Ingénieur BIG DATA SENIOR - Femme/Homme H/F

Au sein de notre équipe satellite ou simulation hydrologique, vous serez chargé de créer et d'exploiter des pipelines d'ingestion et de traitement de données pour des téraoctets de données météorologiques et hydrologiques.

Rattaché(e) au Teamlead, vous vous concentrerez sur la garantie d'une livraison évolutive, reproductible et de qualité industrielle des entrées et sorties du modèle.

•Mettre en oeuvre l'ingestion (par batch/en continu), les étapes ELT/ETL et les workflows de publication des données.

•Gérer les formats scientifiques (netCDF, GRIB2) et le stockage en colonnes (Parquet) ; optimiser les E/S et les algorithmes.

•Concevoir un stockage avec des modèles de cohérence finale (publications atomiques, manifestes, chemins versionnés) et un catalogue de métadonnées.

•Partitionner et paralléliser les charges de travail pour le calcul distribué ; compacter les petits fichiers et optimiser le rapport coût/performance.

•Créer et exécuter des services conteneurisés et des workflows orchestrés ; garantir l'observabilité, les réessais, l'idempotence et les runbooks.

•Collaborer avec des scientifiques pour définir des modèles de données et des règles de validation.

Bac + 5 en Informatique, Mathématique ou Data Scientist

Des postes d'expérimentés sont à pourvoir.

Les compétences techniques attendues sont :

•ETL

•Data lake + Meta Données

•Python (xarray, netCDF4, pyarrow), PySpark or Dask

•S3-compatible object storage; Parquet format

•PostgreSQL / PostGIS

•Kubernetes + Docker for deployment

•AWS (S3, EKS, EC2) or equivalent cloud; Terraform for IaC

•Curiosité

•Faculté de communication

•Esprit d'équipe

•Capacité d'analyse et de résolution de problème

•Aptitude managériale pour les profils expérimentés