Ingénieur Big Data H/F
Concevoir, développer et déployer des pipelines de données efficaces pour l'extraction, la transformation et le chargement des données
En tant qu’ingénieur Data, vous serez responsable de développer, déployer et optimiser des pipelines de données robustes.
VOTRE QUOTIDIEN
Concevoir, développer et déployer des pipelines de données efficaces pour l'extraction, la transformation et le chargement des données.
Manipuler et nettoyer les données afin de les rendre exploitables
Mettre en œuvre des workflows d'orchestration de tâches avec Airflow pour automatiser les processus de traitement des données.
Développer des applications Spark Scala pour le traitement distribué des données à grande échelle.
Intégrer et gérer des entrepôts de données cloud avec Snowflake pour le stockage et l'analyse des données.
Optimiser les performances des pipelines de données pour garantir une ingestion et un traitement rapides des données.
Selon le profil : Encadrer et accompagner les juniors dans leur montée en compétences.
LA STACK TECHNIQUE :
- Langage : Python, R, java
- Storage : Hadoop, Mangodb, Rainstor, Cassandra, HBASE
- Analystics / Bus : Kafka, Knime, Spark
- DataMining : Rapidminer, Presto, Elastic
- Warehouse : Snowflake, REDSHIFT, BigQuery, DataBricks
La maitrise de ces technos serait un plus : Pig / Hive / Impala / Flume / Apache beam
Et pour ceux qui ont une appétence IA => Tensorflow, Pytorch, Keras
Vous avez envie d’évoluer et de vous épanouir dans des contextes clients multi-secteurs vous permettant de mettre en pratique vos compétences sur des projets locaux, nationaux ou internationaux.
VOTRE PROFIL :
Maîtrise avancée de Python pour la manipulation et l'analyse de données.
Expérience pratique avec Airflow pour l'orchestration des workflows de données.
Solides compétences en programmation avec Spark Scala pour le traitement distribué des données.
Connaissance approfondie des bases de données cloud, en particulier Snowflake.
SMILE est le leader du "sourire" au travail, mais aussi de l'intégration de solutions Open-Source. Enthousiastes, agiles et performants, notre vocation est de libérer le potentiel d'innovation des entreprises, à travers l'Open-Source !
Nos Smiliens experts accompagnent les entreprises dans des domaines aussi variés que le Digital, les Business Apps, l'Embarqué & l'IoT et l'Infrastructure : 2000 collaborateurs présents dans 9 pays, avec 17 agences réparties en France et à l'international. Nos marques expertes : SensioLabs, Neopixl, Alter Way, UX-Republic, Creativestyle et Synotis.
Entreprise Handi-accueillante.
- Marque
- Smile
- Poste
- Développement
- Localisations
- Lyon
- Statut à distance
- Hybride
- Type de contrat
- Permanent contract / CDI
Ingénieur Big Data H/F
Concevoir, développer et déployer des pipelines de données efficaces pour l'extraction, la transformation et le chargement des données
Téléchargement du formulaire de candidature