Rejoignez Valeuriad , ESN Agile, engagée, 100% Nantaise et organisée sur un mode de management participatif.
Oui, mais quelle serait votre valeur ajoutée ? Pour intervenir en tant que Data Engineer.
Voici des exemples de missions que nous proposons: Étude, conception et réalisation de traitements Big Data ; Échange avec les architectes, les PO et PPO, les développeurs et la gouvernance de données ; Exploration des données et des usages des utilisateurs avec Impala ; Import de données (SFTP, Kafka, RabbitMQ) ; Alimentation du cluster Hadoop via des composants développé en Java avec le Framework Spark sur IntelliJ ; Utilisation d’Apache Ambari pour gérer et surveiller un cluster Hadoop, visualisation des jobs en cours via YarnApplication et des flux Oozie ; Collecte des données depuis Teradata via l’outil Sqoop dans une base de données Hive ; Transformation des données avec Spark (HDFS, Hive, Kafka, Hbase, Phoenix) ; Utilisation de Apache Kudu afin d'optimiser les requêtes utilisateurs sur les données chaudes ; Exposition de données sur Dataiku pour la création de modèle de DataScience ; Réalisation en Java – Flink pour gérer les traitements complexe et volumineux ; Gestion de configuration sous Git avec GitLab ; Intégration continue avec Jenkins et Sonar ; Lecture de fichier parquet depuis un répertoire S3 sous AWS ; Requêtage de bases de donnée depuis l'outil Athena d'AWS ; Transformation des données et calcul d'indicateurs sous Hive ; Utilisation de Oozie pour l’ordonnancement de flux ; Utilisation de Kibana pour visualiser et mesurer la volumétrie de traitements quotidien et en streaming.
Environnement : Big Data Apache (Hadoop, Spark, Ambari, Hive ) Technologies utilisées : Hadoop, Apache Ambari, RabbitMQ, Java, Scala, YarnApplication, Teradata, Squoop, Kudu, Hue, Hive, Impala, Dataiku, Flink, Kafka, Spark, Kibana, Oozie, Git, GitLabCI, Jenkins , AWS.
Vous ferez partie de notre Communauté Data Valeuriad.