Comment recruter un Data Engineer ?

Le data engineer prépare l’infrastructure Big data. Pour cela, il implémente tous les processus et systèmes facilitant la gestion des données : depuis la collecte, jusqu’à l’analyse en passant par le stockage ou la préparation. Grâce à son intervention, les data analysts et data scientists peuvent exploiter des données fiables et qualitatives.

À ce titre, il doit accomplir plusieurs missions :

• Mettre en place l’infrastructure data ;
• Définir les processus ETL ;
• Construire des pipelines de données ;
• Concevoir des algorithmes visant à faciliter le traitement des données ;
• Gérer la maintenance de l’architecture data ;
• Réaliser une veille technologique.

Toutes ces missions peuvent varier selon les spécificités de votre entreprise. Quoi qu’il en soit, elles doivent apparaître clairement sur la fiche de poste pour faciliter le recrutement du data engineer.

Si l’ingénierie des données est un métier très technique exigeant la maîtrise de nombreux outils, les qualités personnelles n’en sont pas moins importantes. Voici les soft et hard skills à identifier pour le recrutement d’un data engineer.

Les hard skills du data engineer

Le codage et les langages de programmation : pour cela, il doit connaître SQL, Python, Scala ou Java.

La gestion des bases de données : grâce MySQL, PostgreSQL

L’extraction des données : avec la maîtrise de plusieurs outils, comme Apache Spark, Google Cloud Data Fusion, Azure Data Factory.

Les data warehousing : avec Amazon Redshift, Google Big Query, Snowflake.

Les datalakes : grâce à Databricks, Amazon S3, Google cloud storage, Azure data lake.

Le traitement des flux : avec Apache Kafka, Google cloud Pub/Sub.

L’orchestration des pipelines : en utilisant Apache Airflow ou Luigi.

Les soft skills du data engineer

• Le codage et les langages de programmation : pour cela, il doit connaître SQL, Python, Scala ou Java.
• La gestion des bases de données : grâce MySQL, PostgreSQL
• L’extraction des données : avec la maîtrise de plusieurs outils, comme Apache Spark, Google Cloud Data Fusion, Azure Data Factory.
• Les data warehousing : avec Amazon Redshift, Google Big Query, Snowflake.
• Les datalakes : grâce à Databricks, Amazon S3, Google cloud storage, Azure data lake.
• Le traitement des flux : avec Apache Kafka, Google cloud Pub/Sub.
• L’orchestration des pipelines : en utilisant Apache Airflow ou Luigi.

Et comme les compétences varient selon l’expérience du profil recherché, voici un tableau récapitulatif pour faciliter le recrutement du data engineer :

Pour le recrutement d’un data engineer, l’entretien se déroule en 4 étapes.

• La présentation de votre entreprise : vous devez présenter votre entreprise et la raison pour laquelle vous cherchez à recruter un data engineer.
• La présentation du candidat : laissez le candidat prendre la parole pour se présenter rapidement.
• Les questions du recruteur : à cette occasion, n’hésitez pas à poser les questions personnelles, mais aussi techniques, telles que :
• Quelles sont les différentes approches de la validation des données ?
• Quels sont les différents formats de données et comment les convertir ?
• Quelles sont les principales méthodes d’un Reducer ?
• Quelles différences entre Star Schema et Snowflake Schema ?
• L’étude de cas : pour vérifier les aptitudes du candidat, vous pouvez proposer une étude de cas. Par exemple, vous pouvez tester ses compétences sur l’un des outils Big data que vous utilisez en interne.
• Les questions du candidat : c’est un excellent moyen d’analyser sa motivation

Le salaire de l’ingénieur de données varie selon son expérience professionnelle et sa localisation géographique. Voici les niveaux de rémunération constatés en France.

Pour réussir le recrutement de votre data engineer, veillez à proposer une rémunération cohérente avec le marché.