Azure Data Engineer H/F/X

Description de l'entreprise

Talencia is a Belgian recruitment consultancy specialized in providing permanent & freelance IT staffing. Talencia's name reflects our commitment to you - a business partnership designed to make the best match between clients and talents. Our experienced recruitment consultants have an extensive knowledge in the IT field. They will work in close collaboration with you in order to provide you with the highest quality service. We at Talencia understand the needs and expectations of both our clients and talented IT professionals seeking contract work. We consider every assignment as unique and experience has taught us the importance of flexibility, in order to adapt to client's requirements in a rapidly evolving market trends. Through a dedicated and bespoke candidate service, Talencia works with you, to find the company/organization to match your career aspirations and talents

Description de la fonction

Talencia est à la recherche d'un Azure Data Engineer pour un de ses clients

 
Location: Wallonia, Belgium
Work model: Hybrid - 3 days onsite
Start: ASAP
Seniority: Medior-Senior
 
 
Notre client mène actuellement un important programme de modernisation de sa plateforme data, avec pour objectif de migrer un environnement data historique vers une architecture moderne de type Databricks Lakehouse sur Microsoft Azure.
L'environnement existant comprend notamment des vues SQL, un système de templating basé sur Jinja ainsi qu'une orchestration via Azure Data Factory. La transformation introduira les fonctionnalités modernes de Databricks, notamment Lakeflow, Unity Catalog, PySpark et des pratiques CI/CD automatisées.
En tant qu'Azure Data Engineer, vous rejoindrez une équipe Data Engineering existante et contribuerez directement à la migration et à l'industrialisation de la nouvelle plateforme.
Vous serez responsable de la conception, du développement et de la maintenance des pipelines de données, de la migration des data marts existants, de la mise en place de frameworks de qualité et de tests, ainsi que de la validation de l'équivalence des résultats entre l'ancienne et la nouvelle plateforme.
 
Responsabilités 
Data Engineering & ETL

• Développer et industrialiser des pipelines Databricks Lakeflow / Spark Declarative Pipelines.
• Construire des pipelines d'ingestion utilisant notamment Auto Loader et COPY INTO.
• Implémenter des mécanismes de CDC / SCD Type 2 pour le suivi des changements.
• Développer les couches de transformation Silver et Gold en utilisant SQL, Python et PySpark.
• Migrer les vues SQL existantes et les tables basées sur des templates Jinja vers les nouveaux patterns Databricks.
• Réaliser des migrations complètes de data marts, incluant les pipelines, les tests, la documentation et les modèles de reporting.
• Travailler avec Azure Data Factory pour l'orchestration et l'intégration avec les Databricks Jobs.

Data Platform & Gouvernance

• Travailler avec Azure Data Lake Storage, Azure Blob Storage et Databricks.
• Concevoir et maintenir les structures Unity Catalog, notamment les catalogues, schémas et contrôles d'accès.
• Appliquer les bonnes pratiques de sécurité et de gouvernance sur les environnements Dev, UAT et Production.
• Concevoir des solutions de traitement des données évolutives, performantes et optimisées en termes de coûts.
• Mettre en place le monitoring et le suivi des coûts au niveau des différents data marts.

Databricks & Big Data

• Développer des solutions de traitement de données avec Databricks et Apache Spark.
• Travailler intensivement avec PySpark et SQL sur de grands volumes de données.
• Contribuer à la migration des workloads data historiques vers une architecture moderne Lakehouse.
• Utiliser, lorsque cela est pertinent, des outils de développement assistés par l'IA afin d'accélérer les activités de migration, tout en garantissant le respect des standards d'ingénierie.
• Participer aux tests de non-régression afin de garantir que les données migrées produisent des résultats équivalents à ceux de l'environnement historique.

Data Quality & Analytics

• Contribuer à la mise en place d'un framework structuré de Data Quality.
• Définir et implémenter des règles de validation et des contrôles de qualité réutilisables.
• Assurer le monitoring de la qualité, de la...

...

Compétences linguistiques

• Anglais (atout)

  • Comprendre : Indépendant - (B1)
  • Écrire : Indépendant - (B1)
  • Lire : Indépendant - (B1)
  • Parler : Indépendant - (B1)

• Français (atout)

  • Comprendre : Expérimenté - (C1)
  • Écrire : Expérimenté - (C1)
  • Lire : Expérimenté - (C1)
  • Parler : Expérimenté - (C1)

Envie d'en apprendre davantage sur ce métier ou sur un métier proche de celui-ci ? Parcourez toutes les informations utiles sur Panorama des métiers. Panorama des métiers