Ref:C21119 BI / BIG DATA - Data Engineer - Sénior. Secteur Assurance
Technologies et Outils : Python Spark
Description et livrables de la prestation
Le développeur Big Data contribue directement aux projets des directions métier de l'assurance (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, …) et à la construction du socle technique Big Data. Il a pour missions principales de développer les projets Big Data demandés par le métier, et notamment :
- Passer de la donnée brute à de la donnée exploitable, exposée sous forme de tables requetables dans le datalake (inférer les schémas de données, nettoyer et normaliser les données, publier les données)
- Consolider ces données au fur et à mesure de leur alimentation récurrente dans le data lake et les exploiter pour atteindre la finalité business (exposition de business view, réintégration des résultats dans le SI, service de scoring, …)
- Travailler à la création du socle technique Big Data (librairies de fonctions, features communément utilisées avec les data scientists…) et industrialiser le cycle de développement de l'équipe
Expertise souhaitée
De Formation scientifique (école d’ingénieur, école d’informatique), vous justifiez de:
- Au moins 2 ans d’expérience professionnelle tous langages confondus (dont au moins 3 ans d'expérience confirmée en Python)
- Au moins 1 ans d’expérience professionnelle en développement Big Data avec PySpark (Spark en Python) / Hadoop
- Dans l’idéal vous avez eu une expérience professionnelle sur le cloud Microsoft Azure avec des outils comme Azure Databricks Azure Data Lake Storage et Azure Data Factory.
Vous avez l'habitude des cycles de développements courts en mode Agile ainsi que des outils associés:
- Gestion de sources Git sur Azure DevOps
- Intégration & déploiement continue avec Azure Pipelines
- Gestion des artefacts avec Azure Artifact
Ces connaissances supplémentaires seraient un plus :
- Cloud Microsoft Azure
- Traitements Big Data en mode Streaming
- Bases de données relationnelles et NoSQL
- Outils de BI (PowerBI, Spotfire)
De nature pragmatique, vous êtes capable de travailler en autonomie pour livrer du code de qualité satisfaisant des besoins métiers.
Vous avez de bonnes aptitudes relationnelles, et vous faites preuve d’une grande curiosité et de capacité d’innovation et d'adaptation.