3 results for tags
data-engineer x
-
The rise of the data engineer
Explications du rôle de data-engineer selon Maxime Beauchemin (créateur d'Airflow). Globalement d'accord sur sa vision (me considérant moi-même comme tel), même si je suis réticent sur certains détails.Thu Feb 28 17:43:19 2019 - permalink -- https://medium.freecodecamp.org/the-rise-of-the-data-engineer-91be18f1e603
-
Taming data quality with circuit breaker
Comment les data-engineers de quickbook gère leurs problèmes de données, à l'aide de court-circuit pour éviter que la donnée "sale" contamine la donnée propre. Pas mal car catégorise vraiment bien les différents problèmes de données possibles. On retrouve finalement certains mécanismes déjà mis en place (dans ma boite en tout cas), mais de manière plus claire. Bon on voit aussi que le chemin est long pour avoir un truc parfait mais bon, ça viendra !Tue Feb 12 09:40:15 2019 - permalink -- https://quickbooks-engineering.intuit.com/taming-data-quality-with-circuit-breakers-dbe550d3ca78
-
Data’s Inferno: 7 Circles of Data Testing Hell with Airflow
Comment pouvoir tester efficacement ses pipelines airflow. Pas mal de choses et d'aspect intéressant, et dont je compte bien m'inspirer, travaillant actuellement intensément sur AirflowTue Jun 5 13:47:43 2018 - permalink -- https://medium.com/@ingwbaa/datas-inferno-7-circles-of-data-testing-hell-with-airflow-cef4adff58d8?mkt_tok=eyJpIjoiTkRoalptTm1NbVJpWmpBNCIsInQiOiJUZUZTQU5XaGJpbUFWTjBRbkFwYjNPK2JMWWFUUFJjQWtpS2owNXBYZjhydUoxbXNyMkdIMnhMUkFsNFk0NDcyRDVHSlJhZnd6UmJNZ2RnSG42OW1OcldicXVqV3NhdTNuemEzcm00bkh0NzJpaG91VVVKMmZ5NXc1SmdDb20zUiJ9