Que dire de plus, sinon que j'ai déjà beaucoup eu le même sentiment, et que je suis entièrement d'accord.

Série de deux articles (l'autre arrive après) sur la data governance et la data quality chez Criteo, deux sujets qui deviennent de plus en plus important dans les entreprises (notamment dans la mienne). En efft, il ne suffit pas de récupérer plein de données, il faut aussi être sûr qu'elles sont documentées et de bonnes qualités. Sinon vos utilisateurs perdront très vite confiance dedans, ce qui pose pas mal de problèmes.

Un article défendant l'intérêt des bases SQL contre les bases NoSQL. Le SQL-bashing est effectivement quelque chose que j'ai pas mal vu (l'un de mes chefs disait il y a 5 ans que SQL allait mourir. Il a finis par reconnaitre qu'il s'était complètement gouré), souvent pour des mauvaises raisons (trop vieux, pas cassez shiny, trop rigide...). Et c'est vrai que je pensais en partie comme ça pendant un moment, en vantant énormément MongoDB par exemple (j'en suis revenu depuis), notamment pour sa souplesse. Or, par expérience, ce qui fait la souplesse et permet de démarrer très vite devient ensuite un enfer à maintenir. Avoir un schéma de base de données permet effectivement une énorme stabilité, qu'on est obligé de reproduire par plein de bidouille quand on utilise du NoSQL.
Bref, l'article explique bien tout ça, et reflète bien mon avis là-dessus

Présentation d'un outil pour voir les problèmes de qualité de données après avoir updaté un workflow. Pas mal d'idées intéressantes pour pouvoir garder une bonne data quality

Description de Airflow (outil d'orchestration de data) et de ses limites. Assez d'accord sur le fond, Airflow est vraiment un outil qui révolutionne le data engineering, mais qui, comme tout nouvel outil révolutionnaire (tel Hadoop et Docker) soufre de pas mal de défauts. L'auteur recommander prefect, un nouvel outil pour faire ça, mais peut-être encore un peu jeune pour être fiable. À suivre

Même axe que l'article d'avant, mais plus axé sur la comparaison avec l'avènement de la compilation et du versionnage de code, ainsi que sur l'opposition à la data governance.

Un outil open-source pour faire du data-profiling sur votre datalake (validation de schéma, statistiques de base...) Approche vraiment intéressante, car c'est fait en dehors du pipeline de données. Les outils utilisés sont aussi intéressants : Spark, Datadog, et surtout Jupyter + papermill pour piloter ça (solution dont je suis de plus en plus fan même si je n'ai jamais testé encore)

Brève explication de l'utilisation de dbt. En gros, ça permet de pouvoir observer facilement des changements de données dans une base, et de créer un pipeline de récupération et validation de données à partir de ça. Ou comment créer un ETL très facielement à partir de pas grand chose.

Explication visuelle du principe du blockchain. Ne rentre pas dans les détails, mais les bases sont là, et très bien expliquées.

Construction d'un datalake chez redBus, avec des technos full cloud. Assez intéressant de voir les outils et les usages (surtout que je participe à la même chose dans ma boite :))