Un outil open-source pour faire du data-profiling sur votre datalake (validation de schéma, statistiques de base...) Approche vraiment intéressante, car c'est fait en dehors du pipeline de données. Les outils utilisés sont aussi intéressants : Spark, Datadog, et surtout Jupyter + papermill pour piloter ça (solution dont je suis de plus en plus fan même si je n'ai jamais testé encore)

Jupyter continue d'évoluer tous les jours, avec notamment une très bonne intégration aujourd'hui du langage R (pour infos, il y a plus de 50 langages intégrés par jupyter). Et si vous avez du mal à vous décider entre R et python pour vos analyses, faites comme ici et utiliser les deux ! À voir de ce côté pour l'utilisation de R et sa transformation en slide si besoin (quand je vous dis qu'on peut tout faire avec Jupyter...) : https://www.continuum.io/blog/developer/jupyter-and-conda-r
À noter aussi pour ceux que ça intéresse un projet intéressant, jupyterhub : https://github.com/jupyter/jupyterhub qui permet d'avoir un serveur jupyter multi-utilisateurs, chacun pouvant être relié à un user unix et à un répertoire de données. C'est ce qui me montre que jupyter commence à être assez mature pour être mis dans un système en production désormais (ce que l'on commence à faire chez des clients où on implémente des datalakes, avec de la donnée stockée et des notebooks jupyter dans différents langages pour interréagir avec, le tout parfois mixé à du docker)