Gauthier

À propos de Gauthier Leonard

Gauthier est un Data Engineer en Big Data récemment diplômé. Au cours de son stage chez Adaltas, il s’est familiarisé avec l’écosystème Hadoop et le déploiement de clusters sécurisés en développant un outil d’automatisation de provisionnement de clusters. Gauthier a consolidé ses compétences au cours de sa première mission en tant que référent Big Data dans un projet de Data Lake. Il a accompagné le client dans la conception et l’installation d’un cluster HDP 3, et dans la mise en place d’un premier pipeline de données utilisant les technologies NiFi, Hive 3 (Hive ACID et Hive LLAP) et Oozie.

Apache Hive 3, nouvelles fonctionnalités et conseils et astuces

Disponible depuis juillet 2018 avec HDP3 (Hortonworks Data Platform 3), Apache Hive 3 apporte de nombreuses fonctionnalités intéressantes à l’entrepôt de données. Malheureusement, comme beaucoup de versions majeures de logiciels “FOSS”, elle contient quelques écueils et peu de documentation. Je vais d’abord passer en revue les nouvelles fonctionnalités disponibles avec Hive 3, puis donner quelques [...]

Par |2019-07-25T22:29:14+00:00July 25th, 2019|Big Data, DataWorks Summit 2019|0 commentaire

Apache Beam : un modèle de programmation unifié pour les pipelines de traitement de données

Dans cet article, nous allons passer en revue les concepts, l’histoire et le futur d’Apache Beam, qui pourrait bien devenir le nouveau standard pour la définition des pipelines de traitement de données. […]