Reprise d'un cluster en production par Ambari

Introduction

Au fil des années, Apache Ambari est devenu un produit mature. Ceci n'a pas toujours été le cas et il fut un temps où il était nécessaire d'automatiser ses propres scripts de déploiement pour exploiter un cluster sécurisé et multi-tenant. L'heure est venue de donner le contrôle à Ambari.

  • Intervenant : Leo Schoukroun
  • Durée : 1h30
  • Format : démonstration

Présentation

En tant qu'ingénieur Big Data vous avez probablement déjà essayé la sanbox HDP ou même installé un cluster vous même. Dans la plupart des cas, vous avez utilisé Apache Ambari pour déployer et gérer les services et configurations de vos clusters. Imaginez maintenant une époque pas si lointaine où Ambari ne savait pas gérer SSL, Kerberos, la haut disponibilité des services, etc. Ryba est un outil open source développé par Adaltas qui permet de boostraper et de gérer des clusters Hadoop. Il a été bâtit de A à Z avec pour l'une des idées de départ de palier aux manquements d'Ambari. Maintenant imaginez que vous décidiez de donner une seconde chance à Ambari et lui donner le contrôle total sur votre cluster déployé manuellement. C'est ce que nous avons appelé l'"Ambari Takeover" et ce que nous allons détailler ensemble.

Dans cette présentation nous allons apprendre les rouages qui font fonctionner l'interface utilisateur: l'API d'Apache Ambari. Nous reviendrons également sur la genèse et le développement du projet Ryba. Enfin nous terminerons par une démonstration d'un cluster Hadoop pré-installé.

Auteur

Leo Schoukroun, consultant Big Data chez Adaltas. Actuellement en mission chez EDF, je participe aux déploiements et à la maintenance de plusieurs clusters Hadoop hébergés sur site.

Le projet "ryba-ambari-takeover" a été entièrement réalisé par Lucas Bakalian.

Canada - Morocco - France

International locations

10 rue de la Kasbah
2393 Rabbat
Canada

Nous sommes une équipe passionnées par l'Open Source, le Big Data et les technologies associées telles que le Cloud, le Data Engineering, la Data Sciencem le DevOps…

Nous fournissons à nos clients un savoir faire reconnu sur la manière d'utiliser les technologies pour convertir leurs cas d'usage en projets exploités en production, sur la façon de réduire les coûts et d'accélérer les livraisons de nouvelles fonctionnalités.

Si vous appréciez la qualité de nos publications, nous vous invitons à nous contacter en vue de coopérer ensemble.