Reprise d'un cluster en production par Ambari

Introduction

Au fil des années, Apache Ambari est devenu un produit mature. Ceci n'a pas toujours été le cas et il fut un temps où il était nécessaire d'automatiser ses propres scripts de déploiement pour exploiter un cluster sécurisé et multi-tenant. L'heure est venue de donner le contrôle à Ambari.

• Intervenant : Leo Schoukroun
• Durée : 1h30
• Format : démonstration

Présentation

En tant qu'ingénieur Big Data vous avez probablement déjà essayé la sanbox HDP ou même installé un cluster vous même. Dans la plupart des cas, vous avez utilisé Apache Ambari pour déployer et gérer les services et configurations de vos clusters. Imaginez maintenant une époque pas si lointaine où Ambari ne savait pas gérer SSL, Kerberos, la haut disponibilité des services, etc. Ryba est un outil open source développé par Adaltas qui permet de boostraper et de gérer des clusters Hadoop. Il a été bâtit de A à Z avec pour l'une des idées de départ de palier aux manquements d'Ambari. Maintenant imaginez que vous décidiez de donner une seconde chance à Ambari et lui donner le contrôle total sur votre cluster déployé manuellement. C'est ce que nous avons appelé l'"Ambari Takeover" et ce que nous allons détailler ensemble.

Dans cette présentation nous allons apprendre les rouages qui font fonctionner l'interface utilisateur: l'API d'Apache Ambari. Nous reviendrons également sur la genèse et le développement du projet Ryba. Enfin nous terminerons par une démonstration d'un cluster Hadoop pré-installé.

Auteur

Leo Schoukroun, consultant Big Data chez Adaltas. Actuellement en mission chez EDF, je participe aux déploiements et à la maintenance de plusieurs clusters Hadoop hébergés sur site.

Le projet "ryba-ambari-takeover" a été entièrement réalisé par Lucas Bakalian.