Chef : configuration et deploiement automatisé de Clusters

Chef : configuration et deploiement automatisé de Clusters

L’installation d’un cluster de plusieurs machines est consommateur de temps. La même procédure de mise en place des logiciels et de leurs paramétrages doit être répétées à l’identique. Au cours du temps, des mises à jours doivent être appliquées, certains logiciels doivent être supprimés quand d’autres sont ajoutés et au final, les systèmes divergent les uns des autres.

Pour répondre à ces problèmes, des logiciels gestion de configuration automatisent ces opérations. Un serveur s’installe et se paramètre en une seule commande en fonction des rôles qu’on souhaite lui alloué.

Finalement, avec Chef, la mise en place d’un système ce limite à 2 procédures:

  • Installer un système de base sans logiciels préinstallé, juste ssh
  • Lancer une commande indiquant l’adresse du serveur et ses rôles (par exemple “server, lamp”)

Deux outils Open Source se chamaillent le leadership sur ce secteur, Puppet et Chef. Le débat entre chacun est houleux, tous les deux étant finalement de qualité comparable et dotés d’un large éventail de configurations préétablies couvrant l’ensemble des besoins d’administration. Chef nous a paru légèrement plus flexible (paramétrage en Ruby au lieu d’un langage sur-mesure).

Parmi les fonctionnalités de Chef (et Puppet) :

  • Synchronisation automatique des nœuds avec l’état de la configuration
  • Support de plusieurs OS (spécialement Puppet)
  • Nombreuses configurations disponibles
  • Large communauté
  • Interface web agréable

Livres de recettes (Cookbooks)

Des cookbooks relatifs à Hadoop sont présents aux endroits suivants:

  • Opscode
    hadoop::default : Installe le fichier apt du dépôt Cloudera et le paquet Hadoop
    hadoop::conf_pseudo : démarre les services Hadoop
    hadoop::doc : Installe le packet hadoop-doc
    hadoop::hive : Installe le packet hive
    hadoop::pig : Installe le packet pig
    Conclusion, des fonctionnalités très limitées qui ne s’appliquent pas à l’installation complète d’un cluster Hadoop.
  • Runa
    hadoop_for_hbase::default : Télécharge hadoop sur depuis le site du créateur (version configurable)
    Conclusion: Aucune garantie sur la source, peut de choix sur les version, limite a hadoop et hbase.
  • Infochimps Cluster Chef
    hadoop_cluster::default : Enregistre la source apt du dépôt Cloudera, crée un groupe et un utilisateur Unix hadoop, crée un supergroup Hadoop supergroup
    Conclusion, sans doute le meilleur point de départ sur lequel s’appuiyer pour créer ses propres recettes.

Ressources externes:

By | 2017-11-21T20:21:09+00:00 December 10th, 2010|Categories: Hack|0 Comments

About the Author:

Passionate with programming, data and entrepreneurship, I participate in shaping Adaltas to be a team of talented engineers to share our skills and experiences.

Leave A Comment

Time limit is exhausted. Please reload the CAPTCHA.