Archives mensuelles : July 2017

MariaDB integration with Hadoop

Lors d'ateliers menés avec l'un de nos clients, Adaltas a levé un risque potentiel sur la stratégie utilisée pour la mise en haute disponibilité (HA) de MariaDB. Le client ayant sélectionné la distribution CDH 5 de Cloudera, le raisonnement ci-desous part de la documentation officielle de Cloudera. Toutefois, il s'applique à toutes les distributions Hadoop [...]

Par |2018-06-05T22:36:54+00:00July 31st, 2017|Uncategorized|0 commentaire

Exposition de brokers Kafka sur deux interfaces résaux

L’un des clusters sur lesquels nous travaillons est constitué de deux réseaux: – Un vlan “interne” dédié au cluster et accessible des noeuds Worker – Un vlan “data” exposé les noeuds Edge, Kafka et Master à l’extérieur du cluster Kafka est utilisé pour l’ingestion de données en entrée et la publication de données traitées en [...]

Par |2018-06-05T22:37:01+00:00July 13th, 2017|Blog|0 commentaire

Changer la couleur de la topbar d’Ambari

J'étais récemment chez un client qui a plusieurs environnements (Prod, Integration, Recette, ...) sur HDP avec chacun son instance Ambari. L'une des questions soulevée par le client est la suivante : Nous avons besoin de pouvoir différencier visuellement les environnements lors de l'utilisation d'Ambari et le nom du cluster n'est pas suffisant, comment peut-on changer [...]

Par |2018-06-05T22:37:02+00:00July 9th, 2017|Hack|0 commentaire

MiNiFi: Scalabilité de la données & de l’intérêt de commencer petit

Ce poste fait partie de notre série sur le Dataworks Summit 2017 (ex-Hadoop Summit) Conférence d'Aldrin Piri d'Hortonworks Aldrin nous a rapidement présenté Apache NiFi puis expliqué d'où est venu MiNiFi: un agent NiFi à déployer sur en embarqué afin d'amener la donnée à pipeline d'un cluster NiFi (ex: IoT). Voici les points principaux de [...]

Par |2018-06-05T22:37:03+00:00July 8th, 2017|Blog, Évènements|0 commentaire

Administration Hadoop multitenant avancée – protection de Zookeeper

Contexte Zookeeper est un composant critique au fonctionnement d'Hadoop en haute disponibilité. Ce dernier se protège en limitant le nombre de connexions max (maxConns=400). Cependant Zookeeper ne se protège pas intelligemment, il refuse les connexions une fois le seuil atteint. Dans ce cas les composants cœur (HBase RegionServers/HDFS ZKFC) ne pourront plus initialiser une connexion [...]

Par |2018-06-05T22:37:04+00:00July 5th, 2017|Blog|0 commentaire