Monthly Archives: July 2017

MariaDB integration with Hadoop

Lors d'ateliers menés avec l'un de nos clients, Adaltas a levé un risque potentiel sur la stratégie utilisée pour la mise en haute disponibilité (HA) de MariaDB. Le client ayant sélectionné la distribution CDH 5 de Cloudera, le raisonnement ci-desous part de la documentation officielle de Cloudera. Toutefois, il s'applique à toutes les distributions Hadoop [...]

By | 2017-07-24T21:37:13+00:00 July 31st, 2017|Uncategorized|0 Comments

Exposition de brokers Kafka sur deux interfaces résaux

L’un des clusters sur lesquels nous travaillons est constitué de deux réseaux: – Un vlan “interne” dédié au cluster et accessible des noeuds Worker – Un vlan “data” exposé les noeuds Edge, Kafka et Master à l’extérieur du cluster Kafka est utilisé pour l’ingestion de données en entrée et la publication de données traitées en [...]

By | 2017-10-24T12:13:53+00:00 July 13th, 2017|Blog|0 Comments

Changer la couleur de la topbar d’Ambari

J'étais récemment chez un client qui a plusieurs environnements (Prod, Integration, Recette, ...) sur HDP avec chacun son instance Ambari. L'une des questions soulevée par le client est la suivante : Nous avons besoin de pouvoir différencier visuellement les environnements lors de l'utilisation d'Ambari et le nom du cluster n'est pas suffisant, comment peut-on changer [...]

By | 2017-07-24T21:37:13+00:00 July 9th, 2017|Hack|0 Comments

MiNiFi: Scalabilité de la données & de l’intérêt de commencer petit

Ce poste fait partie de notre série sur le Dataworks Summit 2017 (ex-Hadoop Summit) Conférence d'Aldrin Piri d'Hortonworks Aldrin nous a rapidement présenté Apache NiFi puis expliqué d'où est venu MiNiFi: un agent NiFi à déployer sur en embarqué afin d'amener la donnée à pipeline d'un cluster NiFi (ex: IoT). Voici les points principaux de [...]

By | 2017-07-24T21:37:13+00:00 July 8th, 2017|Blog, Évènements|0 Comments

Administration Hadoop multitenant avancée – protection de Zookeeper

Contexte Zookeeper est un composant critique au fonctionnement d'Hadoop en haute disponibilité. Ce dernier se protège en limitant le nombre de connexions max (maxConns=400). Cependant Zookeeper ne se protège pas intelligemment, il refuse les connexions une fois le seuil atteint. Dans ce cas les composants cœur (HBase RegionServers/HDFS ZKFC) ne pourront plus initialiser une connexion [...]

By | 2017-10-23T12:44:10+00:00 July 5th, 2017|Blog|0 Comments