Blog

Kubernetes 1.8

L’arrivée de Kubernetes 1.8 apporte son lot de nouveautés. Grâce à plus de 2500 pull requests, 2000 commits, avec environ 400 commiters, Kubernetes a su rajouter 39 fonctionnalités en plus à la version 1.8. C’est l’une des versions les plus riches en nouveauté, pour comparaison la version 1.7 n’en contenait que 28. Sur cette nouvelle release, [...]

Par |2018-06-05T22:36:52+00:00October 24th, 2017|Open Source Summit Europe 2017|0 commentaire

Network Namespace sans docker

Imaginons le cas suivant: Je suis connecté à plusieurs réseaux (wlan0, eth0, usb0). Je veux choisir le réseau que je vais utiliser au lancement de mon application. Mon application ne permet pas de choisir une interface quand plusieurs sont disponibles. Je pourrais utiliser docker, ce dernier isole le réseau, cependant docker isole aussi plein d'autres [...]

Par |2018-06-05T22:36:52+00:00October 23rd, 2017|Blog, Hack|0 commentaire

MariaDB integration with Hadoop

Lors d'ateliers menés avec l'un de nos clients, Adaltas a levé un risque potentiel sur la stratégie utilisée pour la mise en haute disponibilité (HA) de MariaDB. Le client ayant sélectionné la distribution CDH 5 de Cloudera, le raisonnement ci-desous part de la documentation officielle de Cloudera. Toutefois, il s'applique à toutes les distributions Hadoop [...]

Par |2018-06-05T22:36:54+00:00July 31st, 2017|Uncategorized|0 commentaire

Exposition de brokers Kafka sur deux interfaces résaux

L’un des clusters sur lesquels nous travaillons est constitué de deux réseaux: – Un vlan “interne” dédié au cluster et accessible des noeuds Worker – Un vlan “data” exposé les noeuds Edge, Kafka et Master à l’extérieur du cluster Kafka est utilisé pour l’ingestion de données en entrée et la publication de données traitées en [...]

Par |2018-06-05T22:37:01+00:00July 13th, 2017|Blog|0 commentaire

Changer la couleur de la topbar d’Ambari

J'étais récemment chez un client qui a plusieurs environnements (Prod, Integration, Recette, ...) sur HDP avec chacun son instance Ambari. L'une des questions soulevée par le client est la suivante : Nous avons besoin de pouvoir différencier visuellement les environnements lors de l'utilisation d'Ambari et le nom du cluster n'est pas suffisant, comment peut-on changer [...]

Par |2018-06-05T22:37:02+00:00July 9th, 2017|Hack|0 commentaire

MiNiFi: Scalabilité de la données & de l’intérêt de commencer petit

Ce poste fait partie de notre série sur le Dataworks Summit 2017 (ex-Hadoop Summit) Conférence d'Aldrin Piri d'Hortonworks Aldrin nous a rapidement présenté Apache NiFi puis expliqué d'où est venu MiNiFi: un agent NiFi à déployer sur en embarqué afin d'amener la donnée à pipeline d'un cluster NiFi (ex: IoT). Voici les points principaux de [...]

Par |2018-06-05T22:37:03+00:00July 8th, 2017|Blog, Évènements|0 commentaire

Administration Hadoop multitenant avancée – protection de Zookeeper

Contexte Zookeeper est un composant critique au fonctionnement d'Hadoop en haute disponibilité. Ce dernier se protège en limitant le nombre de connexions max (maxConns=400). Cependant Zookeeper ne se protège pas intelligemment, il refuse les connexions une fois le seuil atteint. Dans ce cas les composants cœur (HBase RegionServers/HDFS ZKFC) ne pourront plus initialiser une connexion [...]

Par |2018-06-05T22:37:04+00:00July 5th, 2017|Blog|0 commentaire

Hive Metastore HA with DBTokenStore: Failed to initialize master key

Cette article décrit ma petite aventure autour d'une erreur au démarrage du Hive Metastore. Elle se reproduit dans un environnement précis qui est celui d'une installation sécurisée, entendre avec Kerberos, en haute disponibilité avec le stockage des delegation token dans une base de données. La version de Hive est la 1.2 packagée dans la distribution [...]

Par |2017-07-24T20:35:46+00:00July 21st, 2016|Uncategorized|0 commentaire