Consensus
Les problèmes de consensus peuvent être résumés comme suit:
-
Plusieurs clients peuvent chacun envoyer une requête à un système.
-
Le système doit choisir laquel prendre en charge ensuite.
-
Le système est implémenté par plusieurs ordinateurs.
-
Ils doivent choisir une seule requête même si certains ordinateurs échouent.
Articles associés
Spark Streaming Partie 2 : traitement d'une pipeline Spark Structured Streaming dans Hadoop
Catégories : Data Engineering, Formation | Tags : Spark, Apache Spark Streaming, Streaming, Python
Spark est conçu pour traiter des données streaming de manière fluide sur un cluster Hadoop multi-nœuds, utilisant HDFS pour le stockage et YARN pour l’orchestration de tâches. Ainsi, Spark Structured…
28 mai 2019
Environnement de développement CoreOS avec Vagrant et VirtualBox
Catégories : Hack, Infrastructure | Tags : Arch Linux, CoreOS, Linux, VirtualBox, etcd, Vagrant
Suivre les instructions de CoreOS sur la façon de configurer un environnement de développement dans VirtualBox n’a pas bien fonctionné pour moi. Voici les étapes que j’ai suivies pour que Container…
20 juin 2018
Orchestration de conteneurs chez Facebook avec Tupperware
Catégories : Orchestration de conteneurs, Open Source Summit Europe 2017, Infrastructure | Tags : Zookeeper, Btrfs, LXD, Red Hat, Systemd, Cloud, Consensus
Dans cet article, je présenterai la solution d’orchestration de conteneurs mise en place par Facebook, appelée Tupperware. Qu’est-ce que Tupperware ? Tupperware est un framework fait maison écrit et…
3 nov. 2017
Administration Hadoop multitenant avancée - protection de Zookeeper
Catégories : Big Data, Infrastructure | Tags : Zookeeper, DoS, iptables, Exploitation, Passage à l'échelle, Clustering, Consensus
Zookeeper est un composant critique au fonctionnement d’Hadoop en haute disponibilité. Ce dernier se protège en limitant le nombre de connexions max (maxConns=400). Cependant Zookeeper ne se protège…
5 juil. 2017