Prometheus
Prometheus est un outil qui permet de surveiller des infrastructures dynamiques a base des conteneurs. Cependant, il peut egalement être utilisé pour monitorer des infrastructures plus traditionnelles ne contenant aucun conteneur. Le composant clef de Prometheus est le serveur Prometheus qui contient trois composants. Une base de données en séries temporelles qui stocke les métriques. Un serveur de type "worker" qui assure la récupération de données et métriques des ressources cibles pour ensuite les sauvegarder dans la base de données. Enfin Un serveur Web classique pouvant recevoir des requêtes (ecrites en PromQL) permettant d'afficher et de visualizer les données de métriques à l'aide de l'interface utilisateur Web Prometheus ou d'autres applications externes (par exemple, Grafana).
Articles associés
Stage de fin d'étude printemps 2022 - construction d'un Data Lab
Catégories : Data Science, Formation | Tags : Spark, Argo CD, Elasticsearch, Internship, Keycloak, Kubernetes, MongoDB, OpenID Connect, PostgreSQL
Descriptif du stage Au cours des dernières années, nous avons développé la capacité d’utiliser les ordinateurs pour traiter une grande quantité de données. L’écosystème a évolué vers une offre étendue…
Par WORMS David
24 nov. 2021
Stage de fin d'étude printemps 2022 en Data Engineering
Catégories : Front End, Formation | Tags : Métriques, Supervision, Hadoop, Hive, Kafka, Delta Lake, Elasticsearch, IaC, Internship, Kubernetes, MLflow, Prometheus, Streaming, TFX
Descriptif du stage La donnée est un actif précieux des entreprises. Le data engineer collecte, convertit et valorise la donnée brute en une information exploitable par les business analysts et les…
Par WORMS David
25 oct. 2021
Auto-scaling de Druid avec Kubernetes
Catégories : Big Data, Business Intelligence, Orchestration de conteneurs | Tags : EC2, Druid, CNCF, Orchestration de conteneurs, Helm, Métriques, OLAP, Exploitation, Cloud, Analyse de données, Kubernetes, Prometheus, Python
Apache Druid est un système de stockage de données open-source destiné à l’analytics qui peut profiter des capacités d’auto-scaling de Kubernetes de par son architecture distribuée. Cet article est…
Par SCHOUKROUN Leo
16 juil. 2019
Surveillance d'un cluster Hadoop de production avec Kubernetes
Catégories : DevOps & SRE | Tags : Thrift, Grafana, Shinken, Hadoop, Knox, Cluster, Docker, Elasticsearch, Kubernetes, Noeud, Node.js, Prometheus, Python
La surveillance d’un cluster Hadoop de production est un vrai challenge et se doit d’être en constante évolution. Aujourd’hui, la solution que nous utilisons se base sur Nagios. Efficace en ce qui…
21 déc. 2018
