Elasticsearch

Elasticsearch est un moteur d'analyse, de stockage et de recherche open source développé par Elasticsearch B.V. et publié pour la première fois en 2010. Il s'agit d'un logiciel distribué écrit en Java et basé sur Apache Lucene. Ce dernier est utilisé pour l'indexation et la recherche de données se faisant via une API REST.

Il est souvent utilisé avec Kibana, une plateforme de visualisation de données, et Logstash, un pipeline de traitement de données, qui sont des outils développés et maintenus par la même entreprise. Ensemble, ils forment ce que l'on appelle la stack ELK.

Grafana, bien que ne faisant pas partie de la stack ELK, est un autre outil open source souvent utilisé avec Elasticsearch pour la visualisation des mesures commme la mémoire, l'utilisaton du processeur ou encore les E/S du système.

Elasticsearch offre des fonctionnalités de recherche complexes, comme l'autocomplétion, la gestion des synonymes ou même la correction des fautes de frappe. Mais, il peut aussi être utilisé comme plateforme d'analyse en interrogeant des données structurées pour par exemple :

  • analyser les journaux d'application et les mesures du système;
  • envoyer des événements à Elasticsearch;
  • prévoir les valeurs futures avec l'apprentissage automatique pour la détection des anomalies.

Elasticsearch étant distribué par nature, il s'adapte très bien à l'augmentation des volumes de données et au débit des requêtes.

En savoir plus
Site officiel
Tags associés
Grafana
Kibana
Logstash

Articles associés

Stage de fin d'étude printemps 2022 - construction d'un Data Lab

Stage de fin d'étude printemps 2022 - construction d'un Data Lab

Catégories : Data Science, Formation | Tags : Spark, Argo CD, Elasticsearch, Internship, Keycloak, Kubernetes, MongoDB, OpenID Connect, PostgreSQL

Descriptif du stage Au cours des dernières années, nous avons développé la capacité d’utiliser les ordinateurs pour traiter une grande quantité de données. L’écosystème a évolué vers une offre étendue…

WORMS David

Par WORMS David

24 nov. 2021

Stage de fin d'étude printemps 2022 en Data Engineering

Stage de fin d'étude printemps 2022 en Data Engineering

Catégories : Front End, Formation | Tags : Métriques, Supervision, Hadoop, Hive, Kafka, Delta Lake, Elasticsearch, IaC, Internship, Kubernetes, MLflow, Prometheus, Streaming, TFX

Descriptif du stage La donnée est un actif précieux des entreprises. Le data engineer collecte, convertit et valorise la donnée brute en une information exploitable par les business analysts et les…

WORMS David

Par WORMS David

25 oct. 2021

Configuration à distance et auto-indexage des pipelines Logstash

Configuration à distance et auto-indexage des pipelines Logstash

Catégories : Data Engineering, Infrastructure | Tags : Docker, Elasticsearch, Kibana, Logstash, Log4j

Logstash est un puissant moteur de collecte de données qui s’intègre dans la suite Elastic (Elasticsearch - Logstash - Kibana). L’objectif de cet article est de montrer comment déployer un cluster…

CORDONNIER Paul-Adrien

Par CORDONNIER Paul-Adrien

13 déc. 2019

Stage Data Science & Data Engineer - ML en production et ingestion streaming

Stage Data Science & Data Engineer - ML en production et ingestion streaming

Catégories : Data Engineering, Data Science | Tags : Flink, DevOps, Hadoop, HBase, Kafka, Spark, Internship, Kubernetes, Python

Contexte L’évolution exponentielle des données a bouleversé l’industrie en redéfinissant les méthodes de stockages, de traitement et d’acheminement des données. Maitriser ces méthodes facilite…

WORMS David

Par WORMS David

26 nov. 2019

Surveillance d'un cluster Hadoop de production avec Kubernetes

Surveillance d'un cluster Hadoop de production avec Kubernetes

Catégories : DevOps & SRE | Tags : Thrift, Grafana, Shinken, Hadoop, Knox, Cluster, Docker, Elasticsearch, Kubernetes, Noeud, Node.js, Prometheus, Python

La surveillance d’un cluster Hadoop de production est un vrai challenge et se doit d’être en constante évolution. Aujourd’hui, la solution que nous utilisons se base sur Nagios. Efficace en ce qui…

CORDONNIER Paul-Adrien

Par CORDONNIER Paul-Adrien

21 déc. 2018

Déploiement d'un cluster Flink sécurisé sur Kubernetes

Déploiement d'un cluster Flink sécurisé sur Kubernetes

Catégories : Big Data | Tags : Flink, Chiffrement, Kerberos, HDFS, Kafka, Elasticsearch, SSL/TLS

Le déploiement sécurisée d’une application Flink dans Kubernetes, entraine deux options. En supposant que votre Kubernetes est sécurisé, vous pouvez compter sur la plateforme sous-jacente ou utiliser…

WORMS David

Par WORMS David

8 oct. 2018

Apache Metron dans le monde réel

Apache Metron dans le monde réel

Catégories : Cybersécurité, DataWorks Summit 2018 | Tags : Algorithme, NiFi, Solr, Storm, pcap, SGBDR, HDFS, Kafka, Metron, Spark, Data Science, Elasticsearch, SQL

Apache Metron est une plateforme d’analyse et de stockage spécialisé dans la sécurité informatique. La conférence a été présentée par Dave Russell, ingénieur en chef des solutions - EMEA + APAC chez…

HATOUM Michael

Par HATOUM Michael

29 mai 2018

Questions essentielles sur les base de données Time Series

Questions essentielles sur les base de données Time Series

Catégories : Big Data | Tags : Druid, Grafana, IOT, HBase, Hive, ORC, Data Science, Elasticsearch

Aujourd’hui, le gros des données Big Data est de nature temporelle. On le constate dans les médias comme chez nos clients : compteurs intelligents, transactions bancaires, usines intelligentes,…

WORMS David

Par WORMS David

18 mars 2018

Executer du Python dans un workflow Oozie

Executer du Python dans un workflow Oozie

Catégories : Data Engineering | Tags : REST, Oozie, Elasticsearch, Python

Les workflows Oozie permettent d’utiliser plusieurs actions pour exécuter du code, cependant il peut être délicat d’exécuter du Python, nous allons voir comment faire. J’ai récemment implémenté un…

BEREZOWSKI César

Par BEREZOWSKI César

6 mars 2018

Le moteur Vespa de Yahoo

Le moteur Vespa de Yahoo

Catégories : Tech Radar | Tags : Base de données, Search Engine, Tools, Elasticsearch

Vespa est le moteur de services et de traitements big data complètement autonome et autosuffisant de Yahoo. Il a pour but de servir les résultats de requêtes sur d’énorme quantité de données en temps…

BUSSER Arthur

Par BUSSER Arthur

16 oct. 2017

Canada - Maroc - France

Nous sommes une équipe passionnée par l'Open Source, le Big Data et les technologies associées telles que le Cloud, le Data Engineering, la Data Science le DevOps…

Nous fournissons à nos clients un savoir faire reconnu sur la manière d'utiliser les technologies pour convertir leurs cas d'usage en projets exploités en production, sur la façon de réduire les coûts et d'accélérer les livraisons de nouvelles fonctionnalités.

Si vous appréciez la qualité de nos publications, nous vous invitons à nous contacter en vue de coopérer ensemble.

Support Ukrain