Elasticsearch
Articles associés
Stage de fin d'étude printemps 2022 - construction d'un Data Lab
Catégories : Data Science, Formation | Tags : MongoDB, Elasticsearch, PostgreSQL, Spark, Kubernetes, OpenID Connect, Argo CD
Descriptif du stage Au cours des dernières années, nous avons développé la capacité d’utiliser les ordinateurs pour traiter une grande quantité de données. L’écosystème a évolué vers une offre étendue…
Par WORMS David
24 nov. 2021
Stage de fin d'étude printemps 2022 en Data Engineering
Catégories : Front End, Formation | Tags : Streaming, Delta Lake, IaC, Hive, Supervision, Hadoop, TensorFlow, Elasticsearch, Kubernetes, Kafka, Prometheus, Métriques, MLflow
Descriptif du stage La donnée est un actif précieux des entreprises. Le data engineer collecte, convertit et valorise la donnée brute en une information exploitable par les business analysts et les…
Par WORMS David
25 oct. 2021
Configuration à distance et auto-indexage des pipelines Logstash
Catégories : Infrastructure, Data Engineering | Tags : Logstash, Docker, Elasticsearch, Kibana, Log4j
Logstash est un puissant moteur de collecte de données qui s’intègre dans la suite Elastic (Elasticsearch - Logstash - Kibana). L’objectif de cet article est de montrer comment déployer un cluster…
13 déc. 2019
Stage Data Science & Data Engineer - ML en production et ingestion streaming
Catégories : Data Science, Data Engineering | Tags : DevOps, HBase, Hadoop, Python, Flink, Spark, Kubernetes, Kafka
Contexte L’évolution exponentielle des données a bouleversé l’industrie en redéfinissant les méthodes de stockages, de traitement et d’acheminement des données. Maitriser ces méthodes facilite…
Par WORMS David
26 nov. 2019
Surveillance d'un cluster Hadoop de production avec Kubernetes
Catégories : DevOps & SRE | Tags : Cluster, Shinken, Noeud, Docker, Hadoop, Python, Knox, Node.js, Elasticsearch, Thrift, Kubernetes, Prometheus, Graphana
La surveillance d’un cluster Hadoop de production est un vrai challenge et se doit d’être en constante évolution. Aujourd’hui, la solution que nous utilisons se base sur Nagios. Efficace en ce qui…
21 déc. 2018
Déploiement d'un cluster Flink sécurisé sur Kubernetes
Catégories : Big Data | Tags : HDFS, Kerberos, Flink, SSL/TLS, Elasticsearch, Chiffrement, Kafka
Le déploiement sécurisée d’une application Flink dans Kubernetes, entraine deux options. En supposant que votre Kubernetes est sécurisé, vous pouvez compter sur la plateforme sous-jacente ou utiliser…
Par WORMS David
8 oct. 2018
Apache Metron dans le monde réel
Catégories : Cybersécurité, DataWorks Summit 2018 | Tags : SQL, HDFS, Storm, Metron, Elasticsearch, Spark, NiFi, Solr, Algorithme, Data Science, SGBDR, Kafka, pcap
Apache Metron est une plateforme d’analyse et de stockage spécialisé dans la sécurité informatique. La conférence a été présentée par Dave Russell, ingénieur en chef des solutions - EMEA + APAC chez…
Par HATOUM Michael
29 mai 2018
Questions essentielles sur les base de données Time Series
Catégories : Big Data | Tags : Druid, IOT, HBase, Hive, ORC, Elasticsearch, Data Science, Graphana
Aujourd’hui, le gros des données Big Data est de nature temporelle. On le constate dans les médias comme chez nos clients : compteurs intelligents, transactions bancaires, usines intelligentes,…
Par WORMS David
18 mars 2018
Executer du Python dans un workflow Oozie
Catégories : Data Engineering | Tags : Python, Elasticsearch, REST, Oozie
Les workflows Oozie permettent d’utiliser plusieurs actions pour exécuter du code, cependant il peut être délicat d’exécuter du Python, nous allons voir comment faire. J’ai récemment implémenté un…
Par BEREZOWSKI César
6 mars 2018
Le moteur Vespa de Yahoo
Catégories : Tech Radar | Tags : Base de données, Tools, Elasticsearch, Search Engine
Vespa est le moteur de services et de traitements big data complètement autonome et autosuffisant de Yahoo. Il a pour but de servir les résultats de requêtes sur d’énorme quantité de données en temps…
Par BUSSER Arthur
16 oct. 2017