kafka

Spark Streaming partie 1: construction de data pipelines avec Spark Structured Streaming

Spark Structured Streaming est un nouveau moteur de traitement stream introduit avec Apache Spark 2. Il est construit sur le moteur Spark SQL et utilise le modèle Spark DataFrame. Le moteur Structured Streaming partage la même API que le moteur Spark SQL. L’utilisateur ne devrait donc pas rencontrer de difficulté quant à son utilisation. L’une [...]

Par |2019-07-11T22:11:03+00:00April 18th, 2019|Big Data, Data Engineering|1 Comment

Déploiement d’un cluster Flink sécurisé sur Kubernetes

Le déploiement sécurisé d’une application Flink dans Kubernetes offre deux options. En supposant que votre Kubernetes est sécurisé, vous pouvez compter sur la plateforme sous-jacente ou utiliser les solutions natives de Flink pour sécuriser votre application de l’intérieur. Notez que ces deux solutions ne sont pas mutuellement exclusives. […]

Par |2019-02-08T12:20:25+00:00October 8th, 2018|Big Data, Cyber security|0 commentaire

Lando: résumé de conversation en Deep Learning

Lando: Les derniers maîtres des mots Lando est une application de résumé de réunion qui utilise les technologies de Speech To Text pour transcrire de l’audio en écrit et les technologies de Deep Learning pour synthétiser le contenu.  Lando permet à ses utilisateurs de comprendre rapidement le contexte de la conversation. En tant que stagiaires [...]

Par |2019-02-08T11:48:25+00:00September 18th, 2018|Conteneur, Data Science|0 commentaire

Remède à l’aveuglement de Kafka

Il est difficile de visualiser pour les développeurs, opérateurs et manageurs, ce qui se cache à l’intérieur des entrailles de Kafka. Cet article parle d’une nouvelle interface graphique bientôt disponible. L’interface fut présentée par George Vettcaden, VP Management product chez Hortonworks, en avant première lors de la conférence du DataWorks Summit de Juin 2018 à [...]

Par |2019-02-08T09:57:02+00:00June 20th, 2018|Big Data, DataWorks Summit 2018|0 commentaire

Exposition de brokers Kafka sur deux interfaces réseaux

L’un des clusters sur lesquels nous travaillons est constitué de deux réseaux: – Un vlan “interne” dédié au cluster et accessible des noeuds Worker – Un vlan “data” exposé les noeuds Edge, Kafka et Master à l’extérieur du cluster Kafka est utilisé pour l’ingestion de données en entrée et la publication de données traitées en [...]

Par |2019-02-06T18:11:38+00:00July 13th, 2017|Blog|0 commentaire