Apache Kafka est une plate-forme open source pour le traitement de flux. Le logiciel a été initialement développé par LinkedIn et écrit dans les langages de programmation Scala et Java. En 2011, Kafka a rejoint la fondation Apache. Le logiciel a été nommé d'après l'auteur Franz Kafka car il représente un système optimisé pour l'écriture.

L'objectif du projet est de fournir une plate-forme unifiée à haut débit et à faible latence pour le traitement des flux de données en temps réel. Kafka peut se connecter à des systèmes externes et, avec Kafka Streams, propose un traitement de flux en Java.

Kafka est largement utilisé dans les architectures de données de streaming en temps réel pour fournir des analyses en temps réel. Il est conçu pour:

• Publication et abonnement aux flux de données
• Stockage efficace des flux de données
• Traitez et analyser les flux en temps réel

Le logiciel étant un système de messagerie de publication-abonnement (publish-subscribe) rapide, évolutif et tolérant aux pannes, Kafka est utilisé dans les cas d'utilisation où les systèmes de messagerie Java Message Service (JMS), RabbitMQ et AMQP peuvent ne pas être pris en compte en raison du volume et de la réactivité. Kafka offre des propriétés de débit et de fiabilité plus élevées et convient donc aux volumes de données élevés avec lesquels les Message Oriented Middleware (MOM) conventionnels peuvent être submergés.