Présentation de David Fallside, IBM. Les images sont issues des slides de présentation.
Introduction
Le développement d’applications Web est passé d’un environnement Java vers des environnements Javascript avec NodeJS qui fournit des outils simples et riche à la fois avec NPM.
EclairJS est une librairie NodeJS fournissant des binding sur une application Spark :
- Un RDD est représenté par un object JS rendu immutable
- Les opérateurs Spark sont mappés de manière transparente en fonctions JS (ex: flatMap, filter, …)
- Les fonctions JS mappées aux opérateurs Spark retournent des promesses
L’utilisation des promesses permet d’émuler l’utilisation du DAG par Spark :
- Les transformations renvoient un nouvel objet RDD et sont ajoutés au DAG
- Les actions exécutent le DAG afin de récupérer un résultat
EclairJS – Code semantics
Architecture
EclairJS est composé de deux éléments :
- Le client: API Javascript, installable avec NPM
- Le serveur: Javascript fournissant un mapping JS/Java et capable de tourner dans la JVM avec le projet Oracle Nashorn
Le serveur utilise également Jupyter Notebook afin d’exposer un point d’entrée WebSocket entre le client et le serveur.
Performance
En terme de performances, l’API Spark native en Java est bien plus rapide, cependant EclairJS est deux fois plus rapide que l’API PySpark, ce qui en fait une alternative tout à fait viable.
Conclusion
EclairJS est un bon projet, stable et utilisable, si vous avez besoin d’intégrer des jobs Spark dans une web app.
Laisser un commentaire