EclairJS - Un peu de Spark dans les Web Apps

EclairJS - Un peu de Spark dans les Web Apps

By WORMS David

17 juil. 2016

Catégories : Data Engineering, Front End | Tags : Spark, JavaScript, Jupyter

Présentation de David Fallside, IBM. Les images sont issues des slides de présentation.

Introduction

Le développement d’applications Web est passé d’un environnement Java vers des environnements Javascript avec NodeJS qui fournit des outils simples et riches à la fois avec NPM.

EclairJS est une librairie NodeJS fournissant des bindings sur une application Spark :

  • Un RDD est représenté par un object JS rendu immutable
  • Les opérateurs Spark sont mappés de manière transparente en fonctions JS (ex : flatMap, filter, …)
  • Les fonctions JS mappées aux opérateurs Spark retournent des promesses

L’utilisation des promesses permet d’émuler l’utilisation du DAG par Spark :

  • Les transformations renvoient un nouvel objet RDD et sont ajoutées au DAG
  • Les actions exécutent le DAG afin de récupérer un résultat

EclairJS - Code semantics

Architecture

EclairJS est composé de deux éléments :

  • Le client : API Javascript, installable avec NPM
  • Le serveur : Javascript fournissant un mapping JS/Java et capable de tourner dans la JVM avec le projet Oracle Nashorn

Le serveur utilise également Jupyter Notebook afin d’exposer un point d’entrée WebSocket entre le client et le serveur.

EclairJS - Architecture

Performance

En terme de performances, l’API Spark native en Java est bien plus rapide, cependant EclairJS est deux fois plus rapide que l’API PySpark, ce qui en fait une alternative tout à fait viable.

EclairJS - Performances

Conclusion

EclairJS est un bon projet, stable et utilisable, si vous avez besoin d’intégrer des jobs Spark dans une web app.

Canada - Morocco - France

International locations

10 rue de la Kasbah
2393 Rabbat
Canada

Nous sommes une équipe passionnées par l'Open Source, le Big Data et les technologies associées telles que le Cloud, le Data Engineering, la Data Sciencem le DevOps…

Nous fournissons à nos clients un savoir faire reconnu sur la manière d'utiliser les technologies pour convertir leurs cas d'usage en projets exploités en production, sur la façon de réduire les coûts et d'accélérer les livraisons de nouvelles fonctionnalités.

Si vous appréciez la qualité de nos publications, nous vous invitons à nous contacter en vue de coopérer ensemble.