DevOps

Spark Streaming partie 3 : DevOps, outils et tests pour les applications Spark

L'indisponibilité des services entraîne des pertes financières pour les entreprises. Les applications Spark Streaming ne sont pas exempts de pannes, comme tout autre logiciel. Une application streaming utilise des données du monde réel, l’incertitude est donc intrinsèque aux données arrivant dans l’application. Les tests sont essentiels pour détecter les défauts logiciels et les logiques défectueuses [...]

Par |2019-07-11T22:09:35+00:00June 19th, 2019|Big Data, Data Engineering|0 commentaire

Microsoft annonce Cloud Native Application Bundles

Lors de la DockerCon EU 2018 à Barcelone, Matt Butcher, ingénieur principal chez Microsoft et inventeur de Helm, a présenté CNAB, Cloud Native Application Bundles, un format de packaging pour applications distribuées, ainsi que Duffle, un outil de ligne de commande permettant d’exécuter ces bundles. […]

Par |2018-12-05T10:20:08+00:00December 4th, 2018|Conteneur, DevOps|0 commentaire

Intégration continue et “gating” multi-repo à grand échelle

Cet article est un récapitulatif avec nos impressions de la présentation de l’outil d’intégration continue d’OpenStack “Zuul” à la conférence Open Source Summit 2017 à Prague par Monty Taylor (à ne pas confondre avec le projet Zuul de Netflix) […]

Par |2019-02-07T11:08:02+00:00October 28th, 2017|Open Source Summit Europe 2017|0 commentaire

Maitrisez vos workflows avec Apache Airflow

Ci-dessous une compilation de mes notes prises lors de la présentation d'Airflow par Christian Trebing de chez BlueYonder. Introduction Use case : comment traiter des données arrivant régulièrement de leurs clients ? Option 1 : utiliser le CRON Uniquement des déclancheurs temporels Compliqué de gérer les erreurs Peu commode lors du chevauchement d'un job en cours [...]

Par |2019-06-19T07:08:31+00:00July 17th, 2016|Évènements, Tech Radar|1 Comment

Nouveau regard sur les tests en Node.js avec Mocha, Should et Travis

Suite à une demande, l’article ci-dessous est la traduction d’un précédent publié le 19 février 2012. Aujourd’hui, j’ai finalement décidé de passer un peu de temps autour de Travis. Cette petite image verte en haut des pages d’accueil de projets GitHub m’intrigue de plus en plus ces derniers jours. En fait, pour être tout à [...]

Par |2019-06-25T09:34:08+00:00March 3rd, 2012|DevOps, Node.js|0 commentaire

Lancement de Mecano, fonctions pour le déploiement de systèmes

Mis à jour en juillet 2016, Mecano est désormais renommé Nikita. Nous publions Node Mecano sur GitHub, qui regroupent des fonctions communes utilisées lors du déploiement de systèmes. L'idée était de regrouper ces fonctions dans une bibliothèque complète. Le code a commencé lorsque nous avons écrit Heco et lorsque nous avons déployé un cluster Hadoop [...]

Par |2019-06-24T10:00:42+00:00February 12th, 2012|DevOps, Node.js|0 commentaire