Articles publiés en 2021
Utilisation de Cloudera Deploy pour installer Cloudera Data Platform (CDP) Private Cloud
Catégories : Big Data, Cloud computing | Tags : Ansible, Cloudera, CDP, Cluster, Entrepôt de données (Data Warehouse), Vagrant, IaC
Suite à notre récente présentation de CDP, passons désormais au déploiement CDP private Cloud sur votre infrastructure locale. Le deploiement est entièrement automatisé avec les cookbooks Ansible…
23 juil. 2021
Présentation de Cloudera Data Platform (CDP)
Catégories : Big Data, Cloud computing, Data Engineering | Tags : Big Data, Cloudera, SDX, Analyse de données, Cloud, CDP, CDH, Data Hub, Data Lake, Entrepôt de données (Data Warehouse)
Cloudera Data Platform (CDP) est une plateforme de cloud computing pour les entreprises. CDP fournit des outils intégrés et multifonctionnels en libre-service afin d’analyser et de centraliser les…
19 juil. 2021
Python moderne, partie 3 : établir une chaîne de CI et publier son package sur PiPy
Catégories : DevOps & SRE | Tags : Git, GitHub, Tests unitaires, CI/CD, Python, Versions et évolutions
Avant de partager un package Python avec la communauté ou au sein de son organization, il est recommandé d’accomplir un certain nombres de tâches. Elles ont vocation à péréniser le bon fonctionnement…
Par BRAZA Faouzi
28 juin 2021
Python moderne, partie 2 : écrire les tests unitaires & respecter les conventions Git commit
Catégories : DevOps & SRE | Tags : Git, GitHub, Tests unitaires, Monorepo, pandas, Python
L’application de bonnes pratiques en ingénierie logicielle apporte une plus-value certaine à vos projets. Par exemple l’écriture de tests unitaires vous permet de maintenir de larges projets en vous…
Par BRAZA Faouzi
24 juin 2021
Python moderne, partie 1 : création du projet avec pyenv & poetry
Catégories : DevOps & SRE | Tags : Git, Tests unitaires, Python, Versions et évolutions
L’apprentissage d’un langage de programmation se structure souvent autour de points essentiels : pratiquer la syntaxe du langage, en maîtriser le style, comprendre certains principes et paradigmes…
Par BRAZA Faouzi
9 juin 2021
Désacraliser le overlay filesystem de Linux dans Docker
Catégories : Orchestration de conteneurs, Infrastructure | Tags : DevOps, Système de fichiers, Linux, Docker
Le overlay filesystem (également appelés union filesystems) est une technologie fondamentale dans Docker pour créer des images et des conteneurs. Ils permettent de créer une union de répertoires pour…
Par WORMS David
3 juin 2021
Guide d'apprentissage pour vous former au Big Data & à L'IA avec la plateforme Databricks
Catégories : Data Engineering, Formation | Tags : AWS, Cloud, Data Hub, Data Lake, Entrepôt de données (Data Warehouse), Databricks, Delta Lake, GCP, Machine Learning, Azure, MLflow
Databricks Academy propose un programme de cours sur le Big Data, contenant 71 modules, que vous pouvez suivre à votre rythme et selon vos besoins. Il vous en coûtera 2000 $ US pour un accès illimité…
Par KNYAZEVA Anna
26 mai 2021
JS monorepos en prod 5 : fusion de plusieurs dépôts Git et préservation des commits
Catégories : DevOps & SRE, Node.js | Tags : Bash, DevOps, Git, GitHub, JavaScript, NPM, Packaging, GitOps, Monorepo, Node.js, Open source
Chez Adaltas, nous maintenons plusieurs projets open-source Node.js organisés en monorepos Git et publiés sur NPM. Nous avons développé notre expérience avec les monorepos Lerna que nous partageons…
Par KUDINOV Sergei
21 mai 2021
Les certifications Microsoft Azure associées aux données
Catégories : Cloud computing, Data Engineering | Tags : Gouvernance des données, AWS, Azure Data Lake Storage (ADLS), Azure Data Catalog, Azure Data Factory, Data Science, GCP, Azure
Microsoft Azure a des parcours de certification pour de nombreux postes techniques tels que développeur, Data Engineers, Data Scientists et architect solution, entre autres. Chacune de ces…
Par NGOM Barthelemy
14 avr. 2021
Parcourir DBnomics avec GraphQL et connecter son schéma OpenAPI
Catégories : DevOps & SRE, Front End | Tags : Data Engineering, Base de données, Front-end, Gatsby, GraphQL, JAMstack, JavaScript, Réseau, React.js, REST, API, Node.js, Schéma
Aujourd’hui, dans le cadre de la rédaction d’un long et fastidieux document, il était mentionné DBnomics, une plateforme ouverte fédérant des ensembles de données économiques. En parcourant son site…
Par WORMS David
8 avr. 2021
Apache Liminal, quand le MLOps rencontre le GitOps
Catégories : Big Data, Orchestration de conteneurs, Data Engineering, Data Science, Tech Radar | Tags : Data Engineering, Deep Learning, CI/CD, Data Science, Déploiement, Docker, GitOps, Kubernetes, Machine Learning, MLOps, Open source, Python, TensorFlow
Apache Liminal propose une solution clés en main permettant de déployer un pipeline de Machine Learning. C’est un projet open-source, qui centralise l’ensemble des étapes nécessaires à l’entrainement…
Par COINTEPAS Aargan
31 mars 2021
Espace de stockage et temps de génération des formats de fichiers
Catégories : Data Engineering, Data Science | Tags : Avro, HDFS, Hive, MapReduce, ORC, Automation, Traitement par lots, Big Data, Data structures, JSON, Métriques, Hadoop, Parquet, Data Lake, Entrepôt de données (Data Warehouse), Format de fichier
Le choix d’un format de fichier approprié est essentiel, que les données soient en transit ou soient stockées. Chaque format de fichier a ses avantages et ses inconvénients. Nous les avons couverts…
Par NGOM Barthelemy
22 mars 2021
TensorFlow Extended (TFX) : les composants et leurs fonctionnalités
Catégories : Big Data, Data Engineering, Data Science, Formation | Tags : Beam, Data Engineering, Deep Learning, Pipeline, CI/CD, Data Science, Déploiement, Machine Learning, MLOps, Open source, Python, TensorFlow
La mise en production des modèles de Machine Learning (ML) et de Deep Learning (DL) est une tâche difficile. Il est reconnu qu’elle est plus sujette à l’échec et plus longue que la modélisation…
5 mars 2021
JS monorepos en prod 4 : tests unitaires avec Mocha et Should.js
Catégories : DevOps & SRE, Front End | Tags : Automation, Git, Tests unitaires, CI/CD, GitOps, Monorepo, Node.js
Les tests unitaires sont cruciaux pour tous les projets à long terme et permettent d’isoler des fonctionnalités de votre code en unités testables. En effet, l’objectif principal des tests unitaires…
Par WORMS David
25 févr. 2021
JS monorepos en prod 2 : gestion des versions et de la publication
Catégories : DevOps & SRE, Front End | Tags : Gatsby, Git, JavaScript, NPM, Tests unitaires, CI/CD, GitOps, Monorepo, Node.js, Versions et évolutions
Un des grands avantages d’un monorepo est de maintenir des versions cohérentes entre les packages et d’automatiser la création des versions et la publication des packages. Cet article couvre les…
Par WORMS David
11 janv. 2021
JS monorepos en prod 1 : initialization du projet
Catégories : DevOps & SRE, Front End | Tags : Gatsby, Git, JavaScript, NPM, GitOps, Monorepo, Node.js, Versions et évolutions
Chaque projet commence par l’étape d’initialisation. Lorsque votre projet est composé de plusieurs sous-projets, il est tentant de créer un dépôt Git par sous-projet. Dans Node.js, un sous-projet se…
Par WORMS David
5 janv. 2021
JS monorepos en prod 3 : validation de commits et generation du changelog
Catégories : DevOps & SRE, Front End | Tags : Gatsby, Git, JavaScript, NPM, Tests unitaires, CI/CD, Monorepo, Node.js, Versions et évolutions
Conventional Commits introduit un format structuré pour les message de commit. Il standardise les messages entre tous les contributeurs. Cela les rend plus lisibles et plus faciles à automatiser. Il…
Par WORMS David
2 févr. 2021