DevOps and Site Reliability Engineering (SRE)
DevOps is understood as part of the corporate culture with certain principles that a company aspires to and follows for the long term. Supporters of this culture value collaboration, the joy of experimenting and the willingness to learn. All parties involved in a DevOps culture focus on one goal throughout the entire software delivery lifecycle (not just development and operations): the rapid implementation of stable, high-quality software, from concept to customer or user.
The automation of software development, testing and deployment through Continuous Delivery (CD) is a recognized key factor for DevOps. Automation enables faster software implementation and ensures the solutions have the quality, security and stability they need.
Objectives
Defining and contributing to:
- Service Level Indicator (SLI)
- Service Level Objective (SLO)
- Service Level Agreements (SLA)
- Service risk, level of availability and error budget
Collaboration
Works together with the application developers:
- Change management
- Set commons goals
- Ensure production delivery
- Improve system reliabity
Responsibilities
Involved and responsible for:
- Monitoring and alterting
- Capacity planning and availability
- latency, performance and efficiency
- Emergency response and automation
Articles related to DevOps
Des environnements de développement locaux avec Terraform + LXD
Categories: Orchestration de conteneurs, DevOps & SRE | Tags: Automation, DevOps, KVM, LXD, Virtualisation, VM, Terraform, Vagrant
En tant qu’architecte de solutions Big Data et InfraOps, j’ai besoin d’environnements de développement pour installer et tester des logiciels. Ils doivent être configurables, flexibles et performants…
Jun 1, 2023
Comment construire ses images OCI avec Buildpacks
Categories: Orchestration de conteneurs, DevOps & SRE | Tags: CNCF, OCI, CI/CD, Docker, Kubernetes
Docker est désormais devenu un standard pour déployer son application. Dans une image Docker on place notre code source, ses dépendances, quelques configurations et notre application est quasiment…
Jan 9, 2023
Stage infrastructure big data
Categories: Big Data, Data Engineering, DevOps & SRE, Infrastructure | Tags: Infrastructure, Hadoop, Big Data, Cluster, Internship, Kubernetes, TDP
Présentation de l’offre Le Big Data et l’informatique distribuée sont au cœur d’Adaltas. Nous accompagnons nos partenaires dans le déploiement, la maintenance, l’optimisation et nouvellement le…
By BAUM Stephan
Dec 2, 2022
Découvrez Trunk Data Platform : La Distribution Big Data Open-Source par TOSIT
Categories: Big Data, DevOps & SRE, Infrastructure | Tags: Ranger, DevOps, Hortonworks, Ansible, Hadoop, HBase, Knox, Spark, Cloudera, CDP, CDH, Open source, TDP
Depuis la fusion de Cloudera et Hortonworks, la sélection de distributions Hadoop commerciales on-prem se réduit à CDP Private Cloud. CDP est un mélange de CDH et de HDP conservant les meilleurs…
Apr 14, 2022
Monorepos JS en prod 7 : Intégration continue et déploiement continu avec GitHub Actions
Categories: DevOps & SRE, Front End | Tags: CI/CD, Monorepo, Node.js, Tests unitaires
La valeur d’une CI/CD réside dans sa capacité à contrôler et à coordonner les changements et l’ajout de fonctionnalités dans plusieurs versions itératives tout en ayant simultanément plusieurs…
Apr 6, 2022
Variables Ansible : choisir l'emplacement approprié
Categories: DevOps & SRE | Tags: Infrastructure, Ansible, IaC, YAML
Définir des variables pour vos playbooks et rôles Ansible peut devenir un défi à mesure que votre projet se développe. Naviguer la documentation Ansible est source de questionnements et de confusion…
Mar 15, 2022
GitOps en pratique, déploiement d'applications Kubernetes avec ArgoCD
Categories: Orchestration de conteneurs, DevOps & SRE, Adaltas Summit 2021 | Tags: Argo CD, CI/CD, Git, GitOps, IaC, Kubernetes
GitOps est un ensemble de pratiques pour déployer des applications à l’aide de Git. Les définitions, les configurations et la connectivité des applications sont stockées dans un logiciel de contrôle…
Dec 16, 2021
JS monorepos en prod 6 : CI/CD, intégration et déploiement continue avec Travis CI
Categories: DevOps & SRE, Front End | Tags: CI/CD, Monorepo, Node.js, Tests unitaires
La mise en place d’une intégration continue (CI) et d’un déploiement continu (CD) sur un monorepo est assez complexe en raison de la diversité des responsabilités entre les développeurs et de la…
By WORMS David
Dec 6, 2021
Exécution des build Travis CI en local avec Docker
Categories: DevOps & SRE, Front End | Tags: Bash, Tools, CI/CD, Node.js, Tests unitaires
La configuration de l’environnement pour effectuer les tests sur un CI/CD peut nécessiter quelques allers-retours entre votre machine hôte et le CI/CD fonctionnant à distance. Pour chaque tentative…
By WORMS David
Sep 6, 2021
Python moderne, partie 3 : établir une chaîne de CI et publier son package sur PiPy
Categories: DevOps & SRE | Tags: GitHub, CI/CD, Git, Python, Versions et évolutions, Tests unitaires
Avant de partager un package Python avec la communauté ou au sein de son organization, il est recommandé d’accomplir un certain nombres de tâches. Elles ont vocation à péréniser le bon fonctionnement…
By BRAZA Faouzi
Jun 28, 2021
Python moderne, partie 2 : écrire les tests unitaires & respecter les conventions Git commit
Categories: DevOps & SRE | Tags: Git, pandas, Python, Tests unitaires
L’application de bonnes pratiques en ingénierie logicielle apporte une plus-value certaine à vos projets. Par exemple l’écriture de tests unitaires vous permet de maintenir de larges projets en vous…
By BRAZA Faouzi
Jun 24, 2021
Python moderne, partie 1 : création du projet avec pyenv & poetry
Categories: DevOps & SRE | Tags: Git, Python, Versions et évolutions, Tests unitaires
L’apprentissage d’un langage de programmation se structure souvent autour de points essentiels : pratiquer la syntaxe du langage, en maîtriser le style, comprendre certains principes et paradigmes…
By BRAZA Faouzi
Jun 9, 2021
JS monorepos en prod 5 : fusion de plusieurs dépôts Git et préservation des commits
Categories: DevOps & SRE, Node.js | Tags: Bash, DevOps, GitHub, Packaging, Git, GitOps, JavaScript, Monorepo
Chez Adaltas, nous maintenons plusieurs projets open-source Node.js organisés en monorepos Git et publiés sur NPM. Nous avons développé notre expérience avec les monorepos Lerna que nous partageons…
May 21, 2021
Parcourir DBnomics avec GraphQL et connecter son schéma OpenAPI
Categories: DevOps & SRE, Front End | Tags: Data Engineering, JAMstack, REST, GraphQL, JavaScript, Node.js, Schéma
Aujourd’hui, dans le cadre de la rédaction d’un long et fastidieux document, il était mentionné DBnomics, une plateforme ouverte fédérant des ensembles de données économiques. En parcourant son site…
By WORMS David
Apr 8, 2021
JS monorepos en prod 4 : tests unitaires avec Mocha et Should.js
Categories: DevOps & SRE, Front End | Tags: Automation, CI/CD, Git, GitOps, Monorepo, Node.js, Tests unitaires
Les tests unitaires sont cruciaux pour tous les projets à long terme et permettent d’isoler des fonctionnalités de votre code en unités testables. En effet, l’objectif principal des tests unitaires…
By WORMS David
Feb 25, 2021
JS monorepos en prod 3 : validation de commits et generation du changelog
Categories: DevOps & SRE, Front End | Tags: CI/CD, Git, JavaScript, Monorepo, Node.js, Versions et évolutions, Tests unitaires
Conventional Commits introduit un format structuré pour les message de commit. Il standardise les messages entre tous les contributeurs. Cela les rend plus lisibles et plus faciles à automatiser. Il…
By WORMS David
Feb 2, 2021
JS monorepos en prod 2 : gestion des versions et de la publication
Categories: DevOps & SRE, Front End | Tags: CI/CD, Git, GitOps, JavaScript, Monorepo, Node.js, Versions et évolutions, Tests unitaires
Un des grands avantages d’un monorepo est de maintenir des versions cohérentes entre les packages et d’automatiser la création des versions et la publication des packages. Cet article couvre les…
By WORMS David
Jan 11, 2021
JS monorepos en prod 1 : initialization du projet
Categories: DevOps & SRE, Front End | Tags: Git, GitOps, JavaScript, Monorepo, Node.js, Versions et évolutions
Chaque projet commence par l’étape d’initialisation. Lorsque votre projet est composé de plusieurs sous-projets, il est tentant de créer un dépôt Git par sous-projet. Dans Node.js, un sous-projet se…
By WORMS David
Jan 5, 2021
Versionnage des données et ML reproductible avec DVC et MLflow
Categories: Data Science, DevOps & SRE, Évènements | Tags: Data Engineering, Databricks, Delta Lake, Git, Machine Learning, MLflow, Storage
Notre présentation sur la gestion de versions sur des données et le développement reproductible d’algorithmes de Machine Learning proposé au Data + AI Summit (anciennement Spark + AI) est accepté. La…
Sep 30, 2020
Gestion des versions de vos jeux de données avec Data Version Control (DVC) et Git
Categories: Data Science, DevOps & SRE | Tags: DevOps, Infrastructure, Exploitation, Git, GitOps, SCM
L’utilisation d’un système de contrôle de version tel que Git pour le code source est une bonne pratique et une norme de l’industrie. Étant donné que les projets se concentrent de plus en plus sur les…
By JOUET Grégor
Sep 3, 2020
Mise en production d'un modèle de Machine Learning
Categories: Big Data, Data Engineering, Data Science, DevOps & SRE | Tags: DevOps, Exploitation, IA, Cloud, Machine Learning, MLOps, On-premises, Schéma
“Le Machine Learning en entreprise nécessite une vision globale […] du point de vue de l’ingénierie et de la plateforme de données”, a expliqué Justin Norman lors de son intervention sur le…
Sep 30, 2019
Rook via Ceph n'approvisionne pas mes Persistent Volume Claims !
Categories: DevOps & SRE | Tags: PVC, Linux, Rook, Ubuntu, Ceph, Cluster, Internship, Kubernetes
L’installation de Ceph dans un cluster Kubernetes peut être automatisé par l’utilisation de Rook. Actuellement en stage chez Adaltas, j’étais en charge de participer à la configuration d’un cluster…
Sep 9, 2019
Spark Streaming partie 3 : DevOps, outils et tests pour les applications Spark
Categories: Big Data, Data Engineering, DevOps & SRE | Tags: Apache Spark Streaming, DevOps, Enseignement et tutorial, Spark
L’indisponibilité des services entraîne des pertes financières pour les entreprises. Les applications Spark Streaming ne sont pas exempts de pannes, comme tout autre logiciel. Une application…
May 31, 2019
Surveillance d'un cluster Hadoop de production avec Kubernetes
Categories: DevOps & SRE | Tags: Thrift, Grafana, Shinken, Hadoop, Knox, Cluster, Docker, Elasticsearch, Kubernetes, Noeud, Node.js, Prometheus, Python
La surveillance d’un cluster Hadoop de production est un vrai challenge et se doit d’être en constante évolution. Aujourd’hui, la solution que nous utilisons se base sur Nagios. Efficace en ce qui…
Dec 21, 2018
Prise de contrôle d'un cluster Hadoop avec Apache Ambari
Categories: Big Data, DevOps & SRE, Adaltas Summit 2018 | Tags: Ambari, Automation, iptables, Kerberos, Nikita, REST, Systemd, Cluster, HDP, Noeud, Node.js
Nous avons récemment migré un large cluster Hadoop de production installé “manuellement” vers Apache Ambari. Nous avons nommé cette opération “Ambari Takeover”. C’est un processus à risque et nous…
Nov 15, 2018
Machines KVM pour Vagrant sur Archlinux
Categories: DevOps & SRE | Tags: Arch Linux, KVM, Linux, Virtualisation, VM, Vagrant
Vagrant supporte différents providers pour gérer la virtualisation. Dans un environnement Linux, il est possible d’améliorer considérablement les performances des VMs en utilisant le provider libvirt…
Sep 19, 2018
Ambari - Comment utiliser les blueprints
Categories: Big Data, DevOps & SRE | Tags: Ambari, Ranger, Automation, DevOps, Exploitation, REST
En tant qu’ingénieurs d’infrastructure chez Adaltas, nous déployons des clusters. Beaucoup de clusters. Généralement, nos clients choisissent d’utiliser une distribution telle que Hortonworks HDP ou…
Jan 17, 2018
Intégration continue et "gating" multi-repo à grand échelle
Categories: Cloud computing, DevOps & SRE, Open Source Summit Europe 2017 | Tags: Infrastructure, Jenkins, Red Hat, Zuul, Ansible, CI/CD, OpenStack
Cet article est un récapitulatif avec nos impressions de la présentation de l’outil d’intégration continue d’OpenStack Zuul à la conférence Open Source Summit 2017 à Prague par Monty Taylor (à ne pas…
Oct 28, 2017
Apache Thrift vs REST
Categories: DevOps & SRE, Open Source Summit Europe 2017 | Tags: Thrift, gRPC, HTTP, REST, JavaScript Object Notation (JSON)
Adaltas a récemment assisté à l’Open Source Summit Europe 2017 à Prague. J’ai eu l’occasion de suivre une présentation faite par Randy Abernethy et Jens Geyer de RM-X, une société de conseil en cloud…
Oct 28, 2017
De Dockerfile à Ansible Containers
Categories: Orchestration de conteneurs, DevOps & SRE, Open Source Summit Europe 2017 | Tags: Shell, Ansible, Docker, Docker Compose, YAML
Cette présentation était une introduction au format Dockerfile et à l’outil Ansible Containers puis une comparaison des deux produits. Elle fut réalisée par Tomas Tomecek, membre de l’équipe…
Oct 25, 2017
MiNiFi : Scalabilité de la donnée & de l'intérêt de commencer petit
Categories: Big Data, DevOps & SRE, Infrastructure | Tags: MiNiFi, NiFi, C++, HDF, Cloudera, HDP, IOT
Aldrin nous a rapidement présenté Apache NiFi puis expliqué d’où est venu MiNiFi : un agent NiFi à déployer sur un embarqué afin d’amener la donnée à pipeline d’un cluster NiFi (ex : IoT). Ce poste…
Jul 8, 2017
Supervision de clusters HDP
Categories: Big Data, DevOps & SRE, Infrastructure | Tags: Alert, Ambari, Métriques, Supervision, REST, HDP
Avec la croissance actuelle des technologies BigData, de plus en plus d’entreprises construisent leurs propres clusters dans l’espoir de valoriser leurs données. L’une des principales préoccupations…
Jul 5, 2017
Hive Metastore HA avec DBTokenStore : Failed to initialize master key
Categories: Big Data, DevOps & SRE | Tags: Infrastructure, Hive, Bug
Cet article décrit ma petite aventure autour d’une erreur au démarrage du Hive Metastore. Elle se reproduit dans un environnement précis qui est celui d’une installation sécurisée, entendre avec…
By WORMS David
Jul 21, 2016
Un regard neuf sur les tests de projets Node.js : Mocha, Should et Travis
Categories: DevOps & SRE, Node.js | Tags: DevOps, Mocha, JavaScript, Node.js, Tests unitaires
Suite à une demande, l’article ci-dessous est la traduction d’un précédent publié le 19 février 2012. Aujourd’hui, j’ai finalement décidé de passer un peu de temps autour de Travis. Cette petite image…
By WORMS David
Feb 19, 2012
Lancement de Mecano, fonctions pour le déploiement de systèmes
Categories: DevOps & SRE, Node.js | Tags: Automation, Infrastructure, CoffeeScript, JavaScript, Open source
Mis à jour en juillet 2016, Mecano est désormais renommé Nikita. Nous publions Node Mecano sur GitHub, qui regroupent des fonctions communes utilisées lors du déploiement de systèmes. L’idée était de…
By WORMS David
Feb 12, 2012
Chef : configuration et deploiement automatisé de Clusters
Categories: DevOps & SRE, Infrastructure | Tags: Automation, Chef, Enseignement et tutorial, Puppet, Hadoop, Déploiement
L’installation d’un cluster de plusieurs machines est consommateur de temps. La même procédure de mise en place des logiciels et de leurs paramétrages doit être répétée à l’identique. Au cours du…
By WORMS David
Dec 10, 2010
