Cloud Computing
Achieving agility, efficiency, cost control and better analytics by deploying a cloud big data infrastructure while taking the security and legacy imperatives into account is not a trivial task. Managing an elastic pool of resources in a multi-tenant environment while respecting the SLAs and data integrity and keeping the bills under control is not either.
We architect, deploy and operate hybrid public and private cloud solutions based on multiple offerings on a daily basis. We’ve been involved in different approaches to cloud migration, from “Lift & Shift” to complete re-platform. These experiences provide our consultants with the depth and breadth of skills needed to help you navigate, customize and operate the new normal.
Our consultants intervene on all the project life cycle, from the feasibility study to the project delivery
Cloud migration
- Gather and document the requirements (functional and nonfunctional)
- Architect the solution based on those requirements
- Roadmap definition and project planning
- Test, optimize, cut-off processes
- Public cloud services comparison
Cloud operation and optimization
- Audit infrastructure, processes and costs
- Infrastructure deployment automation
- Define and achieve desired state and processes (SLOs, SLAs)
- Infrastructure, networking and service operation
- Cost analysis and optimization
Cloud integration and development
- Technology and services qualification and validation
- Data ingestion/preparation pipelines
- Data loading and connections
- Machine Learning algorithms
- Stream and batch processing
Articles related to Cloud
CDP partie 5 : gestion des permissions utilisateurs sur CDP
Categories: Big Data, Cloud computing, Gouvernance des données | Tags: Ranger, Cloudera, CDP, Entrepôt de données (Data Warehouse)
Lorsqu’un utilisateur ou un groupe est créé dans CDP, des permissions doivent leur être attribuées pour accéder aux ressources et utiliser les Data Services. Cet article est le cinquième d’une série…
Jul 18, 2023
CDP partie 4 : gestion des utilisateurs sur CDP avec Keycloak
Categories: Big Data, Cloud computing, Gouvernance des données | Tags: EC2, Big Data, CDP, Docker Compose, Keycloak, SSO
Les articles précédents de la série couvrent le déploiement d’un environnement CDP Public Cloud. Tous les composants sont prêts à être utilisés et il est temps de mettre l’environnement à la…
Jul 4, 2023
CDP partie 3 : activation des Data Services en environnment CDP Public Cloud
Categories: Big Data, Cloud computing, Infrastructure | Tags: Infrastructure, AWS, Big Data, Cloudera, CDP
L’un des principaux arguments de vente de Cloudera Data Platform (CDP) est la maturité de son offre de services. Ceux-ci sont faciles à déployer sur site, dans le cloud public ou dans le cadre d’une…
Jun 27, 2023
CDP partie 2 : déploiement d'un environnement CDP Public Cloud sur AWS
Categories: Big Data, Cloud computing, Infrastructure | Tags: Infrastructure, AWS, Big Data, Cloud, Cloudera, CDP, Cloudera Manager
La Cloudera Data Platform (CDP) Public Cloud constitue la base sur laquelle des lacs de données (Data Lake) complets sont créés. Dans un article précédent, nous avons présenté la plateforme CDP. Cet…
Jun 19, 2023
CDP partie 1 : introduction à l'architecture Data Lakehouse avec CDP
Categories: Cloud computing, Data Engineering, Infrastructure | Tags: Data Engineering, Iceberg, AWS, Azure, Big Data, Cloud, Cloudera, CDP, Cloudera Manager, Entrepôt de données (Data Warehouse)
Cloudera Data Platform (CDP) est une data platform hybride pour l’intégration de donnée, le machine learning et l’analyse de la data. Dans cette série d’articles nous allons décrire comment installer…
By BAUM Stephan
Jun 8, 2023
Déploiement de Keycloak sur EC2
Categories: Cloud computing, Data Engineering, Infrastructure | Tags: EC2, sécurité, Authentification, AWS, Docker, Keycloak, SSL/TLS, SSO
Pourquoi utiliser Keycloak Keycloak est un fournisseur d’identité open source (IdP) utilisant l’authentification unique SSO. Un IdP est un outil permettant de créer, de maintenir et de gérer les…
By BAUM Stephan
Mar 14, 2023
Collecte de logs Databricks vers Azure Monitor à l'échelle d'un workspace
Categories: Cloud computing, Data Engineering, Adaltas Summit 2021 | Tags: Métriques, Supervision, Spark, Azure, Databricks, Log4j
Databricks est une plateforme optimisée d’analyse de données, basée sur Apache Spark. La surveillance de la plateforme Databricks est cruciale pour garantir la qualité des données, les performances du…
By PLAYE Claire
May 10, 2022
Utilisation de Cloudera Deploy pour installer Cloudera Data Platform (CDP) Private Cloud
Categories: Big Data, Cloud computing | Tags: Ansible, Cloudera, CDP, Cluster, Entrepôt de données (Data Warehouse), Vagrant, IaC
Suite à notre récente présentation de CDP, passons désormais au déploiement CDP private Cloud sur votre infrastructure locale. Le deploiement est entièrement automatisé avec les cookbooks Ansible…
Jul 23, 2021
Présentation de Cloudera Data Platform (CDP)
Categories: Big Data, Cloud computing, Data Engineering | Tags: SDX, Big Data, Cloud, Cloudera, CDP, CDH, Analyse de données, Data Hub, Data Lake, Lakehouse, Entrepôt de données (Data Warehouse)
Cloudera Data Platform (CDP) est une plateforme de cloud computing pour les entreprises. CDP fournit des outils intégrés et multifonctionnels en libre-service afin d’analyser et de centraliser les…
Jul 19, 2021
Les certifications Microsoft Azure associées aux données
Categories: Cloud computing, Data Engineering | Tags: Gouvernance des données, Azure, Data Science
Microsoft Azure a des parcours de certification pour de nombreux postes techniques tels que développeur, Data Engineers, Data Scientists et architect solution, entre autres. Chacune de ces…
Apr 14, 2021
Connexion à ADLS Gen2 depuis Hadoop (HDP) et NiFi (HDF)
Categories: Big Data, Cloud computing, Data Engineering | Tags: NiFi, Hadoop, HDFS, Authentification, Autorisation, Azure, Azure Data Lake Storage (ADLS), OAuth2
Alors que les projets Data construits sur le cloud deviennent de plus en plus répandus, un cas d’utilisation courant consiste à interagir avec le stockage cloud à partir d’une plateforme Big Data on…
Nov 5, 2020
Automatisation d'un workflow Spark sur GCP avec GitLab
Categories: Big Data, Cloud computing, Orchestration de conteneurs | Tags: Enseignement et tutorial, Airflow, Spark, CI/CD, GitLab, GitOps, GCP, Terraform
Un workflow consiste à automiatiser une succéssion de tâche qui dont être menée indépendemment d’une intervention humaine. C’est un concept important et populaire, s’appliquant particulièrement à un…
Jun 16, 2020
Premier pas avec Apache Airflow sur AWS
Categories: Big Data, Cloud computing, Orchestration de conteneurs | Tags: PySpark, Enseignement et tutorial, Airflow, Oozie, Spark, AWS, Docker, Python
Apache Airflow offre une solution répondant au défi croissant d’un paysage de plus en plus complexe d’outils de gestion de données, de scripts et de traitements d’analyse à gérer et coordonner. C’est…
May 5, 2020
Snowflake, le Data Warehouse conçu pour le cloud, introduction et premiers pas
Categories: Business Intelligence, Cloud computing | Tags: Cloud, Data Lake, Data Science, Entrepôt de données (Data Warehouse), Snowflake
Snowflake est une plateforme d’entrepôt de données en mode SaaS qui centralise, dans le cloud, le stockage et le traitement de données structurées et semi-structurées. La génération croissante de…
Apr 7, 2020
Cloudera CDP et migration Cloud de votre Data Warehouse
Categories: Big Data, Cloud computing | Tags: Azure, Cloudera, Data Hub, Data Lake, Entrepôt de données (Data Warehouse)
Alors que l’un de nos clients anticipe un passage vers le Cloud et avec l’annonce récente de la disponibilité de Cloudera CDP mi-septembre lors de la conférence Strata, il semble que le moment soit…
By WORMS David
Dec 16, 2019
Migration Big Data et Data Lake vers le Cloud
Categories: Big Data, Cloud computing | Tags: DevOps, AWS, Azure, Cloud, CDP, Databricks, GCP
Est-il impératif de suivre tendance et de migrer ses données, workflow et infrastructure vers l’un des Cloud providers tels que GCP, AWS ou Azure ? Lors de la Strata Data Conference à New-York, un…
Dec 9, 2019
Insérer des lignes dans une table BigQuery avec des colonnes complexes
Categories: Cloud computing, Data Engineering | Tags: GCP, BigQuery, Schéma, SQL
Le service BigQuery de Google Cloud est une solution data warehouse conçue pour traiter d’énormes volumes de données avec un certain nombre de fonctionnalités disponibles. Parmi toutes celles-ci, nous…
Nov 22, 2019
Exécuter des workloads d'entreprise dans le Cloud avec Cloudbreak
Categories: Big Data, Cloud computing, DataWorks Summit 2018 | Tags: Cloudbreak, Exploitation, Hadoop, AWS, Azure, GCP, HDP, OpenStack
Cet article se base sur la conférence de Peter Darvasi et Richard Doktorics “Running Enterprise Workloads in the Cloud” au DataWorks Summit 2018 à Berlin. Il présentera l’outil de déploiement…
May 28, 2018
Micro Services
Categories: Cloud computing, Orchestration de conteneurs, Open Source Summit Europe 2017 | Tags: Mesos, CNCF, DNS, Chiffrement, gRPC, Istio, Linkerd, Micro Services, MITM, Service Mesh, Kubernetes, Proxy, SPOF, SSL/TLS
Historiquement, les applications étaient monolithiques et nous pouvions utiliser une adresse IP pour accéder à un service. Avec les machines virtuelles (VM), plusieurs hôtes commencent à apparaître…
By WORMS David
Nov 14, 2017
Intégration continue et "gating" multi-repo à grand échelle
Categories: Cloud computing, DevOps & SRE, Open Source Summit Europe 2017 | Tags: Infrastructure, Jenkins, Red Hat, Zuul, Ansible, CI/CD, OpenStack
Cet article est un récapitulatif avec nos impressions de la présentation de l’outil d’intégration continue d’OpenStack Zuul à la conférence Open Source Summit 2017 à Prague par Monty Taylor (à ne pas…
Oct 28, 2017
Méthodes de stockage persistées dans Kubernetes
Categories: Cloud computing, Orchestration de conteneurs, Open Source Summit Europe 2017 | Tags: Container Storage Interface (CSI), PVC, Azure, Docker, GCE, Kubernetes, Storage
Cet article est basé sur la présentation “Introduction to Kubernetes Storage Primitives for Stateful Workloads” par the {Code} team à la conférence OSS 2017 à Prague. Commençons par qu’est-ce que…
Oct 28, 2017
Node.js intégré à la plateforme cloud Microsoft Azure
Categories: Cloud computing, Tech Radar | Tags: Linux, Azure, Cloud, Node.js
Node est désormais un citoyen de premier ordre dans l’environnement cloud de Microsoft Azure au côté de .Net, Java et PHP. Cette intégration est la conséquence logique de l’implication de Microsoft…
By WORMS David
Dec 11, 2011
