Cloud Computing

Achieving agility, efficiency, cost control and better analytics by deploying a cloud big data infrastructure while taking the security and legacy imperatives into account is not a trivial task. Managing an elastic pool of resources in a multi-tenant environment while respecting the SLAs and data integrity and keeping the bills under control is not either.

We architect, deploy and operate hybrid public and private cloud solutions based on multiple offerings on a daily basis. We’ve been involved in different approaches to cloud migration, from “Lift & Shift” to complete re-platform. These experiences provide our consultants with the depth and breadth of skills needed to help you navigate, customize and operate the new normal.

Our consultants intervene on all the project life cycle, from the feasibility study to the project delivery

Cloud migration

  • Gather and document the requirements (functional and nonfunctional)
  • Architect the solution based on those requirements
  • Roadmap definition and project planning
  • Test, optimize, cut-off processes
  • Public cloud services comparison

Cloud operation and optimization

  • Audit infrastructure, processes and costs
  • Infrastructure deployment automation
  • Define and achieve desired state and processes (SLOs, SLAs)
  • Infrastructure, networking and service operation
  • Cost analysis and optimization

Cloud integration and development

  • Technology and services qualification and validation
  • Data ingestion/preparation pipelines
  • Data loading and connections
  • Machine Learning algorithms
  • Stream and batch processing

Articles related to Cloud

CDP partie 5 : gestion des permissions utilisateurs sur CDP

CDP partie 5 : gestion des permissions utilisateurs sur CDP

Categories: Big Data, Cloud computing, Gouvernance des données | Tags: Ranger, Cloudera, CDP, Entrepôt de données (Data Warehouse)

Lorsqu’un utilisateur ou un groupe est créé dans CDP, des permissions doivent leur être attribuées pour accéder aux ressources et utiliser les Data Services. Cet article est le cinquième d’une série…

CHAVARRIA Tobias

By CHAVARRIA Tobias

Jul 18, 2023

CDP partie 4 : gestion des utilisateurs sur CDP avec Keycloak

CDP partie 4 : gestion des utilisateurs sur CDP avec Keycloak

Categories: Big Data, Cloud computing, Gouvernance des données | Tags: EC2, Big Data, CDP, Docker Compose, Keycloak, SSO

Les articles précédents de la série couvrent le déploiement d’un environnement CDP Public Cloud. Tous les composants sont prêts à être utilisés et il est temps de mettre l’environnement à la…

CHAVARRIA Tobias

By CHAVARRIA Tobias

Jul 4, 2023

CDP partie 3 : activation des Data Services en environnment CDP Public Cloud

CDP partie 3 : activation des Data Services en environnment CDP Public Cloud

Categories: Big Data, Cloud computing, Infrastructure | Tags: Infrastructure, AWS, Big Data, Cloudera, CDP

L’un des principaux arguments de vente de Cloudera Data Platform (CDP) est la maturité de son offre de services. Ceux-ci sont faciles à déployer sur site, dans le cloud public ou dans le cadre d’une…

KONRAD Albert

By KONRAD Albert

Jun 27, 2023

CDP partie 2 : déploiement d'un environnement CDP Public Cloud sur AWS

CDP partie 2 : déploiement d'un environnement CDP Public Cloud sur AWS

Categories: Big Data, Cloud computing, Infrastructure | Tags: Infrastructure, AWS, Big Data, Cloud, Cloudera, CDP, Cloudera Manager

La Cloudera Data Platform (CDP) Public Cloud constitue la base sur laquelle des lacs de données (Data Lake) complets sont créés. Dans un article précédent, nous avons présenté la plateforme CDP. Cet…

KONRAD Albert

By KONRAD Albert

Jun 19, 2023

CDP partie 1 : introduction à l'architecture Data Lakehouse avec CDP

CDP partie 1 : introduction à l'architecture Data Lakehouse avec CDP

Categories: Cloud computing, Data Engineering, Infrastructure | Tags: Data Engineering, Iceberg, AWS, Azure, Big Data, Cloud, Cloudera, CDP, Cloudera Manager, Entrepôt de données (Data Warehouse)

Cloudera Data Platform (CDP) est une data platform hybride pour l’intégration de donnée, le machine learning et l’analyse de la data. Dans cette série d’articles nous allons décrire comment installer…

BAUM Stephan

By BAUM Stephan

Jun 8, 2023

Déploiement de Keycloak sur EC2

Déploiement de Keycloak sur EC2

Categories: Cloud computing, Data Engineering, Infrastructure | Tags: EC2, sécurité, Authentification, AWS, Docker, Keycloak, SSL/TLS, SSO

Pourquoi utiliser Keycloak Keycloak est un fournisseur d’identité open source (IdP) utilisant l’authentification unique SSO. Un IdP est un outil permettant de créer, de maintenir et de gérer les…

BAUM Stephan

By BAUM Stephan

Mar 14, 2023

Collecte de logs Databricks vers Azure Monitor à l'échelle d'un workspace

Collecte de logs Databricks vers Azure Monitor à l'échelle d'un workspace

Categories: Cloud computing, Data Engineering, Adaltas Summit 2021 | Tags: Métriques, Supervision, Spark, Azure, Databricks, Log4j

Databricks est une plateforme optimisée d’analyse de données, basée sur Apache Spark. La surveillance de la plateforme Databricks est cruciale pour garantir la qualité des données, les performances du…

PLAYE Claire

By PLAYE Claire

May 10, 2022

Utilisation de Cloudera Deploy pour installer Cloudera Data Platform (CDP) Private Cloud

Utilisation de Cloudera Deploy pour installer Cloudera Data Platform (CDP) Private Cloud

Categories: Big Data, Cloud computing | Tags: Ansible, Cloudera, CDP, Cluster, Entrepôt de données (Data Warehouse), Vagrant, IaC

Suite à notre récente présentation de CDP, passons désormais au déploiement CDP private Cloud sur votre infrastructure locale. Le deploiement est entièrement automatisé avec les cookbooks Ansible…

HOFFMANN Alexander

By HOFFMANN Alexander

Jul 23, 2021

Présentation de Cloudera Data Platform (CDP)

Présentation de Cloudera Data Platform (CDP)

Categories: Big Data, Cloud computing, Data Engineering | Tags: SDX, Big Data, Cloud, Cloudera, CDP, CDH, Analyse de données, Data Hub, Data Lake, Lakehouse, Entrepôt de données (Data Warehouse)

Cloudera Data Platform (CDP) est une plateforme de cloud computing pour les entreprises. CDP fournit des outils intégrés et multifonctionnels en libre-service afin d’analyser et de centraliser les…

HOFFMANN Alexander

By HOFFMANN Alexander

Jul 19, 2021

Les certifications Microsoft Azure associées aux données

Les certifications Microsoft Azure associées aux données

Categories: Cloud computing, Data Engineering | Tags: Gouvernance des données, Azure, Data Science

Microsoft Azure a des parcours de certification pour de nombreux postes techniques tels que développeur, Data Engineers, Data Scientists et architect solution, entre autres. Chacune de ces…

NGOM Barthelemy

By NGOM Barthelemy

Apr 14, 2021

Connexion à ADLS Gen2 depuis Hadoop (HDP) et NiFi (HDF)

Connexion à ADLS Gen2 depuis Hadoop (HDP) et NiFi (HDF)

Categories: Big Data, Cloud computing, Data Engineering | Tags: NiFi, Hadoop, HDFS, Authentification, Autorisation, Azure, Azure Data Lake Storage (ADLS), OAuth2

Alors que les projets Data construits sur le cloud deviennent de plus en plus répandus, un cas d’utilisation courant consiste à interagir avec le stockage cloud à partir d’une plateforme Big Data on…

LEONARD Gauthier

By LEONARD Gauthier

Nov 5, 2020

Automatisation d'un workflow Spark sur GCP avec GitLab

Automatisation d'un workflow Spark sur GCP avec GitLab

Categories: Big Data, Cloud computing, Orchestration de conteneurs | Tags: Enseignement et tutorial, Airflow, Spark, CI/CD, GitLab, GitOps, GCP, Terraform

Un workflow consiste à automiatiser une succéssion de tâche qui dont être menée indépendemment d’une intervention humaine. C’est un concept important et populaire, s’appliquant particulièrement à un…

DE BAECQUE Ferdinand

By DE BAECQUE Ferdinand

Jun 16, 2020

Premier pas avec Apache Airflow sur AWS

Premier pas avec Apache Airflow sur AWS

Categories: Big Data, Cloud computing, Orchestration de conteneurs | Tags: PySpark, Enseignement et tutorial, Airflow, Oozie, Spark, AWS, Docker, Python

Apache Airflow offre une solution répondant au défi croissant d’un paysage de plus en plus complexe d’outils de gestion de données, de scripts et de traitements d’analyse à gérer et coordonner. C’est…

COINTEPAS Aargan

By COINTEPAS Aargan

May 5, 2020

Snowflake, le Data Warehouse conçu pour le cloud, introduction et premiers pas

Snowflake, le Data Warehouse conçu pour le cloud, introduction et premiers pas

Categories: Business Intelligence, Cloud computing | Tags: Cloud, Data Lake, Data Science, Entrepôt de données (Data Warehouse), Snowflake

Snowflake est une plateforme d’entrepôt de données en mode SaaS qui centralise, dans le cloud, le stockage et le traitement de données structurées et semi-structurées. La génération croissante de…

HAMELIN-BOYER Jules

By HAMELIN-BOYER Jules

Apr 7, 2020

Cloudera CDP et migration Cloud de votre Data Warehouse

Cloudera CDP et migration Cloud de votre Data Warehouse

Categories: Big Data, Cloud computing | Tags: Azure, Cloudera, Data Hub, Data Lake, Entrepôt de données (Data Warehouse)

Alors que l’un de nos clients anticipe un passage vers le Cloud et avec l’annonce récente de la disponibilité de Cloudera CDP mi-septembre lors de la conférence Strata, il semble que le moment soit…

WORMS David

By WORMS David

Dec 16, 2019

Migration Big Data et Data Lake vers le Cloud

Migration Big Data et Data Lake vers le Cloud

Categories: Big Data, Cloud computing | Tags: DevOps, AWS, Azure, Cloud, CDP, Databricks, GCP

Est-il impératif de suivre tendance et de migrer ses données, workflow et infrastructure vers l’un des Cloud providers tels que GCP, AWS ou Azure ? Lors de la Strata Data Conference à New-York, un…

RUMMENS Joris

By RUMMENS Joris

Dec 9, 2019

Insérer des lignes dans une table BigQuery avec des colonnes complexes

Insérer des lignes dans une table BigQuery avec des colonnes complexes

Categories: Cloud computing, Data Engineering | Tags: GCP, BigQuery, Schéma, SQL

Le service BigQuery de Google Cloud est une solution data warehouse conçue pour traiter d’énormes volumes de données avec un certain nombre de fonctionnalités disponibles. Parmi toutes celles-ci, nous…

BEREZOWSKI César

By BEREZOWSKI César

Nov 22, 2019

Exécuter des workloads d'entreprise dans le Cloud avec Cloudbreak

Exécuter des workloads d'entreprise dans le Cloud avec Cloudbreak

Categories: Big Data, Cloud computing, DataWorks Summit 2018 | Tags: Cloudbreak, Exploitation, Hadoop, AWS, Azure, GCP, HDP, OpenStack

Cet article se base sur la conférence de Peter Darvasi et Richard Doktorics “Running Enterprise Workloads in the Cloud” au DataWorks Summit 2018 à Berlin. Il présentera l’outil de déploiement…

RUMMENS Joris

By RUMMENS Joris

May 28, 2018

Micro Services

Micro Services

Categories: Cloud computing, Orchestration de conteneurs, Open Source Summit Europe 2017 | Tags: Mesos, CNCF, DNS, Chiffrement, gRPC, Istio, Linkerd, Micro Services, MITM, Service Mesh, Kubernetes, Proxy, SPOF, SSL/TLS

Historiquement, les applications étaient monolithiques et nous pouvions utiliser une adresse IP pour accéder à un service. Avec les machines virtuelles (VM), plusieurs hôtes commencent à apparaître…

WORMS David

By WORMS David

Nov 14, 2017

Intégration continue et "gating" multi-repo à grand échelle

Intégration continue et "gating" multi-repo à grand échelle

Categories: Cloud computing, DevOps & SRE, Open Source Summit Europe 2017 | Tags: Infrastructure, Jenkins, Red Hat, Zuul, Ansible, CI/CD, OpenStack

Cet article est un récapitulatif avec nos impressions de la présentation de l’outil d’intégration continue d’OpenStack Zuul à la conférence Open Source Summit 2017 à Prague par Monty Taylor (à ne pas…

RUMMENS Joris

By RUMMENS Joris

Oct 28, 2017

Méthodes de stockage persistées dans Kubernetes

Méthodes de stockage persistées dans Kubernetes

Categories: Cloud computing, Orchestration de conteneurs, Open Source Summit Europe 2017 | Tags: Container Storage Interface (CSI), PVC, Azure, Docker, GCE, Kubernetes, Storage

Cet article est basé sur la présentation “Introduction to Kubernetes Storage Primitives for Stateful Workloads” par the {Code} team à la conférence OSS 2017 à Prague. Commençons par qu’est-ce que…

SAUVAGE Pierre

By SAUVAGE Pierre

Oct 28, 2017

Node.js intégré à la plateforme cloud Microsoft Azure

Node.js intégré à la plateforme cloud Microsoft Azure

Categories: Cloud computing, Tech Radar | Tags: Linux, Azure, Cloud, Node.js

Node est désormais un citoyen de premier ordre dans l’environnement cloud de Microsoft Azure au côté de .Net, Java et PHP. Cette intégration est la conséquence logique de l’implication de Microsoft…

WORMS David

By WORMS David

Dec 11, 2011

Canada - Morocco - France

We are a team of Open Source enthusiasts doing consulting in Big Data, Cloud, DevOps, Data Engineering, Data Science…

We provide our customers with accurate insights on how to leverage technologies to convert their use cases to projects in production, how to reduce their costs and increase the time to market.

If you enjoy reading our publications and have an interest in what we do, contact us and we will be thrilled to cooperate with you.

Support Ukrain