Stage en infrastructure Big Data avec TDP

Le Big Data et l’informatique distribuée sont au cœur d’Adaltas. Nous accompagnons nos partenaires dans le déploiement, la maintenance et l’optimisation de certains des plus grands clusters de France. Adaltas est également un défenseur et un contributeur actif de l’Open Source, notre dernier objectif étant une nouvelle distribution Hadoop entièrement open source, le projet TOSIT Data Platform (TDP).

Au cours de ce stage, vous rejoindrez l’équipe TDP et contribuerez au développement du projet. Vous déploierez et testerez des clusters basés sur l’éco-système Apache prêts pour la production, vous contribuerez au code sous la forme d’améliorations itératives, vous échangerez votre connaissance de TDP sous la forme de ressources d’assistance prêtes pour le client et vous acquerrez de l’expérience dans l’utilisation de composants Hadoop de base tels que HDFS, YARN, Ranger, Spark, Hive et Zookeeper.

C’est un défi de taille, avec un grand nombre de nouvelles technologies et pratiques de développement auxquelles vous devrez vous attaquer. En échange de votre dévouement, vous terminerez votre stage confiant pour assumer un rôle dans le domaine du Big Data.

Présentation de la société

Adaltas est spécialisé dans le Big Data, l’Open Source et le DevOps. Nous opérons à la fois on-premise et dans le cloud. Nous sommes fiers de notre culture Open Source et nos contributions ont aidé les utilisateurs et les entreprises à travers le monde. Adaltas est construit sur une culture ouverte. Nos articles partagent nos connaissances sur le Big Data, le DevOps et de multiples sujets complémentaires.

Compétences requises et à acquérir

Le développement de la plate-forme TDP nécessite une compréhension du modèle de calcul distribué d’Hadoop et de la façon dont ses composants de base (HDFS, YARN, etc.) fonctionnent ensemble pour répondre aux problèmes de Big Data. Une connaissance pratique de l’utilisation de Linux et de la ligne de commande est requise.

Au cours du stage, vous apprendrez :

• La gouvernance de clusters Hadoop
• La sécurisation des clusters avec Kerberos et les certificats SSL/TLS
• La haute disponibilité (HA) des services
• La répartition des ressources et des charges de travail
• La supervision des services et des applicatifs hébergés
• La tolérance aux pannes et récupération des données perdues en cas de défaillance de l’infrastructure
• l’Infrastructure as Code (IaC) via des outils DevOps tels que Ansible et Vagrant
• La collaboration du code avec Git, Gitlab et Github

Responsabilités

• Se familiariser avec l’architecture et les méthodes de configuration de la distribution TDP
• Déployer et tester des clusters TDP sécurisés et hautement disponibles
• Contribuer à la base de connaissances TDP avec des guides de dépannage, des FAQ et des articles
• Participer aux débats sur les objectifs du projet TDP et les stratégies de la feuille de route
• Contribuer activement aux idées et au code pour apporter des améliorations itératives à l’écosystème TDP
• Rechercher et analyser les différences entre les principales distributions Hadoop

Informations additionnelles

• Localisation : Boulogne Billancourt, France
• Langues : Français ou anglais
• Démarrage : mars 2022
• Durée : 6 mois

Une grande partie du monde numérique fonctionne à partir de logiciels Open Source et l’industrie du Big Data est en plein essor. Ce stage est l’occasion d’acquérir une expérience précieuse dans les deux domaines. TDP est désormais la seule distribution Hadoop véritablement Open Source. C’est le bon moment pour rejoindre l’initiative. En tant que membre de l’équipe TDP, vous aurez la possibilité d’apprendre l’une des principales plateformes distribuées et de participer au développement et à la future feuille de route du projet. Nous pensons qu’il s’agit d’une opportunité passionnante et qu’à la fin du stage, vous serez prêt pour commencer votre carrière dans le Big Data.

Équipement à disposition

Un ordinateur portable avec les caractéristiques suivantes :

• 32GB RAM
• 1TB SSD
• 8c/16t CPU

Un cluster composé de :

• 3x 28c/56t Intel Xeon Scalable Gold 6132
• 3x 192TB RAM DDR4 ECC 2666MHz
• 3x 14 SSD 480GB SATA Intel S4500 6Gbps

Plateformes, composants, outils

Un cluster Kubernetes et un cluster Hadoop.

Rémunération

• Salaire 1 200 € / mois
• Tickets restaurants
• Titre de transport
• Participation à une conférence internationale

Historiquement, les conférences auxquelles nous avons participé incluent : la KubeCon organisée par la fondation CNCF, l’Open Source Summit de la Linux Foundation et la Fosdem.

Contact

Pour toute demande d’information complémentaire et pour déposer votre candidature, adressez-vous à David Worms :

• david@adaltas.com
• +33 6 76 88 72 13
• https://www.linkedin.com/in/david-worms/