Support Ukrain
Adaltas logoAdaltasAdaltas logoAdaltas

Apache Hadoop MapReduce

MapReduce est un framework de traitement de données distribué. Il fait partie du framework Apache Hadoop et fonctionne sur Apache HDFS.

Ce framework permet de traiter efficacement de grandes quantités de données distribuées sur plusieurs nœuds.

Au cours d'un traitement MapReduce, les données sont découpées en morceaux qui sont traités en parallèle par les tâches MapReduce. Les deux tâches principales de MapReduce sont :

  • Mapper : les tâches de mappage traitent les enregistrements un par un et produisent des paires de clé-valeur. La clé est la donnée en entrée et la valeur est le résultat de l'opération.
  • Reducer : la tâche de réduction traite le résultat des mappeurs groupés par la même clé. Le réducteur effectue une opération d'agrégation pour chaque groupe.

Toutes les étapes de traitement sont conservées dans HDFS. En cas d'échec, MapReduce peut récupérer les étapes de traitement précédentes. Cela assure une haute disponibilité du système.

En savoir plus
Site officiel

Articles associés

Stage en infrastructure Big Data avec TDP

Stage en infrastructure Big Data avec TDP

Catégories : Infrastructure, Formation | Tags : Ansible, Cybersécurité, DevOps, Java, Hadoop, Internship, TDP

Le Big Data et l’informatique distribuée sont au cœur d’Adaltas. Nous accompagnons nos partenaires dans le déploiement, la maintenance et l’optimisation de certains des plus grands clusters de France…

HARTY Daniel

Par HARTY Daniel

25 oct. 2021

Canada - Maroc - France

International locations

10 rue de la Kasbah
2393 Rabbat
Canada

Nous sommes une équipe passionnée par l'Open Source, le Big Data et les technologies associées telles que le Cloud, le Data Engineering, la Data Science le DevOps…

Nous fournissons à nos clients un savoir faire reconnu sur la manière d'utiliser les technologies pour convertir leurs cas d'usage en projets exploités en production, sur la façon de réduire les coûts et d'accélérer les livraisons de nouvelles fonctionnalités.

Si vous appréciez la qualité de nos publications, nous vous invitons à nous contacter en vue de coopérer ensemble.