Stockage et traitement massif avec Hadoop

Stockage et traitement massif avec Hadoop

Apache Hadoop est un système pour construire des infrastructures de stockage partagé et d’analyse adaptées à des volumes larges (plusieurs terabytes ou petabytes). Les clusters Hadoop sont utilisés par un large éventail de projets R&D pour un nombre croissant d’acteurs du web (Yahoo!, EBay, Facebook, LinkedIn, Twitter) et leur taille ne cesse d’augmenter. Yahoo! regroupe 45000 machines dont le plus large cluster reuni 4000 serveurs et stocke 40 PB tandis que Facebook a rapporter stocker 20 PB sur un même cluster HDFS (pour Hadoop Distributed File System).

Les dotcoms furent les premières sociétés à voir leur volume de données croître exponentiellement. Beaucoup ont fondé leur modèle économique sur le traitement de ces données. Autant Google que Facebook tirent l’essentiel de leur revenu de l’analyse de données à des fins publicitaires. Ne pouvant attendre les éditeurs traditionnels, ces sociétés ont lourdement investi dans le développement de nouveaux logiciels pour faire face à cette explosion tout en exploitant de nouveaux concepts. Aujourd’hui, grâce au model de l’Open Source, ces technologies sont présentes dans un grand nombres d’industries et deviennent un composant clé de plusieurs sociétés et services gouvernementaux.

Hadoop, l’implémentation Open Source de l’infrastructure Google, fait suite à la publication par Google de deux documents. Le premier, publié en 2003, décrit l’architecture de GFS (pour Google Distributed Filesystem). Le second, publié en 2004, introduit le paradigme Map-Reduce. A cet époque, Doug Cutting, aujourd’hui chez Cloudera, travaillait sur Nutch, un logiciel Open Source de la fondation Apache incluant un aspirateur Internet et un moteur de recherche. Les besoins en stockage et capacité de calcul de Nutch ont conduit à l’implémentation des travaux de Google en ce qui deviendra Hadoop.

By | 2017-07-24T21:37:17+00:00 November 26th, 2010|Uncategorized|0 Comments

About the Author:

Passionné de programmation, de données et d'entrepreneuriat, je participe à façonner Adaltas pour qu'elle soit une équipe d'ingénieurs talentueux partageant leurs savoir-faire et leurs expériences.

Leave A Comment

Time limit is exhausted. Please reload the CAPTCHA.