Apache ORC

ORC (Optimized Row Columnar) est un logiciel libre de stockage de données orienté colonnes de l'écosystème Apache Hadoop. Il est comparable à Parquet et RCFile, et a été créé un mois avant Parquet par Hortonworks en collaboration avec Facebook. Il est hautement optimisé pour la lecture, l'écriture et le traitement des données dans Hive.

La structure des fichiers ORC comprend des bandes et un pied de fichier.

Bandes : Regroupe les données par blocs.

• Données d'index : Stockées sous forme de colonnes. Elles conservent les valeurs min et max de chaque colonne et la position de la ligne dans chaque colonne. Elles permettent de localiser les bandes et les groupes de lignes en fonction des données requises. Données de ligne : Les véritables données du fichier. Également stockées en tant que colonnes Pied de bande : contient un répertoire de l'emplacement du flux (données sérialisées).

Pied de fichier : Recueille des informations générales sur le fichier.

• Métadonnées : diverses informations statistiques liées aux colonnes au niveau de la bande. Cela permet d'éliminer les fractionnements d'entrée sur la base de poussées prédictives qui sont évaluées pour chaque stripe. Pied de page du fichier : contient des informations sur la liste des bandes, le nombre de lignes par bande, le type de données pour chaque colonne, et les agrégats min, max et somme au niveau de la colonne. Postscript : contient la longueur du pied de fichier et des métadonnées, la version du fichier, la compression générale utilisée (none, zlib, snappy, etc), et la taille du dossier compressé.

La taille par défaut des bandes est de 250 Mo. Les bandes de grande taille permettent des lectures efficaces à partir de HDFS.

Ce format prend en charge les transactions ACID, des index intégrés et tous les types de Hive : structs, lists, maps et unions. Il est efficace pour les charges de travail de Business Intelligence et améliore les performances en lecture, écriture et traitement dans Hive.

Les projets utilisant ORC incluent Hadoop, Spark, Arrow, Flink, Iceberg, Druid, Gobblin et Nifi.