La dernière campagne de numérisation de la presse quotidienne régionale ancienne portait sur l’Est républicain pour la période 1919 à 1945. Retour sur les opérations de contrôle mises en œuvre avant le versement en ligne¹.

Les 4 disques livrés pour cette prestation contiennent  65  000 images JPG, 65 000 fichiers XML-ALTO, plus de 10 000 PDF et autant de fichiers XML-METS². Le cahier des charges précise que la bibliothèque s’engage à contrôler 10% de chaque type de fichier avant de valider la prestation. Comment s’effectue le contrôle d’une telle masse de données ? Il ne s’agit pas ici de donner des règles infaillibles (et impossible à mettre en œuvre dans une bibliothèque moyenne) mais bien plutôt  de donner quelques pistes et exemples en partant de notre expérience.

Le contrôle

La numérisation des documents patrimoniaux est désormais courante dans nos institutions, bien que les ressources en personnel formé fassent encore trop souvent défaut. En effet, grâce notamment aux référentiels de la BnF, il est aujourd’hui relativement simple de monter un marché de numérisation, mais il n’est pas toujours aussi aisé d’en contrôler le résultat, surtout si – comme pour la presse dans le cas qui nous occupe – la commande est complexe.

Faute de moyens ou de connaissances, on peut être tenté par un contrôle rapide, voire partiel des données livrées par le prestataire. Il faut malgré tout y consacrer un maximum d’attention³, car le contrôle peut révéler des problèmes qui risquent de fortement impacter sur la mise en ligne des documents, en particulier si celle-ci n’est pas faite dans la foulée.

La mise en place d’une procédure de contrôle à un coût (même à minima), en temps principalement : le contrôle lui-même est chronophage, mais aussi, chaque problème de non-conformité implique des délais supplémentaires, des échanges avec le prestataire, parfois la reprise partielle ou complète de la prestation. Il convient ici de souligner l’importance des tests à exiger avant le démarrage de la mise en production, ils permettent dans une certaine mesure de lever un certain nombre de malentendus qui pourraient s’avérer catastrophiques si ils étaient résolus trop tard. Ces tests doivent porter sur les images, mais aussi sur la production et l’insertion des métadonnées.

Que contrôler ?

Une prestation de numérisation ce sont des images, mais pas que ! Voici quels sont les éléments à contrôler impérativement.

Le contrôle des images et de leurs métadonnées (externes ou embarquées)

Pour les fichiers en mode image d’une prestation sur de la presse ancienne, le contrôle doit porter sur plusieurs points :

• qualité des images (netteté, colorimétrie, cadrage), ce contrôle est pour partie visuel, pour partie réalisé à l’aide de logiciels qui permettront de réaliser des mesures,
• conformité du fichier (numéro de version du JPG ou du TIFF, taux de compression, intégrité du fichier…),
• complétude et sérialisation correcte des vues,
• concordance entre le nommage et les vues réalisées (et respect du plan de nommage fourni au prestataire),
• complétude des métadonnées embarquées (renseignées d’après le fichier de récolement, lui aussi fourni au prestataire), ou externes (fichier XML par exemple),
• arborescence des dossiers et fichiers dans l’archive livrée.

Pour le contrôle des PDF on ajoutera :

• qualité de la compression (demander des tests pour trouver le meilleur ratio poids/qualité en fonction de l’usage attendu),
• contrôle de l’OCR embarqué en sous-couche.

Le contrôle des fichiers XML

En ce qui concerne les fichiers XML, le contrôle est plus difficile à mettre en œuvre. Les prestataires disposent de chaînes de traitement professionnelles pour générer et contrôler leur production, les bibliothèques publiques elles ne disposent pas de ces outils. Une “petite” bibliothèque est bien souvent en difficulté s’il s’agit d’aller au delà du simple contrôle de conformité.

Qu’il s’agisse du METS ou de l’ALTO la vérification doit porter sur deux niveaux :

• conformité et validité contre le schéma (c’est la structure du XML qui est contrôlée),
• qualité et conformité du contenu du fichier (qualité de l’OCR en tant que tel, qualité des informations de structure et de contenu du METS).

Conformité et validité du XML

À minima, le METS comme l’ALTO doit être conforme dans sa structuration à la syntaxe XML, et valide contre un schéma qui fait référence. C’est une première difficulté, car seul un outil spécialisé (éditeur XML) permettra de savoir si le fichier livré est valide contre le schéma sur lequel il est censé reposer (le METS défini par la Library of Congress, et l’ALTO de la Bnf). Mais en l’absence d’un tel logiciel, on peut avoir recours au CINES (Centre Informatique National de l’Enseignement Supérieur) qui met à disposition des outils de validation de conformité en ligne très utiles sur la plateforme FACILE.

Le METS

Un fois les fichiers validés, il reste à contrôler la qualité des informations qu’ils contiennent : sont-elles recevables et conformes au cahier des charges ?
À ce niveau, il est nécessaire d’avoir une bonne connaissance du schéma. Le METS est maintenu par la Library of Congress qui propose de nombreux outils dont un tutoriel en français, mais la lecture du Mets Primer s’impose, il faut aussi se pencher sur PREMIS qui structure les données descriptives techniques encapsulées dans le METS (voire sur le MODS si l’on demande ce schéma pour les métadonnées de description bibliographique, à Nancy nous restons sur le Dublin Core, plus léger et suffisant pour la presse).

Dans la mesure du possible il est conseillé de détailler un maximum en amont la structure et les informations attendues dans le fichier METS. La rédaction d’un profil METS propre à l’établissement est souhaitable. Il permet de détailler au sein d’un fichier XML les informations que l’on souhaite voir apparaître dans son METS. Le prestataire sera alors plus à même de produire des fichiers conformes à votre attente. Mais je ne rentrerai pas ici dans les points à analyser sur le METS, là encore,  la BnF propose d’excellents référentiels…

L’ALTO

Le fichier ALTO contient le résultat de l’OCR, sous forme de fichier XML, celui-ci rend compte de la structure physique et logique du document.

Un point sur notre utilisation de l’ALTO dans le Kiosque lorrain:

Le XML-Alto est utilisé dans le Kiosque Lorrain par le moteur Solr pour la recherche plein texte et pour surligner les termes reconnus sur l’image numérisée.
Si le fichier Atlo n’est pas conforme ou corrompu, cela génère une erreur au chargement⁴, et impose que l’on y revienne pour le corriger et relancer le versement (d’où l’intérêt du contrôle en amont !). Comme pour le METS il doit être conforme et valide contre son schéma. La qualité est très variable en fonction de la prestation commandée et bien entendu du type et de l’état des documents. En raison du coût très élevé d’un OCR repris manuellement⁵, nous optons actuellement pour un OCR automatique sans reprise de la segmentation ni du texte⁶. Nous préférons attendre des outils plus performants pour une éventuelle reprise de ces données, ces outils existent, mais ne sont pas encore d’une prise en main et d’un déploiement aisé⁷.

Un fichier alto embarque un certain nombre d’indicateurs propres à nous renseigner sur la qualité de son contenu. Mais ces informations sont à prendre avec précaution⁸, on ne peut s’attendre à un taux de reconnaissance élevé si par exemple le journal est doublé de papier japon, ou si l’impression papillote ou frise. La pertinence des résultats de la recherche dépendra aussi du soin mis au paramétrage de l’outil d’OCR par le prestataire.

Dans tous les cas, il faut demander au prestataire un rapport de production qui donnera une synthèse des contrôles automatiques réalisés sur les fichiers ALTO. Il serra précieux car une analyse plus fine reste difficile sans outils adaptés.

Malgré tout le contrôle visuel reste important, il permettra de valider en particulier :

• le bon respect de l’ordre de lecture (très important pour la presse dont l’ordre de lecture est parfois rompu par une illustration),
• la bonne reconnaissance des différents blocs (publicités, encarts, illustrations…)
• le bon découpage des colonnes pour éviter les problèmes de chevauchement de la reconnaissance du texte d’un bloc sur le voisin⁹,
• la bonne reconnaissance des différents blocs de titre.

Les outils

La question des outils est évidement centrale, si la maîtrise des formats est indispensable, il faut aussi être en mesure d’utiliser un certains nombre d’outils spécifiques pour ces opérations de contrôle (on ne parle pas ici des outils professionnels utilisés sur les chaînes de numérisation).

Quels outils pour les images ?

Le contrôle des images ne nécessite pas forcément d’outils très  particuliers. On peut mettre en place un workflow basé sur un petit nombre de logiciels, libres pour la plupart.

Le matériel

Avant d’aborder la partie logiciel, un mot sur la partie matériel. Le contrôle des images numériques implique une machine puissante (processeur et surtout mémoire vive) pour pouvoir naviguer confortablement et rapidement dans de grandes quantités de fichiers souvent très lourds. Il est aussi nécessaire de disposer d’un écran de qualité, que l’on aura pris soin de calibrer avec une sonde de calibration colorimétrique.

Les logiciels

Un simple visualiseur comme Xnview pourra permettre de contrôler l’essentiel des points listés plus haut quant à la qualité des images. C’est un outil libre dont il existe aussi une version portable. L’autre outil à mon sens indispensable est un petit mais très puissant utilitaire : Exiftool (en ligne de commande mais aussi doté d’une interface graphique). Il permet (outre un grand nombre de manipulations sur toutes sortes de fichiers images) de contrôler finement les métadonnées embarquées.
Cela ne concerne pas uniquement les métadonnées descriptives éventuellement demandées au prestataire (IPTC ou XMP) mais aussi les Exifs, qui contiennent nativement (si elles n’ont pas été nettoyées, ce qui est à déconseiller) les métadonnées techniques de la prise de vue. Exiftool permet aussi de contrôler les métadonnées des PDF. Un lecteur de métadonnées en ligne basé sur Exiftool est disponible ici, il peut être utilisé pour un contrôle ponctuel.

Quels outils pour le XML

Les choses se compliquent quand il s’agit de contrôler les fichiers XML. L’option logicielle de base reste Notepad++. Il permet une lecture des fichiers XML, avec coloration syntaxique et quelques outils de contrôle.
Mais l’idéal est d’avoir recours à un éditeur XML comme Oxygen ou Xmetal (payants) qui permettra d’aller beaucoup plus loin et de façon bien plus confortable, dans le contrôle, avec notamment la possibilité de valider les fichiers contre leur schéma. Oxygen propose une webb-app qui permet d’éditer du XML en ligne,  de le commenter et /ou d’en faire une correction collaborative.

Enfin, pour visualiser le rendu des fichiers ALTO, vous pouvez   utiliser un outil développé pour le Kiosque Lorrain,  un parseur basique mais très pratique et disponible en ligne.

à suivre…

Bibliographie

• Claerr (Thierry ), Westeel (Isabelle) dir., Manuel de la numérisation, Paris : Éd. du Cercle de la librairie, 2011.
• Bibliothèque nationale de France, « BnF – Les référentiels de numérisation de la BnF ». [En ligne]. Disponible sur: http://www.bnf.fr/fr/professionnels/numerisation_boite_outils/a.numerisation_referentiels_bnf.html. [Consulté le: 27-avr-2016].

 

 

1. le tout est désormais en ligne sur le Kiosque lorrain [↩]
2. Le format ALTO est utilisé pour structurer le résultat de la reconnaissance optique de caractère (OCR), le PDF nous sert de fichier de diffusion d’un fascicule avec en sous couche le texte reconnu, le METS est un schéma dédié à la conservation des fichiers numériques issus d’une prestation de numérisation [↩]
3. même si la plupart du temps la prestation est validée, car globalement conforme [↩]
4. le plugin exige une conformité à minima, ce qui permet de filtrer d’éventuels problèmes non relevés à l’échantillonnage [↩]
5. jusqu’à 10 fois supérieur [↩]
6. il s’agit de deux choses relativement distinctes ou qui en tout cas peuvent être distinguées à la production : OCR et OLR “Optic Layout Recognition” – cette dernière technologie est incluse dans la chaîne de traitement OCR mais ne s’occupe que de segmenter les blocs de texte, ce qui est primordial pour un fascicule de presse [↩]
7. voire à ce propos les réalisations du projet Europeana Newspapers et les outils mis à disposition [↩]
8. sur ce point voir le référentiel ALTO de la BnF [↩]
9. si l’image ou les colonnes ne sont pas droites il arrive que le texte reconnu ramène les premières lettres de la ligne de la colonne voisine, rendant illisible la phrase restituée, dans un PDF une simple sélection de bloc de texte permet de visualiser ce problème si il existe [↩]

---

---