Les bandes dessinées représentent un patrimoine culturel important dans de nombreux pays.
Le L3i, reconnu au niveau international sur l’analyse de document, a lancé en 2011 le projet e-bdthèque dont l’objectif est de valoriser les corpus de BD numérisées. Le L3i, qui a développé des outils d’analyse et d’indexation dédiés, est un acteur majeur sur cette problématique sur le plan international.
Actialuna SAS développe Sequencity, une technologie multiplateforme de distribution, de vente et de lecture de bandes dessinées au format numérique.
La plateforme est propulsée depuis 2018 par le géant de la distribution E.Leclerc, qui est aussi le 1er libraire BD de France. Actialuna a aussi pris en Juillet 2017 la direction
du BD, Comics, Manga Working Group à l’EDRLab, pour la prochaine version d’EPUB (v.4) portée par la W3C.
Dans le cadre de l’Investissement d’Avenir iiBD (Cloud & Big Data n°4, 2015–17) dont Actialuna et le L3i ont été lauréats, leur collaboration a permis de développer une chaîne de traitement pour analyser le contenu des images de BD numérisées, en intégrant des approches liées à l’intelligence artificielle et au big data. Les éléments extraits des planches de BD permettent de proposer de nouveaux outils de lecture et de recherche dans un corpus de 20000 titres numérisés.
Le projet a mis en évidence la complexité et la diversité formelle de la bande dessinée, et la nécessité d’établir un programme de recherche de très long terme pour améliorer et créer de nouveaux algorithmes d’analyse, en levant de nombreux verrous scientifiques. Notamment sur un corpus qui ne va cesser de s’étoffer sur des genres variés (Franco-Belge, Comics, Manga).
Contexte scientifique : de nombreux verrous encore à lever pour l’analyse des images de BD
Le terme générique de bande dessinée intègre une grande diversité de styles graphiques, avec chacun ses propres spécificités, de la BD franco-belge (Tintin, Astérix…) au manga japonais (Naruto, Dragon Ball…) en passant par les comics américains (Batman…), pour ne citer que ces trois grandes familles. Pour illustrer cette diversité :
- Les mangas sont des images en noir et blanc à base de traits ;
- Les informations colorimétriques ne sont pas toujours présentes dans les pages d’un même album de Comics ;
- La structure des pages de BD franco-belges est traditionnellement assez régulière, mais certains auteurs cassent les codes en mélangeant les genres (cf. le « manfra » = manga à la française) ;
- Le style du texte est très variable car dépendant du style d’écriture choisie par l’auteur ;
- Les personnages peuvent être des humains, des animaux ou encore des monstres, représentés dans une diversité impressionnante en termes de couleurs, de formes et de situations.
Dans ce contexte, la détection automatique des cases, des bulles de dialogue, du texte, des personnages, des décors, ainsi que la reconnaissance du texte et des personnages nécessitent de développer des algorithmes très robustes qui soient en mesure de s’adapter au style de l’album traité, qui peut lui-même varier d’une partie à l’autre. Nombre de verrous scientifiques sont encore à lever pour aller bien au-delà des méthodes classiques d’analyse (extraction de caractéristiques, analyse structurelles ou statistiques, approches à base de graphes…) donnant des résultats mitigés.
Il est dès lors nécessaire de se tourner vers de nouvelles approches, issues notamment des méthodes d’apprentissage profonds (deep learning, réseaux de neurones), qui ouvrent de nouvelles opportunités.
En somme, l’analyse des images de BD offre un contexte scientifique original mais solide, en termes de traitement et d’analyse d’images, de reconnaissance des formes, de modélisation et de représentation des connaissances.
Contexte Industriel
Une BD numérique, c’est une archive .zip renommée .epub avec des images au format JPEG de résolution variable + un fichier de métadonnées ONIX contenant auteur/titre/résumé … et c’est tout. Autant dire que les catalogues des éditeurs sont extrêmement pauvres sur le plan sémantique.
C’est d’autant plus problématique que ce n’est pas prêt de changer, non pour des raisons techniques mais du fait du processus même de création. Être un auteur de livre, ce n’est pas être réalisateur de film, c’est un travail solitaire (éventuellement à deux) en amont de tout processus industriel. Les préoccupations d’un auteur sont nombreuses et difficiles tant pour l’histoire qu’il souhaite « créer » que pour son approche en terme de dessin, qui peut prendre toute forme originale possible. Il peut utiliser des outils traditionnels ou numériques, mais la dimension artisanale
fera la qualité et l’originalité de son oeuvre. Dès lors, le dessin continuera d’être « libre », avec un texte souvent manuscrit et une mise en page parfois « très créative ». Un auteur n’est pas dans la démarche d’un développeur qui structure son code, et il ne peut s’encombrer de préoccupations telles que la structuration du texte et du dessin. Ces problématiques industrielles sont postérieures au processus de création. Même les éditeurs, dont on serait en droit d’attendre plus, continuent de privilégier le format papier, qui constitue encore aujourd’hui leur premier marché, sans faire d’efforts supplémentaires pour améliorer les fichiers et métadonnées associées.
Les travaux du LabCom permettront par conséquent d’extraire toute la sémantique des pages de BD, et ainsi venir enrichir automatiquement les EPUB des éditeurs.