Komor-IA a pour objectif de développer le premier écosystème NLP-IA pour la langue comorienne : le Shikomori. Tous les jours, des équipes travaillent activement sur plusieurs parties du projet.
D'abord, le shikomori est un ensemble de 4 dialectes parlés au niveau des 4 îles de l'Union des Comores : le shiNgazidja pour Ngazidja (Grande-Comore), le shiMwali pour Mwali (Mohéli), le shiMaore pour Maore (Mayotte) et le shiNdzuani pour Ndzuani (Anjouan).
De ce fait, étudier le shikomori revient à étudier 4 branches d'un même arbre, les bras d'une diffluence : ils s'éloignent de la source commune et tracent leur propre lit, tout en charriant les mêmes eaux d'origine. Il n'existe pas une si grande différence entre les différents dialectes. À l'exemple du shiNdzuani, qui partage pratiquement le même champ lexical que le shiMaore.
Le travail chez Komor-IA s'exécute en parallèle. Néanmoins, quelques tâches sont strictement corrélées : l'une ne peut se faire sans l'aval de l'autre au préalable. C'est ainsi que naissent les défis.
Le premier défi, comme pour toute langue dite low-ressource, c'est la disponibilité. Presque aucune base de données linguistique numérique n'existe véritablement pour le shiKomori. La première étape est donc celle de la collecte des données. Mais ici, on pourrait presque parler de "constitution des données", voire de "création des données". Cela consiste à collecter des données, comme des articles de presse en français, auprès des sites web de médias comoriens tels que Km-News, Al-Watwan... avec accord mutuel.
Une fois collectées, ces données sont ensuite structurées et insérées sur notre site. Précisément au niveau de notre interface de crowdsourcing, qui permet à chaque utilisateur de choisir un article et de le traduire dans le dialecte qui lui convient. Et c'est précisément là que nous avons rencontré notre deuxième défi : les articles sont trop longs, et beaucoup d'utilisateurs abandonnent.
En fait, une analyse des métadonnées des utilisateurs par l'équipe de Komor-IA a montré qu'au bout d'une trentaine de minutes, les contributeurs abandonnaient les traductions, n'ayant traduit qu'un paragraphe ou deux tout au plus.
Komor-IA a alors pensé à une deuxième stratégie pour faciliter la tâche des contributeurs. Plutôt que de consacrer la traduction à des articles longs et éprouvants, autant donner la possibilité de traduire des textes à phrase unique, ou des paragraphes de 2 à 3 phrases maximum. Des auteurs de livres ont ainsi été contactés pour pouvoir utiliser leurs œuvres et en tirer des phrases, des paragraphes... L'intelligence artificielle générative a également été mise à contribution, avec un prompting affiné pour que le modèle saisisse exactement le type de phrases voulu.
Une fois rassemblés, des milliers de phrases et de paragraphes (courtes histoires, contes...) ont été ajoutés sur le site, au niveau du module de crowdsourcing. La stratégie a fonctionné : des traductions complètes ont commencé à être soumises.
Cependant, après analyse, on a constaté que les phrases ne suivaient pas toujours le véritable vocabulaire du shiKomori. Et après seulement quelques jours, les contributions ont de nouveau baissé. En réalité, le problème ne résidait pas dans la longueur du texte à traduire, mais dans le vocabulaire comorien lui-même, dont l'orthographe est très largement méconnue par les Comoriens eux-mêmes : troisième défi.
Bien que les premières ressources linguistiques du shiKomori datent de plusieurs années, cette langue reste très largement méconnue, et n'est même pas enseignée à l'école, malgré les appels incessants des linguistes pour l'intégrer au système scolaire. C'est en faisant ce constat que nous nous sommes fixé une explication : les gens n'abandonnent pas la traduction parce que l'article est long, en tout cas pas seulement. Ils abandonnent parce que le vocabulaire et l'orthographe sont difficiles. C'est aussi pour cette raison que beaucoup mettaient plus d'une trentaine de minutes pour un simple paragraphe.
Cette idée s'est confirmée quand nous avons invité des personnes à nous rejoindre en interne pour traduire avec l'équipe de Komor-IA. Cela consistait à envoyer à chacun un certain nombre de petites phrases du type :
"Le médecin a prescrit des médicaments pour faire baisser la fièvre."
Ces phrases couvraient plusieurs domaines : la santé, le droit, l'administration... Le verdict a été le même : 95% d'entre eux ont abandonné après seulement quelques heures, à cause de la difficulté de la tâche, avec un mot qui revenait systématiquement : "c'est difficile".
Il faut donc imaginer ce processus répété à la fois pour le shiNgazidja, le shiNdzuani, le shiMwali et le shiMaore, en tenant compte du fait que pour chaque dialecte, il faut trouver des traducteurs qui le maîtrisent, mais qui maîtrisent également le français, nécessaire à la compréhension avant traduction.
On peut également citer l'un des problèmes les plus récurrents pour les langues low-ressources, et particulièrement pour les langues africaines : l'écart entre l'écrit et l'oral.
Prenons cet exemple :
Français : "J'irai à l'école aujourd'hui à 7h."
shiNgazidja : "ngamdjoka hwenɗa lekoli leo saya ya hanɗa za trasi."
La traduction correspondant à "7h" ici est "saya ya hanɗa za trasi", littéralement "première heure du matin". En fait, à Ngazidja, il y a un décalage de 6 heures entre l'heure écrite et l'heure évoquée à l'oral :
- 8h → "deuxième heure du matin"
- 15h → "9ᵉ heure de l'après-midi"
- 22h (10h du soir) → "4ᵉ heure du soir"
Il y a aussi l'argent. Aux Comores, on utilise le franc comorien (KMF). Rien de bien comorien, si ce n'est le nom. Prenons l'exemple de :
Français : "J'ai 10 000 KMF."
shiNgazidja : "Ngamina riali zihwi zili." (littéralement : "j'ai 2 000 riali")
En fait, les Comoriens utilisent toujours une unité de mesure ancienne, antérieure au franc colonial dit franc comorien : le "rial" ou "riali". La méthode de conversion du KMF au riali consiste à diviser le montant en KMF par 5 :
10 000 KMF ÷ 5 = 2 000 riali
Pour répondre à ce défi, Komor-IA a développé un normaliseur utilisé dans l'étape de prétraitement, disponible ici : Shikomori : écrit et oral. Il consiste à détecter toutes les traductions contenant des montants d'argent ou des heures, et à les transformer automatiquement :
"tsinikiwa 7 500 KMF djana" → "tsinikiwa riali shihwi na madjana matsanu djana"
Passé cette énième étape, il reste encore des défis techniques et matériels, comme lors des enregistrements vocaux pour entraîner le modèle TTS KomoriTTS, publié par Komor-IA le 28 juillet dernier. Les enregistrements n'étant pas très professionnels, réalisés à partir de micros amateurs, la qualité audio de KomoriTTS reste moyenne.
On peut également citer les défis financiers : traducteurs (contributeurs sur le site ou en interne), linguistes et validateurs des traductions, machines pour traiter toutes ces données, puis entraînement des modèles nécessitant des GPU... Tout cela demande de l'argent.
Pour le moment, Komor-IA bénéficie d'un soutien communautaire patriotique, tous unis pour un objectif commun : l'IA pour les Comores, l'IA pour les Comoriens.
Mais ce soutien durera-t-il éternellement ? Les gens ne se lasseront-ils pas un jour ? Tels sont les défis à venir, actuellement en phase d'étude chez Komor-IA.