Soilahoudine Mohamed Ali

Soilahoudine Mohamed Ali

CEO de Komor-IA · Fondateur & DG de KM-News

Comment Komor-IA construit, avec sa communauté, un dataset de traduction en shikomori
IA

Comment Komor-IA construit, avec sa communauté, un dataset de traduction en shikomori

NLP
← Retour aux actualités

Pour qu'une intelligence artificielle comprenne et traduise le shikomori, elle a besoin de données : des phrases et leurs traductions, rassemblées en grand nombre. Komor-IA a mis en place une stratégie de collecte reposant sur la participation de la communauté. Plutôt que de s'appuyer sur une seule méthode, la démarche combine deux façons de contribuer, pensées pour s'adapter à des profils et des besoins différents.

1. Pourquoi collecter des données en shikomori ?

Développer des outils d'intelligence artificielle capables de comprendre et de traduire le shikomori suppose de disposer, au préalable, de ressources linguistiques suffisamment riches. C'est l'objectif de la démarche engagée par Komor-IA : constituer progressivement un dataset de phrases traduites en shikomori, en s'appuyant sur la contribution de la communauté. Chaque phrase traduite vient enrichir un peu plus ce corpus, qui deviendra à terme la base sur laquelle pourront s'appuyer des technologies adaptées à cette langue.

2. Un dataset principal au cœur de la campagne

L'ensemble de la campagne repose sur un fichier central : le dataset principal. Ce fichier CSV rassemble toutes les phrases du corpus destinées à être traduites. Il sert de base de référence à partir de laquelle les contributions viennent s'ajouter au fil du temps. Que la contribution passe par l'une ou l'autre des deux méthodes proposées, c'est toujours ce dataset principal qui constitue le point de départ et, in fine, le point d'arrivée des traductions collectées.

3. Deux façons de contribuer

Pour que la collecte touche le plus grand nombre de personnes possible, Komor-IA propose deux voies de contribution. On peut les décrire comme deux architectures complémentaires : une architecture centralisée, où tout se passe directement sur la plateforme principale, et une architecture distribuée (ou décentralisée), où le travail est réparti entre plusieurs contributeurs via des fichiers individuels.

3.1 Architecture centralisée : la contribution libre via Komor-IA

Cette première voie est ouverte à toute personne souhaitant participer directement, sans passer par un intermédiaire. Le fonctionnement est simple :

  • le contributeur se rend sur komor-ia.com ;
  • il accède aux contenus proposés pour la traduction (articles et/ou phrases) ;
  • il choisit le dialecte ou la variété de shikomori vers laquelle il souhaite traduire ;
  • il saisit directement sa traduction en ligne, dans l'interface ;
  • une fois validées, ses traductions sont enregistrées directement dans le dataset principal.

Cette voie centralisée permet à chacun de contribuer de façon autonome, sans intervention manuelle de l'équipe à chaque étape.

3.2 Architecture distribuée : la contribution accompagnée via une plateforme simplifiée

Certaines personnes peuvent trouver l'interface principale de Komor-IA trop complexe à prendre en main. C'est pour elles qu'a été pensée cette seconde voie, plus accompagnée, qui répartit le travail de traduction entre plusieurs contributeurs grâce à des fichiers individuels. Elle se déroule en quatre étapes.

2.1 — Contact

L'équipe de Komor-IA contacte directement la personne, en privé, pour lui proposer de participer à la campagne. Le nombre de phrases à traduire est défini selon ce que la personne accepte de prendre en charge : elle n'a donc pas à parcourir l'ensemble du dataset, seulement la portion qui lui est confiée.

2.2 — Envoi du fichier CSV

À partir du dataset principal, l'équipe extrait le nombre de phrases correspondant à l'engagement du contributeur. Un fichier personnalisé est alors créé, selon une convention de nommage du type csv_bis_nom.csv, et transmis à la personne concernée.

2.3 — Traduction

Le contributeur reçoit l'URL de la plateforme simplifiée. Il y téléverse son fichier CSV, puis traduit les phrases une par une. Les traductions sont enregistrées automatiquement dans le fichier au fur et à mesure de la saisie, sans que le contributeur ait à reconstruire lui-même le fichier une fois le travail terminé.

2.4 — Retour du fichier

Une fois toutes les phrases traduites, le contributeur renvoie à Komor-IA le même fichier CSV, désormais complété. Le lien entre les phrases d'origine et les nouvelles traductions est ainsi conservé.

4. Une collecte réalisée avec plusieurs contributeurs

L'architecture distribuée permet à plusieurs personnes de travailler simultanément, chacune sur son propre sous-ensemble du dataset principal. Par exemple :

  • csv_bis_Fatouma.csv
  • csv_bis_Ali.csv
  • csv_bis_Said.csv
  • csv_bis_Nadima.csv

Ces noms sont donnés à titre d'exemple, pour illustrer le principe : chaque contributeur reçoit un fichier qui lui est propre, correspondant à la portion de phrases qu'il a acceptée de traduire.

5. Du fichier individuel au dataset enrichi

Les fichiers traduits ne restent pas isolés : ils sont conçus pour être réintégrés au corpus central. Ce processus se déroule en cinq étapes :

  1. Retour : réception des fichiers CSV traduits par les contributeurs ;
  2. Vérification : contrôle du contenu et de la complétude des traductions ;
  3. Rassemblement : regroupement des contributions provenant des différents fichiers ;
  4. Intégration : ajout des nouvelles traductions au dataset principal ;
  5. Enrichissement : le corpus contient progressivement davantage de phrases et de traductions en shikomori.

Les fichiers individuels ne constituent donc jamais des datasets séparés. Ils sont des supports temporaires de contribution, avant que leurs données ne rejoignent le corpus central.

6. Une stratégie pensée pour faciliter la participation

En combinant une architecture centralisée, la contribution libre directement sur la plateforme, et une architecture distribuée, la contribution accompagnée via des fichiers CSV , Komor-IA cherche à s'adapter aux différents profils de contributeurs. Certains préfèrent l'autonomie d'une interface en ligne ; d'autres se sentent plus à l'aise avec un accompagnement direct et un fichier dédié. Proposer les deux méthodes, c'est donc éviter d'exclure une partie de la communauté et faciliter, pour chacun, la façon de participer.

« Une contribution, même petite, participe à la construction de ressources linguistiques pour le shikomori et à son intégration dans les technologies d'intelligence artificielle. »

7. Une démarche collective pour le shikomori

Qu'elle passe par l'architecture centralisée ou par l'architecture distribuée, chaque contribution converge vers le même objectif : construire et enrichir, progressivement, des ressources en shikomori. C'est cette dimension collective qui donne tout son sens à la démarche engagée par Komor-IA — faire avancer, phrase après phrase et contributeur après contributeur, la place du shikomori dans les technologies d'intelligence artificielle.