StyloAI

Objectifs

• correction orthographique et syntaxique
• suggestions de reformulation
• suggestions de mots-clés
• suggestions de références bibliographiques

Principes

Le principe fondamental de l’approche proposée est d’hybrider l’approche inductive des LLM avec une approche déductive (de type système expert) qui se base sur des connaissances structurées en sciences humaines et, plus précisement sur:

• le savoir produit dans le cadre de l’infrastructure isidore
• le savoir représenté par IEML

La méthodologie utilisée est celle de la disentagled representation qui consiste à prendre le dernier layer du transformeur et d’y ajouter des dimensions réservées à des connaissances structurées.

Chaîne de traitement

• Choix d’un modèle:
  • vigogne
  • flauBERT
  • LLama
  • …
• Surentrainement du modèle en utilisant un corpus d’articles de revue (Openedition? erudit?)
• Production d’un modèle hybride styloai avec des techniques de disentanglement representation
  • prendre le dernier hidden layer des tokens du modèle et les enrichir:
    • avec l’identification de mots-clés tirés des dictionnaires isidore
    • avec des alignements avec IEML
  • la représentation finale du texte ressemblera à une liste de dictionnaires composés par les vecteurs, plus des informations structurées (par exemple les concepts en IEML ou la pondération sur la base de la correspondance d’un token à un mot-clé isidore) - ou alors un vecteur avec des dimensions ajoutées et réservées, mais pour IEML la solution dictionnaire me semble plus intéressante.
• Extraction des mots-clés et identification d’entités nommées à partir du texte écrit (paragraphe par paragraphe? phrase par phrase?)
• Représentation sémantique du texte sur la base des distances vectorielles, mais aussi sur la base des représentations fournies par les dictionnaires huma-num (discipline, par ex) et par les distances en IEML
• Requêtes sur Huma-num à partir des mots-clés et des EN. Ces requêtes générerons une bibliographie de références utiles (sur le modèle de perplexity.ai).
• Calcul de la probabilité du vecteur de chaque phrase.
• Quand la probabilité est en dessous d’un seuil optimal, proposer des reformulations (sur le modèle de deeplwriter ou de https://quillbot.com/fr/reformuler-un-texte. - avec une méthode de ce type: https://sunilchomal.github.io/GECwBERT/

Ergonomie

L’assistant doit fonctionner en un mode séparé d’écriture - mode assistant d’écriture ou révision assistée, ou écriture assistée.

Il est nécessaire que la personne qui écrit puisse éditorialiser les mots-clés et le champ sémantique identifié automatiquement par l’algorithme en le visualisant d’abord et en ayant ensuite la possibilité de le modifier (ajouter des mots-clés ou des noms propres, éliminer des mots non pertinents, lancer d’autres requêtes sur huma-num.

Disclaimers importants

Afficher, dès l’activation de la fonctionnalité, un message qui en explique le fonctionnement et qui souligne qu,il s’agit d’une approche probabiliste. Insister sur la dimension “assistant à l’écriture”. Il est nécessaire de designer la plateforme pour que son fonctionnement soit le plus transparent possible (informations techniques et explications à différents niveau de technicité). La dimension pédagogique est essentielle pour l’outil.

Au sujet de l’abduction

Je pense qu’il faut distinguer les mécanismes de raisonnement et le type d’aide apportée à l’utilisateur. Au niveau des mécanismes…

• L’apprentissage et l’inférence du LLM sont de type inductif
• Les graphes de connaissances, y compris codés en IEML, sont de type déductif (on donne à la machine des concepts et des règles a priori).

L’abduction est la création d’une hypothèse explicative à partir de l’observation d’un cas. Exemple :

1. La pelouse est mouillée. (Observation)
1. S'il a plu, alors la pelouse serait mouillée. (Hypothèse)
1. Donc, il a probablement plu. (Conclusion probable)

En fait ce type de raisonnement sur un cas pourrait aussi bien avoir été généré par une machine inductive (LLM) que par une machine déductive (système expert, knowledge graph), à condition qu’on ait fourni des milliers de cas au LLM et des règles cohérentes et pertinentes pour le cas au système expert.

Un système hybride, tel que celui proposé par Marcello, pourrait sans doute servir d’aide à l’abduction pour l’auteur/trice si l’on considère la proposition de mots clés ou de références bibliographiques comme une génération d’hypothèses à partir du cas-article en cours d’écriture.

Au sujet de la “disentangled representation”.

Ci-joint un article basé sur la thèse de Fanny Jourdan (co-autrice de l’article). Elle est très brillante. (Son LinkedIn : https://www.linkedin.com/in/fanny-jourdan/) Elle travaille dans un labo d’IA à Toulouse (https://www.irt-saintexupery.com/fr/ et https://en.univ-toulouse.fr/node/2377 ) et elle va bientôt faire un stage au MILA à Montréal. Je lui ai fait une petite démo d’IEML en juin avec un autre membre de son labo toulousain. Je ne sais pas encore s’ils vont s’en servir, mais ils étaient intéressés pour une application de gestion de connaissances concernant des systèmes complexes.

Extrait de l’abstract de l’article de Fanny Jourdan:

“By directly manipulating the embeddings in the final layer, our approach enables a seamless integration into existing models without requiring significant modifications or retraining.”

Ils parlent de “Gradient Disentangled Embedding” ou de “Disentangled attention.” plutôt que de “Disentanglement representation” Il semble que “Disentangled attention” soit un cas particulier (pour les transformers) de “Disentangled representation”.

Dans tous les cas il s’agit de séparer / distinguer les différents facteurs qui expliquent la variation des données selon des dimensions indépendantes et interprétables (lumière, expression, identité pour la reconnaissance faciale ; ou bien syntaxe, sémantique et sentiment pour le texte).

Proposition de traduction française : représentation démêlée (désenchevêtré n’existe pas dans le dictionnaire mais on pourrait le créer).