Révision formelle (graphique) d'une bibliographie
ChatGPT vs duck.ai
Présentation des données et du cadre de l’expérience
une biblio légère (15 références), simple (références d’articles et d’ouvrages) et plutôt exacte sur le contenu (auteurs, titres, années, DOI…), mais qui n’était pas dans le style de la revue HN.
Ce premier test montre comment je procède à l’ancienne : corrections
au fur et à mesure dans Word en utilisant parfois le
chercher/remplacer.
Il m’a fallu 3/4 h environ.
Le premier quart d’heure a consisté à appliquer le style de la revue HN,
la demi-heure suivante à vérifier l’exactitude des références en allant
chercher en ligne les informations directement à la source sur le site
de la revue (article) ou de l’éditeur (ouvrage).
Je pense que cette demi-heure est incompressible, quel que soit l’outil qu’on utilise (IA, anystyle, etc.) ?
Test GPT
Test 1 : voir vidéo 1 + fichier essai 1
J’ai demandé à ChatGPT d’appliquer le style Chicago auteur-date
francophone à la biblio.
Puis je lui ai demandé d’améliorer le résultat sur plusieurs plans :
espaces insécables, virgules, points, traits d’union… par plusieurs
prompts à la suite les uns des autres (une seule consigne par
prompt).
ChatGPT a bien exécuté le premier prompt (appliqué le style Chicago),
mais certains des prompts suivants n’ont pas été concluants (ajout
d’espaces insécables, remplacement des tirets par des traits d’union,
par exemple) alors que ChatGPT dit systématiquement avoir fait ce qu’on
lui demandait.
Temps : 10 minutes (donc plus rapide que les 15 minutes de la méthode à
l’ancienne, mais il reste encore du travail sur la version ChatGPT pour
appliquer correctement le style HN).
Test2 : voir vidéo 2 + fichier essai 2
Échec complet
J’ai rassemblé dans un seul prompt toutes les consignes du premier test
: ChatGPT n’en a suivi aucun, il n’a même pas appliqué le style Chicago
! Malgré plusieurs demandes insistantes.
Test duck.ai : o3-mini
Test 1 : voir vidéo 1 + fichier
- essai 1
J’ai procédé comme pour le test 1 avec ChatGPT.
J’ai demandé d’appliquer le style Chicago auteur-date francophone à la
biblio.
Puis j’ai demandé d’améliorer le résultat sur plusieurs plans : espaces
insécables, virgules, points, traits d’union… par plusieurs prompts à la
suite les uns des autres (une seule consigne par prompt).
Les prompts sont exactement les mêmes que ceux dans ChatGPT.
o3-mini a bien exécuté le premier prompt (appliqué le style Chicago),
mais certains des prompts suivants n’ont pas été concluants (ajout
d’espaces insécables, par exemple). o3-mini dit pourtant, comme ChatGPT,
avoir fait ce qu’on lui demandait.
Temps : 7 minutes, mais il reste encore du travail sur la version
o3-mini pour appliquer correctement le style HN.
Différences avec le test 1 de ChatGPT :
- o3-mini n’avait pas mis d’italique aux titres d’ouvrages et de revues. Mais il l’a fait quand j’ai demandé.
- o3-mini n’a pas bien présenté selon le style chicago les numéros : “n° x” au lieu de “(x)”.
- Il a bien remplacé les tirets demi-cadratins par des traits d’union (ce que ChatGPT n’a pas fait).
- Il avait de lui-même (sans que je fasse la demande spécifique) déplacé les points après les guillemets fermants et ajouté les lieux des maisons d’édition.
- Après un prompt (mal compris ?), il a remplacé les points par des deux-points…
Test2 : voir vidéo 2 + fichier essai 2
J’ai rassemblé dans un seul prompt toutes les consignes du premier
test (même test qu’avec ChatGPT).
o3-mini a exécuté quasiment toutes les consignes du prompt sauf les
espaces insécables et les traits d’union.
C’est donc beaucoup plus concluant que ChatGPT !
Temps : moins de 3 minutes.
ChatGPT
J’ai un peu continué des tests avec ChatGPT.
Je lui ai demandé de modifier ce genre de référence (25 références au
total) :
M. Borgerhoff Mulder et al. “Cultural macroevolution and the
transmission of traits”. Evolutionary Anthropology 15, 2006, 52–64.
Premier prompt : écrire Nom Initiale, année.
Très bien exécuté.
Deuxième prompt : remplacer tous les et al. par la liste complète des
auteurs sous la forme Nom Initiale.
Pas toujours bien exécuté : il ne l’a pas fait pour deux références et
pour une autre il a carrément inventé !
Il faut systématiquement vérifier les références une à une car, en plus, il fait d’autres modifications dans le reste de la référence sans que je les ai demandées : suppression du DOI, ajout de guillemets, écriture en toutes lettres du nom de la revue, remplacement des traits d’union par des tirets demi-cadratins, etc.