test RAG Kotaemon

prompt : Dans ce document, je cherche à vérifier que toutes les références présentes dans la bibliographie de l’article sont citées dans le corps du texte de l’article. Pourrais tu lister les références absentes du corps du texte, sous forme de points.

nouveau prompt: …

Archambault, É., & Gagné, É. V. (2004). The use of bibliometrics in the social sciences and humanities. Montreal: Social Sciences and Humanities Research Council of Canada (SSHRCC), 161-69.
[…]
Yin, R. K. (2009). Case study research: Design and methods (Vol. 5). sage.

Tentative grep

Nicolas propose de faire gagner du temps en sélectionnant (avec un grep) l’ensemble des occurences à une référence biblio, afin de dresser une liste. À voir si c’est vraiment utile à Florence. En tous les cas, cela demande de passer par un terminal.

1. transformation du pdf en txt
   pdftotext -nopgbrk ./CONSTRUCTION+ET+ORGANISATION+DES+CONNAISSANCES+DANS+LES+COLLECTIONS+NUMERIQUES+VF.pdf construction.txt
   
2. À la main, on sépare le corps et la biblio dans deux fichiers : construction-corps.txt et construction-biblio.txt
3. Puis on peut rechercher (grep) des appels de citation avec l’expression régulière YYYY), soit par exemple 2015) ou 1996)
   ```bash
   $grep –color -nE “[0-9]{4})” construction-corps.txt
   322:(2015), les technologies et les réseaux informatiques offrent les solutions matérielles pour
   326:Prenant l’exemple sur HAL initié par le CNRS en 2001, Berthaud, Charnay et Fargier (2021)
   334:dans une collection numérique, Schöpfel, Kergosien, Prost et Barrié (2022) ont réalisé une
   340:Toujours dans le même ordre d’idée, Schöpfel (2020) a effectué une étude sur les dépôts dans

[…] # j’ai coupé
```

1. La commande suivante améliore la précédente en affichant la ligne qui précède l’occurence avec -B 1. Cela permet notamment de ne pas perdre l’occurence Deboin par exemple.

$grep --color -B 1 -nE "[0-9]{4}\)" construction-corps.txt
321-caractéristiques clés de la recherche dans la collection numérique DICAMES. Pour Deboin
322:(2015), les technologies et les réseaux informatiques offrent les solutions matérielles pour
--
325-donc ces technologies et réseaux qui ont favorisés l’émergence des collections numériques.
326:Prenant l’exemple sur HAL initié par le CNRS en 2001, Berthaud, Charnay et Fargier (2021)
--
333-d’organisation de la recherche. Dans l’optique de comprendre la construction des connaissances
334:dans une collection numérique, Schöpfel, Kergosien, Prost et Barrié (2022) ont réalisé une
--
339-laboratoires et de faire le lien avec les pratiques individuelles et l’environnement institutionnel.
340:Toujours dans le même ordre d’idée, Schöpfel (2020) a effectué une étude sur les dépôts dans

[...] #j'ai coupé, je vous laisse refaire l'expérience
  

3. On extrait la liste des (premiers) auteurs présents en biblio :

$grep --color -oE "^\b\w*\b" construction-biblio.txt | uniq  
Archambault
Callon
Chanier
Deboin
Desconnets
Leimdorfer
Maingueneau
Piron
Tessy
Fabre
Schöpfel
Trzmielewski
Yin

3. Et à partir de cette liste, on cherche les occurrences de ces (premiers) auteurs dans le corps de texte :

$grep --color -nE "Archambault|Callon|Chanier|Deboin|Desconnets|Leimdorfer|Maingueneau|Piron|Tessy|Fabre|Schöpfel|Trzmielewski|Yin" construction-corps.txt   
321:caractéristiques clés de la recherche dans la collection numérique DICAMES. Pour Deboin
334:dans une collection numérique, Schöpfel, Kergosien, Prost et Barrié (2022) ont réalisé une
340:Toujours dans le même ordre d’idée, Schöpfel (2020) a effectué une étude sur les dépôts dans
344:rapport aux dépôts des publications en texte intégral. A contrario, Trzmielewski et Gnoli (2019)
350:S’agissant de la collection numérique que nous choisie pour notre étude cas, Piron et al (2017)
364:de publications. (Archambault et Vignola Gagné, 2004). Cette méthode permet d’analyser la
372:En nous appuyant sur le cadre méthodologique proposé par Robert K. Yin dans son ouvrage
942:Auteur(s) : Pour Maingueneau (2009),1 la notion d’auteur se construit sur deux
960:interprétation2 (Leimdorfer, 1985). En nous appuyant sur titres 1997 thèse, nous dire que
978:Maingueneau, D. (2009). Auteur et image d’auteur en analyse du discours. Argumentation et
981:Leimdorfer, F. (1985). Analyse sociolinguistique des titres d'écrits académiques et sociologie

On peut maintenant comparer ces résultats avec celui de l’étape 1 :

• sans “contexte”, c’est-à-dire avec juste les lignes concernées
  
• avec “contexte”, c’est-à-dire en prenant la ligne précédente dans la recherche de date, et la ligne suivante dans la recherche de nom.
  

Au fait, dans le terminal, la lecture est facilitée par l’ajout de la couleur :

Une petite moulinette python devrait permettre d’automatiser tout ça.