On a testé pour vous : l’outil ChatGPT, quelle utilité en archéologie ?

Qu’est ce que ChatGPT ?

ChatGPT est un agent conversationnel, c’est-à-dire un logiciel permettant à l’utilisateur de dialoguer en langage naturel avec la machine. Il mêle un modèle de langage qui génère du texte (à l’heure de la rédaction de cet article, GPT-3, on parle alors d’intelligence artificielle générative) et un modèle conversationnel (InstructGPT). Ce modèle est entraîné par des techniques d’apprentissage en deux temps : d’abord par l’annotation humaine d’un corpus fermé (apprentissage supervisé), puis en mettant l’agent conversationnel  en situation de prendre des décisions qui s’avèrent positives ou négatives, lui permettant ainsi de cumuler des expériences (apprentissage par renforcement). Il est le fruit de 70 ans de recherches en linguistique et en informatique. En résumé, c’est un programme informatique qui peut comprendre et répondre à des requêtes (appelées “prompt”) en simulant un raisonnement.

Pour interroger chatGPT vous devez créer un compte OpenAI, l’accès est gratuit : https://chat.openai.com/chat

Pour quelle utilisation ?

ChatGPT cherche des solutions aux questions posées. Pour cela, il effectue des recherches, génère et traduit du texte, suggère des idées, donne un avis dialogué, résume, reformule ou encore analyse. Concrètement, dans le champ de l’archéologie, on peut l’utiliser pour :

• identifier un sujet de recherche, une question de recherche sur laquelle on pourrait travailler ;
• rechercher de l’information avant la rédaction d’un article, d’un rapport, demander une définition ;
• écrire ou réécrire des articles et améliorer un texte rédigé, suggérer un plan.

Comment l’interroger ?

En premier lieu, il faut apprendre à “s’adresser” à chatGPT. Le prompt, autrement dit la manière de poser les questions, devient une nouvelle compétence à maîtriser avec son vocabulaire et ses syntaxes pour donner des instructions : 

• lui dire dans quelle « peau » se glisser pour lui faire prendre une position d’expert ;
• lui donner des éléments de contexte ;
• lui poser des questions très précises pour obtenir des réponses pertinentes : être direct sans informations parasites ;
• préciser le format / support désiré ;
• préciser la cible.

Test comparatif : ChatGPT et DR JONES

Nous allons comparer les résultats de ChatGPT avec un autre outil, le Dr. Jones.

Le Dr. Jones ( https://ton-archeologue.arteka.tech/) est un “chatbot” (assistant conversationnel), basé sur ChatGPT, mais spécialisé en archéologie. Bien qu’il soit également une intelligence artificielle, il n’est pas un modèle de langage au même titre que ce dernier. Néanmoins, nous avons voulu comparer leurs réponses respectives à travers 3 exemples de questions.

Exemple 1 : demande de définition

Définir le terme SIG

• ChatGPT

• DR Jones

Exemple 2 : demande de bibliographie

Publications sur l’aqueduc de Brévenne

• ChatGPT

• DR JONES

Exemple 3 : demande de plan / structuration pour un article ou un document:

• ChatGPT

• DR Jones

Intérêts et limites

Limites :

• il faut vérifier tous les faits car de nombreuses erreurs se glissent dans les réponses et les sources ne sont pas mentionnées. ChatGPT peut produire du contenu qui semble plausible mais qui est en réalité faux ou non vérifié, le travail critique reste à la charge de l’utilisateur ;
• l’utilisation d’informations générées par ChatGPT peut aussi poser un problème d’éthique et d’intégrité scientifique ;
• ChatGPT ne permet pas de générer des bibliographies fiables, ou même suffisantes. Les références sont souvent inventées (“hallucinées”) ;
• la qualité des « réponses » dépend de la requête formulée ;
• dans sa version gratuite, l’outil peut être saturé en raison d’un nombre important de demandes envoyées simultanément. Dans ce cas, pour toute réponse, il renvoie un message indiquant qu’il est temporairement inaccessible et qu’il faut renouveler sa requête ultérieurement ;
• les réponses peuvent manquer de nuance ou comporter des biais ;
• ChatGPT ne peut pas générer tous types de production (il manque la possibilité de générer des graphiques, cartes conceptuelles etc. …) ;
• pas d’accès à des sources externes.

Intérêts :

• peut être une aide à la rédaction et à la créativité (suggestions de sujets de recherche, de questions de recherche, de titres etc.) ;
• est capable d’adapter la réponse qu’il donne en fonction du public visé (registres de langage, vocabulaire et tournures de phrases adaptées). Il peut donc être utilisé pour faire de la vulgarisation ;
• propose des mots-clés pour décrire un contenu ou le champ lexical d’un domaine ;
• capable de fournir une analyse SWOT (forces, opportunités, faiblesses, menaces) ;
• peut proposer un résumé d’un texte (également un résumé en français d’articles rédigés en anglais).
• bon outil pour mobiliser des connaissances déclaratives (qu’est-ce que ?) ou procédurales (comment ?) ;
• permet d’obtenir des informations sous forme dialoguée ou de tableau ;
• utilise la technique du “prompt chaining”, c’est-à-dire la capacité à rebondir sur les requêtes précédentes pour générer du contenu en tenant compte des réponses apportées précédemment avec un prompt “Continue” ou “Reprend à partir de”. Il est également possible de produire un plan ou une liste de points puis de lui demander de réutiliser chaque partie pour obtenir une rédaction sur celle-ci ;
• multilingue : est capable de comprendre les questions dans une langue et d’y répondre dans une autre sur demande ;
• détecte les questions inappropriées et n’y répond pas.

Conclusion

L’IA donne vraiment l’illusion de maîtriser tous les sujets, mais un expert détectera au premier coup d’œil les problèmes. C’est ici que réside le piège : l’IA peut répondre à tout mais ne sera vraiment utile qu’aux utilisateurs capables à la fois de l’interroger correctement et de porter un regard critique pour vérifier les informations données. Il ne représente un gain de temps que dans le cas d’une utilisation raisonnée par un public averti sur son fonctionnement. Dans le cadre d’une utilisation scientifique, la principale difficulté réside dans le fait qu’il ne fournit pas ses sources. Plus que jamais, une vigilance contre les arguments d’autorité et un esprit critique sont nécessaires.

---

---