On a testé pour vous : l’outil ChatGPT, quelle utilité en archéologie ?

Qu’est ce que ChatGPT ?

ChatGPT est un agent conversationnel, c’est-à-dire un logiciel permettant à l’utilisateur de dialoguer en langage naturel avec la machine. Il mêle un modèle de langage qui génère du texte (à l’heure de la rédaction de cet article, GPT-3, on parle alors d’intelligence artificielle générative) et un modèle conversationnel (InstructGPT). Ce modèle est entraîné par des techniques d’apprentissage en deux temps : d’abord par l’annotation humaine d’un corpus fermé (apprentissage supervisé), puis en mettant l’agent conversationnel  en situation de prendre des décisions qui s’avèrent positives ou négatives, lui permettant ainsi de cumuler des expériences (apprentissage par renforcement). Il est le fruit de 70 ans de recherches en linguistique et en informatique. En résumé, c’est un programme informatique qui peut comprendre et répondre à des requêtes (appelées “prompt”) en simulant un raisonnement.

Pour interroger chatGPT vous devez créer un compte OpenAI, l’accès est gratuit : https://chat.openai.com/chat

Pour quelle utilisation ?

ChatGPT cherche des solutions aux questions posées. Pour cela, il effectue des recherches, génère et traduit du texte, suggère des idées, donne un avis dialogué, résume, reformule ou encore analyse. Concrètement, dans le champ de l’archéologie, on peut l’utiliser pour :

  • identifier un sujet de recherche, une question de recherche sur laquelle on pourrait travailler ;
  • rechercher de l’information avant la rédaction d’un article, d’un rapport, demander une définition ;
  • écrire ou réécrire des articles et améliorer un texte rédigé, suggérer un plan.

Comment l’interroger ?

En premier lieu, il faut apprendre à “s’adresser” à chatGPT. Le prompt, autrement dit la manière de poser les questions, devient une nouvelle compétence à maîtriser avec son vocabulaire et ses syntaxes pour donner des instructions : 

  • lui dire dans quelle « peau » se glisser pour lui faire prendre une position d’expert ;
  • lui donner des éléments de contexte ;
  • lui poser des questions très précises pour obtenir des réponses pertinentes : être direct sans informations parasites ;
  • préciser le format / support désiré ;
  • préciser la cible.

Je suis un archéologue

ChatGpt_interrogation_1

Je suis un enseignant du secondaire

ChatGpt_interrogation_2

Je suis un enseignant du secondaire

Test comparatif : ChatGPT et DR JONES

Nous allons comparer les résultats de ChatGPT avec un autre outil, le Dr. Jones.

Le Dr. Jones ( https://ton-archeologue.arteka.tech/) est un “chatbot” (assistant conversationnel), basé sur ChatGPT, mais spécialisé en archéologie. Bien qu’il soit également une intelligence artificielle, il n’est pas un modèle de langage au même titre que ce dernier. Néanmoins, nous avons voulu comparer leurs réponses respectives à travers 3 exemples de questions.

Exemple 1 : demande de définition

Définir le terme SIG

  • ChatGPT

ChatGPT n’est pas sensible à la syntaxe. La réponse est identique que la question soit “Qu’est-ce qu’un SIG” ou abrégée en supprimant les mots vides de sens “c’est quoi SIG”.

ChatGpt_définition_1
  • DR Jones

Contrairement à ChatGPT, la définition proposée par DR JONES est sourcée et la référence est bien existante.

Exemple 2 : demande de bibliographie

Publications sur l’aqueduc de Brévenne

  • ChatGPT

Les 5 références sont introuvables

ChatGpt_bibliographie_1

La réponse varie selon la manière dont est posée la question.

  • DR JONES

Les 4 références proposées dans le texte sont introuvables. Contrairement à la demande sur le SIG, où la référence existe. Sur des sujets très spécialisés, les deux outils échouent.

Les réponses varient en fonction de la manière dont est posée la question.

Exemple 3 : demande de plan / structuration pour un article ou un document:

  • ChatGPT

I. Introduction

  • brève présentation du sujet
  • importance de la préservation du patrimoine archéologique
  • contexte du pillage archéologique en France

II. Le pillage archéologique : définition et méthodes

  • explication du pillage archéologique
  • les différentes méthodes utilisées par les pilleurs
  • exemples de sites archéologiques pillés en France

III. Conséquences du pillage archéologique en France

  • perte de connaissances historiques et scientifiques
  • destruction du contexte archéologique
  • dommages au patrimoine culturel et historique

IV. Lutte contre le pillage archéologique en Franc

  • les lois et réglementations en place
  • les actions des autorités et des organismes de protection du patrimoine
  • la sensibilisation du public et des communautés locales

V. Importance de la collaboration et de la préservation du patrimoine

  • rôle des archéologues, chercheurs et amateurs d’archéologie
  • valorisation et promotion de l’archéologie responsable
  • projets de préservation et de restauration du patrimoine archéologique

VI. Conclusion

  •   récapitulation des points clés
  •   appel à la préservation et à la prise de conscience

Idées de titres pour l’article :

  • “le pillage archéologique en France : un trésor en péril”
  • “la face cachée du patrimoine : les conséquences du pillage archéologique en France”
  • “au cœur des ruines : l’impact néfaste du pillage archéologique en France”
  • “préserver notre histoire : comprendre les ravages du pillage archéologique en France”
  • “la quête du passé : combattre le pillage archéologique pour sauvegarder notre patrimoine”
  • DR Jones

Le Dr. Jones ne semble pas en mesure de proposer une réponse à ce type de question

Intérêts et limites

Limites :

  • il faut vérifier tous les faits car de nombreuses erreurs se glissent dans les réponses et les sources ne sont pas mentionnées. ChatGPT peut produire du contenu qui semble plausible mais qui est en réalité faux ou non vérifié, le travail critique reste à la charge de l’utilisateur ;
  • l’utilisation d’informations générées par ChatGPT peut aussi poser un problème d’éthique et d’intégrité scientifique ;
  • ChatGPT ne permet pas de générer des bibliographies fiables, ou même suffisantes. Les références sont souvent inventées (“hallucinées”) ;
  • la qualité des « réponses » dépend de la requête formulée ;
  • dans sa version gratuite, l’outil peut être saturé en raison d’un nombre important de demandes envoyées simultanément. Dans ce cas, pour toute réponse, il renvoie un message indiquant qu’il est temporairement inaccessible et qu’il faut renouveler sa requête ultérieurement ;
  • les réponses peuvent manquer de nuance ou comporter des biais ;
  • ChatGPT ne peut pas générer tous types de production (il manque la possibilité de générer des graphiques, cartes conceptuelles etc. …) ;
  • pas d’accès à des sources externes.

Intérêts :

  • peut être une aide à la rédaction et à la créativité (suggestions de sujets de recherche, de questions de recherche, de titres etc.) ;
  • est capable d’adapter la réponse qu’il donne en fonction du public visé (registres de langage, vocabulaire et tournures de phrases adaptées). Il peut donc être utilisé pour faire de la vulgarisation ;
  • propose des mots-clés pour décrire un contenu ou le champ lexical d’un domaine ;
  • capable de fournir une analyse SWOT (forces, opportunités, faiblesses, menaces) ;
  • peut proposer un résumé d’un texte (également un résumé en français d’articles rédigés en anglais).
  • bon outil pour mobiliser des connaissances déclaratives (qu’est-ce que ?) ou procédurales (comment ?) ;
  • permet d’obtenir des informations sous forme dialoguée ou de tableau ;
  • utilise la technique du “prompt chaining”, c’est-à-dire la capacité à rebondir sur les requêtes précédentes pour générer du contenu en tenant compte des réponses apportées précédemment avec un prompt “Continue” ou “Reprend à partir de”. Il est également possible de produire un plan ou une liste de points puis de lui demander de réutiliser chaque partie pour obtenir une rédaction sur celle-ci ;
  • multilingue : est capable de comprendre les questions dans une langue et d’y répondre dans une autre sur demande ;
  • détecte les questions inappropriées et n’y répond pas.

Conclusion

L’IA donne vraiment l’illusion de maîtriser tous les sujets, mais un expert détectera au premier coup d’œil les problèmes. C’est ici que réside le piège : l’IA peut répondre à tout mais ne sera vraiment utile qu’aux utilisateurs capables à la fois de l’interroger correctement et de porter un regard critique pour vérifier les informations données. Il ne représente un gain de temps que dans le cas d’une utilisation raisonnée par un public averti sur son fonctionnement. Dans le cadre d’une utilisation scientifique, la principale difficulté réside dans le fait qu’il ne fournit pas ses sources. Plus que jamais, une vigilance contre les arguments d’autorité et un esprit critique sont nécessaires.



Citer ce billet
imekhfi (2023, 4 juillet). On a testé pour vous : l’outil ChatGPT, quelle utilité en archéologie ? ArchéO'liens. Consulté le 22 avril 2024, à l’adresse https://doi.org/10.58079/bckk

Vous aimerez aussi...

2 réponses

  1. Coquidé Catherine dit :

    A propos de ChatGPT et Dr Jones, merci pour l’analyse comparative entre les deux générateurs de texte et celle (équilibrée) des résultats.
    j’ai été très surprise d’y voir apparaître l’aqueduc de la Brévenne, un sujet que je connais assez bien. Les références bibliographiques avancées sont un étonnant amalgame de personnalités (très connues, ou pas du tout, avec parfois des prénoms qui ne correspondent pas au nom de famille ) , des titres qui font très cohérents mais qui sont proches du roman et quelques phrases complexe avec une belle syntaxe mais sans aucun sens dans ce contexte.
    Intéressant néanmoins comme manière d’aborder les choses !

    • imekhfi dit :

      Bonjour Mme. Coquidé, le réseau des documentalistes vous remercie d’avoir pris le temps de nous écrire et de l’intérêt porté à notre article, au plaisir de vous revoir prochainement sur carnet d’hypothèses !
      Bien à vous.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search