ChatMD : Un chatbot polyvalent

Réponse à un besoin

De tous les outils que je peux présenter ou faire, celui-là est un de mes préférés... Ce n'est pas le plus puissant mais il est configurable à souhait ! Nous l'avons vu :

• les IA peuvent halluciner et nous ne sommes donc pas maître des réponses fournies.
• La question des données est toujours un sujet.
• Il faut souvent un compte utilisateur ce qui rend certaines solution inutilisables avec les élèves.
• Les solutions pour créer des chatbot contrôlés sont souvent payantes et complexes.

Pas de panique ! ChatMD est là ! En ligne, libre et gratuit, connecté à l'IA ou non, développé par Cédric Eysette qui est chargé de projet à la Drane de Lyon. Cette solution est hébergée sur la Forge des communs numériques éducatifs.
Les avantages :

• On peut l’utiliser directement sans installation : c’est une solution en ligne qui ne nécessite pas la mise en place d’un serveur et qui n’utilise pas de base de données.
• On peut créer facilement un chatbot à partir d’un fichier texte en respectant une syntaxe particulière (issue de Markdown).
• Pas besoin de créer un compte spécifique pour cela : on peut utiliser codiMD ou bien un autre service libre du même type (Digipage, Hedgedoc ...)
• Les utilisateurs n’auront également pas besoin de compte et il n’y a aucune collecte de données et pas de cookies : le fonctionnement de ChatMD est totalement compatible RGPD.

J'y reviens juste après dans le tutoriel mais le principe est simple :

De nombreux usages sont possibles... À vous les tutoriels, les FAQ, les guides méthodologiques, les conversations avec des personnages historiques, les outils de révision,etc.
Pour en savoir plus et solliciter de l'aide pour tout problème, vous pouvez, comme moi, rejoindre le salon Tchap dédié à l'aide et à l'utilisation de cet outil.

Tutoriel d'utilisation sans IA

Avant toute chose, signalons la documentation officielle de l'outil sur le site officiel de ChatMD. Je vais tenter de décrire quelques fonctionnalités.

Tutoriel d'utilisation avec IA

En préambule : Nous allons maintenant envisager l'utilisation de l'IA avec ChatMD.
Toutes les propriètés évoquées précedemment restent valables. Là ou ChatMD va montrer tout son potentiel, c'est dans la possibilité de configurer le recours de l'IA à la demande.
J'ai créé un autre chatbot pour l'occasion. Le fonctionnement de base est identique. J'héberge le fichier de configuration au format Markdown sur CodiMD (je vous le propose en téléchargement plus bas). Pour utiliser le chatbot vous devez entrer la clé ci-dessous. SI vous avez cliquez sur "Annuler", rechargez la page simplement et entrer le code.
CLÉ D'UTILISATION DU CHATBOT PLATICHON : 123

🟢 Configuration du LLM dans le YAML :
Ajouter dans l'entête YAML de votre fichier de configuration le code ci-dessous complété.
Le fait de chiffrer la clé API empêche seulement que la clé soit récupérée par quelqu'un qui n'a pas le mot de passe. Mais une personne qui a le mot de passe et un peu de connaissances techniques pourrait récupérer la clé API. Ce n'est donc pas une solution parfaite et il faut alors vérifier les usages de sa clé, et la réinitialiser en cas de problème.

          useLLM:
            url: URL_API
            model: nom_du_modèle_de_langage
            encryptedAPIkey: clé_chiffrée
          

🟢 Utilisation de l'IA
ChatMD peut se connecter à un LLM en ligne ou en local. Ici, je ne traite que de l'appel en ligne. Je vous renvoie à la doc. pour l'utilisation d'un LLM local.
Ce qui me parait très intéressant avec ChatMD est que l'on peut utiliser l'IA de manière sobre et ciblée, au sein d'un parcours scénarisé dont on garde le contrôle. De plus, l'utilisateur n'aura pas besoin de créer un compte pour accéder à votre chatbot : il faudra simplement lui communiquer un mot de passe (123 ici).
Sur le plan général, l'appel et les instructions donnés au LLM dans le fichier de configuration se font comme suit :

          `!useLLM`
          Prompt
          `END !useLLM` 
          

Voici un exemple simple repris dans le bot ci-dessus :

          ## Dictée niveau quatrième
          Voici une dictée générée automatiquement par l'IA  :

          `!useLLM`

            Rédige une dictée d'environ 80 à 100 mots, destinée à des élèves de quatrième.  
            Le texte doit être rédigé au passé simple et à l'imparfait, contenir au moins trois adjectifs accordés en genre et en nombre, ainsi qu'une proposition subordonnée relative.  
            Le vocabulaire doit rester accessible pour ce niveau, et le ton peut être narratif ou descriptif.

            `END !useLLM`

            📝 Conseil à l'élève : lis d'abord la dictée une première fois en entier, puis fais-la à l'écrit sans te précipiter. Pense à bien accorder les adjectifs et les verbes, surtout à l'imparfait !

            1. [Suite ?](Poursuite)
            2. [Quitter ?](Sortir) 
            

Par défaut, l'appel à l'IA est unique et ponctuel. Autrement dit, on ne peut pas continuer la conversation avec l'IA et cette dernière n'a pas accès à l'historique de conversation. Bien sûr, ces propriètés sont parfaitement paramétrables.
Si vous choisissez de prolonger l'utilisation de l'IA, il faut penser à donner à l'utilisateur une possibilité de sortie de la conversation.

• Soit par un bouton qui renvoie à un menu.
• Soit une sortie automatique après un certain nombre de messages.
• Soit une sortie si un mot clé est détecté.
• Soit une sortie suite à l'analyse de la réponse par l'IA.
• ...

Bref, les exemples dans le bot sont nombreux et le fichier de configuration vous montrera la syntaxe à adopter.

🟢 Le RAG
Il est important d'attirer l'attention sur un autre type d'utilisation de ChatMD : le RAG
Le RAG (Retrieval-Augmented Generation) consiste à demander à une IA générative de répondre, non pas seulement à partir des informations issues de son entraînement, mais à partir d'une base de connaissances qu'on lui a fournie.
On pourrait par exemple fournir une liste de définitions, de méthodes, de textes propres à sa discipline et son approche pédagogique. Le but est d'améliorer la pertinence du contenu généré et de forcer l'IA à répondre d'après le cadre qu'on lui donne.
Pour activer le RAG et ajouter une base de connaissance qui sera utilisée par le LLM pour produire sa réponse, on ajoute dans le YAML :

          useLLM:
            url: URL_API
            model: nom_du_modèle_de_langage
            encryptedAPIkey: clé_chiffrée
            RAGinformations: ["URL1", "URL2", "URL3"]
 
          

On le voit, il est possible de mettre plusieurs adresses de fichiers à récupérer pour constituer la base de connaissance.
Important : la base de connaissance doit être constituée de fichiers texte. Il est impossible d'utiliser le format PDF. On peut éventuellement mettre directement du texte en lieu et place des URLs dans le YAML si la base de connaissances est très succincte. A l'inverse, si la base est conséquente, on conseille de la charger avant que LLM soit sollicité afin d'améliorer les performances grâce au paramètre preload dans le YAML.

Fonctionnement du RAG :
ChatMD utilise un système de RAG simplifié qui fonctionne ainsi :

• Préparation de la base de connaissances : ChatMD découpe en segments (chunks) la base de connaissances.
• Recherche des passages pertinents lors d'une requête : Quand une question est posée, ChatMD fait un calcul de similarité entre la question et ces différents segments, afin d'identifier les passages les plus pertinents.
• Construction du prompt enrichi : ChatMD ajoute les passages les plus pertinents au prompt et demande au LLM de répondre en prenant en compte ces passages.

Pour ces raisons et bien d'autres, il est donc impératif de bien contruire ses fichiers à destination du RAG. Je conseille donc de travailler avec des fichiers texte dans lesquels le balisage Markdown est à l'oeuvre. Le balisage Markdown va permettre à ChatMD un chunking facilité. Evidemment, je vous propose le fichier du RAG présenté dans le bot ci-dessus en téléchargement :
Téléchargement du fichier pour le RAG
A vous de jouer maintenant !

Bilan : Même sans rentrer dans les détails pointus de la configuration, on sent bien que ChatMD est un outil extrêmement polyvalent, presque configurable à l'infini et dont les applications sont très variées.
Alors, oui, il faudra un petit temps d'adaptation pour apréhender la syntaxe Markdown mais le jeu en vaut vraiement la chandelle ! Le salon Tchap est très réactif si vous avez des questions, alors n'hésitez plus. Direction la documentation de ChatMD et en avant pour proposer vos propres chatbots.