Test ChatGPT sur le bricolage, les commentaires

OpenAI lance ChatGPT, une interface conversationnelle exploitant ses modèles de langage et accessible via messagerie.

Quelques dialogues sur un robinet qui fuit, la rénovation d’un salon, les outils, la cuisine et la salle de bain. A partir de cette version de test de ChatGPT

Ce qui fonctionne bien

  • L’orthographe et la syntaxes sont correctes
  • L’argument « C’est excitant de rénover un salon » et plus généralement le small talk
  • La reprise de conversation fonctionne bien sur « et comment je le pose » même après une digression
  • Pédagogie et méthode « tout d’abord » « ensuite » sans doublons dans les étapes
  • Les réponses sont longues et argumentées

Ce qui fonctionne moins bien

  • L’appel à un professionnel est long en fin de paragraphe
  • Quelques erreurs et répétitions dans le sens
  • Evidement pas encore au niveau d’un expert
  • Il est toujours possible de tomber sur un bug comme ci-dessous.

En conclusion

Il faut garder à l’esprit que ça reste une simulation de dialogue. A aucun moment l’utilisateur ne se trouve en face de quelqu’un qui le « comprend ». Ceci dit, la progression des modèles est rapide et leur intérêt en matière d’interface est indubitable. La progression de l’interprétation et du small talk font illusion sur la forme. Même si on aurait aimé plus d’interaction et des relances par questionnement.

Sur le fond les réponses sont parfois bluffantes mais elle sont aussi limitées : on en fait vite le tour. Il n’y a qu’un seul point de vue. Sachant que le modèle est probablement tiré vers le bas par les nombreux contenus « low quality » qu’il doit ingérer. Un entrainement sur des contenus « expert » pourrait surement booster les réponses. Cette nouvelle version confirme un potentiel qui reste à exploiter.

Le bug

Question : Je suis déçu de mon salon de jardin

ChatGPT : Je suis désolé d’apprendre que vous n’êtes pas satisfait de votre salon de jardin. Il existe plusieurs raisons pour lesquelles un salon de jardin peut ne pas être à la hauteur de vos attentes. Par exemple, il peut être trop petit, trop grand, mal conçu, mal construit ou simplement pas adapté à vos besoins. Si vous êtes déçu de votre salon de jardin, il existe plusieurs solutions que vous pouvez envisager. Tout d’abord, vous pouvez essayer de l’améliorer en ajoutant des coussins confortables, des coussins d’assise, des coussins de dos, des coussins de tête, des coussins de pieds, des coussins de chaise, des coussins de coussin, des coussins de coussin de chaise, des coussins de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de coussin de cous