ChatGPT : Pourquoi écrire avec lui me rend la vie plus difficile

Je me souviens quand il est apparu ChatGPT Pour la première fois, la première chose que tout le monde a commencé à dire était : « Le rôle des scénaristes est terminé. » Les gens ont commencé à spéculer sur le fait que les sites d’information, les blogs et pratiquement tout le contenu écrit sur Internet seraient générés par l’IA. Bien que ces prédictions me semblaient extrêmes, j’ai également été impressionné par le texte que GPT pouvait produire.

Naturellement, j’ai dû essayer moi-même ce nouvel outil étonnant, mais j’ai vite découvert que les résultats n’étaient pas aussi impressionnants qu’ils le semblaient. Plus de deux ans plus tard, en ce qui concerne mon expérience et mes cas d'utilisation, rien n'a changé : chaque fois que j'utilise ChatGPT pour m'aider dans mon écriture, cela ne fait que me ralentir et me frustrer. En fait, je trouve que l’utilisation d’outils comme ChatGPT dans la rédaction professionnelle donne souvent des résultats médiocres, notamment en termes de précision et de style.

Pourquoi ChatGPT ne fonctionne pas pour moi ?

ChatGPT peut générer du très bon contenu. Il peut produire un langage naturel, cohérent et même intelligent et intéressant. Mais la plupart des exemples principaux que vous avez tendance à voir proviennent d'invites très simples, du genre « écrire un poème sur les achats chez Walmart, mais dans le style de William Shakespeare » que tout le monde faisait en 2023. Cependant, lorsqu'il s'agit de tâches complexes ou d'exigences spécifiques, ChatGPT montre souvent des limites dans la compréhension du contexte et la fourniture de réponses précises et pertinentes. Cette lacune le rend inefficace dans les scénarios qui nécessitent une analyse approfondie ou une créativité spécialisée.

Je suis désolé, je ne peux tout simplement pas être cynique à propos d’une technologie qui peut accomplir cela. pic.twitter.com/yjlY72eZ0m

— Thomas H. Ptacek (@tqbf) 2 décembre 2022

Lorsque vous commandez quelque chose comme ça, ce qui rend le résultat génial, c'est qu'il est inattendu. En gros, vous lui demandez de vous surprendre et, dans la plupart des cas, il y parviendra.

En revanche, lorsque vous essayez d'utiliser ChatGPT pour un travail d'écriture ennuyeux et ancien, c'est une toute autre histoire. Tout d'abord, pour des articles comme celui-ci, c'est inutile. Tout ce que j’écris maintenant est basé sur mes propres expériences et opinions – l’IA ne peut pas l’écrire à ma place. Certains pourraient dire que cela peut vous aider à planifier, à réfléchir ou à améliorer vos arguments, mais je n'ai jamais voulu d'aide pour ce genre de choses de toute façon.

Le type de travail pour lequel j'ai réellement essayé d'utiliser ChatGPT est celui des blogs d'entreprise. Vous connaissez le type de publications : des explications, des guides pratiques et des recommandations couvrant des sujets liés à l’entreprise et à ses produits (avec également une subtile autopromotion). Lorsque vous écrivez ce genre de choses, on vous donne souvent de nombreuses exigences : un guide de style pour la langue et la grammaire, des mots-clés à inclure, des sources à inclure, des sources à éviter et un aperçu du contenu avec des titres, une structure et des points principaux déjà décidés.

Si je veux une copie utilisable, je ne peux pas simplement fournir à GPT une invite d'une seule ligne et le laisser fonctionner librement. J'ai donc essayé une structure comme celle-ci :

• Une invite initiale de « contexte » expliquant ce que j’écrivais et le genre de choses que je demanderais, ainsi qu’un exemple de paragraphe pour montrer le style de langage que je souhaitais.
• Les invites suivantes avec des « aperçus de contenu » fournissaient un ou deux titres ainsi que des puces sur ce qu’il fallait couvrir.

Je ne demanderais jamais trop à la fois et comme je ne lui faisais pas confiance pour ajouter des statistiques et des sources, je laisserais tout cela avec l'intention de le faire moi-même plus tard.

Mais malgré tous mes efforts pour décomposer le travail en petites parties et donner des instructions très claires, je me suis toujours heurté aux mêmes problèmes :

1. ChatGPT terrible En écoutant les instructions.
2. Il a la mauvaise habitude de pousser les choses à l’extrême.
3. Des informations incorrectes ou non pertinentes s’infiltrent souvent dans la copie.
4. Son « style d’écriture » devient très vite répétitif et cliché.
5. Lorsque l’un des problèmes ci-dessus se produit, il est presque impossible d’obtenir qu’un grand modèle de langage (LLM) révise ou corrige avec succès sa sortie.

Laissez-moi vous montrer ce que je veux dire.

1. La faiblesse de ChatGPT dans la compréhension des instructions détaillées

Lorsque vous essayez d'obtenir des résultats précis et spécifiques de ChatGPT, il devient nécessaire de donner des instructions claires et détaillées. Cependant, il semble que plus il y a d’exigences, plus le modèle risque d’en ignorer certaines. Par exemple, les invites peuvent inclure des titres, des puces, le nombre de mots requis, des instructions de formatage et la nécessité pour le chatbot de mémoriser les instructions de style dès le début de la session. J'ai essayé de nombreuses manières différentes de simplifier les choses, mais j'ai toujours pensé que ChatGPT ne pouvait pas gérer autant d'instructions.

En particulier, j’ai eu de fréquentes difficultés avec le nombre de mots et les puces. Le grand modèle de langage (LLM) m'a rarement donné le nombre de mots que j'avais demandé (généralement beaucoup moins que ce qui était demandé), et il n'a jamais écouté si je voulais ou non des éléments de point.

Parfois, cela peut être corrigé – par exemple, si vous avez demandé 200 mots avec des puces mais que vous avez obtenu 300 mots sans puces. Il est relativement facile de supprimer quelques mots et d’ajouter quelques puces. Malheureusement, j’ai toujours eu l’impression d’avoir les bugs les plus difficiles à corriger.

Lorsque vous commandez 500 mots sans puces et recevez 200 mots avec puces, vous devez pratiquement faire la majeure partie du travail vous-même. Cela nécessite une refactorisation approfondie et des efforts importants, ce qui réduit l'efficacité de l'utilisation de ChatGPT dans ces cas.

2. Tendance à exagérer : un problème avec ChatGPT

Lorsque vous demandez à ChatGPT quelque chose de spécifique, comme utiliser un langage amical ou la deuxième personne, il a tendance à s'accrocher à ces concepts et à les utiliser de manière excessive. Cette exagération est considérée comme l’une des plus importantes Inconvénients de ChatGPT.

Le langage amical se transforme en une conversation textuelle complète avec des emojis, et le mode à la deuxième personne se transforme en quelque sorte en questions et en références excessives au lecteur dans le but d'utiliser le pronom « vous » autant que possible. C'est l'un des Défis ChatGPT Dans la compréhension du contexte.

Vous rencontrez également des difficultés si vous souhaitez un grand nombre d’exemples ou de citations. Si vous demandez simplement à GPT « beaucoup » ou « beaucoup » de quelque chose, il vous donnera probablement le double ou le triple de la quantité que vous souhaitez. Si vous lui donnez un numéro spécifique, il l'ignorera probablement complètement et vous donnera quelque chose au hasard. En d’autres termes, vous pouvez difficilement contrôler le résultat. Ce problème de contrôle de sortie est considéré Faiblesse dans ChatGPT Il faut s'en occuper.

3. Des informations incorrectes ou non pertinentes s’insinuent souvent dans le texte.

Nous savons tous que l’IA « hallucine » et se trompe parfois de manière aléatoire sur des faits – cela arrive suffisamment souvent pour que vous deviez revérifier tout ce qu’elle dit, ce qui prend du temps et affecte le temps que vous pouvez gagner en l’utilisant. Les « hallucinations de l’IA » constituent l’un des plus grands défis auxquels est confrontée son utilisation dans la rédaction de contenu.

Pour lutter contre cela, je n’ai pas demandé en premier lieu des faits ou des chiffres. J'ai essayé plusieurs fois au début, mais le processus de vérification des faits était vraiment fastidieux et j'ai vite arrêté de m'en soucier.

Le problème est que GPT va ajouter des informations inexactes aléatoires dans ses réponses, que vous demandiez des faits et des chiffres ou non. Cela signifie que vous ne pouvez pas simplement vérifier la qualité de lecture du texte ou si vous êtes satisfait des points que vous essayez de soulever – vous devez vérifier et prendre en compte tout ce que vous dites. C'est très ennuyeux. La validation est un élément fondamental du processus d’utilisation des grands modèles linguistiques (LLM).

Puisque je parle ici d’erreurs et d’hallucinations, je pourrais aussi bien mentionner les « pires scénarios ». Parfois, un grand modèle de langage (LLM) déraille, et même si cela ne se produit pas tout le temps, lorsque cela se produit, vous devez abandonner cette session et passer du temps à coller vos invites dans une nouvelle discussion et à recommencer. Personnellement, je n'ai pas vu ChatGPT devenir vraiment fou d'une manière particulièrement drôle, mais mon ami a eu ce bijou une fois :

4. Style d'écriture de ChatGPT : répétitif et vite cliché

Au premier abord, cela peut paraître fou à quel point ChatGPT sonne « humain ». Mais à mesure que vous l'utiliserez de plus en plus, vous réaliserez qu'il n'a pas seulement l'air humain, il ressemble à une « personne normale ».

Les ensembles de données d'OpenAI incluent la plupart du contenu d'Internet : des millions d'articles et de forums personnels sur Reddit. Je suis désolé de dire qu'une grande partie de ce contenu n'est que des déchets. Mais comme ChatGPT est formé sur ce principe, il détecte toutes les mauvaises habitudes les plus courantes.

Ainsi, lorsque vous générez beaucoup de texte avec ChatGPT, vous commencerez à remarquer que certaines structures de phrases et expressions deviennent très répétitives. Pour moi, les deux pires exemples étaient les deux structures de phrases suivantes :

• « De A et B à C et D, etc. etc. etc. » (exemple: Dans le monde de TikTok, il y a une place pour tout le monde : des amateurs de bricolage et des experts en beauté aux amoureux des animaux et aux enseignants.)
• « Que vous soyez A ou B, etc. etc. etc. » (exemple: Que vous débutiez ou que vous cherchiez à progresser, utiliser des stratégies intelligentes pour créer un véritable engagement est essentiel pour vous démarquer.)

ChatGPT aime tellement ces deux structures de phrases que j'étais presque certain d'en obtenir trois ou quatre à chaque session. Ces deux exemples proviennent du même paragraphe dans l’une de ses réponses. L’expression « dans le monde de… » dans le premier exemple est une autre façon dont il aime commencer une phrase. Tout cela est ennuyeux, cliché et ridiculement surutilisé (ce qui est, bien sûr, la principale raison pour laquelle ChatGPT les crée si souvent). J'ai même essayé d'interdire explicitement certaines expressions et certains types de phrases, en commençant chaque invite par cette petite liste :

Les gens disent qu’il est presque impossible de faire la distinction entre un texte généré par l’IA et un texte écrit par l’homme de nos jours – mais je ne suis pas tout à fait d’accord. Si vous essayez d’utiliser vous-même ces outils d’IA et que vous rencontrez tous les problèmes et mauvaises habitudes, vous reconnaîtrez de nombreux signes révélateurs. Lorsque les gens mélangent du contenu IA avec du matériel écrit par des humains et modifient considérablement la majeure partie de la sortie de ChatGPT, vous pouvez le masquer complètement. Mais le contenu qui vient directement du modèle linguistique et qui a été publié pratiquement tel quel, ça se voit. Vous pouvez le découvrir assez facilement.

5. Difficulté à déboguer ou à modifier avec succès la sortie de grands modèles de langage (LLM).

Le véritable défi est que ChatGPT est rarement capable de résoudre les problèmes par lui-même. Lorsque les choses tournent mal, les tentatives d’expliquer le problème et de demander des révisions répétées échouent souvent.

Par exemple, lorsqu'on demande d'ajuster le nombre de mots, on obtient souvent le même nombre. Lorsqu'on demande de supprimer des points, on insiste sur la mise en œuvre, puis on ajoute un « plus ». Lorsqu'on demande d'ajuster le ton ou le style, il est difficile de mettre en œuvre le changement de manière exhaustive, ce qui entraîne un mélange incohérent.

La solution peut être de répéter les invites et de régénérer les réponses ChatGPT jusqu'à ce que vous atteigniez approximativement le résultat souhaité. Mais pour les écrivains, l’utilisation de ChatGPT les oblige à assumer le rôle d’éditeur.

Cela ne pose peut-être pas de problème à tout le monde (de nombreux auteurs effectuent des opérations de révision dans le cadre de leur travail), mais cela en dérange d’autres. L'idée de modifier le travail d'autres personnes ou la sortie GPT n'est pas souhaitable.

Quant à la fréquence des erreurs, dans chaque session qui dure des heures avec plus de 30 invites, il y a toujours la possibilité de rencontrer un obstacle.

Résultat : j'ai abandonné.

J'ai passé des mois à essayer d'apprendre à utiliser ChatGPT en 2023, et je suis revenu après des mises à jour majeures au cours des deux années suivantes, mais mon expérience n'a jamais changé. D’autres grands modèles de langage (LLM) ont également été essayés, mais même les modèles plus récents qui utilisent « l’inférence » et déclenchent un monologue interne avant de répondre souffrent toujours des mêmes problèmes d’utilisabilité.

Modèles LLM actuels Cela n'accélère pas le processus d'écriture pour moi - cela ne fait que me forcer à passer du temps à faire ce que je déteste au lieu de consacrer du temps à ce que j'aime. Si vous détestez taper et que vous ne voulez jamais le faire, ChatGPT peut certainement vous aider. Mais si écrire est un passe-temps pour vous ou ce que vous choisissez de faire dans la vie, cela vous rendra probablement fou.

En fin de compte, je n’ai jamais rien publié que l’on puisse qualifier de « généré par l’IA ». Chaque fois que j’essayais, comme on dit, de « l’intégrer dans mon flux de travail », je finissais par me cogner la tête contre les murs, perdre beaucoup de temps, puis fermer le programme lorsque je réalisais que je n’avais rien accompli et que la date limite approchait à grands pas.