Face aux géants de la recherche IA : Claude, ChatGPT, Perplexity et Gemini – Les résultats sont choquants !

Après des années de tests et de comparaison de chatbots IA et de leurs fonctionnalités, j'ai développé une sorte de sixième sens pour savoir quand ces compagnons numériques savent de quoi ils parlent et quand ils sont simplement trompeurs. Cet article compare les capacités de recherche de ChatGPT, Gemini, Claude et Perplexity.

La plupart des gens peuvent rechercher des réponses en ligne, ce qui est certainement utile, mais combiner la recherche avec l’IA peut conduire à des réponses étonnamment perspicaces (et à des digressions moins perspicaces).

Imaginez si vous aviez un ami bien informé qui est tombé dans le coma en octobre 2024 et qui s’est réveillé aujourd’hui. Il était peut-être expert dans tout ce qui se passait avant son coma, mais depuis, il n'a plus aucune idée de ce qui se passait. Voilà à quoi ressemble l’IA sans recherche.

Je me concentre généralement sur un chatbot IA ou j'en compare deux à la fois, mais la recherche semble suffisamment importante pour augmenter cet effort. J'ai décidé de mettre en compétition quatre chatbots d'IA de premier plan et leurs capacités de recherche : ChatGPT d'OpenAI, Gemini de Google, Claude d'Anthropic et Perplexity AI.

Les tests les plus révélateurs sont ceux qui simulent des scénarios d’utilisation réels. J'ai donc proposé quelques sujets, randomisé certains détails pour les tests ci-dessous, puis décidé de les classer en fonction de leurs capacités de recherche.

التقويم

J'ai commencé par un quiz sur l'actualité et l'actualité. En pensant au retour récent de deux astronautes, j'ai demandé aux quatre chatbots IA de rechercher : « Résumé des points clés du dernier communiqué de presse de la NASA concernant sa prochaine mission. »

J'ai choisi cette option car les nouvelles spatiales occupent cette place particulière d'être mises à jour régulièrement et suffisamment spécifiques pour que les réponses vagues deviennent immédiatement claires. Tous les chatbots ont commencé leurs tests dans un style qu'ils ont en grande partie conservé tout au long.

ChatGPT a été incroyablement concis dans sa réponse, avec seulement trois phrases, chacune mentionnant les tâches à venir sans beaucoup de détails. Gemini a parcouru une liste à puces de différentes tâches, ajoutant certaines tâches récemment terminées et des détails sur les projets futurs. Claude a ensuite écrit un article sur les tâches actuelles et à venir, notant qu'il n'avait pas répété une grande partie de ses recherches mais qu'il avait fait beaucoup de reformulations.

Pour une question comme celle-ci, où je voudrais simplement quelques faits clés et prévoir de suivre tout ce qui attire mon attention, la méthode Perplexity était ma préférée. Il contient plus de détails que ChatGPT mais est organisé dans une belle liste numérotée, chacune avec son propre lien de citation.

Je ne peux pas vraiment blâmer les autres, mais le style correspond à la question.

Population et nombres

Cette approche par liste n’est pas toujours ce que vous souhaitez lorsque vous posez une question sur des faits de base et une comparaison plus précise. J'ai demandé deux faits connexes que les chatbots IA pourraient rechercher rapidement, mais qu'ils devraient ensuite comparer, en utilisant l'invite : « Quelle est la population actuelle d'Auckland, en Nouvelle-Zélande, *et comment a-t-elle augmenté depuis 1950 ? »*

Curieusement, il y avait une différence entre Perplexity et ChatGPT, qui ont fourni une population actuelle de 1,711,130 130 1950, et Claude et Gemini, qui ont signalé XNUMX personnes de moins à Auckland. Cependant, ils étaient tous d'accord sur la population en XNUMX.

Cependant, en termes de la façon dont chacun a présenté l'information, j'ai aimé la réponse narrative de Claude, y compris de nombreux détails sur l'évolution de la population qui manquaient à ChatGPT et que Gemini et Perplexity ont transformés en listes.

Qu'est ce qu'il y a?

Pour mon troisième test, je voulais proposer quelque chose qui pourrait remettre en question la capacité de ces systèmes à gérer les informations liées à un lieu et à une heure spécifiques, le type de requête que vous pourriez exécuter lorsque vous planifiez un voyage de week-end ou que vous accueillez des visiteurs.

C’est là que réside la difficulté pour les assistants IA. Connaître des faits historiques ou des informations générales est une chose, mais savoir ce qui se passe dans un endroit précis à un moment précis en est une autre.

C’est la différence entre les connaissances théoriques et les connaissances locales, et historiquement, les systèmes d’IA ont été bien meilleurs dans les premières que dans les secondes.

Sans raison particulière, j'ai choisi une ville que j'avais toujours aimée et j'ai demandé : Quels événements culturels auront lieu à Vancouver, en Colombie-Britannique, le week-end prochain ?

Il y avait de réelles variations à ce sujet. Perplexity et Claude ont tous deux conservé leur concision et leur style en présentant une liste numérotée et une discussion plus conversationnelle. Cependant, Claude est allé sensiblement plus loin que plus loin, et ressemblait davantage à Perplexité.

Gemini s'est complètement écarté de ses concurrents et a fondamentalement refusé de répondre. Au lieu de partager une liste similaire d’événements et d’activités, Gemini a proposé des stratégies pour trouver des endroits où aller. Consulter les sites Web officiels du tourisme et les pages Eventbrite n’est pas une mauvaise idée, mais ils sont loin d’être une liste simple de suggestions. C'était comme faire une recherche Google normale de cette façon.

Pendant ce temps, ChatGPT a répondu à mes attentes de Gemini. Si les descriptions des événements restaient courtes, l'IA proposait une liste complète d'activités spécifiques avec dates et lieux, des liens vers Plus Knowledge et même des vignettes de ce que vous trouverez dans ces liens.

Vérifiez la météo

Pour mon quatrième test, j'ai choisi probablement la question la plus posée par toutes les IA, mais qui nécessite des données en temps réel pour être utile : la météo. Les prévisions météorologiques sont idéales pour tester la récupération de données en temps réel, car elles sont constamment mises à jour, largement disponibles et faciles à vérifier. Il a également une date d’expiration naturelle ; Les prévisions d’hier sont déjà dépassées, ce qui montre clairement quand les informations sont obsolètes.

J'ai demandé au chatbot IA : « Quelles sont les prévisions météo à Tokyo pour les trois prochains jours ? » Les réponses étaient presque à l’opposé de la question de Vancouver.

Claude a fourni un résumé textuel utile de la météo à différents moments au cours des trois prochains jours, mais c'est à peu près tout. ChatGPT a affiché une petite icône de soleil ou de nuage à côté de son résumé météo pour chaque jour, mais j'ai vraiment aimé le graphique linéaire de Perplexity de la température correspondant à ce à quoi ressemblerait le ciel.

Sans aucun module complémentaire, Google Gemini m'a conquis avec son infographie colorée. Quand je pense à connaître la météo actuelle et à venir, c'est à peu près tout ce dont j'ai besoin ou que je veux.

Si je voulais demander plus de détails, je le ferais, mais demander la météo signifie que je veux le strict minimum pour savoir comment choisir ma tenue appropriée.

critique de cinéma

Lors de mon dernier test, je voulais voir comment les moteurs de recherche basés sur l’IA parviendraient à trouver plusieurs perspectives sur un sujet et à les regrouper dans un aperçu cohérent. Cette tâche nécessite une recherche flexible et la capacité de comprendre différents points de vue. J'ai décidé de voir comment cela se passerait avec une demande : Résumez les critiques des critiques professionnels sur le dernier film. Paddington. »

L’application nécessitait un rappel réaliste et la capacité d’identifier des modèles et des thèmes à travers plusieurs sources sans perdre de nuances importantes. C’est la différence entre un simple recueil d’opinions et une synthèse réfléchie qui incarne un consensus critique.

Gemini et Perplexity ont tous deux suivi leurs listes habituelles, classées par avantages et inconvénients selon divers critiques, qui étaient informatives, même si elles n'étaient pas nécessairement utiles comme résumé. Curieusement, ChatGPT a écrit sa réponse la plus longue à cette demande, un court essai couvrant des informations similaires et une conclusion sur la façon dont il a été évalué, mais dans un style rappelant celui d'un élève de collège apprenant la structure de base d'un paragraphe : phrase thématique, phrases d'appui et conclusion.

Claude a certainement eu la réponse la plus forte, avec un résumé en haut suivi d'explications et de références à ce que les critiques avaient à dire. Cela ressemblait presque à une critique courte et sans imagination, adoucie par les citations des critiques qu'il citait. J'en suis ressorti avec le sentiment d'avoir mieux compris comment modérer mes attentes envers un film. Paddington au Pérou que je ne l'étais avec les autres.

Classement des chatbots pour la recherche

Après avoir testé les chatbots IA dans le cadre de mes propres recherches, j’ai une compréhension claire de leurs forces et de leurs faiblesses. ChatGPT, Gemini, Perplexity et Claude font partie des meilleurs chatbots que j'ai essayés.

Aucun d’entre eux n’est réellement mauvais, mais si quelqu’un me demandait lequel il devrait essayer en premier ou en dernier lorsqu’il s’agit de rechercher et de collecter des informations en ligne, je sais comment je répondrais.

Gemini arrive en dernier pour moi, ce qui est quelque peu choquant étant donné que Google est connu pour son moteur de recherche. Cependant, son incapacité à gérer le calendrier de l'événement m'a fait l'éviter malgré sa bonne performance.

Une autre surprise pour moi est que ChatGPT arrive en troisième place. C'est le chatbot IA que j'utilise le plus et que je connais bien, mais ses réponses courtes, que j'apprécie généralement chez lui, me semblaient trop limitées dans le cadre de la recherche. Je suis sûr que changer le modèle ou définir un nombre de mots résoudrait ce problème, mais si vous êtes nouveau dans l'IA et que vous ne la connaissez pas encore, ce n'est pas une bonne idée de poser trop de questions de suivi.

Ce n’est pas un problème avec Perplexity. Les listes numérotées étaient très claires et les citations étaient presque complètes. Le principal inconvénient pour moi est qu'il redevient un moteur de recherche sans aucune sélection supplémentaire dans l'invite. J'aime qu'il fournisse des preuves de la provenance des informations qu'il partage, mais il semble trop désireux de cliquer sur le lien plutôt que d'obtenir les informations de l'IA.

Je ne m'attendais pas à ce que Claude soit en tête de cette liste. Bien que j'aie trouvé que Claude était un bon chatbot IA dans l'ensemble, j'ai toujours eu l'impression qu'il était à la traîne par rapport à certains de ses concurrents, peut-être aussi bons qu'eux, mais en quelque sorte différents. Ce sentiment s’est estompé au cours de ce test.

Il y avait des défauts, comme des réponses qui semblaient un peu longues ou qui nécessitaient de se référer à un article plus long alors qu'une ou deux phrases auraient suffi. Mais j’ai aimé le fait qu’il s’agissait d’un récit cohérent expliquant tous les événements de Vancouver ou d’un essai sur la critique cinématographique. Paddington au Pérou Sans se répéter.

Les assistants IA sont des outils, pas des candidats à une émission de téléréalité où une seule personne peut gagner. Différentes tâches nécessitent différentes capacités. En fin de compte, n'importe lequel des quatre chatbots IA et leurs fonctionnalités de recherche peuvent être utiles, mais si vous êtes prêt à payer 20 $ par mois pour Claude Pro et à accéder à ses capacités de recherche, c'est ce que je dirais que vous recherchez.