Perplexité : Une IA locale qui demande l'autorisation avant d'être hébergée dans le cloud.

La plupart des assistants IA nécessitent l'envoi de vos questions, fichiers et autres données à des serveurs tiers. Mais le nouvel ordinateur portable de Perplexity bouleverse ce concept en exécutant l'intégralité du système d'IA sur vos propres appareils.

L'ordinateur portable a été annoncé mardi, apportant la plateforme informatique intelligente de Perplexity à Nvidia DGX Spark et à d'autres appareils Linux dotés de cartes graphiques Nvidia compatibles.

L'entreprise précise que chaque tâche démarre sur votre appareil. Si le modèle local atteint une étape nécessitant un raisonnement plus poussé, Portable Computer demande l'autorisation avant d'envoyer cette étape à un modèle avancé dans le cloud. La réponse est ensuite renvoyée au flux de travail local, tandis que les fichiers et autres informations sensibles restent sur l'appareil.

Cela pourrait le rendre attrayant pour tous ceux qui souhaitent un agent d'IA facile à utiliser sans pour autant confier automatiquement toutes les données qu'il gère à un fournisseur de services cloud.

Cependant, il y a un inconvénient plutôt coûteux.

Bien plus qu'un simple chatbot installé localement

Vous pouvez déjà télécharger et exécuter des modèles open source sur votre ordinateur. Mais la difficulté réside dans la transformation de l'un de ces modèles en un agent d'IA capable de manipuler des fichiers, d'utiliser des outils et d'accomplir une tâche en plusieurs étapes.

Cela implique généralement de trouver et de configurer un moteur d'inférence, ainsi que de connecter le système d'interface utilisateur, un environnement de test (sandbox) et tous les connecteurs nécessaires pour accéder aux applications externes. Il vous incombe également de veiller à ce que tous ces composants fonctionnent ensemble.

Portable Computer réunit ces composants en un seul système. Il comprend le modèle local, le moteur d'inférence, les outils proxy, les connecteurs d'application et un environnement isolé (bac à sable) permettant l'exécution de code et l'utilisation d'outils.

L'intelligence artificielle peut interagir avec les fichiers stockés sur votre ordinateur, lire les PDF, exécuter des commandes shell, recevoir des dictées et effectuer des recherches sur le Web. Les utilisateurs peuvent également intégrer des services tels que Google Drive, Gmail, Slack et GitHub.

D'après Perplexity, le code et les outils sont utilisés dans un environnement sandbox local. Cela permet une certaine séparation entre l'agent d'IA et le reste de la machine, mais j'aimerais obtenir plus de détails sur les ressources auxquelles il a accès et sur la manière dont ces autorisations sont gérées.

Il sait quand demander de l'aide.

Le routage hybride est peut-être l'aspect le plus intéressant d'un ordinateur portable.

Un modèle local plus petit peut suffire à localiser un fichier, extraire des informations d'un PDF ou effectuer une série d'étapes simples. Cependant, il est peu probable qu'il égale les capacités d'inférence des modèles plus importants d' OpenAI , d'Anthropic ou de Google.

La solution de Perplexity consiste à laisser la tâche en local jusqu'à ce que le modèle rencontre un problème qu'il ne peut pas résoudre de manière fiable. Ensuite, l'ordinateur portable peut demander s'il peut envoyer cette étape à un modèle basé sur le cloud.

Les utilisateurs n'ont pas besoin de définir de paramètres de confidentialité ni de créer leurs propres règles de routage. Le système prend la décision automatiquement, mais l'utilisateur doit tout de même approuver le transfert. Un système d'IA censé être local devient beaucoup moins respectueux de la vie privée s'il se tourne discrètement vers le cloud dès que la tâche se complexifie. Pour en savoir plus sur la protection de vos données personnelles, consultez notre comparatif des politiques de confidentialité de ChatGPT, Gemini, Cloud et Perplexity.

Perplexity précise également que le travail effectué localement n'est pas déduit du solde des factures. Seule la partie envoyée vers le cloud est comptabilisée dans l'utilisation du cloud.

Au lancement, les utilisateurs pourront choisir entre le modèle Qwen (27 milliards de paramètres) et une version propriétaire de Perplexity, entraînée ultérieurement et appelée PPLX 27B. Le modèle Nemotron 3.5 Lightning de Nvidia devrait suivre. Les utilisateurs pourront également utiliser leur propre modèle et serveur d'inférence.

L'obstacle réside dans l'équipement.

L'application Portable Computer peut fonctionner sur votre ordinateur, mais pas sur n'importe quel ordinateur.

Le logiciel est initialement disponible sous Linux et nécessite une carte graphique Nvidia dotée d'au moins 24 Go de mémoire vidéo. Il prend en charge les cartes graphiques de bureau Nvidia DGX Spark, ainsi que les ordinateurs compatibles exécutant DGX OS ou Ubuntu sur une architecture ARM ou x64.

La prise en charge de Windows est prévue pour septembre. Perplexity n'a pas encore annoncé de prise en charge de macOS.

Des ordinateurs portables seront disponibles pour les abonnés aux formules Perplexity Pro, Max, Enterprise Pro et Enterprise Max. Même avec un abonnement compatible, la plupart des utilisateurs ne disposeront pas du matériel nécessaire à leur bureau.

Cette première version s'adresse donc davantage aux passionnés d'IA, aux développeurs et aux entreprises qui possèdent déjà des systèmes Nvidia hautes performances, qu'à une personne hésitant entre ChatGPT et Perplexity sur un ordinateur portable classique.

Cependant, l'idée sous-jacente pourrait toucher un public beaucoup plus large. Les assistants IA accèdent à une quantité croissante d'informations personnelles, notamment les courriels, les documents de travail et les fichiers stockés sur nos appareils. L'exécution locale de Plus offre aux utilisateurs un moyen supplémentaire de contrôler ce qui quitte leurs appareils et à quel moment.

L'ordinateur portable n'est pas encore prêt à remplacer un chatbot basé sur le cloud pour la plupart des utilisateurs. Cependant, il offre un aperçu de ce à quoi pourrait ressembler un assistant IA plus personnalisé une fois que le matériel nécessaire à son fonctionnement sera abordable.