Application HuggingSnap AI : découvrez le monde à travers l'appareil photo de votre téléphone

Résumé:

• Hugging Face a lancé HuggingSnap, une application iOS qui peut analyser et décrire ce que voit la caméra de votre iPhone.
• L'application fonctionne hors ligne et n'envoie jamais de données vers le cloud.
• HuggingSnap n'est pas parfait mais il montre ce qui peut être fait sur l'appareil.

Donner à l’IA la capacité de « voir » devient de plus en plus courant avec l’émergence d’outils comme ChatGPT, Microsoft Copilot et Google Gemini qui améliorent les capacités de l’IA. Hugging Face a lancé sa propre application iOS appelée HuggingSnap, qui vous permet de voir le monde à travers la caméra de votre iPhone et de décrire ce que vous voyez sans connexion Internet. L'application fonctionne hors ligne, ce qui la rend idéale pour une utilisation dans les zones où la connectivité Internet est faible.

Imaginez que vous aviez un guide touristique personnel qui savait rester silencieux. HuggingSnap fonctionne entièrement hors ligne en utilisant le modèle de vision interne de Hugging Face, smolVLM2, pour permettre la reconnaissance instantanée d'objets, les descriptions de scènes, la lecture de texte et les observations générales sur votre environnement sans envoyer aucune de vos données dans le vide d'Internet.

Cette capacité à travailler hors ligne rend HuggingSnap particulièrement utile dans les situations où la connectivité est intermittente. Si vous faites de la randonnée dans la nature, voyagez à l'étranger sans connexion Internet fiable ou vous vous trouvez simplement dans une allée d'épicerie où le service cellulaire disparaît mystérieusement, avoir cette capacité sur votre téléphone est une véritable bénédiction. De plus, l'application prétend être ultra-efficace, ce qui signifie qu'elle ne videra pas votre batterie comme le font les modèles d'IA basés sur le cloud.

HuggingSnap regarde mon monde

J'ai décidé d'essayer l'application HuggingSnap. Tout d’abord, je l’ai pointé vers l’écran de mon ordinateur portable pendant que le navigateur était ouvert sur ma biographie TechRadar. Au début, l’application a fait du bon travail en transcrivant le texte et en expliquant ce qu’elle voyait. Cependant, il a été surpris lorsqu’il a vu les titres et autres détails concernant mon CV. HuggingSnap pensait que les références aux nouvelles puces informatiques dans un titre étaient une indication de ce qui faisait fonctionner mon ordinateur portable, et il semblait penser que certains des noms dans les titres faisaient référence à d'autres personnes utilisant mon ordinateur portable.

J'ai ensuite pointé l'appareil photo vers la cour de récréation de mon fils, qui était pleine de jouets que je n'avais pas encore rangés. Une fois de plus, l'IA a fait un excellent travail en décrivant la zone de jeu et les jeux qu'elle contient en général. Il a correctement identifié les couleurs et même les textures lors de la distinction entre les jouets en peluche et les blocs. Mais il a également commis des erreurs sur certains détails. Par exemple, il a décrit un ours comme un chien et semblait penser qu’un anneau d’empilage était une balle. Dans l’ensemble, je considère que HuggingSnap est bon pour décrire une scène à un ami, mais pas assez bon pour un rapport de police.

Regardez vers l'avenir

L'approche sur l'appareil de HuggingSnap est ce qui le distingue des capacités intégrées de l'iPhone. Bien que l'appareil puisse identifier les espèces de plantes, copier du texte à partir de photos et vous dire si cette araignée sur votre mur est du genre à vous faire bouger, il envoie toujours des informations au cloud.

HuggingSnap est unique dans un monde où la plupart des applications tentent de suivre presque tout ce qui vous concerne. Cependant, Apple investit massivement dans les technologies d’IA embarquées pour les futurs iPhones. Mais pour l'instant, si vous souhaitez une confidentialité avec une visibilité de l'IA, HuggingSnap pourrait être parfait pour vous.