Application HuggingSnap AI : découvrez le monde à travers l'appareil photo de votre téléphone

Résumé:

• Hugging Face a lancé HuggingSnap, une application iOS qui peut analyser et décrire ce que voit la caméra de votre iPhone.
• L'application fonctionne hors ligne et n'envoie jamais de données vers le cloud.
• HuggingSnap n'est pas parfait mais il montre ce qui peut être fait sur l'appareil.

Donner à l’IA la capacité de « voir » devient de plus en plus courant avec l’émergence d’outils comme ChatGPT, Microsoft Copilot et Google Gemini qui améliorent les capacités de l’IA. Hugging Face a lancé sa propre application iOS appelée HuggingSnap, qui vous permet de voir le monde à travers la caméra de votre iPhone et de décrire ce que vous voyez sans connexion Internet. L'application fonctionne hors ligne, ce qui la rend idéale pour une utilisation dans les zones où la connectivité Internet est faible.

Imaginez que vous aviez un guide touristique personnel qui savait rester silencieux. HuggingSnap fonctionne entièrement hors ligne en utilisant le modèle de vision interne de Hugging Face, smolVLM2, pour permettre la reconnaissance instantanée d'objets, les descriptions de scènes, la lecture de texte et les observations générales sur votre environnement sans envoyer aucune de vos données dans le vide d'Internet.

Cette capacité à travailler hors ligne rend HuggingSnap particulièrement utile dans les situations où la connectivité est intermittente. Si vous faites de la randonnée dans la nature, voyagez à l'étranger sans connexion Internet fiable ou vous vous trouvez simplement dans une allée d'épicerie où le service cellulaire disparaît mystérieusement, avoir cette capacité sur votre téléphone est une véritable bénédiction. De plus, l'application prétend être ultra-efficace, ce qui signifie qu'elle ne videra pas votre batterie comme le font les modèles d'IA basés sur le cloud.

HuggingSnap regarde mon monde

J'ai décidé d'essayer HuggingSnap. J'ai d'abord pointé l'application vers l'écran de mon ordinateur portable, mon CV étant ouvert sur DzTecnium. Au départ, l'application a bien copié le texte et annoté ce qu'elle voyait. Cependant, elle a complètement déraillé lorsqu'elle a détecté les titres et autres détails de mon CV. HuggingSnap a interprété les références à de nouvelles puces informatiques dans un titre comme une indication du matériel informatique de mon ordinateur, et a semblé croire que certains noms dans les titres désignaient d'autres personnes utilisant mon ordinateur.

J'ai ensuite pointé l'appareil photo vers la cour de récréation de mon fils, qui était pleine de jouets que je n'avais pas encore rangés. Une fois de plus, l'IA a fait un excellent travail en décrivant la zone de jeu et les jeux qu'elle contient en général. Il a correctement identifié les couleurs et même les textures lors de la distinction entre les jouets en peluche et les blocs. Mais il a également commis des erreurs sur certains détails. Par exemple, il a décrit un ours comme un chien et semblait penser qu’un anneau d’empilage était une balle. Dans l’ensemble, je considère que HuggingSnap est bon pour décrire une scène à un ami, mais pas assez bon pour un rapport de police.

Regardez vers l'avenir

L'approche sur l'appareil de HuggingSnap est ce qui le distingue des capacités intégrées de l'iPhone. Bien que l'appareil puisse identifier les espèces de plantes, copier du texte à partir de photos et vous dire si cette araignée sur votre mur est du genre à vous faire bouger, il envoie toujours des informations au cloud.

HuggingSnap est unique dans un monde où la plupart des applications tentent de suivre presque tout ce qui vous concerne. Cependant, Apple investit massivement dans les technologies d’IA embarquées pour les futurs iPhones. Mais pour l'instant, si vous souhaitez une confidentialité avec une visibilité de l'IA, HuggingSnap pourrait être parfait pour vous.