La prochaine ère de la compétition pour les appareils photo : l'essence de la course réside dans leur capacité à comprendre.

La démonstration qui m'a convaincu a eu lieu dans une galerie d'art que j'avais moi-même construite.

N'ayant pas pu constituer une équipe de guides, j'ai développé un projet parallèle pour les remplacer. Il n'y avait ni champ de saisie ni texte à écrire. Il suffisait de pointer son téléphone vers un objet pour obtenir une description. L'exposition s'est terminée, mais le projet a continué à être utilisé.

Ils l'ont dirigé vers les bâtiments, les fleurs, les jouets de leurs enfants, les affiches dans la rue, et rien de tout cela n'avait le moindre rapport avec l'exposition.

Sans que personne ne le leur demande, ils ont décidé que la caméra devait pouvoir leur expliquer le monde.

Il incombe désormais à l'industrie de répondre à cette attente, et cela survient à un moment où l'intelligence artificielle passe d'un problème d'apprentissage à un problème d'inférence, où l'essentiel du travail est effectué sur l'appareil lui-même, tandis que l'utilisateur pointe son téléphone vers un monde réel non coopératif.

Un mannequin a des besoins différents de ceux de votre œil en matière de cadrage : des bords sur lesquels se reposer et une structure à retrouver lorsque la photo est surexposée ou floue. Les couleurs et le contraste qui rendent une photo réussie sont, pour un mannequin, souvent un obstacle.

Le capteur destiné à un observateur humain et celui destiné à un mannequin nécessitent des conceptions différentes.

Le capteur est devenu un enjeu de perception, et les concepteurs de systèmes de vision en temps réel s'en préoccupent désormais de la même manière que les photographes autrefois.

D'où provient le capteur ?

Le capteur CMOS à pixels actifs inventé par Eric Fossum, développé au début des années 1990, est la raison pour laquelle on trouve aujourd'hui un appareil photo performant dans presque toutes les poches.

Ses travaux ultérieurs s'orientent vers une direction totalement différente : le capteur d'images quantiques, qui compte les photons individuellement. Cette évolution illustre les progrès actuels de l'intelligence artificielle : on passe de la capture d'une image susceptible de plaire à un humain à la capture du signal le plus pur possible, que la machine pourra traiter.

Le capteur devient un outil de perception, et la photographie n'est qu'une de ses applications.

Pourquoi le raisonnement change-t-il la nature du travail ?

C'est l'inférence qui rend le problème urgent. Auparavant, lorsque l'IA se concentrait principalement sur l'apprentissage, le rôle de la caméra était indirect : elle produisait des données à catégoriser et à exploiter ultérieurement, à un rythme tranquille. L'inférence, elle, est instantanée. Elle s'effectue en temps réel, sur un appareil aux performances limitées et déjà fortement sollicité, comme c'est le cas pour les applications d'IA critiques en termes de temps.

Lorsqu'un système doit reconnaître quelque chose alors que la caméra est encore pointée dessus et réagir avant qu'il ne soit trop tard, le maillon faible se situe au niveau du modèle, et c'est ce qui limite tout ce que le produit peut faire.

Une partie du secteur persiste à faire le mauvais choix. On part du principe qu'un modèle suffisamment grand corrigera les défauts des images captées par la caméra. J'ai constaté que cette approche freine le développement des produits depuis deux ans, et je doute qu'elle résiste aux lois de la physique.

Aucun modèle réduit ne peut restaurer les détails déjà altérés par le flou de mouvement ou les reflets, ni ceux supprimés par un traitement privilégiant l'embellissement avant même que le modèle ne soit exposé à l'image. Le goulot d'étranglement se situe désormais au niveau du capteur et de l'élément qui se trouve entre lui et le modèle.

Que font concrètement ces appareils ?

Certains capteurs effectuent désormais une partie du traitement directement sur la puce ; les calculs initiaux ont donc lieu avant que les données ne quittent la matrice de pixels. Les capteurs événementiels, parfois appelés neuromorphiques, n’enregistrent que les parties changeantes de la scène, ce qui est bien plus adapté à la perception en temps réel que la diffusion d’images complètes. Les obturateurs globaux contribuent également à réduire les distorsions de mouvement susceptibles de fausser les mesures.

Même la technologie HDR (High Dynamic Range), longtemps conçue pour un rendu spectaculaire du ciel, est désormais recalibrée pour correspondre à ce que le modèle peut percevoir clairement en conditions de contraste élevé. Malgré leurs différences, ces technologies convergent toutes vers un même objectif : créer une version du monde que le modèle peut gérer.

De l'identification à la conclusion

La fonctionnalité la plus intuitive à développer est la recherche visuelle : pointer l’appareil photo vers un objet et une étiquette s’affiche. Mais lorsque vous pointez votre téléphone vers un menu, vous souhaitez obtenir de l’aide pour choisir votre plat ; lorsque vous le pointez vers une affiche, une étape utile pourrait être d’ajouter l’événement à votre calendrier. La reconnaissance d’objets n’est que le point de départ. L’essence du produit réside dans la capacité à anticiper les actions suivantes. C’est là que le capteur devient le premier maillon d’une chaîne d’interprétation plus longue, allant bien au-delà de la simple capture d’informations.

Je n'avais jamais envisagé de concevoir un appareil photo ; au départ, c'était simplement une solution économique pour éviter d'engager des guides pour une exposition ponctuelle. Mais ce petit projet m'a révélé que ce don était déjà présent. Le prochain défi dans le monde de la photographie concernera l'ensemble du système : le capteur, le traitement de l'image, le calcul périphérique , la modélisation et, en fin de compte, la fonction du système.

Les fabricants de matériel ont consacré des années à l'amélioration de la qualité d'image et devront accorder la même importance à la qualité de l'inférence. Les développeurs de logiciels ne peuvent plus considérer la capture comme un problème qui les incombe : la manière dont un signal est capturé et acheminé influence le résultat bien avant que l'utilisateur ne le voie. Les frontières traditionnelles entre matériel et logiciel s'estompent à mesure que nous explorons plus en profondeur la perception en temps réel.

Il y a encore de la place pour les startups. Leur atout ? La rapidité d'identification : formuler le problème avant même que les grands acteurs n'aient fini de débattre. La pertinence même du modèle dominant devient de plus en plus difficile à défendre. La question est : que se passera-t-il lorsqu'un système unique sera capable d'anticiper, de prévoir et de réagir à un même événement ? Et qui sera le premier à proposer un produit pleinement fonctionnel ?

Les yeux humains contre l'intelligence artificielle

Je parie que dans les prochaines années, les entreprises se diviseront en deux camps : celles qui optimisent les performances pour une lecture humaine et celles qui les optimisent pour une lecture machine. Sur un smartphone haut de gamme, ces objectifs se recoupent suffisamment pour que la différence soit imperceptible.

Mais, d'un point de vue stratégique, ces objectifs commencent déjà à diverger. La position la plus viable sera celle de celui qui parviendra à transformer le chaos du monde réel en un signal aussi clair que possible pour la machine.

Cela commence par le capteur.

Nous avons examiné, évalué et classé les meilleurs téléphones portables avec appareil photo.