J'ai essayé la nouvelle fonctionnalité de génération d'images natives de Gemini, et c'est absolument incroyable.

Résumé:

• Google a lancé la génération et l'édition d'images natives à l'aide de la nouvelle version bêta de Gemini 2.0 Flash.
• La fonctionnalité est désormais disponible gratuitement sur AI Studio et vous pouvez générer et modifier une série d'images coordonnées à l'aide de commandes de texte simples.
• Vous pouvez supprimer et ajouter des éléments, insérer du texte, colorier des images, créer une histoire visuelle et bien plus encore.

On entend parler de « multimédia natif » dans le domaine de l'IA depuis plus d'un an, mais les entreprises ont tardé à exploiter pleinement le potentiel multimédia de leurs modèles d'IA. Google a finalement lancé son dernier modèle, « Gemini 2.0 Flash Experimental », capable de générer et de modifier des images nativement.

Maintenant, vous vous demandez peut-être quelle est l’importance de la génération d’images ? La génération d'images IA est disponible avec tous les principaux chatbots IA comme ChatGPT depuis un certain temps. Eh bien, lorsque nous générons des images IA sur ChatGPT ou Gemini, elles sont dirigées vers un modèle spécialisé basé sur la diffusion comme Dall-E 3 ou Imagen 3. Ces modèles sont formés sur des images et sont conçus uniquement pour générer des images ; Il s’agit d’une extension du modèle d’IA principal, et non d’une partie de celui-ci.

Cependant, les modèles de vision du langage comme Gemini sont nativement multimédias, c'est-à-dire qu'ils peuvent comprendre, générer et modifier nativement aussi bien le texte que les images. À ce jour, aucune entreprise technologique n'a mis cette fonctionnalité à la disposition des utilisateurs. OpenAI a présenté sa propre fonctionnalité native de génération d'images avec GPT-4 en 2024, mais là encore, elle n'a jamais été commercialisée.

Avec la fonction de génération d'images originale, vous obtiendrez : Une meilleure coordination Là où les modèles multimodaux sont formés sur un vaste ensemble de données de différents supports. En conséquence, ces modèles ont une meilleure compréhension des concepts et démontrent une connaissance plus large du monde.

Outre la génération d'images, vous pouvez les modifier facilement grâce à de simples commandes textuelles. Par exemple, vous pouvez importer une image et demander au modèle d'ajouter des lunettes de soleil, d'insérer du texte en gras, de supprimer des objets, etc. Contrairement aux modèles de diffusion qui régénèrent l'image entière à chaque nouvelle commande, les modèles multimédias natifs préservent la cohérence entre les différentes modifications.

Créer des images à l'aide de la démo Flash de Gemini 2.0

Actuellement, la fonctionnalité de création d'images originales n'est pas accessible au grand public. La version bêta de Gemini 2.0 Flash, qui inclut la création d'images originales, est uniquement disponible gratuitement sur la plateforme Google AI Studio ( voir [lien ]).

Après avoir prévisualisé le modèle sur AI Studio, il sera publié sur Gemini pour que tout le monde puisse l'utiliser dans un avenir proche. Cependant, j'ai essayé le nouveau modèle Gemini avec la fonction de création d'images, et ce fut une expérience très excitante.

Tout d’abord, j’ai commencé avec un guide visuel pour montrer la cohérence de la capacité de génération d’images de Gemini. J'ai demandé à Gemini de créer un guide visuel sur la façon de faire une omelette, en créant une photo pour chaque étape du processus.

Comme vous pouvez le voir, les résultats sont très cohérents sur toutes les images sans aucune erreur. Même le bol est le même que sur la deuxième photo. Enfin, vous pouvez télécharger des images en résolution 1024 x 680. De cette façon, vous pouvez créer un guide visuel pour tout ce que vous voulez.

Ensuite, j'ai demandé à Gemini de créer une image de table esthétique, puis de visualiser la table sous l'angle de la caméra centrale. Il a fait un travail parfait. Ensuite, j’ai demandé à Gemini d’ajouter une PlayStation à la table et d’y regarder de plus près. Une fois de plus, Gemini a réussi. Comme vous pouvez le voir ci-dessous, le modèle d'IA incluait également un reflet de la PS5 dans le miroir derrière elle.

Pour démontrer la modification de la photo originale, j'ai téléchargé une photo de ma galerie et j'ai demandé à Gemini 2.0 de retirer le verre à vin de la table. Ensuite, j’ai demandé à Gemini d’ajouter des champignons à la pizza, et il a fait un excellent travail. J'ai ensuite demandé à Gemini d'ajouter un croissant, et voilà, l'édition photo IA avec toutes ses fonctionnalités, grâce aux capacités multimédias de Gemini.

Ensuite, j’ai téléchargé une photo de moi, j’ai demandé à Gemini d’ajouter des lunettes de soleil, puis j’ai ajouté le texte « Beebom » sur ma chemise. Les deux ont été très bien exécutés.

Finalement, j'ai demandé à Gemini de colorier une image, et il a bien réussi à le faire aussi. Je veux dire, l'image est plus belle qu'avant, sans aucune erreur étrange, distorsion ou partie manquante de l'image.

Il existe de nombreux cas d'utilisation que vous pouvez découvrir avec les nouvelles capacités multimédias de Gemini. Google a fait un excellent travail avec la création et l’édition d’images natives, et je prévois de l’utiliser plus en profondeur dans les semaines à venir pour tester ses limites.

Après avoir sorti Veo 2 pour la création vidéo et Imagen 3 pour la création d'images spécialisées, Google semble avoir surpassé OpenAI dans de nombreux domaines ; Pas seulement dans le domaine de la génération de texte par IA. Il sera donc intéressant de voir ce que OpenAI fera pour reprendre la tête avec ChatGPT.