Que se passe-t-il si vous manquez de données de formation de modèle d’IA ?

Les progrès rapides de l’intelligence artificielle dépendent principalement de la disponibilité de données de formation précises et à grande échelle. Alors que l’utilisation de l’intelligence artificielle se développe dans divers secteurs, de nombreuses entreprises commencent à faire face à des défis liés au manque de données de formation disponibles, ce qui peut affecter la qualité et l’efficacité des modèles intelligents qu’elles développent. Alors, comment pouvons-nous continuer à former et à développer les systèmes d’IA malgré cette lacune ?

Internet peut sembler regorger de données disponibles, mais l’IA a déjà consommé la plupart des sources ouvertes. Cela ne signifie toutefois pas que les progrès s’arrêteront. De nouvelles stratégies peuvent être utilisées pour combler le manque de données, telles que la génération de données synthétiques, la collecte de données personnalisées et l’utilisation de données non structurées de manière innovante. Dans cet article, nous explorerons ces solutions innovantes et comment elles peuvent soutenir le développement de l'IA, en garantissant qu'elle continue d'offrir des performances améliorées et une plus grande valeur aux utilisateurs.

1. Les données supplémentaires sont toujours ajoutées en ligne.

En résumé, l'institut de recherche en intelligence artificielle Epoch affirme que les données de haute qualité sur lesquelles l'IA est entraînée pourraient s'épuiser d'ici 2026.

Le mot clé ici est « peut ». La quantité de données ajoutées à Internet augmente chaque année, donc quelque chose de radical pourrait changer avant 2026. Cependant, cela reste une estimation juste : dans tous les cas, les systèmes d’IA finiront par manquer de bonnes données à un moment donné.

Il est toutefois important de rappeler qu'environ 147 zettaoctets de données sont ajoutés à Internet chaque année (selon Exploding Topics ). Un seul zettaoctet équivaut à 1 000 000 000 000 000 000 000 bits de données. Concrètement, cela représente plus de 30 milliards de films 4K (un chiffre réel, mais inimaginable). C'est une quantité d'informations astronomique que l'IA doit analyser.

Cependant, l’intelligence artificielle consomme des données plus rapidement que l’humanité ne peut les produire…

2. L’IA peut oublier les données de mauvaise qualité

Bien entendu, les 147 zettaoctets de données ne sont pas tous de bonnes données. Il y a des choses que l'œil ne peut pas voir. Mais on estime que l’IA consommera également des données linguistiques de mauvaise qualité d’ici 2050.

Reuters a rapporté que Photobucket, qui fut l'un des plus grands dépôts d'images au monde, est en pourparlers pour concéder sous licence sa vaste bibliothèque à des entreprises spécialisées dans l'entraînement de l'IA. Ces images contiennent des données pour l'entraînement de modèles comme DALL-E et Midjourney, mais même ces ressources pourraient s'épuiser d'ici 2060. Un problème encore plus important se pose : Photobucket inclut également des images provenant de plateformes de réseaux sociaux du début des années 2000, comme Myspace, ce qui signifie qu'elles sont de qualité inférieure à celle des photographies actuelles. Il en résulte des données de moindre qualité.

Photobucket n'est pas seul. En février 2024, Google a conclu un accord avec Reddit, permettant au géant de la recherche d'utiliser les données des utilisateurs de la plateforme de médias sociaux pour entraîner l'intelligence artificielle. D'autres plateformes de réseaux sociaux fournissent également des données utilisateur à des fins de formation à l'IA ; Certains l'utilisent pour entraîner des modèles d'IA internes, comme Meta's Llama.

Cependant, même si certaines informations peuvent être extraites de données de mauvaise qualité, Microsoft serait en train de développer un moyen permettant à l’IA d’« ignorer » de manière sélective les données. Cette solution sera principalement utilisée pour des problèmes de propriété intellectuelle, mais elle peut également signifier que les outils peuvent oublier ce qu'ils ont appris à partir d'ensembles de données de mauvaise qualité.

Nous pouvons fournir davantage de données à l’IA sans être trop sélectifs ; Ces systèmes d’IA peuvent ensuite choisir ce dont il est le plus utile d’apprendre.

3. La reconnaissance vocale débloque les données disponibles dans les vidéos et les podcasts

Jusqu’à présent, les données fournies aux outils d’IA étaient en grande partie constituées de texte et, dans une moindre mesure, d’images. Cela va sans aucun doute changer, et c’est probablement déjà le cas, car les logiciels de reconnaissance vocale signifieront que l’abondance de vidéos et de podcasts disponibles pourra également entraîner l’intelligence artificielle.

Il convient de noter qu'OpenAI a développé Whisper , le réseau neuronal de reconnaissance vocale automatique (ASR) open source, à partir de 680 000 heures de données multilingues et multitâches. OpenAI a ensuite intégré plus d'un million d'heures d'informations issues de vidéos YouTube dans son vaste modèle de langage, GPT-4.

Il s’agit d’un modèle idéal pour d’autres systèmes d’IA, qui utilisent la reconnaissance vocale pour transcrire la vidéo et l’audio provenant de nombreuses sources et exécuter ces données via leurs propres modèles d’IA.

D'après Statista , plus de 500 heures de vidéo sont mises en ligne sur YouTube chaque minute, un chiffre relativement stable depuis 2019. Et ce, sans même parler d'autres plateformes vidéo et audio comme Dailymotion et Podbean. Si l'IA peut s'intéresser à de nouveaux ensembles de données de ce type, une mine d'informations reste à extraire.

4. L’IA s’est largement cantonnée à la langue anglaise

Ce n’est pas tout ce que nous pouvons apprendre de Whisper. OpenAI a entraîné le modèle à l'aide de 117000 XNUMX heures de données audio dans une langue autre que l'anglais. Ceci est particulièrement intéressant car de nombreux systèmes d’IA ont été formés principalement en utilisant la langue anglaise ou en considérant d’autres cultures à travers une lentille occidentale.

Essentiellement, la plupart des outils sont liés par la culture de leurs créateurs.

Prenons ChatGPT comme exemple. Peu après sa sortie en 2022, Jill Walker Rettberg , professeure de culture numérique à l'université de Bergen en Norvège, a expérimenté ChatGPT et est parvenue à la conclusion suivante :

« ChatGPT ne connaît pas grand-chose de la culture norvégienne. Ou plutôt, tout ce qu’il sait sur la culture norvégienne est supposé avoir été appris principalement de sources anglaises… ChatGPT est clairement compatible avec les valeurs et les lois américaines. Dans de nombreux cas, ces valeurs sont proches des valeurs norvégiennes et européennes, mais ce n'est pas toujours le cas.

Par conséquent, les systèmes d’IA pourraient se développer pour permettre à davantage de multinationales d’interagir avec eux, ou d’utiliser des langues et des cultures plus diverses pour former de tels systèmes. Actuellement, de nombreux modèles d’IA sont limités à une seule bibliothèque ; Il pourrait se développer si on lui donnait les clés des bibliothèques du monde entier.

5. Les maisons d’édition peuvent contribuer au développement de l’intelligence artificielle.

La propriété intellectuelle est évidemment un problème majeur, mais certains éditeurs peuvent contribuer au progrès de l’IA en concluant des accords de licence. Cela signifie fournir aux outils des données de haute qualité, c’est-à-dire fiables, provenant de livres plutôt que des informations de mauvaise qualité provenant de sources en ligne.

En effet, Meta, propriétaire de Facebook, Instagram et Whatsapp, aurait envisagé d'acheter Simon & Schuster, l'une des maisons d'édition des « Big Five ». L'idée était d'utiliser la littérature publiée par l'entreprise pour former l'IA de Meta. L’accord a finalement échoué, peut-être en raison de la zone grise éthique dans laquelle l’entreprise traite les IP sans le consentement préalable des auteurs.

Une autre option envisagée semble être l’achat de droits de licence individuels pour les nouveaux titres. Cela devrait susciter des inquiétudes importantes chez les créateurs, mais cela restera un moyen intéressant de développer des outils d’IA si nous manquons de données utilisables.

6. Les données synthétiques sont l’avenir

Toutes les autres solutions sont encore limitées, mais il existe une option qui pourrait permettre à l’IA de prospérer à l’avenir : les données synthétiques. La question est déjà étudiée comme une possibilité très réelle.

Alors, que sont les données synthétiques ? Ce sont des données générées par l’intelligence artificielle ; Tout comme les humains créent des données, cette méthode permettra à l’IA de créer des données à des fins de formation.

En fait, l’IA peut créer des vidéos deepfake convaincantes. Cette vidéo deepfake peut être renvoyée à l’IA afin qu’elle puisse apprendre de ce qui est essentiellement un scénario fictif. Après tout, c’est l’une des principales façons dont les humains apprennent : nous lisons ou regardons quelque chose pour comprendre le monde qui nous entoure.

Les systèmes d’IA ont probablement déjà consommé des informations artificielles. Les deepfakes ont diffusé des informations trompeuses et fausses en ligne. Ainsi, lorsque les systèmes d'IA analysent le contenu en ligne, il va de soi que certains peuvent avoir été exposés à du faux contenu.

Oui, il y a un côté sinistre à cela. Cela peut également endommager ou limiter les systèmes d’IA, renforçant et propageant les erreurs commises par ces outils. Les entreprises s’efforcent d’éliminer le problème ; Cependant, l’expression « les IA apprennent les unes des autres et font des erreurs » est un point central de l’intrigue de nombreux scénarios cauchemardesques de science-fiction.

7. Mieux utiliser l’intelligence artificielle

Les outils d'intelligence artificielle suscitent la controverse. Malgré leurs nombreux inconvénients, leurs avantages sont souvent négligés. Par exemple, le cabinet d'audit et de conseil PwC [PDF] indique que l'IA pourrait contribuer jusqu'à 15 700 milliards de dollars à l'économie mondiale d'ici 2030.

De plus, l’IA est déjà utilisée partout dans le monde. Vous l’avez probablement utilisé aujourd’hui sous une forme ou une autre, peut-être sans même vous en rendre compte. Maintenant que le génie est sorti de la bouteille, la clé est définitivement de le former sur des données fiables et de haute qualité afin que nous puissions l'exploiter correctement.

L'intelligence artificielle a ses avantages et ses inconvénients. Il y a certainement un équilibre à trouver.

Les outils d’IA sont confrontés à un défi croissant en raison du manque de données de formation disponibles, ce qui menace de compromettre leur progression et leur développement. Pour surmonter ce défi, des solutions innovantes sont adoptées, telles que l’utilisation de données synthétiques, l’exploitation de l’apprentissage non supervisé et la promotion de la collaboration entre les institutions pour partager les données. Ces solutions contribuent à fournir de nouvelles sources de données, garantissant que les modèles intelligents continuent d’être améliorés et développés de manière efficace et efficiente.