La cryptographie est une illusion d'IA

• Émergence : Phénomène par lequel de nombreuses petites entités interagissent pour produire un ensemble plus vaste, présentant de nouvelles caractéristiques que ne possèdent pas les composants individuels, comme l'émergence observée dans des systèmes biologiques étudiés en chimie.
• Hallucination : La tendance des modèles à produire des données trompeuses, les modèles d'IA générant des résultats qui semblent corrects mais qui sont en fait erronés.

Le lien entre l'IA et Crypto présente de nettes ondulations. Depuis qu'AlphaGo a battu des joueurs de Go professionnels en 2016, des tentatives visant à combiner les deux, comme l'émergence spontanée de projets tels que Fetch.AI, ont été observées dans le monde de la cryptographie. Avec l'arrivée du GPT-4 en 2023, la tendance de l'IA et de la cryptographie s'est rétablie, comme en témoigne l'émission de WorldCoin. L'humanité semble sur le point d'entrer dans une ère utopique où l'IA est responsable de la productivité et Crypto s'occupe de la distribution.

Ce sentiment a atteint son paroxysme après qu'OpenAI a lancé l'application Sora pour la synthèse texte-vidéo. Cependant, les émotions comportent souvent des éléments irrationnels. Li Yizhou, par exemple, semble faire partie du segment des incompris, comme en témoignent :

• L'association d'applications d'IA spécifiques au développement d'algorithmes. Bien que Sora et les principes sous-jacents de Transformer à GPT-4 soient open source, leur utilisation nécessite un paiement auprès d'OpenAI.
• La combinaison de l'IA et de la cryptographie signifie actuellement que Crypto prend l'initiative d'aborder l'IA, les principaux géants de l'IA n'ayant pas encore fait preuve de volonté claire. À ce stade, ce que l'IA peut faire pour Crypto l'emporte sur ce que Crypto peut faire pour l'IA.
• L'utilisation de la technologie IA dans les applications cryptographiques n'équivaut pas à l'intégration de l'IA et de la cryptographie, comme en témoignent des applications telles que les jeux sur blockchain, GameFi, les projets de métavers, les jeux Web3 et les personnages numériques de l'univers AW.
• Les contributions que Crypto peut apporter au développement des technologies de l'IA concernent principalement la décentralisation et des incitations symboliques dans les trois composantes de l'IA : puissance de calcul, données et modèles.
• WorldCoin constitue une intégration réussie des deux, avec zKML positionné à l'intersection des technologies de l'IA et de la cryptographie, et la théorie de l'UBI (revenu de base universel) étant actuellement mise en œuvre pour la première fois à grande échelle.

Dans cet article, l'accent sera mis sur les avantages que Crypto peut apporter à l'IA, car les projets Crypto actuels qui mettent l'accent sur les applications d'IA sont généralement considérés comme des gadgets marketing et ne sont pas propices à notre discussion.

De la régression linéaire au transformateur

Pendant longtemps, le point central des discussions sur l'IA était de savoir si « l'émergence » de l'intelligence artificielle conduirait à la création d'êtres sensibles ressemblant à ceux de « The Matrix » ou à une civilisation basée sur le silicium. Les inquiétudes concernant l'interaction entre les humains et les technologies d'IA persistent, comme en témoignent récemment l'avènement de Sora et des exemples antérieurs tels que GPT-4 (2023), AlphaGo (2016) et Deep Blue d'IBM qui a battu un champion du monde d'échecs en 1997.

Bien que ces inquiétudes ne se soient pas concrétisées, détendons-nous et décrivons brièvement le mécanisme qui sous-tend l'IA.

En partant d'une régression linéaire, essentiellement d'une simple équation linéaire, telle que le mécanisme de perte de poids de Jia Ling, un célèbre acteur chinois, nous pouvons faire la généralisation suivante. Ici, x et y représentent le lien entre l'apport calorique et le poids, ce qui indique que manger plus naturellement entraîne une prise de poids, et que si vous voulez perdre du poids, vous devriez manger moins.

Cependant, cette approche pose certains problèmes. Tout d'abord, la taille et le poids humains ont des limites physiologiques, et il est peu probable de rencontrer des géants de 3 mètres ou des femmes de 1 000 kilogrammes. Par conséquent, envisager des situations au-delà de ces limites n'a aucune signification pratique. Ensuite, le simple fait de manger moins et de faire plus d'exercice ne correspond pas aux principes scientifiques de la perte de poids et peut, dans les cas graves, nuire à l'organisme.

Nous introduisons l'indice de masse corporelle (IMC), qui mesure la relation entre le poids et la taille en divisant le poids par le carré de la taille. En utilisant trois facteurs (manger, dormir et faire de l'exercice) pour évaluer la relation entre la taille et le poids, nous avons maintenant besoin de trois paramètres et de deux résultats. La régression linéaire est évidemment insuffisante, car elle donne naissance à des réseaux de neurones. Comme leur nom l'indique, les réseaux neuronaux imitent la structure du cerveau humain, mais il est possible que plus de réflexion mène à plus de rationalité. L'augmentation de la fréquence et de la profondeur de la réflexion, connue sous le nom d'apprentissage profond (je fais une analogie un peu vague ici), permet de réfléchir de manière plus approfondie avant de passer à l'action.

Bref aperçu de l'historique du développement des algorithmes d'IA

Cependant, l'augmentation du nombre de couches n'est pas illimitée ; il y a toujours un plafond. Une fois qu'un seuil critique est atteint, l'efficacité peut diminuer. Il devient donc essentiel de comprendre la relation entre les informations existantes de manière plus raisonnable. Par exemple, une compréhension approfondie de la relation plus nuancée entre la taille et le poids, la découverte de facteurs jusque-là inaperçus, ou Jia Ling a trouvé un entraîneur de haut niveau mais hésite à exprimer directement son désir de perdre du poids.

Dans de tels scénarios, Jia Ling et l'entraîneur s'affrontent en encodant et en décodant, en transmettant des significations qui reflètent les véritables intentions des deux parties. Cependant, contrairement à la simple déclaration « Je veux perdre du poids, voici un cadeau pour le coach », les véritables intentions des deux parties se cachent derrière le « sens ».

Nous remarquons un fait : si le nombre d'itérations entre les deux parties est suffisant, le sens de chaque communication sera plus facile à déchiffrer.

Si nous étendons ce modèle, il représente ce que l'on appelle communément un modèle de langage large (LLM), qui examine les relations contextuelles entre les mots et les phrases. Actuellement, les grands modèles ont été développés pour intégrer des scénarios tels que des images et des vidéos.

Dans le spectre de l'IA, qu'il s'agisse d'une simple régression linéaire ou d'un transformateur extrêmement complexe, ce sont tous des algorithmes ou des modèles. À cela s'ajoutent deux facteurs essentiels : la puissance informatique et les données.

Description : Bref historique du développement de l'IA, Source : https://ourworldindata.org/brief-history-of-ai

En termes simples, l'IA est une machine qui traite les données, effectue des calculs et produit des résultats. Cependant, par rapport aux entités physiques telles que les robots, l'IA est plus virtuelle. En termes de puissance informatique, de données et de modèles, le processus opérationnel actuel de commercialisation du Web2 est le suivant :

• Les données sont divisées en données publiques, données appartenant à l'entreprise et données commerciales, ce qui nécessite une annotation et un prétraitement professionnels. Par exemple, Scale AI assure le prétraitement des données pour les principales entreprises d'IA.
• La puissance informatique est divisée en deux modes : construction autonome et location de cloud computing. Actuellement, NVIDIA domine le matériel graphique, et la bibliothèque CUDA est prête depuis de nombreuses années. L'écosystème matériel et logiciel est dominé par une seule entreprise. La deuxième option est la location de puissance informatique par des fournisseurs de services cloud, tels que Azure de Microsoft, Google Cloud et AWS, qui fournissent des services informatiques et de déploiement de modèles à guichet unique.
• Les modèles peuvent être classés en frameworks et en algorithmes. La bataille des modèles est déjà terminée : TensorFlow de Google est sorti le premier en subissant le premier revers, et PyTorch de Meta est arrivé plus tard mais en tête. Cependant, qu'il s'agisse de Google, qui a introduit le Transformer, ou de Meta, avec PyTorch, les deux prennent progressivement du retard sur OpenAI en termes de commercialisation. Leur force reste néanmoins formidable ; les algorithmes sont actuellement dominés par Transformer, et les différents grands modèles se font concurrence principalement en termes de sources de données et de détails.

Processus de travail de l'IA

Comme indiqué précédemment, les applications d'IA concernent un large éventail de domaines, tels que la correction de code mentionnée par Vitalik, qui a déjà été mise en œuvre. D'un point de vue différent, la contribution de Crypto à l'IA se concentre principalement sur des domaines non techniques, tels que les marchés de données décentralisés, les plateformes de puissance informatique décentralisées, etc. Des expériences ont été menées avec des modèles linguistiques étendus (LLM) décentralisés. Cependant, il est crucial de noter que l'analyse du code Crypto à l'aide de l'IA et l'exécution de modèles d'IA à grande échelle sur la blockchain sont fondamentalement différentes. L'intégration de certains éléments cryptographiques dans les modèles d'IA ne peut pas être considérée comme une intégration parfaite.

À l'heure actuelle, Crypto excelle en termes de production et d'incitations. Il n'est pas nécessaire de changer radicalement le paradigme de production de l'IA avec Crypto. Le choix rationnel est d'intégrer la cryptographie dans les flux de travail de l'IA et de renforcer l'IA grâce à la cryptographie. Voici quelques intégrations potentielles que j'ai résumées :

1. La production de données décentralisée, comme la collecte de données par DePin, et l'ouverture des données en chaîne contenant de riches données sur les transactions à des fins d'analyse financière, d'analyse de sécurité et de formation en matière de données.
2. Des plateformes de prétraitement décentralisées, où la formation préalable traditionnelle ne pose pas d'obstacles techniques insurmontables. Derrière les grands modèles en Europe et aux États-Unis se cache le travail intense des annotateurs manuels du tiers monde.
3. Des plateformes de puissance informatique décentralisées, avec des incitations décentralisées et une utilisation de la bande passante personnelle, de la puissance de calcul du GPU et d'autres ressources matérielles.
4. zKML, car les méthodes traditionnelles de confidentialité, telles que la désensibilisation des données, ne résoudront peut-être pas parfaitement le problème. zKML peut masquer la directionnalité des données et évaluer efficacement l'authenticité et l'efficacité des modèles open source et fermé.

Ces quatre aspects sont des scénarios potentiels selon lesquels je pense que Crypto peut renforcer l'IA. L'IA est un outil polyvalent, et les domaines et projets liés à l'IA pour Crypto ne sont pas abordés plus en détail ici ; vous pouvez les explorer vous-même.

On peut observer que la cryptographie joue actuellement un rôle principalement dans le cryptage, la protection de la vie privée et la conception économique. La seule tentative d'intégration technique est zKML. Réfléchissons un peu : si, à l'avenir, Solana TPS peut vraiment atteindre plus de 100 000 personnes, et si la combinaison de Filecoin et Solana est parfaite, pourrions-nous créer un environnement LLM en chaîne ? Cela pourrait créer une véritable IA en chaîne, modifiant ainsi la relation inégale actuelle entre Crypto et IA.

Intégration du Web3 dans les flux de travail de l'IA

Comme chacun le sait, la carte graphique NVIDIA RTX 4090 est un produit précieux qui est actuellement difficile à obtenir dans certains pays d'Asie de l'Est. Ce qui est encore plus grave, c'est que des particuliers, des petites entreprises et des établissements universitaires ont également été confrontés à une crise des cartes graphiques. Après tout, ce sont les grandes entreprises commerciales qui dépensent le plus. Si une troisième voie pouvait être ouverte en dehors des achats personnels et des fournisseurs de cloud, elle aurait clairement une valeur commerciale pratique, en rupture avec les objectifs purement spéculatifs. L'approche logique du Web3 pour l'IA devrait être la suivante : « Si le Web3 n'est pas utilisé, le projet ne peut pas être soutenu ».

Le
flux de travail de l'IA vu du point de vue du Web3

Source des données : écosystème automobile Grass et DePin

Grass, introduit par Wynd Network, est une place de marché qui vend de la bande passante inactive. Grass est un réseau ouvert pour l'acquisition et la distribution de données, se démarquant ainsi de la simple collecte de données et des ventes. Grass propose des fonctions permettant de nettoyer et de valider les données afin de naviguer dans un environnement réseau de plus en plus fermé. En outre, Grass vise à interagir directement avec les modèles d'IA, en leur fournissant des ensembles de données facilement utilisables. Les ensembles de données d'IA nécessitent un traitement professionnel, y compris des ajustements manuels approfondis pour répondre aux besoins spécifiques des modèles d'IA.

Sur ce point, Grass aborde la question des ventes de données, tandis que le secteur DePin de Web3 peut produire les données requises par l'IA. Ce secteur se concentre principalement sur la conduite automatique des véhicules. Traditionnellement, la conduite autonome obligeait les entreprises à accumuler les données correspondantes. Cependant, des projets tels que DIMO et Hivemapper concernent directement les véhicules et collectent de plus en plus d'informations et de données routières.

Dans les scénarios de conduite autonome précédents, la technologie de reconnaissance des véhicules et les cartes de haute précision étaient essentielles. Des informations telles que des cartes de haute précision ont été accumulées par des sociétés telles que NavInfo, créant ainsi des obstacles industriels. Si les nouveaux venus exploitent les données du Web3, ils auront peut-être l'occasion de dépasser leurs concurrents au fur et à mesure.

Prétraitement des données : libérer les humains réduits en esclavage par l'IA

L'intelligence artificielle peut être divisée en deux parties : les annotations manuelles et les algorithmes intelligents. Dans les régions du tiers monde comme le Kenya et les Philippines, où la courbe de valeur pour les annotations manuelles est la plus faible, les personnes sont chargées de cette tâche. Pendant ce temps, les sociétés de prétraitement de l'IA en Europe et aux États-Unis se taillent la part du lion des revenus et les vendent ensuite à des entreprises de recherche et développement en matière d'IA.

Avec les progrès de l'IA, de plus en plus d'entreprises se tournent vers cette activité. Face à la concurrence, le prix unitaire pour l'annotation des données continue de baisser. Cette activité implique principalement l'étiquetage des données, comme la reconnaissance des captchas, sans seuil technique, et même des prix très bas, comme 0,01 RMB.

Source : https://aim.baidu.com/product/0793f1f1-f1cb-4f9f-b3a7-ef31335bd7f0

Dans ce scénario, les plateformes d'annotation de données Web3 telles que Public AI ont un marché commercial pratique. Ils mettent en relation les entreprises d'IA avec des personnes chargées de l'annotation des données, remplaçant ainsi un simple modèle de concurrence à bas prix par un système d'incitation. Cependant, il est essentiel de noter que des entreprises matures comme Scale AI garantissent une qualité fiable en matière de technologie d'annotation. Pour les plateformes d'annotation de données décentralisées, le contrôle de la qualité et la prévention des abus sont des exigences absolues. Il s'agit essentiellement d'un service d'entreprise C2B2B, où l'échelle et la quantité des données ne peuvent à elles seules convaincre les entreprises.

Hardware Freedom : Render Network et Bittensor

Il convient de préciser que, contrairement aux plateformes de minage de bitcoins, il n'existe actuellement aucun matériel d'IA Web3 dédié. La puissance informatique et les plateformes existantes sont transformées à partir de matériel mature auquel ont été ajoutées des couches d'incitation cryptographiques, relevant essentiellement du secteur DePin. Cependant, comme il diffère des projets de sources de données, il est inclus dans le flux de travail de l'IA ici.

Pour la définition de DePin, reportez-vous à l'article que j'ai écrit tout à l'heure : DePin before Helium : Exploring Bitcoin,Arweave and STEPN

Render Network est un projet établi de longue date qui n'a pas été initialement conçu pour l'IA. Elle a débuté ses activités en 2017, en se concentrant sur le rendu, comme son nom l'indique. À cette époque, les GPU n'étaient pas très demandés, mais des opportunités de marché se sont progressivement présentées. Le marché des GPU, en particulier les GPU haut de gamme monopolisés par NVIDIA, a entravé l'entrée des utilisateurs du rendu, de l'IA et du métaverse en raison de prix exorbitants. Si un canal pouvait être créé entre l'offre et la demande, un modèle économique similaire au partage de vélos aurait peut-être une chance d'être mis en place.

De plus, les ressources du GPU ne nécessitent pas de transfert de matériel ; elles peuvent être allouées à l'aide de ressources logicielles. Il convient de mentionner que Render Network est passé à l'écosystème Solana en 2023, abandonnant Polygon. Le déménagement à Solana, avant même sa résurgence, s'est révélé être une bonne décision au fil du temps. Pour l'utilisation et la distribution du GPU, un réseau haut débit est une exigence cruciale.

Si Render Network peut être considéré comme un projet bien établi, Bittensor est en train de prendre de l'ampleur.

BitTensor est basé sur Polkadot, dans le but de former des modèles d'IA grâce à des incitations économiques. Les nœuds s'affrontent pour entraîner des modèles d'IA avec un minimum d'erreur ou un maximum d'efficacité, comme les processus classiques en chaîne dans les projets Crypto. Cependant, le processus d'entraînement proprement dit nécessite toujours des GPU NVIDIA et des plateformes traditionnelles, ce qui le rend similaire à celui des plateformes de compétition comme Kaggle.

ZkML et UBI : le double aspect de Worldcoin

L'apprentissage automatique à connaissance zéro (zKML) introduit la technologie zk dans le processus de formation des modèles d'IA afin de résoudre des problèmes tels que les fuites de données, les failles de confidentialité et la vérification des modèles. Les deux premiers sont faciles à comprendre : les données cryptées au format ZK peuvent toujours être traitées sans divulguer d'informations personnelles ou privées.

La vérification des modèles fait référence à l'évaluation de modèles à source fermée. Grâce à la technologie zk, une valeur cible peut être définie, ce qui permet aux modèles à source fermée de prouver leurs capacités en vérifiant les résultats sans divulguer le processus de calcul.

Worldcoin a non seulement imaginé zKML très tôt, mais plaide également en faveur du revenu de base universel (UBI). Selon sa vision, la productivité future de l'IA dépassera de loin les limites de la demande humaine. Le véritable défi est de répartir équitablement les avantages de l'IA, et le concept UBI doit être partagé dans le monde entier via le jeton $WLD, qui nécessite la reconnaissance biométrique d'une personne réelle pour respecter les principes d'équité.

Bien entendu, zKML et UBI n'en sont qu'à leurs débuts expérimentaux, mais ce sont des développements intrigants que je continuerai à suivre de près.

Conclusion

Le développement de l'IA, représenté par les modèles LLM (Transformer and Large Language Models), se heurte progressivement à des obstacles, comme c'est le cas pour la régression linéaire et les réseaux de neurones. Il n'est pas possible d'augmenter indéfiniment les paramètres du modèle ou le volume de données, car les rendements marginaux diminueront.

L'IA est peut-être la première à émerger avec sagesse, mais le problème des hallucinations est grave actuellement. On peut remarquer que croire que la cryptographie peut changer l'IA est une forme de confiance et une hallucination classique. Bien que l'ajout de Crypto ne résoudra pas techniquement les problèmes d'hallucinations, il peut au moins modifier certains aspects du point de vue de l'équité et de la transparence.

Références :

1. OpenAI : « Rapport technique GPT-4 », 2023 ; arXiv:2303.08774.
2. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin : « L'attention, c'est tout ce dont vous avez besoin », 2017 ; arXiv:1706.03762.
3. Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei : « Des lois d'échelle pour les modèles de langage neuronal », 2020 ; arXiv:2001.08361.
4. Hao Liu, Wilson Yan, Matei Zaharia, Pieter Abbeel : « Un modèle mondial de millions de vidéos et de langues avec RingAttention », 2024 ; arXiv:2402.08268.
5. Max Roser (2022) - « La brève histoire de l'intelligence artificielle : le monde a évolué rapidement. Quelle est la prochaine étape ? » Publié en ligne sur OurWorldInData.org. Extrait de : «https://ourworldindata.org/brief-history-of-ai» [Ressource en ligne]
6. Une introduction à l'apprentissage automatique à connaissance zéro (ZKML)
7. Comprendre l'intersection entre la cryptographie et l'IA
8. Grass est la couche de données de l'IA
9. Bittensor : un marché du renseignement entre pairs

Avertissement：

1. Cet article est reproduit depuis [].Tous les droits d'auteur appartiennent à l'auteur original []. En cas d'objection à cette réimpression, contactez l'équipe de Gate Learn, elle s'en occupera rapidement.
2. Avertissement en matière de responsabilité : Les points de vue et opinions exprimés dans cet article sont uniquement ceux de l'auteur et ne constituent en aucun cas un conseil d'investissement.
3. Les traductions de l'article dans d'autres langues sont effectuées par l'équipe de Gate Learn. Sauf mention contraire, il est interdit de copier, de distribuer ou de plagier les articles traduits.