AIxDePIN: Que novas oportunidades surgirão da colisão dessas duas pistas quentes?

Ao aproveitar o poder dos algoritmos, do poder computacional e dos dados, o avanço da tecnologia de IA está redefinindo os limites do processamento de dados e da tomada de decisões inteligentes. Ao mesmo tempo, o DePIN representa uma mudança de paradigma de infraestrutura centralizada para redes descentralizadas baseadas em blockchain.

À medida que o mundo acelera o seu ritmo rumo à transformação digital, a IA e a DePIN (infraestrutura física descentralizada) tornaram-se tecnologias fundamentais que impulsionam a transformação em todos os setores. A fusão da IA e do DePIN não só promove a rápida iteração tecnológica e a aplicação generalizada, mas também abre um modelo de serviço mais seguro, transparente e eficiente, trazendo mudanças profundas à economia global.

DePIN: A descentralização passa da virtualidade para a realidade, o esteio da economia digital

DePIN é a abreviatura de Infraestrutura Física Descentralizada. Em sentido estrito, DePIN refere-se principalmente à rede distribuída de infraestrutura física tradicional suportada por tecnologia de contabilidade distribuída, como rede de energia, rede de comunicação, rede de posicionamento, etc. Em termos gerais, todas as redes distribuídas suportadas por dispositivos físicos podem ser chamadas de DePIN, como redes de armazenamento e redes de computação.

Fonte da imagem: Messari

Se a Crypto trouxe mudanças descentralizadas no nível financeiro, então o DePIN é uma solução descentralizada na economia real. Pode-se dizer que a máquina de mineração PoW é uma espécie de DePIN. Portanto, o DePIN tem sido um pilar central da Web3 desde o primeiro dia.

Os três elementos da IA – algoritmo, poder de computação e dados. DePIN possui exclusivamente dois

Considera-se geralmente que o desenvolvimento da inteligência artificial depende de três elementos principais: algoritmos, poder computacional e dados. Os algoritmos referem-se aos modelos matemáticos e à lógica do programa que impulsionam os sistemas de IA, o poder computacional refere-se aos recursos computacionais necessários para executar esses algoritmos e os dados são a base para treinar e otimizar os modelos de IA.

Qual dos três elementos é o mais importante? Antes do surgimento do chatGPT, as pessoas geralmente pensavam nele como um algoritmo, caso contrário, conferências acadêmicas e artigos de periódicos não seriam preenchidos com ajustes finos de algoritmos, um após o outro. Mas quando o chatGPT e o grande modelo de linguagem LLM que suporta a sua inteligência foram revelados, as pessoas começaram a perceber a importância dos dois últimos. O enorme poder de computação é o pré-requisito para o nascimento de modelos. A qualidade e a diversidade dos dados são cruciais para a construção de um sistema de IA robusto e eficiente. Em comparação, os requisitos para algoritmos não são mais tão exigentes como antes.

Na era dos grandes modelos, a IA passou do ajuste fino para a força bruta, com uma demanda crescente por poder computacional e dados. O DePIN é capaz de fornecer isso. Os incentivos simbólicos alavancarão o mercado de cauda longa, onde o enorme poder de computação e armazenamento para o consumidor se tornarão o melhor alimento para grandes modelos.

A descentralização da IA não é uma opção, mas uma necessidade

Claro, alguém pode perguntar: por que escolher o DePIN em vez de serviços centralizados quando tanto o poder computacional quanto os dados estão disponíveis nos data centers da AWS e, além disso, o AWS supera o DePIN em termos de estabilidade e experiência do usuário?

Esta afirmação tem naturalmente o seu raciocínio. Afinal, olhando para a situação actual, quase todos os grandes modelos são desenvolvidos directa ou indirectamente por grandes empresas de Internet. Atrás do chatGPT está a Microsoft e atrás do Gemini está o Google. Na China, quase todas as grandes empresas de Internet possuem um modelo grande. Por que é que? Isto acontece porque apenas as grandes empresas de Internet têm o poder computacional suportado por dados de alta qualidade e fortes recursos financeiros. Mas isso não é correto. As pessoas não querem mais ser manipuladas pelos gigantes da internet.

Por um lado, a IA centralizada acarreta riscos de privacidade e segurança dos dados e pode estar sujeita a censura e controlo. Por outro lado, a IA produzida pelos gigantes da Internet reforçará ainda mais a dependência das pessoas, conduzirá à concentração do mercado e aumentará as barreiras à inovação.

de: https://www.gensyn.ai/

A humanidade não deveria mais precisar de um Martinho Lutero na era da IA. As pessoas deveriam ter o direito de falar diretamente com Deus.

DePIN de uma perspectiva empresarial: redução de custos e aumento de eficiência são fundamentais

Mesmo deixando de lado o debate entre valores de descentralização e centralização, do ponto de vista empresarial, ainda existem vantagens em usar DePIN para IA.

Em primeiro lugar, é importante reconhecer que, embora os gigantes da Internet controlem um grande número de recursos de placas gráficas de alta qualidade, a combinação de placas gráficas de consumo nas mãos de indivíduos ainda pode formar uma rede de poder computacional significativo, conhecida como cauda longa. efeito do poder de computação. Essas placas gráficas de consumo geralmente apresentam altas taxas de inatividade. Desde que os incentivos fornecidos pelo DePIN excedam o custo da eletricidade, os utilizadores têm a motivação para contribuir com o seu poder computacional para a rede. Além disso, com os próprios usuários gerenciando a infraestrutura física, a rede DePIN não suporta os custos operacionais que os fornecedores centralizados não podem evitar e pode se concentrar apenas no design do protocolo.

Para dados, a rede DePIN pode desbloquear a usabilidade potencial dos dados e reduzir os custos de transmissão através da computação de ponta e outros métodos. Além disso, a maioria das redes de armazenamento distribuído possui recursos de desduplicação automática, reduzindo a necessidade de limpeza extensiva de dados no treinamento de IA.

Por último, a economia criptográfica trazida pelo DePIN aumenta a tolerância a falhas do sistema e tem o potencial de alcançar uma situação ganha-ganha para fornecedores, consumidores e plataformas.

Imagem de: UCLA

Caso você não acredite, a pesquisa mais recente da UCLA mostra que o uso da computação descentralizada atinge um desempenho 2,75 vezes melhor do que os clusters de GPU tradicionais pelo mesmo custo. Especificamente, é 1,22 vezes mais rápido e 4,83 vezes mais barato.

Caminho difícil pela frente: quais desafios o AIxDePIN encontrará?

Escolhemos ir à Lua e fazer outras coisas nesta década, não porque sejam fáceis, mas porque são difíceis. -John Fitzgerald Kennedy

Usar o armazenamento distribuído e a computação distribuída do DePIN para construir modelos de IA sem confiança ainda apresenta muitos desafios.

Verificação de Trabalho

Essencialmente, tanto a computação do modelo de aprendizagem profunda quanto a mineração PoW são formas de computação geral, com as mudanças de sinal subjacentes entre os circuitos de porta. Em um nível macro, a mineração PoW é “computação inútil”, tentando encontrar um valor hash com um prefixo de n zeros por meio de incontáveis gerações de números aleatórios e cálculos de funções hash. Por outro lado, a computação de aprendizagem profunda é “computação útil”, calculando os valores dos parâmetros de cada camada na aprendizagem profunda através da propagação para frente e para trás, construindo assim um modelo de IA eficiente.

O fato é que “cálculos inúteis”, como a mineração PoW, usam funções hash. É fácil calcular a imagem a partir da imagem original, mas é difícil calcular a imagem original a partir da imagem, para que qualquer pessoa possa verificar de forma fácil e rápida a validade do cálculo; Para o cálculo do modelo de aprendizagem profunda, devido à estrutura hierárquica, a saída de cada camada é utilizada como entrada da próxima camada. Portanto, a verificação da validade do cálculo exige a realização de todo o trabalho anterior, e não pode ser verificada de forma simples e eficaz.

Imagem de: AWS

A verificação do trabalho é muito crítica, caso contrário o fornecedor do cálculo não poderia realizar o cálculo e enviar um resultado gerado aleatoriamente.

Uma ideia é fazer com que servidores diferentes executem as mesmas tarefas computacionais e verificar a eficácia do trabalho repetindo a execução e verificando se é igual. No entanto, a grande maioria dos cálculos do modelo não são determinísticos e os mesmos resultados não podem ser reproduzidos mesmo no mesmo ambiente de computação, e só podem ser semelhantes no sentido estatístico. Além disso, a dupla contagem levará a um rápido aumento dos custos, o que é inconsistente com o objetivo principal do DePIN de reduzir custos e aumentar a eficiência.

Outra categoria de ideias é o mecanismo Otimista, que assume de forma otimista que o resultado foi calculado corretamente e permite que qualquer pessoa verifique o resultado do cálculo. Se algum erro for encontrado, uma Prova de Fraude poderá ser enviada. O protocolo penaliza o fraudador e recompensa o denunciante.

Paralelização

Como mencionado anteriormente, o DePIN aproveita principalmente o mercado de potência computacional de consumo de cauda longa, o que significa que a potência computacional fornecida por um único dispositivo é relativamente limitada. Para grandes modelos de IA, o treinamento em um único dispositivo levará muito tempo e a paralelização deve ser usada para reduzir o tempo de treinamento.

A principal dificuldade em paralelizar o treinamento de aprendizagem profunda reside na dependência entre tarefas anteriores e subsequentes, o que torna a paralelização difícil de ser alcançada.

Atualmente, a paralelização do treinamento de aprendizagem profunda é dividida principalmente em paralelismo de dados e paralelismo de modelo.

O paralelismo de dados refere-se à distribuição de dados em várias máquinas. Cada máquina salva todos os parâmetros de um modelo, utiliza dados locais para treinamento e, por fim, agrega os parâmetros de cada máquina. O paralelismo de dados funciona bem quando a quantidade de dados é grande, mas requer comunicação síncrona para agregar parâmetros.

O paralelismo do modelo significa que quando o tamanho do modelo é muito grande para caber em uma única máquina, o modelo pode ser dividido em várias máquinas e cada máquina salva uma parte dos parâmetros do modelo. As propagações direta e reversa requerem comunicação entre diferentes máquinas. O paralelismo do modelo tem vantagens quando o modelo é grande, mas a sobrecarga de comunicação durante a propagação direta e reversa é grande.

As informações de gradiente entre diferentes camadas podem ser divididas em atualização síncrona e atualização assíncrona. A atualização síncrona é simples e direta, mas aumentará o tempo de espera; o algoritmo de atualização assíncrona tem um curto tempo de espera, mas apresentará problemas de estabilidade.

Imagem de: Universidade de Stanford, Aprendizado Profundo Paralelo e Distribuído

Privacidade

A tendência global de protecção da privacidade pessoal está a aumentar e os governos de todo o mundo estão a reforçar a protecção da segurança da privacidade dos dados pessoais. Embora a IA faça uso extensivo de conjuntos de dados públicos, o que realmente diferencia os diferentes modelos de IA são os dados proprietários do usuário de cada empresa.

Como obter os benefícios dos dados proprietários durante o treinamento sem expor a privacidade? Como garantir que os parâmetros do modelo de IA construído não vazem?

Esses são dois aspectos da privacidade: privacidade de dados e privacidade de modelo. A privacidade dos dados protege os usuários, enquanto a privacidade do modelo protege a organização que constrói o modelo. No cenário atual, a privacidade dos dados é muito mais importante do que a privacidade do modelo.

Uma variedade de soluções estão sendo tentadas para resolver a questão da privacidade. O aprendizado federado garante a privacidade dos dados treinando na origem dos dados, mantendo os dados localmente e transmitindo parâmetros do modelo; e a prova de conhecimento zero pode se tornar uma estrela em ascensão.

Análise de Caso: Quais são os projetos de alta qualidade do mercado?

Gensyn

Gensyn é uma rede de computação distribuída projetada para treinar modelos de IA. A rede utiliza um blockchain de camada um baseado em Polkadot para verificar a execução adequada de tarefas de aprendizado profundo e acionar pagamentos por meio de comandos. Fundada em 2020, divulgou uma rodada de financiamento da Série A de US$ 43 milhões em junho de 2023, com a16z liderando o investimento.

Gensyn usa os metadados do processo de otimização baseado em gradiente para construir certificados do trabalho executado, executados de forma consistente por um protocolo de precisão multigranular baseado em gráfico e avaliador cruzado para permitir que trabalhos de validação sejam executados novamente e comparados quanto à consistência, e, finalmente, pela cadeia. Confirme você mesmo para garantir a validade do cálculo. Para fortalecer ainda mais a confiabilidade da verificação do trabalho, Gensyn introduz o staking para criar incentivos.

Existem quatro tipos de participantes no sistema: remetentes, solucionadores, verificadores e denunciantes.

• Os remetentes são usuários finais do sistema que fornecem tarefas a serem computadas e são pagos por unidades de trabalho concluídas.
• O solucionador é o principal trabalhador do sistema, realizando o treinamento do modelo e gerando provas para inspeção do verificador.
• O validador é fundamental para vincular o processo de treinamento não determinístico à computação linear determinística, replicando provas parciais do solucionador e comparando distâncias com limites esperados.
• O denunciante é a última linha de defesa, verificando o trabalho do verificador e levantando desafios, e recebendo recompensas após passar no desafio.

O solucionador precisa fazer uma promessa e o denunciante testa o trabalho do solucionador. Se ele descobrir alguma maldade, ele irá desafiá-la. Após a aprovação do desafio, os tokens apostados pelo solucionador serão multados e o denunciante será recompensado.

De acordo com as previsões da Gensyn, espera-se que esta solução reduza os custos de formação para 1/5 dos custos dos fornecedores centralizados.

Fonte: Gensyn

FedML

FedML é uma plataforma descentralizada de aprendizado de máquina colaborativo para IA descentralizada e colaborativa, em qualquer lugar e em qualquer escala. Mais especificamente, o FedML fornece um ecossistema MLOps que treina, implanta, monitora e melhora continuamente os modelos de aprendizado de máquina, ao mesmo tempo que colabora em dados, modelos e recursos de computação combinados de maneira que preserva a privacidade. Fundada em 2022, a FedML divulgou uma rodada inicial de US$ 6 milhões em março de 2023.

FedML consiste em dois componentes principais: FedML-API e FedML-core, que representam API de alto nível e API de baixo nível, respectivamente.

O FedML-core inclui dois módulos independentes: comunicação distribuída e treinamento de modelo. O módulo de comunicação é responsável pela comunicação subjacente entre os diferentes trabalhadores/clientes e é baseado em MPI; o módulo de treinamento do modelo é baseado em PyTorch.

FedML-API é construído no núcleo FedML. Com o FedML-core, novos algoritmos distribuídos podem ser facilmente implementados através da adoção de interfaces de programação orientadas ao cliente.

O trabalho mais recente da equipe FedML demonstra que usar o FedML Nexus AI para inferência de modelo de IA na GPU RTX 4090 de nível consumidor é 20 vezes mais barato e 1,88 vezes mais rápido do que usar A100.

de: FedML

Perspectivas Futuras: DePIN traz a democratização da IA

Um dia, a IA evoluirá para AGI e o poder da computação se tornará a moeda universal de fato. O DePIN fará com que esse processo aconteça com antecedência.

A intersecção e colaboração entre IA e DePIN abriu um novo ponto de crescimento tecnológico, proporcionando enormes oportunidades para o desenvolvimento da inteligência artificial. O DePIN fornece à IA enorme poder de computação e dados distribuídos, o que ajuda a treinar modelos em maior escala e obter inteligência mais forte. Ao mesmo tempo, o DePIN também permite que a IA se desenvolva numa direcção mais aberta, segura e fiável, reduzindo a dependência de uma única infra-estrutura centralizada.

Olhando para o futuro, a IA e o DePIN continuarão a desenvolver-se em sinergia. As redes distribuídas fornecerão uma base sólida para o treinamento de modelos supergrandes, que desempenharão um papel importante nas aplicações DePIN. Ao mesmo tempo que protege a privacidade e a segurança, a IA também contribuirá para a otimização dos protocolos e algoritmos de rede DePIN. Esperamos que a IA e o DePIN tragam um mundo digital mais eficiente, justo e confiável.

Isenção de responsabilidade:

1. Este artigo foi reimpresso de []. Todos os direitos autorais pertencem ao autor original [**]. Se houver objeções a esta reimpressão, entre em contato com a equipe do Gate Learn e eles cuidarão disso imediatamente.
2. Isenção de responsabilidade: Th
   As opiniões e opiniões expressas neste artigo são de responsabilidade exclusiva do autor e não constituem qualquer conselho de investimento.
3. As traduções do artigo para outros idiomas são feitas pela equipe do Gate Learn. A menos que mencionado, é proibido copiar, distribuir ou plagiar os artigos traduzidos.