AIxDePIN: Peluang baru apa yang akan muncul dari tabrakan dua jalur panas ini?

Dengan memanfaatkan kekuatan algoritme, daya komputasi, dan data, kemajuan teknologi AI mendefinisikan ulang batas-batas pemrosesan data dan pengambilan keputusan yang cerdas. Pada saat yang sama, DePIN mewakili perubahan paradigma dari infrastruktur terpusat ke jaringan berbasis blockchain yang terdesentralisasi.

Seiring dengan percepatan dunia menuju transformasi digital, AI dan DePIN (infrastruktur fisik terdesentralisasi) telah menjadi teknologi dasar yang mendorong transformasi di seluruh industri. Penggabungan AI dan DePIN tidak hanya mendorong iterasi teknologi yang cepat dan penerapannya secara luas, namun juga membuka model layanan yang lebih aman, transparan, dan efisien, sehingga membawa perubahan besar pada perekonomian global.

DePIN: Desentralisasi Bergerak Dari Virtualitas ke Realitas, Andalan Ekonomi Digital

DePIN adalah singkatan dari Infrastruktur Fisik Terdesentralisasi. Dalam arti sempit, DePIN terutama mengacu pada jaringan terdistribusi infrastruktur fisik tradisional yang didukung oleh teknologi buku besar terdistribusi, seperti jaringan listrik, jaringan komunikasi, jaringan pemosisian, dll. Secara umum, semua jaringan terdistribusi yang didukung oleh perangkat fisik dapat disebut DePIN, seperti jaringan penyimpanan dan jaringan komputasi.

Sumber gambar: Messari

Jika Crypto telah membawa perubahan terdesentralisasi pada tingkat keuangan, maka DePIN adalah solusi terdesentralisasi dalam perekonomian riil. Dapat dikatakan bahwa mesin penambangan PoW adalah sejenis DePIN. Jadi, DePIN telah menjadi pilar inti Web3 sejak hari pertama.

Tiga Elemen AI— Algoritma, Kekuatan Komputasi, dan Data. DePIN Secara Eksklusif Memiliki Dua

Perkembangan kecerdasan buatan umumnya dianggap mengandalkan tiga elemen kunci: algoritma, daya komputasi, dan data. Algoritma mengacu pada model matematika dan logika program yang menggerakkan sistem AI, daya komputasi mengacu pada sumber daya komputasi yang diperlukan untuk menjalankan algoritma ini, dan data adalah dasar untuk pelatihan dan pengoptimalan model AI.

Manakah dari ketiga elemen tersebut yang paling penting? Sebelum munculnya chatGPT, orang biasanya menganggapnya sebagai sebuah algoritma, jika tidak, konferensi akademis dan makalah jurnal tidak akan diisi dengan penyempurnaan algoritma satu demi satu. Namun ketika chatGPT dan model bahasa besar LLM yang mendukung kecerdasannya diluncurkan, orang-orang mulai menyadari pentingnya dua hal terakhir. Kekuatan komputasi yang besar merupakan prasyarat lahirnya model. Kualitas dan keragaman data sangat penting untuk membangun sistem AI yang kuat dan efisien. Sebagai perbandingan, persyaratan algoritma tidak lagi menuntut seperti sebelumnya.

Di era model besar, AI telah bertransisi dari fine-tuning ke brute force, seiring dengan meningkatnya permintaan akan daya komputasi dan data. DePIN kebetulan dapat menyediakannya. Insentif token akan memanfaatkan pasar jangka panjang, di mana daya komputasi dan penyimpanan tingkat konsumen yang besar akan menjadi sumber terbaik bagi model-model besar.

Desentralisasi AI Bukanlah Suatu Pilihan, Namun Suatu Keharusan

Tentu saja, seseorang mungkin bertanya, mengapa memilih DePIN dibandingkan layanan terpusat ketika kekuatan komputasi dan data tersedia di pusat data AWS, dan terlebih lagi, AWS mengungguli DePIN dalam hal stabilitas dan pengalaman pengguna?

Pernyataan ini tentu saja mempunyai alasannya sendiri. Lagipula, melihat situasi saat ini, hampir semua model besar dikembangkan langsung atau tidak langsung oleh perusahaan internet besar. Di belakang chatGPT adalah Microsoft, dan di belakang Gemini adalah Google. Di Tiongkok, hampir setiap perusahaan internet besar memiliki model yang besar. Mengapa demikian? Pasalnya, hanya perusahaan internet besar yang memiliki kekuatan komputasi yang didukung data berkualitas tinggi dan sumber daya finansial yang kuat. Tapi ini tidak benar. Masyarakat tidak ingin lagi dimanipulasi oleh raksasa internet.

Di satu sisi, AI terpusat membawa risiko privasi dan keamanan data serta mungkin tunduk pada sensor dan kontrol. Di sisi lain, AI yang diproduksi oleh raksasa Internet akan semakin memperkuat ketergantungan masyarakat, menyebabkan konsentrasi pasar, dan meningkatkan hambatan terhadap inovasi.

dari: https://www.gensyn.ai/

Kemanusiaan seharusnya tidak lagi membutuhkan Martin Luther di era AI. Manusia seharusnya mempunyai hak untuk berbicara langsung dengan Tuhan.

DePIN Dari Perspektif Bisnis: Pengurangan Biaya dan Peningkatan Efisiensi Adalah Kuncinya

Meski mengesampingkan perdebatan antara nilai desentralisasi dan sentralisasi, dari sudut pandang bisnis, masih ada keuntungan menggunakan DePIN untuk AI.

Pertama, penting untuk menyadari bahwa meskipun raksasa internet mengendalikan sejumlah besar sumber daya kartu grafis kelas atas, kombinasi kartu grafis tingkat konsumen di tangan individu masih dapat membentuk jaringan daya komputasi yang signifikan, yang dikenal sebagai long tail. efek daya komputasi. Kartu grafis tingkat konsumen ini sering kali memiliki tingkat idle yang tinggi. Selama insentif yang diberikan DePIN melebihi biaya listrik, pengguna memiliki motivasi untuk menyumbangkan daya komputasi mereka ke jaringan. Selain itu, dengan pengguna yang mengelola sendiri infrastruktur fisiknya, jaringan DePIN tidak menanggung biaya operasional yang tidak dapat dihindari oleh pemasok terpusat, dan hanya dapat fokus pada desain protokol.

Untuk data, jaringan DePIN dapat membuka potensi kegunaan data dan mengurangi biaya transmisi melalui komputasi tepi dan metode lainnya. Selain itu, sebagian besar jaringan penyimpanan terdistribusi memiliki kemampuan deduplikasi otomatis, sehingga mengurangi kebutuhan pembersihan data ekstensif dalam pelatihan AI.

Terakhir, ekonomi Kripto yang dibawa oleh DePIN meningkatkan toleransi kesalahan sistem dan berpotensi mencapai situasi win-win bagi penyedia, konsumen, dan platform.

Gambar dari: UCLA

Jika Anda tidak percaya, penelitian terbaru UCLA menunjukkan bahwa penggunaan komputasi terdesentralisasi mencapai kinerja 2,75 kali lebih baik daripada cluster GPU tradisional dengan biaya yang sama. Secara khusus, ini 1,22 kali lebih cepat dan 4,83 kali lebih murah.

Jalan Sulit ke Depan: Tantangan Apa yang Akan Dihadapi AIxDePIN?

Kita memilih untuk pergi ke bulan dan melakukan hal-hal lain dalam dekade ini bukan karena hal itu mudah, namun karena hal tersebut sulit. —John FitzgeraldKennedy

Menggunakan penyimpanan terdistribusi dan komputasi terdistribusi DePIN untuk membangun model AI tanpa kepercayaan masih menimbulkan banyak tantangan.

Verifikasi Kerja

Pada dasarnya, komputasi model pembelajaran mendalam dan penambangan PoW adalah bentuk komputasi umum, dengan perubahan sinyal yang mendasari antar sirkuit gerbang. Pada tingkat makro, penambangan PoW adalah “perhitungan yang tidak berguna,” mencoba menemukan nilai hash dengan awalan n nol melalui pembuatan angka acak dan penghitungan fungsi hash yang tak terhitung jumlahnya. Di sisi lain, komputasi pembelajaran mendalam adalah “perhitungan yang berguna”, menghitung nilai parameter setiap lapisan dalam pembelajaran mendalam melalui propagasi maju dan mundur, sehingga membangun model AI yang efisien.

Faktanya adalah “perhitungan tidak berguna” seperti penambangan PoW menggunakan fungsi hash. Sangat mudah untuk menghitung gambar dari gambar asli, tetapi sulit untuk menghitung gambar asli dari gambar, sehingga siapapun dapat dengan mudah dan cepat memverifikasi keabsahan perhitungan; Untuk perhitungan model deep learning, karena strukturnya yang hierarkis, keluaran dari setiap lapisan digunakan sebagai masukan untuk lapisan berikutnya. Oleh karena itu, verifikasi keabsahan perhitungan memerlukan pelaksanaan semua pekerjaan sebelumnya, dan tidak dapat diverifikasi secara sederhana dan efektif.

Gambar dari: AWS

Verifikasi pekerjaan sangat penting, jika tidak penyedia penghitungan tidak dapat melakukan penghitungan sama sekali dan menyerahkan hasil yang dihasilkan secara acak.

Salah satu idenya adalah membuat server berbeda melakukan tugas komputasi yang sama dan memverifikasi efektivitas pekerjaan dengan mengulangi eksekusi dan memeriksa apakah eksekusinya sama. Namun, sebagian besar penghitungan model bersifat non-deterministik, dan hasil yang sama tidak dapat direproduksi bahkan dalam lingkungan komputasi yang sama persis, dan hanya dapat serupa dalam arti statistik. Selain itu, penghitungan ganda akan menyebabkan peningkatan biaya yang cepat, yang tidak sejalan dengan tujuan utama DePIN untuk mengurangi biaya dan meningkatkan efisiensi.

Kategori gagasan lainnya adalah mekanisme Optimis, yang secara optimis mengasumsikan bahwa hasil dihitung dengan benar dan memungkinkan siapa pun memverifikasi hasil perhitungan. Jika ditemukan kesalahan, Bukti Penipuan dapat diserahkan. Protokol ini memberikan sanksi kepada penipu dan memberikan penghargaan kepada pelapor.

Paralelisasi

Seperti disebutkan sebelumnya, DePIN terutama memanfaatkan pasar daya komputasi konsumen jangka panjang, yang berarti bahwa daya komputasi yang disediakan oleh satu perangkat relatif terbatas. Untuk model AI berukuran besar, pelatihan pada satu perangkat akan memakan waktu yang sangat lama, dan paralelisasi harus digunakan untuk mempersingkat waktu pelatihan.

Kesulitan utama dalam memparalelkan pelatihan pembelajaran mendalam terletak pada ketergantungan antara tugas-tugas sebelumnya dan selanjutnya, yang membuat paralelisasi sulit dicapai.

Saat ini, paralelisasi pelatihan pembelajaran mendalam terutama dibagi menjadi paralelisme data dan paralelisme model.

Paralelisme data mengacu pada pendistribusian data ke beberapa mesin. Setiap mesin menyimpan semua parameter model, menggunakan data lokal untuk pelatihan, dan terakhir menggabungkan parameter setiap mesin. Paralelisme data berfungsi dengan baik ketika jumlah data besar, tetapi memerlukan komunikasi sinkron untuk mengumpulkan parameter.

Paralelisme model berarti bahwa ketika ukuran model terlalu besar untuk dimasukkan ke dalam satu mesin, model tersebut dapat dipecah menjadi beberapa mesin, dan setiap mesin menyimpan sebagian parameter model. Propagasi maju dan mundur memerlukan komunikasi antar mesin yang berbeda. Paralelisme model memiliki keuntungan jika modelnya besar, namun overhead komunikasi selama propagasi maju dan mundur juga besar.

Informasi gradien antara lapisan yang berbeda dapat dibagi menjadi pembaruan sinkron dan pembaruan asinkron. Pembaruan sinkron sederhana dan langsung, tetapi akan menambah waktu tunggu; algoritme pembaruan asinkron memiliki waktu tunggu yang singkat, tetapi akan menimbulkan masalah stabilitas.

Gambar dari: Universitas Stanford, Pembelajaran Mendalam Paralel dan Terdistribusi

Privasi

Tren global dalam melindungi privasi pribadi sedang meningkat, dan pemerintah di seluruh dunia memperkuat perlindungan keamanan privasi data pribadi. Meskipun AI memanfaatkan kumpulan data publik secara ekstensif, yang benar-benar membedakan model AI yang berbeda adalah data pengguna milik masing-masing perusahaan.

Bagaimana cara mendapatkan manfaat data kepemilikan selama pelatihan tanpa mengekspos privasi? Bagaimana cara memastikan parameter model AI yang dibangun tidak bocor?

Ini adalah dua aspek privasi, privasi data, dan privasi model. Privasi data melindungi pengguna, sedangkan privasi model melindungi organisasi yang membangun model. Dalam skenario saat ini, privasi data jauh lebih penting daripada privasi model.

Berbagai solusi sedang diupayakan untuk mengatasi masalah privasi. Pembelajaran gabungan memastikan privasi data dengan melatih sumber data, menyimpan data secara lokal, dan mentransmisikan parameter model; dan bukti tanpa pengetahuan bisa menjadi bintang baru.

Analisis Kasus: Apa saja proyek berkualitas tinggi yang ada di pasar?

Gensin

Gensyn adalah jaringan komputasi terdistribusi yang dirancang untuk melatih model AI. Jaringan ini menggunakan blockchain lapisan satu berdasarkan Polkadot untuk memverifikasi pelaksanaan tugas pembelajaran mendalam yang tepat dan memicu pembayaran melalui perintah. Didirikan pada tahun 2020, perusahaan ini mengumumkan putaran pendanaan Seri A sebesar $43 juta pada Juni 2023, dengan a16z memimpin investasinya.

Gensyn menggunakan metadata dari proses pengoptimalan berbasis gradien untuk membuat sertifikat dari pekerjaan yang dilakukan, secara konsisten dijalankan oleh protokol presisi berbasis grafik multi-granular dan evaluator silang untuk memungkinkan pekerjaan validasi dijalankan kembali dan dibandingkan untuk konsistensi, dan pada akhirnya oleh rantai Konfirmasikan sendiri untuk memastikan validitas perhitungan. Untuk lebih memperkuat keandalan verifikasi kerja, Gensyn memperkenalkan staking untuk menciptakan insentif.

Ada empat jenis peserta dalam sistem: pengirim, pemecah masalah, verifikator, dan pelapor.

• Pengirim adalah pengguna akhir sistem yang memberikan tugas untuk dihitung dan dibayar untuk unit pekerjaan yang diselesaikan.
• Solver adalah pekerja utama sistem, yang melakukan pelatihan model dan menghasilkan bukti untuk diperiksa oleh verifikator.
• Validator adalah kunci untuk menghubungkan proses pelatihan non-deterministik dengan komputasi linier deterministik, mereplikasi bukti pemecah parsial, dan membandingkan jarak dengan ambang batas yang diharapkan.
• Pelapor merupakan garis pertahanan terakhir yang memeriksa pekerjaan verifikator dan mengajukan tantangan, serta menerima imbalan setelah melewati tantangan tersebut.

Penyelesai perlu membuat janji, dan pengungkap fakta (whistleblower) menguji kinerja pemecah masalah. Jika dia menemukan perbuatan jahat, dia akan menantangnya. Setelah tantangan dilewati, token yang dipertaruhkan oleh pemecah masalah akan didenda dan pelapor akan diberi hadiah.

Menurut prediksi Gensyn, solusi ini diharapkan dapat mengurangi biaya pelatihan hingga 1/5 dari biaya penyedia terpusat.

Sumber: Gensyn

FedML

FedML adalah platform pembelajaran mesin kolaboratif terdesentralisasi untuk AI yang terdesentralisasi dan kolaboratif, di mana saja dan pada skala apa pun. Lebih khusus lagi, FedML menyediakan ekosistem MLOps yang melatih, menerapkan, memantau, dan terus meningkatkan model pembelajaran mesin sambil berkolaborasi pada gabungan data, model, dan sumber daya komputasi dengan cara yang menjaga privasi. Didirikan pada tahun 2022, FedML mengumumkan pendanaan tahap awal senilai $6 juta pada bulan Maret 2023.

FedML terdiri dari dua komponen utama: FedML-API dan FedML-core, yang masing-masing mewakili API tingkat tinggi dan API tingkat rendah.

FedML-core mencakup dua modul independen: komunikasi terdistribusi dan pelatihan model. Modul komunikasi bertanggung jawab atas komunikasi mendasar antara pekerja/klien yang berbeda dan didasarkan pada MPI; modul pelatihan model didasarkan pada PyTorch.

FedML-API dibangun di atas inti FedML. Dengan FedML-core, algoritma terdistribusi baru dapat dengan mudah diimplementasikan dengan mengadopsi antarmuka pemrograman berorientasi klien.

Hasil kerja terbaru dari tim FedML menunjukkan bahwa penggunaan FedML Nexus AI untuk inferensi model AI pada GPU RTX 4090 tingkat konsumen 20 kali lebih murah dan 1,88 kali lebih cepat dibandingkan menggunakan A100.

dari: FedML

Pandangan Masa Depan: DePIN membawa demokratisasi AI

Suatu hari nanti, AI akan berkembang menjadi AGI, dan kekuatan komputasi akan menjadi mata uang universal secara de facto. DePIN akan mewujudkan proses ini terlebih dahulu.

Persimpangan dan kolaborasi AI dan DePIN telah membuka titik baru dalam pertumbuhan teknologi, memberikan peluang besar bagi pengembangan kecerdasan buatan. DePIN memberi AI kekuatan komputasi dan data terdistribusi yang sangat besar, yang membantu melatih model berskala lebih besar dan mencapai kecerdasan yang lebih kuat. Pada saat yang sama, DePIN juga memungkinkan AI berkembang ke arah yang lebih terbuka, aman, dan andal, sehingga mengurangi ketergantungan pada satu infrastruktur terpusat.

Ke depan, AI dan DePIN akan terus berkembang secara sinergi. Jaringan terdistribusi akan memberikan landasan yang kuat untuk melatih model super besar, yang akan memainkan peran penting dalam aplikasi DePIN. Selain melindungi privasi dan keamanan, AI juga akan berkontribusi pada optimalisasi protokol dan algoritma jaringan DePIN. Kami menantikan AI dan DePIN menghadirkan dunia digital yang lebih efisien, adil, dan dapat dipercaya.

Penafian:

1. Artikel ini dicetak ulang dari []. Semua hak cipta milik penulis asli [**]. Jika ada keberatan terhadap cetak ulang ini, silakan menghubungi tim Gate Learn , dan mereka akan segera menanganinya.
2. Penafian Tanggung Jawab: Th
   Pandangan dan opini yang dikemukakan dalam artikel ini sepenuhnya merupakan milik penulis dan bukan merupakan nasihat investasi apa pun.
3. Terjemahan artikel ke bahasa lain dilakukan oleh tim Gate Learn. Kecuali disebutkan, dilarang menyalin, mendistribusikan, atau menjiplak artikel terjemahan.