Reenviar el título original: Mira: Trustless Verified AI
Alucinaciones: una experiencia que implica la percepción aparente de algo que no está presente.
Andrej Karpathy llama a la IA "máquinas de ensueño". Él cree que las alucinaciones, esos momentos en que la IA genera con confianza cosas que no son reales, son una característica, no un error. Es inútil tratar de eliminarlas por completo. Y honestamente, hay algo poético en eso.
Los modelos de lenguaje grandes (LLMs) son un artista, un creador. Sueña en código, genera ideas de la nada y da sentido a los datos. Pero para que la IA pase de hermosos ensueños a aplicaciones prácticas cotidianas, debemos frenar esas alucinaciones.
Las tasas de error para LLMs siguen siendo altas en muchas tareas, a menudo rondando el 30%. A ese nivel, los LLMs todavía requieren de la intervención humana para alcanzar un estándar de precisión utilizable.
Pero cuando alcanzamos esa esquiva precisión del 99.x%, donde las salidas son confiables sin supervisión humana, sucede la magia. Ese es el umbral donde la inteligencia artificial logra una confiabilidad a nivel humano, desbloqueando un universo infinito de casos de uso anteriormente inalcanzables.
Alcanzar ese nivel de precisión, sin embargo, no es tarea fácil. Requiere un esfuerzo de ingeniería implacable e innovación.
La historia de@Mira_Networkcomienza aquí. Pero antes de sumergirnos, tomémonos un momento para hablar sobre el desarrollo de LLM y por qué las verificaciones se están perfilando como la próxima gran cosa en AI.
El desarrollo de LLM es la última iteración en el viaje del aprendizaje profundo, distinta de las prácticas tradicionales de desarrollo de software que hemos perfeccionado en los últimos 50+ años. Los LLM, que solo llevan alrededor de tres años, cambian completamente el guion, pasando de un pensamiento determinista (si X, entonces Y) a un razonamiento probabilístico (si X, entonces... tal vez Y?).
Esto significa que la infraestructura para un mundo impulsado por la IA exige un conjunto completamente nuevo de herramientas y flujos de trabajo. Sin embargo, muchas de estas herramientas todavía están encerradas dentro de los laboratorios de investigación que crearon los LLMs.
La buena noticia es que estas herramientas están empezando a filtrarse en el dominio público, abriendo un mundo de posibilidades para los desarrolladores en todas partes.
Al final de este nuevo flujo de trabajo se encuentra una pieza fundamental del rompecabezas: evaluaciones y verificaciones. Hoy, nuestro foco se centra en ellas. Responden a una pregunta fundamental: ¿Está funcionando bien la IA?
La confianza es la base de cualquier gran producto de IA.
A medida que la IA se convierte en una parte cada vez más integral de nuestras vidas, la tecnología en sí misma sigue siendo frágil. Los errores ocurren, y cuando lo hacen, la confianza se erosiona rápidamente. Los usuarios esperan que la IA sea precisa, imparcial y realmente útil, pero sin sistemas confiables para garantizarlo, la frustración aumenta, y la frustración conduce a la rotación.
Aquí es donde entran en juego las verificaciones.
Las verificaciones actúan como salvaguardia. Son la capa de garantía de calidad en la que los desarrolladores confían para refinar los resultados y construir sistemas en los que los usuarios puedan confiar.
Mira está abordando un problema central de Web2 con la transparencia sin confianza de la criptografía. Al aprovechar una red descentralizada de nodos verificadores, Mira asegura que las salidas de IA sean verificadas de manera precisa e independiente.
Digamos que tienes un párrafo de salida de un LLM sobre la ciudad de París. ¿Cómo verificas que sea preciso? Es difícil hacerlo porque hay tantos matices en todo, desde las afirmaciones hasta la estructura del contenido y el estilo de escritura.
Aquí es donde interviene Mira.
La visión de Mira es audaz: crear una red de capa 1 que brinde verificación sin confianza, escalable y precisa de las salidas de IA. Al aprovechar la sabiduría colectiva, Mira reduce los sesgos y las alucinaciones, resolviendo problemas fundamentales como la equidad y el costo, al tiempo que demuestra cómo blockchain puede mejorar verdaderamente la IA.
Fuente: Mira
Los primeros resultados son prometedores. En un recienteestudio publicado en Arxiv, Mira demostró que el uso de múltiples modelos utilizados para generar resultados y requerir consenso aumenta significativamente la precisión. La precisión alcanzó el 95.6% con tres modelos, en comparación con el 73.1% para la salida de un solo modelo.
Dos elementos clave de diseño impulsan el enfoque de Mira:
Las salidas generadas por AI van desde simples declaraciones hasta ensayos extensos, gracias al costo casi nulo de la generación de contenido. Pero esta abundancia de complejidad crea un desafío: ¿cómo garantizar la precisión de tales salidas tan diversas?
La solución de Mira es simple: descomponerlo.
@Mira_Networktransforma contenido complejo generado por IA en piezas más pequeñas y digeribles que los modelos de IA pueden revisar objetivamente en un proceso llamado sharding.
Al estandarizar las salidas y dividirlas en reclamaciones discretas y verificables, Mira asegura que cada pieza pueda ser evaluada de manera consistente, eliminando la ambigüedad que a menudo afecta las evaluaciones.
Por ejemplo, considera esta declaración compuesta:
“La fotosíntesis ocurre en las plantas para convertir la luz solar en energía, y las abejas desempeñan un papel crítico en la polinización al transferir el polen entre las flores.”
En apariencia, parece sencillo de verificar. Pero cuando se entrega a múltiples modelos, las peculiaridades de interpretación pueden llevar a respuestas diferentes. La transformación de contenido de Mira a través de sharding resuelve esto dividiendo la declaración en dos afirmaciones independientes:
Una vez dividida, cada reclamación se somete a binarización, donde se convierte en una pregunta de opción múltiple. Estas preguntas se distribuyen a una red de nodos que ejecutan modelos de IA. Utilizando el método de verificación de conjunto de Mira, los modelos colaboran para evaluar y confirmar la validez de cada reclamación.
Actualmente, las capacidades de fragmentación y binarización de contenido de Mira se centran en las entradas de texto. Para principios de 2025, estos procesos se ampliarán para admitir entradas multimodales, como imágenes y videos.
Mira ha desarrollado un sistema avanzado de verificación que combina las fortalezas de varios modelos de IA para evaluar la calidad de las salidas de la IA.
Vamos a desempacar eso.
Las evaluaciones automatizadas tradicionales a menudo dependen de un único modelo de lenguaje grande (LLM), como GPT-4, como árbitro último de calidad. Si bien funcional, este enfoque tiene fallas significativas: es costoso, propenso a sesgos y limitado por las peculiaridades y la 'personalidad' inherentes en los modelos.
El avance de Mira es un cambio de depender de un solo modelo masivo a aprovechar unconjunto de diversos LLMs. Este conjunto sobresale en tareas donde la precisión factual es más importante que el estilo creativo, reduciendo las tasas de error y entregando verificaciones más confiables y consistentes.
Las técnicas de conjunto han sido ampliamente estudiadas en tareas de aprendizaje automático como la clasificación, y Mira ahora está llevando esto a la verificación.
En el corazón del sistema de Mira se encuentra el Panel de verificadores LLM (PoLL): una red colaborativa de modelos que trabajan juntos para verificar salidas. Piense en ello como un panel diverso de expertos que opinan sobre una decisión en lugar de dejarla en manos de un solo juez, potencialmente sesgado.
Y esto no es solo un deseo, está fundamentado en investigación. Echa un vistazo al gráfico a continuación:
Un estudio de Cohere publicadoen abril de 2024 se demostró que un panel de tres modelos más pequeños - GPT-3.5, Claude-3 Haiku y Command R - se alineaba más estrechamente con los juicios humanos que GPT-4 solo. Sorprendentemente, este método de conjunto también era 7 veces más barato.
Mira ahora está poniendo esta investigación en acción, desplegando su método de verificación de conjunto a gran escala. Los resultados internos que han compartido hasta ahora son convincentes:
• Las tasas de error se redujeron del 80% al 5% para tareas de razonamiento complejas.
• Mejoras de 5 veces en velocidad y costos en comparación con la verificación humana.
Esto no es una tarea fácil. Al utilizar mecanismos de consenso, el diverso conjunto de modelos de Mira filtra eficazmente las alucinaciones y equilibra los sesgos de cada modelo individual. Juntos, entregan algo más grande que la suma de sus partes: verificaciones más rápidas, más económicas y más alineadas con nuestras necesidades.
Para recapitular, el sistema de verificación de Mira se basa en dos principios fundamentales de diseño:
Mantener un conjunto diverso de modelos es esencial para producir resultados de alta calidad, por lo que el diseño de Mira es ideal para una arquitectura descentralizada. Eliminar puntos individuales de fallo es crucial para cualquier producto de verificación.
Mira utiliza un enfoque basado en blockchain para garantizar que ninguna entidad única pueda manipular los resultados. La premisa es simple: las salidas generadas por IA deben ser verificadas de la misma manera que los cambios de estado de blockchain.
La verificación se lleva a cabo a través de una red de nodos independientes, con operadores incentivados económicamente para realizar verificaciones precisas. Al alinear las recompensas con la honestidad, el sistema de Mira desalienta a los actores malintencionados y garantiza resultados confiables.
Así es como funciona:
Mira garantiza la confidencialidad de los datos al dividir los datos de entrada en fragmentos más pequeños, asegurando que ningún nodo único tenga acceso al conjunto de datos completo.
Para mayor seguridad, Mira admite niveles dinámicos de privacidad, lo que permite a los usuarios ajustar la cantidad de fragmentación en función de la sensibilidad de los datos. Si bien los niveles de privacidad más altos requieren más fragmentación (y, por lo tanto, costos más altos), proporcionan confidencialidad adicional para los usuarios que manejan información sensible.
Cada verificación que realiza un nodo se registra en la cadena de bloques, creando un registro transparente y auditable del proceso de verificación. Este libro mayor inmutable garantiza la confianza y la responsabilidad que los enfoques tradicionales no basados en blockchain no pueden lograr.
Esto establece un nuevo estándar para la verificación segura e imparcial de la IA.
En la red descentralizada de Mira, el trabajo honesto es recompensado.
Los expertos pueden implementar modelos de IA especializados a través del software del nodo y ganar tokens por verificaciones precisas. A su vez, los desarrolladores de IA pagan tarifas por verificación, creando un bucle económico autosostenible entre la demanda y la oferta.
Este enfoque conecta el valor real de los flujos de trabajo de Web2 en el ecosistema Web3, recompensando directamente a los participantes como proveedores de inferencia y creadores de modelos.
Pero los incentivos vienen con desafíos. En cualquier sistema descentralizado, los actores malintencionados intentarán explotar la red, presentando resultados falsos para ganar recompensas sin hacer el trabajo.
Entonces, ¿cómo nos aseguramos de que los nodos estén realizando sus tareas de manera precisa y honesta?
Para mantener la integridad, Mira emplea la Prueba de Verificación, un mecanismo inspirado en la prueba de trabajo de Bitcoin pero diseñado para la inteligencia artificial. En lugar de minar bloques, los nodos deben demostrar que han completado tareas de verificación para participar en el proceso de consenso.
Aquí te explicamos cómo funciona:
La Prueba de Verificación crea un sistema equilibrado en el que los nodos están económicamente motivados para realizar verificaciones de alta calidad. Este mecanismo garantiza que la red siga siendo segura y confiable con el tiempo.
Aquí está la pregunta: Si el enfoque de Mira es tan efectivo, ¿por qué no lo está haciendo todo el mundo?
La respuesta radica en los compromisos y complejidades de implementar un sistema de este tipo en el mundo real. Lograr el equilibrio perfecto entre evaluaciones rápidas y precisas y gestionar las complejidades de múltiples modelos no es tarea fácil.
Uno de los mayores obstáculos de Mira es la latencia. Si bien el uso de conjuntos de modelos permite que las verificaciones se ejecuten en paralelo, la sincronización de los resultados y la consecución de un consenso introduce demoras. El proceso solo es tan rápido como el nodo más lento.
Actualmente, esto hace que Mira sea ideal para el procesamiento por lotes de salidas de IA, casos de uso donde no se requieren resultados en tiempo real. A medida que la red crece con más nodos y disponibilidad de cálculo, el objetivo a largo plazo es lograr verificaciones en tiempo real, ampliando la aplicabilidad de Mira a un rango más amplio de escenarios.
Además de la latencia, otros desafíos incluyen:
Complejidad de ingeniería: Orquestar evaluaciones a través de múltiples modelos y garantizar que el mecanismo de consenso funcione sin problemas demanda un esfuerzo de ingeniería significativo.
Requisitos de cómputo más altos: incluso cuando se usan modelos más pequeños, ejecutarlos juntos en conjuntos aumenta las demandas computacionales.
Buen Diseño de Mecanismo de Consenso: La forma en que se logra el consenso - mediante votación mayoritaria, puntuación ponderada u otros métodos - juega un papel crítico en la confiabilidad del sistema. En casos ambiguos, los conjuntos pueden tener dificultades para alinearse, lo que lleva a resultados inconsistentes.
Origen: Mira
La API de Mira se integra fácilmente con cualquier aplicación, al igual que el GPT-4o de OpenAI. Es agnóstica para aplicaciones de consumidor y B2B, lo que la convierte en una solución versátil para diversos casos de uso. Hoy en día, más de una docena de aplicaciones utilizan la infraestructura de Mira.
Integraciones de consumidores
En el lado del consumidor, Mira ya está proporcionando verificación de IA para varias aplicaciones de IA en etapas iniciales:
Delphi Oraclees la integración más reciente y, quizás, la más avanzada. Este asistente de investigación impulsado por IA permite @Delphi_Digitallos miembros pueden interactuar directamente con el contenido de investigación, hacer preguntas, aclarar puntos, integrar feeds de precios y ajustar el contenido a varios niveles de complejidad.
Delphi Oracle aprovecha la tecnología de verificación de la red Mira para ofrecer respuestas confiables y precisas. Al verificar las respuestas en varios modelos, Mira reduce las tasas de alucinación de ~30% a menos del 5%, asegurando una base sólida de confianza.
En el núcleo de Delphi Oracle se encuentra un enrutador de consultas de alto rendimiento
Este sistema de enrutamiento inteligente, combinado con el almacenamiento en caché inteligente, garantiza un rendimiento óptimo al equilibrar la latencia, el costo y la calidad.
Las pruebas de Mira revelaron que los modelos más pequeños y rentables podían manejar la mayoría de las consultas casi tan bien como los modelos más grandes. Esto ha resultado en una reducción del 90% en los costos operativos, todo manteniendo las respuestas de alta calidad que los usuarios esperan.
Aunque muchas de estas aplicaciones para consumidores aún están en una etapa temprana, destacan la capacidad de Mira para integrarse sin problemas y respaldar bases de usuarios activas y numerosas. No es difícil imaginar que miles de aplicaciones se conecten al ecosistema de Mira, siempre y cuando la experiencia del desarrollador siga siendo sencilla y la propuesta de valor siga siendo clara.
Aplicaciones B2B
En el frente B2B, Mira se está enfocando en integraciones especializadas en industrias donde la confianza y la precisión son primordiales, con un enfoque inicial en la atención médica y la educación.
Las aplicaciones clave incluyen:
El objetivo final de Mira es ofrecer generaciones verificadas de forma nativa, donde los usuarios simplemente se conecten a través de una API, al igual que OpenAI o Anthropic, y reciban salidas preverificadas antes de que se devuelvan.
El objetivo es reemplazar las API de modelos existentes proporcionando versiones altamente confiables de los modelos existentes (por ejemplo, Mira-Claude-3.5-Sonnet o Mira-OpenAI-GPT-4o), mejorados con confiabilidad incorporada basada en consenso.
La inteligencia artificial generativa está en un cohete. SegúnBloomberg, el mercado se proyecta crecer a una asombrosa tasa de crecimiento anual compuesto (CAGR) del 42%, con ingresos que superarán el billón de dólares para el 2030. Dentro de esta ola masiva, las herramientas que mejoren la velocidad, precisión y confiabilidad de los flujos de trabajo de IA capturarán una porción significativa.
A medida que más empresas integran LLM en sus flujos de trabajo, que van desde chatbots de soporte al cliente hasta asistentes de investigación complejos, la necesidad de verificaciones de modelos sólidos se vuelve más apremiante.
Las organizaciones buscarán herramientas que puedan (1) medir la precisión y confiabilidad del modelo, (2) diagnosticar ineficiencias de pronta y parámetros, (3) monitorear continuamente el rendimiento y la deriva, y (4) garantizar el cumplimiento de los marcos regulatorios emergentes en torno a la seguridad de la IA.
¿Te suena familiar? Es un libro de jugadas que hemos visto antes con MLOps (abreviatura de "Machine Learning Operations"). A medida que el aprendizaje automático aumentó en la década de 2010, las herramientas para implementar, rastrear y mantener modelos se volvieron esenciales, creando un mercado de miles de millones de dólares. Con el auge de la inteligencia artificial generativa, LLMOps está siguiendo la misma trayectoria.
Capturar incluso una pequeña porción del mercado de billones de dólares podría llevar a este subsector a más de $100 mil millones para 2030.
Varias startups de Web2 ya se están posicionando, ofreciendo herramientas para anotar datos, ajustar modelos y evaluar el rendimiento:
• Braintrust ($36M recaudados)
• Vellum AI ($5M recaudados)
• Humanloop ($2.8M recaudados)
Estos primeros actores están sentando las bases, pero el espacio es fluido. En 2025, es probable que veamos una proliferación de startups en este sector. Algunas pueden especializarse en métricas de evaluación de nicho (por ejemplo, detección de sesgos y pruebas de robustez), mientras que otras amplían sus ofertas para cubrir todo el ciclo de desarrollo de IA.
Los grandes incumbentes tecnológicos, como los principales proveedores de nube y plataformas de IA, probablemente incluirán características de evaluación en sus ofertas. El mes pasado,OpenAIintrodujo evaluaciones directamente en su plataforma. Para mantenerse competitivas, las startups deben diferenciarse a través de la especialización, la facilidad de uso y el análisis avanzado.
Mira no es un competidor directo de estas startups o incumbentes. En cambio, es un proveedor de infraestructura que se integra perfectamente con ambas a través de APIs. ¿La clave? Solo tiene que funcionar.
El tamaño inicial del mercado de Mira está vinculado a LLMOps, pero su mercado total alcanzable se expandirá a toda la IA porque cada aplicación de IA necesitará salidas más confiables.
Desde el punto de vista de la teoría de juegos, Mira se encuentra en una situación única. A diferencia de otros proveedores de modelos como OpenAI, que están obligados a soportar sus propios sistemas, Mira puede integrarse en todos los modelos. Esto posiciona a Mira como la capa de confianza para la IA, ofreciendo una fiabilidad que ningún proveedor puede igualar por sí solo.
La hoja de ruta de Mira para 2025 tiene como objetivo equilibrar la integridad, la escalabilidad y la participación de la comunidad en su camino hacia la plena descentralización:
Fase 1: Creando confianza (Donde estamos hoy)
En la etapa inicial, los operadores de nodos verificados aseguran la confiabilidad de la red. Proveedores de servicios de cálculo de GPU conocidos actúan como la primera ola de operadores, encargándose de las operaciones iniciales y sentando una base sólida para el crecimiento.
Fase 2: Descentralización Progresiva
Mira introduce la duplicación diseñada, donde múltiples instancias del mismo modelo verificador procesan cada solicitud. Si bien esto aumenta los costos de verificación, es esencial para identificar y eliminar operadores maliciosos. Al comparar las salidas entre nodos, los actores malintencionados son detectados tempranamente.
En su forma madura, Mira implementará el particionamiento aleatorio para distribuir las tareas de verificación. Esto hace que la colusión sea económicamente inviable y fortalece la resistencia y seguridad de la red a medida que se expande.
Fase 3: Modelo de base sintética
Aquí Mira ofrecerá generaciones verificadas de forma nativa. Los usuarios se conectarán a través de la API, similar a OpenAI o Anthropic, y recibirán resultados preverificados, confiables y listos para usar sin validación adicional.
En los próximos meses, Mira se está preparando para varios hitos importantes:
Mira está ampliando las oportunidades de participación comunitaria a través de suPrograma de Delegación de Nodos. Esta iniciativa hace que el apoyo a la red sea accesible para todos, no se requiere experiencia técnica.
El proceso es simple: puede alquilar recursos informáticos y delegarlos a un grupo curado de operadores de nodos. Las contribuciones pueden oscilar entre $35 y $750, y se ofrecen recompensas por apoyar la red. Mira gestiona toda la infraestructura compleja, por lo que los delegados de nodos pueden sentarse, ver crecer la red y capturar algunas ventajas.
Hoy en día, Mira tiene un equipo pequeño pero unido que se centra en gran medida en la ingeniería.
Hay 3 cofundadores:
Juntos, combinan la habilidad de inversión, la innovación técnica y el liderazgo de productos para la visión de Mira de la verificación descentralizada de IA. Mira recaudó $9Mronda de financiación inicialen julio de 2024, liderado por BITKRAFT y Framework Ventures.
Es refrescante ver a un equipo de Crypto AI abordando un problema fundamental de IA Web2: mejorar la IA, en lugar de jugar juegos especulativos en la burbuja de las criptomonedas.
La industria se está dando cuenta de la importancia de las verificaciones. Ya no es suficiente depender de las “vibraciones”. Pronto, cada aplicación de IA y flujo de trabajo necesitará un proceso de verificación adecuado, y no es difícil imaginar que futuras regulaciones exijan estos procesos para garantizar la seguridad.
El enfoque de Mira aprovecha múltiples modelos para verificar de forma independiente las salidas, evitando depender de un solo modelo centralizado. Este marco descentralizado mejora la confianza y reduce los riesgos de sesgo y manipulación.
Y consideremos qué sucede si llegamos a AGI en los próximos años (una posibilidad real).
ComoAnand Iyer (@AICanonical señala que, si la IA puede manipular sutilmente decisiones y código, ¿cómo podemos confiar en los sistemas que prueban estos comportamientos? La gente inteligente está pensando en el futuro.Investigación de Anthropicsubraya la urgencia, destacando las evaluaciones como una herramienta crítica para identificar capacidades de IA potencialmente peligrosas antes de que se conviertan en problemas.
Al habilitar la transparencia radical, las blockchains agregan una poderosa capa de protección contra sistemas de IA maliciosos. Los mecanismos de consenso sin confianza garantizan que las evaluaciones de seguridad sean verificadas por miles de nodos independientes (como en Mira), reduciendo drásticamente el riesgo de ataques Sybil.
Mira está persiguiendo un mercado enorme con una clara demanda de una solución que funcione. Pero los desafíos son reales. Mejorar la latencia, la precisión y la rentabilidad requerirá un esfuerzo y un tiempo de ingeniería incesantes. El equipo tendrá que demostrar constantemente que su enfoque es mensurablemente mejor que las alternativas existentes.
La innovación principal radica en el proceso de binarización y fragmentación de Mira. Esta “salsa secreta” promete abordar los desafíos de escalabilidad y confianza. Para que Mira tenga éxito, esta tecnología debe cumplir con su promesa.
En cualquier red descentralizada, el diseño de tokens y los incentivos son factores determinantes. El éxito de Mira dependerá de cómo estos mecanismos alineen los intereses de los participantes mientras mantienen la integridad de la red.
Aunque los detalles de la tokenómica de Mira se mantienen en secreto, espero que el equipo revele más a medida que se acerque el lanzamiento del token a principios de 2025.
“Hemos descubierto que los equipos de ingeniería que implementan grandes evaluaciones se mueven significativamente más rápido, hasta 10 veces más rápido, que aquellos que solo observan lo que sucede en producción e intentan solucionarlos de manera ad-hoc” - Ankur Goyal, Braintrust
En un mundo impulsado por la IA, la confianza lo es todo.
A medida que los modelos se vuelven más complejos, las verificaciones confiables respaldarán cada gran producto de IA. Nos ayudan a abordar las alucinaciones, eliminar los sesgos y garantizar que las salidas de IA se alineen con las necesidades reales de los usuarios.
Mira automatiza verificaciones, reduciendo costos y dependencia de la intervención humana. Esto permite iteraciones más rápidas, ajustes en tiempo real y soluciones escalables sin cuellos de botella.
En última instancia, Mira tiene como objetivo ser la API de confianza, un marco de verificación descentralizado en el que todo desarrollador de IA y aplicación pueda depender para obtener respuestas verificadas.
Es audaz, ambicioso y exactamente lo que el mundo de la IA necesita.
Gracias por leer, Teng Yan
Reenviar el título original: Mira: Trustless Verified AI
Alucinaciones: una experiencia que implica la percepción aparente de algo que no está presente.
Andrej Karpathy llama a la IA "máquinas de ensueño". Él cree que las alucinaciones, esos momentos en que la IA genera con confianza cosas que no son reales, son una característica, no un error. Es inútil tratar de eliminarlas por completo. Y honestamente, hay algo poético en eso.
Los modelos de lenguaje grandes (LLMs) son un artista, un creador. Sueña en código, genera ideas de la nada y da sentido a los datos. Pero para que la IA pase de hermosos ensueños a aplicaciones prácticas cotidianas, debemos frenar esas alucinaciones.
Las tasas de error para LLMs siguen siendo altas en muchas tareas, a menudo rondando el 30%. A ese nivel, los LLMs todavía requieren de la intervención humana para alcanzar un estándar de precisión utilizable.
Pero cuando alcanzamos esa esquiva precisión del 99.x%, donde las salidas son confiables sin supervisión humana, sucede la magia. Ese es el umbral donde la inteligencia artificial logra una confiabilidad a nivel humano, desbloqueando un universo infinito de casos de uso anteriormente inalcanzables.
Alcanzar ese nivel de precisión, sin embargo, no es tarea fácil. Requiere un esfuerzo de ingeniería implacable e innovación.
La historia de@Mira_Networkcomienza aquí. Pero antes de sumergirnos, tomémonos un momento para hablar sobre el desarrollo de LLM y por qué las verificaciones se están perfilando como la próxima gran cosa en AI.
El desarrollo de LLM es la última iteración en el viaje del aprendizaje profundo, distinta de las prácticas tradicionales de desarrollo de software que hemos perfeccionado en los últimos 50+ años. Los LLM, que solo llevan alrededor de tres años, cambian completamente el guion, pasando de un pensamiento determinista (si X, entonces Y) a un razonamiento probabilístico (si X, entonces... tal vez Y?).
Esto significa que la infraestructura para un mundo impulsado por la IA exige un conjunto completamente nuevo de herramientas y flujos de trabajo. Sin embargo, muchas de estas herramientas todavía están encerradas dentro de los laboratorios de investigación que crearon los LLMs.
La buena noticia es que estas herramientas están empezando a filtrarse en el dominio público, abriendo un mundo de posibilidades para los desarrolladores en todas partes.
Al final de este nuevo flujo de trabajo se encuentra una pieza fundamental del rompecabezas: evaluaciones y verificaciones. Hoy, nuestro foco se centra en ellas. Responden a una pregunta fundamental: ¿Está funcionando bien la IA?
La confianza es la base de cualquier gran producto de IA.
A medida que la IA se convierte en una parte cada vez más integral de nuestras vidas, la tecnología en sí misma sigue siendo frágil. Los errores ocurren, y cuando lo hacen, la confianza se erosiona rápidamente. Los usuarios esperan que la IA sea precisa, imparcial y realmente útil, pero sin sistemas confiables para garantizarlo, la frustración aumenta, y la frustración conduce a la rotación.
Aquí es donde entran en juego las verificaciones.
Las verificaciones actúan como salvaguardia. Son la capa de garantía de calidad en la que los desarrolladores confían para refinar los resultados y construir sistemas en los que los usuarios puedan confiar.
Mira está abordando un problema central de Web2 con la transparencia sin confianza de la criptografía. Al aprovechar una red descentralizada de nodos verificadores, Mira asegura que las salidas de IA sean verificadas de manera precisa e independiente.
Digamos que tienes un párrafo de salida de un LLM sobre la ciudad de París. ¿Cómo verificas que sea preciso? Es difícil hacerlo porque hay tantos matices en todo, desde las afirmaciones hasta la estructura del contenido y el estilo de escritura.
Aquí es donde interviene Mira.
La visión de Mira es audaz: crear una red de capa 1 que brinde verificación sin confianza, escalable y precisa de las salidas de IA. Al aprovechar la sabiduría colectiva, Mira reduce los sesgos y las alucinaciones, resolviendo problemas fundamentales como la equidad y el costo, al tiempo que demuestra cómo blockchain puede mejorar verdaderamente la IA.
Fuente: Mira
Los primeros resultados son prometedores. En un recienteestudio publicado en Arxiv, Mira demostró que el uso de múltiples modelos utilizados para generar resultados y requerir consenso aumenta significativamente la precisión. La precisión alcanzó el 95.6% con tres modelos, en comparación con el 73.1% para la salida de un solo modelo.
Dos elementos clave de diseño impulsan el enfoque de Mira:
Las salidas generadas por AI van desde simples declaraciones hasta ensayos extensos, gracias al costo casi nulo de la generación de contenido. Pero esta abundancia de complejidad crea un desafío: ¿cómo garantizar la precisión de tales salidas tan diversas?
La solución de Mira es simple: descomponerlo.
@Mira_Networktransforma contenido complejo generado por IA en piezas más pequeñas y digeribles que los modelos de IA pueden revisar objetivamente en un proceso llamado sharding.
Al estandarizar las salidas y dividirlas en reclamaciones discretas y verificables, Mira asegura que cada pieza pueda ser evaluada de manera consistente, eliminando la ambigüedad que a menudo afecta las evaluaciones.
Por ejemplo, considera esta declaración compuesta:
“La fotosíntesis ocurre en las plantas para convertir la luz solar en energía, y las abejas desempeñan un papel crítico en la polinización al transferir el polen entre las flores.”
En apariencia, parece sencillo de verificar. Pero cuando se entrega a múltiples modelos, las peculiaridades de interpretación pueden llevar a respuestas diferentes. La transformación de contenido de Mira a través de sharding resuelve esto dividiendo la declaración en dos afirmaciones independientes:
Una vez dividida, cada reclamación se somete a binarización, donde se convierte en una pregunta de opción múltiple. Estas preguntas se distribuyen a una red de nodos que ejecutan modelos de IA. Utilizando el método de verificación de conjunto de Mira, los modelos colaboran para evaluar y confirmar la validez de cada reclamación.
Actualmente, las capacidades de fragmentación y binarización de contenido de Mira se centran en las entradas de texto. Para principios de 2025, estos procesos se ampliarán para admitir entradas multimodales, como imágenes y videos.
Mira ha desarrollado un sistema avanzado de verificación que combina las fortalezas de varios modelos de IA para evaluar la calidad de las salidas de la IA.
Vamos a desempacar eso.
Las evaluaciones automatizadas tradicionales a menudo dependen de un único modelo de lenguaje grande (LLM), como GPT-4, como árbitro último de calidad. Si bien funcional, este enfoque tiene fallas significativas: es costoso, propenso a sesgos y limitado por las peculiaridades y la 'personalidad' inherentes en los modelos.
El avance de Mira es un cambio de depender de un solo modelo masivo a aprovechar unconjunto de diversos LLMs. Este conjunto sobresale en tareas donde la precisión factual es más importante que el estilo creativo, reduciendo las tasas de error y entregando verificaciones más confiables y consistentes.
Las técnicas de conjunto han sido ampliamente estudiadas en tareas de aprendizaje automático como la clasificación, y Mira ahora está llevando esto a la verificación.
En el corazón del sistema de Mira se encuentra el Panel de verificadores LLM (PoLL): una red colaborativa de modelos que trabajan juntos para verificar salidas. Piense en ello como un panel diverso de expertos que opinan sobre una decisión en lugar de dejarla en manos de un solo juez, potencialmente sesgado.
Y esto no es solo un deseo, está fundamentado en investigación. Echa un vistazo al gráfico a continuación:
Un estudio de Cohere publicadoen abril de 2024 se demostró que un panel de tres modelos más pequeños - GPT-3.5, Claude-3 Haiku y Command R - se alineaba más estrechamente con los juicios humanos que GPT-4 solo. Sorprendentemente, este método de conjunto también era 7 veces más barato.
Mira ahora está poniendo esta investigación en acción, desplegando su método de verificación de conjunto a gran escala. Los resultados internos que han compartido hasta ahora son convincentes:
• Las tasas de error se redujeron del 80% al 5% para tareas de razonamiento complejas.
• Mejoras de 5 veces en velocidad y costos en comparación con la verificación humana.
Esto no es una tarea fácil. Al utilizar mecanismos de consenso, el diverso conjunto de modelos de Mira filtra eficazmente las alucinaciones y equilibra los sesgos de cada modelo individual. Juntos, entregan algo más grande que la suma de sus partes: verificaciones más rápidas, más económicas y más alineadas con nuestras necesidades.
Para recapitular, el sistema de verificación de Mira se basa en dos principios fundamentales de diseño:
Mantener un conjunto diverso de modelos es esencial para producir resultados de alta calidad, por lo que el diseño de Mira es ideal para una arquitectura descentralizada. Eliminar puntos individuales de fallo es crucial para cualquier producto de verificación.
Mira utiliza un enfoque basado en blockchain para garantizar que ninguna entidad única pueda manipular los resultados. La premisa es simple: las salidas generadas por IA deben ser verificadas de la misma manera que los cambios de estado de blockchain.
La verificación se lleva a cabo a través de una red de nodos independientes, con operadores incentivados económicamente para realizar verificaciones precisas. Al alinear las recompensas con la honestidad, el sistema de Mira desalienta a los actores malintencionados y garantiza resultados confiables.
Así es como funciona:
Mira garantiza la confidencialidad de los datos al dividir los datos de entrada en fragmentos más pequeños, asegurando que ningún nodo único tenga acceso al conjunto de datos completo.
Para mayor seguridad, Mira admite niveles dinámicos de privacidad, lo que permite a los usuarios ajustar la cantidad de fragmentación en función de la sensibilidad de los datos. Si bien los niveles de privacidad más altos requieren más fragmentación (y, por lo tanto, costos más altos), proporcionan confidencialidad adicional para los usuarios que manejan información sensible.
Cada verificación que realiza un nodo se registra en la cadena de bloques, creando un registro transparente y auditable del proceso de verificación. Este libro mayor inmutable garantiza la confianza y la responsabilidad que los enfoques tradicionales no basados en blockchain no pueden lograr.
Esto establece un nuevo estándar para la verificación segura e imparcial de la IA.
En la red descentralizada de Mira, el trabajo honesto es recompensado.
Los expertos pueden implementar modelos de IA especializados a través del software del nodo y ganar tokens por verificaciones precisas. A su vez, los desarrolladores de IA pagan tarifas por verificación, creando un bucle económico autosostenible entre la demanda y la oferta.
Este enfoque conecta el valor real de los flujos de trabajo de Web2 en el ecosistema Web3, recompensando directamente a los participantes como proveedores de inferencia y creadores de modelos.
Pero los incentivos vienen con desafíos. En cualquier sistema descentralizado, los actores malintencionados intentarán explotar la red, presentando resultados falsos para ganar recompensas sin hacer el trabajo.
Entonces, ¿cómo nos aseguramos de que los nodos estén realizando sus tareas de manera precisa y honesta?
Para mantener la integridad, Mira emplea la Prueba de Verificación, un mecanismo inspirado en la prueba de trabajo de Bitcoin pero diseñado para la inteligencia artificial. En lugar de minar bloques, los nodos deben demostrar que han completado tareas de verificación para participar en el proceso de consenso.
Aquí te explicamos cómo funciona:
La Prueba de Verificación crea un sistema equilibrado en el que los nodos están económicamente motivados para realizar verificaciones de alta calidad. Este mecanismo garantiza que la red siga siendo segura y confiable con el tiempo.
Aquí está la pregunta: Si el enfoque de Mira es tan efectivo, ¿por qué no lo está haciendo todo el mundo?
La respuesta radica en los compromisos y complejidades de implementar un sistema de este tipo en el mundo real. Lograr el equilibrio perfecto entre evaluaciones rápidas y precisas y gestionar las complejidades de múltiples modelos no es tarea fácil.
Uno de los mayores obstáculos de Mira es la latencia. Si bien el uso de conjuntos de modelos permite que las verificaciones se ejecuten en paralelo, la sincronización de los resultados y la consecución de un consenso introduce demoras. El proceso solo es tan rápido como el nodo más lento.
Actualmente, esto hace que Mira sea ideal para el procesamiento por lotes de salidas de IA, casos de uso donde no se requieren resultados en tiempo real. A medida que la red crece con más nodos y disponibilidad de cálculo, el objetivo a largo plazo es lograr verificaciones en tiempo real, ampliando la aplicabilidad de Mira a un rango más amplio de escenarios.
Además de la latencia, otros desafíos incluyen:
Complejidad de ingeniería: Orquestar evaluaciones a través de múltiples modelos y garantizar que el mecanismo de consenso funcione sin problemas demanda un esfuerzo de ingeniería significativo.
Requisitos de cómputo más altos: incluso cuando se usan modelos más pequeños, ejecutarlos juntos en conjuntos aumenta las demandas computacionales.
Buen Diseño de Mecanismo de Consenso: La forma en que se logra el consenso - mediante votación mayoritaria, puntuación ponderada u otros métodos - juega un papel crítico en la confiabilidad del sistema. En casos ambiguos, los conjuntos pueden tener dificultades para alinearse, lo que lleva a resultados inconsistentes.
Origen: Mira
La API de Mira se integra fácilmente con cualquier aplicación, al igual que el GPT-4o de OpenAI. Es agnóstica para aplicaciones de consumidor y B2B, lo que la convierte en una solución versátil para diversos casos de uso. Hoy en día, más de una docena de aplicaciones utilizan la infraestructura de Mira.
Integraciones de consumidores
En el lado del consumidor, Mira ya está proporcionando verificación de IA para varias aplicaciones de IA en etapas iniciales:
Delphi Oraclees la integración más reciente y, quizás, la más avanzada. Este asistente de investigación impulsado por IA permite @Delphi_Digitallos miembros pueden interactuar directamente con el contenido de investigación, hacer preguntas, aclarar puntos, integrar feeds de precios y ajustar el contenido a varios niveles de complejidad.
Delphi Oracle aprovecha la tecnología de verificación de la red Mira para ofrecer respuestas confiables y precisas. Al verificar las respuestas en varios modelos, Mira reduce las tasas de alucinación de ~30% a menos del 5%, asegurando una base sólida de confianza.
En el núcleo de Delphi Oracle se encuentra un enrutador de consultas de alto rendimiento
Este sistema de enrutamiento inteligente, combinado con el almacenamiento en caché inteligente, garantiza un rendimiento óptimo al equilibrar la latencia, el costo y la calidad.
Las pruebas de Mira revelaron que los modelos más pequeños y rentables podían manejar la mayoría de las consultas casi tan bien como los modelos más grandes. Esto ha resultado en una reducción del 90% en los costos operativos, todo manteniendo las respuestas de alta calidad que los usuarios esperan.
Aunque muchas de estas aplicaciones para consumidores aún están en una etapa temprana, destacan la capacidad de Mira para integrarse sin problemas y respaldar bases de usuarios activas y numerosas. No es difícil imaginar que miles de aplicaciones se conecten al ecosistema de Mira, siempre y cuando la experiencia del desarrollador siga siendo sencilla y la propuesta de valor siga siendo clara.
Aplicaciones B2B
En el frente B2B, Mira se está enfocando en integraciones especializadas en industrias donde la confianza y la precisión son primordiales, con un enfoque inicial en la atención médica y la educación.
Las aplicaciones clave incluyen:
El objetivo final de Mira es ofrecer generaciones verificadas de forma nativa, donde los usuarios simplemente se conecten a través de una API, al igual que OpenAI o Anthropic, y reciban salidas preverificadas antes de que se devuelvan.
El objetivo es reemplazar las API de modelos existentes proporcionando versiones altamente confiables de los modelos existentes (por ejemplo, Mira-Claude-3.5-Sonnet o Mira-OpenAI-GPT-4o), mejorados con confiabilidad incorporada basada en consenso.
La inteligencia artificial generativa está en un cohete. SegúnBloomberg, el mercado se proyecta crecer a una asombrosa tasa de crecimiento anual compuesto (CAGR) del 42%, con ingresos que superarán el billón de dólares para el 2030. Dentro de esta ola masiva, las herramientas que mejoren la velocidad, precisión y confiabilidad de los flujos de trabajo de IA capturarán una porción significativa.
A medida que más empresas integran LLM en sus flujos de trabajo, que van desde chatbots de soporte al cliente hasta asistentes de investigación complejos, la necesidad de verificaciones de modelos sólidos se vuelve más apremiante.
Las organizaciones buscarán herramientas que puedan (1) medir la precisión y confiabilidad del modelo, (2) diagnosticar ineficiencias de pronta y parámetros, (3) monitorear continuamente el rendimiento y la deriva, y (4) garantizar el cumplimiento de los marcos regulatorios emergentes en torno a la seguridad de la IA.
¿Te suena familiar? Es un libro de jugadas que hemos visto antes con MLOps (abreviatura de "Machine Learning Operations"). A medida que el aprendizaje automático aumentó en la década de 2010, las herramientas para implementar, rastrear y mantener modelos se volvieron esenciales, creando un mercado de miles de millones de dólares. Con el auge de la inteligencia artificial generativa, LLMOps está siguiendo la misma trayectoria.
Capturar incluso una pequeña porción del mercado de billones de dólares podría llevar a este subsector a más de $100 mil millones para 2030.
Varias startups de Web2 ya se están posicionando, ofreciendo herramientas para anotar datos, ajustar modelos y evaluar el rendimiento:
• Braintrust ($36M recaudados)
• Vellum AI ($5M recaudados)
• Humanloop ($2.8M recaudados)
Estos primeros actores están sentando las bases, pero el espacio es fluido. En 2025, es probable que veamos una proliferación de startups en este sector. Algunas pueden especializarse en métricas de evaluación de nicho (por ejemplo, detección de sesgos y pruebas de robustez), mientras que otras amplían sus ofertas para cubrir todo el ciclo de desarrollo de IA.
Los grandes incumbentes tecnológicos, como los principales proveedores de nube y plataformas de IA, probablemente incluirán características de evaluación en sus ofertas. El mes pasado,OpenAIintrodujo evaluaciones directamente en su plataforma. Para mantenerse competitivas, las startups deben diferenciarse a través de la especialización, la facilidad de uso y el análisis avanzado.
Mira no es un competidor directo de estas startups o incumbentes. En cambio, es un proveedor de infraestructura que se integra perfectamente con ambas a través de APIs. ¿La clave? Solo tiene que funcionar.
El tamaño inicial del mercado de Mira está vinculado a LLMOps, pero su mercado total alcanzable se expandirá a toda la IA porque cada aplicación de IA necesitará salidas más confiables.
Desde el punto de vista de la teoría de juegos, Mira se encuentra en una situación única. A diferencia de otros proveedores de modelos como OpenAI, que están obligados a soportar sus propios sistemas, Mira puede integrarse en todos los modelos. Esto posiciona a Mira como la capa de confianza para la IA, ofreciendo una fiabilidad que ningún proveedor puede igualar por sí solo.
La hoja de ruta de Mira para 2025 tiene como objetivo equilibrar la integridad, la escalabilidad y la participación de la comunidad en su camino hacia la plena descentralización:
Fase 1: Creando confianza (Donde estamos hoy)
En la etapa inicial, los operadores de nodos verificados aseguran la confiabilidad de la red. Proveedores de servicios de cálculo de GPU conocidos actúan como la primera ola de operadores, encargándose de las operaciones iniciales y sentando una base sólida para el crecimiento.
Fase 2: Descentralización Progresiva
Mira introduce la duplicación diseñada, donde múltiples instancias del mismo modelo verificador procesan cada solicitud. Si bien esto aumenta los costos de verificación, es esencial para identificar y eliminar operadores maliciosos. Al comparar las salidas entre nodos, los actores malintencionados son detectados tempranamente.
En su forma madura, Mira implementará el particionamiento aleatorio para distribuir las tareas de verificación. Esto hace que la colusión sea económicamente inviable y fortalece la resistencia y seguridad de la red a medida que se expande.
Fase 3: Modelo de base sintética
Aquí Mira ofrecerá generaciones verificadas de forma nativa. Los usuarios se conectarán a través de la API, similar a OpenAI o Anthropic, y recibirán resultados preverificados, confiables y listos para usar sin validación adicional.
En los próximos meses, Mira se está preparando para varios hitos importantes:
Mira está ampliando las oportunidades de participación comunitaria a través de suPrograma de Delegación de Nodos. Esta iniciativa hace que el apoyo a la red sea accesible para todos, no se requiere experiencia técnica.
El proceso es simple: puede alquilar recursos informáticos y delegarlos a un grupo curado de operadores de nodos. Las contribuciones pueden oscilar entre $35 y $750, y se ofrecen recompensas por apoyar la red. Mira gestiona toda la infraestructura compleja, por lo que los delegados de nodos pueden sentarse, ver crecer la red y capturar algunas ventajas.
Hoy en día, Mira tiene un equipo pequeño pero unido que se centra en gran medida en la ingeniería.
Hay 3 cofundadores:
Juntos, combinan la habilidad de inversión, la innovación técnica y el liderazgo de productos para la visión de Mira de la verificación descentralizada de IA. Mira recaudó $9Mronda de financiación inicialen julio de 2024, liderado por BITKRAFT y Framework Ventures.
Es refrescante ver a un equipo de Crypto AI abordando un problema fundamental de IA Web2: mejorar la IA, en lugar de jugar juegos especulativos en la burbuja de las criptomonedas.
La industria se está dando cuenta de la importancia de las verificaciones. Ya no es suficiente depender de las “vibraciones”. Pronto, cada aplicación de IA y flujo de trabajo necesitará un proceso de verificación adecuado, y no es difícil imaginar que futuras regulaciones exijan estos procesos para garantizar la seguridad.
El enfoque de Mira aprovecha múltiples modelos para verificar de forma independiente las salidas, evitando depender de un solo modelo centralizado. Este marco descentralizado mejora la confianza y reduce los riesgos de sesgo y manipulación.
Y consideremos qué sucede si llegamos a AGI en los próximos años (una posibilidad real).
ComoAnand Iyer (@AICanonical señala que, si la IA puede manipular sutilmente decisiones y código, ¿cómo podemos confiar en los sistemas que prueban estos comportamientos? La gente inteligente está pensando en el futuro.Investigación de Anthropicsubraya la urgencia, destacando las evaluaciones como una herramienta crítica para identificar capacidades de IA potencialmente peligrosas antes de que se conviertan en problemas.
Al habilitar la transparencia radical, las blockchains agregan una poderosa capa de protección contra sistemas de IA maliciosos. Los mecanismos de consenso sin confianza garantizan que las evaluaciones de seguridad sean verificadas por miles de nodos independientes (como en Mira), reduciendo drásticamente el riesgo de ataques Sybil.
Mira está persiguiendo un mercado enorme con una clara demanda de una solución que funcione. Pero los desafíos son reales. Mejorar la latencia, la precisión y la rentabilidad requerirá un esfuerzo y un tiempo de ingeniería incesantes. El equipo tendrá que demostrar constantemente que su enfoque es mensurablemente mejor que las alternativas existentes.
La innovación principal radica en el proceso de binarización y fragmentación de Mira. Esta “salsa secreta” promete abordar los desafíos de escalabilidad y confianza. Para que Mira tenga éxito, esta tecnología debe cumplir con su promesa.
En cualquier red descentralizada, el diseño de tokens y los incentivos son factores determinantes. El éxito de Mira dependerá de cómo estos mecanismos alineen los intereses de los participantes mientras mantienen la integridad de la red.
Aunque los detalles de la tokenómica de Mira se mantienen en secreto, espero que el equipo revele más a medida que se acerque el lanzamiento del token a principios de 2025.
“Hemos descubierto que los equipos de ingeniería que implementan grandes evaluaciones se mueven significativamente más rápido, hasta 10 veces más rápido, que aquellos que solo observan lo que sucede en producción e intentan solucionarlos de manera ad-hoc” - Ankur Goyal, Braintrust
En un mundo impulsado por la IA, la confianza lo es todo.
A medida que los modelos se vuelven más complejos, las verificaciones confiables respaldarán cada gran producto de IA. Nos ayudan a abordar las alucinaciones, eliminar los sesgos y garantizar que las salidas de IA se alineen con las necesidades reales de los usuarios.
Mira automatiza verificaciones, reduciendo costos y dependencia de la intervención humana. Esto permite iteraciones más rápidas, ajustes en tiempo real y soluciones escalables sin cuellos de botella.
En última instancia, Mira tiene como objetivo ser la API de confianza, un marco de verificación descentralizado en el que todo desarrollador de IA y aplicación pueda depender para obtener respuestas verificadas.
Es audaz, ambicioso y exactamente lo que el mundo de la IA necesita.
Gracias por leer, Teng Yan