En el juego del «teléfono astuto» (o roto o roto), un grupo de personas transmite un mensaje de uno a uno secreto. Lo que generalmente sucede es que el mensaje original no tiene mucho que ver con lo que recibe el último destinatario. Y el problema que estamos viendo es que puede suceder algo similar con los agentes prometedores de la IA.

Errores acumulados. Toby Ord, investigador de la Universidad de Oxford, publicado recientemente Un estudio En agentes de IA. En él hablé sobre cómo estos tipos de sistemas tienen el problema de error acumulado o compuesto. Un agente de IA encadena varias etapas de forma autónoma para tratar de resolver un problema que proponemos, por ejemplo, crear código para una determinada tarea, pero si comete un error en una etapa, ese error se acumula y se vuelve más preocupante en la siguiente etapa, y más en la siguiente, y aún más en el siguiente. Por lo tanto, la precisión de la solución se ve comprometida y puede no tener mucho (o nada) que ver con el que realmente resolvería el problema que queríamos resolver.

AI puede programar, pero no por mucho tiempo seguido. Lo que planteó este experto fue la introducción de la «vida media» llamada del agente de IA, lo que ayudaría a estimar la tasa de éxito de acuerdo con la duración de la tarea que un agente de IA quiere resolver. Por ejemplo, un agente con una vida de media hora tendría un éxito del 50% en las tareas de dos horas. El mensaje es abrumador: cuanto más tiempo trabaja un agente de IA, más probable es que disminuya la tasa de éxito. Benjamin Todd, otro experto en IA, Lo expresé de manera diferente: Una IA puede programar durante una hora sin errores (apenas), pero no durante 10 horas. No son figuras reales o definitivas, pero expresan el mismo problema: los agentes de IA no pueden, al menos por el momento, funcionar indefinidamente, porque los errores acumulados condenan la tasa de éxito.

Los humanos se salvan. Pero ten cuidado, porque Algo muy similar sucede Con el rendimiento humano en tareas prolongadas. En el estudio de ORB, se señaló cómo la tasa de éxito empírica está disminuyendo notablemente: después de 15 minutos ya es aproximadamente el 75%, después de una hora y media es del 50%y después de 16 horas de solo el 20%. Todos podemos cometer errores al realizar ciertas tareas encadenadas, y si cometemos un error en una de ellas, en la siguiente tarea de la cadena que el error condena aún más el desarrollo posterior.

Lecun ya advirtió. Yann Lecun, quien dirige los esfuerzos de investigación de la IA en la línea de meta, ha estado notando los problemas con los LLM durante mucho tiempo. En junio de 2023 indio Cómo los LLM autregresivos no pueden ser objetivos y evitar respuestas tóxicas. Explicó que existe una alta probabilidad de que el token que genera un modelo nos lleva fuera del grupo de respuestas correctas, y cuanto más larga sea la respuesta, más difícil es correcto.

Por eso es la corrección de errores. Para evitar el problema, necesitamos reducir la tasa de error de los modelos de IA. Es algo bien conocido En el software Ingenería, donde siempre se recomienda una revisión de código temprano después de una estrategia de «turno de izquierda» para el ciclo de desarrollo de software: cuanto antes se detecte un error, Más fácil y más barato es corregirlo. Y todo lo contrario no sucede si no lo hacemos: el costo de corregir un error crece exponencialmente. Más tarde se detecta en el ciclo de vida. Otros expertos Señalan A ese aprendizaje de refuerzo (aprendizaje de refuerzo, RL) podría resolver el problema, y ​​aquí lecun respondido Eso lo haría si tuviéramos datos infinitos para pulir el comportamiento del modelo, que no tenemos.

Más que agentes, múltiples agentes. En antrópico Recientemente demostraron Cómo hay una forma de mitigar aún más errores (y errores acumulados posteriores): use sistemas multi -legales. Esto es: que múltiples agentes de IA funcionan en paralelo y luego enfrentan sus resultados y determinan la ruta o solución óptima.

Pero los modelos y los agentes no dejan de mejorar (¿o no?). Todd mismo Señaló algo importante Y eso permite ser optimista sobre ese problema. «La tasa de error de los modelos de IA se reduce en la mitad de aproximadamente cada cinco meses», explicó. Y a ese ritmo es posible que los agentes de IA puedan completar con éxito docenas de tareas encadenadas en un año y medio y cientos en otro año y medio después. En el New York Times No estaban de acuerdo, y recientemente señalaron que, aunque los modelos son cada vez más poderosos, también «alucinan» en lugar de generaciones anteriores. El «tarjeta del sistema«O3 y O4-Mini apuntan con precisión al hecho de que existe un problema real con la tasa de error y las» alucinaciones «en ambos modelos.

En | Las alucinaciones siguen siendo el talón de Aquiles de la IA: los últimos modelos Operai inventan más de la cuenta

(Function () {window._js_modules = window._js_modules || {}; var headelement = document.getelegsbytagname (‘head’)[0]; if (_js_modules.instagram) {var instagramscript = document.creatElement (‘script’); instagramscript.src = «instagramscript.async = true; instagramscript.defer = true; headelement.appendChild (Instagramscript);}}) ();

–
La noticia Existe un riesgo con los agentes de IA y los errores acumulados: que son un «teléfono exprimido» Fue publicado originalmente en Por Javier Pastor.