Las respuestas de valor de 1000 sujetos de prueba se utilizaron para afinar un gran modelo lingüístico más democrático.
En lo que podría ser el primer estudio de este tipo, la empresa de inteligencia artificial (IA) Anthropic ha desarrollado un gran modelo lingüístico (LLM) que ha sido afinado para juicios de valor por su comunidad de usuarios.
What does it mean for AI development to be more democratic? To find out, we partnered with @collect_intel to use @usepolis to curate an AI constitution based on the opinions of ~1000 Americans. Then we trained a model against it using Constitutional AI. pic.twitter.com/ZKaXw5K9sU
— Anthropic (@AnthropicAI) October 17, 2023
¿Qué significa que el desarrollo de la IA sea más democrático? Para averiguarlo, nos asociamos con @collect_intel para utilizar @usepolis para crear una constitución de IA basada en las opiniones de unos 1000 estadounidenses. A continuación, entrenamos un modelo con la IA constitucional.
Muchos LLM de cara al público se han desarrollado con guardarraíles —-instrucciones codificadas que dictan un comportamiento específico— en un intento de limitar los outputs no deseados. Claude, de Anthropic, y ChatGPT, de OpenAI, por ejemplo, suelen dar a los usuarios una respuesta de seguridad predefinida a las solicitudes de outputs relacionados con temas violentos o controvertidos.
Sin embargo, como han señalado innumerables expertos, los guardarraíles y otras técnicas de intervención pueden servir para despojar a los usuarios de su autonomía. Lo que se considera aceptable no siempre es útil, y lo que se considera útil no siempre es aceptable. Y las definiciones de moralidad o los juicios basados en valores pueden variar según las culturas, los pueblos y las épocas.
Un posible remedio a esto es permitir a los usuarios dictar la alineación de valores para los modelos de IA. El experimento “IA Constitucional Colectiva” de Anthropic es una puñalada a este “desafío desordenado”.
Anthropic, en colaboración con Polis y Collective Intelligence Project, se dirigió a 1,000 usuarios de diversos grupos demográficos y les pidió que respondieran a una serie de preguntas a través de encuestas.
El reto consiste en dejar que los usuarios determinen lo que es apropiado sin exponerlos a resultados inadecuados. Esto implicaba solicitar los valores de los usuarios y luego implementar esas ideas en un modelo que ya ha sido entrenado.
Anthropic utiliza un método llamado “IA constitucional” para dirigir sus esfuerzos a afinar los LLM para que sean seguros y útiles. En esencia, se trata de dar al modelo una lista de reglas que debe respetar y entrenarlo para que las aplique a lo largo de todo el proceso, de forma parecida a como una constitución sirve de documento básico para la gobernanza en muchas naciones.
En el experimento de IA Constitucional Colectiva, Anthropic trató de integrar la retroalimentación de grupo en la constitución del modelo. Los resultados, según una entrada del blog de Anthropic, parecen haber sido un éxito científico en la medida en que pusieron de manifiesto nuevos retos para alcanzar el objetivo de permitir a los usuarios de un producto de LLM determinar sus valores colectivos.
Una de las dificultades que tuvo que superar el equipo fue idear un método novedoso para el proceso de evaluación comparativa. Como este experimento parece ser el primero de este tipo y se basa en la metodología de IA constitucional de Anthropic, no existe una prueba establecida para comparar los modelos base con los ajustados con valores de origen colectivo.
En última instancia, parece que el modelo que implementó los datos resultantes de las encuestas de los usuarios superó “ligeramente” al modelo base en el ámbito de los resultados sesgados.
Según el post del blog:
“Más que el modelo resultante, nos entusiasma el proceso. Creemos que éste puede ser uno de los primeros casos en los que miembros del público, como grupo, han dirigido intencionadamente el comportamiento de un gran modelo lingüístico. Esperamos que comunidades de todo el mundo se basen en técnicas como ésta para entrenar modelos cultural y contextualmente específicos que respondan a sus necesidades”.
Aclaración: La información y/u opiniones emitidas en este artículo no representan necesariamente los puntos de vista o la línea editorial de Cointelegraph. La información aquí expuesta no debe ser tomada como consejo financiero o recomendación de inversión. Toda inversión y movimiento comercial implican riesgos y es responsabilidad de cada persona hacer su debida investigación antes de tomar una decisión de inversión
Ir a la Fuente
Author: Tristan Greene
