Es más preciso que GPT-5 y además más barato. Historia de un modelo pequeño de 8 mil millones de parámetros.
El fin de semana vi la conferencia de la profesora Choi Ye-jin en YouTube. El 29 de septiembre en la Korea Society de Nueva York se celebró «Beyond Scale: The Art of (Artificial) Reasoning and Discovery». Ella es profesora de Stanford, becaria MacArthur y ha sido nombrada dos veces en la lista 'AI 100' de Time. La frase que recorrió la charla de casi una hora fue: «La expansión de la inteligencia continuará, pero debemos lograrlo de una manera más inteligente».
La profesora Choi comenzó hablando de datos. La computación sigue aumentando, pero el combustible, los datos, no crece al mismo ritmo; la gente no escribe lo suficientemente rápido para entrenar la IA. El diagnóstico es que simplemente comprar más GPUs no basta en esta era. Como alternativa, mostró cuatro investigaciones realizadas junto con el equipo de NVIDIA y Stanford, y vi tres puntos que las empresas pueden trasladar directamente a su forma de adoptar la IA.
1. No utilice el modelo más caro como valor predeterminado
El protagonista de la primera escena es 'ToolOrchestra'. Un modelo abierto pequeño de 8 mil millones de parámetros actúa como director. Coloca como herramientas la búsqueda web o una calculadora, modelos abiertos económicos y el costoso GPT-5, y decide por sí mismo qué invocar para cada problema. La recompensa incluye no solo la precisión, sino también la velocidad y el costo. Como resultado, en el examen extremadamente difícil 'Humanity's Last Exam' obtuvo 37.1 puntos, superando a GPT-5 (35.1 puntos). GPT-5 solo se invocó ocasionalmente.
La profesora Choi dijo: «La creencia de que basta con añadir más recursos es generalmente cierta, pero no es económicamente óptima». Además, añadió que en áreas donde los modelos más recientes no han sido entrenados, como los datos empresariales, el efecto de esta combinación es aún mayor. En las reuniones de presupuesto de IA de las empresas nacionales, todavía surge como primera pregunta: «¿No basta con usar el mejor modelo?» Yo llamo a esa pregunta valor predeterminado del modelo más caro. La mayor parte del trabajo lo manejan los modelos pequeños, y solo en los momentos realmente difíciles se invoca el modelo caro; así se equilibran costo y rendimiento.
2. Elegir los datos es más importante que simplemente recopilar muchos
La segunda investigación trata sobre datos sintéticos. Suele decirse que entrenar una IA con datos generados por IA degrada la calidad. La respuesta de la profesora Choi fue contundente: eso ocurre cuando no se invierte esfuerzo. El equipo creó intencionalmente un exceso de datos y luego los filtró mediante varias capas, como un filtro de agua. El filtro intermedio fue la clave. Elimina los tipos ya comunes y conserva los raros: es el «filtro de diversidad».
El modelo de matemáticas de 7B entrenado con esos datos, sin ninguna etiqueta hecha por humanos, superó a los modelos existentes de mejor nivel de la misma categoría. El modelo maestro que creó los problemas también era veinte veces más pequeño que el modelo más grande. El comentario «Sabía que la diversidad era importante, pero no imagined que fuera tan poderosa» resultó impresionante. Los proyectos de datos de las empresas nacionales suelen medir el éxito por «cuánto se ha recopilado», pero mil casos diferentes son más útiles para hacer el modelo más inteligente que diez mil documentos similares. Por eso el KPI del responsable de datos debe cambiar de cantidad a diversidad.
3. «Lo intenté y no funcionó» suele significar que simplemente no se ha intentado lo suficiente
Durante la charla se repitió una expresión: la conclusión de un experimento sin esfuerzo y la de uno con esfuerzo son diferentes. El estudio 'ProRL' es la prueba. Al extender el aprendizaje por refuerzo más de 2000 pasos, se ajustó cuidadosamente la exploración del modelo para que no se inclinara demasiado hacia un lado y se estancara. La profesora Choi lo comparó con la elaboración de whisky o kimchi: se necesita controlar la temperatura y el sellado para obtener buen sabor. Así, el modelo de 1.5B entrenado obtuvo resultados comparables o incluso superiores en varios campos frente a un modelo de razonamiento de 7B, casi cinco veces más grande.
El tercer caso, 'TTT-Discover', es aún más dramático. Tras desplegar el modelo, se le hizo seguir aprendiendo ese mismo problema, y con un costo de aproximadamente 500 dólares logró superar en la optimización de kernels de GPU el récord humano de 1 371 μs, alcanzando 1 161 μs. Sin embargo, la profesora Choi también aclaró las condiciones: al instruir a la IA solo para mejorar el rendimiento, encontró un truco para manipular el reloj del sistema, y los resultados sorprendentes tuvieron que ser verificados nuevamente por humanos mediante inspección visual.
Tras trabajar casi treinta años en estrategia y consultoría de TI en grandes corporaciones, he visto incontables veces situaciones similares: se ejecuta una prueba de concepto (PoC) de tres meses una sola vez y se concluye que «la IA no encaja en nuestro trabajo». Yo llamo a eso PoC a medias. Un experimento sin seleccionar datos, sin refinar los criterios de evaluación y sin contar con una persona que lo verifique no ha fracasado; simplemente aún no ha comenzado.
De la competencia de escala a la competencia de diseño
El Prof. Choi abrió la charla con la historia de David y Goliat. Sin embargo, señaló que no se puede quedarse esperando a que David aparezca sin hacer nada. Concluyó así: sin dolor no hay ganancia, y el mayor enemigo en la colaboración es el ego.
La mayoría de las empresas locales no son Goliat. Por eso esta charla resulta refrescante. Incluso sin el modelo más grande ni la mayor cantidad de GPU, una organización que diseña cuándo y qué modelo usar, selecciona los datos y se compromete hasta el final puede ganar. ¿Nuestro proyecto de IA compite ahora por escala o por diseño?
Si necesita una arquitectura que combine modelos pequeños y costosos, criterios para seleccionar datos internos y un diseño de PoC que se valide hasta el final, contáctenos a través de la consultoría de estrategia de adopción y uso de IA de Knowverse. Revisaremos juntos con el marco de verificación que usamos en el campo.