Scale AI presentó el 7 de octubre de 2026, en colaboración con la empresa Elorian, Humanity’s Sixth Sense (HSS), una prueba de evaluación diseñada para medir el razonamiento visual intuitivo de los modelos de inteligencia artificial. El conjunto incluye 522 tareas abiertas basadas en 288 imágenes y 234 fragmentos de vídeo, con un total de 17,6 horas de grabación. Su conclusión principal es contundente: los modelos pasan por alto lo que cualquier persona capta de un vistazo.
Los autores parten de una paradoja. Los modelos actuales muestran un «coeficiente visual» elevado: leen gráficos, superan exámenes y extraen texto de imágenes con facilidad. Sin embargo, les cuesta lo que para las personas es casi automático: interpretar una sala, saber quién manda en una reunión, calcular si un coche cabe entre dos aparcados o entender por qué un perro se asusta con unos pájaros. Según Scale AI, esa intuición se apoya en una comprensión latente de la dinámica social, las relaciones espaciales, la causa y el efecto físicos y las intenciones.
Para los agentes que se despliegan en hogares, vehículos y lugares de trabajo, sostienen los autores, esta habilidad no es un lujo sino una necesidad. Sin embargo, la mayoría de las pruebas visuales existentes evalúan análisis académicos de nivel experto o percepción de bajo nivel, y dejan sin medir el razonamiento intuitivo que las personas realizan de forma instintiva. La ciencia cognitiva estima que categorizamos escenas naturales en unos 150 milisegundos mientras extraemos dinámicas físicas, motivos y estructura social.
HSS organiza sus tareas en cuatro dominios y once subdominios. El primero, dinámica temporal y causal, pide reconstruir lo que ocurrió antes o lo que ocurrirá después. El segundo, lógica física y espacial, trata de objetos ocultos, de si algo cabe o es alcanzable y de cómo se ve una escena desde otro punto de vista. El tercero, comprensión social, aborda creencias, emociones, normas no escritas y relaciones de poder. El cuarto, inferencia abstracta y contextual, busca la regla que da sentido a una escena, incluidas caras que aparecen en objetos.
El proceso de construcción fue exigente. Anotadores formados eligieron una imagen o un vídeo, escribieron una pregunta, una respuesta de referencia y una rúbrica de criterios atómicos. Cada tarea debía exigir una inferencia más allá de lo que se ve, no requerir conocimientos especializados y generar acuerdo unánime entre personas. Tras tres rondas de revisión independientes, solo sobrevivieron 522 de 3.466 tareas redactadas, una tasa de aceptación del 15,1 %.
La evaluación también busca evitar atajos. Los modelos responden en texto libre, sin opciones múltiples que permitan descartar, y un modelo evaluador, Claude-Opus-5, puntúa cada respuesta según la rúbrica: una tarea solo cuenta como resuelta si se cumplen todos los criterios. Para comprobar la fiabilidad del sistema, los autores volvieron a puntuar cinco modelos con evaluadores de tres proveedores distintos, y las clasificaciones fueron idénticas, con un acuerdo superior al 95 %.
Los resultados se obtuvieron con 25 modelos multimodales de ocho proveedores y 20 participantes humanos. Las personas alcanzaron un 93,1 % de aciertos; el mejor modelo, GPT-6-astra, se quedó en el 53,6 % incluso con el máximo esfuerzo de razonamiento, y la mediana fue del 30,9 %. Cuando se retiró la imagen o el vídeo, GPT-6-astra cayó al 6,6 %, lo que confirma que las tareas no se pueden resolver con conocimientos previos del lenguaje.
Pensar más no cierra la brecha. Los modelos gastan de media 4.046 tokens de razonamiento por tarea en preguntas que las personas responden de un vistazo. Aumentar el esfuerzo de razonamiento ayuda en conjunto, pero empeora algunos subdominios: GPT-6-astra pierde 14 puntos en retrodicción, es decir, en deducir lo que ya ocurrió, al pasar del nivel alto al máximo, y la mejor precisión suele llegar con un ajuste intermedio.
El análisis de errores es quizá la parte más reveladora. De 8.573 fallos examinados, el 94 % se debe a problemas de percepción o de inferencia latente y solo el 5 % a una lógica defectuosa. Las dos causas principales son pasar por alto la pista visual decisiva (21 %) y confundir un objeto, una persona o un papel (20 %). Los errores son sistemáticos: en las tareas que fallan cinco o más modelos, una mediana del 80 % falla por la misma razón.
La comprensión social resulta el dominio más débil: es el de menor puntuación para 21 de los 25 modelos, con una media del 24,4 % frente al 34,1 % de los otros tres. El vídeo también es más difícil que la imagen para 23 de 25 modelos, con una diferencia media de 7,3 puntos. Scale AI ofrece ejemplos: los modelos no entendieron que una mujer dejaba de correr porque el autobús se había detenido a esperarla, y afirmaron que no cabían dos libros en una estantería donde los huecos eran visibles.
Los autores probaron también configuraciones con herramientas. Dentro de Claude Code y Codex, donde los modelos pueden recortar, ampliar, buscar en la web y volver a muestrear el contenido, la mejor configuración alcanzó el 59,3 % en un subconjunto de 388 tareas. Examinar de cerca corrige pistas omitidas y objetos mal identificados, pero no la profundidad: los errores por interpretar un solapamiento en dos dimensiones como una alineación en tres apenas cambiaron, de 102 a 101.
Las implicaciones van más allá de una clasificación. Si la intuición visual es necesaria para robots domésticos, vehículos autónomos o asistentes que miran a través de una cámara, la brecha medida por HSS señala un límite práctico de los sistemas actuales. Los autores concluyen que la intuición visual es un eje medible de la inteligencia multimodal que el escalado actual ha dejado atrás, y que más cómputo en el momento de responder no basta para resolverlo.
Como cualquier prueba, HSS tiene matices. Usa un modelo como evaluador, aunque los autores validaron sus juicios con evaluadores de tres proveedores, y las puntuaciones cambiarán a medida que lleguen nuevas versiones de los modelos. Scale AI ha publicado el conjunto de datos en Hugging Face, el código de evaluación y un artículo técnico, lo que permitirá a otros equipos reproducir los resultados y medir nuevos modelos con las mismas reglas.
En resumen, Humanity’s Sixth Sense pone cifras a una intuición extendida entre quienes trabajan con IA: los modelos pueden resolver problemas que exigen conocimientos expertos y, al mismo tiempo, fallar en juicios visuales que cualquier persona hace sin pensar. La distancia entre el 93,1 % humano y el 53,6 % del mejor modelo marca un objetivo claro para la próxima generación de sistemas multimodales y una advertencia para quienes planean desplegarlos en el mundo físico.
