La capacidad de visión en chatbots permitió razonar sobre diagramas, capturas y documentos escaneados en un solo hilo.
En 2023, OpenAI habilitó visión en GPT-4 (GPT-4V), permitiendo subir imágenes al chat. Google, Anthropic y otros siguieron con stacks multimodales propios.
Casos de uso: accesibilidad, tutoría STEM con diagramas, análisis de UI. También nuevos ataques adversariales visuales y fugas de privacidad por fotos.
La frontera se desplazó de “texto in–texto out” a agentes que ven pantallas y actúan —precursor del computer use.
OpenAI lanzó GPT-4 con mejoras notables en exámenes profesionales, robustez y capacidad visual en variantes posteriores.
Sistemas fronterizos combinaron diagramas, papers PDF y código en un solo hilo de razonamiento verificado por herramientas.
OpenAI presentó CLIP (contraste texto–imagen) y DALL·E (generación de imágenes desde texto), catalizando la ola multimodal.