Vaswani et al. (Google) reemplazaron recurrencia por auto-atención, arquitectura base de BERT, GPT y casi todo el NLP moderno.
El 12 de junio de 2017, el paper “Attention Is All You Need” propuso el Transformer: encoder–decoder con multi-head self-attention y positional encodings, sin CNN ni RNN.
La paralelización del entrenamiento superó a seq2seq recurrentes en traducción. Pronto la arquitectura se extendió a visión, audio y multimodalidad.
Casi todos los LLM fronterizos de 2020–2026 son variantes de este diseño. Pocos papers han reordenado tanto el stack de la IA.
Devlin et al. lanzaron BERT, popularizando fine-tuning de modelos de lenguaje en masked LM y next sentence prediction.
Google fusionó esfuerzos Brain/DeepMind en Gemini, familia multimodal entrenada nativa para texto, código e imagen.
El 2 de septiembre de 2026 Google presentó Gemini 3.8 Flash a precio introductorio y Flash Cyber solo para defensores de confianza vía Fairwind, con foco en ingeniería de software de largo horizonte y parcheo.