Devlin et al. lanzaron BERT, popularizando fine-tuning de modelos de lenguaje en masked LM y next sentence prediction.
En octubre de 2018, Google publicó BERT: Bidirectional Encoder Representations from Transformers. El preentrenamiento enmascarado permitió contextos bidireccionales ricos.
Fine-tunear BERT rompió récords en GLUE y SQuAD. La industria adoptó “descargar checkpoint + ajustar” como flujo estándar.
BERT fijó el paradigma encoder; GPT fijó el decoder generativo. La tensión entre ambos moldeó productos hasta la era ChatGPT.
Vaswani et al. (Google) reemplazaron recurrencia por auto-atención, arquitectura base de BERT, GPT y casi todo el NLP moderno.
Google fusionó esfuerzos Brain/DeepMind en Gemini, familia multimodal entrenada nativa para texto, código e imagen.
Tomas Mikolov y colegas en Google lanzaron Word2Vec, popularizando embeddings densos y analogías tipo rey–hombre+mujer≈reina.