Tomas Mikolov y colegas en Google lanzaron Word2Vec, popularizando embeddings densos y analogías tipo rey–hombre+mujer≈reina.
En 2013, el equipo de Tomas Mikolov en Google publicó Word2Vec (skip-gram y CBOW), aprendiendo vectores densos de palabras a gran escala con eficiencia notable.
Las analogías vectoriales capturaron la imaginación pública y se volvieron building block de NLP. GloVe y FastText ampliaron el ecosistema.
Aunque los LLM contextuales reemplazaron embeddings estáticos, Word2Vec enseñó a una generación a pensar el significado como geometría.
Devlin et al. lanzaron BERT, popularizando fine-tuning de modelos de lenguaje en masked LM y next sentence prediction.
EmbeddingGemma 2, basado en Gemma 4 y publicado con licencia Apache 2.0, une texto, código, imágenes, vídeo y audio en un mismo espacio vectorial de 768 dimensiones, cuadruplica el contexto hasta 8.192 tokens y mejora 9,92 puntos en MTEB Code, con versiones modulares desde 270 millones de parámetros.
Los modelos IBM de traducción automática basada en alineamientos estadísticos marcaron el giro data-driven del procesamiento del lenguaje.