BERT (2018): preentrenamiento bidireccional que unificó NLP
Devlin et al. lanzaron BERT, popularizando fine-tuning de modelos de lenguaje en masked LM y next sentence prediction.
4 artículos
NLP
Índice de etiquetas editoriales y cobertura filtrada.
Word2Vec (2013): el álgebra de las palabras
Tomas Mikolov y colegas en Google lanzaron Word2Vec, popularizando embeddings densos y analogías tipo rey–hombre+mujer≈reina.
NLP estadístico en IBM: la traducción deja las reglas puras
Los modelos IBM de traducción automática basada en alineamientos estadísticos marcaron el giro data-driven del procesamiento del lenguaje.
SHRDLU (1970): lenguaje natural en un mundo de bloques
El sistema SHRDLU de Terry Winograd combinó parsing, planificación y un micro-mundo para dialogar sobre bloques manipulables.