BERT

BERT (2018): preentrenamiento bidireccional que unificó NLP

Devlin et al. lanzaron BERT, popularizando fine-tuning de modelos de lenguaje en masked LM y next sentence prediction.