Antes de 2012, Hinton, Bengio y LeCun impulsaron preentrenamiento voraz, autoencoders y evidencia de que redes profundas podían aprender.
Entre 2006 y 2011, Geoffrey Hinton y colaboradores popularizaron deep belief networks y preentrenamiento capa a capa; Yoshua Bengio y Yann LeCun aportaron teoría, CNN y optimización. El “Deep Learning Conspiracy” aún luchaba por aceptación.
Resultados en habla y en dígitos sugerían que la profundidad importaba, pero faltaba un golpe mediático en visión a gran escala.
Ese golpe llegó con AlexNet en ILSVRC 2012. Sin la década previa de trabajo terco, el boom habría sido imposible.
El paper de Rumelhart, Hinton y Williams popularizó el descenso de gradiente por retropropagación del error en redes multicapa.
Krizhevsky, Sutskever y Hinton ganaron ILSVRC 2012 con una CNN profunda en GPUs, derrumbando el error de clasificación.
A inicios de 2010s, redes profundas reemplazaron partes clave de sistemas HMM-GMM y bajaron drásticamente la tasa de error en habla.