Kaiming He y colegas (Microsoft Research) introdujeron Residual Networks: atajos que facilitan el flujo de gradiente y permiten redes muy profundas sin colapsar el entrenamiento.
ResNet-50/101 se volvieron backbone por defecto en visión. La idea de skip connections se filtró a innumerables arquitecturas, incluidas variantes en NLP.
El paper ilustró un patrón del deep learning: un truco de optimización/arquitectura puede desbloquear una escala nueva de modelos.