Labs generaron corpora sintéticos para razonamiento y código, con ganancias y riesgos de colapso por realimentación.
Hacia 2024–2025, papers y blogs de labs describieron pipelines donde un modelo genera problemas/soluciones para entrenar a otro —sobre todo en math y coding.
Beneficio: cubrir colas largas y curricula. Riesgo: model collapse si se pierde diversidad de datos reales.
La calidad del filtro (verificadores, ejecutores de código, checkers formales) se volvió tan crítica como el generador.
Modelos optimizados para pensar más al inferir marcaron 2025, con saltos en math contests y coding agents.
DeepSeek publicó modelos de razonamiento competitivos con costes de entrenamiento reportados bajos, alterando expectativas de mercado.
NVIDIA Blackwell, nuevas TPUs de Google y ASICs de hyperscalers definieron quién entrena e infiere a qué coste.