Investigadores afirman haber entrenado un modelo base desde cero por unos 1.500 dólares
• Investigadores de Sapient desarrollaron un modelo de razonamiento de 1B de parámetros, llamado HRM-Text, entrenándolo desde cero por aproximadamente 1.500 dólares. • El modelo fue entrenado con 40B de tokens y alcanzó niveles de rendimiento competitivos con modelos más grandes que oscilan entre 2B y 7B de parámetros. • Este avance demuestra que el preentrenamiento fundacional ya no es exclusivo de instituciones adineradas, permitiendo que organizaciones más pequeñas construyan modelos de razonamiento capaces de manera económica.
venturebeat.com


