Peneliti Mengklaim Melatih Foundation Model dari Nol dengan Biaya Sekitar $1.500
β’ Peneliti di Sapient mengembangkan model penalaran 1B parameter, yang disebut HRM-Text, dengan melatihnya dari nol dengan biaya sekitar $1.500. β’ Model tersebut dilatih menggunakan 40B token dan mencapai tingkat performa yang kompetitif dengan model yang lebih besar dalam rentang 2B hingga 7B parameter. β’ Terobosan ini menunjukkan bahwa pra-pelatihan (pretraining) fondasi tidak lagi eksklusif bagi institusi kaya, sehingga memungkinkan organisasi yang lebih kecil untuk membangun model penalaran yang mumpuni dengan biaya terjangkau.
venturebeat.com