Onderzoekers beweren foundation model vanaf nul te hebben getraind voor ongeveer $ 1.500
• Onderzoekers bij Sapient hebben een redeneermodel van 1B parameters ontwikkeld, genaamd HRM-Text, door dit vanaf nul te trainen voor ongeveer $ 1.500. • Het model werd getraind op 40B tokens en behaalde prestatieniveaus die concurrerend zijn met grotere modellen variërend van 2B tot 7B parameters. • Deze doorbraak demonstreert dat fundamentele pretraining niet langer exclusief is voor vermogende instellingen, waardoor kleinere organisaties betaalbare en capabele redeneermodellen kunnen bouwen.
venturebeat.com