Forscher geben an, ein Basismodell für etwa 1.500 $ von Grund auf neu trainiert zu haben
• Forscher bei Sapient entwickelten ein Reasoning-Modell mit 1 Milliarde Parametern namens HRM-Text, indem sie es für etwa 1.500 $ von Grund auf trainierten. • Das Modell wurde mit 40 Milliarden Tokens trainiert und erreichte Leistungsniveaus, die mit größeren Modellen im Bereich von 2 bis 7 Milliarden Parametern konkurrenzfähig sind. • Dieser Durchbruch zeigt, dass das grundlegende Pretraining nicht mehr nur wohlhabenden Institutionen vorbehalten ist, was es kleineren Organisationen ermöglicht, leistungsfähige Reasoning-Modelle erschwinglich zu entwickeln.
venturebeat.com


