Des chercheurs affirment avoir entraîné un modèle de fondation à partir de zéro pour environ 1 500 $
• Des chercheurs de Sapient ont développé un modèle de raisonnement de 1 milliard de paramètres, nommé HRM-Text, en l'entraînant à partir de zéro pour un coût approximatif de 1 500 $. • Le modèle a été entraîné sur 40 milliards de tokens et a atteint des niveaux de performance compétitifs avec des modèles plus larges allant de 2 à 7 milliards de paramètres. • Cette avancée démontre que le pré-entraînement fondationnel n'est plus l'apanage des institutions riches, permettant ainsi à des organisations plus petites de construire des modèles de raisonnement performants à moindre coût.
venturebeat.com