Pesquisadores afirmam ter treinado um modelo de fundação do zero por cerca de US$ 1.500
• Pesquisadores da Sapient desenvolveram um modelo de raciocínio de 1 bilhão de parâmetros, chamado HRM-Text, treinando-o do zero por aproximadamente US$ 1.500. • O modelo foi treinado com 40 bilhões de tokens e alcançou níveis de desempenho competitivos com modelos maiores, variando de 2 a 7 bilhões de parâmetros. • Este avanço demonstra que o pré-treinamento fundamental não é mais exclusivo de instituições ricas, permitindo que organizações menores construam modelos de raciocínio capazes de forma acessível.
venturebeat.com
