Stack

• Chip Huyen está compartilhando estratégias para reduzir os custos de inferência de IA, que são as despesas associadas à execução de um modelo treinado para gerar previsões, antes de sua participação na P99 CONF em 21 e 22 de outubro. • Ela recomenda o uso de continuous batching para evitar que os slots de hardware fiquem ociosos enquanto aguardam a conclusão da requisição mais lenta de um grupo. • Essa abordagem permite que os desenvolvedores processem mais requisições simultaneamente, diminuindo o custo por saída para as empresas que implementam large language models.

• Empresas de infraestrutura de IA dominaram as maiores rodadas de capital de risco desta semana, lideradas por investimentos massivos em provedores de nuvem e data centers. • A Crusoe garantiu US$ 3 bilhões em financiamento, enquanto a Fluidstack arrecadou US$ 1,5 bilhão e a startup de inferência de IA Gimlet Labs obteve US$ 300 milhões. • Esses acordos de bilhões de dólares sinalizam uma forte mudança de mercado em direção ao hardware físico e à capacidade de nuvem necessários para executar modelos de IA em larga escala.

• Los Angeles já era favorito ao Super Bowl • O defensive tackle foi selecionado 10 vezes para o Pro Bowl com o Rams • O jogador de 35 anos busca conquistar seu segundo Super Bowl em LA

• O Ollama lançou um novo proxy que permite ao Claude Desktop executar modelos de pesos abertos, incluindo Qwen, DeepSeek e Kimi. • Esta atualização segue uma tentativa inicial de integração malsucedida e foi projetada para contornar as restrições de modelo que fizeram a primeira versão estagnar. • O lançamento ocorre logo após o Ollama garantir uma rodada de financiamento de US$ 65 milhões em julho para expandir a acessibilidade de modelos abertos.

• A MotherDuck adquiriu a Tower, uma startup que anteriormente servia como o runtime de pipeline subjacente para os próprios pipelines de dados da MotherDuck. • A aquisição ocorre após um período em que a MotherDuck rapidamente se tornou a maior cliente da Tower, levando a empresa a internalizar essa infraestrutura crítica. • Este movimento alinha-se a uma visão mais ampla da engenharia de dados migrando para a "supervisão de agentes", onde agentes de IA gerenciam a construção e o reparo de pipelines enquanto humanos supervisionam o processo.

• A JetBrains lançou o Junie Local, um assistente de codificação por IA que funciona inteiramente offline na máquina do usuário, em vez de depender de modelos hospedados na nuvem. • Para funcionar de forma eficaz, a ferramenta exige hardware de ponta, recomendando especificamente um Mac com chip M5 e pelo menos 64 GB de RAM. • Essa mudança permite que os desenvolvedores mantenham a total privacidade do código, eliminem os custos de API por solicitação e continuem trabalhando sem conexão com a internet.

• A OpenAI desacelerou o treinamento de seus modelos mais recentes, incluindo uma pausa de duas semanas no aprendizado por reforço (RL) para modelos destinados à implementação. • A empresa atribui oficialmente esse ritmo a riscos de cibersegurança, optando por realizar rodadas de avaliação menores e contidas antes de prosseguir com sua maior execução de RL de fronteira planejada. • Analistas sugerem que a desaceleração pode, na verdade, ser impulsionada por perdas financeiras crescentes e pressão crescente de rivais de IA chineses, e não apenas por preocupações de segurança.

• A Mistral AI anunciou que começará a hospedar modelos de código aberto de terceiros em sua própria infraestrutura, começando pelo GLM-5.2 da Z.ai. • A empresa está expandindo sua oferta de serviços para incluir novos endpoints regionais e um nível de API prioritário para maior desempenho. • Esse movimento permite que a Mistral AI evolua de uma desenvolvedora de modelos para uma provedora de infraestrutura de IA mais ampla, aumentando a acessibilidade para diversos modelos abertos.

• A OpenAI lançou oficialmente seu aplicativo de desktop do ChatGPT e Codex para usuários de Linux. • O lançamento inclui pacotes nativos, um navegador integrado ao aplicativo e suporte para o ChatGPT Work. • Essa expansão oferece aos desenvolvedores Linux e líderes de engenharia de software um ambiente mais integrado para produtividade e codificação assistida por IA.

• A aquisição de US$ 2 bilhões da Manus, uma desenvolvedora de agentes de IA de propósito geral sediada em Singapura, pela Meta, fracassou após ser bloqueada por autoridades chinesas. • O acordo foi alvo de escrutínio tanto na China quanto nos EUA, com reguladores chineses investigando possíveis violações de regras de investimento estrangeiro e a transferência não autorizada de tecnologia doméstica. • Como resultado da separação, a Manus excluirá certos dados de usuários, gerando a necessidade de que os desenvolvedores protejam e salvem suas informações.