Chip Huyen, 새로운 하드웨어 없이 추론 비용을 절감하는 방법 설명 - The New Stack

- Chip Huyen은 10월 21~22일에 열리는 P99 CONF 출연을 앞두고, 훈련된 모델을 실행하여 예측을 생성하는 데 드는 비용인 AI 추론 비용을 줄이기 위한 전략을 공유하고 있습니다.
- 그녀는 그룹 내에서 가장 느린 요청이 완료될 때까지 하드웨어 슬롯이 유휴 상태로 남는 것을 방지하기 위해 continuous batching을 사용할 것을 권장합니다.
- 이러한 접근 방식을 통해 개발자는 더 많은 요청을 동시에 처리할 수 있으며, 대규모 언어 모델을 배포하는 기업의 출력당 비용을 낮출 수 있습니다.
출처 및 인용
1 출처더 많은 기사
프랑스 AI 붐, 스타트업들의 미국행으로 유럽의 자금 조달 격차 드러나 (By Investing.com)
• 프랑스 AI 스타트업들이 유럽 내 자본 부족 문제를 해결하기 위해 점점 더 미국에서 자금 조달을 모색하고 있습니다. • OpenAI와 Anthropic의 유럽 대안으로 꼽히는 Mistral은 네덜란드 반도체 장비 기업 ASML로부터 투자를 유치했으며, BNP Paribas와 TotalEnergies와 같은 고객사를 목표로 하고 있습니다.
원문 읽기 · uk.investing.com은닉을 통한 보안의 시대는 끝났다, AI가 결정타를 날렸다
• AI와 고도화된 익스플로잇 킷(exploit kits)으로 인해 시스템 구조를 비밀로 유지함으로써 보호받던 '은닉을 통한 보안(security through obscurity)'의 시대가 저물고 있습니다. • 최근 중국과 연관된 것으로 보이는 최소 4개의 스파이 조직이 오픈 소스 Chromium의 '패치 갭(patch-gap)'을 이용해, 안정화 업데이트가 배포되기 전 사용자들을 공격했습니다.
원문 읽기 · theregister.com
The Register프랑스 AI 붐, 스타트업의 미국행으로 드러난 유럽의 자금 조달 격차
• 유럽 내 고가치 기술 기업을 위한 후기 단계 자본이 부족함에 따라, 프랑스 AI 스타트업들이 규모 확장을 위해 미국 투자를 찾는 사례가 늘고 있습니다. • OpenAI의 유럽 대안으로 꼽히는 Mistral은 네덜란드 반도체 장비 기업 ASML로부터 투자를 유치했으며, BNP Paribas 및 TotalEnergies와 같은 고객사를 목표로 하고 있습니다.
원문 읽기 · ca.finance.yahoo.com스타트업 주간 뉴스 - Ollie Forsyth - NEW ECONOMIES
• 이번 주 Poolside의 60억 달러 조달과 Harvey의 기업 가치 155억 달러 달성을 포함하여, 여러 AI 및 국방 스타트업들이 대규모 투자 라운드를 성공적으로 마쳤습니다. • 장거리 정밀 타격 무기 개발사인 Covenant는 Andreessen Horowitz와 Founders Fund 등의 투자자로부터 기업 가치 10억 달러로 2억 5천만 달러를 유치했습니다.
원문 읽기 · neweconomies.co스타트업 인수 뉴스
• 2026년 9월 스타트업 인수 사례를 최근 분석한 결과, 매수자들은 주로 지식재산권(IP), 제품 역량 및 숙련된 팀을 타겟으로 하고 있는 것으로 나타났습니다. • GreyB는 특히 핀테크, 사이버 보안, 블록체인, 인공지능(AI) 및 데이터 집약적 분야에서 강력한 인수 활동이 보고되었다고 밝혔습니다.
원문 읽기 · blog.mean.ceo
Mean CEO's BLOG컴퓨팅 자원과 토큰 부족에 직면한 중국 AI 연구소들, 효율성 증대로 미국과의 격차 좁히고 있다
• FBI, NSA, CISA는 DeepSeek와 Moonshot을 포함한 6개의 중국 AI 기업이 2024년부터 미국 모델을 통해 시스템을 학습시켰다고 비난했습니다. • 연방 기관들은 이러한 관행을 통해 중국 기업들이 수십억 달러 가치의 성능을 추출했으며, DeepSeek가 560만 달러라는 낮은 학습 비용을 발표하는 데 기여했다고 주장합니다.
원문 읽기 · fortune.com
FortuneAltman: 올해 IPO 가능성 낮다 - POLITICO
• OpenAI CEO Sam Altman은 올해 회사가 기업공개(IPO)를 진행할 가능성이 낮다고 밝혔습니다. • Altman은 OpenAI 프로그램과 관련된 자율 해킹 및 사이버 보안 사고 보고가 이어짐에 따라 안전 평가를 강화할 것을 촉구했습니다.
원문 읽기 · politico.com인도 딥테크 스타트업 37개사, Bharat Innovates 행사 참가
• 나렌드라 모디 총리와 다른 BRICS 지도자들이 토요일 뉴델리에서 열린 BRICS Bharat Innovates 전시회를 방문하여 인도의 딥테크 역량을 살펴보았습니다. • 이번 행사에는 37개의 인도 딥테크 스타트업이 참여하여 양자 컴퓨터, 해양 로봇, AI 기반 심장 진단 플랫폼 등의 기술을 선보였습니다.
원문 읽기 · hindustantimes.com
Hindustan Times이번 주말 AI 분야 주요 소식 (2026년 9월 11일~13일)
• Enflame은 2026년 9월 11일부터 13일 사이 상하이 IPO를 통해 약 9억 1,200만 달러를 조달했습니다. • 이번 공모로 Tencent가 지원하는 이 AI 칩 개발사의 기업 가치는 약 255억 달러로 평가되었습니다.
원문 읽기 · theneuron.aiThetechedvocate
• AI 개발사 Anthropic은 2026년 9월 9일과 10일 사이에 자사의 Claude AI 모델과 관련된 사이버 보안 사고를 상세히 다룬 두 건의 보고서를 발표했습니다. • 해당 보고서들은 악의적인 공격자들이 실제 공격에 Anthropic의 기술을 적극적으로 이용하고 있음을 인정하고 있습니다.
원문 읽기 · thetechedvocate.org
The Tech EdvocateAI 리더들의 경고 이후 입법가들이 정부 개입 촉구 - Newsweek
• Anthropic의 CEO Dario Amodei가 자율형 AI 에이전트가 곧 시스템적 위협이 될 수 있다고 경고한 후, 입법가들이 더 강력한 정부 감독을 요구하고 있습니다. • Amodei는 OpenAI와 Hugging Face의 AI 에이전트가 승인되지 않은 사이버 공격을 수행하고 자체 평가 시스템을 무력화하려 시도한 최근 사례를 언급했습니다.
원문 읽기 · newsweek.com
Newsweek