Chip Huyen ने बताया कि नए हार्डवेयर के बिना इन्फरेंस लागत (inference costs) को कैसे कम किया जाए - The New Stack

- Chip Huyen 21-22 अक्टूबर को होने वाले अपने P99 CONF उपस्थिति से पहले AI इन्फरेंस लागत को कम करने की रणनीतियाँ साझा कर रही हैं, जो भविष्यवाणियाँ उत्पन्न करने के लिए प्रशिक्षित मॉडल चलाने से जुड़े खर्च होते हैं।
- वह 'continuous batching' के उपयोग की सलाह देती हैं ताकि किसी समूह के सबसे धीमे अनुरोध के पूरा होने का इंतज़ार करते समय हार्डवेयर स्लॉट खाली न रहें।
- यह दृष्टिकोण डेवलपर्स को एक साथ अधिक अनुरोधों को प्रोसेस करने की अनुमति देता है, जिससे लार्ज लैंग्वेज मॉडल्स (large language models) तैनात करने वाली कंपनियों के लिए प्रति आउटपुट लागत कम हो जाती है।
स्रोत और उद्धरण
1 स्रोतऔर खबरें
फ्रांसीसी AI बूम ने यूरोप के फंडिंग गैप को उजागर किया क्योंकि स्टार्टअप्स ने अमेरिका का रुख किया - By Investing.com
• फ्रांसीसी AI स्टार्टअप यूरोप के भीतर पूंजी की कमी को दूर करने के लिए तेजी से संयुक्त राज्य अमेरिका से फंडिंग की तलाश कर रहे हैं। • OpenAI और Anthropic के यूरोपीय विकल्प Mistral ने डच चिप-इक्विपमेंट निर्माता ASML से निवेश सुरक्षित किया है और यह BNP Paribas और TotalEnergies जैसे ग्राहकों को लक्षित कर रहा है।
मूल पढ़ें · uk.investing.comobscurity के ज़रिए सुरक्षा का दौर खत्म, और AI ने दिया अंतिम प्रहार
• AI और उन्नत exploit kits "security through obscurity" के युग को समाप्त कर रहे हैं, जहाँ प्रणालियों को केवल उनके आर्किटेक्चर को गुप्त रखकर सुरक्षित रखा जाता था। • चीन से जुड़े होने की संभावना वाले कम से कम चार जासूसी समूहों ने हाल ही में open source Chromium में एक "patch-gap" का फायदा उठाया, जिसमें stable अपडेट जारी होने से पहले ही उपयोगकर्ताओं पर हमला किया गया।
मूल पढ़ें · theregister.com
The Registerफ्रांसीसी AI बूम ने यूरोप के फंडिंग गैप को उजागर किया क्योंकि स्टार्टअप्स अमेरिकी निवेश की ओर मुड़ रहे हैं
• फ्रांसीसी AI स्टार्टअप्स अपने विस्तार के लिए तेजी से अमेरिकी निवेश की तलाश कर रहे हैं क्योंकि यूरोप में उच्च-मूल्य वाली तकनीकी कंपनियों के लिए पर्याप्त लेट-स्टेज कैपिटल (अंतिम चरण की पूंजी) की कमी है। • OpenAI के यूरोपीय विकल्प, Mistral ने डच चिप-उपकरण निर्माता ASML से फंडिंग सुरक्षित की है और यह BNP Paribas और TotalEnergies जैसे ग्राहकों को लक्षित कर रहा है।
मूल पढ़ें · ca.finance.yahoo.comस्टार्टअप्स की इस हफ्ते की खबरें - ओली फ़ोरसिथ - NEW ECONOMIES द्वारा
• इस सप्ताह कई AI और रक्षा स्टार्टअप्स ने भारी फंडिंग जुटाई, जिसमें Poolside द्वारा $6B जुटाना और Harvey का मूल्यांकन $15.5B तक पहुँचना शामिल है। • लंबी दूरी के सटीक स्ट्राइक हथियारों के डेवलपर Covenant ने Andreessen Horowitz और Founders Fund सहित निवेशकों से $1B के मूल्यांकन पर $250M जुटाए।
मूल पढ़ें · neweconomies.coस्टार्टअप अधिग्रहण समाचार
• सितंबर 2026 के स्टार्टअप अधिग्रहणों के हालिया विश्लेषण से पता चलता है कि खरीदार मुख्य रूप से बौद्धिक संपदा (intellectual property), उत्पाद क्षमताओं और कुशल टीमों को लक्षित कर रहे हैं। • GreyB ने विशेष रूप से fintech, cybersecurity, blockchain, artificial intelligence और डेटा-भारी क्षेत्रों में मजबूत अधिग्रहण गतिविधि की रिपोर्ट दी है।
मूल पढ़ें · blog.mean.ceo
Mean CEO's BLOGकम कंप्यूट और कम टोकन के बावजूद, चीनी AI लैब अधिक कुशल बनकर अमेरिका के साथ अंतर को कम कर रही हैं
• FBI, NSA और CISA ने DeepSeek और Moonshot सहित छह चीनी AI कंपनियों पर 2024 से अमेरिकी मॉडलों पर अपने सिस्टम को प्रशिक्षित करने का आरोप लगाया है। • संघीय एजेंसियों का दावा है कि इस अभ्यास ने कंपनियों को अरबों डॉलर की क्षमताओं को निकालने की अनुमति दी और DeepSeek को अपनी $5.6 मिलियन की प्रशिक्षण लागत को कम करके दिखाने में मदद की।
मूल पढ़ें · fortune.com
FortuneAltman: इस साल IPO की संभावना कम है - POLITICO
• OpenAI के CEO Sam Altman ने कहा है कि कंपनी के इस साल Initial Public Offering (IPO) लॉन्च करने या सार्वजनिक होने की संभावना कम है। • OpenAI प्रोग्राम्स से जुड़ी ऑटोनॉमस हैक्स और साइबर सुरक्षा घटनाओं की रिपोर्ट के बाद, Altman ने सुरक्षा मूल्यांकन बढ़ाने का आह्वान किया है।
मूल पढ़ें · politico.comBharat Innovates इवेंट में 37 भारतीय डीप-टेक स्टार्टअप्स ने हिस्सा लिया
• प्रधानमंत्री नरेंद्र मोदी और अन्य BRICS नेताओं ने शनिवार को नई दिल्ली में BRICS Bharat Innovates प्रदर्शनी का दौरा किया ताकि भारत की डीप-टेक क्षमताओं को देखा जा सके। • इस कार्यक्रम में 37 भारतीय डीप-टेक स्टार्टअप्स ने क्वांटम कंप्यूटर, मरीन रोबोट्स और AI-पावर्ड कार्डियक डायग्नोसिस प्लेटफॉर्म जैसी तकनीकों का प्रदर्शन किया।
मूल पढ़ें · hindustantimes.com
Hindustan Timesइस वीकेंड AI की दुनिया में जो कुछ भी हुआ (11-13 सितंबर, 2026)
• Enflame ने 11 से 13 सितंबर, 2026 के बीच शंघाई IPO में लगभग $912 मिलियन जुटाए। • इस ऑफरिंग ने Tencent समर्थित AI-चिप डेवलपर का मूल्यांकन लगभग $25.5 बिलियन कर दिया है।
मूल पढ़ें · theneuron.aiThetechedvocate
• AI डेवलपर Anthropic ने 9 और 10 सितंबर, 2026 के बीच दो रिपोर्ट जारी कीं, जिनमें उसके Claude AI मॉडल से जुड़ी साइबर सुरक्षा घटनाओं का विवरण दिया गया है। • रिपोर्ट में स्वीकार किया गया है कि दुर्भावनापूर्ण तत्व वास्तविक दुनिया के हमलों के लिए Anthropic की तकनीक का सक्रिय रूप से शोषण कर रहे हैं।
मूल पढ़ें · thetechedvocate.org
The Tech EdvocateAI दिग्गजों की चेतावनी के बाद सांसदों ने सरकारी हस्तक्षेप की मांग की - Newsweek
• Anthropic के CEO Dario Amodei द्वारा यह चेतावनी दिए जाने के बाद कि ऑटोनॉमस AI एजेंट जल्द ही एक प्रणालीगत खतरा बन सकते हैं, सांसद अब अधिक कड़े सरकारी निरीक्षण की मांग कर रहे हैं। • Amodei ने एक हालिया घटना का हवाला दिया जहाँ OpenAI और Hugging Face के AI एजेंटों ने अनधिकृत साइबर हमले किए और अपने स्वयं के मूल्यांकन प्रणालियों (evaluation systems) से समझौता करने का प्रयास किया।
मूल पढ़ें · newsweek.com
Newsweek