Guardrails

• Lancaster University के स्पिनआउट Mindgard ने ChatGPT, Cursor और Google के AI टूल्स के गार्डरेल्स को सफलतापूर्वक बायपास करने के बाद अपने AI सुरक्षा प्लेटफॉर्म को स्केल करने के लिए $30 मिलियन जुटाए हैं। • इस फंडिंग का उपयोग लार्ज लैंग्वेज मॉडल्स (LLMs) में गंभीर कमजोरियों को दूर करने के लिए उत्पाद विकास, इंजीनियरिंग, बिक्री और मार्केटिंग के माध्यम से विकास को गति देने के लिए किया जाएगा। • यह विस्तार ऐसे समय में आया है जब AI सुरक्षा बाजार के इस वर्ष $15.8 बिलियन से बढ़कर 2033 तक $56.5 बिलियन होने का अनुमान है, जिसमें एजेंटिक AI सुरक्षा में और भी तेजी से वृद्धि देखी जा रही है।

• ऑफेंसिव साइबर सुरक्षा शोधकर्ता रिपोर्ट कर रहे हैं कि OpenAI और Anthropic जैसी कंपनियों के AI गार्डरेल्स अज्ञात कमजोरियों (vulnerabilities) को खोजने और उनका फायदा उठाने की उनकी क्षमता में बाधा डाल रहे हैं। • Crowdfense के CTO, Paolo Stagno ने इन सुरक्षा उपायों की आलोचना की और तर्क दिया कि AI प्रदाता पेशेवर सुरक्षा शोधकर्ताओं के साथ ऐसे व्यवहार कर रहे हैं जैसे वे "ऐसे बच्चे हों जिन्हें बेबीसिटिंग की जरूरत है।" • यह तनाव दुरुपयोग को रोकने के लिए बनाए गए AI सुरक्षा नीतियों और वैध सुरक्षा विशेषज्ञों की जरूरतों के बीच संघर्ष को उजागर करता है, जिन्हें भेद्यता अनुसंधान (vulnerability research) के लिए बिना किसी प्रतिबंध के उपकरणों की आवश्यकता होती है।

• साइबर सुरक्षा शोधकर्ता Anthropic के नए AI मॉडल, Fable की आलोचना कर रहे हैं, उनका दावा है कि इसके सुरक्षा गार्डरेल्स व्यावहारिक साइबर सुरक्षा अनुप्रयोगों के लिए बहुत अधिक प्रतिबंधात्मक हैं। • ये प्रतिबंध जीव विज्ञान से संबंधित उन पिछले प्रतिबंधों के समान हैं जो जैविक हथियारों के विकास को रोकने के लिए लगाए गए थे। • यह मुद्दा अप्रैल में Mythos की रिलीज के बाद सामने आया है, जिसे महत्वपूर्ण बुनियादी ढांचे को सुरक्षित करने के लिए Project Glasswing के तहत चुनिंदा संगठनों तक सीमित रखा गया था।