Guardrails

• Mindgard, perusahaan spinout dari Lancaster University, telah mengumpulkan dana sebesar $30 juta untuk meningkatkan skala platform keamanan AI mereka setelah berhasil melewati guardrail pada ChatGPT, Cursor, dan alat AI milik Google. • Pendanaan tersebut akan digunakan untuk mempercepat pertumbuhan di bidang pengembangan produk, rekayasa, penjualan, dan pemasaran guna mengatasi kerentanan kritis dalam large language models. • Ekspansi ini terjadi saat pasar keamanan AI diproyeksikan tumbuh dari $15,8 miliar tahun ini menjadi $56,5 miliar pada tahun 2033, dengan keamanan agentic AI mengalami pertumbuhan yang lebih cepat.

• Peneliti keamanan siber ofensif melaporkan bahwa guardrails AI dari perusahaan seperti OpenAI dan Anthropic menghambat kemampuan mereka dalam menemukan dan mengeksploitasi kerentanan yang tidak diketahui. • Paolo Stagno, CTO Crowdfense, mengkritik langkah-langkah keamanan ini, dengan argumen bahwa penyedia AI memperlakukan peneliti keamanan profesional seperti "anak-anak yang perlu diasuh." • Ketegangan ini menyoroti konflik antara kebijakan keamanan AI yang dirancang untuk mencegah penyalahgunaan dan kebutuhan para ahli keamanan sah yang memerlukan alat tanpa batasan untuk riset kerentanan.

• Peneliti keamanan siber mengkritik model AI baru dari Anthropic, Fable, dengan klaim bahwa guardrails keamanannya terlalu restriktif untuk aplikasi keamanan siber praktis. • Batasan-batasan ini mencerminkan pembatasan sebelumnya yang diterapkan pada kueri terkait biologi untuk mencegah pengembangan senjata biologis. • Masalah ini menyusul perilisan Mythos pada bulan April, yang dibatasi hanya untuk organisasi terpilih di bawah Project Glasswing guna mengamankan infrastruktur kritis.