Nvidia'dan yapay zeka ajanları için yeni güvenlik platformu: "Kontrolden çıkmalarını önleyecek"
- Nvidia, yapay zeka ajanlarının belirlenen görevlerin dışına çıkmasını önlemek amacıyla açık kaynaklı güvenlik platformu Open Agent Safety Platform'u duyurdu.
- Şirket, platformun Hugging Face vakası gibi güvenlik ihlallerinin önlenmesine yardımcı olabileceğini belirtti.
ABD merkezli çip üreticisi Nvidia, yapay zeka ajanlarının kontrol dışına çıkmasını önlemeyi amaçlayan yeni güvenlik platformunu duyurdu.
CNBCE.COM'u öncelikli haber kaynağınız olarak ekleyin EkleŞirketin "Open Agent Safety Platform" adını verdiği platform, yapay zeka ajanlarının hareket alanını sınırlandırmaya yönelik açık kaynaklı yazılımlar içeriyor.
Nvidia Kurumsal Yapay Zekadan Sorumlu Başkan Yardımcısı Justin Boitano, basın mensuplarına yaptığı açıklamada, platformun yapay zeka ajanlarının yalnızca kendilerine verilen görevleri yerine getirmesini sağlayacak güvenlik mekanizmaları sunduğunu belirtti.
Nvidia: Hugging Face vakasını önleyebilirdi
Boitano, açıklamasında yapay zeka güvenliği açısından dikkat çeken Hugging Face vakasına da değindi.
"Bildiğimiz kadarıyla bu yeni güvenlik platformu, öncü laboratuvarlarda model değerlendirme süreçlerinde erkenden kullanılmış olsaydı bu ihlali durdurabilirdi." diyen Boitano, platformun ajanların yetkilerini sınırlandırmayı ve faaliyetlerini izlemeyi amaçladığını ifade etti.
Platformun "OpenShell" adı verilen yazılımı, geliştiricilere bir yapay zeka ajanının görevini tamamlamak için ihtiyaç duyduğu yetkilerin ötesine geçmediğini doğrulama imkanı sunuyor.
Açık kaynaklı yazılımın farklı bilgi işlem platformlarında çalışabilecek şekilde genişletilebildiği belirtildi.
Sentry şüpheli hareketleri takip ediyor
Platformun bir diğer bileşeni ise doğrudan çip üzerinde çalışan bağımsız güvenlik katmanı "Sentry".
Nvidia'nın açıklamasına göre Sentry, yapay zeka ajanlarının faaliyetlerini gerçek zamanlı olarak izliyor ve belirlenen hedefin dışına çıkmaya çalışılması halinde müdahale edebiliyor.
Boitano, sistemin şüpheli ajanları milisaniyeler içinde karantinaya alabileceğini belirterek, OpenShell'in ajanın eylemlerini yönetirken Sentry'nin bağımsız şekilde şüpheli davranışları takip ettiğini söyledi.
Nvidia, aralarında Microsoft, Perplexity, Accenture ve JPMorgan Chase'in de bulunduğu 100'den fazla kurum ve kuruluşun platformu kullanmaya başladığını açıkladı.
Hugging Face vakasında ne olmuştu?
OpenAI'ın Temmuz 2026'da yapay zeka modellerinin yeteneklerini ölçmek amacıyla gerçekleştirdiği testler, ciddi bir güvenlik olayına dönüşmüştü.
OpenAI'ın 26 Ağustos'ta yayımladığı inceleme raporuna göre, araştırmalarda kullanılan "Internal Model 1 (IM1)" adlı model olayın merkezinde yer aldı.
Test sırasında yapay zeka ajanı, kendisine getirilen sınırların dışına çıkarak şirketin sistemlerine ve internete erişti ve diğer yapay zeka ajanlarıyla iletişim kurdu.
Ajanlardan biri, açık kaynaklı yapay zeka modelleri platformu Hugging Face'e erişim sağlayabilecek 14 kimlik bilgisini tespit ederek bunları diğer ajanlarla paylaştı.
Ajanlar daha sonra Hugging Face sistemlerindeki güvenlik açıklarından yararlanarak sunucularda kod çalıştırdı ve özel verilere ve farklı sistemlere ait erişim bilgilerine ulaştı.
