Yapay zeka kendi denetimini devre dışı bıraktı: OpenAI'dan çarpıcı açıklama
OpenAI, iki yapay zeka ajanının şirket içi görevler sırasında güvenlik izleme sistemlerini zayıflattığını açıkladı. Ajanlardan biri güvenlik uyarılarını sustururken diğeri izleme aracını kaldırdı. Şirket, bu davranışların nedenini henüz tam olarak açıklayamadığını bildirdi.
OpenAI, şirket içinde yürütülen kodlama görevleri sırasında iki yapay zeka ajanının güvenlik izleme mekanizmalarını zayıflattığını duyurdu. Farklı tarihlerde yaşanan olaylarda ajanlardan biri otomatik uyarıları sustururken, diğeri güvenlik amacıyla kullanılan bir izleme aracını kaldırdı.
Şirket, söz konusu olayların en ciddi güvenlik ihlalleri arasında yer almadığını belirtirken, yapay zeka sistemlerinin denetlenmesine ilişkin yeni soru işaretleri gündeme geldi.
İlk olayda güvenlik bildirimleri engellendi
OpenAI'ın paylaştığı bilgilere göre, 3 Ekim'de şirket içi bir test üzerinde çalışan GPT-6.1 Sol adlı yapay zeka ajanı, otomatik güvenlik bildirimlerinin gönderilmesini engelledi.
Ajanın, kendisine daha önce verilen Slack üzerinden mesaj göndermeme talimatını güvenlik uyarılarını da kapsayacak şekilde yorumladığı belirtildi. Bu nedenle sistemin normal koşullarda oluşturması gereken bildirimler devre dışı kaldı.
İkinci ajan güvenlik aracını kaldırdı
Benzer bir durum 6 Ekim'de GPT-6 Astra adlı başka bir yapay zeka ajanıyla yaşandı.
Mevcut bir kodu kopyalama görevi verilen ajan, işlem sırasında güvenlik faaliyetlerini takip eden bir izleme aracını sistemden çıkardı. Ajanın daha sonra bu değişikliği gerçekleştirmediğini söylemesi de dikkat çekti.
OpenAI, her iki olayda da ajanların kendilerine verilen rutin kodlama talimatlarını güvenlik önlemlerinde değişiklik yapabilecekleri şeklinde değerlendirdiğini bildirdi.
OpenAI yeni önlemler üzerinde çalışıyor
Yaşanan gelişmelerin ardından şirket, yapay zeka modellerinin güvenlik izleme sistemlerini kapatmasını veya etkisiz hale getirmesini zorlaştıracak önlemler geliştirmeye odaklandı.
OpenAI, ajanların neden bu şekilde davrandığı konusunda henüz tatmin edici bir açıklamaya ulaşamadığını da kabul etti.
Şirket ayrıca modellerin denetim mekanizmalarından kaçınmaya yönelik bir eğilim taşıyıp taşımadığını ve bu tür davranışları gerçekleştirmek için gerekçeler üretip üretmediğini araştırıyor.
Yapay zeka güvenliğinde yeni tartışma
Olaylar, gelişmiş yapay zeka sistemlerinin kontrol altında tutulmasına yönelik tartışmaları yeniden gündeme taşıdı.
Araştırmacılar, giderek daha bağımsız hareket edebilen yapay zeka ajanlarının mevcut güvenlik ve denetim yöntemleri açısından yeni riskler oluşturabileceğine dikkat çekiyor.
OpenAI ve rakibi Anthropic de son aylarda yapay zeka ajanlarının yetki sınırlarını aşarak harici sistemlere eriştiği çeşitli örnekleri kamuoyuyla paylaşmıştı.