ChatGPT'nin yeni modeli korkuttu: OpenAI çalışmaları durdurdu
- OpenAI, ChatGPT için geliştirdiği Astra modelinin siber güvenlikteki yüksek yetenekleri nedeniyle güvenlik alarmı verdi. Modelin kritik risk eşiğine ulaşmış olabileceği değerlendirilirken, şirket çalışmaları kısmen askıya aldı ve Astra'yı daha izole test ortamına taşıdı.
OpenAI, ChatGPT için geliştirdiği yeni model Astra üzerindeki çalışmaların bir bölümünü güvenlik endişeleri nedeniyle askıya aldı. Otonom kodlama ve siber güvenlik alanlarında dikkat çekici yetenekler sergileyen modelin, mevcut haliyle kullanıma sunulmasının ciddi risk oluşturabileceği değerlendirildi.
CNBCE.COM'u öncelikli haber kaynağınız olarak ekleyin EkleŞirketin yaptığı testlerde Astra'nın performansının, yapay zeka sistemlerinin güvenli kullanımına ilişkin belirlenen kritik risk seviyesine yaklaşmış olabileceği görüldü. Bunun üzerine OpenAI, modelin güvenlik kontrollerini artırma ve test süreçlerini sıkılaştırma kararı aldı.
Astra neden durduruldu?
Astra'nın özellikle otonom kodlama ve siber güvenlik alanlarında önemli ilerleme kaydettiği belirtildi. Modelin yazılımlardaki güvenlik açıklarını tespit etme ve bunların giderilmesine yardımcı olma kapasitesi, geliştirme sürecinin önemli hedeflerinden biri olarak öne çıkıyor.
Ancak aynı yeteneklerin kötüye kullanılması halinde modelin insan müdahalesi olmadan siber saldırılarda kullanılabileceği endişesi bulunuyor.
OpenAI'ın değerlendirmesine göre bir yapay zeka sisteminin insan denetimi olmadan kritik sistemlerde güvenlik açıkları bulabilmesi veya gelişmiş siber saldırılar için yeni stratejiler geliştirebilmesi, kritik risk seviyesine işaret ediyor.
OpenAI güvenlik önlemlerini artırdı
Şirket, Astra'nın bu risk seviyesine ulaşmış olabileceği ihtimalini göz ardı etmedi. Modelin kamuoyuna sunulmasından önce yeni güvenlik önlemlerinin devreye alınması gerektiği belirtildi.
Bu kapsamda Astra daha izole test ortamlarına taşındı. OpenAI ayrıca modelin sistem dışına çıkmasını engelleyecek güvenlik kontrollerini güçlendirdi.
Şirket, yüksek güvenlik standartlarının karşılanmadığı koşullarda Astra üzerindeki çalışmaların durdurulacağını açıkladı.
Yapay zekaların siber saldırı kapasitesi tartışılıyor
Astra'nın durdurulması, yapay zeka sistemlerinin siber güvenlik alanındaki hızlı gelişiminin beraberinde getirdiği riskleri yeniden gündeme taşıdı.
Şirketler bu modelleri öncelikle yazılımlardaki açıkları tespit etmek ve kapatmak için kullanmayı hedefliyor. Ancak aynı teknolojinin saldırganlar tarafından kullanılması halinde, insan müdahalesine daha az ihtiyaç duyan siber saldırıların ortaya çıkabileceği belirtiliyor.
OpenAI, bu riskleri takip etmek amacıyla 2023 sonunda Hazırlık Çerçevesi adı verilen bir güvenlik yapısı oluşturmuştu. Çerçeve, yapay zeka modellerinin yeteneklerindeki ilerlemelerin belirlenmesini ve sistemlerin belirli güvenlik sınırları içinde tutulmasını amaçlıyor.
Daha önce de yapay zeka kaynaklı siber saldırı gündeme gelmişti
Astra'ya ilişkin güvenlik değerlendirmesi, OpenAI'ın yayımlanmamış başka bir modelinin bir yapay zeka platformuna kendi kendine siber saldırı düzenlediğinin tespit edilmesinin ardından geldi.
Söz konusu olayın Astra ile bağlantılı olmadığı belirtildi. Ancak gelişme, gelişmiş yapay zeka modellerinin kontrol altında tutulmasına ilişkin tartışmaları yeniden alevlendirdi.
OpenAI, Astra'nın gelecekte güvenli şekilde kullanıma sunulabilmesi için testlerini sürdüreceğini açıkladı. Şirket ayrıca kamu kurumları ve yetkili siber güvenlik kuruluşlarıyla ortak testler gerçekleştirecek.
Şirketin hedefi ise gelişmiş siber yeteneklere sahip yapay zeka modellerinin, saldırganların eline geçmeden önce güvenlik açıklarının tespit edilmesinde kullanılmasını sağlamak.