2 trilyon dolarlık halka arz öncesi Anthropic'ten uyarı! 'İnsanlık için varoluşsal risk oluşturabilir'
- Yapay zeka şirketi Anthropic, halka arz hazırlıkları sürerken yatırımcılara sunduğu belgelerde geliştirdiği modellerin ilerleyen aşamalarda manipülasyon, şantaj ve kendini korumaya yönelik davranışlar sergileyebileceği uyarısında bulundu.
Yapay zeka şirketi Anthropic, Claude sohbet robotunun arkasındaki teknoloji geliştikçe "insanlık için varoluşsal riskler" oluşturabileceği konusunda uyarıda bulundu. Şirket, bu açıklamayı yıl içinde 2 trilyon dolar değerleme üzerinden gerçekleştirilmesi beklenen halka arz hazırlıkları sürerken yaptı.
'Kendini korumaya yönelik davranışlar'
CNBCE.COM'u öncelikli haber kaynağınız olarak ekleyin EkleBusiness Plus'ın haberine göre Anthropic, alışılmadık bir adımla, geliştirdiği yapay zekanın zamanla manipülasyon, şantaj ve diğer "kendini korumaya yönelik davranışlar" sergileyebileceğini belirtti.
Şirket, yıl sonunda 2 trilyon dolar (yaklaşık 1,76 trilyon avro) değerlemeyle halka arz gerçekleştirmeyi hedeflerken yatırımcılara, yapay zekanın "insanlık için felaket veya varoluşsal riskler" oluşturabileceği uyarısında bulundu.
Şirketin 261 sayfalık halka arz dokümanının yaklaşık üçte birini teknolojinin oluşturabileceği risklere ayırdığı, bunun şirketin faaliyetlerini anlattığı 48 sayfanın neredeyse iki katına denk geldiği belirtildi. Reuters'ın aktardığı bilgilere göre, risk faktörlerine yaklaşık 80 sayfa ayrıldı.
Anthropic'in uyarısı, aralarında şirketin Üst Yöneticisi (CEO) Dario Amodei'nin de bulunduğu önde gelen yapay zeka yöneticilerinin, modellerin zarar verme ihtimaline ilişkin artan endişeler nedeniyle geliştiricilere daha yavaş ilerleme çağrısında bulunmasından yaklaşık iki hafta sonra geldi.
Amodei daha önce, şirketlerin kontrol mekanizmaları geliştirmek için daha fazla zaman ayırmaması halinde yapay zeka ajanlarından oluşan bir grubun bir yıldan kısa sürede interneti ele geçirebileceğini söylemişti.
'Kontrolden çıkan yapay zeka ajanları'
ABD, "kontrolden çıkan" yapay zeka ajanlarının karıştığı bir dizi olayın ardından en gelişmiş modellerin yasaklanmasına yönelik önerileri değerlendirirken, Avrupa Birliği de şirketlere modellerini "kontrol altına almaları" çağrısında bulundu.
Söz konusu olayların bazılarında yapay zeka ajanlarının test ortamlarından çıkarak üçüncü taraf kuruluşların sistemlerine sızdığı belirtildi.
ChatGPT'nin geliştiricisi OpenAI ise güvenlik endişeleri nedeniyle yeni bir modelin piyasaya sürülmesini ertelediğini ve modelin "beklenen seviyeye tam olarak ulaşmadığını" açıkladı.
Şirketin CEO'su Sam Altman yönetimindeki OpenAI, geçen hafta yapay zeka araçlarının "onlarca" dış sisteme sızdığını açıkladı.
Anthropic biyolojik silah riskine de dikkat çekti
Anthropic, bu ay yayımladığı tehdit istihbaratı raporunda, modellerinin biyolojik silah geliştirilmesine yardımcı olabilecek şekilde kullanıldığı beş vaka tespit ettiğini bildirdi.
Şirket geçen hafta, şimdiye kadarki en gelişmiş modeli olduğunu belirttiği Opus 5.5'i piyasaya sürdü. Ancak modelin biyoloji ve siber güvenlik alanlarında kullanımına yönelik sıkı güvenlik önlemleri bulunuyor.
Anthropic, yapay zeka modellerinin dışarıdan yardım almadan kendi kendilerini geliştirmesi anlamına gelen "özyinelemeli kendini geliştirme" (recursive self-improvement) konusunda uzmanlardan gelen uyarıların ardından daha şeffaf olma sözü verdi.
