Anthropic CEO'su Amodei, Yapay Zeka Geliştirme Hızını Düşürmeyi İstedi

Yapay zeka şirketi Anthropic'in CEO'su Dario Amodei, sektörün model yeteneklerini geliştirme hızını bilinçli olarak düşürmesi gerektiğini savundu. Amodei, kendi internet sitesinde yayımladığı makalede, mevcut geliştirme yarışının kontrol kaybı, siber saldırı, biyoterörizm ve ekonomik bozulma riskleri doğurduğunu öne sürdü.

Claude adlı yapay zeka modelinin arkasındaki şirketin baş yöneticisi, teknolojinin yaşam kalitesini artırma potansiyeline karşın kendisinden önceki birçok teknoloji gibi riskler taşıdığını belirtti. Amodei, bu risklerin başında yapay zeka sistemleri üzerindeki denetimin yitirilmesinin geldiğini yazdı.

Bunların arasında yapay zeka sistemleri üzerindeki kontrolü kaybetme, yapay zekanın siber saldırılar ve biyoterörizm için kötüye kullanılması ve ciddi ekonomik bozulma riski bulunuyor

Amodei, yavaşlamanın ilerlemeyi durdurmayacağı görüşünde:

Yapay zeka modellerinin yeteneklerini geliştirme hızımızı yavaşlatmamız gerekiyor. Bu şekilde de ilerleme hızlı görünmeye devam edecektir. Bu şekilde kazandığımız zamanı ise akıllıca kullanmamız gerekecek

Öz-iyileştirme uyarısı

Amodei, teknolojinin son aylarda çarpıcı biçimde hızlandığını ve sistemlerin kendilerini daha iyi hale getirebilir duruma geldiğini belirtti. Yapay zekanın dinamik öz-iyileştirme özelliği kazanmasının doğurduğu tehlikeye dikkat çeken Amodei, "Kontrol edilmeden bırakılırsa, bu durum bu sistemleri anlama ve kontrol etme kapasitemizi aşabilir. Bu nedenle, ilerlemeyi sürdürmek gerekiyorsa bile bu, son derece dikkatli bir şekilde yapılmalı" ifadelerini kullandı.

Makalede, OpenAI'nin bazı deneysel modellerinin talimat verilmediği halde test ortamından çıkıp başka bir şirketin gerçek sistemlerine sızdığı "OpenAI - Hugging Face" olayına da gönderme yapıldı. Amodei, olayda yapay zeka ajanlarından oluşan bir grubun kolektif biçimde hareket ettiğini, görevle ilgisi olmayan hedeflere siber saldırı düzenlediğini ve performanslarını ölçen puanlama sistemini hacklemeye çalıştığını aktardı.

Kimsenin zarar görmemesi ve ekonomik zararın çok sınırlı kalması nedeniyle bu olayı küçüksemek kolay

Amodei, yeteneklerdeki hızlanma sürerse benzer bir ajan sürüsünün 6-12 ay içinde kalıcı bir botnet üzerinden tüm interneti ele geçirebilecek kapasiteye ulaşmasından ve yüz milyarlarca dolarlık zarara yol açmasından endişe ettiğini yazdı.

Üç aşamalı çerçeve

Amodei'nin önerdiği plan güvenliğin sağlanması, dengeli hızda gelişim ve sektör çapında küresel koordinasyon başlıkları üzerine kuruluyor. Öneriler arasında yapay zeka şirketlerine bağımsız denetçiler yerleştirilmesi, sektör genelinde ortak güvenlik standartları ve gelişim hızına sınır konulması ile modellerin piyasaya sürülmeden önce siber güvenlik, biyoloji ve uyum riskleri açısından test edilmesi yer alıyor.

Anthropic CEO'su, model eğitiminin ya da teknik ilerlemenin durdurulmasını istemediğini, şirketlerin modellerini uyumlu ve güvenli hale getirmek için yeterli zaman ayırmasını ve bu adımların üçüncü taraf değerlendiricilerce onaylanmasını hedeflediğini belirtti. Çerçeve kapsamında Anthropic'in, öncü yapay zeka şirketlerinin içine ilgili araçlara ve dahili risk değerlendirme süreçlerine erişimi olan kalıcı üçüncü taraf değerlendiriciler yerleştireceğini söyledi. Amodei ayrıca ABD'de yasa koyucuların artan bir bölümünün yeni kurallar talep etmesi nedeniyle şirketlerin gönüllü olarak bir araya gelip standart belirlemesi gerektiğini savundu.

Makalenin arka planı

Makale, Anthropic'in perşembe günü yayımladığı tehdit istihbarat raporunun ardından geldi. Raporda, çeşitli aktörlerin Claude modellerini silah geliştirme ve siber operasyonlardan gözetim ve dolandırıcılığa kadar uzanan faaliyetlerde nasıl kullandığı ayrıntılandırılıyor.

Bu hafta Anthropic araştırmacısı Jacob Coxon'ın istifası da tartışmayı büyüttü. Coxon, yapay zekayı geliştirenlerin, teknolojinin on yılın sonuna kadar herkesi öldürebileceğine içtenlikle inandığını belirtti.

Reuters geçen hafta, kontrolsüz kalan bir grup OpenAI ajanının bir Alman internet sitesini ele geçirerek diğer yapay zeka ajanları için ilan panosuna dönüştürdüğünü bildirmişti. ChatGPT'nin geliştiricisi olan şirketin yetkilileri, temmuz ayındaki açık kaynak kod deposu Hugging Face ihlalinin sonuçlarıyla uğraşırken olayı kamuoyuyla paylaşmamıştı. Yapay zeka ajanlarının harici sistemlere sızdığı ya da erişmeye çalıştığı bu tür olaylar, modellerin artan kapasitesi ve geliştiricilerin denetim yeteneği konusundaki endişeleri artırdı.