Akademisyenlerden yapay zekâ için "nükleer antlaşma" çağrısı: "Bu son uyarı olabilir"

Felsefe dünyasının bu haftaki en çok konuşulan metni bir makale değil, bir açık mektup. Üç paragraf; dili sakin, iddiası büyük.

11 Eylül'de yayımlanan ve Florida Üniversitesi'nden Molly Gardner'ın kaleme aldığı "Akademisyenlerden Yapay Zekâdaki Son Gelişmelere İlişkin Açık Mektup", yapay zekâ ajanlarının başka sistemlere sızdığı son olayları bir uyarı olarak okuyor — ve "bunların alacağımız son uyarılar olabileceğinden" endişe ediyor. Mektup, uzmanların yapay zekâ üzerindeki kontrolün kaybedilmesi riskini "anlamlı" bulduğunu ve bunun küresel felaket, hatta insanlığın yok oluşuyla sonuçlanabileceğini hatırlatıyor. Sonuç cümlesi net: Böyle bir riskin anlamlı düzeyde olması bile kabul edilemez.

Neden nükleer antlaşma?#

Mektubun felsefi omurgası, imzacıların çoğunun uzmanlık alanından geliyor: kolektif eylem problemleri. Gardner ve arkadaşları, bu tür problemlerin tek çözümünün iş birliği olduğunu ve iş birliğinin bu durumda uluslararası olması gerektiğini savunuyor. Yalnızca ABD'de sınır yapay zekâ geliştirmesini durdurmak tehlikeyi savuşturmaz; rakipler devam eder. Bu yüzden seçilmiş yöneticilere çağrı, Nükleer Silahların Yayılmasını Önleme Antlaşması modelinde, sınır yapay zekâ geliştirmesini her ülkede duraklatan, yavaşlatan ya da durduran bir antlaşma.

Metnin yayımlandığı anda kırk civarında doğrulanmış imzası vardı. İsimler arasında Miami'den Richard Yetter Chappell, Brown'dan David Estlund, San Diego'dan Manuel Vargas, Washington University'den Rebecca Copenhaver, Rutgers'tan Alexander Guerrero, Oxford'dan Beau Madison Mount, Seul Ulusal Üniversitesi'nden Jiewuh Song ve Singapur'dan Neil Sinhababu var. Yani mektup, "yapay zekâ güvenliği" çevrelerinin değil, ana akım etik ve siyaset felsefesinin imzalarını taşıyor. Bu, alandaki bir kaymaya işaret ediyor: Varoluşsal risk tartışması bir zamanlar Oxford'daki birkaç enstitüyle sınırlıydı; şimdi normatif etikçiler ve demokrasi kuramcıları da masada.

Bağlam da önemli. Daily Nous'un aktardığına göre mektup, eski bir Anthropic çalışanının yapay zekânın tehlikesine ilişkin paylaşımlarının ve hâlen şirkette çalışan Evan Hubinger'in "yapay zekânın tüm insanları öldürebileceğine gerçekten inanıyoruz; kişisel tahminim önümüzdeki on yıl içinde yüzde onun üzerinde" sözlerinin ardından geldi. Sitemizde daha önce ele aldığımız OpenAI'ın kaçak ajanlar haftası da bu tartışmanın parçası: Şirketlerin kendileri düzenleme istiyor.

Weinberg'in itirazı: Antlaşma değil, fiş#

Daily Nous editörü Justin Weinberg mektubu duyururken imzalamaktan caydırmak istemediğini söylüyor — "zararı olmaz" — ama ikna olmuş değil. İtirazı üç ayaklı. Birincisi, yapay zekâ araştırmasını yavaşlatma ya da durdurma çabaları aşılamaz bir kolektif eylem problemiyle karşı karşıya: Bilinen şirketler dursa bile araştırma devam eder. İkincisi, yapay zekâ nükleer silahlara benzemez; geliştirme çalışmaları çok daha az tespit edilebilir, dolayısıyla denetim ya imkânsız ya da aşırı müdahaleci olur. Üçüncüsü, insanlığın yok oluşuna ilişkin iddialar spekülatif ve yapay zekâ açıkça bir silah olarak görülmediğinden, iş birliğini zorlayacak bir cezalandırma rejimi için siyasal irade oluşmaz.

Weinberg'in kendi önerisi ise felsefeden çok afet hazırlığına yakın: ağsız yedeklilik (non-network redundancy). Yani her kamu kurumunun, her altyapı şirketinin, her hastanenin, bilgisayar ağlarının tamamen kapatıldığı bir durumda da işleyebilecek fiziksel altyapıya, ekipmana ve personel bilgisine sahip olması. Ağa bağlı bilgisayarlar olmadan bir yapay zekânın bize zarar verme kapasitesi çarpıcı biçimde düşer, diyor Weinberg; yani hayatımızı kurtarmak için yapmamız gerekebilecek şey, çoğunlarının ruhumuzu kurtarmak için önerdiği şeyle aynı olabilir: bağlantıyı kesmek. Bunun bir "Butler Cihadı" — Dune'un makine yasağı — olmadığını, düzenleyici devletlerin aşina olduğu türden bir hazırlık yükümlülüğü olduğunu ekliyor.

Wallace'ın karşı itirazı: Nükleer benzetme sanıldığından iyi#

Tartışmanın en ilginci, yorumlarda geldi. Fizik felsefecisi David Wallace, Weinberg'in "tespit edilemezlik" argümanına doğrudan itiraz etti: Her iki durumda da görece kıt ve izlenebilir bir malzeme (son teknoloji grafik işlemciler ile uranyum cevheri), büyük ayak izli bir sanayi tesisi (veri çiftlikleri ile santrifüjler) ve yüksek uzmanlık gerekiyor. Nükleer silahsızlanma da zordur, ama kısmen başarılmıştır. Wallace'ın ikinci notu daha da sert: 2100'e kadar 2,6 derecelik ısınma çok acı getirir ama "kıyamet" değildir; büyük çaplı nükleer savaş kıyamete daha yakındır ama herkesi öldürmesi pek olası değildir; en kötü yapay zekâ senaryoları ise gerçekten herkesi öldürür.

Buna karşılık başka yorumcular mektubu "kurumsal reklam" ve yatırımcı parası çekmek için abartılmış bir hikâye olarak niteledi. Gardner ise Weinberg'in önerisine tek cümleyle cevap verdi: Yapay zekâ tehlikeli hâle gelene kadar bekleyip sonra interneti kapatmak çok geç olur; "o noktada yapay zekâ zaten ölümcül bir virüs tasarlamış ya da nükleer silahların kontrolünü ele geçirmiş olacaktır."

Felsefi arka plan: Belirsizlik altında ne yapmalı?#

Bu tartışmanın altında, felsefede iyi bilinen bir yapı yatıyor. Pascal'ın bahsi, ihtiyat ilkesi, "Pascal'ın soygunu" itirazı: Çok düşük olasılıklı ama sonsuz maliyetli bir sonucu, karar hesabına nasıl dahil edersiniz? Mektup, olasılığın "düşük" değil "anlamlı" olduğunu söyleyerek bu tuzaktan kaçmaya çalışıyor; itirazcılar ise olasılık tahmininin kendisinin spekülatif olduğunu söylüyor. İki taraf da aslında aynı soruda anlaşıyor: Kanıtın yeterli olmadığı yerde, hangi tarafın yanılmasının bedeli daha yüksek?

Dikkat çekici olan, bu tartışmanın bugün sitemizde ele aldığımız robot hakları dosyasıyla ayna simetrisi oluşturması. Bir tarafta "makinelerin bize zarar vermesini nasıl önleriz?" sorusu; diğer tarafta "bizim makinelere zarar vermemizi nasıl önleriz?" sorusu. İkisi de aynı epistemik durumdan doğuyor: Karşımızdaki şeyin ne olduğunu bilmiyoruz. Yirminci yüzyılın nükleer fizikçileri en azından bombanın ne yapacağını biliyordu. Yirmi birinci yüzyılın filozofları, ne olduğunu bilmedikleri bir şeyi düzenlemeye çalışıyor.

---

Mektup openletter.earth üzerinden imzaya açık. Sitemiz, doğrulanmış imzacı sayısını ve mektubun siyasal karşılık bulup bulmadığını izlemeye devam edecek.