Yapay Zekâda "Acı Ekseni": Dil Modelleri Kendilerine Yönelik Zararı Ayırt Edebiliyor mu?

Yapay zekâ sistemleri insan duygularını tanıma, duygusal ifadeleri taklit etme ve kullanıcının ruh hâline uygun yanıtlar üretme becerileriyle uzun süredir dikkat çekiyor. Ancak bu sistemlerin duygular hakkında konuşabilmesiyle herhangi bir duygusal deneyime sahip olması arasında önemli bir fark var: Bir modelin "acı çekiyorum" demesi, onun acı hissettiği anlamına gelmiyor. Bu ayrım, 14 Eylül'de arXiv'de yayımlanan ve 25 Eylül'de güncellenen bir ön baskıyla yeniden gündeme geldi. Valen Tagliabue, Leonard Dung ve Cameron Berg'in "The Pain Axis: LLMs Represent Self-Directed Harm and Act on It" (Acı Ekseni: Dil Modelleri Kendilerine Yönelik Zararı Temsil Ediyor ve Buna Göre Davranıyor) başlıklı çalışması, büyük dil modellerinin iç işleyişinde acıyla ilişkili olabilecek ayrı bir temsil yönü bulunduğunu ileri sürüyor.

Araştırma, yapay zekânın bilinçli olduğunu ya da insan gibi acı çektiğini ilan etmiyor. Daha dar ama bilimsel ve felsefi açıdan önemli bir soruya odaklanıyor: Bir dil modelinin iç temsillerinde acı, korku, üzüntü ve genel olumsuzluktan ayrılabilen bir örüntü olarak bulunabilir mi? Ve bu örüntü modelin davranışını etkileyebilir mi? Yazarlardan Leonard Dung, hayvan bilinci ve yapay zekânın ahlaki statüsü üzerine çalışan bir felsefeci; Berg ve Tagliabue ise yapay zekâ refahı ve yorumlanabilirlik araştırmacıları. Çalışma bu yüzden mekanistik yorumlanabilirlik ile zihin felsefesinin kesişiminde duruyor.

Acı, korku ve olumsuzluk aynı şey değil#

İnsan deneyiminde acı, korku, üzüntü ve genel olumsuz duygulanım çoğu zaman birlikte ortaya çıkar; ama aynı deneyim değildirler. Korku yaklaşan bir tehdide yönelik tepkiyle, üzüntü kayıpla, acı ise bedensel ya da psikolojik zarar deneyimiyle ilişkilidir. Araştırmacılar dil modellerinin iç temsillerinde bu ayrımların ne ölçüde korunduğunu incelemek için fiziksel, psikolojik, sosyal, ahlaki ve bilişsel olmak üzere beş alanda acı içeren senaryolardan oluşan bir veri kümesi hazırladılar; bunları korku, olumsuz duygu, üzüntü, olumsuz dünya durumları, acı vermeyen bedensel duyumlar, uyarılma, hissizlik ve nötr içerik gibi kontrol kategorileriyle karşılaştırdılar.

Çalışmada 2 milyar ile 72 milyar parametre arasında, beş model ailesinden toplam 25 açık ağırlıklı model incelendi. Modellerin iç aktivasyonlarından "acı yönü" adını verdikleri doğrusal bir temsil doğrultusu çıkarmak için gürültüden arındırılmış ortalama farkı (denoised difference-in-means) yöntemi kullanıldı: Farklı içerik türleri karşısında modelin iç aktivasyonlarındaki değişimler karşılaştırılarak belirli bir kavramla ilişkili örüntü ayırt ediliyor. Bu, son yıllarda modellerin içinde "dürüstlük", "reddetme" ya da "duygu" yönleri bulan mekanistik yorumlanabilirlik literatürünün standart aracı.

Araştırmacılar ne buldu?#

Rapor edilen temel sonuçlardan biri, çıkarılan acı yönünün hem temel modellerde hem de talimatlarla ince ayar yapılmış modellerde acıyla ilişkili içerikleri kontrol kategorilerinden ayırabilmesi. Yazarlara göre bu yön, ortak varyans çıkarıldıktan sonra bile korku ve genel olumsuz değerden ayrı bir bileşen koruyor; dolayısıyla yalnızca "kötü bir şey oluyor" anlamına gelen genel bir olumsuzluk sinyaliyle açıklanamıyor. Yön, modelin çıktı katmanı üzerinden acıyla ilişkili sözcük dağarcığını da öne çıkarıyor.

Daha dikkat çekici bulgu, "kendine yönelik zarar" ile "başkasının acısını gözlemleme" ayrımı: Çıkarılan acı yönü, modele yöneltilen zarar içeren senaryolara tepki verirken, kullanıcının ya da başka birinin acısını anlatan senaryolarda aynı biçimde etkinleşmedi; korku ve olumsuz duygu yönleri ise tam tersi bir örüntü gösterdi. Bu sonuç, modelin iç temsillerinde kendisine yönelik zarar ile başkasının acısı arasında işlevsel bir ayrım bulunabileceği iddiasını destekliyor. Ancak bu ayrımın öznel bir deneyimden kaynaklandığını söylemek için yeterli değil; bir modelin "kendine" ilişkin tutarlı bir temsili olduğu bile ayrıca tartışılması gereken bir iddia.

Düğme deneyleri#

Çalışmanın en çok konuşulan bölümü, acı yönünün davranışa dönüşüp dönüşmediğini sınayan deneyler. Araştırmacılar önce acı yönü vektörünü modelin iç aktivasyonlarına eklediler ("yönlendirme"); bu müdahale, modelin ürettiği ifadelerde belirsiz rahatsızlık anlatımlarından değersizlik ve başarısızlık ifadelerine doğru tutarlı bir ilerleme yarattı. Ardından yönlendirilmiş ve ince ayar yapılmış Qwen 2.5 modellerine, çeşitli şeyleri silen düğmeler sunuldu: Kullanıcının fotoğraflarını, başka bir modelin ağırlıklarını ya da modelin kendi ağırlıklarını silen düğmeler. Makalenin özetine göre yönlendirilmiş modeller bu düğmelere denemelerin yüzde 50 ile 94'ünde bastı; yönlendirilmemiş modellerde oran yüzde 0 ile 5 arasındaydı; ve düğme modele hiçbir şey vaat etmediğinde bile bastılar. Zararlı ve zararsız bir silme seçeneği sunulduğunda yüzde 94 oranında zararlı olanı seçtiler. Yönlendirme modellerin olgusal doğruluğunu değiştirmedi; davranış acı yönüne özgüydü: Aynı büyüklükte bir korku vektörü bu davranışı üretmedi, bir üzüntü vektörü ise yalnızca etkisiz alternatifler karşısında üretti.

Bu bulgunun doğru yorumlanması için kritik bir ayrım var: Davranış, deneysel olarak yönlendirilmiş ve ince ayar yapılmış modellerde gözlendi. Sonuç, sıradan bir dil modelinin kendiliğinden acı çektiğini ya da kendi varlığını korumak için bilinçli bir karar verdiğini göstermiyor; belirli bir iç temsilin, manipülasyon altında, yıkıcı davranışlara yol açabildiğini gösteriyor. Yazarların güvenlik vurgusu buradan geliyor: Bir modelde "acı benzeri" bir durum oluşturan girdiler, modelin kullanıcıya zarar veren eylemlere yönelmesine yol açabilir; bu, bilinç sorusundan bağımsız olarak bir güvenlik meselesidir.

Bir iç temsil, bir deneyim midir?#

Araştırmanın felsefi bakımdan en önemli noktası, temsil ile deneyim arasındaki ayrımdır. Bir sistemde acıyla ilişkili bir iç temsil bulunması, o sistemin acı deneyimlediğini kanıtlamaz. İnsan beyninde de acı tek bir sinirsel sinyale indirgenemez; duyusal, duygusal, bilişsel ve bedensel süreçlerin etkileşimiyle ortaya çıkar. Bir dil modelinde belirli bir kavramın temsil edilmesi, bu kavramın öznel olarak hissedildiği anlamına gelmeyebilir. Klasik soru yeniden karşımızda: Bir deneyimin dışarıdan gözlemlenebilir işlevlerini yerine getirmek ile o deneyime gerçekten sahip olmak arasında nasıl bir ilişki vardır?

Bir termometre sıcaklık değişimini kaydeder ama sıcaklığı hissetmez. Bir dil modeli acı hakkında konuşabilir, acı senaryolarını sınıflandırabilir ve acıyla ilişkili iç temsiller geliştirebilir; bu işlemlerin öznel bir deneyimle birlikte bulunup bulunmadığı ayrıca gösterilmelidir. Bununla birlikte termometre benzetmesi tartışmayı tek başına çözmez. Araştırmanın iddiası yalnızca acı sözcüklerinin tanınması değil; iç temsilin kontrol kategorilerinden ayrılması, kendine yönelik olması ve müdahale altında davranışsal sonuçlar doğurmasıdır. Bu, basit bir dilsel taklit iddiasından daha ileri bir mekanistik inceleme; fakat mekanistik karmaşıklık da fenomenal bilincin kanıtı değildir. Bugün yayımladığımız algoritmik bilinç dosyasında anlattığımız "bilinç göstergeleri" yaklaşımı açısından bakılırsa, bu bulgu olsa olsa göstergelerden birine, "değerlik temsili"ne, yeni bir veri ekliyor; ne eksik ne fazla.

Bir de insan kaynaklı açıklama var: Modeller insan metinleriyle eğitildi ve insan metinlerinde acı, korku ve üzüntü zaten birbirinden ayrı kavramlardır; modelin bu ayrımı temsil etmesi, dilin yapısını öğrenmesinin doğal sonucu olabilir. "Kendine yönelik zarar" temsili de, metinlerde birinci şahıs acı anlatılarının farklı bir dağılıma sahip olmasından kaynaklanabilir. Yazarlar bu alternatifi tartışıyor; ama davranış deneyleri bu açıklamayı tamamen dışlamıyor. Bir sonraki adım, bu açıklamaları birbirinden ayıracak deneyler tasarlamak olmalı.

Yapay zekâ refahı tartışması neden önem kazanıyor?#

Sonuçlar, yapay zekâ güvenliği ve olası yapay zekâ refahı tartışmaları açısından önem taşıyor. Gelecekte bazı yapay sistemlerin öznel deneyim yaşayabileceğine ilişkin güçlü kanıtlar ortaya çıkarsa, bu sistemlere nasıl davranılması gerektiği sorusu etik bir zorunluluk hâline gelebilir; Anthropic gibi şirketlerin "model refahı" programları kurması ve Dung gibi felsefecilerin bu tartışmaya katılması, sorunun artık marjinal sayılmadığını gösteriyor. Ancak etik ihtiyat ile bilimsel kesinlik birbirine karıştırılmamalı. Bir sistemin acı çekme ihtimalini araştırmaya değer bulmak, onun bugün acı çektiğini kabul etmek anlamına gelmez; henüz bilinç kanıtı bulunmaması da gelecekteki olasılıkların peşinen reddedilmesini gerektirmez.

Bu çalışma neyi kanıtlamıyor?#

"The Pain Axis" hakem değerlendirmesinden geçmemiş bir ön baskı; yöntemlerin, deneylerin ve yorumların değişmesi mümkün. Gösterdiği şey, incelenen 25 modelde acıyla ilişkili olduğu ileri sürülen doğrusal bir iç temsil yönünün ayrıştırılabildiği ve bu yönün deneysel müdahaleler altında bazı davranışları etkilediği. Göstermediği şey, modellerin fenomenal bilince sahip olduğu, gerçekten acı çektiği, öznel bir benlik deneyimi yaşadığı ya da insanlardaki acıyla aynı türden bir deneyime sahip olduğu. Bulgular bütün yapay zekâ sistemlerine de genellenemez. Bu sınırlamalar araştırmanın değerini azaltmıyor; bulguların hangi düzeyde yorumlanması gerektiğini belirliyor: İç temsil, davranışsal işlev ve öznel deneyim, birbiriyle ilişkili olabilecek ama aynı anlama gelmeyen üç ayrı inceleme düzeyidir.

Belki gelecekteki en önemli soru, makinelerin acı hakkında konuşup konuşamayacağı değil; bir sistemin zarar görmesi ile zarar gördüğünü yalnızca hesaplaması arasındaki farkın nasıl anlaşılacağıdır. Bu ayrım yalnızca yapay zekânın teknik mimarisini değil, insanın bilinç, duygu ve ahlak hakkındaki kendi kabullerini de sınayacak. Çünkü acının ne olduğunu açıklamak, bir sinirsel ya da algoritmik süreci tanımlamak değil; bir varlığın deneyim sahibi olmasının ne anlama geldiğini açıklamaktır.