8,3 milyar yapay persona: MatrAIx insanlığı simüle edebilir mi?

Yapay zekâ alanında uzun süredir sorulan soru, makinelerin insan gibi düşünüp düşünemeyeceğiydi.

4 Ağustos'ta arXiv'de yayımlanan bir çalışma soruyu tersine çeviriyor: Makineler insanları yeterince iyi simüle edebilir mi?

MatrAIx: Simulating the World with 8.3 Billion Persona Agents başlıklı teknik rapor, Harvard ve MIT öncülüğünde doksan üç araştırmacı tarafından hazırlandı. Proje kendisini bir dil modeli olarak değil, simüle edilmiş kullanıcılarla değerlendirme altyapısı olarak tanımlıyor.

Rakamlar#

Sistemin merkezinde Persona 8B var.

Çalışmanın iddiası çarpıcı: 8,3 milyar profil — gezegenin her sakini için bir tane. Her profil yaştan mesleğe, gelirden risk toleransına uzanan 1.290 nitelikle tanımlanıyor.

Burada bir ayrımı baştan koymak gerekiyor: Bu, 8,3 milyar gerçek insanın dijital kopyası değil. Nitelik kombinasyonlarından üretilebilen bir persona uzayı. Araştırmacılar bağıntıları koruyan bir bağımlılık grafiğinden örnekleme yaptıklarını belirtiyor.

Kamuya açılan kısım çok daha küçük: kalite filtresinden geçmiş yaklaşık bir milyonluk bir çekirdek. Bunun 599.847'si insan kaynaklı verilere dayanıyor, 400 bini sentetik.

Persona ajanları dört ortamda çalıştırılabiliyor: anket, yapay zekâ sohbet botu, web ve uygulama (masaüstü ve mobil dahil). Sistem yirmi beşten fazla alana yayılan 1.010 yeniden kullanılabilir görev içeriyor.

Fikir: önce simüle et, sonra doğrula#

MatrAIx'in önerdiği şey gerçek kullanıcı araştırmalarını ortadan kaldırmak değil.

Araştırmacılar simülasyonu, gerçek kullanıcı araştırmasından önce çalışan bir stres testi olarak konumlandırıyor. Bir şirket yeni bir uygulama geliştirdiğinde binlerce kullanıcıyla test yapmak zaman ve para gerektiriyor; aynı durum bir müşteri hizmetleri botu, finans uygulaması ya da sağlık yazılımı için de geçerli.

Yazılım mühendisliği açısından bunun kayda değer bir sonucu var. Geleneksel test şunu sorar: Sistem doğru çalışıyor mu?

MatrAIx buna ikinci bir soru ekliyor: Sistem farklı insanlar karşısında nasıl çalışıyor?

Araştırmacılar 18.189 değerlendirme deneyi gerçekleştirdiklerini bildiriyor. Persona ajanları farklı büyük dil modelleriyle çalıştırıldı.

Bu nokta önemli: MatrAIx kendi başına bir insan simülatörü değil. Persona bilgisi bir davranış çerçevesi sağlıyor; davranışı üreten mekanizma dil modelinin kendisi.

Denklem şöyle: persona + ortam + görev + dil modeli = simüle edilmiş kullanıcı davranışı.

%91,5: persona davranışa dönüşüyor mu?#

Çalışmanın en dikkat çekici ölçümlerinden biri persona uyumu.

On davranışsal özellik üzerinden 400 kontrollü deneme yapıldı; 366'sında personaya tanımlanan davranış ortaya çıktı ya da gerektiğinde doğru biçimde bastırıldı. Bu yüzde 91,5'lik bir uyum demek.

Rakam yüksek görünüyor. Ama burada metodolojik olarak dikkat edilmesi gereken bir şey var:

Persona uyumu, insan gerçekliğiyle aynı şey değildir.

Bir modelin "şüpheci kullanıcı" olarak tanımlanması ve deneyde şüpheci davranması, gerçek hayattaki şüpheci insanların da öyle davranacağını kanıtlamaz. Ölçülen şey, modelin kendisine verilen talimatı ne kadar iyi izlediği.

Aradaki fark, önümüzdeki yılların en önemli araştırma sorularından biri olabilir.

Felsefenin eski sorusu: insan nedir?#

MatrAIx'in teknik mimarisinin arkasında çok eski bir problem duruyor.

Bir insanı yaş, gelir, eğitim, meslek, kişilik özellikleri, tercihler ve davranış kalıpları üzerinden tanımlayabiliriz. Peki bütün bunları bir araya getirdiğimizde elimizde gerçekten "insan" mı olur, yoksa insan hakkında oluşturulmuş bir veri modeli mi?

Bu soru bizi Aristoteles'ten Kant'a, fenomenolojiden çağdaş zihin felsefesine uzanan bir tartışmanın içine sokuyor.

Çünkü insan yalnızca sahip olduğu niteliklerin toplamı değil. İnsan aynı zamanda birinci şahıs deneyimine sahip bir varlık olarak düşünülür.

Açlık "açlık = 0/1" değişkeni değildir. Kaygı bir davranış parametresi değildir. Bir ürüne duyulan güven kategorik bir özellik değildir. Bir insanın kararını belirleyen şey bazen hiçbir veri tabanının temsil edemeyeceği tekil bir deneyimdir.

Sitemizde bu ay aktardığımız Don Ihde'nin postfenomenolojisi tam da bu farkı çözümlemek için kurulmuştu: Deneyim, niteliklerin toplamına indirgenemez.

Döngüsellik problemi#

Sistemin daha derin bir sorunu var: Yapay zekâ, yapay zekâyı değerlendiriyor.

MatrAIx'te persona ajanları büyük dil modelleri tarafından çalıştırılıyor ve değerlendirilen sistemler de yapay zekâ ürünleri. Buradan çıkan soru şu:

Bir yapay zekâ, başka bir yapay zekânın insanlar üzerindeki etkisini ölçerken gerçekten insan davranışını mı ölçüyor — yoksa modelin insan davranışı hakkındaki varsayımlarını mı?

Bu itiraz literatürde "döngüsellik problemi" adıyla gündeme getirildi. Küçümsenecek bir itiraz değil. Eğer yapay zekâ hem kullanıcı hem değerlendirici olarak kullanılırsa, sistem kendi varsayımlarını kendi içinde doğrulayan kapalı bir epistemik çevrim oluşturabilir.

Bu, bilim felsefesinde tanıdık bir tuzak: Ölçme aracının, ölçtüğü şeyle aynı varsayımları paylaşması.

Asıl katkı: "ortalama kullanıcı" fikrinin sonu#

MatrAIx'in hakkını teslim etmek gerekiyor. Proje, "ortalama insan" fikrinin yetersizliğini açık biçimde ortaya koyuyor.

Gerçek dünyada insanlar aynı değildir. Aynı ürünü farklı insanlar farklı kullanır. Aynı hata bir kullanıcı için önemsizken diğeri için sistemi tamamen terk etme nedeni olabilir. Aynı fiyat artışı bir tüketiciyi etkilemezken başkasının satın alma davranışını değiştirebilir.

Araştırmacılar farklı persona özelliklerinin fiyat artışına tepki, yapay zekâ asistanı başarısız olduğunda sistemi terk etme eğilimi ve gecikmeye tolerans gibi davranışlarda fark yarattığını gösteriyor.

Bugüne kadarki ölçütler çoğunlukla tek bir "ortalama kullanıcı" varsayıyordu. MatrAIx kullanıcı çeşitliliğini değerlendirmenin merkezine koyuyor.

Katkısı belki de tek cümlede: "Model ne kadar iyi?" sorusunu "model kimin için ne kadar iyi?" sorusuna dönüştürmek.

Nerede durmalı?#

Uzun vadeli sonuçlar ürün testiyle sınırlı kalmayabilir. Pazar araştırması, politika denemesi, eğitim sistemi tasarımı, reklam optimizasyonu — hepsi aynı altyapıyla yapılabilir.

Tam burada etik sınır belirginleşiyor.

Bir şirket "8,3 milyar sanal kullanıcıda test ettik" diyerek gerçek kullanıcı araştırmasını gereksiz görmeye başlarsa ne olur? Bir hükümet politikayı gerçek yurttaşlar yerine yapay yurttaşlar üzerinde denerse? Bir reklam şirketi hangi mesajın hangi personayı etkileyeceğini milyarlarca simülasyonla önceden hesaplayabilirse?

Teknoloji burada insanı anlamaya çalışan bir araç olmaktan çıkıp insan davranışını öngören ve şekillendiren bir araca dönüşebilir.

Araştırmacıların kendi ihtiyatı bu açıdan kayda değer: Simüle edilmiş kullanıcıların gerçek kullanıcıların yerine geçmediğini, sorunları daha erken keşfetmek için kullanılabileceğini, önemli sonuçların farklı modellerle kontrol edilip gerçek insanlarla doğrulanması gerektiğini belirtiyorlar.

Simülasyon ile gerçeklik arasındaki farkı kabul etmek, simülasyonun bilimsel olarak güvenilir kalabilmesinin ön koşulu.

Yarışın konusu değişiyor#

MatrAIx bir yön değişikliğine işaret ediyor.

İlk dönemin sorusu "kim daha büyük model yapacak?"tı. Sonra "kim daha güçlü ajan geliştirecek?" oldu. Şimdi giderek şu soru öne çıkıyor: Kim insan davranışını daha iyi modelleyebilecek?

Bu, yapay zekânın "zekâ üretme" teknolojisi olmaktan çıkıp insan davranışını modelleme teknolojisine dönüşmekte olduğunu gösteriyor.

Ve son soru belki de teknik değil: Yapay zekâ insanı ne kadar iyi taklit edebilir sorusundan çok, insanı taklit ettiğini düşündüğümüz bir yapay zekâya ne zaman güvenmeye başlayacağız?