ChatGPT’nin arkasındaki matematik

Rus bir matematikçi, 1906’da akademik bir çekişmede bir rahibi küçük düşürmeye çalışırken ChatGPT’nin arkasındaki matematiği icat etti ve 16 yıl sonra bunların hiçbirinden haberdar olmadan öldü.

Adı Andrey Markov’du. Lakabı Öfkeli Andrey’di. Ve inşa ettiği şeyin dil ile ilgili olması hiç de amaçlanmamıştı.

İşte size neredeyse kimsenin anlatmadığı hikaye.

1905’te Rusya parçalanıyordu. Rus-Japon Savaşı ülkeyi kanatıyordu. Devrim sokaklardaydı. Ve İmparatorluk Bilimler Akademisi’nin içinde, iki matematikçi, mesleki olarak hiçbir ilgisi olmayan bir soru yüzünden birbirlerini paramparça ediyordu.

Rahip, sayıların Tanrı’nın tasarımını kanıtlayabileceğine inanan, teologken matematikçi olan Pavel Nekrasov’du. Argümanı şuydu: Büyük Sayılar Yasası, olasılık teorisinin temel kuralı, yalnızca olaylar birbirinden bağımsız olduğunda işe yarar. Tıpkı yazı tura atmak gibi. Aralarında hiçbir bağlantı yok. Ve eğer insan kararları aynı kalıbı izliyorsa, o zaman insanların gerçekten özgür, bağımsız seçimler yapıyor olması gerektiğini söyledi. Ona göre matematik, özgür iradeyi kanıtlıyordu. Bu da ruhu kanıtladığı anlamına geliyordu. Bu da Tanrı’yı kanıtladığı anlamına geliyordu.

Markov bunu mesleki olarak saldırgan ve kişisel olarak öfkelendirici buldu.

Kendi isteğiyle Rus Ortodoks Kilisesi’nden aforoz edilmiş, Tolstoy’un aforozunu tanımayı reddettikten sonra kendisini de aforoz etmelerini talep eden bir mektup göndermiş, koyu bir ateistti. Matematiğin kötüye kullanılması dediği şeye tahammülü yoktu. Bir rahibin olasılık teorisini kullanarak teolojiyi bilime sokması fikri, lakabının da ima ettiği gibi onu tam olarak öfkelendirdi.

Bu yüzden argümanı yok etmeye koyuldu.

Kanıtı zarif ve acımasızdı. Büyük Sayılar Yasası’nın bağımsızlık gerektirmediğini gösterdi. Her olay bir öncekiyle bağlantılı olsa bile ortalamalar istikrara kavuşabilir. Özgür iradenin bununla hiçbir ilgisi yoktu. Ruhun bununla hiçbir ilgisi yoktu. Nekrasov’un tüm teolojik yapısı matematiksel bir teknik ayrıntı yüzünden çöktü.

Ama Markov’un gerçek dünyadan bir kanıta ihtiyacı vardı. Somut bir şeye. Kanıtı inkar edilemez kılacak bir şeye.

Alexander Puşkin’in Eugene Onegin’ini eline aldı.

Okumak için değil. Saymak için.

St. Petersburg’daki çalışma odasında oturup şiirin ilk 20.000 harfini tek bir kesintisiz dize halinde yazdı, her boşluğu ve noktalama işaretini ayıklayarak sadece ham bir karakter zinciri haline getirdi. Sonra saymaya başladı. Sesli harf mi, sessiz harf mi? Hangisi hangisini takip ediyor? Bir sesli harfin ardından ne sıklıkla sesli harf geliyor? Bir sessiz harfin ardından ne sıklıkla sesli harf geliyor? Haftalarca, harf harf, elle.

Bulduğu şey, harflerin birbirine derinden bağımlı olduğuydu. Bir sesli harfin bir sessiz harften sonra gelme olasılığı, başka bir sesli harften sonra gelme olasılığından çok daha yüksekti. Dizi rastgele değildi. Her harf, kendisinden önce gelen harften etkileniyordu. Ve yine de 20.000 harf boyunca, sesli harflerin genel sıklığı istikrarlı bir sayıya yakınsıyordu. Bağımlılık ve istatistiksel düzenlilik bir arada var olabiliyordu.

Nekrasov yanılıyordu. Matematik bağımsızlık olmadan da işliyordu. Özgür irade olasılık teorisinin içinde gizlenmiyordu. Markov bunu bir aşk şiirinin arkasında kanıtlamıştı.

Keşfettiği yapıya zincir adını verdi. Şimdi Markov zinciri dediğimiz şey.

Fikir, tek bir cümleyle açıklanabilecek kadar basittir. Bir sistemin bir sonraki durumu, yalnızca mevcut durumuna bağlıdır, daha önce gelen her şeye değil. Her adım, bir sonraki adımı atmak için yeterli hafızaya sahiptir. Daha fazlası değil.

Markov’un hayal edemeyeceği şey, bu fikrin neye dönüşeceğiydi.

Bugün var olan her dil modeli, tam olarak bu mantık üzerine kurulmuştur. ChatGPT, komutunuzu okuyup bir sonraki kelimeyi oluşturduğunda, Markov’un Puşkin’in mektuplarıyla yaptığı şeyin çok daha gelişmiş bir versiyonunu yapıyor. Konuşmanın mevcut durumuna bakıyor ve eğitildiği her şeydeki kalıplara dayanarak bir sonraki adımın ne olması gerektiğini hesaplıyor. Dizilerin bir yapısı olduğu, bir sonraki öğenin daha önce gelenlere bağlı olduğu, dili bağımlı olasılıklar zinciri olarak modelleyebileceğiniz temel matematiksel sezgi, Markov’a aittir. 1913’ten beri Markov’un eseri.

Eugene Onegin hakkındaki makalesi 23 Ocak 1913’te İmparatorluk Bilimler Akademisi’ne sunuldu. Dinleyiciler matematikçilerdi. Tartışma konusu özgür iradeydi. O salondaki hiç kimse bilgisayarları düşünmüyordu. Çünkü o zamanlar bilgisayar yoktu. İlk elektronik bilgisayarın ortaya çıkmasına daha otuz yıl vardı.

Makalesinden dokuz yıl sonra, 1922’de, Sovyet döneminin o ilk kargaşası içinde hayata gözlerini yumdu. 66 yaşındaydı. Son yıllarını; Çar’ın devrilişini, devrimin yükselişini ve ülkesinin tanınmaz bir şeye dönüşümünü izleyerek geçirmişti. Hiçbir zaman bir transistör görmedi. Dili işleyen bir makineyi asla hayal etmedi. O, bir rahiple girdiği tartışmayı çözüme kavuşturduğunu sanıyordu.

Oysa aslında çözüme kavuşturduğu tartışma, henüz kimsenin sormadığı bir tartışmaydı.

Bugün onun zincirleri; her arama motorunun, her sesli asistanın, her spam filtresinin ve her otomatik tamamlama özelliğinin içinde yer alıyor. 2024 tarihli Büyük Dil Modelleri Markov Zincirleri Olarak başlıklı makale, uygulayıcıların on yıllardır gayriresmi olarak bildiği bir gerçeği matematiksel olarak ortaya koyuyor: GPT-4, Claude ve Gemini’ın çıkarım mekanizması, belirteç (token) dizileri üzerinde işleyen bir Markov zinciri olarak nitelendirilebilir. Matematik ona ait; ancak makaledeki isim başkasına.

Bu hikâyenin, Nekrasov’un tartışmayı kazandığı bir versiyonu da mevcut. Rahibin, zamanını harcamaya değmeyeceğine karar veren Markov’un olduğu bir versiyon. Teolojik bir anlaşmazlığı çözmek uğruna, bir şiirdeki 20.000 harfi kimsenin saymadığı bir versiyon.

O versiyonda, bu zincir asla icat edilmiyor. Ya da çok daha sonra; başka biri tarafından, farklı nedenlerle ve bambaşka bir zaman çizgisinde icat ediliyor.

Bizim payımıza düşen ise bu versiyon oldu: Öfkeli ateist. Aşk şiiri. Haftalar süren sayım işlemi. Bir adamın teolojisini yerle bir eden; ancak aynı zamanda 21. yüzyıla, el kazasıyla en önemli matematiksel aracını armağan eden o kanıt.

Nekrasov, sayıların içinde Tanrı’yı ​​bulmayı umuyordu.

Ancak sayıların içinde bulduğu şey Markov oldu. Markov ise, ikisinin de hiç aramadığı bir şeyi keşfetti.