Geçtiğimiz hafta hem ChatGPT modelini geliştiren OpenAI firması, hem de Gemini modelini geliştiren Google iki önemli gelişme duyurdu.

Bu iki teknoloji devinin illüzyon gösterilerini andıran tanıtım videoları sosyal medyada paylaşılmaya devam ediyor. Her ne kadar OpenAI GPT4o adını verdiği modelinde girdi boyutunun genişletilmesi ile ilgili bir güncelleme yapmasa da; Google, Gemini modelinin yeni sürümüyle birlikte, modelin token yani bir anlamıyla kelime işleme kapasiteninin 2 milyona yükseltileceğini duyurdu.

Token, Türkçe karşılığı ile jeton, dil modelleri dünyasındaki esrarlı kelimelerden biri. En basit anlatımıyla dil modelinin işleyebileceği hece sayısını belirtiyor. Esrarlı diyoruz çünkü dil modelleri için kelimeleri hecelere bölme işlemi, biz ölümlülerin daha ilkokul sıralarında öğrendiği hecelere ayırma işleminden daha farklı.

ChatGPT'ye "Merhaba nasılsın" diye sorduğunuzda boşluklar ve soru işareti dahil 17 karakterden oluşan bu cümle Mer-ha-ba na-sıl-sın şeklinde değil, Mer-ha-ba-nas-ı-ls-ın- şeklinde heceleniyor. 6 hece olarak bizler hesap etsek de GPT tarafından bu sıcak selamlama, 8 hece (token, jeton) olarak hesaplanıyor. İngilizce karşılığı olan "Hello, how are you" ise, karakter sayısı (19) daha fazla olmasına rağmen, sadece bu işlem için, girdi ve çıktı üretme işleminde tüketilecek limitinizden 6 jeton harcıyor.

Gemini'ın duyurduğu 2 milyon tokenlık girdi-çıktı kapasitesi, komut verirken ve üretilecek yanıtta kullanacağınız jeton limitinin muazzam bir biçimde arttırılması demek. Ezcümle, her iki firmanın da duyurduğu geliştirmeler ile daha uzun komutları, özetlemek istediğiniz kitap ya da dosyaları dil modeline, konumuz açısından ChatGPT ya da Gemini'ye verebileceğiniz anlamına geliyor.

Google'ın IO sunumunda kapasite artırımı ile birlikte yaklaşık 1,500 sayfalık bir PDF dosyasını Gemini modeline girdi olarak verebileceğiniz belirtiliyor. Meraklısı için not, hali hazırda Gemini modeli sadece 1 milyon token'ı kabul ediyor.

Token ya da jeton dediğimizde okurlarımızın gözü korkmasın, bizim doğal dil kullanarak verdiğimiz komutlar dil modellerinin yapısında bulunan bir kodlayıcı tarafından (tokenizer) otomatik olarak bu jeton, token, değerlerine çevriliyor.

Dil modelleri her ne kadar büyük veri kümeleri ile eğitilmiş, yüksek teknolojiler olsa da gerçekten beklediğiniz sonucu almak için bu dil modelleri ile "biraz daha açık konuşmanız" gerekiyor. Dil modellerine meramını anlatma işi ise son günlerin moda tabiriyle "prompt engineering" olarak adlandırılıyor. Ben ise Osman Hamdi Bey'in meşhur tablosundan ilhamla (Kaplumbağa Terbiyecisi), Prompt Terbiyeciliği demeyi daha çok seviyorum.

Prompt Terbiyeciliği'nin her meslekte olduğu gibi bir adabı, bu işi layığıyla yerine getiren bir de erbabı var. Erbabı bu işin ustalıklarını bilimsel titizlikte deneyler yaparak, araştırma sonuçları olarak ortaya koyuyor, makaleler olarak yayınlıyor. Bu denemeler sonucunda en iyi sonucu aldıkları teknikler sadece literatürün parçası olarak kalmıyor; Prompt Terbiyeciliği mesleğinin de incelikleri olarak giderek yaygınlaşıyor.