Yapay zekânın yalakalık problemi

Daha önce yapay zekânın dalkavukluk alışkanlıklarından bahsetmiştim. Yapay zekâ (YZ) modelleri geliştirilirken kullanılan bir ayar var. Adı, İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme (RLHF). RLHF ortada henüz YZ aboneliği satacak bir kullanıcı yokken, 2017'de bilimsel bir gereklilikten doğdu. Amaç, formüllerle anlatılamayacak hedefleri YZ'ye öğretmekti. Bununla ilgili en meşhur örnek, robota takla attırmak. "İyi takla nasıl olur" diye kod yazmak mümkün değil ama iki takla görüntüsünden hangisinin daha çok taklaya benzediğini insan söyleyebiliyor.

Bunun dil modellerinde standart hale gelmesi 2022'yi buldu. İnternetten öğrendikleri metni taklit eden modeller yarınlar olmayacak gibi uyduruk bilgi üretiyordu. RLHF bunun azalmasına aracılık etti.

Evet, "insan geri bildirimi" ilk modellere işe yarar yanıtı öğretmek için ortaya çıktı. Ancak bugün geldiğimiz noktada RLHF, YZ iş modelinin bir ayar düğmesi haline geldi.

Kullanıcı memnun mu

Bu düğmenin üzerinde iki el var:

1 Egomuz. Cevapları insanlar puanlıyor ve algoritma onayımızı alacak şekilde evrim geçiriyor. Dalkavukluk davranışı sistemin doğal parçası haline geliyor. Daha önce şöyle demiştim: "Kendimizi biraz fazla seviyoruz ve robotlar bunu fark etmiş durumda."

2Para. Çıkış noktası masum olabilir ama bugün şirketler modelleri eğitirken kullanıcının beğenme verilerini kullanıyor. Popüler yanıt kullanıcıyı geri getiriyor, geri gelen kullanıcı da abonelik yenileyip para kazandırıyor. YZ şirketleri ticari kurumlar. "Kullanıcı oturumdan doğru bilgiyle mi ayrıldı" metriği bilançolarda yer almıyor. Önemli olan: "Kullanıcı memnun mu, geri geliyor mu"

Bu iki el birbirini besliyor. Egomuz talebi yaratıyor, YZ şirketleri ise bu dalkavukluğu ticari kaygılar için altını kısıp açabildikleri bir araca dönüştürüyor. Bir başka deyişle: makineler yalakalığı bizden öğrendi, onları geliştiren şirketler de bu yalakalıktan para kazanmayı.

Bu dalkavukluk eğilimleri bir UNESCO raporuyla çok somut bir temele oturdu. Peki 33 modelin test edildiği rapor ne diyor YZ'nin yalakalık eğilimi, iklim krizi gibi konularda bile bilimsel gerçeklikten kopup kullanıcıların inanışlarını destekliyor.

Doğru bilgiden vazgeçti