OpenAI’dan CriticGPT: GPT-4’ün hatalarını GPT-4 bulacak

OpenAI, ChatGPT tarafından üretilen koddaki hataları belirlemek için tasarlanmış yeni bir yapay zeka modeli olan CriticGPT‘yi tanıttı. CriticGPT, insanların büyük dil modeli (LLM) çıktılarını daha doğru hale getirmelerine yardımcı olan “insan geri bildirimi üzerine takviyeli öğrenme” (RLHF) sürecinde hataları tespit etmelerine yardımcı olacak.

OpenAI, ChatGPT tarafından oluşturulan programlama kodunu inceleyen insan eğitmenlere yardımcı olmak için CriticGPT’yi geliştirdiklerini söylüyor. Firma, ChatGPT kodunu gözden geçirmek için CriticGPT’den yardım alan insanların, yardım almayanlardan %60 oranında daha iyi performans gösterdiklerini belirtiyor.

GPT-4’ün hataları GPT-4’e emanet

CriticGPT, ChatGPT’ye güç veren aynı GPT-4 ailesine dayanıyor. Yeni araç kodu analiz ediyor ve olası hatalara işaret ederek, insanların aksi takdirde fark edilmeyebilecek hataları tespit etmesini kolaylaştırıyor. Araştırmacılar CriticGPT’yi kasıtlı olarak eklenmiş hatalar içeren kod örneklerinden oluşan bir veri kümesi üzerinde eğiterek çeşitli kodlama hatalarını tanımayı ve işaretlemeyi öğrettiler.

Esasında böylesi bir araca ihtiyaç duyulmasının felsefi de bir yönü bulunuyor. Daha önce de bahsettiğimiz gibi RLHF süresinde insanlar yapay zekaların hatalarını tespit ederek ince ayarlamaların yapılmasını sağlıyor. Ancak ChatGPT veya diğer yapay zekalar geliştikçe yaptıkları hatalar da giderek azalıyor veya fark edilemeyecek nüanslarda gerçekleşiyor. Bu noktada da insanların işini zorlaştırıyor. Zira model, geri bildirim sağlayan kişiden daha bilgili hale doğru ilerliyor. OpenAI, esasında bu zorluğu aşmak için ChatGPT cevaplarındaki yanlışlıkları vurgulayan eleştiriler yazmak üzere CriticGPT’yi oluşturdu.

Yeni modelin eleştirileri, eğitmenler tarafından doğal hataları içeren vakaların yüzde 63’ünde (yukarıda bahsedilen istatistik) ChatGPT’nin kendisi tarafından üretilenlere tercih edildi. Bunun nedeni kısmen yeni eleştirmenin daha az “nitpick” (yardımcı olmayan küçük şikayetler) üretmesi ve daha az sıklıkla halüsinasyon olarak görmesi.

OpenAI aynı zamanda Force Sampling Beam Search (FSBS) adını verdikleri yeni bir teknik de geliştirdi. Bu yöntem en basit haliyle CriticGPT’nin daha ayrıntılı kod incelemeleri yazmasına yardımcı oluyor. Araştırmacılar FSBS ile CriticGPT’nin sorunları ararken ne kadar kapsamlı olacağını ayarlayabiliyor, aynı zamanda gerçekte var olmayan sorunları ne sıklıkla uydurabileceğini de kontrol edebiliyor.

İlginç bir bulgu da var

OpenAI, kod üzerindeki deneylere ek olarak, LLM eleştirmenlerinin genel yardımcı görevlerde nasıl performans gösterdiğini de araştırdı ve ilginç bir şekilde CriticGPT’nin yeteneklerinin kodun ötesine geçtiğini keşfetti. OpenAI, daha önce insanlar tarafından kusursuz olarak değerlendirilen ChatGPT eğitim verilerinin bir alt kümesinde CriticGPT’yi test etti. İlginç bir şekilde CriticGPT, buradaki vakaların yüzde 24’ünde hatalar buldu. OpenAI, bunun CriticGPT’nin kod dışı görevlere genelleme potansiyelini gösterdiğini ve dikkatli insan değerlendirmesinin bile gözden kaçırabileceği ince hataları yakalama yeteneğini vurguladığını düşünüyor.

CriticGPT mükemmel değil

En nihayetinde CriticGPT modeli de GPT-4 üzerinde inşa edilmiş bir yapay zeka. Bu nedende diğer tüm modeller gibi CriticGPT’nin de bazı sınırlamaları bulunuyor. Bu sınırlamaların başında modelin halen halüsinasyon görmesi geliyor. CriticGPT daha dar ve kaliteli bir veri kümesinde eğitilse de modellerin en doğal çalışma prensipleri nedeniyle daha az yapıyor olsa bile halüsinasyonlardan kurtulamıyor. Haliyle bunlar da insanların yanlış etiketlemeler yapmasına neden oluyor. Eğer bu konuda daha fazla bilgi almak istiyorsanız aşağıdaki içeriğimizi mutlaka okuyunuz: 

Bununla birlikte CriticGPT, oldukça kısa olan ChatGPT cevapları üzerinde eğitildi. Bu da uzun ve karmaşık görevleri değerlendirmede performansını düşürüyor. Ayrıca bazen hatalar tek bir yerde olmayabiliyor. CriticGPT, belirli bir yerde tespit edilebilen hataları belirlemede oldukça iyi olsa da gerçek dünyadaki hatalar bir cevabın birçok bölümünde olabiliyor. Ek olarak OpenAI, CriticGPT’nin bir yere kadar yardımcı olabileceğini söylüyor. Bir görev veya yanıt son derece karmaşıksa, model yardımı alan bir uzman bile bunu doğru bir şekilde değerlendiremeyebilir.