Dil modeli ve arama motoru farkı, metin üretmek ile ilgili sayfaları bulmak arasındaki ayrımla başlar. Cevabın dayanağını kontrol etmek ise ayrı bir iştir. Günlük kullanımda bunlar aynı ekranda buluşabilir. Hangi işlemin yapıldığını ayırmak, elinizdeki sonucun ne anlattığını değerlendirmenizi kolaylaştırır.
Dil modeli ne yapar?
Büyük dil modelleri, geniş veri kümelerindeki dil örüntülerinden öğrenir. Verilen bağlama göre metni küçük birimler, yani tokenlar üzerinden üretirler. Token her zaman tam bir kelime değildir; kelime parçası da olabilir. Bu yapı, bir konuyu açıklama, metni özetleme veya bir taslağı yeniden düzenleme gibi işlerde kullanılabilir. [1]
Ancak akıcı bir anlatım doğruluğun ölçüsü değildir. IBM'in açıklamasındaki “halüsinasyon”, inandırıcı görünen fakat yanlış veya uydurulmuş çıktıları kapsar. Buna var olmayan bir kaynak adresi ya da gerçekte bulunmayan bir araştırma da dahil olabilir. Bu nedenle cevabın üslubuyla iddianın dayanağını ayrı değerlendirin. [2]
Arama motoru ne yapar?
Google kendi arama işleyişini üç aşamayla açıklar: sayfaları taramak, içerikleri dizine almak ve sorguya uygun sonuçları sunmak. Sorgu sırasında ilgili bilgiler dizinde aranır. Her keşfedilen sayfanın taranması veya dizine alınması garanti değildir. Bu açıklama Google'ın işleyişine aittir; bütün arama hizmetlerinin ayrıntılarının aynı olduğu anlamına gelmez. [3]
Arama sonucu sizi belgelere götürebilir. Listede görünen başlık ve kısa açıklamadan sonra sayfanın kendisine geçmek, asıl metni ve kapsamını okumak gerekir. Bu yazıdaki kaynak kontrolü önerisi, sonuç sırasını tek başına bir iddianın doğrulanması olarak kabul etmez.
Kaynak kontrolü hangi soruyu sorar?
Kaynak kontrolünde, bir iddianın hangi belgeye dayandığını bulur ve belgenin gerçekten o iddiayı destekleyip desteklemediğini incelersiniz. Bu, arama motorunun otomatik web taramasından farklıdır; okurun yaptığı araştırma ve doğrulama işidir.
Temsili bir soru düşünün: Kullandığınız uygulamada çevrimdışı çalışma özelliği var mı? Dil modeli soruyu açıklayabilir; arama motoru üreticinin yardım sayfasını bulmaya yardım edebilir. Kaynak kontrolünde ise belgenin hangi uygulama sürümüne ve platforma ait olduğuna, güncellenme tarihine ve “çevrimdışı” sözcüğünün hangi işlemleri kapsadığına bakarsınız. Bir özelliği anlatan paragrafın, bütün uygulamanın internetsiz çalıştığını söyleyip söylemediğini ayrıca ayırırsınız. Bu örnek, belirli bir uygulamada yapılmış deneme değildir.
Birlikte kullanılabilirler mi?
Evet. Bilgi getirme destekli üretim, yani RAG, bir dil modelini dışarıdan getirilen belgelerle birlikte kullanabilen yaklaşımlardan biridir. IBM, bunu hatalı üretimi azaltmak için kullanılan yöntemler arasında anlatır. Böyle bir bileşimin bulunması, her cevabın güncel internette arandığını veya gösterilen her bağlantının iddiayı desteklediğini kendiliğinden kanıtlamaz. [2]
Pratik bir çalışma sırası şöyle olabilir: Önce soruyu açık yazın, sonra ilgili belgeyi bulun, son olarak cevapta kullanılan bilgiyi belgeyle karşılaştırın. Modelden aldığınız özeti de bu karşılaştırmaya dahil edin. Metin üretimi, bilgiye ulaşma ve kanıt kontrolünü ayrı adımlar olarak görmek, nerede ek okumaya ihtiyaç duyduğunuzu gösterir.
