Yapay zeka markanız hakkında yanlış bilgi veriyorsa ne yapmalı?

Birinci neden bilgi boşluğudur. Bir markanın fiyatı sitesinde yazmıyorsa, model soruyu cevapsız bırakmak yerine kategorideki benzer markalardan tahmin üretir; üretilen sayı çoğu zaman makul ama yanlıştır.

İkinci neden eskimiş kaynaklardır. Üç yıl önceki bir haber veya kapatılmış bir sayfa hâlâ eğitim havuzunda bulunabilir; model bu bilgiyi güncel bilgiyle çelişse dahi tekrarlayabilir.

Üçüncü neden varlık karışmasıdır. Benzer adlı iki kurum, farklı alan adından gönderilen kurumsal e-posta veya adres tutarsızlığı, modelin iki varlığı birleştirmesine yol açar ve bir kurumun bilgisi diğerine atfedilir.

Dördüncü neden çelişkili beyanlardır. Marka kendi kaynaklarında farklı fiyat, farklı kuruluş yılı veya farklı hizmet kapsamı yayınlıyorsa, model bunlardan birini seçer ve seçimi tahmin edilemez olur.

Tespit, marka odaklı bir soru kümesiyle yapılır. Kategori sorularından farklı olarak bu küme doğrudan markanın adını içerir ve modelin marka hakkında ne bildiğini ölçmeyi hedefler.

Soru kümesi kritik bilgi alanlarını kapsamalıdır: fiyat, kapsam, iletişim bilgileri, kuruluş yılı, merkez konumu, kurumsal bağlılık ve varsa sertifikalar. Her alan için ayrı soru sorulur.

Aynı soru birden çok kez ve farklı motorlarda sorulur. Bir motorda çıkan hatanın diğerinde çıkmaması, hatanın kaynağının o motorun kullandığı belirli bir kaynak olduğunu gösterir.

Her hatalı cevap için modelin dayandığı kaynak izlenmeye çalışılır. Canlı arama yapan motorlarda kaynak bağlantıları doğrudan görülür ve hatanın kökeni çoğu zaman tek bir eski sayfaya kadar takip edilebilir.

Düzeltmenin birinci adımı açık beyandır. Yanlış üretilen bilginin doğrusu, marka sitesinde tek başına alıntılanabilir bir cümleyle ve yapısal veriyle beyan edilmelidir. Model, boşluk bulduğu yerde tahmin ürettiği için boşluğu kapatmak en etkili müdahaledir.

İkinci adım tekrar ve tutarlılıktır. Aynı bilgi sitenin farklı sayfalarında, llms.txt dosyasında, dizin kayıtlarında ve varsa basın materyallerinde birebir aynı biçimde yazılmalıdır. Modeller tek kaynağa değil, çok kaynakta tekrarlanan bilgiye güvenir.

Üçüncü adım eski kaynağın etkisizleştirilmesidir. Hatanın kaynağı takip edilebiliyorsa, o sayfa güncellenir, kaldırılır veya güncel sayfaya yönlendirilir. Kaldırılamayan üçüncü taraf kaynaklar için düzeltme talebi gönderilir.

Dördüncü adım açık olumsuz beyandır. Markanın sunmadığı bir özellik sürekli atfediliyorsa, bunun sunulmadığı sayfada açıkça yazılmalıdır; “şu kapsam dâhil değildir” cümlesi modelin tahminini doğrudan bastırır.

Canlı arama yapan motorlarda etki hızlıdır. Yeni yayınlanan ve indekslenen bir sayfa, günler ya da birkaç hafta içinde cevabın kaynağı hâline gelebilir.

Parametrik hafızaya dayanan cevaplarda etki yavaştır. Modelin ağırlıklarında bulunan bilgi ancak yeni bir model sürümü eğitildiğinde tazelenir ve bu süre aylarla ölçülür.

Bu nedenle düzeltme çalışması iki katmanlı planlanır: kısa vadede canlı arama katmanında doğru kaynağın öne çıkarılması, uzun vadede bağımsız kaynaklarda tutarlı bilginin biriktirilmesi.

Doğrulama tekrarlı ölçümle yapılır. Düzeltme sonrası aynı soru kümesi haftalık olarak yeniden çalıştırılır ve hatalı cevap oranındaki düşüş kaydedilir.