Zekâ, yerini hak ettiğinde: yapay zekâ özellikleri için pratik bir test

Artık neredeyse her ürün yol haritasında bir “yapay zekâ” satırı var. Bu satırların bazıları ürünleri çarpıcı biçimde iyileştirecek. Pek çoğu ise ölçülebilir bir kazanç olmadan maliyet, gecikme ve yeni bir hata sınıfı ekleyecek.

Tutumumuz basit: zekâ, yerini hak ettiğinde. Bir model ürüne girmeden önce dört sorudan geçmek zorunda.

1. Hangi sonuç iyileşiyor ve bunu nasıl ölçeceğiz?

“Aramayı daha akıllı yap” bir sonuç değildir. “Faydalı sonuç vermeyen aramaların oranını %18’den %8’in altına indir” bir sonuçtur. Metriği adlandıramıyorsak modelin işe yarayıp yaramadığını — ve yeni bir sürümün işleri ne zaman kötüleştirdiğini — bilemeyiz.

2. Prompt’tan önce bir değerlendirme setimiz var mı?

Testi özellikten önce yazarız: zor ve çirkin olanlar dahil, beklediğimiz cevaplarla birlikte birkaç yüz gerçek ve temsil edici örnek. Her değişiklik — yeni bir prompt, yeni bir model, yeni bir bilgi erişim stratejisi — bu set üzerinde çalıştırılır. Demolar ikna eder; değerlendirme setleri karar verir.

3. Yanlış bir cevabın maliyeti ne ve onu kim yakalar?

Bir model zaman zaman yanılacaktır. Tasarım sorusu, o zaman ne olacağıdır. Yanlış bir ürün önerisi ucuzdur. Finansal bir özetteki yanlış bir rakam değildir. Hatanın maliyeti ne kadar yüksekse, tasarım o kadar fazla kaynak gösterimi, güven eşiği, insan incelemesi ya da deterministik bir yedek yol gerektirir.

4. Ölçek büyüdüğünde ekonomi tutuyor mu?

İstek başına birkaç sente mal olan bir özellik, prototipte görünmezken canlı ortamda belirleyici olur. Beklenen hacimde istek başına maliyeti ve gecikmeyi tahmin eder, kalite çıtasını karşılayan en sade yaklaşımı ararız — bazen daha küçük bir model, bazen önbellekleme, bazen hiç model kullanmamak.

Çoğu zaman cevap daha sade bir yazılımdır

Bu testi düzenli olarak uygulamak gösterişsiz bir sonuç doğurur: “yapay zekâ özelliklerinin” azımsanmayacak bir kısmı, daha temiz veriyle, daha iyi bir arama indeksiyle ya da iyi tasarlanmış bir formla daha iyi çözülür. Bu testin başarısızlığı değil; testin amacı tam olarak budur.

Bir model testi geçtiğinde ise değerlendirme seti, izleme düzeni ve net bir sahibiyle birlikte yayına alınır — böylece “akıllı” sıfatı lansman gününden sonra da doğru kalır.