Evaluation measures (information retrieval)

Bir bilgi erişim (Information Retrieval – IR) sistemi için kullanılan değerlendirme ölçütleri; bir indeksin, arama motorunun ya da veritabanının kullanıcının sorgusunu karşılayacak şekilde kaynak koleksiyonundan ne kadar etkili sonuçlar döndürdüğünü ölçer. Bu nedenle bu ölçütler, bilgi sistemlerinin ve dijital platformların başarısı için temel bir rol oynar.

Bir sistemin kullanıcılar açısından ne kadar etkili olduğunu belirleyen en önemli faktör, sistemin bir sorguya verdiği sonuçların genel olarak ne kadar ilgili (relevant) olduğudur. Bir IR sisteminin başarısı; ilgililik, hız, kullanıcı memnuniyeti, kullanılabilirlik, verimlilik ve güvenilirlik gibi çeşitli ölçütlerle değerlendirilebilir. Değerlendirme ölçütleri; çevrimdışı veya çevrimiçi, kullanıcı tabanlı veya sistem tabanlı gibi farklı kategorilere ayrılabilir. Ayrıca, gözlemlenen kullanıcı davranışları, test koleksiyonları, precision ve recall gibi metrikler ve önceden hazırlanmış benchmark test setlerinden elde edilen skorlar gibi yöntemleri içerebilir.

Bir bilgi erişim sistemi için yapılan değerlendirmeler aynı zamanda kullanılan ölçütlerin geçerliliğini de içermelidir. Yani, bu ölçütlerin neyi ölçmek üzere tasarlandıkları ve gerçekten bunu ne kadar iyi ölçtükleri ile sistemin hedeflenen kullanım senaryosuna ne kadar uygun olduğu da ayrıca değerlendirilmelidir. Bu tür ölçütler genel olarak iki bağlamda kullanılır: Çevrimiçi deneyler, kullanıcıların arama sistemiyle olan etkileşimlerini değerlendirirken; çevrimdışı değerlendirmeler, bilgi erişim sisteminin durağan ve sabit bir veri koleksiyonu üzerindeki performansını ölçer.

Arka Plan

Bilgi erişimini kolaylaştırmak amacıyla geliştirilen indeksleme ve sınıflandırma yöntemleri, en eski kütüphanelere ve bilgi koleksiyonlarına kadar uzanan köklü bir geçmişe sahiptir. Ancak bu yöntemlerin etkinliğinin sistematik olarak değerlendirilmesi, esas olarak 1950’li yıllarda başladı. Bu dönemde, askeri, devlet ve eğitim alanlarında araştırma üretiminin hızla artmasıyla birlikte bilgisayarlı katalogların da devreye girmesi, bu değerlendirme sürecini tetikledi. O yıllarda birden fazla indeksleme, sınıflandırma ve kataloglama sistemi kullanılmaktaydı ve bu sistemlerin üretimi oldukça maliyetliydi. Dahası, hangisinin daha etkili olduğu da net bir şekilde bilinmiyordu.

İngiltere’de Cranfield’daki Havacılık Koleji’nde kütüphaneci olan Cyril Cleverdon, bu sorunu ele almak üzere, basılı indeksleme ve bilgi erişim yöntemleri üzerine bir dizi deney başlattı. Bu deneyler daha sonra “Cranfield Paradigması” ya da “Cranfield Testleri” olarak anıldı ve uzun yıllar boyunca IR (bilgi erişim) sistemlerinin değerlendirilmesinde bir standart haline geldi. Cleverdon’un geliştirdiği “bilinen öğe arama” (known-item searching) testi, bir IR sisteminin, belirli bir arama için gerçekten ilgili ya da doğru olan belgeleri geri getirip getirmediğini test etmek amacıyla tasarlanmıştı. Onun çalışmaları, IR değerlendirmesi için gereken bazı temel bileşenleri de ortaya koydu: bir test koleksiyonu, bir sorgu kümesi ve önceden belirlenmiş ilgili öğeler seti. Bu öğeler birlikte kullanılarak precision (kesinlik) ve recall (geri çağırma) gibi metrikler hesaplanabiliyordu.

Cleverdon’un bu yaklaşımı, 1992 yılında başlatılan ve oldukça başarılı olan Text Retrieval Conference (TREC) serisi için de bir model işlevi görmüştür.

Uygulamalar

Bilgi erişim sistemlerinin değerlendirilmesi, internet arama motorları, web sitesi içi aramalar, veri tabanları ve kütüphane katalogları dahil olmak üzere her türlü arama motorunun başarısı açısından merkezi bir rol oynar. Bu değerlendirme ölçütleri; bilgi davranışı çalışmaları, kullanılabilirlik testleri, işletme maliyetleri ve verimlilik analizleri gibi birçok alanda kullanılır. Test koleksiyonları ile birlikte kullanılan değerlendirme metrikleri, bilgi erişim araştırmalarının odak noktalarından biri olmuştur. Bu alanda özellikle değerlendirme ölçütlerine odaklanan çeşitli akademik konferanslar düzenlenmektedir. Bunların en bilinenleri arasında Text Retrieval Conference (TREC), Conference and Labs of the Evaluation Forum (CLEF) ve NTCIR yer alır.

Çevrimiçi Ölçütler

Çevrimiçi metrikler genellikle arama günlüklerinden (search logs) elde edilir. Bu tür metrikler, özellikle A/B testi gibi deneysel yöntemlerde başarıyı ölçmek için sıkça kullanılır.

Oturum Terk Etme Oranı (Session Abandonment Rate)

Oturum terk etme oranı, bir arama oturumunun tıklama ile sonuçlanmama oranını ifade eder. Yani kullanıcı bir şey arar ancak çıkan sonuçlardan hiçbirine tıklamazsa bu oturum terk edilmiş sayılır. Bu durum genellikle ya sonuçların ilgisiz olduğuna ya da kullanıcının aradığını bulamadığına işaret eder.

Tıklama Oranı (Click-Through Rate - CTR)

Tıklama oranı, belirli bir bağlantıya tıklayan kullanıcı sayısının, toplam görüntüleyen kullanıcı sayısına oranıdır. Genellikle bir e-posta kampanyasının ya da çevrimiçi reklamın başarısını ölçmek için kullanılır. Aynı şekilde, bir arama sonucunun ne kadar ilgi çekici olduğunu da ölçebilir.

Oturum Başarı Oranı (Session Success Rate)

Oturum başarı oranı, başarılı sonuçla tamamlanan kullanıcı oturumlarının oranını ifade eder. "Başarı" tanımı bağlama göre değişebilir. Arama özelinde, bu genellikle kullanıcının sonuçla ne kadar etkileşimde bulunduğuna göre değerlendirilir. Örneğin, bir sonucun URL’sini kopyalaması ya da snippet içeriğinden kopyalama yapması, oturumun başarılı olduğunu gösterebilir. Bu gibi durumlarda dwell time (kullanıcının bir sonuçta ne kadar zaman geçirdiği) önemli bir ölçüt olarak kullanılır.

Sıfır Sonuç Oranı (Zero Result Rate - ZRR)

Sıfır sonuç oranı, herhangi bir arama sonucunun hiç sonuç döndürmediği (boş SERP – Search Engine Results Page) oturumların oranıdır. Bu metrik, sistemin recall (geri çağırma) başarısında bir sorun olduğuna ya da kullanıcıların aradığı bilgilerin indeks içinde yer almadığına işaret edebilir. Bu tür durumlar sistemin kapsamının genişletilmesi gerektiğini gösterir.

Bu ölçütler, kullanıcı davranışlarını anlamak, arama motorlarını iyileştirmek ve bilgi erişim sistemlerini daha verimli hale getirmek için vazgeçilmez araçlardır.

Çevrimdışı Ölçütler

Çevrimdışı metrikler, genellikle belirlenmiş değerlendirme oturumları sırasında oluşturulur. Bu oturumlarda uzman değerlendirme yapan kişiler, arama sonuçlarının kalitesini puanlandırır. Puanlama, ikili (relevant/non-relevant – ilgili/ilgisiz) veya çok seviyeli (örneğin, 0'dan 5'e kadar) ölçekler kullanılarak yapılabilir. Ancak, pratikte sorgular tam olarak net olmayabilir ve farklı derecelerde alaka düzeyi olabilir.

Örneğin, "mars" kelimesiyle yapılan bir aramanın anlamı belirsizdir. Kullanıcının Mars gezegenini mi, Mars çikolatasını mı, Bruno Mars’ı mı yoksa Roma tanrısı Mars’ı mı aradığını değerlendiren kişi bilemez. Bu gibi durumlar, bilgi erişim sistemlerinde alaka düzeyinin (relevance) neden kritik bir ölçüt olduğunu gösterir.

Kesinlik (Precision)

Kesinlik (precision), getirilen belgeler arasında gerçekten kullanıcının bilgi ihtiyacına uygun olanların oranıdır. Matematiksel olarak şu şekilde ifade edilir:

precision = ∣ { ilgili belgeler } ∩ { getirilen belgeler } ∣ / ∣ { getirilen belgeler } |

Yani, arama motorunun döndürdüğü sonuçlar arasında gerçekten ilgili olanların yüzdesini ölçer.

• Kesinlik, tüm getirilen belgeleri dikkate alır.
• Ayrıca, yalnızca en üstteki belirli sonuçları değerlendirmek için Precision@k metriği kullanılabilir.

Burada dikkat edilmesi gereken bir nokta, bilgi erişimi alanında "kesinlik" teriminin, diğer bilim ve istatistik dallarındaki accuracy (doğruluk) ve precision (hassasiyet) kavramlarından farklı bir anlam taşımasıdır.

Not: “Precision” terimi, bilgi erişimi alanında istatistik veya diğer bilim alanlarındaki "doğruluk (accuracy)" ya da "hassasiyet (precision)" kavramlarından farklı bir anlama sahiptir. Bu farklılık göz önünde bulundurulmalıdır.

Geri Çağırma (Recall)

Geri çağırma (recall), sorguya gerçekten uygun olan belgelerin ne kadarının başarılı bir şekilde geri getirildiğini gösterir. Matematiksel ifadesi şöyledir:

recall = ∣ { ilgili belgeler } ∩ { getirilen belgeler } ∣ / ∣ { ilgili belgeler } |

Yani, sistemin gerçekten alakalı olan belgeleri ne ölçüde yakalayabildiğini gösterir.

• İkili sınıflandırmada (binary classification), geri çağırma genellikle duyarlılık (sensitivity) olarak adlandırılır.
• Bir sorgunun ilgili belgeyi döndürme olasılığı olarak da düşünülebilir.

Ancak, geri çağırma tek başına yeterli bir ölçüt değildir. Çünkü geri çağırmayı %100’e çıkarmak için sistemin tüm belgeleri sorgu sonucu olarak döndürmesi yeterlidir. Bu, tüm ilgili belgelerin getirildiğini garanti eder, ancak aynı zamanda birçok ilgisiz belgeyi de içerdiğinden kullanıcı için faydasız hale gelir. Bu yüzden, kesinlik (precision) ve geri çağırma (recall) birlikte değerlendirilmelidir.

Fall-out (Yanlış Alarm Oranı)

Fall-out, tüm ilgisiz belgeler arasından, sorguya rağmen yanlışlıkla getirilenlerin oranıdır.

fall-ou t= ∣ { ilgisiz belgeler } ∩ { getirilen belgeler } ∣ / ∣ { ilgisiz belgeler } ∣

• Ne ifade eder? Kullanıcının ihtiyacıyla ilgisiz olan belgelerden kaçı, sistem tarafından yanlışlıkla getirilmiş?
• Binary classification'da karşılığı: Fall-out, 1 - özgüllük (specificity)’ye eşittir. Yani ilgisiz bir belgenin yanlışlıkla sorguya dahil edilme olasılığıdır.
• Not: Fall-out'u %0 yapmak kolaydır: Sorguya hiç belge döndürmeyerek.

F-Score / F-Measure (Harmonik Ortalama)

Precision (kesinlik) ve Recall (geri çağırma) değerlerinin ağırlıklı harmonik ortalamasıdır.

En yaygın olanı

F1 = (2 ⋅ precision ⋅ recall) / ( precision + recall )

• F1 skoru, precision ve recall'a eşit ağırlık verir.
• Tek başına precision ya da recall yeterli olmadığında ikisini birleştiren bir performans ölçütüdür.

Diğer varyantlar

• F_β formülü:

Fβ = ( 1+β^2 ) ⋅ ( precision ⋅ recall) / (β2 ⋅ precision + recall)

Burada β, kullanıcının recall’a ne kadar daha fazla önem verdiğini ifade eder:

F ölçüsü	Anlamı
F<sub>2</sub>	Recall (geri çağırma) 2 kat daha önemli
F<sub>0.5</sub>	Precision (kesinlik) 2 kat daha önemli

Arka plan

Van Rijsbergen (1979) tarafından geliştirilen bu ölçüt, bir kullanıcının recall ve precision’a verdiği önceliği β ile ifade ederek performansı tek sayı ile değerlendirmeyi sağlar.

Bu metriklerin her biri, bilgi erişim sistemlerinin hem teknik performansını hem de kullanıcı deneyimini daha iyi anlamak ve geliştirmek için kritik öneme sahiptir. Özellikle arama sistemlerinin optimize edilmesinde bu tür çevrimdışı testler ve ölçümler, çevrimiçi analizlerle birlikte bütünleyici bir rol oynar.

Average Precision (AP) – Ortalama Kesinlik

Tanım: Average Precision, sıralı döküman listelerinde her k konumu için hesaplanan kesinliğin ortalamasıdır. Precision-recall eğrisinin altında kalan alan (AUC – Area Under Curve) olarak da düşünülebilir.

Formül: AveP=k=1∑nP(k)×rel(k)÷Toplam ilgili döküman sayısı

• P(k): k konumundaki precision
• rel(k): k konumundaki dökümanın ilgili (1) ya da ilgisiz (0) olma durumu

Açıklama: Precision değeri sadece ilgili dökümanlar için toplanır ve ilgili döküman sayısına bölünerek ortalama alınır. Bu sayede sıralama içinde ilgili dökümanların konumu da dikkate alınır.

Interpolasyonlu Average Precision: Bazı durumlarda, precision-recall eğrisindeki dalgalanmaları düzleştirmek için precision değeri, daha yüksek recall seviyelerinde görülen maksimum precision değeriyle değiştirilir.

pinterp(r)=r~≥rmaxp(r~)

Ardından aşağıdaki gibi hesaplanır:

AveP=111r∈{0,0.1,…,1.0}∑pinterp(r)

Not: PASCAL VOC yarışmaları 2010 yılına kadar bu yöntemi kullanmıştır.

Precision at K (P@k)

Tanım: Top k dökümandaki ilgili dökümanların oranıdır. Sadece ilk k sonuç dikkate alınır. Özellikle kullanıcıların genellikle ilk birkaç sonucu dikkate aldığı web aramalarında kullanışlıdır.

Formül: P@k=kI˙lk k sonuçtaki ilgili doküman sayısı

Avantaj: Kullanımı kolaydır, sadece ilk k dökümanın etiketlenmesi yeterlidir.

Dezavantaj: İlgili dökümanların konumu göz ardı edilir ve eğer k’dan daha az sayıda ilgili döküman varsa, mükemmel sistemler bile 1.0’a ulaşamayabilir.

R-Precision

Tanım: R ilgili döküman sayısı kadar döküman üzerinden precision ölçümüdür. Her sorgu için R farklı olabilir.

Formül: R-Precision=Rr

• R: Sorguya karşılık gelen toplam ilgili döküman sayısı
• r: İlk R sonuç içindeki ilgili döküman sayısı

Not: R-Precision, P@R ve Recall@R ile eşdeğerdir. Genellikle MAP (Mean Average Precision) ile yüksek korelasyona sahiptir.

Mean Average Precision (MAP)

Tanım: Tüm sorgular için hesaplanan Average Precision değerlerinin ortalamasıdır.

Formül: MAP=Q1q=1∑QAveP(q)

• Q: Toplam sorgu sayısı
• AveP(q): q numaralı sorgunun average precision değeri

Açıklama: Birden fazla sorgunun performansını ortalama bir metrikle ifade eder. Bilgi erişim sistemlerinin genel başarımını değerlendirmek için kullanılır.

Discounted Cumulative Gain (DCG) ve nDCG

Tanım: Sonuç listesindeki dökümanların alaka derecesini ve konumunu dikkate alır. Daha alt sıralarda bulunan dökümanlar cezalandırılır (logaritmik olarak düşürülür).

Formül: DCGp=i=1∑plog2(i+1)reli

• rel_i: i’nci sıradaki dökümanın alaka düzeyi

Normalize Edilmiş DCG (nDCG): Farklı sorgular ya da sistemler arası karşılaştırma için ideal sıralamaya göre normalize edilir.

nDCGp=IDCGpDCGp

• IDCG: En iyi (ideal) sıralamaya göre DCG

Not: nDCG değeri her zaman [0.0, 1.0] arasında olur. 1.0 değeri, sıralamanın tamamen ideal olduğunu gösterir.

Ölçüt Adı	Açıklama
Kesinlik (Precision)	Toplam doğru tahminlerin, sistemin tamamında verdiği pozitif tahminlerin oranıdır. Yani, arama sonuçları arasındaki doğru belgelerin oranını gösterir.
Geri Çağırma (Recall)	Gerçek pozitiflerin, sistemin tespit ettiği pozitiflere oranıdır. Yani, arama sonuçlarında bulunan doğru belgelerin toplam doğru belgelerle oranıdır.
Fall-out (Yanlış Alarm Oranı)	Yanlış pozitiflerin, tüm negatifler arasındaki oranıdır. Yani, alakasız belgelerin yanlış bir şekilde pozitif olarak sınıflandırılma oranını gösterir.
F-Score / F-Measure (Harmonik Ortalama)	Kesinlik ve geri çağırma arasındaki dengeyi ölçen bir harmonik ortalama formülüdür. Genellikle, iki ölçüt arasındaki dengenin en iyi şekilde nasıl sağlanacağını gösterir.
Average Precision (AP)	Bir sorgu için, her bir sıralama basamağında doğruluk hesaplanarak ortalaması alınır. Özetle, belirli bir sorgu için ortalama doğruluk değerini ölçer.
Precision at K (P@k)	İlk k sonuçtaki doğruluk oranını ölçer. Bu, arama sisteminin kullanıcıya ilk k sonucu verdiğinde ne kadar doğru sonuç sunduğunu gösterir.
R-Precision	Kullanıcı tarafından sağlanan gerçek pozitiflerin sayısına kadar olan ilk k sonuçta, arama sisteminin doğruluğunu ölçen bir metriktir. Bu, özellikle sıralama performansını analiz eder.
Mean Average Precision (MAP)	Bir dizi sorgu için ortalama doğruluğun hesaplanmasıdır. Bu, her sorgu için ortalama doğruluğun hesaplanarak, tüm sorguların doğruluğunun ortalamasını alır.
Discounted Cumulative Gain (DCG)	Sıralama performansını ölçen ve sıralamanın öncelikli sonuçlarını ödüllendiren bir metriktir. Erken sıralarda daha fazla ağırlık verir.
nDCG (Normalized DCG)	DCG'nin normalleştirilmiş halidir. Sonuçların sıralamasına göre ödülleri normalleştirir, böylece farklı veri setlerinde karşılaştırmayı mümkün kılar.

Bu tablo, her bir ölçütün neyi ifade ettiğini ve hangi kriterlere göre değerlendirme yaptığına dair kısa bir özet sunar. Bu ölçütler, arama sistemlerinin ve öneri motorlarının performansını farklı açılardan analiz etmek için kullanılır.

Diğer Ölçütler

Ortalama Ters Sıra

Ortalama ters sıra, bir sıralamanın doğruluğunu ölçen bir yöntemdir. Bu ölçüt, doğru cevabın sıralamadaki konumunun tersine bakarak değerlendirme yapar. Bu yöntem, özellikle arama sonuçlarında sıralamanın ne kadar etkili olduğunu görmek için kullanılır.

bpref

Bpref, ilgili belgelerin ilgisiz belgelerden önce sıralandığı bir ölçüt olup, toplam sıralama değeri üzerinden yapılan bir hesaplama ile elde edilir. Bu ölçüt, sıralama başarısını daha doğru ölçmeyi amaçlar, çünkü sıralama önceliğini dikkate alır ve kullanıcının daha fazla alakalı belgeye erişimini artırmayı hedefler.

GMAP

GMAP, her konu için ortalama doğruluğun geometrik ortalamasını temsil eder. Bu ölçüt, her bir sorgu için ortalama doğruluğun birleşimini alarak daha genel bir başarı ölçüsü oluşturur. Bu, özellikle çok sayıda sorgu ve konu içeren sistemlerde performans değerlendirmesi için önemlidir.

Marjinal Alaka ve Belge Çeşitliliği Temelli Ölçütler

Marjinal alaka ve belge çeşitliliği, bilgi erişimi sistemlerinin ne kadar anlamlı ve çeşitli içerikler sunduğunu değerlendiren ölçütlerdir. Bu ölçütler, arama sonuçlarının sadece doğru değil, aynı zamanda çeşitli ve kapsamlı olmasını hedefler. Bu tür ölçütler, özellikle içerik çeşitliliği gerektiren görevlerde önemlidir.

Alaka ve Güvenilirlik Temelli Ölçütler

Günümüzde arama sonuçlarında yanıltıcı içeriklerin (örneğin, sahte haberlerin) etkisi büyük olmuştur. Bu tür içeriklerin sınıflandırılması için geliştirilen ölçütler, hem bilginin doğruluğunu hem de güvenilirliğini ölçmeye yöneliktir. Bu, özellikle güvenilir ve doğru bilgiye dayalı sonuçlar sağlamak isteyen sistemlerde kullanılır.

Hit Oranı

Hit oranı, arama sonuçlarının doğruluğunu ve kullanıcıların istenen bilgiye erişme oranını gösteren önemli bir metriktir. Bu oran, arama sonuçlarında kullanıcıların ne kadar başarıyla doğru belgelere ulaştığını gösterir.

Görselleştirme

Bilgi erişim performansını görselleştirme, sistemlerin başarısını daha anlaşılır hale getirmek için çeşitli grafikler ve diyagramlar kullanmayı içerir. Bazı görselleştirme türleri şunlardır:

• Doğruluk ve Geri Çağırma Grafikleri Doğruluk ve geri çağırma arasındaki ilişkiyi görselleştiren grafikler, sistemin ne kadar doğru sonuçlar döndürdüğünü ve bu sonuçların ne kadarını kullanıcının ihtiyaçlarına uygun şekilde sunduğunu gösterir.
• Ortalama Doğruluk Histogramları Farklı konularda ortalama doğruluğun görselleştirildiği histogramlar, her bir konu başlığına ilişkin sistem performansını karşılaştırmak için kullanılır.
• Alıcı Karakteristik Eğrisi (ROC Eğrisi) ROC eğrisi, bir arama sisteminin doğruluk oranını ve yanlış pozitif oranını karşılaştırarak, modelin genel performansını görselleştirir.
• Karışıklık Matrisi Karışıklık matrisi, modelin doğru ve yanlış tahminlerini düzenli bir şekilde göstererek, hangi sınıfların daha iyi tanımlandığını ya da karıştığını anlamayı sağlar.

Alaka Dışı Ölçütler

Arama sistemlerinin yalnızca alaka düzeyini değil, aynı zamanda diğer faktörleri de ölçmesi önemlidir. Bunlardan biri de sorguların zamanla nasıl değiştiği ve arama sisteminin kullanımının izlenmesidir.

Zaman Başına Sorgu

Arama sisteminde, belirli bir zaman diliminde gerçekleştirilen sorgu sayısını ölçmek, sistemin kullanım oranını takip etmek için önemli bir metriktir. Bu ölçüt, beklenmedik sorgu artışlarının tespit edilmesi veya diğer metriklerle karşılaştırmak için bir temel oluşturmak için kullanılabilir. Örneğin, sorgu trafiğinde bir artış, sorgu gecikmesindeki bir artışı açıklamak için kullanılabilir.

Ölçüt Adı	Açıklama
Mean Reciprocal Rank (MRR)	Bir sorgu için doğru cevabın sırasını tersine çeviren ve sıralama başarısını ölçen bir ölçüttür.
bpref	İlgili belgelerin, alakasız belgelere göre ne kadar öncelikli sıralandığını gösteren, toplam sıralama tabanlı bir ölçüttür.
GMAP (Geometric Mean Average Precision)	Her bir konu için ortalama doğruluğun geometrik ortalamasını alarak, performansı ölçer.
Marginal Relevance ve Document Diversity	Marginal Relevance (Marjinal İlgililik) ve belgedeki çeşitlilik üzerinden ölçülen performans, sorgulama kalitesini değerlendirmede kullanılır.
Relevance ve Credibility Measures	Özellikle sahte haberlerin arama sonuçlarında nasıl yer aldığını analiz eden ölçütlerdir.
Hit Rate	Belirli bir arama sisteminde doğru cevabın bulunma oranını ölçer.
Visualization (Görselleştirme)	Performans ölçütlerinin görsel temsilleri:
Precision-Recall Graphs	Bir eksende doğruluk (precision), diğer eksende hatırlama (recall) ölçümleriyle yapılan grafikler.
Average Precision Histograms	Çeşitli konular için ortalama doğruluğun histogramları.
Receiver Operating Characteristic (ROC) Curve	Performansın görsel temsili, doğru pozitif oranı (TPR) ile yanlış pozitif oranını (FPR) karşılaştırır.
Confusion Matrix	Modelin tahminlerinin doğruluğunu, yanlış sınıflandırmalarla birlikte görselleştiren matris.
Non-Relevance Measures	İlgisiz sonuçların analiz edilmesi; örneğin, sorgu başına elde edilen sonuçların alakasızlık düzeyini ölçer.
Queries per Time	Arama sistemine yapılan sorguların belirli bir zaman dilimindeki sayısını ölçer, kullanım yoğunluğunu izler ve sistemin kullanımını analiz eder.

Bu tablo, çevrimdışı ölçütlerin ve analiz yöntemlerinin bir özetini sunmaktadır. Her bir ölçüt, arama sistemlerinin performansını farklı açılardan değerlendirmek için kullanılır.

Kaynakça

1. ^ Carterette, Ben; Voorhees, Ellen M. (2011), Lupu, Mihai; Mayer, Katja; Tait, John; Trippe, Anthony J. (Ed.), Overview of Information Retrieval Evaluation (İngilizce), Springer, ss. 69-85, doi:10.1007/978-3-642-19231-9_3, 4 Haziran 2018 tarihinde kaynağından arşivlendi, erişim tarihi: 17 Mart 2025 
2. ^ Sanderson, P. Clough, M. (15 Haziran 2013). "Evaluating the performance of information retrieval systems using test collections". informationr.net (İngilizce). 9 Ekim 2024 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2025. 
3. ^ (PDF) https://www.diva-portal.org/smash/get/diva2:1503901/FULLTEXT01.pdf. 28 Haziran 2024 tarihinde kaynağından arşivlendi (PDF). Erişim tarihi: 17 Mart 2025.  Eksik ya da boş |başlık= ()
4. ^ Harman, Donna (2011). "Information Retrieval Evaluation". Synthesis Lectures on Information Concepts, Retrieval, and Services (İngilizce). doi:10.1007/978-3-031-02276-0. ISSN 1947-945X. 
5. ^ Sanderson, Mark (2010). "Test Collection Based Evaluation of Information Retrieval Systems". Foundations and Trends® in Information Retrieval (İngilizce). 4 (4): 247-375. doi:10.1561/1500000009. ISSN 1554-0669. 17 Şubat 2025 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Mart 2025. 
6. ^ Evaluation measures (information retrieval) (İngilizce), 24 Şubat 2025, 7 Mart 2025 tarihinde kaynağından arşivlendi, erişim tarihi: 17 Mart 2025 
7. ^ (PDF) https://web.archive.org/web/20110504130953/http://sas.uwaterloo.ca/stats_navigation/techreports/04WorkingPapers/2004-09.pdf. 4 Mayıs 2011 tarihinde kaynağından (PDF) arşivlendi. Erişim tarihi: 17 Mart 2025.  Eksik ya da boş |başlık= ()
8. ^ International ACMSIGIR Conference on Research & Development in Information Retrieval (29th : 2006 : Seattle, Wash ) (2006). SIGIR (Seattle : 2006) : proceedings of the Twenty-Ninth Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, University of Washington, Seattle, WA, USA. Internet Archive. New York, N.Y. : Association for Computing Machinery. ISBN .