【資訊檢索系統評估與測試】

豐碩

【資訊檢索系統評估與測試】

 

EvaluationandTestingofInformationRetrievalSystems

 

【辭書名稱】圖書館學與資訊科學大辭典

 

資訊檢索可定義為有選擇性、有系統性回收經過邏輯性貯存的資訊。

 

因而，在定義上，一個傳統的圖書館或是一本電話簿也算是一個資訊檢索系統。

 

早在1960年代，便有學者們試著去評估資訊檢索系統的執行能力，也陸續發展出許多不同的測試形式，例如研究測試(ResearchTests)是一種沒有特定的應用目標，只是想擴展對資訊檢索系統相關認知的測試方式；

 

有的是在某個特定的作業環境下進行的測試，目的在於設立一套新的系統，故而往往產生許多改進的建議；

 

另外，則有些是有關操作系統方面的測試。

 

進行各種評估測試的理由，主要是在找出所謂成功檢索的意義層面，找出任何工具或技術的轉變對系統執行能力的影響，以及做為資訊提供者的參考，有效的評估在設立一個資料庫或操作檢索上，會是一種很好的投資或修正的參考。

 

資訊檢索系統的評估，範圍的設計上可大到包含整個檢索環境，也可只針對某一部分來進行，例如針對索引部分、資訊選粹服務(SDI)的功能或回溯檢索的部分來執行。

 

而在做評估測試時，選擇的參與者或使用者最好是找一群有真正資訊需求的對象，因為這樣的使用者才能了解自己需要的資料是什麼，也才能有效地分析檢索的滿意度。

 

至於評估的重點，傳統上是建立在回現率(RecallRatio)和精確度(Precision)的分析研究。

 

所謂回現率是指所檢索到的相關文獻占潛在可檢索到的文獻總數之比例，而精確度是指檢索到的相關文獻占此次所檢索到的文獻總數之比例，回現率愈高，則精確度愈低。

 

怎樣才算是有相關的文獻，則端視檢索者根據自己的資訊需求所下的判斷了。

 

所以，有真正資訊需求的使用者才能真實反映出問題的狀況，而文獻相關性的判斷，則是使用者尋求資訊與解決問題的重點。

 

當然這也是評估中最能引起討論的部分畢竟相關與否是主觀的判斷，而非客觀的比較。

 

除此之外，以索引語言來說，詳盡度(Exhaustivity)及專門性(Specificity)也會影響到回收率和精確度。

 

詳盡度是指個別主題被索引的數目，而專門性是指索引語言能確切定義該特定主題的能力。

 

一般而言，詳盡度愈高，則回收率愈高，精確度愈低；

 

專門性愈高，則回現率愈低，但精確度愈高。

 

 

轉自:http://edic.nict.gov.tw/cgi-bin/tudic/gsweb.cgi?o=ddictionary