為解決語言模型在回答問題時可能產生的“幻覺”問題，美國知名人工智能研究機構OpenAI近日開源了一款新基準——SimpleQA。
SimpleQA專注于評估模型在簡短、事實性問題上的準確性，共包含4326個精心設計的問題。然而，它僅限于評估有確切答案的短查詢。
OpenAI強調，雖然SimpleQA能有效衡量模型在短回答中的事實準確性，但其在處理長篇或多事實內容方面的表現仍需進一步探究。通過開源SimpleQA，OpenAI希望能推動AI研究的進步，提升語言模型的可靠性和信任度。
該基準的特點包括確保答案的正確性，問題的答案均經過兩名獨立AI訓練師的嚴格驗證；覆蓋多元主題，從科技到娛樂，體現其廣泛的適用性；以及對前沿模型的挑戰(zhàn)性，如GPT-4等先進模型，在SimpleQA面前都將面臨嚴峻的考驗。
SimpleQA還注重用戶體驗，簡潔明了的問題和答案設計使得用戶能夠輕松操作和評分。同時，借助OpenAI API等工具，用戶可以快速評估模型的性能。
