評審尺度怎麼對齊?從樣本試評到差異討論

先獨立試評、再對照證據與規則,區分理解分歧、操作錯誤及專業判斷差異。主辦方需要確認的是共同尺度與處理責任,而不是把所有分數調成一樣。

評審在競賽現場觀察作品並記錄評選資料的情境
情境示意配圖,非本文所述賽事或客戶案例。

先獨立試評,再對照判斷依據

  1. 確認尺度核對分項、證據與規則版本。
  2. 獨立試評每位評審先記分數與理由。
  3. 分流差異區分理解、操作及專業判斷。
  4. 定案交付確認釐清紀錄,隔離測試資料。
一般作業建議:對齊共同尺度,不要求每位評審給相同分數。

先對齊觀察對象,再討論分數

評審給分不同,不一定代表有人評錯。主辦方先確認每個分項要評估什麼、採用哪些可觀察證據、等級如何區分,以及哪些項目另有扣分。若一位評審看作品呈現,另一位評審看現場答詢,即使填同一張表,也可能在回答不同問題。

賽制負責人準備定案規則與分項描述,評審召集人主持尺度討論,紀錄窗口整理待釐清問題。計分人員只負責試算與操作核對,不替評審決定專業分數。試評的目標是讓大家理解共同尺度,保留依據充分的專業差異,而不是要求每個人交出同一個數字。

挑選試評樣本,先各自留下依據

建議準備少量、能呈現不同判斷邊界的示範作品,例如證據完整、內容有亮點但缺少驗證,以及符合基本要求但表達較弱的樣本。使用可供演練的素材,標明為測試資料;若涉及真實參賽者,先確認適用性、可見範圍與迴避,不把未定版作品當作不受限制的教材。

先讓評審依同一版本的規則獨立試評,記錄各分項分數及對應證據,再進行討論。不要先展示召集人的分數,讓其他人只跟著調整。試評表須能辨識樣本、評審、規則版本與時間,並與正式資料隔離;這也能同時檢查欄位、權重、暫存與送出的操作是否容易誤解。

試評有落差,下一步怎麼做?

窄螢幕可左右捲動表格,查看完整欄位。

以下為分工建議;實際討論門檻與核准方式由主辦方依賽制定案。
差異原因誰先處理完成條件
資料不同召集人核對樣本與可見內容。以同一版本重新確認觀察依據。
理解分歧賽制負責人回查規則並送核。釐清稿核定,相關評審確認收到。
操作錯誤原評審更正,計分人員核對。保留修改原因,確認試算正確。
專業差異召集人確認各自證據與理由。理解一致即可保留差異,不強迫同分。

差距出現時,先找原因再決定

召集人逐項詢問評審看到了什麼證據、如何對照等級描述。把差異分成觀察資料不同、規則理解不同、輸入或計算錯誤,以及在同一尺度內的專業判斷差異。主辦方可事前設定需要討論的試評差距,但門檻應依分數範圍與賽制確認,不能把某個數字當成所有競賽的標準。

若是操作錯誤,由原評審更正並留下紀錄;若是規則文字不清,交賽制負責人提出釐清稿,由授權人核定適用範圍及通知方式。若理解一致但專業看法不同,保留理由,不為了讓分數接近而要求改分。試評討論也不應變成私下新增未公布的評分項目或權重。

假設情境:同一分項看到了不同證據

以下為假設情境,非客戶案例:一場提案競賽把「可行性」設為 20 分。樣本 A 有清楚的執行時程,卻沒有資源估算;兩位評審分別給 16 分與 10 分。召集人先請兩人指出依據,發現前者把時程完整當作主要條件,後者認為資源說明也是判斷依據。

賽制負責人回查已定案的分項描述,釐清哪些證據原本就在範圍內,再讓評審用另一個樣本檢查理解是否一致。若原規則根本沒有納入資源估算,不能藉試評臨時補成隱藏門檻。需要實質變更時,主辦方應先確認程序、公告與受影響範圍,完成核定再決定何時開評。

定案後再開評,替補也要補上

正式評分前,交付同一份規則版本、已核定的釐清紀錄、操作說明與支援窗口。評審逐一確認收到,紀錄窗口檢查測試分數未進入正式結果。臨時替補評審也應完成同樣的尺度與操作確認;不能只給帳號就要求立刻接手,必要時由主辦方調整受影響場次。

若正式評分開始後才發現理解分歧,先列出受影響的分項、作品與評審,交召集人及主辦方判斷是否暫停相關結算、釐清或重評。不得默默改權重,或由計分人員把分數拉成一致。記錄決定、理由、通知對象與完成確認,讓後續覆核知道當時使用的是哪一套依據。

主辦方交接檢核清單

  • 分項觀察對象、證據、等級與扣分方式已定案。
  • 試評樣本可供演練,且每人先獨立記錄依據。
  • 差異已區分為資料、理解、操作或專業判斷。
  • 規則釐清有核准與通知紀錄,未新增隱藏門檻。
  • 正式評分採同一版本,測試資料已隔離。
  • 替補評審有補充確認,開評後分歧有處理責任。

接續流程與相關系統

回到主辦方指南總覽

與 NOVO 諾沃討論賽事流程