TWI567685B - 透過線上測驗真實反映出受測者能力的系統、方法以及其儲存媒體 - Google Patents

透過線上測驗真實反映出受測者能力的系統、方法以及其儲存媒體 Download PDF

Info

Publication number
TWI567685B
TWI567685B TW104131618A TW104131618A TWI567685B TW I567685 B TWI567685 B TW I567685B TW 104131618 A TW104131618 A TW 104131618A TW 104131618 A TW104131618 A TW 104131618A TW I567685 B TWI567685 B TW I567685B
Authority
TW
Taiwan
Prior art keywords
subject
test
answer
ability
ability value
Prior art date
Application number
TW104131618A
Other languages
English (en)
Other versions
TW201712623A (zh
Inventor
林展賢
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW104131618A priority Critical patent/TWI567685B/zh
Priority to CN201510674280.9A priority patent/CN106558258A/zh
Priority to US14/924,735 priority patent/US20170092145A1/en
Application granted granted Critical
Publication of TWI567685B publication Critical patent/TWI567685B/zh
Publication of TW201712623A publication Critical patent/TW201712623A/zh

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

透過線上測驗真實反映出受測者能力的系 統、方法以及其儲存媒體
本發明有關於一種反映出受測者能力的方法,尤指一種透過線上測驗真實反映出受測者能力的系統、方法以及儲存此方法之儲存媒體。
隨著網路穩定性之提昇以及網站製作的發展,網路線上學習開始成為趨勢。使用者可以在不限定時間的情況下,透過遠端裝置在網路上進行網路線上學習,並透過後續線上測驗評比出此次學習之學習成果;或者,使用者未必進行網路線上學習,但透過獨立的網路線上測驗,得出使用者本身在某一測驗領域中之能力程度。
然而,傳統測驗的評量方式多數僅取決於使用者在測驗中的答題正確數,以作為衡量使用者的能力程度的指標,卻無法判斷使用者在答對試題時是因真正知道答案而答對或只是靠猜測而答對,導致對使用者的真正能力程度的 判斷失準。此外。由於傳統測驗的評量方式無法準確地鑑別出使用者的真正能力程度,自然無法建議適合的後續學習方案。
由此可見,上述技術顯然仍存在不便與缺陷,而有待加以進一步改良。因此,如何能有效地解決上述不便與缺陷,實屬當前重要研發課題之一,亦成為當前相關領域亟需改進的目標。
本發明之一態樣在提供一種透過線上測驗真實反映出受測者能力的系統、方法及內儲程式之電腦可讀取記錄媒體,其能夠解決以上先前技術所提到的困難,即真實反映出受測者的學科能力值。
為了達到上述目的,根據本發明之一實施方式,此種透過線上測驗真實反映出受測者能力的方法包含步驟如下。提供一線上測驗以供一受測者參加,線上測驗包含至少一試題。記錄受測者對試題作答之答題內容以及其所花費之作答時間。判斷答題內容是否為正確答案。當判斷出答題內容為正確答案時,根據作答時間是否位於一預設範圍內的判斷結果,對應地提供受測者之最新學科能力值。
故,上述方法能藉由受測者對特定試題作答之答題正確的可靠度,意即,推斷出受測者是真正知道答案而答對或靠猜測而答對,以準確地鑑別出使用者的真正能力程度,進而得以建議適合的後續學習方案。
根據本發明一或多個實施方式中,根據作答時間是否位於預設範圍內的判斷結果,對應地提供受測者之最新學科能力值之步驟,更包含步驟如下。判斷作答時間是否位於預設範圍內。當判斷出作答時間位於預設範圍內,依據該判斷結果,就受測者之目前學科能力值對應地提供一第一權重,並藉由第一權重與試題預先被設定之一難易度之運算,提供最新學科能力值。
根據本發明一或多個實施方式中,當判斷出作答時間不位於預設範圍內,判斷受測者之所述目前學科能力值是否匹配試題預先被設定之一難易度。當判斷出目前學科能力值匹配難易度,依據目前學科能力值是否匹配難易度之判斷結果,就受測者之目前學科能力值對應地提供一第二權重,並藉由第二權重與難易度之運算,提供最新學科能力值。
根據本發明一或多個實施方式中,當判斷出目前學科能力值不匹配該難易度,依據目前學科能力值是否匹配難易度之判斷結果,就受測者之目前學科能力值對應地提供一第三權重,並藉由第三權重與難易度之運算,提供最新學科能力值,其中第三權重小於第二權重。
根據本發明一或多個實施方式中,當判斷出答題內容不為正確答案時,依據答題內容是否為正確答案之判斷結果,就受測者之目前學科能力值對應地提供一第四權重,並藉由第四權重與試題預先被設定之一難易度之運算,提供受測者之最新學科能力值,其中第三權重介於第二權重與第四權重之間。
根據本發明一或多個實施方式中,當線上測驗包含多個試題時,這些試題之數量為n,每一試題之難易度為d i ,上述第一權重~第四權重其中之一為a i ,最新學科能力值為p,其滿足以下關係式:,其中1 d i 0,1 a i 0。
根據本發明一或多個實施方式中,判斷作答時間是否位於預設範圍內,更包含步驟如下。根據作答時間、試題之平均作答時間、試題之平均標準差,計算出試題之一答題可靠度。判斷答題可靠度是否不大於一預設標準差倍數。當判斷出答題可靠度不大於預設標準差倍數,判定作答時間位於預設範圍內。
根據本發明一或多個實施方式中,當作答時間為t i ,平均作答時間為,平均標準差為σ i ,且答題可靠度為z i ,其滿足以下關係式:
根據本發明一或多個實施方式中,判斷目前學科能力值是否匹配難易度之步驟,更包含步驟如下。判斷目前學科能力值與難易度之總和是否不小於1,其中難易度與目前學科能力值皆位於0~1所形成的範圍內,難易度由0至1表示為由難至易,目前學科能力值由0至1表示為由劣至佳。當判斷出目前學科能力值與難易度之總和不小於1,判定目前學科能力值匹配難易度。
根據本發明一或多個實施方式中,此方法更包含步驟如下。將最新學科能力值取代受測者之目前學科能力值。對受測者報告最新學科能力值。
根據本發明一或多個實施方式中,此方法更包含步驟如下。根據受測者對試題作答所花費之作答時間,修正試題之一平均作答時間與試題之一平均標準差。
根據本發明一或多個實施方式中,此方法更包含步驟如下。根據受測者對試題作答所花費之作答時間,修正試題預先被設定之一難易度。
根據本發明一或多個實施方式中,此方法更包含步驟如下。在判斷答題內容是否為正確答案之前,記錄受測者參加線上測驗之所有操作歷程。
根據本發明之一實施方式,此種透過線上測驗真實反映出受測者能力的系統包含一儲存模組、一網路連接單元與一處理單元。儲存模組用以儲存至少一線上測驗,線上測驗具有至少一試題。網路連接單元以供一受測者藉由至少一遠端裝置於一網路上參加此線上測驗。處理單元電性連接儲存模組與網路連接單元,用以記錄受測者藉由遠端裝置對試題作答之一答題內容以及其所花費之作答時間,並在判斷出答題內容為正確答案時,根據作答時間是否位於一預設範圍內的判斷結果,對應地提供受測者之一最新學科能力值。
如此,由於本系統全程記錄受測者參加線上測驗之操作歷程,如試題之答題內容及作答時間等等,不需另外開發時間記錄元件或類似元件,便可以透過操作歷程計算出對應受測者之最新學科能力值。
根據本發明一或多個實施方式中,此系統更包含一操作歷程記錄模組。操作歷程記錄模組用以記錄受測者藉由遠端裝置參加線上測驗之所有操作歷程至儲存模組內。
根據本發明一或多個實施方式中,此系統更包含一作答時間運算模組。作答時間運算模組用以根據所有操作歷程,計算出受測者藉由遠端裝置對試題作答所花費之作答時間以及累計及更新試題過去之一平均作答時間與試題之一平均標準差。
根據本發明一或多個實施方式中,此系統更包含一能力診斷模組與一判斷模組。能力診斷模組用以根據作答時間、試題之平均作答時間與平均標準差,計算出試題之一答題可靠度、計算受測者之目前學科能力值與試題預先被設定之難易度之總和。判斷模組用以判斷答題內容是否為正確答案、判斷答題可靠度是否不大於一預設標準差倍數、判斷受測者之目前學科能力值與試題之難易度之總和是否不小於1。能力診斷模組更根據判斷模組之不同之判斷結果,進行試題之難易度與一對應判斷結果所提供權重之運算,以提供最新學科能力值以更新目前學科能力值。
根據本發明一或多個實施方式中,此系統更包含一參數反饋模組。參數反饋模組用以根據試題之作答時間,修正試題之難易度。
根據本發明一或多個實施方式中,網路連接單元更用以將最新學科能力值傳輸至遠端裝置。
以上所述僅係用以闡述本發明所欲解決的問題、解決問題的技術手段、及其產生的功效等等,本發明之 具體細節將在下文的實施方式及相關圖式中詳細介紹。
10‧‧‧系統
100‧‧‧遠端裝置
101‧‧‧受測者
200‧‧‧伺服器
300‧‧‧網路
210、220‧‧‧儲存模組
211‧‧‧線上測驗
212‧‧‧試題資料組
213‧‧‧學員資料組
214‧‧‧操作歷程
215‧‧‧試題參數組
221‧‧‧試題資料庫
222‧‧‧學員資料庫
223‧‧‧操作歷程資料庫
224‧‧‧參數資料庫
225‧‧‧個人資訊模組
226‧‧‧操作歷程記錄模組
227‧‧‧作答時間運算模組
228‧‧‧能力診斷模組
229‧‧‧判斷模組
230‧‧‧參數反饋模組
301~309‧‧‧步驟
3041~3044‧‧‧細部步驟
3061~3063‧‧‧細部步驟
400‧‧‧網路連接單元
500‧‧‧記憶體
600‧‧‧處理單元
700‧‧‧常態分布圖
701~703‧‧‧範圍
800‧‧‧試題資料表
810‧‧‧編號欄位
820‧‧‧難易度欄位
830‧‧‧答對分數欄位
840‧‧‧作答時間欄位
850‧‧‧平均作答時間欄位
860‧‧‧平均標準差欄位
870‧‧‧答題可靠度欄位
880‧‧‧加權後分數欄位
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下:第1圖繪示根據本發明一實施方式透過線上測驗真實反映出受測者能力的系統之概略圖;第2圖繪示根據第1圖的伺服器之方塊圖;第3圖繪示根據本發明另一實施方式透過線上測驗真實反映出受測者能力的方法的流程圖;第4A圖繪示第3圖步驟304的細部步驟的流程圖;第4B圖繪示單一試題之過去所有作答時間的常態分布圖;第5圖繪示第3圖步驟306的細部步驟的流程圖;第6圖繪示第3圖之方法所使用的一試題資料表;以及第7圖繪示根據本發明又一實施方式的伺服器之方塊圖。
以下將以圖式揭露本發明之複數個實施方式,為明確說明起見,許多實務上的細節將在以下敘述中一併說明。然而,應瞭解到,這些實務上的細節不應用以限制本發明。也就是說,在本發明部分實施方式中,這些實務上的細節是非必要的。此外,為簡化圖式起見,一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之。
有鑑於先前技術提到傳統測驗的評量方式無法準確地鑑別出受測者的真正能力程度,本發明在判斷出受測者答對特定試題後,透過受測者答題所花費之答題時間與同試題之過去答題時間之統計數據的比較,得出受測者對特定試題作答之答題正確的可靠度,意即,推斷受測者是真正知道答案而答對或靠猜測而答對,而非只要答對試題都一眛認定都為真正知道答案,故,可準確地鑑別出受測者的真正能力程度。
第1圖繪示根據本發明一實施方式透過線上測驗真實反映出受測者能力的系統之概略圖。如第1圖所示,在此實施方式中,此系統10包含一或多個遠端裝置100以及至少一伺服器200。遠端裝置100得以經由網路300連結伺服器200。遠端裝置100只要為一可上網裝置,遠端裝置100不限為行動電話、筆記型電腦、平板電腦或桌上型電腦。舉例來說,遠端裝置100之受測者101,例如透過遠端裝置100之網路瀏覽器或應用程式(App.)登入伺服器200之線上網頁,然而,本發明不限於此,受測者也可透過直接插接於遠端裝置上之USB裝置登入伺服器之線上網頁。
第2圖繪示根據第1圖的伺服器200之方塊圖。如第1圖與第2圖所示,具體來說,伺服器200包含一儲存模組210、一網路連接單元400、一記憶體500與一處理單元600。處理單元600電性連接網路連接單元400、儲存模組210與記憶體500。儲存模組210內儲存至少一線上測驗211(如表單或網頁)、至少一試題資料組212、至少一學員資料組213與至少一試題參數組215。試題資料組212包含任 何形式之至少一試題、各試題之標準答案及其預先被設定之難易度等等。試題用以呈現於線上測驗211上。試題參數組212包含各試題過去所統計出的平均作答時間及平均標準差等等。每一受測者101預先被評定一目前學科能力值,若無,則以共用值代替。學員資料組213包含受測者101之個人資料與此目前學科能力值。由於伺服器200透過此網路連接單元400經由網路300連接遠端裝置100,網路連接單元400能夠提供一受測者101藉由遠端裝置100從網路300登入伺服器200並參加線上測驗211。處理單元600用以記錄受測者101藉由遠端裝置100參加線上測驗211之所有操作歷程214。操作歷程214包含例如受測者101藉由遠端裝置100對每一試題作答之答題內容以及受測者101對個別試題作答所花費之作答時間(以下簡稱試題之作答時間);接著,判斷此答題內容是否為符合標準答案之正確答案;接著,在判斷出此答題內容為正確答案時,根據試題之作答時間是否位於一預設範圍內的判斷結果,對應地提供受測者101之一最新學科能力值。
第3圖繪示根據本發明另一實施方式透過線上測驗211真實反映出受測者能力的方法的流程圖。如第3圖所示,此實施方式中,在以上伺服器之硬體已準備適當下,伺服器進行透過線上測驗真實反映出受測者能力的方法包含步驟301~步驟309,如下。
在步驟301中,提供一線上測驗,線上測驗具有多個試題。在步驟302中,在一受測者参加線上測驗時,記錄受測者參加線上測驗之所有操作歷程,操作歷程包含此 受測者對此試題作答之答題內容以及試題之作答時間。在步驟303中,判斷答題內容是否為符合標準答案之正確答案;若是,進行步驟304,否則進行步驟309。在步驟304中,判斷作答時間是否位於一預設範圍內;若是,進行步驟305,否則進行步驟306。在步驟305中,推斷受測者是真正知道答案而答對,如此,根據步驟304之判斷結果,就受測者之目前學科能力值對應地給出一第一權重,並且藉由第一權重與此試題之難易度之運算,推算出受測者之最新學科能力值(詳見後文)。在步驟306中,判斷受測者之目前學科能力值是否匹配試題之難易度;若是,進行步驟307,否則,進行步驟308。在步驟307中,推斷受測者也是真正知道答案而答對,故,根據步驟306之判斷結果,就受測者之目前學科能力值對應地給出一第二權重,並且藉由第二權重與此試題之難易度之運算,推算出受測者之最新學科能力值。在本實施方式中,但不限於本發明全部,第二權重不限與第一權重相同或不同。在步驟308中,推斷受測者是靠猜測而答對,故,根據步驟306之判斷結果,就受測者之目前學科能力值對應地給出一第三權重,並且藉由第三權重與此試題之難易度之運算,推算出受測者之最新學科能力值。在本實施方式中,但不限於本發明全部,由於步驟308推斷受測者是靠猜測而答對,故,第三權重被設定為小於第二權重。在步驟309中,根據步驟303之判斷結果,就受測者之目前學科能力值對應地給出一第四權重,並且藉由第四權重與此試題之難易度之運算,推算出受測者之最新學科能力值。在本實施方式中,但不限於本發明全部,由於受測者是 答錯,故,第四權重被設定為小於第三權重。在本實施方式中,舉例來說,透過一對照表與判斷結果以及受測者之目前學科能力值的比對,對應地選取上述第一權重至第四權重。
需瞭解到,由於不同受測者具有不同學科能力值時,所提供之第一權重至第四權重可因應不同受測者之不同學科能力值作適應地變動,以呈現出個人化之學科能力值。然而,本發明不限於此,其他實施方式中,上述第一權重至第四權重未必必須因應不同學科能力值而產生相對變動,例如可能分別是預設值。
上述實施方式中,第4A圖繪示步驟304的細部步驟的流程圖。更具體地,如第4A圖,步驟304更包含細部步驟3041~步驟3044,如下。在步驟3041中,根據此試題之作答時間、同試題之過去數據中所算出的平均作答時間、同試題之過去數據中所算出的平均標準差,計算出試題之一答題可靠度。在步驟3042中,判斷答題可靠度是否不大於一預設標準差倍數;若是,進行步驟3043,否則,進行步驟3044。在步驟3043中,判定作答時間位於預設範圍內,進行步驟305。在步驟3044中,判定作答時間不位於預設範圍內,進行步驟306。
舉例來說,特定試題之答題可靠度為根據平均答題時間的分數來估計答題正確的可靠性。答題可靠度滿足以下關係式(公式A):
其中答題可靠度為z i ,作答時間為t i ,平均作答時間為,且平均標準差為σ i
舉例來說,第4B圖繪示單一試題之過去所有作答時間的常態分布圖700。如第4A圖與第4B圖所示,常態分布圖700為根據此試題之作答時間、同試題之過去數據中所算出的平均作答時間、同試題之過去數據中所算出的平均標準差所製成。若預設標準差倍數設為1個標準差(±1 σ)時,即預設範圍為常態分布圖700之範圍701,若答題可靠度小於等於預設標準差倍數時,則認定此試題之作答時間位於範圍701,以決定進行上述步驟305。然而,本發明不限於此,預設標準差倍數也能改設為二或三個標準差(±2 σ或±3 σ),意即,預設範圍為常態分布圖700之範圍702或範圍703。
然而,本發明不限於此,本發明所屬技術領域中具有通常知識者應視實際需要,彈性選擇不同的實施方式預設範圍,例如為過去所有作答時間的前段範圍或末段範圍(如常態分布圖之左或右半部)。
上述實施方式中,更具體地,第5圖繪示第3圖步驟306的細部步驟的流程圖。如第5圖,步驟306更包含細部步驟3061~步驟3063如下。在步驟3061中,判斷此特定試題的難易度與受測者的目前學科能力值之總和是否不小於一預設門檻值(例如數值1),若是,進行步驟3062,否則,進行步驟3063。此特定試題的難易度與受測者的目前學科能力值皆位於0~1所形成的範圍內,且此特定試題的難易度越接近0,其難度越高,相反地,受測者的目前學科 能力值越接近1,其學科能力值越佳。在步驟3062中,當判斷出受測者的目前學科能力值與特定試題的難易度之總和不小於預設門檻值(例如數值1),則推斷受測者有能力答對此特定試題,故,判定受測者的目前學科能力值匹配特定試題的難易度。反之亦然,在步驟3063中,當判斷出受測者的目前學科能力值與特定試題的難易度之總和小於預設門檻值(例如數值1),則推斷受測者不易答對此特定試題,故,判定受測者的目前學科能力值不匹配特定試題的難易度。
此外,在判斷受測者的目前學科能力值與特定試題的難易度之總和是否小於預設門檻值時,可讓預設門檻值減掉誤差值(ε,ε (0~1)),以修正現實考量中之誤差。
上述實施方式中,更具體地,在步驟305、步驟307與步驟308~步驟309中,在推算受測者之最新學科能力值中,由於第二權重、第三權重與第四權重彼此不同,故,最新學科能力值為p滿足以下關係式(公式B):
其中,試題之數量為n,每一試題之難易度為d i ,第一權重至第四權重其中之一為a i ,其中1 d i 0,1 a i 0,然而,本發明不限於a i d i 必須介於1~0之間。
如第6圖所示,第6圖繪示第3圖之在推算受測者之最新學科能力值所使用的一試題資料表800。此試題資料表800用以協助說明上述步驟305、307、308~309如何推算受測者之最新學科能力值。舉例來說,某一線上測驗具 有10個試題時,此試題資料表800針對每一試題都具有編號欄位810、難易度欄位820、答對分數欄位830(T/F,正確為1、錯誤為0)、作答時間欄位840、平均作答時間欄位850、平均標準差欄位860、答題可靠度欄位870與加權後分數欄位880(T/F * a i )。在此舉例中,難易度d i 、平均作答時間與平均標準差σ i 會預先被填入對應欄位中,待受測者依序完成試題作答時,答對分數(T/F)、作答時間t i 以及加權後分數(T/F * a i )便依序被計算出而被填入對應欄位中。
在此舉例中,因為步驟305與步驟307皆是推斷受測者是真正知道答案而答對、步驟308是推斷受測者是靠猜測而答對以及步驟309是受測者是答錯,故,第一權重與第二權重被設定為100%、第三權重為50%及第四權重為0,且預設標準差倍數為2,誤差值為0.2。然而,本發明不限於此,本發明所屬技術領域中具有通常知識者,應視實際需要,彈性選擇不同的數值範圍。
如此,藉由上述步驟303~309的判斷以及公式(A、B)的計算後,此受測者可得到之最新學科能力值為0.25,相較於不顧慮如何答對之方式,此受測者所測得的學科能力值反而為0.33,故,可知本發明能夠精準地鑑別出受測者的真正能力程度。
此外,在測驗完成後後,本實施方式之此方法也可以選擇地進行以下步驟。將此受測者之最新學科能力值取代並更新受測者之目前學科能力值之步驟、對受測者報告其最新學科能力值之步驟、根據受測者對試題之作答時間、修正試題之平均作答時間與平均標準差之步驟,或著/以及 根據受測者對試題之作答時間,修正試題之難易度之步驟。
第7圖繪示根據本發明又一實施方式的伺服器之方塊圖。如第2圖與第7圖所示,具體來說,其他實施方式中,儲存模組220更包含一試題資料庫221、一學員資料庫222、一操作歷程資料庫223(learning records storage,LRS)與一參數資料庫224。這些資料庫不限必須位於同一伺服器200、同一儲存磁碟或同一儲存區。線上測驗211、試題資料組212之線上測驗211(如表單或網頁)、各個試題、各個試題之標準答案、難易度皆存於試題資料庫221內。各個受測者之學員資料組213皆存於學員資料庫222內。每一受測者藉由遠端裝置參加線上測驗211之所有操作歷程214皆記錄於操作歷程資料庫223內。操作歷程214包含每個受測者對每個試題作答之每個答題內容以及每個試題之開始作答時間與作答完成時間。作答完成時間與開始作答時間的差值即為上述作答時間。作答時間不限在判斷答題內容是否為正確答案的時機前取得。每個試題參數組215之試題過去平均作答時間與平均標準差皆存於參數資料庫224內。
儲存模組220更儲存有一個人資訊模組225、一操作歷程記錄模組226、一作答時間運算模組227、一能力診斷模組228、一判斷模組229與一參數反饋模組230。個人資訊模組225用以記錄受測者的最新學科能力值至學員資料庫222內。操作歷程記錄模組226用以判斷答題內容是否為正確答案之前,記錄受測者藉由遠端裝置參加線上測驗之所有操作歷程214至操作歷程資料庫223內。作答時間運 算模組227根據所有操作歷程214,計算出受測者藉由遠端裝置對試題作答所花費之作答時間以及累計試題過去之平均作答時間與試題之平均標準差,並將最新結果更新至參數資料庫224內。能力診斷模組228用以根據作答時間、試題之平均作答時間與平均標準差,計算出試題之一答題可靠度、計算受測者之目前學科能力值與試題預先被設定之難易度之總和。判斷模組229用以判斷答題內容是否為正確答案、判斷答題可靠度是否不大於一預設標準差倍數、判斷受測者之目前學科能力值與試題之難易度之總和是否不小於1。能力診斷模組228更根據判斷模組229之不同之判斷結果,進行試題之難易度與一對應判斷結果所提供之權重之運算,以提供最新學科能力值,並更新至個人資訊模組225內之目前學科能力值。參數反饋模組230用以根據試題之作答時間,修正試題之難易度、根據試題之作答時間,修正累計試題過去之平均作答時間與試題之平均標準差。
如此,由於本系統全程記錄受測者參加線上測驗之操作歷程,如試題之答題內容及作答時間,不需另外開發時間記錄元件或類似元件,便可以透過操作歷程計算出對應受測者之最新學科能力值。
需瞭解到,上述個人資訊模組、操作歷程記錄模組、作答時間運算模組、能力診斷模組、判斷模組與參數反饋模組的具體實施方式也可為硬體電路。本發明所屬技術領域中具有通常知識者當視當時需要彈性選擇其實施方式,而不需全為軟體程式或全為硬體電路,得部分為軟體程式或部分為硬體電路。
此外,本發明上述方法亦可實作為一電腦程式,並儲存於一電腦可讀取記錄媒體中,而使電腦讀取此記錄媒體後執行能力評量方法。電腦可讀取記錄媒體可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取記錄媒體。
最後,上述所揭露之各實施例中,並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,皆可被保護於本發明中。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
301~309‧‧‧步驟

Claims (18)

  1. 一種透過線上測驗真實反映出受測者能力的方法,包含:提供一線上測驗以供一受測者參加,該線上測驗包含至少一試題;記錄該受測者參加該線上測驗之所有操作歷程,以及記錄該受測者對該試題作答之答題內容以及其所花費之作答時間;判斷該答題內容是否為正確答案;以及當判斷出該答題內容為正確答案時,根據該作答時間是否位於一預設範圍內的判斷結果,對應地提供該受測者之最新學科能力值。
  2. 如請求項1所述之透過線上測驗真實反映出受測者能力的方法,其中根據該作答時間是否位於該預設範圍內的判斷結果,對應地提供出該受測者之最新學科能力值之步驟,包含:判斷該作答時間是否位於該預設範圍內;以及當判斷出該作答時間位於該預設範圍內,依據該判斷結果,就該受測者之一目前學科能力值對應地提供一第一權重,並藉由該第一權重與該試題預先被設定之一難易度之運算,提供該最新學科能力值。
  3. 如請求項2所述之透過線上測驗真實反映出受測者能力的方法,其中當判斷出該作答時間不位於該預設 範圍內,判斷該受測者之該目前學科能力值是否匹配該試題預先被設定之一難易度;當判斷出該目前學科能力值匹配該難易度,依據該目前學科能力值是否匹配該難易度之判斷結果,就該受測者之該目前學科能力值對應地提供一第二權重,並藉由該第二權重與該難易度之運算,提供該最新學科能力值。
  4. 如請求項3所述之透過線上測驗真實反映出受測者能力的方法,其中當判斷出該目前學科能力值不匹配該難易度,依據該目前學科能力值是否匹配該難易度之該判斷結果,就該受測者之該目前學科能力值對應地提供一第三權重,並藉由該第三權重與該難易度之運算,提供該最新學科能力值,其中該第三權重小於該第二權重。
  5. 如請求項4所述之透過線上測驗真實反映出受測者能力的方法,其中當判斷出該答題內容不為正確答案時,依據該答題內容是否為正確答案之該判斷結果,就該受測者之該目前學科能力值對應地提供一第四權重,並藉由該第四權重與該試題預先被設定之一難易度之運算,提供該受測者之最新學科能力值,其中該第三權重介於該第二權重與該第四權重之間。
  6. 如請求項5所述之透過線上測驗真實反映出受測者能力的方法,其中當該線上測驗包含多個該試題時,該些試題之數量為n,每一該些試題之該難易度為d i ,該第一 權重至該第四權重其中之一為a i ,該最新學科能力值為p,其滿足以下關係式:,其中1 d i 0,1 a i 0。
  7. 如請求項2所述之透過線上測驗真實反映出受測者能力的方法,其中判斷該作答時間是否位於該預設範圍內,包含:根據該作答時間、該試題之一平均作答時間、該試題之一平均標準差,計算出該試題之一答題可靠度;判斷該答題可靠度是否不大於一預設標準差倍數;以及當判斷出該答題可靠度不大於該預設標準差倍數,判定該作答時間位於該預設範圍內,以進行該第一權重與該難易度之運算,提供該最新學科能力值。
  8. 如請求項7所述之透過線上測驗真實反映出受測者能力的方法,其中當該作答時間為t i ,該平均作答時間為,該平均標準差為σ i ,且該答題可靠度為z i ,其滿足以下關係式:
  9. 如請求項3所述之透過線上測驗真實反映出受測者能力的方法,其中判斷該目前學科能力值是否匹配該難易度之步驟,包含: 判斷該目前學科能力值與該難易度之總和是否不小於1,其中該難易度與該目前學科能力值皆位於0~1所形成的範圍內,該難易度由0至1表示為由難至易,該目前學科能力值由0至1表示為由劣至佳;以及當判斷出該目前學科能力值與該難易度之總和不小於1,判定該目前學科能力值匹配該難易度,以進行該第二權重與該難易度之運算,提供該最新學科能力值。
  10. 如請求項1所述之透過線上測驗真實反映出受測者能力的方法,更包含:將該最新學科能力值取代該受測者之一目前學科能力值;以及對該受測者報告該最新學科能力值。
  11. 如請求項1所述之透過線上測驗真實反映出受測者能力的方法,更包含:根據該受測者對該試題作答所花費之該作答時間,修正該試題之一平均作答時間與該試題之一平均標準差。
  12. 如請求項1所述之透過線上測驗真實反映出受測者能力的方法,更包含:根據該受測者對該試題作答所花費之該作答時間,修正該試題預先被設定之一難易度。
  13. 一種透過線上測驗真實反映出受測者能力的系統,包含:一儲存模組,用以儲存至少一線上測驗,該線上測驗具有至少一試題;一網路連接單元,以供一受測者藉由至少一遠端裝置透過一網路上參加該線上測驗;一操作歷程記錄模組,用以記錄該受測者藉由該遠端裝置參加該線上測驗之所有操作歷程至該儲存模組內;以及一處理單元,電性連接該儲存模組、該網路連接單元與該操作歷程記錄模組,用以記錄該受測者藉由該遠端裝置對該試題作答之一答題內容以及其所花費之該作答時間,判斷該答題內容是否為正確答案,並在判斷出該答題內容為正確答案時,根據該作答時間是否位於一預設範圍內的判斷結果,對應地提供該受測者之一最新學科能力值。
  14. 如請求項13所述之透過線上測驗真實反映出受測者能力的系統,更包含:一作答時間運算模組,用以根據該所有操作歷程,計算出該受測者藉由該遠端裝置對該試題作答所花費之該作答時間以及累計及更新該試題過去之一平均作答時間與該試題之一平均標準差。
  15. 如請求項14所述之透過線上測驗真實反映出受測者能力的系統,更包含: 一能力診斷模組,用以根據該作答時間、該試題之該平均作答時間與該平均標準差,計算出該試題之一答題可靠度、計算該受測者之一目前學科能力值與該試題預先被設定之一難易度之總和;以及一判斷模組,用以判斷該答題內容是否為正確答案、判斷該答題可靠度是否不大於一預設標準差倍數、判斷該受測者之該目前學科能力值與該試題預先被設定之一難易度之總和是否不小於1,其中該能力診斷模組更根據該判斷模組之不同之判斷結果,進行該試題之該難易度與一對應該判斷結果所提供權重之運算,以提供該最新學科能力值更新該目前學科能力值。
  16. 如請求項15所述之透過線上測驗真實反映出受測者能力的系統,更包含:一參數反饋模組,用以根據該試題之該作答時間,修正該試題之該難易度。
  17. 如請求項13所述之透過線上測驗真實反映出受測者能力的系統,其中該網路連接單元更用以將該最新學科能力值傳輸至該遠端裝置。
  18. 一種電腦可讀取記錄媒體,儲存一電腦程式,用以執行一種透過線上測驗真實反映出受測者能力的方法,其中該透過線上測驗真實反映出受測者能力的方法包含: 提供一線上測驗以供一受測者參加,該線上測驗包含至少一試題;記錄該受測者參加該線上測驗之所有操作歷程,以及接收該受測者對該試題作答之答題內容,並記錄該受測者對該試題作答所花費之作答時間;判斷該答題內容是否為正確答案;以及當判斷出該答題內容為正確答案時,根據該作答時間是否位於一預設範圍內的判斷結果,對應地提供該受測者之最新學科能力值。
TW104131618A 2015-09-24 2015-09-24 透過線上測驗真實反映出受測者能力的系統、方法以及其儲存媒體 TWI567685B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW104131618A TWI567685B (zh) 2015-09-24 2015-09-24 透過線上測驗真實反映出受測者能力的系統、方法以及其儲存媒體
CN201510674280.9A CN106558258A (zh) 2015-09-24 2015-10-16 透过线上测验真实反映出受测者能力的系统及方法
US14/924,735 US20170092145A1 (en) 2015-09-24 2015-10-28 System, method and non-transitory computer readable storage medium for truly reflecting ability of testee through online test

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104131618A TWI567685B (zh) 2015-09-24 2015-09-24 透過線上測驗真實反映出受測者能力的系統、方法以及其儲存媒體

Publications (2)

Publication Number Publication Date
TWI567685B true TWI567685B (zh) 2017-01-21
TW201712623A TW201712623A (zh) 2017-04-01

Family

ID=58407931

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104131618A TWI567685B (zh) 2015-09-24 2015-09-24 透過線上測驗真實反映出受測者能力的系統、方法以及其儲存媒體

Country Status (3)

Country Link
US (1) US20170092145A1 (zh)
CN (1) CN106558258A (zh)
TW (1) TWI567685B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10720072B2 (en) * 2016-02-19 2020-07-21 Expii, Inc. Adaptive learning system using automatically-rated problems and pupils
CN107038930A (zh) * 2017-05-19 2017-08-11 华中师范大学 一种基于语境学习的语文词语学业能力诊断方法及其装置
CN109903201B (zh) * 2017-12-11 2022-04-19 北京三好互动教育科技有限公司 个性化培养方案生成方法和系统
US11386798B2 (en) 2017-12-13 2022-07-12 Caveon, Llc Systems and methods for testing skills capability using technologically-enhanced questions in a computerized environment
US11089377B2 (en) * 2018-01-29 2021-08-10 Guangzhou Huya Information Technology Co., Ltd. Interaction based on live webcast
CN108320603A (zh) * 2018-02-07 2018-07-24 上海钦文信息科技有限公司 一种智能测评系统和方法
US11482127B2 (en) * 2019-03-29 2022-10-25 Indiavidual Learning Pvt. Ltd. System and method for behavioral analysis and recommendations
CN111160606B (zh) * 2019-11-27 2024-04-12 科大讯飞股份有限公司 试题难度预测方法及相关装置
CN113313616B (zh) * 2021-04-21 2024-01-02 中国南方电网有限责任公司超高压输电公司南宁局 远程遥控出题系统
TWI789234B (zh) * 2022-02-08 2023-01-01 十八豆教育科技有限公司 學習效果評測系統
CN117151070B (zh) * 2023-10-31 2024-01-23 联城科技(河北)股份有限公司 试卷组题方法、装置、设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI222044B (en) * 2002-08-22 2004-10-11 Inventec Tomorrow Studio Corp Testing system and method with answering assistance function
TW201023063A (en) * 2008-12-12 2010-06-16 104 Corp Personnel selection method employing diversified tests
TW201220105A (en) * 2010-11-02 2012-05-16 Inventec Appliances Corp Mobile test system and testing method thereof
US20140335497A1 (en) * 2007-08-01 2014-11-13 Michael Gal System, device, and method of adaptive teaching and learning
CN104463385A (zh) * 2013-09-12 2015-03-25 郑州学生宝电子科技有限公司 一种用于教学测验的数据统计与分析平台
TWM509389U (zh) * 2015-07-01 2015-09-21 Yuan Dian Co Ltd 線上題庫評量平台

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6427063B1 (en) * 1997-05-22 2002-07-30 Finali Corporation Agent based instruction system and method
US6435878B1 (en) * 1997-02-27 2002-08-20 Bci, Llc Interactive computer program for measuring and analyzing mental ability
US5907831A (en) * 1997-04-04 1999-05-25 Lotvin; Mikhail Computer apparatus and methods supporting different categories of users
US20040230495A1 (en) * 1997-04-04 2004-11-18 Mikhail Lotvin Computer systems and methods supporting on-line interaction with content, purchasing, and searching
US6960088B1 (en) * 2000-08-28 2005-11-01 Long Eliot R Method for evaluating standardized test results
US8165518B2 (en) * 2000-10-04 2012-04-24 Knowledge Factor, Inc. Method and system for knowledge assessment using confidence-based measurement
US6832069B2 (en) * 2001-04-20 2004-12-14 Educational Testing Service Latent property diagnosing procedure
CN1474339A (zh) * 2002-08-09 2004-02-11 明日工作室股份有限公司 动态评分式测验系统与方法
CN1632782A (zh) * 2003-12-22 2005-06-29 英业达股份有限公司 在线学习成绩评定方法及系统
US20060110718A1 (en) * 2004-11-23 2006-05-25 Lee Yong T System and method for automatically administering a test, analysing test results and formulating study strategies in response thereto
US20080038705A1 (en) * 2006-07-14 2008-02-14 Kerns Daniel R System and method for assessing student progress and delivering appropriate content
US20110039249A1 (en) * 2009-08-14 2011-02-17 Ronald Jay Packard Systems and methods for producing, delivering and managing educational material
JP5307067B2 (ja) * 2010-03-30 2013-10-02 古河電気工業株式会社 車載用パルスレーダ
CN102385807B (zh) * 2010-09-06 2015-03-25 洪荣昭 电子测验系统及方法
US20140188574A1 (en) * 2011-05-14 2014-07-03 Anastasia Maria Luca System and method for objective assessment of learning outcomes
US20130149681A1 (en) * 2011-12-12 2013-06-13 Marc Tinkler System and method for automatically generating document specific vocabulary questions
US20130224718A1 (en) * 2012-02-27 2013-08-29 Psygon, Inc. Methods and systems for providing information content to users
US20140106331A1 (en) * 2012-03-15 2014-04-17 Marc Mitalski Systems and Methods for On-Line Course Management and Examination Preparation
US20140324749A1 (en) * 2012-03-21 2014-10-30 Alexander Peters Emotional intelligence engine for systems
US20130260351A1 (en) * 2012-03-29 2013-10-03 Dreambox Learning Inc. Calendar-driven sequencing of academic lessons
US10290221B2 (en) * 2012-04-27 2019-05-14 Aptima, Inc. Systems and methods to customize student instruction
KR20140035031A (ko) * 2012-09-13 2014-03-21 최문형 유아 체육 영재지수화 및 레벨 분류 방법
US20140272910A1 (en) * 2013-03-01 2014-09-18 Inteo, Llc System and method for enhanced teaching and learning proficiency assessment and tracking
US20140278895A1 (en) * 2013-03-12 2014-09-18 Edulock, Inc. System and method for instruction based access to electronic computing devices
US20140272889A1 (en) * 2013-03-15 2014-09-18 Career Education Center Computer implemented learning system and methods of use thereof
US20140272908A1 (en) * 2013-03-15 2014-09-18 SinguLearn, Inc Dynamic learning system and method
US20160343263A9 (en) * 2013-05-03 2016-11-24 Samsung Electronics Co., Ltd. Computing system with learning platform mechanism and method of operation thereof
US20150004591A1 (en) * 2013-06-27 2015-01-01 DoSomething.Org Device, system, method, and computer-readable medium for providing an educational, text-based interactive game
US20150064680A1 (en) * 2013-08-28 2015-03-05 UMeWorld Method and system for adjusting the difficulty degree of a question bank based on internet sampling
US20150294580A1 (en) * 2014-04-11 2015-10-15 Aspen Performance Technologies System and method for promoting fluid intellegence abilities in a subject

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI222044B (en) * 2002-08-22 2004-10-11 Inventec Tomorrow Studio Corp Testing system and method with answering assistance function
US20140335497A1 (en) * 2007-08-01 2014-11-13 Michael Gal System, device, and method of adaptive teaching and learning
TW201023063A (en) * 2008-12-12 2010-06-16 104 Corp Personnel selection method employing diversified tests
TW201220105A (en) * 2010-11-02 2012-05-16 Inventec Appliances Corp Mobile test system and testing method thereof
CN104463385A (zh) * 2013-09-12 2015-03-25 郑州学生宝电子科技有限公司 一种用于教学测验的数据统计与分析平台
TWM509389U (zh) * 2015-07-01 2015-09-21 Yuan Dian Co Ltd 線上題庫評量平台

Also Published As

Publication number Publication date
CN106558258A (zh) 2017-04-05
US20170092145A1 (en) 2017-03-30
TW201712623A (zh) 2017-04-01

Similar Documents

Publication Publication Date Title
TWI567685B (zh) 透過線上測驗真實反映出受測者能力的系統、方法以及其儲存媒體
US8385812B2 (en) Assessment-driven cognition system
Markey et al. A real‐time assessment of interpersonal complementarity
US10497281B2 (en) Measuring language learning using standardized score scales and adaptive assessment engines
Alcarria et al. Enhanced peer assessment in MOOC evaluation through assignment and review analysis
US20140278738A1 (en) Systems and methods for unified scoring
CN111651677B (zh) 课程内容推荐方法、装置、计算机设备和存储介质
Duttle Cognitive skills and confidence: Interrelations with overestimation, overplacement and overprecision
US20140045164A1 (en) Methods and apparatus for assessing and promoting learning
CN110569347A (zh) 一种数据处理方法、装置、存储介质和电子设备
TWI575472B (zh) 線上學習系統、其能力評量方法以及儲存此能力評量方法之儲存媒體
US9870713B1 (en) Detection of unauthorized information exchange between users
KR20200038046A (ko) 문항반응이론 기반의 적응검사 수행 장치 및 시스템
CN110852925B (zh) 异常学习检测方法、装置、设备和存储介质
US10191830B1 (en) Data processing systems for processing and analyzing data regarding self-awareness and executive function
US10065118B1 (en) Data processing systems for processing and analyzing data regarding self-awareness and executive function
Petersen et al. Equality challenges in the use of eHealth: selected results from a Danish citizens survey
CN111932160A (zh) 知识掌握信息处理方法、装置、计算机设备及存储介质
KR20140011232A (ko) 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법
US20150364051A1 (en) Generating a comprehension indicator that indicates how well an individual understood the subject matter covered by a test
CN109615204B (zh) 医疗数据的质量评估方法、装置、设备及可读存储介质
Chen et al. Principles for Assessing Adaptive Online Courses.
Lathrop et al. A nonparametric approach to estimate classification accuracy and consistency
JP6831551B2 (ja) 学習支援装置、プログラム、学習支援方法、学習支援システム
Kuric et al. Cognitive abilities and visual complexity impact first impressions in five-second testing