TWI529673B

TWI529673B - 用於可適性知識評鑑及學習之系統及方法

Info

Publication number: TWI529673B
Application number: TW101105142A
Authority: TW
Inventors: 史提夫恩斯特; 查理斯史密斯; 格里葛瑞克林凱兒; 羅伯特柏金
Original assignee: 知識要素公司
Priority date: 2011-02-16
Filing date: 2012-02-16
Publication date: 2016-04-11
Also published as: JP6181559B2; US20120208166A1; CN103534743A; KR20140020920A; CN103534743B; TW201241799A; CA2826689A1; EP2676255A1; EP2676255A4; JP2014510941A; WO2012112389A1

Description

用於可適性知識評鑑及學習之系統及方法

本發明之態樣係關於知識評鑒及學習，且係關於基於微處理器及網路式之測試及學習系統。本發明之態樣亦係關於知識測試及學習方法，且更明確而言，係關於用於基於信賴度之評鑒(「CBA」)及基於信賴度之學習(「CBL」)之方法及系統，其中來自學習者之單一答案在其回應中產生關於個人之信賴度及正確性之兩個量度。根據此程序之新穎系統及方法促進用於緊緊耦合格式性評鑒(formative assessment)與學習之方法，且因此促進在學習程序中之立即矯正。此外，此程序涵蓋之新穎系統及方法為每一學習者提供一可適性且個人化之學習方法。

本申請案主張2011年2月16日申請之美國專利申請案第13/029,045號之優先權。本申請案亦與2010年10月20日申請之美國專利申請案第12/908,303號、2003年9月23日申請之美國專利申請案第10/398,625號、2005年7月23日申請之美國專利申請案第11/187,606號及2005年7月26日頒佈之美國專利第6,921,268號有關。以上列出的申請案中的每一者之細節在此以引用的方式且針對所有適當目的而併入本申請案內。

評鑒個人在一題材中的知識之廣博度之傳統多重選擇測試技術包括可藉由一維或對/錯(RW)答案選擇的變化數目個可能選擇。典型的多重選擇測試可包括具有三個可能答案之問題，其中通常此等答案中之一者可由學習者按第一印象因不正確而去除。此引起關於其餘答案之猜測可能導致將可能正確或可能不正確的回應標記為正確之顯著機率。在此情形下，成功的猜測將掩蓋學習者關於其受教(informed)(亦即，對正確回應有信心)、誤教(misinformed)(亦即，對回應有信心，然而，該回應並不正確)或是缺乏資訊(亦即，學習者明確地敍述其並不知曉正確的答案，且允許以彼方式回應)的知識之真實廣博度或狀態。因此，傳統多重選擇一維測試技術作為量測學習者的真實知識廣博度之方式高度無效。儘管有此顯著缺點，傳統一維多重選擇測試技術仍由資訊集中及資訊相依組織(諸如，銀行業、保險業、公用事業公司、教育機構及政府機關)廣泛使用。

傳統多重選擇一維(對/錯)測試技術為強迫選擇測試。此格式需要個人選擇一個答案，不管其是否知曉正確的答案。若存在三個可能答案，則隨機選擇將導致33%的可能性對正確答案計分。一維計分演算法通常獎賞猜測。通常，錯誤的答案計分為零分，使得在完全不回答與進行不成功猜測之間在得分上並無差異。由於猜測有時導致正確的答案，因此猜測始終好於不猜測。已知少數傳統測試方法為錯誤答案提供負得分，但通常該演算法經設計使得去除至少一個答案改變了有利於猜測之勝算。因此對於所有實際目的，猜測仍被獎賞。

此外，一維測試技術鼓勵個人變得擅長於去除可能的錯誤答案且對正確的答案作出最佳猜測判定。若個人可去除一個不正確的可能答案，則選取正確答案之勝算達到50%。在70%為合格之情況下，具有良好猜測技能的個人距及格僅差20%，即使其幾乎一無所知亦如此。因此，一維測試格式及其計分演算法使個人之目的、其動機偏離自我評鑒及接收準確的回饋且朝向使測試得分變大以超過臨限值。

另一方面，基於信賴度之評鑒經設計以去除猜測，且準確地評鑒人們的真實知識狀態。

本發明之態樣係基於以下各者中揭示之基於信賴度之評鑒(「CBA」)及基於信賴度之學習(「CBL」)系統及方法而建置：美國專利申請案第12/908,303號、美國專利申請案第10/398,625號、美國專利申請案第11/187,606號及美國專利6,921,268，所有該等專利申請案及專利以引用的方式併入本申請案中且由Boulder Colorado之Knowledge Factor,Inc.擁有。此基於信賴度之評鑒方法經設計以去除猜測且準確地評鑒學習者的真實知識狀態。CBA及CBL格式(總稱作「CB」)涵蓋三個思想狀態：信賴度、懷疑及不知。並不迫使個人選擇一特定答案，而相反地，其自由地選擇一個答案、兩個答案或其不知曉答案之狀態。CB答案格式較緊密地匹配參試者實際所想及所感覺之狀態。個人迅速獲悉猜測會受到處罰，且承認懷疑及不知比假裝信賴要好。此外，由於CBA不鼓勵猜測，因此參試者將其注意力自參試策略及試圖使得分變大朝向其實際知識及信賴之誠實的自我評鑒改變。實際上，個人自我評鑒其自己的知識及信賴之感覺愈準確及誠實，則其數值得分愈好。

為了易於參考，此處描述以上以引用方式描述及併入之先前申請案及系統。如圖1中所示，先前技術知識評鑒方法及學習系統5提供一分散式資訊參考測試及學習解決方案10以滿足其使用者之互動需要。任何數目個使用者可僅執行一個功能或擔任一個角色，而單一使用者可執行若干功能或擔任許多角色。舉例而言，系統管理員12可執行測試評鑒管理、確認使用者14之真實性、將測試詢問遞送至可包括學習者之多個使用者14(按密碼、指紋資料或其類似者)，及針對規則性、評鑒及回饋而監視測試作業階段。同樣地，系統使用者14將鑑認提供給管理員12，且接受測試。使用者14可去可由適當人員值守之服務桌16詢問可能出現之任何問題。內容開發者18或測試作者設計且產生測試內容及/或相關聯之學習內容。

圖2及圖3展示電腦網路架構之一實施例，該電腦網路架構可用以實現知識評鑒及學習功能之分散化，且通常涵蓋各種功能步驟，如由圖3中之邏輯區塊100所表示。經由複數個受試者終端機20-1、20-2…20-n及22-1、22-2…22-n將知識評鑒詢問或問題給予每一註冊之組織中的學習者。提供一或多個管理員終端機25-1、26-1用於管理來自各別組織之測試。每一受試者終端機20、22及管理員終端機25、26分別展示為電腦工作站，其位於遠端，用於學習者及管理員之方便存取。藉由電腦視訊螢幕顯示器、輸入裝置 (諸如，鍵盤)、觸控板、「遊戲板」、行動裝置、滑鼠及如此項技術已知之其他裝置實現通信。每一受試者終端機20、22及管理員終端機25、26較佳使用足夠的處理能力來遞送音訊、視訊、圖形、虛擬實境、文件及資料之混合。

成群之學習者終端機20、22及管理員終端機25、26經由網路集線器40連接至一或多個網路伺服器30。伺服器30裝備有諸如RAID記憶體之儲存設施以充當用於科目記錄及測試結果之儲存庫。

如在圖2中看出，區域伺服器30-1、30-2彼此通信連接且通信連接至教學軟體伺服器30-3。作為系統之遠端可操作性的說明，藉由習知路由器60經由網際網路骨幹50進行伺服器連接。經由包括傳輸控制協定/網際網路協定(「TCP/IP」)之行業標準實施經由網際網路骨幹50傳送之資訊。

教學軟體或專用於教育及培訓之軟體及管理支援軟體儲存且維護於教學軟體伺服器30-3上，且較佳地，遵守用於分散式學習模型(ADL初步方案)之行業標準，諸如，用於可跨系統共用之教學軟體物件之航空工業CBT委員會(AICC)或可共用內容物件參考模型(SCORM)。教學軟體伺服器30-3支援且實施本發明之軟體解決方案，包括如在圖3中說明之功能步驟。軟體可在受試者終端機20、22上執行，該軟體經受管理員之獨立控制。系統8提供用於各種資料庫之電子儲存設施以適應教育及學習材料、測試內容及與成績及管理有關之資訊的儲存及擷取。

在操作中，任一位於遠端之學習者可經由受試者終端機20、22與任一管理員在管理員終端機上通信。系統8及其軟體提供許多基於網路之頁面及形式，作為使用者(包括系統管理員12、學習者14及測試內容開發者18)與系統之間的通信介面之部分以使得能夠快速且容易地導覽知識評鑒程序。將本發明之知識評鑒及學習系統的基於網路、支援瀏覽器之首頁呈現給系統使用者，該首頁充當使用者存取系統之網站及其有關內容的閘道器。首頁包括成員(使用者)簽到選項帶(menu bar)，其併有用於系統存取及使用者鑑認之必要的電腦指令碼。為了說明性目的，術語「成員」有時在本文中同義地被稱作「使用者」。

成員簽到提示系統8實現對使用者之識別及經授權之存取等級的鑑認，如通常在此項技術中所進行。

諸態樣提供基於電腦軟體之構件或測試建置器模組102，諸如測試管理員或測試內容開發者之使用者可藉由該模組建構一測試。

為了說明之目的，本文中將參照可經由具有「建置」選項之首頁存取之樣本測試描述測試建構或建置。此「建置」選項之選擇導致測試建置器畫面。測試建置器主畫面併有導覽按鈕或其他構件以存取測試配方之主要態樣。測試建置器畫面包括支援管理任務(諸如，帳戶處理及使用者鑑認、測試建立、編輯及上載、使用者之回饋統計之檢閱)之若干功能軟體指令碼，且提供使用者與系統8之介面用於建立新測試。為了本文中之論述的目的，測試建置器畫面亦被叫作「建立新測試畫面」。

在鑑認使用者後，系統8將使用者引向測試建置器畫面。測試建置器畫面提示使用者在文字盒中填寫諸如測試識別、測試名稱及作者識別碼之資訊，且初始化測試建置模組。在測試初始化時，系統在測試及/或影像上向使用者提供用於藉由測試建立、編輯現有測試而輸入測試內容之選項。

系統8按超文字標示語言(「HTML」)及其他瀏覽器/軟體語言進一步提供編輯及格式化支援設施以包括用於文字及影像顯示之字型、大小及色彩顯示。此外，系統8提供超連結支援以使具有問題及詢問之影像與教育材料相關聯。

如上文所提及，系統8經調適以允許使用者上載富含文字之格式檔案用於使用許多基於網路之網頁及形式匯入全部測試或其部分，作為使用者與系統之間的通信介面之部分。此外，測試建置器模組102亦經調適以按各種常用格式(諸如，^＊.GIF及^＊.JPEG)接收影像檔案。如在測試詢問需要音訊、視覺及/或多媒體提示之情況下，此特徵係有利的。藉由使用者啟動作為使用者介面或螢幕影像之部分併入的指令碼或其他構件來實現文字及影像上載至系統。作為測試建置器(「建立新測試」)畫面之部分，在螢幕影像上提供超連結，該超連結啟動系統指令碼以經由習知檔案傳送協定實現檔案傳送功能。

測試建置器模組102允許測試作者按適當格式轉換其現有測試或建立新測試。測試作者輸入問題或詢問及複數個潛在答案。每一問題必須具有一指明之答案作為正確的選擇，且其他兩個答案當作錯誤或誤教的回應。在如圖所示之實例中，詢問中之每一者具有三個可能選擇。

一旦已使用作為呈現給使用者之網頁之部分併入的輸入設施建構測試之主體，則測試建置器102將一維對-錯答案組態為非一維答案格式。因此，在詢問具有三個可能答案的本發明之一實施例中，根據預定義之信賴度類別或等級組態呈二維答案形式的非一維測試。提供三個信賴度類別等級，其指明為：100%確定(僅選擇一個答案)；50%確信(選擇最佳地表示答案之一對選擇(A或B)、(B或C)或(A或C))；及未知。對於50%確信類別，將答案劃分為成對之選擇之可能組合(A或B)、(B或C)或(A或C)。藉由由系統8將每一詢問指派至一指定編號之問題欄位且將每一答案指派至指定標有字母的答案欄位來配置整個測試。接著按可適應於在使用者之終端機上顯示的方式組織及格式化詢問、信賴度類別及可能的答案之相關聯的選擇。答案之每一可能選擇進一步與諸如點擊按鈕(point-and-click button)之輸入構件相關聯以接受來自學習者之輸入作為對其對答案之選擇的回應之指示。在本發明之一實施例中，測試詢問、信賴度類別及答案由常用之基於網際網路之瀏覽器支援。可將輸入構件展示為鄰近於答案之每一可能選擇之單獨點擊按鈕。或者，可將輸入構件嵌入為答案選擇顯示器之部分，當學習者點擊該答案時，啟動該輸入構件。

如自以上論述看到，該系統實質上促進非一維詢問之建構或傳統一維或「RW」詢問之轉換。本發明之測試及學習建置功能「不瞭解」建構測試所依據的測試材料之性質。對於每一詢問或問題，系統將僅需要作用於測試詢問之形式而非其內容、可能的答案及正確答案及由學習者選擇之答案選擇。

測試建置器102亦允許使用者使每一詢問與關於彼詢問之特定學習材料或資訊相關聯。材料由系統儲存，從而為使用者提供容易的存取以作為對文字建構之參考。其亦形成指導學習者基於給予學習者的知識評鑒之成績而進一步培訓或再教育之資料庫。此等學習材料包括文字、動畫、音訊、視訊、網頁及IPIX相機及類似的培訓材料源。提供作為測試建置器功能之部分的匯入功能以將此等連結之材料接受至系統內。

向學習者呈現知識評鑒詢問或測試係由「顯示測試」或顯示測試模組104起始。由電腦指令碼支援，顯示測試模組104包括用於鑑認每一學習者、通知評鑒作業階段及用於自系統擷取詢問以供視覺呈現給學習者之管理功能。視情況，可按可由適當統一資源定位符(「URL」)連結至儲存於系統8中的學習材料或教學軟體之資料庫或連結至其他資源或網站之超文字或其他軟體語言格式(如管理員可判定)呈現詢問。

如上文所提及，藉由將許多非一維詢問呈現給學習者來起始對學習者之知識評鑒。此等詢問中之每一者可作為對可自預定義之信賴度類別選擇的實質性多重選擇答案之回應來回答。

作為一實施例之一實例，測試詢問或問題將由三個答案選擇及包括學習者之回應及其對彼選擇之信賴度類別的二維答案型樣組成。信賴度類別為：「我確定」、「我部分確定」及「我不知曉」。將無任何回應之詢問視為且預設為「我不知曉」選擇。在其他實施例中，用「我不確定」選擇來替換「我不知曉」選擇。

可將知識評鑒之態樣給予在不同地理位置處之單獨學習者且可在不同時間段給予單獨學習者。此外，可即時地給予知識評鑒，其中將測試詢問呈現給學習者。可將整組測試詢問批量下載至學習者之工作站，在將回應傳達(上載)至系統8之教學軟體伺服器前，在該工作站處全部回答該等詢問。或者，可一次回答一個詢問地呈現該等測試詢問，隨即將學習者之回應傳達至教學軟體伺服器。用於給予知識評鑒之兩個方法可視情況伴有設置於工作站中或教學軟體伺服器處之軟體指令碼或次常式以實現受試者回應呈現的測試詢問中之任何者或全部的時間量之量測。當如此調適時，時間量測指令碼或次常式充當時標(time marker)。在本發明之一例示性實施例中，電子時標識別由教學軟體伺服器將測試詢問傳輸至學習者之時間及學習者將對答案之回應傳回至伺服器之時間。此等兩個時間標記(time marking)之比較得出受試者檢閱及回應測試詢問之時間量。

當已回答了所有詢問時，調用「對您的測試計分」函式，如藉由學習者按一下在受試者之工作站終端機或輸入裝置上的「對您的測試計分」按鈕條，此終止知識評鑒作業階段。系統8初始化「收集回應」操作或收集回應模組106(其包含電腦軟體常式)，以收集學習者對測試詢問之回應。此等回應接著經組織且安全地儲存於與系統8相關聯的所收集回應之資料庫中。

其後，調用計分引擎或回應比較模組108(「回應比較」)以對受試者之回應與指明之正確答案執行「回應與正確答案之比較」，據此計算總得分。

在先前系統中，採用一計分協定，使用預定義之加權計分方案藉由該計分協定編譯學習者之回應或答案。此加權計分協定針對與學習者的高信賴等級之指示相關聯之正確回應將預定義之分數指派給學習者。此等分數在本文中被稱作真實知識分，其將反映學習者在測試詢問之題材中的真實知識之廣博度。

相反地，計分協定針對與高信賴等級之指示相關聯的不正確之回應將負分數或罰分指派給學習者。負分數或罰分具有顯著大於針對同一測試詢問之知識分的預定值。此等罰分在本文中被稱作誤教分，其將指示學習者被誤教了某事物。

將分數傳遞至計分模組108，其計算學習者之原始得分以及其他各種其他成績指數。系統8進一步包括一「準備學習者回饋」模組110，其準備成績資料且經由「呈現學習者回饋」模組114將其呈現給學習者。按一類似方式，「準備管理回饋」模組112準備受試者之成績資料，且經由「呈現管理回饋模組」116將其呈現給測試管理員。在本發明之一實施例中，此等得分組分包括原始得分、知識分佈、以百分比得分表現之合計得分知識分佈、自信得分、誤教差距、個人培訓計劃、知識指數及成績等級。

作為回饋之部分，系統8組織測試詢問，基於知識品質區域將測試詢問呈現給學習者或其他系統使用者。系統8使用在模組102中建立之儲存資訊，其識別針對每一問題之特定課程以建立至彼課程之超連結，因此相對於品質區域組態個人學習計劃。因此，測試得分一經計算出，學習者或系統使用者將能夠識別指示矯正動作的資訊不足之領域。

知識評鑒及學習系統之各種任務由任一已知網路架構及軟體解決方案支援。圖4呈現一先前技術流程圖，其展示整合之測試創作、管理、追蹤及報告及可供本文中揭示之新態樣使用的相關聯之資料庫。

如圖4中所示，測試建置器頁面202支援測試建立，由具有在建立者使用者資料庫DB 206中識別之適當鑑認的測試建立者204起始。資料庫206由建立者監督器208管理。測試建立者204提供用於測試詢問之內容材料，該等內容材料儲存於測試資料庫(測試DB 210)中。測試頁面214經建立以併有來自DB 210之測試內容材料及來自指派DB 217之測試指派指令。指派DB 217包括諸如對測試內容之管理控制、測試排程及學習者鑑認之功能。指派DB 217由檢閱者監督器218管理及控制。

經由測試頁面214將測試詢問給予一或多個經鑑認之學習者216。測試一經接受，則結果經編譯且傳遞至計算原始得分232之計分程式模組212上。將原始得分以及其他成績資料作為資料庫235、236及237之部分儲存。測試檢閱者226使用測試結果資料庫235、236、237產生一測試得分檢閱頁面222。基於測試得分檢閱頁面222之分析，檢閱者226可更新檢閱者DB 224。接著立即將經編譯且計分之測試結果報告給受試者，且可向受試者提供其結果235、236、237，繼之以能夠超連結存取對每一問題之解釋234的答案。

亦可結合在本專利申請案中揭示且如在以下更詳細描述之新程序及系統利用與關於圖1至圖4及在圖1至圖4中體現之此等先前系統相關聯而描述的結構。

根據本申請案的系統及方法之態樣藉由將額外態樣併入至結構化之CBA及CBL格式內而進一步改進基於信賴度之方法。在個人完成了CBA或CBL後，其成組之答案用以產生知識分佈。知識分佈將關於學習程序之資訊(關於誤解(誤教)、未知、懷疑及掌握之領域及程度)呈現給個人及組織。

本發明之態樣提供一種用於知識評鑒及學習之方法及系統，其準確地評鑒學習者之知識之真實廣博度，且根據識別出之不足領域矯正性地將學習或教育材料提供至受試者。本發明併有基於信賴度之評鑒及學習技術的使用，且可部署於基於微處理器之計算裝置或網路化之通信用戶端-伺服器系統上。

根據本發明的裝置及方法之其他態樣提供一種用於個人化、可適性評鑒及學習之機制，其中取決於每一學習者回答特定問題之方式而按個人化之方式將學習及評鑒系統之內容遞送至每一學習者。

在某些實施例中，此等回應將取決於每一學習者表現之知識、技能及信賴度而變化，且系統及其基礎演算法將取決於由學習者針對每一問題提供之知識品質而可適性地饋給未來評鑒問題及相關聯之矯正。

本發明之另一態樣為可再用之學習物件結構之使用，該學習物件結構提供內建式機制以無縫地整合詳細學習結果敍述、使學習者能夠相對於每一學習結果敍述獲取必要的知識及/或技能之題材及驗證學習者是否已相對於每一學習結果敍述實際獲取了知識及/或技能連同其對彼知識或技能之信賴度的多維評鑒。經由建置至本發明內之內容管理系統致能彼等學習物件之可再用性，使得作者可易於搜尋、識別及再使用現有學習物件或為現有學習物件賦予新用途。

本發明之其他態樣涵蓋整合之報告能力，使得管理員、作者、註冊員及作者可評估每一使用者表現的知識之品質及如在學習物件中顯示的學習材料之品質兩者。針對每一使用者回應，報告能力可基於儲存於資料庫中之資料高度訂製。

根據另一態樣，一種知識評鑒系統及方法包含向一學習者顯示複數個多重選擇問題及二維答案、存取學習材料之一資料庫及向該學習者傳輸該複數個多重選擇問題及二維答案。該等答案包括由單一選擇答案組成之複數個完全信賴答案、由多個單一選擇答案之一或多個集合組成之複數個部分信賴答案及一不確定答案。該方法進一步包含藉由基於該學習者對該等二維問題之回應指派各種知識狀態名稱而對給予該學習者之一基於信賴度之評鑒(CBA)計分。

本發明之實施例及態樣提供一種用於進行知識評鑒及學習之方法及系統。各種實施例併有可部署於基於微處理器或網路化之通信用戶端-伺服器系統上的基於信賴度之評鑒及學習技術之使用，該系統自學習者提取基於知識及基於信賴度之資訊。在一般意義上，評鑒併有非一維測試技術。

根據另一態樣，本發明為用於基於信賴度之評鑒(「CBA」)及基於信賴度之學習(「CBL」)之強健方法及系統，其中一答案產生關於個人之信賴度及其回應之正確性的兩個量度以促進用於立即矯正之方法。此經由三個主要工具實現：

1.去除猜測答案之需要的測試及計分格式。此導致「實際」資訊品質之較準確的評估。

2.一計分方法，其更準確地揭露某人：(1)準確知曉之內容；(2)部分知曉之內容；(3)不知曉之內容；及(4)確定其知曉但實際上不正確之內容。

3.所得知識分佈，其僅聚焦於真實地需要指導或再教育專注之彼等領域。此去除了將時間及努力浪費在實際上並不需要專注之領域中的培訓。

一般而言，前述工具由以下方法或「學習循環」實施：

1.接受一評鑒。此開始於將標準三答案(「A」、「B」及「C」)多重選擇測試編譯成針對每一問題具有七個可能答案的結構化之CBA格式之步驟，該等可能答案涵蓋三個思想狀態：信賴、懷疑及不知，藉此更緊密地匹配參試者之思想狀態。

2.檢閱知識分佈。給定一組答案，實施CBA計分演算法，該CBA計分演算法教示學習者猜測會被罰分，且承認懷疑及不知比假裝信賴要好。該CBA答案集合接著經編譯且作為知識分佈顯示以更精確地將答案分段成有意義的知識區域，從而向個人及組織給出關於誤解(誤教)、未知、懷疑及掌握之領域及程度的豐富回饋。知識分佈為成績及專業能力之好得多的量度，尤其在其鼓勵更受教的、更高資訊品質之員工減少成本高的知識及資訊錯誤且增加生產力的公司培訓環境之情況下。

3.關於材料檢閱問題、答案及解釋。

4.檢閱進一步的培訓及資訊連結以獲得科目材料之更好理解。

5.反覆-可按個人需要重複該程序許多次以便獲得內容之適當理解。作為此反覆模型之部分，可自呈現給學習者的問題列表移除作為信賴且正確(取決於使用哪一演算法)計分之答案，使得學習者可聚焦於其特定技能差距。在每一反覆期間，呈現給學習者的問題之編號可由ampModule中的所有問題之一子集表示；此可由ampModule之作者組態。此外，經由使用在構成系統之軟體程式碼內調用之隨機數產生器在每一反覆期間按隨機次序呈現問題及對每一問題之答案。

根據一態樣，本發明產生知識分佈，其包括對於系統使用者之格式性及總結性評估，且識別各種知識品質等級。基於此資訊，系統經由一或多個演算法使使用者之知識分佈與學習材料之一資料庫相關，接著將該資料庫傳達至系統使用者或學習者以供進行實質性回應之檢閱及/或再教育。

由系統使用者進行的測試管理及學習之各種態樣之互動性適應包括資訊及學習材料之儲存、測試或詢問建立、編輯、計分、報告及學習。

本發明之態樣可調適以部署於獨立的個人電腦系統上。此外，其亦可部署於諸如全球資訊網或企業內部網路用戶端-伺服器系統之電腦網路環境上，在企業內部網路用戶端-伺服器系統中，「用戶端」通常由經調適以存取由另一計算裝置(伺服器)提供之共用網路資源的計算裝置表示。例如，見結合圖2及圖15描述之網路環境。併有各種資料庫結構及應用層以致能按各種使用者權限等級之互動，本文中更充分地描述該等使用者權限等級中之每一者。

根據根據本發明建構的系統之其他態樣，亦可併有下列特徵中之一或多者。在以下論述中，為了易於參考而使用某些技術術語，但此處之意圖並不在於按不同於如在申請專利範圍中所闡明之任一方式來限制此等術語之範疇。

ampUnit-指呈現給學習者或評鑒及學習系統之其他使用者的個別問題/答案。

ampModule-指在任一給定測試/評鑒情形下呈現給學習者的一群ampUnit(例如，問題及答案)。

編譯CBA測試與計分格式

為了按CBA格式建置、開發或以其他方式編譯一測試，需要將包含三答案(「A」、「B」及「C」)多重選擇問題之標準多重選擇測試轉換成可由七個選項答案之問題，該七個選項涵蓋三個思想狀態：信賴、懷疑及不知。

圖5為說明具有七個回應選項之此問答格式之螢幕列印圖。回應於呈現之問題，需要學習者提供指示其實質性答案及對其選擇之信賴等級兩者之二維答案。在圖5之實例中，在問題下方列出了一維選擇。然而，亦需要學習者按二維來回答，在標題「我確定」、「我部分確定」及「我不確定」下對其分類。「我確定」類別包括三個單一選擇答案(A-C)。「我部分確定」類別允許受試者在任何兩個單一選擇答案(A或B、B或C、A或C)之集合之間選擇。亦存在包括一特定「我不確定」答案之「我不確定」類別。三選擇七答案格式係基於展示少於三個之選擇因為使猜測答案且得到正確答案變得較容易而引入了錯誤之研究。多於三個之選擇可引起負面影響測試之真實得分的一定程度的混淆(記住先前選擇)。

圖6說明在本發明之態樣中體現的可適性學習構架結構之高階綜述。根據本文中揭示之態樣的總體方法及系統藉由隨學習者之先前回應而變將評鑒及學習計畫提供至每一學習者而即時地調適。根據本發明之其他態樣，取決於每一學習者回答特定問題之方式而按個人化之方式將學習及評鑒系統之內容遞送至每一學習者。特定言之，彼等回應將取決於每一學習者表現之知識、技能及信賴度而變化，且系統及其基礎演算法將取決於由學習者針對每一問題提供之知識品質而可適性地饋給未來評鑒問題及相關聯之矯正。

藉由反覆增加保留能力

學習者之信賴度與知識保留能力高度相關。如上所敍述，本發明方法詢問且量測學習者之信賴等級。然而，其藉由使受試者對其答案完全信賴以便達到真實知識(藉此增加知識保留能力)而更進一步。此部分藉由反覆步驟實現。在個人檢閱了在如上CBA中的材料之結果後，學習者可按達到真實知識所必要之次數重新接受評鑒。此得出幫助個人貫穿評鑒程序理解且量測其改良之多個知識分佈。

在一實施例中，當個人重新接受評鑒時，問題經隨機化，使得個人不會按與先前評鑒相同的次序看到相同的問題。在存在問題之某一集合以涵蓋科目領域之資料庫中開發問題。為了提供材料之真實知識獲取及測試，每次呈現某一數目個問題，而非全組問題。此允許個人隨著時間過去而發展及改良其對材料之理解。

ampUnit(問題)對學習者之顯示

在以上論述之先前技術實施例中，將全部問題向使用者顯示(一次性顯示列表中之所有問題)，且使用者亦回答全部問題。在此處描述之另一實施例中，一次一個地顯示該等問題。根據另外實施例，藉由向使用者顯示問題之方式的總體隨機化來增強學習。寬泛言之，問題之選定分群允許系統更好地使學習環境適應一特定情景。如上所闡明，在一些實施例中，問題及問題之群組分別被稱作ampUnit及ampModule。在一實施例中，作者可組態是否將ampUnit「串結(chunk)」或是另外分群，使得在給定ampModule中的全部ampUnit中之僅一部分在任一給定學習輪次中呈現。亦可在每一學習輪次或反覆中按隨機化之次序將ampUnit呈現給使用者。學習系統之作者可選擇在每一學習輪次期間始終按隨機次序顯示給定ampUnit內之答案。可將問題呈現之隨機化併入至學習環境之學習及評鑒兩個部分內。

此處之態樣將使用加權系統來基於先前回答ampUnit之方式判定在任一給定輪次中顯示一問題之機率。在一實施例中，存在在一特定問題在先前輪次中不正確地回答的情況下將顯示該問題之較高機率。圖6A至圖6C說明根據本發明之態樣的輪次選擇演算法及程序流程。

繼續參看圖6A至圖6C，展示演算法流程1000，一般而言，該演算法流程1000描述根據在一特定學習輪次期間之問題選擇而利用的邏輯之一實施例。步驟1002-1052中之每一者之描述包括於流程圖內，且在流程圖內之各決策節點處說明該等邏輯步驟以展示程序流程。

計分及測試評估演算法

關於知識評鑒及測試系統之實施的態樣調用各種新穎演算法對特定測試環境進行評估及計分。圖7A至圖7D說明說明用於知識評鑒及學習之四個「目標狀態」方案的演算法流程圖。圖7A展示一初始評鑒方案，圖7B展示一直接計分方案，圖7C展示「一次正確」熟練方案，圖7D展示「兩次正確」掌握方案。此等目標狀態中之每一者由系統之作者或管理員判定為學習者在一特定測試作業階段中的適當目標。在圖7A至圖7D中，使用以下命名法描述對一問題之任一特定回應：CC=信賴且正確，DC=懷疑且正確，NS=不確定，DI=懷疑且不正確，CI=信賴且不正確。

首先參看圖7A，顯示評鑒演算法300，其中在302處將一初始看不見的問題(UNS)呈現給學習者。取決於來自學習者之回應，進行關於彼學習者針對彼特定問題之知識等級之評鑒。若學習者信賴且正確(CC)地回答問題，則在304處將知識狀態視為「熟練」。若使用者懷疑但正確地回答，則在306處將知識狀態視為「受教」。若使用者回答其不確定，則在308處將知識狀態視為「不確定」。若使用者懷疑且不正確地回答，則在310處將知識狀態視為「未受教(uninformed)」。最後，若學習者信賴且不正確地回答，則在312處將知識狀態視為「誤教」。

參看圖7B，展示直接計分演算法。直接計分演算法400之左部分類似於評鑒演算法300，其中初始回應類別映射至對應的評鑒狀態名稱。首先參看圖7B，顯示評鑒狀態演算法400，其中在402處將一初始看不見的問題(UNS)呈現給學習者。取決於來自學習者之回應，進行關於彼學習者針對彼特定問題之知識等級狀態之評鑒。若學習者信賴且正確(CC)地回答問題，則在404處將知識狀態視為「熟練」。若學習者懷疑但正確地回答，則在406處將知識狀態視為「受教」。若學習者回答其不確定，則在408處將知識狀態視為「不確定」。若學習者懷疑且不正確地回答，則在410處將知識狀態視為「未受教」。最後，若學習者信賴且不正確地回答，則在412處將知識狀態視為「誤教」。在圖7B中描述之演算法中，當針對一特定問題兩次給出同一回應時，評鑒狀態名稱不改變，且判定學習者具有針對彼特定問題之相同知識等級。

參看圖7C，展示一次正確熟練演算法。在圖7C中，學習者之知識的評鑒由隨後對同一問題之答案判定。如在圖7A及圖7B中，在502處提出一初始問題，且基於對彼問題之回應，學習者之知識狀態被視為「熟練」(在504處)、「受教」(在506處)、「不確定」(在508處)、「未受教」(在510處)或「誤教」(在512處)。在圖7C中的對每一特定回應之圖例類似於在先前演算法程序中且如在圖7A中標註之圖例。基於第一回應歸類，學習者對彼同一問題之隨後答案將根據在圖7C中揭示之演算法而改變學習者之知識等級狀態。舉例而言，參照信賴且正確(CC)且因此在步驟504處被歸類為「熟練」之初始問題回應，若使用者隨後信賴且不正確地回答彼同一問題，則彼使用者對彼特定問題之知識之評鑒狀態自504處之熟練變為在520處之未受教。遵循在圖7C中闡明之方案，若彼學習者將「不確定」地回答，則評鑒狀態將在518處被歸類為「不確定」。評鑒狀態之改變起因於對同一問題之變化之答案。圖7C詳述了在對一特定問題之各種答案集合下可能之各種評鑒狀態路徑。作為在圖7C中展示之另一實例，若學習者首先在512處回答「誤教」且接著隨後回答「信賴且正確」，則所得評鑒狀態將移動至在516處之「受教」。因為圖7C規劃「熟練」測試演算法，所以不可能獲得「掌握」狀態524。

參看圖7D，展示兩次正確掌握演算法600。類似於圖7C，演算法600展示起源於對同一問題之多個答案的知識評鑒之程序。如在先前圖中，在602處提出一初始問題，且基於對彼問題之回應，學習者之知識狀態被視為「熟練」(在604處)、「受教」(在606處)、「不確定」(在608處)、「未受教」(在610處)或「誤教」(在612處)。在圖7D中的對每一特定回應之圖例類似於在先前演算法程序中且如在圖7A中標註之圖例。基於第一回應歸類，學習者對彼同一問題之隨後答案將根據在圖7D中揭示之演算法而改變學習者之知識等級狀態。在圖7D之情況下，在點630及632處包括知識評鑒之額外「掌握」狀態，且可基於在圖7D之流程中展示的各種問題及答案情景獲得知識評鑒之額外「掌握」狀態。作為一實例，在602處將一問題呈現給學習者。若「信賴且正確」地回答了彼問題，則在604處將評鑒狀態視為「熟練」。若隨後第二次「信賴且正確」地回答了彼同一問題，則評鑒狀態移至在632處之「掌握」。在此實例中，藉由連續兩次「信賴且正確」地回答，系統認識到學習者已掌握了一特定事實。若學習者首先「懷疑且正確」地回答在602處呈現之問題且因此在606處將評鑒狀態歸類為「受教」，則為了達成「掌握」，其將需要在此之後再次連續兩次「信賴且正確」地回答該問題以便具有歸類為「掌握」之評鑒狀態。圖7D詳述了在對一特定問題之各種答案集合下可能之各種評鑒路徑。

在圖7D之實例中，存在至「掌握」知識狀態之若干可能路徑，但在此等路徑中之每一者中，需要連續兩次正確且信賴地回答一特定ampUnit。在一情景下，若學習者已處於對一特定問題的掌握狀態下且接著不同於「信賴且正確」地回答彼問題，則取決於給出之特定答案，知識狀態將降級至其他狀態中之一者。取決於對任一給定問題之學習者回應，至掌握之多個路徑為每一使用者建立一可適性、個人化之評鑒及學習體驗。

在以上論述的實施例中之每一者中，實施執行下列一般步驟之演算法： 1)識別如由作者定義之目標狀態組態，2)使用同一分類結構相對於目標狀態將在每一學習輪次中針對每一問題之學習者進程分類，及3)取決於對在彼ampUnit中之問題的最後回應之分類，在下一個學習輪次中顯示一ampUnit。

此等演算法之操作的更多細節及實施例如下：目標狀態組態之識別：給定知識評鑒之作者可定義系統內之各種目標狀態以便達到訂製知識分佈且判定是否將一特定ampUnit(例如，問題)視為完成。以下為由以上且結合圖7A至圖7D描述之演算法流程圖體現的此等目標狀態之額外實例：

a. 1次正確(熟練)-學習者必須「信賴且正確」地回答一次才可將ampUnit視為完成。若學習者「信賴且不正確」或「部分確定且不正確」地回答，則學習者必須信賴且正確地回答2次才可將ampUnit視為完成。

b. 2次正確(掌握)-學習者必須「信賴且正確」地回答兩次才可將ampUnit視為完成。若學習者「信賴且不正確」或「部分確定且不正確」地回答，則學習者必須「信賴且正確」地回答3次才可將ampUnit視為完成。作為管理員或測試作者偏好，一旦在以上情景中之每一者下將ampUnit標註為「完成」，則可自進一步的測試輪次將其移除。

對學習者進程分類：系統之某些態樣經調適以使用如本文中描述之類似分類結構相對於目標狀態(以上描述)將在每一學習輪次中學習者針對每一問題之進程分類，例如「信賴且正確」、「信賴且不正確」、「懷疑且正確」、「懷疑且不正確」及「不確定」。

ampUnit之隨後顯示：在下一個學習輪次中的ampUnit之顯示取決於相對於目標狀態對在彼ampUnit中之問題的最後回應之分類。舉例而言，「信賴且不正確」回應具有將在下一個學習輪次中顯示其之最高可能性。

用文件記錄知識分佈-在另一實施例中，用文件記錄之知識分佈係基於下列數條資訊中之一或多者。1)如由評鑒之作者設定的經組態之測試目標狀態(例如，掌握對熟練)；2)在每一學習輪次中或在一給定評鑒內的學習者之評鑒結果；及3)藉由正實施之特定演算法對學習者之回應計分的方式。視需要，可使知識分佈可用於學習者及其他使用者。再次，此功能為可由系統之評鑒作者或其他管理員選擇性實施之事物。圖8說明可作為評鑒由使用者完成之結果而產生的所顯示之知識分佈之若干實例。在一些實施例中，利用單獨演算法產生知識分佈，且單獨演算法可基於以上描述之特徵或基於由回應之類別分開的回應百分比之簡單列表。在圖8中，圖表702及704說明可遞送至學習者的總體知識分佈，其展示關於每一學習類別進行的20個問題指派及進程之細目分類。可按在706、708、710及712中展示之形式給出對由學習者給出之任一特定問題之即刻回饋。

系統角色-在另外實施例中，除了以上敍述之系統角色 (受試者/終端使用者、內容開發者、管理員及服務桌)之外，亦設想到諸如學習者、作者、註冊員及分析員之角色。

功能步驟之實例

在一實施例中，在評鑒之執行中利用下列步驟。可按任一次序實現以下闡明的步驟中之一或多者：

a.作者計劃且開發ampUnit。

b.將ampUnit聚集至模組(ampModule)內。

c.將ampModule聚集至更高階容器內。此等容器可視情況歸類為課程或計畫。

d.測試開發之課程以確保適當功能性。

e.發佈教程且使其可用。

f.使一或多個學習者加入教程中。

g.學習者參加如在教程中找到之評鑒及/或學習。

h.學習可經串結或以其他方式分群，使得在一給定模組中，學習者將體驗到每一學習輪次之評鑒及學習兩個階段。

i.針對每一輪學習反覆地針對每一學習者開發及顯示個人化或以其他方式為可適性的知識分佈，基於ampModule之組態及彼組態修改基礎演算法之方式按個人化、可適性方式使在每一輪學習中提供的問題及相關聯之矯正可用。

j.在評鑒階段期間，在模組完成後向學習者展示熟練或掌握得分。

k.在學習階段期間，在提交每一答案時，將立即的回饋給出至學習者。

l.給出關於在一輪次內每一輪評鑒完成後之知識品質(分類)的回饋。

m.給出關於在迄今完成之所有輪次上之知識品質(分類)及朝向任一給定ampModule中之熟練或掌握之進程的回饋。

n.接著取決於學習者回答與每一ampUnit相關聯之問題，每輪學習每個ampModule向其呈現一組可適性、個人化之ampUnit。系統之可適性質由電腦實施之演算法控制，該電腦實施之演算法基於在先前學習輪次中學習者對彼等ampUnit之回應判定學習者將看到ampUnit之頻率。此同一知識分佈經攫取於資料庫中，且稍後複製至報告資料庫。

根據另一態樣，可自知識分佈資料產生報告，用於按變化之模態向學習者或講師顯示。學習者可著手檢閱已完成的任何模組，且可著手補習已完成的任何模組。可組態系統，藉此學習者可接收用文件記錄與如由作者確立之彼模組相關聯的目標之達成之憑證。圖9至圖13說明可用以在一特定指派或一群特定指派中通報進程之各種例示性報告。圖9展示經由學習模組對個別學生至掌握點之追蹤。圖10展示個人(群組)的跨校園之單一問題至掌握點之追蹤。圖11展示跨特定核心適任能力對單一班級之追蹤。圖12展示按章節細分的線上學習指引之總結。圖13展示按模組指派對單一班級或群組之追蹤。

硬體及機器實施。如上所述，本文中描述之系統可實施於多種獨立或網路化之架構中，包括使用各種資料庫及使用者介面結構。本文中描述之電腦結構可用於評鑒及學習材料之開發及遞送兩者，且可在包括獨立系統、分散式(經由全球資訊網或網際網路)網路的多種模態下起作用。此外，其他實施例包括使用多個計算平台及電腦裝置。

分層系統架構-在一實施例中，系統使用三層架構(由一使用者介面層、一呈現層及一資料庫層組成)，其中之每一者經由庫繫結在一起。圖14說明可根據本發明之一態樣實施的系統架構程式750。網路應用架構750為可用以實施根據本發明建構的裝置及系統之各種機器導向式態樣之一結構實施例。架構750由三個一般層(一呈現層、一商務邏輯層及一資料抽象且持續層)組成。如圖14中所示，用戶端工作站752執行瀏覽器754或其他使用者介面應用程式(自身包括一用戶端側呈現層756)。用戶端工作站752連接至應用伺服器758，應用伺服器758包括一伺服器側呈現層760、一商務層762及一資料層764。應用伺服器758連接至包括資料庫768之資料庫伺服器766。

圖15說明呈電腦系統900之形式的機器之一實施例之圖解表示，可在電腦系統900內執行用於使一裝置執行本發明之態樣及/或方法中之任何一或多者的一組指令。電腦系統900包括經由匯流排915彼此通信且與其他組件通信之處理器905及記憶體910。匯流排915可包括使用多種匯流排架構中之任一者的若干個類型之匯流排結構中的任一者，包括(但不限於)記憶體匯流排、記憶體控制器、周邊匯流排、區域匯流排，及其任一組合。

記憶體910可包括各種組件(例如，機器可讀媒體)，包括(但不限於)隨機存取記憶體組件(例如，靜態RAM「SRAM」、動態RAM「DRAM」等)、唯讀組件，及其任何組合。在一實例中，包括幫助在電腦系統900內之元件之間傳送資訊(諸如，在起動期間)之基本常式的基本輸入/輸出系統920(BIOS)可儲存於記憶體910中。記憶體910亦可包括(例如，儲存於一或多個機器可讀媒體上)體現本發明之態樣及/或方法中之任何一或多者的指令(例如，軟體)925。在另一實例中，記憶體910可進一步包括任何數目個程式模組，包括(但不限於)作業系統、一或多個應用程式、其他程式模組、程式資料，及其任何組合。

電腦系統900亦可包括一儲存裝置930。儲存裝置(例如，儲存裝置930)之實例包括(但不限於)用於自硬碟讀取及/或寫入至硬碟之硬碟機、用於自可移除式磁碟讀取及/或寫入至可移除式磁碟之磁碟機、用於自光學媒體(例如，CD、DVD等)讀取及/或寫入至光學媒體之光碟機、固態記憶體裝置，及其任何組合。儲存裝置930可藉由一適當介面(未圖示)連接至匯流排915。實例介面包括(但不限於)SCSI、進階附接技術(ATA)、串列ATA、通用串列匯流排(USB)、IEEE 1394(FIREWIRE)，及其任何組合。在一實例中，儲存裝置930可與電腦系統900可移除地介面連接 (例如，經由一外部埠連接器(未圖示))。特定言之，儲存裝置930及相關聯之機器可讀媒體935可提供用於電腦系統900的機器可讀指令、資料結構、程式模組及/或其他資料之非揮發性及/或揮發性儲存。在一實例中，軟體925可完全或部分設置於機器可讀媒體935內。在另一實例中，軟體925可完全或部分設置於處理器905內。電腦系統900亦可包括一輸入裝置940。在一實例中，電腦系統900之使用者可經由輸入裝置940將命令及/或其他資訊鍵入至電腦系統900內。輸入裝置940之實例包括(但不限於)文數字輸入裝置(例如，鍵盤)、指標裝置、操縱桿、遊戲板、音訊輸入裝置(例如，麥克風、語音回應系統等)、游標控制裝置(例如，滑鼠)、觸控板、光學掃描儀、視訊攫取裝置(例如，靜態相機、視訊攝影機)、觸控式螢幕，及其任何組合。輸入裝置940可經由多種介面(未圖示)中之任一者介面連接至匯流排915，該等介面包括(但不限於)串列介面、並列介面、遊戲埠、USB介面、FIREWIRE介面、至匯流排915之直接介面，及其任何組合。

使用者亦可經由儲存裝置930(例如，可移除式磁碟驅動器、隨身碟等)及/或網路介面裝置945將命令及/或其他資訊輸入至電腦系統900。網路介面裝置(諸如，網路介面裝置945)可用於將電腦系統900連接至多種網路中之一或多者(諸如，網路950)及連接至其之一或多個遠端裝置955。網路介面裝置之實例包括(但不限於)網路介面卡、數據機，及其任何組合。網路或網路區段之實例包括(但不限於)廣域網路(例如，網際網路、企業網路)、區域網路(例如，與辦公室、建築物、校園或其他相對小的地理空間相關聯之網路)、電話網路、兩個計算裝置之間的直接連接，及其任何組合。諸如網路950之網路可使用有線及/或無線通信模式。一般而言，可使用任一網路拓撲。可經由網路介面裝置945將資訊(例如，資料、軟體925等)傳達至電腦系統900及/或自電腦系統900傳達資訊。

電腦系統900可進一步包括一視訊顯示配接器960，用於將可顯示影像傳達至顯示裝置(諸如，顯示裝置965)。顯示裝置可用以顯示與可歸因於消費者之污染影響及/或污染抵消有關的任何數目個及/或多種指示符，如上所論述。顯示裝置之實例包括(但不限於)液晶顯示器(LCD)、陰極射線管(CRT)、電漿顯示器，及其任何組合。除了顯示裝置之外，電腦系統900亦可包括一或多個其他周邊輸出裝置，包括(但不限於)音訊揚聲器、印表機，及其任何組合。此等周邊輸出裝置可經由周邊介面970連接至匯流排915。周邊介面之實例包括(但不限於)串列埠、USB連接、FIREWIRE連接、並列連接，及其任何組合。在一實例中，音訊裝置可提供與電腦系統900之資料有關的音訊(例如，表示與可歸因於消費者之污染影響及/或污染抵消有關的指示符之資料)。

若需要，可包括一數位轉換器(未圖示)及一伴隨之手寫筆，以便以數位方式攫取徒手輸入。筆數位轉換器可分開來組態或與顯示裝置965之顯示區共同延伸。因此，數位轉換器可與顯示裝置965整合，或可作為覆疊或以其他方式附加至顯示裝置965之單獨裝置存在。顯示裝置亦可按具有或不具有觸控式螢幕能力之輸入板裝置的形式體現。

串結之學習-根據另一態樣，評鑒之作者可組態ampUnit是否串結或以其他方式分群，使得在任一給定學習輪次中僅呈現給定模組中的全部ampUnit之一部分。所有「串結」或分群由作者在模組組態步驟中判定。在此實施例中，亦存在基於「已完成」之指派定義移除已完成之ampUnit的選項。舉例而言，取決於由作者或管理員指派之目標設定，已完成可在一次正確與兩次正確之間有所不同。

ampUnit結構-將如本文中描述之ampUnit設計為「可再用學習物件」，其表現下列總體特性中之一或多者：適任能力敍述(學習結果敍述或學習目標)；達成彼適任能力需要之學習；及驗證彼適任能力之達成的評鑒。ampUnit之基本組分包括：介紹；問題、答案(1正確，2不正確)、解釋(需要知曉資訊)；「擴展您的知識」之選項(知曉資訊的好處)、後設資料(經由後設資料，作者具有使適任能力與可歸因於每一ampUnit之評鑒及學習有聯繫之能力，其對下游分析具有顯著益處)；及作者註釋。可使用內容管理系統(「CMS」)在學習模組(ampModule)之開發中按當前或修訂之形式迅速再使用此等學習物件(ampUnit)。

ampModule結構-ampModule充當用於如遞送至使用者或學習者之ampUnit的「容器」，且因此為將呈現給學習者或學習者將另外體驗的教程之最小可用之組織單位。如上指出，每一ampModule較佳含有一或多個ampUnit。在一實施例中，根據演算法組態的為ampModule。可如下組態ampModule：

a.目標狀態-此可設定為某一數目個正確答案，例如，一次正確或兩次正確等。

b.掌握之(已完成)問題之移除-一旦學習者已達到特定問題之目標狀態，則該問題可自ampModule移除且不再呈現給該學習者。

c. ampUnit之顯示-作者或管理員可設定是否在每一輪提問中顯示ampUnit之整個清單或是否在每一輪次中僅顯示部分清單。

d.完成得分-作者或管理員可設定將學習者視為已完成該輪學習(例如，藉由達成一特定得分)之分數。

e.讀取/寫入權限-此等權限可由設計ampUnit之作者或其他設計群組設定。

教程結構-在某些實施例中，作者或管理員能夠控制將教程遞送至學習者之方式的結構。舉例而言，計畫、課程及模組可重命名或以其他方式修改及重新結構化。此外，ampModule可經組態以作為獨立評鑒(總結性評鑒)或作為併有系統之評鑒及學習兩個能力之學習模組向學習者顯示。

學習者顯示板

作為本文中描述的系統之一組件，提供一學習者顯示板，其顯示及組織用於使用者存取及檢閱的資訊之各種態樣。舉例而言，使用者顯示板可包括下列各者中之一或多者：我的指派頁面-在一實施例中，此包括具有下列狀態中之一或多者的當前指派之一清單：開始指派、繼續指派、檢閱、開始補習、繼續補習、執行檢閱。在指派頁面中亦包括計畫、課程及模組資訊，包括關於當前計畫之態樣的一般資訊。指派頁面亦可包括前及後必要清單，諸如，為了完成特定指派或培訓計畫可能需要接受之其他課程。補習課程將經由不同演算法僅呈現一群選定ampUnit，該群選定ampUnit聚焦於學習者需要花更多時間之ampUnit。檢閱模組將展示特定學習者對於給定評鑒或學習模組之進程軌跡(針對先前接受之評鑒或學習模組的歷史觀點)。

學習頁面-此可包括在學習階段期間顯示之進程顯示板(包括表格及圖形資料)。學習頁面亦可包括學習者之按分類別百分比回應、任一先前學習輪次之結果及跨已完成之所有輪次的結果。

評鑒頁面-此頁面可包括在評鑒後顯示之進程顯示板(包括表格及圖形資料)。

報告及時間量測-在各種實施例中支援報告的角色。在某些實施例中，報告功能具有其自己專用的使用者介面或顯示板以基於在系統內可用之模板建立多種報告。訂製報告模板可由管理員建立且使其可用於任一特定學習環境。其他實施例包括攫取學習者或各學習者回答每一ampUnit 及回答給定ampModule中之所有ampUnit需要之時間量之能力。亦攫取用於花在檢閱答案之時間量。見圖13。自報告產生之型樣可經歸納，且可自報告功能中之趨勢搜集額外資訊。見圖9至圖13。報告功能允許管理員或教師弄清楚在進一步教學中最佳將時間花於何處。

內容上載之自動化-根據其他態樣，本文中描述之系統可經調適以利用添加ampUnit或ampModule之各種自動化方法。可在學習系統中實施程式碼以讀取、剖析資料及將資料寫入至適當資料庫內。學習系統亦可致能將指令碼用於使自先前格式化之資料(例如，自csv或xml)至學習系統內之上載自動化。此外，訂製的富含文字格式的模板可用以攫取學習資料及將學習資料直接上載至系統內，且保留格式化及結構。

較佳地，學習系統支援在大多數電腦應用中使用的各種標準類型之使用者互動，例如，出現在右滑鼠按鍵上之與情境有關之選單等。該系統亦較佳具有諸如拖放能力以及搜尋及替換能力之若干額外特徵。

資料安全性-本發明之態樣及各種實施例使用標準資訊技術安全性實務來保護專屬、個人及/或其他類型之敏感資訊。此等實務包括(部分)應用安全性、伺服器安全性、資料中心安全性及資料分離。舉例而言，針對應用安全性，需要每一使用者建立且管理存取其帳戶之密碼；使用http使應用安全；所有管理員密碼可重複地改變，且密碼必須符合強效密碼最小要求。舉例而言，針對伺服器安全性，每三個月用符合強效密碼最小要求之新的隨機密碼改變所有管理員密碼，且使用加密之密碼檔案管理管理員密碼。針對資料分離，本發明及其各種實施例使用多租戶共用模式，其中使用域ID邏輯分開資料，個別登入帳戶屬於一個且僅一個域(包括知識因素管理員)，對資料庫之所有外部存取係經由該應用程式，且嚴格地測試應用程式詢問。

切換項

根據本發明之態樣建構的學習系統在其實施中使用各種「切換項」，以便允許作者或其他管理角色「上撥」或「下撥」學習者必須展現以完成模組之掌握。與此等切換項相關聯之功能性係基於在實驗心理學方面之相關研究。以下詳細敍述併入至本文中描述之學習系統內的各種切換項。每一切換項之實施將取決於本發明之特定實施例及部署組態而變化。

重複-演算法驅動之重複切換項用以致能對學習者的反覆提問輪次，以便達成掌握。在經典意義上，重複經由反覆輪次之故意且高度可組態之學習遞送來增強記憶。重複切換項使用格式性評鑒技術，且在一些實施例中與不具有迫選答案的問題之使用組合。本發明及各種實施例中之重複可藉由實行或不實行至終端使用者之評鑒及學習材料之重複、彼重複之頻率及每一重複內的內容之串結程度來控制。

促發-將預先測試態樣用作系統中之基本測試方法。經由預先測試之促發給出知識記憶痕跡之某一態樣，接著經由重複學習，來鞏固該等記憶痕跡。使用本發明之態樣的學習形成某一有關主題之記憶痕跡，且接著鞏固彼路徑且建立用於使頭腦攫取特定知識之額外路徑。在本發明及其各種實施例中，可按許多方式控制促發切換項，諸如，經由使用正式預先評鑒，以及在學習期間之格式性評鑒之標準使用。

回饋-回饋迴路切換項包括在提交答案時的立即回饋及在該輪次之學習部分中的詳細回饋兩者。關於學習者將問題答對或是答錯的至其之立即反映對如在學習後評鑒上展現之成績具有顯著影響。可按許多方式來控制本發明及各種實施例中之回饋切換項，諸如，經由使用結合標準學習(其中標準學習方法併有格式性評鑒)的總結性評鑒，或在每一ampUnit中提供之回饋範圍(例如，提供對正確及不正確答案兩者之解釋對僅提供對正確答案之解釋)。

情境-情境切換項允許作者或其他管理角色移除對特定問題不重要之影像或其他資訊。本發明及各種實施例中之情境切換項使作者或管理員能夠使學習及研習環境儘可能緊密地反映實際測試環境。舉例而言，影像及其他圖形態樣可包括於較早的學習輪次中，但接著經移除以模擬將不包括彼等相同影像參考之測試或實際工作環境。影像或其他媒體可置放於介紹中或問題自身中，且可在學習階段期間選擇性或作為溫習之部分日常性地部署。實務上，若學習者將需要在無視覺輔助之幫助的情況下回憶資訊，則學習系統可經調適以將問題呈現給學習者，而無在學習程序之稍後階段的視覺輔助。若需要一些核心知識開始掌握程序，則可在學習程序之早期階段使用影像。此處之原理為在某一時間段上使學習者不依賴影像或其他支援性但非關鍵的評鑒及/或學習材料。在情境切換項之又一單獨但有關之組態中，作者可判定在特定ampUnit或ampModule中需要多少百分比的基於情景之學習。

深思-此切換項具有各種組態選項。舉例而言，深思切換項允許作者在跨多個地點及格式之單一回應中提供知識及確定性兩者之同時評鑒。深思可由一初始問題、一基本類型問題、一基於情景之問題及一基於模擬之問題組成。此切換項提供正確答案(辨認答案類型)及信賴程度之同時選擇。其亦提供正確及不正確答案兩者之解釋之檢閱。此可由基於文字之答案、媒體增強型答案或模擬增強型答案提供。深思提供支援核心知識之額外知識，且亦提供用於學習之鞏固的簡單重複。此切換項亦可經組態至一次正確(熟練)或兩次正確(掌握)學習等級。實務上，當前正測試之資訊與學習者可能已知曉或已經測試之其他資訊相關聯。當思考您已知曉之事物時，您可聯想到此種學習以深思及放大您正試圖學習之該條資訊。

間距-根據本發明之態樣及各種實施例的間距切換項利用內容至較小大小之片段的手動串結，較小大小之片段允許支援長期記憶之生物程序發生(例如，蛋白質合成)以及增強之編碼及儲存。此突觸加強依賴於在測試之間的某一量之休停，且允許發生記憶之加強。在本發明之各種實施例中，可按多個方式組態間距切換項，諸如，設定每輪次ampUnit之數目及/或每模組ampUnit之數目。

確定性-確定性切換項允許在單一回應中同時評鑒知識及確定性兩者。此類型之評鑒對於學習者之知識分佈及總體學習階段之適當評估係重要的。根據本發明之態樣及各種實施例的確定性切換項可藉由一次正確(熟練)或兩次正確(掌握)之組態來格式化。

專注-根據本發明之態樣及各種實施例的專注切換項需要學習者提供其知識之確定性之判定(亦即，需要學習者之情緒及關係判斷兩者)。結果，學習者之專注提高了。亦可使用串結來更改學習者需要之專注度。舉例而言，ampUnit之串結(每個ampModule的ampUnit之數目，及每輪顯示的ampUnit之數目)使學習者之專注聚焦於達成特定科目之掌握所需要的核心適任能力及相關聯之學習。

動機-根據本發明之態樣及各種實施例的動機切換項致能學習者介面，該學習者介面提供關於在任一給定模組、課程或計畫內學習者在一或多個學習輪次內之進程之清晰引導。在各種實施例中之切換項可向各學習者顯示定性(分類)或定量(計分)進程結果。

註冊

本發明之態樣及各種實施例包括內建式註冊能力，藉此可添加使用者帳戶或自系統刪除使用者帳戶，可將使用者置於「作用中」或「非作用中」狀態下，且可將使用者 (經由使用者帳戶)指派至系統中之各種評鑒及學習計畫。

學習管理系統整合

本發明之態樣及各種實施例具有作為獨立應用程式操作之能力，或可在技術上與第三方學習管理系統(「LMS」)整合，使得具有在LMS中管理之各種評鑒及學習指派的學習者可藉由單一簽名能力或在無單一簽名能力之情況下在系統內發起及參與評鑒及/或學習。經由諸如航空工業CBT委員會(AICC)互通性標準、http post、網路服務及其他此等標準技術整合方法的多種行業標準實務致能技術整合。

快閃記憶卡

簡單的快閃記憶卡狀介面在該系統之一些實施例中用以清晰地識別及向學習者呈現由學習者選擇之答案、正確答案及對正確答案及(視情況)不正確答案之高階及/或詳細解釋。此外，彼同一快閃記憶卡介面可用以針對彼特定學習結果或適任能力為學習者呈現額外學習機會。

角色替身

在該系統之各種實施例中，顯示具有簡明文字訊息的角色替身以按需要對學習者提供導引。訊息之性質(且當顯示角色替身時或在顯示角色替身之情況下)可由系統之管理員組態。推薦使用角色替身來對使用者提供醒目的導引。舉例而言，角色替身可用以提供關於自學習者方面看來以上描述之切換項影響學習之方式的導引。在本發明中，角色替身僅對學習者而非作者或系統中之其他管理角色顯示。

ampUnit庫之結構及指派

圖16說明根據本發明之態樣建構的ampUnit庫之總體結構。在一實施例中，ampUnit庫800包含一後設資料組分800a、一評鑒組分800b及一學習組分800c。後設資料組分800a被分成與作者想要與每一ampUnit相關聯的可組態項(諸如，適任能力、主題及副主題)有關之部分。除了後設資料組分之外，評鑒組分800b亦被分成與介紹、問題、正確答案及錯誤答案有關之部分。學習組分800c進一步被分成解釋部分及一擴展您的知識部分。

亦包括ampModule庫820，其含有用於操作性演算法之組態選項以及關於Bloom等級、應用程式、行為及額外適任能力之資訊。管理員或作者可按以下方式利用此等結構。首先，在802處建立ampUnit，在804處建置ampUnit之關鍵要素，在806處將內容及媒體組譯至ampUnit內。一旦建立了ampUnit庫800，則在808處藉由判定待包括於ampModule中之適當ampUnit來建立ampModule 820。在建立了ampModule後，在810處發佈學習指派。

行業應用

1.認證

基於信賴度之評鑒可用作基於信賴度之認證工具，作為預先測試實務評鑒及學習工具。在此情況下或在預先測試評鑒中，基於信賴度之認證程序將不提供任何矯正，而僅提供得分及/或知識分佈。基於信賴度之評鑒將指示在正呈現的任何認證材料中，個人是否具有任何信賴地持有之誤教。此將亦對認證主體提供禁止誤教存在於一給定科目領域內之認證的選項。由於CBA方法比當前一維測試精確，因此基於信賴度之認證增加了認證測試之可靠性及認證裁決之有效性。在將系統用作學習工具之情況下，可在系統中對學習者提供完全格式性評鑒寬度及學習表現以輔助學習者識別特定技能差距且矯正性地填充彼等差距。

2.基於情景之學習

基於信賴度之評鑒可適用於可適性學習方法，其中一個答案產生關於信賴度及知識之兩個量度。在可適性學習中，使用視訊或情景描述一情形幫助個人完成支援個人之學習及理解的做決策程序。在此等基於情景之學習模型中，個人可重複該程序許多次以對其將處置一給定情形之方式變得熟悉。對於情景或模擬，CBA及CBL藉由判定個人在其決策程序中之信賴性來添加新的維數。使用基於情景之學習方法的基於信賴度之評鑒之使用使個人能夠識別其未受教之處及在其成績及行為中有懷疑之處。重複基於情景之學習直至個人變得充分信賴增加了個人將藉由其培訓而迅速且一致地反應之可能性。CBA及CBL亦為「可適性的」，此係由於每一使用者基於其自己的學習天賦及先前知識與評鑒及學習互動，且學習將因此對每一使用者高度個人化。

3.調查

基於信賴度之評鑒可作為併有三個可能答案之選擇的基於信賴度之調查工具而應用，其中個人指示其對一主題之信賴度及關於一主題之選項。如先前，個人自七個選項選擇一答案回應以判定其對一給定主題之信賴度及理解或其對一特定觀點之理解。問題格式將與具有徵求理解及信賴度資訊兩者之產品或服務領域的屬性或比較分析有關。舉例而言，營銷公司可能會問「下列哪者為陳列新薯片產品之最佳位置？A)收款處；B)與其他零售產品一起；C)在過道盡頭處。」銷售人員不僅對消費者之選擇感興趣，且亦對消費者對該選擇之信賴或懷疑感興趣。添加信賴維數增加了個人對回答調查問題之參與度且給予銷售人員更豐富且更精確的調查結果。

根據本發明之另外態樣提供學習支援，其中基於學習者之可量化之需要(如在知識評鑒分佈中反映)或按如在本文中呈現之其他成績量測分配學習資源。因此，本發明之態樣提供用於根據學習者擁有的真實知識之廣博度分配學習資源之方式。與通常需要學習者當其未通過時重複全部課程之習知培訓相比，本文中揭示的本發明之態樣促進藉由引導學習、再培訓及再教育之需要將諸如學習材料、講師及學習時間之學習資源分配至科目被誤教或未受教之彼等實質性領域。

由系統實現的本發明之其他態樣對使用者提供或呈現「個人培訓計劃」頁面。該頁面顯示根據各種知識區域整理及分群之詢問。該等分群之詢問中之每一者超連結至正確答案及向學習者詢問之其他相關實質性資訊及/或學習材料。視情況，問題亦可超連結至線上資訊參考或場外設施。替代將時間浪費在檢閱涵蓋測試詢問之所有材料，學習者或使用者可僅必須集中於關於需要專注或再教育之彼等領域的材料。可易於藉由聚焦於誤教及部分受教之領域來識別及避免關鍵資訊錯誤。

為了實現此功能，評鑒分佈映射至資訊資料庫及/或實質性學習材料或與資訊資料庫及/或實質性學習材料有關，資訊資料庫及/或實質性學習材料儲存於系統8中或諸如在全球資訊網中之資源的系統外設施處。向學習者呈現該等連結以用於檢閱及/或再教育。

此外，本發明進一步提供測試詢問與制定該等測試問題所依據的感興趣之相關材料或事物之自動交叉參考。此能力有效且有效率地促進培訓及學習資源至真實需要額外培訓或再教育之彼等領域的部署。

另外，藉由本發明，可易於量測與再培訓及/或再教育相關聯之任何進程。在再培訓及/或再教育後，(基於先前成績結果)可藉由測試詢問之部分或全部對學習者重新測試，可自此形成第二知識分佈。

在所有前述應用中，本發明方法給出了知識及資訊之更準確的量測。個人獲悉猜測會被罰分，且承認懷疑及不知比假裝信賴要好。其將其注意力自參試策略及試圖使得分變大朝向其實際知識及信賴度之誠實的自我評鑒改變。此向受試者以及組織給出關於誤解、未知、懷疑及掌握之領域及程度的豐富回饋。現在已充分闡明了較佳實施例及本發明基礎概念之某些修改，在熟悉了基礎概念後，熟習此項技術者將明顯地瞭解各種其他實施例以及本文中展示及描述的實施例之某些變化及修改。因此，應理解，可與如在本文中所特定闡明者不同地來實踐本發明。

8‧‧‧系統

10‧‧‧分散式資訊參考測試及學習解決方案

12‧‧‧系統管理員

14‧‧‧使用者

16‧‧‧服務桌

18‧‧‧內容開發者

20-1‧‧‧受試者終端機

20-2‧‧‧受試者終端機

22-1‧‧‧受試者終端機

22-2‧‧‧受試者終端機

25-1‧‧‧管理員終端機

26-1‧‧‧管理員終端機

30-1‧‧‧區域伺服器

30-2‧‧‧區域伺服器

30-3‧‧‧教學軟體伺服器

50‧‧‧網際網路骨幹

60‧‧‧路由器

100‧‧‧邏輯區塊

102‧‧‧測試建置器模組

104‧‧‧顯示測試模組

106‧‧‧收集回應模組

108‧‧‧計分引擎或回應比較模組

110‧‧‧「準備學習者回饋」模組

112‧‧‧「準備管理回饋」模組

114‧‧‧「準備學習者回饋」模組

116‧‧‧管理回饋模組

202‧‧‧測試建置器頁面

204‧‧‧測試建立者

206‧‧‧建立者使用者資料庫DB

208‧‧‧建立者監督器

210‧‧‧測試DB

212‧‧‧計分程式模組

214‧‧‧測試頁面

217‧‧‧指派DB

218‧‧‧檢閱者監督器

222‧‧‧測試得分檢閱頁面

224‧‧‧檢閱者DB

226‧‧‧測試檢閱者

232‧‧‧原始得分

234‧‧‧對每一問題之解釋

235‧‧‧測試結果資料庫

236‧‧‧測試結果資料庫

237‧‧‧測試結果資料庫

300‧‧‧評鑒演算法

400‧‧‧直接計分演算法

600‧‧‧兩次正確掌握演算法

702‧‧‧圖表

704‧‧‧圖表

750‧‧‧系統架構程式

752‧‧‧用戶端工作站

754‧‧‧瀏覽器

756‧‧‧用戶端側呈現層

758‧‧‧應用伺服器

760‧‧‧伺服器側呈現層

762‧‧‧商務層

764‧‧‧資料層

766‧‧‧資料庫伺服器

768‧‧‧資料庫

800‧‧‧ampUnit庫

800a‧‧‧後設資料組分

800b‧‧‧評鑒組分

800c‧‧‧學習組分

820‧‧‧ampModule庫

900‧‧‧電腦系統

905‧‧‧處理器

910‧‧‧記憶體

915‧‧‧匯流排

920‧‧‧基本輸入/輸出系統

925‧‧‧指令

930‧‧‧儲存裝置

935‧‧‧機器可讀媒體

940‧‧‧輸入裝置

945‧‧‧網路介面裝置

950‧‧‧網路

955‧‧‧遠端裝置

960‧‧‧視訊顯示配接器

965‧‧‧顯示裝置

970‧‧‧周邊介面

1000‧‧‧演算法流程

圖1為展示根據本發明之態樣的知識及誤教測試及學習系統之各種參與者及互動之先前技術概念設計圖；圖2為支援本發明之態樣的方法及系統之一例示性電腦網路架構之先前技術透視圖；圖3為根據本發明之態樣的測試及報告結構之一實施例之先前技術邏輯方塊圖；圖4為展示根據本發明之態樣的用以提供整合之測試創作、管理、追蹤及報告及相關聯之資料庫之網路架構及軟體解決方案先前技術流程圖；圖5為說明根據本發明之態樣的具有七個回應選項之問答格式之螢幕列印圖；圖6說明根據本發明之態樣使用的可適性學習構架之一般綜述；圖6A至圖6C說明根據本發明之態樣使用的輪次選擇演算法；圖7A至圖7D說明根據本發明之態樣使用的處理演算法之實例，其概括對使用者回應計分之方式及彼等得分經由評鑒及矯正判定進步之方式；圖8說明由根據本發明之態樣建構的系統產生之知識分佈之實例；圖9至圖13說明由根據本發明之態樣建構的系統產生之各種報告能力；圖14說明結合本發明之態樣使用的三層應用系統架構；圖15說明可結合本發明之態樣使用的機器或其他結構實施例；及圖16說明可再用學習物件之結構、將彼等學習物件組織成模組之方式及發佈彼等模組以供顯示給學習者之方式。

Claims

一種用於知識評鑒之系統，其包含：一顯示裝置，其用於向一學習者顯示複數個多重選擇問題及二維答案；一應用伺服器，其經調適以經由一通信網路與該顯示裝置通信；一資料庫伺服器，其包含學習材料之一資料庫，其中該複數個多重選擇問題及二維答案儲存於該資料庫中用於對用戶端終端機之選定遞送，該系統執行以下一方法：經由該通信網路將該複數個多重選擇問題及其二維答案傳輸至該顯示裝置，該等答案包括由單一選擇答案組成之複數個完全信賴答案、由多個單一選擇答案之一或多個集合組成之複數個部分信賴答案，及一不確定答案；藉由經由該顯示裝置向該學習者呈現該複數個多重選擇問題及其該等二維答案來給予一評鑒，且經由該顯示裝置接收該學習者對該等多重選擇問題之選定答案，藉由該等選定答案，該學習者指示其實質性答案及其答案之信賴類別之等級；藉由指派以下知識狀態名稱來對該評鑒計分：回應於該學習者之一信賴且正確的答案之一熟練知識狀態；回應於該學習者之一懷疑且正確的答案之一受教知識狀態；回應於該學習者之一不確定答案之一不確定知識狀態；回應於該學習者之一懷疑且不正確的答案之一未受教知識狀態；及回應於該學習者之一信賴且不正確的答案之一誤教知識狀態；及在問題的群組間具有一定量的持續時間之休停的情況下，一或多次地重新給予來自該評鑒之一或多個問題，重新給予之次數係基於指派至該學習者之知識狀態；及在該重新給予期間，選擇該在問題的群組間之休停之該持續時間係基於該指派至該學習者之知識狀態，其中該在問題的群組間之休停之該持續時間經選擇足以允許發生突觸加強(synaptic consolidation)，且在將該熟練知識狀態指派給該學習者的情況下之該在問題的群組間之休停之該持續時間比在將該不確定知識狀態、該未受教知識狀態或該誤教知識狀態指派給該學習者的情況下還長。
如請求項1之系統，其進一步包含：指派下列名稱作為該重新給予之一結果：回應於在該學習者之一第一信賴且正確答案後的該學習者之一第二信賴且正確答案之一熟練知識狀態；回應於在該學習者之一信賴且正確答案後的該學習者之一懷疑且正確答案之一受教知識狀態；回應於在該學習者之一信賴且正確答案後的該學習者之一不確定答案之一不確定知識狀態；回應於在該學習者之一信賴且正確答案後的該學習者之一懷疑且不正確答案之一不確定知識狀態；及回應於在該學習者之一信賴且正確答案後的該學習者之一信賴且不正確答案之一未受教知識狀態。
如請求項1之系統，其進一步包含：指派下列名稱作為該重新給予之一結果：回應於在該學習者之一懷疑且正確答案後的該學習者之一信賴且正確答案之一熟練知識狀態；回應於在該學習者之一懷疑且正確答案後的該學習者之一懷疑且正確答案之一受教知識狀態；回應於在該學習者之一懷疑且正確答案後的該學習者之一不確定答案之一不確定知識狀態；回應於在該學習者之一懷疑且正確答案後的該學習者之一懷疑且不正確答案之一未受教知識狀態；及回應於在該學習者之一懷疑且正確答案後的該學習者之一信賴且不正確答案之一誤教知識狀態。
如請求項1之系統，其進一步包含：指派下列名稱作為該重新給予之一結果：回應於在該學習者之一不確定答案後的該學習者之一信賴且正確答案之一熟練知識狀態；回應於在該學習者之一不確定答案後的該學習者之一懷疑且正確答案之一受教知識狀態；回應於在該學習者之一不確定答案後的該學習者之一不確定答案之一不確定知識狀態；回應於在該學習者之一不確定答案後的該學習者之一懷疑且不正確答案之一未受教知識狀態；及回應於在該學習者之一不確定答案後的該學習者之一信賴且不正確答案之一誤教知識狀態。
如請求項1之系統，其進一步包含：指派下列名稱作為該重新給予之一結果：回應於在該學習者之一懷疑且不正確答案後的該學習者之一信賴且正確答案之一熟練知識狀態；回應於在該學習者之一懷疑且不正確答案後的該學習者之一懷疑且正確答案之一受教知識狀態；回應於在該學習者之一懷疑且不正確答案後的該學習者之一不確定答案之一不確定知識狀態；回應於在該學習者之一懷疑且不正確答案後的該學習者之一懷疑且不正確答案之一誤教知識狀態；及回應於在該學習者之一懷疑且不正確答案後的該學習者之一信賴且不正確答案之一誤教知識狀態。
如請求項1之系統，其進一步包含：指派下列名稱作為該重新給予之一結果：回應於在該學習者之一信賴且不正確答案後的該學習者之一信賴且正確答案之一受教知識狀態；回應於在該學習者之一信賴且不正確答案後的該學習者之一懷疑且正確答案之一不確定知識狀態；回應於在該學習者之一信賴且不正確答案後的該學習者之一不確定答案之一未受教知識狀態；回應於在該學習者之一信賴且不正確答案後的該學習者之一懷疑且不正確答案之一誤教知識狀態；及回應於在該學習者之一信賴且不正確答案後的該學習者之一信賴且不正確答案之一誤教知識狀態。
如請求項1之系統，其進一步包含：指派下列名稱作為該重新給予之一結果：回應於在該學習者之一第一信賴且正確答案後的該學習者之一第二信賴且正確答案之一掌握知識狀態；回應於在該學習者之一信賴且正確答案後的該學習者之一懷疑且正確答案之一受教知識狀態；回應於在該學習者之一信賴且正確答案後的該學習者之一不確定答案之一不確定知識狀態；回應於在該學習者之一信賴且正確答案後的該學習者之一懷疑且不正確答案之一不確定知識狀態；及回應於在該學習者之一信賴且正確答案後的該學習者之一信賴且不正確答案之一未受教知識狀態。
如請求項1之系統，其進一步包含自計分之該評鑑編譯一知識分佈，該知識分佈包含該學習者的掌握、熟練、受教、不確定、未受教及誤教答案之等級之一圖形說明。
如請求項8之系統，其進一步包含：藉由與向該學習者顯示該知識分佈相關聯並向受試者顯示該等多重選擇問題連同該學習者之答案、一正確答案、一解釋及對用於該等問題之有關學習材料之參考中的一或多者來鼓勵該學習者之矯正學習；藉由複數個不同多重選擇問題來重新給予該評鑒；自該等給予及重新給予之評鑒編譯一複合知識分佈且將其顯示給該受試者。
如請求項1之系統，其中在將該熟練知識狀態指派給該學習者的情況下之該在問題的群組間之休停比在將該未受教知識狀態指派給該學習者的情況下還長。
如請求項10之系統，其中一或多個視覺輔助包括於問題中，且其中隨著經指派知識狀態改善，一給定問題的每一連續重新評鑑包括較少或更少之該一或多個視覺輔助。
如請求項10之系統，其中該休停包括一學習階段。
如請求項12之系統，其中在該學習階段期間，在提交每一答案時，將立即的回饋給予該學習者。
如請求項13之系統，其中在一評鑑階段中之一模組完成後向該學習者展示一知識狀態分數。
如請求項1之系統，其中一或多個視覺輔助包括於問題中，且其中隨著經指派知識狀態改善，一給定問題的每一連續重新評鑑包括較少或更少之該一或多個視覺輔助。
一種知識評鑒方法，其包含：在一顯示裝置處向一學習者顯示複數個多重選擇問題及二維答案；起始在一應用伺服器與該顯示裝置之間經由一通信網路之一通信協定；存取一資料庫伺服器，該資料庫伺服器包含學習材料之一資料庫，其中該複數個多重選擇問題及二維答案儲存於該資料庫中用於對該顯示裝置之選定遞送，該知識評鑒方法包含：經由該通信網路將該複數個多重選擇問題及二維答案傳輸至該顯示裝置，該等答案包括由單一選擇答案組成之複數個完全信賴答案、由多個單一選擇答案之一或多個集合組成之複數個部分信賴答案，及一不確定答案；給予一評鑒，包含經由該顯示裝置向該學習者呈現該複數個多重選擇問題及該等二維答案，且經由該顯示裝置接收該學習者對該等多重選擇問題之選定答案，藉由該等選定答案，該學習者指示其實質性答案及其答案之信賴類別之等級；藉由指派以下名稱來對該評鑒計分：回應於該學習者之一信賴且正確的答案之一熟練知識狀態；回應於該學習者之一懷疑且正確的答案之一受教知識狀態；回應於該學習者之一不確定答案之一不確定知識狀態；回應於該學習者之一懷疑且不正確的答案之一未受教知識狀態；及回應於該學習者之一信賴且不正確的答案之一誤教知識狀態；及一或多次地重新給予來自該評鑒之一或多個問題，重新給予之次數係基於指派至該學習者之知識狀態，且其中在該重新給予期間，一在問題的群組間之具有一定量的持續時間之休停係基於該指派至該學習者之知識狀態，且其中該在問題的群組間之休停之該持續時間經選擇足以允許發生突觸加強，且在將該熟練知識狀態指派給該學習者的情況下之該在問題的群組間之休停之該持續時間係與在將該不確定知識狀態、該未受教知識狀態或該誤教知識狀態指派給該學習者的情況下不同。
一種知識評鑒方法，其包含：在一顯示裝置處向一學習者顯示複數個多重選擇問題及二維答案；存取一資料庫伺服器，該資料庫伺服器包含學習材料之一資料庫，其中該複數個多重選擇問題及二維答案儲存於該資料庫中用於對該顯示裝置之選定遞送，該知識評鑒方法包含：將該複數個多重選擇問題及二維答案傳輸至該顯示裝置，該等答案包括由單一選擇答案組成之複數個完全信賴答案、由多個單一選擇答案之一或多個集合組成之複數個部分信賴答案，及一不確定答案；藉由指派下列名稱對給予該學習者之一評鑒計分：回應於該學習者之一信賴且正確的答案之一第一知識狀態；回應於該學習者之一懷疑且正確的答案之一第二知識狀態；回應於該學習者之一不確定答案之一第三知識狀態；回應於該學習者之一懷疑且不正確的答案之一第四知識狀態；及回應於該學習者之一信賴且不正確的答案之一第五知識狀態；及一或多次地重新給予來自該評鑒之一或多個問題，重新給予之次數係基於指派至該學習者之知識狀態，且其中在該重新給予期間，一在問題的群組間之具有一定量的持續時間之休停係基於該指派至該學習者之知識狀態而提供，且其中該在問題的群組間之休停經選擇足以允許發生突觸加強，且在將該第一知識狀態指派給該學習者的情況下之該在問題的群組間之休停與在將該第三知識狀態、該第四知識狀態或該第五知識狀態指派給該學習者的情況下不同。
如請求項17之方法，其中該第一知識狀態為熟練。
如請求項17之方法，其中該第二知識狀態為受教。
如請求項17之方法，其中該第三知識狀態為不確定。
如請求項17之方法，其中該第四知識狀態為未受教。
如請求項17之方法，其中該第五知識狀態為誤教。