TW201528229A - 用於可適性知識評鑑及學習之系統及方法 - Google Patents

Abstract

本發明揭示一種用於知識評鑒及學習之服務導向式系統結構，其包含：一顯示裝置，其用於在一用戶端終端機處向一學習者顯示複數個多重選擇問題及二維答案；一管理伺服器，其經調適以管理該系統之一或多個使用者；一內容管理系統伺服器，其經調適以提供一介面用於該一或多個使用者建立及維護一學習資源庫；一學習系統伺服器，其包含學習材料之一資料庫，其中該複數個多重選擇問題及二維答案儲存於該資料庫中用於對該用戶端終端機之選定遞送；及一註冊及資料分析伺服器，其經調適以建立及維護關於該等學習者之註冊資訊。

Description

用於可適性知識評鑑及學習之系統及方法

本發明之態樣係關於知識評鑒及學習，且係關於基於微處理器及網路化之測試及學習系統。本發明之態樣亦係關於知識測試及學習方法，且更明確而言，係關於用於基於信賴度之評鑒(「CBA」)及基於信賴度之學習(「CBL」)之方法及系統，其中來自學習者之單一答案在其回應中產生關於個人之信賴度及正確性之兩個量度。

本申請案主張2011年2月16日申請之美國專利申請案第13/029,045號及2011年8月23日申請之美國專利申請案第13/216,017號之優先權。本申請案亦與2010年10月20日申請之美國專利申請案第12/908,303號、2003年9月23日申請之美國專利申請案第10/398,625號、2005年7月23日申請之美國專利申請案第11/187,606號及2005年7月26日頒佈之美國專利第6,921,268號有關。以上列出的申請案中的每一者之細節在此以引用的方式且針對所有適當目的而併入本申請案內。

評鑒個人在一題材中的知識之廣博度之傳統多重選擇測試技術包括可藉由一維或對/錯(RW)答案選擇的變化數目個可能選擇。典型的多重選擇測試可包括具有三個可能答案之問題，其中通常此等答案中之一者可由學習者按第一印象因不正確而去除。此引起關於其餘答 案之猜測可能導致將可能正確或可能不正確的回應標記為正確之顯著機率。在此情形下，成功的猜測將掩蓋學習者關於其受教(informed)(亦即，對正確回應有信心)、誤教(misinformed)(亦即，對回應有信心，然而，該回應並不正確)或是缺乏資訊(亦即，學習者明確地敍述其並不知曉正確的答案，且不允許以彼方式回應)的知識之真實廣博度或狀態。因此，傳統多重選擇一維測試技術作為量測學習者的真實知識廣博度之方式高度無效。儘管有此顯著缺點，傳統一維多重選擇測試技術仍由資訊集中及資訊相依組織(諸如，銀行業、保險業、公用事業公司、教育機構及政府機關)廣泛使用。

傳統多重選擇一維(對/錯)測試技術為強迫選擇測試。此格式需要個人選擇一個答案，不管其是否知曉正確的答案。若存在三個可能答案，則隨機選擇將導致33%的可能性對正確答案計分。一維計分演算法通常獎賞猜測。通常，錯誤的答案計分為零分，使得在完全不回答與進行不成功猜測之間在得分上並無差異。由於猜測有時導致正確的答案，因此猜測始終好於不猜測。已知少數傳統測試方法為錯誤答案提供負得分，但通常該演算法經設計使得去除至少一個答案改變了有利於猜測之勝算。因此對於所有實際目的，猜測仍被獎賞。

此外，先前一維測試技術鼓勵個人變得擅長於去除可能的錯誤答案且對正確的答案作出最佳猜測判定。若個人可去除一個不正確的可能答案，則選取正確答案之勝算達到50%。在70%為合格之情況下，具有良好猜測技能的個人距及格僅差20%，即使其幾乎一無所知亦如此。因此，一維測試格式及其計分演算法使個人之目的、其動機偏離自我評鑒及接收準確的回饋且朝向使測試得分變大以超過臨限值。

本發明之態樣提供一種用於知識評鑒及學習之方法及系統，其 準確地評鑒學習者之知識之真實廣博度，且根據識別出之不足領域矯正性地將學習或教育材料提供至受試者。本發明併有基於信賴度之評鑒及學習技術的使用，且可部署於基於微處理器之計算裝置或網路化之通信用戶端-伺服器系統上。

根據本發明的裝置及方法之其他態樣提供一種用於個人化、可適性評鑒及學習之機制，其中取決於每一學習者回應特定問題之方式而按個人化之方式將學習及評鑒系統之內容遞送至每一學習者。在某些實施例中，此等回應取決於每一學習者表現之知識、技能及信賴度而變化，且系統及其基礎演算法將取決於由學習者針對每一問題提供之知識品質而可適性地饋給未來評鑒問題及相關聯之矯正。

本發明之另一態樣為可再用之學習物件結構之使用，該學習物件結構提供一內建式機制以無縫地整合詳細學習結果敍述、使學習者能夠相對於每一學習結果敍述獲取必要的知識及/或技能之題材及驗證學習者是否已相對於每一學習結果敍述實際獲取了知識及/或技能連同其對彼知識或技能之信賴度的多元評鑒。經由建置至本發明內之內容管理系統致能彼等學習物件之可再用性，使得作者可易於搜尋、識別及再使用現有學習物件或為現有學習物件賦予新用途。

本發明之其他態樣涵蓋整合之報告能力，使得管理員、作者、註冊員及分析員可評估每一學習者表現的知識之品質及如在學習物件中顯示的學習材料之品質兩者。針對每一使用者回應，報告能力可基於儲存於資料庫中之資料高度訂製。

根據另一態樣，一種用於知識評鑒及學習之服務導向式系統結構包含：一顯示裝置，其用於在一用戶端終端機處向一學習者顯示複數個多重選擇問題及二維答案；一管理伺服器，其經調適以管理該系統之一或多個使用者；一內容管理系統伺服器，其經調適以提供一介面用於該一或多個使用者建立及維護一學習資源庫；一學習系統伺服 器，其包含學習材料之一資料庫，其中該複數個多重選擇問題及二維答案儲存於該資料庫中用於至該用戶端終端機之選定遞送；及一註冊及資料分析伺服器，其經調適以建立及維護關於該等學習者之註冊資訊。在一實施例中，用於知識評鑒之該系統執行一方法：將該複數個多重選擇問題及其二維答案傳輸至該顯示裝置，該等答案包括由單一選擇答案組成之複數個完全信賴答案、由多個單一選擇答案之一或多個集合組成之複數個部分信賴答案，及一不確定答案；藉由經由該顯示裝置向該學習者呈現該複數個多重選擇問題及對其之該等二維答案而給予一評鑒，且經由該顯示裝置接收該學習者對該等多重選擇問題之選定答案，藉由該選定答案，該學習者指示其實質性答案及其答案的信賴類別之等級；及藉由將一知識狀態名稱指派至該學習者的該等答案中之至少一者來對該評鑒計分。

構成該系統基礎之該等方法已經特意建立，使得該等方法充分利用與學習及記憶有關的研究之關鍵發現及應用，意圖在於顯著增加學習程序之效率及有效性。彼等方法囊括於該系統之各種實施例中。

100‧‧‧知識評鑒方法及學習系統

102‧‧‧應用程式

104‧‧‧管理員

106‧‧‧作者

108‧‧‧註冊員

110‧‧‧分析員

112a‧‧‧學習者

112b‧‧‧學習者

112c‧‧‧學習者

200‧‧‧電腦網路架構

202a‧‧‧裝置

204a‧‧‧網路伺服器

204b‧‧‧網路伺服器

204c‧‧‧網路伺服器

206‧‧‧網際網路或其他網路

208a‧‧‧伺服器及相關聯之軟體

208b‧‧‧伺服器及相關聯之軟體

208c‧‧‧伺服器及相關聯之軟體

210a‧‧‧儲存設施

210b‧‧‧儲存設施

210c‧‧‧儲存設施

300‧‧‧系統架構

302‧‧‧系統管理模組

304‧‧‧內容管理系統(CMS)模組

306‧‧‧學習模組

308‧‧‧註冊及資料分析(RDA)應用程式

310‧‧‧登入函式

312‧‧‧單一簽名函式

314‧‧‧系統管理應用程式

316‧‧‧帳戶服務模組

318‧‧‧帳戶資料庫結構

320‧‧‧匯入/匯出函式

322‧‧‧創作應用程式

324‧‧‧模組檢閱函式

326‧‧‧創作服務

328‧‧‧發佈之內容服務

330‧‧‧創作資料庫

332‧‧‧發佈之內容資料庫

334‧‧‧學習應用程式函式

336‧‧‧學習者入口

338‧‧‧學習服務函式

340‧‧‧學習資料庫

342‧‧‧註冊應用程式

344‧‧‧講師顯示板

346‧‧‧報告應用程式

348‧‧‧註冊服務

350‧‧‧報告服務

352‧‧‧註冊資料庫

354‧‧‧資料倉儲資料庫

450‧‧‧網路應用架構

452‧‧‧用戶端工作站

454‧‧‧瀏覽器

456‧‧‧用戶端側呈現層

458‧‧‧應用伺服器

460‧‧‧伺服器側呈現層

462‧‧‧商務層

464‧‧‧資料層

466‧‧‧資料庫伺服器

468‧‧‧資料庫

800‧‧‧評鑒演算法

900‧‧‧直接計分演算法

1000‧‧‧一次正確熟練演算法

1100‧‧‧兩次正確掌握演算法

1801‧‧‧ampObject庫

1801a‧‧‧後設資料組分

1801b‧‧‧評鑒組分

1801c‧‧‧學習組分

1807‧‧‧模組庫/模組

1900‧‧‧電腦系統

1905‧‧‧處理器

1910‧‧‧記憶體

1915‧‧‧匯流排

1920‧‧‧基本輸入/輸出系統

1925‧‧‧指令(軟體)

1930‧‧‧儲存裝置

1935‧‧‧機器可讀媒體

1940‧‧‧輸入裝置

1945‧‧‧網路介面裝置

1950‧‧‧網路

1955‧‧‧遠端裝置

1960‧‧‧視訊顯示配接器

1970‧‧‧周邊介面

圖1為展示根據本發明之態樣建構的學習系統之各種態樣之互連及互動之系統級架構圖。

圖2為展示根據本發明之態樣建構的學習系統之各種態樣之互連及互動之系統級及資料架構圖。

圖3為根據本發明之態樣的另一系統級及資料架構圖。

圖4為根據本發明之態樣的另一系統級及資料架構圖。

圖5及圖6為結合本發明之態樣使用的學習系統資料聚集及使用者介面之實施例。

圖7A至圖7C說明根據本發明之態樣使用的輪次選擇演算法。

圖8A至圖8D說明根據本發明之態樣使用的處理演算法之實例， 其概括對使用者回應計分之方式及彼等得分經由評鑒及矯正判定進步之方式。

圖9至圖17說明結合本發明之態樣使用的各種使用者介面及報告結構。

圖18說明可再用學習物件之結構、將彼等學習物件組織成模組之方式及發佈彼等模組以供顯示給學習者之方式。

圖19說明可結合本發明之態樣使用的機器或其他結構實施例。

本發明之態樣係基於以下各者中揭示的基於信賴度之評鑒(「CBA」)及基於信賴度之學習(「CBL」)系統及方法而建置：美國專利申請案第13/029,045號、美國專利申請案第12/908,303號、美國專利申請案第10/398,625號、美國專利申請案第11/187,606號及美國專利6,921,268，所有該等專利申請案及專利以引用的方式併入本申請案中且由Boulder Colorado之Knowledge Factor,Inc.擁有。

本描述聚焦於關於系統架構、使用者介面、演算法及其他修改的系統之實施例。有時描述該系統之其他實施例以突出特定類似性或差異，但彼等描述並不意欲包括如在由Knowledge Factor擁有的有關先前專利及專利申請案中描述之系統之所有實施例。

如在圖1中展示，知識評鑒方法及學習系統100(表現為經由網路服務相互操作之一群應用程式102)提供分散式評鑒及學習解決方案以伺服其使用者之互動需要。系統中之主要角色如下：

a.管理員104：全面地管理系統，且能夠存取構成該系統且經由網路服務相互操作之所有應用程式。

b.作者106：開發、管理及發佈學習及評鑒內容。

c.註冊員108：管理學習者註冊，包括建立新學習者帳戶及管理學習者指派。

d.分析員110：管理一或多個商務單元之報告。

e.學習者112a-112c：籠統地指系統之最終終端使用者，且其存取由系統遞送之學習及評鑒模組。

任何數目個使用者可僅執行一個功能或擔任一個角色，而單一使用者可執行若干功能或擔任許多角色。舉例而言，管理員104亦可充當註冊員108或分析員110(或其他角色)，或作者106亦可充當分析員110。

圖2展示根據本發明之態樣的可用以實現知識評鑒及學習功能之基於網路之散發的電腦網路架構200之一實施例。CB學習內容經由位於遠端以用於學習者、管理員及其他角色之方便存取的複數個裝置202a-202n(諸如，電腦、輸入板、智慧電話或如此項技術中已知之其他裝置)而經遞送至每一經註冊之組織之學習者或個別地遞送至學習者。每一存取裝置較佳使用足夠的處理能力遞送音訊、視訊、圖形、虛擬實境、文件及資料之混合。

成群之學習者裝置及管理員裝置經由網際網路或其他網路206連接至一或多個網路伺服器204a-204c。伺服器及相關聯之軟體208a-208c(包括資料庫)裝備有儲存設施210a-210c以充當用於使用者記錄及結果之儲存庫。使用諸如傳輸控制協定/網際網路協定(「TCP/IP」)之行業標準經由網際網路傳送資訊。

在一實施例中，系統200遵守行業標準分散式學習模型。諸如航空工業CBT委員會(AICC)、學習工具互通性(LTI)及訂製網路服務的整合協定用於跨系統共用教學軟體物件。

本發明之實施例及態樣提供一種用於進行知識評鑒及學習之方法及系統。各種實施例併有可部署於基於微處理器或網路化之通信用戶端-伺服器系統上的基於信賴度之評鑒及學習技術之使用，該系統聚集且使用來自學習者的基於知識及基於信賴度之資訊以為每一學習 者建立可適性、個人化之學習計劃。在一般意義上，評鑒併有非一維測試技術。

根據另一態樣，本發明包含用於基於信賴度之評鑒(「CBA」)及基於信賴度之學習(「CBL」)之強健方法及系統，其中一答案產生關於個人之信賴度及其回應之正確性的兩個量度以促進用於立即矯正之方法。此經由包括(但不限於)以下之各種工具實現：

1.去除猜測答案之需要的評鑒及計分格式。此導致「實際」資訊品質之較準確的評估。

2.一計分方法，其更準確地揭露某人：(1)準確知曉之內容；(2)部分知曉之內容；(3)不知曉之內容；及(4)確定其知曉但實際上不正確之內容。

3.可適性且個人化之知識分佈，其僅聚焦於真實地需要指導或再教育專注之彼等領域。此去除了將時間及努力浪費在在實際上並不需要專注之領域中的培訓。

在學習模組中，前述方法及工具由諸如以下之方法或「學習循環」實施：

1.要求學習者完成形成性評鑒。此開始於將標準三至五答案多重選擇測試編譯成具有針對每一問題之可能答案的結構化之CBA格式之步驟，該等可能答案涵蓋三個思想狀態：信賴、懷疑及不知，藉此更緊密地匹配學習者之思想狀態。

2.檢閱個人化之知識分佈，該個人化之知識分佈為相對於正確回應的學習者對初始評鑒之回應之總結。按以下方式實施基於信賴度(CB)之計分演算法：該計分演算法教示學習者猜測會被罰分，且承認懷疑及不知比假裝信賴要好。該CB答案集合接著經編譯且作為個人化之知識分佈顯示以更精確地將答案分段成有意義的知識區域，從而對個人及組織給出關於誤解(誤教)、未知、懷疑及掌握之領域及程度 的豐富回饋。個人化之知識分佈為成績及專業能力之好得多的量度。舉例而言，在公司培訓環境之情況下，個性化之學習環境鼓勵保留較高資訊品質之更受教的員工，且藉此減少成本高的知識及資訊錯誤，且增加生產力。

3.關於學習材料檢閱問題、回應、正確答案及解釋。理想地，提供對正確及不正確答案兩者之解釋(由作者自行決定)。

4.檢閱「額外學習」(在一些實施例中，被描述為「擴展您的知識」)學習資料以獲得題材之更詳細的理解(寬度及深度)。

5.反覆--可按個別學習者需要重複該程序許多次，以便展現對題材之適當理解及信賴。在一些實施例中且作為此反覆模型之部分，可自呈現給學習者的問題之清單移除作為信賴且正確(取決於使用哪一演算法)計分之答案，使得學習者可聚焦於其特定技能差距。在每一反覆期間，呈現給學習者的問題之編號可由模組中的所有問題之一子集表示；此可由模組之作者組態。此外，經由使用在構成系統之軟體程式碼內調用之隨機數產生器在每一反覆期間按隨機次序呈現問題及對每一問題之答案。

根據一態樣，本發明產生個人化之知識分佈，其包括對於學習者之形成性及總結性評估，且識別各種知識品質等級。基於此資訊，系統經由一或多個演算法使使用者之知識分佈與學習材料之一資料庫相關，接著將該資料庫傳達至系統使用者或學習者以用於實質性回應之檢閱及/或再教育。

本發明之態樣可調適以部署於獨立的個人電腦系統上。此外，其亦可部署於諸如全球資訊網或企業內部網路或行動網路用戶端-伺服器系統之電腦網路環境上，在企業內部網路或行動網路用戶端-伺服器系統中，「用戶端」通常由經調適以存取由另一計算裝置(伺服器)提供之共用網路資源的計算裝置表示。例如，見結合圖2描述之網 路環境。併有各種資料庫結構及資料應用層以致能按各種使用者權限等級之互動，本文中更充分地描述了該等使用者權限等級中之每一者。

參看圖3，根據本發明之態樣建構的系統300之另一實施例包含下列應用程式中之一或多者，其中每一應用程式係單獨的但可經由網路服務作為整體共同操作：

a.系統管理302：此應用程式用以全面管理系統之所有態樣，其由管理員角色管理。

b.內容管理系統(或創作)304：此應用程式用於所有內容創作，以及用於發佈及止用所有內容，及用於管理系統中之所有內容。此等功能由作者及內容管理員角色管理。

c.學習306：此應用程式用於所有學習及/或評鑒，且為學習者登入系統之處。

d.註冊及資料分析(RDA)應用程式308：此應用程式用以管理學習者註冊(其由註冊員角色管理)以及所有報告(其由分析員角色管理)。此外，諸如講師角色之其他角色可登入此處以檢視針對彼角色特定設計之報告。

知識評鑒及學習系統之各種任務由基於網路服務之網路架構及軟體解決方案支援。圖3展示構成系統300的個別整合之應用程式--管理302、內容管理系統(創作)304、學習(其亦包括評鑒)306及註冊及資料分析308。

系統管理模組302包括諸如登入函式310、單一簽名函式312、系統管理應用程式314、帳戶服務模組316及帳戶資料庫結構318的組件。系統管理模組302用以管理存在於該應用程式中之各種消費者帳戶。

CMS模組304包括：一創作應用程式322，其提供內容創作功能 性以創作及結構化學習要素及教程；一模組檢閱函式324；一匯入/匯出函式320，其允許基於xml或另一形式之資料匯入；一創作服務326；一發佈內容服務328；一創作資料庫330及一發佈內容資料庫332。CMS模組304允許教程功能性管理構成該教程之各種元件，且允許發佈功能性正式發佈學習內容使得其可用於終端使用者。

學習模組306包括一學習者入口336、一學習應用程式函式334及一學習服務函式338。亦包括一學習資料庫340。學習及評鑒功能性充分利用本文中描述的其他態樣及特徵中之各者。

註冊及資料分析(RDA)308包括一註冊應用程式342、一講師顯示板344及一報告應用程式346、一註冊服務348、一報告服務350、一註冊資料庫352及一資料倉儲資料庫354。註冊及資料分析308包括管理在特定應用程式中的各種終端使用者類型之註冊之功能性及基於使用者之角色按與情境有關之方式向終端使用者顯示相關報告之功能性。

在操作中，任一位於遠端之使用者可經由裝置與系統通信(例如，圖2或圖3)。系統及其軟體之態樣提供許多基於網路之頁面及形式作為使用者與系統之間的通信介面之部分，以致能經由與每一角色相關之函式的快速且容易之導覽。舉例而言，向學習者呈現學習應用程式的基於網路、支援瀏覽器之顯示，該顯示充當用於使用者存取系統之網站及其有關內容之閘道器。學習者可經由學習應用程式或經由與系統經由行業標準協定(例如，AICC、LTI、網路服務)而整合的組織之學習管理系統(LMS)直接存取系統。

圖4說明可根據本發明之一態樣實施的系統架構圖450。網路應用架構450為可用以實施根據本發明建構的裝置及系統之各種機器導向式態樣之一結構實施例。架構450由三個一般層(一呈現層、一商務邏輯層及一資料抽象且持續層)組成。如圖4中所示，用戶端工作站452執行瀏覽器454或其他使用者介面應用程式(自身包括一用戶端側 呈現層456)。用戶端工作站452連接至應用伺服器458，應用伺服器458包括一伺服器側呈現層460、一商務層462及一資料層464。應用伺服器458連接至包括資料庫468之資料庫伺服器466。

每一應用程式包括一使用者登入能力，其併有用於系統存取及使用者鑑認之必要安全處理程序。登入處理程序提示系統實現使用者之識別碼及授權之存取等級的鑑認，如通常在此項技術中所進行。

再次參看圖3，創作應用程式322允許作者角色(諸如，內容開發者或指導設計者)建構學習物件、相關聯之學習或評鑒模組及教程。登入至創作應用程式322導致創作(內容開發)畫面。創作主畫面併有導覽按鈕或其他構件以存取學習及評鑒內容之主要態樣。創作畫面包括支援諸如(部分地)建立、編輯及上載學習物件、檢閱檢閱者之回饋、建立或管理學習及/或評鑒模組及發佈或止用模組之功能的若干軟體能力。為了本文中之論述目的，創作應用程式亦被稱作「內容管理系統」或「CMS」。

創作進一步包括在「所見即所得(What You See Is What You Get；WYSIWYG)」編輯視窗中之編輯及格式化支援設施，該編輯視窗建立超文字標示語言(「HTML」)及其他瀏覽器/軟體語言，用於由系統顯示給各種使用者類型。此外，創作提供超連結支援及包括且管理基於網路之應用程式共同之多媒體類型的能力。

創作經調適以亦允許使用者上載文字格式之檔案(諸如，xml或csv)，用於使用批量上載功能性匯入整個內容區塊或其部分。此外，創作亦經調適以接收及利用在諸如*.GIF、*JPEG、*.MPG、*.FLV及*.PDF(此為支援的檔案類型之部分清單)的各種常用格式下之媒體檔案。在學習或評鑒需要音訊、視覺及/或多媒體提示之情況下，此特徵係有利的。

創作應用程式322允許作者使用現有學習材料或按適當格式建立 新的學習材料。藉由在創作應用程式中建立學習物件或經由批量上載特徵上載新的學習物件，且接著將選定學習物件組合成學習或評鑒模組，實現創作。系統中之學習物件由以下各者組成：

a.介紹

b.問題

c.答案(一個正確答案；兩至四個誘答選項)

d.解釋

e.額外學習：用於更深入或膚淺學習之額外解釋材料及機會

f.後設資料/歸類：可用以輔助學習物件之搜尋及報告的資料；此後設資料可為階層式或分類式

每一問題必須具有一指明為正確選擇之答案，且其他兩至四個答案被識別為不正確或誤教之回應，且該兩至四個答案通常經建構為似是而非的誘答選項或通常持有之誤教。在如在圖5中展示之學習實例中，詢問具有四個可能答案選擇。

將學習物件組織為模組，且指派至學習者的正為此等模組。接著基於在學習應用程式中之計分及顯示演算法向學習者顯示每一模組內之學習物件。

一旦已使用創作應用程式建立了學習或評鑒模組，則發佈該模組，準備用於經由學習應用程式呈現給學習者。學習應用程式接著將一維對-錯答案組態成非一維答案格式。因此，在詢問具有多個可能答案的本發明之一實施例中，根據預定義之信賴類別或等級組態呈二維回應之形式的非一維測試。

將三個信賴類別等級提供至學習者，將該三個信賴類別等級指明為：100%確定(學習者僅選擇一個答案，且將彼回應分類為「我確定」；例如，見圖5)；部分確定(學習者選擇表示答案之一個或一對選擇，且將彼等回應分類為「我部分確定」)；及未知(藉由選擇「我尚 不知曉」來分類)。接著按可適應於在學習者之裝置上顯示的方式組織及格式化詢問、信賴類別及可能的答案之相關聯的選擇。答案之每一可能選擇進一步與諸如點擊按鈕及/或拖放之輸入構件相關聯以接受來自學習者之作為對其對答案之選擇的回應之指示的輸入。在一實施例中，測試詢問、信賴類別及答案由常用之基於網際網路之瀏覽器支援。可將輸入構件展示為與答案之每一可能選擇相關聯的單獨點擊按鈕或欄位，且學習者可將答案拖放至適當回應類別內，或可單擊答案以填充特定回應類別。

如自以上論述看到，該系統實質上促進非一維詢問之建構或傳統一維詢問至多元詢問之轉換。本發明之創作功能「不瞭解」建構學習物件所來自的材料之性質。對於每一學習物件，系統作用於測試詢問及由學習者選擇的答案選擇之形式。建置至系統內之演算法控制提供至學習者的回饋之類型，且亦基於學習者對先前詢問之回應控制提供至學習者的隨後學習材料之顯示。

CMS允許作者使每一詢問與呈解釋或額外學習之形式的關於彼詢問之特定學習材料或資訊相關聯。學習材料由系統儲存，從而提供容易存取以供用於現有或新學習物件中。此等學習材料包括文字、動畫、影像、音訊、視訊、網頁及類似的培訓材料源。此等內容要素(例如，影像、音訊、視訊、PDF文件等)可儲存於系統中或單獨系統上，且使用標準HTML及網路服務協定與學習物件相關聯。

系統使培訓組織能夠遞送學習及/或評鑒模組。同樣的學習物件可用於學習及評鑒模組兩者(或任一者)中。評鑒模組在系統中利用學習物件之下列要素：

a.介紹

b.問題

c.答案(一個正確答案；兩至四個誘答選項)

d.後設資料：可用以輔助學習物件之搜尋及報告的資料；此後設資料可為階層式或分類式

將每一學習模組作為兩個單獨重複區段顯示給學習者。首先，向學習者呈現用以識別學習者表現之相關知識及信賴差距之形成性評鑒。在學習者完成了形成性評鑒後，接著經由解釋及額外學習資訊之檢閱，給學習者填補知識差距之機會。繼續對學習者呈現數輪形成性評鑒，且接著學習者檢閱，直至其已展現對模組中的所需百分比之學習物件之掌握(信賴且正確回應)。

作者(及與稍後將在此文件中呈現之教程管理有關的其他角色)可在學習模組中設定下列計分選項：

a.在如上所述之每一輪學習中將對學習者呈現的在模組中之學習物件之數目(模組中的一個學習物件至所有學習物件之範圍)；此設定判定在問題集合中存在的學習物件之數目。

b.在將一學習物件視為掌握(且因此，不再在彼模組中顯示)前，學習者必須按連續次序信賴且正確地回應該學習物件之次數--一次(1X正確)或兩次(2X正確)。

c.在將模組總體視為完成前必須掌握(信賴且正確)的模組中之學習物件之百分比(在1%與100%之間的任一範圍中)。

d.一旦學習者已提供對一特定學習物件之信賴且正確回應，是否將在每一問題集合之形成性評鑒部分期間顯示介紹中之影像；此選項僅與2X正確計分設定有關。

在每一輪學習中，按隨機次序(或按如由作者設定之預定義之次序)向學習者呈現學習物件，且每當向學習者呈現問題時，亦按隨機次序呈現對每一問題之潛在答案。在每一輪(或問題集合)中顯示哪些學習物件取決於以下各者：(a)以上列出之計分選項，及(b)建置至學習應用程式內之演算法。稍後在此文件中更詳細地描述該等演算法。 評鑒模組經結構化，使得在單一輪次中呈現模組中之所有學習物件。

根據一實施例，作者(及與稍後將在此文件中呈現之教程管理有關的其他角色)可在評鑒模組中設定下列計分選項：是否將按隨機次序或按由作者定義之次序對學習者呈現評鑒模組中之問題。

藉由首先發佈來自創作應用程式(或CMS)內之所要的模組起始學習及評鑒模組向學習者之呈現。一旦在CMS中發佈了模組，則學習應用程式能夠存取該等模組。學習者接著必須針對該等模組在為系統之部分的註冊及資料分析應用程式中或在由消費者操作且已與系統整合的學習管理系統或入口中註冊。

作為一實施例之一實例，詢問或問題將由三答案選擇及包括學習者之回應及其對彼選擇之信賴類別的二維答案型樣組成。信賴類別為：「我確定」、「我部分確定」及「我尚不知曉」。系統之另一實施例允許作者組態系統，使得將無任何回應之詢問視為及預設至「我尚不知曉」選擇。在其他實施例中，用「我不確定」或「我不知曉」選擇來替換「我尚不知曉」選擇。在其他實施例中，可向學習者呈現高達五個答案之選擇。

可將學習及/或評鑒模組給予在不同地理位置處之單獨學習者及在不同時間段給予單獨學習者。在該系統之一實施例中，即時且根據演算法在伺服器與學習者之裝置之間呈現與學習及/或評鑒模組相關聯的學習物件之相關組件，且當學習者進行該模組時將進程傳達至該學習者。在該系統之另一實施例中，可將學習及/或評鑒模組批量下載至學習者之裝置，在該情況下，回答全部詢問，在將回應傳達(上載)至系統前，可檢閱解釋及額外學習且將即時進程提供至學習者。

系統攫取與學習或評鑒相關聯之眾多時間量測結果。舉例而言，系統量測受試者回應呈現的測試詢問中之任一者或所有者所需要之時間量。系統亦追蹤檢閱解釋材料及額外學習資訊所需之時間量。 當如此調適時，時間量測指令碼或次常式充當時標。在本發明之一些實施例中，電子時標亦識別由教學軟體伺服器將測試詢問傳輸至學習者之時間以及學習者將對答案之回應返回至伺服器所需之時間。

涵蓋且描述各種使用者介面實施例。舉例而言，學習者答案可在使用者介面螢幕上選擇且拖曳至諸如「信賴」、「可疑」及「不確定」之適當回應區內(見圖5)。在本發明之其他實施例中，可要求學習者自同時攫取對於知識及信賴度兩者之二維回應的七個不同選項中之一者選擇(例如，圖6)。

在以下論述中，為了易於參考而使用某些技術術語，但此處之意圖並不在於按不同於如在申請專利範圍中所闡明之任一方式來限制此等術語之範疇。

ampObject：指呈現給學習者或評鑒及學習系統之其他使用者的個別問題/答案(包括介紹材料)、顯示給學習者之學習資訊(解釋及額外學習)及可用於作者及分析員的與每一ampObject相關聯之後設資料。此ampObject結構先前在此文件中被稱作「學習物件」。

模組：指在任一給定學習及/或評鑒情形下呈現給學習者之一群ampObject(系統中之學習物件)。該模組為可指派至學習者的最小教程要素。

編譯基於信賴度(CB)之學習及評鑒材料

在CB格式下建置、開發或以其他方式編譯學習或評鑒模組需要將標準評鑒格式(例如，多重選擇、真-假、填空等)轉換成可藉由同時提供關於答案之正確性(亦即，知識)及學習者對彼回應的確定性程度(亦即，信賴)之回應答案的問題。

在圖5及圖6中提供針對CBA或CBL環境之評鑒部分的使用者介面之兩個不同實施之實例。

圖5為說明此問答格式的使用者介面之一實例，其中學習者答案 可在使用者介面螢幕上選擇且拖曳至諸如「信賴」、「可疑」及「不確定」之適當回應區內，或藉由按一下所要的答案(例如，按一下一個答案將將其移動至「信賴」回應欄位；按一下第二答案將將兩個答案移動至「可疑」回應欄位)來選擇學習者答案。回此，回應於所呈現之問題，需要學習者提供指示其實質性答案及對彼回應之信賴等級兩者之二維答案。

圖6為說明具有七個回應選項之一替代問答格式的使用者介面之一實例。與先前實例一致，需要學習者提供指示其實質性答案及對彼選擇之信賴等級兩者之二維答案。

在圖6之實例中，在問題下方列出了一維選擇。然而，亦需要學習者按二維來同時回應，在標題「我確定」、「我部分確定」及「我不確定」下對其分類。「我確定」類別包括三個單一選擇答案(A-C)。「我部分確定」類別允許受試者在任何兩個單一選擇答案(A或B、B或C、A或C)之集合之間選擇。亦存在包括一特定「我不確定」答案之「我不確定」類別。三選擇七答案格式係基於展示少於三個之選擇因為使猜測答案且得到正確答案變得較容易而引入了錯誤之研究。多於三個選擇可(a)增加學習者藉由識別不正確答案之間的適合性來辨別正確與不正確答案之能力，及(b)引起負面影響測試之真實得分的一定程度的混淆(記住先前選擇)。

圖7A至圖7C說明在本發明之態樣中體現的可適性學習構架結構之高階綜述。根據本文中揭示之態樣的總體方法及系統藉由隨學習者之先前回應而變將評鑒及學習計畫提供至每一學習者而即時地調適。根據本發明之其他態樣，取決於每一學習者答案特定問題之方式而按個人化之方式將學習及評鑒系統之內容遞送至每一學習者。特定言之，彼等回應將取決於每一學習者表現之知識、技能及信賴度而變化，且系統及其基礎演算法將取決於由學習者針對每一問題提供之知 識品質而可適性地饋給未來評鑒問題及相關聯之矯正。

藉由可適性重複增加保留能力

學習者之信賴度與知識保留能力高度相關。如上所敍述，某些態樣詢問且量測學習者之信賴等級。本發明之另外態樣藉由需要學習者展現對其答案之充分信賴以便達到真實知識(藉此增加知識保留能力)而更進一步。此部分藉由反覆步驟(Adaptive Repetition^TM)實現。在個人如上檢閱了系統中的材料之結果後，學習者可按達到掌握(如藉由彼知識信賴且正確來展現)所必要之次數重新接受評鑒。根據結合非一維評鑒之此可適性重複方法的學習產生多個個人化之知識分佈，其允許個人貫穿評鑒程序理解且量測其改良。

在一實施例中，當個人重新接受學習模組中之形成性評鑒時，問題經隨機化，使得個人不會按與先前評鑒相同的次序看到相同的問題。在存在問題之某一集合以涵蓋適任能力或一組適任能力之資料庫中形成問題。為了提供題材之真實知識獲取及信賴(掌握)，每次呈現某一數目個問題，而非全組問題(間距或串結(chunking))。研究展現此間距顯著改良長期保留能力。

ampObject(問題)向學習者之顯示：

在一些實施例中，將全部問題(在ampObject中)向學習者顯示(一次性顯示清單中之所有問題)，且使用者亦回答全部問題。在另一實施例中，一次一個地顯示該等問題。根據另外實施例，藉由將問題向學習者顯示的方式及ampObject向學習者顯示之數目及時序之總體隨機化來增強學習。寬泛言之，問題之選定分群允許系統更好地使學習環境適應一特定情景。如上闡明，在一些實施例中，問題及問題之群組分別被稱作ampObject及模組。在一實施例中，作者可組態是否將ampObject「串結」或是以其他方式分群，使得在給定模組中的全部ampObject中之僅一部分在任一給定學習輪次中呈現。亦可在每一學 習輪次或反覆中按隨機化或順序次序將ampObject呈現給使用者。學習系統之作者可選擇在每一學習輪次期間始終按隨機次序顯示給定ampObject內之答案。

可將問題呈現之隨機化併入至學習環境之學習及評鑒兩個部分內。在一實施例中，在學習之形成性評鑒部分期間，僅在學習之每一問題集合期間按隨機次序顯示問題及答案。將學習物件對使用者顯示之各種其他方案可適用於該次序。舉例而言，一類型之「標準評鑒」可能需要在一評鑒期間按隨機或順序次序顯示ampObject，或僅依序或隨機將其顯示。在以下「切換項」段落中，展示允許作者「上撥」或「下撥」評鑒之掌握等級的進一步細節。

此處之態樣將使用加權系統基於先前回答ampObject之方式判定在任一給定輪次中顯示或設定一問題之機率。在一實施例中，存在在一特定問題在先前輪次中不正確地(信賴且不正確，或部分確定且不正確)回答的情況下將顯示該問題之較高機率。

繼續參看圖7A至圖7C，展示一演算法流程，一般而言，該演算法流程描述根據在一特定學習輪次期間之問題選擇而利用的邏輯之一實施例。步驟中之每一者之描述包括於流程圖內，且在流程圖內之各種決策節點處說明該等邏輯步驟以展示程序流程。

計分及測試評估演算法

關於知識評鑒及測試系統之實施的態樣調用各種新穎演算法對特定測試環境進行評估及計分。圖8A至圖8D說明演算法流程圖，其說明用於如結合本發明之態樣使用的知識評鑒及學習之四個「目標狀態」方案。圖8A展示一初始評鑒方案，圖8B展示一直接計分方案，圖8C展示「一次正確」熟練方案，圖8D則展示「兩次正確」掌握方案。系統之作者或管理員判定學習者在一特定學習或評鑒作業階段中的適當目標狀態。在圖8A至圖8D中，使用以下命名法描述對一問題 之任一特定回應：CC=信賴且正確，DC=懷疑且正確，NS=不確定，DI=懷疑且不正確，CI=信賴且不正確。

首先參看圖8A，顯示評鑒演算法800，其中在802處將一初始看不見的問題(UNS)呈現給學習者。取決於來自學習者之回應，進行關於彼學習者針對彼特定問題之知識及信賴等級之評鑒。若學習者信賴且正確(CC)地回答問題，則在804處將知識狀態視為「熟練」。若使用者有所懷疑但正確地回答，則在806處將知識狀態視為「受教」。若使用者回答其不確定，則在808處將知識狀態視為「不確定」。若使用者有所懷疑且不正確地回答，則在810處將知識狀態視為「未受教(uninformed)」。最後，若學習者信賴且不正確地回答，則在812處將知識狀態視為「誤教」。

參看圖8B，展示直接計分演算法900。直接計分演算法900之左部分(圖8B)類似於評鑒演算法800(圖8A)，其中初始回應類別映射至對應的評鑒狀態名稱。首先參看圖8B，顯示評鑒狀態演算法900，其中在902處將一初始看不見的問題(UNS)呈現給學習者。取決於來自學習者之回應，進行關於彼學習者針對彼特定問題之知識等級狀態之評鑒。若學習者信賴且正確(CC)地回答問題，則在904處將知識狀態視為「熟練」。若學習者懷疑但正確地回答，則在906處將知識狀態視為「受教」。若學習者回答其不確定，則在908處將知識狀態視為「不確定」。若學習者懷疑且不正確地回答，則在910處將知識狀態視為「未受教」。最後，若學習者信賴且不正確地回答，則在912處將知識狀態視為「誤教」。在圖8B中描述之演算法中，當針對一特定問題兩次給出同一回應時，評鑒狀態名稱不改變，且判定學習者具有針對彼特定問題之相同知識等級，如由在914(熟練)、916(受教)、918(不確定)、920(未受教)及922(誤教)處表示之相同名稱反映。

參看圖8C，展示一次正確熟練演算法1000。在圖8C中，學習者 之知識的評鑒由隨後對同一問題之答案判定。如在圖8A及圖8B中，在1002處提出一初始問題，且基於對彼問題之回應，學習者之知識狀態被視為「熟練」(在1004處)、「受教」(在1006處)、「不確定」(在1008處)、「未受教」(在1010處)或「誤教」(在1012處)。在圖8C中的對每一特定回應之圖例類似於在先前演算法程序中且如在圖8A中標註之圖例。基於第一回應歸類，學習者對彼同一問題之隨後答案將根據在圖8C中揭示之演算法而改變學習者之知識等級狀態。舉例而言，參照信賴且正確(CC)且因此在1004處被歸類為「熟練」之初始問題回應，若使用者隨後信賴且不正確地回答彼同一問題，則彼使用者對彼特定問題的知識之評鑒狀態自1004處之熟練變為在1020處之未受教。遵循在圖8C中闡明之方案，若彼學習者將在1018處「不確定」地回答，則評鑒狀態將被歸類為「不確定」。評鑒狀態之改變起因於對同一問題之變化之答案。圖8C詳述了在對一特定問題之各種答案集合下可能之各種評鑒狀態路徑。作為在圖8C中展示之另一實例，若學習者首先在1012處回答「誤教」且接著隨後回答「信賴且正確」，則所得評鑒狀態將移動至在1016處之「受教」。因為圖8C規劃「熟練」測試演算法，所以不可能獲得「掌握」狀態1024。

參看圖8D，展示兩次正確掌握演算法1100。類似於圖8C，演算法1100展示起因於對同一問題之多個答案的知識評鑒之程序。如在先前圖中，在1102處提出一初始問題，且基於對彼問題之回應，學習者之知識狀態被視為「熟練」(在1104處)、「受教」(在1106處)、「不確定」(在1108處)、「未受教」(在1110處)或「誤教」(在1112處)。在圖8D中的對每一特定回應之圖例類似於在先前演算法程序中且如在圖8A中標註之圖例。基於第一回應歸類，學習者對彼同一問題之隨後答案將根據在圖8D中揭示之演算法而改變學習者之知識等級狀態。在圖8D之情況下，在點1130及1132處包括知識評鑒之額外「掌握」 狀態，且可基於在圖8D之流程中展示的各種問題及答案情景獲得知識評鑒之額外「掌握」狀態。作為一實例，在1102處將一問題呈現給學習者。若「信賴且正確」地回答了彼問題，則在1104處將評鑒狀態視為「熟練」。若隨後第二次「信賴且正確」地回答了彼同一問題，則評鑒狀態移至在1132處之「掌握」。在此實例中，藉由連續兩次「信賴且正確」地回答，系統認識到學習者已掌握了一特定事實。若學習者首先「懷疑且正確」地回答在1102處呈現之問題且因此在1106處將評鑒狀態歸類為「受教」，則為了達成「掌握」，其將需要在此之後再次連續兩次「信賴且正確」地回答該問題以便具有歸類為「掌握」之評鑒狀態。圖8D詳述了針對掌握狀態演算法在對一特定問題之各種答案集合下可能之各種評鑒路徑。

在圖8D之實例中，存在若干至「掌握」知識狀態之可能路徑。然而，對於此等潛在路徑中之每一者，需要學習者連續兩次正確且信賴地回答一特定ampObject。在一情景下，若學習者已處於對一特定ampObject的掌握狀態下且接著不同於「信賴且正確」地回答彼問題，則取決於給出之特定答案，知識狀態將降級至其他狀態中之一者。取決於對任一給定問題之學習者回應，至掌握之多個路徑為每一使用者建立一可適性、個人化之評鑒及學習體驗。

在以上論述的實施例中之每一者中，實施執行下列一般步驟之演算法：1)識別如由作者定義之目標狀態組態，2)使用同一分類結構相對於目標狀態將在每一學習輪次中針對每一問題之學習者進程分類，及3)在下一輪學習中的ampObject之顯示取決於在較早先學習輪次中對每一ampObject中之問題之最後回應之分類。

此等演算法之操作的更多細節及實施例如下： 目標狀態組態之識別：給定知識評鑒之作者可定義系統內之各種目標狀態以便達到訂製知識分佈且判定是否將一特定ampObject(例如，問題)視為完成。以下為由以上且結合圖8A至圖8D描述之演算法流程圖體現的此等目標狀態之額外實例：

a. 1次(1X)正確(熟練)--學習者必須「信賴且正確」地回答一(1)次才可將ampObject視為完成。若學習者「信賴且正確」或「部分確定且不正確」地回答，則學習者必須信賴且正確地回答兩(2)次才可將ampObject視為完成，且針對彼ampObject的熟練之狀態已由學習者達成。

b. 2次(2X)正確(掌握)--學習者必須「信賴且正確」地回答兩次才可將ampObject視為完成。

c.基於由作者或管理員選擇之計分組態，一旦在以上情景中之每一者下將ampObject標註為「完成」，則將其自進一步的測試輪次移除。

對學習者進程分類：系統之某些態樣經調適以使用如本文中描述之類似分類結構相對於目標狀態(以上描述)將在每一學習輪次中學習者針對每一問題(ampObject)之進程分類，例如「信賴且正確」、「信賴且不正確」、「懷疑且正確」、「懷疑且不正確」及「不確定」。

ampObject之隨後顯示：在未來學習輪次中的ampObject之顯示取決於相對於目標狀態對在彼ampObject中之問題的最後回應之分類。舉例而言，「信賴且不正確」回應具有將在下一個學習輪次中顯示其之最高可能性。

該演算法或計分引擎建立學習者之回應與正確答案之比較。在本發明之一些實施例中，採用一計分協定，使用預定義之加權計分方案藉由該計分協定編譯學習者之回應或答案。此加權計分協定針對與學習者的高信賴等級之指示相關聯之正確回應將預定義之分數指派至 學習者。此等分數在本文中被稱作真實知識分，其將反映學習者在測試詢問之題材中的真實知識之廣博度。相反地，計分協定針對與高信賴等級之指示相關聯的不正確之回應將負分數或罰分指派至學習者。負分數或罰分具有顯著大於針對同一測試詢問之知識分的預定值。此等罰分在本文中被稱作誤教分，其將指示學習者被誤教了某事物。分數用以計算學習者之原始得分以及各種其他成績指標。2005年7月26日頒佈之美國專利第6,921,268號提供此等成績指標之深入檢閱，且其中含有之細節以引用的方式併入至本申請案內。

用文件記錄知識分佈：知識分佈之主要目標為給學習者提供關於其在每一模組中之進程的連續回饋。該系統之實施例使用知識分佈之各種表現。然而，以下時序通常用以向學習者顯示知識分佈：

‧學習模組：

￮在針對一模組之任一給定學習輪次內之學習階段前的輪次之任一形成性評鑒階段末期的學習者進程之顯示(例如，見圖9)

￮在針對一模組之任一給定學習輪次末期的學習者進程之顯示(亦即，在學習者已在任一給定輪次內完成了形成性評鑒及學習階段兩者後)(例如，見圖10)

￮在學習內的任一狀態下之學習者進程之顯示(例如，見圖11)

‧評鑒模組：

￮在完成了評鑒後的學習者之評鑒結果之顯示(例如，見圖12)

一實施例亦在學習應用程式之右上角中(按小圓餅圖之形式)提供學習者針對彼模組之進程之總結(圖5)。此總結可用於針對一模組的任一給定學習輪次之學習階段中。此外，當學習者按一下圓餅圖時，按圓餅圖之形式提供更詳細的進程總結(圖11)。

在對評鑒之每一回應(在學習及評鑒模組兩者中)後，一實施例亦向學習者顯示其答案信賴且正確、部分確定且正確、不確定、信賴且 不正確或是部分確定且不正確。然而，在彼時未提供正確答案。相反地，目標為提高學習者對任一特定回應之期待，使得其將渴望在任一給定輪次之學習階段中檢閱正確答案及解釋。

在大多數實施例中，用文件記錄之知識分佈係基於下列數條資訊中之一或多者：1)如由作者或註冊員設定的模組之組態之知識狀態(例如，掌握對熟練)；2)學習者在每一輪學習中或在一給定評鑒內之形成性評鑒之結果；及3)藉由正實施之特定演算法對學習者之回應計分的方式。視需要，可使知識分佈可用於學習者及其他使用者。再次，此功能為可由系統之作者或其他管理員選擇性實施之事物。

圖13說明可作為形成性評鑒由使用者完成之結果而產生的來自學習應用程式之另一實施例的所顯示之知識分佈1300之若干實例。在圖13中，圖表1302及1304藉由展示在由20個ampObject組成之模組中的回應之分類說明可遞送至學習者之總體知識分佈。可按在1306、1308、1310及1312中展示之形式給出對由學習者給出之任一特定問題之即刻回饋。

其他實施例已顯示按回應之類別或在所有回應上之累積得分(基於指派至每一回應之得分)分開的回應百分比之簡單清單。

在一實施例中，在每一輪學習之評鑒階段期間，當學習者回應每一問題時連續顯示且更新下列資料：(a)在彼問題集合中的問題之數目(其由作者或註冊員判定)；來自彼問題集合之哪一問題當前正向學習者顯示(1/6、2/6等)；(b)哪一問題集合當前正向學習者顯示(例如，「問題集合3」)；(c)模組中的問題(ampObject)之總數；及(d)已完成(1X正確計分)或掌握(2X正確計分)的ampObject之數目。

一模組中的問題集合之數目取決於以下各者：(a)模組中的ampObject之數目，(b)每個問題集合顯示的ampObject之數目，(c)計分(1X正確或2X正確)，(d)「通過」一特定模組所需之百分比(預設為 100%)，(e)及學習者必須在其完成(1X正確)或掌握(2X正確)每一ampObject前回應ampObject之次數。

在一實施例中，在每一問題集合之學習階段期間，可當學習者檢閱針對每一ampObject之問題、答案、解釋及額外學習要素時連續顯示以下各者：(a)模組中的問題(ampObject)之總數；(b)完成(1X正確)或掌握(2X正確)的問題之數目；(c)進程總結圖，諸如，展示在彼時間點的信賴且正確回應之數目之圓餅圖；及(d)提供關於已將回應分類之方式的即時資訊之詳細進程視窗。

在系統之當前實施例中，在一評鑒模組中(亦即，在僅向學習者顯示評鑒而不顯示學習之情況下)，向學習者顯示學習者進程，如下：(a)彼模組中的問題之總數；及(b)來自彼模組之哪一問題當前正向學習者顯示(1/25、2/25等)。在評鑒模組中，在一輪評鑒中將彼模組中之所有問題向學習者呈現。不將ampObject剖析成問題集合，此係因為問題集合不與評鑒有關。

在完成評鑒模組時，向學習者提供總結下列中之一或多者的頁面：

‧在評鑒中得到之總體計分，其為信賴且正確與部分確定且正確的百分比之總和

‧下列各者之圖形顯示：

￮正確回應，其剖析為：

￭信賴且正確地回答之百分比

￭部分確定且正確地回答之百分比

￮不正確回應，其剖析為：

￭信賴且不正確地回答之百分比

￭部分確定且不正確地回答之百分比

￮回答「我不知曉」之百分比

系統角色：在另外實施例中，除了以上敍述之系統角色(管理員、作者、註冊員、分析員及學習者)之外，存在除了五個總體角色外參加詳細任務或功能的額外角色。此等額外角色包括：

‧管理者：管理作者、資源庫管理員及翻譯者全體工作人員。

‧資源庫管理員：管理可用以建立學習內容的資源庫。

‧發佈者：管理教程之組織結構，且具有正式發佈模組之能力。

‧翻譯者：將內容翻譯成另一語言，且在適當之情況下針對本地化進行調整。

‧檢閱者：提供關於內容之回饋。

‧CMS管理員：組態內容管理系統(CMS)，用於在組織內使用。

在其他實施例中，系統角色可由總體系統組件分群，諸如，在內容管理系統(CMS)或註冊及資料分析(RDA)內。

功能步驟之實例

在一實施例中，在學習模組之執行中利用下列步驟中之一或多者。可按任一次序實現以下闡明的步驟中之一或多者：

a.作者計劃且開發ampObject。

b.將ampObject聚集至模組內。

c.將模組聚集至更高階容器內。此等容器可視情況歸類為課程或計畫。

d.測試開發之課程以確保適當功能性。

e.發佈教程且使其可用。

f.使一或多個學習者加入教程中。

g.學習者參加如在教程中找到之評鑒及/或學習。

h.學習可經串結或以其他方式分群，使得在一給定模組中，學習者將體驗到每一學習輪次之評鑒及學習兩個階段。

i.針對每一輪學習反覆地針對每一學習者開發及顯示個人化或以 其他方式為可適性的知識分佈，基於模組之組態及彼組態修改基礎演算法之方式按個人化、可適性方式使在每一輪學習中提供的問題及相關聯之矯正可用。

j.在評鑒階段期間，在模組完成後向學習者展示熟練或掌握得分。

k.在學習階段期間，在提交每一答案時，將立即的回饋給出至學習者。

l.給出關於在一輪評鑒及學習內每一評鑒階段完成後之知識品質(分類)的回饋。

m.給出關於在迄今完成之所有輪次上之知識品質(分類)及朝向任一給定模組中之熟練或掌握之進程的回饋。

n.接著取決於學習者答案與每一ampObject相關聯之問題的方式，每輪學習每個模組向其呈現一組可適性、個人化之ampObject。系統之可適性質由電腦實施之演算法控制，該電腦實施之演算法基於在先前學習輪次中學習者對彼等ampObject之回應判定學習者將看到ampObject之頻率。此同一知識分佈經攫取於資料庫中，且稍後複製至報告資料庫。

類似的功能步驟用於評鑒模組之執行中。然而，對於評鑒模組，不存在學習階段，且將ampObject(僅介紹、問題、答案)按一相鄰分群向學習者呈現(並非按問題集合)。

在內容管理系統(CMS)內

學習物件(ampObject)之創作可包括預先計劃分類資料及將分類資料添加至每一學習物件(例如，學習結果敍述、主題、副主題等)。此外，可將ampObject聚集至模組內，且可將模組組織至更高階容器(例如，課程、計畫、課、教程)內。CMS亦可經調適以進行教程之品質保證檢閱，且發佈教程用於學習或評鑒。

在註冊及資料分析(RDA)應用內

使一學習者加入一教程中且允許學習者參加如在該教程中發現之評鑒及/或學習的能力。除了在學習應用程式(如上所述)中直接提供至學習者之回饋之外，與學習及/或評鑒相關聯之報告亦可在RDA中由特定角色(例如，分析員、講師、管理員)存取。

RDA中之報告功能性

根據另一態樣，可自知識分佈資料產生報告，用於按變化之模態向學習者或講師顯示。特定言之，在RDA中，可經由圖形報告及分析工具內之一簡單使用者介面實現報告，該簡單使用者介面(例如)允許使用者深度探討至報告中的一特定要素內之選定資訊。可提供專業報告顯示板，諸如，專門針對講師或分析員調適之顯示板。可按諸如.pdf、.csv或許多其他寬泛可辨識之資料檔案格式的格式使報告可用。

圖14至圖17說明可用以在一特定指派或一群特定指派中通報進程之各種代表性報告。圖14展示已在所有學生已完成指派前指派一特定模組的一群學生之進程。圖15展示一群學生對在一教程中之每一ampObject之第一回應，且彼等回應按主題且按回應類別(例如，信賴且不正確、懷疑且不正確等)整理。圖16展示一群學生針對一選定主題對彼教程之每一ampObject的第一回應及以下者之總結：(a)組成報告的回應之數目(其等效於回應的學習者之數目)，及(b)不正確之答案#1或#2的回應之百分比。圖17展示對一特定ampObject之第一回應之詳細分析。此等僅為可由系統產生的許多報告中之少數者。

硬體、資料結構及機器實施

如上所述，本文中描述之系統可實施於多種獨立或網路化之架構中，包括使用各種資料庫及使用者介面結構。本文中描述之電腦結構可用於評鑒及學習材料之開發及遞送兩者，且可在包括獨立系統或 分散式(經由全球資訊網(網際網路)、企業內部網路、行動網路或其他分散式網路架構)網路的多種模態下起作用。此外，其他實施例包括多個計算平台及電腦裝置之使用，或藉由與系統之用戶端-伺服器組件互動或在無與系統之用戶端-伺服器組件互動之情況下，作為電腦裝置上之獨立應用程式遞送。

在一特定使用者介面實施例中，藉由將答案拖曳至適當回應區來選擇答案。此等回應區可由以下各者組成：「信賴」回應區，其指示學習者對其的答案選擇非常有信心；「可疑」回應區，其指示學習者僅部分確定其的答案選擇；及「不確定」回應區，其指示學習者不願承諾其按任何確定性等級知曉正確答案。亦可使用各種術語指示信賴之程度，且以上指示的「信賴」、「可疑」及「不確定」之實例僅為代表性。舉例而言，針對高度信賴之「我確定」、針對可疑狀態之「我部分確定」及針對不確定狀態之「我尚不知曉」。在表示評鑒程式之一實施例中，可僅提供單一「我部分確定」回應方塊；亦即，學習者可僅選擇「部分確定」回應內之一個答案。

串結之學習

根據另一態樣，學習模組之作者可組態ampObject是否串結或以其他方式分群而使得在任一給定學習輪次中僅呈現給定模組中的全部ampObject之一部分。所有「串結」或分群由作者經由模組組態步驟判定。作者可在一模組中按兩個不同等級將學習物件串結，例如，藉由按在每一模組中包括的學習物件(ampObject)之數目及按在一學習事件內每個問題集合顯示的學習物件之數目。在此實施例中，基於「已完成」之指派之定義移除已完成之ampObject。舉例而言，取決於由作者或管理員指派之目標設定，已完成可在一次(1X)正確與兩次(2X)正確之間有所不同。在某些實施例中，作者可組態學習物件是否經「串結」，使得在給定模組中的全部學習物件中之僅一部分在學習之 任一給定問題集合中呈現。亦可使用即時分析使學習之每個問題集合顯示的學習物件之數目最佳化。

ampObject結構

將如本文中描述之ampObject設計為「可再用學習物件」，其表現下列總體特性中之一或多者：學習結果敍述(或適任能力敍述或學習目標)；達成彼適任能力需要之學習；及驗證彼適任能力之達成的評鑒。如先前針對學習物件所描述，ampObject之基本組分包括：介紹；問題、答案(1個正確答案及2-4個不正確答案)、解釋(需要知曉資訊)；可選「額外學習」資訊(知曉資訊的好處)；後設資料(諸如，學習結果敍述、主題、副主題、關鍵字及與每一ampObject相關聯之其他階層式或非階層式資訊)；及作者註釋。經由系統中之報告能力，作者具有將特定後設資料要素連結至可歸因於每一ampObject之評鑒及學習的能力，其對下游分析具有顯著益處。可使用內容管理系統(「CMS」)在學習模組及教程之開發中按當前或修訂之形式迅速再使用此等學習物件(ampObject)。

隱蔽問題分群

在另一實施例中，可利用與同一適任能力(學習結果、學習目標)相關聯之隱蔽問題。在一實施例中，作者使相關學習物件與隱蔽問題分群相關聯。若學習者接收到為隱蔽問題群組之部分的一問題之正確得分，則將彼隱蔽問題中之任一學習物件視為已經正確地回答。系統將自一隱蔽群組中之所有學習物件隨機拉出(不替換)，如由本文中描述的演算法中之一或多者指導。舉例而言，在藉由1X正確演算法設置之模組中，可實施以下程序：a.當第一次向學習者呈現來自一隱蔽問題群組之學習物件時，其信賴地回答，且彼回應信賴且不正確；b.當下次向學習者呈現來自彼同一隱蔽問題分群之學習物件時， 自彼隱蔽群組隨機拉出一不同問題，其信賴地回答，且彼回應信賴且正確；c.當下次對學習者呈現來自彼同一隱蔽問題分群之學習物件時，自彼隱蔽群組隨機拉出一不同問題(若額外學習物件仍在彼隱蔽問題群組中可用)，其信賴地回答，且彼回應信賴且正確。

在以上情景中，將彼隱蔽問題群組視為掌握，且無來自彼隱蔽問題群組之額外學習物件將向學習者顯示。

模組結構

模組充當用於如遞送至使用者或學習者之ampObject的「容器」，且因此為按指派之形式將向學習者呈現或學習者將以其他方式體驗的教程之最小可用組織單位。如上文所指出，每一模組較佳含有一或多個ampObject。在一實施例中，根據演算法組態的為模組。可如下組態模組：

a.目標狀態：此可設定為某一數目個正確答案，例如，一次(1X)正確或兩次(2X)正確等。

b.掌握之(已完成)ampObject之移除：一旦學習者已達到針對特定ampObject之目標狀態，則其可自模組移除且不再向學習者呈現。

c. ampObject之顯示：作者或管理員可設定是否在每一輪提問中顯示ampObject之整個清單或是否在每一輪次中僅顯示部分清單。

d.完成得分：作者或管理員可設定將學習者視為已完成該輪學習(例如，藉由達成一特定得分)之分數。

教程結構

雖然在某些實施例中教程結構可為開端式，但作者或管理員能夠控制關於將教程遞送至學習者之方式的結構。舉例而言，模組及其他組織單位(例如，計畫、課程、課)可重命名或以其他方式經修改及重新結構化。此外，模組可經組態使得其作為獨立評鑒(總結性評鑒) 或作為併有系統之形成性評鑒及學習兩個能力之學習模組向學習者顯示。

學習者顯示板

作為本文中描述的系統之一組件，提供一學習者顯示板，其顯示及組織資訊之各種態樣以供使用者存取及檢閱。舉例而言，使用者顯示板可包括下列中之一或多者：

我的指派頁面

在一實施例中，此包括具有下列狀態中之一或多者的當前指派之一清單(用文件記錄學生或檢閱者對彼模組之完成狀態)：開始指派、繼續指派、檢閱、開始補習、繼續補習、檢閱內容(僅檢閱者)。亦在我的指派頁面中包括教程資訊(諸如，關於當前計畫之態樣的一般背景資訊(例如，一特定模組之概要或綜述))及教程之階層或組織。指派頁面亦可包括預先及後必要清單，諸如，在允許存取特定指派或培訓計畫前可能需要接受之其他模組或教程。在完成(掌握)一模組時，將對學習者呈現補習模組及檢閱模組。補習模組允許學習者使用修改之1X正確演算法重新接受該模組。檢閱模組顯示一特定學習者對於一給定評鑒或學習模組之進程(對於先前接受之評鑒或學習模組的歷史觀點)，其中彼模組中的ampObject之顯示係基於在每一ampObject情況下學習者體驗之困難量而整理(首先列出學習者體驗最大困難之ampObject)。僅針對處於檢閱者角色之彼等個人呈現檢閱內容連結。

學習頁面

此可包括在學習階段期間顯示之進程顯示板(包括表格及圖形資料兩者；見用於實例表示之圖9、圖10及圖11)。學習頁面亦可包括學習者之百分比回應(按分類)、任一先前學習輪次之結果及跨已完成之所有輪次的結果。

評鑒頁面

此可包括在評鑒後顯示之進程顯示板(表格及圖形資料兩者；見作為潛在表示之圖12)。

報告及時間量測

在各種實施例中支援報告角色(分析員)。在某些實施例中，報告功能具有其自己的使用者介面或顯示板以基於在系統內可用之模板建立多種報告，諸如，經由註冊及資料分析(RDA)應用程式。標準及/或訂製報告模板可由管理員建立且使其可用於任一特定學習環境。如此組態之報告可包括攫取學習者回答每一ampObject及回答給定模組中之所有ampObject所需要之時間量之能力。亦攫取用於花在檢閱答案之時間量之時間。例如，見作為潛在表示之圖14。自報告產生之型樣可經歸納，且可自報告功能中之趨勢搜集額外資訊。見作為潛在表示之圖14至圖17。報告功能允許管理員或教師弄清楚在進一步教學中最佳將時間花於何處。此外，可併有一講師顯示板以致能特定報告及報告能力未必可用於學習者。

其他系統能力：

內容上載之自動化：根據其他態樣，本文中描述之系統可經調適以利用將ampObject添加至系統之各種自動化之方法。可在學習系統中實施程式碼以讀取、剖析資料及將資料寫入至適當資料庫內。學習系統亦可致能將指令碼用於使自先前格式化之資料(例如，自csv或xml)至學習系統內之上載自動化。此外，在一些實施例中，訂製的富含文字格式的模板可用以攫取學習資料及將學習資料直接上載至系統內，且保留格式化及結構。

在一些實施例中，學習系統支援在大多數電腦應用中使用的各種標準類型之使用者互動，例如，出現在右滑鼠按鍵上之與情境有關之選單等。該系統之一些實施例亦包括諸如拖放能力以及搜尋及替換 能力之若干額外特徵。

資料安全性：本發明之態樣及各種實施例使用標準資訊技術安全性實務來保護專屬、個人及/或其他類型之敏感資訊。此等實務包括(部分)應用安全性、伺服器安全性、資料中心安全性及資料分離。舉例而言，針對應用安全性，需要每一使用者建立且管理存取其帳戶之密碼；使用http使應用安全；所有管理員密碼可重複地改變；且密碼必須符合強效密碼最小要求。舉例而言，針對伺服器安全性，按預定義用符合強效密碼最小要求之新的隨機密碼改變所有管理員密碼，且使用加密之密碼檔案管理管理員密碼。針對資料分離，本發明及其各種實施例使用多租戶共用模式，其中使用域ID邏輯單獨資料，個別登入帳戶屬於一個且僅一個域(包括管理員)，對資料庫之所有外部存取係經由該應用程式，且嚴格地測試應用程式詢問。在其他實施例中，將應用程式分段，使得在單獨資料庫(而非共用之租戶模型)上管理用於選定使用者群組之資料。

切換項

根據本發明之態樣建構的學習系統在其實施中使用各種「切換項」，以便允許作者或其他管理角色「上撥」或「下撥」學習者必須展現以完成模組之掌握。將「切換項」定義為使學習及/或記憶增強(或降級)之一特定功能或程序。與此等切換項相關聯之功能性係基於在實驗心理學、神經生物學及競賽方面之相關研究。以下詳細敍述併入至本文中描述之學習系統內的各種切換項中之一些實例(部分清單)。每一切換項之實施將取決於本發明之特定實施例及部署組態而變化。

重複(可適性重複)：演算法驅動之重複切換項用以致能對學習者的反覆提問輪次，以便達成掌握。在古典意義上，重複經由反覆輪次之故意且高度可組態之學習遞送來增強記憶。可適性重複切換項使用 形成性評鑒技術，且在一些實施例中組合使用不具有迫選答案的問題。本發明及各種實施例中之重複可藉由實行或不實行對終端使用者之評鑒及學習材料之重複、彼重複之頻率及每一重複內的內容之串結程度來控制。在其他實施例中，利用「隱蔽問題」之使用，其中系統需要學習者展現與每一問題群組相關聯的知識之更深刻理解。因為在隱蔽問題群組中之ampObject皆與同一適任能力相關聯，所以各種隱蔽問題之顯示致能更細微、但更深刻形式之可適性重複。

促發：將預先測試態樣用作系統中之基本測試方法。經由預先測試之促發起始知識記憶痕跡之某一態樣之形成，接著經由重複學習，來鞏固該該等記憶痕跡。使用本發明之態樣的學習形成具有某一有關主題之記憶痕跡，且接著鞏固彼路徑且建立用於使頭腦攫取特定知識的額外路徑。在本發明及其各種實施例中，可按許多方式控制促發切換項，諸如，經由使用正式預先評鑒，以及在學習期間之形成性評鑒之標準使用。

進程：進程切換項向學習者通知其對於一特定模組之進程，且按經由所有學習階段之圖形的形式對使用者呈現。

回饋：回饋切換項包括在提交答案時的立即回饋及在該輪次之學習部分中的詳細回饋兩者。關於學習者將問題答對或是答錯的至其之立即反映對學習者之專注及如在學習後評鑒上展現之成績具有顯著影響。可按許多方式來控制本發明及各種實施例中之回饋切換項，諸如，經由在每一ampObject中提供之回饋範圍(例如，提供對正確及不正確答案兩者之解釋對僅提供對正確答案之解釋)，或經由使用結合標準學習(其中標準學習方法併有形成性評鑒)的總結性評鑒。此外，在學習模組中，立即通知學習者關於其的回應之類別(例如，信賴且正確、部分確定且不正確；等)。

情境：情境切換項允許作者或其他管理角色模擬適當或所要的 情境，諸如，模擬特定知識之應用所需之條件。舉例而言，在具有2X正確計分之模組中，作者可組態該模組以一旦學習者已提供了信賴且正確回應則移除對特定問題不重要之影像或其他資訊。影像或其他媒體可置放於介紹中或問題自身中，且可在學習階段期間選擇性或作為補習之部分日常性地部署。本發明及各種實施例中之情境切換項使作者或管理員能夠使學習及研習環境儘可能緊密地反映實際測試或應用環境。實務上，若學習者將需要在無視覺輔助之幫助的情況下回憶資訊，則學習系統可經調適以將問題呈現給學習者，而無在學習程序之稍後階段的視覺輔助。若需要一些核心知識開始掌握程序，則可在學習程序之早期階段使用影像。此處之原理為在某一時間段上使學習者不依賴影像或其他支援性但非關鍵的評鑒及/或學習材料。在情境切換項之又一單獨但有關的組態中，作者可判定在特定ampObject或模組中需要多少百分比的基於情景之學習。

深思：此切換項具有各種組態選項。舉例而言，深思切換項允許作者在跨多個地點及格式之單一回應中提供知識及確定性兩者之同時評鑒。深思可由一初始問題、一基本類型問題、一基於情景之問題或一基於模擬之問題組成。此切換項需要正確答案(辨識答案類型)及信賴程度之同時選擇。此外，學習者必須在提供回應前對比且比較各種答案。其亦提供正確及不正確答案兩者之解釋之檢閱。此可由基於文字之答案、媒體增強型答案或模擬增強型答案提供。深思提供支援核心知識之額外知識，且亦提供用於學習之鞏固的簡單重複。此切換項亦可經組態至一次(1X)正確(熟練)或兩次(2X)正確(掌握)學習等級。實務上，當前正測試之資訊與學習者可能已知曉或已經測試之其他資訊相關聯。當思考您已知曉之事物時，您可聯想到此處學習以詳述及放大您正試圖學習之該條資訊。在作者角色中，可在深思切換項中將如上所述的隱蔽問題之使用實施為對照特定適任能力的更深刻 (精深)形式之學習。該系統亦可提供不同模擬格式之增強之支援，該等不同模擬格式提供將測試答案併入至模擬事件內之能力。學習模組中之較為「應用程式樣」的使用者介面契合學習者之動覺以及認知及情緒域。動覺組分(例如，將答案拖曳至所要的回應方塊)之添加經由更高階深思進一步增強長期保留能力。

間距：根據本發明之態樣及各種實施例的間距切換項利用內容至較小大小之片段的手動串結，較小大小之片段允許支援長期記憶之生物程序發生(例如，蛋白質合成)以及增強之編碼及儲存。此突觸加強依賴於在測試之間的某一量之休停，且允許發生記憶之加強。在本發明之各種實施例中，可按多個方式組態間距切換項，諸如，設定在一模組內每輪學習的ampObject之數目及/或每模組ampObject之數目。

確定性：確定性切換項允許在單一回應中同時評鑒知識及確定性兩者。此類型之評鑒對於學習者之知識分佈及總體學習階段之適當評估係重要的。知識(認知域)及確定性(情緒域)兩者之同時評估經由大腦中的記憶關聯性之建立增強長期保留能力。根據本發明之態樣及各種實施例的確定性切換項可藉由一次(1X)正確(熟練)或兩次(2X)正確(掌握)之組態來格式化。

專注：根據本發明之態樣及各種實施例的專注切換項需要學習者提供其知識之確定性之判定(亦即，需要學習者之情緒及關係判定兩者)。結果，學習者之專注提高了。亦可使用串結來更改學習者需要之專注度。舉例而言，ampObject之串結(每個模組的ampObject之數目，及每輪形成性評鑒及學習顯示的ampObject之數目)使學習者之專注聚焦於達成特定科目之掌握所需要的核心適任能力及相關聯之學習。此外，在學習及/或評鑒之所要的階段之醒目且引起興趣的回饋之提供確保學習者充分參加學習事件(對比因活動不與學習事件相關聯而分心)。

動機：根據本發明之態樣及各種實施例的動機切換項致能學習者介面，該學習者介面提供關於在任一給定模組、課程或教程內學習者在一或多個學習輪次內之進程之清晰指導。在各種實施例中之切換項亦可向學習者顯示定性(分類)或定量(計分)進程結果。

危險及獎賞：危險/獎賞切換項根據觸發多巴胺釋放且引起學習者之專注及好奇的基於掌握之獎賞排程而提供獎賞。因為當回應為信賴且不正確或部分確定且不正確時學習者被罰分，所以會表現危險。當進程圖形可在全部學習階段用於使用者時，可提高危險之意義。

註冊

本發明之態樣及各種實施例包括內建式註冊能力，藉此可添加使用者帳戶或自系統刪除使用者帳戶，可將使用者置於「作用中」或「非作用中」狀態下，且可將使用者(經由使用者帳戶)指派至系統中之各種評鑒及學習計畫。在本發明之當前實施例中，在註冊及資料分析應用程式中管理註冊。在一較早先實施例中，在三層統一應用系統中管理註冊。亦可在外部系統(諸如，學習管理系統或入口)中管理註冊，且經由技術整合將彼註冊資訊傳達至該系統。

學習管理系統整合

本發明之態樣及各種實施例具有作為獨立應用程式操作之能力或可與第三方學習管理系統(「LMS」)技術整合。具有在LMS中管理之各種評鑒及學習指派的學習者可藉由單一簽名能力或在無單一簽名能力之情況下在系統內發起及參與評鑒及/或學習。經由諸如航空工業CBT委員會(AICC)互通性標準、http post、網路服務及其他此等標準技術整合方法的多種行業標準實務致能技術整合。

角色替身

在該系統之各種實施例中，顯示具有簡明文字訊息的角色替身以按需要對學習者提供導引。訊息之性質(且當顯示角色替身時或在 顯示角色替身之情況下)可由系統之管理員組態。推薦使用角色替身來向使用者提供醒目的導引。舉例而言，角色替身可用以提供關於自學習者方面看來切換(以上描述)影響學習之方式的導引。在本發明中，角色替身僅對學習者而非作者或系統中之其他管理角色顯示。

ampObject庫之結構及指派

圖18說明根據本發明之態樣建構的ampObject庫之總體結構。在一實施例中，ampObject庫1800包含一後設資料組分1801a、一評鑒組分1801b及一學習組分1801c。後設資料組分1801a被分成與作者想要與每一ampObject相關聯的可組態項(諸如，適任能力、主題及副主題)有關之部分。除了後設資料組分之外，評鑒組分亦被分成與介紹、問題、正確答案及錯誤答案有關之部分。學習組分1801c進一步被分成一解釋部分及一額外學習部分。

亦包括模組庫1807，其含有用於操作性演算法之組態選項以及關於Bloom等級、應用程式、行為及額外適任能力之資訊。管理員或作者可按以下方式利用此等結構。首先，在1802處建立ampObject，在1803處建置用於ampObject之關鍵要素，且在1804處將內容及媒體組譯至ampObject內。一旦建立了ampObject庫1801，則藉由判定待包括於模組中之適當ampObject來建立模組1807。在建立了模組後，發佈學習指派。

服務導向式架構(SOA)及系統組分及角色：

返回參看(例如)圖3，在高階，系統架構300為服務導向式架構(SOA)，其利用經由服務中之每一者耦合的多層(「n層」)架構。系統架構300包括若干相異應用程式組分，其中包括下列各者中之一或多者：系統管理應用程式、內容管理系統(CMS)應用程式、學習應用程式及註冊及資料分析(RDA)應用程式。

內容管理系統角色：CMS致能系統內之某些角色，包括內容作 者、內容管理者、資源庫管理員、發佈者、翻譯者、檢閱者及CMS管理員。內容作者角色提供建立學習物件且隨著時間過去維護該等學習物件之能力。資源庫管理員角色提供管理可用以建立用於學習者之內容的資源庫之能力。翻譯者角色提供將內容翻譯成另一語言且另外針對正管理系統之地點調整系統之能力。內容管理者角色提供管理作者、資源庫管理員及翻譯者全體工作人員之能力。發佈者角色提供管理教程之組織結構且決定發佈工作之時間及準備新版本的現有工作之時間之能力。檢閱者角色提供在發佈前提供關於內容之回饋之能力。CMS管理員角色提供組態知識評鑒系統用於在任一特定組織內使用之能力。

內容作者之目標：內容作者經調適以提供包括下列各者中之一或多者的若干功能：a.建立強制性且資訊性的學習物件(ampObject)，b.指明學習物件支援之後設資料/歸類，c.使學習物件可用於由「我的團隊」上之其他者使用--例如，併入至模組內，d.將學習物件指明為「凍結」，使得特定創作團隊知曉其處於最終形式且不期望有更多改變，e.對學習物件「貼標籤」，使得使用者稍後可易於找到該等學習物件，f.看一學習物件對學習者而言看起來可能像何物，g.看誰建立了學習物件及誰最近處理該學習物件，h.看學習物件正用於何處，i.當到了開始更新現有內容的時間時，建立經凍結或發佈之學習物件之新版本，j.指明學習物件(或一特定版本之學習物件)因「止用」而過時， 使得其不再可用於(新的)使用，k.看學習物件之版本歷史，l.將外部內容匯入至系統內，m.按待在系統外部使用之格式匯出內容，n.將學習物件組合至模組(評鑒及/或學習模組)內，o.將模組組合至更高階教程結構(例如，課程、計畫、課等)內。

內容資源庫管理員之目標：內容資源庫管理員經調適以提供包括下列各者中之一或多者的若干功能：a.將現有資源上載至資源庫內，用於由任一給定團隊上正建立學習物件或教程之作者使用，b.上載或建立新資源，c.當需要時，更新現有資源，d.建立已經發佈的資源之新版本，e.看資源正用於何處，f.將外部內容匯入至系統內，g.對資源「貼標籤」，使得系統使用者稍後可易於找到該等資源，h.看誰建立了資源(及時間)及誰最近處理該資源(及時間)。

內容翻譯者之目標：內容翻譯者經調適以提供包括下列各者中之一或多者的若干功能：a.建立在處於進程中或已經發佈的工作中之學習物件之翻譯(且在一些情況下，本地化)，b.當更新工作時，更新現有翻譯(本地化)，c.看針對學習物件存在何翻譯及何處仍需要執行翻譯，d.驗證系統充分支援所需之語言，且若系統不充分支援所需之語言，則將輸入提供至學習應用程式及入口。

如上文所使用，「翻譯」為在另一語言下對現有內容之表達。「本地化」為針對一特定地理(或種族)地區的翻譯之微調。以實例說明，英語為一語言；美國及英國為在此等兩個地點中存在英語使用之一些差異(拼讀、單詞選擇等)的地點。

內容管理者之目標：內容管理者經調適以提供包括下列各者中之一或多者的若干功能：a.按適合於我的組織及團隊結構之方式組織內容(學習目標及資源)，b.將角色指派至團隊成員，c.准許團隊之成員(及潛在，亦有其他人)存取內容(讀/寫/無操作)，d.管理一特定內容將經建立以支援之一組歸類，e.指導作者、資源庫管理員、檢閱者及翻譯者之工作，f.確保在發佈前正確地進行檢閱程序，g.在內容發佈前將其凍結，h.管理在內容之建立及規劃中使用之一組風格，i.將一模組(或內容之集合)公佈在其可由內部及外部使用者檢閱用於評論之處，j.設定一模組之計分及呈現選項。

內容發佈者之目標：內容發佈者經調適以提供包括下列各者中之一或多者的若干功能：a.建立反映管理及發佈工作之方式的教程組織結構，b.建立將已經建立之內容拉在一起之模組，c.識別每一模組經設計以支援之歸類(或學習結果)，d.看教程之現有內容及要素正用於何處，e.按多個翻譯發佈教程， f.識別教程之現有內容及要素之再使用之機會，g.決定工作準備發佈(包括已完成之翻譯)之時間，h.決定開始處理發佈之工作的新版本之時間，i.決定發佈經發佈之工作的翻譯(本地化)之時間。

內容檢閱者之目標：內容檢閱者經調適以提供包括下列各者中之一或多者的若干功能：a.針對完整性、語法、格式化及功能性檢閱內容。在此情況下，功能性意謂確保連結正正確地工作且發起，以及影像、視訊及音訊正正確地播放或顯示且適當地使用，b.提供對內容之回饋及建議之改變，c.檢視來自其他檢閱者之評論，d.讓其他人知曉其檢閱完成之時間。

CMS管理員之目標：CMS管理員經調適以提供包括下列各者中之一或多者的若干功能：a.管理子帳戶(僅對於頂級帳戶之管理員)，b.管理使用者角色、存取及權限(與管理者一起)。

學習系統角色：學習系統或應用程式950通常提供完成指派且掌握至特定學習者之內容之能力。

學習者之目標：學習者經調適以提供包括下列各者中之一或多者的若干功能：a.掌握來自課程之資訊，b.提高對知識及技能之信賴度，c.具有學習時快樂且吸引人的體驗，d.具有儘可能有效率且有效地學習之能力，e.與社交網路(twitter、Facebook、Chats等)共用資訊，f.看指派及狀態、到期日等， g.看與指派相關聯之預先要求及之後要求(例如，額外學習、文件、連結)，h.起始、繼續或完成學習指派，i.檢閱已完成之學習指派，j.再新來自先前學習指派之知識，k.自我註冊且直接進入學習應用程式，l.下載且列印針對已完成的指派之憑證，m.具有在舒適、方便且熟悉之環境下的學習體驗，n.知曉我在學習進程中何處--例如，模組中的問題之總數、一特定問題集合中剩餘的問題之數目、消逝的時間、掌握等級、得分，o.體驗在學習者之本國語言下之學習。

註冊及資料分析(RDA)角色：RDA 308致能系統內之某些角色，包括註冊員、講師、分析員及RDA管理員之角色。註冊員之角色為管理系統中的學習者帳戶及學習者指派。講師之目標為檢視關於所有學生、一子集之學生或一個學生之結果的資訊。分析員之目標為針對一特定組織或個人理解學習者成績及活動。RDA管理員之目標為組態RDA，用於在任一特定組織內使用。

註冊員之目標：註冊員經調適以提供包括下列各者中之一或多者的若干功能：a.管理系統中之學習者，包括建立新學習者及撤消現有學習者，b.針對一或多個教程要素(例如，模組、書本等)註冊學習者，c.修改現有註冊，包括取消或替代現有註冊，d.上載關於學習者及其註冊(包括新註冊及對現有註冊之更新)的資訊之檔案，e.檢視學習者的所有註冊之狀態，f.針對一指派或一群指派檢視所有學習者之狀態， g.檢視一特定活動，例如，會話、完成、註冊等，h.將電子郵件或訊息發送至學習者，i.檢視已發送至學習者的電子郵件或其他訊息之清單，j.列印學習者之憑證。

講師之目標：講師經調適以提供包括下列各者中之一或多者的若干功能：a.看關於所有學習、一子集之學生或一個學生之結果的資訊，包括找到擅長領域及/或薄弱領域之能力，b.調適課計劃以解決學生之薄弱領域。

分析員之目標：分析員經調適以提供包括下列各者中之一或多者的若干功能：a.檢視關於註冊及指派之狀態的資訊，b.檢視關於在系統上之活動(諸如，新指派、已完成之指派或使用者會話)的資訊，c.檢視關於學習者在一詳細等級處之成績的資訊，例如，歸類之區、完成一問題的呈現之數目、完成模組之時長，d.提供經由線上互動探究資訊(深度探討)之選項，e.提供攫取資訊使得可完成離線分析(報告、匯出、資料下載)之選項。

RDA管理員之目標：RDA管理員經調適以提供包括下列各種中之一或多者的若干功能：a.指明在註冊期間收集之人口資料，b.訂製自我註冊頁面，c.對特定使用者指派或不指派RDA角色。

添加系統目標及角色：知識管理系統亦可包括下列功能及能力中之一或多者： a.增加知識獲取之速度，b.提供企業級內容管理能力，c.提供學習應用程式之企業級可擴充性，d.與外部學習管理系統整合，e.匯入來自外部內容管理系統之內容，f.使學習者能夠在不提供個人可識別之資訊的情況下使用系統，g.按帳戶或組織追蹤發佈之內容的使用，h.使每一學習者與一帳戶或組織相關聯，i.使每一帳戶或組織與一帳戶程式碼相關聯，j.按帳戶或組織(例如，學習者、有效學習者、新註冊、完成及使用小時數)追蹤學習者活動，k.與第三方軟體整合，l.追蹤且報告由所有角色(管理者、發佈者、管理員等)使用之資料，m.追蹤在學習物件等級處之內容使用，n.建立內部報告以提供所有消費者類型之預應式支援。

圖19說明呈電腦系統1900之形式的機器之一實施例之圖解表示，可在電腦系統1900內執行用於使一裝置執行本發明之態樣及/或方法中之任何一或多者的一組指令。電腦系統1900包括經由匯流排1915彼此通信且與其他組件通信之處理器1905及記憶體1910。匯流排1915可包括使用多種匯流排架構中之任一者的若干個類型之匯流排結構中的任一者，包括(但不限於)記憶體匯流排、記憶體控制器、周邊匯流排、區域匯流排，及其任一組合。

記憶體1910可包括各種組件(例如，機器可讀媒體)，包括(但不限於)隨機存取記憶體組件(例如，靜態RAM「SRAM」、動態RAM「DRAM」等)、唯讀組件及其任何組合。在一實例中，包括幫助在 電腦系統1900內之元件之間傳送資訊(諸如，在起動期間)之基本常式的基本輸入/輸出系統1920(BIOS)可儲存於記憶體1910中。記憶體1910亦可包括(例如，儲存於一或多個機器可讀媒體上)體現本發明之態樣及/或方法中之任何一或多者的指令(例如，軟體)1925。在另一實例中，記憶體1910可進一步包括任一數目個程式模組，包括(但不限於)作業系統、一或多個應用程式、其他程式模組、程式資料及其任何組合。

電腦系統1900亦可包括一儲存裝置1930。儲存裝置(例如，儲存裝置1930)之實例包括(但不限於)用於自硬碟讀取及/或寫入至硬碟之硬碟機、用於自可移除式磁碟讀取及/或寫入至可移除式磁碟之磁碟機、用於自光學媒體(例如，CD、DVD等)讀取及/或寫入至光學媒體之光碟機、固態記憶體裝置及其任何組合。儲存裝置1930可藉由一適當介面(未圖示)連接至匯流排1915。實例介面包括(但不限於)SCSI、進階附接技術(ATA)、串列ATA、通用串列匯流排(USB)、IEEE 1394(FIREWIRE)，及其任何組合。在一實例中，儲存裝置1930可與電腦系統1900可移除地介面連接(例如，經由一外部埠連接器(未圖示))。特定言之，儲存裝置1930及相關聯之機器可讀媒體1935可提供用於電腦系統1900的機器可讀指令、資料結構、程式模組及/或其他資料之非揮發性及/或揮發性儲存。在一實例中，軟體1925可完全或部分設置於機器可讀媒體1935內。在另一實例中，軟體1925可完全或部分設置於處理器1905內。電腦系統1900亦可包括一輸入裝置1940。在一實例中，電腦系統1900之使用者可經由輸入裝置1940將命令及/或其他資訊鍵入至電腦系統1900內。輸入裝置1940之實例包括(但不限於)文數字輸入裝置(例如，鍵盤)、指標裝置、操縱桿、遊戲板、音訊輸入裝置(例如，麥克風、語音回應系統等)、游標控制裝置(例如，滑鼠)、觸控板、光學掃描儀、視訊攫取裝置(例如，靜態相機、視訊 攝影機)、觸控式螢幕，及其任何組合。輸入裝置1940可經由多種介面(未圖示)中之任一者介面連接至匯流排1915，該等介面包括(但不限於)串列介面、並列介面、遊戲埠、USB介面、FIREWIRE介面、至匯流排1915之直接介面，及其任何組合。

使用者亦可經由儲存裝置1930(例如，可移除式磁碟驅動器、隨身碟等)及/或網路介面裝置1945將命令及/或其他資訊輸入至電腦系統1900。網路介面裝置(諸如，網路介面裝置1945)可用於將電腦系統1900連接至多種網路中之一或多者(諸如，網路1950)及連接至其之一或多個遠端裝置1955。網路介面裝置之實例包括(但不限於)網路介面卡、數據機，及其任何組合。網路或網路區段之實例包括(但不限於)廣域網路(例如，網際網路、企業網路)、區域網路(例如，與辦公室、建築物、校園或其他相對小的地理空間相關聯之網路)、電話網路、兩個計算裝置之間的直接連接，及其任何組合。諸如網路1950之網路可使用有線及/或無線通信模式。一般而言，可使用任一網路拓撲。可經由網路介面裝置1945將資訊(例如，資料、軟體1925等)傳達至電腦系統1900及/或自電腦系統1900傳達資訊。

電腦系統1900可進一步包括一視訊顯示配接器1960，用於將可顯示影像傳達至顯示裝置(諸如，顯示裝置1965)。顯示裝置可用以顯示與可歸因於消費者之污染影響及/或污染抵消有關的任何數目個及/或多種指示符，如上所論述。顯示裝置之實例包括(但不限於)液晶顯示器(LCD)、陰極射線管(CRT)、電漿顯示器及其任何組合。除了顯示裝置之外，電腦系統1900亦可包括一或多個其他周邊輸出裝置，包括(但不限於)音訊揚聲器、印表機，及其任何組合。此等周邊輸出裝置可經由周邊介面1970連接至匯流排1915。周邊介面之實例包括(但不限於)串列埠、USB連接、FIREWIRE連接、並列連接，及其任何組合。在一實例中，音訊裝置可提供與電腦系統1900之資料有關的音訊 (例如，表示與可歸因於消費者之污染影響及/或污染抵消有關的指示符之資料)。

若需要，可包括一數位轉換器(未圖示)及一伴隨之手寫筆，以便以數位方式攫取徒手輸入。筆數位轉換器可單獨來組態或與顯示裝置1965之顯示區共同延伸。因此，數位轉換器可與顯示裝置1965整合，或可作為覆疊或以其他方式附加至顯示裝置1965之單獨裝置存在。顯示裝置亦可按具有或不具有觸控式螢幕能力之輸入板裝置的形式體現。

行業應用

1.認證

基於信賴度之評鑒可用作基於信賴度之認證工具，作為預先測試實務評鑒及學習工具。作為預先測試評鑒，基於信賴度之認證程序將不提供任何矯正，而僅提供得分及/或知識分佈。基於信賴度之評鑒將指示在正呈現的任何認證材料中，個人是否具有任何信賴地持有之誤教。此將亦對認證主體提供禁止誤教存在於一給定科目領域內之認證的選項。由於CBA方法比當前一維測試精確，因此基於信賴度之認證增加了認證測試之可靠性及認證裁決之有效性。

在將系統用作學習工具之情況下，可在系統中對學習者提供完全形成性評鑒寬度及學習表現以輔助學習者識別特定技能差距且矯正性地填充彼等差距。

2.基於情景之學習

基於信賴度之評鑒可適用於可適性學習方法，其中一個答案產生關於信賴度及知識之兩個量度。在可適性學習中，使用視訊或情景描述一情形幫助個人完成支援個人之學習及理解的做決策程序。在此等基於情景之學習模型中，個人可重複該程序許多次以對其將處置一給定情形之方式變得熟悉。對於情景或模擬，CBA及CBL藉由判定個 人在其決策程序中之信賴性來添加新的元數。使用基於情景之學習方法的基於信賴度之評鑒之使用使個人能夠識別其未受教之處及在其成績及行為中有懷疑之處。重複基於情景之學習直至個人變得充分信賴增加了個人將迅速且一致地反應(作為其培訓之結果)之可能性。CBA及CBL亦為「可適性的」，此係由於每一使用者基於其自己的學習天賦及先前知識與評鑒及學習互動，且學習將因此對每一使用者高度個人化。

3.調查

基於信賴度之評鑒可作為併有三個可能答案之選擇的基於信賴度之調查工具而應用，其中個人指示其對一主題之信賴度及關於一主題之選項。如先前，個人自七個選項選擇一答案回應以判定其對一給定主題之信賴度及理解或其對一特定觀點之理解。問題格式將與具有徵求理解及信賴度資訊兩者之產品或服務領域的屬性或比較分析有關。舉例而言，營銷公司可能會問「下列哪者為陳列新薯片產品之最佳位置？A)收款處；B)與其他零售產品一起；C)在過道盡頭處。」銷售人員不僅對消費者之選擇感興趣，且亦對消費者對該選擇之信賴或懷疑感興趣。添加信賴元數增加了個人對答案調查問題之參與度且給予銷售人員更豐富且更精確的調查結果。

根據本發明之另外態樣提供學習支援，其中基於學習者之可量化之需要(如在知識評鑒分佈中反映)或按如在本文中呈現之其他成績量測分配學習資源。因此，本發明之態樣提供用於根據學習者擁有的真實知識之廣博度分配學習資源之方式。與通常需要學習者當其未通過時重複全部課程之習知培訓相比，本文中揭示的本發明之態樣促進藉由指導學習、再培訓及再教育之需要將諸如學習材料、講師及學習時間之學習資源分配至科目被誤教或未受教之彼等實質性領域。

由系統實現的本發明之其他態樣對使用者提供或呈現「個人培 訓計劃」頁面。該頁面顯示根據各種知識區域整理及分群之詢問。該等分群之詢問中之每一者超連結至正確答案及向學習者詢問之其他相關實質性資訊及/或學習材料。視情況，問題亦可超連結至線上資訊參考或場外設施。替代將時間浪費在檢閱涵蓋測試詢問之所有材料，學習者或使用者可僅必須集中於關於需要專注或再教育之彼等領域的材料。可易於藉由聚焦於誤教及部分受教之領域來識別及避免關鍵資訊錯誤。

為了實現此功能，評鑒分佈映射至資訊資料庫及/或實質性學習材料或與資訊資料庫及/或實質性學習材料有關，資訊資料庫及/或實質性學習材料儲存於系統中或諸如在組織之區域網路(LAN)內或在全球資訊網中之資源的系統外設施處。向學習者呈現該等連結以用於檢閱及/或再教育。

此外，本發明進一步提供測試詢問與制定該等測試問題所依據的感興趣之相關材料或事物之自動交叉參考。此能力有效且有效率地促進培訓及學習資源至真實需要額外培訓或再教育之彼等領域的部署。

另外，藉由本發明，可易於量測與再培訓及/或再教育相關聯之任何進程。在再培訓及/或再教育事件後，(基於先前成績結果)可藉由測試詢問之部分或全部對學習者重新測試，可自此形成第二知識分佈。

在所有前述應用中，本發明方法給出了知識及資訊之更準確的量測。個人獲悉猜測會被罰分，且承認懷疑及不知比假裝信賴要好。其將其注意力自參試策略及試圖使得分變大朝向其實際知識及信賴度之誠實的自我評鑒改變。此向受試者以及組織給出關於誤解、未知、懷疑及掌握之領域及程度的豐富回饋。現在已充分闡明了較佳實施例及本發明基礎概念之某些修改，在熟悉了基礎概念後，熟習此項技術 者將明顯地瞭解各種其他實施例以及本文中展示及描述的實施例之某些變化及修改。因此，應理解，可與如在本文中所特定闡明者不同地來實踐本發明。

100‧‧‧知識評鑒方法及學習系統

102‧‧‧應用程式

104‧‧‧管理員

106‧‧‧作者

108‧‧‧註冊員

110‧‧‧分析員

112a‧‧‧學習者

112b‧‧‧學習者

112c‧‧‧學習者

Claims (1)

1. 一種用於知識評鑒及學習之服務導向式系統，其包含：一顯示裝置，其用於在一用戶端終端機處向一學習者顯示複數個多重選擇問題及二維答案；一管理伺服器，其經調適以管理該系統之一或多個使用者；一內容管理系統伺服器，其經調適以提供一介面用於該一或多個使用者建立及維護一學習資源庫；一學習系統伺服器，其包含學習材料之一資料庫，其中該複數個多重選擇問題及二維答案儲存於該資料庫中用於對該用戶端終端機之選定遞送；一註冊及資料分析伺服器，其經調適以建立及維護關於該等學習者之註冊資訊；用於知識評鑒之該系統執行以下一方法：將該複數個多重選擇問題及其二維答案傳輸至該顯示裝置，該等答案包括由單一選擇答案組成之複數個完全信賴答案、由多個單一選擇答案之一或多個集合組成之複數個部分信賴答案，及一不確定答案；藉由經由該顯示裝置對該學習者呈現該複數個多重選擇問題及對其之該等二維答案來給予一評鑒，且經由該顯示裝置接收該學習者對該等多重選擇問題之選定答案，藉由該等選定答案，該學習者指示其實質性答案及其答案之信賴類別之等級；及藉由將一知識狀態名稱指派至該學習者的該等答案中之至少一者來對該評鑒計分。