TW454134B - Method for collection and identification of automatic dynamic testing subjects - Google Patents

Description

A7 B7 4541 34 ^ ' 太、發明説明 【技術領域】 '' 本發明係關於_種自動化動態測驗題目收集與鑑別之 :法’特別是關於—種自動化動態測驗題目收集與鑑別 方法。 5【先前技術】 Μ隨著電腦網路的發展，我們可以很容易的取得遠端的 育料與訊息，並分享彼此的資源。舉例而言’透過網路我 們可以取得遠端的課程教材，使得遠距教學(distantl_ing) 成為教育或者訓練的管道之一。 10 ㈣成果之測驗亦然。有別於傳統定時、定點的測驗 方式’市面上-些透過電腦化、網路化的電腦輔助測驗系 統(Computer Assisted Testing System)，不但使受試者擁有更大 的彈性，教師也可經由圖形化的分析，快速且準確地對測 驗成績作判斷，以提高教學品質。 b 目前在市面上可以看到的軟體大致分為下列兩類： 一、 軟體套件(Packages)[l]: 經濟部智慧財產局員工消費合作社印製- 將整套軟體儲存在磁片（或光碟）裡，除了廠商内附的 題庫外，其餘題目均需由使用者自行（一人或數人)加入， 但因只能在單一的PC上建構，並無網路功能，故題庫增 20長速度有限。且考卷之編排亦須由人工操作。 二、 網路測驗，大致上可分為四類： a)課堂用[2]: 已有線上測驗功能’但題庫僅能由老師自行建 構。具隨機選取題目之功能。 454134 A7 B7

_PAaRd385_TWP - 4/1Q 經濟部智慧財產局員工消費合作社印製_ 五、發明説明（ZJ b) 網路補習班[3]: 具線上測驗的功能，且題目由電腦隨機選取。 題庫由廠商設計，沒有其他出題的管道。 c) 測驗服務網站[4]: .5 與前一項類似，但教師可以隨時出題，也有測 驗狀況的回報與分析。沒有看到題目鑑別的功能。 當然學生也無法出題。 d) 標準測驗機構[5]: 一般公認最具權威性的測驗系統，如TOFEL， 10 GRE，GMAT等電腦化測驗，但因其定位過於明 4，較不具彈性，故難以普及於一般教育單位，如 學校、補習班等。 上述的伺服器雖然已具備基本功能，此時衍生出來的 問題是：如何快速擴充題庫且提高題庫的品質？題庫中題 15目的質與量影響這類系統的實施成效，一個裝有題庫功能 的伺服器的機構(假設為一中學），要如何在有限的時間、 人力資源的情況之下，有效的增加題庫的内容？ 一旦有足 夠的題目進入了題庫，我們要怎樣才能確定這些都是合格 的（qualified)，適合用來作測驗？ 20 針對這兩項，我們已設計製作完成的DIYExamer系統[6] 增加了一些突破性的功能來因應--學生個人出題（Do It Yourself，DIY)、題目鑑別與題庫共享。 關於習知測驗題目收集與鑑別之方法我們以各種 Keyword組合，查詢相關專利，結果請見附件。 -4 - (請先閲讀背面之注意事項再庐頁) •裝· 訂 線 本紙悵尺度適用中國國家標準（CNS ) A4規格（210X297公釐） 454134 A7 B7

twp - fi/iQ 五、發明説明（》） 以 computer assisted testing 查得 1 筆，以 education AND internal consistency 查得 4 筆，以 test acquisition 查得 16 筆，以 test evaluation AND. internal.consistency查得 1 筆，以 education AND test evaluation 查得 2筆，其中，僅有 1筆 United States Patent 5 4,787,036題目看似相關’但由其摘要中得知與本發明無 關。 由此可見，上述習用方法仍有諸多缺失，實非一良善 之設計者，而亟待加以改良。 本案發明人鑑於上述習用測驗題目收集與鑑別之方法 10 所衍生的各項缺點’乃亟思加以改良創新，並經多年苦心 孤詣潛心研究後，終於成功研發完成本件自動化動態測驗 題目收集與鑑別之方法。 【發明目的】 針對上述缺點本發明之目的即在於提供一種自動化動 15 態測驗題目收集與鑑別之方法， 1、 學生個人出題(DIY) 所謂『積沙成塔、積水成河』’一項困難的工作， 如果可以集眾人之力來完成，則·任務將不再難矩；同樣 的’除了老師之外，如果可以動員所有的學生，在沒有 20時、地限制的狀況之下貢獻題目’那題庫的增長速度〗字不. 可同日而語。 2、 題庫共享： 即由不同機構管理的數個伺服器’其題目可以互相取 用。這種類似分散式系統的多伺服器架構不但加快題目蒐 本紙張尺度逋用中國國家標準（CNS〉A4規格（，21〇Χ297公釐〉 (請先闆讀背面之注意事項再填寫本頁)

、1T -京. 經濟部智慧財產局員工消費合作社印製- A7 B7 454134 五、發明説明（f ) 集的速度’更可促成不同測驗族群之間的溝通與比較。例 如假設有兩所不同的國中互相分享題庫，則不僅老師們可 以互相比較出題的技巧、風格，學生也可以因而受惠，接 觸到各式各樣的題目’增加測驗的效果，同時增加題庫整 ’ 5體客觀性。這種無形增益可說是難以估計。 3、題目鑑別： 要有DIY的功能’題目鑑別絕對是不可或缺的一環。 DIYExamer的資料庫有兩種：主要（Main )和暫時 (Temp )，前者為.合格的正式題庫，後者為待測試鑑別 10區，專門放DIY的題目（老師出的則可以選擇要放在^^匕或 是Temp)。對於一份試卷規格(Test Profile)老師可以選擇題 目由Main及Temp選取的比例，以鑑別Main及Temp的題目。 DIYExamer伺服器會在每一份隨機產生的試卷考完之後對 所考題目的難度與鑑別度做計算更動，經過某個程度的測 15 試篩選之後’ Temp的題目可以升級到Main ;而Main裡的題 目也不一定就是最好’ 一段時間後可能會因各方面的變遷 而變得不再適合，此時經由此鑑別的流程，可以將題目由 Main降為Temp，甚至再由系統刪除。 【技術内容】 20 具有上述優點之本件自動化動態測驗題目收集與鑑別 之方法，係可以單獨獨立運作，並提供使用者進行測驗等 功能。如果要擴充所使用之題目（Test Item )，亦可加入 題目聯盟（Test Union )。然後即可享用所有Test Union中的 資源。而DIYExamer伺服器本身主要支援三大功能，分別 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） -ι {請先聞讀背面之注意事項再填頁〕 -訂 -線· 經濟部智慧財產局員工消費合作社印製·

五、發明説明（（^ } 10 經濟部智慧財產局員工消費合作社印製-

454134 為.出τί|，鑑別，測驗。每一個DIYExamer飼服器都可經 由網路和其他的DIY£xamer伺服器合作，只需透過題庫共 旱層-TestBase Sharing Layer(TSL)即可。TSL是介於使用者互 動層（InteractiveLayer)和資料庫之間，它可以提供以下幾 5項功能：丨.處理輸入的資料。2·與當地（Local )資料庫進 行互動。3.在題庫中選取題目。再藉由計算鑑別度的演算 法，，始可達成本發明之目的。 【圖式簡i說明】 請參閱以下有關本發明一較佳實施例之詳細說明及其 附圖，將可進-步瞭解本發明之技術内容及其目的功效/;、 有關該實施例之附圖為： ’ 、為本發明自動__驗題目㈣與鑑別 之系統架構圖； 电 圖二(a)為十名學生對十個題目的原始測驗資料 本紙張U適用中國國家標準（CNS ) Α4· ( 21GX^J7

454134 五、發明説明（& ) A7 B7 PA880385.TWP - 8/19 10 15 經濟部智慧財產局員工消費合作社印製 20 圖； 圖四（b)為十名學生成績之分佈圖； 梦別U)為利用本發明自動化動態測驗題目收集與 鑑別之方法之評鑑圖表； 圖五（a)為十名學生斟 對十個喊目的原始測驗資料 圚， 圖五（b)為十名學生成績之分佈圖； ，圖五⑴為利用本發明自動化動態測驗題目收集血 鑑別之方法之評鑑圖表； 、 圖六（a)為十名學生對 土 2了卞個喊目的原始測驗資料 圖.； ' 圖六（b)為十名學生成績之分佈圖A;以及 圖六（c)為十名學生成績之分佈圖b。 【主要部分代表符號】 11使用互動層 12題庫共享層 13資料庫 14遠方其他題庫系 統 【較佳實施例】 我們先對實施例中會用到的名詞做一個解釋： 1.題目（Testltem):每一個在資料庫中獨立的題目都 叫做Test Item，凡是有固定解答，且系統能自動判斷欠題 正確與否的題目均可，現有系統支援選擇題。 2·題庫（Test Base):同一個Subject中所有的題目構成 一個 Test Base。 (請先閱讀背面之注意事項本頁) -裝- -5. 線 本紙張又度適用中國國家標準（CNS ) A4規格（210X297公釐） 54 134 A7 !---- B7 PA880385.TWP _ 9/19 五、發明説明（rp 3.試卷規格（Test Profile ) : Test Profile是用來定義試卷 的規格’ DIYExamer系統會根據Test Profile所設定的各項資 料’如：題目數目’測驗時間，題目難度與鑑別度，科目 章節等資料自動產生一份符合設定的試卷。 5 4.Test :即由一個Test Profile產生的一份試卷。 5 _題目聯盟（Test Union ):由數個DIYExamer伺服器所 組成的一個網路分散式的題庫系統，每個單一的 DIYExamer伺服器可以和其他的伺服器共享題庫中所有的 題目。 10 系統架構 請參閱圖一 ’為本發明所提供之自動化動態測驗題目 收集與鑑別之方法之系統架構圖，由圖中可知，本發明 DIYExamer伺服器可以單獨獨立運作，並提供使用者進行 測驗等功能。如果要擴充所使用之題目（Testltem)，亦 15 可加入題目聯盟（Test Union)。然後即可享用所有題目聯 盟（Test Union)中的資源。而DIYExamer伺服器本身主要 支援三大功能’分別為：出題，鑑別，.測驗。 經濟部智慧財產局員工消費合作社印製 每一個DIYExamer伺服器都可經由網路和其他的 DIYExamer伺服器合作，只需透過題庫共享層12-TestBase 20 Sharing Layer(TSL)即可。TSL是介於使用互動層11 (Interactive Layer )和資料庫1 3之間，它可以提供以下幾 _.項功能· 1.處理輸入的資料·. 所有使用者的資料都可經由使用互動層輸入，就是使 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐》 454134 A7 B7 PA880385.TWP - 10/19 經濟部智慧財產局員工消費合作社印製 五、發明説明（g) 用者機器上的劉覽器（Browser)及共同通道介面.（Common Gateway Interface,CGI)所構成的表格（FORM )來接受使用 者各式的輸入資料。 2. 與當地資料庫進行互動： 5 使用者帳號，測驗題目，測驗紀錄等等資料都可加入 到資料庫1 3中或從中刪除。這些動作都是經由CGI中的程 式來完成。 3. 由題庫中中選取題目： 如果DIYEXAMER伺服器有加入TestUnion的話，則在測 10 驗產生試卷時，就可到遠方DIYExamer伺服器的題庫系統 14中抓取題目，以隨機的次序依比例到其他各個伺服器 抓取。鑑別方法 鑑別度最主要的目的就是要分辨出題目鑑別學生程度 15 的功效，一個好的題目，也就是鑑別度高的題目，要讓較 好的學生答對，同時也要讓沒用心準備測驗的同學答錯， 這樣的試題才能夠分出學生高下，如此才能夠讓測驗顯得 更有意義。我們分成四個部分說明這個方法：1.原始想法 20 所以在分析題目的時候，要讓成績高的學生所答對的 題目之鑑別度提高，答錯的鑑別度要降低，同時也要讓成 績低的同學所答對的題目之鑑別度降低，答錯的鑑別度要 提南。因此在本分析之計鼻當中’最主要的就是要看學生 答題的答對題數和答錯題數所佔的百分比來當做參考依 -10- 本紙張尺度適用中國國家標準（CNS ) A4規格（2\0X297公釐） (請先閱讀背面之注意事項/L寫本頁) 裝· -'3 線 454134

五、發明說明（ 消 據，也就是說每個學生對每—份試卷都有答對和又錯的百 分比，若有-題目該學生答對，則以其答對的百=數加 至此通原本的鑑別總數(總鑑別數乃是每位答過某題目的 學生對此題鐘別度的總和，鐘別總數除以答過此題目人數 之值即為鑑別度），然、後再把答過此題目的人數加―，最 後把此題的鑑別總數除以答過此題的人數，所得的商數即 是此題目前的鑑別度。反之若是該學生答錯，則料生此 份考卷答錯的百分比數加至此題原本的鑑別總數，再把答 過此題目的人數加-，最鐘別總數除以答過此題的人數: 商數即是此題目前的鑑別度。 2.背後原因 一如此的計算便可以看出’好的學生由於答對比率較 向，若答對某題目時則會以此比率數字正向影響該題目之 越好的學生答對的比率越高，於是對鑑別度的提 幫助就越大’相反來看，越差的學生答對的比率越低， 此時若該學生答對此題，則以其答對的比率來計算鐘別度 的话，則會降低該題平均後之鑑別度。若以答錯時來看， 由於越好的學生答錯的比率越低，若此生答錯此題時會降 低鑑別度，而越差的學生答錯的比率越高，若該生交錯此 題f會增加題目的鑑別度。用這樣的方法累計所有^過 此題目之學生的累加鑑別總數，再除以學生數 計算之後所得的鑑別度。 吏疋+均 3.修正後之想法 另外，如果把所有考過的學生都列入計算，則那些成 L—"11* 本紙張尺_驗（2w;ri7^ ίο 15 缘 20 3 4 五、 A7 B7 發明說明 (^) τννπ丨山 10 15 經濟部智慧財產局員工消費合作社印製 20 績中等的學生不管答對或答錯，對於鑑別度的修正程度不 大也不小，會降低好題目的鑑別度，以及提高不良題目的 鑑別度，造成所有題目之間的鑑別度差異性拉近，而使得 分辨題目好壞的功能降低，因此只採取成績分數上的前 30%和後30%的學生列入鑑別計算；此方法就是以目前答過 本題目的最高分者和最低分者的成績差值，分為1〇〇等分 虽作是100%的差距，只取成績在7〇%〜1〇〇%以及成績在 0°/。〜30%部分的學生列入鑑別度計算。不使用傳統内部一 致性分析法[7]採取名次上最前和最後的3〇%學生，是因為 這樣就得記錄每個答過此題目的學生成績，這個成績數字 會越來越多，造成系統要記錄太多資料，且每次都要重新 排序，再加上越多的資料排序會越慢，這樣會造成系統在 =貝源空間和處理時間上越來越大的不必要負擔；而本方法 只記錄目前最高和最低分的方式，因此能夠以最節省空間 和時間的狀況下完成鑑別的計算。 4.計算鑑別度的演算法 假設有一題目，為其鑑別總數，已有p 個學生答過’現在有第Λ個學生答此題，此學生在一份包 含此題的試卷中的答對題數是了，答錯題數是F，為本 題之對錯，答過此題的學生1至Λ 中最高答對率為 ’最低谷對率為，高標準答對率為说，低標準 答對率為G7(高標準與低標準是用來決定此第刀個學生能 否影響此題之鑑別度），則此題之鑑別度(Discriminati〇n)算 法為： 12-

經濟部智慧財產局員工消費合作社印製 13 4 a7 B7 —-—--*-PA880&e5.TWP 13/10 五、發明說明（) ii{{TI{T+F)>Gh) or (T/(T+F)<Gl)) { if (T/(T+F)>Gmax) Gmax = T/{T+F) Q\se(T/(T+F)<Gmin) Gmin — T!{T+F) 5 Gh = Gmax-(Gmax-Gmin)*30%',

Gl = Gmin+(Gmax-Gmin)* 30%; if (^^==Correct)

Accumulator = Accumulator + T/{T+F)\ else (^ra==Wrong) 10 Accumulator = Accumulator + F/(T+F);

Discrimination = Accumulator ln\ } 與傳統内部一致性分析法之比較結果 以圖·一（ a )及圖二（a )的原始測驗結果在圖二 15 (b)及圖三（b)的正常分數分佈之下，可由圖二（c) 及圖三（c)看出本鑑別度算法和傳統鑑別度算法的結果 相去不遠，造成些微不同的原因有兩種，一是本方法是取 分數最大差別分佈的前後各30%，而傳統方法則是名次的 前後各30% ;另一個是本方法越高分者及越低分者影響度 20 越大，而傳統方法中前後30%名次當中每個人影響度一 樣，這兩點最主要是要能夠配合動態隨時更動鑑別度而訂 -13 - 本紙張尺度適用中國國家標準（CNS)A4規格（21'<λχ 297公釐） ---:--------)裝-------—訂-----------線、i .,/^V /ίν^ (請先閱讀背面之注意事項再填萬本頁) ί5^34

五、發明說明qD 定的。 至於這傳統方法和本方法之_ ο ::鑑別方法下會產生歧見的例子來說明; ◊成績表為例，我們可以從 。(a) 5幾別度7.杨傳統_評為6；：^第三題本方法 ::=.rs.3, 一的在 凌和傳統方法有了歧見。我們可 +刀 學生中，高八栽曰楠外4 &見傳統方法所參考的 予玍甲冋刀群是總答對數為9、8、7的二加t ίο 總答對數為4、2、1的三個，高分群欠對，氏刀群疋 率後，再對照至零到十的數字中，群答對 四為sr. 士士、<+么^ 隨—鉍別度為6·7，題 的：個’/…考的學生高分群是總答對數為9、8、7 訂 = ⑽對數為加權 异後題三鑑別度為7‘4,題四為7; 15 若總答賴為9的學生㈣，崎+9總答數為 的學生答錯，記為-7;題三為__7|+ ，= 方法物.3,本傳統 本方法的參考範圍中^為〇’其中總答對數為4的並不在 20 由於題—的间分群答對率和低分群答對率差距 33%’題四則為67% ’因此傳統方法認為題四比題三鑑別 度面。然而本方法判定總答對數為4者並不在低分範圍 a内’因此料慮，而此時題三和題四最主要的差異在於總 :對數為7和8者’因為本方法之判別有加權，題三總答對 數為7者失誤，題四總答對數為8者失誤，而在此情況之下 I - 14 本纸張尺度涵τϋ减軺⑶油祕⑵G x 297»^ 454134 五 、發明說明（pj) 題四之鑑別應較低。 1而除此之外，還有—些影響；例如 = =始測驗結果在圖四⑴及圖五(b 分佈报集中的情況，而此時由圖四 二可以看出傳統方法會把題_別度 其鑑別度不該有這麼大的差幻 度刀不出來的題目， 得的結果-樣沒有二的;:。’因此應該是如同本方法所 10 六(匕二圖A(a)的原始測驗的第10題結果，由圖 下，PT檨韻兩種學生程度差異不同的情況比較之 另J度樣，然而一個是把學生程度拉情況 相去不遠的一 綱本方峨咐—樣，兩者會 【特.點及功效】 所提供之自動化動態測驗題目收集與_之方 細―’更具有下 20 之方:;本發,所提供之自動化動態測驗題目收集與鑑别 的個人出題_’在沒有時、地限制 β 讀7^，那題庫的增長逮度將不可同日而 7也因此，如果連學生都可以出題，那好處將有如下三 I___ - 15 本紙張尺度顧娜（⑽χ撕公爱Ί 4 5 五、發明說明（ΐφ〉 a) 題庫的快速成長： 題庫的來源將目學生的加人而 * : 為老師一個人的工作了。 、、、’出提不再成 b) 題目的多元化： \ 5 老師出的題目，都是從—個”老師，，的觀點夾*呌 難兼顧到所有學生的需求。如果由 ^ °又…' 合需求的目的達到了，老師也可輝^以，題目符 ，想法r 4此更加了解學生的程 ....... . . ' . .. ....... .......... c) 創 性的學習（creauve Learning):.. 10份的:目卿成，需要_ s 〇 ^ t ^ T ^ f , ^ 訓練學生的創造能力、：入 ： 15 然學生個人出題，必須考慮學生的自主性，在大條 沒有問題，在令學則可能有一些阻力。 經濟部智慧財產局員工消費合作社印製 20 二、本發明係即由不同機構管理的數個飼服器，其題 可乂互相取用。这種類似分散式系統的多飼服器架構不 声加快題目t集的速度，更可促成不_驗族群之間的溝 通與比叙。例如假设有兩所不同的國中互相分享題庫，則 不僅老師們可以互相比較出題的技巧、風格，學生也可以 因而〜惠，接觸到各式各樣的題目，增加測驗的效果，同 時增，题庫整體客觀性。這種無形增益可說是難以佑計。 一、本發明具有DIY的功能，但題目鑑別絕對是不可 -16- 本紙張.尺度適用中國國豕標巧（CNS)A4規格（210 X 297公愛） lo ...... ...Λ . y 經濟部智慧財產局員工消費合作社印製 4 A7 B7 15 4 13 4 五、發明說明（Lf .或.缺的—環。DIYExamer的資料庫有兩種：Main和Temp， . . ... ： ..... 前者為合格的正式題庫，後者爲待測試鑑別區，專門放 DIY的題目（老師出的則可以選擇要放在Main或是Temp)。對 於一份試卷規格（Test Profile)老師可以選擇題目由施匕及 5 Temp選取的比例，以鑑別Main及Temp的題目。DIY£xamei_ : 伺服器會在每一份隨機產生的試卷考完之後對所&考題目 的難度與鑑別度做計算更動，經過某個程度的測試篩選之 後’ Temp的題目可以升級到施匕;〈而Mah裡的題^也=一 定就是最好，一段時間後可能會因各方面的變递a β λ . 人 A 遷而變付不 10冉通5 ’此時經由此鐘別的流程，可以將 丁 w J灯磚目由Main降為

Temp，甚至再由系統刪除。 .3 " ' 丁 實施例之具體說 明，惟該實施例並非用以限制本發明之專利阁 祕丄i … 祀圍，凡未脫 離本發明技藝精神所為之等效實施或變更，於& 案之專利範圍中。 . 1應包含於本 . -· .. .. .. ...... ........ ..... . 綜上所述’本料但在技術思想上確屬_，並能輕 習用物品增進上述多項功效，應已充分符合斬賴性及進步 性之法定發明專利要件，爰依法提出申請，兮已= 准本件鲞明專利申請案，以勵發明，至感德便。 20 -17 本紙張尺度適用中國國家標準（CI^TS)A4規格（210 X 297公爱

r I — l·!— !乃專———— ———訂-- ------!線J c C (請先閱讀背面之注意事項再填寫本頁V 454134 A7 B7 PAOOOOOQ.TWP - t0/t9 五、發明說明（ 【參考文獻】 [1] 「文昌琴題庫排版系統」，http://www. jis. com, tw/： [2] 「WinCmt98 homepage」... 5 http://www. ecst. csuchico. edu/-jimatt/. ’[3] 「ΐΓ^πΐ6ΐ;Ηοη^8(：1ιοο1':1ιοη^ρα86」，' http://www. cyberramp.net^ampubs 19/ampub 1 .html. .....[4]，「CATS homepage」， . . .. .......... .... ...... ... http://www. ealedon.org/norbry/cats. html. 10 [5]「ETS homepage」..，http://www. ets. or2. .' ......

[6] 「DIYExamer」，http://www.atm5. cis. nctu.edu. tw/^fish/.

[7] 「教育測驗與評量」，心理出版社，余民寧（民86) 111 J.-----------、·/裝--- (.請先閱讀背面之注*-事項^^寫本頁) 訂· .線· 經濟部智慧財產局WC工消費合作社印製 -18 本紙張尺度適用中國^家標準(CNS)A4規格（210 X 297公釐）

Claims (1)

1. 454134 as B8 C8

   α 5 4 1 3 4 Α8 Β8 C8 D8 PA88Q385.TWP - 20/1Q 申請專利範圍 if (T/(T+F)>Gmax) Gmax = T/{T+F) Qlse(T/(T+F)<Gmin) Gmin = T/(T+F) Gh = Gmax-(Gmax-Gminy 30%·, * Gl = Gmin+{Gmax-Gmin)'Je30%', if (^ra==Correct) Accumulator - Accumulator + T/(T+F); else (/1m—Wrong) Accumulator = Accumulator + F/(T+F); Discrimination = Accumulator /«; 10 經濟部智慧財產局員工消費合作社印製l 20 本紙張尺度適用申國國家標準（CNS ) A4規格（210X297公釐）