TW411422B - System and method for multimodal interactive speech and language training - Google Patents

System and method for multimodal interactive speech and language training Download PDF

Info

Publication number
TW411422B
TW411422B TW086105887A TW86105887A TW411422B TW 411422 B TW411422 B TW 411422B TW 086105887 A TW086105887 A TW 086105887A TW 86105887 A TW86105887 A TW 86105887A TW 411422 B TW411422 B TW 411422B
Authority
TW
Taiwan
Prior art keywords
vocabulary
response
individual
elements
exercise
Prior art date
Application number
TW086105887A
Other languages
English (en)
Inventor
Joe G Ferrell
Original Assignee
Hughes Aircraft Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hughes Aircraft Co filed Critical Hughes Aircraft Co
Application granted granted Critical
Publication of TW411422B publication Critical patent/TW411422B/zh

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/06Foreign languages
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Description

411422 A7 A7 _____B7 _ 五、發明説明(1 ) 本發明技術領域 (請先閲讀背面之注$項再填寫本X ) 本發明有關口才與語言訓練用系統及方法,其使用多 語態與多感官交互作用,以敎導重要字彙元件,譬如音素 、文字與片語,以激發一自身反射之回應0 本發明背最 人類資訊處理與學習理論正逐漸顯現與發展,首先於 心理科學,其後於電腦科學,皆在努力嘗試以各種形式模 擬人類智慧〇至少有一種人類資訊處理理論爲將各種處理 事件或作業與回應時間聯結,後者對每一作業層級以約十 之因子增加〇最低層級之作業執行最快速,而只牽涉物理 與化學反應來產生一回應。譬如,一反射行爲爲受一刺激 所花時間之强制,以引發一神經元之動作電位,隨後由胞 突轉移到中央神經系統,後者激發運動系統之回應,譬如 一肌肉移動〇人體對此等作用並未控制(譬如膝反射之反 射反應),其發生於約毫秒之大小內0 經濟部中夹揉率局員工消费合作社印策 意識動作爲該等使用已知知識以於其他各種已知回應 上選擇一特殊回應〇此等動作需要額外時間來完成一一爲 100毫秒到一秒之大小〇 E識行爲另可以特性分類爲自動 行爲或控制#爲,自動行爲需要前者之時間來完成*而控 制行爲需要後者之時間〇經驗資料支持此種區分》並建議 該自動行爲之發生主要爲由平行神經處理*同時控制行爲 之發生主要爲由序列神經處理。支持此者爲神經信號傳輸 所牽渉潛在生物程序所施加之强制作用〇 要求更嚴格之認知作窠需要組構意識行爲之一集合, 本紙張尺度遑用中®國家揉率(CNS > A4说格(210X297公釐} 411422 A7 B7 鋰濟部中央揉準局只工消费合作社印製 五、發明説明(2 ) 以對一特定刺激形成一適當回應。此等作業會需要一到十 秒,或更多〇此等作業所需時間爲回想適當知識並應用於 該刺激所需時間之一函數〇此一時間常可經由練習而被減 少,如練習冪律(回應時間之對數變化爲嘗試數目之對數 之函數)所建議0 非本國字彙元素或非習用字棄元素於其本國語言內之 語言寧理爲一要求嚴格之認知作業之一範例,其需要數秒 大小之處理時間〇此一處理程序會包括認識一非習用字彙 元素,記憶回想以確認該字彙元素並將之與對應之熟悉字 彙元素聯結,決定一適當回應,及記憶回想將該適當回應 與一對應之非習用字彙元素聯結0相反地*觸發熟悉元素 之刺激會激發一意識之自動回應,後者可於一秒或更少時 間內被執行,視特定情況而定,因爲不需有組構意識行爲 之較複雜認知作業〇 雖然全球市場之實現可消除旅行與貿易之障礙,基本 溝通技巧仍爲必要,但持績妨礙對此目標之進展。由於可 使用雙語人員、電腦系統或口袋字典等形式之翻譯,商業 交易不會被語言障礙顯著影響〇然而,有許多人需要執行 時間緊迫之作'業,其必須克服不同之語言或一特殊工作或 環境特定之非習用術語,即行話,所施加之障礙0譬如* 飛航管制員、駕駛員、執fe人員、軍事人員等執行許多時 間緊迫之作業,其需要對於會以不同於其等本國語言之口 語、書面或其他圖形溝通作正確、立即之回應0此等人員 時常必須對所呈現之文字、情況或資料作立即回應,而不 (讀先Μ讀背面之注意事項再填本頁) •裝. 訂 本紙張尺度逋用中國國家標準(CNS > A4規格(2〗0X297公釐) -5- 411422 觌濟部中央樣率局只工消费合作社印策 A7 B7五、發明説明(3 ) 能等待文字上之語言翻譯或其他耗時之認知程序。 許多專業,包括上述者,亦包括大量之特定於該專業 或地域之字彙元素〇有經驗人員可澈底瞭解此等術語,使 各術語足夠熟練,以於必要時,引發立即正確之回應。新 手對於在此等情況使用之非習用字粲術語之適應,譬如行 話或俚語,會需要一段顯著時間〇 許多舊法之語言或字橐訓練程式使用多感官之方法呈 現材料,但重點爲習用之語言學習理論,包括語意、語法 構造及文法記憶〇此等方法一般需要大量之時間以敎導基 本清通技巧,尤其對年長之學生。再者,一旦非習用之字 彙與v規則〃被記憶後,文字翻譯需要相當地認知處理程 序,此減慢反應之時間。 由於排除語音辨識,舊法之訓練系統除去生動之認知 作業,後者會導向增加理解力與溝通技巧。此等系統經常 具剛性構造•而不支持個人學習之動態要素〇 本發明綜述 因此本發明之一目的爲提供一種多語態交作式口才與 語言訓練用系統與方法*其納有根據經證明感官整合練習 之感官預覽:指導式理解力與交作式記憶回想練習0 本發明之另一目的爲提供一種字彙元素訓練用系統與 方法,其包括一彈性構造,支持個人學習之動態要素0 本發明另一目的爲提供一種敎導非習用字彙元素之系 統與方法,其容許具有不同本國語言之個人快速學習對非 本國字彙元素之正確回應。 本紙張尺度適用中國a家橾準(CNS )八4说格U!OX297公釐) -6- ί請先閲讀背面之注^^項再填窝氺東) Μ濟部中央輮隼扃貝工消费合作社印装 五、發明説明(4 ) 本發明還一另外目的爲提供一種口才與語言訓練用系 統與方法,其使用經證明之感官性一運動性交互作用練習 ,除改良記憶回想與認識技巧外,並增加學習效率〇 本發明還一另外目的爲提供一種非習用字彙元素速成 之系統與方法,其除視覺與觸覺界面外,還使用數位化及 壓縮之人類語音、合成語音與語音辨識,以於接收與表達 字彙元素與理解力檢核上激發複神經路徑〇 本發明還一另外目的爲提供一種口才與語言訓練用系 統與方法,其使用感官性一運動性交互作用練習,以增進 對一非習用字彙元素之初次引進作正確立即回應之快速訓 練,不論採聽覺方式,或採圖形或本文表達之視覺方式。 爲實現本發明之上述目的及其他目的與特色,一種訓 練個人回應非習用字彙元素之系統與方法,包括選擇多個 語態之至少一者,對應於不同之感官刺激,以對個人呈現 非習用字彙元素》並使用該選擇語態表現該非習用字彙元 素〇該系統與方法亦包括暫停足夠時間譲個人回應該字彙 元素,接收該個人根據該非習用元素所作之回應,根據一 預定要求之回應標準評估該回應•並使用多個語態之至少 一者對該個提供反饋。 本發明提供對口語、書面或圖形符號之字彙元素譬如 音素、文字與片語作正確回應之速成系統與方法,其最好 使用以電腦爲基礎之訓練,設計以對學生產生神經語言規 畫者。於一較佳具體形式,依據本發明之一系統或方法》 使用一種多語態與多感官之預覽階段,隨後爲一文字理解 本紙张尺度逋用中固國家標準(CNS ) A4規格(210X297公釐)_ -7- T — — II |章| 打 I i J— ^ (锖先Μ讀背面之注$項再填ί頁) 4114M - Λ濟部中夬樣牟局貝工消费合作社印製 五、發明説明(δ ) 力階段與與一記憶回想階段0預覽階段除復習各練習外’ 還包括各選項以完成新練習,其包括字彙元素訓練、圖形 訓練與情境辨識練習0文字理解力階段包括文句完成、圖 形確認及文字選擇練習,而記憶回想階段包括圖形記憶、 文字辨識及完成故事練習0 於一較佳具體形式,一特別設計、交作式、個人電腦 爲基礎之多媒體訓練系統,包括控制邏輯或軟體以施行依 據本發明之方法。 本發明產生許多之優點〇譬如,本發明容許任何個人 *不論敎育或經驗,快速取得必需之技巧,以就其工作上 執行時間緊迫之回應作業。本發明提供一種系統與方法, 其爲完全自我調適與個人化。語音合成提供—聲頻剌激, 而語音辨識確認學生回應之正確性0結合經證明之感官整 合技術增加學習之效率,同時改良記憶回想與認識技巧0 藉由於回應時使用學生名字之積極反饋以改良學生動機, 以及生動圖形以鼓勵學生儘可能正確地說出非習用字彙元 素0 本發明上述目的與其他目的、特色及優點*從以下實 施本發明最佳k式之詳述,連同附圖,將會被業界技術熟 練人員迅即體會〇 簡要圖說 圖1爲一之流程圓,例示依據本發明多語態口才與語 言訓練用系統或方法; 圖2爲一更詳細之流程圖/方塊圖,例示,對個人呈現 - --------复 JBT- (請先閲讀背面之注$項再填寫本頁) 訂 線--------- 本紙張尺度逍用中國國家梂準(CNS > Α4洗格(21CX297公釐) 411422五、‘發明说明(6 ) A7 B7 «濟部中央揉隼扃負工消费合作杜印氧 非習用字彙元素; 圖3爲一方塊圖,例示依據本發明之多語態口才與語 言訓練用系統; 圖4例示電腦螢幕之一範例,其使用於依據本發明訓 練系統之一具體形式; 圖5例示電腦螢幕之另一範例,其使用於依據本發明 訓練系統之一具體形式〇 / 本發明最佳曹施模式 現在參考圖1 ,所示爲一例示多語態交作式訓練用系 統與方法之流程圖〇雖然該流程圖爲例示一序列式處理程 序,寒界技術熟練人員將瞭解依據本發明之系統或方法之 實施可使用其他技術而不脫離本發明之精神或範禱。本發 明一較佳具體形式爲以一程式設計電腦加以實施,本發明 克服特殊之硬體平台、操作系統、程式設計方法與程式語 言,如所附申請專利範圍所指出。 如圖1所例示,於方塊10表示選擇各語態之一或多個 ,以對個人呈現一非習用之字彙元素〇不論該個人是否具 有一或多個本國語言,本發明提供以本國語言抑或非本國 語言快速獲得'非習用字彙元素之系統與方法,其藉由將該 非習用字彙元素植入個人已建立之神經語言語法內,並將 其等連結到一正確心智或運動回應〇 如圖1之方塊12所示,使用方塊10所選擇之一或多個 語態對個人呈現一非習用字彙元素〇 —字彙元素可爲一音 素、文字、片語、句子或段落〇最好,一字彙元素譬如文 (請先閱讀背面之注意事項再填寫本頁) 訂 線· 本纸張尺度遢用中國國家搮準(CNS ) A4规格(213X297公釐) 經濟部中央揉率爲貝工消费合作社印裝 422 B7五、發明説明(7 ) 字或片語爲以視覺與聽覺二者呈現給個人。視覺呈現可包 括在一視覺螢幕上將一文字或片語顯示於一句子內。聽覺 呈現最好包括對應於該字彙元素之合成發聲0此一程序於 以下參考圖2有更詳細之例示與說明0又最好將該呈現區 分成多個課程,由前所呈現(復習)之字彙元素將新字彙 元素納入〇 即方塊14所示,對個人給與一段時間,以啓動一回應 〇若在該段時間內未啓動叵應,該程序會繼績呈現其他字 彙元素,或可使用更熟悉之字彙提供一提示(於外語應用 時其可爲使用者之本國語言),以協助使用者了解該非習 用字彙元素。於一較佳具體形式,對提出不正確回應或無 回應之字彙元素*將被加入一復習列表內》而於以後之時 日作呈現〇 繼續參考圖1 ,如方塊16所示,使用者之回應被接收 〇使用者可使用一或多個輸入裝置作回應,參考圖3之詳 細說明。譬如,使用者可於指向一字彙元素之視覺表示之 同時,將該字棄元素發音。由於多感官整合之結果,此改 良學習之效率與回想與能力〇如方塊18所示,該回應(或 各回應)經評'估其正確性,並如方塊20所示,根據該回應 之正確性,對使用者呈現適當之反饋〇 於一較佳具體形式,該反饋包括視覺與聽覺反饋二者 〇視覺反饋由螢幕底部之一指針量錶所提供,其指示正確 發音程度〇聽覺反饋與視覺反饋連結,而包括一合成聲音 ,其說出使用者名字,連同鼓勵之回應,譬如vv羅恩,很 本紙張尺度逍用中固國家樣丰(〇邮)八4规格(211以297公釐) —10—
In I I 1= H Ί n n I n n n n 1— ^ 1 n n n n I 線 (請先聞讀背面之注意事項再填寫本頁) 411422 炫濟部中央標隼Λ負工消费合作社印装 五、發明説明(8 ) 接近了,再試一次吧!"在移到下一個字彙元素之前,使 用者有三次機會正確說出發聲〇 —不正確之回應最好被記 錄於一復習檔案內,以作重複,直到熟練爲止。參考圖4 與5例示並說明範例螢幕c此—程.序可對數個非習用字彙 兀素作重複,其最好分組成具有九個新元素之課程。 現在參考圖2 ,一流程圖/方塊圖,例示依據本發明 多語態交作式訓練用系統或方法之一較佳具體形式〇如圖 所例示*各課程或練習被區分成三個主要段落,包括多語 態多感官預覽3〇、文字理解力38與記憶回想46。多感官預 覽30敎導及初次引進一非習用字彙元素,譬如一文字,連 同一定義與一圖形表示,例如一圖畫〇 多感官預覽30準備個人所要學習之非習用字彙元素〇 硏究顯示當一預覽階段後龆有指導時,此一對材料之預覽 將大爲增加理解力與記憶性。最好,毎一課程包括九個字 彙元素,譬如文字或片語,其可從新字窠元素或前已呈現 字彙元素中選出0每個第三課程最好爲前所呈現字彙元素 之完整復習〇 多感官預覽30包括元素訓練32、圖形訓練34及情境辨 識36〇如同於、文字理解力38與記憶回想46,多感官預覽30 包括一感官輸入刺激,譬妇一視覺及(或)聽覺呈現*設 計以激發一運動回應,譬如語音或觸覺回應0元素訓練32 藉由了解所呈現字彙元素之意義,容許使用者獲得較大理 解力〇最好,字彙元素與其上下文之一視覺呈現爲後隨有 同者之一聽覺呈現〇然後便用者於觀察該視覺呈現時’藉 ----------装— (請先Μ讀背面之注意事項再填寫本頁) 訂 線 本紙張尺度逋用中國國家標準(CNS ) M規格(210><2£@董} 鋟濟部中央樣準局貝工消费合作杜印«. A7 __B7_五、發明説明(9 ) 由複誦該字彙元素提供一語音回應0 圖形訓練34用以增進非習用字彙元素之視覺化,並增 强其對使用者之意義。最好,字彙元素及相關圖形之視覺 呈現爲後隨有該字彙元素連同一關聯文辭之聽覺呈現0然 後使用者於觀察視覺呈現時,具有以觸覺或語音回應之選 擇0 境辨識36之執行爲使用速示器閃現,以觸發視覺記 憶爲一感官輸入。最好非習用字彙元素之視覺閃現激發一 語音回應,其依賴於連結使用者視覺回想之一音韻記億〇 於完成多感官預覽30之練習後*執行文字理解力練習 ,如圖2之方塊3 8所表示。文字理解力3S提供學習字彙元 素辨識、定義與用法之練習。文字理解力3S包括完成句子 40、圖形確認42與文字選擇44。完成句子4 0包括呈現一句 子•其具有被省略之一字奠元素或多個元素〇使用者必須 從九個可能性之欄位中選擇正確之答案〇使用者可啓動一 *聽〃圖像或按鈕(最佳例示於圖4與5 ),以聽到由合 成聲音產生之句子。在第一次不正確之回應後,填空元素 之實線變成正確數目之破折線,其表示字母與空白之數目 〇於二次不正v確之回應後,第一與最後字母出現於空白處 〇於三次不正確之回應後,約一半之字母出現於空白處〇 圖形確認42包括三個圓形之視覺呈現*代表三個非習 用字彙元素。各元素之一者之聽覺呈現提示使用者回應〇 該聽覺呈現可爲元素本身或其定義,由使用者選擇或由系 統隨機選擇。然後使用者使用一輸入裝置(最佳例示於圖 本紙ft尺度逍用f國固家梯準(CNS > Λ4洗格(21JX297^T — ----------^------1Γ---^---- 線 (請先《讀背面之注$項再填寫本頁) Μ濟部中央揉準局Ϊ消費合作社印氧 411422 a? B7 五、發明説明(1 ^ ) 3)選擇正確之圖示。不論回應如何•其後三個新圖形以 隨機順序作視覺呈現0此一循環繼續到對所有九個圖形鍵 入一正確回應爲止。 文字選擇以對當課所有九個字彙元素作視覺呈現0非 習用字彙元素或其定義(選擇性選項)之一聽覺呈現提示 使用者以一輸入裝置選擇對應之元素〇不論回應如何,一 新元素(或其定義)再被呈現。正確之回應保留於顯示器 上,同時呈現額外之元素或定義,直到對每一元素提出正 確之回應爲止〇 圖2之記憶回想4 6包括額外之練習,設計以於文字理 解力38完成後,改良記憶保持與回想。記憶回想46包括圖 形記憶48、文字辨識50與完成故事52之練習。圖形記憶48 包括單一圖形或文字之視覺呈現。使用者藉由發音出該適 當文字以作回應,後者由一語音辨識器作分析〇圖形或 文字被隨機呈現,直到全部被正確地確認。文字辨識50包 活三個文字或圖形之視覺呈現,伴隨有該三者之一者之聽 覺呈現〇使用者必須使用-輸入裝置(最佳例示於圖3 ) 選擇正確符合者〇圖形或文字被隨機呈現,直到對每一字 彙元素提出正'確之回應爲止。 完成故事52包括一文章段落之視覺呈現,具有四或五 個字棄元素留空〇使用者可啓動一對應之圖像或按鈕(最 佳例示於圖4與5 )以選擇一聽覺呈現〇使用者可有許多 之回應摸式。對每一被省略之元素,使用者可使用一輸入 裝置,從一列表中選擇一字喿元素。當使用者完成回應時 本紙張尺度適用中國國家標牟(CNS > Α4规格(210X297^7 ----------上------訂-----厂線 - . (請先Μ讀背面之注$項再填W本頁) 經濟部_夹橾率爲貝工消t合作社印氧 411422 A7 ___B7_^____ 五、發明説明(11) ,評估所有之回應ο 現在參考圖3 ,所示爲一方塊圖,例示一依據本發明 之多語態交作式訓練用系統。該系統包括一處理器60,其 包括控制邏輯,用以施行如參考圖1與圖2所說明依據本發 明之一方法。處理器60與各輸入裝置溝通,譬如數位板62 、鍵盤66、麥克風72與無線滑鼠78 〇 —視頻顯示器64用以 對個Λ呈現本文與圖形,並與處理器6〇溝通〇當然各種其 他之輸入裝置可被使用,以容許使用者之觸覺回應,而不 脫離本發明之精神與範疇〇 繼續參考圖3 ,一數位化字彙資料庫6S可儲存於處理 器60內,或一與處理器60溝通之外部非依電性儲存媒體內 〇語音辨識裝置70利用麥克風72,捕捉並分析使用者之聲 頻輸入〇同樣地,各字彙元素爲使用語音合成器74與揚聲 器7 6對使用者作聽覺呈現。當然,所例示系統之各種組件 可以軟體、硬體或軟體與硬體之組合加以實施,而不脫離 本發明之精神與範疇,此等實施例只爲設計選擇之事項。 譬如,語音辨識裝置70可包括一專用之數位信號處理器, 結合軟體以將麥克風72所獲得之聲頻資訊轉換成—資料流 ,其與處理^60溝通。語音辨識裝置7〇與語音合成器74 可位於與處理器60相同機台,分享一共用背板,或可遠地 放置靠近使用者,而經由一網路溝通〇 操作時,處理器60包括適當之控制遍輯,最好以軟體 形式於顯示器64上呈現視覺刺激,譬如本文與圖形〇字棄 元素之聽覺呈現爲利用語音合成器74與揚聲器76 0使用者 本紙張尺度逋用中S國家橾準(CNS )人4規>格(21CX297公--- -14- li n I n II 1 I . ~~ 訂—~ i — !— 線 <請先W讀背*之注項再填寫本頁} 經濟部中*標车爲貝工消费合作社印策 ilU^ A7 __.__B7___ 五、發明説明(12) I 可使用一或多個輸入裝置作回應,譬如鏈盤66、滑鼠78、 數位板62、或麥克風72。字彙資料庫68包括各字彙元素之 錄音數位化表示,其可由語音辨識裝置70使用,以評估一 回應之正確性,或由語音合成器74使用,以形成字彙元素 之聲頻表示0 圖4與5例示典型之螢幕顯示,其可經由顯示器64呈 現給年用者〇爲便於例示,圖像爲以空格整體表示。當然 ,本發明爲與選擇之特定圖像或所例示之特定螢幕佈置無 關〇反而,圖4與5之螢幕表示爲例示多語態處理本發明 口才與語言訓練之方式〇圖5之加撇參考號碼指示參考圖 4所例示與說明之類似構造項目與功能〇 如圖4所示,一視窗8ϋ包含許多圖形表示或圖像82、 84、86、88、90、98與100 〇此外,視窗80包括一區域以 呈現一特定之字彙元素,其以參考號碼9 6整體指示•一圖 形呈現區域92與一上下文區域94 〇視窗80亦包括控制圖像 98與100 ,其容許對顯示視窗80之操縱。同樣地,選單項 目102容許使用者選擇與訓練課程有關之各種選項〇 於一較佳具體形式,圖像82爲一麥克風圖像,其於使 用者請求提供k言回應時被啓動。圖像84提供視覺之反請 *爲信心儀錶之形式,其指示使用者回應之正確性。圖像 86之啓動容許使用者重複呈現一特定字彙元素。 圖像88之啓動將上下文之呈現從一或多個非習用字彙 元素改變成爲較習用者〇譬如》於一外語訓練應用中,圖 像8 8可爲一代表使用者本國語之旗幟。若使用者爲在理解 本紙張尺度適用中國國家標率(CNS ) A4規格(2丨0X29^·釐) —1 η — ------------------1Τ------1 -- (請先《讀背面之注^^項再填寫本頁) 411422 A7 B7 五、發明説明(13) —特定字彙元素上有困難時,啓動圖像88爲呈現使用者本 國語之說明〇其他圖像,譬如圖像90,可被用來指示特定 練習之進度或困難程度0妇圖4與5所例示,圖形呈現區 域92可被上下文資訊110代替,視所進行特定課程或練習 而定0 當然,要了解雖然於X文所顯示及說明之本發明形式 爲包括實施本發明之最佳筷式,其等意圖例示所有可能之 形式〇又要了解,本文所月文字爲敘述性而非限制性,其 可作成各種變化,而不脫離以下本發明申請專利範圍之精 神或範疇〇 (请先s婧背面之注^^項再填寫本頁) 經濟部中央揉率ΛΛ工消费合作社印装 本紙張又it適用中圃國家標率(CNS) A4規格(2丨0X297公釐)

Claims (1)

  1. 2 2 4 \χ νΗ 4 ABCD ,本蒙欷.4^”>-:^较^原^1?内容 經濟部智慧財產局員工消費合作杜印製 g 8. u y · u y.修止) 一丨丨丨丨丨 *六、申請專利範圍 1,一種訓練個人認識並回應至少 一習 用字彙元素之方 法,該方法包含: 由多個陌生且前予呈現之非習用字彙元素中選擇至 少一非習用字彙元素; 使用多個對應於不同感官刺激之語態,就該至少一 非習用字彙元素自動提出一課程,將該至少一非習用字彙 元素呈現於該個人,該課程包含一指示一定數量之待呈現 字彙元素之預覽練習、一包括將該非習用字彙元素省略之 關聯性呈現之理解力練習、以及一包括各字彙元素之重複 呈現直到對每一字彙元素均提供正確回應爲止之回想練習 » 對每種練習: ' 暫停一段足夠之時間,供該個人回應該至少一 非習用字彙; 接收該個人根據該至少一非習用字彙所作之回應;, 根據一預定要求之回應標準評估該回應;及 對該個人提供視覺及聽覺反饋,指示該回應之 正確性,該視覺反饋包含一圖像,而該聽覺反饋包括一合 成聲音〇 2 .如申請專利範圍第1項之方法,其中選擇工怍包含 由該至少一非習用字彙元素之聽覺表示、文意表示及圖形 表示所組成之群組中選擇至少一語態〇 --------------裝--- (請先閱讀背面之注項再填寫本頁) 訂‘ 線 本紙張尺度適用中國國家標準(CNS)A4規格(;ίlO><297 公t) 2 2 4 \χ νΗ 4 ABCD ,本蒙欷.4^”>-:^较^原^1?内容 經濟部智慧財產局員工消費合作杜印製 g 8. u y · u y.修止) 一丨丨丨丨丨 *六、申請專利範圍 1,一種訓練個人認識並回應至少 一習 用字彙元素之方 法,該方法包含: 由多個陌生且前予呈現之非習用字彙元素中選擇至 少一非習用字彙元素; 使用多個對應於不同感官刺激之語態,就該至少一 非習用字彙元素自動提出一課程,將該至少一非習用字彙 元素呈現於該個人,該課程包含一指示一定數量之待呈現 字彙元素之預覽練習、一包括將該非習用字彙元素省略之 關聯性呈現之理解力練習、以及一包括各字彙元素之重複 呈現直到對每一字彙元素均提供正確回應爲止之回想練習 » 對每種練習: ' 暫停一段足夠之時間,供該個人回應該至少一 非習用字彙; 接收該個人根據該至少一非習用字彙所作之回應;, 根據一預定要求之回應標準評估該回應;及 對該個人提供視覺及聽覺反饋,指示該回應之 正確性,該視覺反饋包含一圖像,而該聽覺反饋包括一合 成聲音〇 2 .如申請專利範圍第1項之方法,其中選擇工怍包含 由該至少一非習用字彙元素之聽覺表示、文意表示及圖形 表示所組成之群組中選擇至少一語態〇 --------------裝--- (請先閱讀背面之注項再填寫本頁) 訂‘ 線 本紙張尺度適用中國國家標準(CNS)A4規格(;ίlO><297 公t) 2 2 1 A8B8C8D8 經濟部智慧財產局員工消費合作杜印製 六、申請專利範圍 t 3. 如申請專利範圍第1或2項之方法,其中提供反饋 工作包含產生一包括該個人名字之語音信號〇 4. 一種訓練個人認識並回應至少二噌用字彙元素之系 統,該系統包含: —顯示裝置,用以提供該至少一'習用字彙元_之視 覺表示; —語音合成器,用以提供該至少一'習用字彙元素之 聽覺表示;' 至少一輸入裝置,用以產生一指示該個人對該至少 一·習用字彙元素之回應之信號;以及 控制邏輯裝置,與該顯示裝置、語音合成器及至少 一輸入裝置溝通,用以由多個陌生且前予呈現之非習用字 彙元素中選擇至少一非習用字彙元素,使用該顯示裝置及 語音合成器二者就該至少一非習用字彙元素自動提出一課 程,該課程包含一指示一定數量之待呈現字彙元素之預覽 練習、一包括不含該非習用字彙元素之關聯性資訊呈現之 理解力練習、以及一回想練習,而對於每種練習均:暫停 一段足夠供該個人對該至少一非習用字彙產生回應之時間 ,根據至少一要求之回應標準評估該回應,及使用該顯示 裝置及語音合成器對該個人提供視覺及聽覺反饋〇 本紙張尺度適用中國圉家標準(CNS>A4規格(210 X 297公釐) -------------裝—---訂--------線 (請先閱讀背面之注意事項再4|;寫本頁)
TW086105887A 1996-04-09 1997-05-02 System and method for multimodal interactive speech and language training TW411422B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US63169296A 1996-04-09 1996-04-09

Publications (1)

Publication Number Publication Date
TW411422B true TW411422B (en) 2000-11-11

Family

ID=24532339

Family Applications (1)

Application Number Title Priority Date Filing Date
TW086105887A TW411422B (en) 1996-04-09 1997-05-02 System and method for multimodal interactive speech and language training

Country Status (6)

Country Link
US (1) US5885083A (zh)
EP (1) EP0801370A1 (zh)
JP (1) JP3249764B2 (zh)
CA (1) CA2202105A1 (zh)
IL (1) IL120622A (zh)
TW (1) TW411422B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3560403A1 (en) 2018-04-26 2019-10-30 X'Pole Precision Tools Inc. Dust collecting device using multi-cyclone dust filtration
EP3795257A1 (en) 2019-09-19 2021-03-24 X'Pole Precision Tools Inc. Multi-cyclonic dust filter device

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040219494A1 (en) * 1997-03-21 2004-11-04 Boon John F. Authoring tool and method of use
US6022221A (en) 1997-03-21 2000-02-08 Boon; John F. Method and system for short- to long-term memory bridge
US6632096B1 (en) 1997-05-26 2003-10-14 Haruyuki Sumimoto Method and apparatus for teaching and learning
US6290504B1 (en) * 1997-12-17 2001-09-18 Scientific Learning Corp. Method and apparatus for reporting progress of a subject using audio/visual adaptive training stimulii
US5927988A (en) * 1997-12-17 1999-07-27 Jenkins; William M. Method and apparatus for training of sensory and perceptual systems in LLI subjects
US6120298A (en) * 1998-01-23 2000-09-19 Scientific Learning Corp. Uniform motivation for multiple computer-assisted training systems
US8202094B2 (en) * 1998-02-18 2012-06-19 Radmila Solutions, L.L.C. System and method for training users with audible answers to spoken questions
US6517351B2 (en) * 1998-02-18 2003-02-11 Donald Spector Virtual learning environment for children
US6146147A (en) * 1998-03-13 2000-11-14 Cognitive Concepts, Inc. Interactive sound awareness skills improvement system and method
US6482011B1 (en) * 1998-04-15 2002-11-19 Lg Electronics Inc. System and method for improved learning of foreign languages using indexed database
WO2000042589A2 (en) * 1998-09-04 2000-07-20 N.V. De Wilde Cbt Apparatus and method for personalized language exercise generation
US6511324B1 (en) * 1998-10-07 2003-01-28 Cognitive Concepts, Inc. Phonological awareness, phonological processing, and reading skill training system and method
AU6292799A (en) * 1998-10-15 2000-05-01 Luther Marvin Shannon Method for computer-aided foreign language instruction
US6358053B1 (en) * 1999-01-15 2002-03-19 Unext.Com Llc Interactive online language instruction
US6234802B1 (en) * 1999-01-26 2001-05-22 Microsoft Corporation Virtual challenge system and method for teaching a language
US7563099B1 (en) * 1999-05-21 2009-07-21 Elizabeth Iftikhar Multi-media method and apparatus for teaching language
US6299452B1 (en) * 1999-07-09 2001-10-09 Cognitive Concepts, Inc. Diagnostic system and method for phonological awareness, phonological processing, and reading skill testing
US7149690B2 (en) * 1999-09-09 2006-12-12 Lucent Technologies Inc. Method and apparatus for interactive language instruction
EP1139318A4 (en) * 1999-09-27 2002-11-20 Kojima Co Ltd PRONUNCIATION EVALUATION SYSTEM
US6652457B1 (en) * 1999-09-27 2003-11-25 Gary L. Skiba Stimulus-response conditioning process
US7330815B1 (en) * 1999-10-04 2008-02-12 Globalenglish Corporation Method and system for network-based speech recognition
US6341958B1 (en) 1999-11-08 2002-01-29 Arkady G. Zilberman Method and system for acquiring a foreign language
US6302695B1 (en) * 1999-11-09 2001-10-16 Minds And Technologies, Inc. Method and apparatus for language training
US6343935B1 (en) * 2000-03-01 2002-02-05 Castle Hill Learning Company, Llc Computerized interactive educational method and apparatus for teaching vocabulary
US6390822B1 (en) 2000-03-09 2002-05-21 David Wayne Murphy Job specific tutorial system
AU2001257233A1 (en) * 2000-04-26 2001-11-07 Jrl Enterprises, Inc. An interactive, computer-aided speech education method and apparatus
US6705869B2 (en) 2000-06-02 2004-03-16 Darren Schwartz Method and system for interactive communication skill training
US7047196B2 (en) 2000-06-08 2006-05-16 Agiletv Corporation System and method of voice recognition near a wireline node of a network supporting cable television and/or video delivery
US6675010B1 (en) * 2000-06-22 2004-01-06 Hao Ming Yeh Mobile communication system for learning foreign vocabulary
US6741833B2 (en) 2000-07-21 2004-05-25 Englishtown, Inc. Learning activity platform and method for teaching a foreign language over a network
US7031651B2 (en) 2000-07-21 2006-04-18 Englishtown, Inc. System and method of matching teachers with students to facilitate conducting online private instruction over a global network
EP1344203A1 (en) * 2000-10-20 2003-09-17 Eyehear Learning, Inc. Automated language acquisition system and method
US6632094B1 (en) * 2000-11-10 2003-10-14 Readingvillage.Com, Inc. Technique for mentoring pre-readers and early readers
US6523007B2 (en) * 2001-01-31 2003-02-18 Headsprout, Inc. Teaching method and system
US8095370B2 (en) * 2001-02-16 2012-01-10 Agiletv Corporation Dual compression voice recordation non-repudiation system
US6789047B1 (en) 2001-04-17 2004-09-07 Unext.Com Llc Method and system for evaluating the performance of an instructor of an electronic course
US7013427B2 (en) * 2001-04-23 2006-03-14 Steven Griffith Communication analyzing system
US6663392B2 (en) * 2001-04-24 2003-12-16 The Psychological Corporation Sequential reasoning testing system and method
US6790045B1 (en) 2001-06-18 2004-09-14 Unext.Com Llc Method and system for analyzing student performance in an electronic course
WO2003033626A2 (en) * 2001-10-16 2003-04-24 Ralph Wong Fuel mixture for compression ignition device
US20030130836A1 (en) * 2002-01-07 2003-07-10 Inventec Corporation Evaluation system of vocabulary knowledge level and the method thereof
GB0201174D0 (en) * 2002-01-18 2002-03-06 British Telecomm Multi-mode interactive dialogue apparatus and method
US20030154069A1 (en) * 2002-02-14 2003-08-14 International Business Machines Corporation Computerized system and method for converting selected text between languages
WO2003073398A1 (en) * 2002-02-21 2003-09-04 The Walt Disney Company Products and methods for providing education with a virtual book
US20060057546A1 (en) * 2002-08-09 2006-03-16 The Academy For Early Childhood Development Products, systems and methods for teaching educational subjects to young children
US20040152055A1 (en) * 2003-01-30 2004-08-05 Gliessner Michael J.G. Video based language learning system
WO2004072925A2 (en) * 2003-02-07 2004-08-26 The Johns Hopkins University Language learning/teaching methods, systems and software/applications programs embodying such language learning/teaching methods and systems
US7407384B2 (en) * 2003-05-29 2008-08-05 Robert Bosch Gmbh System, method and device for language education through a voice portal server
US7357640B2 (en) * 2003-07-02 2008-04-15 Drb Lit Ltd. Lock-In Training system
US20050004788A1 (en) * 2003-07-03 2005-01-06 Lee Hang Shun Raymond Multi-level confidence measures for task modeling and its application to task-oriented multi-modal dialog management
US7524191B2 (en) * 2003-09-02 2009-04-28 Rosetta Stone Ltd. System and method for language instruction
WO2005024758A1 (en) * 2003-09-09 2005-03-17 Prep2Go Pte. Ltd. Apparatus and method for computer-assisted vocabulary list acquisition
US20050153263A1 (en) * 2003-10-03 2005-07-14 Scientific Learning Corporation Method for developing cognitive skills in reading
US20060141425A1 (en) * 2004-10-04 2006-06-29 Scientific Learning Corporation Method for developing cognitive skills in reading
US7657423B1 (en) 2003-10-31 2010-02-02 Google Inc. Automatic completion of fragments of text
US20060073452A1 (en) * 2004-01-13 2006-04-06 Posit Science Corporation Method for enhancing memory and cognition in aging adults
US20070111173A1 (en) * 2004-01-13 2007-05-17 Posit Science Corporation Method for modulating listener attention toward synthetic formant transition cues in speech stimuli for training
US8210851B2 (en) * 2004-01-13 2012-07-03 Posit Science Corporation Method for modulating listener attention toward synthetic formant transition cues in speech stimuli for training
US20070065789A1 (en) * 2004-01-13 2007-03-22 Posit Science Corporation Method for enhancing memory and cognition in aging adults
US20060105307A1 (en) * 2004-01-13 2006-05-18 Posit Science Corporation Method for enhancing memory and cognition in aging adults
US20050153267A1 (en) * 2004-01-13 2005-07-14 Neuroscience Solutions Corporation Rewards method and apparatus for improved neurological training
US20070020595A1 (en) * 2004-01-13 2007-01-25 Posit Science Corporation Method for enhancing memory and cognition in aging adults
US20060051727A1 (en) * 2004-01-13 2006-03-09 Posit Science Corporation Method for enhancing memory and cognition in aging adults
US20050175972A1 (en) * 2004-01-13 2005-08-11 Neuroscience Solutions Corporation Method for enhancing memory and cognition in aging adults
US7364432B2 (en) * 2004-03-31 2008-04-29 Drb Lit Ltd. Methods of selecting Lock-In Training courses and sessions
US8109765B2 (en) * 2004-09-10 2012-02-07 Scientific Learning Corporation Intelligent tutoring feedback
US20070055523A1 (en) * 2005-08-25 2007-03-08 Yang George L Pronunciation training system
US20070134635A1 (en) * 2005-12-13 2007-06-14 Posit Science Corporation Cognitive training using formant frequency sweeps
US20070255570A1 (en) * 2006-04-26 2007-11-01 Annaz Fawaz Y Multi-platform visual pronunciation dictionary
WO2009053843A2 (en) * 2007-05-18 2009-04-30 Rolstone Ernest D Method for teaching a foreign language
US20090061399A1 (en) * 2007-08-30 2009-03-05 Digital Directions International, Inc. Educational software with embedded sheltered instruction
US8103503B2 (en) * 2007-11-01 2012-01-24 Microsoft Corporation Speech recognition for determining if a user has correctly read a target sentence string
US8494857B2 (en) 2009-01-06 2013-07-23 Regents Of The University Of Minnesota Automatic measurement of speech fluency
US8681951B1 (en) 2010-02-03 2014-03-25 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US8553859B1 (en) 2010-02-03 2013-10-08 Tal Lavian Device and method for providing enhanced telephony
US8625756B1 (en) 2010-02-03 2014-01-07 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US8537989B1 (en) 2010-02-03 2013-09-17 Tal Lavian Device and method for providing enhanced telephony
US8594280B1 (en) 2010-02-03 2013-11-26 Zvi Or-Bach Systems and methods for visual presentation and selection of IVR menu
US8687777B1 (en) 2010-02-03 2014-04-01 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US8572303B2 (en) 2010-02-03 2013-10-29 Tal Lavian Portable universal communication device
US8903073B2 (en) 2011-07-20 2014-12-02 Zvi Or-Bach Systems and methods for visual presentation and selection of IVR menu
US8548135B1 (en) 2010-02-03 2013-10-01 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US9001819B1 (en) 2010-02-18 2015-04-07 Zvi Or-Bach Systems and methods for visual presentation and selection of IVR menu
US8879698B1 (en) 2010-02-03 2014-11-04 Tal Lavian Device and method for providing enhanced telephony
US8406388B2 (en) 2011-07-18 2013-03-26 Zvi Or-Bach Systems and methods for visual presentation and selection of IVR menu
US8548131B1 (en) 2010-02-03 2013-10-01 Tal Lavian Systems and methods for communicating with an interactive voice response system
US20110313762A1 (en) * 2010-06-20 2011-12-22 International Business Machines Corporation Speech output with confidence indication
US9028255B2 (en) 2010-10-06 2015-05-12 Dominic William Massaro Method and system for acquisition of literacy
US9911349B2 (en) * 2011-06-17 2018-03-06 Rosetta Stone, Ltd. System and method for language instruction using visual and/or audio prompts
WO2012173582A1 (en) * 2011-06-17 2012-12-20 Sestek Ses Ve Iletisim Bilgisayar Teknolojileri Sanayii Ve Ticaret Anonim Sirketi Using speech synthesis for language training with picture synchronization
US8731148B1 (en) 2012-03-02 2014-05-20 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US8867708B1 (en) 2012-03-02 2014-10-21 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
WO2013138633A1 (en) 2012-03-15 2013-09-19 Regents Of The University Of Minnesota Automated verbal fluency assessment
US9020806B2 (en) * 2012-11-30 2015-04-28 Microsoft Technology Licensing, Llc Generating sentence completion questions
US9308446B1 (en) 2013-03-07 2016-04-12 Posit Science Corporation Neuroplasticity games for social cognition disorders
US9503504B2 (en) * 2014-11-19 2016-11-22 Diemsk Jean System and method for generating visual identifiers from user input associated with perceived stimuli
US20160307453A1 (en) * 2015-04-16 2016-10-20 Kadho Inc. System and method for auditory capacity development for language processing
US10304354B1 (en) * 2015-06-01 2019-05-28 John Nicholas DuQuette Production and presentation of aural cloze material
WO2016210278A1 (en) 2015-06-26 2016-12-29 Duquette J Dynamic feedback and scoring of transcription of a dictation
WO2017014710A1 (en) 2015-07-20 2017-01-26 Urum Vitalii Anatoliiovych Method for teaching grammar using facilitation of memorising process
US20170098389A1 (en) * 2015-10-06 2017-04-06 Perfect Union Co., Ltd. Method and system for children learning languages
US20170116880A1 (en) * 2015-10-23 2017-04-27 Geetha Srikantan Integrated and interactive multi-modal framework for speech therapy
US10796594B1 (en) 2016-06-24 2020-10-06 John Nicholas DuQuette Dynamic feedback and scoring of transcription of a dictation
US10319250B2 (en) * 2016-12-29 2019-06-11 Soundhound, Inc. Pronunciation guided by automatic speech recognition
US10841755B2 (en) 2017-07-01 2020-11-17 Phoneic, Inc. Call routing using call forwarding options in telephony networks

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8817705D0 (en) * 1988-07-25 1988-09-01 British Telecomm Optical communications system
US5302132A (en) * 1992-04-01 1994-04-12 Corder Paul R Instructional system and method for improving communication skills
EP0692135B1 (en) * 1993-03-12 2000-08-16 Sri International Method and apparatus for voice-interactive language instruction
US5340316A (en) * 1993-05-28 1994-08-23 Panasonic Technologies, Inc. Synthesis-based speech training system
US5741136A (en) * 1993-09-24 1998-04-21 Readspeak, Inc. Audio-visual work with a series of visual word symbols coordinated with oral word utterances
US5810599A (en) * 1994-01-26 1998-09-22 E-Systems, Inc. Interactive audio-visual foreign language skills maintenance system and method
US5482769A (en) * 1994-06-01 1996-01-09 W. R. Grace & Co.-Conn. Cross-linked film

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3560403A1 (en) 2018-04-26 2019-10-30 X'Pole Precision Tools Inc. Dust collecting device using multi-cyclone dust filtration
EP3795257A1 (en) 2019-09-19 2021-03-24 X'Pole Precision Tools Inc. Multi-cyclonic dust filter device

Also Published As

Publication number Publication date
CA2202105A1 (en) 1997-10-09
EP0801370A1 (en) 1997-10-15
IL120622A0 (en) 1997-08-14
JPH1039741A (ja) 1998-02-13
IL120622A (en) 2000-02-17
JP3249764B2 (ja) 2002-01-21
US5885083A (en) 1999-03-23

Similar Documents

Publication Publication Date Title
TW411422B (en) System and method for multimodal interactive speech and language training
Levis Computer technology in teaching and researching pronunciation
Pickering Discourse intonation: A discourse-pragmatic approach to teaching the pronunciation of English
Pelzl What makes second language perception<? br?> of Mandarin tones hard? A non-technical review of evidence<? br?> from psycholinguistic research
Cerni et al. Effects of orthographic forms on the acquisition of novel spoken words in a second language
Hayes-Harb et al. THE INFLUENCE OF WRITTEN STRESS MARKS ON NATIVE ENGLISH SPEAKERS'ACQUISITION OF RUSSIAN LEXICAL STRESS CONTRASTS
US20120164609A1 (en) Second Language Acquisition System and Method of Instruction
Breen Empirical investigations of implicit prosody
KR101830031B1 (ko) 읽기 부진아를 위한 초기 문해력 개별화 교육 시스템
Pimm Language, paralinguistic phenomena and the (same-old) mathematics register
KR101080092B1 (ko) 외국어 단어 학습방법 및 이를 이용한 외국어 학습 장치
Hamidi et al. Automatic Speech Recognition: A Shifted Role in Early Speech Intervention?
Azzouz Interference of syntactic, lexical and phonological aspects from Arabic into English for Syrian university students: A cross-sectional study in the HIL at Aleppo University
Algifari Analyzing students’ pronunciation of word stress of iet 7 students of cambridge english college (Cec) makassar
Gilner Pronunciation instruction: A review of methods and techniques
Cucchiarini et al. The digital literacy instructor: developing automatic speech recognition and selecting learning material for opaque and transparent orthographies
Koreman et al. Universal contrastive analysis as a learning principle in CAPT.
Kirk Addressing spoken fluency in the classroom
Muhammad et al. Developing Web-Based English Reading-Aloud Practice App with Dictation Method Using Speech Recognition Technology
Lee et al. The effect of animations on the AAC symbol recognition of children with intellectual disabilities
Myasoedova et al. Multimedia technologies to teach Sign Language in a written form
Sakach Blue Canoe.
Delmonte Feedback generation and linguistic knowledge in ‘SLIM’automatic tutor
Çekiç The effects of computer assisted pronunciation teaching on the listening comprehension of Intermediate learners
Parlak Interaction, corrective feedback, and the development of lexical stress

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent
MM4A Annulment or lapse of patent due to non-payment of fees