TWI724649B - 語言學習系統 - Google Patents
語言學習系統 Download PDFInfo
- Publication number
- TWI724649B TWI724649B TW108142973A TW108142973A TWI724649B TW I724649 B TWI724649 B TW I724649B TW 108142973 A TW108142973 A TW 108142973A TW 108142973 A TW108142973 A TW 108142973A TW I724649 B TWI724649 B TW I724649B
- Authority
- TW
- Taiwan
- Prior art keywords
- message
- recognition
- sentence
- module
- pronunciation
- Prior art date
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
本發明係揭露一種語言學習系統，包括一語言資料庫、一接收模組、一語音識別模組、一文法檢查模組、一錯字檢查模組、一發音辨識模組、一語調辨識模組及一顯示模組。藉由上述各模組能夠輔助使用者進行語言學習，並針對語句中的文法、錯字、發音及語調等問題提供明確的提示或建議，從而輔助使用者了解自身的問題點，達到提高語言學習成效之目的。
Description
本發明係關於語言學習領域，特別是一種語言學習系統。
按，語言是人與人之間交流的溝通橋樑之一，尤其是現今國際化的社會中，如能掌握多種語言，勢必能順利與不同國別的人士進行溝通交流。然而，對於語言學習者來說，學習第二外語通常較為困難，例如：受到母語的思考邏輯影響、學習環境不佳及師資教材良莠不齊等，都有可能造成語言學習成效低落之現象。
詳細來說，針對初學者，常見的問題在於不黯文法架構、發音不正確、用錯字詞及語調呆板生硬等，並受到母語的敘述邏輯所影響，造成溝通交流時常有語句不通順，難以聽懂理解的情形發生。
是以，如何能同時針對文法、錯字、發音及語調等問題來提供語言學習者簡便且精確的學習語言方式，將是相關從業人員所要思量之處。
本發明之主要目的係在於提供一種語言學習系統，係能夠輔助使用者進行語言學習，並針對語句中的文法、錯字、發音及語調等問題提供明確
的提示或建議，從而輔助使用者了解自身的問題點，達到提高語言學習成效之目的。
為能達成上述目的，本發明係揭露一種語言學習系統，包括：一語言資料庫，係具有一標準語句訊息及一標準音訊訊息；一接收模組，係接收來自外部之一語音資訊；一語音識別模組，用以識別該語音資訊並推算出對應之一語句識別訊息及一音訊辨識訊息；一文法檢查模組，係藉由一外部之語法資料庫所包含的文法規則來檢查該語句識別訊息以獲得一文法分析結果，並分析出該語句識別訊息中不符合該文法規則之語句字彙錯誤數量；一錯字檢查模組，係針對該語句識別訊息與該標準語句訊息之間的每一個單字進行交叉比對以產生一錯字分析結果；當錯字檢查模組對該語句識別訊息進行錯字分析時，係分析出該語句識別訊息與該標準語句訊息之間相同單字的數量，並據以計算出該錯字分析結果所包含之一語句字彙正確率；一發音辨識模組，係擷取出該音訊辨識訊息中所包含的單字，並與自該語言資料庫中所篩選出相對應之該標準音訊訊息的單字進行發音比對以產生一發音分析結果；當發音辨識模組對該音訊辨識訊息進行發音分析時，係分析出該語句識別訊息與該標準語句訊息之間發音正確的單字數量，並據以計算出該發音分析結果所包含之一單字發音正確率；一語調辨識模組，係根據該文法檢查模組所辨識出該語句識別訊息之文法句型與該發音辨識模組所辨識出該語句識別訊息之單字音調，並搭配自該語言資料庫中所篩選出與該音訊辨識訊息相對應之該標準音訊訊息的語句進行語調比對分析，得以產生一語調分析結果；一顯示模組，係得以顯示該語句識別訊息、該文法分析結果、該錯字分析結果、該發音分析結果或該語調分析結果；當該顯示模組係可使該語句識別訊息之顯示時序先於該文法分析結果、該錯字
分析結果、該發音分析結果及該語調分析結果等分析結果之前，並可進一步在該語句識別訊息顯示之後、而在該些分析結果顯示之前，允許使用者重新向該接收模組提供另一組語音資訊，當該接收模組重新接收到該另一組語音資訊後，即由該語音識別模組再重新辨識分析該另一組語音資訊。
為了提高本發明的即時性與方便性，該系統更包括一識別確認程序，係於自該語音識別模組識別出該語句識別訊息且經由該顯示模組來顯示後，再詢問使用者是否繼續進行分析；如該語言學習系統接收到的指令為「是」時，即繼續執行該文法檢查模組、該錯字檢查模組、該發音辨識模組及或該語調辨識模組的分析辨識；如該語言學習系統接收到的指令為「否」時，則重新啟動該接受模組並要求使用者重新提供另一組語音資訊。據此，使用者能快速地明瞭其所唸誦出的語句是否與該語音辨識模組所辨識之內容一致，避免該語音辨識模組之辨識錯誤造成後續分析結果之錯誤。
其中，該文法規則係指句型、時態、及缺漏或多餘的單字。
其中，該文法檢查模組係對該語句識別訊息進行補充校正，以產生一文法建議訊息，並標記出該語句識別訊息中經校正之部分。
其中，該錯字檢查模組更標記出該語句識別訊息與該標準語句訊息之間相異單字。
為改善使用者的發音技巧及準確的發音，該發音辨識模組更針對該音訊辨識訊息中每一個單字的發音所包括之音節、重讀音與輕讀音提供使用者發音提示。
其中，該語調辨識模組係以線性預測編碼(LPC，Linear predictive coding)來處理該音訊辨識訊息。
圖1係本發明之一較佳實施例的流程圖。
以下，為能說明本發明，將茲舉本發明之一較佳實施例並搭配圖式作進一步說明如後。
本發明所揭語言學習系統包括一語言資料庫、一接收模組、一語音識別模組、一文法檢查模組、一錯字檢查模組、一發音辨識模組、一語調辨識模組及一顯示模組。
該語言資料庫係具有一標準語句訊息及一標準音訊訊息，該標準語句訊息為多個單字組成符合相對應之文法、句型架構之語句，且單字可為但不限於主詞、主詞補語、動詞、受詞、受詞補語、連接詞及形容詞。該標準音訊訊息包含有每一個單字的正確發音，以及該語句的整體發音語調，其中，所稱之正確發音或整體發音語調係得以由真人發音預錄而成者，亦得以為機器發音者。
該接收模組係接收來自外部之一語音資訊。在本實施例中，該接收模組係包含有一麥克風，用來接收使用者所發出之語句聲音，並將所接收之語句聲音記錄為該語音資訊。
該語音識別模組用以識別該語音資訊並推算出對應之一語句識別訊息及一音訊辨識訊息，其中，語音辨識的方式可選用HoloToolKit Unity所提供之短語識別(Phrase Recognition)、聽寫識別(Dictation Recognition)及聲音識別
(DictationRecognizer)任其中一者，而本實施例係採用聽寫識別的方式來辨識語音。
該文法檢查模組係藉由一外部之語法資料庫所包含的文法規則來檢查該語句識別訊息以獲得一文法分析結果，並分析出該語句識別訊息中不符合該文法規則之語句字彙錯誤數量。其中，該文法檢查模組係採用開源軟體Language Tool來進行文法校正，該文法規則係指句型、時態、及缺漏或多餘的單字。
再者，該文法檢查模組係對該語句識別訊息進行補充校正，以產生一文法建議訊息，並標記出該語句識別訊息中經校正之部分。
具體而言，假設使用者所提供之該語音資訊為“How many bags I can have check？”，經該文法檢查模組分析校正後所得之該文法建議訊息為“How many bags can I check？”，其中，該語音資訊中的文法錯誤之處為“I”、“can”及“have”的用法，並可透過不同顏色、大小或字形來標記出錯誤用詞的部分，且該文法檢查模組還能計算出該語句字彙錯誤數量為3個。此範例僅為舉例說明之，並不以此侷限本發明的應用範疇。
該錯字檢查模組係針對該語句識別訊息與該標準語句訊息之間的每一個單字進行交叉比對以產生一錯字分析結果；當錯字檢查模組對該語句識別訊息進行錯字分析時，係分析出該語句識別訊息與該標準語句訊息之間相同單字的數量，並據以計算出該錯字分析結果所包含之一語句字彙正確率。此外，該錯字檢查模組更標記出該語句識別訊息與該標準語句訊息之間相異單字。
具體而言，假設使用者所提供之該語音資訊為“How many beg can I chalk？”，經該錯字檢查模組分析校正後所得之該文法建議訊息為“How many bags can I check？”，其中，該語音資訊中的錯字為“beg”及“chalk”，並可透
過不同顏色、大小或字形來標記出錯字的部分，且該錯字檢查模組還能計算出該語句字彙正確率為66%。此範例僅為舉例說明之，並不以此侷限本發明的應用範疇。
該發音辨識模組係擷取出該音訊辨識訊息中所包含的單字，並與自該語言資料庫中所篩選出相對應之該標準音訊訊息的單字進行發音比對以產生一發音分析結果；當發音辨識模組對該音訊辨識訊息進行發音分析時，係分析出該語句識別訊息與該標準語句訊息之間發音正確的單字數量，並據以計算出該發音分析結果所包含之一單字發音正確率。再者，為改善使用者的發音技巧及準確的發音，該發音分析係指針對該音訊辨識訊息中每一個單字的發音所包括之音節、讀音與輕重音提供使用者發音提示，同時並顯示相對應單字的正確發音。具體的實施態樣如下表所舉的範例。
該語調辨識模組係根據該文法檢查模組所辨識出該語句識別訊息之文法句型與該發音辨識模組所辨識出該語句識別訊息之單字音調，並搭配自該語言資料庫中所篩選出與該音訊辨識訊息相對應之該標準音訊訊息的語句進行語調比對分析，得以產生一語調分析結果。其中，該語調辨識模組係以線性預測編碼(LPC，Linear predictive coding)來處理該音訊辨識訊息，而該單字音調係指個別單字的音節、輕音及重音之變化。而使用者可透過該語調分析結果明瞭該語音資訊的語調是否呆板生硬，有無抑、揚、頓、挫，或是感情、語境不符之情形，並據此改善之。
該顯示模組係得以顯示該語句識別訊息、該文法分析結果、該錯字分析結果、該發音分析結果或該語調分析結果。
當該顯示模組係可使該語句識別訊息之顯示時序先於該文法分析結果、該錯字分析結果、該發音分析結果及該語調分析結果等分析結果之前，並可進一步在該語句識別訊息顯示之後、而在該些分析結果顯示之前，允許使用者重新向該接收模組提供另一組語音資訊，當該接收模組重新接收到該另一組語音資訊後，即由該語音識別模組再重新辨識分析該另一組語音資訊。詳細來說，該語言學習系統更包括一識別確認程序，係於自該語音識別模組識別出該語句識別訊息且經由該顯示模組來顯示後，再詢問使用者是否繼續進行分析；如該語言學習系統接收到的指令為「是」時，即繼續執行該文法檢查模組、該錯字檢查模組、該發音辨識模組及或該語調辨識模組的分析辨識；如該語言學習系統接收到的指令為「否」時，則重新啟動該接受模組並要求使用者重新
提供另一組語音資訊。據此，使用者能快速地明瞭其所唸誦出的語句是否與該語音辨識模組所辨識之內容一致，避免該語音辨識模組之辨識錯誤造成後續分析結果之謬誤。此外，該識別確認程序除了能以人類視覺可感受的方式顯示該語句識別訊息之外，還可額外透過以人類聽覺可感受的來播放該音訊辨識訊息(例如：喇叭)，同樣能使用者明瞭其所唸誦出的語句是否與該音訊辨識訊息所辨識之內容一致，避免該音訊辨識訊息之辨識錯誤造成後續分析結果之謬誤。在其他實施態樣中，該語言學習系統還可以跳過該識別確認程序而直接分析辨識該語句識別訊息及該音訊辨識訊息。
以上僅是藉由各該實例詳細說明本發明，熟知該技術領域者於不脫離本發明精神下，而對於說明書中之實施例所做的任何簡單修改或是變化，均應為本案申請專利範圍所得涵攝者。
Claims (7)
- 一種語言學習系統，包括：一語言資料庫，係具有一標準語句訊息及一標準音訊訊息；一接收模組，係自外部接收之一語音資訊；一語音識別模組，用以識別該語音資訊並推算出對應之一語句識別訊息及一音訊辨識訊息；一文法檢查模組，係藉由一外部之語法資料庫所包含的文法規則來檢查該語句識別訊息以獲得一文法分析結果，並分析出該語句識別訊息中不符合該文法規則之語句字彙錯誤數量；一錯字檢查模組，係針對該語句識別訊息與該標準語句訊息之間的每一個單字進行交叉比對以產生一錯字分析結果；當錯字檢查模組對該語句識別訊息進行錯字分析時，係分析出該語句識別訊息與該標準語句訊息之間相同單字的數量，並據以計算出該錯字分析結果所包含之一語句字彙正確率；一發音辨識模組，係擷取出該音訊辨識訊息中所包含的單字，並與自該語言資料庫中所篩選出相對應之該標準音訊訊息的單字進行發音比對以產生一發音分析結果；當發音辨識模組對該音訊辨識訊息進行發音分析時，係分析出該語句識別訊息與該標準語句訊息之間發音正確的單字數量，並據以計算出該發音分析結果所包含之一單字發音正確率；一語調辨識模組，係根據該文法檢查模組所辨識出該語句識別訊息之文法句型與該發音辨識模組所辨識出該語句識別訊息之單字音調，並搭配自該語言資料庫中所篩選出與該音訊辨識訊息相對應之該標準音訊訊息的語句進行語調比對分析，得以產生一語調分析結果； 一顯示模組，係得以顯示該語句識別訊息、該文法分析結果、該錯字分析結果、該發音分析結果或該語調分析結果；當該顯示模組顯示該語句識別訊息時，係允許使用者重新向該接收模組提供另一組語音資訊，而該語音識別模組再重新辨識分析該另一組語音資訊。
- 如請求項1所述之語言學習系統，其更包括一識別確認程序，係於自該語音識別模組識別出該語句識別訊息且經由該顯示模組來顯示後，再詢問使用者是否繼續進行分析；當其所接收之指令為是時，則繼續執行該文法檢查模組、該錯字檢查模組、該發音辨識模組及或該語調辨識模組的分析辨識；當其所接收之指令為否時，則要求使用者重新提供另一組語音資訊。
- 如請求項1所述之語言學習系統，其中，該文法規則係指句型、時態、及缺漏或多餘的單字。
- 如請求項3所述之語言學習系統，其中，該文法檢查模組係對該語句識別訊息進行補充校正，以產生一文法建議訊息，並標記出該語句識別訊息中經校正之部分。
- 如請求項1所述之語言學習系統，其中，該錯字檢查模組更標記出該語句識別訊息與該標準語句訊息之間相異單字。
- 如請求項1所述之語言學習系統，其中，該發音辨識模組更針對該音訊辨識訊息提供使用者發音提示。
- 如請求項1所述之語言學習系統，其中，該語調辨識模組係以線性預測編碼(LPC，Linear predictive coding)來處理該音訊辨識訊息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108142973A TWI724649B (zh) | 2019-11-26 | 2019-11-26 | 語言學習系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108142973A TWI724649B (zh) | 2019-11-26 | 2019-11-26 | 語言學習系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI724649B true TWI724649B (zh) | 2021-04-11 |
| TW202121357A TW202121357A (zh) | 2021-06-01 |
Family
ID=76605105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108142973A TWI724649B (zh) | 2019-11-26 | 2019-11-26 | 語言學習系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI724649B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1153127C (zh) * | 1995-01-26 | 2004-06-09 | 李琳山 | 普通话语音输入和训练方法及普通话听写机 |
| TWI237188B (en) * | 2000-06-13 | 2005-08-01 | Jih-Cheng Luo | Language gene database |
| US20160062982A1 (en) * | 2012-11-02 | 2016-03-03 | Fido Labs Inc. | Natural language processing system and method |
-
2019
- 2019-11-26 TW TW108142973A patent/TWI724649B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1153127C (zh) * | 1995-01-26 | 2004-06-09 | 李琳山 | 普通话语音输入和训练方法及普通话听写机 |
| TWI237188B (en) * | 2000-06-13 | 2005-08-01 | Jih-Cheng Luo | Language gene database |
| US20160062982A1 (en) * | 2012-11-02 | 2016-03-03 | Fido Labs Inc. | Natural language processing system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202121357A (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20060110712A1 (en) | System and method for programmatically evaluating and aiding a person learning a new language | |
| ATE195605T1 (de) | Verfahren und vorrichtung für sprachunterricht mittels interaktiver sprachsteuerung | |
| KR20160115041A (ko) | 음성인식 기반의 발음 학습 장치 및 학습 방법 | |
| US8221126B2 (en) | System and method for performing programmatic language learning tests and evaluations | |
| CN108806719A (zh) | 交互式语言学习系统及其方法 | |
| KR102225435B1 (ko) | Stt 기반 언어구사 학습-훈련 시스템 | |
| Ai | Automatic pronunciation error detection and feedback generation for call applications | |
| Dost | Pronunciation problems of high school EFL students: An error analysis approach with pedagogical implication | |
| Arcaya | Differences between native English-speaking teachers and their non-native counterparts when evaluating pronunciation | |
| TWI724649B (zh) | 語言學習系統 | |
| CN111508522A (zh) | 一种语句分析处理方法及系统 | |
| Liu | Teaching Chinese pronunciation: Explanation, expectation, and implementation | |
| Nakanishi et al. | Spotting English Pronunciation Errors Comparison Among Teachers and with Automatic Speech Recognition | |
| TWI727395B (zh) | 語言發音學習系統及方法 | |
| Díez et al. | Non-native speech corpora for the development of computer assisted pronunciation training systems | |
| Price | How Can Speech Technology Replicate and Complement Good Language Teachers to Help People Learn Language? | |
| Haryani et al. | Pronounciation Error in Speaking Performance of Seafarer Students | |
| Sayogie et al. | Interlingual Errors in Indonesian EFL learners' Pronunciation: From Minimal Pairs to Speaking Ability | |
| Utami et al. | Improving students’ English pronunciation competence by using shadowing technique | |
| Proença et al. | Teaching American English pronunciation using a TTS service. | |
| Filighera et al. | Towards A Vocalization Feedback Pipeline for Language Learners | |
| Fang | Common Pronunciation Errors of Chinese-Speaking Students in Malaysia | |
| Sh et al. | Teaching English Pronunciation to ESL Students | |
| JPH03226785A (ja) | 音声認識装置付き語学用教育装置 | |
| Umezawa et al. | Utilizing Automatic Speech Recognition for English Pronunciation Practice and Analyzing its Impact |