JP7039637B2 - 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム - Google Patents
情報処理装置、情報処理方法、情報処理システム、情報処理プログラム Download PDFInfo
- Publication number
- JP7039637B2 JP7039637B2 JP2020028852A JP2020028852A JP7039637B2 JP 7039637 B2 JP7039637 B2 JP 7039637B2 JP 2020028852 A JP2020028852 A JP 2020028852A JP 2020028852 A JP2020028852 A JP 2020028852A JP 7039637 B2 JP7039637 B2 JP 7039637B2
- Authority
- JP
- Japan
- Prior art keywords
- language
- user
- voice recognition
- storage unit
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Description
本発明の実施形態に係るハードウェアおよびソフトウェアの基本的な構成を説明する。まず、図1に示すように、情報処理システム1は、サーバ3と、端末装置5(たとえば、端末5a、端末5b)とを有している。サーバ3と端末装置5とは、インターネット等のネットワーク4を介して互いに通信可能に接続されている。ネットワーク4は、有線回線と無線回線のいずれでもよく、回線の種類や形態は問わない。なお、サーバ3と端末装置5の少なくとも一部は、コンピュータにより実現される。なお、本実施形態において開示される内容は、サーバ3と端末装置5とに分離せずに、1つの端末装置において実現されてもよい。また、サーバ3の機能は、複数のサーバによって実現されていてもよい。もっとも、以下では便宜上、本件システムの基本部分をサーバ3において実現するための形態を開示するものとする。
まず、サーバ3の構成を説明する。図2は、サーバ3の構成の一例を示す図である。図2に示すように、サーバ3は、たとえばクラウド型のサーバであり、サーバ通信部31と、サーバ制御部32と、サーバ記憶部33とを有している。各部は、バスやネットワークを介して互いに通信可能に接続されている。
次に、端末装置5の構成を説明する。端末装置5は、使用者(たとえば、語学学習者)によって使用されるものであり、たとえば、スマートフォンやタブレット端末などのモバイル端末、ノートブックコンピュータ、またはデスクトップコンピュータなどの電子機器である。
以下、上記の各ハードウェアおよびソフトウェア構成を前提として、まず音声認識の概要と、続いて本発明の一実施形態に係る特徴的構成を説明する。その後、本発明の一実施形態における変形例も説明する。
音声認識は、複数の段階に分けて認識される。端末装置5は、ユーザの操作により音声認識に対応する入力データ(すなわち、入力音声)を収集する。該入力データは、端末装置5からネットワーク4を介してサーバ3に送信され、サーバ3の制御部32において、音の高さ、音の長さなどの特徴量の抽出がなされる。当該抽出を、特徴量抽出とも言い、当該制御部32の機能を特徴量抽出部とも言う。
本発明においては、学習システムは、語学学習を行うユーザに関する情報(たとえば、ユーザが受けた語学力を測定するためのテストの結果によって得られたデータであってもよい。)を用いて、上記各推定のいずれかまたは両方を行う(好ましくは両方)。そこで以下、語学学習を行うユーザに関する情報を用いた推定について、例示的に実施の形態を説明することとする。
本発明の一実施形態において、学習システムは、図4に示す通り、学習ツールで収集した学習データによって語学力(たとえば、英語力)を推定し、当該語学力データ(たとえば、英語力データ)を適用して、音声認識を行い、当該音声認識結果を学習ツールにフィードバックする、という構成を備えていてもよい。
変形例1を説明する。前提として変形例1では、サーバ3の学習ツール記憶部331において、所定の語彙力レベルに、所定の単語群が関連付けられて記憶されている。また、学習ツール記憶部331に記憶された学習ツール中の課題には「筆記テスト」が含まれている。これらを前提に、当該筆記テストによってユーザ(学習者)の語彙力レベルが判定される。学習システムは、ユーザ(学習者)の語彙力レベルに応じ、当該語彙力レベル以下の単語群しか認識できないようにし、または、当該語学力レベルを超える単語の(出現)確率を下げるように構成される。なお、当該方法は、語彙力レベルを直接判定するものであるが、語学力を判定し(または判定された語学力を用い)、該語学力から語彙力を判定するようにしてもよい。すなわち、サーバ3の学習ツール記憶部331において所定の語学力レベルに所定の語彙力レベルまたは所定の単語群が関連付けられて記憶され、学習ツール記憶部331に記憶された学習ツール中の課題には「筆記テスト」が含まれ、これらを前提に、本明細書記載の手法によりユーザ(学習者)の語学力レベルが測定され、学習システムは、ユーザ(学習者)の語学力レベルに応じ、当該語学力レベル以下の語彙力レベル単語ないし単語群しか認識できないようにし、または、当該語学力レベルを超える単語の(出現)確率を下げるように構成されてもよい。なお、本変形例1においては、単語群のレベルは、たとえば、市販の「英単語1000」「英単語2000」といった書籍に合わせて設定することもできるし、各種資格試験・検定試験で所定のスコアないし級を取得するのに必要とされる単語リストに基づいて設定されることができる。なお、語彙力の判定に関するサーバ制御部32における機能を語彙力判定部と称する。
続いて変形例2を説明する。前提として変形例2では、学習ツール記憶部331に記憶された学習ツール中の課題には文法に関する選択問題が含まれている。これを前提に、当該課題によってユーザ(学習者)の文法に関する語学力レベル(なお、文法に関する語学力レベルを、文法力と称する。)が測定される。学習システムは、ユーザ(学習者)が正解できなかった文法については認識しないか出現確率を下げるようにする。なお、文法力の判定に関するサーバ制御部32における機能を文法力判定部と称する。
続いて変形例3を説明する。前提として変形例3では、学習ツール記憶部331に、語学レベルに応じた発音方式が記憶されている。ユーザ(学習者)の語学力レベル(たとえば英語力レベル)が、当該語学力レベルのどれに対応するものであるかが制御部32により判定される。なお、語学力の判定に関するサーバ制御部32における機能を語学力判定部と称する。
続いて変形例4を説明する。前提として変形例4では、サーバ3のユーザID記憶部339は、ユーザIDのみならず、ユーザ(学習者)のプロフィールを記憶している。制御部32は、当該ユーザID記憶部339に記憶されたプロフィールから固有名詞の文字(たとえば、英字)を抽出し、記憶部33中に、「単語リスト」などとして単語登録をする。入力データに含まれると推定された単語と、当該単語リストに登録された固有名詞との一致度が高いと判断される場合、当該推定された単語を自動的に当該登録された固有名詞に変換して出力する。
サーバ 3
(サーバ)通信部 31
(サーバ)制御部 32
(サーバ)記憶部 33
学習ツール記憶部 331
ユーザ情報記憶部 333
音響モデル記憶部 335
言語モデル記憶部 337
ユーザID記憶部 339
端末装置 5、5a、5b
Claims (13)
- 語学学習を行うユーザに関する情報を記憶するユーザ情報記憶部と、
音響モデルを記憶する音響モデル記憶部と、
言語モデルを記憶する言語モデル記憶部と、
音声を認識する音声認識部と、を有し、
前記音声認識部は、前記ユーザに関する情報を用いることにより前記音響モデルおよび前記言語モデルの少なくともいずれかを適用して音声認識を行い、
更に、前記ユーザに関する情報は、前記ユーザによる語学学習に関するデータである語学学習データであるとともに、
前記語学学習データを記憶する語学学習データ記憶部を有し、
前記音声認識部は、前記語学学習データを用いて前記音響モデルおよび前記言語モデルの少なくともいずれかを適用して音声認識を行い、
更にまた、前記語学学習データ記憶部は、前記ユーザが受けた語学力を測定するためのテストの結果によって得られたデータを前記語学学習データとして記憶し、
また更に、前記テストの結果により前記ユーザの語学力を判定するとともに、前記語学力から語彙力を判定する語彙力判定部と、所定の語学力レベルに所定の語彙力レベルまたは所定の単語群が関連付けられて記憶されている学習ツール記憶部と、を有し、
前記音声認識部は、前記語学力レベル以下の語彙力レベル単語ないし単語群しか認識できないようにし、または、前記語学力レベルを超える単語の出現確率を下げるように構成することにより、前記ユーザの語彙力に対応する単語に関して音声認識を行う学習システム。 - 語学学習を行うユーザに関する情報を記憶するユーザ情報記憶部と、
音響モデルを記憶する音響モデル記憶部と、
言語モデルを記憶する言語モデル記憶部と、
音声を認識する音声認識部と、を有し、
前記音声認識部は、前記ユーザに関する情報を用いることにより前記音響モデルおよび前記言語モデルの少なくともいずれかを適用して音声認識を行い、
更に、前記ユーザに関する情報は、前記ユーザによる語学学習に関するデータである語学学習データであるとともに、
前記語学学習データを記憶する語学学習データ記憶部を有し、
前記音声認識部は、前記語学学習データを用いて前記音響モデルおよび前記言語モデルの少なくともいずれかを適用して音声認識を行い、
更にまた、前記語学学習データ記憶部は、前記ユーザが受けた語学力を測定するためのテストの結果によって得られたデータを前記語学学習データとして記憶し、
また更に、前記テストの結果により前記ユーザの文法力を判定する文法力判定部を有し、
前記音声認識部は、前記ユーザが正解できなかった文法については認識しないか出現確率を下げるようにすることにより前記ユーザの文法力に対応する単語に関して音声認識を行うことを特徴とする学習システム。 - 語学学習を行うユーザに関する情報を記憶するユーザ情報記憶部と、
音響モデルを記憶する音響モデル記憶部と、
言語モデルを記憶する言語モデル記憶部と、
音声を認識する音声認識部と、を有し、
前記音声認識部は、前記ユーザに関する情報を用いることにより前記音響モデルおよび前記言語モデルの少なくともいずれかを適用して音声認識を行い、
更に、前記ユーザに関する情報は、前記ユーザによる語学学習に関するデータである語学学習データであるとともに、
前記語学学習データを記憶する語学学習データ記憶部を有し、
前記音声認識部は、前記語学学習データを用いて前記音響モデルおよび前記言語モデルの少なくともいずれかを適用して音声認識を行い、
更にまた、前記語学学習データ記憶部は、前記ユーザが受けた語学力を測定するためのテストの結果によって得られたデータを前記語学学習データとして記憶し、
また更に、語学レベルに応じた発音方式を記憶する学習ツール記憶部を有するとともに、前記発音方式に基づいて前記ユーザの語学力レベルを判定する語学力判定部を有し、
前記音声認識部は、前記語学力判定部の判断に基づいて音声認識を行うことを特徴とする学習システム。 - 前記音声認識部は、前記語学学習データを用いて前記音響モデルおよび前記言語モデルを適用して音声認識を行うことを特徴とする請求項1~請求項3のいずれか一項に記載の学習システム。
- 前記テストは、選択式又は筆記式のテストであり、
前記音声認識部は、前記テストによって得られたデータを前記語学学習データとして記憶することを特徴とする請求項1~請求項3のいずれか一項に記載の学習システム。 - 前記テストは、ユーザによる発声が伴うテストであり
前記音声認識部は、前記テストによって得られたデータを前記語学学習データとして記憶することを特徴とする請求項1~請求項3のいずれか一項に記載の学習システム。 - 前記音響モデルは、音の高低または学習深度により分けられて作成された複数の音響モデルであり、
前記音響モデル記憶部に記憶された複数の音響モデルの中から音響モデルを選択する音響モデル選択部を有し、
前記音響モデル選択部は、前記複数の音響モデルの中から前記テストの結果に対応する音響モデルを選択することを特徴とする請求項1~請求項3のいずれか一項に記載の学習システム。 - 前記言語モデルは、前記テストの結果により作成されたものであることを特徴とする請求項1~請求項3のいずれか一項に記載の学習システム。
- 前記音声認識部は、前記ユーザの語学力に応じて所定の単語の認識パターンを変えて音声認識を行う請求項1~請求項3のいずれか一項に記載の学習システム。
- 前記ユーザに関する情報には、固有名詞が含まれ、
前記固有名詞と前記音声認識した音声との一致度を判定する固有名詞一致度判定部を有し、
前記音声認識部は、前記一致度が所定の一致度以上である場合に前記音声を前記固有名詞として認識する請求項1~請求項3のいずれか一項に記載の学習システム。 - 学習システムのコンピュータを、
語学学習を行うユーザに関する情報を記憶するユーザ情報記憶部と、
音響モデルを記憶する音響モデル記憶部と、
言語モデルを記憶する言語モデル記憶部と、
音声を認識する音声認識部として機能させるとともに、
前記音声認識部を、前記ユーザに関する情報を用いることにより前記音響モデルおよび前記言語モデルの少なくともいずれかを適用して音声認識を行うように機能させ、
更に、前記ユーザに関する情報は、前記ユーザによる語学学習に関するデータである語学学習データであるとともに、
前記語学学習データを記憶する語学学習データ記憶部として機能させ、
前記音声認識部を、前記語学学習データを用いて前記音響モデルおよび前記言語モデルの少なくともいずれかを適用して音声認識を行うように機能させ、
更にまた、前記語学学習データ記憶部を、前記ユーザが受けた語学力を測定するためのテストの結果によって得られたデータを前記語学学習データとして記憶するように機能させ、
また更に、前記テストの結果により前記ユーザの語学力を判定するとともに、前記語学力から語彙力を判定する語彙力判定部と、所定の語学力レベルに所定の語彙力レベルまたは所定の単語群が関連付けられて記憶されている学習ツール記憶部として機能させ、
前記音声認識部を、前記語学力レベル以下の語彙力レベル単語ないし単語群しか認識できないようにし、または、前記語学力レベルを超える単語の出現確率を下げるように構成することにより、前記ユーザの語彙力に対応する単語に関して音声認識を行うように機能させることを特徴とするプログラム。 - 学習システムのコンピュータを、
語学学習を行うユーザに関する情報を記憶するユーザ情報記憶部と、
音響モデルを記憶する音響モデル記憶部と、
言語モデルを記憶する言語モデル記憶部と、
音声を認識する音声認識部として機能させるとともに、
前記音声認識部を、前記ユーザに関する情報を用いることにより前記音響モデルおよび前記言語モデルの少なくともいずれかを適用して音声認識を行うように機能させ、
更に、前記ユーザに関する情報は、前記ユーザによる語学学習に関するデータである語学学習データであるとともに、
前記語学学習データを記憶する語学学習データ記憶部として機能させ、
前記音声認識部を、前記語学学習データを用いて前記音響モデルおよび前記言語モデルの少なくともいずれかを適用して音声認識を行うように機能させ、
更にまた、前記語学学習データ記憶部を、前記ユーザが受けた語学力を測定するためのテストの結果によって得られたデータを前記語学学習データとして記憶するように機能させ、
また更に、前記テストの結果により前記ユーザの文法力を判定する文法力判定部として機能させ、
前記音声認識部を、前記ユーザが正解できなかった文法については認識しないか出現確率を下げるようにすることにより前記ユーザの文法力に対応する単語に関して音声認識を行うように機能させることを特徴とするプログラム。 - 学習システムのコンピュータを、
語学学習を行うユーザに関する情報を記憶するユーザ情報記憶部と、
音響モデルを記憶する音響モデル記憶部と、
言語モデルを記憶する言語モデル記憶部と、
音声を認識する音声認識部として機能させるとともに、
前記音声認識部を、前記ユーザに関する情報を用いることにより前記音響モデルおよび前記言語モデルの少なくともいずれかを適用して音声認識を行うように機能させ、
更に、前記ユーザに関する情報は、前記ユーザによる語学学習に関するデータである語学学習データであるとともに、
前記語学学習データを記憶する語学学習データ記憶部として機能させ、
前記音声認識部を、前記語学学習データを用いて前記音響モデルおよび前記言語モデルの少なくともいずれかを適用して音声認識を行うように機能させ、
更にまた、前記語学学習データ記憶部を、前記ユーザが受けた語学力を測定するためのテストの結果によって得られたデータを前記語学学習データとして記憶するように機能させ、
また更に、語学レベルに応じた発音方式を記憶する学習ツール記憶部を有するとともに、前記発音方式に基づいて前記ユーザの語学力レベルを判定する語学力判定部として機能させ、
前記音声認識部を、前記語学力判定部の判断に基づいて音声認識を行うように機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020028852A JP7039637B2 (ja) | 2020-02-21 | 2020-02-21 | 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020028852A JP7039637B2 (ja) | 2020-02-21 | 2020-02-21 | 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021135312A JP2021135312A (ja) | 2021-09-13 |
JP7039637B2 true JP7039637B2 (ja) | 2022-03-22 |
Family
ID=77661057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020028852A Active JP7039637B2 (ja) | 2020-02-21 | 2020-02-21 | 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7039637B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006093065A1 (ja) | 2005-03-02 | 2006-09-08 | The Japan Institute For Educational Measurement, Inc. | 学習レベル判定装置及び学習レベル判定プログラム |
JP2013512461A (ja) | 2009-12-16 | 2013-04-11 | 浦項工科大學校 産學協力團 | 外国語学習装置及び対話システム |
JP2014235219A (ja) | 2013-05-31 | 2014-12-15 | 株式会社Jvcケンウッド | 文提示装置、文提示方法及び文提示プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6391386B2 (ja) * | 2014-09-22 | 2018-09-19 | シャープ株式会社 | サーバ、サーバの制御方法およびサーバ制御プログラム |
-
2020
- 2020-02-21 JP JP2020028852A patent/JP7039637B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006093065A1 (ja) | 2005-03-02 | 2006-09-08 | The Japan Institute For Educational Measurement, Inc. | 学習レベル判定装置及び学習レベル判定プログラム |
JP2013512461A (ja) | 2009-12-16 | 2013-04-11 | 浦項工科大學校 産學協力團 | 外国語学習装置及び対話システム |
JP2014235219A (ja) | 2013-05-31 | 2014-12-15 | 株式会社Jvcケンウッド | 文提示装置、文提示方法及び文提示プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021135312A (ja) | 2021-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11527174B2 (en) | System to evaluate dimensions of pronunciation quality | |
US6424935B1 (en) | Two-way speech recognition and dialect system | |
US11145222B2 (en) | Language learning system, language learning support server, and computer program product | |
KR19990044575A (ko) | 대화형 언어훈련용 장치 | |
Daniels et al. | The suitability of cloud-based speech recognition engines for language learning. | |
US11810471B2 (en) | Computer implemented method and apparatus for recognition of speech patterns and feedback | |
US11676572B2 (en) | Instantaneous learning in text-to-speech during dialog | |
KR20160008949A (ko) | 음성 대화 기반의 외국어 학습 방법 및 이를 위한 장치 | |
Ahsiah et al. | Tajweed checking system to support recitation | |
CN110148413B (zh) | 语音评测方法及相关装置 | |
Knill et al. | Use of graphemic lexicons for spoken language assessment | |
JP7039637B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム | |
Shufang | Design of an automatic english pronunciation error correction system based on radio magnetic pronunciation recording devices | |
CN113053409B (zh) | 音频测评方法及装置 | |
US20210304628A1 (en) | Systems and Methods for Automatic Video to Curriculum Generation | |
Wu et al. | Efficient personalized mispronunciation detection of Taiwanese-accented English speech based on unsupervised model adaptation and dynamic sentence selection | |
Filighera et al. | Towards A Vocalization Feedback Pipeline for Language Learners | |
Hirai et al. | Using Speech-to-Text Applications for Assessing English Language Learners’ Pronunciation: A Comparison with Human Raters | |
JP7195593B2 (ja) | 語学学習用装置および語学学習用プログラム | |
León-Montaño et al. | Design of the architecture for text recognition and reading in an online assessment applied to visually impaired students | |
TW201017647A (en) | Auxiliary speech correcting device and method | |
KR101983031B1 (ko) | 언어 교육 방법 및 언어 교육 시스템 | |
KR101743708B1 (ko) | 받침 정확성 판단을 통한 한국어 학습 서비스 제공 시스템 및 그 운용 방법 | |
JP2017530425A (ja) | 指定言語でのユーザの発話の改善を支援するための方法およびシステム | |
Dobrovolskyi et al. | An approach to synthesis of a phonetically representative english text of minimal length |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211022 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220309 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7039637 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |