JP6957069B1 - 学習支援システム - Google Patents

学習支援システム Download PDF

Info

Publication number
JP6957069B1
JP6957069B1 JP2021088275A JP2021088275A JP6957069B1 JP 6957069 B1 JP6957069 B1 JP 6957069B1 JP 2021088275 A JP2021088275 A JP 2021088275A JP 2021088275 A JP2021088275 A JP 2021088275A JP 6957069 B1 JP6957069 B1 JP 6957069B1
Authority
JP
Japan
Prior art keywords
data
evaluation
user
learning support
manuscript
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021088275A
Other languages
English (en)
Inventor
祥吾 岡田
峻太郎 山碕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PROGRIT INC.
Original Assignee
PROGRIT INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PROGRIT INC. filed Critical PROGRIT INC.
Priority to JP2021088275A priority Critical patent/JP6957069B1/ja
Application granted granted Critical
Publication of JP6957069B1 publication Critical patent/JP6957069B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】効果的なシャドーイングを行うことができるようにする。【解決手段】学習支援システムであって、原稿データ及び見本音声データを記憶するデータベースと、見本音声データを再生する音声出力部と、ユーザの発話音声データを取得する音声取得部と、発話音声データに対する評価データを取得する評価取得部と、評価データを出力する評価出力部と、評価データを閲覧したユーザから、見本音声データの再生速度を調整するか否か及び原稿データを出力するか否かの指定を受け付けるオプション受付部と、を備え、音声出力部は、後続する見本音声データの再生時に、ユーザからの指定に応じて見本音声データの再生速度を調整して出力し、ユーザからの指定に応じて原稿データを併せて出力すること、を特徴とする。【選択図】図1

Description

本発明は、学習支援システムに関する。
特許文献1には、発話した音声について音素毎に分解し、誤りを検出した場合に、誤りが検出された音素を含む単語等の文字列を指摘して表示する技術が開示されている。
特開2016−90900号公報
シャドーイングには複数の方法があり、複数の方法を適宜選択しながらトレーニングを行うことができなかった。
本発明はこのような背景を鑑みてなされたものであり、効果的なシャドーイングを行うことのできる技術を提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、学習支援システムであって、原稿データ及び見本音声データを記憶するデータベースと、前記見本音声データを再生する音声出力部と、ユーザの発話音声データを取得する音声取得部と、前記発話音声データに対する評価データを取得する評価取得部と、前記評価データを出力する評価出力部と、前記評価データを閲覧した前記ユーザから、前記見本音声データの再生速度を調整するか否か及び前記原稿データを出力するか否かの指定を受け付けるオプション受付部と、を備え、前記音声出力部は、後続する前記見本音声データの再生時に、前記ユーザからの指定に応じて前記見本音声データの再生速度を調整して出力し、前記ユーザからの指定に応じて前記原稿データを併せて出力すること、を特徴とする。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
本発明によれば、効果的なシャドーイングを行うことができる。
本開示の一実施形態に係る学習支援システム1の構成例を示す図である。 本実施形態におけるシャドーイングの流れを説明する図である。 本実施形態に係るサーバ10を実現するコンピュータのハードウェア構成例を示す図である。 本実施形態に係る端末20を実現するコンピュータのハードウェア構成例を示す図である。 本実施形態に係るサーバ10のソフトウェア構成例を示す図である。 本実施形態に係る表記データベース132のテーブル1320の一例を示す図である。 添削データ211の一例を示す図である。 添削データの入力画面220の一例を示す図である。 本実施形態に係る出力制御部118によるタッチパネル251への出力態様の一例を示す図である。 原稿データを表示する画面230の一例を示す図である。 ユーザ表記の登録画面240の一例を示す図である。 本実施形態の学習支援システム1における処理の流れの一例を示す図である。
<本技術の概要>
以下に添付図面を参照しながら、本開示の実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
本開示の一実施形態に係る言語学習支援システムは、学習者(以下、ユーザという。)の語学の学習を支援するものである。特に、本実施形態では、ユーザが英語等の外国語をシャドーイングと呼ばれる手法によりトレーニングし、外国語のリスニング能力を強化するために用いられることを想定している。なお、本実施形態では、英語の学習を支援することを想定している。
シャドーイングの学習形態には様々なものがある。一般的な「シャドーイング」とは、見本音声に注意を向け、見本音声と同じ発音及びプロソディ(音の高さ、リズム、強弱、スピード、イントネーション、アクセントなど)で復唱することであり、プロソディシャドーイングと呼ばれる。しかし、シャドーイングには、プロソディシャドーイング以外にも、コンテンツシャドーイング(文章全体の意味に注意を向ける。)、マンブリング(小声で行う)、オーバーラッピング(見本音声のスクリプトを表示しながら復唱する。テキストシャドーイングなどとも呼ばれる。)などがある。本実施形態の学習支援システムでは、これらの複数のシャドーイング方法を選択して行うことができる。
<システム構成>
図1は、本開示の一実施形態に係る学習支援システム1の構成例を示す図である。図示するように、本実施形態に係る学習支援システム1は、サーバ10を含んで構成される。サーバ10は、ユーザ端末20(以下、端末20と称する。)及び支援者端末30(以下、端末30と称する。)と、ネットワークNWを介して通信可能に接続される。なお、本構成は一例であり、ある構成が他の構成を兼ね備えていたり、他の構成が含まれていたりしてもよい。
本実施形態においてネットワークNWはインターネットを想定している。ネットワークNWは、例えば、公衆電話回線網、携帯電話回線網、無線通信網、イーサネット(登録商標)などにより構築される。
サーバ10は、例えば、シャドーイング等の外国語(第1言語)の発話トレーニングの支援を行うためのコンピュータである。例えば、サーバ10は、ワークステーションまたはパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
端末20は、ユーザUがシャドーイングを行う際に、見本音声を再生したり、自らの発話を録音するために用いられるコンピュータである。例えば、端末20は、スマートフォン、タブレットコンピュータまたはパーソナルコンピュータなどである。
端末30は、ユーザUの語学学習を支援する支援者が操作するコンピュータであり、たとえば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどである。
図2は、本実施形態におけるシャドーイングの流れを説明する図である。ユーザUは、端末20を用いてシャドーイングを行う。その際、サーバ10から提供される教材の見本音声が端末20により再生されるとともに、端末20はユーザUの発話を録音する。録音された音声は、音声データとしてサーバ10に送信されるとともに、サーバ10から端末30に送信されて再生され、支援者TAが録音音声の添削を行う。添削結果は端末30サーバ10に返送されるとともに、端末20に送信され、ユーザUは添削結果を確認し、必要に応じてトレーニング方法を変更することができる。例えば、支援者TAからの評価が発話のタイミングが悪いというものであれば、マンブリングを行い、それでも改善しない場合はオーバーラッピングを行い、それでも改善しない場合は再生スピードを落とすようにすることができる。このように複数のシャドーイング方法を切り替えながら言語学習のトレーニングを行うことができる。
<ハードウェア構成>
図3は、本実施形態に係るサーバ10を実現するコンピュータのハードウェア構成例を示す図である。コンピュータは、少なくとも、制御部11、メモリ12、ストレージ13、通信部14および入出力部15等を備える。これらはバス16を通じて相互に電気的に接続される。
制御部11は、サーバ10全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部11は、CPU(Central Processing Unit)等のプロセッサであり、ストレージ13に格納されメモリ12に展開されたプログラム等を実行して各情報処理を実施する。
メモリ12は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリまたはHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ12は、制御部11のワークエリア等として使用され、また、サーバ10の起動時に実行されるBIOS(Basic Input/Output System)、及び各種設定情報等を格納する。
ストレージ13は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ13に構築されていてもよい。
通信部14は、サーバ10をネットワークに接続する。通信部14は、例えば、有線LAN(Local Area Network)、無線LAN、Wi−Fi(Wireless Fidelity、登録商標)、赤外線通信、Bluetooth(登録商標)、近距離または非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して通信する。
入出力部15は、例えば、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
バス16は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
図4は、本実施形態に係る端末20を実現するコンピュータのハードウェア構成例を示す図である。端末30も、端末20と同様のハードウェア構成とすることができる。コンピュータは、少なくとも、制御部21、メモリ22、ストレージ23、通信部24および入出力部25等を備える。これらはバス26を通じて相互に電気的に接続される。なお、かかるコンピュータは、スマートフォンやタブレット端末を想定している。制御部21、メモリ22、ストレージ23および通信部24を実現するハードウェア構成例は、上述したサーバ10の対応する各構成要素のハードウェア構成例と同様であるため、説明を省略する。
本実施形態に係る入出力部25は、例えば、タッチパネル251、スピーカ252およびマイク253等のハードウェアにより実現され得る。タッチパネル251は、表示装置とユーザUによる該表示装置に対する接触操作に基づく入力装置としての機能を発揮する。例えば、タッチパネル251は、サーバ10から送信された情報を表示し、該表示に対する操作を受け付ける。スピーカ252は、音声出力装置としての機能を発揮する。例えば、スピーカ252は、サーバ10から送信された見本音声データを音声に変換して出力する。マイク253は、ユーザUの発話を収音する、音声入力装置としての機能を発揮する。例えば、マイク253は、ユーザUの発話を録音して発話音声データを生成する。該発話音声データは、サーバ10に送信される。
制御部21は、タッチパネル251、スピーカ252およびマイク253の動作を制御する。例えば、制御部21は、スピーカ252による音声の再生とマイク253による録音とを同時に行うように、スピーカ252およびマイク253の動作を制御してもよい。
<ソフトウェア構成>
図5は、本実施形態に係るサーバ10のソフトウェア構成例を示す図である。サーバ10は、オプション受付部110、音声出力部111、音声取得部113、単語特定部114、音声評価部115、抽出部116、表記取得部117、出力制御部118、添削取得部120、添削出力部121、ユーザ表記入力部122を備える。これらの各機能部は、制御部11がストレージ13に記憶されているプログラムをメモリ12に読み出して実行することにより実現される。また、ストレージ13は、見本音声データベース131、表記データベース132、ユーザ表記データベース133、評価履歴データベース134を備える。
見本音声データベース131は、見本となる音声を再生するための音声データ(見本音声データ)を記憶する。見本音声データベース131は、課題ごとに、スクリプトと呼ばれる原稿となるテキストデータ(原稿データ)と、見本音声データとを記憶する。本実施形態では、課題名が対応付けられている。
表記データベース132は、単語又はフレーズ(複数の一連の単語)の発音を第2言語(本実施形態では日本語)で表記したデータ(表記データ)を記憶する。図6は、本実施形態に係る表記データベース132のテーブル1320の一例を示す図である。図6に示すように、表記データベース132のテーブル1320は、少なくとも単語(群)データ1321、音の変化の属性データ1322および表記データ1323により構成される。テーブル1320は、例えばテキストデータごとに設けられ、テキストデータに含まれる単語または単語群の全部または一部について、それぞれに音の変化の属性と表記が紐付けられ得る。テーブル1320に格納される単語(群)データ1321は、例えば、音の変化によりユーザUが聞き取ることが難しい単語(群)からなるデータである。音の変化の属性データ1322は、例えば、単語(群)の音がどのように変化しているかを示すデータである。具体的には、図6に示すように、音の変化の属性は、「音の連結」、「フラップT」、「tの消失」、「弱形(不図示)」等が含まれる。表記データ1323は、単語(群)データ1321に対応する仮名表記を示すデータである。例えば、“disturb you”は「ディスタービュー」に対応する。
ユーザ表記データベース133は、単語又はフレーズに対応付けてユーザUが登録した表記データを記憶する。ユーザ表記データベース133は、ユーザUを特定するユーザIDに対応付けて、単語又はフレーズと、その表記データとを記憶することができる。
評価履歴データベース134は、ユーザUの復唱に係る評価の履歴を記憶する。評価履歴データベース134は、ユーザUを特定するユーザIDと日時とに対応付けて、単語データと、添削データとが記憶される。単語データには、ユーザUが見本音声どおりに復唱できた単語又はフレーズ(第1の単語)と、ユーザUが見本音声どおりに復唱できなかった単語又はフレーズ(第2の単語)とが含まれる。ユーザUが見本音声どおりに復唱できたかどうかの判断は、支援者TAが行うようにしてもよいし、後述するように、ユーザUの復唱音声を録音した音声データと見本音声データとの一致率が所定値以上であるか否かにより行うようにしてもよい。添削データは、シャドーイングの評価結果であり、本実施形態では、支援者TAが作成することを想定するが、サーバ10が、音声の一致率に応じて自動生成するようにすることもできる。評価履歴データベース134は、単語データと添削データとを対応付けて記憶するようにしてもよいし、ユーザID及び日時に対応する単語データと、ユーザID及び日時に対応する添削データとを別々に管理するようにしてもよい。また、添削データ中の単語データでは、原稿データ中の位置を特定するようにしてもよい。この場合、原稿データに同一の単語又はフレーズが複数箇所含まれている場合に、どの箇所で見本音声どおりに復唱できた又はできなかったのかを示すことができる。
オプション受付部110は、評価結果(添削データ)を閲覧したユーザUから、見本音声データの再生速度を調整するか否かと、原稿データを出力するか否かの指定を受け付ける。オプション受付部110は、端末20から当該指定を受け付けることができる。なお、オプション受付部110は、当該ユーザUによる当該課題について初回のトレーニングである場合には、再生速度を調整せず、原稿データを出力しない、プロソディシャドーイングを行うように決定することができる。
音声出力部111は、見本音声データベース131に格納されている見本音声データの出力を制御する機能を有する。例えば、ユーザUによる端末20の操作により課題が選択されると、音声出力部111は、当該課題に対応する見本音声データを見本音声データベース131から読み出し、通信部140を介して端末20に送信する制御を行う。
また、音声出力部111は、再生速度を調整する旨の指定をユーザUから受けている場合には、見本音声データの再生速度を調整する。音声出力部111は、例えば、再生パラメータを設定して見本音声データに付帯させるようにしてもよいし、見本音声データの再生速度を変換した新しい音声データを作成し、作成した音声データを送信するようにしてもよい。本実施形態では、音声出力部111は、再生速度を遅くすることを想定しているが、再生速度を上げるようにすることもできる。また、オプション受付部110は、何倍速に調整するかの指定を受け付けるようにしてもよく、その場合には、音声出力部111は、指定された速度となるように再生速度を調整することができる。
また、音声出力部111は、原稿データを出力する旨の指定をユーザUから受けている場合には、見本音声データとともに、対応する原稿データを端末20に送信することができる。これにより、端末20においては、プロソディシャドーイングに代えて、オーバーラッピングが行われるようにすることができる。
音声取得部113は、ユーザUによる発話音声の音声データを取得する機能を有する。音声取得部113は、例えば、端末20においてマイク253が収音して得た音声データを、端末20から通信部14を介して取得することができる。また、サーバ10において集音した音声データを取得するようにすることもできる。
単語特定部114は、ユーザUによる発話に係る音声信号を解析し、当該音声信号に対応する第1言語の少なくとも一の単語を特定する。ここで言う第1言語とは、学習対象の外国語であり、例えば英語である。単語特定部114は、発話音声の音声データを、公知の音声認識技術などを用いることにより、単語を特定することができる。
例えば、単語特定部114は、発話音声の音声データを解析して、その結果、“I’m sorry to disturb you”という単語群に対応する部分であると特定したとする。この場合、対応するテキストデータも“I’m sorry to disturb you”であれば、実際には、ユーザUの発音した内容はテキストと一致しているため、正しく発音しているとも考えられる。
音声評価部115は、ユーザUの発話に係る音声信号と、見本音声の音声信号との一致率を評価する機能を有する。例えば、音声評価部114は、発話音声の音声データ(音声信号)の波形と、見本音声の音声データ(音声信号)の波形との類似度を解析し、かかる類似度をもとに一致率を算出してもよい。一致率の算出手法は特に限定されない。一致率の算出として、例えば、重回帰分析等の分析手法や、機械学習を用いた手法が用いられてもよい。
一致率は、発話に係る音声信号の時系列における所定区間ごとに算出されてもよいし、単語特定部114により特定された単数または連続する複数の単語ごとに算出されてもよい。
なお、音声評価部115は、算出した一致率を時刻と紐付けて評価してもよい。あるテキストについてユーザUが複数回繰り返し練習する場合、その一致率は練習毎に変化する。この一致率の履歴は、例えばストレージ13に記憶されておいてもよい。
抽出部116は、一致率が所定の条件を満たす少なくとも一の単語を抽出する。例えば、抽出部116は、音声評価部115が所定の条件を満たす一致率を示す音声信号の区間に対応する単語(群)を抽出する。所定の条件とは、例えば、所定の閾値よりも低い場合(すなわち一致率の低い部分)であってもよいし、所定の閾値よりも高い場合(すなわち一致率の高い部分)でもあってもよく、学習の目的に応じて適宜調整が可能である。
上記の例においては、ユーザUが“disturb you”の語を認識して発話していたとしても、その発話が「ディスターブ ユー」である場合、音声評価部114は、“disturb you”に対応する部分の音声信号の一致率が低いと評価する。この場合、例えば、抽出部116は“disturb you”を抽出してもよい。
また、抽出部116は、原稿データに含まれる単語又はフレーズのうち、予め決められた単語又はフレーズを抽出の対象として決めてもよい。例えば、予め決められた単語又はフレーズは、音の変化によりユーザUが聞き取りにくいとされる単語又はフレーズであってもよい。これにより、ユーザUにフィードバックする対象の単語(群)を限定することができ、ユーザUへの教育効果を高めることができる。
また、抽出部116は、過去の一致率に基づいて単語を抽出してもよい。例えば、抽出部116は、過去に一致率の低かった単語を抽出してもよい。これにより、後述する出力制御部118において、ユーザUによる発話の変化を評価することができる。
抽出部116は、ユーザUを示すユーザIDと、現在の日時とに対応付けて、一致率が所定値以上である単語と、一致率が所定値以下である単語とを含む単語データを評価履歴データベース134に登録することができる。
表記取得部117は、抽出された単語又はフレーズに対応する第2言語の表記を取得する。ここでいう第2言語とは、例えばユーザUが母語としている言語である。第2言語の表記は、例えば仮名(ひらがな、カタカナ)等の音節表記である。音素表記ではなく音節表記とすることで、発音のイメージがユーザに想起しやすくなる。本実施形態では、当該第2言語は日本語であり、表記は仮名である。表記取得部117は、ストレージ13に格納されている表記データベース132から、抽出された単語(群)に対応する表記を取得する。
添削取得部120(評価取得部)は、ユーザUによるシャドーイングの評価データを取得する。本実施形態では、シャドーイングの評価データは、支援者TAにより作成される添削データである。図7は、添削データ211の一例を示す図である。一致率の高い単語又はフレーズと一致率の低い単語又はフレーズについて、それぞれ評価について記載(コメント)がされている。かかる記載は、例えば、単語又はフレーズの音の変化について、ユーザUが正しく発話できているかを評価する内容であってよい。本実施形態では、添削取得部120は、支援者TAの端末30から添削データを受信することができる。かかる記載は、支援者TAにより作成されるものとするが、例えば、予め用意されたテンプレート文により生成されるものであってもよいし、機械学習等の手段を用いて自動的に生成されるものであってもよい。図7に示すように、各単語又はフレーズの発話についての評価を一覧化して表示することで、ユーザUに対してフィードバックの内容を容易に把握させることができる。添削取得部120は、取得した添削データをユーザUを示すユーザIDと現在の日時とに対応付けて評価履歴データベース134に登録することができる。
<添削データの入力支援>
図8は、添削データの入力画面220の一例を示す図である。添削取得部120は、画面220を表示するための画面データを支援者TAの端末30に送信し、端末30において支援者TAからの添削データの入力を支援することができる。画面220には、原稿データ221が表示される。原稿データ221中の単語又はフレーズ2211には、表記データベース132から対応する表記データが取得できたものについては、その表記データ2212が表示される。支援者TAは、見本音声データとユーザUによる発話音声の音声データとを聞いて、うまく発話できていると考える単語又はフレーズを、画面220に表示されている原稿データ221中から選択して、「OK」のマーク2213を設定することができる。同様に、うまく発話できていないと支援者TAが考える単語又はフレーズを原稿データ221中から選択して、「NG」のマーク2214を設定することもできる。
添削取得部120は、OK又はNGのマークが設定された単語又はフレーズを原稿データ221中から抽出し、抽出した単語又はフレーズ(EN)に対応付けて、表記データベース132から対応する音の変化の属性データと、表記データとを連結させた「カナフリ」の文章を作成して表示するとともに、デフォルトの説明文(例えば、「OK」の場合には、「のように発音ができていますね」、「NG」の場合には、「のようなイメージで発話してみましょう」など)を表示する。これらは、画面222において編集可能とすることができる。これらを組み合わせることにより、添削データ211を容易に作成することができる。
添削取得部120は、上記のようにして、支援者TA(評価者)に対して原稿データを出力し、原稿データに含まれる単語又はフレーズのうち、正確に復唱できている第1の単語又はフレーズと、改善するべき第2の単語又はフレーズとの選択を受け付けるとともに、第1及び第2の単語又はフレーズのそれぞれについてのコメント(説明文)を受け付け、第1及び第2の単語又はフレーズ、ならびに対応するコメントを含めた選択データ211を作成することができる。
なお、添削取得部120は、一致率が所定値以上である単語又はフレーズについて、「OK」のマーク2213を提案し、一致率が所定値以下である単語又はフレーズについて、「NG」のマーク2214を提案するようにすることもできる。また、添削取得部120は、「OK」のマーク2213が設定された単語又はフレーズが存在していない場合に、支援者TAに対して、何らかよくできた旨のコメントを入力するように指示し、当該コメントの入力を受け付けて添削データ211に含めるようにすることができる。これにより、シャドーイングのトレーニングに係るユーザUのモチベーションを向上することが期待される。
<評価結果の出力>
出力制御部118は、シャドーイングの評価結果を出力する。出力制御部118は、図7に示すような添削データ211をユーザUの端末20に送信するようにしてもよいし、図9に示すような、評価結果を表示する画面200の画面データを端末20に送信するようにしてもよい。図9は、本実施形態に係る出力制御部118によるタッチパネル251への出力態様の一例を示す図である。図9に示すように、画面200には、スクリプト201と、抽出された単語又はフレーズ、当該単語又はフレーズの音の属性および対応する表記を示すボックス202と、各単語又はフレーズに対する発話の評価結果を示すボックス203とが表示され得る。かかる画面200は、ユーザUがシャドーイングを行った後、発話音声データがサーバ10に送信され、サーバ10の処理によりシャドーイングの結果をフィードバックする際に表示される画面である。
スクリプト201には、原稿データが表示される。図9に示すように、例えば、出力制御部118は、一致率の低かった(または高かった)単語又はフレーズや、予め誤りが想定され得る単語又はフレーズに対して、吹き出しのような態様で、テキストデータの単語又はフレーズに対応させて表示させてもよい。これにより、どの単語又はフレーズに注意しなければならないかを直感的に把握することができる。吹き出しに記載される内容は、単純な番号ではなく、ユーザに対する解説文等であってもよい。
ボックス202には、一致率の低い(または高い)単語又はフレーズと、音の変化の属性と、当該単語又はフレーズの発音のための第2言語による表記とが表示されている。かかる内容は、表記データベース132の内容に対応する。
ボックス203には、一致率の高い単語又はフレーズと一致率の低い単語又はフレーズとを表した評価結果が示される。図8に示す例では、“Good Points”は一致率の高い単語(群)であり、“Points to be improved”は一致率の低い単語(群)であり改善の必要なものであることが示されている。このように、出力制御部118は、一致率に基づいてユーザUの発話の評価等、発話に関する情報の出力を制御してもよい。
なお、出力制御部118は、複数の時刻における一致率の変化に基づいて、発話に関する情報の出力を制御してもよい。例えば、音声評価部115が、あるテキストデータの所定の単語又はフレーズについての一致率を、複数の時刻においてシャドーイングを実施した際にそれぞれ算出したとする。かかる一致率はシャドーイングを実施した時刻に紐付けられ、履歴としてストレージ13等に記憶される。
出力制御部118は、過去に一致率が算出された単語又はフレーズにおける一致率の履歴に基づいて発話についての評価を出力し得る。例えば、過去よりも現在の一致率が上昇した場合は、ユーザの単語又はフレーズの発話が改善していることを示す情報を出力制御部118は出力してもよい。逆に、過去よりも現在の一致率が下降した場合は、ユーザの単語又はフレーズの発話の正確性が落ちていることを示す情報を出力制御部118は出力してもよい。これにより、ユーザUに対して効果的かつ継続的なフィードバックを与えることができる。
出力制御部118による出力の態様は、上述したタッチパネル251等の表示装置への表示に限られない。例えば、出力制御部118は、端末20のスピーカ252を介した音声での出力制御を行ってもよい。より具体的には、出力制御部118は、ユーザUの発話に関する情報(発話の評価等)を、音声により再生してユーザに示してもよい。その際、例えば、出力制御部118は、ユーザUの発話音声と見本音声との一致率が低かった単語又はフレーズのカナ表記に基づく音声を、スピーカ252を介して再生してもよい。これにより、ユーザUは音声によるフィードバックも受けることが可能である。
<スクリプトデータの表示>
上述したように、音声出力部111は、原稿データを出力する旨の指定をユーザUから受けている場合には、原稿データを端末20に提供するところ、評価結果(添削データ)を原稿データの表示に反映させるようにすることもできる。図10は、原稿データを表示する画面230の一例を示す図である。画面230では、原稿データ231が表示されており、この表示とともに見本音声データが再生される。原稿データ231中には、添削データにおいて、見本音声どおりに復唱ができていたポイント(OKマークが設定された単語又はフレーズ)212と、見本音声どおりに復唱ができていなかったポイント(NGマークが設定された単語又はフレーズ)213とが表示されるようにすることができる。ポイント212、213は、評価結果(添削データ)中の単語又はフレーズを特定するようにしてもよいし、原稿データ中の場所(例えば、開始位置及び終了位置により特定することができる。)により特定するようにしてもよい。なお、ポイント212、213を異なる色で表示したり、異なるマークを設定したりして区別可能に表示することができる。また、画面230において、過去に指摘された単語又はフレーズの履歴を表示するようにしてもよい。ポイント212、213には、支援者TAから入力されたコメント2121、2131が紐付いている。コメント2121、2131は、ポイント212、213の単語又はフレーズが選択されたときに表示するようにしてもよいし、見本音声の再生箇所近傍の単語又はフレーズについてのみ表示するようにしてもよいし、原稿データに重畳させて、又は原稿データとは別の表示領域に常時表示するようにしてもよい。
<ユーザ入力の表記データ>
ユーザ表記入力部122は、原稿データに含まれる単語又はフレーズの指定と、当該単語又はフレーズの第2言語による表記との入力を受け付ける。図11は、ユーザ表記の登録画面240の一例を示す図である。ユーザ表記入力部122は、登録画面240を表示するための画面データをユーザUの端末20に送信して端末20に登録画面240を表示させることができる。
登録画面240には、原稿データが表示され、原稿データの中から単語又はフレーズ241が選択されると、入力欄242に単語又はフレーズ241の表記が入力される。ボタン243が押下されると、選択箇所を特定するための範囲データ(例えば、開始文字位置と、単語又はフレーズの長さなどにより特定することができる。)と、入力欄242に入力された表記とがサーバ10に送信され、ユーザ表記入力部122は、ユーザUを示すユーザIDと、当該原稿データに対応する課題を示す課題IDとに対応付けて、範囲データと表記データとをユーザ表記データベース133に登録することができる。
ユーザ表記データベース133に登録されている表記データは、図10に示すスクリプトの表示画面230中の対応する単語又はフレーズに付帯させて表示させることができる。
<動作>
次に、本実施形態の学習支援システムの動作について説明する。図12は、本実施形態の学習支援システム1における処理の流れの一例を示す図である。
まず、ユーザUがシャドーイングを始める際に、課題を指定すると、当該課題に対応する見本音声データがサーバ10から端末20に送信される(S501)。端末20では、ユーザUの操作等に基づいて見本音声が再生され、同時にユーザUの発話音声が録音される(S502)。
ユーザU等の端末20に対する操作等に基づいて、発話音声データがサーバ10に送信される(S503)。サーバ10は、単語特定部114および音声評価部115により、発話に係る音声信号を解析し、見本音声との一致率および発話される単語又はフレーズの特定を行う(S504)。また、サーバ10は、抽出部116により、所定の条件を満たす一致率を示した単語又はフレーズを抽出し(S505)、表記取得部117により、抽出された単語又はフレーズに対応するカナの表記を取得する(S506)。
また、サーバ10は、発話音声データを支援者TAの端末30に送信する(S507)。ここで見本音声データや、上記抽出された単語又はフレーズなどを併せて端末30に送信するようにしてもよい。支援者TAは、端末30を利用してユーザUによる発話を評価した添削データを作成する(S508)。端末30からサーバ10に添削データが送信され(S509)、サーバ10からユーザUの端末20に添削データが送信される(S510)。なお、サーバ10は、出力制御部115により、上記表記に関する情報を出力する制御を行い、サーバ10は添削データとともに、当該情報を端末20に送信することができる。かかる情報は端末20のタッチパネル251に表示され、添削データとともに、ユーザUは発話に関するフィードバックを受けることができる(S511)。
ユーザUは、フィードバックに応じて、見本音声の再生速度を調整するかどうか、また、原稿データを表示するかどうかの指定を行い(S512)、当該指定がサーバ10に通知されて(S513)、次回の見本音声データの送信時に、再生スピードを調整するか否か、及び原稿データを併せて送信するか否かを決定することができる(S514)。
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
例えば、本実施形態では、発話音声の音声データは端末20からサーバ10に送信するものとしたが、これに限らず、該音声データが端末30に送信されるようにしてもよい。また、サーバ10から送信される表記に関する情報は、サーバ10から端末30を介して端末20に送信されてもよい。
また、上記実施形態では、サーバ10が数多くの機能を備えるようにしているが、端末20がサーバ10の機能部の全部または一部を備えるようにして、アプリケーションなどにより実現することも可能である。例えば、フィルタ部112の機能は、端末20に設けられてもよい。この場合、例えばサーバ10は、フィルタリング処理された後の発話音声の音声データを、端末20から直接取得することができる。
また、上記実施形態では、サーバ10は1台のコンピュータであることを想定していたが、これに限らず、複数台のコンピュータで実現するようにしてもよい。たとえば、サーバ10とは別体のデータベースサーバを設け、データベースサーバがサーバ10の各記憶部を備えるようにすることができる。また、サーバ10の機能部を複数のコンピュータに分散させて備えさせるようにすることもできる。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、本実施形態では、見本音声の再生速度の変更及び原稿データの表示は、ユーザUからのオプションの指定に応じて行うものとしたが、添削データに応じて自動的に行うようにしてもよい。この場合、添削データには、支援者TAが総合評価値を設定し、あるいは自動的に一致率等に応じて総合評価値を設定するようにし、音声出力部111は、添削データに含まれている総合評価値に応じて見本音声の再生速度を変更し、及び/又は原稿データを表示し若しくは非表示にすることができる。この場合において、音声出力部111は、例えば、総合評価値が第1の閾値以下となった場合には、原稿データを表示するようにし、さらに第1の閾値以下である第2の閾値以下となった場合には、再生速度を下げるようにすることができる。
<開示事項>
なお、本開示には、以下のような構成が含まれる。
[項目1]
原稿データ及び見本音声データを記憶するデータベースと、
選択的に前記原稿データを表示せずに又は前記原稿データを表示しながら前記見本音声データを再生する音声出力部と、
ユーザの発話音声データを取得する音声取得部と、
前記発話音声データに対する評価データを取得する評価取得部と、
前記評価データを出力する評価出力部と、
を備えること特徴とする学習支援システム。
[項目2]
項目1に記載の学習支援システムであって、
前記音声出力部は、前記評価データを表示しながら前記見本音声データを再生可能であること、
を特徴とする学習支援システム。
[項目3]
項目1又は2に記載の学習支援システムであって、
前記音声出力部は、前記評価データに応じて、前記見本音声データの再生速度を変更して再生すること、及び前記原稿データを表示しながら前記見本音声データをすることの少なくともいずれかを行うこと、
を特徴とする学習支援システム。
[項目4]
項目1乃至3のいずれか1項に記載の学習支援システムであって、
前記評価データには、正確に復唱できている第1箇所を特定する第1情報と、改善するべき第2箇所を特定する第2情報とが含まれ、
前記音声出力部は、前記原稿データを表示しながら前記見本音声データを再生する場合に、前記評価データに基づいて前記第1箇所及び第2箇所を前記原稿データ上に表示すること、
を特徴とする学習支援システム。
[項目5]
項目1乃至4のいずれか1項に記載の学習支援システムであって、
前記見本音声データと、前記発話音声データとを比較して、一致率を評価する音声評価部と、
前記一致率が所定の第1条件を満たす少なくとも一の第1の単語と、前記一致率が所定の第2条件を満たす少なくとも一の第2の単語とを抽出する抽出部と、
を備え、
前記評価取得部は、前記第1の単語及び前記第2の単語を評価者に対して出力し、前記評価者から前記評価データを受け付けること、
を特徴とする学習支援システム。
[項目6]
項目5に記載の学習支援システムであって、
前記ユーザ及び学習日時に対応付けて、前記第1及び第2の単語を記憶する評価履歴データベースをさらに備えること、
を特徴とする学習支援システム。
[項目7]
項目1乃至6のいずれか1項に記載の学習支援システムであって、
前記評価取得部は、評価者に対して前記原稿データを出力し、前記原稿データに含まれる単語又はフレーズのうち、正確に復唱できている第1の前記単語又はフレーズと、改善するべき第2の前記単語又はフレーズとの選択を受け付け、前記第1及び第2の前記単語又はフレーズのそれぞれについてのコメントを受け付け、前記第1及び第2の単語又はフレーズ、ならびに対応する前記コメントを含めて前記評価データを作成すること、
を特徴とする学習支援システム。
[項目8]
項目1乃至7のいずれか1項に記載の学習支援システムであって、
前記原稿データに含まれるテキストの指定と、前記テキストの表記との入力を受け付けるユーザ表記入力部と、
前記ユーザを特定する情報、前記原稿データ、前記原稿データ中における前記テキストの範囲を指定するデータ及び前記表記を対応付けて記憶するユーザ表記記憶部と、をさらに備え、
前記音声出力部は、前記原稿データを出力する際に、前記ユーザ及び前記原稿データに対応する前記表記が前記ユーザ表記記憶部に登録されている場合には、前記表記を前記原稿データに重畳させるように出力すること、
を特徴とする学習支援システム。
10 サーバ
20 ユーザ端末
30 支援者端末

Claims (14)

  1. 原稿データ及び見本音声データを記憶するデータベースと、
    選択的に前記原稿データを表示せずに又は前記原稿データを表示しながら前記見本音声データを再生する音声出力部と、
    前記見本音声データを再生しながらユーザの発話音声データを取得する音声取得部と、
    前記発話音声データに対する評価データを取得する評価取得部と、
    前記評価データを出力する評価出力部と、
    を備え、
    前記評価データには、前記ユーザの過去の発話音声データと前記見本音声データとの一致率よりも前記発話音声データと前記見本データとの一致率が上昇した第1箇所を特定する第1情報と、改善するべき第2箇所を特定する第2情報と、前記第1箇所及び前記第2箇所の少なくともいずれかについてのコメントとが含まれ、
    前記音声出力部は、前記原稿データを表示しながら前記見本音声データを再生する場合に、前記評価データに基づいて前記第1箇所及び第2箇所ならびに前記コメントを前記原稿データ上に表示すること、
    ることを特徴とする学習支援システム。
  2. 請求項1に記載の学習支援システムであって、
    前記音声出力部は、前記評価データを表示しながら前記見本音声データを再生可能であること、
    を特徴とする学習支援システム。
  3. 請求項1又は2に記載の学習支援システムであって、
    前記音声出力部は、前記評価データに応じて、前記原稿データを表示しながら前記見本音声データを再生すること
    を特徴とする学習支援システム。
  4. 請求項1乃至3のいずれか1項に記載の学習支援システムであって、
    前記見本音声データと、前記発話音声データとを比較して、前記一致率を評価する音声評価部と、
    前記一致率が所定の第1条件を満たす少なくとも一の第1の単語と、前記一致率が所定の第2条件を満たす少なくとも一の第2の単語とを抽出する抽出部と、
    を備え、
    前記評価取得部は、前記第1の単語及び前記第2の単語を評価者に対して出力し、前記評価者から前記評価データを受け付けること、
    を特徴とする学習支援システム。
  5. 請求項4に記載の学習支援システムであって、
    前記ユーザ及び学習日時に対応付けて、前記第1及び第2の単語を記憶する評価履歴データベースをさらに備えること、
    を特徴とする学習支援システム。
  6. 請求項4又は5に記載の学習支援システムであって、
    前記評価取得部は、評価者に対して前記原稿データと、前記発話音声データ又は前記発話音声データに基づく情報とを出力し、前記原稿データに含まれる単語又はフレーズのうち、正確に復唱できている第1の前記単語又はフレーズと、改善するべき第2の前記単語又はフレーズとの選択を受け付け、前記第1及び第2の前記単語又はフレーズのそれぞれについての前記コメントを受け付け、前記第1及び第2の単語又はフレーズ、ならびに対応する前記コメントを含めて前記評価データを作成すること、
    を特徴とする学習支援システム。
  7. 請求項1乃至6のいずれか1項に記載の学習支援システムであって、
    前記原稿データに含まれるテキストの指定と、前記テキストの表記との入力を受け付けるユーザ表記入力部と、
    前記ユーザを特定する情報、前記原稿データ、前記原稿データ中における前記テキストの範囲を指定するデータ及び前記表記を対応付けて記憶するユーザ表記記憶部と、をさらに備え、
    前記音声出力部は、前記原稿データを出力する際に、前記ユーザ及び前記原稿データに対応する前記表記が前記ユーザ表記記憶部に登録されている場合には、前記表記を前記原稿データに重畳させるように出力すること、
    を特徴とする学習支援システム。
  8. 原稿データ及び見本音声データを記憶するデータベースと、
    選択的に前記原稿データを表示せずに又は前記原稿データを表示しながら前記見本音声データを再生する音声出力部と、
    前記見本音声データを再生しながらユーザの発話音声データを取得する音声取得部と、
    前記発話音声データに対する評価データを取得する評価取得部と、
    前記評価データを出力する評価出力部と、
    を備え、
    前記音声出力部は、前記評価データに応じて、前記原稿データを表示しながら前記見本音声データを再生すること
    を特徴とする学習支援システム。
  9. 請求項8に記載の学習支援システムであって、
    前記評価データに含まれる評価値が閾値以下となった場合に、前記原稿データを表示しながら前記見本音声データを再生すること
    を特徴とする学習支援システム。
  10. 請求項9に記載の学習支援システムであって、
    前記音声出力部は、前記評価値が第1の閾値以下となった場合には、前記原稿データを表示するようにし、前記評価値が、前記第1の閾値以下である第2の閾値以下となった場合には、前記見本音声データの再生速度を下げること、
    を特徴とする学習支援システム。
  11. 請求項8乃至10のいずれか1項に記載の学習支援システムであって、
    前記評価データには、正確に復唱できている第1箇所を特定する第1情報と、改善するべき第2箇所を特定する第2情報とが含まれ、
    前記音声出力部は、前記原稿データを表示しながら前記見本音声データを再生する場合に、前記評価データに基づいて前記第1箇所及び第2箇所を前記原稿データ上に表示すること、
    を特徴とする学習支援システム。
  12. 請求項8乃至11のいずれか1項に記載の学習支援システムであって、
    前記見本音声データと、前記発話音声データとを比較して、一致率を評価する音声評価部と、
    前記一致率が所定の第1条件を満たす少なくとも一の第1の単語と、前記一致率が所定の第2条件を満たす少なくとも一の第2の単語とを抽出する抽出部と、
    を備え、
    前記評価取得部は、前記第1の単語及び前記第2の単語を評価者に対して出力し、前記評価者から前記評価データを受け付けること、
    を特徴とする学習支援システム。
  13. 請求項12に記載の学習支援システムであって、
    前記評価取得部は、評価者に対して前記原稿データと、前記発話音声データ又は前記発話音声データに基づく情報とを出力し、前記原稿データに含まれる単語又はフレーズのうち、正確に復唱できている第1の前記単語又はフレーズと、改善するべき第2の前記単語又はフレーズとの選択を受け付け、前記第1及び第2の前記単語又はフレーズのそれぞれについてのコメントを受け付け、前記第1及び第2の単語又はフレーズ、ならびに対応する前記コメントを含めて前記評価データを作成すること、
    を特徴とする学習支援システム。
  14. 請求項8乃至13のいずれか1項に記載の学習支援システムであって、
    前記原稿データに含まれるテキストの指定と、前記テキストの表記との入力を受け付けるユーザ表記入力部と、
    前記ユーザを特定する情報、前記原稿データ、前記原稿データ中における前記テキストの範囲を指定するデータ及び前記表記を対応付けて記憶するユーザ表記記憶部と、をさらに備え、
    前記音声出力部は、前記原稿データを出力する際に、前記ユーザ及び前記原稿データに対応する前記表記が前記ユーザ表記記憶部に登録されている場合には、前記表記を前記原稿データに重畳させるように出力すること、
    を特徴とする学習支援システム。


JP2021088275A 2021-05-26 2021-05-26 学習支援システム Active JP6957069B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021088275A JP6957069B1 (ja) 2021-05-26 2021-05-26 学習支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021088275A JP6957069B1 (ja) 2021-05-26 2021-05-26 学習支援システム

Publications (1)

Publication Number Publication Date
JP6957069B1 true JP6957069B1 (ja) 2021-11-02

Family

ID=78282087

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021088275A Active JP6957069B1 (ja) 2021-05-26 2021-05-26 学習支援システム

Country Status (1)

Country Link
JP (1) JP6957069B1 (ja)

Similar Documents

Publication Publication Date Title
US20190196666A1 (en) Systems and Methods Document Narration
US9478219B2 (en) Audio synchronization for document narration with user-selected playback
US8793133B2 (en) Systems and methods document narration
US8364488B2 (en) Voice models for document narration
KR20160111292A (ko) 말하기 학습 기능을 구비한 외국어 학습 시스템 및 외국어 학습 방법
CN109949783B (zh) 歌曲合成方法及系统
TWI574254B (zh) 用於電子系統的語音合成方法及裝置
KR20140087956A (ko) 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법
JP6957069B1 (ja) 学習支援システム
JP6155102B2 (ja) 学習支援装置
JP2006139162A (ja) 語学学習装置
KR100319448B1 (ko) 속도변환을 이용한 대화형 언어 교습 시스템 및 그 방법
JP2005241767A (ja) 音声認識装置
JP2019056791A (ja) 音声認識装置、音声認識方法およびプログラム
US20220059116A1 (en) Methods and systems for computer-generated visualization of speech
JP4716192B2 (ja) 語学学習システム及び語学学習用プログラム
JP2009020264A (ja) 音声合成装置及び音声合成方法並びにプログラム
KR20140075145A (ko) 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법
JP2021110874A (ja) 発話練習プログラム、発話練習方法、及び、発話練習装置
KR20190046312A (ko) 영어 능력 개선 장치 및 방법
WO2010083354A1 (en) Systems and methods for multiple voice document narration
KR20080051306A (ko) 음성 인식 시스템을 이용한 어학 학습 방법
JP2017530425A (ja) 指定言語でのユーザの発話の改善を支援するための方法およびシステム
JP2005308993A (ja) 学習支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210528

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210617

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210805

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210916

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210929

R150 Certificate of patent or registration of utility model

Ref document number: 6957069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150