JP3930402B2 - オンライン教育システム、情報処理装置、情報提供方法及びプログラム - Google Patents
オンライン教育システム、情報処理装置、情報提供方法及びプログラム Download PDFInfo
- Publication number
- JP3930402B2 JP3930402B2 JP2002260132A JP2002260132A JP3930402B2 JP 3930402 B2 JP3930402 B2 JP 3930402B2 JP 2002260132 A JP2002260132 A JP 2002260132A JP 2002260132 A JP2002260132 A JP 2002260132A JP 3930402 B2 JP3930402 B2 JP 3930402B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- student
- advice
- database
- utterance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、コンピュータ等を用いて受講者の学習を支援する教育システムに係り、特にオンラインで受講者に対する語学教育を実施可能なオンライン教育システムに関する。
【０００２】
【従来の技術】
語学を習得するためには、相手の話を聞き分け、正しく発音する能力を身につけた上で、各単語及び文章の意味理解力を向上させることが重要となる。従来、語学の学習は、書籍などを用いて文字から文法を理解するといった手法により行われていた。近年では、特定の言語を母国語とするネイティブの指導者が、受講生との対話により、受講生の習熟度にあわせて指導を行う語学学校などがビジネスとして営まれている。さらに、こうした語学学校の中には、例えば特許文献１に開示されているような通信システムを用いて、遠隔地間での語学教育を可能としたサービスを提供するものもある。
【０００３】
【特許文献１】
特開平１１−２２０７０７号公報
【０００４】
【発明が解決しようとする課題】
語学をいち早く修得するためには、専門の指導者の下で、単語単位や一般の話し言葉を通して、基礎的な学習を行って自然な形で身につけることが望ましい。ところが、指導者が受講者と対面して教育するためには、時間や場所を互いに調整したり予約しなければならない。
この点について、特許文献１に開示された技術によれば、遠隔地間での教育が可能となるので、対面教育における場所的な制約を軽減させることができる。
【０００５】
しかしながら、特許文献１に開示された技術によっても、指導者と受講生が同じ時間に端末の前に在留しなければならない。このため、時間の調整や予約が必要となる。また、受講者に対応できる人数だけ指導者を揃えておかなければならないという問題があった。
【０００６】
この発明は、上記実状に鑑みてなされたものであり、受講者に対して効率よく語学教育を施すことができるオンライン教育システムを、提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明の第１の観点に係るオンライン教育システムは、ネットワークを介して互いに接続された端末装置とサーバ装置とを備えるオンライン教育システムであって、模範的な発声を示す音声データを格納するモデル音声データベースと、模範的な発話動作を撮影した映像データを格納するモデル映像データベースと、複数種類の指導情報を格納する指導情報データベースと、前記端末装置が生成した受講者の発声を示す音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を示す解析結果を生成する音声解析手段と、受講者の発話動作を撮影することにより前記端末装置が生成した映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を示す解析結果を生成する映像解析手段と、前記端末装置が生成した受講者の発声を示す音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を前記端末装置にて表示させる音声認識手段と、前記指導情報データベースから前記音声解析手段及び前記映像解析手段の解析結果に対応する指導情報を読み出して、受講者の発話動作に関するアドバイスを作成するアドバイス作成手段と、前記アドバイス作成手段により作成されたアドバイスを、前記端末装置にて前記音声認識手段により表示させる文章と同一画面内に表示させて出力させるアドバイス提供手段とを備えることを特徴とする。
【０００８】
この発明によれば、受講者の発声を示す音声データと、モデル音声データベースに格納されている模範的な発声を示す音声データとの比較結果、及び、受講者の発話動作を撮影した映像データと、モデル映像データベースに格納されている模範的な発話動作を撮影した映像データとの比較結果に対応するアドバイスが作成される。作成されたアドバイスは端末装置にて出力され、受講者に対して効率よく語学教育を施すことができる。
【０００９】
この発明の第２の観点に係る情報処理装置は、受講者の発声を取り込む音声入力手段と、受講者の発話動作を撮影する撮像手段と、音声出力手段と、表示手段と、模範的な発声を示す音声データを格納するモデル音声データベースと、模範的な発話動作を撮影した映像データを格納するモデル映像データベースと、複数種類の指導情報を格納する指導情報データベースと、前記モデル音声データベースに格納されている音声データを読み出して、前記音声出力手段から模範的な発声を出力させるモデル提供手段と、前記音声入力手段により取り込まれた受講者の発声を示す音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を前記表示手段に表示させる音声認識手段と、前記音声入力手段により作成された受講者の発声を示す音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を示す解析結果を生成する音声解析手段と、前記撮像手段の撮影により作成された映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を示す解析結果を生成する映像解析手段と、前記指導情報データベースから前記音声解析手段及び前記映像解析手段の解析結果に対応する指導情報を読み出して、受講者の発話動作に関するアドバイスを作成するアドバイス作成手段と、前記アドバイス作成手段により作成されたアドバイスを、前記音声出力手段から出力させるとともに、前記表示手段にて前記音声認識手段により表示させる文章と同一画面内に表示させて出力させるアドバイス提供手段とを備えることを特徴とする。
【００１０】
この発明によれば、受講者の発話動作を撮影した映像データと、モデル映像データベースに格納されている模範的な発話動作を撮影した映像データとの比較結果に対応するアドバイスが作成される。作成されたアドバイスは、音声出力手段と表示手段の少なくともいずれか一方から出力される。また、モデル音声データベースに格納された音声データを読み出すことにより、音声出力手段から模範的な発声が出力される。さらに、受講者の発声を認識して、受講者の発声に対応する文章が表示手段に表示される。
これにより、受講者に対して効率よく語学教育を施すことができる。
【００１１】
前記モデル提供手段は、前記モデル映像データベースに格納されている映像データを読み出し、模範的な発話動作の画像を、前記表示手段にて前記音声認識手段により表示させる文章及び前記アドバイス提供手段により表示させるアドバイスと同一画面内に表示させる手段を備え、前記表示手段は、前記撮像手段が撮影した受講者による発話動作の画像を、前記模範的な発話動作の画像、前記音声認識手段により表示させる文章、前記アドバイス提供手段により表示させるアドバイスと、同一画面内に表示してもよい。
【００１２】
この発明の第３の観点に係る情報処理装置は、ネットワークを介して端末装置に接続された情報処理装置であって、模範的な音声を示す音声データを格納するモデル音声データベースと、模範的な発声動作を撮影した映像データを格納するモデル映像データベースと、複数種類の指導情報を格納する指導情報データベースと、前記モデル音声データベースに格納されている音声データを読み出して前記端末装置へ送ることにより、前記端末装置にて模範的な発声を出力させるモデル提供手段と、前記端末装置から送られた音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を前記端末装置に表示させる音声認識手段と、前記端末装置から送られた音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を示す解析結果を生成する音声解析手段と、前記端末装置から送られた映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を示す解析結果を生成する映像解析手段と、前記指導情報データベースから前記音声解析手段及び前記映像解析手段の解析結果に対応する指導情報を読み出して、受講者の発話動作に関するアドバイスを作成するアドバイス作成手段と、前記アドバイス作成手段により作成されたアドバイスを前記端末装置へ送ることにより、前記端末装置にて受講者を指導するためのアドバイスを、前記音声認識手段により表示させる文章と同一画面内に表示させて出力させるアドバイス提供手段とを備えることを特徴とする。
【００１３】
この発明の第４の観点に係る情報提供方法は、モデル音声データベースと、モデル映像データベースと、指導情報データベースとを備えるコンピュータシステムが、模範的な発声を示す音声データを前記モデル音声データベースに格納し、模範的な発話動作を撮影した映像データを前記モデル映像データベースに格納し、複数種類の指導情報を前記指導情報データベースに格納し、前記モデル音声データベースに格納されている音声データを読み出して、模範的な発声を出力し、受講者の発声を示す音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を表示し、受講者の発声を示す音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を解析結果とし、受講者の発話動作を撮影することにより作成された映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を解析結果とし、音声データ及び映像データに基づく解析結果に対応する指導情報を前記指導情報データベースから読み出して、受講者の発話動作に関するアドバイスを作成し、作成されたアドバイスを、音声にて出力するとともに、受講者の発声に対応する文章と同一画面内に表示させて出力することを特徴とする。
【００１４】
この発明の第５の観点に係るプログラムは、コンピュータを、受講者の発声を取り込む音声入力手段と、受講者の発話動作を撮影する撮像手段と、音声出力手段と、表示手段と、模範的な発声を示す音声データを格納するモデル音声データベースと、模範的な発話動作を撮影した映像データを格納するモデル映像データベースと、複数種類の指導情報を格納する指導情報データベースと、前記モデル音声データベースに格納されている音声データを読み出して、前記音声出力手段から模範的な発声を出力させるモデル提供手段と、前記音声入力手段により取り込まれた受講者の発声を示す音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を前記表示手段に表示させる音声認識手段と、前記音声入力手段により作成された受講者の発声を示す音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を示す解析結果を生成する音声解析手段と、前記撮像手段の撮影により作成された映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を示す解析結果を生成する映像解析手段と、前記指導情報データベースから前記音声解析手段及び前記映像解析手段の解析結果に対応する指導情報を読み出して、受講者の発話動作に関するアドバイスを作成するアドバイス作成手段と、前記アドバイス作成手段により作成されたアドバイスを、前記音声出力手段により出力させるとともに、前記表示手段にて前記音声認識手段により表示させる文章と同一画面内に表示させて出力させるアドバイス提供手段として機能させる。
【００１５】
【発明の実施の形態】
以下に、図面を参照して、この発明の実施の形態に係るオンライン教育システムについて詳細に説明する。
図１は、この発明の実施の形態に係るオンライン教育システムの構成を示す図である。
図１に示すように、この発明の実施の形態に係るオンライン教育システムは、ユーザ端末１０と、ネットワーク２０と、サービスプロバイダ３０とを備えて構成されている。ユーザ端末１０とサービスプロバイダ３０とは、例えば公衆回線やインターネット等からなるネットワーク２０を介して互いに接続されている。以下では、説明を簡単にするために、ユーザ端末１０が１台のみであるものとするが、これに限定されず、複数存在してもよい。
【００１６】
ユーザ端末１０は、例えばノート型あるいはデスクトップ型のパーソナルコンピュータや、ＰＤＡ（Personal Digital Assistants）などに代表される情報処理端末装置である。
図２は、ユーザ端末１０の構成を示す図である。
図２に示すように、ユーザ端末１０は、ユーザインタフェース１１と、制御部１２と、記憶部１３と、通信インタフェース１４とを備えて構成される。
【００１７】
ユーザインタフェース１１は、例えば、マイクロフォン１１ａ、ＣＣＤカメラ１１ｂ、ディスプレイ装置１１ｃ、キーボード１１ｄ、マウス１１ｅ、スピーカ１１ｆ等を備えて構成され、ユーザ操作に対応した指令や音声、映像などを入力したり、画像や音声を出力したりするためのものである。
【００１８】
制御部１２は、例えばＣＰＵ（Central Processing Unit）などのマイクロプロセッサを用いて構成され、ユーザ端末１０全体の動作を制御するためのものである。
【００１９】
記憶部１３は、例えば半導体メモリやハードディスク装置等により構成され、制御部１２により実行される動作プログラムや各種の設定データなどを記憶するためのものである。
【００２０】
通信インタフェース１４は、例えば、ネットワークカード、ケーブルコネクタ、無線ユニット等を用いて構成され、制御部１２の制御に従いネットワーク２０を介してサービスプロバイダ３０との間で通信を行うためのものである。
【００２１】
サービスプロバイダ３０は、図３に示すように、サーバ４０と、データベース（以下、「ＤＢ」という）５０とを備える。
サーバ４０は、例えば、アプリケーションサーバとしての機能とデータベースサーバとしての機能とを備える。なお、サーバ４０は、物理的に１台のコンピュータシステムで構成される必要はなく、複数台のコンピュータを用いて構成されてもよい。
【００２２】
サーバ４０は、ネットワーク２０を介したユーザ端末１０からのアクセスを受け付け、オンライン教育の受講者となるユーザ端末１０の利用者に対して、映像や音声を組み合わせたオンライン教育の教材となる情報を提供可能とする。また、サーバ４０は、ユーザ端末１０から送られた指令や音声信号、映像信号を受信して、オンライン教育をより効率的に実施するための様々な処理を実行する。サーバ４０は、図３に示すように、制御部４１と、記憶部４２と、通信インタフェース４３とを備えている。
【００２３】
制御部４１は、サーバ４０全体の動作を制御するためのものである。ここで、制御部４１は、記憶部４２に記憶されている動作プログラムを読み出して実行することにより構成されるカリキュラム設定部６０と、教材提供部６１と、音声解析部６２と、映像解析部６３と、アドバイス作成部６４と、アドバイス提供部６５と、音声認識部６６とを備えている。
【００２４】
カリキュラム設定部６０は、ユーザ端末１０の利用者による自己申告や、定期的に実施されるテストの結果、あるいはアドバイス提供部６５がユーザ端末１０により受講者に提供したアドバイスの種類などに基づいて、受講者の語学能力を判定し、各受講者に応じた学習内容を設定する。
【００２５】
教材提供部６１は、カリキュラム設定部６０により設定されたカリキュラムや、音声解析部６２及び映像解析部６３の解析結果に基づいて、ＤＢ５０が備える教材ＤＢ７０から読み出す教材データを特定する。教材提供部６１により教材ＤＢ７０から読み出された教材データは、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送られる。
【００２６】
音声解析部６２は、ユーザ端末１０から送られた音声データから音声信号の特徴量を抽出し、受講者が発した音声を解析するためのものである。例えば、音声解析部６２は、ユーザ端末１０から送られた音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチなどの音響物理情報を抽出する。これにより、受講者が発した音声のイントネーション、ストレス、アクセント、スピード等の発音についての音声特徴が抽出される。
また、音声解析部６２は、ユーザ端末１０から送られた音声データより抽出した音声特徴を、ＤＢ５０が備えるモデル音声ＤＢ７１に格納されている音声データより抽出した音声特徴と比較し、その差分を示す音声用の差分データを作成する。
【００２７】
映像解析部６３は、ユーザ端末１０から送られた映像データから動画像あるいは静止画像の特徴量を抽出し、受講者の発話動作を解析するためのものである。例えば、映像解析部６３は、色出現確率分布（色ヒストグラム）や色共起頻度分布（色コリログラム）を用いて、受講者の発話動作における唇の形や色に基づく動き特徴量を抽出する。ここで、色出現確率分布は、１フレームを構成する映像信号からなる画像中のピクセルにおいて各種の色が出現する確率の分布である。また、色共起頻度分布は、画像中の一定距離離れたピクセル間における色の組み合わせの出現確率の分布である。
あるいは、映像解析部６３は、前フレームと後フレームにそれぞれブロック領域を設定し、相関の高いブロック領域の中心点を前後フレームにおける対応点として動きベクトルを推定するブロックマッチング法を用いて、受講者の発話動作における唇や舌の動きを解析してもよい。
また、映像解析部６３は、ユーザ端末１０から送られた映像データより抽出した特徴量を、ＤＢ５０が備えるモデル映像ＤＢ７２に格納されている映像データより抽出した特徴量と比較し、その差分を示す映像用の差分データを作成する。
【００２８】
アドバイス作成部６４は、音声解析部６２が作成した音声用の差分データと、映像解析部６３が作成した映像用の差分データとに基づいて、ＤＢ５０が備える指導情報ＤＢ７３を検索することにより、受講者を指導するためのアドバイスを作成するためのものである。
【００２９】
アドバイス提供部６５は、アドバイス作成部６４により作成されたアドバイスを、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送ることにより、ユーザ端末１０にてアドバイスを受講者に提供可能とするためのものである。
【００３０】
音声認識部６６は、例えば所定の単語辞書を備えて構成され、ユーザ端末１０から送られた音声データの特徴量に基づいて単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を示す発話文章データを作成する。
【００３１】
記憶部４２は、半導体メモリやハードディスク装置、光ディスク再生装置などを含んだ外部記憶装置等から構成され、制御部４１により実行される動作プログラムや各種の設定データを記憶するとともに、制御部４１のワークエリアを提供する。
【００３２】
通信インタフェース４３は、制御部４１の制御に従いネットワーク２０を介してユーザ端末１０との間で通信し、各種の情報を送受信するためのものである。
【００３３】
また、サーバ４０は、ＤＢサーバとして、ＤＢ５０をアクセスする。
ＤＢ５０は、教材ＤＢ７０と、モデル音声ＤＢ７１と、モデル映像ＤＢ７２と、指導情報ＤＢ７３とを備えている。
【００３４】
教材ＤＢ７０は、語学学習の素材としてユーザ端末１０に提供される教材データを、語学の習得レベルと対応付けて複数種類格納する。図４は、教材ＤＢ７０に格納されるデータの一構成例を示す図である。
ここで、教材データには、学習対象となる言語のセンテンスである学習文例を示すテキストデータや、各学習文例を発話する際における舌や唇の模範的な動きを示す動画像データなどが含まれている。また、各教材データは、モデル音声ＤＢ７１に格納されている模範的な発声を示す音声データと、モデル映像ＤＢ７２に格納されている模範的な発話動作を示す映像データとに、対応付けられている。
【００３５】
モデル音声ＤＢ７１は、模範的な発声を示す音声資料となる音声データを格納する。
ここで、モデル音声ＤＢ７１に格納される音声データは、予め語学学習の対象となる言語を母国語とするネイティブの指導者による各学習文例の発話を録音することで作成される。
【００３６】
モデル映像ＤＢ７２は、模範的な発声動作を示す映像資料となる映像データを格納する。
ここで、モデル映像ＤＢ７２に格納される映像データは、予めネイティブの指導者による各学習文例の発話動作を撮影することで作成される。
【００３７】
図５は、指導情報ＤＢ７３に格納されるデータの一構成例を示す図である。
図５に示すように、指導情報ＤＢ７３は、教材として提供される学習文例ごとに、複数種類の差分モデルデータを、複数種類の指導文を示す指導文データや、指導用に表示する映像資料を特定するための映像資料参照データなどと、対応付けて格納する。
【００３８】
ここで、差分モデルデータは、受講者が各学習文例を発話する際に誤りやすい発話動作と、ネイティブの指導者が各学習文例を発話する場合の模範的な発話動作との差異を示すデータである。例えば、各学習文例中にある［ｒ］の発音を［ｌ］と発音した時の音声信号について、模範的な発声を示す音声信号との差分を取ることにより、音声用の差分モデルデータの一つが構成される。また、各学習文例中にある［ｒ］の発音を［ｌ］と発音する発話動作を撮影することにより作成された映像信号について、ネイティブの模範的な発話動作を撮影することにより作成された映像信号との差分を取ることにより、映像用の差分モデルデータの一つが構成される。つまり、差分モデルデータには、音声用の差分モデルデータと、映像用の差分モデルデータとが含まれている。
【００３９】
また、映像資料参照データは、モデル映像ＤＢ７２に格納されている映像データの参照先（例えば、アドレスや映像ＩＤ）を示すデータである。すなわち、映像資料参照データは、受講者の発話動作に含まれる誤りを修正するために適切と考えられる模範的な発話動作を示す映像データを、アドバイス作成部６４により参照できるようにしている。
【００４０】
以下に、この発明の実施の形態に係るオンライン教育システムの動作を説明する。
このオンライン教育システムにおいて、オンライン教育の受講者となるユーザ端末１０の利用者は、ユーザ端末１０のユーザインタフェース１１が備えるキーボード１１ｄからコマンドを入力したり、マウス１１ｅの操作によりアイコンをクリックしたりするなどして、語学学習を開始する旨の指令を入力する。
語学学習を開始する旨の指令が入力されると、制御部１２は、オンライン教育用の動作プログラムを記憶部１３から読み出して実行する。制御部１２は、記憶部１３から読み出した動作プログラムに従って、例えば図６に示すような画面を、ユーザインタフェース１１が備えるディスプレイ装置１１ｃに表示させる。
【００４１】
図６に示す画面には、受講者の顔を撮影した静止画像が複数表示される表示領域Ｄａと、唇の動きを示す静止画像が複数表示される表示領域Ｄｂと、受講者の発声を音声認識した結果がテキスト表示される表示領域Ｄｃとが含まれている。また、図６に示す画面には、マイクロフォン１１ａから入力された音声の波形を表示する表示領域Ｄｄや、教材となる学習文例やアドバイスとなるメッセージが表示される表示領域Ｄｅなどが設けられている。
【００４２】
表示領域Ｄａに表示される静止画像は、制御部１２がＣＣＤカメラ１１ｂにより撮像された動画像から所定のタイミングでコマ映像を抽出することにより、作成される。表示領域Ｄｂに表示される静止画像は、受講者の発話動作における唇の動きを示すもの、あるいは、模範的な発話動作における唇の動きを示すものである。
【００４３】
また、制御部１２は、オンライン教育用の動作プログラムを実行すると、通信インタフェース１４によりネットワーク２０を介してサービスプロバイダ３０へアクセスし、語学学習の開始を要求する。
【００４４】
サービスプロバイダ３０において、ユーザ端末１０から学習開始の要求を受けたとする。この場合、サーバ４０において、例えば制御部４１が記憶部４２からオンライン教育用のアプリケーションプログラムを読み出して実行することにより、図７のフローチャートに示す処理を開始する。
【００４５】
図７のフローチャートに示す処理を開始すると、制御部４１は、カリキュラム設定部６０により各受講者に応じた学習内容を設定する（ステップＳ１）。この際、カリキュラム設定部６０は、受講者の自己申告や、定期的に実施されるテストの結果、あるいはユーザ端末１０にて既に提供されたアドバイスの種類などに基づいて、受講者の語学能力を判定し、各受講者に応じた学習内容を設定する。カリキュラム設定部６０により設定された学習内容は、教材提供部６１に通知される。
【００４６】
教材提供部６１は、カリキュラム設定部６０から通知された学習内容に対応する教材データを読み出すために、教材ＤＢ７０を検索する（ステップＳ２）。教材提供部６１により読み出された教材データは、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送られる（ステップＳ３）。この際、教材提供部６１は、ユーザ端末１０へ送られる教材データに対応した模範的な発声を示す音声データを、モデル音声ＤＢ７１から読み出し、教材データとともにユーザ端末１０へ送るようにしてもよい。さらに、教材提供部６１は、ユーザ端末１０へ送られる教材データに対応した模範的な発話動作を示す映像データを、モデル映像ＤＢ７２から読み出し、教材データとともにユーザ端末１０へ送るようにしてもよい。
【００４７】
ユーザ端末１０では、制御部１２がユーザインタフェース１１を制御することにより、サービスプロバイダ３０から送られた教材データに対応して、教材となる情報が受講者に提供される。例えば、教材データ中のテキストデータに対応する学習文例が、図６に示す画面の表示領域Ｄｅに表示される。また、教材データ中の動画像データに対応して、模範的な発話動作における舌や唇の動きが、図６に示す画面の表示領域Ｄｂにて、所定のコマごとに静止画像として表示される。
【００４８】
さらに、制御部１２は、教材データとともに模範的な発声を示す音声データを受け取った場合に、その音声データで示される音声の波形を、表示領域Ｄｄに表示させてもよい。これに加えて、制御部１２は、スピーカ１１ｆから模範的な発声を出力させてもよい。
また、制御部１２は、教材データとともに模範的な発話動作を示す映像データを受け取った場合に、その映像データで示される映像を表示領域Ｄａや表示領域Ｄｂなどに表示させてもよい。この際、模範的な発声と模範的な発話動作を示す映像とを連携して出力させることにより、発話動作の手本をユーザ端末１０にて受講者に対して提示することができる。
【００４９】
ユーザ端末１０において、受講者であるユーザ端末１０の利用者が発話動作を行うと、ユーザインタフェース１１が備えるマイクロフォン１１ａにより音声が取り込まれ、ＣＣＤカメラ１１ｂでの撮影により映像が取り込まれる。制御部１２は、ディスプレイ装置１１ｃを制御することにより、マイクロフォン１１ａから入力された音声の波形を、表示領域Ｄｄに表示させる。また、制御部１２は、ディスプレイ装置１１ｃを制御することにより、表示領域Ｄａに受講者の顔を撮影した静止画像を複数表示させるとともに、表示領域Ｄｂに受講者の発話動作における唇の動きを示す静止画像を複数表示させる。
【００５０】
ユーザ端末１０の制御部１２は、マイクロフォン１１ａから入力された音声を符号化して音声データを作成し、ＣＣＤカメラ１１ｂでの撮影により取り込まれた映像をデジタル化して映像データを作成する。こうして作成された音声データと映像データは、通信インタフェース１４によりネットワーク２０を介してサービスプロバイダ３０へ送られる。
【００５１】
ユーザ端末１０から音声データと映像データを受けたサーバ４０は、制御部４１の音声解析部６２により受講者が発した音声の解析を行い、映像解析部６３によりＣＣＤカメラ１１ｂで撮影された映像の解析を行う（ステップＳ４）。
より具体的には、音声解析部６２は、ユーザ端末１０から送られた音声データより抽出した音声特徴を、モデル音声ＤＢ７１から読み出した模範的な発声に対応する音声データより抽出した音声特徴と比較し、その差分を示す音声用の差分データを作成する。また、映像解析部６３は、ユーザ端末１０から送られた映像データから唇の形、色及びその動きなどを示す特徴量を抽出する。映像解析部６３は、抽出した特徴量を、各コマごとにモデル映像ＤＢ７２から読み出した模範的な発話動作に対応する映像データより抽出した特徴量と比較し、その差分を示す映像用の差分データを作成する。音声解析部６２によって作成された音声用の差分データと、映像解析部６３によって作成された映像用の差分データは、アドバイス作成部６４へ送られる。
【００５２】
また、音声認識部６６は、ユーザ端末１０から送られた音声データを用いて、受講者の発声を認識する（ステップＳ５）。
より具体的には、音声認識部６６は、ユーザ端末１０から送られた音声データの特徴量を抽出し、受講者の発声に近い単語を組み合わせることにより、受講者の発話動作に対応する文章を示す発話文章データを作成する。音声認識部６６により作成された発話文章データは、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送られる。
発話文章データを受けたユーザ端末１０は、制御部１２がユーザインタフェース１１のディスプレイ装置１１ｃを制御することにより、発話文章データに示される文章を、図６に示す画面の表示領域Ｄｃにテキスト表示させる。
【００５３】
アドバイス作成部６４は、音声解析部６２と映像解析部６３から受け取った差分データに基づいて、受講者を指導するためのアドバイスを作成する（ステップＳ６）。
より具体的には、アドバイス作成部６４は、音声解析部６２から受け取った音声用の差分データと、映像解析部６３から受け取った映像用の差分データとを、それぞれ指導情報ＤＢ７３に格納された差分モデルデータと比較する。この際、アドバイス作成部６４は、上記ステップＳ２にてユーザ端末１０へ送られた教材データの学習文例に分類されている複数種類の差分モデルデータを順次指導情報ＤＢ７３から読み出す。読み出された差分モデルデータに含まれる音声用の差分モデルデータは、音声解析部６２により作成された音声用の差分データと比較される。読み出された差分モデルデータに含まれる映像用の差分モデルデータは、映像解析部６３により作成された映像用の差分データと比較される。
【００５４】
この比較の結果、アドバイス作成部６４は、音声解析部６２と映像解析部６３から受け取った差分データに最も近似する（差異の少ない）差分モデルデータを特定する。アドバイス作成部６４は、特定した差分モデルデータと対応づけて記憶されている指導文データ及び映像資料参照データを読み取る。アドバイス作成部６４は、映像資料参照データに示される参照先、すなわちモデル映像ＤＢ７２から映像データを読み出し、指導文データと組み合わせてアドバイスを構成する。
また、アドバイス作成部６４は、音声用及び映像用の差分データが所定の適正範囲内である場合には、例えば「パーフェクト！！」などといったメッセージを、アドバイスとして作成する。
【００５５】
アドバイス作成部６４によって作成されたアドバイスは、アドバイス提供部６５に送られる。
アドバイス提供部６５は、アドバイス作成部６４により作成されたアドバイスを、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送る（ステップＳ７）。
【００５６】
指導文データと模範的な発話動作を示す映像データとからなるアドバイスを受け取ったユーザ端末１０において、制御部１２がユーザインタフェース１１を制御することにより、受講者を指導するためのアドバイスを出力させる。
例えば、制御部１２は、ディスプレイ装置１１ｃを制御することにより、指導文データで示される指導文を図６に示す画面の表示領域Ｄｅに表示させる。さらに、制御部１２は、ディスプレイ装置１１ｃを制御することにより、アドバイスに含まれる映像データで示される模範的な発話動作の映像を、表示領域Ｄａや表示領域Ｄｂなどに表示させてもよい。
また、制御部１２は、スピーカ１１ｆを制御することにより、指導文データで示される指導文を、音声として出力させてもよい。
【００５７】
この後、処理は上記ステップＳ１へリターンする。
すなわち、カリキュラム設定部６０は、上記ステップＳ７にてアドバイス提供部６５がユーザ端末１０へ送ったアドバイスの種類に基づいて、受講者の語学能力を判定し、受講者の語学能力にあわせた学習内容を設定する。
【００５８】
また、ユーザ端末１０にて、受講者がキーボード１１ｄやマウス１１ｅを操作することにより、語学学習を終了する旨の指令が入力されると、学習終了の要求がユーザ端末１０からサービスプロバイダ３０へ送られて、図６のフローチャートに示す処理が終了される。
こうして、受講者が希望する時間にユーザ端末１０を操作してサービスプロバイダ３０へアクセスすることで、指導者がいなくても対話性のある語学教育を受けることができる。
【００５９】
以上説明したように、この発明によれば、受講者の語学能力に応じた学習内容が設定され、模範的な発声や、模範的な発話動作をユーザ端末１０にて出力させることができる。さらに、受講者の発話動作と模範的な発話動作との差異に応じて、受講者を指導するための適切なアドバイスを、ユーザ端末１０にて出力させることができる。
これにより、効率よく受講者に語学教育を施すことができる。
【００６０】
この発明は、上記実施の形態に限定されず、様々な変形及び応用が可能である。
上記実施の形態では、ネットワーク２０を介してユーザ端末１０とサービスプロバイダ３０とが互いに接続されたオンライン教育システムについて説明した。しかしながら、この発明はこれに限定されるものではなく、例えば１台（スタンドアローン）のコンピュータシステムが、上述したユーザ端末１０とサーバ４０及びＤＢ５０の機能を備えるようにしてもよい。すなわち、１台のコンピュータシステムに設けられたＣＰＵが、所定の記憶装置に記憶されている動作プログラムを実行することにより、上述したユーザ端末１０の制御部１２及びサーバ４０の制御部４１と同様に動作するようにしてもよい。
【００６１】
また、上記実施の形態では、音声解析部６２が作成した音声用の差分データと、映像解析部６３が作成した映像用の差分データの両方を用いて、アドバイス作成部６４がアドバイスを作成するものとして説明した。しかしながら、この発明はこれに限定されず、音声用の差分データと映像用の差分データのいずれか一方のみを用いて、アドバイスを作成するようにしてもよい。すなわち、アドバイス作成部６４は、音声解析部６２から受け取った音声用の差分データと指導情報ＤＢ７３に格納された差分モデルデータとの比較結果、あるいは、映像解析部６３から受け取った映像用の差分データと指導情報ＤＢに格納された差分モデルデータとの比較結果のいずれか一方のみに従って、指導文データ及び映像資料参照データを読み取るようにしてもよい。
【００６２】
コンピュータ又はコンピュータ群を、上述のオンライン教育システムとして機能させ、あるいは、上述の処理を実行させるために必要な動作プログラムの全部又は一部を、記録媒体（ＩＣメモリ、光ディスク、磁気ディスク、光磁気ディスク）等に記録して、配布・流通させてもよい。また、インターネット上のＦＴＰ（File Transfer Protocol）サーバに上述の動作プログラムを格納しておき、例えば搬送波などに重畳して、コンピュータシステムにダウンロードしてインストール等するようにしてもよい。
【００６３】
【発明の効果】
このように、この発明によれば、効率よく受講者に語学教育を施すことができる。
【図面の簡単な説明】
【図１】この発明の実施の形態に係るオンライン教育システムの構成を示す図である。
【図２】ユーザ端末の構成を示す図である。
【図３】サービスプロバイダの構成を示す図である。
【図４】教材ＤＢに格納されるデータの一構成例を示す図である。
【図５】指導情報ＤＢに格納されるデータの一構成例を示す図である。
【図６】ディスプレイ装置に表示される画面の一例を示す図である。
【図７】サーバが実行する処理を説明するためのフローチャートである。
【符号の説明】
１０ ユーザ端末
２０ ネットワーク
３０ サービスプロバイダ
４０ サーバ
５０ データベース（ＤＢ）
６０ カリキュラム設定部
６１ 教材提供部
６２ 音声解析部
６３ 映像解析部
６４ アドバイス作成部
６５ アドバイス提供部
６６ 音声認識部
７０ 教材ＤＢ
７１ モデル音声ＤＢ
７２ モデル映像ＤＢ
７３ 指導情報ＤＢ
【発明の属する技術分野】
この発明は、コンピュータ等を用いて受講者の学習を支援する教育システムに係り、特にオンラインで受講者に対する語学教育を実施可能なオンライン教育システムに関する。
【０００２】
【従来の技術】
語学を習得するためには、相手の話を聞き分け、正しく発音する能力を身につけた上で、各単語及び文章の意味理解力を向上させることが重要となる。従来、語学の学習は、書籍などを用いて文字から文法を理解するといった手法により行われていた。近年では、特定の言語を母国語とするネイティブの指導者が、受講生との対話により、受講生の習熟度にあわせて指導を行う語学学校などがビジネスとして営まれている。さらに、こうした語学学校の中には、例えば特許文献１に開示されているような通信システムを用いて、遠隔地間での語学教育を可能としたサービスを提供するものもある。
【０００３】
【特許文献１】
特開平１１−２２０７０７号公報
【０００４】
【発明が解決しようとする課題】
語学をいち早く修得するためには、専門の指導者の下で、単語単位や一般の話し言葉を通して、基礎的な学習を行って自然な形で身につけることが望ましい。ところが、指導者が受講者と対面して教育するためには、時間や場所を互いに調整したり予約しなければならない。
この点について、特許文献１に開示された技術によれば、遠隔地間での教育が可能となるので、対面教育における場所的な制約を軽減させることができる。
【０００５】
しかしながら、特許文献１に開示された技術によっても、指導者と受講生が同じ時間に端末の前に在留しなければならない。このため、時間の調整や予約が必要となる。また、受講者に対応できる人数だけ指導者を揃えておかなければならないという問題があった。
【０００６】
この発明は、上記実状に鑑みてなされたものであり、受講者に対して効率よく語学教育を施すことができるオンライン教育システムを、提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明の第１の観点に係るオンライン教育システムは、ネットワークを介して互いに接続された端末装置とサーバ装置とを備えるオンライン教育システムであって、模範的な発声を示す音声データを格納するモデル音声データベースと、模範的な発話動作を撮影した映像データを格納するモデル映像データベースと、複数種類の指導情報を格納する指導情報データベースと、前記端末装置が生成した受講者の発声を示す音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を示す解析結果を生成する音声解析手段と、受講者の発話動作を撮影することにより前記端末装置が生成した映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を示す解析結果を生成する映像解析手段と、前記端末装置が生成した受講者の発声を示す音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を前記端末装置にて表示させる音声認識手段と、前記指導情報データベースから前記音声解析手段及び前記映像解析手段の解析結果に対応する指導情報を読み出して、受講者の発話動作に関するアドバイスを作成するアドバイス作成手段と、前記アドバイス作成手段により作成されたアドバイスを、前記端末装置にて前記音声認識手段により表示させる文章と同一画面内に表示させて出力させるアドバイス提供手段とを備えることを特徴とする。
【０００８】
この発明によれば、受講者の発声を示す音声データと、モデル音声データベースに格納されている模範的な発声を示す音声データとの比較結果、及び、受講者の発話動作を撮影した映像データと、モデル映像データベースに格納されている模範的な発話動作を撮影した映像データとの比較結果に対応するアドバイスが作成される。作成されたアドバイスは端末装置にて出力され、受講者に対して効率よく語学教育を施すことができる。
【０００９】
この発明の第２の観点に係る情報処理装置は、受講者の発声を取り込む音声入力手段と、受講者の発話動作を撮影する撮像手段と、音声出力手段と、表示手段と、模範的な発声を示す音声データを格納するモデル音声データベースと、模範的な発話動作を撮影した映像データを格納するモデル映像データベースと、複数種類の指導情報を格納する指導情報データベースと、前記モデル音声データベースに格納されている音声データを読み出して、前記音声出力手段から模範的な発声を出力させるモデル提供手段と、前記音声入力手段により取り込まれた受講者の発声を示す音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を前記表示手段に表示させる音声認識手段と、前記音声入力手段により作成された受講者の発声を示す音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を示す解析結果を生成する音声解析手段と、前記撮像手段の撮影により作成された映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を示す解析結果を生成する映像解析手段と、前記指導情報データベースから前記音声解析手段及び前記映像解析手段の解析結果に対応する指導情報を読み出して、受講者の発話動作に関するアドバイスを作成するアドバイス作成手段と、前記アドバイス作成手段により作成されたアドバイスを、前記音声出力手段から出力させるとともに、前記表示手段にて前記音声認識手段により表示させる文章と同一画面内に表示させて出力させるアドバイス提供手段とを備えることを特徴とする。
【００１０】
この発明によれば、受講者の発話動作を撮影した映像データと、モデル映像データベースに格納されている模範的な発話動作を撮影した映像データとの比較結果に対応するアドバイスが作成される。作成されたアドバイスは、音声出力手段と表示手段の少なくともいずれか一方から出力される。また、モデル音声データベースに格納された音声データを読み出すことにより、音声出力手段から模範的な発声が出力される。さらに、受講者の発声を認識して、受講者の発声に対応する文章が表示手段に表示される。
これにより、受講者に対して効率よく語学教育を施すことができる。
【００１１】
前記モデル提供手段は、前記モデル映像データベースに格納されている映像データを読み出し、模範的な発話動作の画像を、前記表示手段にて前記音声認識手段により表示させる文章及び前記アドバイス提供手段により表示させるアドバイスと同一画面内に表示させる手段を備え、前記表示手段は、前記撮像手段が撮影した受講者による発話動作の画像を、前記模範的な発話動作の画像、前記音声認識手段により表示させる文章、前記アドバイス提供手段により表示させるアドバイスと、同一画面内に表示してもよい。
【００１２】
この発明の第３の観点に係る情報処理装置は、ネットワークを介して端末装置に接続された情報処理装置であって、模範的な音声を示す音声データを格納するモデル音声データベースと、模範的な発声動作を撮影した映像データを格納するモデル映像データベースと、複数種類の指導情報を格納する指導情報データベースと、前記モデル音声データベースに格納されている音声データを読み出して前記端末装置へ送ることにより、前記端末装置にて模範的な発声を出力させるモデル提供手段と、前記端末装置から送られた音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を前記端末装置に表示させる音声認識手段と、前記端末装置から送られた音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を示す解析結果を生成する音声解析手段と、前記端末装置から送られた映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を示す解析結果を生成する映像解析手段と、前記指導情報データベースから前記音声解析手段及び前記映像解析手段の解析結果に対応する指導情報を読み出して、受講者の発話動作に関するアドバイスを作成するアドバイス作成手段と、前記アドバイス作成手段により作成されたアドバイスを前記端末装置へ送ることにより、前記端末装置にて受講者を指導するためのアドバイスを、前記音声認識手段により表示させる文章と同一画面内に表示させて出力させるアドバイス提供手段とを備えることを特徴とする。
【００１３】
この発明の第４の観点に係る情報提供方法は、モデル音声データベースと、モデル映像データベースと、指導情報データベースとを備えるコンピュータシステムが、模範的な発声を示す音声データを前記モデル音声データベースに格納し、模範的な発話動作を撮影した映像データを前記モデル映像データベースに格納し、複数種類の指導情報を前記指導情報データベースに格納し、前記モデル音声データベースに格納されている音声データを読み出して、模範的な発声を出力し、受講者の発声を示す音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を表示し、受講者の発声を示す音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を解析結果とし、受講者の発話動作を撮影することにより作成された映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を解析結果とし、音声データ及び映像データに基づく解析結果に対応する指導情報を前記指導情報データベースから読み出して、受講者の発話動作に関するアドバイスを作成し、作成されたアドバイスを、音声にて出力するとともに、受講者の発声に対応する文章と同一画面内に表示させて出力することを特徴とする。
【００１４】
この発明の第５の観点に係るプログラムは、コンピュータを、受講者の発声を取り込む音声入力手段と、受講者の発話動作を撮影する撮像手段と、音声出力手段と、表示手段と、模範的な発声を示す音声データを格納するモデル音声データベースと、模範的な発話動作を撮影した映像データを格納するモデル映像データベースと、複数種類の指導情報を格納する指導情報データベースと、前記モデル音声データベースに格納されている音声データを読み出して、前記音声出力手段から模範的な発声を出力させるモデル提供手段と、前記音声入力手段により取り込まれた受講者の発声を示す音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を前記表示手段に表示させる音声認識手段と、前記音声入力手段により作成された受講者の発声を示す音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を示す解析結果を生成する音声解析手段と、前記撮像手段の撮影により作成された映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を示す解析結果を生成する映像解析手段と、前記指導情報データベースから前記音声解析手段及び前記映像解析手段の解析結果に対応する指導情報を読み出して、受講者の発話動作に関するアドバイスを作成するアドバイス作成手段と、前記アドバイス作成手段により作成されたアドバイスを、前記音声出力手段により出力させるとともに、前記表示手段にて前記音声認識手段により表示させる文章と同一画面内に表示させて出力させるアドバイス提供手段として機能させる。
【００１５】
【発明の実施の形態】
以下に、図面を参照して、この発明の実施の形態に係るオンライン教育システムについて詳細に説明する。
図１は、この発明の実施の形態に係るオンライン教育システムの構成を示す図である。
図１に示すように、この発明の実施の形態に係るオンライン教育システムは、ユーザ端末１０と、ネットワーク２０と、サービスプロバイダ３０とを備えて構成されている。ユーザ端末１０とサービスプロバイダ３０とは、例えば公衆回線やインターネット等からなるネットワーク２０を介して互いに接続されている。以下では、説明を簡単にするために、ユーザ端末１０が１台のみであるものとするが、これに限定されず、複数存在してもよい。
【００１６】
ユーザ端末１０は、例えばノート型あるいはデスクトップ型のパーソナルコンピュータや、ＰＤＡ（Personal Digital Assistants）などに代表される情報処理端末装置である。
図２は、ユーザ端末１０の構成を示す図である。
図２に示すように、ユーザ端末１０は、ユーザインタフェース１１と、制御部１２と、記憶部１３と、通信インタフェース１４とを備えて構成される。
【００１７】
ユーザインタフェース１１は、例えば、マイクロフォン１１ａ、ＣＣＤカメラ１１ｂ、ディスプレイ装置１１ｃ、キーボード１１ｄ、マウス１１ｅ、スピーカ１１ｆ等を備えて構成され、ユーザ操作に対応した指令や音声、映像などを入力したり、画像や音声を出力したりするためのものである。
【００１８】
制御部１２は、例えばＣＰＵ（Central Processing Unit）などのマイクロプロセッサを用いて構成され、ユーザ端末１０全体の動作を制御するためのものである。
【００１９】
記憶部１３は、例えば半導体メモリやハードディスク装置等により構成され、制御部１２により実行される動作プログラムや各種の設定データなどを記憶するためのものである。
【００２０】
通信インタフェース１４は、例えば、ネットワークカード、ケーブルコネクタ、無線ユニット等を用いて構成され、制御部１２の制御に従いネットワーク２０を介してサービスプロバイダ３０との間で通信を行うためのものである。
【００２１】
サービスプロバイダ３０は、図３に示すように、サーバ４０と、データベース（以下、「ＤＢ」という）５０とを備える。
サーバ４０は、例えば、アプリケーションサーバとしての機能とデータベースサーバとしての機能とを備える。なお、サーバ４０は、物理的に１台のコンピュータシステムで構成される必要はなく、複数台のコンピュータを用いて構成されてもよい。
【００２２】
サーバ４０は、ネットワーク２０を介したユーザ端末１０からのアクセスを受け付け、オンライン教育の受講者となるユーザ端末１０の利用者に対して、映像や音声を組み合わせたオンライン教育の教材となる情報を提供可能とする。また、サーバ４０は、ユーザ端末１０から送られた指令や音声信号、映像信号を受信して、オンライン教育をより効率的に実施するための様々な処理を実行する。サーバ４０は、図３に示すように、制御部４１と、記憶部４２と、通信インタフェース４３とを備えている。
【００２３】
制御部４１は、サーバ４０全体の動作を制御するためのものである。ここで、制御部４１は、記憶部４２に記憶されている動作プログラムを読み出して実行することにより構成されるカリキュラム設定部６０と、教材提供部６１と、音声解析部６２と、映像解析部６３と、アドバイス作成部６４と、アドバイス提供部６５と、音声認識部６６とを備えている。
【００２４】
カリキュラム設定部６０は、ユーザ端末１０の利用者による自己申告や、定期的に実施されるテストの結果、あるいはアドバイス提供部６５がユーザ端末１０により受講者に提供したアドバイスの種類などに基づいて、受講者の語学能力を判定し、各受講者に応じた学習内容を設定する。
【００２５】
教材提供部６１は、カリキュラム設定部６０により設定されたカリキュラムや、音声解析部６２及び映像解析部６３の解析結果に基づいて、ＤＢ５０が備える教材ＤＢ７０から読み出す教材データを特定する。教材提供部６１により教材ＤＢ７０から読み出された教材データは、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送られる。
【００２６】
音声解析部６２は、ユーザ端末１０から送られた音声データから音声信号の特徴量を抽出し、受講者が発した音声を解析するためのものである。例えば、音声解析部６２は、ユーザ端末１０から送られた音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチなどの音響物理情報を抽出する。これにより、受講者が発した音声のイントネーション、ストレス、アクセント、スピード等の発音についての音声特徴が抽出される。
また、音声解析部６２は、ユーザ端末１０から送られた音声データより抽出した音声特徴を、ＤＢ５０が備えるモデル音声ＤＢ７１に格納されている音声データより抽出した音声特徴と比較し、その差分を示す音声用の差分データを作成する。
【００２７】
映像解析部６３は、ユーザ端末１０から送られた映像データから動画像あるいは静止画像の特徴量を抽出し、受講者の発話動作を解析するためのものである。例えば、映像解析部６３は、色出現確率分布（色ヒストグラム）や色共起頻度分布（色コリログラム）を用いて、受講者の発話動作における唇の形や色に基づく動き特徴量を抽出する。ここで、色出現確率分布は、１フレームを構成する映像信号からなる画像中のピクセルにおいて各種の色が出現する確率の分布である。また、色共起頻度分布は、画像中の一定距離離れたピクセル間における色の組み合わせの出現確率の分布である。
あるいは、映像解析部６３は、前フレームと後フレームにそれぞれブロック領域を設定し、相関の高いブロック領域の中心点を前後フレームにおける対応点として動きベクトルを推定するブロックマッチング法を用いて、受講者の発話動作における唇や舌の動きを解析してもよい。
また、映像解析部６３は、ユーザ端末１０から送られた映像データより抽出した特徴量を、ＤＢ５０が備えるモデル映像ＤＢ７２に格納されている映像データより抽出した特徴量と比較し、その差分を示す映像用の差分データを作成する。
【００２８】
アドバイス作成部６４は、音声解析部６２が作成した音声用の差分データと、映像解析部６３が作成した映像用の差分データとに基づいて、ＤＢ５０が備える指導情報ＤＢ７３を検索することにより、受講者を指導するためのアドバイスを作成するためのものである。
【００２９】
アドバイス提供部６５は、アドバイス作成部６４により作成されたアドバイスを、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送ることにより、ユーザ端末１０にてアドバイスを受講者に提供可能とするためのものである。
【００３０】
音声認識部６６は、例えば所定の単語辞書を備えて構成され、ユーザ端末１０から送られた音声データの特徴量に基づいて単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を示す発話文章データを作成する。
【００３１】
記憶部４２は、半導体メモリやハードディスク装置、光ディスク再生装置などを含んだ外部記憶装置等から構成され、制御部４１により実行される動作プログラムや各種の設定データを記憶するとともに、制御部４１のワークエリアを提供する。
【００３２】
通信インタフェース４３は、制御部４１の制御に従いネットワーク２０を介してユーザ端末１０との間で通信し、各種の情報を送受信するためのものである。
【００３３】
また、サーバ４０は、ＤＢサーバとして、ＤＢ５０をアクセスする。
ＤＢ５０は、教材ＤＢ７０と、モデル音声ＤＢ７１と、モデル映像ＤＢ７２と、指導情報ＤＢ７３とを備えている。
【００３４】
教材ＤＢ７０は、語学学習の素材としてユーザ端末１０に提供される教材データを、語学の習得レベルと対応付けて複数種類格納する。図４は、教材ＤＢ７０に格納されるデータの一構成例を示す図である。
ここで、教材データには、学習対象となる言語のセンテンスである学習文例を示すテキストデータや、各学習文例を発話する際における舌や唇の模範的な動きを示す動画像データなどが含まれている。また、各教材データは、モデル音声ＤＢ７１に格納されている模範的な発声を示す音声データと、モデル映像ＤＢ７２に格納されている模範的な発話動作を示す映像データとに、対応付けられている。
【００３５】
モデル音声ＤＢ７１は、模範的な発声を示す音声資料となる音声データを格納する。
ここで、モデル音声ＤＢ７１に格納される音声データは、予め語学学習の対象となる言語を母国語とするネイティブの指導者による各学習文例の発話を録音することで作成される。
【００３６】
モデル映像ＤＢ７２は、模範的な発声動作を示す映像資料となる映像データを格納する。
ここで、モデル映像ＤＢ７２に格納される映像データは、予めネイティブの指導者による各学習文例の発話動作を撮影することで作成される。
【００３７】
図５は、指導情報ＤＢ７３に格納されるデータの一構成例を示す図である。
図５に示すように、指導情報ＤＢ７３は、教材として提供される学習文例ごとに、複数種類の差分モデルデータを、複数種類の指導文を示す指導文データや、指導用に表示する映像資料を特定するための映像資料参照データなどと、対応付けて格納する。
【００３８】
ここで、差分モデルデータは、受講者が各学習文例を発話する際に誤りやすい発話動作と、ネイティブの指導者が各学習文例を発話する場合の模範的な発話動作との差異を示すデータである。例えば、各学習文例中にある［ｒ］の発音を［ｌ］と発音した時の音声信号について、模範的な発声を示す音声信号との差分を取ることにより、音声用の差分モデルデータの一つが構成される。また、各学習文例中にある［ｒ］の発音を［ｌ］と発音する発話動作を撮影することにより作成された映像信号について、ネイティブの模範的な発話動作を撮影することにより作成された映像信号との差分を取ることにより、映像用の差分モデルデータの一つが構成される。つまり、差分モデルデータには、音声用の差分モデルデータと、映像用の差分モデルデータとが含まれている。
【００３９】
また、映像資料参照データは、モデル映像ＤＢ７２に格納されている映像データの参照先（例えば、アドレスや映像ＩＤ）を示すデータである。すなわち、映像資料参照データは、受講者の発話動作に含まれる誤りを修正するために適切と考えられる模範的な発話動作を示す映像データを、アドバイス作成部６４により参照できるようにしている。
【００４０】
以下に、この発明の実施の形態に係るオンライン教育システムの動作を説明する。
このオンライン教育システムにおいて、オンライン教育の受講者となるユーザ端末１０の利用者は、ユーザ端末１０のユーザインタフェース１１が備えるキーボード１１ｄからコマンドを入力したり、マウス１１ｅの操作によりアイコンをクリックしたりするなどして、語学学習を開始する旨の指令を入力する。
語学学習を開始する旨の指令が入力されると、制御部１２は、オンライン教育用の動作プログラムを記憶部１３から読み出して実行する。制御部１２は、記憶部１３から読み出した動作プログラムに従って、例えば図６に示すような画面を、ユーザインタフェース１１が備えるディスプレイ装置１１ｃに表示させる。
【００４１】
図６に示す画面には、受講者の顔を撮影した静止画像が複数表示される表示領域Ｄａと、唇の動きを示す静止画像が複数表示される表示領域Ｄｂと、受講者の発声を音声認識した結果がテキスト表示される表示領域Ｄｃとが含まれている。また、図６に示す画面には、マイクロフォン１１ａから入力された音声の波形を表示する表示領域Ｄｄや、教材となる学習文例やアドバイスとなるメッセージが表示される表示領域Ｄｅなどが設けられている。
【００４２】
表示領域Ｄａに表示される静止画像は、制御部１２がＣＣＤカメラ１１ｂにより撮像された動画像から所定のタイミングでコマ映像を抽出することにより、作成される。表示領域Ｄｂに表示される静止画像は、受講者の発話動作における唇の動きを示すもの、あるいは、模範的な発話動作における唇の動きを示すものである。
【００４３】
また、制御部１２は、オンライン教育用の動作プログラムを実行すると、通信インタフェース１４によりネットワーク２０を介してサービスプロバイダ３０へアクセスし、語学学習の開始を要求する。
【００４４】
サービスプロバイダ３０において、ユーザ端末１０から学習開始の要求を受けたとする。この場合、サーバ４０において、例えば制御部４１が記憶部４２からオンライン教育用のアプリケーションプログラムを読み出して実行することにより、図７のフローチャートに示す処理を開始する。
【００４５】
図７のフローチャートに示す処理を開始すると、制御部４１は、カリキュラム設定部６０により各受講者に応じた学習内容を設定する（ステップＳ１）。この際、カリキュラム設定部６０は、受講者の自己申告や、定期的に実施されるテストの結果、あるいはユーザ端末１０にて既に提供されたアドバイスの種類などに基づいて、受講者の語学能力を判定し、各受講者に応じた学習内容を設定する。カリキュラム設定部６０により設定された学習内容は、教材提供部６１に通知される。
【００４６】
教材提供部６１は、カリキュラム設定部６０から通知された学習内容に対応する教材データを読み出すために、教材ＤＢ７０を検索する（ステップＳ２）。教材提供部６１により読み出された教材データは、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送られる（ステップＳ３）。この際、教材提供部６１は、ユーザ端末１０へ送られる教材データに対応した模範的な発声を示す音声データを、モデル音声ＤＢ７１から読み出し、教材データとともにユーザ端末１０へ送るようにしてもよい。さらに、教材提供部６１は、ユーザ端末１０へ送られる教材データに対応した模範的な発話動作を示す映像データを、モデル映像ＤＢ７２から読み出し、教材データとともにユーザ端末１０へ送るようにしてもよい。
【００４７】
ユーザ端末１０では、制御部１２がユーザインタフェース１１を制御することにより、サービスプロバイダ３０から送られた教材データに対応して、教材となる情報が受講者に提供される。例えば、教材データ中のテキストデータに対応する学習文例が、図６に示す画面の表示領域Ｄｅに表示される。また、教材データ中の動画像データに対応して、模範的な発話動作における舌や唇の動きが、図６に示す画面の表示領域Ｄｂにて、所定のコマごとに静止画像として表示される。
【００４８】
さらに、制御部１２は、教材データとともに模範的な発声を示す音声データを受け取った場合に、その音声データで示される音声の波形を、表示領域Ｄｄに表示させてもよい。これに加えて、制御部１２は、スピーカ１１ｆから模範的な発声を出力させてもよい。
また、制御部１２は、教材データとともに模範的な発話動作を示す映像データを受け取った場合に、その映像データで示される映像を表示領域Ｄａや表示領域Ｄｂなどに表示させてもよい。この際、模範的な発声と模範的な発話動作を示す映像とを連携して出力させることにより、発話動作の手本をユーザ端末１０にて受講者に対して提示することができる。
【００４９】
ユーザ端末１０において、受講者であるユーザ端末１０の利用者が発話動作を行うと、ユーザインタフェース１１が備えるマイクロフォン１１ａにより音声が取り込まれ、ＣＣＤカメラ１１ｂでの撮影により映像が取り込まれる。制御部１２は、ディスプレイ装置１１ｃを制御することにより、マイクロフォン１１ａから入力された音声の波形を、表示領域Ｄｄに表示させる。また、制御部１２は、ディスプレイ装置１１ｃを制御することにより、表示領域Ｄａに受講者の顔を撮影した静止画像を複数表示させるとともに、表示領域Ｄｂに受講者の発話動作における唇の動きを示す静止画像を複数表示させる。
【００５０】
ユーザ端末１０の制御部１２は、マイクロフォン１１ａから入力された音声を符号化して音声データを作成し、ＣＣＤカメラ１１ｂでの撮影により取り込まれた映像をデジタル化して映像データを作成する。こうして作成された音声データと映像データは、通信インタフェース１４によりネットワーク２０を介してサービスプロバイダ３０へ送られる。
【００５１】
ユーザ端末１０から音声データと映像データを受けたサーバ４０は、制御部４１の音声解析部６２により受講者が発した音声の解析を行い、映像解析部６３によりＣＣＤカメラ１１ｂで撮影された映像の解析を行う（ステップＳ４）。
より具体的には、音声解析部６２は、ユーザ端末１０から送られた音声データより抽出した音声特徴を、モデル音声ＤＢ７１から読み出した模範的な発声に対応する音声データより抽出した音声特徴と比較し、その差分を示す音声用の差分データを作成する。また、映像解析部６３は、ユーザ端末１０から送られた映像データから唇の形、色及びその動きなどを示す特徴量を抽出する。映像解析部６３は、抽出した特徴量を、各コマごとにモデル映像ＤＢ７２から読み出した模範的な発話動作に対応する映像データより抽出した特徴量と比較し、その差分を示す映像用の差分データを作成する。音声解析部６２によって作成された音声用の差分データと、映像解析部６３によって作成された映像用の差分データは、アドバイス作成部６４へ送られる。
【００５２】
また、音声認識部６６は、ユーザ端末１０から送られた音声データを用いて、受講者の発声を認識する（ステップＳ５）。
より具体的には、音声認識部６６は、ユーザ端末１０から送られた音声データの特徴量を抽出し、受講者の発声に近い単語を組み合わせることにより、受講者の発話動作に対応する文章を示す発話文章データを作成する。音声認識部６６により作成された発話文章データは、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送られる。
発話文章データを受けたユーザ端末１０は、制御部１２がユーザインタフェース１１のディスプレイ装置１１ｃを制御することにより、発話文章データに示される文章を、図６に示す画面の表示領域Ｄｃにテキスト表示させる。
【００５３】
アドバイス作成部６４は、音声解析部６２と映像解析部６３から受け取った差分データに基づいて、受講者を指導するためのアドバイスを作成する（ステップＳ６）。
より具体的には、アドバイス作成部６４は、音声解析部６２から受け取った音声用の差分データと、映像解析部６３から受け取った映像用の差分データとを、それぞれ指導情報ＤＢ７３に格納された差分モデルデータと比較する。この際、アドバイス作成部６４は、上記ステップＳ２にてユーザ端末１０へ送られた教材データの学習文例に分類されている複数種類の差分モデルデータを順次指導情報ＤＢ７３から読み出す。読み出された差分モデルデータに含まれる音声用の差分モデルデータは、音声解析部６２により作成された音声用の差分データと比較される。読み出された差分モデルデータに含まれる映像用の差分モデルデータは、映像解析部６３により作成された映像用の差分データと比較される。
【００５４】
この比較の結果、アドバイス作成部６４は、音声解析部６２と映像解析部６３から受け取った差分データに最も近似する（差異の少ない）差分モデルデータを特定する。アドバイス作成部６４は、特定した差分モデルデータと対応づけて記憶されている指導文データ及び映像資料参照データを読み取る。アドバイス作成部６４は、映像資料参照データに示される参照先、すなわちモデル映像ＤＢ７２から映像データを読み出し、指導文データと組み合わせてアドバイスを構成する。
また、アドバイス作成部６４は、音声用及び映像用の差分データが所定の適正範囲内である場合には、例えば「パーフェクト！！」などといったメッセージを、アドバイスとして作成する。
【００５５】
アドバイス作成部６４によって作成されたアドバイスは、アドバイス提供部６５に送られる。
アドバイス提供部６５は、アドバイス作成部６４により作成されたアドバイスを、通信インタフェース４３によりネットワーク２０を介してユーザ端末１０へ送る（ステップＳ７）。
【００５６】
指導文データと模範的な発話動作を示す映像データとからなるアドバイスを受け取ったユーザ端末１０において、制御部１２がユーザインタフェース１１を制御することにより、受講者を指導するためのアドバイスを出力させる。
例えば、制御部１２は、ディスプレイ装置１１ｃを制御することにより、指導文データで示される指導文を図６に示す画面の表示領域Ｄｅに表示させる。さらに、制御部１２は、ディスプレイ装置１１ｃを制御することにより、アドバイスに含まれる映像データで示される模範的な発話動作の映像を、表示領域Ｄａや表示領域Ｄｂなどに表示させてもよい。
また、制御部１２は、スピーカ１１ｆを制御することにより、指導文データで示される指導文を、音声として出力させてもよい。
【００５７】
この後、処理は上記ステップＳ１へリターンする。
すなわち、カリキュラム設定部６０は、上記ステップＳ７にてアドバイス提供部６５がユーザ端末１０へ送ったアドバイスの種類に基づいて、受講者の語学能力を判定し、受講者の語学能力にあわせた学習内容を設定する。
【００５８】
また、ユーザ端末１０にて、受講者がキーボード１１ｄやマウス１１ｅを操作することにより、語学学習を終了する旨の指令が入力されると、学習終了の要求がユーザ端末１０からサービスプロバイダ３０へ送られて、図６のフローチャートに示す処理が終了される。
こうして、受講者が希望する時間にユーザ端末１０を操作してサービスプロバイダ３０へアクセスすることで、指導者がいなくても対話性のある語学教育を受けることができる。
【００５９】
以上説明したように、この発明によれば、受講者の語学能力に応じた学習内容が設定され、模範的な発声や、模範的な発話動作をユーザ端末１０にて出力させることができる。さらに、受講者の発話動作と模範的な発話動作との差異に応じて、受講者を指導するための適切なアドバイスを、ユーザ端末１０にて出力させることができる。
これにより、効率よく受講者に語学教育を施すことができる。
【００６０】
この発明は、上記実施の形態に限定されず、様々な変形及び応用が可能である。
上記実施の形態では、ネットワーク２０を介してユーザ端末１０とサービスプロバイダ３０とが互いに接続されたオンライン教育システムについて説明した。しかしながら、この発明はこれに限定されるものではなく、例えば１台（スタンドアローン）のコンピュータシステムが、上述したユーザ端末１０とサーバ４０及びＤＢ５０の機能を備えるようにしてもよい。すなわち、１台のコンピュータシステムに設けられたＣＰＵが、所定の記憶装置に記憶されている動作プログラムを実行することにより、上述したユーザ端末１０の制御部１２及びサーバ４０の制御部４１と同様に動作するようにしてもよい。
【００６１】
また、上記実施の形態では、音声解析部６２が作成した音声用の差分データと、映像解析部６３が作成した映像用の差分データの両方を用いて、アドバイス作成部６４がアドバイスを作成するものとして説明した。しかしながら、この発明はこれに限定されず、音声用の差分データと映像用の差分データのいずれか一方のみを用いて、アドバイスを作成するようにしてもよい。すなわち、アドバイス作成部６４は、音声解析部６２から受け取った音声用の差分データと指導情報ＤＢ７３に格納された差分モデルデータとの比較結果、あるいは、映像解析部６３から受け取った映像用の差分データと指導情報ＤＢに格納された差分モデルデータとの比較結果のいずれか一方のみに従って、指導文データ及び映像資料参照データを読み取るようにしてもよい。
【００６２】
コンピュータ又はコンピュータ群を、上述のオンライン教育システムとして機能させ、あるいは、上述の処理を実行させるために必要な動作プログラムの全部又は一部を、記録媒体（ＩＣメモリ、光ディスク、磁気ディスク、光磁気ディスク）等に記録して、配布・流通させてもよい。また、インターネット上のＦＴＰ（File Transfer Protocol）サーバに上述の動作プログラムを格納しておき、例えば搬送波などに重畳して、コンピュータシステムにダウンロードしてインストール等するようにしてもよい。
【００６３】
【発明の効果】
このように、この発明によれば、効率よく受講者に語学教育を施すことができる。
【図面の簡単な説明】
【図１】この発明の実施の形態に係るオンライン教育システムの構成を示す図である。
【図２】ユーザ端末の構成を示す図である。
【図３】サービスプロバイダの構成を示す図である。
【図４】教材ＤＢに格納されるデータの一構成例を示す図である。
【図５】指導情報ＤＢに格納されるデータの一構成例を示す図である。
【図６】ディスプレイ装置に表示される画面の一例を示す図である。
【図７】サーバが実行する処理を説明するためのフローチャートである。
【符号の説明】
１０ ユーザ端末
２０ ネットワーク
３０ サービスプロバイダ
４０ サーバ
５０ データベース（ＤＢ）
６０ カリキュラム設定部
６１ 教材提供部
６２ 音声解析部
６３ 映像解析部
６４ アドバイス作成部
６５ アドバイス提供部
６６ 音声認識部
７０ 教材ＤＢ
７１ モデル音声ＤＢ
７２ モデル映像ＤＢ
７３ 指導情報ＤＢ
Claims (6)
- ネットワークを介して互いに接続された端末装置とサーバ装置とを備えるオンライン教育システムであって、
模範的な発声を示す音声データを格納するモデル音声データベースと、
模範的な発話動作を撮影した映像データを格納するモデル映像データベースと、
複数種類の指導情報を格納する指導情報データベースと、
前記端末装置が生成した受講者の発声を示す音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を示す解析結果を生成する音声解析手段と、
受講者の発話動作を撮影することにより前記端末装置が生成した映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を示す解析結果を生成する映像解析手段と、
前記端末装置が生成した受講者の発声を示す音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を前記端末装置にて表示させる音声認識手段と、
前記指導情報データベースから前記音声解析手段及び前記映像解析手段の解析結果に対応する指導情報を読み出して、受講者の発話動作に関するアドバイスを作成するアドバイス作成手段と、
前記アドバイス作成手段により作成されたアドバイスを、前記端末装置にて前記音声認識手段により表示させる文章と同一画面内に表示させて出力させるアドバイス提供手段とを備える
ことを特徴とするオンライン教育システム。 - 受講者の発声を取り込む音声入力手段と、
受講者の発話動作を撮影する撮像手段と、
音声出力手段と、
表示手段と、
模範的な発声を示す音声データを格納するモデル音声データベースと、
模範的な発話動作を撮影した映像データを格納するモデル映像データベースと、
複数種類の指導情報を格納する指導情報データベースと、
前記モデル音声データベースに格納されている音声データを読み出して、前記音声出力手段から模範的な発声を出力させるモデル提供手段と、
前記音声入力手段により取り込まれた受講者の発声を示す音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を前記表示手段に表示させる音声認識手段と、
前記音声入力手段により作成された受講者の発声を示す音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を示す解析結果を生成する音声解析手段と、
前記撮像手段の撮影により作成された映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を示す解析結果を生成する映像解析手段と、
前記指導情報データベースから前記音声解析手段及び前記映像解析手段の解析結果に対応する指導情報を読み出して、受講者の発話動作に関するアドバイスを作成するアドバイス作成手段と、
前記アドバイス作成手段により作成されたアドバイスを、前記音声出力手段から出力させるとともに、前記表示手段にて前記音声認識手段により表示させる文章と同一画面内に表示させて出力させるアドバイス提供手段とを備える
ことを特徴とする情報処理装置。 - 前記モデル提供手段は、前記モデル映像データベースに格納されている映像データを読み出し、模範的な発話動作の画像を、前記表示手段にて前記音声認識手段により表示させる文章及び前記アドバイス提供手段により表示させるアドバイスと同一画面内に表示させる手段を備え、
前記表示手段は、前記撮像手段が撮影した受講者による発話動作の画像を、前記模範的な発話動作の画像、前記音声認識手段により表示させる文章、前記アドバイス提供手段により表示させるアドバイスと、同一画面内に表示する
ことを特徴とする請求項２に記載の情報処理装置。 - ネットワークを介して端末装置に接続された情報処理装置であって、
模範的な音声を示す音声データを格納するモデル音声データベースと、
模範的な発声動作を撮影した映像データを格納するモデル映像データベースと、
複数種類の指導情報を格納する指導情報データベースと、
前記モデル音声データベースに格納されている音声データを読み出して前記端末装置へ送ることにより、前記端末装置にて模範的な発声を出力させるモデル提供手段と、
前記端末装置から送られた音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を前記端末装置に表示させる音声認識手段と、
前記端末装置から送られた音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を示す解析結果を生成する音声解析手段と、
前記端末装置から送られた映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を示す解析結果を生成する映像解析手段と、
前記指導情報データベースから前記音声解析手段及び前記映像解析手段の解析結果に対応する指導情報を読み出して、受講者の発話動作に関するアドバイスを作成するアドバイス作成手段と、
前記アドバイス作成手段により作成されたアドバイスを前記端末装置へ送ることにより、前記端末装置にて受講者を指導するためのアドバイスを、前記音声認識手段により表示させる文章と同一画面内に表示させて出力させるアドバイス提供手段とを備える
ことを特徴とする情報処理装置。 - モデル音声データベースと、モデル映像データベースと、指導情報データベースとを備えるコンピュータシステムが、
模範的な発声を示す音声データを前記モデル音声データベースに格納し、
模範的な発話動作を撮影した映像データを前記モデル映像データベースに格納し、
複数種類の指導情報を前記指導情報データベースに格納し、
前記モデル音声データベースに格納されている音声データを読み出して、模範的な発声を出力し、
受講者の発声を示す音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を表示し、
受講者の発声を示す音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を解析結果とし、
受講者の発話動作を撮影することにより作成された映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を解析結果とし、
音声データ及び映像データに基づく解析結果に対応する指導情報を前記指導情報データベースから読み出して、受講者の発話動作に関するアドバイスを作成し、
作成されたアドバイスを、音声にて出力するとともに、受講者の発声に対応する文章と同一画面内に表示させて出力する
ことを特徴とする情報提供方法。 - コンピュータを、
受講者の発声を取り込む音声入力手段と、
受講者の発話動作を撮影する撮像手段と、
音声出力手段と、
表示手段と、
模範的な発声を示す音声データを格納するモデル音声データベースと、
模範的な発話動作を撮影した映像データを格納するモデル映像データベースと、
複数種類の指導情報を格納する指導情報データベースと、
前記モデル音声データベースに格納されている音声データを読み出して、前記音声出力手段から模範的な発声を出力させるモデル提供手段と、
前記音声入力手段により取り込まれた受講者の発声を示す音声データの特徴量に基づいて所定の単語辞書を参照し、受講者の発声に近い単語を抽出して組み合わせることにより、受講者の発声に対応する文章を前記表示手段に表示させる音声認識手段と、
前記音声入力手段により作成された受講者の発声を示す音声データのデジタル信号解析により、音声信号の周波数、振幅、ピッチからなる音響物理情報に対応する受講者が発した音声のイントネーション、ストレス、アクセント、スピードからなる音声特徴を抽出し、前記モデル音声データベースに格納されている音声データより抽出した音声特徴と比較して、その差分を示す解析結果を生成する音声解析手段と、
前記撮像手段の撮影により作成された映像データにおける色出現確率分布及び／又は色共起頻度分布を用いて、あるいは、前後フレーム間におけるブロックマッチング法を用いて、受講者の発話動作における唇の動き特徴量を抽出し、前記モデル映像データベースに格納されている映像データより抽出した特徴量と比較して、その差分を示す解析結果を生成する映像解析手段と、
前記指導情報データベースから前記音声解析手段及び前記映像解析手段の解析結果に対応する指導情報を読み出して、受講者の発話動作に関するアドバイスを作成するアドバイス作成手段と、
前記アドバイス作成手段により作成されたアドバイスを、前記音声出力手段により出力させるとともに、前記表示手段にて前記音声認識手段により表示させる文章と同一画面内に表示させて出力させるアドバイス提供手段
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002260132A JP3930402B2 (ja) | 2002-09-05 | 2002-09-05 | オンライン教育システム、情報処理装置、情報提供方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002260132A JP3930402B2 (ja) | 2002-09-05 | 2002-09-05 | オンライン教育システム、情報処理装置、情報提供方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004101637A JP2004101637A (ja) | 2004-04-02 |
| JP3930402B2 true JP3930402B2 (ja) | 2007-06-13 |
Family
ID=32260935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002260132A Expired - Fee Related JP3930402B2 (ja) | 2002-09-05 | 2002-09-05 | オンライン教育システム、情報処理装置、情報提供方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3930402B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022158099A1 (ja) * | 2021-01-21 | 2022-07-28 | ソニーグループ株式会社 | 情報処理方法、情報処理システム、情報端末、並びにコンピュータプログラム |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8086462B1 (en) * | 2004-09-09 | 2011-12-27 | At&T Intellectual Property Ii, L.P. | Automatic detection, summarization and reporting of business intelligence highlights from automated dialog systems |
| JP2008257381A (ja) * | 2007-04-03 | 2008-10-23 | Sony Corp | 情報解析システム、情報解析装置、情報解析方法および情報解析プログラム、ならびに、記録媒体 |
| CN107210001B (zh) * | 2015-01-13 | 2020-03-24 | 科力普莱恩株式会社 | 使用视频片段的自主学习系统 |
| JP7069855B2 (ja) * | 2018-03-07 | 2022-05-18 | 株式会社アイシン | 車両用ドア開閉装置 |
| CN110890095A (zh) * | 2019-12-26 | 2020-03-17 | 北京大米未来科技有限公司 | 语音检测方法、推荐方法、装置、存储介质和电子设备 |
| CN113012503A (zh) * | 2021-03-15 | 2021-06-22 | 黄留锁 | 基于多参数采集的教学系统 |
-
2002
- 2002-09-05 JP JP2002260132A patent/JP3930402B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022158099A1 (ja) * | 2021-01-21 | 2022-07-28 | ソニーグループ株式会社 | 情報処理方法、情報処理システム、情報端末、並びにコンピュータプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004101637A (ja) | 2004-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6377925B1 (en) | Electronic translator for assisting communications | |
| US20200286396A1 (en) | Following teaching system having voice evaluation function | |
| US9478143B1 (en) | Providing assistance to read electronic books | |
| US7160112B2 (en) | System and method for language education using meaning unit and relational question | |
| CN107992195A (zh) | 一种教学内容的处理方法、装置、服务器及存储介质 | |
| CN111711834B (zh) | 录播互动课的生成方法、装置、存储介质以及终端 | |
| JP3930402B2 (ja) | オンライン教育システム、情報処理装置、情報提供方法及びプログラム | |
| KR102534275B1 (ko) | 어학 학습 단말, 이를 포함하는 어학 학습 시스템 및 방법 | |
| JP4651981B2 (ja) | 教育情報管理サーバ | |
| JP2003228279A (ja) | 音声認識を用いた語学学習装置、語学学習方法及びその格納媒体 | |
| JP6656529B2 (ja) | 外国語の会話訓練システム | |
| KR20140087956A (ko) | 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법 | |
| CN115171673A (zh) | 一种基于角色画像的交流辅助方法、装置及存储介质 | |
| CN111160051B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| Mehta et al. | Automatic translate real-time voice to sign language conversion for deaf and dumb people | |
| KR20140075994A (ko) | 의미단위 및 원어민의 발음 데이터를 이용한 언어교육 학습장치 및 방법 | |
| KR20220136844A (ko) | 녹음 또는 녹화를 위한 고객의 사전 동의를 취득하는 방법 및 그 장치 | |
| KR20220136846A (ko) | 고객 또는 영업 직원의 음성과 얼굴 이미지를 분석하여 피드백을 주는 방법 및 그 장치 | |
| KR102658252B1 (ko) | 캐릭터를 활용한 인공지능 자연어 처리 기반의 화상교육 콘텐츠 제공 방법 및 장치 | |
| KR20140073768A (ko) | 의미단위 및 원어민의 발음 데이터를 이용한 언어교육 학습장치 및 방법 | |
| KR102528293B1 (ko) | 인공지능 기술을 활용한 교수-학습지원 통합 시스템 및 외국어 학습과제 처리 방법 | |
| KR102260280B1 (ko) | 외국어-수화 동시 학습방법 | |
| Mehta et al. | Evolution in Automated Translator for Real Time Voice to Sign Language Transformation for the Deaf and Dumb People | |
| US20230274732A1 (en) | Applications and services for enhanced prosody instruction | |
| KR20140087953A (ko) | 의미단위 및 원어민의 발음 데이터를 이용한 언어교육 학습장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070308 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140316 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |