JP3651067B2

JP3651067B2 - 言語学習装置およびその処理方法

Info

Publication number: JP3651067B2
Application number: JP19211795A
Authority: JP
Inventors: 邦夫徳田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-07-27
Filing date: 1995-07-27
Publication date: 2005-05-25
Anticipated expiration: 2015-07-27
Also published as: JPH0944070A

Description

【０００１】
【産業上の利用分野】
本発明は、言語教材として用いる音声・映像信号、および、音声・映像信号の会話の内容を示すキャプション信号を表示し、これらの音声・映像を見聞きしながら言語学習を行う信号記録・再生装置に関する。
【０００２】
【従来の技術】
垂直帰線期間
映像を見ながら語学学習を行うことができる語学学習システムが従来から用いられている。
また、アメリカ合衆国等においては、難視聴対策等のために、テレビジョン放送の番組に会話の内容等を文字表示するクローズドキャプション信号を、音声・映像信号の所定の位置に重畳することが義務づけられており、このクローズドキャプション信号を重畳したビデオソフトが既に数千タイトル存在する。
因みに、このクローズドキャプション信号は、アルファベットおよび数字を示す１バイトデータであり、垂直帰線期間の音声・映像信号に重畳される。
【０００３】
【発明が解決しようとする課題】
上述した従来の映像を用いた語学学習システムは、光ディスク装置とパーソナルコンピュータ等を連動させただけのものであり、教材用の音声・映像とクローズドキャプション信号とを連動させる機能を実現したものはない。つまり、従来の映像を用いた語学学習システムは、単に教材用の音声・映像を全編を通して画面に表示し、クローズドキャプション信号の文字を画面に表示させるか否かを生徒が選択しうる機能を実現したものに過ぎない。
従って、生徒は単に受動的に自分で発音をしながら、自らの発音と教材とを比較視聴する以上の学習を行うことができなかった。
【０００４】
また、生徒が発音した音声、教材用の音声・映像と、クローズドキャプション信号とを関連付けて用い、生徒の発音と教材用の音声とを差し替えて出力し、生徒がこれらを比較しながら教材を比較視聴することができる機能、あるいは、映像に登場する任意の人物の会話の任意の部分を教材として利用することができる機能を実現した映像を用いた語学学習システムは、未だに存在しない。
【０００５】
本発明は、上述した従来技術の問題点に鑑みてなされたものであり、教材用の音声・映像とクローズドキャプション信号とを連動させ、生徒の発音と教材用の音声とを差し替えて出力し、生徒がこれらを比較しながら教材を比較視聴することができる信号記録・再生装置および信号記録・再生方法を提供することを目的とする。
また、本発明は、クローズドキャプション信号が重畳された映像に登場する任意の人物の会話の任意の部分を教材として利用することができる信号記録・再生装置および信号記録・再生方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る言語学習装置は、映像を表示する表示手段と、音声・映像信号を再生する音声・映像再生手段と、前記音声・映像再生手段において再生された音声・映像信号に含まれる所定の言語の会話の内容を示す文字信号を検出し、前記文字信号が再生されたタイミングを示す制御信号を出力するとともに、当該再生された音声・映像信号のうちの映像信号と当該文字信号とを上記表示手段に表示させる文字発生手段と、入力される音声信号を記録し、当該記録した音声信号を再生する音声記録・再生手段と、前記音声・映像再生手段において再生された音声・映像信号のうちの前記所定の言語の会話の音声信号と前記音声記録・再生手段において再生された音声信号とを出力可能な音声出力手段と、前記音声・映像信号および前記文字信号の任意の部分を再生するように、外部からの操作に応じて前記音声・映像再生手段を制御する第１の処理、前記第１の処理に従って再生された映像信号および文字信号の両方または映像信号のみを前記表示手段に表示させるように、外部からの操作に応じて前記文字発生手段を制御する第２の処理、入力される音声信号を前記再生された文字信号に対応付けて記録するように前記音声記録・再生手段を制御する第３の処理、前記第３の処理で記録された音声信号を、当該音声信号に対応付けられた前記文字信号の再生のタイミングに合わせて再生するように前記音声記録・再生手段を制御する第４の処理、ならびに、前記第４の処理において再生される音声信号および前記音声・映像再生手段において再生される音声信号の一方または両方を出力するように、外部からの操作に応じて前記音声出力手段を制御する第５の処理を実行する制御手段とを有する。
【０００７】
また、本発明に係る言語学習装置の処理方法は、映像を表示する表示手段と、音声・映像信号を再生する音声・映像再生手段と、前記音声・映像再生手段において再生された音声・映像信号に含まれる所定の言語の会話の内容を示す文字信号を検出し、前記文字信号が再生されたタイミングを示す制御信号を出力するとともに、当該再生された音声・映像信号のうちの映像信号と当該文字信号とを上記表示手段に表示させる文字発生手段と、入力される音声信号を記録し、当該記録した音声信号を再生する音声記録・再生手段と、前記音声・映像再生手段において再生された音声・映像信号のうちの前記所定の言語の会話の音声信号と前記音声記録・再生手段において再生された音声信号とを出力可能な音声出力手段と、前記音声・映像再生手段、前記文字発生手段、前記音声記録・再生手段および前記音声出力手段を制御する制御手段とを有する言語学習装置の処理方法であって、前記制御手段が、前記音声・映像信号および前記文字信号の任意の部分を再生するように、外部からの操作に応じて前記音声・映像再生手段を制御する第１のステップと、前記第１のステップで再生された映像信号および文字信号の両方または映像信号のみを前記表示手段に表示させるように、外部からの操作に応じて前記文字発生手段を制御する第２のステップと、入力される音声信号を前記再生された文字信号に対応付けて記録するように前記音声記録・再生手段を制御する第３のステップと、前記第３のステップで記録された音声信号を、当該音声信号に対応付けられた前記文字信号の再生のタイミングに合わせて再生するように前記音声記録・再生手段を制御する第４のステップと、前記第４のステップで再生される音声信号および前記音声・映像再生手段において再生される音声信号の一方または両方を出力するように、外部からの操作に応じて前記音声出力手段を制御する第５のステップとを有する処理を実行する。
【０００８】
【作用】
本発明に係る信号記録・再生装置において、音声・映像再生手段は、語学学習を行う生徒の操作に従って、教材用の音声・映像信号の任意の部分を再生する。文字発生手段は、この再生された音声・映像信号に重畳され、音声・映像信号の会話の内容を文字として示すクローズドキャプション信号を検出する。
表示手段は、再生された音声・映像信号を表示するとともに、生徒の操作に従って、クローズドキャプション信号の文字を画面にスーパーインポーズして表示する。
【０００９】
音声記録・再生手段は、生徒が画面に表示された教材用の映像を見ながら、あるいは、出力された教材の会話を聞きながら、会話を真似てした発音を録音する。さらに、音声記録・再生手段は、生徒の操作に従って、録音した生徒の発音を、対応するクローズドキャプション信号が再生されるタイミングに合わせて再生する。
音声出力手段は、教材用の会話と生徒の発音を平行して出力し、あるいは、生徒の発音と教材の対応する会話とを差し替えて出力し、生徒にこれらの比較をさせ、あるいは、教材用の音声・映像の中の人物とロールプレーイングさせる等の形式で学習を行わせる。
【００１０】
【実施例】
以下、本発明の実施例を説明する。
図１は、本発明に係る語学学習システム１の構成を示す図である。
図２は、図１に示した語学学習システム１の実装状態を例示する図である。
図３は、図１に示した語学学習システム１のモニタ装置１８の画面の表示内容を例示する図である。
【００１１】
図１および図２に示すように、語学学習システム１は、制御装置１０、操作スイッチ１２、音声切替装置１４、文字発生装置１６、モニタ装置１８、音声・映像再生装置２０、録音・再生装置２２、マイクロフォン付きヘッドフォン（ヘッドセット）２４および音声アンプ２６から構成されている。
【００１２】
語学学習システム１は、図２に示すように、例えば机の中に組み込まれ、生徒１人がそれぞれ１台の語学学習システム１を専有して学習を行う、いわゆるスタンドアローンシステムの形式で用いられる。
語学学習システム１は、生徒が操作スイッチ１２用いて入力する操作データに従って、所定の言語、例えば英語を学習するためのクローズドキャプション信号を含む音声および映像を用いた教材を表示し、生徒がこの教材を見ながら発音した音声を、教材用の音声とともに、あるいは、教材用の音声と差し替えて生徒に対して出力する。
【００１３】
制御装置１０は、生徒の手元に置かれた操作スイッチ１２から生徒が入力する操作データに基づいて、音声切替装置１４、文字発生装置１６、音声・映像再生装置２０および録音・再生装置２２を制御する。
音声・映像再生装置２０は、例えば光磁気ディスク装置、あるいは、光ディスク装置等のランダムアクセス可能で、早送り、巻き戻しおよび停止等の動作を迅速で制約がない形式で実行することができる装置であって、生徒が任意に指定した部分のクローズドキャプション信号が重畳された教材用の音声・映像信号を再生し、文字発生装置１６に対して出力し、音声信号のみを音声切替装置１４に対して出力する。
【００１４】
音声切替装置１４は、制御装置１０の制御に従って、音声・映像再生装置２０および録音・再生装置２２からそれぞれ入力される教材の会話音声および生徒が入力した音声（発音）を、例えばヘッドセット２４のヘッドホンの右側と左側に別々に出力し、あるいは、クローズドキャプション信号が示すタイミングで教材の音声を生徒の発音に置き換え、あたかも映像の登場人物の代わりに生徒が会話しているかのように聞こえるようにしてヘッドセット２４のヘッドフォンに出力する。
【００１５】
文字発生装置１６は、音声・映像再生装置２０が生成した教材用の音声・映像信号に重畳されたクローズドキャプション信号を検出し、クローズドキャプション信号が再生されたタイミングを示す制御信号を制御装置１０に対して出力するとともに、制御装置１０の制御に従って、教材用の映像にクローズドキャプション信号の文字をスーパーインポーズし、あるいは、スーパーインポーズせずにモニタ装置１８に表示させる。
【００１６】
文字発生装置１６は、例えば図３に示すように、教材用の映像の下のウィンドウにクローズドキャプション信号の文字を表示する。なお、クローズドキャプション信号の文字は、教材用の映像の登場人物１，２の会話の内容を示す。
【００１７】
録音・再生装置２２は、例えば光磁気ディスク装置、磁気ディスク装置あるいは半導体音声記録・再生装置等のランダムアクセス可能で、早送り、巻き戻しおよび停止等の動作を迅速で制約がない形式で実行することができる装置であって、制御装置１０の制御に従って、ヘッドセット２４から入力され、音声アンプ２６で増幅された生徒の発音の音声信号を、例えば記録時間（タイムスタンプ）等の情報を用いてクローズドキャプション信号と対応付けて記録する。
また、録音・再生装置２２は、制御装置１０の制御に従って、記録した音声信号を、教材用の音声・映像信号のクローズドキャプション信号に対応するタイミングで再生し、音声切替装置１４に対して出力する。
【００１８】
以下、さらに図４を参照して語学学習システム１の動作を説明する。
図４は、図１に示した語学学習システム１の動作を例示する図であって、（Ａ）は音声・映像再生装置２０が再生する教材用の音声・映像信号の画面の区間を示し，（Ｂ）は音声・映像再生装置２０が再生した教材の会話音声を示し、（Ｃ）は生徒が入力した発音を示し、（Ｄ）は図３に示した人物１，２それぞれの会話音声に対応するクローズドキャプション信号を示す。
【００１９】
語学学習システム１を利用する生徒は、音声・映像再生装置２０に所望の部分の教材用の音声・映像信号を再生させる旨の操作データを操作スイッチ１２からに入力する。この操作データに基づいて制御装置１０は音声・映像再生装置２０を制御し、図４（Ａ）に示すように、生徒が所望した教材用の音声・映像信号の画面の区間を再生させる。
【００２０】
生徒がクローズドキャプション信号をモニタ装置１８に表示させる旨の設定を操作スイッチ１２を用いて行った場合、制御装置１０は文字発生装置１６を制御して、例えば図３に示したようにクローズドキャプション信号をモニタ装置１８の画面の下部に表示する。
【００２１】
生徒は、モニタ装置１８に表示された映像およびクローズドキャプション信号（図４（Ｄ））の文字を見ながら、ヘッドセット２４のヘッドフォンから聞こえる人物２（図３）の会話音声（図４（Ｂ））を真似て発音する。生徒の発音はヘッドセット２４のマイクロフォンに入力され、音声アンプ２６により増幅されて録音・再生装置２２によりクローズドキャプション信号に対応付けられて記憶される。
【００２２】
次に、生徒は、操作スイッチ１２を用いて音声・映像再生装置２０を操作し、教材用の音声・映像信号の所望の部分と、録音・再生装置２２に記録された自分の発音とを再生させる。
音声切替装置１４は、生徒の操作スイッチ１２を用いた操作に従って、生徒の発音と教材の会話音声とを聞き比べられるように（図４（Ｂ），（Ｃ））、あるいは、クローズドキャプション信号の人物２の会話の部分に生徒の発音音声を差し替えてヘッドセット２４のヘッドフォンに対して出力する。
生徒は、モニタ装置１８の画面を見つつヘッドセット２４からの音声を聞き、発音の矯正をしながら英語の学習を進める。
【００２３】
語学学習システム１によれば、クローズドキャプション信号が重畳されていれば、語学教材に相応しい映像素材を随時、追記型の光ディスク等に記録して著作者の了解を得ることにより、語学教材に転用して用いることができる。
また、教材の音声と生徒の発音とを差し替えることができるので、生徒は、あたかも自分が映像中の登場人物になったかのように発音を行うことができ、いわゆるロールプレーイング形式の学習が可能になる。
【００２４】
また、生徒の学習が進んだ場合、生徒は操作スイッチ１２を用いて文字発生装置１６がモニタ装置１８にクローズドキャプション信号を表示しないように操作し、クローズドキャプション信号を参照せずに発音し、この発音を後で教材の会話音声と比較してより進んだ語学学習を行うことも可能である。
【００２５】
なお、図１に示した語学学習システム１の構成は例示であり、語学学習システム１の各構成部分は、例えば音声・映像再生装置２０をＶＯＤ(Video On Demand) サーバに置換する等、同等の機能を有する装置に変更することができる。
また、語学学習システム１に、教材用の他の登場人物の会話音声と生徒の発音音声とを差し替える等の動作をさせることも可能である。
【００２６】
また、語学学習システム１による学習の対象となる言語が、英語に限らないことはいうまでもない。
また、語学学習システム１は、語学学習の他、教材を変更することにより、シュミレーション等の形式による各種訓練に用いることができる。
【００２７】
【発明の効果】
以上述べたように、本発明に係る信号記録・再生装置および信号記録・再生方法によれば、教材用の音声・映像とクローズドキャプション信号とを連動させ、生徒の発音と教材用の音声とを差し替えて出力し、生徒がこれらを比較しながら教材を比較視聴することができる。
また、本発明に係る信号記録・再生装置および信号記録・再生方法によれば、クローズドキャプション信号が重畳された映像に登場する任意の人物の会話の任意の部分を教材として利用することができる。
【図面の簡単な説明】
【図１】本発明に係る語学学習システムの構成を示す図である。
【図２】図１に示した語学学習システムの実装状態を例示する図である。
【図３】図１に示した語学学習システムのモニタ装置の画面の表示内容を例示する図である。
【図４】図１に示した語学学習システムの動作を例示する図であって、（Ａ）は音声・映像再生装置が再生する教材用の音声・映像信号の画面の区間を示し，（Ｂ）は音声・映像再生装置が再生した教材の会話音声を示し、（Ｃ）は生徒が入力した発音を示し、（Ｄ）は図３に示した人物１，２それぞれの会話音声に対応するクローズドキャプション信号を示す。
【符号の説明】
１…語学学習システム、１０…制御装置、１２…操作スイッチ、１４…音声切替装置、１６…文字発生装置、１８…モニタ装置、２０…音声・映像再生装置、２２…録音・再生装置、２４…ヘッドセット、２６…音声アンプ

Claims

映像を表示する表示手段と、
音声・映像信号を再生する音声・映像再生手段と、
前記音声・映像再生手段において再生された音声・映像信号に含まれる所定の言語の会話の内容を示す文字信号を検出し、前記文字信号が再生されたタイミングを示す制御信号を出力するとともに、当該再生された音声・映像信号のうちの映像信号と当該文字信号とを上記表示手段に表示させる文字発生手段と、
入力される音声信号を記録し、当該記録した音声信号を再生する音声記録・再生手段と、
前記音声・映像再生手段において再生された音声・映像信号のうちの前記所定の言語の会話の音声信号と前記音声記録・再生手段において再生された音声信号とを出力可能な音声出力手段と、
前記音声・映像信号および前記文字信号の任意の部分を再生するように、外部からの操作に応じて前記音声・映像再生手段を制御する第１の処理、前記第１の処理に従って再生された映像信号および文字信号の両方または映像信号のみを前記表示手段に表示させるように、外部からの操作に応じて前記文字発生手段を制御する第２の処理、入力される音声信号を前記再生された文字信号に対応付けて記録するように前記音声記録・再生手段を制御する第３の処理、前記第３の処理で記録された音声信号を、当該音声信号に対応付けられた前記文字信号の再生のタイミングに合わせて再生するように前記音声記録・再生手段を制御する第４の処理、ならびに、前記第４の処理において再生される音声信号および前記音声・映像再生手段において再生される音声信号の一方または両方を出力するように、外部からの操作に応じて前記音声出力手段を制御する第５の処理を実行する制御手段と、
を有する言語学習装置。
映像を表示する表示手段と、
音声・映像信号を再生する音声・映像再生手段と、
前記音声・映像再生手段において再生された音声・映像信号に含まれる所定の言語の会話の内容を示す文字信号を検出し、前記文字信号が再生されたタイミングを示す制御信号を出力するとともに、当該再生された音声・映像信号のうちの映像信号と当該文字信号とを上記表示手段に表示させる文字発生手段と、
入力される音声信号を記録し、当該記録した音声信号を再生する音声記録・再生手段と、
前記音声・映像再生手段において再生された音声・映像信号のうちの前記所定の言語の会話の音声信号と前記音声記録・再生手段において再生された音声信号とを出力可能な音声出力手段と、
前記音声・映像再生手段、前記文字発生手段、前記音声記録・再生手段および前記音声出力手段を制御する制御手段と、
を有する言語学習装置の処理方法であって、
前記制御手段が、
前記音声・映像信号および前記文字信号の任意の部分を再生するように、外部からの操作に応じて前記音声・映像再生手段を制御する第１のステップと、
前記第１のステップで再生された映像信号および文字信号の両方または映像信号のみを前記表示手段に表示させるように、外部からの操作に応じて前記文字発生手段を制御する第２のステップと、
入力される音声信号を前記再生された文字信号に対応付けて記録するように前記音声記録・再生手段を制御する第３のステップと、
前記第３のステップで記録された音声信号を、当該音声信号に対応付けられた前記文字信号の再生のタイミングに合わせて再生するように前記音声記録・再生手段を制御する第４のステップと、
前記第４のステップで再生される音声信号および前記音声・映像再生手段において再生される音声信号の一方または両方を出力するように、外部からの操作に応じて前記音声出力手段を制御する第５のステップと、
を有する処理を実行する言語学習装置の処理方法。