JP7314498B2 - 学習支援装置、学習支援システム、学習支援方法及びプログラム - Google Patents

Description

本発明は、学習支援装置、学習支援システム、学習支援方法及びプログラムに関する。

近年、様々な分野において対話型ロボットの開発が進んでおり、例えば、外国語の学習に適した対話型のロボット（学習支援機器）が考えられている。

対話型の学習支援機器は、ロボット型の筐体に、人感センサ、音声入力部（マイク）、音声出力部（スピーカ）、音声認識機能、外国語会話の学習コンテンツなどを備え、例えば、人感センサにより当該機器から所定の範囲内にユーザが近付いたことを検知すると、当該機器からの問い掛けにより会話の学習を開始する学習コンテンツを選択し、選択した学習コンテンツに従い、機器側からの音声データの出力と、ユーザの発声した音声データの入力と、入力した音声データの音声認識と、音声認識の結果に応じた機器側からの音声データの選択およびその出力とを繰り返し、ユーザにおける外国語会話の学習を支援するものである。

一方、語学学習を支援する機器として、従来から電子辞書が実用されている。

特開２０１２－０８３８５６号公報

対話型の学習支援機器は、ユーザが当該機器の前に居なくても当該機器の近くに居ることで、ユーザが動きながらでもお互いの音声のやり取りによって会話の学習を進めることができる特徴がある。

一方、電子辞書は、ユーザが辞書を直接操作しながら、ユーザが調べたい単語などの説明を表示させたり、ユーザが学習したい学習コンテンツの内容を表示（外国語学習コンテンツの場合は音声入出力を含む）させたりすることで、ユーザが知りたいあるいは学習したい項目について、ユーザの操作次第でより詳細な内容まで表示させて学習できる特徴がある。

このため、対話型の学習支援機器では、聴覚に頼った学習スタイルとなり、一方、電子辞書では、主に視覚に頼った学習スタイルとなっている。

本発明の目的は、音声出力と画像表示とを適切に連携して効果的に学習することが可能になる学習支援装置、学習支援システム、学習支援方法及びプログラムを提供することにある。

本発明に係る学習支援装置は、第１センテンスとして第１音声の出力が終了した後に第２センテンスとして第２音声の出力を開始可能な学習支援装置であって、前記第１センテンスに音声透かしを重畳して出力させる出力制御手段を備え、前記出力制御手段は、前記音声透かしを、前記音声透かしを検出可能な所定の表示装置に対して前記第２センテンスに対応する学習内容であって前記所定の表示装置に予め記憶されている学習内容の表示を開始させる指示データとして、前記第１センテンスに重畳させる、ことを特徴とする。
また、本発明に係る学習支援システムは、第１センテンスとして第１音声の出力が終了した後に第２センテンスとして第２音声の出力を開始可能な音声出力装置と、前記音声出力装置から出力される音声に対応する画像を表示可能な表示装置と、を備える学習支援システムであって、前記音声出力装置は、前記第１センテンスに音声透かしを重畳して出力させる出力制御手段を備え、前記表示装置は、前記出力制御手段により出力された前記音声透かしを検出する検出手段を備え、前記出力制御手段は、前記音声透かしを、前記表示装置に対して前記第２センテンスに対応する学習内容であって前記表示装置に予め記憶されている学習内容の表示を開始させる指示データとして、前記第１センテンスに重畳させる、ことを特徴とする。
また、本発明に係る学習支援方法は、第１センテンスとして第１音声の出力が終了した後に第２センテンスとして第２音声の出力を開始可能な学習支援装置が実行する学習支援方法であって、前記第１センテンスに音声透かしを重畳して出力させる出力制御処理を含み、前記出力制御処理は、前記音声透かしを、前記音声透かしを検出可能な所定の表示装置に対して前記第２センテンスに対応する学習内容であって前記所定の表示装置に予め記憶されている学習内容の表示を開始させる指示データとして、前記第１センテンスに重畳させる、ことを特徴とする。
また、本発明に係るプログラムは、第１センテンスとして第１音声の出力が終了した後に第２センテンスとして第２音声の出力を開始可能な学習支援装置のコンピュータを、前記第１センテンスに音声透かしを重畳して出力させる出力制御手段として機能させ、前記出力制御手段は、前記音声透かしを、前記音声透かしを検出可能な所定の表示装置に対して前記第２センテンスに対応する学習内容であって前記所定の表示装置に予め記憶されている学習内容の表示を開始させる指示データとして、前記第１センテンスに重畳させる、ことを特徴とする。

本発明の実施形態に係る情報提供システム１を構成する音声出力装置（学習支援機器）１０と表示装置（電子辞書）２０を示す外観図。 情報提供システム１を構成する音声出力装置（学習支援機器）１０と表示装置（電子辞書）２０の電子回路の構成を示すブロック図。 学習支援機器１０の対話型学習コンテンツデータエリア１４ｂに記憶される単語学習コンテンツデータ（中級編）１４ｂ１の内容の一例を示す図。 学習支援機器１０の英語レッスン問い掛けデータエリア１４ｃに記憶される英語レッスン問い掛けデータの内容の一例を示す図。 学習支援機器１０によるユーザ状況管理処理を示すフローチャート。 学習支援機器１０による学習支援処理を示すフローチャート。 電子辞書２０によるユーザ状況伝達処理を示すフローチャート。 電子辞書２０による学習支援機器対応処理を示すフローチャート。 学習支援機器１０と電子辞書２０との連携による情報提供システム１の動作例（その１）を示す図。 学習支援機器１０と電子辞書２０との連携による情報提供システム１の動作例（その２）を示す図。

以下図面を参照して本発明の実施の形態について説明する。

図１は、本発明の実施形態に係る情報提供システム１を構成する音声出力装置１０と表示装置２０を示す外観図である。

図２は、情報提供システム１を構成する音声出力装置１０と表示装置２０の電子回路の構成を示すブロック図である。

本実施形態において、図１に示すように、音声出力装置１０は、以下に説明する音声入出力機能を備えた対話型ロボットである学習支援機器として構成されるか、当該学習支援機器と同様の機能を備えた電子機器として構成される。

また、表示装置２０は、以下に説明する専用の電子辞書として構成されるか、表示機能および音声入力機能を備えたＰＤＡ(personal digital assistants)、ＰＣ(personal computer)、携帯電話、電子ブック、ゲーム機などとして構成される。

以下、音声出力装置を学習支援機器１０、表示装置を電子辞書２０として説明する。

学習支援機器１０は、例えば、ユーザが片手で把持できる程度の大きさで目と口を設けたたまご型の本体ケースを備え、当該本体ケースには、音声出力部（スピーカ）１１および音声入力部（マイク）１２が設けられる。

このような音声出力部１１および音声入力部１２が設けられた学習支援機器１０は、音声入力機能および音声出力機能のほか、音声入力部１２により入力されたユーザの音声データを音声認識する音声認識機能、音声認識されたユーザの音声データに対応する対話型の学習コンテンツを選択し、選択した学習コンテンツの音声データを音声出力部１１に出力させる対話型学習支援機能などを備える。

対話型学習支援機能には、少なくとも、以下の３つの機能（１）～（３）が含まれる。
（１）電子辞書２０のユーザの使用状況に応じたユーザの学習レベルや学習コンテンツの進捗に対応するユーザ進捗情報を、当該電子辞書２０から出力される音声データに基づき取得し、取得したユーザ進捗情報をユーザ状況として管理する機能。
（２）ユーザ状況に応じた対話型の学習コンテンツを選択し、選択した対話型の学習コンテンツの問い掛けまたは応対の音声データＬｎを読み出して音声出力する機能。
（３）選択した対話型の学習コンテンツの問い掛けまたは応対の音声データＬｎに対応付けて電子辞書２０に表示させる学習コンテンツが設定されている場合に、表示対象の学習コンテンツの表示を電子辞書２０に指示するための表示指示伝達情報ＣＳｎを、問い掛けまたは応対の音声データＬｎに含ませて音声出力する機能。

なお、表示指示伝達情報ＣＳｎは、選択した学習コンテンツの音声データＬｎに対して、例えば、人には知覚できない音域で情報を埋め込む音声透かし技術によって含ませる。

電子辞書２０は、その本体ケース２１と蓋体ケース２２とがヒンジ部２３を介して展開／閉塞可能な折り畳み型ケースを備えて構成される。折り畳み型ケースを展開した本体ケース２１には、［ホーム］キー２４ａ、機能指定キー２４ｂ、文字入力キー２４ｃ、［訳／決定］キー２４ｄ、［戻る／リスト］キー２４ｅ、カーソルキー２４ｆ、［シフト］キー２４ｇなどを含むキー入力部（キーボード）２４、音声出力部（スピーカを含む）２５、および音声入力部（マイクを含む）２６が設けられる。

また、蓋体ケース２２には、タッチパネル式表示部２７が設けられる。タッチパネル式表示部２７は、ユーザがペンや指などでタッチした位置を検出するタッチ位置検出装置と表示装置が一体となった構造であり、バックライト付きのカラー液晶表示画面に透明タッチパネルを重ねて構成される。

そして、タッチパネル式表示部２７の右端には、キー入力部２４における一部のキーの押下操作や本電子辞書２０の一部の機能の指定操作を、タッチ操作により行うためのキーや機能の表記（［ホーム］［英語レッスン］［訳／決定］など）が固定印刷されたタッチキーエリア２７Ａが設けられる。

キー入力部２４の［ホーム］キー２４ａは、表示部２７にホーム画面（図示せず）を表示させるためのキーである。

キー入力部２４の機能指定キー２４ｂは、各キーに表記されている辞書コンテンツ（［大辞典］など）、辞書コンテンツのカテゴリ（［国語］［古語］［漢和］［英和］など）、学習コンテンツのカテゴリ（［学習１］［学習２］）、［コンテンツ一覧］、ツールの1つのカテゴリ［学習帳］を、それぞれ直接指定するためのキーである。

また、キー入力部２４のキーは、［シフト］キー２４ｇが操作された後に続けて操作されることで、そのキートップに枠囲み無しで記載されたキー機能ではなく、枠囲みして記載されたキーとして機能できるようになっている。例えば、［シフト］キー２４ｇの操作後に［訳／決定］キー２４ｄが操作（以下、［シフト］＋［決定］キーと記す。）されると登録対象として指定されているデータを登録する機能を起動させるための［登録］キーとなる。［シフト］＋［削除］キーは［設定］キーとなる。

このようなキー入力部２４および表示部２７を設けた電子辞書２０は、辞書機能、学習支援機能などを備える。学習支援機能としては、外国語（例えば、英語）のレッスンを、ボキャブラリ、リスニング、スピーキングの種類に分けて、初級から上級まで細分化したレッスンステップでユーザに行わせるための英語レッスン機能、ユーザの英語の学習レベルが初級／中級／上級の何れであるか判定するためのユーザレベル判定機能などのほかに、学習支援機器１０と連携して本電子辞書２０内のコンテンツを表示させる学習支援機器対応機能などを備える。

学習支援機器対応機能には、少なくとも、以下の３つの機能（１）（２）（３）が含まれる。
（１）ユーザによる英語レッスンの進捗やユーザの学習レベルに対応するユーザ進捗情報を、学習支援機器１０に対するユーザ状況の伝達情報として、所定の電子音（例えば、ビープ音）に含ませた音声データを生成し、生成した音声データを出力する機能。
（２）学習支援機器１０から出力される対話型学習コンテンツの音声データＬｎを入力する機能。
（３）入力した音声データＬｎに表示指示伝達情報ＣＳｎが含まれている場合に、当該表示指示伝達情報ＣＳｎに対応する辞書や学習のコンテンツを学習参照画面（Ｇｎ）として表示部２７に表示させる機能。

なお、ユーザ進捗情報（ユーザ状況の伝達情報）は、所定の電子音（ビープ音など）の音声データに対して、例えば、人には知覚できない音域で情報を埋め込む音声透かし技術により含ませる。

図２の（Ａ）に示すように、学習支援機器１０の電子回路は、制御部としてのＣＰＵ（プロセッサ）１３を備える。

ＣＰＵ１３は、記憶部１４に予め記憶されているプログラム、またはメモリカードなどの外部記録媒体１５から記録媒体読取部１６に読み取られて記憶部１４に記憶されたプログラムに従って回路各部の制御を実行する。

ＣＰＵ１３には、音声出力部１１、音声入力部１２、記憶部１４、および記録媒体読取部１６を接続する。

記憶部１４は、本学習支援機器１０の動作を制御するための機器制御プログラム１４ａを記憶する。

また、記憶部１４は、対話型学習コンテンツデータエリア１４ｂ、英語レッスン問い掛けデータエリア１４ｃ、およびユーザ状況データエリア１４ｄなどを有する。

対話型学習コンテンツデータエリア１４ｂは、何れも対話型でユーザの学習を進める単語学習コンテンツデータ（初級編／中級編／上級編）１４ｂ１、会話学習コンテンツデータ（初級編／中級編／上級編）１４ｂ２などを記憶し、何れの学習コンテンツデータ（初級編／中級編／上級編）１４ｂｎも、ユーザ状況データエリア１４ｄにて管理されるユーザレベル（初級／中級／上級）１４ｄ１に対応した内容が選択される。

図３は、学習支援機器１０の対話型学習コンテンツデータエリア１４ｂに記憶される単語学習コンテンツデータ（中級編）１４ｂ１の内容の一例を示す図である。

単語学習コンテンツデータ（中級編）１４ｂ１において、学習支援機器１０から順次音声出力させる音声データに対して、当該音声データを音声出力するタイミングで電子辞書２０にて表示させる学習コンテンツが設定されている場合、表示対象の学習コンテンツの表示を電子辞書２０に指示するための表示指示伝達情報（ここでは、１８番目の音声データ「前置詞aboutとaroundの…」に対して『文法書００２を再生せよ』の表示指示伝達情報）が対応付けられて記憶される。

他の対話型学習コンテンツデータ１４ｂである単語学習コンテンツデータ（初級編／上級編）１４ｂ１、会話学習コンテンツデータ（初級編／中級編／上級編）１４ｂ２などについても、図３で示した単語学習コンテンツデータ（中級編）１４ｂ１と同様に、学習支援機器１０から音声出力させる音声データに対して、当該音声データを音声出力するタイミングで電子辞書２０にて表示させる学習コンテンツが設定されている場合、表示対象の学習コンテンツの表示を電子辞書２０に指示するための表示指示伝達情報が対応付けられて記憶される。

英語レッスン問い掛けデータエリア１４ｃは、ユーザに対して、電子辞書２０が備える英語レッスン機能に応じた学習を促すための問い掛け用の音声データを記憶し、当該問い掛け用の音声データの内容は、ユーザ状況データエリア１４ｄにて管理される英語レッスン実行日１４ｄ２に応じて変更される。

図４は、学習支援機器１０の英語レッスン問い掛けデータエリア１４ｃに記憶される英語レッスン問い掛けデータの内容の一例を示す図である。

英語レッスン問い掛けデータ１４ｃとしては、電子辞書２０の英語レッスン機能によってユーザに英語レッスンの学習を行わせるための問い掛けの音声データ（ここでは「前回の学習から［Ｎ］日経っています。…続きをしませんか？」）に対して、電子辞書２０での英語レッスンコンテンツの表示の開始を指示するための表示指示伝達情報（ここでは『英語レッスンを続きから起動せよ』の表示指示伝達情報）が対応付けられて記憶される。なお、ここでの問い掛けの音声データに含まれる［Ｎ］の部分は、ユーザ状況データエリア１４ｄの英語レッスン実行日１４ｄ２からの経過日数に対応する数値の音声データに変更される。

なお、表示指示伝達情報は、電子辞書２０に記憶されている表示対象の学習コンテンツを指定するためのコード情報として記憶されていてもよいのは勿論である。

ユーザ状況データエリア１４ｄは、電子辞書２０から音声出力される所定の電子音の音声データに含まれるユーザ進捗情報（ユーザ状況の伝達情報）を解析して得られるユーザレベル（初級／中級／上級）１４ｄ１と英語レッスン実行日１４ｄ２とを記憶する。

このように構成された情報提供システム１の音声出力装置（学習支援機器）１０は、ＣＰＵ１３が、機器制御プログラム１４ａに記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べるようなユーザ状況管理機能や学習支援機能などを実現する。

図２の（Ｂ）に示すように、電子辞書１０の電子回路は、制御部としてのＣＰＵ（プロセッサ）２８を備える。

ＣＰＵ２８は、記憶部２９に予め記憶されているプログラム、またはメモリカードなどの外部記録媒体２９Ａから記録媒体読取部２９Ｂに読み取られて記憶部２９に記憶されたプログラム、または外部のパーソナルコンピュータ（図示せず）により接続した通信ネットワーク（インターネットなど）Ｎ上のＷｅｂサーバ３０（ここではプログラムサーバ）から、通信部（有線通信）２０Ｃを介してダウンロードされ記憶部２９に記憶（インストール）されたプログラムに従って回路各部の制御を実行する。

ＣＰＵ２８には、キー入力部２４、音声出力部２５、音声入力部２６、タッチパネル式表示部２７、記憶部２９、記録媒体読取部２９Ｂ、および通信部２０Ｃが接続されている。

記憶部２９は、本電子辞書２０の全体の動作を制御するための辞書制御プログラム２９ａを記憶する。

また、記憶部２９は、国語辞書データ、英和辞書データ、英英辞書データなどの各種の辞書データを記憶する辞書データベースエリア２９ｂ、各種の外国語の文法書データを記憶する文法書データエリア２９ｃ、英語のレッスンを、ボキャブラリ、リスニング、スピーキングの種類に分けてユーザに行わせるための英語レッスンコンテンツのデータを記憶する英語レッスンコンテンツデータエリア２９ｄ、ユーザの英語の学習レベルが初級／中級／上級の何れであるか判定するためのユーザレベル判定コンテンツのデータを記憶するユーザレベル判定コンテンツデータエリア２９ｅ、およびユーザレベル判定コンテンツ（２９ｅ）に従い判定されたユーザレベル（初級／中級／上級）２９ｆ１と、英語レッスンコンテンツ（２９ｄ）を起動した英語レッスンの実行日２９ｆ２とを記憶するユーザ状況データエリア２９ｆなどを有する。

このように構成された情報提供システム１の表示装置（電子辞書）２０は、ＣＰＵ２８が、辞書制御プログラム２９ａに記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べるようなユーザ状況伝達機能や学習支援機器対応機能などを実現する。

次に、このように構成された情報提供システム１の動作について説明する。

図５は、学習支援機器１０によるユーザ状況管理処理を示すフローチャートである。

図６は、学習支援機器１０による学習支援処理を示すフローチャートである。

図７は、電子辞書２０によるユーザ状況伝達処理を示すフローチャートである。

図８は、電子辞書２０による学習支援機器対応処理を示すフローチャートである。

まず、電子辞書２０において取得されるユーザ状況データ（１４ｄ）を、ユーザ状況の伝達情報として学習支援機器１０に伝達し、当該学習支援機器１０にて管理する処理について、図５および図７のフローチャートに基づき説明する。

電子辞書２０において、ユーザ所望の学習コンテンツ（例えば、英語レッスンコンテンツ（２９ｄ））が起動され（ステップＱ１のＹｅｓ）、当該英語レッスンコンテンツに応じた処理が実行され（ステップＱ２）、終了されると（ステップＱ３のＹｅｓ）、ＣＰＵ２８により、英語レッスンコンテンツの処理を終了した英語レッスンのレッスンステップとその実行日（ユーザ進捗情報）が取得される（ステップＱ４）。取得された英語レッスンのレッスンステップとその実行日は、ユーザ状況データエリア１４ｄの英語レッスン実行日１４ｄ２として記憶される。

すると、ＣＰＵ２８は、ユーザ状況データエリア１４ｄに記憶された英語レッスン実行日１４ｄ２（ユーザ進捗情報）を、ユーザ状況の伝達情報として所定の電子音声に含ませた音声データを生成し（ステップＱ５）、生成した音声データに対応する音声信号を音声出力部（スピーカ）２５により出力させる（ステップＱ６）。

また、電子辞書２０において、ユーザ所望の学習コンテンツ（例えば、ユーザレベル判定コンテンツ（２９ｅ））が起動され（ステップＱ１のＹｅｓ）、当該ユーザレベル判定コンテンツに応じたユーザレベル（初級／中級／上級）の判定処理が実行され（ステップＱ２）、終了されると（ステップＱ３のＹｅｓ）、ＣＰＵ２８により、判定処理されたユーザレベルが取得される（ステップＱ４）。取得されたユーザレベル（ユーザ進捗情報）は、ユーザ状況データエリア１４ｄのユーザレベル１４ｄ１として記憶される。

すると、ＣＰＵ２８は、ユーザ状況データエリア１４ｄに記憶されたユーザレベル１４ｄ１（ユーザ進捗情報）を、ユーザ状況の伝達情報として所定の電子音声に含ませた音声データを生成し（ステップＱ５）、生成した音声データに対応する音声信号を音声出力部（スピーカ）２５により出力させる（ステップＱ６）。

なお、電子辞書２０をユーザが使用することに応じて取得されるユーザ進捗情報は、英語レッスンの実行やユーザレベルの判定に応じた情報に限らず、例えば、辞書データ（２９ｂ）の見出し語の検索に応じた検索履歴の情報や検索した単語を単語帳として登録した単語帳の情報などを含んでもよい。

学習支援機器１０において、電源が投入されると、ＣＰＵ１３は、音声入力部（マイク）１２を起動させる（ステップＰ１）。

音声入力部１２により外部からの音声信号が入力されると、ＣＰＵ１３は、入力された音声信号に含まれる情報を解析し（ステップＰ２）、解析した情報にユーザ状況の伝達情報が含まれるか否かを判定する（ステップＰ３）。

入力された音声信号にユーザ状況の伝達情報が含まれると判定されると（ステップＰ３のＹｅｓ）、ＣＰＵ１３は、当該ユーザ状況の伝達情報であるユーザ進捗情報を、ユーザ状況データエリア１４ｄの英語レッスン実行日１４ｄ２やユーザレベル１４ｄ１として記憶または更新して記憶させる（ステップＰ４）。

これにより、学習支援機器１０のユーザ状況データエリア１４ｄには、ユーザが電子辞書２０を使用することにより得られるユーザの現在の学習の進捗情報が、随時記憶されて管理される。

次に、学習支援機器１０の対話型学習コンテンツ（１４ｂ）に従い、ユーザに対して当該学習支援機器１０との間での音声のやり取りによる対話型の学習を行わせながら、学習支援機器１０に電子辞書２０が連携してコンテンツを表示する処理について、図６および図８のフローチャートに基づき説明する。

図９は、学習支援機器１０と電子辞書２０との連携による情報提供システム１の動作例（その１）を示す図である。

まず、電子辞書２０において、例えば、表示部２７に表示させたホーム画面のアイコンを操作して、動作モードを、学習支援機器対応処理の動作モードに設定すると、ＣＰＵ２８により、音声入力部２５が起動され、外部からの音声信号の入力を待機する状態となる（ステップＴ１）。

学習支援機器１０のＣＰＵ１３は、ユーザ状況データエリア１４ｄに記憶されているユーザレベル（初級／中級／上級）１４ｄ１や英語レッスン実行日１４ｄ２などのユーザ進捗情報を読み出し（ステップＳ１）、読み出したユーザ進捗情報に応じた学習コンテンツを選択する（ステップＳ２）。

ここで、選択の対象となる学習コンテンツは、例えば、通常時は、対話型学習コンテンツデータ（１４ｂ）を対象として選択し、英語レッスン実行日１４ｄ２から本日までの経過日数が３日以上である場合、英語レッスン問い掛けデータ（１４ｃ）を対象として選択する。

英語レッスン実行日１４ｄ２から本日までの経過日数が３日未満である通常時において、ユーザ状況データエリア１４ｄから読み出されたユーザレベル１４ｄ１が“中級”である場合、ＣＰＵ１３は、対話型学習コンテンツデータエリア１４ｂの単語学習コンテンツデータ（中級編）１４ｂ１（図３参照）を選択し（ステップＳ２）、当該単語学習コンテンツデータ（中級編）１４ｂ１に従った対話型の学習支援処理を実行する（ステップＳ３～Ｓ１０）。

すなわち、ＣＰＵ１３は、単語学習コンテンツデータ（中級編）１４ｂ１（図３参照）として記憶されている最初の問い掛けの音声データを選択して音声出力部１１に出力させる（ステップＳ３～Ｓ６）。

ＣＰＵ１３は、音声入力部１２を起動させ（ステップＳ７）、ユーザからの音声データが音声入力部１２から入力された場合（ステップＳ８のＹｅｓ）、入力されたユーザの音声データを音声認識する（ステップＳ９）。

そしてＣＰＵ１３は、音声認識したユーザの音声データに応じて、単語学習コンテンツデータ（中級編）１４ｂ１（図３参照）から応対の音声データを選択して音声出力部１１に出力させる（ステップＳ１０のＮｏ，Ｓ３～Ｓ６）。

こうして、ＣＰＵ１３は、ユーザレベル１４ｄ１が“中級”であるユーザを対象に、単語学習コンテンツ（中級編）１４ｂ１（図３参照）に従った対話型の学習支援処理を進行させる。

ここで、ＣＰＵ１３において、単語学習コンテンツデータ（中級編）１４ｂ１（図３参照）のＮｏ．１８の音声データ「前置詞aboutとaroundの…」を選択した際に、当該音声データ「前置詞aboutとaroundの…」に対応付けられた表示指示伝達情報『文法書００２を再生せよ』があると判定されると（ステップＳ４のＹｅｓ）、図９の（Ａ）に示すように、当該表示指示伝達情報ＣＳ１『文法書００２を再生せよ』を含めた音声データＬ１「前置詞aboutとaroundの…」を生成し（ステップＳ５）、音声出力部１１に出力させる（ステップＳ６）。

電子辞書２０において、学習支援機器１０から出力された音声データＬ１「前置詞aboutとaroundの…」が音声入力部２６から入力されると、ＣＰＵ２８は、入力された音声データＬ１を解析し（ステップＴ２）、当該音声データＬ１に表示指示伝達情報ＣＳ１『文法書００２を再生せよ』が含まれると判定する（ステップＴ３のＹｅｓ）。

電子辞書２０のＣＰＵ２８は、学習支援機器１０から出力された音声データＬ１「前置詞aboutとaroundの…」に含まれる表示指示伝達情報ＣＳ１『文法書００２を再生せよ』に従い、文法書データエリア２９ｃに記憶されている英語の文法書データの集録位置番号“００２”に対応する文法解説画面Ｇ１（aboutとaroundの違いをイメージで解説する画面）を選択し（ステップＴ４）、当該文法解説画面Ｇ１を表示部２７に表示させる（ステップＴ５）。

この際、ユーザは、学習支援機器１０との対話による単語の学習に応じて音声出力される単語を解説する音声（Ｌ１）を聴くのと同時に、電子辞書２０により表示される当該単語をイメージで解説する画面（Ｇ１）を併せて見ることができる。

また、学習支援機器１０のＣＰＵ１３において、単語学習コンテンツデータ（中級編）１４ｂ１（図３参照）のＮｏ．１９の音声データ「では、aboutの語義を…」を選択した際に、当該音声データ「では、aboutの語義を…」に対応付けられた表示指示伝達情報『英英辞書でaboutを表示せよ』があると判定されると（ステップＳ４のＹｅｓ）、図９の（Ｂ）に示すように、当該表示指示伝達情報ＣＳ２『英英辞書でaboutを表示せよ』を含めた音声データＬ２「では、aboutの語義を…」を生成し（ステップＳ５）、音声出力部１１に出力させる（ステップＳ６）。

電子辞書２０において、学習支援機器１０から出力された音声データＬ２「では、aboutの語義を…」が音声入力部２６から入力されると、ＣＰＵ２８は、入力された音声データＬ２を解析し（ステップＴ２）、当該音声データＬ２に表示指示伝達情報ＣＳ２『英英辞書でaboutを表示せよ』が含まれると判定する（ステップＴ３のＹｅｓ）。

電子辞書２０のＣＰＵ２８は、学習支援機器１０から出力された音声データＬ２「では、aboutの語義を…」に含まれる表示指示伝達情報ＣＳ２『英英辞書でaboutを表示せよ』に従い、辞書データベースエリア２９ｂに記憶されている英英辞書の見出し語“about”に対応する語義説明画面Ｇ２（aboutの語義を英語で説明する画面）を選択し（ステップＴ４）、当該語義説明画面Ｇ２を表示部２７に表示させる（ステップＴ５）。

この際、ユーザは、学習支援機器１０との対話による単語の学習に応じて音声出力される単語の語義を確認する音声（Ｌ２）を聴くのと同時に、電子辞書２０により表示される当該単語の語義を英英辞書で説明する画面（Ｇ２）を併せて見ることができる。

これにより、ユーザは、電子辞書２０に元々備わる単語の学習に関するコンテンツを、新たな通信デバイスを設けずに、当該電子辞書２０から伝達されるユーザレベルに応じた学習支援機器１０での対話型の学習に併せて有効に利用することができ、より効果的に単語の学習を行うことができる。

図１０は、学習支援機器１０と電子辞書２０との連携による情報提供システム１の動作例（その２）を示す図である。

学習支援機器１０において、ユーザ状況データエリア１４ｄから読み出された英語レッスン実行日１４ｄ２から本日までの経過日数が３日以上（例えば４日）である場合（ステップＳ１）、ＣＰＵ１３は、英語レッスン問い掛けデータ（１４ｃ）（図４参照）を選択し（ステップＳ２）、当該英語レッスン問い掛けデータ（１４ｃ）の音声データ「前回の学習から４日経っています。…」を選択する（ステップＳ３）。

ここで、ＣＰＵ１３において、英語レッスン問い掛けデータ（１４ｃ）の音声データ「前回の学習から４日経っています。…」を選択した際に、当該音声データ「前回の学習から４日経っています。…」に対応付けられた表示指示伝達情報『英語レッスンを続きから起動せよ』があると判定されると（ステップＳ４のＹｅｓ）、図１０に示すように、当該表示指示伝達情報ＣＳ３『英語レッスンを続きから起動せよ』を含めた音声データＬ３「前回の学習から４日経っています。英語レッスンの続きをしませんか？」を生成し（ステップＳ５）、音声出力部１１に出力させる（ステップＳ６）。

電子辞書２０において、学習支援機器１０から出力された音声データＬ３「前回の学習から４日経っています。…」が音声入力部２６から入力されると、ＣＰＵ２８は、入力された音声データＬ３を解析し（ステップＴ２）、当該音声データＬ３に表示指示伝達情報ＣＳ３『英語レッスンを続きから起動せよ』が含まれると判定する（ステップＴ３のＹｅｓ）。

電子辞書２０のＣＰＵ２８は、学習支援機器１０から出力された音声データＬ３「前回の学習から４日経っています。…」に含まれる表示指示伝達情報ＣＳ３『英語レッスンを続きから起動せよ』に従い、英語レッスンコンテンツデータエリア２９ｄに記憶されている英語レッスンコンテンツデータのうち、ユーザ状況データエリア２９ｆの英語レッスン実行日２９ｆ２と共に記憶されている英語レッスンを前回終了したレッスンステップの次のレッスンステップに対応するレッスン開始画面Ｇ３を選択し（ステップＴ４）、当該英語レッスン開始画面Ｇ３を表示部２７に表示させる（ステップＴ５）。

この際、ユーザは、学習支援機器１０から音声出力される電子辞書２０での英語レッスンの継続学習を促す音声（Ｌ３）を聴くのと同時に、当該電子辞書２０により表示される英語レッスンの前回の続きのレッスン開始画面Ｇ３を併せて見ることができる。

これにより、ユーザが電子辞書２０を利用して行っている英語レッスンに関するコンテンツを、新たな通信デバイスを設けず、しかもユーザによる英語レッスンの進捗に合わせた内容で、学習支援機器１０からの英語レッスンを促す問い掛けの音声に同期させて電子辞書２０に表示させることができ、ユーザは、より適切且つ効果的に、電子辞書２０を利用した英語レッスンを行うことができる。

この後、学習支援機器１０のＣＰＵ１３において、選択された学習コンテンツに応じた処理が終了したと判定されると（ステップＳ１０のＹｅｓ）、一連の学習支援処理が終了される。

また、電子辞書２０のＣＰＵ２８において、学習支援機器２０から入力された音声データに含まれる表示指示伝達情報ＣＳｎが、最終の伝達情報であると判定されると（ステップＴ６のＹｅｓ）、一連の学習支援機器対応処理が終了される。

したがって、本実施形態の構成による音声出力装置（学習支援機器）１０と表示装置（電子辞書）２０とを連携させた情報提供システム１によれば、学習支援機器１０にて実行する対話型の学習コンテンツに応じて音声出力される、例えば単語の学習のための音声データＬｎに対して、電子辞書２０に集録されている当該単語の解説や説明を画像（イメージ）やテキストで示すコンテンツの表示指示伝達情報ＣＳｎを、例えば音声透かし技術により含ませる。そして、学習支援機器１０から音声出力された単語の学習のための音声データＬｎを、電子辞書２０が備える音声入力部２６により入力し、当該電子辞書２０は、入力した音声データＬｎに含まれる表示指示伝達情報ＣＳｎに従って、当該単語の解説や説明を画像（イメージ）やテキストで示すコンテンツの画面Ｇｎを表示部２７に表示させる。

これにより、ユーザは、電子辞書２０に元々備わる単語の学習に関するコンテンツを、新たな通信デバイスを設けずに、学習支援機器１０での対話型の学習に併せて有効に利用することができ、より効果的に単語の学習を行うことができる。

よって、情報提供システム１は、音声情報の出力と視覚情報の表示とを容易且つ適切に連携して効果的に情報を提供することが可能になる。

また、本実施形態の構成による音声出力装置（学習支援機器）１０と表示装置（電子辞書）２０とを連携させた情報提供システム１によれば、電子辞書２０において、ユーザが電子辞書２０を使用することに伴い当該電子辞書２０にて取得されるユーザの学習レベル（ユーザレベル）やコンテンツ実行日（英語レッスン実行日）などのユーザ進捗情報を、ユーザ状況の伝達情報として所定の電子音に含ませた音声データを生成し、音声出力部２５により音声出力する。学習支援機器１０は、電子辞書２０により音声出力された音声データを音声入力部１２により入力し、当該音声データにユーザ状況の伝達情報として含まれるユーザ進捗情報を解析してユーザ状況データエリア１４ｄに随時記憶して管理する。そして、学習支援機器１０は、実行対象とする学習コンテンツを、ユーザ状況データエリア１４ｄに記憶されたユーザ進捗情報に応じて選択して実行する。

これにより、学習支援機器１０は、新たな通信デバイスを設けずに、電子辞書２０から取得されたユーザの学習の進捗情報に応じた適切な学習コンテンツを選択して学習支援処理を実行できるようになる。

前記実施形態において記載した、情報提供システム１による各処理の手法、すなわち、図５，図６のフローチャートに示す学習支援機器１０（音声出力装置）によるユーザ状況管理処理および学習支援処理、図７，図８のフローチャートに示す電子辞書２０（表示装置）によるユーザ状況伝達処理および学習支援機器対応処理の各手法は、何れも制御部であるＣＰＵ（プロセッサ）に実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピ（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体に格納して配布することができる。そして、電子機器のＣＰＵ（プロセッサ）は、この外部記録媒体に記録されたプログラムを記憶装置に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明したユーザ状況管理機能および学習支援機能やユーザ状況伝達機能および学習支援機器対応機能を実現し、前記実施形態と同様の処理を実行することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（Ｎ）上を伝送させることができ、この通信ネットワーク（Ｎ）に接続されたプログラムサーバ（３０）から当該プログラムのデータを、電子機器に取り込んで記憶装置に記憶させ、前述したユーザ状況管理機能および学習支援機能やユーザ状況伝達機能および学習支援機器対応機能を実現することもできる。

なお、本発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、前記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

［付記１］
音声出力装置と表示装置とを備え、
前記音声出力装置は、
第１音声出力部と、
第１制御部とを備え、
前記第１制御部は、
前記表示装置で表示対象となる表示データを指示するための表示指示伝達情報を含ませた音声データを前記第１音声出力部により出力させ、
前記表示装置は、
第２音声入力部と、
表示部と、
第２制御部とを備え、
前記第２制御部は、
前記音声出力装置から出力された音声データを前記第２音声入力部から入力し、
前記入力した音声データに前記表示指示伝達情報が含まれている場合、前記表示指示伝達情報に対応する表示データを前記表示部により表示させる、
情報提供システム。

［付記２］
前記表示装置は、
第２音声出力部を備え、
前記第２制御部は、
ユーザの状況を取得し、
前記取得したユーザの状況を伝達するためのユーザ状況伝達情報を含ませた所定の音声データを前記第２音声出力部により出力させ、
前記音声出力装置は、
第１音声入力部を備え、
前記第１制御部は、
前記表示装置から出力された所定の音声データを前記第１音声入力部から入力し、
前記入力した所定の音声データに含まれるユーザ状況伝達情報により伝達されたユーザの状況に応じて、複数種類の音声データの中から出力対象の音声データを選択して取得し、前記第１音声出力部により出力させる、
付記１に記載の情報提供システム。

［付記３］
前記音声出力装置の第１制御部は、
前記出力される音声データに対して、前記表示指示伝達情報を、音声透かしにより含ませる、
付記１または付記２に記載の情報提供システム。

［付記４］
第１音声出力部と、
第１制御部とを備え、
前記第１制御部は、
第２音声入力部を備えた外部の表示装置で表示対象となる表示データを指示するための表示指示伝達情報を含ませた音声データを前記第１音声出力部により出力させる、
音声出力装置。

［付記５］
第１音声入力部を備え、
前記第１制御部は、
前記表示装置から出力された、ユーザの状況を伝達するためのユーザ状況伝達情報を含む所定の音声データを前記第１音声入力部から入力し、
前記入力した所定の音声データに含まれるユーザ状況伝達情報により伝達されたユーザの状況に応じて、複数種類の音声データの中から出力対象の音声データを選択して取得し、前記第１音声出力部により出力させる、
付記４に記載の音声出力装置。

［付記６］
前記第１制御部は、
前記出力される音声データに対して、第２音声入力部を備えた外部の表示装置で表示対象となる表示データを指示するための表示指示伝達情報を、音声透かしにより含ませる、
付記４または付記５に記載の音声出力装置。

［付記７］
第２音声入力部と、
表示部と、
第２制御部とを備え、
前記第２制御部は、
外部の音声出力装置から出力された音声データを前記第２音声入力部から入力し、
前記入力した音声データに、表示対象となる表示データを指示するための表示指示伝達情報が含まれている場合、前記表示指示伝達情報に対応する表示データを前記表示部により表示させる、
表示装置。

［付記８］
第２音声出力部を備え、
前記第２制御部は、
ユーザの状況を取得し、
前記取得したユーザの状況を、前記音声出力装置において出力対象となる音声データを複数種類の音声データの中から選択するためのユーザ状況伝達情報を含ませた所定の音声データを前記第２音声出力部により出力させる、
付記７に記載の表示装置。

［付記９］
第１音声出力部と第１制御部とを備えた音声出力装置と、第２音声入力部と表示部と第２制御部とを備えた表示装置と、を含んで構成される情報提供システムの情報提供方法であって、
前記音声出力装置の第１制御部により、
前記表示装置で表示対象となる表示データを指示するための表示指示伝達情報を含ませた音声データを前記第１音声出力部により出力させ、
前記表示装置の第２制御部により、
前記音声出力装置から出力された音声データを前記第２音声入力部から入力し、
前記入力した音声データに前記表示指示伝達情報が含まれている場合、前記表示指示伝達情報に対応する表示データを前記表示部により表示させる、
情報提供方法。

［付記１０］
第１音声出力部と第１プロセッサとを備えた音声出力装置と、第２音声入力部と表示部と第２プロセッサとを備えた表示装置と、を含んで構成される情報提供システムを制御するためのプログラムであって、
前記音声出力装置の第１プロセッサを、
前記表示装置で表示対象となる表示データを指示するための表示指示伝達情報を含ませた音声データを前記第１音声出力部により出力させる、
ように機能させ、
前記表示装置の第２プロセッサを、
前記音声出力装置から出力された音声データを前記第２音声入力部から入力し、
前記入力した音声データに前記表示指示伝達情報が含まれている場合、前記表示指示伝達情報に対応する表示データを前記表示部により表示させる、
ように機能させるためのプロセッサ読み込み可能なプログラム。

１ …情報提供システム
１０ …音声出力装置（学習支援機器）
２０ …表示装置（電子辞書）
１１、２５…音声出力部（スピーカ）
１２、２６…音声入力部（マイク）
１３、２８…ＣＰＵ（プロセッサ）
１４、２９…記憶部
１４ａ…機器制御プログラム
１４ｂ…対話型学習コンテンツデータエリア
１４ｃ…英語レッスン問い掛けデータエリア
１４ｄ、２９ｆ…ユーザ状況データエリア
２９ａ…辞書制御プログラム
２９ｂ…辞書データベースエリア
２９ｃ…文法書データエリア
２９ｄ…英語レッスンコンテンツデータエリア
２９ｅ…ユーザレベル判定コンテンツデータエリア
Ｌｎ…学習支援機器からの音声データ
ＣＳｎ…表示指示伝達情報
Ｇｎ…電子辞書の学習参照画面

Claims (6)

1. 第１センテンスとして第１音声の出力が終了した後に第２センテンスとして第２音声の出力を開始可能な学習支援装置であって、
   前記第１センテンスに音声透かしを重畳して出力させる出力制御手段を備え、
   前記出力制御手段は、前記音声透かしを、前記音声透かしを検出可能な所定の表示装置に対して前記第２センテンスに対応する学習内容であって前記所定の表示装置に予め記憶されている学習内容の表示を開始させる指示データとして、前記第１センテンスに重畳させる、
   ことを特徴とする学習支援装置。
2. 前記所定の表示装置は、複数の学習コンテンツが搭載された電子辞書装置であり、
   前記第１センテンスは学習の概要説明または前文であり、
   前記第２センテンスは学習の詳細内容または主文である、
   ことを特徴とする請求項１に記載の学習支援装置。
3. 外形形状がロボット形状に形成されている、
   ことを特徴とする請求項１または２に記載の学習支援装置。
4. 第１センテンスとして第１音声の出力が終了した後に第２センテンスとして第２音声の出力を開始可能な音声出力装置と、前記音声出力装置から出力される音声に対応する画像を表示可能な表示装置と、を備える学習支援システムであって、
   前記音声出力装置は、前記第１センテンスに音声透かしを重畳して出力させる出力制御手段を備え、
   前記表示装置は、前記出力制御手段により出力された前記音声透かしを検出する検出手段を備え、
   前記出力制御手段は、前記音声透かしを、前記表示装置に対して前記第２センテンスに対応する学習内容であって前記表示装置に予め記憶されている学習内容の表示を開始させる指示データとして、前記第１センテンスに重畳させる、
   ことを特徴とする学習支援システム。
5. 第１センテンスとして第１音声の出力が終了した後に第２センテンスとして第２音声の出力を開始可能な学習支援装置が実行する学習支援方法であって、
   前記第１センテンスに音声透かしを重畳して出力させる出力制御処理を含み、
   前記出力制御処理は、前記音声透かしを、前記音声透かしを検出可能な所定の表示装置に対して前記第２センテンスに対応する学習内容であって前記所定の表示装置に予め記憶されている学習内容の表示を開始させる指示データとして、前記第１センテンスに重畳させる、
   ことを特徴とする学習支援方法。
6. 第１センテンスとして第１音声の出力が終了した後に第２センテンスとして第２音声の出力を開始可能な学習支援装置のコンピュータを、
   前記第１センテンスに音声透かしを重畳して出力させる出力制御手段として機能させ、
   前記出力制御手段は、前記音声透かしを、前記音声透かしを検出可能な所定の表示装置に対して前記第２センテンスに対応する学習内容であって前記所定の表示装置に予め記憶されている学習内容の表示を開始させる指示データとして、前記第１センテンスに重畳させる、
   ことを特徴とするプログラム。