JP6953825B2

JP6953825B2 - データ送信方法、データ送信装置、及びプログラム

Info

Publication number: JP6953825B2
Application number: JP2017121660A
Authority: JP
Inventors: 湖城　孝; 孝湖城
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2017-06-21
Filing date: 2017-06-21
Publication date: 2021-10-27
Anticipated expiration: 2037-06-21
Also published as: JP2019008035A

Description

本発明は、講義者が行う講義を効果的に利用するためのデータ送信方法、データ送信装置及びその制御プログラムに関する。

近年、教科の学習単元毎に、動画教材が作成され、作成された動画教材を学習者が視聴して学習することが盛んに行われている。

動画教材を生成する講義録画システムであって、講師が使用する講義用携帯端末から講義用ディスプレイに表示させるプレゼンテーション用の画面の映像と、講義撮影用カメラにより講義を撮影した映像とを、講義用マイクロホンで入力した講師の音声と共に録画用ＰＣにて合成して録画し、動画教材を生成することが考えられている（例えば、特許文献１参照。）。

特開２０１６−１４４０７３号公報

従来の講義録画システムにより動画教材を生成するには、動画編集の技術と手間が掛かるだけでなく、講義用ディスプレイに表示されるプレゼンテーション用の画面の映像や当該画面に対し講師が指示する位置が講義撮影用カメラにより上手く撮影できるように、講師がカメラの位置に注意して移動する必要がある。

このため、動画教材を撮影するための講義は、撮影専用の特別講義として行っているのが殆どである。また、従来の動画教材は、対象とする学習単元の講義を通しで撮影、録画して生成されるので、例えば、講義テキストの項目毎に学習の範囲を分けて利用しづらい問題がある。

本発明は、このような課題に鑑みなされたもので、撮影専用の特別講義を行なう必要なく、利用者にとって適切に利用できる講義データを得ることが可能なデータ送信方法、データ送信装置及びその制御プログラムを提供することを目的とする。

本発明に係るデータ送信方法は、電子機器が、対象のテキストを特定する特定処理と、音声入力部に入力される音声データを逐次取得する取得処理と、前記取得処理により逐次取得される音声データ内から、前記対象のテキスト内の特定の位置を示すキーワードに対応する音声を検出する検出処理と、前記キーワードに対応する音声が検出されたタイミングに応じて、前記取得処理により逐次取得される音声データの中から対象の音声データを特定する特定処理と、特定された前記対象の音声データを、前記キーワードが示す前記対象のテキスト内の特定の位置に対応付けて送信する送信処理と、を実行し、前記特定処理は、前記検出処理により前記キーワードに対応する音声を検出する毎に、前回の前記キーワードに対応する音声の検出以降で今回の前記キーワードに対応する音声の検出より前に前記取得処理により取得された音声データを前記対象の音声データとして特定する処理であり、前記送信処理は、前記検出処理により前記キーワードに対応する音声を検出する毎に、前記特定処理により特定された前記対象の音声データを、前記キーワードが示す前記対象のテキスト内の特定の位置に対応付けて送信する処理である。

本発明によれば、撮影専用の特別講義を行なう必要なく、利用者にとって適切に利用できる講義データを得ることが可能になる。

本発明のデータ送信装置の実施形態に係る講義者端末１０を利用した講義現場の概要を示す図。前記講義者端末１０の電子回路の構成を示すブロック図。前記講義者端末１０の教科書目次データエリア１２ｃに記憶した中学英語２年の教科書ＢＴｘ（Ｔｘ）に対応した第１実施形態の教科書目次データ（番号のみ）１２ｃ１の内容を示す図。前記講義者端末１０の教科書目次データエリア１２ｃに記憶した中学英語２年の教科書ＢＴｘ（Ｔｘ）に対応した第２実施形態の教科書目次データ（タイトルを含む）１２ｃ２の内容を示す図。前記講義者端末１０の講義データエリア１２ｄに登録した講義データ１２ｄ１の一例を示す図。前記講義者端末１０の講義データ送信処理（その１）を示すフローチャート。前記講義者端末１０の講義データ送信処理（その２）を示すフローチャート。前記講義者端末１０の講義データ送信処理（その３）を示すフローチャート。前記講義者端末１０の講義データ送信処理に従ったユーザ（講義者）操作に応じた講義の過程（その１）を示す図。前記講義者端末１０の講義データ送信処理に従ったユーザ（講義者）操作に応じた講義の過程（その２）を示す図。前記講義者端末１０の講義データ送信処理に従ったユーザ（講義者）操作に応じた講義の過程（その３）を示す図。前記講義者端末１０の講義データ送信処理に従い生成された講義データ１２ｄｎを受信した受講者端末２０でのユーザ（受講者）操作に応じた講義データ１２ｄｎの再生動作（その１）を示す図。前記講義者端末１０の講義データ送信処理に従い生成された講義データ１２ｄｎを受信した受講者端末２０でのユーザ（受講者）操作に応じた講義データ１２ｄｎの再生動作（その２）を示す図。前記講義者端末１０の教科書目次データエリア１２ｃに記憶した中学英語２年の電子教科書（テキスト）Ｔｘに対応した第３実施形態の教科書目次データ（タイトル・新出単語を含む）１２ｃ３の内容を示す図。前記講義者端末１０において第３実施形態の教科書目次データ（タイトル・新出単語を含む）１２ｃ３を使用した場合のユーザ（講義者）操作に応じた講義の過程と、受講者端末２０での講義データ１２ｄｎの再生動作を示す図。

以下図面により本発明の実施の形態について説明する。

図１は、本発明のデータ送信装置の実施形態に係る講義者端末１０を利用した講義現場の概要を示す図である。

前記講義者端末１０は、例えば、タブレット端末１０Ｔや電子黒板１０Ｂ等のコンピュータ（ＣＰＵ）を備えた電子機器により実現する。

本実施形態では、前記タブレット端末１０Ｔを講義者端末１０として説明する。講義者端末１０（タブレット端末１０Ｔ）は、図１に示すように、電子黒板１０Ｂの近傍に取り付けて設置し、音声入力部（マイク）１８ａを備える。

前記電子黒板１０Ｂは、講義用の大画面のタッチパネル付き表示装置を備え、講義対象のテキスト（電子教科書）Ｔｘのデータを表示させたり、ユーザ（講義者Ｌｅ）のペンＰによるタッチ操作に応じた手書き（板書）の文字等を表示させたりする。

なお、本実施形態の講義者端末１０を利用する講義現場において、前記電子黒板１０Ｂは、自らは表示機能を持たない通常の黒板（又は白板）としてもよい。本実施形態（図１）に対応する説明では、前記電子黒板１０Ｂを使用し、講義者Ｌｅは、ペンＰを使用して当該電子黒板１０Ｂに板書しながら講義を行なう。なお、黒板の表示テキスト（教科書）Ｔｘを見やすくするために、黒板を実際の１．５倍の長さに拡大して図面化した。講義者Ｌｅが受講者Ｓｔ…と比べて巨人サイズに見えるのは、そのためである。

各受講者Ｓｔ…は、受講者端末２０として、タブレット端末２０Ｔを持つ受講者Ｓｔと、当該タブレット端末２０Ｔを持たずに書籍の教科書ＢＴｘ及び電子辞書２０Ｄを持つ受講者Ｓｔとの両者が存在する。

前記タブレット端末２０Ｔを持つ受講者Ｓｔは、当該タブレット端末２０Ｔに講義対象のテキスト（教科書）Ｔｘの見開きページを表示させて講義を受ける。前記タブレット端末２０Ｔを持たない受講者Ｓｔは、講義対象の書籍の教科書ＢＴｘの見開きページを開いて講義を受ける。

前記受講者端末２０としてのタブレット端末２０Ｔや電子辞書２０Ｄは、前記講義に応じて前記講義者端末１０での後述する講義データ送信処理に従い自動生成された講義データ１２ｄｎ（図２、図５参照）を、当該講義者端末１０（あるいは教育コンテンツサーバ３０）から受信して再生する機能を有し、各受講者Ｓｔ…（講義欠席者含む）は、自分のタブレット端末２０Ｔに表示させた講義対象のテキスト（教科書）Ｔｘの見開きページや講義対象の書籍の教科書ＢＴｘの見開きページを見ながら、前記講義データ１２ｄｎを再生し、該当する講義の復習、再受講、講義欠席者の受講などを行なうことができる。

図２は、前記講義者端末１０の電子回路の構成を示すブロック図である。

前記講義者端末１０は、コンピュータであるＣＰＵ１１を備える。前記ＣＰＵ１１は、フラッシュＲＯＭなどのメモリ１２に予め記憶された講義データ送信処理プログラム１２ａに従って回路各部の動作を制御する。なお、講義データ送信処理プログラム１２ａは、メモリカードなどの外部記録媒体１３から記録媒体読取部１４により読み取って前記メモリ１２に記憶してもよいし、通信ネットワーク（インターネット）Ｎ上のＷｅｂサーバ３０から通信部（インターネット通信）１５を介しダウンロードして前記メモリ１２に記憶してもよい。

前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、通信部１５を接続する他に、キー入力部１６、タッチパネル付きカラー表示部１７、音声入力部（マイク）（又は音声付き動画入力部（マイク付カメラ））１８ａ、音声出力部（スピーカ）１８ｂ、近距離無線通信部（Bluetooth（登録商標）等）１９を接続する。

また、前記メモリ１２には、電子教科書データエリア１２ｂ、教科書目次データエリア１２ｃ、講義データエリア１２ｄ、ページ位置ポインタデータエリア１２ｅ、受講者データエリア１２ｆなどを確保する。

前記電子教科書データエリア１２ｂは、例えば、中学英語１年、中学英語２年等、各教科各学年の電子教科書（テキスト）Ｔｘそれぞれのデータを記憶し、語学テキストの場合は、更に、各学習単元の本文、基本文、基本練習等に含まれるテキストに対応した模範音声データも含めて記憶する。

前記教科書目次データエリア１２ｃは、前記電子教科書データエリア１２ｂに記憶した各電子教科書（テキスト）Ｔｘ（書籍の教科書ＢＴｘも同じ）に対応した目次のデータを記憶する。

図３は、前記講義者端末１０の教科書目次データエリア１２ｃに記憶した中学英語２年の教科書ＢＴｘ（Ｔｘ）に対応した第１実施形態の教科書目次データ（番号のみ）１２ｃ１の内容を示す図である。

前記教科書目次データ（番号のみ）１２ｃ１は、前記教科書ＢＴｘ（Ｔｘ）に含まれる各単元を、例えば、［ＵＮＩＴ］、当該［ＵＮＩＴ］に含まれる各［パート］、当該［パート］に含まれる［基本文］と［基本練習］それぞれに対応する番号と記述ページを組合せた目次として記憶する。

例えば、前記中学英語２年の教科書ＢＴｘ（Ｔｘ）には、単元の最大の区切りとして［ＵＮＩＴ；１（Ｐ６−１７），２（Ｐ１８−３１），３（Ｐ３２−４５）］があり、［ＵＮＩＴ１］には、当該ＵＮＩＴ番号１に含まれるパート番号１，２，…を対応付けた［パート；１−１（Ｐ６−７），１−２（Ｐ８−Ｐ９）］がある。そして、［パート１−１（Ｐ６−７）］［パート１−２（Ｐ８−９）］には、対象学年（中学２年）の番号２に対して当該学年にて習得すべき基本文と基本練習それぞれの連続番号１，２，…を対応付けた［基本文２−１（Ｐ７）／基本練習２−１（Ｐ７）］［基本文２−２（Ｐ９）／基本練習２−２（Ｐ９）］がある。

本実施形態の講義者端末１０では、ＣＰＵ１１において、教科書ＢＴｘ（Ｔｘ）の種類（ここでは「中学英語２年」）とそのページ、更には、講義対象の項目である［基本文］や［基本練習］を認識することで、前記教科書目次データ（番号のみ）１２ｃ１に基づいて、現在講義対象となっている［ＵＮＩＴ］［パート］［基本文］［基本練習］の正確な位置情報（ページ位置）を判定できる。

図４は、前記講義者端末１０の教科書目次データエリア１２ｃに記憶した中学英語２年の教科書ＢＴｘ（Ｔｘ）に対応した第２実施形態の教科書目次データ（タイトルを含む）１２ｃ２の内容を示す図である。

前記教科書目次データ（タイトルを含む）１２ｃ２は、前記図３で示した教科書目次データ（番号のみ）１２ｃ１と比較して、各［ＵＮＩＴ］［パート］［基本文］［基本練習］それぞれの番号に対応付けられたタイトルも含む点で異なる。

前記講義データエリア１２ｄには、例えば、各教科各学年各組の時間割りに従い各時限にて講義者Ｌｅが行った講義の音声データを、講義対象のテキスト（Ｔｘ）の当該講義者Ｌｅがその音声データに含めて指示した位置に対応付けた講義データ（４月２５日_２時間目_中学２年英語Ｐ１８−１９（２年３組））１２ｄ１，（４月２３日_４時間目_中学２年英語Ｐ１８−１９（２年１組））１２ｄ２，（４月２１日_１時間目_中学２年英語Ｐ１７−１８（２年１組））１２ｄ３，…として登録する。

図５は、前記講義者端末１０の講義データエリア１２ｄに登録した講義データ１２ｄ１の一例を示す図である。

前記講義データ１２ｄ１は、前記ＣＰＵ１１が、講義対象のテキスト（Ｔｘ）に対する講義者Ｌｅの指示キーワード（講義の音声に含まれる指示キーワード）を検出する毎に、当該指示の内容と、当該指示に対応する時間と、当該指示に対応するテキスト位置と、当該指示に対応する項目（マーク）等の講義内容とに対して、前回の指示キーワードの検出から今回の指示キーワードの検出より前まで前記音声入力部１８ａにより入力した講義者Ｌｅ等の音声データを対応付けて前記講義データエリア１２ｄに登録する。なお、本実施形態では、講義者の発声する音声データから指示キーワードを検出するが、指示キーワードでなく指パッチン（フィンガースナップ）の音や、手をたたく音、関節をポキポキ鳴らす音やそれらの回数を指示キーデータとして、前回の指示キーデータの検出から今回の指示キーデータの検出より前まで前記音声入力部１８ａにより入力した講義者Ｌｅ等の音声データを対応付けて前記講義データエリア１２ｄに登録する。また、講義者の講義でなく、馬の走る音、小鳥のさえずり、雷や台風の音を、指示キーデータ、講義者の音再生操作時に機械からでる音、例えばスイッチの操作時の音「パチン」、取得した音声の最後の雑音「ザーザー」を指示キーデータとして、前回の指示キーデータの検出から今回の指示キーデータの検出より前まで前記音声入力部１８ａにより入力した動物や自然現象の録音音声等の音データを対応付けて前記講義データエリア１２ｄに登録するようにしてもよい。

前記講義データ１２ｄ１，１２ｄ２，１２ｄ３，…において、講義者Ｌｅの指示に対応する項目等の内容としては、当該指示に対応するテキスト位置の項目（マーク）をアイコン化したデータとそのアイコンに応じた動作制御の内容を含む。

前記ページ位置ポインタデータエリア１２ｅは、前記講義者Ｌｅによる講義の過程において、当該講義者Ｌｅの音声データに含まれる指示キーワードを認識して判定した、講義対象のテキスト（Ｔｘ）の注目位置（ページやページ内項目）を示すポインタデータを記憶する。

前記受講者データエリア１２ｆは、各受講者（生徒等）Ｓｔ…が使用する受講者端末（タブレット端末２０Ｔ，電子辞書２０Ｄ等）２０…の通信アドレス等を記憶する。

なお、前記電子教科書データエリア１２ｂが記憶する各種の電子教科書（テキスト）Ｔｘそれぞれのデータ、および前記教科書目次データエリア１２ｃが記憶する各種の電子教科書（テキスト）Ｔｘそれぞれに対応する教科書目次データは、前記講義データ送信処理プログラム１２ａに従った本講義者端末１０の動作上の必要に応じて、前記通信ネットワーク（インターネット）Ｎ上の教育コンテンツサーバ３０から、前記通信部１５を介しダウンロードして取得する構成としてもよい。

また、前記講義データエリア１２ｄに登録する講義データ１２ｄ１，１２ｄ２，１２ｄ３，…は、当該講義データ１２ｄｎを生成する処理の過程で前記教育コンテンツサーバ３０に送信して登録してもよいし、各時限の講義毎に前記講義データエリア１２ｄに登録した講義データ１２ｄｎを一括して前記教育コンテンツサーバ３０に送信して登録してもよい。

また、前記受講者データエリア１２ｆが記憶する各受講者（生徒等）Ｓｔ…のデータも、前記講義データ送信処理プログラム１２ａに従った本講義者端末１０の動作上の必要に応じて、前記通信ネットワーク（インターネット）Ｎ上の教育コンテンツサーバ３０から、前記通信部１５を介しダウンロードして取得する構成としてもよい。

このように構成された講義者端末１０は、前記ＣＰＵ１１が、前記講義データ送信処理プログラム１２ａに記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べるような、実際の受講者Ｓｔ…を対象とした講義からの講義データ１２ｄｎの生成機能とその送信機能とを実現する。

次に、前記構成の講義者端末１０の動作について説明する。

図６、図７、図８は、前記講義者端末１０の講義データ送信処理（その１）（その２）（その３）を示すフローチャートである。

図９、図１０、図１１は、前記講義者端末１０の講義データ送信処理に従ったユーザ（講義者）操作に応じた講義の過程（その１）（その２）（その３）を示す図である。

ここでの講義は、講義者Ｌｅが、表示機能を持たない通常の黒板（又は白板）ＢＤに板書しながら行なうものとし、講義者端末１０は、当該黒板ＢＤの周辺など、講義者Ｌｅの発声する音声を音声入力部１８ａにより十分に入力可能な場所に置いて利用する。

なお、講義者端末１０は、講義を開始する前はスリープモードでの電源オフの状態とし、ＣＰＵ１１をはじめとする各回路は動作している。

先ず、図９（Ａ）に示すように、ユーザ（講義者Ｌｅ）は、『端末オン』「おはよう。みんな元気かな？出席をとります。…今日もがんばっていこう。」と発声する。

ＣＰＵ１１は、音声入力部１８ａにより入力した講義者Ｌｅの音声データＨを音声認識し、当該講義者音声データＨに含まれる指示キーワード『端末オン』に応じて電源をオンにし、時計カウンタＴによる講義時間のカウントを開始する（ステップＳ１（Ｙｅｓ）→Ｓ２）。

続いて、講義者Ｌｅは、図９（Ａ）（Ｂ）に示すように、ペンＰにより、黒板ＢＤに“予定をあらわす英語表現”と板書しながら、「『教科書のＰ１８』を開いて！みななはＧＷの予定はもう立てたかな？今日は、予定をあらわす英語の勉強だよ！」と発声する。

ＣＰＵ１１は、音声入力部１８ａにより入力した講義者音声データＨに含まれる指示キーワード『教科書のＰ１８』を検出し（ステップＳ３（Ｙｅｓ））、教科書に対する最初の指示の検出であると判断すると（ステップＳ４（Ｙｅｓ））、メモリ１２に予め記憶されるか通信部１５を介して外部から取得された時間割りの情報に応じて判断した教科書［中学２年英語］、現在の日時、講義対象のクラスに基づいて、講義データ１２ｄ１のヘッダ（ここでは［４月２５日_２時間目_中学２年英語Ｐ１８−１９（２年３組）］）を生成し、メモリ１２内の講義データエリア１２ｄに登録する（ステップＳ５）。

またＣＰＵ１１は、前記指示キーワード『端末オン』を検出したときから前記指示キーワード『教科書のＰ１８』を検出したタイミング以前までに前記音声入力部１８ａに入力されて取得された講義者音声データＨ「おはよう。みんな元気かな？出席をとります。…今日もがんばっていこう。」を、前記指示キーワード『端末オン』と、その指示の時点での前記時計カウンタＴによる講義時間データ［００：００］と、前記端末オンの指示に対応する［開始］アイコン及びその動作制御（再生開始）のデータとに対応付けて、前記講義データエリア１２ｄ内の講義データ１２ｄ１のヘッダに続けて登録する（ステップＳ６）。

そしてＣＰＵ１１は、前記指示キーワード『教科書のＰ１８』を検出したタイミング以降に前記音声入力部１８ａにより入力された講義者音声データＨ「『教科書のＰ１８』を開いて！みななはＧＷの予定はもう立てたかな？今日は、予定をあらわす英語の勉強だよ！」を、［イントロ］アイコンと、前記教科書目次データ１２ｃ１及びページ位置ポインタデータ１２ｅに従った教科書［中学２年英語］のページ位置［中２英語；Ｐ１８］のデータとに対応付けて取得していく（ステップＳ７）。

次に、講義者Ｌｅは、図９（Ｃ）に示すように、「『本文』を読んで、内容を説明するよ！<Hi, Dick.><<こんにちは、ディック>>…<<ぼくは、来週、ニューヨーク市に行く予定です。>>…」と発声する。

ＣＰＵ１１は、前記音声入力部１８ａにより入力した講義者音声データＨに含まれる指示キーワード『本文』を検出すると（ステップＳ８（Ｙｅｓ））、前記指示キーワード『教科書のＰ１８』を検出したときから前記指示キーワード『本文』を検出したタイミング以前までに前記音声入力部１８ａに入力されて取得された講義者音声データＨ「『教科書のＰ１８』を開いて！みななはＧＷの予定はもう立てたかな？今日は、予定をあらわす英語の勉強だよ！」を、前記指示キーワード『教科書のＰ１８』と、その指示の時点での前記時計カウンタＴによる講義時間データ［０４：３５］と、前記ページ位置［中２英語；Ｐ１８］のデータと、前記［イントロ］アイコン及びその動作制御（導入部の講義再生）のデータとに対応付けて、前記講義データエリア１２ｄ内の講義データ１２ｄ１に追加して登録する（ステップＳ９）。

そしてＣＰＵ１１は、前記指示キーワード『本文』を検出したタイミング以降に前記音声入力部１８ａにより入力された講義者音声データＨ「『本文』を読んで、内容を説明するよ！<Hi, Dick.><<こんにちは、ディック>>…<<ぼくは、来週、ニューヨーク市に行く予定です。>>…」を、［本文］アイコンと、前記教科書目次データ１２ｃ１及びページ位置ポインタデータ１２ｅに従った教科書［中学２年英語］のページ位置［中２英語；Ｐ１８；本文］のデータとに対応付けて取得していく（ステップＳ１０）。

ここで、ＣＰＵ１１は、前記取得した講義者音声データＨ「『本文』を読んで、内容を説明するよ！<Hi, Dick.><<こんにちは、ディック>>…<<ぼくは、来週、ニューヨーク市に行く予定です。>>…」を音声認識することで、当該講義者音声データＨに第１言語の音声（ここでは<英語>）と第２言語の音声（ここでは<<日本語>>）とが含まれると判断した場合（ステップＳ１１（Ｙｅｓ））、当該第１言語の音声部分には第１言語マーク< >Ｍ１を付加して取得していき、第２言語の音声部分には第２言語マーク<< >>Ｍ２を付加して取得していく（ステップＳ１２）。

次に、講義者Ｌｅは、図９（Ｄ）に示すように、「これから、「○○する予定です」という『文型』を学習するよ！」と発声し、また、図１０（Ａ）に示すように、ペンＰにより、黒板ＢＤに教科書の基本文“I am going to visit NYC next week.”を板書しながら、「『基本文』を見てね。I am going to visit NYC next week. amは、be動詞だね。「be going to + 動詞の原型」で「○○する予定です」という意味だよ！たとえば、…」と発声する。

ここで、ＣＰＵ１１は、講義者音声データＨに含まれる指示キーワード『文型』と『基本文』については、同じ種類の項目［基本文］を示す指示キーワードであると判断し、当該指示キーワード『文型』と『基本文』が短い時間間隔（例えば１分以内）で入力された場合、同指示キーワード『文型』を含む講義者音声データＨと指示キーワード『基本文』を含む講義者音声データＨとを、同じページ位置の項目［基本文］に関する一連の講義者音声データＨとして取得する。

ＣＰＵ１１は、前記音声入力部１８ａにより入力した講義者音声データＨに含まれる指示キーワード『文型』（又は『基本文』）を検出すると（ステップＳ１３（Ｙｅｓ））、前記指示キーワード『本文』を検出したときから前記指示キーワード『文型』を検出したタイミング以前までに前記音声入力部１８ａに入力されて取得された講義者音声データＨ「『本文』を読んで、内容を説明するよ！<Hi, Dick.><<こんにちは、ディック>>…<<ぼくは、来週、ニューヨーク市に行く予定です。>>…」を、前記指示キーワード『本文』と、その指示の時点での前記時計カウンタＴによる講義時間データ［０８：２１］と、前記ページ位置［中２英語；Ｐ１８；本文］のデータと、前記［本文］アイコン及びその動作制御（本文の講義再生）のデータとに対応付けて、前記講義データエリア１２ｄ内の講義データ１２ｄ１に追加して登録する（ステップＳ１４）。

そしてＣＰＵ１１は、前記指示キーワード『文型』を検出したタイミング以降に前記音声入力部１８ａにより入力された一連の講義者音声データＨ「これから、「○○する予定です」という『文型』を学習するよ！」「『基本文』を見てね。I am going to visit NYC next week. amは、be動詞だね。「be going to + 動詞の原型」で「○○する予定です」という意味だよ！たとえば、…」を、［基本文説明］アイコンと、前記教科書目次データ１２ｃ１及びページ位置ポインタデータ１２ｅに従った教科書［中学２年英語］のページ位置［中２英語；Ｐ１９；基本文２−４］のデータとに対応付けて取得していく（ステップＳ１５）。

次に、講義者Ｌｅは、図１０（Ｂ）（Ｃ）に示すように、ペンＰにより、黒板ＢＤに教科書の基本練習“My sister and I ( ) going to see many things.”を板書しながら、「『基本練習』を見てね。」「［リサさん］『答えて』ください。」と発声する。

ここで、ＣＰＵ１１は、講義者音声データＨに含まれる指示キーワード『基本練習』と『練習問題』と『問題』については、同じ種類の項目［基本練習］を示す指示キーワードであると判断し、また、指示キーワード『答えて』『わかった人』『手を上げて』については、同じ種類の項目［出題］を示す指示キーワードであると判断する。

ＣＰＵ１１は、前記音声入力部１８ａにより入力した講義者音声データＨに含まれる指示キーワード『基本練習』を検出すると（ステップＳ１６（Ｙｅｓ））、前記指示キーワード『文型』を検出したときから前記指示キーワード『基本練習』を検出したタイミング以前までに前記音声入力部１８ａに入力されて取得された一連の講義者音声データＨ「これから、「○○する予定です」という『文型』を学習するよ！」「『基本文』を見てね。I am going to visit NYC next week. amは、be動詞だね。「be going to + 動詞の原型」で「○○する予定です」という意味だよ！たとえば、…」を、前記指示キーワード『文型』と、その指示の時点での前記時計カウンタＴによる講義時間データ［１２：２０］と、前記ページ位置［中２英語；Ｐ１９；基本文２−４］のデータと、前記［基本文説明］アイコン及びその動作制御（基本文の講義再生）のデータとに対応付けて、前記講義データエリア１２ｄ内の講義データ１２ｄ１に追加して登録する（ステップＳ１７）。

そしてＣＰＵ１１は、前記指示キーワード『基本練習』を検出したタイミング以降に前記音声入力部１８ａにより入力された講義者音声データＨ「『基本練習』を見てね。」「［リサさん］『答えて』ください。」を、［基本練習説明］アイコンと、前記教科書目次データ１２ｃ１及びページ位置ポインタデータ１２ｅに従った教科書［中学２年英語］のページ位置［中２英語；Ｐ１９；基本練習２−４］のデータとに対応付けて取得していく（ステップＳ１８）。

ここでＣＰＵ１１は、前記音声入力部１８ａに入力されて取得される講義者音声データＨ「『基本練習』を見てね。」「［リサさん］『答えて』ください。」を音声認識することで、当該講義者音声データＨに、例えば、講義者Ｌｅが受講者Ｓｔに呼びかけたり、受講者Ｓｔが答えたりする等の応対音声（ここでは「リサさん」）が含まれると判断した場合は（ステップＳ１９（Ｙｅｓ））、当該講義者音声データＨの応対音声が含まれる部分「リサさん」に出力禁止マーク［］Ｘｐを付加する（ステップＳ２０）。

これにより、前記講義データエリア１２ｄに登録した講義データ１２ｄ１を利用する段階で、受講者Ｓｔの個人を特定可能な講義者音声データＨが自動再生されないように設定する。

受講者Ｓｔ（ここでは「リサ」）は、前記講義者Ｌｅの発声「［リサさん］『答えて』ください。」の指示に応じて、当該受講者Ｓｔ自身の考えによる回答文“My sister and I (am) going to see many things.”を発声する。

また講義者Ｌｅは、前記受講者Ｓｔの発声した回答文“My sister and I (am) going to see many things.”に応じた板書(am)を加えながら、図１０（Ｄ）に示すように、「My sister and I (am) going to see many things. どこがおかしいかな？そう！My sister and Iだったら複数(We)になるね。」と発声する。

ＣＰＵ１１は、前記音声入力部１８ａにより入力した講義者音声データＨに含まれる出題を指示する指示キーワード『答えて』を検出すると（ステップＳ２１（Ｙｅｓ））、前記指示キーワード『基本練習』を検出したときから前記指示キーワード『答えて』を検出したタイミング以前までに前記音声入力部１８ａに入力されて取得された講義者音声データＨ「『基本練習』を見てね。」を、前記指示キーワード『基本練習』と、その指示の時点での前記時計カウンタＴによる講義時間データ［１５：３５］と、前記ページ位置［中２英語；Ｐ１９；基本練習２−４］のデータと、［基本練習説明］アイコン及びその動作制御（基本練習の講義再生）のデータとに対応付けて、前記講義データエリア１２ｄ内の講義データ１２ｄ１に追加して登録する（ステップＳ２２）。

そしてＣＰＵ１１は、前記指示キーワード『答えて』を検出したタイミング以降に前記音声入力部１８ａにより入力された講義者音声データＨ「［リサさん］『答えて』ください。」と、受講者音声データＨｓ“My sister and I (am) going to see many things.”と、講義者音声データＨ「My sister and I (am) going to see many things. どこがおかしいかな？そう！My sister and Iだったら複数(We)になるね。」とを、［出題］アイコンと、前記教科書目次データ１２ｃ１及びページ位置ポインタデータ１２ｅに従った教科書［中学２年英語］のページ位置［中２英語；Ｐ１９；基本練習２−４］のデータとに対応付けて取得していく（ステップＳ２３）。

ここでＣＰＵ１１は、前記音声入力部１８ａに入力されて取得される音声データを音声認識することで、前記受講者Ｓｔ（リサ）の回答文の音声データＨｓ“My sister and I (am) going to see many things.”を検出すると（ステップＳ２４（Ｙｅｓ））、当該受講者Ｓｔの音声データＨｓに出力禁止マーク［］Ｘｐを付加する（ステップＳ２５）。

またＣＰＵ１１は、前記音声認識した受講者Ｓｔ（リサ）の回答文“My sister and I (am) going to see many things.”と、前記電子教科書（テキスト）Ｔｘの該当するテキスト位置［中２英語；Ｐ１９；基本練習２−４］に対応して集録されている正解文“My sister and I (are) going to see many things.”とを比較して、前記回答文の正誤を判定する（ステップＳ２６）。

ここで、前記受講者Ｓｔの回答文について、前記基本練習の正解文と異なることで誤り判定される場合の当該正解文との異なり方の類型を、予め［誤り１］［誤り２］…と設定しておく。

ＣＰＵ１１は、前記受講者Ｓｔ（リサ）の回答文“My sister and I (am) going to see many things.”について、前記［誤り１］と判定すると（ステップＳ３０（Ｙｅｓ））、前記出題の指示キーワード『答えて』を検出したときから現在までに前記音声入力部１８ａに入力されて取得された講義者音声データＨ「［リサさん］『答えて』ください。」（出力禁止マーク［］付き）と、受講者音声データＨｓ“My sister and I (am) going to see many things.”（出力禁止マーク［］付き）と、講義者音声データＨ「My sister and I (am) going to see many things. どこがおかしいかな？そう！My sister and Iだったら複数(We)になるね。」とを、前記指示キーワード『答えて』と、その指示の時点での前記時計カウンタＴによる講義時間データ［１７：４５］と、前記ページ位置［中２英語；Ｐ１９；基本練習２−４］のデータと、［出題］アイコンに前記［誤り１］の回答文［×］“My sister and I (am) going to see many things.”を対応付けて設定した隠しデータとに対応付けて、前記講義データエリア１２ｄ内の講義データ１２ｄ１に追加して登録する（ステップＳ３１）。

ＣＰＵ１１は、このタイミング以降に前記音声入力部１８ａに入力される講義者音声データＨを、前記［誤り１］の説明データとして、前記教科書目次データ１２ｃ１及びページ位置ポインタデータ１２ｅに従った教科書のページ位置［中２英語；Ｐ１９；基本練習２−４］のデータに対応付けて取得していく（ステップＳ３２）。

なお、前記ステップＳ２４〜Ｓ２６の処理に従い音声認識された受講者音声データＨｓの回答文について、前記［誤り２］と判定された場合も（ステップＳ３３（Ｙｅｓ））、前記［誤り１］と判定された場合と同様に、このタイミング以前に取得された講義者音声データＨを登録し（ステップＳ３４）、このタイミング以降に前記音声入力部１８ａに入力される講義者音声データＨを、前記［誤り２］の説明データとして、前記教科書のページ位置［中２英語；Ｐ１９；基本練習２−４］のデータに対応付けて取得していく（ステップＳ３５）。

また、前記［誤り１］［誤り２］に含まれない他の類型の誤りと判定された場合であっても（ステップＳ３６（Ｙｅｓ））、前記同様に、このタイミング以前に取得された講義者音声データＨを登録し（ステップＳ３７）、このタイミング以降に前記音声入力部１８ａに入力される講義者音声データＨを、当該他の類型に応じた説明データとして取得していく（ステップＳ３８）。

そして講義者Ｌｅは、図１１（Ａ）に示すように、「［リサさん］もう一度『チャレンジ』ね。」と発声する。

受講者Ｓｔ（ここでは「リサ」）は、前記講義者Ｌｅの発声「［リサさん］もう一度『チャレンジ』ね。」に応じて、当該受講者Ｓｔ自身の再考した回答文“My sister and I (are) going to see many things.”を発声する。

また講義者Ｌｅは、前記受講者Ｓｔの発声した回答文“My sister and I (are) going to see many things.”に応じた板書(are)を加えながら、図１１（Ｂ）に示すように、「My sister and I (are) going to see many things.だね。よくできました。」と発声する。

ここで、ＣＰＵ１１は、講義者音声データＨに含まれる指示キーワード『チャレンジ』と『どうぞ』については、同じ種類の項目［基本練習］の出題を指示する指示キーワードであると判断する。

ＣＰＵ１１は、前記音声入力部１８ａにより入力した講義者音声データＨに含まれる出題を指示する指示キーワード『チャレンジ』を検出すると（ステップＳ２１（Ｙｅｓ））、前記ステップＳ３２に従い取得した［誤り１］の説明データとしての講義者音声データＨを、前記ページ位置［中２英語；Ｐ１９；基本練習２−４］のデータに対応付けて、前記講義データエリア１２ｄ内の講義データ１２ｄ１に追加して登録する（ステップＳ２２）。なお、ここでは、前記［誤り１］の説明データとしての講義者音声データＨは取得されていないので、前記講義データ１２ｄ１に対する追加の登録はない。

そしてＣＰＵ１１は、前記指示キーワード『チャレンジ』を検出したタイミング以降に前記音声入力部１８ａにより入力された講義者音声データＨ「［リサさん］もう一度『チャレンジ』ね。」と、受講者音声データＨｓ“My sister and I (are) going to see many things.”と、講義者音声データＨ「My sister and I (are) going to see many things.だね。よくできました。」とを、前回の基本練習の出題のときと同様に、［出題］アイコンと、前記教科書目次データ１２ｃ１及びページ位置ポインタデータ１２ｅに従った教科書［中学２年英語］のページ位置［中２英語；Ｐ１９；基本練習２−４］のデータとに対応付けて取得していく（ステップＳ２３）。

ここでＣＰＵ１１は、前回同様に、音声入力部１８ａに入力されて取得される音声データを音声認識することで、前記受講者Ｓｔ（リサ）の再考した回答文の音声データＨｓ“My sister and I (are) going to see many things.”を検出すると（ステップＳ２４（Ｙｅｓ））、当該受講者Ｓｔの音声データＨｓに出力禁止マーク［］Ｘｐを付加する（ステップＳ２５）。

またＣＰＵ１１は、前記音声認識した受講者Ｓｔ（リサ）の再考した回答文“My sister and I (are) going to see many things.”と、前記電子教科書（テキスト）Ｔｘの該当するテキスト位置［中２英語；Ｐ１９；基本練習２−４］に対応して集録されている正解文とを比較して、前記回答文の正誤を判定する（ステップＳ２６）。

ＣＰＵ１１は、前記受講者Ｓｔ（リサ）の今度の回答文“My sister and I (are) going to see many things.”について、［正解］と判定すると（ステップＳ２７（Ｙｅｓ））、前記出題の指示キーワード『チャレンジ』を検出したときから現在までに前記音声入力部１８ａに入力されて取得された前記講義者音声データＨ「［リサさん］もう一度『チャレンジ』ね。」（出力禁止マーク［］付き）と、受講者音声データＨｓ“My sister and I (are) going to see many things.”（出力禁止マーク［］付き）と、講義者音声データＨ「My sister and I (are) going to see many things.だね。よくできました。」とを、前記指示キーワード『チャレンジ』と、その指示の時点での前記時計カウンタＴによる講義時間データ［２７：１５］と、前記ページ位置［中２英語；Ｐ１９；基本練習２−４］のデータと、［出題］アイコンに前記［正解］の回答文［○］“My sister and I (are) going to see many things.”を対応付けて設定した隠しデータとに対応付けて、前記講義データエリア１２ｄ内の講義データ１２ｄ１に追加して登録する（ステップＳ２８）。

ここで、講義者Ｌｅが、前記［正解］の回答文［○］“My sister and I (are) going to see many things.”について、何らかの説明を発声した場合、ＣＰＵ１１は、当該講義者Ｌｅの音声データＨを、正解の説明データとして、前記教科書目次データ１２ｃ１及びページ位置ポインタデータ１２ｅに従った教科書のページ位置［中２英語；Ｐ１９；基本練習２−４］のデータに対応付けて取得していく（ステップＳ２９）。

この後、講義者Ｌｅは、図１１（Ｃ）に示すように、「きょうは『ここまで』『講義データを送る』よ。みんな復習してね。今日欠席の○○にも送ったよ！」と発声する。

ここで、ＣＰＵ１１は、講義者音声データＨに含まれる指示キーワード『ここまで』と『おわり』については、同じ種類の項目［基本練習］の終了を指示する指示キーワードであると判断する。

ＣＰＵ１１は、前記講義者音声データＨに含まれる講義の終了を指示する指示キーワード『ここまで』を検出すると（ステップＳ３９（Ｙｅｓ））、表示部１７に［講義］アイコンＩｃを表示させ、このタイミング以前に音声入力部１８ａに入力されて取得された講義者音声データＨ（ここでは、前記正解の説明の音声データと前記講義終了の説明の音声データ「きょうは『ここまで』『講義データを送る』よ。みんな復習してね。今日欠席の○○にも送ったよ！」）を、前記指示キーワード『ここまで』と、その指示の時点での前記時計カウンタＴによる講義時間データ［３２：１５］と、前記ページ位置［中２英語；Ｐ１９；基本練習２−４］のデータと、［終了］アイコン及びその動作制御（終了の講義再生）のデータとに対応付けて、前記講義データエリア１２ｄ内の講義データ１２ｄ１に追加して登録する（ステップＳ４０）。なお、ここでも前記同様に、応対音声としての講義者音声データＨ「今日欠席の○○君にも送ったよ！」には、出力禁止マーク［］Ｘｐを付加して登録する。

そしてＣＰＵ１１は、前記受講者データエリア１２ｅに記憶されている各受講者（生徒等）Ｓｔ…が使用する受講者端末（タブレット端末２０Ｔ，電子辞書２０Ｄ等）２０…の通信アドレスに従い、前記講義データエリア１２ｄに今回生成して登録した講義データ１２ｄ１を、前記無線通信部１９あるいは通信部１５を介して、欠席者を含む各受講者Ｓｔ…の受講者端末２０…に送信し、また、前記教育コンテンツサーバ３０に送信する（ステップＳ４１）。

なお、ＣＰＵ１１は、前記講義者Ｌｅによるその他の指示を検出した場合も（ステップＳ４２（Ｙｅｓ））、前記同様にその検出以前に取得した音声データを該当する教科書のページ位置や講義内容のデータに対応付けて登録する（ステップＳ４３）。

このように、撮影専用の特別講義を行なう必要なく、電子教科書データ（１２ｂ）や書籍の教科書ＢＴｘを利用して普段行っている講義を普段通り行うだけで、例えば、講義毎のテキスト位置のデータに講義者音声データＨを対応付けた講義データ１２ｄｎを生成することできる。そして、生成した講義データ１２ｄｎを、当該講義の受講対象者の各受講者端末２０…や教育コンテンツサーバ３０に送ることで、該当する講義の復習、再受講、講義欠席者の受講など、利用者にとって適切に利用できる講義データを得ることが可能になる。

なお、前記実施形態では、図３に示す第１実施形態の教科書目次データ（番号のみ）１２ｃ１に基づいて、現在講義対象となっているテキストＴｘのページ位置を判定する場合について説明したが、図４に示す第２実施形態の教科書目次データ（タイトルを含む）１２ｃ２を使用すれば、講義者音声データＨに含まれる指示キーワードの種類を多様化できる。

例えば、前記第１実施形態では、指示キーワード『教科書のＰ１８』を検出してテキストＴｘのページ位置［中２英語；Ｐ１８］を判定し、また、指示キーワード『基本練習』を検出してテキストＴｘのページ位置［中２英語；Ｐ１９；基本練習２−４］を判定したが、前記第２実施形態の教科書目次データ（タイトルを含む）１２ｃ２を使用することで、指示キーワード『A Trip to NYC』を検出すれば、テキストＴｘのページ位置［中２英語；Ｐ１８］を判定でき、また、指示キーワード『( )内を補って』を検出すれば、テキストＴｘのページ位置［中２英語；Ｐ１９；基本練習２−４］を判定できるようになる。

すなわち、本実施形態の講義者端末１０では、講義者音声データＨに含まれる指示キーワードを検出して、講義対象のテキスト位置を判定し、当該テキスト位置を対象として講義者Ｌｅが行う説明の音声データ（講義者音声データ）Ｈを、講義データとして登録するので、講義者Ｌｅが受講者Ｓｔに対し講義対象のテキスト位置について明確な説明を行なうことで、適切な講義データを生成できるようになる。

また、前記実施形態では、前記講義者Ｌｅが講義した小単元（講義項目）毎の区切りを講義者音声データＨに含まれる指示キーワードに従い検出することで、当該検出毎に、前回検出のタイミング以降で今回検出のタイミング以前に音声入力された講義者音声データＨを含む講義中の音声データを、各対応するテキスト位置と講義の内容に対応付けて講義データエリア１２ｄに順次追加して登録し、該当する講義データ１２ｄｎを生成する構成とした。

これに対し、前記講義者Ｌｅが講義した小単元（講義項目）毎の区切りを検出する毎に、前記同様のタイミング間で音声入力された講義者音声データＨを含む講義中の音声データを、各対応するテキスト位置と講義の内容に対応付けて教育コンテンツサーバ３０に送信することで（例えば、ステップＳ６，Ｓ９，Ｓ１４，…，Ｓ４０参照）、該当する講義データ１２ｄｎを当該教育コンテンツサーバ３０に直接登録して生成する構成としてもよい。

図１２、図１３は、前記講義者端末１０の講義データ送信処理に従い生成された講義データ１２ｄｎを受信した受講者端末２０（タブレット端末２０Ｔ，電子辞書２０Ｄ等）でのユーザ（受講者）操作に応じた講義データ１２ｄｎの再生動作（その１）（その２）を示す図である。

受講者端末２０において、前記図１１（Ｃ）で示したように、講義者端末１０（又は教育コンテンツサーバ３０）から送信された講義データ１２ｄ１が受信された場合、図１１（Ｄ）に示すように、当該受講者端末２０のＣＰＵは、その表示部に［講義］アイコンＩｃを表示する。

そして受講者端末２０は、前記［講義］アイコンＩｃに対する受講者Ｓｔのタッチ操作の指示を検出すると、図１２（Ａ）に示すように、前記講義データ１２ｄ１（図５参照）のヘッダ［４月２５日_２時間目_中学２年英語Ｐ１８−１９（２年３組）］とテキスト位置及び講義内容のデータに基づいて、当該講義データ１２ｄ１が対象とする各講義項目の講義内容を選択的に再生させるための各項目アイコン（［開始］アイコンＫ１／［イントロ］アイコンＫ２ａ／［本文］アイコンＫ２ｂ／［基本文説明］アイコンＫ２ｃ／［基本練習説明］アイコンＫ２ｄ）、及び［全体再生］アイコンＫＡ、［本文基本］アイコンＫＢ、［基本練習］アイコンＫＣ、及び選択された講義項目の音声データを聞くだけか練習もするかを選択するための［聞く］アイコンＫＬ、［練習］アイコンＫＰを表示する。

前記［全体再生］アイコンＫＡは、前記各項目アイコンＫ２ａ〜Ｋ２ｄに対応する各講義項目の講義内容をその全体を通して再生させるためのアイコンである。前記［本文基本］アイコンＫＢは、前記各項目アイコンＫ２ａ〜Ｋ２ｄに対応する各講義項目のうち、［本文］アイコンＫ２ｂと［基本文説明］アイコンＫ２ｃに対応する講義項目の講義内容を選択して再生させるためのアイコンである。前記［基本練習］アイコンＫＣは、前記各項目アイコンＫ２ａ〜Ｋ２ｄに対応する各講義項目のうち、［基本文説明］アイコンＫ２ｃと［基本練習説明］アイコンＫ２ｄに対応する講義項目の講義内容を選択して再生させるためのアイコンである。

前記［本文基本］アイコンＫＢをペンＰに示すようにタッチ操作して指示すると、これに応じて再生対象となる講義項目に対応した［本文］アイコンＫ２ｂと［基本文説明］アイコンＫ２ｃが識別表示される。

ここで、受講者端末２０は、前記講義データ１２ｄ１（図５参照）のヘッダ［４月２５日_２時間目_中学２年英語Ｐ１８−１９（２年３組）］に基づいて、講義対象の教科書［中２英］とその講義項目［ＵＮＩＴ２］［２−１］を表示させることで、ユーザ（受講者Ｓｔ）は、書籍の教科書ＢＴｘあるいは電子教科書データ（１２ｂ）の講義対象の見開きページを開いて、当該ページに対応する前記講義データ１２ｄ１を再生させることができる。

次に、図１２（Ｂ）のペンＰ１に示すように、前記［練習］アイコンＫＰをタッチ操作して指示すると、これに応じて再生対象となる講義項目に対応した［本文］アイコンＫ２ｂと［基本練習説明］アイコンＫ２ｄが識別表示される。

なお、前記講義者端末１０において、前記図３で示した第１実施形態の教科書目次データ（番号のみ）１２ｃ１ではなく、前記図４で示した第２実施形態の教科書目次データ（タイトルを含む）１２ｃ２を使用して、前記図５で示した講義データ１２ｄ１を生成した場合、前記受講者端末２０は、図１２（Ｃ）に示すように、講義対象の講義項目として、そのタイトルを加えた［ＵＮＩＴ２］［A Trip to NYC］［２−１］を表示させることができる。

そして、受講者Ｓｔ（講義欠席者含む）は、前記表示中の各アイコンＫ１，Ｋ２ａ〜Ｋ２ｄ，ＫＡ，ＫＢ，ＫＣのうち、任意のアイコンをペンＰによりタッチ操作して指示することで、受講者端末２０は、当該指示されたアイコンに対応する講義データ１２ｄ１の講義項目の音声データの再生を行う。

例えば、図１２（Ｂ）あるいは図１２（Ｃ）のペンＰ１，Ｐ２，Ｐ３に示すように、受講者Ｓｔ（講義欠席者含む）が［練習］アイコンＫＰと［本文］アイコンＫ２ｂと［基本練習説明］アイコンＫ２ｄを指示すると、先ず、前記講義データ１２ｄ１に登録されている［本文］アイコン及びその動作制御（本文の講義再生）のデータ、講義時間データ［０８：２１］、講義者音声データＨ「『本文』を読んで、内容を説明するよ！<Hi, Dick.><<こんにちは、ディック>>…<<ぼくは、来週、ニューヨーク市に行く予定です。>>…」に基づいて、当該講義者音声データＨの再生を、図１２（Ｄ）〜図１３（Ａ）に示すように、順次行う。

具体的には、前記図９（Ｃ）で示したように、前記講義者端末１０での講義データ１２ｄ１の生成、登録に際し、講義者Ｌｅの講義により行った本文に対応する音声データの再生を同様に行う。

但し、前記講義者音声データＨ「『本文』を読んで、内容を説明するよ！<Hi, Dick.><<こんにちは、ディック>>…<<ぼくは、来週、ニューヨーク市に行く予定です。>>…」のうち、第１言語（英語）の音声部分には第１言語マーク< >Ｍ１が付加され、第２言語（日本語）の音声部分には第２言語マーク<< >>Ｍ２が付加されているので、受講者端末２０のＣＰＵは、当該第１言語の音声部分<Hi, Dick.><What are your plans for the holidays?>…を再生する毎に、その再生の動作を一旦停止して合成音声Ｈｃ「日本語訳を答えてください。」を出力し、直前に再生した第１言語の音声部分<Hi, Dick.><What are your plans for the holidays?>…に対応した第２言語の音声部分<<こんにちは、ディック>><<休日のあなたの予定は何？>>…を受講者Ｓｔに答えさせるように動作する。

そして、受講者端末２０は、前記受講者Ｓｔが答えた日本語の受講者音声Ｈｓを音声認識し、前記講義者音声データＨの再生を一旦停止した直後に含まれる第２言語の音声部分との一致／不一致を判定することで、一致と判定した場合は合成音声Ｈｃ「正解：ピンポン」を出力し、不一致と判定した場合は合成音声Ｈｃ「不正解：ブッブー」を出力する。また、前記講義者音声データＨの第２言語の音声部分<<こんにちは、ディック>><<休日のあなたの予定は何？>>…について、前記受講者Ｓｔが答えた日本語の受講者音声Ｈｓの何れとも一致すると判定した場合は、合成音声Ｈｃ「本文終了。よくできました。」を出力する。

すると次に、受講者端末２０は、前記講義データ１２ｄ１に登録されている［基本練習説明］アイコン及びその動作制御（基本練習の講義再生）のデータ、講義者音声データＨ「『基本練習』を見てね。」「［リサさん］『答えて』ください。」に基づいて、当該講義者音声データＨの再生を、図１３（Ｂ）に示すように行う。

この際、前記講義者音声データＨ「『基本練習』を見てね。」「［リサさん］『答えて』ください。」のうち、出力禁止マーク［］Ｘｐ（図１０（Ｃ）参照）が付加されている音声データ（ここでは講義者音声データＨ［リサさん］）の出力は禁止されるので、前記講義データ１２ｄｎを複数の受講者Ｓｔ…（講義欠席者含む）が利用する段階で、その講義に出席して講義者Ｌｅと応対した受講者Ｓｔの個人が特定されるのを、未然に防止することができる。

ここで、受講者Ｓｔは、書籍の教科書ＢＴｘ又は電子教科書データのテキストＴｘの［基本練習２−４］を参照し、（）内を補って、「My sister and I (will) going to see many things.」と発声して答える。

すると、受講者端末２０は、入力された受講者音声データＨｓ「My sister and I (will) going to see many things.」を音声認識し、当該受講者端末２０にこれまでに受信されている同一の講義対象の講義項目［中学２年英語Ｐ１８−１９］を含む全ての講義データ１２ｄｎ…の中から、前記音声認識された受講者音声データＨｓ「My sister and I (will) going to see many things.」と一致する音声データＨｓを検索する。

ここで、受講者端末２０において、過去に受信された講義データ１２ｄｎ（例えば［４月２１日_１時間目_中学２年英語Ｐ１８−１９（２年１組）］）において、［誤り２］の隠しデータとして登録されている回答文［×］“My sister and I (will) going to see many things.”が前記受講者音声データＨｓと一致して検索されると、図１３（Ｃ）に示すように、当該［誤り２］の隠しデータに対応付けられて登録されている［誤り２］の説明データとしての講義者音声データＨ「My sister and I (will) going to see many things. Willは未来の助動詞ですが、going to とつながらないね。」を再生する。

そして、受講者Ｓｔは、前記［誤り２］の説明データとしての講義者音声データＨに基づいて、再考した答え「My sister and I (are) going to see many things.」を発声する。

すると、受講者端末２０は、入力された受講者音声データＨｓ「My sister and I (are) going to see many things.」と、前記講義データ１２ｄ１に［正解］の隠しデータとして登録されている回答文［○］“My sister and I (are) going to see many things.”とが一致したと判定することで、当該［正解］の隠しデータに対応付けられて登録されている［正解］の説明データとしての講義者音声データＨ「My sister and I (are) going to see many things. そうだね。よくできました。」を再生する。

図１４は、前記講義者端末１０の教科書目次データエリア１２ｃに記憶した中学英語２年の電子教科書（テキスト）Ｔｘに対応した第３実施形態の教科書目次データ（タイトル・新出単語を含む）１２ｃ３の内容を示す図である。

前記教科書目次データ（タイトル・新出単語を含む）１２ｃ３は、前記図４で示した教科書目次データ（タイトルを含む）１２ｃ２と比較して、各［パート］に対応付けられた［新出単語］も含む点で異なる。

図１５は、前記講義者端末１０において第３実施形態の教科書目次データ（タイトル・新出単語を含む）１２ｃ３を使用した場合のユーザ（講義者）操作に応じた講義の過程と、受講者端末２０での講義データ１２ｄｎの再生動作を示す図である。

すなわち、前記講義者端末１０では、図１５（Ａ）に示すように、第３実施形態の教科書目次データ（タイトル・新出単語を含む）１２ｃ３を使用することで、講義データ１２ｄｎのテキスト位置［中２英語；Ｐ１８；本文］と［holiday］アイコンに対応付けて、当該教科書（Ｔｘ）の新出単語（ここでは“holiday(s)休日”）を含む講義者音声データＨ「『休日』の意味の他の単語をしっているかな？…holidayは短めの休暇。Vacationは長い休み。どちらも長めの休暇や休暇旅行のときに使う単語ですが、…アメリカでもイギリスでも祝日はholidayです。」も登録できるようになる。

そして、前記受講者端末２０（２０Ｄ／２０Ｔ）では、図１５（Ｂ）に示すように、前記講義データ１２ｄｎに登録された新出単語の講義項目に対応するアイコン［holiday］ＫＮを表示させ、当該新出単語のアイコン［holiday］ＫＮをタッチ操作Ｐすることで、前記講義データ１２ｄｎに登録されている新出単語［holiday］の説明としての講義者音声データＨ「『休日』の意味の他の単語をしっているかな？…holidayは短めの休暇。Vacationは長い休み。どちらも長めの休暇や休暇旅行のときに使う単語ですが、…アメリカでもイギリスでも祝日はholidayです。」を再生できる。

したがって、前記構成の講義者端末１０によれば、講義対象の教科書ＢＴｘ（Ｔｘ）の各講義項目等を、講義者Ｌｅが音声（指示キーワードを含む）により指示しながら説明して各受講者Ｓｔ…に対する講義を行う。するとＣＰＵ１１は、前記講義者Ｌｅの音声を認識することによる指示キーワードを、前記教科書ＢＴｘ（Ｔｘ）に含まれる各講義項目の番号と記述ページを組合せて記憶している教科書目次データ１２ｃｎに基づき検出する毎に、前回の指示を検出したタイミング以降で今回の指示を検出したタイミング以前に音声入力部１８ａで入力して取得した講義者音声データＨを含む講義中の音声データを、前記前回の指示に応じたテキスト位置（各講義項目の番号等）のデータに対応付けて、順次、講義データ１２ｄｎとして講義データエリア１２ｄ又は教育コンテンツサーバ３０に送信して登録する。

そして、前記登録した講義データ１２ｄｎを前記各受講者Ｓｔ…（講義欠席者含む）の受講者端末２０…に送信し、当該各受講者Ｓｔ…は、自身の受講者端末２０で受信した前記講義データ１２ｄｎを開くことで、当該講義データ１２ｄｎに基づいて、前記講義者Ｌｅが行った教科書ＢＴｘ（Ｔｘ）の各講義項目等に対する指示毎の講義者音声データＨを含む講義中の音声データの再生を、所望の講義項目等を選択しながら行わせることができる。

これにより、受講者（講義欠席者含む）Ｓｔ…は、受講者端末２０として電子教科書データ（１２ｂ）を表示可能なタブレット端末２０Ｔを持たずとも、電子辞書２０Ｄを持つだけで、書籍の教科書ＢＴｘを対象に、前記講義データ１２ｄｎを、復習、再受講、講義欠席後の受講など、適切且つ効果的に利用することができる。

また、前記構成の講義者端末１０によれば、前記講義者音声データＨを含む講義中の音声データに、例えば、講義者Ｌｅが受講者Ｓｔに呼びかけたり、受講者Ｓｔが答えたりする等の応対音声が含まれる場合は、当該講義中の音声データの応対音声が含まれる部分に出力禁止マーク［］Ｘｐを付加して前記講義データ１２ｄｎに登録する。

これにより、前記講義データ１２ｄｎを利用する段階で、受講者Ｓｔの個人を特定可能な講義者音声データＨや受講者音声データＨｓが自動再生されないように予め設定することができる。

また、前記構成の講義者端末１０によれば、前記講義の過程で取得した講義者音声データＨに第１言語の音声（ここでは<英語>）と第２言語の音声（ここでは<<日本語>>）とが含まれる場合は、当該第１言語の音声部分には第１言語マーク< >Ｍ１を付加し、第２言語の音声部分には第２言語マーク<< >>Ｍ２を付加して前記講義データ１２ｄｎに登録する。

これにより、受講者端末２０では、前記講義データ１２ｄｎに含まれる講義者音声データＨを再生する際に、前記第１言語マーク< >Ｍ１が付加された第１言語の音声部分を再生する毎に、その再生の動作を一旦停止し、当該第１言語の音声部分に対応した第２言語の音声部分を受講者Ｓｔに答えさせるように動作できる。そして、前記受講者Ｓｔが発声して答えた第２言語の音声データを、前記第２言語マーク<< >>Ｍ２が付加された第２言語の音声部分と比較して、その正誤を判定し、判定結果を出力できる。

なお、前記実施形態において説明した講義データ１２ｄｎは、学校の講義を対象として生成する場合として説明したが、当該学校の講義に限らず、各種講習会での講義や各種プレゼンでの講義など、他のあらゆる講義を対象として生成しても、前記同様の作用、効果が得られるのは言うまでもない。

前記各実施形態において記載した電子黒板（講義者端末）１０による各処理の手法、すなわち、図６，図７，図８のフローチャートに示す講義データ送信処理（その１，２，３）などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピ（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して配布することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワークＮ上を伝送させることができ、このプログラムデータを、通信ネットワークＮに接続された電子機器のコンピュータに通信部１５によって取り込むことで、前述した実際の受講者Ｓｔ…を対象とした講義からの講義データ１２ｄｎの生成機能とその送信機能を実現できる。

本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

［請求項１］
電子機器のデータ送信方法であって、
テキストの位置に対応する指示キーデータを含む音データを取得する音データ取得ステップと、
前記取得された音データに含まれるテキストの指示キーデータを検出する指示キーデータ検出ステップと、
前記指示キーデータを検出する毎に、前回の指示キーデータの検出以降で今回の指示キーデータの検出より前に前記取得された音データを、前記前回の指示キーデータに対応する前記テキストの位置に対応付けて送信するデータ送信ステップと、
を含むデータ送信方法。

［請求項２］
前記音データ取得ステップは、講義者が受講者に講義する講義対象のテキストの位置に対応する指示キーワードを含む音声データを取得し、
前記データ送信ステップは、前記指示キーデータ検出ステップによる指示キーデータの検出毎に、前回の指示キーデータの検出以降で今回の指示の検出より前に前記音データ取得ステップにより取得された音声データを、前記前回の指示に応じたテキストの位置に対応付けて講義データとして送信する請求項１に記載のデータ送信方法。

［請求項３］
前記指示キーデータの検出は、前記取得された音声データを音声認識し、音声認識した音声データに含まれるテキストの指示キーワードを検出する、
ようにした請求項２に記載のデータ送信方法。

［請求項４］
前記テキストの項目を特定する目次データを取得し、
前記指示キーデータの検出は、前記取得された目次データに基づいて、前記取得された音声データに含まれるテキストの項目を特定する指示キーワードを検出する、
ようにした請求項２または請求項３に記載のデータ送信方法。

［請求項５］
前記指示キーデータの検出毎に、前回の指示キーデータの検出以降で今回の指示キーデータの検出より前に前記取得された音声データを音声認識し、前記音声認識された音声データが第１言語の音声データと第２言語の音声データを含むか判断し、
前記第１言語の音声データと第２言語の音声データを含むと判断した場合、前記取得された音声データの講義データとしての送信は、前記第１言語の音声データを含むと判断した同音声データの部分には第１言語の制御情報を付加し、前記第２言語の音声データを含むと判断した同音声データの部分には第２言語の制御情報を付加し、前記前回の指示に応じたテキストの位置に対応付けて講義データとして送信する、
ようにした請求項２乃至請求項４の何れか１項に記載のデータ送信方法。

［請求項６］
前記電子機器は記憶部を有し、
前記講義データの送信は、前記指示キーデータの検出毎に、前回の指示キーデータの検出以降で今回の指示の検出より前に前記取得された音声データを、前記前回の指示に応じたテキストの位置に対応付けて前記記憶部に講義データとして登録し、前記記憶部に登録された講義データを送信する、
ようにした請求項２ないし請求項５の何れか１項に記載のデータ送信方法。

［請求項７］
前記電子機器は外部のサーバとの通信機能を有し、
前記講義データの送信は、前記指示キーデータの検出毎に、前記外部のサーバに対して、前回の指示キーデータの検出以降で今回の指示キーデータの検出より前に前記取得された音声データを、前記前回の指示に応じたテキストの位置に対応付けて講義データとして送信する、
ようにした請求項２ないし請求項６の何れか１項に記載のデータ送信方法。

［請求項８］
音入力部と、
前記音入力部に入力された音データを取得する音データ取得制御手段と、
前記音データ取得制御手段により取得された音データに含まれるテキストの位置の指示キーデータを検出する指示キーデータ検出手段と、
前記指示キーデータ検出手段による指示キーデータの検出毎に、前回の指示キーデータの検出以降で今回の指示キーデータの検出より前に前記音データ取得制御手段により取得された音データを、前記前回の指示キーデータに対応する前記テキストの位置に対応付けて送信するデータ送信制御手段と、
を備えたデータ送信装置。

［請求項９］
音入力部を有する電子機器のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
前記音入力部に入力された音データを取得する音データ取得制御手段、
前記音データ取得制御手段により取得された音データに含まれるテキストの位置の指示キーデータを検出する指示キーデータ検出手段、
前記指示キーデータ検出手段による指示キーデータの検出毎に、前回の指示キーデータの検出以降で今回の指示キーデータの検出より前に前記音データ取得制御手段により取得された音データを、前記前回の指示キーデータに対応する前記テキストの位置に対応付けて送信するデータ送信制御手段、
として機能させるためのコンピュータ読み込み可能なプログラム。

１０ …講義者端末
１１ …ＣＰＵ
１２ …メモリ
１２ａ…講義データ送信処理プログラム
１２ｂ…電子教科書データエリア
１２ｃ…教科書目次データエリア
１２ｄ…講義データエリア
１２ｄ１，１２ｄ２，…講義データ
１２ｅ…ページ位置ポインタデータエリア
１２ｆ…受講者データエリア
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …通信部（インターネット通信）
１６ …キー入力部
１７ …タッチパネル付きカラー表示部
１８ａ…音声入力部（又は音声付き動画入力部）
１８ｂ…音声出力部
１９ …近距離無線通信部
２０ …受講者端末
３０ …教育コンテンツサーバ（Ｗｅｂサーバ）
Ｌｅ …講義者
Ｓｔ …受講者
ＢＴｘ…書籍の教科書等
Ｔｘ …電子テキスト（教科書等）

Claims

電子機器が、
対象のテキストを特定する特定処理と、
音声入力部に入力される音声データを逐次取得する取得処理と、
前記取得処理により逐次取得される音声データ内から、前記対象のテキスト内の特定の位置を示すキーワードに対応する音声を検出する検出処理と、
前記キーワードに対応する音声が検出されたタイミングに応じて、前記取得処理により逐次取得される音声データの中から対象の音声データを特定する特定処理と、
特定された前記対象の音声データを、前記キーワードが示す前記対象のテキスト内の特定の位置に対応付けて送信する送信処理と、
を実行し、
前記特定処理は、前記検出処理により前記キーワードに対応する音声を検出する毎に、前回の前記キーワードに対応する音声の検出以降で今回の前記キーワードに対応する音声の検出より前に前記取得処理により取得された音声データを前記対象の音声データとして特定する処理であり、
前記送信処理は、前記検出処理により前記キーワードに対応する音声を検出する毎に、前記特定処理により特定された前記対象の音声データを、前記キーワードが示す前記対象のテキスト内の特定の位置に対応付けて送信する処理である、
データ送信方法。
電子機器が、
対象のテキストを特定する特定処理と、
音声入力部に入力される音声データを逐次取得する取得処理と、
前記取得処理により逐次取得される音声データ内から、前記対象のテキスト内の特定の位置を示すキーワードに対応する音声を検出する検出処理と、
前記キーワードに対応する音声が検出されたタイミングに応じて、前記取得処理により逐次取得される音声データの中から対象の音声データを特定する特定処理と、
特定された前記対象の音声データを、前記キーワードが示す前記対象のテキスト内の特定の位置に対応付けて送信する送信処理と、
を実行し、
前記対象のテキスト内の特定の位置を示すキーワードは、前記対象のテキストの項目を特定する目次データに対応するキーワードであり、
前記送信処理は、特定された前記対象の音声データを、前記キーワードに対応する目次データが示す前記対象のテキスト内の項目の位置に対応付けて送信する処理である、
データ送信方法。
前記検出処理は、前記取得処理により逐次取得される音声データを音声認識し、音声認識した音声データに含まれるキーワードを検出する処理を含む、
請求項１または２に記載のデータ送信方法。
前記検出処理は、前記キーワードに対応する音声の検出毎に、前回の前記キーワードに対応する音声の検出以降で今回の前記キーワードに対応する音声の検出より前に前記取得処理により取得された音声データを音声認識し、前記音声認識された音声データが第１言語の音声データと第２言語の音声データを含むか判断する処理であり、
前記送信処理は、前記第１言語の音声データと第２言語の音声データを含むと判断した場合、前記対象の音声データの送信は、前記第１言語の音声データを含むと判断した同音声データの部分には第１言語の制御情報を付加し、前記第２言語の音声データを含むと判断した同音声データの部分には第２言語の制御情報を付加し、前記前回の前記キーワードに対応する音声が検出されたときの前記キーワードが示す前記対象のテキスト内の特定の位置に対応付けて送信する処理である、
請求項１乃至請求項３の何れか１項に記載のデータ送信方法。
前記電子機器は講義者の端末であり、
前記対象のテキストは、講義者が受講者に講義する講義対象のテキストであり、
前記送信処理は、特定された前記対象の音声データを、前記キーワードが示す前記対象のテキスト内の位置に対応付けて講義データとして受講者の端末へ送信する処理である、
請求項１乃至請求項４の何れか１項に記載のデータ送信方法。
前記送信処理は、特定された前記対象の音声データを、前記キーワードが示す前記対象のテキスト内の特定の位置に対応付けて記憶部に講義データとして登録し、前記記憶部に登録された講義データを送信する処理である、
請求項５に記載のデータ送信方法。
前記電子機器は外部のサーバとの通信機能を有し、
前記送信処理は、特定された前記対象の音声データを、前記キーワードが示す前記対象のテキスト内の特定の位置に対応付けて講義データとして前記外部のサーバに送信する処理である、
請求項５または６に記載のデータ送信方法。
対象のテキストを特定する特定手段と、
音声入力部に入力される音声データを逐次取得する取得手段と、
前記取得手段により逐次取得される音声データ内から、前記対象のテキスト内の特定の位置を示すキーワードに対応する音声を検出する検出手段と、
前記キーワードに対応する音声が検出されたタイミングに応じて、前記取得手段により逐次取得される音声データの中から対象の音声データを特定する特定手段と、
特定された前記対象の音声データを、前記キーワードが示す前記対象のテキスト内の特定の位置に対応付けて送信する送信手段と、
を備え、
前記特定手段は、前記検出手段により前記キーワードに対応する音声を検出する毎に、前回の前記キーワードに対応する音声の検出以降で今回の前記キーワードに対応する音声の検出より前に前記取得手段により取得された音声データを前記対象の音声データとして特定する処理であり、
前記送信手段は、前記検出手段により前記キーワードに対応する音声を検出する毎に、前記特定手段により特定された前記対象の音声データを、前記キーワードが示す前記対象のテキスト内の特定の位置に対応付けて送信する処理である、
データ送信装置。
コンピュータを、
対象のテキストを特定する特定手段、
音声入力部に入力される音声データを逐次取得する取得手段、
前記取得手段により逐次取得される音声データ内から、前記対象のテキスト内の特定の位置を示すキーワードに対応する音声を検出する検出手段、
前記キーワードに対応する音声が検出されたタイミングに応じて、前記取得手段により逐次取得される音声データの中から対象の音声データを特定する特定手段、
特定された前記対象の音声データを、前記キーワードが示す前記対象のテキスト内の特定の位置に対応付けて送信する送信手段、
として機能させ、
前記特定手段は、前記検出手段により前記キーワードに対応する音声を検出する毎に、前回の前記キーワードに対応する音声の検出以降で今回の前記キーワードに対応する音声の検出より前に前記取得手段により取得された音声データを前記対象の音声データとして特定する処理であり、
前記送信手段は、前記検出手段により前記キーワードに対応する音声を検出する毎に、前記特定手段により特定された前記対象の音声データを、前記キーワードが示す前記対象のテキスト内の特定の位置に対応付けて送信する処理である、
コンピュータ読み込み可能なプログラム。
対象のテキストを特定する特定手段と、
音声入力部に入力される音声データを逐次取得する取得手段と、
前記取得手段により逐次取得される音声データ内から、前記対象のテキスト内の特定の位置を示すキーワードに対応する音声を検出する検出手段と、
前記キーワードに対応する音声が検出されたタイミングに応じて、前記取得手段により逐次取得される音声データの中から対象の音声データを特定する特定手段と、
特定された前記対象の音声データを、前記キーワードが示す前記対象のテキスト内の特定の位置に対応付けて送信する送信手段と、
を備え、
前記対象のテキスト内の特定の位置を示すキーワードは、前記対象のテキストの項目を特定する目次データに対応するキーワードであり、
前記送信手段は、特定された前記対象の音声データを、前記キーワードに対応する目次データが示す前記対象のテキスト内の項目の位置に対応付けて送信する処理である、
データ送信装置。
コンピュータを、
対象のテキストを特定する特定手段、
音声入力部に入力される音声データを逐次取得する取得手段、
前記取得手段により逐次取得される音声データ内から、前記対象のテキスト内の特定の位置を示すキーワードに対応する音声を検出する検出手段、
前記キーワードに対応する音声が検出されたタイミングに応じて、前記取得手段により逐次取得される音声データの中から対象の音声データを特定する特定手段、
特定された前記対象の音声データを、前記キーワードが示す前記対象のテキスト内の特定の位置に対応付けて送信する送信手段、
として機能させ、
前記対象のテキスト内の特定の位置を示すキーワードは、前記対象のテキストの項目を特定する目次データに対応するキーワードであり、
前記送信手段は、特定された前記対象の音声データを、前記キーワードに対応する目次データが示す前記対象のテキスト内の項目の位置に対応付けて送信する処理である、
コンピュータ読み込み可能なプログラム。