JP6672645B2 - 情報端末装置およびプログラム - Google Patents

Description

本発明は、各種情報の検索機能を備えた情報端末装置およびその制御プログラムに関する。

従来の辞書機能を備えた情報表示制御装置において、英語教材などの文字列を含むコンテンツ情報を表示させ、当該コンテンツ情報に含まれる任意の文字列を指定すると、指定された文字列に対応する辞書の見出し語が検索され当該見出し語の説明情報が表示される。そして、検索された見出し語に対応付けて、前記指定された文字列を含むコンテンツ情報を読み出すためのリンク情報が登録される。

これにより、前記登録された見出し語を再表示させる際に、当該見出し語に対応付けられたコンテンツ情報も読み出して表示できるようにしたことが考えられている（例えば、特許文献１参照。）。

特許第４３７０８７０号公報

前記従来の情報表示制御装置は、ユーザ自身の装置本体で何らかのコンテンツ情報を表示させて辞書検索するときには有効であるものの、当該装置本体とは別体の黒板やモニタ画面などに表示された情報について辞書検索する場合には利用することができない。

本発明は、このような課題に鑑みなされたもので、装置本体とは別体で表示された情報について、当該装置本体で検索した見出し語に前記表示された情報を対応付けて登録することが可能になる情報端末装置およびその制御プログラムを提供することを目的とする。

本発明の一態様による情報端末装置は、時間的に変化している外部の情報を画像データとして取得する画像取得装置により取得された画像データを前記画像取得装置から受信する受信手段と、ユーザ操作に応じて辞書の見出し語を検索する検索手段と、前記検索手段による前記見出し語の検索に応じて、前記見出し語に対応する画像を含んでいる画像データを前記画像取得装置から取得し、取得した前記画像データを前記見出し語と対応付けて登録する登録手段と、を備えたことを特徴としている。

本発明によれば、装置本体とは別体で表示された情報について、当該装置本体で検索した見出し語に前記表示された情報を対応付けて登録することが可能になる。

本発明の情報端末装置１０を、黒板を用いた授業で利用する場合の実施形態に係る情報取得システムの構成を示す図。 本発明の情報端末装置１０を、動画再生装置３０Ｍを用いた授業で利用する場合の実施形態に係る情報取得システムの構成を示す図。 前記情報端末装置１０（１０Ｄ／１０Ｓ）の電子回路の機能構成を示すブロック図。 前記情報端末装置１０として機能する辞書端末１０Ｄの外観構成を示す正面図。 前記情報端末装置１０として機能するタブレット端末１０Ｓの外観構成を示す正面図。 前記情報端末装置１０による情報表示制御処理（その１）を示すフローチャート。 前記情報端末装置１０による情報表示制御処理（その２）を示すフローチャート。 前記情報端末装置１０を、黒板を用いた授業で利用する場合の前記情報表示制御処理に従った表示動作を示す図。 前記情報端末装置１０を、動画再生装置３０Ｍを用いた学習で利用する場合の前記情報表示制御処理に従った表示動作を示す図。

以下図面により本発明の実施の形態について説明する。

図１は、本発明の情報端末装置１０を、黒板を用いた授業で利用する場合の実施形態に係る情報取得システムの構成を示す図である。

この図１で示す情報取得システムの場合は、本発明の情報端末装置１０として機能する辞書端末１０Ｄやタブレット端末１０Ｓに対して、通信機器３０として機能する黒板Ｂｂを撮影するための撮像装置３０Ｖや電子黒板３０Ｂを組み合わせて構成される。

前記情報端末装置１０としての辞書端末１０Ｄやタブレット端末１０Ｓ、前記通信機器３０としての撮像装置３０Ｖや電子黒板３０Ｂは、何れもBluetooth（登録商標）などの近距離無線通信部や屋内wi-fiなどにより相互に通信接続Ｂｔ可能な通信機能を備えている。

図１（Ａ）に示すように、例えば英語の授業で先生Ｔが黒板Ｂｂに英文を書き込んで表示させている状態で、前記撮像装置３０Ｖにより当該黒板Ｂｂを撮影しその板書画像Ｇｂ１を静止画像の連続による動画として記録する。

図１（Ｂ）に示すように、前記情報端末装置１０（ここでは辞書端末１０Ｄ）のユーザ（生徒）Ｕは、当該辞書端末１０Ｄを操作して前記黒板Ｂｂに書き込まれた英文の中で学習したい文字（列）を検索文字として入力しその見出し語を検索する。

なお、前記辞書端末１０Ｄと撮像装置３０Ｖとは、当該辞書端末１０Ｄの起動に伴い、同端末１０Ｄ内に予め設定されている通信対象機器（撮像装置３０Ｖ）の機器ＩＤに従い通信接続が確立される。

前記見出し語の検索として、具体的には、図１（Ｃ１）に示すように、ユーザＵが選択した辞書（ここでは英和辞書）の見出し語検索画面Ｇがタッチパネル付き表示部１５に表示され、当該見出し語検索画面Ｇの検索文字入力エリアＡｋに検索文字“sweater”が入力されると、当該検索文字“sweater”に先頭一致する見出し語が前記選択された英和辞書から検索され、見出し語一覧エリアＬｍに一覧表示される。この見出し語一覧エリアＬｍにおいてユーザＵに選択されて識別表示ｈされた見出し語については、当該選択された見出し語に対応する説明情報が前記英和辞書から読み出されてプレビューエリアＰｖに表示される。

前記見出し語一覧エリアＬｍに一覧表示された見出し語“sweater”の選択が決定されると、図１（Ｃ２）に示すように、当該選択された見出し語の説明情報を全画面表示にした説明情報画面Ｇｅがタッチパネル付き表示部１５に表示される。

すると、前記通信接続中の撮像装置３０Ｖにより撮影された前記見出し語の選択を決定したときの板書画像（静止画）Ｇｂ１が見出し語に対応する画像データとして取得（受信）され、当該板書画像Ｇｂ１が前記見出し語“sweater”に対応付けて登録される。

そして、図１（Ｃ３）に示すように、前記説明情報画面Ｇｅの空エリアに前記受信された板書画像Ｇｂ１が合成されて表示され、当該板書画像Ｇｂ１内に含まれる文字のうち前記選択された見出し語“sweater”に対応する文字のある画像部分が認識されて赤枠などで識別表示ｈされる。

これ以降、前記見出し語“sweater”に対応する説明情報画面Ｇｅを表示させる度に、当該説明情報画面Ｇｅ内に前記登録された板書画像Ｇｂ１が前記同様に合成されて表示される。

これにより、ユーザＵは、黒板Ｂｂでの授業中に辞書検索した見出し語とその説明情報に、そのときの板書画像Ｇｂ１を対応付けて学習することができ、当該見出し語について学習したときの学習状況を印象付けて、より効果的な学習を行なうことができる。

なお、図１（Ｄ）に示すように、電子黒板３０Ｂを通信機器３０として授業に用いた場合、前記ユーザＵの辞書端末１０Ｄには当該電子黒板３０Ｂが通信接続Ｂｔされる。そして、前記同様に、前記辞書端末１０Ｄにおいて、前記電子黒板３０Ｂに書き込まれて表示された文字を検索文字として当該検索文字に対応する見出し語を検索し選択したときには、前記電子黒板３０Ｂの板書画像（静止画）Ｇｂ２が取得（受信）される。そして、図１（Ｅ）とその矢印で示すように、前記受信された板書画像Ｇｂ２が、前記同様に選択された見出し語に対応付けられて登録され、当該見出し語に対応した説明情報画面Ｇｅに合成されて表示される。

前記情報端末装置１０としてタブレット端末１０Ｓを使用する場合、前記見出し語の検索から説明情報の表示を含む辞書検索処理は、当該タブレット端末１０Ｓにインストールされた辞書アプリケーションに従い実行される。なお、この辞書アプリケーションは、当該辞書アプリケーションのタブレット端末１０Ｓへのインストールに伴い内部メモリに記憶された辞書データベースに基づき当該端末１０Ｓ内で前記同様に辞書検索処理を実行するアプリケーションでも良いし、通信ネットワーク上のクラウドサーバ（辞書サーバ）に検索文字のデータを送信して当該辞書サーバ側で辞書検索処理を実行させ、検索結果の見出し語一覧（Ｌｍ）や説明情報（Ｐｖ／Ｇｅ）のデータを受信してタッチパネル付き表示部１５に表示させるだけのアプリケーションでも良い。

図２は、本発明の情報端末装置１０を、動画再生装置３０Ｍを用いた授業で利用する場合の実施形態に係る情報取得システムの構成を示す図である。

この図２で示す情報取得システムの場合は、本発明の情報端末装置１０として機能する辞書端末１０Ｄやタブレット端末１０Ｓに対して、通信機器３０として機能する動画再生装置３０Ｍを組み合わせて構成される。この動画再生装置３０Ｍは、インターネットで配信される動画やＤＶＤに記録された動画などを再生するもので、当該動画再生装置３０Ｍも、前記同様に、前記情報端末装置１０（１０Ｄ／１０Ｓ）と相互に通信接続Ｂｔ可能な通信機能を備えている。

すなわち、図２（Ａ）（Ｂ）に示すように、前記動画再生装置３０Ｍで再生される学習教材の画像ＧｍをユーザＵが見ながら学習する場合に、当該ユーザＵの辞書端末１０Ｄには、前記動画再生装置３０Ｍで再生されている教材画像Ｇｍが、例えば１秒間に３０枚の静止画からなる動画として連続的に受信され、所定の再生時間分の最新の教材画像Ｇｍが、内部メモリに順次更新されながら蓄積される。

そして、この場合も前記同様に、図２（Ｃ１）〜（Ｃ３）に示すように、前記辞書端末１０Ｄにおいて、前記教材画像Ｇｍに表示されている文字を検索文字として見出し語を検索し、検索された見出し語一覧（Ｌｍ）から見出し語を選択すると、当該見出し語選択時に受信されて蓄積された所定再生時間分の最新の教材画像Ｇｍが、前記選択された見出し語に対応付けて登録され、同見出し語に対応する説明情報画面Ｇｅに合成されて表示される。

図２（Ｄ）は、前記情報端末装置１０としてタブレット端末１０Ｓを使用した場合の辞書検索処理に従い、前記同様に選択した見出し語の説明情報画面Ｇｅに前記教材画像Ｇｍを合成して表示させた具体例を示している。

図３は、前記情報端末装置１０（１０Ｄ／１０Ｓ）の電子回路の機能構成を示すブロック図である。

図４Ａは、前記情報端末装置１０として機能する辞書端末１０Ｄの外観構成を示す正面図である。

図４Ｂは、前記情報端末装置１０として機能するタブレット端末１０Ｓの外観構成を示す正面図である。

前記辞書端末１０Ｄは、本体ケース１１と蓋体ケース１２とをヒンジ１３を介して開閉可能にした本体構造を有する。前記本体ケース１１の表面には、ＯＮ（電源）キー、メニューキー、文字入力キー、辞書選択キー、［訳／決定］キー、［戻る］キーなどを備えたキー入力部１４が設けられる。前記蓋体ケース１２には、その略全面に、バックライト付きのカラー液晶表示画面を有するタッチパネル付き表示部１５が設けられる。

前記タブレット端末１０Ｓは、その一面側の略全面に、バックライト付きのカラー液晶表示画面を有するタッチパネル付き表示部１５が設けられる。このタッチパネル付き表示部１５は、当該表示部１５に表示されるソフトキーボードやアイコンに基づいてキー入力部１４としても機能する。

前記図４Ａで示す辞書端末１０Ｄおよび前記図４Ｂで示すタブレット端末１０Ｓは、何れも、前記図１を参照して説明したのと同様に、当該辞書端末１０Ｄやタブレット端末１０Ｓを黒板Ｂｂを用いた授業で利用した場合に、辞書検索して選択した見出し語の説明情報画面Ｇｅに当該授業中の板書画像Ｇｂ１を前記撮像装置３０Ｖから受信し合成して表示させた状態を示している。

前記情報端末装置１０の電子回路は、コンピュータであるＣＰＵ１６備える。このＣＰＵ１６は、フラッシュＲＯＭなどの記憶部１７に予め記憶された情報表示制御プログラム１７ａ、あるいはメモリカードなどの外部記録媒体１８から記録媒体読取部１９により読み取られて前記記憶部１７に記憶された情報表示制御プログラム１７ａ、あるいはインターネットなど外部の通信ネットワーク上のサーバ装置（プログラムサーバ）からダウンロードされ前記記憶部１７に記憶された情報表示制御プログラム１７ａに従って回路各部の動作を制御する。

前記ＣＰＵ（プロセッサ）１６には、前記キー入力部１４、タッチパネル付き表示部１５、記憶部１７、記録媒体読取部１９が接続される他に、前記通信機器３０（３０Ｖ／３０Ｂ／３０Ｍ）との通信を行なう近距離無線通信部（Bluetooth）２０も接続される。

前記記憶部１７には、前記情報表示制御プログラム１７ａ、辞書データベース１７ｂが記憶され、また、通信対象機器ＩＤエリア１７ｃ、動画データエリア１７ｄ、見出し語（検索文字）対応画像データエリア１７ｅ、マーカ文字列データエリア１７ｆなどが確保される。

前記情報表示制御プログラム１７ａとしては、装置全体の動作を司るシステムプログラム、前述した辞書検索処理を司る辞書アプリケーションプログラム、前記通信機器３０（３０Ｖ／３０Ｂ／３０Ｍ）と連携して前記辞書検索処理での見出し語の選択に伴いそのときの板書画像Ｇｂ１／Ｇｂ２や教材画像Ｇｍを取得して登録するための通信機器連携処理プログラムなどが記憶される。

前記辞書データベース１７ｂには、英和辞書、和英辞書、国語辞書、百科辞書などの各種の辞書データが記憶されている。これらの辞書データには、何れも、見出し語となる単語，熟語，成句に対応付けてその意味や訳文などの説明情報が集録されている。

前記通信対象機器ＩＤエリア１７ｃには、本情報端末装置１０が前記通信機器連携処理プログラムに従い通信対象機器となる前記通信機器３０の機器ＩＤが記憶される。

前記動画データエリア１７ｄには、前記通信対象機器の機器ＩＤに基づき通信接続された前記通信機器３０が動画再生装置３０Ｍ（図２参照）であって、当該動画再生装置３０Ｍで再生される動画（教材画像Ｇｍ）のデータが順次受信されている場合に、受信された動画のデータが所定の再生時間分の最新の動画として記憶され蓄積される。

前記見出し語（検索文字）対応画像データエリア１７ｅには、前記辞書検索処理に従い検索された見出し語を選択したタイミングで、前記通信機器３０（３０Ｖ／３０Ｂ／３０Ｍ）から受信された画像データ（板書画像（静止画）Ｇｂ１／板書画像（静止画）Ｇｂ２／教材画像（動画）Ｇｍ）が、見出し語に対応する画像として取得されて、当該選択された見出し語に対応付けて登録され記憶される。

前記マーカ文字列データエリア１７ｆには、前記辞書検索処理に従い表示された見出し語に対応する説明情報画面Ｇｅにおいて、ユーザ操作に応じて付加されたマーカｍｋ（図７（Ｂ３）参照）の部分に含まれる文字列のデータが当該見出し語の説明情報に対応付けて記憶される。

このように構成された情報端末装置１０は、前記ＣＰＵ１６が前記情報表示制御プログラム１７ａに記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べるような、通信機器３０との連携機能と辞書検索機能とを含む情報表示制御機能を実現する。

次に、前記構成の情報端末装置３０の動作について説明する。

図５Ａ、図５Ｂは、前記情報端末装置１０による情報表示制御処理を示すフローチャートである。

図６は、前記情報端末装置１０を、黒板を用いた授業で利用する場合の前記情報表示制御処理に従った表示動作を示す図である。

図６（Ａ１）〜（Ａ３）に示すように、黒板Ｂｂを用いた英語の授業において、前記情報端末装置３０（３０Ｄ／３０Ｓ）を起動させると、前記通信対象機器ＩＤエリア１７ｃに記憶されている機器ＩＤを有する通信機器３０（３０Ｖ／３０Ｂ／３０Ｍ）と通信可能な状態にあるか否かが、近距離無線通信部２０を介した問合せ信号の送受信に基づき判断される（ステップＳ１）。

ここで、前記通信対象機器ＩＤを有し前記黒板Ｂｂを撮影している通信機器３０（撮像装置３０Ｖ）と通信可能な状態にあると判断されると（ステップＳ１（Ｙｅｓ））、当該撮像装置３０Ｖと通信接続Ｂｔされる（ステップＳ２）。そして、前記撮像装置３０Ｖから動画のデータが順次送信されているか否かが当該動画のデータが受信されるか否かに応じて判断される（ステップＳ３）。

前記撮像装置３０Ｖから動画のデータが送信されている場合には（ステップＳ３（Ｙｅｓ））、当該動画のデータは前記動画データエリア１７ｄに順次記憶され蓄積される（ステップＳ４）。

前記撮像装置３０Ｖから動画のデータは送信されていないので（ステップＳ３（Ｎｏ））、ここでは、当該撮像装置３０と通信接続Ｂｔされた状態が維持される。

この後、先生Ｔによって前記黒板Ｂｂに書き込まれて行く英文の中でユーザＵが調べたい文字（列）（ここでは、単語“sweater”）が出てきた場合に、図６（Ｂ１）に示すように、ユーザ操作に応じて英和辞書が選択されると、タッチパネル付き表示部１５に当該選択された英和辞書の見出し語検索画面Ｇが表示される（ステップＳ５）。

そして、この見出し語検索画面Ｇの検索文字入力エリアＡｋに検索文字“sweater”がユーザ操作に応じて入力されると（ステップＳ６（Ｙｅｓ））、当該検索文字と先頭一致する見出し語が前記英和辞書から検索されて見出し語一覧エリアＬｍに一覧表示される（ステップＳ７）。

この見出し語一覧エリアＬｍに一覧表示された見出し語の中からユーザＵが調べたい見出し語“sweater”がユーザ操作に応じて選択されて識別表示ｈされ、図６（Ｂ２）に示すように、当該見出し語選択の決定操作がユーザ操作に応じて行われると、当該選択された見出し語“sweater”に対応する説明情報画面Ｇｅがタッチパネル付き表示部１５に表示される（ステップＳ８）。そして、前記通信接続されている相手の通信機器３０（撮像装置３０Ｖ）で静止画を表示中であるか否かが当該撮像装置３０Ｖからの受信信号に静止画表示（撮像）中を示す信号が含まれているか否かにより判断される（ステップＳ９）。

前記撮像装置３０Ｖで静止画を表示（撮像）中であると判断されると（ステップＳ９（Ｙｅｓ））、図６（Ａ２）に示すように、前記見出し語選択の決定時点で前記撮像装置３０Ｖにより撮像された静止画（板書画像Ｇｂ１）の送信を当該撮像装置３０Ｖに依頼する画像送信依頼信号Ｂｔ１が送信される（ステップＳ１０）。

すると、前記撮像装置３０Ｖから前記画像送信依頼信号Ｂｔ１に応答して送信された静止画（板書画像Ｇｂ１）のデータＢｔ２が受信されて、見出し語に対応する画像データとして取得される（ステップＳ１１）。

ここで、前記見出し語“sweater”に対応した説明情報画面Ｇｅの左端に沿って表示されている画像リンクの設定を指示する［画像＋］アイコンＩｇがユーザによりタッチ操作されると（ステップＳ１２（Ｙｅｓ））、前記撮像装置３０Ｖから受信された前記見出し語選択の決定時点での板書画像Ｇｂ１が、当該見出し語“sweater”に対応付けて前記見出し語対応画像データエリア１７ｅに登録され、図６（Ｂ３）に示すように、同見出し語“sweater”に対応した説明情報画面Ｇｅの空エリアに合成されて表示される（ステップＳ１３）。

そして、前記板書画像Ｇｂ１に含まれる文字のうち前記見出し語“sweater”に対応する文字が認識され当該文字の部分の画像が赤枠などにより囲まれて識別表示ｈされる（ステップＳ１４）。

この後、［戻る］キーが操作されると（ステップＳ１５（Ｙｅｓ））、新たな見出し語を検索するための検索文字の入力待機状態（ステップＳ６）に戻る。

なお、前記情報端末装置１０を、電子黒板３０Ｂを用いた授業で利用した場合（図１（Ｄ）（Ｅ）参照）には、前記通信機器３０としての撮像装置３０Ｖにより撮影される黒板Ｂｂの板書画像（静止画）Ｇｂ１が受信されて登録されるのに代えて、当該電子黒板３０Ｂの板書画像（静止画）Ｇｂ２が受信されて登録されるだけで、前記同様の情報表示制御処理（ステップＳ１〜Ｓ１５）に従い動作する。

これにより、ユーザＵは、黒板Ｂｂや電子黒板３０Ｂを用いた授業中に辞書検索した見出し語とその説明情報に、そのときの板書画像Ｇｂ１／Ｇｂ２を対応付けて学習することができ、当該見出し語について学習したときの学習状況を印象付けて、より効果的な学習を行なうことができる。

図７は、前記情報端末装置１０を、動画再生装置３０Ｍを用いた学習で利用する場合の前記情報表示制御処理に従った表示動作を示す図である。

図７（Ａ１）〜（Ａ３）に示すように、動画再生装置３０Ｍを用いた英語の学習において、前記情報端末装置１０（１０Ｄ／１０Ｓ）を起動させると、前記同様に通信対象機器である前記動画再生装置３０Ｍと通信接続され（ステップＳ１（Ｙｅｓ）→Ｓ２）、当該動画再生装置３０Ｍから順次送信されてくる教材画像（静止画の連続による動画）Ｇｍのデータが前記動画データエリア１７ｄに所定の再生時間分繰り返し更新されながら記憶されて蓄積される（ステップＳ３（Ｙｅｓ）→Ｓ４）。

この後、前記動画再生装置３０Ｍで再生されて表示される英文の中で、図７（Ａ２）に示すように、ユーザＵが調べたい文字（列）（ここでは、単語“forget”）が出てきた場合に、前記同様に、ユーザ操作に応じて英和辞書が選択され（ステップＳ５）、見出し語検索画面Ｇの検索文字入力エリアＡｋに検索文字“forget”がユーザ操作に応じて入力されると（ステップＳ６）、当該検索文字と先頭一致する見出し語が検索され見出し語一覧エリアＬｍ（図６（Ｂ１）参照）に一覧表示される（ステップＳ７）。

そして、前記見出し語一覧エリアＬｍにおいて、前記検索された見出し語“forget”が選択されて識別表示ｈされ、当該見出し語選択の決定操作が行われると、図７（Ｂ１）に示すように、当該ユーザ操作に応じて選択された見出し語“forget”に対応する説明情報画面Ｇｅがタッチパネル付き表示部１５に表示される（ステップＳ８）。

そして、前記通信接続されている相手の通信機器３０（動画再生装置３０Ｍ）で動画を再生中であることが、当該動画再生装置３０Ｍから受信されている教材画像（静止画の連続による動画）Ｇｍのデータが前記動画データエリア１７ｄに順次記憶されていることにより判断される（ステップＳ１６）。

すると、前記動画データエリア１７ｄに記憶されている教材画像Ｇｍの中から前記選択された見出し語“forget”に対応する文字が認識され当該文字の部分がある再生時間範囲の各画像（各静止画による動画）が抽出されて、見出し語に対応する画像データとして取得される（ステップＳ１７）。

前記抽出（取得）された各画像（各静止画による動画）とその再生時間範囲は、前記選択された見出し語“forget”に対応付けて前記見出し語対応画像データエリア１７ｅに登録される（見出し語に対応する画像として登録される）（ステップＳ１８）。そして、当該登録された各画像のうちの初期画像が動画再生マークＰｍを付けた教材画像Ｇｍとして前記説明情報画面Ｇｅの空エリアに合成されて表示される（ステップＳ１９）。

ここで、前記表示中の説明情報画面Ｇｅに空エリアがない場合、前記動画再生マークＰｍを付けた教材画像Ｇｍは、当該説明情報画面Ｇｅの中央にドラッグ操作などにより移動可能にして表示される。

そして、前記教材画像（各静止画による動画）Ｇｍに含まれる文字のうち前記見出し語“forget”に対応する文字が認識され当該文字の部分の画像が赤枠などにより囲まれて識別表示ｈされる（ステップＳ２０）。

前記説明情報画面Ｇｍに表示されている見出し語“forget”の説明情報のうち、例えばユーザＵによって注目したい文字の部分にマーカを付けたい場合に、図７（Ｂ２）に示すように、前記説明情報画面Ｇｅの左端に沿って表示されているマーカアイコンＩｍがユーザＵによってタッチ操作され、同注目したい文字の部分（ここでは「忘れる」）がユーザＵによってタッチされて指定されると（ステップＳ２１（Ｙｅｓ））、当該指定された文字の部分「忘れる」にマーカｍｋが付加されて表示され、同マーカｍｋの部分の文字列「忘れる」がマーカ文字列データエリア１７ｆに記憶される（ステップＳ２２）。

すると、前記見出し語対応画像データエリア１７ｅに登録された教材画像（各静止画による動画）Ｇｍの再生時間範囲と、前記選択された見出し語“forget”と、前記マーカ文字列データエリア１７ｆに記憶されたマーカ部分の文字列「忘れる」とが、前記通信接続されている相手の動画再生装置３０Ｍへ送信される（ステップＳ２３）。

前記図７（Ｂ２）で示したように、前記説明情報画面Ｇｅに合成されて表示された教材画像（各静止画による動画）Ｇｍの動画再生マークＰｍがユーザＵによってタッチ操作され、動画の再生操作が行われたと判断されると（ステップＳ２４（Ｙｅｓ））、前記見出し語対応画像データエリア１７ｅに登録された教材画像（各静止画による動画）Ｇｍが再生される。そして、当該再生中の教材画像Ｇｍに含まれる文字のうち前記見出し語“forget”に対応する文字が認識され当該文字の部分の画像が赤枠などにより囲まれて識別表示ｈされる（ステップＳ２５）。

これにより、ユーザＵは、前記教材画像Ｇｍの再生による学習に伴い辞書検索した見出し語“forget”とその説明情報に対応付けて、当該見出し語“forget”が表示されている再生時間範囲の教材画像Ｇｍを登録できたことを確認できる。

この後、前記動画再生装置３０Ｍにおいて、前記図７（Ａ１）〜（Ａ３）で示したように再生されて表示された一連の教材画像Ｇｍについて、図７（Ａ４）に示すように、もう一度再生されると、当該再生されて表示される一連の教材画像Ｇｍのうち、前記情報端末装置１０（１０Ｄ／１０Ｓ）の情報表示制御処理（ステップＳ２３）に従い同情報端末装置１０から受信された再生時間範囲と選択見出し語“forget”とマーカ部分の文字列「忘れる」とに基づいて、当該再生時間範囲の各画像に含まれる選択見出し語“forget”の文字の部分が識別表示ｈされ、さらに、マーカ部分の文字列「忘れる」が付加されて識別表示Ｊｍｋされる。

これにより、前記通信機器３０（動画再生装置３０Ｍ）で再生される教材画像Ｇｍによる学習を受けたユーザＵが、当該教材画像Ｇｍに含まれる文字を検索文字として見出し語検索し、検索された見出し語の説明情報画面Ｇｅで注目する文字にマーカｍｋを付加した後に、前記教材画像Ｇｍをもう一度再生させると、前記ユーザＵが見出し語検索した文字の部分を識別表示ｈさせて当該ユーザＵにより何処が調べられたかを分かり易く表示できる。しかも、ユーザＵがマーカｍｋを付加した文字も表示させて確認できる。

このように、ユーザＵは、動画再生装置３０Ｍを用いた教材画像Ｇｍ（動画）の再生による学習中に辞書検索した見出し語とその説明情報に、当該見出し語検索したときの再生時間範囲の教材画像Ｇｍ（動画）を対応付けて学習することができ、当該見出し語について学習したときの学習状況を印象付けて、より効果的な学習を行なうことができる。

したがって、前記構成の情報端末装置１０（辞書端末１０Ｄ／タブレット端末１０Ｓ）によれば、黒板Ｂｂを撮影する撮像装置３０Ｖや電子黒板３０Ｂ、あるいは動画再生装置３０Ｍと通信接続し、当該黒板（Ｂｂ／３０Ｂ）に書き込まれた文字、あるいは動画再生装置３０Ｍで再生されている教材画像（静止画の連続による動画）Ｇｍで表示中の文字を検索文字として見出し語検索すると、当該見出し語検索したときの板書画像（Ｇｂ１／Ｇｂ２）、あるいは検索文字の見出し語が含まれる再生時間範囲の教材画像（動画）Ｇｍが取得され、見出し語対応画像データエリア１７ｅに当該検索見出し語に対応付けて登録される。そして、前記検索見出し語に対応する説明情報画面Ｇｅに前記登録された板書画像（Ｇｂ１／Ｇｂ２）あるいは教材画像（動画）Ｇｍが合成されて表示され、さらに当該画像（Ｇｂ１／Ｇｂ２／Ｇｍ）に含まれる前記検索見出し語の文字が識別表示ｈされる。

これにより、ユーザＵは、黒板（Ｂｂ／３０Ｂ）や教材画像Ｇｍの動画再生を利用した学習中に辞書検索した見出し語とその説明情報に、そのときの板書画像（Ｇｂ１／Ｇｂ２）や教材画像Ｇｍを対応付けて学習することができ、当該見出し語について学習したときの学習状況を印象付けて、より効果的な学習を行なうことができる。

また、前記構成の情報端末装置１０（辞書端末１０Ｄ／タブレット端末１０Ｓ）によれば、前記動画再生装置３０Ｍで再生されている教材画像（静止画の連続による動画）Ｇｍによる学習中に、前記検索見出し語に対応した説明情報画面Ｇｅでユーザ操作に応じて注目すべき文字にマーカｍｋが付加されて表示されると、前記登録された検索見出し語の文字を含む教材画像（各静止画による動画）Ｇｍの再生時間範囲と、前記検索見出し語と、前記マーカ部分の文字列とが、前記通信接続されている相手の動画再生装置３０Ｍへ送信される。

これにより、前記動画再生装置３０Ｍにより前記教材画像Ｇｍをもう一度再生させると、前記ユーザＵが見出し語検索した文字の部分を識別表示ｈさせて当該ユーザＵにより何処が調べられたかを分かり易く表示でき、しかも、ユーザＵがマーカｍｋを付加した文字も表示させて確認できる。

なお、前記実施形態の情報端末装置１０（１０Ｄ／１０Ｓ）の通信対象機器（３０）である撮像装置３０Ｖや電子黒板３０Ｂは、それぞれその板書画像Ｇｂ１やＧｂ２を静止画として取得し前記情報端末装置１０（１０Ｄ／１０Ｓ）へ送信する構成としたが、動画として取得し、前記動画再生装置３０Ｍと同様に当該取得された動画を前記情報端末装置１０（１０Ｄ／１０Ｓ）へ順次送信する構成としてもよい。

前記各実施形態において記載した情報端末装置１０（１０Ｄ／１０Ｓ）による各処理の手法、すなわち、図５Ａ，図５Ｂのフローチャートに示す情報表示制御処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピ（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して配布することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク上を伝送させることができ、このプログラムデータを、通信ネットワークに接続された電子機器のコンピュータに通信部によって取り込むことで、前述した通信機器３０（３０Ｖ／３０Ｂ／３０Ｍ）との連携に基づく情報端末装置１０（１０Ｄ／１０Ｓ）での辞書検索機能を含む情報表示制御機能を実現することもできる。

本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。例えば、前記辞書データベース１７ｂを情報端末装置１０（１０Ｄ／１０Ｓ）から削除し、通信ネットワーク上の辞書サーバに検索文字の辞書検索を依頼し、当該辞書サーバから当該検索文字に対応する辞書の見出し語や説明情報を受信して取得するようにしてもよい。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

［１］
表示された画像データを取得する画像取得装置と通信接続する通信手段と、
ユーザ操作に応じて辞書の見出し語を検索する見出し語検索手段と、
前記見出し語検索手段により検索された見出し語に対応する画像データを前記通信手段により通信接続されている画像取得装置から取得する画像取得手段と、
前記画像取得手段により取得された画像データを前記見出し語検索手段により検索された見出し語と対応付けて登録する見出し語対応画像登録手段と、
を備えたことを特徴とする情報端末装置。

［２］
前記見出し語検索手段により検索された見出し語に対応する説明情報を表示部に表示させる説明情報表示制御手段と、
前記説明情報表示制御手段により表示された見出し語に対応する説明情報に前記見出し語対応画像登録手段により登録された当該見出し語に対応する画像データを合わせて表示させる見出し語対応画像表示制御手段と、
を備えたことを特徴とする［１］に記載の情報端末装置。

［３］
前記見出し語対応画像表示制御手段により表示された前記見出し語に対応する画像データの中で当該見出し語に対応する部分を識別して表示させる見出し語識別表示制御手段を備えたことを特徴とする［１］または［２］に記載の情報端末装置。

［４］
前記見出し語検索手段は、ユーザ操作に応じて辞書の見出し語を検索し当該検索された見出し語の中から見出し語を選択する見出し語選択手段を有し、
前記画像取得手段は、前記見出し語選択手段により見出し語を選択した時点で前記通信手段により通信接続されている画像取得装置から画像データを、前記見出し語に対応する画像データとして取得する、
ことを特徴とする［１］ないし［３］の何れかに記載の情報端末装置。

［５］
前記通信手段は、表示された動画の画像データを取得する画像取得装置と通信接続し、
前記画像取得手段は、前記通信手段により通信接続されている画像取得装置から受信される動画の画像データの中から前記見出し語検索手段により検索された見出し語に対応する画像を含んでいる期間の動画の画像データを抽出して前記見出し語に対応する画像データとして取得する、
ことを特徴とする［１］ないし［４］の何れかに記載の情報端末装置。

［６］
前記見出し語検索手段により検索された見出し語と前記画像取得手段により取得された動画の画像データの当該検索された見出し語に対応する画像を含んでいる期間の情報とを前記画像取得装置へ送信する見出し語対応動画情報送信手段を備えた、
ことを特徴とする［５］に記載の情報端末装置。

［７］
前記説明情報表示制御手段により表示された見出し語に対応する説明情報の中でユーザ操作に応じて指定された文字の部分にマーカを表示させるマーカ表示制御手段を備えた、
ことを特徴とする［２］に記載の情報端末装置。

［８］
コンピュータを、
表示された画像データを取得する画像取得装置と通信接続する通信手段と、
ユーザ操作に応じて辞書の見出し語を検索する見出し語検索手段と、
前記見出し語検索手段により検索された見出し語に対応する画像データを前記通信手段により通信接続されている画像取得装置から取得する画像取得手段と、
前記画像取得手段により取得された画像データを前記見出し語検索手段により検索された見出し語と対応付けて登録する見出し語対応画像登録手段、
として機能させるためのプログラム。

１０ …情報端末装置（辞書端末１０Ｄ／タブレット端末１０Ｓなど）
１４ …キー入力部
１５ …タッチパネル付き表示部
１６ …ＣＰＵ
１７ …記憶部
１７ａ…情報表示制御プログラム
１７ｂ…辞書データベース
１７ｃ…通信対象機器ＩＤエリア
１７ｄ…動画データエリア
１７ｅ…見出し語（検索文字）対応画像データエリア
１７ｆ…マーカ文字列データエリア
１８ …外部記録媒体
１９ …記録媒体読取部
２０ …近距離無線通信部（Bluetooth）
３０ …通信機器（撮像装置３０Ｖ／電子黒板３０Ｂ／動画再生装置３０Ｍなど）
Ｇｂ１，Ｇｂ２…板書画像
Ｇｍ …教材画像
Ｇｅ …辞書検索した見出し語の説明情報画面

Claims (10)

1. 時間的に変化している外部の情報を画像データとして取得する画像取得装置により取得された画像データを前記画像取得装置から受信する受信手段と、
   ユーザ操作に応じて辞書の見出し語を検索する検索手段と、
   前記検索手段による前記見出し語の検索に応じて、前記見出し語に対応する画像を含んでいる画像データを前記画像取得装置から取得し、取得した前記画像データを前記見出し語と対応付けて登録する登録手段と、
   を備えた情報端末装置。
2. 前記画像取得装置は、時間的に変化している外部の情報を撮影する撮像装置であり、
   前記登録手段は、前記検索手段により前記見出し語が検索されたタイミングに対応するタイミングで前記撮像装置により撮影された画像データを取得し、取得した前記画像データを前記見出し語と対応付けて登録する、請求項１に記載の情報端末装置。
3. 前記画像データは動画データであり、
   前記登録手段は、前記受信手段により受信される動画データの中から前記見出し語検索手段により検索された見出し語に対応する画像を含んでいる期間の動画データを取得し、取得した前記動画データを前記見出し語と対応付けて登録する、請求項１または２に記載の情報端末装置。
4. 前記時間的に変化している外部の情報は、電子黒板に表示されている情報であり、
   前記受信手段は、電子黒板に表示されている情報に対応する画像データを前記画像取得装置から受信し、
   前記登録手段は、前記受信手段により受信される画像データの中から前記電子黒板に表示されている前記見出し語に対応する画像を含んでいる画像データを取得し、取得した前記画像データを前記見出し語と対応付けて登録する、請求項１ないし請求項３の何れか１項に記載の情報端末装置。
5. 前記検索手段により検索された見出し語に対応する説明情報を表示部に表示させる説明情報表示制御手段と、
   前記説明情報表示制御手段により表示された見出し語に対応する説明情報に前記登録手段により登録された当該見出し語に対応する前記画像データの画像を合わせて表示させる見出し語対応情報表示制御手段と、
   を備えた請求項１ないし請求項４の何れか１項に記載の情報端末装置。
6. 前記見出し語対応情報表示制御手段により表示された前記見出し語に対応する画像データの中で当該見出し語に対応する部分を識別して表示させる見出し語識別表示制御手段を備えたことを特徴とする請求項５に記載の情報端末装置。
7. 前記検索手段は、ユーザ操作に応じて辞書の見出し語を検索し当該検索された見出し語の中から見出し語を選択する見出し語選択手段を有し、
   前記登録手段は、前記見出し語選択手段による見出し語の選択に応じて、前記受信手段により受信される画像データの中から前記選択された見出し語に対応する画像を含んでいる画像データを取得し、取得した前記画像データを前記選択された見出し語と対応付けて登録する、
   請求項１ないし請求項６の何れか１項に記載の情報端末装置。
8. 前記説明情報表示制御手段により表示された見出し語に対応する説明情報の中でユーザ操作に応じて指定された文字の部分にマーカを表示させるマーカ表示制御手段を備えた、
   ことを特徴とする請求項５に記載の情報端末装置。
9. 時間的に変化している外部の情報を動画データとして取得する画像取得装置と通信接続する通信手段と、
   ユーザ操作に応じて辞書の見出し語を検索する検索手段と、
   前記通信手段により通信接続されている前記画像取得装置から受信される動画データの中から前記検索手段により検索された見出し語に対応する画像を含んでいる期間の動画データを抽出して前記見出し語に対応する画像データとして取得する取得手段と、
   前記取得手段により取得される前記動画データを、前記検索された見出し語と対応付けて登録する登録手段と、
   を備えた情報端末装置。
10. コンピュータを、
    時間的に変化している外部の情報を画像データとして取得する画像取得装置により取得された画像データを前記画像取得装置から受信する受信手段と、
    ユーザ操作に応じて辞書の見出し語を検索する検索手段と、
    前記検索手段による前記見出し語の検索に応じて、前記見出し語に対応する画像を含んでいる画像データを前記画像取得装置から取得し、取得した前記画像データを前記見出し語と対応付けて登録する登録手段
    として機能させるためのプログラム。