JP5767151B2 - 情報表示装置 - Google Patents

Description

本発明は、情報表示装置に関する。

パンフレットや広告ちらし等の紙媒体の閲覧者が、気になった記事や広告についての詳細な情報、関連情報等を得たいとき、従来では、例えば、記事や広告に含まれる単語や文を検索キーとして情報検索サイトのデータベースを検索する作業を行い、所望の情報を取得している。しかし、この作業は、紙媒体とは別の場所で、コンピュータ装置や携帯情報端末を用いて行われるものであるため、作業が煩雑であり、また、情報の提示場所が分散し、使い勝手が悪いという問題がある。

従来、実物に関する情報（対応情報）をその実物とともに提示する技術として、透過型ディスプレイを用いる技術が知られている（例えば、特許文献１参照）。

特開２００３−１２２２８６号公報

しかしながら、上記の透過型ディスプレイを通して視認される実物の情報と、その実物に対する対応情報とは、あらかじめ決定された固定の情報である。よって、この従来技術では、例えば、紙媒体を閲覧させている最中に、閲覧者により指定された任意の項目に対する対応情報を容易に取得し、この対応情報を透過型ディスプレイに即時表示させることができない。
そこで、本発明は、上記の問題を解決するためになされたものであり、例えば媒体に掲載された情報における任意部分に対する対応情報を容易に取得し、この対応情報を即時提示させる情報表示装置を提供することを目的とする。

［１］上記の課題を解決するため、本発明の一態様である情報表示装置は、少なくとも一方の面から他方の面に光透過性を有する表示部と、前記一方の面側にある可視情報からの光束が前記表示部を透過し前記他方の面に到達して得られる透過可視情報を撮影し、前記透過可視情報の画像を生成する撮影部と、前記表示部の前記他方の面における任意の位置の指定を受け付けて座標情報を出力する位置指定部と、前記位置指定部が出力した前記座標情報に対応する、前記画像における位置または領域に対応付けられた対応情報を取得する対応情報取得部と、前記表示部に前記対応情報を表示させる表示制御部と、を備えることを特徴とする。
［２］上記［１］記載の情報表示装置において、前記撮影部は、前記透過可視情報を領域分割して得られる複数の部分透過可視情報それぞれを撮影し、複数の部分画像を生成するものであり、前記複数の部分画像を合成して前記透過可視情報の画像を生成する画像処理部をさらに備えることを特徴とする。
［３］上記［１］または［２］記載の情報表示装置において、前記可視情報に対応する参照画像を示す参照画像情報と、前記参照画像を領域分割して得られる複数の部分参照画像それぞれについての位置を示す位置情報と、前記複数の部分参照画像それぞれについての対応情報とを対応付けた参照情報を取得する参照情報取得部をさらに備え、前記対応情報取得部は、前記参照情報取得部が取得する参照情報に含まれる前記参照画像情報と前記透過可視情報の画像とに基づいて、前記透過可視情報に対応する参照情報を選択する参照情報選択部と、前記位置指定部が出力した前記座標情報に対応する位置情報を前記参照情報から検出し、前記位置情報に対応付けられた対応情報を前記参照情報から抽出する対応情報抽出部と、を備えることを特徴とする。
［４］上記［３］記載の情報表示装置において、複数の参照情報を記憶する参照情報記憶部をさらに備え、前記参照情報取得部は、前記参照情報選択部からの要求に応じて、前記参照情報記憶部から前記参照情報を読み込む
ことを特徴とする。
［５］上記［３］記載の情報表示装置において、前記参照情報取得部は、前記参照情報選択部からの要求に応じて、外部の装置から前記参照情報を取り込むことを特徴とする。
［６］上記［１］から［５］いずれか一項記載の情報表示装置において、前記表示部は、エレクトロルミネッセンス素子を適用して実現される透過型表示装置であることを特徴とする。
［７］上記［１］から［６］いずれか一項記載の情報表示装置において、前記位置指定部は、タッチパネルであることを特徴とする。

本発明によれば、例えば媒体に掲載された情報における任意部分に対する対応情報を容易に取得し、この対応情報を即時提示させることができる。

本発明の第１実施形態である情報表示装置の概略の外観を示す斜視図である。 同実施形態である情報表示装置が実際に使用されている状態を示す図である。 同実施形態である情報表示装置を適用した情報表示システムの全体構成、および情報表示装置の機能構成を示すブロック図である。 同実施形態である情報表示装置に設けられた二つの撮影部が透過可視情報を撮影する様子を模式的に示した図である。 図４に示した情報表示装置を、ＸＹ平面に直交し且つＤ−Ｄ線を含む平面で切った断面を模式的に示す図である。 参照情報記憶部に記憶、またはサーバ装置に格納される複数の参照情報のデータ構成を示す図である。 同実施形態である情報表示装置が使用されている状態の詳細を示す図である。 同実施形態である情報表示装置の、参照情報検索処理の処理手順を示すフローチャートである。 同実施形態である情報表示装置の、対応情報提示処理の処理手順を示すフローチャートである。 本発明の第２実施形態である情報表示装置に設けられた四つの撮影部が透過可視情報を撮影する様子を模式的に示した図である。 図１０に示した情報表示装置を、ＸＹ平面に直交し且つＥ−Ｅ線を含む平面で切った断面を模式的に示す図である。 本発明の第３実施形態である情報表示装置の概略の外観を示す斜視図である。 本発明の第４実施形態である情報表示装置の概略の概観を示す斜視図である。 同実施形態である情報表示装置を適用した情報表示システムの全体構成、および情報表示装置の機能構成を示すブロック図である。

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
本発明の第１実施形態である情報表示装置は、媒体に設けられた視認可能な情報（可視情報）が透けて見える位置に設けられた状態で、その透けて見える情報（透過可視情報）における任意部分を操作入力インタフェースによって指定することにより、その任意部分に対応付けられた情報（対応情報）を透過可視情報とともに表示する装置である。媒体は、文章、図、写真等の視認可能な情報が表されたものであり、例えば紙媒体である。具体的に、媒体は、パンフレット、広告ちらし、雑誌、書籍等である。本実施形態では、媒体として広告ちらしを例とする。

図１は、第１実施形態である情報表示装置の概略の外観を示す斜視図である。同図に示すように、情報表示装置１は、表示部１０と、二つの撮影部２０（２０−１，２０−２）と、位置指定部３０とを備える。

表示部１０は、少なくとも、表示部１０越しに下方の面（背面、一方の面）から上方の面（表面、他方の面）に光透過性を有する表示パネルを備える。ただし、表示部１０越しに下方の面とは、図１において隠れている方の面である。以下、表示部１０の面を特定して指す場合は、上記の記載に準じる。表示部１０は、透過型表示装置（透過型ディスプレイ装置）により実現される。具体的に、透過型表示装置は、例えば、エレクトロルミネッセンス（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ；ＥＬ）素子を適用して実現されるＥＬディスプレイ装置である。このＥＬディスプレイ装置として、例えば、有機ＥＬディスプレイ装置および無機ＥＬディスプレイ装置が適用可能である。また、透過型表示装置として、例えば、透過型液晶ディスプレイ装置が適用可能である。

撮影部２０−１および撮影部２０−２は、表示部１０越しに下方の面側にある可視情報からの光束が表示部１０を透過し上方の面に到達して得られる透過可視情報をそれぞれ撮影し、この透過可視情報の画像を生成する。つまり、撮影部２０は、表示部１０越しに見える透過可視情報を撮影して画像化する。

撮影部２０−１および撮影部２０−２は、表示部１０のフレーム部において対向する２辺それぞれの中央近傍（中央を含む）に、透過可視情報の部分領域である部分透過可視情報を撮影可能な方向に設けられる。このようにして、撮影部２０−１は、透過可視情報を領域分割して得られる二つの部分透過可視情報のうち一方を撮影して一方の部分画像を生成する。また、撮影部２０−２は、それら二つの部分透過可視情報のうち他方を撮影して他方の部分画像を生成する。ただし、撮影部２０−１および撮影部２０−２は、撮影部２０−１により撮影される一方の部分領域と撮影部２０−２により撮影される他方の部分領域とができるだけ重複せず、且つ両方の部分領域が透過可視情報の領域をできるだけ広く含むよう設けられる。

位置指定部３０は、表示部１０越しに上方の面における任意の位置の指定を受け付けて二次元座標を検出し、この二次元座標を示す座標情報を出力する操作入力インタフェースである。位置指定部３０が出力する座標情報と、表示部１０の表示領域における二次元座標系の座標値（すなわち、画素位置）とは、あらかじめ対応付けられている。位置指定部３０は、例えば、タッチパネルにより実現され、表示部１０越しに上方の面上に設けられる。位置指定部３０がタッチパネルである場合、このタッチパネルは、情報表示装置１の利用者の指先等で触られたタッチパネル上の任意の位置に対応する二次元座標を検出し、この二次元座標を示す座標情報を出力する。タッチパネルとして、例えば、抵抗膜方式、静電容量方式等が適用される。

図２は、情報表示装置１が実際に使用されている状態を示す図である。同図において、情報表示装置１は、表示部１０越しに下方の面を雑誌の紙面に向き合わせる向きで、且つ表示部１０越しに注目記事が見える位置で、紙面上に載置されている。注目記事とは、情報表示装置１の利用者が雑誌の掲載記事の中で注目している記事である。そして、表示部１０越しに視認される透過可視情報Ａ（破線で囲まれた領域内の情報）における注目記事を囲むように位置指定部３０が利用者の指先でなぞられることにより、指先の軌跡Ｂが表示部１０に表示されている。ただし、同図では、軌跡Ｂを模式的に円形としている。

次に、本実施形態である情報表示装置１を適用した情報表示システムの構成について説明する。
図３は、情報表示装置１を適用した情報表示システムの全体構成、および情報表示装置１の機能構成を示すブロック図である。
同図に示すように、第１実施形態における情報表示システムは、情報表示装置１と、サーバ装置３とが、ネットワーク２を介して接続された構成を有する。
また、同図において、情報表示装置１は、表示部１０と、二つの撮影部２０（２０−１，２０−２）と、位置指定部３０と、画像処理部４０と、対応情報取得部５０と、参照情報記憶部６０と、情報取得部７０と、表示制御部８０とを備える。
表示部１０、二つの撮影部２０、および位置指定部３０については前述したとおりであるので、ここでの説明を省略する。

画像処理部４０は、撮影部２０−１が生成した一方の部分画像と撮影部２０−２が生成した他方の部分画像とをそれぞれ取り込み、これら両方の部分画像を合成して透過可視情報の画像（透過可視情報画像）を生成する。両方の部分画像を合成するとは、画像処理部４０が、透過可視情報の領域に対応させて両方の部分画像をつなぎ合わせる処理を実行することである。具体的に、画像処理部４０は、例えば、各部分画像の一部領域同士が重複する場合は、これら重複する一部領域のうち一方の一部領域と各部分画像における重複しない領域とを連結する。なお、画像処理部４０は、各部分画像における収差を補正する画像処理を実行し、補正された部分画像同士を合成してもよい。
画像処理部４０は、生成した透過可視情報画像を対応情報取得部５０に供給する。

参照情報記憶部６０は、一つまたは複数の参照情報を記憶する。参照情報は、可視情報に対応する参照画像を示す参照画像情報と、その参照画像を領域分割して得られる複数の部分参照画像それぞれについての基準位置を示す位置情報と、それら複数の部分参照画像それぞれについての対応情報とを対応付けたデータテーブルである。参照情報については、その詳細を後述する。参照情報記憶部６０は、例えば、半導体記憶装置により実現される。

情報取得部７０は、参照情報記憶部６０および外部の装置から情報を取り込むインタフェースである。外部の装置は、例えば、ネットワーク２を介して接続されるサーバ装置３である。情報取得部７０は、外部の装置から情報を取り込み、この情報を表示制御部８０に供給する。情報取得部７０は、その機能構成として、参照情報取得部７１を備える。

参照情報取得部７１は、対応情報取得部５０からの要求に応じて、参照情報記憶部６０から参照情報を読み込み、この参照情報を対応情報取得部５０に供給する。また、参照情報取得部７１は、対応情報取得部５０からの要求に応じて、外部の装置（例えばサーバ装置３）から参照情報を取り込み、この参照情報を対応情報取得部５０に供給する。

対応情報取得部５０は、位置指定部３０が出力した座標情報に対応する、画像処理部４０が生成した透過可視情報画像における位置または領域に対応付けられた対応情報を参照情報取得部７１から取得する。対応情報取得部５０は、その機能構成として、参照情報選択部５１と、対応情報抽出部５２とを備える。

参照情報選択部５１は、画像処理部４０が供給する透過可視情報画像を取り込む。そして、参照情報選択部５１は、参照情報取得部７１に対する取得要求に応じて参照情報取得部７１が取得する参照情報に含まれる参照画像情報と透過可視情報画像とに基づいて、透過可視情報に対応する参照情報を選択する。
参照情報選択部５１は、選択した参照情報を対応情報抽出部５２に供給する。

対応情報抽出部５２は、参照情報選択部５１が供給する参照情報を取り込む。また、対応情報抽出部５２は、位置指定部３０が出力する座標情報を取り込む。そして、対応情報抽出部５２は、座標情報に対応する位置情報を参照情報から検出する。そして、対応情報抽出部５２は、検出した位置情報に対応付けられた対応情報を参照情報から抽出し、その対応情報を表示制御部８０に供給する。

表示制御部８０は、対応情報抽出部５２が供給する対応情報を取り込み、この対応情報を表示部１０に表示させる。また、表示制御部８０は、位置指定部３０が出力する座標情報を取り込み、この座標情報に対応する表示部１０における画素位置を求める。そして、表示制御部８０は、その画素位置を含む近傍の画素をあらかじめ設定された色を示す画素値に変化させる。ただし、この色は所望の色に変更可能である。これにより、位置指定部３０において指定された位置に対応する表示部１０上の位置が、あらかじめ設定された色で描画される。また、表示制御部８０は、情報取得部７０が供給する情報を取り込み、この情報を表示部１０に表示させる。

ネットワーク２は、通信回線であり、例えば、インターネット・プロトコル（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ；ＩＰ）により通信可能なコンピュータ・ネットワークである。ネットワーク２は、例えば、ローカル・エリア・ネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ；ＬＡＮ）、家庭内ＬＡＮ（ホーム・ネットワーク）を含み、また、インターネットに接続されている。

サーバ装置３は、ネットワーク２に接続される外部の装置の一例である。サーバ装置３は、例えば、様々な可視情報それぞれに対応した参照情報を格納する参照情報提供装置である。また、サーバ装置３は、対応情報に関連する様々な関連情報を格納する関連情報提供装置である。

次に、情報表示装置１における、撮影部２０−１および撮影部２０−２の配置について説明する。
図４は、情報表示装置１に設けられた二つの撮影部２０が透過可視情報を撮影する様子を模式的に示した図である。ただし、同図は、情報表示装置１を、表示部１０の面が、直交するＸＹ両軸を含む平面（ＸＹ平面）に平行、且つ表示部１０の面の各辺がＸ軸またはＹ軸に平行となる姿勢で配置し、表示部１０越しに上方から見た平面図である。
同図において、撮影部２０−１および撮影部２０−２は、表示部１０のフレーム部においてＸ軸に平行な、対向する２辺それぞれの中央位置に設けられている。透過可視情報Ａを分離する二つの部分透過可視情報は、透過可視情報Ａの領域の中心を通り且つＸ軸に平行な直線Ｃで透過可視情報Ａの領域を分割した領域の情報である。

撮影部２０−１は、撮影部２０−１側の部分透過可視情報を被写体として撮影する。また、撮影部２０−２は、撮影部２０−２側の部分透過可視情報を被写体として撮影する。図４に示すように、撮影部２０−１は、撮影によって一方の部分画像Ｓ１を生成する。また、撮影部２０−２は、撮影によって他方の部分画像Ｓ２を生成する。このように、撮影部２０−１および撮影部２０−２は、一方の部分領域Ｓ１と他方の部分領域Ｓ２とができるだけ重複せず、且つ両方の部分領域Ｓ１，Ｓ２が透過可視情報Ａの領域をできるだけ広く含むよう設けられている。

なお、図４には、撮影部２０−１および撮影部２０−２の光学中心を通りＹ軸に平行な直線Ｄ−Ｄを示しているが、このＤ−Ｄ線については図５の説明で引用する。

次に、撮影部２０−１および撮影部２０−２の内部構造について説明する。
図５は、図４に示した情報表示装置１を、ＸＹ平面に直交し且つＤ−Ｄ線を含む平面で切った断面を模式的に示す図である。図５において、情報表示装置１は、紙媒体Ｐ上に載置されている。表示部１０の上方から紙媒体Ｐに向けて進行する光束は、位置指定部３０と表示部１０とをそれぞれ透過して紙媒体Ｐに到達する。そして、紙媒体Ｐで反射された光束は、表示部１０と位置指定部３０とをそれぞれ透過する。これにより、紙媒体Ｐに記載された可視情報に対応する透過可視情報が位置指定部３０の面に現出する。

図５は、撮影部２０−１および撮影部２０−２の内部構造を模式的に示す。ただし、撮影部２０−１および撮影部２０−２は同等の内部構造を有するため、ここでは、撮影部２０−１に符号を付して内部構造を説明する。
撮影部２０−１は、カーブミラー（第１の反射板）２１と、ミラー（第２の反射板）２２と、レンズ光学系２３と、撮像部２４とを備える。

カーブミラー２１は、位置指定部３０の面に現出した一方の部分透過可視情報からの光束を受光する位置に設けられる。カーブミラー２１は、一方の部分透過可視情報におけるできるだけ広い範囲の情報からの光束を受光できるよう、曲率を有している。
ミラー２２は、カーブミラー２１が反射した光束を受光する位置に設けられる。ミラー２２は、平面ミラーでもよいし、カーブミラーでもよい。
レンズ光学系２３は、ミラー２２が反射した光束を受光する位置に設けられる。レンズ光学系２３は、単一または複数の集光レンズを含む。
撮像部２４は、レンズ光学系２３が集光した光束を受光する位置に設けられる。撮像部２４は、固体撮像素子であり、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサにより実現される。

よって、撮影部２０−１は、位置指定部３０の面に現出した一方の部分透過可視情報からの光束をカーブミラー２１で反射させ、さらにミラー２２で反射させてレンズ光学系２３に入射させる。そして、撮影部２０−１は、レンズ光学系２３で集光させた光束を撮像部２４で撮像させることにより、一方の部分画像を生成する。

同様に、撮影部２０−２は、位置指定部３０の面に現出した他方の部分透過可視情報からの光束をカーブミラー２１で反射させ、さらにミラー２２で反射させてレンズ光学系２３に入射させる。そして、撮影部２０−２は、レンズ光学系２３で集光させた光束を撮像部２４で撮像させることにより、他方の部分画像を生成する。

次に、参照情報について説明する。
図６は、参照情報記憶部６０に記憶、またはサーバ装置３に格納される複数の参照情報のデータ構成を示す図である。同図に示すように、参照情報は、参照画像情報と、部分参照画像関連情報とを対応付けたデータテーブルである。参照画像情報は、媒体に設けられた視認可能な情報、つまり可視情報全体を画像化した参照画像、またはこの参照画像の画像特徴量である。参照画像は、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）データ等の符号化データである。参照画像は、カラー静止画像でもよいし、グレースケールによる静止画像でもよい。画像特徴量は、例えば、参照画像のＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ）特徴量である。

部分参照画像関連情報は、参照画像を領域分割して得られる複数の部分参照画像それぞれについての基準位置を示す位置情報と、それら複数の部分参照画像それぞれについての対応情報とを対応付けた、部分参照画像についての関連情報である。部分参照画像は、例えば矩形画像である。位置情報は、部分参照画像の参照画像における基準位置を示す情報である。部分参照画像が矩形画像である場合、位置情報は、部分参照画像の参照画像における一対の対角の座標値である。対応情報は、部分参照画像に含まれる情報についての関連情報、詳細情報等である。

図６は、二種類の広告ちらしに関する参照情報を示したものである。例えば、同図上側の参照情報は、参照画像情報として、参照画像（ただし、同図では“Ｐａｐｅｒ１０１”と記載する。）を含んでいる。また、同図上側の参照情報は、矩形の部分参照画像の位置情報として、参照画像における部分参照画像の左上の座標値と右下の座標値である。また、同図上側の参照情報は、二種類の対応情報を含んでいる。

次に、情報表示装置１の使用例について説明する。
図７は、情報表示装置１が使用されている状態の詳細を示す図である。同図において、情報表示装置１は、表示部１０越しに下方の面を広告ちらしの紙面に向き合わせる向きで、且つ表示部１０越しに注目広告が見える位置で、紙面上に載置されている。注目広告とは、情報表示装置１の利用者が広告ちらしの掲載広告の中で注目している広告である。
このように、情報表示装置１が広告ちらしの紙面上に載置されると、情報表示装置１は、参照情報検索処理を実行する。具体的に、情報表示装置１は、透過可視情報画像を生成し、この透過可視情報画像に対応する参照情報を、参照情報記憶部６０またはサーバ装置３から取得する。

そして、透過可視情報画像に対応する参照情報を取得した情報表示装置１は、対応情報提示処理を実行する。具体的に、注目広告を囲むように位置指定部３０が利用者の指先でなぞられると、図７に示すように、情報表示装置１は、位置指定部３０における指先の軌跡Ｂを表示部１０に表示させる。そして、情報表示装置１は、軌跡Ｂが示す領域内に対応する部分参照領域を検出し、この部分参照領域に対応付けられた対応情報（例えば、二種類の対応情報）を取得する。そして、情報表示装置１は、取得した対応情報を、対応情報Ｊ１および対応情報Ｊ２として表示部１０に表示させる。同図において、対応情報Ｊ１は、軌跡Ｂで囲まれた領域に含まれる広告の商品に関する詳細情報である。また、対応情報Ｊ２は、その広告の商品の類似商品に関する情報である。
同図において、情報表示装置１は、軌跡Ｂとの対応付けが明確な吹き出しにより、対応情報Ｊ１を表示させている。また、情報表示装置１は、表示部１０の左下隅に対応情報Ｊ２を表示させている。なお、情報表示装置１は、対応情報Ｊ１および対応情報Ｊ２と軌跡Ｂとの対応付けを明確にするため、例えば引き出し線を介して対応情報Ｊ１および対応情報Ｊ２と軌跡Ｂとを表示させてもよい。

さらに、情報表示装置１は、その広告の商品に関する参照情報を除く他の情報（外部情報Ｊ３）をサーバ装置３から取得し、外部情報Ｊ３を表示部１０に表示させる。図７において、外部情報Ｊ３は、広告の商品についての電子商取引サイトにおける価格情報（例えば、最安値の情報）、その価格と広告ちらしに掲載された価格との差額を示す情報、およびその電子商取引サイトの名称を含んでいる。また、同図では、情報表示装置１は、外部情報Ｊ３の表示に加えて、その電子商取引サイトの詳細情報やその電子商取引サイトに接続するためのボタンＵ１と、その電子商取引サイトに商品注文を行うためのボタンＵ２とを表示部１０に表示させている。ボタンＵ１およびボタンＵ２は、グラフィカル・ユーザ・インタフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ；ＧＵＩ）として表示部１０に表示されるとともに、位置指定部３０に対応付けられている。

次に、本実施形態である情報表示装置１の動作について説明する。
図８は、情報表示装置１の、参照情報検索処理の処理手順を示すフローチャートである。
ステップＳ１において、情報表示装置１は、自装置の載置状態を監視し、載置状態を検出した場合はステップＳ２の処理に移す（Ｓ１：ＹＥＳ）。載置状態とは、情報表示装置１が安定的に置かれた状態または固定された状態である。載置状態は、情報表示装置１が例えば利用者の手により把持されて安定的に支持されることも含む。情報表示装置１は、例えば加速度センサをフレーム部に内蔵させ、この加速度センサに載置状態を監視させる。

ステップＳ２において、撮影部２０−１および撮影部２０−２は、表示部１０越しに下方の面側にある可視情報からの光束が表示部１０を透過し上方の面に到達して得られる透過可視情報をそれぞれ撮影し、この透過可視情報の画像を生成する。具体的に、撮影部２０−１は、透過可視情報を領域分割して得られる二つの部分透過可視情報のうち一方を撮影して一方の部分画像を生成し、この一方の部分画像を画像処理部４０に供給する。また、撮影部２０−２は、それら二つの部分透過可視情報のうち他方を撮影して他方の部分画像を生成し、この他方の部分画像を画像処理部４０に供給する。

次に、ステップＳ３において、画像処理部４０は、撮影部２０−１が供給する一方の部分画像と撮影部２０−２が供給する他方の部分画像とをそれぞれ取り込み、これら両方の部分画像を合成して透過可視情報画像を生成する。次に、画像処理部４０は、生成した透過可視情報画像を対応情報取得部５０に供給する。

次に、ステップＳ４において、対応情報取得部５０の参照情報選択部５１は、画像処理部４０が供給する透過可視情報画像を取り込み、この透過可視情報画像に対応する参照情報を、参照情報記憶部６０またはサーバ装置３から選択して取得する。
具体的に、参照情報選択部５１は、画像処理部４０が供給する透過可視情報画像を取り込むと、情報取得部７０に対して、参照情報記憶部６０からの参照情報の取得要求を供給する。次に、情報取得部７０の参照情報取得部７１は、参照情報選択部５１が供給した取得要求を取り込み、この取得要求に応じて参照情報記憶部６０から一つの参照情報を読み込む。次に、参照情報取得部７１は、読み込んだ参照情報を参照情報選択部５１に供給する。

次に、参照情報選択部５１は、参照情報取得部７１が供給する参照情報を取り込み、例えば、透過可視情報画像をテンプレート画像とした、参照情報に含まれる参照画像情報に対するテンプレートマッチング処理を実行して、透過可視情報画像に対する参照画像情報の類似度を計算する。参照情報選択部５１は、参照情報記憶部６０に記憶された全ての参照情報について参照画像情報の類似度を計算し、全ての計算結果のうち類似度の最大値を取得する。次に、参照情報選択部５１は、取得した類似度の最大値が、あらかじめ設定された閾値を超える値である場合、その類似度に対応する参照画像情報を含む参照情報を選択する。

一方、参照情報選択部５１は、取得した類似度の最大値が、あらかじめ設定された閾値以下の値である場合、参照情報選択部５１は、情報取得部７０に対して、サーバ装置３からの参照情報の取得要求を供給する。次に、情報取得部７０の参照情報取得部７１は、参照情報選択部５１が供給した取得要求を取り込み、この取得要求に応じてサーバ装置３から参照情報を取り込む。次に、参照情報取得部７１は、取り込んだ参照情報を参照情報選択部５１に供給する。

次に、参照情報選択部５１は、参照情報取得部７１が供給する参照情報を取り込み、例えば、透過可視情報画像をテンプレート画像とした、参照情報に含まれる参照画像情報に対するテンプレートマッチング処理を実行して、透過可視情報画像に対する参照画像情報の類似度を計算する。参照情報選択部５１は、サーバ装置３から取得される全ての参照情報について参照画像情報の類似度を計算し、全ての計算結果のうち類似度の最大値を取得する。次に、参照情報選択部５１は、取得した類似度の最大値が、あらかじめ設定された閾値を超える値である場合、その類似度に対応する参照画像情報を含む参照情報を選択する。

次に、ステップＳ５において、参照情報選択部５１は、選択した参照情報に含まれる参照画像情報が示す参照画像に対する透過可視情報画像の相対距離を計算する。次に、参照情報選択部５１は、選択した参照情報と相対距離を示す情報とを対応情報抽出部５２に供給する。そして、対応情報抽出部５２は、参照情報選択部５１が供給する参照情報と相対距離を示す情報とを取り込む。

図９は、情報表示装置１の、対応情報提示処理の処理手順を示すフローチャートである。
ステップＳ２１において、位置指定部３０は、表示部１０越しに上方の面における任意の位置の指定を受け付けて二次元座標を検出し、この二次元座標を示す座標情報を対応情報抽出部５２および表示制御部８０に供給する。具体的に、位置指定部３０は、例えば、位置指定の開始位置と終了位置とをそれぞれ検出する。開始位置と終了位置とが同一である場合、位置指定部３０は、当該位置に対応する座標情報を対応情報抽出部５２に供給する。開始位置と終了位置とが異なる場合、位置指定部３０は、開始位置から終了位置までの指定位置の軌跡（例えば、指先の軌跡）に対応する離散的な座標情報を対応情報抽出部５２および表示制御部８０に供給する。

対応情報抽出部５２は、位置指定部３０が供給する座標情報を取り込む。また、表示制御部８０は、位置指定部３０が供給する座標情報を取り込み、この座標情報に対応する表示部１０における画素位置を求める。そして、表示制御部８０は、その画素位置を含む近傍の画素をあらかじめ設定された色を示す画素値に変化させる。
次に、対応情報抽出部５２は、ステップＳ２２の処理に移す。

ステップＳ２２において、対応情報抽出部５２は、位置または領域を示す座標情報に対応する位置情報を、既に取り込んでいる参照情報から検出する。例えば、対応情報抽出部５２は、位置を示す座標情報における座標値が、参照画像における一対の対角の座標値を示す位置情報および相対距離に基づき得られる矩形状の部分参照画像の領域に含まれる場合の位置情報を、参照情報から検出する。または、例えば、対応情報抽出部５２は、領域を示す座標情報における複数の座標値、すなわち指定領域と、参照画像における一対の対角の座標値を示す位置情報および相対距離に基づき得られる矩形状の部分参照画像の領域との重複の度合が所定の割合を超える場合の位置情報を、参照情報から検出する。

次に、ステップＳ２３において、対応情報抽出部５２は、検出した位置情報に対応付けられた対応情報を参照情報から抽出し、その対応情報を表示制御部８０に供給する。
次に、ステップＳ２４において、表示制御部８０は、対応情報抽出部５２が供給する対応情報を取り込み、この対応情報を表示部１０に表示させる。

次に、ステップＳ２５において、対応情報取得部５０は、例えば、対応情報抽出部５２が抽出した対応情報に関係する関連情報をサーバ装置３に要求し、この要求を受けたサーバ装置３が供給する関連情報を取り込む。この関連情報は、例えば、図７に示した外部情報Ｊ３である。次に、対応情報取得部５０は、取り込んだ関連情報を表示制御部８０に供給する。
次に、ステップＳ２６において、表示制御部８０は、対応情報取得部５０が供給する関連情報を取り込み、この関連情報を表示部１０に表示させる。

［第２の実施の形態］
本発明の第２実施形態は、上述した第１実施形態における撮影部２０の別の内部構成および配置の例について説明する。

図１０は、第２実施形態である情報表示装置１ａに設けられた四つの撮影部２０ａが透過可視情報を撮影する様子を模式的に示した図である。ただし、同図は、情報表示装置１ａを、表示部１０の面が、直交するＸＹ両軸を含む平面（ＸＹ平面）に平行、且つ表示部１０の面の各辺がＸ軸またはＹ軸に平行となる姿勢で配置し、表示部１０越しに上方から見た平面図である。
同図において、撮影部２０ａ−１〜２０ａ−４は、表示部１０のフレーム部においてＸ軸に平行な、対向する２辺それぞれに二つずつ設けられている。透過可視情報Ａを分割する四つの部分透過可視情報は、透過可視情報Ａの領域の中心を通り且つＸ軸に平行な直線ＣとＹ軸に平行な直線とで透過可視情報Ａの領域を分割した領域の情報である。

撮影部２０ａ−１は、撮影部２０ａ−１側の部分透過可視情報を被写体として撮影する。また、撮影部２０ａ−２は、撮影部２０ａ−２側の部分透過可視情報を被写体として撮影する。また、撮影部２０ａ−３は、撮影部２０ａ−３側の部分透過可視情報を被写体として撮影する。また、撮影部２０ａ−４は、撮影部２０ａ−４側の部分透過可視情報を被写体として撮影する。図１０に示すように、撮影部２０ａ−１は、撮影によって第１の部分画像Ｓ１を生成する。また、撮影部２０ａ−２は、撮影によって第２の部分画像Ｓ２を生成する。また、撮影部２０ａ−３は、撮影によって第３の部分画像Ｓ３を生成する。また、撮影部２０ａ−４は、撮影によって第４の部分画像Ｓ４を生成する。このように、撮影部２０ａ−１〜２０ａ−４は、各部分領域ができるだけ重複せず、且つ全ての部分領域Ｓ１〜Ｓ４が透過可視情報Ａの領域をできるだけ広く含むよう設けられている。

なお、図１０には、撮影部２０ａ−１および撮影部２０ａ−３の光学中心を通りＹ軸に平行な直線Ｅ−Ｅを示しているが、このＥ−Ｅ線については図１１の説明で引用する。

次に、撮影部２０−１および撮影部２０−２の内部構造について説明する。
図１１は、図１０に示した情報表示装置１ａを、ＸＹ平面に直交し且つＥ−Ｅ線を含む平面で切った断面を模式的に示す図である。図１１において、情報表示装置１ａは、紙媒体Ｐ上に載置されている。表示部１０の上方から紙媒体Ｐに向けて進行する光束は、位置指定部３０と表示部１０とをそれぞれ透過して紙媒体Ｐに到達する。そして、紙媒体Ｐで反射された光束は、表示部１０と位置指定部３０とをそれぞれ透過する。これにより、紙媒体Ｐに記載された可視情報に対応する透過可視情報が位置指定部３０の面に現出する。

図１１は、撮影部２０ａ−１および撮影部２０ａ−３の内部構造を模式的に示す。ただし、撮影部２０ａ−１および撮影部２０ａ−３は同等の内部構造を有するため、ここでは、撮影部２０ａ−１に符号を付して内部構造を説明する。
撮影部２０ａ−１は、撮像部２４と、広角レンズ光学系２５とを備える。撮像部２４は、第１実施形態において説明した構成であるので、ここでの説明を省略する。
広角レンズ光学系２５は、画角（視野角度）がより広いレンズ光学系である。例えば、広角レンズ光学系２５は、画角が９０度を超えるレンズ光学系である。広角レンズ光学系２５は、単一または複数の集光レンズを含む。

よって、撮影部２０ａ−１は、位置指定部３０の面に現出した第１の部分透過可視情報からの光束を広角レンズ光学系２５に入射させる。そして、撮影部２０ａ−１は、広角レンズ光学系２５で集光させた光束を撮像部２４で撮像させることにより、第１の部分画像を生成する。

同様に、撮影部２０ａ−２〜２０ａ−４も、位置指定部３０の面に現出した第２〜第４の部分透過可視情報からの光束を広角レンズ光学系２５に入射させる。そして、撮影部２０ａ−２〜２０ａ−４は、広角レンズ光学系２５で集光させた光束を撮像部２４で撮像させることにより、第２〜第４の部分画像を生成する。

［第３の実施の形態］
本発明の第３実施形態は、前述した第１実施形態における撮影部２０の配置の別の例について説明する。
図１２は、第３実施形態である情報表示装置の概略の外観を示す斜視図である。同図に示すように、情報表示装置１ｂは、表示部１０と、撮影部２０と、支持部２６と、位置指定部３０とを備える。表示部１０と撮影部２０と位置指定部３０とは、第１の実施形態における構成と同一であるため、ここでの説明を省略する。

情報表示装置１ｂは、一つの撮影部２０を備えている。この撮影部２０は、表示部１０越しに下方の面側にある可視情報からの光束が表示部１０を透過し上方の面に到達して得られる透過可視情報を撮影し、この透過可視情報の画像を生成する。撮影部２０は、透過可視情報全体を視野に含めるよう、支持部２６を介して上方に設けられる。

支持部２６は、撮影部２０を情報表示装置１ｂのフレーム部から離間した場所に設けるためのアームである。支持部２６は、その一端に撮影部２０が設けられ、他端が着脱可能に情報表示装置１ｂのフレーム部に取り付けられる。または、支持部２６は、折り畳み可能、または屈伸可能に情報表示装置１ｂのフレーム部に取り付けられる。

情報表示装置１ｂには、一つの撮影部２０が備えられるため、画像処理部４０は、撮影部２０が生成した画像における収差を補正する画像処理を実行して、透過可視情報画像を生成する。

［第４の実施の形態］
本発明の第４実施形態は、前述した第１実施形態における表示部１０の他に、別の表示部を備える例について説明する。

図１３は、第４実施形態である情報表示装置の概略の概観を示す斜視図である。同図に示すように、情報表示装置１ｃは、表示部１０（第１の表示部）と、撮影部２０と、表示部１１（第２の表示部）と、位置指定部３０とを備える。表示部１０と撮影部２０と位置指定部３０とは、第１の実施形態における構成と同一であるため、ここでの説明を省略する。

表示部１１は、情報を表示する表示パネルを備える。この表示パネルは、光透過性を有していてもよいし、有していなくてもよい。表示部１１は、例えば、液晶ディスプレイ装置、ＥＬディスプレイ装置により実現される。表示部１１は、表示部１０に対して、表示部１０越しに上方の面と表示部１１の表示面とが対向して重なるように、折り畳み可能である。

情報表示装置１ｃは、一つの撮影部２０を備えている。この撮影部２０は、表示部１０越しに下方の面側にある可視情報からの光束が表示部１０を透過し上方の面に到達して得られる透過可視情報を撮影し、この透過可視情報の画像を生成する。
撮影部２０は、表示部１０に組み合わされた表示部１１の一辺と対向する他辺の中央近傍（中央を含む）に設けられている。

次に、本実施形態である情報表示装置１ｃを適用した情報表示システムの構成について説明する。
図１４は、情報表示装置１ｃを適用した情報表示システムの全体構成、および情報表示装置１ｃの機能構成を示すブロック図である。
同図に示す情報表示システムにおいて、第１実施形態と同一の構成には同一の符号を付してその説明を省略する。
同図における情報表示装置１ｃは、表示部１１を追加するとともに、第１実施形態における表示制御部８０を表示制御部８０ｃに変更した構成を有する。
表示部１１は、上述したとおりの構成であるのでここでの説明を省略する。

表示制御部８０ｃは、対応情報抽出部５２が供給する対応情報を取り込み、この対応情報を表示部１０に表示させる。また、表示制御部８０ｃは、位置指定部３０が出力する座標情報を取り込み、この座標情報に対応する表示部１０における画素位置を求める。そして、表示制御部８０ｃは、その画素位置を含む近傍の画素をあらかじめ設定された色を示す画素値に変化させる。ただし、この色は所望の色に変更可能である。これにより、位置指定部３０において指定された位置に対応する表示部１０上の位置が、あらかじめ設定された色で描画される。

また、表示制御部８０ｃは、情報取得部７０が供給する情報を取り込み、この情報を表示部１０および表示部１１またはいずれかに表示させる。例えば、情報取得部７０は、対応情報取得部５０からの要求にしたがって、対応情報に関連する動画データをサーバ装置３から取得し、この動画データを表示制御部８０ｃに供給する。そして、表示制御部８０ｃは、情報取得部７０が供給する動画データを取り込み、この動画データを表示部１１に表示させる。

また、表示制御部８０ｃは、対応情報取得部５０から参照画像を取り込んで拡大し、この拡大された参照画像（拡大参照画像）を表示部１１に表示させる。なお、表示制御部８０ｃは、拡大参照画像の表示開始位置を、位置指定部３０が供給する座標情報によって変更可能である。つまり、利用者による操作にしたがって、拡大参照画像の表示箇所を変更することができる。例えば、表示部１０越しに上方の面における任意の位置から右方向に利用者の指先を移動させた場合、表示制御部８０ｃが、その指先の動きに基づき位置指定部３０から出力される座標情報を取り込み、拡大参照画像の表示開始位置を左方向に変更して拡大参照画像を表示させる。

以上詳述したとおり、本発明の第１実施形態〜第４実施形態における情報表示装置１，１ａ，１ｃ，１ｃによれば、広告ちらし等の媒体を利用者に閲覧させている最中に、この利用者により指定された任意の項目（例えば、注目広告）に関する対応情報を装置の内部または外部から容易に取得し、この対応情報を表示部１０に即時表示させることができる。
したがって、第１実施形態〜第４実施形態における情報表示装置１，１ａ，１ｂ，１ｃによれば、例えば媒体に掲載された情報における任意部分に対する対応情報を容易に取得し、この対応情報を即時提示させることができる。

なお、前述した第１実施形態において、情報表示装置１に搭載される撮影部２０の個数は、二つに限られることなく、例えば、一つでもよいし、第２実施形態のように四つ、またはその他の複数でもよい。
同様に、前述した第２実施形態においても、情報表示装置１ａに搭載される撮影部２０の個数は、四つに限られることなく、例えば、一つでもよいし、第１実施形態のように二つ、またはその他の複数でもよい。

また、利用者から見た場合の情報表示装置１，１ａ，１ｂ，１ｃの向きは、図４を参照したときに、ＸＹ平面内で反時計周りに９０度、１８０度、または２７０度回転させた向きとしてもよい。

以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

１，１ａ，１ｂ，１ｃ 情報表示装置
２ ネットワーク
３ サーバ装置
１０ 表示部（第１の表示部）
１１ 表示部（第２の表示部）
２０，２０−１〜２０−４ 撮影部
２１ カーブミラー（第１の反射板）
２２ ミラー（第２の反射板）
２３ レンズ光学系
２４ 撮像部
２５ 広角レンズ光学系
２６ 支持部
３０ 位置指定部
４０ 画像処理部
５０ 対応情報取得部
５１ 参照情報選択部
５２ 対応情報抽出部
６０ 参照情報記憶部
７０ 情報取得部
７１ 参照情報取得部
８０，８０ｃ 表示制御部

Claims (7)

1. 少なくとも一方の面から他方の面に光透過性を有する表示部と、
   前記一方の面側にある可視情報からの光束が前記表示部を透過し前記他方の面に到達して得られる透過可視情報を撮影し、前記透過可視情報の画像を生成する撮影部と、
   前記表示部の前記他方の面における任意の位置の指定を受け付けて座標情報を出力する位置指定部と、
   前記位置指定部が出力した前記座標情報に対応する、前記画像における位置または領域に対応付けられた対応情報を取得する対応情報取得部と、
   前記表示部に前記対応情報を表示させる表示制御部と、
   を備えることを特徴とする情報表示装置。
2. 前記撮影部は、前記透過可視情報を領域分割して得られる複数の部分透過可視情報それぞれを撮影し、複数の部分画像を生成するものであり、
   前記複数の部分画像を合成して前記透過可視情報の画像を生成する画像処理部
   をさらに備えることを特徴とする請求項１記載の情報表示装置。
3. 前記可視情報に対応する参照画像を示す参照画像情報と、前記参照画像を領域分割して得られる複数の部分参照画像それぞれについての位置を示す位置情報と、前記複数の部分参照画像それぞれについての対応情報とを対応付けた参照情報を取得する参照情報取得部をさらに備え、
   前記対応情報取得部は、
   前記参照情報取得部が取得する参照情報に含まれる前記参照画像情報と前記透過可視情報の画像とに基づいて、前記透過可視情報に対応する参照情報を選択する参照情報選択部と、
   前記位置指定部が出力した前記座標情報に対応する位置情報を前記参照情報から検出し、前記位置情報に対応付けられた対応情報を前記参照情報から抽出する対応情報抽出部と、を備える
   ことを特徴とする請求項１または２記載の情報表示装置。
4. 複数の参照情報を記憶する参照情報記憶部
   をさらに備え、
   前記参照情報取得部は、前記参照情報選択部からの要求に応じて、前記参照情報記憶部から前記参照情報を読み込む
   ことを特徴とする請求項３記載の情報表示装置。
5. 前記参照情報取得部は、前記参照情報選択部からの要求に応じて、外部の装置から前記参照情報を取り込む
   ことを特徴とする請求項３記載の情報表示装置。
6. 前記表示部は、エレクトロルミネッセンス素子を適用して実現される透過型表示装置である
   ことを特徴とする請求項１から５いずれか一項記載の情報表示装置。
7. 前記位置指定部は、タッチパネルである
   ことを特徴とする請求項１から６いずれか一項記載の情報表示装置。

Images