JP4951266B2 - 表示装置、関連情報表示方法およびプログラム - Google Patents

Description

本発明は、対象物を認識し、対象物に関連する画像を表示部に表示する表示装置、表示方法およびその機能をコンピュータに実行させるプログラムに関する。

近年、表示部に表示される画像が、阻害物を避けて表示される表示装置が実用に供されている。

従来の技術の表示装置は、机の上面部にディスプレイが設けられている。このディスプレイは、種々の画像を表示可能に形成され、物体が載置可能に形成されている。表示装置は、ディスプレイに載置される物体の位置を検出し、この検出される物体の位置に基づいて、表示部に表示されている画像の表示領域を変更し、阻害物である物体を避けて前記画像を表示させる。表示装置には、ボタンが設けられ、このボタンを操作することによって、ディスプレイに表示されている画像の内容を変更できる。

特開２００４−２７１８６６号公報

従来の技術の表示装置において、使用者は、ボタンを操作することによって、ディスプレイに載置される物体（以下、「対象物」と称する場合がある）に関連する画像を表示させる。表示装置が複数の画像を表示可能である場合、使用者は、これら複数の画像のうち対象物に関連する画像を検索しなければならない。このように使用者が対象物に関連する画像を検索する場合、適当な関連する画像を検索することは、時間と労力が必要となり、また検索された画像が前記対象物に関連する画像であるか否かを精査しなければならない。

さらにディスプレイに表示される画像は、その上下方向が６時の視認方向と平行に表示される。したがって使用者は、６時の視認方向からディスプレイを見ると、その表示内容が理解しやすいけれども、３時、９時および１２時の視認方向からディスプレイを見ると、その表示内容が見難く、理解し難い。したがって視認者は、ディスプレイに表示される画像を視認するために、６時の視認方向に着座などしなければならない。

本発明の目的は、対象物に関連する情報を表示部に表示させることが容易な表示装置、表示方法およびその機能をコンピュータに実行させるプログラムを提供することである。

また本発明の他の目的は、視認方向に関わらず、表示部に表示される情報を容易に視認できる表示装置、表示方法およびその機能をコンピュータに実行させるプログラムを提供することである。

本発明は、表示部の画面上に載置される対象物を識別する識別手段と、
予め定められる関連情報を識別した対象物に関連付けて記憶する関連情報記憶手段と、
識別手段が対象物を識別すると、識別された対象物に関連付けて記憶される関連情報を検索する関連情報検索手段と、
検索される関連情報に基づく関連画像を表示部に表示する表示手段と、
所定の基準方向に対する対象物の向きの角度を検出する方向検出手段と、
方向検出手段が検出した角度が０度以上４５度未満の場合には、関連画像の向きを基準方向に一致させ、この角度が４５度以上９０度未満の場合には、関連画像の向きを基準方向に垂直な方向に一致させる表示制御手段とを含むことを特徴とする表示装置である。

また本発明は、表示部に対する対象物の位置を検出する位置検出手段をさらに有し、
表示制御手段は、位置検出手段によって検出される位置に基づいて、関連画像の配置を制御することを特徴とする。

また本発明は、関連画像と表示部に配置される対象物との重なりを検出する重畳検出手段をさらに有し、
表示制御手段は、重畳検出手段によって検出される重なりに基づいて、関連画像の配置を制御することを特徴とする。

また本発明は、識別手段は、対象物に付されるデータキャリアに基づいて対象物を識別することを特徴とする。

また本発明は、表示部の画面上に載置される対象物を識別する識別工程と、
識別工程で対象物を識別すると、識別した対象物に関連付けて記憶される関連情報を検索する関連情報検索工程と、
検索される関連情報に基づく関連画像を表示部に表示する表示工程であって、所定の基準方向に対する対象物の向きの角度を検出し、検出した角度が０度以上４５度未満の場合には、関連画像の向きを基準方向に一致させ、この角度が４５度以上９０度未満の場合には、関連画像の向きを基準方向に垂直な方向に一致させる表示工程とを有することを特徴とする関連画像表示方法である。

また本発明は、コンピュータに、前記表示装置の機能を実行させることを特徴とするプログラムである。

本発明によれば、識別手段が対象物を識別すると、関連情報記憶手段に記憶される関連情報から識別した対象物に関連付けられた関連情報を検索する。表示手段では、表示部に、検索される関連情報に基づく関連画像が表示される。したがって各対象物を識別すると、表示部に対象物の関連情報を表示させることができる。このように対象物を識別するだけで、関連情報記憶手段に記憶される関連情報から前記対象物に関連する関連情報を容易に検索することができ、この関連情報に基づく関連画像を表示させることができ、使用者の検索時間および労力を従来の技術に比べて低減することができる。

また識別手段は、表示部の画面上に載置される対象物を識別し、この識別した対象物に関連する関連情報に基づく関連画像が表示部に表示される。したがって表示される関連情報の近くに対象物があるので、視認者は、対象物と関連画像とを参照し易い。たとえば関連画像を用いて対象物を説明する場合、対象物と関連画像とを参照し易く、視認者の理解を深めることができる。

さらに、方向情報検出手段が対象物の向きを検出すると、表示制御部は、検出した向きに基づいて、関連画像の向きを制御する。したがって関連画像の向きは、一義的に決定されるのではなく、対象物の向きに応じて変更することができる。これによって表示部を視認する視認者が着座などする位置に合わせて変更することできる。換言すると視認者の視認方向に合わせて、関連画像の表示方向を変更することができ、対象物の向きを変えることによって、視認者が理解しやすい向きに関連画像を配置することができる。また視認者の視認方向に合わせて表示装置の配置を変更する、または視認者が着座などする位置を変えさせる必要がなく、利便性の高い表示装置が実現できる。

本発明によれば、位置検出手段が表示部に対する対象物の位置を検出すると、この位置に基づいて、関連画像の配置を制御する。表示部に対する対象物の位置に応じて表示部に表示される関連情報の配置を変更するので、関連画像の配置に関係なく、対象物を表示部に配置することができる。

本発明によれば、重畳検出手段によって、重なりが検出され、この重なりに基づいて、関連画像の配置を制御する。関連画像と対象物とが重なることによって関連画像の配置が制御され、関連画像の一部が視認できなくなることを抑制できる。

本発明によれば、識別手段は、対象物に付されるデータキャリアに基いて、対象物を識別する。これによって識別手段が対象物を識別することを実現することができる。

本発明によれば、識別工程で対象物を識別すると、識別した対象物に関連付けられている関連情報を検索する。表示工程では、検索される関連情報に基づく関連画像を表示する。したがって各対象物を識別すると、表示部に識別工程で識別された対象物の関連情報を表示させることができる。このように対象物を識別するだけで、前記対象物に関連する関連情報を容易に検索することができ、この関連情報に基づく関連画像を表示させることができ、使用者の検索時間および労力を従来の技術に比べて低減することができる。

本発明によれば、コンピュータに表示装置の機能を実行させることができ、関連情報を検索する時間および労力を低減できる。

以下、図面を参照しながら本発明を実施するための形態を、複数の形態について説明する。各形態で先行する形態で説明している事項に対応している部分には同一の参照符を付し、重複する説明を略する場合がある。構成の一部のみを説明している場合、構成の他の部分は、先行して説明している形態と同様とする。また実施の各形態で具体的に説明している部分の組合せばかりではなく、特に組合せに支障が生じなければ、実施の形態同士を部分的に組合せることも可能である。

図１は、本発明の実施の一形態である表示装置１の電気的構成を示すブロック図である。表示装置１は、たとえば机に設けられ、種々の物体を識別するために付与される識別情報を検出すると、その識別情報に関連付けられている関連データを検索し、検索された関連データに基づく関連画像を表示部に表示可能に構成されている。本実施の形態では、書類などの物品に識別情報を予め付加し、この識別情報に関連する関連データ、たとえば前記書類の補足説明などを表示装置１に記憶させておく。使用者は、表示装置１に識別情報を検出させ、この識別情報に関連する関連データを検索させる。表示装置１は、前記関連データに基づいて、関連画像を表示する。使用者は、書類と前記関連画像とを照らし合わせながら書類の内容を説明することができる。

表示装置１は、液晶ディスプレイ（Liquid Crystal Display：略称ＬＣＤ）２と、光センサ３と、発光部４と、画像入力部５と、バスライン６と、主記憶部７と、補助記憶部８と、位置認識部９と、タグ認識部１０と、文字認識部１１と、方向認識部１２と、関連データ検索部１３と、表示制御部１４と、デジタイザ１５と、座標入力手段１６と、座標入力部１７と、入力部１８と、通信部１９と、中央演算処理装置（Central Processing
Unit：略称ＣＰＵ）２０とを有する。

図２は、表示装置１の使用状態を示す概略図である。図３は、表示装置１に載置されるパンフレット２１を示す平面図である。図３（ａ）は、パンフレット２１の表表紙２１ａを示す平面図である。図３（ｂ）は、パンフレット２１の裏表紙２１ｂを示す平面図である。以下では、店員２２と客２３とが、表示装置１を介して対面に着座などして、店員２２が客２３に対して表示装置１を用いてパンフレット２１の内容を説明する場合について説明する。表示装置１のＬＣＤ２に対象物であり物品であるパンフレット２１が載置されている。ＬＣＤ２には、この載置されるパンフレット２１に関連する関連データに基づいて、３つの関連画像２４ａ，２４ｂ，２４ｃが表示されている。以下では、単にＬＣＤ２に表示されている関連画像を指す場合、関連画像２４と称する。関連画像２４は、客２３に向かって表示され、パンフレット２１を避けてＬＣＤ２に配置されている。パンフレット２１の表表紙２１ａには、「夏旅行！北海道」の文字および背景画が記載されている。パンフレット２１の裏表紙２１ｂには、タグである２つのＱＲコード２７，２８および「○○旅行店」の文字（以下、「裏表紙文字」）２９が記載されている。各ＱＲコード２７，２８は、裏表紙２１ｂの対角をなす２つの角部にそれぞれ配置されている。

データキャリアであるＱＲコード２７，２８には、識別情報、方向認識情報および形状認識情報が含まれている。識別情報は、パンフレット２１を識別するための情報である。本実施の形態では、識別情報は、パンフレット２１が北海道旅行のパンフレットであることを識別するための情報である。方向認識情報は、パンフレット２１の上下方向または左右方向を認識するための情報である。本実施の形態では、上下方向は、パンフレット２１に記載される文字または図画の上下方向と同義であり、図３において紙面上下方向であり、左右方向は、パンフレット２１に記載される文字の左右方向と同義であり、図３において紙面左右方向である。形状認識情報は、パンフレット２１の形状を認識するための情報である。裏表紙文字２９は、裏表紙面２１ｂの中央に記載されている。

表示装置１は、ＬＣＤ２の裏側に間隔をあけて、バックライトなどの発光部４が配設されている。ＬＣＤ２と発光部４との間には、複数のＣＣＤイメージセンサから成る光センサ３が配設されている。ただし光センサ３は、複数のＣＣＤイメージセンサから成るものに限定されず、１つのＣＣＤイメージセンサであってもよい。表示装置１では、発光部４から発せられる光がＬＣＤ２を透過し、ＬＣＤ２に載置されている物品によって反射されて、再度ＬＣＤ２を透過して光センサ３によって受光される。光センサ３は、物品によって反射される光によって、ＬＣＤ２に載置される物品を撮像する。表示装置１は、光センサ３によって撮像することによって、パンフレット２１などの物品を検出し、この物品を避けて関連画像２４などの画像を表示させる。またパンフレット２１のようにＱＲコード２７，２８および裏表紙文字２９が記載される場合、ＱＲコード２７，２８および裏表紙文字２９を検出する。表示装置１は、検出されたＱＲコード２７，２８および裏表紙文字２９に基いて関連データを検索し、検索された関連データに基づく関連画像２４を表示パネルに表示する。以下では、関連画像２４を表示するときのＣＰＵ２０の処理動作について説明する。

図４は、ＣＰＵ２０の処理動作の手順を示すフローチャートである。図５は、タグを認識するときのＣＰＵ２０の処理動作の手順を示すフローチャートである。図６は、識別情報に基いて関連データを検索するときのＣＰＵ２０の処理動作の手順を示すフローチャートである。画像表示処理が開始し、ステップｓ１へ移行する。画像取り込み工程であるステップｓ１では、光センサ３に対して、各ＣＣＤイメージセンサで撮像した分割画像情報を画像入力部５に出力させる。画像入力部５は、出力された分割画像情報を合成し、画像情報を生成する。生成された画像情報は、バスライン６を介して記憶部７，８に伝送され、記憶部７，８に伝送された時刻とともに記憶部７，８に記憶される。以下では、記憶部７，８に記憶された画像情報を取得画像と称する場合がある。本実施の形態では、ＣＰＵ２０は、予め定められる撮像時間間隔、たとえば１／１００秒間隔で、光センサ３に分割画像情報を出力させている。記憶部７，８に記憶させると、ステップｓ２へ移行する。

取得画像変化認識工程であるステップｓ２では、位置認識部９に、互いに異なる時刻に記憶される２つの取得画像に変化があるか否かを判定させる。位置認識部９は、最新の取得情報と撮像時間前の取得情報とを比較して、取得画像が異なるか否かを判定する。位置認識部９が、２つの取得画像に変化があると判定すると、ステップｓ３へ移行する。取得画像不変化認識工程であるステップｓ３では、位置認識部９に予め定められる表示時間、たとえば１秒間、取得画像に変化がないか否かを判定させる。位置認識部９は、最新の取得情報と表示時間前の取得情報とに変化がないか否かを判定する。２つの取得画像に変化がある場合、ステップｓ１２へ移行する。２つの取得画像に変化がない場合、ステップｓ４へ移行する。

載置認識工程であるステップｓ４では、取得画像に基いてＬＣＤ２に物品が載置されているか否かを判定する。具体的には、取得画像に基いて、光センサ３が受光する受光量の大小を検出し、ＬＣＤ２に物品が載置されているか否かを判定する。受光量が大きい場合、物品が載置されていると判定する。受光量が小さい場合、物品が載置されていないと判定する。物品が載置されていると判定すると、ステップｓ５へ移行する。

物品位置認識工程であるステップｓ５では、位置認識部９に取得画像に基いて物品の位置、領域および形状を認識させる。位置認識部９は、ＬＣＤ２の予め定められる位置２５、たとえば図２においてＬＣＤ２の左下の位置２５を原点として、物品の原点に最も近い部分２６の位置座標を認識する。位置認識部９は、ＬＣＤ２のうち物品が占める領域を検出することによって物品の領域を認識する。さらに位置認識部９は、認識された物品の領域に基いて、物品の形状を認識する。ただし物品の形状と領域とは、取得画像に基いて認識するものに限定されず、ＱＲコードに含まれる情報に基いて認識してもよい。物品の位置、領域および形状を認識すると、ステップｓ６へ移行する。

手認識工程であるステップｓ６では、位置認識部９によって認識された物品の領域または形状に基いて、ＬＣＤ２に載置される物品が人の手であるか否かを判定する。たとえば認識された物品の領域の面積に基いて判定する場合、物品の領域の面積が予め定められる面積以下であると、人の手が載置されていると判定する。また物品の形状に基いて判定する場合、物品の形状が人の手の形状に類似しているかを判定する。前記物品が人の手でないと判定すると、ステップｓ７へ移行する。

識別情報付加認識工程であるステップｓ７では、タグ認識部１０に、物品に識別情報が付加されているか、すなわち物品にタグが形成されているかを判定させ、文字認識部１１に、取得画像に基いて、物品に特定文字が形成されているかを判定させる。特定文字とは、パンフレット２１において裏表紙文字２９に相当する。本実施の形態では、取得画像に基いて、ＱＲコードが物品に形成されているかを判定させる。ＱＲコードが形成されていると判定すると、ステップｓ８へ移行する。

識別情報認識工程であるステップｓ８は、タグ認識部１０にタグに含まれる各種の情報を認識させる。タグ認識部１０は、取得画像に基いて、タグに含まれる識別情報および方向認識情報を認識する。本実施の形態では、ＱＲコード２７，２８に含まれる識別情報および方向認識情報を読取り、認識する。タグ認識部１０は、認識した識別情報および方向認識情報を記憶部７，８に記憶させる。各種の情報を認識すると、ステップｓ９へ移行する。本実施の形態では、識別情報および方向認識情報の認識を行っているけれども、これらの情報の認識とともに形状識別情報を認識するように構成してもよい。

さらに図５を参照して、タグ認識部１０の処理動作について具体的に説明すると、タグ認識部１０は、タグに含まれる各種情報の認識を、ＣＰＵ２０から命令されると、ステップｓ８１へ移行する。ステップｓ８１では、取得画像に基いて、タグに含まれる方向認識情報を読取り、認識する。さらに認識された方向認識情報を記憶部７，８に記憶させる。方向認識情報を認識し、記憶させると、ステップｓ８２へ移行する。ステップｓ８２では、取得画像に基いて、タグに含まれる識別情報を読取り、認識する。さらに認識された識別情報を記憶部７，８に記憶させる。識別情報を認識し、記憶させると、処理が終了し、ステップｓ９へ移行する。

関連データ検索工程であるステップｓ９では、関連データ検索部１３に、記憶部７，８に記憶される複数の情報から、ステップｓ８で認識された識別情報に関連する関連データを検索させる。関連データは、記憶部７，８に記憶されている情報および通信部１９を介して通信可能に接続されるサーバコンピュータおよびパーソナルコンピュータなど電子機器に記憶されている情報、たとえば識別情報と関連付けられたアドレスである。識別情報は、関連データと予め関連付けされている。関連データは、たとえば音楽情報、動画情報および静止画情報である。関連データ検索部１３は、前記識別情報に基いて、この関連付けられている関連データを検索する。関連データを検索すると、ステップｓ１０へ移行する。

さらに図６を参照して、関連データ検索部１３の処理動作について具体的に説明すると、関連データ検索部１３は、識別情報に基いて関連データを検索すべきことを、ＣＰＵ２０から命令されると、ステップｓ９１へ移行する。ステップｓ９１では、記憶部７，８に記憶される情報から識別情報に関連付けられた関連データを検索する。検索が終了すると、ステップｓ９２へ移行する。ステップｓ９２では、識別情報に基いて、識別情報に関連付けられた関連データを、通信部１９を介して通信可能な電子機器に記憶される情報から検索する。検索が終了すると、関連データ検索部１３の処理動作が終了し、ステップｓ１０へ移行する。

差分量検出工程であるステップｓ１０では、表示されている画像（以下、「表示画像」と称する場合がある）と載置されている物品の領域との差分量を演算し、差分量が予め定められる限界差分量以上であるかを判定する。重複度である差分量は、取得画像の物品の領域の周縁と画像の周縁との相対距離である。前記ＬＣＤ２に垂直な方向でＬＣＤ２に物品を投影して得られる像（以下、単に「投影像」と称する）に対して表示画像が離反している場合、差分量が負の値であり、投影像と表示画像とが重複している場合、差分量が正の値となる。さらに差分量を演算すると、その差分量が限界差分量、たとえば５ｍｍ以上であるか否かを判定する。限界差分量は、たとえば各表示画像が有するマージンに基いて定められ、各表示画像によって異なるように設定してもよい。演算された差分量が限界差分量以上である場合、ステップｓ１１へ移行する。

関連画像表示工程であるステップｓ１１では、まず表示制御部１４を制御して、各表示画像および投影像とが重複しないように、各表示画像の表示領域を変更させる。表示領域の変更には、表示画像の移動および表示画像を縮小または拡大などが含まれる。具体的には、表示制御部１４は、表示画像、物品の位置および領域、差分量、ならびにステップｓ９で検索された関連データに基いて、投影像と前記関連データに基づく画像、つまり関連画像と表示画像とが互いに重複しないように、表示画像の表示領域を変更させ、非表示領域を確保させる。非表示領域は、画像が表示されていない領域であり、つまり表示可能領域２４のうち表示画像の表示領域を除く領域である。

さらに詳細に説明すると、各表示画像には、重要度が割り当てられ、その重要度に応じて、その表示領域が変更される。重要度は、たとえば表示画像に含まれる文字数が多い、図画が大きいなどで非圧縮の状態で表示領域が大きいものが高く、非圧縮の状態で表示領域が小さいものが低く設定される。表示画像の表示領域の変更の頻度は、重要度のより低いものから順にその頻度を多くし、重要度の高い表示画像の表示領域の変更を抑制する。これによってＣＰＵ２０および表示制御部１４の負担を抑制できる。

次に表示制御部１４を制御して、方向認識情報に基いて、表示画像の向きを変更または維持させる。具体的には、表示制御部１４は、方向認識情報に基いて、物品の方向、たとえば上下方向を認識する。表示制御部１４は、認識した物品の方向に基いて、前記物品の方向と一致するように、表示画像の向きを変更または維持させる。

具体的には、各表示画像において、方向が予め規定されている、たとえば各表示画像に対して上下方向が規定されている。本実施の形態では、画像の上下方向は、画像に含まれる文字または図画の上下方向と同義である。２つのＱＲコード２７，２８には、方向認識情報として、パンフレット２１のどの位置に配置されているかを示す旨の情報が付加されている。本実施の形態では、パンフレット２１の左上に形成される一方のＱＲコード２７に、左上に配置されている旨の情報が付加され、パンフレット２１の右下に形成される他方のＱＲコード２８に、右下に配置されている旨の情報が付加されている。方向認識部１２は、取得画像と２つのＱＲコード２７，２８の配置位置を示す情報とに基いて、パンフレット２１の予め規定された方向、本実施の形態では上下方向を認識する。表示制御部１４は、このパンフレット２１の上下方向と表示画像の上下方向とが一致するように、表示画像の向きを変更または維持させる。これによって表示画像は、投影像を避け、かつ物品の向きに対応する方向に向けて表示され、関連画像２４を表示可能な非表示領域が確保できる。

最後に表示制御部１４を制御して、投影像の領域を除く非表示領域に関連画像２４を表示させる。表示制御部１４は、載置物品の方向認識情報に基いて、関連画像２４を表示する向きを決定し、この決定される向きに向けた関連画像２４を表示させる。このように載置物品の予め規定された方向と、関連画像２４において予め規定された方向、たとえば上下方向とが一致するように、関連画像２４をＬＣＤ２に表示させる。これによって方向認識情報に基づく向きに関連画像２４を向けて、かつ投影像を避けるように、ＬＣＤ２に関連画像２４を表示させることができる。関連画像２４を表示させると、ステップｓ１へ戻り、処理を繰返す。

ステップｓ２において取得画像に変化がないと判定された場合、ステップｓ３において所定時間内に取得画像に変化があったと判定された場合、ステップｓ６において載置される物品が手であると認識した場合、およびステップｓ１０において演算された差分量が限界差分量以上である場合、ステップｓ１２へ移行する。ステップｓ１２では、現在の表示画像を維持し、ステップｓ１へ戻り、処理を繰返す。

ステップｓ４で画面上に物品が載置されていないと判定すると、ステップｓ１３へ移行する。非載置時間検出工程であるステップｓ１３では、物品が載置されていない状態が予め定められる非載置時間継続しているか否かを判定する。非載置時間継続すると、ステップｓ１４へ移行する。表示画像切替工程であるステップｓ１４では、表示制御部１４を制御して、関連画像２４から予め定められる画像に表示画像を切換える。切換えると、ステップｓ１へ戻り、処理を繰返す。ステップｓ１３で、物品が載置されていない状態が非載置時間継続しなかった場合、ステップｓ１へ戻り、処理を繰返す。

ステップｓ７で、物品に識別情報が付加されていない、すなわち物品にタグが形成されていないと判定すると、ステップｓ１５へ移行する。画像回避工程であるステップｓ１５では、表示制御部１４を制御して、表示画像および投影像とが重複しないように、表示画像の表示領域を変更させる。具体的には、表示制御部１４は、表示画像の表示領域、ならびに物品の位置および領域に基いて、投影像と表示画像とが互いに重複しないように、表示画像の表示領域を変更させる。これによって表示画像が投影像を避けて表示される。

ステップｓ７において、文字認識部１１が特定文字が形成されていると判定すると、ステップｓ８へ移行する。ステップｓ８以降の工程では、タグが形成されていると判定した場合と同様の処理を行う。このとき特定文字、すなわち裏表紙文字２９自体が識別情報および方向認識情報となる。具体的には、裏表紙文字２９を読取ることによって、識別情報および方向認識情報を認識する。文字認識部１１は、認識した識別情報および方向認識情報を記憶部７，８に記憶させる。さらに詳細に説明すると、文字認識部１１は、裏表紙文字２９によって、○○旅行店のパンフレット２１であることを示す識別情報を認識し、裏表紙文字２９の上下方向によって、パンフレット２１の方向を示す方向認識情報を認識している。またたとえば表表紙２１ａの「夏旅行！北海道」の文字に基いて、北海道旅行のパンフレット２１であることを示す識別情報を認識させてもよい。ステップｓ９以下では、この識別情報および方向認識情報に基いて、処理が行われる。

図７は、ＬＣＤ２の表示状態の経時変化を示す平面図である。図７Ａ（ａ）は、ＬＣＤ２にパンフレット２１が載置されていない初期の表示状態を示す平面図である。図７Ａ（ｂ）は、店員２２と客２３とが対面に着座などし、ＬＣＤ２にパンフレット２１を客２３に向けて載置しているときの表示状態を示す平面図である。図７Ｂ（ｃ）は、図７Ａ（ｂ）の状態からパンフレット２１の位置を変更したときの表示状態を示す平面図である。図７Ｂ（ｄ）は、店員２２と客２３とが互いに隣り合って着座などし、ＬＣＤ２にパンフレット２１を客２３に向けて載置しているときの表示状態を示す平面図である。図７Ｃ（ｅ）は、ＬＣＤ２からパンフレット２１を取り除いたときの表示状態を示す平面図である。図７Ｃ（ｆ）は、図７Ｃ（ｅ）から予め定められる時間が経過した後の表示状態を示す平面図である。以下では、ＬＣＤ２にパンフレット２１を載置させて関連画像２４を表示させるときの表示装置１の動作を、図４〜図７を参照して、説明する。

まず図７Ａ（ａ）に示すように、ＬＣＤ２は、初期の表示状態にあり、初期の表示状態には、複数のアイコン３０が表示され、座標入力手段１６によって前記アイコンを指すと、前記アイコンに対応付けられる画像が表示される。ＬＣＤ２にパンフレット２１を載置すると、ステップｓ１で記憶部７，８に記憶させた画像情報に基いて、ステップｓ２で取得画像に変化があると判定し、ステップｓ３に移行する。

ステップｓ３では、パンフレット２１が載置されてから１秒以上、パンフレット２１が移動しなければ、１秒間、取得画像に変化がないと判定し、ステップｓ４へ移行する。ステップｓ４では、ＬＣＤ２にパンフレット２１が載置されているので、ステップｓ４で物品が載置されていると判定し、ステップｓ５へ移行する。ステップｓ５では、パンフレット２１の位置、領域および形状を認識し、ステップｓ６へ移行する。ステップｓ６では、ＬＣＤ２に載置される物品がパンフレット２１であるので、手でないと認識し、ステップｓ７へ移行する。

ステップｓ７では、パンフレット２１の裏表紙２１ｂに形成されるタグである２つのＱＲコード２７，２８を認識し、ステップｓ８へ移行する。ステップｓ８では、２つのＱＲコード２７，２８から識別情報、方向認識情報および形状認識情報を認識し、ステップｓ９へ移行する。ステップｓ９では、ステップｓ８で認識した識別情報に基いて、識別情報に関連する関連データを記憶部７，８、および通信部１９を介して接続される電子機器に記憶される情報から検索する。３つの関連データが検索され、この検索が終了すると、ステップｓ１０へ移行する。

ステップｓ１０では、初期の表示状態のＬＣＤ２にパンフレット２１が載置されるので、表示画像がＬＣＤ２に映し出され、差分量が予め定められる差分量以上であると判定される。これによってステップｓ１１へ移行する。ステップｓ１１では、ステップｓ８で認識した方向識別情報に基いて、パンフレット２１の向きを認識し、ステップｓ９で検索された３つの関連データに基づく３つの関連画像２４ａ，２４ｂ，２４ｃをパンフレット２１の向きに合わせて表示する（図７Ａ（ｂ）参照）。

次に図７Ａ（ｂ）のパンフレット２１を実線で示す位置から仮想線で示す位置に移動させた場合について、図７Ａ（ｂ）および図７Ｂ（ｃ）を参照して、説明する。パンフレット２１を移動させた場合の表示装置１の動作は、初期の表示状態のＬＣＤ２にパンフレット２１を載置した場合の表示装置１の動作と類似しており、異なる点についてだけ説明し、同様の動作については、その説明を省略する。ステップｓ１０では、移動後の関連画像２４ｂに対する差分量を演算し、関連画像２４ｂに対する差分量がＬ１であることを求める。Ｌ１が限界差分量Ｌ以上であると判定され、パンフレット２１と関連画像２４ｂとが重複すると判定され、ステップｓ１１へ移行する。

ステップｓ１１では、パンフレット２１に付加されている識別情報に関連する関連画像は、表示画像として表示されているので、表示されている関連画像を移動させる。パンフレット２１と関連画像２４とが重複するので、パンフレット２１と関連画像２４ｂとが重複しないように３つの関連画像２４ａ，２４ｂ，２４ｃを移動させ、パンフレット２１を避けて、３つの関連画像２４ａ，２４ｂ，２４ｃを表示させる（図７Ｂ（ｃ）参照）。このときパンフレット２１の向きが変更されていないので、３つ関連画像２４ａ，２４ｂ，２４ｃの向きは、変更されず維持される。

次に客２３が店員２２の隣に着座などする場合について、図７Ｂ（ｄ）を参照して、説明する。パンフレット２１の向きを変えた場合の表示装置１の動作は、初期の表示状態のＬＣＤ２にパンフレット２１を載置した場合の表示装置１の動作と類似しており、異なる点についてだけ説明し、同様の動作については、その説明を省略する。ステップｓ１１では、方向認識情報に基いて、パンフレット２１が、その上下方向が図７Ｂ（ｄ）の紙面左右方向に一致するように配置されていることを認識する。このパンフレット２１の上下方向に対応するように、関連画像の上下方向を、図７Ｂ（ｄ）の紙面左右方向に一致させて、３つの関連画像２４ａ，２４ｂ，２４ｃを客２３に向けて表示する。さらに３つの関連画像２４ａ，２４ｂ，２４ｃは、パンフレット２１を避けるように表示され、図７Ａ（ｂ）および図７Ｂ（ｃ）に対して、表示領域が縮小または拡大されて表示されている。

最後にＬＣＤ２に載置されているパンフレット２１を取り除いた場合について、図７Ｃ（ｅ）および図７Ｃ（ｆ）を参照して、説明する。ＬＣＤ２に載置されるパンフレット２１を取り除くと、ステップｓ１で記憶部７，８に記憶させた画像情報に基いて、ステップｓ２で取得画像に変化があると判定し、ステップｓ３に移行する。

ステップｓ３では、パンフレット２１が取り除かれてから１秒以上経過していれば、１秒間、取得画像に変化がないと判定され、ステップｓ４へ移行する。ステップｓ４では、ＬＣＤ２にパンフレット２１が載置されていないので、ステップｓ４で物品が載置されていないと判定し、ステップｓ１３へ移行する。パンフレット２１が取り除かれてから非載置時間経過していれば、非載置時間経過していると判定し、ステップｓ１４へ移行する。

ステップｓ１４では、ＬＣＤ２に静止画３１、本実施の形態では、「ありがとうございました」の文字が表示される（図７Ｃ（ｅ）参照）。静止画３１が表示されて、所定の時間が経過すると、ＬＣＤ２は、初期の表示状態に戻る。

図８は、関連画像２４ａ，２４ｃにパンフレット２１の一部が重複しているときのＬＣＤ２を示す平面図である。関連画像２４ａ，２４ｃにパンフレット２１の一部が重複している場合について説明する。ＣＰＵ２０が差分量を演算し、パンフレット２１と周辺施設案内の関連画像２４ａとの差分量がＬ２であり、価格表である関連画像２４ｃとの差分量がＬ３であることを求める。ここで差分量Ｌ２およびＬ３は、重複しているので、正の値である。次にＣＰＵ２０は、演算された差分量Ｌ２およびＬ３が限界差分量Ｌ以上であるか否かを判定する。ここで限界差分量Ｌは、正の値であり、差分量Ｌ２およびＬ３未満の値であるとする。この場合、ステップｓ１０で、ＣＰＵ２０が差分量Ｌ２およびＬ３が、限界差分量Ｌより小さいと判定し、ステップ１２へ移行し、現状の表示状態を維持する（図８参照）。差分量Ｌ２およびＬ３が限界差分量Ｌ以上の場合、パンフレット２１を避けるように、関連画像２４ａ，２４ｂ，２４ｃの表示領域が変更される。このように限界差分量Ｌより小さければ、関連画像２４ａ，２４ｂ，２４ｃとパンフレット２１とが重複する部分が少ないので、関連画像の内容が見えないなどの不都合がなく、かつ関連画像がすぐに移動してちらつくなどの問題が解決される。

図９は、ＬＣＤ２に載置されるパンフレット２１が予め定められる基準方向Ａ１に対して角度α傾いて載置された場合の表示装置１を示す平面図である。表示装置１では、ＬＣＤ２において基準となる基準方向Ａ１が規定されている。本実施の形態では、基準方向Ａ１を図９の紙面上下方向に規定している。この基準方向Ａ１に対してパンフレット２１が角度α傾いている場合の表示装置１の動作について、以下に説明する。

ステップｓ１１において、ＣＰＵ２０は、方向認識部１２にパンフレット２１の向き、具体的には上下方向を認識させる。ＣＰＵ２０は、認識させたパンフレット２１の上下方向と基準方向Ａ１とを比較し、前記パンフレット２１の上下方向に平行な仮想直線Ｂ１と基準方向Ａ１に平行な仮想直線Ｂ２とがなす角度αを演算する。角度αが０度以上４５度未満の場合、ＣＰＵ２０は、表示制御部１４を制御して、関連画像２４の向きを基準方向Ａ１に一致させて、関連画像２４をＬＣＤ２に表示させる。角度αが４５度以上９０度未満の場合、ＣＰＵ２０は、表示制御部１４を制御して、関連画像２４の向きを基準方向Ａ１に垂直な方向に一致させて、関連画像２４をＬＣＤ２に表示させる。このように表示することによって、関連画像２４が傾くことなく、図９の紙面上下方向または左右方向に向けて表示される。したがってパンフレット２１が傾いて載置された場合であっても、店員２２および客２３は、関連画像２４が見やすい。ただしこのような構成に限定されず、パンフレット２１が基準方向Ａ１に対して角度αに載置された場合であっても、パンフレットの上下方向と関連画像２４の上下方向と一致するように、関連画像２４を表示させてもよい。またパンフレット２１の上下方向と関連画像２４の左右方向と一致するように、関連画像２４を表示させてもよい。

このように表示装置１は、タグ識別部１０が識別情報および方向識別情報を認識することによって、対象物である物品を認識し、この物品に関連付けて記憶される関連情報を検索してＬＣＤ２に表示させることができる。また表示装置１は、文字認識部１１が特定文字を認識することによっても、対象物である物品を認識し、この物品に関連付けて記憶される関連情報を検索してＬＣＤ２に表示させることができる。

以下では、本実施の形態の表示装置１が奏する効果について説明する。本実施の形態の表示装置１によれば、タグ認識部１０が識別情報を検出すると、記憶部７，８のうち少なくとも一方に記憶される関連データから識別情報に関連付けられた関連データを検索する。ＬＣＤ２には、検索された関連データに基づく関連画像が表示される。したがってパンフレット２１などの物品に識別情報を付加し、タグ認識部１０によって識別情報を検出させると、ＬＣＤ２にパンフレット２１などの物品の関連画像２４を表示させることができる。このように識別情報を検出するだけで、記憶部７，８または通信部１９を経由した外部記憶装置のうち少なくとも一つに記憶される関連データから前記対象物に関連する関連データを容易に検索することができ、この関連データに基づく関連画像２４を表示させることができ、使用者の検索時間および労力を従来の技術に比べて低減することができる。

本実施の形態の表示装置１によれば、方向認識部１２がパンフレット２１などの物品の向きを検出すると、表示制御部１４は、検出された向きに基づいて、関連画像２４の向きを制御する。したがって関連画像２４の向きは、一義的に決定されるのではなく、パンフレット２１などの物品の向きに応じて変更することができるので、ＬＣＤ２を視認する客２３が着座などする位置に合わせて変更することできる。換言すると客２３の視認方向に合わせて、関連画像の向きを変更することができ、パンフレット２１などの物品の向きを変えることによって、客２３が理解しやすい向きに関連画像２４を配置することができる。また客２３の視認方向に合わせて表示装置１の配置を変更する、または客２３が着座などする位置を変えさせる必要がなく、利便性の高い表示装置１が実現できる。

本実施の形態の表示装置１によれば、ＬＣＤ２に載置されるパンフレット２１などの物品の識別情報を検出し、この検出される識別情報に関連する関連データに基づく関連画像２４がＬＣＤ２に表示される。したがって表示される関連画像２４の近くにパンフレット２１などの物品があるので、客２３は、パンフレット２１などの物品と関連画像２４とを参照し易い。たとえば関連画像２４を用いてパンフレット２１などの物品を説明する場合、パンフレット２１などの物品と関連画像２４とを参照し易く、客２３の理解を深めることができる。

本実施の形態の表示装置１によれば、位置認識部９がＬＣＤ２に対するパンフレット２１などの物品の相対位置を検出すると、この相対位置に基づいて、関連画像２４の配置を制御する。ＬＣＤ２に対するパンフレット２１などの物品の相対位置に応じてＬＣＤ２に表示される関連画像の配置が変更するので、関連画像２４の配置に関係なく、パンフレット２１などの物品をＬＣＤ２に配置することができる。

本実施の形態の表示装置１によれば、ＣＰＵ２０によって、差分量が検出され、この差分量に基づいて、関連画像２４の配置を制御する。関連画像２４とパンフレット２１などの物品とが重なる度合いに応じて関連画像２４の配置が制御され、関連画像２４全体がパンフレット２１などの物品で覆われることを抑制できる。これによって関連画像２４を視認不能になることを抑制できる。

本実施の形態の表示装置１によれば、予め定められる表示時間、取得画像に変化がないかを判定後に、表示画像の表示領域を変更する。これによってパンフレット２１などの物品を移動させたとき、パンフレット２１などの物品のＬＣＤ２の位置が確定するまで表示画像の表示領域が変更されず、パンフレット２１などの物品の移動にともなって表示画像が目まぐるしく移動することを抑制できる。このような表示画像の移動を抑制できるので、ＬＣＤ２の視認による疲れを抑制できる。また表示画像のちらつきも抑制することができる。

本実施の形態の表示装置１によれば、手がＬＣＤ２に載置されているか否かを判定し、手が載置されていると判定した場合、表示画像を維持する。したがってＬＣＤ２に載置される手に応答して表示画像の表示領域が変更することがなく、パンフレット２１などの物品を手で指示すなどして説明することができ、相手側の理解を高めることができる。認識するのは、手でなくても、差棒などであってもよい。

本実施の形態の表示装置１によれば、演算される差分量に応じて、表示画像の表示領域を変更する。関連画像には、マージンが含まれ、パンフレット２１などの物品が関連画像のマージンの部分に重複しても、関連画像に含まれる文字および画像などの部分が前記物品に重ならなければ、視認者は関連画像に含まれる情報を読取ることができる。したがって前記物品と関連画像とが重複する部分が、各関連画像に定められるマージン以下であれば、関連画像と前記物品とが重なり合って、情報を読取ることが困難になることを抑制できる。

本実施の形態の表示方法によれば、識別情報認識工程で識別情報を検出すると、識別情報に関連付けられている関連データを検索する。表示工程では、検索される関連データに基づく関連画像２４を表示する。したがって各パンフレット２１などの物品に識別情報を付加することによって、識別情報検出工程で識別情報を検出すると、パンフレット２１などの物品の関連画像をＬＣＤ２に表示させることができる。このように識別情報を検出するだけで、パンフレット２１などの物品に関連する関連データを容易に検索することができ、この関連データに基づく関連画像２４を表示させることができ、使用者の検索時間および労力を従来の技術に比べて低減することができる。

本実施の形態のプログラムによれば、コンピュータに表示装置１の機能を実行させることができ、関連データを検索する時間および労力を低減できる。

図１０は、他の形態のパンフレット２１Ａを示す図である。パンフレット２１Ａは、裏表紙２１ｂに、１つのＱＲコード２７Ａが形成されている。ＱＲコード２７Ａには、識別情報、方向認識情報および形状情報が含まれている。タグ認識部１０は、取得画像に基いて、ＱＲコード２７Ａに含まれる識別情報などの情報を取得する。

本実施の形態では、ＱＲコード２７，２８に基いて、パンフレット２１の向きを認識しているけれども、裏表紙文字２９Ａの向きによって認識してもよい。この場合、裏表紙文字２９Ａが方向認識情報に相当する。具体的な認識方法は、取得画像に基いて、裏表紙文字２９Ａと予め記憶部７，８に記憶される文字画像と比較し、文字画像を傾き補正するなどして、裏表紙文字２９Ａと文字画像とが一致する向きを検出する。この検出された裏表紙文字２９Ａの向きに基いて、パンフレット２１Ａの向きを認識する。文字画像は、予め定められた書式で記載された文字の画像であり、裏表紙文字２９Ａに含まれる文字と同一の文字である。

裏表紙文字２９Ａで認識することによって、ＱＲコード２７，２８を作成する必要がない。したがって不要な画像を物品に形成する必要がないので、物品の美観を損ねることなく、表示装置１の機能を達成させることができる。

複数の物品が載置されるなどして、複数の関連画像２４を含む複数の表示画像を表示させる場合、前記載置される複数の物品を避けて、かつ複数の画像を重ねて表示させてもよい。各画像に重要度を規定し、ＬＣＤ２には、重要度の高い画像を画面の手前側に表示し、重要度の低い画像を画面の奥側に表示する。したがって重要度の高い画像から低い画像へ順番に、手前側から奥側に表示される。座標入力手段１６によって奥側に表示されている画像を指定すると、指定された画像が手前側に表示されるように構成される。これによって複数の関連画像２４を表示できるとともに、表示される関連画像２４の数に関係なく、各関連画像２４の表示領域を確保することができる。

また本実施の形態では、表示装置１に表示される画像については、関連画像についてだけ説明しているけれども、関連画像に限定されない。たとえば入力部１８によって、記憶部７，８に記憶されるデータに基づく画像を表示させてもよく、また通信部１９を介して通信可能なコンピュータに記憶されるデータに基づく画像を表示させてもよい。

さらに本実施の形態では、識別情報などが含まれるタグとしてＱＲコードについて説明しているけれども、ＱＲコードに限定されない。たとえば１次元バーコードおよびＱＲコード以外の２次元バーコードであってもよく、また電子透かしなどであってもよい。さらに本実施では、人が視認可能な塗料でＱＲコードをパンフレット２１に形成しているけれども、視認不可能で、光センサ３が受光可能な周波数、たとえば赤外線を反射可能塗料であってもよい。このような塗料を用いることによって、表示装置１に関連データを表示させる機能を達成させることができるとともに、パンフレット２１などの物品の美観を損ねない。さらにＲＦＩＤなどのタグであってもよい。このように識別情報を担う担体、すなわちデータキャリアであればよく、その情報担体は限定されない。

さらに本実施の形態では、ＱＲコード２７，２８に方向識別情報が含まれているけれども、ＱＲコードと別個に形成してもよい。たとえば塗料を塗布するなどして矢印をパンフレット２１に形成する。方向認識部１２は、取得画像に含まれるこの矢印に基いて、パンフレット２１の方向を認識する。これによって関連画像の向きを決定することができる。

さらに本実施の形態では、表示装置１は、ステップｓ１１で差分量に基いて、表示画像の表示領域を変更しているけれども、投影像と関連画像との重複する割合に基いて、表示画像の表示領域を変更してもよい。

さらに本実施の形態では、ＱＲコード２７，２８に含まれる識別情報に基いて、物品を識別しているけれども、必ずしもＱＲコード２７，２８に含まれる識別情報に限定されない。たとえば取得画像に基いて、投影像の形状を検出し、この形状と関連データとを関連付けることによって、関連データの検索を可能にできる。すなわち投影像の形状が識別情報の役割を果たす。このように投影像の形状を識別情報として使用してもよい。物品のＬＣＤ２に当接する部分に、切欠きを形成し、この切欠きに基いて、物品を識別させるように形成してもよい。またＱＲコードに含まれる３つの位置検知パターンに基いて、ＱＲコードの向きを検出し、これによってパンフレット２１の向きを検出してもよい。

さらに本実施の形態では、ＣＰＵ２０と位置認識部９、方向認識部１２、タグ認識部１０および文字認識部１１とが別個に設けられているけれども、位置認識部９、方向認識部１２、タグ認識部１０および文字認識部１１の機能をＣＰＵ２０が達成してもよい。つまりＣＰＵ２０が、位置認識部９、方向認識部１２、タグ認識部１０および文字認識部１１の機能を達成するように構成してもよい。

さらに本実施の形態では、パンフレット２１を載置した場合について説明しているけれども、載置される物品はパンフレット２１に限定されない。たとえば書類、陶器、電化製品、遊具でもよく、物体であればよい。

本実施の形態では、ＬＣＤ２について説明しているけれども、このような構成に限定されない。たとえばプロジェクタであってもよく、表面電界ディスプレイ（Surface-
conduction Electron-emitter Display：略称ＳＥＤ）であってもよい。

本発明の実施の一形態である表示装置１の電気的構成を示すブロック図である。 表示装置１の使用状態を示す概略図である。 表示装置１に載置されるパンフレット２１を示す平面図である。 ＣＰＵ２０の処理動作の手順を示すフローチャートである。 タグを認識するときのＣＰＵ２０の処理動作の手順を示すフローチャートである。 識別情報に基いて関連データを検索するときのＣＰＵ２０の処理動作の手順を示すフローチャートである。 ＬＣＤ２の表示状態の経時変化を示す平面図である。 ＬＣＤ２の表示状態の経時変化を示す平面図である。 ＬＣＤ２の表示状態の経時変化を示す平面図である。 関連画像２４ａ，２４ｃにパンフレット２１の一部が重複しているときのＬＣＤ２を示す平面図である。 ＬＣＤ２に載置されるパンフレット２１が予め定められる基準方向Ａ１に対して角度α傾いて載置された場合の表示装置１を示す平面図である。 他の形態のパンフレット２１Ａを示す図である。

符号の説明

１ 表示装置
２ 液晶ディスプレイ
３ 光センサ
７，８ 記憶部
１０ タグ認識部
１４ 表示制御部

Claims (6)

1. 表示部の画面上に載置される対象物を識別する識別手段と、
   予め定められる関連情報を識別した対象物に関連付けて記憶する関連情報記憶手段と、
   識別手段が対象物を識別すると、識別された対象物に関連付けて記憶される関連情報を検索する関連情報検索手段と、
   検索される関連情報に基づく関連画像を表示部に表示する表示手段と、
   所定の基準方向に対する対象物の向きの角度を検出する方向検出手段と、
   方向検出手段が検出した角度が０度以上４５度未満の場合には、関連画像の向きを基準方向に一致させ、この角度が４５度以上９０度未満の場合には、関連画像の向きを基準方向に垂直な方向に一致させる表示制御手段とを含むことを特徴とする表示装置。
2. 表示部に対する対象物の位置を検出する位置検出手段をさらに有し、
   表示制御手段は、位置検出手段によって検出される位置に基づいて、関連画像の配置を制御することを特徴とする請求項１に記載の表示装置。
3. 関連画像と表示部に配置される対象物との重なりを検出する重畳検出手段をさらに有し、
   表示制御手段は、重畳検出手段によって検出される重なりに基づいて、関連画像の配置を制御することを特徴とする請求項１または２に記載の表示装置。
4. 識別手段は、対象物に付されるデータキャリアに基づいて対象物を識別することを特徴とする請求項１〜３のいずれか１つに記載の表示装置。
5. 表示部の画面上に載置される対象物を識別する識別工程と、
   識別工程で対象物を識別すると、識別した対象物に関連付けて記憶される関連情報を検索する関連情報検索工程と、
   検索される関連情報に基づく関連画像を表示部に表示する表示工程であって、所定の基準方向に対する対象物の向きの角度を検出し、検出した角度が０度以上４５度未満の場合には、関連画像の向きを基準方向に一致させ、この角度が４５度以上９０度未満の場合には、関連画像の向きを基準方向に垂直な方向に一致させる表示工程とを有することを特徴とする関連画像表示方法。
6. コンピュータに、請求項１に記載される表示装置の機能を実行させることを特徴とするプログラム。

Images