JP5257386B2 - リンク情報表示装置、その表示方法およびリンク情報処理システム - Google Patents

Description

本発明は、リンク情報表示装置とその方法およびリンク情報処理システムに関する。
本発明は、詳細には、撮像装置または映像記録装置などによって実物の映像信号を取得し、さらにリンク情報発信装置によって発信された実物に関するリンク情報を受信し、当該リンク情報を実物の映像信号に重ね合わせて表示するリンク情報表示装置、リンク情報表示方法およびリンク情報処理システムに関するものである。

近年、インターネット上で情報の送受信を行うＷＷＷ（World Wide Web）や、動画像の圧縮再生処理を行うＭＰＥＧ４（Moving Picture Expert Group4）などの技術により、テキスト、静止画及び動画の適当な場所にハイパーリンクラベルを埋め込み、ユーザがこのハイパーリンクラベルに対して所定の操作を行うことで、ラベルに関連付けられているハイパーリンク情報を容易に取得できる手法が普及している。ここで、ハイパーリンクラベルとは、例えば、ＨＴＴＰ（Hyper text Transfer Protocol）などで用いられるＵＲＬ（Uniform Resource Locator）を構成する文字列などをいい、ハイパーリンクラベルに関連付けられている情報、例えば、リンク内容、リンク属性及びリンク位置などの情報をハイパーリンク情報という。以下、便宜上、ハイパーリンクラベルを単にリンクラベルといい、リンクラベルに関連付けられている情報をリンク情報と記述する。

現在、リンクラベルを画像、動画に埋め込むためのフォーマット上の定義はなされているものの、埋め込むべきリンクラベルに関連するリンク情報をどのように生成するかについては、まだ研究、開発の途上である。

一方、拡張現実感（Augmented Reality ）の分野では、現実世界に仮想世界の情報を加えるための研究が進められている。その中では、現実の物体に対する情報の取得が可能な手法も提案されている。例えば、撮像装置などによって撮影した実物の映像信号に、その実物に関連するリンク情報を映像表示装置に表示することによって、ユーザが実物に関してその情報を容易に入手できる手段を提供することができる。

ところで、上述した従来の技術では、それぞれ以下のような問題点の何れかが含まれており、これらを同時に解決した手法はまだない。まず、取得できる情報は、物体のＩＤ（識別番号）であり、このＩＤからリンク情報、具体的には、例えば、ＵＲＬへの変換は別途行わなければならない。このため、情報を取得する側は、ＩＤとリンク情報との対応付けを示すデータベースを常に用意しておく必要がある。

また、物体の位置情報としては、例えば、物体がどの部屋にいるかという程度しか認識できず、物体の正確な位置や向きを認識できない。
さらに、ＩＤの認識は、物体に取り付けられたタグに対する画像処理によるものであるため、利用者がタグを認識できる位置にいる必要がある。
さらにまた、取得できるのは、ＩＤを書き込んだタグの付けられた物体自身の情報のみである。他の物体の情報を得るには、その物体にもタグを付けなければならない。また、空間中を運動するようなリンクラベルは表現できないという不利益がある。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、実物の映像に受信装置によって受信したリンク情報のラベルを重ねて表示でき、実物に関する情報を容易に取得でき、また、移動するリンクを表示することができるリンク情報表示装置及びその方法並びにリンク情報処理システムを提供することにある。

本発明によれば、リンク情報表示装置であって、
実空間映像を含む映像信号を取得する映像信号取得手段と、
リンク情報発信装置から発信された、リンク情報と、リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置を基準とした上記リンクの空間位置を示す位置情報を受信する受信手段と、
上記リンク情報発信装置と上記受信手段を含む当該リンク情報表示装置との位置関係を表す位置関係情報を取得する位置関係情報取得手段と、
上記受信手段で受信した位置情報と上記位置関係情報に基づいて、上記映像信号取得手段で取得した映像信号に重ね合わせて表示するための上記リンク情報又は上記リンク情報に関連する情報の表示位置を決定する表示位置決定手段と、
を有する、リンク情報表示装置が提供される。

好ましくは、上記リンク情報は、リンク内容と、上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置を基準とした上記リンクの空間位置を示す上記リンク位置情報とを有し、上記表示位置決定手段は、上記受信手段で受信した上記リンク情報に含まれる上記リンク位置情報と上記位置関係情報に基づいて、上記映像信号取得手段で取得した映像信号に重ね合わせて表示するための上記リンク情報又は上記リンク情報に関連する情報の表示位置を決定する。

また好ましくは、上記表示位置決定手段で決定した上記映像信号上の表示位置に、上記リンク情報又は上記リンク情報に関連する情報を表示した映像を表示する表示部を有する。

好ましくは、当該リンク情報表示装置は、座標変換手段と画像合成手段とを有する。
好ましくは、上記座標変換手段は、上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系からみた上記リンクの座標系の空間位置を示す上記リンク位置情報と、上記位置関係情報取得手段で取得した上記位置関係情報を組み合わせて、上記リンク内容を含む上記リンク情報を上記受信手段を含む当該リンク情報表示装置の座標系に変換し、上記受信手段を含む当該リンク情報表示装置の座標系に上記座標変換された上記リンク内容を含むリンク情報を上記表示部に表示するときの表示位置の座標系に変換し、上記画像合成手段は、上記映像信号取得手段から提供される上記映像信号に、上記座標変換手段で上記表示部の表示位置の座標系に座標変換された、上記リンク内容を含むリンク情報を重ね合わせて上記表示部に表示する。
また好ましくは、上記座標変換手段は、上記リンク情報が上記表示部の表示画面に水平方向に見えるように、上記リンク位置情報及び上記リンク情報発信装置の位置に基づいて、上記表示部に上記リンク情報を表示するための表示位置を算出する。
好ましくは、上記複数のリンク情報が上記受信手段によって受信され、上記リンク位置情報に従って上記リンク情報を表示すると上記表示部の表示画面が見にくくなるとき、上記座標変換手段が上記リンク情報を上記表示部の表示画面の所定の位置に整列する。

好ましくは、上記リンク情報発信装置から発信された上記リンク情報はさらに上記リンク内容の属性を示す属性情報を含み、上記画像合成手段は、上記映像信号取得手段から提供される上記映像信号に、上記座標変換手段で座標変換された上記リンク内容を含む上記リンク情報を上記リンク情報から検出した上記属性情報に従って重ね合わせて上記表示部に表示する。

好ましくは、当該リンク情報表示装置は、上記リンク情報発信装置が複数のリンク情報を発信したとき、上記複数のリンク情報のそれぞれに含まれる上記属性情報に基づいて各リンク情報を選択する選択手段を具備する。
また好ましくは、上記表示部は、複数のリンク情報を表示する場合、これらのリンク情報を表示画面上の所定の位置に整列して表示する。

また本発明によれば、実空間映像を含む映像信号を取得する映像信号取得ステップと、リンク情報発信装置から発信された、リンク情報と、リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置を基準とした上記リンクの空間位置を示す位置情報をリンク情報表示装置に含まれる受信手段において受信する受信ステップと、上記リンク情報発信装置と上記受信手段を含む当該リンク情報表示装置との位置関係を表す位置関係情報を取得する位置関係情報取得ステップと、上記受信ステップで受信した位置情報と上記位置関係情報に基づいて、上記映像信号取得ステップで取得した映像信号に重ね合わせて表示するための上記リンク情報又は上記リンク情報に関連する情報の表示位置を決定する表示位置決定ステップと、を有する、リンク情報表示方法が提供される。

さらに本発明によれば、少なくとも１のリンク情報を発信するリンク情報発信装置と、上記リンク情報表示装置とを有する、リンク情報処理システムが提供される。

以上説明したように、本発明によれば、地理情報、例えば、地図などの情報に関連するデータベースを持つ必要がなく、空間に任意の座標位置にある実在の物体に関連するハイパーリンク情報を便利な方法で利用者に提供できる。
また本発明によれば、、運動する物体に関するハイパーリンク情報を運動する物体の動きに追従して、例えば、表示装置の画面上に表示することでき、利用者に対して実世界における物体に関する情報を便利に提供することができる。
さらに、本発明によれば、物理的にリンク情報を発信する発信装置を設置できない物体に対して、空間的に離れた場所にある発信装置によってその物体に関するハイパーリンク情報を代理発信することによって、リンク情報発信装置を設置できない物体のリンク情報を提供することができる。
さらに、本発明によれば、リンク情報の属性情報に従って、ユーザの要求に従ってリンク情報を選択し、所定の分類に属しているリンク情報のみをユーザに提供することができる。

本発明に係るリンク情報受信装置の一実施形態を示すブロック図である。 本発明のリンク情報受信装置を含むシステムの一構成例を示す図である。 本発明のリンク情報発信装置が自分に付着しているリンクの情報を発信する場合のシステムの構成を示す図である。 図３に示すシステムにおける受信装置の表示部におけるスクリーン画面を示す図である。 本発明のリンク情報発信装置が離れた場所にあるリンクの情報を発信する場合のシステムの構成例を示す図である。 図５に示すシステムにおける受信装置の表示部におけるスクリーン画面を示す図である。 本発明のリンク情報発信装置が複数のリンクの情報を発信する場合のシステムの構成例を示す図である。 図７に示すシステムにおける受信装置の表示部におけるスクリーン画面を示す図である。

図１は本発明に係るリンク情報表示装置の一実施形態を示す構成図である。
図示のように、本実施形態のリンク情報表示装置は、リンク情報受信部１０、リンク内容検出部２０、属性情報検出部３０、リンク位置検出部４０、発信位置検出部５０、座標変換部６０、選択部７０、合成部８０、表示部９０、記録部１００及び映像入力部１１０によって構成されている。

以下、本実施形態のリンク情報表示装置の各構成部分について説明する。
リンク情報受信部１０は、図示していないリンク情報発信装置によって送信されたリンク情報を受信する。リンク情報発信装置は、例えば、電波などの伝送路を介してある一つまたは複数の物体に関するリンク情報を周囲に送信する。リンク情報受信部１０は、リンク情報発信装置によって送信された電波信号を受信し、リンク情報発信装置で用いられている符号化方式及び変調方式に対応し、受信信号に対して復調及び復号処理を行い、リンク内容検出部２０、属性情報検出部３０、リンク位置検出部４０及び発信位置検出部５０に提供する。

ここで、発信装置によって送信されるリンク情報について説明する。リンク情報は、リンク内容、属性情報及びリンク位置などを示す情報によって構成されている。
リンク内容は、例えば、リンク先を示すデータ、例えば、ＵＲＬを構成する文字列などの情報からなる。一例として、ある物体に関する情報を保有している情報提供サーバのネットワーク上のアドレスを示すデータ情報、例えば、ウェブアドレス“http://dreamsite.net.com/ ”という文字列である。

属性情報は、リンクに対し付加する属性情報である。例えば、ウェブアドレス“http://dreamsite.net.com/ ”に対して、“ドリームホームページ”という文字列により名前を付加したり、リンクの色、リンク先情報のカテゴリなどを表示する情報である。

リンク位置は、リンクが空間中に仮想的に存在すると見なしたときの位置情報である。例えば、発信装置の座標系Ｃｔから見たリンク座標系Ｃｌの平行移動、回転移動を、同次座標系を用いて、４行×４列の行列により表現したものである。

なお、ここで、同次座標系とは、例えば、２次元空間にある点〔ｘ，ｙ〕を〔ｘ，ｙ，１〕として表現する座標表示方式である。同次座標系で点〔ｘ，ｙ，ｍ〕は、普通の座標系では点〔ｘ／ｍ，ｙ／ｍ〕となる点を表しているものである。ここでｍは、倍率の役割をしている。ｍ＝０なら無限遠点を表現することになる。
２次元の同次座標系において、座標変換、例えば、平行移動、回転などは、３×３の変換行列の形式で表すことが可能である。
また、３次元空間における同次座標系では、点〔ｘ，ｙ，ｚ〕を〔ｘ，ｙ，ｚ，１〕と表現することができる。３次元の同次座標系における平行移動、回転などの座標変換は、４×４の変換行列の形式によって表すことが可能である。

リンク情報は、上述したリンク内容、属性情報及びリンク位置情報の要素を組み合わせて構成されている。ただし、これらの一部が省略されていてもよい。例えば、リンク内容のみや、属性情報のみの場合もある。

図示しないリンク情報発信装置は、例えば、リンク内容を生成するリンク内容生成部、リンク位置を生成するリンク位置生成部、属性情報を生成する属性情報生成部及びこれらによって生成される情報を多重化する多重回路、多重化された情報を、例えば、電波によって送信する送信回路によって構成されている。リンクの位置情報は、上述したように、リンクが空間中に仮想的に存在すると見なしたときの位置情報である。なお、このリンク位置情報は、例えば、発信装置の座標系Ｃｔから見たリンク座標系Ｃｌの空間位置を示す情報、または、送信、受信の双方にとって位置をはかる基準となる第３の物体の座標系Ｃｇから見たリンク座標系Ｃｌの空間位置を示す情報である。

なお、リンク情報の送信は、電波に限られるものではなく、その他の伝送方法、例えば、磁気、赤外線などを用いって行うことも可能である。また、リンク情報の発信は、時間的に連続的に行ってもよいし、一定の間隔で発信を繰り返して行ってもよい。

リンク情報発信装置によって発信されたリンク情報はリンク情報受信部１０によって受信され、受信信号がリンク内容検出部２０、属性情報検出部３０、リンク位置検出部４０及び発信位置検出部５０に出力される。
リンク情報の送受信においては、発信装置と受信装置との間に位置関係を把握できる無線方式、例えば、発信装置で使用される無線プロトコルによって決められた信号の変調、復調方式、または符号化、復号方式が採用される。即ち、発信装置の座標系Ｃｔと受信装置の座標系Ｃｒの位置関係（平行または回転移動）は、リンク情報受信部１０によって受信した信号により求められる。例えば、ＧＰＳ（Global Positioning System ）や、無線航法で用いられる距離・方向の測定方法、あるいは電波だけでなく、磁気による検出技術の応用も考えられる。

リンク内容検出部２０は受信信号からリンク内容を検出して選択部７０に出力する。
属性情報検出部３０は、受信信号から属性情報を検出して選択部７０に出力する。
リンク位置検出部４０は、受信信号からリンク位置情報を検出して、座標変換部６０に出力する。
発信位置検出部５０は、受信信号からリンク情報発信装置の座標系Ｃｔとリンク情報受信装置の位置関係を取得し、座標変換部６０に出力する。

座標変換部６０は、リンク位置検出部４０からのリンク位置情報と、発信位置検出部５０からの位置関係情報を組み合わせて、リンク位置情報を座標系Ｃｒに変換したあと、最終的にリンク情報を表示部９０に表示するときの座標系Ｃｓに変換する。
このとき、もしリンクの存在の有無のみが重要であり、正確な位置が必要がなければ、表示部９０に表示するために都合のよい位置に変換してもよい。例えば、表示部９０においてスクリーンに表示する場合、スクリーンが写す範囲にリンクがあることだけを示したければ、それを画面右端あるいは左端に整列させてもよい。また、リンクの回転移動も考えたとき、読みにくい向きにあるなどの場合は、スクリーン上で水平に見えるようにしてもよい。

選択部７０は、属性情報検出部３０からのリンクの属性情報に基づき、入力されるリンク情報のうち、合成部８０に渡すものを取捨選択する。属性情報によりリンクをカテゴリ化し、必要なカデゴリのリンクだけを表示させることが可能となる。

映像入力部１１０は、物体の映像信号を入力する。例えば、映像入力部１１０は、ビデオカメラにより実在の物体を撮影した映像信号を合成部８０に提供する。また、映像入力部１１０は、図示していない映像信号記録装置によって、磁気テープ、光ディスクなどの映像記録媒体から読み出した映像信号を取得し、合成部８０に提供することも可能である。

合成部８０は、映像入力部１１０から提供された映像信号に、選択部７０から入力されるリンク情報、例えば、リンク内容を、属性情報に従って、座標系Ｃｓで表されたリンクラベルの表示位置に重ね合わせる。例えば、属性情報としてリンクの色が含まれる場合、適切な色でリンクラベルを描画して、映像信号に重ね合わせる。

表示部９０は、例えば、映像を表示するスクリーンを持つディスプレイ装置であり、合成部からの映像信号を表示する。表示部９０のスクリーンに固有の座標系Ｃｓが予め決められる。座標変換部６０は、リンク位置検出部４０から得たリンク位置と発信位置検出部５０から得た送信、受信装置間の位置関係に応じて、リンクの座標をスクリーン座標系Ｃｓにおける座標値を算出する。そして、合成部８０において、算出された座標値に従って、リンク内容を映像信号に重ねて、表示するための合成映像信号が生成される。

記録部１００は、合成部８０によって生成された映像信号を所定の記憶媒体に記憶する。

図２は図１に示す受信装置を用いたシステムの一構成例を示す図である。
図示のように、このシステムは、発信装置１５０、受信装置１６０、及び実在の物体１８０によって構成されている。リンク１７０は、空間中の一点に関連づけられたハイパーリンク情報である。なお、スクリーン２００は、例えば、受信装置１６０における映像信号を表示する表示画面を示している。

発信装置１５０、受信装置１６０及びリンク１７０は、それぞれ固有の座標系Ｃｔ、Ｃｒ及びＣｌを持ち、これらの座標系は空間中に互いに任意の位置関係をとることができる。なお、スクリーン２００の座標系Ｃｓは、受信装置１６０の座標系Ｃｒに一定の関係を持つ。受信装置１６０とスクリーン２００の組は、例えば、受信装置にビデオカメラが組み込まれたことを想定している。この場合、図２に示す受信装置１６０における視点から見たスクリーン２００に写っている映像が、ビデオカメラにより撮像された映像と見なすことができる。。

なお、図２では、煩雑性を防ぐために、以下のような簡単化が行われている。まず、一般的なシステムでは、発信装置、受信装置及びリンクが、それぞれ複数個あるが、図２では、一つずつしか描いていない。また、図中では、スクリーン２００の座標系Ｃｓは原点を左上にとっているが、スクリーン中央に原点をとってもよいし、またｘ、ｙ軸の向きが異なるように設定してもよい。
さらに、スクリーン２００を見る視点の位置を受信装置の座標系Ｃｒの原点と一致させているが、他の位置でもよい。ここで重要なのは、受信装置の座標系Ｃｒとスクリーンの座標系Ｃｓの位置がある定まった関係にあることである。

図２に示すシステムにおいて、発信装置１５０によって、実在の物体１８０に関するリンク情報が、例えば、電波によって発信される。受信装置１６０において、リンク情報が受信され、さらに映像入力部によって、例えば、ビデオカメラによって実在の物体１８０の映像信号が入力される。ビデオカメラが実在の物体１８０の方向に向けられたとき、受信装置に設けられている表示部の表示画面、即ち、図２に示すスクリーン２００に、実在の物体１８０の映像が表示される。さらに、受信装置１６０によって受信されたリンク情報に基づき、スクリーン２００の所定の位置に、所定の属性及び向きを持つリンクラベルが表示される。ユーザがこの表示画面において、ポインテイングデバイス、例えば、マウス、ライトペンなどによって、画面上のリンクラベルを指定すると、リンクラベルに関連付けられた情報が表示される。例えば、名所となる地点にリンク１７０が関連づけられ、実在の物体１８０が人の場合、その人物の映像とともに、発信装置１５０によって発信されたその名所に関連するリンク情報のリンクラベルも画面上に表示される。このため、ユーザは当該リンクラベルを指定することによって、その名所に関するリンク情報、例えば、その名所を詳しく解説したホームページにアクセス可能となる。

これにより、例えば、発信装置１５０を装着した人物を撮影すると、その人物に関するリンク情報が映像信号と重なってスクリーン２００に表示させることもできる。この場合、リンク座標系Ｃｌを発信装置１５０の座標系Ｃｔと一致するように設定することができる（即ち、Ｃｔ＝Ｃｌ）。また、一般的に、図２に示すように、発信装置１５０から離れた位置にリンク座標Ｃｌを設定することも可能である（即ち、Ｃｔ≠Ｃｌ）。

以下、図を参照しつつ、本実施形態の動作例を説明する。
第１の動作例
まず、第１の動作例を図３を参照しながら説明する。
図３は、発信装置１５０が自分自身にリンク１７０を付着し、リンク情報を発信している例を示している。即ち、図３示すように、発信装置１５０の座標系Ｃｔの原点がリンク座標系Ｃｌの原点と一致する。このとき、発信装置１５０の座標系Ｃｔから見て、リンク座標系Ｃｌの位置には、回転移動の成分のみが含まれ、平行移動の成分は含まれない。

これを受信装置で撮像すると、図４（ａ）に示すように、スクリーン上に、実在の物体１８０の映像とともに、発信装置１５０の物理的な映像に加えて、付着したリンクラベルが映し出される。
この場合、もし回転移動の成分により、スクリーンに表示されるリンクラベルの文字が読みにくくなっていると、図４（ｂ）に示すように、スクリーン上で水平になるように、受信装置１６０における座標変換部６０で座標変換の調節をしてもよい。

さらに、図４（ｃ）に示すように、発信装置１５０が移動する物体、例えば、自動車に設置されている場合、スクリーン上に移動する自動車に追従してリンクラベルを表示することができる。即ち、移動体、例えば、自動車の位置変化に応じて、送信されるリンクの位置情報もそれに追従して変化するので、変化するリンクの位置情報が受信装置１６０の座標変換部６０によってスクリーンの座標系Ｃｓに変換されるので、スクリーン上に表示されるリンクラベルが発信装置１５０の物理的な映像に追従して変化する。

第２の動作例
図５は、発信装置１５０は、自分と離れた位置にあるリンク情報を発信する例を示している。この場合、リンク１７０は、空間中のある仮想的な位置にあるように、その位置情報が発信装置１５０において生成され、発信される。例えば、図５に示すように、リンク１７０は、発信装置１５０と異なる位置に仮想的にあるように、リンクの位置情報発信装置１５０によってが生成され、発信される。

受信装置１６０において、映像入力部から取得した映像信号、例えば、ビデオカメラによって撮像した映像信号に、実在の物体１８０が写っているとする。この場合、リンク１７０に対応するリンクラベルがスクリーンの画面に表示される。なお、このとき、発信装置１５０がリンクの位置とは異なる場所にあるので、スクリーンの表示画面には、発信装置１５０の物理的な映像が写されない。即ち、図６（ａ）に示すように、スクリーン画面の中に、実在の物体１８０の映像の他に、リンクラベルが空中に浮かんでいるように見える。

なお、実在の物体１８０の他に、例えば、図５に示すように、新たな物体１８２が存在する場合、当該物体に固定された座標系をＣｏとする。物体１８２に対して、発信装置１５０が発信するリンクの位置情報を（Ｃｌ＝Ｃｏ）とすれば、受信装置１６０の表示部において、図６（ｂ）に示すように、物体１８２の映像にリンクラベルが付着して写される。
なお、この方法は、物体１８２が小さいなどの理由で発信装置を取り付けられない場合などに用いられる。また、物体１８２のリンク情報を空間的に離れた発信装置１６０によって発信されることは、即ち、発信装置１５０が離れた位置に配置されている物体の代理発信をすると見ることができる。

発信装置１５０から発信された位置情報が、時間とともに変化している場合、運動するリンクラベルが受信装置１６０の表示装置のスクリーン画面に表示される。例えば、図６（ａ）で、リンク座標系Ｃｌの位置情報を時間を変化させることで、空間に浮かんでいるリンクラベルが円運動をしているかのように視覚的効果を持たすことができる。また、図６（ｂ）に示すように、物体１８２の位置が変化する場合、発信装置１５０によって発信された位置情報を物体１８２の位置の変化に追従して変化させることによって、受信装置１６０の表示部のスクリーン画面に、物体１８２に追従してリンクラベルの表示位置が変化する視覚的効果が得られる。

第３の動作例
図７は、複数のリンク情報を発信装置１５０によって発信する場合の動作例を示している。なお、これらのリンク情報は、例えば、各空間上の点に関連するリンク情報である。図示のように、発信装置１５０によって、例えば、リンク１７０，１７２，１７４の三つのリンク情報が送信される。受信装置１６０によって、発信されたリンク１７０，１７２，１７４の情報が受信され、表示部のスクリーン画面に、例えば、実在の物体１８０の映像とともに、受信されたリンク情報に関連するリンクラベルが表示される。

この場合、受信されたそれぞれのリンクの位置情報に従ってスクリーン画面におけるリンクラベルの表示座標を正確に計算し、計算結果に応じてスクリーン画面にリンク１７０と１７２に関するリンクラベルを表示することができる。一方、リンク１７４に関しては、スクリーンの表示範囲にはないので表示されない。その結果例えば、図８（ａ）に示すように、実在の物体１８０の映像の他に、二つのリンクラベルが表示される。

複数のリンク情報に従って、スクリーン画面に複数のリンクラベルを表示する場合、それぞれのリンクの位置情報に従って算出された各リンクラベルの座標位置にリンクラベルを表示するとき、場合によって、画面が見にくくなることもある。この場合、図８（ｂ）に示すように、複数のリンクラベルを画面の右端または適当な見やすい位置に整列して表示することができる。これによって、画面上のリンクラベルが分かりやすく表示され、ユーザに不快感を与えることなく、より多くのリンク情報を提供することが可能である。

また、スクリーンの表示範囲の外に位置するリンクを、スクリーン画面上所定の位置に表示することもできる。これによって、実在の物体がスクリーン画面に表示されていないときでも、ユーザがその物体に関するリンク情報を入手することが可能である。例えば、リンクＬ３をスクリーンの表示範囲の外に位置するリンクとすると、図８（ｄ）に示すように、リンクＬ３のリンクラベル（リンク３）も含めて右端に整列して表示してもよい。

さらに、発信装置１５０によって、複数のリンク情報が発信された場合、受信装置１６０において、受信されたリンク情報の属性情報に応じて、複数のリンク情報を分類し、所望の部類に属しているリンク情報のみを表示部のスクリーン画面に表示することが可能である。即ち、発信装置１５０によって発信された複数のリンク情報の中に、属性情報としてカテゴリが記述された場合、当該属性情報のカテゴリに従って、リンク情報を分類し、ユーザが指定したカテゴリに属するリンク情報のみを表示することができる。

例えば、図７に示す場合、リンク１７０の属性情報として、カテゴリ＝“個人情報”、リンク１７２の属性情報として、カテゴリ＝“店情報”がそれぞれ付いている場合、ユーザの選択指示によって、例えば、店情報が選ばれたとき、受信装置１６０における選択部７０によって、属性情報のなかに、カテゴリ＝“店情報”がついているリンク情報のみが選択され、合成部８０に出力される。このため、図８（ｃ）に示すように表示部９０において、カテゴリが“店情報”の付いているリンク情報に関連するリンクラベルのみが表示されるので、ユーザが表示されるリンクラベルに従って、所望の情報を引き出すことができる。

以上説明したように、本実施形態によれば、発信装置によって発信されたリンク情報を受信した受信装置は、映像入力部によって取得した実在の物体の映像信号の他に、受信されたリンク情報に関連するリンクラベルを表示装置に表示し、ユーザに実在の物体の映像信号とともに、実分に関連するリンク情報を提供することによって、ユーザに対し、必要な情報をより便利な手法で提供することができる。

１０・・・リンク情報受信部、２０・・・リンク内容検出部、３０・・・属性情報検出部、４０・・・リンク位置検出部、５０・・・発信位置検出部、６０・・・座標変換部、７０・・・選択部、８０・・・合成部、９０・・・表示部、１００・・・記録部、１１０・・・映像入力部、１５０・・・発信装置、１６０・・・受信装置、１７０，１７２・・・リンク、１８０，１８２・・・物体。

Claims (21)

1. リンク情報表示装置であって、
   実空間映像を含む映像信号を取得する映像信号取得手段と、
   リンク情報発信装置から発信された、リンク情報と、リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置を基準とした上記リンクの空間位置を示すリンク位置情報を受信する受信手段と、
   上記リンク情報発信装置と上記受信手段を含む当該リンク情報表示装置との位置関係を表す位置関係情報を取得する位置関係情報取得手段と、
   上記受信手段で受信した位置情報と上記位置関係情報に基づいて、上記映像信号取得手段で取得した映像信号に重ね合わせて表示するための上記リンク情報又は上記リンク情報に関連する情報の表示位置を決定する表示位置決定手段と、
   を有する、
   リンク情報表示装置。
2. 上記リンク情報は、リンク内容と、上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置を基準とした上記リンクの空間位置を示す上記リンク位置情報とを有し、
   上記表示位置決定手段は、上記受信手段で受信した上記リンク情報に含まれる上記リンク位置情報と上記位置関係情報に基づいて、上記映像信号取得手段で取得した映像信号に重ね合わせて表示部に表示するための上記リンク情報又は上記リンク情報に関連する情報の表示位置を決定する、
   請求項１に記載のリンク情報表示装置。
3. 上記表示位置決定手段で決定した上記映像信号上の表示位置に、上記リンク情報又は上記リンク情報に関連する情報を表示した映像を表示する表示部を有する、
   請求項１に記載に記載のリンク情報表示装置。
4. 当該リンク情報表示装置は、
   座標変換手段と、
   画像合成手段と、
   を有し、
   上記座標変換手段は、
   上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系からみた上記リンクの座標系の空間位置を示す上記リンク位置情報と、上記位置関係情報取得手段で取得した上記位置関係情報を組み合わせて、上記リンク内容を含む上記リンク情報を上記受信手段を含む当該リンク情報表示装置の座標系に変換し、
   上記受信手段を含む当該リンク情報表示装置の座標系に上記座標変換された上記リンク内容を含むリンク情報を上記表示部に表示するときの表示位置の座標系に変換し、
   上記画像合成手段は、上記映像信号取得手段から提供される上記映像信号に、上記座標変換手段で上記表示部の表示位置の座標系に座標変換された、上記リンク内容を含むリンク情報を重ね合わせて上記表示部に表示する、
   請求項２に記載のリンク情報表示装置。
5. 上記座標変換手段は、上記リンク情報が上記表示部の表示画面に水平方向に見えるように、上記リンク位置情報及び上記リンク情報発信装置の位置に基づいて、上記表示部に上記リンク情報を表示するための表示位置を算出する、
   請求項４に記載のリンク情報表示装置。
6. 上記複数のリンク情報が上記受信手段によって受信され、上記リンク位置情報に従って上記リンク情報を表示すると上記表示部の表示画面が見にくくなるとき、上記座標変換手段が上記リンク情報を上記表示部の表示画面の所定の位置に整列する、
   請求項４に記載のリンク情報表示装置。
7. 上記リンク情報発信装置から発信された上記リンク情報はさらに上記リンク内容の属性を示す属性情報を含み、
   上記画像合成手段は、上記映像信号取得手段から提供される上記映像信号に、上記座標変換手段で座標変換された上記リンク内容を含む上記リンク情報を上記リンク情報から検出した上記属性情報に従って重ね合わせて上記表示部に表示する、
   請求項４〜６のいずれかに記載のリンク情報表示装置。
8. 当該リンク情報表示装置は、上記リンク情報発信装置が複数のリンク情報を発信したとき、上記複数のリンク情報のそれぞれに含まれる上記属性情報に基づいて各リンク情報を選択する選択手段を具備する、
   請求項７に記載のリンク情報表示装置。
9. 上記表示部は、複数のリンク情報を表示する場合、これらのリンク情報を表示画面上の所定の位置に整列して表示する、
   請求項８に記載のリンク情報表示装置。
10. 上記映像信号取得手段は、
    実在の物体の映像信号を撮像する撮像装置を含む、または、
    映像記録媒体に記録されている映像信号を再生する映像信号再生装置を含む、
    請求項１〜９のいずれかに記載のリンク情報表示装置。
11. 当該リンク情報表示装置は、上記合成された映像信号を記録する記録手段をさらに有する、
    請求項４〜１０のいずれかに記載のリンク情報表示装置。
12. 実空間映像を含む映像信号を取得する映像信号取得ステップと、
    リンク情報発信装置から発信された、リンク情報と、リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置を基準とした上記リンクの空間位置を示すリンク位置情報をリンク情報表示装置に含まれる受信手段において受信する受信ステップと、
    上記リンク情報発信装置と上記受信手段を含む当該リンク情報表示装置との位置関係を表す位置関係情報を取得する位置関係情報取得ステップと、
    上記受信ステップで受信した位置情報と上記位置関係情報に基づいて、上記映像信号取得ステップで取得した映像信号に重ね合わせて表示部に表示するための上記リンク情報又は上記リンク情報に関連する情報の表示位置を決定する表示位置決定ステップと、
    を有する、
    リンク情報表示方法。
13. 上記リンク情報は、リンク内容と、上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置を基準とした上記リンクの空間位置を示す上記リンク位置情報とを有し、
    上記表示位置決定ステップにおいて、上記受信手段で受信した上記リンク情報に含まれる上記リンク位置情報と上記位置関係情報に基づいて、上記映像信号取得ステップで取得した映像信号に重ね合わせて表示するための上記リンク情報又は上記リンク情報に関連する情報の表示位置を決定する、
    請求項１２に記載のリンク情報表示方法。
14. 当該リンク情報表示方法は、上記表示位置決定ステップで決定した上記映像信号上の表示位置に、上記リンク情報又は上記リンク情報に関連する情報を表示した映像を表示する表示ステップを有する、
    請求項１３に記載に記載のリンク情報表示方法。
15. 当該リンク情報表示方法は、
    座標変換ステップと、
    画像合成ステップと、
    を有し、
    上記座標変換ステップにおいて、
    上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系から見た上記リンクの座標系の空間位置を示す上記リンク位置情報と、上記位置関係情報取得ステップで取得した上記位置関係情報を組み合わせて、上記リンク内容を含む上記リンク情報を上記受信手段を含むリンク情報表示装置の座標系に変換し、
    上記受信手段を含むリンク情報表示装置の座標系に上記座標変換された上記リンク内容を含むリンク情報を上記表示部に表示するときの表示位置の座標系に変換し、
    上記画像合成ステップにおいて、上記映像信号取得ステップから提供される上記映像信号に、上記座標変換ステップで表示部の表示位置の座標系に座標変換された、上記リンク内容を含むリンク情報を重ね合わせて上記表示部に表示する、
    請求項１３に記載のリンク情報表示方法。
16. 上記座標変換ステップにおいて、上記リンク情報が上記表示部の表示画面に水平方向に見えるように、上記リンク位置情報及び上記リンク情報発信装置の位置に基づいて、上記表示部に上記リンク情報を表示するための表示位置を算出する、
    請求項１５に記載のリンク情報表示方法。
17. 上記複数のリンク情報が上記受信手段によって受信され、上記リンク位置情報に従って上記リンク情報を表示すると上記表示部の表示画面が見にくくなるとき、上記座標変換ステップにおいて、上記リンク情報を上記表示部の表示画面の所定の位置に整列する、
    請求項１５に記載のリンク情報表示方法。
18. 上記リンク情報発信装置から発信された上記リンク情報はさらに上記リンク内容の属性を示す属性情報を含み、
    上記画像合成ステップにおいて、上記映像信号取得ステップから提供される上記映像信号に、上記座標変換ステップにおいて座標変換された上記リンク内容を含む上記リンク情報を上記リンク情報から検出した上記属性情報に従って重ね合わせて上記表示部に表示する、
    請求項１５〜１７のいずれかに記載のリンク情報表示方法。
19. 当該リンク情報表示方法は、上記リンク情報発信装置が複数のリンク情報を発信したとき、上記複数のリンク情報のそれぞれに含まれる上記属性情報に基づいて各リンク情報を選択する選択ステップを有する、
    請求項１８に記載のリンク情報表示方法。
20. 上記表示ステップにおいて、複数のリンク情報を表示する場合、これらのリンク情報を上記表示部の表示画面上の所定の位置に整列して表示する、
    請求項１４に記載のリンク情報表示方法。
21. 少なくとも１のリンク情報を発信するリンク情報発信装置と、
    請求項１〜１１のいずれかに記載のリンク情報表示装置と
    を有する、リンク情報処理システム。

Images