JP4701479B2 - リンク情報表示装置及びその表示方法 - Google Patents
リンク情報表示装置及びその表示方法Info
- Publication number
- JP4701479B2 JP4701479B2 JP2000203345A JP2000203345A JP4701479B2 JP 4701479 B2 JP4701479 B2 JP 4701479B2 JP 2000203345 A JP2000203345 A JP 2000203345A JP 2000203345 A JP2000203345 A JP 2000203345A JP 4701479 B2 JP4701479 B2 JP 4701479B2
- Authority
- JP
- Japan
- Prior art keywords
- link
- information
- link information
- display
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/954—Navigation, e.g. using categorised browsing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/75—Indicating network or usage conditions on the user display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
- H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
- H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
- H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Security & Cryptography (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Circuits (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置または映像記録装置などによって実物の映像信号を取得し、さらにリンク情報発信装置によって発信された実物に関するリンク情報を受信し、当該リンク情報を実物の映像信号に重ね合わせて表示するリンク情報表示装置に関するものである。
【０００２】
【従来の技術】
近年、インターネット上で情報の送受信を行うＷＷＷ（World Wide Web）や、動画像の圧縮再生処理を行うＭＰＥＧ４（Moving Picture Expert Group4）などの技術により、テキスト、静止画及び動画の適当な場所にハイパーリンクラベルを埋め込み、ユーザがこのハイパーリンクラベルに対して所定の操作を行うことで、ラベルに関連付けられているハイパーリンク情報を容易に取得できる手法が普及している。ここで、ハイパーリンクラベルとは、例えば、ＨＴＴＰ（Hypertext Transfer Protocol）などで用いられるＵＲＬ（Uniform Resource Locator）を構成する文字列などをいい、ハイパーリンクラベルに関連付けられている情報、例えば、リンク内容、リンク属性及びリンク位置などの情報をハイパーリンク情報という。以下、便宜上、ハイパーリンクラベルを単にリンクラベルといい、リンクラベルに関連付けられている情報をリンク情報と記述する。
【０００３】
現在、リンクラベルを画像、動画に埋め込むためのフォーマット上の定義はなされているものの、埋め込むべきリンクラベルに関連するリンク情報をどのように生成するかについては、まだ研究、開発の途上である。
【０００４】
一方、拡張現実感（Augmented Reality ）の分野では、現実世界に仮想世界の情報を加えるための研究が進められている。その中では、現実の物体に対する情報の取得が可能な手法も提案されている。例えば、撮像装置などによって撮影した実物の映像信号に、その実物に関連するリンク情報を映像表示装置に表示することによって、ユーザが実物に関してその情報を容易に入手できる手段を提供することができる。
【０００５】
【発明が解決しようとする課題】
ところで、上述した従来の技術では、それぞれ以下のような問題点の何れかが含まれており、これらを同時に解決した手法はまだない。まず、取得できる情報は、物体のＩＤ（識別番号）であり、このＩＤからリンク情報、具体的には、例えば、ＵＲＬへの変換は別途行わなければならない。このため、情報を取得する側は、ＩＤとリンク情報との対応付けを示すデータベースを常に用意しておく必要がある。
【０００６】
また、物体の位置情報としては、例えば、物体がどの部屋にいるかという程度しか認識できず、物体の正確な位置や向きを認識できない。
さらに、ＩＤの認識は、物体に取り付けられたタグに対する画像処理によるものであるため、利用者がタグを認識できる位置にいる必要がある。
さらにまた、取得できるのは、ＩＤを書き込んだタグの付けられた物体自身の情報のみである。他の物体の情報を得るには、その物体にもタグを付けなければならない。また、空間中を運動するようなリンクラベルは表現できないという不利益がある。
【０００７】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、実物の映像に受信装置によって受信したリンク情報のラベルを重ねて表示でき、実物に関する情報を容易に取得でき、また、移動するリンクを表示することができるリンク情報表示装置及びその方法を提供することにある。
【０００８】
【課題を解決するための手段】
本発明によれば、実空間における実体の映像信号を得る映像入力手段と、リンク情報発信装置から発信された、リンクの内容を示すリンク内容と、上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系からみた上記リンクの座標系の空間位置を示す位置情報とを含むリンク情報を受信する受信手段と、上記受信した上記リンク情報から上記リンク内容を検出するリンク内容検出手段と、上記受信した上記リンク情報から上記位置情報を検出するリンク位置情報検出手段と、上記受信したリンク情報から、上記リンク情報発信装置の座標系と上記受信手段の位置関係を示し、平行移動および回転移動を含む位置関係情報を取得する位置検出手段と、座標変換手段と、画像合成手段と、 を有し、
上記座標変換手段は、
上記リンク位置情報検出手段で検出した、上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系からみた上記リンクの座標系の空間位置を示す上記位置情報と、上記位置検出手段で取得した上記位置関係情報を組み合わせて、上記リンク内容と上記位置情報とを含む上記リンク情報を上記受信手段の座標系に変換し、
上記受信手段の座標系に上記座標変換された、上記リンク内容と上記位置情報とを含む上記リンク情報を表示部に表示するときの表示位置の座標系に変換し、
上記画像合成手段は、上記映像入力手段から提供される上記映像信号に、上記座標変換手段で上記表示部の表示位置の座標系に座標変換された、上記リンク内容と上記位置情報とを含む上記リンク情報を重ね合わせて上記表示部に表示する、
リンク情報表示装置が提供される。
【００１０】
好ましくは、上記リンク情報発信装置から発信された上記リンク情報はさらに、上記リンク内容の属性を示す属性情報を含み、上記画像合成手段は、上記映像入力手段から提供される上記映像信号に、上記変換手段で座標変換された上記リンク情報を上記属性検出手段で検出した上記属性情報に従って重ね合わせて上記表示部に表示する。
【００１１】
好ましくは、上記映像入力手段は実空間における実体の映像信号を撮像するビデオカメラを具備する。
【００１２】
好ましくは、当該リンク情報表示装置は、上記映像入力手段は映像記録媒体に記録されている実空間における実体の映像信号を再生する映像信号再生装置を具備する。
また好ましくは、当該リンク情報表示装置は、上記画像合成手段において上記リンク情報を上記映像信号に重ね合わせた情報を記録する記録手段をさらに具備する。
また好ましくは、当該リンク情報表示装置は、上記リンク情報発信装置が複数のリンク情報を発信したとき、上記複数のリンク情報のそれぞれに含まれる上記属性情報に基づいて各リンク情報を選択する選択手段を具備する。
【００１３】
好ましくは、上記座標変換手段は、上記リンク情報が上記表示部の表示画面に水平方向に見えるように、上記リンク位置情報及び上記リンク情報発信装置の位置に基づいて、上記表示部に上記リンク情報を表示するための表示位置を算出する。
【００１４】
好ましくは、上記複数のリンク情報が上記受信手段によって受信され、上記リンク位置情報に従って上記リンク情報を表示すると上記表示部の表示画面が見にくくなるとき、上記座標変換手段が上記リンク情報を上記表示部の表示画面の所定の位置に整列する。
【００１５】
また本発明によれば、実空間の実体の映像信号を取得するステップと、受信手段が、リンク情報発信装置から発信される、当該リンクの内容を示すリンク内容と、上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系からみた上記リンクの座標系の空間位置を示す位置情報とを含むリンク情報を受信するステップと、上記受信した上記リンク情報から上記リンク内容を検出するリンク内容検出ステップと、上記受信した上記リンク情報から上記位置情報を検出するリンク位置情報検出ステップと、上記受信したリンク情報から上記リンク情報発信装置の座標系と上記受信手段の位置関係を示し、平行移動および回転移動を含む位置関係情報を取得する、位置検出ステップと、座標変換ステップと、画像合成ステップと、を有し、
上記座標変換ステップにおいて、
上記リンク位置情報検出ステップにおいて検出した上記リンクが、３次元空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系からみた上記リンクの座標系の空間位置を示す上記位置情報と、上記位置検出ステップにおいて取得した上記位置関係情報とを組み合わせて、上記リンク内容と上記位置情報とを含む上記リンク情報を上記受信手段の座標系に変換し、
上記受信手段の座標系に上記座標変換された、上記リンク内容と上記位置情報とを含む上記リンク情報を表示部に表示するときの表示位置の座標系に変換し、
上記画像合成ステップにおいて、上記映像入力ステップにおいて取得した上記映像信号に、上記座標変換ステップにおいて上記表示部の表示位置の座標系に上記座標変換された上記リンク内容と上記位置情報とを含む上記リンク情報を重ね合わせて上記表示部に表示する、
リンク情報表示方法が提供される。
【００１６】
【発明の実施の形態】
図１は本発明に係るリンク情報表示装置の一実施形態を示す構成図である。
図示のように、本実施形態のリンク情報表示装置は、リンク情報受信部１０、リンク内容検出部２０、属性情報検出部３０、リンク位置検出部４０、発信位置検出部５０、座標変換部６０、選択部７０、合成部８０、表示部９０、記録部１００及び映像入力部１１０によって構成されている。
【００１７】
以下、本実施形態のリンク情報表示装置の各構成部分について説明する。
リンク情報受信部１０は、図示していないリンク情報発信装置によって送信されたリンク情報を受信する。リンク情報発信装置は、例えば、電波などの伝送路を介してある一つまたは複数の物体に関するリンク情報を周囲に送信する。リンク情報受信部１０は、リンク情報発信装置によって送信された電波信号を受信し、リンク情報発信装置で用いられている符号化方式及び変調方式に対応し、受信信号に対して復調及び復号処理を行い、リンク内容検出部２０、属性情報検出部３０、リンク位置検出部４０及び発信位置検出部５０に提供する。
【００１８】
ここで、発信装置によって送信されるリンク情報について説明する。リンク情報は、リンク内容、属性情報及びリンク位置などを示す情報によって構成されている。
リンク内容は、例えば、リンク先を示すデータ、例えば、ＵＲＬを構成する文字列などの情報からなる。一例として、ある物体に関する情報を保有している情報提供サーバのネットワーク上のアドレスを示すデータ情報、例えば、ウェブアドレス“http://dreamsite.net.com/ ”という文字列である。
【００１９】
属性情報は、リンクに対し付加する属性情報である。例えば、ウェブアドレス“http://dreamsite.net.com/ ”に対して、“ドリームホームページ”という文字列により名前を付加したり、リンクの色、リンク先情報のカテゴリなどを表示する情報である。
【００２０】
リンク位置は、リンクが空間中に仮想的に存在すると見なしたときの位置情報である。例えば、発信装置の座標系Ｃｔから見たリンク座標系Ｃｌの平行移動、回転移動を、同次座標系を用いて、４行×４列の行列により表現したものである。
【００２１】
なお、ここで、同次座標系とは、例えば、２次元空間にある点〔ｘ，ｙ〕を〔ｘ，ｙ，１〕として表現する座標表示方式である。同次座標系で点〔ｘ，ｙ，ｍ〕は、普通の座標系では点〔ｘ／ｍ，ｙ／ｍ〕となる点を表しているものである。ここでｍは、倍率の役割をしている。ｍ＝０なら無限遠点を表現することになる。
２次元の同次座標系において、座標変換、例えば、平行移動、回転などは、３×３の変換行列の形式で表すことが可能である。
また、３次元空間における同次座標系では、点〔ｘ，ｙ，ｚ〕を〔ｘ，ｙ，ｚ，１〕と表現することができる。３次元の同次座標系における平行移動、回転などの座標変換は、４×４の変換行列の形式によって表すことが可能である。
【００２２】
リンク情報は、上述したリンク内容、属性情報及びリンク位置情報の要素を組み合わせて構成されている。ただし、これらの一部が省略されていてもよい。例えば、リンク内容のみや、属性情報のみの場合もある。
【００２３】
図示しないリンク情報発信装置は、例えば、リンク内容を生成するリンク内容生成部、リンク位置を生成するリンク位置生成部、属性情報を生成する属性情報生成部及びこれらによって生成される情報を多重化する多重回路、多重化された情報を、例えば、電波によって送信する送信回路によって構成されている。リンクの位置情報は、上述したように、リンクが空間中に仮想的に存在すると見なしたときの位置情報である。なお、このリンク位置情報は、例えば、発信装置の座標系Ｃｔから見たリンク座標系Ｃｌの空間位置を示す情報、または、送信、受信の双方にとって位置をはかる基準となる第３の物体の座標系Ｃｇから見たリンク座標系Ｃｌの空間位置を示す情報である。
【００２４】
なお、リンク情報の送信は、電波に限られるものではなく、その他の伝送方法、例えば、磁気、赤外線などを用いって行うことも可能である。また、リンク情報の発信は、時間的に連続的に行ってもよいし、一定の間隔で発信を繰り返して行ってもよい。
【００２５】
リンク情報発信装置によって発信されたリンク情報はリンク情報受信部１０によって受信され、受信信号がリンク内容検出部２０、属性情報検出部３０、リンク位置検出部４０及び発信位置検出部５０に出力される。
リンク情報の送受信においては、発信装置と受信装置との間に位置関係を把握できる無線方式、例えば、発信装置で使用される無線プロトコルによって決められた信号の変調、復調方式、または符号化、復号方式が採用される。即ち、発信装置の座標系Ｃｔと受信装置の座標系Ｃｒの位置関係（平行または回転移動）は、リンク情報受信部１０によって受信した信号により求められる。例えば、ＧＰＳ（Global Positioning System ）や、無線航法で用いられる距離・方向の測定方法、あるいは電波だけでなく、磁気による検出技術の応用も考えられる。
【００２６】
リンク内容検出部２０は、受信信号からリンク内容を検出して、選択部７０に出力する。
属性情報検出部３０は、受信信号から属性情報を検出して、選択部７０に出力する。
リンク位置検出部４０は、受信信号からリンク位置情報を検出して、座標変換部６０に出力する。
発信位置検出部５０は、受信信号からリンク情報発信装置の座標系Ｃｔとリンク情報受信装置の位置関係を取得し、座標変換部６０に出力する。
【００２７】
座標変換部６０は、リンク位置検出部４０からのリンク位置情報と、発信位置検出部５０からの位置関係情報を組み合わせて、リンク位置情報を座標系Ｃｒに変換したあと、最終的にリンク情報を表示部９０に表示するときの座標系Ｃｓに変換する。
このとき、もしリンクの存在の有無のみが重要であり、正確な位置が必要がなければ、表示部９０に表示するために都合のよい位置に変換してもよい。例えば、表示部９０においてスクリーンに表示する場合、スクリーンが写す範囲にリンクがあることだけを示したければ、それを画面右端あるいは左端に整列させてもよい。また、リンクの回転移動も考えたとき、読みにくい向きにあるなどの場合は、スクリーン上で水平に見えるようにしてもよい。
【００２８】
選択部７０は、属性情報検出部３０からのリンクの属性情報に基づき、入力されるリンク情報のうち、合成部８０に渡すものを取捨選択する。属性情報によりリンクをカテゴリ化し、必要なカデゴリのリンクだけを表示させることが可能となる。
【００２９】
映像入力部１１０は、物体の映像信号を入力する。例えば、映像入力部１１０は、ビデオカメラにより実在の物体を撮影した映像信号を合成部８０に提供する。また、映像入力部１１０は、図示していない映像信号記録装置によって、磁気テープ、光ディスクなどの映像記録媒体から読み出した映像信号を取得し、合成部８０に提供することも可能である。
【００３０】
合成部８０は、映像入力部１１０から提供された映像信号に、選択部７０から入力されるリンク情報、例えば、リンク内容を、属性情報に従って、座標系Ｃｓで表されたリンクラベルの表示位置に重ね合わせる。例えば、属性情報としてリンクの色が含まれる場合、適切な色でリンクラベルを描画して、映像信号に重ね合わせる。
【００３１】
表示部９０は、例えば、映像を表示するスクリーンを持つディスプレイ装置であり、合成部からの映像信号を表示する。表示部９０のスクリーンに固有の座標系Ｃｓが予め決められる。座標変換部６０は、リンク位置検出部４０から得たリンク位置と発信位置検出部５０から得た送信、受信装置間の位置関係に応じて、リンクの座標をスクリーン座標系Ｃｓにおける座標値を算出する。そして、合成部８０において、算出された座標値に従って、リンク内容を映像信号に重ねて、表示するための合成映像信号が生成される。
【００３２】
記録部１００は、合成部８０によって生成された映像信号を所定の記憶媒体に記憶する。
【００３３】
図２は図１に示す受信装置を用いたシステムの一構成例を示す図である。
図示のように、このシステムは、発信装置１５０、受信装置１６０、及び実在の物体１８０によって構成されている。リンク１７０は、空間中の一点に関連づけられたハイパーリンク情報である。なお、スクリーン２００は、例えば、受信装置１６０における映像信号を表示する表示画面を示している。
【００３４】
発信装置１５０、受信装置１６０及びリンク１７０は、それぞれ固有の座標系Ｃｔ、Ｃｒ及びＣｌを持ち、これらの座標系は空間中に互いに任意の位置関係をとることができる。なお、スクリーン２００の座標系Ｃｓは、受信装置１６０の座標系Ｃｒに一定の関係を持つ。受信装置１６０とスクリーン２００の組は、例えば、受信装置にビデオカメラが組み込まれたことを想定している。この場合、図２に示す受信装置１６０における視点から見たスクリーン２００に写っている映像が、ビデオカメラにより撮像された映像と見なすことができる。。
【００３５】
なお、図２では、煩雑性を防ぐために、以下のような簡単化が行われている。まず、一般的なシステムでは、発信装置、受信装置及びリンクが、それぞれ複数個あるが、図２では、一つずつしか描いていない。また、図中では、スクリーン２００の座標系Ｃｓは原点を左上にとっているが、スクリーン中央に原点をとってもよいし、またｘ、ｙ軸の向きが異なるように設定してもよい。
さらに、スクリーン２００を見る視点の位置を受信装置の座標系Ｃｒの原点と一致させているが、他の位置でもよい。ここで重要なのは、受信装置の座標系Ｃｒとスクリーンの座標系Ｃｓの位置がある定まった関係にあることである。
【００３６】
図２に示すシステムにおいて、発信装置１５０によって、実在の物体１８０に関するリンク情報が、例えば、電波によって発信される。受信装置１６０において、リンク情報が受信され、さらに映像入力部によって、例えば、ビデオカメラによって実在の物体１８０の映像信号が入力される。ビデオカメラが実在の物体１８０の方向に向けられたとき、受信装置に設けられている表示部の表示画面、即ち、図２に示すスクリーン２００に、実在の物体１８０の映像が表示される。さらに、受信装置１６０によって受信されたリンク情報に基づき、スクリーン２００の所定の位置に、所定の属性及び向きを持つリンクラベルが表示される。ユーザがこの表示画面において、ポインテイングデバイス、例えば、マウス、ライトペンなどによって、画面上のリンクラベルを指定すると、リンクラベルに関連付けられた情報が表示される。例えば、名所となる地点にリンク１７０が関連づけられ、実在の物体１８０が人の場合、その人物の映像とともに、発信装置１５０によって発信されたその名所に関連するリンク情報のリンクラベルも画面上に表示される。このため、ユーザは当該リンクラベルを指定することによって、その名所に関するリンク情報、例えば、その名所を詳しく解説したホームページにアクセス可能となる。
【００３７】
これにより、例えば、発信装置１５０を装着した人物を撮影すると、その人物に関するリンク情報が映像信号と重なってスクリーン２００に表示させることもできる。この場合、リンク座標系Ｃｌを発信装置１５０の座標系Ｃｔと一致するように設定することができる（即ち、Ｃｔ＝Ｃｌ）。また、一般的に、図２に示すように、発信装置１５０から離れた位置にリンク座標Ｃｌを設定することも可能である（即ち、Ｃｔ≠Ｃｌ）。
【００３８】
以下、図を参照しつつ、本実施形態の動作例を説明する。
第１の動作例
まず、第１の動作例を図３を参照しながら説明する。
図３は、発信装置１５０が自分自身にリンク１７０を付着し、リンク情報を発信している例を示している。即ち、図３示すように、発信装置１５０の座標系Ｃｔの原点がリンク座標系Ｃｌの原点と一致する。このとき、発信装置１５０の座標系Ｃｔから見て、リンク座標系Ｃｌの位置には、回転移動の成分のみが含まれ、平行移動の成分は含まれない。
【００３９】
これを受信装置で撮像すると、図４（ａ）に示すように、スクリーン上に、実在の物体１８０の映像とともに、発信装置１５０の物理的な映像に加えて、付着したリンクラベルが映し出される。
この場合、もし回転移動の成分により、スクリーンに表示されるリンクラベルの文字が読みにくくなっていると、図４（ｂ）に示すように、スクリーン上で水平になるように、受信装置１６０における座標変換部６０で座標変換の調節をしてもよい。
【００４０】
さらに、図４（ｃ）に示すように、発信装置１５０が移動する物体、例えば、自動車に設置されている場合、スクリーン上に移動する自動車に追従してリンクラベルを表示することができる。即ち、移動体、例えば、自動車の位置変化に応じて、送信されるリンクの位置情報もそれに追従して変化するので、変化するリンクの位置情報が受信装置１６０の座標変換部６０によってスクリーンの座標系Ｃｓに変換されるので、スクリーン上に表示されるリンクラベルが発信装置１５０の物理的な映像に追従して変化する。
【００４１】
第２の動作例
図５は、発信装置１５０は、自分と離れた位置にあるリンク情報を発信する例を示している。この場合、リンク１７０は、空間中のある仮想的な位置にあるように、その位置情報が発信装置１５０において生成され、発信される。例えば、図５に示すように、リンク１７０は、発信装置１５０と異なる位置に仮想的にあるように、リンクの位置情報発信装置１５０によってが生成され、発信される。
【００４２】
受信装置１６０において、映像入力部から取得した映像信号、例えば、ビデオカメラによって撮像した映像信号に、実在の物体１８０が写っているとする。この場合、リンク１７０に対応するリンクラベルがスクリーンの画面に表示される。なお、このとき、発信装置１５０がリンクの位置とは異なる場所にあるので、スクリーンの表示画面には、発信装置１５０の物理的な映像が写されない。即ち、図６（ａ）に示すように、スクリーン画面の中に、実在の物体１８０の映像の他に、リンクラベルが空中に浮かんでいるように見える。
【００４３】
なお、実在の物体１８０の他に、例えば、図５に示すように、新たな物体１８２が存在する場合、当該物体に固定された座標系をＣｏとする。物体１８２に対して、発信装置１５０が発信するリンクの位置情報を（Ｃｌ＝Ｃｏ）とすれば、受信装置１６０の表示部において、図６（ｂ）に示すように、物体１８２の映像にリンクラベルが付着して写される。
なお、この方法は、物体１８２が小さいなどの理由で発信装置を取り付けられない場合などに用いられる。また、物体１８２のリンク情報を空間的に離れた発信装置１６０によって発信されることは、即ち、発信装置１５０が離れた位置に配置されている物体の代理発信をすると見ることができる。
【００４４】
発信装置１５０から発信された位置情報が、時間とともに変化している場合、運動するリンクラベルが受信装置１６０の表示装置のスクリーン画面に表示される。例えば、図６（ａ）で、リンク座標系Ｃｌの位置情報を時間を変化させることで、空間に浮かんでいるリンクラベルが円運動をしているかのように視覚的効果を持たすことができる。また、図６（ｂ）に示すように、物体１８２の位置が変化する場合、発信装置１５０によって発信された位置情報を物体１８２の位置の変化に追従して変化させることによって、受信装置１６０の表示部のスクリーン画面に、物体１８２に追従してリンクラベルの表示位置が変化する視覚的効果が得られる。
【００４５】
第３の動作例
図７は、複数のリンク情報を発信装置１５０によって発信する場合の動作例を示している。なお、これらのリンク情報は、例えば、各空間上の点に関連するリンク情報である。図示のように、発信装置１５０によって、例えば、リンク１７０，１７２，１７４の三つのリンク情報が送信される。受信装置１６０によって、発信されたリンク１７０，１７２，１７４の情報が受信され、表示部のスクリーン画面に、例えば、実在の物体１８０の映像とともに、受信されたリンク情報に関連するリンクラベルが表示される。
【００４６】
この場合、受信されたそれぞれのリンクの位置情報に従ってスクリーン画面におけるリンクラベルの表示座標を正確に計算し、計算結果に応じてスクリーン画面にリンク１７０と１７２に関するリンクラベルを表示することができる。一方、リンク１７４に関しては、スクリーンの表示範囲にはないので表示されない。その結果例えば、図８（ａ）に示すように、実在の物体１８０の映像の他に、二つのリンクラベルが表示される。
【００４７】
複数のリンク情報に従って、スクリーン画面に複数のリンクラベルを表示する場合、それぞれのリンクの位置情報に従って算出された各リンクラベルの座標位置にリンクラベルを表示するとき、場合によって、画面が見にくくなることもある。この場合、図８（ｂ）に示すように、複数のリンクラベルを画面の右端または適当な見やすい位置に整列して表示することができる。これによって、画面上のリンクラベルが分かりやすく表示され、ユーザに不快感を与えることなく、より多くのリンク情報を提供することが可能である。
【００４８】
また、スクリーンの表示範囲の外に位置するリンクを、スクリーン画面上所定の位置に表示することもできる。これによって、実在の物体がスクリーン画面に表示されていないときでも、ユーザがその物体に関するリンク情報を入手することが可能である。例えば、リンクＬ３をスクリーンの表示範囲の外に位置するリンクとすると、図８（ｄ）に示すように、リンクＬ３のリンクラベル（リンク３）も含めて右端に整列して表示してもよい。
【００４９】
さらに、発信装置１５０によって、複数のリンク情報が発信された場合、受信装置１６０において、受信されたリンク情報の属性情報に応じて、複数のリンク情報を分類し、所望の部類に属しているリンク情報のみを表示部のスクリーン画面に表示することが可能である。即ち、発信装置１５０によって発信された複数のリンク情報の中に、属性情報としてカテゴリが記述された場合、当該属性情報のカテゴリに従って、リンク情報を分類し、ユーザが指定したカテゴリに属するリンク情報のみを表示することができる。
【００５０】
例えば、図７に示す場合、リンク１７０の属性情報として、カテゴリ＝“個人情報”、リンク１７２の属性情報として、カテゴリ＝“店情報”がそれぞれ付いている場合、ユーザの選択指示によって、例えば、店情報が選ばれたとき、受信装置１６０における選択部７０によって、属性情報のなかに、カテゴリ＝“店情報”がついているリンク情報のみが選択され、合成部８０に出力される。このため、図８（ｃ）に示すように表示部９０において、カテゴリが“店情報”の付いているリンク情報に関連するリンクラベルのみが表示されるので、ユーザが表示されるリンクラベルに従って、所望の情報を引き出すことができる。
【００５１】
以上説明したように、本実施形態によれば、発信装置によって発信されたリンク情報を受信した受信装置は、映像入力部１１０によって取得した実在の物体（実体）の映像信号の他に、受信したリンク情報に関連するリンクラベルを表示部に表示し、ユーザに実在の物体（実体）の映像信号とともに、実体に関連するリンク情報を提供することによって、ユーザに対し、必要な情報をより便利な手法で提供することができる。
【００５２】
【発明の効果】
以上説明したように、本発明のリンク情報表示装置及びその表示方法によれば、地理情報、例えば、地図などの情報に関連するデータベースを持つ必要がなく、空間に任意の座標位置にある実在の物体に関連するハイパーリンク情報を便利な方法で利用者に提供でき、また、運動する物体に関するハイパーリンク情報を運動する物体の動きに追従して、例えば、表示装置の画面上に表示することでき、利用者に対して実世界における物体に関する情報を便利に取得する装置及び方法を提供する。
また、本発明によれば、物理的にリンク情報を発信する発信装置を設置できない物体に対して、空間的に離れた場所にある発信装置によってその物体に関するハイパーリンク情報を代理発信することによって、発信装置を設置できない物体のリンク情報を提供することができる。
さらに、リンク情報の属性情報に従って、ユーザの要求に従ってリンク情報を選択し、所定の分類に属しているリンク情報のみをユーザに提供することができる。
【図面の簡単な説明】
【図１】本発明に係るリンク情報受信装置の一実施形態を示すブロック図である。
【図２】本発明のリンク情報受信装置を含むシステムの一構成例を示す図である。
【図３】発信装置が自分に付着しているリンクの情報を発信する場合のシステムの構成を示す図である。
【図４】図３に示すシステムの受信装置の表示部におけるスクリーン画面を示す図である。
【図５】発信装置が離れた場所にあるリンクの情報を発信する場合のシステムの構成例を示す図である。
【図６】図５に示すシステムの受信装置の表示部におけるスクリーン画面を示す図である。
【図７】発信装置が複数のリンクの情報を発信する場合のシステムの構成例を示す図である。
【図８】図７に示すシステムの受信装置の表示部におけるスクリーン画面を示す図である。
【符号の説明】
１０…リンク情報受信部、２０…リンク内容検出部、３０…属性情報検出部、４０…リンク位置検出部、５０…発信位置検出部、６０…座標変換部、７０…選択部、８０…合成部、９０…表示部、１００…記録部、１１０…映像入力部、１５０…発信装置、１６０…受信装置、１７０，１７２…リンク、１８０，１８２…物体。
【発明の属する技術分野】
本発明は、撮像装置または映像記録装置などによって実物の映像信号を取得し、さらにリンク情報発信装置によって発信された実物に関するリンク情報を受信し、当該リンク情報を実物の映像信号に重ね合わせて表示するリンク情報表示装置に関するものである。
【０００２】
【従来の技術】
近年、インターネット上で情報の送受信を行うＷＷＷ（World Wide Web）や、動画像の圧縮再生処理を行うＭＰＥＧ４（Moving Picture Expert Group4）などの技術により、テキスト、静止画及び動画の適当な場所にハイパーリンクラベルを埋め込み、ユーザがこのハイパーリンクラベルに対して所定の操作を行うことで、ラベルに関連付けられているハイパーリンク情報を容易に取得できる手法が普及している。ここで、ハイパーリンクラベルとは、例えば、ＨＴＴＰ（Hypertext Transfer Protocol）などで用いられるＵＲＬ（Uniform Resource Locator）を構成する文字列などをいい、ハイパーリンクラベルに関連付けられている情報、例えば、リンク内容、リンク属性及びリンク位置などの情報をハイパーリンク情報という。以下、便宜上、ハイパーリンクラベルを単にリンクラベルといい、リンクラベルに関連付けられている情報をリンク情報と記述する。
【０００３】
現在、リンクラベルを画像、動画に埋め込むためのフォーマット上の定義はなされているものの、埋め込むべきリンクラベルに関連するリンク情報をどのように生成するかについては、まだ研究、開発の途上である。
【０００４】
一方、拡張現実感（Augmented Reality ）の分野では、現実世界に仮想世界の情報を加えるための研究が進められている。その中では、現実の物体に対する情報の取得が可能な手法も提案されている。例えば、撮像装置などによって撮影した実物の映像信号に、その実物に関連するリンク情報を映像表示装置に表示することによって、ユーザが実物に関してその情報を容易に入手できる手段を提供することができる。
【０００５】
【発明が解決しようとする課題】
ところで、上述した従来の技術では、それぞれ以下のような問題点の何れかが含まれており、これらを同時に解決した手法はまだない。まず、取得できる情報は、物体のＩＤ（識別番号）であり、このＩＤからリンク情報、具体的には、例えば、ＵＲＬへの変換は別途行わなければならない。このため、情報を取得する側は、ＩＤとリンク情報との対応付けを示すデータベースを常に用意しておく必要がある。
【０００６】
また、物体の位置情報としては、例えば、物体がどの部屋にいるかという程度しか認識できず、物体の正確な位置や向きを認識できない。
さらに、ＩＤの認識は、物体に取り付けられたタグに対する画像処理によるものであるため、利用者がタグを認識できる位置にいる必要がある。
さらにまた、取得できるのは、ＩＤを書き込んだタグの付けられた物体自身の情報のみである。他の物体の情報を得るには、その物体にもタグを付けなければならない。また、空間中を運動するようなリンクラベルは表現できないという不利益がある。
【０００７】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、実物の映像に受信装置によって受信したリンク情報のラベルを重ねて表示でき、実物に関する情報を容易に取得でき、また、移動するリンクを表示することができるリンク情報表示装置及びその方法を提供することにある。
【０００８】
【課題を解決するための手段】
本発明によれば、実空間における実体の映像信号を得る映像入力手段と、リンク情報発信装置から発信された、リンクの内容を示すリンク内容と、上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系からみた上記リンクの座標系の空間位置を示す位置情報とを含むリンク情報を受信する受信手段と、上記受信した上記リンク情報から上記リンク内容を検出するリンク内容検出手段と、上記受信した上記リンク情報から上記位置情報を検出するリンク位置情報検出手段と、上記受信したリンク情報から、上記リンク情報発信装置の座標系と上記受信手段の位置関係を示し、平行移動および回転移動を含む位置関係情報を取得する位置検出手段と、座標変換手段と、画像合成手段と、 を有し、
上記座標変換手段は、
上記リンク位置情報検出手段で検出した、上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系からみた上記リンクの座標系の空間位置を示す上記位置情報と、上記位置検出手段で取得した上記位置関係情報を組み合わせて、上記リンク内容と上記位置情報とを含む上記リンク情報を上記受信手段の座標系に変換し、
上記受信手段の座標系に上記座標変換された、上記リンク内容と上記位置情報とを含む上記リンク情報を表示部に表示するときの表示位置の座標系に変換し、
上記画像合成手段は、上記映像入力手段から提供される上記映像信号に、上記座標変換手段で上記表示部の表示位置の座標系に座標変換された、上記リンク内容と上記位置情報とを含む上記リンク情報を重ね合わせて上記表示部に表示する、
リンク情報表示装置が提供される。
【００１０】
好ましくは、上記リンク情報発信装置から発信された上記リンク情報はさらに、上記リンク内容の属性を示す属性情報を含み、上記画像合成手段は、上記映像入力手段から提供される上記映像信号に、上記変換手段で座標変換された上記リンク情報を上記属性検出手段で検出した上記属性情報に従って重ね合わせて上記表示部に表示する。
【００１１】
好ましくは、上記映像入力手段は実空間における実体の映像信号を撮像するビデオカメラを具備する。
【００１２】
好ましくは、当該リンク情報表示装置は、上記映像入力手段は映像記録媒体に記録されている実空間における実体の映像信号を再生する映像信号再生装置を具備する。
また好ましくは、当該リンク情報表示装置は、上記画像合成手段において上記リンク情報を上記映像信号に重ね合わせた情報を記録する記録手段をさらに具備する。
また好ましくは、当該リンク情報表示装置は、上記リンク情報発信装置が複数のリンク情報を発信したとき、上記複数のリンク情報のそれぞれに含まれる上記属性情報に基づいて各リンク情報を選択する選択手段を具備する。
【００１３】
好ましくは、上記座標変換手段は、上記リンク情報が上記表示部の表示画面に水平方向に見えるように、上記リンク位置情報及び上記リンク情報発信装置の位置に基づいて、上記表示部に上記リンク情報を表示するための表示位置を算出する。
【００１４】
好ましくは、上記複数のリンク情報が上記受信手段によって受信され、上記リンク位置情報に従って上記リンク情報を表示すると上記表示部の表示画面が見にくくなるとき、上記座標変換手段が上記リンク情報を上記表示部の表示画面の所定の位置に整列する。
【００１５】
また本発明によれば、実空間の実体の映像信号を取得するステップと、受信手段が、リンク情報発信装置から発信される、当該リンクの内容を示すリンク内容と、上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系からみた上記リンクの座標系の空間位置を示す位置情報とを含むリンク情報を受信するステップと、上記受信した上記リンク情報から上記リンク内容を検出するリンク内容検出ステップと、上記受信した上記リンク情報から上記位置情報を検出するリンク位置情報検出ステップと、上記受信したリンク情報から上記リンク情報発信装置の座標系と上記受信手段の位置関係を示し、平行移動および回転移動を含む位置関係情報を取得する、位置検出ステップと、座標変換ステップと、画像合成ステップと、を有し、
上記座標変換ステップにおいて、
上記リンク位置情報検出ステップにおいて検出した上記リンクが、３次元空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系からみた上記リンクの座標系の空間位置を示す上記位置情報と、上記位置検出ステップにおいて取得した上記位置関係情報とを組み合わせて、上記リンク内容と上記位置情報とを含む上記リンク情報を上記受信手段の座標系に変換し、
上記受信手段の座標系に上記座標変換された、上記リンク内容と上記位置情報とを含む上記リンク情報を表示部に表示するときの表示位置の座標系に変換し、
上記画像合成ステップにおいて、上記映像入力ステップにおいて取得した上記映像信号に、上記座標変換ステップにおいて上記表示部の表示位置の座標系に上記座標変換された上記リンク内容と上記位置情報とを含む上記リンク情報を重ね合わせて上記表示部に表示する、
リンク情報表示方法が提供される。
【００１６】
【発明の実施の形態】
図１は本発明に係るリンク情報表示装置の一実施形態を示す構成図である。
図示のように、本実施形態のリンク情報表示装置は、リンク情報受信部１０、リンク内容検出部２０、属性情報検出部３０、リンク位置検出部４０、発信位置検出部５０、座標変換部６０、選択部７０、合成部８０、表示部９０、記録部１００及び映像入力部１１０によって構成されている。
【００１７】
以下、本実施形態のリンク情報表示装置の各構成部分について説明する。
リンク情報受信部１０は、図示していないリンク情報発信装置によって送信されたリンク情報を受信する。リンク情報発信装置は、例えば、電波などの伝送路を介してある一つまたは複数の物体に関するリンク情報を周囲に送信する。リンク情報受信部１０は、リンク情報発信装置によって送信された電波信号を受信し、リンク情報発信装置で用いられている符号化方式及び変調方式に対応し、受信信号に対して復調及び復号処理を行い、リンク内容検出部２０、属性情報検出部３０、リンク位置検出部４０及び発信位置検出部５０に提供する。
【００１８】
ここで、発信装置によって送信されるリンク情報について説明する。リンク情報は、リンク内容、属性情報及びリンク位置などを示す情報によって構成されている。
リンク内容は、例えば、リンク先を示すデータ、例えば、ＵＲＬを構成する文字列などの情報からなる。一例として、ある物体に関する情報を保有している情報提供サーバのネットワーク上のアドレスを示すデータ情報、例えば、ウェブアドレス“http://dreamsite.net.com/ ”という文字列である。
【００１９】
属性情報は、リンクに対し付加する属性情報である。例えば、ウェブアドレス“http://dreamsite.net.com/ ”に対して、“ドリームホームページ”という文字列により名前を付加したり、リンクの色、リンク先情報のカテゴリなどを表示する情報である。
【００２０】
リンク位置は、リンクが空間中に仮想的に存在すると見なしたときの位置情報である。例えば、発信装置の座標系Ｃｔから見たリンク座標系Ｃｌの平行移動、回転移動を、同次座標系を用いて、４行×４列の行列により表現したものである。
【００２１】
なお、ここで、同次座標系とは、例えば、２次元空間にある点〔ｘ，ｙ〕を〔ｘ，ｙ，１〕として表現する座標表示方式である。同次座標系で点〔ｘ，ｙ，ｍ〕は、普通の座標系では点〔ｘ／ｍ，ｙ／ｍ〕となる点を表しているものである。ここでｍは、倍率の役割をしている。ｍ＝０なら無限遠点を表現することになる。
２次元の同次座標系において、座標変換、例えば、平行移動、回転などは、３×３の変換行列の形式で表すことが可能である。
また、３次元空間における同次座標系では、点〔ｘ，ｙ，ｚ〕を〔ｘ，ｙ，ｚ，１〕と表現することができる。３次元の同次座標系における平行移動、回転などの座標変換は、４×４の変換行列の形式によって表すことが可能である。
【００２２】
リンク情報は、上述したリンク内容、属性情報及びリンク位置情報の要素を組み合わせて構成されている。ただし、これらの一部が省略されていてもよい。例えば、リンク内容のみや、属性情報のみの場合もある。
【００２３】
図示しないリンク情報発信装置は、例えば、リンク内容を生成するリンク内容生成部、リンク位置を生成するリンク位置生成部、属性情報を生成する属性情報生成部及びこれらによって生成される情報を多重化する多重回路、多重化された情報を、例えば、電波によって送信する送信回路によって構成されている。リンクの位置情報は、上述したように、リンクが空間中に仮想的に存在すると見なしたときの位置情報である。なお、このリンク位置情報は、例えば、発信装置の座標系Ｃｔから見たリンク座標系Ｃｌの空間位置を示す情報、または、送信、受信の双方にとって位置をはかる基準となる第３の物体の座標系Ｃｇから見たリンク座標系Ｃｌの空間位置を示す情報である。
【００２４】
なお、リンク情報の送信は、電波に限られるものではなく、その他の伝送方法、例えば、磁気、赤外線などを用いって行うことも可能である。また、リンク情報の発信は、時間的に連続的に行ってもよいし、一定の間隔で発信を繰り返して行ってもよい。
【００２５】
リンク情報発信装置によって発信されたリンク情報はリンク情報受信部１０によって受信され、受信信号がリンク内容検出部２０、属性情報検出部３０、リンク位置検出部４０及び発信位置検出部５０に出力される。
リンク情報の送受信においては、発信装置と受信装置との間に位置関係を把握できる無線方式、例えば、発信装置で使用される無線プロトコルによって決められた信号の変調、復調方式、または符号化、復号方式が採用される。即ち、発信装置の座標系Ｃｔと受信装置の座標系Ｃｒの位置関係（平行または回転移動）は、リンク情報受信部１０によって受信した信号により求められる。例えば、ＧＰＳ（Global Positioning System ）や、無線航法で用いられる距離・方向の測定方法、あるいは電波だけでなく、磁気による検出技術の応用も考えられる。
【００２６】
リンク内容検出部２０は、受信信号からリンク内容を検出して、選択部７０に出力する。
属性情報検出部３０は、受信信号から属性情報を検出して、選択部７０に出力する。
リンク位置検出部４０は、受信信号からリンク位置情報を検出して、座標変換部６０に出力する。
発信位置検出部５０は、受信信号からリンク情報発信装置の座標系Ｃｔとリンク情報受信装置の位置関係を取得し、座標変換部６０に出力する。
【００２７】
座標変換部６０は、リンク位置検出部４０からのリンク位置情報と、発信位置検出部５０からの位置関係情報を組み合わせて、リンク位置情報を座標系Ｃｒに変換したあと、最終的にリンク情報を表示部９０に表示するときの座標系Ｃｓに変換する。
このとき、もしリンクの存在の有無のみが重要であり、正確な位置が必要がなければ、表示部９０に表示するために都合のよい位置に変換してもよい。例えば、表示部９０においてスクリーンに表示する場合、スクリーンが写す範囲にリンクがあることだけを示したければ、それを画面右端あるいは左端に整列させてもよい。また、リンクの回転移動も考えたとき、読みにくい向きにあるなどの場合は、スクリーン上で水平に見えるようにしてもよい。
【００２８】
選択部７０は、属性情報検出部３０からのリンクの属性情報に基づき、入力されるリンク情報のうち、合成部８０に渡すものを取捨選択する。属性情報によりリンクをカテゴリ化し、必要なカデゴリのリンクだけを表示させることが可能となる。
【００２９】
映像入力部１１０は、物体の映像信号を入力する。例えば、映像入力部１１０は、ビデオカメラにより実在の物体を撮影した映像信号を合成部８０に提供する。また、映像入力部１１０は、図示していない映像信号記録装置によって、磁気テープ、光ディスクなどの映像記録媒体から読み出した映像信号を取得し、合成部８０に提供することも可能である。
【００３０】
合成部８０は、映像入力部１１０から提供された映像信号に、選択部７０から入力されるリンク情報、例えば、リンク内容を、属性情報に従って、座標系Ｃｓで表されたリンクラベルの表示位置に重ね合わせる。例えば、属性情報としてリンクの色が含まれる場合、適切な色でリンクラベルを描画して、映像信号に重ね合わせる。
【００３１】
表示部９０は、例えば、映像を表示するスクリーンを持つディスプレイ装置であり、合成部からの映像信号を表示する。表示部９０のスクリーンに固有の座標系Ｃｓが予め決められる。座標変換部６０は、リンク位置検出部４０から得たリンク位置と発信位置検出部５０から得た送信、受信装置間の位置関係に応じて、リンクの座標をスクリーン座標系Ｃｓにおける座標値を算出する。そして、合成部８０において、算出された座標値に従って、リンク内容を映像信号に重ねて、表示するための合成映像信号が生成される。
【００３２】
記録部１００は、合成部８０によって生成された映像信号を所定の記憶媒体に記憶する。
【００３３】
図２は図１に示す受信装置を用いたシステムの一構成例を示す図である。
図示のように、このシステムは、発信装置１５０、受信装置１６０、及び実在の物体１８０によって構成されている。リンク１７０は、空間中の一点に関連づけられたハイパーリンク情報である。なお、スクリーン２００は、例えば、受信装置１６０における映像信号を表示する表示画面を示している。
【００３４】
発信装置１５０、受信装置１６０及びリンク１７０は、それぞれ固有の座標系Ｃｔ、Ｃｒ及びＣｌを持ち、これらの座標系は空間中に互いに任意の位置関係をとることができる。なお、スクリーン２００の座標系Ｃｓは、受信装置１６０の座標系Ｃｒに一定の関係を持つ。受信装置１６０とスクリーン２００の組は、例えば、受信装置にビデオカメラが組み込まれたことを想定している。この場合、図２に示す受信装置１６０における視点から見たスクリーン２００に写っている映像が、ビデオカメラにより撮像された映像と見なすことができる。。
【００３５】
なお、図２では、煩雑性を防ぐために、以下のような簡単化が行われている。まず、一般的なシステムでは、発信装置、受信装置及びリンクが、それぞれ複数個あるが、図２では、一つずつしか描いていない。また、図中では、スクリーン２００の座標系Ｃｓは原点を左上にとっているが、スクリーン中央に原点をとってもよいし、またｘ、ｙ軸の向きが異なるように設定してもよい。
さらに、スクリーン２００を見る視点の位置を受信装置の座標系Ｃｒの原点と一致させているが、他の位置でもよい。ここで重要なのは、受信装置の座標系Ｃｒとスクリーンの座標系Ｃｓの位置がある定まった関係にあることである。
【００３６】
図２に示すシステムにおいて、発信装置１５０によって、実在の物体１８０に関するリンク情報が、例えば、電波によって発信される。受信装置１６０において、リンク情報が受信され、さらに映像入力部によって、例えば、ビデオカメラによって実在の物体１８０の映像信号が入力される。ビデオカメラが実在の物体１８０の方向に向けられたとき、受信装置に設けられている表示部の表示画面、即ち、図２に示すスクリーン２００に、実在の物体１８０の映像が表示される。さらに、受信装置１６０によって受信されたリンク情報に基づき、スクリーン２００の所定の位置に、所定の属性及び向きを持つリンクラベルが表示される。ユーザがこの表示画面において、ポインテイングデバイス、例えば、マウス、ライトペンなどによって、画面上のリンクラベルを指定すると、リンクラベルに関連付けられた情報が表示される。例えば、名所となる地点にリンク１７０が関連づけられ、実在の物体１８０が人の場合、その人物の映像とともに、発信装置１５０によって発信されたその名所に関連するリンク情報のリンクラベルも画面上に表示される。このため、ユーザは当該リンクラベルを指定することによって、その名所に関するリンク情報、例えば、その名所を詳しく解説したホームページにアクセス可能となる。
【００３７】
これにより、例えば、発信装置１５０を装着した人物を撮影すると、その人物に関するリンク情報が映像信号と重なってスクリーン２００に表示させることもできる。この場合、リンク座標系Ｃｌを発信装置１５０の座標系Ｃｔと一致するように設定することができる（即ち、Ｃｔ＝Ｃｌ）。また、一般的に、図２に示すように、発信装置１５０から離れた位置にリンク座標Ｃｌを設定することも可能である（即ち、Ｃｔ≠Ｃｌ）。
【００３８】
以下、図を参照しつつ、本実施形態の動作例を説明する。
第１の動作例
まず、第１の動作例を図３を参照しながら説明する。
図３は、発信装置１５０が自分自身にリンク１７０を付着し、リンク情報を発信している例を示している。即ち、図３示すように、発信装置１５０の座標系Ｃｔの原点がリンク座標系Ｃｌの原点と一致する。このとき、発信装置１５０の座標系Ｃｔから見て、リンク座標系Ｃｌの位置には、回転移動の成分のみが含まれ、平行移動の成分は含まれない。
【００３９】
これを受信装置で撮像すると、図４（ａ）に示すように、スクリーン上に、実在の物体１８０の映像とともに、発信装置１５０の物理的な映像に加えて、付着したリンクラベルが映し出される。
この場合、もし回転移動の成分により、スクリーンに表示されるリンクラベルの文字が読みにくくなっていると、図４（ｂ）に示すように、スクリーン上で水平になるように、受信装置１６０における座標変換部６０で座標変換の調節をしてもよい。
【００４０】
さらに、図４（ｃ）に示すように、発信装置１５０が移動する物体、例えば、自動車に設置されている場合、スクリーン上に移動する自動車に追従してリンクラベルを表示することができる。即ち、移動体、例えば、自動車の位置変化に応じて、送信されるリンクの位置情報もそれに追従して変化するので、変化するリンクの位置情報が受信装置１６０の座標変換部６０によってスクリーンの座標系Ｃｓに変換されるので、スクリーン上に表示されるリンクラベルが発信装置１５０の物理的な映像に追従して変化する。
【００４１】
第２の動作例
図５は、発信装置１５０は、自分と離れた位置にあるリンク情報を発信する例を示している。この場合、リンク１７０は、空間中のある仮想的な位置にあるように、その位置情報が発信装置１５０において生成され、発信される。例えば、図５に示すように、リンク１７０は、発信装置１５０と異なる位置に仮想的にあるように、リンクの位置情報発信装置１５０によってが生成され、発信される。
【００４２】
受信装置１６０において、映像入力部から取得した映像信号、例えば、ビデオカメラによって撮像した映像信号に、実在の物体１８０が写っているとする。この場合、リンク１７０に対応するリンクラベルがスクリーンの画面に表示される。なお、このとき、発信装置１５０がリンクの位置とは異なる場所にあるので、スクリーンの表示画面には、発信装置１５０の物理的な映像が写されない。即ち、図６（ａ）に示すように、スクリーン画面の中に、実在の物体１８０の映像の他に、リンクラベルが空中に浮かんでいるように見える。
【００４３】
なお、実在の物体１８０の他に、例えば、図５に示すように、新たな物体１８２が存在する場合、当該物体に固定された座標系をＣｏとする。物体１８２に対して、発信装置１５０が発信するリンクの位置情報を（Ｃｌ＝Ｃｏ）とすれば、受信装置１６０の表示部において、図６（ｂ）に示すように、物体１８２の映像にリンクラベルが付着して写される。
なお、この方法は、物体１８２が小さいなどの理由で発信装置を取り付けられない場合などに用いられる。また、物体１８２のリンク情報を空間的に離れた発信装置１６０によって発信されることは、即ち、発信装置１５０が離れた位置に配置されている物体の代理発信をすると見ることができる。
【００４４】
発信装置１５０から発信された位置情報が、時間とともに変化している場合、運動するリンクラベルが受信装置１６０の表示装置のスクリーン画面に表示される。例えば、図６（ａ）で、リンク座標系Ｃｌの位置情報を時間を変化させることで、空間に浮かんでいるリンクラベルが円運動をしているかのように視覚的効果を持たすことができる。また、図６（ｂ）に示すように、物体１８２の位置が変化する場合、発信装置１５０によって発信された位置情報を物体１８２の位置の変化に追従して変化させることによって、受信装置１６０の表示部のスクリーン画面に、物体１８２に追従してリンクラベルの表示位置が変化する視覚的効果が得られる。
【００４５】
第３の動作例
図７は、複数のリンク情報を発信装置１５０によって発信する場合の動作例を示している。なお、これらのリンク情報は、例えば、各空間上の点に関連するリンク情報である。図示のように、発信装置１５０によって、例えば、リンク１７０，１７２，１７４の三つのリンク情報が送信される。受信装置１６０によって、発信されたリンク１７０，１７２，１７４の情報が受信され、表示部のスクリーン画面に、例えば、実在の物体１８０の映像とともに、受信されたリンク情報に関連するリンクラベルが表示される。
【００４６】
この場合、受信されたそれぞれのリンクの位置情報に従ってスクリーン画面におけるリンクラベルの表示座標を正確に計算し、計算結果に応じてスクリーン画面にリンク１７０と１７２に関するリンクラベルを表示することができる。一方、リンク１７４に関しては、スクリーンの表示範囲にはないので表示されない。その結果例えば、図８（ａ）に示すように、実在の物体１８０の映像の他に、二つのリンクラベルが表示される。
【００４７】
複数のリンク情報に従って、スクリーン画面に複数のリンクラベルを表示する場合、それぞれのリンクの位置情報に従って算出された各リンクラベルの座標位置にリンクラベルを表示するとき、場合によって、画面が見にくくなることもある。この場合、図８（ｂ）に示すように、複数のリンクラベルを画面の右端または適当な見やすい位置に整列して表示することができる。これによって、画面上のリンクラベルが分かりやすく表示され、ユーザに不快感を与えることなく、より多くのリンク情報を提供することが可能である。
【００４８】
また、スクリーンの表示範囲の外に位置するリンクを、スクリーン画面上所定の位置に表示することもできる。これによって、実在の物体がスクリーン画面に表示されていないときでも、ユーザがその物体に関するリンク情報を入手することが可能である。例えば、リンクＬ３をスクリーンの表示範囲の外に位置するリンクとすると、図８（ｄ）に示すように、リンクＬ３のリンクラベル（リンク３）も含めて右端に整列して表示してもよい。
【００４９】
さらに、発信装置１５０によって、複数のリンク情報が発信された場合、受信装置１６０において、受信されたリンク情報の属性情報に応じて、複数のリンク情報を分類し、所望の部類に属しているリンク情報のみを表示部のスクリーン画面に表示することが可能である。即ち、発信装置１５０によって発信された複数のリンク情報の中に、属性情報としてカテゴリが記述された場合、当該属性情報のカテゴリに従って、リンク情報を分類し、ユーザが指定したカテゴリに属するリンク情報のみを表示することができる。
【００５０】
例えば、図７に示す場合、リンク１７０の属性情報として、カテゴリ＝“個人情報”、リンク１７２の属性情報として、カテゴリ＝“店情報”がそれぞれ付いている場合、ユーザの選択指示によって、例えば、店情報が選ばれたとき、受信装置１６０における選択部７０によって、属性情報のなかに、カテゴリ＝“店情報”がついているリンク情報のみが選択され、合成部８０に出力される。このため、図８（ｃ）に示すように表示部９０において、カテゴリが“店情報”の付いているリンク情報に関連するリンクラベルのみが表示されるので、ユーザが表示されるリンクラベルに従って、所望の情報を引き出すことができる。
【００５１】
以上説明したように、本実施形態によれば、発信装置によって発信されたリンク情報を受信した受信装置は、映像入力部１１０によって取得した実在の物体（実体）の映像信号の他に、受信したリンク情報に関連するリンクラベルを表示部に表示し、ユーザに実在の物体（実体）の映像信号とともに、実体に関連するリンク情報を提供することによって、ユーザに対し、必要な情報をより便利な手法で提供することができる。
【００５２】
【発明の効果】
以上説明したように、本発明のリンク情報表示装置及びその表示方法によれば、地理情報、例えば、地図などの情報に関連するデータベースを持つ必要がなく、空間に任意の座標位置にある実在の物体に関連するハイパーリンク情報を便利な方法で利用者に提供でき、また、運動する物体に関するハイパーリンク情報を運動する物体の動きに追従して、例えば、表示装置の画面上に表示することでき、利用者に対して実世界における物体に関する情報を便利に取得する装置及び方法を提供する。
また、本発明によれば、物理的にリンク情報を発信する発信装置を設置できない物体に対して、空間的に離れた場所にある発信装置によってその物体に関するハイパーリンク情報を代理発信することによって、発信装置を設置できない物体のリンク情報を提供することができる。
さらに、リンク情報の属性情報に従って、ユーザの要求に従ってリンク情報を選択し、所定の分類に属しているリンク情報のみをユーザに提供することができる。
【図面の簡単な説明】
【図１】本発明に係るリンク情報受信装置の一実施形態を示すブロック図である。
【図２】本発明のリンク情報受信装置を含むシステムの一構成例を示す図である。
【図３】発信装置が自分に付着しているリンクの情報を発信する場合のシステムの構成を示す図である。
【図４】図３に示すシステムの受信装置の表示部におけるスクリーン画面を示す図である。
【図５】発信装置が離れた場所にあるリンクの情報を発信する場合のシステムの構成例を示す図である。
【図６】図５に示すシステムの受信装置の表示部におけるスクリーン画面を示す図である。
【図７】発信装置が複数のリンクの情報を発信する場合のシステムの構成例を示す図である。
【図８】図７に示すシステムの受信装置の表示部におけるスクリーン画面を示す図である。
【符号の説明】
１０…リンク情報受信部、２０…リンク内容検出部、３０…属性情報検出部、４０…リンク位置検出部、５０…発信位置検出部、６０…座標変換部、７０…選択部、８０…合成部、９０…表示部、１００…記録部、１１０…映像入力部、１５０…発信装置、１６０…受信装置、１７０，１７２…リンク、１８０，１８２…物体。
Claims (13)
- 実空間における実体の映像信号を得る映像入力手段と、
リンク情報発信装置から発信された、リンクの内容を示すリンク内容と、上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系からみた上記リンクの座標系の空間位置を示す位置情報とを含むリンク情報を受信する受信手段と、
上記受信した上記リンク情報から上記リンク内容を検出するリンク内容検出手段と、
上記受信した上記リンク情報から上記位置情報を検出するリンク位置情報検出手段と、
上記受信したリンク情報から、上記リンク情報発信装置の座標系と上記受信手段の位置関係を示し、平行移動および回転移動を含む位置関係情報を取得する位置検出手段と、
座標変換手段と、
画像合成手段と、
を有し、
上記座標変換手段は、
上記リンク位置情報検出手段で検出した、上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系からみた上記リンクの座標系の空間位置を示す上記位置情報と、上記位置検出手段で取得した上記位置関係情報を組み合わせて、上記リンク内容と上記位置情報とを含む上記リンク情報を上記受信手段の座標系に変換し、
上記受信手段の座標系に上記座標変換された、上記リンク内容と上記位置情報とを含む上記リンク情報を表示部に表示するときの表示位置の座標系に変換し、
上記画像合成手段は、上記映像入力手段から提供される上記映像信号に、上記座標変換手段で上記表示部の表示位置の座標系に座標変換された、上記リンク内容と上記位置情報とを含む上記リンク情報を重ね合わせて上記表示部に表示する、
リンク情報表示装置。 - 上記リンク情報発信装置から発信された上記リンク情報はさらに、上記リンク内容の属性を示す属性情報を含み、
上記画像合成手段は、上記映像入力手段から提供される上記映像信号に、上記変換手段で座標変換された上記リンク内容と上記位置情報とを含む上記リンク情報を上記属性検出手段で検出した上記属性情報に従って重ね合わせて上記表示部に表示する、
請求項１に記載のリンク情報表示装置。 - 上記映像入力手段は、実空間における実体の映像信号を撮像するビデオカメラを具備する、
請求項１または２に記載のリンク情報表示装置。 - 当該リンク情報表示装置は、映像記録媒体に記録されている実空間における実体の映像信号を再生する映像信号再生装置を具備する、
請求項１〜３のいずれかに記載のリンク情報表示装置。 - 当該リンク情報表示装置は、上記画像合成手段において上記リンク情報を上記映像信号に重ね合わせた情報を記録する記録手段をさらに具備する、
請求項１〜４のいずれかに記載のリンク情報表示装置。 - 当該リンク情報表示装置は、上記リンク情報発信装置が複数のリンク情報を発信したとき、上記複数のリンク情報のそれぞれに含まれる上記属性情報に基づいて各リンク情報を選択する選択手段を具備する、
請求項２〜５のいずれかに記載のリンク情報表示装置。 - 上記座標変換手段は、上記リンク情報が上記表示部の表示画面に水平方向に見えるように、上記リンク位置情報及び上記リンク情報発信装置の位置に基づいて、上記表示部に上記リンク情報を表示するための表示位置を算出する、
請求項１〜６のいずれかに記載のリンク情報表示装置。 - 上記複数のリンク情報が上記受信手段によって受信され、
上記リンク位置情報に従って上記リンク情報を表示すると上記表示部の表示画面が見にくくなるとき、上記座標変換手段が上記リンク情報を上記表示部の表示画面の所定の位置に整列する、
請求項１〜７のいずれかに記載のリンク情報表示装置。 - 実空間の実体の映像信号を取得するステップと、
受信手段が、リンク情報発信装置から発信される、当該リンクの内容を示すリンク内容と、上記リンクが空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系からみた上記リンクの座標系の空間位置を示す位置情報とを含むリンク情報を受信するステップと、
上記受信した上記リンク情報から上記リンク内容を検出するリンク内容検出ステップと、
上記受信した上記リンク情報から上記位置情報を検出するリンク位置情報検出ステップと、
上記受信したリンク情報から上記リンク情報発信装置の座標系と上記受信手段の位置関係を示し、平行移動および回転移動を含む位置関係情報を取得する、位置検出ステップと、
座標変換ステップと、
画像合成ステップと、
を有し、
上記座標変換ステップにおいて、
上記リンク位置情報検出ステップにおいて検出した上記リンクが、３次元空間中に仮想的に存在するとしたときの上記リンク情報発信装置の座標系からみた上記リンクの座標系の空間位置を示す上記位置情報と、上記位置検出ステップにおいて取得した上記位置関係情報とを組み合わせて、上記リンク内容と上記位置情報とを含む上記リンク情報を上記受信手段の座標系に変換し、
上記受信手段の座標系に上記座標変換された、上記リンク内容と上記位置情報とを含む上記リンク情報を表示部に表示するときの表示位置の座標系に変換し、
上記画像合成ステップにおいて、上記映像入力ステップにおいて取得した上記映像信号に、上記座標変換ステップにおいて上記表示部の表示位置の座標系に上記座標変換された上記リンク内容と上記位置情報とを含む上記リンク情報を重ね合わせて上記表示部に表示する、
リンク情報表示方法。 - 上記リンク情報発信装置から発信された上記リンク情報はさらに、上記リンク内容の属性を示す属性情報を含み、
上記画像合成ステップにおいて、上記映像入力ステップにおいて取得した上記映像信号に、上記座標変換された上記リンク内容を含む上記リンク情報を上記属性情報に従って重ね合わせて上記表示部に表示する、
請求項９に記載のリンク情報表示方法。 - 当該リンク情報表示方法は、上記リンク情報発信装置が複数のリンク情報を発信したとき、上記属性情報に基づいて所定のリンク情報を選択するステップを有する、
請求項１０に記載のリンク情報表示方法。 - 当該リンク情報表示方法は、上記リンク情報発信装置から複数の上記リンク情報が送信されたとき、上記複数のリンク情報をそれぞれ受信し、上記リンク位置情報に従って上記リンク情報が上記表示部に表示されると表示画面が見にくくなるとき、上記リンク情報が当該表示部の表示画面の所定の位置に整列して表示されるステップを有する、
請求項９に記載のリンク情報表示方法。 - 当該リンク情報表示方法は、上記リンク情報と重ね合わされた映像信号を記録するステップを有する、
請求項９に記載のリンク情報表示方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000203345A JP4701479B2 (ja) | 2000-07-05 | 2000-07-05 | リンク情報表示装置及びその表示方法 |
| US09/897,172 US7171627B2 (en) | 2000-07-05 | 2001-07-02 | Device for displaying link information and method for displaying the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000203345A JP4701479B2 (ja) | 2000-07-05 | 2000-07-05 | リンク情報表示装置及びその表示方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010054500A Division JP5257386B2 (ja) | 2010-03-11 | 2010-03-11 | リンク情報表示装置、その表示方法およびリンク情報処理システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002027349A JP2002027349A (ja) | 2002-01-25 |
| JP2002027349A5 JP2002027349A5 (ja) | 2007-04-19 |
| JP4701479B2 true JP4701479B2 (ja) | 2011-06-15 |
Family
ID=18700765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000203345A Expired - Fee Related JP4701479B2 (ja) | 2000-07-05 | 2000-07-05 | リンク情報表示装置及びその表示方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7171627B2 (ja) |
| JP (1) | JP4701479B2 (ja) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4854156B2 (ja) * | 2000-12-27 | 2012-01-18 | パナソニック株式会社 | リンクマークの位置情報の伝送方法と、その表示方法及びシステム |
| JP2003281187A (ja) * | 2002-03-20 | 2003-10-03 | Fujitsu Ltd | 仮想三次元情報閲覧方法、コンピュータプログラム及び記録媒体 |
| JP2003323239A (ja) * | 2002-05-08 | 2003-11-14 | Sony Corp | 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム |
| JP2004199496A (ja) * | 2002-12-19 | 2004-07-15 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| US7352368B2 (en) * | 2004-05-03 | 2008-04-01 | Sas Institute Inc. | Computer-implemented system and method for displaying three-dimensional images having associated metadata |
| US20100228476A1 (en) * | 2009-03-04 | 2010-09-09 | Microsoft Corporation | Path projection to facilitate engagement |
| US8943420B2 (en) * | 2009-06-18 | 2015-01-27 | Microsoft Corporation | Augmenting a field of view |
| JP5621421B2 (ja) | 2010-09-06 | 2014-11-12 | ソニー株式会社 | 画像処理装置、プログラム及び画像処理方法 |
| US20120067954A1 (en) * | 2010-09-16 | 2012-03-22 | Madhav Moganti | Sensors, scanners, and methods for automatically tagging content |
| US8666978B2 (en) | 2010-09-16 | 2014-03-04 | Alcatel Lucent | Method and apparatus for managing content tagging and tagged content |
| US8655881B2 (en) | 2010-09-16 | 2014-02-18 | Alcatel Lucent | Method and apparatus for automatically tagging content |
| US8533192B2 (en) | 2010-09-16 | 2013-09-10 | Alcatel Lucent | Content capture device and methods for automatically tagging content |
| JP5684618B2 (ja) | 2011-03-22 | 2015-03-18 | 京セラ株式会社 | 撮影装置および仮想情報表示プログラム |
| US20120293546A1 (en) * | 2011-05-18 | 2012-11-22 | Tomi Lahcanski | Augmented-reality mobile communicator with orientation |
| US20150199081A1 (en) * | 2011-11-08 | 2015-07-16 | Google Inc. | Re-centering a user interface |
| US9223138B2 (en) | 2011-12-23 | 2015-12-29 | Microsoft Technology Licensing, Llc | Pixel opacity for augmented reality |
| US9606586B2 (en) | 2012-01-23 | 2017-03-28 | Microsoft Technology Licensing, Llc | Heat transfer device |
| US9368546B2 (en) | 2012-02-15 | 2016-06-14 | Microsoft Technology Licensing, Llc | Imaging structure with embedded light sources |
| US9779643B2 (en) | 2012-02-15 | 2017-10-03 | Microsoft Technology Licensing, Llc | Imaging structure emitter configurations |
| US9726887B2 (en) | 2012-02-15 | 2017-08-08 | Microsoft Technology Licensing, Llc | Imaging structure color conversion |
| US9297996B2 (en) | 2012-02-15 | 2016-03-29 | Microsoft Technology Licensing, Llc | Laser illumination scanning |
| US9578318B2 (en) | 2012-03-14 | 2017-02-21 | Microsoft Technology Licensing, Llc | Imaging structure emitter calibration |
| US9558590B2 (en) | 2012-03-28 | 2017-01-31 | Microsoft Technology Licensing, Llc | Augmented reality light guide display |
| US10191515B2 (en) | 2012-03-28 | 2019-01-29 | Microsoft Technology Licensing, Llc | Mobile device light guide display |
| US9717981B2 (en) | 2012-04-05 | 2017-08-01 | Microsoft Technology Licensing, Llc | Augmented reality and physical games |
| US10502876B2 (en) | 2012-05-22 | 2019-12-10 | Microsoft Technology Licensing, Llc | Waveguide optics focus elements |
| US8989535B2 (en) | 2012-06-04 | 2015-03-24 | Microsoft Technology Licensing, Llc | Multiple waveguide imaging structure |
| US10192358B2 (en) | 2012-12-20 | 2019-01-29 | Microsoft Technology Licensing, Llc | Auto-stereoscopic augmented reality display |
| US9304235B2 (en) | 2014-07-30 | 2016-04-05 | Microsoft Technology Licensing, Llc | Microfabrication |
| US10678412B2 (en) | 2014-07-31 | 2020-06-09 | Microsoft Technology Licensing, Llc | Dynamic joint dividers for application windows |
| US10592080B2 (en) | 2014-07-31 | 2020-03-17 | Microsoft Technology Licensing, Llc | Assisted presentation of application windows |
| US10254942B2 (en) | 2014-07-31 | 2019-04-09 | Microsoft Technology Licensing, Llc | Adaptive sizing and positioning of application windows |
| US11086216B2 (en) | 2015-02-09 | 2021-08-10 | Microsoft Technology Licensing, Llc | Generating electronic components |
| US10018844B2 (en) | 2015-02-09 | 2018-07-10 | Microsoft Technology Licensing, Llc | Wearable image display system |
| US9372347B1 (en) | 2015-02-09 | 2016-06-21 | Microsoft Technology Licensing, Llc | Display system |
| US9513480B2 (en) | 2015-02-09 | 2016-12-06 | Microsoft Technology Licensing, Llc | Waveguide |
| US9535253B2 (en) | 2015-02-09 | 2017-01-03 | Microsoft Technology Licensing, Llc | Display system |
| US10317677B2 (en) | 2015-02-09 | 2019-06-11 | Microsoft Technology Licensing, Llc | Display system |
| US9423360B1 (en) | 2015-02-09 | 2016-08-23 | Microsoft Technology Licensing, Llc | Optical components |
| US9429692B1 (en) | 2015-02-09 | 2016-08-30 | Microsoft Technology Licensing, Llc | Optical components |
| US9827209B2 (en) | 2015-02-09 | 2017-11-28 | Microsoft Technology Licensing, Llc | Display system |
| JP2017123050A (ja) * | 2016-01-07 | 2017-07-13 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及びサーバ |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0933271A (ja) * | 1995-07-21 | 1997-02-07 | Canon Inc | ナビゲーション装置及び撮像装置 |
| JPH10177338A (ja) * | 1996-10-15 | 1998-06-30 | Matsushita Electric Ind Co Ltd | 交通情報表示装置 |
| JPH11316769A (ja) * | 1996-06-11 | 1999-11-16 | Masanobu Kujirada | バ―チャルトラベルシステム |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07200786A (ja) * | 1993-12-27 | 1995-08-04 | Ricoh Co Ltd | ファイリング装置 |
| US5848373A (en) * | 1994-06-24 | 1998-12-08 | Delorme Publishing Company | Computer aided map location system |
| JP3608225B2 (ja) * | 1994-08-11 | 2005-01-05 | 株式会社日立製作所 | ３次元画像データを用いた展開図作成方法 |
| US5793901A (en) * | 1994-09-30 | 1998-08-11 | Omron Corporation | Device and method to detect dislocation of object image data |
| US5708845A (en) * | 1995-09-29 | 1998-01-13 | Wistendahl; Douglass A. | System for mapping hot spots in media content for interactive digital media program |
| US6282362B1 (en) * | 1995-11-07 | 2001-08-28 | Trimble Navigation Limited | Geographical position/image digital recording and display system |
| JP3743988B2 (ja) * | 1995-12-22 | 2006-02-08 | ソニー株式会社 | 情報検索システムおよび方法、並びに情報端末 |
| US6570587B1 (en) * | 1996-07-26 | 2003-05-27 | Veon Ltd. | System and method and linking information to a video |
| JP3558104B2 (ja) * | 1996-08-05 | 2004-08-25 | ソニー株式会社 | ３次元仮想物体表示装置および方法 |
| JP3148133B2 (ja) * | 1996-10-30 | 2001-03-19 | 三菱電機株式会社 | 情報検索装置 |
| US6597377B1 (en) * | 1997-02-25 | 2003-07-22 | International Business Machines Corporation | Web links objects |
| US6512857B1 (en) * | 1997-05-09 | 2003-01-28 | Sarnoff Corporation | Method and apparatus for performing geo-spatial registration |
| US6741790B1 (en) * | 1997-05-29 | 2004-05-25 | Red Hen Systems, Inc. | GPS video mapping system |
| FR2775814B1 (fr) * | 1998-03-06 | 2001-01-19 | Rasterland Sa | Systeme de visualisation d'images tridimensionnelles realistes virtuelles en temps reel |
| JP3646582B2 (ja) * | 1998-09-28 | 2005-05-11 | 富士通株式会社 | 電子情報表示方法、電子情報閲覧装置および電子情報閲覧プログラム記憶媒体 |
| US6414679B1 (en) * | 1998-10-08 | 2002-07-02 | Cyberworld International Corporation | Architecture and methods for generating and displaying three dimensional representations |
| JP2000194726A (ja) * | 1998-10-19 | 2000-07-14 | Sony Corp | 情報処理装置及び方法、情報処理システム並びに提供媒体 |
| DE50003531D1 (de) * | 1999-03-02 | 2003-10-09 | Siemens Ag | System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien |
| US6778171B1 (en) * | 2000-04-05 | 2004-08-17 | Eagle New Media Investments, Llc | Real world/virtual world correlation system using 3D graphics pipeline |
-
2000
- 2000-07-05 JP JP2000203345A patent/JP4701479B2/ja not_active Expired - Fee Related
-
2001
- 2001-07-02 US US09/897,172 patent/US7171627B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0933271A (ja) * | 1995-07-21 | 1997-02-07 | Canon Inc | ナビゲーション装置及び撮像装置 |
| JPH11316769A (ja) * | 1996-06-11 | 1999-11-16 | Masanobu Kujirada | バ―チャルトラベルシステム |
| JPH10177338A (ja) * | 1996-10-15 | 1998-06-30 | Matsushita Electric Ind Co Ltd | 交通情報表示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020044162A1 (en) | 2002-04-18 |
| JP2002027349A (ja) | 2002-01-25 |
| US7171627B2 (en) | 2007-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4701479B2 (ja) | リンク情報表示装置及びその表示方法 | |
| US10473465B2 (en) | System and method for creating, storing and utilizing images of a geographical location | |
| US10489930B2 (en) | Digitally encoded marker-based augmented reality (AR) | |
| US10462406B2 (en) | Information processing apparatus and information processing method | |
| JP4236372B2 (ja) | 空間情報利用システムおよびサーバシステム | |
| JP4032776B2 (ja) | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム | |
| US6778171B1 (en) | Real world/virtual world correlation system using 3D graphics pipeline | |
| US8499234B2 (en) | System for communication through spatial bulletin board | |
| WO2016017254A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| JP2013507677A (ja) | 実環境視像における仮想情報の表示方法 | |
| WO2011118282A1 (ja) | 世界座標系データベースを利用したサーバ及び端末 | |
| CN102985901A (zh) | 用于为移动设备上基于位置的服务渲染对象的立体图及与其相关的内容的方法和装置 | |
| KR20130053535A (ko) | 무선 통신 디바이스를 이용한 건물 내부의 증강현실 투어 플랫폼 서비스 제공 방법 및 장치 | |
| CN103003786A (zh) | 用于为基于位置的服务渲染具有主视图部分和预览部分的用户界面的方法和装置 | |
| JP5257386B2 (ja) | リンク情報表示装置、その表示方法およびリンク情報処理システム | |
| Tenmoku et al. | A wearable augmented reality system for navigation using positioning infrastructures and a pedometer | |
| JP7064144B2 (ja) | 情報統合方法、情報統合装置、及び情報統合プログラム | |
| CN107683604A (zh) | 生成装置 | |
| JP2003177736A (ja) | 画像表示システム、画像表示プログラムおよび画像表示方法 | |
| Makita et al. | Shared annotation database for networked wearable augmented reality system | |
| KR20190048738A (ko) | 증강현실용 컨텐츠 제공 장치 및 방법 | |
| JP2008204003A (ja) | 撮像画像登録装置、地図画像生成装置、地図画像生成システム、Ｗｅｂサーバ、撮像対象位置推定装置、撮像画像登録方法、撮像画像登録プログラム、地図画像生成プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| Al Mosawi et al. | Aura Digital Toolkit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070306 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110114 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110221 |
|
| LAPS | Cancellation because of no payment of annual fees |