JP5324714B2 - 端末装置の視野に含まれていない客体に関する情報を提供するための方法、端末装置及びコンピュータプログラム - Google Patents

Description

端末装置の視野に含まれていない客体に関する情報を提供するための方法、端末装置及びコンピュータ読み取り可能な記録媒体に関し、より詳しくは、端末装置に入力されている入力映像及び前記入力映像と関連する情報を用いて拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）映像を生成するにおいて、端末装置の視野に含まれていない客体の存否、位置及び方向を案内する情報を入力映像と共に表示することにより、ユーザに端末装置の視野に含まれていない客体を認知させ、該当客体に関する情報を効果的に獲得できるようにする方法、端末装置及びコンピュータ読み取り可能な記録媒体に関する。

近年、インターネット利用が広がるにつれ、従来は冊子のような印刷物の形態で提供されてきた地理情報がデジタルデータに変換されて提供されるのが一般的になった。デジタル化した代表的な地理情報の形態として、オンライン上で提供される電子マップサービス、車に設置されるナビゲーションシステムなどがその例として挙げられる。このようにデジタル化した地理情報は、検索機能のようなユーザインターフェースと結合されることで、各種便宜機能をユーザに提供できるという長所があり、地理情報に変動が発生する場合、遠隔アップデートなどを通じて容易に更新可能なことから、地理情報の最新性の側面からも従来の印刷物に比べて優位性を有するのが現状である。

特に、近年は端末装置によってリアルタイムで撮影される入力映像にコンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ：ＣＧ）、文字メールなどの付加情報を合成して表示する拡張現実（ＡＲ）の形態で地理情報を提供する技術が紹介されているが、このような拡張現実技術によれば、ユーザが実際に見ている現実世界を含んでいる画面に付加情報（例えば、関心地点（Ｐｏｉｎｔ Ｏｆ Ｉｎｔｅｒｅｓｔ：ＰＯＩ）を示すグラフィック要素など）を視覚的に重複して提供できるので、より直観的な方法でユーザに地理情報を提供できるようになる。

一方、モバイル端末装置に備えられた表示装置（例えば、液晶表示装置など）の大きさは多量の情報を表示できる程度に十分に大きくないことが通常であるため、従来の拡張現実技術を利用して客体に対する付加情報を提供するにおいては端末装置の視野に含まれる客体に対する付加情報のみを限定的に表示し、端末装置の視野に含まれていない客体に対しては何らの情報も表示しないのが一般的であった。

しかしながら、前記のような従来の拡張現実技術によれば、ユーザが探そうとする客体が端末装置の視野に含まれていない場合、ユーザが自身の端末装置の視野に該当客体が含まれるようにするために端末装置の姿勢又は位置を変更しなければならないが、このような端末装置の操作過程でユーザは（端末装置の視野に含まれていない）該当客体の位置又は方向に対して如何なる案内も受けられないため、該当客体を探すことに不便さを感じるという問題が発生する。

従って、本出願人は、端末装置の視野に含まれていない客体の存否、位置及び方向を案内する情報を入力映像と共に表示することで、ユーザに端末装置の視野に含まれていない客体を容易に認知させ、該当客体に関する情報を効果的に獲得できるように支援する技術を開発するに至った。

本発明は前述した問題を何れも解決することをその目的とする。
また、本発明の他の目的は、端末装置の位置、姿勢及び視野角に関する情報を参照して端末装置に入力されている入力映像に対応する端末装置の視野を特定し、端末装置の視野に含まれていない客体を検索することにより、端末装置の視野に含まれていない客体のうち、端末装置の視野の境界に近接する客体に対する案内情報を入力映像と共に表示できるようにすることにある。

前記目的を達成するための本発明の代表的な構成は、以下の通りである。
本発明の一態様によれば、端末装置に入力されている入力映像及び前記入力映像と関連する情報を用いて拡張現実（ＡＲ）を実現するにおいて、前記端末装置の視野に含まれていない客体に関する情報を提供するための方法であって、（ａ）前記端末装置の姿勢及び位置算出部が、前記端末装置の位置、姿勢及び視野角のうちの少なくとも１つに関する情報を参照して、前記入力映像に対応する前記端末装置の視野を特定する段階、（ｂ）前記端末装置の情報検索部が、前記端末装置の視野に含まれていない客体を検索する段階、及び（ｃ）前記端末装置のユーザインターフェース部が、前記端末装置の視野に含まれていないと検索された少なくとも１つの客体に対する案内情報を前記入力映像と共に拡張現実の形態で表示する段階を含み、前記視野は、前記端末装置を視点とするビューイングフラスタムによって特定され、
前記（ｃ）段階で、前記端末装置のユーザインターフェース部が、第１の客体よりも前記視野の境界により近接した第２の客体に対する案内情報を、第１の客体に対する案内情報より大きく表示することによって、前記視野の境界と近接した程度によって前記少なくとも１つの客体に対する案内情報を差別的に表示する方法、および当該方法に関連する端末装置が提供される。

本発明の他の態様によれば、端末装置に入力されている入力映像及び前記入力映像と関連する情報を用いて拡張現実（ＡＲ）を実現するにおいて、前記端末装置の視野に含まれていない客体に関する情報を提供するための端末装置であって、前記端末装置の位置、姿勢及び視野角のうちの少なくとも１つに関する情報を参照して、前記入力映像に対応する前記端末装置の視野を特定する姿勢及び位置算出部、前記端末装置の視野に含まれていない客体を検索する情報検索部、及び前記端末装置の視野に含まれていないと検索された少なくとも１つの客体に対する案内情報を前記入力映像と共に拡張現実の形態で表示するユーザインターフェース部を含み、前記案内情報には、前記少なくとも１つの客体の名称を示す文字列及び前記視野を基準とした前記少なくとも１つの客体の相対的な位置を示すグラフィック要素のうちの少なくとも１つが含まれ、前記ユーザインターフェース部は、第１の客体よりも前記視野の境界により近接した第２の客体に対する案内情報を、第１の客体に対する案内情報より大きく表示することによって、前記視野の境界と近接した程度によって前記少なくとも１つの客体に対する案内情報を差別的に表示する端末装置、および当該端末装置に関連する方法が提供される。

この他にも、本発明を実現するための他の方法、システム及び前記方法を実行するためのコンピュータプログラムが更に提供される。

本発明によれば、端末装置の視野に含まれていない客体のうち、端末装置の視野の境界に近接する客体に対する案内情報を入力映像と共に拡張現実の形態で表示できるようになるので、ユーザに端末装置の視野に含まれていない客体の存否、位置及び方向を容易に認知できるようにさせ、該当客体に関する情報を効果的に獲得できるようにするという効果を奏する。

本発明の一実施形態によって端末装置の視野に含まれていない客体に関する情報を提供するための全体システムの構成を概略的に示す図である。 本発明の一実施形態に係る端末装置２００の内部構成を例示的に示す図である。 本発明の一実施形態によって端末装置の視野に含まれていない客体に対する案内情報を提供する構成を例示的に示す図である。

後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施形態を例として示す添付の図面を参照する。これらの実施形態は、当業者が本発明を実施できるのに十分なように詳細に説明される。本発明の多様な実施形態は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲から逸脱しないながらも、他の実施形態で実現され得る。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は、本発明の精神及び範囲から逸脱しないながらも、変更され得ることが理解されるべきである。従って、後述する詳細な説明は、限定的な意味として取ろうとするのではなく、本発明の範囲は、適切に説明されれば、それらの請求項が主張するものと均等なあらゆる範囲と共に添付された請求項によってのみ限定される。図面において類似する参照符号は、多様な側面にわたって同一又は類似する機能を示す。

以下では、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好適な実施形態について添付の図面を参照して詳細に説明する。

全体システムの構成
図１は、本発明の一実施形態によって端末装置の視野に含まれていない客体に関する情報を提供するための全体システムの構成を概略的に示す図である。

図１に示すように、本発明の一実施形態に係る全体システムは、通信網１００、端末装置２００、情報提供サーバ３００で構成されることができる。
まず、本発明の一実施形態によれば、通信網１００は、有線及び無線のようなその通信形態を問わず構成されることができ、移動通信網、近距離通信網（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、都市圏通信網（ＭＡＮ：Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域通信網（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、人工衛星通信網など多様な通信網で構成されることができる。より具体的に、本発明でいう通信網１００は、公知のワールドワイドウェブ（ＷＷＷ;Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＷＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）又はＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）通信網などを何れも含む概念であることが理解されるべきである。

次に、本発明の一実施形態によれば、端末装置２００は、カメラ（カメラ付き携帯用機器を含む概念として理解されるべきである）などの撮影手段を通じて入力される入力映像及び前記入力映像と関連する情報を用いて拡張現実（ＡＲ）映像を生成するにおいて端末装置２００の視野に含まれていない客体に対する案内情報をディスプレイする機能を実行できる。本発明でいう端末装置２００は、通信網１００に接続した後に通信できるようにする機能を含むデジタル機器を意味するものであって、個人用コンピュータ（例えば、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータなど）、ワークステーション、ＰＤＡ、ウェブパッド、移動電話機などのようにメモリ手段を備え、マイクロ・プロセッサを搭載して演算能力を備えたデジタル機器であれば、いくらでも本発明に係る端末装置２００として採択され得る。端末装置２００の詳細な内部構成については後述する。

一方、本発明の一実施形態によれば、情報提供サーバ３００は、通信網１００を通じて端末装置２００及び他の情報提供サーバ（図示せず）と通信することにより、端末装置２００の要請に応じて多様なタイプの情報を提供する機能を行える。より具体的に、情報提供サーバ３００は、ウェブコンテンツ検索エンジン（図示せず）を含んで端末装置２００の要請に対応する情報を検索し、その検索結果を端末装置２００のユーザがブラウジングできるように提供できる。例えば、情報提供サーバ３００は、インターネット検索ポータルサイトのオペレーティングサーバであり得、端末装置２００に提供される情報はウェブサイト、ウェブ文書、知識、ブログ、カフェ、イメージ、動画、ニュース、音楽、ショッピング、地図、本、映画などに関する多様な情報であり得る。もちろん、必要に応じて情報提供サーバ３００の情報検索エンジンは情報提供サーバ３００ではなく、他の演算装置や記録媒体に含まれることもできる。

端末装置の構成
以下では、本発明の実現のために重要な機能を行う端末装置２００の内部構成及び各構成要素の機能について詳察する。

図２は、本発明の一実施形態に係る端末装置２００の内部構成を例示的に示す図である。
図２に示すように、本発明の一実施形態に係る端末装置２００は、入力映像獲得部２１０、位置及び姿勢算出部２２０、拡張現実実現部２３０、ユーザインターフェース部２４０、情報検索部２５０、通信部２６０及び制御部２７０を含むことができる。本発明の一実施形態によれば、入力映像獲得部２１０、位置及び姿勢算出部２２０、拡張現実実現部２３０、ユーザインターフェース部２４０、情報検索部２５０、通信部２６０及び制御部２７０は、そのうちの少なくとも一部がユーザ端末装置３００と通信するプログラムモジュールであり得る。このようなプログラムモジュールは、オペレーティングシステム、応用プログラムモジュール及びその他プログラムモジュールの形態で端末装置２００に含まれることができ、物理的には多様な公知の記憶装置上に格納されることができる。また、このようなプログラムモジュールは、端末装置２００と通信可能な遠隔記憶装置に格納されることもできる。一方、このようなプログラムモジュールは、本発明によって後述する特定の業務を行ったり、特定の抽象データのタイプを実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されるものではない。

まず、本発明の一実施形態によれば、入力映像獲得部２１０は、後述する拡張現実実現部２３０によって実現される拡張現実の土台となる入力映像を獲得する機能を実行することができる。より具体的に、本発明の一実施形態に係る入力映像獲得部１２０は、ＣＣＤカメラなどの撮影装置を含むことができ、端末装置１００を携帯しているユーザ周辺の風景の様子を仮にプレビュー状態でリアルタイムで入力を受ける機能を実行することができる。

次に、本発明の一実施形態によれば、位置及び姿勢算出部２２０は、端末装置２００により獲得される入力映像が現実世界の如何なる領域に対応するかを判断するために、端末装置２００の位置及び姿勢を算出する機能を実行することができる。

より具体的に、本発明の一実施形態に係る位置及び姿勢算出部２２０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）技術、移動通信技術などの位置情報獲得技術を利用して端末装置２００の位置を算出することができるが、例えば、このために位置及び姿勢算出部２２０は、所定のＧＰＳモジュール、移動通信モジュールを含むことができる。また、本発明の一実施形態に係る位置及び姿勢算出部２２０は、所定のセンシング手段を用いて端末装置２００の姿勢を算出することができるが、例えば、このために位置及び姿勢算出部２２０は、端末装置２００の動きの有無、距離、速度、加速度、方向などを感知する加速度センサ及び端末装置２００の回転の有無、回転量、角速度、角加速度、方向などを感知するジャイロスコープを含むことができる。

また、本発明の一実施形態によれば、位置及び姿勢算出部２２０は、前記のように算出された端末装置２００の位置、姿勢及び視野角に関する情報を参照して端末装置２００を視点とする端末装置２００の視野、即ち、端末装置２００により獲得される入力映像に対応する端末装置２００の視野を特定する機能を実行することができる。

より具体的に、本発明の一実施形態によれば、端末装置２００の視野は、３次元空間である現実世界で定義される３次元領域を意味するものであって、端末装置２００を視点とするビューイングフラスタムで特定され得る。ここで、ビューイングフラスタムとは、カメラなどの撮影装置によって映像が撮影されたり、プレビュー状態で入力されたりする場合に撮影装置の視野に含まれる３次元領域を示すものであって、端末装置２００に備えられた撮影手段の投影中心を視点として定義でき、撮影レンズの種類によって円錐又は多角錐状の無限領域（円錐又は多角錐が視線方向に垂直な近平面（ｎｅａｒ ｐｌａｎｅ）又は遠平面（ｆａｒ ｐｌａｎｅ）によって切り取られた台形円柱又は台形多面体状の有限領域であり得る）に定義され得る。このようなビューイングフラスタムについては、本出願人により出願された韓国特許出願第２０１０-０００２３４０号の明細書を参照することができる。ここで、前記明細書はその全体として本明細書に併合されたものと見なされるべきである。

次に、本発明の一実施形態によれば、拡張現実実現部２３０は、端末装置２００により獲得される入力映像及び入力映像と関連する情報を合成することによって拡張現実を実現し、拡張現実を視覚的に表現する出力映像を生成する機能を実行することができる。例えば、本発明の一実施形態に係る拡張現実実現部２３０は、入力映像と関連する情報として端末装置２００の視野に含まれていると判断された客体（例えば、建物、商店など）に対して関心地点（ＰＯＩ）であることを示す所定のグラフィック要素を表示し、ユーザによって関心地点が選択される場合には該当客体に対する詳細な情報を提供するようにすることができる。他の例を挙げると、本発明の一実施形態に係る拡張現実実現部２３０は、入力映像と関連する情報として端末装置２００が位置する地点の周辺に存在する客体の位置を示す半透明２次元マップ又は端末装置２００が位置する地点の天気情報を含む半透明情報窓が入力映像と重なって（ｏｖｅｒｌａｐ）表示される拡張現実を実現することもできる。

次に、本発明の一実施形態によれば、ユーザインターフェース部２４０は、端末装置２００により獲得される入力映像及び入力映像と関連する情報を用いて拡張現実を実現するにおいて、端末装置２００の視野に含まれていない客体に対する案内情報を入力映像と共に表示する機能を実行することができる。より具体的に、本発明の一実施形態に係るユーザインターフェース部２４０は、端末装置２００の視野に含まれていないと検索された客体の存否、位置、方向などを案内する案内情報を入力映像と共に表示することができる。このためには、端末装置２００の視野及び現実世界に存在する客体の位置に関する情報を参照して端末装置２００の視野に含まれていない客体を検索する過程が先行されなければならないが、これは後述する情報検索部２５０によって実行され得る。

ここで、本発明の一実施形態によって入力映像と共に表示される案内情報には、該当客体の名称を示す文字列、端末装置２００の視野を基準とした該当客体の相対的な位置を示すグラフィック要素などが含まれ得る。ただし、本発明に係る案内情報が必ずしも前記列挙されたものに限定されるものではなく、端末装置２００の視野に含まれていない客体の存否、位置、方向などを暗示又は案内できる情報であれば、いくらでも本発明に係る案内情報に含まれ得ることを明確にしておく。

また、本発明の一実施形態によれば、ユーザインターフェース部２４０は、入力映像と共に表示される案内情報がユーザによって選択されるものに対応して該当客体に対するより詳細な情報を表示する機能を実行することができる。

具体的に、本発明の一実施形態に係るユーザインターフェース部２４０は、端末装置２００の視野を基準とした客体の相対的な位置を参照して該当客体に対する案内情報が表示される位置を適応的に決定する機能を実行することができる。例えば、端末装置２００の視野に含まれていない観光地Ａが端末装置２００の視野を基準として右側に位置する場合を仮定することができるが、このような場合、本発明の一実施形態に係るユーザインターフェース部２４０は、観光地Ａに対する案内情報を出力映像の右側部分に表示することができる。

より具体的に、本発明の一実施形態に係るユーザインターフェース部２４０は、客体が端末装置２００の視野の境界に近接する程度によって該当客体に対する案内情報を差別的に表示する機能を実行することができる。例えば、端末装置２００が右に１５°回転しなければ端末装置２００の視野に含まれていない建物Ａ及び端末装置２００が右に３０°回転しなければ端末装置２００の視野に含まれていない建物Ｂに対する案内情報を提供する場合を仮定することができるが、このような場合、建物Ａが建物Ｂよりも端末装置２００の視野の境界に、より近接したものと評価され得、これにより本発明の一実施形態に係るユーザインターフェース部２４０は、出力映像内で建物Ａに対する案内情報が建物Ｂに対する案内情報よりも更に大きく表示されるようにするか、建物Ａに対する案内情報よりも建物Ｂに対する案内情報が画面上でより右側に表示されるようにするか、出力映像内に建物Ａに対する案内情報のみ表示されるようにすることもできるなど多様な変形例を想定することができる。

図３は、本発明の一実施形態によって端末装置の視野に含まれていない客体に対する案内情報を提供する構成を例示的に示す図である。
図３に示すように、本発明の一実施形態によって端末装置２００の視野に含まれていない客体に対する案内情報３１０、３２０が拡張現実の形態で出力映像内に表示される構成を確認することができる。より具体的に詳察すると、第１案内情報３１０は、端末装置２００の視野を基準として左側に位置する「土五味江南店」という商店を案内する案内情報であって、該当商店の名称を示す文字列及び該当商店の位置を案内する矢印を含んでおり、第２案内情報３２０は、端末装置２００の視野を基準として右側に位置する「飛ぶ魚」という商店を案内する案内情報であって、該当商店の名称を示す文字列及び該当商店の位置を案内する矢印を含んでいることが確認することができる。

一方、本発明の一実施形態によれば、拡張現実として実現された出力映像情報をはじめとするその他映像情報は、端末装置２００の表示部（図示せず）を通じて視覚的に表出され得るが、例えば、本発明の一実施形態に係る表示部は、通常の液晶表示装置（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又は有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）などのフラット表示装置であり得る。

次に、本発明の一実施形態によれば、情報検索部２５０は、端末装置２００の視野及び現実世界に存在する客体の位置に関する情報を参照して端末装置２００の視野に含まれていない客体を検索する機能を実行することができる。

また、本発明の一実施形態によれば、情報検索部２５０は、端末装置２００を通じて要請された情報を提供するために、情報提供サーバ３００と通信して必要な情報を検索する機能を行うこともできる。例えば、端末装置２００を通じて商店Ａに関する情報が要請された場合を仮定できるが、このような場合、本発明の一実施形態に係る情報検索部２５０は、公知の情報検索ポータルサーバに接続して商店Ａの位置、電話番号、販売商品、利用コメントなどに関する情報を検索し、前記検索された情報のうちの少なくとも一部が端末装置２００に提供されるようにする機能を実行することができる。

次に、本発明の一実施形態によれば、通信部２６０は、端末装置２００が情報提供サーバ３００などのような外部システムと通信できるようにする機能を行う。
最後に、本発明の一実施形態によれば、制御部２７０は、入力映像獲得部２１０、位置及び姿勢算出部２２０、拡張現実実現部２３０、ユーザインターフェース部２４０、情報検索部２５０及び通信部２６０間のデータの流れを制御する機能を行う。即ち、制御部２７０は外部からの又は端末装置２００の各構成要素間のデータの流れを制御することによって、入力映像獲得部２１０、位置及び姿勢算出部２２０、拡張現実実現部２３０、ユーザインターフェース部２４０、情報検索部２５０及び通信部２６０でそれぞれ固有機能を行うように制御する。

以上説明された本発明に係る実施形態は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で実現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独又は組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであってもよく、コンピュータソフトウェア分野の当業者にとって公知の使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ-ＲＯＭ、ＤＶＤのような光気録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気-光媒体（ｍａｇｎｅｔｏ-ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラにより作られるもののような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために、１つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。

以上、本発明が具体的な構成要素などのような特定事項と限定された実施形態及び図面により説明されたが、これは、本発明のより全般的な理解を促進するために提供されたものであって、本発明が前記実施形態に限定されるものではなく、本発明の属する技術分野において通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。

従って、本発明の思想は、前記説明された実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形された全てのものは、本発明の思想の範疇に属すると言える。

１００ 通信網
２００ 端末装置
２１０ 入力映像獲得部
２２０ 位置及び姿勢算出部
２３０ 拡張現実実現部
２４０ ユーザインターフェース部
２５０ 情報検索部
２６０ 通信部
２７０ 制御部
３００ 情報提供サーバ

Claims (7)

1. 端末装置に入力されている入力映像及び前記入力映像と関連する情報を用いて拡張現実（ＡＲ）を実現するにおいて、前記端末装置の視野に含まれていない客体に関する情報を提供するための方法であって、
   （ａ）前記端末装置の姿勢及び位置算出部が、前記端末装置の位置、姿勢及び視野角のうちの少なくとも１つに関する情報を参照して、前記入力映像に対応する前記端末装置の視野を特定する段階、
   （ｂ）前記端末装置の情報検索部が、前記端末装置の視野に含まれていない客体を検索する段階、及び
   （ｃ）前記端末装置のユーザインターフェース部が、前記端末装置の視野に含まれていないと検索された少なくとも１つの客体に対する案内情報を前記入力映像と共に拡張現実の形態で表示する段階を含み、
   前記視野は、前記端末装置を視点とするビューイングフラスタムによって特定され、
   前記（ｃ）段階で、前記端末装置のユーザインターフェース部が、第１の客体よりも前記視野の境界により近接した第２の客体に対する案内情報を、第１の客体に対する案内情報より大きく表示することによって、前記視野の境界と近接した程度によって前記少なくとも１つの客体に対する案内情報を差別的に表示する
   ことを特徴とする方法。
2. 端末装置に入力されている入力映像及び前記入力映像と関連する情報を用いて拡張現実（ＡＲ）を実現するにおいて、前記端末装置の視野に含まれていない客体に関する情報を提供するための方法であって、
   （ａ）前記端末装置の姿勢及び位置算出部が、前記端末装置の位置、姿勢及び視野角のうちの少なくとも１つに関する情報を参照して、前記入力映像に対応する前記端末装置の視野を特定する段階、
   （ｂ）前記端末装置の情報検索部が、前記端末装置の視野に含まれていない客体を検索する段階、及び
   （ｃ）前記端末装置のユーザインターフェース部が、前記端末装置の視野に含まれていないと検索された少なくとも１つの客体に対する案内情報を前記入力映像と共に拡張現実の形態で表示する段階を含み、
   前記案内情報には、前記少なくとも１つの客体の名称を示す文字列及び前記視野を基準とした前記少なくとも１つの客体の相対的な位置を示すグラフィック要素のうちの少なくとも１つが含まれ、
   前記（ｃ）段階で、前記端末装置のユーザインターフェース部が、第１の客体よりも前記視野の境界により近接した第２の客体に対する案内情報を、第１の客体に対する案内情報より大きく表示することによって、前記視野の境界と近接した程度によって前記少なくとも１つの客体に対する案内情報を差別的に表示する
   ことを特徴とする方法。
3. 前記（ｃ）段階で、前記端末装置のユーザインターフェース部が、
   前記視野を基準とした前記少なくとも１つの客体の相対的な位置を参照して、前記少なくとも１つの客体に対する案内情報が表示される位置を適応的に決定することを特徴とする請求項１又は２に記載の方法。
4. 端末装置に入力されている入力映像及び前記入力映像と関連する情報を用いて拡張現実（ＡＲ）を実現するにおいて、前記端末装置の視野に含まれていない客体に関する情報を提供するための端末装置であって、
   前記端末装置の位置、姿勢及び視野角のうちの少なくとも１つに関する情報を参照して、前記入力映像に対応する前記端末装置の視野を特定する姿勢及び位置算出部、
   前記端末装置の視野に含まれていない客体を検索する情報検索部、及び
   前記端末装置の視野に含まれていないと検索された少なくとも１つの客体に対する案内情報を前記入力映像と共に拡張現実の形態で表示するユーザインターフェース部を含み、
   前記視野は、前記端末装置を視点とするビューイングフラスタムによって特定され、
   前記ユーザインターフェース部は、第１の客体よりも前記視野の境界により近接した第２の客体に対する案内情報を、第１の客体に対する案内情報より大きく表示することによって、前記視野の境界と近接した程度によって前記少なくとも１つの客体に対する案内情報を差別的に表示する
   ことを特徴とする端末装置。
5. 端末装置に入力されている入力映像及び前記入力映像と関連する情報を用いて拡張現実（ＡＲ）を実現するにおいて、前記端末装置の視野に含まれていない客体に関する情報を提供するための端末装置であって、
   前記端末装置の位置、姿勢及び視野角のうちの少なくとも１つに関する情報を参照して、前記入力映像に対応する前記端末装置の視野を特定する姿勢及び位置算出部、
   前記端末装置の視野に含まれていない客体を検索する情報検索部、及び
   前記端末装置の視野に含まれていないと検索された少なくとも１つの客体に対する案内情報を前記入力映像と共に拡張現実の形態で表示するユーザインターフェース部を含み、
   前記案内情報には、前記少なくとも１つの客体の名称を示す文字列及び前記視野を基準とした前記少なくとも１つの客体の相対的な位置を示すグラフィック要素のうちの少なくとも１つが含まれ、
   前記ユーザインターフェース部は、第１の客体よりも前記視野の境界により近接した第２の客体に対する案内情報を、第１の客体に対する案内情報より大きく表示することによって、前記視野の境界と近接した程度によって前記少なくとも１つの客体に対する案内情報を差別的に表示する
   ことを特徴とする端末装置。
6. 前記ユーザインターフェース部は、前記視野を基準とした前記少なくとも１つの客体の相対的な位置を参照して、前記少なくとも１つの客体に対する案内情報が表示される位置を適応的に決定することを特徴とする請求項４又は５に記載の端末装置。
7. 請求項１から３の何れか一項による方法を実行するためのコンピュータプログラム。