JP6345381B2 - 拡張現実システム - Google Patents

Description

本発明は、拡張現実の技術に関するものである。

拡張現実（AR： Augmented Reality）の技術としては、周辺の施設の情報を、カメラが撮影している実空間の風景を表す映像上の当該施設に対応する位置に重畳表示する技術が知られている（たとえば、特許文献１）。

また、拡張現実の技術としては、自動車に搭載したヘッドアップディスプレイを用いて、周辺の施設の情報を、ユーザが見ている実空間の風景上の、当該施設に対応する位置に重畳表示する技術も知られている（たとえば、特許文献２）。

特開２０１０-２３９５６８号公報 特開２００９-０２００８９号公報

上述した拡張現実の技術によって施設の情報を表示する場合には、カメラで撮影される実空間範囲、または、ヘッドアップディスプレイを用いて情報を重畳表示することができる実空間範囲に含まれる施設の数が多いと、表示すべき施設の情報数も多くなり、当該施設の情報の表示同士が重なり合ってしまって各情報の視認が困難となったり、実空間の風景の視認性が当該施設の情報の表示に隠されて劣化してしまうことがある。

そこで、本発明は、実空間の風景もしくは当該風景を表す映像上に、当該風景に含まれる施設の情報を当該施設に対応する位置に配置して重畳表示する拡張現実システムにおいて、施設の情報や、実風景の視認性を向上することを課題とする。

前記課題達成のために、本発明は、実空間の風景を撮影するカメラと、前記カメラが撮影した画像である撮影画像を表示するディスプレイとを備えた拡張現実システムに、当該拡張現実システムが現在位置する道路を対象道路として算出する道路算出部と、前記カメラが撮影する実空間の範囲である視界範囲に含まれる施設であって、前記対象道路に面する施設を表示対象施設として抽出する表示対象施設抽出部と、前記表示対象施設抽出部が算出した表示対象施設の情報を、前記ディスプレイに表示されている前記撮影画像上に重畳して表示する拡張現実情報表示部とを備え、当該拡張現実情報表示部において、前記表示対象施設の情報を、前記ディスプレイの表示が、当該情報が当該表示対象施設の前記対象道路に面する面に貼り付いているようすを模擬する表示となる形態である第１形態で表示するようにしたものである。

このような拡張現実システムによれば、現在位置する道路に面する施設についてのみ、施設の情報が、カメラが撮影した実空間上の風景上に重畳表示される。また、各情報は、対応する施設の、現在走行している道路に面する面に貼り付いた形態で表示される。
よって、情報の表示同士が重なり合ってしまって各情報の視認が困難となることや、情報の表示によって実空間の風景、特に、自車前方の道路上のようすの視認性が劣化してしまうことを抑制することができる。
ここで、このような拡張現実システムは、前記拡張現実情報表示部において、前記表示対象施設のうち、当該拡張現実システムに所定レベル以内に接近している表示対象施設については、当該表示対象施設の情報を、前記第１形態で表示せずに、当該表示対象施設が現れる前記撮影画像上の位置に当該情報を正面を向けて表す第２形態で表示するように構成してもよい。

このようにすることにより近い位置にある施設、すなわち、ユーザが情報を認識することが当該時点においてより重要であると推定される施設については、その情報の視認性を、常に高く維持することができる。
また、以上の拡張現実システムは、当該拡張現実システムが自動車に搭載されたものである場合には、前記拡張現実情報表示部において、前記自動車が走行していない期間中には、前記第１形態で表示している前記情報の全ての表示を、当該情報に対応する前記表示対象施設が現れる前記撮影画像上の位置に当該情報を正面を向けて表す第２形態の表示に切り替えるように構成してもよい。

また、以上の拡張現実システムは、前記拡張現実情報表示部において、前記第１形態で表示している各前記情報を順次所定期間ずつ対象情報に設定し、前記対象情報に設定されている前記情報の表示を、当該情報が前記対象情報に設定されている期間中だけ、当該情報に対応する前記表示対象施設が現れる前記撮影画像上の位置に当該情報を正面を向けて表す第２形態の表示に切り替えるように構成してもよい。

また、以上の拡張現実システムは、前記拡張現実情報表示部において、前記第１形態で表示している各前記情報を順次所定期間ずつ対象情報に設定し、前記第１形態で表示している情報のうちの前記対象情報に設定されている情報の表示を強調すると共に、当該第１形態で表示している情報の表示とは別に、当該対象情報に設定されている情報を前記ディスプレイの表示面の所定のエリアに表示するように構成してもよい。

また、以上の拡張現実システムは、前記拡張現実情報表示部において、前記第１形態で表示している前記情報の選択をユーザから受け付け、選択を受け付けた前記情報の表示を、当該情報に対応する前記表示対象施設が現れる前記撮影画像上の位置に当該情報を正面を向けて表す第２形態の表示に切り替えるように構成してもよい。

また、以上の拡張現実システムは、前記拡張現実情報表示部において、前記第１形態で表示している前記情報の選択をユーザから受け付け、選択を受け付けた情報を、前記第１形態で表示している当該情報の表示とは別に、前記ディスプレイの表示面の所定のエリアに表示するように構成してもよい。

また、以上の拡張現実システムは、前記拡張現実情報表示部において、ユーザの表示切り替え操作に応答して、前記第１形態で表示している前記情報の全ての表示を、当該情報に対応する前記表示対象施設が現れる前記撮影画像上の位置に当該情報を正面を向けて表す第２形態の表示に切り替えるように構成してもよい。

ここで、本発明は、さらに前記課題達成のために、以上の拡張現実システムにおいて、カメラとディスプレイに代えて実空間の風景上に映像を重畳表示するヘッドアップディスプレイを備えた拡張現実システムも提供する。
すなわち、本発明は、たとえば、実空間の風景上に映像を重畳表示するヘッドアップディスプレイを備えた拡張現実システムに、当該拡張現実システムが現在位置する道路を対象道路として算出する道路算出部と、前記ヘッドアップディスプレイが映像を風景上に重畳表示可能な実空間の範囲である視界範囲に含まれる施設であって、前記対象道路に面する施設を表示対象施設として抽出する表示対象施設抽出部と、前記表示対象施設抽出部が算出した表示対象施設の情報を、前記ヘッドアップディスプレイに表示する拡張現実情報表示部とを設け、当該拡張現実情報表示部において、前記表示対象施設の情報を、前記実空間の風景上で、当該情報が当該表示対象施設の前記対象道路に面する面に貼り付いているようすを模擬する形態である第１形態で表示する拡張現実システムを提供する。

また、同様に本発明は、このようなヘッドアップディスプレイを備えた拡張現実システムであって、前記拡張現実情報表示部において、前記表示対象施設のうち、当該拡張現実システムに所定レベル以内に接近している表示対象施設については、当該表示対象施設の情報を前記第１形態で表示せずに、当該表示対象施設に重なる位置に当該情報を正面を向けて表す第２形態で表示する拡張現実システムを提供する。

また、同様に本発明は、このようなヘッドアップディスプレイを備えた拡張現実システムであって、当該拡張現実システムは自動車に搭載されており、前記拡張現実情報表示部は、前記自動車が走行していない期間中には、前記第１形態で表示している前記情報の全ての表示を、当該情報に対応する前記表示対象施設に重なる位置に当該情報を正面を向けて表す第２形態の表示に切り替える拡張現実システムを提供する。

以上のように、本発明によれば、実空間の風景もしくは当該風景を表す映像上に、当該風景に含まれる施設の情報を当該施設に対応する位置に配置して重畳表示する拡張現実システムにおいて、施設の情報や、実風景の視認性を向上することができる。

本発明の実施形態に係る車載システムの構成を示すブロック図である。 本発明の実施形態に係る車載システムの記憶装置の記憶内容を示す図である。 本発明の実施形態に係るＡＲタグ表示処理を示すフローチャートである。 本発明の実施形態に係るＡＲタグ表示処理の処理例を示す図である。 本発明の実施形態に係るＡＲタグ表示処理の表示例を示す図である。 本発明の実施形態に係るＡＲタグ表示処理の表示例を示す図である。 本発明の実施形態に係るＡＲタグ表示処理の表示例を示す図である。 本発明の実施形態に係るＡＲタグ表示処理の表示例を示す図である。 本発明の実施形態に係るＡＲタグ表示処理の表示例を示す図である。 本発明の実施形態に係るＡＲタグ表示処理の表示例を示す図である。

以下、本発明の実施形態について説明する。
図１ａに本実施形態に係る車載システムの構成を示す。
車載システムは、自動車に搭載されるシステムであり、図示するように、車載システム１は、表示装置１０１、操作部１０２、カメラ１０３、ＧＰＳ受信機１０４、自動車の車速や角速度を計測する車両状態センサ１０５、制御部１０６、ナビゲーション部１０７、ＡＲ表示部１０８、記憶装置１０９、スマートフォン２などの外部装置を無線または有線で接続するための外部インタフェース１１０とを備えている。

ただし、車載システム１は、ハードウエア的には、マイクロプロセッサやメモリや、その他の周辺デバイスを有する一般的な構成を備えたコンピュータを用いて構成してよく、この場合、以上に示した車載システム１の制御部１０６やナビゲーション部１０７やＡＲ表示部１０８などは、マイクロプロセッサが予め用意されたプログラムを実行することにより具現化するプロセスとして実現されるものであって良い。また、この場合、このようなプログラムは、記録媒体や適当な通信路を介して、車載システム１に提供されるものであって良い。

ここで、このような車載システム１のカメラ１０３は、図１ｂに示すように、自動車前部に搭載され、自動車前方の風景を撮影する。
次に、車載システム１の記憶装置１０９の記憶内容について説明する。
図２に示すように、記憶装置１０９には、地図データと、ＡＲデータベースが格納される。
ここで、地図データは、道路地図を表す道路地図データと、ビル等の現実の建物毎に設けられた建物データとを含む。
そして、建物データには、対応する建物の基準位置の経緯度と標高の三次元座標を表す建物位置、対応する建物の３次元形状を建物位置を基準として表す３Ｄ形状データとが登録されている。
次に、ＡＲデータベースは、現実の施設毎に設けられたＡＲデータを蓄積したものであり、各ＡＲデータは、対応する施設の種別を示す施設種別、ＡＲデータが情報を表す施設の経緯度と標高の三次元座標を表す対象物座標、拡張現実のためにカメラ１０３が撮影した映像上に表す情報を表すＡＲタグデータ、ＡＲデータの生成年月日を表す生成日時とが登録される。ここで、ＡＲデータが対応する施設とは、店舗、会社などの施設が含まれ、たとえば、ビルの３階に入居している店舗に対応するＡＲデータの対象物座標としては、当該入居しているビルの中心位置の経緯度と、当該ビルの３階の標高を表す３次元座標が登録される。

ここで、本実施形態では、ＡＲタグデータが表す情報を、ＡＲデータに対応する施設の施設名とする。ただし、ＡＲタグデータが表す情報としては、施設の種別を示す図形であるアイコン/ランドマーク、施設に対するコメントなどの各種情報を用いるようにすることもできる。
ここで、ＡＲデータベースの各ＡＲデータは、予め記憶装置１０９に記憶されたものであってもよいが、ＡＲ表示部１０８が、車載システム１に接続されたスマートフォン２を介して、移動体通信網を含むＷＡＮ３上のＡＲサーバ４より取得して記憶装置１０９に格納したものであってもよい。

さて、このような構成において、車載システム１のナビゲーション部１０７は、記憶装置１０９に記録されている地図データを用いて、ＧＰＳ受信機１０４や車両状態センサ１０５を利用した、現在の自車位置の三次元座標を表す現在位置の算出や、自車の現在の前方の方位、仰角を表す前方方向の算出を行う。また、ナビゲーション部１０７は、記憶装置１０９に記録されている地図データを用いて、ユーザからの目的地の設定の受け付けや、設定された目的地までのルートの探索や、現在位置周辺の地図上に現在位置や現在の前方方向を表すマークや目的地までのルートを表したナビゲーション画像の生成なども行う。

さて、このような構成において、制御部１０６は、操作部１０２を用いたユーザのモード選択操作に応じて、ナビゲーションモード、ＡＲモードのいずれかを選択的に設定する。そして、ナビゲーションモードの設定期間中は、表示装置１０１に上述したようにナビゲーション部１０７が生成するナビゲーション画像を表示する。

また、制御部１０６は、ＡＲモードの設定期間中は、カメラ１０３の撮影した映像をリアルタイムに表示装置１０１に表示させると共に、ＡＲ表示部１０８にＡＲタグ表示処理を開始させる。
以下、このＡＲ表示部１０８が行うＡＲタグ表示処理について説明する。
図３に、このＡＲタグ表示処理の手順を示す。
図示するように、ＡＲ表示部１０８はＡＲタグ表示処理を開始すると、カメラ１０３で撮影される実空間範囲である視界範囲に含まれる施設であって、自車が現在走行中の道路に面している施設のＡＲデータを表示ＡＲデータとして抽出する（ステップ３０２）。
ここで、カメラ１０３で撮影される実空間範囲は、ナビゲーション部１０７が算出している自動車の現在位置と前方方向と、カメラ１０３の撮影方向と自動車の前方方向との関係やカメラ１０３の画角より求めることができる。また、自車が現在走行中の道路は、ナビゲーション部１０７が算出している現在位置と、地図データとより求めることができる。また、自車が現在走行中の道路に面している施設のＡＲデータは、たとえば、ＡＲデータの対象物座標がその内に含まれる建物を建物データに基づいて特定し、特定した建物データが、自車が現在走行中の道路に面している場合、すなわち、特定した建物データが表す建物と道路との間に他の建物データが表す建物が存在しない場合や、特定した建物データが表す建物と、自車が現在走行中の道路とが数ｍ以内に近接している場合に、そのＡＲデータを自車が現在走行中の道路に面している施設のＡＲデータとして算定することにより求める。ただし、簡易的には、ＡＲデータに登録されている対象物座標の経緯度座標が、自車が現在走行中の道路と十数ｍ以内近接している場合に、当該ＡＲデータが、自車が現在走行中の道路に面している施設とすることにより求めるようにしてもよい。または、あらかじめ各ＡＲデータに当該ＡＲデータに対応する施設が面する道路の情報を登録しておき、当該情報に基づいて、自車が現在走行中の道路に面している施設のＡＲデータを算定するようにしてもよい。

次に、このようにして自車が現在走行中の道路に面している施設のＡＲデータを表示ＡＲデータとして抽出したならば（ステップ３０２）、表示ＡＲデータのうち、自車近傍の施設、すなわち、自車から所定距離（たとえば、50ｍ）以内の施設の表示ＡＲデータを通常表示ＡＲデータに設定し、他の表示ＡＲデータを貼付ＡＲデータに設定する（ステップ３０４）。

ここで、より具体的には、通常表示ＡＲデータの設定は、登録されている対象物座標と自車との経緯度方向の距離が所定距離（たとえば、50ｍ）以内である表示ＡＲデータを、通常表示ＡＲデータに設定することにより行う。または、通常表示ＡＲデータの設定は、表示ＡＲデータの対象物座標がその内に含まれる建物を建物データに基づいて特定し、特定した建物データが表す建物と、自車との経緯度方向の最短距離が所定距離（たとえば、50ｍ）以内である表示ＡＲデータを、通常表示ＡＲデータに設定することにより行うようにしてもよい。

次に、このようにして通常表示ＡＲデータと貼付ＡＲデータを設定したならば（ステップ３０４）、貼付ＡＲデータのＡＲタグデータの内容を表すＡＲタグを、当該ＡＲタグが当該貼付ＡＲデータに対応する施設の自車走行中道路に面する面に貼り付いたようすを模擬する形態で、表示装置１０１に表示されているカメラ１０３の撮影映像上に重畳表示する（ステップ３０６）。

ここで、貼付ＡＲデータのＡＲタグの表示は、より具体的には次のように行う。
すなわち、まず、貼付ＡＲデータの対象物座標がその内に含まれる建物を建物データに基づいて特定する。そして、図４ａに示すような、特定した建物データが表す建物を仮想建物４０１として配置した３次元の仮想世界に、ナビゲーション部１０７が算出した現在位置と前方方向とに基づいて、現実の建物とカメラ１０３との相対位置、相対方向の関係に、仮想建物４０１との相対位置、相対方向の関係が一致するように仮想カメラ４１０を配置する。なお、仮想カメラ４１０の画角などの特性はカメラ１０３と一致させている。

また、四角形の図形中に貼付ＡＲデータのＡＲタグデータの内容（施設名、図では「ＸＸＸＸ」）を表した元ＡＲタグ４２０を、仮想建物４０１の走行中道路に面する面に重なるように、３次元の仮想世界中に配置して被写ＡＲタグ４３０とする。ここで、被写ＡＲタグ４３０は、被写ＡＲタグ４３０の上下方向が仮想世界の上下方向と一致し、被写ＡＲタグ４３０の横方向の向きが仮想世界中における走行中道路の水平方向の向き、または、仮想建物４０１の走行中道路に面する面の水平方向の向きに一致するように配置する。また、被写ＡＲタグ４３０の中心Ｃが、貼付ＡＲデータの対象物座標に相当する仮想世界中の位置Ｇから、走行中道路の水平方向の向きに垂直かつ水平な方向に伸ばした直線と、仮想建物４０１の走行中道路に面する面との交点の位置、または、交点から走行中道路方向に水平に僅かに進んだ位置に位置するように、被写ＡＲタグ４３０は配置する。

なお、被写ＡＲタグ４３０のサイズは、仮想建物４０１の走行中道路に面する面内に収まるサイズとすることが好ましい。
そして、仮想カメラ４１０で、被写ＡＲタグ４３０のみを撮影した画像を、貼付ＡＲデータのＡＲタグとして生成し、生成したＡＲタグを、仮想カメラ４１０が撮影した画像中の位置と同位置となるように、表示装置１０１に表示されているカメラ１０３が撮影した撮影画像上に重畳表示する。

この結果、図５ａ、図５ａの一部を拡大した図５ｂの５０１-５０６に示すように、貼付ＡＲデータのＡＲタグが、カメラ１０３の撮影画像が表す実空間の風景中に、対応する施設の走行中道路に面する面に、壁面サイン看板状に貼り付いた形態で遠近感をもって表示されることとなる。

なお、貼付ＡＲデータの対象物座標がその内に含まれる建物の建物データが存在しない場合には、図４ｂに示すように、仮想世界中に、垂直、かつ、走行中道路の水平方向の向きと平行な面であって、走行中道路の対象物座標よりの縁から水平方向に対象物座標側に僅かに離れた垂直な面を、仮想面４８０として想定し、想定した仮想面４８０を仮想建物として代用して、上述のように貼付ＡＲデータのＡＲタグの表示を行うようにしてもよい。ただし、この場合には、被写ＡＲタグ４３０のサイズは、予め定めたサイズとする。ここで、貼付ＡＲデータの対象物座標がその内に含まれる建物の建物データが存在する場合や、建物データが一切存在しない場合などにも、このような想定した仮想面４８０を仮想建物として代用して、貼付ＡＲデータのＡＲタグの表示を行うようにしてもよい
次に、以上のようにして貼付ＡＲデータのＡＲタグを表示したならば（ステップ３０６）、通常表示ＡＲデータのＡＲタグデータの内容を表すＡＲタグを、表示装置１０１の現在の表示上に、表示装置１０１に表示されているカメラ１０３の撮影映像中の当該通常表示ＡＲデータに対応する施設が写り込む位置に当該ＡＲタグを配置した形態で重畳表示する（ステップ３０８）。ここで、カメラ１０３の撮影映像中の貼付ＡＲデータに対応する施設が写り込む位置は、ナビゲーション部１０７が上述のように算出している現在位置と現在の前方方向とより算出される、当該通常表示ＡＲデータに登録されている対象物座標が写り込む撮影映像中の位置として算出する。

ここで、通常表示ＡＲデータのＡＲタグデータの内容を表すＡＲタグは、四角形の図形中にＡＲタグデータの内容（施設名）を表したものとする。
この結果、たとえば、図６ａ６０１、６０２に示すように、カメラ１０３の撮影画像が表す実空間の風景中に、通常表示ＡＲデータのＡＲタグが、通常表示ＡＲデータに対応する施設の重畳した形態で表示されることとなる。
次に、このようにして各表示ＡＲタグデータのＡＲタグを表示したならば（ステップ３０８）、ステップ３０２からの処理に戻る。
以上、ＡＲ表示部１０８が行うＡＲタグ表示処理について説明した。
このようなＡＲタグ表示処理によれば、図５ａ、ｂに示すように、現在走行している道路に面する施設についてのみ、施設の情報（ここでは、ＡＲタグデータが表す施設名）を表すＡＲタグ５０１-５０６が、カメラ１０３が撮影した実空間上の風景上に重畳表示される。また、自車から所定距離（たとえば、50ｍ）より遠い位置にある施設のＡＲタグは、図中の、施設名「ＢＢＢ」のＡＲタグ５０１、施設名「ＣＣＣ」のＡＲタグ５０２、施設名「ＤＤＤ」のＡＲタグ５０３、施設名「ＥＥＥ」のＡＲタグ５０４、施設名「ＦＦＦ」のＡＲタグ５０５、施設名「ＧＧＧ」のＡＲタグ５０６のように、対応する施設の、現在走行している道路に面する面に貼り付いた形態で遠近感をもって表示される。

よって、ＡＲタグ同士が重なり合ってしまって各ＡＲタグの視認が困難となることや、ＡＲタグの表示によって実空間の風景、特に、自車前方の道路上のようすの視認性が劣化してしまうことを抑制することができる。
一方、図５に示した時点から、走行中道路を前方に進行して、施設名「ＢＢＢ」の施設と、施設名「ＣＣＣ」の施設とが自車から所定距離（たとえば、50ｍ）となった時点における表示装置１０１の表示を図６ａに示すように、自車から所定距離より近い位置にある施設のＡＲタグは、図中の施設名「ＢＢＢ」のＡＲタグ６０１、施設名「ＣＣＣ」のＡＲタグ６０２のように、所定サイズのＡＲタグが正面を向いた形態で表示される。

よって、自車に近い位置にある施設、すなわち、ユーザが情報を認識することが当該時点においてより重要であると推定される施設については、そのＡＲタグの視認性を、常に高く維持することができる。
なお、以上のＡＲタグ表示処理では、ステップ３０４で、無条件に表示ＡＲデータの全てを貼付ＡＲデータに設定するようにし、全ての表示ＡＲタグデータのＡＲタグを、対応する施設の、現在走行している道路に面する面に貼り付いた形態で表示するようにしてもよい。

以上、本発明の実施形態について説明した。
また、以上の実施形態におけるＡＲ表示部１０８は、さらに、以下のようにＡＲタグの表示を制御するようにしてもよい。
すなわち、ＡＲ表示部１０８において、図６ｂ１に示すように、表示装置１０１の表示上で、貼付ＡＲデータのＡＲタグの選択を操作部１０２を介してユーザから受け付け、選択を受け付けた貼付ＡＲデータのＡＲタグの表示を、図６ｂ２に示すように、通常表示ＡＲデータと同様の、所定サイズのＡＲタグが正面を向いた形態の表示に更新するようにしてもよい。ここで、このような処理は、たとえば、選択を受け付けた貼付ＡＲデータのＡＲデータを、以降のＡＲタグ表示処理のステップ３０４で無条件に通常表示ＡＲデータに設定することにより実現できる。なお、図示した例は、図６ｂ１に示す施設名「ＧＧＧ」のＡＲタグ５０６の選択に応答して、施設名「ＧＧＧ」のＡＲタグの表示が、図６ｂ２に示すように正面を向いた形態の施設名「ＧＧＧ」のＡＲタグ６１１の表示に更新されているようすを表している。

または、ＡＲ表示部１０８において、図６ｂ１に示すように、表示装置１０１の表示上で、貼付ＡＲデータのＡＲタグの選択を操作部１０２を介してユーザから受け付け、選択を受け付けた貼付ＡＲデータのＡＲタグの内容（ＡＲタグデータの内容）を、図６ｂ３に示すように、別途、表示装置１０１の表示画面上に設けた情報表示ウインドウ６２１中に表示するようにしてもよい。なお、図示した例は、図６ｂ１に示す施設名「ＧＧＧ」のＡＲタグ５０６の選択に応答して、図６ｂ３に示すように、表示装置１０１の表示画面の上部に情報表示ウインドウ６２１を設け、情報表示ウインドウ６２１内にＡＲタグ５０６の内容である施設名「ＧＧＧ」を表示したようすを表している。

また、ＡＲ表示部１０８において、車両状態センサ１０５が自車の停車中を検出している期間中、または、操作部１０２を介してユーザから全ＡＲタグ通常表示が指示されたときに、表示している全てのＡＲタグの表示を、図７ａに示すように、所定サイズのＡＲタグが正面を向いた形態の表示に更新するようにしてもよい。ここで、このような処理は、たとえば、以降のＡＲタグ表示処理のステップ３０４で、無条件に表示ＡＲデータの全てを通常表示ＡＲデータに設定することにより実現できる。

また、この際に、図７ｂに示すようにＡＲタグを半透明に表示し、ユーザのＡＲタグの操作部１０２を介した選択操作に応じて、図７ｃに示すように、選択されたＡＲタグの表示位置を表示装置１０１の表示画面の左右方向の中央部に、ＡＲタグの透明度を低下させながら移動するようにしてもよい。なお、図示した例は、図７ｂに示す施設名「ＧＧＧ」のＡＲタグ７０１の選択に応答して、図７ｃに示すように、施設名「ＧＧＧ」のＡＲタグ７０１が透明度を低下しながら、表示画面の左右方向の中央部に移動するようすを表している。

また、ＡＲ表示部１０８において、図８ａ-ｄに示すように、貼付ＡＲデータのＡＲタグを一定期間（たとえば、３秒）ずつ順番に循環的に選択するとともに、選択しているＡＲタグを強調表示しつつ、選択しているＡＲタグの内容（ＡＲタグデータの内容）を、別途、表示装置１０１の表示画面上に設けた情報表示ウインドウ８１０中に表示するようにしてもよい。

なお、図８ａは、移設名「ＢＢＢ」のＡＲタグ５０１が選択されている期間の表示を表しており、この期間中には移設名「ＢＢＢ」のＡＲタグ５０１が強調表示されると共に、表示装置１０１の表示画面の上部に設けた情報表示ウインドウ８１０中にＡＲタグ５０１の内容である施設名「ＢＢＢ」が表示される。また、図８ｂは、移設名「ＧＧＧ」のＡＲタグ５０６が選択されている期間の表示を表しており、この期間中には移設名「ＧＧＧ」のＡＲタグ５０６が強調表示されると共に、表示装置１０１の表示画面の上部に設けた情報表示ウインドウ８１０中にＡＲタグ５０６の内容である施設名「ＧＧＧ」が表示される。また、以下同様に、図８ｃは、移設名「ＣＣＣ」のＡＲタグ５０２が選択されている期間の表示を表しており、図８ｄは、移設名「ＤＤＤ」のＡＲタグ５０３が選択されている期間の表示を表している。

また、ＡＲ表示部１０８において、図９ａ-ｄに示すように、貼付ＡＲデータのＡＲタグを一定期間（たとえば、３秒）ずつ順番に循環的に選択するとともに、選択しているＡＲタグを、通常表示ＡＲデータと同様の、所定サイズのＡＲタグが正面を向いた形態の表示に更新するようにしてもよい。ここで、このような処理は、たとえば、選択しているＡＲタグのＡＲデータをＡＲタグ表示処理のステップ３０４で無条件に通常表示ＡＲデータに設定することにより実現できる。

なお、図９ａは、図５ａの移設名「ＢＢＢ」のＡＲタグ５０１が選択されている期間の表示を表しており、この期間中には移設名「ＢＢＢ」のＡＲタグの表示が、正面を向いた形態のＡＲタグ９１１の表示に変化している。また、図９ｂは、図５ａの移設名「ＧＧＧ」のＡＲタグ５０６が選択されている期間の表示を表しており、この期間中には移設名「ＧＧＧ」のＡＲタグの表示が、正面を向いた形態のＡＲタグ９１２の表示に変化している。また、以下同様に、図９ｃは、図５ａの移設名「ＣＣＣ」のＡＲタグ５０２が選択されている期間の表示を表しており、図９ｄは、図５ａの移設名「ＤＤＤ」のＡＲタグ５０３が選択されている期間の表示を表している。

また、ＡＲ表示部１０８において、対象物座標が重複する表示ＡＲデータについては、これらのＡＲタグをグループ化し、図１０ａの１０１０に示すように、グループ内のＡＲタグを、少しずつ位置をずらして重ねて表示するようにしてもよい。また、この場合、ＡＲタグデータに登録されている生成日時の順に、より生成日時が新たらしいものが上となるように、各表示ＡＲデータのＡＲタグ重ねて表示するようにする。

そして、図１０ｂに示すように、ユーザの操作部１０２を介したＡＲタグのグループ１０１０の選択を受け付け、選択されたグループの表示を、図１０ｃに示すように、所定サイズの正面を向いたＡＲタグが少しずつ位置をずらして重なった形態のグループ１０２０の表示に更新するようにする。

また、図１０ｃに示すグループ１０２０の表示において、最前面に配置されているＡＲタグ以外のＡＲタグが選択されたならば、図１０ｄに示すように選択されたＡＲタグを最前面に表示するようにする。
ところで、以上の実施形態では、カメラ１０３で撮影した実空間の風景の映像上にＡＲタグを表示する場合について説明したが、本実施形態は、ヘッドアップディスプレイを用いて、ＡＲタグデータを実空間の風景上に直接重畳表示する場合についても同様に適用することができる。

すなわち、この場合には、図１ｃに示すように、車載システム１に、運転者の目前に配置された透明スクリーン１０１１と、透明スクリーン１０１１に画像を投影する投影ユニット１０１２とより構成されたヘッドアップディスプレイを設ける。ここで、このようなヘッドアップディスプレイは、投影ユニット１０１２より投影した画像が、透明スクリーン１０１１によって反射されて、透明スクリーン越しに見える自動車前方の実空間の風景に重畳した形態で、運転者に視認されるように構成されている。なお、透明スクリーン１０１１としてはフロントウインドウシールドに組み込まれたウインドシールドディスプレイを用いるようにすることもできる。

そして、ＡＲタグ表示処理では、以上のように表示した各ＡＲタグを、表示装置１０１に代えてヘッドアップディスプレイに表示する。各ＡＲタグを表示する位置は、以上の実施形態においてカメラ撮影映像中の当該ＡＲタグが重なる位置に写り込む地点に、運転者から見て重なる透明ディスプレイ１０１１上の位置とする。
ここで、以上の実施形態では、車載システムへの適用を例にとり説明したが、以上のＡＲタグの表示の技術は、ＡＲタグを実空間の風景を撮影した映像、もしくは実空間の風景上に重畳表示する任意の装置に同様に適用することができる。すなわち、たとえば、以上のＡＲタグの表示の技術は、カメラと表示装置を備えたスマートフォンなどの携帯型装置に同様に適用することができる。

１…車載システム、３…ＷＡＮ、４…ＡＲサーバ、１０１…表示装置、１０２…操作部、１０３…カメラ、１０４…ＧＰＳ受信機、１０５…車両状態センサ、１０６…制御部、１０７…ナビゲーション部、１０８…ＡＲ表示部、１０９…記憶装置、１１０…外部インタフェース。

Claims (17)

1. 実空間の風景を撮影するカメラと、前記カメラが撮影した画像である撮影画像を表示するディスプレイとを備えた拡張現実システムであって、
   当該拡張現実システムが現在位置する道路を対象道路として算出する道路算出部と、
   前記カメラが撮影する実空間の範囲である視界範囲に含まれる施設であって、前記対象道路に面する施設を表示対象施設として抽出する表示対象施設抽出部と、
   前記表示対象施設抽出部が算出した表示対象施設の情報を、前記ディスプレイに表示されている前記撮影画像上に重畳して表示する拡張現実情報表示部とを有し、
   当該拡張現実情報表示部は、前記表示対象施設の情報を、前記ディスプレイの表示が、当該情報が当該表示対象施設の前記対象道路に面する面に貼り付いているようすを模擬する表示となる形態である第１形態で表示することを特徴とする拡張現実システム。
2. 請求項１記載の拡張現実システムであって、
   前記拡張現実情報表示部は、前記表示対象施設のうち、当該拡張現実システムに所定レベル以内に接近している表示対象施設については、当該表示対象施設の情報を、前記第１形態で表示せずに、当該表示対象施設が現れる前記撮影画像上の位置に当該情報を正面を向けて表す第２形態で表示することを特徴とする拡張現実システム。
3. 請求項１記載の拡張現実システムであって、
   当該拡張現実システムは自動車に搭載されており、
   前記拡張現実情報表示部は、前記自動車が走行していない期間中には、前記第１形態で表示している前記情報の全ての表示を、当該情報に対応する前記表示対象施設が現れる前記撮影画像上の位置に当該情報を正面を向けて表す第２形態の表示に切り替えることを特徴とする拡張現実システム。
4. 請求項１記載の拡張現実システムであって、
   前記拡張現実情報表示部は、前記第１形態で表示している各前記情報を順次所定期間ずつ対象情報に設定し、前記対象情報に設定されている前記情報の表示を、当該情報が前記対象情報に設定されている期間中だけ、当該情報に対応する前記表示対象施設が現れる前記撮影画像上の位置に当該情報を正面を向けて表す第２形態の表示に切り替えることを特徴とする拡張現実システム。
5. 請求項１記載の拡張現実システムであって、
   前記拡張現実情報表示部は、前記第１形態で表示している各前記情報を順次所定期間ずつ対象情報に設定し、前記第１形態で表示している情報のうちの前記対象情報に設定されている情報の表示を強調すると共に、当該第１形態で表示している情報の表示とは別に、当該対象情報に設定されている情報を前記ディスプレイの表示面の所定のエリアに表示することを特徴とする拡張現実システム。
6. 請求項１記載の拡張現実システムであって、
   前記拡張現実情報表示部は、前記第１形態で表示している前記情報の選択をユーザから受け付け、選択を受け付けた前記情報の表示を、当該情報に対応する前記表示対象施設が現れる前記撮影画像上の位置に当該情報を正面を向けて表す第２形態の表示に切り替えることを特徴とする拡張現実システム。
7. 請求項１記載の拡張現実システムであって、
   前記拡張現実情報表示部は、前記第１形態で表示している前記情報の選択をユーザから受け付け、選択を受け付けた情報を、前記第１形態で表示している当該情報の表示とは別に、前記ディスプレイの表示面の所定のエリアに表示することを特徴とする拡張現実システム。
8. 請求項１記載の拡張現実システムであって、
   前記拡張現実情報表示部は、ユーザの表示切り替え操作に応答して、前記第１形態で表示している前記情報の全ての表示を、当該情報に対応する前記表示対象施設が現れる前記撮影画像上の位置に当該情報を正面を向けて表す第２形態の表示に切り替えることを特徴とする拡張現実システム。
9. 実空間の風景上に映像を重畳表示するヘッドアップディスプレイを備えた拡張現実システムであって、
   当該拡張現実システムが現在位置する道路を対象道路として算出する道路算出部と、
   前記ヘッドアップディスプレイが映像を風景上に重畳表示可能な実空間の範囲である視界範囲に含まれる施設であって、前記対象道路に面する施設を表示対象施設として抽出する表示対象施設抽出部と、
   前記表示対象施設抽出部が算出した表示対象施設の情報を、前記ヘッドアップディスプレイに表示する拡張現実情報表示部とを有し、
   当該拡張現実情報表示部は、前記表示対象施設の情報を、前記実空間の風景上で、当該情報が当該表示対象施設の前記対象道路に面する面に貼り付いているようすを模擬する形態である第１形態で表示することを特徴とする拡張現実システム。
10. 請求項９記載の拡張現実システムであって、
    前記拡張現実情報表示部は、前記表示対象施設のうち、当該拡張現実システムに所定レベル以内に接近している表示対象施設については、当該表示対象施設の情報を前記第１形態で表示せずに、当該表示対象施設に重なる位置に当該情報を正面を向けて表す第２形態で表示することを特徴とする拡張現実システム。
11. 請求項９記載の拡張現実システムであって、
    当該拡張現実システムは自動車に搭載されており、
    前記拡張現実情報表示部は、前記自動車が走行していない期間中には、前記第１形態で表示している前記情報の全ての表示を、当該情報に対応する前記表示対象施設に重なる位置に当該情報を正面を向けて表す第２形態の表示に切り替えることを特徴とする拡張現実システム。
12. 実空間の風景を撮影するカメラと、前記カメラが撮影した画像である撮影画像を表示するディスプレイを備えた拡張現実システムを構成するコンピュータによって読み取られ実行されるコンピュータプログラムであって、
    当該コンピュータプログラムは、前記コンピュータに、
    当該拡張現実システムが現在位置する道路を対象道路として算出する道路算出部と、
    前記カメラが撮影する実空間の範囲である視界範囲に含まれる施設であって、前記対象道路に面する施設を表示対象施設として抽出する表示対象施設抽出ステップと、
    前記表示対象施設の情報を、前記ディスプレイに表示されている前記撮影画像上に重畳して表示する拡張現実情報表示ステップとを実行させ、
    当該拡張現実情報表示ステップにおいて、前記表示対象施設の情報を、前記ディスプレイの表示が、当該情報が当該表示対象施設の前記対象道路に面する面に貼り付いているようすを模擬する表示となる形態である第１形態で表示することを特徴とするコンピュータプログラム。
13. 請求項１２記載のコンピュータプログラムであって、
    前記拡張現実情報表示ステップにおいて、前記表示対象施設のうち、当該コンピュータに所定レベル以内に接近している表示対象施設については、当該表示対象施設の情報を前記第１形態で表示せずに、当該表示対象施設が現れる前記撮影画像上の位置に当該情報を正面を向けて表す第２形態で表示することを特徴とするコンピュータプログラム。
14. 請求項１２記載のコンピュータプログラムであって、
    前記コンピュータは自動車に搭載されており、
    前記拡張現実情報表示ステップにおいて、前記自動車が走行していない期間中には、前記第１形態で表示している前記情報の全ての表示を、当該情報に対応する前記表示対象施設が現れる前記撮影画像上の位置に当該情報を正面を向けて表す第２形態の表示に切り替えることを特徴とするコンピュータプログラム。
15. 実空間の風景上に映像を重畳表示するヘッドアップディスプレイを備えた拡張現実システムを構成するコンピュータによって読み取られ実行されるコンピュータプログラムであって、
    当該コンピュータプログラムは、前記コンピュータに、
    当該拡張現実システムが現在位置する道路を対象道路として算出する道路算出部と、
    前記ヘッドアップディスプレイが映像を風景上に重畳表示可能な実空間の範囲である視界範囲に含まれる施設であって、前記対象道路に面する施設を表示対象施設として抽出する表示対象施設抽出ステップと、
    前記表示対象施設の情報を、前記ヘッドアップディスプレイに表示する拡張現実情報表示ステップとを実行させ、
    当該拡張現実情報表示ステップにおいて、前記表示対象施設の情報を、前記実空間の風景上で、当該情報が当該表示対象施設の前記対象道路に面する面に貼り付いているようすを模擬する形態である第１形態で表示することを特徴とするコンピュータプログラム。
16. 請求項１５記載のコンピュータプログラムであって、
    前記拡張現実情報表示ステップにおいて、前記表示対象施設のうち、当該コンピュータに所定レベル以内に接近している表示対象施設については、当該表示対象施設の情報を前記第１形態で表示せずに、当該表示対象施設に重なる位置に当該情報を正面を向けて表す第２形態で表示することを特徴とするコンピュータプログラム。
17. 請求項１５記載のコンピュータプログラムであって、
    前記コンピュータは自動車に搭載されており、
    前記拡張現実情報表示ステップにおいて、前記自動車が走行していない期間中には、前記第１形態で表示している前記情報の全ての表示を、当該情報に対応する前記表示対象施設に重なる位置に当該情報を正面を向けて表す第２形態の表示に切り替えることを特徴とするコンピュータプログラム。