JP5955662B2 - 拡張現実システム - Google Patents

Description

本発明は、拡張現実の技術に関するものである。

拡張現実（AR： Augmented Reality）の技術としては、カメラと表示装置とを備えた携帯電話端末において、表示装置に、カメラが撮影している実空間の風景を表す映像を表示すると共に、周辺の施設の情報を、前記映像上の当該施設に対応する位置に重畳表示する技術が知られている（たとえば、特許文献１）。

また、拡張現実の技術としては、自動車に搭載したヘッドアップディスプレイを用いて、周辺の施設の情報を、ユーザが見ている実空間の風景上の、当該施設に対応する位置に重畳表示する技術も知られている（たとえば、特許文献２）。

特開２０１０-２３９５６８号公報 特開２００９-０２００８９号公報

上述した拡張現実の技術によれば、カメラで撮影される実空間範囲や、ヘッドアップディスプレイを用いて情報を重畳表示することができる実空間範囲を情報表示範囲として、当該情報表示範囲に含まれる施設のみの情報が表示されることになる。
このため、カメラや自動車の位置や向きが変化している期間中には、情報表示範囲に含まれる施設が変化するために、短時間しか情報表示範囲内に留まらない施設が発生する。そして、このような施設については、その情報が短時間しか表示されないこととなり、ユーザの情報内容の認識に支障が生じる。

そこで、本発明は、実空間の風景もしくは当該風景を表す映像上に、当該風景に含まれる施設の情報を当該施設に対応する位置に配置して重畳表示する拡張現実システムにおいて、情報を重畳表示することのできる実空間範囲内に短時間しか留まらない施設についての情報の認識を容易化することを課題とする。

前記課題達成のために、本発明は、実空間の風景上に映像を重畳表示するヘッドアップディスプレイを備えた拡張現実システムに、施設に関係づけられた当該関係づけられた施設の情報を表す拡張現実情報に基づいて、前記ヘッドアップディスプレイが映像を風景上に重畳表示可能な実空間の範囲である視界範囲に含まれる施設に関係づけられた拡張現実情報が表す情報を、当該拡張現実情報が関係づけられた施設に重なる位置である表示基準位置に関連づけた形態で前記ヘッドアップディスプレイに表示する視界範囲内施設情報表示手段と、前記視界範囲内施設情報表示手段が過去所定期間内に情報の表示を開始した拡張現実情報に関係づけられた施設であって、前記視界範囲内に含まれない施設について、当該施設に関係づけられた拡張現実情報が表す情報を、前記ヘッドアップディスプレイの表示画面外の位置を吹き出し元とする吹き出し図形の当該表示画面内の部分を表す図形内に表した形態で前記ヘッドアップディスプレイに表示する視界範囲外施設情報表示手段とを備えたものである。

また、本発明は、前記課題達成のために、実空間の風景を撮影するカメラと、前記カメラが撮影した画像である撮影画像を表示するディスプレイを備えた拡張現実システムに、施設に関係づけられた当該関係づけられた施設の情報を表す拡張現実情報に基づいて、前記カメラが撮影する実空間の範囲である視界範囲に含まれる施設に関係づけられた拡張現実情報が表す情報を、当該拡張現実情報が関係づけられた施設に対応する撮影画像上の位置である表示基準位置に関連づけた形態で、前記ディスプレイに表示されている前記撮影画像上に重畳して表示する視界範囲内施設情報表示手段と、前記視界範囲内施設情報表示手段が過去所定期間内に情報の表示を開始した拡張現実情報に関係づけられた施設であって、前記視界範囲内に含まれない施設について、当該施設に関係づけられた拡張現実情報が表す情報を、前記ディスプレイの表示画面外の位置を吹き出し元とする吹き出し図形の当該表示画面内の部分を表す図形内に表した形態で、前記ディスプレイに表示されている前記撮影画像上に重畳して表示する視界範囲外施設情報表示手段とを備えたものである。

ここで、このような拡張現実システムは、前記視界範囲外施設情報表示手段において、前記視界範囲内施設情報表示手段が過去所定期間内に情報の表示を開始した拡張現実情報に関係づけられた施設であって、前記視界範囲内に含まれない施設が前記視界範囲から逸脱していった左右方向を逸脱方向として、当該施設に関係づけられた拡張現実情報が表す情報を、前記表示画面外の当該施設の前記逸脱方向側の位置を吹き出し元とする吹き出し図形の当該表示画面内の部分を表す図形内に表した形態で表示するように構成してもよい。

また、このような拡張現実システムは、前記視界範囲内施設情報表示手段において、前記情報を前記表示基準位置を吹き出し元とする吹き出し図形内に配置した形態で表示するように構成してもよい。
なお、このような拡張現実システムは自動車に搭載されたシステムであって良く、この場合には、前記視界範囲は、前記自動車前方の範囲としてよい。
これらのような拡張現実システムによれば、情報を風景またはその映像上に重畳表示できる実空間の範囲である視界範囲に短時間しか留まらない施設であっても、所定期間は必ず、その情報が表示されることを担保することができる。また、視界範囲外の施設の情報については、表示画面外の位置を吹き出し元とする吹き出し図形の当該表示画面内の部分を表す図形内に表した形態で表示することにより当該情報が視界範囲外の施設についての情報であることを、ユーザが直感的に把握できるようにすることができる。

以上のように、本発明によれば、実空間の風景もしくは当該風景を表す映像上に、当該風景に含まれる施設の情報を当該施設に対応する位置に配置して重畳表示する拡張現実システムにおいて、情報を重畳表示することのできる実空間範囲内に短時間しか留まらない施設についての情報の認識を容易化することができる。

本発明の実施形態に係る車載システムの構成を示すブロック図である。 本発明の実施形態に係る車載システムの記憶装置の記憶内容を示す図である。 本発明の実施形態に係るＡＲタグ表示処理を示すフローチャートである。 本発明の実施形態に係るＡＲタグ表示処理の処理例を示す図である。 本発明の実施形態に係るＡＲタグ表示処理の処理例を示す図である。 本発明の実施形態に係るＡＲタグ表示処理の処理例を示す図である。

以下、本発明の実施形態について説明する。
図１ａに本実施形態に係る車載システムの構成を示す。
車載システムは、自動車に搭載されるシステムであり、図示するように、車載システム１は、ヘッドアップディスプレイ（HUD)１０１、操作部１０２、自動車の前方の風景を撮影するカメラ１０３、ＧＰＳ受信機１０４、自動車の車速や角速度を計測する車両状態センサ１０５、制御部１０６、ナビゲーション部１０７、ＡＲ表示部１０８、記憶装置１０９、スマートフォンなどの外部装置を無線または有線で接続するための外部インタフェース１１０とを備えている。

ただし、車載システム１は、ハードウエア的には、マイクロプロセッサや、メモリや、その他の周辺デバイスを有する一般的な構成を備えたコンピュータを用いて構成してよく、この場合、以上に示した車載システム１の各部、または、その一部は、マイクロプロセッサが予め用意されたプログラムを実行することにより具現化するプロセスとして実現されるものであって良い。また、この場合、このようなプログラムは、記録媒体や適当な通信路を介して、車載システム１に提供されるものであって良い。

ここで、車載システム１のヘッドアップディスプレイ１０１は、図１ｂに示すように、運転者の目前に配置された透明スクリーン１０１１と、透明スクリーン１０１１に画像を投影する投影ユニット１０１２とより構成され、投影ユニット１０１２より投影した画像が、透明スクリーン１０１１によって反射されて、透明スクリーン越しに見える自動車前方の実空間の風景に重畳した形態で、運転者に視認されるように構成されている。なお、透明スクリーン１０１１としてはフロントウインドウシールドに組み込まれたウインドシールドディスプレイを用いるようにすることもできる。

次に、車載システム１のカメラ１０３は、自動車前部に搭載され、自動車前方の風景を撮影するカメラ１０３である。
また、このような車載システム１には、外部インタフェース１１０を用いてスマートフォン２などを接続することができる。
次に、車載システム１の記憶装置１０９の記憶内容について説明する。
図２に示すように、記憶装置１０９には、地図データ、ＡＲデータベース、表示候補ＡＲデータテーブルが格納される。
ここで、地図データは、道路地図を表すデータであり予め記憶装置１０９に記憶される。
また、ＡＲデータベースは、施設の情報を表すＡＲデータを蓄積したものであり、各ＡＲデータは、ＡＲデータの識別子であるＡＲデータ識別子、ＡＲデータが情報を表す施設の種別を示す情報種別、ＡＲデータが情報を表す施設の実空間上の位置を表す対象物座標、拡張現実のためにカメラ１０３が撮影した映像上に表すＡＲタグの内容を表すＡＲタグデータ、ＡＲデータが情報を表す施設についての詳細な情報である詳細情報とを有する。ここで、本実施形態では、一例として、ＡＲタグとしてＡＲデータが情報を表す施設の施設名を用いる場合について示す。ただし、ＡＲタグとしては、施設の種別を示す図形であるアイコン/ランドマークなどを用いるようにすることもできる。

ここで、ＡＲデータベースの各ＡＲデータは、予め記憶装置１０９に記憶されたものであってもよいが、ＡＲ表示部１０８が、車載システム１に接続されたスマートフォン２を介して、移動体通信網を含むＷＡＮ３上のＡＲサーバ４より取得して記憶装置１０９に格納したものであってもよい。

次に、表示候補ＡＲデータテーブルは、後述する表示候補ＡＲデータに設定されたＡＲデータを管理するためのテーブルであり、表示候補ＡＲデータ毎に対応して設けたエントリ（図の各行）を有する。そして、各エントリには対応する表示候補ＡＲデータのＡＲデータ識別子、表示開始時刻、対象物位置、逸脱予想方向を登録することができる。

さて、このような構成において、車載システム１のナビゲーション部１０７は、記憶装置１０９に記録されている地図データを用いて、ＧＰＳ受信機１０４や車両状態センサ１０５を利用した、自車の現在位置や自車の現在の前方方向の算出や、ユーザからの目的地の設定の受け付けや、設定された目的地までのルートの探索や、現在位置周辺の地図上に現在位置や現在の前方方向を表すマークや目的地までのルートを表したナビゲーション画像の生成などを行う。

一方、ＡＲ表示部１０８は、ＡＲタグ表示処理を実行しＡＲタグをヘッドアップディスプレイ１０１を用いて表示する。
図３に、このＡＲタグ表示処理を示す。
図示するように、この処理では、まず、ナビゲーション部１０７が上述のように算出している現在位置と現在の前方方向とより、運転者がヘッドアップディスプレイ１０１の透明スクリーン１０１１越しに見ることのできる実空間の範囲を視界範囲として算出する（ステップ３０２）。

そして、算出した視界範囲内に含まれる対象物座標が登録されているＡＲデータを視界範囲内ＡＲデータとして抽出する（ステップ３０４）。
次に、対応するＡＲデータ識別子が登録されているエントリが表示候補ＡＲデータテーブルに存在するＡＲデータである表示候補ＡＲデータのうち、ステップ３０４で視界範囲内ＡＲデータとして抽出されておらず、表示候補ＡＲデータテーブルの対応するエントリに登録されている表示開始時刻が過去Ｔ秒（たとえば、４秒）以内の表示候補ＡＲデータを視界範囲外ＡＲデータとして抽出する（ステップ３０６）。ここで、初期状態において表示候補ＡＲデータに設定されているＡＲデータは無い。

次に、視界範囲内ＡＲデータの各々について、当該視界範囲内ＡＲデータのＡＲタグデータの内容を、ナビゲーション部１０７が上述のように算出している現在位置と現在の前方方向とより算出される、当該ＡＲデータに登録されている対象物座標に、運転者から見て重なる透明スクリーン１０１１上の位置を表示基準位置として、表示基準位置からの吹き出しの形態で、ヘッドアップディスプレイ１０１に表示する（ステップ３０８）。

ここで、ステップ３０８では、図４ａに示すような、おおよそ四角形の本体部４０１と、クチバシ状に本体部４０１から突出した三角形状を有するクチバシ部４０２と、よりなる吹き出し図形４００を吹き出しとして用い、図４ｃ４１１-４１４、図４ｄ４２１、４２２に示すように、ＡＲタグデータの内容を本体部４０１の内側に表した状態で、クチバシ部４０２の先端が表示基準位置となるように透明スクリーン１０１１上に吹き出し図形４００の全体を表示する。なお、図４ｃ、ｄは、視界範囲、すなわち、運転者がヘッドアップディスプレイ１０１の透明スクリーン１０１１越しに見ることのできる実空間の範囲の当該運転者が見る風景５００と、当該風景５００上に重畳表示される透明スクリーン１０１１の表示内容とを表したものである。

図３に戻り、次に、視覚範囲外ＡＲデータの各々について、当該視界範囲外ＡＲデータのＡＲタグデータの内容を、透明スクリーン１０１１外の、表示候補ＡＲデータテーブルの当該視界範囲外ＡＲデータのエントリに登録されている逸脱予測方向側の位置を吹き出し元として示す吹き出しの形態で、ヘッドアップディスプレイ１０１に表示する（ステップ３１０）。

ここで、ステップ３１０では、図４ｂに示すような、図４ａに示した吹き出し図形４００の、クチバシ部４０２の先端を欠いた形状を有する部分吹き出し図形４５０を、吹き出しとして用いる。すなわち、部分吹き出し図形４５０としては、おおよそ四角形の本体部４５１と、クチバシ状に本体部４５１から突出した三角形状の先端部分を欠いた形状を有する欠損クチバシ部４５２とよりなる部分図形４５０を用いる。

そして、部分吹き出し図形４５０を、あたかも、透明スクリーン１０１１外の逸脱予測方向側の位置をクチバシ部４５２の先端とする吹き出しの、透明スクリーン１０１１上の部分だけが表示されているかのように透明スクリーン１０１１上に表示する。なお、部分吹き出し図形４５０の本体部４５１の内側にＡＲタグデータの内容を表す。すなわち、逸脱予測方向が左側であれば、図４ｄ４２３に示すように欠損クチバシ部４５２の先端が本体部４５１よりも左側に位置するように作成した部分吹き出し図形４５０を表示スクリーンの左辺と左揃えして表示スクリーン上に配置し、逸脱予測方向が右側であれば、図４ｄ４２４に示すように欠損クチバシ部４５２の先端が本体部４５１よりも右側に位置するように作成した部分吹き出し図形４５０を表示スクリーンの右辺の右揃えして表示スクリーン上に配置する。

さて、図３に戻り、次に、視界範囲内ＡＲデータとなっているＡＲデータのうち、表示候補ＡＲデータとなっていないＡＲデータを、表示候補ＡＲデータに設定し、表示開始時刻と共に表示候補ＡＲデータテーブルに登録する（ステップ３１２）。
すなわち、ここでは、視界範囲内ＡＲデータとなっているＡＲデータのうち、表示候補ＡＲデータとなっていないＡＲデータの各々に対応するエントリを表示候補ＡＲデータテーブルに作成し、各エントリに対応するＡＲデータのＡＲデータ識別子を登録すると共に、現在時刻を表示開始時刻として登録する。

そして、視界範囲内ＡＲデータとなっている表示候補ＡＲデータの、表示候補ＡＲデータテーブルのエントリの対象物位置と、逸脱予測方向を更新する（ステップ３１４）。
当該更新においては、当該更新前に当該表示候補ＡＲデータテーブルのエントリに登録されていた対象物位置よりも、今回、当該表示候補ＡＲデータについて求めた表示基準位置が、左側にあれば逸脱予測方向を左に更新し、右側にあれば逸脱予測方向を右に更新することにより行う。また、当該更新においては、今回、当該表示候補ＡＲデータについて求めた表示基準位置に、対象物位置を更新する。

ただし、逸脱予測方向の更新は、今回、当該表示候補ＡＲデータについて求めた表示基準位置が透明スクリーン１０１１の左側半分内の位置であれば左に更新し、右半分内の位置であれば右に更新することにより行うようにしてもよい。なお、左右は、運転者から見たときの左右である。

そして、視界範囲内ＡＲデータ、視界範囲外ＡＲデータの設定をリセットし（ステップ３１６）、ステップ３０２からの処理に戻る。
以上、ＡＲタグ表示処理について説明した。
以下、このようなＡＲタグ表示処理の処理例について示す。
いま、図４ｅに示すように、自動車が地点４６１から地点４６２に直進して進んだものとする。
そして、地点４６１では、視界範囲、すなわち、運転者がヘッドアップディスプレイ１０１の透明スクリーン１０１１越しに見ることのできる実空間の範囲内に位置するＡＲデータが設定された施設としてＡビル、Ｂビル、Ｃビル、Ｄビルが存在するものとする。
この場合、図４ｃに示すように、実空間の風景中のＡビル、Ｂビル、Ｃビル、Ｄビルの位置から吹き出す吹き出し図形４１１-４１４が、実空間の風景上に重畳表示され、各吹き出し図形４１１-４１４中に、Ａビル、Ｂビル、Ｃビル、Ｄビルの施設名称（ＡＲタグデータの内容）が表示される。ここで、このようなＡビル、Ｃビルの施設名称の表示開始からＴ秒以内に自動車は地点４６２に進んだものとする。

また、地点４６２では、自動車の通過に伴ってＡビル、Ｃビルが視界範囲から逸脱し、視界範囲内に位置するＡＲデータが設定された施設としてＢビル、Ｄビルのみが残ったものとする。
この場合、図４ｄに示すように、実空間の風景中のＢビル、Ｄビルの位置から吹き出す吹き出し図形４２１-４２２が、実空間の風景上に重畳表示され、各吹き出し図形４２１-４２２内に、Ｂビル、Ｄビルの施設名称（ＡＲタグデータの内容）が表示される。
また、視界範囲から逸脱したＡビル、Ｃビルの施設名称は、過去Ｔ秒内に表示を開始したものであるので、部分吹き出し図形４２３-４２４が、あたかも、透明スクリーン１０１１外の位置をクチバシの先端とする吹き出しの、透明スクリーン１０１１上の部分だけが表示されているかのように表示され、各部分吹き出し図形４２３-４２４内にＡビル、Ｃビルの施設名称が表示される。ここで、Ａビルは左方向に視界範囲から逸脱しているので、透明スクリーン１０１１外の逸脱予測方向側の位置をクチバシの先端とする吹き出しの透明スクリーン１０１１上の部分だけが表示されているかのようにＡビルの部分吹き出し図形４２３は配置され、ｃビルは右方向に視界範囲から逸脱しているので、透明スクリーン１０１１外の逸脱予測方向側の位置をクチバシの先端とする吹き出しの透明スクリーン１０１１上の部分だけが表示されているかのようにＣビルの部分吹き出し図形４２４は配置される。

次に、図５ａに示すように、自動車が地点５０１から地点５０２に右折して進んだものとする。
そして、地点５０１では、視界範囲内に位置するＡＲデータが設定された施設としてＡビル、Ｃビルが存在するものとする。
この場合、図５ｂに示すように、実空間の風景中のＡビル、Ｃビルの位置から吹き出す吹き出し図形５１１-５１２が、実空間の風景上に重畳表示され、各吹き出し図形５１１-５１２中に、Ａビル、Ｃビルの施設名称（ＡＲタグデータの内容）が表示される。ここで、このようなＡビル、Ｃビルの施設名称の表示開始からＴ秒以内に自動車は地点５０２に進んだものとする。

また、地点５０２では、自動車の右折による方向転換に伴ってＡビル、Ｃビルが視界範囲から逸脱し、視界範囲内に位置するＡＲデータが設定された施設としてＥビル、Ｆビルが発生しているものとする。
この場合、図５ｃに示すように、実空間の風景中のＥビル、Ｆビルの位置から吹き出す吹き出し図形５１３-５１４が、実空間の風景上に重畳表示され、各吹き出し図形５１３-５１４内に、Ｅビル、Ｆビルの施設名称（ＡＲタグデータの内容）が表示される。
また、視界範囲から逸脱したＡビル、Ｃビルの施設名称は、過去Ｔ秒内に表示を開始しているので、部分吹き出し図形５１５-５１６が、あたかも、透明スクリーン１０１１外の位置をクチバシの先端とする吹き出しの、透明スクリーン１０１１上の部分だけが表示されているかのように表示され、各部分吹き出し図形５１５-５１６内にＡビル、Ｃビルの施設名称が表示される。ここで、Ａビル、Ｃビル共に、自動車の方向転換に伴って左方向に視界範囲から逸脱しているので、透明スクリーン１０１１外の逸脱予測方向側の位置をクチバシの先端とする吹き出しの透明スクリーン１０１１上の部分だけが表示されているかのようにＡビル、Ｃビルの部分吹き出し図形５１５-５１６は配置される。

以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、ヘッドアップディスプレイ１０１を用いて、ＡＲタグデータを実空間の風景上に直接重畳表示する場合について説明したが、本実施形態は、カメラ１０３で撮影した実空間の風景の映像上に、ＡＲタグデータを畳表示する場合についても同様に適用することができる。

すなわち、この場合には、ヘッドアップディスプレイ１０１に代えて液晶表示装置などのディスプレイを設けて、ディスプレイにカメラ１０３で撮影した映像を表示する。また、上述したＡＲタグ表示処理を、視界範囲をカメラ１０３で撮影される実空間の範囲とし、表示基準位置を、カメラ１０３が撮影した映像中において、ＡＲデータに登録されている対象物座標が写りこむ位置として適用する。また、ステップ３１０では、視界範囲外ＡＲデータのＡＲタグデータの内容を、ディスプレイの表示面外の、表示候補ＡＲデータテーブルの当該視界範囲外ＡＲデータのエントリに登録されている逸脱予測方向側の位置を吹き出し元として示す吹き出しの形態でディスプレイに表示する。

このようにすることにより、図６ａ、ｂに、図５ｂ、ｃに示した場合と同様に自動車が進行した場合のディスプレイの表示を示すように、ヘッドアップディスプレイ１０１を用いた場合と同様の表示を、実空間の風景をカメラ撮影画像６００に置き換えた形態で行うことができる。なお、図６ａは図５ａ地点５０１におけるディスプレイの表示、図６ｂは図５ａ地点５０２における表示である。

また、以上の実施形態は車載システム１への適用を例にとり示したが、本実施形態は、車載システム１以外の、実空間の風景もしくは当該風景表す映像上に、当該風景に含まれる施設の情報を当該施設に対応する位置に配置して重畳表示する任意の拡張現実システムに同様に適用することができる。すなわち、たとえば、カメラ１０３と表示装置とを備え、表示装置に、カメラ１０３が撮影している実空間の風景を表す映像を表示すると共に、当該映像上に、周辺の施設の情報を、前記映像内の当該施設に対応する位置に重畳表示するスマートフォン２などの携帯型の装置などに同様に適用することができる。

なお、以上の実施形態においてＡＲ表示部１０８は、表示されたＡＲ画像上でＡＲタグのユーザの選択が発生したならば、選択されたＡＲタグのＡＲデータに登録されている詳細情報を表示する処理なども行うようにしてよい。
以上のように、本実施形態によれば、ＡＲタグデータの内容を風景上に重畳表示できる実空間の範囲である視界範囲に短時間しか留まらない施設であっても、所定期間は必ず、ＡＲタグデータの内容は表示されることを担保することができる。また、視界範囲外の施設のＡＲタグデータの内容については、表示画面外の位置を吹き出し元とする吹き出しの当該表示画面内の部分を表す部分吹き出し図形４５０に表した形態で表示することにより、当該ＡＲタグデータの内容が視界範囲外の施設についての情報であることを、ユーザは直感的に把握できるようになる。また、この場合に、表示画面外の位置を逸脱方向側の位置とすることにより、当該情報が左右のどちら側にあった施設の情報であるかも、ユーザは直感的に把握できるようになる。

１…車載システム、２…スマートフォン、３…ＷＡＮ、４…ＡＲサーバ、１０１…ヘッドアップディスプレイ、１０２…操作部、１０３…カメラ、１０４…ＧＰＳ受信機、１０５…車両状態センサ、１０６…制御部、１０７…ナビゲーション部、１０８…ＡＲ表示部、１０９…記憶装置、１１０…外部インタフェース、１０１１…透明スクリーン、１０１２…投影ユニット。

Claims (5)

1. 実空間の風景上に映像を重畳表示するヘッドアップディスプレイを備えた拡張現実システムであって、
   施設に関係づけられた当該関係づけられた施設の情報を表す拡張現実情報に基づいて、前記ヘッドアップディスプレイが映像を風景上に重畳表示可能な実空間の範囲である視界範囲に含まれる施設に関係づけられた拡張現実情報が表す情報を、当該拡張現実情報が関係づけられた施設に重なる位置である表示基準位置に関連づけた形態で前記ヘッドアップディスプレイに表示する視界範囲内施設情報表示手段と、
   前記視界範囲内施設情報表示手段が過去の所定期間内に情報の表示を開始した拡張現実情報に関係づけられた、当該情報の表示を開始した時点で前記視界範囲に含まれていた施設であって、当該情報の表示を開始した後に前記視界範囲内に含まれなくなった施設について、当該情報の表示を開始した時点から前記所定期間が経過するまで、当該施設に関係づけられた拡張現実情報が表す情報を、前記ヘッドアップディスプレイの表示画面外の位置を吹き出し元とする吹き出し図形の当該表示画面内の部分を表す図形内に表した形態で前記ヘッドアップディスプレイに表示する視界範囲外施設情報表示手段とを有することを特徴とする拡張現実システム。
2. 実空間の風景を撮影するカメラと、前記カメラが撮影した画像である撮影画像を表示するディスプレイを備えた拡張現実システムであって、
   施設に関係づけられた当該関係づけられた施設の情報を表す拡張現実情報に基づいて、前記カメラが撮影する実空間の範囲である視界範囲に含まれる施設に関係づけられた拡張現実情報が表す情報を、当該拡張現実情報が関係づけられた施設に対応する撮影画像上の位置である表示基準位置に関連づけた形態で、前記ディスプレイに表示されている前記撮影画像上に重畳して表示する視界範囲内施設情報表示手段と、
   前記視界範囲内施設情報表示手段が過去の所定期間内に情報の表示を開始した拡張現実情報に関係づけられた、当該情報の表示を開始した時点で前記視界範囲に含まれていた施設であって、当該情報の表示を開始した後に前記視界範囲内に含まれなくなった施設について、当該情報の表示を開始した時点から前記所定期間が経過するまで、当該施設に関係づけられた拡張現実情報が表す情報を、前記ディスプレイの表示画面外の位置を吹き出し元とする吹き出し図形の当該表示画面内の部分を表す図形内に表した形態で、前記ディスプレイに表示されている前記撮影画像上に重畳して表示する視界範囲外施設情報表示手段とを有することを特徴とする拡張現実システム。
3. 請求項１または２記載の拡張現実システムであって、
   前記視界範囲外施設情報表示手段は、前記視界範囲内施設情報表示手段が過去の前記所定期間内に情報の表示を開始した拡張現実情報に関係づけられた、当該情報の表示を開始した時点で前記視界範囲に含まれていた施設であって、当該情報の表示を開始した後に前記視界範囲内に含まれなくなった施設が前記視界範囲から逸脱していった左右方向を逸脱方向として、当該情報の表示を開始した時点から前記所定期間が経過するまで、当該施設に関係づけられた拡張現実情報が表す情報を、前記表示画面外の当該施設の前記逸脱方向側の位置を吹き出し元とする吹き出し図形の当該表示画面内の部分を表す図形内に表した形態で表示することを特徴とする拡張現実システム。
4. 請求項１、２または３記載の拡張現実システムであって、
   前記視界範囲内施設情報表示手段は、前記情報を前記表示基準位置を吹き出し元とする吹き出し図形内に配置した形態で表示することを特徴とする拡張現実システム。
5. 請求項１、２または３記載の拡張現実システムであって、
   当該拡張現実システムは自動車に搭載されたシステムであり、
   前記視界範囲は、前記自動車前方の範囲であることを特徴とする拡張現実システム。