JP7323689B1 - 表示装置、表示方法、及び、表示プログラム - Google Patents

Abstract

【課題】現実世界の環境と仮想オブジェクトとの前後関係に矛盾がないように拡張現実を表示可能な表示装置、表示方法、及び、表示プログラムを提供する。【解決手段】表示装置１は、現在位置を取得する現在位置取得部１１と、方向を取得する方向取得部１２と、現在位置及び方向に基づいて、ＤＳＭオブジェクトＤ２と仮想オブジェクトＤ１とを重畳して表示させる表示部１４と、を備える。表示部１４は、現在位置から仮想オブジェクトＤ１までの第１距離Ｌ１がＤＳＭオブジェクトＤ２までの第２距離Ｌ２よりも大きい場合には、仮想オブジェクトＤ１におけるＤＳＭオブジェクトＤ２に重なる部分Ｄ１ａが表示されないように、仮想オブジェクトＤ１及びＤＳＭオブジェクトＤ２を表示させる。【選択図】図１

Description

特許法第３０条第２項適用 開催日 令和４年５月２４日 集会名、開催場所 中部電力パワーグリッド株式会社 飛騨電力センター（下呂市小坂町坂下３５０－１） 〔刊行物等〕 開催日 令和４年５月２３日 集会名、開催場所 中部電力パワーグリッド株式会社 飛騨電力センター（下呂市小坂町坂下３５０－１） 〔刊行物等〕 開催日 令和４年５月３１日 集会名、開催場所 中部電力パワーグリッド株式会社 工務技術センター（愛知県名古屋市熱田区横田２－３－２４） 〔刊行物等〕 開催日 令和４年６月１日 集会名、開催場所 中部電力パワーグリッド株式会社 送変電技術センター（愛知県名古屋市熱田区横田２－３－２４） 〔刊行物等〕 開催日 令和４年４月１３日 集会名、開催場所 株式会社関電工 社会インフラ工事センター（東京都北区豊島６－９－５） 〔刊行物等〕 開催日 令和４年５月１３日 集会名、開催場所 株式会社日立パワーソリューションズ 茨城本社（日立市幸町三丁目２－２） 〔刊行物等〕 開催日 令和４年５月１７日 集会名、開催場所 株式会社ユーラスエナジーホールディングス 東京本社（東京都港区虎ノ門４－３－１３ヒューリック神谷町ビル７階） 〔刊行物等〕 開催日 令和４年６月２日 集会名、開催場所 東光電気工事株式会社 本社（東京都千代田区西神田１－４－５）

本開示は、表示装置、表示方法、及び、表示プログラムに関する。

近年、実空間に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに提示される情報は、テキストやアイコン、アニメーション等の様々な形態の仮想オブジェクトとして可視化される。特許文献１には、仮想オブジェクトを表示部に描画するシステムが記載されている。

特開２０１７－２２７９７５号公報

ところで、例えば建設予定の鉄塔といった構造物の仮想オブジェクトを、現実世界の建設予定地に表示させることにより、より詳細なイメージの共有が可能となる。したがって、ＡＲは、建設のシミュレーションを行う方式としても利用可能である。

一方で、建設のシミュレーションを行うためには、建設予定地の周辺環境と仮想オブジェクトとを矛盾なく表示させる必要がある。一例として、数キロ離れた山間部への鉄塔といった構造物の建設のシミュレーションでは、構造物の周辺の樹木が構造物に覆いかぶさって鉄塔の下部が見えない状態が自然である。また、山間部の裏側への構造物の建設のシミュレーションでは、構造物の全体が見える状態であると、現実世界と乖離した表示状態となってしまう。

しかし、ＡＲでは、カメラを通して取得した現実世界の映像に対して仮想オブジェクトをレンダリングするため、仮想オブジェクトが前面に表示されてしまうという性質がある。そのため、樹木や山の裏側に存在するはずの構造物が、それらよりも前に建っているように見えてしまうおそれがある。

本開示は上記課題を解決するためになされたものであり、現実世界の環境と仮想オブジェクトとの前後関係に矛盾がないように拡張現実を表示可能な表示装置、表示方法、及び、表示プログラムを提供することを目的とする。

本開示に係る表示装置は、［１］「数値表層モデルと仮想オブジェクトとを含む拡張現実をユーザが保持する端末に表示させるための表示装置であって、前記端末の現在位置を取得する現在位置取得部と、前記端末の向いている方向を取得する方向取得部と、前記現在位置及び前記方向に基づいて、前記仮想オブジェクトを表示させる対象エリアの前記数値表層モデルと前記仮想オブジェクトとを重畳して前記端末に表示させる表示部と、を備え、前記表示部は、前記方向において、前記現在位置から前記仮想オブジェクトまでの第１距離が、前記現在位置から前記数値表層モデルまでの第２距離よりも小さい場合には、前記仮想オブジェクトを前記数値表層モデルの前面になるように、前記仮想オブジェクト及び記数値表層モデルを前記端末に表示させると共に、前記方向において、前記第１距離が前記第２距離よりも大きい場合には、前記仮想オブジェクトにおける前記数値表層モデルに重なる部分が表示されないように、前記仮想オブジェクト及び前記数値表層モデルを前記端末に表示させる、表示装置」である。

上記［１］の表示装置では、拡張現実の表示対象である端末の現在位置を取得すると共に、端末の向いている方向を取得する。そして、端末の現在位置及び方向に基づいて、仮想オブジェクトを表示させる対象エリアの数値表層モデルと仮想オブジェクトとを重畳して端末に表示させる。このとき、端末の現在位置から仮想オブジェクトまでの第１距離が、端末の現在位置から数値表層モデルまでの第２距離よりも小さい場合（すなわち、仮想オブジェクトが手前側にある場合）には、仮想オブジェクトを数値表層モデルの前面になるように仮想オブジェクト及び数値表層モデルを表示させる。また、第１距離が第２距離よりも大きい場合（すなわち、仮想オブジェクトが奥側にある場合）には、仮想オブジェクトにおける数値表層モデルに重なる部分が表示されないように、仮想オブジェクト及び数値表層モデルを表示させる。このように、上記［１］の表示装置では、現実世界を計測して得られる数値表層モデルを利用することにより、仮想オブジェクトと現実世界の環境の前後関係に矛盾がないように拡張現実を表示可能である。

なお、仮想オブジェクトと現実世界の環境との前後関係を把握するに際して、端末から照射される赤外線を用いて、端末から現実世界の環境までの距離を計測する手法も考えられる。しかし、この場合には、端末からの赤外線が届かない範囲では、当該距離の計測ができず、仮想オブジェクトと現実世界の環境との前後関係を把握することが困難となるおそれがある。これに対して、本開示では、端末の現在位置から数値地形モデルまでの距離（第２距離）を利用する。このため、端末からの赤外線の照射及び検出といった検出手法の可否によらずに、仮想オブジェクトと現実世界の環境との前後関係を確実に把握することが可能である。

本開示に係る表示装置は、［２］「前記表示部は、前記端末のカメラにより取得された現実世界の画像又は映像に対して、前記仮想オブジェクト及び前記数値表層モデルを重畳して前記端末に表示させると共に、前記数値表層モデルを透過状態とする、上記［１］に記載の表示装置」であってもよい。この場合、数値表層モデルを利用して現実世界の環境との前後関係を矛盾が無いように維持しつつ、数値表層モデルを透過状態とすることによって現実世界の景観を違和感なく表示することが可能となる。

本開示に係る表示装置は、［３］「前記現在位置取得部は、前記端末のＧＰＳ受信機が受信した前記端末の位置情報に基づいて、前記現在位置を取得する、上記［１］又は［２］に記載の表示装置」であってもよい。この場合、端末の現在位置を何らかの手法により計測したり、端末のユーザが入力したりする等の手間が削減される。

本開示に係る表示装置は、［４］「前記方向取得部は、前記端末の方位センサにより検出された情報に基づいて、前記方向を取得する、上記［１］～［３］のいずれかに記載の表示装置」であってもよい。この場合、端末の向きを何らかの手法により計測したり、端末のユーザが入力したりする等の手間が削減される。

本開示に係る表示装置は、［５］「前記端末において構成されている、上記［１］～［４］のいずれかに記載の表示装置」であってもよい。このように、本開示に係る表示装置は、ユーザの端末で実現されてもよい。

本開示に係る表示方法は、［６］「数値表層モデルと仮想オブジェクトとを含む拡張現実をユーザが保持する端末に表示させるための表示方法であって、前記端末の現在位置を取得する現在位置取得工程と、前記端末の向いている方向を取得する方向取得工程と、前記現在位置及び前記方向に基づいて、前記仮想オブジェクトを表示させる対象エリアの前記数値表層モデルと前記仮想オブジェクトとを重畳して前記端末に表示させる表示工程と、を備え、前記表示工程では、前記方向において、前記現在位置から前記仮想オブジェクトまでの第１距離が、前記現在位置から前記数値表層モデルまでの第２距離よりも小さい場合には、前記仮想オブジェクトを前記数値表層モデルの前面になるように、前記仮想オブジェクト及び記数値表層モデルを前記端末に表示させると共に、前記方向において、前記第１距離が前記第２距離よりも大きい場合には、前記仮想オブジェクトにおける前記数値表層モデルに重なる部分が表示されないように、前記仮想オブジェクト及び前記数値表層モデルを前記端末に表示させる、表示方法」である。

上記［６］の表示方法では、拡張現実の表示対象である端末の現在位置を取得すると共に、端末の向いている方向を取得する。そして、端末の現在位置及び方向に基づいて、仮想オブジェクトを表示させる対象エリアの数値表層モデルと仮想オブジェクトとを重畳して端末に表示させる。このとき、端末の現在位置から仮想オブジェクトまでの第１距離が、端末の現在位置から数値表層モデルまでの第２距離よりも小さい場合（すなわち、仮想オブジェクトが手前側にある場合）には、仮想オブジェクトを数値表層モデルの前面になるように仮想オブジェクト及び数値表層モデルを表示させる。また、第１距離が第２距離よりも大きい場合（すなわち、仮想オブジェクトが奥側にある場合）には、仮想オブジェクトにおける数値表層モデルに重なる部分が表示されないように、仮想オブジェクト及び数値表層モデルを表示させる。このように、上記［７］の表示方法では、現実世界を計測して得られる数値表層モデルを利用することにより、仮想オブジェクトと現実世界の環境の前後関係に矛盾がないように拡張現実を表示可能である。

本開示に係る表示プログラムは、［７］「コンピュータを、数値表層モデルと仮想オブジェクトとを含む拡張現実をユーザが保持する端末に表示させるための表示装置として機能させる表示プログラムであって、前記コンピュータに、前記端末の現在位置を取得する現在位置取得機能と、前記端末の向いている方向を取得する方向取得機能と、前記現在位置及び前記方向に基づいて、前記仮想オブジェクトを表示させる対象エリアの前記数値表層モデルと前記仮想オブジェクトとを重畳して前記端末に表示させる表示機能と、を実現させ、前記表示機能では、前記方向において、前記現在位置から前記仮想オブジェクトまでの第１距離が、前記現在位置から前記数値表層モデルまでの第２距離よりも小さい場合には、前記仮想オブジェクトを前記数値表層モデルの前面になるように、前記仮想オブジェクト及び記数値表層モデルを前記端末に表示させると共に、前記方向において、前記第１距離が前記第２距離よりも大きい場合には、前記仮想オブジェクトにおける前記数値表層モデルに重なる部分が表示されないように、前記仮想オブジェクト及び前記数値表層モデルを前記端末に表示させる、表示プログラム」である。

上記［７］の表示プログラムでは、拡張現実の表示対象である端末の現在位置を取得すると共に、当該現在位置に対する仮想オブジェクトの方向を取得する。そして、端末の現在位置及び方向に基づいて、仮想オブジェクトを表示させる対象エリアの数値表層モデルと仮想オブジェクトとを重畳して端末に表示させる。このとき、端末の現在位置から仮想オブジェクトまでの第１距離が、端末の現在位置から数値表層モデルまでの第２距離よりも小さい場合（すなわち、仮想オブジェクトが手前側にある場合）には、仮想オブジェクトを数値表層モデルの前面になるように仮想オブジェクト及び数値表層モデルを表示させる。また、第１距離が第２距離よりも大きい場合（すなわち、仮想オブジェクトが奥側にある場合）には、仮想オブジェクトにおける数値表層モデルに重なる部分が表示されないように、仮想オブジェクト及び数値表層モデルを表示させる。このように、上記［８］の表示プログラムでは、現実世界を計測して得られる数値表層モデルを利用することにより、仮想オブジェクトと現実世界の環境の前後関係に矛盾がないように拡張現実を表示可能である。

本開示によれば、現実世界の環境と仮想オブジェクトとの前後関係に矛盾がないように拡張現実を表示可能な表示装置、表示方法、及び、表示プログラムを提供できる。

図１は、一実施形態に係る端末装置を模式的に示す図である。 図２は、図１に示された端末装置のハードウェア構成を示す図である。 図３は、対象エリアの一例を示す模式図である。 図４は、端末装置のディスプレイの表示の一例を示す図である。 図５は、本実施形態に係る表示方法の一工程を示すフローチャートである。 図６は、ＤＳＭオブジェクの一例を示す図である。 図７は、仮想オブジェクトとＤＳＭオブジェクトとの関係を示す図である。 図８は、仮想オブジェクトとＤＳＭオブジェクトとの関係を示す図である。 図９は、端末装置のディスプレイの表示の一例を示す図である。 図１０は、表示プログラムの構成を示す図である。

以下、一実施形態について図面を参照して説明する。なお、各図の説明において、同一又は相当する要素には同一の符号を付し、重複する説明を省略する場合がある。

図１は、一実施形態に係る端末装置を模式的に示す図である。図１に示されるように、端末装置１００は、表示装置１、カメラ１０１、ＧＰＳ受信機１０２、ジャイロセンサ１０３、方位センサ１０４、ディスプレイ１０５、入力受付部１０６、３次元データ記憶部１０７、及び、加速度センサ１０８を備えている。端末装置１００は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、ＡＲグラス（ＡＲゴーグル）等のスマートグラスといったウェアラブル端末等である。

表示装置１は、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を端末装置１００に表示させるためのものである。表示装置１の各機能部については後に詳述する。カメラ１０１は、一例としてディスプレイ１０５と反対側に臨むフロントカメラであり、端末装置１００の周囲を撮像して撮像データを取得する。ＧＰＳ受信機１０２は、ＧＰＳ衛星から送信される電波を受信することにより、端末装置１００の現在位置を取得する。

ジャイロセンサ１０３は、端末装置１００の角速度を検出する。これにより、端末装置１００及び表示装置１では、端末装置１００の傾きに関するデータを取得することが可能となる。方位センサ１０４は、例えば地磁気等に基づいて方位を検出する。以上のように、端末装置１００及び表示装置１では、端末装置１００がＧＰＳ受信機１０２及びジャイロセンサ１０３を有することにより、端末装置１００の現在位置及び傾きに関するデータを取得可能であると共に、端末装置１００が方位センサ１０４を有することにより例えば北方向といった方向や、端末装置１００が向いている方向に関するデータを取得することが可能となる。

ディスプレイ１０５は、種々の情報を表示可能であり、例えば、カメラ１０１が取得した（取得している）端末装置１００の周囲の画像（映像を含む）を表示することができる。このとき、ディスプレイ１０５は、表示装置１によってＡＲを表示することも可能である。入力受付部１０６は、端末装置１００のユーザからの情報の入力を受け付ける。入力受付部１０６は、ディスプレイ１０５がタッチパネルである場合には、ディスプレイ１０５と共通化され得る。

３次元データ記憶部１０７は、３次元データを保持する。より具体的には、３次元データ記憶部は、ＡＲとして端末装置１００（ディスプレイ１０５）に表示する対象の構造物の仮想オブジェクトを示すデータや、当該仮想オブジェクトを表示させる対象エリアの数値表層モデル（ＤＳＭ）の３次元オブジェクト等のデータを保持している。仮想オブジェクトを示すデータ及びＤＳＭの３次元オブジェクトを示すデータは、所定の方法で予め作成されて提供され得る。

加速度センサ１０８は、端末装置１００の加速度を検出する。これにより、端末装置１００及び表示装置１では、端末装置１００の加速度の変化に基づいて、端末装置１００の移動距離を推定・取得することが可能となる。

図２は、図１に示された端末装置のハードウェア構成を示す図である。図２に示されるように、端末装置１００は、物理的には、ＣＰＵ１１１、ＲＡＭ及びＲＯＭといったメモリにより構成される主記憶装置１１２、ハードディスク及びメモリ等により構成される補助記憶装置１１３、通信制御装置１１４等を含むコンピュータシステムとして構成されている。３次元データ記憶部１０７は、主記憶装置１１２及び／又は補助記憶装置１１３により構成され得る。また、端末装置１００は、キーボード、タッチパネル、マウス等の入力装置１１５及び出力装置１１６をさらに備えている。ディスプレイ１０５は及び入力受付部１０６は、入力装置１１５及び出力装置１１６により構成され得る。

また、表示装置１の各機能部は、ＣＰＵ１１１、主記憶装置１１２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１１１の制御のもとで通信制御装置１１４等を動作させるともに、主記憶装置１１２や補助記憶装置１１３におけるデータの読み出し及び書き込みを行うことで実現され得る。処理に必要なデータやデータベースは、主記憶装置１１２及び補助記憶装置１１３内に格納され得る。このように、表示装置１は、端末装置１００において構成され得る。

引き続いて、表示装置１の各機能部について説明する。図３及び図４に示されるように、表示装置１は、ある対象エリアＺＮにおいて、例えば山といった現実世界の環境Ｃ２に、鉄塔といった構造物Ｃ１を重畳して端末装置１００（ディスプレイ１０５）に表示させることにより、当該対象エリアＺＮの建設のシミュレーションを可能とする。ここでは、端末装置１００のユーザＢに対して、環境Ｃ２（山）がより手前側に存在し、構造物Ｃ１（鉄塔）がより奥側に建設予定とされる。

よって、構造物Ｃ１を建設した場合の景観をディスプレイ１０５に表示する場合、図３及び図４の（ａ）のように、構造物Ｃ１の全体が表示されると、ユーザＢの視点からの実際の景観との乖離が生じてしまう。一方で、図３及び図４の（ｂ）のように、構造物Ｃ１の環境Ｃ２に重複する部分Ｃ１ａを表示させずに、構造物Ｃ１の環境Ｃ２と重複しない部分Ｃ１ｂのみを表示させることにより、ユーザＢの視点からの実際の景観との乖離が抑制される。したがって、表示装置１では、端末装置１００と環境Ｃ２及び構造物Ｃ１との距離関係に応じて、適切な表示を行う。なお、樹木といった別の構造物Ｃ３，Ｃ４が構造物Ｃ１と重複する場合には、環境Ｃ２と同様に考慮され得る。

図１に示されるように、表示装置１は、現在位置取得部（現在位置取得機能）１１、方向取得部（方向取得機能）１２、距離取得部（距離取得機能）１３、及び、表示部（表示機能）１４を備えている。表示装置１は、上述した端末装置１００の各部との間でデータの授受を行うことが可能とされている。現在位置取得部１１は、例えば、ＧＰＳ受信機１０２の信号の受信に応じて、端末装置１００の現在位置（例えば経度緯度の座標）を取得する。或いは、現在位置取得部１１は、入力受付部１０６が、端末装置１００のユーザＢから受け付けた現在位置（例えば経度緯度の座標）の入力に応じて、端末装置１００の現在位置を取得してもよい。方向取得部１２は、方位センサ１０４の検出結果に応じて、端末装置１００の現在向いている方向（以下、「現在方向」という）を取得する。

距離取得部１３は、方向取得部１２が取得した端末装置１００の現在方向において、端末装置１００の現在位置から構造物Ｃ１までの第１距離と、現在位置から環境Ｃ２までの第２距離と、を取得する。これにより、第１距離と第２距離との比較によって、端末装置１００からの環境Ｃ２と構造物Ｃ１との距離の関係を把握することが可能となる。

表示部１４は、端末装置１００の現在位置及び現在方向に基づいて、環境Ｃ２と構造物Ｃ１とを重畳して端末装置１００のディスプレイ１０５に表示させる。より具体的には、表示部１４は、方向Ａにおいて、端末装置１００の現在位置から構造物Ｃ１までの第１距離が、端末装置１００の現在位置から環境Ｃ２までの第２距離よりも小さい場合には、構造物Ｃ１を環境Ｃ２の前面になるように、構造物Ｃ１及び環境Ｃ２を端末装置１００のディスプレイ１０５に表示させる。一方、表示部１４は、現在方向において、第１距離が第２距離よりも大きい場合には、構造物Ｃ１における環境Ｃ２に重なる部分が表示されないように、構造物Ｃ１及び環境Ｃ２を端末装置１００のディスプレイ１０５に表示させる。

引き続いて、表示装置１のより詳細な動作について、一実施形態に係る表示方法を例に挙げて説明する。図５は、本実施形態に係る表示方法の一工程を示すフローチャートである。図５に示されるように、この表示方法では、まず、３次元オブジェクトが取得される（工程Ｓ１０１）。

工程Ｓ１０１では、少なくとも、現実世界に重畳して表示する３次元オブジェクトである仮想オブジェクトと、当該仮想オブジェクトを表示させる対象エリアＺＮの数値表層モデルの３次元オブジェクト（以下、「ＤＳＭオブジェクト」という）と、が取得される。仮想オブジェクトは、一例として、上述した鉄塔といった構造物Ｃ１の３次元オブジェクトである。仮想オブジェクトには、絶対座標情報が付与されている。絶対座標情報は、地理座標（緯度経度）でもよいし平面直角座標でもよい。

数値表層モデルは、例えば、対象エリアＺＮを事前に航空測量して得られたデータに基づいて作成される。ＤＳＭオブジェクトには、その４隅の少なくとも１点の座標情報が付与されている。また、ＤＳＭオブジェクトは、表示範囲に合わせてあらかじめ座標系を認識できるデータをセットで用意する。図６では、このとき取得されるＤＳＭオブジェクトの一例が示されている。

工程Ｓ１０１で取得された３次元オブジェクトは、例えば、端末装置１００の３次元データ記憶部１０７に格納され、表示装置１によりアクセス可能とされる。なお、３次元オブジェクトは、外部のサーバといった別の記憶装置に保持され、端末装置１００の通信制御装置１１４といった通信装置を介して表示装置１によりアクセス可能とされてもよい。

続いて、表示装置１が、端末装置１００の現在位置を取得する（工程Ｓ１０２：現在位置取得工程）。工程Ｓ１０２では、表示装置１の現在位置取得部１１が、例えば、ＧＰＳ受信機１０２の信号の受信に応じて現在位置（例えば経度緯度の座標）を取得することができる。或いは、工程Ｓ１０２では、表示装置１の現在位置取得部１１が、入力受付部１０６が端末装置１００のユーザＢから受け付けた現在位置（例えば経度緯度の座標）の入力に応じて、現在位置を取得してもよい。この場合、例えば、表示装置１が、端末装置１００のディスプレイ１０５に、２次元地図を表示させることにより、端末装置１００のユーザＢに対しておおよその現在位置の入力を促してもよい。

続いて、表示装置１が、工程Ｓ１０２で取得した現在位置を示す座標を、平面直角座標系の座標に変換する（工程Ｓ１０３）。なお、数値表層モデルのデータがいかに精密であっても、ＡＲ空間上の位置と現実世界の位置とが異なると、カメラ１０１を通して現実世界を見た時に、乖離が生まれてしまう。そこで、工程Ｓ１０３では、さらに、表示装置１が、現実世界の端末装置１００の現在位置と、ＡＲ空間上での端末装置１００の現在位置とを一致させる。

続いて、表示装置１の方向取得部１２が、方位センサ１０４の検出結果に応じて、端末装置１００の現在向いている方向（現在方向）を取得する（工程Ｓ１０４：方向取得工程）。

続いて、表示装置１が、ＡＲ空間上の座標軸を、工程Ｓ１０４で取得した方向角の分だけ回転させる（工程Ｓ１０５）。これにより、現在方向とＡＲ空間上での方向とを一致させる。このとき、方位センサ１０４を用いて現実世界の北方向を取得すると共に、ＡＲ空間上でのデータの方向を北方向に設定することで、現在方向とＡＲ区間上での方向とを一致させることができる。ただし、方位センサ１０４は、端末装置１００の現在位置や起動時の状態に応じて方位がぶれてしまうことがある。この場合、ＤＳＭオブジェクトＤ２での位置や方向が現実世界の位置や方向とマッチしなくなるため、ＤＳＭオブジェクトＤ２と任意の仮想オブジェクトとの前後関係を適切に表現することが困難となるおそれがある。

このため、表示装置１では、任意の２地点の座標から方位角を算出し、端末装置１００の向いている方向を現実世界の方位と合わせる機能を有することができる。この場合、座標が既知の任意の２地点を準備し、当該２地点がディスプレイ１０５の画面中央に縦並びになるように端末装置１００の位置を調整する。そして、ＳＴ計算により現在の端末装置１００の向きと北方向とのズレを取得する。

続いて、表示装置１の表示部１４が、端末装置１００の現在位置及び現在方向に基づいて、仮想オブジェクトを表示させる対象エリアＺＮのＤＳＭオブジェクトＤ２（すなわち数値表層モデル）と仮想オブジェクトとを重畳して端末装置１００のディスプレイ１０５に表示させる（工程Ｓ１０６：表示工程）。

より具体的には、工程Ｓ１０６では、まず、図７に示されるように、表示装置１の距離取得部１３が、端末装置１００の現在方向において、現在位置から仮想オブジェクトＤ１までの第１距離Ｌ１と、現在位置からＤＳＭオブジェクトＤ２までの第２距離Ｌ２と、を取得する。

そして、表示部１４が、第１距離Ｌ１が第２距離Ｌ２よりも小さい場合には、仮想オブジェクトＤ１をＤＳＭオブジェクトＤ２の前面になるように、仮想オブジェクトＤ１及びＤＳＭオブジェクトＤ２を端末装置１００のディスプレイ１０５に表示させ、第１距離Ｌ１が第２距離Ｌ２よりも大きい場合には、仮想オブジェクトＤ１におけるＤＳＭオブジェクトＤ２に重なる部分Ｄ１ａが表示されないように、仮想オブジェクトＤ１及びＤＳＭオブジェクトＤ２を端末装置１００のディスプレイ１０５に表示させる。

図８の例では、第１距離Ｌ１が第２距離Ｌ２よりも大きい場合、すなわち、端末装置１００に対してＤＳＭオブジェクトＤ２が仮想オブジェクトＤ１よりも近い場合が示されている。このため、仮想オブジェクトＤ１におけるＤＳＭオブジェクトＤ２に重なる部分Ｄ１ａが描画されず、仮想オブジェクトＤ１におけるＤＳＭオブジェクトＤ２に重ならない部分Ｄ１ｂのみが描画される。

なお、このとき、表示部１４は、仮想オブジェクトＤ１及びＤＳＭオブジェクトＤ２に加えて、カメラ１０１が撮像して得られた現実世界の景観を示す撮像データをディスプレイ１０５に表示させている。したがって、ここでは、端末装置１００のディスプレイ１０５には、現実世界の景観（画像又は映像）に対して、仮想オブジェクトＤ１及びＤＳＭオブジェクトＤ２が重畳されて表示されることとなる。

続いて、表示装置１の表示部１４が、ＤＳＭオブジェクトＤ２の不要部分をカットする（工程Ｓ１０７）と共に、ＤＳＭオブジェクトＤ２を透過状態とする（工程Ｓ１０８）。ＤＳＭオブジェクトＤ２を透過状態とするとは、ＤＳＭオブジェクトＤ２を表示しない状態とは異なり、例えばＳｈａｄｅｒという描画方法を表現するプログラムでの制御により、透過しつつ物体としてはその場に表示され続ける状態である。なお、工程Ｓ１０６～工程Ｓ１０８は、端末装置１００の現在位置、現在方向、加速度（加速度センサ１０８により検知され得る）が変化するたびに繰り返し実施され得る。

すなわち、表示装置１では、加速度センサ１０８の検出結果に基づいて、端末装置１００の移動距離を取得することができる。端末装置１００が移動すると、３Ｄオブジェクトの見え方も変化する。このため、表示装置１の表示部１４は、端末装置１００の移動距離に応じた現在位置の変化等に応じて、３Ｄオブジェクトの表示態様（見え方）を変化させる。すなわち、表示装置１の表示部１４は、端末装置１００が３Ｄオブジェクトに近づいていくことで、ディスプレイ１０５上では近づく前より大きく３Ｄオブジェクトを表示させる。これにより、ユーザＢが移動して端末装置１００の位置が変わっても、３Ｄオブジェクトと端末装置１００との距離に応じて３Ｄオブジェクトの見え方が自動的に変えられるため、自然な見た目になる効果が得られる。

以上により、図９に示されるように、工程Ｓ１０６～工程Ｓ１０８では、表示部１４が、カメラ１０１により取得された対象エリアＺＮの現実世界の画像又は映像に対して、仮想オブジェクトＤ１及びＤＳＭオブジェクトＤ２を重畳して端末装置１００のディスプレイ１０５に表示させると共に、ＤＳＭオブジェクトＤ２を透過状態とされる。このように、ＤＳＭオブジェクトＤ２を透過状態とすることにより、ディスプレイ１０５により自然な景観を表示させつつ、端末装置１００の位置や姿勢が変化したときの仮想オブジェクトＤ１とＤＳＭオブジェクトＤ２との位置関係の処理を継続して（リアルタイムで）行うことが容易化される。

なお、表示装置１は、ここでは、カメラ１０１により取得された画像又は映像、仮想オブジェクトＤ１、及び、ＤＳＭオブジェクトＤ２の表示に加えて、さらに、ユーザＢによる表示態様を変更するための各種の入力を受け付けるための入力部１２１，１２２や、端末装置１００の現在の状態を表示する表示部１２３を表示している。入力部１２１は、例えば、表示する仮想オブジェクトＤ１そのものや、仮想オブジェクトＤ１の表示形態を選択するためのものである。入力部１２２は、ＤＳＭ、ＤＥＭ（数値標高モデル）、ＤＥＭ地理院の使用・オクルージョンの有無を選択するためのものである。なお、図９では、実際の鉄塔といった構造部Ｒ２が表示されている。

次に、図１０を参照して、コンピュータを表示装置１として機能させるための表示プログラムを説明する。表示プログラムＰ１は、メインモジュールｍ１０、現在位置取得モジュールｍ１１、方位取得モジュールｍ１２、距離取得モジュールｍ１３、及び表示モジュールｍ１４を含む。

メインモジュールｍ１０は、統括的に制御する部分である。現在位置取得モジュールｍ１１、方位取得モジュールｍ１２、距離取得モジュールｍ１３、及び表示モジュールｍ１４を実行することにより実現される機能はそれぞれ、図１に示される表示装置１の現在位置取得部１１、方向取得部１２、距離取得部１３、及び表示部１４の機能と同様である。

表示プログラムＰ１は、例えば、磁気ディスクや光ディスクまたは半導体メモリ等の記憶媒体Ｍ１（例えば主記憶装置１１２又は補助記憶装置１１３）によって提供される。また、表示プログラムＰ１は、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。

以上説明したように、表示装置１（及び表示方法、表示プログラム）では、ＡＲの表示対象である端末装置１００の現在位置を取得すると共に、端末装置１００の向いている方向を取得する。そして、端末装置１００の現在位置及び方向に基づいて、仮想オブジェクトＤ１を表示させる対象エリアＺＮのＤＳＭオブジェクトＤ２（数値表層モデル）と仮想オブジェクトＤ１とを重畳して端末装置１００に表示させる。このとき、端末装置１００の現在位置から仮想オブジェクトＤ１までの第１距離Ｌ１が、端末装置１００の現在位置からＤＳＭオブジェクトＤ２までの第２距離Ｌ２よりも小さい場合（すなわち、仮想オブジェクトＤ１が手前側にある場合）には、仮想オブジェクトＤ１をＤＳＭオブジェクトＤ２の前面になるように仮想オブジェクトＤ１及びＤＳＭオブジェクトＤ２を表示させる。

また、第１距離Ｌ１が第２距離Ｌ２よりも大きい場合（すなわち、仮想オブジェクトＤ１が奥側にある場合）には、仮想オブジェクトＤ１におけるＤＳＭオブジェクトＤ２に重なる部分Ｄ１ａが表示されないように、仮想オブジェクトＤ１及びＤＳＭオブジェクトＤ２を表示させる。このように、表示装置１（及び表示方法、表示プログラム）では、現実世界を計測して得られるＤＳＭオブジェクトＤ２を利用することにより、仮想オブジェクトＤ１と現実世界の環境Ｃ２の前後関係に矛盾がないようにＡＲを表示可能である。

また、表示装置１では、表示部１４が、端末装置１００のカメラ１０１により取得された現実世界の画像又は映像に対して、仮想オブジェクトＤ１及びＤＳＭオブジェクトＤ２を重畳して端末装置１００に表示させると共に、ＤＳＭオブジェクトＤ２を透過状態とする。このように、ＤＳＭオブジェクトＤ２を利用して現実世界の環境Ｃ２との前後関係を矛盾が無いように維持しつつ、ＤＳＭオブジェクトＤ２を透過状態とすることによって現実世界の景観を違和感なく表示することが可能となる。

また、表示装置１では、現在位置取得部１１が、ＧＰＳ受信機１０２が受信した端末装置１００の位置情報に基づいて、端末装置１００の現在位置を取得してもよい。この場合、端末装置１００の現在位置を何らかの手法により計測したり、端末装置１００のユーザＢが入力したりする等の手間が削減される。

また、表示装置１では、方向取得部１２は、方位センサ１０４により検出された情報に基づいて、端末装置１００の向いている方向（現在方向）を取得してもよい。この場合、端末装置１００の向きを何らかの手法により計測したり、端末装置１００のユーザＢが入力したりする等の手間が削減される。

また、表示装置１では、ＧＰＳ受信機１０２の利用の有無に関わらず、端末装置１００の現在位置（緯度経度）及び端末装置１００の向きの情報と、３次元オブジェクト（仮想オブジェクトＤ１及びＤＳＭオブジェクトＤ２）の位置情報から、端末装置１００のディスプレイ１０５からみたときに距離感やオブジェクトの大きさをリアルに表現することができる。そのため、例えば端末装置１００の現在位置を取得するに際して、他の機材および機材の特徴点を抽出する必要がない（マーカレスでの運用が可能である）。

また、表示装置１では、仮想オブジェクトＤ１とＤＳＭオブジェクトＤ２との位置関係を一度決めてしまえば、端末装置１００の位置を移動させたとしても、表示部１４がディスプレイ１０５に表示している３次元オブジェクトの位置関係を自然なまま保つことができる。

また、表示装置１では、端末装置１００の現在位置、現在方向、移動速度から、常に自己位置と３次元オブジェクトとの位置関係を計算し続けることができる。このため、ある瞬間の静止画像に対して３次元オブジェクトを重畳して表示させることも可能であるが、映像に対して３次元オブジェクトを重畳して表示させることも可能である。

また、表示装置１では、必要なデータ（例えば３次元オブジェクトを示すデータ）を端末装置１００に格納して利用することができる。このため、例えば外部のサーバといった端末装置１００以外の装置との常時の通信が不要である。また、自己位置と３次元オブジェクトとの位置関係の計算を端末装置１００内で完結させることができるため、端末装置１００とは別のハードが不要である。

さらに、表示装置１は、端末装置１００において構成されていてもよい。

以上の実施形態は、表示装置、表示方法、及び、表示プログラムの一態様を説明したものであり、任意に変形され得る。

１…表示装置、１１…現在位置取得部、１２…方向取得部、１４…表示部、１００…端末装置、Ｄ１…仮想オブジェクト、Ｄ２…ＤＳＭオブジェクト、Ｌ１…第１距離、Ｌ２…第２距離。

Claims (7)

1. 数値表層モデルの３次元オブジェクトであるＤＳＭオブジェクトと仮想オブジェクトとを含む拡張現実をユーザが保持する端末に表示させるための表示装置であって、
   前記端末の現在位置を取得する現在位置取得部と、
   前記端末の向いている方向を取得する方向取得部と、
   前記現在位置及び前記方向に基づいて、前記仮想オブジェクトを表示させる対象エリアの前記ＤＳＭオブジェクトと前記仮想オブジェクトとを重畳して前記端末に表示させる表示部と、
   を備え、
   前記表示部は、
   前記方向において、前記現在位置から前記仮想オブジェクトまでの第１距離が、前記現在位置から前記ＤＳＭオブジェクトまでの第２距離よりも小さい場合には、前記仮想オブジェクトを前記ＤＳＭオブジェクトの前面になるように、前記仮想オブジェクト及び前記ＤＳＭオブジェクトを前記端末に表示させると共に、
   前記方向において、前記第１距離が前記第２距離よりも大きい場合には、前記仮想オブジェクトにおける前記ＤＳＭオブジェクトに重なる部分が表示されないように、前記仮想オブジェクト及び前記ＤＳＭオブジェクトを前記端末に表示させる、
   表示装置。
2. 前記表示部は、前記端末のカメラにより取得された現実世界の画像又は映像に対して、前記仮想オブジェクト及び前記ＤＳＭオブジェクトを重畳して前記端末に表示させると共に、前記ＤＳＭオブジェクトを透過状態とする、
   請求項１に記載の表示装置。
3. 前記現在位置取得部は、前記端末のＧＰＳ受信機が受信した前記端末の位置情報に基づいて、前記現在位置を取得する、
   請求項１に記載の表示装置。
4. 前記方向取得部は、前記端末の方位センサにより検出された情報に基づいて、前記方向を取得する、
   請求項１に記載の表示装置。
5. 前記端末において構成されている、
   請求項１に記載の表示装置。
6. 数値表層モデルの３次元オブジェクトであるＤＳＭオブジェクトと仮想オブジェクトとを含む拡張現実をユーザが保持する端末に表示させるための表示方法であって、
   前記端末の現在位置を取得する現在位置取得工程と、
   前記端末の向いている方向を取得する方向取得工程と、
   前記現在位置及び前記方向に基づいて、前記仮想オブジェクトを表示させる対象エリアの前記ＤＳＭオブジェクトと前記仮想オブジェクトとを重畳して前記端末に表示させる表示工程と、
   を備え、
   前記表示工程では、
   前記方向において、前記現在位置から前記仮想オブジェクトまでの第１距離が、前記現在位置から前記ＤＳＭオブジェクトまでの第２距離よりも小さい場合には、前記仮想オブジェクトを前記ＤＳＭオブジェクトの前面になるように、前記仮想オブジェクト及び前記ＤＳＭオブジェクトを前記端末に表示させると共に、
   前記方向において、前記第１距離が前記第２距離よりも大きい場合には、前記仮想オブジェクトにおける前記ＤＳＭオブジェクトに重なる部分が表示されないように、前記仮想オブジェクト及び前記ＤＳＭオブジェクトを前記端末に表示させる、
   表示方法。
7. コンピュータを、数値表層モデルの３次元オブジェクトであるＤＳＭオブジェクトと仮想オブジェクトとを含む拡張現実をユーザが保持する端末に表示させるための表示装置として機能させる表示プログラムであって、
   前記コンピュータに、
   前記端末の現在位置を取得する現在位置取得機能と、
   前記現在位置に対する前記仮想オブジェクトの方向を取得する方向取得機能と、
   前記現在位置及び前記方向に基づいて、前記仮想オブジェクトを表示させる対象エリアの前記ＤＳＭオブジェクトと前記仮想オブジェクトとを重畳して前記端末に表示させる表示機能と、
   を実現させ、
   前記表示機能では、
   前記方向において、前記現在位置から前記仮想オブジェクトまでの第１距離が、前記現在位置から前記ＤＳＭオブジェクトまでの第２距離よりも小さい場合には、前記仮想オブジェクトを前記ＤＳＭオブジェクトの前面になるように、前記仮想オブジェクト及び前記ＤＳＭオブジェクトを前記端末に表示させると共に、
   前記方向において、前記第１距離が前記第２距離よりも大きい場合には、前記仮想オブジェクトにおける前記ＤＳＭオブジェクトに重なる部分が表示されないように、前記仮想オブジェクト及び前記ＤＳＭオブジェクトを前記端末に表示させる、
   表示プログラム。

Images