JP6849634B2 - 端末装置および端末装置の制御方法 - Google Patents

Description

本開示は、端末装置に関し、例えば道路に配置される不可視物の設備情報の表示に関する。

近年、実空間に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに提示される情報は、テキストや、アイコン、アニメーション等の様々な形態の仮想オブジェクトとして可視化される（特許文献１参照）。

また、仮想オブジェクトは、例えば、道路下の不可視物である地下埋設物を直観的に確認する方式としても利用されている（特許文献２，３）。

特開２０１５−２２８０５０号公報 特開２０１５−１１４８２３号公報 特開２０１７−７３１３９号公報

一方で、仮想オブジェクトを現実空間の画像と重畳表示する場合において、その位置合わせの精度が低ければ、適切な情報をユーザに提示することができない。

本開示は、上記の問題点を解決するためになされたものであり、簡易な方式で仮想オブジェクトを適切な位置に配置して精度の高い情報をユーザに提示することが可能な端末装置および端末装置の制御方法を提供することを目的とする。

ある局面に従う端末装置であって、撮像部と、撮像部で撮影された撮影画像を表示することが可能な表示部と、端末装置の位置情報を取得する位置情報取得部と、位置情報取得部で取得した位置情報に基づいて３次元点群データを撮影画像に重畳して表示する第１合成部と、３次元点群データと撮影画像とに基づいて端末装置の方位を設定する方位設定部と、位置情報取得部で取得した位置情報および方位設定部で設定された方位に基づいて不可視物の設備情報である仮想オブジェクトを撮影画像に重畳して表示する第２合成部とを備える。

好ましくは、位置情報取得部は、２次元マップに対する指示に従って端末装置の緯度、経度および高さ情報を含む位置情報を取得する。

好ましくは、高さ情報を調整する調整手段をさらに備える。
好ましくは、方位設定部は、ユーザの操作指示に従って端末装置の方位を設定する。

ある局面に従う端末装置の制御方法であって、撮影画像を撮像するステップと、撮像部で撮影された撮影画像を表示するステップと、端末装置の位置情報を取得するステップと、取得した位置情報に基づいて３次元点群データを撮影画像に重畳して第１合成画像を表示するステップと、３次元点群データと撮影画像とに基づいて端末装置の方位を設定するステップと、取得した位置情報および設定した方位に基づいて不可視物の設備情報である仮想オブジェクトを撮影画像に重畳して第２合成画像を表示するステップとを備える。

本開示の端末装置および端末装置の制御方法は、簡易な方式で仮想オブジェクトを適切な位置に配置して精度の高い情報をユーザに提示することが可能である。

実施形態に従う端末装置１００の外観構成を説明する図である。 実施形態に従う端末装置１００のハードウェアの構成を説明する機能ブロック図である。 実施形態に従う端末装置１００の機能ブロックを説明する図である。 実施形態に従う端末装置１００のディスプレイ４に表示された画面２００を説明する図である。 実施形態に従う端末装置１００のディスプレイ４に表示された画面２１０を説明する図である。 実施形態に従う端末装置１００のディスプレイ４に表示された画面２２０を説明する図である。 実施形態に従う端末装置１００のディスプレイ４に表示された画面２３０を説明する図である。 実施形態に従う端末装置１００のディスプレイ４に表示された画面２４０を説明する図である。 実施形態に従う端末装置１００の処理を説明するフロー図である。 実施形態の変形例に従う端末装置１００のディスプレイ４に表示された画面２５０を説明する図である。 実施形態の変形例２に従う端末装置１００のディスプレイ４に表示された画面２６０を説明する図である。

実施形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。

図１は、実施形態に従う端末装置１００の外観構成を説明する図である。
図１を参照して、端末装置１００は、ディスプレイ４が表面に設けられている。ディスプレイ４の表面にはユーザの操作手段としてタッチパネルが設けられている。

端末装置１００は、ディスプレイ４の背面にカメラ１４が設けられている。
ディスプレイ４は、カメラ１４により撮影した実空間の撮影画像を表示することが可能である。

図２は、実施形態に従う端末装置１００のハードウェアの構成を説明する機能ブロック図である。

図２を参照して、端末装置１００は、ＣＰＵ（Central Processing Unit）２と、ディスプレイ（表示部）４と、ＧＮＳＳ（Global Navigation Satellite System）６と、通信Ｉ／Ｆ８と、メモリ１０と、方位センサ１２と、カメラ１４と、操作部１６と、内部バス５とを含む。各部は内部バス５と接続され、互いにデータの授受が可能なように構成されている。

ＣＰＵ２は、端末装置１００全体を制御する。
ＣＰＵ２は、メモリ１０に格納されているプログラムを実行することにより種々の機能ブロックを実現する。

ディスプレイ４は、カメラ１４により撮影した撮影画像や他の情報等を表示する。
ＧＮＳＳ６は、ＧＰＳ衛星から発せられるＧＰＳ信号を受信し、緯度、経度、高度等に関する位置情報をＣＰＵ２に出力する。

通信Ｉ／Ｆ８は、外部の装置（例えばサーバ）との間で通信ネットワークを介して情報の授受を実行する。

メモリ１０は、コンピュータに内蔵されるＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、ハードディスクなどの記憶装置である。

方位センサ１２は、端末装置１００の方位を計測するセンサである。例えば、方位センサとして地磁気センサあるいは加速度センサを用いることが可能である。

操作部１６は、たとえばディスプレイ４の表面に載置されたタッチパネルである。なお、キーボードやマウス等で構成されても良い。

図３は、実施形態に従う端末装置１００の機能ブロックを説明する図である。
図３を参照して、端末装置１００は、ＣＰＵ２および他のハードウェアと協働して種々の機能ブロックを実現する。

具体的には、端末装置１００は、位置情報取得部２２と、設備情報取得部２３と、仮想オブジェクト合成部２５と、方位設定部２６と、点群データ合成部２７と、撮影画像取得部２８とを含む。

位置情報取得部２２は、端末装置１００の位置情報（緯度、経度、高度）を取得する。
設備情報取得部２３は、不可視物の設備情報を取得する。例えば、設備情報は、位置情報と関連付けられた道路上に設置予定のポール情報を含む。当該情報は、メモリ１０に予め格納されている情報であり、仮想オブジェクトとしてディスプレイ４に表示するためのデータである。

仮想オブジェクト合成部２５は、撮影画像に対して設備情報の仮想オブジェクトを合成する。具体的には、設備情報取得部２３で取得した設備情報に対して位置情報および方位情報に基づいて設備情報の仮想オブジェクトを撮影画像に対して合成する。

方位設定部２６は、端末装置１００の方位を設定する。
点群データ合成部２７は、撮影画像に対して点群データを合成する。具体的には、位置情報および方位情報に基づいて点群データを撮影画像に対して合成する。点群データは、メモリ１０に予め格納されている情報である。点群データは、レーザスキャナ等を用いて端末装置１００の周辺対象物に対して予め計測された３次元データである。

撮影画像取得部２８は、カメラ１４を用いて撮影画像を取得する。
図４は、実施形態に従う端末装置１００のディスプレイ４に表示された画面２００を説明する図である。

図４を参照して、一例として、画面２００には、２次元マップ画像が表示されている場合が示されている。

ユーザは、所定の操作指示（方向指示、拡大指示、縮小指示）を実行することにより画面２００の２次元マップ画像の地図情報を変更することが可能である。

ユーザは、地図情報を変更して所持している端末装置１００の位置（ユーザ位置）が「＋」記号２０２の位置と重なるように調整する。

ユーザは、位置調整した後、画面２００に設けられた「位置取得」ボタン２０４を操作する。位置情報取得部２２は、画面２００に設けられた「位置取得」ボタン２０４の選択指示に従って、当該２次元マップ画像に対する端末装置１００の位置情報（緯度、経度、高度）を取得する。なお、高度に関しては、２次元マップ画像の緯度および経度で特定される地点に対して地表面の高度データが関連付けられているものとする。なお、高度として、地表面の高度データに限られず地表面の高度データに対して所定値（例えば１ｍ）を加算した値を高度データとして関連付けておいても良い。

また、画面２００に設けられた「３Ｄビューへ」２０６ボタンを操作した場合には、ディスプレイ４に２次元マップ画像を表示するのではなく、３次元のマップ画像の表示に切り替えることが可能である。

図５は、実施形態に従う端末装置１００のディスプレイ４に表示された画面２１０を説明する図である。

図５を参照して、一例として、画面２１０には、カメラ１４で撮影した撮影画像が表示されている。当該撮影画像は、画面２００の「＋」記号２０２の位置に対応する場所においてカメラ１４で撮影した画像である。

画面２１０には、「地図を見る」ボタン２１２と、「点群データ表示」ボタン２１４とが設けられている。

ユーザが、画面２１０に設けられた「地図を見る」ボタン２１２を操作した場合には、図４で説明した画面２００に切り替わり、２次元マップ画像を表示することが可能である。そして、図４で説明したようにユーザは、地図情報を変更して所持している端末装置１００の位置（ユーザ位置）が「＋」記号２０２の位置と重なるように再調整することが可能である。

また、ユーザが、画面２１０に設けられた「点群データ表示」ボタン２１４を操作した場合には、点群データが合成表示される。一方、再度、画面２１０に設けられた「点群データ表示」ボタン２１４を操作した場合には、点群データの合成表示が解除される。すなわち、撮影画像のみが表示される。

図６は、実施形態に従う端末装置１００のディスプレイ４に表示された画面２２０を説明する図である。

図６を参照して、一例として、画面２２０には、カメラ１４で撮影した撮影画像に対して点群データが合成表示されている。

具体的には、点群データ合成部２７は、位置情報取得部２２で取得した位置情報および方位センサ１２で取得された方位情報に基づいて点群データを撮影画像に対して合成表示する。

また、画面２２０には、「センサーロック」ボタン２１８および「オブジェクトデータ表示」ボタン２１６が設けられている。

ここで、ユーザが「センサーロック」ボタン２１８を操作した場合には、当該方位の値が固定（設定）される。

ユーザは、点群データと撮影画像とのマッチングが取れる方位で「センサーロック」ボタン２１８を操作する。これにより、方位設定部２６は、操作指示されたマッチングが取れた方位を固定（設定）する。

当該操作により、方位センサ１２の値の揺れによる点群データの表示の揺れを抑制することが可能である。

また、「センサーロック」ボタン２１８を再び操作した場合には、方位センサ１２の値の固定が解除される。したがって、ユーザが別の位置に移動して再び方位を固定したい場合には、「センサーロック」ボタン２１８を再び操作して方位の固定を解除することが可能である。

そして、ユーザは、「オブジェクトデータ表示」ボタン２１６を操作する。ユーザが「オブジェクトデータ表示」ボタン２１６を操作した場合には、仮想オブジェクト画像が合成表示される。仮想オブジェクト画像を合成表示する際において設定された方位情報が参照される。

図７は、実施形態に従う端末装置１００のディスプレイ４に表示された画面２３０を説明する図である。

図７を参照して、一例として画面２３０には、撮影画像に対して点群データとともに仮想オブジェクトが合成されて表示されている場合が示されている。

具体的には、仮想オブジェクト合成部２５は、位置情報取得部２２で取得した位置情報および方位設定部２６で設定された方位情報に基づいて仮想オブジェクトを撮影画像に対して合成表示する。

ここでは、仮想オブジェクトとして、道路上に設置予定のポールが表示されている場合が示されている。

当該表示により、撮影画像に対して点群データとともに、仮想オブジェクトが表示される。

図８は、実施形態に従う端末装置１００のディスプレイ４に表示された画面２４０を説明する図である。

図８を参照して、一例として、画面２４０には、撮影画像に対して仮想オブジェクトが合成されて表示されている場合が示されている。

ここで、ユーザは、画面２３０に設けられた「点群データ表示」ボタン２１４を再操作した場合が示されている。当該操作に従い、撮影画像に対する点群データの合成表示が解除される。

したがって、撮影画像に対して仮想オブジェクトのみが合成表示された状態となる。
当該表示により、撮影画像に対する仮想オブジェクトのみを適切な位置に配置した状態をユーザは容易に確認することが可能である。

一般的に方位センサは、地磁気あるいは加速度等を検知して方位を検出する。しかしながら、外乱の影響により地磁気や加速度の検知結果に基づく方位情報にばらつきが生じる。

実施形態に従う方式は、撮影画像と点群データとを合成表示させて、マッチングが取れる位置で方位情報を固定することにより精度の高い方位情報を取得する。そして、取得した方位情報に基づいて仮想オブジェクトを合成表示することにより仮想オブジェクトを適切な位置に配置することが可能である。これにより、ユーザに対して精度の高い情報を提示することが可能である。

また、点群データは、端末装置１００の周辺対象物に対して計測された３次元データである。したがって、撮影画像とのマッチングを容易に取ることが可能である。

したがって、ユーザは、「センサーロック」ボタン２１８を選択することにより簡易な方式で精度の高い方位情報を設定することが可能である。

図９は、実施形態に従う端末装置１００の処理を説明するフロー図である。
図９を参照して、端末装置１００は、位置情報を取得する（ステップＳ２）。具体的には、位置情報取得部２２は、ユーザの操作指示に従って端末装置１００の位置情報を取得する。ユーザは、図４で説明したように画面２００において、端末装置１００の位置（ユーザ位置）が「＋」記号２０２の位置と重なるように調整する。そして、ユーザが「位置取得」ボタン２０４を操作することにより位置情報が取得される。なお、本例においては、ユーザが、２次元マップ画像から直接位置を調整して位置情報を取得する方式について説明したが、特に当該方式に限られずＧＮＳＳ６を利用して位置情報を自動的に取得することも可能である。

次に、端末装置１００は撮影画像を取得する（ステップＳ４）。端末装置１００は、撮影画像取得部２８は、カメラ１４により撮影画像を取得する。

次に、端末装置１００は、点群データを撮影画像に対して合成表示する（ステップＳ８）。具体的には、点群データ合成部２７は、メモリに予め格納されている点群データを位置情報および方位情報に基づいて撮影画像に対して合成表示する。

次に、端末装置１００は、方位を設定する（ステップＳ１０）。具体的には、方位設定部２６は、ユーザの操作指示に従って端末装置１００の方位を設定する。ユーザは、図６で説明したように画面２２０において、撮影画像と点群データとのマッチングが取れる方位に調整する。そして、ユーザが「センサーロック」ボタン２１８を操作することにより方位が固定される。

次に、端末装置１００は、仮想オブジェクトを取得する（ステップＳ１２）。具体的には、設備情報取得部２３は、位置情報に基づいて不可視物の設備情報を取得する。

次に、端末装置１００は、取得した仮想オブジェクトを撮影画像に対して合成表示する（ステップＳ１４）。具体的には、仮想オブジェクト合成部２５は、撮影画像に対して設備情報の仮想オブジェクトを合成する。すなわち、仮想オブジェクト合成部２５は、設備情報取得部２３で取得した設備情報に対して位置情報および方位情報に基づいて設備情報の仮想オブジェクトを撮影画像に対して合成する。

そして、処理を終了する（エンド）。
当該処理により、簡易な方式で方位情報を設定することが可能であり、設定した方位情報に基づいて仮想オブジェクトを合成表示することにより仮想オブジェクトを適切な位置に配置することが可能である。これにより、ユーザに対して精度の高い情報を提示することが可能である。

（変形例）
図１０は、実施形態の変形例に従う端末装置１００のディスプレイ４に表示された画面２５０を説明する図である。

図１０を参照して、一例として、画面２５０には、撮影画像に対して仮想オブジェクトが合成されて表示されている場合が示されている。

また、画面２５０には、高度の値を調整可能な入力ボックス２５２と、入力ボックス２５２に入力された高度の値に再設定するための高度再設定ボタン２５４とが設けられている。

ユーザは、入力ボックス２５２に任意の高度の値を入力可能であるものとする。
ユーザは、高度再設定ボタン２５４を操作することにより当該高度の値に基づいて仮想オブジェクトの配置を微調整することが可能である。

ユーザの身長や利用の仕方により端末装置１００の高度は変化する。
したがって、高度を固定値に設定するのではなく、調整可能とすることにより、仮想オブジェクトを適切な位置に配置することが可能である。これにより、ユーザに対して精度の高い情報を提示することが可能である。

また、本例においては、２次元マップ画像の緯度および経度で特定される地点に対して地表面の高度データが予め関連付けられている場合について説明したが、点群データは、高度データを有する。したがって、複数の点群データを用いて地表面の高度データを算出するようにしても良い。

また、上記において、方位設定部２６は、ユーザが点群データと、撮影画像とを比較してマッチングが取れる位置で「センサーロック」ボタン２１８を操作することにより方位を設定する方式について説明した。しかしながら、当該方式によらず自動で方位を設定するようにしても良い。具体的には、点群データと、撮影画像とを画像処理により比較してマッチングが取れる位置の方位を設定するようにしても良い。

（変形例２）
図１１は、実施形態の変形例２に従う端末装置１００のディスプレイ４に表示された画面２６０を説明する図である。

図１１を参照して、一例として、画面２６０には、設定画面２７４が表示されている場合が示されている。

設定画面２７４は、設定ボタン２７０の操作に従って表示される。
ここで、設定画面２７４は、ｆｏｖ（Field of View）値と、カメラの透過度、オブジェクトの透過度の３つのパラメータの調整が可能である。

ｆｏｖ値を調整することによりカメラの画角を調整することが可能である。本例においては、５１．２°の画角に設定されている場合が示されている。カメラのレンズの種類に応じて撮影画像に対する画角が異なるため当該画角を調整することにより撮影画像と仮想オブジェクトとの位置ずれを調整することが可能である。

また、カメラあるいはオブジェクトの透過度を調整することにより輝度値を変化させることが可能である。これにより撮影画像あるいは仮想オブジェクトの輝度値を調整して仮想オブジェクトと撮影画像との間のコントラストを変化させることが可能である。すなわち、仮想オブジェクトあるいは撮影画像を強調表示してユーザの視認性を良くすることが可能である。

また、画面２６０には、方位補正ボタン２７２が設けられている。方位情報を調整するボタンである。ユーザは、端末装置１００を固定している場合であっても方位補正ボタン２７２を操作することにより方位センサ１２の値に対してオフセット値を加減算して微調整することが可能である。端末装置１００を動かさずに微調整することが可能であり、ユーザの利便性が向上する。

なお、本例においては、不可視物の設備情報として、位置情報と関連付けられた道路上に設置予定のポール情報を例として説明した。一方、当該構成に限られずガス配管等の地下埋設物を仮想オブジェクトとして表示するようにすることも可能である。

また、本例においては、端末装置１００のメモリ１０に２次元マップ画像の情報が格納されている場合について説明したが、特にこれに限られず通信Ｉ／Ｆ８を介してアクセス可能なサーバに２次元マップ画像が格納されており、当該情報を用いて上記の処理を実行するようにしても良い。

また、設備情報および点群データについても端末装置１００のメモリ１０に格納されている場合について説明したが、特にこれに限られず通信Ｉ／Ｆ８を介してアクセス可能なサーバに設備情報および点群データが格納されており、当該情報を用いて上記の処理を実行するようにしても良い。

また、本実施形態におけるプログラムとして、パーソナルコンピュータで実行可能なアプリケーションを提供してもよい。このとき、本実施の形態に係るプログラムは、パーソナルコンピュータ上で実行される各種アプリケーションの一部の機能として組み込まれてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

２ ＣＰＵ、４ ディスプレイ、６ ＧＮＳＳ、８ 通信Ｉ／Ｆ、１０ メモリ、１２ 方位センサ、１４ カメラ、１６ 操作部、２２ 位置情報取得部、２３ 設備情報取得部、２５ 仮想オブジェクト合成部、２６ 方位設定部、２７ 点群データ合成部、２８ 撮影画像取得部、１００ 端末装置。

Claims (5)

1. 端末装置であって、
   撮像部と、
   前記撮像部で撮影された撮影画像を表示することが可能な表示部と、
   前記端末装置の位置情報を取得する位置情報取得部と、
   前記位置情報取得部で取得した位置情報に基づいて３次元点群データを前記撮影画像に重畳して表示する第１合成部と、
   前記３次元点群データと前記撮影画像とに基づいて前記端末装置の方位を設定する方位設定部と、
   前記位置情報取得部で取得した位置情報および前記方位設定部で設定された方位に基づいて不可視物の設備情報である仮想オブジェクトを前記撮影画像に重畳して表示する第２合成部とを備える、端末装置。
2. 前記位置情報取得部は、２次元マップに対する指示に従って前記端末装置の緯度、経度および高さ情報を含む位置情報を取得する、請求項１記載の端末装置。
3. 前記高さ情報を調整する調整手段をさらに備える、請求項２記載の端末装置。
4. 前記方位設定部は、ユーザの操作指示に従って前記端末装置の方位を設定する、請求項１記載の端末装置。
5. 端末装置の制御方法であって、
   撮影画像を撮像するステップと、
   前記端末装置の位置情報を取得するステップと、
   取得した位置情報に基づいて３次元点群データを前記撮影画像に重畳して第１合成画像を表示するステップと、
   前記３次元点群データと前記撮影画像とに基づいて前記端末装置の方位を設定するステップと、
   取得した位置情報および設定した方位に基づいて不可視物の設備情報である仮想オブジェクトを前記撮影画像に重畳して第２合成画像を表示するステップとを備える、端末装置の制御方法。

Images