JP6695529B1 - 投影システム、投影装置、投影方法及びプログラム - Google Patents

Abstract

【課題】簡単かつ高精度に、必要とされる情報量の仮想情報を投影することができる投影システム、投影装置、投影方法及びプログラムを提供する。【解決手段】実構造物に仮想情報を重畳させて投影する投影システム１００は、複数の投影装置１と、サーバ２と、を含む。投影装置１は、実空間における原点を設定する原点設定部１０１と、前記原点からの変位を検出し、前記サーバに送信する変位検出部１０２と、他の前記投影装置の前記原点からの変位を、前記サーバから受信する他機の変位取得部１０３と、前記原点、前記原点からの変位、及び他の前記投影装置の前記原点からの変位にもとづいて、実空間と仮想空間とを対応付ける基準点設定部１０４と、を有する。サーバ２は、一方の前記投影装置から前記原点からの変位を受信し、他方の前記投影装置へ送信する変位共有部２０１を有する。【選択図】図１

Description

本発明は投影システム、投影装置、投影方法及びプログラムに関し、特に簡単かつ高精度に、必要とされる情報量の仮想情報を投影する技術に関する。

高速道路や高架橋をはじめとする構造物の老朽化等に伴う維持管理のため、技術者の教育が行われている。近年の教育現場では、現実の構造物（以下、実構造物という）に対して、内部構造等の仮想情報を原寸大で重ねて投影できるウェアラブルデバイス等が活用されている。このようなデバイスは、教育だけでなく構造物の調査、設計、維持管理等の様々な用途に活用することができる。

特許文献１及び２には、ヘッドマウント型の透過型ディスプレイを使用して、トンネルや建物等の内部構造を示す画像を実構造物に重畳表示させるシステムが記載されている。

特許第６４３８９９５号公報 特許第３６５３１９６号公報

しかしながら、実構造物に仮想情報を高精度に重畳させるためには、熟練したシステム担当者による準備や調整が必要であった。また、投影される仮想情報はウェアラブルデバイス等を使用する本人にしか見えず、複数人で共有することが困難であった。さらに、現場に赴くことができない技術者に対しては模型を用いて教育することがあるが、模型への仮想情報の投影は、実構造物用の仮想情報をそのまま縮小するだけではウェアラブルデバイス等の負荷が大きくなるため、現実的ではなかった。加えて、複数人が参加する教育等において、参加者に見せる仮想情報を講師等の意図に応じて制御したり、リッチな教材等を見せたりするための手段が提供されていなかった。

本発明はこのような問題点を解決するためになされたものであり、簡単かつ高精度に、必要とされる情報量の仮想情報を投影することができる投影システム、投影装置、投影方法及びプログラムを提供することを目的とする。

本発明の一形態である投影システムは、実構造物に仮想情報を重畳させて投影する投影システムであって、複数の投影装置と、サーバと、を含み、前記投影装置は、実空間における原点を設定する原点設定部と、前記原点からの変位として表された前記投影装置の位置を検出し、前記検出した変位を前記サーバに送信する変位検出部と、前記原点からの変位として表された他の前記投影装置の位置を、前記サーバから受信する他機の変位取得部と、前記原点、前記投影装置の位置、及び他の前記投影装置の位置にもとづいて、実空間と仮想空間とを対応付ける基準点設定部と、を有し、前記サーバは、一方の前記投影装置から、前記原点からの変位として表された前記投影装置の位置を受信し、他方の前記投影装置へ送信する変位共有部を有する。
本発明の一形態である投影装置は、実構造物に仮想情報を重畳させて投影する投影装置であって、実空間における原点を設定する原点設定部と、前記原点からの変位として表された前記投影装置の位置を検出する変位検出部と、前記原点からの変位として表された他の前記投影装置の位置を受信する他機の変位取得部と、前記原点、前記投影装置の位置、及び他の前記投影装置の位置にもとづいて、実空間と仮想空間とを対応付ける基準点設定部と、を有する。
本発明の一形態である投影装置は、実構造物に仮想情報を重畳させて投影する投影装置であって、前記投影装置から前記実構造物までの距離を取得する距離取得部と、前記距離に応じて、前記仮想情報の内容を選択する仮想情報選択部と、前記選択された前記仮想情報を前記実構造物に重畳させて投影する仮想情報投影部と、を有し、前記仮想情報選択部は、前記距離が近いほど前記仮想情報の種類又は効果を増やす。
本発明の一形態である投影システムは、実構造物に仮想情報を重畳させて投影する投影システムであって、複数の投影装置と、サーバと、を含み、前記投影装置は、他の前記投影装置で選択された、前記仮想情報に含まれる表示画層を、前記サーバから受信する他機の表示画層取得部と、前記仮想情報のうち前記表示画層を前記実構造物に重畳させて投影する仮想情報投影部と、を有する。
本発明の一形態である投影装置は、実構造物に仮想情報を重畳させて投影する投影装置であって、他の投影装置で選択された、前記仮想情報に含まれる表示画層を受信する他機の表示画層取得部と、前記仮想情報のうち前記表示画層を前記実構造物に重畳させて投影する仮想情報投影部と、を有する。
本発明の一形態である投影システムは、センサユニットをさらに含み、前記センサユニットは、前記実構造物にかかる物理量の計測値を前記サーバに送信し、前記サーバは、前記計測値に基づいて可視化情報を生成する可視化情報生成部を有し、前記投影装置は、前記可視化情報を取得する可視化情報取得部と、前記可視化情報を前記仮想情報として前記実構造物に重畳させて投影する仮想情報投影部と、を有する。
本発明の一形態である投影装置は、センサユニットから前記実構造物にかかる物理量の計測値を取得し、前記計測値に基づいて可視化情報を生成する可視化情報生成部と、
前記可視化情報を前記仮想情報として前記実構造物に重畳させて投影する仮想情報投影部と、を有する。
本発明の一形態である投影方法は、実構造物に仮想情報を重畳させて投影する投影方法であって、実空間における原点を設定する原点設定ステップと、前記原点からの変位として表された投影装置の位置を検出する変位検出ステップと、前記原点からの変位として表された他の前記投影装置の位置を受信する他機の変位取得ステップと、前記原点、前記投影装置の位置、及び他の前記投影装置の位置にもとづいて、実空間と仮想空間とを対応付ける基準点設定ステップと、を有する。
本発明の一形態である投影方法は、実構造物に仮想情報を重畳させて投影する投影方法であって、投影装置から前記実構造物までの距離を取得する距離取得ステップと、前記距離に応じて、前記仮想情報の内容を選択する仮想情報選択ステップと、前記選択された前記仮想情報を前記実構造物に重畳させて投影する仮想情報投影ステップと、を有し、前記仮想情報選択ステップでは、前記距離が近いほど前記仮想情報の種類又は効果を増やす。
本発明の一形態である投影方法は、実構造物に仮想情報を重畳させて投影する投影方法であって、他の投影装置で選択された、前記仮想情報に含まれる表示画層を受信する他機の表示画層取得ステップと、前記仮想情報のうち前記表示画層を前記実構造物に重畳させて投影する仮想情報投影ステップと、を有する。
本発明の一形態である投影方法は、センサユニットから前記実構造物にかかる物理量の計測値を取得し、前記計測値に基づいて可視化情報を生成する可視化情報生成ステップと、前記可視化情報を前記仮想情報として前記実構造物に重畳させて投影する仮想情報投影ステップと、を有する。
本発明の一形態であるプログラムは、コンピュータに上記いずれかの方法を実行させるためのプログラムである。

本発明により、簡単かつ高精度に、必要とされる情報量の仮想情報を投影することができる投影システム、投影装置、投影方法及びプログラムを提供することができる。

実施の形態１にかかる投影システム１００のシステム構成を示す図である。 ＨＭＤ型の投影装置１の外観の一例を示す図である。 実施の形態１にかかる投影装置１のハードウェア構成の一例を示す図である。 実施の形態１にかかるサーバ２のハードウェア構成の一例を示す図である。 実施の形態１にかかる投影装置１の機能構成の一例を示す図である。 実施の形態１にかかるサーバ２の機能構成の一例を示す図である。 実施の形態１にかかる投影システム１００の動作を示すフローチャートである。 起動台、固定台ａ、固定台ｂの設置態様の一例を示す図である。 実施の形態２にかかる投影装置１の機能構成の一例を示す図である。 実施の形態２にかかる投影システム１００の動作を示すフローチャートである。 距離に応じた仮想情報の表示態様の一例を示す図である。 実施の形態３にかかる投影装置１の機能構成の一例を示す図である。 実施の形態３にかかるサーバ２の機能構成の一例を示す図である。 実施の形態３にかかる投影システム１００の動作を示すフローチャートである。 実施の形態４にかかる投影装置１の機能構成の一例を示す図である。 実施の形態４にかかるサーバ２の機能構成の一例を示す図である。 センサユニット３の実構造物への設置態様の一例を示す図である。 可視化情報の一例を示す図である。 実施の形態４にかかる投影システム１００の動作を示すフローチャートである。 距離に応じた仮想情報の表示態様の一例を示す図である。

＜実施の形態１＞
実施の形態１は、投影装置１が実構造物に仮想情報を重畳させて表示する際に必要な位置合わせの工程を、簡便かつ高精度に行う手法に関するものである。一般に、実構造物に仮想情報を重畳させる際には、実構造物の存在する空間（実空間）内の３点と、仮想情報が構築されている仮想空間内の３点と、を対応付けることが必要である。従来、この位置合わせを正確に行うには試行錯誤が必要であり、簡便かつ高精度に行うことには困難が伴っていた。

実施の形態１にかかる投影システム１００は、複数の投影装置１がサーバ２を介して互いの位置情報を共有する仕組みを提供し、この仕組みを活用して位置合わせを行うことにより、この課題を解決する。

図１は、本発明の実施の形態１にかかる投影システム１００のシステム構成を示す図である。投影システム１００は、少なくとも２個の投影装置１（１ａ、１ｂ）、サーバ２を含む。投影装置１ａ及び投影装置１ｂと、サーバ２とは相互に通信可能である。

投影装置１は、典型的にはカメラ、デプスセンサ及び透過型ディスプレイを有する情報処理装置であり、例えばＨｏｌｏｌｅｎｓ（登録商標）等のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）デバイス、又はスマートフォンやタブレット端末等である。図２に、ＨＭＤ型の投影装置１の外観の一例を示す。

図３は、投影装置１のハードウェア構成の一例をより具体的に示した図である。投影装置１は、カメラ１１、デプスセンサ１２、透過型ディスプレイ１３のほか、ＣＰＵ１４、揮発性メモリ１５、不揮発性メモリ１６、インタフェース１７１乃至１７４、バス１８、通信装置１９を有する。

ＣＰＵ１４（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）は、不揮発性メモリ１６又は揮発性メモリ１５に格納されたプログラムやデータをバス１８を介して読み出し、プログラムに従った情報処理を実行することにより特有の機能を実現する。ここでいうデータには仮想情報も含まれる。

不揮発性メモリ１６は、投影装置１が動作していないときにも記憶状態が保持される記憶装置であり、例えばハードディスクやＳＳＤ等である。一般に、不揮発性メモリ１６に記憶されているプログラムやデータは、プログラム実行時に揮発性メモリ１５に展開される。

揮発性メモリ１５には、不揮発性メモリ１６から展開されたプログラムやデータをはじめ、一時的な計算データ、通信装置１９を介して外部装置との間で入出力されるデータ等が格納される記憶装置である。

カメラ１１は、実構造物の画像データを取得する撮影装置である。画像データは、インタフェース１７１を介してＣＰＵ１４に渡される。

デプスセンサ１２は、実構造物をスキャンして、その形状を示す３次元点群データを取得する。デプスセンサ１２は、典型的には赤外線等の測定用電磁波を構造物上の複数の測定点に照射し、反射波を検出することで各測定点までの距離を計測する。又は、ステレオカメラのように複数台のカメラで取得した画像データを基に３次元情報を生成するものであっても良い。３次元点群データは、インタフェース１７２を介してＣＰＵ１４に渡される。

透過型ディスプレイ１３は、実構造物と仮想情報とを同時にユーザに視認させる表示装置である。これは例えば光学透過ディスプレイに仮想情報を表示させること、又はビデオ透過ディスプレイにカメラで撮影された実構造物の映像と仮想情報とを重畳表示させることにより実現可能である。仮想情報には、例えば実構造物の内部構造を示すモデルや説明図等の画像等が含まれる。仮想情報は、不揮発性メモリ１６又は揮発性メモリ１５に格納されているものとする。これらのデータは、ＣＰＵ１４からインタフェース１７３を介して透過型ディスプレイ１３に渡される。

通信装置１９は、ＣＰＵ１４が出力する送信データをインタフェース１７４を介して取得し、外部装置（他の投影装置１やサーバ２）に対し送信する。また、外部装置から受信したデータをインタフェース１７４を介してＣＰＵ１４に引き渡す。

図４は、サーバ２のハードウェア構成の一例を示した図である。サーバ２は、ＣＰＵ２４、揮発性メモリ２５、不揮発性メモリ２６、インタフェース２７４、バス２８、通信装置２９を有する。これらの構成要素の機能は、それぞれＣＰＵ１４、揮発性メモリ１５、不揮発性メモリ１６、インタフェース１７４、バス１８及び通信装置１９と同様であるため、詳細な説明を省略する。

図５は、投影装置１の機能構成の一例を示した図である。投影装置１は、原点設定部１０１、変位検出部１０２、他機の変位取得部１０３、基準点設定部１０４及び仮想情報投影部１０５を有する。

原点設定部１０１は、投影装置１が起動した際の実空間における位置を原点Ｏとして設定する。

変位検出部１０２は、原点Ｏからの変位すなわち移動量を検出する。例えば、変位検出部１０２は、カメラ１１の撮像データやデプスセンサ１２の深度データ、又は図示しないジャイロセンサの出力データ等を用いて自己位置推定を行うことができる。自己位置推定については公知技術であるため、ここでは詳細な説明を省略する。変位検出部１０２は、例えば一定時間ごとに自己の原点Ｏからの移動量を検出し、サーバ２の変位共有部２０１に対して送信する。この際、移動量に加え、投影装置１の姿勢を示す情報を検出及び送信しても良い。

他機の変位取得部１０３は、サーバ２の変位共有部２０１から、他の投影装置１の原点Ｏからの変位を取得する。上述のように、複数の投影装置１がサーバ２の変位共有部２０１に対して自己の原点Ｏからの移動量を送信するが、他機の変位取得部１０３は、このうち自己以外の投影装置１の原点Ｏからの移動量を、例えば一定時間ごとに受信する。

基準点設定部１０４は、実構造物に仮想情報を重畳させて表示する際に必要な３つの基準点を実空間内に設定する。すなわち、実空間において３点の座標を取得して、これらを基準点とする。１つめの基準点は原点Ｏである。２つめの基準点は自己の位置、すなわち原点Ｏに自己の移動量を加えた位置の座標である。３つめの基準点は他の投影装置１の位置、すなわち原点Ｏに当該機の移動量を加えた位置の座標である。本実施の形態では、原点Ｏの位置は固定であるが、２つめ及び３つめの基準点は、複数の投影装置１を移動させることで同時並行的に位置を調整できる。基準点設定部１０４は、所定のトリガ（任意のキー入力、ジェスチャ入力又は音声入力など）に応じて、その時点における投影装置１の位置を基準点として固定的に設定できる。この操作を行った後は、基準点は固定され、投影装置１を移動させても基準点の位置は変化しない。

仮想情報投影部１０５は、仮想情報内に予め設定されている３つの基準点と、実空間内に設定された３つの基準点とを重ね合わせることで、仮想情報の投影位置を決定し、投影を実行する。なお、仮想情報は投影装置１内の記憶領域に予め格納されているものとする。

図６は、サーバ２の機能構成の一例を示した図である。サーバ２は、変位共有部２０１を有する。ここで、サーバ２の機能は１つの装置に実装されても良く、複数の装置が協働して実現されるものであっても良い。あるいは、複数の投影装置１のうち少なくとも１つがサーバ２の機能を兼ね備えていても良い。

変位共有部２０１は、複数の投影装置１の変位検出部１０２から、例えば一定時間ごとにその時点における原点Ｏからの移動量をそれぞれ受信する。そして、他の投影装置１の他機の変位取得部１０３に対し、受信した移動量を送信する。これにより、複数の投影装置１の間で、変位共有部２０１を介し、原点Ｏからの移動量が共有される。

図７のフローチャートを用いて、実施の形態１にかかる投影システム１００の動作について説明する。

Ｓ１０１：起動台、固定台ａ、固定台ｂの設置
投影装置１ａ、投影装置１ｂはそれぞれ仮想情報を予め格納しているものとする。仮想情報は、例えば実構造物の内部構造を示す３次元モデルや図面である。仮想情報が構築されている仮想空間内には、予め３つの基準点が設定されているものとする。仮想空間における３つの基準点をＯ’、Ａ’、Ｂ’とする。
基準点Ｏ’、Ａ’、Ｂ’に対応する実空間内の位置には、起動台、固定台ａ、固定台ｂを予め設置しておく（図８参照）。

Ｓ１０２：投影装置１ａ、投影装置１ｂの起動
起動台に投影装置１ａ、投影装置１ｂを設置し、起動させる。投影装置１ａ及び投影装置１ｂの原点設定部１０１はそれぞれ、起動時の実空間における位置を原点Ｏ（０，０，０）として設定する。なお、起動台は、仮想空間における基準点Ｏ’に対応する実空間内の位置に設置されているものとする。

Ｓ１０３：投影装置１ａ、投影装置１ｂの移動
投影装置１ａが起動したならば、これを固定台ａに移動させる。この際、投影装置１ａの変位検出部１０２は、投影装置１ａの原点Ｏからの移動量を一定時間ごとに検出し、サーバ２の変位共有部２０１に送信する。
同様に、投影装置１ｂが起動したならば、これを固定台ｂに移動させる。この際、投影装置１ｂの変位検出部１０２は、投影装置１ｂの原点Ｏからの移動量を一定時間ごとに検出し、サーバ２の変位共有部２０１に送信する。

Ｓ１０４：位置の共有
サーバ２の変位共有部２０１は、投影装置１ａの原点Ｏからの移動量を、投影装置１ｂの他機の変位取得部１０３に随時送信する。同様に、投影装置１ｂの原点Ｏからの移動量を、投影装置１ａの他機の変位取得部１０３に随時送信する。これにより、投影装置１ａと投影装置１ｂとの間で位置情報が共有される。

Ｓ１０５：基準点の設定
投影装置１ａ及び投影装置１ｂの基準点設定部１０４はそれぞれ、投影装置１ａの位置を基準点Ａ、投影装置１ｂの位置を基準点Ｂとして設定する。これにより、実空間における基準点Ｏ，Ａ，Ｂが定まり、仮想情報投影部１０５が実空間に仮想情報を投影することが可能となる。すなわち、仮想情報投影部１０５は、仮想空間における基準点Ｏ’，Ａ’，Ｂ’と、実空間における基準点Ｏ，Ａ，Ｂとを重ね合わせることによって、仮想情報の投影位置を決定し、投影を行う。

Ｓ１０６：仮想情報の投影位置の調整
投影装置１ａ及び投影装置１ｂが投影する仮想情報と実構造物との間にもしズレが生じているならば、固定台ａ又は固定台ｂの設置位置に問題があった可能性が高い。この場合、固定台ａ又は固定台ｂの設置位置を調整することで、仮想情報の投影位置、特にスケール及び回転角を調整できる。
例えば、仮想情報と実構造物とのスケールが合っていない場合は、固定台ａと固定台ｂとの設置間隔を広げることで、仮想空間における基準点Ａ’とＢ’との距離が離れ、仮想情報のスケールを拡大することができる。逆に、固定台ａと固定台ｂとの設置間隔を狭めるなら、仮想情報のスケールは縮小する。
また、実構造物に対して仮想情報が傾いている場合は、固定台ａ又は固定台ｂの高さを調整する。例えば図８に示すように固定台ａが向かって左側、固定台ｂが向かって右側に設置されている場合、固定台ｂの高さを５ｃｍ上げれば、仮想空間における基準点Ｂ’の高さが５ｃｍ上がるため、仮想情報は左回りに傾く。

本実施の形態によれば、予め仮想空間内の基準点Ｏ’に対応する実空間内の位置に設置された起動台で投影装置１ａ及び投影装置１ｂを起動させ、予め仮想空間内の基準点Ａ’及び基準点Ｂ’に対応する実空間内の位置に設置された固定台ａ及び固定台ｂに投影装置１ａ及び投影装置１ｂを移動させることで、簡便かつ高精度に位置合わせを行うことが可能である。仮に仮想情報と実構造物との間にズレが生じた場合にも、固定台ａ又は固定台ｂの位置を調整することで、容易にスケールや回転角を調整できる。これにより、従来は手作業で試行錯誤により行っていた位置合わせの工程を、ほぼ機械的に実行することができるようになる。

＜実施の形態２＞
実施の形態２は、投影装置１が実構造物に仮想情報を重畳させて表示する際に、投影装置１と実構造物との距離に応じて、投影する仮想情報の情報量を調節する手法に関するものである。すなわち、投影装置１と実構造物との距離が近い場合には、画面内に仮想情報の全景が入らず、描画範囲は狭くなる（仮想情報の一部分しか投影する必要がない）。この場合、投影装置１の描画演算にかかる負荷に余裕が生まれるため、モデルをリッチに表示する。具体的には表示される仮想情報の種類を増やしたり、シェーディングなどの効果を付与したりすることができる。一方、投影装置１と実構造物との距離が遠い場合には、仮想情報の描画範囲が広くなり、描画演算にかかる負荷が増大するため、モデルをプアに表示する。具体的には表示される仮想情報の種類を減らしたり、シェーディングなどの効果を省いたりすることができる。

このように、実施の形態２にかかる投影装置１は、実構造物への距離に応じて仮想情報の情報量を変化させることにより、装置の演算負荷の過度な増大を抑えるとともに、装着者のエクスペリエンスを可能な限り向上させる。

実施の形態２にかかる投影装置１のハードウェア構成は、図３に示したものと同様である。

図９は、実施の形態２にかかる投影装置１の機能構成の一例を示した図である。投影装置１は、距離取得部１０６、仮想情報選択部１０７、仮想情報投影部１０５を有する。なお、投影装置１は実施の形態１で示した他の処理手段を有していても良い。

距離取得部１０６は、投影装置１と実構造物との距離を取得する。典型的には、デプスセンサ１２を用いることにより距離を取得できる。

仮想情報選択部１０７は、距離取得部１０６が取得した距離に応じて、適切な情報量の仮想情報を取得する。

ここで、本実施の形態では、投影装置１の記憶領域に格納されている仮想情報の構成要素には、複数の属性レベルのいずれかが予め付与されているものとする。例えば図１１に示すように、構造物の内部構造を示す情報（モデル）のうち、基本的な情報（オブジェクト）については属性レベル１、付加的な情報（オブジェクト）については属性レベル２、さらに詳細な情報（オブジェクト）については詳細度に応じて属性レベル３，４，・・・等を付与しておく。

また、これらの属性レベルには、対応する距離レンジが予め定義されているものとする。例えば、距離が１０ｍ以上である場合は属性レベル１、５ｍ以上１０ｍ未満である場合には属性レベル１及び２、１ｍ以上５ｍ未満である場合には属性レベル１乃至３、１ｍ未満である場合には属性レベル１乃至４といった対応づけをしておく。

そして図２０に示すように、仮想情報選択部１０７は、距離取得部１０６が取得した距離（現実空間における実構造物までの距離、あるいは現実空間における実構造物までの距離に基づいて推定される仮想空間内におけるモデル又は各オブジェクトまでの距離）が例えば１ｍ未満であれば、属性レベル１乃至４のいずれかが付与された仮想情報を全て投影対象として選択する。同様に、距離が１ｍ以上５ｍ未満であれば属性レベル１乃至３に相当する仮想情報、距離が５ｍ以上１０ｍ未満であれば属性レベル１及び２に相当する仮想情報、距離が１０ｍ以上であれば属性レベル１の仮想情報を選択する。

仮想情報投影部１０５は、仮想情報選択部１０７が選択した仮想情報を、実構造物に重畳させて投影する。なお、実構造物への仮想情報の位置合わせは、実施の形態１の手法で行うことができる。

図１０のフローチャートを用いて、実施の形態２にかかる投影システム１００の動作について説明する。

Ｓ２０１：距離の取得
距離取得部１０６が、投影装置１と実構造物との距離を取得する。

Ｓ２０２：仮想情報の選択
仮想情報選択部１０７が、距離取得部１０６が取得した距離に対応する属性レベルを特定する。そして、特定した属性レベルに相当する仮想情報を選択する。

Ｓ２０３：仮想情報の投影
仮想情報投影部１０５が、仮想情報選択部１０７が選択した仮想情報を、実構造物に重畳させて投影する。

なお、投影装置１は、例えば一定時間ごとにこれら一連の処理を繰り返し実行することにより、投影装置１と実構造物との距離が変化した場合にも、変化した距離に応じた適切な情報量の仮想情報を投影することができる。

なお、所定のスケールで作成された実構造物の模型に仮想情報を重畳する場合には、仮想情報選択部１０７は、距離取得部１０６が取得した距離に対してもスケーリングを施した上で、投影すべき属性レベルを決定する。例えば、模型が１／２０サイズであれば、属性レベルの判定に用いる距離も実測の１／２０の値を用いる。具体的には、１／１サイズの実構造物においては「距離が１０ｍ以上であれば属性レベル１を選択する」という基準を用いている場合、１／２０サイズのモデルにおいては「距離が０．５ｍ以上であれば属性レベル１を選択する」という基準を用いることになる。また、仮想情報投影部１０５は仮想情報を１／２０にスケーリングして投影を行う。

本実施の形態によれば、実構造物への距離に応じて仮想情報の情報量を変化させることにより、装置の演算負荷の過度な増大を抑えるとともに、装着者のエクスペリエンスを可能な限り向上させることができる。

＜実施の形態３＞
実施の形態３は、複数のユーザが、複数の投影装置１を同時に使用する際、同じ仮想情報を参照することができるよう制御する手法に関するものである。例えば、講師や受講者らがそれぞれ投影装置１を使用して集合教育を実施する場合、従来は、講師が受講者に対し表示させるべき仮想情報の画層（各画層にはモデルや説明図等が割り当てられている）を口頭で指示し、受講者はその指示に従って投影装置１を操作して表示画層を切り替えることが行われていた。しかしながら、この手法では、講師は各受講者が正しい画層を閲覧しているかを確認することができなかった。

実施の形態３にかかる投影システム１００は、複数の投影装置１がサーバ２を介して互いの表示画層情報を共有する仕組みを提供し、この仕組みを活用して各投影装置１における表示画層が連動するよう制御することにより、この課題を解決する。

実施の形態３にかかる投影システム１００は、複数の投影装置１（投影装置１ａ、投影装置１ｂ）と、サーバ２とを含む。投影装置１及びサーバ２のハードウェア構成は、図３及び図４に示したものと同様である。

図１２は、実施の形態３にかかる投影装置１の機能構成の一例を示した図である。投影装置１は、表示画層選択部１０８、他機の表示画層取得部１０９、仮想情報投影部１０５を有する。なお、投影装置１は実施の形態１及び２で示した他の処理手段を有していても良い。

表示画層選択部１０８は、ユーザの指示に応じて、表示すべき画層を選択する。ユーザの指示は、例えばキー入力、ジェスチャ入力又は音声入力等で与えられうる。

ここで、本実施の形態では、投影装置１の記憶領域に格納されている仮想情報の構成要素は、複数の画層のいずれかに予め割り当てられているものとする。例えば、耐震補強鉄筋のモデルは画層１、応力図は画層２、変状図は画層３、模擬パネルは画層４といったように、情報の種類等に応じて適宜適切な画層が割り当てられる。また、各画層には画層名（画層１，画層２，・・・）が付与されているものとする。

表示画層選択部１０８は、選択された画層名をサーバ２の表示画層共有部２０２に対して送信する。なお、表示画層選択部１０８における表示画層の選択機能、及び選択した画層の送信機能は、講師となるユーザの投影装置１においてのみ有効化することができる。又は、受講者となるユーザの投影装置１においては、表示画層の選択機能のみを有効化し、選択した画層の送信機能は無効化することとしても良い。これにより、受講者の投影装置１を、講師が選択した画層のみ、あるいは講師か受講者本人が選択した画層のみを閲覧できるように構成できる。

他機の表示画層取得部１０９は、サーバ２の表示画層共有部２０２から、他の投影装置１の表示画層を取得する。なお、受講者となるユーザの投影装置１においては、他機の表示画層取得部１０９を無効化することとしても良い。

仮想情報投影部１０５は、投影装置１の記憶領域に格納されている仮想情報のうち、表示画層選択部１０８で選択された画層、又は他機の表示画層取得部１０９が取得した画層を選択し、実構造物に重畳させて投影する。なお、実構造物への仮想情報の位置合わせは、実施の形態１の手法で行うことができる。

図１３は、サーバ２の機能構成の一例を示した図である。サーバ２は、表示画層共有部２０２を有する。ここで、サーバ２の機能は１つの装置に実装されても良く、複数の装置が協働して実現されるものであっても良い。あるいは、複数の投影装置１のうち少なくとも１つがサーバ２の機能を兼ね備えていても良い。なお、サーバ２は実施の形態１で示した他の処理手段を有していても良い。

表示画層共有部２０２は、投影装置１の表示画層選択部１０８から、選択された画層名を受信する。これに応じ、他の投影装置１の他機の表示画層取得部１０９に対し、受信した画層名を送信する。これにより、複数の投影装置１の間で、表示画層選択部１０８を介し、表示画層が共有される。

図１４のフローチャートを用いて、実施の形態３にかかる投影システム１００の動作について説明する。

Ｓ３０１：表示画層の選択
講師が使用する投影装置１ａの表示画層選択部１０８は、講師が選択した表示画層を特定し、サーバ２の表示画層共有部２０２に対して送信する。

Ｓ３０２：表示画層の共有
サーバ２の表示画層共有部２０２は、投影装置１ａから受信した表示画層名を、受講者が使用する投影装置１ｂの他機の表示画層取得部１０９に対して送信する。これにより、投影装置１ａと投影装置１ｂとの間で表示画層情報が共有される。

Ｓ３０３：表示画層の同期
受講者が使用する投影装置１ｂの仮想情報投影部１０５は、他機の表示画層取得部１０９が取得した画層のみを選択して、実構造物に重畳させて投影する。これにより、例えば講師が特定の画層を表示させると、受講者側でも同じ画層が表示される。

本実施の形態によれば、複数の投影装置１同士で表示画層を連動させることが可能である。特に、実施の形態１の空間情報共有機能と本実施の形態の表示画層共有機能とを併用することにより、講師と受講者とが同じ仮想空間及び表示画層を共有しながら教育を行うことができるようになり、教育効果を大きく向上させることが可能である。

＜実施の形態４＞
実施の形態４は、センサ等の計測機器で検出した物理量（ひずみ、音、温度等）を可視化して仮想情報とし、これを実構造物に重畳させて投影することにより、新たな教育体験を提供する手法に関するものである。従来、例えば実際の交通荷重等（活荷重）に対する橋梁等の挙動を観察するためには、センサ等の計測機器で測定した物理量をＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に取り込んで解析し、可視化することが一般的であった。また、教育現場においては図面を用いた説明を受けるにとどまることも多く、建設現場での経験が乏しい技術者にとっては、机上の図面だけで構造物の実際の挙動を理解することは困難であった。

実施の形態４にかかる投影システム１００は、センサ等の計測機器で測定した物理量の変化をアニメーション等の形で可視化し、投影装置１を通して実構造物に重畳して投影する。これにより、実構造物に実際に生じている変化を自由な視点で見られるようにした、２次元又は３次元映像よりも理解しやすい教育手法を提供する。

実施の形態４にかかる投影システム１００は、投影装置１と、サーバ２とを含む。投影装置１及びサーバ２のハードウェア構成は、図３及び図４に示したものと同様である。加えて、投影システム１００は複数のセンサユニット３を含んでも良い。

センサユニット３は、センサ等により物理量を計測し、計測値をサーバ２の可視化情報生成部２０４に対して送信する機能を有する装置である。典型的には、ひずみゲージやカメラ画像を用いてひずみを算出するひずみセンサ、マイクを用いて音の強さや音圧を測定する音センサ、熱電対や測温抵抗体を用いて温度を計測する温度センサ等がセンサ等として用いられる。また、計測値を取得及び蓄積し、サーバ２に対して送信するための演算ユニットや通信ユニット、これらの電源を供給する電源ユニットが含まれていても良い。

図１７に、複数のセンサユニット３を橋梁に設置した例を示す。図中の円はひずみセンサの設置位置、三角形は音センサの設置位置を示す。このように、橋梁の広範囲にわたってセンサを設置することで、車両通過に伴うひずみや音の経時変化を観察することが可能となる。

図１６は、サーバ２の機能構成の一例を示した図である。サーバ２は、可視化情報生成部２０４を有する。ここで、サーバ２の機能は１つの装置に実装されても良く、複数の装置が協働して実現されるものであっても良い。あるいは、投影装置１がサーバ２の機能を兼ね備えていても良い。なお、サーバ２は実施の形態１又は３で示した他の処理手段を有していても良い。

可視化情報生成部２０４は、センサユニット３から計測値を取得し、これを加工して可視化情報を生成する。可視化情報とは、計測値の量、大きさ、変化等をユーザが目で見て理解しやすいように加工した情報である。

可視化情報生成部２０４は、例えば、橋梁等の実構造物に設置された複数のひずみセンサから取得したひずみに基づいて、ヒートマップ等（色彩や、マークの大きさ等により各計測点における物理量の大小を表現する手法）を生成する。ひずみを一定時間ごとに取得し、各時刻におけるヒートマップ等を連続的に生成、表示することで、ひずみの大きさの経時変化を示すアニメーションが生成される。これにより、例えば橋梁を車両が通過した際の動ひずみ分布を可視化することができる。

同様に、橋梁等の実構造物に設置された複数の音センサから取得した音圧の大きさに基づいて、ヒートマップ等を生成することもできる。音センサは、例えば図１７に示すように橋梁に沿って一定間隔に直線上に配置する。可視化情報生成部２０４は、音圧が一定レベルを超えたときに、その音圧レベルをヒートマップ上に示す。このヒートマップを連続的に生成、表示することで、音圧レベルの経時変化を示すアニメーションが生成される。これにより、例えば橋梁を車両が通過した際の応力のかかり具合を、音という物理量を介して模擬的に可視化することができる。図１８に、可視化情報生成部２０４が生成する可視化情報の一例を示す。この例では、音圧分布を色彩で表現している（ヒートマップ）ほか、音圧レベルから推定される橋梁の変位（形状の変化）を増幅して表示している。

又は、橋梁の床版上を赤外線カメラ等により撮影して温度分布を取得し、温度の高低に基づくヒートマップ等を生成することもできる。このヒートマップを連続的に生成、表示することで、温度の経時変化を示すアニメーションが生成される。これにより、例えば橋梁を車両が通過した際の温度変化を可視化することができる。具体的には、温度分布の広がり方は車種ごとに異なることを、アニメーションを利用して観察することが可能である。また、温度と構造物の変状劣化との因果関係把握にアニメーションを活用することもできる。

あるいは、可視化情報生成部２０４は機械学習部を備えていても良い。機械学習部は、例えば、床版近辺に設置された音センサが車両通過時に取得した音声波形と、当該車両の車種を示す情報と、を教師データとする教師あり学習を行う。この学習プロセスにより生成された学習済みモデルは、音声波形を入力として、車種情報を推定できる。なお、車種情報は、例えば画像データを入力として車種情報を推定する別の学習済みモデルを用いて取得することができる。画像データは、床版近辺に設置されたカメラが、音センサによる音声波形取得と同時に取得することができる。機械学習部が車種を推定したならば、可視化情報生成部２０４は、車種に対応するひずみ分布図や応力図（静止画であってもアニメーションであっても良い）を仮想情報として出力する。なお、可視化情報生成部２０４は、車種に対応付けたひずみ分布図や応力図（静止画であってもアニメーションであっても良い）を予め保持しているものとする。

可視化情報生成部２０４は、生成した可視化情報を投影装置１の可視化情報取得部１１０に対して出力する。なお、可視化情報生成部２０４は、過去に作成した可視化情報を記憶領域に蓄積しておき、ユーザの指示に応じて任意の可視化情報を可視化情報取得部１１０に出力しても良い。又は、センサ等から得られる情報に基づいてリアルタイムに可視化情報を生成し、可視化情報取得部１１０に出力しても良い。

図１５は、実施の形態４にかかる投影装置１の機能構成の一例を示した図である。投影装置１は、可視化情報取得部１１０、仮想情報投影部１０５を有する。なお、投影装置１は実施の形態１乃至３で示した他の処理手段を有していても良い。

可視化情報取得部１１０は、サーバ２の可視化情報生成部２０４から可視化情報を取得する。

仮想情報投影部１０５は、取得した可視化情報を実構造物に重畳させて投影する。なお、実構造物への仮想情報の位置合わせは、実施の形態１の手法で行うことができる。

図１９のフローチャートを用いて、実施の形態４にかかる投影システム１００の動作について説明する。

Ｓ４０１：計測値の取得
サーバ２の可視化情報生成部２０４は、センサユニット３が出力する計測値を収集する。

Ｓ４０２：可視化情報の生成
可視化情報生成部２０４は、計測値を使用して可視化情報を生成し、投影装置１の可視化情報取得部１１０に送信する。

Ｓ４０３：可視化情報の投影
投影装置１ｂの仮想情報投影部１０５は、受信した可視化情報を仮想情報として実構造物に重畳させて投影する。

本実施の形態によれば、センサ等の計測機器で測定した物理量の変化をユーザが理解しやすい可視化情報に加工し、これを実構造物に重畳して投影できるので、教育やメンテナンス等の効果性を高めることが可能である。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の実施の形態において示した計算手法、センシング手法、表現手法等はあくまで一例であり、同等の機能を有する他の手法によって代替されても良い。

また本発明を構成する各処理手段は、ハードウェアにより構成されるものであってもよく、任意の処理をＣＰＵにコンピュータプログラムを実行させることにより実現するものであってもよい。また、コンピュータプログラムは、様々なタイプの一時的又は非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。一時的なコンピュータ可読媒体は、例えば有線又は無線によりコンピュータに供給される電磁的な信号を含む。

１００ 投影システム
１（１ａ，１ｂ） 投影装置
１１ カメラ
１２ デプスセンサ
１３ 透過型ディスプレイ
１４ ＣＰＵ
１５ 揮発性メモリ
１６ 不揮発性メモリ
１７１，１７２，１７３，１７４ インタフェース
１８ バス
１９ 通信装置
１０１ 原点設定部
１０２ 変位検出部
１０３ 他機の変位取得部
１０４ 基準点設定部
１０５ 仮想情報投影部
１０６ 距離取得部
１０７ 仮想情報選択部
１０８ 表示画層選択部
１０９ 他機の表示画層取得部
１１０ 可視化情報取得部
２ サーバ
２４ ＣＰＵ
２５ 揮発性メモリ
２６ 不揮発性メモリ
２７４ インタフェース
２８ バス
２９ 通信装置
２０１ 変位共有部
２０２ 表示画層共有部
２０４ 可視化情報生成部
３ センサユニット

Claims (12)

1. 実構造物に仮想情報を重畳させて投影する投影システムであって、
   複数の投影装置と、サーバと、を含み、
   前記投影装置は、
   実空間における原点を設定する原点設定部と、
   前記原点からの変位として表された前記投影装置の位置を検出し、前記検出した変位を前記サーバに送信する変位検出部と、
   前記原点からの変位として表された他の前記投影装置の位置を、前記サーバから受信する他機の変位取得部と、
   前記原点、前記投影装置の位置、及び他の前記投影装置の位置にもとづいて、実空間と仮想空間とを対応付ける基準点設定部と、を有し、
   前記サーバは、
   一方の前記投影装置から、前記原点からの変位として表された前記投影装置の位置を受信し、他方の前記投影装置へ送信する変位共有部を有する
   投影システム。
2. 実構造物に仮想情報を重畳させて投影する投影装置であって、
   実空間における原点を設定する原点設定部と、
   前記原点からの変位として表された前記投影装置の位置を検出する変位検出部と、
   前記原点からの変位として表された他の前記投影装置の位置を受信する他機の変位取得部と、
   前記原点、前記投影装置の位置、及び他の前記投影装置の位置にもとづいて、実空間と仮想空間とを対応付ける基準点設定部と、を有する
   投影装置。
3. 実構造物に仮想情報を重畳させて投影する投影装置であって、
   前記投影装置から前記実構造物までの距離を取得する距離取得部と、
   前記距離に応じて、前記仮想情報の内容を選択する仮想情報選択部と、
   前記選択された前記仮想情報を前記実構造物に重畳させて投影する仮想情報投影部と、を有し、
   前記仮想情報選択部は、前記距離が近いほど前記仮想情報の種類又は効果を増やす
   投影装置。
4. 実構造物に仮想情報を重畳させて投影する投影システムであって、
   複数の投影装置と、サーバと、を含み、
   前記投影装置は、
   他の前記投影装置で選択された、前記仮想情報に含まれる表示画層を、前記サーバから受信する他機の表示画層取得部と、
   前記仮想情報のうち前記表示画層を前記実構造物に重畳させて投影する仮想情報投影部と、を有する
   投影システム。
5. 実構造物に仮想情報を重畳させて投影する投影装置であって、
   他の投影装置で選択された、前記仮想情報に含まれる表示画層を受信する他機の表示画層取得部と、
   前記仮想情報のうち前記表示画層を前記実構造物に重畳させて投影する仮想情報投影部と、を有する
   投影装置。
6. センサユニットをさらに含み、
   前記センサユニットは、前記実構造物にかかる物理量の計測値を前記サーバに送信し、 前記サーバは、
   前記計測値に基づいて可視化情報を生成する可視化情報生成部を有し、
   前記投影装置は、
   前記可視化情報を取得する可視化情報取得部と、
   前記可視化情報を前記仮想情報として前記実構造物に重畳させて投影する仮想情報投影部と、を有する
   請求項１記載の投影システム。
7. センサユニットから前記実構造物にかかる物理量の計測値を取得し、前記計測値に基づいて可視化情報を生成する可視化情報生成部と、
   前記可視化情報を前記仮想情報として前記実構造物に重畳させて投影する仮想情報投影部と、を有する
   請求項２記載の投影装置。
8. 実構造物に仮想情報を重畳させて投影する投影方法であって、
   実空間における原点を設定する原点設定ステップと、
   前記原点からの変位として表された投影装置の位置を検出する変位検出ステップと、
   前記原点からの変位として表された他の前記投影装置の位置を受信する他機の変位取得ステップと、
   前記原点、前記投影装置の位置、及び他の前記投影装置の位置にもとづいて、実空間と仮想空間とを対応付ける基準点設定ステップと、を有する
   投影方法。
9. 実構造物に仮想情報を重畳させて投影する投影方法であって、
   投影装置から前記実構造物までの距離を取得する距離取得ステップと、
   前記距離に応じて、前記仮想情報の内容を選択する仮想情報選択ステップと、
   前記選択された前記仮想情報を前記実構造物に重畳させて投影する仮想情報投影ステップと、を有し、
   前記仮想情報選択ステップでは、前記距離が近いほど前記仮想情報の種類又は効果を増やす
   投影方法。
10. 実構造物に仮想情報を重畳させて投影する投影方法であって、
    他の投影装置で選択された、前記仮想情報に含まれる表示画層を受信する他機の表示画層取得ステップと、
    前記仮想情報のうち前記表示画層を前記実構造物に重畳させて投影する仮想情報投影ステップと、を有する
    投影方法。
11. センサユニットから前記実構造物にかかる物理量の計測値を取得し、前記計測値に基づいて可視化情報を生成する可視化情報生成ステップと、
    前記可視化情報を前記仮想情報として前記実構造物に重畳させて投影する仮想情報投影ステップと、を有する
    請求項８記載の投影方法。
12. コンピュータに請求項８乃至１１のいずれかの方法を実行させるためのプログラム。