JP7315422B2 - 状況把握支援システム - Google Patents

Description

本発明は、工事の状況把握を支援する技術に関する。

例えば、検査者等が工事現場の状況（工事の施工物（本願において、施工物とは竣工時の施工物に限られず、工事途中の施工物であってもよい）の状況等）を把握するためには、通常、その人が工事現場に行く必要があり、移動のための時間、費用及び労力がかかる。この移動の負担を軽減するために、検査者等が工事現場以外の場所において工事現場の状況を把握できるようにするシステムが提案されている。

例えば、特許文献１には、工事の進行中又は完成後の状況を表す電子画像を、工事関連者がコンピュータを用いて縦覧可能に記憶する記録縦覧システムが提案されている。特許文献１に記載の記録縦覧システムによれば、検査者はコンピュータを用いて電子画像を縦覧することで、工事現場に行くことなく、工事の検査を行うことができる。

特開２００１－２９０９１１号公報

特許文献１に記載の記録縦覧システムによる場合、工事現場以外の場所にいる検査者等の人は工事の施工物を立体的に観察することはできない。従って、例えば、施工物を正面から撮影した電子画像と側方から撮影した電子画像が記録されている場合、工事現場以外の場所にいる人はそれらの電子画像から施工物の立体的な形状を直感的に把握できない場合がある。そのため、特許文献１に記載の記録縦覧システムによる場合、工事現場以外の場所にいる人は、必ずしも十分に高い精度で工事現場の状況を把握できない。

上記の事情に鑑み、本発明は、工事現場以外の場所にいる人が工事現場に行かずとも、その人が工事現場に行った場合と遜色のない精度で工事現場の状況を把握できるようにする手段を提供する。

上記課題を解決するため、本発明は、光学センサを用いて工事現場の空間内の施工物の三次元形状を測定する三次元形状測定装置と、前記三次元形状測定装置が測定した三次元形状を表す三次元形状データを記憶する記憶装置と、前記工事現場以外の空間内にいるユーザである現場外部ユーザが使用する表示装置である現場外部用表示装置の位置及び姿勢を測定する現場外部用位置姿勢測定装置と、前記三次元形状データと前記現場外部用位置姿勢測定装置が測定した位置及び姿勢とに基づき定まる、前記工事現場の空間と座標系が共通の仮想空間にいる前記現場外部ユーザから見える前記施工物の三次元形状に対し、前記工事現場の状況に関する情報の入力欄を重畳した画像を表示する前記現場外部用表示装置と、前記現場外部用表示装置が表示する画像を見る前記現場外部ユーザの操作を受け付ける操作受付装置と、前記施工物を撮影する撮影装置とを備え、前記記憶装置は、前記現場外部ユーザが前記操作受付装置に対し操作を行い前記入力欄に入力した前記工事現場の状況に関する情報を示す工事現場状況データを記憶し、さらに、前記撮影装置が経時変化する前記施工物を複数のタイミングの各々において撮影した画像を表す画像データを当該画像データが表す前記施工物の位置を示す施工物位置データと対応付けて記憶し、前記現場外部用表示装置は、前記仮想空間にいる前記現場外部ユーザから見える前記施工物の三次元形状に、前記画像データが表す画像の対応する部分を重畳した画像を表示し、さらに、前記記憶装置が記憶している前記複数のタイミングの各々において前記施工物を撮影した画像を表す画像データと、当該画像データに対応付けて前記記憶装置が記憶している前記施工物位置データとを用いて、前記三次元形状データが表す三次元形状に対し、前記複数のタイミングの各々における前記施工物の画像を重畳した画像を表示する状況把握支援システムを第１の態様として提案する。

第１の態様に係る状況把握支援システムによれば、工事現場以外の場所にいる人は工事現場に行かずとも、その人が工事現場に行った場合と遜色のない精度で工事現場の状況を把握できる。さらに、工事現場以外の場所にいる人は工事現場に行かずとも、工事の施工物の実際の外観を観察することができるとともに、工事の施工物が経時変化した様子を視覚により直感的に把握することができる。

また、本発明は、第１の態様に係る状況把握支援システムであって、前記記憶装置は、前記工事現場状況データを、前記工事現場状況データの入力時に前記現場外部用表示装置が表示していた画像を表すデータと対応付けて記憶する、という構成を第２の態様として提案する。

第２の態様に係る状況把握支援システムによれば、工事現場以外の場所にいる人が施工物のどの部分を観察して情報を入力したかが分かる。

また、本発明は、第１又は第２の態様に係る状況把握支援システムであって、前記現場外部ユーザの音声を集音する現場外部用集音装置を備え、前記記憶装置は、前記現場外部用集音装置が集音した音声を表す音声データを、当該音声の集音時に前記現場外部用表示装置が表示していた画像を表すデータと対応付けて記憶する、という構成を第３の態様として提案する。

第３の態様に係る状況把握支援システムによれば、工事現場以外の場所にいる人が施工物の観察中に行った指示等が音声により分かり、それらを書面化する必要がない。

また、本発明は、第３の態様に係る状況把握支援システムであって、前記記憶装置は、前記現場外部用表示装置が前記入力欄を表示している期間に前記現場外部用集音装置が集音した音声を表す音声データを、当該期間中に前記入力欄に入力された前記工事現場の状況に関する情報を示す工事現場状況データと対応付けて記憶する、という構成を第４の態様として提案する。

第４の態様に係る状況把握支援システムによれば、工事現場以外の場所にいる人が工事現場の状況に関する情報の入力中に行った指示等が音声により分かる。

また、本発明は、第１乃至第４のいずれかの態様に係る状況把握支援システムであって、前記記憶装置は、前記三次元形状データが表す三次元形状のいずれの部分が前記現場外部用表示装置にどれだけ長く表示されたかを示す現場外部表示時間マップデータを記憶する、という構成を第５の態様として提案する。

第５の態様に係る状況把握支援システムによれば、工事現場以外の場所にいる人が施工物のどの部分にどれだけ注目したかが分かる。

また、本発明は、第１乃至第５のいずれかの態様に係る状況把握支援システムであって、前記工事現場にいるユーザである現場ユーザの頭部の位置及び姿勢を測定する現場位置姿勢測定装置を備え、前記記憶装置は、前記現場位置姿勢測定装置が継続して測定する位置及び姿勢に基づき、前記三次元形状データが表す三次元形状のいずれの部分が前記現場ユーザによってどれだけ長く観察されたかを示す現場観察時間マップデータを記憶する、という構成を第６の態様として提案する。

第６の態様に係る状況把握支援システムによれば、工事現場にいる人が施工物のどの部分にどれだけ注目したかが分かる。

また、本発明は、第１乃至第６のいずれかの態様に係る状況把握支援システムであって、前記三次元形状測定装置が前記施工物のうち過去に測定した部分を再度、測定した場合、前記記憶装置は、過去に測定された当該部分の三次元形状よりも新たに測定された当該部分の三次元形状の情報量が多い場合に限り、新たに測定された当該部分の三次元形状を表すデータを用いて記憶している前記三次元形状データを更新する、という構成を第７の態様として提案する。

第７の態様に係る状況把握支援システムによれば、例えば、三次元形状測定装置が施工物の近くでその三次元形状を測定し計測データを得た後に、施工物の遠くでその三次元形状を再度測定したとしても、計測データの情報量が既データ量より多くない限り三次元形状データが更新されないため、三次元形状データが表す三次元形状の詳細度が下がらない。

また、本発明は、第１乃至第７のいずれかの態様に係る状況把握支援システムであって、前記工事現場で行われる打音検査の音を集音する現場集音装置を備え、前記記憶装置は前記現場集音装置が集音した打音検査の音を表す打音データを、前記打音検査を行った前記施工物の部分の三次元形状を表すデータと対応付けて記憶する、という構成を第８の態様として提案する。

第８の態様に係る状況把握支援システムによれば、工事現場以外の場所にいる人は工事現場に行かずとも、工事現場で打音検査が行われたときの音を、打音検査が施工物のどの部分に対し行われたかを確認しながら聴くことができる。

また、本発明は、光学センサを用いて工事現場の空間内の施工物の三次元形状を測定する三次元形状測定装置と、前記三次元形状測定装置が測定した三次元形状を表す三次元形状データを記憶する記憶装置と、前記工事現場以外の空間内にいるユーザである現場外部ユーザが使用する表示装置である現場外部用表示装置の位置及び姿勢を測定する現場外部用位置姿勢測定装置と、前記三次元形状データと前記現場外部用位置姿勢測定装置が測定した位置及び姿勢とに基づき定まる、前記工事現場の空間と座標系が共通の仮想空間にいる前記現場外部ユーザから見える前記施工物の三次元形状に対し、前記工事現場の状況に関する情報の入力欄を重畳した画像を表示する前記現場外部用表示装置と、前記現場外部用表示装置が表示する画像を見る前記現場外部ユーザの操作を受け付ける操作受付装置と、前記工事現場にいるユーザである現場ユーザが手で前記施工物に触れたときに当該手が前記施工物から受ける力の大きさ及び方向を触感として測定する触感測定装置とを備え、前記記憶装置は、前記現場外部ユーザが前記操作受付装置に対し操作を行い前記入力欄に入力した前記工事現場の状況に関する情報を示す工事現場状況データを記憶し、さらに、前記触感測定装置が測定した触感を表す触感データを、前記手が触れた前記施工物の部分の三次元形状を表すデータと対応付けて記憶する状況把握支援システムを第９の態様として提案する。

第９の態様に係る状況把握支援システムによれば、工事現場以外の場所にいる人は工事現場に行かずとも、工事現場で作業者が工事の施工物に触れたときに受けた感触を、施工物のどの部分に触れたかを確認しながら、感じることができる。

また、本発明は、光学センサを用いて工事現場の空間内の施工物の三次元形状を測定する三次元形状測定装置と、前記三次元形状測定装置が測定した三次元形状を表す三次元形状データを記憶する記憶装置と、前記工事現場以外の空間内にいるユーザである現場外部ユーザが使用する表示装置である現場外部用表示装置の位置及び姿勢を測定する現場外部用位置姿勢測定装置と、前記三次元形状データと前記現場外部用位置姿勢測定装置が測定した位置及び姿勢とに基づき定まる、前記工事現場の空間と座標系が共通の仮想空間にいる前記現場外部ユーザから見える前記施工物の三次元形状に対し、前記工事現場の状況に関する情報の入力欄を重畳した画像を表示する前記現場外部用表示装置と、前記現場外部用表示装置が表示する画像を見る前記現場外部ユーザの操作を受け付ける操作受付装置と、前記工事現場にいるユーザである現場ユーザが手で前記施工物に触れたときに当該手が前記施工物と接触した部分の温度を測定する温度測定装置とを備え、前記記憶装置は、記現場外部ユーザが前記操作受付装置に対し操作を行い前記入力欄に入力した前記工事現場の状況に関する情報を示す工事現場状況データを記憶し、さらに、前記温度測定装置が測定した温度を示す温度データを、前記手が触れた前記施工物の部分の三次元形状を表すデータと対応付けて記憶する状況把握支援システムを第１０の態様として提案する。

第１０の態様に係る状況把握支援システムによれば、工事現場以外の場所にいる人は工事現場に行かずとも、工事現場で作業者が工事の施工物に触れたときに感じた温度を、施工物のどの部分に触れたかを確認しながら、感じることができる。

本発明によれば、工事現場以外の場所にいる人は工事現場に行かずとも、その人が工事現場に行った場合と遜色のない精度で工事現場の状況を把握できる。

一実施形態に係る状況把握支援システムの全体構成を示した図。 一実施形態に係るＭＲ－ＨＭＤの機能構成を示した図。 一実施形態に係る端末装置の機能構成を示した図。 一実施形態に係る端末装置の機能構成を示した図。 一実施形態に係るＶＲ－ＨＭＤの機能構成を示した図。 一実施形態に係るサーバ装置に記憶される各種データを示した図。 一実施形態に係るＭＲ－ＨＭＤが表示する画像を模式的に示した図。 一実施形態に係るＶＲ－ＨＭＤが表示する画像を模式的に示した図。 一実施形態に係るＶＲ－ＨＭＤが表示する画像を模式的に示した図。 一実施形態に係る端末装置が表示する画面を模式的に示した図。 一実施形態に係る端末装置が表示する画面を模式的に示した図。 一変形例に係る状況把握支援システムにおいて表示される画像を例示した図。

［実施形態］
以下、本発明の一実施形態に係る状況把握支援システム１を説明する。状況把握支援システム１は、工事現場にいる人と施工会社の本社や支店等の工事現場以外の場所にいる人とが工事現場の状況を共有して打合せを行う際や、工事の施工物の検査を担当する検査者が、工事現場に行かなくても工事現場の状況を把握できるようにするシステムである。また、状況把握支援システム１によれば、工事の発注者等の関係者が、工事現場以外の場所にいる人による施工状況の確認結果や、検査者による検査の結果や、その検査がどのように行われたかを示す情報（検査者が検査時に見ていた画像や発した音声等）を確認することができる。なお、以降は、状況把握支援システム１を工事現場以外にいる人による検査に用いた場合を用いて説明する。

図１は、状況把握支援システム１の全体構成を示した図である。図１において、工事現場の空間Ｓ１に配置されている施工物Ｃ１が検査対象の施工物である。空間Ｓ１にはＭＲ－ＨＭＤ（Mixed Reality - Head Mounted Display）１１（例えば、マイクロソフト（登録商標）社製のホロレンズ（登録商標））を頭部に装着した作業者Ｘ（請求の範囲に記載の現場ユーザの一例）がいる。

ＭＲ－ＨＭＤ１１は、透過型のディスプレイを有し、そのディスプレイに、実空間と座標系が共通の仮想空間に配置された施工物Ｃ１の三次元形状を表す画像（以下、「仮想画像」という）を表示する。その結果、作業者Ｘには、実物の施工物Ｃ１の上に施工物Ｃ１の仮想画像が重なって見える。

ＭＲ－ＨＭＤ１１は、モーションセンサ等で自装置（すなわち、ＭＲ－ＨＭＤ１１が装着されている作業者Ｘの頭部）の位置及び姿勢を継続的に測定し、施工物Ｃ１を含む工事現場内の物体の三次元の仮想画像のうち自装置の位置及び姿勢に応じた部分を表示する。そのため、作業者Ｘが移動したり頭部の方向を変えたりして、作業者Ｘの視点の位置が移動したり、視線の方向が変化したりしても、作業者Ｘに見えている実物の施工物Ｃ１と施工物Ｃ１の仮想画像は実質的にずれない。

物体（装置、ユーザの頭部等）の姿勢とは、物体が基準位置から回転している程度を意味する。姿勢の表現形式としては様々なものがあるが、本実施形態においては、座標空間において装置の基準位置からのＸ軸時計周りの回転角度（ロール角）、Ｙ軸時計周りの回転角度（ピッチ角）、Ｚ軸時計回りの回転角度（ヨー角）により物体の姿勢が表現されるものとする。地球における物体の姿勢は、例えば、北方向をＸ軸正方向、東方向をＹ軸正方向、上方向をＺ軸正方向とする座標空間において、Ｘ軸時計回りの回転角（ロール角）、Ｙ軸時計回りの回転角（ピッチ角）、Ｚ軸時計回りの回転角（ヨー角）により表現される。

ＭＲ－ＨＭＤ１１は一般的なＭＲ用のＨＭＤであるため、そのハードウェア構成の説明を省略する。

空間Ｓ１には、ＭＲ－ＨＭＤ１１との間で無線通信を行う端末装置１２が配置されている。端末装置１２は一般的なコンピュータであり、プログラムを含む各種データを記憶するメモリと、プログラムに従い各種データ処理を行うプロセッサと、外部の装置との間で各種データの通信を行う通信インタフェースとを備える。

端末装置１２は、ＭＲ－ＨＭＤ１１が撮影した画像を表す画像データと、ＭＲ－ＨＭＤ１１が測定したＭＲ－ＨＭＤ１１の位置及び姿勢を示す位置姿勢データとに基づき、施工物Ｃ１を含む工事現場内の物体の三次元形状を測定し、測定した三次元形状を表す三次元形状データを生成する。また、端末装置１２は、生成した三次元形状データが表す三次元形状を構成する複数の領域の各々に、ＭＲ－ＨＭＤ１１が撮影した画像の対応する領域（テクスチャー）を付与（重畳）するテクスチャーマッピングを行う。

なお、図１に示されるように、空間Ｓ１には既知の位置にマークＭ１～Ｍ３が配置されている。これらのマークは、ＭＲ－ＨＭＤ１１がそれらを撮影することで、ＭＲ－ＨＭＤ１１の位置及び姿勢を特定するために用いられる基準点の役割を果たす。

端末装置１２は、同じ対象物を異なる視点から撮影した複数の画像の各々から共通する特徴点を抽出し、それらの共通する特徴点の各画像における位置に基づいて、対象物の三次元形状を測定する方式（以下、「ＳｆＭ（Structure from Motion）方式」という）により、施工物Ｃ１の三次元形状を測定する。ＳｆＭ方式は既知の技術であるため、その説明を省略する。

端末装置１２はテクスチャーマッピングを行った三次元形状データ（以下、「テクスチャー付き三次元形状データ」という）を即時にＭＲ－ＨＭＤ１１に送信する。ＭＲ－ＨＭＤ１１は、端末装置１２から受信したテクスチャー付三次元形状データが表すテクスチャーが付与された三次元形状（以下、「テクスチャー付三次元形状」という）を、上述した仮想画像として表示する。

従って、ＭＲ－ＨＭＤ１１を装着した作業者Ｘが様々な位置から様々な方向に施工物Ｃ１を見ると、施工物Ｃ１のうち作業者Ｘの視野に入った部分のテクスチャー付三次元形状データが実質的にリアルタイムに生成され、ＭＲ－ＨＭＤ１１に表示される。

ＭＲ－ＨＭＤ１１を装着した作業者Ｘが様々な位置から様々な方向に施工物Ｃ１を見て、端末装置１２により施工物Ｃ１の視認できる全ての部分のテクスチャー付三次元形状データが生成されると、作業者ＸはＭＲ－ＨＭＤ１１に対し所定の操作を行い、ＭＲ－ＨＭＤ１１と端末装置１２に対するテクスチャー付三次元形状データの生成の処理を終了させる。テクスチャー付三次元形状データの生成の処理が終了後も、生成されたテクスチャー付三次元形状データは端末装置１２に記憶される。

端末装置１２は、ＭＲ－ＨＭＤ１１に加え、空間Ｓ１外に配置されたサーバ装置１３とも通信を行う。なお、端末装置１２とサーバ装置１３の間の通信は、有線、無線、それらの混合のいずれによって行われてもよい。端末装置１２は、テクスチャー付三次元形状データの生成の処理を終了すると、生成したテクスチャー付三次元形状データをサーバ装置１３に送信する。

サーバ装置１３は一般的なコンピュータであり、プログラムを含む各種データを記憶するメモリと、プログラムに従い各種データ処理を行うプロセッサと、外部の装置との間で各種データの通信を行う通信インタフェースとを備える。

サーバ装置１３は、端末装置１２から受信したテクスチャー付三次元形状データを記憶する。サーバ装置１３は、端末装置１２に加え、端末装置１４及び端末装置１６との間でも通信を行う。なお、端末装置１４とサーバ装置１３の間の通信、及び、端末装置１６とサーバ装置１３の間の通信は、有線、無線、それらの混合のいずれによって行われてもよい。

端末装置１４は、工事現場以外のオフィス空間である空間Ｓ２に配置されている。空間Ｓ２には、ＶＲ－ＨＭＤ（Virtual Reality - Head Mounted Display）１５（請求の範囲に記載の現場外部用表示装置の一例）を頭部に装着した検査者Ｙ（請求の範囲に記載の現場外部ユーザの一例）がいる。検査者Ｙは、施工物Ｃ１の検査の担当者である。

端末装置１４は一般的なコンピュータであり、プログラムを含む各種データを記憶するメモリと、プログラムに従い各種データ処理を行うプロセッサと、外部の装置との間で各種データの通信を行う通信インタフェースとを備える。

端末装置１４は、サーバ装置１３からテクスチャー付三次元形状データを受信し、受信したテクスチャー付三次元形状データと、ＶＲ－ＨＭＤ１５の位置及び姿勢（すなわち、ＶＲ－ＨＭＤ１５が装着された検査者Ｙの頭部の位置及び姿勢）に基づき定まる、空間Ｓ１と座標系が共通の仮想空間にいる検査者Ｙから見える施工物Ｃ１の三次元形状に対し、施工物Ｃ１の工事に関する検査結果（請求の範囲に記載の工事現場の状況に関する情報の一例）の入力欄を重畳した画像を表すデータを生成し、ＶＲ－ＨＭＤ１５に送信する。また、端末装置１４は、ＶＲ－ＨＭＤ１５に対し検査者Ｙが行う操作により入力された検査結果を示す検査結果データ（請求の範囲に記載の工事現場状況データの一例）をＶＲ－ＨＭＤ１５から受信し、受信した検査結果データをサーバ装置１３に送信する。

ＶＲ－ＨＭＤ１５は、例えば透過型でないディスプレイ（装着者から外部が見えないディスプレイ）を有し、そのディスプレイに、空間Ｓ１と座標系が共通の仮想空間に配置された施工物Ｃ１のテクスチャー付三次元形状を表示する。ＶＲ－ＨＭＤ１５は、モーションセンサ等で自装置の位置及び姿勢を継続的に測定し、施工物Ｃ１のテクスチャー付三次元形状のうち自装置の位置及び姿勢に応じた部分、すなわち、仮想空間にいる検査者Ｙから見える部分を表示する。そのため、検査者Ｙは移動したり頭部の方向を変えたりして、施工物Ｃ１のテクスチャー付三次元形状を様々な位置から様々な方向に観察することができる。

ＶＲ－ＨＭＤ１５が施工物Ｃ１のテクスチャー付三次元形状の表示を開始するときに表示される部分は、例えば、予め設定された工事現場の位置から、予め設定された方向を向いたときに見える部分である。なお、この予め設定された位置及び方向は、例えば、工事現場に作業者Ｘがいる場合、作業者Ｘの位置及び作業者Ｘが向いている方向により決定されてもよい。また、この予め設定された位置及び方向は、例えば、最後に検査者Ｙが施工物Ｃ１を見たときの仮想空間における検査者Ｙの位置及び方向等により更新されてもよい。また、ＶＲ－ＨＭＤ１５が施工物Ｃ１のテクスチャー付三次元形状の表示を開始するときに表示される部分が、空間Ｓ２における検査者Ｙの位置及び検査者Ｙが向いている方向に基づき決定されてもよい。

ＶＲ－ＨＭＤ１５が表示するテクスチャー付三次元形状に検査結果の入力欄が重畳表示されている場合、検査者ＹはＶＲ－ＨＭＤ１５に仮想キーボードを表示させ、仮想キーボードを叩くジェスチャーを行うことにより、入力欄に検査結果を入力することができる。従って、検査者Ｙは空間Ｓ１に行って施工物Ｃ１の実物を見る場合と近い感覚で、施工物Ｃ１の三次元仮想画像を見ながら、施工物Ｃ１の検査を行うことができる。

ＶＲ－ＨＭＤ１５は一般的なＶＲ用のＨＭＤであるため、そのハードウェア構成の説明を省略する。

端末装置１６は、施工物Ｃ１の工事の発注者等の関係者Ｚが使用する端末装置である。端末装置１６は一般的なコンピュータであり、プログラムを含む各種データを記憶するメモリと、プログラムに従い各種データ処理を行うプロセッサと、外部の装置との間で各種データの通信を行う通信インタフェースとを備える。

端末装置１６は関係者Ｚの操作に応じてサーバ装置１３から施工物Ｃ１のテクスチャー付三次元形状データと、施工物Ｃ１の工事に関する検査結果データを受信し、施工物Ｃ１のテクスチャー付三次元形状と検査結果を表示する。従って、関係者Ｚは、工事の対象物である施工物Ｃ１の状態を三次元仮想画像により確認しながら、工事の検査結果を容易に確認することができる。

以下に、上述した状況把握支援システム１を実現するためのＭＲ－ＨＭＤ１１、端末装置１２、端末装置１４、ＶＲ－ＨＭＤ１５の機能構成を説明する。なお、サーバ装置１３は一般的なサーバ装置（例えば、Ｗｅｂサーバ装置）であるため、機能構成の説明を省略する。また、端末装置１６はサーバ装置にアクセスする一般的な端末装置（例えば、Ｗｅｂブラウザ機能を備えた端末装置）であるため、機能構成の説明を省略する。

図２は、ＭＲ－ＨＭＤ１１の機能構成を示した図である。記憶部１１１は、各種データを記憶する。撮影部１１２（請求の範囲に記載の撮影装置の一例）は、ＭＲ－ＨＭＤ１１の正面方向を撮影方向として撮影を行い、撮影した画像を表す画像データを生成する。集音部１１３（請求の範囲に記載の現場集音装置の一例）は、ＭＲ－ＨＭＤ１１の周囲の音を集音し、集音した音を表す音データを生成する。撮影部１１２が生成する画像データと集音部１１３が生成する音データは同期され、検査用データとして検査に利用される場合がある。

位置姿勢測定部１１４（請求の範囲に記載の現場位置姿勢測定装置の一例）は、ＭＲ－ＨＭＤ１１の位置及び姿勢（すなわち、ＭＲ－ＨＭＤ１１が装着されている作業者Ｘの頭部の位置及び姿勢）を測定する。位置姿勢測定部１１４は、撮影部１１２が撮影した画像からマークＭ１～Ｍ３の認識を試み、マークＭ１～Ｍ３が認識できた場合、実空間における既知のマークＭ１～Ｍ３の位置と、画像におけるマークＭ１～Ｍ３の位置とに基づき、実空間におけるＭＲ－ＨＭＤ１１の位置及び姿勢を特定する。また、位置姿勢測定部１１４は、モーションセンサによりＭＲ－ＨＭＤ１１の鉛直方向に対する傾きと、３軸周りの回転角度及び３軸方向における移動距離を継続的に測定し、マークＭ１～Ｍ３の位置に基づき特定したＭＲ－ＨＭＤ１１の位置及び姿勢にその後の変化分を順次加算してゆくことで、現在のＭＲ－ＨＭＤ１１の位置及び姿勢を測定する。ただし、モーションセンサの測定値は時間の経過に伴い誤差が蓄積していくので、位置姿勢測定部１１４は、モーションセンサの測定値により測定したＭＲ－ＨＭＤ１１の位置及び姿勢を、撮影部１１２が継続的に撮影する複数の画像に含まれる共通の特徴点の位置の変化に基づき補正する。

送信部１１５は、端末装置１２に画像データ、ＭＲ－ＨＭＤ１１の位置及び姿勢を示す位置姿勢データ等の各種データを送信する。受信部１１６は、端末装置１２からテクスチャー付三次元形状データ等の各種データを受信する。表示部１１７は、テクスチャー付三次元形状データが表すテクスチャー付三次元形状等の画像を表示する。発音部１１８は、例えば検査用データが表す三次元形状の画像の再生時等に音を発する。

ジェスチャー認識部１１９は、撮影部１１２が撮影した画像から作業者Ｘの手を認識し、認識した手の形や動きに基づいて、作業者Ｘが行うジェスチャーを認識する。

図３は、端末装置１２の機能構成を示した図である。記憶部１２１は、各種データを記憶する。受信部１２２は、ＭＲ－ＨＭＤ１１から画像データ、ＭＲ－ＨＭＤ１１の位置及び姿勢を示す位置姿勢データ等の各種データを受信する。また、受信部１２２は、サーバ装置１３から各種データを受信する。送信部１２３は、ＭＲ－ＨＭＤ１１にテクスチャー付三次元形状データ等の各種データを送信する。また、送信部１２３は、サーバ装置１３にテクスチャー付三次元形状データ等の各種データを送信する。

三次元形状測定部１２４は、受信部１２２を介してＭＲ－ＨＭＤ１１から送信されてくる画像データを用いて、ＳｆＭ方式により施工物Ｃ１の三次元形状を測定し、測定した三次元形状を表す三次元形状データを生成する。なお、三次元形状測定部１２４は、ＭＲ－ＨＭＤ１１の撮影部１１２と共に、請求の範囲に記載の三次元形状測定装置の一例を構成する。

三次元形状測定部１２４は、撮影部１１２により継続的に撮影される画像に基づき順次、三次元形状データを生成するが、施工物Ｃ１のうち一連の撮影に伴い既に三次元形状を測定している部分に関し再度、三次元形状を測定した場合、既に測定されている三次元形状の情報量よりも新たに測定された三次元形状の情報量の方が多い場合に限り、その部分に関し、新たに測定した三次元形状を表す三次元形状データで既存の三次元形状データを更新する。情報量が多いとは、例えば、三次元形状の測定に用いた画像において、撮影部１１２から施工物Ｃ１までの距離が近いこと、画像の鮮明度が高いこと、画像のコントラストが大きいこと等の少なくとも１つを意味する。

上述したように、三次元形状測定部１２４は情報量に基づき選択的に三次元形状データを更新するため、例えば作業者Ｘが施工物Ｃ１のある部分を近くで見た後に離れて見たり、施工物Ｃ１のある部分を静止して見た後に動きながら見たりしても、三次元形状データが表すその部分の三次元形状の精度が更新によって落ちてしまう、という不都合が回避される。

テクスチャーマッピング部１２５は、受信部１２２を介してＭＲ－ＨＭＤ１１から送信されてくる画像データを用いて、三次元形状測定部１２４が測定した施工物Ｃ１の三次元形状に対しテクスチャーマッピングを行い、テクスチャー付三次元形状データを生成する。

重畳部１２６は、例えば、テクスチャー付三次元形状データが表すテクスチャー付三次元形状に対し、作業者Ｘのジェスチャーによる操作を受け付けるための仮想的な操作子（キーボード等）の画像を重畳する。

図４は、端末装置１４の機能構成を示した図である。記憶部１４１は、各種データを記憶する。受信部１４２は、サーバ装置１３からテクスチャー付三次元形状データ等の各種データを受信する。また、受信部１４２は、ＶＲ－ＨＭＤ１５からＶＲ－ＨＭＤ１５の位置及び姿勢を示す位置姿勢データ、検査結果データ等の各種データを受信する。送信部１４３は、ＶＲ－ＨＭＤ１５にテクスチャー付三次元形状データ、検査項目毎に検査結果の入力欄等を示す検査項目データ等の各種データを送信する。また、送信部１４３は、サーバ装置１３に検査結果データ等の各種データを送信する。また、重畳部１４４は、例えば、テクスチャー付三次元形状データが表すテクスチャー付三次元形状に対し、検査者Ｙのジェスチャーによる操作を受け付けるための仮想的な操作子（キーボード等）や、施工物Ｃ１の工事に関する検査結果の入力欄等の画像を重畳する。

図５は、ＶＲ－ＨＭＤ１５の機能構成を示した図である。記憶部１５１は、各種データを記憶する。撮影部１５２は、ＶＲ－ＨＭＤ１５の正面方向を撮影方向として撮影を行い、ジェスチャー認識部１５９（撮影部１５２と共に請求の範囲に記載の操作受付装置の一例を構成）に、撮影部１５２が撮影した画像を引き渡す。集音部１５３（請求の範囲に記載の現場外部用集音装置の一例）は、ＶＲ－ＨＭＤ１５の周囲の音（主に検査者Ｙの音声）を集音し、集音した音を表す音データ（請求の範囲に記載の音声データの一例）を生成する。表示部１５７が表示している画像を表すデータと集音部１５３が生成する音データは同期されて、検査者Ｙが検査を行った状況を確認するための確認用データとして利用される場合がある。

位置姿勢測定部１５４（請求の範囲に記載の現場外部用位置姿勢測定装置の一例）は、ＶＲ－ＨＭＤ１５の位置及び姿勢を測定する。位置姿勢測定部１５４は、モーションセンサによりＶＲ－ＨＭＤ１５の鉛直方向に対する傾きと、３軸周りの回転角度及び３軸方向における移動距離を継続的に測定し、例えばＶＲ－ＨＭＤ１５の起動時等に決定した基準となるＶＲ－ＨＭＤ１５の位置及び姿勢にその後の変化分を順次加算してゆくことで、現在のＶＲ－ＨＭＤ１５の位置及び姿勢を測定する。

なお、ＭＲ－ＨＭＤ１１は、施工物Ｃ１の三次元形状を測定するために自装置の位置及び姿勢を高い精度で測定する必要があるが、ＶＲ－ＨＭＤ１５は、検査者Ｙがテクスチャー付三次元形状を観察するために用いられるため、工事現場の空間Ｓ１と座標系が共通の仮想空間内における検査者Ｙの位置及び姿勢が分かればよく、ＭＲ－ＨＭＤ１１に求められる程の高い精度で自装置の位置及び姿勢を測定する必要はない。従って、位置姿勢測定部１５４はＭＲ－ＨＭＤ１１の位置姿勢測定部１１４が行うような、画像に含まれる特徴点の位置に基づくＶＲ－ＨＭＤ１５の位置及び姿勢の補正は行わなくてもよい。ただし、位置姿勢測定部１５４がそのような補正の処理を行ってもよい。

送信部１５５は、端末装置１４にＶＲ－ＨＭＤ１５の位置及び姿勢を示す位置姿勢データ、検査結果データ等の各種データを送信する。受信部１５６は、端末装置１４からテクスチャー付三次元形状データ、検査項目データ等の各種データを受信する。表示部１５７（請求の範囲に記載の現場外部用表示装置の一例）は、テクスチャー付三次元形状データが表すテクスチャー付三次元形状等の画像を表示する。発音部１５８は、例えば検査用データが表す三次元形状の画像の再生時等に音を発する。

ジェスチャー認識部１５９（撮影部１５２と共に請求の範囲に記載の操作受付装置の一例を構成）は、撮影部１５２が撮影した画像から検査者Ｙの手を認識し、認識した手の形や動きに基づいて、検査者Ｙが行うジェスチャーを認識する。

続いて、状況把握支援システム１において利用される各種データを説明する。状況把握支援システム１において利用されるデータには、予めサーバ装置１３に記憶されており、必要に応じて端末装置１２、端末装置１４又は端末装置１６に送信されるものと、ＭＲ－ＨＭＤ１１又は端末装置１２において生成されてサーバ装置１３に送信され記憶されるものと、ＶＲ－ＨＭＤ１５又は端末装置１４において生成されてサーバ装置１３に送信され記憶されるものがある。いずれのデータも、サーバ装置１３で記憶され、管理される。

図６は、サーバ装置１３の記憶部（請求の範囲に記載の記憶装置の一例）に記憶される各種データを示した図である。図６に示されるデータの各々には、それらのデータが生成された時刻を示す時刻データが伴っている。

画像データ群Ｄ１００は、ＭＲ－ＨＭＤ１１が撮影した画像を表す画像データの集まりである。位置データ群Ｄ１０１は、画像データ群Ｄ１００に含まれる個々の画像データに対応する位置データ（請求の範囲に記載の施工物位置データの一例）の集まりである。位置データ群Ｄ１０１に含まれる位置データは、対応する画像データが表す施工物Ｃ１の位置を示すデータである。音データ群Ｄ１０２は、ＭＲ－ＨＭＤ１１が集音した音を表す音データの集まりである。

三次元形状データ群Ｄ１０３は、端末装置１２が生成したテクスチャー付三次元形状データの集まりである。三次元形状データ群Ｄ１０３に含まれるテクスチャー付三次元形状データの各々には、そのテクスチャー付三次元形状データの生成に用いられた画像データが対応付けられている。

検査項目データ群Ｄ１０４は、検査項目毎に検査項目の内容と検査結果の入力欄を示す検査項目データの集まりである。検査項目データ群Ｄ１０４には、検査対象の工事又は施工物の種別に応じて異なる検査項目データが含まれている。

検査者データ群Ｄ１０５は、複数の検査者の各々を識別する検査者データの集まりである。検査者データは、例えば、検査者の名称とパスワード並びに検査実施日を示す。

検査結果データ群Ｄ１０６は、検査者が行った検査の結果を示す検査結果データの集まりである。検査結果データ群Ｄ１０６に含まれる検査結果データの各々は、検査に用いられたテクスチャー付三次元形状データに対応付けられている。また、検査結果データ群Ｄ１０６に含まれる検査結果データの各々には、検査に用いられた検査項目データと、当該検査に関する検査者データが対応付けられている。

表示ログデータ群Ｄ１０７は、検査結果データの入力時にＶＲ－ＨＭＤ１５が表示していた画像を表す表示ログデータ（請求の範囲に記載の検査結果データの入力時に現場外部用表示装置が表示していた画像を表すデータ、及び、音声の集音時に現場外部用表示装置が表示していた画像を表すデータの一例）の集まりである。音声ログデータ群Ｄ１０８は、検査結果データの入力時にＶＲ－ＨＭＤ１５が集音した音を表す音データである音声ログデータの集まりである。なお、音声ログデータが表す音は、主に検査者の音声である。検査結果データ群Ｄ１０６に含まれる検査結果データの各々には、表示ログデータ及び音声ログデータが対応付けられている。同じ検査結果データに対応付けられている表示ログデータと音声ログデータは同期再生されて検査時の状況の確認等に用いられる。

設計データ群Ｄ１０９は、検査対象の施工物の各々の三次元形状の設計値を示す設計データの集まりである。三次元形状データ群Ｄ１０３に含まれるテクスチャー付三次元形状データの各々には、そのテクスチャー付三次元形状データが表す施工物の三次元形状の設計値を示す設計データが対応付けられている。

現場観察時間マップデータ群Ｄ１１０は、工事現場にいる作業者によって、施工物の三次元形状のいずれの部分がどれだけ長く観察されたかを示す現場観察時間マップデータの集まりである。

現場外部表示時間マップデータ群Ｄ１１１は、検査者に対し、施工物の三次元形状のいずれの部分がどれだけ長く表示されたかを示す現場外部表示時間マップデータの集まりである。

三次元形状データ群Ｄ１０３に含まれるテクスチャー付三次元形状データの各々には、テクスチャー付三次元形状データが表す施工物に応じた現場観察時間マップデータ及び現場外部表示時間マップデータが対応付けられている。

続いて、状況把握支援システム１により、作業者Ｘ、検査者Ｙ及び関係者Ｚに対し表示される画像を説明する。

図７は、ＭＲ－ＨＭＤ１１により作業者Ｘに対し表示される画像を模式的に示した図である。ＭＲ－ＨＭＤ１１を装着した作業者ＸがマークＭ１～Ｍ３に視線を向けた後、施工物Ｃ１に視線を向けると、施工物Ｃ１を含む空間Ｓ１内の物体のうち作業者Ｘから見える部分の三次元形状が実質的にリアルタイムに測定されるとともに、測定された三次元形状に対しテクスチャーマッピングが行われる。つまり、作業者Ｘが視点の位置又は視線の方向を変える度に、ＭＲ－ＨＭＤ１１が撮影した画像群が表す三次元形状を表す三次元形状データが端末装置１２において順次、生成される。そして、三次元形状データの生成が完了した後に作業者Ｘが施工物Ｃ１を見ると、図７（Ａ）に示すように、施工物Ｃ１のテクスチャー付三次元形状がＭＲ－ＨＭＤ１１の透過型のディスプレイに表示される。

なお、図７に示されるように、ＭＲ－ＨＭＤ１１のディスプレイにはテクスチャー付三次元形状に対し重畳された、「スキャン終了」ボタン等の仮想的な操作子が表示される。作業者Ｘは、ジェスチャーによりそれらの操作子を操作することで、テクスチャー付三次元形状データの生成の開始や終了、動画の撮影の開始や終了等を指示することができる。

図７（Ａ）の画像に含まれている「テクスチャー除去」ボタンに対し作業者Ｘが操作を行うと、ＭＲ－ＨＭＤ１１のディスプレイには図７（Ｂ）に示すように、テクスチャーが付与されていない三次元形状が表示される。図７（Ａ）の画像がディスプレイに表示される場合、作業者Ｘには実物の施工物Ｃ１と、テクスチャーマッピングが行われた施工物Ｃ１の仮想画像が重なって見えるため、状況把握支援システム１によって測定された三次元形状が把握しづらい場合がある。図７（Ｂ）の画像がディスプレイに表示されれば、作業者Ｘは状況把握支援システム１により測定された施工物Ｃ１の三次元形状が、実物の施工物Ｃ１の三次元形状とどれだけ一致しているかを容易に確認できる。

作業者Ｘが施工物Ｃ１を様々な位置から様々な方向に見て、施工物Ｃ１の視認できる部分の全部に関しテクスチャー付三次元形状データが生成されたことを確認した後、ＭＲ－ＨＭＤ１１のディスプレイに表示されている「スキャン終了」ボタンに対し操作を行うと、その時点で端末装置１２に記憶されているテクスチャー付三次元形状データ、検査用データ等がサーバ装置１３に送信され、検査者Ｙにより利用可能となる。

図８及び図９は、ＶＲ－ＨＭＤ１５により検査者Ｙに対し表示される画像を模式的に示した図である。検査者Ｙは、空間Ｓ２内で移動したり頭部の方向を変更したりすることで、工事現場の空間Ｓ１と座標系が共通の仮想空間内において施工物Ｃ１のテクスチャー付三次元形状を希望する任意の位置から任意の方向に観察することができる。なお、空間Ｓ２において検査者Ｙが移動可能な範囲は、必ずしも空間Ｓ１ほど広くない。従って、検査者Ｙは、例えば、ディスプレイに表示されている画像を右左又は上下にずらすようなジェスチャーを行ったり、足踏みや体の向きの変更等の所定の動作を行ったりすることで、空間Ｓ２内では大きく移動せずに仮想空間内で大きく移動できる。

図８に示されるように、ＶＲ－ＨＭＤ１５のディスプレイには施工物Ｃ１を含む空間Ｓ１内の物体のテクスチャー付三次元形状に加え、その画像に対し重畳された「検査開始」ボタン等の仮想的な操作子が表示される。検査者Ｙは、ジェスチャーによりそれらの操作子を操作することで、検査の開始や終了等を指示することができる。

検査者Ｙが図８（Ａ）の画像に含まれている「検査開始」ボタンに対し操作を行うと、ＶＲ－ＨＭＤ１５のディスプレイには図８（Ｂ）のような画像が表示される。それと同時に、ＶＲ－ＨＭＤ１５のディスプレイに表示されている画像の記録と、ＶＲ－ＨＭＤ１５の周囲の音（主に検査者Ｙの音声）の記録が開始される。ＶＲ－ＨＭＤ１５のディスプレイに表示されている画像は表示ログデータとして端末装置１４に記憶される。また、ＶＲ－ＨＭＤ１５の周囲の音は音声ログデータとして端末装置１４に記憶される。

図８（Ｂ）の画像には、施工物Ｃ１の工事に応じた検査項目に関する説明及び検査結果の入力欄と、検査者Ｙの文字入力を受け付ける仮想キーボードが含まれている。また、図８（Ｂ）の画像には、図８（Ａ）の画像に含まれる「検査開始」ボタンに代えて、「検査終了」ボタンが含まれている。検査者Ｙは施工物Ｃ１のテクスチャー付三次元形状を観察しながら、表示される検査項目に関し検査を行い、検査結果を入力欄に入力する作業を、全ての検査項目に関し行う。検査者Ｙにより入力された検査結果は検査結果データとして端末装置１４に記憶される。

検査者Ｙが「検査終了」ボタンに対し操作を行うと、ＶＲ－ＨＭＤ１５のディスプレイには図８（Ａ）のような画像が表示されるとともに、ＶＲ－ＨＭＤ１５のディスプレイに表示されている画像の記録と、ＶＲ－ＨＭＤ１５の周囲の音の記録が終了される。続いて、端末装置１４は、記憶している検査結果データ、表示ログデータ及び音声ログデータをサーバ装置１３に送信する。

検査者Ｙは、図８の仮想画面に表示される「検査用データ再生」ボタンに対しジェスチャーによるタッチ操作を行うことで、工事現場において撮影された映像とそのときに工事現場で聞こえていた音を再生することができる。

また、検査者Ｙが図８（Ａ）又は図８（Ｂ）の画像に含まれている「ズレ表示」ボタンに対し操作を行うと、ＶＲ－ＨＭＤ１５のディスプレイには図９のような画像が表示される。図９の画像には、テクスチャー付三次元形状データが表す施工物Ｃ１の三次元形状に対し、設計データが表す施工物Ｃ１の三次元形状（破線）が重畳されている。検査者Ｙは、例えば破線で示される施工物Ｃ１の三次元形状の任意の点をジェスチャーにより指定することで、その点に関する設計値と実物の施工物との差異を表示させることができる。

検査者Ｙは、必要に応じて検査用データを再生し、また、図９のような画像から得られる情報を参考としながら、検査を効率的に行うことができる。

検査者Ｙによる検査が終了し、検査結果データ等が端末装置１４からサーバ装置１３に送信されると、関係者Ｚは端末装置１６を用いて検査結果を閲覧することができる。図１０は、端末装置１６に表示される画面を模式的に示した図である。図１０の画面において、関係者Ｚはマウス操作等によって施工物Ｃ１のテクスチャー付三次元形状を希望する任意の位置から任意の方向に見ることができる。また、図１０の画面において、関係者Ｚは、検査者Ｙにより行われた検査の結果を確認することができる。

関係者Ｚは、図１０の画面に表示される「確認用データ再生」ボタンに対しマウス等で操作を行うことで、検査時に検査者Ｙに対しＶＲ－ＨＭＤ１５が表示していた画像と、その時に検査者Ｙが発した音声を再生することができる。関係者Ｚはそれらの画像及び音声を視聴することで、検査者Ｙが施工物のどの部分を観察しながらどのように検査結果を記載したかを確認することができる。

また、関係者Ｚは、図１０の画面に表示される「観察マップ表示（現場）」ボタンに対しマウス等で操作を行うことで、端末装置１６のディスプレイに、図１１に示すような画像を表示させることができる。図１１の画像には、テクスチャー付三次元形状データが表す施工物Ｃ１の三次元形状に対し、現場観察時間マップデータが表す情報、すなわち、作業者Ｘにより施工物Ｃ１のどの部分がどれだけ長く観察されたか、という情報が、ヒートマップ形式で表示される。例えば、図１１の領域Ａ１や領域Ａ２は、他の領域よりも長時間、作業者Ｘにより観察されたことが分かる。

また、関係者Ｚは、図１０の画面に表示される「観察マップ表示（検査時）」ボタンに対しマウス等で操作を行うことで、端末装置１６のディスプレイに、図１１に示した画像と類似する画像を表示させることができる。この場合、端末装置１６のディスプレイに表示される画像には、テクスチャー付三次元形状データが表す施工物Ｃ１の三次元形状に対し、現場外部表示時間マップデータが表す情報、すなわち、検査者Ｙにより施工物Ｃ１のどの部分がどれだけ長く観察されたか、という情報が、ヒートマップ形式で表示される。

関係者Ｚは、それらの画像を見ることによって、作業者Ｘ又は検査者Ｙが施工物Ｃ１のどの部分に注目したかを直感的に知ることができる。

［変形例］
上述の実施形態は本発明の一具体例であって、本発明の技術的思想の範囲内において様々に変形可能である。以下にそれらの変形の例を示す。なお、以下に示す２以上の変形例が適宜組み合わされてもよい。

（１）上述した実施形態においては、工事現場において作業者が工事の施工物を観察し、その施工物のテクスチャー付三次元形状データを生成する作業は１度のみであることが想定されている。しかしながら、作業者が同じ工事現場の施工物を、例えば数日といった期間をあけて複数回、繰り返し観測し、異なるタイミングにおける同じ施工物のテクスチャー付三次元形状データを状況把握支援システム１に生成・記憶させてもよい。

図１２は、ＭＲ－ＨＭＤ１１が異なる複数のタイミングｔ１～ｔ５の各々において生成された施工物Ｃ２の画像Ｐ（ｔ１）～Ｐ（ｔ５）を、タイミングｔ５に測定した施工物Ｃ２を含む空間Ｓ１内の物体の三次元形状に対し重畳した画像である。なお、図１２の例では、施工物Ｃ２はトンネルであり、画像Ｐ（ｔ１）～Ｐ（ｔ５）は、各タイミングにおける掘削面の画像である。図１２の画像において、施工物Ｃ２の三次元形状に対し重畳されている画像Ｐ（ｔ１）～Ｐ（ｔ５）の位置は、それらの画像を表す画像データに対応付けて記憶されている位置データが示す位置である。

なお、図１２の例では、画像Ｐ（ｔ１）～Ｐ（ｔ５）は施工物Ｃ２を含む空間Ｓ１内の物体を表す二次元画像（例えば、ＭＲ－ＨＭＤ１１の撮影部１１２が撮影した画像を視点の位置及び視線の方向に応じて変形したもの）であるが、画像Ｐ（ｔ１）～Ｐ（ｔ５）として、タイミングｔ１～ｔ５の各々において生成されたテクスチャー付三次元形状データが表す三次元画像が用いられてもよい。

例えば、検査者は、図１２に示されるような画像をＶＲ－ＨＭＤ１５に表示させることによって、施工物が構築されていった経過を直感的に知ることができる。

（２）上述したように、作業者Ｘは図７の画像に含まれる「録画開始」ボタンに対し操作を行うことで、録画の開始を指示できる。この機能により録画される対象は特に限定されないが、例えば、工事現場で打音検査が行われる場合、その打音検査の音を表す打音データを含む検査用データを記録するために、この機能が用いられてもよい。検査者Ｙは図８の画像に含まれる「検査用データ再生」ボタンに対し操作を行うことで、工事現場において行われた打音検査の様子を視聴することができる。なお、上述した打音検査の音を表す打音データを含む検査用データには、通常、作業者Ｘが打音検査を行った施工物の部分の画像（実物の施工物を撮影した三次元画像）を表す画像データが含まれている。従って、検査者Ｙは施工物のどの部分に対し打音検査が行われたかを確認しながら、打音を聴くことができる。

また、打音データが、例えば図１２に示される画像Ｐ（ｔ１）～Ｐ（ｔ５）のうち打音検査が行われたタイミングに応じた画像と対応付けて記憶され、図１２に示される画像においてその対応付けが表示されてもよい。この場合、検査者Ｙは検査時に、経時変化してゆく施工物のどのタイミングにおいて行われた打音検査の打音であるかを直感的に把握することができる。

（３）工事現場の空間Ｓ１において作業者Ｘが空間Ｓ１内の物体の三次元形状の測定のために施工物の観察等を行う作業と、そのように測定される空間Ｓ１内の物体の三次元形状を空間Ｓ２にいる検査者Ｙが仮想空間内で見ながら検査を行う作業とが同時に行われてもよい。この場合、検査者Ｙが検査を行うにあたり、作業者Ｘに聞こえる工事現場内の音（作業者Ｘの音声や作業者Ｘが施工物に行う打音検査の音等）がリアルタイムに検査者Ｙに聞こえるようにしてもよい。これにより、検査者Ｙは工事現場内の状況をよりよく把握しながら検査を行うことができる。

（４）工事現場において記録され、検査者により検査のために利用される情報は画像や音に限られない。例えば、状況把握支援システム１が、作業者Ｘが手に装着するタイプの触感測定装置と、検査者Ｙが手に装着するタイプの触感再生装置とを備え、作業者Ｘが触感測定装置を装着した手で施工物に触れたときの触感を検査者Ｙが感じることができるようにしてもよい。なお、本願において触感とは、施工物に触れた手が施工物から受ける力の大きさと方向を意味する。

この場合、作業者Ｘが触感測定装置を装着した手で施工物に触れたときの触感を表す触感データと、作業者Ｘの手が触れた施工物の部分の三次元形状を表すデータ（例えば、作業者Ｘの手が触れている状態の施工物の実物を撮影した三次元画像を表す画像データや、テクスチャー付三次元形状データに作業者Ｘの手が触れている部分を示すデータを付加したデータ等）が端末装置１２からサーバ装置１３に送信され、サーバ装置１３がそれらのデータを記憶する。そして、検査者Ｙの手に装着された触感再生装置が端末装置１４経由でサーバ装置１３から触感データを受信し、触感データに従い触感を再生する。また、端末装置１４はサーバ装置１３から、作業者Ｘの手が触れた施工物の部分の三次元形状を表すデータを受信し、そのデータが表す画像を表示する。その結果、検査者Ｙは工事現場に行かずとも、施工物の硬さ等を知ることができる。

また、状況把握支援システム１が、作業者Ｘが手に装着するタイプの温度測定装置と、検査者Ｙが手に装着するタイプの温度再生装置とを備え、作業者Ｘが温度測定装置を装着した手で施工物に触れたときに手が施工物と接触した部分の温度を、検査者Ｙが感じることができるようにしてもよい。

この場合、温度測定装置が測定した温度を示す温度データと、作業者Ｘの手が触れた施工物の部分の三次元形状を表すデータが端末装置１２からサーバ装置１３に送信され、サーバ装置１３がそれらのデータを記憶する。そして、検査者Ｙの手に装着された温度再生装置が端末装置１４経由でサーバ装置１３から温度データを受信し、温度データが示す温度で発熱する。また、端末装置１４はサーバ装置１３から、作業者Ｘの手が触れた施工物の部分の三次元形状を表すデータを受信し、そのデータが表す画像を表示する。その結果、検査者Ｙは工事現場に行かずとも、施工物の温度を感じることができる。

（５）上述した状況把握支援システム１はＭＲ－ＨＭＤ１１、端末装置１２、サーバ装置１３、端末装置１４、ＶＲ－ＨＭＤ１５及び端末装置１６で構成されるが、これらの構成は様々に変更されてよい。例えば、端末装置１２がＭＲ－ＨＭＤ１１と統合されてもよい。また、端末装置１４がＶＲ－ＨＭＤ１５に統合されてもよい。また、端末装置１４がサーバ装置１３と統合されてもよい。また、端末装置１６がサーバ装置１３と統合されてもよい。

（６）上述した状況把握支援システム１においては、施工物の三次元形状の測定がＳｆＭ方式により行われる。施工物の三次元形状の測定の方式としては、光学センサを用いる他の方式が採用されてもよい。例えば、ＭＲ－ＨＭＤ１１がデプスセンサを有し、デプスセンサにより施工物の三次元形状が測定されてもよい。なお、デプスセンサの方式は、ステレオカメラ方式、Time-of-flight方式、LIDAR方式等のいずれであってもよい。

（７）上述した状況把握支援システム１においては、ＭＲ－ＨＭＤ１１はモーションセンサの測定値や撮影した画像に共通して含まれる特徴点の位置に基づく演算により自装置の位置及び姿勢を測定する。また、ＶＲ－ＨＭＤ１５はモーションセンサの測定値に基づく演算により自装置の位置（例えば、設定された基準位置からの相対位置）と姿勢を測定する。ＭＲ－ＨＭＤ１１及びＶＲ－ＨＭＤ１５が自装置の位置及び姿勢を測定する方法はこれらに限られない。例えば、ＭＲ－ＨＭＤ１１又はＶＲ－ＨＭＤ１５が、既知の基準位置に設置された光源から発光される光を３以上の受光部で受光し、受光した光の角度に基づき自装置の位置及び姿勢を測定してもよい。

（８）上述した状況把握支援システム１においては、検査結果データの入力時に検査者に対しＶＲ－ＨＭＤ１５が表示していた画像を表すデータや、ＶＲ－ＨＭＤ１５が周りの音（主に検査者の音声）を集音した時に検査者に対しＶＲ－ＨＭＤ１５が表示していた画像を表すデータとして、表示ログデータ（画像データ群）が用いられる。ＶＲ－ＨＭＤ１５が表示していた画像を表すデータの形式はこれに限られない。例えば、検査結果データの入力時や集音時に、テクスチャー付三次元形状をどの位置からどの方向に見た画像がＶＲ－ＨＭＤ１５により表示されていたかを示すデータが、ＶＲ－ＨＭＤ１５が表示していた画像を表すデータとして用いられてもよい。

（９）検査中に記録された音声ログデータと、その検査の結果を示す検査結果データとを含むデータに対し電子署名を付加したデータをサーバ装置１３が記憶してもよい。その場合、検査者が検査中に発した音声と検査結果の組み合わせが保証されるため、検査結果データの改ざんが困難となる。

（１０）上述した実施形態の説明において、ＭＲ－ＨＭＤ１１を装着する作業者Ｘは１名であるものとしたが、各々がＭＲ－ＨＭＤ１１を装着した複数人の作業者Ｘが同時に空間Ｓ１内の物体の三次元形状の測定等のための作業を行ってもよい。

この場合、ＶＲ－ＨＭＤ１５を装着した検査者Ｙが、複数人の作業者Ｘの各々が装着しているＭＲ－ＨＭＤ１１の中から適宜、１つを選択し、選択したＭＲ－ＨＭＤ１１が撮影する画像をライブ映像としてＶＲ－ＨＭＤ１５に表示させることを可能としてもよい。検査者Ｙは、施工物Ｃ１の確認したい部分の近くにいる作業者Ｘに対し音声等で指示を行い、その部分を近くで見てもらうことで、その部分の実物を撮影した三次元形状や、テクスチャー付き三次元形状データが表す仮想的な三次元形状を確認することができる。

（１１）ＭＲ－ＨＭＤ１１は作業者Ｘの頭部に常時装着されている必要はない。例えば、施工物Ｃ１の高さが高い等の理由で、施工物Ｃ１の一部を作業者Ｘが直接、見ることが難しい場合に、作業者Ｘが、例えば先端にＭＲ－ＨＭＤ１１を取り付けた棒を操作して、ＭＲ－ＨＭＤ１１に自分が直接行くことができない場所から画像の撮影を行わせてもよい。この場合、例えば端末装置１２に表示部を設け、端末装置１２の表示部にＭＲ－ＨＭＤ１１の表示部１１７が表示する画像と同じ画像をリアルタイムに表示させると、作業者Ｘは端末装置１２の表示部を見ながら棒を操作できる。また、作業者Ｘに代えて、無人航空機等の移動体にＭＲ－ＨＭＤ１１を搭載し、移動体が移動中にＭＲ－ＨＭＤ１１が画像の撮影を行ってもよい。この場合、移動体はプログラムされた経路を自律移動してもよいし、作業者Ｘが移動体を操縦してもよい。

１…状況把握支援システム、１１…ＭＲ－ＨＭＤ、１２…端末装置、１３…サーバ装置、１４…端末装置、１５…ＶＲ－ＨＭＤ、１６…端末装置、１１１…記憶部、１１２…撮影部、１１３…集音部、１１４…位置姿勢測定部、１１５…送信部、１１６…受信部、１１７…表示部、１１８…発音部、１１９…ジェスチャー認識部、１２１…記憶部、１２２…受信部、１２３…送信部、１２４…三次元形状測定部、１２５…テクスチャーマッピング部、１２６…重畳部、１４１…記憶部、１４２…受信部、１４３…送信部、１５１…記憶部、１５２…撮影部、１５３…集音部、１５４…位置姿勢測定部、１５５…送信部、１５６…受信部、１５７…表示部、１５８…発音部、１５９…ジェスチャー認識部。

Claims (10)

1. 光学センサを用いて工事現場の空間内の施工物の三次元形状を測定する三次元形状測定装置と、
   前記三次元形状測定装置が測定した三次元形状を表す三次元形状データを記憶する記憶装置と、
   前記工事現場以外の空間内にいるユーザである現場外部ユーザが使用する表示装置である現場外部用表示装置の位置及び姿勢を測定する現場外部用位置姿勢測定装置と、
   前記三次元形状データと前記現場外部用位置姿勢測定装置が測定した位置及び姿勢とに基づき定まる、前記工事現場の空間と座標系が共通の仮想空間にいる前記現場外部ユーザから見える前記施工物の三次元形状に対し、前記工事現場の状況に関する情報の入力欄を重畳した画像を表示する前記現場外部用表示装置と、
   前記現場外部用表示装置が表示する画像を見る前記現場外部ユーザの操作を受け付ける操作受付装置と、
   前記施工物を撮影する撮影装置とを備え、
   前記記憶装置は、
   前記現場外部ユーザが前記操作受付装置に対し操作を行い前記入力欄に入力した前記工事現場の状況に関する情報を示す工事現場状況データを記憶し、
   さらに、前記撮影装置が経時変化する前記施工物を複数のタイミングの各々において撮影した画像を表す画像データを当該画像データが表す前記施工物の位置を示す施工物位置データと対応付けて記憶し、
   前記現場外部用表示装置は、
   前記仮想空間にいる前記現場外部ユーザから見える前記施工物の三次元形状に、前記画像データが表す画像の対応する部分を重畳した画像を表示し、
   さらに、前記記憶装置が記憶している前記複数のタイミングの各々において前記施工物を撮影した画像を表す画像データと、当該画像データに対応付けて前記記憶装置が記憶している前記施工物位置データとを用いて、前記三次元形状データが表す三次元形状に対し、前記複数のタイミングの各々における前記施工物の画像を重畳した画像を表示する状況把握支援システム。
2. 前記記憶装置は、前記工事現場状況データを、前記工事現場状況データの入力時に前記現場外部用表示装置が表示していた画像を表すデータと対応付けて記憶する
   請求項１に記載の状況把握支援システム。
3. 前記現場外部ユーザの音声を集音する現場外部用集音装置を備え、
   前記記憶装置は、前記現場外部用集音装置が集音した音声を表す音声データを、当該音声の集音時に前記現場外部用表示装置が表示していた画像を表すデータと対応付けて記憶する
   請求項１又は２に記載の状況把握支援システム。
4. 前記記憶装置は、前記現場外部用表示装置が前記入力欄を表示している期間に前記現場外部用集音装置が集音した音声を表す音声データを、当該期間中に前記入力欄に入力された前記工事現場の状況に関する情報を示す工事現場状況データと対応付けて記憶する
   請求項３に記載の状況把握支援システム。
5. 前記記憶装置は、前記三次元形状データが表す三次元形状のいずれの部分が前記現場外部用表示装置にどれだけ長く表示されたかを示す現場外部表示時間マップデータを記憶する
   請求項１乃至４のいずれか１項に記載の状況把握支援システム。
6. 前記工事現場にいるユーザである現場ユーザの頭部の位置及び姿勢を測定する現場位置姿勢測定装置を備え、
   前記記憶装置は、前記現場位置姿勢測定装置が継続して測定する位置及び姿勢に基づき、前記三次元形状データが表す三次元形状のいずれの部分が前記現場ユーザによってどれだけ長く観察されたかを示す現場観察時間マップデータを記憶する
   請求項１乃至５のいずれか１項に記載の状況把握支援システム。
7. 前記三次元形状測定装置が前記施工物のうち過去に測定した部分を再度、測定した場合、前記記憶装置は、過去に測定された当該部分の三次元形状よりも新たに測定された当該部分の三次元形状の情報量が多い場合に限り、新たに測定された当該部分の三次元形状を表すデータを用いて記憶している前記三次元形状データを更新する
   請求項１乃至６のいずれか１項に記載の状況把握支援システム。
8. 前記工事現場で行われる打音検査の音を集音する現場集音装置を備え、
   前記記憶装置は前記現場集音装置が集音した打音検査の音を表す打音データを、前記打音検査を行った前記施工物の部分の三次元形状を表すデータと対応付けて記憶する
   請求項１乃至７のいずれか１項に記載の状況把握支援システム。
9. 光学センサを用いて工事現場の空間内の施工物の三次元形状を測定する三次元形状測定装置と、
   前記三次元形状測定装置が測定した三次元形状を表す三次元形状データを記憶する記憶装置と、
   前記工事現場以外の空間内にいるユーザである現場外部ユーザが使用する表示装置である現場外部用表示装置の位置及び姿勢を測定する現場外部用位置姿勢測定装置と、
   前記三次元形状データと前記現場外部用位置姿勢測定装置が測定した位置及び姿勢とに基づき定まる、前記工事現場の空間と座標系が共通の仮想空間にいる前記現場外部ユーザから見える前記施工物の三次元形状に対し、前記工事現場の状況に関する情報の入力欄を重畳した画像を表示する前記現場外部用表示装置と、
   前記現場外部用表示装置が表示する画像を見る前記現場外部ユーザの操作を受け付ける操作受付装置と、
   前記工事現場にいるユーザである現場ユーザが手で前記施工物に触れたときに当該手が前記施工物から受ける力の大きさ及び方向を触感として測定する触感測定装置とを備え、
   前記記憶装置は、
   前記現場外部ユーザが前記操作受付装置に対し操作を行い前記入力欄に入力した前記工事現場の状況に関する情報を示す工事現場状況データを記憶し、
   さらに、前記触感測定装置が測定した触感を表す触感データを、前記手が触れた前記施工物の部分の三次元形状を表すデータと対応付けて記憶する状況把握支援システム。
10. 光学センサを用いて工事現場の空間内の施工物の三次元形状を測定する三次元形状測定装置と、
    前記三次元形状測定装置が測定した三次元形状を表す三次元形状データを記憶する記憶装置と、
    前記工事現場以外の空間内にいるユーザである現場外部ユーザが使用する表示装置である現場外部用表示装置の位置及び姿勢を測定する現場外部用位置姿勢測定装置と、
    前記三次元形状データと前記現場外部用位置姿勢測定装置が測定した位置及び姿勢とに基づき定まる、前記工事現場の空間と座標系が共通の仮想空間にいる前記現場外部ユーザから見える前記施工物の三次元形状に対し、前記工事現場の状況に関する情報の入力欄を重畳した画像を表示する前記現場外部用表示装置と、
    前記現場外部用表示装置が表示する画像を見る前記現場外部ユーザの操作を受け付ける操作受付装置と、
    前記工事現場にいるユーザである現場ユーザが手で前記施工物に触れたときに当該手が前記施工物と接触した部分の温度を測定する温度測定装置とを備え、
    前記記憶装置は、
    前記現場外部ユーザが前記操作受付装置に対し操作を行い前記入力欄に入力した前記工事現場の状況に関する情報を示す工事現場状況データを記憶し、
    さらに、前記温度測定装置が測定した温度を示す温度データを、前記手が触れた前記施工物の部分の三次元形状を表すデータと対応付けて記憶する状況把握支援システム。

Images