JP6733127B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、工事における建築物の画像表示に関する情報処理装置、情報処理方法およびプログラムに関する。

土木や建築などの工事において、いわゆる拡張現実（Augmented Reality（ＡＲ））を
利用して、パソコンなどの装置にあらかじめ設計した構造物を現場に重ね合わせて表示する技術が実用に供されている。そして、ＡＲにおいて現実の画像に設計物を重畳する際に、重畳される設計物の位置合わせの精度を高める技術が提案されている（特許文献１、２）。

特開２００２−２３０５８６号公報 特開２０１６−３８８６７号公報

しかし、上記の技術では、現実の画像を撮像する装置をトータルステーションなどの計測器によって追尾して該装置の位置や姿勢を特定する処理を繰り返し行わないと、設計物が正しく配置された画像を得ることができない可能性がある。また、重畳される設計物を配置する平面を規定するための基準プレートを現場に持ち込んで基準プレートが映り込んだ画面上で平面を選択するため、基準プレートを安定して載置できるような現場でなければ設計物が正しく配置された画像を得ることができない可能性がある。

本件開示の技術は、上記の事情に鑑みてなされたものであり、その目的とするところは、計測器の処理負荷を抑えつつ撮像画像に対する３次元モデルのデータの重畳精度をより容易に高めることができる情報処理装置、情報処理方法およびプログラムを提供することである。

本件開示の一側面における情報処理装置は、工事現場を撮像する撮像部と、指標の位置を示す計測情報を取得する取得部と、撮像部によって撮像された画像内における指標の位置と取得された計測情報が示す指標の位置とを対応付ける対応付け部と、対応付け部によって指標の位置に対応付けられた計測情報が示す指標の位置を用いて、撮像部によって撮像された画像に建築物の３次元データを重畳した画像を生成する画像生成部と、を有する。これにより、トータルステーションなどの計測器による指標の計測を継続的に行うことなく、現場の撮像画像に精度よく３次元データが重畳された画像を生成することができる。

また、上記の情報処理装置において、撮像部によって撮像された画像内に少なくとも２つ以上の指標が含まれ、対応付け部は、少なくとも２つ以上の指標の位置それぞれと取得された計測情報が示す少なくとも２つ以上の指標の位置とを対応付け、画像生成部は、少なくとも２つ以上の指標の位置に対応付けられた計測情報が示す少なくとも２つ以上の指標の位置と、計測情報が示す少なくとも２つ以上の指標の間の距離とを用いて、撮像部によって撮像された画像に建築物の３次元データを重畳した画像を生成してもよい。

あるいは、上記の情報処理装置において、指標は測量用プリズムであり、対応付け部は、少なくとも２点以上の測量用プリズムの位置それぞれと取得された計測情報が示す少なくとも２点以上の測量用プリズムの位置とを対応付け、画像生成部は、少なくとも２点以上の測量用プリズムの位置に対応付けられた計測情報が示す少なくとも２点以上の測量用プリズムの位置と、計測情報が示す少なくとも２点以上の測量用プリズムの位置の間の距離とを用いて、撮像部によって撮像された画像に建築物の３次元データを重畳した画像を生成してもよい。

また、本件開示の一側面におけるプログラムは、工事現場を撮像する撮像部と、工事現場内に配置された指標の位置を示す計測情報を取得する取得部と、撮像部によって撮像された画像内における指標の位置と取得された計測情報が示す指標の位置とを対応付ける対応付け部と、対応付け部によって指標の位置に対応付けられた計測情報が示す指標の位置を用いて、撮像部によって撮像された画像に建築物の３次元データを重畳した画像を生成する画像生成部として、コンピュータを機能させる。

また、上記のプログラムにおいて、撮像部によって撮像された画像内に少なくとも２つ以上の指標が含まれ、対応付け部は、少なくとも２つ以上の指標の位置それぞれと取得された計測情報が示す少なくとも２つ以上の指標の位置とを対応付け、画像生成部は、少なくとも２つ以上の指標の位置に対応付けられた計測情報が示す少なくとも２つ以上の指標の位置と、計測情報が示す少なくとも２つ以上の指標の間の距離とを用いて、撮像部によって撮像された画像に建築物の３次元データを重畳した画像を生成してもよい。

あるいは、上記のプログラムにおいて、指標は測量用プリズムであり、対応付け部は、少なくとも２点以上の測量用プリズムの位置それぞれと取得された計測情報が示す少なくとも２点以上の測量用プリズムの位置とを対応付け、画像生成部は、少なくとも２点以上の測量用プリズムの位置に対応付けられた計測情報が示す少なくとも２点以上の測量用プリズムの位置と、計測情報が示す少なくとも２点以上の測量用プリズムの位置の間の距離とを用いて、撮像部によって撮像された画像に建築物の３次元データを重畳した画像を生成してもよい。

また、本件開示の一側面における情報処理方法は、情報処理装置の撮像部によって工事現場を撮像するステップと、情報処理装置の取得部によって、工事現場内に配置された指標の位置を示す計測情報を取得するステップと、情報処理装置の対応付け部によって、撮像された画像内における指標の位置と取得された計測情報が示す指標の位置とを対応付けるステップと、情報処理装置の画像生成部によって、対応付け部によって指標の位置に対応付けられた計測情報が示す指標の位置を用いて、撮像部によって撮像された画像に建築物の３次元データを重畳した画像を生成するステップとを含む。

また、上記の情報処理方法において、撮像部によって撮像された画像内に少なくとも２つ以上の指標が含まれ、対応付け部は、少なくとも２つ以上の指標の位置それぞれと取得された計測情報が示す少なくとも２つ以上の指標の位置とを対応付け、画像生成部は、少なくとも２つ以上の指標の位置に対応付けられた計測情報が示す少なくとも２つ以上の指標の位置と、計測情報が示す少なくとも２つ以上の指標の間の距離とを用いて、撮像部によって撮像された画像に建築物の３次元データを重畳した画像を生成してもよい。

あるいは、上記の情報処理方法において、指標は測量用プリズムであり、対応付け部は、少なくとも２点以上の測量用プリズムの位置それぞれと取得された計測情報が示す少なくとも２点以上の測量用プリズムの位置とを対応付け、画像生成部は、少なくとも２点以上の測量用プリズムの位置に対応付けられた計測情報が示す少なくとも２点以上の測量用プリズムの位置と、計測情報が示す少なくとも２点以上の測量用プリズムの位置の間の距
離とを用いて、撮像部によって撮像された画像に建築物の３次元データを重畳した画像を生成してもよい。

さらに、上記の情報処理装置、プログラム、情報処理方法において、計測情報は、ＧＮＳＳ（Global Navigation Satellite System）による測位に基づいて特定される指標の位置を示す情報であってもよい。

本件開示の技術によれば、計測器の処理負荷を抑えつつ撮像画像に対する３次元モデルのデータの重畳精度をより容易に高めることができる情報処理装置、情報処理方法およびプログラムを提供することができる。

図１は、一実施形態に係る情報処理装置のハードウェア構成を例示する図である。 図２は、一実施形態に係る情報処理装置およびトータルステーションにおいて実行される処理のフローチャートを例示する図である。 図３は、一実施形態に係るトータルステーションによるマーカの計測を例示する図である。 図４は、一実施形態に係るトータルステーションから情報処理装置への計測情報の送信を例示する図である。 図５は、一実施形態に係る情報処理装置とマーカとのマッチングを例示する図である。 図６は、一変形例に係る情報処理装置およびトータルステーションにおいて実行される処理のフローチャートを例示する図である。 図７は、一変形例に係るトータルステーションによる測量用プリズムの位置の特定を例示する図である。 図８は、一変形例に係るＧＮＳＳを用いた測量用マーカの位置の特定を例示する図である。 図９は、別の変形例に係るＧＮＳＳを用いた測量用マーカの位置の特定を例示する図である。 図１０は、さらに別の変形例に係るＧＮＳＳを用いた測量用マーカの位置の特定を例示する図である。

＜システムの概要＞
本実施形態に係る「情報処理装置」は、土木工事等の工事現場において撮像された画像に構築予定の構造物の３次元モデル（３次元コンピュータグラフィックス。以下、「３ＤＣＧ」とも表記する）を重畳して可視化する。情報処理装置は、さらに、経時とともに変化する施工状況を、構造物の３ＤＣＧの動画としても可視化する。なお、情報処理装置によって、土木工事に限らず、建設工事の施工状況が可視化されてもよい。

＜ハードウェア構成＞
情報処理装置は、コンピュータであり、工事に携わる工事関係者などのユーザによって操作される。情報処理装置は、例えば、スマートフォンである。なお、情報処理装置は、タブレット端末、パーソナルコンピュータ、ワークステーションなどであってもよい。

図１は、本実施形態に係る情報処理装置１およびトータルステーション１００のハードウェア構成を例示する図である。情報処理装置１は、ＣＰＵ（Central Processing Unit
）１１、ＲＡＭ（Random Access Memory）１２、補助記憶装置であるフラッシュメモリ１
３、トータルステーション１００などの外部装置との通信によってデータの送受信を行う通信部１４、ユーザの操作を受け付けるタッチパネルなどの操作部１５、及びディスプレイ１６、工事現場などを撮像するカメラ１７を備える。

ＣＰＵ１１は、中央処理装置であり、ＲＡＭ１２などに展開された命令及びデータを処理することで、ＲＡＭ１２、フラッシュメモリ１３などを制御する。ＲＡＭ１２は、主記憶装置であり、ＣＰＵ１１によって制御され、各種命令やデータの書き込みや読み出しがＲＡＭ１２に対して実行される。フラッシュメモリ１３は、不揮発性の記憶装置であり、以下に説明する処理を実行するためのプログラムを含む各種プログラムや永続的な保存が求められるデータなどが記憶される。

また、図１に示すように、トータルステーション１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ（Read-Only Memory）１０３、記憶部１０４、通信部１０５、操作部１０６、ディスプレイ１０７、計測部１０８、カメラ１０９などがバスラインで接続されて構成されている。本実施形態では、地球上の位置や海面からの高さが正確に測定された電子基準点、三角点、水準点等から構成され、地図作成や各種測量の基準となる基準点の情報があらかじめ記憶部１０４に記憶されている。また、現場に工事予定の建築物に関する３ＤＣＧデータもあらかじめ記憶部１０４に記憶されている。

本実施形態では、現場にてトータルステーション１００による計測が実行される前に、作業者が現場の任意の位置にマーカを配置する。マーカは、トータルステーション１００および情報処理装置１によって識別可能な画像が施された平板などの部材であり、その大きさや重さは、作業者が現場で運ぶことができる程度の大きさや重さである。トータルステーション１００は、マーカを認識すると、マーカが配置されている位置に対する計測を実行する。

＜動作の流れ＞
本実施形態の情報処理装置１およびトータルステーション１００によって実行される主な処理の流れを説明する。なお、説明される動作の内容及び順序は一例であり、動作の内容や順序は、実施の形態に合わせて適宜変更することができる。

図２に、本実施形態において情報処理装置１およびトータルステーション１００によって実行される処理のフローチャートの一例を示す。まず、本フローチャートの処理は、トータルステーション１００のＣＰＵ１０１によって開始される。Ｓ１０１において、一例として、トータルステーション１００のＣＰＵ１０１は、情報処理装置１からの計測実行の指示信号を通信部１０５によって受信すると、カメラ１０９を動作させて周知の画像認識処理を実行し、トータルステーション１００の周囲に配置されたマーカの検出を行う。

図３に、本実施形態においてトータルステーション１００の周囲に配置されたマーカ２００、３００を模式的に示す。一例として、マーカ２００は位置Ｐ１に配置され、マーカ３００は位置Ｐ２に配置されているとする。なお、位置Ｐ１のｘｙｚ座標は（ｘ１，ｙ１，ｚ１）であり、位置Ｐ２のｘｙｚ座標は（ｘ２，ｙ２，ｚ２）である。なお、トータルステーション１００のカメラ１０９を用いたマーカ２００、３００の検出は周知の技術を用いて実現できるためここでは詳細な説明は省略する。

ＣＰＵ１０１は、カメラ１０９を用いてマーカ２００、３００を検出すると、計測部１０８によってマーカ２００の位置Ｐ１およびマーカ３００の位置Ｐ２のそれぞれに対する計測を実行し、位置Ｐ１、Ｐ２のｘｙｚ座標を算出する。計測部１０８は、例えば、レンズなどの光学装置やレーザ装置、これらを駆動する駆動装置、計測情報の算出機構などを備え、マーカなどの計測対象を計測して計測情報を算出する。当該計測情報には、位置Ｐ
１、Ｐ２それぞれのｘｙｚ座標などの各種測量値が含まれる。ＣＰＵ１０１は、マーカ２００、３００の計測を完了すると、処理をＳ１０２に進める。

Ｓ１０２において、図３に示すように、ＣＰＵ１０１は、Ｓ１０１で算出された位置Ｐ１、Ｐ２のｘｙｚ座標を含む計測情報のデータを通信部１０５により情報処理装置１に送信する。情報処理装置１のＣＰＵ１１は、通信部１４を制御して、トータルステーション１００から送信される計測情報のデータを受信する。なお、ＣＰＵ１１が、工事現場内に配置された指標の位置を示す計測情報を取得する取得部の一例である。次に、処理はＳ１０３に進む。ここで処理の主体は、トータルステーション１００のＣＰＵ１０１から情報処理装置１のＣＰＵ１１に移る。

Ｓ１０３において、図４に示すように、ＣＰＵ１１は、工事現場を撮像する撮像部の一例であるカメラ１７を動作させて周知の画像認識処理を実行し、マーカ２００、３００の検出を行う。次に、処理はＳ１０４に進む。Ｓ１０４において、ＣＰＵ１１は、カメラ１７により撮像される画像内のマーカ２００、３００と、Ｓ１０２においてトータルステーション１００から受信した計測情報のデータに含まれるマーカ２００、３００の位置Ｐ１、Ｐ２の各座標とのマッチングを行う。なお、ＣＰＵ１１が、撮像部によって撮像された画像内における指標の位置と取得された計測情報が示す指標の位置とを対応付ける対応付け部の一例である。

これにより、カメラ１７によって撮像される画像内のマーカ２００、３００の各位置と、記憶部１０４に記憶されている基準点を用いた位置Ｐ１、Ｐ２の各座標の座標情報とが対応付けられる。また、ＣＰＵ１１は、情報処理装置１が有する図示しない加速度センサやジャイロ、電子コンパス、ＧＮＳＳ（Global Navigation Satellite System）モジュールを用いて、いわゆる任意座標系における情報処理装置１の位置や向きなどを位置情報として特定し、特定した位置情報を記憶部１０４に記憶する。次に、処理はＳ１０５に進む。

Ｓ１０５において、ＣＰＵ１１は、記憶部１０４に記憶されている現場に建築予定の建築物の３ＤＣＧデータを取得し、取得した３ＤＣＧデータをカメラ１７によって撮像される画像に重畳する。このとき、ＣＰＵ１１は、カメラ１７によって撮像される画像内のマーカ２００、３００に対応付けられている座標情報に基づいて画像内におけるマーカ２００とマーカ３００との間の距離などを算出する。ＣＰＵ１１は、例えば、マーカ２００、３００が配置されている平面におけるマーカを原点とした座標系（いわゆる「マーカ座標系」）、カメラ１７のレンズ中心を原点とした座標系（いわゆる「カメラ座標系」）、画像が表示されるディスプレイ１６の画面を示す平面における座標系（いわゆる「画像座標系」）、マーカ座標系に対するカメラ１７のレンズの光軸（いわゆる「投影軸」）の傾き、各座標系間の変換行列、記憶部１０４に記憶されている情報処理装置１の位置情報などを用いて、カメラ１７の位置および姿勢（情報処理装置１のロール軸、ピッチ軸、ヨー軸の回転速度など）を特定し、３ＤＣＧデータに対して画像に重畳するための拡大、縮小、回転などの変換処理を行う。

そして、ＣＰＵ１１は、適切なサイズや向きに変換した建築物の３ＤＣＧデータを画像に重畳し、建築物の３ＤＣＧデータが重畳された画像をディスプレイ１６に表示する。なお、ＣＰＵ１１が、指標の位置に対応付けられた計測情報が示す指標の位置を用いて、撮像部によって撮像された画像に建築物の３次元データを重畳した画像を生成する画像生成部の一例である。このようなカメラ１７による撮像画像への３ＤＣＧデータの合成によるオーバーレイ表示により、情報処理装置１のユーザは、現場で工事予定の建築物が完成した場合の画像をディスプレイ１６で確認することができる。次に、処理はＳ１０６に進む。

本実施形態では、情報処理装置１は一例としてスマートフォンであることを想定している。このため、情報処理装置１のユーザが、上記の処理によって建築物の３ＤＣＧデータが重畳された画像をディスプレイ１６に表示した状態で移動したり、カメラ１７の向きを変えたりするといった可能性がある。そこで、Ｓ１０６では、ＣＰＵ１１は、情報処理装置１の加速度センサ、ジャイロ、電子コンパス、ＧＮＳＳモジュールを用いて、任意座標系における情報処理装置１の位置情報を更新し、更新した位置情報を記憶部１０４に記憶する。そして、ＣＰＵ１１は、Ｓ１０５と同様に、更新した位置情報に基づいて３ＤＣＧデータの変換処理を行い、変換後の３ＤＣＧデータをカメラ１７によって撮像された画像に重畳してディスプレイ１６に表示する。

なお、上記の処理によって情報処理装置１におけるマーカ２００、３００とのマッチング処理が実行された後は、カメラ１７によって撮像される画像の外にマーカ２００またはマーカ３００が移動した場合であっても、ＣＰＵ１１は、カメラ１７によって撮像された画像内に存在する任意の特徴点を基準として画像から外れたマーカの位置を追跡する処理を行う。これにより、ディスプレイ１６に建築物の３ＤＣＧデータが重畳表示されているときにユーザがカメラ１７の向きを変えて建築物の３ＤＣＧデータが画像の外に移動した場合でも、ユーザがカメラ１７の向きを建築物の３ＤＣＧデータが重畳されていた画像を撮像できる向きに戻したときに、建築物の３ＤＣＧデータがＳ１０４と同様に適切なサイズや向きで画像に重畳されて表示される。

＜作用効果＞
このように、本実施形態によれば、現場にて一度トータルステーション１００によるマーカ２００、３００の計測を行うだけで、トータルステーション１００によるマーカの計測を繰り返すことなく、情報処理装置１でカメラ１７によって撮像される画像に建築予定の建築物の３ＤＣＧデータを重畳してリアルタイムで更新しつつ表示することができる。このため、トータルステーションによる計測情報を取得して撮像中の画像に仮想オブジェクトを重畳する従来の情報処理装置に比べて、トータルステーションと情報処理装置との間の通信量やトータルステーションの処理量を低減することができる。また、マーカ２００、３００の配置位置については、平面上に載置するなどの制約がないため、ユーザはカメラ１７によってマーカ２００、３００を撮像可能な任意の位置にマーカ２００、３００を配置すればよい。これにより、ユーザは現場の地形に合わせてマーカ２００、３００を配置できるため、より精度の高い３ＤＣＧデータの画像への重畳が可能となる。

また、従来技術におけるマーカを用いたマッチングでは、撮像画像に３ＤＣＧデータを重畳する情報処理装置において、マーカの「直接座標系」の情報が取得される。したがって、現場においてマーカを水平に載置するという作業が必要になる。また、作業者は、マーカ自体の方向に関しても同様に正しい方向となるようマーカを載置する必要がある。一方、本実施形態によれば、情報処理装置１においてマーカ２００、３００の各座標を特定するだけでマッチングを行うことができるため、従来行っていた上記のマーカの位置合わせに伴う作業を行う手間を省くことができる。

さらに、上記の実施形態によれば、現場においてカメラ１７による撮像画像に工事予定の建築物の３ＤＣＧデータの重畳ができるため、作業者が工事中に施工範囲を把握することができる。また、画像に重畳される建築物の３ＤＣＧデータは、上記の処理の前にあらかじめ作成されていてもよいし、現場で作業者が作成し、作成されたデータを情報処理装置１が取得して上記の処理に使用してもよい。さらに、例えば、情報処理装置１において、カメラ１７によって撮像された画像から現場の周辺環境の座標情報を特定して、特定した座標情報を蓄積し、特定した座標情報を用いて、現場の環境を３ＤＣＧによって示す画像を生成してもよい。

さらに、情報処理装置１において、特定した座標情報に基づいて、画像に表示される３ＤＣＧデータに対していわゆるオクルージョンを用いることで、カメラ１７による撮像画像に重畳される３ＤＣＧデータのオブジェクトが、情報処理装置１の移動に応じて画像内に現れる現実世界の物体の陰に見え隠れするような映像効果を生み出すことも可能である。これにより、情報処理装置１において、作業者は、現実世界の現場における工事予定の建築物の奥行きが表現された画像を確認することで、現場において工事予定の建築物がどのように配置されるかをイメージしながら種々の作業を効率よく進めることができる。

以上が本実施形態に関する説明であるが、上記の情報処理装置の構成は、上記の実施形態に限定されるものではなく、本発明の技術的思想と同一性を失わない範囲内において種々の変更が可能である。例えば、計測部１０８は、記憶部１０４に記憶されている計測プログラムにより、移動しない計測対象を計測する通常の観測モード、移動する計測対象を自動追尾する自動視準モード等の各種モードで動作することができる。また、以下の変形例の説明からわかるように、上記の情報処理装置１は、種々の計測器と組み合わせて得られる計測情報を基に、撮像画像における建築物の３ＤＣＧデータの重畳を実現できる。

また、上記の実施形態において、マッチングに際して、情報処理装置１にマーカ２００、３００をあらかじめ指定（登録）しておくことで、カメラ１７による撮像実行時にマーカ２００、３００が画角内に入ったときに情報処理装置１において自動的にマーカ２００、３００を認識させてもよい。あるいは上記の実施形態において、カメラ１７による撮像画像がディスプレイ１６に表示され、ユーザが画像内に表示されているマーカ２００、３００の位置をタップなどの操作によって指定し、指定された位置に基づいてマーカのマッチングを行ってもよい。

以下に、上記の実施形態に対する変形例を示す。なお、本変形例において上記の実施形態と同様の構成については同一の符号を付し、詳細な説明は省略する。上記の実施形態では、トータルステーション１００によって２つのマーカ２００、３００の計測（Ｓ１０１）が実行された後で、マーカ２００、３００の計測情報が情報処理装置１に送信され（Ｓ１０２）、情報処理装置１とマーカ２００、３００とのマッチング（Ｓ１０３、Ｓ１０４）が実行された。本変形例では、マーカ２００、３００の代わりに測量用プリズム４００が使用される。

図６に、本変形例において、トータルステーション１００と情報処理装置１によって実行される処理のフローチャートの一例を示す。なお、本変形例では一例として、まず測量用プリズム４００が位置Ｐ３に移動され、以下に説明する測量用プリズムの位置Ｐ３の座標とのマッチングが行われ、その後、測量用プリズム４００が位置Ｐ４に移動され、同様のマッチングが行われるものとする。本フローチャートの処理は、トータルステーション１００のＣＰＵ１０１によって開始される。Ｓ２０１において、一例として、トータルステーション１００のＣＰＵ１０１は、情報処理装置１からの計測実行の指示信号を通信部１０５によって受信すると、カメラ１０９を動作させて周知の画像認識処理を実行し、トータルステーション１００の周囲に配置されたマーカの検出を行う。

図７に示すように、本変形例では、現場において、測量用プリズム４００がトータルステーション１００によって認識される範囲内の位置（図７の場合は位置Ｐ３（ｚ３，ｙ３，ｚ３））に移動される。そして、ユーザは情報処理装置１を操作して、測量用プリズム４００に対する計測を実行する指示をトータルステーション１００に送信する。トータルステーション１００は、情報処理装置１から当該指示を受信すると、Ｓ２０１において測量用プリズム４００に対する計測を実行する。なお、位置Ｐ３のｘｙｚ座標は（ｘ３，ｙ３，ｚ３）である。なお、トータルステーション１００のカメラ１０９を用いた測量用プ
リズム４００の検出は周知の技術を用いて実現できるためここでは詳細な説明は省略する。

ＣＰＵ１０１は、カメラ１０９を用いて測量用プリズム４００を検出すると、計測部１０８によって測量用プリズム４００の位置Ｐ３に対する計測を実行し、位置Ｐ３のｘｙｚ座標を含む計測情報を算出する。ＣＰＵ１０１は、位置Ｐ３の測量用プリズム４００の計測を完了すると、処理をＳ２０２に進める。

Ｓ２０２において、ＣＰＵ１０１は、Ｓ２０１で算出された位置Ｐ３のｘｙｚ座標を含む計測情報のデータを通信部１０５により情報処理装置１に送信する。情報処理装置１のＣＰＵ１１は、通信部１４を制御して、トータルステーション１００から送信される計測情報のデータを受信する。次に、処理はＳ２０３に進む。ここで処理の主体は、トータルステーション１００のＣＰＵ１０１から情報処理装置１のＣＰＵ１１に移る。

Ｓ２０３において、図７に示すように、ＣＰＵ１１は、カメラ１７を動作させて周知の画像認識処理を実行し、位置Ｐ３にある測量用プリズム４００の検出を行う。次に、処理はＳ２０４に進む。Ｓ２０４において、ＣＰＵ１１は、カメラ１７により撮像される画像内の測量用プリズム４００と、Ｓ２０２においてトータルステーション１００から受信した計測情報のデータに含まれる測量用プリズムの位置Ｐ３の座標とのマッチングを行う。これにより、カメラ１７によって撮像される画像内の測量用プリズム４００の位置と、記憶部１０４に記憶されている基準点を用いた位置Ｐ３の座標の座標情報とが対応付けられる。次に、処理はＳ２０５に進む。

Ｓ２０５において、ＣＰＵ１１は、上記の処理によってカメラ１７によって撮像される画像内における測量用プリズム４００とトータルステーション１００によって計測された測量用プリズム４００の位置との対応付けの処理を、測量用プリズム４００を移動して所定数の位置において実行されたか否かを判定する。なお、所定数の位置としては２以上の位置であればよい。また、ＣＰＵ１１は、例えば、ＣＰＵ１１内の図示しないレジスタなどを使用して、測量用プリズム４００の計測情報が示す位置とカメラ１７によって撮像された画像内の測量用プリズム４００の対応付けを行った回数をカウントし、カウントした回数が上記の所定数以上となったか否かに基づいて、上記判定を行うことができる。測量用プリズム４００を用いた上記の対応付けが所定数以上の位置で行われた場合は（Ｓ２０５：ＹＥＳ）、ＣＰＵ１１は、処理をＳ２０６に進める。一方、測量用プリズム４００を用いた上記の対応付けが行われた位置が所定数未満である場合は（Ｓ２０５：ＮＯ）、ＣＰＵ１１は、処理をＳ２０１に戻す。

なお、本変形例では、位置Ｐ３における画像内の測量用プリズム４００と座標とのマッチングが行われた直後のＳ２０５の処理では、位置Ｐ４（座標は（ｘ４，ｙ４，ｚ４））における画像内の測量用プリズム４００と座標とのマッチングは行われておらず、上記の対応付けが所定数未満であるため、処理がＳ２０５からＳ２０１に戻る。そこで、図７に示すようにユーザは測量用プリズム４００を位置Ｐ３から位置Ｐ４に移動し、上記の処理Ｓ２０１〜Ｓ２０４を繰り返すことで位置Ｐ４における画像内の測量用プリズム４００と座標とのマッチングを行う。このようにユーザが測量用プリズム４００を複数の位置に移動して各位置における画像内の測量用プリズム４００と座標とのマッチングを繰り返し、上記の対応付けが所定数以上となると処理がＳ２０５からＳ２０６に進む。

Ｓ２０６において、ＣＰＵ１１は、上記の処理によって対応付けられた各座標の情報に基づいて画像内における座標間の距離などを算出する。そして、ＣＰＵ１１は、算出した座標間の距離などに基づいてカメラ１７の位置および姿勢（情報処理装置１のロール軸、ピッチ軸、ヨー軸の回転速度など）を特定する。さらに、ＣＰＵ１１は、記憶部１０４に
記憶されている現場に建築予定の建築物の３ＤＣＧデータを取得し、特定したカメラ１７の位置および姿勢に基づいて３ＤＣＧデータに対して画像に重畳するための拡大、縮小、回転などの変換処理を行う。

そして、ＣＰＵ１１は、適切なサイズや向きに変換した建築物の３ＤＣＧデータを画像に重畳し、建築物の３ＤＣＧデータが重畳された画像をディスプレイ１６に表示する。このようなカメラ１７による撮像画像への３ＤＣＧデータの合成によるオーバーレイ表示により、情報処理装置１のユーザは、現場で建築予定の建築物が完成した場合の画像をディスプレイ１６で確認することができる。次に、処理はＳ２０７に進む。Ｓ２０７の処理は、上記のＳ１０６に対応する処理であり、ＣＰＵ１１は、更新した位置情報に基づいて３ＤＣＧデータの変換処理を行い、変換後の３ＤＣＧデータをカメラ１７によって撮像された画像に重畳してディスプレイ１６に表示する。

このように本変形例によれば、測量用プリズム４００の計測と併せて情報処理装置１における画像内の測量用プリズム４００と計測情報との対応付けが実行できるため、マーカを設置する作業が必要ない。また、別の変形例として、上記の実施形態において、マーカ２００、３００に付されている画像認識用の模様を、それぞれ異なる模様や異なる色を施すなど、トータルステーション１００によるマーカの各計測点を区別できるようにしてもよい。

また、上記の実施形態のさらなる変形例として、図８に例示するように、ＧＮＳＳに用いられている人工衛星６００による測位に基づいて測量用マーカ５００の位置が特定されてもよい。本変形例において、測量用マーカ５００はアンテナ５０１を備え、人工衛星６００および情報処理装置１と無線通信を行うことができる。なお、図では、アンテナ５０１は、外部から視認可能に測量用マーカ５００に設けられているが、測量用マーカ５００に内蔵されていてもよい。本変形例では、まず測量用マーカ５００が位置Ｐ３に移動され、人工衛星６００の測位によって特定された測量用マーカの位置Ｐ３（座標）と情報処理装置１によって撮像された画像内の測量用マーカ５００の位置とのマッチングが行われ、その後、測量用マーカ５００が位置Ｐ４に移動され、同様のマッチングが行われるものとする。

上記の変形例では、トータルステーション１００によって計測された位置Ｐ３、Ｐ４の座標情報が、トータルステーション１００から情報処理装置１に送信されるが、本変形例では、人工衛星６００による測位によって特定された位置Ｐ３、Ｐ４の座標情報は、測量用マーカ５００から情報処理装置１に送信される。また、本変形例において、情報処理装置１は測量用マーカ５００から受信した位置Ｐ３、Ｐ４の座標情報を用いて上記のＳ２０３〜Ｓ２０７の処理（プリズムの代わりにマーカが用いられる）を実行するため、処理の詳細についての説明は省略する。

また、上記の各実施形態のさらなる変形例では、図９に例示するように、情報処理装置８００によって測量用マーカ７００が撮像される。情報処理装置８００は人工衛星６００および情報処理装置１と無線通信を行う。そして、人工衛星６００による測位によって情報処理装置８００の位置が特定される。さらに、情報処理装置８００によって測量用マーカ７００が撮像されたときの、情報処理装置８００が備える各種センサ（図示せず）が出力する情報や撮像画像や人工衛星６００による測位によって特定された情報処理装置８００の位置に基づいて、測量用マーカ７００の位置（座標）が特定される。そして、特定された測量用マーカ７００の位置の座標情報が情報処理装置８００から情報処理装置１に送信される。本変形例では、まず測量用マーカ７００が位置Ｐ３に移動され、測量用マーカの位置Ｐ３（座標）と情報処理装置１によって撮像された画像内の測量用マーカ７００の位置とのマッチングが行われ、その後、測量用マーカ７００が位置Ｐ４に移動され、同様
のマッチングが行われるものとする。また、本変形例において、情報処理装置１は情報処理装置８００から受信した測量用マーカ７００の位置Ｐ３、Ｐ４の座標情報を用いて上記のＳ２０３〜Ｓ２０７の処理（プリズムの代わりにマーカが用いられる）を実行するため、処理の詳細についての説明は省略する。

また、上記の各実施形態のさらなる変形例では、図１０に例示するように、情報処理装置１０００によって測量用マーカ７００が撮像される。情報処理装置１０００は、上記の情報処理装置１の各構成要素を備えるとともに、人工衛星６００と無線通信を行うことができるよう構成されている。そして、人工衛星６００による測位によって情報処理装置１０００の位置が特定される。さらに、情報処理装置１０００によって測量用マーカ７００が撮像されたときの、情報処理装置１０００が備える各種センサ（図示せず）が出力する情報や撮像画像や人工衛星６００による測位によって特定された情報処理装置１０００の位置に基づいて、測量用マーカ７００の位置（座標）が特定される。本変形例では、まず測量用マーカ７００が位置Ｐ３に移動され、測量用マーカの位置Ｐ３（座標）と情報処理装置１０００によって撮像された画像内の測量用マーカ７００の位置とのマッチングが行われ、その後、測量用マーカ７００が位置Ｐ４に移動され、同様のマッチングが行われるものとする。また、本変形例において、情報処理装置１０００は特定された測量用マーカ７００の位置Ｐ３、Ｐ４の座標情報を用いて上記のＳ２０３〜Ｓ２０７の処理（プリズムの代わりにマーカが用いられる）を実行するため、処理の詳細についての説明は省略する。

さらに、上記の各実施形態において、いわゆる仮想基準点方式（Virtual Reference Station（ＶＲＳ））、ＲＴＫ（Real Time Kinematic）など電子基準点を用いて工事現場内に配置された指標の位置を示す計測情報が取得されるように情報処理装置が備える各構成要素を構成してもよい。

＜コンピュータが読み取り可能な記録媒体＞
コンピュータその他の機械、装置（以下、コンピュータ等）に上記情報処理装置の設定を行うための管理ツール、ＯＳその他を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク、ＤＡＴ、８ｍｍテープ、フラッシュメモリ等のメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。

１ 情報処理装置
１０１ トータルステーション
１１、１０１ ＣＰＵ
１４、１０５ 通信部
１６、１０７ ディスプレイ
１７、１０９ カメラ
１０８ 計測部

Claims (12)

1. 工事現場を撮像する撮像部と、
   前記工事現場内に配置された指標の位置を示す計測情報を取得する取得部と、
   前記撮像部によって撮像された画像内における前記指標の位置と前記取得された前記計測情報が示す前記指標の位置とを対応付ける対応付け部と、
   前記対応付け部によって前記指標の位置に対応付けられた、前記計測情報が示す前記指標の位置を用いて建築物の３次元データを変換し、前記撮像部によって撮像された画像に前記変換した建築物の３次元データを重畳した画像を生成する画像生成部と、
   を有することを特徴とする情報処理装置。
2. 前記撮像部によって撮像された画像内に少なくとも２つ以上の前記指標が含まれ、
   前記対応付け部は、前記少なくとも２つ以上の指標の位置それぞれと前記取得された前記計測情報が示す前記少なくとも２つ以上の指標の位置とを対応付け、
   前記画像生成部は、前記少なくとも２つ以上の指標の位置に対応付けられた前記計測情報が示す前記少なくとも２つ以上の指標の位置と、前記計測情報が示す前記少なくとも２つ以上の指標の間の距離とを用いて前記建築物の３次元データを変換し、前記撮像部によって撮像された画像に前記変換した建築物の３次元データを重畳した画像を生成する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記指標は測量用プリズムであり、
   前記対応付け部は、少なくとも２点以上の前記測量用プリズムの位置それぞれと前記取得された前記計測情報が示す少なくとも２点以上の前記測量用プリズムの位置とを対応付け、
   前記画像生成部は、前記少なくとも２点以上の前記測量用プリズムの位置に対応付けられた前記計測情報が示す前記少なくとも２点以上の前記測量用プリズムの位置と、前記計測情報が示す前記少なくとも２点以上の前記測量用プリズムの位置の間の距離とを用いて前記建築物の３次元データを変換し、前記撮像部によって撮像された画像に前記変換した建築物の３次元データを重畳した画像を生成する
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記計測情報は、ＧＮＳＳ（Global Navigation Satellite System）による測位に基づ
   いて特定される前記指標の位置を示す情報である、ことを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
5. 工事現場を撮像する撮像部と、
   前記工事現場内に配置された指標の位置を示す計測情報を取得する取得部と、
   前記撮像部によって撮像された画像内における前記指標の位置と前記取得された前記計測情報が示す前記指標の位置とを対応付ける対応付け部と、
   前記対応付け部によって前記指標の位置に対応付けられた前記計測情報が示す前記指標の位置を用いて建築物の３次元データを変換し、前記撮像部によって撮像された画像に前記変換した建築物の３次元データを重畳した画像を生成する画像生成部、
   として、コンピュータを機能させるためのプログラム。
6. 前記撮像部によって撮像された画像内に少なくとも２つ以上の前記指標が含まれ、
   前記対応付け部は、前記少なくとも２つ以上の指標の位置それぞれと前記取得された前記計測情報が示す前記少なくとも２つ以上の指標の位置とを対応付け、
   前記画像生成部は、前記少なくとも２つ以上の指標の位置に対応付けられた前記計測情報が示す前記少なくとも２つ以上の指標の位置と、前記計測情報が示す前記少なくとも２つ以上の指標の間の距離とを用いて前記建築物の３次元データを変換し、前記撮像部によって撮像された画像に前記変換した建築物の３次元データを重畳した画像を生成する
   ことを特徴とする請求項５に記載のプログラム。
7. 前記指標は測量用プリズムであり、
   前記対応付け部は、少なくとも２点以上の前記測量用プリズムの位置それぞれと前記取得された前記計測情報が示す少なくとも２点以上の前記測量用プリズムの位置とを対応付け、
   前記画像生成部は、前記少なくとも２点以上の前記測量用プリズムの位置に対応付けられた前記計測情報が示す前記少なくとも２点以上の前記測量用プリズムの位置と、前記計測情報が示す前記少なくとも２点以上の前記測量用プリズムの位置の間の距離とを用いて前記建築物の３次元データを変換し、前記撮像部によって撮像された画像に前記変換した建築物の３次元データを重畳した画像を生成する
   ことを特徴とする請求項５に記載のプログラム。
8. 前記計測情報は、ＧＮＳＳ（Global Navigation Satellite System）による測位に基づいて特定される前記指標の位置を示す情報である、ことを特徴とする請求項５から７のいずれか一項に記載のプログラム。
9. 情報処理装置の撮像部によって工事現場を撮像するステップと、
   前記情報処理装置の取得部によって、前記工事現場内に配置された指標の位置を示す計測情報を取得するステップと、
   前記情報処理装置の対応付け部によって、前記撮像された画像内における前記指標の位置と前記取得された前記計測情報が示す前記指標の位置とを対応付けるステップと、
   前記情報処理装置の画像生成部によって、前記対応付け部によって前記指標の位置に対応付けられた前記計測情報が示す前記指標の位置を用いて建築物の３次元データを変換し、前記撮像部によって撮像された画像に前記変換した建築物の３次元データを重畳した画像を生成するステップと
   を含む情報処理方法。
10. 前記撮像部によって撮像された画像内に少なくとも２つ以上の前記指標が含まれ、
    前記対応付け部は、前記少なくとも２つ以上の指標の位置それぞれと前記取得された前記計測情報が示す前記少なくとも２つ以上の指標の位置とを対応付け、
    前記画像生成部は、前記少なくとも２つ以上の指標の位置に対応付けられた前記計測情報が示す前記少なくとも２つ以上の指標の位置と、前記計測情報が示す前記少なくとも２つ以上の指標の間の距離とを用いて前記建築物の３次元データを変換し、前記撮像部によって撮像された画像に前記変換した建築物の３次元データを重畳した画像を生成する
    ことを特徴とする請求項９に記載の情報処理方法。
11. 前記指標は測量用プリズムであり、
    前記対応付け部は、少なくとも２点以上の前記測量用プリズムの位置それぞれと前記取得された前記計測情報が示す少なくとも２点以上の前記測量用プリズムの位置とを対応付け、
    前記画像生成部は、前記少なくとも２点以上の前記測量用プリズムの位置に対応付けられた前記計測情報が示す前記少なくとも２点以上の前記測量用プリズムの位置と、前記計測情報が示す前記少なくとも２点以上の前記測量用プリズムの位置の間の距離とを用いて前記建築物の３次元データを変換し、前記撮像部によって撮像された画像に前記変換した建築物の３次元データを重畳した画像を生成する
    ことを特徴とする請求項９に記載の情報処理方法。
12. 前記計測情報は、ＧＮＳＳ（Global Navigation Satellite System）による測位に基づいて特定される前記指標の位置を示す情報である、ことを特徴とする請求項９から１１のいずれか一項に記載の情報処理方法。

Images