JP7113611B2 - 位置特定装置、位置特定プログラム及び位置特定方法、並びに、撮影画像登録装置、撮影画像登録プログラム及び撮影画像登録方法 - Google Patents

Description

本発明は、対象の位置を正確に特定することが可能な位置特定装置、位置特定プログラム及び位置特定方法、並びに、撮影画像データを撮影位置についての図面データや３次元モデルデータと関連付けて登録可能な撮影画像登録装置、撮影画像登録プログラム及び撮影画像登録方法に関するものである。

従来、移動する対象の正確な位置を特定したいというニーズが存在する。移動する対象は、例えば、建築現場で作業中の作業員であったり、ドローンなどの遠隔操作される無人飛行体であったりする。また、正確な位置を特定するとともに、その位置で撮影した撮影画像データを当該位置についての図面データや３次元モデルデータなどと関連付けて登録したいというニーズが存在する。建造物の施工管理や、建造済みの建造物の維持管理の業務などにおいて、現状についての撮影画像データを図面データや３次元モデルデータなどと関連付けて管理することができれば、進捗状況の共有、状況確認などが容易になるというメリットがある。しかし、対象位置の特定が不正確であったり、撮影画像データの関連付けの位置が誤っていたりすると、業務に混乱をきたす要因となるため、正確な位置特定が求められる。

対象の位置特定及び撮影画像データの関連付けに関する技術として、例えば、特許文献１が挙げられる。この特許文献１には、図面と画像との対応付けミスが起こる可能性を低減できると共に、対応付けに要する手間を削減することができ、さらに、撮影した画像や撮影位置をユーザに対して直感的に把握させることができる画像表示システムが開示されており、位置特定の手段として、複数のビーコンからの電波強度を利用していることが開示されている。

特開２０１７－１０７４２０号公報

特許文献１において使用している無線信号の受信電波強度を利用した位置特定の技術については、理論上は３つの発信源からの無線信号の電波強度に基づいて受信位置を一意に特定できるものであるが、実際上は、電波の干渉や、障害物による電波の反射・吸収・回折によって、電波強度に揺らぎが生じてしまい、これが原因で位置特定に誤差が生じてしまうという問題があった。

本発明は、上記問題点に鑑みなされたものであり、対象の位置を正確に特定することが可能な位置特定装置、位置特定プログラム及び位置特定方法を提供し、また、撮影画像データを撮影位置についての図面データや３次元モデルデータと関連付けて登録可能な撮影画像登録装置、撮影画像登録プログラム及び撮影画像登録方法を提供することを目的とする。

本発明に係る位置特定装置は、建造物内おける対象の位置を特定するための位置特定装置であって、所定の計測範囲について深度情報からなる点群データを得るための点群データ取得手段から点群データを取得する点群データ取得部と、建造物の３次元モデルデータを格納した３次元モデルデータ格納手段から対象がいる建造物についての３次元モデルデータを取得する３次元モデルデータ取得部と、前記点群データから３次元モデルデータと照合する照合用オブジェクトを抽出する照合用オブジェクト抽出部と、前記３次元モデルデータと前記照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定するオブジェクト一致箇所特定部と、前記３次元モデルデータにおける前記オブジェクト一致箇所の情報と前記点群データの深度情報とに基づいて対象の位置を特定する対象位置特定部とを備えることを特徴とする。

また、本発明に係る位置特定装置は、対象の位置を推定するための対象位置推定手段によって現在の対象の位置の推定を行う位置推定部を備え、前記オブジェクト一致箇所特定部は、前記位置推定部での推定位置周辺の３次元モデルデータと前記照合用オブジェクトとを照合して、３次元モデルデータ内におけるオブジェクト一致箇所を特定するようにしたことを特徴とする。

また、本発明に係る位置特定装置は、前記対象位置推定手段は、前記建造物の所定箇所に予め設置された複数の無線信号発信装置からの無線信号を受信する無線信号受信手段から前記点群データの取得位置と同じ位置における無線信号受信情報を取得する無線信号受信情報取得部からなり、前記無線信号受信情報に基づいて対象の位置の推定を行うようにしたことを特徴とする。

また、本発明に係る位置特定装置は、前記対象位置推定手段は、前記点群データの取得位置において無線信号発信手段から発信される無線信号を、前記建造物の所定箇所に予め設置された複数の無線信号受信装置のそれぞれにおいて受信した際の無線信号受信情報を取得する無線信号受信情報取得部からなり、前記無線信号受信情報に基づいて対象の位置の推定を行うようにしたことを特徴とする。

また、本発明に係る位置特定装置は、前記対象位置推定手段は、対象が取得した地磁気測位情報を用いて位置推定を行うものであり、建造物内の地磁気パターンを現地測定して予め記憶させたデータベースと取得した地磁気測位情報とを利用して対象の位置の推定を行うようにしたことを特徴とする。

また、本発明に係る位置特定装置は、前記対象位置推定手段は、ＤＲ（Dead Reckoning）技術を用いて位置推定を行うものであり、別途設けたセンサから取得した移動距離を推定するためのセンサ情報と移動方向を推定するセンサ情報を利用して対象の位置の推定を行うようにしたことを特徴とする。

本発明に係る位置特定プログラムは、建造物内おける対象の位置を特定する処理をコンピュータに実現させるための位置特定プログラムであって、前記コンピュータに、所定の計測範囲について深度情報からなる点群データを得るための点群データ取得手段から点群データを取得する点群データ取得機能と、建造物の３次元モデルデータを格納した３次元モデルデータ格納手段から対象がいる建造物についての３次元モデルデータを取得する３次元モデルデータ取得機能と、前記点群データから３次元モデルデータと照合する照合用オブジェクトを抽出する照合用オブジェクト抽出機能と、前記３次元モデルデータと前記照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定するオブジェクト一致箇所特定機能と、前記３次元モデルデータにおける前記オブジェクト一致箇所の情報と前記点群データの深度情報とに基づいて対象の位置を特定する対象位置特定機能とを実現させることを特徴とする。

本発明に係る位置特定方法は、建造物内おける対象の位置を特定するための位置特定方法であって、所定の計測範囲について深度情報からなる点群データを得るための点群データ取得手段から点群データを取得する点群データ取得処理と、建造物の３次元モデルデータを格納した３次元モデルデータ格納手段から対象がいる建造物についての３次元モデルデータを取得する３次元モデルデータ取得処理と、前記点群データから３次元モデルデータと照合する照合用オブジェクトを抽出する照合用オブジェクト抽出処理と、前記３次元モデルデータと前記照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定するオブジェクト一致箇所特定処理と、前記３次元モデルデータにおける前記オブジェクト一致箇所の情報と前記点群データの深度情報とに基づいて対象の位置を特定する対象位置特定処理とを含むことを特徴とする。

本発明に係る撮影画像登録装置は、建造物内おける撮影画像を３次元モデルデータにおける撮影対象の位置に対応付けて登録する撮影画像登録装置であって、画像の撮影を行う撮影手段からの撮影画像データを取得する撮影画像取得部と、前記撮影と同じ位置において撮影方向と同一方向の所定の計測範囲について深度情報からなる点群データを得るための点群データ取得手段から点群データを取得する点群データ取得部と、建造物の３次元モデルデータを格納した３次元モデルデータ格納手段から撮影位置の建造物についての３次元モデルデータを取得する３次元モデルデータ取得部と、前記点群データから３次元モデルデータと照合する照合用オブジェクトを抽出する照合用オブジェクト抽出部と、前記３次元モデルデータと前記照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定するオブジェクト一致箇所特定部と、前記３次元モデルデータにおける前記オブジェクト一致箇所に関連付けて前記撮影画像データを登録する撮影画像登録部とを備えることを特徴とする。

また、本発明に係る撮影画像登録装置は、対象の位置を推定するための対象位置推定手段によって現在の対象の位置の推定を行う位置推定部を備え、前記オブジェクト一致箇所特定部は、前記位置推定部での推定位置周辺の３次元モデルデータと前記照合用オブジェクトとを照合して、３次元モデルデータ内におけるオブジェクト一致箇所を特定するようにしたことを特徴とする。

また、本発明に係る撮影画像登録装置は、前記対象位置推定手段は、前記建造物の所定箇所に予め設置された複数の無線信号発信装置からの無線信号を受信する無線信号受信手段から前記点群データの取得位置と同じ位置における無線信号受信情報を取得する無線信号受信情報取得部からなり、前記無線信号受信情報に基づいて対象の位置の推定を行うようにしたことを特徴とする。

また、本発明に係る撮影画像登録装置は、前記対象位置推定手段は、前記点群データの取得位置において無線信号発信手段から発信される無線信号を、前記建造物の所定箇所に予め設置された複数の無線信号受信装置のそれぞれにおいて受信した際の無線信号受信情報を取得する無線信号受信情報取得部からなり、前記無線信号受信情報に基づいて対象の位置の推定を行うようにしたことを特徴とする。

また、本発明に係る撮影画像登録装置は、前記対象位置推定手段は、対象が取得した地磁気測位情報を用いて位置推定を行うものであり、建造物内の地磁気パターンを現地測定して予め記憶させたデータベースと取得した地磁気測位情報とを利用して対象の位置の推定を行うようにしたことを特徴とする。

また、本発明に係る撮影画像登録装置は、前記対象位置推定手段は、ＤＲ（Dead Reckoning）技術を用いて位置推定を行うものであり、別途設けたセンサから取得した移動距離を推定するためのセンサ情報と移動方向を推定するセンサ情報を利用して対象の位置の推定を行うようにしたことを特徴とする。

本発明に係る撮影画像登録プログラムは、建造物内おける撮影画像を３次元モデルデータにおける撮影対象の位置に対応付けて登録する処理をコンピュータに実現させるための撮影画像登録プログラムであって、前記コンピュータに、画像の撮影を行う撮影手段からの撮影画像データを取得する撮影画像取得機能と、前記撮影と同じ位置において撮影方向と同一方向の所定の計測範囲について深度情報からなる点群データを得るための点群データ取得手段から点群データを取得する点群データ取得機能と、建造物の３次元モデルデータを格納した３次元モデルデータ格納手段から撮影位置の建造物についての３次元モデルデータを取得する３次元モデルデータ取得機能と、前記点群データから３次元モデルデータと照合する照合用オブジェクトを抽出する照合用オブジェクト抽出機能と、前記３次元モデルデータと前記照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定するオブジェクト一致箇所特定機能と、前記３次元モデルデータにおける前記オブジェクト一致箇所に関連付けて前記撮影画像データを登録する撮影画像登録機能とを実現させることを特徴とする。

本発明に係る位撮影画像登録方法は、建造物内おける撮影画像を３次元モデルデータにおける撮影対象の位置に対応付けて登録する撮影画像登録方法であって、画像の撮影を行う撮影手段からの撮影画像データを取得する撮影画像取得処理と、前記撮影と同じ位置において撮影方向と同一方向の所定の計測範囲について深度情報からなる点群データを得るための点群データ取得手段から点群データを取得する点群データ取得処理と、建造物の３次元モデルデータを格納した３次元モデルデータ格納手段から撮影位置の建造物についての３次元モデルデータを取得する３次元モデルデータ取得処理と、前記点群データから３次元モデルデータと照合する照合用オブジェクトを抽出する照合用オブジェクト抽出処理と、前記３次元モデルデータと前記照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定するオブジェクト一致箇所特定処理と、前記３次元モデルデータにおける前記オブジェクト一致箇所に関連付けて前記撮影画像データを登録する撮影画像登録処理とを含むことを特徴とする。

本発明によれば、３次元モデルデータと点群データから抽出した照合用オブジェクトとの照合を行ってオブジェクト一致箇所を特定し、その特定した３次元モデルデータ上の位置と点群データによる深度情報とを用いて位置特定対象の正確な位置を特定するようにしたので、無線信号の受信強度のみで位置特定を行っていた従来技術に比較して高精度に位置を特定することが可能となる。また、無線信号受信情報に基づいて位置特定対象の位置を推定して、照合する３次元モデルデータを絞り込んでから照合を行うようにすることで、処理負荷を低減し、かつ、位置特定の結果を取得するまでの時間を短縮することが可能となる。

本発明によれば、３次元モデルデータと点群データから抽出した照合用オブジェクトとの照合を行ってオブジェクト一致箇所を特定し、その特定した３次元モデルデータ上の位置に関連付けて撮影画像データを登録するようにしたので、無線信号の受信強度のみで位置特定を行っていた従来技術の場合に生じていた撮影画像データの登録位置の誤りがなくなり、正確な位置に関連付けて撮影画像データを登録することができる。また、無線信号受信情報に基づいて対象の位置を推定して、照合する３次元モデルデータを絞り込んでから照合を行うようにすることで、処理負荷を低減し、かつ、撮影画像データ登録までの時間を短縮することが可能となる。

本発明に係る位置特定装置１０を含む位置特定システム１００全体の構成の一例を表したブロック図である。 本発明に係る位置特定装置１０の構成を表したブロック図である。 位置特定装置１０における位置特定処理の流れを示したフローチャート図である。 移動者保持端末２０の点群データ取得手段２２によって点群データを取得する際の計測範囲の一例を表した説明図である。 位置特定対象が位置する建造物における無線信号発信装置Ｂの配置の一例を表した説明図である。 本発明に係る撮影画像登録装置４０を含む撮影画像登録システム２００全体の構成の一例を表したブロック図である。 本発明に係る撮影画像登録装置４０の構成を表したブロック図である。 撮影画像登録装置４０における撮影画像登録処理の流れを示したフローチャート図である。

［第１の実施の形態］
以下、図面を参照しながら、第１の実施の形態に係る位置特定装置の例について説明する。図１は、本発明に係る位置特定装置１０を含む位置特定システム１００全体の構成の一例を表したブロック図である。図１に示すように、本例の位置特定システム１００は、位置特定装置１０と、移動者保持端末２０とを含むように構成している。位置特定装置１０と移動者保持端末２０は、それぞれインターネットなどの通信ネットワーク３０を介して相互に通信可能に接続されている。また、移動者保持端末２０は、無線信号受信手段２１と、点群データ取得手段２２とを少なくとも備えている。この移動者保持端末２０は、移動する人が保持する端末である場合のみならず、ドローンなどの遠隔操作される無人飛行体に搭載される端末である場合も含むものとする。また、本例の位置特定システム１００は、複数の無線信号発信装置Ｂ１１、・・・、Ｂｍｎ（以下、全体を指す場合に無線信号発信装置Ｂと表現する）を含むように構成している。無線信号発信装置Ｂは、無線信号を発信することができるものであれば様々なものが利用可能であるが、例えば、ビーコン発信機や、無線による通信ネットワークへのアクセスポイントとしての無線ＬＡＮ用ルーター装置（いわゆるＷｉ－Ｆｉ（登録商標）用のアクセスポイントとしての無線信号発信装置）などが考えられる。

また、本例においては、位置特定システム１００は、位置特定装置１０と移動者保持端末２０とを含む構成であるものとして以下の説明を行うが、これに限定されるものではなく、移動者保持端末２０に位置特定装置１０の機能を全て持たせて、移動者保持端末２０において全ての処理を実行する構成であってもよい。また、位置特定システム１００は、位置特定装置１０と移動者保持端末２０のみならず、サーバ装置を備えさせて、各種データ及び各種機能をサーバ装置に備えさせる構成であってもよい。

図２は、本発明に係る位置特定装置１０の構成を表したブロック図である。この図２に示すように、位置特定装置１０は、点群データ取得部１１と、３次元モデルデータ取得部１２と、照合用オブジェクト抽出部１３と、無線信号受信情報取得部１４と、位置推定部１５と、オブジェクト一致箇所特定部１６と、対象位置特定部１７と、履歴情報作成部１８と、記憶部１９とを少なくとも備えている。なお、位置特定装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、位置特定装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、ＧＰＵ（Graphics Processing Unit：画像処理装置）、メモリ、ハードディスクドライブ等のストレージを適宜具備しているものとする（図示省略）。また、これらの一般的なコンピュータを本例の位置特定装置１０として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。

点群データ取得部１１は、所定の計測範囲について深度情報からなる点群データを得るための点群データ取得手段２２から点群データを取得する機能を有する。移動者保持端末２０が備える点群データ取得手段２２において取得された点群データを通信ネットワーク３０を介して取得する。なお、移動者保持端末２０が備える点群データ取得手段２２は、深度情報からなる点群データを取得することが可能であればどのようなものであってもよいが、例えば、LiDAR（Light Detection and Ranging）などの３次元レーザスキャナ（３ＤＬＳ）、ステレオ写真測量、赤外線センサなどの手法が考えられる。点群データを取得するタイミングは、対象が自身の位置を特定したい時の他、後述の履歴情報を作成する場合には、継続して連続的に若しくは所定の期間ごとに点群データを取得して、履歴情報として格納しておくようにしてもよい。

３次元モデルデータ取得部１２は、建造物の３次元モデルデータを格納した３次元モデルデータ格納手段から対象が位置する建造物についての３次元モデルデータを取得する機能を有する。ここで、３次元モデルデータとは、建造物の詳細な３次元構造を表現した設計データのことをいい、例えば、３次元ＣＡＤデータや、ＢＩＭ（Building Information Modeling）データが挙げられる。３次元モデルデータ格納手段には、位置特定を行いたい建造物についての３次元モデルデータを予め格納させておく必要がある。３次元モデルデータ格納手段は、位置特定装置１０において必要な際にアクセスして３次元モデルデータを取得可能であればどのような手段であってもよく、後述する位置特定装置１０の記憶部１６によって実現してもよいし、通信ネットワーク３０を介して接続可能なサーバ装置に備えさせることで実現してもよい。

照合用オブジェクト抽出部１３は、点群データ取得部１１で取得した点群データから３次元モデルデータと照合する照合用オブジェクトを抽出する機能を有する。ここで、照合用オブジェクトとは、所定の計測範囲について取得した点群データのうち、照合に用いる単位としての物体、対象という意味でのオブジェクトをいう。照合の単位は、特定の物体単位である必要はなく、照合処理が可能であれば、所定の領域を指定するものであってもよいし、取得した点群データ全体を照合用オブジェクトとしてもよい。また、照合用オブジェクトとして抽出する箇所は、必ずしも１箇所である必要はなく、複数の照合用オブジェクトを抽出してもよい。図４は、移動者保持端末２０の点群データ取得手段２２によって点群データを取得する際の計測範囲の一例を表した説明図である。この図４に示す計測範囲について取得した点群データ全体を照合用オブジェクトとしてもよいし、ドアを照合用オブジェクトとしてもよいし、壁面に凹部を設けて形成した窓枠部分を照合用オブジェクトとしてもよい。

無線信号受信情報取得部１４は、無線信号受信手段２１からの無線信号受信情報を取得する機能を有する。ここで、無線信号受信情報とは、無線信号受信手段２１が複数の無線信号発信装置Ｂ１１、・・・、Ｂｍｎのそれぞれから無線信号を受信した際の受信強度の情報を含むものであり、点群データの取得位置と同じ位置において無線信号受信情報を取得する。無線信号受信情報の取得は、点群データ取得部１１における点群データの取得と完全に同時刻である必要はないが、対象が移動してしまうと正確な位置特定ができなくなってしまうので、点群データの取得時刻と可能な限り近い時刻に無線信号受信情報の取得を行うことが好ましい。

位置推定部１５は、無線信号受信情報に基づいて対象の位置の推定を行う機能を有する。位置推定に用いられる複数の無線信号発信装置Ｂ１１、・・・、Ｂｍｎは、位置を特定したい建造物内に予め設置されており、それぞれの設置位置の情報を予め取得してあることが前提となる。例えば、複数の無線信号発信装置Ｂ１１、・・・、Ｂｍｎのそれぞれの設置位置の情報を当該建造物に関する３次元モデルデータと関連付けて記憶させておくようにしてもよい。複数の無線信号発信装置Ｂ１１、・・・、Ｂｍｎのそれぞれからの無線信号は無線信号受信手段２１において受信されて受信強度の情報を含む無線信号受信情報として取得され、この位置推定部１５において、無線信号受信情報を用いて位置を推定する。

無線信号は距離が遠くなるにつれて信号が減衰する傾向にあるため、受信強度が分かれば、信号発信源からの距離が推定できる。１つの無線信号発信装置からの無線信号受信情報のみの場合には発信源から同一半径の円上の位置であることのみが推定でき、２つの無線信号発信装置からの無線信号受信情報の場合には、２つの円の交差点である２点に推定でき、３つ以上の無線信号発信装置からの無線信号受信情報の場合に、位置を一箇所に推定することが可能となる。理論上は一箇所に特定可能であるが、特許文献１の問題点として挙げたように、現実には電波強度の揺らぎが原因の誤差が生じることを考慮して、この位置推定部１５では、対象の位置の推定に止め、得られた推定位置を出力する。なお、位置の推定は、一箇所の３次元座標を指定するものであってもよいし、一定の領域を位置する可能性のある範囲として指定するものであってもよい。また、受信強度の情報のみでは位置の推定を一箇所に絞りきれない場合には、位置の推定として複数の位置を同時に指定するようにしてもよい。

図５は、位置特定対象が位置する建造物における無線信号発信装置Ｂの配置の一例を表した説明図である。図５は３階層のそれぞれに４つずつ無線信号発信装置Ｂが配置され、合計で１２個の無線信号発信装置Ｂ１１～Ｂ３４が配置されている。それぞれの無線信号発信装置Ｂの配置位置の情報は当該建造物の３次元モデルデータと関連付けて記憶させておく。この状況において、星印の箇所に対象が位置しているとすると、無線信号発信装置Ｂ２４からの無線信号の受信強度が最もつよく、無線信号発信装置Ｂ２３、Ｂ２１、Ｂ２２の順に受信強度が弱くなって受信されている。このような無線信号受信情報から対象の位置の推定を行う。

オブジェクト一致箇所特定部１６は、３次元モデルデータと照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定する機能を有する。照合に用いる３次元モデルデータは、位置推定部１５での推定位置周辺の３次元モデルデータを抽出して照合に利用する。ここで、照合用オブジェクトは深度情報からなる点群データであり、３次元モデルデータは３次元構造を頂点、線分、曲線、面などを用いて幾何学的に表現したデータであるので、これらを直接照合することができない。よって、一方のデータ形式を他方のデータ形式に変換してから照合を行う。

＜点群データから３次元モデルデータ形式への変換＞
点群データである照合用オブジェクトを３次元モデルデータと同一形式のデータに変換して照合を行う場合について説明する。点群データは１点ずつが計測点からの深度の情報からなり、１点ずつが座標情報を有しているともいえるデータであるのに対して、３次元モデルデータは３次元構造を頂点、線分、曲線、面などを用いて幾何学的に表現したデータである。よって、点群データを頂点、線分、曲線、面などを用いて幾何学的に表現するデータに変換する必要がある。その方法としては、点群データの深度情報の傾向から面を形成している箇所を抽出するとともに、深度情報の傾向が変化する箇所を抽出することで平面の境界線、稜線、頂点、などの特徴点を抽出する。抽出した複数の特徴点は境界線、稜線、頂点、などの部分に集中する。よって、この複数の特徴点の連続箇所を近似する直線、曲線等を生成することで３次元モデルデータと同一形式のデータに変換する。

また、点群データから特徴点を抽出する処理を高速化するために、カメラ装置等の撮影手段で撮影した写真データを利用してもよい。図１の移動者保持端末２０においては図示していないが、この移動者保持端末２０に撮影手段を備えさせ、点群データ取得手段２２で点群データを取得するタイミングにおいて、同一方向で同一範囲について撮影手段によって撮影して写真データを取得するようにする。写真データには、点群データを同じ対象物が含まれている。そこで、写真データについて、既存の画像処理技術を用いたエッジ抽出処理等に基づいて、写真データにおけるエッジ部分を抽出する。写真データに含まれるドアの外枠部分、窓枠部分、柱の角部分などは、エッジとして抽出され得る。このようにして、写真データから抽出したエッジの情報を点群データと重ね合わせる。点群データと写真データは同一方向の同一範囲について略同時期にデータ取得を行っているため、エッジ部分と重なる箇所には、境界線、稜線、頂点を表す特徴点が存在する可能性が高い。よって、そのようなエッジと重なった箇所について優先的に特徴点の抽出処理を行うことで、高速に特徴点の抽出が可能となる。

また、写真データから抽出したエッジの情報に基づいて、照合用オブジェクト抽出部１３において抽出する照合用オブジェクトを決定するようにしてもよい。特徴的なエッジで囲まれた対象物は照合に適したオブジェクトである可能性が高い点を利用したものである。この場合には、照合用オブジェクト抽出部１３において写真データからエッジの抽出処理を行うようにし、エッジ情報を点群データと重ね合わせることで、照合に適した照合用オブジェクトの範囲を決定するようにする。

以上の手法により、点群データである照合用オブジェクトを３次元モデルデータと同一形式のデータに変換してから、照合処理を行う。照合用オブジェクトは初期状態では特定の視点からのオブジェクトの形状を表したデータであるのに対して、３次元モデルデータは視点情報を含まないデータであるので、照合に際しては、一方又は双方を回転させての照合、すなわち一方又は双方の座標系を変換させて照合することでオブジェクトの一致度を判定する。なお、点群データから幾何学的な表現データに変更しているため、角度などに誤差を含む可能性がある。よって、多少の誤差については一致する可能性が高いものとして誤差を吸収した判定を行う必要がある。実際の一致判定のための照合処理の細部については、既知の様々な技術を応用することが可能である。

＜３次元モデルデータから点群データへの変換＞
次に、３次元モデルデータを点群データに変換して照合用オブジェクトと照合を行う場合について説明する。３次元モデルデータは建造物に関する精密な幾何学的な表現データであるので、正確なスケールを入力して特定箇所を基準として３次元座標をとれば、３次元モデルデータを３次元座標データに変換することは可能である。そして、３次元座標データの任意の点について座標情報を抽出することも可能であるので、３次元座標データを点群データに変換することも可能である。よって、位置推定部１５で推定されて位置付近の３次元モデルデータを点群データに変換し、点群データ取得手段２２で取得した点群データの任意の領域を照合用オブジェクトとして抽出して、照合用オブジェクトの点群データと推定位置付近の３次元モデルデータの点群データとを照合してオブジェクト一致箇所を特定するようにする。なお、照合の際に３次元モデルデータを３次元座標データや点群データに変換する処理を行ってもよいが、予め３次元モデルデータを３次元座標データや点群データに変換したデータを併せて記憶させておくようにしてもよい。

また、点群データの深度情報の傾向が変化する箇所を抽出することで平面の境界線、稜線、頂点、などの特徴点を抽出して、抽出した特徴点で囲まれる箇所を照合用オブジェクト抽出部１３において照合用オブジェクトとして抽出するようにしてもよい。また、上述の写真データからのエッジ抽出の手法を採用して、写真データからのエッジ情報と点群データとを重ね合わせて、エッジによって囲まれたオブジェクトを照合用オブジェクト抽出部１３において照合用オブジェクトとして抽出するようにしてもよい。

また、推定位置付近の３次元モデルデータ全体を点群データに変換して照合を行うのではなく、照合用オブジェクトとして選択される可能性の高いオブジェクト部分を点群データ化して照合を行うようにすることで、演算処理の高速化を図るようにしてもよい。例えば、建造物におけるドア、窓枠、柱、梁、段差部などは、照合用オブジェクトとして選択される可能性が高い特徴個所であるため、３次元モデルデータに含まれる特徴個所のみを点群データに変換して照合を行うようにすれば、処理負荷を軽減することが可能となる。

また、写真データ内に映っている対象物を特定することについて機械学習等の手法によって予め学習させた学習済モデルによって、撮影手段によって撮影して得た写真データ内に映るドア、窓枠、柱、梁、段差部などを特定することによって、照合用オブジェクトとして選択される可能性が高い対象物を画像認識処理によって特定するようにしてもよい。そして、画像認識によって写真データに映っている対象物を特定して、特定された対象物のタグ、例えば、３次元モデルデータ内の窓枠のタグの付されたオブジェクトのみを点群データに変換するようにしてもよい。これにより、処理負荷を軽減することが可能となるとともに、少ない試行回数で一致箇所を特定できる可能性が高まる。

以上の手法により、点群データである照合用オブジェクトと３次元モデルデータを点群データ化したものとで照合処理を行う。点群データは３次元座標データの一種であるので、照合に際しては３次元座標データのように扱って、任意に座標系を変換しつつ照合を行うことが可能である。また、点群データはノイズ等の影響により多少の誤差を含む可能性がある。よって、多少の誤差については一致する可能性が高いものとして誤差を吸収した判定を行う必要がある。実際の一致判定のための照合処理の細部については、既知の様々な技術を応用することが可能である。

３次元モデルデータと照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を一箇所に特定する。位置推定部１５において位置を推定した上で照合を行っているため、一箇所に特定できる可能性は高いが、それでも照合用オブジェクトと一致する箇所が複数発見される可能性は存在する。複数の候補が存在する場合には、複数の中から一箇所に特定するために、他の照合用オブジェクトを別途抽出して他の照合用オブジェクトによって特定を試みるか、後述する履歴情報作成部１８で作成された履歴情報を用いて位置特定対象の位置に到達するまでの対象者の移動経路を抽出して、移動経路の情報から一致箇所を特定するようにする。

オブジェクトの一致箇所を複数の候補の中から一箇所に特定するために用いる履歴情報は、位置推定に用いた無線信号受信情報のみであってもよい。この場合には、連続的に若しくは所定期間毎に取得した過去の無線信号受信情報を用いて、過去の時点における対象の位置を位置推定部１５によって推定して、位置特定対象の移動経路を抽出することで、現在の対象の位置における点群データの一致箇所を特定するようにする。また、履歴情報として、過去の時点での点群データを用いるようにしてもよい。この場合、オブジェクト一致箇所特定部１６において、履歴情報に含まれる過去の時点での点群データを用いて過去の時点でのオブジェクトの一致箇所を抽出して、その地点からの時間経過と移動距離から現在の対象の位置における点群データの一致箇所を特定するようにする。

対象位置特定部１７は、３次元モデルデータにおけるオブジェクト一致箇所の情報と点群データの深度情報とに基づいて対象の位置を特定する機能を有する。オブジェクト一致箇所特定部１６で３次元モデルデータ内におけるオブジェクト一致箇所が一箇所に特定されており、かつ、点群データの深度情報と点群データ取得時のオブジェクトの計測角度からオブジェクトから対象者までの距離と方向が求まるため、これらの情報を合わせることで、建造物内における対象者の位置を正確に特定することが可能となる。特定した位置情報は、移動者保持端末２０に送信するようにすれば、移動者が自身の位置を正確に把握することに役立てられる。また、特定した位置情報を履歴情報作成部１８において履歴情報として記憶させるようにすれば、更なる移動先において位置特定を行う際に履歴情報として利用できる。

履歴情報作成部１８は、各種の取得した情報を履歴情報として記憶させる機能を有する。具体的には、点群データ取得部１１における点群データの取得を所定期間毎又は連続的に行って点群データ履歴情報を作成する点群データ履歴情報作成機能と、無線信号受信情報取得部１４における無線信号受信情報の取得を所定期間毎又は連続的に行って受信履歴情報を作成する受信履歴情報作成機能とを、履歴情報作成部１８に備えさせる。これにより、連続的又は所定期間毎に点群データ履歴情報と受信履歴情報を作成して記憶させる。また、対象位置特定部１７において位置の特定を行った際の特定位置の履歴情報についても併せて記憶させるようにしてもよい。これらの履歴情報を作成しておくことにより、オブジェクト一致箇所特定部１６において複数の候補が見つかった場合に、履歴情報を利用して一箇所に特定し得る。

記憶部１９は、各部の処理に必要な各種データや、各部における処理の結果として得られたデータを記憶させる機能を有する。例えば、３次元モデルデータ格納手段として記憶部１６を機能させるようにしてもよいし、別途設けたサーバ装置に備えられた３次元モデルデータ格納手段から対象の位置する建造物の３次元モデルデータを取得して記憶部１６に記憶させるようにしてもよい。また、履歴情報作成部１８において作成される各種の履歴情報は、この記憶部１６に記憶させておくようにしてもよい。

次に、位置特定装置１０における位置特定処理の流れについて説明を行う。図３は、位置特定装置１０における位置特定処理の流れを示したフローチャート図である。この図３に示す各ステップは、必ずしもこの図３の順序に従って処理される必要はなく、不都合の生じない範囲において適宜入れ替えて実行可能である。

図３に示すように、位置特定処理は、例えば、移動者保持端末２０において現在位置を知りたいという問い合わせ信号とともに、建造物を特定する情報と、その地点において取得した点群データと、その地点において取得した無線信号受信情報とが位置特定装置１０に対して送信され、位置特定装置１０においてこれら種々の情報とともに点群データを取得することによって処理が開始される（Ｓ１０１）。位置特定装置１０では、建造物を特定する情報を用いて、当該建造物についての３次元モデルデータを取得する（Ｓ１０２）。また、位置特定装置１０では、取得した点群データから照合を行う際の照合用オブジェクトを抽出する（Ｓ１０３）。

次に、位置特定装置１０では、無線信号受信情報に基づいて位置特定対象の位置を推定する（Ｓ１０４）。そして、推定した位置付近の３次元モデルデータと点群データから抽出した照合用オブジェクトの照合を行う（Ｓ１０５）。この３次元モデルデータと照合用オブジェクトとの照合は、一方のデータ形式を他方のデータ形式に変換してから照合を行う。照合の結果、候補が１つである場合には（Ｓ１０６－Ｎ）、３次元モデルデータ上のオブジェクト一致箇所をその１つに特定する（Ｓ１０７）。

オブジェクト一致箇所として複数の候補が存在する場合には（Ｓ１０６－Ｙ）、履歴情報を用いて複数の候補の中から１つのオブジェクト一致箇所を特定する（Ｓ１０８）。最終的に、３次元モデルデータ上のオブジェクト一致箇所の情報と、点群データの深度情報とを用いて、位置特定対象の正確な位置を特定して（Ｓ１０９）、処理を終了する。

＜具体例１＞
ここでは、位置特定装置１０について、より具体的な例を用いて説明を行う。先ず、照合用オブジェクト抽出部１３における処理の具体例を説明する。ここでの例は、点群データ取得手段２２で取得した点群データから照合用オブジェクトを抽出することについて予め学習させた学習済モデルを生成する手法である。具体的には、境界面データと特徴量データを照合用オブジェクトとして抽出することを予め学習させる。ここで、境界面データとは、柱、梁、窓枠などの境界面となる建築モデル部分のデータのことをいう。また、特徴量データとは、配管、点検口、煙探知機などの特徴量となる設備モデル部分のデータのことをいう。先ず、学習に用いる境界面データと特徴量データの対象を含む点群データを取得する。点群データの深度について、最小深度～最大深度の範囲を色付けする処理を実施する。境界面データ、特徴量データとなる３次元オブジェクトを最小深度～最大深度の範囲を設定して抽出する。抽出した３次元オブジェクトデータを学習対象として保存する。そして、抽出した３次元オブジェクトデータについて、ＮＮ法（Nearest Neighbors法）によってパターンを認識して分類する。なお、ＮＮ法によって境界面データ（例：天井面）と特徴量データ（例：煙探知機）とが区別されずに混在する場合には、ＲＡＮＳＡＣ（Random Sample Consensus）アルゴリズムによって直線の相関を見出すことで分離処理する。このようにして抽出したものを境界面データ、特徴量データとして登録する。このような処理を学習させた学習済モデルを用いることによって、取得した点群データから境界面データ、特徴量データを抽出することが可能となる。

他方で、３次元モデルデータにおいては、３次元モデルデータに含まれる柱、梁、窓枠などの境界面となる建築モデル部分や、配管、点検口、煙探知機などの特徴量となる設備モデル部分について、それぞれ境界面データ、特徴量データと照合する可能性のあるパーツとして、予め分類に関するタグを付して登録しておく。そして、オブジェクト一致箇所特定部１６における照合処理の際には、照合用オブジェクト抽出部１３において抽出したオブジェクトに含まれる境界面データ、特徴量データと同一の分類のタグの付された３次元モデルデータのパーツ部分のみを照合対象として抽出して、点群データの境界面データ、特徴量データと照合を行うようにすることで、一致箇所を特定するまでの試行回数を低減させることが可能となる。この境界面データ、特徴量データを用いた照合は、点群データにデータ形式を一致させての照合と、３次元モデルデータにデータ形式を一致させての照合の何れにおいても有効な照合処理である。

また、３次元モデルデータに含まれる柱、梁、窓枠などの境界面となる建築モデル部分や、配管、点検口、煙探知機などの特徴量となる設備モデル部分について、それぞれ境界面データ、特徴量データと照合する可能性のあるパーツとして、予め分類に関するタグを付して登録する際に、距離的に近傍に存在する可能性の高いパーツや、一緒に設置される可能性の高いパーツや、同時期に設置される可能性の高いパーツなど、相関性を有する複数のパーツについては、その相関関係を併せて登録するようにしてもよい。

３次元モデルデータ上において相関性の登録された２以上のパーツは、その組み合わせがユニークであれば一致箇所の特定を行う材料としては好材料であるといえる。例えば、エアコンと、その直ぐ下方に存在する出窓という２つのパーツを近傍に存在することをもって相関性を登録しておくとする。エアコン単体、若しくは、出窓単体の場合には複数の候補が存在するとしても、エアコンと出窓が近傍に存在する箇所が一箇所しか存在しないのであれば、この一箇所を照合対象として選定して照合の結果一致すれば、一回の照合処理で一致箇所を特定することができる。この場合の照合の流れとしては、点群データの中から照合用オブジェクトとして「エアコンと推定されるオブジェクト」と「出窓と推定されるオブジェクト」を抽出した際に、これらの距離が近いことを用いて、エアコンと出窓がセットで登録されているか否かを相関性に関する登録情報を参照する。その結果、登録箇所が一箇所だった場合には、登録された箇所の３次元モデルデータと点群データの照合用オブジェクトとの照合を行って一致が確認されれば、一回の照合処理でオブジェクト一致箇所を特定することができる。

また、相関性の登録情報に基づいて、照合処理の絞り込みを行うようにしてもよい。例えば、点群データから抽出した照合用オブジェクトが天井面に設置するタイプのエアコンであった場合に、位置推定部１５で推定された位置の部屋には該当するエアコンが３基設置してあったとすると、照合処理をする前の段階では候補が３つ存在することになる。そのような場合に、３次元モデルデータ上の相関性の登録情報においてその部屋に存在する３つのエアコンのうち１つのエアコンについてだけは煙探知機が近傍に存在する相関性が登録されているとする。そのような場合には、エアコンのみならず煙探知機に関する３次元モデルデータについても照合対象に含めて、エアコンと煙探知機の両方を含む３次元モデルデータと点群データとの照合を最初に実行するようにする。その結果として一致が確認されれば、一回の照合で一致箇所を特定することができる。このように、相関性の登録情報を利用して一緒に照合する対象を追加して照合処理を行うことで、少ない試行回数で一致箇所を特定できる可能性が高まる。

＜具体例２＞
複数の無線信号発信装置Ｂ１１、・・・、Ｂｍｎからの無線信号受信情報を利用して位置推定部１５において位置の推定を行う構成としているが、さらに、複数の無線信号発信装置Ｂ１１、・・・、Ｂｍｎを位置推定の物理的マーカーとして利用するようにしてもよい。複数の無線信号発信装置Ｂ１１、・・・、Ｂｍｎとして、例えばビーコン発信機を採用する場合、個々のビーコン発信機はそれぞれ所定の大きさの筐体に格納されて建造物の様々な箇所に設置されることになる。設置されると、点群データ取得手段２２としての３次元カメラ装置や、一緒に撮影手段としてのカメラ装置で写真データを取得するような場合には、点群データとして無線信号発信装置Ｂの外形形状が取得されることもあり、写真データ内に無線信号発信装置Ｂが写りこむこともある。そのような状況において、無線信号発信装置Ｂを特定することができれば、位置推定の一手段として使用することができる。

具体的には、複数の無線信号発信装置Ｂ１１、・・・、Ｂｍｎについて、それぞれを区別して認識可能な外形的特徴を持たせるようにする手法が考えられる。例えば、無線信号発信装置Ｂを格納する筐体が立方体である場合、立方体の所定の面に対して他の装置と区別するための形状からなる凹部又は凸部を形成して、設置位置の情報と凹部又は凸部の形状の情報も併せて３次元モデルデータ上に登録しておく。このような登録をしておくことにより、無線信号発信装置Ｂを格納する筐体を点群データとして取得した際にその凹部又は凸部の形状を深度データとして取得できれば、無線信号発信装置Ｂが位置推定のためのマーカーとして機能する。凹部又は凸部の形状パターンのみならず、凹部又は凸部の形状を形成した面を何れの方向に立面させて設置したかの情報も併せて３次元モデルデータ上に登録しておけば、凹部又は凸部の形状の見え方に基づいて、点群データを取得した際の視点方向も特定することが可能となる。なお、凹部又は凸部の形状パターンを形成する箇所は一箇所である必要はなく、複数の面にそれぞれ凹部又は凸部の形状パターンを形成して、形状パターンごとに立面方向を３次元モデルデータ上に登録するようにしてもよい。

また、点群データの取得と一緒に写真データの取得も行って画像処理を行う構成を採用する場合には、複数の無線信号発信装置Ｂ１１、・・・、Ｂｍｎについて、画像処理の際にそれぞれを区別して認識可能なマーカーを印す手法が考えられる。例えば、視認可能な位置に数字を記載する手法、視認可能な位置に固有バーコードを記載する手法などが考えられ、それぞれについて設置位置の情報と固有マーカーの情報を併せて３次元モデルデータ上に登録しておく。このような登録をしておくことにより、無線信号発信装置Ｂを格納する筐体を点群データとして取得した際に、一緒に取得した写真データに対する画像処理を行うことで無線信号発信装置Ｂに印された固有マーカーの情報を取得できれば、無線信号発信装置Ｂが位置推定のためのマーカーとして機能する。また、筐体の固有マーカーの情報を印した面を何れの方向に立面させて設置したかの情報も併せて３次元モデルデータ上に登録しておけば、固有マーカーの写り方に基づいて、点群データ及び写真データを取得した際の視点方向も特定することが可能となる。なお、固有マーカーの情報を印す箇所は一箇所である必要はなく、複数の面にそれぞれ異なる固有マーカーの情報を印すようにして、固有マーカーの情報を印した面ごとに立面方向を３次元モデルデータ上に登録するようにしてもよい。

以上のように、本例における位置特定装置１０によれば、無線信号受信情報に基づいて位置特定対象の位置を推定し、推定した位置付近の３次元モデルデータと点群データから抽出した照合用オブジェクトとの照合を行ってオブジェクト一致箇所を特定し、その特定した３次元モデルデータ上の位置と点群データによる深度情報とを用いて位置特定対象の正確な位置を特定するようにしたので、無線信号の受信強度のみで位置特定を行っていた特許文献１などの従来技術に比較して高精度に位置を特定することが可能となる。

［第２の実施の形態］
以下、図面を参照しながら、第２の実施の形態に係る位置特定装置の例について説明する。図６は、本発明に係る撮影画像登録装置４０を含む撮影画像登録システム２００全体の構成の一例を表したブロック図である。図６に示すように、本例の撮影画像登録システム２００は、撮影画像登録装置４０と、移動者保持端末２０とを含むように構成している。撮影画像登録装置４０と移動者保持端末２０は、それぞれインターネットなどの通信ネットワーク３０を介して相互に通信可能に接続されている。また、移動者保持端末２０は、無線信号受信手段２１と、点群データ取得手段２２と、撮影手段２３とを少なくとも備えている。この移動者保持端末２０は、移動する人が保持する端末である場合のみならず、ドローンなどの遠隔操作される無人飛行体に搭載される端末である場合も含むものとする。また、本例の撮影画像登録システム２００は、複数の無線信号発信装置Ｂ１１、・・・、Ｂｍｎ（以下、全体を指す場合に無線信号発信装置Ｂと表現する）を含むように構成している。

また、本例においては、撮影画像登録システム２００は、撮影画像登録装置４０と移動者保持端末２０とを含む構成であるものとして以下の説明を行うが、これに限定されるものではなく、移動者保持端末２０に撮影画像登録装置４０の機能を全て持たせて、移動者保持端末２０において全ての処理を実行する構成であってもよい。また、撮影画像登録システム２００は、撮影画像登録装置４０と移動者保持端末２０のみならず、サーバ装置を備えさせて、各種データ及び各種機能をサーバ装置に備えさせる構成であってもよい。

図７は、本発明に係る撮影画像登録装置４０の構成を表したブロック図である。この図７に示すように、撮影画像登録装置４０は、撮影画像取得部４１と、点群データ取得部１１と、３次元モデルデータ取得部１２と、照合用オブジェクト抽出部１３と、無線信号受信情報取得部１４と、位置推定部１５と、オブジェクト一致箇所特定部１６と、撮影画像登録部４２と、履歴情報作成部１８と、記憶部１９とを少なくとも備えている。なお、撮影画像登録装置４０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、撮影画像登録装置４０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、ＧＰＵ（Graphics Processing Unit：画像処理装置）、メモリ、ハードディスクドライブ等のストレージを適宜具備しているものとする（図示省略）。また、これらの一般的なコンピュータを本例の撮影画像登録装置４０として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。

また、図６及び図７において、第１の実施の形態において説明した構成と同一符号を付している構成箇所は、第１の実施の形態の場合と同様に機能する構成であることから、説明を省略する。

撮影画像取得部４１は、撮影手段２３において撮影された撮影画像データを取得する機能を有する。移動者保持端末２０の有する撮影手段２３としてのカメラ機能に基づいて、３次元モデルデータと関連付けて登録したい対象を撮影して、撮影画像データを撮影画像登録装置４０に対して送信し、撮影画像取得部４１において撮影画像データを取得する。なお、撮影手段２３による撮影を行った位置において撮影方向と同一方向の所定の計測範囲について点群データ取得手段２２によって点群データを取得する必要がある。撮影と点群データの取得は、必ずしも同時刻である必要はないが、対象が移動してしまったり違う方向を向いてしまったりすると正確な撮影画像の登録ができなくなってしまうので、撮影時刻と可能な限り近い時刻に撮影方向と同一方向についての点群データの取得を行うことが好ましい。

撮影画像登録部４２は、３次元モデルデータにおけるオブジェクト一致箇所に関連付けて前記撮影画像データを登録する機能を有する。オブジェクト一致箇所特定部１６においてオブジェクト一致箇所が一箇所に特定された場合に、その３次元モデルデータ上の一致箇所に撮影画像取得部４１で取得した撮影画像データを関連付けて登録する。また、登録の際には、撮影画像データを撮影した日時の情報も併せて登録することが好ましい。

次に、撮影画像登録装置４０における撮影画像登録処理の流れについて説明を行う。図８は、撮影画像登録装置４０における撮影画像登録処理の流れを示したフローチャート図である。この図８に示す各ステップは、必ずしもこの図８の順序に従って処理される必要はなく、不都合の生じない範囲において適宜入れ替えて実行可能である。

図８に示すように、撮影画像登録処理は、例えば、移動者保持端末２０において生成された撮影画像を登録したいという問い合わせ信号とともに、建造物を特定する情報と、撮影手段２３によって撮影された撮影画像データとが撮影画像登録装置４０に対して送信され、撮影画像登録装置４０においてこれら種々の情報とともに撮影画像データを取得することによって処理が開始される（Ｓ２０１）。また、移動者保持端末２０において撮影画像データを撮影した位置において撮影方向と同一方向の所定の計測範囲について取得した点群データと、その地点において取得した無線信号受信情報とが撮影画像登録装置４０に対して送信され、撮影画像登録装置４０においてこれらを取得する（Ｓ２０２）。撮影画像登録装置４０では、建造物を特定する情報を用いて、当該建造物についての３次元モデルデータを取得する（Ｓ２０３）。また、撮影画像登録装置４０では、取得した点群データから照合を行う際の照合用オブジェクトを抽出する（Ｓ２０４）。

次に、撮影画像登録装置４０では、無線信号受信情報に基づいて撮影が行われた位置を推定する（Ｓ２０５）。そして、推定した位置付近の３次元モデルデータと点群データから抽出した照合用オブジェクトの照合を行う（Ｓ２０６）。この３次元モデルデータと照合用オブジェクトとの照合は、一方のデータ形式を他方のデータ形式に変換してから照合を行う。照合の結果、候補が１つである場合には（Ｓ２０７－Ｎ）、３次元モデルデータ上のオブジェクト一致箇所をその１つに特定する（Ｓ２０８）。

オブジェクト一致箇所として複数の候補が存在する場合には（Ｓ２０７－Ｙ）、履歴情報を用いて複数の候補の中から１つのオブジェクト一致箇所を特定する（Ｓ２０９）。最終的に、３次元モデルデータ上のオブジェクト一致箇所に対して撮影画像データを関連付けて登録して（Ｓ２１０）、処理を終了する。

以上のように、本例における撮影画像登録装置４０によれば、３次元モデルデータと点群データから抽出した照合用オブジェクトとの照合を行ってオブジェクト一致箇所を特定し、その特定した３次元モデルデータ上の位置に関連付けて撮影画像データを登録するようにしたので、無線信号の受信強度のみで位置特定を行っていた従来技術の場合に生じていた撮影画像データの登録位置の誤りがなくなり、正確な位置に関連付けて撮影画像データを登録することができる。また、無線信号受信情報に基づいて対象の位置を推定して、照合する３次元モデルデータを絞り込んでから照合を行うようにすることで、処理負荷を低減し、かつ、撮影画像データ登録までの時間を短縮することが可能となる。

第１及び第２の実施の形態においては、位置推定部１５において無線信号受信情報に基づいて位置の推定を行ってから、オブジェクト一致箇所特定部１６において３次元モデルデータと照合用オブジェクトとの照合を行う構成としていたが、位置推定部１５における位置の推定処理を省略することもできる。すなわち、位置推定は行わずに、対象が位置する建造物についての３次元モデルデータ全体と照合用オブジェクトとの照合を行うようにしてもよい。このような構成であっても、オブジェクト一致箇所を一箇所に特定することができれば、第１及び第２の実施の形態と同様に機能させることが可能である。

第１及び第２の実施の形態においては、予め建造物内に複数の無線信号発信装置Ｂ１１、・・・、Ｂｍｎを配置し、移動者保持端末２０に無線信号受信手段２１を備えさせる構成として説明を行ったが、送受信の関係を逆にしても同様に機能させることができる。すなわち、予め建造物内に複数の無線信号受信装置を配置し、それら複数の無線信号受信装置はそれぞれが無線信号受信情報を無線信号受信情報取得部１４に対して送信する手段を備えており、移動者保持端末２０にビーコン発信機のような無線信号発信手段を備えさせる構成としても、第１及び第２の実施の形態と同様に機能させることが可能である。なお、ビーコン発信機については、無線信号による通信を用いた無線ビーコンを想定したものとして説明を行ったが、無線に限らず、音波ビーコン、光ビーコンを採用してもよい。

第１及び第２の実施の形態においては、予め作成した建造物の３次元モデルデータを取得してオブジェクト一致箇所特定部１６における照合処理を行うものとして説明したが、このときに取得する３次元モデルデータは一種類である必要はない。例えば、建築現場においては、基礎段階、配筋段階、仕上げ段階といったように、建築作業の工期ごとに建物内の様子は大きく変化していくため、工期ごとに３次元モデルデータを予め作成しておくようにしてもよい。オブジェクト一致箇所特定部１６においては、工期に合わせた３次元モデルデータを１つだけ利用するようにしてもよいし、複数の３次元モデルデータに対して照合を行うことで工期の判別も可能とするようにしてもよい。すなわち、照合用オブジェクトと一致箇所が特定された３次元モデルデータが現在の工期の進捗状況を表すこととなる。

第１及び第２の実施の形態においては、位置推定部１５では、無線信号受信情報を用いて位置の推定を行うものとして説明を行ったが、これに限定されるものではない。例えば、第１及び第２の実施の形態において複数の候補が存在した場合に１つに絞るための方法として利用していた履歴情報作成部１８で作成した履歴情報を位置推定部１５における位置の推定に利用するようにしてもよい。例えば、無線信号受信情報の取得を所定期間毎又は連続的に行って受信履歴情報を作成する構成を採用している場合には、受信履歴情報を作成する際に、その無線信号受信情報を取得した際の位置の推定も行い、無線信号受信情報による位置推定の履歴情報として記憶させておけば、対象の移動経路を推定することが可能となる。この移動経路の推定情報を位置推定部１５において併せて利用するようにしてもよい。

また、例えば、点群データの取得を所定期間毎又は連続的に行って点群データ履歴情報を作成する構成を採用している場合には、点群データ履歴情報を作成する際に、その点群データを取得した際の位置の特定を内部的に実行するようにすれば、対象の移動経路を推定することが可能となる。この移動経路の推定情報を位置推定部１５において併せて利用するようにしてもよい。また、内部的に実行する位置の特定ではなく、意図して実行した対象位置特定部１７における位置特定の履歴情報を繋ぎ合わせて移動経路の推定情報として位置推定部１５において利用するようにしてもよい。

第１及び第２の実施の形態においては、位置推定部１５における対象位置推定手段として、無線信号受信情報に基づいて位置の推定を行う構成を採用していたが、対象位置推定手段はこの他にも様々な手段が採用可能である。例えば、対象位置推定手段として、ＤＲ（Dead Reckoning）と呼ばれる自律航法の技術を採用するようにしてもよい。ＤＲは、加速度、磁気（地磁気測位情報）、角速度などの各種センサの情報を用いてセンサ保持者の移動方向と移動距離を推定する技術である。ＤＲに必要なセンサ情報は、加速度などの移動距離を推定するためのセンサ情報と、磁気や角速度などの移動方向を推定するセンサ情報である。ＤＲによるセンサ情報の取得を開始するスタート地点の情報を登録してＤＲによる各種センサ情報の取得を開始すると、各種センサ情報に基づいて対象の移動方向及び移動距離から対象の現在位置の推定を行うことができる。この推定情報を位置推定部１５における位置推定に利用するようにしてもよい。

また、対象位置推定手段として、建造物内における地磁気測位情報を利用する構成であってもよい。建造物の鉄材等からの影響を含む地磁気のパターンを現地測定して予めデータベースを作成しておくことで、建造物内において電子コンパス等で取得した地磁気測位情報に基づいて対象の現在位置を推定することが可能となる。このような地磁気測位情報を用いた位置推定を位置推定部１５における位置推定に利用するようにしてもよい。また、地磁気測位情報を所定期間毎又は連続的に取得してデータベースと照合することで、対象の移動の軌跡を予測するようにしてもよい。

また、対象位置推定手段として、建造物内に様々に配置してその配置位置を予め３次元モデルデータと関連付けて登録させたＩＤマーカーをカメラ等の撮影手段で取得した写真データを画像処理することでＩＤマーカーの登録位置から対象の現在位置を推定する構成であってもよい。このようなＩＤマーカーによる位置推定を位置推定部１５における位置推定に利用するようにしてもよい。

また、対象位置推定手段として、ＧＰＳ（Global Positioning System）信号による位置情報を用いるようにしてもよい。ＧＰＳを利用できる環境においては、ＧＰＳ信号による位置情報を位置推定部１５における位置推定に採用することも可能である。なお、ＧＰＳ信号を受信する場合であっても、あくまで位置の推定に用いるにとどめ、点群データと３次元オブジェクトデータの一致箇所に基づいて位置特定を行う。

１００ 位置特定システム
１０ 位置特定装置
１１ 点群データ取得部
１２ ３次元モデルデータ取得部
１３ 照合用オブジェクト抽出部
１４ 無線信号受信情報取得部
１５ 位置推定部
１６ オブジェクト一致箇所特定部
１７ 対象位置特定部
１８ 履歴情報作成部
１９ 記憶部
２０ 移動者保持端末
２１ 無線信号受信手段
２２ 点群データ取得手段
２３ 撮影手段
３０ 通信ネットワーク
２００ 撮影画像登録システム
４０ 撮影画像登録装置
４１ 撮影画像取得部
４２ 撮影画像登録部

Claims (16)

1. 建造物内おける対象の位置を特定するための位置特定装置であって、
   所定の計測範囲について深度情報からなる点群データを得るための点群データ取得手段から点群データを取得する点群データ取得部と、
   建造物の３次元モデルデータを格納した３次元モデルデータ格納手段から対象がいる建造物についての３次元モデルデータを取得する３次元モデルデータ取得部と、
   境界面データと特徴量データとを３次元モデルデータと照合する照合用オブジェクトとして抽出することを予め学習させた学習済モデルに基づいて、前記点群データから前記照合用オブジェクトを少なくとも１以上抽出する照合用オブジェクト抽出部と、
   前記３次元モデルデータと前記照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定するオブジェクト一致箇所特定部と、
   前記３次元モデルデータにおける前記オブジェクト一致箇所の情報と前記点群データの深度情報とに基づいて対象の位置を特定する対象位置特定部と
   を備える位置特定装置。
2. 前記３次元モデルデータ取得部は、建造物の３次元モデルデータであって前記建造物における所定のパーツに対して前記パーツを分類するタグが予め付された３次元モデルデータを格納した３次元モデルデータ格納手段から対象がいる建造物についての３次元モデルデータを取得するものとし、
   前記照合用オブジェクト抽出部は、前記点群データから前記照合用オブジェクトを抽出する際に、当該照合用オブジェクトのタグ情報も併せて取得するものとし、
   前記オブジェクト一致箇所特定部は、抽出した前記照合用オブジェクトのタグ情報と同一のタグが付された前記パーツを前記３次元モデルデータから抽出し、当該パーツと前記照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定するようにした
   請求項１記載の位置特定装置。
3. 対象の位置を推定するための対象位置推定手段によって現在の対象の位置の推定を行う位置推定部を備え、
   前記オブジェクト一致箇所特定部は、前記位置推定部での推定位置周辺の３次元モデルデータと前記照合用オブジェクトとを照合して、３次元モデルデータ内におけるオブジェクト一致箇所を特定するようにした
   請求項１又は請求項２に記載の位置特定装置。
4. 前記対象位置推定手段は、
   前記建造物の所定箇所に予め設置された複数の無線信号発信装置からの無線信号を受信する無線信号受信手段から前記点群データの取得位置と同じ位置における無線信号受信情報を取得する無線信号受信情報取得部からなり、
   前記無線信号受信情報に基づいて対象の位置の推定を行うようにした
   請求項３に記載の位置特定装置。
5. 前記対象位置推定手段は、
   前記点群データの取得位置において無線信号発信手段から発信される無線信号を、前記建造物の所定箇所に予め設置された複数の無線信号受信装置のそれぞれにおいて受信した際の無線信号受信情報を取得する無線信号受信情報取得部からなり、
   前記無線信号受信情報に基づいて対象の位置の推定を行うようにした
   請求項３に記載の位置特定装置。
6. 前記対象位置推定手段は、
   対象が取得した地磁気測位情報を用いて位置推定を行うものであり、
   建造物内の地磁気パターンを現地測定して予め記憶させたデータベースと取得した地磁気測位情報とを利用して対象の位置の推定を行うようにした
   請求項３に記載の位置特定装置。
7. 建造物内おける対象の位置を特定する処理をコンピュータに実現させるための位置特定プログラムであって、
   前記コンピュータに、
   所定の計測範囲について深度情報からなる点群データを得るための点群データ取得手段から点群データを取得する点群データ取得機能と、
   建造物の３次元モデルデータを格納した３次元モデルデータ格納手段から対象がいる建造物についての３次元モデルデータを取得する３次元モデルデータ取得機能と、
   境界面データと特徴量データとを３次元モデルデータと照合する照合用オブジェクトとして抽出することを予め学習させた学習済モデルに基づいて、前記点群データから前記照合用オブジェクトを少なくとも１以上抽出する照合用オブジェクト抽出機能と、
   前記３次元モデルデータと前記照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定するオブジェクト一致箇所特定機能と、
   前記３次元モデルデータにおける前記オブジェクト一致箇所の情報と前記点群データの深度情報とに基づいて対象の位置を特定する対象位置特定機能と
   を実現させる位置特定プログラム。
8. 建造物内おける対象の位置を特定するための位置特定方法であって、
   所定の計測範囲について深度情報からなる点群データを得るための点群データ取得手段から点群データを取得する点群データ取得処理と、
   建造物の３次元モデルデータを格納した３次元モデルデータ格納手段から対象がいる建造物についての３次元モデルデータを取得する３次元モデルデータ取得処理と、
   境界面データと特徴量データとを３次元モデルデータと照合する照合用オブジェクトとして抽出することを予め学習させた学習済モデルに基づいて、前記点群データから前記照合用オブジェクトを少なくとも１以上抽出する照合用オブジェクト抽出処理と、
   前記３次元モデルデータと前記照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定するオブジェクト一致箇所特定処理と、
   前記３次元モデルデータにおける前記オブジェクト一致箇所の情報と前記点群データの深度情報とに基づいて対象の位置を特定する対象位置特定処理と
   を含む位置特定方法。
9. 建造物内おける撮影画像を３次元モデルデータにおける撮影対象の位置に対応付けて登録する撮影画像登録装置であって、
   画像の撮影を行う撮影手段からの撮影画像データを取得する撮影画像取得部と、
   前記撮影と同じ位置において撮影方向と同一方向の所定の計測範囲について深度情報からなる点群データを得るための点群データ取得手段から点群データを取得する点群データ取得部と、
   建造物の３次元モデルデータを格納した３次元モデルデータ格納手段から撮影位置の建造物についての３次元モデルデータを取得する３次元モデルデータ取得部と、
   境界面データと特徴量データとを３次元モデルデータと照合する照合用オブジェクトとして抽出することを予め学習させた学習済モデルに基づいて、前記点群データから前記照合用オブジェクトを少なくとも１以上抽出する照合用オブジェクト抽出部と、
   前記３次元モデルデータと前記照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定するオブジェクト一致箇所特定部と、
   前記３次元モデルデータにおける前記オブジェクト一致箇所に関連付けて前記撮影画像データを登録する撮影画像登録部と
   を備える撮影画像登録装置。
10. 前記３次元モデルデータ取得部は、建造物の３次元モデルデータであって前記建造物における所定のパーツに対して前記パーツを分類するタグが予め付された３次元モデルデータを格納した３次元モデルデータ格納手段から対象がいる建造物についての３次元モデルデータを取得するものとし、
    前記照合用オブジェクト抽出部は、前記点群データから前記照合用オブジェクトを抽出する際に、当該照合用オブジェクトのタグ情報も併せて取得するものとし、
    前記オブジェクト一致箇所特定部は、抽出した前記照合用オブジェクトのタグ情報と同一のタグが付された前記パーツを前記３次元モデルデータから抽出し、当該パーツと前記照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定するようにした
    請求項９記載の撮影画像登録装置。
11. 対象の位置を推定するための対象位置推定手段によって現在の対象の位置の推定を行う位置推定部を備え、
    前記オブジェクト一致箇所特定部は、前記位置推定部での推定位置周辺の３次元モデルデータと前記照合用オブジェクトとを照合して、３次元モデルデータ内におけるオブジェクト一致箇所を特定するようにした
    請求項１０に記載の撮影画像登録装置。
12. 前記対象位置推定手段は、
    前記建造物の所定箇所に予め設置された複数の無線信号発信装置からの無線信号を受信する無線信号受信手段から前記点群データの取得位置と同じ位置における無線信号受信情報を取得する無線信号受信情報取得部からなり、
    前記無線信号受信情報に基づいて対象の位置の推定を行うようにした
    請求項１１に記載の撮影画像登録装置。
13. 前記対象位置推定手段は、
    前記点群データの取得位置において無線信号発信手段から発信される無線信号を、前記建造物の所定箇所に予め設置された複数の無線信号受信装置のそれぞれにおいて受信した際の無線信号受信情報を取得する無線信号受信情報取得部からなり、
    前記無線信号受信情報に基づいて対象の位置の推定を行うようにした
    請求項１１に記載の位置特定装置。
14. 前記対象位置推定手段は、
    対象が取得した地磁気測位情報を用いて位置推定を行うものであり、
    建造物内の地磁気パターンを現地測定して予め記憶させたデータベースと取得した地磁気測位情報とを利用して対象の位置の推定を行うようにした
    請求項１１に記載の撮影画像登録装置。
15. 建造物内おける撮影画像を３次元モデルデータにおける撮影対象の位置に対応付けて登録する処理をコンピュータに実現させるための撮影画像登録プログラムであって、
    前記コンピュータに、
    画像の撮影を行う撮影手段からの撮影画像データを取得する撮影画像取得機能と、
    前記撮影と同じ位置において撮影方向と同一方向の所定の計測範囲について深度情報からなる点群データを得るための点群データ取得手段から点群データを取得する点群データ取得機能と、
    建造物の３次元モデルデータを格納した３次元モデルデータ格納手段から撮影位置の建造物についての３次元モデルデータを取得する３次元モデルデータ取得機能と、
    境界面データと特徴量データとを３次元モデルデータと照合する照合用オブジェクトとして抽出することを予め学習させた学習済モデルに基づいて、前記点群データから前記照合用オブジェクトを少なくとも１以上抽出する照合用オブジェクト抽出機能と、
    前記３次元モデルデータと前記照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定するオブジェクト一致箇所特定機能と、
    前記３次元モデルデータにおける前記オブジェクト一致箇所に関連付けて前記撮影画像データを登録する撮影画像登録機能と
    を実現させる撮影画像登録プログラム。
16. 建造物内おける撮影画像を３次元モデルデータにおける撮影対象の位置に対応付けて登録する撮影画像登録方法であって、
    画像の撮影を行う撮影手段からの撮影画像データを取得する撮影画像取得処理と、
    前記撮影と同じ位置において撮影方向と同一方向の所定の計測範囲について深度情報からなる点群データを得るための点群データ取得手段から点群データを取得する点群データ取得処理と、
    建造物の３次元モデルデータを格納した３次元モデルデータ格納手段から撮影位置の建造物についての３次元モデルデータを取得する３次元モデルデータ取得処理と、
    境界面データと特徴量データとを３次元モデルデータと照合する照合用オブジェクトとして抽出することを予め学習させた学習済モデルに基づいて、前記点群データから前記照合用オブジェクトを少なくとも１以上抽出する照合用オブジェクト抽出処理と、
    前記３次元モデルデータと前記照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を特定するオブジェクト一致箇所特定処理と、
    前記３次元モデルデータにおける前記オブジェクト一致箇所に関連付けて前記撮影画像データを登録する撮影画像登録処理と
    を含む撮影画像登録方法。
    

Images