WO2025150362A1 - 点群処理装置および点群処理システム - Google Patents

Abstract

移動体が備えるカメラで撮影された複数の画像を用いて対象領域の第１三次元点群を生成する第１点群生成部と、複数の画像のうち、対象領域内に設置された端末装置に関する情報に基づいて選択された画像を用いて対象領域内の一部領域の第２三次元点群を生成する第２点群生成部とを備える点群処理装置である。

Description

点群処理装置および点群処理システム

　本技術は、点群処理装置および点群処理システムに関する。

　従来技術として、上空を飛行するドローン等の移動体に搭載したカメラで地表面を撮影した複数の画像データからその地表面を表す三次元点群を生成する技術がある。

　三次元点群の生成においては、位置検出センサの位置検出精度などに基づく誤差が生じる場合がある。そこで、三次元点群生成の対象である領域にマーカ４００を設置し、そのマーカ４００が設置された領域を撮影して得られた画像からマーカ４００を検出して三次元点群を生成する技術が提案されている（特許文献１）。

ＷＯ２０２３２２３８８７号公報

　特許文献１に記載の技術では三次元点群を生成するためのマーカ４００検出作業の効率化を図ることができるが、三次元点群の生成においては精度のさらなる向上が求められている。

　本技術はこのような問題点に鑑みなされたものであり、三次元点群の精度を向上させるための、もう一つの三次元点群を生成することができる点群処理装置および点群処理システムを提供することを目的とする。

　上述した課題を解決するために、第１の技術は、移動体が備えるカメラで撮影された複数の画像を用いて対象領域の第１三次元点群を生成する第１点群生成部と、複数の画像のうち、対象領域内に設置された端末装置に関する情報に基づいて選択された画像を用いて対象領域内の一部領域の第２三次元点群を生成する第２点群生成部とを備える点群処理装置である。
である。

　第２の技術は、カメラを備える移動体と、移動体が備えるカメラで撮影された複数の画像を用いて対象領域の第１三次元点群を生成する第１点群生成部と、複数の画像のうち、対象領域内に設置された端末装置に関する情報に基づいて選択された画像を用いて対象領域内の一部領域の第２三次元点群を生成する第２点群生成部とを備える点群処理装置とからなる点群処理システムである。

　第３の技術は、移動体が備えるカメラで撮影された複数の画像を用いて対象領域の第１三次元点群を生成する第１点群生成部と、複数の画像のうち、対象領域内に設置されたマーカに関する情報に基づいて選択された画像を用いて対象領域内のマーカ周囲領域の第３三次元点群を生成する第３点群生成部とを備える点群処理装置である。

　第４の技術は、カメラを備える移動体と、移動体が備えるカメラで撮影された複数の画像を用いて対象領域の第１三次元点群を生成する第１点群生成部と、複数の画像のうち、対象領域内に設置されたマーカに関する情報に基づいて選択された画像を用いて対象領域内のマーカ周囲領域の第３三次元点群を生成する第３点群生成部とを備える点群処理装置とからなる点群処理システムである。

第１の実施形態における点群処理システム１０００の構成を示す図である。 点群処理システム１０００における移動体１００の移動を示す図である。 移動体１００の構成を示すブロック図である。 端末装置２００の構成を示すブロック図である。 第１の実施形態における点群処理装置３００の構成を示すブロック図である。 点群処理装置３００により生成された三次元点群を示す図である。 誤差がない三次元点群と端末装置２００のＺ方向における関係を示す図である。 誤差がある三次元点群と端末装置２００のＺ方向における関係を示す図である。 誤差がない三次元点群と端末装置２００のＸＹ方向における関係を示す図である。 誤差がある三次元点群と端末装置２００のＸＹ方向における関係を示す図である。 Ｚ方向における補正量の算出方法の説明図である。 ＸＹ方向における補正量の算出方法の説明図である。 端末装置２００の天面に付与するテクスチャの例を示す図である。 第２の実施形態における点群処理システム１０００の構成を示す図である。 第２の実施形態における点群処理装置３００の構成を示すブロック図である。 誤差がない三次元点群とマーカ４００のＸＹ方向における関係を示す図である。 誤差がある三次元点群とマーカ４００のＸＹ方向における関係を示す図である。 ＸＹ方向における第１三次元点群の位置の精度検証方法の説明図である。 第１三次元点群と第３三次元点群の密度ついての説明図である。 マーカ４００を複数設置する例の説明図である。 誤差測定用位置を入力するためのＧＵＩを示す図である。 第１三次元点群の精度検証の説明図である。 ＧＵＩにおいて第３三次元点群を表示する効果を説明する図である。 点群処理装置３００の第１の変形例を示すブロック図である。 点群処理装置３００の第２の変形例を示すブロック図である。 点群処理装置３００の第３の変形例を示すブロック図である。 点群処理装置３００の第４の変形例を示すブロック図である。

　以下、本技術の実施形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜第１の実施形態＞
［点群処理システム１０００の構成］
［移動体１００の構成］
［端末装置２００の構成］
［点群処理装置３００の構成と処理］
＜第２の実施形態＞
［点群処理システム１０００の構成］
［点群処理装置３００の構成と処理］
＜変形例＞

＜第１の実施形態＞
［点群処理システム１０００の構成］
　図１および図２に示すように、点群処理システム１０００は、移動体１００と点群処理装置３００としての機能を備える端末装置２００により構成されている。

　移動体１００は上空を飛行するドローンなどの無人航空機である。移動体１００はカメラ１０５を備え、事前に設定されている移動経路に基づいて自動飛行して自動撮影を行うことができる。移動経路は既存の移動体用制御ソフトウェアなどにより設定することができる。

　自動飛行および自動撮影を行う場合、経路情報、撮影位置、撮影方向、撮影タイミングなどを予め設定し、移動体１００がその設定内容に従い移動制御および撮影制御を行う。移動体１００は、図２に示すように、三次元点群を作成する対象である領域（対象領域）の上空を飛行して飛行中にカメラ１０５で定期的に地表面を撮影して複数の画像を取得する。なお、移動体１００は自動飛行に加え、操縦者によるマニュアル操作で飛行可能なものでもよい。対象領域は、上空から地表面を撮影することができる領域である。

　なお、移動体１００は、移動中にユーザからの無線通信を介した指示などにより移動経路を変更しながら撮影することも可能である。更に、移動中にユーザからの無線通信を介した指示などにより撮影するタイミングを追加または変更することも可能である。

　端末装置２００は、図１に示すように、対象領域内において三脚や台などで支持されて固定基地局として設置されている。端末装置２００は移動体１００のカメラ１０５で撮影できるように、かつ、ＧＮＳＳ（Global Navigation Satellite System）デバイスでＧＮＳＳ衛星と確実に通信が行えるように、屋外かつ他の物体に遮蔽されないように設置するのが望ましい。本実施の形態では端末装置２００は平面視円形状であるとして説明を行うが、端末装置２００の形状はこれに限られず、どのような形状でもよい。

　端末装置２００は点群処理装置３００としての機能を備える。点群処理装置３００は、移動体１００のカメラ１０５が対象領域の地表面を撮影して得た複数の画像に基づいて対象領域についての三次元点群である第１三次元点群を作成する。また、点群処理装置３００は、移動体１００のカメラ１０５が対象領域の地表面を撮影した複数の画像に基づいて、対象領域内の一部領域についての三次元点群である第２三次元点群を作成する。一部領域とは、図１に示すように対象領域内に設置されている端末装置２００を含み、対象領域よりも小さい領域である。実施の形態では対象領域と一部領域は矩形状の領域としてあるが、それらは例えば円形状、台形状、自由形状など他の形状でもよい。なお、地表面には建物や自動車などの物体などが存在していてもよい。

　三次元点群とは、位置情報と色情報を有する複数の点の集合データである。地形や物体などを大量の点の集合として表現することができ、土木、建築、製造などの様々な分野で利用することができる点群データである。

　本実施の形態では移動体１００は上空を飛行する無人航空機であるため、移動体１００は端末装置２００と無線接続により接続されている。ただし、移動体１００から端末装置２００へのデータや情報の供給はＵＳＢフラッシュメモリ、ＳＤメモリカードなどの等の記録媒体を介して行ってもよい。

　無線接続の方法としては例えばＷｉ－Ｆｉ、無線ＬＡＮ（Local Area Network）、４Ｇ（第４世代移動通信システム）、５Ｇ（第５世代移動通信システム）などのネットワーク、Bluetooth（登録商標）、ＮＦＣ（Near Field Communication）、イーサネット（登録商標）などがある。

［移動体１００の構成］
　図３を参照して移動体１００の構成について説明する。なお、図示は省略するが移動体１００は外観構成として筐体、回転翼、回転翼支持軸などを備える。ただし、回転翼に限らず固定翼であってもよい。

　ＵＡＶ（Unmanned Aerial Vehicle）制御部１０１はＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成され、プログラムに従い処理を実行してコマンドの発行を行うことによって、移動体１００の全体および各部を制御する。また、ＵＡＶ制御部１０１はアクチュエータ１０２の出力を制御する制御信号をアクチュエータ１０２に供給することにより移動体１００の移動速度、移動方向、旋回方向などを制御する。

　また、ＵＡＶ制御部１０１は移動体１００の現在位置と予め設定された移動経路の比較を行いながらアクチュエータ１０２の出力を制御することにより移動体１００を事前移動経路に沿って移動するように制御する。

　アクチュエータ１０２は回転翼を駆動させるための駆動源であり、回転翼支持軸の先端などに設けられている。アクチュエータ１０２はＵＡＶ制御部１０１の制御により動作する。

　ジンバル１０３は、移動体１００の下部などにおいてカメラ１０５を回転自在に支持するものである。ジンバル１０３は例えば２軸または３軸の軸で支持する支持具の一種である。

　ジンバル制御部１０４は、カメラ１０５を支持するジンバル１０３の動作を制御する。ジンバル制御部１０４でジンバル１０３の軸の回転を制御することによりカメラ１０５の姿勢を自在に調整することができる。

　カメラ１０５は、撮影素子、信号処理回路などを備え、ＲＧＢ（Red,Green,Blue）または単色の画像を撮影する。撮影素子としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。

　カメラ１０５は対象領域の地表面を撮影するために、例えば移動体１００の筐体の底面にジンバル１０３を介して吊り下げられるようにして搭載されている。カメラ１０５はジンバル１０３の駆動により３６０度水平方向から垂直下方向への全方向のいずれの方向にもレンズを向けて撮影することが可能となっている。なお、カメラ１０５は３６０度水平方向から垂直下方向への全方向にレンズを向けて撮影することができればどのような方法で移動体１００に搭載されていてもよい。

　位置情報取得部１０６は、例えばＧＮＳＳデバイスやＧＰＳ（Global Positioning System）デバイスを用いてカメラ１０５の位置（例えば緯度、経度、高度）を取得する。

　姿勢情報取得部１０７は、例えばＩＭＵ（Inertial Measurement Unit）により構成され、２軸または３軸方向の加速度センサ、角度速度センサ、ジャイロセンサなどによって移動体１００およびカメラ１０５の姿勢を取得する。姿勢情報は、例えば、移動体１００の加速度および角速度から計算した三軸の回転ベクトル（Yaw、Pitch、Roll）である。なお、カメラ１０５の位置情報と姿勢情報の取得は、例えば三次元情報を取得できるレーザセンサと、そのレーザセンサの出力を基にしたＳＬＡＭ（Simultaneous Localization and Mapping）技術によっても可能である。

　センサ制御部１０８は、カメラ１０５の撮影による画像の取得と、位置情報取得部１０６によるカメラ位置情報の取得を同期して行うように制御する。またセンサ制御部１０８は、画像とその画像の撮影に同期して取得されたカメラ位置情報とを対応付ける。よって、カメラ１０５が撮影した複数の画像のそれぞれにはカメラ位置情報が対応付けられる。なお、センサ制御部１０８は、画像とカメラ位置情報とがそれらが同期していることを示すタイムスタンプなどの時刻情報を画像とカメラ位置情報に付してもよい。

　通信部１０９は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信等による通信を行う各種通信用端子または通信モジュールである。移動体１００は通信部１０９により画像とカメラ位置情報を点群処理装置３００に送信する。なお、移動体１００はそれらの情報をＵＳＢフラッシュメモリ、ＳＤメモリカードなどの外部記憶媒体を介して点群処理装置３００に転送してもよい。

　なお、半導体メモリ等の記録媒体を用いて、移動体１００の着陸後に移動体１００からその記録媒体を取り外し、点群処理装置３００の図示しない記録媒体接続スロットに接続することで画像とカメラ位置情報を転送できるようにしてもよい。

　例えばドローンである移動体１００は、アクチュエータ１０２の出力を制御して所望の飛行を可能としている。空中に静止しているホバーリングの状態では、姿勢情報取得部１０７や別途設けたジャイロセンサなどで傾きを検知し、機体が下がった側のアクチュエータ１０２の出力を増加させ、上がった側のアクチュエータ１０２の出力を低下させることによって機体を水平に保つようにしている。さらに、前進の際には、進行方向のアクチュエータ１０２の出力を低下、逆方向のアクチュエータ１０２の出力を増加させることによって、前傾姿勢を取らせ、進行方向への推進力を発生させるようにしている。

［端末装置２００の構成］
　次に図４を参照して、端末装置２００の構成について説明する。

　ＣＰＵ２０１は、各種の処理を行う演算処理部として機能し、端末装置２００の全体および各部の制御を行う。ＣＰＵ２０１は、ＲＯＭ２０２や不揮発性メモリ部２０４に記憶されているプログラム、又は記憶部２０８からＲＡＭ２０３にロードされたプログラムに従って各種の処理を実行する。不揮発性メモリ部２０４には、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等が使用される。また、ＲＡＭ２０３には、ＣＰＵ２０１が各種の処理を実行する上において必要なデータ等が、適宜、記憶される。

　ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、不揮発性メモリ部２０４は、バスを介して相互に接続されている。また、バスには入出力インターフェース２０５が接続されている。

　入出力インターフェース２０５には、ＧＮＳＳデバイス２０６、入力部２０７、記憶部２０８、通信部２０９、ドライブ２１０が接続されている。

　ＧＮＳＳデバイス２０６は、衛星測位システムにおけるＧＮＳＳ衛星から送信される衛星の位置や信号送信時刻などの情報を受信することにより、ＧＮＳＳ衛星を基準として端末装置２００の三次元座標を取得する。ＧＮＳＳデバイス２０６を備えていることにより、端末装置２００は自身の三次元座標を取得することができる。ＧＮＳＳデバイス２０６が取得した端末装置２００の三次元座標は点群処理装置３００の画像選択部３０５と点群補正部３０８に供給される。

　入力部２０７は、例えば、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスである。入力部２０７によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ２０１によって解釈される。

　記憶部２０８は、例えばハードディスク、フラッシュメモリなどの大容量記憶媒体である。記憶部２０８には各種アプリケーション、データ、情報などが格納されている。

　通信部２０９は、インターネット等の伝送路を介する通信処理や、各種機器との有線／無線通信、バス通信等による通信を行う各種通信用端子または通信モジュールである。点群処理装置３００は、通信部２０９により移動体１００から送信された画像とカメラ位置情報を受信する。また、点群処理装置３００は通信部２０９により三次元点群を外部に送信することができる。点群処理装置３００はＵＳＢフラッシュメモリ、ＳＤメモリカードなどの外部記憶媒体を介して移動体１００と外部装置と情報やデータの転送を行ってもよい。

　入出力インターフェース２０５には必要に応じてドライブ２１０が接続されている。ドライブ２１０を介して、リムーバブル記憶媒体２１１が適宜装着される。リムーバブル記憶媒体２１１には、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が含まれる。

　ドライブ２１０により、リムーバブル記憶媒体２１１から各処理に用いられるプログラム等のデータファイル等を読み出すことができる。読み出されたデータファイルは、記憶部２０８に記憶される。また、リムーバブル記憶媒体２１１から読み出されたコンピュータプログラム等は、必要に応じて記憶部２０８にインストールされる。

　端末装置２００では、例えば、本技術の処理のためのソフトウェアが通信部２０９によるネットワーク通信やリムーバブル記憶媒体２１１を介してインストール可能である。また、ソフトウェアは予めＲＯＭ２０２、記憶部２０８等に記憶されてもよい。また、カメラ１０５で撮影された画像やＡＩ画像処理による処理結果を受け取り、画像や処理結果は記憶部２０８やリムーバブル記憶媒体２１１に記憶させてもよい。

　端末装置２００はＧＮＳＳデバイス２０６で自己の三次元座標を取得することができる機能を備えている必要がある。また、物体などに遮蔽されず、移動体１００のカメラ１０５で撮影可能な位置に設置されている必要がある。さらに、端末装置２００は対象領域内の一部領域を特定するものとしての役割がある。よって、端末装置２００は対象領域内に設置される必要があり、かつ、屋外に設置されるのが望ましい。

　端末装置２００としては、例えば土木現場や建築現場などに設置して使用するＧＮＳＳ機能と点群生成機能を備える測量用装置などを用いることができる。

［点群処理装置３００の構成と処理］
　次に図５を参照して端末装置２００において動作する点群処理装置３００の構成と点群処理装置３００における処理について説明する。

　点群処理装置３００における処理の前提として、まず、事前に作成された移動経路に基づいて移動体１００が対象領域の上空を移動（飛行）してカメラ１０５による撮影を行う。

　図２に示すように、カメラ１０５は移動体１００が事前移動経路に沿って移動している間、予め定めた一定の間隔で繰り返し継続して撮影を行う。また、カメラ１０５による撮影と同期して位置情報取得部１０６は撮影時のカメラの位置であるカメラ位置情報を取得する。上述したように、カメラ１０５が撮影した複数の画像のそれぞれにはカメラ位置情報が対応付けられている。そして移動体１００は複数の画像とカメラ位置情報を端末装置２００に送信する。

　情報取得部３０１は、移動体１００から送信されて端末装置２００が受信した複数の画像とカメラ位置情報を取得して特徴抽出部３０２に供給する。

　特徴抽出部３０２は、複数の画像のそれぞれから特徴点を抽出する。特徴点としては例えば建築物や物体の角、輝度変化の境界、色変化の境界などである。

　特徴マッチング部３０３は、特徴抽出部３０２が抽出した各画像における特徴点をマッチングさせることにより複数の画像の対応関係を特定する。また、特徴マッチング部３０３はカメラ位置情報を用いて複数の画像の対応関係を特定してもよいし、特徴点とカメラ位置情報の両方を用いて複数の画像の対応関係を特定してもよい。

　疎点群生成部３０４は、対応関係が特定された複数の画像を用いて点の分布が疎である三次元点群（三次元疎点群）を生成する。また、疎点群生成部３０４はＳｆＭ（Structure From Motion）などにより複数の画像に基づいてカメラ１０５の撮影位置を推定してもよい。

　画像選択部３０５は、カメラ１０５で撮影された複数の画像から三次元点群生成のための画像を選択して第１点群生成部３０６と第２点群生成部３０７に供給する。

　画像選択部３０５は、カメラ位置情報に基づいて、複数の画像から対象領域の第１三次元点群を生成するための画像（対象領域画像）を選択して第１点群生成部３０６に供給する。画像選択部３０５はカメラ位置情報に基づいて、例えば、対象領域外を撮影した画像や重複している画像などを除外することで冗長性が排除された複数の画像を第１点群生成部３０６供給する。そのような対象領域外の画像や重複する画像がない場合にはカメラ１０５で撮影された複数の画像の全てを対象領域画像として第１点群生成部３０６に供給する。

　画像選択部３０５が第１点群生成部３０６に供給する画像を選択するために、カメラ位置情報に加えてカメラの姿勢情報を用いてもよい。そのために移動体１００はカメラ位置情報とともにカメラ姿勢情報も端末装置２００に送信する。また、点群処理装置３００が画像に基づいて撮影時のカメラ１０５の姿勢を推定する推定処理部を備えていてもよい。画像からカメラ１０５の姿勢を求める方法としてはＳｆＭがある。

　また、画像選択部３０５は、複数の画像から一部領域の第２三次元点群を生成するための画像（一部領域画像）を選択して第２点群生成部３０７に供給する。第２三次元点群は一部領域の三次元点群である。第２三次元点群を生成するための一部領域画像は、移動体１００が撮影した複数の画像のうちの端末装置２００が被写体として存在する画像である。

　画像選択部３０５は、ＧＮＳＳデバイス２０６から供給された端末装置２００の三次元座標を用いて、複数の画像から一部領域画像を選択する。撮影と同期して取得されたカメラ位置情報により画像を撮影した位置を特定することができる。また、端末装置２００の位置はＧＮＳＳデバイス２０６により取得した三次元座標により特定することができる。よって、端末装置２００が被写体として存在する画像は、端末装置２００の三次元座標とカメラ位置情報に基づいて特定することができる。画像選択部３０５はその端末装置２００が被写体として存在する画像を一部領域画像として選択する。なお、一部領域画像は一つの場合もあれば複数の場合もある。

　また、画像選択部３０５は、端末装置２００の三次元座標を使用せずに、端末装置検出用ＡＩや公知の被写体検出方法などによって複数の画像から端末装置２００を検出し、その検出結果に基づいて端末装置２００が被写体として存在する画像を一部領域画像として選択することもできる。この場合、ＧＮＳＳデバイス２０６は端末装置２００の三次元座標を点群処理装置３００の画像選択部３０５に供給する必要がない。

　端末装置２００の三次元座標と、複数の画像内における端末装置２００の検出結果は、特許請求の範囲における端末装置２００に関する情報に相当するものである。

　第１点群生成部３０６は、画像選択部３０５から供給された対象領域画像に基づいて対象領域のデプス画像を生成し、さらに、そのデプス画像を用いて対象領域の密な三次元点群である第１三次元点群を生成する。第１点群生成部３０６は第１三次元点群を点群補正部３０８に供給する。

　第２点群生成部３０７は、画像選択部３０５から供給された一部領域画像に基づいて一部領域のデプス画像を生成し、そのデプス画像を用いて一部領域の密な三次元点群である第２三次元点群を生成する。画像選択部３０５が第２点群生成部３０７に一部領域画像を供給することにより、第２点群生成部３０７は端末装置２００が存在する一部領域の三次元点群である第２三次元点群を生成することができる。第２点群生成部３０７は第２三次元点群を点群補正部３０８に供給する。

　このようにして本技術では、図６に示すように、対象領域についての第１三次元点群に加え、端末装置２００が存在する一部領域についての第２三次元点群を生成する。図６は、図１に示す対象領域と一部領域の側面図である。第１点群生成部３０６と第２点群生成部３０７はＳｆＭにより三次元点群を生成することができる。第２三次元点群は第１三次元点群よりも高品質である。高品質とは、三次元点群を構成する複数の点のばらつきが少ない（点群の分散が少ない）ことや、精度が高い（点群の位置精度が平均的に高い）ことや、点が高密度なことなどである。第２三次元点群はこれらの全てを満たしている必要はなく、いずれか一つを満たしていてもよいし、全てを満たしていてもよいし、いずれか複数の組み合わせを満たしていてもよい。第１三次元点群と第２三次元点群は同一の座標系で生成される。

　第１点群生成部３０６と第２点群生成部３０７は、同一のデプス画像生成アルゴリズムを用いた場合、デプス画像の解像度と、デプス計算時のパラメータ設定（ステレオ画像の対応付けを行う場合の反復演算処理の反復回数など）によって点群の品質を調整することができる。

　具体的には、デプス画像の解像度を増加させることで点群の密度を増加させる（処理速度増加）。

　また、デプス計算時のパラメータ設定変更により点群の品質を向上させる。デプス計算時における点群の品質を向上させるための方法としては、ステレオマッチング時のマッチングコスト計算時のマッチングブロックサイズを大から小へと段階的に変化させて対応させる、所謂「粗密探索」という方法で対応付けを行う、という方法がある。また、ステレオマッチングを何枚の画像と対応付けるかの設定を変える（より多くの画像と対応付けを行う）という方法もある。さらに、ステレオマッチングコスト最適化によって画像全体の視差マップを求める過程で、非線形最適化演算であるマッチングコスト最小化演算の反復処理回数を増加させる、という方法もある。

　なお、第２点群生成部３０７におけるデプス画像生成アルゴリズムを第１点群生成部３０６におけるデプス画像生成アルゴリズムと異なるものにすることで第２三次元点群が第１三次元点群よりも高密度で高品質なものとなるようにしてもよい。例えば、第１点群生成部３０６においては、処理が軽量で精度が中程度のアルゴリズムを使用し、第２点群生成部３０７においては、処理が非常に重いが精度とロバスト性が高いアルゴリズムを使用する、などである。

　端末装置２００は対象領域内に設置されているため、対象領域の三次元点群を生成すると、その三次元点群は端末装置２００の天面に対応する点群を含んでいる。ここで、対象領域の三次元点群と端末装置２００の天面位置の関係について説明する。

　まず側面視方向（Ｚ方向）について説明する。図７Ａに示すように、端末装置２００は三脚などで支持されて対象領域の地表面に設置されている。その端末装置２００が存在する対象領域について三次元点群を生成すると、図７Ｂに示すようにその三次元点群には端末装置２００の天面に対応する点群が含まれる。

　その三次元点群に誤差がない場合（誤差が所定量以下のわずかである場合も含む）、ＧＮＳＳデバイス２０６で取得した端末装置２００の三次元座標から特定できる端末装置２００の天面の中心位置と端末装置２００の天面に対応する三次元点群の関係は図７Ｃに示すようになる。誤差がないため、端末装置２００の天面の中心位置と端末装置２００の第１三次元点群のＺ方向の高さが一致している。三次元点群は誤差が無くこのような状態であることが望ましい。

　一方、三次元点群にＺ方向の誤差がある場合、図８Ｂまたは図８Ｃに示すように、端末装置２００の天面中心位置と端末装置２００の三次元点群のＺ方向における位置がずれてしまう。また、地表面の三次元点群と地表面自体にもずれが生じる。本技術では第２三次元点群を用いることにより、このような三次元点群のずれを補正することができる。

　次に平面視方向（ＸＹ方向）について説明する。図９Ａに示すように、端末装置２００は対象領域の地表面に設置されている。その端末装置２００が存在する対象領域について三次元点群を生成すると、図９Ｂに示すように、三次元点群には端末装置２００の天面に対応する点群が含まれる。

　その三次元点群に誤差がない場合（誤差が所定量以下のわずかである場合も含む）、ＧＮＳＳデバイス２０６で取得した端末装置２００の三次元座標から特定できる端末装置２００の天面中心位置と端末装置２００の天面に対応する三次元点群の関係は図９Ｂに示すようになる。誤差がないため、端末装置２００の天面中心位置は端末装置２００の天面の三次元点群の略中心と一致している。三次元点群は誤差が無くこのような状態であることが望ましい。

　一方、三次元点群にＸＹ方向の誤差がある場合、図１０Ｂに示すように、端末装置２００の天面中心位置と端末装置２００の三次元点群のＸＹ方向における位置がずれてしまう。本技術では第２三次元点群を用いることにより、このような三次元点群のずれを補正することができる。

　図５の説明に戻る。次に点群補正部３０８は、第２三次元点群と端末装置２００の三次元座標に基づいて第１三次元点群を補正するための補正量を算出し、その補正量に基づいて第１三次元点群を補正する。

　図１１を参照して第１三次元点群のＺ方向の補正量を算出する方法について説明する。まず、図１１Ａに示す一部領域の第２三次元点群を所定範囲でクリップする。所定範囲とは、例えば、端末装置２００の三次元座標から特定できる端末装置２００の天面中心位置を中心とした半径ｒと高さｈの円柱状の範囲である。これにより、図１１Ｂに示すように、所定範囲外の第２三次元点群が処理対象から除外される。

　次に図１１Ｃに示すように、クリップされた第２三次元点群のＺ方向の所定値を決定する。所定値は、クリップされた第２三次元点群を構成する複数の点のＺ座標の平均または中央値、クリップされた第２三次元点群に対してＸＹ平面と平行な平面を合わせた結果として得られる平面の高さ、などである。

　第１三次元点群と第２三次元点群は同一の座標系で生成されているため、図１１Ｄに示すように、そのＺ方向の所定値と端末装置２００の天面中心位置との差分が第１三次元点群を補正するためのＺ方向の補正量となる。

　このようにして算出したＺ方向の補正量に基づいて第１三次元点群のＺ方向の位置を調整することにより、第１三次元点群を補正して高精度なものにすることができる。

　次に図１２を参照して第１三次元点群のＸＹ方向の補正量を算出する方法について説明する。まず、図１２Ａに示す一部領域の第２三次元点群を所定範囲でクリップする。所定範囲とは、例えば、端末装置２００の三次元座標から特定できる端末装置２００の天面中心位置を中心とした半径ｒの範囲である。これにより、図１２Ｂに示すように、所定範囲外の第２三次元点群が処理対象から除外される。

　次に図１２Ｃに示すように、クリップされた第２三次元点群のＸＹ方向の所定値を決定する。所定値は、クリップされた第２三次元点群を構成する複数の点のＸＹ座標の平均または中央値、第２三次元点群をＸＹ平面に投影した後その投影点に対して円を合わせた結果として得られる円の中心、などである。

　第１三次元点群と第２三次元点群は同一の座標系で生成されているため、図１２Ｄに示すように、そのＸＹ方向の所定値と端末装置２００の天面中心位置との差分が第１三次元点群を補正するためのＸＹ方向の補正量となる。

　このようにして算出したＸＹ方向の補正量に基づいて第１三次元点群のＸＹ方向の位置を調整することにより、第１三次元点群を補正して高精度なものにすることができる。

　なお、点群補正部３０８は第１三次元点群のＺ方向のみを補正してもよいし、ＸＹ方向のみを補正してもよい。ユーザがどちらの方向を補正するか選択できるようにしてもよい。

　そして、出力部３０９は、補正された第１三次元点群をネットワークなどを介して外部装置、クラウドサーバなどに出力する。また、出力部３０９は補正された第１三次元点群を端末装置２００の記憶部２０８や、ＵＳＢフラッシュメモリ、ＳＤメモリカードなどの記憶媒体に出力してもよい。

　また、出力部３０９は、補正された第１三次元点群に代えて、または加えて、点群補正部３０８が算出した補正量を情報として外部装置などに出力してもよい。また、出力部３０９は補正第１三次元点群に代えて、または加えて、補正されていない第１三次元点群や第２三次元点群を外部装置などに出力してもよい。出力部３０９が第１三次元点群と補正量を外部装置に出力し、その外部装置で第１三次元点群の補正を行うようにしてもよい。

　以上のようにして本技術における処理が行われる。本技術によれば、対象領域全体の三次元点群である第１三次元点群を補正して精度を向上させるための第２三次元点群を生成することができる。そして、その第２三次元点群を用いて算出した補正量を用いて第１三次元点群を補正することができる。

　端末装置２００は対象領域内に固定基地局として設置されるものなので、その端末装置２００の三次元座標を利用して第２三次元点群を生成することで、別途、第２三次元点群生成用のマーカ４００を対象領域内に設置する必要がない。

　なお、点群生成部が一つであり、その点群生成部におけるデプス画像生成用に品質を優先するアルゴリズムを使用すると、点群が高密度かつ高品質になり、地表面や端末装置２００の形状の復元度が高くなるが処理時間が長くなるという問題がある。

　また、点群生成部が一つであり、その点群生成部におけるデプス画像生成用に処理速度を優先するアルゴリズムを使用すると、処理時間は短くなるが、点群が疎になり、さらにばらつきが生じて地表面や端末装置２００の形状の復元度が低くなるという問題がある。

　また、点群生成部が一つであり、その点群生成部におけるデプス画像生成用に処理速度を優先するアルゴリズムを使用し、さらにデプス画像にノイズフィルタ処理を施すと、処理時間は短くなり、点群のばらつきをおさえることができるが、地表面や端末装置２００の形状の復元度が低くなるという問題がある。

　また、点群生成部が一つであり、その点群生成部におけるデプス画像生成用に処理速度を優先するアルゴリズムを使用し、さらに点群にノイズフィルタ処理を施すと、処理時間は短くなり、点群のばらつきをおさえることができるが、地表面や端末装置２００の形状の復元度が低くなるという問題がある。

　それに対し、本技術では、点群処理装置３００は第１点群生成部３０６と第２点群生成部３０７という２つの点群生成部を備える。第１点群生成部３０６におけるデプス計算用には処理速度を優先するアルゴリズムを使用し、第２点群生成部３０７におけるデプス計算用には点群の品質を優先するアルゴリズムを使用するとよい。さらに、第１点群生成部３０６は生成したデプス画像にノイズフィルタ処理を施すとよい。これにより、短い処理時間で、点群のばらつきが少なく品質がよく、地表面や端末装置２００の形状の復元度が高い第１三次元点群および第２三次元点群を生成することができる。

　点群処理装置３００が合成処理部を備え、第１三次元点群と第２三次元点群を合成して合成三次元点群を生成してもよい。合成三次元点群は、第１三次元点群に第２三次元点群を重畳したものである。その合成三次元点群を表示することにより、第１三次元点群と第２三次元点群をまとめてユーザに提示することができる。これによりユーザは第１三次元点群と第２三次元点群の位置関係などを容易に把握することができる。なお、三次元点群の表示装置などにおいて表示する場合、それぞれ個別に表示してもよいし、第１三次元点群と第２三次元点群を合成して合成三次元点群を表示してもよい。ユーザがどの三次元点群を表示するかを選択できるようにしてもよい。

　移動体１００のカメラ１０５で撮影された画像に写る端末装置２００の天面には、図１３Ａ乃至Ｈに示すような対空標識や模様やテクスチャなどを付与してもよい。これによりカメラ１０５で撮影した画像から端末装置２００を認識する精度を高め、端末装置２００の位置推定精度を高めることができる。また、第２三次元点群の生成時に、端末装置２００のデプス画像をよりロバストかつ高精度に生成することができる。その結果として第２三次元点群の品質をさらに向上させることができる。画像から高精度で端末装置２００の位置を推定することができる場合、その推定結果をＧＮＳＳデバイス２０６によって得られる三次元座標の代わりに用いてもよいし、その推定結果とＧＮＳＳデバイス２０６によって得られる三次元座標と併用してもよい。なお、図１３に示す対空標識や模様やテクスチャはあくまで一例であり、ランダムなパターンを持つ模様やテクスチャであればどのようなものでもよい。

　なお、端末装置２００の天面が無地白色であってもそれ自体が画像におけるパターンになるため、テンプレートマッチングやＡＩ認識処理によって、カメラ１０５で撮影した画像から端末装置２００の位置を推定することができる。また、端末装置２００の天面を特異な色で塗装することにより、色検出処理によって、カメラ１０５で撮影した画像から端末装置２００を検出することができる。このように、画像から端末装置２００の位置を推定する方法や、端末装置２００を検出する方法があるが、端末装置２００の天面に図１３に示すような対空標識や模様やテクスチャを付与する方法を採用すれば、端末装置２００を認識する精度をより高め、端末装置２００の位置推定精度を高めることができる。

　端末装置２００は予め点群処理装置３００としての機能を備えていてもよいし、端末装置２００がプログラムを実行することにより点群処理装置３００と点群処理方法が実現されてもよい。そのプログラムは予め端末装置２００にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザなどがインストールするようにしてもよい。

　また、端末装置２００は点群処理装置３００としての機能を備えず、対象領域外に存在する情報処理機能および通信機能を有する電子機器が点群処理装置３００として機能してもよい。その場合、移動体１００は複数の画像とカメラ位置情報をその電子機器に送信し、端末装置２００は自身の三次元座標をその電子機器を送信する。電子機器は、パーソナルコンピュータ、スマートフォン、タブレット端末などである。また、クラウドサーバが点群処理装置３００として機能してもよい。ただし、対象領域内に設置されている端末装置２００が点群処理装置３００として機能する場合、対象領域である土木現場や建築現場など現地で三次元点群を生成することができるという利点がある。

　また、コンピュータとしての機能を備える電子機器がプログラムを実行することにより点群処理装置３００が実現されてもよい。そのプログラムは予め電子機器にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザなどがインストールするようにしてもよい。

　なお、端末装置２００は、ＲＴＫ（Real Time Kinematic）補正情報の配信機能を備え、外部の無線機やクラウドサーバで構成されたＲＴＫ補正情報配信サービスを利用して建機などにＲＴＫ補正情報を供給するようにしてもよい。

　また、点群処理装置３００は、作成した三次元点群を外部装置やクラウドサーバなどに送信してもよい。そしてその外部装置やクラウドサーバで三次元点群のデータフォーマットを変換して他の外部装置やクラウドサーバなどに送信するようにしてもよい。

　クラウドサーバは、単一のコンピュータ装置により構成される場合に限らず、システム化された複数のコンピュータ装置により構成されてもよい。複数のコンピュータ装置は、例えば、ＬＡＮ（Local Area Network）等によりシステム化されている。また、インターネット等を利用したＶＰＮ（Virtual Private Network）等により、遠隔地に配置された複数のコンピュータ装置がシステム化されてもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なサーバ群（クラウド）としてのコンピュータ装置が含まれてもよい。

＜第２の実施形態＞
［点群処理システム１０００の構成］
　次に本技術の第２の実施形態について説明する。第２の実施形態においては、図１４に示すように対象領域内にマーカ４００を設置する。マーカ４００は、第２の実施形態において生成される第３三次元点群の基準となるものである。

　点群処理装置３００は、移動体１００が備えるカメラ１０５が対象領域の地表面を撮影した複数の画像に基づいて、対象領域内のマーカ４００の周囲の領域（マーカ周囲領域）についての三次元点群である第３三次元点群を作成する。マーカ周囲領域とは、図１４に示すように対象領域内に設置されているマーカ４００を含み、対象領域よりも小さい領域である。図１４では対象領域とマーカ周囲領域は矩形状の領域としてあるが、それらは例えば円形状、台形状、自由形状など他の形状でもよい。なお、地表面には建物や自動車などの物体などが存在していてもよい。

　マーカ４００は、移動体１００が備えるカメラ１０５で撮影可能に設置され、かつ、三次元座標が既知のものであればよい。

　マーカ４００としては、マーカ４００の三次元座標を得ることができるＧＰＳ機能付き対空標識を用いることができる。また、ＧＰＳ機能を持たない一般的な対空標識もマーカ４００として用いることもできる。ＧＰＳ機能の有無に関わらず、対空標識の外観は第１の実施形態で図１３に示したものと同様のものである。ただし、ＧＰＳ機能を持たない対空標識を用いる場合、予め外部装置やシステムを用いて対空標識の三次元座標を計測しておく必要がある。三次元座標を計測する方法としては、例えばＳＬＡＭ（Simultaneous Localization and Mapping）、従来の測量法、ＬｉＤＡＲ（Light Detection And Ranging）、既存の地図データを参照する方法などがあるが、マーカ４００の三次元座標を得ることができればどのような方法を用いてもよい。

　また、建築物など対象領域内に予め存在する物体や、ユーザが対象領域内に設置した物体などもマーカ４００として用いることができる。そのような物体はＧＰＳ機能を持たないため、予め外部装置やシステムによりＳＬＡＭ、従来の測量法、ＬｉＤＡＲ、地図データなどを用いて三次元座標を計測しておく必要がある。

　マーカ４００がＧＰＳ機能と通信機能を備える場合、マーカ４００は通信により三次元座標情報を点群処理装置３００に送信する。また、マーカ４００がＧＰＳ機能を備えず、予め外部装置やシステムで対空標識の三次元座標を計測する場合は、その外部装置やシステムから点群処理装置３００にマーカ４００の三次元座標情報を送信する必要がある。

　マーカ４００は対象領域内において、傾斜がない、または傾斜が少ない平らな面に設置するのが望ましい。マーカ４００は対象領域内であればどこに設置してもよい。

　検証点としてマーカ４００を設置した場合、第３三次元点群を用いて第１三次元点群の位置の精度検証を行うことができる。また、ＧＣＰ（Ground Control Point）や標定点としてマーカ４００を設置した場合、第３三次元点群を用いて第１三次元点群の位置の補正を行うことができる。よって、ユーザは予め第１三次元点群の位置の精度検証用にマーカ４００を設置するのか、第１三次元点群の位置の補正用にマーカ４００を設置するのか、目的を特定してマーカ４００を設置しておく必要がある。なお、マーカ４００を位置の精度検証に用いる場合と位置の補正に用いる場合においてマーカ４００の設置方法は同じである。

　移動体１００の構成および移動、移動体１００が備えるカメラ１０５による撮影、移動体１００から端末装置２００への複数の画像とカメラ位置情報の送信は第１の実施形態と同様である。点群処理装置３００における処理の前提として、まず、事前に作成された移動経路に基づいて移動体１００が対象領域の上空を移動（飛行）してカメラ１０５による撮影を行う。

　点群処理装置３００としての機能を備える端末装置２００の構成は第１の実施形態と同様である。

［点群処理装置３００の構成と処理］
　図１５を参照して端末装置２００において動作する点群処理装置３００の構成と点群処理装置３００における処理について説明する。

　情報取得部３０１、特徴抽出部３０２、特徴マッチング部３０３、疎点群生成部３０４、出力部３０９の構成と処理は第１の実施形態と同様である。

　画像選択部３０５は、カメラ１０５で撮影された複数の画像に基づいて三次元点群生成のための画像を選択して第１点群生成部３０６と第３点群生成部３１０に供給する。

　画像選択部３０５は、第１の実施形態と同様にして、対象領域の第１三次元点群を生成するための画像（対象領域画像）を選択して第１点群生成部３０６に供給する。

　また、画像選択部３０５は、マーカ周囲領域の第３三次元点群を生成するための画像（マーカ周辺領域画像）を選択して第３点群生成部３１０に供給する。第３三次元点群はマーカ周囲領域の三次元点群である。第３三次元点群を生成するためのマーカ周囲領域画像は、移動体１００が撮影した複数の画像のうちのマーカ４００が被写体として存在する画像である。

　画像選択部３０５は、マーカ４００の三次元座標を用いて、複数の画像からマーカ周囲領域画像を選択する。撮影と同期して取得されたカメラ位置情報により画像を撮影した位置を特定することができる。また、マーカ４００の三次元座標はマーカ４００が備えるＧＰＳ機能、または予め外部の装置やシステムを用いて計測しておくことにより取得できる。よって、マーカ４００が被写体として存在する画像は、マーカ４００の三次元座標とカメラ位置情報に基づいて特定することができる。画像選択部３０５はマーカ４００が被写体として存在する画像をマーカ周囲領域画像として選択する。なお、マーカ周囲領域画像は一つの場合もあれば複数の場合もある。

　なお、画像選択部３０５はマーカ４００の三次元座標を使用せずにマーカ検出用ＡＩや公知の被写体検出方法などによって複数の画像からマーカ４００を検出し、その検出結果に基づいてマーカ４００が被写体として存在する画像をマーカ周囲領域画像として選択することもできる。

　マーカ４００の三次元座標と、複数の画像内におけるマーカ４００の検出結果は、特許請求の範囲におけるマーカ４００に関する情報に相当するものである。

　第１点群生成部３０６は、第１の実施形態と同様の処理で対象領域の三次元点群である第１三次元点群を生成する。第１点群生成部３０６は第１三次元点群を出力部３０９に供給する。

　第３点群生成部３１０は、画像選択部３０５から供給されたマーカ周囲領域画像に基づいてマーカ周囲領域のデプス画像を生成し、そのデプス画像を用いてマーカ周囲領域の密な三次元点群である第３三次元点群を生成する。画像選択部３０５が第３点群生成部３１０にマーカ周囲領域画像を供給することにより、第３点群生成部３１０はマーカ４００が存在するマーカ周囲領域の第３三次元点群を生成することができる。第３点群生成部３１０は第３三次元点群を出力部３０９に供給する。

　このようにして第２の実施形態では、対象領域についての第１三次元点群に加え、マーカ４００が存在するマーカ周囲領域についての第３三次元点群を生成する。第１点群生成部３０６と第３点群生成部３１０はＳｆＭにより三次元点群を生成することができる。第３三次元点群は第１三次元点群よりも高品質である。高品質とは、三次元点群を構成する複数の点のばらつきが少ない（点群の分散が少ない）ことや、精度が高い（点群の位置精度が平均的に高い）ことや、点が高密度なことなどである。第３三次元点群はこれらの全てを満たしている必要はなく、いずれか一つを満たしていてもよいし、全てを満たしていてもよいし、いずれか複数の組み合わせを満たしていてもよい。第１三次元点群と第３三次元点群は同一の座標系で生成される。

　第２の実施形態においては、第１の実施形態と同様に、第１点群生成部３０６と第３点群生成部３１０が同一のデプス画像生成アルゴリズムを用いた場合、デプス画像の解像度と、デプス計算時のパラメータ設定によって点群の品質を調整することができる。

　なお、図１４では対象領域内に端末装置２００を設置しているが、端末装置２００を含む領域である一部領域についての第２三次元点群を生成することは必須ではない。また、端末装置２００は対象領域外に設置してもよい。

　ここで、平面視方向（ＸＹ方向）における対象領域の三次元点群とマーカ４００の天面位置の関係について説明する。

　図１６Ａに示すように、マーカ４００は対象領域の地表面に設置されている。そのマーカ４００が存在する対象領域について三次元点群を生成すると、図１６Ｂに示すように、三次元点群には地表面の三次元点群に加え、マーカ４００の天面に対応する三次元点群が含まれる。

　その三次元点群に誤差がない場合（誤差が所定量以下のわずかである場合も含む）、マーカ４００の三次元座標から特定できるマーカ４００の天面中心位置と、マーカ４００の天面に対応する三次元点群の関係は図１６Ｂに示すようになる。誤差がないため、マーカ４００の天面中心位置はマーカ４００の天面の三次元点群の略中心と一致している。三次元点群は誤差が無くこのような状態であることが望ましい。

　一方、三次元点群にＸＹ方向の誤差がある場合、図１７Ｂに示すように、マーカ４００の天面中心位置とマーカ４００の三次元点群のＸＹ方向における位置がずれてしまう。

　次に図１８を参照して第１三次元点群のＸＹ方向の位置の精度検証を行う方法について説明する。位置の精度検証とは、対象領域についての第１三次元点群と現実の対象領域の三次元位置においてどれほどの誤差があるかを検証することである。

　まず、図１８Ａに示すマーカ周囲領域の第３三次元点群を所定範囲でクリップする。所定範囲とは、例えば、マーカ４００の三次元座標から特定できるマーカ４００の天面中心位置を中心とした一辺がｓの範囲である。第３三次元点群にはマーカ４００の天面に対応する点群と地表面の点群が含まれるが、クリップにより、図１８Ｂに示すように第３三次元点群を構成する点のうち、所定範囲外の点が処理対象から除外される。なお、マーカ４００の物理的な高さ情報を基にＺ方向を所定の幅でクリップしてもよい。Ｚ方向のクリップはＺ方向の点群の外れ値ノイズなどを除去する上でも有効である。

　次に図１８Ｃに示すように、クリップされた第３三次元点群のＸＹ方向の所定値を算出する。所定値は、クリップされた第３三次元点群を構成する複数の点のＸＹ座標の平均または中央値、第３三次元点群をＸＹ平面に投影した後その投影点に対して円を合わせた結果として得られる円の中心、マーカ４００の天面中心位置を囲む点列の重心や平均位置、などである。また、第３三次元点群を構成する複数の点のうち、マーカ４００の三次元座標から特定できるマーカ４００の天面中心位置に最も近い点の位置を所定値としてもよい。

　第１三次元点群と第３三次元点群は同一の座標系で生成されているため、図１８Ｄに示す、第３三次元点群のＸＹ方向の所定値とマーカ４００の天面中心位置の誤差を第１三次元点群とマーカ４００の誤差とすることができる。よって、この第３三次元点群のＸＹ方向の所定値とマーカ４００の天面中心位置との誤差を確認することにより、第１三次元点群の位置の精度検証を行うことができる。第３三次元点群のＸＹ方向の所定値とマーカ４００の天面中心位置との誤差が少なければ少ないほど第１三次元点群の位置は高精度であるといえる。

　このようにして得られる第３三次元点群のＸＹ方向の所定値とマーカ４００の天面中心位置との誤差を補正量とすることにより、第１三次元点群のＸＹ方向の位置を補正して、第１三次元点群を高精度なものにすることができる。

　第１三次元点群の位置の精度検証を行う際にマーカ４００の周辺の第３三次元点群の密度が低いとＸＹ方向の分解能が粗くなり、検証精度が低くなる。マーカ周囲領域についての第３三次元点群を高密度に生成することにより、第１三次元点群の位置の精度検証や補正を高精度に行うことができる。

　第２の実施形態では、出力部３０９により第１三次元点群、第３三次元点群、マーカ４００の三次元座標などを、ネットワークなどを介して外部装置やクラウドサーバなどに出力する。そして、その外部装置やクラウドサーバなどにおいて上述した方法で第１三次元点群の位置の精度検証や補正を行うことができる。

　なお、出力部３０９は第１三次元点群、第３三次元点群、マーカ４００の三次元座標などを端末装置２００の記憶部２０８や、ＵＳＢフラッシュメモリ、ＳＤメモリカードなどの記憶媒体に出力してもよい。

　以上のようにして第２の実施形態の処理が行われる。第２の実施形態によれば、マーカ４００を検証点として使用する場合、生成密度に依らず、計算リソースを大きく増やすことなく、対象領域全体の三次元点群である第１三次元点群の位置の精度検証を高精度に行うことができる。また、マーカ４００をＧＣＰや標定点として使用する場合、補正を行うことで対象領域についての第１三次元点群の位置精度を向上させることができる。

　なお、三次元点群の密度により位置の検証精度が異なる。この点について図１９を参照して説明する。図１９Ａ～図１９Ｃは第１三次元点群と第３三次元点群を示す模式図であり、破線枠外の点が地表面の第１三次元点群であり、破線枠内の点がマーカ４００の第３三次元点群である。また、図１９Ａ～図１９Ｃにおいては第３三次元点群の部分拡大図を示している。

　図１９Ａは第１三次元点群と第３三次元点群の密度が同一またはほぼ同一の例である。図１９Ｂは第１三次元点群と第３三次元点群の密度が同一またはほぼ同一であり、図１９Ａよりも密度が高い例である。図１９Ｃは第１三次元点群よりも第３三次元点群の密度が高い例である。

　図１９において、「誤差を測るための理想的な位置」とは、マーカ４００の三次元点群座標系において実際の天面中心に相当する座標位置である。「マーカ４００の天面中心位置（三次元座標）」とは、三次元座標から特定されるマーカ４００の天面中心位置である。「実際に誤差を測る位置」とは、上述した所定値である。所定値とは、実際に位置誤差を測るために用いる位置であり、上述したように、第３三次元点群を構成する複数の点のＸＹ座標の平均、中央値、点列の重心や平均位置、マーカ４００の天面中心位置に最も近い点の位置などである。

　図１９Ａに示すように、第１三次元点群と第３三次元点群の両方が低密度である場合、位置の精度検証のための計算リソースは少なくなるが、検証精度も低くなる。第１三次元点群と第３三次元点群の両方が図１９Ａに示すように低密度である場合よりも図１９Ｂに示すように両方が高密度である場合の方が実際の誤差を測る位置（所定値）とマーカ４００の天面中心位置間の距離が短くなり、第１三次元点群の位置の検証精度が高くなる。ただし、第１三次元点群と第３三次元点群の両方を高密度なものとして生成しようとすると生成における処理負荷が大きくなり、計算リソースも多くなる。これにより、多くの計算リソースが必要とし、処理に要する時間も長くなる。そこで図１９Ｃに示すように、第３三次元点群を高密度に生成し、第１三次元点群を第３三次元点群よりも低密度に生成することにより、三次元点群生成の処理負荷を第１三次元点群と第３三次元点群の両方が低密度である場合と同等に低減することができる。また、第１三次元点群の位置の検証精度を第１三次元点群と第３三次元点群の両方が高密度である場合と同等に高くすることができる。即ち、第３三次元点群を高密度に生成すれば、第１三次元点群を低密度に生成しても、計算リソースが少ない状態で検証精度を高くすることができる。よって、第１三次元点群の生成密度によらず、高精度な位置の精度検証が可能になる。これは第１の実施形態においても同様である。なお、図１９を参照して説明した内容は三次元点群の位置の補正精度においても同様である。

　図１４では対象領域に設置されているマーカ４００は一つであるが、対象領域にマーカ４００を複数設置してもよい。複数のマーカ４００を設置する場合、点群処理装置３００は各マーカ４００のマーカ周囲領域の第３三次元点群を生成するために複数の点群生成部を備える必要がある。複数のマーカ周囲領域それぞれの第３三次元点群を用いることにより、対象領域についての第１三次元点群の位置の検証精度や補正の精度を高めることができる。複数のマーカ４００は対象領域内であればどこに設置してもよい。例えば、図２０に示すように、対象領域が四角形状である場合、対象領域の四隅と略中央に合計五つのマーカ４００を設置するのが好ましい。その場合、点群処理装置３００は五つのマーカ周囲領域それぞれの第３三次元点群を生成する。

　ここで、検証点としてマーカ４００を設置し、第３三次元点群を用いて第１三次元点群の位置の精度検証を行う場合のＧＵＩ（Graphical User Interface）について説明する。

　第３三次元点群を用いて第１三次元点群の位置の精度検証を行うためには上述したように、実際に第１三次元点群と第３三次元点群の位置誤差を測るために用いる位置（誤差測定用位置と称する）が必要である。その誤差測定用位置とは上述したように、第３三次元点群を構成する複数の点のＸＹ座標の平均、中央値、点列の重心や平均位置、マーカ４００の天面中心位置に最も近い点の位置などである。また、ユーザが実際に誤差測定用位置を入力により指定することもできる。ＧＵＩはユーザが誤差測定用位置を入力するために用いるものである。

　ＧＵＩは表示装置５００において表示されるものとする。表示部装置５００は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）等のディスプレイデバイスなどである。表示装置５００は、端末装置２００が備えるものでもよいし、端末装置２００に接続されるものでもよいし、精度検証処理を行う装置が備えるものでもよいし、精度検証処理を行う装置に接続されるものでもよい。また、表示装置５００はＧＵＩ表示専用の装置でもよい。表示装置５００がＧＵＩの表示処理機能を備えていてもよいし、表示装置５００を備えるまたは表示装置５００が接続される端末装置２００や精度検証処理を行う装置がＧＵＩの表示処理機能を備えていてもよい。

　図２１Ａに示すようにＧＵＩの第１の表示態様において第１三次元点群をＸＹ方向の２Ｄで表示している状態で、ユーザが第１三次元点群の精度検証を行うモードへの遷移を指示する入力を行うとＧＵＩは第２の表示態様に遷移する。

　図２１Ｂに示すように、第２の表示態様では第３三次元点群をＸＹ方向の２Ｄで表示する。この第２の表示態様によって図２１Ｃに示すように、第３三次元点群におけるマーカの中心位置、すなわち誤差測定用位置が視認しやすくなり、ユーザは誤差測定用位置を入力により指定しやすくなる。

　なお、第１三次元点群を２Ｄ表示している状態に限らず、第３三次元点群を表示する装置がどのような状態であってもユーザが第１三次元点群の精度検証を行うためのモードへの遷移を指示する入力を行うと第３三次元点群が表示されるようにしてもよい。

　誤差測定用位置を指定するための入力は、表示装置５００がタッチパネルである場合には表示装置５００に対するタッチ入力でもよいし、表示装置５００において第３三次元点群上に重畳表示したカーソルによる入力でもよいし、視線入力でもよいし、位置を指定することができる入力方法であればどのようなものでもよい。

　ユーザは第３三次元点群を構成するいずれかの点を誤差測定用位置として選択するのではなく第３三次元点群における座標を指定する。よって、ユーザが指定するのは点である必要はなく、点と点の間であってもよい。座標はＸＹ座標となる。

　なお、ユーザが正確に誤差測定用位置として第３三次元点群の中心を指定することができるように、ＧＵＩにおいて第３三次元点群を拡大表示してもよい。拡大表示は、具体的な拡大率を数値で指定する方法でもよいし、表示装置５００がタッチパネルである場合には、ユーザによるピンチイン操作に応じて拡大率を変化させてもよい。また、ユーザの入力に応じて第３三次元点群の表示範囲を調整できるようにしてもよい。

　上述したように、第２の実施形態では、出力部３０９により第１三次元点群、第３三次元点群、マーカ４００の三次元座標などをネットワークなどを介して外部装置やクラウドサーバなどに出力することで、外部で第１三次元点群の精度検証を行うことができる。よって、ユーザにより入力された誤差測定用位置もそれらの情報と合わせて外部装置やクラウドサーバに出力することにより、外部装置などで第１三次元点群の精度検証を行うことができる。なお、点群処理装置３００が第１三次元点群の精度検証を行う機能を備えていてもよい。

　図２２Ａに示すように誤差測定用位置が入力された場合、それを用いて第１三次元点群の精度検証を行う。第１三次元点群の精度検証を行うには図２２Ｂに示すように誤差測定用位置の３Ｄ座標Ｐ＝（Ｘ_Ｐ，Ｙ_Ｐ，Ｚ_Ｐ）が必要である。２Ｄ表示されている第３三次元点群に対するユーザの入力によりＸＹ座標（Ｘ_Ｐ，Ｙ_Ｐ）は特定されているので、精度検証のためにはＺ座標（Ｚ_Ｐ）を算出する必要がある。

　Ｚ座標は、例えば、第３三次元点群を構成する複数の点のうちユーザにより入力された誤差測定用位置の周囲Ｎ個（例えばＮ＝４）の近傍点のＺ座標の平均やMedian、近傍点とのＸＹ距離に応じたＺ座標の線形補間などにより算出することができる。

　図２３Ａに示すように第１三次元点群を表示した状態で、ユーザがその表示を見て誤差測定用位置として第１三次元点群の中心を指定しようとすると、点群の密度が疎であるために、中心の周囲の点により形成される範囲（図２３Ａ中破線で示す）が大きくなり、入力位置と第１三次元点群の中心とにズレが生じてしまう。

　一方、本技術のＧＵＩによれば、図２３Ｂに示すように、第１三次元点群よりも密度が高い第３三次元点群を表示するので、中心の周囲の点により形成される範囲（図２３Ｂ中破線で示す）が小さくなり、誤差測定用位置の指定精度を高めることができる。よって、ユーザは誤差測定用位置としての第１三次元点群の中心を指定する入力を正確に行うことができる。これにより、第１三次元点群の精度検証をより正確に行うことができる。

　第１三次元点群の精度検証においては、第１三次元点群上で誤差測定用位置の３Ｄ座標Ｐを基準として第１三次元点群とマーカ４００の天面中心位置との位置誤差を計算する。

＜変形例＞
　以上、本技術の実施形態について具体的に説明したが、本技術は上述の実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。

　図２４は点群処理装置３００の第１の変形例である。第１の変形例においては、点群処理装置３００は点群補正部３０８の代わりに補正量算出部３１１を備える。補正量算出部３１１は実施の形態における点群補正部３０８と同じ方法で補正量を算出し、その補正量を第１点群生成部３０６に供給する。そして、第１点群生成部３０６が補正量に基づいてＺ方向の位置とＸＹ方向の位置のいずれか一方または両方を調整しながら第１三次元点群を生成する。

　また、第１点群生成部３０６は、補正量算出部３１１が算出した補正量をカメラ位置情報に反映させて、補正したカメラ位置情報に基づいて第１三次元点群を生成してもよい。

　また、第１点群生成部３０６は、三次元点群生成の過程で中間データとして生成されるデプス画像に対して補正量を反映させて第１三次元点群を生成してもよい。

　図２５は点群処理装置３００の第２の変形例である。第２の変形例のように点群処理装置３００は点群補正部３０８を備えない構成でもよい。その場合、出力部３０９は第１三次元点群と第２三次元点群を外部装置やシステムなどに出力し、その外部装置やシステムなどが補正量の算出と第１三次元点群の補正を行う。

　図２６は点群処理装置３００の第３の変形例である。第３の変形例のように点群処理装置３００は点群合成部３１２を備えてもよい。点群合成部３１２には第１点群生成部３０６から第１三次元点群が入力され、第２点群生成部３０７から第２三次元点群が入力される。点群合成部３１０は、それら複数の三次元点群を重ね合わせて合成三次元点群を生成する。合成三次元点群は複数の三次元点群を表示によりユーザに提示する際などにおいて有益である。なお、第１点群生成部３０６と第３点群生成部３１０を備える第２の実施形態の点群処理装置３００が点群合成部３１２を備えていてもよい。また、点群処理装置３００は点群補正部３０８と点群合成部３１２の両方を備えてもよいし、いずれか一方のみを備えてもよい。

　図２７は点群処理装置３００の第４の変形例である。第４の変形例のように点群処理装置３００は対象領域についての第１三次元点群を生成する第１点群生成部３０６と、一部領域についての第２三次元点群を生成する第２点群生成部３０７と、マーカ周囲領域についての第３三次元点群を生成する第３点群生成部３１０を備えてもよい。第２点群生成部３０７の処理は第１の実施形態と同様である。第３点群生成部３１０の処理は第２の実施形態と同様である。すなわち第１の実施形態と第２の実施形態を組み合わせてもよい。

　第４の変形例によれば、第２三次元点群を用いて第１三次元点群のＺ方向の位置の精度検証や補正を行い、第３三次元点群を用いて第１三次元点群のＸＹ方向の位置の精度検証や補正を行うことができる。

　第４の変形例では、対象領域内に端末装置２００とマーカ４００を設置する必要がある。画像選択部３０５は端末装置２００の三次元座標に基づいて複数の画像から一部領域画像を選択して第２点群生成部３０７に出力する。また、画像選択部３０５はマーカ４００の三次元座標に基づいて複数の画像からマーカ周囲領域画像を選択して第３点群生成部３１０に出力する。

　なお、第４の変形例の点群処理装置３００が点群合成部３１２を備えてもよい。

　第２の実施形態の点群処理装置３００は実施の形態で説明した方法で第１三次元点群の位置の精度検証を行う点群検証部や、第１三次元点群の補正を行う点群補正部を備えてもよい。その場合、出力部３０９は検証結果や補正された第１三次元点群を外部装置などに出力することができる。

また、第２の実施形態の点群処理装置３００は、実施形態で説明した方法で第１三次元点群を補正するための補正量を算出する補正量算出部３１１を備え、補正量を情報として外部装置などに出力してもよい。その場合、その外部装置などで第１三次元点群の補正を行うことができる。また、第３の変形例、第４の変形例が上述した点群検証部、点群補正部、補正量算出部３１１のいずれかまたは複数を備えてもよい。

　実施の形態では対象領域は上空から地表面を撮影することができる屋外の領域であるとしたが、屋内であっても移動体１００が移動して撮影することができる空間であればどのような場所でもよい。その場合、屋内で端末装置２００の三次元座標を取得するためにＧＮＳＳに代えてＭＢＳ（Metropolitan Beacon System）やＢＬＥ（Bluetooth Low Energy）ビーコンを用いる方法などの測位方法を用いるとよい。

　移動体１００は無人航空機以外にも、有人航空機、グライダー、ヘリコプター、気球、飛行船、ロケットなどでもよいし、建物内の天井など高い位置に設置したレールに沿って移動可能な装置でもよい。さらに、移動体１００は上空を移動するものに限られず、自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、ロボット、建設機械、農業機械などであってもよい。

　本技術は以下のような構成も取ることができる。
（１）
　移動体が備えるカメラで撮影された複数の画像を用いて対象領域の第１三次元点群を生成する第１点群生成部と、
　前記複数の画像のうち、前記対象領域内に設置された端末装置に関する情報に基づいて選択された画像を用いて前記対象領域内の一部領域の第２三次元点群を生成する第２点群生成部と
を備える点群処理装置。
（２）
　前記一部領域は前記端末装置を含み、前記対象領域よりも小さい領域である（１）に記載の点群処理装置。
（３）
　前記第２点群生成部は、前記端末装置に関する情報である前記端末装置の三次元座標に基づいて前記複数の画像から選択された、前記端末装置が被写体として存在する画像を用いて前記第２三次元点群を生成する（１）または（２）に記載の点群処理装置。
（４）
　前記第２点群生成部は、前記端末装置に関する情報である前記画像内における前記端末装置の検出結果に基づいて前記複数の画像から選択された、前記端末装置が被写体として存在する画像を用いて前記第２三次元点群を生成する（１）から（３）のいずれかに記載の点群処理装置。
（５）
　前記第２三次元点群に基づいて前記第１三次元点群を補正するための補正量を算出する点群補正部を備える（１）から（４）のいずれかに点群処理装置。
（６）
　前記点群補正部は、前記第２三次元点群のＺ方向の所定値と、前記三次元座標のＺ方向の値の差分を前記補正量として算出する（５）に記載の点群処理装置。
（７）
　前記点群補正部は、前記第２三次元点群のＸＹ方向の所定値と、前記三次元座標のＸＹ方向の値の差分を前記補正量として算出する（５）または（６）に記載の点群処理装置。
（８）
　前記点群補正部は、前記補正量を用いて前記第１三次元点群を補正する（５）から（７）のいずれかに記載の点群処理装置。
（９）
　前記三次元座標は、衛星測位システムを利用して受信する情報に基づいて前記端末装置が取得する（３）に記載の点群処理装置。
（１０）
　前記端末装置は、前記衛星測位システムにおける前記情報を受信できる位置に設置される（９）に記載の点群処理装置。
（１１）
　前記第２三次元点群は前記第１三次元点群よりも高品質である（１）から（１０）のいずれかに記載の点群処理装置。
（１２）
　前記端末装置は天面に特定の模様が付されている（１）から（１１）のいずれかに記載の点群処理装置。
（１３）
　前記対象領域内に設置された前記端末装置において処理を行う（１）から（１２）のいずれかに記載の点群処理装置。
（１４）
　前記第１三次元点群と前記第２三次元点群を合成する合成処理部を備える（１）から（１３）のいずれかに記載の点群処理装置。
（１５）
　カメラを備える移動体と、
　前記移動体が備える前記カメラで撮影された複数の画像を用いて対象領域の第１三次元点群を生成する第１点群生成部と、前記複数の画像のうち、前記対象領域内に設置された端末装置に関する情報に基づいて選択された画像を用いて前記対象領域内の一部領域の第２三次元点群を生成する第２点群生成部とを備える点群処理装置と、
からなる点群処理システム。
（１６）
　移動体が備えるカメラで撮影された複数の画像を用いて対象領域の第１三次元点群を生成する第１点群生成部と、
　前記複数の画像のうち、前記対象領域内に設置されたマーカに関する情報に基づいて選択された画像を用いて前記対象領域内のマーカ周囲領域の第３三次元点群を生成する第３点群生成部と
を備える点群処理装置。
（１７）
　前記マーカ周囲領域は前記マーカを含み、前記対象領域よりも小さい領域である（１６）に記載の点群処理装置。
（１８）
　前記第３点群生成部は、前記マーカに関する情報である前記マーカの三次元座標に基づいて前記複数の画像から選択された、前記マーカが被写体として存在する画像を用いて前記第３三次元点群を生成する（１６）または（１７）に記載の点群処理装置。
（１９）
　前記マーカは位置情報検出機能を備える対空標識である（１６）から（１８）のいずれかに記載の点群処理装置。
（２０）
　前記マーカは、座標が既知である対空標識である（１６）から（１９）のいずれかに記載の点群処理装置。
（２１）
　前記マーカは、前記第１三次元点群の精度検証のための検証点として設置される（１６）から（２０）のいずれかに記載の点群処理装置。
（２２）
　前記マーカは、前記第１三次元点群を補正するためのＧＣＰ（Ground Control Point）または標定点として設置される（１６）から（２１）のいずれかに記載の点群処理装置。
（２３）
　前記複数の画像のうち、前記対象領域内に設置された端末装置に関する情報に基づいて選択された画像を用いて前記対象領域内の一部領域の第２三次元点群を生成する第２点群生成部を備える（１６）から（２２）のいずれかに記載の点群処理装置。
（２４）
　前記第１三次元点群の精度検証のために前記第３三次元点群が表示部に表示される（１６）に記載の点群処理装置。
（２５）
　前記第３三次元点群が表示されている状態で、ユーザによる前記第１三次元点群と前記第３三次元点群の位置誤差を測るために用いる位置の指定が可能である（２４）に記載の点群処理装置。
（２６）
　前記位置は前記第３三次元点群における前記マーカの中心である（２５）に記載の点群処理装置。
（２７）
　前記位置のＸＹ座標に基づいて前記位置のＺ座標が算出され、前記ＸＹ座標および前記Ｚ座標に基づいて前記第１三次元点群と前記第３三次元点群の位置誤差が測定される（２５）または（２６）に記載の点群処理装置。
（２８）
　ユーザからの前記第１三次元点群の精度検証を指示する入力に応じて前記第３三次元点群が表示部に表示される（２４）から（２７）のいずれかに記載の点群処理装置。
（２９）
　カメラを備える移動体と、
　前記移動体が備える前記カメラで撮影された複数の画像を用いて対象領域の第１三次元点群を生成する第１点群生成部と、前記複数の画像のうち、前記対象領域内に設置されたマーカに関する情報に基づいて選択された画像を用いて前記対象領域内のマーカ周囲領域の第３三次元点群を生成する第３点群生成部とを備える点群処理装置と、
からなる点群処理システム。

１００・・・移動体
１０５・・・カメラ
２００・・・端末装置
３００・・・点群処理装置
３０６・・・第１点群生成部
３０７・・・第２点群生成部
３１０・・・第３点群生成部
３０８・・・点群補正部
４００・・・マーカ
１０００・・点群処理システム

Claims (29)

1. 　移動体が備えるカメラで撮影された複数の画像を用いて対象領域の第１三次元点群を生成する第１点群生成部と、
   　前記複数の画像のうち、前記対象領域内に設置された端末装置に関する情報に基づいて選択された画像を用いて前記対象領域内の一部領域の第２三次元点群を生成する第２点群生成部と
   を備える点群処理装置。
2. 　前記一部領域は前記端末装置を含み、前記対象領域よりも小さい領域である
   請求項１に記載の点群処理装置。
3. 　前記第２点群生成部は、前記端末装置に関する情報である前記端末装置の三次元座標に基づいて前記複数の画像から選択された、前記端末装置が被写体として存在する画像を用いて前記第２三次元点群を生成する
   請求項１に記載の点群処理装置。
4. 　前記第２点群生成部は、前記端末装置に関する情報である前記画像内における前記端末装置の検出結果に基づいて前記複数の画像から選択された、前記端末装置が被写体として存在する画像を用いて前記第２三次元点群を生成する
   請求項１に記載の点群処理装置。
5. 　前記第２三次元点群に基づいて前記第１三次元点群を補正するための補正量を算出する点群補正部を備える
   請求項１に点群処理装置。
6. 　前記点群補正部は、前記第２三次元点群のＺ方向の所定値と、前記三次元座標のＺ方向の値の差分を前記補正量として算出する
   請求項５に記載の点群処理装置。
7. 　前記点群補正部は、前記第２三次元点群のＸＹ方向の所定値と、前記三次元座標のＸＹ方向の値の差分を前記補正量として算出する
   請求項５に記載の点群処理装置。
8. 　前記点群補正部は、前記補正量を用いて前記第１三次元点群を補正する
   請求項５に記載の点群処理装置。
9. 　前記三次元座標は、衛星測位システムを利用して受信する情報に基づいて前記端末装置が取得する
   請求項３に記載の点群処理装置。
10. 　前記端末装置は、前記衛星測位システムにおける前記情報を受信できる位置に設置される
    請求項９に記載の点群処理装置。
11. 　前記第２三次元点群は前記第１三次元点群よりも高品質である
    請求項１に記載の点群処理装置。
12. 　前記端末装置は天面に特定の模様が付されている
    請求項１に記載の点群処理装置。
13. 　前記対象領域内に設置された前記端末装置において処理を行う
    請求項１に記載の点群処理装置。
14. 　前記第１三次元点群と前記第２三次元点群を合成する合成処理部を備える
    請求項１に記載の点群処理装置。
15. 　カメラを備える移動体と、
    　前記移動体が備える前記カメラで撮影された複数の画像を用いて対象領域の第１三次元点群を生成する第１点群生成部と、前記複数の画像のうち、前記対象領域内に設置された端末装置に関する情報に基づいて選択された画像を用いて前記対象領域内の一部領域の第２三次元点群を生成する第２点群生成部とを備える点群処理装置と、
    からなる点群処理システム。
16. 　移動体が備えるカメラで撮影された複数の画像を用いて対象領域の第１三次元点群を生成する第１点群生成部と、
    　前記複数の画像のうち、前記対象領域内に設置されたマーカに関する情報に基づいて選択された画像を用いて前記対象領域内のマーカ周囲領域の第３三次元点群を生成する第３点群生成部と
    を備える点群処理装置。
17. 　前記マーカ周囲領域は前記マーカを含み、前記対象領域よりも小さい領域である
    請求項１６に記載の点群処理装置。
18. 　前記第３点群生成部は、前記マーカに関する情報である前記マーカの三次元座標に基づいて前記複数の画像から選択された、前記マーカが被写体として存在する画像を用いて前記第３三次元点群を生成する
    請求項１６に記載の点群処理装置。
19. 　前記マーカは位置情報検出機能を備える対空標識である
    請求項１６に記載の点群処理装置。
20. 　前記マーカは、座標が既知である対空標識である 
    請求項１６に記載の点群処理装置。
21. 　前記マーカは、前記第１三次元点群の精度検証のための検証点として設置される
    請求項１６に記載の点群処理装置。
22. 　前記マーカは、前記第１三次元点群を補正するためのＧＣＰ（Ground Control Point）または標定点として設置される
    請求項１６に記載の点群処理装置。
23. 　前記複数の画像のうち、前記対象領域内に設置された端末装置に関する情報に基づいて選択された画像を用いて前記対象領域内の一部領域の第２三次元点群を生成する第２点群生成部を備える
    請求項１６に記載の点群処理装置。
24. 　前記第３三次元点群は、前記第１三次元点群の精度検証のために表示装置において表示される
    請求項１６に記載の点群処理装置。
    
25. 　前記第３三次元点群が表示されている状態で、ユーザによる前記第１三次元点群と前記第３三次元点群の位置誤差を測るために用いる位置の指定が可能である
    請求項２４に記載の点群処理装置。
26. 　前記位置は前記第３三次元点群における前記マーカの中心である
    請求項２５に記載の点群処理装置。
27. 　前記位置のＸＹ座標に基づいて前記位置のＺ座標が算出され、前記ＸＹ座標および前記Ｚ座標に基づいて前記第１三次元点群と前記第３三次元点群の位置誤差が測定される
    請求項２５に記載の点群処理装置。
28. 　ユーザからの前記第１三次元点群の精度検証を指示する入力に応じて前記第３三次元点群が前記表示装置において表示される
    請求項２４に記載の点群処理装置。
29. 　カメラを備える移動体と、
    　前記移動体が備える前記カメラで撮影された複数の画像を用いて対象領域の第１三次元点群を生成する第１点群生成部と、前記複数の画像のうち、前記対象領域内に設置されたマーカに関する情報に基づいて選択された画像を用いて前記対象領域内のマーカ周囲領域の第３三次元点群を生成する第３点群生成部とを備える点群処理装置と、
    からなる点群処理システム。