JP7211005B2

JP7211005B2 - 地形推定プログラム、地形推定方法、及び、地形推定装置

Info

Publication number: JP7211005B2
Application number: JP2018202607A
Authority: JP
Inventors: 洋士日高
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2018-10-29
Filing date: 2018-10-29
Publication date: 2023-01-24
Anticipated expiration: 2038-10-29
Also published as: EP3648058A1; JP2020071501A; CN111104958A; US20200134914A1

Description

本発明は、地形推定プログラム、地形推定方法、及び、地形推定装置に関する。

無人航空機または車両に搭載したレーザを使用して、シーンの三次元測定を行い、取得される測定点に基づいて三次元モデルを生成する技術が存在する。しかしながら、測定点をそのまま使用して三次元モデルを生成すると、建物、及び樹木などの非地形オブジェクトが含まれてしまい、地形の適切な三次元モデルを生成することは困難である。

地形の適切な三次元モデルを生成するために、上空から測定を行うことで取得した測定点にプログレッシブモルフォロジカルフィルタ（以下、ＰＭＦともいう。）を適用する技術が存在する。ＰＭＦは、測定点の高さ情報を使用して、シーンから非地形オブジェクトを除去することで、地形を推定する。

特開２０１７－１９８５８１号公報

Zhangら、「A Progressive Morphological Filter for Removing Nonground Measurements From Airborne LIDAR Data」、IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING、２００３年４月、VOL.41, NO.4、頁８７２～８８２ Kazhdanら、Poisson Surface Reconstruction、Eurographics, Symposium on Geometry Processing、２００６年「ＬａｎｄＸＭＬ１．２に準じた３次元設計データ交換標準の運用ガイドライン（案）」、［ｏｎｌｉｎｅ］、［平成３０年１０月２３日検索］、インターネット（ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｎｉｌｉｍ．ｇｏ．ｊｐ／ｌａｂ／ｑｂｇ／ｂｕｎｙａ／ｃａｌｓ／ｉｎｆｏｒｍａｔｉｏｎ／ｆｉｌｅｓ／ｈ３０＿ｂａｓｅｄＬａｎｄＸＭＬ１．２．ｖ１．２＿ｇｕｉｄｌｉｎｅ．ｐｄｆ）

上記技術は、上空から測定を行うことで取得した測定点、即ち、上方が開放されたシーンの下方の地形への適用には適している。しかしながら、上方及び側方の少なくとも何れかが閉じたシーン、即ち、上方及び側方の少なくとも何れかに地形が存在するシーンへの適用には適していない。

本発明は、１つの側面として、下方に存在する地形に加え、上方及び側方の少なくとも何れかに存在する地形も適切に推定することを可能とすることを目的とする。

１つの実施形態では、向きが異なる複数の分類ベクトルを用いて、シーンの三次元測定で取得され、かつ各々が測定情報を含む複数の測定点を、各々が複数の分類ベクトルの各々に対応する複数の分割点群に分類する。複数の分割点群の各々にプログレッシブモルフォロジカルフィルタを適用することで、三次元測定で取得される複数の測定点から非地形オブジェクトに対応する測定点を除去してシーンの地形を推定する。分類した複数の分割点群毎に、分割点群に対応する分類ベクトルと交差する面を基準面として、基準面から基準面に対応する分割点群に含まれる測定点の各々までの、測定点の各々の測定情報に基づいて取得される距離を測定点の各々の高さとする。

本発明は、１つの側面として、下方に存在する地形に加え、上方及び側方の少なくとも何れかに存在する地形も適切に推定することを可能とする。

第１実施形態の地形推定装置の要部機能の一例を示すブロック図である。三次元測定で取得される測定点の各々に対応する法線ベクトルを例示する概念図である。測定点を分割点群に分類する際に使用される視線ベクトルを例示する概念図である。測定点を分割点群に分類する際に使用される視線ベクトルを例示する概念図である。第１実施形態の地形推定処理の一例を説明する概念図である。第１実施形態の地形推定処理の一例を説明する概念図である。第１実施形態の地形推定処理の一例を説明する概念図である。地形推定装置のハードウェアの一例を示すブロック図である。第１実施形態の地形推定処理の流れの一例を示すフローチャートである。第２実施形態の地形推定装置の要部機能の一例を示すブロック図である。第２実施形態の地形推定処理の一例を説明する概念図である。第２実施形態の地形推定処理の流れの一例を示すフローチャートである。第２実施形態の欠損補填処理の流れの一例を示すフローチャートである。測定されるシーンを例示する概念図である。図１１Ａのシーンの測定点を使用して生成した三次元モデルを例示する概念図である。図１１Ａのシーンの測定点にＰＭＦを適用した場合に生成される三次元モデルを例示する概念図である。測定されるシーンを例示する概念図である。図１２Ａのシーンの測定点を使用して生成した三次元モデルを例示する概念図である。図１２Ａのシーンの測定点にＰＭＦを適用した場合に生成される三次元モデルを例示する概念図である。三次元測定で取得される測定点を例示する概念図である。分割点群に分類せずに三次元測定で取得される測定点にＰＭＦを適用した場合に生成される三次元モデルを例示する概念図である。本実施形態の適用に適しているシーンを例示する概念図である。本実施形態の適用に適しているシーンを例示する概念図である。本実施形態の適用に適しているシーンを例示する概念図である。本実施形態の適用に適しているシーンを例示する概念図である。本実施形態の適用に適しているシーンを例示する概念図である。

［第１実施形態］
以下、図面を参照して第１実施形態の一例を詳細に説明する。

図１に例示する地形推定装置１０は、点群入力部２１、法線ベクトル推定部２２、点群分類部２３、プログレッシブモルフォロジカルフィルタ（以下、ＰＭＦ）部２４、点群統合部２５、三次元モデル生成部２６、及び三次元モデル出力部２９を含む。法線ベクトル推定部２２及び点群分類部２３は分類部に相当し、ＰＭＦ部２４及び点群統合部２５は推定部に相当する。

点群入力部２１は、例えば、三次元測定装置によるシーンの三次元測定で取得される測定点（以下、点ともいう。）を含む点群を入力する。図２の左上に、トンネルのシーンで取得される点群の一例を示す。測定点の各々は、例えば、直交三次元座標値などの測定情報を有している。三次元測定装置は、全方位のシーンを測定可能な既存の装置であってよい。

法線ベクトル推定部２２は、点群の各々の点に対応する法線ベクトルを推定する。法線ベクトルは、対象点を含む周囲の複数の点、例えば、１０個～２０個の点で近似される面と直交し、対象点を始点とし、原点の存在する側に向かうベクトルである。図２の左下に、点群及び点群に対応する法線ベクトルの一例を示す。原点は、図２に例示するトンネルの例では、トンネル内空断面の略中央に設定されているが、本実施形態はこれに限定されない。トンネル内空断面の任意の位置に設定することができる。

図２の左中央は、処理負荷を低減するために、図２の左上の点の数を低減した状態を例示し、図２の左下は、図２の左中央の点群の法線ベクトルを例示する。点の数の低減は、必須ではなく、既存の方法で行うことができる。例えば、第１の所定数の点の内、第２の所定数の点を削除するようにしてもよい。

点群分類部２３は、点群に含まれる点を、複数の視線に対応する複数の分割点群に分類する。詳細には、Ｍ個（Ｍ≧２）の原点を始点とする視線ベクトルｖ_ｊ（ｊは１～Ｍの整数）を使用して、点群を視線ベクトルｖ_ｊの各々に対応する分割点群Ｃ_ｊに分類する。点ｐ_ｉ（ｉは１～Ｌの整数、Ｌは測定点の数）に対応する法線ベクトルの各々ｎ（ｐ_ｉ）と、視線ベクトルの逆ベクトル（以下、分類ベクトル）の各々－ｖ_ｊとの内積ｎ（ｐ_ｉ）・（－ｖ_ｊ）を算出する。内積ｎ（ｐ_ｉ）・（－ｖ_ｊ）が最大となる視線ベクトルｖ_ｊに対応する分割点群Ｃ_ｊに、点ｐ_ｉを分類する。法線ベクトルと分類ベクトルとがなす角が０度に近い程、法線ベクトルと分類ベクトルとの内積が大きくなるためである。

図４の左上及び左下に、視線ベクトルの数Ｍが２である場合に、分類される２つの分割点群を例示する。図４の左上は、図３Ａに例示する視線ベクトルｖ_２に対応する分割点群Ｃ_２に含まれる点を例示し、図４の左下は、図３Ａに例示する視線ベクトルｖ_１に対応する分割点群Ｃ_１に含まれる点を例示する。

図５Ａの左上、左中央及び左下に、視線ベクトルの数Ｍが３である場合に、分類される３つの分割点群を例示する。図５Ａの左上は、図３Ｂに例示する視線ベクトルｖ_１に対応する分割点群Ｃ_１に含まれる点を例示し、図５Ａの左中央は、視線ベクトルｖ_２に対応する分割点群Ｃ_２に含まれる点を例示する。また、図５Ａの左下は、視線ベクトルｖ_３に対応する分割点群Ｃ_３に含まれる点を例示する。

ＰＭＦ部２４は、各々の分割点群にＰＭＦを適用することで、シーンの地形を推定する。ＰＭＦの基礎となるモルフォロジカルフィルタは、上空から測定することで取得した測定点の高さ（ｚ座標）を、フィルタが一度に適用される複数の測定点の高さの中で最低の高さに合わせる所定サイズのフィルタ（ｘｙ平面上の直線または平面フィルタ）であり、樹木など上部面積が狭い非地形オブジェクトを取り除くことができる。

しかしながら、モルフォロジカルフィルタでは、所定サイズのフィルタより大きい建物などの非地形オブジェクトを取り除くことができない。ＰＭＦは、モルフォロジカルフィルタで使用されるフィルタのサイズを徐々に大きくすることで、所定サイズのフィルタより大きい非地形オブジェクトを取り除くことができる。

但し、単に、フィルタのサイズを徐々に大きくすると、例えば、建物と同程度の上部面積を有する地面の隆起まで取り除かれてしまう虞がある。一方、一般に、自然物である地面の隆起の傾斜は、建物などの非地形オブジェクトの側面の傾斜と比較して緩い。したがって、フィルタのサイズを徐々に大きくしていく経過において、地面の隆起は徐々に除去され、一方、建物は一挙に除去される。この特徴を利用して、徐々に除去される地面の隆起は自然物であると判定して実際には除去せず、一挙に除去される建物は非地形オブジェクトであると判定して実際に除去する。

ＰＭＦ部２４は、分割点群の各々にＰＭＦを適用する。但し、ＰＭＦを適用する際に、分割点群毎に、分割点群に対応する分類ベクトルと交差する面を基準面として、基準面から当該基準面に対応する分割点群に含まれる測定点の各々までの距離に基づいて取得される距離を測定点の各々の高さとして使用する。即ち、分割点群の各々を上空から見下ろす視線で、分割点群の各々にＰＭＦを適用する。

詳細には、ＰＭＦ部２４は、例えば、視線ベクトルｖ_１に対応する分割点群Ｃ_１以外の分割点群を対応する視線ベクトルと視線ベクトルｖ_１とが重なるように回転する。ＰＭＦ部２４は、分割点群の各々にＰＭＦを適用した後、視線ベクトルｖ_１に対応する分割点群Ｃ_１以外の分割点群を回転前の角度まで逆回転する。

図４の例では、ＰＭＦ部２４は、図３Ａの視線ベクトルｖ_２に対応する分割点群Ｃ_２の点群を視線ベクトルｖ_２と視線ベクトルｖ_１とが重なるように回転する。ＰＭＦ部２４は、分割点群Ｃ_１及び分割点群Ｃ_２の各々にＰＭＦを適用した後、分割点群Ｃ_２を回転前の角度まで逆回転する。図４の中央下に、分割点群Ｃ_１にＰＭＦを適用し、非地形オブジェクトＮＧＯが除去された結果を例示し、図４の中央上に、分割点群Ｃ_２にＰＭＦを適用し、非地形オブジェクトＮＧＯが除去された結果を例示する。位置ＲＭで、非地形オブジェクトＮＧＯに対応する点が除去されている。

図５Ａの例では、ＰＭＦ部２４は、図３Ｂの視線ベクトルｖ_２に対応する分割点群Ｃ_２を視線ベクトルｖ_２と視線ベクトルｖ_１とが重なるように回転する。また、ＰＭＦ部２４は、図３Ｂの視線ベクトルｖ_３に対応する分割点群Ｃ_３を視線ベクトルｖ_３と視線ベクトルｖ_１とが重なるように回転する。ＰＭＦ部２４は、分割点群Ｃ_１、Ｃ_２及びＣ_３の各々にＰＭＦを適用した後、視線ベクトルｖ_２に対応する分割点群Ｃ_２及び視線ベクトルｖ_３に対応する分割点群Ｃ_３の点群を各々回転前の角度まで逆回転する。

図５Ａの右上に、分割点群Ｃ_１にＰＭＦを適用し、非地形オブジェクトＮＧＯが除去された結果を例示し、図５Ａの右中央に、分割点群Ｃ_２にＰＭＦを適用し、非地形オブジェクトＮＧＯが除去された結果を例示する。また、図５Ａの右下に、分割点群Ｃ_３にＰＭＦを適用し、非地形オブジェクトＮＧＯが除去された結果を例示する。

点群統合部２５は、分割点群を統合する。図４の右上に図４の中央上の分割点群Ｃ_２と中央下の分割点群Ｃ_１を統合した統合点群を例示する。図５Ｂの上に、図５Ａの右上の分割点群Ｃ_１、右中央の分割点群Ｃ_２及び右下の分割点群Ｃ_３を統合した統合点群を例示する。

三次元モデル生成部２６は、統合点群を使用して三次元モデルを生成する。三次元モデルの生成には、既存の手法を適用することができる。例えば、図４の右下に、右上の統合点群を使用して、Poisson Surface Reconstructionで生成されたメッシュを例示する。また、図５Ｂの下に、上の統合点群を使用して、Poisson Surface Reconstructionで生成されたメッシュを例示する。

三次元モデル出力部２９は、生成された三次元モデルを出力装置に出力する。出力装置は、例えば、三次元モデルの情報をファイルとして記憶する外部記憶装置であってもよいし、三次元モデルを可視的に表示するディスプレイであってもよい。

地形推定装置１０は、一例として、図６に示すように、ＣＰＵ（Central Processing Unit）５１、一次記憶部５２、二次記憶部５３、及び、外部インターフェイス５４を含む。ＣＰＵ５１は、ハードウェアであるプロセッサの一例である。ＣＰＵ５１、一次記憶部５２、二次記憶部５３、及び、外部インターフェイス５４は、バス５９を介して相互に接続されている。

一次記憶部５２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶部５３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの不揮発性のメモリである。

二次記憶部５３は、プログラム格納領域５３Ａ及びデータ格納領域５３Ｂを含む。プログラム格納領域５３Ａは、一例として、地形推定プログラムなどのプログラムを記憶している。データ格納領域５３Ｂは、一例として、三次元測定で取得される測定点の情報及び地形推定プログラムを実行している間に生成される中間データなどを記憶する。

ＣＰＵ５１は、プログラム格納領域５３Ａから地形推定プログラムを読み出して一次記憶部５２に展開する。ＣＰＵ５１は、地形推定プログラムをロードして実行することで、図１の点群入力部２１、法線ベクトル推定部２２、点群分類部２３、ＰＭＦ部２４、点群統合部２５、三次元モデル生成部２６、及び三次元モデル出力部２９として動作する。

なお、地形推定プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部５２に展開されてもよい。また、地形推定プログラムなどのプログラムは、ＤＶＤ（Digital Versatile Disc）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部５２に展開されてもよい。

外部インターフェイス５４には外部装置が接続され、外部インターフェイス５４は、外部装置とＣＰＵ５１との間の各種情報の送受信を司る。図６では、外部インターフェイス５４に、外部記憶装置５５Ａ、三次元測定装置５５Ｂ、及びディスプレイ５５Ｃが接続されている例を示している。

しかしながら、外部記憶装置５５Ａ、三次元測定装置５５Ｂ、及びディスプレイ５５Ｃは、外部インターフェイス５４に接続されていなくてもよいし、これらの内、１つまたは２つだけが外部インターフェイス５４に接続されていてもよい。また、外部記憶装置５５Ａ、三次元測定装置５５Ｂ、及びディスプレイ５５Ｃの内、何れかまたは全部は、地形推定装置１０に内蔵されていてもよいし、ネットワークを介して、地形推定装置１０と離隔した位置に配置されていてもよい。

また、地形推定装置１０は、専用装置であってもよいし、ワークステーション、パーソナルコンピュータ、またはタブレットであってもよい。

次に、地形推定処理の作用の概要について説明する。図７は、地形推定処理の流れを例示する。ＣＰＵ５１は、ステップ１０１で、シーンの三次元測定で取得される測定点の情報を読み込む。ＣＰＵ５１は、ステップ１０２で、点の各々について、法線ベクトルを推定する。

ＣＰＵ５１は、ステップ１０３で、点の各々に対応する法線ベクトルと視線ベクトルｖ_ｊの逆ベクトルである分類ベクトル－ｖ_ｊとに基づいて、点を複数の分割点群Ｃ_ｊに分類する。ＣＰＵ５１は、ステップ１０４で、複数の分割点群を区別する変数ｊに１を設定する。ＣＰＵ５１は、ステップ１０５で、分割点群Ｃ_１にＰＭＦを適用することで、分割点群Ｃ_１に含まれる点から非地形オブジェクトに対応する点を除去する。

ＣＰＵ５１は、ステップ１０６で、変数ｊに１を加算することで、次の分割点群の処理に移行する。ＣＰＵ５１は、ステップ１０７で、変数ｊの値が分割点群の数を表すＭの値を超えているか否か、即ち、全ての分割点群の処理が終了しているか否か判定する。ステップ１０７の判定が否定された場合、即ち、まだ処理が終了していない分割点群が存在する場合、ＣＰＵ５１は、ステップ１０８で、上空から見下ろしているように、分割点群Ｃ_ｊへの視線を変更する。

詳細には、対応する視線ベクトルｖ_ｊが、図３Ａ及び図３Ｂに例示するｖ_１と重なるように、例えば、回転行列Ｒ_ｊを乗算することで分割点群Ｃ_ｊを回転する。ＣＰＵ５１は、ステップ１０９で、回転した分割点群Ｃ_ｊにＰＭＦを適用する。ＣＰＵ５１は、ステップ１１０で、分割点群Ｃ_ｊの視線を元に戻す。即ち、ステップ１０８で使用した回転行列の逆行列Ｒ_ｊ ^－１を、ＰＭＦを適用した分割点群Ｃ_ｊに乗算することで、ステップ１０８で回転した分割点群Ｃ_ｊをステップ１０８の回転と反対方向で、かつ同じ角度だけ逆回転して、元の位置に戻す。

ステップ１０７の判定が肯定されると、即ち、全ての分割点群の処理が終了していると判定されると、ＣＰＵ５１は、ステップ１１１で、ＰＭＦが適用され、非地形オブジェクトが除去された、複数の分割点群を統合して統合点群を生成する。ＣＰＵ５１は、ステップ１１２で、統合点群に含まれる点を使用して三次元モデルを生成し、ステップ１１３で、生成した三次元モデルを出力装置に出力する。ファイルに出力される三次元モデルの情報は、例えば、地形の三次元モデルとして標準化されつつあるＬａｎｄＸＭＬを生成するための情報として活用可能である。

なお、ステップ１０３で、図３Ａに例示するように、上下２つの分割点群Ｃ_１及びＣ_２に分類する場合、分類ベクトルと法線ベクトルとの内積を使用せず、高さ方向の座標であるｚ座標が正の値であるか、負の値であるかによって、分類するようにしてもよい。即ち、ｚ座標が正の値である点は、図４の左上に例示する分割点群Ｃ_２に分類し、ｚ座標が負の値である点は、図４の左下に例示する分割点群Ｃ_１に分類してもよい。

ステップ１０８及びステップ１１０では、分割点群を回転及び逆回転している。これにより、ステップ１０９でＰＭＦを適用する際に、分類した複数の分割点群毎に、分割点群に対応する分類ベクトルと交差する面を基準面として、基準面から当該基準面に対応する分割点群に含まれる点の各々までの距離を点の各々の高さとしている。即ち、分割点群に対する視線の各々を、分割点群の各々を上空から見下ろす視線に変更して、ＰＭＦを適用している。

しかしながら、回転及び逆回転を行う代わりに、例えば、視線ベクトルまたは分類ベクトルに交差する基準面に相当する平面を仮定し、対応する分割点群の点から当該平面までの距離を算出して、ＰＭＦを適用する際に、当該算出した距離を高さとしてもよい。これによっても、分割点群の各々に対する視線を、分割点群の各々を上空から見下ろす視線に変更して、ＰＭＦを適用することができる。

なお、視線ベクトルの数が２または３である例について説明したが、視線ベクトルの向き及び数は、適宜、設定することができる。視線ベクトル、即ち、分類ベクトルの数を増やし、分割点群の数、即ち、測定点の分類数を増やすことで、測定点の各々を適切な視線に対応する分割点群に分類することが可能となるため、非地形オブジェクトの除去性能を向上させることができる。

全ての視線ベクトルは、２つの視線ベクトルが形成する平面上に存在しなくてもよく、例えば、全方位４π[ｓｒ]において、等角度間隔で設定してもよい。また、図３Ａ及び図３Ｂに例示する下向きのベクトルｖ_１は、鉛直下向きでなくともよい。例えば、広範囲に傾斜している地形では、当該傾斜面がｘｙ平面に沿うように座標軸を設定し、当該ｘｙ平面に直交するｚ軸に沿って、当該ｘｙ平面に向かうように視線ベクトルｖ_１を設定する。ここで、設定した視線ベクトルｖ_１を上空から見下ろす視線に対応するベクトルとすることができる。

本実施形態では、測定点を複数の視線ベクトルの各々に対応する複数の分割点群に分類し、複数の分割点群の各々に対する視線を上空から見下ろす視線に変更してＰＭＦを適用し、その後、複数の分割点群を統合する。これにより、図４の右下及び図５Ｂの下に例示するように、非地形オブジェクトが除去され、かつ、下方に存在する地形に加え、上方及び側方に存在する地形も適切に推定された三次元モデルを取得することができる。ここで、下方とは、例えば、視線ベクトルｖ_１の向きとして設定される向きであり、側方に存在する地形とは、上方及び下方をつなぐ軸を仮定した場合、当該軸の周囲３６０°の方向に存在する地形である。

本実施形態は、例えば、掘削作業中のトンネルのシーンに適用することができる。掘削作業中のトンネルには、例えば、重機、人、ダクトなどの非地形オブジェクトが存在するが、掘削中のトンネルの地形を測定するために、これらの現実の非地形オブジェクトを物理的に除去することは、時間及び経費を増大することとなり、実用上適切ではない。一方、非地形オブジェクトが存在する状態でシーンを測定し、本実施形態を適用して、シーンから非地形オブジェクトを除去した地形を推定することは、時間及び経費を低減することができ、実用上極めて有用である。

山岳トンネルの掘削作業は、例えば、削孔、装薬、発破、ズリ出し、コソク、アタリ取り、一次吹付け、鋼製支保工建込み、二次吹付け、及び、ロックボルトのサイクルが、１ｍ～１．２ｍ毎に昼夜連続して繰り返される。ズリ出し後に切羽面を測定し、発破掘削による進行長の確認と、アタリ取り、余掘量の確認を行う。ズリ出し後、掘削作業の通常サイクルに支障のないよう、例えば、作業段取り替えの間に、本実施形態を適用することで、測定されたシーンから適切な地形を推定することができるため、掘削作業を妨げることがない。また、推定された地形の情報を掘削作業に即時活用することができる。従って、掘削作業の時間及び費用を低減することが可能となる。

本実施形態では、向きが異なる複数の分類ベクトルを用いて、シーンの三次元測定で取得され、かつ各々が測定情報を含む複数の測定点を、各々が複数の分類ベクトルの各々に対応する複数の分割点群に分類する。複数の分割点群の各々にプログレッシブモルフォロジカルフィルタを適用することで、三次元測定で取得される複数の測定点から非地形オブジェクトに対応する測定点を除去してシーンの地形を推定する。分類した複数の分割点群毎に、分割点群に対応する分類ベクトルと交差する面を基準面として、基準面から基準面に対応する分割点群に含まれる測定点の各々までの、測定点の各々の測定情報に基づいて取得される距離を測定点の各々の高さとする。

本実施形態では、これにより、下方に存在する地形に加え、上方及び側方の少なくとも何れかに存在する地形も適切に推定することを可能とする。

［第２実施形態］
以下、図面を参照して第２実施形態の一例を詳細に説明する。第１実施形態と同様の構成及び作用については、説明を省略する。

図８に、第２実施形態の地形推定装置１０を例示する。第２実施形態の地形推定装置１０は、マーキング部２７及び補填部２８を有する点で、第１実施形態の地形推定装置１０と相違する。

マーキング部２７は、三次元モデルの欠損部分にマーキングを行う。欠損部分とは、図７のステップ１０９でＰＭＦを適用した結果、非地形オブジェクトに対応する点が除去されることで、三次元モデルの要素に対応する点が欠損した部分である。図７のステップ１０９でＰＭＦを適用することで、非地形オブジェクトに対応する点が除去され、図９の左下にＲＭで例示するように、非地形オブジェクトの接地面に対応する点が欠損した部分が生じる。

図９の左上に例示するように、欠損した部分の点は、既存の技術、例えば、Poisson Surface Reconstructionを適用することで補間され、三次元モデルが生成される。マーキング部２７は、図９の中央上に例示するように、三次元モデルで、要素に対応する点が欠損している部分にマーキングＭＤを付加する。マーキングＭＤは、例えば、特定の色による可視のマーキングであってもよいし、タグ情報などの情報による不可視のマーキングであってもよい。

図８の補填部２８は、第１時点の三次元測定で取得される測定点を使用して生成される第１の三次元モデルの欠損部分を、第２時点の三次元測定で取得される測定点を使用して生成される第２の三次元モデルを使用して補填する。例えば、掘削作業中は、工程を遅延させないように、現実の非地形オブジェクトを物理的に除去せず、非地形オブジェクトを除去する地形推定処理を行うことで、掘削作業を妨げないようにする。一方、掘削作業終了後などに、現実の非地形オブジェクトを物理的に除去した後、欠損部分を補填することで、より実際の地形に近似する、正確な地形推定の情報を維持することができる。

次に、第２実施形態の地形推定処理の作用の概要について説明する。図１０Ａは、地形推定処理の流れを例示する。図１０Ａの地形推定処理は、ステップ１１３の欠損補填処理を含む点で、図７の地形推定処理と相違する。

図１０Ｂに、図１０Ａのステップ１１３の欠損補填処理の詳細を例示する。ＣＰＵ５１は、ステップ１２１で、ステップ１１２で生成された三次元モデルに欠損部分があるか否か判定する。詳細には、三次元モデルを構成する要素ｓ_ｋ（ｋは１～Ｑの整数、Ｑは要素の数）の各々と分割点群Ｃ_ｊの各々に含まれる点の各々との最小距離を算出し、最小距離が所定の閾値ｄ_ｔｈ以下である場合、当該要素ｓ_ｋは欠損部分に対応しないと判断する。

一方、最小距離が所定の閾値ｄ_ｔｈを超える場合、当該要素ｓ_ｋは欠損部分に対応すると判断する。所定の閾値ｄ_ｔｈは、例えば、１０ｃｍであってよい。当該要素ｓ_ｋは、三次元モデル生成時に補間によって生成された要素であると推定されるためである。三次元モデルは、例えば、メッシュであってよく、要素は、例えば、ポリゴンであってよい。

ＣＰＵ５１は、ステップ１２２で、図９の中央上に例示するように、当該欠損部分にマーキングＭＤを付加する。ＣＰＵ５１は、ステップ１２３で、欠損部分を含む三次元モデル、即ち、マーキングＭＤを含む三次元モデルが既に存在するか否か判定する。即ち、ステップ１１２で生成された三次元モデルと同一のシーンの三次元測定で取得された測定点に対応し、かつ、マーキングＭＤを含む三次元モデルが、例えば、ファイルとして、既に保存されているか否か判定する。ファイルは、例えば、図６のデータ格納領域５３Ｂまたは外部記憶装置５５Ａに保存されているファイルの中から検索されてもよい。

ステップ１２３の判定が否定された場合、ＣＰＵ５１は、欠損補填処理を終了する。ステップ１２３の判定が肯定された場合、ＣＰＵ５１は、ステップ１２４で、欠損部分を含む第１の三次元モデルに相当する三次元モデルを読み込む。ＣＰＵ５１は、ステップ１２５で、ステップ１１２で生成された第２の三次元モデルに対応する三次元モデルの欠損部分を示すマーキング部分ＭＤに対応する、第１の三次元モデルの欠損部分ではない要素が存在するか否か判定する。欠損部分ではない要素とは、マーキングＭＤが付加されていない要素である。

ステップ１２５の判定が否定された場合、ＣＰＵ５１は、欠損補填処理を終了する。ステップ１２５の判定が肯定された場合、ＣＰＵ５１は、ステップ１２６で、ステップ１１２で生成された三次元モデルの欠損部分をステップ１２４で読み込んだ三次元モデルの欠損部分ではない要素で補填して、欠損補填処理を終了する。ＣＰＵ５１は、図１０Ａのステップ１１４で、ステップ１１２で生成された三次元モデル、ステップ１２２でマーキングＭＤが付加された三次元モデル、ステップ１２６で欠損部分の補填が行われた三次元モデルの何れか、または全てを出力装置に出力する。即ち、これらの三次元モデルを、例えば、外部記憶装置５５Ａに記憶するか、または、ディスプレイ５５Ｃに表示する。

なお、欠損部分は、ステップ１０３で測定点を分割点群に分類する際に、何れの分割点群にも含まれない測定点に対応する部分であってもよい。即ち、分類ベクトルと当該測定点の法線ベクトルとのなす角が所定角度以上であることで、三次元モデルの要素に対応する点が欠損した部分であってもよい。例えば、掘削作業中は、分割点群の数を抑制することで処理速度を向上させ、一方、掘削作業終了後などに、分割点群の数を増大することで、より実際の地形に近似する、正確な地形推定の情報を維持することができる。

本実施形態では、統合点群において、三次元モデルに含まれる要素に対応する点が欠損している欠損部分に対応する要素にマーキングを付加する。また、本実施形態では、第１の三次元モデルの欠損部分を、前記第１の三次元モデルに対応するシーンと同様のシーンの三次元測定で取得される複数の測定点に対応する第２の三次元モデルに含まれる要素を使用して補填する。

このように、例えば、掘削作業終了後など、現実の非地形オブジェクトが物理的に除去された後に、三次元測定される測定点を使用して生成される三次元モデルの要素を使用して、例えば、掘削作業中に生成した三次元モデルの欠損部分を補填する。これにより、より正確な地形推定情報を維持することができる。

図７、図１０Ａ及び図１０Ｂのフローチャートは一例であり、ステップの順序は適宜変更することが可能である。

［関連技術との比較］
図１１Ｂに、図１１Ａのシーンを上空から測定することで取得された測定点を使用して生成した三次元モデルを例示する。図１１Ｃは、測定点を本実施形態のように分割点群に分類することなく、図１１Ａのシーンを上空から測定することで取得された測定点にＰＭＦを適用し、非地形オブジェクトに対応する測定点が除去された測定点を使用して生成した三次元モデルを例示する。

図１２Ｂに、図１２Ａのシーンを上空から測定することで取得された測定点を使用して生成した三次元モデルを例示する。図１２Ｃは、測定点を本実施形態のように分割点群に分類することなく、図１２Ａのシーンを上空から測定することで取得された測定点にＰＭＦを適用し、非地形オブジェクトに対応する測定点が除去された測定点を使用して生成した三次元モデルを例示する。

ＰＭＦを適用していない図１１Ｂ及び図１２Ｂの三次元モデルでは、非地形オブジェクトが除去されていないが、ＰＭＦを適用した図１１Ｃ及び図１２Ｃの三次元モデルでは、非地形オブジェクトが除去されている。ＰＭＦは、シーンを上空から測定した測定点に適用することを前提としている。したがって、図１１Ｃ及び図１２Ｃに例示するように、図１１Ａ及び図１２Ａのように、上方に地形が存在しないシーンからは、適切に非地形オブジェクトが除去されている三次元モデルが生成される。

一方、図１３Ａに例示するシーンに、測定点を本実施形態のように分割点群に分類することなくＰＭＦを適用すると、図１３Ｂに例示するように、下方の地形ＢＴについては、適切に非地形オブジェクトＮＧＯを除去した三次元モデルを生成することができる。しかしながら、シーンの上方の地形ＴＰ及び側方の地形ＳＤについては、非地形オブジェクトＮＧＯと共に除去されてしまい、適切な三次元モデルを取得することができない。また、測定点にＰＭＦを適用せず、三次元モデルを生成すると、図２の右中央に例示するように、三次元モデルに非地形オブジェクトＮＧＯが残存してしまう。

一方、測定点を分割点群に分類し、分割点群の各々に対する視線を、分割点群の各々を上空から見下ろす視線に変更して、各々の分割点群にＰＭＦを適用する本実施形態は、図１４Ａに例示するトンネルに適用することができる。また、本実施形態は、トンネルだけでなく、図１４Ｂに例示する洞窟、図１４Ｃに例示する縦坑、図１４Ｄに例示するオーバーハングなどの上方及び側方の少なくとも何れかに地形が存在するシーンにも適用可能である。

さらに、本実施形態は、図１４Ｅに例示する上方及び側方に地形が存在しないシーンにも適用可能である。本実施形態は、例えば、視線ベクトルを全方位４π［ｓｒ］に等角度間隔で設定することで、これらの様々なシーンに対応可能である。例えば、図１４Ｅに例示するシーンでは、下向きの視線ベクトルに対応して分類される分割点群に、測定点の殆どが含まれるだけであるため、適用するシーンによって処理の流れを変えなくてもよい。

以上の各実施形態に関し、更に以下の付記を開示する。

（付記１）
向きが異なる複数の分類ベクトルを用いて、シーンの三次元測定で取得され、かつ各々が測定情報を含む複数の測定点を、各々が前記複数の分類ベクトルの各々に対応する複数の分割点群に分類し、
分類した前記複数の分割点群毎に、分割点群に対応する分類ベクトルと交差する面を基準面として、前記基準面から前記基準面に対応する分割点群に含まれる測定点の各々までの距離であって、前記測定点の各々の測定情報に基づいて取得される距離を前記測定点の各々の高さとして、前記複数の分割点群の各々にプログレッシブモルフォロジカルフィルタを適用することで、前記三次元測定で取得される前記複数の測定点から非地形オブジェクトに対応する測定点を除去して前記シーンの地形を推定する、
地形推定処理をコンピュータに実行させるためのプログラム。
（付記２）
前記複数の測定点の各々を、前記複数の分類ベクトルの各々と当該測定点から推定される法線ベクトルとの内積が最大となる、前記複数の分類ベクトルの内の１つに対応する分割点群に分類する、
付記１のプログラム。
（付記３）
前記プログレッシブモルフォロジカルフィルタを適用した前記複数の分割点群を統合した統合点群を用いて三次元モデルを生成し、
生成した三次元モデルを表示装置で表示するか、もしくは、記憶媒体に保存する、
付記１または付記２のプログラム。
（付記４）
前記統合点群において、前記三次元モデルに含まれる要素に対応する測定点が欠損している欠損部分に対応する前記要素にマーキングを付加する、
付記３のプログラム。
（付記５）
第１の三次元モデルの欠損部分を、前記第１の三次元モデルに対応するシーンと同様のシーンの三次元測定で取得される複数の測定点に対応する第２の三次元モデルに含まれる要素を使用して補填する、
付記４のプログラム。
（付記６）
コンピュータが、
向きが異なる複数の分類ベクトルを用いて、シーンの三次元測定で取得され、かつ各々が測定情報を含む複数の測定点を、各々が前記複数の分類ベクトルの各々に対応する複数の分割点群に分類し、
分類した前記複数の分割点群毎に、分割点群に対応する分類ベクトルと交差する面を基準面として、前記基準面から前記基準面に対応する分割点群に含まれる測定点の各々までの距離であって、前記測定点の各々の測定情報に基づいて取得される距離を前記測定点の各々の高さとして、前記複数の分割点群の各々にプログレッシブモルフォロジカルフィルタを適用することで、前記三次元測定で取得される前記複数の測定点から非地形オブジェクトに対応する測定点を除去して前記シーンの地形を推定する、
地形推定方法。
（付記７）
前記複数の測定点の各々を、前記複数の分類ベクトルの各々と当該測定点から推定される法線ベクトルとの内積が最大となる、前記複数の分類ベクトルの内の１つに対応する分割点群に分類する、
付記６の地形推定方法。
（付記８）
前記プログレッシブモルフォロジカルフィルタを適用した前記複数の分割点群を統合した統合点群を用いて三次元モデルを生成し、
生成した三次元モデルを表示装置で表示するか、もしくは、記憶媒体に保存する、
付記６または付記７の地形推定方法。
（付記９）
前記統合点群において、前記三次元モデルに含まれる要素に対応する測定点が欠損している欠損部分に対応する前記要素にマーキングを付加する、
付記８の地形推定方法。
（付記１０）
第１の三次元モデルの欠損部分を、前記第１の三次元モデルに対応するシーンと同様のシーンの三次元測定で取得される複数の測定点に対応する第２の三次元モデルに含まれる要素を使用して補填する、
付記９の地形推定方法。
（付記１１）
向きが異なる複数の分類ベクトルを用いて、シーンの三次元測定で取得され、かつ各々が測定情報を含む複数の測定点を、各々が前記複数の分類ベクトルの各々に対応する複数の分割点群に分類する分類部と、
分類した前記複数の分割点群毎に、分割点群に対応する分類ベクトルと交差する面を基準面として、前記基準面から前記基準面に対応する分割点群に含まれる測定点の各々までの距離であって、前記測定点の各々の測定情報に基づいて取得される距離を前記測定点の各々の高さとして、前記複数の分割点群の各々にプログレッシブモルフォロジカルフィルタを適用することで、前記三次元測定で取得される前記複数の測定点から非地形オブジェクトに対応する測定点を除去して前記シーンの地形を推定する推定部と、
を含む、地形推定装置。
（付記１２）
前記分類部は、前記複数の測定点の各々を、前記複数の分類ベクトルの各々と当該測定点から推定される法線ベクトルとの内積が最大となる、前記複数の分類ベクトルの内の１つに対応する分割点群に分類する、
付記１１の地形推定装置。
（付記１３）
前記プログレッシブモルフォロジカルフィルタを適用した前記複数の分割点群を統合した統合点群を用いて三次元モデルを生成する三次元モデル生成部と、
生成した三次元モデルを表示装置で表示するか、もしくは、記憶媒体に保存する三次元モデル出力部と、
をさらに含む、付記１１または付記１２の地形推定装置。
（付記１４）
前記統合点群において、前記三次元モデルに含まれる要素に対応する測定点が欠損している欠損部分に対応する前記要素にマーキングを付加するマーキング部、
をさらに含む、付記１３の地形推定装置。
（付記１５）
第１の三次元モデルの欠損部分を、前記第１の三次元モデルに対応するシーンと同様のシーンの三次元測定で取得される複数の測定点に対応する第２の三次元モデルに含まれる要素を使用して補填する補填部、
をさらに含む、付記１４の地形推定装置。

１０地形推定装置
２３点群分類部
２４ＰＭＦ部
２５点群統合部
２６三次元モデル生成部
２７マーキング部
２８補填部
２９三次元モデル出力部
５１ＣＰＵ
５２一次記憶部
５３二次記憶部
５５Ａ外部記憶装置
５５Ｃディスプレイ

Claims

向きが異なる複数の分類ベクトルを用いて、シーンの三次元測定で取得され、かつ各々が測定情報を含む複数の測定点を、各々が前記複数の分類ベクトルの各々に対応する複数の分割点群に分類し、
分類した前記複数の分割点群毎に、分割点群に対応する分類ベクトルと交差する面を基準面として、前記基準面から前記基準面に対応する分割点群に含まれる測定点の各々までの距離であって、前記測定点の各々の測定情報に基づいて取得される距離を前記測定点の各々の高さ方向の座標値として、前記複数の分割点群の各々の三次元座標値にプログレッシブモルフォロジカルフィルタを適用することで、前記三次元測定で取得される前記複数の測定点から、推定対象である地形の面上に存在し、当該地形ではない非地形オブジェクトに対応する測定点を除去して前記シーンの地形を推定する、
地形推定処理をコンピュータに実行させるためのプログラム。
前記複数の測定点の各々を、前記複数の分類ベクトルの各々と当該測定点から推定される法線ベクトルとの内積が最大となる、前記複数の分類ベクトルの内の１つに対応する分割点群に分類する、
請求項１に記載のプログラム。
前記プログレッシブモルフォロジカルフィルタを適用した前記複数の分割点群を統合した統合点群を用いて三次元モデルを生成し、
生成した三次元モデルを表示装置で表示するか、もしくは、記憶媒体に保存する、
請求項１または請求項２に記載のプログラム。
前記統合点群において、前記三次元モデルに含まれる要素に対応する測定点が欠損している欠損部分に対応する前記要素にマーキングを付加する、
請求項３に記載のプログラム。
第１の三次元モデルの欠損部分を、前記第１の三次元モデルに対応するシーンと同様のシーンの三次元測定で取得される複数の測定点に対応する第２の三次元モデルに含まれる要素を使用して補填する、
請求項４に記載のプログラム。
コンピュータが、
向きが異なる複数の分類ベクトルを用いて、シーンの三次元測定で取得され、かつ各々が測定情報を含む複数の測定点を、各々が前記複数の分類ベクトルの各々に対応する複数の分割点群に分類し、
分類した前記複数の分割点群毎に、分割点群に対応する分類ベクトルと交差する面を基準面として、前記基準面から前記基準面に対応する分割点群に含まれる測定点の各々までの距離であって、前記測定点の各々の測定情報に基づいて取得される距離を前記測定点の各々の高さ方向の座標値として、前記複数の分割点群の各々の三次元座標値にプログレッシブモルフォロジカルフィルタを適用することで、前記三次元測定で取得される前記複数の測定点から、推定対象である地形の面上に存在し、当該地形ではない非地形オブジェクトに対応する測定点を除去して前記シーンの地形を推定する、
地形推定方法。
向きが異なる複数の分類ベクトルを用いて、シーンの三次元測定で取得され、かつ各々が測定情報を含む複数の測定点を、各々が前記複数の分類ベクトルの各々に対応する複数の分割点群に分類する分類部と、
分類した前記複数の分割点群毎に、分割点群に対応する分類ベクトルと交差する面を基準面として、前記基準面から前記基準面に対応する分割点群に含まれる測定点の各々までの距離であって、前記測定点の各々の測定情報に基づいて取得される距離を前記測定点の各々の高さ方向の座標値として、前記複数の分割点群の各々の三次元座標値にプログレッシブモルフォロジカルフィルタを適用することで、前記三次元測定で取得される前記複数の測定点から、推定対象である地形の面上に存在し、当該地形ではない非地形オブジェクトに対応する測定点を除去して前記シーンの地形を推定する推定部と、
を含む、地形推定装置。