JP6873611B2

JP6873611B2 - 地表情報分析システムおよび地表情報分析方法

Info

Publication number: JP6873611B2
Application number: JP2016114585A
Authority: JP
Inventors: ゆう趙; 頼子風間
Original assignee: Hitachi Solutions Ltd
Current assignee: Hitachi Solutions Ltd
Priority date: 2016-06-08
Filing date: 2016-06-08
Publication date: 2021-05-19
Anticipated expiration: 2036-06-08
Also published as: AU2017202085A1; BR102017006282A2; CA2959229C; AU2017202085B2; CA2959229A1; JP2017220058A

Description

本発明は、地表情報分析システムおよび地表情報分析方法に関するものである。

鉱山会社では掘削した鉱物や燃料を山積みして保管し、体積やその変化を詳細に把握したいというニーズがある。これに対して従来は、人手で堆積物を特定し、その体積を計測していた。また、鉱山会社では搬送道路を効率的に監視してメンテナンスするために路面状況を詳細に把握したいというニーズもある。これに対しても従来は、人手で路面を評価していた。このような人手による作業では、広い面積を対象とすることが困難であり、作業者によって精度のばらつきが発生するというデメリットがあった。

これに関連する技術として、特許文献１には「ごみ処理炉に備えられたホッパ５内に供給され堆積したごみＴの表層部を斜め上方よりステレオ視にて撮像する撮像工程と、撮像工程で得られたステレオ視画像を基に、ごみＴの表層部の三次元形状を求める三次元形状
検出工程と、三次元形状検出工程で求めたごみＴの表層部の三次元形状を、高さの異なる複数の柱体が集合して表される柱体モデルに変換する柱体モデル変換工程と、柱体モデル変換工程で得られた柱体モデルにおける柱体の高さ変化から、ごみＴの体積変化を求める体積変化量算出工程と、有する」ことが記載されている。

特開２０１４−１２６３２１号公報

特許文献１に記載された技術を用いれば、ごみの体積変化量を算出することはできる。しかしながら、ごみ全体の体積変化量を算出できるだけであり、物質毎の体積変化量などの物質それぞれの変化に関する量を算出できる技術までは記載されていない。

そこで、本発明の目的は、物質毎の変化量を算出することにある。

本発明に係る代表的な地表情報分析システムは、地表を画像から分析する地表情報分析システムにおいて、複数の時刻における地表の物質の領域に関する情報を含む２次元画像のデータを取得し、複数の時刻における地表の形状情報を含む３次元画像のデータを取得し、取得された２次元画像のデータを用いて、複数種類の物質それぞれの領域を特定し、複数の時刻に含まれる時刻それぞれにおいて対応する領域と形状であって、特定された物質それぞれの領域と、取得された３次元画像のデータにより特定される形状とから、複数の時刻と複数種類の物質の組み合わせとして時系列多スペクトル３次元画像のデータを生成し、生成された時系列多スペクトル３次元画像のデータに含まれる複数の時刻のデータに基づいて、物質それぞれの変化量を算出することを特徴とする。

本発明によれば、物質毎の変化量を算出することができる。

地表情報分析システムの構成の例を示すブロック図である。地表情報分析システムのハードウェアの例を示すブロック図である。地表情報分析システムの処理の例を示すフローチャートである。地面係数計算の例を示す図である。地面推定の例を示す図である。時系列多スペクトル３次元情報画像データの例を示す図である。堆積モデルの例を示す図である。堆積物体積計算の例を示すフローチャートである。変化量画像の例を示す図である。メンテナンス判定の例を示すフローチャートである。

以下に、図面を参照して、好ましい実施の形態を説明する。

以下に説明する地表情報分析システムは、高解像度リモートセンシング画像データの取得対象地域である鉱山の鉱物あるいは燃料が地面に山積みされた場所のストックパイル堆積物の体積を計算し、堆積物体積量画像や堆積物変化量画像を出力するものである。また、取得対象地域の路面状態も画像として出力する。このように、高解像度リモートセンシング画像データが取得されて解析される対象は、例えば鉱山の堆積場であるが、他の場所でもあってもよい。

図１は、地表情報分析システム１００の構成例を示すブロック図である。地表情報分析システム１００は、リモートセンシング画像データ１０１ａを取得するリモートセンシング画像データ取得部１０２と、３次元情報画像データ１０１ｂを取得する３次元情報画像データ取得部１０３を備える。これらの画像データは、それぞれ複数種類であってもよい。また、これらの画像データは時系列のデータとして取得される。

地表情報分析システム１００は、取得された画像データからデータベース１１５を生成するデータベース生成部１０４を備える。データベース１１５では、時系列の画像データが管理されるとともに、以降で説明する画像データが処理されたデータも管理される。データベース１１５のデータの管理の形式は、特定の形式に限定されるものではなく、一般的なデータベース製品で用いられる形式であってもよい。

地表情報分析システム１００は、取得された画像データから堆積物の材質を分類する材質分類部１０５、地面の状況を表す係数を計算する地面係数計算部１０６、地面の標高を推定する地面推定部１０７を備える。これらは、複数の堆積物や地面の複数の基準をそれぞれスペクトルとし、例えば堆積物の状態などのスペクトルを３次元画像で時系列に表すと、時系列多スペクトル３次元画像を生成することとなるため、時系列多スペクトル３次元画像生成部１０８を構成する。

地表情報分析システム１００は、堆積物の材質に応じて堆積の仕方が異なるため、材質に応じた堆積モデルを生成する堆積モデル生成部１０９を備え、モデル化された堆積物の体積を計算する堆積物体積計算部１１０を備える。また、各堆積物の計算された体積の変化や地面の状況の変化を画像として生成する変化量画像生成部１１１を備える。

さらに地表情報分析システム１００は、地面の状況からメンテナンスが必要かを判定するメンテナンス判定部１１２、メンテナンスが必要であると判定された場合あるいは堆積物の体積の変化に基づいて、それらを表示したり機器を制御したりすることにより鉱山や工事を支援する制御部１１３、画像データを新たに取得させる画像更新部１１４を備える。

図２は、地表情報分析システム１００のハードウェア例を示すブロック図である。地表情報分析システム１００は、一般的なコンピュータであってもよく、処理を実行するＣＰＵ（Central Processing Unit）２０１、ＣＰＵが処理するためのプログラムやデータが格納されるＲＡＭ（Random Access Memory）２０２、リモートセンシング観測装置２１１および表面データベース２１２と接続されてリモートセンシング画像データ１０１ａおよび３次元情報画像データ１０１ｂを取得するために使用されるＩ／Ｆ（Interface）２０３を備える。

また、地表情報分析システム１００は、ＲＡＭ２０２より大容量かつ不揮発なＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）やフラッシュメモリである記憶部２０４、入力を促す表示や処理結果の表示を行う液晶ディスプレイなどの表示部２０５、キーボードやマウスなどの入力部２０６を備える。ＣＰＵ２０１の動作により、ＲＡＭ２０２から読み出されたデータが記憶部２０４に書き込まれてもよいし、記憶部２０４から読み出されたデータがＲＡＭ２０２に書き込まれてもよい。また、記憶部２０４に格納されたプログラムがＲＡＭ２０２にロードされてもよい。

表示部２０５と入力部２０６は備えられずに、図示を省略したネットワーク経由でリモート操作されてもよい。また、複数のＣＰＵ２０１が備えられてもよし、地表情報分析システム１００が複数のコンピュータから構成されてもよい。

図１を用いて説明したリモートセンシング画像データ取得部１０２から画像更新部１１４までの各部は、ＲＡＭ２０２あるいは記憶部２０４に格納されて各部に対応するプログラムをＣＰＵ２０１が実行することにより実現されてもよい。また、複数のＣＰＵ２０１とＲＡＭ２０２を組み合わせて、それぞれの組み合わせで各部が実現されてもよい。このため、以下の各部を主体とする説明は、ＣＰＵ２０１を主体とする説明に置き換えられてもよい。

記憶部２０４に格納されるプログラムは、図示を省略した記憶媒体の読み取り装置あるいはネットワークからロードされてもよい。データベース１１５のデータはＲＡＭ２０２あるいは記憶部２０４に格納されてもよい。Ｉ／Ｆ２０３はリモートセンシング画像データ取得部１０２と３次元情報画像データ取得部１０３の一部であってもよい。また、Ｉ／Ｆ２０３はネットワークに接続するＩ／Ｆであってもよいし、独自の外部バスなどに接続するＩ／Ｆであってもよい。

リモートセンシング観測装置２１１は、観測衛星、有人航空機、無人航空機などのリモートセンシングセンサーであり、リモートセンシングするものであれば、種類としては限定されない。リモートセンシング観測装置２１１のリモートセンシング画像データ１０１ａは、例えばRapidEye、TerraやAqua（MODIS： MODerate resolution Imaging Spectroradiometerを搭載）、LandSatによる衛星写真や、航空写真のデータである。

なお、リモートセンシング画像データ１０１ａは時系列の画像データであり、１台のリモートセンシング観測装置２１１から取得された時系列の画像データであってもよいし、複数台のリモートセンシング観測装置２１１から取得された時系列の画像データであってもよい。リモートセンシング画像データ１０１ａのデータの種類は限定されないが、色を判別できる情報が含まれるデータが好ましい。複数種類のデータが含まれる場合、画像の解像度の違いは低い解像度に統一されてもよい。以下では無人航空機（UAV: Unmanned aerial Vehicle）あるいはドローンで取得されたＲＧＢ画像を例として説明する。

表面データベース２１２は、３次元情報画像データ１０１ｂを含むデータベースであり、そのデータベースの情報はリモートセンシングセンサーにより取得された情報であってもよいし、他の装置から取得された情報であってもよい。３次元情報画像データ１０１ｂは、例えば数値表面モデル（DSM: Digital Surface Model）や数値標高モデル（DEM: Digital Elevation Model）などであり、地面および堆積物の表面の標高を３次元画像で表すデータであるが、データの種類としてはこれらに限定されない。以下では数値表面モデル（DSM）の標高情報を例として説明する。

図３は、地表情報分析システム１００の処理の例を示すフローチャートである。まず、地表情報分析システム１００は、表示部２０５を用いて、分析される地域と期間の指定をユーザに促し、入力部２０６により指定された情報をＲＡＭ２０２あるいは記憶部２０４へ格納する。

そして、リモートセンシング画像データ取得部１０２はリモートセンシング画像データ１０１ａを取得し（ステップ３０１）、３次元情報画像データ取得部１０３は３次元情報画像データ１０１ｂを取得する（ステップ３０２）。ステップ３０１とステップ３０２は逆の順序で実行されてもよいし、同時に実行されてもよい。

取得されるリモートセンシング画像データ１０１ａと３次元情報画像データ１０１ｂは同一期間の時系列で同一地域の画像データを含み、入力部２０６により指定された地域と期間の画像データを含む。画像更新部１１４が新たな画像データを取得させるため、入力部２０６により指定された地域と期間を一度に網羅しなくてもよい。

データベース生成部１０４は、取得されたリモートセンシング画像データ１０１ａと３次元情報画像データ１０１ｂからデータベース１１５を生成する（ステップ３０３）。データベース１１５の画像データは、時系列の中で各画像データが撮影または計測された時間と、各画像データが撮影または計測されたＧＰＳ（Global Positioning System）位置などの平面位置を基準に管理されてもよい。そして、データベース１１５は、以降の処理で参照され、更新される。

画像データが撮影または計測された時間は、ある程度の広さの面積を対象とする撮影または計測の場合、１回の撮影または計測では対象をカバーしきれず、複数の撮影または計測が行われるので、例えば１０時１０分から１０時３０分などとなる。また、別の対象の撮影または計測の時間は、例えば１０時４０分から１０時５０分となる。このため、以下での時間という表現は、単なる１０分間などではなく、時刻も含む。また、時間の中の１点を代表として、時間は時刻という表現に置き換えられてもよい。

材質分類部１０５は、データベース１１５に格納されたリモートセンシング画像データ１０１ａを用いて、入力部２０６により指定された地域および期間内の材質を分類し、その分類の結果に番号を付けて、データベース１１５に格納する（ステップ３０４）。リモートセンシング画像データ１０１ａはＲＧＢ画像であるので、材質の分類は、ＲＧＢスペクトル解析やテクスチャによる分類などであってもよく、さらに機械学習させてもよい。

例えば、ＲＧＢ画像から材質毎の色情報に基づいて分類されてもよく、他の分類処理であってもよい。分類の対象は堆積物であるが、地面が分類の対象とされてもよく、地面の分類は土質であってもよいし、車両の走行する道路と道路以外という分類であってもよい。また、材質分類部１０５は、３次元情報画像データ１０１ｂも用いて、標高を含む３次元画像に材質の分類の情報を貼り付けた材質画像データを生成して、データベース１１５に格納してもよい。貼り付けられる分類の情報は、色や濃度などのユーザが視認できる情報であってもよい。

なお、材質の分類において、異なると分類される材質の境界線は、画像処理の二値化抽出、エネルギー最小化抽出、エッジ検出などにより決定されてもよく、さらに機械学習させてもよい。また、粗い抽出から細かい抽出へと段階的に抽出してもよく、粗い抽出には二値化抽出が用いられて、細かい抽出にはエネルギー最小化抽出が用いられてもよい。エネルギー最小化抽出は計算量が多いため、グラフカットの技術が用いられてもよい。

地面係数計算部１０６は、データベース１１５に格納された３次元情報画像データ１０１ｂを用いて、入力部２０６により指定された地域および期間内の地面係数を計算して、地面係数画像データを生成し、データベース１１５に格納する（ステップ３０５）。地面係数は例えば表面の傾斜や凸凹の係数であってもよいし、他の係数であってもよい。地面係数については、後で図４を参照して説明する。

地面推定部１０７は、データベース１１５に格納された３次元情報画像データ１０１ｂに含まれる表面の標高を用いて、入力部２０６により指定された地域および期間内の地面の標高を推定し、地面画像データを生成し、データベース１１５に格納する（ステップ３０６）。地面の標高については、後で図５を参照して説明する。

ここで、ステップ３０４からステップ３０６は、時系列多スペクトル３次元画像生成処理３０７を構成し、ステップ３０４からステップ３０６の実行によりデータベース１１５に格納されたデータは、時系列多スペクトル３次元情報画像データを構成する。このため、時系列多スペクトル３次元画像生成処理３０７は、時系列多スペクトル３次元画像生成部１０８の処理であるとも言える。時系列多スペクトル３次元情報画像データについては、後で図６を参照して説明する。

堆積モデル生成部１０９は、データベース１１５に格納された時系列多スペクトル３次元情報画像データの中の特に材質分類部１０５のデータを用いて、材質毎の堆積モデルを生成し、データベース１１５に格納する（ステップ３０８）。堆積モデルについては、材質として石炭、木材粉末、木材の三つを例として、後で図７を参照して説明する。

堆積物体積計算部１１０は、データベース１１５に格納された３次元情報画像データ１０１ｂ、地面推定部１０７の生成した地面画像データ、堆積モデル生成部１０９の生成した堆積モデルを用いて、時系列で材質毎の体積を計算して、体積画像データを生成し、データベース１１５に格納する（ステップ３０９）。体積の計算については、後で図８を参照して説明する。

変化量画像生成部１１１は、データベース１１５に格納された体積画像データと地面係数画像データを用いて、時系列で材質毎の体積変化量画像データと時系列の地面係数変化量画像データを生成し、データベース１１５に格納する（ステップ３１０）。体積変化量画像データと地面係数変化量画像データについては、後で図９を参照して説明する。

メンテナンス判定部１１２は、データベース１１５に格納された地面係数画像データまたは地面係数変化量画像データを用いて、路面状態を示す指標または路面状態の変化を示す指標を算出し、予め設定された閾値と比較して、メンテナンスが必要であるか否かを判定し、判定結果を制御部１１３へ提供する（ステップ３１１）。メンテナンスが必要であるか否かの判定処理については、後で図１０を参照して説明する。

制御部１１３は、データベース１１５に格納された時系列多スペクトル３次元情報画像データ、体積変化量画像データ、地面係数変化量画像データ、メンテナンス判定部１１２の判定結果を用いて、堆積物に関わる装置を制御する（ステップ３１２）。この制御は、例えば堆積物の運搬車両の走行制御であってもよいし、路面メンテナンスの指示制御であってもよいし、他の制御であってもよい。車両の走行制御は、路面状態の悪い道路から路面状態の良い道路への走行路の変更などであってもよい。また、表示部２０５により、各画像データを表示してもよい。

また、制御部１１３は、メンテナンス判定部１１２から判定結果を受け取ると、リモートセンシング画像データ取得部１０２と３次元情報画像データ取得部１０３で取得された画像データの処理を終了したことを画像更新部１１４へ通知してもよい。例えば車両の走行制御は、ステップ３０１からステップ３１１までの処理とは独立に実行することができるため、車両の走行制御の開始前あるいは途中にステップ３１３以降に進んでも影響がない。

画像更新部１１４は、制御部１１３から画像データの処理の終了が通知されると、処理を終了するか否かを判定し（ステップ３１３）、処理を終了しないと判定すると、新たな画像データを取得して処理する画像更新を実行する（ステップ３１４）。処理を終了するか否かの判定は、指定された地域と期間の処理が終了したかを判定してもよいし、処理し続けるシステムでは常に終了しないと判定してもよいし、入力部２０６による何らかの入力情報を判定してもよい。

画像更新部１１４は、ステップ３１４を実行すると、リモートセンシング画像データ取得部１０２と３次元情報画像データ取得部１０３へ新たな画像データの取得を指示し、ステップ３０１へ戻る。

図４は、地面係数計算の例を示す図である。ここで、地面係数は、勾配、凸凹、傾斜、傾斜角度などである。地面係数の計算は例えばＴＲＩ（Terrain Ruggedness Index）の計算であってもよい。ＴＲＩを計算するために、地面係数計算部１０６は、データベース１１５に格納された３次元情報画像データ１０１ｂに含まれる各地点の標高の情報を取得し、隣接する９個の地点すなわちグリッドセル４０１の中心点以外の８点の標高Ｚ（ｉ，ｊ）から中心点の標高Ｚ（０，０）をそれぞれ減算して二乗し、８個の二乗結果を加算して平方根を計算する。

ここで、ＴＲＩの計算は、平方根の計算の代わりに、値８で除算して平均化してもよい。地面係数計算部１０６は、このようにして各地点のＴＲＩを計算し、予め設定された閾値と比較して、閾値以上の地点で構成される領域と、閾値未満の地点で構成される領域とに分けてもよい。例えば、領域４０２のようにハッチングされた領域は、閾値以上の地点で構成される領域すなわち傾斜の大きな領域であり、領域４０３のようにハッチングされていない領域は、閾値未満の地点で構成される領域すなわち平面に近い領域であるというように、地面係数を画像データで表してもよい。このような画像データを地面係数計算部１０６はデータベース１１５に格納してもよい。

図５は、地面推定の例を示す図である。数値表面モデル（DSM）である３次元情報画像データ１０１ｂに含まれる標高の情報は、堆積物の標高も含まれるため、必ずしも地面の標高が反映されていない。このため、地面推定部１０７は、時系列の３次元情報画像データ１０１ｂを用いて、地面の標高を推定する。画像５０１は、第１の地点で第１の時間の標高を略鉛直上方向から見た画像である。領域５０２のように実線の領域は周囲の領域より標高が高く、領域５０３のように破線の領域は周囲の領域とほぼ同じ標高である。

画像５０４は、第１の地点で第２の時間の標高を画像５０１と同じ視点から見た画像である。領域５０５のように破線の領域は周囲の領域とほぼ同じ標高であり、領域５０６のように実線の領域は周囲の領域より標高が高い。このような標高の画像データに対して、領域５０２の標高と領域５０５の標高を比較して、領域５０５と同じ標高の領域５０８を選択し、領域５０３の標高と領域５０６の標高を比較して、領域５０３と同じ標高の領域５０９を選択することにより、地面の標高を推定し、地面画像５０７のデータを得る。なお、図５では説明をわかりやすくするために、画像５０１、５０４および地面画像５０７を平面としてが、標高も含めて３次元の画像データとしてもよい。

図６は、時系列多スペクトル３次元情報画像データの例を示す図である。時間６０４は時系列を成す複数の時間であり、リモートセンシング画像データ１０１ａと３次元情報画像データ１０１ｂの撮影または計測された時間であってもよいし、予め設定された時間であってもよい。材質６０１は材質分類部１０５で分類された材質であり、例えば、材質６０１の括弧内の数字は分類の結果の番号であって、「材質（１）」は石炭であり、「材質（２）」は木材粉末であり、「材質（３）」は木材である。

材質６０１の「材質（３）」における３次元画像６０５の「３次元画像（３、１）」などは、標高の３次元画像の中で木材の堆積領域の色が他の領域と異なる画像を表示するための画像データであってもよい。標高６０２は、３次元情報画像データ１０１ｂの標高の３次元画像を表す画像データであってもよい。

地面状況係数６０３は、地面係数計算部１０６により生成された地面係数画像のデータであり、図４に示した領域４０２や領域４０３などの画像を表すデータであってもよい。また、地面状況係数６０３は複数の係数の画像データを含んでもよく、複数の係数は凹凸の係数、傾斜の係数、土質の係数などであってもよい。

図７は、堆積モデルの例を示す図である。堆積モデルは、堆積物の地面を覆う面積を特定するためのモデルであり、材質に応じて時間毎に生成される。すなわち、図６に示した材質６０１それぞれの時間６０４それぞれに対する３次元画像６０５毎に生成される。「材質（１）」である石炭の３次元画像６０５は、図７に示すように石炭と分類される領域７０１が規則的な形状である。このため、複数の領域７０１の塊の輪郭を抽出した領域７０２が石炭の堆積モデルとなる。

また、「材質（２）」である木材粉末の３次元画像６０５は、木材粉末と分類される領域７０３が分散的に配置され、様々な形状の小片の集まりである。このため、近くの領域７０３が融合された一つの大型堆積物が木材粉末の堆積モデルとなる。「材質（３）」である木材の３次元画像６０５は、木材と分類される領域７０５が大きな長方形である。このため、大きな長方形の領域７０５を合わせた領域７０６が木材の堆積モデルとなる。

さらに他の材質についても、各材質に応じた堆積モデルが構築されてもよい。なお、図７に示した点線は堆積モデルの領域と一致する領域を示し、堆積モデルの領域を理解しやすくするための線である。材質と時間毎に生成された堆積モデルはデータベース１１５に格納されてもよい。

図８は、堆積物体積計算の例を示すフローチャートである。堆積物体積計算部１１０は、堆積モデル生成部１０９で生成した材質と時間毎の堆積モデルを取得する（ステップ８０１）。図７に示したように堆積モデルは領域７０２、７０４、７０６のように平面の面積を含むため、各領域の面積を算出する（ステップ８０２）。ここで、例えば領域７０２の面積は、領域７０２が複数の領域に分割され、分割された各領域の面積が算出されて、算出された各領域の面積の集合であってもよい。領域７０２は画像であるので、１ピクセル単位に分割されてもよい。

次に、堆積物体積計算部１１０は、堆積モデルの標高を取得する（ステップ８０３）。ここで、取得される標高は、ステップ８０２で領域が分割されていれば、分割された領域の標高である。分割された領域が広い場合は、その領域を代表する標高でもよい。分割された領域が１ピクセルであれば、そのピクセルの標高である。標高のデータそのものは、３次元情報画像データ１０１ｂから取得されてもよい。

堆積物体積計算部１１０は、各堆積モデルが配置された下の地面すなわち各堆積モデルに覆われた地面の標高を取得する（ステップ８０４）。取得される地面の標高は、ステップ８０２で領域が分割されていれば、分割された各領域の地面の標高である。地面の標高そのものは、地面推定部１０７で推定された地面の標高である。

堆積物体積計算部１１０は、ステップ８０３で取得された堆積モデルの標高から、ステップ８０４で取得された地面の標高を減算し、この減算結果へステップ８０２で算出された面積を乗算して、堆積物の体積を算出する。ステップ８０２で領域が分割されている場合は、分割された領域毎に体積をそれぞれ算出し、それぞれ算出された体積を合計する。このようにして、複数の堆積モデルそれぞれの体積が算出される。

図９は、変化量画像の例を示す図である。図９に示す材質９０１、地面状況係数９０３、時間９０４のそれぞれは、図６に示した材質６０１、地面状況係数６０３、時間６０４に対応する。３次元体積画像９０５は、堆積物体積計算部１１０で算出された体積を立体的な３次元画像にしたものであり、材質９０１のそれぞれと時間９０４のそれぞれとにおいて算出されて３次元画像にされたものである。

材質（１）体積変化量画像９０６は、材質９０１が「材質（１）」（石炭）の体積を表す３次元体積画像９０５の変化であって、時間９０４が「時間（１）」から「時間（ｎ）」までの変化を表す画像である。例えば、「３次元体積画像（１、１）」から「３次元体積画像（１、ｎ）」までの各画像の色や濃度を変えて合成することにより変化が視認できる画像であってもよい。

３次元状況画像９０７は、地面係数計算部１０６により生成された地面係数画像のデータを、時間９０４のそれぞれにおいて、立体的な３次元画像にしたものである。地面状況変化量画像９０８は、時間９０４が「時間（１）」から「時間（ｎ）」までの３次元状況画像９０７の変化を表す画像である。この変化を表すために、時間９０４のそれぞれにおける画像の色や濃度が変えられて合成されてもよい。

図１０は、メンテナンス判定の例を示すフローチャートである。メンテナンス判定部１１２は、変化量画像生成部１１１により生成された地面状況変化量画像９０８を取得する（ステップ１００１）。ここで、例えば凹凸の係数、傾斜の係数、土質の係数毎に地面状況変化量画像９０８が取得されてもよい。

メンテナンス判定部１１２は、複数の地面状況変化量画像９０８が取得された場合、複数の地面状況変化量画像９０８を一つの画像に融合する（ステップ１００２）。例えば、粗い画像解像度の傾斜の係数と、細かい画像解像度の凹凸の係数とが融合されて、傾斜の中の凹凸も表せる画像となる画像データが生成されてもよい。また、この生成された画像データは、時系列を基準にすると、所定の時間内における例えば傾斜の角度の変化量を表しており、同じ所定の時間内でも傾斜の角度の変化量が大きい場合は、直ちにメンテナンスをすべきという情報にも解釈できる。

このため、メンテナンス判定部１１２は、融合された画像となる画像データに含まれる変化量を数値化する（ステップ１００３）。この数値化された変化量は、以上のように、傾斜の角度の変化量を含んでもよい。これに対して、予め設定された閾値と数値化された変化量とを比較し、数値化された変化量が閾値以上であると判定するとステップ１００５へ進み、閾値以上でないと判定するとステップ１００６へ進む。

メンテナンス判定部１１２は、ステップ１００５ではメンテナンスが必要であるという情報を設定し、ステップ１００６ではメンテナンスが不要であるという情報を設定する。そして、この情報を制御部１１３へ送る。

なお、一つの係数に関する判定に限定されるものではない。凹凸の係数が数値化された変化量に第１の定数が乗算され、土質の係数が数値化された変化量に第２の定数が乗算され、これら２つの乗算された値の加算値と、予め設定された閾値とが比較されて判定されてもよい。また、変化量ではなく、時間９０４が「時間（ｎ）」すなわちデータベース１１５に格納されている最後の時間の３次元状況画像９０７に含まれる地面係数などに基づいて判定されてもよい。

また、変化量画像生成部１１１は、堆積物体積計算部１１０の算出した体積の変化量を、材質あるいは堆積モデル毎に特定し、特定された変化量と予め設定された閾値とを比較して、堆積物が満杯であることに対するメンテナンスが必要か否かを判定してもよい。このために、変化量を表す３次元画像のデータは、変化量を表す数値に変換されてもよい。

以上で説明したように、物質毎の変化量を算出することができる。特に、物質として堆積物や地面を算出の対象とすることができ、堆積物毎の体積の変化量や地面係数の変化量なども算出することが可能である。この算出には、無人航空機などにより撮影された２次元ＲＧＢ画像のデータと数値表面モデル（DSM）のデータが使用されるため、多くのコストを必要としない。また、これらの同じデータから堆積物毎の体積の変化量とともに地面係数の変化量を算出できるため、鉱山会社などでは堆積物の管理と運搬の両方に役立つ。

堆積物の体積計算においては、体積を計算するための特別な調査を必要とせず、時系列の画像データから算出できる。この際、堆積物の下の地面の形状も計算に含めることが可能であり、堆積物の材質に応じた堆積モデルにより、堆積物それぞれに適した体積の算出も可能である。そして、上空からの撮影であるので、広い面積を対象とすることが可能であり、作業者によって精度のばらつきが発生することもない。

計算や推定の結果として、変化量は画像化されるため、画像の表示により変化の状態がユーザに理解されやすい。また、複数の地面係数を融合してメンテナンスを判定することにより、複数の観点から判定することも可能である。そして、メンテナンスが必要な場合に制御することにより、本来の採掘作業などを継続できる。

なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、構成の一部について、他の構成の追加・削除・置換をしてもよい。そして、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。

また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ＨＤＤ、ＳＳＤなどの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体に格納されてもよい。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１００地表情報分析システム
１０２リモートセンシング画像データ取得部
１０３３次元情報画像データ取得部
１０４データベース生成部
１０５材質分類部
１０６地面係数計算部
１０７地面推定部
１０８時系列多スペクトル３次元画像生成部
１０９堆積モデル生成部
１１０堆積物体積計算部
１１１変化量画像生成部
１１２メンテナンス判定部
１１３制御部
１１４画像更新部

Claims

地表を画像から分析する地表情報分析システムにおいて、
外部より情報を取得するインタフェースと、処理を実行する処理部とを有し、
前記インタフェースは、
分析される地域と期間が指定されると、
指定された期間内の複数の時刻における指定された地域の地表の物質の領域に関する情報を含む２次元画像のデータと、指定された期間内の複数の時刻における指定された地域の地表の形状情報を含む３次元画像のデータを取得し、
前記処理部は、
取得された２次元画像のデータに含まれる色情報に基づいて、石炭、木材粉末、木材を含む複数種類の堆積物それぞれの領域と種類を特定し、
特定された堆積物それぞれの種類に応じて、特定された堆積物それぞれの領域の中で近接する領域を一つの領域として、堆積モデルを生成し、
前記３次元画像のデータから地面の上の堆積物の標高情報を取得し、
生成された堆積モデルの面積と、取得された堆積物の標高情報と、算出された地面の標高とに基づいて、堆積物毎の体積を算出することで、
前記指定された地域と期間の複数の時刻における堆積物毎の変化量を、算出すること
を特徴とする地表情報分析システム。
請求項１に記載の地表情報分析システムにおいて、
前記インタフェースは、無人航空機が地表を撮影して得たリモートセンシング画像データを２次元画像のデータとして取得すること
を特徴とする地表情報分析システム。
請求項１に記載の地表情報分析システムにおいて、
前記処理部は、前記３次元画像のデータに含まれる標高情報に基づいて、地面の凹凸状況を表す地面係数を取得すること
を特徴とする地表情報分析システム。
請求項１に記載の地表情報分析システムにおいて、
前記処理部は、前記３次元画像のデータに含まれる複数の時刻の複数の標高情報に基づいて、前記堆積モデルの標高を取得すること
を特徴とする地表情報分析システム。
請求項１に記載の地表情報分析システムにおいて、
堆積物それぞれにおいて、生成された体積変化量画像のデータを画像として表示する表示部を有すること
を特徴とする地表情報分析システム。
地表を画像から分析する地表情報分析システムの地表情報分析方法において、
分析される地域と期間が指定されると、指定された期間内の複数の時刻における指定された地域の地表の物質の領域に関する情報を含む２次元画像のデータと、指定された期間内の複数の時刻における指定された地域の地表の形状情報を含む３次元画像のデータとを、前記地表情報分析システムのインタフェースにより、取得し、
前記地表情報分析システムの処理部は、
取得された２次元画像のデータに含まれる色情報に基づいて、石炭、木材粉末、木材を含む複数種類の堆積物それぞれの領域を特定し、
特定された堆積物それぞれの種類に応じて、特定された堆積物それぞれの領域の中で近接する領域を一つの領域として、堆積モデルを生成し、
前記３次元画像のデータから地面の上の堆積物の標高情報を取得し、
生成された堆積モデルの面積と、取得された堆積物の標高情報と、算出された地面の標高とに基づいて、堆積物毎の体積を算出することで、前記指定された地域と期間の複数の時刻における堆積物毎の変化量を、算出すること
を特徴とする地表情報分析方法。