JP6278544B1 - モニタリング装置 - Google Patents

Abstract

【課題】高頻度且つ高解像度でのモニタリングを可能とするモニタリング装置を提供する。【解決手段】モニタリング装置１は、移動体Ｍに設置され、移動体Ｍの移動に応じて経路Ｔに沿った複数回の対象領域Ｒの撮影を行うことにより複数の画像を取得する画像取得装置１２と、複数の画像から互いに重複する部分を含む画像対を複数抽出するモデル抽出装置２１と、画像対を構成する画像間の対応点を抽出する対応点計算装置２２と、対応点の座標に基づいて、複数の画像対の対応点を合成して対応点群を作成するポイントクラウド作成装置２５と、対応点群に基づいて地表モデルを作成する地表モデル作成装置２６と、地表モデルに基づいて複数の画像から正射投影画像を作成する画像作成装置２７と、を備える。【選択図】図１

Description

本発明は、モニタリング装置に関する。

特許文献１には、地図情報生成装置が記載されている。この地図情報生成装置は、航空機の飛行に伴って地図作成対象領域を上空から撮影して撮影画像を得ると共に、その撮影画像を中心投影から正射投影に変換調整して航空オルソ画像を生成する。また、この地図情報生成装置は、車両の走行に伴って地図作成対象領域を地上から撮影して撮影画像を得ると共に、その撮影画像を中心投影から正射投影に変換調整して地上オルソ画像を生成する。そして、この地図情報生成装置は、それらの航空オルソ画像及び地上オルソ画像のマッチングを行うことにより、地図情報を生成する。

特開２０１３−１７１４５５号公報

ところで、現在では、例えば山岳部や海岸部等の自然環境のモニタリングに際して、上記のような航空機からの撮影画像を用いる場合がある。この場合には、撮影画像の取得に際して、航空機を新規に飛行させる必要がある。このため、コストの問題から高頻度でのモニタリングが困難である。高頻度でのモニタリングのためには、例えば定点カメラからの撮影画像を用いることが考えられる。しかしながら、この場合には、撮影画像内においける相対的に遠方の領域の解像度が低下する。

そこで、本発明は、高頻度且つ高解像度でのモニタリングを可能とするモニタリング装置を提供することを目的とする。

本発明に係るモニタリング装置は、対象領域の撮影とは異なる目的に応じて対象領域に臨む一定の経路に沿った複数回の移動を行う移動体を用いた対象領域のモニタリング装置であって、移動体に設置され、移動体の移動に応じて経路に沿った複数回の対象領域の撮影を行うことにより複数の画像を取得する撮影部と、複数の画像から互いに重複する部分を含む画像対を複数抽出する画像対抽出部と、画像対を構成する画像間の対応点を抽出する対応点抽出部と、対応点の座標に基づいて、複数の画像対の対応点を合成して対応点群を作成する点群作成部と、対応点群に基づいて地表モデルを作成するモデル作成部と、地表モデルに基づいて複数の画像から正射投影画像を作成する画像作成部と、を備える。

このモニタリング装置においては、画像を取得する撮影部が、モニタリングの対象領域に臨む一定の経路に沿って移動を行う移動体に設置されている。この移動体は、対象領域の撮影とは異なる目的に応じて当該経路に沿った複数回の移動を行う。したがって、対象領域の画像を取得するに際して、画像を取得する目的のみの移動体（例えば航空機等）を運航する必要が無い。このため、コストの問題を考慮することなく高頻度でのモニタリングが可能である。一方、このモニタリング装置においては、移動体の経路に沿った複数回の対象領域の撮影を行って複数の画像を取得し、その複数の画像から、互いに重複する部分を含む画像対を複数抽出する。したがって、当該画像対を構成する画像間の対応点の集合である対応点群を取得し、地表モデルを作成して高解像度の正射投影画像を作成することができる。

なお、対象領域とは、山岳、河川、市街地、港湾、及び／又は、海洋等の任意の領域である。また、経路は、地表面、水面、地上、及び／又は水上等の任意の場所に設けられ得る。また、経路は、例えばレールやロープ・ケーブルといった実在する軌道によって規定される場合もあるし、例えば運行計画等によって地上や水上等に仮想的に規定される場合もある。さらに、撮影と異なる目的とは、人員及び／又は貨物の運搬や遊覧等の任意の目的である。すなわち、移動体は、鉄道（索道を含む）、鉄道以外の路面車両（例えばバス等の自動車）、船舶、及び、航空機等であり得る。

本発明に係るモニタリング装置においては、画像作成部は、複数の画像において撮影距離に応じて１画素あたりの投影範囲を制限して正射投影を行うことにより制限付き正射投影画像を作成すると共に、画像対を構成する一方の画像において制限付き正射投影画像に間隙が生じた場合には、画像対を構成する他方の画像からの制限付き正射投影画像を間隙に挿入するように正射投影画像を作成してもよい。そして、本発明に係るモニタリング装置においては、画像作成部は、画像対を構成する一方の画像と他方の画像との間において、投影範囲が重複する部分については超解像処理を実施することにより正射投影画像を作成してもよい。これらの場合、解像度を確実に向上可能である。

本発明に係るモニタリング装置においては、経路は、地表面及び／又は水面に設定されており、抽出部は、撮影位置と撮影距離とに応じて画像間の重複率を算出すると共に、当該重複率が予め指定された値に対応している画像対を抽出してもよい。このように、地表面や水面といった対象領域を水平方向に近い方向から臨む場合には、画像内における遠方の部分の解像度が低下しやすい。このため、撮影距離に応じて算出された重複率に対応する画像対を抽出することにより、解像度の低下を抑制可能である。

本発明に係るモニタリング装置においては、移動体は、軌道により経路が規定された鉄道であってもよい。山岳等の対象領域には、このような鉄道である移動体が敷設されている場合が多い。このため、その移動体を利用して効率的且つ高頻度に山岳等の対象領域のモニタリングを行うことが可能である。

本発明によれば、高頻度且つ高解像度でのモニタリングを可能とするモニタリング装置を提供することができる。

本実施形態に係るモニタリング装置の機能的な構成を示すブロック図である。 対象領域及び移動体の一例を示す写真である。 移動体及び画像の一例を示す写真である。 図１に示されたモニタリング装置の動作（モニタリング方法）を示すフローチャートである。 図１に示されたモニタリング装置の動作（モニタリング方法）を示すフローチャートである。 図４，５に示された動作を説明するための図である。 図４，５に示された動作を説明するための図である。 図４，５に示された動作を説明するための図である。 図４，５に示された動作を説明するための図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。図１は、本実施形態に係るモニタリング装置の機能的な構成を示すブロック図である。図１に示されるモニタリング装置１は、対象領域をモニタリングするためのものである。モニタリング装置１の少なくとも一部は、対象領域を臨む一定の経路に沿って複数回の移動を行う移動体に設置されている。

図２は、対象領域及び移動体の一例を示す写真である。図２の（ａ）の例では、対象領域Ｒは山岳であり、移動体Ｍはロープウェイであり、経路Ｔはロープ（軌道）により規定される。したがって、移動体Ｍは、人員や貨物の運搬を行う目的に応じて、ロープにより規定される一定の経路Ｔに沿って、山岳である対象領域Ｒを臨みながら複数回移動する（定期的に運行される）。

図２の（ｂ）の例では、対象領域Ｒは山岳であり、移動体Ｍは鉄道であり、経路Ｔはレール（軌道）により規定される。したがって、移動体Ｍは、人員や貨物の運搬を行う目的に応じて、レールにより規定される一定の経路Ｔに沿って、山岳である対象領域Ｒを臨みながら複数回移動する（定期的に運行される）。

図２の（ｃ）の例では、対象領域Ｒは山岳（部分的に沿岸・海洋を含む場合もある）であり、移動体Ｍは船舶であり、経路Ｔは運行計画により規定される。したがって、移動体Ｍは、人員や貨物の運搬を行う目的に応じて、航路としての一定の経路Ｔに沿って、山岳等である対象領域Ｒを臨みながら複数回移動する（定期的に運航される）。

このように、対象領域とは、山岳、河川、市街地、港湾、及び／又は、海洋等の任意の領域である。また、経路は、地表面、水面、地上、及び／又は水上等の任意の場所に設けられ得る。また、経路は、例えばレールやロープ・ケーブルといった実在する軌道によって規定される場合もあるし、例えば運行計画等によって地上や水上等に仮想的に規定される場合もある。さらに、撮影と異なる目的とは、人員及び／又は貨物の運搬や遊覧等の任意の目的である。すなわち、移動体は、鉄道（索道を含む）、鉄道以外の路面車両（例えばバス等の自動車）、船舶、及び、航空機等であり得る。

再び図１を参照する。図１に示されるように、モニタリング装置１は、撮影記録装置１０と、オルソ生成装置２０と、を備えている。撮影記録装置１０とオルソ生成装置２０とは、例えば、有線又は無線により互いに接続されることにより情報の授受が可能であってもよい。撮影記録装置１０は、移動体Ｍに設置されている。撮影記録装置１０は、例えば、撮影位置の取得、撮影による画像の取得、撮影位置と画像との同期収録、及び、画像の歪補正等を行うことができる。

そのために、撮影記録装置１０は、ＧＮＳＳ受信機１１、画像取得装置（撮影部）１２、収録装置１３、及び、歪補正装置１４を有している。ＧＮＳＳ受信機１１は、画像取得装置１２における撮影時の位置を取得する。より具体的には、ＧＮＳＳ受信機１１は、ＧＮＳＳ（Global Navigation Satellite System）方式を利用した測位（ＧＮＳＳ測位）による位置情報信号を受信することにより、画像取得装置１２における撮影時の位置（撮影位置）を取得することができる。

画像取得装置１２は、対象領域Ｒを撮影することにより対象領域Ｒの画像を取得する。上述したＧＮＳＳ受信機１１は、このときの画像取得装置１２の位置を所得することができる。画像取得装置１２は、例えば図３の（ａ）に示されるように、移動体Ｍの対象領域Ｒを臨む窓部Ｍａに取り付けられている。そして、画像取得装置１２は、移動体Ｍの移動に応じて経路Ｔに沿った複数回の対象領域Ｒの撮影を行うことにより、複数の画像Ｐを取得する。経路Ｔに沿って互いに隣接する画像Ｐは、互いに部分的に重複している。画像取得装置１２は、スチールカメラであってもよいし、ビデオカメラであってもよい。

画像取得装置１２がスチールカメラである場合には、所定の時間間隔でもって複数回の撮影を行うことにより、経路Ｔに沿った異なる位置から対象領域Ｒを臨む複数の画像を取得する。画像取得装置１２がビデオカメラである場合には、経路Ｔに沿って連続的に動画を撮影することにより、当該動画を構成する複数の画像を取得することができる。

収録装置１３は、ＧＮＳＳ受信機１１が取得した画像取得装置１２の撮影時の大まかな位置座標と、画像取得装置１２が取得した画像と、を互いに同期させて収録する。これにより、収録装置１３は、撮影位置付き画像を取得する。収録装置１３は、画像取得装置１２が動画を取得する場合には、例えば、音声チャネルに可聴信号で符号化したＧＮＳＳ位置を書き込むことができる。

歪補正装置１４は、予め計測されて保持されていた画像取得装置１２のレンズの歪補正テーブルを用いて、画像に対して当該レンズの歪補正を実施する。これにより、歪補正装置１４は、補正画像を取得する。このとき、当該画像には、収録装置１３により位置情報が付加され、撮影位置付き画像とされている。したがって、歪補正装置１４が取得する補正画像は、撮影位置付き補正画像（以下、単に「補正画像」という場合がある）となる。

オルソ生成装置２０は、移動体Ｍに設置されている必要は無く、移動体Ｍとは別の施設等に設けられてもよい。ただし、オルソ生成装置２０は移動体Ｍに設置されてもよい。オルソ生成装置２０は、撮影記録装置１０から複数の補正画像（補正画像群）を取得する。オルソ生成装置２０は、上述したような有線又は無線による通信を介して撮影記録装置１０から補正画像群を取得してもよいし、補正画像群を保持する記録媒体に接続されることにより補正画像群を取得してもよい。

オルソ生成装置２０は、取得した補正画像に基づいて、対象領域Ｒの正射投影画像を生成する。そのために、オルソ生成装置２０は、モデル抽出装置（画像対抽出部）２１、対応点計算装置（対応点抽出部）２２、位置・姿勢推定装置２３、３次元位置計算装置２４、ポイントクラウド作成装置（点群作成部）２５、地表モデル作成装置（モデル作成部）２６、及び、画像作成装置（画像作成部）２７を有している。

モデル抽出装置２１は、補正画像群（複数の画像）から、互いに重複する部分を含む画像対（画像モデル）を複数抽出する。より具体的には、モデル抽出装置２１は、まず、補正画像群から複数の初期モデルを抽出する。初期モデルは、撮影位置が互いに隣接する一対の補正画像からなる画像対である。初期モデルは、移動体Ｍの移動速度、及び、画像の取得間隔に応じて、所定の重複部分を有する。モデル抽出装置２１は、撮影位置の始点から終点に至るまでの全ての初期モデルを抽出する。

一方で、モデル抽出装置２１は、補正画像群から複数の最適モデルを抽出する。ここでは、予め、撮影距離と補正画像間の所望の重複率（オーバーラップ率）とが指定される。その状態において、モデル抽出装置２１は、指定された撮影距離と、一対の補正画像のそれぞれの撮影位置とに応じて、当該一対の補正画像の重複率を算出する。そして、モデル抽出装置２１は、算出した重複率が、予め指定された重複率に対応している（例えば一致している）画像対を、最適モデルとして抽出する。なお、モデル抽出装置２１は、撮影距離の指定がない場合には、初期モデルを最適モデルとする。

対応点計算装置２２は、画像モデル（すなわち初期モデル、及び／又は最適モデル）を構成する画像対（すなわち、オーバーラップした２枚の補正画像）内の対応点を抽出する。対応点計算装置２２は、例えばＳＨＩＦＴ処理を用いて対応点を抽出することができる。

位置・姿勢推定装置２３は、撮影位置と全ての画像モデルの対応点とに基づいて、撮影位置と撮影姿勢とを再計算する。撮影位置と姿勢との再計算には、例えばバンドル処理等を用いることができる。３次元位置計算装置２４は、画像モデルを構成する一対の補正画像の撮影位置及び撮影姿勢に基づいて、当該画像モデルの対応点の３次元位置座標を算出する。

ポイントクラウド作成装置２５は、対応点の３次元座標に基づいて、複数の画像モデルの対応点を合成し、ポイントクラウド（対応点群）を作成する。ここでは、ポイントクラウド作成装置２５は、全ての画像モデル間において全ての対応点を足し合わせ、重複した対応点がある場合には１点を除いて他を削除する。

地表モデル作成装置２６は、ポイントクラウドに基づいて地表モデル（数値地形モデル、ＤＳＭ）を作成する。より具体的には、地表モデル作成装置２６は、例えば、異常値を除いたポイントクラウドに２次元メッシュ又は三角網をかぶせ、各構成要素（１つのメッシュ又は三角形）内で最も標高の高い点を抽出して地表モデルＡを作成することができる（図３の（ｂ）参照）。画像作成装置２７は、地表モデルに基づいて複数の補正画像から正射投影画像Ｂを作成する（図３の（ｃ）参照）。画像作成装置２７の詳細については後述する。

以上の撮影記録装置１０及びオルソ生成装置２０は、少なくとも部分的に、ＣＰＵ、ＲＯＭ、及びＲＡＭ等を含むコンピュータとして構成される。そして、撮影記録装置１０の一部及びオルソ生成装置２０は、そのコンピュータにおいて所定のプログラムを実行することによって実現される機能的な装置であり得る。

引き続いて、図１に示されたモニタリング装置１の動作について説明する。図４及び図５は、図１に示されたモニタリング装置の動作（モニタリング方法）を示すフローチャートである。ここでは、対象領域Ｒを臨む経路Ｔに沿って移動体Ｍが移動を開始しているものとする。

図４に示されるように、まず、画像取得装置１２が、対象領域Ｒの撮影を開始する（ステップＳ１０１）。すなわち、ここでは、画像取得装置１２が、移動体Ｍの移動に応じて経路Ｔに沿った複数回の対象領域Ｒの撮影を行うことにより複数の画像を取得する。一例として、図６の（ａ）に示されるように、画像取得装置１２は、経路Ｔに沿って所定間隔で１〜９の９つの位置において画像を取得する。

ここでは、対象領域Ｒは、相対的に近景に属する構造物Ｎと、相対的に遠景に属する構造物Ｆと、を含む。すなわち、ここで取得される画像には、比較的近い構造物Ｎと比較的遠い構造物Ｆとが混在している。なお、画像取得装置１２による撮影のタイミングは、移動体Ｍの移動速度等を考慮して、少なくとも、ある画像（例えば１の位置の画像）とその次の別の画像（例えば２の位置の画像）とが部分的に重複するように設定される。画像取得装置１２は、取得した画像を収録装置１３に提供する。

一方、図４に示されるように、ステップＳ１０１と同時に、ＧＮＳＳ受信機１１が、ＧＮＳＳによる信号を受信することにより、移動体Ｍの移動に応じて経路Ｔに沿った画像取得装置１２の位置を取得していく（ステップＳ２０１）。これにより、ＧＮＳＳ受信機１１は、画像取得装置１２による各画像の撮影位置を取得する。続いて、ＧＮＳＳ受信機１１は、取得した撮影位置の符号化を行う（ステップＳ２０２）。ＧＮＳＳ受信機１１は、符号化された撮影位置を収録装置１３及び位置・姿勢推定装置２３に提供する。

続いて、収録装置１３が、ＧＮＳＳ受信機１１が取得した位置座標と、画像取得装置１２が取得した画像と、を互いに同期させて収録する（ステップＳ１０２）。これにより、収録装置１３は、撮影位置付き画像を取得する。収録装置１３は、撮影位置付き画像を歪補正装置１４に提供する。

続いて、歪補正装置１４が、予め計測されて保持されている画像取得装置１２のレンズの歪補正テーブルを用いて、撮影位置付き画像に対して当該レンズの歪補正を実施する（ステップＳ１０３）。これにより、歪補正装置１４は、撮影位置付きの補正画像を取得する。上述したように、以下では、撮影位置付きの補正画像を単に補正画像という場合がある。補正画像は、モデル抽出装置２１に提供される。

続いて、モデル抽出装置２１が、複数の補正画像からなる補正画像群から、複数の初期モデルを抽出する（ステップＳ１０４）。初期モデルは、撮影位置が経路Ｔに沿って互いに隣接する一対の補正画像からなる画像対である。図６の（ｂ）に示される例では、１の位置の補正画像と２の位置の補正画像とによって１つの初期モデルＭｉが抽出され、２の位置の補正画像３の位置の補正画像とよって別の１つの初期モデルＭｉが抽出される（以下同様）。モデル抽出装置２１は、抽出した初期モデルＭｉを対応点計算装置２２に提供する。

続いて、図４に示されるように、対応点計算装置２２が、初期モデルＭｉを構成する画像対（すなわち、オーバーラップした２枚の補正画像）内の対応点を抽出する（ステップＳ１０５）。対応点計算装置２２は、抽出した対応点を位置・姿勢推定装置２３に提供する。

続いて、ステップＳ１０４において全ての初期モデルＭｉが抽出され、且つ、ステップＳ１０５において全ての初期モデルＭｉに対して対応点が抽出されたか否かの判定が行われる（ステップＳ１０６）。この判定の結果、全ての初期モデルＭｉが抽出されておらず対応点が抽出されていない場合（ステップＳ１０６：ＮＯ）、モニタリング装置１の動作はステップＳ１０４に戻る。一方、ステップＳ１０６の判定の結果、全ての初期モデルＭｉが抽出され、且つ、全ての初期モデルＭｉの対応点が抽出されている場合（ステップＳ１０６：ＹＥＳ）、図５に示されるように、モニタリング装置１の動作はステップＳ１０７に移行する。

すなわち、続いては、図５に示されるように、位置・姿勢推定装置２３が、撮影位置と全ての初期モデルＭｉの対応点とに基づいて、各補正画像の撮影位置と撮影姿勢とを再計算（推定）する（ステップＳ１０７）。位置・姿勢推定装置２３は、得られた撮影位置及び撮影姿勢を示す情報を、モデル抽出装置２１と３次元位置計算装置２４とに提供する。

続いて、モデル抽出装置２１が、撮影距離と重複率（ラップ率）との入力を受ける（ステップＳ１０８）。すなわち、モデル抽出装置２１は、撮影距離及び重複率の指定を受ける。続いて、モデル抽出装置２１が、指定された撮影距離と、一対の補正画像のそれぞれの撮影位置とに応じて、当該一対の補正画像の重複率を算出する。そして、モデル抽出装置２１は、算出した重複率が、予め指定された重複率に対応している（例えば一致している）画像対を、最適モデルとして抽出する（ステップＳ１０９）。

このステップＳ１０９においては、モデル抽出装置２１は、撮影距離に応じた最適な画像対（すなわち最適モデル）を抽出することになる。つまり、図６の（ａ）に示されるように、対象領域Ｒを撮影して得られる補正画像には、互いに距離が異なる複数の構造物Ｎ，Ｆが混在している。したがって、例えば、比較的近い構造物Ｎの解像度を向上するために、構造物Ｎに応じた撮影距離と重複率とが指定される。これにより、例えば、図６の（ｂ）に示される例では、１の位置の補正画像と３の位置の補正画像とによって１つの最適モデルＭｏが抽出され、３の位置の補正画像と５の位置の補正画像とによって別の１つの最適モデルＭｏが抽出される（以下同様）。

一方、例えば、比較的遠い構造物Ｆの解像度を向上するために、構造物Ｆに応じた撮影距離と重複率とが指定される。これにより、例えば、図６の（ｃ）に示される例では、１の位置の補正画像と３の位置の補正画像とによって１つの最適モデルＭｏが抽出され、２の位置の補正画像と４の位置の補正画像とによって別の１つの最適モデルＭｏが抽出される（以下同様）。なお、これらはあくまで説明上の例であるので、最適モデルＭｏを構成する補正画像の選択はこれらに限定されない。モデル抽出装置２１は、抽出した最適モデルＭｏを対応点計算装置２２に提供する。

続いて、対応点計算装置２２が、最適モデルＭｏを構成する画像対（すなわち、オーバーラップした２枚の補正画像）内の対応点を抽出する（ステップＳ１１０）。対応点計算装置２２は、抽出した対応点を示す情報を３次元位置計算装置２４に提供する。

続いて、３次元位置計算装置２４が、最適モデルＭｏを構成する一対の補正画像の撮影位置及び撮影姿勢に基づいて、当該最適モデルＭｏの対応点の３次元位置座標を算出する（ステップＳ１１１）。３次元位置計算装置２４は、算出した対応点の３次元位置座標を示す情報をポイントクラウド作成装置２５に提供する。

続いて、ステップＳ１０９〜Ｓ１１１において、全ての最適モデルＭｏが抽出され、且つ、全ての最適モデルＭｏの対応点の３次元位置座標が算出されたか否かの判定が行われる（ステップＳ１１２）。この判定の結果、全ての最適モデルＭｏが抽出されておらず対応点の３次元位置座標が算出されていない場合（ステップＳ１１２：ＮＯ）、モニタリング装置１の動作はステップＳ１０９に戻る。一方、ステップＳ１１２の判定の結果、全ての最適モデルＭｏが抽出され、且つ、対応点の３次元位置座標が算出されている場合（ステップＳ１１２：ＹＥＳ）、モニタリング装置１の動作はステップＳ１１３に移行する。

すなわち、続いては、ポイントクラウド作成装置２５が、対応点の３次元座標に基づいて、複数の最適モデルＭｏの対応点を合成し、ポイントクラウド（対応点群）を作成する（ステップＳ１１３）。ポイントクラウド作成装置２５は、作成したポイントクラウドを示す情報を地表モデル作成装置２６に提供する。続いて、地表モデル作成装置２６は、ポイントクラウドに基づいて地表モデル（数値地形モデル、ＤＳＭ）を作成する（ステップＳ１１４）。地表モデル作成装置２６は、作成した地表モデルを画像作成装置２７に提供する。

続いて、画像作成装置２７は、地表モデルに基づいて複数の補正画像から正射投影画像を作成する。このステップの詳細について説明する。ここでは、まず、画像作成装置２７は、制限付きの正射投影を行う（ステップＳ１１５）。図７に示されるように、撮影距離Ｌが大きくなると（遠方になると）、各画素の投影範囲Ｒ１，Ｒ２が大きくなる。しかしながら、拡大された投影範囲Ｒ１，Ｒ２の外縁部分では、解像度が確保されにくい。このため、ここでは、１画素あたりの投影範囲Ｒ１（及び別の１画素あたりの投影範囲Ｒ２）を中心部分に制限して投影範囲Ｒ３，Ｒ４を生成する。

ただし、制限された投影範囲Ｒ３，Ｒ４に基づいて、最適モデルＭｏの一方の補正画像の正射投影画像を作成すると、制限された投影範囲Ｒ３，Ｒ４の間に間隙が生じる場合がある。この場合には、画像作成装置２７は、図８に示されるように、最適モデルＭｏを構成する他方の補正画像からの制限された投影範囲Ｒ５，Ｒ６を当該間隙ＳＰに挿入して補填する。これにより、高解像度且つ漏れの無い正射投影画像が得られる。

すなわち、ここでは、画像作成装置２７は、撮影距離に応じて１画素あたりの投影範囲Ｒ１，Ｒ２を制限して正射投影を行うことにより制限付き正射投影画像を作成すると共に（ステップＳ１１５）、最適モデルＭｏを構成する一方の制限付き正射投影画像に間隙ＳＰが生じた場合には（ステップＳ１１６：ＮＯ）、最適モデルＭｏを構成する他方の補正画像からの制限付き正射投影画像（上記の例では投影範囲Ｒ５，Ｒ６）を間隙ＳＰに挿入するように正射投影画像を作成する（モザイク処理を行う）（ステップＳ１２０）。

一方で、画像作成装置２７は、図９に示されるように、最適モデルＭｏを構成する一方の補正画像と他方の補正画像との間において、投影範囲が重複する部分が生じた場合には（ステップＳ１１６：ＹＥＳ）、サブピクセル単位での画像マッチングを行う（ステップＳ１１７）。一例として、画像作成装置２７は、ある画素の投影範囲Ｒ１と別の画素の投影範囲Ｒ１とが重複している場合には、その重複部分について投影範囲Ｒ１，Ｒ２の平均化等を行う。

そして、画像作成装置２７は、図５に示されるように、サブピクセル単位でのモザイク処理（超解像処理）を行うことにより、正射投影画像を作成する（ステップＳ１１８）。そして、複数の正射投影画像を合成することにより、対象領域Ｒの全域にわたる合成正射投影画像が取得される（ステップＳ１１９）。

モニタリング装置１は、以上の一連の動作を、例えば移動体Ｍが経路Ｔに沿って移動するたびに行うことができる。このため、移動体Ｍの運行に応じて複数セットの合成正射投影画像を蓄積することが可能である。

以上説明したように、モニタリング装置１においては、画像を取得する画像取得装置１２が、モニタリングの対象領域Ｒに臨む一定の経路Ｔに沿って移動を行う移動体Ｍに設置されている。この移動体Ｍは、対象領域Ｒの撮影とは異なる目的に応じて当該経路Ｔに沿った複数回の移動を行う。したがって、対象領域Ｒの画像を取得するに際して、画像を取得する目的のみの移動体（例えば航空機等）を運航する必要が無い。このため、コストの問題を考慮することなく高頻度でのモニタリングが可能である。一方、このモニタリング装置１においては、移動体Ｍの経路に沿った複数回の対象領域Ｒの撮影を行って複数の画像を取得し、その複数の画像から、互いに重複する部分を含む画像対（画像モデル）を複数抽出する。したがって、当該画像対を構成する画像間の対応点の集合であるポイントクラウドを取得し、地表モデルを作成して高解像度の正射投影画像を作成することができる。

また、モニタリング装置１においては、画像作成装置２７は、複数の画像において撮影距離に応じて１画素あたりの投影範囲Ｒ１，Ｒ２を制限して正射投影を行うことにより制限付き正射投影画像を作成すると共に、画像対を構成する一方の画像において制限付き正射投影画像に間隙ＳＰが生じた場合には、画像対を構成する他方の画像からの制限付き正射投影画像を間隙に挿入するように正射投影画像を作成する。そして、モニタリング装置１においては、画像作成装置２７は、一方の画像と他方の画像との間において、投影範囲Ｒ１，Ｒ２が重複する部分については超解像処理を実施することにより正射投影画像を作成する。このため、解像度を確実に向上可能である。

また、モニタリング装置１においては、経路Ｔは、地表面及び／又は水面に設定されており、モデル抽出装置２１は、撮影位置と撮影距離とに応じて画像間の重複率を算出すると共に、当該重複率が予め指定された値に対応している画像対を抽出する。このように、地表面や水面といった対象領域Ｒを水平方向に近い方向から臨む場合には、画像内における遠方の部分の解像度が低下しやすい。このため、撮影距離に応じて算出された重複率に対応する画像対を抽出することにより、解像度の低下を抑制可能である。

さらに、モニタリング装置１においては、移動体Ｍは、軌道により経路Ｔが規定された鉄道である。山岳等の対象領域Ｒには、このような鉄道である移動体Ｍが敷設されている場合が多い。このため、その移動体Ｍを利用して効率的且つ高頻度に山岳等の対象領域Ｒのモニタリングを行うことが可能である。

以上の実施形態は、本発明に係るモニタリング装置の一実施形態を説明したものである。したがって、本発明に係るモニタリング装置は、上述したモニタリング装置１に限定されない。本発明に係るモニタリング装置は、各請求項の要旨を変更しない範囲において、上述したモニタリング装置１を任意に変更したものとすることができる。

１…モニタリング装置、１２…画像取得装置（撮影部）、２１…モデル抽出装置（画像対抽出部）、２２…対応点計算装置（対応点抽出部）、２５…ポイントクラウド作成装置（点群作成部）、２６…地表モデル作成装置（モデル作成部）、２７…画像作成装置（画像作成部）、Ｍ…移動体、Ｔ…経路、Ｒ…対象領域。

Claims (5)

1. 対象領域の撮影とは異なる目的に応じて前記対象領域に臨む一定の経路に沿った複数回の移動を行う移動体を用いた前記対象領域のモニタリング装置であって、
   前記移動体に設置され、前記移動体の移動に応じて前記経路に沿った複数回の前記対象領域の撮影を行うことにより複数の画像を取得する撮影部と、
   前記複数の画像から互いに重複する部分を含む画像対を複数抽出する画像対抽出部と、
   前記画像対を構成する前記画像間の対応点を抽出する対応点抽出部と、
   前記対応点の座標に基づいて、複数の前記画像対の前記対応点を合成して対応点群を作成する点群作成部と、
   前記対応点群に基づいて地表モデルを作成するモデル作成部と、
   前記地表モデルに基づいて前記複数の画像から正射投影画像を作成する画像作成部と、
   を備え、
   前記経路は、地表面及び／又は水面に設定されており、
   前記画像対抽出部は、撮影位置と撮影距離とに応じて前記画像間の重複率を算出すると共に、当該重複率が予め指定された値に対応している前記画像対を抽出する、
   モニタリング装置。
2. 前記画像作成部は、前記複数の画像において撮影距離に応じて１画素あたりの投影範囲を制限して正射投影を行うことにより制限付き正射投影画像を作成すると共に、前記画像対を構成する一方の前記画像において前記制限付き正射投影画像に間隙が生じた場合には、前記画像対を構成する他方の前記画像からの前記制限付き正射投影画像を前記間隙に挿入するように前記正射投影画像を作成する、
   請求項１に記載のモニタリング装置。
3. 前記画像作成部は、前記画像対を構成する一方の前記画像と他方の前記画像との間において、投影範囲が重複する部分については超解像処理を実施することにより前記正射投影画像を作成する、
   請求項１又は２に記載のモニタリング装置。
4. 前記移動体は、軌道により前記経路が規定された鉄道である、
   請求項１〜３のいずれか一項に記載のモニタリング装置。
5. 対象領域の撮影とは異なる目的に応じて前記対象領域に臨む一定の経路に沿った複数回の移動を行う移動体を用いた前記対象領域のモニタリング装置であって、
   前記移動体に設置され、前記移動体の移動に応じて前記経路に沿った複数回の前記対象領域の撮影を行うことにより複数の画像を取得する撮影部と、
   前記複数の画像から互いに重複する部分を含む画像対を複数抽出する画像対抽出部と、
   前記画像対を構成する前記画像間の対応点を抽出する対応点抽出部と、
   前記対応点の座標に基づいて、複数の前記画像対の前記対応点を合成して対応点群を作成する点群作成部と、
   前記対応点群に基づいて地表モデルを作成するモデル作成部と、
   前記地表モデルに基づいて前記複数の画像から正射投影画像を作成する画像作成部と、
   を備え、
   前記画像作成部は、前記複数の画像において撮影距離に応じて１画素あたりの投影範囲を制限して正射投影を行うことにより制限付き正射投影画像を作成すると共に、前記画像対を構成する一方の前記画像において前記制限付き正射投影画像に間隙が生じた場合には、前記画像対を構成する他方の前記画像からの前記制限付き正射投影画像を前記間隙に挿入するように前記正射投影画像を作成する、
   モニタリング装置。