JP5152913B2

JP5152913B2 - 洋上監視システムおよび方法

Info

Publication number: JP5152913B2
Application number: JP2008173740A
Authority: JP
Inventors: 伸哉馬込
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2008-07-02
Filing date: 2008-07-02
Publication date: 2013-02-27
Anticipated expiration: 2028-07-02
Also published as: JP2010014491A

Description

本発明は、洋上浮遊物を監視する洋上監視システムおよび方法に関する。

地球温暖化による流氷の溶解や有害プランクトンの大量発生、船舶事故に伴う油の流出や海ゴミの漂流など、洋上の浮遊物を観測する必要性は近年増加しており、浮遊物の位置を高い精度で測定することが求められている。対象物の位置を測定する装置として、例えば特許文献１及び特許文献２に開示された構成が知られている。

特許文献１の装置は、撮像装置の測位データ及び傾斜データを含む複数の所定ラインの画像データから合成連続モザイク画像を高度０ｍに投影し、マッチング演算により浮標の軌跡を算出している。

特許文献２の装置は、対象物に対して相対移動する撮像装置により対象物を時系列的に撮影し、得られた一連の撮影画像から特徴点を抽出する。ついで、各特徴点の追跡処理を行い、対応特徴点が付された一連の撮影画像からステレオ画像を選択して、標定及び３次元計測を行う。そして、３次元計測により算出された対応特徴点の誤差範囲に基づいて各対応特徴点の適否を判定し、不適当と判定された対応特徴点を除外した上で、標定及び３次元計測を再度行うことにより、計測精度の向上を図っている。
特開平８−２１１０８８号公報特開２００７−３２７９３８号公報

ところが、上記特許文献１に開示された装置は、マッチング演算を行うために、撮影された瞬間における、対象物に対する撮像装置の位置及び撮影角度を正確に把握する必要があるため、風などによる振動の影響を受けやすい撮影飛行においては撮像装置の位置と角度の測定精度の向上に大きな制約があった。たとえば、防振能を備えた高精度の測定機器を使用する場合には、設備が高価なだけでなく、重量が過大になる。そのため搭載重量に限界がある船舶曳航型の気球などからの撮影は極めて困難であり、観測現場に近い船舶からの定量的な監視技術は需要が高まっているにも関わらず、実用化されていない。

また、上記特許文献２に開示された装置は、ステレオ画像による補正のため、安定した特徴点を必要とする。しかし、撮影場所が洋上である場合には、ほとんどの特徴点が風や波、潮の流れなどの不確定要素の影響を受け短時間に大きく移動し、確度の高い特徴点を得ることが困難なため、計測精度の向上に限界がある。

そこで、本発明は、安価で軽量な構成により監視精度を高めることができる洋上監視システムおよび方法の提供を目的とする。

本発明の前記目的は、洋上の測定対象物を撮像して時系列の画像データを生成する撮像装置と、前記画像データを解析して測定対象物の位置情報を生成する解析装置とを備え、前記解析装置は、各時刻における測定対象物の座標値を算出し、所定時間内の前記座標値の中央値または平均値から、測定対象物の位置情報を求める洋上監視システムにより達成される。

また、本発明の前記目的は、洋上の測定対象物を撮像して時系列の画像データを生成する撮像ステップと、前記画像データを解析して測定対象物の位置情報を生成する解析ステップとを備え、前記解析ステップは、各時刻における測定対象物の座標値を算出し、所定時間内の前記座標値の中央値または平均値から、測定対象物の位置情報を求める洋上監視方法により達成される。

本発明によれば、安価で軽量な構成により監視精度を高め、船舶観測を可能にする洋上監視システムおよび方法を提供することができる。

以下、本発明の実施の形態について、添付図面を参照して説明する。図１は、本発明の一実施形態に係る洋上監視システムの概略構成図である。図１に示すように、洋上監視システム１は、複数の浮標体１０と、撮像装置２０と、解析装置３０とを備えている。

浮標体１０は、洋上を浮遊可能なブイなどからなり、上面中央にＧＰＳロガーが設置されている。このＧＰＳロガーは、ＧＰＳ衛星からのＧＰＳ信号を受信する受信部１２と、時系列のＧＰＳ信号を記録する記録部１４とを備えている。ＧＰＳ信号は、例えば、運輸多目的衛星用衛星航法補強システム（ＭＳＡＳ）を使用して、安価及び軽量な非ディファレンシャルＧＰＳにおいても比較的精度の高い測定が可能となる。
各浮標体１０の表面には、洋上Ｓに浮遊した状態で視覚により判別可能な色がそれぞれ付されており、浮標体１０の数が多いほど測定精度を高めることができる。本実施形態においては、海面色との色差が大きい桃、緑、赤、黄、橙の各色からなる５種類の浮標体１０が用意されている。各浮標体１０は、後述するように、測定対象物Ｍの近傍に投下される。この場合、測定対象物の色との色差の大きい色の浮標体を用いることが好ましい。ＧＰＳを搭載した洋上船２８の一部分を浮標体の一つとして用いても良い。また浮標体は、必ずしも単一色である必要はない。ただし、その場合は、浮標体の識別条件に隣接情報を追加する必要がある。

撮像装置２０は、撮像により画像データを取得する撮像部２２と、取得した画像データを記録する画像記録部２４とを備えており、これら撮像部２２及び画像記録部２４がバルーン船２１に搭載されて、空中から撮像可能に構成されている。バルーン船２１は、係留索２３を介して洋上船２８により曳航可能とされており、撮像部２２の水平方向の撮影位置は、洋上船２８の移動により制御することができ、鉛直方向の撮影位置は、係留索２３の巻き取り又は巻き戻しにより調整可能である。また、洋上船２８は、撮像部２２を遠隔操作するための無線送信部２７を有しており、バルーン船２１に設置した無線受信部２５を介して撮像方向を調整可能である。

解析装置３０は、浮標体１０及び撮像装置２０にそれぞれ記録された時系列のＧＰＳ信号及び画像データを入力する入力部３２と、入力されたデータの解析を行う解析処理部３４と、解析結果を画面表示などにより出力する出力部３６とを備えており、例えば一般的なパーソナルコンピュータから構成することができる。解析装置３０は、洋上船２８に搭載すれば観測場所での解析も可能であるが、撮影後に他の場所で解析することも可能である。

次に、上記の構成を備える洋上監視システム１を用いて洋上監視を行う方法を説明する。まず、色が異なる複数の浮標体１０を、洋上船に搭載するなどして海面を浮遊する測定対象物の近傍まで移動させ、洋上に投下する。測定対象物は、特に限定されるものではないが、例えば、洋上漂流ゴミ、流出油、プランクトン、流氷などを挙げることができる。洋上を浮遊する各浮標体１０は、ＧＰＳ衛星からＧＰＳ信号を受信して、各時刻における緯度情報及び経度情報を記録部１４に記録する。こうして、基準点となる各浮標体１０の位置を把握することができる。浮標体１０は、受信するＧＰＳ信号を解析装置３０に送信するための無線送信部を備えていてもよく、これによって、解析装置３０が各浮標体１０の位置をリアルタイムに把握することができる。

次に、撮像装置２０を手動で遠隔操作して、撮像領域内に各浮標体１０および測定対象物が常に存在するように撮像する。得られた時系列の画像データは、記録部２４に格納される。画像データについても、解析装置３０にリアルタイムに送信することができる。また、低解像度の画像データのみを洋上船２８に無線送信して撮像部２２の傾斜角度を制御すると共に、高解像度の画像データについては記録部２４に記録するようにしてもよい。

解析装置３０は、所定時間内において浮標体１０及び撮像装置２０からそれぞれ入力されたＧＰＳ信号及び画像データに基づき、測定対象物の座標値を求める。この手順を、図２に示すフローチャートを適宜参照しながら説明する。

まず、画像データから一群の異常色領域を検出する（ステップＳ１）。例えば、所定の色空間において、小領域単位で色座標の中央値から画像データにおける海領域を抽出した後、この海領域に含まれる異常色領域を検出する。用いる色空間は、人間が知覚する色差と色空間内ユークリッド距離とが一致するようなＣＩＥＬＵＶやＣＩＥＬＡＢなどの均等色空間であることが好ましい。ただし、人間の知覚しにくい微小な色差の浮標体及び測定対象物を検出したい場合は、それに適した不均等な色空間を用いても良い。

画像データに陸領域または船舶など測定対象物以外の不要な異常色は、解析時間を短縮するためにも、含まれない方が好ましい。含まれる場合には、例えば前記小領域の色空間の中央値から明らかに海領域ではない領域と、それらの近傍である海と陸の境界領域の分散値の大きい海岸線近傍を陸域として抽出することにより、陸域の緑、岸壁、雲、空、観測船、水面に映った陸上物等を異常色領域から除外することができる。エッジ検出で境界を検出しても良いし、経験的に明らかに海色ではない色域の画素を除外するようなより簡単な方法でも良い。こうして抽出された海領域から海との色差の大きい一群の異常色領域を検出する。検出には、例えば、前記ＣＩＥＬＵＶ上の輝度Ｌと色彩ＵＶのマハラノビス距離が所定値以上の画素を抽出して行うことができる。

一群の異常色領域を複数の画素の塊として認識し、個々の塊の持つ画像上の色と画素座標の代表値を算出する。代表値の算出には、例えば、色空間などのクラスタリング手法として公知のMean Shift法を好ましく使用することができる。Mean Shift法については、例えば、次の文献が参考になる。Dorin Comaniciu and Peter Meer.Mean shift:A robust approach toward feature space analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.24, No.5, pp.603-619, 2002
Mean Shift法とは、ある座標系において複数の正規分布で分散する分類対象点を局所平均の座標に逐次移動させ、クラスター中心に収束させる方法である。どの程度の近傍を類似しているとみなすかの判定基準を制御する窓パラメータを与えるだけで、予め分類数を設定する必要がない簡易な方法である。例えば、本実施形態においては、色彩座標(U,V)と画素座標(x,y)の二つの座標系を一括処理する四次元座標に対してMean Shift法を適用し、判定された各塊の色座標の重心、画素座標の重心、そして分類画素数により、海と異なる任意の色を持つ、任意の数の洋上漂流物の、画像上の色、位置、大きさを一括して算出できる。窓パラメータについては、色座標と画素座標のそれぞれに設定する。各浮標体または測定対象物の色のばらつきと画像上の大きさに応じて設定することが好ましい。ここで輝度Ｌについては、経験的に必ずしも正規分布に従わなかったことから判定基準には用いないが、色彩座標(U,V)と画素座標(x,y)を基準に分類された画素の平均輝度を、画素の塊毎に算出する。こうして検出された一群の異常色領域は、なんらかの洋上漂流物に対応しており、これら異常色領域の中に各浮標体が存在する。

次に、一群の異常色領域から複数の浮標体を判別する（ステップＳ２）。検出された異常色領域は、白波や海面反射などによって浮標体以外のノイズを含むおそれがあるため、浮標体のみを抽出する必要がある。そこで、例えば浮標体が５つの場合、所定の色空間において、５つの異常色領域の組み合わせによる５つの色重心を検出し、予め格納された各浮標体の色情報と比較して色差を求め、この色差の合計が最小となる異常色領域の組み合わせを決定する。こうして、画像データにおける５つの基準点を特定することができる。このように抽出された色重心及び画素重心が、撮影画像中の各浮標体の色座標C(L,U,V)と画素座標(xi,yi)を示すものとなる(i=1〜L、ただし本実施例ではL=5)。

絶対座標系（例えばWGS-84座標系）における、前記浮標体の座標値（Xi,Yi）及び測定対象物の座標値P(XP,YP)は、陸上物とは異なり、波、風、潮の流れなどの影響を受けて、時間の経過と共に移動する。しかしながら前記浮標体の座標値（Xi,Yi）は、複数の浮標体のＧＰＳ信号の緯度及び経度により時系列的に把握することができる。また本実施例では、前記浮標体及び測定対象物が様々な位置及び角度より撮影されるため、撮像系においても、浮標体の画素座標(xi,yi)及び測定対象物の画素座標P(xp,yp)は、時系列的に極めて不連続である。そこで、ＧＰＳ信号により求めた座標値(Xi,Yi)とステップＳ２で求めた画素座標(xi,yi)の関係を基準として、以下に説明する射影変換によりステップＳ１で抽出された任意の測定対象物の座標値G(XG,YG)を算出する（ステップＳ３）。

ここで、射影変換方法について説明する。画素座標系と絶対座標系には次の数式１及び２が成り立つ。

ここでｂjとｃj(j=1〜5)は、ＧＰＳ信号の受信により絶対座標が既知であるn個の基準点から、次の数式３〜６で示される最小二乗法により算出される。

すなわち、画像データに含まれるi=1〜n（実施例ではn=5である）の各浮標体の画素座標(xi,yi)と座標値(Xi,Yi)との関係を基準としてｂjとｃj(j=1〜5)を算出し、数式１及び２を用いて測定対象物の画素座標(xp,yp)から座標値 (XG,YG)を算出することができる。

以上の方法で、各画像データから得られる各時刻における測定対象物の座標値を所定の時間内で抽出し、この時間平均値を算出することにより、測定対象物の座標値を補正する（ステップＳ４）。実際の測定においては、特に撮像装置２０の位置や姿勢の時間変動が著しい場合に、得られた測定対象物の座標値の測定誤差が大きなものとなっていた。本発明者らは、洋上監視においてこのような測定誤差を生じさせる主な要因が、波や風などの振動系であることに着目し、測定対象物の座標値の所定時間内の中央値から射影変換を行うことにより、測定対象物の絶対位置、大きさ、形状などを高精度で得られることを見出した。このような手法は、例えば、所定時間内に一部の浮標体の検出または識別に失敗した場合や、ＧＰＳ信号を一時的にロストしたような場合に有効である。また、中央値の代わりに平均値を用いた場合もそれに準ずる効果が期待でき、解析時間を短縮できる。
時間平均値を算出するための所定時間や画像データ数は、特に限定されるものではないが、例えば、１０〜３０分の間に５０〜１００枚（或いはそれ以上）の画像データを撮影することが好ましい。また、所定時間を長くするか、または所定時間あたりの撮影枚数を大きくすることで、測定対象物の移動軌跡を把握することが可能である。移動軌跡を把握できれば、例えば、所定時間内に消失する頻度の高い白波と頻度の低い白色漂流物の識別が可能になる。

このように、本実施形態の洋上監視システムによれば、明確な位置基準となるものが存在しない洋上においても、安価な構成により測定対象物の位置を高精度で測定することが可能であり、温暖化で溶解していく流氷、大量出現しているクラゲのパッチネス、埋め立てなどで減少していく干潟や藻場、異なる海色の流出油、赤潮、洪水後の河川プリュームの分布、航行安全対策、そして海難捜索など、様々な洋上モニタリングに応用することで、環境政策への貢献が期待できる。さらに、浮標体１０の水面下に抵抗体を設けることで、またはそれらの周辺に、抵抗体を備えたトレーサーを投入することで、それらの移動軌跡からラグランジュ的な流況調査を可能にする。

以上、本発明の一実施形態について詳述したが、本発明は上記の実施形態に限定されるものではない。例えば、本実施形態においては、浮標体１０にＧＰＳ信号の受信部１２を搭載しているが、撮像装置２０にＧＰＳ信号の受信部を設けて、浮標体の代わりに撮像装置２０の位置情報を特定するように構成してもよい。この場合は、撮像装置２０の位置と傾斜と焦点距離を記録する位置記録部または位置送信部を撮像装置２０が備えることにより、本実施形態と同様に測定対象物の位置情報を得ることができ、浮標体１０の投入作業や回収作業を不要にすることができる。また、撮像装置の搭載場所についても、船舶曳航型バルーンに限定されるものではない。たとえば、リモコンヘリに搭載しても良いし、視野を広げるのに十分な高度が確保されるならば船舶のポールの上部などに搭載しても良い。以下に、その算出方法を説明する。

図５は、カメラと画像面と測定対象物との幾何学関係を説明するための図であり、これを数式で表すと、次の数式７及び８のとおりである。ここで、P(Xp,Yp,Zp)は画像面上の任意の座標値であり、P(xp,yp)がそれに対応する画素座標系の座標である。O(Xo,Yo,Zo)は撮像部（カメラ）の座標値、G(XG,YG,ZG)は測定対象物の座標値、ω、φ、κはＸ軸、Ｙ軸、Ｚ軸に対する撮像部（カメラ）の回転角であり、ｆは撮像部（カメラ）の焦点距離である。数式７の右辺第一項は、画素座標をＸ軸に対して‐ω回転、Ｙ軸に対して‐φ回転、さらにＺ軸に対して‐κ回転させている。また、次の数式８は、絶対座標系における３点O、G、Pが同一直線上にあることを示す条件である。

撮像装置２０の位置及び傾斜を記録または送信可能な構成においては、Xo、Yo、Zo、ω、φ、κ、ｆがいずれも既知であるから、数式７及び８により、測定対象物の画素座標P（xp,yp）から、絶対座標系の座標値 G(XG,YG,ZG)を求めることができる。さらに、ここで算出した座標値を、ＧＰＳを搭載した洋上船２８などを基準点とすることで、補正しても良い。こうして求めた座標値の、所定時間内の中央値または平均値を用いることで、測定精度が低い軽量の傾斜計を用いた場合であっても、測定対象物の位置情報を有用な精度で得ることができる。

本発明の実施例に基づき、本発明を更に詳細に説明する。但し、本発明は、以下の実施例に限定されるものではない。

民生用のコンパクトカメラ（RiCOH製 GR Digital）が搭載された小型気球（撮像装置）から、洋上に投入された５色の漂流ブイ（浮標体）を撮影した。各漂流ブイには、民生用のGPSロガー（Wintec製DLG-201）を搭載し、２３分間以内に取得した全７４枚の画像データに対して射影変換を行うことにより、各漂流ブイの位置情報を取得した。各漂流ブイが備えるGPSロガーはMSAS信号を利用しており、精度±3m未満が保証されている。ＧＰＳ信号に基づく各漂流ブイの移動軌跡を図３（ａ）に示し、その中央値を図３（ｂ）に示す。

また、図４（ａ）は、漂流ブイの１つ（Ｇ：緑色）について、GPSロガーの記録した位置と、画像データ毎に個別に射影変換して特定された位置の差を示している。図４（ａ）に示すように、画像データ毎に個別に射影変換した場合には、±１０ｍの範囲で、実際の位置との間にばらつきが生じていることがわかる。

これに対し、各画像データから得られる時系列座標値の中央値を求めた場合には、図４（ｂ）に菱形（Ｇ：緑）で示すように、約０．５ｍであり、測定精度が顕著に向上していることがわかる。他の４つのブイ（Ｙ：黄，Ｐ：桃，Ｏ：橙，Ｒ：赤）についても同様の結果が得られており、図４（ｂ）に示すように、いずれも測定誤差は、±１ｍの範囲である。

本実施例では、検出や識別に失敗した画像データも含めて射影変換を行っているが、取得した画像データから失敗画像を判定して除去することにより、測定精度を更に高めることができる。失敗画像は、例えば射影変換の誤差が所定の距離を超えたか否かで判定することができる。

本発明の一実施形態に係る洋上監視システムの概略構成図である。本発明の一実施形態に係る洋上監視方法の要部手順を説明するためのフローチャートである。本発明の実施例の測定結果を示す図である。本発明の実施例の測定精度を示す図である。測定原理の一例を説明するための図である。

符号の説明

１洋上監視システム
１０浮標体
１２受信部
１４記録部
２０撮像装置
２２撮像部
２４記録部
３０解析装置
３２入力部
３４解析処理部
３６出力部
Ｍ測定対象物

Claims

洋上の測定対象物を撮像して時系列の画像データを生成する撮像装置と、
前記画像データを解析して測定対象物の位置情報を生成する解析装置と、
洋上を浮遊可能な複数の浮標体と、を備え、
前記浮標体または前記撮像装置は、ＧＰＳ衛星からＧＰＳ信号を受信するＧＰＳ受信部を有しており、
前記各浮標体は、外表面の色がそれぞれ相違しており、
前記解析装置は、各時刻における測定対象物の座標値を算出し、所定時間内の前記座標値の中央値または平均値から、測定対象物の位置情報を求め、かつ、
前記解析装置は、前記画像データ及び前記ＧＰＳ信号に基づき、前記画像データに含まれる前記各浮標体を基準点として、前記各時刻における測定対象物の座標値を算出し、かつ、
前記解析装置は、前記画像データから一群の異常色領域を検出し、前記一群の異常色領域から抽出された一群の色重心と前記各浮標体の色情報との色差の合計が最小となる前記異常色領域の組み合わせを抽出することで、前記画像データの基準点を特定する洋上監視システム。
色が異なる複数の浮標体を洋上に投下するステップと、
撮像装置により洋上の測定対象物および前記各浮標体を撮像して時系列の画像データを生成する撮像ステップと、
前記画像データを解析して測定対象物の位置情報を生成する解析ステップと、を備え、
前記浮標体または前記撮像装置は、ＧＰＳ衛星からＧＰＳ信号を受信するＧＰＳ受信部を有しており、
前記解析ステップは、
各時刻における測定対象物の座標値を算出し、所定時間内の前記座標値の中央値または平均値から、測定対象物の位置情報を求め、かつ、
前記画像データ及び前記ＧＰＳ信号に基づき、前記画像データに含まれる前記各浮標体を基準点として、前記各時刻における測定対象物の座標値を算出し、かつ、
前記画像データから一群の異常色領域を検出し、前記一群の異常色領域から抽出された一群の色重心と前記各浮標体の色情報との色差の合計が最小となる前記異常色領域の組み合わせを抽出することで、前記画像データの基準点を特定する洋上監視方法。