JP6991089B2 - 船舶検出装置及び方法 - Google Patents

Description

本発明は、船舶検出装置及び方法に関する。

下記特許文献１には、ＳＡＲ画像等の衛星画像から船舶候補領域を抽出し、この船舶候補領域における船舶を判定する船舶画像処理システムが開示されている。この船舶画像処理システムは、船舶候補領域から抽出された船舶諸元を用いて船舶を判定することにより判定精度の向上を図るものであり、フレーム決定部と領域画素抽出部と被覆矩形切出処理部からなる領域抽出判定部により、画像データから船舶候補領域を抽出し、船舶判定処理部は、当該船舶候補領域から想定される船舶に関する船舶諸元（重心座標、全長方向、全長、全幅など）を算出し、当該船舶諸元に基づいて船舶候補領域が船舶の画像であるか否かを判定するものである。なお、上記ＳＡＲ画像は、周知の合成開口レーダ（Synthetic Aperture Radar）によって得られるグレースケール画像である。

特開２００４－３０２５５７号公報

しかしながら、上述した従来技術は検出精度が不十分なために実用化が難しいのが現状である。したがって、衛星画像を用いた船舶検出技術を実用化させるためには、船舶の検出精度を従来よりも向上させることが極めて重要である。なお、ここでいう検出精度とは、検出率と検出の確からしさを合わせた概念であり、検出の確からしさは誤検出の少なさと同義であるものとする。

本発明は、上述した事情に鑑みてなされたものであり、ＳＡＲ画像を用いた船舶検出における検出精度を従来よりも向上させることを目的とするものである。

上記目的を達成するために、本発明では、船舶検出装置に係る第１の解決手段として、ＳＡＲ画像を二値化処理することにより船舶候補を抽出する候補抽出部と、前記船舶候補を示す二値化画像と前記船舶候補の周囲を示す前記ＳＡＲ画像とを画像合成することにより評価画像を生成する評価画像生成部と、前記評価画像に基づいて船舶検出結果を精査する船舶検出精査部とを備える、という手段を採用する。

本発明では、船舶検出装置に係る第２の解決手段として、上記第１の解決手段において、前記船舶検出精査部は、前記評価画像の機械学習によって船舶でない候補を排除する、という手段を採用する。

本発明では、船舶検出装置に係る第３の解決手段として、上記第１または第２の解決手段において、前記ＳＡＲ画像に所定の前処理を施すことにより前処理済画像を生成する前処理部をさらに備え、前記候補抽出部は、前処理済画像を二値化処理する、という手段を採用する。

本発明では、船舶検出装置に係る第４の解決手段として、上記第１～第３のいずれかの解決手段において、前記船舶検出精査部は、陸地、波、ＳＡＲ画像の接続部、信号ノイズを排除する、という手段を採用する。

本発明では、船舶検出装置に係る第５の解決手段として、上記第１～第４のいずれかの解決手段において、前記船舶検出部の検出結果を付加した前記評価画像を蓄積する画像記憶部をさらに備える、という手段を採用する。

また、本発明では、船舶検出方法に係る第１の解決手段として、ＳＡＲ画像を二値化処理することにより船舶候補を抽出する第１処理と、前記船舶候補を示す二値化画像と前記船舶候補の周囲を示す前記ＳＡＲ画像とを画像合成することにより評価画像を生成する第２処理と、前記評価画像に基づいて船舶を検出する第３処理とを有する、という手段を採用する。

また、本発明では、船舶検出方法に係る第２の解決手段として、上記第１の解決手段において、前記第３処理では、前記評価画像の機械学習によって船舶を検出する、という手段を採用する。

本発明によれば、ＳＡＲ画像を用いた船舶検出における検出精度を従来よりも向上させることが可能である。

本発明の一実施形態に係る船舶検出装置が設けられる海洋監視システムのシステム構成図である。 本発明の一実施形態に係る船舶検出装置を用いた船舶検出方法を示すフローチャートである。 本発明の一実施形態における船舶候補領域画像及び評価画像の一例である。

以下、図面を参照して、本発明の一実施形態について説明する。
本実施形態における海洋監視システムは、所定海域における船舶の航行を監視するシステムであり、図１に示すようにＳＡＲ衛星１、地上受信局２、画像サーバ３、船舶検出装置４、ＡＩＳサーバ５、ＶＰＮ（Virtual Private Network）６及びブラウザ端末７Ａ～７Ｃを備える。

ＳＡＲ衛星１は、合成開口レーダ（ＳＡＲ：Synthetic Aperture Radar）を備えた人工衛星であり、例えば周知の地球資源衛星１号、陸域観測技術衛星あるいは／及び陸域観測技術衛星２号である。ＳＡＲ衛星１は、所定の時間間隔かつ所定期間に亘って所定波長のマイクロ波（送信波）を地上の監視対象領域（二次元領域）に向けて送信し、当該送信波が地表で反射して生成されるマイクロ波（反射波）を受信することによりＳＡＲ画像を取得する。

このＳＡＲ画像は、上記監視対象領域（二次元領域）の状態、つまりＳＡＲ衛星１からの緯度経度情報を伴う距離を示す二次元のグレースケール画像である。ＳＡＲ衛星１は、合成開口レーダにおける上記送信波及び反射波に基づいてＳＡＲ画像を生成し、当該ＳＡＲ画像を地上受信局２に送信する。なお、合成開口レーダで一般的に使用されるマイクロ波の波長帯には、Ｌバンド、Ｃバンド及びＸバンドが存在するが、本実施形態におけるＳＡＲ衛星１は、Ｌバンド、Ｃバンド、Ｘバンドのマイクロ波を用いて画像分解能が３ｍ～１００ｍ程度のＳＡＲ画像を取得する。

地上受信局２は、地上の所定場所に設けられ、上記ＳＡＲ衛星１からＳＡＲ画像を受信する通信設備である。すなわち、この地上受信局２は、ＳＡＲ衛星１と無線通信を行うための無線アンテナ及び無線通信機を少なくとも備え、ＳＡＲ衛星１が間欠的に送信してくるＳＡＲ画像を受信して画像サーバ３に出力する。

画像サーバ３は、上記地上受信局２から順次入力されるＳＡＲ画像を蓄積すると共に、船舶検出装置４の要求に応じてＳＡＲ画像を提供するデータサーバである。すなわち、この画像サーバ３は、多数のＳＡＲ画像を記憶する画像記憶装置を備え、船舶検出装置４の要求に応じて画像記憶装置を検索することにより、船舶検出装置４が要求するＳＡＲ画像を読み出して船舶検出装置４に出力する。

船舶検出装置４は、この海洋監視システムにおいて最も特徴的な構成機器である。すなわち、この船舶検出装置４は、所定の検出アルゴリズムに基づいてＳＡＲ画像に所定の画像処理を施すことにより、地表の監視対象領域（二次元領域）に存在する船舶を検出する。上記検出アルゴリズムの詳細については船舶検出装置４の動作説明として後述するが、船舶検出装置４は、上記検出アルゴリズムに基づくソフトウエア的な機能構成要素として、図１に示すように前処理部４ａ、候補抽出部４ｂ、評価画像生成部４ｃ、船舶検出精査部４ｄ及び画像記憶部４ｅを備えている。

前処理部４ａは、ＳＡＲ画像に所定の前処理を施すことにより前処理済画像を生成する機能構成要素である。すなわち、前処理部４ａは、候補抽出部４ｂにおける画像処理の精度を向上させるための前処理として、ＳＡＲ画像に写り込んでいる陸地のマスキング処理や輝度の補正処理等を施し、このような前処理の結果画像である前処理済画像を生成して候補抽出部４ｂに出力する。

候補抽出部４ｂは、上記前処理済画像を二値化処理することにより船舶候補Ｎを抽出する機能構成要素である。すなわち、候補抽出部４ｂは、前処理済画像に所定の処理を施すことにより閾値を設定し、当該閾値を用いて前処理済画像に二値化処理することにより二値化画像を生成する。候補抽出部４ｂは、このように生成した二値化画像及び前処理済画像を評価画像生成部４ｃに出力する。

評価画像生成部４ｃは、船舶候補Ｎを示す二値化画像とＳＡＲ画像において船舶候補Ｎの周囲を示す周囲画像Ｇとを画像合成することにより評価画像を生成する機能構成要素である。すなわち、評価画像生成部４ｃは、各船舶候補Ｎの周囲に境界線を設定し、上記境界線の内側領域に相当する前処理済画像の画像領域を切り取ることにより周囲画像Ｇを生成する。また、評価画像生成部４ｃは、このように生成した周囲画像Ｇと船舶候補Ｎを示す二値化画像とを論理積処理（ＡＮＤ処理）することにより評価画像を生成する。

船舶検出精査部４ｄは、評価画像に基づいて船舶を検出する機能構成要素である。すなわち、船舶検出精査部４ｄは、評価画像における各船舶候補Ｎについて特徴量を算出し、当該特徴量と周囲画像Ｇに示されている各船舶候補Ｎの周囲の状況とに基づいて各船舶候補Ｎが実船舶であるか否かを判断する。

ここで、船舶検出精査部４ｄにおける上記検出処理には、例えば機械学習が適用される。すなわち、船舶検出精査部４ｄは、機械学習に基づく船舶識別機能を備えている。この船舶識別機能は、教師画像を用いて実船舶の判定ルールを初期的に学習し、当該学習の結果として船舶検出精査部４ｄに組み込まれたものである。船舶検出精査部４ｄは、評価画像生成部４ｃから順次入力される評価画像について上記船舶識別機能に基づいて実船舶を判断する。なお、上記機械学習には人工知能の一種であり種々の実現手法が知られているが、例えば畳み込みニューラルネットワーク（Convolutional Neural Network）を用いる。

画像記憶部４ｅは、船舶検出精査部４ｄの検出結果を付加した評価画像を蓄積する不揮発性記憶装置である。船舶検出装置４は、ＶＰＮ６を介してブラウザ端末７Ａ～７Ｃから受信する船舶検知情報の提供要求に対して、船舶検出精査部４ｄの検出結果を付加した評価画像を画像記憶部４ｅから読み出すことによりブラウザ端末７Ａ～７Ｃに送信する。

ＡＩＳサーバ５は、既設のＡＩＳ情報センタから監視対象領域を航行する船舶のＡＩＳ情報を取得して蓄積するデータサーバである。ＡＩＳサーバ５は、自らが蓄積したＡＩＳ情報を船舶検出装置４に提供する。なお、ＡＩＳ情報は、船舶に搭載が国際的に義務付けられている自動船舶識別装置（ＡＩＳ：Automatic Identification System）が外部に対して発信する船舶の識別符号、船名、位置、針路、速力、目的地等を含む船舶情報である。

ＶＰＮ６は、機密を保持することができる専用線であり、複数の有線通信網及び無線通信網の集合体であり、例えばインターネットを構成している。すなわち、このＶＰＮ６は、海洋監視システムの利用者が接続可能な通信回線である。

ブラウザ端末７Ａ～７Ｃは、上記ＶＰＮ６に接続された通信端末であり、データセンターで船舶情報を処理された結果データをダウンロードする事ができ、ダウンロードした船舶情報を専用ソフトで閲覧することができる。これらブラウザ端末７Ａ～７Ｃは、各々個別の利用者が管理する通信端末であり、ＶＰＮ６を介して船舶検出装置４に船舶検知情報の提供を要求すると共に、当該提供要求に応じて船舶検出装置４が提供する船舶検知情報を表示、保存及び転送処理する。なお、この図１では便宜的に３台のブラウザ端末７Ａ～７Ｃを示しているが、ブラウザ端末の個数に制限はない。

次に、本実施形態に係る海洋監視システムの時系列的な動作、特に船舶検出装置４による船舶の検出動作（船舶検出方法）について、図２及び図３を参照して詳しく説明する。

ＳＡＲ衛星１は、地球周回軌道を飛行する際し、監視対象領域の上空を飛行する度に監視対象領域のＳＡＲ画像を取得して地上受信局２に送信する。そして、地上受信局２は、ＳＡＲ画像をＳＡＲ衛星１から受信する度に画像サーバ３に出力する。この結果、画像サーバ３には、監視対象領域に関し、時系列的な複数のＳＡＲ画像が蓄積される。

そして、船舶検出装置４は、このような画像サーバ３から監視対象領域のＳＡＲ画像を順次取得しＡＩＳサーバ５から別途取得したＡＩＳ情報を加味して監視対象領域に実船舶が存在するか否かを判断する。そして、船舶検出装置４は、上記判断の結果をＶＰＮ６を介してブラウザ端末７Ａ～７Ｃのいずれか１つあるいは複数に送信する。

このような流れが海洋監視システムの全体的な動作であるが、船舶検出装置４は、以下のようにして監視対象領域における実船舶の存在を判断する。すなわち、船舶検出装置４の前処理部４ａは、最初に画像サーバ３から取得したＳＡＲ画像を内部の不揮発性記憶装置に一旦記憶させ、その上でＳＡＲ画像に前処理を施す（ステップＳ１）。

この前処理では、横方向及び縦方向に所定の画素数で構成された二次のグレースケール画像であるＳＡＲ画像について、陸地であることが明白な部分にマスキング処理を施して海域だけを明確化したり、またＳＡＲ画像に撮影状態等に起因する全体的な輝度むらが発生している場合に当該輝度むらの補正等が行われる。そして、前処理部４ａは、このような前処理の結果得られた前処理済画像を候補抽出部４ｂに提供する。

ここで、このような前処理を先行して行うことにより、実船舶の識別精度が高い評価画像をステップＳ５で生成することが可能である。すなわち、この前処理によれば、後述するステップＳ７の論理チェックの判定精度をより向上させ得る評価画像をステップＳ５で生成させることが可能である。ただし、このような前処理は必須の処理ではなく、ＳＡＲ画像の状態によっては省略することが可能である。

船舶検出装置４では、続いて候補抽出部４ｂによる船舶候補Ｎの抽出処理が行われる。この抽出処理では、前処理済画像を二値化処理するが、当該二値化処理に必要な閾値を最初に決定する（ステップＳ２）。そして、この閾値決定処理では、ＳＡＲ画像における船舶領域の特徴に着目して閾値を決定する。すなわち、ＳＡＲ画像において船舶は極端に輝度が高い領域として映し出されるので、前処理済画像を構成する各画素の輝度に関する平均値、標準偏差あるいはヒストグラムを計算し、船舶を他の物体から的確に区画し得る閾値を決定する。

このようにして閾値を決定すると、候補抽出部４ｂは、前処理済画像を二値化する（ステップＳ３）。すなわち、候補抽出部４ｂは、前処理済画像を構成する各画素の輝度を閾値と比較することにより、輝度が閾値よりも大きい領域（白画像部）と輝度が閾値以下の領域（黒画像部）とからなる二値化画像を生成する。

このような二値化画像は、図３の左上段に示すように、船舶候補Ｎが白画像部として表され、船舶候補Ｎ以外の物体つまり海が黒画像部として表される。なお、この図３では便宜的に黒画像部をクロスハッチング部として表している。また、船舶候補はあくまでも二値化閾値処理により分離されただけの対象であり、船舶ではないもの、例えば、波、陸、島、人工構造物、ＳＡＲ画像の継ぎ目、電波的ノイズ、ＳＡＲ画像特有のノイズなどを多数含んでいる。このようなステップＳ２，Ｓ３による二値化画像の生成処理は、本発明における第１処理に相当する。

そして、候補抽出部４ｂは、このように生成した二値化画像について船舶候補Ｎに対するラべリング処理を行う（ステップＳ４）。このラべリング処理では、二値化画像に白画像部として表される船舶候補Ｎに、図３の左上段の模式図に示されるようなユニークな番号（連番）がラベルとして付与される。

続いて、評価画像生成部４ｃは、上記二値化画像と前処理済画像とに基づいて評価画像を生成する（ステップＳ５）。すなわち、評価画像生成部４ｃは、図３の右上段に示すように、前処理済画像において二値化画像の船舶候補Ｎに相当する部位から所定距離（所定画素数）だけ離れた周囲に無端状の境界（無端状の画素の集合体）を設定し、上記境界線の内側領域に相当する前処理済画像の画像領域を前処理済画像から切り取ることにより各船舶候補Ｎに関する周囲画像Ｇを生成する。

そして、評価画像生成部４ｃは、このように生成した各船舶候補Ｎの周囲画像Ｇを船舶候補Ｎを示す二値化画像と画像合成することにより、つまり周囲画像Ｇと二値化画像とを論理積処理（ＡＮＤ処理）することにより評価画像を生成する。このような評価画像は、図３の下段に示すように、白画像部である船舶候補Ｎの周囲にグレースケール部である周囲画像Ｇが付加されたものである。ステップＳ５における評価画像の生成処理は、本発明における第２処理に相当する。

続いて、船舶検出精査部４ｄは、上記評価画像における各船舶候補Ｎについて特徴量を計算する（ステップＳ６）。すなわち、船舶検出精査部４ｄは、評価画像における個々の各船舶候補Ｎ（白画像部）について幅、長さ及び角度等を計算し、幅、長さ及び角度を船幅、船長及び針路方向と認定する。このような特徴量算出処理では、各船舶候補Ｎ（白画像部）毎に特徴量が関連付けられる。

そして、船舶検出精査部４ｄは、このような特徴量算出処理が終了すると、各船舶候補Ｎ（白画像部）について論理チェックを行う（ステップＳ７）。すなわち、船舶検出精査部４ｄは、この論理チェック処理における最初の処理として、各船舶候補Ｎについて特徴量とＡＩＳ情報とを比較照合することにより、ＡＩＳ情報に合致する船舶候補Ｎａと、ＡＩＳ情報に合致しない船舶候補Ｎｂとをグループ分けする。

ここで、監視対象領域を航行する船舶の中には、国際協定に従ってＡＩＳ情報を外部に発信するものだけではなく、ＡＩＳ情報を外部に発信しないものも存在し得る。このようなＡＩＳ情報を外部に発信しない船舶は、不審船と呼べるものであり、最も重要な監視対象である。

そして、船舶検出精査部４ｄは、ＡＩＳ情報に合致する船舶候補Ｎａを実船舶と認定する。そして、船舶検出精査部４ｄは、ＡＩＳ情報に合致しない船舶候補Ｎｂについては、上述した特徴量に加え、評価画像における各船舶候補Ｎ（白画像部）及び当該船舶候補Ｎ（白画像部）の周囲画像Ｇ（グレースケール部）を機械学習を用いて評価する。すなわち、船舶検出精査部４ｄは、機械学習に基づく船舶識別機能に船舶候補Ｎｂの特徴量及び評価画像を入力することにより船舶候補Ｎｂが実船舶であるか否かを判定する。このようなステップＳ６、Ｓ７の処理は、本発明における第３処理に相当する。

ここで、上記船舶候補Ｎｂには、岸に隣接して停泊している接岸船舶が存在するが、この接岸船舶は、岸（陸地）に隣接しているために、陸地上の他の物体（桟橋やクレーン等）と識別することが困難であるため、例外的にＡＩＳ信号と合致しないものは全てノイズと判断し排除する。船舶検出精査部４ｄが備える機械学習に基づく船舶識別機能によれば、上記特殊事情がある接岸中の船を除けば、全ての外乱である波、陸、島、人工構造物、ＳＡＲ画像の継ぎ目、電波的ノイズ、ＳＡＲ画像特有のノイズを判定して船舶以外のものを高精度に識別排除することが可能である。

本実施形態によれば、白画像部である船舶候補Ｎの周囲にグレースケール部である周囲画像Ｇが付加された評価画像を用いて船舶候補Ｎｂから実船舶を判断するので、ＳＡＲ画像を用いた船舶検出における検出精度を従来よりも向上させることが可能である。

なお、本発明は上記実施形態に限定されるものではなく、例えば以下のような変形例が考えられる。
（１）上記実施形態では、船舶検出精査部４ｄが機械学習に基づく船舶識別機能を用いて評価画像等を用いて実船舶を検出したが、本発明はこれに限定されない。例えば、船舶検出装置４に評価画像を表示する表示部を備え、当該表示部に表示された評価画像等を評価者が目視評価してもよい。

（２）上記実施形態では、ＡＩＳ情報を用いることにより船舶候補Ｎａと船舶候補Ｎｂとをグループ分けしたが、本発明はこれに限定されない。必要に応じてＡＩＳ情報を用いないシステム構成も可能である。すなわち、図１に示した構成要素のうち、ＡＩＳサーバ５を削除した海洋監視システムが考えられる。

（３）上記実施形態では、各船舶候補Ｎの特徴量と評価画像とを用いて実船舶を検出したが、本発明はこれに限定されない。本発明の最も重要な特徴は船舶候補Ｎと周囲画像Ｇとを備えた評価画像を用いて実船舶を検出することにあるので、必要に応じて評価画像のみを用いて実船舶を検出してもよい。

Ｎ 船舶候補
Ｇ 周囲画像
１ ＳＡＲ衛星
２ 地上受信局
３ 画像サーバ
４ 船舶検出装置
４ａ 前処理部
４ｂ 候補抽出部
４ｃ 評価画像生成部
４ｄ 船舶検出精査部
４ｅ 画像記憶部
５ ＡＩＳサーバ
６ ＶＰＮ
７Ａ～７Ｃ ブラウザ端末

Claims (7)

1. ＳＡＲ画像を二値化処理することにより船舶候補を抽出する候補抽出部と、
   前記船舶候補を示す二値化画像と前記船舶候補の周囲を示す前記ＳＡＲ画像とを画像合成することにより評価画像を生成する評価画像生成部と、
   前記評価画像に基づいて船舶検出結果を精査する船舶検出精査部と
   を備えることを特徴とする船舶検出装置。
2. 前記船舶検出精査部は、前記評価画像の機械学習によって船舶でない候補を排除することを特徴とする請求項１に記載の船舶検出装置。
3. 前記ＳＡＲ画像に所定の前処理を施すことにより前処理済画像を生成する前処理部をさらに備え、
   前記候補抽出部は、前処理済画像を二値化処理することを特徴とする請求項１または２に記載の船舶検出装置。
4. 前記船舶検出精査部は、陸地、波、ＳＡＲ画像の接続部、信号ノイズを排除することを特徴とする請求項１～３のいずれか一項に記載の船舶検出装置。
5. 前記船舶検出精査部の検出結果を付加した前記評価画像を蓄積する画像記憶部をさらに備えることを特徴とする請求項１～４のいずれか一項に記載の船舶検出装置。
6. ＳＡＲ画像を二値化処理することにより船舶候補を抽出する第１処理と、
   前記船舶候補を示す二値化画像と前記船舶候補の周囲を示す前記ＳＡＲ画像とを画像合成することにより評価画像を生成する第２処理と、
   前記評価画像に基づいて船舶を検出する第３処理と
   を有することを特徴とする船舶検出方法。
7. 前記第３処理では、前記評価画像の機械学習によって船舶を検出することを特徴とする請求項６に記載の船舶検出方法。

Images