JP7487786B2 - 画像処理方法 - Google Patents

Description

本発明は、画像処理方法、画像処理システム、プログラムに関する。

衛星画像などの撮影画像を用いて、海上を航行する船舶を検出して、海上を監視することが行われている。特に、撮影画像として、上空から地表を撮影した合成開口レーダ（ＳＡＲ：Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）画像を用いることで、天候に左右されない海上の監視が可能となる。

ここで、ＳＡＲ画像を用いて船舶を検出する一例が特許文献１に開示されている。特許文献１に開示の技術では、撮影画像を二値化して、高輝度の領域を船舶候補として抽出している。

特開２０１９－１７５１４２号公報

しかしながら、上述した特許文献１に開示の技術では、港湾内などで複数の船舶が接近して停泊している場合には、船舶同士の干渉により、個々の船舶を精度よく検出することができない、とう問題が生じる。例えば、２隻の船舶が隣接して停泊している場合には、まとめて１隻の船舶として誤検出してしまうことがある。そして、船舶を検出する場合に限らず、また、撮影画像内の水域に限らず、特定の領域に位置する移動体を検出する場合にも、上述同様に精度よく検出することができない、という問題が生じる。

このため、本発明の目的は、上述した課題である、撮影画像内の移動体を精度よく検出することができない、ことを解決することができる画像処理方法、画像処理システム、プログラムを提供することにある。

本発明の一形態である画像処理方法は、
撮影画像から移動体が存在しうる領域である移動体領域を抽出し、
検出対象となる移動体に対応するテンプレートを用いて、前記移動体領域に対してテンプレートマッチングを行い、
前記テンプレートマッチングに基づいて、前記移動体領域から個々の移動体を分離して検出する、
という構成をとる。

また、本発明の一形態である画像処理装置は、
撮影画像から移動体が存在しうる領域である移動体領域を抽出する領域抽出部と、
検出対象となる移動体に対応するテンプレートを用いて、前記移動体領域に対してテンプレートマッチングを行うマッチング部と、
前記テンプレートマッチングに基づいて、前記移動体領域から個々の移動体を分離して検出する検出部と、
を備えた、
という構成をとる。

また、本発明の一形態であるプログラムは、
情報処理装置に、
撮影画像から移動体が存在しうる領域である移動体領域を抽出し、
検出対象となる移動体に対応するテンプレートを用いて、前記移動体領域に対してテンプレートマッチングを行い、
前記テンプレートマッチングに基づいて、前記移動体領域から個々の移動体を分離して検出する、
処理を実行させる、
という構成をとる。

本発明は、以上のように構成されることにより、撮影画像内の移動体を精度よく検出することができる。

本発明の実施形態１における画像処理装置の構成を示すブロック図である。 図１に開示した画像処理装置による画像処理の様子を示す図である。 図１に開示した画像処理装置による画像処理の様子を示す図である。 図１に開示した画像処理装置による画像処理の様子を示す図である。 図１に開示した画像処理装置による画像処理の様子を示す図である。 図１に開示した画像処理装置の動作を示すフローチャートである。 図１に開示した画像処理装置による他の画像処理の様子を示す図である。 図１に開示した画像処理装置による他の画像処理の様子を示す図である。 図１に開示した画像処理装置による他の画像処理の様子を示す図である。 図１に開示した画像処理装置による他の画像処理の様子を示す図である。 図１に開示した画像処理装置の他の画像処理時の動作を示すフローチャートである。 本発明の実施形態２における画像処理装置のハードウェア構成を示すブロック図である。 本発明の実施形態２における画像処理装置の構成を示すブロック図である。 本発明の実施形態２における画像処理装置の動作を示すフローチャートである。

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図１１を参照して説明する。図１は、画像処理装置の構成を説明するための図であり、図２乃至図６は、画像処理装置の処理動作を説明するための図である。また、図７乃至図１１は、画像処理装置の他の処理動作を説明するための図である。

［構成］
本実施形態における画像処理装置１０は、合成開口レーダ（ＳＡＲ：Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）による衛星画像などの撮影画像から、海上を監視する目的で、航行中あるいは停泊中の船舶を検出するためのものである。但し、画像処理装置１０は、必ずしも海上といった領域を撮影することに限らず、いかなる領域を撮影してもよい。また、画像処理装置１０は、撮影画像から船舶を検出することに限定されず、いかなる移動体を検出してもよい。例えば、画像処理装置１０は、後述するように、飛行場といった領域を撮影して、航空機といった移動体を検出してもよい。また、画像処理装置１０が処理する画像は、合成開口レーダによる衛星画像に限定されず、いかなる画像であってもよい。

上記画像処理装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、画像処理装置１０は、図１に示すように、領域抽出部１１、マッチング部１２、検出部１３、テンプレート生成部１４、を備える。領域抽出部１１、マッチング部１２、検出部１３、テンプレート生成部１４のそれぞれの機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより、実現することができる。また、画像処理装置１０は、画像記憶部１５、テンプレート記憶部１６、を備える。画像記憶部１５、テンプレート記憶部１６は、記憶装置により構成される。以下、各構成について詳述する。

上記画像記憶部１５は、移動体である船舶を検出する対象となる領域（対象領域）である海上の画像である注目画像（対象画像）を記憶している。注目画像は、例えば、図２上図に示すような合成開口レーダによる衛星画像であり、主に海上を撮影した画像であるが、海上に接した陸地及び当該陸地に設置された陸上物も含まれる。なお、注目画像における画素の輝度値は、主に、陸地及び陸上物や船舶が高輝度値となり、海上である水域は低輝度値となる。なお、注目画像は、衛星画像であることから、衛星の軌道や撮影装置の設定などの情報に基づく地球上における緯度・経度といった位置情報が関連付けられている。

また、画像記憶部１５は、上記注目画像と同様に合成開口レーダによる衛星画像であり、図２中央図に示すように、注目画像の対象領域に対応する領域、つまり、対象領域とほぼ同一の領域である海上を撮影した画像である背景画像（対応画像）を記憶している。特に、背景画像は、海上といった対象領域に、当該領域内を移動する船舶が存在していないときの撮影画像である。このため、背景画像は、対象領域に船舶が存在しないとされる時間帯に撮影された画像であったり、あるいは、過去の複数の対象領域の画像をもとに船舶である移動体を取り除く画像処理を実施した画像にて構成される。例えば、背景画像は、後述するように、過去に対象領域を撮影した複数の撮影画像の位置合わせを行い、画素ごとに最小値を選択することで、船舶と判定されうる高輝度値の画素を取り除く処理が行われ、生成されてもよい。なお、背景画像は、衛星画像そのものあるいは衛星画像から生成されたものであるため、衛星の軌道や撮影装置の設定などの情報に基づく地球上における緯度・経度といった位置情報が関連付けられている。

また、画像記憶部１５は、上記注目画像と上記背景画像との差分を表す差分画像を記憶する。具体的に、差分画像は、後述するように、注目画像と背景画像との相互に対応する画素の輝度値の差分を新たな画素値として生成される画像である。このため、差分画像は、例えば図２下図に示すように、注目画像において背景画像に対して輝度値の変化がある箇所が高輝度値となり、特に、移動体が背景画像には存在していないが注目画像には存在している箇所が、周囲に対して高輝度値で表される画像となる。なお、差分画像は、衛星画像である注目画像と背景画像から生成されるものであるため、衛星の軌道や撮影装置の設定などの情報に基づく地球上における緯度・経度といった位置情報が関連付けられている。

なお、画像記憶部１５は、上記注目画像と上記背景画像とが撮影される対象領域の地図情報も記憶する。特に、地図情報は、対象領域の陸地の位置情報を含み、例えば、陸地の地球上における緯度・経度といった位置情報を含む。

上記領域抽出部１１は、撮影画像つまり注目画像から移動体が存在しうる領域である移動体領域を抽出する処理を行う。特に、領域抽出部１１は、以下に説明するように、注目画像と背景画像を用いて、移動体領域を抽出する。具体的に、領域抽出部１１は、まず、画像記憶部１５から船舶を検出する処理の対象となる所定時刻に撮影された注目画像と、背景画像とを読み出し、注目画像と背景画像とから差分画像を生成して記憶する。例えば、領域抽出部１１は、図２上図に示す注目画像と、図２中央図に示す背景画像と、を位置情報や画像内の地形の類似度などに基づいて位置合わせし、相互に対応する画素の輝度値の差分を算出する。そして、領域抽出部１１は、かかる差分を新たな画素値として、図２下図に示すような差分画像を生成する。これにより、生成される差分画像は、注目画像において背景画像に対して輝度値の変化がある箇所、つまり、特に移動体の箇所が、周囲に対して高輝度値で表される画像となる。ただし、差分画像は、上記以外の方法で生成されてもよい。例えば、衛星によって同一軌道で撮影されていない注目画像と背景画像との組み合わせを用いる場合には、軌道ごとの画像上の歪み方の違いを除いた変化を抽出できるような技術を適用して、注目画像と背景画像との位置合わせを行い、差分画像を生成してもよい。

なお、領域抽出部１１は、差分画像の生成に用いる背景画像を生成する機能を有していてもよい。この場合、領域抽出部１１は、予め記憶されている過去の複数の対象領域の撮影画像を取得し、これら複数の撮影画像を位置情報や画像内の地形の類似度などに基づいて位置合わせを行い、画素ごとに最小値を選択することで船舶と判定されうる高輝度値の画素を取り除く処理を行って、背景画像を生成する。但し、背景画像はいかなる方法で生成されてもよい。

そして、領域抽出部１１は、上述したように生成した差分画像に基づいて、注目画像上の船舶候補となる画素を抽出する。例えば、領域抽出部１１は、差分画像において周囲に対して高輝度値で表される画素を、船舶候補の画素として抽出する。そして、領域抽出部１１は、船舶候補として抽出した画素に基づいて、注目画像上に位置する船舶が存在しうる領域を特定し、かかる領域を移動体領域として抽出する。例えば、領域抽出部１１は、船舶候補として抽出した画素間の距離に基づいて、複数の画素にて構成される図形を含む領域をひとまとまりの形状に成形する。一例として、領域抽出部１１は、船舶候補として抽出した画素同士が相互に隣接するか一定の距離の範囲内に位置する場合に、これらの画素の集合を囲った矩形の図形を成形し、かかる成形した矩形の領域を移動体領域として抽出する。そして、領域抽出部１１は、差分画像上で抽出した移動体領域と同一位置の領域を、注目画像上に設定する。これにより、領域抽出部１１は、図３の点線の矩形で示すように、注目画像上における移動体領域を抽出する。ここでは、注目画像上において、符号Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５に示す領域を、移動体領域として抽出したこととする。但し、領域抽出部１１は、必ずしも矩形の移動体領域を抽出することに限定されず、いかなる形状の移動体領域を抽出してもよく、船舶候補として抽出した画素をひとまとまりとした領域をそのまま移動体領域としてもよい。

上記マッチング部１２は、上述したように抽出した移動体領域から船舶である移動体を検出するための処理を行う。具体的に、マッチング部１２は、検出対象である船舶の特徴を表す予め用意されたテンプレートを用いて、かかるテンプレートと移動体領域内の図形とを比較するテンプレートマッチングを行う。

ここで、テンプレートマッチングの処理の一例を説明する。まず、テンプレート記憶部１６には、図４（１）に示すようなテンプレートが記憶されている。例えば、テンプレートは、１隻の船舶の特徴を表す画像情報であり、既存の船舶の形状及び大きさや、既存の船舶の上空から見た表面模様の特徴を表す輝度特徴量、などが用いられる。一例として、本実施形態では、テンプレートとして、図４（１）の符号Ｔ１に示す１隻の小型船舶の形状及び大きさを規定したものや、図４（１）の符号Ｔ２に示す１隻の大型船舶の形状及び大きさを規定したものが用意されていることとする。なお、図４（２），（３）にもテンプレートの一例を示しているが、これについては後述する。また、各テンプレートには、後述するように、移動体領域に対するマッチング処理が適用される地図上の位置や時刻が紐づけられていてもよい。

そして、マッチング部１２は、抽出した各移動体領域に対して、各テンプレートとの一致度を調べる。例えば、マッチング部１２は、図４（１）に示すような船舶の形状及び大きさを規定したテンプレートを用いた場合には、移動体領域内の輝度値が高い物体部分と、テンプレートの船舶部分と、の面積の一致度を調べる。このとき、マッチング部１２は、移動体領域の外形が複数個のテンプレートを内包できるような形状である場合には、移動体領域内でテンプレートの位置をずらして配置し、それぞれの位置で移動体領域内の輝度値が高い物体部分との一致度を調べてもよい。例えば、図５（１）に示すように、移動体領域Ｒ３に対してテンプレートＴ１をテンプレートマッチングする場合には、２個分のテンプレートＴ１を配置し、一致度を調べる。なお、移動体領域を、上述したように船舶候補として抽出した画素をひとまとまりとした領域そのものとした場合には、マッチング１２は、移動体領域自体とテンプレート自体との一致度を調べてもよい。

上記検出部１３は、上述したテンプレートマッチングの結果、一致度が予め設定された閾値以上となった場合に、かかる移動体領域の移動体を船舶として検出する。このとき、検出部１３は、１つの移動体領域内で複数個のテンプレートを配置してテンプレートマッチングし、それぞれの領域における一致度が閾値以上であった場合には、複数個の船舶を検出する。つまり、検出部１３は、１つの移動体領域内から複数の個々の船舶を分離して検出することとなる。一例として、図５（１）に示す例では、移動体領域Ｒ３に対して小型船舶のテンプレートＴ１をテンプレートマッチングすることにより、符号Ｒ３’に示すように、横方向に隣接する２つの船舶を分離して検出する。別の例として、図５（２）に示す例では、移動体領域Ｒ４に対して小型船舶のテンプレートＴ１をテンプレートマッチングすることにより、符号Ｒ４’に示すように、縦方向に隣接する２つの船舶を分離して検出する。別の例として、図５（３）に示す例では、移動体領域Ｒ５に対して大型船舶のテンプレートＴ２をテンプレートマッチングすることにより、符号Ｒ５’に示すように、横方向に隣接する２つの船舶を分離して検出する。なお、検出部１３は、テンプレートマッチングが誤っている場合を想定し、もとの移動体領域を船舶として検出してもよい。この場合、検出部１３による後処理として、予め設定された誤検出判定方法や船舶形状などの尤もらしさから、船舶として不適切と思われるものを削除してもよい。

ここで、上述したマッチング部１２の機能についてさらに説明する。マッチング部１２は、以下のようにして、テンプレートマッチングを行う対象とする移動体領域を選定して、テンプレートマッチングを行ってもよい。まず、マッチング部１２は、移動体領域を抽出した結果に応じて、複数の移動体が存在しうる移動体領域をテンプレートマッチングする対象として特定し、かかる移動体領域に対してテンプレートマッチングを行ってもよい。具体的に、マッチング部１２は、抽出した移動体領域の形状つまり外形が、１隻の小型船舶や大型船舶のテンプレートの外形と予め設定された基準により一致するか否かを調べ、一致しない移動体領域をテンプレートマッチングの対象としてもよい。これにより、テンプレートの外形とはアスペクト比が異なり、複数の船舶が存在しているような移動体領域が選定され、テンプレートマッチングの対象となる。このとき、マッチング部１２は、選定した移動体領域を、上述したように特に複数個のテンプレートを配置してテンプレートマッチングを行う対象としてもよく、上記の方法で選定されなかった移動体領域については、１隻の船舶が存在すると考えられるため、通常のテンプレートマッチングを行ってもよい。なお、マッチング部１２は、テンプレートと外形が一致する移動体領域つまり上記の方法で選定されなかった移動体領域については、テンプレートマッチングを行わずに１隻の船舶が存在するものと扱ってもよく、あるいは、複数個のテンプレートを配置する処理は行わずに１隻の船舶の存在を確認のためにテンプレートマッチングを行ってもよい。

また、マッチング部１２は、過去の船舶の検出結果に基づいて、複数の船舶が存在しうる移動体領域をテンプレートマッチングする対象として特定し、かかる移動体領域に対してテンプレートマッチングを行ってもよい。具体的に、マッチング部１２は、まず、上述した検出部１３により記憶された過去に複数の船舶が検出された注目画像内における移動体領域の位置や時刻を取得する。そして、取得した位置や時刻と、新たに抽出された移動体領域の位置や時刻とが、予め設定された基準により一致するか否かを調べ、一致する新たに抽出された移動体領域をテンプレートマッチングの対象としてもよい。これにより、複数の船舶が存在しているような移動体領域が選定され、テンプレートマッチングの対象となる。このとき、マッチング部１２は、選定した移動体領域を、上述したように特に複数個のテンプレートを配置してテンプレートマッチングを行う対象としてもよく、上記の方法で選定されなかった移動体領域については、通常のテンプレートマッチングを行ってもよい。なお、マッチング部１２は、過去に複数の船舶が検出された位置や時刻と一致しない移動体領域については、テンプレートマッチングを行わずに１隻の船舶が存在するものと扱ってもよく、あるいは、複数個のテンプレートを配置する処理は行わずに１隻の船舶の存在を確認のためにテンプレートマッチングを行ってもよい。

また、マッチング部１２は、予め記憶されたテンプレートのうち、移動体領域の抽出結果に基づいてテンプレートマッチングに使用するテンプレートを選択してもよい。例えば、テンプレート記憶部１６に図４（１）に示すような小型船舶のテンプレートＴ１と大型船舶Ｔ２のテンプレートが記憶されている場合には、移動体領域の外形の一辺の長さやアスペクト比に応じて、いずれかのテンプレートＴ１，Ｔ２を選択して、テンプレートマッチングに用いてもよい。また、例えば、テンプレート記憶部１６に、図４（２）や図４（３）に示すような２隻の船舶が横方向あるいは縦方向に隣接しているようなテンプレートＴ３，Ｔ４，Ｔ５が記憶されている場合には、これらのテンプレートを選択してテンプレートマッチングを行ってもよい。この場合、マッチング部１２は、移動体領域の外形の一辺の長さやアスペクト比により、当該移動体領域内に複数の船舶が存在している可能性がある場合に、複数の船舶のテンプレートを用いてテンプレートマッチングを行う。さらに、マッチング部１２は、テンプレートに適用対象の位置や時刻が紐づけられている場合には、注目画像内における移動体領域の位置や時刻に応じて、テンプレートマッチングに用いるテンプレートを選択してもよい。また、マッチング部１２は、注目画像内における移動体領域の位置や時刻により、過去の船舶の検出結果と比較して、当該移動体領域内に複数の船舶が存在している可能性がある場合に、複数の船舶のテンプレートを用いてテンプレートマッチングを行ってもよい。

なお、上述したテンプレートは、利用者等によって事前に登録されていてもよく、テンプレート生成部１４によって生成されてテンプレート記憶部１６に記憶されてもよい。このとき、テンプレート生成部１４は、過去の船舶の検出結果に基づいてテンプレートを生成する。例えば、テンプレート生成部１４は、過去に注目画像内における同一場所や、同一時刻に、頻繁に１隻の船舶や同時に複数の船舶が検出された場合には、検出された船舶部分の画像を用いて、図４に示すようなテンプレートを生成してもよい。

［動作］
次に、上述した画像処理装置１０の動作を、主に図６のフローチャートを参照して説明する。なお、画像処理装置１０は、事前に撮影した過去の複数の対象領域の画像と、船舶を検出する対象領域を撮影した注目画像と、対象領域の陸地の位置情報を含む地理情報とを、画像記憶部１５に記憶している。

まず、画像処理装置１０は、画像記憶部１５から船舶を検出する処理の対象となる所定時刻に撮影された注目画像と、背景画像とを読み出し、図２に示すように、注目画像と背景画像とから差分画像を生成する。そして、画像処理装置１０は、生成した差分画像に基づいて、注目画像上の船舶候補となる画素を抽出し、かかる船舶候補として抽出した画素に基づいて、注目画像上に位置する船舶が存在しうる領域である移動体領域を抽出する（ステップＳ１）。例えば、画像処理装置１０は、図３の点線の矩形Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５で示すように、注目画像上における移動体領域を抽出する。

続いて、画像処理装置１０は、テンプレート記憶部１６に記憶されているテンプレートＴ１，Ｔ２を用いて、抽出した移動体領域に対してテンプレートマッチングを行う（ステップＳ２）。例えば、画像処理装置１０は、図４（１）に示すような１隻の小型船舶のテンプレートＴ１と、１隻の大型船舶のテンプレートＴ２とを用いて、図５に示すように、移動体領域Ｒ３，Ｒ４，Ｒ５に対するテンプレートマッチングを行う。一例として、画像処理装置１０は、テンプレートマッチングの処理として、移動体領域内の輝度値が高い物体部分と、テンプレートの船舶部分と、の面積の一致度を調べる。なお、画像処理装置１０は、移動体領域の外形が複数個のテンプレートを内包できるような形状である場合には、移動体領域内でテンプレートの位置をずらして配置し、それぞれの位置で移動体領域内の輝度値が高い物体部分との一致度を調べる。例えば、図５（１）に示すように、移動体領域Ｒ３に対してテンプレートＴ１をテンプレートマッチングする場合には、２個分のテンプレートＴ１を配置し、一致度を調べる。

その後、画像処理装置１０は、上述したテンプレートマッチングの結果、一致度が予め設定された閾値以上となった場合に、かかる移動体領域の移動体を船舶として検出する（ステップＳ３）。このとき、検出部１３は、１つの移動体領域内で複数個のテンプレートを配置してテンプレートマッチングし、それぞれの領域における一致度が閾値以上であった場合には、複数個の船舶をそれぞれ分離して検出する。一例として、図５（１）に示す例では、移動体領域Ｒ３に対して小型船舶のテンプレートＴ１をテンプレートマッチングすることにより、符号Ｒ３’に示すように、横方向に隣接する２つの船舶を分離して検出する。

以上のように、本実施形態では、注目画像から船舶が存在しうる移動体領域を抽出し、かかる移動体領域に対してテンプレートマッチングにより船舶を検出することで、複数の船舶が隣接している場合でも、個々の船舶を分離して検出することができ、精度よく検出することができる。

［変形例］
ここで、上述したように船舶を検出する場合には、陸地に接岸した船舶を検出する場合もある。ところが、陸地に設置された陸上物に由来する信号の干渉により精度よく検出することができない、という問題がある。つまり、船舶が接岸する陸地には、桟橋やクレーンなどの陸上物が存在しているため、これらの陸上物に由来する信号の干渉により、船舶だけを精度よく検出することができない。このため、本発明では、上述した画像処理装置１０の領域抽出部１１において、以下のようにして移動体領域を抽出することで、陸上物との干渉を抑制して、船舶を精度よく検出することができる。以下、領域抽出部１１による移動体領域を抽出する他の方法を、図７乃至図１１を参照して説明する。

まず、領域抽出部１１は、上述同様に、図７に示すように、注目画像と、背景画像とを読み出し、注目画像と背景画像とから差分画像を生成する（ステップＳ１１）。続いて、領域抽出部１１は、上述した注目画像、背景画像、差分画像を、それぞれ二値化する処理を行う。このとき、領域抽出部１１は、各画像において二値化する際の輝度値の閾値を決定する。以下では、まず、領域抽出部１１による閾値設定処理について説明する。

領域抽出部１１は、まず、記憶されている地理情報を用いて、注目画像上における水域（特定領域）を設定する（ステップＳ１２）。具体的に、領域抽出部１１は、注目画像に含まれる位置情報と、陸地の位置情報を含む地理情報とから、注目画像上における陸地の位置を表す陸地領域（除外領域）を特定する。

そして、領域抽出部１１は、陸地領域の水域に隣接する陸地の縁を、さらに水域側に所定距離だけ広げた拡張陸地領域（拡張除外領域）を設定する。例えば、領域抽出部１１は、注目画像において２０ピクセルほど、つまり、対象領域において２０ｍほど、陸地領域の水域に隣接する縁を水域側に拡張して、拡張陸地領域を設定する。そして、領域抽出部１１は、注目画像全体の対象領域から拡張陸地領域を除外して、残りの領域を水域として設定する。これにより、領域抽出部１１は、図８上図の点線で囲う領域で示すように、注目画像上に水域を設定する。また、領域抽出部１１は、上述同様に、図８中央図の点線で囲う領域で示すように、背景画像に水域を設定し、図８下図の点線で囲う領域で示すように、差分画像に水域を設定する。

以上のようにすることで、上述した陸地領域（除外領域）の精度では当該陸地領域に陸上物が完全に包含されていなかった場合であっても、陸地に隣接して位置する所定領域の水域が拡張陸地領域として除外される。このため、陸地に設置されるような桟橋やクレーンなどの陸上物を除外した水域を設定することができる。但し、領域抽出部１１は、必ずしも上述した拡張陸地領域を設定して水域を設定することに限定されず、単に陸地領域を対象領域から除外して水域を設定してもよく、他の方法で水域を設定してもよい。

続いて、領域抽出部１１は、注目画像、背景画像、差分画像にそれぞれ設定した水域の画素の輝度値の分布を生成し（ステップＳ１３）、かかる分布から、二値化する際の輝度値の閾値を設定する（ステップＳ１４）。具体的に、領域抽出部１１は、注目画像については、まず、図８上図の点線で囲う水域として設定した領域内の全ての画素の輝度値の分布を生成する。このとき、領域抽出部１１は、例えば、輝度値の分布を何らかの関数に近似することによって、画素の輝度値の分布を生成する。そして、領域抽出部１１は、生成した分布から、注目画像を二値化する輝度値の閾値を設定する。特に、領域抽出部１１は、注目画像内の水域において、水域であると考えられる海上の輝度値と、水域に存在する物体と考えられる輝度値と、を切り分けられるような輝度値の閾値を設定する。そして、領域抽出部１１は、注目画像について設定した閾値を用いて、注目画像全体における各画素の輝度値を二値化した二値画像（変換画像）を生成する（ステップＳ１５）。これにより、領域抽出部１１は、注目画像から、図９上図に示すような二値画像を生成する。

そして、領域抽出部１１は、背景画像と差分画像とについても、それぞれ注目画像に対して行った処理と同様の処理を行い、それぞれの二値画像を生成する。具体的に、領域抽出部１１は、背景画像について、図８中央図の点線で囲う水域として設定した領域内の全ての画素の輝度値の分布を生成し、かかる分布から、背景画像を二値化する輝度値の閾値を設定し、かかる閾値を用いて、背景画像から、図９中央図に示すような二値画像を生成する。このとき、領域抽出部１１は、背景画像内の水域において、水域であると考えられる海上の輝度値と、水域に存在する物体と考えられる輝度値と、を切り分けられるような輝度値の閾値を設定する。また、領域抽出部１１は、差分画像について、図８下図の点線で囲う水域として設定した領域内の全ての画素の輝度値の分布を生成し、かかる分布から、差分画像を二値化する輝度値の閾値を設定し、かかる閾値を用いて、差分画像から、図９下図に示すような二値画像を生成する。このとき、領域抽出部１１は、差分画像内の水域において、水域であると考えられる海上の輝度値と、水域に存在する物体と考えられる輝度値と、を切り分けられるような輝度値の閾値を設定する。これにより、差分画像の二値画像は、注目画像と背景画像とで輝度値に変化がない画素と変化がある画素、つまり、水域であると考えられる画素と水域に存在する物体とかんがえられる画素、を区別可能な二値画像となる。

続いて、領域抽出部１１は、上述したように生成した、注目画像、背景画像、差分画像のそれぞれの二値画像を用いて、船舶候補となる画素を抽出する（ステップＳ１６）。このとき、領域抽出部１１は、各二値画像において、各画素が水域（特定領域）であるか否かを二値画像毎にそれぞれ判定し、二値画像毎の判定結果に基づいて船舶候補となる画素を抽出する。例えば、領域抽出部１１は、着目した画素が、注目画像の二値画像では水域ではない、背景画像の二値画像では水域である、差分画像の二値画像では、水域ではない、つまり、画素値に変化がある、ことを満たす場合に、かかる画素を船舶候補となる画素として抽出する。

そして、領域抽出部１１は、上述したように船舶候補として抽出した画素に基づいて、注目画像上に位置する船舶である移動体が存在しうる移動体領域を抽出する（ステップＳ１７）。例えば、領域抽出部１１は、船舶候補として抽出した画素間の距離に基づいて、複数の画素にて構成される図形を成形する。一例として、領域抽出部１１は、船舶候補として抽出した画素同士が相互に隣接するか一定の距離の範囲内に位置する場合に、これらの画素の集合を１つの図形として成形する。このようにして、領域抽出部１１は、図１０の点線の矩形で囲った領域を移動体領域として抽出し、かかる移動体領域を、上述した図３に示す注目画像上において実線の矩形で囲っているように抽出する。

＜実施形態２＞
次に、本発明の第２の実施形態を、図１２乃至図１４を参照して説明する。図１２乃至図１３は、実施形態２における画像処理装置の構成を示すブロック図であり、図１４は、画像処理装置の動作を示すフローチャートである。なお、本実施形態では、上述した実施形態で説明した画像処理装置及び画像処理方法の構成の概略を示している。

まず、図１２を参照して、本実施形態における画像処理装置１００のハードウェア構成を説明する。画像処理装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９

そして、画像処理装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図１３に示す領域抽出部１２１とマッチング部１２２と検出部１２３とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した領域抽出部１２１とマッチング部１２２と検出部１２３とは、かかる機能を実現させるための専用の電子回路で構築されるものであってもよい。

なお、図１２は、画像処理装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。

そして、画像処理装置１００は、上述したようにプログラムによって構築された領域抽出部１２１とマッチング部１２２と検出部１２３との機能により、図１４のフローチャートに示す画像処理方法を実行する。

図１４に示すように、画像処理装置１００は、
撮影画像から移動体が存在しうる領域である移動体領域を抽出し（ステップＳ１０１）、
検出対象となる移動体に対応するテンプレートを用いて、前記移動体領域に対してテンプレートマッチングを行い（ステップＳ１０２）、
前記テンプレートマッチングに基づいて、前記移動体領域から個々の移動体を分離して検出する（ステップＳ１０３）、
という処理を実行する。

本発明は、以上のように構成されることにより、撮影画像から移動体が存在しうる移動体領域を抽出し、かかる移動体領域に対してテンプレートマッチングにより移動体を検出している。これにより、複数の移動体が接近している場合でも、個々の移動体を分離して検出することができるため、移動体を精度よく検出することができる。

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した領域抽出部１２１とマッチング部１２２と検出部１２３との機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における画像処理方法、画像処理装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
撮影画像から移動体が存在しうる領域である移動体領域を抽出し、
検出対象となる移動体に対応するテンプレートを用いて、前記移動体領域に対してテンプレートマッチングを行い、
前記テンプレートマッチングに基づいて、前記移動体領域から個々の移動体を分離して検出する、
画像処理方法。
（付記２）
付記１に記載の画像処理方法であって、
前記移動体領域の抽出結果に基づいて複数の移動体が存在しうる領域として特定した前記移動体領域に対して前記テンプレートマッチングを行う、
画像処理方法。
（付記３）
付記２に記載の画像処理方法であって、
抽出した前記移動体領域の形状に基づいて複数の移動体が存在しうる領域として特定した前記移動体領域に対して前記テンプレートマッチングを行う、
画像処理方法。
（付記４）
付記１乃至３のいずれかに記載の画像処理方法であって、
過去の移動体の検出結果に基づいて複数の移動体が存在しうる領域として特定した前記移動体領域に対して前記テンプレートマッチングを行う、
画像処理方法。
（付記５）
付記４に記載の画像処理方法であって、
過去に複数の移動体が検出された前記撮影画像内の位置及び／又は時刻に基づいて特定した前記移動体領域に対して前記テンプレートマッチングを行う、
画像処理方法。
（付記６）
付記１乃至５のいずれかに記載の画像処理方法であって、
予め記憶された前記テンプレートのうち、前記移動体領域の抽出結果に基づいて選択した前記テンプレートを用いて前記テンプレートマッチングを行う、
画像処理方法。
（付記７）
付記６に記載の画像処理方法であって、
抽出した前記移動体領域の前記撮影画像内の位置及び／又は時刻に基づいて選択した前記テンプレートを用いて前記テンプレートマッチングを行う、
画像処理方法。
（付記８）
付記１乃至７のいずれかに記載の画像処理方法であって、
過去の移動体の検出結果に基づいて前記テンプレートを生成する、
画像処理方法。
（付記９）
付記８に記載の画像処理方法であって、
過去に検出された移動体の前記撮影画像内の位置及び／又は時刻に基づいて前記テンプレートを生成する、
画像処理方法。
（付記１０）
撮影画像から移動体が存在しうる領域である移動体領域を抽出する領域抽出部と、
検出対象となる移動体に対応するテンプレートを用いて、前記移動体領域に対してテンプレートマッチングを行うマッチング部と、
前記テンプレートマッチングに基づいて、前記移動体領域から個々の移動体を分離して検出する検出部と、
を備えた画像処理装置。
（付記１１）
付記１０に記載の画像処理装置であって、
前記マッチング部は、前記移動体領域の抽出結果に基づいて複数の移動体が存在しうる領域として特定した前記移動体領域に対して前記テンプレートマッチングを行う、
画像処理装置。
（付記１２）
付記１１に記載の画像処理装置であって、
前記マッチング部は、抽出した前記移動体領域の形状に基づいて複数の移動体が存在しうる領域として特定した前記移動体領域に対して前記テンプレートマッチングを行う、
画像処理装置。
（付記１３）
付記１０乃至１２のいずれかに記載の画像処理装置であって、
前記マッチング部は、過去の移動体の検出結果に基づいて複数の移動体が存在しうる領域として特定した前記移動体領域に対して前記テンプレートマッチングを行う、
画像処理装置。
（付記１４）
付記１３に記載の画像処理装置であって、
前記マッチング部は、過去に複数の移動体が検出された前記撮影画像内の位置及び／又は時刻に基づいて特定した前記移動体領域に対して前記テンプレートマッチングを行う、
画像処理装置。
（付記１５）
付記１０乃至１４のいずれかに記載の画像処理装置であって、
前記マッチング部は、予め記憶された前記テンプレートのうち、前記移動体領域の抽出結果に基づいて選択した前記テンプレートを用いて前記テンプレートマッチングを行う、
画像処理装置。
（付記１６）
付記１５に記載の画像処理装置であって、
前記マッチング部は、抽出した前記移動体領域の前記撮影画像内の位置及び／又は時刻に基づいて選択した前記テンプレートを用いて前記テンプレートマッチングを行う、
画像処理装置。
（付記１７）
付記１０乃至１６のいずれかに記載の画像処理装置であって、
過去の移動体の検出結果に基づいて前記テンプレートを生成するテンプレート生成部をさらに備えた、
画像処理装置。
（付記１８）
付記１７に記載の画像処理装置であって、
前記テンプレート生成部は、過去に検出された移動体の前記撮影画像内の位置及び／又は時刻に基づいて前記テンプレートを生成する、
画像処理装置。
（付記１９）
情報処理装置に、
撮影画像から移動体が存在しうる領域である移動体領域を抽出し、
検出対象となる移動体に対応するテンプレートを用いて、前記移動体領域に対してテンプレートマッチングを行い、
前記テンプレートマッチングに基づいて、前記移動体領域から個々の移動体を分離して検出する、
処理を実行させるためのプログラムを記憶したコンピュータにて読み取り可能な記憶媒体。
（付記２０）
付記１９に記載のプログラムを記憶したコンピュータにて読み取り可能な記憶媒体であって、
前記情報処理装置に、さらに、
過去の移動体の検出結果に基づいて前記テンプレートを生成する、
処理を実行させるためのプログラムを記憶したコンピュータにて読み取り可能な記憶媒体。
（付記Ａ１）
付記１乃至９に記載の画像処理方法であって、
前記移動体領域を抽出する際に、
移動体を検出する対象となる領域を含む画像である対象画像と、当該対象画像の領域に対応する領域を含む他の画像である対応画像と、の差分を表す差分画像を生成し、
前記対象画像と前記対応画像と前記差分画像とに基づいて、前記対象画像から前記移動体領域を抽出する、
画像処理方法。
（付記Ａ２）
付記Ａ１に記載の画像処理方法であって、
前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域内から予め定められた基準により特定されるそれぞれの特定領域内の画素の輝度値に基づいて、前記移動体領域を抽出する、
画像処理方法。
（付記Ａ３）
付記Ａ２に記載の画像処理方法であって、
前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域内から予め定められた基準により特定される除外領域をさらに広げた拡張除外領域を設定し、前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる領域から前記拡張除外領域を除外した残りの領域をそれぞれの前記特定領域とする、
画像処理方法。
（付記Ａ４）
付記Ａ２又はＡ３に記載の画像処理方法であって、
前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について当該特定領域内の画素の輝度値の分布を生成し、それぞれの前記特定領域について生成した前記分布に基づいて前記移動体領域を抽出する、
画像処理方法。
（付記Ａ５）
付記Ａ４に記載の画像処理方法であって、
前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について生成した前記分布に基づいて、前記対象画像と前記対応画像と前記差分画像とのそれぞれについて前記特定領域を検出可能な画像である変換画像をそれぞれ生成し、それぞれ生成した前記変換画像に基づいて前記移動体領域を抽出する、
画像処理方法。
（付記Ａ６）
付記Ａ５に記載の画像処理方法であって、
前記対象画像と前記対応画像と前記差分画像とのそれぞれに含まれる前記特定領域について生成した前記分布に基づいて、前記対象画像と前記対応画像と前記差分画像とのそれぞれを二値化する輝度値の閾値をそれぞれ設定し、当該閾値を用いて前記対象画像と前記対応画像と前記差分画像とを二値化した前記変換画像をそれぞれ生成し、それぞれ生成した前記変換画像に基づいて前記移動体領域を抽出する、
画像処理方法。
（付記Ａ７）
付記Ａ５又はＡ６に記載の画像処理方法であって、
前記変換画像のそれぞれに基づいて、当該各変換画像内の画素が前記特定領域であるか否かを判定し、判定結果に基づいて前記移動体領域を抽出する、
画像処理方法。
（付記Ａ８）
付記Ａ５乃至Ａ７のいずれかに記載の画像処理方法であって、
前記変換画像のそれぞれに基づいて、前記対象画像においては前記特定領域ではなく、前記対応画像においては前記特定領域であり、前記差分画像においては輝度値の変化がある、と判定される画素を検出し、当該検出した画素に基づいて前記移動体領域を抽出する、
画像処理方法。
（付記Ａ９）
付記Ａ２乃至Ａ８のいずれかに記載の画像処理方法であって、
前記特定領域は、水域である、
画像処理方法。

１０ 画像処理装置
１１ 領域抽出部
１２ マッチング部
１３ 検出部
１４ テンプレート生成部
１５ 画像記憶部
１６ テンプレート記憶部
１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 領域抽出部
１２２ マッチング部
１２３ 検出部

Claims (9)

1. 撮影画像から移動体が存在しうる領域である移動体領域を抽出する領域抽出部と、
   検出対象となる移動体に対応するテンプレートを用いて、前記移動体領域に対してテンプレートマッチングを行うマッチング部と、
   前記テンプレートマッチングに基づいて、前記移動体領域から個々の移動体を分離して検出する検出部と、
   を備え、
   前記マッチング部は、過去に複数の移動体が検出された前記撮影画像内の位置及び／又は時刻に基づいて複数の移動体が存在しうる領域として特定した前記移動体領域に対して前記テンプレートマッチングを行う、
   画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記マッチング部は、前記移動体領域の抽出結果に基づいて複数の移動体が存在しうる領域として特定した前記移動体領域に対して前記テンプレートマッチングを行う、
   画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記マッチング部は、抽出した前記移動体領域の形状に基づいて複数の移動体が存在しうる領域として特定した前記移動体領域に対して前記テンプレートマッチングを行う、
   画像処理装置。
4. 請求項１乃至３のいずれかに記載の画像処理装置であって、
   前記マッチング部は、予め記憶された前記テンプレートのうち、前記移動体領域の抽出結果に基づいて選択した前記テンプレートを用いて前記テンプレートマッチングを行う、
   画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記マッチング部は、抽出した前記移動体領域の前記撮影画像内の位置及び／又は時刻に基づいて選択した前記テンプレートを用いて前記テンプレートマッチングを行う、
   画像処理装置。
6. 請求項１乃至５のいずれかに記載の画像処理装置であって、
   過去の移動体の検出結果に基づいて前記テンプレートを生成するテンプレート生成部をさらに備えた、
   画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記テンプレート生成部は、過去に検出された移動体の前記撮影画像内の位置及び／又は時刻に基づいて前記テンプレートを生成する、
   画像処理装置。
8. 撮影画像から移動体が存在しうる領域である移動体領域を抽出し、
   検出対象となる移動体に対応するテンプレートを用いて、前記移動体領域に対してテンプレートマッチングを行う際に、過去に複数の移動体が検出された前記撮影画像内の位置及び／又は時刻に基づいて複数の移動体が存在しうる領域として特定した前記移動体領域に対して前記テンプレートマッチングを行い、
   前記テンプレートマッチングに基づいて、前記移動体領域から個々の移動体を分離して検出する、
   画像処理方法。
9. 情報処理装置に、
   撮影画像から移動体が存在しうる領域である移動体領域を抽出し、
   検出対象となる移動体に対応するテンプレートを用いて、前記移動体領域に対してテンプレートマッチングを行う際に、過去に複数の移動体が検出された前記撮影画像内の位置及び／又は時刻に基づいて複数の移動体が存在しうる領域として特定した前記移動体領域に対して前記テンプレートマッチングを行い、
   前記テンプレートマッチングに基づいて、前記移動体領域から個々の移動体を分離して検出する、
   処理を実行させるためのプログラム。

Images