JP4532973B2 - 構造特徴抽出装置及び同一目標判定装置及び構造特徴抽出方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム - Google Patents

Description

本発明は、衛星画像等から切出された目標の画像（例えば船舶の画像）を処理する構造特徴抽出装置及び同一目標判定装置に係り、目標上の構造特徴（ブリッジの位置や長さなど）を自動的に算出し、客観的かつ正確に目標間の同一を判定する技術に関する。

図１０は、目標画像の例を示す図である。このように衛星画像等から切出された目標画像により、目標（判定の対象物、例えば船舶）を識別する場合、目標上の構造特徴（例えば、船舶のブリッジ）により判断することがある。図中、１００１から１００３は、構造特徴の例である。従来、このような構造特徴の判定は、人間の目により行われていた。

このように、目視により判定するため、多大な労力が必要とされ、また、判定者の主観に左右されるため、定量的な判定が困難であった。

また、目標間での同一判定（同じ目標か否かの判定）は、従来画像を用いて目視で行われていた。図１１は、二つの目標の略例を示す図である。この例のように、目標Ａと目標Ｂは、形状や大きさが等しいので同じ目標（または同型の目標）であると目視により判断される。これらは、例えば、異なる日に撮影された同一の船舶である。
特開２００１−号１９５５６５公報 特開平１１−１０９０１３号公報 特開平０７−０９８２１８号公報

本発明は、上記した従来技術の欠点を除くためになされたものであって、その目的とするところは、船舶等の目標上に備える構造特徴（ブリッジ等の構造物の長さ、位置等）をコンピュータによって自動的に判定し、正確に目標の特徴を抽出し、更に、目標間の同一を自動的に判定することを課題とする。

本発明に係る構造特徴抽出装置は、
船首と船尾とを有する船舶の前記船尾から船首への方向を船舶の方向とし、前記船舶の方向と直交する方向を列とし、複数の列を有し前記複数の列の各列が前記船舶の方向と直交する方向に複数の画素を有する船舶の画像であって、複数の画素の各画素が輝度値を有する船舶の画像を入力し、入力した船舶の画像が有する前記複数の列ごとに複数の画素が有する輝度値から最大輝度値を求め、前記各列に対する最大輝度値を求める最大輝度シルエット算出処理部と、
前記最大輝度シルエット算出処理部により求められた各列に対する最大輝度値が所定の閾値を越える連続する複数の列を、船舶上の構造物による構造特徴として判定する構造物諸元判定処理部と
を備えることを特徴とする。

前記構造物諸元判定処理部は、前記構造特徴とした連続する複数の列の列数に画素あたりの長さを乗算して構造物長を算出することを特徴とする。

前記構造物諸元判定処理部は、船舶の始点の列の位置と前記構造特徴とした連続する列のうち端にある端列の位置とに基づいて、船舶の方向における船舶の始点から端列までの長さを構造物の端位置として算出することを特徴とする。

構造特徴抽出装置は、更に、前記船舶の方向と平行な線であって、かつ、前記船舶の画像を２分割する線を中心線として、前記中心線に沿って２分割される船舶の画像から、太陽光を受ける受光側の画像を前記複数の画素が有する輝度値に基づいて判定する受光側判定部を有し、
最大輝度シルエット算出処理部は、前記受光側判定部が判定した受光側の画像に含まれる複数の画素のみを用いて前記各列に対する最大輝度値を求めることを特徴とする。

本発明に係る同一目標判定装置は、
前記構造特徴抽出装置を備え、
前記構造特徴抽出装置は、複数の船舶の画像を入力して、各船舶に対して複数の構造特徴を判定し、
前記複数の構造特徴に基づいて、複数の船舶の画像間において船舶の同一を判定する目標判定処理部を有することを特徴とする。

本発明に係る構造特徴抽出装置の構造特徴抽出方法は、
最大輝度シルエット算出処理部により、前記船舶の画像を入力し、入力した船舶の画像が有する前記複数の列ごとに複数の画素が有する輝度値から最大輝度値を求め、前記各列に対する最大輝度値を求める最大輝度シルエット算出工程と、
構造物諸元判定処理部により、前記最大輝度シルエット算出工程により求められた各列に対する最大輝度値が所定の閾値を越える連続する複数の列を、船舶上の構造物による構造特徴として判定する構造物諸元判定工程と
を有することを特徴とする。

本発明に係るプログラムは、
最大輝度シルエット算出処理部により、前記船舶の画像を入力し、入力した船舶の画像が有する前記複数の列ごとに複数の画素が有する輝度値から最大輝度値を求め、前記各列に対する最大輝度値を求める最大輝度シルエット算出処理と、
構造物諸元判定処理部により、前記最大輝度シルエット算出処理により求められた各列に対する最大輝度値が所定の閾値を越える連続する複数の列を、船舶上の構造物による構造特徴として判定する構造物諸元判定処理と
をコンピュータに実行させることを特徴とする。

本発明においては、主成分方向に直交する列毎に、最大輝度値を求め、所定の閾値を越える最大輝度値を有する列が連続する間を、前記所定の方向に連続するブリッジなどの構造物による目標上の構造特徴と判定するので、目標の長さや幅以外に、構造の特徴も定量的に扱うことが可能となる。特に、構造物の長さ及び位置を算出できる点で有利である。

また、受光側の輝度分布のみに基づいて最大輝度値を求めるので、不要な情報を排除し、処理を簡素化することができる。

構造の特徴に従って、目標間の同一を判定するので、客観的かつ正確な判定結果が得られる。特に、構造物の長さ及び位置により判定する点に特徴がある。

実施の形態１．
以下本発明を図面に示す実施例に基づいて説明する。図１は、構造特徴抽出装置の構成を示す図である。

構造特徴抽出装置は、画像読込処理部１、主成分分析処理部２、リサンプリング処理部３、画像分割処理部４、受光側判定処理部５、最大輝度シルエット算出処理部６、構造物諸元判定処理部７、判定結果書込処理部８、目標画像記憶部９、輝度分布記憶部１０、及び分割輝度分布記憶部１１の要素を有している。

続いて、動作について説明する。図２は、構造特徴抽出の処理フローを示す図である。

先ず、画像読込処理部１により、画像読込処理（Ｓ１０）を行う。具体的には、ＣＤ−ＲＯＭあるいはハードディスク等の記憶媒体から、目標画像を一時的に記憶する領域（目標画像記憶部９）に読み込む。目標画像は、判定対象である目標（この例では、船舶）についての画像データである。例えば、衛星画像データを用い、ここでは、画素値が輝度値の光学センサ画像を例として説明する。尚、この他に、画素値が振幅値のＳＡＲ（Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ
Ｒａｄａｒ）画像に適用することも考えられる。

目標画像の例を示す。図３は、目標画像の例を示す図である。光学反射（電波含む）では、位相角（入射角＋反射角）が小さい面の反射率がきわめて高いという特徴がある。

船舶のブリッジなどの構造物は、目標平均面（甲板面）に比して複雑な形状（すなわち、様々な角度の面を有するため、様々な位相角をもつ）を有している。そのため、光学反射の特性上、複雑な形状を有するこのような構造物３０１〜３０３は、各構造物全体としてとらえると、目標の平均面（甲板面）に比して、強い反射を示す。

本発明では、この特徴を用いて、強い反射を示す部分を、目標上の構造物と判断し、その諸元（長さ、位置）を抽出する処理を行う。

次に、図２に示すように、主成分分析処理部２による主成分分析処理を行う（Ｓ２０）。この処理により、目標の主成分方向（目標の向き：中心線の方向）・重心・全長・全幅を算出する。

続いて、リサンプリング処理部３によるリサンプリング処理を行う（Ｓ３０）。この処理により、画像を回転し、あるいは拡大／縮小し、各目標の主成分方向・重心・解像度（画素あたりの長さ）を正規化し、リサンプリングする。これにより、輝度分布を得て、輝度分布記憶部１０に記憶する。

輝度分布の例を示す。図４は、輝度分布図の例を示す図である。前述のように、強い反射を示す部分が、目標上の構造物である。図のように、構造物の反射特性は、太陽光の受光側に強くあわられる。また非受光側は、構造物の陰４０１などによって、正しい輝度分布を示さない可能性がある。従って、目標の向きの中心線から対称に２分割し、そのうち受光側の輝度分布のみに基づいて構造物を判定することが有効である。

但し、太陽方向が分からない場合などは、２分割しなくてもよい。その場合には、多少のノイズが含まれる可能性がある。

そこで、図２に示すように、画像分割処理部４による画像分割処理（Ｓ４０）を行う。これにより、主成分方向（目標の向き）の中心線から対称に、輝度分布図を２分割する。このようにして、分割輝度分布図（左舷側輝度分布図と右舷側輝度分布図）を生成し、それぞれの分割輝度分布を分割輝度分布記憶部１１に記憶する。

続いて、受光側判定処理部５による受光側判定処理（Ｓ５０）を行う。太陽の方向の情報を取得し、その情報に従って、目標の受光側を判定する。通常、太陽の方向の情報は、目標画像と共に管理されているので、目標画像が記憶されている記憶媒体から読み取ることができる。

次に、最大輝度シルエット算出処理部６による最大輝度シルエット算出処理（Ｓ６０）を行う。主成分方向（目標の向き）に直交する方向に、一列ずつ最大輝度値を評価する。具体的には、船首から船尾までの各位置について、主成分方向に直交する方向の各画素の輝度値を比較し、最大の輝度値を選択する。そして、主成分方向の各位置について最大輝度を記述した図が、最大輝度シルエットとなる。

ここで、受光側分割輝度分布図と、これにより求められる最大輝度シルエットの例を示す。図５は、受光側分割輝度分布図と最大輝度シルエットの例を示す図である。図からわかるように、最大輝度シルエットには、目標上の構造物の特徴が現れており、構造物の位置の最大輝度が高くなっている。

このように、最大輝度シルエット算出処理部６は、目標の画像から得られる輝度分布から、目標の所定の方向（この例では、主成分方向）に直交する列毎に、最大輝度値を求めるように構成されている。

次に、図２に示すように、構造物諸元判定処理部７による構造物諸元判定処理（Ｓ７０）を行う。具体的には、所定の閾値以上の最大輝度を有する位置を特定し、それらが連続する位置を構造物が存在する箇所と判定する。特に、最も長く連続する位置を、主構造物の箇所とする。図６は、最大輝度シルエットに対する閾値の例を示す図である。

構造物諸元判定処理部７は、所定の閾値を越える最大輝度値を有する列が連続する間を、前記所定の方向に連続する構造物による目標上の構造特徴と判定するように構成されている。そして、前記列が連続する間の列数（画素数）に解像度を乗じることにより構造物長を求め、更に、基準点（目標物始点等）から前記列が連続する間の端列の位置までの列数（画素数）に解像度を乗じることにより構造物の端位置を求める。

最後に、図２に示すように、判定結果書込処理部８による判定結果書込処理（Ｓ８０）を行う。構造物と判定された箇所について、長さ（構造物長）、主成分方向の端点（構造物位置）をハードディスクあるいはテンポラリ領域へ書き込む。これにより、判定結果の出力が可能となる。

実施の形態２．
本実施の形態では、構造特徴抽出処理を用いて、目標間の同一性を判定する同一目標判定処理について説明する。

図７は、構造特徴を用いた同一目標判定装置の構成を示す図である。同一目標判定装置は、目標選定処理部１０１、構造特徴抽出処理部１０２、及び目標判定処理部１０３を有している。尚、構造特徴抽出処理部１０２は、図１に示した構造特徴抽出装置に相当する。

続いて、動作について説明する。図８は、構造特徴を用いた同一目標判定の処理フローを示す図である。

まず、目標選定処理部１０１による目標選定処理（Ｓ１１０）を行う。この処理により、目標判定の対象となる２つの目標を選定する。これらの目標は必ずしも画像である必要
は無く、あらかじめデータベースに格納されている全長、全幅、構造物長等の諸元であっても構わない。

次に、選定した目標画像について、構造特徴抽出処理部１０２による構造特徴抽出処理（Ｓ１２０）を行う。これは、図２に示した処理である。これにより、目標の全長・全幅・構造特徴（構造物長、構造物位置）を抽出する。

最後に、目標判定処理部１０３による目標判定処理（Ｓ１３０）を行う。この処理では、主成分分析処理により求められた全長・全幅、および構造特徴抽出処理により求められた構造特徴を用いて、目標間が同一（同型）であるか否か判定する。

目標の略例を用いて、同一の判定について説明する。図９は、二つの目標の略例を示す図である。

目標Ａと目標Ｂの全長・全幅、及び構造物長を用いることで、コンピュータによって目標が同一（同型）であるかを判定する。例えば、以下の条件式１から条件式３までをすべて満たす場合に、目標Ａと目標Ｂは同一（同型）の目標であると判定する。
Ｌｅｎｇｔｈ＿Ａ＝Ｌｅｎｇｔｈ＿Ｂ （条件式１）
Ｂｒｅａｄｔｈ＿Ａ＝Ｂｒｅａｄｔｈ＿Ｂ （条件式２）
Ｂｒｉｄｇｅ＿Ａ＝Ｂｒｉｄｇｅ＿Ｂ （条件式３）
つまり、全長、全幅、及び構造物長が一致する場合に、同一と判定する。

なお、条件式１、条件式２、条件式３では判定を”＝”としたが、目標Ａ、目標Ｂの差がある閾置以下のものを同一（同型）と判定することも可能である。

この例に拠らず、条件式１、条件式２、条件式３のいずれかのみの条件でも判定できる。また、条件式１と条件式２を満たす条件、条件式１と条件式３を満たす条件、あるいは条件式２と条件式３を満たす条件でも有効である。

上述の条件に、更に、構造物位置が一致する条件式を加えることも有効である。

上述の構造特徴抽出装置と同一目標判定装置は、いずれもコンピュータであり、各要素はプログラムにより処理を実行することができる。また、プログラムを記憶媒体に記憶させ、記憶媒体からコンピュータに読み取られるようにすることができる。

構造特徴抽出装置の構成を示す図である。 構造特徴抽出の処理フローを示す図である。 目標画像の例を示す図である。 輝度分布図の例を示す図である。 受光側分割輝度分布図と最大輝度シルエットの例を示す図である。 最大輝度シルエットに対する閾値の例を示す図である。 構造特徴を用いた同一目標判定装置の構成を示す図である。 構造特徴を用いた同一目標判定の処理フローを示す図である。 二つの目標の略例を示す図である。 目標画像の例を示す図である。 二つの目標の略例を示す図である。

符号の説明

１ 画像読込処理部、２ 主成分分析処理部、３ リサンプリング処理部、４
画像分割処理部、５ 受光側判定処理部、６ 最大輝度シルエット算出処理部、７ 構造物諸元判定処理部、８ 判定結果書込処理部、９ 目標画像記憶部、１０ 輝度分布記憶部、１１ 分割輝度分布記憶部、１０１ 目標選定処理部、１０２ 構造特徴抽出処理部、１０３ 目標判定処理部。

Claims (7)

1. 船首と船尾とを有する船舶の前記船尾から船首への方向を船舶の方向とし、前記船舶の方向と直交する方向を列とし、複数の列を有し前記複数の列の各列が前記船舶の方向と直交する方向に複数の画素を有する船舶の画像であって、複数の画素の各画素が輝度値を有する船舶の画像から船舶の構造特徴を抽出する構造特徴抽出装置において、
   前記船舶の画像を入力し、入力した船舶の画像が有する前記複数の列ごとに複数の画素が有する輝度値から最大輝度値を求め、前記各列に対する最大輝度値を求める最大輝度シルエット算出処理部と、
   前記最大輝度シルエット算出処理部により求められた各列に対する最大輝度値が所定の閾値を越える連続する複数の列を、船舶上の構造物による構造特徴として判定する構造物諸元判定処理部と
   を備えることを特徴とする構造特徴抽出装置。
2. 前記構造物諸元判定処理部は、前記構造特徴とした連続する複数の列の列数に画素あたりの長さを乗算して構造物長を算出することを特徴とする請求項１記載の構造特徴抽出装置。
3. 前記構造物諸元判定処理部は、船舶の始点の列の位置と前記構造特徴とした連続する列のうち端にある端列の位置とに基づいて、船舶の方向における船舶の始点から端列までの長さを構造物の端位置として算出することを特徴とする請求項１又は２記載の構造特徴抽出装置。
4. 構造特徴抽出装置は、更に、前記船舶の方向と平行な線であって、かつ、前記船舶の画像を２分割する線を中心線として、前記中心線に沿って２分割される船舶の画像から、太陽光を受ける受光側の画像を前記複数の画素が有する輝度値に基づいて判定する受光側判定部を有し、
   最大輝度シルエット算出処理部は、前記受光側判定部が判定した受光側の画像に含まれる複数の画素のみを用いて前記各列に対する最大輝度値を求めることを特徴とする請求項１から３いずれかに記載の構造特徴抽出装置。
5. 請求項１記載の構造特徴抽出装置を備え、
   前記構造特徴抽出装置は、複数の船舶の画像を入力して、各船舶に対して複数の構造特徴を判定し、
   前記複数の構造特徴に基づいて、複数の船舶の画像間において船舶の同一を判定する目標判定処理部を有することを特徴とする同一目標判定装置。
6. 船首と船尾とを有する船舶の前記船尾から船首への方向を船舶の方向とし、前記船舶の方向と直交する方向を列とし、複数の列を有し前記複数の列の各列が前記船舶の方向と直交する方向に複数の画素を有する船舶の画像であって、複数の画素の各画素が輝度値を有する船舶の画像から船舶の構造特徴を抽出する構造特徴抽出装置の構造特徴抽出方法において、
   最大輝度シルエット算出処理部により、前記船舶の画像を入力し、入力した船舶の画像が有する前記複数の列ごとに複数の画素が有する輝度値から最大輝度値を求め、前記各列に対する最大輝度値を求める最大輝度シルエット算出工程と、
   構造物諸元判定処理部により、前記最大輝度シルエット算出工程により求められた各列に対する最大輝度値が所定の閾値を越える連続する複数の列を、船舶上の構造物による構造特徴として判定する構造物諸元判定工程と
   を有することを特徴とする構造特徴抽出方法。
7. 船首と船尾とを有する船舶の前記船尾から船首への方向を船舶の方向とし、前記船舶の方向と直交する方向を列とし、複数の列を有し前記複数の列の各列が前記船舶の方向と直交する方向に複数の画素を有する船舶の画像であって、複数の画素の各画素が輝度値を有する船舶の画像から船舶の構造特徴を抽出する構造特徴抽出装置であるコンピュータに、
   最大輝度シルエット算出処理部により、前記船舶の画像を入力し、入力した船舶の画像が有する前記複数の列ごとに複数の画素が有する輝度値から最大輝度値を求め、前記各列に対する最大輝度値を求める最大輝度シルエット算出処理と、
   構造物諸元判定処理部により、前記最大輝度シルエット算出処理により求められた各列に対する最大輝度値が所定の閾値を越える連続する複数の列を、船舶上の構造物による構造特徴として判定する構造物諸元判定処理と
   を実行させることを特徴とするプログラム。

Images