実施の形態1.
図1は、実施の形態1に係る目標識別装置1の構成例を示すブロック図である。図1において、目標識別装置1は、例えばISARによって生成されたレーダ動画像を入力し、レーダ動画像から目標の識別に適したフレームを選択して、選択したフレームのレーダ画像に基づいて目標を識別する。ここで、レーダ動画像とは、観測時刻順の複数のフレームのレーダ画像からなるレーダ画像の時系列データである。なお、目標の識別とは、目標の種類を特定することを意味する。
目標識別装置1は、図1に示すように、レーダ画像格納部2、特徴量算出部3、時間変動特性算出部4、フレーム選択部5および目標識別部6を備える。また、特徴量算出部3は、前処理部31、特徴量算出処理部32および特徴量格納部33を備える。目標識別部6は、目標識別処理部61および識別結果格納部62を備える。
レーダ画像格納部2は、レーダ動画像を格納する記憶装置である。例えば、レーダ画像格納部2は、ISARと接続しており、ISARによって生成された観測時刻順のN枚のレーダ画像Gnからなるレーダ動画像を格納する。ここで、Nは、レーダ動画像におけるレーダ画像の総枚数を示す2以上の整数である。nは、n=1,・・・,Nのいずれかに対応するレーダ画像を示す識別子である。レーダ画像格納部2は、図1に示すように目標識別装置1が備えてもよいし、目標識別装置1とは別に設けられた装置が備えてもよい。
特徴量算出部3は、レーダ画像格納部2からレーダ動画像を入力し、入力したレーダ動画像の各フレームのレーダ画像に写った目標の画像の特徴量を算出する。例えば、特徴量算出部3は、レーダ画像格納部2からN枚のレーダ画像Gnを取得し、N枚のレーダ画像Gnにそれぞれ写った目標の画像の特徴量Cnとして、種類が互いに異なる複数の特徴量Cn,j(n=1,・・・,N:j=1,・・・,J)を算出する。なお、Jは、目標の特徴量の種類の総数を示す1以上の整数である。jは、j=1,・・・,Jのいずれかに対応する目標の特徴量の種類を示す識別子である。
特徴量算出部3において、前処理部31は、レーダ画像格納部2から入力したレーダ画像Gnから2値化画像Bnを算出する。特徴量算出処理部32は、前処理部31によって算出された2値化画像Bnを用いて、レーダ画像Gnから、目標が写った画像領域である目標領域Rnを抽出する。特徴量算出処理部32は、目標領域Rnに含まれる複数の画素の値を用いて、種類が互いに異なる複数の特徴量Cn,jを算出する。例えば、特徴量算出処理部32は、特徴量Cn,1として目標領域Rnの重心gを算出し、特徴量Cn,2として目標領域Rnの形状を算出し、特徴量Cn,3として目標領域Rnの大きさを算出する。なお、これら以外の特徴量を追加してもよい。
特徴量格納部33は、特徴量算出処理部32によって算出された特徴量Cn,jを格納する。また、特徴量格納部33は、目標の画像の特徴量Cn,jが得られた2値化画像を格納してもよい。
時間変動特性算出部4は、特徴量算出部3によって算出された特徴量Cn,jの時間変動特性TFCjを示す時間変動特性情報を算出する。例えば、時間変動特性算出部4は、特徴量格納部33から(N×J)個の特徴量Cn,jを取得し、取得した(N×J)個の特徴量Cn,jを用いて、種類jについてのN個の特徴量C1,j~CN,jの時間変動特性TFCjを算出する。時間変動特性算出部4は、全ての種類j(j=1,・・・,J)について時間変動特性TFCjを算出すると、J個の時間変動特性TFC1~TFCJを示す時間変動特性情報を、フレーム選択部5に出力する。
フレーム選択部5は、特徴量算出部3によって算出された特徴量と、時間変動特性算出部4によって算出された時間変動特性情報とを用いて、レーダ動画像から、目標の識別に用いられるレーダ画像のフレームを選択する。
例えば、フレーム選択部5は、特徴量算出処理部32によって算出された(N×J)個の特徴量C1,1~Cn,jと、時間変動特性算出部4によって算出された時間変動特性TFCを示す時間変動特性情報とを用いて、レーダ動画像におけるN枚のレーダ画像Gnのうち、目標の識別に適したK枚のレーダ画像のフレームを選択する。フレーム選択部5は、選択したフレームに対応する時間変動特性TFC’を示す時間変動特性情報を、目標識別部6に出力する。時間変動特性TFC’は、フレーム選択部5によって選択されたフレームの2値化画像から得られた目標の画像の(K×J)個の特徴量C1,1~Ck,jを用いて算出されたものである。
目標識別部6は、フレーム選択部5によって選択されたフレームのレーダ画像に基づいて、目標を識別する。例えば、目標識別部6は、フレーム選択部5によって選択されたフレームのレーダ画像についての時間変動特性TFC’を示す時間変動特性情報を用いて、レーダ動画像に写った目標を識別する。目標識別部6において、目標識別処理部61は、フレーム選択部5から出力された時間変動特性TFC’を用いて、レーダ動画像に写った目標を識別する処理を行う。例えば、目標識別処理部61は、識別器611を備える。
識別器611は、時間変動特性TFC’と、目標の種類を示す教師データとを用いて、目標の種類を学習している学習モデルである。目標の種類は、例えば、艦種である。目標識別処理部61は、時間変動特性TFC’を識別器611に入力することにより、識別器611から目標の識別結果である艦種を取得し、目標の識別結果を、識別結果格納部62に出力する。
識別結果格納部62は、目標の識別結果を格納する。例えば、識別結果格納部62から読み出された艦船の識別結果は、表示装置に表示される。オペレータは、表示装置に表示された識別結果を参照することにより、目標の艦船の艦種を認識することが可能である。
実施の形態1に係る目標識別方法の一連の処理は、以下の通りである。
図2は、実施の形態1に係る目標識別方法を示すフローチャートであり、目標識別装置1によって行われる一連の処理手順を示している。まず、特徴量算出部3は、レーダ画像格納部2からN枚のレーダ画像Gnからなるレーダ動画像を取得し、レーダ画像Gnから目標の画像の特徴量C1,1~CN,jを算出する(ステップST1)。以下、目標識別方法の説明を簡単化するため、N枚のレーダ画像Gnに写る目標は同一の目標であるものとする。
時間変動特性算出部4は、特徴量算出部3により算出された特徴量C1,1~CN,jを取得し、特徴量C1,1~CN,jについての時間変動特性TFCjを算出する(ステップST2)。例えば、時間変動特性TFCjは、特徴量C1,1~CN,jの時間変動に関する統計量である。統計量には、N個の特徴量C1,j~CN,jの平均値、または、N個の特徴量C1,j~CN,jの分散値がある。
フレーム選択部5は、特徴量算出部3によって算出された特徴量C1,1~CN,jと時間変動特性算出部4によって算出された時間変動特性TFCjとを取得して、取得した特徴量C1,1~CN,jと時間変動特性TFCjとを用いて、レーダ動画像から目標の識別処理に用いる適切なフレームを選択する(ステップST3)。フレーム選択部5は、選択したフレームのレーダ画像に写った目標の画像の特徴量C1,1~CK,jを用いて算出された時間変動特性TFC’jを、目標識別部6に出力する。
目標識別部6は、フレーム選択部5から出力された時間変動特性TFC’jを用いて、目標を識別する(ステップST4)。例えば、目標識別処理部61は、時間変動特性TFC’jを識別器611に入力する。識別器611は、入力した時間変動特性TFC’jを用いて目標の種類を特定し、特定した目標の種類を、識別結果として出力する。識別器611から出力された目標の識別結果は、識別結果格納部62に格納される。
図3は、2値化画像の生成処理を示すフローチャートである。特徴量算出部3が備える前処理部31は、レーダ画像格納部2から取得したレーダ画像Gnを用いて、図3に示す処理手順で目標の2値化画像Bnを生成する。例えば、目標は、艦船である。
図4Aは、レーダ画像Gnの一例を示す図であり、前処理部31が取得するレーダ画像Gnを示している。図4Bは、図4Aのレーダ画像Gnから検出された目標のエッジを示す図である。図4Cは、図4Bのエッジに対する膨張処理後のエッジを示す図である。図4Dは、図4Cの目標領域に対する穴埋め処理後の目標領域を示す図である。図4Eは、図4Dの目標領域に対する収縮処理後の目標領域を示す図である。図4Aから図4Eに示す画像は、x-y平面上の2次元画像である。図4Aから図4Eにおいて、x軸は、レンジビンを示しており、y軸は、ドップラー周波数を示している。
レーダ画像Gnにおいて、輝度勾配が閾値以上である曲線部分は、目標の画像の輪郭を表すエッジを表している可能性が高い。そこで、前処理部31は、例えば、図4Aに示すレーダ画像Gnをレーダ画像格納部2から取得すると、レーダ画像Gnのうち、輝度勾配が閾値以上である曲線部分を目標のエッジとして検出する(ステップST1a)。なお、レーダ画像の輝度勾配は、例えば公知の技術を用いて算出される。
図4Bにおいて、目標のエッジを含む画像領域は、画素値が“1”の画素からなり、エッジを含まない画像領域は、画素値が“0”の画素からなる。図4Bに示す目標のエッジは、目標の輪郭である可能性が高い。しかしながら、図4Bに示す目標のエッジは、目標の輪郭を正確に表すものではない。そこで、前処理部31は、目標の正確な輪郭を求めるために、エッジの膨張処理を行う(ステップST2a)。エッジの膨張処理は、エッジを水平方向に膨張させる処理と、エッジを垂直方向に膨張させる処理との双方を含む。水平方向は、レーダ画像のx軸と平行な方向である。垂直方向は、レーダ画像のy軸と平行な方向である。
前処理部31によってエッジが膨張されると、図4Cに示すように膨張処理後のエッジと目標の輪郭とのギャップが低減される。レーダ画像Gnにおける目標領域は、膨張処理後のエッジで特定される目標が存在する領域である。当該目標領域には、画素値“0”の画素からなる多数の穴が存在している。そこで、前処理部31は、図4Dに示すように、目標領域に対して穴埋め処理を行う(ステップST3a)。
エッジの膨張処理によって目標領域は拡大されている。このため、穴埋め処理後の目標領域を、レーダ画像Gnにおける目標領域の大きさに揃える必要がある。そこで、前処理部31は、穴埋め処理後の目標領域の大きさが、レーダ画像Gnにおける目標領域と揃うように、穴埋め処理後の目標領域の収縮処理を行う(ステップST4a)。
収縮処理において、前処理部31は、目標のエッジを表す画素である、画素値“1”の画素の一つを注目画素とし、注目画素の周囲にある4つの画素のうちいずれか1つ以上の画素が画素値“0”の画素であれば、注目画素を画素値“0”の画素に置き換える。これにより、図4Eに示す穴埋め処理後の目標領域を含む2値化画像が得られる。
注目画素の周囲に存在する4つの画素は、注目画素の上側、下側、左側および右側に存在する画素である。なお、注目画素の上側に存在する画素は、注目画素における垂直方向上側の隣接画素であり、注目画素の下側に存在する画素は、注目画素における垂直方向下側の隣接画素である。注目画素の左側に存在する画素は、注目画素における水平方向左側の隣接画素であり、注目画素の右側に存在する画素は、注目画素における水平方向右側の隣接画素である。この後、前処理部31は、収縮処理後の目標領域を示す画像データを、目標の2値化画像Bnとして特徴量算出処理部32に出力する。
特徴量算出処理部32は、レーダ画像格納部2から、N枚のレーダ画像Gnを取得し、前処理部31から、N枚の2値化画像Bnを取得する。特徴量算出処理部32は、2値化画像Bn(n=1,・・・,N)を用いてレーダ画像Gnから目標領域Rnを抽出する。図5は、レーダ画像Gnから目標領域Rnを抽出する処理および目標の画像の特徴量Cnを算出する処理の概要を示す説明図である。特徴量算出処理部32は、図5に示すように、2値化画像Bnをレーダ画像Gnのマスク画像として用いることにより、レーダ画像Gnから、目標領域Rnを抽出する。特徴量算出処理部32が、2値化画像Bnをレーダ画像Gnのマスク画像として用いることで、目標領域の外側の領域における不要な信号が除外される。不要な信号は、例えば、ノイズまたはクラッタである。
続いて、特徴量算出処理部32は、目標領域Rnに含まれる複数の画素の値から、目標の画像の特徴量C1,1~CN,jを算出する。目標領域Rnに含まれる複数の画素の値は、例えば、振幅値である。目標の画像の特徴量C1,1~CN,jは、例えば目標領域Rnの重心、目標領域Rnの形状または目標領域Rnの大きさである。図5に示す例では、目標の画像の特徴量Cnとして、目標領域Rnの重心gが算出されている。特徴量算出処理部32は、特徴量の種類をJ個とした場合、(N×J)個の特徴量C1,1~CN,jを特徴量格納部33に格納する。また、特徴量格納部33には、目標の画像の特徴量Cnが算出された2値化画像Bnも格納される。
図6Aは、目標が艦船である場合におけるレーダ画像Gnに写った艦船の画像の特徴量Cnの時間変動を示す図である。また、図6Bは、図6Aの艦船の画像の特徴量Cnの時間変動特性を示すグラフである。目標の姿勢は、目標の動揺によって変化する。目標の姿勢が変化すると、レーダ(例えばISAR)によって照射された電波が目標で反射して受信された反射信号の信号形状も変化する。このため、種類が互いに異なる目標であっても、ほぼ同じ特徴量が算出されることがある。
例えば、図8Aに示すように、艦種Sh1と艦種Sh2とが、異なる艦種であるにもかかわらず、時刻t=1で観測された両艦種の艦船が写ったレーダ画像においては、特徴量が、ほぼ同じである。しかしながら、時刻t=2においては、艦種がSh1である艦船の画像の特徴量Cと、艦種がSh2である艦船の画像の特徴量Cとが、異なっている。これは、図6Bに示すように、時刻t=1においては、艦種Sh1の艦船で反射された信号のドップラー広がりと、艦種Sh2の艦船で反射された信号のドップラー広がりとが、ほぼ同じであることに起因する。
時刻t=2においては、図6Bに示すように、艦種Sh1の艦船で反射された信号のドップラー広がりと、艦種Sh2の艦船で反射された信号のドップラー広がりとが、大きく異なっている。このため、図6Aに示すように、艦種Sh1の特徴量Cと、艦種Sh2の特徴量Cとが、大きく異なっている。このように、レーダ画像Gnに写った目標の画像の特徴量Cnは、時間変動特性を有する。
そこで、時間変動特性算出部4は、特徴量格納部33から取得した(N×J)個の特徴量Cn,jのうち、種類jについてのN個の特徴量C1,j~CN,jに関する時間変動特性TFCjを算出する。特徴量C1,1~CN,jに関する時間変動特性TFCjは、例えば、N個の特徴量C1,j~CN,jの平均値または分散値である。時間変動特性算出部4は、全ての種類j(j=1,・・・,J)についての時間変動特性TFCjを算出すると、J個の時間変動特性TFC1~TFCJをフレーム選択部5に出力する。また、時間変動特性算出部4は、目標の画像の特徴量Cnが算出された2値化画像Bnもフレーム選択部5に出力する。
図7は、レーダ動画像からレーダ画像のフレームを選択する処理を示すフローチャートである。まず、フレーム選択部5は、特徴量算出部3の特徴量算出結果が正しいか否かを判定する(ステップST1b)。この処理は、目標の2値化画像Bnを用いて目標の画像の特徴量Cnが正しく算出されたかどうかを確認するものである。図8Aは、目標領域の2値化画像を示す図であり、図8Bは、目標領域を抽出できなかった場合の2値化画像を示す図である。
図8Aに示す2値化画像においては、目標の形状が正しく現れているので、目標の画像の特徴量は正しく算出される。一方、図8Bに示す2値化画像においては、目標の形状がほとんど現れておらず、目標の画像の特徴量が誤って算出される可能性が高い。例えば、目標からの反射信号の受信電力に対してクラッタまたはノイズの電力が大きくなるほど、前処理部31は、反射信号の受信電力の閾値比較によって、クラッタまたはノイズ成分を誤って抽出しやすくなる。その結果、図8Bに示すような、目標の形状およびその境界(輪郭)が不明瞭な2値化画像が得られる。このような2値化画像からは、目標の画像の特徴量を正しく算出することができない。
そこで、フレーム選択部5は、2値化画像における白色領域の面積が一定の範囲内の値であるか否かに基づいて、当該2値化画像を用いて特徴量Cnが正しく算出されたか否かを判定する。例えば、白色領域の面積が一定の範囲内の値であれば、2値化画像に目標の形状が正しく現れており、特徴量Cnが正しく算出されたと判定される。また、白色領域の面積が一定の範囲を超えた値である場合、クラッタまたはノイズ成分による白色領域が広く、目標の形状がほとんど現れていないため、特徴量Cnが正しく算出されなかったと判定される。
また、フレーム選択部5は、2値化画像における目標領域の重心位置が一定の範囲内であるか否かに基づいて、当該2値化画像を用いて特徴量Cnが正しく算出されたか否かを判定してもよい。例えば、2値化画像から、目標から推定される移動範囲から外れた位置に目標領域が抽出された場合に、抽出された領域は、目標に由来するものではないと推定することができる。
そこで、目標領域の重心位置が一定の範囲内であれば、2値化画像に目標が正しく現れており、特徴量Cnが正しく算出されたと判定される。目標領域の重心位置が一定の範囲から外れた場合、この領域は、クラッタまたはノイズ成分による領域であると判断されるため、特徴量Cnが正しく算出されなかったと判定される。
なお、2値化画像における白色領域の面積と比較する一定の範囲および目標領域の重心位置と比較する一定の範囲は、例えばレーダ画像から求めた目標の画像の特徴量の統計値に基づいて決定される。
フレーム選択部5は、目標の画像の特徴量Cnが正しく算出されていると判定した場合(ステップST1b;YES)、目標の画像の特徴量Cnが正しく算出された2値化画像が得られたレーダ画像のフレームを選択する(ステップST2b)。また、フレーム選択部5は、目標の画像の特徴量Cnが正しく算出されていないと判定した場合(ステップST1b;NO)、目標の画像の特徴量Cnが正しく算出されなかった2値化画像が得られたレーダ画像のフレームを選択しない(ステップST3b)。この後、フレーム選択部5は、ステップST4bの処理に移行する。
次に、フレーム選択部5は、レーダ画像格納部2から取得されたレーダ動画像における全てのレーダ画像Gnについて、前述のフレーム選択の判定を実施したか否かを判定する(ステップST4b)。フレーム選択部5は、全てのレーダ画像Gnについてフレーム選択判定を実施した場合(ステップST4b;YES)、ステップST5bの処理に移行する。また、未実施のレーダ画像がある場合(ステップST4b;NO)、フレーム選択部5は、ステップST1bに戻り、未実施のレーダ画像に対して前述した一連の処理を実施する。
フレーム選択部5は、N枚(Nフレーム)のレーダ画像のうち、Kフレーム分のレーダ画像を選択した場合、K種類の特徴量C1,1~CK,jを用いて算出された時間変動特性TFC’jを目標識別部6に出力する(ステップST5b)。時間変動特性TFC’jは、時間変動特性算出部4によって算出されたものを用いてもよいし、フレーム選択部5が、特徴量C1,1~CK,jを用いて、時間変動特性算出部4と同じ処理手順で算出してもよい。
また、フレーム選択部5によって選択されたフレームの数が許容下限値Kmin未満であった場合、フレーム選択部5は、目標識別に用いるにはフレームの数が少ないと判断し、レーダ動画像からKmin以上のフレームを選択するまで、目標識別部6の処理開始を停止させてもよい。
目標識別部6において、目標識別処理部61は、フレーム選択部5から取得した時間変動特性TFC’jを用いて、目標を識別する。目標識別処理部61は、目標の識別結果を識別結果格納部62に出力する。目標の識別結果は、識別結果格納部62に格納される。例えば、目標の識別結果は、目標識別処理部61が備える識別器611によって求められる。目標が艦船である場合、識別器611は、艦種を示す教師データを用いて、艦種と、目標の画像の特徴量Cnの時間変動特性TFCとの関係が学習された学習モデルである。
目標識別装置1の機能を実現するハードウェア構成は、以下の通りである。
図9は、目標識別装置1の機能を実現するハードウェア構成を示すブロック図である。また、図10は、目標識別装置1の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図9および図10において、記憶装置100は、レーダ画像格納部2の機能を実現する記憶装置である。また、記憶装置100は、レーダ画像格納部2の他に、特徴量格納部33および識別結果格納部62の機能を実現する記憶装置であってもよい。また、記憶装置100は、目標識別装置1とは別に設けられた装置であってもよい。この場合、記憶装置100がレーダ画像格納部2、特徴量格納部33および識別結果格納部62を備え、目標識別装置1は、無線または有線の通信を介して記憶装置100から、レーダ動画像データなどを取得する。
目標識別装置1が備える特徴量算出部3、時間変動特性算出部4、フレーム選択部5および目標識別部6の機能は処理回路によって実現される。すなわち、目標識別装置1は、図2に示したステップST1からステップST4の各処理を実行する処理回路を備える。処理回路は、専用のハードウェアであってもよいし、メモリに記憶されたプログラムを実行するCPU(Central Processing Unit)であってもよい。
処理回路が、図9に示す専用のハードウェアの処理回路101である場合に、処理回路101は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、または、これらを組み合わせたものが該当する。目標識別装置1が備える特徴量算出部3、時間変動特性算出部4、フレーム選択部5および目標識別部6の機能は、別々の処理回路で実現されてもよく、これらの機能がまとめて1つの処理回路で実現されてもよい。
処理回路が、図10に示すプロセッサ102である場合に、目標識別装置1が備える特徴量算出部3、時間変動特性算出部4、フレーム選択部5および目標識別部6の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ103に記憶される。
プロセッサ102は、メモリ103に記憶されたプログラムを読み出して実行することにより、特徴量算出部3、時間変動特性算出部4、フレーム選択部5および目標識別部6の機能を実現する。例えば、目標識別装置1は、プロセッサ102によって実行されるときに、図2に示したステップST1からステップST4の各処理が結果的に実行されるプログラムを記憶するメモリ103を備える。これらのプログラムは、特徴量算出部3、時間変動特性算出部4、フレーム選択部5および目標識別部6の手順または方法をコンピュータに実行させる。メモリ103は、コンピュータを、特徴量算出部3、時間変動特性算出部4、フレーム選択部5および目標識別部6として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
記憶装置100は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically-EPROM)などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVDなどが該当する。
特徴量算出部3、時間変動特性算出部4、フレーム選択部5および目標識別部6の機能の一部が専用のハードウェアによって実現され、残りの一部がソフトウェアまたはファームウェアによって実現されてもよい。例えば、目標識別部6は専用のハードウェアである処理回路101によって機能が実現され、特徴量算出部3、時間変動特性算出部4およびフレーム選択部5は、プロセッサ102がメモリ103に記憶されたプログラムを読み出して実行することによって機能が実現される。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって、上記機能を実現することができる。
なお、これまで説明した目標識別装置1は、哨戒機に搭載されて、ISARを利用して艦船を識別する装置を想定している。ただし、これは一例に過ぎない。例えば、目標識別装置1は、哨戒機の母艦に搭載されてもよい。この場合、哨戒機に搭載されたISARがレーダ画像を生成し、レーダ画像データを母艦に送信する。母艦に搭載された目標識別装置1は、哨戒機から受信したレーダ画像データを用いて艦船を識別し、艦船の識別結果を哨戒機へ送信する。
図6Aおよび図6Bにおいて、艦船の姿勢の変化に起因して、艦種が互いに異なる艦船であっても、艦船の画像の特徴量が同じように算出されることを示した。これを防ぐために、目標識別装置1は、目標の画像の特徴量に関する時間変動特性情報を用いて、レーダ動画像から目的の識別に適したフレームを選択している。これは、艦船の姿勢以外の変化に起因して艦種が互いに異なる艦船の画像の特徴量が同じように算出された場合においても適用可能である。
以上のように、実施の形態1に係る目標識別装置1は、レーダ動画像の各フレームのレーダ画像に写った目標の画像の特徴量を算出する特徴量算出部3と、目標の画像の特徴量に関する時間変動特性情報を算出する時間変動特性算出部4と、レーダ画像に写った目標の画像の特徴量および時間変動特性情報を用いて、レーダ動画像から、目標の識別に用いられるレーダ画像のフレームを選択するフレーム選択部5と、選択したフレームのレーダ画像に基づいて目標を識別する目標識別部6を備える。これにより、目標識別装置1は、レーダ動画像から、目標の識別に適したフレームのレーダ画像を自動で選択することができる。
実施の形態1に係る目標識別装置1において、目標識別部6は、時間変動特性情報を入力して、レーダ動画像から目標を識別するための識別器611を備える。識別器611を用いることによって、目標識別装置1は、時間変動特性情報に基づいて目標を正確に識別することが可能である。
実施の形態2.
図11は、実施の形態2に係る目標識別装置1Aの構成例を示すブロック図である。図11において、図1と同一の構成要素には同一の符号を付して説明を省略する。目標識別装置1Aは、特徴量算出部3、時間変動特性算出部4、フレーム選択部5Aおよび目標識別部6を備える。
フレーム選択部5Aは、特徴量算出部3によって算出された目標の画像の(N×J)個の特徴量Cnと、時間変動特性算出部4によって算出された当該特徴量に関する時間変動特性TFCとを用いて、N枚のレーダ画像Gnから、目標の識別に適したKフレーム分のレーダ画像を選択する。フレームの選択処理において、フレーム選択部5Aは、目標の画像の特徴量の算出結果が正しいか否かの条件判定に加えて、レーダ画像のぼけの度合いを判定する。フレーム選択部5Aは、これらの判定結果に基づいて、フレームを選択し、選択したフレームに対応する時間変動特性TFC’jを目標識別部6に出力する。なお、時間変動特性TFC’jは、選択したKフレーム分のK種類の目標の画像の特徴量を用いて算出された時間変動特性である。
図12は、実施の形態2における、レーダ動画像からレーダ画像のフレームを選択する処理を示すフローチャートであり、フレーム選択部5Aによって実施される一連の処理を示している。フレーム選択部5Aは、特徴量の算出結果が正しいか否かの条件判定に加えて、レーダ画像のぼけの有無を判定した結果に基づいて、目標の識別に用いられる適切なフレームを選択する。図12におけるステップST1c、ステップST5cおよびステップST6cの処理は、図7におけるステップST1b、ステップST4bおよびステップST5bの処理と同じであるので、説明を省略する。
時間変動特性算出部4は、全ての種類j(j=1,・・・,J)についての時間変動特性TFCjをフレーム選択部5に出力する。さらに、時間変動特性算出部4は、目標の画像の特徴量Cnが算出された2値化画像Bnを、フレーム選択部5Aに出力する。フレーム選択部5Aは、2値化画像Bnを用いて目標の画像の特徴量Cnが正しく算出されていると判定した場合(ステップST1c;YES)、当該2値化画像Bnが得られたレーダ画像のぼけの程度が低いか否かを判定する(ステップST2c)。
フレーム選択部5Aは、レーダ画像のぼけの度合いが低いと判定した場合(ステップST2c;YES)、レーダ動画像から、当該レーダ画像のフレームを選択する(ステップST3c)。フレーム選択部5Aは、レーダ画像のぼけの度合いが低くないと判定した場合(ステップST2c;NO)、当該レーダ画像のフレームを選択しない(ステップST4c)。この後、フレーム選択部5Aは、ステップST5cの処理に移行する。
図13Aは、ぼけの度合いが低いレーダ画像を示す図であり、目標が存在する画像領域にぼけがない画像例を示している。また、図13Bは、ぼけの度合いが低くないレーダ画像を示す図であり、目標が存在する画像領域がドップラー周波数方向にぼけている画像例を示している。図13Aおよび図13Bにおいて、横軸はレンジ方向を示しており、縦軸はドップラー周波数方向を示している。レーダ画像が極端にぼけていると、当該レーダ画像からは、ドップラー周波数の変動量などの一部の特徴量が正しく算出されなくなり、識別器611が目標を誤って識別する原因となり得る。このため、フレーム選択部5Aは、ぼけがあるレーダ画像のフレームを選択しない。
フレーム選択部5Aは、ISARにおけるドップラー周波数分解能の測定値Δdpobsと、レーダ諸元のドップラー周波数分解能の理論値Δdpresとを比較することにより、両者の比(Δdpobs/Δdpres)が一定値以上であれば、レーダ画像のぼけの度合いが低くない(ぼけあり)と判定し、両者の比が一定値未満であれば、レーダ画像のぼけの度合いが低い(ぼけなし)と判定する。例えば、フレーム選択部5Aは、ISARによって目標からの反射信号が受信されたときの電力のピークを抽出し、ピーク電力から3dB低下するまでのドップラー周波数軸上の半値幅を計測することによって、ドップラー周波数分解能の測定値を算出する。この測定値の算出には、複数のピーク点が用いられる場合もある。
フレーム選択部5Aは、Nフレームのレーダ画像からKフレーム分のレーダ画像を選択すると、K種類の特徴量C1,1~CK,jを用いて算出された時間変動特性TFC’jを、目標識別部6に出力する。時間変動特性TFC’jは、時間変動特性算出部4によって算出されたものを用いてもよいし、フレーム選択部5Aが、特徴量C1,1~CK,jを用いて、時間変動特性算出部4と同じ処理手順で算出してもよい。
また、フレーム選択部5Aによって選択されたフレームの数が許容下限値Kmin未満であった場合、フレーム選択部5Aは、目標識別に用いるにはフレームの数が少ないと判断し、レーダ動画像からKmin以上のフレームを選択するまで、目標識別部6の処理開始を停止させてもよい。
なお、目標識別装置1Aが備える、特徴量算出部3、時間変動特性算出部4、フレーム選択部5Aおよび目標識別部6の機能は、処理回路によって実現される。すなわち、目標識別装置1Aは、図2に示したステップST1からステップST4の各処理を実行するための処理回路を備える。処理回路は、図9に示した専用のハードウェアである処理回路101であってもよいし、図10に示したメモリ103に記憶されたプログラムを実行するプロセッサ102であってもよい。また、レーダ画像格納部2、特徴量格納部33および識別結果格納部62は、目標識別装置1Aとは別に設けられた外部装置が備えてもよい。この場合、目標識別装置1Aは、無線または有線の通信を介して上記外部装置から、レーダ動画像データなどを取得する。
以上のように、実施の形態2に係る目標識別装置1Aにおいては、フレーム選択部5Aが、レーダ画像のぼけの度合いに基づいて、レーダ動画像からフレームを選択する。例えば、ぼけの度合いが低いレーダ画像のフレームは選択されて、ぼけの度合いが高いレーダ画像のフレームは選択されない。実際のISARによる艦船の観測においては、例えば、ランダムな波の動揺または海面クラッタの影響を受けることにより、ISAR画像に極端なぼけまたはぶれが発生し、ISAR画像がフォーカスしない場合がある。特許文献1に記載された従来の装置は、このようなISAR画像の入力が全く考慮されていない。このため、フォーカスしていないISAR画像を用いて目標の識別が行われ、目標の識別精度が劣化する。これに対し、目標識別装置1Aは、レーダ画像のぼけの度合いに基づいて、目標の識別に用いるフレームを選択する。これにより、フォーカスしないISAR画像が処理対象から除外されるので、目標の識別を正確に行うことが可能である。さらに、目標識別装置1Aは、実施の形態1と同様に、レーダ動画像から目標の識別に適したフレームのレーダ画像を自動で選択することができる。
実施の形態3.
図14は、実施の形態3に係る目標識別装置1Bの構成例を示すブロック図である。図14において、図1と同一の構成要素には同一の符号を付して説明を省略する。目標識別装置1Bは、特徴量算出部3、時間変動特性算出部4、フレーム選択部5Bおよび目標識別部6Aを備える。
フレーム選択部5Bは、特徴量算出部3によって算出された目標の画像の(N×J)個の特徴量Cnと、時間変動特性算出部4によって算出された当該特徴量に関する時間変動特性TFCとを用いて、N枚のレーダ画像Gnから、目標の識別に適したKフレーム分のレーダ画像を選択する。フレームの選択処理において、フレーム選択部5Bは、目標の画像の特徴量の算出結果が正しいか否かの条件判定と、レーダ画像のぼけの度合いの判定とに加えて、レーダ画像における目標の信号欠損の度合いを示す信号欠損情報に基づいて、レーダ動画像からフレームを選択する。
目標の信号欠損は、レーダ画像における目標の画像領域の形状が欠損する現象であり、例えば、海面クラッタなどがISARによる目標観測に影響を与えることにより生じる。フレーム選択部5Bは、選択したフレームに対応する時間変動特性TFC’jと、レーダ画像Gnにおける目標の信号欠損の度合いを示す信号欠損情報とを、目標識別部6Aに出力する。なお、時間変動特性TFC’jは、選択したKフレーム分のK種類の目標の画像の特徴量を用いて算出された時間変動特性である。
目標識別部6Aは、目標識別処理部61Aおよび識別結果格納部62Aを備えており、目標識別処理部61Aは、複数の識別器、例えば識別器611-1,・・・,611-Nを備える。目標識別処理部61Aは、識別器611-1,・・・,611-Nの中から、フレーム選択部5Bによって判定された信号欠損情報に対応する識別器を選択して、選択した識別器を用いて目標を識別する。識別結果格納部62Aには、目標識別処理部61Aによって算出された目標の識別結果が格納される。
識別器611-1,・・・,611-Nは、艦種を示す教師データを用いて、艦種と、目標の画像の特徴量の時間変動特性TFCと信号欠損の度合いとの関係が学習された学習モデルである。ただし、識別器611-1,・・・,611-Nは、互いに異なる種類の識別器である。識別器の種類は、学習用データの違いに応じたものであってもよい。例えば、識別器611-1,・・・,611-Nには、一定値以上の度合いの信号欠損を含むレーダ画像を用いて学習された学習モデル、および一定値未満の度合いの信号欠損を含むレーダ画像を用いて学習された学習モデルが含まれる。
目標識別処理部61Aは、時間変動特性TFC’と、選択されたフレームに関する信号欠損情報とを、選択した識別器に与えることによって、当該識別器から、目標の識別結果として艦種を取得する。
図15は、実施の形態3における、レーダ動画像からレーダ画像のフレームを選択する処理を示すフローチャートであり、フレーム選択部5Bによって実施される一連の処理を示している。フレーム選択部5Bは、特徴量の算出結果が正しいか否かについての条件判定とレーダ画像のぼけの有無の判定に加え、レーダ画像における目標の信号欠損の度合いを判定した結果に基づいて、目標の識別に用いられる適切なフレームを選択する。
なお、図15におけるステップST1d、ステップST7dおよびステップST8dの処理は、図7におけるステップST1b、ステップST4bおよびステップST5bの処理と同じであり、図15におけるステップST2dおよびステップST4dは、図12におけるステップST2cおよびステップST4cの処理と同じであるので、説明を省略する。
フレーム選択部5Bは、レーダ画像のぼけの度合いが低いと判定した場合(ステップST2d;YES)、当該レーダ画像における目標の信号欠損の度合いが一定値以上であるか否かを判定する(ステップST3d)。フレーム選択部5Bは、目標の信号欠損の度合いが一定値以上であると判定した場合(ステップST3d;YES)、レーダ動画像から当該レーダ画像のフレームを選択する(ステップST5d)。ステップST5dにおいて選択されたフレームのレーダ画像は、目標の信号欠損の度合いが高いレーダ画像である。この場合、フレーム選択部5Bは、当該レーダ画像における信号欠損の度合いが高いことを示す信号欠損情報を、目標識別部6Aに出力する。
フレーム選択部5Bは、目標の信号欠損の度合いが一定値未満であると判定した場合(ステップST3d;NO)、レーダ動画像から当該レーダ画像のフレームを選択する(ステップST6d)。この後、フレーム選択部5Bは、ステップST7dの処理に移行する。ステップST6dにおいて選択されたフレームのレーダ画像は、目標の信号欠損の度合いが低いレーダ画像である。この場合、フレーム選択部5Bは、当該レーダ画像における信号欠損の度合いが低いことを示す信号欠損情報を、目標識別部6Aに出力する。
図16Aは、ISARによって生成されたレーダ画像における目標の信号欠損の度合いが一定値未満である2値化画像Bnを示す図である。図16Bは、ISARによって生成されたレーダ画像における目標の信号欠損の度合いが一定値以上である2値化画像を示す図である。図16Aおよび図16Bにおいて、横軸はレンジ方向を示しており、縦軸はドップラー周波数方向を示している。また、目標は、艦船である。
例えば、ISARによる艦船の観測が海面クラッタの影響を受けると、図16Bに示すように、船首または船尾の一部が隠れた形状を有した艦船の2値化画像が得られる場合がある。図16Aに示す2値化画像Bnを用いることで、信号欠損が小さい、レンジ方向の全長Aを、艦船の画像の特徴量として算出できる。しかしながら、図16Bに示す2値化画像Bnを用いると、同一の艦船であるにもかかわらず当該艦船の船首の一部が欠損して写っているので、艦船の画像の特徴量として、レンジ方向の全長がAよりも短いBが算出される。
2値化画像Bnの艦船形状のうち、ドップラー周波数方向に長いマストに対応する部分の位置を特定し、マスト位置から目標形状の最小レンジまでの長さまたはマスト位置から最大レンジまでの長さを算出する。艦船形状の信号欠損の度合いが高い場合、マスト位置から最小レンジまでの長さまたはマスト位置から最大レンジまでの長さが、艦船形状の信号欠損の度合いが低い場合よりも短くなる。
そこで、フレーム選択部5Bは、2値化画像Bnにおける、マスト位置から最小レンジまでの長さと、マスト位置から最大レンジまでの長さとの比を基準値と比較することで、両者のうち、いずれか一方が一定値以上短ければ、この2値化画像Bnにおける信号欠損の度合いが高いと判定する。上記基準値は、例えば、目標の方位角情報と艦種モデルとに基づいて設定される。
なお、フレーム選択部5Bは、2値化画像Bnにおける目標領域のドップラー周波数の最大値および最小値を用いて、目標の信号欠損の度合いを判定してもよい。
また、フレーム選択部5Bは、例えば、マスト位置から最小レンジまでの長さとマスト位置から最大レンジまでの長さとの比を算出することによって定量化し、これらの長さの比の値に応じて目標の信号欠損の度合いを区分的に表現してもよい。
フレーム選択部5Bは、Nフレームのレーダ画像からKフレーム分のレーダ画像を選択すると、K種類の特徴量C1,1~CK,jを用いて算出された時間変動特性TFC’jを、目標識別部6に出力する。時間変動特性TFC’jは、時間変動特性算出部4によって算出されたものを用いてもよいし、フレーム選択部5Bが、特徴量C1,1~CK,jを用いて、時間変動特性算出部4と同じ処理手順で算出してもよい。
また、フレーム選択部5Bによって選択されたフレームの数が許容下限値Kmin未満であった場合、フレーム選択部5Bは、目標識別に用いるにはフレームの数が少ないと判断し、レーダ動画像からKmin以上のフレームを選択するまで、目標識別部6Aの処理開始を停止させてもよい。
目標識別部6Aは、フレーム選択部5Bによって選択されたフレームにおける信号欠損情報と時間変動特性TFC’jとを取得し、取得した時間変動特性TFC’jを用いて、目標を識別する。例えば、識別器611-1,・・・,611-Nのいずれかは、目標の種類を示す教師データを用いて、目標の種類と、目標の信号欠損の有無を考慮した学習用データの時間変動特性とを学習した識別器である。なお、目標の信号欠損の度合いを区分的に設けて、学習用データの時間変動特性の種類を増やしてもよい。
目標識別処理部61Aは、識別器611-1,・・・,611-Nのうち、信号欠損情報を対応した識別器を選択し、選択した識別器によって算出された目標の識別結果である艦種情報を取得する。目標識別処理部61Aによって得られた艦種情報は、識別結果格納部62Aに格納される。
なお、目標識別装置1Bが備える特徴量算出部3、時間変動特性算出部4、フレーム選択部5Bおよび目標識別部6Aの機能は、処理回路によって実現される。すなわち、目標識別装置1Bは、図2に示したステップST1からステップST4の各処理を実行するための処理回路を備える。処理回路は、図9に示した専用のハードウェアの処理回路101であってもよいし、図10に示したメモリ103に記憶されたプログラムを実行するプロセッサ102であってもよい。また、レーダ画像格納部2、特徴量格納部33および識別結果格納部62Aは、目標識別装置1Bとは別に設けられた外部装置が備えてもよい。この場合、目標識別装置1Bは、無線または有線の通信を介して上記外部装置から、レーダ動画像データなどを取得する。
以上のように実施の形態3に係る目標識別装置1Bにおいて、フレーム選択部5Bが、特徴量算出部3によって算出された特徴量と、時間変動特性算出部4によって算出された時間変動特性情報とを用いて、レーダ画像における目標の信号欠損の度合いを判定して、レーダ画像における目標の信号欠損の度合いを示す信号欠損情報に基づいて、レーダ動画像からフレームを選択する。実際のISARによる艦船の観測においては、例えば、ランダムな波の動揺または海面クラッタの影響を受けることにより、ISAR画像において、反射信号の受信強度が低い部分に対応する目標形状の部分的な欠落を示す信号欠損が発生する場合がある。特許文献1に記載された従来の装置は、このようなISAR画像の入力が全く考慮されていない。このため、信号欠損のあるISAR画像を用いて目標の識別が行われ、目標の識別精度が劣化する。これに対し、目標識別装置1Bは、レーダ画像における目標の信号欠損の度合いに基づいて、目標の識別に用いるフレームを選択する。これにより、ISAR画像における信号欠損の度合いに応じて目標が識別されるので、目標の識別を正確に行うことが可能である。さらに、目標識別装置1Bは、実施の形態1と同様に、レーダ動画像から目標の識別に適したフレームのレーダ画像を自動で選択することができる。
また、実施の形態3に係る目標識別装置1Bにおいて、目標識別部6Aが、識別器611-1,・・・,611-Nから、フレーム選択部5Bによって判定された信号欠損情報に対応する識別器を選択し、選択した識別器を用いて目標を識別する。識別器611-1,・・・,611-Nのうち、信号欠損情報に対応する識別器を用いることによって、目標識別装置1Bは、目標を正確に識別することが可能である。
なお、各実施の形態の組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。