JP7221454B2 - 識別装置、学習装置およびモデル生成方法 - Google Patents

Description

本開示は、レーダ画像に写った目標の種別を識別する識別装置、学習装置およびモデル生成方法に関する。

逆合成開口レーダ（以下、ＩＳＡＲと記載する）によって得られた２次元レーダ画像を用いて、物体を識別する技術が知られている。ＩＳＡＲは、遠距離で移動する目標の観測に適したレーダモードである。ＩＳＡＲでは、レンジ方向を受信エコーの到達時間差で分離し、レンジ方向に直交するクロスレンジ方向を、目標の姿勢の変化によって生じるドップラ周波数差で分離することによって２次元レーダ画像を得ている。レンジ方向は、電波照射方向である。例えば、特許文献１には、ＩＳＡＲ画像を参照して艦船を類別する目標類別装置が記載されている。

特許文献１に記載された目標類別装置は、類別対象として選択したＩＳＡＲ画像と、艦級の特徴を表す複数の特徴情報のそれぞれとの類似度を算出し、算出した複数の類似度の分布状態に基づいて分布係数を算出する。そして、目標類別装置は、算出した分布係数を用いて、複数の類似度を艦級ごとに統合し、統合結果に基づいて、複数の艦級のうち、統合された類似度が高い艦級を表示する。

特開２０１２－２６９７６号公報

特許文献１に記載された目標類別装置において、類別対象のレーダ画像は、オペレータによって複数のレーダ画像から選択されていた。このため、オペレータが選択するレーダ画像によって識別性能が変わってしまうという課題があった。

本開示は上記課題を解決するものであり、オペレータが識別対象のレーダ画像を選択することなく、レーダ画像に写った物体の種別を識別することができる識別装置、学習装置およびモデル生成方法を得ることを目的とする。

本開示に係る識別装置は、連続した複数のフレームのレーダ画像であるレーダ動画像を、レーダ画像に写った物体の種別の識別に用いられる形式のデータに変換する前処理部と、形式が変換されたレーダ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、レーダ動画像から物体の種別を識別する識別部とを備え、前処理部は、レーダ動画像において、レーダ画像内の信号値を正規化し、信号値を正規化したレーダ画像からノイズを除去し、ノイズが除去されたレーダ画像に写った物体の部分画像をトリミングし、部分画像を学習済みモデルが要求するサイズにリサイズし、識別部は、前段に畳み込みニューラルネットワークが配置され、後段に再帰型ニューラルネットワークが配置されたネットワーク構造を有する機械学習モデルに対して、一定数分連続した複数のフレームのレーダ画像からトリミングされ、かつリサイズされた複数の部分画像を時系列順に一度に入力し、畳み込みニューラルネットワークが入力した部分画像から物体の視覚的な特徴を抽出し、再帰型ニューラルネットワークが部分画像から物体の時系列的な特徴を抽出して、抽出した物体の視覚的な特徴および時系列的な特徴に基づいてレーダ動画像から物体の種別を識別する。

本開示によれば、連続した複数のフレームのレーダ画像であるレーダ動画像が、レーダ画像に写った物体の種別の識別に用いられる形式のデータに変換され、形式を変換したレーダ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、レーダ動画像から物体の種別が識別される。これにより、本開示に係る識別装置は、オペレータが識別対象のレーダ画像を選択することなく、レーダ画像に写った物体の種別を識別することができる。

実施の形態１に係る識別装置を備えたレーダ画像処理システムの構成例を示すブロック図である。 実施の形態１に係る識別装置の動作を示すフローチャートである。 レーダ画像前処理の例を示すフローチャートである。 図４Ａは、未処理のレーダ画像を示す画像図であり、図４Ｂは、正規化したレーダ画像を示す画像図であり、図４Ｃは、ノイズを除去したレーダ画像を示す画像図であり、図４Ｄは、レーダ画像からトリミングされた部分画像を示す画像図であり、図４Ｅは、トリミングされた部分画像をリサイズした画像を示す画像図である。 学習済みモデルの例を示す概要図である。 図６Ａは、実施の形態１に係る識別装置の機能を実現するハードウェア構成を示すブロック図であり、図６Ｂは、実施の形態１に係る識別装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 実施の形態１に係る学習装置の構成例を示すブロック図である。 実施の形態１に係るモデル生成方法を示すフローチャートである。

実施の形態１．
図１は、レーダ画像処理システム１の構成例を示すブロック図である。レーダ画像処理システム１は、ｎ台のレーダ２－１，２－２，・・・，２－ｎから取得した受信信号に基づいてＩＳＡＲ動画像を生成し、生成したＩＳＡＲ動画像を用いて、ＩＳＡＲ画像に写る物体の種別を識別し、識別した物体の種別を出力するシステムである。ｎは１以上の整数である。目標の物体は、例えば、水上を航行する艦船である。ＩＳＡＲ動画像は、時間的に連続した複数のフレームのＩＳＡＲ画像からなるレーダ動画像である。ＩＳＡＲ動画像において、フレーム幅およびフレーム数は任意である。

図１に示すレーダ画像処理システム１は、レーダ２－１，２－２，・・・，２－ｎ、動画像生成部３、動画像格納部４、識別装置５、記憶部６、識別結果格納部７および表示部８を備える。また、識別装置５は、前処理部５１および識別部５２を備える。動画像格納部４、記憶部６および識別結果格納部７は、例えば、識別装置５とは別に設けられた記憶装置に設けられる。ただし、動画像格納部４、記憶部６および識別結果格納部７は、識別装置５が備えるメモリに設けられてもよい。動画像生成部３または表示部８は、識別装置５とは別に設けられた外部装置が備える構成要素であるが、識別装置５が備えてもよい。

レーダ２－１，２－２，・・・，２－ｎは、空間に電波を送信し、空間に存在する物体において反射された電波（エコー）を受信する送受信レーダである。動画像生成部３は、レーダ２－１，２－２，・・・，２－ｎによって受信されたエコーの信号を順次取得し、受信エコー信号を処理してフレームごとのＩＳＡＲ画像を生成することにより、ＩＳＡＲ動画像を生成する。動画像格納部４は、動画像生成部３によって生成されたＩＳＡＲ動画像を格納する。識別装置５には、動画像格納部４からＩＳＡＲ動画像が順次出力される。識別装置５に順次出力されるＩＳＡＲ動画像は、動画像格納部４に対して予め設定されたフレーム数分のＩＳＡＲ画像が連続したＩＳＡＲ動画像である。

識別装置５は、ＩＳＡＲ動画像を用いてＩＳＡＲ画像に写った物体の種別を識別する。記憶部６は、各種情報を記憶する。例えば、記憶部６には、識別装置５による物体の種別の識別に用いられる学習済みモデルが記憶される。識別結果格納部７には、識別装置５によって識別された物体の種別を示す情報が格納される。表示部８は、識別結果格納部７に格納された物体の種別の識別結果を表示する。

前処理部５１は、動画像格納部４から取得した複数のフレームのＩＳＡＲ画像からなるＩＳＡＲ動画像を、ＩＳＡＲ画像に写った物体の種別の識別に用いられる形式のデータに変換する。例えば、識別部５２が学習済みモデルを用いて物体の種別を識別する場合に、物体の種別の識別処理において識別部５２が用いる形式のデータとなるように、前処理部５１は、ＩＳＡＲ動画像における各ＩＳＡＲ画像を学習済みモデルが要求する画像サイズに変換する。また、前処理部５１は、学習済みモデルがＩＳＡＲ画像に写った物体の特徴を捉え易くするために、ＩＳＡＲ画像からノイズを除去し、ＩＳＡＲ画像における物体が写った部分をトリミングし、ＩＳＡＲ画像の明暗を強調する。

識別部５２は、前処理部５１によって形式が変換されたＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、ＩＳＡＲ動画像から物体の種別を識別する。例えば、識別部５２は、記憶部６に記憶された学習済みモデルを用いて、ＩＳＡＲ動画像から物体の種別を識別する。学習済みモデルは、一定数分連続した複数のフレームのＩＳＡＲ画像を一度に入力し、ＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、入力した複数のＩＳＡＲ画像から物体の種別を識別するための学習済みモデルである。

学習済みモデルは、例えば、畳み込みニューラルネットワーク（以下、ＣＮＮと記載する）と、再帰型ニューラルネットワーク（以下、ＲＮＮと記載する）とが組み合わされたネットワーク構造を有する。物体の視覚的な特徴は、ＩＳＡＲ画像内の物体が写っている部分画像の視覚的な特徴である。例えば、ＣＮＮが、ＩＳＡＲ動画像から物体の視覚的な特徴を抽出する。物体の時系列な特徴は、物体が写った部分画像における視覚的な特徴の時間経過に伴った変化を表す特徴である。例えば、ＲＮＮが、ＩＳＡＲ動画像から時系列的な特徴を抽出する。

図２は、識別装置５の動作を示すフローチャートであり、識別装置５による物体の種別の識別処理を示している。まず、前処理部５１は、動画像格納部４から取得したＩＳＡＲ動画像を、ＩＳＡＲ画像に写った物体の種別の識別に用いられる形式のデータに変換する（ステップＳＴ１）。この処理がレーダ画像前処理である。次に、識別部５２は、前処理部５１によって変換されたＩＳＡＲ動画像を入力し、ＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいてＩＳＡＲ動画像から目標物体の種別を識別する（ステップＳＴ２）。識別部５２から出力された目標種別の識別結果を示す情報は、識別結果格納部７に格納される。表示部８は、識別結果格納部７から出力された識別結果を表示する。

図３は、レーダ画像前処理の例を示すフローチャートであり、前処理部５１による一連の処理を示している。図４Ａは、未処理のレーダ画像を示す画像図であり、前処理部５１に入力されるＩＳＡＲ動画像におけるＩＳＡＲ画像を示している。図４Ｂは、正規化したレーダ画像を示す画像図であり、図４ＡのＩＳＡＲ画像を正規化した画像を示している。図４Ｃは、ノイズを除去したレーダ画像を示す画像図であり、図４ＢのＩＳＡＲ画像からノイズを除去した画像を示している。図４Ｄは、レーダ画像からトリミングされた部分画像を示す画像図であり、図４ＣのＩＳＡＲ画像からトリミングされた部分画像を示している。図４Ｅは、トリミングされた部分画像をリサイズした画像を示す画像図であり、図４Ｄの部分画像をリサイズした画像を示している。

レーダ２－１，２－２，・・・，２－ｎから空間に送信された電波は、空間内の物体において反射され、反射波が受信されることにより、物体は、複数の方向から撮影される。ＩＳＡＲ画像などのレーダ画像は、複数の方向から撮影された物体の画像を合成することによって生成される。一般に、レーダ画像内の輝度は、レーダ２－１，２－２，・・・，２－ｎによって受信された反射波の信号値に対応する。信号値は、例えば、反射波の受信信号の振幅の大きさである。

前処理部５１は、ＩＳＡＲ動画像を入力すると、入力したＩＳＡＲ動画像から、例えば図４Ａに示すＩＳＡＲ画像を取得する。前処理部５１は、ＩＳＡＲ画像内で最大の信号値を抽出し、抽出した信号値に対応するＩＳＡＲ画像内の位置を基準とした一定の範囲内の信号値を０から２５５の値で正規化する（ステップＳＴ１ａ）。ＩＳＡＲ画像内の信号値を正規化することによって、図４Ｂに示すように、ＩＳＡＲ画像内の明暗が強調される。これにより、ＩＳＡＲ画像内で信号が強い部分を際立たせることができる。

続いて、前処理部５１は、ＩＳＡＲ画像からノイズを除去する（ステップＳＴ２ａ）。例えば、前処理部５１は、メジアンフィルタを用いることにより、ＩＳＡＲ画像における物体が写った部分以外に対応する信号を限りなく小さくする。図４Ｂに示したＩＳＡＲ画像からノイズを除去することによって、図４Ｃに示すＩＳＡＲ画像が得られる。前処理部５１は、ＩＳＡＲ画像から、閾値を超える信号値に対応する部分画像をトリミングする（ステップＳＴ３ａ）。図４Ｄに示す画像は、前処理部５１によって、図４Ｃに示したＩＳＡＲ画像からトリミングされた部分画像である。

この後、前処理部５１は、ＩＳＡＲ画像からトリミングした部分画像を、学習済みモデルが要求する画像サイズに変換する（ステップＳＴ４ａ）。例えば、学習済みモデルを構成するニューラルネットワーク（以下、ＮＮと記載する。）は、複数のＩＳＡＲ画像を、同一の画像サイズで入力する。ＮＮに入力されるＩＳＡＲ画像の画像サイズが、学習済みモデルが要求する画像サイズである。図４Ｄに示した部分画像は、図４Ｅに示す画像サイズにリサイズされる。

図５は、学習済みモデルの例を示す概要図である。識別部５２は、例えば、図５に示す学習済みモデルを用いることにより、ＩＳＡＲ動画像から物体の種別を識別する。図５に示す学習済みモデルは、前段にＣＮＮが配置され、後段にＲＮＮが配置されたネットワーク構造を有する機械学習モデルである。ここで、ＣＮＮは、ＩＳＡＲ画像から物体の視覚的な特徴を抽出するためのＮＮであり、ＲＮＮは、ＩＳＡＲ動画像における複数のフレームのＩＳＡＲ画像から物体の時系列的な特徴を抽出するためのＮＮである。

例えば、前処理部５１が、艦船ＳＨ１が写った、ｎフレーム分のＩＳＡＲ画像７－１，７－２，・・・，７－ｎからなるＩＳＡＲ動画像に対して、前述した前処理を施すことによって、前処理済みのＩＳＡＲ画像８－１，８－２，・・・，８－ｎを生成する。ｎは、学習済みモデルが指定するＩＳＡＲ画像のフレーム数であり、例えばｎ＝１０であれば、学習済みモデルには、１０フレーム分のＩＳＡＲ画像であるＩＳＡＲ画像８－１，８－２，・・・，８－１０が一度に入力される。図５に示す学習済みモデルは、ＩＳＡＲ画像の入力フレーム数ｎ分のネットワーク構造を有しており、ＩＳＡＲ画像８－１，８－２，・・・，８－ｎは、時系列順に、ネットワーク構造に入力される。

時系列順に設けられたネットワーク構造において、前段のＣＮＮは、ＩＳＡＲ画像から艦船ＳＨ１の視覚的な特徴を抽出し、後段のＲＮＮに出力する。ＲＮＮは、図５において矢印で示すように、時系列で後の時間に対応するＲＮＮとの間で視覚的な特徴を合わせることにより、艦船ＳＨ１の時系列的な特徴を抽出する。艦船ＳＨ１の時系列な特徴とは、艦船ＳＨ１が写った部分画像の視覚的な特徴の時間経過に伴った変化の特徴である。ＲＮＮは、ＩＳＡＲ画像における艦船ＳＨ１の視覚的な特徴だけでなく、例えば、艦船ＳＨ１が波の影響を受けて船体がしなやかに揺れる様子を表す時系列な特徴を抽出する。艦船ＳＨ１の視覚的な特徴と時系列的な特徴を利用することで、艦船ＳＨ１の種別の識別精度が向上する。

時系列でｎ番目の時間に対応するネットワーク構造におけるＲＮＮから出力された艦船ＳＨ１の視覚的および時系列的な特徴量は、例えば全結合層Ｆ１を経て、ソフトマックス関数が適用されることにより各識別クラスに正しく分類される確率が算出され、識別結果として出力される。識別部５２から出力された識別結果は、識別結果格納部７に格納される。表示部８は、識別結果における各識別クラスへ分類される確率のうち、最も高い確率に対応する一つの種別を表示してもよいし、確率が上位にある複数の種別を表示してもよい。表示部８に表示された識別結果を参照することにより、オペレータは、艦船ＳＨ１の種別を認識でき、または、推定される艦船の種別候補を認識することができる。

識別装置５が備える前処理部５１および識別部５２の機能は、処理回路により実現される。すなわち、識別装置５は、図２に示したステップＳＴ１からステップＳＴ２の処理を実行する処理回路を備える。処理回路は、専用のハードウェアであってもよいし、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

図６Ａは、識別装置５の機能を実現するハードウェア構成を示すブロック図であり、図６Ｂは、識別装置５の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図６Ａおよび図６Ｂにおいて、入力インタフェース１００は、例えば、動画像格納部４から識別装置５へ出力されたＩＳＡＲ動画像を中継するインタフェースである。出力インタフェース１０１は、識別装置５から識別結果格納部７へ出力される識別結果を中継するインタフェースである。入出力インタフェース１０２は、記憶装置１０３と識別装置５との間で入出力されるデータを中継するインタフェースである。記憶装置１０３は、図１に示した記憶部６を備えた記憶装置であり、例えば、学習済みモデルを表すパラメータ情報が記憶されている。

処理回路が図６Ａに示す専用のハードウェアの処理回路１０４である場合、処理回路１０４は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはこれらを組み合わせたものが該当する。識別装置５が備える前処理部５１および識別部５２の機能は、別々の処理回路で実現されてもよいし、これらの機能がまとめて１つの処理回路で実現されてもよい。

処理回路が図６Ｂに示すプロセッサ１０５である場合、識別装置５が備える前処理部５１および識別部５２の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０６に記憶される。

プロセッサ１０５は、メモリ１０６に記憶されたプログラムを読み出して実行することにより、識別装置５が備える前処理部５１および識別部５２の機能を実現する。例えば、識別装置５は、プロセッサ１０５によって実行されるときに、図２に示すフローチャートにおけるステップＳＴ１からステップＳＴ２までの処理が結果的に実行されるプログラムを記憶するためのメモリ１０６を備える。これらのプログラムは、前処理部５１および識別部５２の手順または方法をコンピュータに実行させる。メモリ１０６は、コンピュータを前処理部５１および識別部５２として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

メモリ１０６は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

識別装置５が備える前処理部５１および識別部５２の機能の一部は専用ハードウェアによって実現され、一部はソフトウェアまたはファームウェアによって実現されてもよい。例えば、前処理部５１は、専用のハードウェアである処理回路１０４によってその機能が実現され、識別部５２は、プロセッサ１０５がメモリ１０６に記憶されたプログラムを読み出し実行することにより、その機能が実現される。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能を実現することができる。

図７は、実施の形態１に係る学習装置９の構成例を示すブロック図である。学習装置９は、識別装置５による物体の種別の識別処理に用いられる学習済みモデルを生成する装置であり、図７に示すように、学習用データ取得部９１およびモデル生成部９２を備える。学習用データ取得部９１は、モデル生成部９２によって用いられる学習用データを取得する。学習用データは、ＩＳＡＲ動画像とＩＳＡＲ動画像に写った物体の種別とが対応付けられたデータである。例えば、学習用データは、ＩＳＡＲ動画像に対して、このＩＳＡＲ動画像に写った物体の種別がタグ付けされたデータセットである。

モデル生成部９２は、学習用データを用いて学習済みモデルを生成する。学習済みモデルは、一定数ｎ分連続したｎフレームのＩＳＡＲ画像を一度に入力し、ＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、入力したＩＳＡＲ画像から物体の種別を識別するための機械学習モデルである。ここで、ｎは１以上の整数である。モデル生成部９２によって生成された学習済みモデルは、記憶部６に記憶される。識別部５２は、記憶部６から読み出した学習済みモデルを用いてＩＳＡＲ動画像から物体の種別を識別する。

図８は、実施の形態１に係るモデル生成方法を示すフローチャートであり、学習装置９による一連の処理を示している。学習用データ取得部９１は、学習用データを取得する（ステップＳＴ１ｂ）。例えば、動画像生成部３を備えた演算装置が、ＩＳＡＲ動画像に対して艦船の種類をタグ付けする機能を有する場合、学習用データ取得部９１は、当該演算装置から学習用データを取得する。また、学習用データを生成する装置は、識別装置５および学習装置９とは別に設けられた装置であってもよいし、識別装置５であってもよいし、学習装置９であってもよい。

次に、モデル生成部９２は、学習用データ取得部９１によって取得された学習用データを用いて、学習済みモデルを生成する（ステップＳＴ２ｂ）。具体的には、モデル生成部９２は、入力した学習用データに含まれるＩＳＡＲ動画像とタグ付けされた艦船の種類とが高い確率で整合するようにＮＮのパラメータを学習していく。例えば、ＮＮは、図５に示したネットワーク構造を有している。ＮＮは、学習用データに含まれるＩＳＡＲ画像を入力し、ＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、艦船の種類についての予測値を出力する。この予測値と、学習用データに含まれる艦船の種類との誤差は、損失関数によって算出される。学習済みモデルは、損失関数を用いて算出された誤差が最小になるように重み行列などのパラメータが更新されたＮＮである。損失関数には、例えば、ソフトマックス関数が利用される。モデル生成部９２によって生成された学習済みモデルは、記憶部６に記憶される。

なお、学習装置９が備える学習用データ取得部９１およびモデル生成部９２の機能は、処理回路によって実現される。すなわち、学習装置９は、図８に示したステップＳＴ１ｂからステップＳＴ２ｂまでの処理を実行するための処理回路を備えている。処理回路は、図６Ａに示した専用のハードウェアの処理回路１０４であってもよいし、図６Ｂに示したメモリ１０６に記憶されたプログラムを実行するプロセッサ１０５であってもよい。

以上のように、実施の形態１に係る識別装置５は、連続した複数のフレームのＩＳＡＲ画像であるＩＳＡＲ動画像を、ＩＳＡＲ画像に写った物体の種別の識別に用いられる形式のデータに変換し、形式が変換されたＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、ＩＳＡＲ動画像から物体の種別を識別する。これにより、識別装置５は、オペレータが識別対象のＩＳＡＲ画像を選択することなく、ＩＳＡＲ画像に写る物体の種別を識別することができる。
また、オペレータによって選択されたＩＳＡＲ画像は、オペレータによって意識的に抽出された特徴を有したレーダ画像と言える。このため、ＩＳＡＲ画像の視覚的な特徴は、オペレータごとに変化する可能性があり、選択されたＩＳＡＲ画像ごとに変化する可能性もある。ＩＳＡＲ画像の視覚的な特徴の変化は、目標種別の識別性能を劣化させる要因となり得る。識別装置５は、オペレータがＩＳＡＲ画像を選択しなくても、ＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて物体の種別を識別することが可能である。これにより、目標種別の識別精度が向上する。

実施の形態１に係るモデル生成方法は、ＩＳＡＲ動画像とＩＳＡＲ画像に写る物体の種別とが対応付けられた学習用データ用いて、一定数分連続した複数のフレームのＩＳＡＲ画像を一度に入力し、ＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、入力したＩＳＡＲ画像から物体の種別を識別するための学習済みモデルを生成する。識別装置５は、生成された上記学習済みモデルを用いることにより、オペレータが識別対象のＩＳＡＲ画像を選択することなく、ＩＳＡＲ画像に写る物体の種別を識別することができる。

なお、実施の形態の任意の構成要素の変形もしくは実施の形態の任意の構成要素の省略が可能である。

本開示に係る識別装置は、例えば、艦船を検出するレーダ装置に利用可能である。

１ レーダ画像処理システム、２－１～２－ｎ レーダ、３ 動画像生成部、４ 動画像格納部、５ 識別装置、６ 記憶部、７ 識別結果格納部、７－１～７－ｎ ＩＳＡＲ画像、８ 表示部、８－１～８－ｎ ＩＳＡＲ画像、９ 学習装置、５１ 前処理部、５２ 識別部、９１ 学習用データ取得部、９２ モデル生成部、１００ 入力インタフェース、１０１ 出力インタフェース、１０２ 入出力インタフェース、１０３ 記憶装置、１０４ 処理回路、１０５ プロセッサ、１０６ メモリ。

Claims (4)

1. 連続した複数のフレームのレーダ画像であるレーダ動画像を、前記レーダ画像に写った物体の種別の識別に用いられる形式のデータに変換する前処理部と、
   形式が変換された前記レーダ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、前記レーダ動画像から物体の種別を識別する識別部と、を備え、
   前記前処理部は、前記レーダ動画像において、前記レーダ画像内の信号値を正規化し、信号値を正規化した前記レーダ画像からノイズを除去し、ノイズが除去された前記レーダ画像に写った物体の部分画像をトリミングし、前記部分画像を前記学習済みモデルが要求するサイズにリサイズし、
   前記識別部は、前段に畳み込みニューラルネットワークが配置され、後段に再帰型ニューラルネットワークが配置されたネットワーク構造を有する機械学習モデルに対して、一定数分連続した複数のフレームの前記レーダ画像からトリミングされ、かつリサイズされた複数の前記部分画像を時系列順に一度に入力し、前記畳み込みニューラルネットワークが入力した前記部分画像から物体の視覚的な特徴を抽出し、前記再帰型ニューラルネットワークが前記部分画像から物体の時系列的な特徴を抽出して、抽出した物体の視覚的な特徴および時系列的な特徴に基づいて前記レーダ動画像から物体の種別を識別する
   ことを特徴とする識別装置。
2. 前記識別部は、一定数分連続した複数のフレームの前記レーダ画像を一度に入力し、入力した前記レーダ画像から物体の種別を識別するための学習済みモデルを用いて、前記レーダ動画像から物体の種別を識別する
   ことを特徴とする請求項１に記載の識別装置。
3. 連続した複数のフレームのレーダ画像であるレーダ動画像と、前記レーダ画像に写った物体の種別とが対応付けられた学習用データを取得する学習用データ取得部と、
   前段に畳み込みニューラルネットワークが配置され、後段に再帰型ニューラルネットワークが配置されたネットワーク構造を有しており、一定数分連続した複数のフレームの前記レーダ画像からトリミングされ、かつリサイズされた複数の部分画像が時系列順に一度に入力されると、前記畳み込みニューラルネットワークが入力した前記部分画像から物体の視覚的な特徴を抽出し、前記再帰型ニューラルネットワークが前記部分画像から物体の時系列的な特徴を抽出する前記学習済みモデルを、取得された前記学習用データを用いて生成するモデル生成部と、を備えた
   ことを特徴とする学習装置。
4. 学習用データ取得部が、連続した複数のフレームのレーダ画像であるレーダ動画像と、前記レーダ画像に写った物体の種別とが対応付けられた学習用データを取得するステップと、
   モデル生成部が、前段に畳み込みニューラルネットワークが配置され、後段に再帰型ニューラルネットワークが配置されたネットワーク構造を有しており、一定数分連続した複数のフレームの前記レーダ画像からトリミングされ、かつリサイズされた複数の部分画像が時系列順に一度に入力されると、前記畳み込みニューラルネットワークが入力した前記部分画像から物体の視覚的な特徴を抽出し、前記再帰型ニューラルネットワークが前記部分画像から物体の時系列的な特徴を抽出する前記学習済みモデルを、取得された前記学習用データを用いて生成するステップと、を備えた
   ことを特徴とするモデル生成方法。

Images