JP7475910B2 - 類別装置のための学習済みモデル生成装置、及び類別装置のための学習済みモデル生成方法 - Google Patents

Description

本実施形態は、類別装置のための学習済みモデル生成装置、及び類別装置のための学習済みモデル生成方法に関する。

逆合成開口レーダ（ＩＳＡＲ：Inverse Synthetic Aperture RADAR）は、いわゆる画像化レーダ装置の一つとして知られている。ＩＳＡＲは、レーダの送信信号の反射エコーから、艦船等の目標を画像化する。この種のレーダ装置の多くは航空機に搭載され、遠方から目標を類別するために用いられる。

特許第３４１２９７３号公報

ＩＳＡＲ画像から目標を類別する場合、オペレータは多数のＩＳＡＲ画像の中から特徴量（船首、船尾、マスト等）の位置が分かりやすい画像を選択し、この画像から読み取った特徴量と図面等を比較することで艦船の類別を行っている。しかしながら、オペレータによる類別はオペレータに対して作業負荷をかけることになる。また、特徴量の位置が分かりやすい画像を選択できるかどうかは、オペレータの練度に依存する。

本発明が解決しようとする課題は、オペレータの練度に依存せず、かつ、オペレータの作業負荷の省力化を図ることができる類別装置のための学習済みモデル生成装置、及び類別装置のための学習済みモデル生成方法を提供することにある。

実施形態によれば、類別装置のための学習済みモデル生成装置は、学習部を有する。学習部は、複数のＩＳＡＲ画像の中からオペレータによって選択されたベストショットのＩＳＡＲ画像であることを示すアノテーションが付けられた第１のＩＳＡＲ画像及び第１のＩＳＡＲ画像における第１の特徴量を、複数のＩＳＡＲ画像から類別に適するベストショットのＩＳＡＲ画像を選択するように構成される学習モデルに入力し、学習モデルにベストショットのＩＳＡＲ画像と特徴量との関係を学習させる。学習部は、オペレータの練度に応じて第１のＩＳＡＲ画像及び第１の特徴量に重みづけをして、学習モデルに艦船の特徴量とベストショットのＩＳＡＲ画像との関係を学習させる。

図１は、一実施形態の類別システムの構成を示すブロック図である。 図２は、レーダ装置の構成を示すブロック図である。 図３は、プロセッサの機能ブロック図である。 図４は、サーバの構成を示すブロック図である。 図５は、ＩＳＡＲ画像の中からベストショットを選択する学習済みモデルの学習の概念について示す図である。 図６は、ベストショットのＩＳＡＲ画像及び特徴量の一例について示す図である。 図７は、ＩＳＡＲ画像の中からベストショットを選択する学習済みモデルの再学習の概念について示す図である。 図８は、学習データの生成の動作を含むレーダ装置の動作を示すフローチャートである。 図９は、手動モードの処理を示すフローチャートである。 図１０は、自動モードの処理を示すフローチャートである。

以下、図面を参照して実施形態を説明する。図１は、一実施形態の類別システムの構成を示すブロック図である。類別システム１は、レーダ装置１００と、サーバ２００とを有している。レーダ装置１００は、例えば航空機に搭載され、海上の対象物Ｏを探索するために用いられる。対象物Ｏは、例えば艦船である。サーバ２００は、陸上に設置されている。

図２は、類別装置を備えたレーダ装置１００の構成を示すブロック図である。レーダ装置１００は、送信機１１０と、サーキュレータ１２０と、アンテナ１３０と、受信機１４０と、プロセッサ１５０と、ストレージ１６０と、入力装置１７０と、表示装置１８０とを有している。

送信機１１０は、所定の送信周期で送信信号を生成する。そして、送信機１１０は、生成した送信信号を、サーキュレータ１２０を介してアンテナ１３０から空間へ送信する。アンテナ１３０から送信された送信信号の一部は、目標で反射され、反射エコーとしてアンテナ１３０により受信される。

サーキュレータ１２０は、送信信号と受信信号とを分離するための循環回路である。サーキュレータ１２０は、送信機１１０によって生成された送信信号をアンテナ１３０へ供給し、アンテナ１３０で受信された反射エコーを受信信号として受信機１４０へ供給する。

受信機１４０は、送信機１１０の送信周期に基づいて受信信号からレーダビデオ信号を生成する。受信機１４０は、生成したレーダビデオ信号をプロセッサ１５０へ出力する。

プロセッサ１５０は、ＣＰＵ（Central Processing Unit）等のプロセッサと、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のプロセッサが処理を実行するためのメモリとを含む。プロセッサ１５０は、レーダ装置１００の動作を制御する。例えば、プロセッサ１５０は、レーダ装置１００のモードを探索モードとＩＳＡＲモードとの間で切り替える。探索モードは、レーダ装置１００を中心とした放射方向に向けて送信信号が送信されるように送信機１１０を制御することによって、海上の多数の対象物を探索するモードである。ＩＳＡＲモードは、プロセッサ１５０から指示された対象物に向けて送信信号が送信されるように送信機１１０を制御することによって、プロセッサ１５０から指示された対象物のＩＳＡＲ画像を取得するモードである。また、プロセッサ１５０は、探索モードにおいては、受信機１４０から入力された受信信号からＰＰＩ（Plane Position Indicator）画像を生成する。また、プロセッサ１５０は、ＩＳＡＲモードにおいては、受信機１４０から入力された受信信号からＩＳＡＲ画像を生成する。また、プロセッサ１５０は、探索モードのレーダ装置１００において探索される多数の艦船の間の優先度を判定する。そして、プロセッサ１５０は、優先度の高い艦船のＩＳＡＲ画像の取得のためにレーダ装置１００のモードをＩＳＡＲモードに切り替える。また、プロセッサ１５０は、レーダ装置１００において生成された多数のＩＳＡＲ画像から、目標の艦級の類別に適するベストショットのＩＳＡＲ画像を選択する。また、プロセッサ１５０は、選択したＩＳＡＲ画像から目標の艦級を類別する。プロセッサ１５０は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field Programmable Gate Array)又はＤＳＰ(Digital Signal Processor)等のデジタル信号処理器によって処理を行うように構成されていてもよい。また、プロセッサ１５０は、単一のＣＰＵ等で構成されていてもよいし、複数のＣＰＵ等で構成されていてもよい。

ストレージ１６０は、レーダ装置１００の動作に必要なプログラム、パラメータを記憶するための記憶装置である。また、ストレージ１６０は、艦船の優先度の判定、ＩＳＡＲ画像の選択、ＩＳＡＲ画像からの艦船の類別に用いられる学習済みモデルを記憶するための記憶装置である。ストレージ１６０は、ハードディスク、ソリッドステートドライブ等であってよい。学習済みモデルについては後で説明する。

入力装置１７０は、レーダ装置１００のオペレータからの操作を受け付けるためのインタフェースである。入力装置１７０は、キーボード、マウス、トラックボール、ジョイスティック、タッチパネル等であってよい。入力装置１７０は、オペレータからの操作に応じた操作信号を、プロセッサ１５０に供給する。プロセッサ１５０は、この操作信号に応じて各種の処理を行う。

表示装置１８０は、液晶ディスプレイ、有機ＥＬディスプレイ等を備え、プロセッサ１５０で処理された信号に基づいて各種の画像を表示する。

図３は、プロセッサ１５０の機能ブロック図である。プロセッサ１５０は、優先度判定部１５１と、調整部１５２と、選択部１５３と、判別部１５４と、類別部１５５とを有している。

優先度判定部１５１は、艦船の間のＩＳＡＲ画像の取得の優先度を判定する。そして、優先度判定部１５１は、高い優先度の艦船のＩＳＡＲ画像を取得させるためにレーダ装置１００の送信機１１０に対して指示をする。優先度判定部１５１は、例えばＳＶＭ（Support Vector Machine）による学習済みモデル１６１によって優先度を判定する。

学習済みモデル１６１は、例えば、ストレージ１６０に記憶され、艦船の動きに関するデータを入力データとし、優先度の分類結果を出力するように構成された機械学習モデルである。艦船の動きに関するデータは、艦船の進行方向、艦船の速さ、艦船に対するレーダ装置１００のアスペクト角（受信信号の到来角度）を含むベクトルデータであってよい。学習済みモデル１６１の学習は、サーバ２００において行われる。学習に当たっては、進行方向、速さ、アスペクト角を含むベクトルデータのそれぞれに対して優先度のラベルが付けられる。この優先度は、例えばオペレータによって付けられてよい。優先度は、例えば「高」、「低」の２つのクラスに分けられている。そして、ベクトルデータと優先度との組み合わせから、優先度「高」と優先度「低」との境界を表す識別面が学習される。サーバ２００において生成された学習済みモデルは、学習済みモデル１６１としてレーダ装置１００の例えばストレージ１６０に記憶される。優先度判定部１５１は、このような学習済みモデル１６１に基づき、入力された艦船の動きに関するデータから艦船の優先度を判定する。そして、優先度判定部１５１は、高い優先度を有する艦船のＩＳＡＲ画像を取得させるべく、送信機１１０にＩＳＡＲモードへの移行指示をする。

ここで、例では艦船の動きに関するベクトルデータは、艦船の進行方向、艦船の速さ、レーダ装置１００のアスペクト角の３つであるとしている。しかしながら、ベクトルデータは、これら３つ以外のデータを含んでいてもよい。また、優先度は、「高」、「低」の２つのクラスに分けられている。しかしながら、優先度は、３つ以上のクラスに分けられていてもよい。

調整部１５２は、複数のＩＳＡＲ画像の設定を調整する。調整部１５２は、畳み込みニューラルネットワーク、ランダムフォレスト等を用いたディープラーニングによる学習済みモデル１６２によって調整のための判定をする。

学習済みモデル１６２は、例えば、ストレージ１６０に記憶され、ＩＳＡＲ画像のデータを入力データとし、設定の調整量を出力するように構成された機械学習モデルである。設定は、例えば画像の輝度、コントラストを含む。学習済みモデル１６２の学習はサーバ２００において行われる。学習に当たっては、ＩＳＡＲ画像のそれぞれに対して類別の成否のラベルが付けられる。つまり、後で説明する類別が正しく行われたＩＳＡＲ画像に対しては成功のラベルが付けられ、類別が正しく行われなかったＩＳＡＲ画像に対しては失敗のラベルが付けられる。艦船の類別が正しく行われたか否かは、例えばサーバ２００のオペレータによって指定されてよい。そして、ＩＳＡＲ画像の設定と類別の成否との組み合わせから、類別のために良好な基準のＩＳＡＲ画像の設定が学習される。サーバ２００において生成された学習済みモデルは、学習済みモデル１６２としてレーダ装置１００の例えばストレージ１６０に記憶される。調整部１５２は、このような学習済みモデル１６２に基づき、入力されたＩＳＡＲ画像の設定を基準のＩＳＡＲ画像の設定に近づけるための設定の調整量を判定する。そして、調整部１５２は、判定した調整量に応じて入力されたＩＳＡＲ画像の輝度、コントラスト等を調整する。

ここで、例ではＩＳＡＲ画像の設定は、輝度、コントラストの２つであるとしている。しかしながら、設定は、これら２つ以外を含んでいてもよい。また、設定は、レーダ装置１００の個体差に係るデータを含んでいてもよい。例えば、基準のＩＳＡＲ画像にレーダ装置１００の個体差に係るデータが関連付けられているとき、調整部１５２は、個体差によるＩＳＡＲ画像のずれも含めて調整してよい。

また、学習のためのＩＳＡＲ画像の設定のデータは、オペレータによって与えられてもよい。この場合のＩＳＡＲ画像には、無条件で成功のラベルが付けられてよい。

選択部１５３は、調整部１５２で調整された複数のＩＳＡＲ画像の中から、類別に適したベストショットのＩＳＡＲ画像を選択する。選択部１５３は、畳み込みニューラルネットワーク等を用いたディープラーニングによる学習済みモデル１６３によってＩＳＡＲ画像を選択する。

学習済みモデル１６３は、例えば、ストレージ１６０に記憶され、複数のＩＳＡＲ画像のデータを入力データとし、入力されたＩＳＡＲ画像の中で類別に適しているベストショットのＩＳＡＲ画像を出力するように構成された機械学習モデルである。学習済みモデル１６３の学習はサーバ２００において行われる。学習済みモデル１６３の学習については後で説明する。学習済みモデル１６３は、入力された複数のＩＳＡＲ画像ののうちで特徴量がベストショットのＩＳＡＲ画像の特徴量と最も近いＩＳＡＲ画像を出力する。特徴量は、例えば艦船の船首、マスト、船尾といった艦船の構造物の位置である。サーバ２００において生成された学習済みモデルは、学習済みモデル１６３としてレーダ装置１００の例えばストレージ１６０に記憶される。選択部１５３は、このような学習済みモデル１６３に基づき、複数のＩＳＡＲ画像からベストショットのＩＳＡＲ画像を選択する。

判別部１５４は、選択部１５３で選択されたＩＳＡＲ画像に写っている艦船の種類を判別する。判別部１５４は、畳み込みニューラルネットワーク等を用いたディープラーニングによる学習済みモデル１６４によって艦船の種類を判別する。

学習済みモデル１６４は、例えば、ストレージ１６０に記憶され、ＩＳＡＲ画像のデータを入力データとし、艦船の種類のデータを出力するように構成された機械学習モデルである。艦船の種類のデータは、例えば軍艦、商船といった各種の艦船の種類を示すデータである。学習済みモデル１６４の学習はサーバ２００において行われる。学習に当たっては、各種の艦船が写っているＩＳＡＲ画像に対して艦船の種類を示すラベルが付けられる。そして、各種の艦船のＩＳＡＲ画像と艦船の種類との組み合わせから、艦船の特徴量と種類との関係が学習される。そして、学習済みモデル１６４は、入力されたＩＳＡＲ画像の特徴量と類似する特徴量を有するＩＳＡＲ画像を判定し、この類似する特徴量を有するＩＳＡＲ画像に関連付けられている艦船の種類を表すデータを出力する。サーバ２００において生成された学習済みモデルは、学習済みモデル１６４としてレーダ装置１００の例えばストレージ１６０に記憶される。判別部１５４は、このような学習済みモデル１６４に基づき、入力されたＩＳＡＲ画像から、艦船の種類を判別する。判別部１５４は、判別された艦船が商船であるときには、レーダ装置１００を探索モードに戻すべく、レーダ装置１００に移行指示をする。

ここで、例では艦船の種類は、軍艦と商船の２つであるとしている。しかしながら、艦船の種類は、これら２つ以外を含んでいてもよい。

類別部１５５は、判別部１５４で商船でないと判別されたＩＳＡＲ画像に写っている艦船の艦級を類別する。類別部１５５は、畳み込みニューラルネットワーク等を用いたディープラーニングによる学習済みモデル１６５によって艦船の艦級を類別する。

学習済みモデル１６５は、例えば、ストレージ１６０に記憶され、ＩＳＡＲ画像のデータを入力データとし、艦船の艦級のデータを出力するように構成された機械学習モデルである。学習済みモデル１６５の学習はサーバ２００において行われる。学習に当たっては、各種の艦級の艦船が写っているＩＳＡＲ画像に対して艦級を示すラベルが付けられる。そして、各種の艦級の艦船のＩＳＡＲ画像と艦級との組み合わせから、艦船の特徴量と艦級との関係が学習される。そして、学習済みモデル１６５は、入力されたＩＳＡＲ画像の特徴量と類似する特徴量を有するＩＳＡＲ画像を判定し、この類似する特徴量を有するＩＳＡＲ画像に関連付けられている艦級を表すデータを出力する。サーバ２００において生成された学習済みモデルは、学習済みモデル１６５としてレーダ装置１００の例えばストレージ１６０に記憶される。類別部１５５は、このような学習済みモデル１６５に基づき、入力されたＩＳＡＲ画像から、艦船の艦級を類別する。

図４は、類別装置のための学習済みモデル生成装置を備えたサーバ２００の構成を示すブロック図である。サーバ２００は、プロセッサ２１０と、ストレージ２２０と、入力装置２３０と、表示装置２４０とを有している。

プロセッサ２１０は、ＣＰＵ（Central Processing Unit）等のプロセッサと、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のプロセッサが処理を実行するためのメモリとを含む。プロセッサ２１０は、サーバ２００の動作を制御する。プロセッサ２１０は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field Programmable Gate Array)又はＤＳＰ(Digital Signal Processor)等のデジタル信号処理器によって処理を行うように構成されていてもよい。また、プロセッサ２１０は、単一のＣＰＵ等で構成されていてもよいし、複数のＣＰＵ等で構成されていてもよい。

ストレージ２２０は、サーバ２００の動作に必要なプログラム、パラメータを記憶するための記憶装置である。ストレージ２２０は、ハードディスク、ソリッドステートドライブ等であってよい。また、ストレージ２２０は、艦船の優先度の判定、ＩＳＡＲ画像の選択、ＩＳＡＲ画像からの艦船の類別に用いられる学習モデルを記憶するための記憶装置である。なお、学習モデルは、ストレージ２２０とは別の記憶装置に記憶されていてもよい。

入力装置２３０は、サーバ２００のオペレータからの操作を受け付けるためのインタフェースである。入力装置２３０は、キーボード、マウス、タッチパネル等であってよい。入力装置２３０は、オペレータからの操作に応じた操作信号を、プロセッサ２１０に供給する。プロセッサ２１０は、この操作信号に応じて各種の処理を行う。入力装置２３０は、例えば各種の学習データの入力に用いられる。

表示装置２４０は、液晶ディスプレイ、有機ＥＬディスプレイ等を備え、プロセッサ２１０で処理された信号に基づいて各種の画像を表示する。

図５は、ＩＳＡＲ画像の中からベストショットを選択する学習済みモデル１６３の学習の概念について示す図である。サーバ２００のストレージ２２０には、選択部１５３のためのニューラルネットワークを生成する学習モデル２２１が記憶されている。この学習モデル２２１は、複数のＩＳＡＲ画像のデータを入力とし、それぞれのＩＳＡＲ画像のデータから特徴量を抽出し、抽出した特徴量をベストショットのＩＳＡＲ画像の特徴量と比較し、複数のＩＳＡＲ画像のデータの中からベストショットのＩＳＡＲ画像のデータ出力する、ようにネットワークの各ノードを構成する学習モデルである。

学習モデル２２１は、教師付き学習によってベストショットのＩＳＡＲ画像の特徴量を学習する。実施形態では、ベストショットのＩＳＡＲ画像のデータと、このベストショットのＩＳＡＲ画像における特徴量のデータとのそれぞれに、ベストショットである旨のタグがアノテーションされ、これらのアノテーションを含むＩＳＡＲ画像のデータと特徴量のデータとが学習データとして学習モデル２２１に入力される。

ベストショットのＩＳＡＲ画像とその特徴量は、例えば、実際に航空機におけるＩＳＡＲモードを用いた艦船の探索中に得られる複数のＩＳＡＲ画像の中からオペレータによって選択される。つまり、オペレータは、例えば図６のようにして時系列に得られるＩＳＡＲ画像群Ｉ１の中から、類別に適するＩＳＡＲ画像をベストショットのＩＳＡＲ画像Ｉ２として選択する。類別に適するＩＳＡＲ画像は、例えば特徴量（船首、船尾、マスト等）の位置が分かりやすいＩＳＡＲ画像である。さらに、オペレータは、ベストショットのＩＳＡＲ画像Ｉ２の中の特徴量の位置を指定する。例えば、図６では、特徴量の位置が直線によって指定される例が示されている。特徴量の位置は、必ずしも直線によって指定される必要はない。

学習モデル２２１は、学習部の一例であるプロセッサ２１０からの、ベストショットのタグが付されたＩＳＡＲ画像のデータとその特徴量とを含む学習データの入力を受け、ベストショットのＩＳＡＲ画像と特徴量との関係を学習しながら、各ノードの設定を調整する。このような学習データの入力が繰り返され、ある程度のベストショットのＩＳＡＲ画像と特徴量との関係の学習が完了すると、学習済みモデル２２２が生成される。この学習済みモデル２２２は、学習済みモデル１６３として例えば航空機に搭載されるレーダ装置１００のストレージ１６０に格納される。

ここで、ＩＳＡＲ画像は、レーダを利用して目標を画像化する。このため、受信される反射エコーの信号によっては、図６に示すように、艦船の部分が上下反転されて画像化され得る。一方で、上下反転されたＩＳＡＲ画像であっても、特徴量の位置が分かりやすいＩＳＡＲ画像であれば、そのＩＳＡＲ画像はベストショットのＩＳＡＲ画像になり得る。プロセッサ２１０は、ベストショットのＩＳＡＲ画像における艦船の部分が上下反転しているか否かを判定し、艦船の部分が上下反転しているＩＳＡＲ画像については、そのＩＳＡＲ画像を上下反転してから、ＩＳＡＲ画像を学習モデル２２１に入力してもよい。ＩＳＡＲ画像における艦船の向きが揃えられることにより、ベストショットのＩＳＡＲ画像と特徴量との関係がより正しく学習され易くなる。

また、アノテーションを付けるオペレータの練度が高くなければ、学習モデル２２１における学習が適切には行われない可能性がある。オペレータの練度を学習に反映するため、プロセッサ２１０は、例えば、学習モデル２２１に入力する学習データにオペレータの練度に応じた重みを付けてもよい。例えば、プロセッサ２１０は、練度の高いオペレータによって選択されたベストショットのＩＳＡＲ画像及び特徴量については大きい重みを付け、練度の低いオペレータによって選択されたベストショットのＩＳＡＲ画像及び特徴量については小さい重みを付ける。大きい重みが付けられている学習データに対する学習効果が高くなるように学習モデル２２１が構成されていることにより、オペレータの練度も学習に反映され得る。

また、図５の例では、ベストショットのＩＳＡＲ画像のデータ及び特徴量のデータに対してアノテーションが付けられている。これに対し、逆にワーストショットのＩＳＡＲ画像のデータ及び特徴量のデータに対してアノテーションが付けられてもよい。学習モデル２２１は、ワーストショットのＩＳＡＲ画像のデータ及び特徴量のデータが入力されたときには、ワーストショットの特徴量を有するＩＳＡＲ画像のデータが選択されにくくなるよう、各ノードの設定を調整する。

図７は、ＩＳＡＲ画像の中からベストショットを選択する学習済みモデル１６３の再学習の概念について示す図である。例えば航空機に搭載された学習済みモデル１６３は、ＩＳＡＲモードを用いた艦船の探索中に得られる複数のＩＳＡＲ画像の中からベストショットのＩＳＡＲ画像を選択する。実施形態では、学習済みモデル１６３に基づいて自動選択されたＩＳＡＲ画像及び自動抽出された特徴量に対してオペレータが評価をすることができる。具体的には、オペレータは、学習済みモデル１６３に基づいて自動選択されたＩＳＡＲ画像及び自動抽出された特徴量に対して評価ランクを付ける。第１のランクとしてのＩＳＡＲ画像に対する評価ランクは、ベストショットとしての良否の程度を示す。オペレータは、例えば自身にとっての類別のし易さに応じて評価ランクを付ける。評価ランクは、例えば５段階である。勿論、評価ランクは、５段階に限るものではない。また、第２のランクとしての特徴量に対する評価ランクは、特徴量の確からしさを示す。オペレータは、特徴量が正しく抽出されているかに応じて評価ランクを付ける。評価ランクは、例えば５段階である。勿論、評価ランクは、５段階に限るものではない。プロセッサ２１０は、自動選択されたベストショットのＩＳＡＲ画像に第１のランクに応じた重みを付けるとともに、自動抽出された特徴量に第２のランクに応じた重みを付けて学習モデル２２１に入力する。学習モデル２２１は、評価ランクに応じて重み付けされたベストショットのＩＳＡＲ画像及び抽出された特徴量に従って、ベストショットのＩＳＡＲ画像と特徴量との関係を再学習し、学習済みモデル２２２を再生成する。

図８は、学習データの生成の動作を含むレーダ装置１００の動作を示すフローチャートである。ステップＳ１において、プロセッサ１５０は、艦船の類別モードが手動モードであるか否かを判定する。レーダ装置１００は、手動モードと自動モードの２つの類別モードを有している。手動モードは、レーダ装置１００によって生成されるＩＳＡＲ画像に基づいてオペレータが艦船の類別を実施するモードである。自動モードは、ＩＳＡＲ画像の生成から艦船の類別までをプロセッサ１５０が自動で実施するモードである。類別モードの選択は、例えばオペレータによって行われる。ステップＳ１において、類別モードが手動モードであるときには、処理はステップＳ２に移行する。ステップＳ２において、類別モードが自動モードであるときには、処理はステップＳ３に移行する。

ステップＳ２において、プロセッサ１５０は、手動モードの処理を行う。手動モードの処理の後、プロセッサ１５０は、図８の処理を終了させる。ステップＳ３において、プロセッサ１５０は、自動モードの処理を行う。自動モードの処理の後、プロセッサ１５０は、図８の処理を終了させる。

図９は、手動モードの処理を示すフローチャートである。ステップＳ１０１において、プロセッサ１５０は、探索モードで送信機１１０からアンテナ１３０を介して送信信号を送信させる。探索モードでは、例えばアンテナ１３０を回転させながら放射状に送信信号が送信される。このため、レーダ装置１００を中心とした広範囲の探索が行われ得る。

ステップＳ１０２において、プロセッサ１５０は、受信機１４０を介して受信される受信信号に基づいて、表示装置１８０にＰＰＩ（Plane Position indicator）表示をする。ＰＰＩ表示では、プロセッサ１５０は、レーダ装置１００を中心として探索されたそれぞれの艦船を示す輝点を平面図上に表示する。

ステップＳ１０３において、プロセッサ１５０は、ＩＳＡＲモードへ移行するか否かを判定する。オペレータは、ＰＰＩ表示されている輝点を見ながら目標と考えられる艦船を探す。そして、オペレータは、目標と考えられる艦船を見つけたときに、例えば入力装置１７０を操作してＩＳＡＲモードへの移行指示をする。このとき、プロセッサ１５０は、ＩＳＡＲモードへ移行すると判定する。ステップＳ１０３において、ＩＳＡＲモードへ移行しないと判定されたときに、処理はステップＳ１０１に戻る。この場合、探索モードの動作が継続される。ステップＳ１０３において、ＩＳＡＲモードへ移行すると判定されたときに、処理はステップＳ１０４に移行する。

ステップＳ１０４において、プロセッサ１５０は、ＩＳＡＲモードで送信機１１０からアンテナ１３０を介して送信信号を送信させる。ＩＳＡＲモードでは、例えばオペレータによって指定された艦船に向けて送信信号が送信される。

ステップＳ１０５において、プロセッサ１５０は、受信機１４０を介して受信される受信信号に基づいて、ＩＳＡＲ画像のデータを生成する。

ステップＳ１０６において、プロセッサ１５０は、ＩＳＡＲ画像のデータに基づいて、ＩＳＡＲ画像を表示装置１８０に表示させる。オペレータは、表示装置１８０に逐次に表示されるＩＳＡＲ画像を見ながら、目標である艦船の特徴量を確認し易いベストショットのＩＳＡＲ画像を選択する。そして、オペレータは、選択したＩＳＡＲ画像から特徴量を読み取り、読み取った特徴量に基づいて艦船の艦級を類別する。さらに、オペレータは、自身が選択したベストショットのＩＳＡＲ画像を示す情報と、自身が読み取った特徴量を示す情報とを例えば入力装置１７０を操作して入力する。オペレータによって入力されるベストショットのＩＳＡＲ画像の情報は、オペレータが選択した画像そのものであってもよいし、画像を特定するための画像番号等であってもよい。また、オペレータによって入力される特徴量の情報は、ＩＳＡＲ画像において指定された直線であってもよいし、その他の情報であってもよい。

ステップＳ１０７において、プロセッサ１５０は、オペレータによってベストショット及びその特徴量の情報が入力されたか否かを判定する。ステップＳ１０７において、オペレータによってベストショット及びその特徴量の情報が入力されたときには、処理はステップＳ１０８に移行する。ステップＳ１０７において、オペレータによってベストショット及びその特徴量の情報が入力されていないときには、処理はステップＳ１０９に移行する。

ステップＳ１０８において、プロセッサ１５０は、ベストショットのＩＳＡＲ画像のデータ及び特徴量のデータをストレージ１６０に記録する。その後、処理はステップＳ１０９に移行する。ストレージ１６０に記録されたベストショットのＩＳＡＲ画像のデータ及び特徴量のデータは、航空機が地上に戻ってきた際にサーバ２００の学習モデル２２１に入力される。これにより、学習モデル２２１における学習が行われる。

ステップＳ１０９において、プロセッサ１５０は、手動モードの動作を終了するか否かを判定する。例えば、オペレータによって類別モードが自動モードに切り替えられた場合又はオペレータによって類別の処理自体の終了が指示された場合には、手動モードの動作を終了すると判定される。ステップＳ１０９において、手動モードの動作を終了する場合には、プロセッサ１５０は、図９の処理を終了させる。この場合には、プロセッサ１５０は、図８の処理も終了させる。ステップＳ１０９において、手動モードの動作を終了しない場合には、処理はステップＳ１１０に移行する。

ステップＳ１１０において、プロセッサ１５０は、探索モードへ移行するか否かを判定する。例えば、オペレータによって探索モードへの移行指示がされた場合には、探索モードへ移行すると判定される。ステップＳ１１０において、探索モードへ移行しないと判定されたときに、処理はステップＳ１０４に戻る。この場合、ＩＳＡＲモードの動作が継続される。ステップＳ１１０において、ＩＳＡＲモードへ移行すると判定されたときに、処理はステップＳ１０１に戻る。この場合、探索モードの動作に切り替えられる。

図１０は、自動モードの処理を示すフローチャートである。自動モードの処理に先立って、ストレージ１６０には、図３で示した学習済みモデル１６１－１６５が格納されているものとする。ステップＳ２０１において、プロセッサ１５０は、探索モードで送信機１１０からアンテナ１３０を介して送信信号を送信させる。

ステップＳ２０２において、プロセッサ１５０は、受信機１４０を介して受信される受信信号に基づいて、表示装置１８０にＰＰＩ表示をする。

ステップＳ２０３において、プロセッサ１５０は、優先度判定を行う。つまり、プロセッサ１５０は、探索結果として受信されたそれぞれの艦船の動きに関するデータを学習済みモデル１６１に入力し、探索されたそれぞれの艦船の優先度を取得する。そして、プロセッサ１５０は、例えば優先度の上位１位の艦船をＩＳＡＲ画像の取得の対象の艦船と判定する。ＩＳＡＲ画像の取得の対象の艦船は、優先度の上位１位の艦船に限るものではない。

ステップＳ２０４において、プロセッサ１５０は、ＩＳＡＲモードで送信機１１０からアンテナ１３０を介して送信信号を送信させる。ＩＳＡＲモードでは、例えばプロセッサ１５０によって指定された艦船に向けて送信信号が送信される。

ステップＳ２０５において、プロセッサ１５０は、受信機１４０を介して受信される受信信号に基づいて、ＩＳＡＲ画像を生成する。

ステップＳ２０６において、プロセッサ１５０は、ＩＳＡＲ画像の設定を調整する。つまり、プロセッサ１５０は、受信されたＩＳＡＲ画像のデータを学習済みモデル１６２に入力し、入力されたＩＳＡＲ画像の設定を基準のＩＳＡＲ画像の設定に近づけるための設定の調整量を取得する。そして、プロセッサ１５０は、調整量に応じて入力されたＩＳＡＲ画像の輝度、コントラスト等を調整する。

ステップＳ２０７において、プロセッサ１５０は、調整したＩＳＡＲ画像のデータに基づいて、ＩＳＡＲ画像を表示装置１８０に表示させる。

ステップＳ２０８において、プロセッサ１５０は、調整したＩＳＡＲ画像の中からベストショットのＩＳＡＲ画像を選択する。つまり、プロセッサ１５０は、調整したＩＳＡＲ画像のデータを学習済みモデル１６３に入力し、ベストショットのＩＳＡＲ画像のデータを取得する。なお、ステップＳ２０８において、学習済みモデル１６３は、入力されたＩＳＡＲ画像のデータにおける特徴量がベストショットの基準に満たないときには、ベストショットのＩＳＡＲ画像を出力しなくてもよい。

ステップＳ２０９において、プロセッサ１５０は、選択したＩＳＡＲ画像に写っている艦船の種類を判別する。つまり、プロセッサ１５０は、選択したＩＳＡＲ画像を学習済みモデル１６４に入力し、艦船の種類のデータを取得する。

ステップＳ２１０において、プロセッサ１５０は、判別した艦船の種類が商船であるか否かを判定する。ステップＳ２１０において、判別した艦船の種類が商船であると判定されたときには、処理はステップＳ２０１に戻る。この場合、探索モードの動作に切り替えられる。ステップＳ２１０において、判別した艦船の種類が商船でないと判定されたときには、処理はステップＳ２１１に移行する。

ステップＳ２１１において、プロセッサ１５０は、選択したＩＳＡＲ画像に写っている艦船の艦級を類別する。つまり、プロセッサ１５０は、選択したＩＳＡＲ画像を学習済みモデル１６５に入力し、艦船の艦級のデータを取得する。艦級のデータは、選択したＩＳＡＲ画像に写っている艦船との類似度の最も高い艦船の艦級のデータだけであってもよいし、類似度の高い上位の複数の艦船の艦級のデータであってもよい。

ステップＳ２１２において、プロセッサ１５０は、艦級の類別結果を例えば表示装置１８０に表示させる。その後、処理はステップＳ２１３に移行する。例えば、プロセッサ１５０は、類別結果として、プロセッサ１５０が選択したベストショットのＩＳＡＲ画像とそのＩＳＡＲ画像における特徴量、及び艦級の類別結果を表示装置１８０に表示させる。艦級の類別結果は、ＩＳＡＲ画像に重ねて表示されてもよいし、別のウインドウ上に表示されてもよい。さらには、類別結果は、類似度の順にリスト表示されてもよい。

ステップＳ２１３において、プロセッサ１５０は、評価ランクが入力されたか否かを判定する。オペレータは、表示装置１８０に表示されたＩＳＡＲ画像を見て、プロセッサ１５０によって選択されたＩＳＡＲ画像が自身の望むベストショットと合致しているか、及びプロセッサ２１０によって抽出された特徴量が正しいかを判断する。そして、オペレータは、必要に応じて、判断結果に応じた評価ランクを入力する。ステップＳ２１３において、評価ランクが入力されたときには、処理はステップＳ２１４に移行する。ステップＳ２１３において、評価ランクが入力されていないときには、処理はステップＳ２１５に移行する。

ステップＳ２１４において、プロセッサ１５０は、ベストショットのＩＳＡＲ画像のデータ及び特徴量のデータと、それぞれの評価ランクとをストレージ１６０に記録する。その後、処理はステップＳ２１５に移行する。ストレージ１６０に記録されたベストショットのＩＳＡＲ画像のデータ、特徴量のデータ、評価ランクは、航空機が地上に戻ってきた際にサーバ２００の学習モデル２２１に入力される。これにより、学習モデル２２１における再学習が行われる。

ステップＳ２１５において、プロセッサ１５０は、自動モードの動作を終了するか否かを判定する。例えば、オペレータによって類別モードが手動モードに切り替えられた場合又はオペレータによって類別の処理自体の終了が指示された場合には、自動モードの動作を終了すると判定される。ステップＳ２１５において、自動モードの動作を終了する場合には、プロセッサ１５０は、図１０の処理を終了させる。この場合には、プロセッサ１５０は、図８の処理も終了させる。ステップＳ２１５において、自動モードの動作を終了しない場合には、処理はステップＳ２０１に戻る。この場合には、探索モードの動作から処理が再開される。

以上説明したように一実施形態によれば、艦級の類別結果を自動的に表示するとともに、複数のＩＳＡＲ画像の中から、ベストショットのＩＳＡＲ画像が自動的に選択される。これにより、オペレータは自動類別結果の妥当性を容易に確認し、判断することができる。また、オペレータの経験の有無によらずに一定の類別結果を得ることができる。さらに、一実施形態では、ベストショットのＩＳＡＲ画像の自動選択のための学習にオペレータによるアノテーションが用いられる。これにより、オペレータの経験等が考慮されて学習が行われる。

また、実施形態では、オペレータは、自動選択の結果に対して評価をすることができる。この評価の結果を受けて再学習がされることにより、よりオペレータの経験等が考慮されたＩＳＡＲ画像の自動選択が行われ得る。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 類別システム、１００ レーダ装置、１１０ 送信機、１２０ サーキュレータ、１３０ アンテナ、１４０ 受信機、１５０ プロセッサ、１５１ 優先度判定部、１５２ 調整部、１５３ 選択部、１５４ 判別部、１５５ 類別部、１６０ ストレージ、１６１ 学習済みモデル、１６２ 学習済みモデル、１６３ 学習済みモデル、１６４ 学習済みモデル、１６５ 学習済みモデル、１７０ 入力装置、１８０ 表示装置、２００ サーバ、２１０ プロセッサ、２２０ ストレージ、２３０ 入力装置、２４０ 表示装置。

Claims (6)

1. ＩＳＡＲ画像に基づいて艦船の類別をする類別装置のための学習済みモデル生成装置であって、
   複数のＩＳＡＲ画像の中からオペレータによって選択されたベストショットのＩＳＡＲ画像であることを示すアノテーションが付けられた第１のＩＳＡＲ画像及び前記第１のＩＳＡＲ画像における第１の特徴量を、複数のＩＳＡＲ画像から類別に適するベストショットのＩＳＡＲ画像を選択するように構成される学習モデルに入力し、前記学習モデルにベストショットのＩＳＡＲ画像と特徴量との関係を学習させる学習部、
   を具備し、
   前記学習部は、前記オペレータの練度に応じて前記第１のＩＳＡＲ画像及び前記第１の特徴量に重みづけをして、前記学習モデルに艦船の特徴量と前記ベストショットのＩＳＡＲ画像との関係を学習させる類別装置のための学習済みモデル生成装置。
2. 前記第１の特徴量は、前記第１のＩＳＡＲ画像における艦船の構造物の位置を含む請求項１に記載の類別装置のための学習済みモデル生成装置。
3. 前記学習部は、さらに、複数のＩＳＡＲ画像から類別に適するベストショットのＩＳＡＲ画像を選択するように構成された学習済みモデルを搭載した類別装置によって選択された第２のＩＳＡＲ画像にアノテーションされた、前記第２のＩＳＡＲ画像の良否の程度を表す第１のランクに応じて重み付けされた前記第２のＩＳＡＲ画像を前記学習モデルに入力し、
   前記学習モデルは、前記第２のＩＳＡＲ画像に基づいて、ベストショットのＩＳＡＲ画像と特徴量との関係を再学習する請求項１又は２に記載の類別装置のための学習済みモデル生成装置。
4. 前記学習部は、さらに、複数のＩＳＡＲ画像から類別に適するベストショットのＩＳＡＲ画像を選択するように構成された学習済みモデルを搭載した類別装置によって選択された第２のＩＳＡＲ画像における第２の特徴量にアノテーションされた、前記第２の特徴量の確からしさを表す第２のランクに応じて重み付けされた前記第２の特徴量を前記学習モデルに入力し、
   前記学習モデルは、前記第２の特徴量に基づいて、ベストショットのＩＳＡＲ画像と特徴量との関係を再学習する請求項１乃至３の何れか１項に記載の類別装置のための学習済みモデル生成装置。
5. 前記学習部は、
   前記艦船の特徴量に基づいて、前記選択されたＩＳＡＲ画像における前記艦船の上下が反転しているか否かを判定し、
   前記選択されたＩＳＡＲ画像における前記艦船の上下が反転しているときには前記ＩＳＡＲ画像の上下の向きを反転させてから、学習モデルに、前記選択されたＩＳＡＲ画像及び前記選択されたＩＳＡＲ画像における前記艦船の特徴量を入力する請求項１乃至４の何れか１項に記載の類別装置のための学習済みモデル生成装置。
6. ＩＳＡＲ画像に基づいて艦船の類別をする類別装置のための学習済みモデル生成方法であって、
   複数のＩＳＡＲ画像の中からオペレータによって選択されたベストショットのＩＳＡＲ画像であることを示すアノテーションが付けられた第１のＩＳＡＲ画像及び前記第１のＩＳＡＲ画像における第１の特徴量に前記オペレータの練度に応じて重みづけをすることと、
   前記重みづけがされた前記第１のＩＳＡＲ画像及び前記第１の特徴量を、複数のＩＳＡＲ画像から類別に適するベストショットのＩＳＡＲ画像を選択するように構成される学習モデルに入力することと、
   前記学習モデルにベストショットのＩＳＡＲ画像と特徴量との関係を学習させることと、
   を具備する類別装置のための学習済みモデル生成方法。