JP7477764B2 - 情報処理プログラム、情報処理方法、および情報処理装置 - Google Patents

Description

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。

可視光またはレーダなどにより、観測の対象となる対象物（人物、車両、船舶、航空機など）の画像を撮影することができる。レーダを用いた場合、夜間でも画像の撮影が可能である。

対象物を撮影した画像をコンピュータにより解析することで、対象物についての様々な情報を得ることができる。例えば対象物が人物であれば、その人物の性別や体型などの情報を得ることができる。また対象物が船舶であれば、その船舶の種別（漁船、貨物船など）や大きさなどの情報を得ることができる。画像の解析には、例えばＡＩ（Artificial Intelligence）などの機械学習の技術を利用することができる。

観測のために撮影した画像には、さまざまな要因により突発的にぼやけやノイズが生じる。ぼやけやノイズが生じると、画像内での対象物の特徴が不鮮明になり、その画像は対象物の解析には適さない画像となる。

解析に適さない画像を抽出する技術としては、例えば対象画像がぼけ画像であるか否かを容易に、かつ、精度よく判定するぼけ画像判定方法が提案されている。また画像に基づく対象物の分類に関する技術として、教師データの分布状況の把握を好適に支援する教師データ作成支援装置が提案されている。さらに、ユーザと対話的に識別器を学習する処理において精度の高い識別器を学習するのに適切な情報を表示する情報処理装置も提案されている。

特開２０１０－２３１６９５号公報 特開２０１９－６６９９３号公報 特開２０１８－１４２０９７号公報

画像の特徴量を所定のパラメータと比較することで、解析に利用することが不適切な画像を特定することができる。この場合、解析精度を向上させるには、パラメータに適切な値を設定することが重要となる。しかし、従来は、解析結果だけが表示され、その解析結果の精度が悪い場合に、ユーザは解析に利用することが不適切な画像が正しく排除されたのか否かを判断することができない。そのためユーザは、パラメータの値を何度も変えながら、解析精度が向上するまで解析処理を繰り返すこととなる。このようにパラメータを用いた解析に不適切な画像の排除に手間がかかり、精度の良い解析結果を得るまでに時間がかかっている。

１つの側面では、本発明は、解析に不適切な画像の排除処理の効率化を図ることを目的とする。

１つの案では、以下の処理をコンピュータに実行させる情報処理プログラムが提供される。
コンピュータは、機械学習で得られた学習済モデルを用いて、動画データに含まれる複数のフレーム画像それぞれに表されている対象物の推論結果を取得する。次にコンピュータは、予め設定されたパラメータに基づいて、動画データに含まれる複数のフレーム画像それぞれの推論結果を利用することが適切か否かを判定する。次にコンピュータは、動画データ内での先頭から複数のフレーム画像それぞれまでの、推論結果を利用することが適切であると判定された第１のフレーム画像それぞれの第１の推論結果を累積させた累積結果を算出する。次にコンピュータは、複数のフレーム画像それぞれについて算出された推論結果の時系列変化を示す第１のグラフと、複数のフレーム画像それぞれについて算出された累積結果の時系列変化を示す第２のグラフとを生成する。そしてコンピュータは、第１のグラフと第２のグラフとを、第１のフレーム画像の第１の推論結果または第１の累積結果の表示領域と、推論結果を利用することが不適切であると判定された第２のフレーム画像の第２の推論結果または第２の累積結果の表示領域とを異なる表示態様で表示させる。

１態様によれば、解析に不適切な画像の排除処理の効率化を図ることができる。

第１の実施の形態に係る情報処理方法の一例を示す図である。 船舶の類識別のためのシステム構成の一例を示す図である。 航空機内の情報処理システムの一例を示す図である。 本実施の形態に用いるコンピュータのハードウェアの一例を示す図である。 クレンジングの重要性を説明する図である。 解析装置の機能の一例を示す図である。 パラメータ管理テーブルの一例を示す図である。 フレーム画像の特徴量に基づく散布図の一例を示す図である。 クレンジング結果テーブルの一例を示す図である。 推論結果テーブルの一例を示す図である。 累積結果テーブルの一例を示す図である。 学習処理の手順の一例を示すフローチャートである。 クレンジング結果確認画面の一例を示す図である。 船舶の類識別処理の手順の一例を示すアクティビティ図である。 解析結果表示画面の一例を示す図である。 クレンジング対象を明示しない場合の解析結果表示画面の例（比較例）を示す図である。 クレンジング対象を明示した解析結果表示画面の第１の例を示す図である。 クレンジング対象を明示した解析結果表示画面の第２の例を示す図である。

以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第１の実施の形態〕
まず第１の実施の形態について説明する。

図１は、第１の実施の形態に係る情報処理方法の一例を示す図である。情報処理装置１０は、例えば情報処理プログラムを実行することにより、情報処理方法を実施することができる。情報処理装置１０は、記憶部１１と処理部１２とを有する。記憶部１１は、例えば情報処理装置１０が有するメモリ、またはストレージ装置である。処理部１２は、例えば情報処理装置１０が有するプロセッサ、または演算回路である。

記憶部１１は、動画データ１を記憶する。動画データ１には、複数のフレーム画像１ａ，１ｂ，・・・が含まれる。
処理部１２は、機械学習で得られた学習済モデルを用いて、動画データ１に含まれる複数のフレーム画像１ａ，１ｂ，・・・それぞれに表されている対象物の推論結果を取得する。対象物が船舶の場合、例えば推論結果として船舶の類識別の結果が得られる。次に処理部１２は、予め設定されたパラメータに基づいて、動画データに含まれる複数のフレーム画像１ａ，１ｂ，・・・それぞれの推論結果を利用することが適切か否かを判定する。パラメータは、例えばフレーム画像を解析して得られる特徴量についての閾値である。その場合、処理部１２は、フレーム画像の特徴量と、パラメータとして設定された閾値との大小の比較結果に基づいて、そのフレーム画像から算出した推論結果を利用することが適切か否かを判定する。

処理部１２は、動画データ１内での先頭から複数のフレーム画像１ａ，１ｂ，・・・それぞれまでの、推論結果を利用することが適切であると判定された第１のフレーム画像それぞれの推論結果（第１の推論結果）を累積させた累積結果を算出する。累積結果は、例えば動画データ１の先頭のフレーム画像から累積結果の算出対象となるフレーム画像までに含まれる第１のフレーム画像それぞれの第１の推論結果に示される値の平均値である。

次に処理部１２は、第１のグラフ２と第２のグラフ３とを生成する。第１のグラフ２は、複数のフレーム画像１ａ，１ｂ，・・・それぞれの推論結果の時系列変化を示すグラフである。第１のグラフの横軸は例えばフレーム画像のフレーム番号であり、縦軸は例えば推論結果に示される船舶の種別ごとの、写っている船舶がその種別の船舶である確率である。第２のグラフ３は、複数のフレーム画像１ａ，１ｂ，・・・それぞれまでの、推論結果を利用することが適切であると判定された第１のフレーム画像に対する推論結果を累積させた累積結果を示すグラフである。第２のグラフの横軸は例えばフレーム画像のフレーム番号であり、縦軸は例えば推論結果に示される船舶の種別ごとの、写っている船舶がその種別の船舶である確率の平均値である。

そして処理部１２は、生成した第１のグラフ２と第２のグラフ３とを含む表示画面４をモニタに表示させる。その際、処理部１２は、第１のフレーム画像の第１の推論結果または第１の累積結果の表示領域２ａ，３ａと、推論結果を利用することが不適切であると判定された第２のフレーム画像の第２の推論結果または第２の累積結果の表示領域２ｂ，３ｂとを異なる表示態様で表示させる。なお、動画データ１内の最後のフレーム画像まで推論が完了したときの累積結果が、動画データ１に関する解析結果となる。

これにより、パラメータに基づいて推論結果の累積の対象から除外された第２のフレーム画像を容易に把握することができる。そして、第１のグラフ２を参照すれば、第２のフレーム画像の推論結果を確認することができ、累積の対象から除外することが適切であったのか否かを判断できる。例えば他の多くのフレーム画像と大きく異なる推論結果となっているフレーム画像が第２のフレーム画像として累積の対象外になっていれば、不適切な画像の排除処理が正しく行われていると判断できる。逆に、例えば他の多くのフレーム画像と大きく異なる推論結果が第１のフレーム画像の累積結果として累積の対象になっていれば、利用することが不適切な推論結果の排除処理の精度が不十分であると判断できる。このように不適切な画像の排除処理の良否を容易に判断できることで、不適切な画像の排除処理の精度が不十分な場合のパラメータの修正を迅速に行うことができ、解析に不適切な画像の排除処理の効率化を図ることができる。

また処理部１２は、生成された動画データ１をリアルタイムに処理し、第１のグラフ２と第２のグラフ３とを更新することもできる。例えば処理部１２は、動画データ１から一フレーム画像が読み込まれるごとに、一フレーム画像の推論結果の取得、一フレーム画像までの第１のフレーム画像それぞれの推論結果を累積させた累積結果の算出、第１のグラフ２と第２のグラフ３との更新を行う。処理部１２は、第１のグラフ２と第２のグラフ３とを更新するごとに、更新した第１のグラフ２と第２のグラフ３を表示させる。このようなリアルタイムの処理により、例えば監視カメラなどで撮影された動画データから、フレーム画像ごとの推論結果と累積結果とを、グラフによって即座に表示させることができる。その結果、解析に利用するのが不適切なフレーム画像の推論結果が累積結果に利用された場合に、そのことをユーザが迅速に把握することができる。そしてユーザは、パラメータの修正などを行い、フレーム画像を解析に利用することが適切か否かの判定の精度を向上させることができる。

さらに処理部１２は、動画データ１内の第２のフレーム画像が連続する範囲をユーザの操作入力に応じて変更することで、各フレーム画像の推論結果を累積の対象とするか否かについて修正することができる。例えば処理部１２は、第２のフレーム画像が連続する範囲をモニタに表示させる。次に処理部１２は、表示した範囲の開始位置となる第２のフレーム画像、または範囲の終了位置となる第２のフレーム画像を変更する入力を受け付ける。処理部１２は、入力により範囲に新たに含まれる第１のフレーム画像の推論結果を、累積結果の算出における累積の対象から除外し、入力により範囲から外れる第２のフレーム画像の推論結果を、累積結果の算出における累積の対象に含める。これにより、解析に不適切な画像の排除処理を容易に行うことが可能となる。

〔第２の実施の形態〕
次に第２の実施の形態について説明する。第２の実施の形態は、光学／電波センサ（可視光また赤外線などの光によるカメラ、その他の各種レーダを含む）によって船舶の類識別を自動で行う場合に、類識別の自動判定に不適切な画像の除去の効率化を図るものである。なお、処理に悪影響を与えると考えられるデータを除外し、学習後の識別機の性能を向上させる処理は、データクレンジングと呼ばれる。以下の説明では、類識別の自動判定に不適切な画像（またはその画像に対する推論結果）を除去する処理を、クレンジングと呼ぶ。

図２は、船舶の類識別のためのシステム構成の一例を示す図である。図２の例では、航空機３０に光学／電波センサ装置３１が搭載されている。光学／電波センサ装置３１は、光や電波を含む電磁波を用いて対象物の画像を生成する装置である。光学／電波センサ装置３１は、例えば船舶４１に電磁波を照射し、反射して返ってきた信号を分析して、船舶４１の画像を生成することができる。

航空機３０には、光学／電波センサ装置３１で取得した画像を解析する情報処理システムが搭載されている。また航空機３０から地上のデータセンタ４２へ光学／電波センサ装置３１で取得した画像を送信し、データセンタ４２のコンピュータに画像を解析させることもできる。

図３は、航空機内の情報処理システムの一例を示す図である。航空機３０は、光学／電波センサ装置３１に加え、サーバ３２、通信装置３３、アンテナ３４、および解析装置１００を有する。

光学／電波センサ装置３１は、アンテナ３１ａと光学／電波センサ画像生成部３１ｂとを有する。アンテナ３１ａは、船舶４１などの対象物への電磁波を送信し、対象物で反射した電磁波を受信する。光学／電波センサ画像生成部３１ｂは、アンテナ３１ａで受信した信号を解析し、光学／電波センサのフレーム画像を生成する。光学／電波センサ装置３１は、所定のフレームレートに応じた間隔でフレーム画像を生成する。生成されたフレーム画像を時系列で表示すると、船舶４１などの対象物の動画像となる。光学／電波センサ装置３１は、生成したフレーム画像をサーバ３２に送信する。

サーバ３２は、光学／電波センサ装置３１から送られたフレーム画像を取得し、内部のストレージ装置に格納する。サーバ３２には通信装置３３と解析装置１００が接続されている。通信装置３３は、アンテナ３４を介して地上のデータセンタ４２と無線により通信する。サーバ３２は、通信装置３３を用いて、フレーム画像をデータセンタ４２に送信することができる。またサーバ３２は、フレーム画像を解析装置１００に送信することもできる。

解析装置１００は、サーバ３２から取得したフレーム画像を解析し、フレーム画像に映し出された船舶の種別を判定する類識別を行う。例えば解析装置１００には、光学／電波センサで得られるフレーム画像に基づく船舶類識別用の機械学習の学習済モデルが格納されている。解析装置１００は、学習済モデルを用いて類識別を実行する。なお解析装置１００は、類識別の際、前処理として画像のクレンジングを行い、解析に利用することが不適切なフレーム画像の推論結果を、最終的な類別判断に使用する情報から除外する。

図４は、本実施の形態に用いるコンピュータのハードウェアの一例を示す図である。解析装置１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現してもよい。

メモリ１０２は、解析装置１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に利用する各種データが格納される。メモリ１０２としては、例えばＲＡＭ（Random Access Memory）などの揮発性の半導体記憶装置が使用される。

バス１０９に接続されている周辺機器としては、ストレージ装置１０３、グラフィック処理装置１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。

ストレージ装置１０３は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置１０３は、コンピュータの補助記憶装置として使用される。ストレージ装置１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置１０３としては、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用することができる。

グラフィック処理装置１０４には、モニタ２１が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令に従って、画像をモニタ２１の画面に表示させる。モニタ２１としては、有機ＥＬ（Electro Luminescence）を用いた表示装置や液晶表示装置などがある。

入力インタフェース１０５には、キーボード２２とマウス２３とが接続されている。入力インタフェース１０５は、キーボード２２やマウス２３から送られてくる信号をプロセッサ１０１に送信する。なお、マウス２３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク２４に記録されたデータの読み取り、または光ディスク２４へのデータの書き込みを行う。光ディスク２４は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク２４には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）などがある。

機器接続インタフェース１０７は、解析装置１００に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース１０７には、メモリ装置２５やメモリリーダライタ２６を接続することができる。メモリ装置２５は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ２６は、メモリカード２７へのデータの書き込み、またはメモリカード２７からのデータの読み出しを行う装置である。メモリカード２７は、カード型の記録媒体である。

ネットワークインタフェース１０８は、ネットワーク２０に接続されている。ネットワークインタフェース１０８は、ネットワーク２０を介して、サーバ３２との間でデータの送受信を行う。ネットワークインタフェース１０８は、例えばスイッチやルータなどの有線通信装置にケーブルで接続される有線通信インタフェースである。またネットワークインタフェース１０８は、基地局やアクセスポイントなどの無線通信装置に電波によって通信接続される無線通信インタフェースであってもよい。

解析装置１００は、以上のようなハードウェアによって、第２の実施の形態の処理機能を実現することができる。なおデータセンタ４２には、解析装置１００と同様のハードウェアを有するコンピュータが設置されている。また、第１の実施の形態に示した情報処理装置１０も、図４に示した解析装置１００と同様のハードウェアにより実現することができる。

解析装置１００は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第２の実施の形態の処理機能を実現する。解析装置１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、解析装置１００に実行させるプログラムをストレージ装置１０３に格納しておくことができる。プロセッサ１０１は、ストレージ装置１０３内のプログラムの少なくとも一部をメモリ１０２にロードし、プログラムを実行する。また解析装置１００に実行させるプログラムを、光ディスク２４、メモリ装置２５、メモリカード２７などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１０１からの制御により、ストレージ装置１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

ここで画像のクレンジングの重要性について説明する。
図５は、クレンジングの重要性を説明する図である。光学／電波センサ装置３１から取得した動画（光学／電波センサ動画５０）には、複数のフレーム画像５１，５２，５３，・・・が含まれる。フレーム画像が正常画像であれば、船舶固有の船首、船尾、上部構造物の特徴などから、その船舶の類別を判別できる。しかし光学／電波センサで取得したフレーム画像５１，５２，５３，・・・は、航空機３０の振動や取得条件によって、突発的にぼやけやノイズが画像に生じる。フレーム画像にぼやけやノイズが生じると、フレーム画像内での対象物の特徴が不鮮明になる。例えば船首、船尾の位置、または上部構造物の形状が、ぼやけやノイズによって不鮮明となる。このようなフレーム画像は、対象物の類識別の利用には適さない。

このように光学／電波センサ動画５０には、ぼやけ画像やノイズ画像のような、類識別に利用することが不適切なフレーム画像が含まれる。類識別に利用することが不適切なフレーム画像を人の判断で抽出することも可能であるが、この場合、録画した光学／電波センサ動画５０の中からぼやけ画像またはノイズ画像かどうかを、ユーザがフレーム画像ごとに目視で判断することとなる。このような人の目視による判断をリアルタイムに実施するのは困難である。

なおフレーム画像の何らかの特徴量を算出し、その特徴量と予め設定された閾値とを比較することで、ぼやけ画像のようなクレンジング対象の画像を自動抽出することも可能である。この閾値は、第１の実施の形態で説明したパラメータの一例である。

閾値を用いてクレンジング対象の画像の自動抽出を行う場合、閾値に適切な値が設定されていないと、類識別の判定精度が向上しない。しかし、類識別の判定結果だけを見て、クレンジングに用いた閾値が適切なのか否か判断することは困難である。そこで解析装置１００は、画像のクレンジングの過程を可視化することでクレンジングが適切であったか否かを容易に判断できるようにしている。

図６は、解析装置の機能の一例を示す図である。サーバ３２は、画像取得部３２ａと画像データ記憶部３２ｂとを有している。
画像取得部３２ａは、光学／電波センサ装置３１から光学／電波センサ動画５０のフレーム画像５１，５２，５３，・・・を取得する。画像取得部３２ａは、取得したフレーム画像を画像データ記憶部３２ｂに格納する。

画像データ記憶部３２ｂは、フレーム画像を記憶する。画像データ記憶部３２ｂは、例えば画像データ記憶部３２ｂが有するメモリまたはストレージ装置の記憶領域の一部である。

解析装置１００は、画像読み込み部１１０、クレンジング部１２０、学習部１３１、推論部１３２、記憶部１４０、および解析結果表示部１５０を有する。
画像読み込み部１１０は、サーバ３２の画像データ記憶部３２ｂから、フレーム画像を１つずつ読み込む。例えば画像読み込み部１１０は、画像データ記憶部３２ｂに格納された画像に基づいて機械学習を行う場合であれば、過去に記録した光学／電波センサ動画５０に含まれるフレーム画像を、時系列に先頭から順番に読み込む。そして画像読み込み部１１０は、読み込んだフレーム画像をクレンジング部１２０、および学習部１３１に送信する。

また画像読み込み部１１０は、リアルタイムの類識別を行う場合、画像取得部３２ａが画像データ記憶部３２ｂに格納した最新のフレーム画像を読み込む。また画像読み込み部１１０は、過去に記録した光学／電波センサ動画５０を用いた類識別を行う場合、その光学／電波センサ動画５０に含まれるフレーム画像を、時系列に先頭から順番に読み込む。そして画像読み込み部１１０は、読み込んだフレーム画像をクレンジング部１２０、推論部１３２、および解析結果表示部１５０それぞれに送信する。

クレンジング部１２０は、フレーム画像のクレンジング処理を行う。例えばクレンジング部１２０は、画像の特徴量を算出する。特徴量は、フレーム画像の各画素値（輝度）を統計的に処理することで得られる値である。例えば画像のノイズの有無またはぼやけの有無の判別に利用可能な統計量が、特徴量として用いられる。ぼやけ画像を判定するための特徴量としては、例えば画素値の最大値と最小値の差を用いることができる。クレンジング部１２０は、フレーム画像の特徴量を予め設定された閾値と比較し、そのフレーム画像がクレンジング対象か否かを判断する。例えばクレンジング部１２０は、フレーム画像の特徴量が閾値を超えている場合に、そのフレーム画像をクレンジング対象とする。クレンジング部１２０は、フレーム画像ごとのクレンジング処理の結果を記憶部１４０のクレンジング結果テーブル１４２に格納する。

なおクレンジング部１２０は、特徴量の閾値として、解析結果表示部１５０から指定された閾値を使用する。例えばパラメータ管理テーブル１４１に、船舶の大きさ別の閾値セットを複数登録することができる。クレンジング部１２０は、解析結果表示部１５０から、どの大きさの船舶用の閾値セットを使用すべきかの指定を受け付ける。そしてクレンジング部１２０は、指定された閾値セットを用いてクレンジングを行う。

学習部１３１は、フレーム画像に基づいて機械学習を行う。例えば学習部１３１は、フレーム画像に写っている船舶の種別が何なのかを判別するためのモデル（関数、ニューラルネットワークなど）を学習する。その場合、学習部１３１は、教師データとして船舶の種別を示す情報の入力を受け付け、その船舶が写っている光学／電波センサ動画のフレーム画像を画像読み込み部１１０から取得する。そして、学習部１３１は、フレーム画像に対してモデルを適用した場合の出力値が教師データと一致するように、モデルのパラメータを調整する。学習部１３１は、学習が終了すると、そのとき最も評価の高いモデルを学習済モデルとして推論部１３２に送信する。

推論部１３２は、フレーム画像に写っている船舶の類識別を行う。例えば推論部１３２は、予め機械学習で学習させた学習済モデルを有している。推論部１３２は、フレーム画像を学習済モデルへの入力として、学習済モデルに従った推論処理による解析を行い、推論結果を出力する。推論結果としては、例えば船舶の種別ごとの、その種別である確率が出力される。推論部１３２は、推論結果を記憶部１４０内の推論結果テーブル１４３に格納する。

また推論部１３２は、１つのフレーム画像の解析が完了するごとに、それまでの推論結果を種別ごとに累積させた値を、累積結果に含まれる累積値として計算する。例えば推論部１３２は、種別ごとに、フレーム画像ごとに求められたその種別である確率の平均値を累積値とする。この際、推論部１３２は、クレンジング処理においてクレンジング対象とされたフレーム画像の推論結果は、累積の対象から除外する。推論部１３２は、計算した累積値を記憶部１４０の累積結果テーブル１４４に格納する。

記憶部１４０は、パラメータ管理テーブル１４１、クレンジング結果テーブル１４２、推論結果テーブル１４３、および累積結果テーブル１４４を記憶する。パラメータ管理テーブル１４１は、フレーム画像をクレンジングの対象とするか否かの判断基準となる特徴量の閾値が登録されたデータテーブルである。クレンジング結果テーブル１４２は、フレーム画像ごとのクレンジング処理の結果が登録されたデータテーブルである。推論結果テーブル１４３は、フレーム画像ごとの類識別の推論結果が登録されたデータテーブルである。累積結果テーブル１４４は、フレーム画像ごとの、そのフレーム画像までの推論結果の累積値が登録されたデータテーブルである。記憶部１４０は、例えばメモリ１０２またはストレージ装置１０３の記憶領域の一部である。

解析結果表示部１５０は、推論結果を示す解析結果表示画面をモニタ２１に表示する。例えば解析結果表示部１５０は、フレーム画像ごとの推論結果の時系列変化を示すグラフと、累積結果の時系列変化を示すグラフとを並べて表示する。その際、解析結果表示部１５０は、クレンジング対象となったフレーム画像に対応する領域を、それ以外と異なる態様で表示する。例えば解析結果表示部１５０は、クレンジング対象となったフレーム画像に対応する領域の背景を灰色とし、それ以外の領域の背景を白色とする。

また解析結果表示部１５０は、解析結果表示画面を介して、特徴量の閾値の指定入力を受け付けることができる。解析結果表示部１５０は、特徴量の閾値の指定入力を受け付けると、入力に応じた閾値の指定情報をクレンジング部１２０に送信する。

このような機能を有する解析装置１００によって、光学／電波センサ動画５０に含まれるフレーム画像５１，５２，５３，・・・のうちの、類識別に利用することが適切なフレーム画像の推論結果のみを用いて船舶４１の類識別を行うことができる。そしてクレンジング処理の過程が視覚的に認識できるように、推論結果および累積結果が表示される。

なお、図６に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。また、図６に示した各要素の機能は、例えば、その要素に対応するプログラムモジュールをコンピュータに実行させることで実現することができる。

図２に示したデータセンタ４２は、サーバ３２から取得した光学／電波センサ動画５０を記憶するストレージ装置を有すると共に、解析装置１００と同様の機能を有する。船舶の類識別用のモデルの学習をデータセンタ４２のコンピュータで行わせる場合、解析装置１００には学習部１３１が無くてもよい。その場合、解析装置１００の推論部１３２は、データセンタ４２から学習済モデルを取得する。

次に、記憶部１４０に格納されているデータテーブルの詳細について説明する。
図７は、パラメータ管理テーブルの一例を示す図である。パラメータ管理テーブル１４１には、例えば特徴量の名称に対応付けて、その特徴量における閾値とクレンジング対象とする条件とが設定されている。図７の例では、閾値としては、小型船舶の類識別に用いる小型用閾値、中型船舶の類識別に用いる中型用閾値、大型船舶の類識別に用いる大型用閾値が設けられている。クレンジング対象とする条件としては、例えば特徴量と閾値との大小関係についての条件が設定されている。フレーム画像の特徴量の値がクレンジング対象とする条件を満たす場合、そのフレーム画像はクレンジング対象となる。

図８は、フレーム画像の特徴量に基づく散布図の一例を示す図である。図８に示す散布図６０では、横軸が特徴量Ａ、縦軸が特徴量Ｂである。そして図７に示すパラメータ管理テーブル１４１における中型用閾値を適用した場合の座標上の領域の区分けが示されている。

特徴量Ａの値が閾値「ａ２」以下であり、かつ特徴量Ｂの値が閾値「ｂ２」以下の領域は、正常領域６１である。正常領域６１に属するフレーム画像は、クレンジング対象外である。特徴量Ａの値が閾値「ａ２」より大きく、かつ特徴量Ｂの値が閾値「ｂ２」以下の領域は、異常領域６２である。特徴量Ａの値が閾値「ａ２」以下であり、かつ特徴量Ｂの値が閾値「ｂ２」より大きい領域は、異常領域６３である。特徴量Ａの値が閾値「ａ２」より大きく、かつ特徴量Ｂの値が閾値「ｂ２」より大きい領域は、異常領域６４である。異常領域６２～６４に属するフレーム画像はクレンジング対象である。

図９は、クレンジング結果テーブルの一例を示す図である。クレンジング結果テーブル１４２には、時系列で連続する１以上のクレンジング対象のフレーム画像を示すクレンジング範囲の識別番号（クレンジング範囲識別番号）に対応付けて、開始フレームと終了フレームとが設定されている。開始フレームは、クレンジング範囲の先頭のフレーム画像のフレーム番号である。終了フレームは、クレンジング範囲の最後尾のフレーム画像のフレーム番号である。

図１０は、推論結果テーブルの一例を示す図である。推論結果テーブル１４３には、各フレーム画像のフレーム番号に対応付けて、推論結果と背景色とが設定されている。推論結果には、対応するフレーム画像に写っている船舶の類識別の推論結果が示されている。例えば推論結果には、ＡＡ船である確率、ＢＢ船である確率というように、船舶の種別ごとにその種別である確率が示されている。背景色は、推論結果をグラフで表示する際の対応するフレーム画像の推論結果の表示領域の背景の色である。例えば対応するフレーム画像がクレンジング対象外であれば背景色は白色であり、対応するフレーム画像がクレンジング対象であれば背景色は灰色である。

図１１は、累積結果テーブルの一例を示す図である。累積結果テーブル１４４には、各フレーム画像のフレーム番号に対応付けて、累積結果と背景色とが設定されている。
累積結果は、対応するフレーム画像の推論結果およびそのフレーム画像より前に解析が行われたフレーム画像の推論結果を累積して得られた類識別の判断結果である。例えば最初のフレーム画像から対応するフレーム画像まで船舶の種別ごとの推論結果の平均値が、累積結果として設定される。

例えばフレーム番号「１」のフレーム画像の推論結果においてＡＡ船である確率がａ％であり、フレーム番号「２」のフレーム画像の推論結果においてＡＡ船である確率がｃ％であるものとする。この場合、フレーム番号「２」のフレーム画像を解析した後の累積結果では、ＡＡ船である確率は｛（ａ＋ｃ）／２｝％となる。

なお累積結果に反映されるフレーム画像ごとの推論結果は、クレンジング対象外のフレーム画像の推論結果のみである。そのためクレンジング対象のフレーム画像の解析が行われてもその推論結果は累積結果に反映されず、そのフレーム画像の累積結果は、直前のフレーム画像の累積結果と同じ値となる。

背景色は、累積結果をグラフで表示する際の対応するフレーム画像の累積結果の表示領域の背景の色である。例えば対応するフレーム画像がクレンジング対象外であれば背景色は白色であり、対応するフレーム画像がクレンジング対象であれば背景色は灰色である。

次に学習処理の手順について説明する。以下の説明では解析装置１００が学習処理を行うものとして説明するが、データセンタ４２のコンピュータに学習処理を行わせてもよい。

図１２は、学習処理の手順の一例を示すフローチャートである。以下、図１２に示す処理をステップ番号に沿って説明する。
［ステップＳ１０１］画像読み込み部１１０は、光学／電波センサ動画５０のフレーム画像をサーバ３２の画像データ記憶部３２ｂから読み込む。

［ステップＳ１０２］クレンジング部１２０は、取得したフレーム画像に対するクレンジング処理を行う。例えばクレンジング部１２０は、フレーム画像の画素単位の輝度を求め、輝度の値に基づいて所定の計算を行うことで１または複数の特徴量それぞれの値を算出する。クレンジング部１２０は、算出した各特徴量の値とパラメータ管理テーブル１４１に設定されている閾値とを比較し、クレンジングの条件が満たされるか否かを判断する。クレンジング部１２０は、クレンジングの条件が満たされた場合、処理対象のフレーム画像をクレンジング対象と判断する。なお船舶を大別したときの大分類（小型、中型、大型など）に応じて閾値が設定されている場合、クレンジング部１２０は、予め指定された大分類の閾値を用いてクレンジング処理を実行する。

クレンジング部１２０は、クレンジング処理を実施したフレーム画像を、メモリ１０２またはストレージ装置１０３に格納する。
［ステップＳ１０３］クレンジング部１２０は、学習に使用する光学／電波センサ動画５０のすべてのフレーム画像に対するクレンジング処理が終了したか否かを判断する。クレンジング部１２０は、すべてのフレーム画像のクレンジング処理が終了した場合、処理をステップＳ１０４に進める。またクレンジング部１２０は、未処理のフレーム画像があれば、処理をステップＳ１０１に進める。

［ステップＳ１０４］クレンジング部１２０は、クレンジング結果の確認処理を行う。例えばクレンジング部１２０は、クレンジングの結果をクレンジング結果確認画面に表示する。そしてクレンジング部１２０は、ユーザから、クレンジング結果の修正入力を受け付ける。クレンジング部１２０は、ユーザからクレンジング結果の修正入力が行われると、その修正入力に従ってクレンジング結果（クレンジング対象とするフレーム画像を示す情報）を修正する。

クレンジング部１２０は、クレンジング結果確認処理が終了すると、クレンジング対象外のフレーム画像を学習部１３１に送信する。
［ステップＳ１０５］学習部１３１は、クレンジング対象外のフレーム画像に基づいて、船舶の類識別用のモデルを学習する。

［ステップＳ１０６］学習部１３１は、学習によって生成されたモデルを評価する。例えば学習部１３１は、教師データが付与された複数のフレーム画像をモデルに入力し、出力値が教師データと一致する割合によって、モデルを評価する。

［ステップＳ１０７］学習部１３１は、モデルの評価が良好（例えば出力値が教師データと一致する割合が所定値以上）か否かを判断する。学習部１３１は、モデルの評価が良好であれば、処理をステップＳ１０９に進める。また学習部１３１は、モデルの評価が良好でなければ、処理をステップＳ１０８に進める。

［ステップＳ１０８］クレンジング部１２０は、クレンジング処理における特徴量の閾値を調整し、処理をステップＳ１０１に進める。例えばクレンジング部１２０は、ユーザから、調整後との閾値の入力を受け付ける。そしてクレンジング部１２０は、入力された閾値をパラメータ管理テーブル１４１に設定する。

［ステップＳ１０９］学習部１３１は、評価が良好とされたモデルを、学習済モデルとして推論部１３２に送信する。
このようにして船舶の類識別用の学習済モデルが生成される。学習処理では、クレンジング処理を適切に実行することで、評価の高い学習済モデルを効率的に生成することができる。クレンジング処理の結果はクレンジング結果確認画面によって確認でき、クレンジング結果確認画面を介してクレンジング結果を修正することもできる。

図１３は、クレンジング結果確認画面の一例を示す図である。クレンジング結果確認画面７０には、クレンジング処理を実施する光学／電波センサ動画５０の再生画像を表示する動画表示部７１が設けられている。再生用のボタン７２が押下されると光学／電波センサ動画５０による動画像が動画表示部７１に表示される。動画再生中に巻き戻し用のボタン７３が押下されると、光学／電波センサ動画５０の巻き戻し再生が行われる。また動画停止中に巻き戻し用のボタン７３が押下されると、光学／電波センサ動画５０の巻き戻し方向（逆方向）へのコマ送り再生が行われる。動画再生中に早送り用のボタン７４が押下されると、光学／電波センサ動画５０の早送り再生が行われる。動画停止中に早送り用のボタン７４が押下されると、光学／電波センサ動画５０の通常の再生方向（順方向）へのコマ送り再生が行われる。

クレンジング結果確認画面７０には、さらに自動クレンジングの実施を指示するための、「Ａｎａｌｙｚｅ」と表記されたボタン７５が設けられている。ボタン７５が押下されると光学／電波センサ動画５０内の各フレーム画像の特徴量が求められ、特徴量の値と閾値との比較により、各フレーム画像がクレンジング対象か否かが判断される。

自動クレンジングの結果は、クレンジング対象表示部７６に表示される。クレンジング対象表示部７６には、クレンジング範囲ごとに、開始フレームのフレーム番号と終了フレームのフレーム番号との組が表示されている。クレンジング対象表示部７６からユーザがクレンジング範囲を選択し、「Ｍｏｖｅ Ｔｏ Ｆｒａｍｅ」と表記されたボタン７７を押下すると、動画表示部７１には、選択されたクレンジング範囲の画像が表示される。

また動画表示部７１にクレンジング対象外のフレーム画像が表示されているときに「Ａｄｄ Ｆｒａｍｅ」と表記されたボタン７８が押下されると、クレンジング部１２０により、表示されているフレーム画像を含むクレンジング範囲が生成される。そして、生成されたクレンジング範囲を示す情報がクレンジング対象表示部７６に追加される。

クレンジング対象表示部７６からユーザがクレンジング範囲を選択し、「Ｄｅｌｅｔｅ Ｆｒａｍｅ」と表記されたボタン７９を押下すると、クレンジング部１２０により、選択されたクレンジング範囲が削除される。削除されたクレンジング範囲に含まれるフレーム画像はクレンジング対象外となる。

動画表示部７１の下にはシークバー８０が表示されている。シークバー８０には再生されているフレーム画像の光学／電波センサ動画５０内での位置が示される。シークバー８０の上には、クレンジング範囲オブジェクト８１が表示されている。クレンジング範囲オブジェクト８１は、クレンジング範囲をシークバー８０上の位置で示す図形である。

クレンジング範囲オブジェクト８１には、開始フレームの位置を示す開始フレーム指定部８２と終了フレームの位置を示す終了フレーム指定部８３とが含まれる。ユーザは、開始フレーム指定部８２または終了フレーム指定部８３を選択し、ドラッグアンドドロップ操作によって位置を移動させることで、クレンジング範囲を変更することができる。

ユーザは、クレンジング結果確認画面７０によりクレンジング処理の結果を確認すると共に、クレンジング範囲が不適切な場合にはクレンジング範囲を修正する。そしてユーザが「Ｅｘｐｏｒｔ」と表記されているボタン８４を押下すると、クレンジング部１２０により、クレンジング結果が記憶部１４０内のクレンジング結果テーブル１４２に格納される。クレンジング結果テーブル１４２に格納されたクレンジング範囲の情報は、以降の学習処理で利用される。

学習処理が行われ学習済モデルが生成されると、その学習済モデルを用いて船舶の類識別が可能となる。類識別処理は、光学／電波センサ装置３１から光学／電波センサ動画５０のフレーム画像を取得するごとに、リアルタイムに実施することもできる。

以下、船舶の類識別処理の手順について詳細に説明する。
図１４は、船舶の類識別処理の手順の一例を示すアクティビティ図である。以下、図１４に示す処理をステップ番号に沿って説明する。

［ステップＳ２０１］画像読み込み部１１０は、光学／電波センサ動画５０の表示画面において再生ボタンが押下されたか否かを判定する。画像読み込み部１１０は、再生ボタンが押下された場合、処理をステップＳ２０２に進める。また画像読み込み部１１０は、再生ボタンが押下されていなければ、ステップＳ２０１の判断処理を繰り返す。

［ステップＳ２０２］画像読み込み部１１０は、光学／電波センサ動画５０の表示画面において停止ボタンが押下されたか否かを判断する。画像読み込み部１１０は、停止ボタンが押下された場合、船舶の類識別判定処理を終了する。また画像読み込み部１１０は、停止ボタンが押下されていない場合、処理をステップＳ２０３に進める。

［ステップＳ２０３］画像読み込み部１１０は、画像データ記憶部３２ｂから光学／電波センサ動画５０の再生における次のフレーム画像を読み込む。画像読み込み部１１０は、読み込んだフレーム画像をクレンジング部１２０、推論部１３２、および解析結果表示部１５０に送信する。

以下、ステップＳ２０４～Ｓ２０８の処理は、クレンジング部１２０、推論部１３２、および解析結果表示部１５０が並列に実行する。
［ステップＳ２０４］解析結果表示部１５０は、取得したフレーム画像を、メモリ１０２内の画面表示用の領域（例えばフレームバッファ）に描画する。例えば解析結果表示部１５０は、フレーム画像が所定の画像圧縮形式で圧縮されている場合、フレーム画像を伸張して、ピクセル単位の輝度を求める。そして解析結果表示部１５０は、ピクセル単位の輝度の値を画面表示用の領域に書き込む。

［ステップＳ２０５］推論部１３２は、取得したフレーム画像に対する推論処理を実施する。例えば推論部１３２は、機械学習によって学習された学習済モデルを用いて、船舶の類識別の推論を行う。推論部１３２は、推論処理により、既知の船舶の種別ごとに、フレーム画像に写っている船舶がその種別である確率を算出する。

［ステップＳ２０６］推論部１３２は、算出した船舶の種別ごとの確率を推論結果とするレコードを、記憶部１４０内の推論結果テーブル１４３に格納する。このとき、格納されたレコードに示される背景色は例えば白色である。

［ステップＳ２０７］クレンジング部１２０は、取得したフレーム画像に対するクレンジング処理を行う。例えばクレンジング部１２０は、フレーム画像の画素単位の輝度を求め、輝度の値に基づいて所定の計算を行うことで１または複数の特徴量それぞれの値を算出する。クレンジング部１２０は、算出した各特徴量の値とパラメータ管理テーブル１４１に設定されている閾値とを比較し、クレンジングの条件が満たされるか否かを判断する。クレンジング部１２０は、クレンジングの条件が満たされた場合、処理対象のフレーム画像をクレンジング対象と判断する。なお船舶を大別したときの大分類（小型、中型、大型など）に応じて閾値が設定されている場合、クレンジング部１２０は、予め指定された大分類の閾値を用いてクレンジング処理を実行する。

［ステップＳ２０８］クレンジング部１２０は、取得したフレーム画像のクレンジング結果を記憶部１４０内のクレンジング結果テーブル１４２に格納する。
例えばクレンジング部１２０は、取得したフレーム画像がクレンジング対象であり、直前のフレーム画像はクレンジング対象外であった場合、取得したフレーム画像をクレンジング範囲とするレコードを、クレンジング結果テーブルに追加する。追加されたレコードの開始フレームと終了フレームとの値は、取得したフレーム画像のフレーム番号である。

またクレンジング部１２０は、取得したフレーム画像と直前のフレーム画像とが共にクレンジング対象であった場合、直前のフレーム画像をクレンジング範囲に含むレコードのクレンジング範囲に、取得したフレーム画像を含める。例えばクレンジング部１２０は、該当するレコードの終了フレームの値を、取得したフレーム画像のフレーム番号に更新する。

クレンジング部１２０は、取得したフレーム画像がクレンジング対象外であれば、クレンジング結果テーブル１４２の内容を更新せずに、クレンジング処理を終了する。
［ステップＳ２０９］推論部１３２は、推論結果の格納が完了し、かつクレンジング処理が終了すると、取得したフレーム画像がクレンジング対象か否かを判断する。例えば推論部１３２は、クレンジング結果テーブル１４２を参照し、取得したフレーム画像のフレーム番号をクレンジング範囲に含むレコードがあるか否かを判断する。推論部１３２は、該当するレコードがある場合、クレンジング対象であると判断する。推論部１３２は、クレンジング対象である場合、処理をステップＳ２１２に進める。また推論部１３２は、クレンジング対象でなければ、処理をステップＳ２１０に進める。

［ステップＳ２１０］推論部１３２は、フレーム画像ごとの推論結果を累積させた値を計算する。例えば推論部１３２は、これまでに推論処理が実施され、推論結果が得られたフレーム画像のうちの、クレンジング対象外のフレーム画像の推論結果を推論結果テーブル１４３から取得する。推論部１３２は、取得した推論結果に基づいて、船舶の種別ごとに、該当種別である確率の平均値を求め、求めた平均値を累積結果とする。

［ステップＳ２１１］推論部１３２は、記憶部１４０内の累積結果テーブル１４４に、取得したフレーム画像の累積結果を格納する。例えば推論部１３２は、取得したフレーム画像のフレーム番号に対して、船舶の種類ごとの該当種類である確率の平均値を含む累積結果を対応付けたレコードを、累積結果テーブル１４４に登録する。この際、登録したレコードにおける背景色の値は例えば白色である。推論部１３２は、その後、処理をステップＳ２１４に進める。

［ステップＳ２１２］推論部１３２は、直前のフレーム画像に対応する累積結果をコピーし、取得したフレーム画像の累積結果として、記憶部１４０内の累積結果テーブル１４４に格納する。

［ステップＳ２１３］推論部１３２は、取得したフレーム画像の背景色を変更する。例えば推論部１３２は、推論結果テーブル１４３における取得したフレーム画像のフレーム番号が設定されたレコードの背景色を灰色に変更する。また推論部１３２は、累積結果テーブル１４４における取得したフレーム画像のフレーム番号が設定されたレコードの背景色を灰色に変更する。

［ステップＳ２１４］解析結果表示部１５０は、フレーム推論結果グラフを描画する。例えば解析結果表示部１５０は、推論結果テーブル１４３に示される各フレーム画像の推論結果に基づいて、メモリ１０２内の画面表示用の領域に、船舶の種別ごとのその種別である確率（フレーム画像ごとの値）の時系列変化を示す折れ線を描画する。さらに解析結果表示部１５０は、フレーム推論結果グラフの各フレーム画像の値が示される領域の背景を、推論結果テーブル１４３においてフレーム画像ごとに指定された背景色で描画する。

［ステップＳ２１５］解析結果表示部１５０は、累積結果グラフを描画する。例えば解析結果表示部１５０は、累積結果テーブル１４４に示される各フレーム画像の累積結果に基づいて、メモリ１０２内の画面表示用の領域に、船舶の種別ごとのその種別である確率（該当フレーム画像までの累積値）の時系列変化を示す折れ線を描画する。さらに解析結果表示部１５０は、累積結果グラフの各フレーム画像の値が示される領域の背景を、累積結果テーブル１４４においてフレーム画像ごとに指定された背景色で描画する。

［ステップＳ２１６］解析結果表示部１５０は、解析結果表示画面を更新する。解析結果表示部１５０は、その後、処理をステップＳ２０２に進める。
このようにして、１つのフレーム画像ごとに船舶の類識別の解析が行われ、逐次、推論結果がモニタ２１に表示される。

図１５は、解析結果表示画面の一例を示す図である。解析結果表示画面９０には、クレンジング処理のノイズフィルタ（特徴量の閾値）を選択するための複数のボタン９１ａ，９１ｂ，９１ｃ，９１ｄが設けられている。「なし」と表記されているボタン９１ａは、ノイズフィルタを利用しない場合に押下するボタンである。「小型用フィルタ」と表記されているボタン９１ｂは、小型船舶用のノイズフィルタを利用してクレンジング処理を行う場合に押下するボタンである。「中型用フィルタ」と表記されているボタン９１ｃは、中型船舶用のノイズフィルタを利用してクレンジング処理を行う場合に押下するボタンである。「大型用フィルタ」と表記されているボタン９１ｃは、大型船舶用のノイズフィルタを利用してクレンジング処理を行う場合に押下するボタンである。

解析結果表示画面９０には、解析対象の光学／電波センサ動画５０の再生画像を表示する動画表示部９２が設けられている。再生用のボタン９３が押下されると光学／電波センサ動画５０による動画像が動画表示部９２に表示される。巻き戻し用のボタン９４が押下されると、光学／電波センサ動画５０の巻き戻し再生が行われる。早送り用のボタン９５が押下されると、光学／電波センサ動画５０の早送り再生が行われる。動画表示部９２の下にはシークバー９６が表示されている。シークバー９６には再生されているフレーム画像の光学／電波センサ動画５０内での位置が示される。

解析結果表示画面９０には、さらに、フレーム画像ごとの推論結果を示すグラフ表示部９７と各フレーム画像までの累積結果を示すグラフ表示部９８とが設けられている。グラフ表示部９７とグラフ表示部９８とに示されるグラフの横軸はフレーム番号であり、縦軸は確率である。

グラフ表示部９７には、船舶の複数の種別（ＡＡ船、ＢＢ船、ＣＣ船）それぞれについて、フレーム画像に写っている船舶の種別が、その種別である確率のフレーム画像ごとの値が、折れ線で示されている。グラフ表示部９７の右側には、最後に解析されたフレーム画像の推論結果が表示されている。

グラフ表示部９８には、船舶の複数の種別（ＡＡ船、ＢＢ船、ＣＣ船）それぞれについて、フレーム画像に写っている船舶の種別が、その種別である確率のフレーム画像ごとの値の該当フレーム画像までの累積値が、折れ線で示されている。グラフ表示部９８の右側には、最後に解析されたフレーム画像までの累積結果が表示されている。光学／電波センサ動画５０内のすべてのフレーム画像の推論が完了した後のグラフ表示部９８の右側に表示されている情報が、光学／電波センサ動画５０に関する解析結果となる。図１５の例では、光学／電波センサ動画５０に写っている船舶の種別はＡＡ船である可能性が最も高いという解析結果が得られている。

図１５の例では、ノイズフィルタとして「なし」のボタン９１ａが選択されている。そのためクレンジング処理が実施されず、累積結果における解析精度が十分ではない。ユーザは、適切なノイズフィルタを選択して船舶の類識別を実行させることで、より高精度な解析が可能となる。そのとき、どのフレーム画像がクレンジング対象となったのかを分かりやすく表示することで、信頼性の高い解析が実施されたことをユーザに認識させることができる。換言すると、どのフレーム画像がクレンジング対象となったのかが表示されないと、クレンジング処理が適切に行われたことの確認が困難となる。

図１６は、クレンジング対象を明示しない場合の解析結果表示画面の例（比較例）を示す図である。図１６の例では、ノイズフィルタとして「中型用フィルタ」のボタン９１ｃが選択されている。これにより中型船舶用に用意された閾値を用いてフレーム画像のクレンジング処理が行われている。クレンジング処理が行われたことで、解析結果におけるＡＡ船である確率が高くなっている。すなわち光学／電波センサ動画５０に写っている船舶はＡＡ船であるとの解析結果の信頼性が高くなっている。

しかし、図１６に示した解析結果表示画面９０の例では、信頼性が高くなった根拠が示されていない。そのためユーザが、船舶の類識別の結果に間違いがないか光学／電波センサ動画５０再生して確認する場合に、すべてのフレーム画像を表示させて確認することとなってしまい、確認に手間がかかる。またクレンジング対象とするか否かの判断を誤ったフレーム画像があっても、そのフレーム画像を特定するのに手間がかかる。

図１７は、クレンジング対象を明示した解析結果表示画面の第１の例を示す図である。図１７の例では、ノイズフィルタとして「中型用フィルタ」のボタン９１ｃが選択されている。これにより中型船舶用に用意された閾値を用いてフレーム画像のクレンジング処理が行われている。クレンジング処理が行われたことで、累積結果におけるＡＡ船である確率が高くなっている。すなわち光学／電波センサ動画５０に写っている船舶はＡＡ船であるとの判断結果の信頼性が高くなっている。

そして、グラフ表示部９７，９８それぞれにおけるクレンジング範囲内のフレーム画像に対応する領域の背景が、灰色で表示されている。図１７では、灰色の背景で表示する領域を破線で囲んでいる。ユーザは、船舶の類識別の結果に間違いがないかを確認する場合、クレンジング範囲内のフレーム画像の類識別への利用が不適切であること、およびクレンジング範囲外のフレーム画像の類識別への利用が適切であることを確認することで、信頼性が向上した理由を理解できる。高い信頼性が得られている理由が明確となれば、ユーザは、船舶の類識別の判断結果が正しいと判断することができる。

また各フレーム画像がクレンジング対象か否かを明示しているため、クレンジング対象とするか否かの判断を誤ったフレーム画像があった場合に、そのフレーム画像を容易に特定することができる。

図１８は、クレンジング対象を明示した解析結果表示画面の第２の例を示す図である。図１８の例は、図１７の例よりも短い期間の光学／電波センサ動画５０を用いて船舶の類識別を行った場合の例である。光学／電波センサ動画５０のフレーム数が少なくても、適切にクレンジング処理が実施されたことで、クレンジング対象外のフレーム画像に基づいて船舶の類識別を正しく判断できている。

このように解析装置１００によれば、各フレーム画像の有用性（解析の利用が適切か否か）が可視化される。フレーム画像ごとの有用性が可視化されることによって、ユーザのデータ理解が容易になる。例えば、可視化によって光学／電波センサ動画５０内の有用なフレーム画像または有用ではないフレーム画像の分布を確認し、どのような条件下で取得したフレーム画像が有用ではなくなるのかが解析できる。また可視化によって、ユーザは、推論時に入力されるフレーム画像の質を直観的に把握できる。またユーザは、フレーム画像の有用性の違いの分布状況に基づき、学習に有用なフレーム画像を効率的に収集することができる。

解析装置１００は、学習時に自動クレンジングを行っている。そして解析装置１００は、自動クレンジングの結果をクレンジング結果確認画面７０に表示し、クレンジング対象の編集を可能としている。クレンジング結果確認画面７０では、設定した閾値に基づきクレンジング対象をユーザが直観的な操作で編集できるインタフェースが提供されており、ユーザは提示された対象を確認し、修正する作業のみを行うことでデータクレンジングの作業が完了する。その結果、学習データ整備における作業負荷が大幅に軽減される。

またクレンジング結果確認画面７０を用いたクレンジング作業環境が提供されることで、クレンジング作業の熟練が不要になり、作業の均一化が可能になる。しかもクレンジングをパラメータ（例えば特徴量ごとの閾値）で制御できるようになるため、クレンジングを自動かつ定量的に実行し、クレンジングの均一化を行うことが可能になる。クレンジングが適切に行われることで、学習に用いるフレーム画像の最適化が行われる。

さらに解析装置１００は、推論時にも自動クレンジングを行う。推論時の自動クレンジングにより、クレンジング対象のフレーム画像を自動で判別し、類識別に悪影響を与えるフレーム画像の推論結果を、解析結果の計算に使用する対象から自動的に除外することができる。また推論時のクレンジングに用いるパラメータとして学習時と同じ値を用いることで、学習時と近い条件で推論時の自動クレンジングが行われる。学習時にクレンジングの最適化を行っていれば、推論時に同じパラメータでクレンジングを行うことで、船舶の類識別に有用なフレーム画像のみから最終的な解析結果を算出することができ、推論時の性能を向上させることができる。

しかも解析装置１００は、解析結果を図１７、図１８に示すような解析結果表示画面９０に表示する。これにより、自動クレンジングによる性能向上の結果をユーザが直観的に理解することが可能となる。このときユーザは、類識別対象の船舶の大きさによって事前に用意した閾値を切り替えることができる。これにより、対象の船舶に適したクレンジングを提供することが可能となる。さらにユーザは、解析結果表示画面９０に可視化されたフレーム画像を確認しながら、パラメータ管理テーブル１４１に設定された閾値を操作することで、推論結果の性能をダイナミックに変更することもできる。

なおユーザは、推論時にクレンジング対象とするか否かの判断を誤ったフレーム画像があると判断した場合、学習処理のときと同様にクレンジング部１２０にクレンジング結果確認画面７０（図１３参照）を表示させることができる。そしてユーザは、クレンジング結果確認画面７０を介してクレンジング範囲を修正し、例えば誤ってクレンジング対象となっていたフレーム画像をクレンジング対象外とすることができる。逆にユーザは、誤ってクレンジング対象外となっていたフレーム画像をクレンジング対象とすることもできる。このようにしてクレンジング対象とするフレーム画像の適性化を図り、再度、画像データ記憶部３２ｂに記憶されている光学／電波センサ動画５０に基づく船舶の類識別を行うことで、類識別の精度を向上させることができる。

〔その他の実施の形態〕
第２の実施の形態では、船舶の類識別を行っているが、他の動画像を用いた他の解析にも利用可能である。また動画像は、光学／電波センサ画像のようにレーダ画像ではなく、可視光を撮影した動画像であってもよい。

例えば町中の監視カメラの画像から、カメラの周辺にいる人数を計数する処理にも利用できる。この場合、例えば何らかの光の反射で、強い光がフレーム画像に写り込むとフレア現象が起きて、画像全体が白っぽくなることがある。このようなフレーム画像を用いて写り込んだ人の人数を数えても正しい人数とはならない。そこで正しく解析できないフレーム画像をクレンジング処理で除去することが有効となる。フレア現象が起きたフレーム画像を除去する場合、例えば各画素の輝度の平均値が所定の閾値以上の場合にクレンジング対象とすることができる。そのとき第２の実施の形態に示すようにクレンジング範囲を明確に表示することで、解析の精度を落とす原因となるフレーム画像が正しく除外されていることをユーザに認識させることができる。

以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。

１ 動画データ
１ａ，１ｂ，・・・ フレーム画像
２ 第１のグラフ
２ａ，２ｂ，３ａ，３ｂ 表示領域
３ 第２のグラフ
４ 表示画面
１０ 情報処理装置
１１ 記憶部
１２ 処理部

Claims (6)

1. コンピュータに、
   機械学習で得られた学習済モデルを用いて、動画データに含まれる複数のフレーム画像それぞれに表されている対象物の推論結果を取得し、
   予め設定されたパラメータに基づいて、前記動画データに含まれる前記複数のフレーム画像それぞれの前記推論結果を利用することが適切か否かを判定し、
   前記動画データ内での先頭から前記複数のフレーム画像それぞれまでの、前記推論結果を利用することが適切であると判定された第１のフレーム画像それぞれの第１の推論結果を累積させた累積結果を算出し、
   前記複数のフレーム画像それぞれについて算出された前記推論結果の時系列変化を示す第１のグラフと、前記複数のフレーム画像それぞれについて算出された前記累積結果の時系列変化を示す第２のグラフとを生成し、
   前記第１のグラフと前記第２のグラフとを、前記第１のフレーム画像の前記第１の推論結果または第１の累積結果の表示領域と、前記推論結果を利用することが不適切であると判定された第２のフレーム画像の第２の推論結果または第２の累積結果の表示領域とを異なる表示態様で表示させる、
   処理を実行させる情報処理プログラム。
2. 前記累積結果は、前記動画データの先頭のフレーム画像から前記累積結果の算出対象となるフレーム画像までに含まれる前記第１のフレーム画像それぞれの前記推論結果に示される値の平均値である、
   請求項１記載の情報処理プログラム。
3. 前記動画データから一フレーム画像が読み込まれるごとに、前記一フレーム画像の前記推論結果の取得、前記一フレーム画像までの前記第１のフレーム画像それぞれの前記推論結果を累積させた前記累積結果の算出、前記第１のグラフと前記第２のグラフとの更新、および前記第１のグラフと前記第２のグラフとの表示を実行させる、
   請求項１または２に記載の情報処理プログラム。
4. 前記第２のフレーム画像が連続する範囲を表示させ、前記範囲の開始位置となる前記第２のフレーム画像、または前記範囲の終了位置となる前記第２のフレーム画像を変更する入力を受け付け、前記入力により前記範囲に新たに含まれる前記第１のフレーム画像の前記推論結果を、前記累積結果の算出における累積の対象から除外し、前記入力により前記範囲から外れる前記第２のフレーム画像の前記推論結果を、前記累積結果の算出における累積の対象に含める、
   請求項１ないし３のいずれかに記載の情報処理プログラム。
5. コンピュータが、
   機械学習で得られた学習済モデルを用いて、動画データに含まれる複数のフレーム画像それぞれに表されている対象物の推論結果を取得し、
   予め設定されたパラメータに基づいて、前記動画データに含まれる前記複数のフレーム画像それぞれの前記推論結果を利用することが適切か否かを判定し、
   前記動画データ内での先頭から前記複数のフレーム画像それぞれまでの、前記推論結果を利用することが適切であると判定された第１のフレーム画像それぞれの第１の推論結果を累積させた累積結果を算出し、
   前記複数のフレーム画像それぞれについて算出された前記推論結果の時系列変化を示す第１のグラフと、前記複数のフレーム画像それぞれについて算出された前記累積結果の時系列変化を示す第２のグラフとを生成し、
   前記第１のグラフと前記第２のグラフとを、前記第１のフレーム画像の前記第１の推論結果または第１の累積結果の表示領域と、前記推論結果を利用することが不適切であると判定された第２のフレーム画像の第２の推論結果または第２の累積結果の表示領域とを異なる表示態様で表示させる、
   情報処理方法。
6. 機械学習で得られた学習済モデルを用いて、動画データに含まれる複数のフレーム画像それぞれに表されている対象物の推論結果を取得し、予め設定されたパラメータに基づいて、前記動画データに含まれる前記複数のフレーム画像それぞれの前記推論結果を利用することが適切か否かを判定し、前記動画データ内での先頭から前記複数のフレーム画像それぞれまでの、前記推論結果を利用することが適切であると判定された第１のフレーム画像それぞれの第１の推論結果を累積させた累積結果を算出し、前記複数のフレーム画像それぞれについて算出された前記推論結果の時系列変化を示す第１のグラフと、前記複数のフレーム画像それぞれについて算出された前記累積結果の時系列変化を示す第２のグラフとを生成し、前記第１のグラフと前記第２のグラフとを、前記第１のフレーム画像の前記第１の推論結果または第１の累積結果の表示領域と、前記推論結果を利用することが不適切であると判定された第２のフレーム画像の第２の推論結果または第２の累積結果の表示領域とを異なる表示態様で表示させる処理部、
   を有する情報処理装置。

Images