JP7383684B2 - 情報処理装置、情報処理方法、並びにプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、並びにプログラムに関し、特に、画像分類ＡＩを再学習させる情報処理装置、情報処理方法、並びにプログラムに関する。

従来より、精度の高い画像分類ＡＩを生成するために、入力画像を学習データとして用いて画像分類ＡＩの再学習を行い、その再学習によって生成されたモデルを検証するということを繰り返すことが行われている。また、再学習の際には、検証結果に基づいて精度向上に必要な学習データを見極め、用意する必要があり、既存の画像に加工を施すことで学習データとすることも行われている。

画像分類ＡＩの性能を向上させるため学習データとして用いる入力画像に加工を施す手法として、入力画像の一部を隠すように他の値で置き換える手法が提案されている。

非特許文献１には、入力画像内のランダムな位置を、大きさと値がランダムな矩形で置き換えることが記載されている。

非特許文献２には、入力画像内のランダムな位置を中心として、正方形領域を０で置き換えることが記載されている。

Ｚ．Ｚｈｏｎｇ，Ｌ．Ｚｈｅｎｇ，Ｇ．Ｋａｎｇ，Ｓ．Ｌｉ，ａｎｄ Ｙ．Ｙａｎｇ，"Ｒａｎｄｏｍ Ｅｒａｓｉｎｇ Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ"， ｉｎ ａｒＸｉｖ：１７０８．０４８９６，２０１７ Ｔ．Ｄｅｖｒｉｅｓ ａｎｄ Ｇ．Ｗ．Ｔａｙｌｏｒ．"Ｉｍｐｒｏｖｅｄ ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｏｆ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ｃｕｔｏｕｔ．" ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ： １７０８．０４５５２， ２０１７．５

非特許文献１，２に記載の技術では、学習データとして用いる入力画像に施す加工位置がランダムであるため、入力画像における、画像分類ＡＩの性能向上に寄与しそうな領域が分かっていても、その領域を指定してピンポイントで加工することができない。

そこで、本発明では、画像分類ＡＩの精度向上に資する学習データを効率的に生成することができる情報処理装置、情報処理方法、並びにプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る情報処理装置は、学習済みモデルによる予測ラベルの出力処理の対象となる複数の入力画像のうち、加工を施す対象の画像を受け付ける加工受付手段と、前記学習済みモデルの予測根拠となった特徴領域を取得する取得手段と、前記加工受付手段により加工を施す対象の画像として受け付けた画像であって、第１の確率で選択された画像に対して、前記特徴領域の少なくとも一部のピクセルの値を、第１の所定値に置換する第１の加工処理を行い、前記複数の入力画像のうち、前記加工受付手段により加工を施す対象の画像として受け付けていない画像であって、第２の確率で選択された画像に対して、当該画像の一部のピクセルの値を、第２の所定値に置換する第２の加工処理を行う処理手段と、前記第１及び第２の加工処理が行われた画像を用いて、学習済みモデルの再学習を行うための学習データを更新する更新手段と、を備えることを特徴とする。

本発明によれば、画像分類ＡＩの精度向上に資する学習データを効率的に生成することができる。

本発明の実施形態に係る情報処理装置を含むＡＩ予測根拠表示システムのシステム構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 本発明の実施形態に係る再学習／評価処理の一例を示すフローチャートである。 図３のステップＳ３０１で表示装置において表示される、結果分析画面である。 学習データに追加するための入力画像のパスが登録される学習テーブルである。 加工を施した後に学習データに追加又は置換するための入力画像のパスが登録される加工テーブルである。 評価データ又は学習データから削除するための入力画像のパスが登録される削除テーブルである。 図４のステップＳ４１１，Ｓ４１２において実行されるデータ加工処理の一例を示すフローチャートである。 図４のステップＳ４１１，Ｓ４１２において実行されるデータ加工処理の他の例を示すフローチャートである。 入力画像、予測根拠画像、及び加工画像の例を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明の実施形態に係る情報処理装置１０１を含むＡＩ予測根拠表示システム１のシステム構成の一例を示す図である。

ＡＩ予測根拠表示システム１は、情報処理装置１０１と、外部装置１０２とを備え、これらがネットワーク１１０を介して通信可能に接続されたシステムである。

情報処理装置１０１は、ユーザにより操作される装置であり、後述する再学習／評価処理（図３）の処理対象となる入力画像やこれに紐づくデータを結果分析画面（図４）に表示すると共に、ユーザによるこの画面上の各種ボタンの押下を受け付ける。

外部装置１０２は、上記再学習／評価処理の処理対象となる入力画像やこれに紐づくデータの管理などを行う。

尚、本発明の実施形態においては、情報処理装置１０１が図３のフローチャートで示す処理を実行するものとして説明するが、外部装置１０２が実行する形態であってもよい。また、処理対象の画像の管理など、外部装置１０２で行うものとして説明した処理について、情報処理装置１０１で行ってもよい。

図２は、情報処理装置１０１のハードウェア構成の一例を示すブロック図である。尚、外部装置１０２は、情報処理装置１０１と同様のハードウェア構成を有する為、重複した説明は省略する。

図２において、情報処理装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、記憶装置２０４、入力制御部２０５、音声制御部２０６、ビデオ制御部２０７、メモリ制御部２０８、および通信Ｉ／Ｆ制御部２０９を備える。これらのデバイスやコントローラはシステムバス２００を介して互いに接続する。

ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１３からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

記憶装置２０４は、ＳＳＤやＨＤＤ等にからなり、後述する画像分類ＡＩ等を保持する。

入力制御部２０５は、キーボード、タッチパネル、マウス等のポインティングデバイス等からなる入力装置２１０からの入力を制御する。例えば、入力装置２１０がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でのタッチ操作）をすることにより、各種の指示を行うことができる。尚、この場合のタッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

音声制御部２０６は、マイクやスピーカ等の音声入出力装置２１１への音声入出力を制御する。

ビデオ制御部２０７は、ディスプレイやプロジェクタ等からなる表示装置２１２への表示を制御する。この場合のディスプレイには、本体と一体になったノート型パソコンのディスプレイも含まれるものとする。尚、表示装置２１２が、前述のタッチ操作を受け付け可能な装置である場合、入力装置２１０としての役割も兼用する。また、ビデオ制御部２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能であり、そのビデオメモリの領域としてＲＡＭ２０３の一部を利用してもよいし、別途専用のビデオメモリを設けてもよい。

メモリ制御部２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリ２１３としては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する記憶装置であれば特に限定されない。例えば、外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等が外部メモリ２１３として利用可能である。

通信Ｉ／Ｆ制御部２０９は、ネットワーク１１０を介して外部機器と接続・通信するものであり、ネットワーク１１０での通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の４Ｇ回線、５Ｇ回線等を用いた通信が可能である。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、表示装置２１２上での表示を可能としている。また、ＣＰＵ２０１は、表示装置２１２上の不図示のマウスカーソル等でのユーザ指示の受付も可能とする。

次に図３のフローチャートを用いて、本発明の実施形態に係る再学習／評価処理について説明する。

この処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出すことにより実行される。この処理では、画像分類ＡＩの予測結果に関する情報が結果分析画面（図４）に表示される。また、結果分析画面上でユーザから受け付けた操作（学習・加工・削除ボタンの押下）に応じて学習データや評価データが更新された後、その更新後の学習データや評価データを用いて画像分類ＡＩの再学習や評価が行われる。学習データや評価データについては後述する。

まずステップＳ３０１では、ＣＰＵ２０１は、外部装置１０２から、入力画像及びこれに紐づくデータ、具体的には、正解ラベル、予測ラベル、及びヒートマップの情報を取得し、ＲＡＭ２０３に保存する。その後、ＣＰＵ２０１は、入力画像及びこれに紐づくデータに基づき、表示装置２１２の結果分析画面（図４：表示手段）に、正解ラベル、予測ラベル、入力画像、及び予測根拠画像を表示するよう制御する。

ここで正解ラベルとは、ユーザ等により予め定められた、入力画像に対する画像分類ＡＩによる推論の正解を示すラベルである。

画像分類ＡＩは、外部装置１０２内の学習部（図１において不図示）で予め学習させ、記憶装置２０４にて保持するＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）を用いた学習済みモデルである。なお、ここでは画像分類ＡＩにＣＮＮを用いているがこれに限定されず、例えば、サポートベクタマシン等の公知の他のアルゴリズムを用いてもよい。

ＣＰＵ２０１は、入力画像（及びその正解ラベル）を外部から受信すると、記憶装置２０４から画像分類ＡＩを読み出し、受信した入力画像を読み出した画像分類ＡＩに入力することで、入力画像から推論される予測ラベルを出力する。ＣＰＵ２０１は、複数の入力画像と、これらの夫々に紐づくデータとして、正解ラベル及び予測ラベルを、本処理の前に予め外部装置１０２に送信する。

ヒートマップは、入力画像における、画像分類ＡＩの予測根拠となった特徴領域であり、ＣＰＵ２０１が公知の技術であるＧｒａｄ－ＣＡＭを用いてヒートマップを算出する。ＣＰＵ２０１は、このヒートマップの情報を複数の入力画像の夫々に紐づく情報として、本処理の前に予め外部装置１０２に送信する。なお、ここではヒートマップの算出にＧｒａｄ－ＣＡＭを用いているがこれに限定されず、例えば、ＲＩＳＥ、Ｓｃｏｒｅ－ＣＡＭ、ＸＲＡＩ、Ｇｒｏｕｐ－ＣＡＭ等の公知の他のアルゴリズムを用いてもよい。

このように、ＣＰＵ２０１は、入力画像及びこれに紐づく正解ラベル、予測ラベル、及びヒートマップの情報を、本処理の前に予め、外部装置１０２に保存しておく。尚、入力画像は、学習データであるか評価データであるかを示す情報を紐づけて登録しておく等の方法により、学習データであるか評価データであるかを特定可能に管理されているものとする。また、本実施例では、ＣＰＵ２０１がヒートマップを算出したが、本処理の前に予め外部装置１０２にヒートマップの情報が保存されれば、これに限定されない。例えば、ＣＰＵ２０１は、外部で算出されたヒートマップを取得するようにしてもよい。

予測根拠画像は、ヒートマップを入力画像に重畳し、画像分類ＡＩの予測根拠を可視化した画像である。予測根拠画像においてヒートマップには色が付される。具体的には予測根拠の程度が高い程、ヒートマップの特徴領域は暖色系の色が付され、予測根拠の程度が低い程、ヒートマップの特徴領域は寒色系の色が付される。例えば、ヒートマップの特徴領域は予測根拠の程度が高い順に、赤色、オレンジ色、黄色、黄緑色、水色が付される。

ステップＳ３０２では、ＣＰＵ２０１は、ステップＳ３０１で受け付けた入力画像（対象）が評価データであるか否かを判定する。この判定の結果、対象が評価データである場合（ステップＳ３０２でＹＥＳ）、ステップＳ３０３に進み、そうでない場合、ステップＳ３０５に進む。

ステップＳ３０３では、ＣＰＵ２０１は、図４の結果分析画面の学習ボタン４０５が押下されたか否かを判定する。この判定の結果、学習ボタン４０５が押下された場合（ステップＳ３０３でＹＥＳ）、ステップＳ３０４に進み、そうでない場合、ステップＳ３０５に進む。

ステップＳ３０４では、ＣＰＵ２０１は、対象の入力画像及びその正解ラベルを用いて再学習をさせることで画像分類ＡＩの精度を向上させるために、対象の入力画像のパスを学習テーブル（図５）に登録する。例えば、対象の予測ラベルが間違っている場合、対象の入力画像及びその正解ラベルを用いて、画像分類ＡＩを再学習させることで、同じような間違いをしなくなる効果が期待できる。後述するデータ加工処理の場合と比較すると、もともとの予測根拠に関わらず画像分類ＡＩが出力する予測ラベルを正すことができるため、予測根拠は正しいが、予測ラベルが間違っている場合に適すると考えられる。

ステップＳ３０５では、ＣＰＵ２０１は、図４の結果分析画面の加工ボタン４０６が押下されたか否かを判定する。この判定の結果、加工ボタン４０６が押下された場合（ステップＳ３０５でＹＥＳ）、ステップＳ３０６に進み、そうでない場合、ステップＳ３０７に進む。

ステップＳ３０６では、ＣＰＵ２０１（登録手段）は、データ加工処理を実行するために、対象の入力画像のパスを加工テーブル（図６）に登録する。尚、データ加工処理とは、不適切な部分が予測根拠となる特徴部分となった場合、入力画像におけるその不適切な部分を単一の値に置き換えるなどの加工を施す処理を指す。

ここで、後述する図８に例示するデータ加工処理は、エクスポートボタン４０８（図４）が押下された際、加工テーブルにパスが登録された全ての入力画像に対して行うことを想定した処理である。また後述する図９に例示するデータ加工処理は、加工自体の一貫性を予測根拠としてしまうことを防ぐために、加工する確率を設定できるようにしたものであり、画像分類ＡＩの再学習に用いる対象の入力画像を用いてに対して行うことを想定した処理である。このように、予測根拠が不適切である場合、入力画像に加工を施した後、これを用いて画像分類ＡＩの再学習を行うことで、画像分類ＡＩが正しい予測根拠を学習し、正しい予測を行うことが期待できる。前述した再学習処理の場合と比較すると、データ加工処理は、予測根拠を正すことができるため、予測根拠が間違っているため、予測ラベルも間違っている場合に適すると考えられる。

ステップＳ３０７では、ＣＰＵ２０１は、図４の結果分析画面の削除ボタン４０７が押下されたか否かを判定する。この判定の結果、削除ボタン４０７が押下された場合（ステップＳ３０７でＹＥＳ）、ステップＳ３０８に進み、そうでない場合、ステップＳ３０９に進む。ここで、削除ボタン４０７は、ユーザが、対象の入力画像を学習データや評価データとして用いると画像分類ＡＩの再学習や評価に悪影響を及ぼすため、学習データや評価データから対象の入力画像を削除する削除処理を行いたい場合に押下されるボタンである。ここで、対象の入力画像が画像分類ＡＩの再学習や評価に悪影響を及ぼす場合とは、例えば、入力情報に含まれる入力画像が、学習や評価に関係のない画像である場合や、対象物が大きすぎる又は小さすぎる画像である場合などである。

ステップＳ３０８では、ＣＰＵ２０１は、上記削除処理を実行するために、対象の入力画像のパスを削除テーブル（図７）に登録する。

ステップＳ３０９では、ＣＰＵ２０１は、図４の結果分析画面のエクスポートボタン４０８（更新受付手段）が押下されたか否かを判定する。この判定の結果、エクスポートボタン４０８が押下された場合（ステップＳ３０９でＹＥＳ）、ステップＳ３１０に進み、そうでない場合、ステップＳ３０１に戻る。

ステップＳ３１０では、ＣＰＵ２０１は、対象の入力画像が評価データであるか否かを判定する。この判定の結果、対象が評価データである場合（ステップＳ３１０でＹＥＳ）、ステップＳ３１１に進み、そうでない場合、すなわち対象が学習データである場合（ステップＳ３１０でＮＯ）、ステップＳ３１２に進む。

ステップＳ３１１では、ＣＰＵ２０１（更新手段）は、学習テーブルに対象の入力画像のパスが登録されている場合は、対象の入力画像を評価データから学習データに変更する。すなわち、学習ボタン４０５の押下後、エクスポートボタン４０８の押下を学習結果表示部４００が受け付けた場合、対象の入力画像の保存先を外部装置１０２の評価データ用フォルダから学習データ用フォルダに移動する。また、ＣＰＵ２０１は、加工テーブルに対象の入力画像のパスが登録されている場合は、データ加工処理により対象の入力画像を加工し、加工後の入力画像を評価データから学習データに変更する。すなわち、加工ボタン４０６の押下後、エクスポートボタン４０８の押下を学習結果表示部４００が受け付けた場合、上記加工後、対象の入力画像の保存先を外部装置１０２の評価データ用フォルダから学習データ用フォルダに移動する。さらにＣＰＵ２０１は、削除テーブルに対象の入力画像のパスが登録されている場合は、対象の入力画像を評価データから削除する。すなわち、削除ボタン４０７の押下後、エクスポートボタン４０８の押下を学習結果表示部４００が受け付けた場合、対象の入力画像を、現在保存されている外部装置１０２の評価データ用フォルダから削除する。その後、ステップＳ３１３に進む。

このように、対象が評価データである場合、評価データだけでなく学習データも更新される。尚、この場合、削除ボタン４０７のみ押下された後エクスポートボタン４０８が押下されると、学習データは更新されないため、後述のステップＳ３１３において画像分類ＡＩの再学習は行わなくてもよい。

ステップＳ３１２では、ＣＰＵ２０１（更新手段）は、加工テーブルに対象の入力画像のパスが登録されている場合は、データ加工処理によりその対象の入力画像を加工し、加工後の入力画像で学習データとしての対象の入力画像を置換する。すなわち、上記加工後の対象の入力画像で、外部装置１０２の学習データ用フォルダにある対象の入力画像を置換する。またＣＰＵ２０１は、削除テーブルに対象の入力画像のパスが登録されている場合は、対象の入力画像を学習データから削除する。すなわち、対象の入力画像を、現在保存されている外部装置１０２の学習データ用フォルダから削除する。その後、ステップＳ３１３に進む。

このように、対象が学習データである場合、学習データのみが更新され、評価データは更新されない。このため、対象が学習データである場合、後述のステップＳ３１３において画像分類ＡＩの評価は行わなくてもよい。

ステップＳ３１３では、ＣＰＵ２０１は、外部装置１０２の学習データ用フォルダから学習データを出力し、画像分類ＡＩの再学習を行う。また、ＣＰＵ２０１は、外部装置１０２の評価データ用フォルダから評価データを出力し、画像分類ＡＩの評価を行う。その後、本処理を終了する。

尚、本実施形態では、画像分類ＡＩの再学習は情報処理装置１０１のＣＰＵ２０１が実行したが、更新後の学習データを用いて画像分類ＡＩの再学習が行われるのであれば、かかる実施形態に限定されない。例えば、ＣＰＵ２０１は、外部装置１０２に画像分類ＡＩの再学習の実行指示を行い、外部装置１０２から再学習後の画像分類ＡＩ（又は、その内部パラメータ）を取得するようにしてもよい。同様に、画像分類ＡＩの評価は情報処理装置１０１のＣＰＵ２０１が実行したが、更新後の評価データを用いて画像分類ＡＩの評価が行われるのであれば、かかる実施形態に限定されない。例えば、ＣＰＵ２０１は、外部装置１０２に画像分類ＡＩの評価の実行指示を行い、外部装置１０２からその評価結果を取得するようにしてもよい。

図４は、図３のステップＳ３０１で表示装置２１２において表示される結果分析画面である。

結果分析画面は、入力画像毎の学習結果表示部４００ａ～４００ｄ（以下、「学習結果表示部４００」と総称する）、及びエクスポートボタン４０８を有する。

学習結果表示部４００は、正解ラベル表示部４０１、予測ラベル表示部４０２、入力画像表示部４０３、予測根拠画像表示部４０４、学習ボタン４０５、加工ボタン４０６、及び削除ボタン４０７からなる。

正解ラベル表示部４０１は、入力画像の正解ラベルを表示する。

予測ラベル表示部４０２は、画像分類ＡＩの予測ラベルを表示する。

入力画像表示部４０３は、入力画像を表示する。

予測根拠画像表示部４０４は、予測根拠画像を表示する。

このように、図４の結果分析画面という一つの画面に、正解ラベル、予測ラベル、入力画像、予測根拠画像が比較可能に表示される。これにより、ユーザは図４の結果分析画面により簡単に学習結果の妥当性を判断することで可能となる。

学習ボタン４０５は、入力画像のパスを学習テーブルに登録する指示を受け付けるボタンである。

加工ボタン４０６（加工受付手段）は、入力画像のパスを加工テーブルに登録する指示（登録指示）を受け付けるボタンである。

削除ボタン４０７は、入力画像のパスを削除テーブルに登録する指示を受け付けるボタンである。

エクスポートボタン４０８は、学習テーブル、加工テーブル、削除テーブルに登録された入力画像を処理し、学習データ及び／又は評価データを更新した後に出力する旨の指示（更新指示）を受け付けるボタンである。

ユーザは、学習結果表示部４００に表示される学習結果が妥当でないと判断した場合、図４の結果分析画面の学習ボタン４０５、加工ボタン４０６、削除ボタン４０７の少なくとも１つを押下した後、エクスポートボタン４０８を押下する。かかる学習結果表示部４００への操作のみで、ユーザは、簡単に画像分類ＡＩの精度向上施策を実施することができる。具体的な精度改善施策として、入力画像の学習データとしての追加、入力画像の学習データ及び評価データとしての加工、入力画像の学習データ及び評価データからの削除を行うことができる。

図５は、学習データに追加するための入力画像のパスが登録される学習テーブルである。

図６は、加工を施した後に学習データに追加又は置換するための入力画像のパスが登録される加工テーブルである。

図７は、評価データ又は学習データから削除するための入力画像のパスが登録される削除テーブルである。

次に図８のフローチャートを用いて、図４のステップＳ４１１，Ｓ４１２において実行されるデータ加工処理の一例について説明する。この処理は、エクスポートボタン４０８（図４）が押下された際、加工テーブルにパスが登録された全ての入力画像に対して実行される。すなわちこの処理では、誤った予測根拠をもとに画像分類ＡＩの学習が行われないように、加工テーブルにパスが登録された全ての入力画像が加工される。

この処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出すことにより実行される。

まずステップＳ８０１では、ＣＰＵ２０１は、加工テーブルにパスが登録されている入力画像の一つを、加工対象に決定する。ここで加工対象として決定された入力画像の例を図１０（Ａ）に示す。この入力画像では、左の穴の位置が設計位置からずれているため、その正解ラベルは「異常」である。よって、この入力画像から画像分類ＡＩにより推論される予測ラベルも「異常」であることが望ましい。また、その予測根拠画像のヒートマップには、左の穴の位置に近い程、暖色系の色（予測根拠の程度が高いことを示す色）が付されるが望ましい。

ステップＳ８０２では、ＣＰＵ２０１は、ヒートマップのうち、設定値１Ａ（所定の基準）より大きな値を持つピクセルの座標を取得する。ヒートマップの各ピクセルは０～１の間の値をとる。また、設定値１Ａは、ヒートマップの各ピクセルの予測根拠となった程度が所定の基準を満たすか否かを判定するためのしきい値であって、０より大きく１より小さい値を持つ。予測根拠画像の例を図１０（Ｂ）に示す。この予測根拠画像では、右の穴の周辺を予測根拠としており、誤った予測根拠により予測ラベルが出力されたことがわかる。ステップＳ８０２ではこのような画像に対して処理を行う。

ステップＳ８０３では、ＣＰＵ２０１は、入力画像のうち、ステップＳ８０２で取得した全ての座標のピクセルの値を設定値２Ａ（第１の所定値）に置換する加工を行う。図１０（Ｃ）に、図１０（ａ）の入力画像に対しステップＳ８０３の加工を行った画像（加工画像）を示す。この加工画像では、設定値２Ａとして黒が指定されて加工が行われている。

ステップＳ８０４では、ＣＰＵ２０１は、加工テーブルにパスが登録されている全ての入力画像に対してステップＳ８０３の加工が終了したか否かを判定する。判定の結果、全ての入力画像に対してステップＳ８０３の加工が終了した場合（ステップＳ８０４でＹＥＳ）、本処理を終了する一方、そうでない場合（ステップＳ８０４でＮＯ）、ステップＳ８０１に戻る。

次に図９のフローチャートを用いて、図４のステップＳ４１１，Ｓ４１２において実行されるデータ加工処理の他の例について説明する。この処理では、入力画像の加工自体の一貫性が、ヒートマップの算出に影響することを防ぐために、入力画像の加工が一定の確率で行われる。また、本処理は、エクスポートボタン４０８（図４）が押下された際、加工テーブルにパスが登録されている入力画像だけでなく外部装置１０２に保存される全ての入力画像に対して、本処理の加工が確率的に行われる。本処理は特に追加学習の際に適用することを想定している。すなわちこの処理では、誤った予測根拠をもとに画像分類ＡＩの学習が行われないように、情報処理装置１０１にある全ての入力画像の加工の適用を確率的に行う。

この処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出すことにより実行される。

まずステップＳ９０１では、ＣＰＵ２０１は、外部装置１０２に保存される入力画像の１つを取得する。

ステップＳ９０２では、ＣＰＵ２０１は、ステップＳ９０１で取得した入力画像のパスが加工テーブルに登録されているか否かを判定する。判定の結果、加工テーブルに登録されている場合（ステップＳ９０２でＹＥＳ）、ステップＳ９０３に進み、そうでない場合（ステップＳ９０２でＮＯ）、ステップＳ９０６に進む。

ステップＳ９０３では、ＣＰＵ２０１は、乱数を生成し、その生成した乱数が設定値１Ｂより大きいか（第１の確率であるか）否かを判定する。ここで生成される乱数及び設定値１Ｂは共に０から１の値をとる。判定の結果、乱数が設定値１Ｂより大きい場合は（ステップＳ９０３でＹＥＳ）、ステップＳ９０１で取得した入力画像の加工を行うべく、ステップＳ９０４に進み、そうでない場合は（ステップＳ９０３でＮＯ）、本処理を終了する。このように、加工の適用を確率的にすることで、加工自体の一貫性がヒートマップの算出に影響を与えることを防ぐ役割が期待される。

ステップＳ９０４では、ＣＰＵ２０１は、ヒートマップのうち、設定値２Ｂ（所定の基準）より大きい値を持つピクセルの座標を取得し、ステップＳ９０５に進む。ヒートマップの各ピクセルは０～１の間の値をとる。また、設定値２Ｂは、ヒートマップの各ピクセルの予測根拠となった程度が所定の基準を満たすか否かを判定するためのしきい値であって、０より大きく１より小さい値を持つ。

ステップＳ９０５では、ＣＰＵ２０１は、ステップＳ９０１で取得した入力画像における、ステップＳ９０４で取得した全ての座標のピクセルの値を設定値３Ｂ（第１の所定値）に置換する加工を行った後、本処理を終了する。

ステップＳ９０６では、ＣＰＵ２０１は、乱数を生成し、その生成した乱数が設定値１Ｂより大きいか（第２の確率であるか）否かを判定する。判定の結果、乱数が設定値１Ｂより大きい場合は（ステップＳ９０６でＹＥＳ）、ステップＳ９０１で取得した入力画像の加工を行うべく、ステップＳ９０７に進み、そうでない場合は（ステップＳ９０６でＮＯ）、本処理を終了する。このように、外部装置１０２に保存される入力画像のうち、加工テーブルにはパスが登録されていない入力画像にも確率的に加工を施すことで、加工自体の一貫性がヒートマップの算出に影響を与えることを防ぐ役割が期待される。尚、ステップＳ９０６の判定に使用した設定値は、ステップＳ９０３の判定に使用した設定値１Ｂと同一としたが、異なる設定値であってもよい。

ステップＳ９０７では、ＣＰＵ２０１は、ステップＳ９０１で取得した入力画像におけるピクセルをランダムに選択し、そのランダムに選択されたピクセルの値を設定値３Ｂ（第２の所定値）で置換した後、本処理を終了する。尚、ここでランダムに選択されるピクセルの数自体も、ランダムに設定された値としてもよいし、固定値としてもよい。

（その他の実施形態）
尚、本実施形態では、１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置のコンピュータに供給し、そのシステムまたは装置のシステム制御部がプログラムを読出し実行する処理でも実現可能である。システム制御部は、１つまたは複数のプロセッサーまたは回路を有し、実行可能命令を読み出し実行するために、分離した複数のシステム制御部または分離した複数のプロセッサーまたは回路のネットワークを含みうる。

プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１ ＡＩ予測根拠表示システム
１０１ 情報処理装置
１０２ 外部装置
１１０ ネットワーク
２０１ ＣＰＵ
２１２ 表示装置
４０５ 学習ボタン
４０６ 加工ボタン
４０７ 削除ボタン
４０８ エクスポートボタン

Claims (7)

1. 学習済みモデルによる予測ラベルの出力処理の対象となる複数の入力画像のうち、加工を施す対象の画像を受け付ける加工受付手段と、
   前記学習済みモデルの予測根拠となった特徴領域を取得する取得手段と、
   前記加工受付手段により加工を施す対象の画像として受け付けた画像であって、第１の確率で選択された画像に対して、前記特徴領域の少なくとも一部のピクセルの値を、第１の所定値に置換する第１の加工処理を行い、前記複数の入力画像のうち、前記加工受付手段により加工を施す対象の画像として受け付けていない画像であって、第２の確率で選択された画像に対して、当該画像の一部のピクセルの値を、第２の所定値に置換する第２の加工処理を行う処理手段と、
   前記第１及び第２の加工処理が行われた画像を用いて、学習済みモデルの再学習を行うための学習データを更新する更新手段と、
   を備えることを特徴とする情報処理装置。
2. 前記第２の加工処理は、前記複数の入力画像のうち、前記加工受付手段により加工を施す対象として受け付けていない画像であって、前記第２の確率で選択された画像に対して、ランダムに選択された領域にあるピクセルの値を、前記第２の所定値に置換する処理を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記複数の入力画像のうち、前記加工受付手段が登録指示を受け付けた画像を、加工を施す対象の画像として登録する登録手段と、
   前記学習済みモデルの再学習を行うための学習データを更新する更新指示を受け付ける更新受付手段と、
   を備え、
   前記更新手段は、前記更新受付手段が前記更新指示を受け付けた場合、前記処理手段により前記第１及び第２の加工処理を行い、前記第１及び第２の加工処理が行われた画像を用いて前記学習データを更新することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記複数の入力画像、前記予測ラベル、前記特徴領域を前記入力画像に重畳した予測根拠画像、及び予め定められた前記入力画像に対する、前記学習済みモデルに入力した際の推論の正解を示す正解ラベルを比較可能に一つの画面に表示する表示手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記特徴領域の少なくとも一部のピクセルは、当該特徴領域のうち予測根拠となった程度が所定の基準を満たす領域に位置するピクセルであることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 情報処理装置の情報処理方法であって、
   学習済みモデルによる予測ラベルの出力処理の対象となる複数の入力画像のうち、加工を施す対象の画像を受け付ける加工受付ステップと、
   前記学習済みモデルの予測根拠となった特徴領域を取得する取得ステップと、
   前記加工受付ステップにおいて加工を施す対象の画像として受け付けた画像であって、第１の確率で選択された画像に対して、前記特徴領域の少なくとも一部のピクセルの値を、第１の所定値に置換する第１の加工処理を行い、前記複数の入力画像のうち、前記加工受付ステップにおいて加工を施す対象の画像として受け付けていない画像であって、第２の確率で選択された画像に対して、当該画像の一部のピクセルの値を、第２の所定値に置換する第２の加工処理を行う処理ステップと、
   前記第１及び第２の加工処理が行われた画像を用いて、学習済みモデルの再学習を行うための学習データを更新する更新ステップと、
   を備えることを特徴とする情報処理方法。
7. コンピュータを、請求項１乃至５のいずれか１項に記載の情報処理装置の各手段として機能させる、コンピュータにより実行可能なプログラム。

Images