JP7609136B2 - 情報処理システム、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は、情報処理システム、情報処理方法及び情報処理プログラムに関する。

特許文献１には、類似画像検索に適した特徴量を取得する特徴量取得装置、表示装置、特徴量取得方法、類似画像検索方法、表示方法及びプログラムが開示されている。

特徴量取得装置は、複数の層を有し、第１対象及び第１対象の周囲の第２対象が写った入力画像の画像データに基づく入力データを複数の層で処理することにより第１対象を識別した結果を出力するＣＮＮ識別器における、複数の層のうちのある層のユニットが識別結果に影響を与える度合を活性度として導出する活性度算出部と、導出された活性度と入力画像の画像データとに基づいて、第１ユニットよりも活性度が低いユニット第２ユニットに対応する入力画像の領域である低活性度画像領域の特徴量が、第１ユニットに対応する入力画像の領域である高活性度画像領域の特徴量よりも小さくなるように、入力画像の特徴量を取得する特徴量取得部と、を備える。

特開２０２２－３３４２９号公報

ところで、学習モデルは、データセットに含まれるデータをもとに、入力と出力との相関を特定し、特定された相関に基づき予測、判定、分類等の種々のタスクを行う。しかし、当該相関のなかには、実際には、現実には相関がない擬似的な相関が含まれ得る。擬似的な相関は、学習モデルの精度の低下を引き起こすおそれがある。そのため、このような擬似的な相関の影響を把握することが求められている。

本発明の一態様によれば、情報処理システムが提供される。この情報処理システムでは、次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備える。取得ステップでは、第１のデータセットを用いた学習モデルの学習結果と、入力としての第１のデータセットの一部であるデータ領域と、学習モデルの出力と、の相関と、を取得する。特定ステップでは、第１のデータセットと相関とに基づき、疑似相関領域を特定する。疑似相関領域は、相関を有するデータ領域のうち、学習モデルの出力との擬似相関を有するものである。生成ステップでは、疑似相関領域に対して変更及びアノテーションのうちの少なくとも１つを行い、第２のデータセットを生成する。

かかる構成によれば、ユーザが、第１のデータセットを用いた学習結果に対する疑似相関領域の影響を把握しやすくなる。

情報処理システム１を表す構成図である。 情報処理装置２のハードウェア構成を示すブロック図である。 ユーザ端末３のハードウェア構成を示すブロック図である。 プロセッサ２３が備える機能部の一例を示す図である。 情報処理システム１において実行される情報処理の流れの一例を示すアクティビティ図である。 アクティビティＡ７の表示処理の結果として表示部３４に表示される、疑似相関領域Ｒ２が含まれる学習データＤの一例を示す図である。 学習データＤに対するデータ処理の一例を示す図である。

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０または１で構成される２進数のビット集合体としての信号値の高低、または量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、およびメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

１．ハードウェア構成
本節では、ハードウェア構成について説明する。

<情報処理システム１>
図１は、情報処理システム１を表す構成図である。情報処理システム１は、情報処理装置２と、ユーザ端末３と、データベースＤＢ１と、を備える。情報処理装置２と、ユーザ端末３と、データベースＤＢ１と、は、電気通信回線を通じて通信可能に構成されている。一実施形態において、情報処理システム１とは、１つまたはそれ以上の装置または構成要素からなるものである。仮に例えば、情報処理装置２のみからなる場合であれば、情報処理システム１は、情報処理装置２となりうる。以下、これらの構成要素について説明する。

<データベースＤＢ１>
データベースＤＢ１は、種々のデータセットＤＳを記憶する。データセットＤＳは、例えば、ＭＮＩＳＴ、Ｆａｓｈｉｏｎ－ＭＮＩＳＴ、ＩｍａｇｅＮｅｔなどのオープンデータを含むものであっても、一部ユーザに限定的に提供されるものであってもよい。

<情報処理装置２>
図２は、情報処理装置２のハードウェア構成を示すブロック図である。情報処理装置２は、通信部２１と、記憶部２２と、プロセッサ２３とを備え、これらの構成要素が情報処理装置２の内部において通信バス２０を介して電気的に接続されている。各構成要素についてさらに説明する。

通信部２１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、ＢＬＵＥＴＯＯＴＨ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、情報処理装置２は、通信部２１およびネットワークを介して、外部から種々の情報を通信してもよい。

記憶部２２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、プロセッサ２３によって実行される情報処理装置２に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部２２は、プロセッサ２３によって実行される情報処理装置２に係る種々のプログラムや変数等を記憶している。

プロセッサ２３は、情報処理装置２に関連する全体動作の処理・制御を行う。プロセッサ２３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。プロセッサ２３は、記憶部２２に記憶された所定のプログラムを読み出すことによって、情報処理装置２に係る種々の機能を実現する。すなわち、記憶部２２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例であるプロセッサ２３によって具体的に実現されることで、プロセッサ２３に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、プロセッサ２３は単一であることに限定されず、機能ごとに複数のプロセッサ２３を有するように実施してもよい。またそれらの組合せであってもよい。

<ユーザ端末３>
図３は、ユーザ端末３のハードウェア構成を示すブロック図である。ユーザ端末３は、通信部３１と、記憶部３２と、プロセッサ３３と、表示部３４と、ＨＭＩデバイス３５とを備え、これらの構成要素がユーザ端末３の内部において通信バス３０を介して電気的に接続されている。通信部３１、記憶部３２およびプロセッサ３３の説明は、情報処理装置２における各部の説明と同様のため省略する。

表示部３４は、ユーザ端末３筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部３４は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイおよびプラズマディスプレイ等の表示デバイスを、ユーザ端末３の種類に応じて使い分けて実施することが好ましい。

ＨＭＩデバイス３５は、ヒューマン・マシン・インターフェースデバイスである。ＨＭＩデバイス３５は、ユーザ端末３の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、ＨＭＩデバイス３５は、表示部３４と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード、音声認識装置、ジェスチャ検出装置、視線検出装置、生体信号検出装置、撮像装置などを採用してもよい。すなわち、ＨＭＩデバイス３５がユーザによってなされた操作入力を受け付ける。ＨＭＩデバイス３５は、応答として、通信バス３０を介し操作入力に対応する信号をプロセッサ３３に転送する。プロセッサ３３が必要に応じて所定の制御や演算を実行しうる。ＨＭＩデバイス３５は、ユーザからの入力を受付可能に構成されている入力部を含むともいえる。

２．情報処理装置２の機能構成
図４は、プロセッサ２３が備える機能部の一例を示す図である。図４に示すように、プロセッサ２３は、取得部２３１と、類似度計算部２３２と、特定部２３３と、表示処理部２３４と、受付部２３５と、生成部２３６と、を備える。本節では、これらの機能部の概要を説明する。各機能部の詳細は、後述の情報処理と合わせて説明される。

取得部２３１は、ユーザ端末３または他のデバイスからの情報を取得可能に構成される。取得部２３１は、例えば、データベースＤＢ１等の情報源からデータセットＤＳや、データセットＤＳを用いて学習された学習モデルＭを取得する。また、取得部２３１は、記憶部２２の少なくとも一部であるストレージ領域に記憶されている種々の情報を読み出し、読み出された情報を記憶部２２の少なくとも一部である作業領域に書き込むことで、種々の情報を取得可能に構成されている。ストレージ領域とは、例えば、記憶部２２のうち、ＳＳＤ等のストレージデバイスとして実施される領域である。作業領域とは、例えば、ＲＡＭ等のメモリとして実施される領域である。なお、取得部２３１による取得は、プロセッサ２３に含まれる各機能部の出力結果を取得することを含む。

類似度計算部２３２は、取得部２３１による取得結果に基づき、種々の情報を計算可能に構成されている。類似度計算部２３２は、例えば、データセットＤＳに含まれる複数の学習データＤ間の類似度や、学習データＤが分類される複数のクラス間の類似度などを計算可能に構成される。

特定部２３３は、取得部２３１の取得結果や類似度計算部２３２の計算結果等に基づき、種々の情報を特定可能に構成される。

表示処理部２３４は、種々の情報を表示可能に構成される。当該情報は、ユーザ端末３の表示部３４または他のデバイスを介して、ユーザに提示可能である。かかる場合、例えば、表示処理部２３４は、画面、静止画又は動画を含む画像、アイコン、メッセージ等の視覚情報を、ユーザ端末３の表示部３４に表示させるように制御する。表示処理部２３４は、視覚情報をユーザ端末３に表示させるためのレンダリング情報だけを生成してもよい。なお、表示処理部２３４は、ユーザ端末３または他のデバイスユーザを介さずに、出力された情報をユーザに対して提示してもよい。

受付部２３５は、ユーザからの種々の指定を受付可能に構成される。当該指定は、例えば、ユーザ端末３を通じて入力されるものでも、情報処理装置２に対して直接入力されるものでもよい。

生成部２３６は、種々の情報を生成可能に構成される。例えば、生成部２３６は、取得されたデータセットＤＳと受け付けた指定とに基づき、データセットＤＳを再度生成する。

学習部２３７は、取得されたデータセットＤＳを用いて学習モデルＭの学習を実行可能に構成される。なお、学習部２３７は、プロセッサ２３以外のデバイスに学習を行わせるために、データセットＤＳを用いた学習モデルＭの学習の開始を指示する指令や、当該学習に必要な情報、例えば、ハイパーパラメータや学習回数等の学習条件、を送信してもよい。

３．情報処理について
本節では、前述した情報処理システム１において実行される情報処理について説明する。

３．１．情報処理の流れについて
図５は、情報処理システム１において実行される情報処理の流れの一例を示すアクティビティ図である。なお、当該情報処理は、図示されない任意の例外処理を含みうる。例外処理は、当該情報処理の中断や、各処理の省略を含む。当該情報処理にて行われる選択または入力は、ユーザによる操作に基づくものでも、ユーザの操作に依らず自動で行われるものでもよい。

［アクティビティＡ１］
アクティビティＡ１にて、プロセッサ３３は、ユーザからの学習開始の指示を受け付け、当該指示を情報処理装置２のプロセッサ２３に送信する。当該指示は、学習に用いられるデータセットＤＳを特定するための情報を含む。例えば、当該指示は、ユーザがデータセットＤＳとして送信するデータセットＤＳを含む。以下、説明の便宜上、情報処理装置２のプロセッサ２３を単にプロセッサ２３と、ユーザ端末３のプロセッサ３３を単にプロセッサ３３という。

［アクティビティＡ２］
次に、アクティビティＡ２にて、プロセッサ２３は、送信された指示に基づき、データセットＤＳを取得する。データセットＤＳは、ユーザによって入力されるものであっても、データベースＤＢに記憶されているものであってもよい。プロセッサ２３が過去にデータセットＤＳを取得したことがある場合、当該過去に取得されたデータセットＤＳを取得してもよい。以下、説明の便宜上、アクティビティＡ２にてプロセッサ２３が取得したデータセットＤＳを、第１のデータセットＤＳ１という。第１のデータセットＤＳ１は、少なくとも１つのデータを含む。データは、数値データ、時系列データ、音声データ、画像データ、又はこれらの組み合わせなど、任意の種類のデータを含み得る。以下、説明の便宜上、第１のデータセットＤＳ１に含まれるデータを学習データＤという。学習データＤは、学習モデルＭに入力される教師データとして用いられる。

［アクティビティＡ３］
次に、処理がアクティビティＡ３に進み、プロセッサ２３は、データセットＤＳを用いて学習モデルＭの学習を実行する。ここでは、プロセッサ２３は、アクティビティＡ２にて取得された第１のデータセットＤＳ１を用いて学習モデルＭの学習を実行する。これにより、取得部２３１は、第１のデータセットＤＳ１を用いた学習モデルＭの学習結果を取得する。学習モデルＭは、データセットＤＳに含まれる学習データＤを入力することで所定の結果を出力する。学習モデルＭが出力する結果の具体的態様は、例えば、回帰分析による予測結果、他クラスへの分類結果など、学習条件に応じて任意に決定される。

プロセッサ２３は、学習モデルＭの評価指標が所定の条件を満たした場合に学習を終了する。学習モデルＭの評価指標は任意であるが、例えば、カッパ係数、決定係数、赤池情報量基準（ＡＩＣ）、Ｒ２スコアなど、学習モデルＭの当てはまりの度合いを示す指標であることが好ましい。所定条件とは、例えば、これらの評価指標の少なくとも１つが予め定められた閾値未満となることである。なお、学習の終了条件はこれに限らず任意である。例えば、プロセッサ２３は、規定のエポック数だけ繰り返し処理が行われた場合に学習を終了してもよい。また、上記学習の終了条件が満たされた場合、プロセッサ２３は、ユーザによる、学習を終了するか否かの選択を受け付けてもよい。

学習の態様は、学習データＤの種類や、学習モデルＭにて実行されるタスクなどに応じて適宜設定される。本実施形態の学習結果は、学習条件、学習回数、学習精度など、任意の情報を含み得る。学習モデルＭの学習の具体的アルゴリズムは、教師あり学習、教師なし学習、強化学習など任意である。教師あり学習の場合、学習モデルＭの学習アルゴリズムとして、線形回帰、ロジスティック回帰、ランダムフォレスト、ブースティング、サポートベクターマシン、ニューラルネットワークなどが採用可能である。特に学習データＤが画像データを含む場合、畳み込みニューラルネットワーク（ＣＮＮ）を用いることが好ましい。学習データＤが時系列データを含む場合、リカレントニューラルネットワーク（ＲＮＮ）を用いることが好ましい。一方、教師なし学習の場合、学習モデルＭの学習アルゴリズムとしては、ｋ－ｍｅａｎｓ法や主成分分析などが採用可能である。当該学習は、プロセッサ２３自身によって行われても、プロセッサ２３以外のデバイスによって行われてもよい。

本実施形態の学習結果は、学習モデルＭによって分類される、第１のデータセットＤＳ１に含まれるデータ（本実施形態では学習データＤ）のそれぞれが属するクラスに関するクラス情報を含む。クラスは、例えば、良品であるか不良品であるか、の２値で表されていても、劣化度の大小を表す３つ以上の指標（例えば、大、中、小など）で表されていてもよい。したがって、本実施形態の学習モデルＭは、特に入力されるデータをクラスごとに分類する、分類器又は判定器として機能し得る。このようなクラスは、学習モデルＭが教師あり学習により生成される場合には、教師ありデータとしてのデータセットＤＳに付与されたラベルに基づき生成される。また、クラスは、学習モデルＭが教師なし学習により生成される場合には、データセットＤＳの学習結果として得られるラベルに基づき生成される。

［アクティビティＡ４］
次に、処理がアクティビティＡ４に進み、類似度計算部２３２は、取得されたクラス情報に基づき、クラス間の類似度を計算する。類似度計算部２３２は、例えば、各クラスに属する学習データＤの代表値を定め、当該代表値間の特徴量空間内での距離を計算し、当該距離に基づきクラス間の類似度を計算する。類似度計算部２３２は、２つのクラス間の距離が短いほど、両クラスが類似していると判断する。代表値は、例えば、学習データＤの分布の重心値や中央値など任意である。また、当該距離の具体的態様は、マンハッタン距離、ユークリッド距離、コサイン類似度など任意である。類似度の具体的態様は任意であり、距離自体を類似度としても、当該距離に対して任意の計算処理を施したものであってもよい。なお、クラス間の類似度は、距離に基づき計算されるものに限らず、例えば、混同行列に基づき計算されてもよい。

［アクティビティＡ５］
次に、処理がアクティビティＡ５に進み、特定部２３３は、計算された類似度に基づき、第１のデータセットＤＳ１の一部であるデータ領域Ｒと、学習データＤを入力とする学習モデルＭの出力と、の相関を特定する。特定部２３３が当該相関を特定することは、取得部２３１が当該相関を取得することの一態様である。以下、説明の便宜上、学習データＤのデータ領域Ｒ中にて特定された入力と出力との相関を示す領域を、相関領域Ｒ１という。特定部２３３は、データ領域Ｒと、学習データＤを入力とする学習モデルＭの出力との相関として、相関領域Ｒ１を特定する。相関領域Ｒ１は、疑似相関領域Ｒ２と真の相関領域Ｒ３とを含み得る。

<疑似相関領域Ｒ２>
疑似相関領域Ｒ２は、相関を有するデータ領域Ｒのうち、学習モデルＭの出力との擬似相関を有するものである。疑似相関とは、２つの事象（本実施形態では入力と出力）との間に直接の相関性がないにも関わらず、潜在変数の存在によってあたかも因果関係があるように推測される状態をいう。疑似相関は、みかけの相関とも言われる。

<真の相関領域Ｒ３>
真の相関領域Ｒ３は、相関を有するデータ領域Ｒのうち、学習モデルＭの出力との直接的な相関を有するものである。直接的な相関とは、２つの事象（入力と出力）との間に直接の相関性があることをいう。真の相関領域Ｒ３は、疑似相関領域Ｒ２以外の相関領域Ｒ１であるともいえる。相関領域Ｒ１が疑似相関領域Ｒ２であるか真の相関領域Ｒ３であるか否かは、例えば、理論、複数の実験事実、経験則などから判断可能な場合がある。

［アクティビティＡ６］
次に、処理がアクティビティＡ６に進み、特定部２３３は、第１のデータセットＤＳ１と相関とに基づき、疑似相関領域Ｒ２を特定する。詳細には、特定部２３３は、特定された相関領域Ｒ１の中から、疑似相関領域Ｒ２を特定する。例えば、特定部２３３は、予め学習された判定器を用いて、特定された相関領域Ｒ１が疑似相関領域Ｒ２であるか真の相関領域Ｒ３であるかを判定する。当該判定器の学習は、例えば、予め用意された教師ありデータを用いて行われる。当該教師ありデータは、相関領域Ｒ１が紐付けられた学習データＤと、紐付けられた相関領域Ｒ１が疑似相関領域Ｒ２であるか真の相関領域Ｒ３であるかを示すラベルと、を含む。判定器は、このような教師ありデータを入力とし、疑似相関領域Ｒ２であるか真の相関領域Ｒ３であるかを出力する。学習の具体的態様は任意であり、例えば、学習モデルＭの学習にて述べたものと同様のものが挙げられる。

［アクティビティＡ７］
次に、処理がアクティビティＡ７に進み、表示処理部２３４は、表示処理を実行する。これにより、表示処理部２３４は、特定された疑似相関領域Ｒ２を、疑似相関領域Ｒ２以外のデータ領域Ｒと異なる態様で表示部３４に表示させる。疑似相関領域Ｒ２の表示態様は、ユーザが視覚的に区別可能であれば任意である。例えば、疑似相関領域Ｒ２は、他のデータ領域Ｒと異なり輪郭線によって囲われても、他のデータ領域Ｒと異なる色で表示されてもよい。本実施形態の表示処理部２３４は、表示処理により学習モデルＭの学習結果を表示部３４に表示させる。学習結果の表示態様は任意であるが、表示処理部２３４は、混同行列、データセットＤＳの散布図、クラス毎の学習データＤの集計値などを用いて、学習結果を表示部３４に表示させる。学習データＤの集計値としては、例えば、クラス毎の特徴量の分布が挙げられる。特に、学習データＤが画像データを含む場合、表示処理部２３４は、学習結果を活性化マップとして表示部３４に表示させる。活性化マップを生成する手法は任意であるが、例えば、ＣＡＭ，Ｇｒａｄ－ＣＡＭ，Ｇｕｉｄｅｄ Ｇｒａｄ－ＣＡＭなどが挙げられる。

［アクティビティＡ８］
次に、処理がアクティビティＡ８に進み、プロセッサ３３は、アクティビティＡ７での表示処理の結果を表示部３４に表示させる。これにより、ユーザは、学習モデルＭの学習結果や、学習モデルＭの学習に用いられた学習データＤに含まれるデータ領域Ｒ、特に疑似相関領域Ｒ２を把握することができる。

学習モデルＭの学習を終了する場合、本情報処理が終了する。一方、学習モデルＭの学習を継続する場合、処理がアクティビティＡ９に進む。学習モデルＭの学習を終了するか継続するかの判断は、アクティビティＡ８にて表示された学習結果をもとにユーザによって行われても、学習結果に基づきプロセッサ２３が自動で行ってもよい。

［アクティビティＡ９］
アクティビティＡ９では、プロセッサ３３は、ユーザから入力される、学習データＤにおける疑似相関領域Ｒ２に対する変更及びアノテーションのうちの少なくとも１つの指定を送信する。ここで、変更は、疑似相関領域Ｒ２に対して行われる具体的なデータ処理を含む。また、プロセッサ３３は、当該データ処理を行う疑似相関領域Ｒ２を特定する情報を送信してもよい。アノテーションは、学習モデルＭによる学習において、疑似相関領域Ｒ２の使い方を規定するものである。アノテーションは、疑似相関領域Ｒ２を学習モデルＭによる学習対象から除外させることを示すメタデータであってもよいし、学習モデルＭによる学習において、疑似相関領域Ｒ２の重み付けを他の領域より小さくすることを指定するメタデータであってもよい。また、アノテーションは、学習モデルＭによる学習において、疑似相関領域Ｒ２の学習回数を所定の値未満とすることを指定するメタデータであってもよい。また、アノテーションは、学習データＤが学習モデルＭに入力される前に、実行されるデータ処理を示すものであってもよい。なお、データ処理は、全体処理、及び部分処理のうちの少なくとも１つを含み得る。

全体処理は、疑似相関領域Ｒ２を含む学習データＤの全体に対して行われるデータ処理である。全体処理は、例えば、第１のデータセットＤＳ１から疑似相関領域Ｒ２を含む学習データＤを除去する処理や、学習データＤの全体に対して一様に行われるパターン処理などを含む。パターン処理は、例えば、所定のパターン信号の畳み込み、予め定められたノイズパターンの減算などを含む。

部分処理は、学習データＤ中の疑似相関領域Ｒ２に対してのみ行われるデータ処理である。部分処理は、例えば、疑似相関領域Ｒ２の削除、規定パターンによる置換、マスク処理などを含む。また、部分処理は、疑似相関領域Ｒ２の少なくとも一部に対して行われる任意の処理を含み得る。例えば、部分処理は、疑似相関領域Ｒ２全体に対するデータ処理に限られず、疑似相関領域Ｒ２の一部に対するデータ処理を含み得る。

特に、学習データＤが画像データを含む場合、データ処理は、画像処理を含む。画像処理は、疑似相関領域Ｒ２を含む画像全体の削除、疑似相関領域Ｒ２を含む学習データＤ全体に対するパターン加算処理（例えば、スタイルトランスファー処理）などの全体処理や、学習データＤ中の疑似相関領域Ｒ２の削除や疑似相関領域Ｒ２に対するマスク処理などの部分処理を含む。

当該データ処理を行う疑似相関領域Ｒ２の指定の具体的態様は、ＨＭＩデバイス３５へのキーボード操作やタッチ操作など任意である。また、指定は、１つの疑似相関領域Ｒ２全体に対する指定に限られず、疑似相関領域Ｒ２に含まれる部分的な領域の指定を含み得る。ＨＭＩデバイス３５への操作によって、ＨＭＩデバイス３５からの応答が生成される。

［アクティビティＡ１０］
次に、処理がアクティビティＡ１０に進み、受付部２３５は、プロセッサ３３から送信された、学習データＤにおける疑似相関領域Ｒ２に対する変更及びアノテーションのうちの少なくとも１つの指定を受け付ける。

［アクティビティＡ１１］
次に、処理がアクティビティＡ１１に進み、アクティビティＡ１０で受け付けた指定に基づき、疑似相関領域Ｒ２に対してデータ処理及びアノテーションのうちの少なくとも１つを行う。これにより、生成部２３６は、第２のデータセットＤＳ２を生成する。特に、第１のデータセットＤＳ１が画像データを含む場合、生成部２３６は、疑似相関領域Ｒ２を含む画像データに対して、データ処理として、画像処理を行うことにより、第２のデータセットＤＳ２を生成する。画像処理は、上記全体処理及び部分処理の少なくとも１つを含み得る。例えば、第１のデータセットＤＳ１が画像データを含む場合、生成部２３６は、疑似相関領域Ｒ２に対する部分的な画像処理（すなわち、画像処理に含まれる部分処理）を行う。

アクティビティＡ１１の処理の後、処理がアクティビティＡ３に戻り、学習部２３７は、第２のデータセットＤＳ２を用いて、学習モデルＭの学習を行う。これにより、第１のデータセットＤＳ１を用いて学習を行う場合に比べて、擬似相関の影響の小さい学習モデルＭが得られる。したがって、学習モデルＭの信頼性を向上することができる。その後、アクティビティＡ４からアクティビティＡ８までの処理が行われる。これにより、プロセッサ２３は、第２のデータセットＤＳ２を用いた学習モデルＭに対しても、前回の第１のデータセットＤＳ１に対する情報処理と同様に、疑似相関領域Ｒ２に対するデータ処理が実行可能に構成されている。

［アクティビティＡ１２］
なお、アクティビティＡ１１の処理の後、アクティビティＡ１２では、表示処理部２３４は、第２のデータセットＤＳ２に関する情報を表示部３４に表示させる。第２のデータセットＤＳ２に関する情報は、例えば、学習データＤに対して行われるデータ処理の内容、データ処理の結果、第１のデータセットＤＳ１と第２のデータセットＤＳ２との差異などを含む。これにより、ユーザが学習モデルＭの学習課程を把握しやすくなる。

３．２．情報処理の詳細について
本節では、学習データＤが画像データである場合における上記情報処理の詳細について説明する。本実施形態の学習データＤは、電極材料の電子顕微鏡像（ＳＥＭ像）であり、電極材料の結晶ドメインの像を含む。各学習データＤは、電極材料の劣化度（例えば、劣化度大、劣化度中、劣化度小）と紐付けられている。第１のデータセットＤＳ１は、複数の上記学習データＤを含む。このような第１のデータセットＤＳ１に基づき学習が行われた学習モデルＭは、電極材料の電子顕微鏡像を入力することで、当該電極材料の劣化度を出力する。このとき、特定部２３３は、出力される劣化度の判断材料として使うデータ領域Ｒを、相関領域Ｒ１として特定する。その後、特定部２３３は、相関領域Ｒ１が疑似相関領域Ｒ２であるか真の相関領域Ｒ３であるかを特定し、表示処理部２３４は、アクティビティＡ７及びアクティビティＡ８にて、学習結果とともに相関領域Ｒ１に関する情報を表示部３４に表示させる。

図６は、アクティビティＡ７の表示処理の結果として表示部３４に表示される、疑似相関領域Ｒ２が含まれる学習データＤの一例を示す図である。アクティビティＡ３からアクティビティＡ６までの処理の結果、特定部２３３は、当該学習データＤが２つの相関領域Ｒ１を含むことと、２つの相関領域Ｒ１の一方は疑似相関領域Ｒ２であり、相関領域Ｒ１の他方が真の相関領域Ｒ３であることを特定している。本実施形態で特定された疑似相関領域Ｒ２は、例えば、電極材料とセパレータとの接触に起因するセパレータ跡が残っている領域である。

特定された相関領域Ｒ１のそれぞれは、アノテーションとしての矩形枠により囲われている。これにより、相関領域Ｒ１は、ユーザにより視認可能に表示される。詳細には、特定された疑似相関領域Ｒ２は実線の矩形枠により囲われており、真の相関領域Ｒ３は破線の矩形枠により囲われている。なお、相関領域Ｒ１以外のデータ領域Ｒは、このような矩形枠により囲われていない。このような表示態様により、ユーザは、学習データＤ中のどの領域が相関領域Ｒ１として劣化状態の判定に寄与しているのか、どの相関領域Ｒ１が疑似相関領域Ｒ２なのかを視認することができる。なお、プロセッサ２３は、ユーザの操作によって、特定された相関領域Ｒ１が疑似相関領域Ｒ２又は真の相関領域Ｒ３のいずれであるかを変更可能に構成されていてもよい。言い換えれば、特定部２３３は、相関領域Ｒ１のなかから、疑似相関領域Ｒ２の候補を特定してもよい。これにより、ユーザの経験則に基づき疑似相関領域Ｒ２の特定結果の修正が容易となる。当該操作は、マウス操作、タッチ操作、キーボード操作、音声、視線、ジェスチャなど、ＨＭＩデバイス３５への任意の入力を用いて実現可能である。当該変更により、相関領域Ｒ１を囲う矩形枠の表示態様が変更されてもよい。その後、アクティビティＡ９及びアクティビティＡ１０にて指定された入力態様に基づき、特定された疑似相関領域Ｒ２を含む学習データＤに対するデータ処理が行われる。

次に、上記学習データＤに対するアクティビティＡ１１のデータ処理の詳細について説明する。図７は、学習データＤに対するデータ処理の一例を示す図である。本実施形態のデータ処理は、学習データＤに含まれる画像データに対する画像処理、特に、マスク処理である。生成部２３６は、当該画像処理により、特定された疑似相関領域Ｒ２がマスクされた、少なくとも１つの学習データＤと、当該学習データＤを含む第２のデータセットＤＳ２を生成する。なお、生成部２３６は、特定された相関領域Ｒ１のうち、疑似相関領域Ｒ２に対してのみ当該データ処理を行い、真の相関領域Ｒ３に対しては行わない。このようなマスク処理が施された学習データＤを含む第２のデータセットＤＳ２を用いて学習モデルＭの再学習が行われる。そのため、第２のデータセットＤＳ２は、マスク処理によって学習モデルＭへの入力態様が変更されたデータセットＤＳといえる。なお、当該データ処理後の学習データＤを含む第２のデータセットＤＳ２の内容は、アクティビティＡ１２にて表示部３４を介してユーザに表示される。

４．その他
上記情報処理の態様はあくまで一例であり、これに限られない。

アクティビティＡ６での疑似相関領域Ｒ２の特定方法は、判定器を用いるものに限られず任意である。特定部２３３は、予め得られている入力と出力との相関を表す関係式やルックアップテーブルを用いて、入力に対する学習モデルＭの出力が、当該関係式に基づく入力と出力との所定の閾値以上大きいか否かに基づき、相関領域Ｒ１が疑似相関領域Ｒ２であるか真の相関領域Ｒ３であるかを判定してもよい。また、特定部２３３は、相関領域Ｒ１に対するユーザの操作に基づき、疑似相関領域Ｒ２を特定してもよい。ユーザの入力は、例えば、相関領域Ｒ１が疑似相関領域Ｒ２であることを示す操作と、相関領域Ｒ１が真の相関領域Ｒ３であることを示す操作と、を含む。また、判定器の学習は、当該ユーザの操作によって相関領域Ｒ１が疑似相関領域Ｒ２であるか真の相関領域Ｒ３であるかを特定された学習データＤを、教師有りデータとして行われてもよい。

第１のデータセットＤＳ１を用いて学習された学習モデルＭが存在する場合、取得部２３１は、当該学習モデルＭを取得し、取得した学習モデルＭに対する第２のデータセットＤＳ２を用いた転移学習を行ってもよい。

第１のデータセットＤＳ１に含まれるデータは、学習データＤに限られない。例えば、第１のデータセットＤＳ１に含まれるデータは、評価データであってもよい。評価データは、例えば、学習モデルＭの性能の評価に用いられるデータである。言い換えれば、第１のデータセットＤＳ１に含まれるデータの用途は任意であり、当該データは、教師データとして用いられるものであっても、学習モデルＭの評価に用いられるものであってもよい。

アクティビティＡ９にて、ＨＭＩデバイス３５からの応答が生成された場合、取得部２３１は、当該ＨＭＩデバイス３５からの応答を取得してもよい。この場合、特定部２３３は、さらに、取得部２３１によって取得されたＨＭＩデバイス３５からの応答と、第１のデータセットＤＳ１と、相関とに基づき疑似相関領域Ｒ２を特定してもよい。例えば、プロセッサ２３は、取得部２３１によって取得されたＨＭＩデバイス３５からの応答に基づき、アクティビティＡ５での疑似相関領域Ｒ２の特定に用いられる判定器の学習を行い、学習後の判定器を用いて疑似相関領域Ｒ２の特定を行ってもよい。この場合、プロセッサ２３は、ＨＭＩデバイス３５からの応答に基づき生成された第２のデータセットＤＳ２を第１のデータセットＤＳ１として取り扱い、当該第１のデータセットＤＳ１を用いた判定器の学習を行ってもよい。

情報処理装置２は、オンプレミス形態であってもよく、クラウド形態であってもよい。クラウド形態の情報処理装置２としては、例えば、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）、クラウドコンピューティングという形態で、上述の機能や処理を提供してもよい。

上記実施形態では、情報処理装置２が種々の記憶・制御を行ったが、情報処理装置２に代えて、複数の外部装置が用いられてもよい。すなわち、種々の情報やプログラムは、ブロックチェーン技術等を用いて複数の外部装置に分散して記憶されてもよい。

上記実施形態は、情報処理システム１に限定されず、情報処理方法であっても、情報処理プログラムであってもよい。情報処理方法は、情報処理システム１の各ステップを含む。情報処理プログラムは、少なくとも１つのコンピュータに、情報処理システム１の各ステップを実行させる。

上記情報処理システム１等は、次に記載の各態様で提供されてもよい。

（１）情報処理システムであって、次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備え、取得ステップでは、第１のデータセットを用いた学習モデルの学習結果と、入力としての前記第１のデータセットの一部であるデータ領域と、前記学習モデルの出力と、の相関と、を取得し、特定ステップでは、前記第１のデータセットと前記相関とに基づき、疑似相関領域を特定し、ここで、前記疑似相関領域は、前記相関を有する前記データ領域のうち、前記学習モデルの出力との擬似相関を有するものであり、生成ステップでは、前記疑似相関領域に対して変更及びアノテーションのうちの少なくとも１つを行い、第２のデータセットを生成する、もの。

このような構成によれば、学習モデルの学習結果は、第１のデータセットを用いる場合と第２のデータセットとで、擬似相関領域の入力対応に応じて異なる。そのため、学習モデルの学習を行う際に第２のデータセットを用いることで、ユーザが、第１のデータセットを用いた学習結果に対する疑似相関領域の影響を把握しやすくなる。

（２）上記（１）に記載の情報処理システムにおいて、前記取得ステップでは、さらにＨＭＩデバイスからの応答を取得し、前記特定ステップでは、取得された前記ＨＭＩデバイスからの応答と、前記第１のデータセットと、前記相関とに基づき、前記疑似相関領域を特定する、もの。

このような構成によれば、HMIデバイスからの応答を介して疑似相関領域の特定に、ユーザの経験則を反映させやすくなる。

（３）上記（１）又は（２）に記載の情報処理システムにおいて、さらに、受付ステップでは、ユーザによる、前記変更及び前記アノテーションのうちの少なくとも１つの指定を受け付ける、もの。

このような構成によれば、特定された疑似相関領域が真に疑似相関を有する領域であるか否か、どの程度疑似相関が強いか、などの疑似相関領域に関するユーザの主観的な判断を、擬似相関領域の入力態様に反映させることができる。そのため、このように生成される第２のデータセットを用いて学習モデルの学習を行うことで、よりユーザの主観と矛盾の少ない学習結果を得ることができる。

（４）上記（１）～（３）の何れか１つに記載の情報処理システムにおいて、表示処理ステップでは、特定された前記疑似相関領域を、前記疑似相関領域以外の前記データ領域と異なる態様で表示させる、もの。

このような構成によれば、ユーザは、どのデータ領域が疑似相関領域であるかを視覚的に判別しやすくなる。

（５）上記（１）～（４）の何れか１つに記載の情報処理システムにおいて、前記学習結果は、前記学習モデルによって分類される、前記データセットに含まれるデータが属するクラスに関するクラス情報を含み、さらに、類似度計算ステップでは、取得された前記クラス情報に基づき、前記クラス間の類似度を計算し、前記特定ステップでは、さらに、計算された前記類似度に基づき、前記相関を特定する、もの。

このような構成によれば、クラス間の類似度という定量的な指標に基づき疑似相関領域が特定されるため、特定結果の客観性が向上する。

（６）上記（１）～（５）の何れか１つに記載の情報処理システムにおいて、前記第１のデータセットが画像データを含む場合、前記生成ステップでは、前記疑似相関領域を含む前記画像データに対して画像処理を行うことにより、前記第２のデータセットを生成する、もの。

このような構成によれば、第１のデータセットと第２のデータセットの差異を視覚的に把握しやすくなるため、ユーザがより擬似相関領域の影響を把握しやすくなる。

（７）上記（６）に記載の情報処理システムにおいて、前記生成ステップでは、前記疑似相関領域に対する部分的な画像処理を行うことにより、前記第２のデータセットを生成する、もの。

このような構成によれば、画像処理が、特に疑似相関領域でない領域、特に、真の相関を有するデータ領域への影響を及ぼす可能性を低減することができる。したがって、ユーザが、より正確に擬似相関領域の影響を把握しやすくなる。

（８）上記（１）～（７）の何れか１つに記載の情報処理システムにおいて、さらに、学習ステップでは、前記第２のデータセットを用いて、前記学習モデルの学習を行う、もの。

このような構成によれば、第１のデータセットを用いる場合に比べて信頼性の高い学習モデルを得ることができる。

（９）情報処理方法であって、上記（１）～（８）の何れか１つに記載の情報処理システムの各ステップを含む、方法。

（１０）情報処理プログラムであって、少なくとも１つのコンピュータに、上記（１）～（８）の何れか１つに記載の情報処理システムの各ステップを実行させる、もの。
もちろん、この限りではない。

最後に、本開示に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ ：情報処理システム
２ ：情報処理装置
３ ：ユーザ端末
２０ ：通信バス
２１ ：通信部
２２ ：記憶部
２３ ：プロセッサ
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：プロセッサ
３４ ：表示部
３５ ：ＨＭＩデバイス
２３１ ：取得部
２３２ ：類似度計算部
２３３ ：特定部
２３４ ：表示処理部
２３５ ：受付部
２３６ ：生成部
２３７ ：学習部
ＤＢ１ ：データベース
Ｒ ：データ領域
Ｒ１ ：相関領域
Ｒ２ ：疑似相関領域
Ｒ３ ：相関領域

Claims (10)

1. 情報処理システムであって、
   次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備え、
   取得ステップでは、
   複数の学習データを含む第１のデータセットを用いた学習モデルの学習結果と、
   入力としての前記学習データのうち、前記学習モデルの入力に対応するデータ領域と、前記学習モデルの出力と、の相関と、を取得し、ここで、前記学習データは、前記出力が予め付与された正解ラベルに対応付けられ、
   特定ステップでは、前記第１のデータセットと前記相関とに基づき、疑似相関領域を特定し、ここで、前記疑似相関領域は、前記相関を有する前記データ領域のうち、前記学習モデルの出力との擬似相関を有するものであり、
   生成ステップでは、前記学習データの前記正解ラベルを変更せずに前記疑似相関領域に対して変更及びアノテーションのうちの少なくとも１つを行い、第２のデータセットを生成する、情報処理システム。
2. 請求項１に記載の情報処理システムにおいて、
   前記取得ステップでは、さらにＨＭＩデバイスからの応答を取得し、
   前記特定ステップでは、取得された前記ＨＭＩデバイスからの応答と、前記第１のデータセットと、前記相関とに基づき、前記疑似相関領域を特定する、情報処理システム。
3. 請求項１に記載の情報処理システムにおいて、
   さらに、受付ステップでは、ユーザによる、前記変更及び前記アノテーションのうちの少なくとも１つの指定を受け付ける、情報処理システム。
4. 請求項１に記載の情報処理システムにおいて、
   表示処理ステップでは、特定された前記疑似相関領域を、前記疑似相関領域以外の前記データ領域と異なる態様で表示させる、情報処理システム。
5. 請求項１に記載の情報処理システムにおいて、
   前記学習結果は、前記学習モデルによって分類される、前記第１のデータセットに含まれるデータが属するクラスに関するクラス情報を含み、
   さらに、類似度計算ステップでは、取得された前記クラス情報に基づき、前記クラス間の類似度を計算し、
   前記特定ステップでは、さらに、計算された前記類似度に基づき、前記相関を特定する、情報処理システム。
6. 請求項１に記載の情報処理システムにおいて、
   前記第１のデータセットが画像データを含む場合、
   前記生成ステップでは、前記疑似相関領域を含む前記画像データに対して画像処理を行うことにより、前記第２のデータセットを生成する、情報処理システム。
7. 請求項６に記載の情報処理システムにおいて、
   前記生成ステップでは、前記疑似相関領域に対する部分的な画像処理を行うことにより、前記第２のデータセットを生成する、情報処理システム。
8. 請求項１に記載の情報処理システムにおいて、
   さらに、学習ステップでは、前記第２のデータセットを用いて、前記学習モデルの学習を行う、情報処理システム。
9. 情報処理方法であって、
   請求項１～請求項８の何れか１つに記載の情報処理システムの各ステップを含む、方法。
10. 情報処理プログラムであって、
    少なくとも１つのコンピュータに、請求項１～請求項８の何れか１つに記載の情報処理システムの各ステップを実行させる、プログラム。