JP7336231B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、学習済みモデルに追加学習を行う情報処理装置、情報処理方法およびプログラムに関する。

機械学習の分野において、あるデータセットを学習済みのネットワークモデル（以下、学習済みモデル）に対して、別のデータセットを追加で学習させる追加学習を行うことがある。学習済みモデルに対して追加学習を行う際には、どのようなデータセットを追加学習させるかを決定するために、学習済みモデルがどのようなデータセットをどのように学習したかという情報が得られることが望ましい。特許文献１には、機械学習の結果として獲得された能力のそれぞれに対してどのような学習が行われたかを識別して管理する技術が記載されている。

また、学習済みモデルにデータを学習させる際に、当該モデルの汎化性能を向上させるために、データを水増しするデータ拡張を行うことがある。

特開２０１８－６３５５３号公報

特許文献１に記載の技術によれば、学習済みモデルに対する追加学習の際に、既に学習済みのデータセットの学習を禁止する。しかしながら、学習済みのデータセットを異なるデータ拡張方法で拡張したデータセットに対しても追加学習を禁止していた。そのため、当該モデルの汎化性能の向上に有用な、異なるデータ拡張方法で拡張されたデータセットも除外されてしまっていた。

本発明はかかる課題を解決するためになされたものであり、学習済みモデルに対する追加学習の際に、異なるデータ拡張方法で拡張されたデータセットに対し、追加学習を許可することで、当該モデルの汎化性能を向上させる技術を提供することを目的とする。

上記課題を解決するため、本発明の一態様による情報処理装置は、学習済みモデルの生成に用いた第一の学習画像データと、追加学習を行うための第二の学習画像データとを比較し、且つ、第一の学習画像データの拡張方法と第二の学習画像データの拡張方法とを比較する比較部と、
比較部による比較の結果、第一の学習画像データと第二の学習画像データが一致し且つ、前記第一の学習画像データのデータ拡張方法と、前記第二の学習画像データの拡張法が異なる場合において前記追加学習への前記第二の学習画像データの入力を許可する処理部と、を有する。

本発明によれば、学習済みモデルに対する追加学習の際に、既に学習済みのデータセットであっても、データ拡張方法が異なれば追加学習を許可することで、当該モデルの汎化性能を向上させることができる。

第１の実施形態に係る情報処理装置の構成を示す図。 第１の実施形態に係る情報処理装置の各部をソフトウェアにより実現することのできるコンピュータの基本構成を示す図。 第１の実施形態に係る情報処理装置の処理手順を示すフロー図。 第２の実施形態に係る情報処理装置の処理手順を示すフロー図。

以下、本発明の実施の形態について、図面を用いて説明する。同一の構成要素には原則として同一の符号を付して、説明を省略する。

また以下では、Ｘ線コンピュータ断層撮像（Ｘ線ＣＴ）装置で撮影された腹部ＣＴ画像中に描出されている肺がんを例に挙げて、本発明について説明する。なお、本発明は肺がん以外の病変でも、他臓器でも、臓器以外の骨や筋肉などの構造物においても有効である。さらに本発明は、磁気共鳴画像撮像装置（ＭＲＩ）装置、ポジトロン断層撮像（ＰＥＴ）装置、超音波撮像装置で撮像された画像や、カメラで撮影された通常の画像に対しても適用可能である。また、二次元画像データでも三次元画像データにも適用可能である。また、本発明の実施形態は以下の実施形態に限定されるものではない。

＜第１の実施形態＞
本実施形態における情報処理装置は、学習済みモデルの生成に用いたデータセット及び追加学習用のデータセットを比較した比較結果と、それぞれのデータ拡張方法を比較した比較結果とに基づいて、学習済みモデルに対する追加学習を許可するか禁止するかを判定する。なおデータセットは複数の画像から構成されている画像群である。

本実施形態では、胸部ＣＴ画像から肺がんを検出する場合について説明する。

図１を用いて本実施形態に係る情報処理装置の構成を説明する。図１は、情報処理装置全体の概略ブロック図である。本実施形態に係る情報処理装置は、追加学習用の学習画像データを入力する入力部２、学習済みモデルからデータセット名とデータ拡張方法を取得するデータ拡張方法取得部３を有する。さらに取得されたデータセット名とデータ拡張方法を比較する比較部４、比較部４により比較された比較結果に基づいて追加学習への入力を許可または禁止をする処理部５を有する。図１における入力画像データ１（第二の学習画像データ）、入力画像データ１（第二の学習画像データ）のデータセット名６、入力画像データ１（第二の学習画像データ）を追加学習する学習部１１を有する。また、入力画像データ１とデータセット名６を記憶する記憶部１２を有する。さらには、学習部１１中にデータ拡張方法７、追加学習する学習済みモデル８、学習済みモデルのデータセット名９であり、学習済みモデルのデータ拡張方法１０である。

以下、本実施形態に係る情報処理装置の各構成の詳細を説明する。

（入力部２）
入力部２は、追加学習用の学習画像データ（第二の学習画像データ）を入力する。学習画像データの入力方法としては、他の装置から送信された学習画像データを受信し、それをデータ拡張方法取得部３へ入力する。もしくは、操作者が不図示のＧＵＩを介して追加学習したい学習画像データを指定することで入力してもよい。なお入力部へ送信される学習画像データは、同一の情報処理装置から与えられてもよい。例えば、学習用データセットと学習済みモデルを有する情報処理装置が、追加学習用に取得した学習画像データ（第二の学習画像データ）をデータ拡張方法取得部３への入力とすることができる。

追加学習用の学習画像データ（第二の学習画像データ）とは、学習済みモデルに学習させた学習画像データに対応し、本実施形態では三次元の胸部ＣＴ画像データである。画像の対象は三次元に限られず、二次元画像でもよい。さらに対象は病変でなくとも、臓器でも、骨や筋肉、他の生物等問わない。例えば、動物の二次元画像データから画像に写っている動物のカテゴリを判定する学習済みモデルの場合には、追加学習用の画像データは動物の二次元画像となる。

（データ拡張方法取得部３）
データ拡張方法取得部３は、学習済みモデル８から学習済みモデルの第一の学習画像データに対応するデータセット名９と学習済みモデルのデータ拡張方法１０を取得し、記憶部１２から入力画像データ１と対応するデータセット名６を取得し、学習部データ拡張方法７を取得する。そして、取得したデータセット名６、データ拡張方法７、学習済みモデルのデータセット名９、および学習済みモデルのデータ拡張方法１０を、比較部４に送信する。

ここでデータ拡張方法とは、データを拡張して増やすための手段であり、例えば、拡大・縮小・回転・平行移動・反転・ＡＦＦＩＮＥ変形・自由変形・ノイズ付加・ｍｉｘｕｐ等がある。また、例えばデータ拡張方法が回転のみの場合には、「元画像から５４°左回転した状態」のような回転状態を特定できる情報と、「回転以外のその他のデータ拡張は行っていない」という情報も含まれている。

また、学習済みモデルに対して、これまで学習したデータセット名とデータセット名に対応付けられたデータ拡張方法がリスト形式で記憶されていることが望ましい。そして、追加学習のために入力するデータセットに対しても、データセット名とデータセット名に対応付けられたデータ拡張方法がリスト形式で記憶されていることが望ましい。記憶部１２はデータセット名とデータの拡張方法を対応付けて記憶していても、複数もしくは異なる記憶部を別途有していてもよい。

具体的には、ある二次元画像データセットのデータ拡張手法が拡大・縮小・回転・平行移動・反転の５種類であった場合には、例えば要素数が１１の配列を用意し、拡大の有無・拡大率・縮小の有無・縮小率・左回転の有無・回転度数・平行移動の有無・Ｘ方向平行移動量・Ｙ方向平行移動量・Ｘ軸反転の有無・Ｙ軸反転の有無の情報を、データセットの他に配列として保持しておく。

なお、記憶（保存）の形式はリスト形式に限らず、ブロックチェーンやプログラム、メモリ中のデータ等として、データセット名とデータ拡張方法が対応付けられて記憶（保存）されていれば、どのような形式でもよい。

本実施形態では、がん領域のデータセットに対して、拡大・縮小・回転・平行移動・ＸＹＺ軸反転・ＡＦＦＩＮＥ変形・自由変形・ノイズ付加・ｍｉｘｕｐ等のバリエーションが保持されているものとする。例えばＡＦＦＩＮＥ変形に関してはＡＦＦＩＮＥ変換行列がデータセットと対応付けられて記憶（保存）されていることが望ましく、自由変形に関しては変形場等がデータセットと対応付けられて記憶（保存）されていることが望ましい。また、データセット中の個別のデータのそれぞれにデータ拡張方法を保持してもよい。例えば医用画像の場合は、ＤＩＣＯＭ画像ファイルのＤＩＣＯＭヘッダにデータ拡張方法を保持してもよい。

（比較部４）
比較部４は、データ拡張方法取得部３で取得した、学習済みモデルの第一の学習画像データに対応するデータセット名９と入力画像データ１（第二の学習画像データ）のデータセット名６を比較し、一致していたらさらにデータ拡張方法も比較をする。そして比較した比較結果を処理部５へ送信する。また、データセットを構成する画像および画像の画素値のいずれかに基づいた比較をしてもよい。すなわち、比較部４は第一の学習画像データおよび第二の学習画像データが一致しているか異なるかを、データセット名、データセットを構成する画像および画像の画素値のうち少なくとも一つに基づいて比較をする。

比較部４では、データ拡張方法の配列を比較する以外に、データ拡張の結果として、画像データ間に一致があるか否かの演算を行ってもよい。例えば、学習済みモデルが、二次元画像からなるデータセットの各画像を１０°ずつ回転して学習していた場合で説明する。ここで、追加学習するデータセットとして、二次元画像からなる同一のデータセットを６°ずつ回転したものだとすると、３０°毎に学習済みのデータセットを入力することになるため、一致するデータセットの入力を禁止することが好ましい。

（処理部５）
処理部５では、比較部４で比較された結果を基に第二の学習画像データの追加学習への入力を許可または禁止をする。つまり、学習済みモデルの第一の学習画像データに対応するデータセット名９と入力画像データ１のデータセット名６が一致し、かつ、データ拡張方法も一致している場合は入力を禁止し、それ以外の場合は入力を許可する処理をする。すなわち、処理部５は第一の学習画像データと第二の学習画像データとが一致し且つ第一の学習画像データのデータ拡張方法と、第二の学習画像データのデータ拡張方法とが一致している場合には、追加学習への第二の学習画像データの入力を禁止する。一方で、第一の学習画像データと第二の学習画像データが異なるもしくは、第一の学習画像データのデータ拡張方法と第二の学習画像データのデータ拡張方法が異なる場合には、追加学習への入力を許可する。

ここで、入力部２、データ拡張方法取得部３、比較部４、処理部５で用いられている演算回路は、専用に設計されたワークステーションであってもよい。また、それら演算回路の各構成は異なるハードウェアによって構成されてもよい。また、演算回路の少なくとも一部の構成は単一のハードウェアで構成されてもよい。つまり、入力部２、データ拡張方法取得部３、比較部４、処理部５は、ＣＰＵやＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。

図２は、入力部２、データ拡張方法取得部３、比較部４、処理部５で用いられている演算回路の具体的な構成例を示す。入力部２、データ拡張方法取得部３、比較部４、処理部５で用いられている演算回路は、ＣＰＵ１０１、ＧＰＵ１０２、ＲＡＭ１０３、ＲＯＭ１０４、外部記憶装置１０５から構成され、これらがシステムバス１００で繋がっている。また、入力部２、データ拡張方法取得部３、比較部４、処理部５には、表示部（不図示）としての液晶ディスプレイ、入力手段（不図示）としてのマウス、キーボードが接続されていてもよい。

また、これらの入力部２、データ拡張方法取得部３、比較部４、処理部５は、オンプレミスなシステムとして存在していてもよいし、サーバなどのネットワークやクラウド上でプログラムとして存在して処理を実行してもよい。

なお、情報処理装置の各構成はそれぞれ別の装置として構成されてもよいし、一体となった１つの装置として構成されてもよい。また、情報処理装置の少なくとも一部の構成が一体となった１つの装置として構成されてもよい。

（判定フロー）
次に、図３のフローチャートを用いて、本実施形態における情報処理装置が行う全体の処理を説明する。図３は、本実施形態における情報処理装置が行う処理の一例を示すフローチャートである。本実施形態では、ＣＰＵ１０１がＲＡＭ１０３に格納されている各部の機能を実現するプログラムを実行することにより図３に示す処理が実行される。

ステップＳ３１において、入力部２は、操作者によって指定された学習画像データ（第二の学習画像データ）とデータ拡張方法を入力する。ステップＳ３２において、データ拡張方法取得部３は、第二の学習画像データに対応するデータセット名６、データ拡張方法７、学習済みモデルの第一の学習画像データに対応するデータセット名９、およびデータ拡張方法１０を取得する。ステップＳ３３において、比較部４は、学習済みモデル（第一の学習画像データ）と入力画像データ（第二の学習画像データ）のデータセット名が一致するか否かを判定し、一致しない場合にはステップＳ３５に処理を進め、一致する場合にはステップＳ３４に処理を進める。ステップＳ３４において、比較部４は、データ拡張方法が一致するか否かを判定し、一致しない場合にはステップＳ３５に処理を進め、一致する場合にはステップＳ３６に処理を進める。ステップＳ３５において、処理部５は、追加学習用の画像データ（第二の学習画像データ）の入力を許可する。一方、ステップＳ３６において、処理部５は、追加学習用の画像データ（第二の学習画像データ）の入力を禁止する。以下の表１はステップＳ３４のデータ拡張方法の比較を模式的に示した表である。

表１は、入力画像のデータセット名が一致した場合のステップＳ３４の処理を示している。まず、データ拡張方法Ａ、データ拡張方法Ｂ、データ拡張方法Ｃは、学習済みモデルのデータ拡張方法１０であり、それぞれのデータ拡張方法に対応する。データ拡張方法は、拡大・縮小・回転・平行移動・ＸＹＺ軸反転・ＡＦＦＩＮＥ変形・自由変形・ノイズ付加・ｍｉｘｕｐ等のバリエーションが挙げられる。比較部４によりデータセット１を学習済みモデルのデータ拡張方法と比較すると、データ拡張方法Ａ、Ｂ、Ｃのそれぞれについてデータ拡張方法が一致する。データ拡張方法が一致する場合には、比較部４はデータセット１を追加学習への学習画像データとしての入力を禁止する。次に比較部４はデータセット２について比較を行う。データセット２と、学習済みモデルのデータ拡張方法は、データ拡張方法Ａにおいて一致し、データ拡張方法ＢとＣにおいて一致しない。データ拡張方法が一致しない場合に、比較部４はデータセット２を追加学習への学習画像データとしての入力を許可する。データセット３は、データ拡張方法Ｂにおいて一致し、データ拡張方法ＡとＣにおいて一致しない。ゆえに、比較部４は、データセット３の追加学習への学習画像データとしての入力を許可する。データセット４は、データ拡張方法Ａ、Ｂ、Ｃのそれぞれにおいてデータ拡張方法が一致しない。ゆえに比較部４はデータセット４を追加学習への学習画像データとしての入力を許可する。なお複数のデータ拡張方法をデータセットに対して実施する場合には、データ拡張方法の実施の順序を記憶していてもよい。また、記憶したデータ拡張方法の順序が一致している場合に、データセットを追加学習への学習画像データとしての入力を禁止する構成でもよい。

本実施形態に係る情報処理装置によれば、学習済みモデルの生成に用いた第一の学習画像データと、追加学習を行うための第二の学習画像データとを比較し、且つ、第一の学習画像データの拡張方法と第二の学習画像データの拡張方法とを比較する比較部を有する。そして比較部４による比較の結果、第一の学習画像データと第二の学習画像データが一致している場合で且つ、第一の学習画像データのデータ拡張方法と、第二の学習画像データの拡張法が異なる場合において追加学習への第二の学習画像データの入力を許可する。

これにより、学習済みモデルに対する追加学習の際に、既に学習済みのデータセット（第二の学習画像データ）であっても、データ拡張方法が異なれば利用されるようになり、当該モデルの汎化性能を向上させることができる。

（第１の実施形態の変形例１）
上述した実施形態では、胸部ＣＴ画像から肺がんを検出する学習済みモデルについて説明したが、学習するデータセットは三次元画像データに限らず、一次元時系列の信号であったり、二次元画像データであったり、四次元以上のテンソルであったり、どのような形式でもよい。

（第１の実施形態の変形例２）
上述した実施形態では、肺がんを検出する学習済みモデルに限定して説明したが、肺がんに限らず、その他のがんやその他の疾患でもよい。

（第１の実施形態の変形例３）
上述した実施形態では、画像データとして医用画像を用いる場合について説明したが、医用画像に限らず、文字画像や自然画像でもよい。

（第１の実施形態の変形例４）
上述した実施形態では、データ拡張方法として回転の場合を説明したが、回転以外のデータ拡張方法でもよい。また、複数のデータ拡張方法を組み合わせて用いてもよい。複数のデータ拡張方法が組み合わされている場合は、すべてのデータ拡張方法でデータセットおよびデータ拡張方法が一致している場合のみ、入力を禁止することが望ましい。また、複数のデータ拡張方法を組み合わせた場合においては、適用されるデータ拡張方法によっては、データ拡張を行う順序によって生成される画像データが異なる。ゆえに、複数のデータ拡張方法をどのような順序で適用したかが別途保持されていてもよい。ただし、操作者の設定に応じて全てのデータ拡張方法で一致する場合以外においても、入力を禁止してもよい。

（第１の実施形態の変形例５）
上述した実施形態では、入力画像データ１のデータ拡張方法７を、学習部１１から取得したが、入力画像データ１にデータセット名６と共にデータ拡張方法７が記憶（保存）されていてもよい。

（第１の実施形態の変形例６）
上述した実施形態では、同一のデータセットには同一のデータセット名が付与されている条件で記載されていたが、同一のデータセットに対して同一のデータセット名が付与されていない場合がある。

同一のデータセットに対して同一のデータセット名が付与されていない場合には、まず比較部４がデータセット名と、データ拡張方法が付与されているかを判定してもよい。比較部４の判定の結果、データセット名が付与されていないと判定された場合、もしくは、取得されたデータセット名が適切でない場合、処理部５は同一の学習画像データに対して、同一のデータセット名を生成していてもよい。なお、比較部４による判定や、処理部５によるデータセット名生成は、それぞれ判定部や、データセット名生成部として独立して存在していてもよい。

データセット名は、データセットを構成する画像名や、画素値を基にして作成されてもよい。もしくは画素値に対応する文字もしくは文字列に置換をしてデータセット名としてもよい。すなわち、処理部５は学習画像データを構成する画像の画素値もしくは、画素値に関連する文字列をデータセット名として生成する。また処理部５は、ハッシュ値等を計算することにより、学習画像データを構成する画像の画素値もしくは、画素値に関連するデータセット名を生成してもよい。同一の画像から構成される学習画像データにも関わらず異なるデータセット名が与えられた場合に、データ拡張方法取得部３は、処理部５により生成されたデータセット名をデータセット名とする。そして生成されたデータセット名を比較部４が比較することで、追加学習を禁止できる。なお、比較部４で比較をするデータセット名の代わりとして直接データセットを構成する画像が比較されても、それぞれの画像の画素値が比較されてもよい。

（第１の実施形態の変形例７）
上述した実施形態には、追加学習画像データとして入力をする第二の学習画像データに対応するデータセット名６とデータの拡張方法７、学習済みモデルのデータセット名９および学習済みモデルのデータ拡張方法１０がすべて存在する場合について記載した。しかしながら追加学習をする場合の入力画像データにおいて、第二の学習画像データに対応するデータセット名６やデータ拡張方法７が欠損もしくは、適切に付与されていない場合がある。例えば本変形例７では、データ拡張方法取得部３が取得した入力画像データにおいてデータセット名６が適切に付与されていない場合と、データ拡張方法７が適切に付与されていない場合が挙げられる。さらにデータセット名６およびデータ拡張方法７の両者が適切に付与されていない場合も考えられる。以下ではそれぞれの場合に対応する方策を記載する。ここで比較部４により第二の学習画像データにおける、データセット名およびデータ拡張方法が付与されているかを判定してもよいし、判定をするための判定部が別途（不図示）設けられていてもよい。

まずは、比較部４によりデータセット名６が適切に付与されていないと判定された場合である。比較部４によってデータセットが適切に付与されていないと判定された場合においては、前述の変形例６に記載の処理部５によるデータセット名生成により、データセットを生成し付与してもよい。即ち、比較部４によって、第二の学習画像データにおけるデータセット名が付与されていないと判定された場合、処理部５により生成されたデータセット名を第二の学習画像データにおけるデータセット名とする。もしくは比較部４が学習済みのデータセット（第一の学習画像データ）と、入力画像データ（第二の画像データ）の画像または画像の画素値を比較し、画像データが一致していた場合に、一致していた学習済みのデータセットに付与されている名称をデータセット名として付与、もしくは更新する。即ち、比較部４によって、第二の学習画像データにおけるデータセット名が付与されていないと判定された場合、第一の学習画像データと画像もしくは、画像を構成する画素が一致するかを比較する。そして一致していた場合に一致した第一の学習画像データに対応するデータセット名を付与する。なお、学習画像データが完全に一致していなくとも、比較部４による比較の結果、類似度が一定以上（以降略一致と記載）の画像データに同一のデータセット名を付与し、追加学習を禁止する構成にしてもよい。

次に、比較部４によりデータ拡張方法７が適切に付与されていないと判定された場合である。比較部４により、データ拡張方法が適切に付与されていないと判定された場合においては、上述と同様に、学習済みのデータセットと入力画像データの画像または画像の画素を比較し、一致もしくは略一致していた場合に学習済みのデータセットに付与されているデータ拡張方法を付与してもよい。つまり、比較部４によって、第二の学習画像データにおけるデータ拡張方法が付与されていないと判定された場合、第一の学習画像データと画像もしくは、画像を構成する画素が一致するかを比較し、一致していた場合に一致した第一の画像データに対応するデータ拡張方法を付与する。比較部４による比較の結果、学習済みのデータセットと入力画像データのデータセットが一致もしくは、略一致しなかった場合には処理部５にて別途処理を行う。まず処理部５は入力画像データのデータセットにデータ拡張を適用し、比較部４はデータ拡張した画像データが、学習済みのデータセットに対し再度一致するかを比較する。つまり、比較部４によって、第二の学習画像データにおけるデータ拡張方法が付与されていないと判定された場合で且つ、第一の学習画像データと画像もしくは、画像を構成する画素が一致していない場合において、第二の学習画像データに対してデータ拡張をし、再度第一の学習画像データと比較する。比較部４による比較の結果一致していると判定された場合には、処理部５は第二の学習画像データを第一の学習画像データに一致させるために入力画像データを拡張したデータ拡張方法を逆算する形で、入力画像データにデータ拡張方法を付与させる。

最後に、追加学習に入力する入力画像データは存在するが、データセット名６もデータ拡張方法も不明である場合である。データセット名およびデータ拡張方法が不明である場合においては、上述のデータセット名６が適切に付与されていない場合の方策と、データ拡張方法７が適切に付与されていない場合の方策を組み合わせることにより解決される。すなわち、処理部５により入力画像データからデータセット名を作成し、それをクエリとして検索して、データセット名を得る。もしくは、比較部４が入力画像データのデータセットである第二の学習画像データと、学習済みのデータセットである第一の学習画像データを比較し、一致もしくは、略一致した場合に、学習済みのデータセットから、データセット名を取得する。

そして、データ拡張方法は比較部４が同様に入力画像データのデータセットと、学習済みデータセットを比較し、一致もしくは略一致した場合にデータ拡張方法を取得する。もしくは、入力画像データにデータ拡張方法を施し、学習済みデータセットと一致した場合には、一致するまでに行ったデータ拡張方法を逆算する形で、データ拡張方法を取得する。

これらの構成により、入力画像データにデータセット名６やデータ拡張方法７のいずれかが適切に付与されていない場合においても、それらを特定することができ、後段の処理と組み合わせることで学習済みモデルへの汎化性能を担保できる。なお本変形例を含む変形例は、後述の第二の実施形態においても適用され、また、適用の対象は実施形態のみに限られない。

＜第２の実施形態＞
第２の実施形態では、胸部ＣＴ画像から肺がんを検出する学習済みモデルに追加学習する際に、学習済みモデルからそれぞれの学習画像データに対応するデータ拡張方法を取得して比較し、データ拡張方法が同じ場合には、異なるデータ拡張方法を提示する。

以下、本実施形態に係る情報処理装置の各構成の詳細に関して、第１の実施形態と異なる部分を説明する。

（比較部４）
比較部４は、データ拡張方法取得部３で取得した、学習済みモデルで学習したデータセット名９と入力画像データのデータセット名６とを比較し、一致していたらデータ拡張方法でも比較を行う。そして比較結果を処理部５へ送信する。

（処理部５）
処理部５は、比較部４により比較された比較結果に基づいて、入力画像データ１の入力を許可するか禁止するかを判定する。学習済みモデルのデータセット名と入力画像データ１のデータセット名が一致し、かつ、データ拡張方法も一致している場合は入力を禁止して異なるデータ拡張方法を提示し、それ以外の場合は入力を許可する。

異なるデータ拡張方法の提示の方法としては、比較部４によって異なるデータ拡張方法を自動で算出して選択する。即ち、第一の学習画像データと第二の学習画像データとが一致し且つ第一の学習画像データのデータ拡張方法と、第二の学習画像データのデータ拡張方法とが一致している場合には、追加学習のため、第二の学習画像データのデータ拡張方法として、第一の学習画像データのデータ拡張方法とは異なるデータ拡張方法を算出する。さらに処理部５により選択されたデータ拡張方法を実施し、作成された入力画像データを用いて、学習済みモデル８の追加学習を行ってもよい。一方で、ＧＵＩ（非図示）等を有し、操作者に一致したデータ拡張方法と、それとは異なるデータ拡張方法を提示する。そして操作者に掲示されたデータ拡張方法の中から、選択させてもよい。

処理部５における異なるデータ拡張方法の算出方法としては、予め複数あるデータ拡張方法（回転・平行移動・反転等）の取りうる範囲を設定しておき、一致したデータ拡張方法の条件との差異が大きくなるようにデータ拡張方法の条件になるように算出するのが望ましいが、ランダムで算出してもよい。つまり、回転を例に説明すると、回転角で取りうる範囲として０～３６０°を設定した場合、学習済みモデルのデータ拡張方法の回転角が０°、９０°、１８０°、２７０°の４パターンだとする。当該パターンに対しては、前記４パターンを除いて最も遠い角度になるように、４５°、１３５°、２２５°、３１５°を選択してもよい。また、ここで算出した値を、ＧＵＩ（非図示）等で操作者に提示し、選択を促してもよい。

そして、算出されたデータ拡張方法を第二の学習画像データに実施し、作成された学習画像データを用いて、追加学習を行う。なおデータ拡張方法の算出により、算出された結果を提示してもよい。

（判定フロー）
次に、図４のフローチャートを用いて、本実施形態における情報処理装置が行う全体の処理を説明する。

ステップＳ４１およびステップＳ４２の処理は、第１の実施形態におけるステップＳ３１およびステップＳ３２の処理と同様なので、説明を省略する。ステップＳ４３において、比較部４は、学習済みモデルと入力画像データのデータセット名が一致するか否かを判定し、一致しない場合にはステップＳ４７に処理を進め、一致する場合にはステップＳ４４に処理を進める。ステップＳ４４において、比較部４は、データ拡張方法が一致するか否かを判定し、一致しない場合にはステップＳ４７に処理を進め、一致する場合にはステップＳ４５に処理を進める。ステップＳ４５において、処理部５は、異なるデータ拡張方法を提示する。ステップＳ４６において、処理部５は、操作者によって指定されたデータ拡張方法を取得して、ステップＳ４７に処理を進める。ステップＳ４７において、処理部５は、追加学習用の画像データの入力を許可する。

本実施形態に係る情報処理装置によれば、学習済みモデルと入力画像データに関し、データセットとデータ拡張方法が一致する場合に、学習済みモデルの追加学習において、一度学習したデータセットと異なるデータ拡張方法を提示することができる。

これにより、学習済みモデルに対する追加学習の際に、既に学習済みのデータセットであっても、データ拡張方法が異なれば追加学習を許可することで、当該モデルの汎化性能を向上させることができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (16)

1. 学習済みモデルの生成に用いた第一の学習画像データと、追加学習を行うための第二の学習画像データとを比較し、且つ、前記第一の学習画像データのデータ拡張方法と前記第二の学習画像データのデータ拡張方法とを比較する比較部と、
   前記比較部による比較の結果、前記第一の学習画像データと前記第二の学習画像データが一致し且つ、前記第一の学習画像データのデータ拡張方法と、前記第二の学習画像データのデータ拡張方法が異なる場合において前記追加学習への前記第二の学習画像データの入力を許可する処理部と、
   を有する情報処理装置。
2. 前記処理部は、前記第一の学習画像データと前記第二の学習画像データとが一致し且つ、前記第一の学習画像データのデータ拡張方法と、前記第二の学習画像データのデータ拡張方法とが一致している場合には、前記追加学習への前記第二の学習画像データの入力を禁止することを特徴とする請求項１に記載の情報処理装置。
3. 前記処理部は、前記第一の学習画像データと前記第二の学習画像データとが一致し且つ、前記第一の学習画像データのデータ拡張方法と、前記第二の学習画像データのデータ拡張方法とが一致している場合には、前記追加学習のため、前記第二の学習画像データのデータ拡張方法として、前記第一の学習画像データのデータ拡張方法とは異なるデータ拡張方法を適用することを特徴とする請求項１に記載の情報処理装置。
4. 前記比較部は、前記第一の学習画像データおよび前記第二の学習画像データが一致しているか異なるかを、データセット名、データセットを構成する画像データおよび前記画像データの画素値のうち少なくとも一つに基づいて比較することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
5. 前記比較部は、前記第二の学習画像データに対応する、データセット名およびデータ拡張方法の有無を判定することを特徴とする請求項４に記載の情報処理装置。
6. 前記処理部は、同一画像データを有するデータセットに対して、同一のデータセット名を生成することを特徴とする請求項１に記載の情報処理装置。
7. 前記処理部により生成される前記データセット名は、前記データセットを構成する画像データの画素値もしくは、画素値に関連する文字列に基づくことを特徴とする請求項６に記載の情報処理装置。
8. 前記比較部によって、前記第二の学習画像データにおけるデータセット名が付与されていないと判定された場合、前記処理部により生成された前記データセット名を前記第二の学習画像データにおけるデータセット名とすることを特徴とする請求項６または７に記載の情報処理装置。
9. 前記比較部によって、前記第二の学習画像データにおけるデータセット名が付与されていないと判定された場合に、前記比較部はさらに前記第一の学習画像データと画像もしくは、画像を構成する画素が一致するかを比較し、一致していた場合に一致した前記第一の学習画像データに対応するデータセット名を、前記第二の学習画像データに対して付与することを特徴とする請求項５に記載の情報処理装置。
10. 前記比較部によって、前記第二の学習画像データにおけるデータ拡張方法が付与されていないと判定された場合に、前記比較部はさらに前記第一の学習画像データと画像もしくは、画像を構成する画素が一致するかを比較し、一致していた場合に一致した前記第一の学習画像データに対応するデータ拡張方法を、前記第二の学習画像データに対して付与することを特徴とする請求項５に記載の情報処理装置。
11. 前記比較部によって、前記第二の学習画像データにおけるデータ拡張方法が付与されていないと判定された場合で且つ、前記第一の学習画像データと画像もしくは、画像を構成する画素が一致していない場合において、前記第二の学習画像データに対してデータ拡張方法を適用し、再度前記第一の学習画像データと比較することを特徴とする請求項５に記載の情報処理装置。
12. 前記処理部は、前記異なるデータ拡張方法として、前記一致したデータ拡張方法の条件との差異が大きくなるデータ拡張方法を適用することを特徴とする請求項３に記載の情報処理装置。
13. 前記データ拡張方法を前記第二の学習画像データに対して適用した結果を提示することを特徴とする請求項３または１２に記載の情報処理装置。
14. 前記処理部は、前記データ拡張方法によるデータ拡張を前記第二の学習画像データに適用することにより作成された学習画像データを用いて、追加学習を行うことを特徴とする請求項３または１２に記載の情報処理装置。
15. 学習済みモデルの生成に用いた第一の学習画像データと、追加学習を行うための第二の学習画像データとを比較し、且つ、前記第一の学習画像データのデータ拡張方法と前記第二の学習画像データのデータ拡張方法とを比較する比較ステップと、
    前記比較の結果、前記第一の学習画像データと前記第二の学習画像データが一致し且つ、前記第一の学習画像データのデータ拡張方法と、前記第二の学習画像データのデータ拡張方法が異なる場合において前記追加学習への前記第二の学習画像データの入力を許可する処理ステップと、
    を有する情報処理方法。
16. 請求項１５に記載の情報処理方法をコンピュータに実行させるためのプログラム。

Images