JP7148657B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来から、画像に記録される物体を検出する技術が存在する。例えば、特許文献１に記載された技術は、ニューラルネットワークを利用することにより、画像に記録される物体を検出する。

特開２０１６－１５７２１９号公報

従来のニューラルネットワークを利用した物体の検出技術では、画像から得られる特徴量が大きい場所に特定の物体が存在することが推定される。この検出技術は、特定の物体が存在する場所を可視化することを主眼にしている。しかしながら、従来は、特定の物体を特定（分類）する場合に、なぜその物体に分類されるのかの判断のポイントが可視化されていない。

本発明は、画像に記録される物体を分類して当該物体の位置を提示する情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

一態様の情報処理装置は、第１画像に基づく第１画像情報を取得する取得部と、取得部によって取得する第１画像情報に基づく第１画像をその第１画像のサイズよりも小さいマスクによって隠した第２画像と、取得部によって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出部と、算出部によって算出される分類に応じた差分に基づいて、その差分が生じる位置が示される第３画像を生成する生成部と、を備える。

一態様の情報処理装置では、算出部は、複数の異なるマスクそれぞれによって第１画像を隠すことにより得られる複数の第２画像それぞれと、第１画像とに基づいて、第２画像それぞれに応じた差分を算出することとしてもよい。

一態様の情報処理装置では、算出部は、第１サイズを有する複数の第１マスクそれぞれによって第１画像の異なる位置を隠すことにより得られる複数の第２画像と、第１画像とに基づいて、第２画像それぞれに応じた差分を算出すると共に、第１サイズとは異なる第２サイズを有する複数の第２マスクそれぞれによって第１画像の異なる位置を隠すことにより得られる複数の第２画像と、第１画像とに基づいて、第２画像それぞれに応じた差分を算出し、生成部は、第１マスクに応じた複数の第２画像それぞれに基づく分類に応じた差分に関する第３画像と、第２マスクに応じた複数の第２画像それぞれに基づく分類に応じた差分に関する第３画像とを合成した画像を生成することとしてもよい。

一態様の情報処理装置では、算出部は、合計数が奇数となる複数の第１マスクと、合計数が奇数となる複数の第２マスクとに基づいて、差分を算出することとしてもよい。

一態様の情報処理装置では、算出部は、対象を予め学習することにより生成される学習モデルを有するニューラルネットワークに第１画像を入力して、対象の分類毎に出力される第１値と、ニューラルネットワークに第２画像を入力して、対象の分類毎に出力される第２値と、の差分を算出することとしてもよい。

一態様の情報処理装置では、算出部は、対象として複数の眼底疾患が記録される画像を学習した学習モデルに基づいて、対象の分類として眼底疾患の種類に応じた第１値及び第２値を出力することとしてもよい。

一態様の情報処理装置では、生成部は、算出部によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち一方を示す場合、マスクで隠される第１画像に記録される対象が正の寄与と推定し、算出部によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち他方を示す場合、マスクで隠される第１画像に記録される対象が負の寄与と推定することとしてもよい。

一態様の情報処理装置では、生成部は、算出部によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち一方を示す場合、その差分が生じる位置を第３画像に示すときの態様を第１態様で示し、算出部によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち他方を示す場合、その差分が生じる位置を第３画像に示すときの態様を第１態様とは異なる第２態様で示すこととしてもよい。

一態様の情報処理装置では、生成部は、算出部によって算出される差分を表す数値が相対的に大きい場合、マスクで隠される第１画像に記録される対象が、算出部で算出される差分の分類に対応する可能性が相対的に高いと推定し、算出部によって算出される差分を表す数値が相対的に小さい場合、マスクで隠される第１画像に記録される対象が、算出部で算出される差分の分類に対応する可能性が相対的に低いと推定することとしてもよい。

一態様の情報処理装置では、生成部は、算出部によって算出される差分を表す数値が相対的に大きい場合、その差分が生じる位置を第３画像に示すときの態様を第３態様で示し、算出部によって算出される差分を表す数値が相対的に小さい場合、その差分が生じる位置を第３画像に示すときの態様を第３態様とは異なる第４態様で示すこととしてもよい。

一態様の情報処理方法では、コンピュータが、第１画像に基づく第１画像情報を取得する取得ステップと、取得ステップによって取得する第１画像情報に基づく第１画像をその第１画像のサイズよりも小さいマスクによって隠した第２画像と、取得ステップによって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出ステップと、算出ステップによって算出される分類に応じた差分に基づいて、その差分が生じる位置が示される第３画像を生成する生成ステップと、を実行する。

一態様の情報処理プログラムは、コンピュータに、第１画像に基づく第１画像情報を取得する取得機能と、取得機能によって取得する第１画像情報に基づく第１画像をその第１画像のサイズよりも小さいマスクによって隠した第２画像と、取得機能によって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出機能と、算出機能によって算出される分類に応じた差分に基づいて、その差分が生じる位置が示される第３画像を生成する生成機能と、を実現させる。

一態様の情報処理装置は、第１画像（第１画像情報）を取得し、第１画像をその第１画像のサイズよりも小さいマスクによって隠した第２画像と、第１画像とに基づいて対象の分類に応じた第１画像と第２画像との差分を算出し、その差分が生じる位置が示される第３画像を生成するので、画像に記録される物体を分類してその物体の位置を提示することができる。
一態様の情報処理方法及び情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏することができる。

一実施形態に係る情報処理システムについて説明するための図である。 一実施形態に係る情報処理装置について説明するためのブロック図である。 第１画像の一例について説明するための図である。 マスクの一例について説明するための図である。 ニューラルネットワークの概略構成について説明するための図である。 算出部によって差分を算出する場合の一例について説明するための図である。 サイズの異なる複数のマスクの一例について説明するための図である。 第３画像の一例について説明するための図である。 一実施形態に係る情報処理方法について説明するためのフローチャートである。 生成部によって生成される第３画像の一実施例について説明するための図である。 生成部によって生成される像の一実施例について説明するための図である。

以下、本発明の一実施形態について説明する
本明細書では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。

本発明の一実施形態では、画像診断を行う機械学習モデルを解析し視覚化する手法、すなわち、その視覚化を行う情報処理システム１について説明する。

まず、一実施形態に係る情報処理システム１の概略について説明する。
図１は、一実施形態に係る情報処理システム１について説明するための図である。

情報処理システム１は、サーバ１０、外部端末２０及び情報処理装置３０について説明する。

サーバ１０は、情報処理装置３０で利用される第１画像（第１画像情報）を蓄積すると共に、情報処理装置３０に第１画像（第１画像情報）を送信する。第１画像は、例えば、病院及び歯科病院等において撮像される患者に関する画像であってもよい。具体的な一例として、第１画像は、光干渉断層計（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）で撮像される画像、レントゲン画像、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像、及び、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）画像等を始めとする種々の画像であってもよい。なお、第１画像は、上述した一例に限定されることはなく、例えば、気象衛星等で撮像される気象に関する画像（気象画像）、及び、動物及び昆虫等を始めとする生物を撮像した画像（生物画像）を始めとする、画像に記録される対象を分類してそれの位置を特定するために利用される種々の画像であってもよい。

外部端末２０は、例えば、情報処理装置３０及びサーバ１０の外部に配される端末である。外部端末２０は、例えば、病院及び歯科病院等を始めとする種々の施設に配される。外部端末２０は、例えば、デスクトップ、ラップトップ、タブレット及びスマートフォン等であってもよい。外部端末２０は、第１画像をサーバ１０に送信する。また、外部端末２０は、情報処理装置３０において第１画像に記録される対象が分類された結果と、その対象の第１画像上の位置とを特定された結果とを受信して出力する。例えば、外部端末２０は、出力の一態様として、情報処理装置３０における対象の分類結果とそれの位置を特定して結果とを端末表示部２１に表示する。

情報処理装置３０は、例えば、コンピュータ（一例として、サーバ、デスクトップ及びラップトップ等）であってもよい。情報処理装置３０は、例えば、サーバ１０から第１画像を取得する。また、情報処理装置３０は、例えば、外部端末２０から第１画像を取得してもよい。情報処理装置３０は、例えば、機械学習等を利用して、第１画像に記録される対象を分類すると共に、その対象の第１画像上での位置を特定する。この場合、情報処理装置３０は、第１画像の一部をマスクで覆い、マスクで覆われた第１画像上の部分が、マスクで覆っていない第１画像（元画像）と比較して、対象を分類する際に影響を与えるかを推定する。情報処理装置３０は、第１画像のマスクで覆われた部分が対象の特定の分類に影響を与える場合、第１画像の特定の分類に寄与する箇所がマスクで覆われた部分にあると特定する。具体的な一例として、第１画像のマスクで覆われた部分に特定の症状がある場合、元画像と比較して差が生じるため、マスクで覆われた部分には特定の症状を示す対象があると推定し、そのマスクの部分の位置を特定する。情報処理装置３０は、例えば、対象の分類結果とその対象の位置を特定した結果とを記録する画像（例えば、後述する第３画像）を生成してもよい。情報処理装置３０は、分類結果と位置の特定結果（第３画像）を、サーバ１０及び外部端末２０のうち少なくとも一方に送信する。

なお、情報処理装置３０は、画像に記録される症状を分類して、その症状の位置を特定する例に限定されることない。情報処理装置３０は、気象画像に記録される雲を分類して、その分類した雲の位置を特定してもよく、生物画像に記録される生物を分類して、その分類に利用した対象（特徴）の位置を特定してもよい。また、情報処理装置３０は、前述した一例に限定されず、画像に記録される対象を分類して、その分類した対象の位置を特定する種々のものに利用することができる。

次に、一実施形態に係る情報処理装置３０について詳細に説明する。
図２は、一実施形態に係る情報処理装置３０について説明するためのブロック図である。

情報処理装置３０は、通信部３５、記憶部３６、表示部３７、取得部３２、算出部３３及び生成部３４を備える。取得部３２、算出部３３及び生成部３４は、情報処理装置３０の制御部３１（例えば、演算処理装置等）の一機能として実現されてもよい。

通信部３５は、例えば、サーバ１０及び外部端末２０等と通信を行う。すなわち、通信部３５は、例えば、サーバ１０及び外部端末２０それぞれとの間で情報の送受信を行う。通信部３５は、例えば、情報処理装置３０の外部（例えば、サーバ１０及び外部端末２０等）から第１画像情報を受信する。通信部３５は、例えば、後述する処理により得られる情報、すなわち、第１画像に記録される対象の分類結果及びその対象の位置を特定した結果（第３画像）に関する情報を外部（例えば、サーバ１０及び外部端末２０等）に送信する。

記憶部３６は、例えば、種々の情報及びプログラム等を記憶する。記憶部３６は、例えば、後述する処理により得られる情報、すなわち、第１画像に記録される対象の分類結果及びその対象の位置を特定した結果（第３画像）に関する情報を記憶する。

表示部３７は、例えば、種々の文字、記号及び画像等を表示する。表示部３７は、例えば、後述する処理により得られる情報、すなわち、第１画像に記録される対象の分類結果及びその対象の位置を特定した結果（第３画像）を表示する。

取得部３２は、第１画像に基づく第１画像情報を取得する。すなわち、取得部３２は、通信部３５を介して、サーバ１０及び外部端末２０のうち少なくとも一方から第１画像情報を取得する。第１画像は、上述したように、例えば、病院及び歯科病院等において撮像される患者に関する画像であってもよく、又は、画像に記録される対象を分類してそれの位置を特定するために利用される種々の画像であってもよい。

図３は、第１画像の一例について説明するための図である。
図３に一例を示すように、第１画像には、特定の症状を示す対象１００が記録される。一例として、第１画像は、眼底疾患の存在が推定されるＯＣＴ画像であってもよく、これ以外に、上述したような種々の画像であってもよい。

図４は、マスクの一例について説明するための図である。
算出部３３は、取得部３２によって取得する第１画像情報に基づく第１画像をその第１画像のサイズよりも小さいマスクによって隠した第２画像と、取得部３２によって取得する第１画像とに基づいて、対象の分類に応じた第１画像（後述する第１値）と第２画像（後述する第２値）との差分を算出する。
まず、算出部３３は、第１画像の一部を覆うマスクによって、その第１画像を覆う。
算出部３３は、例えば、第１画像の縦及び横を三分割（３×３に分割）し、分割後のそれぞれの部分をマスクで覆い、第２画像を生成する。この場合、算出部３３は、例えば、第１画像を複製して９枚の第１画像１Ａ～１Ｉを生成する。生成部３４は、例えば、第１画像１Ａについては３×３で分割した左上部分をマスク２Ａで覆い第２画像Ａを生成し（図４（Ａ）参照）、第１画像１Ｂについては３×３で分割した中上部分をマスク２Ｂで覆い第２画像Ｂを生成し（図４（Ｂ）参照）、第１画像１Ｃについては３×３で分割した右上部分をマスク２Ｃで覆い第２画像Ｃを生成する（図４（Ｃ）参照）。生成部３４は、第１画像１Ｄ～１Ｉについても上述したようにマスク２Ｄ～２Ｉで覆い、それぞれで第２画像Ｄ～Ｉを生成する。
又は、算出部３３は、例えば、１枚の第１画像を上述したマスク２Ａ～２Ｉで順次覆いうことに基づいて、第２画像Ａ～Ｉを生成してもよい。

算出部３３は、複数の異なるマスクそれぞれによって第１画像を隠すことにより得られる複数の第２画像それぞれと、第１画像とに基づいて、第２画像それぞれに応じた差分を算出することとしてもよい。すなわち、算出部３３は、上述したような第２画像Ａ～Ｉと、マスクで隠す前の第１画像（元画像）とに基づいて、第１画像と第２画像Ａ～Ｉそれぞれとの差分を算出する。

この場合、算出部３３は、対象を予め学習することにより生成される学習モデルを有するニューラルネットワークに第１画像を入力して、対象の分類毎に出力される第１値を算出してもよい。また、算出部３３は、上述したニューラルネットワークに第２画像を入力して、対象の分類毎に出力される第２値を算出してもよい。さらに、算出部３３は、第１値と第２値との差分を算出することとしてもよい。

算出部３３は、例えば、対象の分類を行うために、種々の画像（例えば、分類の対象が記録された画像等）を学習して学習モデルを取得する。一例として、算出部３３は、対象として複数の眼底疾患が記録される画像を学習した学習モデルに基づいて、対象の分類として眼底疾患の種類（症状）に応じた第１値及び第２値を出力することとしてもよい。又は、一例として、算出部３３は、対象として複数の種々の疾患が記録される画像を学習した学習モデルに基づいて、対象の分類として種々の疾患の種類（症状）に応じた第１値及び第２値を出力することとしてもよい。又は、一例として、算出部３３は、対象として複数の雲が記録される画像を学習した学習モデルに基づいて、対象の分類として雲の種類に応じた第１値及び第２値を出力することとしてもよい。又は、一例として、算出部３３は、対象として複数の生物が記録される画像を学習した学習モデルに基づいて、対象の分類として生物の種類に応じた第１値及び第２値を出力することとしてもよい。
算出部３３は、制御部３１によって上述した一例の画像が学習されることにより生成される学習モデルを取得してもよい。又は、算出部３３は、情報処理装置３０の外部で生成される学習モデルを取得してもよい。

図５は、ニューラルネットワーク２００の概略構成について説明するための図である。
図５に一例を示すように、ニューラルネットワーク２００は、画像が入力された場合、学習モデルに基づいて画像を分類し、分類結果（分類１，２）を出力する。なお、分類数は、図５に一例を示すように２つに限定されることはなく、３つ以上に分類されてもよい。具体的な一例として、ニューラルネットワーク２００は、特定の症状を示す対象が記録される画像（例えば、眼底を撮影したＯＣＴ画像等）が入力された場合、学習モデルに基づいてＯＣＴ画像に記録される対象の眼底疾患を分類し、分類結果として複数の眼底疾患それぞれの可能性を分類する。すなわち、ニューラルネットワーク２００は、例えば、分類結果として、分類１である可能性の値を算出し、分類２である可能性の値を算出する。なお、一例として、ニューラルネットワーク２００は、分類結果としての確度が相対的に高い場合に、相対的に大きな値を出力してもよい。

算出部３３は、機械学習等を利用して、種々の症状又は特定の症状（一例として、眼底疾患等）の画像を予め学習した学習モデルを生成し、その学習モデルと第１画像とに基づいて、第１画像において特定の症状を示す対象（患部）が存在するか分類する。
次に、算出部３３は、例えば、上記と同じ学習モデルと第２画像Ａ～Ｉそれぞれとに基づいて、第２画像それぞれにおいて特定の症状を示す対象（患部）が存在するか分類する。
すなわち、算出部３３は、例えば、種々の症状の画像を予め学習してその症状に分類することが可能なニューラルネットワーク等に第１画像及び第２画像Ａ～Ｉを通した後の分類結果として、それらの画像に記録される患部の症状を示す数値を得る。算出部３３は、例えば、第１画像と第２画像Ａ～Ｉそれぞれとをニューラルネットワークに通した後の第１画像（第１値）と第２画像Ａ～Ｉそれぞれ（第２値）との差分を算出する。

算出部３３は、上述したような分類結果毎に、第１画像と第２画像Ａ～Ｉそれぞれとの差分を算出する。算出部３３は、例えば、差分が相対的に大きい場合、すなわち第１画像をニューラルネットワークに通した後の特定の分類１の結果を示す数値と、第２画像それぞれをニューラルネットワークに通した後の特定の分類１の結果を示す数値との差が相対的に大きい（第１画像に対応する数値よりも第２画像に対応する数値がより低くなった場合）場合、元画像（第１画像）と比較して第２画像において分類１に対応する症状の影響が低くなっているため、マスクで覆った部分に患部があると推定して、その位置を特定する。

一方、算出部３３は、例えば、第１画像をニューラルネットワークに通した後の特定の分類１の結果を示す数値と、第２画像それぞれをニューラルネットワークに通した後の特定の分類１の結果を示す数値との差が相対的に大きい（第１画像に対応する数値よりも第２画像に対応する数値がより高くなった場合）場合、元画像（第１画像）と比較して第２画像において分類１に対応する症状の影響が高くなっているため、マスクで覆った部分に患部がないと推定して、その位置を特定する。

また、算出部３３は、例えば、差分が相対的に小さい場合、すなわち、第１画像をニューラルネットワークに通した後の特定の分類１の結果を示す数値と、第２画像それぞれをニューラルネットワークに通した後の特定の分類１の結果を示す数値との差が相対的に小さい場合には、数値の差分に応じて、元画像（第１画像）と比較して第２画像において分類１に対応する症状の影響が少し高く（又は、少し低く）、マスクで覆った部分に患部がある（又は、患部がない）可能性があると推定して、その位置を特定する。

図６は、算出部３３によって差分を算出する場合の一例について説明するための図である。
図６に一例を示すように、算出部３３は、第１画像Ｋをニューラルネットワークに通した後の分類結果として、分類１で６．２３の第１値を得たとする。同様に、算出部３３は、第２画像Ｌ～Ｎをニューラルネットワークに通した後の分類結果として、分類１でそれぞれ６．１０、５．０８及び７．３５の第２値を得たとする。算出部３３は、第１値６．２３と、第２値６．１０、５．０８及び７．３５それぞれとの差分として、－０．１３、－１．０５及び＋１．１２を得たとする。算出部３３は、第２画像Ｍでは対象１００の影響が相対的に大きいため、マスク１０１で対象１００が隠されることにより第２値が５．０８となり、第１値６．２３と比べて低くなっている（差分が－１．０５になっている）ことがわかる。

算出部３３は、第１サイズを有する複数の第１マスクそれぞれによって第１画像の異なる位置を隠すことにより得られる複数の第２画像と、第１画像とに基づいて、第２画像それぞれに応じた差分を算出することとしてもよい。さらに、算出部３３は、第１サイズとは異なる第２サイズを有する複数の第２マスクそれぞれによって第１画像の異なる位置を隠すことにより得られる複数の第２画像と、第１画像とに基づいて、第２画像それぞれに応じた差分を算出することとしてもよい。この場合、算出部３３は、合計数が奇数となる複数の第１マスクと、合計数が奇数となる複数の第２マスクとに基づいて、差分を算出することとしてもよい。
すなわち、算出部３３は、例えば、上述した第１画像と同一の画像について、上述したマスク（３×３）（第１マスク）とはサイズが異なるマスク（５×５、７×７、９×９及び１１×１１、…）（第２マスク）を利用して、上述した処理と同様に複数の第２画像を生成する。算出部３３は、例えば、その第２画像について、上述した処理と同様に第１画像との差分を算出する。

図７は、サイズの異なる複数のマスクの一例について説明するための図である。
図７（Ａ）は５×５のマスクを示し、図７（Ｂ）は７×７のマスクを示す。
算出部３３は、図７（Ａ）に例示すような５×５のマスクを利用して第１画像を覆うことにより、第２画像を生成する。同様に、算出部３３は、図７（Ｂ）に例示するような７×７のマスクを利用して第１画像を覆うことにより、第２画像を生成する。
算出部３３は、図７に例示するマスクを利用して第２画像を生成した場合でも、上述したものと同様の処理を行って第２値を取得し、第１値と第２値との差分を算出する。

生成部３４は、算出部３３によって算出される分類に応じた差分に基づいて、その差分が生じる位置が示される第３画像を生成する。図６に例示する場合、生成部３４は、マスクで覆われる位置に対応して差分が生じる位置を示し、その位置に差分の数値に応じた態様を付して第３画像Ｏ～Ｑを生成してもよい。

この場合、生成部３４は、第１マスクに応じた複数の第２画像それぞれに基づく分類に応じた差分に関する第３画像と、第２マスクに応じた複数の第２画像それぞれに基づく分類に応じた差分に関する第３画像とを合成した画像を生成することとしてもよい。すなわち、生成部３４は、例えば、上述したように算出部３３で算出される複数の差分、すなわち第１画像を３×３のマスク２Ａ～２Ｉ（第１マスク）で覆うことに基づいて得られる第１画像と第２画像との差分、及び、第１画像を５×５のマスク（及び、７×７のマスク、９×９のマスク、１１×１１のマスク、…）（第２マスク）で覆うことに基づいて得られる第１画像と第２画像との差分等を１枚の画像（第３画像）に合成する。生成部３４は、例えば、複数の第３画像（一例として、２つの第３画像Ｒ，Ｓ）を合成することとして、第３画像Ｒ，Ｓを重ねて、第３画像Ｒに記録される差分の位置と、第３画像Ｓに記録される差分の位置との両方が記録される１枚の画像を合成してもよい。

図８は、第３画像の一例について説明するための図である。
図８に例示するように、生成部３４は、複数の第３画像を１枚に合成することにより、第１画像の撮像範囲に、特定の症状に分類される対象の位置を示すことが可能である。図３に示す第１画像及び図６に示す第１画像Ｋでは、画像の中央付近に対象が存在するため、図８においても、第３画像の中央付近に特定の症状に分類される対象の位置が示されることになる。すなわち、生成部３４は、第１画像が眼底疾患を記録したＯＣＴ画像の場合には、その眼底疾患の症状を分類（特定）することができ、その症状の位置を示すことができる。

生成部３４は、算出部３３によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち一方を示す場合、その差分が生じる位置を第３画像に示すときの態様を第１態様で示すこととしてもよい。生成部３４は、例えば、第１態様として、種々の色の態様を示してもよい。具体的な一例として、生成部３４は、第１態様として、その位置を、赤色等を始めとする種々の色で示してもよい。この場合、生成部３４は、算出部３３によって算出される差分を表す数値が相対的に大きい場合、その差分が生じる位置を第３画像に示すときの態様を、第１態様及び後述する第２態様とは異なる第３態様で示すこととしてもよい。生成部３４は、例えば、第３態様として、色の濃度の態様を示してもよい。具体的な一例として、生成部３４は、第３態様として、第１態様で示される色の濃度を濃くしてもよく、相対的に濃い赤色であってもよい。

生成部３４は、算出部３３によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち一方を示す場合、マスクで隠される第１画像に記録される対象が正の寄与と推定することとしてもよい。すなわち、生成部３４は、算出部３３によって算出される差分を表す数値が相対的に一方側に大きい場合、マスクで隠される第１画像に記録される対象が、算出部３３で算出される差分の分類に対応する可能性が相対的に高いと推定することとしてもよい。生成部３４は、例えば、第３画像に示される、第１画像と第２画像との差分が相対的に一方側に大きい場合、すなわち、算出部３３によって算出される第１画像に対応する数値よりも第２画像に対応する数値がより低くなった場合、元画像（第１画像）と比較して第２画像において特定の分類に対応する症状の影響が低くなっているため、マスクで覆った部分に患部があると推定して、その位置を特定する。

一方、生成部３４は、算出部３３によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち他方を示す場合、その差分が生じる位置を第３画像に示すときの態様を第１態様とは異なる第２態様で示すこととしてもよい。例えば、生成部３４は、第２態様として、種々の色の態様を示してもよい。具体的な一例として、生成部３４は、第２態様として、その位置を、青色等を始めとする種々の色で示してもよい。この場合、生成部３４は、算出部３３によって算出される差分を表す数値が相対的に大きい場合、その差分が生じる位置を第３画像に示すときの態様を、第１態様及び第２態様とは異なる第３態様で示すこととしてもよい。上述したように、生成部３４は、例えば、第３態様として、色の濃度の態様を示してもよい。具体的な一例として、生成部３４は、第３態様として、第２態様で示される色の濃度を濃くしてもよく、相対的に濃い青色であってもよい。

生成部３４は、算出部３３によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち他方を示す場合、マスクで隠される第１画像に記録される対象が負の寄与と推定することとしてもよい。すなわち、生成部３４は、例えば、マスクで隠される第１画像に記録される対象が、特定の分類に対して阻害があると推定する。生成部３４は、第３画像に示される、第１画像と第２画像との差分が相対的に他方側に大きい場合、すなわち、算出部３３によって算出される第１画像に対応する数値よりも第２画像に対応する数値がより高くなった場合、元画像（第１画像）と比較して第２画像において特定の分類に対応する症状の影響が高くなっているため、マスクで覆った部分に患部がないと推定して、その位置を特定する。

又は、生成部３４は、算出部３３によって算出される差分を表す数値が相対的に小さい場合、その差分が生じる位置を第３画像に示すときの態様を第３態様とは異なる第４態様で示すこととしてもよい。生成部３４は、例えば、第４態様として色の濃度の態様を示してもよい。具体的な一例として、生成部３４は、第４態様として、第１態様及び第２態様で示される色の濃度を相対的に薄くしてもよい。すなわち、生成部３４は、例えば、第１態様として差分が生じる位置が赤色で示される場合には、第４態様は相対的に薄い赤色であってもよい。同様に、生成部３４は、例えば、第２態様として差分が生じる位置が青色で示される場合には、第４態様は相対的に薄い青色であってもよい。

生成部３４は、算出部３３によって算出される差分を表す数値が相対的に小さい場合、マスクで隠される第１画像に記録される対象が、算出部３３で算出される差分の分類に対応する可能性が相対的に低いと推定することとしてもよい。生成部３４は、例えば、第３画像に示される、第１画像と第２画像との差分が一方側又は他方側において相対的に小さい場合、その差分を示す数値に応じて、元画像（第１画像）と比較して第２画像において分類１に対応する症状の影響が少し高く（又は、少し低く）、マスクで覆った部分に患部がある（又は、患部がない）可能性があると推定して、その位置を特定する。

制御部３１は、生成部３４による推定結果を出力するよう制御する。
通信部３５は、例えば、制御部３１の制御に基づいて、生成部３４で生成される第３画像に関する情報を外部に出力する。通信部３５は、例えば、生成部３４で生成される第３画像に関する情報をサーバ１０及び外部端末２０の少なくとも一方に出力する。外部端末２０は、第３画像に関する情報を受信すると、その第３画像を端末表示部２１に表示することが可能である。
記憶部３６は、例えば、制御部３１の制御に基づいて、生成部３４で生成される第３画像に関する情報を記憶する。
表示部３７は、例えば、制御部３１の制御に基づいて、生成部３４で生成される第３画像を表示する。

次に、一実施形態に係る情報処理方法について説明する。
図９は、一実施形態に係る情報処理方法について説明するためのフローチャートである。

ステップＳＴ１０１において、取得部３２は、第１画像（第１画像情報）を取得する。

ステップＳＴ１０２において、算出部３３は、ステップＳＴ１０１で取得する第１画像の一部をマスクで覆うことにより、第２画像を生成する。この場合、算出部３３は、サイズの異なる複数のマスク（第１マスク及び第２マスク）で第１画像を覆うことにより、複数の第２画像を生成してもよい。マスクは、第１画像を複数に分割してそれぞれを覆うものであってもよく、ランダムなノイズであってもよい。なお、第１画像を複数に分割してそれぞれを覆うマスク（例えば、３×３マスク、５×５マスク、７×７マスク、…）は、例えば、合計数が奇数の数を有するマスクであってもよい。

ステップＳＴ１０３において、算出部３３は、第１画像（第１値）と複数の第２画像（第２値）それぞれとの差分を算出する。すなわち、算出部３３は、ステップＳＴ１０１で取得する第１画像をニューラルネットワークに通した後の第１値（分類後の数値）と、ステップＳＴ１０２で取得する第２画像をニューラルネットワークに通した後の第２値（分類後の数値）との差分を算出する。

ステップＳＴ１０４において、生成部３４は、ステップＳＴ１０３で算出される差分に基づいて、分類毎のその差分が生じる位置が示される第３画像を生成する。生成部３４は、第１マスクで第１画像を覆うことにより生成される複数の第２画像それぞれに基づく分類に応じた差分に関する第３画像と、第２マスクで第１画像を覆うことにより生成される複数の第２画像それぞれに基づく分類に応じた差分に関する第３画像とを合成した画像を生成することとしてもよい。
この場合、生成部３４は、マスクで覆われる位置に対応して差分が生じる位置を示し、その位置に差分の数値に応じた態様を付した第３画像を生成してもよい。
生成部３４は、例えば、ステップ１０３で算出される差分を表す数値が、プラス側及びマイナス側の数値のうち一方（又は、他方）を示す場合、その差分が生じる位置を第３画像に示すときの態様を第１態様（又は、第２態様）で示すこととしてもよい。第１態様及び第２態様は、例えば、色の違い等であってもよい。
生成部３４は、ステップＳＴ１０３で算出される差分を表す数値が相対的に大きい（又は、小さい）場合、その差分が生じる位置を第３画像に示すときの態様を第３態様（又は、第４態様）で示すこととしてもよい。第３態様及び第４態様は、例えば、色の濃度の違い等であってもよい。

生成部３４は、ステップＳＴ１０３で算出される差分を表す数値が、プラス側及びマイナス側の数値のうち一方（差分が相対的に大きい）を示す場合、マスクで隠される第１画像に記録される対象が正の寄与（ステップＳＴ１０３の分類結果に対応する可能性が高い）と推定することとしてもよい。
一方、生成部３４は、ステップＳＴ１０３で算出される差分を表す数値が、プラス側及びマイナス側の数値のうち他方（差分が相対的に大きい）を示す場合、マスクで隠される第１画像に記録される対象が負の寄与（ステップＳＴ１０３の分類結果に対応する可能性が低い、換言すると、その分類に対する阻害が高い）と推定することとしてもよい。
また、生成部３４は、ステップＳＴ１０３で算出される差分を表す数値が相対的に小さい場合、マスクで隠される第１画像に記録される対象が、ステップＳＴ１０３の分類結果に対応する可能性が相対的に低いと推定することとしてもよい。

次に、一実施例について説明する。
図１０は、生成部３４によって生成される第３画像の一実施例について説明するための図である。
図１１は、生成部３４によって生成される画像の一実施例について説明するための図である。

生成部３４は、算出部３３によって異なるサイズのマスク毎に生成される差分に応じた第３画像を生成する。 例えば、図１０（Ａ）に示すように、生成部３４は、算出部３３によって７×７のマスクに基づいて算出される差分に基づいた第３画像を生成する。また、例えば、図１０（Ｂ）に示すように、生成部３４は、算出部３３によって９×９のマスクに基づいて算出される差分に基づいた第３画像を生成する。また、例えば、図１０（Ｃ）に示すように、生成部３４は、算出部３３によって１１×１１のマスクに基づいて算出される差分に基づいた第３画像を生成する。生成部３４は、図１０（Ａ）～１０（Ｃ）に例示する以外にも、サイズの異なるマスクに基づいて第３画像を生成する。生成部３４は、例えば、複数の第３画像を１枚の画像に合成して、図１０（Ｄ）に示すような画像を生成する。図１０（Ｄ）に例示する画像は、算出部３３によって算出される差分と、その差分が生じる位置とを示す画像になる。

生成部３４は、例えば、図１０（Ｄ）に例示する画像と、第１画像とを１枚に合成して、図１１に例示するような画像を生成してもよい。すなわち、図１１に例示するように、生成部３４は、対象（例えば、眼底疾患の症状）の分類毎に、算出部３３によって算出される差分と、その差分が生じる位置とを示す画像を生成してもよい。この場合、生成部３４は、例えば、各分類の合計の差分（Ｓｃｏｒｅ）が相対的に高いほど、その分類の症状の可能性が高いことをしめしてもよい。

次に、本実施形態の効果について説明する。
情報処理装置３０は、第１画像（第１画像情報）を取得する取得部３２と、第１画像をその第１画像のサイズよりも小さいマスクによって隠した第２画像と、第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出部３３と、その差分が生じる位置が示される第３画像を生成する生成部３４と、を備える。
情報処理装置３０は、マスクで隠される部分に分類の対象が存在すると、第１画像と第２画像との差分を取得することにより、その対象の影響を取得することができる。情報処理装置３０は、第１画像と第２画像との差分に基づいて、画像に記録される物体（対象）を分類して、その物体（対象）の位置を提示することができる。

情報処理装置３０では、算出部３３は、複数の異なるマスクそれぞれによって第１画像を隠すことにより得られる複数の第２画像それぞれと、第１画像とに基づいて、第２画像それぞれに応じた差分を算出することとしてもよい。
情報処理装置３０は、複数のマスクそれぞれによって第１画像に記録される物体（対象）を隠すことができる。情報処理装置３０は、第１画像と、複数の第２画像それぞれとの差分を取得することにより、第１画像中の物体（対象）の影響を取得することができる。よって、情報処理装置３０は、物体（対象）の位置を特定することができる。

情報処理装置３０では、算出部３３は、第１サイズを有する複数の第１マスクそれぞれによって第１画像の異なる位置を隠すことにより得られる複数の第２画像と、第１画像とに基づいて、第２画像それぞれに応じた差分を算出することとしてもよい。算出部３３は、第２サイズを有する複数の第２マスクそれぞれによって第１画像の異なる位置を隠すことにより得られる複数の第２画像と、第１画像とに基づいて、第２画像それぞれに応じた差分を算出することとしてもよい。この場合、生成部３４は、第１マスクに応じた複数の第２画像それぞれに基づく分類に応じた差分に関する第３画像と、第２マスクに応じた複数の第２画像それぞれに基づく分類に応じた差分に関する第３画像とを合成した画像を生成することとしてもよい。
情報処理装置３０は、複数のサイズのマスク（第１マスク及び第２マスク）を利用して第１画像の一部を隠すので、物体（対象）のサイズが不明であっても、より正確に物体（対象）の位置を特定することができる。すなわち、情報処理装置３０は、物体（対象）のサイズが相対的に大きい場合には、相対的にサイズの大きいマスクによって第１画像中の物体（対象）を隠すことができる。同様に、情報処理装置３０は、物体（対象）のサイズが相対的に小さい場合には、相対的にサイズの小さいマスクによって第１画像中の物体（対象）の位置を特定するように隠すことができる。これにより、情報処理装置３０は、第１画像中の物体（対象）のサイズが不明であっても、サイズの異なる複数のマスクによって第１画像を隠すことにおり、第１画像中の物体（対象）の影響を取得することができ、物体（対象）の分類及び位置を推定することができる。

情報処理装置３０では、算出部３３は、合計数が奇数となる複数の第１マスクと、合計数が奇数となる複数の第２マスクとに基づいて、差分を算出することとしてもよい。
これにより、情報処理装置３０は、サイズの異なる複数のマスクで第１画像を隠す場合でも、それぞれのマスク（第１マスクと第２マスクと）の縁部が重なることがなく、第３画像中にマスクの縁部が重なって表示されることを防ぐことができる。

情報処理装置３０では、算出部３３は、対象を予め学習することにより生成される学習モデルを有するニューラルネットワークに第１画像を入力して、対象の分類毎に出力される第１値と、ニューラルネットワークに第２画像を入力して、対象の分類毎に出力される第２値と、の差分を算出することとしてもよい。
これにより、情報処理装置３０は、予め学習した結果に基づいて対象を分類し、対象がその分類である可能性を数値で示すことができる。

情報処理装置３０では、算出部３３は、対象として複数の眼底疾患が記録される画像を学習した学習モデルに基づいて、対象の分類として眼底疾患の種類（症状）に応じた第１値及び第２値を出力することとしてもよい。
これにより、情報処理装置３０は、第１画像に記録される対象（眼底疾患）の種類（症状）を分類することができ、またその眼底疾患の位置を特定することができる。

情報処理装置３０では、生成部３４は、算出部３３によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち一方を示す場合、マスクで隠される第１画像に記録される対象が正の寄与と推定することとしてもよい。この場合、生成部３４は、算出部３３によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち他方を示す場合、マスクで隠される第１画像に記録される対象が負の寄与と推定することとしてもよい。
これにより、情報処理装置３０は、差分の数値が相対的に大きい場合には、物体（対象）の影響が相対的に高い（低い）と推定することができる。すなわち、情報処理装置３０は、物体（対象）の影響がより高い場合には、その影響が高いと推定される分類（例えば、症状）に該当する可能性が相対的に高く、その推定される画像上の位置に物体（対象）があると推定することができる。

情報処理装置３０では、生成部３４は、算出部３３によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち一方を示す場合、その差分が生じる位置を第３画像に示すときの態様を第１態様で示すこととしてもよい。この場合、生成部３４は、算出部３３によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち他方を示す場合、その差分が生じる位置を第３画像に示すときの態様を第１態様とは異なる第２態様で示すこととしてもよい。
これにより、情報処理装置３０は、物体（対象）の影響が相対的に高い（低い）と推定される場合には、所定の態様（例えば、色の相違等）で表示するため、情報処理システム１のユーザに物体（対象）の位置と、推定される分類（例えば、症状等）に該当する可能性を分かりやすく提示することができる。

情報処理装置３０では、生成部３４は、算出部３３によって算出される差分を表す数値が相対的に大きい場合、マスクで隠される第１画像に記録される対象が、算出部３３で算出される差分の分類に対応する可能性が相対的に高いと推定することとしてもよい。この場合、生成部３４は、算出部３３によって算出される差分を表す数値が相対的に小さい場合、マスクで隠される第１画像に記録される対象が、算出部３３で算出される差分の分類に対応する可能性が相対的に低いと推定することとしてもよい。
これにより、情報処理装置３０は、情報処理システム１のユーザに物体（対象）の位置と、推定される分類（例えば、症状等）に該当する可能性を提示することができる。

情報処理装置３０では、生成部３４は、算出部３３によって算出される差分を表す数値が相対的に大きい場合、その差分が生じる位置を第３画像に示すときの態様を第３態様で示すこととしてもよい。この場合、生成部３４は、算出部３３によって算出される差分を表す数値が相対的に小さい場合、その差分が生じる位置を第３画像に示すときの態様を第３態様とは異なる第４態様で示すこととしてもよい。
これにより、情報処理装置３０は、物体（対象）の影響が相対的に高い（低い）と推定される場合には、所定の態様（例えば、色の濃度等）で表示するため、情報処理システム１のユーザに物体（対象）の位置と、推定される分類（例えば、症状等）に該当する可能性を分かりやすく提示することができる。

情報処理方法では、コンピュータが、第１画像（第１画像情報）を取得する取得ステップと、第１画像をその第１画像のサイズよりも小さいマスクによって隠した第２画像と、第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出ステップと、その差分が生じる位置が示される第３画像を生成する生成ステップと、を実行する。
情報処理方法は、マスクで隠される部分に分類の対象が存在すると、第１画像と第２画像との差分を取得することにより、その対象の影響を取得することができる。情報処理方法は、第１画像と第２画像との差分に基づいて、画像に記録される物体（対象）を分類して、その物体（対象）の位置を提示することができる。

情報処理プログラムは、コンピュータに、第１画像（第１画像情報）を取得する取得機能と、第１画像をその第１画像のサイズよりも小さいマスクによって隠した第２画像と、第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出機能と、その差分が生じる位置が示される第３画像を生成する生成機能と、を実現させる。
情報処理プログラムは、マスクで隠される部分に分類の対象が存在すると、第１画像と第２画像との差分を取得することにより、その対象の影響を取得することができる。情報処理プログラムは、第１画像と第２画像との差分に基づいて、画像に記録される物体（対象）を分類して、その物体（対象）の位置を提示することができる。

上述した情報処理装置３０の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置３０の取得部３２、算出部３３及び生成部３４（制御部３１）は、コンピュータの演算処理装置等による取得機能、算出機能及び生成機能（制御機能）としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、外部メモリ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、情報処理装置３０の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置３０の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置３０の取得部３２、算出部３３及び生成部３４（制御部３１）は、コンピュータの演算処理装置等を構成する取得回路、算出回路及び生成回路（制御回路）として実現されてもよい。
また、情報処理装置３０の通信部３５、記憶部３６及び表示部３７は、例えば、演算処理装置等の機能を含む通信機能、記憶機能及び表示機能として実現されもよい。また、情報処理装置３０の通信部３５、記憶部３６及び表示部３７は、例えば、集積回路等によって構成されることにより通信回路、記憶回路及び表示回路として実現されてもよい。また、情報処理装置３０の通信部３５、記憶部３６及び表示部３７は、例えば、複数のデバイスによって構成されることにより通信装置、記憶装置及び表示装置として構成されてもよい。

１ 情報処理システム
１０ サーバ
２０ 外部端末
３０ 情報処理装置
３１ 制御部
３２ 取得部
３３ 算出部
３４ 生成部
３５ 通信部
３６ 記憶部
３７ 表示部

Claims (17)

1. 第１画像に基づく第１画像情報を取得する取得部と、
   前記取得部によって取得する第１画像情報に基づく第１画像を当該第１画像のサイズよりも小さいマスクによって隠した第２画像と、前記取得部によって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出部と、
   前記算出部によって算出される分類に応じた差分に基づいて、当該差分が生じる位置が示される第３画像を生成する生成部と、
   前記算出部は、
   第１サイズを有する複数の第１マスクそれぞれによって第１画像の異なる位置を隠すことにより得られる複数の第２画像と、第１画像とに基づいて、第２画像それぞれに応じた差分を算出すると共に、
   第１サイズとは異なる第２サイズを有する複数の第２マスクそれぞれによって第１画像の異なる位置を隠すことにより得られる複数の第２画像と、第１画像とに基づいて、第２画像それぞれに応じた差分を算出し、
   前記生成部は、第１マスクに応じた複数の第２画像それぞれに基づく分類に応じた差分に関する第３画像と、第２マスクに応じた複数の第２画像それぞれに基づく分類に応じた差分に関する第３画像とを合成した画像を生成する、情報処理装置。
2. 第１画像に基づく第１画像情報を取得する取得部と、
   前記取得部によって取得する第１画像情報に基づく第１画像を当該第１画像のサイズよりも小さいマスクによって隠した第２画像と、前記取得部によって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出部と、
   前記算出部によって算出される分類に応じた差分に基づいて、当該差分が生じる位置が示される第３画像を生成する生成部と、
   前記算出部は、
   対象を予め学習することにより生成される学習モデルを有するニューラルネットワークに第１画像を入力して、対象の分類毎に出力される第１値と、
   前記ニューラルネットワークに第２画像を入力して、対象の分類毎に出力される第２値と、
   の差分を算出する情報処理装置。
3. 第１画像に基づく第１画像情報を取得する取得部と、
   前記取得部によって取得する第１画像情報に基づく第１画像を当該第１画像のサイズよりも小さいマスクによって隠した第２画像と、前記取得部によって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出部と、
   前記算出部によって算出される分類に応じた差分に基づいて、当該差分が生じる位置が示される第３画像を生成する生成部と、
   前記生成部は、
   前記算出部によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち一方を示す場合、マスクで隠される第１画像に記録される対象が正の寄与と推定し、
   前記算出部によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち他方を示す場合、マスクで隠される第１画像に記録される対象が負の寄与と推定する情報処理装置。
4. 第１画像に基づく第１画像情報を取得する取得部と、
   前記取得部によって取得する第１画像情報に基づく第１画像を当該第１画像のサイズよりも小さいマスクによって隠した第２画像と、前記取得部によって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出部と、
   前記算出部によって算出される分類に応じた差分に基づいて、当該差分が生じる位置が示される第３画像を生成する生成部と、
   前記生成部は、
   前記算出部によって算出される差分を表す数値が相対的に大きい場合、マスクで隠される第１画像に記録される対象が、前記算出部で算出される差分の分類に対応する可能性が相対的に高いと推定し、
   前記算出部によって算出される差分を表す数値が相対的に小さい場合、マスクで隠される第１画像に記録される対象が、前記算出部で算出される差分の分類に対応する可能性が相対的に低いと推定する情報処理装置。
5. 前記算出部は、複数の異なるマスクそれぞれによって第１画像を隠すことにより得られる複数の第２画像それぞれと、第１画像とに基づいて、第２画像それぞれに応じた差分を算出する
   請求項１に記載の情報処理装置。
6. 前記算出部は、合計数が奇数となる複数の第１マスクと、合計数が奇数となる複数の第２マスクとに基づいて、差分を算出する
   請求項５に記載の情報処理装置。
7. 前記算出部は、対象として複数の眼底疾患が記録される画像を学習した学習モデルに基づいて、対象の分類として眼底疾患の種類に応じた第１値及び第２値を出力する
   請求項２に記載の情報処理装置。
8. 前記生成部は、
   前記算出部によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち一方を示す場合、当該差分が生じる位置を第３画像に示すときの態様を第１態様で示し、
   前記算出部によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち他方を示す場合、当該差分が生じる位置を第３画像に示すときの態様を第１態様とは異なる第２態様で示す
   請求項３に記載の情報処理装置。
9. 前記生成部は、
   前記算出部によって算出される差分を表す数値が相対的に大きい場合、当該差分が生じる位置を第３画像に示すときの態様を第３態様で示し、
   前記算出部によって算出される差分を表す数値が相対的に小さい場合、当該差分が生じる位置を第３画像に示すときの態様を第３態様とは異なる第４態様で示す
   請求項４に記載の情報処理装置。
10. コンピュータが、
    第１画像に基づく第１画像情報を取得する取得ステップと、
    前記取得ステップによって取得する第１画像情報に基づく第１画像を当該第１画像のサイズよりも小さいマスクによって隠した第２画像と、前記取得ステップによって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出ステップと、
    前記算出ステップによって算出される分類に応じた差分に基づいて、当該差分が生じる位置が示される第３画像を生成する生成ステップと、
    前記算出ステップは、
    第１サイズを有する複数の第１マスクそれぞれによって第１画像の異なる位置を隠すことにより得られる複数の第２画像と、第１画像とに基づいて、第２画像それぞれに応じた差分を算出すると共に、
    第１サイズとは異なる第２サイズを有する複数の第２マスクそれぞれによって第１画像の異なる位置を隠すことにより得られる複数の第２画像と、第１画像とに基づいて、第２画像それぞれに応じた差分を算出し、
    前記生成ステップは、第１マスクに応じた複数の第２画像それぞれに基づく分類に応じた差分に関する第３画像と、第２マスクに応じた複数の第２画像それぞれに基づく分類に応じた差分に関する第３画像とを合成した画像を生成することを実行する情報処理方法。
11. 第１画像に基づく第１画像情報を取得する取得ステップと、
    前記取得ステップによって取得する第１画像情報に基づく第１画像を当該第１画像のサイズよりも小さいマスクによって隠した第２画像と、前記取得ステップによって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出ステップと、
    前記算出ステップによって算出される分類に応じた差分に基づいて、当該差分が生じる位置が示される第３画像を生成する生成ステップと、
    前記算出ステップは、
    対象を予め学習することにより生成される学習モデルを有するニューラルネットワークに第１画像を入力して、対象の分類毎に出力される第１値と、
    前記ニューラルネットワークに第２画像を入力して、対象の分類毎に出力される第２値と、
    の差分を算出する情報処理方法。
12. 第１画像に基づく第１画像情報を取得する取得ステップと、
    前記取得ステップによって取得する第１画像情報に基づく第１画像を当該第１画像のサイズよりも小さいマスクによって隠した第２画像と、前記取得ステップによって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出ステップと、
    前記算出ステップによって算出される分類に応じた差分に基づいて、当該差分が生じる位置が示される第３画像を生成する生成ステップと、
    前記生成ステップは、
    前記算出ステップによって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち一方を示す場合、マスクで隠される第１画像に記録される対象が正の寄与と推定し、
    前記算出ステップによって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち他方を示す場合、マスクで隠される第１画像に記録される対象が負の寄与と推定する情報処理方法。
13. 第１画像に基づく第１画像情報を取得する取得ステップと、
    前記取得ステップによって取得する第１画像情報に基づく第１画像を当該第１画像のサイズよりも小さいマスクによって隠した第２画像と、前記取得ステップによって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出ステップと、
    前記算出ステップによって算出される分類に応じた差分に基づいて、当該差分が生じる位置が示される第３画像を生成する生成ステップと、
    前記生成ステップは、
    前記算出ステップによって算出される差分を表す数値が相対的に大きい場合、マスクで隠される第１画像に記録される対象が、前記算出ステップで算出される差分の分類に対応する可能性が相対的に高いと推定し、
    前記算出ステップによって算出される差分を表す数値が相対的に小さい場合、マスクで隠される第１画像に記録される対象が、前記算出ステップで算出される差分の分類に対応する可能性が相対的に低いと推定する情報処理方法。
14. コンピュータに、
    第１画像に基づく第１画像情報を取得する取得機能と、
    前記取得機能によって取得する第１画像情報に基づく第１画像を当該第１画像のサイズよりも小さいマスクによって隠した第２画像と、前記取得機能によって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出機能と、
    前記算出機能によって算出される分類に応じた差分に基づいて、当該差分が生じる位置が示される第３画像を生成する生成機能と、を実現させるものであって、
    前記算出機能は、
    第１サイズを有する複数の第１マスクそれぞれによって第１画像の異なる位置を隠すことにより得られる複数の第２画像と、第１画像とに基づいて、第２画像それぞれに応じた差分を算出すると共に、
    第１サイズとは異なる第２サイズを有する複数の第２マスクそれぞれによって第１画像の異なる位置を隠すことにより得られる複数の第２画像と、第１画像とに基づいて、第２画像それぞれに応じた差分を算出し、
    前記生成機能は、第１マスクに応じた複数の第２画像それぞれに基づく分類に応じた差分に関する第３画像と、第２マスクに応じた複数の第２画像それぞれに基づく分類に応じた差分に関する第３画像とを合成した画像を生成することを特徴とする情報処理プログラム。
15. 第１画像に基づく第１画像情報を取得する取得機能と、
    前記取得機能によって取得する第１画像情報に基づく第１画像を当該第１画像のサイズよりも小さいマスクによって隠した第２画像と、前記取得機能によって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出機能と、
    前記算出機能によって算出される分類に応じた差分に基づいて、当該差分が生じる位置が示される第３画像を生成する生成機能と、を実現させるものであって、
    前記算出機能は、
    対象を予め学習することにより生成される学習モデルを有するニューラルネットワークに第１画像を入力して、対象の分類毎に出力される第１値と、
    前記ニューラルネットワークに第２画像を入力して、対象の分類毎に出力される第２値と、
    の差分を算出することを特徴とする情報処理プログラム。
16. 第１画像に基づく第１画像情報を取得する取得機能と、
    前記取得機能によって取得する第１画像情報に基づく第１画像を当該第１画像のサイズよりも小さいマスクによって隠した第２画像と、前記取得機能によって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出機能と、
    前記算出機能によって算出される分類に応じた差分に基づいて、当該差分が生じる位置が示される第３画像を生成する生成機能と、を実現させるものであって、
    前記生成機能は、
    前記算出機能によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち一方を示す場合、マスクで隠される第１画像に記録される対象が正の寄与と推定し、
    前記算出機能によって算出される差分を表す数値が、プラス側及びマイナス側の数値のうち他方を示す場合、マスクで隠される第１画像に記録される対象が負の寄与と推定することを特徴とする情報処理プログラム。
17. 第１画像に基づく第１画像情報を取得する取得機能と、
    前記取得機能によって取得する第１画像情報に基づく第１画像を当該第１画像のサイズよりも小さいマスクによって隠した第２画像と、前記取得機能によって取得する第１画像とに基づいて、対象の分類に応じた第１画像と第２画像との差分を算出する算出機能と、
    前記算出機能によって算出される分類に応じた差分に基づいて、当該差分が生じる位置が示される第３画像を生成する生成機能と、を実現させるものであって、
    前記生成機能は、
    前記算出機能によって算出される差分を表す数値が相対的に大きい場合、マスクで隠される第１画像に記録される対象が、前記算出機能で算出される差分の分類に対応する可能性が相対的に高いと推定し、
    前記算出機能によって算出される差分を表す数値が相対的に小さい場合、マスクで隠される第１画像に記録される対象が、前記算出機能で算出される差分の分類に対応する可能性が相対的に低いと推定することを特徴とする情報処理プログラム。
    
    
    

Images