JP6757054B2 - 皮膚組織の病理画像を用いた診断支援のためのシステム及び方法 - Google Patents

Description

本発明は、皮膚組織の病理画像を用いた診断支援のための技術に関する。

ある論文には、乳がん病理組織の病理画像から、Mitosis細胞を検出するために、畳み込みニューラルネットワークを二段階用いるものが記載されている。ここでは特定の種類の細胞を検出するだけで十分であり、特定の種類の細胞の分布などをさらに考慮した上で診断するようなことは問題となっていない。

また、他の論文には、前立腺がんの病理画像から、腫瘍の部分を局所的に検出するために畳み込みニューラルネットワークを用いたものと、センチネルリンパ節における乳がんの転移箇所を局所的に検出するための畳み込みニューラルネットワークを用いたものが記載されている。この論文では、前立腺がんの病理画像における解析において、病理画像全体からがんであるかどうかを腫瘍であるかの尤度のヒストグラムの形状により、また乳がんの転移の有無については局所的に得られた転移があるかの尤度のうち最大のものをスコアすることにより判定を行っており、特定の種類の細胞の分布などを考慮した上で診断するようなことは問題となっていない。

さらに、ある文献には、腫瘍の性質の識別において、細胞核、その周辺組織等の変化が重要であることを考慮し、病理画像から細胞核、空孔、細胞質、間質等を中心とするサブイメージを抽出し、サブイメージを学習パターン及び入力パターンとして入力することにより、サブイメージに基づいて高精度に腫瘍の有無、及び腫瘍の良性・悪性を判定することが開示されている。この文献には、病理学検査において採取した組織には染色（ヘマトキシレン、エオジン等による染色）が施されるため、細胞核、その周辺組織等がそれぞれ特有の色に染色されていることを考慮して、病理画像から細胞核、空孔、細胞質、間質等を中心とするサブイメージを抽出すると同時に、細胞核の色情報を抽出し、両者を特徴候補として記憶することにより、より高い精度で腫瘍の有無、及び腫瘍の良性・悪性を判定することも開示されている。しかしながら、皮膚組織における病理画像に特徴的な要素については考慮されていない。

特開２００６−１５３７４２号公報

Hao Chen, QiDou,XiWang, Jing Qin & Pheng-Ann Heng, "Mitosis Detection in Breast Cancer Histology Images via Deep Cascaded Networks", Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence (AAAI-16) Geert Litjens, Clara I. Sanchez, NadyaTimofeeva, Meyke Hermsen, Iris Nagtegaal, Iringo Kovacs, Christina Hulsbergen - van de Kaa, Peter Bult, Bram van Ginneken and Jeroen van der Laak, "Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis", Scientific Reports, 6:26286, 2016

本発明の目的は、一側面によれば、皮膚疾患の診断支援を行うための新規な技術を提供することである。

本発明の第１の診断支援システムは、（Ａ）病理画像に含まれる皮膚組織における真皮細胞の分布を表す画像と、皮膚組織における表皮細胞の分布を表す画像と、皮膚組織における異型細胞の分布を表す画像とを入力とする機械学習の学習済みモデルと、（Ｂ）処理対象の皮膚組織における真皮細胞の分布を表す第１の画像と、処理対象の皮膚組織における表皮細胞の分布を表す第２の画像と、処理対象の皮膚組織における異型細胞の分布を表す第３の画像とに対する、学習済みモデルからの出力に基づき、皮膚疾患に関する出力データを生成する出力データ生成部とを有する。

本発明の第２の診断支援システムは、（Ａ）病理画像に含まれる皮膚組織における真皮細胞の分布を表す画像と、皮膚組織における表皮細胞の分布を表す画像と、皮膚組織における免疫細胞の分布を表す画像と、皮膚組織における管腔を作る細胞の分布を表す画像とを入力とし且つ非腫瘍性の複数種類の皮膚疾患の鑑別を出力とする機械学習の学習済みモデルと、（Ｂ）処理対象の皮膚組織における真皮細胞の分布を表す第１の画像と、処理対象の皮膚組織における表皮細胞の分布を表す第２の画像と、処理対象の皮膚組織における免疫細胞の分布を表す第３の画像と、処理対象の皮膚組織における管腔を作る細胞の分布を表す第４の画像とに対する、機械学習の学習済みモデルの出力に基づき、非腫瘍性の複数種類の皮膚疾患の鑑別結果を含む出力データを生成する出力データ生成部とを有する。

図１Ａは、悪性黒色腫を含む皮膚組織の病理画像の一例を示す図である。 図１Ｂは、色素性母斑を含む皮膚組織の病理画像の一例を示す図である。 図２は、畳み込みニューラルネットワークの一例を示す図である。 図３Ａは、悪性黒色腫と分かっている皮膚組織における真皮細胞の分布を表す画像の例を示す図である。 図３Ｂは、悪性黒色腫と分かっている皮膚組織における表皮細胞の分布を表す画像の例を示す図である。 図３Ｃは、悪性黒色腫と分かっている皮膚組織における異型細胞の分布を表す画像の例を示す図である。 図４Ａは、色素性母斑と分かっている皮膚組織における真皮細胞の分布を表す画像の例を示す図である。 図４Ｂは、色素性母斑と分かっている皮膚組織における表皮細胞の分布を表す画像の例を示す図である。 図４Ｃは、色素性母斑と分かっている皮膚組織における異型細胞の分布を表す画像の例を示す図である。 図５は、第１の実施の形態に係る情報処理装置の機能ブロック構成を示す図である。 図６は、第１の実施の形態に係る情報処理装置により実行される処理フローを示す図である。 図７は、分割画像を説明するための図である。 図８Ａは、真皮細胞の分布の初期画像を説明するための図である。 図８Ｂは、表皮細胞の分布の初期画像を説明するための図である。 図８Ｃは、異型細胞の分布の初期画像を説明するための図である。 図９は、悪性黒色腫と分かっている皮膚組織における免疫細胞の分布を表す画像の例を示す図である。 図１０は、色素性母斑と分かっている皮膚組織における免疫細胞の分布を表す画像の例を示す図である。 図１１は、悪性黒色腫と分かっている皮膚組織における管腔を作る細胞の分布を表す画像の例を示す図である。 図１２は、色素性母斑と分かっている皮膚組織における管腔を作る細胞の分布を表す画像の例を示す図である。 図１３は、第２の実施の形態に係る情報処理装置の機能ブロック構成を示す図である。 図１４は、第２の実施の形態に係る情報処理装置により実行される処理フローを示す図である。 図１５Ａは、鑑別対象の疾患名と腫瘍に係る異型細胞の由来となる細胞名と処理に用いられる細胞の種類との関係を表す図である。 図１５Ｂは、鑑別対象の疾患名と腫瘍に係る異型細胞の由来となる細胞名と処理に用いられる細胞の種類との関係を表す図である。 図１５Ｃは、鑑別対象の疾患名と腫瘍に係る異型細胞の由来となる細胞名と処理に用いられる細胞の種類との関係を表す図である。 図１６は、非腫瘍性疾患名と処理に用いられる細胞の種類との関係を表す図である。

［実施の形態１］
本実施の形態では、悪性黒色腫と色素性母斑とを鑑別することを目的とする。悪性黒色腫とは、表皮に存在する色素細胞のがんである。一方、色素性母斑は、色素細胞の良性の腫瘍であり、両者の鑑別は難しい場合が多い。

図１Ａは、悪性黒色腫を含む皮膚組織の病理画像の例（但し、グレースケール画像）を示す。また、図１Ｂは、色素性母斑を含む皮膚組織の病理画像の例（但し、グレースケール画像）を示す。このように両者の鑑別は難しい。なお、このような病理画像は、病理組織のプレパラートをスキャンしてデジタル画像にしたものである。

本実施の形態では、第１段階の処理として、このような病理画像において、皮膚組織における表皮細胞の分布と、真皮細胞の分布と、異型細胞の分布とを特定する。なお、異型細胞は、悪性黒色腫の腫瘍化した色素細胞と、良性腫瘍である色素性母斑の腫瘍化した色素細胞とのいずれかである。以下、異型細胞については、腫瘍化した又は平常ではない細胞を示すものとする。

次に、第２段階の処理として、表皮細胞の分布を表す画像（分布を表す画像をヒートマップとも呼ぶ）と、真皮細胞の分布を表す画像と、異型細胞の分布を表す画像とから、悪性黒色腫と良性腫瘍である色素性母斑とその他とを鑑別する。但し、悪性黒色腫とその他とを鑑別するようにしても良い。

本実施の形態では、表皮細胞の分布と真皮細胞の分布とに対する異型細胞の分布によって、病理組織の悪性度を推測することを意図している。すなわち、異型細胞が表皮や真皮中のどの部分にどのような分布で存在するのかを基に、病理組織の悪性度を予測することを意図する。言い換えれば、皮膚の構造を表し且つ平常時から存在する真皮細胞群や表皮細胞群などにおいて、異型細胞群がどのように入り込んでいるかを評価するものである。このような予測及び評価は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）に対して学習を行わせることによって実現する。

畳み込みニューラルネットワークは、例えば図２に示すような構造を有している。これは、よく知られているAlexNetと呼ばれる畳み込みニューラルネットワークに類似する構造を有しており、入力層と出力層との間に、畳み込み層とサブサンプリング層（プーリング層）との組み合わせを複数（図では２）セット設け、さらに２つの全結合層を追加した構成になっている。但し、畳み込みニューラルネットワークの構造には、様々なバリエーションがあり、それらを用いても良い。例えば、畳み込み層とサブサンプリング層との組み合わせの数は、増加させても良い。

上で述べたように、表皮細胞の分布を表す画像と、真皮細胞の分布を表す画像と、異型細胞の分布を表す画像とを、入力層に入力する。一方、出力層では、例えば、悪性黒色腫の尤度と、色素性母斑の尤度と、それ以外の場合の尤度とが出力される。

よく知られているように、畳み込み層には、フィルタ及び活性化関数についてパラメータがあり、サブサンプリング層にもサブサンプリングについてのパラメータがあり、全結合層にも活性化関数についてパラメータがあるので、学習によってそれらに適切な値等を設定することになる。学習のためのアルゴリズムは、既知の方法を用いる。

図３Ａは、悪性黒色腫と分かっている皮膚組織における真皮細胞の分布を表す画像を示す。図３Ｂは、悪性黒色腫と分かっている皮膚組織における表皮細胞の分布を表す画像を示す。図３Ｃは、悪性黒色腫と分かっている皮膚組織における異型細胞の分布を表す画像を示す。このような画像を入力層に入力した場合に、出力層から悪性黒色腫である尤度が１という出力がなされる、ということを目的として学習が行われる。なお、これらの図中、白色の部分に、着目する細胞が存在することを示している。

一方、図４Ａは、色素性母斑と分かっている皮膚組織における真皮細胞の分布を表す画像を示す。図４Ｂは、色素性母斑と分かっている皮膚組織における表皮細胞の分布を表す画像を示す。図４Ｃは、色素性母斑と分かっている皮膚組織における異型細胞の分布を表す画像を示す。このような画像を入力層に入力した場合に、出力層から色素性母斑である尤度が１という出力がなされる、ということを目的として学習が行われる。なお、これらの図中でも、白色の部分に、着目する細胞が存在することを示している。

なお、第１段階の処理においても、畳み込みニューラルネットワークを用いても良い。この場合、皮膚組織を含む病理画像の部分的な画像（おおよそ１細胞と同様の大きさを有する部分的な画像又は抽出された１細胞を含む部分的な画像）を入力とし、真皮細胞と表皮細胞と異型細胞とその他（ガラス部分その他など）との尤度を出力とする学習済みの畳み込みニューラルネットワークを用いる。但し、第１段階の処理については、領域抽出などの他の技術を用いて、病理画像から、表皮細胞の分布、真皮細胞の分布、異型細胞の分布を抽出するようにしても良い。

以下、このような処理を実施する情報処理装置の構成及び処理内容の詳細について説明する。

図５に、本実施の形態に係る情報処理装置の機能構成例を示す。

本実施の形態に係る情報処理装置は、入力部１０１と、病理画像格納部１０３と、第１前処理部１０５と、第１画像格納部１０７と、第１ＣＮＮ１０９と、第１後処理部１１１と、第２画像格納部１１３と、第２前処理部１１５と、第３画像格納部１１７と、第２ＣＮＮ１１９と、第２後処理部１２１と、結果格納部１２３と、第１学習処理部１３１と、第２学習処理部１３３とを有する。

入力部１０１は、ユーザから、処理対象の病理画像の入力を受け付け、病理画像格納部１０３に格納する。

上でも述べたが、病理画像は、病理組織のプレパラートをスキャンしてデジタル画像にしたものである。ここでは、例えば対物２０倍に拡大してスキャンした画像であり、例えば縦横１Ｍ×１ＭピクセルのＲＧＢ画像である。

第１前処理部１０５は、第１ＣＮＮ１０９における演算のため、１細胞程度のサイズに、病理画像格納部１０３に格納された病理画像を分割して、分割された病理画像（以下、分割画像と呼ぶ）を、第１画像格納部１０７に格納する。例えば、縦横３２×３２ピクセルの正方形の分割画像を生成する。

第１ＣＮＮ１０９は、第１画像格納部１０７に格納されている各分割画像が、真皮細胞、表皮細胞、異型細胞、その他の細胞のいずれに該当するかを判別するように学習された畳み込みニューラルネットワークである。従って、第１ＣＮＮ１０９は、処理に係る分割画像に対して、例えばそれぞれの尤度を出力する。

第１後処理部１１１は、第１ＣＮＮ１０９からの出力に基づき、真皮細胞の分布を表す初期画像、表皮細胞の分布を表す初期画像、及び異型細胞の分布を表す初期画像を生成し、第２画像格納部１１３に格納する。例えば、分割画像が真皮細胞であると判別された場合には、真皮細胞の分布を表す初期画像において、その分割画像の位置の領域内における全ピクセルが「１」それ以外は「０」となるように設定される。すなわち、これらの初期画像はモノクロ画像である。このような場合、これらの初期画像のサイズは、病理画像と同じである。

第２前処理部１１５は、第２画像格納部１１３に格納された画像から、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、異型細胞の分布を表す画像を生成し、第３画像格納部１１７に格納する。本実施の形態では、各初期画像を、第２ＣＮＮ１１９で処理可能な画像サイズ（例えば縦横２００×２００ピクセル）に縮小する処理を実行する。例えば、この処理において、各ピクセルが所定階調（２５６階調）となるように変換する処理をも行う。すなわち、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、異型細胞の分布を表す画像は、グレースケール画像である。

第２ＣＮＮ１１９は、第３画像格納部１１７に格納された画像から、悪性黒色腫か否かを出力する。例えば、悪性黒色腫の尤度、色素性母斑の尤度、その他の尤度を出力する。なお、悪性黒色腫の尤度とその他の尤度を出力するようにしても良い。

第２後処理部１２１は、第２ＣＮＮ１１９からの出力に基づき、鑑別結果を結果格納部１２３に格納し、表示装置その他の出力装置に鑑別結果を出力する。

このようにすれば、病理画像を入力すれば、自動的に、悪性黒色腫であるか否かの鑑別結果を得ることができるようになる。

本実施の形態では、表皮細胞の分布と真皮細胞の分布と異型細胞の分布とをそれぞれ別の画像として表すことで、分布間の関係を評価しやすくしている。これによって、畳み込みニューラルネットワークによる適切な鑑別を可能にしている。

なお、第１学習処理部１３１は、細胞の画像とその種別とを多数セット含む訓練データで、第１ＣＮＮ１０９に対する学習処理を実行する。学習処理の方法は、従来と同じなので詳細な説明については省略する。

また、第２学習処理部１３３は、真皮細胞の分布を表す画像と表皮細胞の分布を表す画像と異型細胞の分布を表す画像と鑑別結果とを多数セット含む訓練データで、第２ＣＮＮ１１９に対して学習処理を実行する。学習処理の方法は、従来と同じなので詳細な説明については省略する。

次に、図６乃至図８Ｃを用いて、本実施の形態に係る情報処理装置の処理内容を説明する。

まず、入力部１０１は、ユーザから、処理対象の病理画像の入力を受け付け、病理画像格納部１０３に格納する（ステップＳ１）。表現上の問題でグレースケール画像になっているが、図１Ａや図１Ｂに示すような画像（カラー画像）が、病理画像として入力される。入力された病理画像は、本情報処理装置の格納部、ネットワークに接続された他の装置の格納部等に格納されている場合があり、その場合には入力部１０１は、その格納部から読み出して病理画像格納部１０３に格納する。

そうすると、第１前処理部１０５は、病理画像格納部１０３に格納された処理対象の病理画像に対して、第１前処理を実行し、処理結果を第１画像格納部１０７に格納する（ステップＳ３）。この第１前処理では、図７に模式的に示すように、病理画像１００１を縦横Ｎ×Ｎピクセルの多数の分割画像１００２に分割する。Ｎは例えば３２や６４である。なお、細胞の核を認識して細胞を特定し、細胞を含む画像領域を特定する処理を行うことで、分割画像を生成しても良い。

その後、第１ＣＮＮ１０９は、第１画像格納部１０７に格納されている各分割画像を読み出して、それらに対して分類処理を実行する（ステップＳ５）。分類処理は、処理対象の分割画像が、真皮細胞、表皮細胞、異型細胞、その他の細胞のいずれに該当するかを判別する処理であり、例えばそれぞれについての尤度を出力する。

そして、第１後処理部１１１は、第１ＣＮＮ１０９からの出力に基づき、第１後処理を実行し、処理結果を第２画像格納部１１３に格納する（ステップＳ７）。第１後処理では、図８Ａに模式的に示すように、真皮細胞の分布を表す初期画像において、真皮細胞と判別された分割画像の位置における領域１００２ａ内の全てのピクセルの画素値を「１」に設定する。それ以外のピクセルについては画素値を「０」に設定する。同様に、図８Ｂに模式的に示すように、表皮細胞の分布を表す初期画像において、表皮細胞と判別された分割画像の位置における領域１００２ｂ内の全てのピクセルの画素値を「１」に設定する。それ以外のピクセルについては画素値を「０」に設定する。さらに、図８Ｃに模式的に示すように、異型細胞の分布を表す初期画像において、異型細胞と判別された分割画像の位置における領域１００２ｃ内の全てのピクセルの画素値を「１」に設定する。それ以外のピクセルについては画素値を「０」に設定する。

なお、このような第１後処理は一例であって、分布を表す初期画像のサイズを小さくするようにしても良い。例えば、分割画像１つにつき１ピクセルを対応付けて、分布を表す初期画像において、分割画像の位置の１ピクセルの画素値を「１」に設定するようにしても良い。このようにすれば、病理画像に対して縦も横も１／Ｎのサイズになる。

次に、第２前処理部１１５は、第２画像格納部１１３に格納されている画像に対して、第２前処理を実行し、処理結果を第３画像格納部１１７に格納する（ステップＳ９）。第２前処理では、画像の縮小処理を実行する。画像の縮小処理では、近隣ピクセルの画素値の平均を算出することで、縮小後のピクセルの画素値を算出する。分布を表す初期画像において画素値は「０」又は「１」であるから、平均を算出すると「０」乃至「１」の実数となる。この実数値を、例えば「０」乃至「２５５」のいずれかの整数となるように、線形にマップする。これによって、分布を表す初期画像（モノクロ画像）は、分布を表す画像（グレースケール画像）に変換される。なお、縮小処理において平均ではない方法を採用する場合もあるが、従来技術と同様であるからここでは詳細には述べない。

このような処理を実行することで、図３Ａ及び図４Ａに表すような真皮細胞の分布を表す画像、図３Ｂ及び図４Ｂに表すような表皮細胞の分布を表す画像、図３Ｃ及び図４Ｃに表すような異型細胞の分布を表す画像が得られるようになる。

なお、本実施の形態では、畳み込みニューラルネットワークの負荷等の問題から分布を表す初期画像に対して縮小処理を実行するようにしているが、負荷等の問題が無いのであれば、縮小せずとも良い。

そうすると、第２ＣＮＮ１１９は、第３画像格納部１１７に格納されている画像を読み出して、それらに対して鑑別処理を実行する（ステップＳ１１）。本実施の形態では、図３Ａ乃至図３Ｃ又は図４Ａ乃至図４Ｃのようなグレースケール画像群を、カラー画像の各チャネルのグレースケール画像として処理することになる。鑑別処理は、ここでは悪性黒色腫であるか否かであり、例えば、悪性黒色腫の尤度と、色素性母斑の尤度と、それ以外の尤度とが出力される。上でも述べたように、悪性黒色腫とその他との鑑別としても良い。

第２後処理部１２１は、第２ＣＮＮ１１９からの出力に基づき、鑑別結果を結果格納部１２３に格納し、表示装置その他の出力装置に出力する（ステップＳ１３）。出力装置は、ネットワークに接続された他の装置である場合もある。

以上のようにすれば、処理対象の皮膚組織における、表皮細胞の分布と真皮細胞の分布とに対する異型細胞の分布に基づき、病理組織の悪性度が学習されて、適切に鑑別結果が得られるようになる。

なお、検査の簡略化や患者の負担軽減も望める。

［実施の形態１の変形例Ａ］
図３Ａ乃至図３Ｃや図４Ａ乃至図４Ｃのような画像における皮膚組織の輪郭や皮膚組織内におけるその他部分の分布などの補助情報が有用な場合もある。そのような場合には、病理画像を、分布を表す画像のサイズに合わせるように縮小してグレースケール画像にしたものを用いるようにしても良い。

すなわち、第２前処理部１１５は、病理画像格納部１０３から病理画像を読み出して、所定のサイズに縮小して、第３画像格納部１１７に格納する。

第２ＣＮＮ１１９については、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、異型細胞の分布を表す画像に加えて、病理画像の縮小グレースケール画像をさらに用いて学習しておく。

そして、第２ＣＮＮ１１９により鑑別処理を行う場合には、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、異型細胞の分布を表す画像に加えて、病理画像の縮小グレースケール画像を入力して、悪性黒色腫であるか否かの鑑別を実行させる。

これによって鑑別精度が向上する。

［実施の形態１の変形例Ｂ］
さらに、悪性黒色腫の進行度合いが上がると、免疫細胞が増加するという現象があることに着目すると、免疫細胞の分布を表す画像を、第２ＣＮＮ１１９の入力としてさらに用いるようにしても良い。

すなわち、第１ＣＮＮ１０９については、各分割画像について、真皮細胞、表皮細胞、免疫細胞、異型細胞、その他のいずれであるかという判別を行うように構成しておき、真皮細胞の画像、表皮細胞の画像、免疫細胞の画像、異型細胞の画像を用いて学習しておく。そうすれば、第１ＣＮＮ１０９は、真皮細胞、表皮細胞、免疫細胞、異型細胞、その他のそれぞれについての尤度を出力する。

第１後処理部１１１は、第１ＣＮＮ１０９からの出力に基づき、真皮細胞の分布を表す初期画像、表皮細胞の分布を表す初期画像、免疫細胞の分布を表す初期画像、異型細胞の分布を表す初期画像を生成する。免疫細胞の分布を表す初期画像は、他の分布を表す初期画像と同様に生成される。

また、第２前処理部１１５は、免疫細胞の分布を表す初期画像から、他の分布を表す画像と同様に、免疫細胞の分布を表す画像を生成する。悪性黒色腫と分かっている皮膚組織における免疫細胞の分布を表す画像は、例えば図９に示すような画像である。また、色素性母斑と分かっている皮膚組織における免疫細胞の分布を表す画像は、例えば図１０に示すような画像である。なお、これらの図中でも、白色の部分に、着目する細胞が存在することを示している。図９の方が、異型細胞の分布との重なりが見られる。

さらに、第２ＣＮＮ１１９については、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、異型細胞の分布を表す画像に加えて、免疫細胞の分布を表す画像をさらに用いて学習しておく。

そして、第２ＣＮＮ１１９により鑑別処理を行う場合には、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、異型細胞の分布を表す画像に加えて、免疫細胞の分布を表す画像を入力して、悪性黒色腫と色素性母斑とその他とのいずれかであるかの鑑別を実行させる。

これによって鑑別精度が向上する。

［実施の形態１の変形例Ｃ］
さらに、悪性黒色腫の進行度合いなどを含む病状と管腔を作る細胞の分布とが関係していると推定されることがあるため、管腔を作る細胞の分布を表す画像を、第２ＣＮＮ１１９の入力としてさらに用いるようにしても良い。

この場合には、変形例Ｂにおける免疫細胞に代わって管腔を作る細胞を用いるように変形する。

すなわち、第１ＣＮＮ１０９については、各分割画像について、真皮細胞、表皮細胞、管腔を作る細胞、異型細胞、その他のいずれであるかという判別を行うように構成しておき、真皮細胞の画像、表皮細胞の画像、管腔を作る細胞の画像、異型細胞の画像を用いて学習しておく。そうすれば、第１ＣＮＮ１０９は、真皮細胞、表皮細胞、管腔を作る細胞、異型細胞、その他のそれぞれについての尤度を出力する。

第１後処理部１１１は、第１ＣＮＮ１０９からの出力に基づき、真皮細胞の分布を表す初期画像、表皮細胞の分布を表す初期画像、管腔を作る細胞の分布を表す初期画像、異型細胞の分布を表す初期画像を生成する。管腔を作る細胞の分布を表す初期画像は、他の分布を表す初期画像と同様に生成される。

また、第２前処理部１１５は、管腔を作る細胞の分布を表す初期画像から、他の分布を表す画像と同様に、管腔を作る細胞の分布を表す画像を生成する。悪性黒色腫と分かっている皮膚組織における管腔を作る細胞の分布を表す画像は、例えば図１１に示すような画像である。また、色素性母斑と分かっている皮膚組織における管腔を作る細胞の分布を表す画像は、例えば図１２に示すような画像である。なお、これらの図中でも、白色の部分に、着目する細胞が存在することを示している。図１１の方が、異型細胞の分布が多い部分に隣接して多くの管腔を作る細胞が存在している。

さらに、第２ＣＮＮ１１９については、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、異型細胞の分布を表す画像に加えて、管腔を作る細胞の分布を表す画像をさらに用いて学習しておく。

そして、第２ＣＮＮ１１９により鑑別処理を行う場合には、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、異型細胞の分布を表す画像に加えて、管腔を作る細胞の分布を表す画像を入力して、悪性黒色腫と色素性母斑とその他とのいずれであるかの鑑別を実行させる。

これによって鑑別精度が向上する。

［実施の形態１の変形例Ｄ］
変形例Ａ乃至Ｃについては、任意に組み合わせることができる。すなわち、病理画像の縮小グレースケール画像、免疫細胞の分布を表す画像、管腔を作る細胞の分布を表す画像の少なくともいずれかを用いるようにしても良い。

なお、免疫細胞については、好中球、リンパ球、マクロファージといった種類もあるので、いずれかの種類の分布を表す画像を用いるようにしても良い。

［実施の形態２］
第１の実施の形態のように悪性黒色腫の鑑別を行うだけではなく、予後予測（余命）、進行度を表す病期分類予測、特定薬剤に対する投薬効果の予測などを行うように変形してもよい。

なお、予後予測（余命）については、実数（例えば５年など）を予測しても良いし、１年未満、１年以上３年、３年から５年、５年以上といったような予め決められた余命レンジや生存率曲線で表されるような時間経過における生存確率を予測しても良い。

病期分類予測は、悪性黒色腫がどれほど悪いかを、所定数のステージで表して、そのステージを予測するものである。

投薬効果予測は、悪性黒色腫に特定の薬剤（例えば高価なニボルマブなど）を投与した場合の効果を予測するもので、効果あり又はなしを予測するものである。

このような病状に関する予測には、第１の実施の形態における主要な情報である表皮細胞の分布、真皮細胞の分布、及び異型細胞の分布は、有効である。これは、真皮細胞の分布及び表皮細胞の分布に対する異型細胞の分布、すなわち異型細胞がどのような部分にどのような分布で存在するかということは、どの程度病理組織が悪性であるかを表すからであり、悪性度が高ければ予後が悪いことが予測されるからである。

加えて、悪性黒色腫の進行度合いが上がると、免疫細胞が増加するという現象があること、管腔を作る細胞内に異型細胞が存在する場合には転移の危険性があることに着目すると、これらの免疫細胞及び管腔を作る細胞の分布についても、予後に関連する。

さらに、特定の薬剤の投薬効果には免疫細胞、特に好中球及びリンパ球が関係する可能性がある。

従って、第１の実施の形態と基本的な構成はほぼ同じだが、鑑別処理を行う第２ＣＮＮ１１９に加えて、投薬効果予測のための畳み込みニューラルネットワークと、予後予測のための畳み込みニューラルネットワークと、病期分類予測のための畳み込みニューラルネットワークとを追加導入する。

さらに、第１ＣＮＮ１０９についても、鑑別処理及び病状に関する予測処理で用いられる画像を生成できるように変形する。本実施の形態では、真皮細胞、表皮細胞、免疫細胞、管腔を作る細胞、その他を判別するようにする。但し、特定の薬剤に対する投薬効果予測を行う場合には、免疫細胞の種類（好中球、リンパ球、マクロファージ）をさらに判別できるようにする。

本実施の形態に係る情報処理装置の構成例を図１３に示す。なお、第１の実施の形態に係る情報処理装置の構成要素と同様の機能を有する場合には、同じ参照番号を付している。

本実施の形態に係る情報処理装置は、入力部２０１と、病理画像格納部１０３と、第１前処理部１０５と、第１画像格納部１０７と、第１ＣＮＮ２０９ａ及び２０９ｂと、第１後処理部２１１と、第２画像格納部１１３と、第２前処理部１１５と、第３画像格納部１１７と、第２ＣＮＮ２１９ａ乃至２１９ｄと、第２後処理部２２１と、結果格納部１２３と、第１学習処理部２３１と、第２学習処理部２３３とを有する。

入力部２０１は、ユーザから、処理対象の病理画像の入力を受け付け、病理画像格納部１０３に格納する。また、入力部２０１は、処理内容についても指示を受け付ける。すなわち、悪性黒色腫の鑑別、予後予測（余命）、進行度を表す病期分類予測、特定薬剤に対する投薬効果の予測のうち１又は複数の処理の指定を受け付ける。

第１前処理部１０５の処理内容は、第１の実施の形態と同様である。

第１ＣＮＮ２０９ａは、第１画像格納部１０７に格納されている各分割画像が、真皮細胞、表皮細胞、免疫細胞、管腔を作る細胞、異型細胞、その他の細胞のいずれに該当するかを判別するように学習された畳み込みニューラルネットワークである。従って、第１ＣＮＮ２０９ａは、処理に係る分割画像に対して、例えばそれぞれの尤度を出力する。

第１ＣＮＮ２０９ｂは、第１画像格納部１０７に格納されている各分割画像が、好中球、リンパ球、マクロファージ、その他の細胞のいずれに該当するかを判別するように学習された畳み込みニューラルネットワークである。従って、第１ＣＮＮ２０９ｂは、処理に係る分割画像に対して、例えばそれぞれの尤度を出力する。

第１ＣＮＮ２０９ａと第１ＣＮＮ２０９ｂは、例えば入力部２０１からの指示に応じて動作する。例えば、特定の薬剤に対する投薬効果予測を行う場合には、第１ＣＮＮ２０９ａと第１ＣＮＮ２０９ｂを用いるようにする。その他の場合には、第１ＣＮＮ２０９ａのみを用いるようにする。

第１後処理部２１１は、第１ＣＮＮ２０９ａからの出力に基づき、真皮細胞の分布を表す初期画像、表皮細胞の分布を表す初期画像、免疫細胞の分布を表す初期画像、管腔を作る細胞の分布を表す初期画像、及び異型細胞の分布を表す初期画像を生成し、第２画像格納部１１３に格納する。例えば、分割画像が表皮細胞であると判別された場合には、表皮細胞の分布を表す初期画像において、その分割画像の位置の領域内における全ピクセルが「１」それ以外は「０」となるように設定される。すなわち、これらの初期画像はモノクロ画像である。このような場合、これらの初期画像のサイズは、病理画像と同じである。

同様に、第１後処理部２１１は、第１ＣＮＮ２０９ｂからの出力に基づき、好中球の分布を表す初期画像、リンパ球の分布を表す初期画像、及びマクロファージの分布を表す初期画像を生成し、第２画像格納部１１３に格納する。具体的な処理内容は、第１ＣＮＮ２０９ａからの出力の場合と同様である。

第２前処理部１１５は、第２画像格納部１１３に格納された画像から、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、免疫細胞の分布を表す画像、管腔を作る細胞の分布を表す画像、異型細胞の分布を表す画像を生成し、第３画像格納部１１７に格納する。処理内容は、第１の実施の形態と同様である。なお、第１ＣＮＮ２０９ｂからの出力がある場合には、第２前処理部１１５は、第２画像格納部１１３に格納された好中球の分布を表す初期画像、マクロファージの分布を表す初期画像、リンパ球の分布を表す初期画像から、好中球の分布を表す画像、マクロファージの分布を表す画像、リンパ球の分布を表す画像を生成し、第３画像格納部１１７に格納する。

第２ＣＮＮ２１９ａは、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、免疫細胞の分布を表す画像、管腔を作る細胞の分布を表す画像、異型細胞の分布を表す画像から、悪性黒色腫と色素性母斑とその他とのいずれかを出力するように学習された畳み込みニューラルネットワークである。第２ＣＮＮ２１９ａは、第３画像格納部１１７に格納されている画像から、例えば悪性黒色腫の尤度、色素性母斑の尤度、その他の尤度を出力する。但し、第１の実施の形態のように、免疫細胞の分布を表す画像や管腔を作る細胞の分布を表す画像を用いずに鑑別を行っても良い。

第２ＣＮＮ２１９ｂは、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、免疫細胞の分布を表す画像、管腔を作る細胞の分布を表す画像、異型細胞の分布を表す画像から、予後予測（余命）の予測値（実数（年）、余命レンジ毎の尤度、又は生存率曲線で表されるような時間経過における生存確率）を出力するように学習された畳み込みニューラルネットワークである。第２ＣＮＮ２１９ｂは、第３画像格納部１１７に格納されている画像から、予後予測の予測値を出力する。

第２ＣＮＮ２１９ｃは、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、免疫細胞の分布を表す画像、管腔を作る細胞の分布を表す画像、異型細胞の分布を表す画像から、病期分類予測（例えば各ステージの尤度）を出力するように学習された畳み込みニューラルネットワークである。第２ＣＮＮ２１９ｃは、第３画像格納部１１７に格納されている画像に対する病期分類予測（例えば各ステージの尤度）を出力する。

第２ＣＮＮ２１９ｄは、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、好中球の分布を表す画像、マクロファージの分布を表す画像、リンパ球の分布を表す画像、管腔を作る細胞の分布を表す画像、異型細胞の分布を表す画像から、特定の薬剤の投薬効果（例えば有りの尤度と無しの尤度）を出力するように学習された畳み込みニューラルネットワークである。第２ＣＮＮ２１９ｄは、第３画像格納部１１７に格納されている画像から、特定の薬剤の投薬効果を出力する。

第２後処理部２２１は、第２ＣＮＮ２１９ａからの出力に基づき、鑑別結果を結果格納部１２３に格納し、表示装置その他の出力装置に鑑別結果を出力する。さらに、病状に関する予測を行うようになっている場合には、第２後処理部２２１は、第２ＣＮＮ２１９ｂ乃至２１９ｄの少なくともいずれかからの出力に基づき、病状に関する予測結果を結果格納部１２３に格納し、表示装置その他の出力装置に予測結果を出力する。

このようにすれば、病理画像を入力すれば、自動的に、悪性黒色腫又は色素性母斑であるか否かの鑑別結果、さらに病状に関する予測結果を得ることができるようになる。

本実施の形態では、表皮細胞の分布と真皮細胞の分布と異型細胞の分布と免疫細胞の分布と管腔を作る細胞の分布とをそれぞれ別の画像として表すことで、分布間の関係を評価しやすくしている。これによって、畳み込みニューラルネットワークによる適切な鑑別や病状に関する予測を可能にしている。

特に、免疫細胞の分布や管腔を作る細胞の分布を加えて評価することで、悪性黒色腫であった場合における腫瘍の悪性度合い、転移の可能性を評価できるようになる。また、特定の薬剤との関係が推定される免疫細胞の分布をさらに評価すれば、特定の薬剤の効果の有無を予測できるため、例えば高価な薬剤の投与の適否を判断できるようになる。

なお、第１学習処理部２３１は、細胞の画像とその種別とを多数セット含む訓練データで、第１ＣＮＮ２０９ａ及び２０９ｂに対する学習処理を実行する。学習処理の方法は、従来と同じなので詳細な説明については省略する。

また、第２学習処理部２３３は、真皮細胞の分布を表す画像と表皮細胞の分布を表す画像と異型細胞の分布を表す画像と管腔を作る細胞の分布を表す画像と免疫細胞の分布を表す画像と鑑別結果とを多数セット含む訓練データで、第２ＣＮＮ２１９ａに対して学習処理を実行する。同様に、第２学習処理部２３３は、真皮細胞の分布を表す画像と表皮細胞の分布を表す画像と異型細胞の分布を表す画像と管腔を作る細胞の分布を表す画像と免疫細胞の分布を表す画像と、予後予測（余命）又は病期分類予測（ステージ番号など）とを多数セット含む訓練データで、第２ＣＮＮ２１９ｂ又は２１９ｃに対して学習処理を実行する。さらに、第２学習処理部２３３は、真皮細胞の分布を表す画像と表皮細胞の分布を表す画像と異型細胞の分布を表す画像と管腔を作る細胞の分布を表す画像と好中球の分布を表す画像とマクロファージの分布を表す画像とリンパ球の分布を表す画像と、特定薬剤の投薬効果（効果の有無など）とを多数セット含む訓練データで、第２ＣＮＮ２１９ｄに対して学習処理を実行する。学習処理の方法は、従来と同じなので詳細な説明については省略する。

次に、図１４を用いて、本実施の形態に係る情報処理装置の処理内容を説明する。

まず、入力部２０１は、ユーザから、処理対象の病理画像の入力を受け付け、病理画像格納部１０３に格納する（ステップＳ３１）。図６のステップＳ１と同様である。

また、入力部２０１は、ユーザから、鑑別処理に加えて実行すべき病状に関する予測処理の指示の入力を受け付ける（ステップＳ３３）。例えば、ユーザが、予後予測、病期分類予測、及び特定の薬剤の投薬効果のうち少なくともいずれかの指示を行って、当該指示を受け付ける。但し、病状に関する予測を行わないようにしても良いし、鑑別結果が悪性黒色腫ではない場合には、病状に関する予測を行わないものとする。

そうすると、第１前処理部１０５は、病理画像格納部１０３に格納された処理対象の病理画像に対して、第１前処理を実行し、処理結果を第１画像格納部１０７に格納する（ステップＳ３５）。この第１前処理は、図６のステップＳ３と同様である。

その後、第１ＣＮＮ２０９ａは、第１画像格納部１０７に格納されている各分割画像を読み出して、それらに対して分類処理を実行する（ステップＳ３７）。この分類処理は、処理対象の分割画像が、真皮細胞、表皮細胞、免疫細胞、管腔を作る細胞、異型細胞、その他の細胞のいずれに該当するかを判別する処理であり、例えばそれぞれについての尤度を出力する。

なお、特定の薬剤の投薬効果の予測を指示された場合には、入力部２０１は、第１ＣＮＮ２０９ｂに対して処理の実行を指示する。そうすると、第１ＣＮＮ２０９ｂも、第１画像格納部１０７に格納されている各分割画像に対して、分類処理を実行する。この分類処理は、処理対象の分割画像が、好中球、マクロファージ、リンパ球、その他の細胞のいずれに該当するかを判別する処理であり、例えばそれぞれについての尤度を出力する。

そして、第１後処理部２１１は、第１ＣＮＮ２０９ａ及び／又は第１ＣＮＮ２０９ｂからの出力に基づき、第１後処理を実行し、処理結果を第２画像格納部１１３に格納する（ステップＳ３９）。

本実施の形態に係る第１後処理は、第１の実施の形態に係る第１後処理と基本的な処理は同じである。すなわち、真皮細胞の分布を表す初期画像において、真皮細胞と判別された分割画像の位置における領域内の全てのピクセルの画素値を「１」に設定する。それ以外のピクセルについては画素値を「０」に設定する。同様に、表皮細胞の分布を表す初期画像において、表皮細胞と判別された分割画像の位置における領域内の全てのピクセルの画素値を「１」に設定する。それ以外のピクセルについては画素値を「０」に設定する。さらに、異型細胞の分布を表す初期画像において、異型細胞と判別された分割画像の位置における領域内の全てのピクセルの画素値を「１」に設定する。それ以外のピクセルについては画素値を「０」に設定する。

さらに、免疫細胞の分布を表す初期画像において、免疫細胞と判別された分割画像の位置における領域内の全てのピクセルの画素値を「１」に設定する。それ以外のピクセルについては画素値を「０」に設定する。管腔を作る細胞の分布を表す初期画像において、管腔を作る細胞と判別された分割画像の位置における領域内の全てのピクセルの画素値を「１」に設定する。それ以外のピクセルについては画素値を「０」に設定する。

また、好中球と判別された分割画像、マクロファージと判別された分割画像、リンパ球と判別された分割画像がある場合には、それぞれについて上で述べたような処理を行って、好中球の分布を表す初期画像、マクロファージの分布を表す初期画像、リンパ球の分布を表す初期画像をも生成する。

次に、第２前処理部１１５は、第２画像格納部１１３に格納されている画像に対して、第２前処理を実行し、処理結果を第３画像格納部１１７に格納する（ステップＳ４１）。第２前処理は、第１の実施の形態と同様である。

そうすると、第２ＣＮＮ２１９ａは、第３画像格納部１１７に格納されている画像を読み出して、それらに対して鑑別処理を実行する（ステップＳ４３）。本実施の形態に係る鑑別処理は、免疫細胞の分布を表す画像及び管腔を作る細胞の分布を表す画像をさらに用いることを除けば、図６のステップＳ１１と同様である。すなわち、本実施の形態では、真皮細胞の分布を表す画像と表皮細胞の分布を表す画像と免疫細胞の分布を表す画像と管腔を作る細胞の分布を表す画像と異型細胞の分布を表す画像とを含むグレースケール画像群を、カラー画像の各チャネルのグレースケール画像として処理することになる。鑑別処理は、ここでは悪性黒色腫であるか否かであり、例えば、悪性黒色腫の尤度と、色素性母斑の尤度と、その他の尤度とが出力される。上でも述べたように、悪性黒色腫とその他との鑑別としても良い。

第２後処理部２２１は、第２ＣＮＮ２１９ａからの出力に基づき、鑑別結果を特定し、入力部２０１からの指示によって病状に関する予測を行うことになっているか判断する（ステップＳ４５）。ユーザから鑑別処理のみを実行するように指示されている場合、鑑別結果が悪性黒色腫ではない場合には、処理はステップＳ４９に移行する。

病状に関する予測を行う場合には、指示に応じた第２ＣＮＮ２１９ｂ乃至２１９ｄの少なくともいずれかは、第３画像格納部１１７に格納されている画像に対して、指示に応じた予測処理を実行する（ステップＳ４７）。

具体的には、第２ＣＮＮ２１９ｂは、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、免疫細胞の分布を表す画像、管腔を作る細胞の分布を表す画像、異型細胞の分布を表す画像から、予後予測（余命）の予測値（実数（年）、余命レンジ毎の尤度、又は生存率曲線で表されるような時間経過における生存確率）を出力する。

第２ＣＮＮ２１９ｃは、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、免疫細胞の分布を表す画像、管腔を作る細胞の分布を表す画像、異型細胞の分布を表す画像から、病期分類予測（例えば各ステージの尤度）を出力する。

第２ＣＮＮ２１９ｄは、真皮細胞の分布を表す画像、表皮細胞の分布を表す画像、好中球の分布を表す画像、マクロファージの分布を表す画像、リンパ球の分布を表す画像、管腔を作る細胞の分布を表す画像、異型細胞の分布を表す画像から、特定の薬剤の投薬効果（例えば有りの尤度と無しの尤度）を出力する。

第２後処理部２２１は、第２ＣＮＮ２１９ｂ乃至２１９ｄの少なくともいずれかが用いられた場合にはそれらからの出力に基づき、病状に関する予測結果を特定し、鑑別結果と共に結果格納部１２３に格納し、表示装置その他の出力装置に出力する（ステップＳ４９）。出力装置は、ネットワークに接続された他の装置である場合もある。

以上のようにすれば、悪性黒色腫、色素性母斑、その他のいずれかであるという鑑別結果に加えて、病状に関する所定の予測をも併せて実行することができるようになる。

なお、第２ＣＮＮ２１９ａの処理に並行して、第２ＣＮＮ２１９ｂ乃至２１９ｄのうち少なくともいずれかの処理を実行するようにしても良い。

また、第２ＣＮＮ２１９ａの処理を行わずに、第２ＣＮＮ２１９ｂ乃至２１９ｄのうち少なくともいずれかの処理を実行するようにしても良い。例えば、悪性黒色腫であることが他の手段で分かっている場合には、病状に関する予測処理のみを行うようにしても良い。

このようにすれば、検査の簡略化や患者の負担軽減に加え、患者に対して病状に関する説明をしやすくなる。また、治療についての指針も立てやすくなる。

なお、分割細胞の分類において２つのＣＮＮを用いる例を示したが、例えば１つのＣＮＮで真皮細胞、表皮細胞、管腔を作る細胞、異型細胞、種類毎の免疫細胞のいずれかに分類して、後処理において、種類毎の免疫細胞の分布が不要となる場合には種類毎の免疫細胞の判別結果を統合するようにしても良い。

さらに、上では管腔を作る細胞を判別し、管腔を作る細胞の分布を表す画像を用いていたが、病状に関する予測については用いないようにしても良い場合もある。例えば、特定の薬剤の投薬効果の予測や病期分類予測については用いないようにしても良い。また、病状に関する予測についても３種類同時に行うことができるようにするのではなく、少なくとも１つのみを行うことができるように実装しても良い。

［実施の形態３］
上で述べた鑑別処理は、悪性黒色腫に着目したものであった。しかしながら、上で述べたような分布を表す画像を用いれば、他の腫瘍に係る皮膚疾患の鑑別をも行うことができる。

例えば、悪性黒色腫と、皮膚科において病理検査対象となる頻度の高い所定種類数（所定数は例えば１０など比較的少数）の腫瘍に係る疾患とを鑑別できるように、畳み込みニューラルネットワークを学習させるようにしても良い。

具体的には、鑑別処理を行う畳み込みニューラルネットワークは、真皮細胞の分布を表す画像と表皮細胞の分布を表す画像と免疫細胞の分布を表す画像と管腔を作る細胞の分布を表す画像と異型細胞の分布を表す画像とを入力とし、予め定められた複数の鑑別対象疾患及びその他のうちいずれであるかを出力するように学習される。

そして、第１の実施の形態における第２ＣＮＮ１１９の代わりに、このような学習がなされた畳み込みニューラルネットワークを用いれば、該当する疾患又はその他という出力を得ることができるようになる。

そうすれば、より検査の簡略化や患者の負担軽減がなされるようになる。

［実施の形態４］
悪性黒色腫以外の腫瘍に係る様々な皮膚疾患の鑑別を行わせるように変形しても良い。

具体的には、図１５Ａ乃至図１５Ｃに列挙するような腫瘍疾患に対処するように変形することができる。

図１５Ａ乃至図１５Ｃにおいて疾患名の列には、鑑別対象となる疾患名が列挙されており、異型細胞の由来の列には、どの細胞についての異型細胞であるかを示しており、表皮細胞から免疫細胞までの列には、その疾患を鑑別するのにどの細胞の分布が必要か否か（○又は×）を示している。

例えば、図１５Ａ乃至図１５Ｃにおいて列挙された全疾患を鑑別する場合には、分割画像の分類を行う畳み込みニューラルネットワークは、細胞の画像について、表皮細胞と真皮細胞と管腔を作る細胞と免疫細胞とに加えて、色素細胞についての異型細胞、有棘細胞についての異型細胞、アポクリン腺細胞についての異型細胞、メルケル細胞についての異型細胞、基底細胞についての異型細胞、毛包細胞についての異型細胞といったように、異型細胞の由来の列に列挙されている、異型細胞の由来となる細胞の分類ごとに異型細胞を区別して出力するように学習された畳み込みニューラルネットワークである。よって、分類を行う畳み込みニューラルネットワークは、細胞の種類又はその他（例えば、それらの尤度）を出力する。

よって、色素細胞についての異型細胞の分布を表す画像、有棘細胞についての異型細胞の分布を表す画像、アポクリン腺細胞についての異型細胞の分布を表す画像、メルケル細胞についての異型細胞の分布を表す画像、基底細胞についての異型細胞の分布を表す画像、毛包細胞についての異型細胞の分布を表す画像といったように、由来となる細胞毎に異型細胞の分布を表す画像を生成する。

そして、鑑別処理を行う畳み込みニューラルネットワークは、表皮細胞の分布を表す画像と真皮細胞の分布を表す画像と管腔を作る細胞の分布を表す画像と免疫細胞の分布を表す画像とに加えて、由来となる細胞毎の異型細胞の分布を表す画像とを入力として、いずれかの疾患名又はその他を出力するように学習された畳み込みニューラルネットワークである。よって、鑑別処理を行う畳み込みニューラルネットワークは、それらの分布を表す画像に対して、いずれかの疾患名又はその他（例えば、それらの尤度）を出力する。

なお、図１５Ａ乃至図１５Ｃにおいて列挙された疾患の一部について鑑別可能なように構成しても良い。例えば、色素細胞についての異型細胞と、アポクリン腺細胞についての異型細胞と、脂腺細胞についての異型細胞と、エクリン腺細胞についての異型細胞と、表皮細胞と、真皮細胞と、管腔を作る細胞と、免疫細胞とに、分割画像を分類して、悪性黒色腫と、色素性母斑と、真皮色素細胞母斑と、乳房パジェット病と、アポクリン腺癌と、乳房外パジェット病と、エクリン母斑と、エクリン汗嚢腫と、汗管腫と、エクリン汗孔腫と、皮膚混合腫瘍（エクリン型）と、エクリンらせん腫と、アポクリン母斑と、アポクリン汗嚢腫と、乳頭状汗腺腫と、乳頭状汗管嚢胞腺腫と、管状アポクリン腺腫と、乳頭腺腫と、皮膚混合腫瘍（アポクリン型）と、脂腺癌と、脂腺腺腫と、脂腺増殖症と、脂腺腫とを鑑別できるように構成しても良い。

すなわち、鑑別したい疾患について、異型細胞の由来となる細胞についての異型細胞をも分類できるようにし、それらの異型細胞の分布を表す画像をも用いて鑑別できるように畳み込みニューラルネットワークを学習させればよい。

なお、良性リンパ腫と悪性リンパ腫についてのみ鑑別する場合には、管腔を作る細胞については分類しなくても良い。

このようにすれば腫瘍にかかる疾患を自動的に鑑別できるようになる。

なお、ここでは鑑別を行ったが、第２の実施の形態のように病状に関する予測を行うようにさらに変形しても良い。

［実施の形態５］
上で述べた実施の形態では腫瘍に係る皮膚疾患について鑑別することについて述べたが、非腫瘍性疾患についても応用可能である。

例えば、図１６に列挙するような疾患については、分割画像を、表皮細胞と、真皮細胞と、管腔を作る細胞と、免疫細胞とに分類して、それらの分布を表す画像を生成する。そして、それらの分布を表す画像を入力として、図１６に列挙されたいずれかの疾患名又はその他を出力するように学習された畳み込みニューラルネットワークを用いて、疾患名を鑑別するようにする。

このようにすれば、非腫瘍性疾患についても自動的に鑑別できるようになる。

なお、本実施の形態でも、鑑別に加えて、第２の実施の形態のように病状に関する予測を行うようにさらに変形しても良い。

以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、目的に応じて、上で述べた実施の形態における任意の技術的特徴を削除したり、実施の形態を組み合わせた上で任意の技術的特徴を削除したりするようにしても良い。

上で述べた情報処理装置の機能ブロック構成は一例であって、プログラムモジュール構成とは一致しない場合もある。処理フローについても、処理結果が変わらない限り、処理順番を入れ替えたり、複数ステップを並列に実行するようにしても良い。また、ＣＮＮの出力が尤度である場合には、当該尤度を併せて出力するようにしても良い。

図５については、第１ＣＮＮ１０９と第２ＣＮＮ１１９とについては、ＣＮＮを前提として説明したが、ＣＮＮは、教師付き機械学習が行われた学習済みモデルの一例である。すなわち、第１ＣＮＮ１０９は、このような学習済みモデル１０００であってもよい。同様に、第２ＣＮＮ１１９も、このような学習済みモデル２０００であってもよい。なお、教師付き機械学習としては、サポートベクターマシン（Support Vector Machine）や、パーセプトロンその他のニューラルネットワークなどを採用可能である。なお、この場合、第１学習処理部１３１及び第２学習処理部１３３は、採用した機械学習のための学習処理部となる。

図１３における第１ＣＮＮ２０９ａ及び２０９ｂについても、図５と同様に、教師付き機械学習が行われた学習済みモデルの一例である。すなわち、第１ＣＮＮ２０９ａ及び２０９ｂは、このような学習済みモデル又は学習済みモデルの集合３０００であってもよい。また、第２ＣＮＮ２１９ａ乃至２１９ｄも、このような学習済みモデル又は学習済みモデルの集合４０００であってもよい。この場合にも、教師付き機械学習としては、サポートベクターマシン、パーセプトロンその他のニューラルネットワーク等を採用可能である。なお、この場合、第１学習処理部２３１及び第２学習処理部２３３は、採用した機械学習のための学習処理部となる。

なお、上で述べた情報処理装置は、コンピュータ装置であって、メモリとＣＰＵ（Central Processing Unit）とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）と表示装置に接続される表示制御部とリムーバブル・ディスク用のドライブ装置と入力装置とネットワークに接続するための通信制御部とがバスで接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤに格納されており、ＣＰＵにより実行される際にはＨＤＤからメモリに読み出される。ＣＰＵは、アプリケーション・プログラムの処理内容に応じて表示制御部、通信制御部、ドライブ装置を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリに格納されるが、ＨＤＤに格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスクに格納されて頒布され、ドライブ装置からＨＤＤにインストールされる。インターネットなどのネットワーク及び通信制御部を経由して、ＨＤＤにインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ、メモリなどのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

なお、畳み込みニューラルネットワークについても、プログラムにより実装するようにしても良いし、専用の演算装置（例えばGraphics Processing Unit）をコンピュータに組み込むことで高速処理ができるようにしても良い。

以上述べた本実施の形態をまとめると以下のようになる。

第１の態様に係る疾患鑑別処理方法は、（Ａ）皮膚組織における真皮細胞の分布を表す画像と、皮膚組織における表皮細胞の分布を表す画像と、皮膚組織における異型細胞の分布を表す画像とを入力とし且つ腫瘍に係る特定の皮膚疾患の鑑別を出力とする学習済みの畳み込みニューラルネットワークにより、処理対象の皮膚組織における真皮細胞の分布を表す第１の画像と、処理対象の皮膚組織における表皮細胞の分布を表す第２の画像と、処理対象の皮膚組織における異型細胞の分布を表す第３の画像とを格納する記憶装置から読み出された第１の画像と第２の画像と第３の画像とに対して所定の演算を実行する実行ステップと、（Ｂ）学習済みの畳み込みニューラルネットワークからの出力に基づき、上記特定の皮膚疾患の鑑別結果を出力するステップとを含む。

このように真皮細胞の分布と表皮細胞の分布とに対する異型細胞の分布の関係と特定の皮膚疾患の有無との対応関係を予め学習しておき、真皮細胞の分布を表す画像と表皮細胞の分布を表す画像と異型細胞の分布を表す画像とを別々の画像で入力して評価すれば、腫瘍に係る特定の皮膚疾患（例えば悪性黒色腫）の鑑別を行うことができるようになる。

なお、学習済みの畳み込みニューラルネットワークは、皮膚組織のグレースケール画像と皮膚組織における免疫細胞の分布を表す画像と皮膚組織における管腔を作る細胞の分布を表す画像とのうち少なくともいずれかをさらに入力に用いて学習されており、上で述べた記憶装置が、処理対象の皮膚組織のグレースケール画像である第４の画像と処理対象の皮膚組織における免疫細胞の分布を表す第５の画像と処理対象の皮膚組織における管腔を作る細胞の分布を表す第６の画像との少なくともいずれかを格納する場合がある。そして、上で述べた実行ステップにおいて、第４の画像と第５の画像と第６の画像との少なくともいずれかを記憶装置からさらに読み出して、学習済みの畳み込みニューラルネットワークにより所定の演算を実行するようにしても良い。このようにすれば鑑別の精度が向上する。

また、第１の態様に係る疾患鑑別処理方法は、（Ｃ）処理対象の皮膚組織の画像から、第１乃至第３の画像と、第４乃至第６の画像の少なくともいずれかとを生成して記憶装置に格納するステップをさらに含むようにしても良い。このような処理については、別の畳み込みニューラルネットワークを用いても良いし、他の細胞種別判別技術を用いても良い。

第２の態様に係る病状予測処理方法は、（Ａ）皮膚組織における真皮細胞の分布を表す画像と、皮膚組織における表皮細胞の分布を表す画像と、皮膚組織における異型細胞の分布を表す画像と、皮膚組織における免疫細胞の分布を表す画像とを入力とし且つ腫瘍に係る特定の皮膚疾患の病状に関する予測を出力とする学習済みの畳み込みニューラルネットワークにより、処理対象の皮膚組織における真皮細胞の分布を表す第１の画像と、処理対象の皮膚組織における表皮細胞の分布を表す第２の画像と、処理対象の皮膚組織における異型細胞の分布を表す第３の画像と、処理対象の皮膚組織における免疫細胞の分布を表す第４の画像とを格納する記憶装置から読み出した第１の画像と第２の画像と第３の画像と第４の画像とに対して所定の演算を実行する実行ステップと、（Ｂ）学習済みの畳み込みニューラルネットワークからの出力に基づき、上記特定の皮膚疾患の病状に関する予測結果を出力するステップとを含む。

このように真皮細胞の分布と表皮細胞の分布とに対する異型細胞の分布及び免疫細胞の分布の関係と腫瘍に係る特定の皮膚疾患の病状に関する判定結果との対応関係を予め学習しておき、真皮細胞の分布を表す画像と表皮細胞の分布を表す画像と異型細胞の分布を表す画像と免疫細胞の分布を表す画像とを別々の画像で入力して評価すれば、腫瘍に係る特定の皮膚疾患（例えば悪性黒色腫）の病状に関する予測を行うことができるようになる。

なお、皮膚組織における免疫細胞の分布を表す画像及び第４の画像が、免疫細胞の種類毎に複数用いられるようにする場合もある。また、特定の皮膚疾患の病状に関する予測は、余命の予測と、病期分類の予測と、特定薬剤の投与効果の予測とのいずれかである場合もある。

また、上で述べた学習済みの畳み込みニューラルネットワークは、皮膚組織における管腔を作る細胞の分布を表す画像をさらに入力に用いて学習されており、上で述べた記憶装置が、処理対象の皮膚組織における管腔を作る細胞の分布を表す第５の画像を格納している場合がある。その場合、上で述べた実行ステップにおいて、第５の画像を記憶装置からさらに読み出して、学習済みの畳み込みニューラルネットワークにより所定の演算を実行するようにしても良い。これにより予測の精度が向上する。

第３の態様に係る疾患鑑別処理方法は、（Ａ）皮膚組織における真皮細胞の分布を表す画像と、皮膚組織における表皮細胞の分布を表す画像と、皮膚組織における異型細胞の分布を表す画像と、皮膚組織における免疫細胞の分布を表す画像と、皮膚組織における管腔を作る細胞の分布を表す画像とを入力とし且つ腫瘍に係る複数種類の皮膚疾患の鑑別を出力とする学習済みの畳み込みニューラルネットワークにより、処理対象の皮膚組織における真皮細胞の分布を表す第１の画像と、処理対象の皮膚組織における表皮細胞の分布を表す第２の画像と、処理対象の皮膚組織における異型細胞の分布を表す第３の画像と、処理対象の皮膚組織における免疫細胞の分布を表す第４の画像と、処理対象の皮膚組織における管腔を作る細胞の分布を表す第５の画像とを格納する記憶装置から読み出した第１乃至第５の画像に対して所定の演算を実行するステップと、（Ｂ）学習済みの畳み込みニューラルネットワークからの出力に基づき、複数種類の皮膚疾患の鑑別結果を出力するステップとを含む。

腫瘍に係る複数種類の皮膚疾患を鑑別できるようになる。

なお、皮膚組織における異型細胞の分布を表す画像及び第３の画像が、異型細胞の由来となる細胞毎に用意される場合もある。これによって精度を向上させることができるようになる。

第４の態様に係る疾患鑑別処理方法は、（Ａ）皮膚組織における真皮細胞の分布を表す画像と、皮膚組織における表皮細胞の分布を表す画像と、皮膚組織における免疫細胞の分布を表す画像と、皮膚組織における管腔を作る細胞の分布を表す画像とを入力とし且つ非腫瘍性の複数種類の皮膚疾患の鑑別を出力とする学習済みの畳み込みニューラルネットワークにより、処理対象の皮膚組織における真皮細胞の分布を表す第１の画像と、処理対象の皮膚組織における表皮細胞の分布を表す第２の画像と、処理対象の皮膚組織における免疫細胞の分布を表す第３の画像と、処理対象の皮膚組織における管腔を作る細胞の分布を表す第４の画像とを格納する記憶装置から読み出した第１乃至第４の画像に対して所定の演算を実行するステップと、（Ｂ）学習済みの畳み込みニューラルネットワークからの出力に基づき、非腫瘍性の複数種類の皮膚疾患の鑑別結果を出力するステップとを含む。

第５の態様に係る診断支援システムは、（Ａ）病理画像に含まれる皮膚組織における真皮細胞の分布を表す画像と、皮膚組織における表皮細胞の分布を表す画像と、皮膚組織における異型細胞の分布を表す画像とを入力とする機械学習の学習済みモデルと、（Ｂ）処理対象の皮膚組織における真皮細胞の分布を表す第１の画像と、処理対象の皮膚組織における表皮細胞の分布を表す第２の画像と、処理対象の皮膚組織における異型細胞の分布を表す第３の画像とに対する、機械学習の学習済みモデルからの出力に基づき、皮膚疾患に関する出力データを生成する出力データ生成部とを有する。

このように病理画像に含まれる皮膚組織における特定の細胞の分布を各々表す複数の画像を入力に用いる機械学習の学習済みモデルを用意すると、皮膚疾患に関する様々な出力データを生成できるようになり、精度の高い診断の支援が行えるようになる。

なお、上で述べた機械学習の学習済みモデルの出力は、腫瘍に係る特定の皮膚疾患の鑑別であり、上で述べた皮膚疾患に関する出力データが、特定の皮膚疾患の鑑別結果を含む場合もある。腫瘍に係る特定の皮膚疾患の鑑別に有用である。

また、上で述べた機械学習の学習済みモデルの入力は、皮膚組織のグレースケール画像と皮膚組織における免疫細胞の分布を表す画像と皮膚組織における管腔を作る細胞の分布を表す画像とのうち少なくともいずれかをさらに含む場合がある。この場合、上で述べた出力データ生成部は、処理対象の皮膚組織のグレースケール画像である第４の画像と処理対象の皮膚組織における免疫細胞の分布を表す第５の画像と処理対象の皮膚組織における管腔を作る細胞の分布を表す第６の画像との少なくともいずれかと第１乃至第３の画像とに対する、機械学習の学習済みモデルからの出力に基づき、特定の皮膚疾患の鑑別結果を含む出力データを生成するようにしてもよい。このようにすれば鑑別の精度が向上する。

さらに、第５の態様に係る診断支援システムは、（Ｃ）処理対象の皮膚組織の画像から、第１乃至第３の画像を生成する画像生成部をさらに有するようにしてもよい。なお、画像生成部は、第４乃至第６の画像の少なくともいずれかを生成するようにしてもよい。

また、上で述べた機械学習の学習済みモデルの入力は、皮膚組織における免疫細胞の分布を表す画像をさらに含む場合もある。また、上で述べた機械学習の学習済みモデルの出力は、腫瘍に係る特定の皮膚疾患の病状に関する予測である場合もある。このような場合、上で述べた出力データ生成部は、第１乃至第３の画像と処理対象の皮膚組織における免疫細胞の分布を表す第４の画像とに対する、機械学習の学習済みモデルの出力に基づき、特定の皮膚疾患の病状に関する予測結果を含む出力データを生成するようにしてもよい。例えば、第２の態様に係る病状予測処理方法と同様の効果が得られる。

なお、皮膚組織における免疫細胞の分布を表す画像及び第４の画像が、免疫細胞の種類毎に複数用いられる場合もある。また、特定の皮膚疾患の病状に関する予測は、余命の予測と、病期分類の予測と、特定薬剤の投与効果の予測とのいずれかである場合もある。

さらに、上で述べた機械学習の学習済みモデルの入力は、皮膚組織における管腔を作る細胞の分布を表す画像をさらに含むようにしてもよい。この場合、上で述べた出力データ生成部は、第１乃至第４の画像と処理対象の皮膚組織における管腔を作る細胞の分布を表す第５の画像とに対する、機械学習の学習済みモデルの出力に基づき、特定の皮膚疾患の病状に関する予測結果を含む出力データを生成するようにしてもよい。これにより予測の精度が向上する。

また、上で述べた機械学習の学習済みモデルの入力は、皮膚組織における免疫細胞の分布を表す画像と、皮膚組織における管腔を作る細胞の分布を表す画像とをさらに含む場合もある。また、機械学習の学習済みモデルの出力は、腫瘍に係る複数種類の皮膚疾患の鑑別である場合もある。このような場合には、上で述べた出力データ生成部は、第１乃至第３の画像と処理対象の皮膚組織における免疫細胞の分布を表す第４の画像と処理対象の皮膚組織における管腔を作る細胞の分布を表す第５の画像とに対する、機械学習の学習済みモデルの出力に基づき、複数種類の皮膚疾患の鑑別結果を含む出力データを生成するようにしてもよい。

なお、異型細胞の分布を表す画像及び第３の画像が、異型細胞の由来となる細胞毎に用意される場合もある。これによって精度を向上させることができるようになる。

第６の態様に係る診断支援システムは、（Ａ）病理画像に含まれる皮膚組織における真皮細胞の分布を表す画像と、皮膚組織における表皮細胞の分布を表す画像と、皮膚組織における免疫細胞の分布を表す画像と、皮膚組織における管腔を作る細胞の分布を表す画像とを入力とし且つ非腫瘍性の複数種類の皮膚疾患の鑑別を出力とする機械学習の学習済みモデルと、（Ｂ）処理対象の皮膚組織における真皮細胞の分布を表す第１の画像と、処理対象の皮膚組織における表皮細胞の分布を表す第２の画像と、処理対象の皮膚組織における免疫細胞の分布を表す第３の画像と、処理対象の皮膚組織における管腔を作る細胞の分布を表す第４の画像とに対する、機械学習の学習済みモデルの出力に基づき、非腫瘍性の複数種類の皮膚疾患の鑑別結果を含む出力データを生成する出力データ生成部とを有する。

第５及び第６の態様に係る診断支援システムにおける機械学習の学習済みモデルは、ニューラルネットワーク（特に学習済みの畳み込みニューラルネットワーク）や、サポートベクターマシンであってもよい。

なお、本願では、システムと記した場合には、１又は複数の情報処理装置を含むものとする。すなわち、ネットワークで接続された複数の情報処理装置が連携して１つのシステムとして動作する場合や、１台の情報処理装置で動作する場合とを含むものとする。

また、上記処理を実行するためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなど）、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。

Claims (17)

1. 病理画像に含まれる皮膚組織における真皮細胞の分布を表す画像と、前記皮膚組織における表皮細胞の分布を表す画像と、前記皮膚組織における異型細胞の分布を表す画像とを入力とする機械学習の学習済みモデルと、
   処理対象の皮膚組織における真皮細胞の分布を表す第１の画像と、前記処理対象の皮膚組織における表皮細胞の分布を表す第２の画像と、前記処理対象の皮膚組織における異型細胞の分布を表す第３の画像とに対する、前記機械学習の学習済みモデルからの出力に基づき、皮膚疾患に関する出力データを生成する出力データ生成部と、
   を有する診断支援システム。
2. 前記機械学習の学習済みモデルの出力は、腫瘍に係る特定の皮膚疾患の鑑別であり、
   前記皮膚疾患に関する出力データが、前記特定の皮膚疾患の鑑別結果を含む、
   請求項１記載の診断支援システム。
3. 前記機械学習の学習済みモデルの入力は、前記皮膚組織のグレースケール画像と前記皮膚組織における免疫細胞の分布を表す画像と前記皮膚組織における管腔を作る細胞の分布を表す画像とのうち少なくともいずれかをさらに含み、
   前記出力データ生成部は、
   前記処理対象の皮膚組織のグレースケール画像である第４の画像と前記処理対象の皮膚組織における免疫細胞の分布を表す第５の画像と前記処理対象の皮膚組織における管腔を作る細胞の分布を表す第６の画像との少なくともいずれかと前記第１乃至第３の画像とに対する、前記機械学習の学習済みモデルからの出力に基づき、前記特定の皮膚疾患の鑑別結果を含む出力データを生成する
   請求項２記載の診断支援システム。
4. 前記処理対象の皮膚組織の画像から、前記第１乃至第３の画像を生成する画像生成部
   をさらに有する請求項１又は２記載の診断支援システム。
5. 前記機械学習の学習済みモデルの入力は、前記皮膚組織における免疫細胞の分布を表す画像をさらに含み、
   前記機械学習の学習済みモデルの出力は、腫瘍に係る特定の皮膚疾患の病状に関する予測であり、
   前記出力データ生成部は、
   前記第１乃至第３の画像と前記処理対象の皮膚組織における免疫細胞の分布を表す第４の画像とに対する、前記機械学習の学習済みモデルの出力に基づき、前記特定の皮膚疾患の病状に関する予測結果を含む出力データを生成する
   請求項１記載の診断支援システム。
6. 前記皮膚組織における免疫細胞の分布を表す画像及び前記第４の画像が、前記免疫細胞の種類毎に複数用いられる
   請求項５記載の診断支援システム。
7. 前記機械学習の学習済みモデルの入力は、前記皮膚組織における管腔を作る細胞の分布を表す画像をさらに含み、
   前記出力データ生成部は、
   前記第１乃至第４の画像と前記処理対象の皮膚組織における管腔を作る細胞の分布を表す第５の画像とに対する、前記機械学習の学習済みモデルの出力に基づき、前記特定の皮膚疾患の病状に関する予測結果を含む出力データを生成する
   請求項５又は６記載の診断支援システム。
8. 前記特定の皮膚疾患の病状に関する予測は、
   余命の予測と、病期分類の予測と、特定薬剤の投与効果の予測とのいずれかである
   請求項５乃至７のいずれか１つ記載の診断支援システム。
9. 前記機械学習の学習済みモデルの入力は、前記皮膚組織における免疫細胞の分布を表す画像と、前記皮膚組織における管腔を作る細胞の分布を表す画像とをさらに含み、
   前記機械学習の学習済みモデルの出力は、腫瘍に係る複数種類の皮膚疾患の鑑別であり、
   前記出力データ生成部は、
   前記第１乃至第３の画像と前記処理対象の皮膚組織における免疫細胞の分布を表す第４の画像と前記処理対象の皮膚組織における管腔を作る細胞の分布を表す第５の画像とに対する、前記機械学習の学習済みモデルの出力に基づき、前記複数種類の皮膚疾患の鑑別結果を含む出力データを生成する
   請求項１記載の診断支援システム。
10. 前記皮膚組織における異型細胞の分布を表す画像及び前記第３の画像が、異型細胞の由来となる細胞毎に用意される
    請求項９記載の診断支援システム。
11. 病理画像に含まれる皮膚組織における真皮細胞の分布を表す画像と、前記皮膚組織における表皮細胞の分布を表す画像と、前記皮膚組織における免疫細胞の分布を表す画像と、前記皮膚組織における管腔を作る細胞の分布を表す画像とを入力とし且つ非腫瘍性の複数種類の皮膚疾患の鑑別を出力とする機械学習の学習済みモデルと、
    処理対象の皮膚組織における真皮細胞の分布を表す第１の画像と、前記処理対象の皮膚組織における表皮細胞の分布を表す第２の画像と、前記処理対象の皮膚組織における免疫細胞の分布を表す第３の画像と、前記処理対象の皮膚組織における管腔を作る細胞の分布を表す第４の画像とに対する、前記機械学習の学習済みモデルの出力に基づき、前記非腫瘍性の複数種類の皮膚疾患の鑑別結果を含む出力データを生成する出力データ生成部と、
    を有する診断支援システム。
12. 病理画像に含まれる皮膚組織における真皮細胞の分布を表す画像と、前記皮膚組織における表皮細胞の分布を表す画像と、前記皮膚組織における異型細胞の分布を表す画像とを入力とする機械学習の学習済みモデルから、処理対象の皮膚組織における真皮細胞の分布を表す第１の画像と、前記処理対象の皮膚組織における表皮細胞の分布を表す第２の画像と、前記処理対象の皮膚組織における異型細胞の分布を表す第３の画像とに対する出力を取得するステップと、
    前記機械学習の学習済みモデルからの出力に基づき、皮膚疾患に関する出力データを生成するステップと、
    を含み、コンピュータにより実行される診断支援方法。
13. 前記機械学習の学習済みモデルの出力は、腫瘍に係る特定の皮膚疾患の鑑別であり、
    前記皮膚疾患に関する出力データが、前記特定の皮膚疾患の鑑別結果を含む、
    請求項１２記載の診断支援方法。
14. 前記機械学習の学習済みモデルの入力は、前記皮膚組織における免疫細胞の分布を表す画像をさらに含み、
    前記機械学習の学習済みモデルの出力は、腫瘍に係る特定の皮膚疾患の病状に関する予測であり、
    前記出力データを生成するステップにおいて、
    前記第１乃至第３の画像と前記処理対象の皮膚組織における免疫細胞の分布を表す第４の画像とに対する、前記機械学習の学習済みモデルの出力に基づき、前記特定の皮膚疾患の病状に関する予測結果を含む出力データを生成する
    請求項１２記載の診断支援方法。
15. 前記機械学習の学習済みモデルの入力は、前記皮膚組織における免疫細胞の分布を表す画像と、前記皮膚組織における管腔を作る細胞の分布を表す画像とをさらに含み、
    前記機械学習の学習済みモデルの出力は、腫瘍に係る複数種類の皮膚疾患の鑑別であり、
    前記出力データを生成するステップにおいて、
    前記第１乃至第３の画像と前記処理対象の皮膚組織における免疫細胞の分布を表す第４の画像と前記処理対象の皮膚組織における管腔を作る細胞の分布を表す第５の画像とに対する、前記機械学習の学習済みモデルの出力に基づき、前記複数種類の皮膚疾患の鑑別結果を含む出力データを生成する
    請求項１２記載の診断支援方法。
16. 病理画像に含まれる皮膚組織における真皮細胞の分布を表す画像と、前記皮膚組織における表皮細胞の分布を表す画像と、前記皮膚組織における免疫細胞の分布を表す画像と、前記皮膚組織における管腔を作る細胞の分布を表す画像とを入力とし且つ非腫瘍性の複数種類の皮膚疾患の鑑別を出力とする機械学習の学習済みモデルから、処理対象の皮膚組織における真皮細胞の分布を表す第１の画像と、前記処理対象の皮膚組織における表皮細胞の分布を表す第２の画像と、前記処理対象の皮膚組織における免疫細胞の分布を表す第３の画像と、前記処理対象の皮膚組織における管腔を作る細胞の分布を表す第４の画像とに対する出力を取得するステップと、
    前記機械学習の学習済みモデルの出力に基づき、前記非腫瘍性の複数種類の皮膚疾患の鑑別結果を含む出力データを生成するステップと、
    を含み、コンピュータにより実行される診断支援方法。
17. 請求項１２乃至１６の診断支援方法を１又は複数のプロセッサに実行させるための実行するプログラム。

Images