WO2022176396A1 - 情報処理装置及び情報処理方法、コンピュータプログラム、並びに医療診断システム - Google Patents

Abstract

医用画像の鑑別診断を支援する情報処理装置を提供する。 医用画像に関する情報を処理する情報処理装置は、学習済みの機械学習モデルを用いて、前記医用画像に対して正解となる第１の疾患と、前記第１の疾患に関連する鑑別診断の対象となる第２の疾患を推論する推論部と、前記医用画像から前記第１の疾患の根拠及び前記第２の疾患の各根拠を計算する根拠計算部を具備する情報処理装置。前記推論部は、疾患毎に鑑別診断すべき疾患を示す鑑別ラベル情報に基づいて、医用画像から推論した第１の疾患に関連する鑑別診断の対象となる第２の疾患を特定する。

Description

情報処理装置及び情報処理方法、コンピュータプログラム、並びに医療診断システム

　本明細書で開示する技術（以下、「本開示」とする）は、病理画像データなどの医用画像データを処理する情報処理装置及び情報処理方法、コンピュータプログラム、並びに医療診断システムに関する。

　病気に罹患した患者を治療するには、病理を特定する必要がある。ここで、病理とは、病気になる理由や過程、根拠のことである。また、病理診断を行う医師を病理医と呼ぶ。病理診断は、例えば、体から採取した病変部を薄くスライスして染色などの処理を施して、顕微鏡を使って観察しながら病変の有無や病変の種類について診断する方法が一般的である。以下、本明細書では、単に「病理診断」というときは、特に言及しない限りこの診断方法を指すものとする。また、薄くスライスした病変部を顕微鏡で観察する画像のことを「病理画像」と呼び、デジタル化した病理画像を「病理画像データ」と呼ぶことにする。

　癌などの重篤な病気の疑いがある場合には、病理診断は非常に大きな役割を担う。病理診断を利用した検査数は増加傾向にあるが、診断を担当する病理医不足が課題である。病理医不足は、病理医の労働負荷の増大や、診断結果を得るまでの期間の長期化による患者の負担増大を招来する。このため、病理画像のデジタル化と、人工知能による画像解析機能を利用した病理診断や、オンライン上での病理による遠隔診断などが検討されている。

　医療分野においても、人工知能技術は浸透しつつある。例えば、診断対象の病理画像データから得られる画像情報と診断結果の付随した既存の病理画像情報に基づいて診断確率モデルにより疾患毎の診断確率を求めて、確率の高い疾患を絞り込む病理画像診断支援装置が提案されている（特許文献１を参照のこと）。

　病理診断は、治療法などを大きく左右するため、医師しか行うことのできない絶対的医行為である。したがって、人工知能による病理診断は、スクリーニングによる診断工数の削減など診断を支援するツールとし、最終的には病理医が判断を下す必要がある。他方、人工知能は判断の根拠が分かり難いことから、ブラックボックスにたとえられる。このため、病理医は、人工知能による病理診断の根拠が理解できず、診断支援ツールとして十分に活用できないことが懸念される。

特開２０１２－１７９３３６号公報 特開２０２０－３８６００号公報

Ｒｅｓｉｄｕａｌｓ　ａｎｄ　Ｉｎｆｌｕｅｎｃｅ　ｉｎ　Ｒｅｇｒｅｓｓｉｏｎ，　Ｃｏｏｋ，　Ｒ．Ｄ．　ａｎｄ　Ｗｅｉｓｂｅｒｇ，Ｓ　＜ｈｔｔｐｓ：／／ｃｏｎｓｅｒｖａｎｃｙ．ｕｍｎ．ｅｄｕ／ｈａｎｄｌｅ／１１２９９／３７０７６＞ Ｗｈａｔ　Ｕｎｃｅｒｔａｉｎｔｉｅｓ　Ｄｏ　Ｗｅ　Ｎｅｅｄ　ｉｎ　Ｂａｙｅｓｉａｎ　Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ　ｆｏｒ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｏｎ，ＮＩＰＳ　２０１７，　Ａｌｅｘ　Ｋｅｎｄａｌｌ　ａｎｄ　Ｙａｒｉｎ　Ｇａｌ　＜ｈｔｔｐｓ：／／ｐａｐｅｒｓ．ｎｉｐｓ．ｃｃ／ｐａｐｅｒ／７１４１－ｗｈａｔ－ｕｎｃｅｒｔａｉｎｔｉｅｓ－ｄｏ－ｗｅ－ｎｅｅｄ－ｉｎ－ｂａｙｅｓｉａｎ－ｄｅｅｐ－ｌｅａｒｎｉｎｇ－ｆｏｒ－ｃｏｍｐｕｔｅｒ－ｖｉｓｉｏｎ．ｐｄｆ＞ Ｇｅｎｅｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ，　Ｉａｎ　Ｊ．　Ｇｏｏｄｆｅｌｌｏｗ　ｅｔ　ａｌ．　＜ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１４０６．２６６１＞ Ｇｒａｄ－ＣＡＭ：　Ｖｉｓｕａｌ　Ｅｘｐｌａｎａｔｉｏｎｓ　ｆｒｏｍ　Ｄｅｅｐ　Ｎｅｔｗｏｒｋｓ　ｖｉａ　Ｇｒａｄｉｅｎｔ－ｂａｓｅｄ　Ｌｏｃａｌｉｚａｔｉｏｎ　＜ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６１０．０２３９１＞ "Ｗｈｙ　Ｓｈｏｕｌｄ　Ｉ　Ｔｒｕｓｔ　Ｙｏｕ？"：　Ｅｘｐｌａｉｎｉｎｇ　ｔｈｅ　Ｐｒｅｄｉｃｔｉｏｎｓ　ｏｆ　Ａｎｙ　Ｃｌａｓｓｉｆｉｅｒ　＜ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０２．０４９３８＞ Ｉｎｔｅｒｐｒｅｔａｂｉｌｉｔｙ　Ｂｅｙｏｎｄ　Ｆｅａｔｕｒｅ　Ａｔｔｒｉｂｕｔｉｏｎ：　Ｑｕａｎｔｉｔａｔｉｖｅ　Ｔｅｓｔｉｎｇ　ｗｉｔｈ　Ｃｏｎｃｅｐｔ　Ａｃｔｉｖａｔｉｏｎ　Ｖｅｃｔｏｒｓ　（ＴＣＡＶ）　＜ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１７１１．１１２７９．ｐｄｆ＞

　本開示の目的は、人工知能機能を用いて医用画像データを処理する情報処理装置及び情報処理方法、コンピュータプログラム、並びに医療診断システムを提供することにある。

　本開示は、上記課題を参酌してなされたものであり、その第１の側面は、医用画像に関する情報を処理する情報処理装置であって、
　前記医用画像に対して正解となる第１の疾患と、前記第１の疾患に関連する鑑別診断の対象となる第２の疾患を推論する推論部と、
　前記医用画像から前記第１の疾患の根拠及び前記第２の疾患の根拠を計算する根拠計算部と、
を具備する情報処理装置である。

　前記推論部は、学習済みの機械学習モデルを用いて、前記医用画像から前記第１の疾患を推論する。前記機械学習モデルは、医用画像と正解となる疾患を組み合わせたデータセットからなる学習データを用いて学習されている。

　前記推論部は、疾患毎に鑑別診断すべき疾患を示す鑑別ラベル情報に基づいて、医用画像から推論した第１の疾患に関連する鑑別診断の対象となる第２の疾患を特定する。

　前記推論部は学習済みのニューラルネットワークモデルを用いて第１の疾患及び第２の疾患を推論する。そして、前記根拠計算部は、前記ニューラルネットワークモデルが前記第１の疾患及び前記第２の疾患の各根拠をそれぞれ推論する。

　例えば、前記根拠計算部は、前記ニューラルネットワークモデルの出力層においてクラス分類の推論結果となるラベルから勾配を逆にたどることによって、元の医用画像のうち各クラスに影響する部分を推論する。あるいは、前記根拠計算部は、前記ニューラルネットワークモデルに入力された医用画像データの特徴量を摂動させた際の出力の変動量に基づいて、前記第１の疾患及び前記第２の疾患の各根拠をそれぞれ推論する。

　また、本開示の第２の側面は、医用画像に関する情報を処理する情報処理方法であって、
　前記医用画像に対して正解となる第１の疾患を推論する第１の推論ステップと、
　前記第１の疾患に関連する鑑別診断の対象となる第２の疾患を推論する第２の推論ステップと、
　前記医用画像から前記第１の疾患の根拠を計算する第１の根拠計算ステップと、
　前記医用画像から前記第２の疾患の根拠を計算する第２の根拠計算ステップと、
を有する情報処理方法である。

　また、本開示の第３の側面は、コンピュータ上で医用画像に関する情報を処理するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータを、
　前記医用画像に対して正解となる第１の疾患と、前記第１の疾患に関連する鑑別診断の対象となる第２の疾患を推論する推論部、
　前記医用画像から前記第１の疾患の根拠及び前記第２の疾患の根拠を計算する根拠計算部、
として機能させるコンピュータプログラムである。

　本開示の第３の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、本開示の第３の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本開示の第１の側面に係る情報処理装置と同様の作用効果を得ることができる。

　また、本開示の第４の側面は、
　機械学習モデルが医用画像データから疾患を推論するように前記機械学習モデルが学習を行う学習部と、
　前記学習部による学習済みの前記機械学習モデルを用いて、前記医用画像に対して正解となる第１の疾患を推論するとともに、前記第１の疾患に関連する鑑別診断の対象となる第２の疾患を推論する推論部と、
　前記医用画像から前記第１の疾患の根拠及び前記第２の疾患の根拠を計算する根拠計算部と、
　表示装置と、
　前記推論部の推論結果と前記根拠計算部の計算結果を前記表示装置に提示する提示部と、
を具備する医療診断システムである。

　但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

　本開示によれば、人工知能機能を用いて医用画像の鑑別診断を支援するための処理を行う情報処理装置及び情報処理方法、コンピュータプログラム、並びに医療診断システムを提供することができる。

　なお、本明細書に記載された効果は、あくまでも例示であり、本開示によりもたらされる効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

　本開示のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、医療診断システム１００の機能的構成例を示した図である。 図２は、学習データを構築する仕組みを模式的に示した図である。 図３は、データ調整装置２００によるデータ調整処理を含めた医療診断システム１００の動作を示した図である。 図４は、ＧＡＮを利用した追加データ生成部３１３の構成例を示した図である。 図５は、医療診断システム１００において適用される機械学習モデル５００の構成例を示した図である。 図６は、鑑別ラベル情報保持部１１３が保持する鑑別ラベル情報の例を示した図である。 図７は、推論ラベルについて計算された根拠画像を例示した図である。 図８は、鑑別ラベルについて計算された根拠画像を例を示した図である。 図９は、医療診断システム１００の推論フェーズにおける処理動作を示したフローチャートである。 図１０は、情報処理装置１０００の構成例を示した図である。 図１１は、画面遷移例を示した図である。 顕微鏡システムの全体構成を概略的に示す図である。 撮像方式の例を示す図である。 撮像方式の例を示す図である。

　以下、図面を参照しながら本開示について、以下の順に従って説明する。

Ａ．概要
Ｂ．システム構成
Ｃ．学習データの構築
Ｄ．機械学習モデルの構成
Ｅ．鑑別ラベル情報の構成
Ｆ．根拠計算
Ｇ．推論結果の提示
Ｈ．推論フェーズにおける動作
Ｉ．情報処理装置の構成例
Ｊ．顕微鏡システム

Ａ．概要
　人工知能による病理診断を、診断工数の削減など病理医の診断支援ツールとして活用することができる。病理診断は治療方法などを大きく左右する絶対的言行為であり、最終的には病理医が病理診断を行う必要がある。ところが、人工知能による病理診断の根拠が分かり難いと、病理医は最終的な病理診断に活用し難くなる。

　また、患部の症状や検査結果から可能性のある複数の病気を比較しながら、合理的に病気を特定する「鑑別診断」という診断方法がある。病理医は、１つの病理画像データから病理診断する思考過程で、確度が最も高い疾患と、稀な（又は、２番目に確度の高い）疾患とを比較しながら、疾患を特定する。例えば、病理医が疾患Ａ又は疾患Ｂのいずれであるかを迷うときには、疾患Ｂを否定して疾患Ａであると鑑別診断する。また、癌の病理診断においては、癌のグレード（悪性度）も診断する必要があり、他のグレードを否定してあるグレーであると鑑別診断する。ところが、人工知能による病理画像の診断を行う場合、人工知能がブラックボックス化されその判断の根拠が明確でないため、病理医は人工知能の診断結果から鑑別診断を行うことが困難である。

　そこで、本開示では、人工知能を利用して病理画像データの鑑別診断を支援する医療診断システムについて提案する。本開示に係る医療診断システムは、人工知能による診断結果の根拠を提示し、さらに診断結果に対応する鑑別診断の根拠も提示する。したがって、病理医は、提示された各根拠に基づいて人工知能による診断結果及び鑑別診断を適切に評価して、高精度に（又は、自信を持って）病理診断を行うことが可能になる。

Ｂ．システム構成
　図１には、本開示を適用した医療診断システム１００の機能的構成例を模式的に示している。医療診断システム１００は、人工知能機能を利用して、主に病理画像などの医用画像データの鑑別診断を実施し、又は病理医による鑑別診断の支援を行うように構成されている。人工知能機能は、具体的には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）などの機械学習モデルで構成される。医療診断システム１００の動作は、学習フェーズと、推論フェーズに大別される。学習フェーズでは、入力データ（病理画像などの医用画像データ）と正解ラベル（正解の診断結果）を組み合わせたデータセットからなる学習データを用いて、機械学習モデルの学習を行う。また、推論フェーズでは、学習フェーズを通じて獲得された学習済みの機械学習モデルを用いて、入力データ（病理画像などの医用画像データ）の推論（病理の診断）を行う。本実施形態では、膨大量の学習データを用いてディープラーニングを行い、推論フェーズではＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いて推論することを想定している。

　学習フェーズの動作は、学習データ保持部１０１、学習部１０２、及びモデルパラメータ保持部１０３の各機能モジュールによって実現される。

　学習データ保持部１０１は、膨大量の学習データを保持している。学習データは、デジタル化された病理画像データと、病理画像データに対して正解ラベルとなる、病理医による正確な診断結果とを組み合わせたデータセットからなる。例えば、全国又は全世界の病理医が診断した病理画像データ及び診断結果を収集して、所定フォーマットの学習データに成形して、学習データ保持部１０１に蓄積される。ここで、学習データは、すべての病理画像に対して正解ラベルを付けても良いし、一部の病理画像に対してラベルを付けても良い。後者の場合は、病理医は、画像の一部領域を指定して、指定した領域に対して正解ラベルを付けても良い。領域の指定方法としては、単純にグリッド状に切っても良いし、矩形、多角形、あるいは任意の形状などで領域を指定しても良い。

　学習部１０２は、学習データ保持部１０１から学習データを逐次読み出して、機械学習モデルの学習を行う。機械学習モデルは、例えば、人間のニューロンを模倣した構造を持つニューラルネットワークで構成される。学習中の機械学習モデルが入力データに対して出力するラベルと正解ラベルとの誤差に基づく損失関数を計算して、損失関数が最小化するように機械学習モデルの学習処理を行う。

　例えば、取り込まれた病理画像データに対して正解ラベルとなる診断結果を出力するように、モデルパラメータを更新することによって、機械学習モデルの学習処理が行われる。モデルパラメータは、機械学習モデルの挙動を規定する変動要素であり、例えばニューラルネットワークの各ニューロンに与える重み付け係数などである。誤差逆伝播法においては、ニューラルネットワークの出力層の値と正しい診断結果（正解ラベル）との誤差に基づいて損失関数を定義して、最急降下法などを用いて損失関数が最小化するようにモデルパラメータの更新が行われる。そして、学習部１０２は、学習結果として得られたモデルパラメータを、モデルパラメータ保持部１０３に格納する。

　推論フェーズの動作は、画像取込部１１１、推論部１１２、鑑別ラベル情報保持部１１３、根拠計算部１１４、提示処理部１１５、及び鑑別ラベル更新部１１６の各機能モジュールによって実現される。

　画像取込部１１１は、診断の対象となる医用画像を外部から取り込んで、推論部１１２に入力する。医用画像は、具体的には、病理医が顕微鏡を使って観察している病理画像を高精細にデジタル化した病理画像データである。ここで言う病理画像は、病変部などの生体由来試料を薄くスライスして染色又は標識などの処理が施された病理標本を顕微鏡で観察した画像を含む。画像取込部１１１は、例えば病理標本を載せたガラススライドの顕微鏡観察画像をデジタル化して取り込むＷＳＩ（Ｗｈｏｌｅ　Ｓｌｉｄｅ　Ｉｍａｇｉｎｇ）スキャナーである。また、画像取り込む部１１１は、遠隔のＷＳＩスキャナーからネットワーク経由で病理画像データを受信する装置であってもよい。

　推論部１１２は、モデルパラメータ保持部１０３から読み出したモデルパラメータを設定したモデルすなわち学習済みの機械学習モデルを使って、画像取込部１１１を介して取り込まれた病理画像データから推論した病変部の病理診断結果を、出力ラベルとして出力する。

　鑑別ラベル情報保持部１１３は、推論部１１２が推論した診断結果に関連する鑑別診断を行うための情報を保持している。具体的には、推論部１１２で使用する学習済み機械学習モデルの出力ラベルとなり得る疾患毎に、鑑別診断の対処となり得る疾患を鑑別ラベルの情報を保持している。そして、鑑別ラベル情報保持部１１３は、推論部１１２の出力ラベル（診断結果）を受け取ると、その疾患に関連する疾病を特定する鑑別ラベルを返す。また、鑑別ラベル更新部１１６は、ユーザの入力により、又は公共データベースのデータをキュレーションして、鑑別ラベル情報保持部１１３に保持されている鑑別ラベル情報を更新する。例えば、病理学会の病理診断プロトコルが更新されると、ユーザが手動入力することで、推論ラベル更新と、それに対応する鑑別ラベルの更新を行うようにすればよい。これらのラベル更新作業を自動で実施するようにしてもよい。鑑別ラベル更新部１１６は、定期的に、病理学会の病理診断プロトコルが記載されているＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）を取得して、変化があった鑑別ラベル部分を検出して、更新処理を行うようにしてもよい。

　根拠計算部１１４は、推論部１１２が学習済み機械学習モデルを用いて診断した結果の根拠（すなわち、機械学習モデルが出力ラベルを判断した根拠）と、推論部１１２が診断結果に対応する鑑別診断を推論した場合の根拠（すなわち、機械学習モデルが鑑別ラベルを判断した場合の根拠）を計算する。

　根拠計算部１１４は、例えば、Ｇｒａｄ－ＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ　Ｃｌａｓｓ　Ａｃｔｉｖａｔｉｏｎ　Ｍａｐｐｉｎｇ）（例えば、非特許文献４を参照のこと）、ＬＩＭＥ（ＬＯＣＡＬ　Ｉｎｔｅｒｐｒｅｔａｂｌｅ　ｍｏｄｅｌ－ａｇｎｏｓｔｉｃ　Ｅｘｐｌａｎａｔｉｏｎｓ）（例えば、非特許文献５を参照のこと）、ＬＩＭＥの発展形であるＳＨＡＰ（ＳＨａｐｌｅｙ　Ａｄｄｉｔｉｖｅ　ｅｘＰｌａｎａｔｉｏｎｓ）、ＴＣＡＶ（Ｔｅｓｔｉｎｇ　ｗｉｔｈ　Ｃｏｎｃｅｐｔ　Ａｃｔｉｖａｔｉｏｎ　Ｖｅｃｔｏｒｓ）（例えば、非特許文献６を参照のこと）などのアルゴリズムを使って、推論部１１２において学習済み機械学習モデルを用いた診断及び鑑別診断の各々の判断根拠を可視化した画像を算出することができる。但し、Ｇｒａｄ－Ｃａｍ、ＬＩＭＥ／ＳＨＡＰ、ＴＣＡＶを用いた根拠計算方法の詳細については後述に譲る。

　提示処理部１１５は、推論部１１２による病理画像データの診断結果及び鑑別診断を、各々の判断根拠とともに表示装置１２０に画面表示するための処理を行う。基本的には、病理画像データの診断結果及び鑑別診断の根拠として、元の病理画像のうち診断に与える影響の強い部分を示すヒートマップを重畳表示する形態で判断根拠を提示する。また、提示処理部１１５は、ユーザインターフェース（ＵＩ）部１３０を介したユーザ入力に応答して、病理画像データの診断結果及びその根拠情報と、鑑別診断及びその根拠情報とを切り替えて表示するようにしてもよい。但し、表示方法の詳細については後述に譲る。

　表示装置１２０は、デジタル病理画像を用いた診断のために画像の観察に利用されるモニターであるが、病理医が直接視認することで診断を下すツールであるという観点から、光学顕微鏡におけるレンズと同様に重要であり、色再現性に優れ、画素ピッチの細かい高品質のモニターであることが好ましい。

　病理医は、表示装置１２０の画面上で、病理診断の対象となる病理画像データに対する診断結果及びその診断結果に関連する鑑別診断を、各々の根拠情報とともに確認することができる。したがって、病理医は、提示された各根拠に基づいて人工知能による診断結果及び鑑別診断を適切に評価して、高精度に（又は、自信を持って）病理診断を行うことが可能になる。

　また、病理医は、病理診断の対象となる病理画像データに対する診断結果及びその診断結果に関連する鑑別診断を、各々の根拠情報とともに確認した結果、推論部１１２における出力ラベルである診断結果ではなく、鑑別ラベルを最終的な病理診断の結果に採用することもできる。このような場合、病理医は、ＵＩ部１３０などを通じて最終的な診断結果を医療診断システム１００に入力することができる。また、このときの病理画像データと鑑別診断を組み合わせたデータセットを新たな学習データとして学習データ保持部１０１に蓄積して、機械学習モデルの再学習に活用するようにしてもよい。

　なお、学習フェーズ及び推論フェーズを、それぞれ個別の情報処理装置（パーソナルコンピュータなど）上で実現するようにしてもよい。あるいは、学習フェーズ及び推論フェーズを１台の情報処理装置上で実現するようにしてもよい。

Ｃ．学習データ
　推論部１１２において使用する機械学習モデルを学習するための学習データは、デジタル化された病理画像データと、病理画像データに対する正解ラベルとなる、病理医による正確な診断結果とを組み合わせたデータセットからなる。学習データは病理画像データの一部と、正解ラベルのセットにしても良い。

　図２には、全国又は全世界に散在する病理医が診断した病理画像データ及び診断結果を収集して、学習データを学習データ保持部１０１に蓄積する仕組みを模式的に示している。各病理医は、例えば特許文献２で開示される医療システムを用いて病理画像データの病理診断を行うようにしてもよい。そして、各病理医が病理診断した病理画像データ及びその診断結果の組み合わせからなるデータセットは、例えばインターネットなどの広域ネットワークを通じてクラウド上で収集される。

　機械学習モデルのディープラーニングには厖大量の学習データが必要である。クラウド上で収集したデータセットをすべて学習データに活用するようにしてもよい。但し、収集したデータセットのうち、機械学習モデルの学習に寄与する度合いが低いデータセットなどの有害なデータセットの排除や機械学習モデルの不確実性の究明といったデータ調整処理をデータ調整装置２００で行って、ディープラーニング用の学習データを構築するようにしてもよい。

　図３には、データ調整装置２００によるデータ調整処理を含めた医療診断システム１００の動作を概念的に示している。

　学習データ蓄積部１０１には、病理医が診断した病理画像データ及び診断結果を組み合わせたデータセット３０２などからなる学習データが蓄積されている。学習部１０２は、データセット３０２を用いて、ニューラルネットワーク（ＣＮＮなど）で構成される機械学習モデル３０１の学習処理（ディープラーニング）を行う。

　学習過程における機械学習モデル３０１には、病理画像データなどのテストデータ（ＴＤ）が入力され、機械学習モデル３０１からの出力ラベル（入力された病理画像データから推論した診断結果）の正誤を判定し、誤診断であればその情報をフィードバックして、機械学習モデル３０１の学習を行う。

　データ調整装置２００は、影響度評価部３１１と、学習状態判定部３１２と、追加データ生成部３１３を含んでいる。影響度評価部３１１は、ネットワークなどを通じて収集した各データセットが機械学習モデル３１１に与える影響度を評価する。影響度が高いデータセットは有益な学習データであるが、影響度が低いデータセットは学習データとして有害であり、取り除くようにしてもよい。また、学習状態判定部３１２は、機械学習モデル３０１の学習の状態、具体的にはディープラーニングの限界でこれ以上精度を向上できないか、又は、学習データの不足が原因で精度が出ていないか（再学習により精度をさらに向上できるか）を判定する。また、追加データ生成部３１３は、病理医からの新規のデータセットの収集に頼らずに、既に取得されている（学習データ蓄積部１０１に蓄積されている）学習データから追加の学習データを生成する。以下では、各部の処理についてさらに詳細に説明する。

Ｃ－１．影響度評価
　ここでは、影響度評価部３１１において実施される、ネットワークなどを通じて収集した各データセットが機械学習モデル３０１に与える影響度の評価方法について説明する。

　データセットｚは、入力（病理画像データ）ｘに出力ラベル（診断結果）ｙが対応付けられたデータである。下式（１）に示すように、ｎ個のデータセットがあることを想定する。

　機械学習モデル３０１のモデルパラメータがθ∈Θのときに、データセットｚの損失をＬ（ｚ，θ）とすると、ｎ個の全データセットにおける経験損失は下式（２）のように表すことができる。

　機械学習モデル３０１の学習は、経験損失を最小化するモデルパラメータを見つけることを意味する。したがって、上式（１）に示したｎ個のデータセットを用いて機械学習モデル３０１の学習を行った結果として得られるモデルパラメータは、下式（３）のように表すことができる。但し、式（３）の左辺に示すように、パラメータ「θ」の上に「＾」が付された場合、そのパラメータ「θ」の予測値を表すものとする。以下、文章中では、パラメータθの予測値を「θ」に続けて「＾」を記載した「θ＾」で表記する。

　続いて、あるトレーニングポイントのデータセットｚがない場合に機械学習モデル３０１の学習に与える影響について考えてみる。このトレーニングポイントのデータセットｚを取り除いて学習処理を行ったときの機械学習モデル３０１のモデルパラメータは、下式（４）のように表すことができる。

　トレーニングポイントのデータセットｚの影響度は、データセットｚを取り除いたときと、データセットｚを含めてｎ個の全データセットを用いたときにそれぞれ学習処理を行って得られるモデルパラメータの差分である。この差分は下式（５）のように表される。

　特定のデータポイントのデータセットｚを取り除いてモデルパラメータの再学習を行うと、計算コストが非常に高い。そこで、影響度評価部３１１では、影響関数（Ｉｎｆｌｕｅｎｃｅ　Ｆｕｎｃｔｉｏｎｓ）（非特許文献１を参照のこと）を用いて、再計算することなしにデータセットの影響度ｚを効果的に近似計算する。具体的には、データセットｚの入力データ（画像）が微小な値εによって重み付けられたとして、パラメータの変化を計算していく。ここで、下式（６）を用いて、その左辺に示すような新たなパラメータ「θ_ε,z＾」を定義する。

　そして、データセットｚに対応する影響関数は、下式（７）及び（８）を用いて表すことができる。

　上式（７）は、データセットｚに対応する影響関数であり、例えば微小な重みεに対するモデルパラメータθ＾の変化量を表す。また、上式（８）は、ヘッシアン（ヘッセ行列）を示す。ここでは、正定値を持つヘッセ行列であると仮定し、逆行列も存在する。あるトレーニングポイントでデータセットｚを取り除くことは、「ε＝－１／ｎ」によって重みづけられることと同じであると仮定すると、データセットｚを取り除いたときのモデルパラメータの変化は、下式（９）で近似して表すことができる。

　したがって、影響度評価部３１１は、再学習することなしに、データセットｚの影響度を測定することができる。

　続いて、影響度評価部３１１は、下式（１０－１）～（１０－３）を用いて、あるテストポイントｚ_testでの損失への影響を測定する。

　このように、あるテストポイントｚ_testでの重み付けられたデータセットｚの影響度を定式化することができる。したがって、影響度評価部３１１は、この演算によって機械学習モデル３０１におけるデータセットの影響度を測定することができる。例えば、あるデータセットがモデルの予測（損失）に与える影響は、上式（１０－３）によって求めることができる。上式（１０－３）の右辺は、あるデータの損失に対する勾配、ヘッシアンの逆行列、ある学習データの損失の勾配などからなる。

　但し、このＣ－１項で説明した影響度の評価方法は一例であり、影響度評価部３１１は、その他の方法によってデータセットの影響度を測定するようにしてもよい。

Ｃ－２．学習状態の判定
　ここでは、学習状態判定部３１２で行われる、機械学習モデル３０１の学習の状態の判定方法について説明する。

　一般的にＤＮＮモデルの推論は高精度であるが、推論には限界がある。モデルの学習の状態、すなわち、ディープラーニングの限界でこれ以上精度を向上できないか、又は、学習データの不足が原因で精度が出ていないか（再学習により精度をさらに向上できるか）を把握することは、ディープラーニングを使いこなすうえで非常に重要である。ところが、ディープラーニングの不確実性を完全に排除することは困難である。

　ディープラーニングの不確実性は、偶発的な不確実性（Ａｌｅａｔｏｒｉｃ　ｕｎｃｅｒｔａｉｎｔｙ）と、認識における不確実性（Ｅｐｉｓｔｅｍｉｃ　ｕｎｃｅｒｔａｉｎｔｙ）の２つのタイプに分けることができる。前者の偶発的な不確実性は、観測によるノイズに起因するものであり、データ不足によるものではない。例えば、隠れて見えない画像（オクルージョン）が偶発的な不確実性に該当する。マスクをした人の顔の口元は、そもそもマスクで隠れているのでデータとして観測することができない。一方、後者の認識における不確実性は、データが不足していることに起因し、データが充分に存在するとしたら認識における不確実性を改善することができる。

　学習状態判定部３１２は、ベイジアンディープラーニング（Ｂａｙｅｓｉａｎ　Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ）（例えば非特許文献２を参照のこと）を用いて、機械学習モデル３０１の不確実性を明らかにする。ベイジアンディープラーニングは、学習時のみならず、推論時にもドロップアウト（一部のモデルパラメータのランダムな無効化）を利用して推論結果の不確実性を判定する。具体的には、機械学習モデル３０１にデータ（病理画像データ）を入力すると、ドロップアウトによって欠損したニューロンを通過し、その経路の重みによって特徴付けられた出力ラベルを得ることになるが、同じデータを入力しても異なる経路を通過して出力することから、出力が分散する。出力の分散が大きいことは、機械学習モデル３０１の推論における不確実性が大きいことを意味し、十分な学習データで学習を行うことにより不確実性を改善することができる。

　したがって、学習状態判定部３１２がベイジアンディープラーニングに基づいて学習状態を判定した結果に基づいて、学習部１０２は、機械学習モデル３０１の学習を終了したり、学習データを追加して学習を継続したりすればよい。

Ｃ－３．追加データの生成
　ここでは、追加データ生成部３１３で行われる、既存の学習データから追加の学習データを生成する方法について説明する。追加データ生成部３１３は、例えば学習状態判定部３１２が機械学習モデル３０１の不確実性を判定した結果に応答して、機械学習モデル３０１の再学習を行うための追加の学習データの生成を行う。また、追加データ生成部３１３は、機械学習モデル３０１にテストデータ（ＴＤ）を入力した際の出力ラベルが誤判定であったことをトリガにして、追加データを生成するようにしてもよい。追加データ生成部３１３は、その際のテストデータに基づいて、追加データを生成するようにしてもよい。

　本実施形態では、追加データ生成部３１３はＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋ）アルゴリズム（例えば非特許文献３を参照のこと）を用いて追加の学習データを自動生成することを想定している。ＧＡＮは、２つのネットワークを競合させて入力データの学習を深めていくアルゴリズムである。

　図４には、ＧＡＮを利用した追加データ生成部３１３の構成例を示している。図４に示す追加データ生成部３１３は、生成器（Ｇｅｎｅｒａｔｏｒ：Ｇ）４０１と、識別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ：Ｄ）４０２を備えている。生成器４０１と識別器４０２はそれぞれニューラルネットワークモデルで構成される。

　生成器４０１は、学習データ蓄積部１０１に蓄積されている病理画像データにノイズを付加して、偽の病理画像データ（Ｆａｋｅ　Ｄａｔａ：ＦＤ）を生成する。一方、識別器４０２は、本物の病理画像データと生成器４０１が生成した病理画像データの真偽を識別する。そして、生成器４０１は識別器４０２による真偽が困難となるように、一方の識別器４０２は生成器４０１によって生成された病理画像データを正しく識別できるように、互いに競い合いながら学習することで、真偽判定不能な、すなわち新しい病理画像データが生成できるようになる。相互学習の過程は、下式（１１）のように表される。

　上式（１１）において、Ｇは生成器４０１、Ｄは識別器４０２に対応する。ＤはＧを本物か偽物か判断し、正しくラベル付けをする確率Ｄ（ｘ」を最大化しようと学習する。一方、ＧはＤに自分が本物であると認識させるために、ＤがＧを偽物であるとラベル付する確率ｌｏｇ（１?Ｄ（Ｇ（ｚ））)を最小化しようと学習する。Ｄが正しくラベル付けできた場合、Ｄ（ｘ）の値が大きくなり、ｌｏｇＤ（ｘ）の値も大きくなる。さらにＧが偽物であることを突き止めることで、Ｄ（Ｇ（ｚ））が小さくなる。その結果、ｌｏｇ（１?Ｄ（Ｇ（ｚ）））が大きくなり、Ｄが優勢になる。これに対し、Ｇが本物に近いデータを生成できた場合、Ｇ（ｚ）の値が大きくなり、Ｄ（Ｇ（ｚ））の値も大きくなる。さらにＤが正しくラベル付けできなくなることで、Ｄ（ｘ）の値が小さくなり、ｌｏｇＤ（ｘ）の値も小さくなる。その結果、ｌｏｇ（１?Ｄ（Ｇ（ｚ）））が小さくなり、Ｇが優勢になる。このような動作を繰り返して、ＤとＧを交互に更新して各々の学習を深めていくことができる。

　もちろん、追加データ生成部３１３は、ＧＡＮ以外のアルゴリズムを用いて追加の学習データを生成するようにしてもよいし、新たに病理医の病理医診断結果を収集して新規の学習データを取得するようにしてもよい。

Ｄ．機械学習モデルの構成
　上記Ａ項で説明したように、学習部１０２は病理画像データから病変部の病理診断結果を推論する機械学習モデルの学習処理を行い、推論部１１２は、かかる学習済みの機械学習モデルを用いて、取り込まれた病理画像データから病変部の病理診断結果を推論する。図５には、医療診断システム１００において適用される機械学習モデル５００の構成例を概念的に示している。図示の機械学習モデル５００は、多層の畳み込みニューラルネットワーク（ＣＮＮ）を用いて構成される。ＣＮＮは、入力画像の特徴量を抽出する特徴量抽出部と、抽出した特徴量に基づいて入力画像に対応する出力ラベル（診断ラベル）を推論する画像分類部を含んでいる。前者の特徴量抽出部は、ニューロン間の結合の制限及びウェイト共有の手法によって入力画像の畳み込みを行ってエッジや特徴を抽出する「畳み込み層」と、画像分類に重要でない位置の情報を削除して畳み込み層が抽出した特徴にロバスト性を与える「プーリング層」を備えている。

　図５中、参照番号５０１は、ＣＮＮへの入力データである画像（病理画像データ）を示している。参照番号５０２、５０４、５０６は、畳み込み層の出力を示している。参照番号５０３及び５０５は、プーリング層の出力を示している。参照番号５０７は、畳み込み層の出力５０６を１次元に並べた状態を示し、参照番号５０８は全結合層を示し、参照番号５０９はクラス分類の推論結果となる出力層を示している。

　図５に示すＣＮＮのうち、参照番号５２０で示す四角で囲んだ範囲は特徴量抽出部であり、入力された病理画像データの画像特徴量を取得する処理を行う。そして、参照番号５３０で示す四角で囲んだ範囲は画像分類部であり、画像特徴量に基づいて出力ラベルを特定する（本実施形態では、病理画像データに含まれる病変部の診断ラベルを推論する）。

　なお、推論過程の段階（各層の処理の順番）をｌ、ｌ段目の層における出力値をＹ^lとし、ｌ段目の層における処理をＹ^l＝Ｆ^l（Ｙ^l-1）と表す。また、１段目の層はＹ¹＝Ｆ¹（Ｘ）、最終段はＹ＝Ｆ⁷（Ｙ⁶）とする。

Ｅ．鑑別ラベル情報の構成
　推論部１１２は、ＣＮＮ（図５を参照のこと）で構成される学習済みの機械学習モデルを使って、画像取込部１１１を介して取り込まれた病理画像データから病変部の病理診断結果を推論することによって、病理医による病理診断を支援する。

　さらに本実施形態に係る医療診断システム１００では、推論部１１２が取り込まれた病理画像データから推論した診断結果に関連する鑑別診断を支援する。このため、鑑別ラベル情報保持部１１３は、推論部１１２が推論した診断結果に関連する鑑別診断を行うための情報を保持している。具体的には、推論部１１２で使用する学習済み機械学習モデルの出力ラベルとなり得る疾患（推論ラベル）毎に、関連する鑑別診断の対象となり得る疾患を鑑別ラベルの情報を保持している。そして、鑑別ラベル情報保持部１１３は、推論部１１２の出力ラベル（診断結果）を受け取ると、その疾患に関連する疾病を特定する鑑別ラベルを返す。

　病理医が行う鑑別診断は、一般に、確度が最も高い疾患と、稀な（又は、２番目に確度の高い）疾患とを比較しながら、疾患を特定するという思考過程からなる。例えば、病理医は、疾患Ａと、疾患Ａに関連する疾患Ｂとを鑑別診断する場合、疾患Ｂを否定して疾患Ａを最終的な診断結果とする。この場合、推論ラベル「疾患Ａ」に対応する鑑別ラベルは「疾患Ｂ」である。具体的には、癌と非癌とを鑑別診断して、非癌であることを否定して最終的に癌であると診断する。この場合、推論ラベル「癌」に対応する鑑別ラベルは「非癌」である。

　また、癌の病理診断においては、癌のグレード（悪性度）も診断する必要があり、他のグレードを否定してあるグレーであると鑑別診断する。したがって、鑑別ラベル情報保持部１１３は、癌の各グレードを推論ラベルとして、各グレードに対して鑑別診断の対象となるグレードを鑑別ラベルとして保持しておく。

　図６には、鑑別ラベル情報保持部１１３が保持する鑑別ラベル情報の例を示している。図示の鑑別ラベル情報は、推論部１１２から出力される推論ラベルに対応する鑑別ラベルを検索するためのルックアップテーブルの構造からなる。例えば、推論部１１２が病理画像データから癌のグレード１を推論して鑑別ラベル情報保持部１１３に出力すると、グレード１に関連するグレード２を鑑別ラベルとして返す。また、推論部１１２が癌のグレード２という診断結果を出力したときには、鑑別ラベル情報保持部１１３は、グレード２に関連するグレード１及びグレード３を鑑別ラベルとして返す。また、推論部１１２が癌のグレード３という診断結果を出力したときには、鑑別ラベル情報保持部１１３は、グレード３に関連するグレード２及びグレード４を鑑別ラベルとして返す。また、推論部１１２が癌のグレード４という診断結果を出力したときには、鑑別ラベル情報保持部１１３は、グレード４に関連するグレード３を鑑別ラベルとして返す。

　なお、図１に示したシステム構成例では、推論部１１２が推論した診断結果に関連する鑑別診断の情報を、鑑別ラベル情報保持部１１３内の鑑別ラベル情報（ルックアップテーブル）で検索するように構成されているが、鑑別ラベルを導出する方法はこれに限定されるものではない。推論部１１２が用いる機械学習モデル（ＣＮＮ）を、推論ラベルとともに鑑別ラベルを出力するように学習しておいてもよい。

Ｆ．根拠計算
　根拠計算部１１４は、推論部１１２から出力される推論ラベルと、その推論ラベルに対応する鑑別ラベルの各々について、推論部１１２が推論する根拠を計算する。根拠計算部１１４は、例えば、Ｇｒａｄ－ＣＡＭ、ＬＩＭＥ／ＳＨＡＰ、ＴＣＡＶなどのアルゴリズムを使って、推論ラベル及び鑑別ラベルの各々の判断根拠を可視化した画像を算出する。

　Ｇｒａｄ－ＣＡＭは、出力層においてクラス分類の推論結果となるラベルから勾配を逆にたどる（クラス分類に至るまでの各特徴マップの貢献を算出し、その重みを以って逆伝播していく）方法によって、入力画像データのうちクラス分類に寄与した場所を推定するアルゴリズムであり、クラス分類に寄与した場所をヒートマップのように可視化することができる。あるいは、入力画像データの画素の位置情報を最終畳み込み層まで保持させて、最後の判別出力への位置情報の影響度を得ることで、元の入力画像のうち影響の強い部分をヒートマップ表示するようにしてもよい。

　ＣＮＮなどのニューラルネットワークモデルにおいて、入力画像に対して画像認識を行ってクラスｃを出力した場合に、Ｇｒａｄ－Ｃａｍアルゴリズムに基づいて判断根拠を計算する方法（ヒートマップを生成する方法）について説明する。

　クラスｃの勾配ｙ_cが特徴マップの活性化Ａ_kであると仮定すると、下式（１２）に示すようにニューロンの重要度の重みが与えられる。

　最終的な畳み込み層の順伝播出力にチャネル毎の重みを乗算して、活性化関数ＲｅＬＵを介して、下式（１３）に示すようにＧｒａｄ－Ｃａｍが計算される。

　図７には、病理画像データに、推論ラベル（すなわち、推論部１１２による病理診断結果）として「癌グレード１」の根拠となった部分を、元の病理画像データ上にヒートマップ７０１で重畳表示した画像７００を例示している。画像７００には、診断ラベル７０２も併せて表示される。また、図８には、推論ラベルに関連する鑑別ラベルとしてとして「癌グレード２」の根拠となった部分を、元の病理画像データ上にヒートマップ８０１で重畳表示した画像８００を例示している。画像８００には、鑑別ラベル８０２も併せて表示される。病理医は、図７及び図８に示したヒートマップ表示付き病理画像データを比較しながら鑑別診断して、推論ラベル及び鑑別ラベルの各々に該当する疾病のうち一方を否定し、他方を最終的な病理診断結果として採用することができる。

　ＬＩＭＥは、特定の入力データ項目（特徴量）を変化させた際にニューラルネットワークの出力結果が反転又は大きく変動すれば、その項目を「判定における重要度が高い」と推定する。例えば、根拠計算部１１４は、推論部１１２が用いる機械学習モデルにおける推論の理由（根拠）を示すために局所近似する他のモデル（根拠用モデル）を生成する。根拠計算部１１４は、入力情報（病理画像データ）とその入力情報に対応する出力結果との組合せを対象に、局所的に近似する根拠用モデルを生成する。そして、根拠計算部１１４は、推論部１１２から診断ラベル及び鑑別ラベルが出力されると、根拠用モデルを用いて、診断ラベル及び鑑別ラベルの各々に関する根拠情報を生成して、図７及び図８に示したような根拠画像を同様に生成することができる。

　ＴＣＡＶは、訓練済みモデルの予測に対するＣｏｎｃｅｐｔ（人間が簡単に理解できるような概念）の重要度を計算するアルゴリズムである。例えば、根拠計算部１１４は、入力情報（病理画像データ）を複製したり、変更を加えたりした複数の入力情報を生成して、根拠情報の生成対象となるモデル（説明対象モデル）に、複数の入力情報の各々を入力し、各入力情報に対応する複数の出力情報を説明対象モデルから出力させる。そして、根拠計算部１１４は、複数の入力情報の各々と、対応する複数の出力情報の各々との組合せ（ペア）を学習用データとして、根拠用モデルを学習して、対象入力情報を対象として別の解釈可能なモデルで局所近似する根拠用モデルを生成する。そして、根拠計算部１１４は、推論部１１２から診断ラベル及び鑑別ラベルが出力されると、根拠用モデルを用いて、診断ラベル及び鑑別ラベルの各々に関する根拠情報を生成して、図７及び図８に示したような根拠画像を同様に生成することができる。

　もちろん、根拠計算部１１４は、上述したＧｒａｄ－Ｃａｍ、ＬＩＭＥ／ＳＨＡＰ、ＴＣＡＶ以外のアルゴリズムに基づいて、推論部１１２における診断ラベル及び鑑別ラベルの各々に関する根拠を計算するようにしてもよい。

Ｇ．推論結果の提示
　推論部１１２からは、画像取込部１１１が取り込んだ病理画像データから推論される診断ラベルと、その診断ラベルに対応する鑑別ラベルが出力される。また、根拠計算部１１４は、診断ラベル及び鑑別ラベルの各々を推論する根拠を計算し、例えば元の病理画像データ上に根拠を示すヒートマップを重畳した画像（例えば、図７及び図８を参照のこと）が出力される。そして、提示処理部１１５は、推論部１１２及び根拠計算部１１４の出力を、表示装置１２０の画面に表示するための処理を実行する。

　提示処理部１１５は、例えば表示装置１２０の画面を２分割して、分割した各領域に、病理画像データの診断結果及びその根拠情報（例えば、図７を参照のこと）と、鑑別診断及びその根拠情報（例えば、図８を参照のこと）とを同時に表示するようにしてもよい。また、提示処理部１１５は、ユーザインターフェース（ＵＩ）部１３０を介したユーザ入力に応答して、病理画像データの診断結果及びその根拠情報（例えば、図７を参照のこと）と、鑑別診断及びその根拠情報（例えば、図８を参照のこと）とを切り替えて表示するようにしてもよい。

　病理医は、表示装置１２０の画面上で、病理画像データの診断結果及びその根拠情報（例えば、図７を参照のこと）と、鑑別診断及びその根拠情報（例えば、図８を参照のこと）とを確認して、病理画像データの鑑別診断を行うことができる。表示装置１２０は、デジタル病理画像を用いた診断のために画像の観察に利用されるモニターであるが、病理医が直接視認することで診断を下すツールであるという観点から、光学顕微鏡におけるレンズと同様に重要であり、色再現性に優れ、画素ピッチの細かい高品質のモニターであることが好ましい。

　図１１には、表示装置１２０において病理画像を表示する画面遷移例を示している。図１１に示す例では、元の（すなわち、画像取込部１１１に取り込まれたままの）病理画像データを表示する表示モード１と、元の病理画像データに診断ラベルの根拠を表すヒートマップを重畳表示する表示モード２と、元の病理画像データに鑑別ラベルの根拠を表すヒートマップを重畳表示する表示モード３と、元の病理画像データに診断ラベル及び鑑別ラベルの各根拠を表すヒートマップを同時に重畳表示する表示モード４を有している。ユーザ（病理医など）は、ＵＩ部１３０を介して、表示モード１～４のいずれを画面に表示するかをメニュー選択するようにしてもよい。あるいは、トグルボタンなどを使って、表示モード１→表示モード２→表示モード３→表示モード４→表示モード１→…のように表示モードを順に切り替えるようにしてもよい。

Ｈ．推論フェーズにおける動作
　図９には、医療診断システム１００の推論フェーズにおける処理動作をフローチャートの形式で示している。

　まず、画像取込部１１１は、顕微鏡システム（後述）を用いて取得した病理画像データを取り込む（ステップＳ９０１）。画像取込部１１１は、受信した病理画像データを前処理して、推論部１１１２に出力する。

　推論部１１２は、学習部１０２による学習済みの機械学習モデルを用いて、病理画像データの画像特徴量を取得する処理を行い（ステップＳ９０２）、次いで、画像特徴量に基づいて、病理画像データに含まれる病変部の病理診断を推論して（ステップＳ９０３）、診断ラベルを出力する。

　推論部１１２は、診断ラベルを鑑別ラベル情報保持部１１３に照会して、鑑別ラベル情報（例えば、図６を参照のこと）から、対応する鑑別ラベルを取得する（ステップＳ９０４）。そして、推論部１１２は、病理画像データから推論した診断ラベルと、その診断ラベルに対応する鑑別ラベルを、根拠計算部１１４に出力する。

　根拠計算部１１４は、推論部１１２から出力される推論ラベルと、その推論ラベルに対応する鑑別ラベルの各々について、推論部１１２が推論する根拠を計算する（ステップＳ９０５）。根拠計算部１１４は、例えばＧｒａｄ－ＣＡＭアルゴリズムに基づいて、推論ラベル及び鑑別ラベルの各々の判断根拠を可視化した画像（例えば、図７及び図８を参照のこと）を算出する。

　そして、提示処理部１１５は、推論部１１２及び根拠計算部１１４の出力を、表示装置１２０の画面に表示するための処理を実行する（ステップＳ９０６）。

　病理医は、表示装置１２０の画面上で、病理画像データの診断結果及びその根拠情報（例えば、図７を参照のこと）と、鑑別診断及びその根拠情報（例えば、図８を参照のこと）を観察して、病理画像データの鑑別診断を行う（ステップＳ９０７）。その際、病理医は、ＵＩ部１３０などを通じて、病理画像データの診断結果及びその根拠情報の画像と、鑑別診断及びその根拠情報の画像とを、交互に切り替えて表示させるようにすることができる。

　鑑別診断では、病理医は、病理画像データの診断結果及びその根拠情報（例えば、図７を参照のこと）と、鑑別診断及びその根拠情報（例えば、図８を参照のこと）とを比較し、診断ラベル又は鑑別ラベルのいずれか一方を否定して、他方を最終的な診断結果として採用する。病理医は、ＵＩ部１３０などを通じて診断ラベル又は鑑別ラベルのいずれか一方を選択して、最終的な診断結果を医療診断システム１００に入力する。

　医療診断システム１００は、病理医による最終的な診断結果を出力して（ステップＳ９０８）、本処理を終了する。医療診断システム１００は、病理医による最終的な診断結果を、該当する患者の電子カルテに記録する。

　なお、病理医が診断ラベル及び鑑別ラベルのいずれも受け入れることができず、最終的な診断結果が得られない場合には、病理医は、該当する患者の病変部の採取やその顕微鏡観察などを再度行って、病理画像データを医療診断システム１００に再入力するようにしてもよい。

Ｉ．情報処理装置の構成例
　このＩ項では、医療診断システム１００における学習フェーズ及び推論フェーズの一方又は両方を実現することができる情報処理装置について説明する。

　図１０には、情報処理装置１０００の構成例を示している。情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１００１と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１００２と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１００３と、大容量記憶装置１００４と、通信インターフェース（ＩＦ）１００５と、入出力インターフェース（ＩＦ）１００６を備えている。情報処理装置１０００の各部は、バス１０１０によって相互接続されている。情報処理装置１０００は、例えばパーソナルコンピュータを用いて構成される。

　ＣＰＵ１００１は、ＲＯＭ１００３又は大容量記憶装置１００４に格納されたプログラムに基づいて動作して、各部の動作を制御する。例えば、ＣＰＵ１００１は、ＲＯＭ１００３又は大容量記憶装置１００４に格納された各種プログラムをＲＡＭ１００２上に展開して実行し、プログラム実行中の作業データをＲＡＭ１００２に一時的に格納する。

　ＲＯＭ１００３は、情報処理装置１０００の起動時にＣＰＵ１００１によって実行されるブートプログラムや、ＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）などの情報処理装置１０００のハードウェアに依存するプログラムやデータなどを不揮発的に格納している。

　大容量記憶装置１００４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）のような、コンピュータが読み取り可能な記録媒体で構成される。大容量記憶装置１００４は、ＣＰＵ１００１によって実行されるプログラムや、プログラムによって使用されるデータなどをファイル形式で不揮発的に記録している。具体的には、大容量記憶装置１００４は、図１に示した医療診断システム１００において、学習部１０２が機械学習モデルを学習するための処理動作を実現するプログラムや、学習部１０２によって学習が行われた機械学習モデルのモデルパラメータ（ニューロンの重み付け係数など）、推論部１１２が学習済み機械学習モデルを用いて病理画像データの病理診断（鑑別診断）を行うための処理動作を実現するプログラム、鑑別ラベル情報などの各データを、それぞれファイル形式で記録している。

　通信インターフェース１００５は、情報処理装置１０００が外部ネットワーク１０５０（例えばインターネット）と接続するためのインターフェースである。例えば、ＣＰＵ１００１は、通信インターフェース１００５を介して、他の機器からデータを受信したり、ＣＰＵ１００１が生成したデータを他の機器へ送信したりする。

　入出力インターフェース１００６は、情報処理装置１０００に入出力デバイス１０６０を接続するためのインターフェースである。例えば、ＣＰＵ１００１は、入出力インターフェース１００６を介して、キーボードやマウスなどの入力デバイス（いずれも図示しない）からデータを受信する。また、ＣＰＵ１００１は、入出力インターフェース１００６を介して、ディスプレイやスピーカーやプリンタなどの出力デバイス（いずれも図示しない）にデータを送信する。また、入出力インターフェース１００６は、所定の記録媒体（メディア）に記録されたプログラムやデータなどのファイルを読み取るメディアインターフェースとして機能してもよい。ここで言うメディアには、例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ｒｅｗｒｉｔａｂｌｅ　Ｄｉｓｋ）などの光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）などの光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリなどが含まれる。

　例えば、情報処理装置１０００が学習フェーズ及び推論フェーズにおける医療診断システム１００として機能する場合、ＣＰＵ１００１は、ＲＡＭ１００２上にロードされたプログラムを実行することにより、学習部１０２や推論部１１２、根拠計算部１１４、提示処理部１１５の機能を実現する。また、大容量記憶装置１００４には、学習部１０２が機械学習モデルを学習するための処理動作を実現するプログラムや、学習部１０２によって学習が行われた機械学習モデルのモデルパラメータ（ニューロンの重み付け係数など）、推論部１１２が学習済み機械学習モデルを用いて病理画像データの病理診断（鑑別診断）を行うための処理動作を実現するプログラム、鑑別ラベル情報などの各データが格納される。なお、ＣＰＵ１００１は、プログラムやデータなどのファイルを大容量記憶装置１００４から読み取って実行するが、他の例として、外部ネットワーク１０５０を介して、他の装置（図示しない）からこれらのプログラムやデータを取得したり他の装置にデータを転送したりするようにしてもよい。

Ｊ．顕微鏡システム
　本開示の顕微鏡システムの構成例を図１２に示す。図１２に示される顕微鏡システム５０００は、顕微鏡装置５１００、制御部５１１０、及び情報処理部５１２０を含む。顕微鏡装置５１００は、光照射部５１０１、光学部５１０２、及び信号取得部５１０３を備えている。顕微鏡装置５１００はさらに、生体由来試料Ｓが配置される試料載置部５１０４を備えていてよい。なお、顕微鏡装置の構成は図１２に示されるものに限定されず、例えば、光照射部５１０１は、顕微鏡装置５１００の外部に存在してもよく、例えば顕微鏡装置５１００に含まれない光源が光照射部５１０１として利用されてもよい。また、光照射部５１０１は、光照射部５１０１と光学部５１０２とによって試料載置部５１０４が挟まれるように配置されていてよく、例えば、光学部５１０２が存在する側に配置されてもよい。顕微鏡装置５１００は、明視野観察、位相差観察、微分干渉観察、偏光観察、蛍光観察、及び暗視野観察のうちの１又は２以上で構成されてよい。

　顕微鏡システム５０００は、いわゆるＷＳＩ（Ｗｈｏｌｅ　Ｓｌｉｄｅ　Ｉｍａｇｉｎｇ）システム又はデジタルパソロジーシステムとして構成されてよく、病理診断のために用いられうる。また、顕微鏡システム５０００は、蛍光イメージングシステム、特には多重蛍光イメージングシステムとして構成されてもよい。

　例えば、顕微鏡システム５０００は、術中病理診断又は遠隔病理診断を行うために用いられてよい。当該術中病理診断では、手術が行われている間に、顕微鏡装置５１００が、当該手術の対象者から取得された生体由来試料Ｓのデータを取得し、そして、当該データを情報処理部５１２０へと送信しうる。当該遠隔病理診断では、顕微鏡装置５１００は、取得した生体由来試料Ｓのデータを、顕微鏡装置５１００とは離れた場所（別の部屋又は建物など）に存在する情報処理部５１２０へと送信しうる。そして、これらの診断において、情報処理部５１２０は、当該データを受信し、出力する。出力されたデータに基づき、情報処理部５１２０のユーザが、病理診断を行いうる。

（生体由来試料）
　生体由来試料Ｓは、生体成分を含む試料であってよい。前記生体成分は、生体の組織、細胞、生体の液状成分（血液や尿等）、培養物、又は生細胞（心筋細胞、神経細胞、及び受精卵など）であってよい。
　前記生体由来試料は、固形物であってよく、パラフィンなどの固定試薬によって固定された標本又は凍結により形成された固形物であってよい。前記生体由来試料は、当該固形物の切片でありうる。前記生体由来試料の具体的な例として、生検試料の切片を挙げることができる。

　前記生体由来試料は、染色又は標識などの処理が施されたものであってよい。当該処理は、生体成分の形態を示すための又は生体成分が有する物質（表面抗原など）を示すための染色であってよく、ＨＥ（Ｈｅｍａｔｏｘｙｌｉｎ－Ｅｏｓｉｎ）染色、免疫組織化学（Ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ）染色を挙げることができる。前記生体由来試料は、１又は２以上の試薬により前記処理が施されたものであってよく、当該試薬は、蛍光色素、発色試薬、蛍光タンパク質、又は蛍光標識抗体でありうる。

　前記標本は、人体から採取された検体または組織サンプルから病理診断または臨床検査などを目的に作製されたものであってよい。また、前記標本は、人体に限らず、動物、植物、又は他の材料に由来するものであってもよい。前記標本は、使用される組織（例えば臓器または細胞など）の種類、対象となる疾病の種類、対象者の属性（例えば、年齢、性別、血液型、または人種など）、または対象者の生活習慣（例えば、食生活、運動習慣、または喫煙習慣など）などにより性質が異なる。前記標本は、各標本それぞれ識別可能な識別情報（バーコード情報又はＱＲコード（商標）情報等）を付されて管理されてよい。

（光照射部）
　光照射部５１０１は、生体由来試料Ｓを照明するための光源、および光源から照射された光を標本に導く光学部である。光源は、可視光、紫外光、若しくは赤外光、又はこれらの組合せを生体由来試料に照射しうる。光源は、ハロゲンランプ、レーザ光源、ＬＥＤランプ、水銀ランプ、及びキセノンランプのうちの１又は２以上であってよい。蛍光観察における光源の種類及び／又は波長は、複数でもよく、当業者により適宜選択されてよい。光照射部は、透過型、反射型又は落射型（同軸落射型若しくは側射型）の構成を有しうる。

（光学部）
　光学部５１０２は、生体由来試料Ｓからの光を信号取得部５１０３へと導くように構成される。光学部は、顕微鏡装置５１００が生体由来試料Ｓを観察又は撮像することを可能とするように構成されうる。
　光学部５１０２は、対物レンズを含みうる。対物レンズの種類は、観察方式に応じて当業者により適宜選択されてよい。また、光学部は、対物レンズによって拡大された像を信号取得部に中継するためのリレーレンズを含んでもよい。光学部は、前記対物レンズ及び前記リレーレンズ以外の光学部品、接眼レンズ、位相板、及びコンデンサレンズなど、をさらに含みうる。
　また、光学部５１０２は、生体由来試料Ｓからの光のうちから所定の波長を有する光を分離するように構成された波長分離部をさらに含んでよい。波長分離部は、所定の波長又は波長範囲の光を選択的に信号取得部に到達させるように構成されうる。波長分離部は、例えば、光を選択的に透過させるフィルタ、偏光板、プリズム（ウォラストンプリズム）、及び回折格子のうちの１又は２以上を含んでよい。波長分離部に含まれる光学部品は、例えば対物レンズから信号取得部までの光路上に配置されてよい。波長分離部は、蛍光観察が行われる場合、特に励起光照射部を含む場合に、顕微鏡装置内に備えられる。波長分離部は、蛍光同士を互いに分離し又は白色光と蛍光とを分離するように構成されうる。

（信号取得部）
　信号取得部５１０３は、生体由来試料Ｓからの光を受光し、当該光を電気信号、特にはデジタル電気信号へと変換することができるように構成されうる。信号取得部は、当該電気信号に基づき、生体由来試料Ｓに関するデータを取得することができるように構成されてよい。信号取得部は、生体由来試料Ｓの像（画像、特には静止画像、タイムラプス画像、又は動画像）のデータを取得することができるように構成されてよく、特に光学部によって拡大された画像のデータを取得するように構成されうる。信号取得部は、１次元又は２次元に並んで配列された複数の画素を備えている１つ又は複数の撮像素子、ＣＭＯＳ又はＣＣＤなど、を含む。信号取得部は、低解像度画像取得用の撮像素子と高解像度画像取得用の撮像素子とを含んでよく、又は、ＡＦなどのためのセンシング用撮像素子と観察などのための画像出力用撮像素子とを含んでもよい。撮像素子は、前記複数の画素に加え、各画素からの画素信号を用いた信号処理を行う信号処理部（ＣＰＵ、ＤＳＰ、及びメモリのうちの１つ、２つ、又は３つを含む）、及び、画素信号から生成された画像データ及び信号処理部により生成された処理データの出力の制御を行う出力制御部を含みうる。更には、撮像素子は、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出する非同期型のイベント検出センサを含み得る。前記複数の画素、前記信号処理部、及び前記出力制御部を含む撮像素子は、好ましくは１チップの半導体装置として構成されうる。

（制御部）
　制御部５１１０は、顕微鏡装置５１００による撮像を制御する。制御部５１１０は、撮像制御のために、光学部５１０２及び／又は試料載置部５１０４の移動を駆動して、光学部５１０２と試料載置部５１０４との間の位置関係を調節しうる。制御部５１１０は、光学部５１０２及び／又は試料載置部５１０４を、互いに近づく又は離れる方向（例えば対物レンズの光軸方向）に移動させうる。また、制御部５１１０は、光学部及び／又は試料載置部５１０４を、前記光軸方向と垂直な面におけるいずれかの方向に移動させてもよい。制御部５１１０は、撮像制御のために、光照射部５１０１及び／又は信号取得部５１０３を制御してもよい。

（試料載置部）
　試料載置部５１０４は、生体由来試料の試料載置部５１０４上における位置が固定できるように構成されてよく、いわゆるステージであってよい。試料載置部５１０４は、生体由来試料の位置を、対物レンズの光軸方向及び／又は当該光軸方向と垂直な方向に移動させることができるように構成されうる。

（情報処理部）
　情報処理部５１２０は、顕微鏡装置５１００が取得したデータ（撮像データなど）を、顕微鏡装置５１００から取得しうる。情報処理部５１２０は、撮像データに対する画像処理を実行しうる。当該画像処理は、色分離処理を含んでよい。当該色分離処理は、撮像データから所定の波長又は波長範囲の光成分のデータを抽出して画像データを生成する処理、又は、撮像データから所定の波長又は波長範囲の光成分のデータを除去する処理などを含みうる。また、当該画像処理は、組織切片の自家蛍光成分と色素成分を分離する自家蛍光分離処理や互いに蛍光波長が異なる色素間の波長を分離する蛍光分離処理を含みうる。前記自家蛍光分離処理では、同一ないし性質が類似する前記複数の標本のうち、一方から抽出された自家蛍光シグナルを用いて他方の標本の画像情報から自家蛍光成分を除去する処理を行ってもよい。
　情報処理部５１２０は、制御部５１１０に撮像制御のためのデータを送信してよく、当該データを受信した制御部５１１０が、当該データに従い顕微鏡装置５１００による撮像を制御してもよい。

　情報処理部５１２０は、汎用のコンピュータなどの情報処理装置として構成されてよく、ＣＰＵ、ＲＡＭ、及びＲＯＭを備えていてよい。情報処理部は、顕微鏡装置５１００の筐体内に含まれていてよく、又は、当該筐体の外にあってもよい。また、情報処理部５１２０による各種処理又は機能は、ネットワークを介して接続されたサーバコンピュータ又はクラウドにより実現されてもよい。

　顕微鏡装置５１００による生体由来試料Ｓの撮像の方式は、生体由来試料の種類及び撮像の目的などに応じて、当業者により適宜選択されてよい。当該撮像方式の例を以下に説明する。

　撮像方式の一つの例は以下のとおりである。顕微鏡装置５１００は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料が存在する領域全体をカバーするように特定されてよく、又は、生体由来試料のうちの目的部分（目的組織切片、目的細胞、又は目的病変部が存在する部分）をカバーするように特定されてもよい。次に、顕微鏡装置５１００は、当該撮像対象領域を、所定サイズの複数の分割領域へと分割し、顕微鏡装置５１００は各分割領域を順次撮像する。これにより、各分割領域の画像が取得される。
　　図１３に示されるように、顕微鏡装置５１００は、生体由来試料Ｓ全体をカバーする撮像対象領域Ｒを特定する。そして、顕微鏡装置５１００は、撮像対象領域Ｒを１６の分割領域へと分割する。そして、顕微鏡装置５１００は分割領域Ｒ１の撮像を行い、そして次に、その分割領域Ｒ１に隣接する領域など、撮像対象領域Ｒに含まれる領域の内いずれか領域を撮像しうる。そして、未撮像の分割領域がなくなるまで、分割領域の撮像が行われる。なお、撮像対象領域Ｒ以外の領域についても、分割領域の撮像画像情報に基づき、撮像しても良い。
　或る分割領域を撮像した後に次の分割領域を撮像するために、顕微鏡装置５１００と試料載置部５１０４との位置関係が調整される。当該調整は、顕微鏡装置５１００の移動、試料載置部５１０４の移動、又は、これらの両方の移動により行われてよい。この例において、各分割領域の撮像を行う撮像装置は、２次元撮像素子（エリアセンサ）又は１次元撮像素子（ラインセンサ）であってよい。信号取得部は、光学部を介して各分割領域を撮像してよい。また、各分割領域の撮像は、顕微鏡装置５１００及び／又は試料載置部５１０４を移動させながら連続的に行われてよく、又は、各分割領域の撮像に際して顕微鏡装置５１００及び／又は試料載置部５１０４の移動が停止されてもよい。各分割領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割領域は、焦点距離及び／又は露光時間などの撮像条件を変えて複数回撮像されてもよい。
　また、情報処理部５１２０は、隣り合う複数の分割領域が合成して、より広い領域の画像データを生成しうる。当該合成処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割領域の画像、または合成処理を行った画像から、より解像度の低い画像データを生成しうる。

　撮像方式の他の例は以下のとおりである。顕微鏡装置５１００は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料が存在する領域全体をカバーするように特定されてよく、又は、生体由来試料のうちの目的部分（目的組織切片又は目的細胞が存在する部分）をカバーするように特定されてもよい。次に、顕微鏡装置５１００は、撮像対象領域の一部の領域（「分割スキャン領域」ともいう）を、光軸と垂直な面内における一つの方向（「スキャン方向」ともいう）へスキャンして撮像する。当該分割スキャン領域のスキャンが完了したら、次に、前記スキャン領域の隣の分割スキャン領域を、スキャンする。これらのスキャン動作が、撮像対象領域全体が撮像されるまで繰り返される。
　図１４に示されるように、顕微鏡装置５１００は、生体由来試料Ｓのうち、組織切片が存在する領域（グレーの部分）を撮像対象領域Ｓａとして特定する。そして、顕微鏡装置５１００は、撮像対象領域Ｓａのうち、分割スキャン領域Ｒｓを、Ｙ軸方向へスキャンする。顕微鏡装置５１００は、分割スキャン領域Ｒｓのスキャンが完了したら、次に、Ｘ軸方向における隣の分割スキャン領域をスキャンする。撮像対象領域Ｓａの全てについてスキャンが完了するまで、この動作が繰り返しされる。
　各分割スキャン領域のスキャンのために、及び、或る分割スキャン領域を撮像した後に次の分割スキャン領域を撮像するために、顕微鏡装置５１００と試料載置部５１０４との位置関係が調整される。当該調整は、顕微鏡装置５１００の移動、試料載置部５１０４の移動、又は、これらの両方の移動により行われてよい。この例において、各分割スキャン領域の撮像を行う撮像装置は、１次元撮像素子（ラインセンサ）又は２次元撮像素子（エリアセンサ）であってよい。信号取得部は、拡大光学系を介して各分割領域を撮像してよい。また、各分割スキャン領域の撮像は、顕微鏡装置５１００及び／又は試料載置部５１０４を移動させながら連続的に行われてよい。各分割スキャン領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割スキャン領域は、焦点距離及び／又は露光時間などの撮像条件を変えて複数回撮像されてもよい。
　また、情報処理部５１２０は、隣り合う複数の分割スキャン領域が合成して、より広い領域の画像データを生成しうる。当該合成処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割スキャン領域の画像、または合成処理を行った画像から、より解像度の低い画像データを生成しうる。

　情報処理部５１２０は、基本的には、図１に示した医療診断システム１００における推論モードの動作を実現した装置であり、図１０に示した情報処理装置１０００を用いて構成することができる。もちろん、情報処理部５１２０は、学習モードとして動作する機能も備え、使用する機械学習モデルの再学習又は追加学習を行うようにしてもよい。情報処理部５１２０は、顕微鏡装置５１００で取り込んだ病理画像データから疾患を推論して、診断ラベル及び診断ラベルに対応する鑑別ラベルを出力するとともに、診断ラベル及び鑑別ラベルの各根拠を計算して、各々の根拠を表すヒートマップなどの情報を出力する。また、情報処理部５１２０は、ＵＩ部１３０に対応する入力デバイスを備え、病理医による最終的な診断（例えば、診断ラベル及び鑑別ラベルの一方の選択結果などの病理医の所見）や観察データ（例えば、「びまん性が高い」など病理画像に対する病理医のコメントなど）の入力を受け付ける。

　情報処理部５１２０は、顕微鏡装置５１００で取り込まれた病理画像データを大容量記憶装置１００４に記録する。また、情報処理部５１２０は、病理画像データから推論した診断結果や、病理医による病理画像に対する所見及び観察データを、病理画像データと関連付けて記録する。情報処理部５１２０は、例えば電子カルテの形式で、患者毎に、血液などの検査値、病理画像データ、病理医による所見及び観察データを大容量記憶装置１００４に保管するようにしてもよい。

　以上、特定の実施形態を参照しながら、本開示について詳細に説明してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

　本明細書では、本開示を病理画像の解析に適用した実施形態を中心に説明してきたが、本開示の要旨はこれに限定されるものではない。レントゲン画像やＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ：コンピュータ断層撮影法）、ＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ：磁気共鳴画像）、内視鏡画像などさまざまな医用画像の診断にも、同様に本開示を適用することができる。

　要するに、例示という形態により本開示について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示の要旨を判断するためには、特許請求の範囲を参酌すべきである。

　なお、本開示は、以下のような構成をとることも可能である。

（１）医用画像に関する情報を処理する情報処理装置であって、
　前記医用画像に対して正解となる第１の疾患と、前記第１の疾患に関連する鑑別診断の対象となる第２の疾患を推論する推論部と、
　前記医用画像から前記第１の疾患の根拠及び前記第２の疾患の根拠を計算する根拠計算部と、
を具備する情報処理装置。

（２）前記推論部は、学習済みの機械学習モデルを用いて、前記医用画像から前記第１の疾患を推論する、
上記（１）に記載の情報処理装置。

（３）前記機械学習モデルは、医用画像と正解となる疾患を組み合わせたデータセットからなる学習データを用いて学習されている、
上記（２）に記載の情報処理装置。

（４）前記推論部は、疾患毎に鑑別診断すべき疾患を示す鑑別ラベル情報に基づいて、医用画像から推論した第１の疾患に関連する鑑別診断の対象となる第２の疾患を特定する、
上記（１）乃至（３）のいずれかに記載の情報処理装置。

（５）前記推論部は学習済みのニューラルネットワークモデルを用いて第１の疾患及び第２の疾患を推論し、
　前記根拠計算部は、前記ニューラルネットワークモデルが前記第１の疾患及び前記第２の疾患の各根拠をそれぞれ推論する、
上記（１）乃至（４）のいずれかに記載の情報処理装置。

（６）前記根拠計算部は、前記ニューラルネットワークモデルの出力層においてクラス分類の推論結果となるラベルから勾配を逆にたどることによって、元の医用画像のうち各クラスに影響する部分を推論する、
上記（５）に記載の情報処理装置。

（７）前記根拠計算部は、前記ニューラルネットワークモデルに入力された医用画像データの特徴量を摂動させた際の出力の変動量に基づいて、前記第１の疾患及び前記第２の疾患の各根拠をそれぞれ推論する、
上記（５）に記載の情報処理装置。

（８）前記推論部の推論結果と前記根拠計算部の計算結果を提示する提示部をさらに備える、
上記（１）乃至（７）のいずれかに記載の情報処理装置。

（９）前記提示部は、前記医用画像に前記推論部の推論結果と前記根拠計算部の計算結果を重畳表示して提示する、
上記（８）に記載の情報処理装置。

（１０）前記提示部は、第１の疾患を推論する根拠と第２の疾患を推論する根拠とを、ユーザ入力に基づいて切り替え表示する、
上記（８）又は（９）のいずれかに記載の情報処理装置。

（１１）前記医用画像は、病変部を顕微で鏡観察した病理画像データである、
上記（１）乃至（１０）のいずれかに記載の情報処理装置。

（１２）医用画像に関する情報を処理する情報処理方法であって、
　前記医用画像に対して正解となる第１の疾患を推論する第１の推論ステップと、
　前記第１の疾患に関連する鑑別診断の対象となる第２の疾患を推論する第２の推論ステップと、
　前記医用画像から前記第１の疾患の根拠を計算する第１の根拠計算ステップと、
　前記医用画像から前記第２の疾患の根拠を計算する第２の根拠計算ステップと、
を有する情報処理方法。

（１３）コンピュータ上で医用画像に関する情報を処理するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータを、
　前記医用画像に対して正解となる第１の疾患と、前記第１の疾患に関連する鑑別診断の対象となる第２の疾患を推論する推論部、
　前記医用画像から前記第１の疾患の根拠及び前記第２の疾患の根拠を計算する根拠計算部、
として機能させるコンピュータプログラム。

（１４）機械学習モデルが医用画像データから疾患を推論するように前記機械学習モデルが学習を行う学習部と、
　前記学習部による学習済みの前記機械学習モデルを用いて、前記医用画像に対して正解となる第１の疾患を推論するとともに、前記第１の疾患に関連する鑑別診断の対象となる第２の疾患を推論する推論部と、
　前記医用画像から前記第１の疾患の根拠及び前記第２の疾患の根拠を計算する根拠計算部と、
　表示装置と、
　前記推論部の推論結果と前記根拠計算部の計算結果を前記表示装置に提示する提示部と、
を具備する医療診断システム。

（１５）学習済みの機械学習モデルを用いて、入力データを推論して第１のラベルを出力する推論部と、
　前記第１のラベルと区別すべき第２のラベルに関する情報を保持する保持部と、
　前記第１のラベル及び前記第２のラベルを前記機械学習モデルが推論する根拠を計算する計算部と、
を具備する情報処理装置。

　１００…医療診断システム、１０１…学習データ蓄積部
　１０２…学習部、１０３…モデルパラメータ保持部
　１１１…画像取込部、１１２…推論部
　１１３…鑑別ラベル情報保持部、１１４…根拠計算部
　１１５…提示処理部、１１６…鑑別ラベル更新部
　１２０…表示装置、１３０…ＵＩ部
　２００…データ調整装置、３０１…機械学習モデル
　３１１…影響度評価部、３１２…学習状態判定部
　３１３…追加データ生成部、４０１…生成器、４０２…識別器
　５０２、５０４、５０６…畳み込み層出力
　５０３、５０５…プーリング層出力
　５０７…畳み込み層出力、５０８…全結合層、５０９…出力層
　１０００…情報処理装置、１００１…ＣＰＵ、１００２…ＲＡＭ
　１００３…ＲＯＭ、１００４…大容量記憶装置
　１００５…通信インターフェース、１００６…入出力インターフェース
　１０１０…バス、１０５０…外部ネットワーク
　１０６０…入出力デバイス
　１２００…ＤＰシステム、１２１０…画像取込装置
　１２１１…ガラススライド、１２１２…顕微鏡、１２１３…スライド
　１２２０…画像表示装置、１２３０…診断装置、１２４０…診断装置
　５０００…顕微鏡システム、５１００…顕微鏡装置
　５１０１…光照射部、５１０２…光学部、５１０３…信号取得部
　５１０４…試料載置部、５１１０…制御部、５１２０…情報処理部

Claims (14)

1. 　医用画像に関する情報を処理する情報処理装置であって、
   　前記医用画像に対して正解となる第１の疾患と、前記第１の疾患に関連する鑑別診断の対象となる第２の疾患を推論する推論部と、
   　前記医用画像から前記第１の疾患の根拠及び前記第２の疾患の根拠を計算する根拠計算部と、
   を具備する情報処理装置。
2. 　前記推論部は、学習済みの機械学習モデルを用いて、前記医用画像から前記第１の疾患を推論する、
   請求項１に記載の情報処理装置。
3. 　前記機械学習モデルは、医用画像と正解となる疾患を組み合わせたデータセットからなる学習データを用いて学習されている、
   請求項２に記載の情報処理装置。
4. 　前記推論部は、疾患毎に鑑別診断すべき疾患を示す鑑別ラベル情報に基づいて、医用画像から推論した第１の疾患に関連する鑑別診断の対象となる第２の疾患を特定する、
   請求項１に記載の情報処理装置。
5. 　前記推論部は学習済みのニューラルネットワークモデルを用いて第１の疾患及び第２の疾患を推論し、
   　前記根拠計算部は、前記ニューラルネットワークモデルが前記第１の疾患及び前記第２の疾患の各根拠をそれぞれ推論する、
   請求項１に記載の情報処理装置。
6. 　前記根拠計算部は、前記ニューラルネットワークモデルの出力層においてクラス分類の推論結果となるラベルから勾配を逆にたどることによって、元の医用画像のうち各クラスに影響する部分を推論する、
   請求項５に記載の情報処理装置。
7. 　前記根拠計算部は、前記ニューラルネットワークモデルに入力された医用画像データの特徴量を摂動させた際の出力の変動量に基づいて、前記第１の疾患及び前記第２の疾患の各根拠をそれぞれ推論する、
   請求項５に記載の情報処理装置。
8. 　前記推論部の推論結果と前記根拠計算部の計算結果を提示する提示部をさらに備える、
   請求項１に記載の情報処理装置。
9. 　前記提示部は、前記医用画像に前記推論部の推論結果と前記根拠計算部の計算結果を重畳表示して提示する、
   請求項８に記載の情報処理装置。
10. 　前記提示部は、第１の疾患を推論する根拠と第２の疾患を推論する根拠とを、ユーザ入力に基づいて切り替え表示する、
    請求項８に記載の情報処理装置。
11. 　前記医用画像は、病変部を顕微で鏡観察した病理画像データである、
    請求項１に記載の情報処理装置。
12. 　医用画像に関する情報を処理する情報処理方法であって、
    　前記医用画像に対して正解となる第１の疾患を推論する第１の推論ステップと、
    　前記第１の疾患に関連する鑑別診断の対象となる第２の疾患を推論する第２の推論ステップと、
    　前記医用画像から前記第１の疾患の根拠を計算する第１の根拠計算ステップと、
    　前記医用画像から前記第２の疾患の根拠を計算する第２の根拠計算ステップと、
    を有する情報処理方法。
13. 　コンピュータ上で医用画像に関する情報を処理するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータを、
    　前記医用画像に対して正解となる第１の疾患と、前記第１の疾患に関連する鑑別診断の対象となる第２の疾患を推論する推論部、
    　前記医用画像から前記第１の疾患の根拠及び前記第２の疾患の根拠を計算する根拠計算部、
    として機能させるコンピュータプログラム。
14. 　機械学習モデルが医用画像データから疾患を推論するように前記機械学習モデルが学習を行う学習部と、
    　前記学習部による学習済みの前記機械学習モデルを用いて、前記医用画像に対して正解となる第１の疾患を推論するとともに、前記第１の疾患に関連する鑑別診断の対象となる第２の疾患を推論する推論部と、
    　前記医用画像から前記第１の疾患の根拠及び前記第２の疾患の根拠を計算する根拠計算部と、
    　表示装置と、
    　前記推論部の推論結果と前記根拠計算部の計算結果を前記表示装置に提示する提示部と、
    を具備する医療診断システム。

Images