JP6737491B1

JP6737491B1 - Ａｉを用いる診断装置、診断システム、及び、プログラム

Info

Publication number: JP6737491B1
Application number: JP2020001974A
Authority: JP
Inventors: 宇貴秀立石; 佐々木　浩二; 浩二佐々木; 井上　和治; 和治井上
Original assignee: Tokyo Medical and Dental University NUC; AdIn Research Inc
Current assignee: Tokyo Medical and Dental University NUC; AdIn Research Inc
Priority date: 2020-01-09
Filing date: 2020-01-09
Publication date: 2020-08-12
Anticipated expiration: 2040-01-09
Also published as: JP2021111076A

Abstract

【課題】特定の症状を画像に基づいて精度良く判断する診断装置、診断システム及びプログラムを提供する。【解決手段】診断システムにおいて、診断装置の機能構成は、患者の第１部位を投影した第１医用画像を入力する第１医用画像入力部と、第１部位とは異なる部位である第２部位を投影した第２医用画像を入力する第２医用画像入力部と、第１医用画像及び第２医用画像に基づいて、ネットワークの学習を行い、学習モデルを構築する学習部と、学習モデルを用いて、第１部位及び第２部位を投影した実行医用画像に基づいて、症状について判断を行う判断部とを含む。【選択図】図１３

Description

本発明は、ＡＩを用いる診断装置、診断システム、及び、プログラムに関する。

従来、ＣＮＮ（畳み込みニューラルネットワーク、ＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ）等のＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）によって、画像に基づいて診断を行う方法が知られている。

図１は、従来技術における症状の分類器アーキテクチャをモデル化して示す図である。例えば、図示するように、ＭＲ（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅ）又はＰＥＴ（ＰｏｓｉｔｒｏｎＥｍｉｓｓｉｏｎＴｏｍｏｇｒａｐｈｙ）等で生成される診断用の画像に対して、図示するようなネットワーク構造のＣＮＮを適用して診断を行う方法が知られている。

図２は、ＭＲ画像及びＰＥＴ画像を用いる症状の分類器アーキテクチャをモデル化して示す図である。さらに、図示するように、まず、ＭＲ画像及びＰＥＴ画像に対して、別々にＶＧＧ（ＶｉｓｕａｌＧｅｏｍｅｔｒｙＧｒｏｕｐ）−１１のネットワーク構造であるＣＮＮを適用して結果を抽出する。そして、それぞれの結果を連結する。このように、診断用の画像を複数入力するＣＮＮ等が知られている（例えば、非特許文献１等）。

ＯｒｉｇｉｎａｌＲｅｓｅａｒｃｈＡＲＴＩＣＬＥＦｒｏｎｔ．Ｎｅｕｒｏｓｃｉ．，３１Ｍａｙ２０１９、"ＤｉａｇｎｏｓｉｓｏｆＡｌｚｈｅｉｍｅｒ'ｓＤｉｓｅａｓｅｖｉａＭｕｌｔｉ−Ｍｏｄａｌｉｔｙ３ＤＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ"、［ｏｎｌｉｎｅ］、２０１９年５月３１日、［２０１９年１０月２５日検索］、インターネット〈URL：https://www.frontiersin.org/articles/10.3389/fnins.2019.00509/full〉

しかしながら、従来の方法は、患者全身のうち、１種類の臓器又は臓器周辺の部位（以下単に「部位」という。）１箇所のみを投影した画像だけで診断を行う場合が多い。そのため、血管炎（「大型血管炎」、「高安動脈炎」、「血管炎症候群」又は「全身性血管炎」等を含む。以下「大型血管炎」という。）又は白質脳症等といった特定の症状が対象となると、判断の精度が悪い場合が多い。

そこで、本発明に係る一実施形態は、上記のような課題を解決するためになされたものであり、特定の症状であっても、画像に基づいて精度良く判断できる診断装置、診断システム、及び、プログラムを提供することを目的とする。

本発明の一実施形態に係る、診断装置は、
患者の第１部位を投影した第１医用画像を入力する第１医用画像入力部と、
前記第１部位とは異なる部位である第２部位を投影した第２医用画像を入力する第２医用画像入力部と、
前記第１医用画像及び前記第２医用画像に基づいて、ネットワークの学習を行い、学習モデルを構築する学習部と、
前記学習モデルを用いて、前記第１部位及び前記第２部位を投影した実行医用画像に基づいて、症状について判断を行う判断部と
を含む。

特定の症状であっても、画像に基づいて精度良く判断できる診断装置、診断システム、及び、プログラムを提供できる。

症状の分類器アーキテクチャをモデル化して示す図である。ＭＲ画像及びＰＥＴ画像を用いる症状の分類器アーキテクチャをモデル化して示す図である。診断システムの全体構成例を示す図である。診断装置のハードウェア構成例を示す図である。全体処理例を示す図である。第１医用画像及び第２医用画像の生成例を示す図である。ネットワーク構造例を示す図である。畳み込み処理の例を示す図である。プーリング処理の例を示す図である。全結合処理の例を示す図である。ドロップアウト処理の例を示す図である。実行処理に用いるネットワークの例を示す図である。機能構成例を示す図である。スライス医用画像群を用いる診断システムの全体構成例を示す図である。白質脳症用のネットワーク構造例を示す図である。第１部位の変形例を示す図である。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

＜全体構成例＞
図３は、診断システムの全体構成例を示す図である。例えば、診断システム２は、医用画像生成システム２１、及び、診断装置の例であるＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）（以下単に「ＰＣ２０」という。）を含む構成である。

医用画像生成システム２１は、例えば、レントゲン装置又はＭＲＩ等である。なお、医用画像生成システム２１は、医用画像を生成できる装置であればよい。

医用画像は、人体における内臓等を撮影又は透過して投影した画像である。したがって、医用画像は、放射線を利用する方法、ＭＲＩ（核磁気共鳴画像法、ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｉｎｇ）、ＰＥＴ（ポジトロン断層法、ＰｏｓｉｔｒｏｎＥｍｉｓｓｉｏｎＴｏｍｏｇｒａｐｈｙ）、ＣＴ（コンピュータ断層撮影、ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）等で生成される画像である。また、医用画像は、放射線画像、診断用画像又は医療用画像等と呼ばれる場合もある。

なお、医用画像は、例えば、血管造影等で生成される画像、超音波を利用して生成される画像、サーモグラフィを利用して生成される画像、内視鏡を利用して生成される画像、又は、これらと上記の方法との組み合わせによって生成された画像でもよい。

医用画像は、モノクロ画像でもよいし、カラー画像でもよい。

以下、医用画像、及び、医用画像に基づいて生成される特徴マップを単に「画像」と呼ぶ場合がある。

なお、医用画像生成システム２１は、ＰＡＣＳ（ＰｉｃｔｕｒｅＡｒｃｈｉｖｉｎｇａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎＳｙｓｔｅｍｓ）を有する構成でもよい。

また、医用画像生成システム２１は、診断システム２において必須な構成ではない。すなわち、医用画像は、ＰＣ２０に接続されていない他の外部装置によって生成されてもよい。この場合には、医用画像は、例えば、通信回線又は記録媒体等を介してＰＣ２０に入力される。

ＰＣ２０は、例えば、以下のような情報処理装置である。

図４は、診断装置のハードウェア構成例を示す図である。例えば、診断装置２０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、以下単に「ＣＰＵ２０Ｈ１」という。）、記憶装置２０Ｈ２、通信装置２０Ｈ３、入力装置２０Ｈ４、出力装置２０Ｈ５、及び、インタフェース２０Ｈ６等を有するハードウェア構成である。

ＣＰＵ２０Ｈ１は、演算装置及び制御装置の例である。

記憶装置２０Ｈ２は、いわゆるメモリ等の主記憶装置である。また、記憶装置２０Ｈ２は、ハードディスク又はＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の補助記憶装置を更に有してもよい。

通信装置２０Ｈ３は、外部装置と無線又は有線で通信を行う。例えば、通信装置２０Ｈ３は、コネクタ又はアンテナ等である。

入力装置２０Ｈ４は、ユーザによる操作を入力する装置である。例えば、入力装置２０Ｈ４は、キーボード又はマウス等である。

出力装置２０Ｈ５は、ユーザに対して処理結果等を出力する装置である。例えば、出力装置２０Ｈ５は、ディスプレイ等である。

インタフェース２０Ｈ６は、外部装置と有線又は無線で接続してデータを入出力する。例えば、インタフェース２０Ｈ６は、コネクタ等である。

なお、診断装置は、図示するようなハードウェア構成に限られない。例えば、診断装置は、演算装置、制御装置、記憶装置、入力装置、出力装置、又は、補助装置等を更に有するハードウェア構成であってもよい。

上記のようなＰＣ２０に対して、学習データ（「教師データ」等と呼ばれる場合もある。）となる、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２が入力されると、ＰＣ２０は、１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２に基づいて、ネットワークの学習を行う。以下、学習処理が完了したネットワークを「学習モデル２２」という。このようにして、ＰＣ２０は、学習モデル２２をあらかじめ学習処理により構築する。

なお、ネットワーク及び学習モデル２２は、ＣＮＮのネットワーク構造であるのが望ましい。以下、ネットワーク及び学習モデル２２がＣＮＮである例で説明する。ただし、ネットワーク及び学習モデル２２は、ＲＮＮ（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ、再帰型ニューラルネットワーク）等でもよい。

学習モデル２２が構築された後、症状を判断する対象となる医用画像（以下「実行医用画像ＩＭＧ３」という。）が入力されると、ＰＣ２０は、学習モデル２２に基づいて、特定の症状であるか否かの判断を示す判断結果３を出力できる。

なお、判断結果３は、患者１が特定の症状であるか否かという２値データでなくともよい。例えば、判断結果３は、特定の症状である確率を数値で示してもよい。さらに、判断結果３は、判断の根拠（判断に影響が大きい画像又はその画像の一部等である。）を示してもよい。また、判断結果３は、現状だけでなく、将来的に症状になる可能性、又は、傾向等を示唆してもよい。

＜全体処理例＞
例えば、診断装置は、以下のような全体処理を行って、特定の症状について判断する。

図５は、全体処理例を示す図である。以下、図示するように、ステップＳ１乃至ステップＳ４等の「学習処理」があらかじめ実行されるとする。そして、このような学習処理によって、学習が完了した後、ステップＳ５及びステップＳ６のような「実行処理」が行われる全体処理であるとする。

＜学習処理例＞
（第１医用画像の入力例）
ステップＳ１では、診断装置は、第１医用画像を入力する。

（第２医用画像の入力例）
ステップＳ２では、診断装置は、第２医用画像を入力する。

例えば、ステップＳ１及びステップＳ２は、以下のように行われる。

＜第１医用画像及び第２医用画像の入力例＞
以下、特定の症状を「大型血管炎」とする場合の例で説明する。ただし、対象となる症状は、大型血管炎以外の症状であってもよい。

例えば、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２は、以下のように生成される画像である。

図６は、第１医用画像及び第２医用画像の生成例を示す図である。

例えば、第１医用画像及び第２医用画像は、図６（Ａ）に示すような患者１の全身を示す医用画像（以下「全身医用画像」という。）から、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２となる領域を切り出して生成される。具体的には、例えば、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２は、以下のように生成される。

図６（Ｂ）は、第１医用画像ＩＭＧ１の例を示す図である。

第１医用画像ＩＭＧ１は、患者の部位のうち、症状が発生する部位（以下「第１部位Ｐ１」という。）が投影された医用画像である。具体的には、図示するように、大型血管炎の場合には、第１医用画像ＩＭＧ１は、縦隔の部位を含むように投影された医用画像である。

縦隔は、胸部にある左右肺、胸椎、及び、胸骨に囲まれた部位である。したがって、第１医用画像ＩＭＧ１は、胸部にある左右肺、胸椎、及び、胸骨に囲まれた範囲が含まれる画像であるのが望ましい。以下、第１部位Ｐ１が縦隔である場合を例に説明する。ただし、第１部位Ｐ１は、症状の種類によって異なるため、症状の種類ごとに設定される。

図６（Ｃ）は、第２医用画像ＩＭＧ２の例を示す図である。

第２医用画像ＩＭＧ２は、第１部位Ｐ１に基づいて症状を判断するのに、基準となる画像である。そして、第２医用画像ＩＭＧ２は、第１部位Ｐ１とは異なる部位の一部（以下「第２部位Ｐ２」という。）を投影した医用画像である。具体的には、図示するように、大型血管炎の場合には、第２医用画像ＩＭＧ２は、肝臓の一部を含むように投影された医用画像である。ただし、第２部位Ｐ２は、症状の種類によって異なるため、症状の種類ごとに設定される。

なお、第１医用画像ＩＭＧ１は、第２医用画像ＩＭＧ２より解像度が高い画像であるのが望ましい。すなわち、第１医用画像ＩＭＧ１は、第２医用画像ＩＭＧ２より画素数が多い画像であるのが望ましい。

第１医用画像ＩＭＧ１は、第１部位Ｐ１を直接示す画像であるため、詳細が分かる画像であるのが望ましい。ゆえに、第１医用画像ＩＭＧ１は、少なくとも第２医用画像ＩＭＧ２より解像度が高く、第１部位Ｐ１の詳細を示す画像であるのが望ましい。

また、第２医用画像ＩＭＧ２は、図６（Ｃ）に示すように、肝臓全体でなく、肝臓の一部を切り出した画像であるのが望ましい。

第２医用画像ＩＭＧ２は、肝臓を示す画素のうち、同一の色を示す画素、同一の画素値を示す画素、又は、基準値以内の画素のいずれかの集まりを含む領域を示す画像であるのが望ましい。なお、医用画像では、画素値は、明暗を示す値、いわゆる輝度値である場合が多い。ただし、医用画像は、カラー画像でもよい。例えば、サーモグラフィ、超音波又は内視鏡を用いて投影する場合には、医用画像は、カラー画像である場合が多い。このような場合には、カラー画像（例えば、ＲＧＢ形式等である。）は、各色の画素値に基づいて輝度値が計算されてもよい。いわゆるＹＵＶ変換等の計算によって、ＲＧＢ形式の値は、「Ｙ」を含む形式に変換できる。このようにして計算される「Ｙ」の値を画素値として使用してもよい。又は、画素値は、カラー画像を構成する複数の色のうち、いずれかの色を示す値を代表にして画素値に用いてもよい。

例えば、肝臓を含む領域に対して、いわゆるラベリング等の画像処理を行うと、同じような色、又は、同じような画素値を示す画素が連続して続くような領域が抽出される。具体的には、まず、肝臓を示す複数の画素について、それぞれの画素値を比較する処理が行われる。例えば、肝臓を示す複数の画素のうち、画素値があらかじめ設定される基準値以内の差である画素が「同じ色を示す画素」として抽出される。そして、抽出された画素が隣接している場合には、画素は、同じグループであるとラベリングされる。

このようにラベリング等によって、同じような画素の集まりが複数抽出できる場合がある。このような場合には、集まりのうち、最も画素数が多い集まりが画像の中心になるようにして、第２医用画像ＩＭＧ２が生成されるのが望ましい。このようにすると、肝臓の代表的な色を最もよく示す医用画像が生成できる。

ただし、図６（Ｃ）に示すように、第２医用画像ＩＭＧ２は、同じグループの画素だけを示す医用画像でなくともよい。すなわち、第２医用画像ＩＭＧ２は、肝臓を示す画素のうち、代表的な色又は画素値を示す画素の集まりが中心となるように示す医用画像であればよく、周辺の画素を一部に含む医用画像でもよい。

また、第２医用画像ＩＭＧ２は、図示する第２部位Ｐ２のように、肝臓全体でなく、臓器の中心を切り出した画像であるのが望ましい。すなわち、第２医用画像ＩＭＧ２は、臓器の輪郭を含まないように、臓器の内側にフォーカスした医用画像であるのが望ましい。

第２医用画像ＩＭＧ２が肝臓の輪郭を示すと、第２医用画像ＩＭＧ２に基づいて、肝臓の形状等が学習の対象、いわゆる特徴量になりやすくなる。一方で、大型血管炎が判断される場合には、臓器の輪郭、すなわち、形状等は、診断において参考にならない場合が多く、色又は画素値に基づいて症状が判断されるのが望ましい。

大型血管炎の判断を行うには、縦隔等の色を肝臓の色と比較して判断すると、精度良く判断できる。したがって、肝臓の形状等が第２医用画像ＩＭＧ２に基づいてあまり学習されないように、第２医用画像ＩＭＧ２は、肝臓の中心付近を拡大して示すような画像であるのが望ましい。このような範囲を示す第２医用画像ＩＭＧ２を用いると、特徴量に色又は画素値が採用されやすくなり、特定の症状をより精度良く判断できる。

なお、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２は、ステップＳ１及びステップＳ２というように、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２の順で入力されなくともよい。例えば、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２は、第２医用画像ＩＭＧ２が先に入力される、又は、並行して入力されてもよい。すなわち、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２は、入力の順序を問わない。

また、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２は、全身医用画像が入力され、入力された全身医用画像に基づいて、切り出し又は拡大等によって生成されたそれぞれの医用画像が第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２となって入力されてもよい。一方で、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２は、他の装置であらかじめ全身医用画像から切り出されて入力されてもよい。

又は、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２は、全身医用画像から生成されるのではなく、医用画像生成システム２１等によって、第１部位Ｐ１及び第２部位Ｐ２に絞って別々に生成される医用画像でもよい。以下、第１医用画像ＩＭＧ１が「１２８×１２８」（ｐｉｘｅｌ）、かつ、第２医用画像ＩＭＧ２が「３２×３２」（ｐｉｘｅｌ）の解像度である場合を例に説明する。ただし、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２は、上記以外の解像度であってもよい。

（マージ画像の生成例）
ステップＳ３では、診断装置は、第１医用画像及び第２医用画像に基づく画像をマージして、マージ画像を生成する。

（マージ画像に基づく学習例）
ステップＳ４では、診断装置は、マージ画像に基づいて学習を行う。

例えば、上記のような学習処理は、以下のような構造のネットワークで行われる。

図７は、ネットワーク構造例を示す図である。まず、上記のように、ステップＳ１及びステップＳ２が行われると、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２がＰＣ２０に入力される。

例えば、ネットワークＮＷは、図示するようなＣＮＮのネットワーク構造であるのが望ましい。

なお、学習処理において、ネットワークＮＷは、マージ画像ＩＭＧ４を生成する上で、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２に対して、隠れ層を有するネットワーク構造であるのが望ましい。

以下、第１医用画像ＩＭＧ１に対する隠れ層を「第１隠れ層Ｌ１」という。一方で、第２医用画像ＩＭＧ２に対する隠れ層を「第２隠れ層Ｌ２」という。

第１隠れ層Ｌ１は、例えば、畳み込み層とプーリング層の組み合わせで構成される層である。具体的には、第１隠れ層Ｌ１は、例えば、第１１畳み込み層ＬＣ１１、第１１プーリング層ＬＰ１１、第１２畳み込み層ＬＣ１２、第１２プーリング層ＬＰ１２、第１３畳み込み層ＬＣ１３の順に層構成される。このような第１隠れ層Ｌ１により、第１医用画像ＩＭＧ１に基づいて、第１特徴マップＭＰ１が生成される。

第１１畳み込み層ＬＣ１１は、この例では、畳み込み処理によって「１２８×１２８」の特徴マップを６４枚生成する。なお、畳み込み処理の詳細は後述する。

第１１プーリング層は、この例では、第１１畳み込み層ＬＣ１１が生成する特徴マップに対してプーリング処理を行うことで「６４×６４」の特徴マップを生成する。なお、プーリング処理の詳細は後述する。

第１２畳み込み層ＬＣ１２は、この例では、畳み込み処理によって「６４×６４」の特徴マップを１２８枚生成する。

第１２プーリング層ＬＰ１２は、この例では、第１２畳み込み層ＬＣ１２が生成する特徴マップに対してプーリング処理を行うことで「３２×３２」の特徴マップを生成する。

第１３畳み込み層ＬＣ１３は、畳み込み処理によって「３２×３２」の特徴マップを１２８枚生成する。

例えば、上記のような第１隠れ層Ｌ１に基づいて第１医用画像ＩＭＧ１が処理されると、第１特徴マップＭＰ１が生成できる。一方で、第１隠れ層Ｌ１に基づく処理とは、別に、第２隠れ層Ｌ２に基づく処理が行われる。なお、それぞれの処理は、並行して行われてもよいし、順に行われてもよい。

第２隠れ層Ｌ２は、例えば、畳み込み層で構成される層である。具体的には、第２隠れ層Ｌ２は、第２畳み込み層ＬＣ２で層構成される。このような第２隠れ層Ｌ２により、第２医用画像ＩＭＧ２に基づいて、第２特徴マップＭＰ２が生成される。

第２畳み込み層ＬＣ２は、畳み込み処理によって「３２×３２」の特徴マップを１２８枚生成する。

次に、ネットワークＮＷでは、第１特徴マップＭＰ１及び第２特徴マップＭＰ２に基づいて、マージ画像ＩＭＧ４が生成される。

マージ画像ＩＭＧ４は、第１特徴マップＭＰ１及び第２特徴マップＭＰ２に対するマージ処理によって生成される画像である。

このように、マージ処理によって生成されるマージ画像ＩＭＧ４は、第１医用画像ＩＭＧ１に基づいて症状を判断する上で、第２医用画像ＩＭＧ２が示す代表的な色又は画素値を考慮した結果を示す。

なお、図７に示すネットワーク構造の例では、まず、あらかじめ隠れ層に基づく処理によって、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２に基づいて、第１特徴マップＭＰ１及び第２特徴マップＭＰ２が生成される。その後、第１特徴マップＭＰ１及び第２特徴マップＭＰ２に基づいて、マージ画像ＩＭＧ４が生成されるネットワーク構造である。このようなネットワーク構造であっても、第１特徴マップＭＰ１及び第２特徴マップＭＰ２は、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２の特徴を示す画像である。したがって、以下の説明では、説明を簡略にするため、図７に示すネットワーク構造の例のように、第１特徴マップＭＰ１及び第２特徴マップＭＰ２に対してマージ処理を行う場合であっても、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２に対する処理と表現して説明する。なお、ネットワークＮＷは、第１隠れ層Ｌ１、第２隠れ層Ｌ２、又は、両方がない構造でもよい。

例えば、マージ処理は、画素値を加算、減算、又は、乗算する処理である。

具体的には、マージ画像ＩＭＧ４を第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２が有する画素のそれぞれの画素値の差を計算するマージ処理によって生成する場合には、マージ画像ＩＭＧ４は、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２に基づいて生成される特徴マップの画素値の差を示す画像となる。

したがって、マージ画像ＩＭＧ４は、第２医用画像ＩＭＧ２が示す色に対する第１医用画像ＩＭＧ１の明暗差等を示すような画像にできる。このように、マージ画像ＩＭＧ４は、第２医用画像ＩＭＧ２が示す色を基準に、第１医用画像ＩＭＧ１を判断するような画像であるのが望ましい。

第２医用画像ＩＭＧ２のように、基準となる色を示す補助的な画像があると、第１医用画像ＩＭＧ１のみ、すなわち、１箇所の部位だけに着目して判断する場合よりも、症状を精度良く判断できる。したがって、マージ画像ＩＭＧ４は、第２医用画像ＩＭＧ２が示す色等を基準にするように生成されるのが望ましい。

なお、マージ処理において、例えば、第１医用画像ＩＭＧ１の画素値から第２医用画像ＩＭＧ２の画素値を減算する場合において、第２医用画像ＩＭＧ２の画素値にあらかじめ設定する係数を乗算してから減算が行われてもよい。すなわち、マージ処理を行う上で、どちらか一方の医用画像の画素値に重み付けがされてもよい。

以上のようなマージ処理で生成されるマージ画像ＩＭＧ４に基づいて、例えば、第３隠れ層Ｌ３に基づいて処理が行われる（ステップＳ４）。

第３隠れ層Ｌ３は、例えば、第３１プーリング層ＬＰ３１、第３１畳み込み層ＬＣ３１、第３２プーリング層ＬＰ３２、第３２畳み込み層ＬＣ３２、第３３プーリング層ＬＰ３３、第３３畳み込み層ＬＣ３３、及び、第３４プーリング層ＬＰ３４等で構成される。さらに、第３隠れ層Ｌ３は、例えば、正規化層ＬＮ３、第１全結合層ＬＦ３１、第１ドロップアウト層ＬＤ３１、第２全結合層ＬＦ３２、及び、第２ドロップアウト層ＬＤ３２等を有する構成である。

第３１プーリング層ＬＰ３１は、この例では、マージ画像ＩＭＧ４に対してプーリング処理を行うことで「１６×１６」の特徴マップを生成する。

第３１畳み込み層ＬＣ３１は、この例では、第３１プーリング層ＬＰ３１が生成する特徴マップに対して畳み込み処理を行い、「１６×１６」の特徴マップを２５６枚生成する。

第３２プーリング層ＬＰ３２は、この例では、第３１畳み込み層ＬＣ３１が生成する特徴マップに対してプーリング処理を行うことで「８×８」の特徴マップを生成する。

第３２畳み込み層ＬＣ３２は、この例では、第３２プーリング層ＬＰ３２が生成する特徴マップに対して畳み込み処理を行い、「８×８」の特徴マップを２５６枚生成する。

第３３プーリング層ＬＰ３３は、この例では、第３２畳み込み層ＬＣ３２が生成する特徴マップに対してプーリング処理を行うことで「４×４」の特徴マップを生成する。

第３３畳み込み層ＬＣ３３は、この例では、第３３プーリング層ＬＰ３３が生成する特徴マップに対して畳み込み処理を行い、「４×４」の特徴マップを２５６枚生成する。

第３４プーリング層ＬＰ３４は、この例では、第３３畳み込み層ＬＣ３３が生成する特徴マップに対してプーリング処理を行うことで「１×１」の特徴マップを生成する。

正規化層ＬＮ３は、第３４プーリング層ＬＰ３４が生成する特徴マップを正規化する。なお、正規化の処理の詳細は後述する。

第１全結合層ＬＦ３１、及び、第２全結合層ＬＦ３２は、全結合処理を行う。なお、全結合処理の詳細は後述する。

第１ドロップアウト層ＬＤ３１、第２ドロップアウト層ＬＤ３２は、ドロップアウト処理を行う。なお、ドロップアウト処理の詳細は後述する。

なお、ネットワークＮＷの構成において、画素数（画像の縦及び横のサイズでもある。）及び生成する特徴マップの数は、上記の例に限られない。すなわち、上記の例と異なる画素数及び特徴マップの数が生成されるネットワーク構造でもよい。

また、層構成等は、上記に示す例の構成に限られない。すなわち、上記に示す以外の層がある層構成であってもよい。さらに、層構成は、学習処理等によって変更されてもよい。

なお、学習処理では、学習モデルが評価されてもよい。例えば、精度を向上させるために、第１医用画像ＩＭＧ１又は第２医用画像ＩＭＧ２のうち、少なくともいずれか一方が投影する範囲を変更する等の調整がされてもよい。

＜畳み込み処理例＞（Ｃｏｎｖｏｌｕｔｉｏｎ）
畳み込み処理は、入力される画像又は特徴マップの特徴を抽出する処理である。

畳み込み処理では、まず、フィルタ（「カーネル」と呼ばれる場合もある。）に基づいて、フィルタを構成するフィルタ係数（「重み」と呼ばれる場合もある。）を画素値と乗算し、それぞれの画素値に対して乗算結果を算出していく処理が行われる。次に、それぞれの乗算結果を総和して特徴マップを構成する各値を算出する処理が行われる。このように、畳み込み処理は、いわゆるフィルタ処理によって特徴マップを生成する処理である。

図８は、畳み込み処理の例を示す図である。例えば、図８（Ａ）に示すような画像（医用画像又は特徴マップ等である。以下「第１入力画像ＩＮ１」という。）が畳み込み処理の対象であるとする。

図８（Ａ）に示すように、第１入力画像ＩＮ１は、横にＭ行、かつ、縦にＮ列、すなわち、Ｍ×Ｎ個の画素を有する画像であるとする。また、図では、それぞれの画素値を「Ａ００」（図は、下１桁目が行を示し、下２桁目が列を示す記載とする。）のように示す。

図８（Ｂ）は、第１フィルタＦ１を示す図である。なお、第１フィルタＦ１は、「３×３」のサイズの例である。ただし、フィルタのサイズは、「３×３」以外でもよい。以下、第１フィルタＦ１を構成するフィルタ係数を図では、第１入力画像ＩＮ１の画素値と同様の形式で示す。

畳み込み処理は、例えば、第１入力画像ＩＮ１の左上、すなわち、「Ａ１１」を中心にフィルタ係数を乗じる計算を行う。具体的には、「Ａ００×Ｂ００」、「Ａ０１×Ｂ０１」、・・・のように乗算結果が算出され、これらの乗算結果を総和すると、特徴マップを構成する特徴値の１つである「Ｃ００」が生成される。

図８（Ｃ）は、第１出力特徴マップＯＵＴ１を示す図である。以下、図では、畳み込み処理結果を示す第１出力特徴マップＯＵＴ１を構成する特徴値を第１入力画像ＩＮ１の画素値と同様の形式で示す。そして、図示するように、第１フィルタＦ１を適用する位置を変えていくと、第１出力特徴マップＯＵＴ１における特徴値が「Ｃ０１」、「Ｃ０２」・・・のように生成される。

そして、フィルタ係数が学習処理により、変更される。このように、いわゆる誤差逆伝播によって、フィルタ係数が変更され、畳み込み処理に用いられるフィルタが学習処理により生成される。また、畳み込み処理の処理結果、すなわち、特徴マップは、畳み込み処理に用いるフィルタのフィルタ係数又は入力画像の少なくとも一方が異なれば違う処理結果となる。

このような畳み込み処理を行うと、例えば、入力される医用画像又は特徴マップ等において特徴を示す画素が、他の画像とは、上下左右にずれる、又は、回転等の違いがあっても、同様の特徴が抽出できる。すなわち、人の局所受容野のように、いわゆる移動不変性を確保できる。

なお、畳み込み処理では、処理対象となる画像の端部に、あらかじめ設定する画素値の画素を周辺に追加する事前処理、いわゆるパディング（Ｐａｄｄｉｎｇ）が行われてもよい。パディングが行われると、畳み込み処理によってサイズが小さくなるのを防げる。また、パディングが行われると、端部までフィルタ処理が可能になる。

さらに、畳み込み処理におけるフィルタ処理は、間隔が１画素でなく、間隔が２画素以上であってもよい。すなわち、畳み込み処理では、いわゆるストライド（Ｓｔｒｉｄｅ）が行われてもよい。ストライドが行われると、特徴マップを小さく生成できる。

＜プーリング処理例＞（Ｐｏｏｌｉｎｇ）
プーリング処理は、特徴点の位置をロバストにする処理である。

プーリング処理は、あらかじめ設定される演算を行って、入力画像をダウンサイズさせた特徴マップを生成する処理である。なお、プーリング処理は、ダウンサンプリング処理又はサブサンプリング処理等と呼ばれる場合もある。

図９は、プーリング処理の例を示す図である。例えば、図９（Ａ）に示すような画像（医用画像又は特徴マップ等である。以下「第２入力画像ＩＮ２」という。）がプーリング処理の対象であるとする。

プーリング処理は、例えば、設定される範囲にある画素のうち、最も画素値が大きい値を抽出する処理（「ｍａｘサンプリング」等と呼ばれる場合もある。）である。図示する例では、プーリング処理は、「２×２」の範囲ごとに、最大値を抽出していく処理である。

図９（Ａ）に示すように、例えば、第２入力画像ＩＮ２の左上の位置において、「２×２」の範囲に、「３」、「５」、「４」、及び、「−１」という画素値の画素がある場合には、これらの画素値で最も画素値が大きい「５」という画素値の画素が、プーリング処理によって抽出される。このような処理が行われると、出力特徴マップを構成する特徴値の１つである「５」が生成される。

図９（Ｂ）は、第２出力特徴マップＯＵＴ２を示す図である。以下、プーリング処理結果を示す第２出力特徴マップＯＵＴ２を構成する特徴値を第１入力画像ＩＮ１の画素値と同様の形式で示す。そして、図示するように、処理の対象となる範囲を変えていくと、第２出力特徴マップＯＵＴ２における特徴値が「５」、「５」・・・のように生成される。

なお、プーリング処理は、最大値を抽出する処理に限られない。すなわち、プーリング処理は、設定される範囲における画素値に基づいて代表値を定める処理であればよい。例えば、プーリング処理は、平均値又は中央値等の統計値を抽出する処理でもよい。

また、プーリング処理は、パディングが行われてもよい。

＜正規化の処理例＞（Ｎｏｒｍａｌｉｚａｔｉｏｎ）
正規化の処理は、分散及び平均値を揃える処理である。例えば、正規化の処理は、データの分散が「１」となり、かつ、平均値が「０」となるように、データを変更する処理である。なお、正規化の処理は、最大値、最小値又はこれら双方を設定値以内の値にする等の処理を含んでもよい。

このように、正規化の処理が行われると、学習係数を大きくできる。また、正規化の処理が行われると、多層であっても値が収束するようにできる。

また、正規化の処理は、層ごとに行われてもよい。すなわち、正規化の処理は、いわゆるバッチノーマライゼーション等でもよい。

＜全結合処理例＞（Ｆｕｌｌｃｏｎｎｅｃｔｅｄ）
全結合処理は、前に行われる畳み込み処理等で生成される特徴マップを出力層へ落とし込む処理である。

図１０は、全結合処理の例を示す図である。例えば、全結合処理は、図示するように、全結合処理より前に行われる処理によって、複数の「特徴マップ」が生成される場合において、それぞれの特徴マップを出力層ＬＯに関連付けさせる処理である。

図示する例は、出力層ＬＯが「Ｙｅｓ」又は「Ｎｏ」等のように、最終的に出力する形式が２つに設定された場合の例である。したがって、全結合処理は、それぞれの特徴マップに基づいて、活性化関数（いわゆる「ｓｏｆｔｍａｘ」等である。）等によって出力層ＬＯにあらかじめ設定される出力形式のいずれに該当するかを判定する処理である。

なお、それぞれの特徴マップには、重み付けがされてもよい。

また、全結合層より後に出力層がないネットワーク構造、すなわち、出力が特徴マップとなる構成でもよい。具体的には、いわゆるＧＡＰ（ＧｌｏｂａｌＡｖｅｒａｇｅＰｏｏｌｉｎｇ）層等が採用されてもよい。このようにＧＡＰ層を用いて、パラメータを少なくするようにしてもよい。

＜ドロップアウト処理例＞（Ｄｒｏｐｏｕｔ）
図１１は、ドロップアウト処理の例を示す図である。例えば、ドロップアウト処理を行うドロップアウト層ＤＰは、図示するように、全結合層ＬＦの前後に設定される。

図において、丸印（○）は、パーセプトロン（「ノード」等と呼ばれる場合もある。）を示す。また、図では、線で結ぶことで、前後のパーセプトロンを関連付けして示す。

ドロップアウト処理は、学習処理において、所定の確率で関連付けをなくす処理である。この図では、ドロップアウト層ＤＰは、前の全結合層ＬＦと、後の全結合層ＬＦとを結ぶ線であって、ドロップアウト層ＤＰを通過する線のうち、一部の線を所定の確率で消す処理となる。

ドロップアウト処理は、学習処理において、例えば、ランダムにノードを使わないようにして、出力及び誤差逆伝播等を行う処理である。ドロップアウト処理を行うと、ノード間の依存関係を減らすことができる。したがって、過学習等を防ぐことができる。

＜実行処理例＞
（実行医用画像の入力例）
ステップＳ５では、診断装置は、実行医用画像を入力する。

（実行医用画像に基づく判断例）
ステップＳ６では、診断装置は、実行医用画像に基づいて判断を行う。

例えば、上記のような実行処理は、あらかじめ行われる学習処理で生成されるネットワークに基づいて、以下のように実行される。

図１２は、実行処理に用いるネットワークの例を示す図である。例えば、診断装置は、あらかじめ学習データを入力して行う学習処理によって、ネットワークの学習を行う。

学習処理が実行された後、診断装置は、学習モデル２２に対して実行医用画像ＩＭＧ３を入力して実行処理を行う。

実行医用画像ＩＭＧ３は、例えば、全身医用画像等である。ただし、実行医用画像ＩＭＧ３は、第１部位Ｐ１及び第２部位Ｐ２の両方を含む範囲を示す医用画像であればよく、全身がすべて含まれる医用画像でなくともよい。

実行処理が行われると、大型血管炎等の症状であるか否かを判断した判断結果３が出力される。判断結果３は、例えば、出力装置によって、医師等が見れるように出力される。

例えば、医師は、このように出力される判断結果３を症状の診断を行うのに参考にして最終的な診断を行う。

なお、実行医用画像ＩＭＧ３は、学習処理と同様に、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２という２つの医用画像の組み合わせでもよい。

また、診断装置は、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２等の画像以外に、更にパラメータを入力してもよい。

なお、第２部位Ｐ２は、上記の例に示すように１箇所の部位でなくともよい。すなわち、第２医用画像ＩＭＧ２は、２種類以上の部位を示す画像であってもよい。さらに、第２医用画像ＩＭＧ２は、２種類以上の画像であってもよい。

また、上記の例において、マージ画像ＩＭＧ４を生成する位置は、図示する位置以外であってもよい。

なお、第１医用画像ＩＭＧ１、第２医用画像ＩＭＧ２、実行医用画像ＩＭＧ３又はこれらの画像のうち、２つ以上の組み合わせは、入力において、階調又はコントラスト等が調整されてもよい。

＜機能構成例＞
図１３は、機能構成例を示す図である。例えば、診断装置又は診断システムは、第１医用画像入力部ＦＮ１、第２医用画像入力部ＦＮ２、学習部ＦＮ３、実行画像入力部ＦＮ４、及び、判断部ＦＮ５等を含む機能構成である。

第１医用画像入力部ＦＮ１は、患者の第１部位Ｐ１を投影した第１医用画像ＩＭＧ１を入力する第１医用画像入力手順を行う。例えば、第１医用画像入力部ＦＮ１は、通信装置２０Ｈ３、又は、インタフェース２０Ｈ６等で実現する。

第２医用画像入力部ＦＮ２は、第２部位Ｐ２を投影した第２医用画像ＩＭＧ２を入力する第２医用画像入力手順を行う。例えば、第２医用画像入力部ＦＮ２は、通信装置２０Ｈ３、又は、インタフェース２０Ｈ６等で実現する。

学習部ＦＮ３は、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２に基づいて、ネットワークＮＷの学習を行い、学習モデル２２を構築する学習手順を行う。例えば、学習部ＦＮ３は、ＣＰＵ２０Ｈ１等で実現する。

実行画像入力部ＦＮ４は、実行医用画像ＩＭＧ３を入力する実行医用画像入力手順を行う。例えば、実行画像入力部ＦＮ４は、通信装置２０Ｈ３、又は、インタフェース２０Ｈ６等で実現する。

判断部ＦＮ５は、学習モデル２２を用いて、実行医用画像ＩＭＧ３に基づいて、症状について判断を行う判断手順を行う。例えば、判断部ＦＮ５は、ＣＰＵ２０Ｈ１等で実現する。

なお、第１医用画像入力部ＦＮ１、第２医用画像入力部ＦＮ２、及び、学習部ＦＮ３は、学習処理が行われる場合に存在すればよい。したがって、学習処理が完了して、学習モデル２２が構築された後、すなわち、実行処理を行う場合には、診断装置又は診断システムは、第１医用画像入力部ＦＮ１、第２医用画像入力部ＦＮ２、及び、学習部ＦＮ３がない機能構成でもよい。

同様に、実行画像入力部ＦＮ４は、学習モデル２２が構築された後、実行処理を行う場合に存在すればよい。したがって、学習処理が完了する前、すなわち、学習処理を行う場合には、診断装置又は診断システムは、実行画像入力部ＦＮ４がない機能構成でもよい。

ゆえに、学習処理と実行処理は、異なる装置が別々に行う構成でもよい。

なお、診断装置又は診断システムは、例えば、図７に示すように、隠れ層に基づいて、畳み込み処理、及び、プーリング処理等を行う処理部が更に含まれる機能構成であるのが望ましい。

以上のような機能構成であると、診断装置又は診断システムは、大型血管炎等のように、症例数が数百件以下の希少な症状であっても、画像に基づいて精度良く症例を判断できる。

希少な症状は、例えば、「難病の患者に対する医療等に関する法律」（平成二十六年法律第五十号）、いわゆる難病法（以下「難病法」という。）で難病と指定される症状である。なお、難病法では、大型血管炎は、高安動脈炎という名称で指定される症状である。したがって、本実施形態では、難病法における高安動脈炎が対象となってもよい。

＜対象となる特定の症状の例＞
特定の症状は、症例が少ない症状である。ＡＩ等における学習は、学習データとしての画像は、数万枚以上あるのが望ましい場合が多い。一方で、大型血管炎等の症状は、これほど発生しない症状である。このような症状では、機械学習等で十分に学習ができるほど、症例の画像を準備するのが難しい場合が多い。

学習データを準備するのに、学習データの数を増やすため、１つの画像を加工する方法がある。例えば、元の画像に対して、回転、反転、変形、移動、又は、これらの組み合わせ等の加工を行って、別の画像を生成して画像の数を増やす方法がある。いわゆる「データ拡張（ＤａｔａＡｕｇｍｅｎｔａｔｉｏｎ）」と呼ばれる方法である。

医用画像に基づく判断では、データ拡張等の方法によって生成された画像では、精度が向上しない場合が多い。例えば、データ拡張によって生成された画像であると、医師等が診断に一般的に用いる画像からかけ離れた形式になり、学習の妨げになる場合がある。

また、前提的な症例の画像（例えば、医学書等に記載される例となる画像等である。）では、症状が起きた臓器を同じような形状等を示す場合が多い。そのため、このような画像を学習データに用いると、形状等だけを学習してしまい、形状等だけで判断するように学習してしまうような場合もある。したがって、特定の症状には、データ拡張等の方法で学習データを増やして学習させても、精度が向上しない場合がある。

また、医用画像に特化した学習モデルは、公開されていない場合が多い。特に、放射線科に係る医用画像を学習データとした学習モデルは、公開されていない場合が多い。そして、一般的な画像を学習データとする学習モデルでは、精度が高くできない場合が多い。例えば、ＩｍａｇｅＮｅｔ、ＦＭＤ（ＦｌｉｃｋｒＭａｔｅｒｉａｌＤａｔａｂａｓｅ）、又は、ＴｈｅＫＴＨ−ＴＩＰＳａｎｄＫＴＨ−ＴＩＰＳ２ｉｍａｇｅｄａｔａｂａｓｅｓ等で提供されている画像を学習データにして学習した学習モデルでは、精度が向上しない場合がある。したがって、医用画像を入力とし、特定の症状を判断させるような処理では、一般的な画像で学習済みのネットワークを利用する、いわゆる転移学習では、精度が向上しない場合がある。

なお、診断装置によって判断される対象となる症状は、白質脳症であってもよい。

図１４は、スライス医用画像群を用いる診断システムの全体構成例を示す図である。例えば、特定の症状が白質脳症である場合には、医用画像生成システム２１は、スライス医用画像群ＩＭＧ１０を生成する。

スライス医用画像群ＩＭＧ１０は、例えば、患者１の頭頂部乃至鼻孔部を対象範囲として、生成される複数の医用画像である。具体的には、スライス医用画像群ＩＭＧ１０を構成するそれぞれの医用画像は、例えば、対象範囲において、一定の間隔ごとに投影、いわゆるスライス状に生成される医用画像である。したがって、スライス医用画像群ＩＭＧ１０を構成するそれぞれの医用画像は、一定の間隔、ずれた部位を示す画像である。

なお、一定の間隔は、あらかじめ設定され、医用画像生成システム２１の仕様等によって定まる。

例えば、このように生成されるスライス医用画像群ＩＭＧ１０のうち、任意に選択される２枚以上の医用画像が、第１医用画像ＩＭＧ１及び第２医用画像ＩＭＧ２、すなわち、学習データとなってもよい。以下、大型血管炎と同様に、図５に示すような全体処理が行われてもよい。

なお、特定の症例が白質脳症である場合には、ネットワーク構造は、例えば、以下のような構造でもよい。

図１５は、白質脳症用のネットワーク構造例を示す図である。例えば、スライス医用画像群ＩＭＧ１０を構成する医用画像が学習データ及び実行用のデータとなる場合には、図示するようなネットワーク構造であってもよい。

以上のように、診断装置又は診断システムは、異なる部位を示す複数の医用画像を入力して、学習処理及び実行処理を行う構成である。

＜変形例＞
なお、第１部位には、縦隔以外の部位が含まれてもよい。例えば、第１部位には、縦隔に加えて、首あたりまでの範囲等が更に含まれてもよい。具体的には、第１部位には、以下のような範囲が含まれてもよい。

図１６は、第１部位の変形例を示す図である。具体的には、第１部位には、大動脈弓分枝血管Ｐ１１、上行大動脈Ｐ１２、大動脈弓Ｐ１３、胸部下行大動脈Ｐ１４（単に「下行大動脈」と呼ばれる場合もある。）、腹部大動脈Ｐ１５、及び、腎動脈Ｐ１６（右腎動脈及び左腎動脈である。）等が含まれてもよい。

大動脈弓分枝血管Ｐ１１は、例えば、腕頭動脈、右鎖骨下動脈、右総頚動脈、左総頚動脈、左鎖骨下動脈、又は、これらの一部である。さらに、上行大動脈Ｐ１２、大動脈弓Ｐ１３、胸部下行大動脈Ｐ１４、腹部大動脈Ｐ１５、及び、腎動脈Ｐ１６等が加わってもよい。

大型血管炎は、例えば、病変部位によって、大動脈弓分枝血管（分類タイプ１）、上行大動脈、大動脈弓、及び、分枝血管（分類タイプ２ａ）、上行大動脈、大動脈弓、分枝血管、及び、胸部下行大動脈（分類タイプ２ｂ）、胸部下行大動脈、腹部大動脈、及び、腎動脈（分類タイプ３）、腹部大動脈、及び／又は、腎動脈（分類タイプ４）、並びに、上行大動脈、大動脈弓、分枝血管、胸部下行大動脈、腹部大動脈、及び／又は、腎動脈（分類タイプ５）という６種類に分類される。

すなわち、大型血管炎では、縦隔に症状が発生する場合であっても、胸部下行大動脈Ｐ１４、腹部大動脈Ｐ１５、及び、腎動脈Ｐ１６等の部位にも症状が発生する場合がある。そこで、第１部位に胸部下行大動脈Ｐ１４、腹部大動脈Ｐ１５、及び、腎動脈Ｐ１６等を加えて学習及び実行が行われてもよい。このような部位が加わると、胸部下行大動脈Ｐ１４、腹部大動脈Ｐ１５、及び、腎動脈Ｐ１６等の部位にも症状が発生しているか否か等も判断できる。すなわち、タイプ１乃至タイプ５に分類される症状も判断できる。なお、これらの部位は、すべて１つの医用画像に含まれる必要はなく、別の医用画像で入力されてもよい。

なお、第１医用画像及び第２医用画像は、データ拡張が行われてもよい。ただし、医用画像を対象にデータ拡張する場合には、例えば、以下のような条件が設定されるのが望ましい。

医用画像の拡大及び縮小は、人間の常識で考えられる範囲内で行われるのが望ましい。例えば、心臓及び血管等は、一般的な大きさに対して、２倍の大きさになる場合は少ない。したがって、医用画像の拡大及び縮小は、０．９倍乃至１．１倍程度の範囲で行われるのが望ましい。

医用画像のコントラスト変更は、人間が医用画像を見て形状等を判断できる範囲内で変更されるのが望ましい。すなわち、医用画像のコントラスト変更は、形状及び色等が分からなくなるレベルまで画像を暗く又は明るくしない範囲が望ましい。

なお、上記に示す方法と、他のデータ拡張が組み合わせて行われてもよい。

また、マージ画像を生成する画像は、第１部位を示す画像及び第２部位を示す画像に基づく画像であればよい。したがって、学習処理では、マージ画像を生成するのに用いられる画像は、第１医用画像及び第２医用画像が用いられてもよいし、これらの画像に対して何らかの処理を行って生成される画像でもよい。一方で、実行処理では、マージ画像を生成するのに用いられる画像は、実行医用画像が用いられてもよいし、実行医用画像に対して何らかの処理を行って生成される画像でもよい。

＜その他の実施形態＞
上記に示す各装置は、１台の装置でなくともよい。すなわち、各装置は、複数の装置で構成されてもよい。また、各装置は、上記に示す以外の装置を内部又は外部に有線又は無線で接続して有してもよい。

本発明に係る実施形態では、診断装置、又は、診断システムが有する情報処理装置等は、並行、分散又は冗長して処理を行ってもよい。

また、本発明に係る処理及びデータは、クラウドコンピュータ等を利用して、並行、分散又は冗長して処理されてもよい。さらに、データは、クラウドコンピュータ又はＲＡＩＤ等で冗長又は分散して記憶されてもよい。

また、本実施形態は、コンピュータに診断方法を実行させるためのプログラム等で実現されてもよい。

したがって、プログラムに基づいて、診断方法を実現する各処理が実行されると、コンピュータが有する演算装置及び制御装置は、各処理を実行するため、プログラムに基づいて演算及び制御を行う。また、コンピュータが有する記憶装置は、各処理を実行するため、プログラムに基づいて、処理に用いられるデータを記憶する。このように、プログラムに基づいて、各ハードウェア資源が協働して処理を実行することで診断方法が行われてもよい。

また、プログラムは、コンピュータが読み取り可能な記録媒体に記録されて頒布することができる。なお、記録媒体は、磁気テープ、フラッシュメモリ、光ディスク、光磁気ディスク又は磁気ディスク等のメディアである。さらに、プログラムは、電気通信回線を通じて頒布することができる。

以上、本発明の例示的な実施形態について説明したが、本発明は、具体的に開示された実施の形態に限定されない。すなわち、特許請求の範囲から逸脱することなく、種々の変形、改良又は変更が可能である。

１患者
２診断システム
３判断結果
２０診断装置
２１医用画像生成システム
２２学習モデル
ＤＰドロップアウト層
Ｆ１第１フィルタ
ＦＮ１第１医用画像入力部
ＦＮ２第２医用画像入力部
ＦＮ３学習部
ＦＮ４実行画像入力部
ＦＮ５判断部
ＩＭＧ１第１医用画像
ＩＭＧ２第２医用画像
ＩＭＧ３実行医用画像
ＩＭＧ４マージ画像
ＩＭＧ１０スライス医用画像群
ＩＮ１第１入力画像
ＩＮ２第２入力画像
Ｌ１第１隠れ層
Ｌ２第２隠れ層
Ｌ３第３隠れ層
ＬＣ１１第１１畳み込み層
ＬＣ１２第１２畳み込み層
ＬＣ１３第１３畳み込み層
ＬＣ２第２畳み込み層
ＬＣ３１第３１畳み込み層
ＬＣ３２第３２畳み込み層
ＬＣ３３第３３畳み込み層
ＬＤ３１第１ドロップアウト層
ＬＤ３２第２ドロップアウト層
ＬＦ全結合層
ＬＦ３１第１全結合層
ＬＦ３２第２全結合層
ＬＮ３正規化層
ＬＯ出力層
ＬＰ１１第１１プーリング層
ＬＰ１２第１２プーリング層
ＬＰ３１第３１プーリング層
ＬＰ３２第３２プーリング層
ＬＰ３３第３３プーリング層
ＬＰ３４第３４プーリング層
ＭＰ１第１特徴マップ
ＭＰ２第２特徴マップ
ＮＷネットワーク
ＯＵＴ１第１出力特徴マップ
ＯＵＴ２第２出力特徴マップ
Ｐ１第１部位
Ｐ２第２部位

Claims

患者の第１部位を投影した第１医用画像を入力する第１医用画像入力部と、
前記第１部位とは異なる部位である第２部位を投影した第２医用画像を入力する第２医用画像入力部と、
前記第１医用画像及び前記第２医用画像に基づいて、ネットワークの学習を行い、学習モデルを構築する学習部と、
前記学習モデルを用いて、前記第１部位及び前記第２部位を投影した実行医用画像に基づいて、症状について判断を行う判断部と
を含み、
前記学習部は、前記第１医用画像及び前記第２医用画像に基づいてマージ画像を生成して、前記マージ画像を用いて学習を行う
診断装置。
前記第１部位は、縦隔であり、
前記第２部位は、肝臓である
請求項１に記載の診断装置。
前記症状は、大型血管炎である
請求項１又は２に記載の診断装置。
前記第１医用画像は、前記第２医用画像より解像度が高い画像である
請求項１乃至３のいずれか１項に記載の診断装置。
前記第２医用画像は、前記第２部位における同一の色を示す画素、同一の画素値を示す画素、又は、基準値以内の画素のうち、いずれかの集まりを含む画像である
請求項１乃至４のいずれか１項に記載の診断装置。
前記第２医用画像は、前記第２部位における臓器の輪郭を含まない位置を示す
請求項５に記載の診断装置。
前記第１医用画像及び前記第２医用画像は、前記第１部位及び前記第２部位の両方を示す医用画像から切り出して生成される
請求項１乃至６のいずれか１項に記載の診断装置。
前記マージ画像は、前記第１医用画像及び前記第２医用画像のそれぞれの色又は画素値を比較した結果を示す画像である
請求項１乃至７のいずれか１項に記載の診断装置。
前記マージ画像は、前記画素値の差を計算して生成される画像である
請求項８に記載の診断装置。
前記ネットワークは、隠れ層を有し、
前記第１医用画像及び前記第２医用画像に対して、前記隠れ層に基づく、畳み込み、プーリング、又は、これらの組み合わせを行う処理部を更に含み、
前記マージ画像は、前記処理部が前記第１医用画像及び前記第２医用画像を処理して生成する第１特徴マップ及び第２特徴マップに基づいて生成される
請求項１乃至９のいずれか１項に記載の診断装置。
前記第１部位は、大動脈弓分枝血管、上行大動脈、大動脈弓、胸部下行大動脈、腹部大動脈、及び、腎動脈のうち、いずれを含み、かつ、前記第１部位は、縦隔を更に含み、
前記第２部位は、肝臓である
請求項１乃至１０のいずれか１項に記載の診断装置。
患者の第１部位を投影した第１医用画像を入力する第１医用画像入力部と、
前記第１部位とは異なる部位である第２部位を投影した第２医用画像を入力する第２医用画像入力部と、
前記第１医用画像及び前記第２医用画像に基づいて、ネットワークの学習を行い、学習モデルを構築する学習部と、
前記学習モデルを用いて、前記第１部位及び前記第２部位を投影した実行医用画像に基づいて、症状について判断を行う判断部と
を含み、
前記学習部は、前記第１医用画像及び前記第２医用画像に基づいてマージ画像を生成して、前記マージ画像を用いて学習を行う
診断システム。
コンピュータに診断方法を実行させるためのプログラムであって、
コンピュータが、患者の第１部位を投影した第１医用画像を入力する第１医用画像入力手順と、
コンピュータが、前記第１部位とは異なる部位である第２部位を投影した第２医用画像を入力する第２医用画像入力手順と、
コンピュータが、前記第１医用画像及び前記第２医用画像に基づいて、ネットワークの学習を行い、学習モデルを構築する学習手順と、
コンピュータが、前記学習モデルを用いて、前記第１部位及び前記第２部位を投影した実行医用画像に基づいて、症状について判断を行う判断手順と
を実行させ、
前記学習手順では、前記第１医用画像及び前記第２医用画像に基づいてマージ画像を生成して、前記マージ画像を用いて学習を行う
プログラム。