JP7476800B2 - 医療支援システム、医療支援装置及び医療支援方法 - Google Patents

Description

本開示は、医療支援システム、医療支援装置及び医療支援方法に関する。

医師が患者を診療する際には、様々な手法が用いられる。例えば、潰瘍性大腸炎などでは、内視鏡を用いて診療が行われる。この診療では、内視鏡から得られる撮像画像から医師が患部の病状を評価して、長期間に亘ってモニタリングをしながら、投薬量等をコントロールする。このようなモニタリングによる経過観察で病状の評価が困難な場合には、生検を行って病理診断による確定診断を行うことがある（下記の非特許文献参照）。

Ｔｈｅｏｄｏｒｅ Ｒ． Ｌｅｖｉｎ， 「Ｃｏｍｐｌｉｃａｔｉｏｎｓ ｏｆ Ｃｏｌｏｎｏｓｃｏｐｙ ｉｎ ａｎ Ｉｎｔｅｇｒａｔｅｄ ＨｅａｌｔｈＣａｒｅ Ｄｅｌｉｖｅｒｙ Ｓｙｓｔｅｍ」， Ａｎｎ Ｉｎｔｅｒｎ Ｍｅｄ， ２００６ Ｄｅｃ １９， １４５（１２）：８８０－６．

しかし、内視鏡の撮像画像からの病状の評価は、目視判断となるため、専門医ごとに個人差による評価ばらつきが生じてしまっていた。また、生検を行って診察する場合には、上記の非特許文献１に記載されるように、検体採取時に穿孔等の影響で出血が生じ、感染症へ罹患する等の生体へのリスクが懸念される。上記事情を鑑みれば、内視鏡を用いた診察において、病状の評価をより簡便に行うことが求められていた。

本開示によれば、患部を撮像して得られた患部画像に基づいて、前記患部に対する評価値を導出する導出装置と、前記評価値をユーザへ呈示する表示装置と、を備え、前記導出装置は、前記患部画像を複数のタイル状のタイル画像として切り出す切出部と、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出する評価導出部と、を有する、医療支援システムが提供される。

また、本開示によれば、患部を撮像して得られた患部画像を複数のタイル状のタイル画像として切り出す切出部と、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出する評価導出部と、前記タイル評価値をユーザへ呈示する表示装置を制御する表示制御部と、を有する、医療支援装置が提供される。

また、本開示によれば、導出装置が、患部を撮像して得られた患部画像を複数のタイル状のタイル画像として切り出すことと、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出することと、表示装置が、前記タイル評価値をユーザへ呈示することと、を含む、医療支援方法が提供される。

本開示の実施形態に係る医療支援システムの概要を示す模式図である。 同実施形態に係る表示の一例を示した図である。 同実施形態に係る医療支援システムの構成の一例を示したブロック図である。 同実施形態に係る医療支援システムの動作の一例を示した模式図である。 同実施形態に係る表示の一例を示した図である。 同実施形態に係る医療支援システムの動作フローの一例を示したフロー図である。 同実施形態に係る医療支援システムの動作フローの一例を示したフロー図である。 同実施形態に係る表示の変形例の一例を示した図である。 解析可能と判断された症例に対してＵＣＥＩＳをスコアリングした際の内視鏡医およびＤＮＵＣの間の相関を示す散布図である。 確信度が高いと判断された症例に対してＵＣＥＩＳをスコアリングした際の内視鏡医およびＤＮＵＣの間の相関を示す散布図である。 同実施形態に係る医療支援システムのハードウェア構成例を示した図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．技術概要
２．実施形態
２．１．機能と構成
２．２．動作フロー
３．変形例
４．実施例
５．ハードウェア構成例

（１．技術概要）
まず、図１および図２を参照して、本開示の一実施形態に係る医療支援システムの技術概要を説明する。図１は、本開示に係る技術の技術概要を説明する図であり、図２は、医療支援システムが有する表示装置に表示される患部画像の一例を示した図である。

図１および図２を参照すると、消化器系疾患の診察では、医師１は、例えば、内視鏡１１０を用いて患者２の体内を診察し、内視鏡１１０により撮像された患者の体内の患部画像Ｏｒは、表示装置１３０に表示されている。医師１は、表示装置１３０に表示された患部画像Ｏｒを視認することで、患者の体内を診察することができる。本開示に係る技術では、表示装置１３０には、患部画像Ｏｒと併せて、機械学習を用いて求められた患部の病状の評価画像Ａ～Ｄが患部画像Ｏｒに重畳されて表示されている。医師１は、機械学習による病状の評価結果を考慮して診断することにより、診察精度を向上させることができる。

次に、図２を参照して、表示装置１３０に表示される評価画像Ａ～Ｄに関して説明する。図２に示したように、表示装置１３０は、例えば、患者の名前Ｎと内視鏡１１０の撮像に関する詳細情報Ｉとを表示し、さらに、内視鏡が撮像した患部画像Ｏｒと、患部画像Ｏｒに対して機械学習を用いて導出された患部の評価を呈示した評価画像Ａ、評価画像Ｂ、評価画像Ｃ、及び評価画像Ｄとを表示する。

医療支援システム１０００では、評価画像Ａ～Ｄで示した患部の評価と併せて、さらに評価画像Ａ～Ｄの各画像の全体に対する全体評価値β_Ａ～β_Ｄが示され得る。評価画像Ａ～Ｄでは、タイル状に切り出された各タイルの評価値に応じて、異なる色等にて患部の評価が呈示されている。

このような、医療支援システム１０００を用いることで、医師１は、医療支援システム１０００が導出した患部の評価と自身の診断とを考慮して、より確信をもって病状の診断を行うことができる。

本実施形態に係る医療支援システム１０００は、例えば、内視鏡を用いる消化器系疾患の診察に用いることが可能である。具体的には、医療支援システム１０００は、潰瘍性大腸炎、またはクローン病などのような炎症性腸疾患の診察に好適に用いることが可能である。なお、本明細書では、本実施形態に係る医療支援システム１０００を潰瘍性大腸炎の診察に用いる場合を例示して説明を行うが、本開示に係る技術はかかる例示に限定されないことは言うまでもない。

（２．実施形態）
以下では、上述した医療支援システム１０００に関して詳しく説明する。医療支援システム１０００では、内視鏡により撮像される患部画像を用いる例を挙げて説明する。なお、以下に説明する医療支援システム１０００は、内視鏡１１０と、導出装置１２０と、表示装置１３０と、を有するが、内視鏡１１０は、医療支援システム１０００に含まれなくともよい。また、表示装置１３０に関しても、医療支援システム１０００に含まれなくともよい。

（２．１．機能と構成）
医療支援システム１０００は、内視鏡１１０と、導出装置１２０と、表示装置１３０と、を有する。医療支援システム１０００は、内視鏡１１０が撮像した患部画像を入力として、導出装置１２０において機械学習により生成された判定器を作用させることで、患部の評価値を導出し、表示装置１３０にてユーザへ患部の評価値を呈示する機能を有する。

内視鏡１１０は、患者の体内を撮像して患部画像を取得する機能を有する。患部画像は、医師が診察する患部を含む画像である。具体的には、患部画像は、患部の血管像、凹凸、及び潰瘍部が見えやすい画像である。患部画像は、内視鏡によって撮像された患部の画像であってもよく、内視鏡によって連続的に撮像された動画であってもよく、内視鏡によって撮像された動画を一時停止した静止画の撮像画像であってもよい。患部画像が動画である場合、医療支援システム１０００は、例えば後述するタイル評価値をリアルタイムでユーザへ呈示することが可能である。なお、本実施形態では、撮像装置として内視鏡を用いる例を示したが、本実施形態は、かかる例に限定されない。患部を撮像する撮像装置は、様態を限定されず、公知の撮像装置であってもよい。

患部を撮像した撮像画像としては、具体的には、内視鏡の白色光画像を用いてもよい。白色光画像は、内視鏡の基本機能にて最も容易に撮像可能な画像であるため、白色光画像によって病状を評価することができれば、内視鏡検査の時間、項目、及び費用を抑制することができる。

また、白色光画像にて病状を評価することが困難である場合には、例えば、特殊光によって血管を強調させたＮＢＩ（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）画像、又は凹凸を強調させるインジゴカルミン染色を施した染色画像を用いてもよい。導出装置１２０が有する判定器の生成に、白色光画像だけでなく、これらのＮＢＩ画像、及び染色画像を追加で用いることによって、患部の評価精度を向上させることが可能である。

導出装置１２０は、切出部１２２と、評価導出部１２４と、を有する。導出装置１２０は、患部画像に基づいて、患部の病状の評価を導出する機能を有する。例えば、導出装置１２０は、患部画像を細分化して、細分化された画像に対する評価値を導出し、さらに各評価値から全体の画像に対する全体評価値を算出することで患部の病状の評価を導出してもよい。

切出部１２２は、内視鏡１１０により撮像された患部画像を多角形の形状を有するタイル状のタイル画像として切り出す機能を有する。切出部１２２は、患部の病状を判定可能な大きさで患部画像を複数のタイル画像として切り出す。患部の病状を判定可能な大きさとは、例えば、血管像または潰瘍等の診察対象物が含まれ得る大きさであってよい。

切出部１２２は、具体的には、患部画像を正方形等の四角形形状に切り出してもよい。切出部１２２は、該四角形形状の外接円が５ｍｍ以上１５ｍｍ以下となるように患部画像を切り出してもよい。多角形に切り出されたタイル画像は、少なくとも上記診察対象物を含む。なお、タイル画像の形状は、多角形に限定されず、患部画像を細分化できる形状であればよい。また、タイル画像は、場所により形状が異なるランダムな形状に切り出されてもよい。

評価導出部１２４は、切出部１２２により切出されたタイル画像に基づいて、機械学習により得られた判定器を用いて、タイル評価値を導出する機能を有する。タイル評価値とは、タイル画像毎に導出された患部の評価値である。評価値とは、医師（内視鏡医）が患部の表面を視認することで判断した患部の病状に対する評価値、または患部を病理検査することで医師（病理医）が診断した病理検査の評価値である。

具体的には、患部の病状に対する評価値は、患部の出血、腫瘍、または血管透見像に対して医師がスコアリングした評価値である。患部の病状に対する評価値は、公知のいかなるスコアリング手法による評価値を用いてもよい。

例えば、患部の病状に対する評価値としては、ＵＣＥＩＳによるスコアを用いることができる。ＵＣＥＩＳによるスコアは、潰瘍性大腸炎の重症度の評価値として近年使用されるようになった指標である。ＵＣＥＩＳによるスコアは、細かい分類が可能であるため、細かい診断方針を立てることが可能であり、かつ内視鏡医ごとの評価ばらつきを小さくすることができる。

具体的には、ＵＣＥＩＳによるスコアは、以下の表１に示すように、少なくとも潰瘍性大腸炎の血管の透過性、出血、及び潰瘍度の評価について定義されている。評価導出部１２４は、潰瘍性大腸炎の血管の透過性、出血、及び潰瘍度の各々について評価値を導出してもよい。

また、患部の病状に対する評価値としては、他に、Ｍａｙｏスコアを用いることができる。Ｍａｙｏスコアは、潰瘍性大腸炎の重症度を０～３までの数種類にて分類することができる。具体的には、Ｍａｙｏスコアは、以下の表２～表５に示すように、複数の項目について評価値が定義されている。評価導出部１２４は、内視鏡所見、直腸出血、及び医師による総合評価の各々について潰瘍性大腸炎の血管の透過性、出血、及び潰瘍度の各々について評価値を導出してもよい。

なお、Ｍａｙｏスコアでは、上記の各項目のスコアの合計が２以下、かついずれのサブスコアも１を超えない場合を「Ｍａｙｏスコア寛解」と定義している。また、Ｍａｙｏスコアでは、Ｍａｙｏスコアがベースラインから３以上又は３０％以上減少していることが認められ、かつ直腸出血のサブスコアの１以上の減少、又は直腸出血のサブスコアが０又は１の場合を「Ｍａｙｏスコア改善」と定義している。さらに、Ｍａｙｏスコアでは、内視鏡所見のサブスコアが０又は１の場合を「粘膜治癒」と定義している。

病理検査の評価値は、患部を生検した病理検査の診断結果に対して医師等が病状のグレードを決定した評価値である。病理検査の評価値は、公知のいかなるスコアリング手法による評価値を用いてもよい。

例えば、病理検査の評価値としては、Ｇｅｂｏｅｓの生検組織所見スコアを用いることができる。Ｇｅｂｏｅｓのスコアは、潰瘍性大腸炎の病理所見をスコア化する指標として一般的に用いられている指標である。具体的には、Ｇｅｂｏｅｓのスコアは、以下の表６に示すような定義に基づいて評価される。

なお、Ｇｅｂｏｅｓスコアは、０～５の６段階評価であるが、炎症の有無を判断すればよい場合は、評価導出部１２４は、０～２を所見なし（炎症なし）とみなし、３～５を病理的に炎症ありとみなして評価値を導出してもよい。

判定器は機械学習により生成される。具体的には、判定器は、多数の患部画像と、該患部画像に対する患部視認による医師の評価又は病理検査による評価の少なくともいずれか１つ以上とを機械学習することで生成される。機械学習では、少なくとも１万枚以上の患部画像と評価とを学習することで、複数の医師間における評価値の差と同程度の差を示す程度の精度で判定を行うことができる。例えば、判定器は、ディープニューラルネットワークを用いた機械学習によって生成されてもよい。

例えば、潰瘍性大腸炎等の患部視認による評価は難易度が高いため、患部視認による医師の評価は、専門医であっても医師間でばらつきが生じてしまう。本実施形態によれば、機械学習によって生成された判定器を用いることによって、専門医がいなくとも潰瘍性大腸炎等の疾患の診断評価を行うことができる。また、機械学習によって生成された判定器を用いることによって、医師間での評価のばらつきを回避し、患者に対してより客観的かつ再現性の高い基準で評価した評価値に基づいた治療を行うことができる。

また、病理検査は、組織採取の際に患者にダメージを与える可能性、及び合併症を引き起こす可能性がある。さらに、病理検査を行う病理医の人数が少ないため、病理検査は、どこでもできるものではなく、かつ診断に時間がかかってしまう。加えて、病理検査を行うことで患者には追加の費用が発生してしまう。本実施形態によれば、機械学習によって生成された判定器を用いることによって、組織採取をせずとも病理検査の結果を導出することができるため、患者に対する身体的、時間的、及び金銭的な負担を抑制することができる。また、病理検査の結果は確定診断であるため、機械学習によって生成された判定器は、病理検査による評価をより高い精度で導出することが可能である。

なお、本実施形態において、判定器は、多数の患部画像に上述した評価以外のパラメータを対応付けたデータを機械学習することで、生成されていてもよい。例えば、判定器は、多数の患部画像と、該患部画像の患者に対する投薬量又は治療方法とを機械学習することで生成されてもよい。

評価導出部１２４は、タイル評価値として、評価項目別のタイル評価値を導出する。例えば、評価項目は、患部の出血、腫瘍、または血管透見像の項目であってよく、病理検査の項目であってよい。また、評価導出部１２４は、各評価項目を混合したタイル評価値を算出してもよい。例えば、患部の出血、潰瘍、または血管透見像の少なくともいずれか２つ以上の評価値が使用されてタイル評価値が導出されてもよい。例えば、この場合には、患部の出血、潰瘍、または血管透見像の少なくともいずれか２つ以上の評価値を合計して、タイル評価値としてもよい。

評価導出部１２４は、タイル評価値に加え、各タイル評価値の信頼度を算出する。信頼度とは、タイル評価値の確からしさを示した値であり、確率又は０～１の数値（例えば、１が最も確からしい）で表され得る。評価導出部１２４は、該信頼度が閾値以上である場合にタイル評価値は信頼できると判断して、後述する表示装置１３０へ該信頼度を出力してもよい。一方、該信頼度が閾値未満である場合には、評価導出部１２４は、タイル評価値は信頼できないと判断して、後述する表示装置１３０へタイル評価値を出力しなくともよく、表示装置１３０へ解析不可という結果を出力してもよい。

評価導出部１２４は、上記タイル評価値に基づいて、患部画像の全体の全体評価値を推定する。これにより、ユーザは、患部画像の一部ではなく全体を評価することができるため、潰瘍性の疾患に対してより正確な診断を行うことが可能となる。

具体的には、全体評価値は、患部画像に含まれるタイル画像のタイル評価値を平均した平均評価値として導出されてもよい。ただし、出血等のように病状の程度よりも発生の有無を特徴とする評価項目を評価する場合には、評価導出部１２４は、出血箇所に重みづけして全体評価値を導出してもよい。このような場合、評価導出部１２４は、タイル評価値の平均に替えて、又は加えてタイル評価値の最大値を用いて全体評価値を導出してもよい。

また、評価導出部１２４は、タイル評価値の確率分布をさらに用いて全体評価値を導出してよい。例えば、導出装置１２０は、タイル評価値の分散度合または標準偏差等を考慮して、全体評価値を導出して良い。

さらに、評価導出部１２４は、タイル画像の各々の輝度に応じて、複数のタイル画像の中から、全体評価値の推定に使用するタイル画像を選択してもよい。これによれば、評価導出部１２４は、患部画像内から、ノイズ、過照明、又は影等を含み、タイル評価値の導出が困難なタイル画像を除去することができる。

具体的には、評価導出部１２４は、輝度が第１閾値以上かつ第２閾値以下であるタイル画像を全体評価値の推定に使用してもよい。なお、第２閾値は、第１閾値よりも高い輝度の閾値を表し、これらの閾値はユーザ等により適宜決定され得る。これにより、評価導出部１２４は、第２閾値によって輝度が高すぎるタイル画像を除去し、第１閾値によって輝度が低すぎるタイル画像を除去することができる。したがって、評価導出部１２４は、導出されるタイル評価値の信頼度を高めることができるため、全体評価値をより高い信頼度で推定することができる。

表示装置１３０は、上記タイル評価値または全体評価値の少なくともいずれかをユーザへ呈示する。表示装置１３０は、例えば、タッチパネル型のディスプレイ、３次元ディスプレイ、空間ディスプレイ、または投影型ディスプレイ等であってもよい。具体的には、表示装置１３０は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、プラズマディスプレイ、ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、レーザープロジェクタ、ＬＥＤプロジェクタ又はランプ等のいずれであってもよい。

ここで、図４を参照して、導出装置１２０と表示装置１３０との動作に関して詳しく説明する。図４は、導出装置１２０及び表示装置１３０による動作を示した模式図である。

図４に示すように、導出装置１２０は、内視鏡１１０から患部画像Ｏｒを取得する。導出装置１２０は、切出部１２２により、例えば患部画像を格子状のタイル画像１２０ａ、タイル画像１２０ｂ、タイル画像１２０ｃ、タイル画像１２０ｄ・・・として切り出す。図４では、例えば、４×４の１６枚のタイル画像として切り出された患部画像が図示されている。評価導出部１２４は、判定器１０を用いて、これらのタイル画像１２０ａ～１２０ｄに対して、それぞれ、タイル評価値Ｓｃと信頼度αを導出する。

図４に示すように、例えば、タイル画像１２０ａは、タイル評価値Ｓｃが０．９、信頼度αが０と導出されている。その他のタイル画像も同様に、タイル画像１２０ｂは、タイル評価値Ｓｃが０．９４、信頼度αが０、５と導出されており、タイル画像１２０ｃは、タイル評価値Ｓｃが０．１５５、信頼度αが１と導出されており、タイル画像１２０ｄは、タイル評価値Ｓｃが０．５、信頼度αが０と導出されている。評価導出部１２４は、さらに各タイル画像から導出した全体評価値βを導出する。

表示装置１３０は、上記の各タイル評価値および全体評価値βを取得して、ユーザへ呈示する。表示装置１３０では、タイル評価値に応じて異なる表示を患部画像に重畳させることで、患部画像内の病状の評価の分布を示すことができる。例えば、表示装置１３０は、タイル画像のタイル評価値に応じて、タイル画像の色を変化させてよい。また、表示装置１３０は、タイル画像のタイル評価値の信頼度に応じて、タイル画像の透過度を変化させてよい。

図５を参照して、タイル画像に重畳させる表示の態様についてさらに説明する。図５は、タイル画像に重畳させる表示の態様の一例を示している。患部画像Ｏｒ１は、病状が全体的に良好な画像であり、患部画像Ｏｒ２は病状が良好な範囲と病状が不良な範囲とが含まれた画像であり、患部画像Ｏｒ３は、病状が全体的に不良な画像である。タイル評価値Ｓｃ（すなわち、病状の良、又は不良）は、異なる表示の態様で呈示される。例えば、タイル評価値Ｓｃは、異なる色等で（いわゆる、ヒートマップ状に）呈示されることができるまた、タイル評価値の信頼度αは、例えば、色の透過度により呈示されることができる。なお、図５において、タイル評価値を示す画像Ｅｆ１～Ｅｆ３では、異なる色を異なるハッチング種類（すなわち、斜線またはドットハッチング）により表現し、各色の透過度を各ハッチングの密度にて表現している。

以上にて図４および図５を参照して、タイル画像の評価値および全体評価値の表示例に関して説明したが、表示例は、図４および図５に図示した表示例に限定されない。例えば、表示装置１３０は、図２に示すように、患部画像Ｏｒと、評価項目毎に評価値を重畳表示した患部画像と、を併せて表示してもよい。これにより、ユーザ（医師）は、実際の患部画像Ｏｒ１～Ｏｒ３を視認しながら、各評価項目のタイル評価値を示す画像Ｅｆ１～Ｅｆ３を視認することができる。したがって、ユーザは、医療支援システム１０００による評価と、ユーザによる病状の評価とを考慮しながら患者を診察することができる。

（２．２．動作フロー）
ここで、図６および図７を参照して、医療支援システム１０００にて判定器を生成する判定器生成フローＳ１００の一例、および医療支援システム１０００の全体の動作フローＳ２００の一例をそれぞれ説明する。

図６を参照して、判定器の生成フローＳ１００を説明する。

まず、導出装置１２０では学習用の患部画像が取得される（Ｓ１０２）。

次に、学習用患部画像がタイル画像として切り出される（Ｓ１０４）。タイル画像は、一定の形状にて切り出されてもよく、ランダムな形状で切り出されてもよい。

次に、タイル画像として切り出された学習用患部画像と該患部画像に対する評価値とが学習される（Ｓ１０６）。患部画像に対する評価値は、医師等によって判断された評価値であり、医師の患部視認による評価、病理検査の結果による評価等を含む。

次に、学習用患部画像がＮ枚以上学習されたか否かが判断される（Ｓ１０８）。学習用患部画像がＮ枚以上学習されていない場合（Ｓ１０８／Ｎｏ）、Ｎ枚以上の学習に達するまで患部画像の学習を繰り返す。機械学習される学習用患部画像は、回転、拡大、縮小又は変形等によりデータオーギュメンテーションが行われてもよい。学習用患部画像を少なくとも１万枚以上用いることによって、信頼度の高い判定器を生成することができる。

以上までで、判定器の生成フローＳ１００を説明した。

次に、図７を参照して、判定器を用いた医療支援システム１０００の全体の動作フローＳ２００を説明する。

まず、導出装置１２０は、内視鏡１１０等にて判定用の患部画像を取得する（Ｓ２０２）。患部画像は、内視鏡１１０によるモニタリング中の動画であってもよく、内視鏡１１０にて撮像された静止画であってもよい。

次に、切出部１２２は、判定用患部画像をタイル画像として切り出す（Ｓ２０４）。タイル画像は、一定の形状にて切り出されてもよく、ランダムな形状にて切り出されてもよい。

次に、導出装置１２０は、生成した判定器を用いて、タイル画像のタイル評価値と、タイル画像の信頼度とを導出する（Ｓ２０６）。導出装置１２０は、タイル評価値を導出した際に、さらに患部画像の全体に対する全体評価値を導出してもよい。例えば、導出装置１２０は、患部画像内のタイル評価値の平均値から全体評価値を導出してもよく、タイル評価値の最大値及び平均値の組み合わせから全体評価値を導出してもよい。また、導出装置１２０は、タイル評価値の確率分布をさらに組み合わせて全体評価値を導出してもよい。例えば、導出装置１２０は、タイル評価値の分散度合または標準偏差等を考慮して、全体評価値を導出してもよい。

その後、表示装置１３０は、タイル画像のタイル評価値とタイル評価値の信頼度とをユーザへ呈示する（Ｓ２０８）。表示装置１３０は、さらに、上記全体評価値を表示してもよい。

以上までで、医療支援システム１０００の全体の動作フローを説明した。これらの動作を行う医療支援システム１０００によれば、医師１は、医療支援システム１０００が導出した患部の評価と医師１の診断とを考慮することで、より確信をもって病状の診断を行うことができる。

（３．変形例）
図８を参照して、表示装置１３０にて表示される表示の変形例について説明する。図８は、表示装置１３０にて表示される表示の変形例を示した図である。上記実施形態では、表示装置１３０は、患部画像Ｏｒと併せて、各項目の評価値が呈示された患部画像を表示している。一方で、本変形例では、表示装置１３０は、さらに、各項目のタイル評価値が呈示された評価画像と併せて、患者の体内における内視鏡１１０の位置を表示し、該内視鏡１１０の位置に対応する全体評価値を表示している。

図８に示すように、例えば、表示装置１３０は、表示装置１３０の表示領域の一端から他端にかけて、内視鏡の位置を示す表示バー１３０ａを表示してもよい。表示バー１３０ａは、その長手方向の一端から他端までを診察部の長さとして示している。例えば、診断が大腸検査である場合、表示バー１３０ａは、表示バー１３０ａの一端を内視鏡の挿入開始箇所（例えば、肛門）の０ｃｍを示し、表示バー１３０ａの他端を大腸検査の終点（例えば、１５０ｃｍ）を示してもよい。診察時の内視鏡の大腸における位置１３０ｂは、表示バー１３０ａの長手方向に対応して、挿入長さにて表現されてもよい。

また、表示バー１３０ａは、色が連続的に変化する範囲１３０ｃを含んでもよい。具体的には、表示バー１３０ａの各々の全体評価値に応じて、表示バー１３０ａは、色が変化して表示されてよい。さらに、表示バー１３０ａでは、全体評価値に特徴がある位置がマーキング１３０ｄにより強調されて表示されてもよい。例えば、内視鏡による診察を開始してから終了するまでに、全体評価値が高いと判断された位置は、マーキング１３０ｄにより強調されて表示されてもよい。なお、マーキング１３０ｄは、ユーザ等により選択された箇所に付されてもよい。

また、表示装置１３０は、患部画像内でタイル評価値の高い箇所が拡大されて表示されてもよい。これにより、医療支援システム１０００は、病状が特に不良であると判断される箇所をユーザに重点的に示すことができる。

（４．実施例）
以下では、実施例を参照しながら、本実施形態に係る医療支援システムにて生成される判定器について、さらに具体的に説明する。なお、以下に示す実施例は、本実施形態に係る医療支援システムの実施可能性及び効果を示すための一条件例であり、本開示に係る技術が以下の実施例に限定されるものではない。

（背景）
潰瘍性大腸炎では、内視鏡的および組織学的評価による客観的評価が重要である。しかし、潰瘍性大腸炎の評価は、個人による経験差から観察者内および観察者間でばらつきが生じる。そこで、本実施例では、潰瘍性大腸炎に対して、一貫性があり、かつ客観的な評価をリアルタイムで行うことを実現するために、内視鏡画像に基づくディープニューラルネットワークシステム（ＤＮＵＣ）の開発を目的とした。

具体的には、潰瘍性大腸炎（以下、ＵＣとも称する）の患者の管理には、客観的な観察が重要である。

例えば、過去の研究から、内視鏡評価によりＵＣの臨床転帰が予測可能であることが示されている。したがって、内視鏡的寛解を治療目標とし、内視鏡評価をＵＣ患者の評価および管理に利用する場合が増えている。しかし、内視鏡観察は、訓練が必要であるため、内視鏡評価は、内視鏡医によって評価が異なる場合があり得る。

一方、臨床転帰を予測可能な別の治療目標として、組織学的寛解が提案されている。例えば、急性炎症が微小に残存する患者は再発の可能性が高いため、急性炎症が残存しない組織学的寛解を最終的な治療目標とすることができる。組織学的寛解を判断する組織学的評価は、重要な評価であるが、粘膜検体を必要とし、かつ病理医によって解釈が異なる場合があり得る。

このように内視鏡画像または粘膜検体に対する専門医の評価は、個人の経験に基づいて主観的に解釈されるため、一般化された評価、およびリアルタイムな特性評価が困難である。

ここで、近年、様々な医療分野で、ディープラーニング（深層学習）を利用した人工知能（ＡＩ）の役割を指摘する報告がなされている。ディープニューラルネットワーク（ＤＮＮ）とは、深層学習アーキテクチャを構築するＡＩ機械学習法である。本実施例では、ＵＣ内視鏡画像を用いてＤＮＮを構築することで、一貫性があり、かつ客観的な内視鏡的および組織学的評価を実現するＤＮＮシステム（ＤＮＵＣ）を開発した。さらに、検証試験により、開発したＤＮＵＣの精度を評価した。

（概略）
本実施例は、開発段階および検証段階の２つの段階からなる。開発段階では、過去の内視鏡画像および生検検体を利用してＤＮＵＣを開発し、検証段階では、新規の試験データからＤＮＵＣの妥当性を検討した。

開発段階では、１０００人の患者から得た２０１４９枚の大腸内視鏡画像と、３２８５例の生検検体とを再調査することで、ＤＮＵＣアルゴリズム（すなわち、判定器）を構築した。

検証段階では、新規の試験データを収集してＤＮＵＣアルゴリズムの精度を評価した。潰瘍性大腸炎の評価は、内視鏡的重症度評価指標（ＵＣＥＩＳ）が０となる場合を内視鏡的寛解とし、Ｇｅｂｏｅｓ評価値が３以下となる場合を組織学的寛解とした。具体的には、検証段階では、登録された５００人の患者から、２４００枚の内視鏡検査画像、および２３１７例の生検検体を得、ＤＮＵＣにおける内視鏡的および組織学的寛解の判定精度、および専門医との一致度を評価した。以下で詳細に説明するが、内視鏡的寛解の判定では、ＤＮＵＣは、高い診断精度（９０.１％）、および高い一貫性を示した。内視鏡的寛解の判定におけるＤＮＵＣおよび内視鏡医の間のｋａｐｐａ相関係数は０.７８５であった。また、組織学的寛解の判定でも、ＤＮＵＣは高い診断精度（９０.９％）を示した。組織学的寛解の判定におけるＤＮＵＣおよび生検結果の間のｋａｐｐａ相関係数は０.７４８であった。

（患者）
開発段階では、東京医科歯科大学医学部附属病院で大腸内視鏡検査を受けたＵＣ患者の連続症例を再調査することで、過去の内視鏡画像および生検検体を得た。また、検証段階では、２０１８年の４月から１１月までに同病院でＵＣの治療のため大腸内視鏡検査を受けた患者を登録することで、新規の試験データを得た。なお、開発段階でのデータの利用に関しては、全ての患者からオプトアウト方式で同意を得た。また、検証段階では、全ての患者から書面によるインフォームド・コンセントを得た。

ただし、以下のような除外基準に該当する患者については除外した。
（１）結腸切除歴、診断が確定しない炎症性腸疾患、クローン病、結腸・直腸新生物、又は腸管随伴感染症を有する患者。
（２）大腸内視鏡検査が禁忌となる患者。
（３）血液疾患、又は抗血栓・抗凝固療法で生検が禁忌となる患者。

また、全ての患者に対して、モントリオール分類に基づいて疾患程度を判断し、かつ部分的Ｍａｙｏ評価値を用いて臨床活動性を判断した。全ての患者に対して、ニフレックまたはモビプレップ（ＥＡファーマ株式会社）により標準的な腸管前処置を行い、腸管洗浄の状態も記録した。

（内視鏡検査の手順および評価）
標準的な大腸内視鏡（オリンパスメディカルシステムズ社）による検査にて、結腸粘膜画像（画像サイズ４.５ＭＢ）を撮像した。一般的な大腸内視鏡検査では、白色光による検査の後に色素内視鏡検査を実施するが、本実施例で使用した画像は、白色光画像のみである。

潰瘍性大腸炎の内視鏡的重症度の評価には、内視鏡的重症度評価指標（ＵＣＥＩＳ）を用いた。具体的には、血管透見像（評価値０～２）、出血（評価値０～３）、びらん・潰瘍（評価値０～３）を単純合計することで、合計値０～８の範囲でＵＣＥＩＳ評価値を得、ＵＣＥＩＳ評価値０を内視鏡的寛解とした。なお、ＵＣＥＩＳは、本来、最も重症度の高い疾患領域で評価値をスコアリングするが、本実施例では、撮像した全ての内視鏡画像で評価値を得た。

（組織学的評価）
患者の結腸粘膜から生検検体を採取した。潰瘍性大腸炎の炎症の組織学的重症度の評価には、Ｇｅｂｏｅｓ評価値を用い、Ｇｅｂｏｅｓ評価値３以下を組織学的寛解とした。

（開発段階）
ＤＮＵＣを訓練及び構築するために用いるデータセットを準備した。具体的には、上述したように、２０１５年７月から２０１８年３月までの患者１０００人に実施した大腸内視鏡検査の画像を合計２０１４９枚収集した。また、これらの患者から３２８５例の生検検体（既に採取済み）も収集した。ただし、組織生検が実施されなかった領域の内視鏡画像は除外した。

全ての画像のＵＣＥＩＳ評価値は、一人の内視鏡医（ＩＢＤ内視鏡検査歴１１年）が評価し、全ての粘膜検体の組織学的活動性は、一人の病理医（ＩＢＤ病理学歴１３年）が評価した。なお、内視鏡医および病理医は、ともに相手の検査結果について知らされていない。

ここで、ＵＣＥＩＳ評価値、および組織学的データの数及び割合（括弧内は割合（％））を以下の表７に示す。組織学的データは、組織生検を行なった領域の内視鏡画像とリンクさせている。

撮像した内視鏡画像をＤＮＵＣに入力し、ＤＮＵＣに内視鏡画像および評価値（ＵＣＥＩＳ評価、および組織学的評価）を学習させた。また、ＤＮＵＣは、内視鏡的寛解（達成／未達成）、組織学的寛解（達成／未達成）、およびＵＣＥＩＳ評価値の結果を出力するように設計した。正確な出力を実現するために、ＤＮＵＣのカットオフを８５％以上とし、該カットオフを満たさない画像は「解析不能」と判断するようにした。さらに正確な出力を実現するために、ＤＮＵＣの別のカットオフを９５％以上とし、該カットオフを満たす画像は「確信度が高い」と判断するようにした。

ＤＮＵＣの学習は以下のように行った。

まず、１０８０×１０８０ピクセルのオリジナルの内視鏡画像を２９９×２９９ピクセルの正方形タイルに分割した。次に、分割した正方形タイルの平均輝度値を計算することで、過剰暴露の影響、及び暗部を取り除くことで、ＤＮＵＣの学習に適用可能なタイルを選択した。続いて、正方形タイルに対して、０度から３５９度までのランダム回転、０.８倍から１.２倍までの拡大縮小、反転、または０.８倍から１.２倍までのせん断を実施するデータオーギュメンテーションを行った。

その後、最新のＤＮＮアーキテクチャであるＩｎｃｅｐｔｉｏｎ ｖ３モデル（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１５１２．００５６７）を適用して、ＤＮＵＣを構築した。具体的には、Ｉｎｃｅｐｔｉｏｎモデルの最終層を変更し、ソフトマックス活性化関数を利用して評価値毎にクラス分けを行った。該Ｉｎｃｅｐｔｉｏｎモデルをエポック数２０００×１０回で訓練し、各評価値の確率を得た。さらに、同一オリジナル画像由来の２９９×２９９ピクセルの正方形タイルの全結果を平均化してスコアリングを行った。

ＤＮＵＣからの出力結果は、例えば、オリジナル内視鏡画像から、タイルを特定の半透明の色で着色した重畳画像を作成することで、ユーザに呈示することができる。塗りつぶし色および透過率は、評価値の結果および確率に応じて決定することができる。

（検証段階）
構築したＤＮＵＣの診断精度を評価するため、新規の試験データセットを収集した。具体的には、上述した患者全てに大腸内視鏡検査を行い、５つの結腸部位（上行結腸、横行結腸、下行結腸、Ｓ状結腸、および直腸）の内視鏡画像を撮像し、該当箇所から５つの粘膜生検検体を採取した。大腸内視鏡検査は、７人の異なる内視鏡医にて行われた。

ただし、重症のＵＣ患者には、Ｓ状結腸鏡検査、または生検検体の数の制限を行った。内視鏡画像は、開発段階と同じ内視鏡医が評価した。軽度から中等度のＵＣ患者の４００例の生検検体は、開発段階と同じ病理医が評価し、残りの生検検体は、内容を知らされていない別の病理医が評価した。

内視鏡画像ごとにＤＮＵＣの結果を出力させ、出力結果を内視鏡的および組織学的データと比較することで、下記の評価項目によりＤＮＵＣを評価した。
（１）主要評価項目として、内視鏡的寛解を評価する際のＤＮＵＣの精度、および組織学的寛解を予測する際のＤＮＵＣの精度を設定。
（２）副次的評価項目として、ＤＮＵＣのＵＣＥＩＳ判定能力、各結腸部位の内視鏡的寛解および組織学的寛解でのＤＮＵＣの精度、確信度が高い症例でのＤＮＵＣの精度、ならびに腸管洗浄の状態により階層化した場合のＤＮＵＣの精度を設定。

（統計解析）
ここで、５００枚の画像を用いた小規模パイロット試験により、開発段階では少なくとも１００００枚の画像、検証段階では少なくとも１０００枚の画像が必要であると推定された。そこで、ＤＮＵＣの出力結果と、専門医（内視鏡医、および病理医）が評価したデータとを比較しながらＤＮＵＣの診断精度を判定し、内視鏡的寛解および組織学的寛解におけるＤＮＵＣおよび専門医の間の一致度をｋａｐｐａ相関係数にて計算した。また、ＵＣＥＩＳをスコアリングした際の専門医およびＤＮＵＣの間の相関を級内相関係数（ＩＣＣ）で判断した（図９Ａ及び図９Ｂ）。なお、統計解析には、ＳＰＳＳ ｖｅｒｓｉｏｎ ２１.０（ＩＢＭ社）を用いた。

（患者の内視鏡的および組織学的結果）
検証段階にて５００人の患者を登録した。登録した患者の臨床像を以下の表８に示す。

表８に示すように、２９８人（５９.６％）の患者は、疾患活動性の評価のために大腸内視鏡検査を指示されており、２０２人（４０.４％）の患者は、がん検診のために大腸内視鏡検査を指示されていた。合併症のリスクに関する内視鏡医の判断から、全体で４２人の患者は、全大腸内視鏡検査を受けていない。また、６０人の患者では、生検検体が４例に満たなかった。

これらの患者から２４００枚の内視鏡画像、および２３１７例の生検検体を得た。得られた内視鏡画像、および生検検体を専門医（内視鏡医、および病理医）によって評価した結果を以下の表９に示す。

表９に示すように、６０.９％の画像が内視鏡的寛解と判断され、７６.８％の検体が組織学的寛解と判断された。内視鏡検査によって中等度から重症（ＵＣＥＩＳ評価値３以上）と判断された粘膜検体のほとんどは、組織学的活動と判断された。ＵＣＥＩＳ評価値が０、１又は２と判断された粘膜は、それぞれ９８.５％（１４３８例中１,４１７例）、７８.３％（３４６例中２７１例）、４１.８％（１８９例中７９例）の割合で組織学的寛解と判断された。

（ＤＮＵＣの内視鏡評価値に関する評価）
内視鏡評価値において、ＤＮＵＣでは、９２.４％の画像が「解析可能」と判断され、５０.７％の画像が「確信度が高い」と判断された。

上述した主要評価項目に関して、以下の表１０に示すように、ＤＮＵＣは、内視鏡的寛解の判定にて、高い感度（９４.３％）、高い特異性（８３.１％）、高い陽性適中度（ＰＰＶ：９０.３％）、高い陰性適中度（ＮＰＶ：８９.８％）、および高い診断精度（９０.１％）を示した。さらに、内視鏡的寛解におけるＤＮＵＣおよび内視鏡医の間のｋａｐｐａ相関係数は、０.７８５であった。すなわち、ＵＣ患者の粘膜炎症を評価する際のＤＮＵＣの精度は内視鏡医と同等であった。

また、上述した副次的評価項目に関して、図９Ａに示すように、ＵＣＥＩＳをスコアリングした際の専門医およびＤＮＵＣの間のＩＣＣは０．８６１であった。特に、確信度が高い症例では、図９Ｂに示すように、ＤＮＵＣは、非常に高い精度（９８．７％）、および高い一貫性（ｋａｐｐａ相関係数は０．９７２）を示した。ＤＮＵＣの精度および一貫性は、許容範囲であったが、以下の表１１に示すように、直腸でのＤＮＵＣの精度は比較的低かった。また、以下の表１２に示すように、腸管洗浄の評価値が不良から不可である場合にも、ＤＮＵＣの精度は低かった。

（ＤＮＵＣの組織学的寛解に関する評価）
組織学的寛解の予測において、ＤＮＵＣでは、９２.０％の画像が「解析可能」と判断され、４０.９％の画像が「確信度が高い」と判断された。

上述した主要評価項目に関して、以下の表１３に示すように、ＤＮＵＣは、組織学的寛解の予測にて、高い感度（９２.６％）、高い特異性（８５.０％）、高いＰＰＶ（９５.６％）。高いＮＰＶ（７６.７％）、および高い診断精度（９０.９％）を示した。さらに、組織学的寛解におけるＤＮＵＣおよび生検結果の間のｋａｐｐａ相関係数は、０．７４８であった。すなわち、ＤＮＵＣによって粘膜生検を必要とせずに組織学的寛解を予測することができた。

また、確信度が高い症例では、ＤＮＵＣは、非常に高い精度（９７．６％）、および高い一貫性（ｋａｐｐａ相関係数は０．９３８）を示した。上述した副次的評価項目に関して、ＤＮＵＣの精度および一貫性は、許容範囲であったが、以下の表１４に示すように、直腸でのＤＮＵＣの精度および一貫性は比較的低かった。また、以下の表１５に示すように、腸管洗浄の評価値が不良から不可である場合も、ＤＮＵＣの精度および一貫性は比較的低かった。

（まとめ）
以上の実施例からわかるように、内視鏡的および組織学的評価を組み合わせたＵＣの客観的評価は、ＵＣへの治療方法の選択、および薬物療法への反応のモニターのために重要であり、特に、適切な臨床試験の設計および評価に重要であると考えられる。しかし、専門医による評価には一貫性がないことがあり、専門医個々の経験に影響される可能性が高い。したがって、臨床試験では、中立な第三者による独立した評価が求められる。

そこで、本開示に係る技術の発明者らは、ＵＣの内視鏡画像から粘膜炎症の評価、および組織学的炎症の予測を行うためのＤＮＵＣを構築した。構築したＤＮＵＣの診断能力は、経験豊富な専門医と同等と考えられるため、ＤＮＵＣは、内視鏡画像の客観的な評価に利用可能であると考えられる。

具体的には、ＤＮＵＣは、内視鏡的寛解の評価について、内視鏡医と比較して高い精度および高い一貫性を示した。さらに、ＵＣＥＩＳのスコアリングについて、ＤＮＵＣおよび内視鏡医の間のＩＣＣは、０.８６１であった。したがって、ＤＮＵＣは、臨床的に十分な能力を備えていると考えられる。

ＤＮＵＣ等のＡＩシステムは、スクリーニングの時間が短く、労力がかからないため、内視鏡検査の直後に結果を得ることができる。上記の実施例の結果によれば、ＤＮＵＣによって客観的かつ一貫性のある内視鏡評価がリアルタイムで実現できることがわかる。これによれば、ＤＮＵＣは、複数の内視鏡医の間で生じる評価の不一致等の問題を解決することが可能である。したがって、ＤＮＵＣは、臨床診療および臨床試験の両方で効果的に利用することができると期待される。

また、ＵＣに関する研究等を参照すると、臨床的および内視鏡的寛解の患者は、依然として組織学的活動性疾患を患っている可能性があり、高い再発のリスクを有している。すなわち、内視鏡的指標および組織学的指標による寛解の一致は緩やかであるため、組織学的指標による寛解を判断するためには、生検を繰り返し行うことが重要であるとされている。

一般に、組織学的評価を行うための生検は、大腸内視鏡検査中に結腸粘膜を採取して行われ、限られた領域のみでの評価である。一方で、ＤＮＵＣは、結腸粘膜のどの領域においても評価を行うことが可能である。特に、本実施例では、ＤＮＵＣは、組織学的寛解を高い精度および高い一貫性で予測することができることを示した。これによれば、ＤＮＵＣは、生検検体を用いずとも組織学的寛解を評価することが可能である、したがって、ＤＮＵＣは、医療費の削減に寄与することも期待される。

以上にて説明したように、本実施例にて構築されたＤＮＵＣは、内視鏡医と同等の精度にてＵＣ患者の粘膜炎症の評価を行うことが可能である。また、本実施例にて構築されたＤＮＵＣは、粘膜検体を用いずとも組織学的寛解を予測することが可能である。本実施例にて構築されたＤＮＵＣは、客観的かつ一貫性のある評価方法であり、臨床診療および臨床試験の両方に利用可能であることがわかる。

（５．ハードウェア構成例）
図１０を参照して、本実施形態に係る医療支援システム１０００に含まれる導出装置等のハードウェア構成の一例について説明する。図１０は、本実施形態に係る導出装置等のハードウェア構成の一例を示すブロック図である。

図１０に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３、及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ、若しくはＡＳＩＣ等の処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置又は制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラム及び演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラム、及びその実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図３に示す評価導出部１２４として機能し得る。

ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等のユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよく、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置、スピーカ及びヘッドホン等の音声出力装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、出力装置９０７は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示してもよい。または、出力装置９０７は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力してもよい。出力装置９０７は、例えば、図３に示す表示装置１３０として機能し得る。

ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図３に示す評価導出部１２４において使用する患部画像若しくは評価画像、又はタイル評価値を導出する際に使用される各種パラメータ等を記憶する。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート９１１は、外部機器と接続されるインタフェースである。例えば、接続ポート９１１は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口であってもよい。

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等であってもよい。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３により、例えば、図３に示すように、導出装置１２０と、内視鏡１１０および表示装置１３０とは、各種情報の入出力を行うことができる。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、もしくは衛星通信網などの公衆回線網、またはＥｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

また、情報処理装置９００に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭなどのハードウェアに読み込まれることで、上述した本実施形態に係る医療支援システム１０００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記録媒体も本開示に係る技術の範疇に含まれ得る。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
患部を撮像して得られた患部画像に基づいて、前記患部に対する評価値を導出する導出装置と、
前記評価値をユーザへ呈示する表示装置と、を備え、
前記導出装置は、前記患部画像を複数のタイル状のタイル画像として切り出す切出部と、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出する評価導出部と、を有する、医療支援システム。
（２）
前記評価導出部は、さらに、前記タイル評価値に基づいて、前記患部画像の全体の全体評価値を推定する、前記（１）に記載の医療支援システム。
（３）
前記切出部は、前記患部の病状を判定可能な大きさで前記患部画像を前記複数の前記タイル画像として切り出す、前記（２）に記載の医療支援システム。
（４）
前記評価導出部は、前記複数の前記タイル画像の輝度に応じて、前記複数の前記タイル画像の中から、前記全体評価値の推定に使用される前記タイル画像を選択する、前記（２）または（３）に記載の医療支援システム。
（５）
前記評価導出部は、前記輝度が第１閾値以上であり、前記輝度が前記第１閾値よりも大きい第２閾値以下である前記タイル画像を、前記全体評価値の推定に使用する、前記（４）に記載の医療支援システム。
（６）
前記表示装置では、前記タイル評価値に応じて異なる表示態様を示す前記複数の前記タイル画像が前記患部画像に重畳表示される、前記（２）～（５）のいずれか一項に記載の医療支援システム。
（７）
前記導出装置は、さらに前記タイル評価値の信頼度を導出する、前記（６）に記載の医療支援システム。
（８）
前記表示装置には、さらに前記信頼度に応じて異なる表示態様を示す前記複数の前記タイル画像が前記患部画像に重畳表示される、前記（７）に記載の医療支援システム。
（９）
前記評価導出部は、前記タイル評価値の平均値、最大値、または前記評価値の確率分布の少なくともいずれか１つ以上、を用いて前記全体評価値を推定する、前記（２）～（８）のいずれか一項に記載の医療支援システム。
（１０）
前記患部画像は、内視鏡により撮像され、
前記表示装置には、患者の体内における前記内視鏡の位置が表示され、前記患者の体内における位置に対応する前記全体評価値が表示される、前記（６）または（８）に記載の医療支援システム。
（１１）
前記表示装置には、前記タイル評価値に応じて、前記患部画像の一部が拡大されて表示される、前記（６）または（８）に記載の医療支援システム。
（１２）
前記切出部は、前記患部画像を多角形の形状の前記タイル画像として切出し、前記切出部は、前記多角形が前記多角形の外接円が５ｍｍ以上１５ｍｍ以下となるように切出す、前記（３）～（１１）のいずれか一項に記載の医療支援システム。
（１３）
前記タイル評価値は、前記患部の出血、腫瘍、または血管透見像の項目に対する評価、あるいは病理検査の項目による評価の少なくともいずれか一つ以上に関するタイル評価値である、前記（６）または（８）に記載の医療支援システム。
（１４）
前記表示装置では、前記患部画像と、前記項目毎に前記重畳表示された前記患部画像と、が並んで表示される、前記（１３）に記載の医療支援システム。
（１５）
患部を撮像して得られた患部画像を複数のタイル状のタイル画像として切り出す切出部と、
機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出する評価導出部と、
前記タイル評価値をユーザへ呈示する表示装置を制御する表示制御部と、を有する、医療支援装置。
（１６）
導出装置が、患部を撮像して得られた患部画像を複数のタイル状のタイル画像として切り出すことと、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出することと、
表示装置が、前記タイル評価値をユーザへ呈示することと、を含む、
医療支援方法。

１１０ 内視鏡
１２０ 導出装置
１２２ 切出部
１２４ 評価導出部
１３０ 表示装置

Claims (15)

1. 患部を撮像して得られた患部画像に基づいて、前記患部に対する評価値を導出する導出装置と、
   前記評価値をユーザへ呈示する表示装置と、を備え、
   前記導出装置は、前記患部画像を複数のタイル状のタイル画像として切り出す切出部と、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出する評価導出部と、を有し、
   前記評価導出部は、さらに、前記タイル評価値に基づいて、前記患部画像の全体の全体評価値を推定する、医療支援システム。
2. 前記切出部は、前記患部の病状を判定可能な大きさで前記患部画像を前記複数の前記タイル画像として切り出す、請求項１に記載の医療支援システム。
3. 前記評価導出部は、前記複数の前記タイル画像の輝度に応じて、前記複数の前記タイル画像の中から、前記全体評価値の推定に使用される前記タイル画像を選択する、請求項１に記載の医療支援システム。
4. 前記評価導出部は、前記輝度が第１閾値以上であり、前記輝度が前記第１閾値よりも大きい第２閾値以下である前記タイル画像を、前記全体評価値の推定に使用する、請求項３に記載の医療支援システム。
5. 前記表示装置では、前記タイル評価値に応じて異なる表示態様を示す前記複数の前記タイル画像が前記患部画像に重畳表示される、請求項１に記載の医療支援システム。
6. 前記導出装置は、さらに前記タイル評価値の信頼度を導出する、請求項５に記載の医療支援システム。
7. 前記表示装置には、さらに前記信頼度に応じて異なる表示態様を示す前記複数の前記タイル画像が前記患部画像に重畳表示される、請求項６に記載の医療支援システム。
8. 前記評価導出部は、前記タイル評価値の平均値、最大値、または前記評価値の確率分布の少なくともいずれか１つ以上、を用いて前記全体評価値を推定する、請求項１に記載の医療支援システム。
9. 前記患部画像は、内視鏡により撮像され、
   前記表示装置には、患者の体内における前記内視鏡の位置が表示され、前記患者の体内における位置に対応する前記全体評価値が表示される、請求項５に記載の医療支援システム。
10. 前記表示装置には、前記タイル評価値に応じて、前記患部画像の一部が拡大されて表示される、請求項５に記載の医療支援システム。
11. 前記切出部は、前記患部画像を多角形の形状の前記タイル画像として切出し、前記切出部は、前記多角形が前記多角形の外接円が５ｍｍ以上１５ｍｍ以下となるように切出す、請求項２に記載の医療支援システム。
12. 前記タイル評価値は、前記患部の出血、腫瘍、または血管透見像の項目に対する評価、あるいは病理検査の項目による評価の少なくともいずれか一つ以上に関するタイル評価値である、請求項５に記載の医療支援システム。
13. 前記表示装置では、前記患部画像と、前記項目毎に前記重畳表示された前記患部画像と、が並んで表示される、請求項１２に記載の医療支援システム。
14. 患部を撮像して得られた患部画像を複数のタイル状のタイル画像として切り出す切出部と、
    機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出する評価導出部と、
    前記タイル評価値をユーザへ呈示する表示装置を制御する表示制御部と、を有し、
    前記評価導出部は、さらに、前記タイル評価値に基づいて、前記患部画像の全体の全体評価値を推定する、医療支援装置。
15. 導出装置が、患部を撮像して得られた患部画像を複数のタイル状のタイル画像として切り出すことと、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出することと、
    表示装置が、前記タイル評価値をユーザへ呈示することと、を含み、
    前記導出装置が、さらに、前記タイル評価値に基づいて、前記患部画像の全体の全体評価値を推定することを含む、
    医療支援方法。

Images