WO2023058503A1

WO2023058503A1 - 内視鏡システム、医療画像処理装置及びその作動方法

Info

Publication number: WO2023058503A1
Application number: PCT/JP2022/035958
Authority: WO
Inventors: 広樹渡辺
Original assignee: 富士フイルム株式会社
Priority date: 2021-10-04
Filing date: 2022-09-27
Publication date: 2023-04-13
Also published as: JPWO2023058503A1

Abstract

ユーザーの目的に合わせて内視鏡画像から診断結果を得ることができる内視鏡システム、医療画像処理装置及びその作動方法を提供する。　医療画像処理装置は、１種類又は複数種類の照明光を被写体に照明して撮影された内視鏡画像を取得し、内視鏡画像を用いて、疾患の程度の評価基準である第１評価基準に基づく第１評価結果と、第１評価基準と異なる第２評価基準に基づく第１評価結果との少なくとも一方を出力する。第１評価基準は、内視鏡と異なる撮像装置で撮像した画像に基づく疾患の程度の評価基準である。内視鏡と異なる撮像装置で撮像した画像は病理画像である。第２評価基準は、内視鏡画像に基づく疾患の程度の評価基準である。

Description

内視鏡システム、医療画像処理装置及びその作動方法

　本発明は、医療画像から複数の診断結果を出力する内視鏡システム、医療画像処理装置及びその作動方法に関する。

　画像解析と人工知能の技術発展に伴い、コンピュータ支援診断（Computer-aided diagnosis; CAD）を行う高度な医療機器が盛んに開発されている。ＣＡＤは、内視鏡検査において医師を支援することで、診断時間を短縮させ、さらに、診断の正確性や再現性を向上させることに役立っている。例えば、内視鏡画像から腫瘍の良悪性を判定し、又、炎症の程度について疾患の評価基準に合わせたスコアリングをすることができる。

　具体的には、潰瘍性大腸炎の評価基準の一種であるMayo endoscopic subscore（ＭＥＳ）を、白色光又は特殊光を被写体に照明して得た２種類の画像信号（第１画像信号及び第２画像信号）に対して算出し、第２画像信号から算出されたＭＥＳが、第１画像信号から算出されたＭＥＳよりも大きい場合に、第２画像信号に基づく高スコア表示画像を表示するといった、２種類の画像信号からＭＥＳを算出し診断精度を向上させる技術が知られている（特許文献１）。

特開２０２０－６５６８５号公報

　潰瘍性大腸炎の場合、内視鏡画像を用いて出血、潰瘍及びびらん等の程度を評価する基準であるMayo scoreの他にも、大腸粘膜の生検標本を用いて形質細胞や好中球の浸潤度合い等を評価する基準であるGeboes histopathology score（ＧＨＳ）といった、複数種類の評価基準が存在する。疾患によっては、複数種類の評価基準からユーザーの目的に合った評価基準を選択した上で判定を行い、評価結果を得たい場合がある。

　本発明は、ユーザーの目的に合わせて内視鏡画像から診断結果を得ることができる内視鏡システム、医療画像処理装置及びその作動方法を提供することを目的とする。

　本発明の医療画像処理装置は、プロセッサを備える医療画像処理装置であって、プロセッサは、１種類又は複数種類の照明光を被写体に照明して撮影された内視鏡画像を取得し、内視鏡画像を用いて、疾患の程度の評価基準である第１評価基準に基づく第１評価結果と、第１評価基準と互いに異なる第２評価基準に基づく第２評価結果との少なくとも一方を出力するよう構成される。

　第１評価基準は、内視鏡と異なる撮像装置で撮像した画像に基づく疾患の程度の評価基準であることが好ましい。

　内視鏡と異なる撮像装置で撮像された画像は、被写体から採取された生検組織の病理画像であることが好ましい。

　プロセッサは、内視鏡画像を用いて、第１判定器により第１評価結果を出力するよう構成され、第１判定器は、予め記憶された、内視鏡画像と病理画像に基づく疾患の程度との対応関係である表層形態分類を用いて第１評価結果を出力することが好ましい。

　プロセッサは、内視鏡画像から第１周波数領域を抽出した第１周波数領域画像と、内視鏡画像から第１周波数領域と互いに異なる第２周波数領域を抽出した第２周波数領域画像と、第１周波数領域及び第２周波数領域と互いに異なる第３周波数領域を抽出した第３周波数領域画像とを生成し、第１周波数領域画像、第２周波数領域画像及び第３周波数領域画像を用いて、第１判定器により第１評価基準に基づく第１評価結果を出力するよう構成されることが好ましい。

　プロセッサは、内視鏡画像を用いて、第１判定器と互いに異なる第２判定器により第１評価結果を出力するよう構成され、第２判定器は、学習用内視鏡画像と、病理画像に基づく疾患の程度と、を用いて学習されていることが好ましい。

　第２評価基準は、内視鏡画像に基づく疾患の程度の評価基準であることが好ましい。プロセッサは、内視鏡画像を用いて、第１判定器及び第２判定器と互いに異なる第３判定器により第２評価結果を出力するよう構成され、第３判定器は、学習用内視鏡画像と、内視鏡画像に基づく疾患の程度と、を用いて学習されていることが好ましい。

　第１評価基準は、疾患の程度を２段階で評価する内視鏡と異なる撮像装置で撮像された画像に基づく疾患の程度の評価基準であり、第２評価基準は、疾患の程度を２段階で評価する内視鏡画像に基づく疾患の程度の評価基準であることが好ましい。

　第１評価基準は、疾患の程度を３段階以上の多段階で評価する内視鏡と異なる撮像装置で撮影された画像に基づく疾患の程度の評価基準であり、第２評価基準は、疾患の程度を３段階以上の多段階で評価する内視鏡画像に基づく疾患の程度の評価基準であることが好ましい。

　疾患は潰瘍性大腸炎であることが好ましい。第１評価基準は、Geboes histopathology score、Riley score、Modified Riley score又はRobarts histopathology indexであり、第２評価基準は、Mayo endoscopic subscore又はUCEIS scoreであることが好ましい。

　第１評価基準は、表層血管の形態及び／又は出血の程度を含み、第２評価基準は、粘膜の赤みの程度、深層血管の血管透見度合い及び／又はびらん若しくは潰瘍の程度を含むことが好ましい。

　第１評価基準及び第２評価基準は、疾患を寛解とする範囲及び非寛解とする範囲を有し、第１評価基準で疾患を寛解とする範囲は、第２評価基準で疾患を寛解とする範囲よりも小さく、第１評価基準のうち、疾患を非寛解とする最低値である第１非寛解境界値は、第２評価基準のうち、疾患を非寛解とする最低値である第２非寛解境界値と異なり、第１非寛解境界値は、第２評価基準で疾患を寛解とする範囲に設定されることが好ましい。

　プロセッサは、１フレームの内視鏡画像ごとに第１評価結果と第２評価結果との少なくとも一方を出力し、少なくとも２フレーム以上の内視鏡画像に係る１評価結果を用いて算出される第１複数フレーム評価結果と、少なくとも２フレーム以上の内視鏡画像に係る第２評価結果を用いて算出される第２複数フレーム評価結果の少なくとも一方を出力して表示するよう構成されることが好ましい。

　プロセッサは、内視鏡画像を複数の領域に分割し、複数の領域に対し、第１評価結果と第２評価結果との少なくとも一方を出力するよう構成されることが好ましい。

　プロセッサは、複数の領域として分割された内視鏡画像に基づいて、複数の領域に対する領域評価指数を出力し、領域評価指数が付された複数の領域からなる内視鏡画像を用いて、複数の領域に対する第１評価結果と第２評価結果の少なくとも一方を出力するよう構成されることが好ましい。

　プロセッサは、内視鏡画像の領域ごとに第１評価結果と第２評価結果との少なくとも一方を出力し、少なくとも２つ以上の領域に対する第１評価結果を用いて算出される第１複数領域評価結果と、少なくとも２つ以上の領域に対する第２評価結果を用いて算出される第２複数領域評価結果との少なくとも一方を出力するよう構成されることが好ましい。

　プロセッサは、第１複数領域フレーム評価結果及び第２複数領域フレーム評価結果を、１フレームの内視鏡画像ごとに出力するよう構成されることが好ましい。

　プロセッサは、第１照明光を被写体に照明して撮影された第１照明光画像を内視鏡画像として取得し、第１照明光画像を用いて、構造強調画像を生成し、構造強調画像を用いて、第１評価基準に基づく第１評価結果を出力するよう構成されることが好ましい。

　構造強調画像は、第１照明光画像の表面構造、色差、又はエッジ量を強調した画像であることが好ましい。

　プロセッサは、第１照明光画像を用いて、第２評価基準に基づく第２評価結果を出力するよう構成されることが好ましい。

　第１照明光は、白色光であることが好ましい。プロセッサは、第１照明光を被写体に照明して撮影された第１照明光画像と第１照明光とスペクトルが異なる第２照明光を被写体に照明して撮影された第２照明光画像を含む複数の内視鏡画像を取得し、第２照明光画像を用いて第１評価基準に基づく第１評価結果を出力するよう構成されることが好ましい。

　プロセッサは、被写体に第１照明光を照明する第１照明期間と、被写体に少なくとも１種類以上の第２照明光を照明する第２照明期間とを自動的に切り替えるよう構成されることが好ましい。

　第２照明光は、第１照明光よりも波長帯域が狭いことが好ましい。第２照明光は、第１照明光よりも特定の青色または特定の紫色を多く含むことが好ましい。

　プロセッサは、第２照明光画像を複数の第２照明領域に分割し、複数の第２照明領域に対し、第１評価結果を出力するよう構成されることが好ましい。

　プロセッサは、第１評価結果及び第２評価結果を出力するよう構成されることが好ましい。プロセッサは、第１評価結果と、第２評価結果との組み合わせが特定の条件を満たす場合、報知を行うよう構成されることが好ましい。

　報知を行うための特定の条件は、第１評価結果が非寛解の場合、又は、第２評価結果が寛解であり、かつ、第１評価結果が非寛解の場合であることが好ましい。

　プロセッサは、内視鏡画像が表示されるディスプレイへの警告表示を行うことで報知を行うことが好ましい。

　プロセッサは、内視鏡画像、第１評価結果及び第２評価結果をディスプレイに表示させることが好ましい。

　プロセッサは、第１評価結果及び第２評価結果を出力した被写体における部位情報、第１評価結果、並びに、第２評価結果を関連付けて保存するよう構成されることが好ましい。

　本発明の内視鏡システムは、上記の医療画像処理装置と、光源装置と、内視鏡と、を備える。

　本発明の医療画像処理装置の作動方法は、１種類又は複数種類の照明光を被写体に照明して撮影された医療画像を取得するステップと、医療画像を用いて、疾患の程度の評価基準である第１評価基準に基づく第１評価結果と、第１評価基準と互いに異なる第２評価基準に基づく第２評価結果との少なくとも一方を出力するステップと、を有する。

　本発明によれば、ユーザーの目的に合わせて内視鏡画像から診断結果を得ることができる内視鏡システム、医療画像処理装置及びその作動方法を提供することができる。

内視鏡システムの構成の説明図である。内視鏡システムの機能を示すブロック図である。第１照明光のスペクトルを示すグラフである。第２照明光のスペクトルを示すグラフである。画像判定部の機能を示すブロック図である。形態２～形態６の血管の形態、粘膜内の出血及び粘膜外の出血について示す説明図である。消化管の組織について示す説明図である。周波数領域画像生成部と画像処理ユニットとしての第１判定器の機能を示すブロック図である。画像処理ユニットとしての第１判定器が第２照明光画像から周波数領域画像を解析する流れを示す説明図である。画像処理ユニットとしての第１判定器が第１評価結果を出力する流れを示す説明図である。構造強調画像生成部及び画像処理ユニットとしての第１判定器の機能を示すブロック図である。第１学習用データの生成方法について示す説明図である。周波数領域画像を画像処理ユニットとしての第１判定器に入力して第１評価結果を出力する場合について示す説明図である。構造強調画像を画像処理ユニットとしての第１判定器に入力して第１評価結果を出力する場合について示す説明図である。第２照明光画像を学習済みモデルとしての第１判定器に入力して第１評価結果を出力する場合について示す説明図である。第２照明光画像を第２判定器に入力して第１評価結果を出力する場合について示す説明図である。第１照明光画像を第２判定器に入力して第１評価結果を出力する場合について示す説明図である。第１照明光画像を第３判定器に入力して第２評価結果を出力する場合について示す説明図である。第２照明光画像を第３判定器に入力して第２評価結果を出力する場合について示す説明図である。周波数領域画像を第３判定器に入力して第２評価結果を出力する場合について示す説明図である。内視鏡画像及び評価結果表示欄を表示する場合の表示用画像を示す画像図である。総合評価結果算出部の機能について示すブロック図である。内視鏡画像、現在観察中の部位及びフレーム評価結果を表示する場合の表示用画像を示す画像図である。内視鏡画像、シェーマ図及び複数フレーム部位評価結果を表示する場合の表示用画像を示す画像図である。内視鏡画像、三次元構造図及び複数フレーム部位評価結果を表示する場合の表示用画像を示す画像図である。内視鏡画像、簡易模式図及び複数フレーム部位評価結果を表示する場合の表示用画像を示す画像図である。画像分割部が内視鏡画像を分割した例を示す画像図である。複数の領域に分割された内視鏡画像から評価結果を出力した例を示す画像図である。内視鏡画像に液たまりが含まれる例を示す画像図である。内視鏡画像に泡が含まれる例を示す画像図である。内視鏡画像に反射が含まれる例を示す画像図である。内視鏡画像にキャップの縁部が含まれる例を示す画像図である。内視鏡画像にキャップの縁部が含まれる場合の評価阻害領域を示す画像図である。領域評価指数の出力について示す説明図である。領域評価指数及び評価結果を出力する例を示す説明図である。分割された内視鏡画像と複数領域フレーム評価結果を表示する場合の表示用画像を示す画像図である。内視鏡画像、現在観察中の部位及び複数領域部位評価結果を表示する場合の表示用画像を示す画像図である。内視鏡画像、シェーマ図及び複数領域部位評価結果を表示する場合の表示用画像を示す画像図である。内視鏡画像、三次元構造図及び複数領域部位評価結果を表示する場合の表示用画像を示す画像図である。内視鏡画像、簡易模式図及び複数領域部位評価結果を表示する場合の表示用画像を示す画像図である。内視鏡画像、現在観察中の部位、複数領域フレーム評価結果及び複数領域部位評価結果を表示する場合の表示用画像を示す画像図である。内視鏡画像、シェーマ図、複数領域フレーム評価結果及び複数領域部位評価結果を表示する場合の表示用画像を示す画像図である。内視鏡画像、三次元構造図、複数領域フレーム評価結果及び複数領域部位評価結果を表示する場合の表示用画像を示す画像図である。内視鏡画像、簡易模式図、複数領域フレーム評価結果及び複数領域部位評価結果を表示する場合の表示用画像を示す画像図である。内視鏡画像の全体を警告表示枠で囲む場合の表示用画像を示す画像図である。内視鏡画像を分割した領域を警告表示枠で囲む場合の表示用画像を示す画像図である。第１実施形態における内視鏡システムの機能の流れを示すフローチャートである。第１発光パターンについて示す説明図である。第２発光パターンについて示す説明図である。第１照明光画像、第２照明光画像、シェーマ図、評価結果を表示する場合の表示用画像を示す画像図である。第１照明光画像、第２照明光画像、現在観察中の部位、複数領域フレーム評価結果及び複数領域部位評価結果を表示する場合の表示用画像を示す画像図である。第１照明光画像、第２照明光画像、シェーマ図、複数領域フレーム評価結果及び複数領域部位評価結果を表示する場合の表示用画像を示す画像図である。第１照明光画像、第２照明光画像、三次元構造図、複数領域フレーム評価結果及び複数領域部位評価結果を表示する場合の表示用画像を示す画像図である。第１照明光画像、第２照明光画像、簡易模式図、複数領域フレーム評価結果及び複数領域部位評価結果を表示する場合の表示用画像を示す画像図である。第１照明光画像、第２照明光画像及び現在観察中の部位を表示する場合の表示用画像を示す画像図である。第１照明光画像、第２照明光画像及びシェーマ図を表示する場合の表示用画像を示す画像図である。第１照明光画像、第２照明光画像及び三次元構造図を表示する場合の表示用画像を示す画像図である。第１照明光画像、第２照明光画像及び簡易模式図を表示する場合の表示用画像を示す画像図である。第１照明光画像及び現在観察中の部位を表示する場合の表示用画像を示す画像図である。第１照明光画像及びシェーマ図を表示する場合の表示用画像を示す画像図である。第１照明光画像及び三次元構造図を表示する場合の表示用画像を示す画像図である。第１照明光画像及び簡易模式図を表示する場合の表示用画像を示す画像図である。第１照明光画像及び第２照明光画像の全体を警告表示枠で囲む場合の表示用画像を示す画像図である。対応する第１照明領域及び第２照明領域を警告表示枠で囲む場合の表示用画像を示す画像図である。

　［第１実施形態］
　図１に示すように、内視鏡システム１０は、内視鏡１２、光源装置１３、医療画像処理装置（プロセッサ装置）１４、ディスプレイ１５及びユーザーインターフェース１６を備える。内視鏡１２は、光源装置１３と光学的に接続され、かつ、プロセッサ装置１４と電気的に接続される。

　内視鏡１２は、挿入部１２ａ、操作部１２ｂ、湾曲部１２ｃ及び先端部１２ｄを有している。挿入部１２ａは、被写体の体内に挿入される。操作部１２ｂは、挿入部１２ａの基端部分に設けられる。湾曲部１２ｃ及び先端部１２ｄは、挿入部１２ａの先端側に設けられる。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。挿入部１２ａから先端部１２ｄにわたって、処置具などを挿通するための鉗子チャンネル（図示しない）を設けている。処置具は、鉗子口１２ｊから鉗子チャンネル内に挿入する。

　内視鏡１２の内部には、被写体像を結像するための光学系、及び、被写体に照明光を照射するための光学系が設けられる。操作部１２ｂには、アングルノブ１２ｅ、モード切替スイッチ１２ｆ、静止画像取得指示スイッチ１２ｈ及びズーム操作部１２ｉが設けられる。モード切替スイッチ１２ｆは、観察モードの切り替え操作に用いる。静止画像取得指示スイッチ１２ｈは、被写体の静止画像の取得指示に用いる。ズーム操作部１２ｉは、ズームレンズ４２の操作に用いる。

　光源装置１３は、照明光を発生する。ディスプレイ１５は、内視鏡画像及び表示用画像を表示する。内視鏡画像には、撮像に用いる照明光が異なる第１照明光画像と第２照明光画像の少なくとも一方が含まれる。表示用画像は、内視鏡画像と内視鏡画像から出力した疾患の評価結果と、評価結果に付随する情報を表示するために生成される画像である。ユーザーインターフェース１６は、キーボード、マウス、マイク、タブレット、及びタッチペン等を有し、機能設定等の入力操作を受け付ける。プロセッサ装置１４は、光源装置１３の制御や、内視鏡１２から送信された画像信号に対する画像処理、解析、表示に関する制御を行う。

　図２において、光源装置１３は、光源部２０、光源部２０を制御する光源用プロセッサ２１、及び、光路結合部２２を備えている。光源部２０は、複数の半導体光源を有し、これらをそれぞれ点灯又は消灯する。又、複数の半導体光源を点灯する場合は、各半導体光源の発光量を制御することにより、被写体を照明する照明光を発する。光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。光源部２０及び／又は光源用プロセッサ２１は、内視鏡１２に内蔵されていてもよい。又、光源用プロセッサ２１は、プロセッサ装置１４に内蔵されていてもよい。

　第１実施形態において、内視鏡システム１０は、第１照明光モード及び第２照明光モードを備える。第１照明光モード及び第２照明光モードは、モード切替スイッチ１２ｆを操作することで、中央制御部５０を介して切り替えられる。照明光には、第１照明光と、第１照明光とスペクトルが異なる第２照明光が含まれる。第１照明光は、被写体の全体に明るさを与えてスクリーニング観察するために用いる通常光であり、白色光などの広帯域の光であることが好ましい。第２照明光は、被写体である消化管の粘膜の腺管や血管等の特定の構造を強調するために用いる、少なくとも１種類以上の特殊光である。第２照明光は、第１照明光よりも波長帯域が狭い光であることが好ましい。又、第２照明光は、第１照明光よりも特定の青色又は特定の紫色を多く含む光であることが好ましい。特に、第２照明光は中心波長が４１０ｎｍの光であることが好ましい。

　第１照明光を発する場合、図３に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ２０ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ２０ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。第２照明光を発する場合、例えば、図４に示すような、中心波長が４１０ｎｍである光を発生する。

　光源用プロセッサ２１は、４色の紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒの光量を独立に制御し、光量を変えて第１照明光又は第２照明光を発する。

　第１照明光モードの場合、１フレーム毎に第１照明光を被写体に照明して撮像することにより、自然な色合いの第１照明光画像をディスプレイ１５に表示する。又、第２照明光モードの場合、１フレーム毎に第２照明光を被写体に照明して撮像することにより、特定の構造を強調した第２照明光画像をディスプレイ１５に表示する。なお、フレームとは、発光のタイミングから撮像センサ４３による画像信号の読み出し完了までの間の期間を少なくとも含む期間の単位のことをいう。

　第１照明光モード、第２照明光モード及び第２実施形態のマルチ発光モードにおいて、ユーザーが内視鏡画像を静止画像として取得したい場合は、静止画像取得指示スイッチ１２ｈを操作することにより、静止画像取得指示に関する信号が内視鏡１２、光源装置１３、及びプロセッサ装置１４に送られる。

　各ＬＥＤ２０ａ～２０ｄ（図２参照）が発する光は、ミラーやレンズ等で構成される光路結合部２２を介して、ライトガイド２３に入射される。ライトガイド２３は、光路結合部２２からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３１を有しており、ライトガイド２３によって伝搬した照明光は照明レンズ３１を介して被写体に照射される。一方、光源部２０が内視鏡１２の先端部１２ｄに内蔵される場合は、ライトガイドを介さずに照明光学系の照明レンズを介して被写体に向けて出射される。撮像光学系３０ｂは、対物レンズ４１、撮像センサ４３を有する。照明光を照射したことによる被写体からの光は、対物レンズ４１及びズームレンズ４２を介して撮像センサ４３に入射する。これにより、撮像センサ４３に被写体の像が結像される。ズームレンズ４２は被写体を拡大するためのレンズであり、ズーム操作部１２ｉを操作することによって、テレ端とワイド端と間を移動する。

　撮像センサ４３は、原色系のカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。

　又、撮像センサ４３は、ＣＣＤ（Charge-Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）であることが好ましい。撮像用プロセッサ４４は、撮像センサ４３を制御する。具体的には、撮像用プロセッサ４４により撮像センサ４３の信号読み出しを行うことによって、撮像センサ４３から画像信号が出力される。出力された画像信号は、プロセッサ装置１４の医療画像取得部６０に送信される。

　医療画像取得部６０は、受信したカラー画像に対して、欠陥補正処理、オフセット処理、デモザイク処理、マトリクス処理、ホワイトバランスの調整、ガンマ変換処理、及びＹＣ変換処理等の各種信号処理を行う。次いで、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理を含む画像処理を施すことで、第１照明光に対する第１照明光画像、及び、第２照明光に対する第２照明光画像を取得する。

　プロセッサ装置１４は、中央制御部５０、医療画像取得部６０、画像判定部７０、総合評価結果算出部７１、表示制御部１３０、画像分割部１６０、領域評価部１７０及び報知制御部２００を含む（図２参照）。

　プロセッサ装置１４においては、光源用及び画像処理用プロセッサで構成される中央制御部５０により、プログラム用メモリ内のプログラムが動作することで、医療画像取得部６０、画像判定部７０、総合評価結果算出部７１、表示制御部１３０、画像分割部１６０及び領域評価部１７０の機能が実現される。

　医療画像取得部６０が取得した第１照明光画像又は第２照明光画像は、画像判定部７０に入力される。画像判定部７０は、疾患の程度の評価基準である第１評価基準に基づく第１評価結果と、第１評価基準と異なる第２評価基準に基づく第２評価結果の少なくとも一方を出力する。評価基準（以降、第１評価基準及び第２評価基準をまとめて記載する用語として用いる）とは、詳しくは後述するが、疾患の程度を判定する尺度のことである。評価結果（以降、第１評価結果及び第２評価結果をまとめて記載する用語として用いる）とは、詳しくは後述するが、画像判定部７０が出力する結果のことであり、例えば、「寛解」、「非寛解」、「粘膜内の出血」及び「高度の血管不整」のような状態を表すものでもよく、「Mayo０」や「Geboes２Ｂ」のような既存の尺度を用いたものでもよく、「形態１」「形態２」のような予め記憶された尺度を用いたものでもよく、「０」や「１」のような値でもよい。判定とは、画像判定部７０が評価結果を出力するために内視鏡画像を解析することである。出力とは、画像判定部７０が第１評価結果及び／又は第２評価結果を出すことである。

　画像判定部７０は、図５に示すように、内視鏡画像を用いて判定を行う第１判定器８０、第２判定器９０及び第３判定器１００を有する。第１判定器８０は、後述する表層形態分類を記憶した画像処理ユニット、又は、学習済みモデルである。第２判定器９０及び第３判定器１００は、それぞれ異なる学習済みモデルである。学習済みモデルとは、学習モデルが学習用データを用いて学習を行ったものである。画像判定部７０は、後述する周波数領域画像生成部１１０及び構造強調画像生成部１２０をさらに有する。

　学習モデルを生成する機械学習には深層学習を用いることが好ましく、例えば、多層畳み込みニューラルネットワークを用いることが好ましい。機械学習には、深層学習に加え、決定木、サポートベクトルマシン、ランダムフォレスト、回帰分析、教師あり学習、半教師なし学習、教師なし学習、強化学習、深層強化学習、ニューラルネットワークを用いた学習、敵対的生成ネットワーク等が含まれる。

　学習済みモデルとしての第１判定器８０は、第１学習用データを用いて学習が行われる。第２判定器９０は、学習モデルが第２学習用データを用いて学習を行った学習済みモデルである。第１学習用データのデータセット及び第２学習用データのデータセットを生成する際に、第１評価基準が用いられる。第１学習用データ及び第２学習用データの詳細については後述する。第３判定器１００は、学習モデルが第３学習用データを用いて学習を行った学習済みモデルである。第３学習用データを生成する際に、第２評価基準が用いられる。第３学習用データの詳細については後述する。

　第１判定器８０、第２判定器９０及び第３判定器１００を有する画像判定部７０が、それぞれ異なる第１評価基準と第２評価基準に基づき、第１評価結果と第２評価結果の少なくともどちらか一方を出力する上記構成により、ユーザーの目的に合わせて結果を出力することができる。目的とは、例えば、治療目標である。

　潰瘍性大腸炎には、その重症度に応じて、臨床的寛解、内視鏡的寛解、病理的寛解の異なる治療目標が存在する。臨床的寛解とは、下痢や腹痛等の患者の症状が軽度又は見られなくなる状態である。従来は、治療薬の処方による臨床的寛解が潰瘍性大腸炎の治療目標とされていた。しかし、一度は臨床的寛解となった場合においても、再び症状が現れてしまう再発が起きる症例がみられた。そこで、再発した患者の内視鏡検査を行うと、消化管内に内視鏡的非寛解（粘膜の発赤等が見られ治癒していないこと）が認められることがあった。すなわち、表１に示すように、臨床的寛解であっても内視鏡的非寛解である場合に再発することが明らかになった。このような症例では長期間の寛解が得られなかったことから、寛解を短期間で終わらせないため、「臨床的寛解であっても内視鏡的非寛解」と「内視鏡的寛解」を見分ける検査を適宜行い、内視鏡的寛解（粘膜治癒）を治療目標として治療が行われることになった。

　近年、潰瘍性大腸炎の治療に用いられる生物学的製剤は、高い治療効果を発揮することで内視鏡的寛解を高確率で実現できるようになった。加えて、生検組織から病理的寛解が確認された場合、寛解がより長くなることが報告されてきている。すなわち、表１に示すような「内視鏡的寛解であるが病理学的非寛解」と「病理的寛解」を見分け、適切な治療薬を用いて病理的寛解を目指すことが次なる治療目標となってきている。このように、臨床的寛解から内視鏡的寛解、内視鏡的寛解から病理的寛解へと、疾患の経過に合わせて治療目標が変遷することから、それぞれの段階において現在の状態を検査できることは重要である。上記構成は、医師等のユーザーは、患者の経過に合わせて内視鏡的寛解や病理的寛解といった異なる治療目標に合わせて結果を得たいニーズを満たすものである。

　疾患の程度の評価基準である第１評価基準は、内視鏡と異なる撮像装置で撮像した画像に基づく疾患の程度の評価基準であることが好ましい。この構成により、内視鏡画像のみから得られる評価結果と互いに異なる評価結果を得ることができる。

　内視鏡と異なる撮像装置で撮像した画像は、被写体から採取された生検組織の病理画像であることが好ましい。病理画像とは、ヘマトキシリン・エオシン染色等の各種染色が施された病理組織標本等、生検組織を顕微鏡で観察して診断を行うことができる状態にした上で撮像された画像のことである。

　病理的寛解を治療目標とする段階では、治療薬として、ステロイド、免疫抑制剤及び生物学的製剤等が用いられる。これらの治療薬は、潰瘍性大腸炎の症状を抑える寛解導入期に大きな効果を発揮する。一方で、これらの治療薬は生体への全身性の影響が大きく、使用量が多くなると副作用のリスクも増大してしまう。副作用の大きな治療薬の過剰な投与を防止するためには、十分に治療効果が得られた場合に、副作用が比較的小さい治療薬（５－アミノサリチル酸製剤）へと治療薬を切り替える必要がある。病理的寛解の確認は、十分に治療薬の効果が得られた目安となるため、病理画像に基づく評価基準に基づいて病理的非寛解と病理的寛解を判別し、評価結果を出力する上記構成により、ユーザーは薬の切り替え時期を見極めることができる。又、病理画像に基づく評価基準に基づいた評価結果を内視鏡画像のみに基づき出力できることで、生検を採取する必要がなくなり、術者と被験者の負担を大きく軽減することができる。

　第１評価基準は、疾患の程度を２段階で評価する基準であってもよく、又、寛解又は非寛解の中でさらに細かくサブクラスを分けた３段階以上の多段階評価であってもよい。疾患は、潰瘍性大腸炎であることが好ましい。第１評価基準が２段階である場合、疾患の程度は寛解又は非寛解の２段階であって、第１評価結果は「寛解」又は「非寛解」と出力される。この場合は、第１評価結果の出力が比較的簡単な処理となるため、プロセッサに負担をかけず、速く判定を行うことができる。一方、第１評価基準が３段階以上の多段階である場合は、寛解又は非寛解の２段階であるよりも、より詳細な判定を行うことができる。

　第１評価基準として、Geboes histopathology score（ＧＨＳ）（表２）を用いることが好ましい。以降、第１評価結果としてＧＨＳを出力する場合の記載については、簡単のため、例えばＧＨＳが「０」である場合を「Geboes０」と記載する。表１の通り、Geboes０～２Ａは寛解（病理的寛解）であり、Geboes２Ｂ～５は非寛解（病理的非寛解）である。画像判定部７０は、内視鏡画像を「Geboes２Ｂ」と判定した場合、第１評価結果として「Geboes２Ｂ」と出力してもよく、「非寛解」と出力してもよい。又、第１評価基準として、Riley score、Modified Riley score又はRobarts histopathology index等の、病理画像に基づく潰瘍性大腸炎の評価基準を用いてもよい。上記構成により、臨床で用いられる評価基準に基づいて評価結果を出力することができる。

　第１評価基準は、表層血管の形態及び／又は出血の程度としてもよい。この場合、第１評価結果として、例えば、「表層血管：ハニカムパターン」「表層血管：軽度不整」「出血：軽度」のように出力することができる。上記構成により、内視鏡画像から第１評価基準に基づく所見として第１評価結果を出力することができる。

　表層形態分類は、表３に示す、中心波長４１０ｎｍの照明光を被写体に照射して得た内視鏡画像にみられる血管構造のパターンと、病理画像に基づく疾患の程度（ＧＨＳ）との、発明者らが見出した対応関係のことである。潰瘍性大腸炎は、図６（Ａ）～（Ｅ）に示すように、血管構造のパターンが変化し、この血管構造のパターンと病理状態との間に対応関係が存在する。

　潰瘍性大腸炎が極めて軽度な寛解状態であり、粘膜が正常であるため表層血管が視認できない場合、表１の「形態１」に分類される。潰瘍性大腸炎が寛解であり、粘膜に若干の異常がある場合には、表層血管のパターンが規則的であるか（図６（Ａ）；表３「形態２」）、表層血管のパターンの規則性に多少の乱れが生じている程度である（図６（Ｂ）；表３「形態３」）。一方、潰瘍性大腸炎が非寛解であり、且つ、重症度が軽症である場合には、一部に表層血管が密集した高密表層血管領域が存在する表層血管の高密化となる（図６（Ｃ）、表３「形態４」）。潰瘍性大腸炎が非寛解であり、且つ、重症度が中等症である場合には、粘膜内の出血８１が発生する（図６（Ｄ）、表３「形態５」）。潰瘍性大腸炎が非寛解であり、且つ、重症度が中等症～重症である場合には、粘膜外の出血８２が発生する（図６（Ｅ）、表３「形態６」）。

　ここで、「高密表層血管領域」とは、表層血管が蛇行して集まった領域であり、画像上の見た目では、腸陰窩（図７参照）の周囲を表層血管が何本も囲む形態である。「粘膜内の出血」とは、粘膜（図７参照）内の出血であり、消化管内腔（管腔）における出血とは異なる。「粘膜外の出血」とは、管腔内への少量の血液、管腔内を洗浄した後の内視鏡先端部１２ｄから前方の管腔若しくは粘膜上皮よりも内腔側で視認可能な血液、又は、粘膜上でにじみを伴った管腔内の血液のことをいう。

　画像処理ユニットとしての第１判定器８０が第１評価結果を出力する流れについて説明する。この場合、第１判定器８０には、図８に示す周波数領域画像生成部１１０（図２も参照）が生成した第１周波数領域画像又は第２周波数領域画像を、第１判定器８０に送信する。図８に示すように、周波数領域画像生成部１１０は、マスク処理部１１２、周波数成分空間分布算出部１１３及び周波数領域抽出部１１４を備え、第１判定器８０は、血管密度算出部１１５、輝度算出部１１６及び第１評価結果出力部１１７を備える。

　第１評価結果は、図９Ａに示す流れに沿って出力される。図９Ａでは、上から下に向かって処理が進行する。マスク処理部１１２は、内視鏡画像である第２照明光画像１１１ａのうち、歪みの大きい辺縁部にマスク処理を行い、中央部のみを抽出したマスク済み第２照明光画像１１２ａを生成する。次に、周波数成分空間分布算出部１１３が周波数成分空間分布を算出し、周波数領域を抽出する周波数処理を行う。周波数成分空間分布算出部１１３は、マスク済み第２照明光画像１１２ａに対してラプラシアンフィルタをかけることにより、周波数成分空間分布を算出する。

　周波数領域抽出部１１４は、マスク済み第２照明光画像１１２ａから第１周波数領域１１４ｂ（図９Ａ、第１周波数領域１１４ａの斜線部）を抽出し、第１周波数領域画像１１４ａを生成する。具体的には、周波数成分空間分布に対するヘシアン解析によって、第１周波数（高周波）を有する第１周波数領域（高周波領域）１１４ｂを抽出する。

　次に、血管密度算出部１１５が、第１周波数領域画像１１４ａに平均化処理を施し、表層血管の密度分布を算出した密度分布画像１１５ａを生成する。図９Ａでは、表層血管の密度分布が高い領域１１５ｂ、表層血管の密度分布が中程度の領域１１５ｃ、表層血管の密度分布が低い領域１１５ｄが示されている。

　最終的に、第１評価結果出力部１１７が、密度分布用閾値を用いた閾値処理を行い、表層血管の密度分布が密度分布用閾値以上の領域１１７ａと、密度分布用閾値未満の領域１１７ｂに分け、表層血管の密度分布が密度分布用閾値以上の領域１１７ａは、「高密表層血管領域」に該当する。

　周波数領域抽出部１１４は、さらに、マスク済み第２照明光画像１１２ａから第１周波数よりも低い周波数である第２周波数（低周波）を有する第２周波数領域１１４ｄ（低周波領域；図９Ａ、第２周波数領域画像１１４ｃの斜線部）を抽出し、第２周波数領域画像１１４ｃを生成する。具体的には、周波数成分空間分布に基づいて、マスク済み第２照明光画像１１２ａのうち、特定画素を含む近傍の９画素の周波数の統計量（例えば、最大値、最小値又は標準偏差）が一定値以下の場合に、特定画素を第２周波数に属する画素とする。この特定画素の検出を全画素分行うことによって、第２周波数領域１１４ｄを抽出し、第２周波数領域画像１１４ｃを生成する。

　次に、輝度算出部１１６は、第２周波数領域画像１１４ｃの輝度を算出し、第２周波輝度分布画像１１６ａを生成する。図９Ａでは、輝度値が低い領域１１６ｂと輝度値が高い領域１１６ｃが示されている。

　最終的に、第１評価結果出力部１１７が、第１輝度用閾値を用いた閾値処理を行い、輝度が第１輝度用閾値以下の領域１１７ｃと、輝度が第１輝度用閾値より大きい領域１１７ｄに分ける。輝度が第１輝度用閾値以下の領域１１７ｃは、「粘膜外の出血」に該当する。

　又、周波数領域抽出部１１４は、第１周波数よりも低い周波数であって、第２周波数よりも高い周波数（中周波数）を有する第３周波数領域１１４ｆ（中周波領域；図９Ａ、第３周波数領域画像１１４ｅの斜線部）を抽出し、第３周波数領域画像１１４ｅを生成する。具体的には、マスク済み第２照明光画像１１２ａから、第１周波数領域１１４ｂと、第２周波数領域１１４ｄを除いた領域を第３周波数領域と１１４ｆして抽出し、第３周波数領域画像１１４ｅを生成する。次に、輝度算出部１１６が、第３周波数領域画像１１４ｅの輝度を算出して第３周波輝度分布画像１１６ｄを生成し、輝度値が高い領域１１６ｅと輝度値が低い領域１１６ｆに分ける。

　次いで、第１評価結果出力部１１７が、第２輝度用閾値を用いた閾値処理を行い、輝度が第２輝度用閾値以下の領域１１７ｅと、輝度が第１輝度用閾値より大きい領域１１７ｆに分ける。輝度が第２輝度用閾値以下の領域１１７ｅは、「粘膜内の出血」に該当する。

　最後に、図９Ｂに示すように、輝度が第１輝度用閾値以下の領域１１７ｃ、すなわち「粘膜外の出血」の画素数と、輝度が第２輝度用閾値以下の領域１１７ｅ、すなわち「粘膜内の出血」の画素数を足し合わせた「出血」の画素数を算出し、「出血」の画素数が出血用閾値以上の場合は、第２照明光画像１１１ａは「形態５」あるいは「形態６」に該当し、第１評価結果として病理的非寛解を出力する。また、「出血」の画素数が出血用閾値未満の場合は、表層血管の密度分布が密度分布用閾値以上の領域１１７ａ、すなわち「高密表層血管領域」の画素数を算出し、「高密表層血管領域」の画素数が表層血管密度用閾値以上の場合は、第２照明光画像１１１ａは「形態４」に該当し、第１評価結果として病理的非寛解を出力する。さらに、「出血」の画素数が出血用閾値未満であって、かつ「高密表層血管領域」の画素数が表層血管密度用閾値未満の場合は、第２照明光画像１１１ａは、「形態１」、「形態２」、「形態３」のいずれかに該当し、第１評価結果として病理的寛解を出力する。

　画像処理ユニットとしての第１判定器８０は、第１照明光画像を用いて第１評価結果を出力することが好ましい。この場合、図１０に示すように、第１照明光画像から構造強調画像生成部１２０が生成した構造強調画像を、第１判定器８０に送信する。

　構造強調画像生成部１２０は、学習用内視鏡画像である第１照明光画像のうち、表層血管及び粘膜内の出血や粘膜外の出血など表層出血等を、バイラテラルフィルタの画素値差（振幅値）の大きさに伴う周波数特性の違いを利用して強調した構造強調画像を生成する。具体的には、特開２０１２－１３５３４５に開示されているテクスチャ画像の生成方法のように、第１照明光画像から抽出した注目画素と周辺の画素領域の差の絶対値から得たフィルタ係数生成用パラメータに基づく第１フィルタ係数と、第１照明光画像のグレーチャート内の所定領域の画素値の平均値と標準偏差を算出して求めたノイズ量推定モデルをフィルタ係数生成用パラメータとして第２フィルタ係数とを算出し、表層血管及び粘膜内の出血や粘膜外の出血など表層出血等が有する画素値に対して、第１フィルタ係数と第２フィルタ係数を用いた値の差を反映した構造強調画像を生成する。構造強調画像では、表層血管や表層出血が強調されているため、構造強調画像と表層形態分類を基に、図９と同じ原理で第１評価結果を出力することができる。

　画像処理ユニットとしての第１判定器８０が第１評価結果として出力する「寛解」には、「形態１」「形態２」「形態３」が含まれ、「非寛解」には、「形態４」「形態５」「形態６」が含まれる（表３参照）。

　画像処理ユニットとしての第１判定器８０が、表層形態分類を用いて第１評価結果を出力することで、生検組織を採取せずとも、第１照明光画像及び第２照明光画像から病理画像に基づく評価基準を用いて、病理的な評価結果を得ることができる。又、第１判定器８０に予め記憶された表層形態分類は、内視鏡画像と病理画像の関係性が明確であるため、評価結果の解釈性が高い。

　学習済みモデルとしての第１判定器８０は、第１照明光画像又は第２照明光画像が入力されることで、第１評価結果を出力することが好ましい。この場合、第１判定器８０は、第１学習用データで学習されている。

　第１学習用データの生成方法について説明する。図１１に示すように、第１学習用データ生成部としての対応付け部１１８は、学習用内視鏡画像である第１照明光画像１１８ａ又は第２照明光画像１１８ｂに、表層形態分類を付した画像データのデータセットとして第１学習用データ１１８ｃを生成することが好ましい。学習用内視鏡画像としての第１照明光画像１１８ａ又は第２照明光画像１１８ｂは、内視鏡システム１０以外の内視鏡が予め取得した内視鏡画像でもよく、内視鏡システム１０以外の内視鏡が取得した内視鏡画像でもよい。

　対応付け部１１８は、第１周波数領域画像、第２周波数領域画像及び第３周波数領域画像を生成する元になった第２照明光画像、又、構造強調画像の元になった第１照明光画像に表層形態分類を対応付け、第１学習用データとすることができる。対応付け部１１８は、プロセッサ装置１４に具備されてもよく、内視鏡システム１０以外の装置に具備されてもよい。上記の通り、表層形態分類を用い、学習用内視鏡画像に病理画像に基づく疾患の程度を付して第１学習用データを生成し、第１判定器８０を構成することができる。

　学習済みモデルである第２判定器９０は、第１照明光画像又は第２照明光画像が入力されることで、第１評価結果を出力することが好ましい。第２判定器９０の学習に用いられる第２学習用データについて説明する。第２学習用データは、学習用内視鏡画像に、病理画像から得た第１評価結果を付した画像データのデータセットであることが好ましい。第２学習用データを生成する第２学習用データ生成部は、プロセッサ装置１４に具備されてもよく、内視鏡システム１０以外の装置に具備されてもよい。第２判定器９０は、第２学習用データによる学習を行った上で内視鏡画像の判定を行い、第１評価結果を出力することが好ましい。

　第２学習用データに用いる学習用内視鏡画像に付される第１評価結果は、学習用内視鏡画像が撮像された位置と同じ位置で採取した生検組織から得た病理画像から医師が診断した評価結果である。病理画像の診断は、病理画像を診断する装置が行ってもよい。この場合、学習用内視鏡画像は、第１照明光画像でも、第２照明光画像でもよい。

　上記構成により、第１判定器８０を用いた場合と同じく、生検を採取することなく、内視鏡画像から病理的評価を得ることができる。又、第２学習用データは確立された病理学に基づいて学習用のデータセットを生成しているため、データセットに対する信頼度は高い。さらに、人工知能により第１評価結果を出力するため、内視鏡画像が有する血管の形態、画素値及び輝度等、人間が理解できる所見は言うまでもなく、それ以外の所見まで含む多次元の特徴を基に第１評価結果を出力するため評価結果に高い精度が期待できる。

　画像判定部７０が第１評価基準に基づき第１評価結果を出力する方法は次の（１）～（５）である。（１）図１２に示すように、周波数領域画像生成部１１０が第２照明光画像６０ａから第１周波数領域画像、第２周波数領域画像及び第３周波数領域画像（図１２では「周波数領域画像１１０ａ」と記載）を生成し、第１周波数領域画像、第２周波数領域画像及び第３周波数領域画像を画像処理ユニットとしての第１判定器８０に入力し、第１評価結果８０ａを出力する。（２）図１３に示すように、構造強調画像生成部１２０が第１照明光画像６０ｂから構造強調画像１２０ａを生成し、構造強調画像１２０ａを画像処理ユニットとしての第１判定器８０に入力し、第１評価結果８０ａを出力する。（３）図１４に示すように、第２照明光画像６０ａを学習済みモデルとしての第１判定器８０に入力し、第１判定器８０が第１評価結果８０ａを出力する。（４）図１５に示すように、第２照明光画像６０ａを第２判定器９０に入力し、学習済みモデルである第２判定器９０が第１評価結果９０ａを出力する。（５）図１６に示すように、第１照明光画像６０ｂを第２判定器９０に入力し、学習済みモデルである第２判定器９０が第１評価結果９０ａを出力する。上記の通りにして、内視鏡１２が撮像した第１照明光画像又は第２照明光画像を用い、第１評価基準に基づき第１評価結果を出力することができる。

　第２評価基準は、内視鏡画像に基づく疾患の程度の評価基準であることが好ましい。第２評価基準は、疾患の程度を２段階で評価する基準であってもよく、又、寛解又は非寛解の中でさらに細かくサブクラスを分けた３段階以上の多段階評価であってもよい。疾患は、潰瘍性大腸炎であることが好ましい。第２評価基準が２段階である場合、疾患の程度は寛解又は非寛解の２段階であって、第２評価結果は「寛解」又は「非寛解」と出力される。この場合は、第２評価結果の出力が比較的簡単な処理となるため、プロセッサに負担をかけず、速く判定を行うことができる。第２評価基準が３段階以上の多段階である場合、寛解又は非寛解の２段階であるよりも、より詳細な判定を行うことができる。

　第２評価基準として、Mayo endoscopic subscore（ＭＥＳ）（表４）を用いることが好ましい。以降、第２評価結果のＭＥＳとしての出力については、簡単のため、例えばＭＥＳが「０」である場合を「Mayo０」と記載する。表１の通り、Mayo０～１は寛解（内視鏡的寛解）であり、Mayo２～３は非寛解（内視鏡的非寛解）である。画像判定部７０は、内視鏡画像を「Mayo２」と判定した場合、第２評価結果として「Mayo２」と出力してもよく、「非寛解」と出力してもよい。又、第２評価基準として、UCEIS（Ulcerative colitis endoscopic index of severity） score等の、潰瘍性大腸炎の評価基準を用いてもよい。上記構成により、臨床で用いられる評価基準に基づいて評価結果を出力することができる。

　又、第２評価基準を粘膜の赤みの程度、深層血管の血管透見度合い及び／又はびらん若しくは潰瘍の程度としてもよい。この場合、第２評価結果として、例えば、「発赤：軽度」「血管透見像：正常」「出血：中程度」のように出力することができる。上記構成により、内視鏡画像から第２評価基準に基づく所見として第２評価結果を出力することができる。

　第１評価基準及び第２評価基準は、表１に示すように、疾患を寛解とする範囲及び非寛解とする範囲を有し、第１評価基準で寛解とする範囲は、第２評価基準で疾患を寛解とする範囲よりも小さい。すなわち、病理的寛解とされる基準は、内視鏡的寛解とされる基準よりも厳しい。第１評価基準のうち、疾患を非寛解とする最低値である第１非寛解境界値は、第２評価基準のうち、疾患を非寛解とする最低値である第２非寛解境界値と異なり、第１非寛解境界値は、第２評価基準で疾患を寛解とする範囲に設定されることが好ましい。例えば、表１に示すように、第１評価基準で潰瘍性大腸炎を非寛解とする最低値は、「Geboes２Ｂ」である。一方、第２評価基準で潰瘍性大腸炎を非寛解とする最低値は、「Mayo２」である。「Geboes２Ｂ」は、第２評価基準であるＭＥＳに当てはめると、おおむね内視鏡的寛解とされる「Mayo１」の範囲内にある。このように、２つの評価基準において疾患を非寛解とする範囲が異なることにより、２つの異なる評価基準に基づいてそれぞれ評価結果を出力した際、一方の評価基準では寛解とされる範囲において、もう一方の評価基準では非寛解とされることがある。このズレが存在することにより、一方の評価基準における「隠れた非寛解」の見逃しを防ぐことができる。

　内視鏡画像を入力することにより第２評価結果を出力する、第３判定器１００の学習に用いられる第３学習用データについて説明する。第３学習用データは、学習用内視鏡画像に、内視鏡画像から得た第２評価結果を付した画像データのデータセットであることが好ましい。第３学習用データを生成する第３学習用データ生成部は、プロセッサ装置１４に具備されてもよく、内視鏡システム１０以外の装置に具備されてもよい。第３判定器１００は、第３学習用データによる学習を行った上で内視鏡画像の判定を行い、第２評価結果を出力することが好ましい。

　第３学習用データに用いる学習用内視鏡画像に付される第２評価結果は、学習用内視鏡画像を医師が診断した評価結果である。学習用内視鏡画像の診断は、内視鏡画像を診断する、第３判定器１００以外のシステムが行ってもよい。この場合、学習用内視鏡画像は、第１照明光画像でも、第２照明光画像でもよい。すなわち、第３判定器１００は、第１照明光画像と第２照明光画像の両方から、第２評価基準に基づいて第２評価結果を出力することができる。人工知能により第２評価結果を出力するため、内視鏡画像が有する血管の形態、画素値及び輝度等、人間が理解できる所見は言うまでもなく、それ以外の所見まで含む多次元の特徴を基に第２評価結果を出力するため評価結果に高い精度が期待できる。

　第２照明光画像を第３判定器１００に入力し、第２評価結果を出力する場合、学習用内視鏡画像は、第１照明光画像が撮像された位置と近傍の位置で取得された第２照明光画像であってもよい。

　又、第２照明光画像を用いて第２評価結果を出力する場合、第１周波数領域画像、第２周波数領域画像及び第３周波数領域画像を第３判定器１００に入力し、第２評価結果を出力してもよい。この場合、第３学習用データは、第１周波数領域画像、第２周波数領域画像及び第３周波数領域画像に第２評価結果を付した画像データのデータセットであることが好ましい。

　画像判定部７０は、内視鏡画像を入力し、第１評価結果と第２評価結果の両方を出力することが好ましい。第１評価結果と第２評価結果の両方を出力することで、内視鏡画像を多面的に評価することができる。

　上記の通り、画像判定部７０が第２評価基準に基づき第２評価結果を出力する方法は次の（１）～（３）である。（１）図１７に示すように、第１照明光画像６０ｂを第３判定器１００に入力し、第３判定器１００が第２評価結果１０１を出力する。（２）図１８に示すように、第２照明光画像６０ａを第３判定器１００に入力し、第３判定器１００が第２評価結果１０１を出力する。（３）図１９に示すように、周波数領域画像生成部１１０が第２照明光画像６０ａから第１周波領域画像、第２周波数領域画像及び第３周波数領域画像（図１２では「周波数領域画像１１０ａ」と記載）を生成し、第１周波領域画像、第２周波数領域画像及び第３周波数領域画像を第３判定器１００に入力し、第３判定器１００が第２評価結果１０１を出力する。

　画像判定部７０が出力した第１評価結果及び／又は第２評価結果は、表示制御部１３０に送信される。表示制御部１３０は、図２０に示すように、現在観察中の内視鏡画像１３２と、第１評価結果及び／又は第２評価結果を示す評価結果表示欄１３３とを表示する表示用画像１３１を生成し、ディスプレイ１５に表示することが好ましい。

　画像判定部７０は、１フレームの内視鏡画像に対して第１評価結果と第２評価結果の少なくとも一方を出力する。これ以降、１フレームの内視鏡画像に対して出力された第１評価結果を第１フレーム評価結果、１フレームの内視鏡画像に対して出力された第２評価結果を第２フレーム評価結果と呼ぶ。

　さらに、一定区間や一定時間で取得された複数のフレームの総合的な評価結果を得るため、第１フレーム評価結果又は第２フレーム評価結果を単位スコアとし、単位スコアを基に総合スコアとして総合評価結果を出力することが好ましい。総合評価結果は、総合評価結果算出部７１が出力する。画像判定部７０の第１判定器８０、第２判定器９０又は第３判定器１００は、単位スコアである第１フレーム評価結果又は第２フレーム評価結果を出力し、総合評価結果算出部７１に送信する（図２参照）。

　総合評価結果算出部７１は、図２１に示す、複数フレーム評価結果算出部７２、及び、後述する複数領域評価結果算出部７３を有する。複数フレーム評価結果算出部７２は、第１フレーム評価結果又は第２フレーム評価結果を単位スコアとし、単位スコアを基に総合スコアとして第１複数フレーム評価結果又は第２複数フレーム評価結果を出力する。

　複数フレーム評価結果算出部７２は、少なくとも２フレーム以上の内視鏡画像に係る第１評価結果を用いて算出される第１複数フレーム評価結果と、少なくとも２フレーム以上の内視鏡画像に係る第２評価結果を用いて算出される第２複数フレーム評価結果の少なくとも一方を出力することが好ましい。第１複数フレーム評価結果及び／又は第２複数フレーム評価結果は、表示制御部１３０に送信される。

　具体的には、複数フレーム評価結果算出部７２は、第１複数フレーム評価結果を寛解又は非寛解の２段階で出力する場合は、病理的寛解の割合を示す百分率と、病理的非寛解の割合を示す百分率を出力する。又、病理的寛解と病理的非寛解の割合の高い一方の病理的状態を出力してもよく、病理的寛解と病理的非寛解のうち、割合が一定値以上の病理的状態を出力してもよい。第１複数フレーム評価結果をＧＨＳのような多段階で出力する場合は、Geboes0の割合を示す百分率、Geboes１の割合を示す百分率、Geboes２Ａの割合を示す百分率、Geboes２Ｂの割合を示す百分率、Geboes３の割合を示す百分率、Geboes４の割合を示す百分率、及び、Geboes５の割合を示す百分率を出力する。又、Geboes0～Geboes5のうち割合の最も高いＧＨＳを出力してもよく、Geboes0～Geboes5のうち割合が一定値以上のＧＨＳを出力してもよい。

　第２複数フレーム評価結果を寛解又は非寛解の２段階で出力する場合は、内視鏡的寛解の割合を示す百分率と、内視鏡的非寛解の割合を示す百分率を出力する。又、内視鏡的寛解と内視鏡非寛解の割合の高い一方の内視鏡的状態を出力してもよく、内視鏡的寛解と内視鏡的非寛解のうち、割合が一定値以上の内視鏡的状態を出力してもよい。又、第１複数フレーム部位評価結果をＭＥＳのような多段階で出力する場合は、Mayo０の割合を示す百分率、Mayo１の割合を示す百分率、Mayo２の割合を示す百分率、及び、Mayo３の割合を示す百分率を出力する。又、Mayo0～Mayo３のうち割合の最も高いＭＥＳを出力してもよいし、Mayo0～Mayo3のうち割合が一定値以上のＭＥＳを出力してもよい。

　複数フレーム評価結果は、少なくとも２フレーム以上の内視鏡画像に係る第１フレーム評価結果又は第２フレーム評価結果を用いて、任意の体内の区間や、複数の内視鏡画像が取得される任意の時間的な期間において出力されることが好ましい。上記構成により、評価結果を時空間的に総合した総合評価結果を得ることができる。

　図２１に示すように、複数フレーム評価結果算出部７２は、複数フレーム部位評価結果算出部１４０を有する。複数フレーム部位評価結果算出部１４０は、第１フレーム評価結果又は第２フレーム評価結果を単位スコアとし、単位スコアを基に総合スコアとして第１複数フレーム部位評価結果又は第２複数フレーム部位評価結果を出力する。

　複数フレーム部位評価結果算出部１４０は、少なくとも２フレーム以上の内視鏡画像に係る第１フレーム評価結果を用いて算出される第１複数フレーム部位評価結果と、少なくとも２フレーム以上の内視鏡画像に係る第２フレーム評価結果を用いて算出される第２複数フレーム部位評価結果の少なくとも一方を出力することが好ましい。第１複数フレーム部位評価結果及び／又は第２複数フレーム部位評価結果は、表示制御部１３０に送信され、図２２～図２５に示すように、表示用画像１３１に表示される。

　第１複数フレーム部位評価結果及び／又は第２複数フレーム部位評価結果は、消化管の解剖学的部位（食道、胃、十二指腸、空腸、回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸等）毎に出力されることが好ましい。解剖学的部位における第１フレーム評価結果に占める寛解と非寛解のフレーム数の多数決、又は第２フレーム評価結果に占める寛解と非寛解のフレーム数の多数決でもよい。複数フレーム部位評価結果は、解剖学的部位毎に得た第１フレーム評価結果に占める寛解と非寛解のフレーム数の割合を基に、「寛解」がＡ％、「非寛解」がＢ％、第２フレーム評価結果に占める寛解と非寛解のフレーム数の割合を基に、寛解」がＣ％、「非寛解」がＤ％と出力されてもよい。又、複数フレーム部位評価結果は、解剖学的部位毎に得た第１フレーム評価結果に占める各ＧＨＳの割合を基に、「Geboes０」がＥ％、「Geboes１」がＦ％……のように、多段階評価において百分率を求めて出力してもよい。複数フレーム部位評価結果は、平均、最大値及び最小値等の統計量でもよい。複数フレーム部位評価結果は、下行結腸を近位、中位、遠位に３分割する等、任意の区間において出力されることが好ましい。又、複数フレーム部位評価結果は、任意のタイミングで出力されることが好ましい。例えば、ユーザーが下行結腸の撮影を開始したタイミングと、撮影を終了したタイミングを入力し、終了タイミングで、撮影の開始から終了までに得た評価結果を用いて複数フレーム部位評価結果を出力してもよい。

　複数フレーム部位評価結果の表示方法の具体例について説明する。第１複数フレーム部位評価結果及び第２複数フレーム部位評価結果を出力した場合、図２２に示すように、表示用画像１３１に現在観察中の内視鏡画像１５０と、複数フレーム部位評価結果表示欄１５１が表示される。図２２に示す具体例では、複数フレーム部位評価結果表示欄１５１に、現在観察中の部位（下行結腸）において、「寛解」の第１複数フレーム部位評価結果がＡ％、「非寛解」の第１複数フレーム部位評価結果がＢ％、「寛解」の第２複数フレーム部位評価結果がＣ％、「非寛解」の第２複数フレーム部位評価結果がＤ％と示され、その近傍に複数フレーム部位評価結果と対応する棒グラフが表示される。

　図２３に示すように、シェーマ図１５２を示し、現在観察中の部位を枠１５３で強調表示をしてもよい。複数フレーム部位評価結果表示欄１５１の内容は、図２２に示す具体例と同様である。

　図２４に示すように、大腸の三次元構造図１５４を示し、第１複数フレーム部位評価結果又は第２複数フレーム部位評価結果が「寛解」の部位１５６と「非寛解」の部位１５７をそれぞれ反映させて表示してもよい。複数フレーム部位評価結果表示欄１５１の内容は、図２２に示す具体例と同様である。三次元構造図１５４は、予め記憶されたものでもよく、内視鏡画像からStructure from Motion等の手法を用いて生成してもよい。

　図２５に示すように、大腸の位置を棒で表した簡易模式図１５８を示し、第１複数フレーム部位評価結果又は第２複数フレーム部位評価結果が「寛解」の部位１５６と「非寛解」の部位１５７をそれぞれ反映させて表示してもよい。複数フレーム部位評価結果表示欄１５１の内容は、図２２に示す具体例と同様である。Ｒは直腸、ＳＣはＳ状結腸、ＤＣは下行結腸、ＴＣは横行結腸、ＡＣは上行結腸、Ｃは盲腸を示す。

　病変部位がスポット的に存在する疾患ではなく、面状に広がる潰瘍性大腸炎のような疾患においては、上記構成のように、ある程度広い範囲を評価する評価結果を示すことで、評価結果の視認性を向上させることができる。

　画像判定部７０に、複数の領域に分割された内視鏡画像を入力し、分割された領域毎に第１評価結果又は第２評価結果の少なくとも一方を出力することが好ましい。この場合、医療画像取得部６０が内視鏡画像を画像分割部１６０に送信し（図２参照）、画像分割部１６０が内視鏡画像を複数の領域に分割し、複数の領域に分割された内視鏡画像が画像判定部７０に入力され、画像判定部７０が第１評価結果又は第２評価結果の少なくとも一方を出力する。これ以降、１つの領域に対して出力された第１評価結果を第１領域評価結果、１つの領域に対して出力された第２評価結果を第２領域評価結果と呼ぶ。

　画像分割部１６０は、内視鏡画像を少なくとも２つ以上の複数の領域に分割する。例えば、内視鏡画像６０ｃは、図２６に示すような格子状の複数の領域に分割される。図２６の具体例では、内視鏡画像６０ｃが領域Ａから領域Ｐまでの１６枚の複数の領域に分割されている。なお、分割の形状は、格子状に限定されず、六角形等の多角形型や曲線からなる形状等、内視鏡画像を細分化できる形状であればよい。又、複数の領域は、場所によって形状、大きさが異なるランダムな形状に切り出されてもよい。

　画像判定部７０は、図２７に示すように、複数の領域に対して第１評価結果及び／又は第２評価結果を出力する。図２７に示す具体例では、領域Ａ～Ｆ、Ｈ、Ｌ～Ｐは、第１評価結果が「寛解」と出力され、領域Ｇ、Ｉ～Ｋは、第１評価結果が「非寛解」と出力されている。上記構成により、内視鏡画像の一部分に存在する病変等を細かく評価することができる。特に、病理的寛解を治療目標とする段階では、同一画像内でも、領域毎に病理結果が異なる場合があるため、フレーム単位ではなく、分割された小さな領域単位で第１評価結果をスポット的に出力することが好ましい場合がある。

　又、画像判定部７０は、病変の評価を行うに先立ち、複数の領域毎に画像自体の質を判定した上で第１評価結果又は第２評価結果の少なくとも一方を出力することが好ましい。この場合、まず、医療画像取得部６０が内視鏡画像を画像分割部１６０に送信し、画像分割部１６０が内視鏡画像を複数の領域に分割する。次に、複数の領域に分割された内視鏡画像が領域評価部１７０に入力され、領域評価部１７０が分割された複数の領域に対する領域評価指数を出力する。

　領域評価指数は、分割された内視鏡画像自体の質に対する評価値である。すなわち、領域評価指数が高いほど元の内視鏡画像の質が担保されており、第１評価結果及び第２評価結果に対する信頼性が高い。分割された複数の領域に領域評価指数が付された内視鏡画像が画像判定部７０に入力され、画像判定部７０が分割された領域毎に第１評価結果又は第２評価結果の少なくとも一方を出力する。

　この場合、画像分割部１６０は、病変部、又は、病変部でない評価阻害対象を判定可能な大きさで分割することが好ましい。評価阻害対象とは、第１評価結果又は第２評価結果の出力に適さず、判定の精度を低下させる原因となる構造物やアーティファクトのことを指す。例えば、図２８に示すような観察対象を覆う水たまりや血だまり、過剰な薬液の液たまりなどの特定の液たまり部１６１、図２９に示すような泡１６２が含まれる。又、図３０に示すような、画像周辺部１６３に発生するひずみ（観察対象の撮像に用いられる対物レンズによるひずみ）や画像のボケ、又、ハレーション等の反射１６４が含まれる。さらに、内視鏡１２の先端部１２ｄにキャップ（フード）を装着し、内視鏡画像上にキャップの縁部１６５ａが写り込んでいる場合、評価阻害対象には、図３１に示すように、キャップの縁部１６５ａ、又は、図３２に示すようにキャップの縁部１６５ａ及びキャップの外側１６５ｂも含まれる。

　領域に評価阻害対象が含まれず、内視鏡画像の判定を適切に行える場合、領域評価部１７０は領域評価指数を高く算出する。一方、領域に評価阻害対象が含まれる場合、領域評価部１７０は領域評価指数を低く算出する。

　領域評価指数の出力についての図３３の具体例では、領域Ａ～Ｐにそれぞれ領域評価指数が付されている。このうち、領域Ｂ（領域評価指数０．９）、領域Ｅ（領域評価指数０．８）、領域Ｆ（領域評価指数０．９５）、領域Ｇ（領域評価指数０．９５）、領域Ｈ（領域評価指数０．８）、領域Ｉ（領域評価指数０．８）、領域Ｊ（領域評価指数０．９５）、領域Ｋ（領域評価指数０．９５）、領域Ｌ（領域評価指数０．８）、領域Ｎ（領域評価指数０．９）及び領域Ｏ（領域評価指数０．９）は第１評価結果又は第２評価結果の出力を適切に行える領域である。一方、領域Ａ、領域Ｄ、領域Ｍ及び領域Ｐ（領域評価指数０．５）は内視鏡の視野の端であるためひずみが生じ、領域Ｃ（領域評価指数０．０５）は反射１６４があるため、第１評価結果又は第２評価結果の出力の精度が落ちる領域である。このため、評価阻害対象を含む領域Ａ、領域Ｃ、領域Ｄ、領域Ｍ及び領域Ｐは、評価阻害対象を含まない領域Ｂ、領域Ｅ、領域Ｆ、領域Ｇ、領域Ｈ、領域Ｉ、領域Ｊ、領域Ｋ、領域Ｌ、領域Ｎ及び領域Ｏよりも領域評価指数が低く出力されている。

　領域評価部１７０は、複数の領域に分割された内視鏡画像のうち、領域評価用閾値以上の領域のみを抽出した抽出画像を生成し、抽出画像を画像判定部７０に入力してもよい。上記構成により、質が低い領域を予め除外し、一定の質が担保された領域にのみ第１評価結果及び／又は第２評価結果を出力することができる。

　又、分割された領域に領域評価指数を付した内視鏡画像を画像判定部７０に入力し、第１評価結果及び／又は第２評価結果を出力して表示用画像１３１を生成する場合、図３４に示すように、領域評価指数が領域評価用閾値未満の領域を枠１６６で強調表示して注意を促すようにしてもよい。

　画像判定部７０は、１フレームの内視鏡画像の分割された領域に対して第１評価結果と第２評価結果の少なくとも一方を出力するが、さらに、分割された領域に対する総合評価結果を得るため、分割された領域に対して出力された第１領域評価結果又は第２領域評価結果を単位スコアとし、単位スコアを基に総合スコアとして総合評価結果である複数領域評価結果を出力することが好ましい。複数領域評価結果は、図２１に示す、総合評価結果算出部７１の複数領域評価結果算出部７３が出力する。画像判定部７０の第１判定器８０、第２判定器９０又は第３判定器１００は、単位スコアである第１領域評価結果又は第２領域評価結果を出力し、総合評価結果算出部７１の複数領域評価結果算出部７３に送信する（図２参照）。

　複数領域評価結果算出部７３は、少なくとも２つ以上の分割された領域に対する第１領域評価結果を用いて算出される第１複数領域評価結果と、少なくとも２つ以上の分割された領域に対する第２評価結果を用いて算出される第２複数領域評価結果の少なくとも一方を出力することが好ましい。第１複数領域評価結果及び／又は第２複数領域評価結果は、表示制御部１３０に送信される。

　具体的には、複数領域評価結果算出部７３は、第１複数領域評価結果を寛解又は非寛解の２段階で出力する場合は、病理的寛解の割合を示す百分率と、病理的非寛解の割合を示す百分率を出力する。又、病理的寛解と病理的非寛解の割合の高い一方の病理的状態を出力してもよく、病理的寛解と病理的非寛解のうち、割合が一定値以上の病理的状態を出力してもよい。第１複数フレーム評価結果をＧＨＳのような多段階で出力する場合は、Geboes0の割合を示す百分率、Geboes１の割合を示す百分率、Geboes２Ａの割合を示す百分率、Geboes２Ｂの割合を示す百分率、Geboes３の割合を示す百分率、Geboes４の割合を示す百分率、及び、Geboes５の割合を示す百分率を出力する。又、Geboes0～Geboes5のうち割合の最も高いＧＨＳを出力してもよく、Geboes0～Geboes5のうち割合が一定値以上のＧＨＳを出力してもよい。

　第２複数領域評価結果を寛解又は非寛解の２段階で出力する場合は、内視鏡的寛解の割合を示す百分率と、内視鏡的非寛解の割合を示す百分率を出力する。又、内視鏡的寛解と内視鏡非寛解の割合の高い一方の内視鏡的状態を出力してもよく、内視鏡的寛解と内視鏡的非寛解のうち、割合が一定値以上の内視鏡的状態を出力してもよい。又、第１複数フレーム部位評価結果をＭＥＳのような多段階で出力する場合は、Mayo０の割合を示す百分率、Mayo１の割合を示す百分率、Mayo２の割合を示す百分率、及び、Mayo３の割合を示す百分率を出力する。又、Mayo0～Mayo３のうち割合の最も高いＭＥＳを出力してもよいし、Mayo0～Mayo3のうち割合が一定値以上のＭＥＳを出力してもよい。

　複数領域評価結果は、少なくとも２つ以上の領域に係る第１領域評価結果又は第２領域評価結果を用いて、任意の体内の区間、複数の内視鏡画像が取得される任意の時間的な期間、１フレームの内視鏡画像内の任意の数の領域、及び、１フレームの内視鏡画像内の任意の領域を合わせた中領域において出力されることが好ましい。上記構成により、１フレームよりも細かい単位スコアを用いて、評価結果を時空間的に総合した総合評価結果を得ることができる。

　図２１に示すように、複数領域評価結果算出部７３は、複数領域フレーム評価結果算出部１８０を有する。複数領域フレーム評価結果算出部１８０は、第１領域評価結果又は第２領域評価結果を単位スコアとし、単位スコアを基に、１フレームの内視鏡画像毎の総合スコアとして、第１領域評価結果を用いて算出される第１複数領域フレーム評価結果と、第２領域評価結果を用いて算出される第２複数領域フレーム評価結果の少なくとも一方を出力する。

　第１複数領域フレーム評価結果及び／又は第２複数領域フレーム評価結果は、１フレームの内視鏡画像毎に出力されることが好ましい。１フレームの内視鏡画像における第１領域評価結果に占める寛解と非寛解の領域数の多数決、又は第２領域評価結果に占める寛解と非寛解の領域数の多数決でもよい。複数領域フレーム評価結果は、１フレームの内視鏡画像毎に得た第１領域評価結果に占める寛解と非寛解の領域数の割合を基に、「寛解」がＡ％、「非寛解」がＢ％、１フレームの内視鏡画像毎に得た第２領域評価結果に占める寛解と非寛解の領域数の割合を基に、「寛解」がＣ％、「非寛解」がＤ％と出力されてもよい。又、複数領域フレーム評価結果は、１フレームの内視鏡画像毎に得た第１領域評価結果に占める各ＧＨＳの割合を基に、「Geboes０」がＥ％、「Geboes１」がＦ％……のように、多段階評価において百分率を求めて出力してもよい。複数領域フレーム評価結果は、平均、最大値及び最小値等の統計量でもよい。

　第１複数領域フレーム評価結果及び又は第２複数領域フレーム評価結果は、表示制御部１３０に送信され、表示用画像１３１に表示される。この場合、例えば、図３５に示すように、表示用画像１３１に現在観察中の内視鏡画像１５０と、複数領域フレーム評価結果表示欄１８１が表示される。現在観察中の内視鏡画像１５０には、領域の分割方法を示すグリッド線１８２を表示してもよい。図３５に示す具体例では、複数領域フレーム評価結果表示欄１８１に、現在観察中の内視鏡画像１５０について、「寛解」の第１複数領域評価結果がＡ％、「非寛解」の第１複数領域評価結果がＢ％、「寛解」の第２複数領域評価結果がＣ％、「非寛解」の第２複数領域評価結果がＤ％と示され、その近傍に複数領域評価結果と対応する棒グラフが表示される。上記構成により、１フレームの内視鏡画像を分割した領域に対する評価結果を総合した総合評価結果を視認することができる。

　画像判定部７０は、さらに、分割された領域を解剖学的部位で総合した評価結果を得るため、第１領域評価結果又は第２領域評価結果を単位スコアとし、単位スコアを基に、解剖学的部位毎の総合スコアとして、複数領域部位評価結果を出力することが好ましい。この場合、図２１に示す複数部位領域評価結果算出部１９０は、第１領域評価結果を用いて算出される第１複数領域部位評価結果と、第２領域評価結果を用いて算出される第２複数領域部位評価結果の少なくとも一方を出力することが好ましい。

　第１複数領域部位評価結果及び／又は第２複数領域部位評価結果は、消化管の解剖学的部位毎に出力されることが好ましい。解剖学的部位における第１領域評価結果に占める寛解と非寛解の領域数の多数決、又は解剖学的部位における第２領域評価結果に占める寛解と非寛解の領域数の多数決でもよい。複数領域評価結果は、解剖学的部位毎に得た第１領域評価結果に占める寛解と非寛解の領域数の割合を基に、「寛解」がＡ％、「非寛解」がＢ％、解剖学的部位毎に得た第２領域評価結果に占める寛解と非寛解の領域数の割合を基に、「寛解」がＣ％、「非寛解」がＤ％と出力されてもよい。又、複数領域部位評価結果は、解剖学的部位毎に得た第１領域評価結果に占める各ＧＨＳの割合を基に、「Geboes０」がＥ％、「Geboes１」がＦ％……のように、多段階評価において百分率を求めて出力してもよい。複数領域部位評価結果は、平均、最大値及び最小値等の統計量でもよい。又、複数領域部位評価結果は、任意のタイミングで出力されることが好ましい。例えば、ユーザーが下行結腸の撮影を開始したタイミングと、撮影を終了したタイミングを入力し、終了タイミングで、撮影の開始から終了までに得た評価結果を用いて複数領域部位評価結果を出力してもよい。

　第１複数領域部位評価結果及び又は第２複数領域部位評価結果は、表示制御部１３０に送信され、表示用画像１３１に表示される。具体的には、図３６～３９に示すように、表示用画像１３１に現在観察中の内視鏡画像１５０と、複数領域部位評価結果表示欄１９１が表示される。複数領域部位評価結果表示欄１９１には、「寛解」の第１複数領域部位評価結果がＡ％、「非寛解」の第１複数領域部位評価結果がＢ％、「寛解」の第２複数領域部位評価結果がＣ％、「非寛解」の第２複数領域部位評価結果Ｄ％と示され、その近傍に複数領域部位評価結果と対応する棒グラフが表示される。上記構成により、分割した領域に対する評価結果を、解剖学的部位でさらに総合した総合評価結果を視認することができる。

　図２２～２５の複数フレーム部位評価結果を表示する具体例と同様に、図３６では、現在観察中の部位が表示され、その部位に対する複数領域部位評価結果が複数領域部位評価結果表示欄１９１に表示されている。図３７では、シェーマ図１５２を示し、現在観察中の部位が枠１５３で強調表示され、その部位に対する複数領域部位評価結果が複数領域部位評価結果表示欄１９１に表示されている。図３８では、大腸の三次元構造図１５４が表示され、第１複数領域部位評価結果又は第２部複数領域部位評価結果が「寛解」の部位１５６と「非寛解」の部位１５７をそれぞれ反映させて表示させている。又、複数領域部位表示欄１９１には、任意の部位又はこれまで撮影した全部位に対する複数領域部位評価結果を表示してもよい。図３９では、大腸の位置を棒で表した簡易模式図１５８を示し、第１複数領域部位評価結果又は第２複数領域部位評価結果の「寛解」の部位１５６と「非寛解」の部位１５７をそれぞれ反映させて表示している。複数領域部位評価結果表示欄１９１には、任意の部位又はこれまで撮影した全部位に対する複数領域部位評価結果を表示してもよい。

　又、複数領域フレーム評価結果及び複数領域部位評価結果を出力し、表示用画像に表示してもよい。この場合の具体例について図４０～図４３を用いて説明する。表示用画像１３１には、現在観察中の内視鏡画像１５０、複数領域フレーム評価結果表示欄１８１と、複数領域部位評価結果表示欄１９１が表示される。図４０～図４３に示す具体例では、複数領域フレーム評価結果表示欄１８１に、現在観察中のフレームにおいて、「寛解」の第１複数領域フレーム評価結果がＡ％、「非寛解」の第１複数領域フレーム評価結果がＢ％、「寛解」の第２複数領域フレーム評価結果がＣ％、「非寛解」の第２複数領域フレーム評価結果Ｄ％と示され、その近傍に複数領域フレーム評価結果と対応する棒グラフが表示される。さらに、複数領域部位評価結果表示欄１９１に、現在観察中の部位（下行結腸）における、「寛解」の第１複数領域部位評価結果がＥ％、「非寛解」の第１複数領域部位評価結果がＦ％、「寛解」の第２複数領域部位評価結果がＧ％、「非寛解」の第２複数領域部位評価結果がＨ％と示され、その近傍に複数領域部位評価結果と対応する棒グラフが表示される。

　図４０では、現在観察中の部位（下行結腸）が表示され、その部位に対する複数領域部位評価結果が複数領域部位評価結果表示欄１９１に表示されている。図４１では、シェーマ図１５２を示し、現在観察中の部位が枠１５３で強調表示され、その部位に対する複数領域部位評価結果が複数領域部位評価結果表示欄１９１に表示されている。図４２では、大腸の三次元構造図１５４が表示され、第１複数領域部位評価結果又は第２複数領域部位評価結果が「寛解」の部位１５６と「非寛解」の部位１５７をそれぞれ反映させて表示させている。又、複数領域部位評価結果表示欄１９１には、任意の部位又はこれまで撮影した全部位に対する複数領域部位評価結果を表示してもよい。図４３では、大腸の位置を棒で表した簡易模式図１５８を示し、第１複数領域部位評価結果又は第２複数領域部位評価結果の「寛解」の部位１５６と「非寛解」の部位１５７をそれぞれ反映させて表示している。複数領域部位評価結果表示欄１９１には、任意の部位又はこれまで撮影した全部位に対する複数領域部位評価結果を表示してもよい。上記構成により、分割した領域に対する評価結果を１フレームごとに総合した結果と、解剖学的部位ごとに総合した結果の両方を視認することができる。

　報知制御部２００（図２参照）は、画像判定部７０が出力した第１評価結果及び第２評価結果に合わせて、報知を行うことが好ましい。報知は、後述する特定の条件を満たす場合に、表示用画像１３１上に警告表示をすることで行うことが好ましい。警告表示は、図４４及び図４５に示すように、現在観察中の内視鏡画像１５０に警告表示枠２０１を設けることで行うことが好ましい。警告表示の表示形態はこれに限られず、警告マークや警告メッセージでもよい。又、報知は警告表示に限られず、音や光によって行ってもよい。

　報知を行う特定の条件について説明する。特定の条件の具体例を以下の（１）（Ａ）から（４）（Ｌ）に示すが、これに限られない。

　（１）１フレームの内視鏡画像ごとに第１評価結果のみを出力する場合であって、（Ａ）第１評価基準が２段階の場合に、第１評価結果が非寛解である、又は、（Ｂ）第１評価基準が多段階でＧＨＳの場合に、第１評価結果がGeboes２B以上（「Geboes２B」「Geboes３」「Geboes４」「Geboes５」）である場合。

　（２）１フレームごとに第１評価結果及び第２評価結果を出力する場合であって、（Ｃ）第１評価基準が２段階の場合に、第１評価結果が非寛解である、（Ｄ）第１評価基準が多段階でＧＨＳの場合に、第１評価結果がGeboes２B以上である、（Ｅ）第１評価基準及び第２評価基準が２段階の場合に、第２評価結果が寛解かつ第１評価結果が非寛解である、又は、（Ｆ）第１評価基準が多段階評価でＧＨＳ、かつ、第２評価基準が多段階でＭＥＳの場合に、第２評価結果がMayo１以下（「Mayo０」若しくは「Mayo１」）、かつ、第１評価結果がGeboes２B以上である。なお、（Ｅ）（Ｆ）について、第１評価基準と第２評価基準の一方が多段階であって、もう一方が２段階である場合にも、第１評価結果が「非寛解」に相当し、第２評価結果が「寛解」に相当するときは「特定の条件」を満たすとしてもよい。

　（３）内視鏡画像を複数の領域に分割し、領域に対する第１評価結果及び第２評価結果を出力する場合であって、（Ｇ）第１評価基準が２段階の場合に、１フレームの内視鏡画像内に第１評価結果が非寛解の領域が存在する、（Ｈ）第１評価基準が多段階でＧＨＳの場合に、１フレームの内視鏡画像内に第１評価結果がGeboes２B以上の領域が存在する、（Ｉ）第１評価基準及び第２評価基準が２段階の場合に、１フレームの内視鏡画像内に第２評価結果が寛解かつ第１評価結果が非寛解の領域が存在する、又は、（Ｊ）第１評価基準が多段階評価でＧＨＳ、かつ、１フレームの内視鏡画像内に第２評価基準が多段階でＭＥＳの場合に、第２評価結果がMayo１以下、かつ、第１評価結果がGeboes２B以上の領域が存在する。なお、（Ｉ）（Ｊ）について、第１評価基準と第２評価基準の一方が多段階であって、もう一方が２段階である場合にも、第１評価結果が「非寛解」に相当し、第２評価結果が「寛解」に相当するときは「特定の条件」を満たすとしてもよい。

　（４）第１複数領域フレーム評価結果及び第２複数領域フレーム評価結果を出力する場合であって、（Ｋ）第１複数領域フレーム評価結果が第１領域総合報知条件を満たす場合。ここで、第１領域総合報知条件とは、第１複数領域フレーム評価結果が、（ア）非寛解若しくはGeboes２Ｂ以上、（イ）非寛解若しくはGeboes２Ｂ以上の領域を百分率で表す場合に、その百分率が第１領域総合報知用閾値以上、又は、（ウ）多数決で非寛解若しくはGeboes２Ｂ以上が多いことを示す。第１領域総合報知条件はこれに限られず、任意に設定してよい。又、（４）第１複数領域フレーム評価結果及び第２複数領域フレーム評価結果を出力する場合であって、（Ｌ）第１複数領域フレーム評価結果が第１領域総合報知条件を満たし、かつ、第２複数領域フレーム評価結果が第２領域総合報知条件を満たす場合を特定の条件とする。ここで、第２領域総合報知条件とは、第２複数領域フレーム評価結果が、（ア）寛解若しくはMayo１以下、（イ）寛解若しくはMayo１以下の領域を百分率で表す場合に、その百分率が第２領域総合報知用閾値以上、又は、（ウ）多数決で寛解若しくはMayo１以下が多いことを示す。第２領域総合報知条件はこれに限られず、任意に設定してよい。

　以上に特定の条件の具体例を示したが、総括すると、第１評価結果（若しくは第１複数領域フレーム評価結果）が非寛解の場合、又は、第２評価結果（若しくは第２複数領域フレーム評価結果）が寛解であり、かつ、第１評価結果（若しくは第１複数領域フレーム評価結果）が非寛解の場合を「特定の条件」とする。

　警告表示について、特定の条件のうち（１）（２）（４）を満たす場合は、最終的に１フレーム単位で「特定の条件」を満たすかどうかを決定するため、図４４のように、現在観察中の内視鏡画像１５０の全体を警告表示枠２０１で囲むことで報知を行う。一方、特定の条件のうち（３）を満たす場合は、最終的に１つの領域単位で「特定の条件」を満たすかどうかを決定するため、図４５のように、１つの領域（警告表示枠２０１で示す箇所）を警告表示枠２０１で囲むことで報知を行う。又、現在観察中の位置を知らせるため、表示用画像１３１にはシェーマ図１５２を表示してもよい。上記構成により、病理的寛解を治療目標とする場合において、内視鏡検査中、「内視鏡的寛解であるが、病理的非寛解である」状態の見逃しを防ぐことができる。

　第１実施形態における一連の流れについて図４６を用いて説明する。まず、医療画像取得部６０が、内視鏡画像を取得する（Ｓ１０１）。次に、画像判定部７０が、第１評価結果と第２評価結果の少なくとも一方（図４６では「評価結果」とする）を出力する（Ｓ１０２）。次に、総合評価結果算出部７１が、第１複数フレーム部位評価結果及び／若しくは第２複数フレーム部位評価結果、第１複数領域フレーム評価結果及び／若しくは第２複数領域フレーム評価結果、並びに／又は、第１複数領域部位評価結果及び／若しくは第２複数領域部位評価結果（図４６では「総合評価結果」とする）を出力する（Ｓ１０３）。次に、表示制御部１３０が表示用画像１３１を生成し（Ｓ１０４）、ここで、特定の条件を満たす場合は（Ｓ１０５）、報知を行うよう報知制御部が表示制御部１３０に指示を送信し（Ｓ１０６）、表示用画像１３１をディスプレイ１５に表示する（Ｓ１０７）。

　第１実施形態では、１種類の内視鏡画像から、第１評価結果と第２評価結果の少なくとも一方を出力することができる。この場合、ユーザーの目的に応じて、出力する評価結果の種類を選択することができる。又、第１実施形態では、複数種類の内視鏡画像から、第１評価結果と第２評価結果の両方を出力することができる。この場合、複数種類の内視鏡画像を、複数種類の評価基準で評価するため、検査で得られた内視鏡画像を多面的に評価することができる。このため、一方の評価基準における「隠れた非寛解」の見逃しを防ぐことができる。

　さらに、第１実施形態では、単位スコアとしての第１評価結果と第２評価結果と、単位スコアを総合した総合スコアである総合評価結果を出力することができる。まとめると、１フレーム毎に評価結果を得る場合、単位スコアとして（１）フレーム評価結果を出力し、総合スコアとして（２）任意の区間又は期間における総合評価結果である複数フレーム評価結果を出力できる。複数フレーム評価結果としては、具体的な区間を設定した（３）解剖学的部位毎の総合評価結果である複数フレーム評価結果を出力できる。一方、内視鏡画像を分割した１つの領域毎に評価結果を得る場合、単位スコアとして（４）領域評価結果を出力し、総合スコアとして（５）任意の区間、期間又は中領域における総合評価結果である複数領域評価結果を出力できる。複数領域評価結果としては、具体的に、（６）１フレーム毎の総合評価結果である複数領域フレーム評価結果、及び（７）解剖学的部位毎の総合評価結果である複数領域フレーム部位評価結果を出力することができる。総合評価結果を出力することで、体内のある程度広がりをもった範囲の評価結果を得ることができる。病変部位がスポット的ではなく面状に広がる疾患である潰瘍性大腸炎では、広い範囲の評価結果を示すことで、疾患の程度を３次元的に認識でき、経過観察を行いやすくなる。

　［第２実施形態］
　第２実施形態は、第１実施形態における第１照明光モード及び第２照明光モードをモノ発光モードとし、モノ発光モードに加えて、照明光を自動的に切り替えられるマルチ発光モードを備える実施形態である。

　モノ発光モード及びマルチ発光モードは、モード切替スイッチ１２ｆを操作することで、中央制御部５０を介してモードが切り替えられる。モノ発光モードは、同一スペクトルの照明光（第１照明光又は第２照明光）を連続的に照射するモードである。マルチ発光モードは、異なるスペクトルの複数の照明光（第１照明光及び第２照明光）を、特定のパターンに従って切り替えながら照射し、被写体を照明するモードである。なお、モノ発光モードでは、第１照明光と第２照明光を切り替えられることが好ましい。

　マルチ発光モードの場合、特定の発光パターンに従って、１フレームＦ毎に、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒの光量を変化させる制御が行われる。発光パターンの例を以下に挙げる。例えば、第１発光パターンでは、図４７に示すように、第１照明光Ｌ1により被写体を照明する第１照明期間Ｐｅ１に、２フレーム分の第１照明光Ｌ1を発光し、第２照明光Ｌ２により被写体を照明する第２照明期間Ｐｅ２に、１フレーム分の第２照明光を順次発光するパターンを繰り返す。

　第２発光パターンでは、図４８に示すように、第１照明期間Ｐｅ１に１フレームＦ分第１照明光Ｌ１を発光し、第２照明期間Ｐｅ２に第２照明光Ｌ２を４フレーム分発光するパターンを繰り返す。このとき、第２照明期間Ｐｅ２において、それぞれ発光スペクトルが異なる第２照明第１スペクトル光Ｌ２ＳＰ、第２照明第２スペクトル光Ｌ２ＳＱ、第２照明第３スペクトル光Ｌ２ＳＲ、及び、第２照明第４スペクトル光Ｌ２ＳＳを１フレームＦ毎に発光するよう自動的に切り替えられる。発光パターンはこれに限られず、任意に設定できる。

　マルチ発光モードでは、照明光を自動的に切り替えることで、消化管内のほぼ同じ位置において異なる照明光で照明した被写体の画像を取得することができる。マルチ発光モードでは、設定された発光パターンに従い、光源用プロセッサ２１が各光源の光量調節を行って撮影を行う。なお、第１照明光と第２照明光の具体例については第１実施形態と共通するため記載を省略する。第２照明光は、少なくとも１種類以上であることが好ましい。

　マルチ発光モードでは、医師等のユーザーが見慣れている第１照明光画像を、現在観察中の内視鏡画像としてディスプレイ１５に表示することが好ましい。又、ユーザーが見慣れていないが血管等の特定の構造物の解析を行うことに適する第２照明光画像を、画像解析や報知条件の決定に用い、通常は表示せず必要な場合に表示することが好ましい。上記構成により、特定の構造物に対する画像解析を行いつつ、医師が観察する画面には必要最小限の画像や情報を表示し、観察しやすくすることができる。

　表示用画像２３１には、図４９に示すように、メイン区画２１０とサブ区画２１１を設け、メイン区画２１０に現在観察中の第１照明光画像２１２を、サブ区画に第２照明光画像２１３、シェーマ図２５２、及び、第１評価結果や第２評価結果を示す文字情報２１５等を表示することが好ましい。

　第２実施形態において、医療画像取得部６０は、第１照明光画像及び第２照明光画像を取得する。医療画像取得部６０は第１照明光画像及び第２照明光画像を画像判定部７０に入力する。ここで、第２照明光画像が第１判定器８０又は第２判定器９０に入力されて第１評価基準に基づく第１評価結果を出力され、第１照明光画像が第３判定器１００に入力されて第２評価基準に基づく第２評価結果を出力されることが好ましい。第１判定器８０、第２判定器９０及び第３判定器１００については第１実施形態と共通するため記載を省略する。

　医療画像取得部６０は、第１照明光画像及び第２照明光画像を画像分割部１６０に入力し、それぞれを複数の領域に分割することが好ましい。第１照明光画像を複数の領域に分割したそれぞれの領域のことを第１照明分割、第２照明光画像を複数の領域に分割したそれぞれの領域のことを第２照明分割と呼ぶ。画像判定部７０に入力された第２照明分割としての第２照明光画像は、画像処理用ユニット又は学習済みモデルとしての第１判定器８０又は第２判定器９０に入力されて第１評価基準に基づく第１評価結果を出力されることが好ましい。又、画像判定部７０に入力された第１照明分割としての第１照明光画像は、第３判定器１００に入力されて第２評価基準に基づく第２評価結果を出力されることが好ましい。

　又、第１照明分割としての第１照明光画像、及び、第２照明分割としての第２照明光画像を領域評価部１７０に入力し、それぞれの第１照明分割及び第２照明分割に領域評価指数を付した上で画像判定部７０に入力することが好ましい。

　マルチ発光モードでは、第２照明光画像を画像判定部７０に入力して第１評価結果を出力し、第１照明光画像を画像判定部７０に入力して第２評価結果を出力することで、第１評価結果と第２評価結果が出力され、第１評価結果及び第２評価結果が表示される表示用画像１３１を生成することが好ましい。

　１フレームの第２照明光画像、又は、第２照明分割としての第２照明光画像を用いて出力した第１評価結果は、総合評価結果算出部７１に送信され、第１複数フレーム評価結果、第１複数フレーム部位評価結果、第１複数領域評価結果、第１複数領域フレーム評価結果、及び／又は、第１複数領域部位評価結果が出力されることが好ましい。又、１フレームの第１照明光画像、又は、第１照明分割としての第１照明光画像を用いて出力した第２評価結果は、総合評価結果算出部７１に送信され、第２複数フレーム評価結果、第２複数フレーム部位評価結果、第２複数領域評価結果、第２複数領域フレーム評価結果、及び／又は、第２複数領域部位評価結果が出力されることが好ましい。複数フレーム評価結果、複数フレーム部位評価結果、複数領域評価結果、複数領域フレーム評価結果、及び、複数領域部位評価結果の出力については第１実施形態と共通するため、記載を省略する。

　この場合、複数領域フレーム評価結果及び複数領域部位評価結果を、表示用画像２３１に表示することが好ましい。その具体例について図５０～図５３を用いて説明する。表示用画像２３１のメイン区画２１０には、現在観察中の第１照明光画像２１２が表示される。サブ区画２１１には、現在観察中の第２照明光画像２１３、複数領域フレーム評価結果表示欄２８１、複数領域部位評価結果表示欄２９１が表示される。

　図５０～図５３に示す具体例では、複数領域フレーム評価結果表示欄２８１に、現在観察中の第１照明光画像２１２に係る「寛解」の第２複数領域フレーム評価結果がＷ％、「非寛解」の第２複数領域フレーム評価結果がＸ％と表示され、現在観察中の第２照明光画像２１３に係る「寛解」の第１複数領域フレーム評価結果がＹ％、「非寛解」の第１複数領域フレーム評価結果Ｚ％と示され、その近傍に複数領域フレーム評価結果と対応する棒グラフが表示される。さらに、複数領域部位評価結果表示欄２９１に、現在観察中の部位（下行結腸）における、「寛解」の第２複数領域部位評価結果がＰ％、「非寛解」の第２複数領域部位評価結果がＱ％、「寛解」の第１複数領域部位評価結果がＲ％、「非寛解」の第１複数領域部位評価結果Ｓ％と示され、その近傍に複数領域部位評価結果表示欄と対応する棒グラフが表示される。

　図５０では、現在観察中の部位（下行結腸）が表示され、その部位に対する複数領域部位評価結果が複数領域部位評価結果表示欄２９１に表示されている。図５１では、シェーマ図２５２を示し、現在観察中の部位が枠２５３で強調表示され、その部位に対する複数領域部位評価結果が複数領域部位評価結果表示欄２９１に表示されている。図５２では、大腸の三次元構造図２５４が表示され、第１複数領域部位評価結果又は第２複数領域部位評価結果のが「寛解」の部位２５６と「非寛解」の部位２５７をそれぞれ反映させて表示させている。又、複数領域部位評価結果表示欄２９１には、任意の部位又はこれまで撮影した全部位に対する複数領域部位評価結果を表示してもよい。図５３では、大腸の位置を棒状に表した簡易模式図２５８を示し、第１複数領域部位評価結果又は第２複数領域部位評価結果の「寛解」の部位２５６と「非寛解」の部位２５７をそれぞれ反映させて表示させている。又、複数領域部位評価結果表示欄２９１には、任意の部位又はこれまで撮影した全部位に対する複数領域部位評価結果を表示してもよい。

　又、表示用画像２３１には、図５４～図５７に示すように、複数領域フレーム評価結果表示欄２８１及び複数領域部位評価結果表示欄２９１を表示しなくてもよい。図５４～図５７には、現在観察中の第１照明光画像２１２及び現在観察中の第２照明光画像２１３が表示され、図５４では現在観察中の部位が、図５５では現在観察中の部位を枠２５３で強調表示したシェーマ図２５２が、図５６では第１複数領域部位評価結果又は第２複数領域部位評価結果のが「寛解」の部位２５６と「非寛解」の部位２５７をそれぞれ反映させた大腸の三次元構造図２５４が、図５７では第１複数領域部位評価結果又は第２複数領域部位評価結果の「寛解」の部位２５６と「非寛解」の部位２５７をそれぞれ反映させた、大腸の位置を棒状に表した簡易模式図２５８が、それぞれ表示されている。上記構成により、第１評価結果、第２評価結果、及び、総合評価結果の視認性を向上することができる。

　又、表示用画像２３１には、図５８～図６１に示すように、複数領域フレーム評価結果表示欄２８１、複数領域部位評価結果表示欄２９１、及び、現在観察中の第２照明光画像２１３を表示しなくてもよい。図５８は図５４において、図５９は図５５において、図６０は図５６において、図６１は図５７において、それぞれ現在観察中の第２照明光画像２１４を非表示にした表示形態である。

　第１実施形態と同様に、報知制御部２００は、画像判定部７０が出力した第１評価結果及び第２評価結果に合わせて、報知を行うことが好ましい。報知を行う特定の条件は第１実施形態と共通するため、記載を省略する。

　第２実施形態では、第１実施形態に記載した特定の条件のうち（１）（２）（４）を満たす場合は、最終的に１フレーム単位の第１照明光画像及び第２照明光画像で「特定の条件」を満たすかどうかを決定する。このため、特定の条件のうち（１）（２）（４）を満たす場合、図６２のように、第１照明光画像２１２及び第２照明光画像２１３の全体を警告表示枠３０１で囲んで報知を行う。

　又、第２実施形態では、第１実施形態に記載した特定の条件のうち（３）を満たす場合、最終的に１つの第１照明領域又は第２照明領域単位で「特定の条件」を満たすかどうかを決定する。このため、特定の条件のうち（３）を満たす場合、図６３のように、対応する第１照明光画像２１２の第１照明領域と、第２照明光画像２１３の第２照明領域とを、警告表示枠３０１で囲んで報知を行う。対応する第１照明領域と第２照明領域とは、時系列的に連続する、又は、近いフレームの第１照明光画像に係る第１照明領域と、第２照明光画像に係る第２照明領域の、位置的に対応する部分のことを指す。上記構成により、病理的寛解を治療目標とする場合において、内視鏡検査中のマルチ発光モード使用時に、「内視鏡的寛解であるが、病理的非寛解である」状態の見逃しを防ぐことができる。

　第２照明光画像を用いて出力した第１評価結果、及び、第１照明光画像を用いて出力した第２評価結果は、それぞれ対応付けてメモリ（図示しない）に保存されることが好ましい。又、第１評価結果を付した第２照明光画像、第２評価結果を付した第１照明光画像は、その第１照明光画像又は第２照明光画像を撮像した解剖学的部位の部位情報をさらに対応付けして保存されることが好ましい。

　第２実施形態では、医師が普段見慣れている白色光画像から内視鏡画像に基づく評価結果を出力し、さらに、白色光画像では把握できない情報として、血管等の特定の構造を解析できる特殊光画像から、病理画像に基づく評価結果を出力することができる。この場合、医師は普段見慣れている白色光画像を観察しながらも、白色光画像では見逃してしまう「隠れた非寛解」を医療画像処理装置のアシストにより認識することができる。

　本実施形態では、プロセッサ装置１４が内視鏡システム１０に接続されている例で説明をしたが、本発明はこれに限定されず、超音波画像撮影装置や放射線撮影装置等、他の医療用装置を用いてもよい。又、この内視鏡１２は、硬性鏡又は軟性鏡が用いられてよい。又、内視鏡システム１０のうち中央制御部５０、医療画像取得部６０、画像判定部７０、総合評価結果算出部７１、表示制御部１３０、画像分割部１６０、領域評価部１７０及び報知制御部２００の一部又は全部は、例えばプロセッサ装置１４と通信して内視鏡システム１０と連携する画像処理装置に設けることができる。例えば、内視鏡システム１０から直接的に、又は、ＰＡＣＳから間接的に、内視鏡１２で撮像した画像を取得する診断支援装置に設けることができる。又、内視鏡システム１０を含む、第１検査装置、第２検査装置、…、第Ｎ検査装置等の各種検査装置と、ネットワークを介して接続する医療業務支援装置に、内視鏡システム１０のうち、中央制御部５０、医療画像取得部６０、画像判定部７０、総合評価結果算出部７１、表示制御部１３０、画像分割部１６０、領域評価部１７０及び報知制御部２００の一部又は全部を設けることができる。

　本実施形態において、中央制御部５０、医療画像取得部６０、画像判定部７０、総合評価結果算出部７１、表示制御部１３０、画像分割部１６０、領域評価部１７０及び報知制御部２００といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ(Field Programmable Gate Array) 等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよく、同種又は異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。又、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた形態の電気回路（circuitry）である。又、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

　１０　内視鏡システム
　１２　内視鏡
　１２ａ　挿入部
　１２ｂ　操作部
　１２ｃ　湾曲部
　１２ｄ　先端部
　１２ｅ　アングルノブ
　１２ｆ　観察モード切替スイッチ
　１２ｈ　静止画像取得指示スイッチ
　１２ｉ　ズーム操作部
　１２ｊ　鉗子口
　１３　光源装置
　１４　プロセッサ装置
　１５　ディスプレイ
　１６　ユーザーインターフェース
　２０　光源部
　２０ａ　Ｖ－ＬＥＤ
　２０ｂ　Ｂ－ＬＥＤ
　２０ｃ　Ｇ－ＬＥＤ
　２０ｄ　Ｒ－ＬＥＤ
　２１　光源用プロセッサ
　２２　光路結合部
　２３　ライトガイド
　３０ａ　照明光学系
　３０ｂ　撮像光学系
　３１　照明レンズ
　４１　対物レンズ
　４２　ズームレンズ
　４３　撮像センサ
　４４　撮像用プロセッサ
　５０　中央制御部
　６０　医療画像取得部
　６０ａ、１１１ａ、１１８ｂ、２１３　第２照明光画像
　６０ｂ、１１８ａ、２１２　第１照明光画像
　６０ｃ　内視鏡画像
　７０　画像判定部
　７１　総合評価結果算出部
　７２　複数フレーム評価結果算出部
　７３　複数領域評価結果算出部
　８０　第１判定器
　８０ａ、９０ａ　第１評価結果
　８１　粘膜内の出血
　８２　粘膜外の出血
　９０　第２判定器
　１００　第３判定器
　１０１　第２評価結果
　１１０　周波数領域画像生成部
　１１０ａ　周波数領域画像
　１１２　マスク処理部
　１１２ａ　マスク済み第２照明光画像
　１１３　周波数成分空間分布算出部
　１１４　周波数領域抽出部
　１１４ａ　第１周波数領域画像
　１１４ｂ　第１周波数領域
　１１４ｃ　第２周波数領域画像
　１１４ｄ　第２周波数領域
　１１４ｅ　第３周波数領域画像
　１１４ｆ　第３周波数領域
　１１５　血管密度算出部
　１１５ａ　密度分布画像
　１１５ｂ、１１５ｃ、１１５ｄ、１１７ａ、１１７ｂ　密度分布画像上の領域
　１１６　輝度算出部
　１１６ａ　第２周波輝度分布画像
　１１６ｂ、１１６ｃ、１１７ｃ、１１７ｄ　第２周波輝度分布画像上の領域
　１１６ｄ　第３周波輝度分布画像
　１１６ｅ、１１６ｆ、１１７ｅ、１１７ｆ　第３周波輝度分布画像上の領域
　１１７　第１評価結果出力部
　１１８　対応付け部
　１１８ｃ　第１学習用データ
　１２０　構造強調画像生成部
　１２０ａ　構造強調画像
　１３０　表示制御部
　１３１、２３１　表示用画像
　１３２、１５０　観察中の内視鏡画像
　１３３　評価結果表示欄
　１４０　複数フレーム部位評価結果算出部
　１５１　複数フレーム部位評価結果表示欄
　１５２、２５２　シェーマ図
　１５３、２５３　枠
　１５４、２５４　三次元構造図
　１５６、１５７、２５６、２５７　総合評価結果
　１５８、２５８　簡易模式図
　１６０　画像分割部
　１６１　液たまり部
　１６２　泡
　１６３　画像周辺部
　１６４　反射
　１６５ａ　キャップの縁部
　１６５ｂ　キャップ全域
　１７０　領域評価部
　１８０　複数領域フレーム評価結果算出部
　１８１、２８１　複数領域フレーム評価結果表示欄
　１８２　グリッド線
　１９０　複数領域部位評価結果算出部
　１９１、２９１　複数領域部位評価結果表示欄
　２００　報知制御部
　２０１、３０１　警告表示枠
　２１０　メイン区画
　２１１　サブ区画
　２１５　文字情報

Claims

　プロセッサを備える医療画像処理装置であって、
　前記プロセッサは、
　１種類又は複数種類の照明光を被写体に照明して撮影された内視鏡画像を取得し、
　前記内視鏡画像を用いて、疾患の程度の評価基準である第１評価基準に基づく第１評価結果と、前記第１評価基準と互いに異なる第２評価基準に基づく第２評価結果との少なくとも一方を出力するよう構成される医療画像処理装置。
　前記第１評価基準は、内視鏡と異なる撮像装置で撮像した画像に基づく疾患の程度の評価基準である請求項１に記載の医療画像処理装置。
　前記内視鏡と異なる撮像装置で撮像された画像は、前記被写体から採取された生検組織の病理画像である請求項２に記載の医療画像処理装置。
　前記プロセッサは、
　前記内視鏡画像を用いて、第１判定器により前記第１評価結果を出力するよう構成され、
　前記第１判定器は、予め記憶された、前記内視鏡画像と前記病理画像に基づく疾患の程度との対応関係である表層形態分類を用いて前記第１評価結果を出力する請求項３に記載の医療画像処理装置。
　前記プロセッサは、
　前記内視鏡画像から第１周波数領域を抽出した第１周波数領域画像と、前記内視鏡画像から前記第１周波数領域と互いに異なる第２周波数領域を抽出した第２周波数領域画像と、前記第１周波数領域及び前記第２周波数領域と互いに異なる第３周波数領域を抽出した第３周波数領域画像とを生成し、
　前記第１周波数領域画像、前記第２周波数領域画像及び前記第３周波数領域画像を用いて、前記第１判定器により前記第１評価基準に基づく前記第１評価結果を出力するよう構成される請求項４に記載の医療画像処理装置。
　前記プロセッサは、
　前記内視鏡画像を用いて、前記第１判定器と互いに異なる第２判定器により前記第１評価結果を出力するよう構成され、
　前記第２判定器は、学習用内視鏡画像と、前記病理画像に基づく疾患の程度と、を用いて学習されている請求項４に記載の医療画像処理装置。
　前記第２評価基準は、前記内視鏡画像に基づく疾患の程度の評価基準である請求項１乃至６のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、
　前記内視鏡画像を用いて、前記第１判定器及び前記第２判定器と互いに異なる第３判定器により前記第２評価結果を出力するよう構成され、
　前記第３判定器は、前記学習用内視鏡画像と、前記内視鏡画像に基づく疾患の程度と、を用いて学習されている請求項６に記載の医療画像処理装置。
　前記第１評価基準は、前記疾患の程度を２段階で評価する前記内視鏡と異なる撮像装置で撮像された画像に基づく前記疾患の程度の評価基準であり、
　前記第２評価基準は、前記疾患の程度を２段階で評価する内視鏡画像に基づく前記疾患の程度の評価基準である請求項１乃至８のいずれか１項に記載の医療画像処理装置。
　前記第１評価基準は、前記疾患の程度を３段階以上の多段階で評価する前記内視鏡と異なる撮像装置で撮影された画像に基づく前記疾患の程度の評価基準であり、
　前記第２評価基準は、前記疾患の程度を３段階以上の多段階で評価する内視鏡画像に基づく前記疾患の程度の評価基準である請求項１乃至９のいずれか１項に記載の医療画像処理装置。
　前記疾患は潰瘍性大腸炎である請求項１乃至１０のいずれか１項に記載の医療画像処理装置。
　前記第１評価基準は、Geboes histopathology score、Riley score、Modified Riley score又はRobarts histopathology indexであり、
　前記第２評価基準は、Mayo endoscopic subscore又はUCEIS scoreである請求項１乃至１１のいずれか１項に記載の医療画像処理装置。
　前記第１評価基準は、表層血管の形態及び／又は出血の程度を含み、
　前記第２評価基準は、粘膜の赤みの程度、深層血管の血管透見度合い及び／又はびらん若しくは潰瘍の程度を含む請求項１乃至１０のいずれか１項に記載の医療画像処理装置。
　前記第１評価基準及び前記第２評価基準は、前記疾患を寛解とする範囲及び非寛解とする範囲を有し、
　前記第１評価基準で前記疾患を寛解とする範囲は、前記第２評価基準で前記疾患を寛解とする範囲よりも小さく、
　前記第１評価基準のうち、前記疾患を非寛解とする最低値である第１非寛解境界値は、前記第２評価基準のうち、前記疾患を非寛解とする最低値である第２非寛解境界値と異なり、
　前記第１非寛解境界値は、前記第２評価基準で前記疾患を寛解とする範囲に設定される請求項１乃至１３のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、
　１フレームの前記内視鏡画像ごとに前記第１評価結果と前記第２評価結果との少なくとも一方を出力し、
　少なくとも２フレーム以上の前記内視鏡画像に係る前記１評価結果を用いて算出される第１複数フレーム評価結果と、少なくとも２フレーム以上の前記内視鏡画像に係る前記第２評価結果を用いて算出される第２複数フレーム評価結果の少なくとも一方を出力して表示するよう構成される請求項１乃至１４のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、
　前記内視鏡画像を複数の領域に分割し、
　複数の前記領域に対し、前記第１評価結果と前記第２評価結果との少なくとも一方を出力するよう構成される請求項１乃至１５のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、
　複数の前記領域として分割された前記内視鏡画像に基づいて、複数の前記領域に対する領域評価指数を出力し、
　前記領域評価指数が付された複数の前記領域からなる前記内視鏡画像を用いて、複数の前記領域に対する前記第１評価結果と前記第２評価結果の少なくとも一方を出力するよう構成される請求項１６に記載の医療画像処理装置。
　前記プロセッサは、
　前記内視鏡画像の前記領域ごとに前記第１評価結果と前記第２評価結果との少なくとも一方を出力し、
　少なくとも２つ以上の前記領域に対する前記第１評価結果を用いて算出される第１複数領域評価結果と、少なくとも２つ以上の前記領域に対する前記第２評価結果を用いて算出される第２複数領域評価結果との少なくとも一方を出力するよう構成される請求項１６又は１７に記載の医療画像処理装置。
　前記プロセッサは、
　前記第１複数領域評価結果と前記第２複数領域評価結果との少なくとも一方を、１フレームの前記内視鏡画像ごとに出力するよう構成される請求項１８に記載の医療画像処理装置。
　前記プロセッサは、
　第１照明光を前記被写体に照明して撮影された第１照明光画像を前記内視鏡画像として取得し、
　前記第１照明光画像を用いて、構造強調画像を生成し、
　前記構造強調画像を用いて、前記第１評価基準に基づく前記第１評価結果を出力するよう構成される請求項１乃至１９のいずれか１項に記載の医療画像処理装置。
　前記構造強調画像は、前記第１照明光画像の表面構造、色差、又はエッジ量を強調した画像である請求項２０に記載の医療画像処理装置。
　前記プロセッサは、
　前記第１照明光画像を用いて、前記第２評価基準に基づく前記第２評価結果を出力するよう構成される請求項２０又は２１に記載の医療画像処理装置。
　前記第１照明光は、白色光である請求項２０乃至２２のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、
　第１照明光を前記被写体に照明して撮影された第１照明光画像と前記第１照明光とスペクトルが異なる第２照明光を前記被写体に照明して撮影された第２照明光画像を含む複数の前記内視鏡画像を取得し、
　前記第２照明光画像を用いて前記第１評価基準に基づく前記第１評価結果を出力するよう構成される請求項１乃至１９のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、
　前記被写体に前記第１照明光を照明する第１照明期間と、前記被写体に少なくとも１種類以上の前記第２照明光を照明する第２照明期間とを自動的に切り替えるよう構成される請求項２４に記載の医療画像処理装置。
　前記第２照明光は、前記第１照明光よりも波長帯域が狭い請求項２４又は請求項２５に記載の医療画像処理装置。
　前記第２照明光は、前記第１照明光よりも特定の青色または特定の紫色を多く含む請求項２４乃至２６のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、
　前記第２照明光画像を複数の第２照明領域に分割し、
　前記複数の第２照明領域に対し、前記第１評価結果を出力するよう構成される請求項２４乃至２７のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、
　前記第１評価結果及び前記第２評価結果を出力するよう構成される請求項１乃至２８のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、
　前記第１評価結果と、前記第２評価結果との組み合わせが特定の条件を満たす場合、報知を行うよう構成される請求項２９に記載の医療画像処理装置。
　前記報知を行うための前記特定の条件は、
　前記第１評価結果が非寛解の場合、又は、前記第２評価結果が寛解であり、かつ、前記第１評価結果が非寛解の場合である請求項３０に記載の医療画像処理装置。
　前記プロセッサは、
　前記内視鏡画像が表示されるディスプレイへの警告表示を行うことで前記報知を行う請求項３０又は３１に記載の医療画像処理装置。
　前記プロセッサは、
　前記内視鏡画像、前記第１評価結果及び前記第２評価結果をディスプレイに表示させる請求項３０乃至３２のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、
　前記第１評価結果及び前記第２評価結果を出力した前記被写体における部位情報、前記第１評価結果、並びに、前記第２評価結果を関連付けて保存するよう構成される請求項３０乃至３３のいずれか１項に記載の医療画像処理装置。
　請求項１乃至３４のいずれか１項に記載の医療画像処理装置と、
　照明光を照射する光源装置と、
　前記内視鏡画像を撮像する内視鏡とを備える内視鏡システム。
　１種類又は複数種類の照明光を被写体に照明して撮影された内視鏡画像を取得するステップと、
　前記内視鏡画像を用いて、疾患の程度の評価基準である第１評価基準に基づく第１評価結果と、前記第１評価基準と互いに異なる第２評価基準に基づく第２評価結果との少なくとも一方を出力するステップと、を有する医療画像処理装置の作動方法。