WO2022071413A1

WO2022071413A1 - 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム

Info

Publication number: WO2022071413A1
Application number: PCT/JP2021/035912
Authority: WO
Inventors: 広樹渡辺
Original assignee: 富士フイルム株式会社
Priority date: 2020-10-02
Filing date: 2021-09-29
Publication date: 2022-04-07
Also published as: JPWO2022071413A1; CN116322465A; EP4223203A1; US20230237659A1; EP4223203A4

Abstract

迅速に、かつ高い精度により診断支援情報を得ることができる画像処理装置（１６）、内視鏡システム（１０）、画像処理装置の作動方法、及び画像処理装置用プログラムを提供することを目的とする。　画像処理装置（１６）は、内視鏡画像に基づく複数種類の候補画像を取得し、少なくとも１種類の候補画像に基づく表示画像をディスプレイ（１８）に表示する制御を行い、予め設定した１または複数種類の候補画像に対し第１解析処理を行い、第１解析処理により得られる第１解析処理結果に基づいて、複数種類の候補画像から少なくとも１種類の候補画像を最適画像として選択し、最適画像に対し第２解析処理を行うことにより第２解析処理結果を得る。

Description

画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム

　本発明は、診断支援情報を得る画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラムに関する。

　医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。医師は、観察対象を内視鏡で撮影して得た画像（以下、内視鏡画像という）を自然な色によりディスプレイ等に表示して診断に用いるほか、場合により、画像強調内視鏡又は画像強調観察（ＩＥＥ、ｉｍａｇｅ　ｅｎｈａｎｃｅｄ　ｅｎｄｏｓｃｏｐｙ）と称される方法により、色彩又は血管等の構造等を強調表示した各種の内視鏡画像を用いて観察対象を診断する。

　また、ＩＥＥ等による各種の内視鏡画像を解析することにより、観察対象における病変の可能性がある領域の範囲、及び／又は炎症度等から、疾患のステージ等の判定結果等を含む診断支援情報を生成するＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ　Ｄｉａｇｎｏｓｉｓ）技術が開発されている。例えば、ＩＥＥによる各種の内視鏡画像を用いて、潰瘍性大腸炎のステージ等の疾患の重症度又は進行度を高い精度で判定する内視鏡システムが知られている（特許文献１）。また、ＣＡＤに適した明るさの画像を選択した上で診断支援情報を得る内視鏡装置が知られている（特許文献２）。

特開２０２０－６５６８５号公報国際公開第２０２０／０１２５６４号

　ＩＥＥ等による各種の内視鏡画像は、医師等が診断のために用いるため、人が見た際に違和感のない色付けをした画像である場合が多い。ＩＥＥにより得られる人間にとって視認性が良い内視鏡画像は、ＣＡＤ等による画像解析によって良好に診断支援情報が得られる内視鏡画像であるとは限らない場合がある。すなわち、人間にとっての視認性は悪いが、ＣＡＤ等による画像解析に適した内視鏡画像が存在しうる。したがって、ＣＡＤ等による画像解析に適切な種類の内視鏡画像を用いてＣＡＤ等を行うことにより、より精度が高い診断支援情報が得られる可能性がある。

　また、ＣＡＤ等を用いて、内視鏡検査中にリアルタイムで詳細な診断支援情報を得ることにより、例えば、医師が病変の可能性が高い領域を発見し、一回の内視鏡検査においてこの領域を詳細に調べることができる。この場合は、再度の内視鏡検査を行う必要がないため好ましいが、検査中に診断支援情報を迅速に得る必要がある。また、内視鏡検査の被検者への負担軽減及び内視鏡検査の効率化からも、ＣＡＤ等を行いながらも診断支援情報を迅速に得ることが好ましい。

　本発明は、迅速に、かつ高い精度により診断支援情報を得ることができる画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラムを提供することを目的とする。

　本発明の画像処理装置は、画像用プロセッサを備える。画像用プロセッサは、内視鏡を用いて観察対象を撮影することにより得られる内視鏡画像に基づく複数種類の候補画像を取得し、複数種類の候補画像のうち少なくとも１種類の候補画像に基づく表示画像をディスプレイに表示する制御を行い、複数種類の候補画像のうち予め設定した１または複数種類の候補画像に対し第１解析処理を行い、第１解析処理により得られる第１解析処理結果に基づいて、複数種類の候補画像から少なくとも１種類の候補画像を最適画像として選択し、最適画像に対し第２解析処理を行うことにより第２解析処理結果を得る。

　画像用プロセッサは、第２解析処理結果をディスプレイに表示する制御を行うことが好ましい。

　画像用プロセッサは、第２解析処理結果を表示画像に重畳して表示する制御を行うことが好ましい。

　第１解析処理と第２解析処理とは、互いに異なる内容の解析処理であることが好ましい。

　内視鏡画像に対し強調処理を行うことにより候補画像を生成し、画像用プロセッサは、強調処理の有無又は種類により候補画像の種類を区別して、複数種類の候補画像を取得することが好ましい。

　強調処理は、色彩強調処理及び／又は構造強調処理であることが好ましい。

　また、本発明の内視鏡システムは、画像処理装置と、観察対象に照射する照明光を発する光源部とを備える。

　画像用プロセッサは、光源部が発する互いに分光スペクトルが異なる複数種類の照明光のそれぞれにより照明した観察対象を撮影することにより得られる内視鏡画像を、互いに異なる種類の候補画像として取得することが好ましい。

　光源部は、互いに分光スペクトルが異なる複数種類の照明光のそれぞれを、予め設定した順序からなる発光周期により繰り返して発することが好ましい。

　画像用プロセッサは、１回の発光周期において得られる複数種類の候補画像から、少なくとも１つの最適画像を選択することが好ましい。

　第１照明期間中に第１照明光を第１発光パターンにより発し、第２照明期間中に第２照明光を第２発光パターンにより発し、かつ、第１照明光と第２照明光とを切り替える光源用プロセッサと、第１照明光によって照明された観察対象を撮影して得られる第１内視鏡画像と、第２照明光によって照明された観察対象を撮影して得られる第２内視鏡画像とを出力する撮像センサとを備え、画像用プロセッサは、第１内視鏡画像と第２内視鏡画像とを候補画像として取得することが好ましい。

　画像用プロセッサは、光源部が発する白色の照明光により照明した観察対象を撮影することにより得られる内視鏡画像を、候補画像の１種として取得することが好ましい。

　画像用プロセッサは、光源部が発する予め設定した波長帯域の狭帯域光を含む照明光により照明した観察対象を撮影することにより得られる内視鏡画像を、候補画像の１種として取得することが好ましい。

　また、本発明の画像処理装置の作動方法は、内視鏡を用いて観察対象を撮影することにより得られる内視鏡画像に基づく複数種類の候補画像を取得する候補画像取得ステップと、複数種類の候補画像のうち少なくとも１種類の候補画像に基づく表示画像をディスプレイに表示する制御を行う表示画像制御ステップと、複数種類の候補画像のうち予め設定した１または複数種類の候補画像に対し第１解析処理を行う第１解析処理ステップと、第１解析処理により得られる第１解析処理結果に基づいて、複数種類の候補画像から少なくとも１種類の候補画像を最適画像として選択する最適画像選択ステップと、最適画像に対し第２解析処理を行うことにより第２処理結果を得る第２解析処理ステップとを備える。

　また、本発明の画像処理装置用プログラムは、コンピュータに、内視鏡を用いて観察対象を撮影することにより得られる内視鏡画像に基づく複数種類の候補画像を取得する候補画像取得機能と、複数種類の候補画像のうち少なくとも１種類の候補画像に基づく表示画像をディスプレイに表示する制御を行う表示制御機能と、複数種類の候補画像のうち予め設定した１または複数種類の候補画像に対し第１解析処理を行う第１解析処理機能と、第１解析処理により得られる第１解析処理結果に基づいて、複数種類の候補画像から少なくとも１種類の候補画像を最適画像として選択する最適画像選択機能と、最適画像に対し第２解析処理を行うことにより診断支援情報を得る第２解析処理機能とを実現させるための画像処理装置用プログラムである。

　本発明によれば、迅速に、かつ高い精度により診断支援情報を得ることができる。

内視鏡システムの構成を説明する説明図である。内視鏡システムの機能を示すブロック図である。紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの分光スペクトルを示すグラフである。第１Ａ発光パターン及び第２Ａ発光パターンを説明する説明図である。第１Ｂ発光パターンを説明する説明図である。第２Ｂ発光パターンを説明する説明図である。第２Ｃ発光パターンを説明する説明図である。第２Ｄ発光パターンを説明する説明図である。画像処理部の機能を示すブロック図である。診断支援画像処理部の機能を示すブロック図である。候補画像取得部の機能を示すブロック図である。第２照明光用分光スペクトルＳＰ１を示すグラフである。第２照明光用分光スペクトルＳＰ２を示すグラフである。第２照明光用分光スペクトルＳＰ３を示すグラフである。第４候補画像生成部の機能を示すブロック図である。酸素飽和度算出用テーブルを示すグラフである。第２照明光用スペクトルＳＰ４を示すグラフである。第５候補画像生成部の機能を示すブロック図である。色差拡張処理を説明する説明図である。候補画像取得を説明する説明図である。画像認識部の機能を示すブロック図である。第１解析処理部の機能を示すブロック図である。対応情報取得部の機能を説明する説明図である。候補画像取得と第１解析処理とについて説明する説明図である。第２解析処理部の機能を示すブロック図である。候補画像取得と第１解析処理と最適画像選択とについて説明する説明図である。候補画像取得と第１解析処理と表示画像生成と最適画像選択と第２解析処理とについて説明する説明図である第２診断支援情報をテキスト表示により表示したディスプレイを示す画像図である。第２診断支援情報を枠表示とテキスト表示とにより表示したディスプレイを示す画像図である。第５候補画像を最適画像として選択する説明図である。ＭＡＹＯスコアを表示したディスプレイを示す画像図である。第２候補画像を最適画像として選択する説明図である。Ｇｅｂｏｅｓスコアを表示したディスプレイを示す画像図である。診断支援モードの一連の流れを示すフローチャートである。診断支援装置を示す説明図である。医療業務支援装置を示す説明図である。

　図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、ディスプレイ１８と、キーボード１９とを備える。内視鏡１２は、観察対象を撮影する。光源装置１４は、観察対象に照射する照明光を発する。プロセッサ装置１６は、内視鏡システム１０のシステム制御を行う。ディスプレイ１８は、内視鏡画像に基づく表示画像、及び診断支援情報等を表示する表示部である。キーボード１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスである。

　内視鏡システム１０は、本実施形態において、観察モードとして、通常観察モード、特殊観察モード、及び診断支援モードの３つのモードを備える。通常観察モードでは、白色光等の通常光を観察対象に照射して撮影することによって、自然な色合いの通常観察画像を表示画像としてディスプレイ１８に表示する。特殊観察モードでは、通常光と波長帯域又は分光スペクトルが異なる特殊光を観察対象に照明して撮影することによって、特定の構造等を強調した特殊画像を表示画像としてディスプレイ１８に表示する。診断支援モードでは、表示画像をディスプレイ１８に表示することに加え、診断支援情報を得て内視鏡システム１０のユーザである医師等に通知する。診断支援情報の通知は、ディスプレイ１８に表示することにより、又は、それ以外の方法により行われる。ディスプレイ１８に表示する場合は、例えば、表示画像に重畳する、又は、表示画像とは別にディスプレイ１８に表示することによって行ってもよい。

　内視鏡１２は、観察対象を有する被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄとを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。その結果、先端部１２ｄが所望の方向に向く。また、操作部１２ｂには、アングルノブ１２ｅの他、処置具挿入口（図示せず）、スコープボタン１番１２ｆ、スコープボタン２番１２ｇ、及びズーム操作部１２ｈが設けられている。処置具挿入口は、生検鉗子、スネア、又は電気メス等の処置具を挿入する入り口である。処置具挿入口に挿入した処置具は、先端部１２ｄから突出する。スコープボタンには、各種の操作を割り当てることができる。例えば、スコープボタン１番１２ｆは、フリーズボタンであり、静止画を取得する操作に使用する。スコープボタン２番１２ｇは、観察モードを切り替える操作に使用する。ズーム操作部１２ｈを操作することによって、観察対象を拡大または縮小して撮影できる。

　図２に示すように、光源装置１４は、照明光を発する光源を備える光源部２０と、光源部２０の動作を制御する光源用プロセッサ２２とを備える。光源部２０は、観察対象を照明する照明光を発する。照明光には、照明光を発するために使用する励起光等の発光を含む。光源部２０は、例えば、レーザーダイオード、ＬＥＤ(Light Emitting Diode)、キセノンランプ、又はハロゲンランプの光源を含み、少なくとも、白色の照明光（以下、白色光という）、又は白色光を発するために使用する励起光を発する。白色には、内視鏡１２を用いた観察対象の撮影において実質的に白色と同等な、いわゆる擬似白色を含む。

　光源部２０は、必要に応じて、励起光の照射を受けて発光する蛍光体、又は、照明光又は励起光の波長帯域、分光スペクトル、もしくは光量等を調節する光学フィルタ等を含む。この他、光源部２０は、少なくとも狭帯域な光（以下、狭帯域光という）からなる照明光を発することができる。「狭帯域」とは、観察対象の特性及び／またはイメージセンサ（撮像センサ）４５が有するカラーフィルタの分光特性との関係において、実質的にほぼ単一の波長帯域であることをいう。例えば、波長帯域が約±２０ｎｍ以下（好ましくは約±１０ｎｍ以下）である場合、この光は狭帯域である。

　また、光源部２０は、互いに分光スペクトルが異なる複数種類の照明光を発することができる。複数種類の照明光は、狭帯域光を含んでもよい。また、光源部２０は、例えば、観察対象が含むヘモグロビンの酸素飽和度等の生体情報を算出するために使用する画像の撮影に必要な、特定の波長帯域又は分光スペクトルを有する光を発することができる。

　本実施形態では、光源部２０は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄの４色のＬＥＤを有する。図３に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４０５ｎｍ、波長帯域３８０～４２０ｎｍの紫色光Ｖを発光する。Ｂ－ＬＥＤ２０ｂは、中心波長４６０ｎｍ、波長帯域４２０～５００ｎｍの青色光Ｂを発光する。Ｇ－ＬＥＤ２０ｃは、波長帯域が４８０～６００ｎｍに及ぶ緑色光Ｇを発光する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長帯域が６００～６５０ｎｍに及ぶ赤色光Ｒを発光する。なお、Ｖ－ＬＥＤ２０ａとＢ－ＬＥＤ２０ｂの中心波長は約±２０ｎｍ、好ましくは約±５ｎｍから約±１０ｎｍ程度の幅を有する。なお、紫色光Ｖは、特殊観察モード又は診断支援モードにて用いる表層血管、表層血管の密集部、粘膜内出血、及び粘膜外出血等を強調して表示するために用いられる短波長の光であり、中心波長又はピーク波長に４１０ｎｍを含めることが好ましい。また、紫色光Ｖ及び／又は青色光Ｂは、狭帯域光であることが好ましい。

　光源用プロセッサ２２は、光源部２０を構成する各光源の点灯又は消灯もしくは遮蔽のタイミング、及び、光強度又は発光量等を制御する。その結果、光源部２０は、分光スペクトルが異なる複数種類の照明光を、予め設定した期間及び発光量で発することができる。本実施形態においては、光源用プロセッサ２２は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄの点灯や消灯、点灯時の光強度もしくは発光量、又は光学フィルタの挿抜等を、各々に独立した制御信号を入力することにより制御する。光源用プロセッサ２２は、各ＬＥＤ２０ａ～２０ｄをそれぞれ独立に制御することで、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、又は赤色光Ｒをそれぞれ独立に光強度又は単位時間あたりの光量を変えて発光可能である。したがって、光源用プロセッサ２２は、互いに分光スペクトルが異なる複数種類の照明光を発することができ、例えば、白色の照明光、分光スペクトルが異なる複数種類の照明光、又は、少なくとも狭帯域光からなる照明光等を発する。

　光源用プロセッサ２２は、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる白色光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。なお、Ｖｃ、Ｂｃ、Ｇｃ、又はＲｃのそれぞれは、０（ゼロ）より大きく、０ではない。

　また、光源用プロセッサ２２は、特殊観察モード時には、短波長の狭帯域光としての紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光強度比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。光強度比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓは、通常観察モード時に使用する光強度比Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃと異なっており、観察目的に応じて適宜定められる。したがって、光源部２０は、光源用プロセッサ２２の制御により、互いに分光スペクトルが異なる複数種類の特殊光を発することができる。例えば、表層血管を強調する場合には、Ｖｓを、他のＢｓ、Ｇｓ、及びＲｓよりも大きくすることが好ましく、中深層血管を強調する場合には、Ｇｓを、他のＶｓ、Ｇｓ、及びＲｓよりも大きくすることが好ましい。

　なお、本明細書において、Ｖｃ、Ｂｃ、Ｇｃ、又はＲｃを除く光強度比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有するものとする。

　また、光源用プロセッサ２２は、本実施形態では、診断支援モード時に、複数種類の候補画像を取得するために、分光スペクトルが互いに異なる複数種類の照明光を自動的に切り替えて発することが好ましい。複数種類の照明光のそれぞれは、予め設定した順序により繰り返し発することが好ましい。そのため、複数種類の照明光のそれぞれは、予め設定した順序からなる特定のパターンを形成し、照明光は、特定のパターンを繰り返して発するものであることが好ましい。

　例えば、具体的には、光源用プロセッサ２２は、第１照明期間において第１照明光を第１発光パターンで発し、第２照明期間において第２照明光を第２発光パターンで発する。第１照明期間に発する照明光が第１照明光であり、第２照明期間に発する照明光が第２照明光である。第１照明光は、表示画像に用いる内視鏡画像を得るため、白色光であることが好ましい。一方、第２照明光は、認識処理に用いるため、観察対象に照明することによってコンピュータが特定の解析処理を行うのに適した画像が得られる特殊光であることが好ましい。例えば、表層血管に関して解析処理を行う場合には、第２照明光を紫色光Ｖとすることが好ましい。なお、第１照明光と第２照明光とは、それぞれ分光スペクトルが互いに異なる複数種類の照明光を含んでもよい。

　第１発光パターンは、第１照明光の発光順序であり、第２発光パターンは、第２照明光の発光順序であり、それぞれの発光パターンを構成する要素は、撮影の単位であるフレームである。フレームとは、イメージセンサ４５における特定タイミングから信号読み出し完了までの間の期間を少なくとも含む期間をいう。１フレームにおいて１回の撮影及び画像の取得を行う。第１照明光と第２照明光とは、いずれか一方を発し、同時に発することはない。１つの発光周期は、それぞれ少なくとも１つの第１発光パターンと第２発光パターンとからなり、第１発光パターンと第２発光パターンとを組み合わせて発光周期を構成する。発光周期を繰り返すことにより照明を行う。したがって、光源部２０は、互いに分光スペクトルが異なる複数種類の照明光のそれぞれを、予め設定した順序からなる発光周期により繰り返して発する。第１発光パターン又は第２発光パターンのそれぞれを構成するフレーム数、又は照明光の種類等の詳細は、予め設定する。

　例えば、第１発光パターンは、第１Ａ発光パターン又は第１Ｂ発光パターンであることが好ましい。図４に示すように、第１Ａ発光パターンは、第１照明期間Ｐ１での第１照明光Ｌ１のフレームＦＬ数が、それぞれの第１照明期間Ｐ１において同じである。したがって、発光周期Ｑ１において、第１照明期間Ｐ１での第１照明光Ｌ１のフレームＦＬ数は、全て２つに設定されている。図５に示すように、第１Ｂ発光パターンは、第１照明期間Ｐ１のフレームＦＬ数がそれぞれの第１照明期間Ｐ１において異なる。したがって、発光周期Ｑ２において、第１照明期間Ｐ１での第１照明光Ｌ１のフレームＦＬ数は、２つの場合と３つの場合とを含む。なお、第１Ａ発光パターン及び第１Ｂ発光パターンにおいて、第１照明光Ｌ１は同一の分光スペクトルであり、白色光である。

　第２発光パターンは、第２Ａ発光パターン、第２Ｂ発光パターン、第２Ｃ発光パターン、又は第２Ｄ発光パターンであることが好ましい。図４に示すように、第２Ａ発光パターンは、第２照明期間Ｐ２での第２照明光Ｌ２ａのフレームＦＬ数が、それぞれの第２照明期間Ｐ２において同じである。したがって、発光周期Ｑ１において、第２照明期間Ｐ２での第２照明光Ｌ２ａのフレームＦＬ数は、全て１つに設定されている。なお、第２照明光Ｌ２は、分光スペクトルが異なる照明光を含む場合があり、これらを、第２照明光Ｌ２ａと第２照明光Ｌ２ｂと記載して区別し、第２照明光Ｌ２と記載する場合はこれらを総称する。したがって、第２Ａ発光パターンにおいて、第２照明光Ｌ２が第２照明光Ｌ２ｂの場合は、第２照明期間Ｐ２において、第２照明光Ｌ２ｂをフレームＦＬ数１つで発する。図５に示すように、発光周期Ｑ２においても、発光周期Ｑ１と同様、第２照明光Ｌ２は第２Ａ発光パターンで発する。

　図６に示すように、第２Ｂ発光パターンは、発光周期Ｑ３において、第２照明期間Ｐ２のフレームＦＬ数がそれぞれの第２照明期間Ｐ２において同じであり、且つ、第２照明光Ｌ２の分光スペクトルが、それぞれの第２照明期間Ｐ２において第２照明光Ｌ２ａ又は第２照明光Ｌ２ｂであり、異なる。図７に示すように、第２Ｃ発光パターンは、発光周期Ｑ４において、第２照明期間Ｐ２のフレームＦＬ数がそれぞれの第２照明期間Ｐ２において異なり、且つ、第２照明光Ｌ２の分光スペクトルがそれぞれの第２照明期間Ｐ２において第２照明光Ｌ２ａであり、同じである。

　図８に示すように、第２Ｄ発光パターンは、発光周期Ｑ５において、第２照明期間Ｐ２のフレームＦＬ数がそれぞれの第２照明期間Ｐ２において異なり、且つ、第２照明光Ｐ２の分光スペクトルがそれぞれの第２照明期間Ｐ２において第２照明光２Ｌａ又は第２照明光２Ｌｂであり、異なる。

　以上のとおり、診断支援モード時は、光源用プロセッサ２２が、第１発光パターンと第２発光パターンを組み合わせて構成した発光周期を繰り返す。図４に示すように、発光周期Ｑ１は、第１Ａ発光パターンと第２Ａ発光パターンとからなる。図５に示すように、発光周期Ｑ２は、第１Ｂ発光パターンと第２Ａ発光パターンとからなる。図６に示すように、発光周期Ｑ３は、第１Ａ発光パターンと第２Ｂ発光パターンとからなる。図７に示すように、発光周期Ｑ４は、第１Ａ発光パターンと第２Ｃ発光パターンとからなる。図８に示すように、発光周期Ｑ５は、第１Ａ発光パターンと第２Ｄ発光パターンとからなる。なお、第１発光パターンにおいて、第１照明光Ｌ１の分光スペクトルは、それぞれの第１照明期間Ｐ１において、異なってもよい。

　また、診断支援モード時は、光源用プロセッサ２２は、後に説明する各解析処理による解析処理結果に基づいて、第１発光パターン又は第２発光パターンを変更してもよい。発光パターンの変更には、照明光の種類の変更を含む。具体的には、例えば、解析処理結果に基づいて、第２発光パターンを、第２Ａパターンから第２Ｂ発光パターンに変更する、又は、第２照明光Ｌ２aを用いた第２Ａ発光パターンから、第２照明光Ｌ２ｂを用いた第２Ａ発光パターンに変更する、等の切り替えを行ってもよい。

　ここで、第１照明期間Ｐ１は第２照明期間Ｐ２よりも長くすることが好ましく、第１照明期間Ｐ１は２フレーム以上とすることが好ましい。例えば、図４では、第１発光パターンを第１Ａパターンとし、第２発光パターンを第２Ａ発光パターンとする発光周期Ｑ１において、第１照明期間Ｐ１を２フレームとし、第２照明期間Ｐ２を１フレームとしている。第１照明光Ｐ１は、ディスプレイ１８に表示する表示画像の生成に用いられることから、第１照明光Ｐ１を観察対象に照明することによって、明るい表示画像が得られることが好ましい。

　図２に示すように、各ＬＥＤ２０ａ～２０ｄが発する光は、ミラーやレンズ等で構成される光路結合部（図示せず）を介して、ライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコード（図示せず）に内蔵されている。ユニバーサルコードは、内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコードである。ライトガイド４１は、光路結合部からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂとが設けられる。照明光学系３０ａは、照明レンズ４２を有しており、ライトガイド４１によって伝搬した照明光が、照明レンズ４２を介して観察対象に向けて出射する。

　撮影光学系３０ｂは、対物レンズ４３、ズームレンズ４４、及びイメージセンサ４５を有する。イメージセンサ４５は、対物レンズ４３及びズームレンズ４４を介して、観察対象から戻る照明光の反射光等（反射光の他、散乱光、観察対象が発光する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む）を用いて観察対象を撮影する。ズームレンズ４４は、ズーム操作部１２ｈの操作をすることで移動し、観察対象像を拡大または縮小する。

　イメージセンサ４５は、画素ごとに、複数色のカラーフィルタのうち１色のカラーフィルタを有する。本実施形態においては、イメージセンサ４５は原色系のカラーフィルタを有するカラーセンサである。具体的には、イメージセンサ４５は、赤色カラーフィルタ（Ｒフィルタ）を有するＲ画素と、緑色カラーフィルタ（Ｇフィルタ）を有するＧ画素と、青色カラーフィルタ（Ｂフィルタ）を有するＢ画素とを有する。

　なお、イメージセンサ４５としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４５は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色－原色色変換をすれば、原色系のカラーセンサで得る画像と同様の画像に変換できる。原色系または補色系のセンサにおいて、Ｗ画素（ほぼ全波長帯域の光を受光するホワイト画素）等、上記以外の特性を有する画素を１または複数種類有する場合も同様である。また、本実施形態のイメージセンサ４５はカラーセンサであるが、カラーフィルタを有しないモノクロのセンサを使用してもよい。

　内視鏡１２は、イメージセンサ４５を制御する撮影用プロセッサ４６を備える。撮影用プロセッサ４６の制御は、観察モード毎に異なる。通常観察モードでは、撮影用プロセッサ４６は、通常光で照明された観察対象を撮影するように、イメージセンサ４５を制御する。これにより、イメージセンサ４５のＢ画素からＢｃ画像信号が出力され、Ｇ画素からＧｃ画像信号が出力され、Ｒ画素からＲｃ画像信号が出力される。

　特殊観察モードでは、撮影用プロセッサ４６はイメージセンサ４５を制御して、特殊光で照明された観察対象を撮影するように、イメージセンサ４５を制御する。これにより、イメージセンサ４５のＢ画素からＢｓ画像信号が出力され、Ｇ画素からＧｓ画像信号が出力され、Ｒ画素からＲｓ画像信号が出力される。

　診断支援モードでは、撮影用プロセッサ４６はイメージセンサ４５を制御し、第１照明光Ｌ１又は第２照明光Ｌ２で照明された観察対象を撮影するように、イメージセンサ４５を制御する。これにより、例えば、第１照明光Ｌ１の照明時には、イメージセンサ４５のＢ画素からＢ１画像信号が出力され、Ｇ画素からＧ１画像信号が出力され、Ｒ画素からＲ１画像信号が出力される。また、第２照明光Ｌ２の照明時には、例えば、イメージセンサ４５のＢ画素からＢ２画像信号が出力され、Ｇ画素からＧ２画像信号が出力され、Ｒ画素からＲ２画像信号が出力される。

　プロセッサ装置１６には、後述するような中央制御部５１、画像取得部５２、画像処理部５６、及び表示制御部５７等が行う処理等に関するプログラムがメモリ（図示せず）に組み込まれている。画像処理装置として機能するプロセッサ装置１６が備える画像用プロセッサにより構成される中央制御部５１によってそのプログラムが動作することで、中央制御部５１、画像取得部５２、画像処理部５６、及び表示制御部５７の機能が実現する。

　中央制御部５１は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。キーボード１９等を用いて、各種設定の入力等をした場合には、中央制御部５１は、その設定を、光源用プロセッサ２２、撮影用プロセッサ４６、又は画像処理部５６等の内視鏡システム１０の各部に入力する。

　画像取得部５２は、イメージセンサ４５から、各色の画素を用いて観察対象を撮影した画像、すなわちＲＡＷ画像を取得する。また、ＲＡＷ画像は、デモザイク処理を実施する前の画像（内視鏡画像）である。デモザイク処理を実施する前の画像であれば、イメージセンサ４５から取得した画像に対してノイズ低減処理等の任意の処理を実施した画像もＲＡＷ画像に含む。

　画像取得部５２は、取得したＲＡＷ画像に必要に応じて各種処理を施すために、ＤＳＰ（Digital Signal Processor）５３と、ノイズ低減部５４と、変換部５５と、を備える。

　ＤＳＰ５３は、例えば、オフセット処理部、欠陥補正処理部、デモザイク処理部、リニアマトリクス処理部、及び、ＹＣ変換処理部、等（いずれも図示せず）を備える。ＤＳＰ５３は、これらを用いてＲＡＷ画像またはＲＡＷ画像を用いて生成した画像に対して各種処理を施す。

　オフセット処理部は、ＲＡＷ画像に対してオフセット処理を施す。オフセット処理は、ＲＡＷ画像から暗電流成分を低減し、正確な零レベルを設定する処理である。オフセット処理は、クランプ処理と称する場合がある。欠陥補正処理部は、ＲＡＷ画像に対して欠陥補正処理を施す。欠陥補正処理は、イメージセンサ４５が製造工程または経時変化に起因する欠陥を有する画素（欠陥画素）を含む場合に、イメージセンサ４５の欠陥画素に対応するＲＡＷ画素の画素値を補正または生成する処理である。

　デモザイク処理部は、各色のカラーフィルタに対応する各色のＲＡＷ画像に対してデモザイク処理を施す。デモザイク処理は、ＲＡＷ画像においてカラーフィルタの配列に起因して欠落する画素値を補間によって生成する処理である。リニアマトリクス処理部は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像に対してリニアマトリクス処理を行う。リニアマトリクス処理は、内視鏡画像の色再現性を高める処理である。ＹＣ変換処理部が行うＹＣ変換処理は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に変換する処理である。

　ノイズ低減部５４は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５５は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色のチャンネルを有する内視鏡画像に再変換する。

　画像処理部５６は、画像取得部５２が出力する内視鏡画像に、必要な画像処理、又は演算を行う。図９に示すように、画像処理部５６は、通常観察画像処理部６１、特殊観察画像処理部６２、及び診断支援画像処理部６３を備える。通常観察画像処理部６１は、入力した１フレーム分のＲｃ画像信号、Ｇｃ画像信号、及びＢｃ画像信号に対して、通常観察画像用画像処理を施す。通常観察画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、又は空間周波数強調等の構造強調処理が含まれる。通常観察画像用画像処理が施されたＲｃ画像信号、Ｇｃ画像信号、及びＢｃ画像信号は、通常観察画像であり、通常観察モードにおいて、表示画像として表示制御部５７に入力する。

　特殊観察画像処理部６２は、入力した１フレーム分のＲｓ画像信号、Ｇｓ画像信号、及びＢｓ画像信号に対して、特殊観察画像用画像処理を施す。特殊観察画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、又は空間周波数強調等の構造強調処理が含まれる。特殊観察画像用画像処理が施されたＲｓ画像信号、Ｇｓ画像信号、及びＢｓ画像信号は、特殊観察画像であり、特殊観察モードにおいて表示画像として表示制御部５７に入力する。

　診断支援画像処理部６３は、診断支援モードにおける画像解析処理等を行い、診断支援情報を生成する。診断支援情報は、医師等のユーザに示される。図１０に示すように、診断支援画像処理部６３は、候補画像取得部７１、第１解析処理部７２、最適画像選択部７３、第２解析処理部７４、及び表示画像生成部７５を備える。

　候補画像取得部７１は、画像取得部５２が出力する内視鏡画像に基づいて、複数種類の候補画像を生成及び取得する。候補画像の種類は、次の２点のいずれか一方又は両方により区別する。１点目は、観察対象を撮影する際の照明光の分光スペクトルにより区別する。したがって、候補画像取得部７１は、光源部が発する互いに分光スペクトルが異なる複数種類の照明光のそれぞれにより照明した観察対象を撮影することにより得られる内視鏡画像を、それぞれ１種の候補画像として取得する。２点目は、内視鏡画像に対する候補画像生成のための画像処理（以下、候補画像生成用画像処理という）の方法により区別する。

　候補画像生成用画像処理の方法としては、例えば、強調処理等の画像処理の方法を含み、具体的には、色彩拡張処理及び／又は構造強調処理等を含む。なお、候補画像生成用画像処理の方法により候補画像を区別する際には、候補画像生成用画像処理を行わないことを含む。したがって、画像取得部５２が出力する内視鏡画像に対して候補画像生成用画像処理を行わない内視鏡画像も、候補画像の１種類である。したがって、照明光の分光スペクトルと候補画像生成用画像処理との組み合わせが異なる場合も、候補画像の１種類とする。照明光の分光スペクトル又は画像処理のいずれか一方が異なる候補画像は、異なる種類の候補画像である。

　図１１に示すように、候補画像取得部７１は、複数種類の候補画像のそれぞれを生成する各候補画像生成部を備える。例えば、第１候補画像生成部８１、第２候補画像生成部８２、第３候補画像生成部８３、第４候補画像生成部８４、第５候補画像生成部８５、及び第ｎ候補画像生成部８６を備える。ｎは６以上の整数である。ｎは、複数種類の候補画像の種類の数に応じて設定できる。各候補画像取得部は、それぞれ以下の照明光及び／又は候補画像生成用画像処理を行う。

　第１候補画像生成部８１は、第１候補画像を生成するための第１候補画像用画像処理（以下、第１画像処理という）を行う。第１画像処理は、第１照明光用分光スペクトルである白色光の第１照明光を発して得られたＢ１画像信号、Ｇ１画像信号、及びＲ１画像信号に対して施す処理である。第１画像処理は、通常観察画像処理部６１における通常表示画像処理と同様であり、通常表示画像と同様の第１候補画像を得る。第１候補画像は、候補画像の１種である。したがって、候補画像取得部７１は、白色の照明光により照明した観察対象を撮影することにより得られる画像を、候補画像の１種として取得する。

　第２候補画像生成部８２は、第２候補画像を生成するための第２候補画像用画像処理（以下、第２画像処理という）を行う。第２画像処理は、第２照明光用分光スペクトルＳＰ１で第２照明光Ｌ２を発して得られたＢ２画像信号、Ｇ２画像信号、及びＲ２画像信号に対して施す処理である。第２照明光用分光スペクトルＳＰ１で発する第２照明光Ｌ２は、図１２に示すように、紫色光Ｖが他の色の青色光Ｂ、緑色光Ｇ、及び赤色光Ｒよりもピークの強度が大きい光であることが好ましい。第２画像処理は、Ｂ２画像信号を表示用のＢチャンネルとＧチャンネルとに割り当て、Ｇ２画像信号を表示用のＲチャンネルに割り当てる疑似カラー処理である。この疑似カラー処理により、表層血管など特定深さの血管又は構造が強調された第２候補画像が得られる。第２候補画像は、候補画像の１種である。

　第３候補画像生成部８３は、第３候補画像を生成するための第３候補画像用画像処理（以下、第３画像処理という）を行う。第３画像処理は、第２照明光用分光スペクトルＳＰ２で第２照明光を発して得られたＢ２画像信号、Ｇ２画像信号、及びＲ２画像信号に対して施す処理である。第２照明光用分光スペクトルＳＰ２で発する第２照明光は、図１３に示すように、紫色光Ｖ（ピーク波長は例えば４００～４２０ｎｍ）のみを発する光であることが好ましい。第３画像処理は、Ｂ２画像信号を表示用のＢチャンネル、Ｇチャンネル、及びＲチャンネルに割り当てて、且つ、色調及び階調バランスの調整を行う処理である。第３画像処理によって、表層血管よりも浅い極表層血管などが強調された第３候補画像が得られる。第３候補画像は、候補画像の１種である。

　第４候補画像生成部８４は、第４候補画像を生成するための第４候補画像用画像処理（以下、第４画像処理という）を行う。第４画像処理は、第１照明光を発して得られたＢ１画像信号、Ｇ１画像信号、及びＲ１画像信号に加えて、第２照明光用分光スペクトルＳＰ３で第２照明光を発して得られたＢ２画像信号、Ｇ２画像信号、及びＲ２画像信号に対して施す処理である。第２照明光用分光スペクトルＳＰ３は、図１４に示すように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差がある波長域の光である青紫色光ＶＢ（ピーク波長は例えば４７０～４８０ｎｍ）であることが好ましい。

　第４候補画像生成部８４は、図１５に示すように、Ｂ２画像信号とＧ１画像信号との比を表す第１信号比（Ｂ２／Ｇ１）、及び、Ｒ１画像信号とＧ１画像信号との比を表す第２信号比（Ｒ１／Ｇ１）を算出する信号比算出処理を行う酸素飽和度用信号比算出部８４ａと、酸素飽和度算出用テーブル８４ｂを参照して、第１信号比及び第２信号比に対応する酸素飽和度を算出する酸素飽和度算出部８４ｃと、酸素飽和度に基づいて酸素飽和度画像を生成する酸素飽和度画像生成部８４ｄとを備える。酸素飽和度画像が、第４画像処理により得られる第４候補画像となる。第４候補画像は、候補画像の１種である。

　なお、酸素飽和度算出用テーブル８４ｂは、酸素飽和度と第１信号比及び第２信号比との相関関係が記憶されている。具体的には、酸素飽和度算出用テーブル８４ｂは、図１６に示すように、第１信号比（Ｂ２／Ｇ１）と第２信号比（Ｒ１／Ｇ１）を軸とする２次元空間に、酸素飽和度の等値線ＥＬｘ、ＥＬ１、ＥＬ２、ＥＬ３、ＥＬｙなどを定義した２次元テーブルで構成される。例えば、等値線ＥＬｘは酸素飽和度が０％、等値線ＥＬ１は酸素飽和度が３０％、等値線ＥＬ２は酸素飽和度が５０％、等値線ＥＬ３は酸素飽和度が８０％であることを表している。なお、第１信号比（Ｂ２／Ｇ１）と第２信号比（Ｒ１／Ｇ１）に対する等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られる。なお、第１信号比（Ｂ２／Ｇ１）と第２信号比（Ｒ１／Ｇ１）はｌｏｇスケールであることが好ましい。

　第５候補画像生成部８５は、第５候補画像を生成するための第５候補画像用画像処理（以下、第５画像処理という）を行う。第５画像処理は、色彩拡張処理であり、具体的には、第２照明光用分光スペクトルＳＰ４で第２照明光を発して得られたＢ２画像信号、Ｇ２画像信号、及びＲ２画像信号に対して施す処理である。第２照明光用スペクトルＳＰ４は、図１７に示すように、紫色光Ｖ及び青色光Ｂのピーク強度が、緑色光Ｇ及び赤色光Ｒのピーク強度よりも大きい光であることが好ましい。また、第２照明光用スペクトルＳＰ２と比べると、赤色光Ｒの強度が大きいことが好ましい。

　第５画像処理は、図１８に示すように、Ｂ２画像信号とＧ２画像信号との比を表す第１信号比（Ｂ２／Ｇ２）、及び、Ｒ２画像信号とＧ２画像信号との比を表す第２信号比（Ｇ２／Ｒ２）を算出する信号比算出処理を行う色差拡張用信号比算出部８５ａと、第１信号比及び第２信号比に基づいて、複数の観察対象範囲の間の色差を拡張する色差拡張処理を行う色差拡張処理部８５ｂと、色差拡張処理後の第１信号比及び第２信号比に基づいて、色差拡張画像を生成する色差拡張画像生成部８５ｃが設けられている。色差拡張画像が、第５画像処理により得られる第５候補画像となる。第５候補画像は、候補画像の１種である。

　色差拡張処理については、図１９に示すように、第１信号比（Ｂ２／Ｇ２）及び第２信号比（Ｇ２／Ｒ２）からなる二次元空間で複数の観察対象範囲の間の距離を拡張することが好ましい。具体的には、二次元空間において、複数の観察対象範囲のうち第１範囲（円で囲んだ１により示す）の位置を色差拡張処理前後で維持した状態で、第１範囲と第２範囲（円で囲んだ２により示す）との距離、第１範囲と第３範囲（円で囲んだ３により示す）との距離、及び、第１範囲と第４範囲（円で囲んだ４により示す）との距離を拡張することが好ましい。色差拡張処理は、第１信号比及び第２信号比を極座標変換した上で、動径と角度を調整する方法により行うことが好ましい。なお、第１範囲は病変などが存在しない正常部で、第２～第４範囲は、病変等が存在する可能性がある異常部であることが好ましい。色差拡張処理により、色差拡張処理前の二次元空間での範囲Ａ１から、色差拡張処理後では範囲Ａ２へと広げられるため、色差が強調され、例えば、異常部と正常部との色の差が強調された画像となる。

　以上のように、内視鏡画像に対し各種の方法の画像処理を行うことにより、複数種類の候補画像を生成する。第ｎ候補画像生成部８６は、ｎ種類目の候補画像を生成する。画像処理の方法又は内容は、上記に限らない。例えば、色差拡張処理の他、構造強調処理等の強調処理を行っても良い。内視鏡画像に対する強調処理の有無又は強調処理の種類により、候補画像の種類を区別し、区別した候補画像をそれぞれ１種の候補画像として取得する。なお、強調処理を実施する内視鏡画像は、第１画像処理から第ｎ画像処理のうちいずれか１つの画像処理を行った後のものでも、行わないものでもよい。

　構造強調処理は、観察対象における血管が強調されて表された内視鏡画像となるように、取得した内視鏡画像に対して行う処理である。具体的には、内視鏡画像としては、第１照明光を発して得られたＢ１画像信号、Ｇ１画像信号、及びＲ１画像信号、又は、第２照明光を発して得られたＢ２画像信号、Ｇ２画像信号、及びＲ２画像信号のいずれかを用いる。構造強調処理では、取得した内視鏡画像において、横軸に画素値（輝度値）を、縦軸に頻度を取ったグラフである濃度ヒストグラムを求め、画像処理部５６のメモリ（図示せず）等に予め記憶しておいた階調補正テーブルにより、階調補正を行う。階調補正テーブルは、横軸が入力値を、縦軸が出力値を表し、入力値と出力値の対応関係を示す階調補正カーブを有しており、例えば、略Ｓ字形状の階調補正カーブに基づいて階調補正を行って、取得した内視鏡画像のダイナミックレンジを広げる。これにより、構造強調の強調処理前の原画像において濃度が低い部分は、濃度がより低く、濃度が高い部分はより高くなるため、例えば、血管領域と血管が存在しない領域の濃度差が広がって、血管のコントラストが向上する。したがって、構造強調処理により処理された内視鏡画像は、血管のコントラストが向上され、血管の構造の視認性が高められており、より容易に、また、精度良く、例えば、血管の密集度が高い領域を特定領域として判定等に好ましく用いることができる。

　また、候補画像取得部７１は、光源部２０が発する予め設定した波長帯域の狭帯域光を含む照明光により照明し記観察対象を撮影することにより得られる内視鏡画像を、候補画像の１種として取得することが好ましい。したがって、複数種類の候補画像は、狭帯域光からなる照明光による内視鏡画像を少なくとも１種含むことが好ましい。狭帯域光であることが好ましい紫色光Ｖ及び／又は青色光Ｂを含む照明光により照明した観察対象を撮影することにより得られる内視鏡画像を候補画像の１種として生成してもよい。

　また、狭帯域光の狭帯域としては、４８０ｎｍ以下の短波であることが好ましい。さらに、狭帯域光の中心波長又はピーク波長には、４１０ｎｍの波長を含むことが好ましい。さらに、狭帯域光は、１つの狭帯域のみをもつ単色光であることが好ましい。さらに、狭帯域光を主成分とした内視鏡画像に対し色付けを行った内視鏡画像を、候補画像の１種として取得することが好ましい。

　狭帯域光を主成分とした内視鏡画像に対し色付けを行った内視鏡画像は、例えば、特定の単色光で観察対象を撮影した特定色画像を、複数の色チャンネルに割り当て、かつ、各々の色チャンネルのバランスを調節することにより、特定色画像からカラー画像を生成する方法により得られる。なお、この場合、色付けは、Ｌ^＊ａ^＊ｂ^＊色空間において、観察対象を写す観察対象像のうち相対的に低周波数の成分の色と、観察対象像のうち相対的に高周波数の成分の色と、の距離を拡大することが好ましい。このような内視鏡画像に基づく候補画像は、観察対象像に対応して色付けを調整することにより、例えば、ズーム画像等において、血管等の微細な特定の構造がより把握しやすい内視鏡画像とすることができる。また、人間にとって視認しやすい内視鏡画像とすることに加え、色付けを調整することにより、コンピュータによる解析処理にとって良好な解析結果が得られる内視鏡画像とすることができるため、好ましい。

　特定の狭帯域光を含む照明光により、例えば、特定の粘膜の深さに存在する血管、特定の太さ等の血管、又は、腺管等、特定の構造等が強調された候補画像が得られる。なお、候補画像における強調とは、人の視覚に対する強調のみならず、コンピュータがＣＡＤ等を行う場合に対する強調も含む。したがって、ＣＡＤ等を用いた場合に良好な解析処理結果が得られるように強調した候補画像であることが好ましい。生成した複数種類の候補画像は、第１解析処理部７２に送られる。図２０に示すように、例えば、第１候補画像と、第２候補画像と、第５候補画像との、３種類の候補画像を取得する。図２０等では、「候補画像取得：」等により、右欄に記載の各処理について、左欄において説明する記載を行っている。

　第１解析処理部７２は、複数種類の候補画像のうち予め設定した１または複数種類の候補画像に対し、第１解析処理を行う。第１解析処理を行う候補画像の種類の数は、任意に設定する。候補画像をｋ種類取得した場合、第１解析処理を行う候補画像の種類は１からｋまでのいずれかである。ここで、ｋは、２以上の整数である。第１解析処理を行う候補画像の種類も、予め設定することができる。

　第１解析処理により得られる第１解析処理結果は、複数種類の候補画像から少なくとも１種類の候補画像を選択するために用いられる。選択した候補画像に対し第２解析処理部７４が第２解析処理を行う。第２解析処理部７４が第２解析処理を行う対象として選択した少なくとも１種の候補画像を、最適画像とする。最適画像に対して、第２解析処理部７４が第２解析処理を行うことにより第２解析結果が得られる。第２解析処理結果は、最終的な診断支援情報としてユーザに通知等されるため、第１解析処理結果は、第２解析処理によって良好な結果が得られる最適画像を選択できるものであることが好ましい。第１解析処理結果は、診断支援情報であることが好ましい。第１解析処理結果による診断支援情報を、第１診断支援情報とする。第１解析処理を行った候補画像の数に対応して、第１診断支援情報が１つ又は複数得られる。

　第１解析処理結果は、候補画像に基づく情報であり、例えば、内視鏡先端部１２ｄと観察対象との距離、又は、候補画像の全体もしくは特定領域の明るさ等の候補画像から得られる情報のほか、観察対象が含む、粘膜等の被写体名、部位名、疾患名、特定の構造名、又は、処置具等の生体由来でない物体名である。また、病変又は疾患に関して、有無、指標値、位置もしくは領域、正常領域との境界線、確率、進行度、又は重症度とすることができる。また、候補画像に写る観察対象における病理状態等の特定の状態、出血、又は治療痕とすることができる。部位名としては、候補画像に写る特徴的な部位であることが好ましく、例えば、上部消化管であれば、食道部、噴門部、胃穹窿部、胃体部、幽門部、胃角部、又は十二指腸球部等であり、大腸であれば、盲腸、回盲部、上行結腸、横行結腸、下行結腸、Ｓ状結腸、又は直腸等である。特定の構造としては、血管、腺管、ポリープもしくはがん等の隆起部、又は陥没部等であり、生体由来でない物体としては、内視鏡に付属可能な生検鉗子、スネア、もしくは異物摘出デバイス等の処置具、又は腹腔鏡手術に用いる腹腔用処置具等である。病変又は疾患名としては、上部消化管又は大腸の内視鏡検査において見られる病変又は疾患が挙げられ、例えば、炎症、発赤、出血、潰瘍、もしくはポリープ、又は、胃炎、バレット食道、がんもしくは潰瘍性大腸炎等である。生体情報の値とは、観察対象の生体情報の値であり、例えば、酸素飽和度、血管密集度、又は、色素による蛍光の値等である。

　また、第１診断支援情報は、判定又は鑑別結果であってもよい。判定又は鑑別としては、腫瘍と非腫瘍等の鑑別、各種疾患のステージ又は重症度、メイヨースコア（Ｍａｙｏ　Ｓｃｏｒｅ）、又はゲボススコア（Ｇｅｂｏｅｓ　Ｓｃｏｒｅ）等の、各種スコアであってもよい。

　Ｍａｙｏスコアは潰瘍性大腸炎の内視鏡的重症度を示すスコアであり、内視鏡を用いた大腸における患部の所見により、疾患の特徴の有無及び程度等から、グレード０及び１の軽症、グレード２の中等症またはグレード３の重症のいずれかに判定する。例えば、グレード０をＭａｙｏ０と表記する。したがって、診断支援情報は、Ｍａｙｏ０からＭａｙｏ３のいずれかである。

　また、Ｇｅｂｏｅｓスコアは潰瘍性大腸炎の病理学的重症度を示すスコアであり、顕微鏡を用いた生検組織の所見により、疾患の特徴の有無及び程度等から、Ｇｅｂｏｅｓ０の軽症ステージから、Ｇｅｂｏｅｓ０からＧｅｂｏｅｓ２Ａの病理的寛解、Ｇｅｂｏｅｓ２ＢからＧｅｂｏｅｓ５の病理的非寛解のいずれかに判定する。したがって、診断支援情報は、Ｇｅｂｏｅｓ０からＧｅｂｏｅｓ５、又は、Ｇｅｂｏｅｓ２ＡもしくはＧｅｂｏｅｓ２Ｂのいずれかである。

　また、例えば、胃がんにおけるステージは、病変の観察及び生検等により、腫瘍の深さ及び転移の状態を総合的に判定し、ステージＩからＩＶまでに分類する。したがって、診断支援情報は、ステージＩからステージＩＶのいずれかである。

　また、第１解析処理結果は、候補画像から得られる電子ズーム率等の撮影条件を含む。また、場合によっては、通信によるＨＩＳ（Hospital Information System：病院情報システム）、ＲＩＳ（Radiology Information System：放射線情報システム）等の情報管理サーバ、又は、ＰＡＣＳ（Picture Archiving and Communication System for medical application：医療画像保管通信システム）等の画像サーバからの情報であってもよい。また、画像解析処理により得られる第１解析処理結果自体の確度等も含む。

　第１解析処理部７２は、複数種類の候補画像に対して同じ方法により第１解析処理を行ってもよいが、複数種類の候補画像の種類毎に互いに異なる方法により第１解析処理を行ってもよい。候補画像の種類によって、画像解析処理により良好な結果を得ることができる第１解析処理結果の種類が異なる場合があるためである。第１解析処理を候補画像の種類毎に行うことにより、候補画像に適した画像解析処理を行うことができ、最終的により高い精度で診断支援情報が得られる最適画像を選択できるため好ましい。候補画像の種類毎に行う第１解析処理は、それぞれ独立に、並列して実施することが好ましい。

　この場合、図２１に示すように、第１解析処理部７２は、候補画像の種類毎に設けた、第１画像第１解析処理部９１、第２画像第１解析処理部９２、第３画像第１解析処理部９３、第４画像第１解析処理部９４、第５画像第１解析処理部９５、及び第ｎ画像第１解析処理部９６の各第１解析処理部を備える。ｎは６以上の整数であり、候補画像の種類の数に応じた数の各画像用の第１解析処理部を備える。第１画像第１解析処理部９１は、第１候補画像に対して第１解析処理を行う。同様に、第２画像第１解析処理部９２は、第２候補画像に対して第１解析処理を行い、第３画像第１解析処理部９３は、第３候補画像に対して第１解析処理を行い、第４画像第１解析処理部９４は、第４候補画像に対して第１解析処理を行い、第５画像第１解析処理部９５は、第５候補画像に対して第１解析処理を行い、また、第ｎ画像第１解析処理部９６は、第ｎ候補画像に対して第１解析処理を行う。例えば、予め第１解析処理を行う対象を、第１候補画像、第２候補画像及び第５候補画像の３種類であると設定した場合、第１候補画像と、第２候補画像と、第５候補画像との３種類の候補画像を取得した場合では、それぞれ第１画像第１解析処理部９１、第２画像第１解析処理部９２、及び第５画像第１解析処理部９５の３個の第１解析処理部において、第１解析処理を行う。

　なお、複数種類の候補画像に対して同じ方法により第１解析処理を行う場合は、各第１解析処理部が、互いに異なる種類の候補画像の解析処理を行ってもよい。すなわち、各課題１解析処理部は、互いに異なる種類の候補画像に対して共通して用いられても良い。

　第１解析処理の方法としては、第１解析処理結果として第１診断支援情報が得られる方法を用いることができ、例えば、候補画像の画素値及び／又は輝度値等の画像に基づく値を用いる方法、画像から算出した酸素飽和度、もしくは血管密集度等の生体情報の値を用いる方法、候補画像が備える撮影条件等の情報を用いる方法、又は、観察対象における特定状態と、特定状態を含む観察対象を撮影することにより得た候補画像とを、予め対応付けた対応情報を用いる方法等が挙げられる。

　なお、観察対象における特定状態とは、第１診断支援情報の例と同様とすることができる。第１解析処理部７２は、観察対象の特定状態と、特定状態である観察対象を撮影することにより得た候補画像とを、予め対応付けた対応情報を取得する対応情報取得部（図示せず）を備えることが好ましい。対応情報は、予め観察対象の特定状態が判明している場合に、この観察対象を撮影することにより得た候補画像と、観察対象の特定状態又は特定状態の領域等の情報等を対応させた情報である。第１解析処理部７２又は各第１解析処理部は、対応情報に基づき、新たに取得した候補画像に対する第１解析処理を行うことが好ましい。

　図２２に示すように、特定状態について未知である新たに取得した候補画像を対応情報取得部に入力することにより、対応情報取得部が備える候補画像と観察対象の特定状態とが対応付けられた対応情報を用いて、新たに取得した候補画像における特定状態を推定して第１解析処理結果として出力することができる。また、対応情報取得部は、それぞれ新たに取得した候補画像と、推定により出力した第１解析処理結果が含む特定状態とを、対応情報としてさらに取得する学習を行ってもよい。

　対応情報は、第１画像第１解析処理部９１から第ｎ画像第１解析処理部９６までのそれぞれの第１解析処理部において、それぞれ備えることが好ましい。候補画像の種類毎に、特定の種類の特定状態が対応付けられた対応情報取得部を備えることにより、各種類の候補画像が画像認識処理により良好な結果を得ることができる。

　例えば、候補画像の種類が血管を強調した候補画像である第２候補画像である場合、第２候補画像に対応する第１解析処理部は、第２画像第１解析処理部９２において実施する。第２画像第１解析処理部９２は、観察対象の血管に関する特定状態に関する対応情報を含む対応情報取得部を備える。対応情報取得部は、対応情報に基づき第２候補画像の第１解析処理を行い、この第２候補画像が含む観察対象の特定状態に関する領域等の詳細を出力する。なお、特定状態に関する詳細等の出力には、「特定状態を含まない」といった内容も含む。

　各対応情報取得部は、例えば、機械学習における学習済みモデルである。より迅速にかつ高い精度で、新たに取得した候補画像における観察対象の特定状態が第１解析処理結果として得られることから、機械学習による学習済みモデルを対応情報取得部として用いた第１解析処理を行うことが好ましい。本実施形態においては、各対応情報取得部として、機械学習における学習済みモデルを用いて観察対象の特定状態を出力するための第１解析処理を行う。なお、この場合、学習済みモデルは、それぞれの種類の候補画像について学習したものを用いることが、良好な解析処理結果を得るために好ましい。したがって、例えば、第１画像第１解析処理部９１が備える対応情報と、第２画像第１解析処理部９２が備える対応情報とは、互いに異なる学習済みモデルであることが好ましい。

　図２３に示すように、例えば、第１画像第１解析処理部９１、第２画像第１解析処理部９２、及び第５画像第１解析処理部９５の３個の第１解析処理部において、それぞれ第１候補画像、第２候補画像、及び第５候補画像の第１解析処理を学習済みモデルを用いて画像解析処理を行い、それぞれの第１解析処理部より第１診断支援情報が得られ、計３個の第１診断支援情報が得られる。

　最適画像選択部７３は、第１解析処理により得られる第１解析結果に基づいて、候補画像取得部７１が取得した複数種類の候補画像から少なくとも１種類の候補画像を最適画像として選択する。第１解析処理は、１又は複数種類の候補画像に対して行うため、第１解析処理を行った候補画像の数に対応して、第１解析処理結果である第１診断支援情報が１又は複数個得られる。第１診断支援情報が複数個得られる場合は、これらを総合したものを第１診断支援情報とする。

　最適画像を選択する方法としては、各種の方法を用いることができる。例えば、第１診断支援情報と、複数種類の候補画像のうち第２解析処理に最も好ましい候補画像の種類とを対応付けた対応テーブルを、予め用意して用いることができる。

　なお、光源部２０が、発光周期を繰り返す場合、最適画像選択部７３は、１回の発光周期において得られる複数種類の候補画像から、少なくとも１つの最適画像を選択することが好ましい。これにより、発光周期が切り替わる度に、常に最新の最適画像が選択され、最新の診断支援情報が得られるため好ましい。

　図２４に示すように、例えば、候補画像を３種類取得して、第１診断支援情報が３個得られた場合、第１診断支援情報は、観察対象の被写体名及び内視鏡先端部１２ｄと観察対象との距離であり、具体的には、３個の第１診断支援情報のすべてが、被写体名が「粘膜」であり、内視鏡先端部１２ｄと観察対象との距離が「遠景」であったとする。最適画像選択部７３は、３個の第１診断支援情報を総合して、被写体名が「粘膜」であり、内視鏡先端部１２ｄと観察対象との距離が「遠景」であるとして、最適画像選択部７３が備える対応テーブル（図示せず）を用いて、最適画像として、例えば、１種類の候補画像の第１候補画像を選択する。

　第２解析処理部７４は、最適画像に対し第２解析処理を行うことにより第２解析処理結果を得る。第２解析処理結果は、最終的な診断支援情報としてユーザに通知等される。第２解析処理結果は、診断支援情報であることが好ましい。第２解析処理結果による診断支援情報を、第２診断支援情報とする。第２解析処理は、通常、１つ選択した候補画像である最適画像に対して行うため、第２診断支援情報は１つ得られる。

　第２診断支援情報の詳細は、第１診断支援情報と同様とすることができる。また、第２解析処理部７４は、最適画像とされた候補画像の種類毎に互いに異なる方法により第２解析処理を行ってもよい。第１解析処理と同様、候補画像の種類によって、画像解析処理により良好な結果を得ることができる第２診断支援情報の種類が異なる場合があるためである。第２解析処理を候補画像の種類毎に行うことにより、より高い精度で第２診断支援情報が得られるため好ましい。

　この場合、図２５に示すように、第２解析処理部７４は、候補画像の種類毎に設けた、第１画像第２解析処理部１０１、第２画像第２解析処理部１０２、第３画像第２解析処理部１０３、第４画像第２解析処理部１０４、第５画像第２解析処理部１０５、及び第ｎ画像第２解析処理部１０６を備える。ｎは６以上の整数であり、候補画像の種類の数に応じた数の各画像用の第２解析処理部を備える。第１画像第２解析処理部１０１は、最適画像が第１候補画像である場合に第２解析処理を行う。第２画像第２解析処理部１０２以降も同様である。

　第２解析処理の方法としては、第２解析処理結果として第２診断支援情報が得られる方法を用いることができ、第１解析処理の方法と同様とすることができる。なお、場合によっては、第１解析処理部７２が第２解析処理部７４を兼ねてもよいが、迅速に第２診断支援情報を得るためには、第１解析処理と第２解析処理とは独立して実施することが好ましい。また、第１解析処理と第２解析処理とは、互いに異なる内容の解析処理であることが好ましい。同じ内容の解析処理を採用することにより同じ内容の診断支援情報を得る場合は、同様の解析処理を２度行うことになり無駄な時間を要するおそれがあるためである。

　また、第２診断支援結果は、疾患に関する判定又は鑑定結果であることが好ましい。第２診断支援結果は、最終的な診断支援結果として、医師等のユーザに通知され、医師等は、この第２診断支援結果を参考として、観察対象について診断をしながら内視鏡検査を行うためである。第２診断支援結果は、例えば、疾患に関する指標値、疾患のステージに関する指標値、疾患のステージ、疾患の重症度、観察対象の病理状態、又は、疾患位置であることが好ましい。

　第２診断支援情報は、例えば、潰瘍性大腸炎の内視鏡的重症度の指標であるＭａｙｏスコアである。この場合、第２診断支援情報は、Ｍａｙｏスコアの０から３のいずれかである。また、例えば、第２診断支援情報は、潰瘍性大腸炎の病理ステージの指標であるＧｅｂｏｅｓスコアである。この場合、第２診断支援情報は、Ｇｅｂｏｅｓ０からＧｅｂｏｅｓ５、又は、Ｇｅｂｏｅｓ２ＡもしくはＧｅｂｏｅｓ２Ｂのいずれかである。また、例えば、第２診断支援情報は、胃がんにおけるステージである。したがって、この場合、第２診断支援情報は、ステージＩからＩＶまでのいずれかである。

　疾患の重症度または進行度は、治療方針の決定等において重要な判断材料となる。特に、重症度に応じた内科的治療が中心となる潰瘍性大腸炎等は、発症早期の的確な診断が重要であるため、内視鏡システム１０等により、内視鏡検査により重症度を高い精度で決定することは有益である。

　また、第１解析処理と第２解析処理とは、予め設定された内容により組み合わせて行うことが好ましい。第１解析処理結果が選択する候補画像は、第２解析処理において、より高い精度の第２診断支援情報を第２解析処理結果として得ることが好ましい。したがって、好ましい第１解析処理の内容と第２解析処理の内容とが予め設定できる場合がある。例えば、第１解析処理による第１解析処理結果が、観察対象の被写体名及び内視鏡先端部１２ｄと観察対象との距離である場合、近距離の場合は、注目領域等の詳細な観察を行っている可能性があり、粘膜表層の微細な構造等が写る内視鏡画像である可能性があることから、第２解析処理は、疾患の生体情報、ステージもしくは重症度の判定、又は正常部と境界線を含む病変部の領域を第２解析処理結果として得る種類の解析処理の方法を採用することが好ましい。一方、遠距離の場合は、全体の性状を観察するスクリーニングを行っている可能性があり、部位の全体的な状態が写る内視鏡画像である可能性があることから、部位名又は病変又は疾患の領域等を第２解析処理結果として得る種類の解析処理の方法を採用することが好ましい。

　なお、内視鏡先端部１２ｄと観察対象との距離が近距離という場合、候補画像は、ズームを用いた拡大観察により得られる内視鏡画像である場合がある。図２６に示すように、例えば、最適画像として第１候補画像が選択された場合、第１画像第２解析処理部１０１が第２解析処理を行う。第２解析処理の結果、第２解析処理結果である第２診断支援情報を得る。

　表示画像生成部７５は、ディスプレイ１８に表示する表示画像を生成する。表示画像は、複数種類の候補画像のうち少なくとも１種類の候補画像に基づく内視鏡画像であり、表示画像はディスプレイ１８に表示する。表示画像をどの種類の候補画像とするかは、予め設定できる。ディスプレイに表示する表示画像は、医師等のユーザが見て診断又は検査の方針の決定等を行うものであるため、人間にとって視認性が良い内視鏡画像であることが好ましい。例えば、図２７に示すように、表示画像を、白色光を用いた通常観察画像と同種の第１候補画像とする場合は、表示画像生成部７５は、通常観察画像処理部６１と同様に、必要な画像処理を行って、表示画像を生成する。生成した表示画像は、表示制御部５７に送る。

　表示制御部５７は、通常観察モードの場合には、通常観察画像をディスプレイ１８に表示し、特殊観察モードの場合には、特殊観察画像をディスプレイ１８に表示する。また、診断支援モードの場合には、表示画像をディスプレイ１８に表示する制御を行う。表示画像は、継続してディスプレイ１８に表示することが好ましい。なお、診断支援モードにおいて、表示画像として表示はされないが、取得されているその他の候補画像を、指示により切り替えて、表示画像としてディスプレイ１８に表示するようにしてもよい。図２８に示すように、例えば、表示画像１１１は、ディスプレイ１８に、現在のモード名であるモード名表示１１２、又は、表示画像の元となる候補画像の種類を示す内視鏡画像種類名表示１１３とともに表示する。

　以上のように構成することにより、画像処理装置として機能するプロセッサ装置１６、又は画像処理装置を備える内視鏡システム１０は、複数種類の候補画像から予め設定した種類の候補画像から第１診断支援情報を得た上で、第１診断支援情報を用いて第２解析処理を行う最適画像を決定するため、撮影により得た内視鏡画像を選択せずに、これらから得られる情報により解析処理を行う画像を選択する場合と比較して、解析処理を行う画像を選択する時間を省くことができる。また、第１解析処理による第１診断支援情報の個数が少ない場合であっても、第２解析処理において好ましい処理結果を得るための第１診断支援情報の内容を設定できるため、最終的に得られる診断支援情報である第２診断支援情報の精度が高い。したがって、画像処理装置として機能するプロセッサ装置１６、又は画像処理装置を備える内視鏡システム１０は、ＣＡＤによる診断支援情報を迅速にかつ高い精度で得ることができる。特に、重症度に応じた内科的治療が中心となる潰瘍性大腸等に対しては、発症早期の的確な診断が重要であるため、重症度を高い精度で決定することが有益であり、内視鏡システム１０等を好ましく用いることができる。

　なお、第２解析処理結果は、ユーザに通知できればよいため、ディスプレイ１８に表示する他、音声等で通知してもよいが、表示制御部５７は、第２解析処理結果をディスプレイ１８に表示する制御を行うことが好ましい。ディスプレイ１８への表示形態は、ユーザに、表示画像の視認性の妨げにならず、かつ、ひと目で把握できる形態であることが好ましい。したがって、第２解析処理結果である第２診断支援情報を、ディスプレイ１８の表示画像１１１以外の領域に表示してもよいし、表示画像１１１に対し画像処理を行うことにより、第２診断支援情報を表示画像１１１に重畳することにより表示してもよい。図２９に示すように、例えば、第２解析処理結果が、第２診断支援情報であって、Ｍａｙｏスコアである場合、病変の領域とスコアの数値とを、表示画像１１１に重畳して、色付けした枠表示１１４と短いテキスト表示１１５とにより示してもよい。

　第２解析処理結果がディスプレイ１８に表示されることにより、ユーザは、信頼性の高い診断支援情報を、迅速にひと目で把握することができる。また、表示画像が通常観察画像による診断では判別がつきにくい病変であっても、解析処理に適した最適画像に対し解析処理が行われているため、病変の見逃しを防止することができる。なお、第２解析処理結果が表示画像１１１に表示された後、ユーザは、表示画像の種類を、第２解析処理結果に示された病変の詳細観察を行いやすい種類の内視鏡画像に迅速に切り替えて、詳細に観察することができる。

　特に、表示画像１１１としていない種類の候補画像に表示画像１１１を切り替える場合は、表示はされていないがすでにその種類の候補画像は得られているため、迅速に切り替えて表示画像とすることができる。

　また、候補画像取得部７１は、光源部２０が発する白色の照明光により照明した観察対象を撮影することにより得られる内視鏡画像を、候補画像の１種として取得することが好ましい。白色の照明光による内視鏡画像は、人間にとって自然な色として認識できる画像であるため、表示画像とすることにより、医師等のユーザが内視鏡検査をスムーズに行うことができる。

　なお、光源部２０が、第１照明期間中に第１照明光を第１発光パターンにより発し、第２照明期間中に第２照明光を第２発光パターンにより発し、かつ、第１照明光と第２照明光とを切り替える光源用プロセッサと、第１照明光によって照明された観察対象を撮影して得られる第１内視鏡画像と、第２照明光によって照明された観察対象を撮影して得られる第２内視鏡画像とを出力する撮像センサとを備える場合、候補画像取得部７１は、第１内視鏡画像と第２内視鏡画像とを候補画像として取得することが好ましい。これにより、第１発光パターンと第２発光パターンとを組み合わせて、種々の照明光による複数種類の候補画像を得ることができるため、好ましい。

　なお、第１解析処理部７２は、複数種類の候補画像のうち予め設定した１種類の候補画像に対し、第１解析処理を行ってもよい。この場合の実施形態を以下に説明する。図３０に示すように、第１候補画像と、第２候補画像と、第５候補画像との、３種類の候補画像を取得した。第１候補画像は、白色光により得られる通常表示画像と同じ内視鏡画像であり、第２候補画像は、疑似カラー処理により、表層血管など特定深さの血管又は構造が強調された内視鏡画像であり、第５候補画像は、色差強調画像であり、異常部と正常部との色の差が強調された内視鏡画像である。これらの候補画像は、潰瘍性大腸炎罹患患者の大腸内視鏡診断において撮影された内視鏡画像に基づくものである。

　図３１に示すように、これらの候補画像のうち、表示画像生成部７５は、第１候補画像に基づいて、表示画像１１１を生成する。したがって、ディスプレイ１８には、第１候補画像に基づく表示画像１１１が表示される。また、第１解析処理部７２は、予め設定した１種類の候補画像である第１候補画像に対し、学習済みモデルによる第１解析処理を第１画像第１解析処理部７２により行い、第１診断支援情報として、観察対象の被写体名及び内視鏡先端部１２ｄと観察対象との距離を得る。具体的には、第１診断支援情報として、観察対象の被写体名として「粘膜」、及び、内視鏡先端部１２ｄと観察対象との距離として「遠景」の情報を得る。

　第１診断支援情報は、最適画像選択部７３に送る。最適画像選択部７３は、第１解析処理により得られる第１解析結果に基づいて、候補画像取得部７１が取得した第１候補画像と、第２候補画像と、第５候補画像との、３種類の候補画像から、第５候補画像を最適画像として選択する。最適画像選択部７３は、第５候補画像が色差強調処理がなされた内視鏡画像であり、観察条件が遠景である場合の診断に有効であるとの情報を予め有する。最適画像選択部７３が選択した第５候補画像は、第２解析処理部７４に送る。第２解析処理部７４は、選択された第５候補画像に基づいて、第２解析処理を行い、第２解析処理結果として、第２診断支援情報を得た。具体的には、第２解析処理部７４は、第５候補画像に対し、機械学習による学習済みモデルを用いて、粘膜の状態から、潰瘍性大腸炎用の内視鏡的重症度の指標であるＭａｙｏスコアを「３」と算出し、これを第２診断支援情報とする。

　表示制御部５７は、ディスプレイ１８に第１候補画像に基づく表示画像１１１を継続して表示する制御を行うが、第２解析処理部７４により第２解析処理結果が得られ次第、表示画像１１１に第２解析処理結果である第２診断支援情報を重畳するように、表示画像１１１の画像処理を行う。具体的には、第２診断支援情報は、「Ｍａｙｏスコア：３」であるので、表示画像１１１の右下部分に、「Ｍａｙｏ：３」との診断支援情報表示１１６により表示する。

　また、別の場合の実施形態を以下に説明する。図３２に示すように、第１候補画像と、第２候補画像と、第５候補画像との、３種類の候補画像を取得した。第１候補画像、第２候補画像、又は第５候補画像は、上記にて説明したのと同様である。これらの候補画像は、潰瘍性大腸炎罹患患者の大腸内視鏡診断において撮影された内視鏡画像に基づくものである。

　図３３に示すように、これらの候補画像のうち、表示画像生成部７５は、第１候補画像に基づいて、表示画像１１１を生成する。したがって、ディスプレイ１８には、第１候補画像に基づく表示画像１１１が表示される。また、第１解析処理部７２は、予め設定した１種類の候補画像である第１候補画像に対し、学習済みモデルによる第１解析処理を第１画像第１解析処理部７２により行い、第１診断支援情報として、観察対象の被写体名及び内視鏡先端部１２ｄと観察対象との距離を得た。具体的には、第１診断支援情報として、観察対象の被写体名として「粘膜」、及び、内視鏡先端部１２ｄと観察対象との距離として「近景」の情報を得る。

　第１診断支援情報は、最適画像選択部７３に送る。最適画像選択部７３は、第１解析処理により得られる第１解析結果に基づいて、候補画像取得部７１が取得した第１候補画像と、第２候補画像と、第５候補画像との、３種類の候補画像から、第２候補画像を最適画像として選択した。最適画像選択部７３は、第２候補画像が疑似カラー処理がなされ、表層血管の血管又は構造が強調された内視鏡画像であり、観察条件が近景である場合の診断に有効であるとの情報を予め有する。最適画像選択部７３が選択した第２候補画像は、第２解析処理部７４に送る。第２解析処理部７４は、選択された第２候補画像に基づいて、第２解析処理を行い、第２解析処理結果として、第２診断支援情報を得る。具体的には、第２解析処理部７４は、第２候補画像に対し、機械学習による学習済みモデルを用いて、粘膜の状態から、潰瘍性大腸炎用の病理ステージの指標であるＧｅｂｏｅｓスコアを「３」と算出し、これを第２診断支援情報とする。

　表示制御部５７は、ディスプレイ１８に第１候補画像に基づく表示画像１１１を継続して表示する制御を行うが、第２解析処理部７４により第２解析処理結果が得られ次第、表示画像１１１に第２解析処理結果である第２診断支援情報を重畳するように、表示画像１１１の画像処理を行う。具体的には、第２診断支援情報は、「Ｇｅｂｏｅｓスコア：３」であるので、表示画像１１１の右下部分に、「Ｇｅｂｏｅｓ：３」との診断支援情報表示１１６により表示する。

　以上のように、内視鏡システム１０等によれば、内視鏡検査において、特に、重症度に応じた内科的治療が中心となる潰瘍性大腸等に対し、発症早期の的確な診断が重要であることから、これらの重症度を、自動的に、迅速に、かつ、高い精度で決定することができる。

　次に、画像解析処理装置であるプロセッサ装置１６又は内視鏡システム１０が行う診断支援情報の表示のための処理の一連の流れについて、図３４に示すフローチャートに沿って説明を行う。候補画像取得部７１が、複数種類の候補画像を取得する（ステップＳＴ１１０）。表示画像生成部７５が、複数種類の候補画像のうち少なくとも１種類の候補画像に基づいて表示画像を生成する（ステップＳＴ１２０）。表示制御部５７が、表示画像をディスプレイ１８に表示する制御を行う（ステップＳＴ１３０）。

　第１解析処理部７２により第１解析処理を行うために、予め設定した種類の候補画像を選択する（ステップＳＴ１４０）。選択した候補画像に対し、第１解析処理を行う（ステップＳＴ１５０）。第１解析処理により第１解析処理結果を得る（ステップＳＴ１６０）。最適画像選択部７３が、第１解析処理結果に基づいて、複数種類の候補画像から少なくとも１種類の最適画像を選択する（ステップＳＴ１７０）。選択された最適画像に対し、第２解析処理部７４が、第２解析処理を行う（ステップＳＴ１８０）。第２解析処理により第２解析処理結果を得る（ステップＳＴ１９０）。表示制御部５７が、第２解析処理結果を表示画像に重畳してディスプレイ１８に表示する制御を行う（ステップＳＴ２００）。

　なお、表示画像生成部７５が表示画像を生成するステップＳＴ１２０と表示制御部５７がディスプレイに表示画像を表示する制御を行うステップＳＴ１３０とは、第１解析処理を行うために予め設定した種類の候補画像を選択するステップＳＴ１４０と、並行して行っても良い。

　上記実施形態及び変形例等においては、プロセッサ装置１６が画像処理装置として機能するが、プロセッサ装置１６とは別に、画像処理部５６を含む画像処理装置を設けてもよい。この他、図３５に示すように、画像処理部５６は、例えば内視鏡システム１０から直接的に、または、ＰＡＣＳ（Picture Archiving and Communication Systems）９１０から間接的に、内視鏡１２で撮影したＲＡＷ画像を取得する診断支援装置９１１に設けることができる。また、図３６に示すように、内視鏡システム１０を含む、第１検査装置９２１、第２検査装置９２２、…、第Ｋ検査装置９２３等の各種検査装置と、ネットワーク９２６を介して接続する医療業務支援装置９３０に、画像処理部５６を設けることができる。

　上記各実施形態及び変形例は、その一部または全部を任意に組み合わせて実施することができる。また、上記各実施形態及び変形例においては、内視鏡１２は可撓性の挿入部１２ａを有するいわゆる軟性内視鏡を用いているが、観察対象が嚥下して使用するカプセル型の内視鏡、外科手術等に使用する硬性内視鏡（腹腔鏡）を用いる場合も本発明は好適である。

　上記実施形態及び変形例等は、コンピュータに、内視鏡を用いて観察対象を撮影することにより得られる内視鏡画像に基づく複数種類の候補画像を取得する候補画像取得機能と、複数種類の候補画像のうち少なくとも１種類の候補画像に基づく表示画像をディスプレイに表示する制御を行う表示制御機能と、複数種類の候補画像のうち予め設定した１または複数種類の候補画像に対し第１解析処理を行う第１解析処理機能と、第１解析処理により得られる第１解析処理結果に基づいて、複数種類の候補画像から少なくとも１種類の候補画像を最適画像として選択する最適画像選択機能と、最適画像に対し第２解析処理を行うことにより診断支援情報を得る第２解析処理機能とを実現させるための画像処理装置用プログラムを含む。

　上記実施形態において、画像処理装置であるプロセッサ装置１６に含まれる中央制御部５１、画像取得部５２、画像処理部５６、及び表示制御部５７といった各種の処理を実行する画像用プロセッサ又は光源用プロセッサ２２等の処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

　なお、本発明は、内視鏡画像を取得等する内視鏡システム、プロセッサ装置、その他関連する装置等の他に、内視鏡画像以外の医療画像（動画を含む）を取得するシステムまたは装置等においても利用できる。例えば、本発明は、超音波検査装置、Ｘ線画像撮影装置（ＣＴ（Computed Tomography）検査装置及びマンモグラフィ装置等を含む）、ＭＲＩ（magnetic resonance imaging）装置、等に適用できる。

　１０　内視鏡システム
　１２　内視鏡
　１２ａ　挿入部
　１２ｂ　操作部
　１２ｃ　湾曲部
　１２ｄ　先端部
　１２ｅ　アングルノブ
　１２ｆ　スコープボタン１番
　１２ｇ　スコープボタン２番
　１２ｈ　ズーム操作部
　１４　光源装置
　１６　プロセッサ装置
　１８　ディスプレイ
　１９　キーボード
　２０　光源部
　２０ａ　Ｖ－ＬＥＤ
　２０ｂ　Ｂ－ＬＥＤ
　２０ｃ　Ｇ－ＬＥＤ
　２０ｄ　Ｒ－ＬＥＤ
　２２　光源用プロセッサ
　３０ａ　照明光学系
　３０ｂ　撮影光学系
　４１　ライトガイド
　４２　照明レンズ
　４３　対物レンズ
　４４　ズームレンズ
　４５　イメージセンサ
　４６　撮影用プロセッサ
　５１　中央制御部
　５２　画像取得部
　５３　ＤＳＰ
　５４　ノイズ低減部
　５５　変換部
　５６　画像処理部
　５７　表示制御部
　６１　通常観察画像処理部
　６２　特殊観察画像処理部
　６３　診断支援画像処理部
　７１　候補画像取得部
　７２　第１解析処理部
　７３　最適画像選択部
　７４　第２解析処理部
　７５　表示画像生成部
　８１　第１候補画像生成部
　８２　第２候補画像生成部
　８３　第３候補画像生成部
　８４　第４候補画像生成部
　８４ａ　酸素飽和度用信号比算出部
　８４ｂ　酸素飽和度算出用テーブル
　８４ｃ　酸素飽和度算出部
　８４ｄ　酸素飽和度画像生成部
　８５　第５候補画像生成部
　８５ａ　色差拡張用信号比算出部
　８５ｂ　色差拡張処理部
　８５ｃ　色差拡張画像生成部
　８６　第ｎ候補画像生成部
　９１　第１画像第１解析処理部
　９２　第２画像第１解析処理部
　９３　第３画像第１解析処理部
　９４　第４画像第１解析処理部
　９５　第５画像第１解析処理部
　９６　第ｎ画像第１解析処理部
　１０１　第１画像第２解析処理部
　１０２　第２画像第２解析処理部
　１０３　第３画像第２解析処理部
　１０４　第４画像第２解析処理部
　１０５　第５画像第２解析処理部
　１０６　第ｎ画像第２解析処理部
　１１１　表示画像
　１１２　モード名表示
　１１３　内視鏡画像種類名表示
　１１４　枠表示
　１１５　テキスト表示
　１１６　診断支援情報表示
　９１０　ＰＡＣＳ
　９１１　診断支援装置
　９２１　第１検査装置
　９２２　第２検査装置
　９２３　第Ｋ検査装置
　９２６　ネットワーク
　９３０　医療業務支援装置
　Ｐ１　第１照明期間
　Ｐ２　第２照明期間
　ＦＬ　フレーム
　Ｌ１　第１照明光
　Ｌ２ａ、Ｌ２ｂ　第２照明光
　Ｑ１、Ｑ２、Ｑ３、Ｑ４、Ｑ５　発光周期
　ＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４　第２照明光用分光スペクトル
　Ａ１、Ａ２　範囲
　ＥＬｘ、ＥＬ１、ＥＬ２、ＥＬ３、ＥＬ４、ＥＬｙ　酸素飽和度の等値線
　ＳＴ１１０～ＳＴ２００　ステップ

Claims

　画像用プロセッサを備える画像処理装置であって、
　前記画像用プロセッサは、
　内視鏡を用いて観察対象を撮影することにより得られる内視鏡画像に基づく複数種類の候補画像を取得し、
　複数種類の前記候補画像のうち少なくとも１種類の前記候補画像に基づく表示画像をディスプレイに表示する制御を行い、
　複数種類の前記候補画像のうち予め設定した１または複数種類の前記候補画像に対し第１解析処理を行い、
　前記第１解析処理により得られる第１解析処理結果に基づいて、複数種類の前記候補画像から少なくとも１種類の前記候補画像を最適画像として選択し、
　前記最適画像に対し第２解析処理を行うことにより第２解析処理結果を得る画像処理装置。
　前記画像用プロセッサは、前記第２解析処理結果を前記ディスプレイに表示する制御を行う請求項１に記載の画像処理装置。
　前記画像用プロセッサは、前記第２解析処理結果を前記表示画像に重畳して表示する制御を行う請求項１に記載の画像処理装置。
　前記第１解析処理と前記第２解析処理とは、互いに異なる内容の解析処理である請求項１ないし３のいずれか１項に記載の画像処理装置。
　前記内視鏡画像に対し強調処理を行うことにより前記候補画像を生成し、
　前記画像用プロセッサは、前記強調処理の有無又は種類により前記候補画像の種類を区別して、複数種類の前記候補画像を取得する請求項１ないし４のいずれか１項に記載の画像処理装置。
　前記強調処理は、色彩強調処理及び／又は構造強調処理である請求項５に記載の画像処理装置。
　請求項１ないし６のいずれか１項に記載の画像処理装置と、
　前記観察対象に照射する照明光を発する光源部とを備える内視鏡システム。
　前記画像用プロセッサは、前記光源部が発する互いに分光スペクトルが異なる複数種類の照明光のそれぞれにより照明した前記観察対象を撮影することにより得られる前記内視鏡画像を、互いに異なる種類の前記候補画像として取得する請求項７に記載の内視鏡システム。
　前記光源部は、互いに分光スペクトルが異なる複数種類の照明光のそれぞれを、予め設定した順序からなる発光周期により繰り返して発する請求項７又は８に記載の内視鏡システム。
　前記画像用プロセッサは、１回の前記発光周期において得られる複数種類の前記候補画像から、少なくとも１つの前記最適画像を選択する請求項９に記載の内視鏡システム。
　第１照明期間中に前記第１照明光を第１発光パターンにより発し、第２照明期間中に前記第２照明光を第２発光パターンにより発し、かつ、前記第１照明光と前記第２照明光とを切り替える光源用プロセッサと、
　前記第１照明光によって照明された観察対象を撮影して得られる第１内視鏡画像と、前記第２照明光によって照明された前記観察対象を撮影して得られる第２内視鏡画像とを出力する撮像センサとを備え、
　前記画像用プロセッサは、前記第１内視鏡画像と前記第２内視鏡画像とを前記候補画像として取得する請求項７ないし１０のいずれか１項に記載の内視鏡システム。
　前記画像用プロセッサは、前記光源部が発する白色の照明光により照明した前記観察対象を撮影することにより得られる前記内視鏡画像を、前記候補画像の１種として取得する請求項７ないし１１のいずれか１項に記載の内視鏡システム。
　前記画像用プロセッサは、前記光源部が発する予め設定した波長帯域の狭帯域光を含む照明光により照明した前記観察対象を撮影することにより得られる前記内視鏡画像を、前記候補画像の１種として取得する請求項７ないし１２のいずれか１項に記載の内視鏡システム。
　内視鏡を用いて観察対象を撮影することにより得られる内視鏡画像に基づく複数種類の候補画像を取得する候補画像取得ステップと、
　複数種類の前記候補画像のうち少なくとも１種類の前記候補画像に基づく表示画像をディスプレイに表示する制御を行う表示画像制御ステップと、
　複数種類の前記候補画像のうち予め設定した１または複数種類の前記候補画像に対し第１解析処理を行う第１解析処理ステップと、
　前記第１解析処理により得られる第１解析処理結果に基づいて、複数種類の前記候補画像から少なくとも１種類の候補画像を最適画像として選択する最適画像選択ステップと、
　前記最適画像に対し第２解析処理を行うことにより第２処理結果を得る第２解析処理ステップとを備える画像処理装置の作動方法。
　コンピュータに、
　内視鏡を用いて観察対象を撮影することにより得られる内視鏡画像に基づく複数種類の候補画像を取得する候補画像取得機能と、
　複数種類の前記候補画像のうち少なくとも１種類の前記候補画像に基づく表示画像をディスプレイに表示する制御を行う表示制御機能と、
　複数種類の前記候補画像のうち予め設定した１または複数種類の前記候補画像に対し第１解析処理を行う第１解析処理機能と、
　前記第１解析処理により得られる第１解析処理結果に基づいて、複数種類の前記候補画像から少なくとも１種類の候補画像を最適画像として選択する最適画像選択機能と、
　前記最適画像に対し第２解析処理を行うことにより診断支援情報を得る第２解析処理機能とを実現させるための画像処理装置用プログラム。