JP7508559B2 - 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム - Google Patents

Description

本発明は、画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラムに関する。

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いた診断では、画像強調内視鏡又は画像強調観察（ＩＥＥ、ｉｍａｇｅ ｅｎｈａｎｃｅｄ ｅｎｄｏｓｃｏｐｙ）と称される方法により、観察対象を内視鏡で撮影して得た画像（以下、内視鏡画像という）を用いて、観察対象の表面構造、病変又は生体情報等を強調して表示し、医師が観察対象を診断するための診断支援情報を得ることが行われている。

ＩＥＥには、観察対象を撮像して得た内視鏡画像をデジタル画像処理して用いる方法、又は、観察対象を特定の照明光により照明して撮像した内視鏡画像を用いる方法等により、各種類の内視鏡画像とする方法が知られている。例えば、医師が特定の種類の内視鏡画像を選択することにより、観察対象において血管が密集する領域、又は酸素飽和度が低い領域等の生体情報を判定し、これらの領域を強調してディスプレイ等に表示する。このような表示は、医師が観察対象を診断するための診断支援情報として有用である。

また、ＩＥＥ等による各種の内視鏡画像を画像解析することにより、観察対象における病変の可能性がある領域の範囲、又は、炎症度等から、疾患のステージ等を判定し、得られた判定結果を診断支援情報としてディスプレイに表示して提供するＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ）技術も開発されている。例えば、ＩＥＥによる内視鏡画像を用いて、潰瘍性大腸炎のステージ等の疾患の重症度又は進行度を高い精度で判定する内視鏡システムが知られている（特許文献１）。

特開２０２０－６５６８５号公報

ＩＥＥ又はＣＡＤ等では、内視鏡のユーザである医師の指示に従って、特定の種類の内視鏡画像をディスプレイに表示し、また、ディスプレイに表示した内視鏡画像の画像解析により画像解析結果を得て診断支援情報とする。例えば、医師が、観察対象を明るく自然な色により観察することを希望した場合、照明光を白色光として観察対象を撮像した内視鏡画像がディスプレイに表示され、この内視鏡画像を用いて画像解析が行われ、画像解析結果に基づく診断支援情報が得られる。一方、医師が、観察対象の表層血管が密集する病変の詳細な観察を希望した場合、白色光による内視鏡画像と比べて明るさは劣るが、表層血管が強調されたＩＥＥによる内視鏡画像がディスプレイに表示され、この内視鏡画像を用いて画像解析が行われ、画像解析結果に基づく診断支援情報が得られる。

このように、ＩＥＥ又はＣＡＤによる内視鏡画像の種類により、得られる効果、目的又は用途が異なるため、医師の指示等によりディスプレイに表示された内視鏡画像の種類の画像解析では、必ずしも良好に得られない診断支援情報があり得る。一方、別の種類の内視鏡画像では、この診断支援情報が良好に得られる場合がある。したがって、内視鏡による観察において、ＩＥＥ又はＣＡＤを用いる際に、例えば、別の種類の内視鏡画像を用いた画像解析では良好に得られる診断支援情報であるにもかかわらず、内視鏡画像の種類によっては、同じ画像解析を行ってもこの診断支援情報が良好に得られないために、病変等の観察対象の異常を見逃す可能性があった。

本発明は、内視鏡画像において注目すべき領域の見逃しを防ぐ画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラムを提供することを目的とする。

本発明は、内視鏡を用いて観察対象を撮像することにより得られる画像に基づいて画像解析を行う画像解析処理装置であって、プロセッサを備える。プロセッサは、画像解析に用いる複数種類の解析用画像を取得し、解析用画像の種類毎に並列して、解析用画像の画像解析を行い、画像解析による解析結果を複数取得し、複数の解析結果に基づく解析結果表示と、複数種類の解析用画像のうち少なくとも１種類の解析用画像に基づく表示画像とを、ディスプレイに表示する制御を行う。

プロセッサは、解析用画像の種類毎に独立して、画像解析を行うことが好ましい。

プロセッサは、観察対象における特定の状態と、特定の状態を含む観察対象を撮像することにより得た解析用画像とを、予め対応付けた対応情報を取得し、解析用画像と対応情報とに基づき、解析結果を得ることが好ましい。

プロセッサは、対応情報を解析用画像の種類毎に取得し、解析用画像と、解析用画像の種類に対応して取得された対応情報とに基づき、解析結果を得ることが好ましい。

特定の状態は、観察対象の構造が異常である状態、観察対象が特定の病変である状態、及び、観察対象の生体情報の値が異常である状態のうち少なくとも１つであることが好ましい。

解析結果は、観察対象における特定の状態の領域の情報を含むことが好ましい。

解析結果は、解析結果に関する確度を含むことが好ましい。

プロセッサは、複数の解析結果を比較することにより、解析結果に関する確度が最も高い解析結果を注目解析結果として選択し、注目解析結果を含む解析結果表示を作成することが好ましい。

プロセッサは、画像に対し強調処理を行うことにより、第１解析用画像を生成し、解析用画像の１種として第１解析用画像を取得することが好ましい。

プロセッサは、画像に対し色彩強調処理又は構造強調処理を行うことが好ましい。

プロセッサは、解析結果を、解析結果が得られた解析用画像の種類と対応付けて取得し、解析結果と解析結果が得られた解析用画像の種類との関連付けを示す凡例表示をディスプレイに表示する制御を行うことが好ましい。

また、本発明は、内視鏡システムであって、画像解析処理装置と、観察対象に照射する照明光を発する光源部とを備える。

プロセッサは、光源部が発する互いに分光スペクトルが異なる複数の照明光のそれぞれにより照明した観察対象を撮像することにより得られる画像を、互いに異なる種類の解析用画像として取得することが好ましい。

プロセッサは、光源部が発する白色の照明光により照明した観察対象を撮像することにより得られる画像を、解析用画像の１種として取得することが好ましい。

プロセッサは、光源部が発する予め設定した波長帯域の狭帯域光を含む照明光により照明した観察対象を撮像することにより得られる画像を、解析用画像の１種として取得することが好ましい。

光源部は、互いに分光スペクトルが異なる複数の照明光のそれぞれを、予め設定した順序により繰り返し発光することが好ましい。

プロセッサは、解析結果を、解析結果が得られた解析用画像の種類と対応付けて取得し、解析結果と解析結果が得られた解析用画像の種類との関連付けを示す凡例表示をディスプレイに表示する制御を行うことが好ましい。

また、本発明は、内視鏡を用いて観察対象を撮像することにより得られる画像に基づいて画像解析を行う画像解析処理装置の作動方法であって、画像解析に用いる複数種類の解析用画像を取得する解析用画像取得ステップと、解析用画像の種類毎に並列して、解析用画像に対する画像解析を行う画像解析処理ステップと、画像解析による解析結果を複数取得する解析結果取得ステップと、複数の解析結果に基づく解析結果表示と、複数種類の解析用画像のうち少なくとも１種類の解析用画像とを含む表示画像をディスプレイに表示する制御を行う表示制御ステップとを備える。

また、本発明は、内視鏡を用いて観察対象を撮像することにより得られる画像に基づいて画像解析を行う画像解析処理装置にインストールされる画像解析処理装置用プログラムであって、コンピュータに、画像解析に用いる複数種類の解析用画像を取得する解析用画像取得機能と、解析用画像の種類毎に並列して、解析用画像に対する画像解析を行う画像解析処理機能と、画像解析による解析結果を複数取得する解析結果取得機能と、複数の解析結果に基づく解析結果表示と、複数種類の解析用画像のうち少なくとも１種類の解析用画像とを含む表示画像をディスプレイに表示する制御を行う表示制御機能とをを実現させるための画像解析処理装置用プログラムである。

本発明によれば、内視鏡画像において注目すべき領域の見逃しを防ぐことができる。

内視鏡システムの外観図である。 内視鏡の操作部の外観図である。 内視鏡システムの機能を示すブロック図である。 通常光のスペクトルを示すグラフである。 特殊光のスペクトルを示すグラフである。 照明光パターンを説明する説明図である。 画像処理部の機能を示すブロック図である。 画像解析処理部の機能を示すブロック図である。 対応情報取得部の機能を説明する説明図である。 各対応情報処理部を備える画像解析処理部の機能を示すブロック図である。 表示画像生成部の機能を示すブロック図である。 第１解析結果表示を説明する画像図である。 第２解析結果表示を説明する画像図である。 観察画像の画像図である。 観察画像に２種類の解析結果表示である図形を重畳した表示画像を説明する画像図である。 第２解析結果表示である図形と文字とを説明する画像図である。 注目解析結果選択部を備える画像処理部の機能を示すブロック図である。 注目解析結果選択部が選択した解析結果を示す図形等を説明する画像図である。 注目解析結果選択部が選択した解析結果を示す図形等を観察画像に重畳した表示画像を説明する画像図である。 第１解析結果表示である図形と文字とを説明する画像図である。 解析結果表示である図形と文字とを観察画像に重畳した表示画像を説明する画像図である。 凡例表示を備える表示画像を説明する画像図である。 表示されない画像に基づく解析結果表示を目立たないように表示する表示画像を説明する画像図である。 表示されない画像に基づく解析結果表示を文字により表示する表示画像を説明する画像図である。 第２特殊光のスペクトルを示すグラフである。 第２特殊光を含む照明光パターンを説明する説明図である。 ３種類の解析結果表示を観察画像に重畳した表示画像を説明する画像図である。 画像解析処理装置の処理の流れを説明するフロー図である。 診断支援装置を示す説明図である。 医療業務支援装置を示す説明図である。

図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、ディスプレイ１８と、キーボード１９とを備える。内視鏡１２は、観察対象を撮影する。光源装置１４は、観察対象に照射する照明光を発する。プロセッサ装置１６は、画像解析処理装置であり、内視鏡システム１０のシステム制御、及び、内視鏡画像の画像解析処理等を行う。ディスプレイ１８は、内視鏡画像等を含む表示画像を表示する表示部である。キーボード１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスである。

内視鏡システム１０は、観察モードとして、通常モードと特殊モードと画像解析モードとの３つのモードを備える。通常モードでは、通常光を観察対象に照射して撮像することによって、自然な色合いの通常光画像を表示画像としてディスプレイ１８に表示する。特殊モードでは、通常光と波長帯域又は分光スペクトルが異なる特殊光を観察対象に照明して撮像することによって、観察対象の特定の構造等を強調した特殊光画像を表示画像としてディスプレイ１８に表示する。画像解析モードでは、通常光又は特殊光を観察対象に照射して撮像することによって得た通常光画像又は特殊光画像をディスプレイ１８に表示する際に、通常光画像又は特殊光画像等に基づく複数種類の解析用画像を画像解析することにより、複数の解析結果を得る。そして、通常光画像又は特殊光画像等の観察画像に、複数の解析結果に基づく解析結果表示を重畳した表示画像をディスプレイ１８に表示する。なお、通常モード又は画像解析モードにおいて、視認性が良い画像であれば、強調処理等を行った強調画像であっても、通常光画像又は特殊光画像として表示に用いてもよい。

画像解析に用いる解析用画像の種類は、照明光の種類及び強調処理の種類により区分する。したがって、照明光が同じである内視鏡画像は、同種の解析用画像であり、照明光が異なる内視鏡画像は、別種の解析用画像である。また、同じ方法により強調処理を行った内視鏡画像は、同種の解析用画像であり、別の方法により強調処理を行った内視鏡画像は、別種の解析用画像である。照明光の種類は、照明光の分光スペクトルにより区分する。照明光が異なる場合は、照明光の分光スペクトルが異なる。したがって、例えば、白色光により撮像された内視鏡画像と、白色光以外の照明光により撮像された内視鏡画像とは、別種の解析用画像である。また、強調処理の種類は、強調処理の方法により区分する。したがって、例えば、白色光により撮像され、色彩強調処理を実施した内視鏡画像と、白色光により撮像され、構造強調処理を実施した内視鏡画像とは、別種の解析用画像である。

内視鏡１２は、観察対象を有する被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄとを有している。操作部１２ｂのアングルノブ１２ｅ（図２参照）を操作することにより、湾曲部１２ｃが湾曲する。その結果、先端部１２ｄが所望の方向に向く。また、図２に示すように、操作部１２ｂには、アングルノブ１２ｅの他、処置具挿入口１２ｆ、スコープボタン１２ｇ、及び、ズーム操作部１３が設けられている。処置具挿入口１２ｆは、生検鉗子、スネア、または、電気メス等の処置具を挿入する入り口である。処置具挿入口１２ｆに挿入した処置具は、先端部１２ｄから突出する。スコープボタン１２ｇには各種の操作を割り当てることができ、本実施形態では観察モードを切り替える操作に使用する。ズーム操作部１３を操作することによって、観察対象を拡大または縮小して撮影できる。

図３に示すように、光源装置１４は、照明光を発する光源を備える光源部２０と、光源部２０の動作を制御する光源制御部２２とを備える。光源部２０は、観察対象を照明する照明光を発する。照明光には、照明光を発するために使用する励起光等の発光を含む。光源部２０は、例えば、レーザーダイオード、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、キセノンランプ、または、ハロゲンランプの光源を含み、少なくとも、白色の照明光、または、白色の照明光を発するために使用する励起光を発する。白色には、内視鏡１２を用いた観察対象の撮影において実質的に白色と同等な、いわゆる擬似白色を含む。

光源部２０は、必要に応じて、励起光の照射を受けて発光する蛍光体、または、照明光または励起光の波長帯域、分光スペクトル、もしくは光量等を調節する光学フィルタ等を含む。この他、光源部２０は、少なくとも狭帯域な光（以下、狭帯域光という）からなる照明光を発することができる。また、光源部２０は、互いに分光スペクトルが異なる複数の照明光を発することができる。照明光は、狭帯域光を含んでも良い。また、光源部２０は、例えば、観察対象が含むヘモグロビンの酸素飽和度等の生体情報を算出するために使用する画像の撮影に必要な、特定の波長帯域又は分光スペクトルを有する光を発することができる。

「狭帯域」とは、観察対象の特性及び／またはイメージセンサ４５が有するカラーフィルタの分光特性との関係において、実質的にほぼ単一の波長帯域であることをいう。例えば、波長帯域が例えば約±２０ｎｍ以下（好ましくは約±１０ｎｍ以下）である場合、この光は狭帯域である。

本実施形態では、光源部２０は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄの４色のＬＥＤを有する。Ｖ－ＬＥＤ２０ａは、中心波長４０５ｎｍ、波長帯域３８０～４２０ｎｍの紫色光ＶＬを発光する。Ｂ－ＬＥＤ２０ｂは、中心波長４６０ｎｍ、波長帯域４２０～５００ｎｍの青色光ＢＬを発光する。Ｇ－ＬＥＤ２０ｃは、波長帯域が４８０～６００ｎｍに及ぶ緑色光ＧＬを発光する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長帯域が６００～６５０ｎｍに及ぶ赤色光ＲＬを発光する。なお、Ｖ－ＬＥＤ２０ａとＢ－ＬＥＤ２０ｂの中心波長は約±２０ｎｍ、好ましくは約±５ｎｍから約±１０ｎｍ程度の幅を有する。なお、紫色光ＶＬは、特殊モード又は画像解析モードにて用いる表層血管の密集、粘膜内出血、及び粘膜外出血を検出するために用いられる短波長の光であり、中心波長又はピーク波長に４１０ｎｍを含めることが好ましい。また、紫色光ＶＬは、狭帯域光であることが好ましい。

光源制御部２２は、光源部２０を構成する各光源の点灯または消灯もしくは遮蔽のタイミング、及び、発光量等を制御する。その結果、光源部２０は、分光スペクトルが異なる複数種類の照明光を、予め設定した期間及び発光量で発することができる。本実施形態においては、光源制御部２２は、各ＬＥＤ２０ａ～２０ｄの点灯や消灯、点灯時の発光量、又は光学フィルタの挿抜等を、各々に独立した制御信号を入力することにより、照明光の分光スペクトルを調節する。これにより、光源部２０は白色の照明光、分光スペクトルが異なる複数種類の照明光、又は、少なくとも狭帯域光からなる照明光等を発する。白色光の照明光を含め、互いに分光スペクトルが異なる複数の照明光のそれぞれにより照明した観察対象を撮像することにより得られる内視鏡画像は、互いに異なる種類の解析用画像である。

本実施形態では、図４に示すように、光源部２０は、光源制御部２２の制御により、通常光ＮＬとして、白色の照明光を発する。通常モード又は画像解析モードに設定している場合、光源制御部２２は、紫色光ＶＬ、青色光ＢＬ、緑色光ＧＬ、及び赤色光ＲＬ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる白色光を発するように、各ＬＥＤ２０ａ～２０ｄを制御する。光強度比Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃは、白色の照明光の光量条件に対応する。光源部２０が発する白色の照明光により照明した観察対象を撮像することにより得られる通常光画像は、解析用画像の１種である。

特殊モード及び画像解析モードに設定している場合、光源制御部２２は、特殊光として、紫色光ＶＬ、青色光ＢＬ、緑色光ＧＬ、及び赤色光ＲＬ間の光強度比がＶｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１となる特殊光を発するように、各ＬＥＤ２０ａ～２０ｄを制御する。光強度比Ｖｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１は、特殊光の光量条件に対応する。特殊光は、表層血管及びポリープ等の構造を強調することが好ましい。そのため、特殊光は、紫色光ＶＬの光強度を青色光ＢＬの光強度よりも大きくすることが好ましい。例えば、図５に示すように、紫色光ＶＬの光強度Ｖｓ１と青色光ＢＬの光強度Ｂｓ１との比率を「４：１」とする。本実施形態の特殊光ＳＬは、狭帯域光の紫色光ＶＬを含む照明光である。光源部２０が発する特殊光ＳＬにより照明した観察対象を撮像することにより得られる特殊光画像は、解析用画像の１種である。

なお、本明細書において、光強度比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光ＶＬ、青色光ＢＬ、緑色光ＧＬ、及び赤色光ＲＬ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有するものとする。

光源部２０は、互いに分光スペクトルが異なる複数の照明光のそれぞれを、予め設定した順序により繰り返し発することが好ましい。本実施形態では、通常光ＮＬと特殊光ＳＬとは、予め設定した順序により繰り返し発光する。本実施形態では、光源制御部２２は、例えば、図６に示すように、通常光ＮＬを５フレーム（５ＦＬ）続けて発光し、次に、特殊光ＳＬを１フレーム（１ＦＬ）発光し、再度通常光ＮＬを５フレーム（５ＦＬ）続けて発光し、再度特殊光ＳＬを１フレーム（１ＦＬ）発光する。通常光ＮＬを５フレーム（５ＦＬ）続けて発光し、次に、特殊光ＳＬを１フレーム（１ＦＬ）発光する順序からなる照明パターンを１周期（１ＣＹ）として、この周期を繰り返す。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂが設けられている（図３参照）。照明光学系３０ａは、照明レンズ４２を有しており、この照明レンズ４２を介して照明光が観察対象に向けて出射する。

撮影光学系３０ｂは、対物レンズ４３、ズームレンズ４４、及びイメージセンサ４５を有する。イメージセンサ４５は、対物レンズ４３及びズームレンズ４４を介して、観察対象から戻る照明光の反射光等（反射光の他、散乱光、観察対象が発光する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む）を用いて観察対象を撮影する。ズームレンズ４４は、ズーム操作部１３の操作をすることで移動し、観察対象像を拡大または縮小する。

イメージセンサ４５は、画素ごとに、複数色のカラーフィルタのうち１色のカラーフィルタを有する。本実施形態においては、イメージセンサ４５は原色系のカラーフィルタを有するカラーセンサである。具体的には、イメージセンサ４５は、赤色カラーフィルタ（Ｒフィルタ）を有するＲ画素と、緑色カラーフィルタ（Ｇフィルタ）を有するＧ画素と、青色カラーフィルタ（Ｂフィルタ）を有するＢ画素と、を有する。

なお、イメージセンサ４５としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを利用可能である。また、本実施形態のイメージセンサ４５は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色－原色色変換をすれば、原色系のカラーセンサで得る画像と同様の画像に変換できる。原色系または補色系のセンサにおいて、Ｗ画素（ほぼ全波長帯域の光を受光するホワイト画素）等、上記以外の特性を有する画素を１または複数種類有する場合も同様である。また、本実施形態のイメージセンサ４５はカラーセンサであるが、カラーフィルタを有しないモノクロのセンサを使用してもよい。

プロセッサ装置１６には、後述するような制御部５１、画像取得部５２、画像処理部５６、及び表示制御部５７等が行う処理等に関するプログラムがメモリ（図示せず）に組み込まれている。画像解析処理装置として機能するプロセッサ装置１６が備えるプロセッサにより構成される制御部５１によってそのプログラムが動作することで、制御部５１、画像取得部５２、画像処理部５６、及び表示制御部５７の機能が実現する。

制御部５１は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。キーボード１９等を用いて、各種設定の入力等をした場合には、制御部５１は、その設定を、光源制御部２２、イメージセンサ４５、又は画像処理部５６等の内視鏡システム１０の各部に入力する。

画像取得部５２は、イメージセンサ４５から、各色の画素を用いて観察対象を撮影した画像、すなわちＲＡＷ画像を取得する。また、ＲＡＷ画像は、デモザイク処理を実施する前の画像（内視鏡画像）である。デモザイク処理を実施する前の画像であれば、イメージセンサ４５から取得した画像に対してノイズ低減処理等の任意の処理を実施した画像もＲＡＷ画像に含む。

画像取得部５２は、取得したＲＡＷ画像に必要に応じて各種処理を施すために、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）５３と、ノイズ低減部５４と、変換部５５と、を備える。

ＤＳＰ５３は、例えば、オフセット処理部、欠陥補正処理部、デモザイク処理部、リニアマトリクス処理部、及び、ＹＣ変換処理部、等（いずれも図示しない）を備える。ＤＳＰ５３は、これらを用いてＲＡＷ画像またはＲＡＷ画像を用いて生成した画像に対して各種処理を施す。

オフセット処理部は、ＲＡＷ画像に対してオフセット処理を施す。オフセット処理は、ＲＡＷ画像から暗電流成分を低減し、正確な零レベルを設定する処理である。オフセット処理は、クランプ処理と称する場合がある。欠陥補正処理部は、ＲＡＷ画像に対して欠陥補正処理を施す。欠陥補正処理は、イメージセンサ４５が製造工程または経時変化に起因する欠陥を有する画素（欠陥画素）を含む場合に、イメージセンサ４５の欠陥画素に対応するＲＡＷ画素の画素値を補正または生成する処理である。

デモザイク処理部は、各色のカラーフィルタに対応する各色のＲＡＷ画像に対してデモザイク処理を施す。デモザイク処理は、ＲＡＷ画像においてカラーフィルタの配列に起因して欠落する画素値を補間によって生成する処理である。リニアマトリクス処理部は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像に対してリニアマトリクス処理を行う。リニアマトリクス処理は、内視鏡画像の色再現性を高める処理である。ＹＣ変換処理部が行うＹＣ変換処理は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に変換する処理である。

ノイズ低減部５４は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５５は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色のチャンネルを有する内視鏡画像に再変換する。

画像処理部５６は、画像取得部５２が出力する内視鏡画像に対し、必要な画像処理、画像解析、又は演算等を行う。図７に示すように、画像処理部５６は、強調処理部６１、解析用画像取得部６２、画像解析処理部６３、解析結果取得部６４、及び、表示画像生成部６５、を備える。強調処理部６１は、色彩強調部６６、及び構造強調部６７を備える。

強調処理部６１は、画像取得部５２が出力する内視鏡画像に強調処理を行う。解析用画像取得部６２は、画像解析に用いる複数種類の解析用画像を取得する。画像解析処理部６３は、解析用画像の種類毎に、並列して、解析用画像の画像解析を行う。解析結果取得部６４は、画像解析による解析結果を複数取得する。表示画像生成部６５は、ディスプレイ１８に表示するための解析結果表示と観察画像とを生成する。

強調処理部６１が行う強調処理とは、強調処理前の内視鏡画像に対し、他の組織または構造等と区別して、特定の部分の情報を得られるように処理することをいう。例えば、特定の特徴を有する部分を、他の部分（例えば正常な粘膜等）に対して相対的に色彩もしくは明るさを変更する等の処理は強調処理である。強調処理部６１が処理を行う内視鏡画像は、通常光画像でも特殊光画像でもよい。強調処理を行った内視鏡画像は、解析用画像の１種として用いる。

色彩強調部６６は、例えば、観察対象における正常な領域と異常な領域との境界が色及び彩度により明瞭に表される内視鏡画像となるように、取得した内視鏡画像に対して色彩強調処理を行う。色彩強調部６６は、取得した内視鏡画像において、色情報変換処理を行う。色情報変換処理は、取得した内視鏡画像について、色空間上に分布する複数の範囲のそれぞれを、変換前の範囲と対応付けられた変換先の範囲に移す処理である。色彩強調部６６により処理された内視鏡画像は、正常な領域と異常な領域との境界が明瞭であるため、より容易に、また、精度良く、異常な領域を特定領域として判定することができる画像である。色彩強調処理を行った内視鏡画像は、解析用画像の１種である、第１解析用画像である。

構造強調部６７は、例えば、観察対象における血管が強調されて表された内視鏡画像となるように、取得した内視鏡画像に対して構造強調処理を行う。構造強調部６７は、取得した内視鏡画像において、横軸に画素値（輝度値）を、縦軸に頻度を取ったグラフである濃度ヒストグラムを求め、画像処理部５６のメモリ（図示せず）等に予め記憶しておいた階調補正テーブルにより、階調補正を行う。階調補正テーブルは、横軸が入力値を、縦軸が出力値を表し、入力値と出力値の対応関係を示す階調補正カーブを有しており、例えば、略Ｓ字形状の階調補正カーブに基づいて階調補正を行って、取得した内視鏡画像のダイナミックレンジを広げる。これにより、構造強調の強調処理前の原画像において濃度が低い部分は、濃度がより低く、濃度が高い部分はより高くなるようになるため、例えば、血管領域と血管が存在しない領域の濃度差が広がって、血管のコントラストが向上する。したがって、構造強調部６７により処理された内視鏡画像は、血管のコントラストが向上されているため、血管の構造の視認性が高められており、より容易に、また、精度良く、例えば、血管の密集度が高い領域を特定領域として判定することができる画像である。構造強調処理を行った内視鏡画像は、解析用画像の１種である、第１解析用画像である。

解析用画像取得部６２は、複数種類の解析用画像を取得する。解析用画像は、画像取得部５２から出力する通常光画像又は特殊光画像に基づく画像である。強調処理を行わない通常光画像又は特殊光画像、及び、強調処理を行った通常光画像又は特殊光画像を解析用画像とする。解析用画像の種類は、照明光の種類、及び強調処理の方法により区別する。本実施形態では、複数種類の解析用画像として、通常光により照明した観察対象を撮像して得られた通常光画像と、特殊光により照明した観察対象を撮像して得られた特殊光画像との２種類の解析用画像を取得する。なお、本実施形態では、強調処理を行わない。

画像解析処理部６３は、解析用画像取得部６２が取得した解析用画像に対し、解析用画像の種類毎に並列して、画像解析を行う。並列して画像解析を行うとは、解析用画像の各種類毎の画像解析処理部（図８参照）が複数あり、これらの画像解析をそれぞれ行うことを意味する。解析用画像の各種類毎の画像解析処理は、同時に実施しても、同時でなくそれぞれ実施してもよい。したがって、画像解析処理部６３は、解析用画像の種類毎に、独立して、画像解析を行うことができる。本実施形態では、解析用画像が取得される度に、取得された解析用画像に対して、対応する画像解析処理部により画像解析を行う。

図８に示すように、画像解析処理部６３は、解析用画像の種類毎に設けた、第１画像用解析部７１、第２画像用解析部７２、及び第３画像用解析部７３を備え、解析用画像の種類の数に対応して、第ｎ画像用解析部７４までの各画像用解析部を備える。このように、画像解析処理部６３は、解析用画像の種類毎に、解析用画像の各種類に対応する画像用解析部を備え、各画像用解析部により解析用画像の種類毎に画像解析を行うため、解析用画像の種類毎に並列して画像解析を行う。本実施形態では、第１画像用解析部７１において通常光画像の画像解析を実施し、第２画像用解析部７２において特殊光画像の画像解析を実施し、第１画像用解析部７１と第２画像用解析部７２は、並列して作動する。

画像解析は、従来行われている画像解析の方法を用いることができる。画像解析処理部６３において、第１画像用解析部７１から第ｎ画像用解析部７４までの各画像用解析部が、同じ方法の画像解析を実施しても良いし、解析用画像の種類に応じて、各画像用解析部が互いに異なる方法の画像解析を実施してもよい。解析用画像の種類に応じて異なる方法の画像解析を実施する場合は、解析用画像の種類に応じて、良好な解析結果が得られる画像解析の方法を選択して行うことが好ましい。

画像解析の方法としては、画像処理を用いる方法、又は、機械学習の手法を用いる方法等が挙げられる。具体的には、例えば、画像の画素値及び／又は輝度値等の値を用いる方法、画像から算出した酸素飽和度等の生体情報の値を算出する方法、又は、観察対象における特定の状態と、特定の状態を含む観察対象を撮像することにより得た各解析用画像とを、予め対応付けた対応情報を用いる方法等が挙げられる。画像解析のこれらの方法により、病変の有無、病変である確率、病変の進行度等、又は解析結果の確度等を判定する。

画像解析処理部６３は、観察対象における特定の状態と、特定の状態を含む観察対象を撮像することにより得た解析用画像とを、予め対応付けた対応情報を取得する対応情報取得部を備えることが好ましい。そして、画像解析処理部６３は、解析用画像と対応情報とに基づき、解析結果を得ることが好ましい。

観察対象における特定の状態とは、例えば、観察対象の色味の状態、又は構造等が異常である状態、観察対象が特定の病変である状態、観察対象の生体情報の値が異常である状態、又は、観察対象に病変等が存在せず正常もしくは健康な状態等であり、予め設定する。具体的には、観察対象が大腸である場合、特定の状態とは、例えば、大腸粘膜における炎症、発赤、潰瘍、ポリープ、もしくは出血等の異常、がん、もしくは潰瘍性大腸炎等の病変、又は、酸素飽和度が極端に低い等の生体情報の異常を有する状態として設定する。

対応情報は、予め観察対象がある特定の状態であることが判明している場合に、この観察対象を撮像することにより得た解析用画像と、観察対象の特定の状態の詳細及びその領域の情報等を対応させた情報である。対応情報取得部は、予め対応情報を複数取得している。したがって、図９に示すように、特定の状態について未知である取得した解析用画像を、対応情報取得部に入力することにより、対応情報取得部は、複数の対応情報に基づきこの解析用画像を画像解析し、この解析用画像が含む観察対象の特定の状態に関する領域又は詳細等を出力する。なお、特定の状態に関する領域又は詳細等の出力には、「特定の状態の領域がない」といった内容も含む。

対応情報取得部は、対応情報を解析用画像の種類毎に取得し、画像解析処理部６３は、解析用画像と、解析用画像の種類に対応して取得された対応情報とに基づき、解析結果を得ることが好ましい。解析用画像の種類に対応して取得された対応情報は、予め観察対象がある特定の状態であることが判明している場合に、この観察対象を撮像することにより得た特定の種類の解析用画像と、観察対象の特定の状態に関する領域又は詳細等の情報等を対応させた情報である。また、対応情報取得部は、画像解析処理部６３により処理した後の解析結果を、対応情報として取得するフィードバック又は学習を行ってもよい。図１０に示すように、画像解析処理部６３において、第１画像用解析部７１は第１対応情報取得部７５を備え、第２画像用解析部７２は第２対応情報取得部７６を備え、第３画像用解析部７３は第３対応情報取得部７７を備え、第ｎ画像用解析部７４は第ｎ対応情報取得部７８を備える。

解析用画像の種類により、画像解析により良好な結果を得ることができる観察対象の特定の状態が異なる場合がある。したがって、解析用画像の種類のそれぞれが、対応情報取得部を備えることにより、例えば、解析用画像が特殊光画像である場合、画像解析において明るさが足りず、特殊光画像では遠景における病変を検出することが難しい場合、並行して画像解析を行った別の種類の解析用画像である通常光画像が、特殊光画像において検出が難しかった遠景における病変について容易に検出することができる。また、例えば、特殊光画像は、観察対象の表層又は中層の血管の密集箇所を容易に検出し、通常光画像は、特殊光画像の場合とは異なる観察対象の特定の状態としてポリープ等の構造を容易に検出することができるため、異なる種類の注目領域を検出することができる。

対応情報取得部は、例えば、機械学習における学習済みモデルである。より迅速に又は精度良く、画像解析により解析結果である診断支援情報が得られることから、機械学習による学習済みモデルを対応情報取得部として用いた画像解析を行うことが好ましい。本実施形態においては、各対応情報取得部として、機械学習における学習済みモデルを用いて病変の有無を判定するための画像解析を行う。なお、この場合、学習済みモデルは、それぞれの種類の解析用画像について学習したものを用いる。したがって、第１対応情報取得部７５と第２対応情報取得部７６とは、互いに異なる学習済みモデルであることが好ましい。例えば、本実施形態では、第１対応情報取得部７５は通常光画像に対応する学習済みモデルであり、第２対応情報取得部７６は特殊光画像に対応する学習済みモデルである。なお、各学習済みモデルは、画像解析処理部６３により得た解析結果について学習するフィードバックを行ってもよい。

解析結果取得部６４は、画像解析処理部６３が、各解析処理部により解析用画像の種類毎に画像解析を行って得た解析結果を取得する。各解析処理部がそれぞれ解析結果を得るため、解析結果取得部６４は、解析結果を複数取得する。解析結果は、実施した画像解析の方法に応じた内容を含む。本実施形態では、画像解析の方法が学習済みモデルを用いた病変の有無の判定であるため、解析結果は、画像解析を行った解析用画像が含む観察対象の病変の有無及び病変がある場合の領域である。

本実施形態では、通常光画像を解析して得られる第１解析結果と、特殊光画像を解析して得られる第２解析結果と、２種類の解析結果を得る。第１解析結果は、通常光画像に基づいて得た、観察対象における特定の状態である、病変の有無及び病変がある場合の領域であり、第２解析結果は、特殊光画像に基づいて得た、同じ観察対象における特定の状態である、病変の有無及び病変がある場合の領域である。

図１１に示すように、表示画像生成部６５は、解析結果表示生成部７９と、観察画像生成部８０とを備える。解析結果表示生成部７９は、複数の解析結果に基づく解析結果表示を生成する。観察画像生成部８０は、複数種類の解析用画像のうち少なくとも１種類の解析用画像に基づいて観察対象を含む観察画像を生成する。解析結果表示は、複数の解析結果を医師等のユーザに通知するための表示であり、複数の解析結果をユーザが把握することができる表示であれば表示形態を問わない。複数の解析結果は、予め設定した条件により選択する。例えば、本実施形態では、照明光が特殊光ＳＬである特殊光画像を１フレーム取得すると、照明光が通常光ＮＬである通常光画像を５フレーム続けて取得する。この場合に予め設定する条件は、例えば、１フレーム取得した特殊光画像に基づく第２解析結果と、この特殊光画像を取得した前後の複数の特定個数のフレームの通常光画像に基づく第１解析結果を、複数の解析結果として選択する。

複数の解析結果は、互いに区別して表示してもよいし、場合により、区別しないで表示してもよい。具体的には、例えば、図形、色、模様、文字、又はこれらの組み合わせによる表示とする。図形等の大きさは、例えば観察対象が特定の状態である領域の大きさに合わせることが好ましい。複数の解析結果の表示が同じ領域に同じ大きさの図形で示される場合は、それぞれの解析結果の表示の大きさを調整し、図形が重ならないように表示することが好ましい。なお、病変等の特定の状態が検出されない場合等、解析結果の表示が必要ない場合は、解析結果を表示しない。

本実施形態では、第１解析結果と第２解析結果との２つの解析結果を取得し、これらを区別して表示する。また、解析結果表示は、解析結果が観察対象の病変の有無及び病変がある場合の領域であり、第１解析結果と第２解析結果とが区別可能な態様の表示である。

第１解析結果及び第２解析結果において、観察対象の特定の状態として病変が検出された場合、図１２に示すように、第１解析結果を示す第１解析結果表示８１は、観察対象における病変の領域を、四角の図形８２で囲むことにより示す。また、図１３に示すように、第２解析結果を示す第２解析結果表示８３は、観察対象における病変の領域を、四角の図形８４で囲むことにより示す。図形８２と図形８４とは、異なる色により表す。図１１及び図１２において、異なる向きの斜線は異なる色を示す。

表示画像生成部６５は、また、複数種類の解析用画像のうち少なくとも１種類の解析用画像に基づく観察画像を生成する。観察画像は、ユーザがディスプレイ１８に表示することを選択した解析用画像である。表示画像生成部６５は、表示のために選択された解析用画像に対し、ディスプレイ１８に表示するために必要な場合は画像処理を行うことにより、観察画像を生成する。本実施形態では、観察画像は、表示の切り替え指示が行われるまで、継続して表示する。

図１４に示すように、本実施形態では、ユーザがディスプレイ１８に通常光画像を表示することを選択しているため、表示画像生成部６５は、通常光画像をディスプレイ１８に表示するために必要な画像処理を実施して観察画像８５とする。したがって、ディスプレイには、観察対象を撮像した通常光画像が継続して表示される。本実施形態では、特殊光画像が６フレームに１フレームの割合で取得されるが、特殊光画像はディスプレイ１８に表示せず、１フレーム取得した特殊光画像を表示する代わりに、特殊光画像を取得した１フレームの前の通常光画像の１フレームを継続して表示する等を行う。なお、ユーザの設定により、観察画像８５を特殊光画像等に切り替えることができる。この場合は、通常光画像が６フレームに１フレームの割合で取得され、通常光画像はディスプレイ１８に表示されない。

表示制御部５７は、複数の解析結果に基づく解析結果表示と、複数種類の解析用画像のうち少なくとも１種類の解析用画像に基づく観察画像８５とをディスプレイ１８に表示する制御を行う。具体的には、表示制御部５７は、観察画像８５に、複数の解析結果表示を、位置を合わせた上で重畳して表示画像とし、表示画像をディスプレイ１８に表示する制御を行う。複数の解析結果表示は、それぞれの解析結果表示を区別して認識できる態様で観察画像８５に重畳する。本実施形態では、第１解析結果を表示する図形８２と第２解析結果を表示する図形８４とのそれぞれを、互いに異なる色により表示する。図１５に示すように、表示制御部５７は、第１解析結果を表示する図形８２と第２解析結果を表示する図形８４とを異なる色により、観察画像８５に重畳する制御を行う。

以上のとおり、画像解析処理装置であるプロセッサ装置１６又は内視鏡システム１０によれば、内視鏡画像の種類毎に画像解析を並行して行うことにより、例えば、ディスプレイに表示することを選択した１種類の内視鏡画像に基づく画像解析結果のみならず、別の種類の内視鏡画像に基づく画像解析結果を、迅速に得ることができる。また、内視鏡画像の種類により、良好に得られる解析結果が異なる場合は、一方の内視鏡画像において検出されなかった解析結果であっても、他方の内視鏡画像において良好に検出される場合があり、病変等の注目すべき領域の見逃しを防ぐことができる。

本実施形態では、通常光画像と特殊光画像とを解析用画像としたため、通常光画像では十分な明るさがあり、第１画像用解析部７１による画像解析により、遠景において病変を良好に検出し、特殊光画像では明るさが足りず、第２画像用解析部７２による画像解析により、遠景においてこの病変を検出できない場合であっても、図形８２として観察画像８５に重畳してディスプレイ１８に表示される。特に、観察画像８５を特殊光画像として近景の観察を主に行っている場合、ディスプレイ１８に暗く表示される遠景における病変等が図形８２として表示されるため、特殊光画像をディスプレイ１８に継続して表示していても、目視では判定し難い、暗く表示される領域における病変等の注目領域について、病変等の見逃しが防止できる。

なお、解析結果は、解析結果に関する確度を含むことが好ましい。解析結果に関する確度とは、解析結果が正確である度合、又は、誤差を含まない度合である。特定の状態の有無を解析結果とした場合に、解析結果として特定の状態の領域の情報を検出するのとあわせて、画像解析における領域の情報の検出に際し、誤差又はノイズ等をどの程度含むかを確度により示す。解析結果に関する確度は、具体的には、数値により示す。例えば、特定の病変をがんとした場合、解析用画像の種類によってがんの検出を良好に行うことができる解析用画像の種類と、良好に行うことができない解析用画像の種類とがありえるため、がんの検出に関する解析結果に関する確度は異なる。また、同じ種類の解析用画像であっても、解析用画像の状況により、例えば、ぶれが生じている等の画像の状態により、解析結果としてがんの検出がされても、その解析結果に関する確度は異なる場合がある。したがって、それぞれの画像解析の状況に応じて、解析結果の確度を数値により示すことが好ましい。

画像解析処理部６３において、選択した解析用画像に対する画像解析により、解析結果として解析結果に関する確度も表示するように設定することにより、解析結果である病変の有無及び病変がある場合の領域とあわせて、解析結果自体に関する確度を数値及び／又は文字により表示してもよい。確度を数値により示す場合は、百分率等により、数値が高いほど確度が高いものとして示すことが好ましい。例えば、画像解析において機械学習による学習済みモデルを用いる場合は、解析結果として解析結果に関する確度を数値として出力可能であるため好ましい。

図１６に示すように、解析結果が、解析結果に関する確度を含む場合、本実施形態では、第２解析結果を表示する際に、第２解析結果表示８３は、解析結果である病変の領域を示す図形８４と解析結果に関する確度を示す確度表示８６とを含む。

解析結果が、解析結果に関する確度を含むことにより、ひと目で解析結果の詳細を把握することができる。例えば、解析結果により病変の領域が図形により表示された場合に、解析結果に関する確度も表示されるため、ユーザは診断支援情報を詳細に把握することができる。

また、複数の解析結果を比較することにより、解析結果の確度が最も高い解析結果を注目解析結果として選択する注目解析結果選択部を備え、表示画像生成部６５において、注目解析結果を含む解析結果表示を作成することが好ましい。図１７に示すように、この場合、画像処理部５６は、注目解析結果選択部９１を備える。

注目解析結果選択部９１は、複数の解析結果を比較する。比較する場合は、複数の解析結果が、観察対象における同じ領域を含む際に、これらの解析結果を比較する。そして、複数の解析結果のうち、解析結果が含む解析結果の確度が最も高い解析結果を注目解析結果として選択する。なお、複数の解析結果が、観察対象に同じ領域を含むことを判定するために、複数の解析結果のもととなる複数の解析用画像に対し、領域判別処理を行った上で、注目解析結果選択部９１が複数解析結果を比較するようにしてもよい。

図１８に示すように、本実施形態において、第１解析結果が、第２解析結果を示す図形８４と同じ領域についても病変であることを検出し、第１解析結果表示８１が、図形８７と確度表示８８とを含む場合、注目解析結果選択部９１は、図形８４が示す第２解析結果の確度８０％（図１６参照）と、図形８７が示す第１解析結果の確度６０％とを比較する。そして、解析結果の確度が高い解析結果である第２解析結果を注目解析結果として選択する。

解析結果表示生成部７９（図１１参照）は、注目解析結果を含むように、解析結果表示を作成する。図１９に示すように、本実施形態において、注目解析結果選択部９１が第２解析結果を注目解析結果として選択した場合、観察対象における図形８４及び図形８７が示す領域の病変については、第１解析結果による図形８７及び確度表示８８は示さず、第２解析結果による図形８４及び確度表示８６により示した解析結果表示を生成する。表示制御部５７は、この解析結果表示を観察画像８５に重畳してディスプレイ１８に表示する。

注目解析結果選択部９１により、複数の解析結果においてより高い確度により解析結果を表示することができる。したがって、画像解析の精度又は信頼性を向上させることができる。

なお、解析結果は、観察対象において領域が特定の状態である確率を含んでもよい。特定の状態である確率とは、観察状態が予め設定した特定の状態である確からしさを示す数値である。具体的には、例えば、特定の病変をがんとした場合、観察対象において、がんであることが確実であるほど高い数値が確率として表示され、がんである可能性があるが確実ではないほど低い数値が確率として表示される。特に、機械学習による学習済みモデルを用いた画像解析において、解析結果として、画像において予め設定した特定の状態である領域とその確率とが出力可能である。したがって、画像解析処理部６３において、選択した解析用画像に対する画像解析部の画像解析の方法を、例えば、がんである領域とその確率とを検出するように設定することにより、がんの領域とその確率を表示する。

図２０に示すように、解析結果が、観察対象において領域が特定の状態である確率を含む場合、本実施形態では、第１解析結果を表示する際に、第１解析結果表示８１は、解析結果である病変の領域を示す図形８２と観察対象において領域が特定の状態である確率表示８９とを含む。確率表示８９は、例えば、「がん疑い率５０％」等とする。

解析結果が、観察対象において領域が特定の状態である確率を含むことにより、ひと目で解析結果を詳細に把握することができる。例えば、解析結果により、病変の領域が図形により表示された場合に、領域が特定の状態である確率も表示されるため、ユーザは診断支援情報を容易にかつ詳細に把握することができ、病変等の見逃しをより良く防ぐことができる。

なお、解析結果が、観察対象において領域が特定の状態である確率を含む場合についても、解析結果が解析結果に関する確度を含む場合と同様とすることができる。例えば、複数の解析結果において、観察対象の同じ領域について異なる確率が出された場合は、これらの確率のうち、最も高い確率の解析結果を含む解析結果表示とする。図２１に示すように、本実施形態において、観察対象における図形８４又は図形８７（図１８参照）が示す領域の病変については、解析結果が含む観察対象における領域が特定の状態である確率について、第１解析結果による図形８７及び確率表示は示さず、確率が最も高い第２解析結果を図形８４及び確率表示９０により示した解析結果表示を、観察画像８５に重畳してディスプレイ１８に表示する。そして、第１解析結果表示８１における図形８２の領域については、第２解析結果は病変であるとの解析結果を含まなかったため、図形８２の領域は、第１解析結果表示８１の図形８２及び確率表示８９をそのまま示す。このように、複数の解析結果のうち少なくとも１つが病変であるとした観察対象の領域は、解析結果表示に含めて表示画像に表示することが好ましい。

複数の解析結果から注目解析結果を選択した上で、解析結果が観察対象において領域が特定の状態である確率を含むことにより、画像解析の精度又は信頼性をさらに向上させることができ、病変等の注目領域の見逃しをより良く防ぐことができる。

なお、解析結果取得部６４は、解析結果を、解析結果が得られた解析用画像の種類と対応付けて取得し、表示制御部５７は、解析結果と解析結果が得られた解析用画像の種類との関連付けを示す凡例表示をディスプレイ１８に表示する制御を行うことが好ましい。凡例表示は、解析結果表示における表示が、どのような解析用画像の種類の解析結果であるかをひと目で把握できるように、解析結果表示における表示と、同じ色等の形態により、解析用画像の種類について示す表示である。凡例表示により、解析結果表示が、どのような種類の解析用画像に基づいて得られたのかを迅速にかつ容易に把握できるため、例えば、解析結果表示の信頼性等も把握することができる。

図２２に示すように、本実施形態では、第１解析結果を示す図形８２は通常光を用いて得られた内視鏡画像を解析用画像としたものであり、第２解析結果を示す図形８４は特殊光を用いて得られた内視鏡画像を解析用画像としたものである。したがって、図形８２と同じ色にて通常光により得られたことを示す「通常光」と、図形８４と同じ色にて特殊光により得られたことを示す「特殊光」とを、観察画像８５の左下に、凡例表示９５として表示する。

解析結果がどのような解析用画像により得られたものかを凡例として表示することにより、解析結果を示す図形等が表示された際に、どのような病変等の検出が良好に行われる画像により解析結果が出されたのかをひと目で容易に把握することができる。また、凡例表示９５により、表示画像が通常光画像である際に、観察対象に病変等が存在せず、解析結果を示す図形等が１つも表示されない場合でも、現在どのような種類の解析用画像が取得されているのか、すなわち、どのようなＩＥＥが行われているのかを把握することができる。例えば、照明光の１周期（図６、１ＣＹ）において、どのような種類の特殊光による照明光が用いられているのかを把握することができる。したがって、凡例表示９５は、内視鏡検査において、その時点でおこなわれているＩＥＥが何であるかを示す表示としても有用である。

また、ディスプレイ１８に表示している観察画像８５以外の種類の解析用画像に基づいた解析結果を、観察画像８５のもととなる解析用画像に基づいた解析結果と区別した解析結果表示としてもよい。図２３に示すように、観察画像８５のもととなる通常光画像に基づいた解析結果表示である図形８２及び確率表示８９は目立つように濃い色で示し、観察画像８５のように表示がされない特殊光画像に基づいた解析結果表示である図形８４及び確度表示８６は目立たないように薄い色又は点線等で表示してもよい。図２３において、斜線の間隔が広いものは、薄い色又は点線を示す。

また、観察画像８５のように表示がされない特殊光画像に基づいた解析結果表示である図形８４及び確度表示８６は、観察画像８５に重畳する以外の方法で示しても良い。例えば、図２４に示すように、特殊光画像に基づいた解析結果は、凡例表示９５と合わせて文章で示すことができる。また、観察画像８５の外部に、サブ画面として第２解析結果表示８３を示してもよい。

なお、複数種類の解析用画像は、２種類に限らず、３種類以上であってもよい。例えば、解析用画像は、通常光により照明して得られる内視鏡画像を１種類目の解析用画像とし、図５に示す分光スペクトルによる特殊光を第１特殊光とし、第１特殊光により照明して得られる内視鏡画像を２種類目の解析用画像とし、第１特殊光と異なる第２特殊光により照明して得られる内視鏡画像を３種類目の解析用画像とする。

光源制御部２２は、第２特殊光として、紫色光ＶＬ、青色光ＢＬ、緑色光ＧＬ、及び赤色光ＲＬ間の光強度比がＶｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２となる特殊光を発するように、各ＬＥＤ２０ａ～２０ｄを制御する。光強度比Ｖｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２は、第２特殊光の光量条件に対応する。第２特殊光は、表層血管を強調することが好ましい。そのため、第２特殊光は、図２５に示すように、光強度比を１：０：０：０にして、短波長の狭帯域光としての紫色光ＶＬのみを発する。

本実施形態では、光源制御部２２は、例えば、図２６に示すように、通常光ＮＬを５フレーム（５ＦＬ）続けて発光し、次に、第１特殊光１ＳＬを１フレーム（１ＦＬ）発光し、再度通常光ＮＬを５フレーム（５ＦＬ）続けて発光し、次に、第２特殊光２ＳＬを１フレーム（１ＦＬ）発光する。この順序からなる照明パターンを１周期（１ＣＹ）として、この周期を繰り返す。

上記実施形態と同様に、第２特殊光に基づく解析用画像は、第３画像用解析部７３（図１０参照）により画像解析され、第３解析結果が解析結果取得部６４に送られる。解析結果取得部６４は、通常光に基づく解析用画像における第１解析結果、第１特殊光に基づく解析用画像における第２解析結果、及び、第２特殊光に基づく解析用画像における第３解析結果を取得する。図２７に示すように、第３解析結果は、図形９６により表示される。

図２７に示すように、場合によっては、第３解析結果が含む検出結果である図形９６は、第２解析結果が含む検出結果である図形８４に重なる。第１特殊光による内視鏡画像は、表層血管及びポリープ等の構造を良好に示し、第２特殊光による内視鏡画像は、表層血管を強調して示すことから、第２解析結果が含む図形８４の領域と第３解析結果が含む図形９６の領域とが重なる領域は、表層血管等の構造に異常がある可能性が高い領域であり、解析結果として、ユーザに特に注意を喚起するアラート表示９８を含む。

また、画像解析処理部６３は、特定の複数の解析用画像における解析結果が同じ領域を含む場合、この領域に対する解析結果は、観察対象が特定の状態であることを含むようにしてもよい。本実施形態のように、第２解析結果と、第３解析結果とが、同じ領域を含む場合、第２解析結果のみ又は第３解析結果のみに特定の領域が含まれる場合と異なる解析結果としてもよい。異なる解析結果としては、第２解析結果及び第３解析結果が、それぞれ、特定の病変の確率を含む場合、第２解析結果及び第３解析結果の両方を含む領域は、特定の病変の深さ方向を表示する等が挙げられる。例えば、機械学習を用いた画像解析により、がん等の特定の病変が軽度であっても検出できること、又は、特定の病変の領域を深さ方向等でも精度良く示すこと等、これらを組み合わせることにより、より精度が良い解析結果を含むことができる。

次に、画像解析処理装置であるプロセッサ装置１６又は内視鏡システム１０が行う画像解析に関する処理の一連の流れについて、図２８に示すフローチャートに沿って説明を行う。観察を開始すると、所定の照明光パターン（図６参照）に従って、予め設定した順序により照明光が発せられる。まず、照明光が通常光であり、通常光画像が取得される（ステップＳＴ１１０）。次に、照明光が特殊光となり、特殊光画像が取得される（ステップＳＴ１２０）。通常光画像解析（ステップＳＴ１３０）と特殊光画像解析（ステップＳＴ１４０）とを並列して実施する。通常光画像解析による第１解析結果と、特殊光画像解析による第２解析結果とは、解析結果取得部により取得される（ステップＳＴ１５０）。複数の解析結果は、観察対象の同じ領域に対する解析結果を含む場合、注目解析結果選択部により注目解析結果が選択される（ステップＳＴ１６０）。選択された注目解析結果に従い、解析結果表示が作成され、また、予め設定されたとおり、複数の解析用画像の１種類に基づき表示画像が生成される（ステップＳＴ１７０）。解析結果表示と表示画像とは、表示制御部５７によりディスプレイ１８に表示される（ステップＳＴ１８０）。

上記実施形態及び変形例等においては、プロセッサ装置１６が画像解析処理装置として機能するが、プロセッサ装置１６とは別に、画像処理部５６を含む画像解析処理装置を設けてもよい。この他、図２９に示すように、画像処理部５６は、例えば内視鏡システム１０から直接的に、または、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍｓ）９１０から間接的に、内視鏡１２で撮影したＲＡＷ画像を取得する診断支援装置９１１に設けることができる。また、図３０に示すように、内視鏡システム１０を含む、第１検査装置９２１、第２検査装置９２２、…、第Ｋ検査装置９２３等の各種検査装置と、ネットワーク９２６を介して接続する医療業務支援装置９３０に、画像処理部５６を設けることができる。

上記各実施形態及び変形例は、その一部または全部を任意に組み合わせて実施することができる。また、上記各実施形態及び変形例においては、内視鏡１２は可撓性の挿入部１２ａを有するいわゆる軟性内視鏡を用いているが、観察対象が嚥下して使用するカプセル型の内視鏡、外科手術等に使用する硬性内視鏡（腹腔鏡）を用いる場合も本発明は好適である。

上記実施形態及び変形例等は、プロセッサを備え、内視鏡を用いて観察対象を撮像することにより得られる画像に基づいて画像解析を行う画像解析処理装置の作動方法であって、画像解析に用いる複数種類の解析用画像を取得する解析用画像取得ステップと、解析用画像の種類毎に並列して、解析用画像に対する画像解析を行う画像解析処理ステップと、画像解析による解析結果を複数取得する解析結果取得ステップと、複数の解析結果に基づく解析結果表示と、複数種類の解析用画像のうち少なくとも１種類の解析用画像とを含む表示画像をディスプレイに表示する制御を行う表示制御ステップとを備える画像解析処理装置の作動方法を含む。

また、上記実施形態及び変形例等は、プロセッサを備え、内視鏡を用いて観察対象を撮像することにより得られる画像に基づいて画像解析を行う画像解析処理装置にインストールされる画像解析処理装置用プログラムにおいて、コンピュータに、画像解析に用いる複数種類の解析用画像を取得する解析用画像取得機能と、解析用画像の種類毎に並列して、解析用画像に対する画像解析を行う画像解析処理機能と、画像解析による解析結果を複数取得する解析結果取得機能と、複数の解析結果に基づく解析結果表示と、複数種類の解析用画像のうち少なくとも１種類の解析用画像とを含む表示画像をディスプレイに表示する制御を行う表示制御機能とをを実現させるための画像解析処理装置用プログラムを含む。

上記実施形態において、画像解析処理装置であるプロセッサ装置１６に含まれる制御部５１、画像取得部５２、ＤＳＰ５３、ノイズ低減部５４、変換部５５、画像処理部５６、及び表示制御部５７といった各種の処理を実行する処理部（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）のハードウェア的な構造は、次に示すような各種のプロセッサ（ｐｒｏｃｅｓｓｏｒ）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ （Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ） などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ：ＳｏＣ）などに代表され
るように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（ｃｉｒｃｕｉｔｒｙ）である。

なお、本発明は、内視鏡画像を取得等する内視鏡システム、プロセッサ装置、その他関連する装置等の他に、内視鏡画像以外の医療画像（動画を含む）を取得するシステムまたは装置等においても利用できる。例えば、本発明は、超音波検査装置、Ｘ線画像撮影装置（ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）検査装置及びマンモグラフィ装置等を含む）、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）装置、等に適用できる。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ 処置具挿入口
１２ｇ スコープボタン
１３ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ ディスプレイ
１９ キーボード
２０ 光源部
２０ａ Ｖ－ＬＥＤ
２０ｂ Ｂ－ＬＥＤ
２０ｃ Ｇ－ＬＥＤ
２０ｄ Ｒ－ＬＥＤ
２２ 光源制御部
３０ａ 照明光学系
３０ｂ 撮影光学系
４１ ライトガイド
４２ 照明レンズ
４３ 対物レンズ
４４ ズームレンズ
４５ イメージセンサ
５１ 制御部
５２ 画像取得部
５３ ＤＳＰ
５４ ノイズ低減部
５５ 変換部
５６ 画像処理部
５７ 表示制御部
６１ 強調処理部
６２ 解析用画像取得部
６３ 画像解析処理部
６４ 解析結果取得部
６５ 表示画像生成部
６６ 色彩強調部
６７ 構造強調部
７１ 第１画像用解析部
７２ 第２画像用解析部
７３ 第３画像用解析部
７４ 第ｎ画像用解析部
７５ 第１対応情報取得部
７６ 第２対応情報取得部
７７ 第３対応情報取得部
７８ 第ｎ対応情報取得部
７９ 解析結果表示生成部
８０ 観察画像生成部
８１ 第１解析結果表示
８２、８４、８７、９６ 図形
８３ 第２解析結果表示
８５ 観察画像
８６、８８ 確度表示
８９、９７ 確率表示
９１ 注目解析結果選択部
９５ 凡例表示
９８ アラート表示
９１０ ＰＡＣＳ
９１１ 診断支援装置
９２１ 第１検査装置
９２２ 第２検査装置
９２３ 第Ｋ検査装置
９２６ ネットワーク
９３０ 医療業務支援装置
ＮＬ 通常光
ＳＬ 特殊光
１ＳＬ 第１特殊光
２ＳＬ 第２特殊光
ＳＴ１１０～ＳＴ１８０ ステップ

Claims (20)

1. プロセッサを備え、内視鏡を用いて観察対象を撮像することにより得られる画像に基づいて画像解析を行う画像解析処理装置であって、
   前記プロセッサは、
   互いに分光スペクトルが異なる通常光、第１特殊光、及び第２特殊光でそれぞれ撮像された前記画像を、画像解析に用いる互いに異なる種類の解析用画像として取得し、
   前記解析用画像の種類毎に並列して、前記解析用画像の前記画像解析を行い、
   前記画像解析による解析結果を複数取得し、
   複数の前記解析結果に基づく解析結果表示と、複数種類の前記解析用画像のうち少なくとも１種類の前記解析用画像に基づく表示画像とを、ディスプレイに表示する制御を行い、
   前記第１特殊光における前記解析結果と、前記第２特殊光における前記解析結果において、同じ領域を含む場合、それぞれの前記解析結果とは異なる解析結果である、前記観察対象における特定の状態を含む解析結果を取得して前記ディスプレイに表示させる画像解析処理装置。
2. 前記プロセッサは、前記解析用画像の種類毎に独立して、前記画像解析を行う請求項１に記載の画像解析処理装置。
3. 前記プロセッサは、前記観察対象における特定の状態と、前記特定の状態を含む前記観察対象を撮像することにより得た前記解析用画像とを、予め対応付けた対応情報を取得し、
   前記解析用画像と前記対応情報とに基づき、前記解析結果を得る請求項１又は２に記載の画像解析処理装置。
4. 前記プロセッサは、前記対応情報を前記解析用画像の種類毎に取得し、
   前記解析用画像と、前記解析用画像の種類に対応して取得された前記対応情報とに基づき、前記解析結果を得る請求項３に記載の画像解析処理装置。
5. 前記特定の状態は、前記観察対象の構造が異常である状態、前記観察対象が特定の病変である状態、及び、前記観察対象の生体情報の値が異常である状態のうち少なくとも１つである請求項３又は４に記載の画像解析処理装置。
6. 前記解析結果は、前記観察対象における前記特定の状態の領域の情報を含む請求項３ないし５のいずれか１項に記載の画像解析処理装置。
7. 前記解析結果は、前記解析結果に関する確度を含む請求項１ないし６のいずれか１項に記載の画像解析処理装置。
8. 前記プロセッサは、複数の前記解析結果を比較することにより、前記解析結果に関する確度が最も高い前記解析結果を注目解析結果として選択し、
   前記注目解析結果を含む前記解析結果表示を作成する請求項７に記載の画像解析処理装置。
9. 前記プロセッサは、前記通常光における前記解析結果と、少なくとも１つの特殊光における前記解析結果において、同じ領域を含む場合、いずれか１つの前記解析結果を注目解析結果として選択する請求項１ないし６いずれか１項記載の画像解析処理装置。
10. 前記プロセッサは、前記画像に対し強調処理を行うことにより、第１解析用画像を生成し、
    前記解析用画像の１種として前記第１解析用画像を取得する請求項１ないし９のいずれか１項に記載の画像解析処理装置。
11. 前記プロセッサは、前記画像に対し色彩強調処理又は構造強調処理を行う請求項１０に記載の画像解析処理装置。
12. 前記プロセッサは、前記解析結果を、前記解析結果が得られた前記解析用画像の種類とを対応付けて取得し、
    前記解析結果と前記解析結果が得られた前記解析用画像の種類との関連付けを示す凡例表示を前記ディスプレイに表示する制御を行う請求項１ないし１１のいずれか１項に記載の画像解析処理装置。
13. 請求項１ないし１２のいずれか１項に記載の画像解析処理装置と、
    前記観察対象に照射する照明光を発する光源部とを備える内視鏡システム。
14. 前記プロセッサは、前記光源部が発する互いに分光スペクトルが異なる複数の照明光のそれぞれにより照明した前記観察対象を撮像することにより得られる前記画像を、互いに異なる種類の前記解析用画像として取得する請求項１３記載の内視鏡システム。
15. 前記プロセッサは、前記光源部が発する白色の照明光により照明した前記観察対象を撮像することにより得られる前記画像を、前記解析用画像の１種として取得する請求項１４記載の内視鏡システム。
16. 前記プロセッサは、前記光源部が発する予め設定した波長帯域の狭帯域光を含む照明光により照明した前記観察対象を撮像することにより得られる前記画像を、前記解析用画像の１種として取得する請求項１４記載の内視鏡システム。
17. 前記光源部は、互いに分光スペクトルが異なる複数の照明光のそれぞれを、予め設定した順序により繰り返し発光する請求項１３ないし１６のいずれか１項に記載の内視鏡システム。
18. 前記プロセッサは、前記解析結果を、前記解析結果が得られた前記解析用画像の種類とを対応付けて取得し、
    前記解析結果と前記解析結果が得られた前記解析用画像の種類との関連付けを示す凡例表示を前記ディスプレイに表示する制御を行う請求項１３ないし１７のいずれか１項に記載の内視鏡システム。
19. 内視鏡を用いて観察対象を撮像することにより得られる画像に基づいて画像解析を行う画像解析処理装置の作動方法であって、
    互いに分光スペクトルが異なる通常光、第１特殊光、及び第２特殊光でそれぞれ撮像された前記画像を、画像解析に用いる互いに異なる種類の解析用画像として取得する解析用画像取得ステップと、
    前記解析用画像の種類毎に並列して、前記解析用画像に対する前記画像解析を行う画像解析処理ステップと、
    前記画像解析による解析結果を複数取得する解析結果取得ステップと、
    複数の前記解析結果に基づく解析結果表示と、複数種類の前記解析用画像のうち少なくとも１種類の前記解析用画像とを含む表示画像をディスプレイに表示する制御を行う表示制御ステップとを備え、
    前記第１特殊光における前記解析結果と、前記第２特殊光における前記解析結果において、同じ領域を含む場合、それぞれの前記解析結果とは異なる解析結果である、前記観察対象における特定の状態を含む解析結果を取得して前記ディスプレイに表示させる画像解析処理装置の作動方法。
20. 内視鏡を用いて観察対象を撮像することにより得られる画像に基づいて画像解析を行う画像解析処理装置にインストールされる画像解析処理装置用プログラムにおいて、
    コンピュータに、
    互いに分光スペクトルが異なる通常光、第１特殊光、及び第２特殊光でそれぞれ撮像された前記画像を、画像解析に用いる互いに異なる種類の解析用画像として取得する解析用画像取得機能と、
    前記解析用画像の種類毎に並列して、前記解析用画像に対する前記画像解析を行う画像解析処理機能と、
    前記画像解析による解析結果を複数取得する解析結果取得機能と、
    複数の前記解析結果に基づく解析結果表示と、複数種類の前記解析用画像のうち少なくとも１種類の前記解析用画像とを含む表示画像をディスプレイに表示する制御を行う表示制御機能とを実現させ、
    前記第１特殊光における前記解析結果と、前記第２特殊光における前記解析結果において、同じ領域を含む場合、それぞれの前記解析結果とは異なる解析結果である、前記観察対象における特定の状態を含む解析結果を取得して前記ディスプレイに表示させる機能を実現させるための画像解析処理装置用プログラム。