JP7214886B2

JP7214886B2 - 画像処理装置及びその作動方法

Info

Publication number: JP7214886B2
Application number: JP2021554199A
Authority: JP
Inventors: 広樹渡辺
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2019-10-23
Filing date: 2020-09-28
Publication date: 2023-01-30
Anticipated expiration: 2040-09-28
Also published as: WO2021079691A1; CN114585291A; JPWO2021079691A1; US20220237795A1

Description

本発明は、疾患に関連する処理を行う画像処理装置及びその作動方法に関する。

医療分野においては、医療画像を用いて診断することが広く行われている。例えば、医療画像を用いる装置として、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムがある。内視鏡システムでは、観察対象に対して照明光を照射し、照明光で照明された観察対象を撮像することにより、医療画像としての内視鏡画像を取得する。内視鏡画像は、モニタに表示され、診断に使用される。

近年では、内視鏡画像に基づいて処理を行うことにより、病変部などの異常領域の判定などの診断を支援する情報をユーザーに提供することが行われつつある。また、内視鏡画像に適切な画像処理を施し、例えば、疾患のステージを判定するＣＡＤ（Computer-Aided Diagnosis）技術も開発されている。ＣＡＤ技術において、ステージを高精度に判定するためには、高解像度の内視鏡画像を基に画像処理が施されることが望ましい。

例えば、特許文献１では、超拡大機能を有する内視鏡を用いて上皮の状態の解析を行う際に、画像に含まれるハレーション領域を用いて、解析の対象画像である超拡大画像であるかを判定する画像解析装置を開示している。

特開２０１９－１１１０４０号公報

ところで、大腸の疾患の一つとして、潰瘍性大腸炎（ＵＣ、Ulcerative Colitis）が知られている。内視鏡診断により潰瘍性大腸炎に関して判定する場合、内視鏡先端部から大腸の粘膜等の観察対象までの距離が遠い場合、得られる内視鏡画像の解像度は低く、ステージ判定のもととなる血管形状や出血の有無などの生体特徴を正確にとらえることは難しい。例えば、内視鏡画像を用いてステージ判定を精度良く行うために、内視鏡画像において観察対象までの距離が遠い場合には、医師が再度内視鏡検査を行い、観察対象までの距離が適切な内視鏡画像を改めて取得する必要があった。

本発明は、医療画像を用いた潰瘍性大腸炎に関する判定を精度良く行うことができる画像処理装置及びその作動方法を提供することを目的とする。

本発明の画像処理装置は、プロセッサを備え、プロセッサは、観察対象を撮像して得られる医療画像を取得し、医療画像の撮影条件及び／又は医療画像を解析して得られる画像解析結果に基づき、医療画像に対して画像処理を行うか否かを決定し、画像処理を行うと決定した医療画像に対し、医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、及び潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う。医療画像は、観察対象の計測を行うための計測補助光が照射された観察対象を撮像して得られ、画像解析結果は、医療画像において観察対象上に形成された計測補助光照射領域の位置である。また、プロセッサが潰瘍性大腸炎の寛解又は非寛解を判定する場合には、プロセッサは、医療画像から空間周波数成分分布を算出し、空間周波数成分分布に基づいて、第１周波数特性を有する第１周波数特性領域を抽出し、第１周波数特性よりも高い周波数を持つ第２周波数特性を有する第２周波数特性領域を抽出し、第２周波数特性よりも高い周波数を持つ第３周波数特性を有する第３周波数特性領域を抽出し、輝度値を用いる第１領域判別処理を施した第１周波数特性領域、輝度値を用いる第２領域判別処理を施した第２周波数特性領域、及び第３周波数特性領域に基づいて、表層血管の密集、粘膜内出血、及び粘膜外出血を検出し、表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎の寛解又は非寛解を判定する。
また、本発明の画像処理装置は、プロセッサを備え、プロセッサは、観察対象を撮像して得られる医療画像を取得し、医療画像を解析して得られる画像解析結果に基づき、医療画像に対して画像処理を行うか否かを決定し、画像処理を行うと決定した医療画像に対し、医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、及び潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行い、画像解析結果は、医療画像から得られるハレーション分布、周波数特性、及び影分布のうち少なくとも１つである。
また、本発明の画像処理装置は、プロセッサを備え、プロセッサは、観察対象を内視鏡により撮像して得られる医療画像を取得し、医療画像の撮影条件及び／又は医療画像を解析して得られる画像解析結果に基づいて得られる医療画像を撮影した際の内視鏡と観察対象との距離の指標を用いて、医療画像に対して画像処理を行うか否かを決定し、画像処理を行うと決定した医療画像に対し、医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、及び潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う。

医療画像の撮影条件は、医療画像の拡大率指標であることが好ましい。

画像解析結果は、医療画像から得られるハレーション分布、周波数特性、輝度値、及び影分布のうち少なくとも１つであることが好ましい。

医療画像は、観察対象の計測を行うための計測補助光が照射された観察対象を撮像して得られ、画像解析結果は、医療画像において観察対象上に形成された計測補助光照射領域の位置であることが好ましい。

プロセッサは、画像処理を行うと決定した医療画像に対し、医療画像の撮影条件及び／又は医療画像を解析して得られる画像解析結果に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、及び潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行うことが好ましい。

プロセッサが、潰瘍性大腸炎の寛解又は非寛解を判定する場合には、医療画像から得られる周波数特性又は輝度値によって表層血管の密集、粘膜内出血、及び粘膜外出血を分類し、分類に従って潰瘍性大腸炎の寛解又は非寛解を判定することが好ましい。

プロセッサが潰瘍性大腸炎の寛解又は非寛解を判定する場合には、医療画像から空間周波数成分分布を算出し、空間周波数成分分布に基づいて、第１周波数特性を有する第１周波数特性領域を抽出し、第１周波数特性よりも高い周波数を持つ第２周波数特性を有する第２周波数特性領域を抽出し、第２周波数特性よりも高い周波数を持つ第３周波数特性を有する第３周波数特性領域を抽出し、輝度値を用いる第１領域判別処理を施した第１周波数特性領域、輝度値を用いる第２領域判別処理を施した第２周波数特性領域、及び第３周波数特性領域に基づいて、表層血管の密集、粘膜内出血、及び粘膜外出血を検出し、表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎の寛解又は非寛解を判定することが好ましい。

医療画像は、短波長の光を含む照明光によって照明された観察対象を撮像して得られることが好ましい。また、照明光は、中心波長又はピーク波長に４１０ｎｍを含む紫色光であることが好ましい。

また、本発明の画像処理装置の作動方法は、プロセッサを備える画像処理装置の作動方法であって、プロセッサが、観察対象を撮像して得られる医療画像を取得する画像取得ステップと、医療画像の撮影条件又は医療画像を解析して得られる画像解析結果に基づき、医療画像に対して画像処理を行うか否かを決定する画像処理決定ステップと、画像処理を行うと決定した医療画像に対し、医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う判定ステップを備える。

医療画像は、観察対象の計測を行うための計測補助光が照射された観察対象を撮像して得られ、画像解析結果は、医療画像において観察対象上に形成された計測補助光照射領域の位置である。また、判定ステップにおいて潰瘍性大腸炎の寛解又は非寛解を判定する場合には、判定ステップでは、プロセッサが、医療画像から空間周波数成分分布を算出するステップと、空間周波数成分分布に基づいて、第１周波数特性を有する第１周波数特性領域を抽出し、第１周波数特性よりも高い周波数を持つ第２周波数特性を有する第２周波数特性領域を抽出し、第２周波数特性よりも高い周波数を持つ第３周波数特性を有する第３周波数特性領域を抽出するステップと、輝度値を用いる第１領域判別処理を施した第１周波数特性領域、輝度値を用いる第２領域判別処理を施した第２周波数特性領域、及び第３周波数特性領域に基づいて、表層血管の密集、粘膜内出血、及び粘膜外出血を検出するステップと、表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎の寛解又は非寛解を判定するステップを有する。
また、本発明の画像処理装置の作動方法は、プロセッサを備える画像処理装置の作動方法であって、プロセッサが、観察対象を撮像して得られる医療画像を取得する画像取得ステップと、医療画像を解析して得られる画像解析結果に基づき、医療画像に対して画像処理を行うか否かを決定する画像処理決定ステップと、画像処理を行うと決定した医療画像に対し、医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う判定ステップを備え、画像解析結果は、医療画像から得られるハレーション分布、周波数特性、及び影分布のうち少なくとも１つである。
また、本発明の画像処理装置の作動方法は、プロセッサを備える画像処理装置の作動方法であって、プロセッサが、観察対象を内視鏡により撮像して得られる医療画像を取得する画像取得ステップと、医療画像の撮影条件及び／又は医療画像を解析して得られる画像解析結果に基づいて得られる医療画像を撮影した際の内視鏡と観察対象との距離の指標を用いて、医療画像に対して画像処理を行うか否かを決定する画像処理決定ステップと、画像処理を行うと決定した医療画像に対し、医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う判定ステップを備える。
また、医療画像は、中心波長又はピーク波長に４１０ｎｍが含まれる紫色光である照明光によって照明された観察対象を撮像して得られることが好ましい。

本発明によれば、医療画像を用いた潰瘍性大腸炎に関する判定を精度良く行うことができる。

内視鏡システムの外観図である。第１実施形態の内視鏡システムの機能を示すブロック図である。紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのスペクトルを示すグラフである。第１実施形態の特殊光のスペクトルを示すグラフである。紫色光Ｖのみを含む特殊光のスペクトルを示すグラフである。疾患関連処理部の機能を示すブロック図である。画像処理決定部の機能を示すブロック図である。特殊画像を表示したモニタの画像図であり、図８（Ａ）は特殊画像９１ａの画像図、図８（Ｂ）は特殊画像９５ａの画像図である。ハレーション分布画像の説明図であり、図９（Ａ）はハレーション領域を含まない場合、図９（Ｂ）はハレーション領域を含む場合の説明図である。空間周波数分布画像の説明図であり、図１０（Ａ）は低周波領域を含む場合、図１０（Ｂ）は低周波領域を含まない場合の説明図である。平均輝度値を説明する説明図であり、図１１（Ａ）は特殊画像９１ａの場合、図１１（Ｂ）は特殊画像９５ａの場合の説明図である。フード影領域を説明する説明図であり、図１２（Ａ）は特殊画像９１ａの場合、図１２（Ｂ）は特殊画像９５ａの場合の説明図である。スポットＳＰを含む特殊画像１００の画像図である。スポットＳＰの位置と観察距離との関係を説明した説明図である。スポットＳＰを含む特殊画像の説明図であり、図１５（Ａ）は特殊画像１００ａの場合、図１５（Ｂ）は特殊画像１００ｂの場合の説明図である。潰瘍性大腸炎の重症度によって変化する血管構造のパターンを示す説明図である。大腸の断面を示す断面図である。輝度値及び空間周波数によって分類された表層血管の密集、粘膜内出血、及び粘膜外出血を示す説明図である。第１周波数特性領域、第２周波数特性領域、及び第３周波数特性領域を抽出する一連の流れを示す説明図である。判定に関する情報を表示するモニタの画像図である。疾患関連処理モードの一連の流れを示すフローチャートである。ステップＳＴ１３０において非と決定する場合を説明する説明図である。ステップＳＴ１３０において是と決定する場合を説明する説明図である。ステップＳＴ１５０を含む疾患関連処理モードの一連の流れを示すフローチャートである。第２実施形態の内視鏡システムの機能を示すブロック図である。回転フィルタの平面図である。第３実施形態の内視鏡システムの機能を示すブロック図である。第３実施形態の通常光のスペクトルを示すグラフである。第３実施形態の特殊光のスペクトルを示すグラフである。診断支援装置を示すブロック図である。医療業務支援装置を示すブロック図である。

［第１実施形態］
図１において、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。

また、操作部１２ｂには、アングルノブ１２ｅの他、モードの切り替え操作に用いるモード切替ＳＷ（モード切替スイッチ）１２ｆと、内視鏡画像の拡大・縮小を指示するズーム操作部１２ｇとが設けられている。

なお、内視鏡システム１０は、通常光モード、特殊光モード、及び疾患関連処理モードの３つのモードを有している。通常光モードでは、通常光を観察対象に照明して撮像することによって、自然な色合いの通常画像をモニタ１８に表示する。特殊光モードでは、通常光と波長帯域が異なる特殊光を観察対象に照明して撮像することによって、特定の構造を強調した特殊画像をモニタ１８に表示する。疾患関連処理モードでは、通常画像又は特殊画像に基づいて、疾患の一つである潰瘍性大腸炎の寛解又は非寛解を判定する。なお、疾患関連処理モードでは、潰瘍性大腸炎のステージに関する指標値を算出すること、又は、潰瘍性大腸炎のステージを判定することを行ってもよい。

なお、本実施形態では、疾患関連処理モードでは、特殊画像（内視鏡画像）を用いるが、通常画像を用いるようにしてもよい。また、疾患関連処理モードで用いる画像としては、医療画像の一つである内視鏡画像としての特殊画像の他、放射線撮影装置で得られる放射線画像、ＣＴ（Computed Tomography）で得られるＣＴ画像、ＭＲＩ（Magnetic Resonance Imaging）で得られるＭＲＩ画像などの医療画像を用いてもよい。また、内視鏡１２が接続されたプロセッサ装置１６内において、疾患関連処理モードを実行するが、その他の方法で疾患関連処理モードを実行するようにしてもよい。例えば、内視鏡システム１０とは別の外部の画像処理装置に疾患関連処理部６６（図２）の機能を設け、医療画像を外部の画像処理装置に入力して疾患関連処理モードを実行し、その実行結果を、外部の画像処理装置に接続された外部のモニタに表示するようにしてもよい。

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続される。モニタ１８は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。コンソール１９は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１６には、画像や画像情報などを記録する外付けの記録部（図示省略）を接続してもよい。また、プロセッサ装置１６は、本発明の画像処理装置に対応する。

図２において、光源装置１４は、光源部２０と、光源部２０を制御する光源制御部２１とを備えている。光源部２０は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。

図３に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ２０ｂは、中心波長４６０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ２０ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。なお、紫色光Ｖは、疾患関連処理モードにて用いる表層血管の密集、粘膜内出血、及び粘膜外出血を検出するために用いられる短波長の光であり、中心波長又はピーク波長に４１０ｎｍを含めることが好ましい。

光源制御部２１は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを制御する。また、光源制御部２１は、通常光モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。

また、光源制御部２１は、特殊光モード又は疾患関連処理モード時には、短波長の光としての紫色光Ｖと、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光強度比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。光強度比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光は、表層血管などを強調することが好ましい。そのため、特殊光は、紫色光Ｖの光強度を青色光Ｂの光強度よりも大きくすることが好ましい。例えば、図４に示すように、紫色光Ｖの光強度Ｖｓと青色光Ｂの光強度Ｂｓとの比率を「４：１」とする。また、図５に示すように、特殊光については、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比を１：０：０：０にして、短波長の光としての紫色光Ｖのみを発光するようにしてもよい。

なお、本明細書において、光強度比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有するものとする。

各ＬＥＤ２０ａ～２０ｄが発する光は、ミラーやレンズなどで構成される光路結合部２３を介して、ライトガイド２５に入射される。ライトガイド２５は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコード）に内蔵されている。ライトガイド２５は、光路結合部２３からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３２を有しており、ライトガイド２５によって伝搬した照明光は照明レンズ３２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４２、撮像センサ４４を有している。照明光を照射したことによる観察対象からの光は、対物レンズ４２を介して撮像センサ４４に入射する。これにより、撮像センサ４４に観察対象の像が結像される。

撮像センサ４４としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色の撮像センサ４４の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（グリーン）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるので、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ４４と同様のＲＧＢ各色の画像信号を得ることができる。

撮像センサ４４は、撮像制御部４５によって駆動制御される。撮像制御部４５における制御は、各モードによって異なっている。通常光モード又は疾患関連処理モードでは、撮像制御部４５は、通常光で照明された観察対象を撮像するように、撮像センサ４４を制御する。これにより、撮像センサ４４のＢ画素からＢｃ画像信号が出力され、Ｇ画素からＧｃ画像信号が出力され、Ｒ画素からＲｃ画像信号が出力される。

特殊光モード又は疾患関連処理モードでは、撮像制御部４５は、特殊光で照明された観察対象を撮像するように、撮像センサ４４を制御する。これにより、撮像センサ４４のＢ画素からＢｓ画像信号が出力され、Ｇ画素からＧｓ画像信号が出力され、Ｒ画素からＲｓ画像信号が出力される。

ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４４から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４８により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１６に入力される。

プロセッサ装置１６は、画像取得部５０と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、画像処理切替部５６と、画像処理部５８と、映像信号生成部６０とを備えている。画像処理部５８は、通常画像生成部６２と、特殊画像生成部６４と、疾患関連処理部６６とを備えている。

画像取得部５０は、内視鏡１２から入力される医療画像の一つである内視鏡画像の画像信号を取得する。取得した画像信号はＤＳＰ５２に送信される。ＤＳＰ５２は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ４４の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるリニアマトリクス処理が施される。

その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理（等方化処理，同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ５２は、デモザイク処理後の各画像信号にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ及び色差信号Ｃｒをノイズ低減部５４に出力する。

ノイズ低減部５４は、ＤＳＰ５２でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、画像処理切替部５６に入力される。

画像処理切替部５６は、設定されているモードによって、ノイズ低減部５４からの画像信号の送信先を、通常画像生成部６２と、特殊画像生成部６４と、疾患関連処理部６６のいずれかに切り替える。具体的には、例えば、通常光モードにセットされている場合には、ノイズ低減部５４からの画像信号を通常画像生成部６２に入力する。特殊光モードにセットされている場合には、ノイズ低減部５４からの画像信号を特殊画像生成部６４に入力する。疾患関連処理モードにセットされている場合には、ノイズ低減部５４からの画像信号を疾患関連処理部６６に入力する。

通常画像生成部６２は、入力した１フレーム分のＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号に対して、通常画像用画像処理を施す。通常画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、及び空間周波数強調等の構造強調処理が含まれる。通常画像用画像処理が施されたＲｃ画像信号、Ｇｃ画像信号、及びＢｃ画像信号は、通常画像として映像信号生成部６０に入力される。

特殊画像生成部６４は、入力した１フレーム分のＲｓ画像信号、Ｇｓ画像信号、及びＢｓ画像信号に対して、特殊画像用画像処理を施す。特殊画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。特殊画像用画像処理が施されたＲｓ画像信号、Ｇｓ画像信号、及びＢｓ画像信号は、特殊画像として映像信号生成部６０に入力される。

疾患関連処理部６６は、特殊画像の撮影条件又は特殊画像を解析して得られる画像解析結果に基づき、特殊画像に対して画像処理を行うか否かを決定する。この際、疾患関連処理部６６は、ズーム制御部５７を介して、ズーム操作部１２ｇの操作に基づくズームに関する情報を受け取る。そして、画像処理を行うと決定した特殊画像に対し、特殊画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う。判定結果に関する情報は、映像信号生成部６０に入力される。疾患関連処理部６６の詳細については、後述する。なお、第１～第３実施形態では、疾患関連処理部６６が潰瘍性大腸炎の寛解又は非寛解を判定する場合について説明を行う。

映像信号生成部６０は、画像処理部５８から出力される通常画像、特殊画像、又は判定結果に関する情報を、モニタ１８においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はモニタ１８に入力される。これにより、モニタ１８には通常画像、特殊画像、又は判定結果に関する情報が表示される。

疾患関連処理部６６の詳細について、以下説明する。図６に示すように、疾患関連処理部６６は、画像処理決定部７０と、空間周波数成分分布算出部７１と、周波数特性領域抽出部７２と、構造検出部７４と、判定部７６とを備える。画像処理決定部７０は、特殊画像の撮影条件及び／又は特殊画像を解析して得られる画像解析結果に基づき、特殊画像に対して画像処理を行うか否かを決定する。画像処理決定部７０が、画像処理を行うと決定した特殊画像について、画像処理を行う。空間周波数成分分布算出部７１、周波数特性領域抽出部７２、構造検出部７４、及び判定部７６は、画像処理を行う。画像処理に関しては、後述する。

画像処理決定部７０は、医療画像である特殊画像の撮影条件及び／又は特殊画像を解析して得られる画像解析結果に基づき、特殊画像に対して画像処理を行うか否かを決定する。図７に示すように、画像処理決定部７０は、画像処理実施制御部８１、拡大率指標解析部８２、ハレーション分布解析部８３、周波数特性解析部８４、輝度値解析部８５、影分布解析部８６、及び計測補助光解析部８７を備える。

画像処理実施制御部８１は、画像処理決定部７０に関する制御を行う。画像処理決定部７０に関する制御としては、特殊画像に対して画像処理を行うか否かの決定を、特殊画像の撮影条件及び／又は特殊画像を解析して得られる画像解析結果のうち、いずれに基づいて行うかといった制御、及び、複数の画像解析結果を得た場合、これらの解析結果を統合した上で特殊画像に対して画像処理を行うか否かを決定する制御が含まれる。特殊画像に対して画像処理を行うか否かの決定を、特殊画像の撮影条件及び／又は特殊画像を解析して得られる画像解析結果のうち、いずれに基づいて行うかは、予め設定する。例えば、撮影条件及び画像解析結果を全て得た後に、画像処理実施制御部８１がこれらの解析結果を統合した上で画像処理を行うか否かを決定してもよいし、撮影条件のみを用いて決定してもよい。

また、画像処理実施制御部８１は、疾患関連処理部６６に対し、特殊画像の撮影条件及び／又は特殊画像を解析して得られる画像解析結果を送る制御を行う。疾患関連処理部は、画像処理決定部が画像処理を行うと決定した特殊画像に対し、画像処理実施制御部８１から送られた特殊画像の撮影条件及び／又は特殊画像を解析して得られる画像解析結果を用いて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、及び潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う。

特殊画像の撮影条件に基づく場合は、例えば、拡大率指標を用いる。撮影条件は、拡大率指標の他に、観察対象と内視鏡先端部との距離である撮影距離、又は照明光の光量等を用いてもよい。特殊画像を解析して得られる画像解析結果に基づく場合は、例えば、ハレーション分布、周波数特性、輝度値、影分布、又は計測補助光の位置を用いる。これらは、単独を用いても良いし、複数を用いてもよい。複数を用いる場合は、画像処理実施制御部８１がこれらを統合し、予め設定した基準に従って画像処理を行うか否かを決定する。

撮影条件に基づく場合に用いる拡大率指標は、拡大率に関する指標であり、例えば、光学ズーム及び／又は電子ズームを用いた拡大率、焦点距離、又は被写界深度等の特殊画像取得時の撮影条件の他、ズーム操作部の操作履歴、ズームの種類と各ズームの割合等、拡大率に関する情報を用いることができる。また、特殊画像を画像解析することにより得た、拡大率に関する情報を用いてもよい。なお、拡大率とは、相対的な値であり、例えば、拡大又はズーム等の操作をせずに撮像して得られる画像が含む観察対象の像の大きさを基準とした場合に、拡大又はズーム等の操作後に撮像して得られる画像が含む観察対象の像の大きさの割合を示す値である。

本実施形態では、ズームの種類として、光学ズームと電子ズームとを備える。光学ズームでは、レンズを動かし、焦点距離を調節して撮像センサに結像する観察対象の像を拡大することにより、モニタに表示する観察対象を拡大する。また、電子ズームでは、観察対象を撮像して得られる画像信号の一部（例えば中央部）をトリミングし、トリミングした範囲を引き伸ばしてモニタに表示することによって観察対象を拡大する。本実施形態では、ズームの種類は、光学ズーム、電子ズーム、又は光学ズームと電子ズームとの両方のいずれであってもよい。

図８に示すように、観察対象の像をモニタに表示する場合、例えば、図８（Ａ）に示すように、拡大等の操作を行わないモニタ画像９１が表示する特殊画像９１ａでは、内視鏡先端部１２ｄに取り付けたフード９２が影を形成すること等により暗い部分が存在する。また、例えば、図８（Ｂ）に示すように、拡大の操作を行ったモニタ画像９５が表示する特殊画像９５ａでは、照明光が透明なフード９２を透過して観察対象に届き、また、ハレーション領域９６が形成される。なお、図８（Ａ）及び図８（Ｂ）において、また、図１１、図１２、図２２、及び図２３において、フード９２は斜線で示す。また、ユーザーが拡大率を容易に把握できるよう、モニタ画像９１及び９５において、拡大率を示す拡大率表示９３が示される。

拡大率指標解析部８２は、ズーム制御部５７等により、拡大率指標に関する情報等を受け取り、これらの情報を解析することにより拡大率を算出する。拡大率は、特殊画像に対して画像処理を行うか否かを決定するために、画像処理実施制御部８１に送られる。画像処理実施制御部８１は、算出した拡大率が予め設定した閾値以上の場合に画像処理を行うと決定し、また、拡大率が予め設定した閾値より小さい場合は画像処理を行わないと決定する。

次に、特殊画像を解析して得られる画像解析結果に基づく場合、画像解析結果として、例えば、ハレーション分布、周波数特性、輝度値、影分布、又は計測補助光の位置を用いることができる。ハレーション分布は、特殊画像が含むハレーション領域の分布を算出したものである。周波数特性は、特殊画像の空間周波数成分の分布を算出したものである。輝度値は、特殊画像の輝度値を算出したものである。影分布は、特殊画像が内視鏡先端部が備えるフードにより観察対象に形成される影を含む場合、この影の領域の分布を算出したものである。計測補助光の反射光位置は、観察対象の計測を行う場合に観察対象に照射される計測補助光が観察対象に形成する輝点の位置を算出したものである。

ハレーション分布解析部８３は、ハレーション分布に関する特殊画像の画像解析を行う。特殊画像において、内視鏡先端部１２ｄと観察対象との距離によって、輝度値が周囲に比べて極端に高いハレーション領域が生じる場合がある。特殊画像がハレーション領域を含む場合は、内視鏡先端部１２ｄと観察対象との距離が比較的近く、また、ハレーション領域を含まない場合は、内視鏡先端部１２ｄと観察対象との距離が比較的遠い。したがって、特殊画像を解析してハレーション領域の分布を算出することにより、内視鏡先端部１２ｄと観察対象との距離又は特殊画像の解像度の指標を得ることができる。

例えば、図８（Ｂ）に示すように、特殊画像９５ａは、複数のハレーション領域９６を含む。なお、図の煩雑さを避けるために、図８（Ｂ）において、一部のハレーション領域にのみ符号を付す。また、図８（Ｂ）は、拡大操作を行っている画像であるため、拡大率表示９３により、この画像は拡大操作を行った特殊画像であることが示される。

ハレーション分布解析部８３は、予め設定した特定の輝度値以上の領域をハレーション領域とする。例えば、図９に示すように、特殊画像において、予め設定した特定の輝度値以上の領域を示すハレーション分布画像を作成する。特殊画像９５ａに基づき作成したハレーション分布画像９５ｂには、図９（Ｂ）に示すように、ハレーション領域に基づく上記の特定の輝度値（Ｓ）以上の領域（Signal≧S)である高輝度領域９７が形成される。また、特殊画像９１ａに基づき作成したハレーション分布画像９１ｂには、図９（Ａ）に示すように高輝度領域９７が形成されない。ハレーション分布解析部８３は、ハレーション分布画像９１ｂ及び９５ｂに基づき、高輝度領域９７の面積（Area（Signal≧S)）をそれぞれ算出する。

なお、図９を含む以下の図において、特殊画像等の図は、モニタに表示した場合の画像を模式的に記載するが、実際の特殊画像等の形状は問わず、場合によって適宜設定でき、円形又は矩形等であってよい。

特殊画像９１ａ及び９５ａに基づくハレーション分布画像９１ｂ及び９５ｂにおけるそれぞれの高輝度領域９７の面積は、特殊画像９１ａ及び９５ａに対して画像処理を行うか否かを決定するために、画像処理実施制御部８１に送られる。画像処理実施制御部８１は、算出したそれぞれの高輝度領域９７の面積が予め設定した閾値以上の場合に特殊画像に対して画像処理を行うと決定し、また、高輝度領域９７の面積が予め設定した閾値より小さい特殊画像に対しては画像処理を行わないと決定する。

周波数特性解析部８４は、周波数特性に関する特殊画像の画像解析を行う。解析により、特殊画像の空間周波数分布を算出する。例えば、内視鏡先端部１２ｄと観察対象との距離が遠く、照明光が届かない管腔の奥深い部分は、空間周波数が周囲より低い低周波領域となる。また、例えば、内視鏡先端部１２ｄと観察対象との距離が近く、観察対象の全てに照明光が届いている部分は、低周波領域を含まない。したがって、特殊画像について空間周波数分布を算出する解析を行うことにより、内視鏡先端部１２ｄと観察対象との距離又は特殊画像の解像度の指標を得ることができる。

図１０（Ａ）に示すように、特殊画像９１ａに基づき作成した空間周波数分布画像９１ｃは、周囲より空間周波数が低い低周波領域（Frequency≦F)９８を含む。また、図１０（Ｂ）に示すように、特殊画像９５ａに基づき作成した空間周波数分布画像９５ｃは、低周波領域９８を含まない。周波数特性解析部８４は、空間周波数分布画像９１ｃ及び９５ｃに基づき、低周波領域９８の面積（Area（Frequency≦F)）をそれぞれ算出する。

特殊画像９１ａ及び９５ａに基づく空間周波数分布画像９１ｃ及び９５ｃにおける低周波領域９８の面積は、特殊画像９１ａ及び９５ａに対して画像処理を行うか否かを決定するために、画像処理実施制御部８１に送られる。画像処理実施制御部８１は、算出した低周波領域９８の面積が予め設定した閾値以下の場合に特殊画像に対して画像処理を行うと決定し、また、低周波領域９８の面積が予め設定した閾値より大きい特殊画像に対しては画像処理を行わないと決定する。

輝度値解析部８５は、輝度値に関する特殊画像の画像解析を行う。解析により、特殊画像の輝度値分布を算出する。特殊画像に基づき算出した輝度値分布に基づき、例えば、特殊画像全体での平均輝度値を算出する。例えば、内視鏡先端部１２ｄと観察対象との距離が遠く、照明光が届かない管腔の奥深い部分の面積が多い場合は、平均輝度値が小さくなる。また、例えば、内視鏡先端部１２ｄと観察対象との距離が近く、観察対象の大部分に照明光が届いている部分は、平均輝度値が大きくなる。したがって、特殊画像について輝度値を算出する解析を行うことにより、内視鏡先端部１２ｄと観察対象との距離又は特殊画像の解像度の指標を得ることができる。

図１１（Ａ）に示すように、輝度値解析部８５は、特殊画像９１ａに基づいて輝度値分布を算出し、輝度値分布から特殊画像９１aの画像全体に対する平均輝度値ＢＶ１を算出する。また、図１１（Ｂ）に示すように、特殊画像９５ａに基づいて輝度値分布を算出し、輝度値分布から特殊画像９５ａの画像全体に対する平均輝度値ＢＶ２を算出する。

特殊画像９１ａ及び９５ａのそれぞれにおける平均輝度値ＢＶ１及びＢＶ２は、特殊画像９１ａ及び９５ａに対して画像処理を行うか否かを決定するために、画像処理実施制御部８１に送られる。画像処理実施制御部８１は、算出した平均輝度値が予め設定した閾値以上の場合に特殊画像に対して画像処理を行うと決定し、また、平均輝度値が予め設定した閾値より小さい特殊画像に対しては画像処理を行わないと決定する。

影分布解析部８６は、内視鏡先端部１２ｄに取り付けたフードにより観察対象に生じる影（以下、フード影という）に関する特殊画像の画像解析を行う。解析により、特殊画像が含むフード影の領域の分布（以下、フード影領域という）を算出する。例えば、内視鏡先端部１２ｄと観察対象との距離が遠い場合は、観察対象に対する照明光の角度が垂直から離れるため、フード影領域が大きくなる。また、例えば、内視鏡先端部１２ｄと観察対象との距離が近い場合は、観察対象に対する照明光の角度が垂直に近くなるため、フード影領域が小さくなる。したがって、特殊画像についてフード影領域の分布を算出する解析を行うことにより、内視鏡先端部１２ｄと観察対象との距離又は特殊画像の解像度の指標を得ることができる。

図１２（Ａ）及び図１２（Ｂ）に示すように、特殊画像９１ａ及び特殊画像９９は、それぞれフード９２によるフード影領域９２ａを含む。影分布解析部８６は、特殊画像９１ａ及び特殊画像９９に基づき、フード影領域９２ａの面積をそれぞれ算出する。なお、フード影領域９２ａの面積の算出は、例えば、画像解析により、輝度値が所定の範囲内の領域をフード影領域９２ａとして算出することができる。

特殊画像９１ａに基づくフード影領域９２ａの面積ＳＨ１、及び特殊画像９９に基づくフード影領域９２ａの面積ＳＨ２は、それぞれ特殊画像９１ａ及び９９に対して画像処理を行うか否かを決定するために、画像処理実施制御部８１に送られる。画像処理実施制御部８１は、算出したフード影領域９２ａの面積が予め設定した閾値より大きい場合に特殊画像に対して画像処理を行わないと決定し、また、フード影領域９２ａの面積が予め設定した閾値以下の特殊画像に対しては画像処理を行うと決定する。例えば、特殊画像９１ａに基づくフード影領域９２ａの面積ＳＨ１は、予め設定した閾値より大きいため、特殊画像９１ａに対しては画像処理を行わないと決定し、特殊画像９９に基づくフード影領域９２ａの面積ＳＨ２は、予め設定した閾値以下であるため、特殊画像９９に対しては画像処理を行うと決定する。

計測補助光解析部８７は、計測補助光の位置に関する特殊画像の画像解析を行う。計測補助光は、観察対象の計測に用いるものであり、照明光に加えて観察対象に照射される。計測補助光は、撮像センサ４４の画素によって検出可能な色の光、例えば、６００ｎｍ以上６５０ｎｍ以下の赤色光等の可視光であり、レーザー光源又はＬＥＤ等の発光素子を用いる。

図１３に示すように、計測補助光が観察対象に照射されることにより、観察対象上において、スポットＳＰ等の計測補助光照射領域が形成される。計測補助光によるスポットＳＰが形成された観察対象を撮像して、計測補助光照射領域であるスポットＳＰを含む特殊画像１００を得る。特殊画像１００におけるスポットＳＰの位置を特定することにより、内視鏡先端部１２ｄと観察対象との距離（以下、観察距離という）が求められる。

特殊画像９１ａにおけるスポットＳＰの位置により、内視鏡先端部１２ｄと観察対象との距離を求める方法について説明すると、図１４に示すように、内視鏡先端部１２ｄにおいて、計測補助光用レンズ３０ｃが備えられ、計測補助光出射部３０ｄから出射される計測補助光を観察対象に照射する。計測補助光の光軸Ｌｍが撮像光学系の撮影画角（２つの実線Ｌ１で挟まれる領域内）に入る状態で、計測補助光を出射する。観察距離の範囲Ｒｘにおいて観察可能であるとすると、範囲Ｒｘの近端Ｐｘ、中央付近Ｐｙ、及び遠端Ｐｚでは、各点での撮像範囲（矢印Ｑｘ、Ｑｙ、Ｑｚで示す）における計測補助光によって観察対象上に形成されるスポットＳＰの位置（各矢印Ｑｘ、Ｑｙ、Ｑｚが光軸Ｌｍと交わる点）が異なることが分かる。内視鏡先端部１２ｄの位置を位置Ｐ１とする。観察距離は、内視鏡先端部１２ｄと観察対象との距離である。したがって、観察距離は、それぞれ、位置Ｐ１と、近端Ｐｘ、中央付近Ｐｙ、及び遠端Ｐｚとの間の距離である。観察距離は、詳細には、内視鏡先端部１２ｄにおける撮像光学系３０ｂの光軸Ａｘの始点から観察対象までの距離となる。軸Ｄｖは観察距離を示す。

計測補助光が照明された観察対象を撮像センサ４４で撮像することによって、計測補助光照射領域であるスポットＳＰを含む特殊画像を得る。特殊画像では、スポットＳＰの位置は、撮像光学系３０ｂの光軸Ａｘと計測補助光の光軸Ｌｍとの関係、及び観察距離に応じて異なる。したがって、予め、スポットＳＰの位置と観察距離とを対応付けた対応情報を取得しておくことにより、スポットＳＰの位置によって観察距離を得ることができる。なお、観察対象の長さ又は大きさを計測する際も、予め、観察距離と、例えば、所定の大きさのマーカとを対応付けた対応情報を取得しておくことにより、実寸を示すマーカを特殊画像上に重畳すること等により、観察対象の実寸を計測することができる。

計測補助光解析部８７は、スポットＳＰを含む特殊画像の解析により、特殊画像におけるスポットＳＰの位置を特定する。例えば、内視鏡先端部１２ｄと観察対象との距離が遠い場合は、スポットＳＰの位置が特殊画像の上部に位置する。また、例えば、内視鏡先端部１２ｄと観察対象との距離が近い場合は、スポットＳＰの位置が特殊画像の中心部に位置する。したがって、特殊画像についてスポットＳＰの位置を特定する解析を行うことにより、内視鏡先端部１２ｄと観察対象との距離又は特殊画像の解像度の指標を得ることができる。

図１５（Ａ）に示すように、特殊画像１００ａは、計測補助光により観察対象上に形成されたスポットＳＰ１を含む。また、図１５（Ｂ）に示すように、特殊画像１００ｂは、計測補助光により観察対象上に形成されたスポットＳＰ２を含む。計測補助光解析部８７は、特殊画像１００ａ及び１００ｂのそれぞれにおいて、特殊画像１００ａ及び１００ｂにおけるスポットＳＰ１及びスポットＳＰ２の位置を、それぞれ特定する。計測補助光解析部８７が予め取得する、スポットＳＰの位置と観察距離とを対応付けた対応情報により、計測補助光解析部８７は、スポットＳＰ１の位置から特殊画像１００ａにおける観察距離を、また、スポットＳＰ２の位置から特殊画像１００ｂにおける観察距離を算出する。なお、本実施形態では、スポットＳＰ１の位置により特殊画像１００ａは観察距離がより遠いと算出され、スポットＳＰ２の位置により特殊画像１００ｂは観察距離がより近いと算出される。

算出された観察距離は、特殊画像９１ａ及び９５ａに対して画像処理を行うか否かを決定するために、画像処理実施制御部８１に送られる。画像処理実施制御部８１は、算出した観察距離が予め設定した閾値以下の場合の特殊画像に対して画像処理を行うと決定し、また、観察距離が予め設定した閾値より大きい場合の特殊画像に対しては画像処理を行わないと決定する。

画像処理実施制御部８１が画像処理を行うと決定した特殊画像に対し、疾患関連処理部６６は、特殊画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、及び潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う。疾患関連処理部６６にて判定対象とする潰瘍性大腸炎は、図１６（Ａ）～（Ｅ）に示すように、重症度が悪化する毎に、血管構造のパターンが変化することを発明者らが見出している。潰瘍性大腸炎が寛解、又は、潰瘍性大腸炎が発生していない場合には、表層血管のパターンが規則的であり（図１６（Ａ））、又は、表層血管のパターンの規則性に多少の乱れが生じている程度である（図１６（Ｂ））。一方、潰瘍性大腸炎が非寛解であり、且つ、重症度が軽症である場合には、表層血管の密集が粗密である（図１６（Ｃ））。また、潰瘍性大腸炎が非寛解であり、且つ、重症度が中等症である場合には、粘膜内出血が発生している（図１６（Ｄ））。また、潰瘍性大腸炎が非寛解であり、且つ、重症度が中等症～重症である場合には、粘膜外出血が発生している（図１６（Ｅ））。疾患関連処理部６６では、上記の血管構造のパターン変化を利用して、医療画像の一つである特殊画像に基づいて、潰瘍性大腸炎の寛解又は非寛解を判定する。

ここで、「表層血管の密集」とは、表層血管が蛇行し、集まる状態をいい、画像上の見た目では、腸腺嵩（クリプト）（図１７参照）の周りを表層血管が何本も囲んでいることをいう。「粘膜内出血」とは、粘膜組織内（図１７参照）の出血で内腔への出血との鑑別を要することをいう。「粘膜内出血」とは、画像上の見た目では、粘膜の中、且つ内腔（管腔、ひだの穴）ではない出血を指している。「粘膜外出血」とは、管腔内への少量の血液、管腔内を洗浄した後も内視鏡前方の管腔、又は粘膜からにじみ出て視認可能な血液、又は、出血性粘膜上でにじみを伴った管腔内の血液のことをいう。

疾患関連処理部６６は、特殊画像から得られる周波数特性又は輝度値によって表層血管の密集、粘膜内出血、及び粘膜外出血を分類し、分類に従って、潰瘍性大腸炎の寛解又は非寛解を判定する。具体的には、表層血管の密集、粘膜内出血、及び粘膜外出血については、図１８に示すように、分類される。表層血管の密集は、輝度値が低輝度で、且つ、周波数特性が高周波で表される。粘膜内出血は、輝度値が中輝度で、且つ、周波数特性が中周波で表される。粘膜外出血は、輝度値が低輝度で、且つ、周波数特性が低周波で表される。なお、特殊画像の各種構造を輝度値及び周波数特性で表した場合には、上記の３つの表層血管の密集、粘膜内出血、及び粘膜外出血の他に、特殊画像のボケ暗部又は内視鏡影（内視鏡の先端部１２ｄを管腔に沿って動かす場合において内視鏡画像の中心部分にできる影）なども含まれる。本実施形態では、上記の分類を利用して、特殊画像から、潰瘍性大腸炎の寛解又は非寛解の判定に必要な表層血管の密集、粘膜内出血、及び粘膜外出血を抽出する。

図６に示すように、疾患関連処理部６６は、空間周波数成分分布算出部７１と、周波数特性領域抽出部７２と、構造検出部７４と、判定部７６とを備えている。空間周波数成分分布算出部７１は、特殊画像に対してラプラシアンフィルタをかけることにより、空間周波数成分分布を算出する。

周波数特性領域抽出部７２は、空間周波数成分分布に基づいて、第１周波数特性（低周波）を有する第１周波数特性領域（低周波領域）を抽出し、第１周波数特性よりも高い周波数を持つ第２周波数特性（中周波）を有する第２周波数特性領域（中周波領域）を抽出し、第２周波数特性よりも高い周波数を持つ第３周波数特性（高周波）を有する第３周波数特性領域（高周波領域）を抽出する。

具体的には、周波数特性領域抽出部７２は、第１周波数特性領域抽出部７２ａ、第３周波数特性領域抽出部７２ｂ、解析対象領域検出部７２ｃ、及び、第２周波数特性領域抽出部７２ｄを備えており、図１９に示す流れに沿って第１～第３周波数特性領域を抽出する。第１周波数特性領域抽出部７２ａは、空間周波数成分分布に基づいて、特定画素を含む近傍の９画素の周波数の標準偏差が一定値以下の場合に、特定画素を第１周波数特性に属する画素とする。この特定画素の検出を全画素分行うことによって、第１周波数特性領域を抽出する。第１周波数特性領域は、低周波の領域に相当する。第３周波数特性領域抽出部７２ｂは、空間周波数成分分布に対するヘシアン解析によって、第３周波数特性領域を抽出する。第３周波数特性領域は、高周波の領域に相当する。なお、第１周波数特性領域抽出部７２ａでは、特定画素を含む近傍の９画素の周波数の標準偏差が一定値以下の場合に、特定画素を第１周波数特性に属する画素としているが、その他の統計量、例えば、近傍の９画素との周波数の最大値又は最小値、平均値が一定値以下の場合に、特定画素を第１周波数特性に属する画素としてもよい。

解析対象領域検出部７２ｃは、特殊画像から第１周波数特性領域を除いた解析対象領域を検出する。第２周波数特性領域抽出部７２ｄは、解析対象領域から、第３周波数特性領域を除くことにより、第２周波数特性領域を抽出する。第２周波数特性領域は、中周波の領域に相当する。

構造検出部７４は、輝度値を用いる第１領域判別処理を施した第１周波数特性領域、輝度値を用いる第２領域判別処理を施した第２周波数特性領域、及び第３周波数特性領域に基づいて、表層血管の密集、粘膜内出血、及び粘膜外出血を検出する。具体的には、構造検出部７４は、第１周波数特性領域に対して第１領域判別処理を施すことにより、粘膜外出血を検出し、第２周波数特性領域に対して第２領域判別処理を施すことにより、粘膜内出血を検出し、第３周波数特性領域を表層血管の密集として検出する。

低周波の第１周波数特性領域には、低輝度の粘膜外出血の他、中輝度のボケ暗部又は内視鏡影が含まれることから、これらを区別するために、第１領域判別処理が行われる。第１領域判別処理では、特殊画像の第１周波数特性領域のうち輝度値が輝度値用閾値以下の領域を、粘膜外出血の領域として検出する。中輝度の粘膜内出血を区別するために第２領域判別処理が行われる。第２領域判別処理では、特殊画像の第２周波数特性領域うち輝度値が輝度値用閾値以上の領域を、粘膜内出血の領域として検出する。なお、低輝度の表層血管の密集を区別するために第３領域判別処理を行うようにしてもよい。第３領域判別処理では、特殊画像の第３周波数特性領域のうち輝度値が輝度値用閾値以下の領域を、表層血管が密集する領域として検出する。

判定部７６は、表層血管の密集があること、粘膜内出血の検出量が粘膜内出血用閾値以上であること、粘膜外出血の検出量が粘膜外出血用閾値以上であること、及び、粘膜内出血の検出量と粘膜外出血の検出量の和が粘膜内外出血用閾値以上であることのいずれかを満たす場合に、潰瘍性大腸炎が非寛解であると判定する。一方、判定部７６は、表層血管の密集があること、粘膜内出血の検出量が粘膜内出血用閾値以上であること、粘膜外出血の検出量が粘膜外出血用閾値以上であること、及び、粘膜内出血の検出量と粘膜外出血の検出量の和が粘膜内外出血用閾値以上であることのいずれも満たさない場合に、潰瘍性大腸炎が寛解であると判定する。以上の判定部７６での判定に関する情報は、モニタ１８上に表示されて、ユーザーによる潰瘍性大腸炎の寛解又は非寛解の判定に用いられる。判定部７６において潰瘍性大腸炎が寛解であると判定された場合には、図２０に示すように、その旨のメッセージがモニタ１８上に表示される。なお、判定に関する情報を表示する際には、判定部７６での判定に用いた特殊画像を重畳表示することが好ましい。

なお、判定部７６では、粘膜内出血の検出量について、特殊画像のうち第２周波数特性領域が占める割合に基づいて算出することが好ましい。また、判定部７６では、粘膜外出血の検出量について、特殊画像のうち低輝度の第１周波数特性領域（第１領域判別処理後の第１周波数特性領域）が占める割合に基づいて算出することが好ましい。また、判定部７６では、潰瘍性大腸炎の寛解又は非寛解の判定に加えて又は代えて、潰瘍性大腸炎の重症度を指標化した指標値を求め、指標値に従って潰瘍性大腸炎の寛解又は非寛解の判定を行い、また、指標値を判定結果としてモニタ１８に表示するようにしてもよい。

なお、疾患関連処理部６６において、例えば、周波数特性解析部８４と空間周波数成分分布算出部７１とのように、同様の機能を持つ場合はこれらを共通させてもよい。すなわち、一つの部分が、ある場合には周波数特性解析部８４として機能し、また、別のある場合には空間周波数成分分布算出部７１として機能するようにしてもよい。

以上のように、医療画像を用いて潰瘍性大腸炎に関する判定を行うに際し、画像処理決定部７０が、医療画像である特殊画像の撮影条件及び／又は特殊画像を解析して得られる画像解析結果に基づき、特殊画像に対して画像処理を行うか否かを決定し、画像処理決定部７０が画像処理を行うと決定した特殊画像に対し、疾患関連処理部６６が、特殊画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、及び潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う画像処理装置により、画像処理の判定結果が精度良く得られる特殊画像に対して、画像処理が行われる。したがって、特殊画像を用いた潰瘍性大腸炎に関する判定を、精度良く行うことができる。

また、場合により、予め設定された内容により、画像処理実施制御部８１が特殊画像の撮影条件及び／又は特殊画像を解析して得られる画像解析結果に基づき、画像処理を行うか否かを決定するため、自動的に選択された特殊画像に対して、画像処理が行われる。したがって、特殊画像を用いた潰瘍性大腸炎に関する判定を、精度良く、しかも、簡便に行うことができる。

次に、疾患関連処理モードの一連の流れについて、図２１に示すフローチャートに沿って説明を行う。疾患関連処理モードに切り替えられると、特殊光が観察対象に照射される。内視鏡１２は、特殊光によって照明された観察対象を撮像することにより（ステップＳＴ１１０）、ある時点で内視鏡画像（医療画像）の一つである特殊画像を得る。画像取得部５０は、内視鏡１２からの特殊画像を取得する（ステップＳＴ１２０）。

特殊画像は、疾患関連処理部６６に送られ、画像処理決定部７０により、画像処理を行うか否か、つまり、画像処理の是非を決定する（ステップＳＴ１３０）。本実施形態では、周波数特性と、ハレーション分布との、２種類の解析を行い、画像処理実施制御部８１が、これらの解析結果を統合して、画像処理の是非を決定する。

周波数特性解析部８４が、特殊画像の周波数特性を算出し、空間周波数分布画像を作成する。空間周波数分布画像は、空間周波数に応じて各色のフィルターをかけることにより作成できる。例えば、低周波領域９８ａを水色、高周波領域９８ｂを赤色等とする。周波数特性解析部８４は、例えば、空間周波数分布画像において、周波数がＦ以下の面積を算出し、予め設定された低周波領域の閾値との比較を行う。比較は、例えば、以下の式（１）により行う。ここで、周波数がＦ以下の面積を、Area（Frequency≦Ｆ）、低周波領域の閾値を、Threshold_Lowflequencyとする。以下の式（１）を満たす特殊画像は、観察対象が内視鏡先端部１２ｄから遠いこと、または、管腔奥深くが存在することを示す。

Area（Frequency≦Ｆ）＞Threshold_Lowflequency （１）

次に、ハレーション分布解析部８３が、特殊画像のハレーション分布を算出し、ハレーション分布画像を作成する。ハレーション分布画像は、輝度値が特定値以上の領域を算出することにより作成できる。例えば、ハレーション分布画像は、輝度値が特定値に応じて、特定の輝度値以上の領域に各色のフィルターをかけることにより作成できる。例えば、ハレーション領域を白色等とする。ハレーション分布解析部８３は、例えば、ハレーション分布画像において、輝度値がＳ以上の面積を算出し、予め設定されたハレーション領域の閾値との比較を行う。比較は、例えば、以下の式（２）により行う。ここで、輝度値がＳ以上の面積を、Area（Signal≧S）、ハレーション領域の閾値を、Threshold_Halarionとする。以下の式（２）を満たす特殊画像は、観察対象が内視鏡先端部１２ｄから近いことを示すハレーション領域が存在しないことを示す。

Area（Signal≧S）＜Threshold_Halarion （２）

画像処理実施制御部８１は、周波数特性解析部８４とハレーション分布解析部８３とから、低周波領域９８ａの面積Area（Frequency≦Ｆ）、及びハレーション領域の面積Area（Signal≧S）を受け取り、上記式（１）及び（２）により、それぞれの閾値と比較する。さらに、上記式（１）かつ上記式（２）を満たす特殊画像は、内視鏡先端部１２ｄから観察対象までの距離が遠く、解像度が低いため、画像処理によって例えば潰瘍性大腸炎のステージを判定するのに不都合であるから、画像処理を実施しないと決定する（ステップＳＴ１４０でＮＯ）。例えば、図２２に示すように、特殊画像９１ａに基づく空間周波数分布画像９１ｃが式（１）を満たし、特殊画像９１ａに基づくハレーション分布画像９１ｂが式（２）を満たすため、画像処理決定部７０は、画像処理を行わないと決定する。画像処理決定部７０が、画像処理を行わないと決定した場合、再度医療画像を取得する。

また、上記式（１）を満たさず、かつ、上記式（２）を満たさない特殊画像は、内視鏡先端部１２ｄから観察対象までの距離が近く、解像度が高いため、画像処理によって例えば潰瘍性大腸炎のステージを判定するのに好都合であるから、画像処理を実施すると決定する（ステップＳＴ１４０でＹＥＳ）。例えば、図２３に示すように、特殊画像９５ａは、特殊画像９５ａに基づく空間周波数分布画像９５ｃが式（１）を満たさず、特殊画像９５ａに基づくハレーション分布画像９５ｂが式（２）を満たさないため、画像処理決定部７０は、画像処理を行なうと決定する。画像処理決定部７０が、画像処理を行うと決定した場合、次のステップに進む。

また、上記式（１）と上記式（２）のいずれか一方を満たす特殊画像も、内視鏡先端部１２ｄから観察対象までの距離が近く、解像度が高いため、画像処理によって例えば潰瘍性大腸炎のステージを判定するのに好都合とまでは言えないが問題はないため、画像処理を実施すると決定する（ステップＳＴ１４０でＹＥＳ）。

画像処理を実施すると決定された特殊画像に対して、画像処理を行う。空間周波数成分分布算出部７１は、特殊画像から空間周波数成分分布を算出する（ステップＳＴ１６０）。第１周波数特性領域抽出部７２ａは、空間周波数成分分布に基づいて、低周波の第１周波数特性領域を抽出する（ステップＳＴ１７０）。また、第３周波数特性領域抽出部７２ｂは、空間周波数成分分布に基づいて、高周波の第３周波数特性領域を抽出する（ステップＳＴ１８０）。解析対象領域検出部７２ｃは、医療画像から第１周波数特性領域を除いた解析対象領域を検出する（ステップＳＴ１９０）。第２周波数特性領域抽出部７２ｄは、解析対象領域から第３周波数特性領域を除くことにより、中周波の第２周波数特性領域を抽出する（ステップＳＴ２００）。

構造検出部７４において、低周波の第１周波数特性領域に対して、第１領域判別処理を行うことにより、粘膜外出血を検出する（ステップＳＴ２１０）。また、構造検出部７４において、中周波の第２周波数特性領域に対して、第２領域判別処理を行うことにより、粘膜内出血を検出する（ステップＳＴ２２０）。また、構造検出部７４では、第３周波数特性領域を、表層血管の密集として検出する。

判定部７６は、構造検出部７４によって検出された表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎の寛解又は非寛解を判定する（ステップＳＴ２３０）。判定部７６での判定に関する情報は、モニタ１８に表示される（ステップＳＴ２４０）。

なお、疾患関連処理部６６が、画像処理を行うと決定した特殊画像に対し、画像処理実施制御部８１から送られた特殊画像の撮影条件及び／又は特殊画像を解析して得られる画像解析結果を用いる疾患関連処理モードの一連の流れについては、図２４に示すフローチャートに沿って説明を行う。図２４に示すフローチャートは、図２１に示すフローチャートにおいて、ステップＳＴ１５０が追加されたものである。すなわち、画像処理を実施すると決定された特殊画像に対して画像処理を行う前に、画像処理実施制御部８１から、特殊画像の撮影条件及び／又は特殊画像を解析して得られる画像解析結果である、画像処理のパラメータを取得する（ステップＳＴ１５０）。

画像処理のパラメータについては、例えば、炎症性疾患は血管が密集している領域が多いほど重症であるという知見に基づき、特殊画像が含む観察対象の拡大率が小さい場合は、表層血管の密集を評価するために表層血管の密集度を算出する場合、表層血管の密集度を算出するために用いるカーネルサイズも小さくする必要がある。上記式（１）及び上記式（２）の両方を満たす特殊画像は、拡大率が小さいと判断できる。したがって、画像処理実施制御部８１は、上記式（１）及び上記式（２）の両方を満たす特殊画像であるとの画像処理結果を、疾患関連処理部６６に送る。疾患関連処理部６６は、画像処理実施制御部８１から送られた、上記式（１）及び上記式（２）の両方を満たす特殊画像であるとの画像処理結果を用いて、表層血管の密集度を算出する場合のカーネルサイズとして、予め数種類準備しておいたカーネルサイズの中から、低倍率用カーネルを用いるとの画像処理パラメータを設定する。その後の流れは、図２１に示すフローチャートと同様である。

［第２実施形態］
第２実施形態では、上記第１実施形態で示した４色のＬＥＤ２０ａ～２０ｄの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ４４に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第１実施形態と同様である。

図２５に示すように、第２実施形態の内視鏡システム１００では、光源装置１４において、４色のＬＥＤ２０ａ～２０ｄに代えて、広帯域光源１０２、回転フィルタ１０４、フィルタ切替部１０５が設けられている。また、撮像光学系３０ｂには、カラーの撮像センサ４４の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ１０６が設けられている。

広帯域光源１０２はキセノンランプ、白色ＬＥＤなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ１０４には、内側から順に、通常光モード用フィルタ１０７と、特殊光モード及び疾患関連処理モード用フィルタ１０８とが設けられている（図２６参照）。フィルタ切替部１０５は、回転フィルタ１０４を径方向に移動させるものであり、モード切替ＳＷ１２ｆにより通常光モードにセットしたときに、通常光モード用フィルタ１０７を白色光の光路に挿入し、特殊光モード又は疾患関連処理モードにセットしたときに、特殊光モード及び疾患関連処理モード用フィルタ１０８を白色光の光路に挿入する。

図２６に示すように、通常光モード用フィルタ１０７には、周方向に沿って、白色光のうち広帯域青色光Ｂを透過させるＢフィルタ１０７ａ、白色光のうち広帯域緑色光Ｇを透過させるＧフィルタ１０７ｂ、及び、白色光のうち広帯域赤色光Ｒを透過させるＲフィルタ１０７ｃが設けられている。したがって、通常光モード時には、回転フィルタ１０４が回転することで、通常光として、広帯域青色光Ｂ、広帯域緑色光Ｇ、広帯域赤色光Ｒが交互に観察対象に照射される。

特殊光モード及び疾患関連処理モード用フィルタ１０８には、周方向に沿って、白色光のうち青色狭帯域光を透過させるＢｎフィルタ１０８ａ、及び、白色光のうち緑色狭帯域光を透過させるＧｎフィルタ１０８ｂが設けられている。したがって、特殊光モード又は疾患関連処理モード時には、回転フィルタ１０４が回転することで、特殊光として、短波長の光としての青色狭帯域光と緑色狭帯域光が交互に観察対象に照射される。なお、青色狭帯域光の波長帯域は４００～４５０ｎｍであり、緑色狭帯域光の波長帯域は５４０～５６０ｎｍであることが好ましい。

内視鏡システム１００では、通常光モード時には、広帯域青色光Ｂ、広帯域緑色光Ｇ、広帯域赤色光Ｒで観察対象が照明される毎にモノクロの撮像センサ１０６で観察対象を撮像する。これにより、Ｂｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号が得られる。そして、それら３色の画像信号に基づいて、上記第１実施形態と同様の方法で、通常画像が生成される。

内視鏡システム１００では、特殊光モード又は疾患関連処理モード時には、青色狭帯域光と緑色狭帯域光で観察対象が照明される毎にモノクロの撮像センサ１０６で観察対象を撮像する。これにより、Ｂｓ画像信号、Ｇｓ画像信号が得られる。そして、それら２色の画像信号に基づいて、上記第１実施形態と同様の方法で、特殊画像が生成される。

［第３実施形態］
第３実施形態では、上記第１実施形態で示した４色のＬＥＤ２０ａ～２０ｄの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。以下においては、第１実施形態と異なる部分のみ説明を行い、第１実施形態と略同様の部分については、説明を省略する。

図２７に示すように、第３実施形態の内視鏡システム２００では、光源装置１４の光源部２０において、４色のＬＥＤ２０ａ～２０ｄの代わりに、短波長の光に相当する中心波長４０５±１０ｎｍの紫色レーザ光を発する紫色レーザ光源部２０３（「４０５ＬＤ」と表記。ＬＤは「Laser Diode」を表す）と、中心波長４４５±１０ｎｍの青色レーザ光を発する青色レーザ光源部（「４４５ＬＤ」と表記）２０４とが設けられている。これら各光源部２０３、２０４の半導体発光素子からの発光は、光源制御部２０８により個別に制御されている。

光源制御部２０８は、通常光モードの場合には、青色レーザ光源部２０４を点灯させる。これに対して、特殊光モード又は疾患関連処理モードの場合には、紫色レーザ光源部２０３と青色レーザ光源部２０４を同時点灯させる。

なお、紫色レーザ光、青色レーザ光、又は、青緑色レーザ光の半値幅は±１０nm程度にすることが好ましい。また、紫色レーザ光源部２０３及び青色レーザ光源部２０４は、ブロードエリア型のＩｎＧａＮ系レーザダイオードが利用でき、また、ＩｎＧａＮＡｓ系レーザダイオードやＧａＮＡｓ系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。

照明光学系３０ａには、照明レンズ３２の他に、ライトガイド２５からの青色レーザ光又は青緑色レーザ光が入射する蛍光体２１０が設けられている。蛍光体２１０は、青色レーザ光によって励起され、蛍光を発する。したがって、青色レーザ光は励起光に相当する。また、青色レーザ光の一部は、蛍光体２１０を励起させることなく透過する。青緑色レーザ光は、蛍光体２１０を励起させることなく透過する。蛍光体２１０を出射した光は、照明レンズ３２を介して、観察対象の体内を照明する。

ここで、通常光モードにおいては、主として青色レーザ光が蛍光体２１０に入射するため、図２８に示すように、青色レーザ光、及び青色レーザ光により蛍光体２１０から励起発光する蛍光を合波した通常光が観察対象に照明される。この通常光で照明された観察対象を撮像センサ４４で撮像することによって、Ｂｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号からなる通常画像が得られる。

また、特殊光モード又は疾患関連処理モードにおいては、紫色レーザ光及び青色レーザ光が蛍光体２１０に同時に入射することにより、図２９に示すように、紫色レーザ光及び青色レーザ光に加えて、紫色レーザ光及び青色レーザ光によって蛍光体２１０から励起発光する蛍光を含む疑似白色光が、特殊光として発せられる。この特殊光で照明された観察対象を撮像センサ４４で撮像することによって、Ｂｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号からなる特殊画像が得られる。なお、疑似白色光は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄから発せられる紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光を組み合わせた光としてもよい。

なお、蛍光体２１０は、青色レーザ光の一部を吸収して、緑色～黄色に励起発光する複数種の蛍光体（例えばＹＫＧ系蛍光体、或いはＢＡＭ（ＢａＭｇＡｌ_１０Ｏ_１７）などの蛍光体）を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体２１０の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。

なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。

例えば、図３０に示すように、診断支援装置６００は、医療画像処理システム６０２などのモダリティやＰＡＣＳ（Picture Archiving and Communication Systems）６０４を組み合わせて使用される。また、図３１に示すように、医療業務支援装置６１０は、第１医療画像処理システム６２１、第２医療画像処理システム６２２、…、第Ｎ医療画像処理システム６２３等の各種検査装置と任意のネットワーク６２６を介して接続する。医療業務支援装置６１０は、第１～第Ｎ医療画像処理システム６２１、６２２・・・、６２３からの医療画像を受信し、受信した医療画像に基づいて、医療業務の支援を行う。

上記実施形態において、画像処理部５８に含まれる通常画像生成部６２、特殊画像生成部６４、疾患関連処理部６６、空間周波数成分分布算出部７１、周波数特性領域抽出部７２、第１周波数特性領域抽出部７２ａ、第３周波数特性領域抽出部７２ｂ、解析対象領域検出部７２ｃ、第２周波数特性領域抽出部７２ｄ、構造検出部７４、判定部７６、画像処理実施制御部８１、拡大率指標解析部８２、ハレーション分布解析部８３、周波数特性解析部８４、輝度値解析部８５、影分布解析部８６、及び、計測補助光解析部８７といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

本発明は、下記の別形態によっても実施可能である。
プロセッサ装置において、
画像取得部により、観察対象を撮像して得られる医療画像を取得し、
画像処理決定部により、前記医療画像の撮影条件及び／又は前記医療画像を解析して得られる画像解析結果に基づき、前記医療画像に対して画像処理を行うか否かを決定し、
疾患関連処理部により、前記画像処理決定部が前記画像処理を行うと決定した前記医療画像に対し、前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、及び前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う、プロセッサ装置。

１０内視鏡システム
１２内視鏡
１２ａ挿入部
１２ｂ操作部
１２ｃ湾曲部
１２ｄ先端部
１２ｅアングルノブ
１２ｆモード切替スイッチ
１２ｇズーム操作部
１４光源装置
１６プロセッサ装置
１８モニタ
１９コンソール
２０光源部
２０ａＶ－ＬＥＤ
２０ｂＢ－ＬＥＤ
２０ｃＧ－ＬＥＤ
２０ｄＲ－ＬＥＤ
２１光源制御部
２３光路結合部
２５ライトガイド
３０ａ照明光学系
３０ｂ撮像光学系
３０ｃ計測補助光用レンズ
３０ｄ計測補助光出射部
３２照明レンズ
４２対物レンズ
４４撮像センサ
４５撮像制御部
４６ＣＤＳ／ＡＧＣ回路
４８Ａ／Ｄコンバータ
５０画像取得部
５２ＤＳＰ
５４ノイズ低減部
５６画像処理切替部
５７ズーム制御部
５８画像処理部
６０映像信号生成部
６２通常画像生成部
６４特殊画像生成部
６６疾患関連処理部
７０画像処理決定部
７１空間周波数成分分布算出部
７２周波数特性領域抽出部
７２ａ第１周波数特性領域抽出部
７２ｂ第３周波数特性領域抽出部
７２ｃ解析対象領域検出部
７２ｄ第２周波数特性領域抽出部
７４構造検出部
７６判定部
８１画像処理実施制御部
８２拡大率指標解析部
８３ハレーション分布解析部
８４周波数特性解析部
８５輝度値解析部
８６影分布解析部
８７計測補助光解析部
９１、９５モニタ画像
９１ａ、９５ａ、９９、１００、１００ａ、１００ｂ特殊画像
９１ｂ、９５ｂハレーション分布画像
９１ｃ、９５ｃ空間周波数分布画像
９２フード
９２ａフード影領域
９３拡大率表示
９６ハレーション領域
９７高輝度領域
９８低周波領域
１０１内視鏡システム
１０２広帯域光源
１０４回転フィルタ
１０５フィルタ切替部
１０６撮像センサ
１０７通常光モード用フィルタ
１０７ａＢフィルタ
１０７ｂＧフィルタ
１０７ｃＲフィルタ
１０８特殊光モード及び疾患関連処理モード用フィルタ
１０８ａＢｎフィルタ
１０８ｂＧｎフィルタ
２００内視鏡システム
２０３紫色レーザ光源部
２０４青色レーザ光源部
２０８光源制御部
２１０蛍光体
６００診断支援装置
６０２医療画像処理システム
６０４ＰＡＣＳ
６１０医療業務支援装置
６２１第１医療画像処理システム
６２２第２医療画像処理システム
６２３第Ｎ医療画像処理システム
６２６ネットワーク
ＳＰ、ＳＰ１、ＳＰ２スポット
Ｌｍ光軸
Ｒｘ範囲
Ｐｘ近端
Ｐｙ中央付近
Ｐｚ遠端
Ｑｘ、Ｑｙ、Ｑｚ撮像範囲
Ｐ１位置
Ａｘ光軸
Ｄｖ観察距離

Claims

プロセッサを備え、
前記プロセッサは、
観察対象を撮像して得られる医療画像を取得し、
前記医療画像の撮影条件及び／又は前記医療画像を解析して得られる画像解析結果に基づき、前記医療画像に対して画像処理を行うか否かを決定し、
前記画像処理を行うと決定した前記医療画像に対し、前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、及び前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行い、
前記医療画像は、前記観察対象の計測を行うための計測補助光が照射された前記観察対象を撮像して得られ、
前記画像解析結果は、前記医療画像において前記観察対象上に形成された計測補助光照射領域の位置である画像処理装置。
プロセッサを備え、
前記プロセッサは、
観察対象を撮像して得られる医療画像を取得し、
前記医療画像の撮影条件及び／又は前記医療画像を解析して得られる画像解析結果に基づき、前記医療画像に対して画像処理を行うか否かを決定し、
前記画像処理を行うと決定した前記医療画像に対し、前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、及び前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行い、
前記プロセッサが前記潰瘍性大腸炎の寛解又は非寛解を判定する場合には、
前記プロセッサは、
前記医療画像から空間周波数成分分布を算出し、
前記空間周波数成分分布に基づいて、第１周波数特性を有する第１周波数特性領域を抽出し、前記第１周波数特性よりも高い周波数を持つ第２周波数特性を有する第２周波数特性領域を抽出し、前記第２周波数特性よりも高い周波数を持つ第３周波数特性を有する第３周波数特性領域を抽出し、
輝度値を用いる第１領域判別処理を施した前記第１周波数特性領域、輝度値を用いる第２領域判別処理を施した前記第２周波数特性領域、及び前記第３周波数特性領域に基づいて、前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血を検出し、
前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血に基づいて、前記潰瘍性大腸炎の寛解又は非寛解を判定する画像処理装置。
プロセッサを備え、
前記プロセッサは、
観察対象を撮像して得られる医療画像を取得し、
前記医療画像を解析して得られる画像解析結果に基づき、前記医療画像に対して画像処理を行うか否かを決定し、
前記画像処理を行うと決定した前記医療画像に対し、前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、及び前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行い、
前記画像解析結果は、前記医療画像から得られるハレーション分布、周波数特性、及び影分布のうち少なくとも１つである画像処理装置。
プロセッサを備え、
前記プロセッサは、
観察対象を内視鏡により撮像して得られる医療画像を取得し、
前記医療画像の撮影条件及び／又は前記医療画像を解析して得られる画像解析結果に基づいて得られる前記医療画像を撮影した際の前記内視鏡と前記観察対象との距離の指標を用いて、前記医療画像に対して画像処理を行うか否かを決定し、
前記画像処理を行うと決定した前記医療画像に対し、前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、及び前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う画像処理装置。
前記医療画像の前記撮影条件は、前記医療画像の拡大率指標である請求項４に記載の画像処理装置。
前記画像解析結果は、前記医療画像から得られるハレーション分布、周波数特性、輝度値、及び影分布のうち少なくとも１つである請求項４又は５に記載の画像処理装置。
前記医療画像は、前記観察対象の計測を行うための計測補助光が照射された前記観察対象を撮像して得られ、
前記画像解析結果は、前記医療画像において前記観察対象上に形成された計測補助光照射領域の位置である請求項４ないし６のいずれか１項に記載の画像処理装置。
前記プロセッサは、前記画像処理を行うと決定した前記医療画像に対し、前記医療画像の撮影条件及び／又は前記医療画像を解析して得られる画像解析結果に基づいて、潰瘍性大腸炎のステージに関する前記指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、及び前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う請求項４ないし７のいずれか１項に記載の画像処理装置。
前記プロセッサが、前記潰瘍性大腸炎の寛解又は非寛解を判定する場合には、前記医療画像から得られる周波数特性又は輝度値によって前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血を分類し、前記分類に従って前記潰瘍性大腸炎の寛解又は非寛解を判定する請求項４ないし８のいずれか1項に記載の画像処理装置。
前記プロセッサが前記潰瘍性大腸炎の寛解又は非寛解を判定する場合には、
前記プロセッサは、
前記医療画像から空間周波数成分分布を算出し、
前記空間周波数成分分布に基づいて、第１周波数特性を有する第１周波数特性領域を抽出し、前記第１周波数特性よりも高い周波数を持つ第２周波数特性を有する第２周波数特性領域を抽出し、前記第２周波数特性よりも高い周波数を持つ第３周波数特性を有する第３周波数特性領域を抽出し、
輝度値を用いる第１領域判別処理を施した前記第１周波数特性領域、輝度値を用いる第２領域判別処理を施した前記第２周波数特性領域、及び前記第３周波数特性領域に基づいて、前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血を検出し、
前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血に基づいて、前記潰瘍性大腸炎の寛解又は非寛解を判定する請求項３ないし９のいずれか１項に記載の画像処理装置。
前記医療画像は、短波長の光を含む照明光によって照明された前記観察対象を撮像して得られる請求項１ないし１０のいずれか１項に記載の画像処理装置。
前記照明光は、中心波長又はピーク波長に４１０ｎｍを含む紫色光である請求項１１に記載の画像処理装置。
プロセッサを備える画像処理装置の作動方法であって、
前記プロセッサが、
観察対象を撮像して得られる医療画像を取得する画像取得ステップと、
前記医療画像の撮影条件及び／又は前記医療画像を解析して得られる画像解析結果に基づき、前記医療画像に対して画像処理を行うか否かを決定する画像処理決定ステップと、
前記画像処理を行うと決定した前記医療画像に対し、前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、又は、前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う判定ステップを備え、
前記医療画像は、前記観察対象の計測を行うための計測補助光が照射された前記観察対象を撮像して得られ、
前記画像解析結果は、前記医療画像において前記観察対象上に形成された計測補助光照射領域の位置である画像処理装置の作動方法。
プロセッサを備える画像処理装置の作動方法であって、
前記プロセッサが、
観察対象を撮像して得られる医療画像を取得する画像取得ステップと、
前記医療画像の撮影条件及び／又は前記医療画像を解析して得られる画像解析結果に基づき、前記医療画像に対して画像処理を行うか否かを決定する画像処理決定ステップと、
前記画像処理を行うと決定した前記医療画像に対し、前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、又は、前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う判定ステップを備え、
前記判定ステップにおいて前記プロセッサが前記潰瘍性大腸炎の寛解又は非寛解を判定する場合には、
前記プロセッサが、
前記判定ステップでは、
前記医療画像から空間周波数成分分布を算出するステップと、
前記空間周波数成分分布に基づいて、第１周波数特性を有する第１周波数特性領域を抽出し、前記第１周波数特性よりも高い周波数を持つ第２周波数特性を有する第２周波数特性領域を抽出し、前記第２周波数特性よりも高い周波数を持つ第３周波数特性を有する第３周波数特性領域を抽出するステップと、
輝度値を用いる第１領域判別処理を施した前記第１周波数特性領域、輝度値を用いる第２領域判別処理を施した前記第２周波数特性領域、及び前記第３周波数特性領域に基づいて、前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血を検出するステップと、
前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血に基づいて、前記潰瘍性大腸炎の寛解又は非寛解を判定するステップを有する画像処理装置の作動方法。
プロセッサを備える画像処理装置の作動方法であって、
前記プロセッサが、
観察対象を撮像して得られる医療画像を取得する画像取得ステップと、
前記医療画像を解析して得られる画像解析結果に基づき、前記医療画像に対して画像処理を行うか否かを決定する画像処理決定ステップと、
前記画像処理を行うと決定した前記医療画像に対し、前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、又は、前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う判定ステップを備え、
前記画像解析結果は、前記医療画像から得られるハレーション分布、周波数特性、及び影分布のうち少なくとも１つである画像処理装置の作動方法。
プロセッサを備える画像処理装置の作動方法であって、
前記プロセッサが、
観察対象を内視鏡により撮像して得られる医療画像を取得する画像取得ステップと、
前記医療画像の撮影条件及び／又は前記医療画像を解析して得られる画像解析結果に基づいて得られる前記医療画像を撮影した際の前記内視鏡と前記観察対象との距離の指標を用いて、前記医療画像に対して画像処理を行うか否かを決定する画像処理決定ステップと、
前記画像処理を行うと決定した前記医療画像に対し、前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、又は、前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも１つを行う判定ステップを備える画像処理装置の作動方法。
前記医療画像は、中心波長又はピーク波長に４１０ｎｍが含まれる紫色光である照明光によって照明された前記観察対象を撮像して得られる請求項１３ないし１６のいずれか１項に記載の画像処理装置の作動方法。