JP7196330B2 - 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 - Google Patents

Description

本発明は、潰瘍性大腸炎など疾患に関連する処理を行う画像処理装置、内視鏡システム、及び画像処理の作動方法に関する。

医療分野においては、医療画像を用いて診断することが広く行われている。例えば、医療画像を用いる装置として、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムがある。内視鏡システムでは、観察対象に対して照明光を照射し、照明光で照明された観察対象を撮像することにより、医療画像を取得する。医療画像は、ディスプレイに表示され、診断に使用される。

また、内視鏡を用いる診断においては、照明光又は画像処理の種類によって、観察環境に適した画像がディスプレイに表示されるようにしている。例えば、特許文献１では、医療画像に基づいて酸素飽和度の測定を行っている状況下において、低酸素状態になった場合には、血管強調を行った通常光画像から、酸素飽和度画像にディスプレイの表示を切り替えている。ユーザーは、ディスプレイに表示された酸素飽和度を観察することで、病変部かどうかの診断を行い易くなる。

特開２０１２－２３９８１６号公報

また、近年では、内視鏡画像に対して適切な画像処理を施して、疾患のステージの判定を行う疾患の状態に関する疾患状態処理が開発されている。疾患状態処理を確実に行うためには、医療画像上の特徴が、疾患の状態判定に関して正解である病理検査の特徴と高い相関を有している必要性がある。しかしながら、病理検査での特徴は、かならずしも医療画像上で描画されているわけではないため、照明光のスペクトルや観察対象の拡大率などの観察環境を変えることによって、病理検査と相関の高い特徴が医療画像上に見いだされるようになる。そこで、内視鏡検査中に、病理検査と相関の高い特徴を内視鏡画像上に見出すことができる観察環境にすることが求められていた。

本発明は、病理検査と相関の高い特徴を医療画像上に見出せる観察環境にすることができる画像処理装置、内視鏡システム、及び画像処理の作動方法を提供することを目的とする。

本発明の画像処理装置は、プロセッサを備え、プロセッサは、第１拡大率にて観察対象を拡大する第１観察環境において観察対象を撮像して得られる第１医療画像に基づいて、第１観察環境から、第１拡大率よりも大きい第２拡大率にて観察対象を拡大する第２観察環境への切替の判定に用いる切替判定用指標値を算出し、切替判定用指標値に基づいて、第１観察環境から第２観察環境に切り替えるか否かを判定し、第２観察環境への切替えを行うと判定された場合において、特定動作によって、観察対象の拡大率を第２拡大率にして第２観察環境に切り替え、切替判定用指標値は観察対象の赤色成分を示す赤色特徴量である。

切替判定用指標値は観察対象の赤色成分を示す赤色特徴量であることが好ましい。プロセッサは、赤色特徴量が赤色特徴量用範囲の下限値未満、又は、赤色特徴量が赤色特徴量用範囲の上限値以上の場合には、第２観察環境への切替えを行わないと判定し、赤色特徴量が赤色特徴量用範囲内である場合には、第２観察環境への切替えを行うと判定することが好ましい。

第１観察環境には、通常光又は特殊光を用いて観察対象を照明すること、又は、観察対象における複数の観察対象範囲の色の差を拡張した色差拡張画像をディスプレイに表示することを含み、第２観察環境には、特殊光を用いて観察対象を照明することを含むことが好ましい。第１拡大率は６０倍未満であり、第２拡大率は６０倍以上であることが好ましい。

プロセッサは、第２観察環境において観察対象を撮像して得られる第２医療画像に基づいて、疾患の状態に関する疾患状態処理を行い、疾患状態処理には、第２医療画像に基づいて、疾患のステージに関する指標値を算出すること、疾患のステージを判定すること、又は、疾患の病理的寛解又は病理的非寛解を判定することの少なくともいずれかが含まれることが好ましい。

プロセッサは、観察対象における出血の程度を示す出血用指標値、又は、表層血管の不規則度を算出し、出血用指標値、又は、表層血管の不規則度に基づいて、疾患の病理的寛解又は病理的非寛解を判定することが好ましい。プロセッサは、出血用指標値が出血用閾値以下であり、且つ、表層血管の不規則度が不規則度用閾値以下である場合には、疾患が病理的寛解であると判定し、出血用指標値が出血用閾値を超えること、又は、表層血管の不規則度が不規則度用閾値を超えることのいずれか一方を満たす場合には、疾患が病理的非寛解であると判定することが好ましい。

出血用指標値は、第２医療画像の青色画像のうち青色用閾値以下の画素値を有する画素数であり、不規則度は、第２医療画像に含まれる表層血管の密集度が密集度用閾値以上の領域の画素数であることが好ましい。特定動作は、第２観察環境への切替えを促す旨の報知に従って行われるユーザー操作、又は、第２観察環境への自動切替を含むことが好ましい。疾患は潰瘍性大腸炎であることが好ましい。

本発明の内視鏡システムは、観察対象の照明及び撮像を行い、且つ、観察対象の拡大率が変更可能な内視鏡と、プロセッサを有するプロセッサ装置とを有し、プロセッサは、第１拡大率にて観察対象を拡大する第１観察環境において内視鏡から得られる第１医療画像に基づいて、第１観察環境から、第１拡大率よりも大きい第２拡大率にて観察対象を拡大する第２観察環境への切替の判定に用いる切替判定用指標値を算出し、切替判定用指標値に基づいて、第１観察環境から第２観察環境に切り替えるか否かを判定し、第２観察環境への切替えを行うと判定された場合において、特定動作によって、観察対象の拡大率を第２拡大率にして第２観察環境に切り替え、切替判定用指標値は観察対象の赤色成分を示す赤色特徴量である。

本発明の画像処理装置の作動方法は、第１拡大率にて観察対象を拡大する第１観察環境において観察対象を撮像して得られる第１医療画像に基づいて、第１観察環境から、第１拡大率よりも大きい第２拡大率にて観察対象を拡大する第２観察環境への切替の判定に用いる切替判定用指標値を算出するステップと、切替判定用指標値に基づいて、第１観察環境から第２観察環境に切り替えるか否かを判定するステップと、第２観察環境への切替えを行うと判定された場合において、特定動作によって、観察対象の拡大率を第２拡大率にして第２観察環境に切り替えるステップとを有し、切替判定用指標値は観察対象の赤色成分を示す赤色特徴量である。

本発明によれば、病理検査と相関の高い特徴を医療画像上に見出せる観察環境にすることができる。

内視鏡システムの外観図である。 第１実施形態の内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのスペクトルを示すグラフである。 第１実施形態の特殊光のスペクトルを示すグラフである。 紫色光Ｖのみを含む特殊光のスペクトルを示すグラフである。 拡大率を段階的に変える場合に表示する拡大率表示部と拡大率を連続的に変える場合に表示する拡大率表示部とを示す説明図である。 色差拡張画像生成部の機能を示すブロック図である。 信号比空間における正常粘膜と異常領域とを示す説明図である。 動径変更範囲Rmを示す説明図である。 動径ｒと彩度強調処理後の動径Rx（ｒ）との関係を示すグラフである。 信号比空間における彩度強調処理の前後の異常領域の位置関係を示す説明図である。 角度変更範囲Rｎを示す説明図である。 角度θと色相強調処理後の角度Fx（θ）との関係を示すグラフである。 信号比空間における色相強調処理の前後の異常領域の位置関係を示す説明図である。 疾患関連処理部の機能を示すブロック図である。 第２観察環境への切替に関する判定を示す説明図である。 大腸の断面を示す断面図である。 第２観察環境への切替えを行うと判定された場合に報知されるメッセージを示す画像図である。 出血用指標値又は表層血管の不規則度に基づく疾患の病理的寛解又は病理的非寛解の判定を示す説明図である。 疾患が病理的寛解であると判定された場合に報知されるメッセージを示す画像図である。 疾患関連処理モードの一連の流れを示すフローチャートである。 第２実施形態の内視鏡システムの機能を示すブロック図である。 回転フィルタの平面図である。 第３実施形態の内視鏡システムの機能を示すブロック図である。 第３実施形態の通常光のスペクトルを示すグラフである。 第３実施形態の特殊光のスペクトルを示すグラフである。 診断支援装置を示すブロック図である。 医療業務支援装置を示すブロック図である。

［第１実施形態］
図１において、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、ディスプレイ１８と、ユーザーインターフェース１９とを有する。内視鏡１２は、光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。

また、操作部１２ｂには、アングルノブ１２ｅの他、モードの切り替え操作に用いるモード切替ＳＷ（モード切替スイッチ）１２ｆと、観察対象の静止画の取得指示に用いられる静止画取得指示部１２ｇと、ズームレンズ４３（図２参照）の操作に用いられるズーム操作部１２ｈとが設けられている。

なお、内視鏡システム１０は、通常光モード、特殊光モード、疾患関連処理モードの３つのモードを有している。通常光モードでは、通常光を観察対象に照明して撮像することによって、自然な色合いの通常光画像をディスプレイ１８に表示する。特殊光モードでは、通常光と波長帯域が異なる特殊光に基づいて得られる特殊光画像をディスプレイ１８に表示する。特殊光画像には、観察対象における複数の観察対象範囲の色の差を拡張した色差拡張処理が施された色差拡張画像が含まれる。疾患関連処理モードでは、潰瘍性大腸炎の病理的寛解又は病理的非寛解を判定する。なお、疾患関連処理モードでは、潰瘍性大腸炎のステージに関する指標値を算出すること、又は、潰瘍性大腸炎のステージを判定することを行ってもよい。

なお、疾患関連処理モードで用いる画像としては、医療画像の一つである内視鏡画像としての特殊光画像の他、放射線撮影装置で得られる放射線画像、ＣＴ（Computed Tomography）で得られるＣＴ画像、ＭＲＩ（Magnetic Resonance Imaging）で得られるＭＲＩ画像などの医療画像を用いてもよい。また、内視鏡１２が接続されたプロセッサ装置１６が本発明の画像処理装置に対応し、このプロセッサ装置１６において、疾患関連処理モードを実行するが、その他の方法で疾患関連処理モードを実行するようにしてもよい。例えば、内視鏡システム１０とは別の外部の画像処理装置に疾患関連処理部６６の機能を設け、医療画像を外部の画像処理装置に入力して疾患関連処理モードを実行し、その実行結果を、外部の画像処理装置に接続された外部のディスプレイに表示するようにしてもよい。

プロセッサ装置１６は、ディスプレイ１８及びユーザーインターフェース１９と電気的に接続される。ディスプレイ１８は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。ユーザーインターフェース１９は、機能設定などの入力操作を受け付ける機能を有する。なお、プロセッサ装置１６には、画像や画像情報などを記録する外付けの記録部（図示省略）を接続してもよい。また、プロセッサ装置１６は、本発明の画像処理装置に対応する。

図２において、光源装置１４は、光源部２０と、光源部２０を制御する光源制御部２１とを備えている。光源部２０は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。

図３に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ２０ｂは、中心波長４６０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ２０ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。

光源制御部２１は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを制御する。また、光源制御部２１は、通常光モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。

また、光源制御部２１は、特殊光モード時には、短波長の狭帯域光としての紫色光Ｖと、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光強度比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。光強度比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓは、特殊光は、表層血管などを強調することが好ましい。そのため、特殊光は、紫色光Ｖの光強度を青色光Ｂの光強度よりも大きくすることが好ましい。例えば、図４に示すように、紫色光Ｖの光強度Ｖｓと青色光Ｂの光強度Ｂｓとの比率を「４：１」とする。また、図５に示すように、特殊光については、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比を１：０：０：０にして、短波長の狭帯域光としての紫色光Ｖのみを発光するようにしてもよい。

また、光源制御部２１は、疾患関連処理モード時には、第１拡大率で観察対象を拡大する第１観察環境においては、通常光又は特殊光のいずれかで観察対象を照明し、第１拡大率よりも大きい第２拡大率で観察対象を拡大する第２観察環境においては、特殊光で観察対象を照明する。したがって、光源制御部２１は、切替判定部８７（図１５参照）によって、第１観察環境から第２観察環境に切り替える旨の判定が行われた場合には、観察対象に照明する照明光を、通常光から、特殊光に切り替える制御が行われる。本実施形態では、第１観察環境においては、特殊光を照明し、特殊光画像として色差拡張画像をディスプレイ１８に表示するが、第１観察環境において、通常光を照明し、通常光画像をディスプレイ１８に表示するようにしてもよい。また、第２観察環境では、通常光を照明し、通常光画像をディスプレイ１８に表示してもよい。第１観察環境又は第２観察環境における照明光の種類、又は、ディスプレイ１８に表示する画像の種類の選択については、ユーザーインターフェース１９による操作に従って、プロセッサ装置１６内に設けた観察環境選択部（図示しない）を選択操作することにより行われる。

なお、本明細書において、光強度比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有するものとする。

各ＬＥＤ２０ａ～２０ｄが発する光は、ミラーやレンズなどで構成される光路結合部２３を介して、ライトガイド２５に入射される。ライトガイド２５は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコード）に内蔵されている。ライトガイド２５は、光路結合部２３からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３２を有しており、ライトガイド２５によって伝搬した照明光は照明レンズ３２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４２、ズームレンズ４３、撮像センサ４４を有している。照明光を照射したことによる観察対象からの光は、対物レンズ４２及びズームレンズ４３を介して撮像センサ４４に入射する。これにより、撮像センサ４４に観察対象の像が結像される。ズームレンズ４３は観察対象を拡大するためのレンズであり、ズーム操作部１２ｈを操作することによって、テレ端とワイド端と間を移動する。なお、観察対象の拡大については、ズームレンズ４３を用いた光学的に観察対象を拡大する他、観察対象の撮像により得られる画像の一部を切り取って拡大するデジタル拡大を用いてもよい。

本実施形態では、ズームレンズ４３を用いて、段階的に拡大率を変えることができる。ここで、拡大率とは、ディスプレイ１８にて表示される物体の寸法を、実際の物体の寸法で除して得られる値である。例えば、ディスプレイ１８が１９インチのディスプレイである場合には、図６に示すように、２段階、３段階、５段階で段階的に拡大率を変えること、又は、連続的に拡大率を変えることができる。使用中の拡大率をディスプレイ１８に表示するために、ディスプレイ１８の特定の表示位置には、拡大率を段階的に変える場合に表示する拡大率表示部４７と拡大率を連続的に変える場合に表示する拡大率表示部４９とが設けられている。なお、実際のディスプレイ１８においては、拡大率表示部４７及び拡大率表示部４９のうちのいずれか１つが表示される。

拡大率表示部４７では、近景を表すＮ（Ｎｅａｒ）と遠景を表すＦ（Ｆａｒ）の間に設けられたボックスＢｘ１、Ｂｘ２、Ｂｘ３、Ｂｘ４の枠非表示、枠表示、及び全体表示を組み合わせることによって、使用中の拡大率を表す。なお、内視鏡システム１０で一般的に用いられるディスプレイ１８のサイズは１９インチ～３２インチであり、横幅にして２３．６５ｃｍ～３９．８３ｃｍである。

具体的には、拡大率を４０倍と６０倍と変化させる２段階の拡大率変化に設定されている場合には、ボックスＢｘ１、Ｂｘ２、Ｂｘ３について枠非表示とし、使用中の拡大率が４０倍の場合にボックスＢｘ４を枠表示とし、使用中の拡大率が６０倍の場合にボックスＢｘ４を全体表示とする。また、拡大率を４０倍、６０倍、８５倍と変化させる３段階の拡大率変化に設定されている場合には、ボックスＢｘ１、Ｂｘ２は枠非表示とされ、使用中の拡大率が４０倍の場合にボックスＢｘ３、Ｂｘ４を枠表示とする。そして、使用中の拡大率が６０倍の場合にボックスＢｘ３を枠表示、Ｂｘ４を全体表示とし、使用中の拡大率が８５倍の場合に、ボックスＢｘ３、Ｂｘ４を全体表示とする。

また、拡大率を４０倍、６０倍、８５倍、１００倍、１３５倍の５段階の拡大率変化に設定されている場合には、使用中の拡大率が４０倍の場合に、ボックスＢｘ１、Ｂｘ２、Ｂｘ３、Ｂｘ４を枠表示とする。また、使用中の拡大率が６０倍の場合に、ボックスＢｘ１、Ｂｘ２、Ｂｘ３を枠表示とし、ボックスＢｘ４を全体表示とする。また、拡大率が８５倍の場合に、ボックスＢｘ１、Ｂｘ２を枠表示とし、ボックスＢｘ３、Ｂｘ４を全体表示とする。また、拡大率が１００倍の場合に、ボックスＢｘ１を枠表示とし、ボックスＢｘ２、Ｂｘ３、Ｂｘ４を全体表示とする。また、拡大率が１３５倍の場合に、ボックスＢｘ１、Ｂｘ２、Ｂｘ３、Ｂｘ４を全体表示とする。

拡大率表示部４９は、近景を表すＮ（Ｎｅａｒ）と遠景を表すＦ（Ｆａｒ）の間に設けられた横長バー４９ａを備えている。拡大率が４０倍までの間は、横長バー４９ａの枠のみが表示される。そして、拡大率が４０倍を超えると、横長バー４９ａの枠内が特定色ＳＣで表示されるようになる。そして、拡大率が１３５倍に到達するまでの間は、拡大率が大きくなるごとに、横長バー４９ａ内の特定色の領域が徐々にＦ側に広がっていく。そして、拡大率が１３５倍に到達すると、特定色の領域は上限表示バー４９ｂにまで広がり、それ以上はＦ側に広がらない。

図２に示すように、撮像センサ４４としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色の撮像センサ４４の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（グリーン）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるので、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ４４と同様のＲＧＢ各色の画像信号を得ることができる。

撮像センサ４４は、撮像制御部４５によって駆動制御される。撮像制御部４５における制御は、各モードによって異なっている。通常光モードでは、撮像制御部４５は、通常光で照明された観察対象を撮像するように、撮像センサ４４を制御する。これにより、撮像センサ４４のB画素からBｃ画像信号が出力され、G画素からGｃ画像信号が出力され、R画素からRc画像信号が出力される。

特殊光モードでは、撮像制御部４５は撮像センサ４４を制御して、特殊光で照明された観察対象を撮像するように、撮像センサ４４を制御する。これにより、撮像センサ４４のB画素からBs画像信号が出力され、G画素からGs画像信号が出力され、R画素からRs画像信号が出力される。疾患関連処理モードでは、第１観察環境及び第２観察環境のいずれにおいても、特殊光の照明によって、撮像センサ４４のＢ画素、Ｇ画素、及びＲ画素から、Ｂｃ画像信号、Ｇｃ画像信号、及びＲｃ画像信号が出力される。

ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４４から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４８により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１６に入力される。

プロセッサ装置１６は、各種処理に関するプログラムがプログラム用メモリ（図示しない）に組み込まれている。プロセッサ装置１６には、プロセッサによって構成される中央制御部（図示しない）が設けられている。中央制御部によってプログラム用メモリ内のプログラムが実行することによって、画像取得部５０、ＤＳＰ（Digital Signal Processor）５２、ノイズ低減部５４、画像処理部５８、及び、映像信号生成部６０との機能が実現する。

画像取得部５０は、内視鏡１２から入力される医療画像の一つである内視鏡画像の画像信号を取得する。取得した画像信号はＤＳＰ５２に送信される。ＤＳＰ５２は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ４４の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるマトリクス処理が施される。

その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。マトリクス処理後の画像信号には、デモザイク処理（等方化処理，同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ５２は、デモザイク処理後の各画像信号にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ及び色差信号Ｃｒをノイズ低減部５４に出力する。ノイズ低減部５４は、ＤＳＰ５６でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。

画像処理部５８は、通常光画像生成部６２と、特殊光画像生成部６４と、疾患関連処理部６６とを備えている。特殊光画像生成部６４には、色差拡張画像生成部６４ａが含まれている。画像処理部５８は、通常光観察モードの場合には、Ｒｃ画像信号、Ｇｃ画像信号、及びＢｃ画像信号を通常光画像生成部６２に入力する。また、画像処理部５８は、特殊光観察モード又は疾患関連処理モードの場合には、Ｒｓ画像信号、Ｇｓ画像信号、及びＢｓ画像信号を特殊光画像生成部６４に入力する。また、画像処理部５８は、疾患関連処理モードの場合には、特殊光画像生成部６４にて生成した特殊光画像又は色差拡張画像を、疾患関連処理部６６に入力する。

通常光画像生成部６２は、入力した１フレーム分のＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号に対して、通常光画像用画像処理を施す。通常光画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。通常光画像用画像処理が施されたＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号は、通常光画像として映像信号生成部６０に入力される。

特殊光画像生成部６４は、色差拡張処理を行う場合の処理部と、色差拡張処理を行わない場合の処理部とを有している。色差拡張処理を行わない場合には、特殊光画像生成部６４は、入力した１フレーム分のＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して、特殊光画像用画像処理を施す。特殊光画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。特殊光画像用画像処理が施されたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号は、特殊光画像として映像信号生成部６０又は疾患関連処理部６６に入力される。

一方、色差拡張処理を行う場合には、色差拡張画像生成部６４ａは、入力した１フレーム分のＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して、複数の観察対象範囲の色の差を拡張する色差拡張処理を施すことによって、色差拡張画像を生成する。生成された色差拡張画像は、映像信号生成部６０又は疾患関連処理部６６に入力される。色差拡張画像生成部６４ａの詳細については後述する。

疾患関連処理部６６は、第１観察環境において観察対象を撮像して得られる第１医療画像に基づいて、第１観察環境から第１観察環境と異なる第２観察環境に切り替えるか否かを判定し、且つ、第２観察環境において観察対象を撮像して得られる第２医療画像に基づいて、疾患の状態に関連する疾患状態処理を行う。なお、疾患状態処理には、特殊光画像に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の病理的寛解又は病理的非寛解を判定することのうち少なくともいずれかが含まれる。病理的寛解又は病理的非寛解の判定結果に関する情報は、映像信号生成部６０に入力される。疾患関連処理部６６の詳細については、後述する。なお、第１～第３実施形態では、疾患関連処理部６６が潰瘍性大腸炎の病理的寛解又は病理的非寛解を判定する場合について説明を行う。

映像信号生成部６０は、画像処理部５８から出力される通常光画像、特殊光画像、色差拡張画像、又は判定結果に関する情報を、ディスプレイ１８においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はディスプレイ１８に入力される。これにより、ディスプレイ１８には通常光画像、特殊光画像、色差拡張画像、又は判定結果に関する情報が表示される。

色差拡張画像生成部６４ａは、図７に示すように、逆ガンマ変換部７０と、Ｌｏｇ変換部７１と、信号比算出部７２と、極座標変換部７３と、色差拡張部７４と、直交座標変換部７８と、ＲＧＢ変換部７９と、明るさ調整部８１と、構造強調部８２と、逆Ｌｏｇ変換部８３と、ガンマ変換部８４とを備えている。

逆ガンマ変換部７０には、特殊光に基づくＲｓ、Ｇｓ、Ｂｓ画像信号が入力される。逆ガンマ変換部７０は、入力されたＲＧＢ３チャンネルのデジタル画像信号に対して逆ガンマ変換を施す。この逆ガンマ変換後のＲＧＢ画像信号は、検体からの反射率に対してリニアな反射率リニアＲＧＢ信号であるため、ＲＧＢ画像信号のうち、検体の各種生体情報に関連する信号が占める割合が多くなる。なお、反射率リニアＲ画像信号を第１Ｒ画像信号とし、反射率リニアＧ画像信号を第１Ｇ画像信号とし、反射率リニアＢ画像信号を第１Ｂ画像信号とする。これら第１Ｒ画像信号、第１Ｇ画像信号、及び第１Ｂ画像信号をまとめて第１ＲＧＢ画像信号とする。

Ｌｏｇ変換部７１は、反射率リニアＲＧＢ画像信号をそれぞれＬｏｇ変換する。これにより、Ｌｏｇ変換済みのＲ画像信号（logR）、Ｌｏｇ変換済みのＧ画像信号（logG）、及びＬｏｇ変換済みのＢ画像信号（logB）が得られる。信号比算出部７２（本発明の「色情報取得部」に対応する）は、Ｌｏｇ変換済みのＧ画像信号とＢ画像信号に基づいて差分処理（logG-logB =logG/B=-log(B/G)）することにより、Ｂ／Ｇ比（-log(B/G)のうち「-log」を省略したものを「Ｂ／Ｇ比」と表記する）を算出する。また、Ｌｏｇ変換済みのＲ画像信号とＧ画像信号に基づいて差分処理（logR-logG=logR/G=-log(G/R)）することにより、Ｇ／Ｒ比を算出する。Ｇ／Ｒ比については、Ｂ／Ｇ比と同様、-log(G/R)のうち「-log」を省略したものを表している。

なお、Ｂ／Ｇ比及びＧ／Ｒ比は、Ｂ画像信号、Ｇ画像信号、及びＲ画像信号において同じ位置にある画素の画素値から画素毎に求める。また、Ｂ／Ｇ比及びＧ／Ｒ比は画素毎に求める。また、Ｂ／Ｇ比は、血管深さ（粘膜表面から特定の血管がある位置までの距離）に相関があることから、血管深さが異なると、それに伴ってＢ／Ｇ比も変動する。また、Ｇ／Ｒ比は、血液量（ヘモグロビンインデックス）と相関があることから、血液量に変動が有ると、それに伴ってＧ／Ｒ比も変動する。

極座標変換部７３は、信号比算出部７２で求めたＢ／Ｇ比及びＧ／Ｒ比を、動径ｒと角度θに変換する。この極座標変換部７３において、動径ｒと角度θへの変換は、全ての画素について行う。色差拡張部７４は、複数の色情報の一つであるＢ／Ｇ比及びＧ／Ｒ比により形成される信号比空間（特徴空間）において、複数の観察対象範囲のうち、正常粘膜と、潰瘍性大腸炎を含む病変部などの異常領域との色の差を拡張する色差拡張処理を行う。色差拡張処理として、本実施形態では、正常粘膜と異常領域との彩度差を拡張すること、又は、正常粘膜と異常領域との色相差を拡張することを行う。そのために、色差拡張部７４は、彩度強調処理部７６と、色相強調処理部７７とを有している。

彩度強調処理部７６は、信号比空間において、正常粘膜と異常領域との彩度差を拡張する彩度強調処理を行う。具体的には、彩度強調処理は、信号比空間において、動径ｒを拡張又は圧縮することによって行われる。色相強調処理部７７は、信号比空間において、正常粘膜と異常領域との色相差を拡張する色相強調処理を行う。具体的には、色相強調処理は、信号比空間において、角度θを拡張又は圧縮することによって行われる。以上の彩度強調処理部７６及び色相強調処理部７７の詳細については後述する。

直交座標変換部７８では、彩度強調処理及び色相強調処理済みの動径ｒ及び角度θを、直交座標に変換する。これにより、角度拡張・圧縮済みのＢ／Ｇ比及びＧ／Ｒ比に変換される。ＲＧＢ変換部７９では、第１ＲＧＢ画像信号のうち少なくともいずれか１つの画像信号を用いて、彩度強調処理及び色相強調処理済みのＢ／Ｇ比及びＧ／Ｒ比を、第２ＲＧＢ画像信号に変換する。例えば、ＲＧＢ変換部７９は、第１ＲＧＢ画像信号のうち第１Ｇ画像信号とＢ／Ｇ比とに基づく演算を行うことにより、Ｂ／Ｇ比を第２Ｂ画像信号に変換する。また、ＲＧＢ変換部７９は、第１ＲＧＢ画像信号のうち第１Ｇ画像信号とＧ／Ｒ比に基づく演算を行うことにより、Ｇ／Ｒ比を第２Ｒ画像信号に変換する。また、ＲＧＢ変換部７９は、第１Ｇ画像信号については、特別な変換を施すことなく、第２Ｇ画像信号として出力する。これら第２Ｒ画像信号、第２Ｇ画像信号、及び第２Ｂ画像信号をまとめて第２ＲＧＢ画像信号とする。

明るさ調整部８１は、第１ＲＧＢ画像信号と第２ＲＧＢ画像信号とを用いて、第２ＲＧＢ画像信号の画素値を調整する。明るさ調整部８１で、第２ＲＧＢ画像信号の画素値を調整するのは、以下の理由による。彩度強調処理部７６及び色相強調処理部７７で色領域を拡張・圧縮する処理により得られた第２ＲＧＢ画像信号は、第１ＲＧＢ画像信号と明るさが大きく変わってしまう可能性がある。そこで、明るさ調整部８１で第２ＲＧＢ画像信号の画素値を調整することによって、明るさ調整後の第２ＲＧＢ画像信号が第１ＲＧＢ画像信号と同じ明るさになるようにする。

明るさ調整部８１は、第１ＲＧＢ画像信号に基づいて第１明るさ情報Yinを求める第１明るさ情報算出部８１ａと、第２ＲＧＢ画像信号に基づいて第２明るさ情報Youtを求める第２明るさ情報算出部８１ｂとを備えている。第１明るさ情報算出部８１ａは、「ｋｒ×第１Ｒ画像信号の画素値＋ｋｇ×第１Ｇ画像信号の画素値＋ｋｂ×第１Ｂ画像信号の画素値」の演算式に従って、第１明るさ情報Yinを算出する。第２明るさ情報算出部８１ｂにおいても、第１明るさ情報算出部８１ａと同様に、上記と同様の演算式に従って、第２明るさ情報Youtを算出する。第１明るさ情報Yinと第２明るさ情報Youtが求まると、明るさ調整部８１は、以下の式（Ｅ１）～（Ｅ３）に基づく演算を行うことにより、第２ＲＧＢ画像信号の画素値を調整する。
（Ｅ１）：Ｒ^＊＝第２Ｒ画像信号の画素値×Yin/Yout
（Ｅ２）：Ｇ^＊＝第２Ｇ画像信号の画素値×Yin/Yout
（Ｅ３）：Ｂ^＊＝第２Ｂ画像信号の画素値×Yin/Yout
なお、「Ｒ^＊」は明るさ調整後の第２Ｒ画像信号を、「Ｇ^＊」は明るさ調整後の第２Ｇ画像信号を、「Ｂ^＊」は明るさ調整後の第２Ｂ画像信号を表している。また、「ｋｒ」、「ｋｇ」、及び「ｋｂ」は「０」～「１」の範囲にある任意の定数である。

構造強調部８２では、ＲＧＢ変換部７９を経た第２ＲＧＢ画像信号に対して構造強調処理を施す。構造強調処理としては、周波数フィルタリングなどが用いられる。逆Ｌｏｇ変換部８３は、構造強調部８２を経た第２ＲＧＢ画像信号に対して、逆Ｌｏｇ変換を施す。これにより、真数の画素値を有する第２ＲＧＢ画像信号が得られる。ガンマ変換部８４は、逆Ｌｏｇ変換部８３を経たＲＧＢ画像信号に対してガンマ変換を施す。これにより、ディスプレイ１８などの出力デバイスに適した階調を有する第２ＲＧＢ画像信号が得られる。ガンマ変換部８４を経た第２ＲＧＢ画像信号は、映像信号生成部６０に送られる。

彩度強調処理部７６及び色相強調処理部７７では、図８に示すように、Ｂ／Ｇ比、Ｇ／Ｒ比により形成される信号比空間（特徴空間）の第一象限において分布する正常粘膜と異常領域との彩度差又は色相差を大きくする。異常領域としては、信号比空間において、正常粘膜以外の様々な位置に分布しているが、本実施形態では、赤味を帯びている病変部とする。色差拡張部７４では、正常粘膜と異常領域との色の差が拡張するように、信号比空間において拡張中心が定められている。具体的には、彩度強調処理部７６では、正常粘膜と異常領域との彩度差を拡張するための彩度用の拡張中心ＣＥＳ及び拡張中心線ＳＬｓが定められている。また、色相強調処理部７７では、正常粘膜と異常領域との色相差を拡張するための色相用の拡張中心ＣＥＨ及び拡張中心線ＳＬｈが定められている。

図９に示すように、彩度強調処理部７６では、信号比空間において、動径変更範囲Ｒｍ内にある座標が示す動径ｒを変更する一方で、動径変更範囲Ｒｍ外の座標については動径ｒの変更は行わない。動径変更範囲Ｒｍは、動径ｒが「ｒ１」から「ｒ２」の範囲内である（ｒ１＜ｒ２）。また、動径変更範囲Ｒｍにおいては、動径ｒ１と動径ｒ２との間にある動径ｒｃ上に、彩度用の拡張中心線ＳＬｓが設定されている。

ここで、動径ｒは大きければ大きいほど彩度が高くなることから、彩度用の拡張中心線ＳＬｓが示す動径ｒｃよりも動径ｒが小さい範囲ｒｃｒ１（ｒ１＜ｒ＜ｒｃ）は低彩度範囲とされる。一方、彩度用の拡張中心線ＳＬｓが示す動径ｒｃよりも動径ｒが大きい範囲ｒｃｒ２（ｒｃ＜ｒ＜ｒ２）は高彩度範囲とされる。

彩度強調処理は、図１０に示すように、動径変更範囲Ｒｍ内に含まれる座標の動径ｒの入力に対して、動径Ｒｘ（ｒ）を出力する。この彩度強調処理による入出力の関係は実線で表される。彩度強調処理は、Ｓ字の変換カーブが用いられ、低彩度範囲ｒｃｒ１においては、出力値Ｒｘ（ｒ）を入力値ｒよりも小さくする一方で、高彩度範囲ｒｃｒ２においては、出力値Ｒｘ（ｒ）を入力値ｒよりも大きくする。また、Ｒｘ（ｒｃ）における傾きＫｘは、「１」以上に設定されている。これにより、低彩度範囲に含まれる観察対象の彩度をより低くする一方で、高彩度範囲に含まれる観察対象の彩度をより高くすることができる。このような彩度強調処理により、複数の観察対象範囲の間の彩度差を大きくすることができる。

以上のように、彩度強調処理を行うことにより、図１１に示すように、彩度強調処理後の異常領域（実線）は、彩度強調処理前の異常領域（点線）よりも彩度用の拡張中心線ＳＬｓから離れる方向に移動している。特徴空間において動径方向は彩度の大小を表すことから、彩度強調処理後の異常領域（実線）と正常粘膜との彩度差は、彩度強調処理前の異常領域（点線）と正常粘膜との彩度差よりも大きくなっている。

図１２に示すように、色相強調処理部７７では、信号比空間において、角度変更範囲Ｒｎ内にある座標が示す角度θを変更する一方で、角度変更範囲Ｒｎ外の座標については角度θの変更は行わない。角度変更範囲Ｒｎは、色相用の拡張中心線ＳＬｈから反時計回り方向（第１色相方向）の角度θ１の範囲と、色相用の拡張中心線ＳＬｈから時計回り方向（第２色相方向）の角度θ２の範囲とで構成されている。

角度変更範囲Ｒｎに含まれる座標の角度θは、色相用の拡張中心線ＳＬｈに対するなす角度θで再定義され、色相用の拡張中心線ＳＬｈに対して反時計回り方向側をプラス側とし、色相用の拡張中心線ＳＬｈに対して時計回り方向側をマイナス側とする。角度θが変わると色相も変化することから、角度変更範囲Ｒｎのうち、角度θ１の範囲を、プラス側の色相範囲θ１と、角度θ２の範囲をマイナス側の色相範囲θ２とする。なお、色相用の拡張中心線ＳＬｈについても、彩度用の拡張中心線ＳＬｓと同様に、特徴空間における正常粘膜の範囲を交差する線であることが好ましい。

色相強調処理は、図１３に示すように、角度変更範囲Ｒｎ内に含まれる座標の角度θの入力に対して、角度Fx（θ）を出力する。この色相強調処理による入出力の関係は実線で表される。色相強調処理は、マイナス側の色相範囲θ２においては、出力Fx（θ）を入力θよりも小さくする一方で、プラス側の色相範囲θ１においては、出力Fx（θ）を入力θよりも大きくする。これにより、マイナス側の色相範囲に含まれる観察対象とプラス側の色相範囲に含まれる観察対象との色相の違いを大きくすることができる。

以上のように、色相強調処理を行うことにより、図１４に示すように、色相強調処理後の異常領域（実線）は、色相強調処理前の異常領域（点線）よりも色相用の拡張中心線ＳＬｈから離れる方向に移動している。特徴空間において角度方向は色相の違いを表すことから、色相強調処理後の異常領域（実線）と正常粘膜との色相差は、色相強調処理前の異常領域（点線）と正常粘膜との色相差よりも大きくなっている。

なお、特徴空間としては、信号比空間の他に、第１ＲＧＢ画像信号をＬａｂ変換部でＬａｂ変換して得られるａ^＊、ｂ^＊（色情報であるＣＩＥ Ｌａｂ空間の色味の要素ａ^＊、ｂ^＊を表す。以下同様）から形成されるａｂ空間、色差信号Ｃｒ、Ｃｂから形成されるＣｒ、Ｃｂ空間、色相Ｈ及び彩度Ｓから形成されるＨＳ空間であってもよい。

図１５に示すように、疾患関連処理部６６は、切替判定用指標値算出部８６、切替判定部８７、観察環境切替部８８、処理実行部９０を備えている。切替判定用指標値算出部８６は、第１医療画像に基づいて、第１観察環境から第２観察環境への切替えの判定に用いる切替判定用指標値を算出する。ここで、第１観察環境では、第１拡大率によって観察対象を拡大し、特殊光によって観察対象を照明する。また、第１観察環境においては、第１医療画像をディスプレイ１８に表示する。第１医療画像は、色差拡張画像であることが好ましい。第２観察環境では、第２拡大率によって観察対象を拡大し、特殊光によって観察対象を照明する。また、第２観察環境においては、第２医療画像をディスプレイ１８に表示する。第２医療画像は、特殊光画像であることが好ましい。

なお、第１拡大率は、潰瘍性大腸炎の病理的寛解又は非寛解が明らかなパターン（図１６の（Ａ）、（Ｅ）のパターン）について、寛解判定部９０ｂによる疾患の寛解又は非寛解の自動判定を用いずに、ユーザーによる目視で病理的寛解又は非寛解を判断することが可能な拡大率であることが好ましい。一方、第２拡大率は、ユーザーによる目視で潰瘍性大腸炎の寛解又は非寛解の判断が難しいパターン（図１６の（Ｂ）、（Ｃ）、（Ｄ）のパターン）について、寛解判定部９０ｂによる疾患の寛解又は非寛解の自動判定を正確に行うことができる程度の拡大率であることが好ましい。例えば、第１拡大率は６０倍未満、第２拡大率は６０倍以上であることが好ましい。

切替判定用指標値算出部８６は、第１医療画像である色差強調画像に基づいて、切替判定用指標値として、観察対象の発赤由来の赤色成分を示す赤色特徴量を算出する。赤色特徴量は、色差強調画像の赤色画像のうち赤色用閾値が一定以上の画素値を有する画素数とすることが好ましい。

切替判定部８７は、切替判定用指標値に基づいて、第１観察環境から第２観察環境に切り替えるか否かを判定する。具体的には、図１６に示すように、切替判定部８７は、赤色特徴量が赤色特徴量用範囲の下限値Ｌｘ未満の場合（観察対象における炎症は弱い）、又は、赤色特徴量が赤色特徴量用範囲の上限値Ｕｘ以上の場合（観察対象における炎症が強い）には、ユーザーによる色差拡張画像への目視で病理的寛解又は非寛解を判断することが可能な疾患の状態（パターン（Ａ）、（Ｅ））であるとし、第２観察環境への切替えを行わないと判定する。一方、切替判定部８７は、赤色特徴量が赤色特徴量用範囲内である場合には、ユーザーによる色差拡張画像への目視で病理的寛解又は非寛解を判断することが難しい疾患の状態（パターン（Ｂ）、（Ｃ）、（Ｄ））であるとし、第２観察環境への切替えを行うと判定する。なお、疾患関連処理部６６では、赤色特徴量が赤色特徴量用範囲の下限値Ｌｘ未満の場合には、疾患が病理的寛解であると自動的に判定し、赤色特徴量が赤色特徴量用範囲の上限値Ｕｘ以上の場合に、疾患が病理的非寛解であると自動的に判定してもよい。この場合の判定結果は、ディスプレイ１８に表示することが好ましい。

なお、疾患の状態の一つである潰瘍性大腸炎の状態は、重症度が悪化する毎に、血管構造のパターンが変化することを発明者らが見出している。潰瘍性大腸炎が病理的寛解、又は、潰瘍性大腸炎が発生していない場合（又は、内視鏡的軽症である場合）には、図１６（Ａ）に示すように、表層血管のパターンが規則的であり、又は、図１６（Ｂ）に示すように、表層血管のパターンの規則性に多少の乱れが生じている程度である。一方、潰瘍性大腸炎が病理的非寛解であり、且つ、内視鏡的軽症である場合には、表層血管が局所的に密集しているパターンとなっている（図１６（Ｃ））。また、潰瘍性大腸炎が病理的非寛解であり、且つ、内視鏡的中等症である場合には、粘膜内出血が発生しているパターンとなっている（図１６（Ｄ））。また、潰瘍性大腸炎が病理的非寛解であり、且つ、内視鏡的重症である場合には、粘膜外出血が発生しているパターンとなっている（図１６（Ｅ））。

ここで、「表層血管の密集」とは、表層血管が蛇行し、集まる状態をいい、画像上の見た目では、図１７に示すように、腸腺嵩（クリプト）の周りを表層血管が何本も囲んでいることをいう。「粘膜内出血」とは、粘膜組織内の出血で内腔への出血との鑑別を要することをいう。「粘膜内出血」とは、画像上の見た目では、粘膜の中、且つ内腔（管腔、ひだの穴）ではない出血を指している。「粘膜外出血」とは、管腔内への少量の血液、管腔内を洗浄した後も内視鏡前方の管腔、又は粘膜からにじみ出て視認可能な血液、又は、出血性粘膜上でにじみを伴った管腔内の血液のことをいう。

観察環境切替部８８は、第２観察環境への切替えを行うと判定された場合において、特定動作によって、観察対象の拡大率を第２拡大率にして、第２観察環境に切り替える。具体的には、観察環境切替部８８は、特定動作として、ズーム操作部１２ｈを自動的に操作する指示を行うことによって、第２拡大率にする。または、観察環境切替部８８は、図１８に示すように、特定動作として、「拡大率を６０倍以上にして下さい」とのメッセージ（報知）をディスプレイ１８に表示する。ユーザーは、ディスプレイ１８上のメッセージを見て、特定動作として、ズーム操作部１２ｈを操作し、拡大率を第２拡大率（６０倍以上）にする操作を行う。また、観察環境切替部８８は、ディスプレイ１８に表示する画像を、色差強調画像から色差強調処理が施されていない特殊光画像に切り替える。特殊光画像については、ディスプレイ１８への表示の他に、疾患状態処理に用いられる。なお、観察環境切替部８８によって、拡大率の他、照明光の種類、スペクトルを切り替えてもよい。例えば、特殊光から通常光に切り替える、又は、４色の特殊光から紫色光Ｖ単色の発光に切り替えてもよい。

処理実行部９０は、第２医療画像に基づいて、疾患の状態に関する疾患状態処理を行う。処理実行部９０は、寛解判定用指標値算出部９０ａと、寛解判定部９０ｂとを備えている。寛解判定用指標値算出部９０ａは、観察対象における出血の程度を示す出血用指標値、又は、表層血管の不規則度を算出する。具体的には、出血用指標値は、特殊光画像の青色画像のうち青色用閾値以下の画素値を有する画素数とすることが好ましい。青色用閾値以下の画素値を有する画素は、表層血管が有するヘモグロビンの光吸収によって、画素値が低下している画素とみなすことができる。表層血管の不規則度は、特殊光画像に含まれる表層血管の密集度が密集度用閾値以上の領域の画素数とすることが好ましい。表層血管の密集度については、特殊光画像からラプラシアン処理で表層血管を抽出し、抽出した表層血管に基づいて算出することが好ましい。具体的には、密集度は、特定領域ＳＡにおける表層血管の密度（＝表層血管の本数／特定領域ＳＡの画素数）としてもよい。なお、出血用指標値又は表層血管の密集度については、機械学習等を行い、機械学習済みのモデルに対して特殊光画像を入力することによって、出血用指標値又は表層血管の密集度を出力するようにしてもよい。

寛解判定部９０ｂは、出血用指標値、又は、表層血管の不規則度に基づいて、疾患の病理的寛解又は病理的非寛解を判定する。具体的には、寛解判定部９０ｂは、図１９に示すように、出血用指標値が出血用閾値Ｔｈｂ以下であり、且つ、表層血管の不規則度が不規則度用閾値Ｔｈｒ以下である場合には、潰瘍性大腸炎が病理的寛解であると判定する。一方、寛解判定部９０ｂは、出血用指標値が出血用閾値Ｔｈｂを超えること、又は、表層血管の不規則度が不規則度用閾値Ｔｈｒを超えることのいずれか一方を満たす場合には、潰瘍性大腸炎が病理的非寛解であると判定する。寛解判定部９０ｂによる判定処理を用いることによって、ユーザーによる目視での病理的寛解又は非寛解を判断することが難しい疾患の状態（パターン（Ｂ）、（Ｃ）、（Ｄ））を判定することができる。なお、潰瘍性大腸炎が病理的寛解であると判定された場合には、図２０に示すように、その旨のメッセージをディスプレイ１８上に表示することが好ましい。なお、第１観察環境においても寛解判定部９０ｂでの判定は可能であるが、第２観察環境における寛解判定部９０ｂ（図１５参照）の判定精度は、第１観察環境における寛解判定部９０ｂの判定精度よりも高いため、寛解判定部９０ｂでの判定を行う場合には第２観察環境にすることが好ましい。

次に、疾患関連処理モードの一連の流れについて、図２１に示すフローチャートに沿って説明する。モード切替ＳＷ１２ｆを操作して、疾患関連処理モードに切り替えると、観察対象を観察する環境が、第１観察環境に設定される。第１観察環境においては、観察対象を第１拡大率で拡大し、特殊光で照明する。また、第１観察環境においては、特殊光の照明及び色差拡張処理により得られる色差拡張画像がディスプレイ１８に表示される。なお、第１観察環境の設定は、自動又は手動で行うことが好ましい。

切替判定用指標値算出部８６は、色差拡張画像に基づいて、切替判定用指標値として、赤色特徴量を算出する。切替判定部８７は、赤色特徴量が赤色特徴量用範囲外である場合（赤色特徴量が下限値Ｌｘ未満、又は、上限値Ｕｘ以上の場合）、第２観察環境への切替えは行わないと判定する。この場合には、ユーザーによって、疾患の病理的寛解又は非寛解の判定が行われる。

一方、切替判定部８７は、赤色特徴量が赤色特徴量用範囲内である場合には、第２観察環境への切替えを行うと判定する。観察環境切替部８８は、特定動作によって、観察対象の拡大率を第２拡大率にして第２観察環境への切替えを行う。第２観察環境では、第１観察環境と同様、特殊光の照明が行われる一方、ディスプレイ１８には、色差拡張画像から特殊光画像に表示が切り替えられる。

寛解判定用指標値算出部９０ａは、特殊光画像に基づいて、出血用指標値、又は、表層血管の不規則度を算出する。寛解判定部９０ｂは、出血用指標値が出血用閾値以下であり、且つ、表層血管の不規則度が不規則度用閾値以下である場合には、疾患が病理的寛解であると判定する。一方、寛解判定部９０ｂは、出血用指標値が出血用閾値を超えること、又は、表層血管の不規則度が不規則度用閾値を超える場合には、疾患が病理的非寛解であると判定する。寛解判定部９０ｂでの判定結果は、ディスプレイ１８に表示される。

［第２実施形態］
第２実施形態では、上記第１実施形態で示した４色のＬＥＤ２０ａ～２０ｄの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ４４に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第１実施形態と同様である。

図２２に示すように、第２実施形態の内視鏡システム１００では、光源装置１４において、４色のＬＥＤ２０ａ～２０ｄに代えて、広帯域光源１０２、回転フィルタ１０４、フィルタ切替部１０５が設けられている。また、撮像光学系３０ｂには、カラーの撮像センサ４４の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ１０６が設けられている。

広帯域光源１０２はキセノンランプ、白色ＬＥＤなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ１０４には、内側から順に、通常光用フィルタ１０７と、特殊光用フィルタ１０８とが設けられている（図２３参照）。フィルタ切替部１０５は、回転フィルタ１０４を径方向に移動させるものであり、モード切替ＳＷ１２ｆにより通常光モードにセットしたときに、通常光用フィルタ１０７を白色光の光路に挿入し、特殊光モード又は疾患関連処理モードにセットしたときに、特殊光用フィルタ１０８を白色光の光路に挿入する。

図２３に示すように、通常光用フィルタ１０７には、周方向に沿って、白色光のうち広帯域青色光Ｂを透過させるＢフィルタ１０７ａ、白色光のうち広帯域緑色光Ｇを透過させるＧフィルタ１０７ｂ、及び、白色光のうち広帯域赤色光Ｒを透過させるＲフィルタ１０７ｃが設けられている。したがって、通常光モード時には、回転フィルタ１０４が回転することで、通常光として、広帯域青色光Ｂ、広帯域緑色光Ｇ、広帯域赤色光Ｒが交互に観察対象に照射される。

特殊光用フィルタ１０８には、周方向に沿って、白色光のうち青色狭帯域光を透過させるＢｎフィルタ１０８ａ、及び、白色光のうち緑色狭帯域光を透過させるＧｎフィルタ１０８ｂが設けられている。したがって、特殊光モード又は疾患関連処理モード時には、回転フィルタ１０４が回転することで、特殊光として、短波長の狭帯域光としての青色狭帯域光と緑色狭帯域光が交互に観察対象に照射される。なお、青色狭帯域光の波長帯域は４００～４５０ｎｍであり、緑色狭帯域光の波長帯域は５４０～５６０ｎｍであることが好ましい。

内視鏡システム１００では、通常光モード時には、広帯域青色光Ｂ、広帯域緑色光Ｇ、広帯域赤色光Ｒで観察対象が照明される毎にモノクロの撮像センサ１０６で観察対象を撮像する。これにより、Bc画像信号、Gc画像信号、Rc画像信号が得られる。そして、それら３色の画像信号に基づいて、上記第１実施形態と同様の方法で、通常光画像が生成される。

内視鏡システム１００では、特殊光モード又は疾患関連処理モード時には、青色狭帯域光と緑色狭帯域光で観察対象が照明される毎にモノクロの撮像センサ１０６で観察対象を撮像する。これにより、Bs画像信号、Gs画像信号が得られる。そして、それら２色の画像信号に基づいて、上記第１実施形態と同様の方法で、特殊光画像が生成される。

［第３実施形態］
第３実施形態では、上記第１実施形態で示した４色のＬＥＤ２０ａ～２０ｄの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。以下においては、第１実施形態と異なる部分のみ説明を行い、第１実施形態と略同様の部分については、説明を省略する。

図２４に示すように、第３実施形態の内視鏡システム２００では、光源装置１４の光源部２０において、４色のＬＥＤ２０ａ～２０ｄの代わりに、短波長の狭帯域光に相当する中心波長４０５±１０ｎｍの紫色レーザ光を発する紫色レーザ光源部２０３（「４０５ＬＤ」と表記。ＬＤは「Laser Diode」を表す）と、中心波長４４５±１０ｎｍの青色レーザ光を発する青色レーザ光源部（「４４５ＬＤ」と表記）２０４とが設けられている。これら各光源部２０３、２０４の半導体発光素子からの発光は、光源制御部２０８により個別に制御されている。

光源制御部２０８は、通常光モードの場合には、青色レーザ光源部２０４を点灯させる。これに対して、特殊光モード又は疾患関連処理モードの場合には、紫色レーザ光源部２０３と青色レーザ光源部２０４を同時点灯させる。

なお、紫色レーザ光、又は青色レーザ光の半値幅は±１０nm程度にすることが好ましい。また、紫色レーザ光源部２０３又は青色レーザ光源部２０４は、ブロードエリア型のＩｎＧａＮ系レーザダイオードが利用でき、また、ＩｎＧａＮＡｓ系レーザダイオードやＧａＮＡｓ系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。

照明光学系３０ａには、照明レンズ３２の他に、ライトガイド２５からの紫色レーザ光又は青色レーザ光が入射する蛍光体２１０が設けられている。蛍光体２１０は、青色レーザ光によって励起され、蛍光を発する。したがって、青色レーザ光は励起光に相当する。また、青色レーザ光の一部は、蛍光体２１０を励起させることなく透過する。

ここで、通常光モードにおいては、主として青色レーザ光が蛍光体２１０に入射するため、図２５に示すように、青色レーザ光、及び青色レーザ光により蛍光体２１０から励起発光する蛍光を合波した通常光が観察対象に照明される。この通常光で照明された観察対象を撮像センサ４４で撮像することによって、Ｂｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号からなる通常光画像が得られる。

また、特殊光モード又は疾患関連処理モードにおいては、紫色レーザ光及び青色レーザ光が蛍光体２１０に同時に入射することにより、図２６に示すように、紫色レーザ光及び青色レーザ光に加えて、紫色レーザ光及び青色レーザ光によって蛍光体２１０から励起発光する蛍光を含む疑似白色光が、特殊光として発せられる。この特殊光で照明された観察対象を撮像センサ４４で撮像することによって、Ｂｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号からなる特殊光画像が得られる。なお、疑似白色光は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄから発せられる紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光を組み合わせた光としてもよい。

なお、蛍光体２１０は、青色レーザ光の一部を吸収して、緑色～黄色に励起発光する複数種の蛍光体（例えばＹＫＧ系蛍光体、或いはＢＡＭ（ＢａＭｇＡｌ_１０Ｏ_１７）などの蛍光体）を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体２１０の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。

なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。

例えば、図２７に示すように、診断支援装置６００は、医療画像処理システム６０２などのモダリティやＰＡＣＳ（Picture Archiving and Communication Systems）６０４を組み合わせて使用される。また、図２８に示すように、医療業務支援装置６１０は、第１医療画像処理システム６２１、第２医療画像処理システム６２２、…、第Ｎ医療画像処理システム６２３等の各種検査装置と任意のネットワーク６２６を介して接続する。医療業務支援装置６１０は、第１～第N医療画像処理システム６２１、６２２・・・、６２３からの医療画像を受信し、受信した医療画像に基づいて、医療業務の支援を行う。

上記実施形態において、画像処理部５８に含まれる通常光画像生成部６２、特殊光画像生成部６４、色差拡張画像生成部６４ａ、疾患関連処理部６６、逆ガンマ変換部７０、Ｌｏｇ変換部７１、信号比算出部７２、極座標変換部７３、色差拡張部７４、彩度強調処理部７６、色相強調処理部７７、直交座標変換部７８、ＲＧＢ変換部７９、明るさ調整部８１、構造強調部８２、逆Ｌｏｇ変換部８３、ガンマ変換部８４、切替判定用指標値算出部８６、切替判定部８７、観察環境切替部８８、処理実行部９０、寛解判定用指標値算出部９０ａ、寛解判定部９０ｂといった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

なお、本発明は、下記の他の実施形態によっても実施可能である。
プロセッサ装置において、
切替判定用指標値算出部によって、第１拡大率にて観察対象を拡大する第１観察環境において観察対象を撮像して得られる第１医療画像に基づいて、第１観察環境から、第１拡大率よりも大きい第２拡大率にて観察対象を拡大する第２観察環境への切替の判定に用いる切替判定用指標値を算出し、切替判定部によって、切替判定用指標値に基づいて、第１観察環境から第２観察環境に切り替えるか否かを判定し、観察環境切替部によって、第２観察環境への切替えを行うと判定された場合において、特定動作によって、観察対象の拡大率を第２拡大率にして第２観察環境に切り替え、処理実行部によって、第２観察環境において観察対象を撮像して得られる第２医療画像に基づいて、疾患の状態に関する疾患状態処理を行うプロセッサ装置。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ モード切替スイッチ
１２ｇ 静止画取得指示部
１２ｈ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ ディスプレイ
１９ ユーザーインターフェース
２０ 光源部
２０ａ Ｖ－ＬＥＤ
２０ｂ Ｂ－ＬＥＤ
２０ｃ Ｇ－ＬＥＤ
２０ｄ Ｒ－ＬＥＤ
２１ 光源制御部
２３ 光路結合部
２５ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 照明レンズ
４２ 対物レンズ
４３ ズームレンズ
４４ 撮像センサ
４５ 撮像制御部
４６ ＣＤＳ／ＡＧＣ回路
４７ 拡大率表示部
４８ Ａ／Ｄコンバータ
４９ 拡大率表示部
４９ａ 横長バー
４９ｂ 上限表示バー
５０ 画像取得部
５２ ＤＳＰ
５４ ノイズ低減部
５８ 画像処理部
６０ 映像信号生成部
６２ 通常光画像生成部
６４ 特殊光画像生成部
６４ａ 色差拡張画像生成部
６６ 疾患関連処理部
７０ 逆ガンマ変換部
７１ Ｌｏｇ変換部
７２ 信号比算出部
７３ 極座標変換部
７４ 色差拡張部
７６ 彩度強調処理部
７７ 色相強調処理部
７８ 直交座標変換部
７９ ＲＧＢ変換部
８１ 明るさ調整部
８１ａ 第１明るさ情報算出部
８１ｂ 第２明るさ情報算出部
８２ 構造強調部
８３ 逆Ｌｏｇ変換部
８４ ガンマ変換部
８６ 切替判定用指標値算出部
８７ 切替判定部
８８ 観察環境切替部
９０ 処理実行部
９０ａ 寛解判定用指標値算出部
９０ｂ 寛解判定部
１００ 内視鏡システム
１０２ 広帯域光源
１０４ 回転フィルタ
１０５ フィルタ切替部
１０６ 撮像センサ
１０７ 通常光用フィルタ
１０７ａ Ｂフィルタ
１０７ｂ Ｇフィルタ
１０７ｃ Ｒフィルタ
１０８ 特殊光用フィルタ
１０８ａ Ｂｎフィルタ
１０８ｂ Ｇｎフィルタ
２００ 内視鏡システム
２０３ 紫色レーザ光源部
２０４ 青色レーザ光源部
２０８ 光源制御部
２１０ 蛍光体
６００ 診断支援装置
６０２ 医療画像処理システム
６０４ ＰＡＣＳ
６１０ 医療業務支援装置
６２１ 第１医療画像処理システム
６２２ 第２医療画像処理システム
６２３ 第Ｎ医療画像処理システム
６２６ ネットワーク

Claims (12)

1. プロセッサを備え、
   前記プロセッサは、
   第１拡大率にて観察対象を拡大する第１観察環境において前記観察対象を撮像して得られる第１医療画像に基づいて、前記第１観察環境から、前記第１拡大率よりも大きい第２拡大率にて前記観察対象を拡大する第２観察環境への切替の判定に用いる切替判定用指標値を算出し、
   前記切替判定用指標値に基づいて、前記第１観察環境から前記第２観察環境に切り替えるか否かを判定し、
   前記第２観察環境への切替えを行うと判定された場合において、特定動作によって、前記観察対象の拡大率を前記第２拡大率にして前記第２観察環境に切り替え、
   前記切替判定用指標値は前記観察対象の赤色成分を示す赤色特徴量である画像処理装置。
2. 前記プロセッサは、
   前記赤色特徴量が赤色特徴量用範囲の下限値未満、又は、前記赤色特徴量が前記赤色特徴量用範囲の上限値以上の場合には、前記第２観察環境への切替えを行わないと判定し、
   前記赤色特徴量が前記赤色特徴量用範囲内である場合には、前記第２観察環境への切替えを行うと判定する請求項１記載の画像処理装置。
3. 前記第１観察環境には、通常光又は特殊光を用いて前記観察対象を照明すること、又は、前記観察対象における複数の観察対象範囲の色の差を拡張した色差拡張画像をディスプレイに表示することを含み、
   前記第２観察環境には、特殊光を用いて前記観察対象を照明することを含む請求項１または２記載の画像処理装置。
4. 前記第１拡大率は６０倍未満であり、前記第２拡大率は６０倍以上である請求項１ないし３いずれか１項記載の画像処理装置。
5. 前記プロセッサは、前記第２観察環境において前記観察対象を撮像して得られる第２医療画像に基づいて、疾患の状態に関する疾患状態処理を行い、
   前記疾患状態処理には、前記第２医療画像に基づいて、前記疾患のステージに関する指標値を算出すること、前記疾患のステージを判定すること、又は、前記疾患の病理的寛解又は病理的非寛解を判定することの少なくともいずれかが含まれる請求項１ないし４いずれか１項記載の画像処理装置。
6. 前記プロセッサは、
   前記観察対象における出血の程度を示す出血用指標値、又は、表層血管の不規則度を算出し、
   前記出血用指標値、又は、前記表層血管の不規則度に基づいて、前記疾患の病理的寛解又は病理的非寛解を判定する請求項５記載の画像処理装置。
7. 前記プロセッサは、
   前記出血用指標値が出血用閾値以下であり、且つ、前記表層血管の不規則度が不規則度用閾値以下である場合には、前記疾患が病理的寛解であると判定し、
   前記出血用指標値が出血用閾値を超えること、又は、前記表層血管の不規則度が不規則度用閾値を超えることのいずれか一方を満たす場合には、前記疾患が病理的非寛解であると判定する請求項６記載の画像処理装置。
8. 前記出血用指標値は、前記第２医療画像の青色画像のうち青色用閾値以下の画素値を有する画素数であり、
   前記不規則度は、前記第２医療画像に含まれる前記表層血管の密集度が密集度用閾値以上の領域の画素数である請求項６又は７記載の画像処理装置。
9. 前記特定動作は、前記第２観察環境への切替えを促す旨の報知に従って行われるユーザー操作、又は、前記第２観察環境への自動切替を含む請求項１ないし８いずれか１項記載の画像処理装置。
10. 前記疾患は潰瘍性大腸炎である請求項５記載の画像処理装置。
11. 観察対象の照明及び撮像を行い、且つ、前記観察対象の拡大率が変更可能な内視鏡と、
    プロセッサを有するプロセッサ装置とを有し、
    前記プロセッサは、
    第１拡大率にて前記観察対象を拡大する第１観察環境において前記内視鏡から得られる第１医療画像に基づいて、前記第１観察環境から、前記第１拡大率よりも大きい第２拡大率にて前記観察対象を拡大する第２観察環境への切替の判定に用いる切替判定用指標値を算出し、
    前記切替判定用指標値に基づいて、前記第１観察環境から前記第２観察環境に切り替えるか否かを判定し、
    前記第２観察環境への切替えを行うと判定された場合において、特定動作によって、前記観察対象の拡大率を前記第２拡大率にして前記第２観察環境に切り替え、
    前記切替判定用指標値は前記観察対象の赤色成分を示す赤色特徴量である内視鏡システム。
12. 第１拡大率にて観察対象を拡大する第１観察環境において前記観察対象を撮像して得られる第１医療画像に基づいて、前記第１観察環境から、前記第１拡大率よりも大きい第２拡大率にて前記観察対象を拡大する第２観察環境への切替の判定に用いる切替判定用指標値を算出するステップと、
    前記切替判定用指標値に基づいて、前記第１観察環境から前記第２観察環境に切り替えるか否かを判定するステップと、
    前記第２観察環境への切替えを行うと判定された場合において、特定動作によって、前記観察対象の拡大率を前記第２拡大率にして前記第２観察環境に切り替えるステップとを有し、
    前記切替判定用指標値は前記観察対象の赤色成分を示す赤色特徴量である画像処理装置の作動方法。

Images