JP6531202B2 - 画像処理装置 - Google Patents

Description

本発明は、生体組織の画像を処理する画像処理装置に関する。

内視鏡画像の色情報を解析して、被写体である生体組織の状態に関する情報（以下、「生体情報」という。）を得る内視鏡装置が知られている。

特許文献１には、血中ヘモグロビンの酸素飽和度に関する情報を画像化した酸素飽和度画像を生成する内視鏡システムが記載されている。特許文献１の内視鏡システムは、波長スペクトルが異なる２種類の照明光（白色光と狭帯域である酸素飽和度測定光）を交互に用いて連続して撮影した２フレームの色信号の関係から画素毎に酸素飽和度を求め、酸素飽和度と関連付けられた色差信号（疑似カラー）で表された酸素飽和度画像を生成する。また、特許文献１の内視鏡システムは、上記２フレームの色信号の関係から、画素毎に酸素飽和度の信頼度を計算し、疑似カラーの彩度を信頼度に応じて決定する。

特許第５３０２９８４号公報

特許文献１の内視鏡システムでは、画素毎に生体情報の信頼性が評価・表示されるに過ぎず、画像全体での信頼性（すなわち、撮影条件の良否）に適した画像処理を行うことができなかった。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、画像全体での生体情報の信頼性に応じた画像処理が可能な画像処理装置を提供することである。

本発明の一実施形態によれば、生体組織を撮影した複数の画像データからなるカラー動画像データを取得する画像データ取得手段と、画像データに基づいて、画像データが表す画像に写された生体組織の病変の重症度を示すスコアを画素毎に計算するスコア計算手段と、画像データに基づいて、スコアの信頼性を評価する信頼性評価手段と、画像データの全画素数のうち、スコアが所定の信頼性を有する画素の割合を示すスコア信頼度を計算するスコア信頼度計算手段と、を備えた、画像処理装置が提供される。

上記の画像処理装置において、信頼性評価手段が、画素値に基づきハレーションの画素か否かを判定するハレーション判定手段を備え、ハレーションの画素と判定された画素を、スコアが所定の信頼性を有する画素から除外する構成としてもよい。

上記の画像処理装置において、信頼性評価手段が、画素値に基づき暗部の画素か否かを判定する暗部判定手段を備え、暗部の画素と判定された画素を、スコアが所定の信頼性を有する画素から除外する構成としてもよい。

輝度が過度に高い又は過度に低い画素は、色情報の精度が低いため、スコアの信頼性も低いものとなる。ハレーションの発生部や暗部の画素を判定する手段を設け、ハレーションの発生部又は暗部と判定された画素をスコアの信頼性に乏しい画素と分類することにより、適切な信頼性の評価が可能になる。

上記の画像処理装置において、画像データの画素値をＨＳＩ（Heu-Saturation-Intensity）空間の画素値に変換する色空間変換手段を備え、信頼性評価手段が、色空間変換手段から出力された画素の輝度に基づいてスコアの信頼性を評価する構成としてもよい。

スコアの信頼性の計算には輝度情報が必要となるため、ＨＳＩ空間上で表現された画像データを使用することで、スコアの信頼性の計算が容易になる。

上記の画像処理装置において、信頼性評価手段が、画素値に基づきいずれかのカラーチャンネルが飽和した飽和画素か否かを判定する飽和判定手段を備え、飽和画素と判定された画素を、スコアが所定の信頼性を有する画素から除外する構成としてもよい。

この構成によれば、従来考慮されていなかったカラーチャンネルの飽和に基づいてスコアの信頼性が評価されるため、より精密で適切な信頼性の評価が可能になる。

上記の画像処理装置において、飽和判定手段が、画素値に基づき飽和したカラーチャンネル数を計数する飽和チャンネル数計数手段を備え、飽和したカラーチャンネル数が所定数以上の画素を飽和画素と判定する構成としてもよい。

上記の画像処理装置において、スコアの分布を示す印を画像上に付すマーキング手段を備え、マーキング手段が、スコア信頼度に応じて印の態様を変更する構成としてもよい。

この構成によれば、スコア信頼度に適したスコア分布の表示が可能になる。

上記の画像処理装置において、マーキング手段が、病変部の画素の色をスコアに応じた色に変更する第１カラーマッピングを行う構成としてもよい。

上記の画像処理装置において、マーキング手段が、スコアの信頼性が低い画素が局在する画像の領域を、第１カラーマッピングを行う領域から除外する構成としてもよい。

この構成によれば、第１カラーマッピングに必要な計算量が削減される。

上記の画像処理装置において、マーキング手段が、スコアが所定の信頼性を有する画素と、信頼性を有しない画素とで、それぞれ異なる色を使用して第１カラーマッピングを行う構成としてもよい。

この構成によれば、信頼性の有無とスコアを直感的に把握可能なカラーマップ画像が得られる。

上記の画像処理装置において、マーキング手段が、画像においてスコアが所定値以上の領域の上に印を付す第１種簡易マーキング処理を行う構成としてもよい。

この構成によれば、少ない計算量で、信頼性の有無やスコアの分布を容易に把握できるマーキングが可能になる。

上記の画像処理装置において、印が符号又は図形であり、マーキング手段が、スコアに応じて、印の大きさ、色及び種類の少なくとも一つを変更する構成としてもよい。

上記の画像処理装置において、第１種簡易マーキング処理が、スコアが所定値以上の領域の重心、又は、スコアが最大となる画素の上に単一の印を付す構成としてもよい。

上記の画像処理装置において、第１種簡易マーキング処理が、スコアが所定値以上の領域に複数の印を付す構成としてもよい。

上記の画像処理装置において、第１種簡易マーキング処理が、複数の印を互いに重なり合わないように付す構成としてもよい。

上記の画像処理装置において、第１種簡易マーキング処理が、スコアが所定値以上の画素の上に、スコアに応じた大きさの印を付す構成としてもよい。

上記の画像処理装置において、マーキング手段が、画像においてスコアが高い領域を囲むように印を付す第２種簡易マーキング処理を行う構成としてもよい。

上記の画像処理装置において、印が、スコアが高い領域を囲む環、又は、スコアが高い領域を囲むように配列された複数の符号又は図形である構成としてもよい。

上記の画像処理装置において、スコアの信頼性の評価結果を表示する信頼性表示手段を備えた構成としてもよい。

上記の画像処理装置において、信頼性表示手段が、スコア信頼度を表示するスコア信頼度表示手段を備えた構成としてもよい。

上記の画像処理装置において、信頼性表示手段が、暗部の画素の数に関する情報を表示する暗部情報表示手段を備えた構成としてもよい。

上記の画像処理装置において、信頼性表示手段が、ハレーションの画素の数に関する情報を表示するハレーション情報表示手段を備えた構成としてもよい。

上記の画像処理装置において、信頼性表示手段が、飽和したカラーチャンネルの数に関する情報を表示する飽和情報表示手段を備えた構成としてもよい。

上記の画像処理装置において、飽和情報表示手段が、画素の色を飽和したカラーチャンネルの数に応じた色に変更する第２カラーマッピングを行う構成としてもよい。

上記の画像処理装置において、飽和情報表示手段が、第１カラーマッピングとは異なる色を使用して第２カラーマッピングを行う構成としてもよい。

上記の画像処理装置において、マーキング手段が、有彩色を使用して第１カラーマッピングを行い、飽和情報表示手段が、無彩色を使用して第２カラーマッピングを行う構成としてもよい。

上記の画像処理装置において、画像のカラーバランスに基づいて、撮影条件の良否を判定する構成としてもよい。

上記の画像処理装置において、画像が、単一の広帯域照明光を用いて撮影された画像である構成としてもよい。

本発明の一実施形態によれば、画像全体での生体情報の信頼性に応じた画像処理が可能になる。

本発明の実施形態に係る電子内視鏡装置の概略構成を示すブロック図である。 本発明の実施形態に係る電子内視鏡装置の画像処理に関する回路の概略構成を示したブロック図である。 画像メモリの記憶領域の概略構成を示す図である。 画像処理回路が行う処理の手順を示すフローチャートである。 ＴＥ処理に使用されるゲイン曲線の一例である。 有効画素判定処理の手順を示すフローチャートである。 病変判定処理の手順を示すフローチャートである。 生体組織像の画素値をＨＳ座標空間にプロットした散布図である。 スコア計算処理の手順を示すフローチャートである。 色相距離、彩度距離と相関値との関係を示すグラフである。 信頼性評価処理の手順を説明するフローチャートである。 マーキング処理Ｓ９の手順を示すフローチャートである。 マーキング画像生成処理の手順を示すフローチャートである。 マーキング画像生成処理で生成される合成画像ＣＰである。 表示画面生成処理によって生成される解析モード観察画面である。 第２実施形態のマーキング画像ＭＰ２（カラーマップ画像）である。

以下、本発明の画像処理装置の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。

［電子内視鏡装置１全体の構成］
図１は、本発明の電子内視鏡装置１の構成を示すブロック図である。図１に示されるように、電子内視鏡装置１は、電子スコープ１００、プロセッサ２００及びモニタ９００を備えている。

プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２１２に記憶された各種プログラムを実行し、電子内視鏡装置１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１４に接続されている。システムコントローラ２０２は、操作パネル２１４より入力される術者からの指示に応じて、電子内視鏡装置１の各動作及び各動作のためのパラメーターを変更する。タイミングコントローラ２０４は、各部の動作のタイミングを調整する同期信号を電子内視鏡装置１内の各回路に出力する。

ランプ２０８は、ランプ電源イグナイタ２０６による始動後、照射光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプやＬＥＤ（Light Emitting Diode）である。照射光Ｌは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ広帯域光（又は少なくとも可視光領域を含む白色光）である。

ランプ２０８より射出された照射光Ｌは、集光レンズ２１０によりＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。

ＬＣＢ１０２内に入射された照射光Ｌは、ＬＣＢ１０２内を伝播して電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して被写体に照射される。照射光Ｌにより照射された被写体からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、補色市松色差線順次方式の単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上で結像した被写体の光学像を撮像して、アナログ撮像信号を出力する。具体的には、固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローＹｅ、シアンＣｙ、グリーンＧ、マゼンタＭｇの色信号を生成し、生成された垂直方向に隣接する２つの画素の色信号を加算し混合して得た走査線を順次出力する。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、原色系フィルタ（ベイヤ配列フィルタ）を搭載したものであってもよい。

電子スコープ１００の接続部内には、ドライバ信号処理回路１１０が備えられている。ドライバ信号処理回路１１０には、上述の走査線からなるアナログ撮像信号がフィールド周期で固体撮像素子１０８より入力される。なお、以降の説明において「フィールド」は「フレーム」に置き替えてもよい。本実施形態において、フィールド周期、フレーム周期はそれぞれ、１／６０秒、１／３０秒である。ドライバ信号処理回路１１０は、固体撮像素子１０８より入力されるアナログ撮像信号に対して所定の処理を施してプロセッサ２００の画像処理回路２２０に出力する。

ドライバ信号処理回路１１０はまた、メモリ１２０にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１２０に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフィールドレート、型番等が含まれる。ドライバ信号処理回路１１０は、メモリ１２０より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、同期信号を生成する。ドライバ信号処理回路１１０は、タイミングコントローラ２０４から供給される同期信号に従って、プロセッサ２００が生成するビデオ信号のフィールドレートに同期したタイミングで固体撮像素子１０８を駆動制御する。

画像処理回路２２０は、システムコントローラ２０２による制御の下、電子スコープ１００から出力される撮像信号に基づいて画像データを生成する。また、画像処理回路２２０は、生成された画像データを使用してモニタ表示用の画面データを生成し、この画面データを所定のビデオ・フォーマットのビデオ信号に変換して出力する。ビデオ信号はモニタ９００に入力され、被写体のカラー画像がモニタ９００の表示画面に表示される。

図２は、電子内視鏡装置１の画像処理に関する回路の概略構成を示したブロック図である。

ドライバ信号処理回路１１０は、駆動回路１１２とＡＦＥ（Analog Front End）１１４を備えている。駆動回路１１２は、同期信号に基づいて固体撮像素子１０８の駆動信号を生成する。ＡＦＥ１１４は、固体撮像素子１０８から出力されるアナログ撮像信号に対して、ノイズ除去、信号増幅・ゲイン補正及びＡ／Ｄ変換を行い、デジタル撮像信号を出力する。なお、本実施形態においてＡＦＥ１１４が行う処理の全部又は一部を固体撮像素子１０８又は画像処理回路２２０が行う構成としてもよい。

画像処理回路２２０は、基本処理部２２０ａ、出力回路２２０ｂ、ＴＥ（Tone Enhancement：トーン強調）処理部２２１、有効画素判定部２２２、色空間変換部２２３、病変判定部２２４、スコア計算部２２５、マーキング処理部２２６、画像メモリ２２７、表示画面生成部２２８、メモリ２２９及び信頼性評価部２３０を備えている。画像処理回路２２０の各部が行う処理については後述する。

図３は、画像メモリ２２７が備える記憶領域の概略構成を示す図である。本実施形態の画像メモリ２２７には、４つの記憶領域Ｐ_ｎ、Ｐ_ｅ、Ｐ_ｃ、Ｐ_ｍが設けられている。記憶領域Ｐ_ｎは、基本処理部２２０ａが生成する通常観察画像データＮ（通常観察画像ＮＰを表す画像データ）を記憶する領域である。なお、記憶領域Ｐ_ｎには連続して生成された二以上の通常観察画像データＮを記憶させることができる。また、記憶領域Ｐ_ｎへのデータの書き込み／読み出しは、先入れ先出し方式（FIFO）により行われる。記憶領域Ｐ_ｅは、ＴＥ処理部２２１が生成するＴＥ画像データＥ（ＴＥ画像ＥＰを表す画像データ）を記憶する領域である。記憶領域Ｐ_ｍは、マーキング処理部２２６が生成するマーキング画像データＭ（マーキング画像ＭＰを表す画像データ）を記憶する領域である。記憶領域Ｐ_ｃは、通常観察画像データＮ（又はＴＥ画像データＥ）とマーキング画像データＭとを合成した合成画像データＣ（合成画像ＣＰを表す画像データ）を記憶する領域である。

また、図２に示されるように、メモリ２２９には、フラグテーブルＦＴ、スコアテーブルＳＴ、色相相関値テーブルＨＣＴ、彩度相関値テーブルＳＣＴ、信頼性情報テーブルＣＴ及び表示色テーブルＤＣＴが格納される。フラグテーブルＦＴ及びスコアテーブルＳＴは、それぞれ通常観察画像データＮの各画素（ｘ，ｙ）に関する解析結果を示すフラグＦ（ｘ，ｙ）、スコアＳｃ（ｘ，ｙ）から構成された数値テーブルである。具体的には、フラグＦ（ｘ，ｙ）は対応する画素（ｘ，ｙ）に写された組織の病変の有無を示すパラメーターであり、スコアＳｃ（ｘ，ｙ）はその病変の重症度を示すパラメーターである。表示色テーブルＤＣＴは、スコアＳｃ（ｘ，ｙ）と後述するカラーマップ画像（マーキング画像ＭＰの一形態）の表示色（カラーコード）との対応関係を規定する数値テーブルである。色相相関値テーブルＨＣＴ及び彩度相関値テーブルＳＣＴについては後述する。

［基本処理Ｓ１］
次に、画像処理回路２２０が行う処理について説明する。
図４は、画像処理回路２２０が行う処理の手順を示すフローチャートである。ＡＦＥ１１４から出力されたデジタル信号は、先ず基本処理部２２０ａによって一般的な信号処理（基本処理Ｓ１）が行われて、通常観察画像データＮが生成される。

基本処理Ｓ１には、ＡＦＥ１１４から出力されたデジタル撮像信号を輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒに変換する処理、輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒから原色信号Ｒ、Ｇ、Ｂを分離する原色分離処理、オフセット成分を除去するクランプ処理、欠陥画素の画素値を周囲の画素の画素値を用いて補正する欠陥補正処理、単色の画素値からなる撮像データ（ＲＡＷデータ）をフルカラーの画素値からなる画像データに変換するデモザイク処理（補間処理）、カラーマトリクスを用いて撮像素子の分光特性を補正するリニアマトリクス処理、照明光のスペクトル特性を補正するホワイトバランス処理、空間周波数特性の劣化を補償する輪郭補正等が含まれる。

なお、本実施形態において基本処理部２２０ａが行う処理の全部又は一部をドライバ信号処理回路１１０又は固体撮像素子１０８が行う構成としてもよい。

基本処理部２２０ａによって生成された通常観察画像データＮは、ＴＥ処理部２２１及び信頼性評価部２３０に入力されると共に、画像メモリ２２７の記憶領域Ｐ_ｎに記憶される。

［動作モード判定処理Ｓ２］
次に、画像解析モードに設定されているか否かが判断される（Ｓ２）。本発明の実施形態に係る画像解析モードは、画像データの各画素について色情報を解析し、色情報の解析結果から所定の判定基準に基づいて病変部が写された画素（以下「病変画素」という。）であるか否かを判定して、病変画素を識別表示する動作モードである。判定する病変の種類は、検査内容に応じて選択することができる。以下に説明する例は、炎症性腸疾患（IBD）の病変である炎症（浮腫や易出血性を含む赤変病変）の観察像に特有な色域の画素を抽出して、識別表示するものである。

なお、本実施形態の電子内視鏡装置１は、画像解析モードと通常観察モードの２つの動作モードで動作するように構成されている。動作モードは、電子スコープ１００の操作部１３０やプロセッサ２００の操作パネル２１４に対するユーザ操作によって切り換えられる。通常観察モードに設定されている場合は（Ｓ２：Ｎｏ）、処理はＳ１２へ進む。

［ＴＥ（トーン強調）処理Ｓ３］
画像解析モードが選択されている場合は（Ｓ２：Ｙｅｓ）、次にＴＥ処理部２２１によるＴＥ処理Ｓ３が行われる。ＴＥ処理Ｓ３は、病変の判定精度を上げるために、通常観察画像データＮの各原色信号Ｒ，Ｇ，Ｂに対して非線形なゲイン（利得）を与えるゲイン調整を行い、判定対象の病変に特有の色域（特にその境界部）付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める処理である。具体的には、ＴＥ処理Ｓ３では、各原色信号Ｒ，Ｇ，Ｂに対して、図５に示すような非線形のゲインを与えて原色信号Ｒ´，Ｇ´，Ｂ´（ＴＥ画像データＥ）を取得する処理が行われる。例えば、図５のゲイン曲線は、潰瘍に特徴的な色域の境界領域Ｒ_Ａから、炎症に特徴的な色域の境界領域Ｒ_Ｂにかけて、傾きが急峻になっている。このようなゲイン曲線に従ってゲインを与えることにより、境界領域Ｒ_Ａから境界領域Ｒ_Ｂにかけて原色信号Ｒ´（原色信号Ｒに対してＴＥ処理Ｓ３を施した信号）の実質的なダイナミックレンジを広げることができ、より精密な閾値判定が可能になる。

なお、ＴＥ処理Ｓ３により、炎症部は赤く、潰瘍部は白く、正常部は緑色に色味が変化する。そのため、ＴＥ処理Ｓ３によって生成されたＴＥ画像データＥをモニタ９００に表示した場合、ＴＥ処理Ｓ３前の通常観察画像データＮを表示した場合よりも病変部（炎症部や潰瘍部）を容易に視認することができる。なお、上記のＴＥ処理Ｓ３は、本発明に適用可能な色彩強調処理の一例であり、ＴＥ処理Ｓ３に替えて、色の質、具体的には色相又は彩度（あるいは色度）のコントラストを高める他の種類の色彩強調処理を使用してもよい。

［有効画素判定処理Ｓ４］
ＴＥ処理Ｓ３が完了すると、次にＴＥ画像データＥに対して有効画素判定部２２２による有効画素判定処理Ｓ４が行われる。なお、ＴＥ処理Ｓ３を省略して、通常観察画像データＮに対して有効画素判定処理Ｓ４を行うこともできる。

図６は、有効画素判定処理Ｓ４の手順を示すフローチャートである。有効画素判定処理Ｓ４は、画素値が画像解析に適したものであるか否かを判定する処理であり、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。有効画素判定処理Ｓ４では、まず各画素（ｘ，ｙ）について、ＴＥ画像データＥの原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）から、下記の数式１により補正輝度ｉｎｔ（ｘ，ｙ）が計算される（Ｓ４１）。

なお、計算した補正輝度ｉｎｔ（ｘ，ｙ）の値は、次の適正露出判定処理Ｓ４２に使用される。また、数式１から分かるように、補正輝度ｉｎｔ（ｘ，ｙ）は、原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）の単純平均ではなく、ヒト（術者）の比視感度特性に基づいた加重平均として求められる。

次に、各画素（ｘ，ｙ）について、処理Ｓ４１において計算したＴＥ画像データＥの補正輝度ｉｎｔ（ｘ，ｙ）及び原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）に基づいて、画像解析に適した露出レベルであるか否かを判定する適正露出判定処理Ｓ４２が行われる。適正露出判定処理Ｓ４２では、次の２つの条件（数式２、数式３）の少なくとも一方（或いは、両方）を満たす場合に、適正露出（Ｓ４２：Ｙｅｓ）と判定する。なお、数式２により補正輝度ｉｎｔ（ｘ，ｙ）（全体の光量）の上限値が規定され、数式３により各原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）の下限値が規定されている。

画素（ｘ，ｙ）について、数式２又は数式３（或いは、数式２及び数式３）を満たし、適正露出と判定されると（Ｓ４２：Ｙｅｓ）、有効画素判定部２２２は、メモリ２２９に格納されているフラグテーブルＦＴの画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値を「１」に書き換える（Ｓ４３）。

なお、フラグＦ（ｘ，ｙ）は、０〜２のいずれかのフラグ値をとる。各フラグ値の定義は以下の通りである。
０：画素データ無効
１：正常又は未判定（画素データ有効）
２：病変（炎症）

また、適正露出判定処理Ｓ４２において、数式２、数式３のいずれの条件も（或いは、いずれかの条件を）満たさず、露出不適正と判定されると（Ｓ４２：Ｎｏ）、有効画素判定部２２２は、フラグＦ（ｘ，ｙ）の値を「０」に書き換える（Ｓ４４）。

次に、処理Ｓ４５では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ４１〜Ｓ４５が繰り返される。

［色空間変換処理Ｓ５］
有効画素判定処理Ｓ４が完了すると、次にＴＥ画像データＥに対して色空間変換部２２３により色空間変換処理Ｓ５が行われる。色空間変換処理Ｓ５は、ＲＧＢ３原色で定義されるＲＧＢ空間の画素値を、色相（Hew）・彩度（Saturation）・輝度（Intensity）の３要素で定義されるＨＳＩ（Heu-Saturation-Intensity）空間の画素値に変換する処理である。具体的には、色空間変換処理Ｓ５において、ＴＥ画像データＥの各画素（ｘ，ｙ）の原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）が、色相Ｈ（ｘ，ｙ），彩度Ｓ（ｘ，ｙ），輝度Ｉ（ｘ，ｙ）に変換される。

また、露出が不足又は過剰な画素（ｘ，ｙ）のデータは精度が低く、解析結果の信頼性を下げてしまう。そのため、色空間変換処理Ｓ５は、フラグＦ（ｘ，ｙ）の値が「１」に設定された（すなわち、上述の有効画素判定処理Ｓ４において適正露出と判定された）画素（ｘ，ｙ）についてのみ行われる。

色空間変換部２２３によって生成された各画素（ｘ，ｙ）の色相Ｈ（ｘ，ｙ）、彩度Ｓ（ｘ，ｙ）及び輝度Ｉ（ｘ，ｙ）からなる判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ），Ｉ（ｘ，ｙ）｝は、病変判定部２２４に入力される。

［病変判定処理Ｓ６］
色空間変換処理Ｓ５が完了すると、次に病変判定部２２４により判定用画像データＪを用いた病変判定処理Ｓ６が行われる。病変判定処理Ｓ６は、内視鏡画像の各画素（ｘ，ｙ）について、判定用画像データＪがＨＳ空間（色相−彩度空間）上の後述する領域α、β（図８）のいずれにプロットされるかによって、その画素に写された生体組織の状態（炎症部であるか否か）を判定する処理である。なお、ＨＳ空間は、色度空間と同様に、色の質（明るさ・輝度を除いた色の要素）を表す空間である。例えば、CIE 1976 L*a*b*色空間等の他の色空間上で画像解析を行う場合には、病変判定部２２４は色度空間（例えばa*b*空間）上で行われる。

図７は、病変判定処理Ｓ６の手順を示すフローチャートである。病変判定処理Ｓ６は、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。病変判定処理Ｓ６では、まず、フラグテーブルＦＴを参照して、各画素（ｘ，ｙ）のデータが有効であるか否かを判断する（Ｓ６１）。フラグＦ（ｘ，ｙ）の値が「１」（画素データ有効）であれば、次に炎症判定処理Ｓ６２を行う。また、フラグＦ（ｘ，ｙ）の値が「０」（画素データ無効）であれば、炎症判定処理Ｓ６２を行わずに、処理Ｓ６４へ進む。

ここで、炎症判定処理Ｓ６２について説明する。図８は、複数の炎症性腸疾患患者の内視鏡画像データから取得した判定用画像データＪをＨＳ空間上にプロットした散布図である。

図８の散布図は、右側下方の破線で囲まれた領域βと、それ以外の領域αとに区分される。本発明者の研究により、炎症性腸疾患の内視鏡診断に熟練した医師によって炎症部と判断された部位の画素の大半が領域βにプロットされ、非炎症部と判断された部位の画素の大半が領域αにプロットされることが判明した。このことは、生体組織を撮像した内視鏡観察画像の色相（色合い）と彩度（鮮やかさ）の２つの情報により、生体組織の状態（炎症の有無）を十分な確度で判別できることを意味している。

炎症判定処理Ｓ６２においては、各画素（ｘ，ｙ）の判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が、図８の領域βにプロットされるか否かが判定される。具体的には、判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝は、以下の数式４及び数式５の両方を満たす場合に、領域βにプロットされる（すなわち炎症部の画素と判定される）。また、判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝は、数式４及び数式５の少なくとも一方を満たさない場合に、領域αにプロットされる（すなわち炎症部の画素ではないと判定される）。なお、δ_Ｓ１、δ_Ｈ１及びδ_Ｈ２は、術者によって設定可能な補正値であり、これらの補正値の設定によって判定の厳しさ（感度）等を適宜調整することができる。

画素（ｘ，ｙ）の判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が領域βにプロットされる場合は（Ｓ６２：Ｙｅｓ）、画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値が「２」（炎症）に書き換えられ（Ｓ６３）、処理Ｓ６４に進む。また、判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が領域βにプロットされない場合は（Ｓ６２：Ｎｏ）、フラグＦ（ｘ，ｙ）は書き換えられずに、処理Ｓ６４に進む。

処理Ｓ６４では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ６１〜Ｓ６４が繰り返される。

［スコア計算：Ｓ７］
病変判定処理Ｓ６が完了すると、次にスコア計算処理Ｓ７が行われる。スコア計算処理Ｓ７は、判定用画像データＪの画素値に基づいて、病変部の重症度の評価値であるスコアＳｃ（ｘ，ｙ）を計算する処理である。スコア計算処理Ｓ７は、全ての画素（ｘ，ｙ）について順次行われる。なお、以下に説明するスコア計算のアルゴリズムは一例であり、本発明は様々なアルゴリズムにより算出したスコアの画面表示に適用することができる。

［スコア計算の原理）］
ここで、本実施形態のスコア計算の原理について簡単に説明する。炎症部は、血管の拡張及び血漿成分の血管外への漏出等を伴い、症状が進行するほど、表面の正常粘膜が脱落するため、血液の色に近付くことが知られている。そのため、炎症部の色と血液の色との相関の程度（後述する相関値ＣＶ）が、炎症部の重症度を示す良い指標となる。本実施形態では、各画素（ｘ，ｙ）の判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝と血液の色（色相、彩度）との相関値ＣＶ（ｘ，ｙ）を計算して、これを炎症部の重症度を示すスコアＳｃ（ｘ，ｙ）として使用する。

［病変部の判定：Ｓ７１］
図９は、スコア計算処理Ｓ７の手順を示すフローチャートである。スコア計算処理Ｓ７では、まずフラグテーブルＦＴが読み出され、画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値が「２」（炎症）であるか否かが判断される（Ｓ７１）。

フラグＦ（ｘ，ｙ）の値が「２」（炎症）である場合、すなわち画素（ｘ，ｙ）が病変画素である場合は（Ｓ７１：Ｙｅｓ）、処理はＳ７２へ進む。また、画素（ｘ，ｙ）が病変画素でない場合は（Ｓ７１：Ｎｏ）、処理はＳ７９へ進む。

［彩度の補正：Ｓ７２］
血液や血液を含有する生体組織の画像の彩度は、輝度に依存することが知られている。具体的には、輝度と彩度は負の相関を有し、明るいほど彩度が低下する。Ｓ７２では、本発明者が開発した以下の補正式（数式６）を使用して、判定用画像データＪ（ｘ，ｙ）の輝度Ｉ（ｘ，ｙ）による彩度Ｓ（ｘ，ｙ）の変動が補正される。この補正により、スコア計算の精度を高めることができる。

但し、
I_corr.(x,y)：判定用画像データJの補正後の輝度
S_corr.(x,y)：判定用画像データJの補正後の彩度
I_ref：基準値となる血液サンプルデータの輝度
S_ref：基準値となる血液サンプルデータの彩度
θ：血液サンプルデータの輝度値と彩度値との相関係数（cosθ）を与える角度
なお、血液サンプルの彩度と輝度の相関係数（実測値）は−０．８６であり、θ＝１４９．３２（ｄｅｇ）が適用される。

［色相距離Ｄ_ＨＵＥの計算：Ｓ７３］
次に、数式７により、色相距離Ｄ_ＨＵＥ（ｘ，ｙ）が計算される（Ｓ７３）。色相距離Ｄ_ＨＵＥは、血液サンプルデータの色相Ｈ_refを基準とした、判定用画像データＪ（ｘ，ｙ）の色相の相対値である。

［色相相関値ＨＣＶの決定：Ｓ７４］
次に、色相距離Ｄ_ＨＵＥ（ｘ，ｙ）から色相相関値ＨＣＶ（ｘ，ｙ）が決定される（Ｓ７４）。色相相関値ＨＣＶ（ｘ，ｙ）は、炎症部の重症度と強い相関を有するパラメーターである。図１０（ａ）は、色相距離Ｄ_ＨＵＥと色相相関値ＨＣＶとの関係を図示したグラフである。色相距離Ｄ_ＨＵＥは、±３０°以内の範囲（以下「色相近似範囲Ｒ_１１」という。）において、炎症部の重症度と強い相関を有し、それ以外の範囲（以下「色相近似外範囲Ｒ_１２」という。）においては殆ど相関を有しない。そのため、本実施形態の色相相関値ＨＣＶ（ｘ，ｙ）は、色相近似外範囲Ｒ_１２においては最小値の０．０に設定され、色相近似範囲Ｒ_１１においては色相距離Ｄ_ＨＵＥ（ｘ，ｙ）が０°に近づくほど線形的に増加するように設定されている。また、色相相関値ＨＣＶ（ｘ，ｙ）は、最小値が０．０、最大値が１．０となるように規格化されている。

図１０（ａ）に示す色相距離Ｄ_ＨＵＥと色相相関値ＨＣＶとの関係は、色相相関値テーブルＨＣＴとしてメモリ２２９に格納されている。色相相関値テーブルＨＣＴを参照することにより、色相距離Ｄ_ＨＵＥ（ｘ，ｙ）に対応する色相相関値ＨＣＶ（ｘ，ｙ）が取得される。

［彩度距離Ｄ_ＳＡＴの計算：Ｓ７５］
次に、数式８により、彩度距離Ｄ_ＳＡＴ（ｘ，ｙ）が計算される（Ｓ７５）。彩度距離Ｄ_ＳＡＴ（ｘ，ｙ）は、血液サンプルデータの彩度Ｓ_refを基準とする、判定用画像データＪ（ｘ，ｙ）の彩度の相対値である。

［彩度相関値ＳＣＶの決定：Ｓ７６］
次に、彩度距離Ｄ_ＳＡＴ（ｘ，ｙ）から彩度相関値ＳＣＶ（ｘ，ｙ）が決定される（Ｓ７６）。彩度相関値ＳＣＶ（ｘ，ｙ）も、炎症部の重症度と強い相関を有するパラメーターである。図１０（ｂ）は、彩度距離Ｄ_ＳＡＴと彩度相関値ＳＣＶとの関係を図示したグラフである。彩度距離Ｄ_ＳＡＴは、所定値以上の負の範囲（以下、「彩度近似範囲Ｒ_２２」という。）において、炎症部の重症度と強い相関を有し、負の所定値以下の範囲（以下「彩度近似外範囲Ｒ_２３」という。）においては殆ど相関を有しない。また、彩度距離Ｄ_ＳＡＴがゼロ以上の範囲、すなわち、病変画素の彩度が血液サンプルデータの彩度Ｓ_ref以上となる範囲（以下「彩度一致範囲Ｒ_２１」という。）においては、重症度が極めて高いと考えられる。そのため、本実施形態の彩度相関値ＳＣＶ（ｘ，ｙ）は、彩度一致範囲Ｒ_２１において最大値の１．０に設定され、彩度近似外範囲Ｒ_２３において最小値の０．０に設定され、彩度近似範囲Ｒ_２２において線形的に増加するように設定されている。また、彩度相関値ＳＣＶ（ｘ，ｙ）も、最小値が０．０、最大値が１．０となるように規格化された値である。

図１０（ｂ）に示す彩度距離Ｄ_ＳＡＴと彩度相関値ＳＣＶとの関係は、彩度相関値テーブルＳＣＴとしてメモリ２２９に格納されている。彩度相関値テーブルＳＣＴを参照することにより、彩度距離Ｄ_ＳＡＴ（ｘ，ｙ）に対応する彩度相関値ＳＣＶ（ｘ，ｙ）が取得される。

［相関値ＣＶの計算：Ｓ７７］
次に、色相相関値ＨＣＶ（ｘ，ｙ）と彩度相関値ＳＣＶ（ｘ，ｙ）との乗算により、病変画素（ｘ，ｙ）の色と血液の色との相関値ＣＶ（ｘ，ｙ）を得る。なお、相関値ＣＶ（ｘ，ｙ）も、最小値が０．０、最大値が１．０となるように規格化された値となる。また、相関値ＣＶ（ｘ，ｙ）は、０．１ポイント刻みで１１段階に区分される。

［スコアＳｃ更新：Ｓ７８］
また、相関値ＣＶ（ｘ，ｙ）は炎症の重症度の良い指標となるため、スコアテーブルＳＴのスコアＳｃ（ｘ，ｙ）の値が相関値ＣＶ（ｘ，ｙ）によって書き換えられる（Ｓ７８）。

［スコアＳｃ更新：Ｓ７９］
また、画素（ｘ，ｙ）が病変画素でない場合は（Ｓ７１：Ｎｏ）、上述した相関値ＣＶ（ｘ，ｙ）の計算を行わずに、スコアテーブルＳＴのスコアＳｃ（ｘ，ｙ）の値が「０」に書き換えられる（Ｓ７９）。これにより、少ない計算量で全ての画素（ｘ，ｙ）に対してスコアＳｃ（ｘ，ｙ）を与えることができる。

処理Ｓ８０では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ７１〜Ｓ８０が繰り返される。

［信頼性評価：Ｓ８］
スコア計算処理Ｓ７の後、信頼性評価部２３０による信頼性評価処理Ｓ８が行われる。

ここで、本発明の実施形態に係る信頼性評価処理Ｓ８の概要について説明する。上述のように、スコアＳｃ（ｘ，ｙ）は、ＴＥ画像ＥＰの色情報に基づいて計算される。そのため、スコアＳｃ（ｘ，ｙ）の精度は、ＴＥ画像ＥＰの色情報の精度に依存し、色情報の精度が低い画素値から算出されたスコアＳｃ（ｘ，ｙ）は精度の低いものとなる。

一般に、カラー画像の色は、輝度が中程度の時に最も鮮やかに（色情報が多く）なり、輝度が低くなるほど、また輝度が高くなるほど、彩度が低下（色情報が減少）する。すなわち、カラー画像の色情報の精度は、輝度の影響を受ける。輝度が高過ぎる場合（典型的には、ハレーションが発生した場合）や、逆に輝度が低過ぎる場合には、カラー画像の彩度が著しく低下し、カラー画像に写された被写体の色情報の精度も顕著に低下する。また、色情報の精度は、カラーチャンネル（色成分）の飽和（色成分の値が最大値又は略最大値を取ること）によっても低下する。

なお、本明細書において、カラーチャンネルとは、カラー画像の画素値の各色成分（例えば、ＲＧＢカラー画像におけるＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ））、又は、色成分の一つから構成されるグレースケール画像をいう。

精度（信頼性）の低いスコアＳｃ（ｘ，ｙ）は、診断の妨げとなり得るため、ユーザ（医療従事者）に提示しないか、或いは信頼性の情報と共にユーザに提示することが望ましい。

そこで、本実施形態の信頼性評価処理Ｓ８では、スコアＳｃ（ｘ，ｙ）の計算に使用された判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ），Ｉ（ｘ，ｙ）｝及びＴＥ画像データＥ｛Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）｝に基づいて、各画素のスコアＳｃ（ｘ，ｙ）の信頼性を評価する（すなわち、内視鏡画像のカラーバランスに基づいて、撮影条件の良否を判定する）。

図１１は、信頼性評価処理Ｓ８の手順を説明するフローチャートである。信頼性評価処理Ｓ８は、全ての画素（ｘ，ｙ）について順次行われる。

［低輝度判定：Ｓ８１］
信頼性評価処理Ｓ８では、まず、低輝度であるか否かを判定する低輝度判定処理Ｓ８１が行われる。具体的には、輝度Ｉ（ｘ，ｙ）の値が所定の低輝度基準値（例えば０．３）を下回るか否かが判定される。輝度Ｉ（ｘ，ｙ）の値が低輝度基準値を下回る場合には（Ｓ８１：Ｙｅｓ）、色情報の精度が過度に低い暗部である可能性があるため、続いて色相判定処理Ｓ８２が行われる。また、輝度Ｉ（ｘ，ｙ）の値が低輝度基準値以上である場合には（Ｓ８１：Ｎｏ）、次に高輝度判定処理Ｓ８４が行われる。

（色相判定：Ｓ８２・暗部登録：Ｓ８３）
色相判定処理Ｓ８２では、色相Ｈ（ｘ，ｙ）の値が所定の正常範囲内（例えば６０〜２７０°）であるか否かが判定される。この正常範囲は、赤い色合いの通常の内視鏡画像の色相の分布範囲である。色相Ｈ（ｘ，ｙ）の値が正常範囲内に無い場合（すなわち、色合いが赤色から外れる場合）、低輝度のために色相Ｈ（ｘ，ｙ）の精度が著しく低下していると考えられる。そのため、色相Ｈ（ｘ，ｙ）の値が６０°未満又は２７０°を超える場合は（Ｓ８２：Ｎｏ）、その画素（ｘ，ｙ）を「暗部」の画素と判定し、信頼性情報テーブルＣＴに「暗部」の判定結果を登録する暗部登録が行われる（Ｓ８３）。

また、色相Ｈ（ｘ，ｙ）の値が６０°以上かつ２７０°以下の正常範囲内であれば（Ｓ８２：Ｙｅｓ）、次に高輝度判定処理Ｓ８４が行われる。

以上のように、低輝度判定処理Ｓ８１及び色相判定処理Ｓ８２を通じて、その画素（ｘ，ｙ）が「暗部」の画素であるか否かが判定される。

［高輝度判定：Ｓ８４］
高輝度判定処理Ｓ８４では、高輝度の画素であるか否かが判定される。具体的には、輝度Ｉ（ｘ，ｙ）の値が所定の高輝度基準値（例えば０．８）を上回るか否かが判定される。輝度Ｉ（ｘ，ｙ）の値が高輝度基準値を上回る場合には（Ｓ８４：Ｙｅｓ）、色情報の精度が過度に低いハレーション部である可能性があるため、続いて彩度判定処理Ｓ８５が行われる。また、輝度Ｉ（ｘ，ｙ）の値が高輝度基準値以下である場合には（Ｓ８４：Ｎｏ）、次に処理Ｓ８６が行われる。

［彩度判定：Ｓ８５・ハレーション登録：Ｓ８７］
彩度判定処理Ｓ８５では、彩度Ｓ（ｘ，ｙ）の値が所定の正常範囲内（例えば０．３〜０．７）であるか否かが判定される。この正常範囲は、通常の内視鏡画像の彩度の分布範囲である。彩度Ｓ（ｘ，ｙ）の値が正常範囲内に無ければ、高輝度のために彩度Ｓ（ｘ，ｙ）の精度が著しく低下していると考えられる。そのため、彩度Ｓ（ｘ，ｙ）の値が０．３未満又は０．７を超える場合には（Ｓ８５：Ｎｏ）、その画素（ｘ，ｙ）を「ハレーション」の画素（すなわち、ハレーションが生じている部分の画素）と判定し、信頼性情報テーブルＣＴに「ハレーション」の判定結果を登録するハレーション登録が行われる（Ｓ８７）。

また、彩度Ｓ（ｘ，ｙ）の値が０．３以上かつ０．７以下の正常範囲内であれば（Ｓ８５：Ｙｅｓ）、次に処理Ｓ８６が行われる。

［カラーチャンネル飽和判定：Ｓ８６・飽和カラーチャンネル数登録］
処理Ｓ８６では、ＴＥ画像データＥにおける飽和しているカラーチャンネルの数を検出し、全てのカラーチャンネルが飽和しているか否かが判定される。具体的には、ＴＥ画像データＥの要素Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）の全てが、飽和基準値（例えば２２０）を上回るか否かが判定される。全ての要素Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）が飽和基準値を上回る場合には（Ｓ８６：Ｙｅｓ）、その画素（ｘ，ｙ）を「ハレーション」の画素と判定し、信頼性情報テーブルＣＴに判定結果を登録する（Ｓ８７）。

また、ＴＥ画像データＥの要素Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）の少なくとも一つが飽和基準値以下であれば（Ｓ８６：Ｎｏ）、飽和したカラーチャンネルの数を信頼性情報テーブルＣＴに記録する（Ｓ８８）。

全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ８１〜Ｓ８８が繰り返される（Ｓ８９）。

［マーキング：Ｓ９］
次に、スコアＳｃ（ｘ，ｙ）に基づいて、ＴＥ画像データＥ（又は通常観察画像ＮＰ）上に病変部の位置や重症度を示す印を付すマーキング処理Ｓ９が行われる。

図１２は、マーキング処理Ｓ９の手順を示すフローチャートである。

［スコア信頼度計算：Ｓ９１］
マーキング処理Ｓ９では、まず、スコア信頼度ＳＲを計算するスコア信頼度計算処理Ｓ９１が行われる。

なお、以下に説明する本実施形態のスコア信頼度計算処理Ｓ９１はＴＥ画像データＥに基づいて行われるが、通常観察画像データＮに基づいてスコア信頼度計算処理Ｓ９１を行う構成としてもよい。例えば、スコア計算処理Ｓ７が通常観察画像データＮの色空間変換処理Ｓ５によって得られた判定用画像データＪに基づく場合に、スコア信頼度計算処理Ｓ９１が通常観察画像データＮに基づいて行われる。

スコア信頼度ＳＲは、一定の信頼性が認められるスコアＳｃ（ｘ，ｙ）を有する画素（ｘ，ｙ）の割合として、数式９により計算される。すなわち、スコア信頼度ＳＲは、ＴＥ画像ＥＰの全画素数に対する、信頼性評価処理Ｓ８において暗部登録Ｓ８３もハレーション登録Ｓ８７もされていない画素の数の割合として計算される。

但し、
N_EP：ＴＥ画像ＥＰの全画素数
N_dark：ＴＥ画像ＥＰの暗部登録Ｓ８３された画素数
N_halation：ＴＥ画像ＥＰのハレーション登録Ｓ８７された画素数

［マーキング画像生成：Ｓ９２］
スコア信頼度計算処理Ｓ９１に続いて、マーキング画像ＭＰを生成するマーキング画像生成処理Ｓ９２が行われる。
図１３は、マーキング画像生成処理Ｓ９２の手順を示すフローチャートである。
図１４は、マーキング画像生成処理Ｓ９２で生成されるマーキング画像ＭＰ（正確には、ＴＥ画像ＥＰ上にマーキング画像ＭＰがオーバーレイ合成処理された合成画像ＣＰ）である。

マーキング画像生成処理Ｓ９２では、ＴＥ画像ＥＰのスコア信頼度ＳＲに応じて、５種類のマーキング画像ＭＰが生成される（Ｓ９２１〜Ｓ９２８）。更に、生成されたマーキング画像ＭＰをＴＥ画像ＥＰ上にオーバーレイ合成処理した合成画像ＣＰが生成される（Ｓ９２９）。

なお、本実施形態のマーキング画像生成処理Ｓ９２では、ＴＥ画像ＥＰ上にマーキング画像ＭＰがオーバーレイ合成処理されるが、通常観察画像ＮＰ上にマーキング画像ＭＰをオーバーレイ合成処理する構成としてもよい。

スコアＳｃ（ｘ，ｙ）の信頼性が過度に低い画素（ｘ，ｙ）（すなわち、一定の信頼性が認められない画素）がＴＥ画像ＥＰの画素のほとんどを占め、スコア信頼度ＳＲが極めて低い（例えば、スコア信頼度ＳＲが２５％未満である）場合には（Ｓ９２１：Ｙｅｓ）、十分に有用なマーキング画像ＭＰを生成することができないため、マーキング画像ＭＰは生成されない。

このとき、画像生成処理Ｓ９２９では、空のマーキング画像ＭＰがＴＥ画像ＥＰ上にオーバーレイ合成処理される。すなわち、図１４（ａ）に示されるように、印が付されていないＴＥ画像ＥＰがそのまま合成画像ＣＰとして記憶領域Ｐ_ｃに記憶される。

［第１種簡易マーキング処理：Ｓ９２３］
また、信頼度が比較的に低い（例えば、スコア信頼度ＳＲが２５％以上〜５０％未満）場合には（Ｓ９２２：Ｙｅｓ）、図１４（ｂ−１）に示されるように、最大スコアＳｃの画素上に所定の印（例えば▲記号）を付したマーキング画像ＭＰを生成して記憶領域Ｐ_ｍに記憶させる第１種簡易マーキング処理Ｓ９２３が行われる。この構成によれば、ユーザは、最も重症度の高い箇所（病変部の中心付近である場合が多い）を確実に把握することができる。

第１種簡易マーキング処理Ｓ９２３では、予め定められた符号（文字、数字、記号）や図形が印として付される。また、印の重心が、最大スコアＳｃの画素（又は、最大スコアＳｃの画像領域の重心）と一致するように印が付される。なお、最大スコアＳｃの値に応じて、印の色や大きさや種類を変更する構成としてもよい。この構成により、ユーザは、重症度も直観的に把握することができる。

図１４（ｂ−２）は、第１種簡易マーキング処理Ｓ９２３が生成するマーキング画像ＭＰの変形例である。この変形例では、所定の閾値以上のスコアＳｃ（ｘ，ｙ）を有する画素（ｘ，ｙ）上に、スコアＳｃ（ｘ，ｙ）に応じた大きさを有する複数の所定の印（×印）が付される。また、印が識別できるように、印は互いに重なり合わないように付される。この構成によれば、重症度の高い領域の位置及び分布（形状）を容易に把握することができる。

［第２種簡易マーキング処理：Ｓ９２５］
また、信頼度が比較的に高い（例えば、スコア信頼度ＳＲが５０％以上〜７５％未満）場合には（Ｓ９２４：Ｙｅｓ）、図１４（ｃ−１）、（ｃ−２）に示されるように、スコアＳｃ（ｘ，ｙ）の高い領域を囲むような印を付したマーキング画像ＭＰを生成する、第２種簡易マーキング処理Ｓ９２５が行われる。なお、図１４（ｃ−１）は、スコアＳｃ（ｘ，ｙ）が高い領域を囲むように配列された複数の符号や図形（例えば矢印）からなる印を付した例であり、図１４（ｃ−２）は、スコアＳｃ（ｘ，ｙ）が高い領域を囲む環状の印を付した例である。

（カラーマッピング処理：Ｓ９２８）
また、信頼度が極めて高く（例えば、スコア信頼度ＳＲが７５％以上）（Ｓ９２４：Ｎｏ）、スコアＳｃ（ｘ，ｙ）の信頼性が過度に低い画素（ｘ，ｙ）が局在していない場合には（Ｓ９２６：Ｎｏ）、カラーマッピング処理Ｓ９２８（全体カラーマッピング処理）が行われる。カラーマッピング処理Ｓ９２８では、図１４（ｄ）に示されるように、病変部の画素をスコアＳｃ（ｘ，ｙ）に応じた色で着色したカラーマップ画像がマーキング画像ＭＰとして生成される。
０１３６

カラーマッピング処理Ｓ９２８では、先ず、メモリ２２９に格納された表示色テーブルＤＣＴが参照され、スコアＳｃ（ｘ，ｙ）に基づいて各画素（ｘ，ｙ）に適用される表示色Ｃｏｌ（ｘ，ｙ）が決定される。次いで、表示色Ｃｏｌ（ｘ，ｙ）を画素値とするカラーマップ画像データＭ（マーキング画像ＭＰ）が生成され、画像メモリ２２７の記憶領域Ｐ_ｍに記憶される。

なお、表示色テーブルＤＣＴは、スコアＳｃ（ｘ，ｙ）とカラーマップ画像の表示色Ｃｏｌ（ｘ，ｙ）を定義するカラーコードとの対応関係を規定する数値テーブルである。表示色テーブルＤＣＴの一例を表１に示す。表示色は、１１段階のスコアＳｃ（ｘ，ｙ）毎に異なる色が設定される。なお、スコアＳｃ（ｘ，ｙ）の値がゼロ（正常組織）の画素（ｘ，ｙ）に対しては、無色透明を示す空の値（null値）が与えられるため、正常組織の画素はカラーマッピング処理Ｓ９２８によって着色されない。また、各画素（ｘ，ｙ）に付すべき色の指定は、ＲＧＢによる指定に限らず、他の色表現（例えば、色相及び／又は彩度）によって指定することもできる。

図１４（ｅ）は、カラーマップ画像の変形例である。この変形例は、輝度情報のみを有する無彩色で構成されたグレースケールのカラーマップ画像である。例えば、スコア信頼度ＳＲが低い場合に、図１４（ａ）〜（ｃ−２）のマーキング画像ＭＰに替えて、本変形例のカラーマップ画像を表示してもよい。無彩色とすることで、ユーザはスコア信頼度ＳＲが低いことを直感的に把握することができ、尚且つ、重症度に関する詳細な情報を得ることができる。

また、カラーマッピング処理Ｓ９２８において、例えばスコアＳｃ（ｘ，ｙ）の信頼性の有無に応じて２種類の表示色テーブルＤＣＴ（有彩色カラーテーブルと無彩色カラーテーブル）を使用して、スコアＳｃ（ｘ，ｙ）が一定の信頼性を有する画素（ｘ，ｙ）に対して有彩色によるカラーマッピングを行い、スコアＳｃ（ｘ，ｙ）が一定の信頼性を有しない画素（ｘ，ｙ）に対して無彩色によるカラーマッピングを行う構成としてもよい。

［部分カラーマッピング処理：Ｓ９２７］
また、スコア信頼度ＳＲが極めて高く（Ｓ９２４：Ｎｏ）、スコアＳｃ（ｘ，ｙ）の信頼性の過度に低い画素（ｘ，ｙ）が局在している場合には（Ｓ９２６：Ｙｅｓ）、図１４（ｆ）に示されるように、スコアＳｃ（ｘ，ｙ）の信頼性が過度に低い画素（ｘ，ｙ）が局在する領域ＬＣを除いた領域に対してカラーマッピングを行う、部分カラーマッピング処理Ｓ９２７が行われる。領域ＬＣには、信頼性の高いスコアＳｃ（ｘ，ｙ）を有する画素（ｘ，ｙ）も含まれるが、そのような画素の数が少ないため有用なマッピング画像は形成されない。部分カラーマッピング処理Ｓ９２８では、信頼性の高いスコアＳｃ（ｘ，ｙ）を有する画素（ｘ，ｙ）も含めて、領域ＬＣを一括してカラーマッピングの対象外とすることにより、カラーマッピングに必要な計算量を大幅に軽減させることができる。また、領域ＬＣを一括してカラーマッピングの対象外とすることにより、ユーザはスコアＳｃ（ｘ，ｙ）の信頼性の低い領域ＬＣを容易に把握することができる。

［表示画面生成：Ｓ１０］
マーキング処理Ｓ９が完了すると、次に表示画面生成処理Ｓ１０が行われる。表示画面生成処理Ｓ１０は、画像メモリ２２７に記憶された各種画像データを使用して、モニタ９００に表示するための表示画面データを生成する処理であり、画像処理回路２２０の表示画面生成部２２８によって行われる。表示画面生成部２２８は、システムコントローラ２０２の制御に応じて、複数種類の表示画面データを生成することができる。

図１５は、表示画面生成処理Ｓ１０によって生成される表示画面の一例であり、画像解析モードでの内視鏡観察中に表示される解析モード観察画面３２０である。解析モード観察画面３２０は、撮影日時が表示される日時表示領域３２１と、検査に関連する基本的な情報（例えば、患者の識別番号、年齢、性別や担当医師名）を表示する基本情報表示領域３２２と、マーキング画像ＭＰ及び／又はＴＥ画像ＥＰ（若しくは通常観察画像ＮＰ）を表示する画像表示領域３２３と、解析精度（信頼性評価処理Ｓ８による評価結果）に関する情報を表示する解析精度情報表示領域３２４を備えている。

解析精度情報表示領域３２４には、スコア信頼度ＳＲの表示３２４ａ、暗部登録Ｓ８３された画素（ｘ，ｙ）の割合の表示（暗部割合表示）３２４ｂ、ハレーション登録Ｓ８７された画素（ｘ，ｙ）の割合の表示（反射部割合表示）３２４ｃ及び飽和したカラーチャンネルの表示（飽和チャンネル表示）３２４ｄが含まれている。

スコア信頼度ＳＲの表示３２４ａは、スコア信頼度ＳＲの値に応じて、「高」、「中」、「低」の３段階で表示される。例えば、スコア信頼度ＳＲが７５％以上の場合に「高」が表示され、２５％以上〜７５％未満の場合に「中」が表示され、２５％未満の場合に「低」が表示される。

また、スコア信頼度ＳＲの表示３２４ａの色（色相、彩度、輝度の一つ以上）や大きさをスコア信頼度ＳＲの値に応じて変化させてもよい。また、解析モード観察画面３２０（或いは解析精度情報表示領域３２４）の背景色によりスコア信頼度ＳＲを色別表示してもよい。

暗部割合表示３２４ｂは、ＴＥ画像ＥＰの全画素数Ｎ_ＥＰに対する暗部登録Ｓ８３された画素数Ｎ_darkの割合に応じて、「多」、「中」、「少」の３段階で表示される。例えば、暗部登録Ｓ８３された画素数Ｎ_darkの割合が５０％以上の場合に「多」が表示され、１０％以上〜５０％未満の場合に「中」が表示され、１０％未満の場合に「少」が表示される。

反射部割合表示３２４ｃも、暗部割合表示３２４ｂと同様に、ＴＥ画像ＥＰの全画素数Ｎ_ＥＰに対するハレーション登録Ｓ８７された画素数Ｎ_halationの割合に応じて、「多」、「中」、「少」の３段階で表示される。例えば、ＴＥ画像ＥＰの全画素数Ｎ_ＥＰに対するハレーション登録Ｓ８７された画素数Ｎ_halationの割合が５０％以上の場合に「多」が表示され、１０％以上〜５０％未満の場合に「中」が表示され、１０％未満の場合に「少」が表示される。

なお、暗部割合表示３２４ｂ（又は反射部割合表示３２４ｃ）の色（色相、彩度、輝度の一つ以上）や大きさを暗部登録Ｓ８３（又はハレーション登録Ｓ８７）された画素の割合に応じて変化させてもよい。

飽和チャンネル表示３２４ｄには、飽和しているカラーチャンネル（例えば、所定数を超える画素で飽和が生じているもの）が表示される。例えば、飽和しているカラーチャンネルを示す記号（例えば、文字「Ｒ」、「Ｇ」、「Ｂ」）又は図形が、当該カラーチャンネルと同じ色相（例えば、Ｒチャンネルならば赤色）で、彩度及び輝度が高い色で表示される。また、飽和していないカラーチャンネル（例えばＢチャンネル）を示す記号（例えば文字「Ｂ」）は、表示されないか、或いは、例えば輝度の低い無彩色（例えばグレー）で目立たないように表示される。また、飽和している（又は、飽和していない）カラーチャンネルの表示には、記号等を使用せず、単なる色別表示を行ってもよい。

表示画面生成処理Ｓ１２において、表示画面生成部２２８は、画像メモリ２２７の記憶領域群Ｐ_ｍからマーキング画像データＭを読み出し、及び／又は、記憶領域群Ｐ_ｅからＴＥ画像データＥ（若しくは、記憶領域群Ｐ_ｎから通常観察画像データＮ）を読み出し、画像表示領域３２３に表示する。また、日時表示領域３２１及び基本情報表示領域３２２には、システムコントローラ２０２から提供された情報が表示される。

［出力処理：Ｓ１１］
表示画面生成処理Ｓ１０により生成された表示画面データは、出力回路２２０ｂにより、ガンマ補正等の処理が行われた後、所定のビデオ・フォーマットのビデオ信号に変換され、モニタ９００に出力される（出力処理Ｓ１１）。

術者は、解析モード観察画面３２０を見ながら内視鏡観察を行う。具体的には、画像表示領域３２３に表示されるマーキング画像ＭＰを見ながら内視鏡観察を行う。マーキング画像ＭＰにおいてマーキングされた部位について特に慎重に観察を行うことで、病変部を見落とすことなく、正確な診察を行うことができる。

表示画面生成処理Ｓ１０及び出力処理Ｓ１１が完了すると、次に、内視鏡観察を継続するか否かが判断される（Ｓ１２）。プロセッサ２００の操作パネル２１４に対して、内視鏡観察終了又は電子内視鏡装置１の運転停止を指示するユーザ操作が行われる（Ｓ１２：Ｎｏ）まで、上記の処理Ｓ１〜Ｓ１１が繰り返される。

［第２実施形態］
次に、本発明の第２実施形態について説明する。
図１６は、第２実施形態のマーキング画像ＭＰ２（カラーマップ画像）である。

本実施形態のカラーマッピング処理では、信頼性情報テーブルＣＴを参照して、カラーチャンネルの飽和が生じている画素については、表１に示される表示色テーブルＤＣＴに基づく着色は行われず、飽和したカラーチャンネル数に応じた輝度情報を有する無彩色（すなわちグレースケール）に着色される。本実施形態では、飽和したカラーチャンネル数が多いほど高い輝度が与えられる。図１６のマーキング画像ＭＰ２において、領域ＭＰ２１は１つのカラーチャンネルで飽和が生じている領域であり、領域ＭＰ２２は２つのカラーチャンネルで飽和が生じている領域であり、領域ＭＰ２３は３つのカラーチャンネルで飽和が生じている領域である。

なお、カラーチャンネルの飽和が生じておらず、且つ、暗部登録Ｓ８３もハレーション登録Ｓ８７も成されていない画素については、表１に従って重症度に応じたカラーマッピングが行われる。重症度を示すカラーマップは彩度が大きい色から構成されるため、カラーチャンネルの飽和数を示す無彩色のカラーマップと混在しても、両者を容易に識別することができる。

また、ハレーション登録Ｓ８７された画素を、領域ＭＰ２３と同じ色（又は、領域ＭＰ２３よりも明るい無彩色）で着色する構成としてもよい。また、暗部登録Ｓ８３された画素を、領域ＭＰ２１よりも暗い無彩色で着色する構成としてもよい。

なお、上記の実施形態は、本発明を電子内視鏡装置に適用した例であるが、本発明はこの構成に限定されない。例えば、電子内視鏡装置によって撮影された内視鏡観察映像を再生する映像再生装置に本発明を適用することができる。また、内視鏡画像以外の観察画像（例えば、通常のビデオカメラにより撮影した体表の観察画像や、手術中の体内の観察画像）の解析にも本発明を適用することができる。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。

１ 電子内視鏡装置
１００ 電子スコープ
２００ 電子内視鏡用プロセッサ
２２０ 画像処理回路
２２０ａ 基本処理部
２２１ ＴＥ処理部
２２２ 有効画素判定部
２２３ 色空間変換部
２２４ 病変判定部
２２５ スコア計算部
２２６ マーキング処理部
２２７ 画像メモリ
２２８ メモリ
２２９ 表示画面生成部
２２０ｂ 出力回路
２３０ 信頼性評価部
９００ モニタ

Claims (9)

1. 生体組織を撮影した画像データを取得する画像データ取得手段と、
   前記画像データに基づき、該画像データが表す画像に写された前記生体組織の病変の重症度を示すスコアを画素毎に計算するスコア計算手段と、
   前記画像データに基づいて前記スコアの信頼性を評価する信頼性評価手段と、
   を備え、
   前記画像データに基づいて前記スコアの信頼性を評価することは、
   前記画像のカラーバランスに基づいて、前記スコアが計算された各画素より構成される該画像の全体での撮影条件の良否を判定することである、
   画像処理装置。
2. 前記信頼性評価手段は、
   前記各画素の輝度、色相、彩度、カラーチャンネルの飽和状態、の少なくとも１つに基づいて、前記画像の全体での撮影条件の良否を判定する、
   請求項１に記載の画像処理装置。
3. 前記画像の全体での撮影条件の良否の判定は、
   前記各画素の輝度及び色相に基づいて該各画素がハレーションの画素であるか否かを判定することを含む、
   請求項１又は請求項２に記載の画像処理装置。
4. 前記画像の全体での撮影条件の良否の判定は、
   前記各画素の彩度とカラーチャンネルでの飽和状態の少なくとも一方と、該各画素の輝度に基づいて、該各画素が暗部の画素であるか否かを判定することを含む、
   請求項１から請求項３のいずれか一項に記載の画像処理装置。
5. 前記画像データの画素値をＨＳＩ（Heu-Saturation-Intensity）空間の画素値に変換する色空間変換手段を備え、
   前記画像の全体での撮影条件の良否の判定は、
   前記色空間変換手段から出力された各画素の輝度に基づいて該各画素のスコアの信頼性を評価することを含む、
   請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. 前記画像の全体での撮影条件の良否の判定は、
   画素値に基づきいずれかのカラーチャンネルが飽和した飽和画素か否かを画素毎に判定することを含む、
   請求項１から請求項５のいずれか一項に記載の画像処理装置。
7. 前記信頼性評価手段は、
   画素値に基づき飽和したカラーチャンネル数を計数し、
   飽和したカラーチャンネル数が所定数以上の画素を前記飽和画素と判定する、
   請求項６に記載の画像処理装置。
8. 前記信頼性評価手段による評価の結果に基づいて画像処理を行う手段
   を備える、
   請求項１から請求項７のいずれか一項に記載の画像処理装置。
9. 前記スコアの信頼性の評価結果を表示する信頼性表示手段を備えた、
   請求項１から請求項８のいずれか一項に記載の画像処理装置。