JP6622295B2 - 画像処理装置、画像処理装置の作動方法及びプログラム - Google Patents

Description

本発明は、内視鏡システムで得た画像信号を処理する画像処理装置、方法、及びプログラムに関する。

医療分野において、生体内の観察対象を撮影する内視鏡システムを利用した検査や診断が広く行われている。内視鏡システムで撮影された内視鏡画像に基づく診断を支援するために、波長帯域が狭い狭帯域などの特殊光によって観察対象を撮影して血管が強調された特殊光画像を取得する特殊光観察の技術や、白色光で撮影された通常画像に対して画像処理を施して観察対象の血管などの構造物が強調された観察画像を生成する画像処理技術も開発されている（特許文献１）。

特許文献１に記載の画像処理装置は、粘膜表面を撮影した通常画像において、血管などの構造物が描出された構造物領域を複数抽出し、抽出した複数の構造物領域を、線や円といった基本パターンに分類して、分類した基本パターン毎に異なる色を割り当てた疑似カラー画像を生成している。基本パターン毎に異なる色を割り当てることで、基本パターンが分布する様子を視覚的に把握できるようにしている（段落００２８）。

粘膜における血管などの構造物の形状的な特徴は、診断を下す際の重要な要素となるため、このような構造物の形状的な特徴の把握を容易にする技術は、非常に有用である。

特許５３２６０６４号公報

しかしながら、白色光で撮影された通常画像は自然色を表すカラー画像（フルカラー画像とも呼ばれる）であるため、これに色を割り当てて疑似カラー画像を生成する方法は、使用できる色に制約があるため、割り当て可能な色の数が少なく、色の割り当ての自由度が低いという問題があった。

消化管の粘膜には、血管や腺管などの複数の構造物がある上、大腸の腺管構造（ピットパターンなどと呼ばれる）だけを考えても、腫瘍の状態に応じて腺管構造は形状的に異なる特徴を示すため、複数種類に分類することができる。こうした形状的な特徴は、白色光で撮影した通常画像では認識しにくい場合がある。そのため、形状的な特徴に応じて異なる色を割り当てて、特徴を視覚的に識別できるようにすることが好ましいが、色の割り当ての自由度が低いと、割り当てる色が不足するため、効果的な色分けができない。

本発明は、構造物の形状的な特徴に応じた色の割り当ての自由度が高い内視鏡画像の画像処理装置、方法及びプログラムを提供することを目的とする。

本発明の画像処理装置は、画像信号取得部、原画像生成部、低減原画像生成部、構造物領域画像生成部、特徴量算出部、色割り当て部、及び画像合成部を備えている。画像信号取得部は、生体内の観察対象を撮像して得られた画像信号を取得する。原画像生成部は、画像信号に基づいて観察対象がカラーで描出された原画像を生成する。低減原画像生成部は、原画像に対して、色及びコントラストのうち少なくとも１つを低減する加工を施すことにより低減原画像を生成する。構造物領域画像生成部は、取得した画像信号から１つ以上の構造物領域を抽出した構造物領域画像を生成する。特徴量算出部は、構造物領域画像に基づいて構造物領域の形状的な特徴量を算出する。色割り当て部は、構造物領域に特徴量に応じた色を割り当てる。画像合成部は、低減原画像に、色割り当て部によって構造物領域に色を割り当てた構造物領域画像を重畳して合成画像を生成する。

色割り当て部は、構造物領域に割り当てる色を、特徴量に応じて段階的又は連続的に変化させることが好ましい。

構造物領域画像生成部は、第１構造物領域を表す第１構造物領域画像と、第２構造物領域を表す第２構造物領域画像とを生成することが好ましい。

色割り当て部は、第１構造物領域画像と第２構造物領域画像のそれぞれに対して異なる色を割り当てることが好ましい。

画像合成部は、合成画像として、第１構造物領域画像と低減原画像を合成した第１合成画像と、第２構造物領域画像と低減原画像を合成した第２合成画像とを生成することが好ましい。

画像合成部は、合成画像として、第１構造物領域画像、第２構造物領域画像及び低減原画像の３つの画像を合成した第３合成画像を生成することが好ましい。

画像合成部は、第１合成画像と第２合成画像のそれぞれに対して共通の低減原画像を使用することが好ましい。

低減原画像生成部は、異なる処理を施した第１低減原画像及び第２低減原画像を生成し、画像合成部は、第１合成画像には第１低減原画像を使用し、第２合成画像には第２低減原画像を使用することが好ましい。

色割り当て部は、特徴量の複数の項目を、３次元の色空間上における３軸のいずれかに対応させ、かつ、特徴量の各項目の具体的な値に応じて色空間上の位置を判定して、色を決定することが好ましい。

色割り当て部は、特徴量に応じて色空間上の位置を判定する際に、ガンマ変換を行うことが好ましい。

合成画像を表示画面に表示する制御を行う表示制御部を備えていることが好ましい。

表示画面において、原画像と、合成画像とを、並列的または選択的に表示可能であることが好ましい。

表示制御部は、表示画面をマルチモニタに出力可能であることが好ましい。

本発明の画像処理装置の作動方法は、画像信号取得ステップ、構造物領域画像生成ステップ、特徴量算出ステップ、色割り当てステップ、及び画像合成ステップを備える。画像信号取得ステップは、画像信号取得部が、生体内の観察対象を撮像して得られた画像信号を取得する。構造物領域画像生成ステップは、構造物領域画像生成部が、取得した画像信号から１つ以上の構造物領域を抽出した構造物領域画像を生成する。特徴量算出ステップは、特徴量算出部が、構造物領域画像に基づいて構造物領域の形状的な特徴量を算出する。色割り当てステップは、色割り当て部が、構造物領域に特徴量に応じた色を割り当てる。画像合成ステップは、画像合成部が、画像信号に基づいて観察対象がカラーで描出された原画像に対して、色及びコントラストのうち少なくとも１つを低減する加工を施した低減原画像に、色割り当て部によって構造物領域に色を割り当てた構造物領域画像を重畳して合成画像を生成する。

本発明のコンピュータを画像処理装置として機能させるための画像処理プログラムは、画像信号取得ステップ、構造物領域画像生成ステップ、特徴量算出ステップ、色割り当てステップ、及び画像合成ステップを備える。画像信号取得ステップは、生体内の観察対象を撮像して得られた画像信号を取得する。構造物領域画像生成ステップは、取得した画像信号から１つ以上の構造物領域を抽出した構造物領域画像を生成する。特徴量算出ステップは、構造物領域画像に基づいて構造物領域の形状的な特徴量を算出する。色割り当てステップは、構造物領域に特徴量に応じた色を割り当てる。画像合成ステップは、画像信号に基づいて観察対象がカラーで描出された原画像に対して、色及びコントラストのうち少なくとも１つを低減する加工を施した低減原画像に、色割り当て部によって構造物領域に色を割り当てた構造物領域画像を重畳して合成画像を生成する。

本発明によれば、構造物の形状的な特徴に応じた色の割り当ての自由度が高い内視鏡画像の画像処理装置、方法及びプログラムを提供することができる。

内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの発光スペクトルを示すグラフである。 特殊画像処理部の機能を示すブロック図である。 特殊画像処理の説明図である。 血管領域の特徴量を算出する処理の説明図である。 図６とは別の血管領域の特徴量を算出する処理の説明図である。 腺管領域の特徴量を算出する処理の説明図である。 血管用色割り当てテーブルの説明図である。 腺管用色割り当てテーブルの説明図である。 血管領域に対する色割り当て処理の説明図である。 腺管領域に対する色割り当て処理の説明図である。 特徴量の変化に対して連続的に色を変化させる例のグラフである。 特徴量の変化に対して段階的に色を変化させる例のグラフである。 血管領域を強調した合成画像の表示画面の説明図である。 腺管領域を強調した合成画像の表示画面の説明図である。 特殊画像処理手順を示すフローチャートである。 第２実施形態の特殊画像処理の説明図である。 第２実施形態の合成画像の表示画面の説明図である。 第３実施形態の特殊画像処理の説明図である。 ガンマ変換を使用する色割り当て処理の説明図である。 色分けしたマークを使用する表示形態の説明図である。 図２２とは別形状のマークを使用する表示形態の説明図である。 マルチモニタを使用する形態の説明図である。

「第１実施形態」
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は光源装置１４と光学的に接続されるとともに、プロセッサ装置１６と電気的に接続される。内視鏡１２は、生体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられる湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作に伴って、先端部１２ｄが所望の方向に向けられる。

また、操作部１２ｂには、アングルノブ１２ｅの他、モード切替ＳＷ（Switch）１３ａ、ズーム操作部１３ｂが設けられている。モード切替ＳＷ１３ａは、通常観察モードと、特殊観察モードの２種類のモード間の切り替え操作に用いられる。通常観察モードは、通常画像をモニタ１８上に表示するモードである。特殊観察モードは、通常画像に加えて特殊画像をモニタ１８上に表示するモードである。なお、観察モードとして、２種類以上のモードを用意してもよい。また、特殊観察モードは、通常画像を表示せずに特殊画像のみを表示してもよい。

通常画像は、照明光として白色光が用いられて撮影されるカラー画像である。白色光で撮影されたカラー画像は、被写体が自然色で描出され、一般にフルカラー画像とも呼ばれる。ここで、白色光で撮影されるとは、後述するように、白色光を構成する青色成分、緑色成分、赤色成分の少なくとも３色のそれぞれの波長帯域の光を発光する複数の光源を用い、これらを組み合わせて白色光相当の照明光で撮影される場合を含む。また、白色光を構成する青色成分、緑色成分、赤色成分の波長帯域をすべて含む広帯域光で撮影される場合を含むことはもちろんである。

特殊画像は、後述するように、粘膜内の血管や粘膜表面の腺管などが描出された領域である構造物領域が強調された画像である。ズーム操作部１３ｂはズームレンズ４７（図２参照）をテレ位置とワイド位置との間で移動させることによって、モニタ１８に表示中の観察対象を拡大又は縮小する。

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続される。モニタ１８は、画像情報等を出力表示する。コンソール１９は、機能設定等の入力操作を受け付けるUI（User Interface：ユーザーインターフェース）として機能する。なお、プロセッサ装置１６には、画像情報等を記録する外付けの記録部（図示省略）を接続してもよい。

図２に示すように、光源装置１４は、Ｖ−ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ−ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ−ＬＥＤ（Green Light Emitting Diode）２０ｃ、Ｒ−ＬＥＤ（Red Light Emitting Diode）２０ｄ、これら４色のＬＥＤ２０a〜２０ｄの駆動を制御する光源制御部２１、及び４色のＬＥＤ２０a〜２０ｄから発せられる４色の光の光路を結合する光路結合部２３を備えている。光路結合部２３で結合された光は、挿入部１２a内に挿通されたライトガイド（ＬＧ（Light Guide））４１及び照明レンズ４５を介して、生体内に照射される。なお、ＬＥＤの代わりに、LD（Laser Diode）を用いてもよい。

図３に示すように、Ｖ−ＬＥＤ２０ａは、中心波長４０５±１０nm、波長範囲３８０〜４２０nmの紫色光Ｖを発生する。Ｂ−ＬＥＤ２０ｂは、中心波長４６０±１０nm、波長範囲４２０〜５００nmの青色光Ｂを発生する。Ｇ−ＬＥＤ２０ｃは、波長範囲が４８０〜６００nmに及ぶ緑色光Ｇを発生する。Ｒ−ＬＥＤ２０ｄは、中心波長６２０〜６３０nmで、波長範囲が６００〜６５０nmに及ぶ赤色光Ｒを発生する。

光源制御部２１は、通常観察モード及び特殊観察モードのいずれの観察モードにおいても、Ｖ−ＬＥＤ２０ａ、Ｂ−ＬＥＤ２０ｂ、Ｇ−ＬＥＤ２０ｃ、Ｒ−ＬＥＤ２０ｄを点灯する。したがって、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの４色の光が混色した光が、観察対象に照射される。光源制御部２１は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒ間の光量比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなるように、各ＬＥＤ２０ａ〜２０ｄを制御する。

図２に示すように、ライトガイド（ＬＧ）４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されており、光路結合部２３で結合された光を内視鏡１２の先端部１２ｄまで伝搬する。

内視鏡１２の先端部１２ｄには、照明光学系３０aと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、この照明レンズ４５を介して、ライトガイド４１からの光が観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６、ズームレンズ４７、撮像センサ４８を有している。

撮像センサ４８は、観察対象を撮像し、撮像により得られた画像信号を出力する。具体的には、観察対象からの反射光は、対物レンズ４６及びズームレンズ４７を介して、撮像センサ４８に入射する。これにより、撮像センサ４８の撮像面に観察対象の反射像が結像される。撮像センサ４８は、結像した反射像に対応する画像信号を出力する。

撮像センサ４８は、例えば、ＣＣＤ(Charge CoupＬＥＤ Device）撮像センサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）撮像センサ等である。本発明で用いられる撮像センサ４８は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３色のＲＧＢ画像信号を得るためのカラーの撮像センサ、即ち、撮像面を構成する複数の画素として、Ｒフィルタが設けられたＲ画素、Ｇフィルタが設けられたＧ画素、Ｂフィルタが設けられたＢ画素を有する、いわゆるＲＧＢ撮像センサである。

なお、撮像センサ４８としては、ＲＧＢのカラーの撮像センサの代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるため、補色−原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換する必要がある。また、撮像センサ４８はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部２１は青色光Ｂ、緑色光Ｇ、赤色光Ｒを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。

撮像センサ４８から出力される画像信号は、ＣＤＳ・ＡＧＣ回路５０に送信される。ＣＤＳ・ＡＧＣ回路５０は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ・ＡＧＣ回路５０を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）５２により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力される。

プロセッサ装置１６は、受信部５３と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ除去部５８と、画像処理切替部６０と、通常画像処理部６２と、特殊画像処理部６４と、表示制御部６５と、映像信号生成部６６とを備えている。受信部５３は内視鏡１２からのデジタルのＲＧＢ画像信号を受信する。Ｒ画像信号は撮像センサ４８のＲ画素から出力される信号に対応し、Ｇ画像信号は撮像センサ４８のＧ画素から出力される信号に対応し、Ｂ画像信号は撮像センサ４８のＢ画素から出力される信号に対応している。

ＤＳＰ５６は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたＲＧＢ画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のＲＧＢ画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のＲＧＢ画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のＲＧＢ画像信号には、デモザイク処理（等方化処理、画素補間処理とも言う）が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。

ノイズ除去部５８は、ＤＳＰ５６でガンマ補正等が施されたＲＧＢ画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等）を施すことによって、ＲＧＢ画像信号からノイズを除去する。ノイズが除去されたＲＧＢ画像信号は、画像処理切替部６０に送信される。ここで、本発明の「画像信号取得部」は、受信部５３と、ＤＳＰ５６と、ノイズ除去部５８を含む構成に対応する。

画像処理切替部６０は、モード切替ＳＷ１３ａにより、通常観察モードにセットされている場合には、ＲＧＢ画像信号を通常画像処理部６２に送信し、特殊観察モードにセットされている場合には、ＲＧＢ画像信号を特殊画像処理部６４に送信する。

通常画像処理部６２は、ＲＧＢ画像信号に対して、色変換処理、色彩強調処理、構造強調処理を行う。色変換処理では、デジタルのＲＧＢ画像信号に対しては、３×３のマトリックス処理、階調変換処理、３次元ＬＵＴ処理などを行い、色変換処理済みのＲＧＢ画像信号に変換する。次に、色変換処理済みのＲＧＢ画像信号に対して、各種色彩強調処理を施す。この色彩強調処理済みのＲＧＢ画像信号に対して、空間周波数強調等の構造強調処理を行う。構造強調処理が施されたＲＧＢ画像信号は、表示用の通常画像のＲＧＢ画像信号として、通常画像処理部６２から映像信号生成部６６に入力される。

特殊画像処理部６４は、ＲＧＢ画像信号に基づいて、表示用の特殊画像を生成する。この特殊画像処理部６４の詳細については後述する。この特殊画像処理部６４で生成された表示用の特殊画像のＲＧＢ画像信号は、映像信号生成部６６に入力される。なお、特殊画像処理部６４においても、通常画像処理部６２と同様に、色変換処理、色彩強調処理、構造強調処理を行うようにしてもよい。

表示制御部６５は、モニタ１８の表示を制御する。モニタ１８には、通常画像や特殊画像を表示する表示画面が表示される。表示制御部６５は、表示画面のテンプレートデータに通常画像や特殊画像を挿入して、モニタ１８に表示される表示画面を生成する。表示制御部６５は、映像信号生成部６６を有している。映像信号生成部６６は、生成された表示画面を、モニタ１８に表示するための映像信号に変換する。この映像信号に基づいて、モニタ１８は、通常画像、特殊画像の表示画面を表示する。

図４に示すように、特殊画像処理部６４は、原画像生成部６８、低減原画像生成部７０、構造物領域画像生成部７２、特徴量算出部７４、色割り当て部７６、画像合成部７８を備えている。特殊画像処理部６４は、ＲＧＢの画像信号に基づいて特殊画像処理を行って、特殊画像である合成画像を出力する。図５に示すように、原画像生成部６８は、ＲＧＢ画像信号に基づいて、カラーの原画像を生成する。原画像８２は、通常画像と同じカラー画像であり、特殊画像処理部６４において、通常画像処理部６２と同様の処理手順で生成される。

低減原画像生成部７０は、原画像８２に対して、色及びコントラストのうち少なくとも１つを低減する加工を施すことにより、原画像８２よりも色及びコントラストが低減された低減原画像８３を生成する。本例において、低減原画像８３は、カラーの原画像８２をモノクロ化したモノクロ画像であり、モノクロ化により原画像８２よりも色が低減される。

低減原画像８３は、二値化画像ではなく、グレースケール化したグレースケール画像である。原画像８２の各画素の階調数は、例えば、２５６階調である。低減原画像８３は、グレースケール化の際に、原画像８２の２５６階調から、６４階調〜１９２階調に変換されて、コントラストが低減される。このように、本例の低減原画像８３は、原画像８２よりも色及びコントラストが低減される。低減原画像８３は、後述する画像合成を行う際のベース画像として使用される。

構造物領域画像生成部７２は、画像信号から１つ以上の構造物領域を抽出した構造物領域画像を生成する。構造物領域は、粘膜内の血管や、粘膜表面の腺管といった構造物が描出された領域であり、構造物が血管の場合は血管領域（第１構造物領域に相当）、構造物が腺管の場合には腺管領域（第２構造物領域に相当）となる。具体的には、図５に示すように、構造物領域画像生成部７２は、血管領域を抽出する血管領域抽出処理を行って血管領域画像（第１構造物領域画像に相当）８４と、腺管領域を抽出した腺管領域画像（第２構造物領域画像に相当）８６をそれぞれ生成する。

血管領域画像８４を生成するための画像信号としては、例えば、Ｂ画像信号が使用される。周知のとおり、血中のヘモグロビンは、赤色光や緑色光と比較して、青色光に対する吸収率が大きい。血管領域のコントラストが大きなＢ画像信号を用いることで、血管領域を抽出しやすい。血管領域は、Ｂ画像信号において輝度が低い（濃度が高い）領域として現れる。血管領域画像８４は、Ｂ画像信号から、輝度が低い（濃度が高い）領域を抽出して生成した、グレースケールのモノクロ画像である。

また、腺管領域画像８６を生成するための画像信号としては、例えば、腺管領域のコントラストが大きなＧ画像信号が使用される。粘膜表面を構成する上皮細胞は、周期的な襞を有する立体的な構造を持つ。腺管領域は、こうした立体構造を有する領域であり、襞の表面と窪みにおける光の吸収と散乱の差によって表面構造が描出される。緑色光は、他の色光に比べて、立体感の描出に優れており、立体的な表面構造をコントラストよく描出することができる。腺管領域は、Ｇ画像信号において、襞の表面は輝度が高い（濃度が低い）領域として現れ、襞の窪みは輝度が低い（濃度が高い）領域として現れる。腺管領域画像８６は、Ｇ画像信号から、輝度が高い（濃度が低い）領域を抽出して生成した、グレースケールのモノクロ画像である。

また、腺管領域画像８６においても、コントラストは低いものの血管領域は描出される。腺管領域画像８６においては、血管領域はノイズであるため、腺管領域をより強調するために、腺管領域画像８６から血管領域を除去してもよい。除去の方法としては、例えば、血管領域画像８４から血管領域の位置を特定して、腺管領域画像８６において特定した血管領域の画素を周辺の画素で補間することにより、血管領域を除去する方法がある。

血管領域や腺管領域を抽出する場合には、ブラックハットフィルタ処理やトップハットフィルタ処理を利用してもよい。ブラックハットフィルタ処理は、輝度が相対的に高い領域（明るい部分）を除去して、輝度が相対的に低い領域（暗い部分）のみを残す処理であり、血管領域を抽出する場合に利用することができる。また、トップハットフィルタ処理は、輝度が相対的に低い領域（暗い部分）を除去して、輝度が相対的に高い領域（明るい部分）のみを残すトップハットフィルタ処理によって腺管領域を抽出してもよい。

こうした抽出処理によって、図５に示すように、血管領域画像８４は、血管領域Ｖのみが高いコントラストで描出されたモノクロ画像となり、腺管領域画像８６は、腺管領域Ｓのみが高いコントラストで描出されたモノクロ画像となる。

特徴量算出部７４は、構造物領域画像に基づいて構造物領域の形状的な特徴量を算出する。本例では、血管領域画像８４及び腺管領域画像８６のそれぞれの構造物領域画像に基づいて、血管領域Ｖ及び腺管領域Ｓのそれぞれの形状的な特徴量を算出する。

図６及び図７に示すように、特徴量算出部７４は、血管領域画像８４から１つずつ血管領域Ｖを抽出して、抽出した血管領域Ｖ毎に、形状的な特徴量を算出する。血管領域Ｖの形状的な特徴量の項目としては、例えば、最大幅Ｗｖ、最小半径Ｒｖ、長さＬｖがある。最大幅Ｗｖは、算出対象の血管領域Ｖにおいて、最大値を示す幅である。最小半径Ｒｖは、血管領域Ｖが屈曲している場合に、最大の曲率で屈曲している屈曲箇所の半径である。長さＬｖは、血管領域Ｖの長手方向の長さである。血管領域Ｖが屈曲している場合には、例えば、屈曲形状に沿って中心線を仮想した場合の中心線の長さである。

特徴量算出部７４は、図６に示すように、血管領域画像８４内において１つの閉域で構成される１つの血管領域Ｖ１毎に、特徴量を算出する他、図７に示すように、１つの閉域で構成される１つの血管領域Ｖ５を、複数の領域Ａ１、Ａ２に分割して、各領域Ａ１、Ａ２について、特徴量を算出する場合もある。このように、１つの血管領域Ｖを分割するか否かは、例えば、大きさや形状の複雑さなどに応じて適宜決められる。このように、特徴量算出部７４は、構造物領域画像内の複数の構造物領域について、構造物領域毎、又は構造物領域を分割した複数の領域毎に特徴量を算出する。

特徴量算出部７４は、血管領域画像８４内のすべての血管領域Ｖについて、特徴量を算出する。そして、特徴量算出部７４は、特徴量を算出した１つの領域に対して、１つの領域番号を付与する。図６の例であれば、１つの血管領域Ｖ２に対して、例えば「Ｖ２」といった１つの領域番号を付与し、図７の例であれば、１つの血管領域Ｖ５内の複数の領域Ａ１、Ａ２毎に、例えば「Ｖ５−１」、「Ｖ５−２」といった枝番号を付した領域番号を付与する。特徴量算出部７４は、領域番号を付与した領域毎に、領域番号、血管領域画像８４内の座標情報、及び算出した特徴量を、１組の情報として関連付けた形態で出力する。

図８に示すように、特徴量算出部７４は、血管領域画像８４と同様に、腺管領域画像８６から１つずつ腺管領域Ｓを抽出して、抽出した腺管領域Ｓ毎に、形状的な特徴量を算出する。腺管領域Ｓの形状的な特徴量の項目としては、例えば、最大幅Ｗｓ、長径Ｌｓ、枝分かれ数Ｂｓがある。最大幅Ｗｓは、算出対象の腺管領域Ｓにおいて、最大値を示す幅である。長径Ｌｓは、最大幅Ｗｓを短径とした場合に、短径と直交する方向の長さの最大値である。枝分かれ数Ｂｓは、腺管領域Ｓ１のように、分岐している領域がある場合における、分岐数である。

特徴量算出部７４は、腺管領域画像８６内において１つの閉域で構成される１つの腺管領域Ｓ２に対して、形状的な特徴量を算出する。また、腺管領域Ｓ２についても、図７において血管領域Ｖについて示したように、１つの腺管領域Ｓ２を複数の領域に分割して、分割した各領域について、特徴量を算出する場合もある。１つの腺管領域Ｓを分割するか否かは、例えば、大きさや形状の複雑さなどに応じて適宜決められる。

特徴量算出部７４は、血管領域画像８４の場合と同様に、腺管領域画像８６内のすべての腺管領域Ｓについて、特徴量を算出する。そして、特徴量算出部７４は、特徴量を算出した１つの領域に対して、１つの領域番号を付与する。図８の例であれば、１つの腺管領域Ｓ２に対して、例えば「Ｓ２」といった１つの領域番号を付与する。図示しないが、１つの腺管領域Ｓを複数の領域に分割して特徴量を算出する場合は、領域毎に、枝番号を付した領域番号を付与する。特徴量算出部７４は、領域番号を付与した領域毎に、領域番号、腺管領域画像８６内の座標情報、及び算出した特徴量を、１組の情報として関連付けた形態で出力する。

色割り当て部７６は、特徴量を算出した構造物領域に、算出した特徴量に応じた色を割り当てる。特殊画像処理部６４内のメモリには、血管用色割り当てテーブル８７と、腺管用色割り当てテーブル８８が格納されている。色割り当て部７６は、血管用色割り当てテーブル８７を参照して、血管領域画像８４内の血管領域Ｖに色を割り当て、また、腺管用色割り当てテーブル８８を参照して、腺管領域画像８６内の腺管領域Ｓに色を割り当てる。

図９に示すように、血管用色割り当てテーブル８７は、例えば、Ｌａｂ表色系の３次元の色空間に基づいて作成された３次元ＬＵＴ（Look Up Table）である。Ｌａｂ表色系は、周知のように、明度をＬ、色相と彩度を示す色度をａ、ｂで表わす表色系である。血管用色割り当てテーブル８７は、Ｌａｂ表色系の３軸に対して、血管領域Ｖの最大幅Ｗｖ、最小半径Ｒｖ、長さＬｖという特徴量の３つの項目を対応させている。具体的には、明度Ｌの軸には最大幅Ｗｖが、色相ａの軸には最小半径Ｒｖが、彩度ｂの軸には長さＬｖがそれぞれ割り当てられている。本例では、最大幅Ｗｖの変化に応じて明度Ｌが変化し、最小半径Ｒｖ及び長さＬｖの変化に応じて色相ａ及び彩度ｂが変化するようになっている。

図１０に示すように、腺管用色割り当てテーブル８８も、Ｌａｂ表色系の色空間に基づいて作成された３次元ＬＵＴである。腺管用色割り当てテーブル８８は、Ｌａｂ表色系の３軸に、腺管領域Ｓの最大幅Ｗｓ、長径Ｌｓ、枝分かれ数Ｂｓの３つの特徴量の項目が対応させている。具体的には、明度Ｌの軸には最大幅Ｗｓが、色相ａの軸には長径Ｌｓが、彩度ｂの軸には枝分かれ数Ｂｓがそれぞれ割り当てられている。本例では、最大幅Ｗｓの変化に応じて明度Ｌが変化し、長径Ｌｓ及び枝分かれ数Ｂｓの変化に応じて色相ａ及び彩度ｂが変化するようになっている。

図１１に示すように、色割り当て部７６は、特徴量が算出された血管領域Ｖ毎に色を割り当てる。血管領域Ｖ５−１、Ｖ５−２のように、１つの血管領域Ｖ５について分割された複数の領域にそれぞれ特徴量が算出されている場合には、分割された領域毎に色を割り当てる。色割り当て部７６は、血管用色割り当てテーブル８７の色空間上において、特徴量の３つの項目（Ｗｖ、Ｒｖ、Ｌｖ）の具体的な値に基づいて位置を判定し、その特徴量を算出した領域の色を決定する。こうした処理を、血管領域Ｖ毎に行って、血管領域Ｖ１、Ｖ２、Ｖ３−１、Ｖ３−２・・・のそれぞれに対して色を割り当てる。

図１１の例では、血管領域Ｖ１には「赤１」、血管領域Ｖ２には「赤２」、血管領域Ｖ３−１には「赤３」というように、色が割り当てられる。ここで、「赤１」、「赤２」のように、色に付した番号が異なっているものは、それぞれ同色系であるが、明度、色相、彩度のうちの少なくとも１つが異なっている色を示す。

色割り当て部７６は、特徴量算出部７４から取得した座標情報に基づいて、血管領域画像８４内の各血管領域Ｖの位置を特定し、各血管領域Ｖを割り当てた色で着色する。こうした色割り当て処理を、特徴量を算出した血管領域Ｖのすべてに対して行って、血管領域画像８４を疑似カラー化した疑似カラー血管領域画像８９を生成する。疑似カラー血管領域画像８９では、複数の血管領域Ｖが形状的な特徴量に応じて色分けされて表示される。

図１２に示すように、色割り当て部７６は、血管領域Ｖと同様に、特徴量が算出された腺管領域Ｓ毎に色を割り当てる。色割り当て部７６は、腺管用色割り当てテーブル８８の色空間上において、３つの特徴量（Ｗｓ、Ｌｓ、Ｂｓ）に基づいて位置を判定し、特徴量を算出した領域の色を決定する。こうした処理を、腺管領域Ｓ毎に行って、腺管領域Ｓ１、Ｓ２、Ｓ３、Ｓ４・・・のそれぞれに対して色を割り当てる。

図１２の例では、腺管領域Ｓ１には「青４」、腺管領域Ｓ２には「紫１」、腺管領域Ｓ３には「紫２」というように、色が割り当てられる。図１２の例においても、「紫１」、「紫２」のように、色に付した番号が異なっているものは、それぞれ同色系であるが、明度、色相、彩度のうちの少なくとも１つが異なっている色を示す。

色割り当て部７６は、特徴量算出部７４から取得した座標情報に基づいて、腺管領域画像８６内の各腺管領域Ｓの位置を特定し、各腺管領域Ｓを割り当てた色で着色する。こうした色割り当て処理を、特徴量を算出した腺管領域Ｓのすべてに対して行って、腺管領域画像８６を疑似カラー化した疑似カラー腺管領域画像９１を生成する。疑似カラー腺管領域画像９１では、複数の腺管領域Ｓが形状的な特徴量に応じて色分けされて表示される。

色割り当て部７６が、血管領域Ｖや腺管領域Ｓに対して行う色の割り当て方法については、図１３に示すように、特徴量の変化に対して連続的に色を変化させてもよいし、図１４に示すように、特徴量の変化に対して段階的に色を変化させてもよい。図１３及び図１４では、特徴量と、緑や黄色といった色相との関係を例に説明しているが、明度や彩度と特徴量との関係についても同様である。血管用又は腺管用の色割り当てテーブル８７、８８を使用する場合には、図１３又は図１４の関係になるように、各色割り当てテーブル８７、８８を設定する。

なお、色割り当て部７６は、色割り当てテーブル８７、８８を使用する代わりに、特徴量を色に変換する関数を使用してもよい。

また、本例では、血管領域画像８４の血管領域Ｖに割り当てる色には、赤、黄、茶などの暖色系を使用し、腺管領域画像８６の腺管領域Ｓに割り当てる色には、青、紫などの寒色系を使用している。

図５において、画像合成部７８は、低減原画像８３をベース画像として、低減原画像８３に疑似カラー血管領域画像８９を重畳して合成することにより、第１合成画像９２を生成する。また、低減原画像８３をベース画像として、低減原画像８３に疑似カラー腺管領域画像９１を重畳して合成することにより、第２合成画像９３を生成する。特殊画像処理部６４は、第１合成画像９２及び第２合成画像９３を特殊画像として表示制御部６５に出力する。

図１５及び図１６に示すように、表示制御部６５は、通常画像である、原画像８２と、特殊画像である、第１合成画像９２及び第２合成画像９３とを並列的に表示する表示画面９６を生成して、モニタ１８に表示する。表示画面９６には、第１合成画像９２及び第２合成画像９３のどちらを表示するかを選択するための選択操作部として選択ボックス９７が設けられている。選択ボックス９７は、マウスなどのポインタ９８によって操作される。

図１５に示すように、選択ボックス９７において血管が選択されると、血管領域Ｖが強調される第１合成画像９２が表示され、図１６に示すように、腺管が選択されると、腺管領域Ｓが強調される第２合成画像９３が表示される。検査中に選択ボックス９７を操作することで、表示を切り替えることも可能である。

また、図１５及び図１６に示す表示画面９６のように、原画像８２と合成画像９２、９３を並列的に表示する他に、原画像８２及び合成画像９２、９３の各画像を１コマずつ選択的に表示してもよい。

上記構成による作用について、図１７に示すフローチャートを参照しながら説明する。内視鏡１２が光源装置１４及びプロセッサ装置１６に接続されて、内視鏡システム１０が起動されると、内視鏡１２の撮像センサ４８が撮像を開始する。光源装置１４において、Ｖ、Ｂ、Ｇ、Ｒの４色のＬＥＤ２０a〜２０ｄが点灯して、４色の光の混合による白色光が照明光として内視鏡１２に供給される。

内視鏡１２の挿入部１２ａが患者などの体内に挿入されると、ライトガイド４１を通じて体内の観察対象に照明光が照射され、観察対象で反射した反射光が撮像センサ４８に入射する。撮像センサ４８は、照明光の下、体内の観察対象を撮像して、プロセッサ装置１６には、観察対象のＲＧＢの画像信号が入力される。内視鏡システム１０は、初期設定では、通常観察モードで起動する。プロセッサ装置１６において、通常画像処理部６２は、ＲＧＢの画像信号を取得し、取得した画像信号に基づいて、観察対象がカラーで描出された通常画像を生成する。通常画像は、表示制御部６５に入力されて、表示制御部６５は、通常画像を表示する表示画面９６をモニタ１８に表示する。

医師の操作により、モード切替ＳＷ１３ａが操作されると、画像処理切替部６０によって信号入力経路が切り替わり、内視鏡システム１０は、通常観察モードから特殊観察モードに切り替わる。特殊画像処理部６４は、観察対象のＲＧＢの画像信号を取得する（ステップ（Ｓ）１０１）。そして、原画像生成部６８は、ＲＧＢの画像信号に基づいて、通常画像と同様の原画像８２を生成する（Ｓ１０２）。低減原画像生成部７０は、カラーの原画像８２をモノクロ化することにより、色及びコントラストを低減した低減原画像８３を生成する（Ｓ１０３）。

構造物領域画像生成部７２は、Ｂ画像信号に基づいて血管領域画像８４を生成し、Ｇ画像信号に基づいて腺管領域画像８６を生成する（Ｓ１０４）。そして、特徴量算出部７４は、血管領域画像８４及び腺管領域画像８６のそれぞれの構造物領域画像に基づいて、血管領域Ｖ及び腺管領域Ｓのそれぞれの形状的な特徴量を算出する（Ｓ１０５）。

特徴量算出部７４は、図６〜図８で示したように、血管領域画像８４及び腺管領域画像８６において、血管領域Ｖ毎あるいは腺管領域Ｓ毎に特徴量を算出する。さらに、図７で示したように、１つの血管領域Ｖや１つの腺管領域Ｓを複数の領域に分割した場合には、領域毎に特徴量を算出する。

色割り当て部７６は、図９〜図１２に示したように、各色割り当てテーブル８７、８８を用いて、血管領域画像８４内の血管領域Ｖや、腺管領域画像８６内の腺管領域Ｓに対して、特徴量を算出した領域毎に、特徴量に応じた色を割り当てる（Ｓ１０６）。

例えば、図６に示したように、血管領域画像８４において、１つの血管領域Ｖ２の全体に対して特徴量が算出された場合には、血管領域Ｖ２の全体が、算出された特徴量に応じて割り当てた色で着色される。また、図７に示したように、１つの血管領域Ｖ５が複数の領域Ｖ５−１、Ｖ５−２に分割され、分割された領域Ｖ５−１、Ｖ５−２毎に特徴量が算出された場合には、各領域Ｖ５−１、Ｖ５−２のそれぞれが、算出された特徴量に応じて割り当てた色で着色される。腺管領域画像８６の腺管領域Ｓについても同様の手法で色割り当てが行われる。

本例において、色割り当て部７６は、血管領域画像８４の血管領域Ｖに赤、黄、茶などの暖色系を使用し、腺管領域画像８６の腺管領域Ｓに青、紫などの寒色系を使用することにより、構造物領域毎に異なる系統の色が割り当てる。こうして、疑似カラー血管領域画像８９及び疑似カラー腺管領域画像９１が生成される（図５参照）。

画像合成部７８は、低減原画像８３に疑似カラー血管領域画像８９を重畳して第１合成画像９２を生成し、低減原画像８３に疑似カラー腺管領域画像９１を重畳して第２合成画像９３を生成する（Ｓ１０７）。

図１５及び図１６に示すように、第１合成画像９２又は第２合成画像９３は、通常画像である原画像８２とともに表示画面９６に表示される。第１合成画像９２と第２合成画像９３は、選択ボックス９７の選択によって切り替えられる。医師は、選択ボックス９７の操作により所望の画像を観察することができる。

第１合成画像９２及び第２合成画像９３に用いられる、疑似カラー血管領域画像８９と疑似カラー腺管領域画像９１は、血管領域Ｖや腺管領域Ｓの形状的な特徴量に応じて色分けされる。これにより、形状的な特徴量が異なる複数の構造物領域を簡単に識別することができる。形状的な特徴量が異なる領域を識別することは病変の診断において非常に有用である。

例えば、腫瘍などが発生している病変領域と正常領域とでは、血管の幅や走行状態、腺管の大きさなど、構造物の形状的な特徴が大きく異なる。医師は、こうした形状的な特徴に注目して診断を行うので、形状的な特徴が異なる領域が簡単に識別できれば、病変領域と正常領域を簡単に見分けることが可能となる。また、病変領域においても、血管の走行状態や腺管構造の形状などは場所により変化する。血管領域あるいは腺管領域毎に、その領域の形状に応じて色を割り当てられるため、特徴量が異なる領域を視覚的に把握しやすい。

本例において、このような疑似カラー血管領域画像８９及び疑似カラー腺管領域画像９１が重畳されるベース画像には、低減原画像８３が使用される。上述のとおり、低減原画像８３は、カラーの原画像８２の色及びコントラストを低減したモノクロのグレースケール画像である。疑似カラー血管領域画像８９及び疑似カラー腺管領域画像９１は、血管領域Ｖや腺管領域Ｓが強調されている代わりに、それ以外の情報が捨象されている。

これに対して、低減原画像８３は、モノクロ化されているものの、疑似カラー血管領域画像８９や疑似カラー腺管領域画像９１において捨象された観察対象の情報が描出されており、観察対象の全体的な性状を把握することが可能である。例えば、第１合成画像９２は、疑似カラー血管領域画像８９と低減原画像８３が重畳されているため、血管領域Ｖが色分けされて強調表示される一方、低減原画像８３においては、血管領域Ｖ以外の腺管領域Ｓなども描出される。そのため、観察対象の全体的な性状を把握しつつ、色分けされた血管領域Ｖを観察することができる。

特に、本例では、低減原画像８３は二値化画像ではなく、所定の階調数を有するグレースケール画像を用いているため、二値化画像と比較して、観察対象の全体的な性状を明瞭に把握することができる。

また、本例では、第１合成画像９２、第２合成画像９３のどちらのベース画像にも、共通の低減原画像８３を使用している。共通の低減原画像８３を使用するため、第１合成画像９２及び第２合成画像９３のそれぞれにおいて強調される構造物領域（血管領域Ｖ、腺管領域Ｓ）の違いが明瞭になるので、両者の比較がしやすい。

また、第１及び第２合成画像９２、９３のベース画像として使用される低減原画像８３は、モノクロ化されているため、疑似カラー血管領域画像８９や疑似カラー腺管領域画像９１において色の割り当ての自由度が高い。つまり、カラーの原画像８２をベース画像として使用すると、原画像８２において使用される色と同一色は、疑似カラーの割り当て色として使用できなくなるため、使用できる色に制約が多い。これに対して、モノクロ化によって色数を低減した低減原画像８３をベース画像に使用することで、使用できる色の数を増やすことができる。これにより、特徴量に応じて詳細な色分けが可能となる。使用できる色数が多いほど、形状的な特徴量の細かな違いを色で表しやすい。

また、図１３に示すように、特徴量の変化に応じて割り当てる色を連続的に変化させることで、形状的な特徴の小さな変化をグラデーションで表すことが可能になる。このため、特徴量の微細な変化を視覚的に把握しやすい。

また、本例では、血管領域画像８４の血管領域Ｖに割り当てる色には、赤、黄、茶などの暖色系を使用し、腺管領域画像８６の腺管領域Ｓに割り当てる色には、青、紫などの寒色系を使用するというように、異なる構造物領域画像毎に、異なる色を割り当てている。これにより、血管領域Ｖや腺管領域Ｓといった構造物領域の種類に応じて異なる色を使用することで、構造物領域の種類を区別しやすいという効果が得られる。

本例では、構造物領域毎に異なる色として、暖色系と寒色系の色を例に説明したが、それ以外でもよい。ここで、異なる色には、色相、明度及び彩度の少なくとも１つが異なっている場合がすべて含まれる。しかし、色相、明度及び彩度のうち、視覚的に異なる印象を与えやすいのは色相だと考えられるため、構造物領域毎に、色相が異なる色を割り当てることが好ましい。さらに、色相が異なる色を使用する場合でも、より好ましくは、本例のように暖色系と寒色系のように系統が異なる色を使用することが好ましい。暖色系と寒色系は、補色関係のように色相環における位置が相対的に離れているため、視覚的に異なる印象をより与えやすいためである。

また、本例では、血管領域画像８４に暖色系を使用し、腺管領域画像８６に寒色系を使用して、両者の区別を容易にしつつ、かつ、血管領域画像８４又は腺管領域画像８６のそれぞれにおいては、暖色系あるいは寒色系の同系色内で、特徴量に応じて色を変化させている。これにより、構造物領域の種類毎に色の統一感を保ちつつ、同種の構造物領域に対しては、同系色内で、形状的な特徴量に応じて異なる色が割り当てられるため、特徴量が異なる領域も色分けされる。ここで、同系色とは、例えば、色相環における赤とオレンジ、あるいは緑と黄緑のように、色相環における位置が約１２０度の範囲に含まれている色同士をいう。

「第２実施形態」
図１８及び図１９に示す第２実施形態のように、画像合成部７８は、血管領域Ｖが色分けされた疑似カラー血管領域画像８９、腺管領域Ｓが色分けされた疑似カラー腺管領域画像９１の両方を、低減原画像８３に重畳して、１つの第３合成画像９９を生成してもよい。図１９に示すように、表示画面９６において、第３合成画像９９は、原画像８２と並列的に表示される。これによれば、それぞれ特徴量に応じて色分けされた複数の構造物領域を、１つの第３合成画像９９内で観察することができる。なお、原画像８２と第３合成画像９９を１コマずつ選択的に表示してもよい。

また、第１実施形態の図１５、図１６の表示形態と図１９に示す表示形態は、選択ボックス９７によって切り替えられるようにしてもよい。こうすれば、１つの表示画面９６において、第１合成画像９２、第２合成画像９３、第３合成画像９９を切り替えて選択的に表示することができる。もちろん、複数の合成画像９２、９３、９９を、表示画面９６内に並列的に表示できるようにしてもよい。

「第３実施形態」
図２０に示す第３実施形態のように、構造物領域画像の種類毎に、使用するベース画像を、異なる低減原画像としてもよい。図２０に示す例では、疑似カラー血管領域画像８９と合成されるベース画像には、第１低減原画像８３Ａが使用されて、第１合成画像９２Ａが生成される。疑似カラー腺管領域画像９１と合成されるベース画像には、第２低減原画像８３Ｂが使用されて、第２合成画像９３Ａが生成される。

例えば、第１低減原画像８３Ａと第２低減原画像８３Ｂは、どちらもモノクロのグレースケール画像であるが、使用する色が異なる。具体的には、第１低減原画像８３Ａは、寒色系の青色と白色のモノクロのグレースケール画像であり、第２低減原画像８３Ｂは、暖色系の赤色と白色のモノクロのグレースケール画像である。

第１実施形態で示したように、疑似カラー血管領域画像８９には、暖色系の色が割り当てられるため、ベース画像として、寒色系の色を使用した第１低減原画像８３Ａを使用することで、強調される血管領域Ｖに割り当てられる暖色系の色を際立たせることができる。反対に、疑似カラー腺管領域画像９１には、寒色系の色が割り当てられるため、ベース画像として、暖色系の色を使用した第２低減原画像８３Ｂを使用することで、強調される腺管領域Ｓに割り当てられる寒色系の色を際立たせることができる。

本例において、第１低減原画像８３Ａと第２低減原画像８３Ｂとにおいて、使用する色を変えているが、色を変える代わりに、シャープネスを変化させてもよい。例えば、疑似カラー血管領域画像８９の背景となる第１低減原画像８３Ａに対しては、ソフトフォーカス処理を施して、描出される対象をぼかす。血管領域Ｖは、比較的細いため、背景をぼかすことにより、血管領域Ｖを際立たせることができる。なお、シャープネス変化と色変化を組み合わせてもよい。

このように、構造物領域画像の種類に応じて、ベース画像として使用する低減原画像８３を変えることで、構造物領域画像の種類に応じて適切な低減原画像８３を使用することが可能となる。

「第４実施形態」
図２１に示す第４実施形態のように、色割り当て部７６が、血管用色割り当てテーブル８７の色空間上において、３つの特徴量（Ｗｖ、Ｒｖ、Ｌｖ）に基づいて位置を判定する際に、ガンマ変換を行ってもよい。ガンマ曲線１０１は、入力値である特徴量と、出力値である色空間上の位置との対応関係を表す。ガンマ曲線１０１を変化させることで、入力値の特定の範囲の色分解能を大きくしたり、反対に小さくすることができる。これにより、例えば、特徴量の特定の入力範囲については、特徴量の小さな変化を、大きな色の変化で表すといったことが可能となる。

「第５実施形態」
上記実施形態では、特徴量を算出した血管領域Ｖや腺管領域Ｓに対する色の割り当て方法として、血管領域Ｖや腺管領域Ｓの各領域自体を塗りつぶして着色する方法を例に説明したが、図２２に示す第５実施形態のように、色を示すマーク１０３を使用して色を割り当ててもよい。

画像内において、マーク１０３は、算出した特徴量に応じた色で着色されて、特徴量を算出した領域の近傍位置に挿入される。こうしても、特徴量が異なる領域を色で見分けることができる。血管領域Ｖなど、特徴量を算出した領域自体については、着色を行ってもよいし、行わなくてもよい。マーク１０３は、矢印形状をしている。マーク１０３の例は、矢印形状以外でもよく、例えば、図２３に示すように、菱形のマーク１０４でもよい。もちろん、円形や多角形でもよい。また、マーク１０３、１０４を、点滅させたり、回転させるなどの方法によりアニメーション表示を行ってもよい。アニメーション表示により、動画的な視覚効果を与えることができるため、強い印象を与えることができる。

「第６実施形態」
図２４に示す第６実施形態のように、表示制御部６５は、表示画面をマルチモニタに出力可能としてもよい。表示制御部６５は、例えば、複数台のモニタ１８Ａ、１８Ｂに対して、通常画像である原画像８２を表示する表示画面と、特殊画像である合成画像９９を表示する表示画面を出力する。マルチモニタにすることで、画面サイズを広くとれるため、大きな画像で観察を行うことができる。

上記各実施形態において、低減原画像８３は、原画像８２の色とコントラストの両方を低減する加工を施して生成する例で説明したが、色及びコントラストの一方を低減するだけでもよい。コントラストだけを低減させる場合には、低減原画像８３において色は残るが、コントラストを低減させれば、背景の色が目立ちにくくなる。そのため、疑似カラー化した構造物領域画像を重畳させても、背景の色が、色分けされた構造物領域画像の見やすさを損なうことは少ない。そのため、コントラストを低減させない場合と比べれば、構造物の形状的な特徴に応じた色の割り当ての自由度を確保することが可能である。もちろん、コントラストの低減ではなく、色の低減と組み合わせることがより好ましい。

また、色を低減する方法は、モノクロ化以外でもよく、カラー画像よりも色数が制限されていればよい。

上記各実施形態において、強調する構造物領域として、血管領域Ｖと腺管領域Ｓを例に説明したが、これら以外の構造物領域を強調してもよい。例えば、粘膜の発赤領域、褪色領域（ブラウニッシュエリア）、ポリープなどの異物領域などである。また、形状的な特徴量としては、上記実施形態で示した例の他、例えば、領域の面積、周囲長、主軸の長さ、所定の形状に対する近似率、複数の領域の密度、隣接する領域との距離、あるいはこれら複数の特徴量の組み合わせに応じて算出される値、などでもよい。

また、特徴量の算出方法としては、例えば、所定の基本パターンを用意して、その基本パターンとの類似度を特徴量として算出する方法でもよい。例えば、基本パターンとしては、「規則的ドット形状」、「辺縁不明瞭」といった病変の典型的なパターンを複数種類用意しておく。こうした複数の基本パターンと構造物領域とを照合して、基本パターン毎の類似度を形状的な特徴量として算出する。そして算出した類似度の中から最も類似度が高い基本パターンを構造物領域のパターンとして判定する。構造物領域は、判定したパターン毎に色の割り当てが行われる。

このように構造物領域と基本パターンとの類似度を特徴量として算出する場合には、上記実施形態のように構造物領域内の個々の構造物領域に対して個別に特徴量を算出するのではなく、複数の構造物領域が含まれる一定の領域全体について特徴量を算出してもよい。具体的には、複数の構造物領域が含まれる一定の領域全体が、例えば、「規則的ドット形状」と類似すると判定され、その領域全体に「規則的ドット形状」に対応する色が割り当てられる。この場合には、表示画面９６内に、「規則的ドット形状」は「青１」などというように、基本パターンと色との対応関係を示す凡例を表示してもよい。

上記実施形態では、血管領域画像や腺管領域画像のように、構造物の種類毎に構造物領域画像を生成しているが、複数種類の構造物領域が含まれる構造物領域画像を生成してもよい。もちろん、上記実施形態のように、構造物の種類毎に構造物領域画像を生成する方が、構造物の区別が明瞭になるため好ましい。

また、上記実施形態では、構造物領域が強調される合成画像を、動画撮影中に生成して表示する例で説明しているが、静止画撮影時に、撮影した静止画に基づいて生成して表示してもよい。あるいは、動画撮影時及び静止画撮影時の両方で行ってもよい。

また、特殊観察モードに切り替えるモード切替ＳＷを、内視鏡１２の操作部に設けた例で説明したが、フットスイッチ、マウス、キーボード、タッチパネルディスプレイなどの各種操作部をモード切替ＳＷとして機能させてもよい。また、医師の視線を検出する視線検出センサや、手や足の動きを検出するモーションセンサを設けて、これをモード切替ＳＷとして機能させてもよい。この他、音声認識によって動作するスイッチや、脳波検出スイッチを使用してもよい。

また、モード切替ＳＷによって切り替える代わりに、所定時間間隔で観察モードが自動的に切り替わるようにしてもよい。こうすれば、医師の操作が不要になるので、便利である。また、モニタの形態としては、据え置き型のモニタ以外に、ヘッドマウントディスプレイを使用して、ヘッドマウントディスプレイに合成画像を表示してもよい。

また、上記実施形態では、構造物領域の抽出方法として、白色光で撮影した画像信号のうちのＢ画像信号やＧ画像信号を使用する例で説明したが、単色の画像信号ではなく、白色光の下で撮影されたカラーの原画像８２を使用してもよい。この場合には、以下に示すように、血管の色に応じて抽出する血管を選別することができる。

光の波長と、粘膜の深達度には相関があることが知られている。具体的には、波長が短いほど粘膜内への光の深達度が低く、波長が長いほど粘膜内への光の深達度が高い。そのめ、白色光の下で粘膜を撮影した場合には、血管の深さによって色が変化する。例えば、表層の血管は、青色光の到達量が多く血中で吸収されるため、反射光には青色成分が少なくなり、撮影画像において赤色で描出される。対して、深層の血管は、青色光の到達量が少なく粘膜内で反射してしまうため、反射光に青色成分が多くなるため、撮影画像において紫色に近い色で描出される。中層の血管は、その中間で、茶褐色で描出される。

このように、粘膜内の深さによって血管領域の色が変化するため、抽出処理において、表層なら赤色、中層なら茶褐色、深層なら紫色というように、抽出する血管領域の色を選別することによって、特定の深さの血管領域を抽出することができる。このように抽出された深さが異なる複数の血管領域に対して、色分けを行って、合成画像において識別できるようにしてもよい。

また、白色光の下で得た画像信号ではなく、特殊光、例えば、青色光、緑色光、赤色光の各波長範囲の一部の狭帯域を波長帯域とする狭帯域光の下で得た狭帯域画像信号を使用してもよい。血中ヘモグロビンの吸収率が高い帯域に合わせた狭帯域光（青色狭帯域光や緑色狭帯域光）を使用することで、血管領域がよりコントラストが高い状態で描出された画像信号を得ることができる。青色狭帯域光と緑色狭帯域光を使用した場合も、白色光の場合と同様に、血管の深さによって色が変わる。具体的には、表層の血管は赤く、中層の血管は茶褐色となり、深層の血管は青緑色となる。複数色の狭帯域光を使用する場合でも、血管の深さによって色が変わるため、色によって特定の深さの血管領域を抽出することができる。

あるいは、通常可視光以外の光、例えば赤外光や紫外光を使った特殊光の下で得た画像信号を使用しても良い。病変部に選択的に集積する様な蛍光を発する薬剤を使用し、赤外光や紫外光、あるいは特定の波長の特殊光を照明した時に発せられる蛍光を受光して得た画像信号を使用してもよい。蛍光は特定の波長の光を発するため、色によって病変を示す発光領域を抽出する事ができる。

また、インジゴカルミン溶液、クリスタルバイオレット溶液、ヨード希釈液などの染色液を消化管内に散布した状態で撮影して得た画像信号を使用してもよい。

このように、特殊光によって画像信号を取得する場合には、通常観察モードと特殊観察モードにおいて照明光を変える必要がある。例えば、光源制御部２１は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒの点灯及び消灯、さらには光量比を変化させることで、通常観察モードと特殊観察モードにおける照明光を変える。こうした通常観察モードと特殊観察モードを所定時間間隔で自動的に切り替えてもよい。また、上記染色液を散布する場合は、染色液の色により特定の構造のコントラストが強調されるため、染色液毎に、照明光を切り替える事が望ましい。

また、構造物領域を抽出する前処理として、以下のような処理を行うことが好ましい。Ｂ画像信号から構造物領域を抽出する場合において、まず、抽出元のＢ画像信号において、ハレーションを起こしている輝点を探して、その周囲を含めた領域を、抽出対象から除外する。さらに、所定の閾値以下の明るさを有する領域も、抽出対象から除外する。除外する領域には、血管が描出されていないか、あるいは描出されていても、他の領域との識別ができず、抽出が難しいためである。

なお、構造物領域の抽出元となる画像として原画像８２を使用する場合には、さらに、原画像８２において、処置具が写り込む領域を抽出対象から除外してもよい。内視鏡の手技において、生検鉗子、クリップ処置具、スネアなどの各種の処置具が使用されるため、撮像する画像内にはこうした処置具が写り込む場合がある。

処置具が写り込む領域においては、観察対象が処置具の影になるため、こうした領域を除外することが好ましい。処置具は、先端部が金属製で、基端側に延びるガイドシースは白色の樹脂製や、コイルシースの場合には金属製である。そのため、おおよその処置具の色は決まっているため、これらの色の領域については除外対象領域と判定して、原画像８２内から除外すればよい。

また、除外対象領域を除いた抽出対象領域が、例えば、画像全体の１０％以下になるなど、僅かしか残らない場合には、その画像については、構造物領域の抽出対象の画像から除外（抽出処理を行わない）してもよい。そのような画像は抽出対象領域が少ないため、構造物領域がほとんど抽出されず、処理が無駄になるからである。

また、上記実施形態では、光源として、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒの４色のＬＥＤを使用しているが、Ｂ、Ｇ、Ｒの３色のＬＥＤでもよい。また、ＬＥＤの代わりに、上述したレーザダイオード（ＬＤ）の他、ＥＬ（Electro Luminescence）などの他の半導体光源を使用してもよい。また、キセノンランプなどの白色光源を使用してもよい。

また、撮像センサとしては、撮像面において、画素に対応してＢＧＲのマイクロフィルタが設けられたカラー撮像センサを使用した例で説明しているが、モノクロの撮像センサでもよい。モノクロの撮像センサとキセノンランプなどの白色光源を組み合わせる場合には、キセノンランプの光を、ＢＧＲの光に分光するためのロータリフィルタが設けられる。

また、上記実施形態では、内視鏡と直接接続されるプロセッサ装置を、本発明の画像処理装置として機能させる例で説明したが、画像処理装置をプロセッサ装置から独立した装置としてもよい。

なお、本発明は、カプセル内視鏡システムに組み込まれるプロセッサ装置の他、各種の医用画像処理装置に対して適用することが可能である。また、本発明は、画像処理装置及び方法の他、コンピュータを画像処理装置として機能させる画像処理プログラムや画像処理プログラムを記憶する記憶媒体にも及ぶ。

１０ 内視鏡システム
１６ プロセッサ装置
６５ 表示制御部
６８ 原画像生成部
７０ 低減原画像生成部
７２ 構造物領域画像生成部
７４ 特徴量算出部
７６ 色割り当て部
７８ 画像合成部
８２ 原画像
８３ 低減原画像
８４ 血管領域画像
８６ 腺管領域画像
８７ 血管用色割り当てテーブル
８８ 腺管用色割り当てテーブル
８９ 疑似カラー血管領域画像
９１ 疑似カラー腺管領域画像
９２、９３、９９ 合成画像
９６ 表示画面

Claims (12)

1. 生体内の観察対象を撮像して得られた画像信号を取得する画像信号取得部と、
   画像信号に基づいて前記観察対象がカラーで描出された原画像を生成する原画像生成部と、
   前記原画像に対して、色及びコントラストのうち少なくとも１つを低減する加工を施すことにより低減原画像を生成する低減原画像生成部と、
   取得した前記画像信号から１つ以上の構造物領域を抽出した構造物領域画像を生成する構造物領域画像生成部と、
   前記構造物領域画像に基づいて前記構造物領域の形状的な特徴量を算出する特徴量算出部と、
   前記構造物領域に前記特徴量に応じた色を割り当てる色割り当て部と、
   前記低減原画像に、前記色割り当て部によって前記構造物領域に色を割り当てた前記構造物領域画像を重畳して合成画像を生成する画像合成部とを、備えており、
   前記構造物領域画像生成部は、第１構造物領域を表す第１構造物領域画像と、第２構造物領域を表す第２構造物領域画像とを生成し、
   前記低減原画像生成部は、第１低減原画像及び第２低減原画像を生成し、
   前記画像合成部は、前記合成画像として、前記第１構造物領域画像と前記第１低減原画像を合成した第１合成画像と、前記第２構造物領域画像と前記第２低減原画像を合成した第２合成画像とを生成する、画像処理装置。
2. 前記色割り当て部は、前記構造物領域に割り当てる色を、前記特徴量に応じて段階的又は連続的に変化させる請求項１に記載の画像処理装置。
3. 前記色割り当て部は、前記第１構造物領域画像と前記第２構造物領域画像のそれぞれに対して異なる色を割り当てる請求項１又は２に記載の画像処理装置。
4. 前記画像合成部は、前記合成画像として、前記第１構造物領域画像、前記第２構造物領域画像及び前記低減原画像の３つの画像を合成した第３合成画像を生成する請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記画像合成部は、前記第１合成画像と前記第２合成画像のそれぞれに対して共通の前記低減原画像を使用する請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記色割り当て部は、前記特徴量の複数の項目を、３次元の色空間上における３軸のいずれかに対応させ、かつ、前記特徴量の各項目の具体的な値に応じて前記色空間上の位置を判定して、前記色を決定する請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記色割り当て部は、前記特徴量に応じて前記色空間上の位置を判定する際に、ガンマ変換を行う請求項６に記載の画像処理装置。
8. 前記合成画像を表示画面に表示する制御を行う表示制御部を備えている請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記表示画面において、前記原画像と、前記合成画像とを、並列的または選択的に表示可能である請求項８に記載の画像処理装置。
10. 前記表示制御部は、前記表示画面をマルチモニタに出力可能である請求項８又は９に記載の画像処理装置。
11. 画像処理装置の作動方法であって、
    画像信号取得部が、生体内の観察対象を撮像して得られた画像信号を取得する画像信号取得ステップと、
    原画像生成部が、前記画像信号に基づいて前記観察対象がカラーで描出された原画像を生成する原画像生成ステップと、
    低減原画像生成部が、前記原画像に対して、色及びコントラストのうち少なくとも１つを低減する加工を施すことにより低減原画像を生成する低減原画像生成ステップと、
    構造物領域画像生成部が、取得した前記画像信号から１つ以上の構造物領域を抽出した構造物領域画像を生成する構造物領域画像生成ステップと、
    特徴量算出部が、前記構造物領域画像に基づいて前記構造物領域の形状的な特徴量を算出する特徴量算出ステップと、
    色割り当て部が、前記構造物領域に前記特徴量に応じた色を割り当てる色割り当てステップと、
    画像合成部が、前記画像信号に基づいて前記観察対象がカラーで描出された原画像に対して、色及びコントラストのうち少なくとも１つを低減する加工を施した低減原画像に、前記色割り当て部によって前記構造物領域に色を割り当てた前記構造物領域画像を重畳して合成画像を生成する画像合成ステップとを、備えており、
    前記構造物領域画像生成ステップにおいて、第１構造物領域を表す第１構造物領域画像と、第２構造物領域を表す第２構造物領域画像とを生成し、
    前記低減原画像生成ステップにおいて、第１低減原画像及び第２低減原画像を生成し、
    前記画像合成ステップにおいて、前記合成画像として、前記第１構造物領域画像と前記第１低減原画像を合成した第１合成画像と、前記第２構造物領域画像と前記第２低減原画像を合成した第２合成画像とを生成する、画像処理装置の作動方法。
12. コンピュータを画像処理装置として機能させるための画像処理プログラムであって、
    生体内の観察対象を撮像して得られた画像信号を取得する画像信号取得ステップと、
    前記画像信号に基づいて前記観察対象がカラーで描出された原画像を生成する原画像生成ステップと、
    前記原画像に対して、色及びコントラストのうち少なくとも１つを低減する加工を施すことにより低減原画像を生成する低減原画像生成ステップと、
    取得した前記画像信号から１つ以上の構造物領域を抽出した構造物領域画像を生成する構造物領域画像生成ステップと、
    前記構造物領域画像に基づいて前記構造物領域の形状的な特徴量を算出する特徴量算出ステップと、
    前記構造物領域に前記特徴量に応じた色を割り当てる色割り当てステップと、
    前記画像信号に基づいて前記観察対象がカラーで描出された原画像に対して、色及びコントラストのうち少なくとも１つを低減する加工を施した低減原画像に、前記色割り当て部によって前記構造物領域に色を割り当てた前記構造物領域画像を重畳して合成画像を生成する画像合成ステップとを、備えており、
    前記構造物領域画像生成ステップにおいて、第１構造物領域を表す第１構造物領域画像と、第２構造物領域を表す第２構造物領域画像とを生成し、
    前記低減原画像生成ステップにおいて、第１低減原画像及び第２低減原画像を生成し、
    前記画像合成ステップにおいて、前記合成画像として、前記第１構造物領域画像と前記第１低減原画像を合成した第１合成画像と、前記第２構造物領域画像と前記第２低減原画像を合成した第２合成画像とを生成する、画像処理プログラム。

Images