図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作によって、先端部が所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モード切り替えスイッチ13a、ズーム操作部13b、静止画取得指示部(図示しない)等が設けられている。モード切り替えスイッチ13aは、観察モードの切り替え操作に用いられる。内視鏡システム10は、観察モードとして通常観察モードと特殊観察モードとを有している。通常観察モードは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの画像(以下、通常画像という)をモニタ18に表示する。特殊観察モードでは、観察対象を撮像して得た画像信号を用いて、観察対象に含まれる血管のうち、特定深さにある血管を抽出し、表示する。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、観察対象の画像や、観察対象の画像に付帯する情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続しても良い。
図2に示すように、光源装置14は、光源20と、光源20を制御する光源制御部22と、を備えている。光源20は、例えば複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象に照射する照明光を発生する。本実施形態では、光源20は、V−LED(Violet Light Emitting Diode)23a、B−LED(Blue Light Emitting Diode)23b、G−LED(Green Light Emitting Diode)23c、及びR−LED(Red Light Emitting Diode)23dの四色のLEDを有する。図3に示すように、V−LED23aは、中心波長405nm、波長帯域380〜420nmの紫色光Vを発光する紫色光源である。B−LED23bは、中心波長460nm、波長帯域420〜500nmの青色光Bを発する青色半導体光源である。G−LED23cは、波長帯域が480〜600nmに及ぶ緑色光Gを発する緑色半導体光源である。R−LED23dは、中心波長620〜630nmで、波長帯域が600〜650nmに及び赤色光Rを発光する赤色半導体光源である。なお、V−LED23aとB−LED23bの中心波長は±5nmから±10nm程度の幅を有する。
これらの各LED23a〜23dの点灯や消灯、点灯時の発光量等は、光源制御部22が各々に独立した制御信号を入力するによって各々に制御することができる。通常観察モードの場合、光源制御部22は、V−LED23a、B−LED23b、G−LED23c、及びR−LED23dを全て点灯させる。このため、通常観察モードでは、紫色光V、青色光B、緑色光G、及び赤色光Rを含む白色光が照明光として用いられる。一方、特殊観察モードの場合、光源制御部22は、V−LED23aだけを点灯し、B−LED23b等の他のLEDを消灯する第1発光パターンと、V−LED23aを消灯し、B−LED23bを点灯し、V−LED23a等の他のLEDを消灯する第2発光パターンとで光源20を制御する。すなわち、特殊観察モードでは、紫色光Vと青色光Bとを順次発生し、観察対象に照射する。したがって、紫色光Vが第1照明光であり、青色光Bが、第1照明光とは波長帯域が異なる第2照明光である。
本実施形態では、上記のように、特殊観察モードにおいて、V−LED23aが発する紫色光Vと、B−LED23aが発する青色光Bとを、第1照明光及び第2照明光としてそのまま用いているが、光源20に波長帯域を制限する光学フィルタ等を設けることによって、紫色光Vと青色光Bとはそれぞれさらに波長帯域を制限してから、特殊観察モードの照明光として利用することが好ましい。
これは第1照明光と第2照明光とが、観察対象の散乱係数が互いに異なり、かつ、ヘモグロビンの吸光係数がほぼ等しい二つの波長帯域の光であると、特定深さの血管の抽出を特に鮮明に抽出することができるからである。例えば、各照明光の波長帯域における観察対象の散乱係数は、観察対象への深達度、すなわち、その波長帯域で観察可能な血管の粘膜下の深さに関連する。一方、ヘモグロビンの吸光係数は、各照明光で観察可能な血管のコントラストに関連する。したがって、特殊観察モード時に用いる第1照明光と第2照明光に要求する、観察対象の散乱係数が異なり、かつ、ヘモグロビンの吸光係数がほぼ等しいという条件は、観察可能な血管の粘膜下の深さがそれぞれ異なり、かつ、粘膜下での深さが異なる血管が同程度のコントラストに観察可能である二つの波長帯域の光を選択して用いるという条件である。光源20に用いるLED等の特性(中心波長)等によっては、上記条件を完全には満たせない場合があるが、このような場合には、少なくとも観察対象の散乱係数が異なる範囲内で、できる限りヘモグロビンの吸光係数が近い二つの波長帯域の光を第1照明光及び第2照明光とすれば良い。なお、第1照明光が第2照明光よりも短波長帯域の光であるとすると、観察対象の散乱係数が異なるとは、第1照明光の散乱係数に対する第2照明光の散乱係数の比が0.8以下であることを言う。また、第1照明光と第2照明光の散乱係数の差は70cm−1以上あると良い。
特殊観察モード時に照明光として用いる紫色光Vと青色光Bとでは、図4に示すように、紫色光Vの散乱係数に対する青色光Bの散乱係数の比は0.75あり、図5に示すように、ヘモグロビンの吸光係数(酸化ヘモグロビンの吸光係数:還元ヘモグロビンの吸光係数=3:7)は概ね同程度である。
各LED23a〜23dが発する各色の光は、ミラーやレンズ等で形成される光路結合部(図示しない)を介して、挿入部12a内に挿通されたライトガイド41に入射される。ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド41は、光源20が発生した照明光を、内視鏡12の先端部12dまで伝搬する。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、ライトガイド41によって伝搬された照明光は照明レンズ45を介して観察対象に照射される。撮像光学系30bは、対物レンズ46、ズームレンズ47、撮像センサ48を有している。照明光を照射したことによる観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ46及びズームレンズ47を介して撮像センサ48に入射する。これにより、撮像センサ48に観察対象の像が結像される。なお、ズームレンズ47は、ズーム操作部13bを操作することでテレ端とワイド端との間で自在に移動され、撮像センサ48に結像する観察対象の反射像を拡大または縮小する。
撮像センサ48は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ48の各画素には、図6に示すR(赤色)カラーフィルタ、G(緑色)カラーフィルタ、B(青色)カラーフィルタのいずれかが各画素に設けられている。このため、撮像センサ48は、紫色から青色の光をBカラーフィルタが設けられたB画素(青色画素)で受光し、緑色の光をGカラーフィルタが設けられたG画素(緑色画素)で受光し、赤色の光をRカラーフィルタが設けられたR画素(赤色画素)で受光する。そして、各色の画素から、RGB各色の画像信号を出力する。特殊観察モードでは、光源20の発光パターンが第1発光パターンの場合には、紫色光Vが照明光として用いられるので、撮像センサ48は、紫色光Vが照射された観察対象を撮像し、紫色光Vに対応する第1画像信号(以下、B1画像信号という)をB画素から出力する。また、光源20の発光パターンが第2発光パターンの場合には、青色光Bが照明光として用いられるので、撮像センサ48は、青色光Bに対応する第2画像信号(以下、B2画像信号という)をB画素から出力する。
撮像センサ48としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。また、原色の撮像センサ48の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの四色の画像信号が出力されるので、補色−原色色変換によって、CMYGの四色の画像信号をRGBの三色の画像信号に変換することにより、撮像センサ48と同様のRGB画像信号を得ることができる。また、撮像センサ48の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
CDS/AGC回路51は、撮像センサ48から得られるアナログの画像信号に相関二重サンプリング(CDS;Correlated Double Sampling)や自動利得制御(AGC;Automatic Gain Control)を行う。CDS/AGC回路51を経た画像信号は、A/D(Analog to Digital)コンバータ52により、デジタル画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に入力される。
プロセッサ装置16は、画像信号取得部53と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、画像処理切替部61と、通常画像処理部66と、特殊画像処理部67と、映像信号生成部68と、を備えている。画像信号取得部53は、CDS/AGC回路51及びA/Dコンバータ52を介して、撮像センサ48からデジタルの画像信号を取得する。
DSP56は、取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。
ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。ガンマ変換処理後の画像信号には、デモザイク処理(等方化処理、または同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。ノイズ除去部58は、DSP56でデモザイク処理等が施された画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等による)を施すことによってノイズを除去する。ノイズが除去された画像信号は、画像処理切替部61に送信される。モード切り替えスイッチ13aの操作によって通常観察モードにセットされている場合、画像処理切替部61は、受信した画像信号を通常画像処理部66に送信し、特殊観察モードにセットされている場合には、受信した画像信号を特殊画像処理部67に送信する。
通常画像処理部66は、通常観察モードに設定されている場合に作動し、受信した画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行い、通常画像信号を生成する。色変換処理では、RGB画像信号に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(ルックアップテーブル)処理などにより色変換処理を行う。色彩強調処理は、色変換処理済みの画像信号に対して行われる。構造強調処理は、例えば表層血管やピットパターン等の観察対象の構造を強調する処理であり、色彩強調処理後の画像信号に対して行われる。上記のように、構造強調処理まで各種画像処理等を施した通常画像信号を用いたカラー画像が通常画像である。
特殊画像処理部67は、特殊観察モードに設定されている場合に作動する画像処理部であり、紫色光Vに対応するB1画像信号と、青色光Bに対応するB2画像信号と、を用いて特定深さの血管を抽出し、他の血管に対して抽出した血管を色の違いで表す画像を生成する。また、特殊画像処理部67に入力されるB1画像信号とB2画像信号は、位置合わせ処理部62及び明るさ補正処理部63を介して入力される。
位置合わせ処理部62は、順次取得されたB1画像信号が表す観察対象とB2画像信号が表す観察対象との位置合わせを行う。位置合わせ処理部62は、B1画像信号、または、B2画像信号のうち少なくとも一方を補正する。
明るさ補正処理部63は、位置合わせ処理部62によって位置合わせされたB1画像信号及びB2画像信号の明るさが特定比になるように、B1画像信号、または、B2画像信号のうち少なくとも一方の明るさを補正する。具体的には、第1発光パターンの紫色光Vと第2発光パターンの青色光Bの光量比は既知なので、これらの光量比を用いて、それぞれ同等の光量の紫色光V及び青色光Bを観察対象に照射して得る場合の明るさになるように、B1画像信号の明るさを、B2画像信号の明るさに一致させるようにゲイン補正をする。
図7に示すように、特殊画像処理部67は、演算画像信号生成部76と、低解像度化処理部77と、画像生成部78とを備える。
演算画像信号生成部76は、位置合わせ処理及び明るさ補正処理が施されたB1画像信号とB2画像信号とを用いて演算をし、演算画像信号を生成する。具体的には、B1画像信号とB2画像信号の差または比を算出する。本実施形態では、演算画像信号生成部76は、B1画像信号及びB2画像信号を対数変換し、対数変換後のB1画像信号とB2画像信号の差、より具体的にはB2画像信号からB1画像信号を減算した演算画像信号ΔBを生成する。B1画像信号とB2画像信号を対数変換せずにそのまま用いる場合には、B1画像信号とB2画像信号の比を画素毎に演算することにより、演算画像信号を生成する。B1画像信号及びB2画像信号は、各画素が受光量に比例する画素値を有するが、対数変換をすると、濃度に比例する画素値を有することになるので、各画像信号を得たときの照明光の照度によらず、安定した演算結果を得ることができる。
演算画像信号ΔBを算出することは、粘膜下の特定深さにある血管を抽出することに対応する。例えば、図8に示すように、紫色光Vと青色光Bは、これらを照明光として用いると、概ね表層血管(深さAs及び深さAdの全範囲の血管)を観察可能であるが、紫色光Vは青色光Bと比較して波長が短いので、観察対象への深達度が小さく、青色光Bに対して相対的に粘膜下の浅い位置Asにある血管しか写し出せない代わりに、浅い位置Asにある血管のコントラスト(血管からの反射光量に対する周辺の粘膜からの反射光量の比)は青色光Bを用いる場合よりも大きい。一方、青色光Bは紫色光Vと比較して波長が長いので、観察対象への深達度が大きく、紫色光Vに対して相対的に粘膜下の深い位置Adにある血管まで写し出せる代わりに、浅い位置Asにある血管のコントラストは紫色光Vを用いる場合よりも小さい。このため、青色光Bに対応するB2画像信号から紫色光Vに対応するB1画像信号を減算すれば、特に粘膜下の浅い位置Asにある極表層血管を表す画素の画素値は強調されて、大きい値(白色)になる。逆に、極表層血管よりも深い位置Adにある表層血管を表す画素の画素値は小さい値(黒色)になる。
低解像度化処理部77は、いわゆるローパスフィルタ(以下、LPFという)であり、演算画像信号生成部76が生成した演算画像信号ΔBを低解像度化する。低解像度化処理部77が演算画像信号ΔBに施す低解像度化処理の強度は、LPFのカットオフ周波数で定まる。LPFのカットオフ周波数は予め設定され、少なくとももとの演算画像信号ΔBの解像度よりは低解像度化する。
画像生成部78は、特殊画像処理部67が受信するB1画像信号またはB2画像信号のいずれかと、低解像度化された演算画像信号ΔBとを用いて、複数の出力チャンネルを有する画像を生成する。より具体的には、画像生成部78は、輝度チャンネルYと色差に関する二つの色差チャンネルCb,Crとを有する画像を生成する。画像生成部78は、B1画像信号またはB2画像信号のいずれかを輝度チャンネルYに割り当て、低解像度化された演算画像信号ΔBを二つの色差チャンネルCb,Crに割り当てることにより、特定深さの血管の走行パターンを色で強調した画像(以下、特定深さ血管強調画像という)を生成する。本実施形態の場合、輝度チャンネルYにB1画像信号を割り当てるのは、表層血管の中から極表層血管を選り分けて強調するからであり、図9に示すように、B1画像信号とB2画像信号のうち、相対的に短波長帯域の光(紫色光V)に対応し、極表層血管のコントラストが高いB1画像信号を輝度チャンネルYに割り当てる。そして、色差チャンネルCb,Crには演算画像信号ΔBを割り当てる。また、演算画像信号ΔBを色差チャンネルCb,Crに割り当てる際には、それぞれ係数αと係数βを乗じる。これは、表層血管等を強調観察する内視鏡システムが表示する画像と色味を揃えるためである。
具体的には、表層血管を強調観察する強調観察モードを有する従来の内視鏡システムでは、強調観察モードの場合に、狭帯域の青色光を照射して観察対象を撮像してB画像信号を取得し、かつ、狭帯域の緑色光を照射して観察対象を撮像してG画像信号を取得する。そして、B画像信号を表示用の画像のBチャンネル(青色チャンネル)とGチャンネル(緑色チャンネル)に割り当て、G画像信号をRチャンネル(赤色チャンネル)に割り当てることにより、粘膜下の深い位置にある中深層血管を緑色系(シアン系)の色にし、粘膜下の浅い位置にある表層血管を赤色系(マゼンタ系)の色にして強調表示する。ITU−R.601では、RGB各画像信号と輝度チャンネルY及び色差チャンネルCb,Crの関係は、下記式(1),(2),及び(3)で表される。
Y=0.299R+0.587G+0.114B ・・・(1)
Cb=−0.169−0.331G+0.5G ・・・(2)
Cr=0.5R−0.419G−0.081B ・・・(3)
そして、色差チャンネルCb,Crの式(2)及び式(3)において、RにGを代入し、GにBを代入すると、式(4)及び式(5)に示すように色差チャンネルCb,Crを(G−B)で表すことができる。
Cb=−0.169G+0.169B=0.169(G−B) ・・・(4)
Cr=0.5G−0.5B=0.5(G−B) ・・・(5)
本実施形態では、極表層血管を抽出及び表示するので、この(G−B)信号に代えて、演算画像信号ΔBを用いる。すなわち、係数α=0.169を乗じて演算画像信号ΔBを色差信号Cbに割り当て、係数β=0.5を乗じて演算画像信号ΔBを色差信号Crに割り当てる。これにより、内視鏡システム10では、従来の内視鏡システムとほぼ同配色の画像を表示する。但し、極表層血管と、比較的深い位置にある表層血管との色の違いを強調するために、設定等に応じて、上記係数α及び係数βにさらに係数を乗じる場合がある。
なお、輝度チャンネルY及び色差チャンネルCb,CrからRGBの特定深さ血管強調画像を生成するには、ITU−R.601の逆変換にしたがって、
R=Y+1.402Cr ・・・(7)
G=Y−0.344Cb−0.714Cr ・・・(8)
B=Y+1.772Cb ・・・(9)
によって行う。
通常画像処理部66が生成する通常画像、及び、特殊画像処理部67が生成する特定深さ血管強調画像は、映像信号生成部68に入力される。映像信号生成部68は通常画像や特定深さ血管強調画像をモニタ18で表示可能な画像として表示するための映像信号に変換する。この映像信号を用いて、モニタ18は、通常画像や特定深さ血管強調画像を表示する。
次に、特殊観察モードにおける画像処理の一連の流れを図10に沿って説明する。まず、光源20が紫色光Vを発生し、発生した紫色光Vを観察対象に照射する(S11)。撮像センサ48は、紫色光Vが照射された観察対象を撮像し(S12)、画像信号取得部53は、紫色光Vに対応するB1画像信号を取得する(S13)。図11に示すように、B1画像信号110は、紫色光Vによって観察対象を撮像して得た画像信号なので、観察対象の起伏等の形状112の他、極表層血管124が観察可能である。また、極表層血管124よりも粘膜下の深い位置にある表層血管123も、B1画像信号110によって観察可能である。
次に、光源20が青色光Bを発生し、発生した青色光Bを観察対象に照射し(S14)、撮像センサ48は青色光Bが照射された観察対象を撮像する(S15)。そして、画像信号取得部53は、青色光Bに対応するB2画像信号を取得する(S16)。図12に示すように、B2画像信号120は、青色光Bによって観察対象を撮像して得た画像信号なので、観察対象の形状112の他、比較的深い位置にある表層血管123が観察可能である。また、極表層血管124もB2画像信号120によって観察可能である。B1画像信号110とB2画像信号120を比較すると、B1画像信号110の方が極表層血管124のコントラストが高く、B2画像信号120の方が極表層血管124に比べて比較的深い位置にある表層血管123のコントラストが高い。
上記のようにして得られたB1画像信号とB2画像信号は、位置合わせ処理部62で位置合わせされ(S17)、さらに明るさ補正処理部63によって明るさ補正処理が施された後(S18)、特殊画像処理部67に入力される。特殊画像処理部67では、演算画像信号生成部76によって、演算画像信号ΔBを生成する(S19)。演算画像信号ΔBは、元の画像信号(例えば図11のB1画像信号や図12のB2画像信号)に対して、比較的深い位置にある表層血管123の画素値は小さく、かつ、極表層血管124の画素値は大きくなる。このため、図13に示すように、演算画像信号ΔBでは、極表層血管124と比較的深い位置にある表層血管123の違いが元の画像信号よりも顕著になる。特殊画像処理部67は、演算画像信号ΔBを生成すると、さらに低解像度化処理部77によって演算画像信号ΔBを低解像度化する(S20)。図14に示すように、低解像度化処理部77を経た演算画像信号ΔBでは、表層血管123や極表層血管124はぼやけた状態になる。
その後、特殊画像処理部67は、画像生成部78によって、極表層血管124のコントラストが高いB1画像信号を輝度チャンネルYに割り当て、低解像度化された演算画像信号ΔBを色差チャンネルCr,Cbを割り当てることにより、特定深さ血管強調画像を生成する。図15に示すように、特定深さ血管強調画像130では、表層血管123はシアン系の色に着色して表示され、極表層血管124がマゼンタ系に着色して表示される。このため、特定深さ血管強調画像130では、表層血管123と極表層血管124を色で識別可能であり、実質的に極表層血管124が観察しやすい強調画像として表示される。
上記のように、内視鏡システム10は、紫色光Vに対応するB1画像信号と青色光Bに対応するB2画像信号との差(または比)によって演算画像信号ΔBを算出し、輝度チャンネルYに強調したい血管のコントラストが高い画像信号を割り当て、かつ、色差チャンネルCb,Crに演算画像信号ΔBを割り当てる。これにより、従来では識別が難しかった極表層血管124と、極表層血管124に対して比較的深い位置にある表層血管123とを、色の違いで可視化し、強調表示することができる。
また、B1画像信号とB2画像信号の取得タイミングの違いによって、輝度チャンネルYに割り当てるB1画像信号と演算画像信号ΔBと間に齟齬が生じ、結果として、特定深さ血管強調画像130に色ずれが表れることがある。このため、内視鏡システム10では、演算画像信号ΔBを色差チャンネルCb,Crに割り当てるときに、低解像度化処理部77によって低解像度化してから演算画像信号ΔBを色差チャンネルCb,Crに割り当てるので色ずれは低減されている。
なお、上記実施形態では、画像生成部78は、B1画像信号とB2画像信号のうち相対的に極表層血管124のコントラストが高いB1画像信号を輝度チャンネルYに割り当て、かつ、演算画像信号ΔBを色差チャンネルCb,Crに割り当てることで、極表層血管124を選択的に強調する特定深さ血管強調画像130を生成しているが、画像生成部78は、比較的深い位置にある表層血管123を強調した特定深さ血管画像を生成しても良い。この場合、演算画像信号生成部76は、上記実施形態とは逆に、対数変換後のB1画像信号からB2画像信号を減算して演算画像信号ΔBを生成する。そして、画像生成部78は、B1画像信号とB2画像信号のうち比較的深い位置にある表層血管123のコントラストが高いB2画像信号を輝度チャンネルYに割り当て、かつ、B1画像信号からB2画像信号を減算して生成された演算画像信号ΔBを色差チャンネルCb,Crに割り当てて、特定深さ血管強調画像を生成する。
上記実施形態の特定深さ血管強調画像130が極表層血管124を強調することができるのは、演算画像信号ΔBをB2画像信号からB1画像信号を減算して生成した演算画像信号を用いているからである。このため、上記実施形態では、画像生成部78は、極表層血管124を強調する特定深さ血管強調画像130を生成するときに、B1画像信号とB2画像信号のうち極表層血管124のコントラストが高いB1画像信号を輝度チャンネルYに割り当てているが、B2画像信号を輝度チャンネルYに割り当てた場合でも、極表層血管124を強調する特定深さ血管強調画像を生成することができる。
画像生成部78が、特定深さ血管強調画像を生成するときに、B1画像信号とB2画像信号のうちどちらを輝度チャンネルYに割り当てるかを選択できるようにすることが好ましい。例えば、画像生成部78の動作モードに、B1画像信号を輝度チャンネルYに割り当てる第1モードと、B2画像信号を輝度チャンネルYに割り当てる第2モードとを用意しておき、第1モードと第2モードうち選択されたモードで画像を生成するようにしておくことができる。また、輝度チャンネルYに割り当てる画像信号を選択可能にする場合には、画像生成部78が輝度チャンネルYに割り当てる画像信号を自動的に選択しても良い。例えば、B1画像信号とB2画像信号とを比較し、画像信号全体または指定された関心領域内のノイズが少ない方の画像信号を自動的に輝度チャンネルYに自動的に割り当てても良いし、画像信号全体または指定された関心領域内のコントラストが高い方の画像信号を輝度チャンネルYに自動的に割り当てても良い。
また、上記実施形態では、画像生成部78は、B1画像信号を輝度チャンネルYに割り当て、かつ、演算画像信号ΔBを色差チャンネルCb,Crに割り当てて、YCbCr形式の特定深さ血管強調画像130を生成しているが、RチャンネルとGチャンネルとBチャンネルを有するRGB形式の画像を生成しても良い。この場合、画像生成部78は、図16に示すように、輝度に最も寄与するGチャンネルにB1画像信号を割り当て、残りのBチャンネル及びRチャンネルに演算画像信号ΔBを割り当てる。
上記実施形態では、低解像度化処理部77で用いるLPFのカットオフ周波数は予め設定されているが、LPFのカットオフ周波数を可変にし、LPFのカットオフ周波数を動的に設定することが好ましい。例えば、図17に示すように、低解像度化処理部77に、位置合わせ処理部62からB1画像信号とB2画像信号の位置合わせ精度が入力されるようにする。そして、低解像度化処理部77は、B1画像信号とB2画像信号の位置合わせ精度に応じてLPFのカットオフ周波数(低解像度化処理の強度)を変更する。具体的には、B1画像信号とB2画像信号の位置合わせ精度が高いほど、LPFのカットオフ周波数を高周波数に設定して低解像度化処理の強度を小さくし、B1画像信号とB2の位置合わせ精度が低いほど、LPFのカットオフ周波数を低周波数に設定して低解像度化処理の強度を大きくすると良い。こうすると、低解像度化処理部77による演算画像信号ΔBの低解像度化の程度が最適化され、特定深さの血管(例えば、極表層血管124)を適切に強調表示することができる。
なお、特定深さ血管強調画像を静止画として表示または保存する場合、LFPのカットオフ周波数は、生成する特定深さ血管強調画像の解像度を基準として、少なくともナイキスト周波数の1/8以下の周波数を残す範囲内で設定することが好ましい。
上記変形例では、位置合わせ処理部62の位置合わせ処理の精度に応じて、低解像度化処理部77が低解像度化処理の強度を調節しているが、これとは逆に、低解像度化処理部77が行う低解像度化処理の強度に応じて、位置合わせ処理部62が位置合わせ処理の精度を調節しても良い。この場合、位置合わせ処理部62は、LPFのカットオフ周波数が大きく、低解像度化処理の強度が小さく設定されているほど、B1画像信号とB2画像信号の位置合わせ精度を高く設定する。
位置合わせ処理部62が行うB1画像信号とB2画像信号との位置合わせ処理の精度は可変にし、特定深さ血管強調画像の静止画を表示または保存する場合と、特定深さ血管強調画像の動画を表示する場合とで位置合わせ処理の精度を変えることが好ましい。例えば、モニタ18に特定深さ血管画像で構成される動画を表示する場合には、位置合わせ処理部62は、特定深さ血管画像の静止画をモニタ18に表示する(あるいは保存する)場合よりも低い第1精度で、B1画像信号とB2画像信号との位置合わせをする。これとは逆に、特定深さ血管画像の静止画をモニタ18に表示する場合、位置合わせ処理部62は、特定深さ血管画像の動画をモニタ18に表示する場合よりも高い第2精度で、B1画像信号とB2画像信号の位置合わせをする。こうすると、動画表示時には、色ずれが目立たない範囲内で高速に特定深さ血管強調画像を生成することができ、かつ、色ずれが目立ちやすい静止画の取得時には、色ずれがない特定深さ血管強調画像を生成することができる。
また、位置合わせ処理部62は、生成する特定深さ血管画像の大きさによって、B1画像信号とB2画像信号との位置合わせ精度を変更しても良い。例えば、生成する特定深さ血管画像が大きい場合には、僅かな位置ずれも目立つので、位置合わせ処理部62は高精度にB1画像信号とB2画像信号の位置合わせをし、生成する特定深さ血管画像が小さい場合には、位置ずれは目立ち難いので、低精度でB1画像信号とB2画像信号の位置合わせをする。また、これとは逆に、位置合わせ処理部62は、生成する特定深さ血管画像が大きい場合に低精度でB1画像信号とB2画像信号の位置合わせをし、生成する特定深さ血管画像が小さい場合には高精度でB1画像信号とB2画像信号の位置合わせをしても良い。こうすると、プロセッサ装置16の処理負担を最適化することができる。
上記のように、位置合わせ処理部62が動画表示時と静止画取得時とで位置合わせ処理の精度を変更する場合や特定深さ血管画像の大きさに応じて位置合わせ精度を変更する場合に、低解像度化処理部77は位置合わせ精度によってLPFのカットオフ周波数を変更することが好ましい。例えば、動画表示時には、位置合わせ処理部62はB1画像信号とB2画像信号の位置合わせ精度を低下させ、その代わりに、低解像度化処理部77ではLPFのカットオフ周波数を低周波数側にシフトさせると良い。また、静止画取得時には、位置合わせ処理部62は、B1画像信号とB2画像信号の位置合わせ精度を上げ、その代わりに、低解像度化処理部77ではLFPのカットオフ周波数を高周波側にシフトさせると良い。すなわち、動画表示時にはプロセッサ装置16の処理負担が小さい低解像度化処理部77のLPFを優先し、静止画取得時には位置合わせ処理部62による正確な位置合わせを優先すると良い。
なお、位置合わせ処理部62は、動画表示時にはB1画像信号とB2画像信号との位置合わせを行わず、静止画取得時にだけB1画像信号とB2画像信号との位置合わせを行っても良い。
上記実施形態では、低解像度化処理部77は、LPFによって演算画像信号ΔBを低解像度化しているが、LPFの代わりに、演算画像信号ΔBを縮小し、その後元の大きさにまで拡大することでも低解像度化することができる。このように、演算画像信号ΔBを縮小及び拡大して低解像度課する場合、演算画像信号ΔBの縮小時には、エリアジングの少ない縮小方法を採用することが好ましい。例えば、面積平均法によって縮小した後、キュービックスプライン補間によって拡大して、演算画像信号ΔBを低解像度化することができる。
上記実施形態では、第1発光モードでは紫色光Vを照明光として用い、第2発光モードでは青色光Bを照明光として用いているが、特殊観察モード時に用いる互いに波長帯域が異なる二つの照明光は、他の波長帯域の光でも良い。波長帯域を変えることにより、強調する血管の深さを任意に変更した特定深さ血管画像を得ることができる。
また、撮像センサ48のBカラーフィルタは緑色光Gにも感度がある(図6参照)。そして、緑色光Gの反射光等のうちB画素で受光可能な波長帯域の光と、緑色光Gの反射光等のうちG画素で受光可能な波長帯域の光は、観察対象の散乱係数に差があり、かつ、ヘモグロビンの吸光係数がほぼ等しい。このため、例えば、緑色光Gだけを照明光として使用し、緑色光Gが照射された観察対象をB画素が撮像して出力するBG画像信号と、緑色光Gが照射された観察対象をG画素が撮像して出力するGG画像信号とを、上記実施形態のB1画像信号及びB2画像信号の代わりに用いることができる。このように、BG画像信号とGG画像信号とを用いる場合、例えば、中深層血管のうち比較的浅い位置にある中深層血管、または、中深層血管のうち比較的深い位置にある中深層血管を、中深層血管の中から選り分けて強調表示することができる。
同様に、撮像センサ48のRカラーフィルタは緑色光Gにも感度があり(図6)、緑色光Gの反射光等のうちG画素で受光可能な波長帯域の光と、緑色光Gの反射光等のうちR画素で受光可能な波長帯域の光は、観察対象の散乱係数に差があり、かつ、ヘモグロビンの吸光係数がほぼ等しい。このため、光源20は特殊観察モードで使用する第1照明光と第2照明光とを含む広帯域の緑色光Gを照明光として使用し、緑色光Gが照射された観察対象をG画素が撮像して出力するGG画像信号(第1画像信号)と、緑色光Gが照射された観察対象をR画素が撮像して出力するRG画像信号(第2画像信号)とを、上記実施形態のB1画像信号及びB2画像信号の代わりに用いることができる。すなわち、光源20が緑色光Gのように第1照明光と第2照明光を含む広帯域の照明光を発生する場合、画像信号取得部53は、第1画像信号をB画素またはG画素から取得し、第2画像信号をG画素またはR画素から取得することができる。
また、撮像センサ48のGカラーフィルタが紫色光Vや青色光Bにも感度があることを利用して、撮像センサ48が受光する紫色光Vや青色光Bに対応する信号を補っても良い。例えば、紫色光Vを照射したときに、B画素から得られる信号値に、G画素から得られる信号値を加算することで、紫色光Vに対応する信号値を増大させることができる。同様に、青色光Bを照射したときに、G画素から得られる信号値を加算することで、青色光Bに対応する信号値を増大させることができる。
上記実施形態のように、極表層血管124を表層血管123と峻別して強調表示する場合には、第1照明光及び第2照明光の波長帯域は、ともに波長500nm以下の範囲内であることが好ましい。具体的には、上記実施形態の通り、405±10nmに中心波長を有する紫色光Vと、460±10nmに中心波長を有する青色光Bとを、第1照明光及び第2照明光として用いることが好ましい。405±10nmに中心波長を有する紫色光と445±10nmに中心波長を有する青色光を第1照明光及び第2照明光として用いることがさらに好ましい。445±10nmに中心波長を有する青色光は、例えば、B−LED23bの長波長側をカットする光学フィルタをB−LED23bの光路中に用いることで、上記青色光Bから生成することができる。また、B−LED23bを445±10nmに中心波長を有する青色光を発する別のLEDに替えても良い。
中深層血管を、比較的浅い位置にある中深層血管と比較的深い位置にある中深層血管とに分けて強調表示をする場合には、第1照明光及び第2照明光の波長帯域は、ともに500nm以上であることが好ましい。具体的には、波長が約500nmの光と、波長が約600nmの光とを、第1照明光及び第2照明光として用いることが好ましい。
なお、上記実施形態では、演算画像信号生成部76は、粘膜下の特定深さにある極表層血管124の走行パターンを表す演算画像信号ΔBを生成しているが、代わりに、血管密度を表す演算画像信号Dや血管等に含まれるヘモグロビンの酸素飽和度(以下、血管の酸素飽和度という)を表す演算画像信号Sを生成しても良い。
血管密度を表す演算画像信号Dは、上記実施形態の演算画像信号ΔBを用いて算出することができる。例えば、上記実施形態の演算画像信号ΔBは、極表層血管124を抽出した画像信号になっているので(図13参照)、演算画像信号ΔBを用いて単位面積中の極表層血管124の面積の割合を各画素について算出することにより、極表層血管124の血管密度を表す演算画像信号Dを生成することができる。このように演算画像信号Dを生成する場合、画像生成部78は、輝度チャンネルYにB1画像信号を割り当て、かつ、演算画像信号Dを色差チャンネルCb,Crに割り当てることにより、極表層血管124の血管密度を表す血管密度画像を生成する。血管密度画像は、バレット腺癌のステージ判別等の診断に直接的な示唆を与えることができる。
血管の酸素飽和度を表す演算画像信号Sを生成する場合は、例えば、中心波長445±10nmの第1青色光と緑色光Gと赤色光Rとを照射して観察対象を撮像し、かつ、中心波長473±10nmの第2青色光と緑色光Gと赤色光Rとを照射して観察対象を撮像する。第1青色光は、上記中心波長445±10nmになるようにB−LED23bが発する青色光Bの波長帯域を制限する第1光学フィルタ(例えば、青色光Bの長波長側をカットする光学フィルタ)を用いることで、青色光Bから生成することができる。同様に、第2青色光は、上記中心波長473±10nmとなるようにB−LED23bが発する青色光Bの波長帯域を制限する第2光学フィルタ(例えば、青色光Bの短波長側をカットする光学フィルタ)を用いることで、青色光Bから生成することができる。
上記第1青色光は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差が殆どない波長帯域を有する。一方、上記第2青色光は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差がある波長帯域を有する。このため、第1青色光及び第2青色光が照射された観察対象を撮像して得る各画像信号の比または差は、酸素飽和度と相関がある。したがって、第1青色光及び第2青色光に対応する各画像信号の比または差を、酸素飽和度に対応付ける相関関係を実験等により予め求め、演算画像信号生成部76はこの相関関係を予め保持しておく。そして、演算画像信号生成部76は、第1青色光及び第2青色光に対応する各画像信号の比または差を算出して上記相関関係と照らし合わせることで、各画素が観察対象の酸素飽和度の値を表す演算画像信号Sを生成する。画像生成部78は、通常画像処理部66と同様にして、第1青色光と緑色光Gと赤色光とを照射して観察対象を撮像して得た各画像信号を用いて通常画像信号を生成する。そして、輝度チャンネルYに通常画像信号を割り当て、かつ、酸素飽和度を表す演算画像信号Sを色差チャンネルCb,Crに割り当てることにより、観察対象の酸素飽和度を表す酸素飽和度画像を生成する。こうして生成される酸素飽和度画像は、酸素飽和度という診断に有益な情報を表示することができる。
なお、上記実施形態では、撮像センサ48が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システム10によって本発明を実施しているが、カプセル内視鏡システムにも本発明は好適である。例えば、図18に示すように、カプセル内視鏡システムでは、カプセル内視鏡400と、プロセッサ装置(図示しない)とを少なくとも有する。
カプセル内視鏡400は、光源402と光源制御部403と、撮像センサ404と、信号処理部406と、送受信アンテナ408とを備えている。光源402は、上記各実施形態の光源20と同様に構成される。光源制御部403は、上記各実施形態の光源制御部22と同様にして光源402の駆動を制御する。また、光源制御部403は、送受信アンテナ408によって、カプセル内視鏡システムのプロセッサ装置と無線で通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記各実施形態のプロセッサ装置16とほぼ同様であるが、信号処理部406は、通常画像処理部66及び特殊画像処理部67の機能を有している。信号処理部406が生成した血管強調画像信号等は、送受信アンテナ408を介してプロセッサ装置に送信される。撮像センサ404は上記各実施形態の撮像センサ48と同様に構成される。