[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作によって、先端部12dが所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モード切り替えスイッチ(以下、モード切替SWという)13a、ズーム操作部13bが設けられている。モード切替SW13aは、観察モードの切り替え操作に用いられる。内視鏡システム10は、観察モードとして通常観察モードと酸素飽和度観察モードとを有している。通常観察モードは、白色光の反射光によって撮像して得た自然な色合いの画像(以下、通常画像という)をモニタ18に表示する。酸素飽和度観察モードは、酸素飽和度を測定するための特定波長帯域を有する測定光を観察対象に照射して観察対象の酸素飽和度を測定し、酸素飽和度の値を用いて色付けがされた酸素飽和度画像をモニタ18に表示する。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、各観察モードの画像や画像に付帯する画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、四色の半導体光源を有し、観察対象に照射するための光を発生させる光源部20と、観察モード毎に光源部20が発する光の波長帯域を制限する帯域制限部21と、光源部20及び帯域制限部21の駆動を制御する光源制御部22と、光源部20及び帯域制限部21によって生成される光の光路を結合する光路結合部23とを備えている。
光源部20は、V−LED(Violet Light Emitting Diode)20a、B−LED(Blue Light Emitting Diode)20b、G−LED(Green Light Emitting Diode)20c、及びR−LED(Red Light Emitting Diode)20dの四色のLEDを有する。図3に示すように、V−LED20aは、中心波長405nm、波長帯域380〜420nmの紫色光Vを発光する紫色光源である。B−LED20bは、中心波長460nm、波長帯域420〜500nmの青色光Bを発する青色半導体光源である。G−LED20cは、波長帯域が480〜600nmに及ぶ緑色光Gを発する緑色半導体光源である。R−LED20dは、中心波長620〜630nmで、波長帯域が600〜650nmに及び赤色光Rを発光する赤色半導体光源である。なお、V−LED20aとB−LED20bの中心波長は±5nmから±10nm程度の幅を有する。
これらの各LED20a〜20dの点灯や消灯、点灯時の発光量等は、光源制御部22が各々に独立した制御信号を入力するによって制御される。LED20a〜20dは、制御信号が入力されると点灯し、制御信号が入力されない期間は消灯する。また、光源制御部22がLED20a〜20dに入力する制御信号はパルス信号であり、制御信号の強度変調(パルス強度の変更)やパルス変調(パルス幅またはパルス数の変更)によって、LED20a〜20dの発光量が変更される。制御信号のパルス強度は、LED20a〜20dを駆動するための光源制御パラメータであり、具体的にはLED20a〜20dの駆動電力、駆動電圧、及び駆動電流のいずれかである。すなわち、駆動電力、駆動電圧、及び駆動電流は、光源制御パラメータである。パルス幅は、LED20a〜20dが発光する時間の長さに関連する光源制御パラメータである。パルス強度が大きいほど発光量は多くなり、パルス幅が長いほど発光量が多くなる。そして、特定の時間内に入力する制御パルスの数(パルス数)が多いほど発光量は多くなる。
なお、LED20a〜20dは、制御信号の強度変調やパルス変調をすることによって発光量が変更される場合、発光量が線形に変化することが好ましいが、実際には非線形に変化する。例えば、図4に示すように、B−LED20bに入力する制御信号の強度変調をすることにより、低電力PWL、中電力PWM、高電力PWHの三段階の駆動電力で発光させると、駆動電力の増大にともなって、ピーク波長を中心に発光量が増大し、かつ、全体としての発光量(図4に示す分光スペクトルの各グラフの面積)が増大する。このとき、各駆動電力PWL,PWM,PWHの各分光スペクトルが相似形であり、その面積(発光量)だけが変化することが望ましいが、ピーク波長のシフトや分光スペクトルの形状も変化する。本実施形態のB−LED20bの場合、駆動電力を増加させると、ピーク波長は徐々に長波長側にシフトし、さらにピーク波長を中心とする分光スペクトルの形状も変化する。ピーク波長のシフト幅は、例えば5nm〜10nm程度である。このように発光量を変更するための制御によって、分光スペクトルのピーク波長や形状に変化が生じるのは、V−LED20a、G−LED20c、及びR−LED20dも同様である。但し、分光スペクトルの変化の仕方は各々に異なる。
帯域制限部21は、B−LED20bの光路上に設けられ、B−LED20bが発する青色光から各観察モードに適した特定波長帯域を有する光を生成する。具体的には、図5に示すように、帯域制限部21は、ショートパスフィルタ(SPF)21aとロングパスフィルタ(以下、LPF)21bとを有する。そして、これらは選択された観察モードにしたがって切り替え自在である。SPF21aとLPF21bの切り替えは、光源制御部22によって制御される。
SPF21aは、通常観察モード時にB−LED20bの光路上(例えばB−LEDの前面)に配置され(図5参照)、青色光Bから通常観察モード用の青色光(以下、通常観察用青色光という)BSを生成する。図6に示すように、SPF21aは、B−LED20bが発する青色光Bの短波長側の波長帯域(波長460nm未満)を透過し、長波長側の波長帯域(波長460nm以上)をカットする特性を有する。このため、SPF21aが生成する通常観察用青色光BSは、460nm未満の波長帯域の光である。通常は、B−LED20bの発光量を大きくすることで、SPF21aが生成する通常観察用青色光BSの光量も大きくなるが、前述のようにB−LED20bは発光量の変更によって分光スペクトルにも変化があるので、通常観察用青色光BSの光量もこの分光スペクトルの変化にしたがった変動がある。本実施形態のB−LED20bの場合、発光量(駆動電力)を大きくすることでピーク波長が長波長側にシフトするので、B−LED20bを低電力PWLで駆動した方が、高電力PWH(あるいは中電力PWM)で駆動するよりもSPF21aによって生成される通常観察用青色光BSの光量が大きい場合がある。
通常観察モードの場合、光源制御部22は、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。このため、通常観察モード時には、図7に示すように、通常観察用青色光BSと緑色光Gと赤色光Rとが光路結合部23によって結合され、照明光として観察対象に照射される。通常観察用青色光BSと緑色光Gと赤色光Rとからなる照明光は、ほぼ白色光(以下、通常観察用白色光という)である。このように、通常観察モード時にSPF21aによって青色光Bから通常観察用青色光BSを生成するのは、460〜500nmの波長帯域の光が表層血管やピットパターン等の構造のコントラストを低下させてしまうからである。
なお、本実施形態では、通常観察モードの場合、V−LED20aを点灯させ、紫色光Vを含む通常観察用白色光を観察対象に照射させるが、通常観察モードではV−LED20aを消灯させても良い。また、上記SPF21aは模式的に波長460nmで青色光Bをカットしているが、実際のカット特性は波長5〜10nm程度の幅を持つ。このため、波長460nm以上をカットするために、SPF21aは、波長450nm付近から透過率が減衰する特性を有することが好ましい。なお、キセノン光源との演色性を維持するためには、観察対象に照射する照明光の分光スペクトルに離散的な波長帯域がないことが好ましい。このため、SPF21aのカット特性は、青色光Bの波長460nm以上の波長帯域の光を厳密に零にするのものではなく、キセノン光源との演色性が維持可能な程度に波長460nm以上の波長帯域の光を低減する特性を有する。このため、SPF21aを用いた場合でも、観察対象に照射する照明光には離散的な波長帯域はない(図7参照)。
図8に示すように、LPF21bは、酸素飽和度観察モード時にB−LED20bの光路上に配置され、青色光Bから酸素飽和度を測定するための特定波長帯域を有する測定光BLを生成する。図9に示すように、LPF21bは、B−LED20bが発する青色光Bの短波長側(450nm未満)をカットし、長波長側(450nm以上)を透過する。このため、LPF21bが生成する測定光BLは、450nm以上の波長帯域を有する光である。通常は、B−LED20bの発光量を大きくすることで、LPF21bが生成する測定光BLの発光量も大きくなるが、前述のようにB−LED20bは発光量の変更によって分光スペクトルにも変化があるので、測定光BLの光量にもこの分光スペクトルの変化にしたがった変動がある。このため、通常観察用青色光BSと同様に、発光量(駆動電力)を大きくすることで測定光BLの光量が減ってしまう場合があるが、本実施形態のB−LED20bの場合、駆動電力を大きくすることで、ピーク波長が長波長側にシフトするので、B−LED20bの駆動電力を大きくすれば測定光BLの光量も大きくなる。
酸素飽和度を測定するための特定波長帯域とは、酸素飽和度によって吸光量に違いが生じる程度に酸化ヘモグロビンの吸光係数と還元ヘモグロビンの吸光係数に差がある波長帯域である。図10に示すように、酸化ヘモグロビンの吸光係数(グラフ30)と還元ヘモグロビンの吸光係数(グラフ31)の大小関係は波長帯域によって異なり、複数の波長帯域でこれらの大小関係は逆転する。例えば、紫色から青色の波長帯域では、約420nm、約450nm、約500nmに酸化ヘモグロビンと還元ヘモグロビンの吸光係数が一致する波長(以下、等吸収点という)があり、420〜450nmの波長帯域では、酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも小さく、450〜500nmの波長帯域では酸化ヘモグロビンの吸光係数は還元ヘモグロビンの吸光係数よりも大きい。
これらの各波長帯域はどちらも酸素飽和度を測定するための特定波長帯域として利用することができるが、本実施形態の場合、B−LED20bは波長帯域420〜500nmの青色光Bを発し、LPF21bは波長460nm以上を透過して測定光BLを生成するので、測定光BLは、ほぼ酸化ヘモグロビンの吸光係数が還元ヘモグロビンの吸光係数以下である460〜500nmの波長帯域を有する。LPF21bの代わりに、450nm以下の波長帯域を透過するSPFを用いれば、測定光BLの波長帯域を、酸化ヘモグロビンの吸光係数が還元ヘモグロビンの吸光係数以上である420〜450nmの波長帯域にすることができる。また、LPF21bの代わりに、460〜500nmの波長帯域または420〜450nmの波長帯域のいずれかを透過するバンドパスフィルタ(BPF)を用いても良い。但し、観察対象への深達度は波長帯域によって異なり、長波長ほど観察対象の深い位置まで到達することができ、短波長ほど観察対象の浅い位置で反射される。具体的には、420〜450nmの波長帯域の光は、主に表層と称される程度の深さまで到達し、460〜500nmの波長帯域の光は、表層〜中層と称される程度の深さまで到達する。このため、420〜450nmの波長帯域の光を測定光BLにすると、表層付近の酸素飽和度を測定することができ、460〜500nmの波長帯域の光を測定光BLにすると、表層〜中層付近の酸素飽和度を測定することができる。
なお、B−LED20bが発する青色光Bの波長帯域は、等吸収点を含んでいる。このため、青色光Bは、酸化ヘモグロビンの吸光係数が還元ヘモグロビンの吸光係数以上の波長帯域と、酸化ヘモグロビンの吸光係数が還元ヘモグロビンの吸光係数以下の波長帯域との両方が含まれているので、青色光Bそのものを、酸素飽和度を測定するための測定光として用いると、酸素飽和度を測定できるとしても測定精度が低い。このため、帯域制限部21は、上記のように、酸化ヘモグロビンの吸光係数が還元ヘモグロビンの吸光係数以下の波長帯域、または酸化ヘモグロビンの吸光係数が還元ヘモグロビンの吸光係数以上の波長帯域のいずれかの波長帯域を有する測定光BLを生成する。
本実施形態では模式的に、LPF21bが波長450nm未満をカットしているが、実際のカット特性は波長5〜10nm程度の幅を持つ。このため、LPF21bは、波長450nm未満をカットするために、例えば、波長460nm付近から透過率が減衰する特性を有することが好ましい。これは、上記のように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が一致する等吸収点が波長450nmにあるからである。このように、LPF21bは波長450nm未満の光をカットする特性を有することで、測定光が無駄なく酸素飽和度の算出に利用可能となり、かつ、正確な酸素飽和度を求めることができる。
酸素飽和度観察モード時には、光源制御部22は、第1発光モードと、第2発光モードとで光源部20を制御し、第1発光モードと第2発光モードとを切り替える制御をする。第1発光モードは、通常観察モードと同様にほぼ白色光を観察対象に照射するための発光モードであり、光源制御部22は四色のLED20a〜20dを全て点灯させる。このため、第1発光モードでは、図11に示すように、紫色光Vと、LPF21bによって青色光Bから生成される測定光BLと、緑色光Gと、赤色光Rとが光路結合部23によって結合され、照明光として観察対象に照射される。第1発光モードで観察対象に照射される照明光は、上記のように紫色光V,測定光BL,緑色光G,及び赤色光Rを含むほぼ白色光(以下、酸素飽和度観察用白色光という)である。なお、LPF21bのカット特性は、青色光Bの波長450nm未満の波長帯域の光を厳密に零にするのものではなく、第1発光モードにおいてキセノン光源との演色性が維持可能な程度に波長450nm未満の波長帯域の光を低減する特性を有する。このため、LPF21bを用いた場合でも、第1発光モードでは、観察対象に照射する照明光には離散的な波長帯域はない(図11参照)。
第2発光モードは、酸素飽和度の測定するための発光モードであり、光源制御部22はB−LED20bを点灯させ、V−LED20a、G−LED20c、及びR−LED20dを消灯する(あるいは消灯しているとみなせる程度に減光する)。このため、図12に示すように、第2発光モードでは、測定光BLが照明光として観察対象に照射される。
上記のように生成される各種照明光は、光路結合部23を介して挿入部12a内に挿通されたライトガイド41に入射される。ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23から導光される照明光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた経がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41によって伝搬された照明光は観察対象に照射される。したがって、照明光学系30a(あるいは照明レンズ45)は、帯域制限部21で生成された測定光BL等の照明光を観察対象へ照射する照射部を構成する。撮像光学系30bは、対物レンズ46、ズームレンズ47、撮像センサ48を有している。観察対象からの反射光は、対物レンズ46及びズームレンズ47を介して撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。なお、ズームレンズ47は、ズーム操作部13bを操作することで、テレ端とワイド端の間で自在に移動され、撮像センサ48に結像する観察対象の反射像を拡大または縮小する。
撮像センサ48は、撮像光学系30a等で構成される照射部によって測定光BL等の照明光で照明された撮像する。撮像センサ48はカラー撮像センサであり、観察対象の反射像を撮像して画像信号を出力する。撮像センサ48としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。また、撮像センサ48は、図13に示すR(赤色)カラーフィルタ,G(緑色)カラーフィルタ,及びB(青色)カラーフィルタの三色のカラーフィルタが画素毎に設けられており、観察対象の反射像を撮像して色毎の画像信号を出力する。すなわち、撮像センサ48は、Rカラーフィルタが設けられたR画素(赤色画素)と、Gカラーフィルタが設けられたG画素(緑色画素)と、Bカラーフィルタが設けられたB画素(青色画素)とを有し、各画素からそれぞれ画像信号を出力することにより、RGB画像信号を出力する。
より具体的には、表1に示すように、通常観察モードの場合、観察対象には通常観察用白色光が照射されるので、撮像センサ48は、通常観察用白色光のうち紫色光Vと通常観察用青色光BSの各反射光をB画素で受光し、青色画像信号(以下、B画像信号という)を出力する。同様に、通常観察用白色光のうち緑色光Gの反射光をG画素で受光し、緑色画像信号(以下、G画像信号という)を出力し、赤色光Rの反射光をR画素で受光し、赤色画像信号(以下、R画像信号という)を出力する。
また、表2に示すように、酸素飽和度観察モードにおいて、光源制御部22が第1発光モードで光源部20を制御する場合、観察対象には酸素飽和度観察用白色光が照射されるので、撮像センサ48は、酸素飽和度観察用白色光のうち紫色光V及び測定光BLの反射光をB画素で受光して第1青色画像信号(以下、B1画像信号という)を出力する。同様に、酸素飽和度観察用白色光のうち、緑色光Gの反射光をG画素で受光し、第1緑色画像信号(以下、G1画像信号という)を出力し、赤色光Rの反射光をR画素で受光し、第1赤色画像信号(以下、R1画像信号という)を出力する。
表3に示すように、酸素飽和度観察モードにおいて、光源制御部22が第2発光モードで光源部20を制御する場合には、観察対象には測定光BLが照射されるので、撮像センサ48は、B画素で測定光BLの反射光を受光し、第2青色画像信号(以下、B2画像信号)を出力する。なお、撮像センサ48は、第2発光モード時にもG画素から第2緑色画像信号を出力し、R画素から第2赤色画像信号を出力できるが、これらは酸素飽和度の算出や酸素飽和度画像の生成に利用されないので、本実施形態では、撮像センサ48はB2画像信号だけを出力する。
なお、原色のカラー撮像センサである撮像センサ48の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの四色の画像信号が出力されるので、補色−原色色変換によって、CMYGの四色の画像信号をRGBの三色の画像信号に変換することにより、撮像センサ48と同様のRGB画像信号を得ることができる。また、撮像センサ48の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。この場合、光源制御部22は、必要に応じて、紫色光V、青色光B、緑色光G、及び赤色光Rを時分割で点灯させる。但し、紫色光Vと測定光BLはどちらもB画素で受光されるので、紫色光Vと青色光Bは同時に点灯させても良い。
撮像センサ48から出力される画像信号は、CDS/AGC回路50に送信される。CDS/AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS;Correlated Double Sampling)や自動利得制御(AGC;Automatic Gain Control)を行う。CDS/AGC回路50を経た画像信号は、A/Dコンバータ52により、デジタル画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に入力される。
プロセッサ装置16は、受信部53と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、画像処理切替部60と、通常画像処理部62と、酸素飽和度画像処理部64と、映像信号生成部66と、目標露出量決定部67と、露出制御部68とを備えている。受信部53は、内視鏡12からのデジタルのRGB画像信号を受信する。
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたRGB画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のRGB画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のRGB画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のRGB画像信号には、デモザイク処理(等方化処理、または同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。
ノイズ除去部58は、DSP56でデモザイク処理等が施されたRGB画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等による)を施すことによって、RGB画像信号からノイズを除去する。ノイズが除去されたRGB画像信号は、画像処理切替部60に送信される。画像処理切替部60は、モード切替SW13aによって通常観察モードにセットされている場合には、RGB画像信号を通常画像処理部62に送信し、酸素飽和度観察モードにセットされている場合には、RGB画像信号を酸素飽和度画像処理部64に送信する。
通常画像処理部62は、通常観察モードにセットされている場合に作動し、RGB画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行い、通常画像を生成する。色変換処理では、RGB画像信号に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(ルックアップテーブル)処理などにより色変換処理を行う。色彩強調処理は、色変換処理済みのRGB画像信号に対して行われる。構造強調処理は、例えば表層血管やピットパターン等の観察対象の構造を強調する処理であり、色彩強調処理後のRGB画像信号に対して行われる。上記のように、構造強調処理まで各種画像処理等を施したRGB画像信号を用いたカラー画像が通常画像である。
酸素飽和度画像処理部64は、図14に示すように、信号比算出部71と、相関関係記憶部72と、酸素飽和度算出部73と、色変換処理部76と、色彩強調処理部77と、構造強調処理部78と、画像生成部79とを備える。
信号比算出部71は、酸素飽和度算出部73で酸素飽和度の算出のために用いる信号比を算出する。具体的には、信号比算出部71は、第2発光モードの測定光BLの反射光によって観察対象を撮像して得られるB2画像信号と第1発光モードの照明光の反射光によって観察対象を撮像して得られるG1画像信号の比(以下、信号比B2/G1という)をそれぞれ画素毎に算出する。また、第1発光モードの照明光の反射光によって観察対象を撮像して得られるR1画像信号とG1画像信号の比(以下、信号比R1/G1という)をそれぞれ画素毎に算出する。
相関関係記憶部72は、信号比算出部71が算出する各信号比と、酸素飽和度との相関関係を記憶している。この相関関係は、図15に示すように、二次元空間上に酸素飽和度の等値線を定義した二次元テーブルで記憶されている。信号比に対する等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られる。各等値線の間隔は血液量を表す信号比R1/G1に応じて変化する。なお、信号比と酸素飽和度との相関関係はlogスケールで記憶されている。
上記相関関係は、酸化ヘモグロビン及び還元ヘモグロビンの吸光特性(図10参照)や光散乱特性と密接に関連している。酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きい測定光BLの波長帯域では、酸素飽和度の情報を取り扱いやすいが、測定光BLに対応するB2画像信号は、酸素飽和度だけでなく、血液量にも依存度が高い。そこで、B2画像信号に加え、主として血液量に依存して変化するG1画像信号と、酸素飽和度及び血液量に愛する依存度が低いR1画像信号とから求められる信号比R1/G1を用いることで血液量に依存することなく、酸素飽和度を正確に求めることができるようにしている。
酸素飽和度算出部73は、相関関係記憶部72に記憶された相関関係を参照して、信号比算出部71で算出される信号比B2/G1と信号比R1/G1に対応する酸素飽和度を算出する。例えば、特定画素において信号比がB2*/G1*とR1*/G1*である場合、相関関係を参照すると、これらに対応する酸素飽和度は「60%」である(図14参照)。このため、酸素飽和度算出部73は、この特定画素の酸素飽和度を「60%」と算出する。
なお、信号比B2/G1及び信号比R1/G1が極めて大きくなってしまったり、極めて小さくなったりすることはほとんどない。すなわち、信号比B2/G1と信号比R1/G1の組み合わせが、酸素飽和度0%を表す下限等値線を上回ったり、酸素飽和度100%を表す上限等値線を下回ったりすることはほとんどない。但し、算出する酸素飽和度が下限等値線を下回った場合、酸素飽和度算出部73は酸素飽和度を0%と算出し、上限等値線を上回ったりしてしまった場合には、酸素飽和度算出部73は酸素飽和度を100%と算出する。
上記のように酸素飽和度を算出する一方で、酸素飽和度画像処理部64は、色変換処理部76、色彩強調処理部77、及び構造強調処理部78によって酸素飽和度画像のベースとなる画像(以下、ベース画像という)を生成する。色変換処理部76は、第1発光モードの照明光の反射光によって観察対象を撮像して得られるB1画像信号、G1画像信号、及びR1画像信号に対して、3×3のマトリックス処理、階調変換処理、及び3次元LUT処理などにより色変換処理を行う。色彩強調処理部77は、色変換処理済みのB1画像信号、G1画像信号、及びR1画像信号に対して色彩強調処理を施す。構造強調処理部78は、色彩強調処理済みのB1画像信号、G1画像信号、及びR1画像信号に対して、例えば表層血管やピットパターン等の観察対象の構造を強調する構造強調処理を施す。すなわち、ベース画像は、通常画像処理部62と同様の各種画像処理等を施したB1画像信号、G1画像信号、及びR1画像信号によって形成される。
画像生成部79は、酸素飽和度算出部73が算出する酸素飽和度と、上記各種画像処理等が施されたB1画像信号、G1画像信号、及びR1画像信号とを用いて、観察対象の酸素飽和度を表す酸素飽和度画像を生成する。具体的には、画像生成部79は、B1画像信号、G1画像信号、及びR1画像信号に対して酸素飽和度に応じたゲインを画素毎に施す。例えば、画像生成部79は、酸素飽和度が60%以上の画素ではB1画像信号、G1画像信号、及びR1画像信号に同じゲイン「1」を乗じる。これに対して、酸素飽和度が60%未満の画素では、酸素飽和度の値を用いて、B1画像信号に対して「1」未満のゲインを乗じ、G1画像信号とR1画像信号に対しては「1」以上のゲインを乗じる。このゲイン処理後のB1画像信号、G1画像信号、及びR1画像信号を用いたカラー画像が酸素飽和度画像である。したがって、酸素飽和度画像では、高酸素の画素(酸素飽和度が60〜100%の画素)では通常画像と同様の色で表されるが、低酸素の画素(酸素飽和度が60%未満の画素)は通常画像とは異なる色(疑似カラー)で表される。
なお、本実施形態では、画像生成部79は、低酸素の画素だけを疑似カラー化するゲインを乗じているが、高酸素の画素も酸素飽和度に応じたゲインを施し、酸素飽和度画像の全体を疑似カラー化しても良い。また、低酸素の画素と高酸素の画素を酸素飽和度60%で分けているがこの境界は任意である。
上記のように、通常画像処理部62が生成する通常画像、及び、酸素飽和度画像処理部64が生成する酸素飽和度画像は、映像信号生成部66に入力される。映像信号生成部66は通常画像や酸素飽和度画像をモニタ18で表示可能な画像として表示するための映像信号に変換する。この映像信号を用いて、モニタ18は、通常画像や酸素飽和度画像を表示する。
目標露出量決定部67は、ノイズ除去部58から画像信号を取得し、取得した画像信号を用いて目標露出量を決定する。目標露出量は、撮像センサ48のRGB各色画素の露出量の目標値であり、目標露出量にしたがって、適切な明るさ及び色合いの画像を得るためのLED20a〜20dの発光量または撮像センサ48の露光時間が制御される。本実施形態では、目標露出量にしたがってLED20a〜20dの発光量が制御される。
通常観察モードの場合、目標露出量決定部67はノイズ除去部58からB画像信号、G画像信号、及びR画像信号を取得し、これらを用いて輝度信号Yを生成する。そして、生成した輝度信号Yを用いて、撮像センサ48のB画素での露出量を定めるB画素目標露出量と、G画素での露出量を定めるG画素目標露出量と、R画素での露出量を定めるR画素目標露出量とを決定する。例えば、輝度信号Yの信号値が平均的範囲から外れている場合には、輝度信号Yが平均的範囲に近づくようにこれらの各色画素の目標露出量を決定する。
酸素飽和度観察モードの場合、目標露出量決定部67はノイズ除去部58から光源部20を第1発光モードに制御した場合に得られるB1画像信号、G1画像信号、及びR1画像信号を取得し、これらを用いて輝度信号Yを生成する。そして、輝度信号Yを用いて、通常観察モード時と同様に各色画素の目標露出量、すなわちB画素目標露出量、G画素目標露出量、及びR画素目標露出量を決定する。なお、これらの目標露出量は光源部20を第1発光モードに制御する場合のためのものである。光源部20を第2発光モードに制御する場合のB画素目標露出量は、上記第1発光モード時のG画素目標露出量を用いて決定される。これは、信号比B2/G1を用いる酸素飽和度の算出方法が、B2画像信号とG1画像信号を得る際の各露出量(例えば第1発光モードの緑色光Gと第2発光モードの測定光BLの光量比)が特定のバランスになっていることを前提としているからである。具体的には、第1発光モード時のG画素目標露出量と、第2発光モード時のB画素目標露出量の比率は、特定比(以下、BG露出比という)として予め定められており、第1発光モード時のG画素目標露出量をLG1、第2発光モード時のB画素目標露出量をLB2、BG露出比をαB/Gとすると、第2発光モード時のB画素目標露出量LB2はLB2=αB/G×LG1に決定される
上記のように目標露出量決定部67が決定した各色画素の目標露出量は、露出制御部68に入力される。露出制御部68は、各LED20a〜20dの発光量の変更にともなう分光スペクトルの変動を考慮して、撮像センサ48の各色画素の露出量が正確に目標露出量となるように光源制御部22に指示を与えることでLED20a〜20dを制御する制御部であり、光源制御パラメータ設定部81と、対応関係記憶部82とを備える。
光源制御パラメータ設定部81は、通常観察モードの場合、目標露出量を用いて各LED20a〜20dの駆動電力等の光源制御パラメータを求め、これを光源制御部22に入力することにより各LED20a〜20dの発光量を設定する。また、光源制御パラメータ設定部81は、酸素飽和度観察モードの場合に、各色の目標露出量と、対応関係記憶部82に記憶された対応関係を用いることで、各LED20a〜20dの発光量の変更にともなう分光スペクトルの変動を考慮して、各色画素の実際の露出量が正確に目標露出量となるように各LED20a〜20dの発光量を設定する。
撮像センサ48の露光時間が特定の長さに制御されているとすれば、撮像センサ48の各色画素での露出量は、概ね各LED20a〜20dが発する各色光の分光スペクトルと、観察対象に含まれるヘモグロビンの吸光特性(図10)と、カラーフィルタの分光特性(図13)の積になる。ヘモグロビンの吸光特性やカラーフィルタの分光特性は一定であるが、LED20a〜20dは発光量の変更により分光スペクトルの変動があるので、この分光スペクトルの変動を考慮せずにLED20a〜20dの発光量を設定すると、撮像センサ48での実際の露出量にはLED20a〜20dの分光スペクトルの変動による誤差が生じて、実際の露出量が目標露出量にならない。また、酸素飽和度は信号比B2/G1を用いて求めるので、酸素飽和度の算出精度は概ねB2画像信号とG1画像信号(特にB2画像信号)の露出量で決まるので、第1発光モード時のG画素の露出量や第2発光モード時のB画素の露出量に誤差が含まれていると、酸素飽和度の算出精度が低下する。
例えば、B−LED20bを低電力PWL、中電力PWM、高電力PWHの三段階で制御する場合、駆動電力に応じたピーク波長のシフトと分光スペクトル形状の変動は、図16に示すように、B画素で受光する段階では、観察対象(ヘモグロビン)とカラーフィルタを介することで助長される。このため、図17に示すように、B−LED20bの発光量を変更しても青色光Bの分光スペクトルに変動が生じなければ、駆動電力とB画素での露出量との間には比例関係(一点鎖線で示すグラフ90)になるが、実際には、駆動電力とB画素での露出量との関係は非線形な関係(実線で示すグラフ91)になる。したがって、分光スペクトルの変動を考慮せずに目標露出量に対応する駆動電力を設定すると、実際の露出量には誤差ΔL,ΔM,ΔHが生じ、酸素飽和度の値にもこれに対応する誤差が生じる。
対応関係記憶部82は、目標露出量と、実際の露出量を目標露出量とするための各LED20a〜20dの光源制御パラメータとの非線形な対応関係を記憶している。この対応関係を用いて得られる光源制御パラメータに基づいてLED20a〜20dを制御することで、LED20a〜20dのスペクトル変動による露出量の誤差(例えば、ΔL,ΔM,ΔH)を生じることなく、撮像センサ48の各色画素の露出量を正確に目標露出量にすることができる。本実施形態では、各LED20a〜20dの発光量を強度変調によって変更するので、図18に示すように、対応関係記憶部82は、目標露出量と、実際の露出量を目標露光量にするための各LED20a〜20dの駆動電力との対応関係を記憶する。光源制御パラメータ設定部81は、この対応関係を用いて、分光スペクトルの変動も含めて目標露出量となる駆動電力を求める。例えば、目標露出量がEV*の場合、実際の露出量が目標露出量になるための駆動電力はPW*である。なお、対応関係記憶部82は、上記対応関係を色毎に記憶しており、光源制御パラメータ設定部81は、これら各色の対応関係に基づいて各LED20a〜20dの駆動電力等の制御パラメータを求め、これを光源制御部22に入力することにより各LED20a〜20dの発光量を設定する。光源制御部22は、光源制御パラメータ設定部81から入力される各LED20a〜20dの制御パラメータにしたがって各LED20a〜20dを制御する。
次に、本実施形態における一連の流れを図19のフローチャートに沿って説明する。まず、通常観察モードにおいて、遠景状態からスクリーニングを行う(S10)。このスクリーニング時に、ブラウニッシュエリアや発赤など、病変の可能性がある部位(以下、病変可能性部位という)を検出したときには(S11)、ズーム操作部13bを操作して、病変可能性部位を含む観察対象を拡大表示する拡大観察を行う。これに合わせて、モード切替SW13aを操作して、観察モードを酸素飽和度観察モードに切り替える(S12)。
観察モードが酸素飽和度観察モードに切り替えられると、光源制御部22は、まず、帯域制限部21のLPF21bをB−LED20bの光路上に配置する。そして、光源制御部22は、第1発光モードで光源部20を制御し、紫色光Vと測定光BLと緑色光Gと赤色光Rとからなる酸素飽和度観察用白色光を観察対象に照射させ(S13)、撮像センサ48はこの酸素飽和度観察用白色光の反射光により観察対象を撮像して、B1画像信号、G1画像信号、及びR1画像信号を出力する(S14)。
その後、光源制御部22は、発光モードを自動的に切り替え、第2発光モードで光源部20を制御し、測定光BLを観察対象に照射させ(S15)、撮像センサ48は測定光BLの反射光により観察対象を撮像して、B2画像信号を出力する(S16)。
こうして、第1発光モードの照明光の反射光によって観察対象を撮像することによってB1画像信号、G1画像信号、及びR1画像信号が得られ、第2発光モードの測定光BLの反射光によって観察対象を撮像することによってB2画像信号が得られると、酸素飽和度画像処理部64は信号比算出部71によって信号比B2/G1と信号比R1/G1を算出し(S17)、酸素飽和度算出部73によって酸素飽和度を算出する(S18)。一方で、酸素飽和度画像処理部64は、色変換処理部76、色彩強調処理部77、及び構造強調処理部78によってB1画像信号、G1画像信号、及びR1画像信号に対して各種画像処理等を施して酸素飽和度画像のベースとなる画像を生成する。そして、画像生成部79によって、各種画像処理等が施されたB1画像信号、G1画像信号、及びR1画像信号に酸素飽和度に応じたゲインを施し、酸素飽和度に応じたゲインを施したB1画像信号、G1画像信号、及びR1画像信号を用いて酸素飽和度画像を生成する(S19)。上記のように生成された酸素飽和度画像は、映像信号生成部66で映像信号に変換され、モニタ18に表示される(S20)。
一方、目標露出量決定部67は、B1画像信号、G1画像信号、及びR1画像信号を取得し、これらを用いて輝度信号Yを生成する。そして、輝度信号Yを用いて、第1発光モード時の各色画素の目標露出量を決定し、かつ、第1発光モード時のG画素目標露出量とBG露出比を用いて第2発光モード時のB画素目標露出量を決定する(S21)。その後、光源制御パラメータ設定部81は、対応関係記憶部82が記憶する対応関係を用いて、分光スペクトルの変動を考慮した各LED20a〜20dの駆動電力等の制御パラメータを求め、これを光源制御部22に入力することにより各LED20a〜20dの発光量を設定する(S22)。上記酸素飽和度観察モードによる観察は、通常観察モードに切り替えるか(S23)、診断を終了するまで(S24)繰り返し行われ、酸素飽和度観察モードでの観察を継続する場合、光源制御部22は、次に第1,第2発光モードで光源部20を制御する際には(S13,S15)、光源制御パラメータ設定部81から入力される制御パラメータにしたがってLED20a〜20dを発光させる。これにより、酸素飽和度観察モードでは、実際の各色画素の露出量が目標露出量になるように、LED20a〜20dの発光量が分光スペクトルの変動を含めて正確に制御される。このため、内視鏡システム10によれば、酸素飽和度の算出精度を維持することができる。
なお、上記観察フローは一つの例であり、これ以外のフローで酸素飽和度観察モードを用いた観察及び診断を行って良い。例えば、上記観察フローでは、近景観察時に酸素飽和度観察モードによって観察をしているが、スクリーニング等のために遠景観察をする場合にも酸素飽和度観察モードを使用して観察してよい。
また、上記第1実施形態では、酸素飽和度観察モードの場合に、光源制御パラメータ設定部81が目標露出量から各LED20a〜20dの制御パラメータを求めるときに対応関係記憶部82に記憶された対応関係を用いることで、各LED20a〜20dの分光スペクトルの変動があっても実際の露出量が目標露出量になるように制御しているが、通常観察モード時に各LED20a〜20dの発光量を変更すると分光スペクトルに変動が生じるので、通常観察モード時にも酸素飽和度観察モードと同様に分光スペクトルの変動を考慮した制御をすることが好ましい。通常観察モード時には、SPF21aがB−LED20bの光路上に配置されるので、駆動電力と実際の露出量の関係は例えば図20に示すグラフ93の関係になる。このため、通常観察モード時に分光スペクトルの変動を考慮した発光量制御をするためには、対応関係記憶部82には、図21に示すように、通常観察モード用の目標露出量と各LED20a〜20dの制御パラメータ(駆動電力等)の対応関係を記憶しておく。そして、光源制御パラメータ設定部81はこの通常観察モード用の対応関係を用いて各LED20a〜20dの発光量を設定する。こうすることで、通常観察モード時も各LED20a〜20dの分光スペクトルの変動によらずに、各色画素の実際の露出量を正確に目標露出量に制御することができる。
[第2実施形態]
図22に示す内視鏡システム200は、第1実施形態の内視鏡システム10に対して撮像制御部222を備え、露出制御部68には光源制御パラメータ設定部81の代わりに露光時間設定部281を備える。また、対応関係記憶部82には目標露出量と撮像センサ84の制御パラメータとの対応関係が記憶されている。それ以外の構成は第1実施形態の内視鏡システム10と同じである。
内視鏡システム200の対応関係記憶部82が記憶する対応関係は、目標露出量と撮像センサ84の露光時間との対応関係である。前述のように、B−LED20bの駆動電力と実際の露出量の関係は非線形な関係にあり、B−LED20bの発光量(駆動電力)が大きくなると、分光スペクトルの変動にともなって目標露出量よりも実際の露出量が大きくなる(図17参照)。このため、内視鏡システム200の対応関係記憶部82が記憶する目標露出量と撮像センサ84の露光時間との対応関係は、グラフ化すると、図23に示すように、目標露出量が大きくなるほど、基準とする特定露光時間ETNよりも露光時間が短くなる非線形なグラフになる。
露光時間設定部281は、目標露出量決定部67が決定する目標露出量と、目標露出量と撮像センサ84の露光時間との対応関係とを用いて、撮像センサ84の露光時間を求め、その値を撮像制御部222に入力することにより、撮像センサ84の露光時間を設定する。例えば、目標露出量がEV*の場合、露光時間は特定露光時間ETNよりも短い露光時間ET*に設定される。撮像センサ84は、露光時間設定部281によって設定される値に撮像センサ84の露光時間を制御する。
上記内視鏡システム200のように、目標露出量に応じて撮像センサ84の露光時間を設定すると、各LED20a〜20dの発光量の変更にともなって分光スペクトルが変動し、実際の発光量に誤差が生じても、この誤差は、露光時間の短縮(あるいは延長)によって補正される。このため、第1実施形態の内視鏡システム10のように各LED20a〜20dの発光量を分光スペクトルの変動を考慮して制御する場合と同様に、内視鏡システム200のように目標露出量に応じて撮像センサ84の露光時間を設定することでも、各色画素の実際の露出量を正確に目標露出量にすることができる。
上記第2実施形態では、各LED20a〜20dの分光スペクトルの変動に応じて撮像センサ84の露光時間だけを調節しているが、各LED20a〜20dの発光量の制御と撮像センサ84の露光時間の制御を組み合わせて、各LED20a〜20dの分光スペクトルの変動による各色画素の実際の露出量の誤差を抑えるようにしても良い。この場合、露出制御部68には、光源制御パラメータ設定部81や露光時間設定部281の代わりに(あるいはこれらの機能を統合して)、発光量と露光時間を設定する露出パラメータ設定部(図示しない)を設ける。そして、対応関係記憶部82には、目標露出量と、各LED20a〜20dを制御するための光源制御パラメータと、撮像センサ84の露光時間と、を対応付ける対応関係を記憶しておく。そして、露出パラメータ設定部は、目標露出量と対応関係を用いて、各LED20a〜20dを制御するための光源制御パラメータと、撮像センサ84の露光時間との二つの露出パラメータを求める。光源制御パラメータと露光時間は、それぞれ光源制御部22と撮像制御部222に入力すれば良い。このように、各LED20a〜20dの発光量と撮像センサ84の露光時間の両方を制御すると、各LED20a〜20dの発光量の補正量と撮像センサ84の露光時間の補正量を小さくすることができるので、安定した制御をすることができる。
上記第1,第2実施形態では、図3に示す分光スペクトルを有する四色の光を用いているが、他の分光スペクトルを有する四色の光を用いても良い。例えば、図24に示すように、緑色光G及び赤色光Rは上記各実施形態と同様の分光スペクトルを有する一方で、紫色光については、紫色光V*のように中心波長410〜420nmで、上記各実施形態の紫色光Vよりもやや長波長側によった波長帯域を有する光を用いても良い。また、青色光Bについては、青色光B*のように、中心波長445〜460nmで、上記各実施形態よりもやや短波長側によった波長帯域を有する光を用いても良い。また、図3や図24に示す照明光の分光スペクトルは一例であり、観察画像の所望の色味等に応じて各LED20a〜20dの相対的な発光量を変更してもよい。具体的には、各LED20a〜20dの駆動電流値等を変更することにより、各LED20a〜20dの発光量の割合を変えることができる。
上記第1,第2実施形態では、発光量の変更にともなってピーク波長が長波長側にシフトするB−LED20bを用いているが、図25に示すように、B−LED20bとほぼ同様の波長帯域を有するLEDでも、駆動電力が大きくなるにつれてピーク波長が短波長側にシフトするものがある。また、色によってもピーク波長のシフト方向やシフト量、分光スペクトルの変動の仕方が異なる。このため、対応関係記憶部82に記憶する対応関係は、実際に使用するLEDの特性に合わせて予め求めておく必要がある。
上記第1,第2実施形態では、実際の露出量をLED20a〜20dが発する各色光の分光スペクトルと、観察対象に含まれるヘモグロビンの吸光特性と、カラーフィルタの分光特性の積を求めることで、分光スペクトルの細かな形状変化も考慮しているが、簡易的には、ピーク波長のシフト方向及びシフト量を分光スペクトルの変動と考えて良い。このため、対応関係記憶部82に記憶する対応関係は、各LED20a〜20dの駆動電力毎のピーク波長及びその強度と、ヘモグロビンの吸光特性と、カラーフィルタの分光特性によって求めても良い。但し、色やチップの種類等によっては、ピーク波長が明確でないブロードな分光スペクトルを有するLEDもある。こうしたLEDを用いる場合には、波長毎の発光量の重み付け平均で求められる重心波長をピーク波長と考えれば良い。B−LED20bの場合、重心波長は図26に示すように変化するので、これを用いて対応関係記憶部82に記憶する対応関係(図18参照)を求めることができる。
なお、通常観察用青色光BSと測定光BLが得られれば、上記第1及び第2実施形態の帯域制限部21が備えるSPF21aとLPF21bの特性は任意にして良い。
なお、上記第1及び第2実施形態では、撮像センサ48が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システム10,200によって本発明を実施しているが、カプセル内視鏡システムでも本発明は好適である。例えば、図27に示すように、カプセル内視鏡システムでは、カプセル内視鏡300と、プロセッサ装置(図示しない)とを少なくとも有する。
カプセル内視鏡300は、光源302と光源制御部303と、撮像センサ304と、信号処理部306と、送受信アンテナ308とを備えている。光源302は、紫色光Vを発するV−LEDと、青色光Bを発するB−LEDと、緑色光Gを発するG−LEDと、赤色光Rを発するR−LEDと、青色光Bから測定光BLを生成する帯域制限部とを有しており、第1及び第2実施形態の光源部20及び帯域制限部21に対応する。
光源制御部303は、第1及び第2実施形態の光源制御部22と同様にして光源302の駆動を制御する。また、光源制御部303は、送受信アンテナ308によって、カプセル内視鏡システムのプロセッサ装置と無線で通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記第1,第2実施形態のプロセッサ装置16とほぼ同様であるが、通常画像処理部62、酸素飽和度画像処理部64、目標露出量決定部67、及び露出制御部68の機能を有する信号処理部306はカプセル内視鏡300に設けられている。信号処理部306が生成した通常画像や酸素飽和度画像は、送受信アンテナ308を介してプロセッサ装置に送信される。撮像センサ304は上記第1,第2実施形態の撮像センサ48と同様に構成される。