[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18(表示部)と、コンソール19とを有する。内視鏡12は光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モード切替SW13aが設けられている。モード切替SW13aは、通常観察モードと、第1特殊観察モードと、第2特殊観察モードと、同時観察モードとの4種類のモード間の切り替え操作に用いられる。通常観察モードは、通常画像をモニタ18上に表示するモードである。第1特殊観察モードは、胃癌などの病変によって胃粘膜に萎縮が生じた萎縮部と正常部との境界を観察するために用いられ、第1特殊画像をモニタ18上に表示するモードである。第2特殊観察モードは、萎縮部と正常部の色の違いを観察するために用いられ、第2特殊画像をモニタ18上に表示するモードである。同時観察モードは、萎縮部と正常部の境界の観察と、萎縮部と正常部との色の違いの観察を同時に行うために用いられ、第1特殊画像と第2特殊画像をモニタ18上に同時表示するモードである。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるUI(User Interface:ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20d、これら4色のLED20a~20dの駆動を制御する光源制御部21、及び4色のLED20a~20dから発せられる4色の光の光路を結合する光路結合部23を備えている。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
光源制御部21は、通常観察モード、第1特殊観察モード、第2特殊観察モード、及び同時観察モードのいずれの観察モードにおいても、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを点灯する。したがって、紫色光V、青色光B、緑色光G、及び赤色光Rの4色の光が混色した光が、観察対象に照射される。また、光源制御部21は、通常観察モード時には、紫色光V、青色光B、緑色光G、赤色光R間の光量比がVc:Bc:Gc:Rcとなるように、各LED20a~20dを制御する。一方、光源制御部21は、第1特殊観察モード、第2特殊観察モード、及び同時観察モード時には、紫色光V、青色光B、緑色光G、赤色光R間の光量比がVs:Bs:Gs:Rsとなるように、各LED20a~20dを制御する。
図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46、撮像センサ48を有している。観察対象からの反射光は、対物レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。
撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を備えた、いわゆるRGB撮像センサである。
なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部21は青色光B、緑色光G、赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
撮像センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、受信部53と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、画像処理切替部60と、通常画像処理部62と、特殊画像処理部64と、映像信号生成部66とを備えている。受信部53は内視鏡12からのデジタルのRGB画像信号を受信する。R画像信号は撮像センサ48のR画素から出力される信号に対応し、G画像信号は撮像センサ48のG画素から出力される信号に対応し、B画像信号は撮像センサ48のB画素から出力される信号に対応している。
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたRGB画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のRGB画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のRGB画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のRGB画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。
ノイズ除去部58は、DSP56でガンマ補正等が施されたRGB画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、RGB画像信号からノイズを除去する。ノイズが除去されたRGB画像信号は、画像処理切替部60に送信される。なお、本発明の「画像信号入力処理部」は、受信部53と、DSP56と、ノイズ除去部58を含む構成に対応する。
画像処理切替部60は、モード切替SW13aにより、通常観察モードにセットされている場合には、RGB画像信号を通常画像処理部62に送信し、第1特殊観察モード、第2特殊観察モード、同時観察モードにセットされている場合には、RGB画像信号を特殊画像処理部64に送信する。
通常画像処理部62は、RGB画像信号に対して、色変換処理、色彩強調処理、構造強調処理を行う。色変換処理では、デジタルのRGB画像信号に対しては、3×3のマトリックス処理、階調変換処理、3次元LUT処理などを行い、色変換処理済みのRGB画像信号に変換する。次に、色変換処理済みのRGB画像信号に対して、各種色彩強調処理を施す。この色彩強調処理済みのRGB画像信号に対して、空間周波数強調等の構造強調処理を行う。構造強調処理が施されたRGB画像信号は、通常画像のRGB画像信号として、通常画像処理部62から映像信号生成部66に入力される。
特殊画像処理部64は、第1特殊観察モード、または第2特殊観察モード、または同時観察モードに設定されている場合に作動する。この特殊画像処理部64は、第1特殊画像を生成する第1特殊画像処理部64aと、第2特殊画像を生成する第2特殊画像処理部64bと、第1特殊画像と第2特殊画像を同時表示するための同時表示用特殊画像を生成する同時表示用画像処理部64cとを備えている。ただし、第1特殊画像処理部64aは第2特殊画像を生成しない。また、第2特殊画像処理部64bは第1特殊画像を生成しない。これら第1特殊画像処理部64a、第2特殊画像処理部64b、同時表示用画像処理部64cの詳細については、後述する。特殊画像処理部64で生成された第1特殊画像、第2特殊画像、同時表示用特殊画像のRGB画像信号は、映像信号生成部66に入力される。
映像信号生成部66は、通常画像処理部62又は特殊画像処理部64から入力されたRGB画像信号を、モニタ18で表示可能な画像として表示するための映像信号に変換する。この映像信号に基づいて、モニタ18は、通常画像、第1特殊画像、又は第2特殊画像をそれぞれ表示し、または第1特殊画像と第2特殊画像とを同時表示する。
第1特殊画像処理部64aは、図4に示すように、逆ガンマ変換部70と、Log変換部71と、信号比算出部72と、信号比空間用の第1色情報変換部73と、RGB変換部77と、構造強調部78と、逆Log変換部79と、ガンマ変換部80とを備えている。また、第1特殊画像処理部64aは、RGB変換部77と構造強調部78との間に、明るさ調整部81を備えている。
逆ガンマ変換部70は、入力されたRGB画像信号に対して逆ガンマ変換を施す。この逆ガンマ変換後のRGB画像信号は、検体からの反射率に対してリニアな反射率リニアRGB信号であるため、RGB画像信号のうち、検体の各種生体情報に関連する信号が占める割合が多くなる。なお、反射率リニアR画像信号を第1R画像信号とし、反射率リニアG画像信号を第1G画像信号とし、反射率Bリニア画像信号を第1B画像信号とする。
Log変換部71は、第1RGB画像信号(本発明の「第1カラー画像信号」に対応する)をそれぞれLog変換する。これにより、Log変換済みのR画像信号(logR)、Log変換済みのG画像信号(logG)、Log変換済みのB画像信号(logB)が得られる。信号比算出部72(本発明の「色情報取得部」に対応する)は、Log変換済みのG画像信号とB画像信号に基づいて差分処理(logG-logB =logG/B=-log(B/G))することにより、第1B/G比(本発明の「第1信号比Mx」に対応する)を算出する。ここで、「第1B/G比」は、-log(B/G)のうち「-log」を省略したものを表している。また、Log変換済みのR画像信号とG画像信号に基づいて差分処理(logR-logG=logR/G=-log(G/R))することにより、第1G/R比(本発明の「第1信号比Nx」に対応する)を算出する。第1G/R比については、第1B/G比と同様、-log(G/R)のうち「-log」を省略したものを表している。以下、第1B/G比、第1G/R比で形成される二次元色空間を「第1信号比空間(本発明の「第1特徴空間」に対応する)」と呼ぶ。
なお、第1B/G比、第1G/R比は、B画像信号、G画像信号、R画像信号において同じ位置にある画素の画素値から求める。また、第1B/G比、第1G/R比は画素毎に求める。また、第1B/G比は、血管深さ(粘膜表面から特定の血管がある位置までの距離)に相関があることから、血管深さが異なると、それに伴って第1B/G比も変動する。また、第1G/R比は、血液量(ヘモグロビンインデックス)と相関があることから、血液量に変動が有ると、それに伴って第1G/R比も変動する。
信号比空間用の第1色情報変換部73は、信号比算出部72で求めた第1B/G比、第1G/R比に対して、信号比空間用の第1色情報変換処理を施して、第2B/G比、第2G/R比に変換する。第2B/G比は本発明の「第2信号比My」に対応し、第2G/R比は本発明の「第2信号比Ny」に対応する。信号比空間用の第1色情報変換部73は、二次元LUT(Look Up Table)から構成され、第1B/G比、第1G/R比と、この第1B/G比、第1G/R比に基づく信号比空間用の第1色情報変換処理を行って得られる第2B/G比、第2G/R比とが対応付けて記憶されている。信号比空間用の第1色情報変換処理の詳細については、後述する。
図5(A)に示すように、縦軸が第1B/G比で、横軸が第1G/R比で形成される第1信号比空間においては、正常粘膜が分布する第1範囲と、萎縮性胃炎により萎縮した萎縮粘膜が分布する第2範囲と、萎縮性胃炎により萎縮した萎縮粘膜下に存在し、萎縮とともに透見する深層血管が分布する第3範囲とが第1象限に分布している。この第1信号比空間では、第1範囲と第2範囲との間には差D12x(例えば、第1範囲の平均値と第2範囲の平均値)があり、第1範囲と第3範囲との間には差D13x(例えば、第1範囲の平均値と第3範囲の平均値)がある。差D12xは、画像上で第1範囲と第2範囲の色に関して彩度の差として表れ、差D13xは、画像上で第1範囲と第3範囲の色に関して色相の差として表れる。
なお、図5(A)において、「第1」は「第1範囲」を、「第2」は「第2範囲」を、「第3」は「第3範囲」を示している。これら「第1」~「第3」の表記については、以下の図においても、同様である。また、図5(A)では、縦軸の「第1B/G比」のうち「第1」を省略しており、横軸の「第1G/R比」のうち「第1」を省略している。以下の図においても、同様の省略を行っている。
一方、信号比空間用の第1色情報変換処理で得られる第2B/G比、第2G/R比で形成される第2信号比空間(縦軸は第2B/G比を、横軸は第2G/R比を示す)においては、図5(B)に示すように、第1信号比空間と同様、第1範囲、第2範囲、第3範囲がそれぞれ分布している。第2信号比空間(本発明の「第2特徴空間」に対応する)では、第1範囲と第2範囲との間には差D12y(例えば、第1範囲の平均値と第2範囲の平均値)があり、第1範囲と第3範囲との間には差D13y(例えば、第1範囲の平均値と第3範囲の平均値)とがある。
差D12yは、画像上で第1範囲と第2範囲の色に関して彩度及び色相の差として表れるとともに、差D12yは差D12xよりも大きくなっている。また、差D13yは、差D13xと同様、画像上で第1範囲と第3範囲の色に関して色相の差として表れるとともに、差D13yは差D13xよりも大きくなっている。更には、第2信号比空間上での第1範囲の座標は、第1信号比空間上での第1範囲の座標と異なっている。即ち、信号比空間用の第1色情報変換処理の変換前後で、第1範囲の彩度と色相の少なくともいずれかが異なっている。
以上のように、第1範囲と第2範囲の差及び第1範囲と第3範囲との差は、信号比空間用の第1色情報変換処理によって大きくなるとともに、信号比空間用の第1色情報変換処理の変換前後で、第1範囲の彩度と色相の少なくともいずれかが異なっている。これにより、信号比空間用の第1色情報変換処理済みの第2B/G比、第2G/R比に基づいて得られる第1特殊画像上では、萎縮粘膜や、萎縮粘膜下で萎縮により透見しつつある深層血管などがある萎縮部と、正常粘膜がある正常部との境界が明瞭化して表示される。
なお、第1RGB画像信号をLab変換部(図示しない(本発明の「色情報取得部」に対応する))でLab変換して得られる第1要素a*_x、b*_x(CIE Lab空間の色味の要素a*、b*を表す。以下同様。)に対して、上記の信号比空間用の第1色情報変換処理と同様のab空間用の第1色情報変換処理を施すことで、上記と同様の作用効果を得ることができる。
ここで、図6(A)は、第1要素a*_x、b*_xで形成される第1ab空間上での第1~第3範囲の分布、第1範囲と第2範囲との差D12x、及び第1範囲と第3範囲との差D13xを表している。一方、図6(B)は、ab空間用の第1色情報変換処理により得られる第2要素a*_y、b*_yで形成される第2ab空間における第1~第3範囲の分布、第1範囲と第2範囲との差D12y、及び第1範囲と第3範囲との差D13yを表している。これら図6に示すように、ab空間用の第1色情報変換処理により、第1範囲と第2範囲との差及び第1範囲と第3範囲との差を大きくすることができる。なお、第1ab空間は本発明の「第1特徴空間」に対応しており、第2ab空間は本発明の「第2特徴空間」に対応している。
RGB変換部77(本発明の「カラー画像信号変換部」に対応する)では、第1RGB画像信号のうち少なくともいずれか1つの画像信号を用いて、信号比空間用の第1色情報変換部73を経た第2B/G比、第2G/R比を、第2RGB画像信号(本発明の「第2カラー画像信号」に対応する)に変換する。例えば、RGB変換部77は、第1RGB画像信号のうちG画像信号と第2B/G比とに基づく演算を行うことにより、第2B/G比を第2B画像信号に変換する。また、RGB変換部77は、第1RGB画像信号のうちG画像信号と第2G/R比に基づく演算を行うことにより、第2G/R比を第2R画像信号に変換する。また、RGB変換部77は、第1G画像信号については、特別な変換を施すことなく、第2G画像信号として出力する。
明るさ調整部81は、第1RGB画像信号と第2RGB画像信号とを用いて、第2RGB画像信号の画素値を調整する。明るさ調整部81で、第2RGB画像信号の画素値を調整するのは、以下の理由による。第2RGB画像信号は、信号比空間用の第1色情報変換部73で信号比空間用の第1色情報変換処理を行っているため、第1RGB画像信号と明るさが大きく変わってしまう可能性がある。そこで、明るさ調整部81で第2RGB画像信号の画素値を調整することによって、明るさ調整後の第2RGB画像信号が第1RGB画像信号と同じ明るさになるようにする。
明るさ調整部81は、第1RGB画像信号に基づいて第1明るさ情報Yinを求める第1明るさ情報算出部81aと、第2RGB画像信号に基づいて第2明るさ情報Youtを求める第2明るさ情報算出部81bとを備えている。第1明るさ情報算出部81aは、「kr×第1R画像信号の画素値+kg×第1G画像信号の画素値+kb×第1B画像信号の画素値」の演算式に従って、第1明るさ情報Yinを算出する。第2明るさ情報算出部81bにおいても、第1明るさ情報算出部81aと同様に、上記と同様の演算式に従って、第2明るさ情報Youtを算出する。第1明るさ情報Yinと第2明るさ情報Youtが求まると、明るさ調整部81は、以下の式(E1)~(E3)に基づく演算を行うことにより、第2RGB画像信号の画素値を調整する。
(E1):R*=第2R画像信号の画素値×Yin/Yout
(E2):G*=第2G画像信号の画素値×Yin/Yout
(E3):B*=第2B画像信号の画素値×Yin/Yout
なお、「R*」は明るさ調整後の第2R画像信号を、「G*」は明るさ調整後の第2G画像信号を、「B*」は明るさ調整後の第2B画像信号を表している。また、「kr」、「kg」、「kb」は「0」~「1」の範囲にある任意の定数である。
構造強調部78では、明るさ調整部81で明るさ調整後の第2RGB画像信号に対して構造強調処理を施す。構造強調処理としては、周波数フィルタリングなどが用いられる。逆Log変換部79は、構造強調部78を経た第2RGB画像信号に対して、逆Log変換を施す。これにより、真数の画素値を有する第2RGB画像信号が得られる。ガンマ変換部80は、逆Log変換部79を経た第2RGB画像信号に対してガンマ変換を施す。これにより、モニタ18などの出力デバイスに適した階調を有する第2RGB画像信号が得られる。ガンマ変換部80を経たRGB画像信号は、第1特殊画像のRGB画像信号として、同時表示用画像処理部64c又は映像信号生成部66に送られる。
信号比空間用の第1色情報変換処理は、極座標変換処理と、信号比空間用の第1処理と第2処理と、直交座標変換処理とから構成される。まず、信号比算出部72で得られた第1B/G比、第1G/R比に対して極座標変換処理を施すことによって、動径rと角度θに変換する。次に、信号比空間用の第1処理を行う。図7に示すように、第1信号比空間上で、動径変更範囲R1内にある座標P1の動径rを変更し、動径変更範囲R1外の座標の動径は変更しない。動径変更範囲R1は、動径rが「rA」から「rB」の範囲内であり、且つ、角度θが「θA」から「θB」の範囲内である(rA<rB、θA<θB)。この動径変更範囲R1は、萎縮性胃炎により萎縮した萎縮粘膜が分布する第2範囲を含む領域であり、正常粘膜が分布する第1範囲と、萎縮性胃炎により萎縮した萎縮粘膜下に存在し、萎縮とともに透見する深層血管が分布する第3範囲とを含まないように設定されている。
なお、信号比空間用の第1処理では、動径変更範囲R1の座標の角度θについて変更は行わない。また、信号比空間用の第1処理では、動径rが「rp」から「rB」の範囲内においては、動径変化率が「1」よりも大きい動径変化率Vxで動径rを変更する拡張処理を行い、動径rが「rA」から「rp」の範囲内においては、動径変化率が「1」よりも小さい動径変化率Vyで動径rを変更する圧縮処理を行うことが好ましい。なお、動径変化率が「1」の場合は、動径rを変更する処理を行っても、動径rの大きさは変わらない。
以上の信号比空間用の第1処理を行うことによって、図8に示すように、動径変更範囲R1内の動径rは、動径rよりも小さくなる動径Erに変更される。また、動径変化率は、動径rと動径Erとを関係づける線CV1の接線を示す「直線L1」の傾きで表わされ、「rp」から「rB」の範囲内では直線L1の傾きは「1」よりも大きいのに対して、「rA」から「rp」内では直線L1の傾きは「1」よりも小さくなっている。これに対して、動径変更範囲R1外の動径rは、動径rと大きさが変わらない動径Erに変換される(恒等変換)。また、動径変更範囲R1外においては、直線L1の傾きは「1」になっている。
図9(A)に示すように、信号比空間用の第1処理前には、第1範囲、第2範囲、及び第3範囲は、それぞれ近づいているが、信号比空間用の第1処理後には、図9(B)に示すように、第1範囲と第3範囲の座標はそのまま維持した状態で、第2範囲の座標だけ、原点を含む基準範囲に移動する。基準範囲は、信号比空間用の第1処理後の第1範囲及び第3範囲を含まない低彩度の範囲である。
なお、複数の第1色情報が第1要素a*_x、b*_x場合にも、図10に示すように、ab空間用の第1処理により、第1範囲と第3範囲の座標はそのまま維持した状態で、第2範囲の座標だけ、原点を含む基準範囲に移動する。ここで、図10(A)はab空間用の第1処理前の第1~第3範囲の分布を、図10(B)はab空間用の第1処理後の第1~第3範囲の分布を表している。
信号比空間用の第2処理では、図11Aに示すように、角度変更範囲R2内にある座標P2の角度θを変更する一方で、角度変更範囲R2外の座標については角度θの変更は行わない。角度変更範囲R2は、第1範囲と第3範囲とを含むように設定されている。なお、信号比空間用の第2処理では、角度変更範囲R2の座標の動径rについて変更は行わない。
角度変更範囲R2においては、第1範囲と第3範囲との間に、第1中心線CL1が設定されている。第1中心線CL1は角度θcであり、角度変更範囲R2のうち、信号比空間用の第2処理では、角度θc以下の角度θを、時計回り方向に回転させるのに対して、角度θc以上の角度θを、反時計回り方向に回転させる。なお、第1中心線CL1から一定の範囲R2xの角度θについては、角度変化率が「1」よりも大きい角度変化率Wxで変更する拡張処理を行い、範囲R2xを超える範囲R2yの角度θについては、角度変化率が「1」よりも小さい角度変化率Wyで変更する圧縮処理を行うことが好ましい。また、信号比空間用の第2処理によって、角度変更範囲R2の座標を、第1中心線CL1から±90度の範囲(信号比空間において、「正」の横軸を0°とし、角度を0°から360°で表現した場合には、「270°+θc」から「θc+90°」までの範囲P(図11B参照))内で移動させることが好ましい。なお、角度変化率が「1」の場合は、角度θを変更する処理を行っても、角度θの大きさは変わらない。
以上の信号比空間用の第2処理を行うことによって、図12に示すように、角度変更範囲R2内のうち、角度θc以下の角度θは、角度θよりも小さくなる角度Eθに変更される一方で、角度θc以上の角度θは、角度θよりも大きくなる角度Eθに変更される。また、角度変化率は、角度θと角度Eθとを関係づける線CV2の接線を示す「直線L2」の傾きで表わされ、範囲R2x内では直線L2の傾きは「1」よりも大きいのに対して、範囲R2y内では直線L2の傾きは「1」よりも小さくなっている。これに対して、角度変更範囲R2外の角度θは、角度θと大きさが変わらない角度Eθに変換される(恒等変換)。また、角度変更範囲R2外においては、直線L2の傾きは「1」になっている。
図13A(A)に示すように、信号比空間用の第2処理前には、第1範囲と第3範囲は、第2範囲とは離れているものの、第1範囲と第3範囲とは互いに近づいている。信号比空間用の第2処理後には、図13A(B)に示すように、第2範囲の座標は基準範囲に維持した状態で、第1範囲の座標の大部分が信号比空間の第2象限に移動する一方で、第3範囲の座標の大部分が信号比空間の第4象限に移動する。信号比空間用の第2処理が完了すると、信号比空間用の第2処理済みの動径rと角度θに対して直交座標変換処理が施される。これにより、第2B/G比、第2G/R比が得られる。
なお、複数の第1色情報が第1要素a*_x、b*_xの場合にも、図13Bに示すように、ab空間用の第2処理により、第2範囲の座標は基準範囲に維持した状態で、第1範囲の座標の大部分が第2ab空間の第2象限に移動する一方で、第3範囲の座標の大部分が第2ab空間の第4象限に移動する。ここで、図13B(A)はab空間用の第2処理前の第1~第3範囲の分布を、図13B(B)はab空間用の第2処理後の第1~第3範囲の分布を表している。また、ab空間用の第1処理及び第2処理後に得られる第2RGB画像信号に対しては、明るさ調整部81で、画素値の調整を行うことが好ましい。第2RGB画像信号の画素値調整方法は、上記と同様である。
第2特殊画像処理部64bは、第1特殊画像処理部64aとほぼ構成同じを備えているが、信号比空間用の第1色情報変換部73に代えて、信号比空間用の第2色情報変換部(図示しない)を有している。信号比空間用の第2色情報変換部は、信号比算出部72で求めた第1B/G比、第1G/R比に対して、信号比空間用の第2色情報変換処理を施して、第2B/G比、第2G/R比(本発明の「複数の第2色情報」に対応する)に変換する。信号比空間用の第2色情報変換部は、二次元LUT(Look Up Table)から構成され、第1B/G比、第1G/R比と、この第1B/G比、第1G/R比に基づく信号比空間用の第2色情報変換処理を行って得られる第2B/G比、第2G/R比とが対応付けて記憶されている。信号比空間用の第2色情報変換処理の詳細については、後述する。
図14(A)に示すように、縦軸が第1B/G比で、横軸が第1G/R比で形成される第1信号比空間において、第1範囲と、第2範囲と、第3範囲とが分布しているとともに、第1範囲と第2範囲との間には差D12x(例えば、第1範囲の平均値と第2範囲の平均値)があり、第1範囲と第3範囲との間には差D13x(例えば、第1範囲の平均値と第3範囲の平均値)がある(図5(A)と同様である)。
一方、信号比空間用の第2色情報変換処理で得られる第2B/G比、第2G/R比で形成される第2信号比空間(縦軸が第2B/G比、横軸が第2G/R比)においては、図14(B)に示すように、第1信号比空間と同様、第1範囲、第2範囲、第3範囲がそれぞれ分布している。第2信号比空間では、第1範囲と第2範囲との間には差D12y(例えば、第1範囲の平均値と第2範囲の平均値)があり、第1範囲と第3範囲との間には差D13y(例えば、第1範囲の平均値と第3範囲の平均値)がある。
差D12yは、差D12xと同様、画像上で第1範囲と第2範囲の色に関して彩度の差として表れるとともに、差D12yは差D12xよりも大きくなっている。また、差D13yは、差D13xと同様、画像上で第1範囲と第3範囲の色に関して色相の差として表れるとともに、差D13yは差D13xよりも大きくなっている。更には、第2信号比空間上での第1範囲の座標は、第1信号比空間上での第1範囲の座標と同じである。即ち、信号比空間用の第2色情報変換処理の変換前後で、第1範囲の彩度と色相は同じである。
以上のように、第1範囲と第2範囲の差及び第1範囲と第3範囲との差は、信号比空間用の第1色情報変換処理によって大きくなるとともに、信号比空間用の第2色情報変換処理の変換前後で、第1範囲の彩度と色相は同じである。これにより、信号比空間用の第2色情報変換処理済みの第2B/G比、第2G/R比から得られる第2特殊画像では、正常部の色は維持して表示される一方で、萎縮性胃炎が生じた萎縮部のうち、萎縮粘膜は退色調で表示される。また、第2特殊画像上では、萎縮粘膜下で萎縮により透見しつつある深層血管の色が赤からマゼンタなどの色に変化することで明瞭に表示することができる。したがって、第2特殊画像は萎縮性胃炎が生じたときの本来の色で表示されるため、正常部と萎縮部との色の違いが明確となっている。
なお、複数の第1色情報が第1要素a*_x、b*_xである場合には、第1要素a*_x、b*_xに対して、上記の信号比空間用の第2色情報変換処理と同様のab空間用の第2色情報変換処理を施すことで、上記と同様の作用効果を得ることができる。
ここで、図15(A)は、第1要素a*_x、b*_xで形成される第1ab空間上での第1~第3範囲の分布、第1範囲と第2範囲との差D12x、及び第1範囲と第3範囲との差D13xを表している。一方、図15(B)は、ab空間用の第2色情報変換処理により得られる第2要素a*_y、b*_yで形成される第2ab空間における第1~第3範囲の分布、第1範囲と第2範囲との差D12y、及び第1範囲と第3範囲との差D13yを表している。この図15に示すように、ab空間用の第2色情報変換処理により、第1範囲の座標を維持した状態で、第1範囲と第2範囲との差及び第1範囲と第3範囲との差を大きくすることができる。
信号比空間用の第2色情報変換処理は、極座標変換処理と、信号比空間用の第1処理と第3処理と、直交座標変換処理とから構成される。極座標変換処理、信号比空間用の第1処理、直交座標変換処理については、上記と同様であるので、説明を省略する。
信号比空間用の第3処理では、信号比空間用の第1処理後の動径rと角度θに基づいて、角度θの変更により、第1範囲の座標を維持した状態で、第3範囲の座標を移動させる信号比空間用の第3処理を行う。信号比空間用の第3処理では、図16Aに示すように、角度変更範囲R3内にある座標P3の角度θを変更する一方で、角度変更範囲R3外の座標については角度θの変更は行わない。角度変更範囲R3は、第3範囲を含むようにするとともに、第1範囲を含まないように設定されている。なお、信号比空間用の第3処理では、角度変更範囲R3の座標の動径rについて変更は行わない。
角度変更範囲R3においては、第1範囲と第3範囲との間に、第2中心線CL2が設定されている。第2中心線CL2は角度θdであり、角度変更範囲R3のうち、角度θd以下の角度θを、時計回り方向に回転させる。なお、第2中心線CL2から一定の範囲R3xの角度θについては、角度変化率が「1」よりも大きい角度変化率Wxで変更する拡張処理を行い、範囲R3xを超える範囲R3yの角度θについては、角度変化率が「1」よりも小さい角度変化率Wyで変更する圧縮処理を行うことが好ましい。また、信号比空間用の第3処理によって、角度変更範囲R3の座標を、第2中心線CL2から-90度の範囲(信号比空間において、「正」の横軸を0°とし、角度を0°から360°で表現した場合には、「270°+θd」から「θd」までの範囲Q(図16B参照))内で移動させることが好ましい。なお、角度変化率が「1」の場合は、角度θを変更する処理を行っても、角度θの大きさは変わらない。
以上の信号比空間用の第3処理を行うことによって、図17に示すように、角度変更範囲R3内では、角度θは、角度θよりも小さくなる角度Eθに変更される。また、角度変化率は、角度θと角度Eθとを関係づける線CV3の接線を示す「直線L3」の傾きで表わされ、範囲R3x内では直線L3の傾きは「1」よりも大きいのに対して、範囲R3y内では直線L3の傾きは「1」よりも小さくなっている。これに対して、角度変更範囲R3外の角度θは、角度θと大きさが変わらない角度Eθに変換される(恒等変換)。また、角度変更範囲R3外においては、直線L3の傾きは「1」になっている。
図18A(A)に示すように、信号比空間用の第3処理前では、第1範囲及び第3範囲と、第2範囲とは離れているものの、第1範囲と第3範囲とは互いに近づいている。信号比空間用の第3処理後では、図18A(B)に示すように、第2範囲の座標を基準範囲に維持しつつ、第1範囲の座標を変更することなく維持した状態で、第3範囲の座標の大部分が信号比空間の第4象限に移動する。この第3範囲の座標の第1象限から第4象限への移動は、第2特殊画像上で、彩度を維持したまま色相を変化させることに相当する。これにより、第1範囲、第2範囲、及び第3範囲の座標は、完全に離れることになる。
なお、複数の第1色情報が第1要素a*_x、b*_xである場合にも、図18Bに示すように、ab空間用の第3処理により、第2範囲の座標を基準範囲に維持しつつ、第1範囲の座標を変更することなく維持した状態で、第3範囲の座標の大部分が第2ab空間の第4象限に移動する。ここで、図18B(A)はab空間用の第3処理前の第1~第3範囲の分布を、図18B(B)はab空間用の第3処理後の第1~第3範囲の分布を表している。また、ab空間用の第1処理及び第3処理後に得られる第2RGB画像信号に対しては、明るさ調整部81で、画素値の調整を行うことが好ましい。第2RGB画像信号の画素値調整方法は、上記と同様である。
同時表示用画像処理部64cは、第1特殊画像処理部64aと第2特殊画像処理部64bで生成された第1特殊画像と第2特殊画像に基づいて、同時表示用特殊画像を生成する。モニタ18は、図19に示すように、同時表示用特殊画像に基づいて、一方側に第1特殊画像を表示し、他方側に第2特殊画像を表示する。第1特殊画像は、正常部と萎縮部との境界が極めて明瞭であるため、萎縮部の位置などを把握することを容易にする画像であるものの、正常部が本来の胃の粘膜の色でない疑似カラーで表示されるため、ドクターにとって違和感のある画像となっている。一方、第2特殊画像は、第1特殊画像と比較すると、正常部と萎縮部との境界はある程度明瞭であって、かつ正常部の色が本来の胃の色で表示されるため、ドクターにとって違和感がない画像となっている。これら2つの第1特殊画像と第2特殊画像を同時に表示することで、正常部の色を把握しつつ、正常部と萎縮部の境界を検出することができるようになる。
次に、本発明の一連の流れについて、図20のフローチャートに沿って説明する。まず、通常観察モードにセットし、内視鏡12の挿入部12aを検体内に挿入する。挿入部12aの先端部12dが胃に到達したら、モード切替SW13aを操作して、通常観察モードから第1、第2特殊観察モードに切り替える。なお、第1特殊画像と第2特殊画像の両方を観察しながら萎縮性胃炎の診断を行う場合には、同時観察モードに切り替える。
第1、第2特殊観察モードに切り替えた後に得られるRGB画像信号に基づいて、信号比算出部72により、第1B/G比、第1G/R比を算出する。次に、第1特殊観察モードに設定されている場合には、信号比空間用の第1色情報変換部73で、第1B/G比、第1G/R比を、信号比空間用の第1色情報変換処理によって、第2B/G比、第2G/R比に変換する。信号比空間用の第1色情報変換処理済みの第2B/G比、第2G/R比に基づいて、第1特殊画像を生成する。第1特殊画像はモニタ18に表示される。
一方、第2特殊観察モードに設定されている場合には、信号比空間用の第2色情報変換部で、第1B/G比、第1G/R比を、信号比空間用の第2色情報変換処理によって、第2B/G比、第2G/R比に変換する。信号比空間用の第2情報変換処理済みの第2B/G比、第2G/R比に基づいて、第2特殊画像を生成する。第2特殊画像はモニタ18に表示される。
なお、同時観察モードは第1特殊画像と第2特殊画像との同時表示に限らず、例えば第1特殊画像と通常画像の同時表示でもよい。また第2特殊画像と通常画像の同時表示でもよい。その場合には通常画像処理部62と特殊画像処理部64の各々で表示画像を生成し、映像信号生成部66を経てモニタ18で表示される。
また、同時観察モードでは、第1特殊画像と、信号比空間用の第1色情報変換処理及び第2色情報変換処理のいずれの処理も行わない第3特殊画像とを同時表示するようにしてもよい。この第3特殊画像は、特殊画像処理部64に設けられた第3特殊画像処理部(図示しない)で生成される。この場合の第3特殊画像処理部は、第1、第2特殊画像処理部64a、64bと異なり、信号比空間用の第1色情報変換処理及び第2色情報変換処理に必要な信号比空間用の第1色情報変換部及び第2色情報変換部を備えていない。それ以外は、第1、第2特殊画像処理部64a、64bと同様である。なお、第3特殊画像を生成する際は、紫色光Vの光強度を、青色光B、緑色光G、赤色光Rの光強度よりも大きくして各色の光を発光することが好ましい。このような発光条件の元で得られた第3特殊画像は、画像全体が明るい状態を維持した状態で、表層血管が強調されて表示される画像となっている。
なお、上記実施形態では、信号比算出部72で第1RGB画像信号から第1B/G比、第1G/R比を求め、これら第1B/G比、第1G/R比を信号比空間用の第1及び第2色情報変換処理で第2B/G比、第2G/R比に変換しているが、第1RGB画像信号から第1B/G比、第1G/R比と異なる複数の第1色情報を求め、これら複数の第1色情報を特定の特徴空間用の第1及び第2色情報変換処理で複数の第2色情報に変換してもよい。
例えば、複数の色情報として色差信号Cr、Cbを求め、色差信号Cr、Cbに対してCrCb空間用の第1及び第2色情報変換処理を施してもよい。CrCb空間用の第1色情報変換処理は、図21に示す第1特殊画像処理部94aで行われる。第1特殊画像処理部94aは、第1特殊画像処理部64aと異なり、逆ガンマ変換部70、Log変換部71、信号比算出部72、信号比空間用の第1色情報変換部73、逆Log変換部79、ガンマ変換部80を備えていない。その代わりに、第1特殊画像処理部94aは、輝度・色差信号変換部85、CrCb空間用の第1色情報変換部86を備えている。それ以外の構成については、第1特殊画像処理部94aは第1特殊画像処理部64aと同様である。
輝度・色差信号変換部85(本発明の「色情報取得部」に対応する)は、第1RGB画像信号を輝度信号Yと第1色差信号Cr_x、Cb_xに変換する。第1色差信号Cr、Cbへの変換には周知の変換式が用いられる。第1色差信号Cr_x、Cb_xについてはCrCb空間用の第1色情報変換部86に送られる。輝度信号YについてはRGB変換部77と明るさ調整部81に送られる。RGB変換部77では、CrCb空間用の第1色情報変換処理済みの第2色差信号Cr_y、Cb_yと輝度信号Yを、第2RGB画像信号に変換する。明るさ調整部81では、第1明るさ情報Yinとして輝度信号Yを用いるとともに、第2明るさ情報Youtとして第2明るさ情報算出部81bで求めた第2明るさ情報を用いて、第2RGB画像信号の画素値の調整を行う。なお、第2明るさ情報Youtの算出方法と第2RGB画像信号の画素値の調整方法については、上記第1特殊画像処理部64aの場合と同じである。
CrCb空間用の第1色情報変換部86は、第1色差信号Cr_x、Cb_xに対して、CrCb空間用の第1色情報変換処理を施して、第2色差信号Cr_y、Cb_yに変換する。CrCb空間用の第1色情報変換部86は、二次元LUT(Look Up Table)から構成され、第1色差信号Cr_x、Cb_xと、この第1色差信号Cr_x、Cb_xに基づくCrCb空間用の第1色情報変換処理を行って得られる第2色差信号Cr_y、Cb_yとが対応付けて記憶されている。CrCb空間用の第1色情報変換処理の詳細については、後述する。
図22(A)に示すように、第1色差信号Cr_x、Cb_xで形成される第1CrCb空間(本発明の「第1特徴空間」に対応する)においては、第1範囲と、第2範囲と、第3範囲とが第2象限に分布している。この第1CrCb空間では、第1範囲と第2範囲との間には差D12x(例えば、第1範囲の平均値と第2範囲の平均値)があり、第1範囲と第3範囲との間には差D13x(例えば、第1範囲の平均値と第3範囲の平均値)がある。差D12xは、画像上で第1範囲と第2範囲の色に関して画像上で彩度の差として表れ、差D13xは、画像上で第1範囲と第3範囲の色に関して画像上で色相の差として表れる。
一方、CrCb空間用の第1色情報変換処理で得られる第2色差信号Cr_y、Cb_yで形成される第2CrCb空間においては、図22(B)に示すように、第1範囲、第2範囲、第3範囲がそれぞれ別々の象限に分布している。この第2CrCb空間(本発明の「第2特徴空間」に対応する)では、第1範囲と第2範囲との間には差D12y(例えば、第1範囲の平均値と第2範囲の平均値)があり、第1範囲と第3範囲との間には差D13y(例えば、第1範囲の平均値と第3範囲の平均値)とがある。
差D12yについては、画像上で第1範囲と第2範囲の色に関して彩度及び色相の差として表れる。また、差D12yは差D12xよりも大きくなっている。一方、差D13yについては、画像上で第1範囲と第3範囲の色に関して色相の差として表れる。また、差D13yは差D13xよりも大きくなっている。さらに、第2CrCb空間上での第1範囲の座標は、第1CrCb空間上での第1範囲の座標と異なっている。即ち、CrCb空間用の第1色情報変換処理の変換前後で、第1範囲の彩度と色相の少なくともいずれかが異なっている。
以上のように、CrCb空間用の第1色情報変換処理によって、第1範囲と第2範囲の差及び第1範囲と第3範囲との差を大きくするとともに、変換処理の前後で、第1範囲の彩度と色相の少なくともいずれかを異ならせることができる。したがって、CrCb空間用の第1色情報変換処理済みの第2色差信号Cr_y、Cb_yから、上記と同様の第1特殊画像を得ることができる。
CrCb空間用の第2色情報変換処理は、第1特殊画像処理部94aとほぼ同じ構成を有する第2特殊画像処理部(図示しない)で行われる。この第2特殊画像処理部は、CrCb空間用の第1色情報変換部86に代えて、CrCb空間用の第2色情報変換部を有している以外は、第1特殊画像処理部94aと同様である。
CrCb空間用の第2色情報変換部は、第1色差信号Cr_x、Cb_xに対して、CrCb空間用の第2色情報変換処理を施して、第2色差信号Cr_y、Cb_yに変換する。CrCb空間用の第2色情報変換部は、二次元LUT(Look Up Table)から構成され、第1色差信号Cr_x、Cb_xと、この第1色差信号Cr_x、Cb_xに基づくCrCb空間用の第2色情報変換処理を行って得られる第2色差信号Cr_y、Cb_yとが対応付けて記憶されている。CrCb空間用の第2色情報変換処理の詳細については、後述する。
図23(A)に示すように、第1色差信号Cr_x、Cb_xで形成される第1CrCb空間においては、図22(A)と同様に、第1範囲と、第2範囲と、第3範囲とが第2象限に分布し、且つ、第1範囲と第2範囲及び第3範囲との間で、差D12x(彩度の差)及び差D13x(色相の差)を有している。一方、CrCb空間用の第2色情報変換処理で得られる第2色差信号Cr_y、Cb_yで形成される第2CrCb空間においては、図23(B)に示すように、第1範囲、第2範囲は同じ第2象限に分布するが、第3範囲だけが第1象限に分布する。この第2CrCb空間では、第1範囲と第2範囲との間には差D12yがあり、第1範囲と第3範囲との間には差D13yがある。
差D12yについては、画像上で第1範囲と第2範囲の色に関して彩度の差として表れる。また、差D12yは差D12xよりも大きくなっている。一方、差D13yについては、画像上で第1範囲と第3範囲の色に関して色相の差として表れる。また、差D13yは差D13xよりも大きくなっている。さらに、第2CrCb空間上での第1範囲の座標は、第1CrCb空間上での第1範囲の座標と同じである。即ち、CrCb空間用の第2色情報変換処理の変換前後で、第1範囲の彩度と色相が同じである。
以上のように、CrCb空間用の第2色情報変換処理によって、第1範囲と第2範囲の差及び第1範囲と第3範囲との差を大きくするとともに、変換処理の前後で、第1範囲の彩度と色相を同じにすることができる。したがって、CrCb空間用の第2色情報変換処理済みの第2色差信号Cr_y、Cb_yから、上記と同様の第2特殊画像を得ることができる。
CrCb空間用の第1色情報変換処理は、極座標変換処理、CrCb空間用の第1処理及び第2処理、直交座標変換処理からなる。まず、第1色差信号Cr_x、Cb_xに対して極座標変換処理を行って、動径rと角度θに変換する。次に、CrCb空間用の第1処理においては、図24に示すように、第2範囲の座標の動径を変更して、第1CrCb空間上の原点を含む基準範囲に第2範囲の座標を移動させる。基準範囲は、CrCb空間用の第1処理後の第1範囲及び第3範囲を含まない低彩度の範囲である。一方、CrCb空間用の第1処理において、CrCb空間上での第1範囲と第3範囲の座標は維持する。ここで、各範囲の移動方法は、信号比空間用の第1処理の場合と同様である。
CrCb空間用の第2処理においては、図25に示すように、第2範囲を基準範囲に維持した状態で、第1範囲と第3範囲の座標を互いに離れさせるために、第1範囲及び第3範囲を移動するように処理する。この第1範囲及び第3範囲を移動させる方法は、信号比空間用の第2処理の場合と同様であり、角度を拡張・圧縮することにより行われる。CrCb空間用の第2処理後の動径rと角度θは、直交座標変換処理により、第2色差信号Cr_y、Cb_yに変換される。
CrCb空間用の第2色情報変換処理は、極座標変換処理、CrCb空間用の第1処理及び第3処理、直交座標変換処理からなる。極座標変換処理、CrCb空間用の第1処理、及び直交座標変換処理については、CrCb空間用の第1色情報変換処理の場合と同様である。
CrCb空間用の第3処理においては、図26に示すように、第2範囲を基準範囲に維持するとともに、第1範囲の座標を維持した状態で、第1範囲と第3範囲を離れさせるために、第3範囲のみを移動するように処理する。この第3範囲を移動させる方法は、信号比空間用の第3処理の場合と同様であり、角度を拡張・圧縮することにより行われる。
また、色情報として色相H(Hue)と彩度S(Saturation)を求め、色相H(Hue)と彩度S(Saturation)に対してHS空間用の第1及び第2色情報変換処理を施してもよい。HS空間用の第1色情報変換処理は、図27に示す第1特殊画像処理部96aで行われる。第1特殊画像処理部96aは、第1特殊画像処理部64aと異なり、逆ガンマ変換部70、Log変換部71、信号比算出部72、信号比空間用の第1色情報変換部73、逆Log変換部79、ガンマ変換部80を備えていない。その代わりに、第1特殊画像処理部96aは、HSV変換部87、HS空間用の第1色情報変換部88を備えている。それ以外の構成については、第1特殊画像処理部96aは第1特殊画像処理部64aと同様である。
HSV変換部87(本発明の「色情報取得部」に対応する)は、第1RGB画像信号を第1色相H_x、第1彩度S_xと明度Vに変換する。第1色相H_x、第1彩度S_x、明度Vへの変換には周知の変換式が用いられる。第1色相H_x、第1彩度S_xについてはHS空間用の第1色情報変換部88に送られる。明度VについてはRGB変換部77に送られる。RGB変換部77では、HS空間用の第1色情報変換処理済みの第2色相H_y、第2彩度S_yと明度Vを、第2RGB画像信号に変換する。明るさ調整部81では、第1明るさ情報Yinとして第1明るさ情報算出部81aで求めた第1明るさ情報と、第2明るさ情報Youtとして第2明るさ情報算出部81bで求めた第2明るさ情報を用いて、第2RGB画像信号の画素値の調整を行う。なお、第1明るさ情報Yin及び第2明るさ情報Youtの算出方法と、第2RGB画像信号の画素値の調整方法については、上記第1特殊画像処理部64aの場合と同じである。
HS空間用の第1色情報変換部88は、第1色相H_x、第1彩度S_xに対して、HS空間用の第1色情報変換処理を施して、第2色相H_y、第2彩度S_yに変換する。HS空間用の第1色情報変換部88は、二次元LUT(Look Up Table)から構成され、第1色相H_x、第1彩度S_xと、この第1色相H_x、第1彩度S_xに基づくHS空間用の第1色情報変換処理を行って得られる第2色相H_y、第2彩度S_yとが対応付けて記憶されている。HS空間用の第1色情報変換処理の詳細については、後述する。
図28(A)に示すように、縦軸が第1彩度S_xで、横軸が第1色相H_xで形成される第1HS空間(本発明の「第1特徴空間」に対応する)においては、第1範囲と、第2範囲と、第3範囲とが第1象限に分布している。この第1HS空間では、第1範囲と第2範囲との間には差D12x(例えば、第1範囲の平均値と第2範囲の平均値)があり、第1範囲と第3範囲との間には差D13x(例えば、第1範囲の平均値と第3範囲の平均値)がある。差D12xは、画像上で第1範囲と第2範囲の色に関して彩度の差として表れ、差D13xは、画像上で第1範囲と第3範囲の色に関して色相の差として表れる。
一方、HS空間用の第1色情報変換処理で得られる第2色相H_y、第2彩度S_yで形成される第2HS空間(縦軸が第2彩度S_y、横軸が第2色相H_y)においては、図28(B)に示すように、第1範囲、第2範囲、第3範囲が第1HS空間と異なる位置に分布する。この第2HS空間(本発明の「第2特徴空間」に対応する)では、第1範囲と第2範囲との間には差D12y(例えば、第1範囲の平均値と第2範囲の平均値)があり、第1範囲と第3範囲との間には差D13y(例えば、第1範囲の平均値と第3範囲の平均値)とがある。
差D12yについては、画像上で第1範囲と第2範囲の色に関して彩度及び色相の差として表れる。また、差D12yは差D12xよりも大きくなっている。一方、差D13yについては、画像上で第1範囲と第3範囲の色に関して色相の差として表れる。また、差D13yは差D13xよりも大きくなっている。さらに、第2HS空間上での第1範囲の座標は、第1HS空間上での第1範囲の座標と異なっている。即ち、HS空間用の第1色情報変換処理の変換前後で、第1範囲の彩度と色相の少なくともいずれかが異なっている。
以上のように、HS空間用の第1色情報変換処理によって、第1範囲と第2範囲の差及び第1範囲と第3範囲との差を大きくするとともに、変換処理の前後で、第1範囲の彩度と色相の少なくともいずれかを異ならせることができる。したがって、HS空間用の第1色情報変換処理済みの第2色相H_y、第2彩度S_yから、上記と同様の第1特殊画像を得ることができる。
HS空間用の第2色情報変換処理は、第1特殊画像処理部96aとほぼ同じ構成を有する第2特殊画像処理部(図示しない)で行われる。この第2特殊画像処理部は、HS空間用の第1色情報変換部88に代えて、HS空間用の第2色情報変換部を有している以外は、第1特殊画像処理部96aと同様である。
HS空間用の第2色情報変換部は、第1色相H_x、第1彩度S_xに対して、HS空間用の第2色情報変換処理を施して、第2色相H_y、第2彩度S_yに変換する。HS空間用の第2色情報変換部は、二次元LUT(Look Up Table)から構成され、第1色相H_x、第1彩度S_xと、この第1色相H_x、第1彩度S_xに基づくHS空間用の第2色情報変換処理を行って得られる第2色相H_y、第2彩度S_yとが対応付けて記憶されている。HS空間用の第2色情報変換処理の詳細については、後述する。
図29(A)に示すように、縦軸が第1彩度S_xで、横軸が第1色相H_xで形成される第1HS空間においては、図28(A)と同様に、第1範囲と、第2範囲と、第3範囲とが第1象限に分布し、且つ、第1範囲と第2範囲及び第3範囲との間で、差D12x(彩度の差)及び差D13x(色相の差)を有している。一方、HS空間用の第2色情報変換処理で得られる第2色相H_y、第2彩度S_yで形成される第2HS空間においては、図29(B)に示すように、第1範囲、第2範囲、第3範囲のうち、第2範囲、第3範囲は第1HS空間と異なる位置に分布する。この第2HS空間では、第1範囲と第2範囲との間には差D12yがあり、第1範囲と第3範囲との間には差D13yがある。
差D12yについては、画像上で第1範囲と第2範囲の色に関して彩度の差として表れる。また、差D12yは差D12xよりも大きくなっている。一方、差D13yについては、画像上で第1範囲と第3範囲の色に関して色相の差として表れる。また、差D13yは差D13xよりも大きくなっている。さらに、第2HS空間上での第1範囲の座標は、第1HS空間上での第1範囲の座標と同じである。即ち、HS空間用の第2色情報変換処理の変換前後で、第1範囲の彩度と色相が同じである。以上のように、HS空間用の第2色情報変換処理によって、第1範囲と第2範囲の差及び第1範囲と第3範囲との差を大きくするとともに、変換処理の前後で、第1範囲の彩度と色相を同じにすることができる。したがって、HS空間用の第2色情報変換処理済みの第2色相H_y、第2彩度S_yから、上記と同様の第2特殊画像を得ることができる。
HS空間用の第1色情報変換処理は、HS空間用の第1処理及び第2処理からなる。まず、HS空間用の第1処理においては、図30に示すように、第1及び第3範囲の座標を維持した状態で、第2範囲を彩度方向に対して下方側に平行移動させる。この平行移動により第2範囲を基準範囲まで移動させる。基準範囲は、第1HS空間上の原点を含み、且つ、HS空間用の第1処理後の第1範囲及び第3範囲を含まない低彩度の範囲である。
HS空間用の第2処理においては、図31に示すように、HS空間用の第1処理後の第1範囲、第2範囲、及び第3範囲のうち、第2範囲の座標を基準範囲に維持した状態で、第1範囲と第3範囲を互いに離すために、第1範囲と第3範囲の座標を平行移動させる。その際、第1範囲の座標を色相方向に対して左側に平行移動させ、且つ、第3範囲の座標を色相方向に対して右側に平行移動させる。
HS空間用の第2色情報変換処理は、HS空間用の第1処理及び第3処理からなる。HS空間用の第1処理は上記と同様である。一方、HS空間用の第3処理においては、図32に示すように、HS空間用の第1処理後の第1範囲、第2範囲、及び第3範囲のうち、第2範囲の座標を基準範囲に維持し、且つ第1範囲の座標を維持した状態で、第3範囲の座標を色相方向に対して右側に平行移動させる。
[第2実施形態]
第2実施形態では、第1実施形態で示した4色のLED20a~20dの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。それ以外については、第1実施形態と同様である。
図33に示すように、第2実施形態の内視鏡システム100では、光源装置14において、4色のLED20a~20dの代わりに、中心波長445±10nmの青色レーザ光を発する青色レーザ光源(図33では「445LD」と表記)104と、中心波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(図33では「405LD」と表記)106とが設けられている。これら各光源104、106の半導体発光素子からの発光は、光源制御部108により個別に制御されており、青色レーザ光源104の出射光と、青紫色レーザ光源106の出射光の光量比は変更自在になっている。
光源制御部108は、通常観察モードの場合には、青色レーザ光源104を駆動させる。これに対して、第1又は第2特殊観察モード、又は同時観察モードの場合には、青色レーザ光源104と青紫色レーザ光源106の両方を駆動させるとともに、青色レーザ光の発光強度を青紫色レーザ光の発光強度よりも大きくなるように制御している。以上の各光源104、106から出射されるレーザ光は、集光レンズ、光ファイバ、合波器などの光学部材(いずれも図示せず)を介して、ライトガイド(LG)41に入射する。
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源104及び青紫色レーザ光源106は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
照明光学系30aには、照明レンズ45の他に、ライトガイド41からの青色レーザ光又は青紫色レーザ光が入射する蛍光体110が設けられている。蛍光体110に、青色レーザ光が照射されることで、蛍光体110から蛍光が発せられる。また、一部の青色レーザ光は、そのまま蛍光体110を透過する。青紫色レーザ光は、蛍光体110を励起させることなく透過する。蛍光体110を出射した光は、照明レンズ45を介して、検体内に照射される。
ここで、通常観察モードにおいては、主として青色レーザ光が蛍光体110に入射するため、図34に示すような、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した白色光が、観察対象に照射される。一方、第1又は第2特殊観察モード、又は同時観察モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体110に入射するため、図35に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した特殊光が、検体内に照射される。
なお、蛍光体110は、青色レーザ光の一部を吸収して、緑色~黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl10O17)等の蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体110の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
[第3実施形態]
第3実施形態では、第1実施形態で示した4色のLED20a~20dの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ48に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
図36に示すように、第3実施形態の内視鏡システム200では、光源装置14において、4色のLED20a~20dに代えて、広帯域光源202、回転フィルタ204、フィルタ切替部205が設けられている。また、撮像光学系30bには、カラーの撮像センサ48の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ206が設けられている。
広帯域光源202はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ204は、内側に設けられた通常観察モード用フィルタ208と、外側に設けられた特殊観察モード用フィルタ209とを備えている(図37参照)。フィルタ切替部205は、回転フィルタ204を径方向に移動させるものであり、モード切替SW13aにより通常観察モードにセットされたときに、回転フィルタ204の通常観察モード用フィルタ208を白色光の光路に挿入し、第1又は第2特殊観察モードにセットされたときに、回転フィルタ204の特殊観察モード用フィルタ209を白色光の光路に挿入する。
図37に示すように、通常観察モード用フィルタ208には、周方向に沿って、白色光のうち青色光を透過させるBフィルタ208a、白色光のうち緑色光を透過させるGフィルタ208b、白色光のうち赤色光を透過させるRフィルタ208cが設けられている。したがって、通常観察モード時には、回転フィルタ204が回転することで、青色光、緑色光、赤色光が交互に観察対象に照射される。
特殊観察モード用フィルタ209には、周方向に沿って、白色光のうち特定波長の青色狭帯域光を透過させるBnフィルタ209aと、白色光のうち緑色光を透過させるGフィルタ209b、白色光のうち赤色光を透過させるRフィルタ209cが設けられている。したがって、特殊観察モード時には、回転フィルタ204が回転することで、青色狭帯域光、緑色光、赤色光が交互に観察対象に照射される。
内視鏡システム200では、通常観察モード時には、青色光、緑色光、赤色光が観察対象に照射される毎にモノクロの撮像センサ206で検体内を撮像する。これにより、RGBの3色の画像信号が得られる。そして、それらRGBの画像信号に基づいて、上記第1実施形態と同様の方法で、通常画像が生成される。
一方、第1又は第2特殊観察モード、又は同時観察モード時には、青色狭帯域光、緑色光、赤色光が観察対象に照射される毎にモノクロの撮像センサ206で検体内を撮像する。これにより、Bn画像信号と、G画像信号、R画像信号が得られる。これらBn画像信号と、G画像信号、R画像信号に基づいて、第1又は第2特殊画像の生成が行われる。第1又は第2特殊画像の生成には、B画像信号の代わりに、Bn画像信号が用いられる。それ以外については、第1実施形態と同様の方法で第1又は第2特殊画像の生成が行われる。
[第4実施形態]
第4実施形態では、挿入型の内視鏡12及び光源装置14に代えて、飲み込み式のカプセル内視鏡を用いて、通常画像、第1又は第2特殊画像の生成に必要なRGB画像信号を取得する。
図38に示すように、第4実施形態のカプセル内視鏡システム300は、カプセル内視鏡302と、送受信アンテナ304と、カプセル用受信装置306と、プロセッサ装置16と、モニタ18を備えている。カプセル内視鏡302は、LED302aと、撮像センサ302bと、画像処理部302cと、送信アンテナ302dとを備えている。なお、プロセッサ装置16は第1実施形態と同様であるが、第4実施形態では、通常観察モード、第1特殊観察モード、第2特殊観察モードに切り替えるためのモード切替SW308が新たに設けられている。
LED302aは、白色光を発するものであり、カプセル内視鏡302内に複数設けられている。ここで、LED302aとしては、青色光源と、この青色光源からの光を波長変換して蛍光を発する蛍光体とを備える白色LEDなどを用いることが好ましい。LEDに代えて、LD(Laser Diode)を用いてもよい。LED302aから発せられた白色光は、観察対象に対して照明される。
撮像センサ302bはカラーの撮像センサであり、白色光で照明された観察対象を撮像して、RGBの画像信号を出力する。ここで、撮像センサ302bとしては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを用いることが好ましい。撮像センサ302bから出力されたRGB画像信号は、画像処理部302cで、送信アンテナ302dで送信可能な信号にするための処理が施される。画像処理部302cを経たRGB画像信号は、送信アンテナ302dから、無線で送受信アンテナ304に送信される。
送受信アンテナ304は被検者の体に貼り付けられており、送信アンテナ302dからのRGB画像信号を受信する。送受信アンテナ304は、受信したRGB画像信号を、無線でカプセル用受信装置306に送信する。カプセル用受信装置306はプロセッサ装置16の受信部53と接続されており、送受信アンテナ304からのRGB画像信号を受信部53に送信する。
なお、上記実施形態では、図3に示すような発光スペクトルを有する4色の光を用いたが、発光スペクトルはこれに限られない。例えば、図39に示すように、緑色光G及び赤色光Rについては、図3と同様のスペクトルを有する一方で、紫色光Vsについては、中心波長410~420nmで、図3の紫色光Vよりもやや長波長側に波長範囲を有する光にしてもよい。また、青色光Bsについては、中心波長445~460nmで、図3の青色光Bよりもやや短波長側に波長範囲を有する光にしてもよい。
なお、上記実施形態では、第2処理で角度θを変更して、第1範囲と第3範囲とが互いに離れるようにしているが、その他の方法で、第1範囲と第3範囲とが互いに離れるようにしてもよい。例えば、動径rを変更して第1範囲と第3範囲とが互いに離れるようにしてもよく、また、動径rと角度θの両方を変更して、第1範囲と第3範囲とが互いに離れるようにしてもよい。また、第2処理では、第3範囲の座標を維持して、第1範囲の座標が移動するように処理してもよい。
なお、上記実施形態では、第1RGB画像信号から第1B/G比、第1G/R比を求め、この求めた第1B/G比、第1G/R比で形成された第1信号比空間について説明しているが、第1B画像信号が、波長帯域が狭い狭帯域光(例えば、半値幅が20nmの範囲内の光)から得られる狭帯域信号である場合には、波長帯域が広帯域光(例えば、半値幅が20nmの範囲を超える光)から得られる広帯域信号の場合と比較して、第1信号比空間上での第1範囲と第2範囲との差、及び第1範囲と第3範囲との差が大きくなっている。ここで、狭帯域光としては、第1実施形態の「紫色光V」、「青色光B」が含まれ、第2実施形態の「青色レーザ光」又は「青紫色レーザ光」が含まれ、第3実施形態の「青色狭帯域光」が含まれ、第4実施形態の「青色光源の光」が含まれる。
図40では、「Xn」は第1B画像信号が狭帯域信号である場合の第2範囲を示しており、「Xb」は第1B画像信号が広帯域信号である場合の第2範囲を示している。「Xn」と「Xb」とを比較すると、「Xn」は第1信号比空間上で「Xb」の下方に位置する。また、「Yn」は第1B画像信号が狭帯域信号である場合の第3範囲を示しており、「Yb」は第1B画像信号が広帯域信号である場合の第3範囲を示している。「Yn」と「Yb」とを比較すると、「Yn」は第1信号比空間上で「Yb」の下方に位置する。
図40に示すように、「Xn」の平均値AXnと第1範囲の平均値AR1との差D12nは、「Xb」の平均値AXbと第1範囲の平均値AR1との差D12bよりも大きくなっており、「Yn」の平均値AYnと第1範囲の平均値AR1との差D13nは、「Yb」の平均値AXbと第1範囲AR1との差D13bよりも大きくなっている。以上のように、第1B画像信号が狭帯域信号の場合であれば、第1範囲と第2及び第3範囲との差が、動径や角度を拡張・圧縮する処理を行う前に既に大きく付いている。このような状態の第1~第3範囲に対して特定の特徴空間用の第1及び第2色情報変換処理を行うことで、正常部と萎縮部との違いを更に明確に表示できるようになる。
なお、第1G画像信号を狭帯域信号にすることで、上記と同様に、第1範囲と第2範囲との差及び第1範囲と第3範囲との差を、第1G画像信号が広帯域信号の場合よりも、大きくすることができる。更には、上記のように、第1B画像信号又は第1G画像信号を狭帯域信号にすることに限らず、第1RGB画像信号のうち少なくとも1色の画像信号を狭帯域信号にすることで、第1範囲と第2範囲との差及び第1範囲と第3範囲との差を、第1RGB画像信号が全て広帯域信号の場合よりも、大きくすることができる。また、狭帯域信号については、上記のように、狭帯域光から得られる信号の他、特開2003-93336号公報に記載の分光推定処理によって得られる信号も含まれる。
なお、本発明は、第1~第3実施形態のような内視鏡システムや第4実施形態のようなカプセル内視鏡システムに組み込まれるプロセッサ装置の他、各種の医用画像処理装置に対して適用することが可能である。