以下、図面を参照して、本発明の実施形態に係る電子内視鏡システムについて説明する。
<第1の実施形態>
図1は、本発明の第1の実施形態の電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、本実施形態の電子内視鏡システム1は、医療用の撮像システムであり、電子スコープ100、プロセッサ200、モニタ300を有している。電子スコープ100の基端は、プロセッサ200と接続されている。プロセッサ200は、電子スコープ100が出力する画像信号を処理して画像を生成する画像信号処理装置と、自然光の届かない体腔内を電子スコープ100を介して照明する光源装置とを一体に備えた装置である。別の実施形態では、画像信号処理装置と光源装置とを別体で構成してもよい。
図1に示されるように、プロセッサ200は、システムコントローラ202、タイミングコントローラ204を有している。システムコントローラ202は、電子内視鏡システム1を構成する各要素を制御する。タイミングコントローラ204は、信号の処理タイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
ランプ208は、ランプ電源イグナイタ206による始動後、主に可視光領域から不可視である赤外領域に広がる波長域の照明光を放射する。ランプ208には、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプが適している。ランプ208から放射された照明光は、集光レンズ210によって集光されつつ、熱吸収フィルタ211a及びIRカットフィルタ(赤外カットフィルタ)211bで構成されるフィルタ211を通り、絞り212を介して適正な光量に制限される。なお、別の実施形態としては、IRカットフィルタは必ずしも必要ではなく、例えば、後述する固体撮像素子108の前面に取付けられてもよい。
絞り212には、図示省略されたアームやギヤ等の伝達機構を介してモータ214が機械的に連結している。モータ214は例えばDCモータであり、ドライバ216のドライブ制御下で駆動する。絞り212は、モニタ300の表示画面に表示される映像を適正な明るさにするため、モータ214によって動作して開度が変化して、ランプ208から放射された照明光の光量を開度に応じて制限する。適正とされる映像の明るさの基準は、術者によるフロントパネル218に対する輝度調節操作に応じて設定変更される。
フロントパネル218の構成には種々の形態を採用することができる。例えば、フロントパネル218は、プロセッサ200のフロント面に実装された機能毎のハードウェアキーや、タッチパネル式GUI(Graphical User Interface)、ハードウェアキーとGUIとの組合せによって構成することができる。
絞り212を通過した照射光は、回転式フィルタターレット213に入射する。図2は、回転式フィルタターレット213の構成を示す図である。図2に示されるように、回転式フィルタターレット213は、回転式フィルタターレット213の回転軸AXを挟んで対称に配置された2枚の光学フィルタF1、F2を有しており、いずれか一方が照明光路内に配置されるようになっている。光学フィルタF1は、可視光領域全域の光を透過させるフィルタであり、光学フィルタF1を通過した照明光は、白色光(すなわち、通常光(広帯域光))となる。また、光学フィルタF2は、三つの波長域に半値幅の狭い透過ピークを持つ狭帯域光フィルタであり、光学フィルタF2を通過した照明光は、狭帯域光(すなわち、特殊光)となる。
モータ215は、例えばドライバ216のドライブ制御下で駆動するステップモータであり、図示省略されたアームやギヤ等の伝達機構を介して回転式フィルタターレット213と機械的に連結している。モータ215は、回転式フィルタターレット213を印加電圧(パルス数)に応じた角度だけ回転させる。
術者は、フロントパネル218に対するフィルタ切替操作又は電子スコープ100の手元操作部に設置されたフィルタ切替ボタン114の操作を通じて回転式フィルタターレット213を回転させることができ、これにより通常光を用いた内視鏡画像の観察(すなわち、通常光モード)と、特殊光を用いた内視鏡画像の観察(すなわち、特殊光モード)とを切り替えることができるようになっている。なお、図1中、図面を簡明化するため、フィルタ切替ボタン114と他のブロックとの結線は省略している。
回転式フィルタターレット213は、フィルタ切替操作が行われる毎に180°回転し、内視鏡画像の観察モードに応じた光学フィルタF1又はF2が照明光路に選択的に挿入、配置される。回転式フィルタターレット213の外周縁付近には、ホームポジションを検出するための位置検出用穴Hが開けられている。
システムコントローラ202は、フォトインタラプタFIを通じた位置検出用穴Hの検出とモータ215への印加パルス数を基に、照明光路に何れの光学フィルタが配置されているかを認識する。
照射光は、照明光路に配置されている光学フィルタF1又はF2を透過し、LCB(Light Carrying Bundle)102の入射端に入射する。すなわち、光学フィルタF1が照明光路に配置されている場合は、通常光がLCB102の入射端に入射し、光学フィルタF2が照明光路に配置されている場合は、特殊光がLCB102の入射端に入射する。
LCB102の入射端に入射した照射光は、LCB102内を全反射を繰り返すことによって伝播する。LCB102内を伝播した照射光は、電子スコープ100の先端に配されたLCB102の射出端から射出する。LCB102の射出端から射出した照射光は、配光レンズ104を介して被写体を照射する。図3は、配光レンズ103から射出する照明光の分光特性図であり、破線は、通常光の分光特性を示し、実線は特殊光の分光特性を示している。図3に示すように、本実施形態の特殊光は、主に390〜450nmの波長域の青色の光と、520〜590nmの波長域の緑色の光と、630〜670nmの波長域の赤色の光で構成されている。
被写体からの反射光は、対物レンズ106を介して固体撮像素子108の受光面上の各画素で光学像を結ぶ。固体撮像素子108は、例えば補色市松型画素配置を有するインターレース方式の単板式カラーCCD(Charge Coupled Device)イメージセンサである。固体撮像素子108の受光面上には、IRカットフィルタ108a、及びイエローYe、シアンCy、グリーンG、マゼンタMgの各補色フィルタで構成されるカラーフィルタ108bが配置されている。固体撮像素子108は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローYe、シアンCy、グリーンG、マゼンタMgの各補色に対応する画像信号を得る。
固体撮像素子108は、感度やフレームレートを実質的に向上させるため、垂直方向に隣接する2つの画素の画像信号を加算して混合信号Wr、Gb、Wb、Grを生成し出力する。混合信号Wr、Gb、Wb、Grは、プリアンプ110による信号増幅後、内視鏡側信号処理回路120に入力する。なお、固体撮像素子108のカラー配列は、例えばベイヤ型であってもよい。また、固体撮像素子108は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサに置き換えてもよい。
タイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、内視鏡側信号処理回路120にクロックパルスを供給する。内視鏡側信号処理回路120は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
内視鏡側信号処理回路120に入力した混合信号Wr、Gb、Wb、Grは、所定のアナログ信号処理の後、AD変換等されて、プロセッサ側信号処理回路220に出力される。また、内視鏡側信号処理回路120は、メモリ122にアクセスして電子スコープ100の識別情報を読み出す。電子スコープ100の識別情報には、例えば固体撮像素子108の画素数や感度、対応可能なレート、型番等が含まれており、この識別情報に基づいて電子スコープ100による観察対象等(上部消化管内視鏡観察と下部消化管内視鏡観察の区別等)も特定することができる。内視鏡側信号処理回路120は、メモリ122から読み出した識別情報をシステムコントローラ202に出力する。
プロセッサ側信号処理回路220は、カラーバランス回路222、画像処理回路226を有している。カラーバランス回路222は、所定のカラーマトリクス係数を用いてプロセッサ側信号処理回路220に入力された混合信号Wr、Gb、Wb、Grを原色信号R、G、Bに変換し画像処理回路226に出力する。なお、後述するように、本実施形態のカラーバランス回路222は、ホワイトバランス調整機能を有しており、ホワイトバランスの調整された原色信号が画像処理回路226に出力されるようになっている。画像処理回路226は、入力された原色信号に対してγ補正や輪郭強調等の所定の画像処理を行い、各色信号別にフレーム単位でR、G、Bの各色対応のフレームメモリ(不図示)にバッファリングする。画像処理回路226は、バッファリングされた各色信号をタイミングコントローラ204によって制御されたタイミングでフレームメモリから掃き出して、NTSC(National Television System Committee)やPAL(Phase Alternating Line)等の所定の規格に準拠した映像信号に変換する。変換された映像信号がモニタ300に順次入力することにより、被写体の画像(すなわち、通常画像又は特殊画像)がモニタ300の表示画面に表示される。
上述したように、本実施形態のカラーバランス回路222は、ホワイトバランス調整機能を有しているため、色再現性に優れた通常画像又は特殊画像がモニタ300上に表示される。カラーバランス回路222のホワイトバランス調整機能は、電子スコープ100を用いた手技に先だって行われる、後述のホワイトバランス調整処理に基づいて機能し、内視鏡画像観察時(すなわち、手技中)、カラーバランス回路222は、術者によって選択される内視鏡画像の観察モード(すなわち、通常光モード又は特殊光モード)に応じた所定の演算処理を行う。図4は、本実施形態のカラーバランス回路222のブロック図である。図4に示すように、カラーバランス回路222は、セレクタ222a、通常光マトリックス演算回路222b、特殊光マトリックス演算回路222c、補正マトリックス演算回路222d、ゲイン値計算回路222e、RGBゲイン調整回路222gで構成されている。
セレクタ222aは、システムコントローラ202から入力される制御信号(不図示)に応じて、内視鏡側信号処理回路120から入力される混合信号Wr、Gb、Wb、Grを通常光マトリックス演算回路222b、特殊光マトリックス演算回路222c又は補正マトリックス演算回路222dに切り替えて出力する回路である。システムコントローラ202は、後述のホワイトバランス調整処理時、セレクタ222aの出力を通常光マトリックス演算回路222b又は補正マトリックス演算回路222dに切り替える。また、システムコントローラ202は、内視鏡画像観察時、術者によるフィルタ切替ボタン114の操作に応じて(すなわち、観察モードに応じて)、セレクタ222aの出力を通常光マトリックス演算回路222b又は特殊光マトリックス演算回路222cに切り替える。
内視鏡画像観察時に通常光モードが選択されると、システムコントローラ202はセレクタ222aを切り替えて、混合信号Wr、Gb、Wb、Grを通常光マトリックス演算回路222bに出力する。通常光マトリックス演算回路222b(第1のマトリックス演算手段)は、内部に通常光用のマトリックス係数M1を有しており、セレクタ222aから入力される混合信号Wr、Gb、Wb、Grに対してマトリックス演算を行い、原色信号Rn、Gn、Bn(第1のRGB原色信号)に変換して出力する。なお、本実施形態においては、マトリックス係数M1は、ランプ208、フィルタ211、光学フィルタF1、LCB102、IRカットフィルタ108a、カラーフィルタ108b、固体撮像素子108の画素等の光学部品の光学特性を想定し、この時に得られる原色信号Rn、Gn、Bnに所定のゲイン(後述するRGBゲイン値G
1の基準のゲイン)を掛けたときに、理想撮像特性に近くなるように設定された3行4列の所定のマトリックス係数である。通常光マトリックス演算回路222bは、このようなマトリックス係数M1を用いて下式に示す演算を行い、入力される混合信号Wr、Gb、Wb、Grを原色信号Rn、Gn、Bnに変換して出力する。
なお、本実施形態におけるマトリックス係数値M1の具体例は、以下の通りである。
図4に示すように、通常光マトリックス演算回路222bから出力される原色信号Rn、Gn、Bnは、ゲイン値計算回路222eとRGBゲイン調整回路222gに出力される。ゲイン値計算回路222e(第1のホワイトバランス補正値算出手段)は、原色信号Rn、Gn、Bnをバランスさせるために必要なホワイトバランス補正値(第1のホワイトバランス補正値)を求める。原色信号Rn、Gn、Bnのホワイトバランス補正値は、RGBゲイン値G1(すなわち、Rnのゲイン値Rgain、Gnのゲイン値Ggain及びBnのゲイン値Bgain)を求めることにより求められる。本実施形態においては、原色信号Gnを基準としてRnのゲイン値Rgain及びBnのゲイン値Bgainを求めるように構成されており、ゲイン値計算回路222eは、入力される原色信号Rn、Gn、Bnの平均値の比Gn/Rn、Gn/Gn、Gn/Bnを求め、それぞれRnのゲイン値Rgain、Gnのゲイン値Ggain、Bnのゲイン値BgainとしてRGBゲイン調整回路222gに出力する。なお、Gnのゲイン値Ggainについては、平均値の比が固定(すなわち、Gn/Gn=1)となるため、RGBゲイン調整回路222gに出力するデータから省略することも可能である。
RGBゲイン調整回路222g(第1のゲイン調整手段)は、後述のホワイトバランス調整処理時にゲイン値計算回路222eから入力されるRGBゲイン値G
1(すなわち、Rnのゲイン値Rgain、Gnのゲイン値Ggain及びBnのゲイン値Bgain)を内部に記憶する。そして、内視鏡画像観察時に通常光モードが選択されると、下式で示す演算を行い、通常光マトリックス演算回路222bから入力される原色信号Rn、Gn、Bnを、Rnのゲイン値Rgain、Gnのゲイン値Ggain及びBnのゲイン値Bgainで補正し(乗算し)出力する。従って、RGBゲイン調整回路222gからは、原色信号Rn、Gn、Bnの出力バランスが調整された(すなわち、ホワイトバランスが調整された)通常画像の画像信号R1、G1、B1が出力される。
図5は、本実施形態のRGBゲイン調整回路222gから出力される通常画像の画像信号R1、G1、B1の出力分光特性である。なお、図5は、ランプ208、フィルタ211、光学フィルタF1、LCB102、IRカットフィルタ108a、カラーフィルタ108b、固体撮像素子108の画素等の光学部品の光学特性を想定したときの理想的な特性(すなわち、R1:G1:B1=1:1:1となる基準の出力特性)を示しており、このときのRGBゲイン値G
1(基準のゲイン)は、例えば、以下の通りである。
図5に示すように、通常画像の画像信号R1、G1、B1の出力分光特性は、白色光が照射されたときの被写体の色再現性を考慮して、各画像信号R1、G1、B1の出力分光特性が一部重複するように設定されている。このため、本実施形態の画像信号B1には画像信号G1の一部が入り込み、画像信号G1には画像信号B1の一部と画像信号R1の一部が入り込み、画像信号R1には画像信号G1の一部が入り込んで出力される。
内視鏡画像観察時に特殊光モードが選択されると、システムコントローラ202はセレクタ222aを切り替えて、混合信号Wr、Gb、Wb、Grを特殊光マトリックス演算回路222cに出力する。特殊光マトリックス演算回路222c(第2のマトリックス演算手段)は、内部に特殊光用のマトリックス係数M2を有しており、セレクタ222aから入力される混合信号Wr、Gb、Wb、Grに対してマトリックス演算を行い、原色信号Ro、Go、Bo(第2のRGB原色信号)に変換して出力する。マトリックス係数M2は、マトリックス係数M1と同様、ランプ208、フィルタ211、光学フィルタF2、LCB102、IRカットフィルタ108a、カラーフィルタ108b、固体撮像素子108の画素等の光学部品の光学特性を想定し、この時に得られる原色信号Ro、Go、Boに所定のゲイン(後述するRGBゲイン値G2の基準のゲイン)を掛けたときに、所定の特殊画像のカラーバランスに近くなるように設定された3行4列の所定のマトリックス係数である。特殊光マトリックス演算回路222cは、このようなマトリックス係数値M2を用いて下式に示す演算を行い、混合信号Wr、Gb、Wb、Grを原色信号Ro、Go、Boに変換して出力する。
なお、本実施形態におけるマトリックス係数値M2の具体例は、以下の通りである。
図4に示すように、特殊光マトリックス演算回路222cから出力される原色信号Ro、Go、Boは、RGBゲイン調整回路222gに出力される。RGBゲイン調整回路222gは、後述のホワイトバランス調整処理時に、補正マトリックス演算回路222dとゲイン値計算回路222eによって求められる、RGBゲイン値G
2(すなわち、Roのゲイン値ROgain、Goのゲイン値GOgain、及びBoのゲイン値BOgain)を内部に記憶している。そして、内視鏡画像観察時に特殊光モードが選択されると、RGBゲイン調整回路222gは、下式で示す演算を行い、特殊光マトリックス演算回路222cから入力される原色信号Ro、Go、BoをRoのゲイン値ROgain、Goのゲイン値GOgain及びBoのゲイン値BOgainで補正し(乗算し)出力する(第2のゲイン調整手段)。従って、RGBゲイン調整回路222gからは、原色信号Ro、Go、Boの出力バランスが調整された(すなわち、ホワイトバランスが調整された)特殊画像の画像信号R2、G2、B2が出力される。
なお、本実施形態においては、Roのゲイン値ROgain及びBoのゲイン値BOgainは、原色信号Goの信号を基準にしたゲイン値であり、それぞれGo/Ro及びGo/Boで表すことができ、また、GOgain=Go/Go=1となる。
図6は、RGBゲイン調整回路222gから出力される特殊画像の画像信号R2、G2、B2の出力分光特性である。なお、図6は、ランプ208、フィルタ211、光学フィルタF2、LCB102、IRカットフィルタ108a、カラーフィルタ108b、固体撮像素子108の画素等の光学部品の光学特性を想定したときの理想的な特性(すなわち、R2:G2:B2=1:1:1となる基準の出力特性)を示しており、このときのRGBゲイン値G
2(基準のゲイン)は、例えば、以下の通りである。
以上説明したように、本実施形態においては、内視鏡画像観察時(すなわち、手技中)、カラーバランス回路222が、術者によって選択される内視鏡画像の観察モード(すなわち、通常光モード又は特殊光モード)に応じた所定の演算処理を行うことにより、観察モードに応じてホワイトバランスが調整された通常画像又は特殊画像が得られる。
(ホワイトバランス調整処理)
次に、電子スコープ100を用いた手技に先だって行われるホワイトバランス調整処理について、さらに図1、図4、図7を用いて詳述する。図7は、本実施形態のホワイトバランス調整の処理フローを説明するフローチャートである。
ホワイトバランス調整処理は、電子スコープ100の先端に、内側を白くした筒状のホワイトキャップ(基準のチャート)を装着し、フロントパネル218に対して所定の入力がなされたことを契機に開始される。ホワイトバランス調整処理が開始されると、処理はS1に進む。なお、説明の便宜上、本明細書中の説明並びに図面において、処理ステップは「S」と省略して記す。
<図7のS1(通常光モードのホワイトバランス調整処理)>
S1では、システムコントローラ202は、ドライバ216、モータ215を介して回転式フィルタターレット213を回転させ、光学フィルタF1を照明光路に配置する。これにより、電子スコープ100の先端からは白色光(通常光)が出射され、固体撮像素子108の受光面上には、ホワイトキャップの内側で反射した通常光が入射する。上述したように、固体撮像素子108の受光面上には、IRカットフィルタ108a、及びカラーフィルタ108bが配置されており、ホワイトキャップの内側で反射した通常光はこれらのフィルタを通って固体撮像素子108の受光面に入射する。そして、固体撮像素子108からは、混合信号Wr、Gb、Wb、Grが出力される。
ホワイトバランス調整処理においては、RGBゲイン値G1及びG2を精確に求めるために、固体撮像素子108から出力される各混合信号Wr、Gb、Wb、Grが、内視鏡側信号処理回路120内の積分回路(不図示)で積分され、各混合信号Wr、Gb、Wb、Grの平均値が得られるように構成されている。従って、積分された混合信号ΣWr、ΣGb、ΣWb、ΣGr(つまり、混合信号Wr、Gb、Wb、Grの平均値)が内視鏡側信号処理回路120からセレクタ222aに出力される。
S1においては、システムコントローラ202は、セレクタ222aを通常光マトリックス演算回路222bに切り替え、積分された混合信号ΣWr、ΣGb、ΣWb、ΣGrを通常光マトリックス演算回路222bに出力する。通常光マトリックス演算回路222bは、入力される積分された混合信号ΣWr、ΣGb、ΣWb、ΣGrに対して下式に示すマトリックス演算を行い、原色信号Rn、Gn、Bnに変換し、ゲイン値計算回路222eとRGBゲイン調整回路222gに出力する。
ゲイン値計算回路222eは、入力される原色信号Rn、Gn、Bnの比Gn/Rn、Gn/Gn、Gn/Bnを求め、それぞれRnのゲイン値Rgain、Gnのゲイン値Ggain、Bnのゲイン値BgainとしてRGBゲイン調整回路222gに出力する。そして、RGBゲイン調整回路222gに出力されたRGBゲイン値G1(すなわち、Rnのゲイン値Rgain、Gnのゲイン値Ggain及びBnのゲイン値Bgain)は、RGBゲイン調整回路222gの内部に記憶される。
このように、S1では、ホワイトキャップを装着した状態で白色光(通常光)を照射し、マトリックス演算して得られる原色信号Rn、Gn、Bnの最適なRGBゲイン値G1(すなわち、ホワイトバランス補正値)を求めることで、通常光に対するホワイトバランス調整処理が行われる。S1が終了すると、処理は、S2に進む。
<図7のS2(特殊光モードのホワイトバランス調整処理)>
S2では、通常光(すなわち、白色光)を用いて特殊光のホワイトバランス調整処理が行われる。つまり、本実施形態のホワイトバランス調整処理は、通常光(すなわち、白色光)のみを用いて、通常画像及び特殊画像(すなわち、通常光モード及び特殊光モード)の両方のホワイトバランスを一度に調整するように構成されている。
S2においては、システムコントローラ202は、セレクタ222aを補正マトリックス演算回路222dに切り替え、積分された混合信号ΣWr、ΣGb、ΣWb、ΣGr(つまり、混合信号Wr、Gb、Wb、Grの平均値)を補正マトリックス演算回路222dに出力する。
補正マトリックス演算回路222d(第3のマトリックス演算手段)は、補正用マトリックス係数M3を有しており、セレクタ222aから入力される混合信号ΣWr、ΣGb、ΣWb、ΣGrに対してマトリックス演算を行い、原色信号Rc、Gc、Bc(第3のRGB原色信号)に変換して出力する。本実施形態の補正用マトリックスM3は、白色光によって得られる混合信号ΣWr、ΣGb、ΣWb、ΣGrから、特殊光モードのホワイトバランス(すなわち、RGBゲイン値G2)を精確に求めることができるように最適化されている。具体的には、補正用マトリックスM3は、ランプ208、フィルタ211、光学フィルタF1、F2、LCB102、IRカットフィルタ108a、カラーフィルタ108b、固体撮像素子108の画素等の光学部品の光学特性を想定し、この時に得られる各原色信号Rc、Gc、Bc中に、可能な限り他の原色信号の情報が入り込まないように(すなわち、各原色信号Rc、Gc、Bcが離散的な情報を有する信号となるように)設定された所定のマトリックス係数である。
補正マトリックス演算回路222dは、このようなマトリックス係数M3を用いて下式に示す演算を行い、白色光によって得られる混合信号ΣWr、ΣGb、ΣWb、ΣGrを原色信号Rc、Gc、Bcに変換してゲイン値計算回路222eに出力する。
なお、本実施形態におけるマトリックス係数値M3の具体例は、以下の通りである。
図8は、下式で示すように、補正マトリックス演算回路222dから出力される原色信号Rc、Gc、Bcに対して基準のゲインを掛けて得られる画像信号R3、G3、B3の出力分光特性である。すなわち、図8は、原色信号Rc、Gc、Bcに対して原色信号Rc、Gc、Bcをバランスさせるために必要なRGBゲイン値G
3(すなわち、Rcのゲイン値RCgain、Gcのゲイン値GCgain、及びBcのゲイン値BCgain)を掛け、ランプ208、フィルタ211、光学フィルタF1、LCB102、IRカットフィルタ108a、カラーフィルタ108b、固体撮像素子108の画素等の光学部品の光学特性を想定したときの理想的な出力特性(すなわち、R3:G3:B3=1:1:1となる基準の出力特性)を示している。
なお、本実施形態においては、Rcのゲイン値RCgain及びBcのゲイン値BCgainは、原色信号Gcの信号を基準にしたゲイン値であり、それぞれGc/Rc、及びGc/Bcで表すことができ、また、GCgain=Gc/Gc=1となる。なお、このときのRGBゲイン値G
3の具体例は、以下の通りである。
ここで、図8と図5とを比較すると、両者は共に白色光によって得られる混合信号(Wr、Gb、Wb、Gr)を原色信号(RGB)に変換し、各原色信号をバランスさせたときの出力分光特性を示すものであるが、R1が青色の波長帯域(480nm付近)に負の感度を有するのに対し、R3はほぼ感度を有さないのが判る。また、B3の特性については、B1と比較してうねりの大きなものとなっているが、分光感度のばらつきの大きい450nmよりも波長の短い波長帯域(短波長側)と、分光感度のばらつきの小さい450nm以上の波長帯域(長波長側)とに分け、短波長側においては、B3の感度をB1の感度よりも高く設定し、長波長側では波長軸における積分値が略ゼロとなるように設定されている。そして、画像信号R3、G3、B3の出力分光特性(図8)は、各画像信号R3、G3、B3のピーク波長がセパレートされた(すなわち、各画像信号R3、G3、B3の出力分光特性の重複部分が少ない)離散的な特性を示し、図5に示される通常画像の画像信号R1、G1、B1の出力分光特性よりも、図6に示される特殊画像の画像信号R2、G2、B2の出力分光特性に比較的近い特性になっているといえる。
このように、本実施形態においては、画像信号R3、G3、B3が画像信号R1、G1、B1よりも離散的な出力分光特性を有するようにマトリックス係数値M3を設定している。そして、ゲイン値計算回路222eは、画像信号R3、G3、B3と画像信号R2、G2、B2との相関関係に基づいてRGBゲイン値G2(すなわち、Roのゲイン値ROgain、Goのゲイン値GOgain、及びBoのゲイン値BOgain)を求め、RGBゲイン調整回路222gに出力する(後述)。
ここで、例えば、短波長側の分光特性が変化したときに(つまり、画像信号のバランスが崩れたときに)、特殊光モードでホワイトバランスをとることを考える。説明の便宜のため、画像信号のバランスが崩れたときに、白色光を照射して補正マトリックス演算回路222dから得られる出力を原色信号Rc’、Gc’(=1)、Bc’とし、特殊光を照射して特殊光マトリックス演算回路222dから得られる出力を原色信号Ro’、Go’(=1)、Bo’とする。また、原色信号Rc’、Gc’(=1)、Bc’に対してRGBゲイン値G3(基準のゲイン)を掛けて得られる出力を画像信号R3’、G3’、B3’とし、原色信号Ro’、Go’(=1)、Bo’に対してRGBゲイン値G2(基準のゲイン)を掛けて得られる出力を画像信号R2’、G2’、B2’とする。
図9は、本実施形態の画像信号R3’とR2’の対応関係、及び画像信号B3’とB2’との対応関係を示すグラフである。図9の横軸は、画像信号R3’又はB3’の値を示し、縦軸は、画像信号R2’又はB2’の値を示している。なお、画像信号R3’、G3’、B3’がバランスしているときの画像信号R3’、B3’と、画像信号R2’、G2’、B2’がバランスしているときの画像信号R2’、B2’を、図9中、「1」で示し、基準出力としている。すなわち、本実施形態においては、画像信号R3、G3、B3の出力分光特性(図8)が、略離散的な特性を示し、画像信号R2、G2、B2の出力分光特性に近い特性になっており、画像信号R3、G3、B3の基準出力からの変化量が、画像信号R2、G2、B2の基準出力からの変化量に略一致するように構成されている。
そして、特殊光モードでホワイトバランスをとるということは、原色信号Ro’、Bo’が入力されたときに出力を「1」とするRoのゲイン値RO’gain及びBoのゲイン値BO’gain(つまり、図9における変化量)を求めることに他ならないから、実際に設定すべきRoのゲイン値RO’gain、Boのゲイン値BO’gainは、図9のグラフの関係から、次式で示すことができる。
ここで、RC’gain及びBC’gainは、画像信号R3’、G3’、B3’をバランスさせたときのRcのゲイン値及びBcのゲイン値を表している。
従って、補正マトリックス演算回路222dから原色信号Rc’、Bc’が得られれば、数14の関係から実際に設定すべきRoのゲイン値RO’gain、Boのゲイン値BO’gainを求めることができる。
本実施形態においては、ゲイン値計算回路222eによって、数14に相当する演算、すなわち、RC’gain及びBC’gainから、RO’gain及びBO’gainへの変換処理が行われる。つまり、ゲイン値計算回路222eは、補正マトリックス演算回路222dから出力される原色信号Rc、Gc、Bcを、数14における原色信号Rc’、Gc’(=1)、Bc’として入力し、このときの画像信号R3’、G3’、B3’をバランスさせるRC’gain及びBC’gainを求める。そして、RC’gain及びBC’gainを、Roのゲイン値RO’gain及びBoのゲイン値BO’gainに変換し、これをRGBゲイン値G2のRoのゲイン値ROgain及びBoのゲイン値BOgainとして、Goのゲイン値GOgain(=1)と共にRGBゲイン調整回路222gに出力する。そして、ゲイン値計算回路222eからRGBゲイン調整回路222gに出力されたRGBゲイン値G2(すなわち、Roのゲイン値ROgain、Goのゲイン値GOgain及びBoのゲイン値BOgain)は、RGBゲイン調整回路222gの内部に記憶される。
このように、S2では、ホワイトキャップを装着した状態で白色光(通常光)を照射し、マトリックス演算して得られる原色信号Rc、Gc、Bcからゲイン値計算回路222eによって、最適なRGBゲイン値G2(第2のホワイトバランス補正値)を求めることで、特殊光に対するホワイトバランス調整処理が行われる。S2が終了すると、本ホワイトバランス調整処理は終了する。
以上説明したように、本実施形態のホワイトバランス調整処理においては、通常光(すなわち、白色光)のみを用いて、通常光モード(通常画像)及び特殊光モード(特殊画像)の両方のホワイトバランスを一度に調整するように構成されている。従って、通常光と特殊光とを切り替えて各モードのホワイトバランスをとる必要がないため、短時間でホワイトバランス調整処理が終了する。また、本実施形態においては、特殊光モードのホワイトバランス(すなわち、RGBゲイン値G2)は、白色光によって得られた原色信号Rc、Gc、Bcに基づいて演算されるものであるが、原色信号Rc、Gc、Bcを得るためのマトリックス係数値M3を離散的な出力分光特性を有するように設定することで、極めて誤差が少なく、精確な特殊光モードのホワイトバランス(すなわち、RGBゲイン値G2)を得ている。
以上が本発明の実施形態の説明である。本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲において様々な変形が可能である。例えば、本実施形態においては、通常光マトリックス演算回路222b、特殊光マトリックス演算回路222c、補正マトリックス演算回路222d、ゲイン値計算回路222e、RGBゲイン調整回路222gをハードウェアで構成したが、これらの一部又は全部をソフトウェアで構成することも可能である。
また、本実施形態においては、Ro=Go=Bo=1となるように特殊光モードのホワイトバランスをとる構成としたが、この構成に限定されるものではなく、例えば、Go=1としたときに、Ro及びBoがそれぞれに適した比率となるように(つまり、所定の値となるように)カラーバランスをとる構成としてもよい。
また、本実施形態においては、画像信号R3、G3、B3の基準出力からの変化量が、画像信号R2、G2、B2の基準出力からの変化量に略一致するように構成したが(図9)、このような構成に限定されるものではなく、画像信号R3、G3、B3の基準出力からの変化量と画像信号R2、G2、B2の基準出力からの変化量とが異なる場合にも本発明を適用することが可能である。
<第2の実施形態>
図10は、本発明の第2の実施形態に係る電子内視鏡システム1Mの構成を示すブロック図である。図11は、本発明の第2の実施形態のカラーバランス回路222Mのブロック図である。図12は、本発明の第2の実施形態の画像信号R3’とR2’の関係、及び画像信号B3’とB2’との関係を示すグラフである。
図10及び図11に示すように、本実施形態の電子内視鏡システム1Mは、メモリ224を備えたプロセッサ側信号処理回路220Mと、補正値計算回路222fを備えたカラーバランス回路222Mを有する点で、第1の実施形態と異なる。また、原色信号Rc、Gc、Bcをバランスさせるために必要なRGBゲイン値G
3(すなわち、Rcのゲイン値RCgain、Gcのゲイン値GCgain、及びBcのゲイン値BCgain)が、以下のように設定されており、図12に示すように、画像信号R3、G3、B3の基準出力からの変化量が、画像信号R2、G2、B2の基準出力からの変化量に略比例する関係となっている点で、第1の実施形態とは異なる。以下、第1の実施形態と異なる構成について詳述する。
本実施形態の補正値計算回路222fは、第1の実施形態のゲイン値計算回路222eに相当する機能を有した回路であり、図7のS2に示す特殊光モードのホワイトバランス調整処理において、画像信号R3、G3、B3と画像信号R2、G2、B2の相関関係を利用した演算を行うことにより、RGBゲイン値G2(すなわち、Roのゲイン値ROgain、Goのゲイン値GOgain、及びBoのゲイン値BOgain)を求める演算回路(第2のホワイトバランス補正値算出手段)である。また、メモリ224は、補正値計算回路222fが必要とする各種パラメータを記憶するメモリである。
第1の実施形態と同様、本実施形態においても、画像信号R3、G3、B3が画像信号R1、G1、B1よりも離散的な出力分光特性を有するようにマトリックス係数値M3が設定されている。従って、白色光を照射し、マトリックス係数M3によるマトリックス演算を行ったときの原色信号Rc、Gc、Bcは、数10に示す通りである。この原色信号Rc、Gc、Bcをバランスさせるために必要なRcのゲイン値RCgain及びBcのゲイン値BCgainは、Gc=1とすると、以下のように表すことができる。
また、特殊光を照射し、マトリックス係数M2によるマトリックス演算を行ったときの原色信号Ro、Go、Boは、数5に示すとおりである。この原色信号Ro、Go、Boをバランスさせるために必要なRoのゲイン値ROgain及びBoのゲイン値BOgainは、Go=1とすると、以下のように表すことができる。
次に、例えば、短波長側の分光特性が変化したときに(画像信号のバランスが崩れたときに)、白色光を照射して補正マトリックス演算回路222dから得られる出力を原色信号Rc’、Gc’(=1)、Bc’とし、特殊光を照射して特殊光マトリックス演算回路222dから得られる出力を原色信号Ro’、Go’(=1)、Bo’とすると、数7及び数12より、そのときの画像信号R3’、B3’及び画像信号R2’、B2’は、以下のように表せる。
上述したように、本実施形態においては、画像信号R3、G3、B3の基準出力からの変化量が、画像信号R2、G2、B2の基準出力からの変化量に略比例する関係にある(図12)。従って、画像信号R、G、Bの各信号に応じて傾きはそれぞれ異なるものの、R3’及びB3’が求まれば、図12に示すグラフの関係から、R2’及びB2’をそれぞれ容易に求めることができる。
ここで、R3’に対するR2’の変化量(すなわち、Rの傾き)をTR、B3’に対するB2’の変化量(すなわち、Bの傾き)をTBとすると、次式が得られる。
ここで、特殊光モードでホワイトバランスをとるということは、原色信号Ro’、Bo’が入力されたときに出力を「1」とするRoのゲイン値RO’gain及びBoのゲイン値BO’gainを求めることに他ならないから、実際に設定すべきRoのゲイン値RO’gain、Boのゲイン値BO’gainは、次式で示すことができる。
そして、数22に数18〜数20を代入すると、次式を得る。
ここで、数23におけるROgain及びBOgainは、画像信号R2’、G2’、B2’がバランスしているときにおける(すなわち、基準出力時における)Roのゲイン値及びBoのゲイン値を表しているから、事前に測定又はシミュレーションを行うことによって求まる定数である。また同様に、数23におけるRCgain及びBCgainは、画像信号R3’、G3’、B3’がバランスしているときにおける(すなわち、基準出力時における)Rcのゲイン値及びBcのゲイン値を表しているから、事前に測定又はシミュレーションを行うことによって求まる定数である。また、TR及びTBについても、画像信号R3’とR2’の関係、及び画像信号B3’とB2’との関係(図12)を事前に測定又はシミュレーションを行うことによって求めることができる定数である。従って、補正マトリックス演算回路222dから原色信号Rc’、Bc’が得られれば、数23によって実際に設定すべきRoのゲイン値RO’gain、Boのゲイン値BO’gainが求められる。
本実施形態においては、数23におけるROgain、BOgain、RCgain、BCgain、TR、TBの各パラメータが予め測定又はシミュレーションによって求められており、メモリ224に記憶されている。従って、補正値計算回路222fは、メモリ224にアクセスし、これらのパラメータを読み込み、上記の数23に基づいて演算を行っている。すなわち、補正値計算回路222fは、補正マトリックス演算回路222dから出力される原色信号Rc、Gc、Bcを、数23における原色信号Rc’、Gc’(=1)、Bc’として入力し、Roのゲイン値RO’gain及びBoのゲイン値BO’gainを求め、これをRGBゲイン値G2のRoのゲイン値ROgain及びBoのゲイン値BOgainとして、Goのゲイン値GOgain(=1)と共にRGBゲイン調整回路222gに出力する。そして、RGBゲイン調整回路222gに出力されたRGBゲイン値G2(すなわち、Roのゲイン値ROgain、Goのゲイン値GOgain及びBoのゲイン値BOgain)は、RGBゲイン調整回路222gの内部に記憶される。
このように、本実施形態においては、ホワイトキャップを装着した状態で白色光(通常光)を照射し、マトリックス演算して得られる原色信号Rc、Gc、Bcを数23を用いて演算し、最適なRGBゲイン値G2(第2のホワイトバランス補正値)を求めることで、特殊光に対するホワイトバランス調整処理が行われる。
以上説明したように、本実施形態のホワイトバランス調整処理においても、第1の実施形態と同様、通常光(すなわち、白色光)のみを用いて、通常光モード(通常画像)及び特殊光モード(特殊画像)の両方のホワイトバランスを一度に調整するように構成されている。従って、通常光と特殊光とを切り替えて各モードのホワイトバランスをとる必要がないため、短時間でホワイトバランス調整処理が終了する。
なお、本実施形態においては、ROgain、BOgain、RCgain、BCgain、TR、TBの各パラメータが予め測定又はシミュレーションによって求められており、メモリ224に記憶されているものとして説明したが、これらのパラメータは、電子スコープ100に内蔵されるメモリ122に記憶されてもよい。