JP5856943B2 - 撮像システム - Google Patents

Description

本発明は被写体を撮像する撮像システムに関する。

近年、体腔内に挿入される内視鏡のように撮像手段を備えた撮像システムが広く用いられるようになっている。
また、通常の可視領域の照明光の照明のもとで撮像する通常光観察モード又は白色光観察（ＷＬＩ観察）モードの他に、可視領域の照明光とは異なり、狭帯域の照明光のもとで撮像を行う狭帯域光観察（ＮＢＩ観察）モード等の特殊光観察を行うことができる撮像システムも実用化されている。
例えばＷＯ２０１０／１３１６２０号公報の第１の従来例には、狭帯域光観察を行うための面順次方式の撮像装置が開示されている。狭帯域光観察では、血管を高いコントラストで観察するために、血液に強く吸収され、かつ粘膜表層で強く反射・散乱される、という特長を併せ持つ光の利用に着目し、青色狭帯域光と緑色狭帯域光とを順次、生体組織に照射し、その反射光を撮像することにより、粘膜表層の毛細血管と深部の太い血管とのコントラストを強調表示する。

また、青色狭帯域光は、緑色狭帯域光に比較して、照明光量が不足しがちとなるため、上記公報の第１の従来例の撮像装置においては、緑色の狭帯域光Ｇと青色の２つの狭帯域光Ｂ１，Ｂ２を順次照射し、狭帯域光Ｇ，Ｂ１，Ｂ２に対応する反射光画像（狭帯域画像）から作成した狭帯域光観察画像を用いて狭帯域光観察を行うようにしている。また、この第１の従来例の撮像装置は、明るさ制御を行う構成を開示している。
また、特開２００１−８０９７号公報の第２の従来例は、光源からの光照射に基づき被観察体内を撮像する撮像素子と、露光量情報を入力し上記光源からの光出力を可変制御する光量制御回路と、上記撮像素子から出力された画像信号のゲインを可変制御するゲイン制御回路と、上記画像信号に対して輪郭強調を行うディテール回路と、上記露光量情報により画像明るさが不足する状態で上記光量制御回路による光出力が上限値にあることを検出したとき、上記ゲイン制御回路により画像信号のゲインを上げると共に、このゲイン値の上昇に比例して上記ディテール回路のディテール量を下げるように制御する制御回路とを設けた内視鏡システムを開示している。

ＷＯ２０１０／１３１６２０号公報 特開２００１−８０９７号公報

上記第１の従来例は、可視領域の照明光と狭帯域の照明光とを切り替えることにより通常光観察モードと狭帯域光観察モードとで観察できるようにしているが、照明光を切り替えて照明光量が不足し易い狭帯域光による観察を行うような場合において、明るさ制御のためにノイズが目立つようになる欠点が発生する。
また、第２の従来例は、露光量が不足する場合には、ゲイン可変手段により画像信号のゲインを所定の明るさの画像が得られるようにゲインを増大すると共に、ゲイン値の上昇に比例してディテール回路のディテール量を下げるように制御するが、通常の照明光の場合に適用することを想定しているため、通常の照明光よりも光量がかなり小さい狭帯域光の場合にはノイズが顕著になってしまう欠点がある。
本発明は上述した点に鑑みてなされたもので、照明光を切り替えて観察を行う場合に対応でき、ノイズが目立つことなく、観察し易い画質の画像を生成することができる撮像システムを提供することを目的とする。

本発明の一態様の撮像システムは、第１の狭帯域及び第２の狭帯域を備えた第１の照明帯域の照明光と、複数の広帯域を備えた第２の照明帯域の照明光とを切り替えて照明を行う照明手段と、前記照明手段により照明された被写体を撮像する撮像手段と、前記撮像手段により出力される撮像信号の撮像信号レベルを変更する信号レベル可変手段と、前記信号レベル可変手段から出力される信号から画像信号を生成し、生成した画像信号に対して輪郭強調処理を行う画像処理手段と、前記第１の照明帯域の照明光で照明を行う場合において、前記第１の狭帯域の照明光に前後するタイミングで前記第２の狭帯域の照明光のもとで撮像した２つの撮像画像を合成する処理を行う合成処理手段と、前記画像処理手段が行う輪郭強調処理内容と、前記照明手段における前記第１の照明帯域を形成する前記第１の狭帯域及び前記第２の狭帯域の組み合わせと、前記第２の照明帯域を形成する前記複数の広帯域の組み合わせの情報と、前記合成処理手段による２つの撮像画像を合成する際の合成係数に応じて、前記信号レベル可変手段における前記撮像信号レベルに対するゲインを制御する信号レベル可変制御手段と、を備え、前記第１の照明帯域の照明は、１フレーム期間の整数倍となる所定の時間内に、前記第１の狭帯域の照明光による第１回の照明と、前記第２の狭帯域を有する照明光による前記第１回の２倍となる第２回の照明との組み合わせからなり、更に、前記第１回の回数のうちの第１の所定回の照明に基づく前記撮像手段による第１の撮像信号と、前記第２回の回数のうちの第２の所定回の照明に基づく前記撮像手段による第２の撮像信号とを用いた色変換マトリクス処理によって第１の明るさを算出し、前記第１回の回数のうちの第３の所定回の照明に基づく第１の撮像信号と、前記第２回の回数のうちの第４の所定回の照明に基づく第３の撮像信号とを用いた色変換マトリクス処理によって第２の明るさを算出する明るさ算出手段と、前記第１の明るさと所定の目標明るさとの差分と、前記第２の明るさとの比に基づいて、各１フレーム期間において前記第１及び第２の撮像信号に対して前記第１及び第３の撮像信号を合成する場合の合成係数を算出する演算手段と、を備え、前記画像処理手段は、前記演算手段による合成係数、又は合成係数設定手段により設定される合成係数に基づき、各１フレーム期間内における前記第１及び第２の撮像信号に対して前記第１及び第３の撮像信号を合成し、生成した画像信号に対して輪郭強調処理を行い、前記信号レベル可変手段は、前記照明手段が前記第１の狭帯域及び第２の狭帯域の組み合わせからなる前記第１の照明帯域の照明光のもとで撮像された撮像信号である場合、前記画像処理手段が行う前記輪郭強調処理内容と前記合成係数とに基づき、前記第１、第２及び第３の撮像信号を処理する前記信号レベル可変手段を制御する。

本発明によれば、照明光を切り替えて観察を行う場合に対応でき、ノイズが目立つことなく、観察し易い画質の画像を生成することができる。

図１は本発明の第１の実施形態の撮像システムの全体構成を示す図。 図２は回転フィルタの内周側に設けた第１フィルタ群を構成する狭帯域フィルタの波長に対する透過特性を示す図。 図３は回転フィルタの外周側に設けた第２フィルタ群を構成する広帯域フィルタの波長に対する透過特性を示す図。 図４は明るさ算出部の構成を示すブロック図。 図５は合成処理部の構成を示すブロック図。 図６Ａは合成率に応じてノイズ低減の強度をステップ状に変更する特性例を示す図。 図６Ｂは合成率に応じてノイズ低減の強度を連続的に変更する特性例を示す図。 図７Ａは狭帯域光観察モード時における強調レベルなどに応じてＡＧＣ回路のゲイン最大値を抑制する制御内容を示す図。 図７Ｂは通常光観察モード時における強調レベルに応じてＡＧＣ回路のゲイン最大値を抑制する制御内容を示す図。 図８は強調回路が行う強調の種類に応じてＡＧＣ回路のゲイン最大値を抑制する制御内容を示す図。 図９は第１の実施形態における処理内容を示すフローチャート。 図１０は第１の実施形態の変形例の撮像システムの全体構成を示す図。 図１１は第１の実施形態の変形例におけるＮＢＩ観察モード時でのゲイン最大値を制限する内容を示す図。 図１２は表示される画像を複数の領域に分割した様子を示す図。 図１３Ａは明領域及び暗領域に応じて構造強調を行う周波数特性を変更する内容を示す図。 図１３Ｂは明領域及び暗領域と、電子ズームの有無に応じて構造強調を行う強度などを変更する内容を示す図。 図１４は撮像素子をＡチャンネルとＢチャンネルとの２線を用いて読み出す場合における欠陥画素とその周辺の８画素の関係を示す図。 図１５は６０コマ／秒の画像を５０コマ／秒の画像に変換する６５変換回路の画像メモリに入力される画像のタイミングと、６５変換されて画像メモリから出力される画像のタイミング等を示すタイミング図。 図１６は６５変換した画像信号を同時化メモリに書き込みして、同時化したRGB信号として読み出すタイミングを示すタイミング図。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示す本発明の第１の実施形態の撮像システム１は、患者９の体腔内に挿入され、体腔内の患部等を被写体として内視鏡検査を行う内視鏡２と、内視鏡２に複数の狭帯域光からなる照明光と、複数の広帯域光からなる照明光とを選択的に供給する光源装置３と、内視鏡２に搭載された撮像手段に対する信号処理を行う信号処理手段としてのビデオプロセッサ４と、このビデオプロセッサ４から出力される画像信号をカラー表示するカラー表示手段としてのカラーモニタ５とを有する。
内視鏡２は、体腔内に挿入し易いように細長で可撓性を有する挿入部１１と、この挿入部１１の後端（基端）に設けられた操作部１２と、操作部１２の側部などから延出されたユニバーサルケーブル１３とを有する。挿入部１１、操作部１２、ユニバーサルケーブル１３内には、照明光を伝達するライトガイド１４が挿通され、ライトガイド１４の端部に設けた光源用コネクタ１５は、第１の狭帯域及び第２の狭帯域を備えた第１の照明帯域の照明光と、複数の広帯域を備えた第２の照明帯域の照明光とを切り替えて照明を行う照明手段を構成する光源装置３に着脱自在に接続される。

光源装置３は、ランプ電源回路２０によるランプ点灯電源により発光するランプ２１を有する。このランプ２１は、例えばキセノンランプなどにより構成され、可視領域をカバーする広帯域の光を発生する。
そして、以下に説明するように光源装置３は、通常光観察モード又は白色光の観察モード（ＷＬＩ観察モード又はＷＬＩモード）に対応した広帯域Ｒ、Ｇ、Ｂ面順次照明光と、狭帯域光観察モード（ＮＢＩ観察モード又はＮＭＩモード）に対応した狭帯域Ｇ、Ｂ面順次照明光との一方の面順次照明光をライトガイド１４に供給する。
なお、狭帯域のＧ、Ｂ面順次光は、広帯域Ｒ、Ｇ、Ｂ面順次照明光に比較すると、照明光量が不足しがちになり易く、かつ狭帯域のＧ面順次光に比較して狭帯域のＢ面順次光の照明光量がライトガイド１４での伝送ロスなどにより小さくなり易いため、本実施形態においては、以下に説明するように狭帯域Ｇ面順次光の１回の照明に対して狭帯域Ｂ面順次光の照明を２回行う構成にしている。２回の内の一方がＢ１の照明光、他方がＢ２の照明光となる。

メインとなる狭帯域Ｂ面順次光を狭帯域Ｂ１の面順次光、サブ（スレーブ）の狭帯域Ｂ面順次光を狭帯域Ｂ２の面順次光とした場合、本実施形態においては、狭帯域Ｇ、Ｂ１、Ｂ２の面順次照明光又は狭帯域Ｂ２を最初にした狭帯域Ｂ２，Ｇ，Ｂ１の面順次照明光による照明を行う。そして、同じ狭帯域のＢ１の照明光とＢ２の照明光とでそれぞれ撮像した撮像画像を合成することによって、狭帯域のＢ１又はＢ２の照明光でそれぞれ撮像したＢ１の撮像画像（又はＢ２の撮像画像）よりも明るい画像を生成することができるようにしている。
また、照明光量が不足する場合には、撮像信号レベルを変更する信号レベル可変手段としてのＡＧＣ回路４７によるゲインにより撮像信号レベルを上げ、明るい画像を生成することができるようにしている。但し、面順次照明のため、動きのある被写体を撮像した場合には、合成画像に輪郭ずれ等が発生する。そのため、後述するように本実施形態においては観察モード、輪郭強調レベル、２つの画像を合成する場合の合成係数（又は合成比率）に応じて、ＡＧＣ回路４７によるゲインの最大値を制限し、ノイズが目立たない画像がえられるようにする。

ランプ２１の光は、その照明光路中に配置された絞り２２Ａにより、通過する光量が調整された後、モータ２３により回転される回転カラーフィルタ２４を通り、コンデンサレンズ２５で集光されてライトガイド１４の入射端面に入射される。なお、絞り２２Ａは、絞り駆動回路２２Ｂにより、絞り２２Ａにおける通過光量を決定する開口の大きさを可変する。なお、絞り２２Ａには、絞り２２Ａの開口量を検出するセンサ（図示略）を有し、最大の開口量となった開放状態においては、最大の開口量又は開放状態を検出した信号を絞り駆動回路２２Ｂを介して後述する制御回路３２に出力する。
なお、センサは、絞り駆動回路２２Ｂを介することなく、直接制御回路３２に出力しても良い。
回転カラーフィルタ２４は、内周側周方向と外周側周方向に沿ってそれぞれ配置された複数の扇形状のフィルタを備え、第１の照明帯域の照明光と、第２の照明帯域の照明光を生成する第１フィルタ群６と第２フィルタ群７を有する。

内周側の円環部分に、緑（Ｇ），青（Ｂ）の波長帯域における狭帯域の光をそれぞれ透過するＧフィルタ６Ｇ、Ｂフィルタ６Ｂ１及び６Ｂ２が配置されて、第１フィルタ群６が構成される。なお、Ｂフィルタ６Ｂ１及び６Ｂ２は、同じ特性のフィルタであり、Ｂフィルタ２６Ｂ１がメインで使用されるフィルタで、Ｂフィルタ２６Ｂ２がサブで使用されるフィルタである。
外周側の円環部分には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の広帯域の光をそれぞれ透過するＲ，Ｇ，Ｂフィルタ７Ｒ，７Ｇ，７Ｂが配置され、第２フィルた群７を構成する。
図２はＧフィルタ６Ｇ、Ｂフィルタ６Ｂ１及び６Ｂ２の透過特性を示す。具体的には、Ｇフィルタ６Ｇは、５４０ｎｍを中心とした５３０−５５０ｎｍの狭帯域のＧ光を透過し、Ｂフィルタ６Ｂ１及び６Ｂ２は、例えば４１５ｎｍを中心とした４００−４３０ｎｍの狭帯域のＢ光（Ｂ１光、Ｂ２光ともいう）を透過する。なお、図２においては、符号フィルタ６Ｇ、６Ｂ１、６Ｂ２を記載しないで、その透過特性をＧ，Ｂ１（Ｂ２）で示している。

図３は、Ｒ，Ｇ，Ｂフィルタ７Ｒ，７Ｇ，７Ｂ（図中ではＲｗ，Ｇｗ，Ｂｗで示す）の透過特性を示し、Ｒ，Ｇ，Ｂフィルタ７Ｒ，７Ｇ，７Ｂは、通常のＲ，Ｇ，Ｂの広帯域の波長帯域の光をそれぞれ通過する。なお、第１フィルタ群６と第２フィルた群７を、それぞれ狭帯域フィルタ群と広帯域フィルタ群とも言う。
なお、本明細書においては、図２に示す狭帯域の透過特性を有するＧフィルタ６Ｇ、Ｂフィルタ６Ｂ１及び６Ｂ２の透過特性をＧ，Ｂ１（Ｂ２）で示し、図３に示す広帯域の透過特性を有するＲ，Ｇ，Ｂフィルタ７Ｒ，７Ｇ，７Ｂの透過特性、又はそれらの光をＲｗ，Ｇｗ，Ｂｗで示す。
回転カラーフィルタ２４を回転するモータ２３は、ラック２８に取り付けてあり、このラック２８は移動用モータ２９の回転軸に取り付けたピニオンギア２９ａと噛合している。図１の実線で示す状態においては、回転カラーフィルタ２４の外周側のＲ，Ｇ，Ｂフィルタ７Ｒ，７Ｇ，７Ｂ（Ｒｗ，Ｇｗ，Ｂｗ）が照明光路中に配置されたＷＬＩ観察モードに対応した照明を行う状態であり、モータ２３により回転されることにより、広帯域のＲ、Ｇ、Ｂ面順次照明光がライトガイド１４の入射端面に入射される。

内視鏡２の操作部１２には観察モードを選択又は切り替える観察モード切替手段としての観察モードスイッチ３１が設けられており、制御回路３２は観察モードスイッチ３１の操作に対応して光源装置３による照明光の切替と、ビデオプロセッサ４による照明光に対応した動作の制御を行う。例えば、術者等のユーザが観察モードスイッチ３１を操作してＷＬＩ観察モードから、ＮＢＩ観察モードに切り替える操作をすると、ビデオプロセッサ４内の制御回路３２は、モータ２９を回転駆動して、回転カラーフィルタ２４及びモータ２３を図１における矢印で示すように上方側に移動させる。
回転カラーフィルタ２４が２点鎖線で示すように上方側に移動すると、内周側のＢ２、Ｇ、Ｂ１フィルタ６Ｂ２，６Ｇ、６Ｂ１が照明光路中に配置される状態に切り替わる。この状態においては、モータ２３により回転カラーフィルタ２４が回転されることにより、狭帯域のＢ２，Ｇ、Ｂ１面順次照明光がライトガイド１４の入射端面に入射される。
ライトガイド１４により伝送された照明光は、挿入部１１の先端部３３の照明窓に臨むライトガイド先端面から照明光として体腔内に出射され、体腔内の患部等の被写体を照明する。照明された被写体は、照明窓に隣接して設けられた観察窓に取り付けられた対物レンズ系３４によってその結像位置に、撮像面が配置された撮像素子としての例えば電荷結像素子（ＣＣＤと略記）３５に結像される。照明手段により照明された被写体を撮像する撮像手段は、被写体の光学像を結ぶ対物レンズ系３４と、その結像位置に配置されたＣＣＤ３５とにより構成される。

撮像手段を構成するＣＣＤ３５は、挿入部１１等を挿通された信号線を介してユニバーサルケーブル１３の端部に設けた信号コネクタ３６の電気接点と接続される。信号コネクタ３６は、ビデオプロセッサ４に着脱自在に接続される。ＣＣＤ３５はビデオプロセッサ４内に設けたＣＣＤドライバ４１が発生するＣＣＤ駆動信号の印加により、ＣＣＤ３５の撮像面に結像された光学像を光電変換した信号を撮像信号として出力する。
なお、光源装置３が広帯域のＲ、Ｇ、Ｂ面順次照明光を生成している場合においては、ＣＣＤ３５は、広帯域のＲ、Ｇ、Ｂ面順次照明光のもとでそれぞれ光電変換した信号としての広帯域のＲ、Ｇ、Ｂの撮像信号を面順次で出力する。
一方、光源装置３が狭帯域のＢ２、Ｇ、Ｂ１面順次照明光を生成している場合においては、ＣＣＤ３５は、狭帯域のＢ２、Ｇ、Ｂ１面順次照明光のもとでそれぞれ光電変換した信号としての狭帯域のＢ２、Ｇ、Ｂ１の撮像信号を面順次で出力する。

以下においては、（殆どの場合において）広帯域のＲ、Ｇ、Ｂ面順次照明光を、Ｒｗ、Ｇｗ、Ｂｗ面順次光、広帯域のＲ、Ｇ、Ｂの撮像信号を、Ｒｗ、Ｇｗ、Ｂｗの撮像信号のように表記し、狭帯域のＢ２、Ｇ、Ｂ１面順次照明光や、狭帯域のＢ２、Ｇ、Ｂ１の撮像信号と区別する。
ＣＣＤ３５から面順次で出力される撮像信号（具体的には、Ｒｗ、Ｇｗ、Ｂｗの撮像信号又はＢ２、Ｇ、Ｂ１の撮像信号）は、ビデオプロセッサ４内のアナログ処理部４２に入力され、アナログ処理部４２を構成するプリアンプにより低雑音指数で増幅された後、相関２重サンプリング回路（ＣＤＳ回路と略記）によりベースバンドの信号成分が抽出される。ＣＤＳ回路を経たベースバンドの信号は、Ａ／Ｄ変換回路４３によりデジタルの撮像信号に変換された後、面順次の撮像信号を同時化する同時化制御部４４と撮像画像の明るさを算出する明るさ算出部４５とに入力される。

同時化制御部４４は、面順次の撮像信号を同時化するための同時化メモリ４６と接続されている。同時化メモリ４６は、Ｒ，Ｇ，Ｂメモリ４６ａ，４６ｂ，４６ｃを有する。そして、Ｒｗ、Ｇｗ、Ｂｗの撮像信号が入力された場合には、同時化制御部４４は、Ｒ，Ｇ，Ｂメモリ４６ａ，４６ｂ，４６ｃにそれぞれＲｗ、Ｇｗ、Ｂｗの撮像信号を格納する。
一方、Ｂ２、Ｇ、Ｂ１の撮像信号が入力された場合には、同時化制御部４４は、Ｒ，Ｇ，Ｂメモリ４６ａ，４６ｂ，４６ｃにそれぞれＢ２、Ｇ、Ｂ１の撮像信号を格納する。
同時化制御部４４は、広帯域のＲｗ、Ｇｗ、Ｂｗの撮像信号又は狭帯域のＢ２、Ｇ、Ｂ１の撮像信号を同時化メモリ４６に格納した後、同時に読み出し、各フレームにおける撮像信号のレベルを変更する信号レベル可変手段としての自動利得制御回路（ＡＧＣ回路と略記）４７に出力する。

明るさ算出部４５は、撮像画像の明るさを明るさ算出部４５内に設けたマトリクス処理部６５によるマトリクス処理（又は色変換マトリクス処理）により算出する。明るさ算出部４５は、少なくとも１フレーム期間より長い時間における撮像画像の平均の明るさ（又は輝度）を算出する。平均の明るさ（又は輝度）を算出する場合の時間をユーザが設定することができるようにしても良い。
明るさ算出部４５は、ＷＬＩ観察モードの場合には、広帯域のＲｗ、Ｇｗ、Ｂｗ面順次照明光でのＲｗ、Ｇｗ、Ｂｗの撮像信号に対応した１種類の明るさを算出する。
一方、ＮＢＩ観察モードの場合には、所定の時間（例えば１フレーム期間、又は２フレーム期間）内において、狭帯域のＢ２、Ｇ、Ｂ１面順次照明光におけるＢ２、Ｇ照明光と、Ｂ１、Ｇ照明光とでそれぞれ撮像した撮像信号から２組の明るさ（第１の明るさと第２の明るさ）を算出する。
なお、本実施形態においては、Ｂ１照明光をマスター照明光、Ｂ２照明光をマスター照明光に対して補助的（従属的）に使用されるスレーブ照明光とも呼ぶ。また、Ｂ１、Ｇ照明光をマスター側照明光、Ｂ２、Ｇ照明光をスレーブ側照明光とも呼ぶ。

上記ＡＧＣ回路４７の出力信号は、以下に説明するように輪郭強調処理を行う強調回路５５を含む画像処理手段としての画像処理部５０を構成する合成処理部５１に、切替スイッチ５２を介して入力される。画像処理部５０は、信号レベル可変手段としてのＡＧＣ回路４７から出力された信号から画像信号を生成し、生成した画像信号に対して輪郭強調処理等を行う。
ＮＢＩ観察モードにおいては、ＡＧＣ回路４７の出力信号は、切替スイッチ５２を介して（Ｂ１照明光の下でＣＣＤ３５により撮像された）Ｂ１撮像画像と（Ｂ２照明光の下でＣＣＤ３５により撮像された）Ｂ２撮像画像の合成を行う合成処理部５１に入力される。合成処理部５１は、合成により生成した画像信号を後段側に出力する。
ＷＬＩ観察モードにおいては、制御回路３２によって切替スイッチ５２は接点ａ、ｂにおける設定ａが選択されるように切替が制御される。この場合には、ＡＧＣ回路４７の出力信号は、合成処理部５１をバイパスしてノイズ低減処理を行うノイズリダクション（ＮＲと略記）回路５３に入力される。

ＮＲ回路５３は、ノイズ低減処理を行う際の処理強度（ＮＲ強度とも言う）と合成処理部５１による合成率の値とをルックアップテーブルのように関連付けた情報として格納したＲＯＭ５３ａと接続されている。そして、ＮＲ回路５３は、ＲＯＭ５３ａの情報を参照して、合成率の値に応じた強度でノイズ低減の動作を行う。
ＮＲ回路５３から出力される画像信号は、拡大／縮小回路５４に入力され、拡大／縮小回路５４は、入力される画像信号の画像サイズを電気的な信号処理により拡大（電子ズーム）又は縮小を行う。拡大／縮小回路５４の出力信号は、強調回路５５に入力され、強調回路５５は、輪郭を強調する輪郭強調処理を行う。
強調回路５５から出力される画像信号は、マトリクス処理部５６に入力され、マトリクス処理部５６は、１フレーム期間単位でマトリクス処理によりカラーモニタ５のＲＧＢチャンネルに出力するＲ，Ｇ，Ｂ画像の画像信号Ｒｏ，Ｇｏ，Ｂｏを生成する。

マトリクス処理部５６は、ＷＬＩ観察モード時においては、単位マトリクスとなり、ＮＢＩ観察モード時は、色調変更する場合には、後述する（１）式のα、β、γを含むマトリクスを採用する。
このマトリクス処理部５６により生成された画像信号Ｒｏ，Ｇｏ，Ｂｏは、Ｄ／Ａ変換回路５７によりアナログの画像信号Ｒｔ′，Ｇｔ′，Ｂｔ′に変換された後、カラーモニタ５のＲＧＢチャンネルに入力される。
カラーモニタ５には、ＷＬＩ観察モードにおいては、ＷＬＩ観察画像がカラー表示され、ＮＢＩ観察モードにおいては、ＮＢＩ観察画像がカラーないしは擬似カラーで表示される。

また、ビデオプロセッサ４には、合成係数設定手段（又は合成比率設定手段）としての合成比率設定部（又は合成係数設定部）５８ａ、輪郭強調レベル設定部５８ｂ等の各種の設定を行う操作パネル５８を備え、操作パネル５８により設定した信号は制御回路３２に入力される。
術者等のユーザは、合成比率設定部５８ａから合成比率ａ′を設定する操作を行うことにより、制御回路３２を介して合成比率ａ′が合成処理部５１に入力され、合成処理部５１は実際に合成する際に使用する合成比率ａｃとしてこの合成比率ａ′を用いて２組の撮像信号（Ｂ１撮像信号とＢ２撮像信号）の合成処理を行う。
合成処理部５１は、ユーザにより設定される合成比率ａ′を優先して使用するが、この設定が行われない場合には、明るさ算出部４５により算出される後述する合成比率ａを合成比率ａｃとして合成処理を行う。

図１では、明るさ算出部４５から合成比率の情報を合成処理部５１に直接出力するラインを示しているが、明るさ算出部４５により算出した合成比率ａの情報を制御回路３２に出力し、制御回路３２が纏めて合成処理部５１の合成処理を制御しても良い。本実施形態では、後者の場合を想定して以下の説明を行う。
また、明るさ算出部４５は、算出した明るさの目標の明るさからの差分を、調光制御部５９に出力する。調光制御部５９は、入力された差分の信号を調光信号として光源装置３の絞り駆動回路２２Ｂに出力し、絞り駆動回路２２Ｂは調光信号に基づいて絞り２２Ａを通過する光量を調整する。
また、ビデオプロセッサ４内には、制御回路３２がＡＧＣ回路４７のＡＧＣゲイン（以下、単にゲインと略記）の範囲を制限する制御情報６０ａを格納した制御情報格納部としての例えばフラッシュメモリ６０を有する。

制御回路３２は、フラッシュメモリ６０に格納された制御情報６０ａを参照してＡＧＣ回路４７のゲインを、ＡＧＣ回路４７のゲイン制御端子に印加するゲイン制御信号Ｃｇで制御する。なお、ＡＧＣ回路４７は、３つの特性が揃ったＡＧＣ回路により構成され、ゲイン制御端子に印加されるゲイン制御信号Ｃｇの電圧値に応じた同じゲインでＢ２，Ｇ，Ｂ１の撮像信号を増幅して後段側に出力する。
なお、後述するようにＮＢＩ観察モードにおいては、２組の明るさの算出値及び目標の明るさとの差分値等に応じてＢ１の撮像信号とＢ２の撮像信号とを合成する場合の合成係数としての合成比率ａを可変設定する。
本実施形態における明るさ算出部４５は、例えば図４に示すような構成によりＣＣＤ３５により撮像された撮像画像の平均の明るさ（輝度）を算出する。なお、図４においては、所定の時間として例えば２フレーム期間に設定した場合での平均の明るさを算出する場合の例を示しているが、１フレーム期間Ｔ１に設定して、１フレーム期間Ｔ１での平均の明るさを算出しても良いし、３フレーム期間等、複数のフレーム期間において平均の明るさを算出しても良い。なお、図４における点線に関しては後述する。

図４に示すように明るさ算出部４５は、例えば３組のフレームメモリ６１Ｒ，６１Ｒ′，６１Ｇ，６１Ｇ′，６１Ｂ，６１Ｂ′を有し、Ｒｗ、Ｇｗ、Ｂｗの撮像信号又はＢ１、Ｇ、Ｂ２の撮像信号の複数フレーム（ここでは２フレーム）分の撮像信号の平均値（平均信号値）となる/Ｒｗ、/Ｇｗ、/Ｂｗ又は/Ｂ２、/Ｇ、/Ｂ１の撮像信号を算出する平均値算出部６２を有する。
図４に示す構成例では、１フレーム目のＲｗ又はＢ２の撮像信号が入力された場合には、制御回路３２は切替スイッチＳＷ１とＳＷ２ａとを切り替え、フレームメモリ６１ＲにＲｗ又はＢ２の撮像信号を格納する。フレームメモリ６１Ｒに格納されたＲｗ又はＢ２の撮像信号をＲｗ−１（Ｂ２−１）で示す。次の１フレーム目のＧｗ又はＧの撮像信号が入力された場合には、制御回路３２は切替スイッチＳＷ１とＳＷ２ｂとを切り替え、フレームメモリ６１ＧにＧｗ又はＧの撮像信号を格納する。フレームメモリ６１Ｇに格納されたＧｗ又はＧの撮像信号をＧｗ−１（Ｇ−１）で示す。

さらに次の１フレーム目のＢｗ又はＢ１の撮像信号が入力された場合には、制御回路３２は切替スイッチＳＷ１とＳＷ２ｃとを切り替え、フレームメモリ６１ＢにＢｗ又はＢ１の撮像信号を格納する。フレームメモリ６１Ｂに格納されたＢｗ又はＢ１の撮像信号をＢｗ−１（Ｂ１−１）で示す。
次の２フレーム目のＲｗ又はＢ１の撮像信号が入力された場合には、制御回路３２は切替スイッチＳＷ１とＳＷ２ａとを切り替え、フレームメモリ６１Ｒ′にＲｗ又はＢ２の撮像信号を格納する。フレームメモリ６１Ｒ′に格納されたＲｗ又はＢ２の撮像信号をＲｗ−２（Ｂ２−２）で示す。同様に、フレームメモリ６１Ｇ′にはＧｗ−２（Ｇ−２）で示す撮像信号が格納され、フレームメモリ６１Ｂ′にはＢｗ−２（Ｂ１−２）で示す撮像信号が格納される。

また、フレームメモリ６１Ｒに格納されたＲｗ―１（Ｂ２―１）の撮像信号とフレームメモリ６１Ｒ′に格納されたＲｗ―２（Ｂ２―２）の撮像信号とは加算器６３ａにより、対応する画素が加算されて平均値となる/Ｒｗ（/Ｂ２）が算出される。
例えば、１回目のＲｗ（又はＢ２）照明光の下でＣＣＤ３５により撮像され、プリアンプで増幅された後、ＣＤＳ回路により抽出されたベースバインドの撮像信号成分を、Ａ／Ｄ変換回路４３によりデジタル信号に変換した撮像信号Ｒｗ−１（Ｂ２−１）における２次元の画素位置(i,j)の信号レベルをＲｗ―１(i,j)（Ｂ２―１(i,j)）で表した場合、/Ｒｗ＝（Ｒｗ―１(i,j)＋Ｒｗ―２(i,j)）／２となり、/Ｂ２＝（Ｂ２―１(i,j)＋Ｂ２―２(i,j)）／２となる。なお、２フレーム分の撮像信号から平均値を算出する例を示したが、３フレーム以上の複数フレームで平均値を算出しても良い。

同様にフレームメモリ６１Ｇに格納されたＧｗ―１（Ｇ―１）の撮像信号とフレームメモリ６１Ｇ′に格納されたＧｗ―２（Ｇ―２）の撮像信号とは加算器６３ｂにより加算されて平均値となる/Ｇｗ（/Ｇ）が算出される。
また、同様にフレームメモリ６１Ｂに格納されたＢｗ―１（Ｂ１―１）の撮像信号とフレームメモリ６１Ｂ′に格納されたＢｗ―２（Ｂ１―２）の撮像信号とは加算器６３ｃにより加算されて平均値となる/Ｂｗ（/Ｂ１）が算出される。
平均値算出部６２を構成する加算器６３ａ，６３ｂ，６３ｃは、それぞれ算出した/Ｒｗ（/Ｂ２）、/Ｇｗ（/Ｇ）、/Ｂｗ（/Ｂ１）の撮像信号をそれぞれＲ画像、Ｇ画像、Ｂ画像明るさ算出部６４ａ，６４ｂ，６４ｃに出力する。
Ｒ画像、Ｇ画像、Ｂ画像明るさ算出部６４ａ，６４ｂ，６４ｃは、例えば/Ｒｗ（/Ｂ２）、/Ｇｗ（/Ｇ）、/Ｂｗ（/Ｂ１）の撮像信号を、有効画素領域の画素単位で積算して、（積算に用いた有効画素領域の）画素数で除算して各成分画像の明るさ<Ｒｗｆ>，<Ｇｗｆ>，<Ｂｗｆ>（<Ｂ２ｆ>、<Ｇｆ>，<Ｂ１ｆ>）を算出する。

各成分画像の明るさ<Ｒｗｆ>，<Ｇｗｆ>，<Ｂｗｆ>（<Ｂ２ｆ>、<Ｇｆ>，<Ｂ１ｆ>）は、マトリクス処理部６５に入力される。マトリクス処理部６５は、ＷＬＩ観察モードにおいては、単位のマトリクスによりＲｍ，Ｇｍ，Ｂｍの信号を算出する。
つまり、入力される各成分画像の明るさ<Ｒｗｆ>，<Ｇｗｆ>，<Ｂｗｆ>をＲｍ，Ｇｍ，Ｂｍの信号として出力する。一方、ＮＢＩ観察モードの場合においては、マトリクス処理部６５は、下記の（１）式に示すマトリクス処理してＲｍ，Ｇｍ，Ｂｍの信号を算出する。算出したＲｍ，Ｇｍ，Ｂｍの信号を輝度算出部６６に出力する。
［数式１］

なお、（１）式におけるα、β、γは、マトリクス係数である。α、β、γは、上述したマトリクス処理部５６におけるＮＢＩ観察モード時におけるカラーモニタ５においてカラー表示する場合の色調を希望する色調に変更したものに対応している。

これらの値は、例えば、０．７〜１．５の範囲から適宜に選択設定することができる。
（１）式の右辺のＲｆ，Ｇｆ，Ｂｆは、ＮＢＩ観察モードにおけるマスター側照明光の場合とスレーブ側照明光の場合とにそれぞれ対応する<Ｒ１ｆ>，<Ｇｆ>，<Ｂ１ｆ>と、<Ｒ２ｆ>，<Ｇｆ>，<Ｂ２ｆ>となる。ここでは、マスター側照明光の場合とスレーブ側照明光の場合とにおいて、Ｇｆを共通に使用しているが、共通に使用する場合に限定されない。Ｇｆを共用した場合には、画像のずれを低減できる利点を有する。
ＮＢＩ観察モードにおいては、（１）式は２組のＲｍ，Ｇｍ，Ｂｍの信号を算出する。輝度算出部６６は、ＷＬＩ観察モードでは下記の（２）式により輝度Ｙを算出する。

Ｙ＝０．３Ｒｍ＋０．５９Ｇｍ＋０．１１Ｂｍ （２）
一方、ＮＢＩ観察モードにおいては、輝度算出部６６は、マスター側照明光の場合に対して下記の（３）式により輝度Ｙ１を算出する。
Ｙ１＝０．３Ｒｍ＋０．５９Ｇｍ＋０．１１Ｂｍ
＝０．３・α<Ｇ>＋０．５９・β<Ｂ１>＋０．１１・γ<Ｂ１> （３）
また、ＮＢＩ観察モードにおいては、輝度算出部６６は、スレーブ側照明光の場合に対して下記の（４）式により輝度Ｙ２を算出する。
Ｙ２＝０．３Ｒｍ＋０．５９Ｇｍ＋０．１１Ｂｍ
＝０．３・α<Ｇ>＋０．５９・β<Ｂ２>＋０．１１・γ<Ｂ２> （４）
また、輝度算出部６６は、ＷＬＩ観察モードの場合においては、目標の明るさ（輝度）Ｙｗｓと輝度Ｙとの差分ΔＹｗ（＝Ｙｗｓ−Ｙ）と、ＮＢＩ観察モードの場合においては、目標の明るさ（輝度）Ｙｓと輝度Ｙ１との差分ΔＹ１（＝Ｙｓ−Ｙ１）を算出する差分算出部６６ａを有する。

なお、メモリなどにより構成される目標明るさ格納部６７は、ＷＬＩ観察モードの場合における目標の明るさ（輝度）Ｙｗｓの値と、ＮＢＩ観察モードにおける目標の明るさ（輝度）Ｙｓの値を格納し、差分算出部６６ａは、目標明るさ格納部６７に格納された情報を参照して差分ΔＹｗ、ΔＹ１を算出する。
ＷＬＩ観察モードの場合又はＮＢＩ観察モードの場合においては、明るさ算出部４５（の輝度算出部６６）は、差分ΔＹｗ又はΔＹ１を調光制御部５９に出力し、調光制御部５９は差分ΔＹｗ又はΔＹ１に応じて絞り駆動回路２２Ｂを介して絞り２２Ａの開口量を調整する。
例えば、調光制御部５９は、差分ΔＹｗが正の場合（算出された輝度Ｙが目標の明るさ（輝度）Ｙｗｓより小さい場合）には、絞り２２Ａを開くように制御する調光信号を出力し、差分ΔＹｗが負の場合には、絞り２２Ａを閉じるように制御する調光信号を出力する。

上記差分又はΔＹｗを差分ΔＹ１に置換したＮＢＩ観察モードの場合においても調光制御部５９は、同様の制御を行う。また、ＮＢＩ観察モードの場合において、差分ΔＹ１が０以下となる場合には、マスター側照明のみにより、目標の明るさ（輝度）Ｙｓが得られるため、合成処理部５１におけるＢ１及びＢ２撮像画像との画像を合成する場合の合成係数としての合成比率ａｃを０にする。
また、明るさ算出部４５により算出される差分ΔＹｗ、ΔＹ１に応じて制御回路３２を介してＡＧＣ回路４７のＡＧＣゲインが制御される。なお、本実施形態においては、ＷＬＩ観察モードの場合とＮＢＩ観察モードの場合とでは、後述するようにＡＧＣ回路４７のＡＧＣゲインの制御範囲（ゲイン最大値）を異なるように設定している（図７Ａ，図７Ｂ参照）。
また、明るさ算出部４５の輝度算出部６６は、ＮＢＩ観察モードの場合においては、差分ΔＹ１がΔＹ１＞０の場合には下記の（５）式により、合成係数を構成する合成比率ａを算出する演算手段を構成する合成比率算出部６６ｂを有する。

ΔＹ１＝Ｙ２×ａ 、ａ＝ΔＹ１／Ｙ２ （５）
合成比率算出部６６ｂは、差分ΔＹ１と輝度Ｙ２の比（ΔＹ１／Ｙ２）とから合成比率ａを算出する演算手段を構成する。
合成比率算出部６６ｂは、算出した合成比率ａを例えば制御回路３２を介して合成処理部４９に出力する。合成処理部５１は、（合成比率設定部５８ａによる合成比率ａ′の設定がされない場合には）算出された合成比率ａを合成処理部５１において実際に合成する合成比率ａｃに設定してマスター照明によるＢ１の撮像画像と、スレーブ照明によるＢ２の撮像画像とを合成する。

これに対して、合成比率設定部５８ａによる合成比率ａ′が設定がされている場合には、合成処理部５１は、合成比率ａ′を優先して合成比率ａｃに設定して、画像の合成に使用する。なお、合成処理部５１は、実際には、後述する（６）式又は図５に示すようにＧの撮像画像も含めた合成画像を生成する。但し、Ｇの撮像画像に対しては、単に１＋ａｃの係数を乗算して生成する。このため、異なるタイミングで撮像した複数の画像を合成するという定義を用いる場合には、Ｂ１の撮像画像とＢ２の撮像画像とから合成する場合がその定義に対応した撮像画像となる。
例えば、合成処理部５１に入力される動画を構成する各フレームの撮像画像成分となるＢ２，Ｇ，Ｂ１の撮像画像をＲｉｎ，Ｇｉｎ，Ｂｉｎとし、合成処理部５１から出力される合成された合成画像をＲｔ，Ｇｔ，Ｂｔとすると、合成処理部５１は以下の（６）式のような合成画像の信号を生成して後段側に出力する。

［数式６］

（６）式によれば、合成処理部５１は、Ｒｔ，Ｇｔ，ＢｔとしてＢ２，（１＋ａｃ）Ｇ，ａｃ・Ｂ２＋Ｂ１の画像を生成する。
このように、合成処理部５１は、出力画像成分としてのＢｔの合成画像としてａｃ・Ｂ２＋Ｂ１画像を生成する。また、合成処理部５１は、Ｂｔの合成画像の生成に対応して、Ｇｔの画像成分として（１＋ａｃ）・Ｇの画像を生成する。
合成処理部５１の後段側における画像処理部５０を構成するＮＲ回路５３、拡大／縮小回路５４、強調回路５５等においては、合成処理部５１により生成された合成画像の画像信号に対して、それぞれノイズ低減、拡大／縮小処理、輪郭強調処理等を行う。
なお、本明細書においては、合成処理部５１により生成される主要な合成画像成分Ｂｔを生成するＢ１の撮像画像とＢ２の撮像画像とそれぞれ乗算する係数の比１：ａｃを合成比率とも言う。

図５は合成処理部５１の構成例を示す。Ｂ２の撮像画像（の撮像信号）は合成処理部５１をスルーしてＲｔの画像信号となる。また、Ｇ及びＢ１の撮像画像（の撮像信号）は、乗算器７１ａ及び加算器７１ｂの一方の入力端にそれぞれ入力され、乗算器７１ａ及び加算器７１ｂは、出力端からＧｔ，Ｂｔの合成画像の画像信号としてＮＲ回路５３に出力する。
乗算器７１ａにおける他方の入力端には、制御回路３２から乗算される係数として、１＋ａｃが入力され、乗算器７１ａは、Ｇの撮像画像に１＋ａｃの係数を乗算して、（１＋ａｃ）Ｇの合成画像を出力する。
また、加算器７１ｂの他方の入力端には、Ｂ２の撮像画像を乗算器７１ｃにより係数ａｃを乗算したａｃ・Ｂ２の撮像画像が入力され、加算器７１ｂは、両撮像画像を加算してａｃ・Ｂ２＋Ｂ１の合成画像を出力する。この係数ａｃは制御回路３２が出力する。

なお、（６）式又は図５の構成においては、合成処理部５１が、Ｒｔ，Ｇｔ，ＢｔとしてＢ２，（１＋ａｃ）Ｇ，ａｃ・Ｂ２＋Ｂ１の画像を生成する例で示しているが、Ｒｔとしてａｃ・Ｂ２を出力するようにマトリクス係数や乗算係数を設定しても良い。
また、より簡略化して合成処理部５１が、Ｒｔ，Ｇｔ，Ｂｔとして０，（１＋ａｃ）Ｇ，ａｃ・Ｂ２＋Ｂ１画像を生成するようにしても良い。
また、本実施形態においては、制御回路３２は、ＮＲ回路５３によるノイズ低減する強度を合成比率ａｃ又は合成率に応じて変化させる。本実施形態においては、図６Ａ又は図６Ｂに示すように合成率の値に応じてノイズ低減する強度を大きくするように制御する。なお、図６Ａ又は図６Ｂにおいては、合成比率ａｃが０の場合を０％の合成率、合成比率ａｃが１の場合を１００％の合成率として表している。
また、図６Ａにおいては、０％の合成率ではノイズ低減の強度をＮＲｍｉｎに設定し、合成率の増大と共にステップ状にノイズ低減の強度を大きくし、１００％の合成率ではノイズ低減の強度をＮＲｍａｘに設定している。図６Ｂでは０％の合成率ではノイズ低減の強度を０に設定し、合成率の増大と共に連続的にノイズ低減の強度を大きくし、１００％の合成率ではノイズ低減の強度をＮＲｍａｘに設定している。

合成率が大きい場合には、ノイズ低減の強度を大きくし、ノイズ低減の機能を大きくする。一方、合成率が小さい場合には、合成率が大きい場合よりはノイズ低減の強度を小さく（低く）し、ノイズ低減処理の際の画像の解像度の劣化を防止する。換言すると、本実施形態では、画像の解像度を維持しつつ、良好なノイズ低減を行うことができるようにノイズ低減処理を行うようにしている。
また、マトリクス処理部５６は、ＮＢＩ観察モードにおいては入力される画像をＲｔ′，Ｇｔ′，Ｂｔ′とした場合、（７）式のようなＲｏ，Ｇ，Ｂｏの画像を生成してＤ／Ａ変換回路５７を介してカラーモニタ５のＲ，Ｇ，Ｂチャンネルに出力する。
［数式７］

なお、Ｒｔ′として０に設定しても良い。

また、本実施形態においては、制御回路３２は、観察モードと、強調回路５５で輪郭強調を行う場合の強調レベルＬと、合成処理部５１における合成比率ａｃに応じて、（信号レベル可変手段としての）ＡＧＣ回路４７のゲインを制御する。つまり、制御回路３２は、信号レベル可変手段としてのＡＧＣ回路４７のゲインを制御するゲイン制御部３２ａの機能を有する。ゲイン制御部３２ａは、フラッシュメモリ６０に格納された制御情報６０ａ等を参照して、ＡＧＣ回路４７のゲインをノイズを低減するように制御する。
図７Ａは、ＮＢＩ観察モード時におけるＡＧＣ回路４７のゲインの範囲を、強調レベルＬと、合成比率ａｃとに応じて制限する内容を示す。このようにＡＧＣ回路４７のゲインを制限することにより、本実施形態は、カラーモニタ５に表示される画像におけるノイズが目立たつことなく、観察し易い画像が得られるようにする。

図７Ａに示すように強調レベルＬは、０−７までの８段階で輪郭強調する場合の強調レベルＬが増大する。なお、強調レベルＬが０は、強調を行わない場合を示す。そして、本実施形態においては、強調レベルＬが増大するにつれてＡＧＣ回路４７のゲイン最大値が小さくなるように制御（制限）する。
また、合成比率が設定されていない場合（換言すると合成比率ａｃが０）に比較して、合成比率が設定された場合（つまり合成比率ａｃが０より大きく１以下の場合）には、ＡＧＣ回路４７のゲイン最大値がより小さい値となるように制御（制限）される。図７Ａの具体例では、合成比率ａｃが０の場合のゲイン最大値に対して、合成比率ａｃが０より大きい場合には、その１／２のゲイン最大値に制限する。
図７Ａに示すゲイン制御内容は、輪郭の強調レベルＬが大きい程ノイズが目立つようになる（ノイジーになる）ので、ゲイン最大値が小さくなるように制限する。また、合成比率ａｃが０より大きく設定されると、合成比率ａｃが０の場合よりもノイジーになるため、合成比率ａｃが０の場合よりもゲイン最大値が小さくなるように制限する。

このようにゲイン最大値を制限することにより、カラーモニタ５で表示される画像のノイズが目立たないようにすることができる。なお、図７Ａにおいて、強調レベルＬと合成比率の割合に応じてゲイン最大値を点線で示すように、合成比率ａｃの値をより反映したゲイン最大値となるように制限しても良い。
図７Ａの点線で示すようにゲイン最大値を制限する場合、合成画像における主要な画像成分（Ｂ１＋ａｃ・Ｂ２）を生成する場合の合成割合に相当する値を（Ｂ１＋ａｃ・Ｂ２）≒（１＋ａｃ）Ｂ１と近似して、（１＋ａｃ）を合成割合の大きさと見なすことができる。そして、（１＋ａｃ）が大きい程、ゲイン最大値が小さくなるように制御回路３２のゲイン制御部３２ａが抑制するようにする。その理由として、Ｂ１とＢ２の撮像画像は、時間的に異なるタイミングで撮像された画像であるため、カラーモニタ５において動きのある動画で表示する場合、（１＋ａｃ）が小さい方が輪郭、構造のずれが少ない良好な画質の画像と考えられる。

このため、（１＋ａｃ）の値が大きくなると、輪郭、構造のずれが画質を低下させる要因となりえる。従って、上記のように（１＋ａｃ）が大きい程、ゲイン最大値が小さくなるようにゲインを抑制することにより、ノイズが目立たない画質の良い画像が得られるようにできる。
一方、ＷＬＩ観察モードにおいては、合成処理部５１は動作しないため、ＡＧＣ回路４７のゲイン最大値は強調レベルＬのみで決定される。図７ＢはＷＬＩ観察モードでの強調レベルＬに対応して設定されるゲイン最大値を示す。ＷＬＩ観察モードの場合においても、輪郭強調のレベルが大きい程ノイズが目立つようになる（ノイジーになる）ので、ゲイン最大値が小さくなるように制限する。

ＷＬＩ観察モードにおいては、ＮＢＩ観察モードの場合に比較して照明光量をかなり大きくできるので、ＮＢＩ観察モードの場合に得られる画像に比較するとノイズレベルはかなり小さくできる。
従って、図７Ｂに示す具体例では、ＮＢＩ観察モードの場合に比較して、強調レベルＬを大きくする程、ゲイン最大値を小さくするように制限するが、ＮＢＩ観察モードの場合よりは緩和したゲイン最大値となるように制限している。このように本実施形態は、照明光を切り替えて異なる観察モードで観察を行う場合に対応でき、ノイズが目立つことなく、観察し易い画質の画像を生成することができる撮像システムを提供する目的を達成する。特に、照明光が不足しがちとなる第１の狭帯域（具体的にはＧ）及び第２の狭帯域（具体的にはＢ１，Ｂ２）を備えた第１の照明帯域の照明光のもとで撮像したＮＢＩ観察モードの場合において、ノイズが目立つことなく、観察し易い画質の画像を生成するようにゲイン最大値を制限又は抑制する。

なお、図７Ａでは輪郭強調の強調レベルＬで説明したが、画像中における輪郭強調（エッジ強調）と共に、周波数帯域により模様や構造を強調する構造強調等の強調処理の種類に応じて、ＡＧＣ回路４７のゲイン最大値を制限するようにしても良い。
例えば、構造強調Ａにおいては、周波数ｆａ以下の周波数帯域での輝度レベルを強調し、構造強調Ｂにおいては、周波数ｆａよりも高い周波数ｆｂ（ｆｂ＞ｆａ）以下の周波数帯域での輝度レベルを強調する構造強調と、これらの構造強調における強調レベルとほぼ同じ強調レベルＬ（例えばＬ＝２）の輪郭強調とにおいて、図８に示すようにゲイン最大値を制限するようにしても良い。

図８に示す例では、強調レベルＬが同じとした場合、より高い周波数ｆｂまで構造強調を行う場合の方がノイジーの画像となるため、構造強調Ａの場合よりも構造強調Ｂの場合の方でのゲイン最大値が小さくなるように制限する。
また、強調レベルＬが同じとした場合、輪郭強調の方が構造強調の場合よりもノイジーの画像となるため、構造強調Ｂの場合よりも輪郭強調の場合の方でのゲイン最大値が小さくなるように制限する。このようにすることにより、ノイズが目立たない画像を表示できる。なお、図８においては、１つの強調レベルの場合に対して示しており、強調レベルＬを可変した場合には、図７Ａのようにゲイン最大値も変更すれば良い。また、図８をＷＬＩ観察モードの場合にも適用することができる。

このように本実施形態の撮像システム１は、第１の狭帯域及び第２の狭帯域を備えた第１の照明帯域の照明光と、複数の広帯域を備えた第２の照明帯域の照明光とを切り替えて照明を行う照明手段を構成する光源装置３と、前記照明手段により照明された被写体を撮像する撮像手段を構成するＣＣＤ３５と、前記撮像手段により出力される撮像信号の撮像信号レベルを変更する信号レベル可変手段としてのＡＧＣ回路４７と、前記信号レベル可変手段から出力される信号から画像信号を生成し、生成した画像信号に対して輪郭強調処理を行う強調回路５５を含む画像処理手段としての画像処理部５０と、前記画像処理手段が行う輪郭強調処理内容と、前記照明手段における前記第１の狭帯域及び前記第２の狭帯域を備えた前記第１の照明帯域の照明光と、前記複数の広帯域を備えた前記第２の照明帯域の照明光との情報に応じて、前記信号レベル可変手段による前記撮像信号レベルを制御する信号レベル可変制御手段としてのゲイン制御部３２ａと、を備えることを特徴とする。

また、本実施形態においては、前記第１の照明帯域の照明は、回転カラーフィルタ２４を１回転させる時間を１フレーム期間Ｔ１として、１フレーム期間Ｔ１の正の整数Ｎ倍とする所定の時間Ｎ×Ｔ１内に、前記第１の狭帯域の照明光による第１回Ｍ１の照明と、前記第２の狭帯域を有する照明光による第２回Ｍ２（＝２×Ｍ１）の照明との組み合わせからなり、更に、前記第１回の回数Ｍ１のうちの第１の所定回Ｍ１−１（＝Ｍ１）の照明に基づく前記撮像手段による第１の撮像信号と、前記第２回の回数Ｍ２のうちの第２の所定回Ｍ２−１（＝Ｍ１）の照明に基づく前記撮像手段による第２の撮像信号とを用いた色変換マトリクス処理によって第１の明るさを算出し、前記第１回の回数Ｍ１のうちの第３の所定回Ｍ３−１（＝Ｍ１）の照明に基づく第１の撮像信号と、前記第２回の回数Ｍ２のうちの第４の所定回Ｍ４−１（＝Ｍ１）の照明に基づく第３の撮像信号とを用いた色変換マトリクス処理によって第２の明るさを算出する明るさ算出手段としての明るさ算出部４５と、前記第１の明るさと所定の目標明るさとの差分と、前記第２の明るさとの比に基づいて、各１フレーム期間において前記第１及び前記第２の撮像信号に対して前記第１及び前記第３の撮像信号を合成する場合の合成係数を算出する演算手段としての合成比率算出部６６ｂと、を備え、前記画像処理手段は、前記演算手段による合成係数、又は合成係数設定手段としての合成比率設定部５８ａにより設定される合成係数に基づき、各１フレーム期間内における前記第１及び第２の撮像信号に対して前記第１及び第３の撮像信号を合成し、生成した画像信号に対して輪郭強調処理を行い、前記信号レベル可変手段としてのＡＧＣ回路４７は、前記照明手段が前記第１の狭帯域及び第２の狭帯域の組み合わせからなる前記第１の照明帯域の照明光のもとで撮像された撮像信号である場合、前記画像処理手段が行う前記輪郭強調処理内容と前記合成係数とに基づき、前記第１、第２及び第３の撮像信号を処理する前記信号レベル可変手段を制御する。なお、上記のＮは正の整数、回数Ｍ１，Ｍ２等は、例えば１回、或いは２回等の値に設定しても良いし、（ ）で示す関係を満たすように設定しても良い。

次に本実施形態の動作を図９のフローチャートを参照して説明する。撮像システム１の電源がＯＮされると、制御回路３２は、最初のステップＳ１の初期設定の処理として、例えばＷＬＩ観察モードで照明及び撮像を行う状態となるように制御する。つまり、ステップＳ２に示すように制御回路３２は、光源装置３のモータ２９を制御し、回転カラーフィルタ２４の外周側の広帯域フィルタ群７が照明光路中に配置されるようにする。そして、被写体は、広帯域フィルタ群７による広帯域照明光、つまり、広帯域Ｒ，Ｇ，Ｂ照明光（換言するとＲｗ，Ｇｗ，Ｂｗ照明光）で照明される。
また、ステップＳ３に示すように制御回路３２は、広帯域照明光で照明された被写体をＣＣＤ３５で撮像し、ビデオプロセッサ４は広帯域の撮像信号又は画像信号を生成する。
その場合、ステップＳ４において制御回路３２のゲイン制御部３２ａは、強調レベルＬの値に応じてＡＧＣ回路４７によるゲイン最大値を抑制する。つまり、強調レベルＬが大きい程、ＡＧＣ回路４７によるゲイン最大値を抑制する。

そして、ステップＳ５に示すようにカラーモニタ５は、ＷＬＩ画像を表示する。
ステップＳ６に示すように制御回路３２は、観察モードスイッチ３１による観察モードの切替操作をモニタしている。術者は、被写体としての患部組織の血管の走行状態をより鮮明に観察したいと望むような場合には、観察モードスイッチ３１を操作してＮＢＩ観察モードに切り替える。
制御回路３２は、観察モードの切替操作を検出しない場合には、ステップＳ３の処理に戻り、観察モードの切替操作を検出した場合にはステップＳ７に示すように制御回路３２は、ＷＬＩ観察モードからＮＢＩ観察モードへ切り替える設定を行う。

つまり、ステップＳ８に示すように制御回路３２は、光源装置３のモータ２９を制御し、回転カラーフィルタ２４の内周側の狭帯域フィルタ群６が照明光路中に配置されるようにする。そして、被写体は、狭帯域フィルタ群６による狭帯域照明光で照明される。
また、ステップＳ９に示すように制御回路３２は、狭帯域照明光で照明された被写体をＣＣＤ３５で撮像し、ビデオプロセッサ４の同時化制御部４４は狭帯域のＢ１，Ｇ，Ｂ２の撮像信号又は画像信号を生成する。
また、ステップＳ１０に示すように明るさ算出部４５の輝度算出部６６は、明るさを算出すると共に、輝度算出部６６における合成比率算出部６６ｂは、合成比率ａを算出する。算出された合成比率ａは制御回路３２に入力される。
ステップＳ１１に示すように制御回路３２は、ユーザによる合成比率設定部５８ａからの設定入力により合成比率ａ′が設定されているか否かを判定する。

合成比率ａ′が設定されていない判定結果の場合には、ステップＳ１２に示すように制御回路３２は、合成処理部５１が合成する場合の合成比率ａｃとして合成比率ａを採用するように決定する（ａｃ＝ａ）。
一方、合成比率ａ′が設定されている判定結果の場合には、ステップＳ１３に示すように制御回路３２は、合成処理部５１が合成する場合の合成比率ａｃとして（合成比率ａに優先して）合成比率ａ′を採用するように決定する（ａｃ＝ａ′）。
ステップＳ１２又はＳ１３の後のステップＳ１４において制御回路３２は、強調レベルＬの設定を判定する。制御回路３２は、輪郭強調レベル設定部５８ｂ等により強調レベルＬが設定されている場合、その強調レベルＬを確認する。なお、強調レベルＬが設定されている場合、その強調レベルＬを図示しないメモリ又はフラッシュメモリ６０等に格納しても良い。

そして、次のステップＳ１５において制御回路３２のゲイン制御部３２ａは、強調レベルＬ，合成比率ａｃに応じて、制御情報６０ａを参照してＡＧＣ回路４７のゲイン最大値を制限する。具体的には、信号レベル可変制御手段を構成するゲイン制御部３２ａは、強調レベルＬが大きい程、又は合成比率ａｃが大きい程、ＡＧＣ回路４７に入力される撮像信号レベルに対するゲインを抑制するゲイン制御信号ＣｇをＡＧＣ回路４７のゲイン制御端子に印加する。
ＡＧＣ回路４７を経た信号は、合成処理部５１において合成比率ａｃ等を用いて合成画像の画像信号が生成され、ＮＲ回路５３、拡大／縮小回路５４、強調回路５５、マトリクス処理部５６等を経た後、カラーモニタ５に出力される。そしてステップＳ１６に示すように、カラーモニタ５にはＮＢＩ観察画像が表示される。
このように制御することにより、このような制御を行わない場合のカラーモニタ５に表示されるＮＢＩ画像がノイジーになることを防止してノイズが目立たない観察し易い画像を得ることができる。

また、ステップＳ１７において制御回路３２は、観察モードの切替操作をモニタしている。観察モードの切替操作がされた判定結果の場合には、ステップＳ１の処理に戻る。一方、観察モードの切替操作がされていない判定結果の場合には、次のステップＳ１８において制御回路３２は、ユーザにより内視鏡検査の終了の操作が行われたか否かを判定し、終了の操作が行われていない判定結果の場合にはステップＳ９の処理に戻り、終了の操作が行われた場合には電源をＯＦＦにして図９の処理を終了する。
このように動作する本実施形態によれば、強調回路５５による輪郭強調処理内容と、観察モード（観察モードに対応した狭帯域フィルタ群６による照明光の組み合わせと、広帯域フィルタ群７による照明光の組み合わせ）の情報に応じて、信号レベル可変手段を構成するＡＧＣ回路４７による前記撮像信号レベルを増幅するゲインの最大値を抑制（制限）することにより、ノイズが目立つことなく、観察し易い画質の画像を生成することができる。

特に、照明光量が不足しがちになり易いＮＢＩ観察モードにおいて、狭帯域のＧ照明と、このＧ照明に対して同じ時間間隔で前後するＢ２照明とＢ１照明との組み合わせによる撮像信号から明るさ（輝度）を算出し、算出した明るさに応じてＢ２とＢ１の撮像画像を合成する合成比率を設定することができるようにすると共に、術者等のユーザが合成処理部５１において合成する合成比率を優先してマニュアル設定することもできるようにしている。
そして、合成処理部５１において実際に合成処理に使用される合成比率に応じて、強調回路５５における輪郭強調処理する強調レベルＬがユーザにより設定された場合においても、ノイズが目立たないようにＡＧＣ回路４７によるゲインの最大値を抑制し、良好な画質の画像が得られるようにしている。従って、術者は、ＮＢＩ観察モードにおいても、ノイズが目立たない画像を観察でき、円滑な診断を行い易くなる。

補足説明すると、ＮＢＩ観察モードに設定した場合には、光源装置３での照明光の光量を最大にしても、ＷＬＩ観察モードの場合よりも光量が小さく、暗い画像になる。従来例においては、光量の不足分をＡＧＣ回路によるゲインを増大によりカバーするため、そのゲインが大きくなり、ゲインの増大に伴ってノイズも増大する。また、輪郭強調を行うと、よりノイズが目立つ画像になり易い。
これに対して、本実施形態においては、ＮＢＩ観察モードにおいては、Ｇの撮像画像に対して光量がより不足しがちとなるＢの撮像画像としてＢ１及びＢ２の２つの撮像画像で取得し、１：ａｃの合成比率で合成する（具体的にはＢ１＋ａｃ・Ｂ２で合成する）ことによって、１つの場合よりも明るい撮像画像を得られるようにすると共に、合成比率、強調レベルＬに応じて、ＡＧＣ回路４７のゲイン最大値を抑制することによって、ノイズが目立たない画像を得られるようにする。本実施形態においては、図７Ａの点線で示すように画像合成した場合の合成割合が大きい場合には、合成割合が小さい場合よりも、ゲイン最大値を抑制することにより、画質の良い画像が得られるようにすることもできる。

図１０は、第１の実施形態の変形例の撮像システム１Ｂの全体構成を示す。本変形例の撮像システム１Ｂは、図１の撮像システム１において、内視鏡２における先端部３３内に対物レンズ系３４を構成する一つのレンズを可動レンズ３４ａを、対物レンズ系３４の光軸方向に移動する移動部８１ａを備えたアクチュエータ８１を設けた内視鏡２Ｂと、ビデオプロセッサ４内に、上記アクチュエータ８１を電気的に駆動するアクチュエータ駆動回路８２を備えたビデオプロセッサ４Ｂとを有する。
アクチュエータ８１における移動部８１ａに可動レンズ３４ａ（のレンズ枠）が取り付けられている。従って、アクチュエータ８１によって移動部８１ａを移動させると、移動部８１ａと共に可動レンズ３４ａも光軸方向に移動し、対物レンズ系３４がＣＣＤ３５の撮像面に被写体像をフォーカス状態で結像するフォーカス距離が変化する。

なお、アクチュエータ８１は、例えば特開２００１−１７４７１４号公報の図３等に開示されているように圧電素子を用いて構成することができる。圧電素子を用いたものに限らず、ソレノイドコイルの内側に、バネと連結された移動可能な磁石を移動部として配置した電磁プランジャー等により構成しても良い。
また、内視鏡２Ｂにおける例えば操作部１２には、対物レンズ系３４のフォーカス位置を中遠距離の被写体にフォーカスする第１のフォーカス距離の状態と、近距離の被写体にフォーカスする第２のフォーカス距離の状態とに切り替える指示操作を行う操作スイッチとしてのフォーカス切替スイッチ３１ｂが設けてある。ユーザがフォーカス切替スイッチ３１ｂを操作した際に出力されるフォーカス切替信号は、制御回路３２に入力され、制御回路３２は、フォーカス切替信号に対応した制御信号をアクチュエータ駆動回路８２に出力する。
例えば、図１０の実線で示す状態においては、対物レンズ系３４は、中遠距離の被写体にフォーカスする第１のフォーカス距離の状態（以下、「NORMAL」のフォーカス状態、又は単にNORMALの状態）である。

NORMALの状態においては、対物レンズ系３４の被写界深度は、例えば５〜１００ｍｍ程度となる。このNORMALの状態において、フォーカス切替信号が出力されると、制御回路３２はこの信号に対応した制御信号をアクチュエータ駆動回路８２に出力し、アクチュエータ駆動回路８２は、可動レンズ３４ａを点線で示す位置に移動し、対物レンズ系３４を第２のフォーカス距離の状態（以下、「NEAR FOCUS」のフォーカス状態、又は単にNEARの状態）に設定する。
NEARの状態においては、対物レンズ系３４の被写界深度は、例えば２〜５ｍｍ程度となり、被写体に接近した近距離において患部等を詳細に拡大観察することができる状態となる。なお、制御回路３２は、フォーカス切替スイッチ３１ｂの操作情報をメモリなどに経時的に記憶して、任意の使用状態において、対物レンズ系３４がNEAR或いはNORMALのいずれの状態に設定されているかを把握する。なお、本変形例においては可動レンズ３４ａを２つの位置に駆動する例で説明するが、３つ以上の複数の位置に選択的に設定できるようにしても良い。

また、本変形例においては、制御回路３２のゲイン制御部３２ａは、さらにNEAR及びNORMALの状態に応じて、ＡＧＣ回路４７のゲイン最大値を制限する。
図１１は、本変形例におけるＮＢＩ観察モード時でのゲイン最大値を制限する内容を示す。図１１に示す制御情報は、第１の実施形態と同様に、フラッシュメモリ６０に格納されている。
図１１の制御情報は、図７Ａに示した場合のゲイン最大値を規制する項目として、フォーカス距離（フォーカス状態）の項目が追加されている。
そして、強調レベルＬと、合成比率が同じ条件の場合においては、NEARの場合の方がNORMALの場合よりも、ゲイン最大値が大きくなるように（ゲイン最大値を）設定している。その場合の理由は以下のようになる。

NEARのフォーカス距離の状態の場合においては、近距離を照明及び観察する状態であるので、ノイズ゛が目立たない（暗い部分が少なく、暗い部分があったとしても注目していない）。このため、NEARの場合の方がNORMALの場合よりも、ゲイン最大値を大きくできる設定としている。
また、観点を変えて述べると、NEARのフォーカス距離の状態の場合においては、NORMALの場合よりも、（例えば合成比率が同じ値の条件等で比較した場合）強調レベルＬをより大きくし易い設定にしている。
ＮＢＩ観察モードに設定された場合には、毛細血管等を良好に観察したい状態であるので、強調レベルＬを上げて、最適な観察を実現し易くする。
これに対して、NORMALのフォーカス状態の場合においては、NEARのフォーカス状態の場合に比較すると、暗部が発生し易く、またノイズが目立ち易い状態となるため、強調レベルＬをより下げた値となるように設定している。その他の構成は、図１等で示した構成と同様である。

本変形例によれば、第１の実施形態の効果の他に、フォーカス距離を変更した状態においても、変更されたフォーカス距離においてノイズが目立たないで、生体粘膜の表層付近の毛細血管等をより詳細に観察し易い状態にできる。従って、術者のフォーカス距離の変更に伴って観察し易くするための操作を行うことを不要にでき、操作性を向上することができる。
また、本変形例において以下に説明するように、カラーモニタ５に表示される画像を複数の領域に分け、NORMALのフォーカス距離の状態の場合において明るさ算出部４５が、各領域での明るさ（平均輝度）を算出し、明るさが低い（小さい）暗領域での強調レベルLを下げることにより、ノイズが目立たないようにしても良い。

図１２はNORMALのフォーカス距離の状態の場合においてＣＣＤ３５により撮像した撮像画像（又はカラーモニタ５に表示される画像）を複数の領域Ａｉ（ｉ＝１，２，…，１６）に区分けした様子を示す。図１２においては１２個の領域に区分けしているが、この数に限定されるものでない。また、複数の領域Ａｉの数、領域Ａｉのサイズを選択的に設定することができる領域設定手段を設け、ユーザが、複数の領域Ａｉの数、領域Ａｉのサイズを設定できるようにしても良い。
以下、複数の広帯域の照明光としてのＲｗ，Ｇｗ，Ｂｗ照明光のもとで撮像した場合について説明するが、狭帯域の照明光のもとで撮像した場合にも同様に適用できる。
図４に示した明るさ算出部４５において、加算器６３ａ，６３ｂ，６３ｃが撮像信号Ｒｗ−１とＲｗ−２、Ｇｗ−１とＧｗ−２、Ｂｗ−１とＢｗ−２をそれぞれ加算して平均の明るさ（平均輝度）を算出する場合、加算器６３ａ，６３ｂ，６３ｃは、図１２に示した各領域Ａｉにおける平均の明るさを算出する領域明るさ算出手段としての領域明るさ算出回路を形成する。そして、算出した各領域Ａｉにおける平均の明るさを点線で示すように制御回路３２に出力すると共に、Ｒ画像、Ｇ画像、Ｂ画像明るさ算出回路６４ａ，６４ｂ，６４ｃにも出力する。

制御回路３２における点線で示す領域明るさ判定部３２ｂは、各領域Ａｉにおける平均の明るさを閾値Ｖｔと比較して、閾値Ｖｔ以上の明るい領域（明部又は明領域と記す）か、閾値Ｖｔ未満の暗い領域（暗部又は暗領域と記す）であるかを比較回路等により判定する。閾値Ｖｔ未満の暗領域と判定された領域に対して、制御回路３２の領域明るさ判定部３２ｂはその暗領域での輪郭強調や構造強調する場合の強調レベルＬを、明領域の強調レベルＬよりも下げるように制御する強調レベル低減制御信号Ｓｏｕｔ（点線で示す）を強調回路５５に出力する。換言すると、制御回路３２の領域明るさ判定部３２ｂは、明領域の画像部分に対しては、暗領域の画像部分よりも強調レベルＬを大きくするように制御する。
このように制御することにより、暗領域においては、強調レベルＬを低減するため、強調レベルＬを低減しない場合の画像におけるノイズが目立つようになることを防止でき、また明るい明領域においては輪郭等がより鮮明となる診断し易い画像を生成できる。また、明領域、暗領域に応じて強調レベルＬを制御する場合、ユーザにより設定された強調レベルＬに対して行うようにしても良いし、予め指定された強調レベルＬ（例えば、閾値となる強調レベルＶＬ以上となる強調レベルＬ）に対して行うようにしても良い。
なお、ＷＬＩ観察モードの場合とＮＢＩ観察モードの場合とに応じて、上記閾値Ｖｔの値をそれぞれ設定し、観察モードに応じてそれぞれノイズが目立たないようにしても良い。

また、本変形例において、ＷＬＩ観察モードの場合又はＮＢＩ観察モードの場合に対して、さらに領域における明領域或いは暗領域に応じて、各領域における構造部分に対して強調を行う場合の空間周波数特性を変更するようにしても良い。
図１３Ａは、この場合の内容を示している。明領域に対しては、構造強調を行う場合、高周波側では構造強調を行う強度を大きく（強調レベルＬを大きく）し、かつ低周波側では構造強調を行う強度を小さく（強調レベルＬを小さく）する。
これに対して、暗領域に対しては、構造強調を行う場合、高周波側及び低周波側とも構造強調を行う強度を小さく（弱く）する。
このようにユーザが見たい部分（画像領域）となる明領域に対しては、高周波側での構造強調の強調レベルＬを大きくすることにより、明るい明領域の構造を詳細に観察することができ、かつ暗い暗領域におけるノイズを目立たないように低減できる。

また、ＷＬＩ観察モードの場合又はＮＢＩ観察モードの場合に対して、構造強調を行う場合の空間周波数特性を変更する代わりに拡大／縮小回路５４による電子ズーム（電子拡大）に応じて、構造強調の強調レベルＬを変更するようにしても良い。
図１３Ｂは、この場合の内容を示している。電子ズーム無しの場合には、明領域に対しては、構造強調を行う強度を大きく（強調レベルＬを大きく）し、かつ暗領域に対しては構造強調を行う強度を小さく（強調レベルＬを小さく）する。換言すると、明領域に対しては、暗領域の場合よりも構造強調を行う強度を大きくする。
これに対して、電子ズーム有りの場合には、明領域及び暗領域に対して、構造強調を行う強度を小さく（強調レベルＬを小さく）する。
電子ズーム（電子拡大）を行うと、ノイズの粒又は塊が大きくなるため、構造強調を行う強度を小さくし、ノイズが目立たないようにする。なお、電子ズームの倍率に応じて、構造強調する場合の周波数特性を調整するようにしても良い。例えば、電子ズームの倍率を大きくするに従って、構造強調する周波数帯における最大周波数を下げるようにしても良い。
なお、上述した変形例を含む実施形態において、部分的に異なる構成を組み合わせた実施形態又は変形例も本発明に属する。

近年、プロセッサに組み合わさる機器は多様化している。記録は大きく、動画記録と静止画記録の2つが有り、静止画記録ではプリンタや写真、電子ファイルなど様々である。一方プロセッサのコネクタも数に限りがあり、どの装置にも通用するシンプルなコネクタが必要とされる。そこで、ステレオピンジャックのように、接点が２，３個のもので、レリーズ制御を伝えることが望ましい。レリーズ制御は一例なので、設定で任意に選べ、録画制御にしたり、キャプチャ制御にしたりできるとよい。また、機器によっては、信号がHであったりLであったりする為、その極性をH又はLと選べると良い。ステレオピンジャックに限らず、１５ピン程度の接点を有するものでも、設定で任意に割り当てられると良いし、機器によっては電源とＧＮＤ（グラウンド）をつないでいるので、それらも選べると良い。

近年、プロセッサに外付けメモリを接続して画像を記録することがある。外付けメモリにはパスワード保護されているものもある。そこで、画像記録の際には、パスワード保護を無視して記録し、画像を読み出す際にはパスワードによって保護をすると良い。また、近年において、ＣＣＤの小型化が進んでいる。それに伴い、画素欠陥の課題があった。画素欠陥には、画素のアドレスを事前に保持しておき、画素欠陥の周辺の画素から補間をする方法が考案されていた。
しかし、画素欠陥は、製造時のみではなく、長期間使用する中で生じることもあった。その為、画素欠陥を検出する方法が課題であった。対象画素と周辺画素の信号レベルを比較することで、対象画素が非常に明るければ、白い傷、非常に暗ければ、黒い傷と考えられた。そのような判定基準で対象画素が欠陥画素であるかを判定すると良い。

その際、対象画素のアドレスを内部メモリに保持すればよいが、内部メモリは有限の為、観察画面の中央エリアに限定し、そういった判定を施せばよい。
また、撮像素子が高画素化、微細化された際に、撮像素子に欠陥を持つ画素或いはノイズを発生する画素を皆無に製造することは不可能に近い。
このため、画像処理によって、撮像素子の通常画素とは異なるが画素信号を発生する欠陥画素や固定パターンのノイズを補正する技術が多数提案されている。
欠陥画素としては、光電変換された後の信号の電位が所望とならず、あるオフセットの電位を含めた信号となることが知られている。オフセットの電位が正の値であれば、白傷と呼ばれる白いドットとして観察画面に現れ、オフセットの電位が負の値であれば、黒傷と呼ばれる黒いドットとして観察画面に現れる。この欠陥画素を補正する画像処理は、オフセットの電位を推定して除去することができる。また、欠陥画素の位置情報を内視鏡に記憶し、その位置情報に関して、オフセットの電位を推定するように動作させる。

オフセットの電位を推定するには、欠陥画素の周辺８画素からなるべく多くの画素信号を用いて平均値を出してから、欠陥画素がどの程度、この平均値と乖離しているかを元に、推定が可能と考える。しかしながら、撮像素子によっては多線式のものがあり、周辺８画素として、配慮が必要である。例えば、２線式であれば、欠陥画素を含む１線と、その上下の線は異なるチャンネルとなる。前者をＡチャンネル、後者をＢチャンネルと呼ぶならば、補正とは別の画像処理によって、ＡチャンネルとＢチャンネルが上下に順番に並ぶようにして、画像を構成させることが一般的である。
そして、ＡチャンネルとＢチャンネルは撮像素子から信号を伝送するチャンネルが別々であることを示しており、そのような場合に、チャンネル毎のバラツキによって、感度が変ってくることがある。つまり、同じ量の光がＡチャンネルとＢチャンネルに入射したとしても、得られる信号が異なってしまう。先に述べた画像処理では、チャンネル毎のバラツキをキャンセルできるように、必要な係数を求めて乗算する方法がある。具体的にはホワイトバランスを取得することで実現する。もしくは、内視鏡に設けられたメモリ（スコープID）に、あらかじめ必要な係数を記憶しておいてもよい。
従って、補正する画像処理は、チャンネル毎のバラツキをキャンセルした後で実施するのが望ましい。もし、チャンネル毎のバラツキをキャンセルするよりも前に、補正する画像処理を適用する場合、次のようなことが望ましい。

1つの欠陥画素とその周辺８画素に着目した場合、図１４のように3ライン分となるので、例えばＡチャンネルが一番上、次にＢチャンネル、一番下にＡチャンネルが位置することになる。欠陥画素はＢチャンネルにある。ＡチャンネルがＢチャンネルに比べて感度が小さい場合、具体的にはＢチャンネルの感度が1.0、Ａチャンネルの感度が0.9であった場合について説明する。
この欠陥画素が白いドットである場合、正の値であるオフセットの電位を算出し、減算することで、欠陥画素が白いドットにならず、適正なものと改善できる。しかし、チャンネル毎に感度の差があるため、オフセットの電位が大きめに見積もられ、欠陥画素は適正に補正されないで、黒いドットになってしまう。なぜなら、Ａチャンネルの感度がＢチャンネルの感度よりも小さく、欠陥画素の周辺８画素の平均値が小さくなってしまうからである。同様に欠陥画素が黒いドットである場合、負の値であるオフセットの電位を算出し、減算することで、欠陥画素が黒いドットにならないよう補正したいのだが、チャンネル毎の感度の差によって、欠陥画素は黒いドットとなる。
欠陥画素が白いドット、黒いドットのいづれの場合でも、Ａチャンネルの感度がＢチャンネルの感度よりも大きいとき、補正が適正にならず、白いドットとなる。

この現象を改善するために、欠陥画素の補正後に、白いドットまたは黒いドットになっているかを検出する必要がある。検出法は、欠陥画素の左右の２つの画素の平均値に対し、補正後の欠陥画素が閾値以上の差を持っていれば、検出されたとする。白いドットなら、閾値分だけ減算し、黒いドットなら閾値分だけ加算することで、もはや、白や黒のドットとして視認されないように補正できる。
欠陥画素の位置情報が内視鏡にあらかじめ記憶していない場合や、あらかじめ記憶していても、新たな欠陥画素が生じた際に、その位置情報については記憶されていない場合についての対処法は、次の通りである。
１つの案として、内視鏡から得られる画像信号から欠陥画素を検出することが挙げられる。具体的な方法については、これまでに提案されている。このように、欠陥画素を検出できれば、位置情報が得られ、上記と同様に、白や黒のドットとして視認されないように処理すればよいこととなる。また、上記では、閾値分だけ加算、減算するとしたが、左右の2つの画素の平均値に置き換えてもよい。例えば、内視鏡に記憶された位置情報から処理する場合には、閾値を加算、減算し、検出した位置情報から処理する場合には、左右の2つの画素の平均値に置き換えることが挙げられる。

別の案として、内視鏡から得られる画像信号から欠陥画素を検出させてから、位置情報を得て、内視鏡に記憶させる方法がある。特徴としては、所定の被写体を用い、欠陥画素を検出しやすい条件を整えてから、実施することが望ましい。白のドットを検出するには、照明光を消して内視鏡先端部を暗幕で覆ったあと、１０分程度動作させることで安定して白のドットが現れるので、周辺８画素の平均値と比較し、閾値以上の差があれば検出できたとすればよい。
検出した際には、画素の位置情報を内視鏡に記憶することで、この内視鏡を使用するときには白のドットが改善されることとなる。しかし、意図しない条件に配慮しなければならない。例えば、暗幕で覆うことができていない場合、正しい動作ではなくなる。そのため、エラー判定が重要となる。エラー判定の例であるが、位置情報が所定数を超えるような場合、エラーとして報知しつつ、確認してほしい条件を報知してもよい。なぜなら、本法で検出させたい白のドットは多くても２０個程度と想定できるのは、ＣＣＤに欠陥画素が起こる理由について、多数の文献に掲載があるからである。本法については、白黒のＣＣＤを用いる面順次式でもカラーチップのＣＣＤを用いる同時式にも適用できる。ここで記載の方法は、面順次式によるものなので、同時式に適用するには、白のドットを青等のドットとする様に、カラーチップと画素の関係に配慮すればよい。

また、面順次式を例にしたとき、映像方式とＣＣＤの信号処理に配慮することが必要になる場合がある。映像方式として、ＮＴＳＣやＰＡＬが挙げられる。前者は1秒間に６０コマ（６０Field）の画像を表示して動画を再現し、後者は５０コマの画像を表示して動画を再現する。一方で、ＣＣＤの信号処理はＮＴＳＣのように、1秒間に６０コマとする場合がある。ＰＡＬに適用する為には、６０コマの画像を５０コマにレート変換する必要がある。この処理を６５変換と呼ぶ。６５変換には画像メモリを用い、また、面順次式の場合には同時化されたカラー画像を得るために、同時化メモリを用いる。
同時化メモリは静止画像を得る為のプリフリーズ機能を有することもある。図１５に示したように、６５変換を行うために画像メモリを用いて、画像メモリに入力される６０コマの画像を５０コマにレート変換して出力している。例えば画像メモリには図１５の上段側に示すように６０コマ／秒（６０Field/sec）でRO,GO,BO,R1,G1,B1,…の面順次のRGB信号が入力信号としてC65I_R_VALA,C65I_G_VALA,C65I_B_VALA で示すタイミングで順次入力され、書き込まる（以下にも記載のように一部は書き込みが不必要）。一方、画像メモリに書き込みがされたRO,GO,BO,R1,G1,B1,…の面順次のRGB画像は、図１５の下段側に示すように５０コマ／秒（５０Field/sec）で読み出され（但し、RO,R2等の画像は６０コマ／秒と５０コマ／秒とが同期したタイミングでのスルー出力）、６５変換される。
また、図１６に示す同時化メモリは例えばRGB用に３つ分のメモリ構成になっており、先のレート変換後のG0画像をG用の同時化メモリに書き込み、６０コマ／秒のR0画像をR用の同時化メモリに書き込むように制御する。このとき、R0画像はG0画像と水平・垂直方向の周波数として、画像フォーマットが異なる為、ラインメモリやＦＰＧＡの内部メモリを用い、安価に対応することが望ましい。このような方法で、６５変換と同時化を安価に実現できる。同時化メモリはプリフリーズ機能を有するので、色ずれの少ない静止画像を提供できる。

また、本発明は、請求項とは若干異なる以下の付記の内容を含む。
付記１．
２つの観察モードにおける切替を行う観察モード切替手段と、
前記観察モード切替手段の切替に応じて、各フレーム期間において、第１の狭帯域及び第２の狭帯域を備えた第１の照明帯域の照明光又は、複数の広帯域を備えた第２の照明帯域の照明光で照明を行う照明手段と、
前記照明手段により照明された被写体を撮像する撮像手段と、
前記撮像手段により出力される撮像信号の撮像信号レベルを変更する信号レベル可変手段と、
前記信号レベル可変手段から出力される信号から画像信号を生成し、生成した画像信号に対して輪郭強調処理を行う画像処理手段と、
前記第１の照明帯域の照明光で照明を行う場合において、前記第１の狭帯域の照明光に前後するタイミングで前記第２の狭帯域の照明光のもとで撮像した２つの撮像画像を合成する処理を行う合成処理手段と、
前記画像処理手段が行う輪郭強調処理内容と、前記照明手段における前記第１の照明帯域を形成する前記第１の狭帯域及び前記第２の狭帯域の組み合わせと、前記第２の照明帯域を形成する前記複数の広帯域の組み合わせの情報と、前記合成処理手段による２つの撮像画像を合成する際の合成係数（合成比率）に応じて、前記信号レベル可変手段における前記撮像信号レベルに対するゲインを制御する信号レベル可変制御手段と、
を備えることを特徴とする撮像システム。

付記２．付記１において、前記第１の照明帯域の照明は、１フレーム期間の正の整数倍となる所定の時間内に、前記第１の狭帯域の照明光による第１回の照明と、前記第２の狭帯域を有する照明光による前記第１回の２倍となる第２回の照明との組み合わせからなり、
更に、前記第１回の回数のうちの第１の所定回の照明に基づく前記撮像手段による第１の撮像信号と、前記第２回の回数のうちの前記第１の所定回と同じ第２の所定回の照明に基づく前記撮像手段による第２の撮像信号とを用いた色変換マトリクス処理によって第１の明るさを算出し、
前記第１回の回数のうちの前記第１の所定回と同じ第３の所定回の照明に基づく第３の撮像信号と、前記第２回の回数のうちの前記第２の所定回と同じ第４の所定回の照明に基づく第３の撮像信号とを用いた色変換マトリクス処理によって第２の明るさを算出する明るさ算出手段と、
前記第１の明るさと所定の目標明るさとの差分と、前記第２の明るさとの比に基づいて、各１フレーム期間において前記第１及び第２の撮像信号に対して前記第１及び第３の撮像信号を合成する場合の合成係数を算出する演算手段と、
を備え、
前記画像処理手段は、前記演算手段による合成係数、又は合成係数設定手段により設定される合成係数に基づき、各１フレーム期間内における前記第１及び第２の撮像信号に対して前記第１及び第３の撮像信号を合成し、生成した画像信号に対して輪郭強調処理内容を行い、
前記信号レベル可変手段は、前記照明手段が前記第１の狭帯域及び第２の狭帯域の組み合わせからなる前記第１の照明帯域の照明光のもとで撮像された撮像信号である場合、前記画像処理手段が行う前記輪郭強調処理内容と前記合成係数とに基づき、前記第１、第２及び第３の撮像信号を処理する前記信号レベル可変手段を制御する。

付記３．付記２において、
前記第１の撮像信号と前記第３の撮像信号は、共通の撮像信号である。
付記４．付記２又は付記３において、
前記撮像手段は、被写体の光学像を結像する対物レンズ系と、
前記光学像が結像される位置に撮像面が配置され、光学像を光電変換する撮像素子と、
前記対物レンズ系を構成する可動レンズを前記対物レンズ系の光軸方向における少なくとも第１の位置と第２の位置との２つの位置に駆動するアクチュエータと、
を備え、
さらに、前記撮像システムは、前記アクチュエータにより前記可動レンズを前記第１の位置に設定することにより、前記対物レンズ系が近距離の被写体にフォーカスした第１のフォーカス距離の状態と、前記アクチュエータにより前記可動レンズを前記第２の位置に設定することにより、前記対物レンズ系が中遠距離の被写体にフォーカスした第２のフォーカス距離の状態とを切り替える指示操作を行う操作スイッチを備え、
前記信号レベル可変手段は、前記対物レンズ系を前記第２のフォーカス距離に設定した場合には、前記第１のフォーカス距離に設定した場合よりも前記撮像信号レベルに対するゲインを抑制する。

１…撮像システム、２…内視鏡、３…光源装置、４…ビデオプロセッサ、５…カラーモニタ、６…第１フィルタ群（狭帯域フィルタ群）、７…第２フィルタ群（広帯域フィルタ群）、１１…挿入部、１４…ライトガイド、２１…ランプ、２２Ａ…絞り、２４…回転フィルタ、３１…観察モードスイッチ、３２…制御回路、３２ａ…ゲイン制御部、３５…ＣＣＤ、４４…同時化制御部、４５…明るさ算出部、４６…同時化メモリ、４７…ＡＧＣ回路、５０…画像処理部、５１…合成処理部、５３…ＮＲ回路、５４…拡大／縮小回路、５５…強調回路、５６…マトリクス処理部、５８…操作パネル、５８ａ…合成比率設定部、５９…調光制御部、６０…フラッシュメモリ、６０ａ…制御情報、６２…平均値算出部、６４ａ，６４ｂ，６４ｃ…明るさ算出部、６５…マトリクス処理部、６６…輝度算出部、６６ａ…差分算出部、６６ｂ…合成比率算出部

Claims (5)

1. 第１の狭帯域及び第２の狭帯域を備えた第１の照明帯域の照明光と、複数の広帯域を備えた第２の照明帯域の照明光とを切り替えて照明を行う照明手段と、
   前記照明手段により照明された被写体を撮像する撮像手段と、
   前記撮像手段により出力される撮像信号の撮像信号レベルを変更する信号レベル可変手段と、
   前記信号レベル可変手段から出力される信号から画像信号を生成し、生成した画像信号に対して輪郭強調処理を行う画像処理手段と、
   前記第１の照明帯域の照明光で照明を行う場合において、前記第１の狭帯域の照明光に前後するタイミングで前記第２の狭帯域の照明光のもとで撮像した２つの撮像画像を合成する処理を行う合成処理手段と、
   前記画像処理手段が行う輪郭強調処理内容と、前記照明手段における前記第１の照明帯域を形成する前記第１の狭帯域及び前記第２の狭帯域の組み合わせと、前記第２の照明帯域を形成する前記複数の広帯域の組み合わせの情報と、前記合成処理手段による２つの撮像画像を合成する際の合成係数に応じて、前記信号レベル可変手段における前記撮像信号レベルに対するゲインを制御する信号レベル可変制御手段と、
   を備え、
   前記第１の照明帯域の照明は、１フレーム期間の整数倍となる所定の時間内に、前記第１の狭帯域の照明光による第１回の照明と、前記第２の狭帯域を有する照明光による前記第１回の２倍となる第２回の照明との組み合わせからなり、
   更に、前記第１回の回数のうちの第１の所定回の照明に基づく前記撮像手段による第１の撮像信号と、前記第２回の回数のうちの第２の所定回の照明に基づく前記撮像手段による第２の撮像信号とを用いた色変換マトリクス処理によって第１の明るさを算出し、
   前記第１回の回数のうちの第３の所定回の照明に基づく第１の撮像信号と、前記第２回の回数のうちの第４の所定回の照明に基づく第３の撮像信号とを用いた色変換マトリクス処理によって第２の明るさを算出する明るさ算出手段と、
   前記第１の明るさと所定の目標明るさとの差分と、前記第２の明るさとの比に基づいて、各１フレーム期間において前記第１及び第２の撮像信号に対して前記第１及び第３の撮像信号を合成する場合の合成係数を算出する演算手段と、
   を備え、
   前記画像処理手段は、前記演算手段による合成係数、又は合成係数設定手段により設定される合成係数に基づき、各１フレーム期間内における前記第１及び第２の撮像信号に対して前記第１及び第３の撮像信号を合成し、生成した画像信号に対して輪郭強調処理を行い、
   前記信号レベル可変手段は、前記照明手段が前記第１の狭帯域及び第２の狭帯域の組み合わせからなる前記第１の照明帯域の照明光のもとで撮像された撮像信号である場合、前記画像処理手段が行う前記輪郭強調処理内容と前記合成係数とに基づき、前記第１、第２及び第３の撮像信号を処理する前記信号レベル可変手段を制御することを特徴とする撮像システム。
2. 前記信号レベル可変手段は、前記輪郭強調処理の強調レベルが大きい程、又は前記合成係数による合成の割合が大きい程、前記撮像信号レベルに対するゲインを抑制することを特徴とする請求項１に記載の撮像システム。
3. 前記撮像手段は、被写体の光学像を結像する対物レンズ系と、
   前記光学像が結像される位置に撮像面が配置され、光学像を光電変換する撮像素子と、
   前記対物レンズ系を構成する可動レンズを前記対物レンズ系の光軸方向における少なくとも第１の位置と第２の位置との２つの位置に駆動するアクチュエータと、
   を備え、
   さらに、前記撮像システムは、前記アクチュエータにより前記可動レンズを前記第１の位置に設定することにより、前記対物レンズ系が近距離の被写体にフォーカスした第１のフォーカス距離の状態と、前記アクチュエータにより前記可動レンズを前記第２の位置に設定することにより、前記対物レンズ系が中遠距離の被写体にフォーカスした第２のフォーカス距離の状態とを切り替える指示操作を行う操作スイッチを備え、
   前記信号レベル可変手段は、前記対物レンズ系を前記第２のフォーカス距離に設定した場合には、前記第１のフォーカス距離に設定した場合よりも前記撮像信号レベルに対するゲインを抑制することを特徴とする請求項２に記載の撮像システム。
4. さらに、前記第１の撮像信号と前記第２の撮像信号から生成した撮像画像を分割した複数の各領域における平均の明るさを算出する領域明るさ算出手段と、
   前記領域明るさ算出手段により算出された前記平均の明るさが閾値以上となる明領域と、前記閾値未満となる暗領域とを判定する判定手段と、
   前記判定手段により判定された明領域においては、暗領域の場合よりも前記輪郭強調処理の強調レベルを大きくするように制御することを特徴とする請求項２に記載の撮像システム。
5. 前記第１の狭帯域は、緑の波長帯域における狭帯域であり、前記第２の狭帯域は、青の波長帯域における狭帯域であることを特徴とする請求項１乃至４のいずれか１つに記載の撮像システム。

Images