JPWO2020158165A1 - 内視鏡システム - Google Patents

Abstract

複数の光を切り替えて照明し、各光の照明により得られる複数の画像を切り替えて表示する場合において、被写体の変化に合わせて、各画像の色味を揃えつつ、各画像の違いを可視化することができる内視鏡システムを提供する。内視鏡システムは、光源部（１４）と、光源制御部（２１）と、画像取得部（５２）と、ホワイトバランス部（５５）と、補正係数算出部（５６）とを備える。ホワイトバランス部（５５）は、第１画像信号には第１ゲイン係数をかけ、第２画像信号には第２ゲイン係数をかけて、また、第１ゲイン係数および第２ゲイン係数の少なくともいずれかを補正した補正ゲイン係数を用いてホワイトバランス処理を行う。

Description

本発明は、複数種類の画像を切り替えて表示する内視鏡システムに関する。

近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるＲＧＢ画像信号に基づいて、観察対象の画像をモニタ上に表示する。

また、近年では、診断の目的に応じて、互いに波長域が異なる複数の照明光を観察対象に照明することが行われている。例えば、特許文献１では、ピーク波長が４２２ｎｍのＮＢ１光と、ピーク波長が４６０〜４７０ｎｍのＮＢ２光との２つの青色の狭帯域光を交互に照明することによって、観察対象に含まれる血管中の酸素飽和度を取得することが記載されている。また、特許文献２では、Ｂ１領域（第１のＢ領域：３９０ｎｍから４４０ｎｍ）にピークを有する光と、Ｂ２領域（第２のＢ領域：４４０ｎｍから４９０ｎｍ）にピークを有する光とを観察対象に照明し、Ｂ１領域の光及びＢ２領域の光の両方に感度を有するＢ画素を含む撮像素子によって撮像を行うことにより、表層血管の解像情報を得ることが記載されている。また、特許文献３には、中心波長４０５ｎｍの紫色光、中心波長４４５ｎｍの青色レーザ光、及び青色レーザ光によって励起発光する励起発光を用いて、生体組織の所望の組織情報を、診断に適したより明瞭な状態で取得することが記載されている。

特開２０１５−１７３７３７号公報 国際公開第２０１６／０８０１３０号 特開２０１７−１８５２５８号公報

近年では、内視鏡分野においては、背景粘膜以外の生体情報、例えば、深さが異なる血管や深さ、高さが異なる腺管構造などに着目する診断が行われている。このような診断においては、ユーザーに対して、背景粘膜以外の複数の情報をそれぞれ把握できるように表示する必要がある。このような複数の情報をそれぞれ表示する方法として、生体組織への深達度が異なる複数波長の光を自動で周期的に切り替えて照明し、それらの照明によって得られる複数の画像を切り替えて表示する方法が考えられる。例えば、表層血管など表層の情報と深層血管など深層の情報を得るためには、表層にまで深達度を有する短波光と深層にまで深達度を有する中波長光を切り替えて照明し、短波光の照明により得られる表層画像と中波長光の照明により得られる深層画像とを切り替えて表示する。このような切替表示を行うことにより、表層画像と深層画像の差分が表示されるため、異なる生体情報を分離して表示することができる。したがって、表層情報と深層情報との異なる生体情報を把握することができる。

しかしながら、短波光と中波長光を切り替えて照明した場合には、表層画像の信号値と深層画像の信号値とが大きく異なると、表層画像と深層画像とで画像全体の色味が大きく異なる。したがって、例えば、短波項と中波長光とを自動で切替えて照明した場合には、色味が違う画像が自動で切り替えられて表示されるため、見づらい画面となるおそれがある。また、診断時に注目する表層情報及び深層情報の視認性が低下するおそれがある。

これらを防ぐために、オートホワイトバランスのように、基準の色に常に色調を合わせると、正常粘膜と炎症を伴う粘膜とが同じ色調となり、正しい診断ができないおそれがある。また、あらかじめ、粘膜等による標準的な被写体を仮定し、複数波長の光で撮影した画像において、色調、および明るさが同等となるように、例えば、各波長の光に対して、予め設定した異なるゲイン係数によりホワイトバランス処理等を行うことにより対応することが考えられる。しかしながら、このように対応した場合であっても、観察部位の違い、個人差、炎症等の疾患の有無、または色素散布の有無等の被写体の変化により、標準的な被写体と分光反射率が異なり、複数波長の光で撮影したそれぞれの画像の明るさ、色調等が大きく異なるために、目的とする生体情報の差が認識しにくいとの問題が生じるおそれがある。

本発明は、複数の光を切り替えて照明し、各光の照明により得られる複数の画像を切り替えて表示する場合において、被写体の変化に合わせて、各画像の明るさ、色調等を揃えつつ、各画像の違いを認識しやすい内視鏡システムを提供することを目的とする。

本発明の内視鏡システムは、光源部と、光源制御部と、画像取得部と、ホワイトバランス部とを備える。光源部は、第１照明光と、第１照明光とは異なる発光スペクトルを有する第２照明光とを発光する。光源制御部は、第１照明光と第２照明光とを自動的に切り替えて発光する制御を行う光源制御部であって、第１照明光を発光する発光期間と第２照明光を発光する発光期間は、それぞれ少なくとも１フレーム以上の発光期間である。画像取得部は、第１照明光の発光期間において第１照明光により照明された被写体を撮像して得られる第１画像信号を含む第１画像信号群と、第２照明光の発光期間において第２照明光により照明された被写体を撮像して得られる第２画像信号を含む第２画像信号群とを取得する。ホワイトバランス部は、第１画像信号に第１ゲイン係数をかけ合わせ、第２画像信号に第２ゲイン係数をかけ合わせてホワイトバランス処理を行う。ホワイトバランス部は、第１ゲイン係数と第２ゲイン係数の少なくともいずれかを補正した補正ゲイン係数を用いて、ホワイトバランス処理を行う。

ホワイトバランス部は、補正無しの固定の第２ゲイン係数を用いて、ホワイトバランス処理を行うことが好ましい。

第１画像信号または第２画像信号は、青色信号、赤色信号、及び緑色成分を含み、第１画像の信号値または第２画像の信号値は、青色信号値、赤色信号値、及び緑色信号値からなることが好ましい。

ホワイトバランス部は、第１ゲイン係数または第２ゲイン係数を、青色信号値、赤色信号値、及び緑色信号値のそれぞれについて定めることが好ましい。

第１ゲイン係数を補正する場合において、取得期間Ｐ_Ｎ（Ｎは整数）の第１画像信号群に含まれる第１画像信号に対して用いる取得期間Ｐ_Ｎの第１ゲイン係数は、取得期間Ｐ_Ｎの直前の取得期間Ｐ_Ｎ−２の第１画像信号に対して用いた取得期間Ｐ_Ｎ−２の第１ゲイン係数を補正した補正第１ゲイン係数であることが好ましい。

第１ゲイン係数を補正する場合において、取得期間Ｐ_Ｎよりも前の複数の取得期間Ｐ_Ｎ−Ｋ（Ｋは２以上の偶数）の第１画像信号群に含まれる第１画像信号に対して用いる複数の取得期間Ｐ_Ｎ−Ｋの第１ゲイン係数は、少なくとも一部はそれぞれ補正された補正ゲイン係数であり、取得期間Ｐ_Ｎの第１画像信号群に含まれる第１画像信号に対して用いる取得期間Ｐ_Ｎの第１ゲイン係数は、複数の取得期間Ｐ_Ｎ−Ｋの第１ゲイン係数に対して、それぞれ重み付け係数をかけて加算された値であり、重み付け係数は、取得期間Ｐ_Ｎに近いほど大きいことが好ましい。

複数の取得期間Ｐ_Ｎ−Ｋの第１ゲイン係数は、各取得期間Ｐ_Ｎ−Ｋにおいてホワイトバランス処理で用いられていることが好ましい。

第１ゲイン係数または第２ゲイン係数の補正には、第１ゲイン係数および第２ゲイン係数のうち少なくとも一方を補正するための補正係数が用いられ、補正係数は、第１画像信号群に基づく演算により得られる第１演算値と、第２画像信号群に基づく演算により得られる第２演算値とを用いて算出することが好ましい。

第１演算値は、第１画像信号群に含まれる第１画像信号において、第１画像信号の信号値を平均して得られる第１画像信号値平均のそれぞれを加算平均して得られ、第２演算値は、第２画像信号群に含まれる第２画像信号において、第２画像信号の信号値を平均して得られる第２画像信号値平均のそれぞれを加算平均して得られることが好ましい。

第１画像信号または第２画像信号において、血管または病変部分の画像信号を検出して異常画像信号とする検出部を備え、第１画像信号値平均または第２画像信号値平均は、それぞれ異常画像信号以外の第１画像信号の信号値また記第２画像信号の信号値を用いることにより得られることが好ましい。

第１画像信号または第２画像信号において、異常画素部分の画像信号を検出して異常画像信号とする検出部を備え、第１画像信号値平均または第２画像信号値平均は、それぞれ異常画像信号以外の第１画像信号の信号値または第２画像信号の信号値を用いることにより得られることが好ましい。

補正係数は、第１演算値と第２演算値の比であることが好ましい。

取得期間Ｐ_Ｎの第１ゲイン係数は、取得期間Ｐ_Ｎ−２の第１画像信号群に含まれる第１画像信号に対して用いた第１ゲイン係数に、取得期間Ｐ_Ｎ−２における第１演算値と取得期間Ｐ_Ｎ−１における第２演算値との比の値をかけ合わせた値であることが好ましい。

取得期間Ｐ_Ｎの第１ゲイン係数と、取得期間Ｐ_Ｎ−２の第１画像信号群に含まれる第１画像信号に対して用いた第１ゲイン係数との差が、予め設定した閾値以下の場合は、取得期間Ｐ_Ｎの第１ゲイン係数の補正を行わないことが好ましい。

取得期間Ｐ_Ｎの第１ゲイン係数と、取得期間Ｐ_Ｎ−２の第１画像信号群に含まれる第１画像信号に対して用いた第１ゲイン係数との差が、予め設定した閾値以上の場合は、取得期間Ｐ_Ｎの第１ゲイン係数の補正を行わないことが好ましい。

第１照明光は、紫色光、緑色光、及び赤色光を含み、第２照明光は、青色光、緑色光及び赤色光を含み、光源制御部は、第１照明光と第２照明光とが含む各色のそれぞれの発光量を、第１ゲイン係数または第２ゲイン係数に基づいて制御することが好ましい。

光源制御部は、第１ゲイン係数または第２ゲイン係数に基づいて制御された発光量が、特定の閾値以下である場合、予め設定された最低発光量まで発光量を増加させることが好ましい。

画像処理部は、第１画像信号により第１表示用観察画像を生成し、かつ、第２画像信号により第２表示用観察画像を生成し、第１表示用観察画像は表層血管が強調されており、第２表示用観察画像は表層血管よりも深い位置にある中深層血管が強調されていることが好ましい。

本発明によれば、複数の光を切り替えて照明し、各光の照明により得られる複数の画像を切り替えて表示する場合において、被写体の変化に合わせて、各画像の明るさ、色調等を揃えつつ、各画像の違いを認識しやすい内視鏡システムを提供することができる。

内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの発光スペクトルを示すグラフである。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む第１照明光の発光スペクトルを示すグラフである。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む第２照明光の発光スペクトルを示すグラフである。 第１照明光の発光期間と第２照明光の発光期間を示す説明図である。 発光期間設定メニューを示す説明図である。 撮像センサに設けられたＢフィルタ、Ｇフィルタ、Ｒフィルタの分光透過率である。 第１画像信号群および第２画像信号群の取得について、時系列により説明する説明図である。 ＤＳＰの機能を示すブロック図である。 特殊画像処理部の機能を示すブロック図である。 第１特殊観察画像（第１画像）を示す画像図である。 第１照明光を照明した場合に得られる紫及び青色光画像と緑及び赤色光画像を示す説明図である。 第２特殊観察画像（第２画像）を示す画像図である。 第２照明光を照明した場合に得られる紫及び青色光画像と緑及び赤色光画像を示す説明図である。 取得期間Ｐ_５における補正第１ゲイン係数の一例を説明する説明図である。 取得期間Ｐ_５における補正第１ゲイン係数の別の一例を説明する説明図である。 第１画像信号値平均及び第２画像信号値平均を説明する説明図である。 補正係数の一例を説明する説明図である。 補正係数の別の一例を説明する説明図である。 第１赤色狭帯域光を含む第１照明光の発光スペクトルを示すグラフである。 第２赤色狭帯域光を含む第２照明光の発光スペクトルを示すグラフである。

図１に示すように、本実施形態の内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８（表示部）と、ユーザーインターフェース１９とを有する。内視鏡１２は光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられる湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作に伴って、先端部１２ｄが所望の方向に向けられる。なお、ユーザーインターフェース１９は図示したキーボードの他、マウスなどが含まれる。

また、操作部１２ｂには、アングルノブ１２ｅの他、モード切替ＳＷ１３ａ、静止画取得指示部１３ｂが設けられている。モード切替ＳＷ１３ａは、通常観察モードと、第１特殊観察モードと、第２特殊観察モードと、マルチ観察モードとの切替操作に用いられる。通常観察モードは、通常画像をモニタ１８上に表示するモードである。第１特殊観察モードは、表層血管などの表層情報を強調した第１特殊観察画像をモニタ１８上に表示するモードである。第２特殊観察モードは、深層血管などの深層情報を強調した第２特殊観察画像をモニタ１８上に表示するモードである。マルチ観察モードは、第１特殊観察画像（以下、第１画像という）と第２特殊観察画像（以下、第２画像という）とを自動的に切り替えてモニタ１８に表示するモードである。なお、モードを切り替えるためには、モード切替ＳＷ１３ａの他に、フットスイッチ等を用いてもよい。

プロセッサ装置１６は、モニタ１８及びユーザーインターフェース１９と電気的に接続される。モニタ１８は、画像情報等を出力表示する。ユーザーインターフェース１９は、機能設定等の入力操作を受け付けるＵＩ（User Interface：ユーザーインターフェース）として機能する。なお、プロセッサ装置１６には、画像情報等を記録する外付けの記録部（図示省略）を接続してもよい。

図２に示すように、光源装置１４は、光源部２０と、光源制御部２１と、光路結合部２３と、発光期間設定部２４とを有している。光源部２０は、Ｖ−ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ−ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ−ＬＥＤ（Green Light Emitting Diode）２０ｃ、Ｒ−ＬＥＤ（Red Light Emitting Diode）２０ｄを有している。光源制御部２１は、ＬＥＤ２０ａ〜２０ｄの駆動を制御する。光路結合部２３は、４色のＬＥＤ２０ａ〜２０ｄから発せられる４色の光の光路を結合する。光路結合部２３で結合された光は、挿入部１２ａ内に挿通されたライトガイド４１及び照明レンズ４５を介して、被検体内に照射される。なお、ＬＥＤの代わりに、ＬＤ（Laser Diode）を用いてもよい。発光期間設定部２４は、複数の照明光のそれぞれの発光期間を設定する。

図３に示すように、Ｖ−ＬＥＤ２０ａは、中心波長４０５±１０ｎｍ、波長範囲３８０〜４２０ｎｍの紫色光Ｖを発生する。Ｂ−ＬＥＤ２０ｂは、中心波長４６０±１０ｎｍ、波長範囲４２０〜５００ｎｍの青色光Ｂを発生する。Ｇ−ＬＥＤ２０ｃは、波長範囲が４８０〜６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ−ＬＥＤ２０ｄは、中心波長６２０〜６３０ｎｍで、波長範囲が６００〜６５０ｎｍに及ぶ赤色光Ｒを発生する。

光源制御部２１は、Ｖ−ＬＥＤ２０ａ、Ｂ−ＬＥＤ２０ｂ、Ｇ−ＬＥＤ２０ｃ、及びＲ−ＬＥＤ２０ｄを制御する。また、光源制御部２１は、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ〜２０ｄを制御する。

また、光源制御部２１は、第１特殊観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１となる第１照明光を発光するように、各ＬＥＤ２０ａ〜２０ｄを制御する。光強度比Ｖｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１は、第１照明光の光量条件に対応する。第１照明光は、表層血管を強調することが好ましい。そのため、第１照明光は、紫色光Ｖの光強度を青色光Ｂの光強度よりも大きくすることが好ましい。例えば、図４に示すように、紫色光Ｖの光強度Ｖｓ１と青色光Ｂの光強度Ｂｓ１との比率を「４：１」とする。

なお、本明細書において、光強度比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有するものとする。

また、光源制御部２１は、第２特殊観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２となる第２照明光を発光するように、各ＬＥＤ２０ａ〜２０ｄを制御する。光強度比Ｖｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２は、第２照明光の光量条件に対応する。第２照明光は、深層血管を強調することが好ましいい。そのため、第２照明光は、青色光Ｂの光強度を紫色光Ｖの光強度よりも大きくすることが好ましい。例えば、図５に示すように、紫色光Ｖの光強度Ｖｓ２と青色光Ｂの光強度Ｂｓ２との比率を「１：３」とする。

光源制御部２１は、マルチ観察モードに設定されている場合には、第１照明光と第２照明光とをそれぞれ第１期間と第２期間の発光期間にて発光し、且つ、第１照明光と第２照明光とを自動的に切り替えて発光する制御を行う。第１期間と第２期間とは、それぞれ少なくとも１フレーム以上の発光期間を有する。

より具体的には、例えば、図６に示すように、光源制御部２１は、第１期間を４フレームとし、第２期間を４フレームとした場合、第１照明光が４フレーム続けて発光した後に、第２照明光が４フレーム続けて発光される。そして、この発光パターンを繰り返し行う。

なお、「フレーム」とは、観察対象を撮像する撮像センサ４８（図２参照）を制御するための単位をいい、例えば、「１フレーム」とは、観察対象からの光で撮像センサ４８を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間のことをいう。本実施形態においては、撮像の単位である「フレーム」に対応して第１期間または第２期間がそれぞれ定められている。

第１照明光の発光期間である第１期間と第２照明光の発光期間である第２期間は、光源制御部２１に接続された発光期間設定部２４によって、適宜変更が可能である。ユーザーインターフェース１９の操作により、発光期間の変更操作を受け付けると、発光期間設定部２４は、図７に示すような発光期間設定メニューをモニタ１８上に表示する。第１期間は、例えば、２フレームから１０フレームの間で変更可能である。各発光期間については、スライドバー２６ａ上に割り当てられている。

第１期間を変更する場合には、ユーザーインターフェース１９を操作して、スライドバー２６ａ上の変更したい発光期間を示す位置にスライダ２７ａを合わせることで、第１期間が変更される。第２期間についても、ユーザーインターフェース１９を操作して、スライドバー２６ｂ上の変更したい発光期間を示す位置にスライダ２７ｂを合わせることで、第２期間が変更される。なお、スライドバー２６ｂも、例えば、２フレームから１０フレームの発光期間が割り当てられている。

図２に示すように、ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されており、光路結合部２３で結合された光を内視鏡１２の先端部１２ｄまで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用することができる。

内視鏡１２の先端部１２ｄには、照明光学系３０aと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、この照明レンズ４５を介して、ライトガイド４１からの光が観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６及び撮像センサ４８を有している。観察対象からの反射光は、対物レンズ４６を介して、撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の反射像が結像される。

撮像センサ４８はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ４８は、ＣＣＤ(Charge Coupled Device）撮像センサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像センサ４８は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３色のＲＧＢ画像信号を得るためのカラーの撮像センサ、即ち、Ｒフィルタが設けられたＲ画素、Ｇフィルタが設けられたＧ画素、Ｂフィルタが設けられたＢ画素を備えた、いわゆるＲＧＢ撮像センサである。

図８に示すように、Ｂフィルタ４８ｂは、紫色帯域の光、青色帯域の光、及び緑色帯域の光のうち短波側の光を透過させる。Ｇフィルタ４８ｇは、緑色帯域の光、青色帯域の光の長波側の光、及び赤色帯域の光の短波側の光を透過させる。Ｒフィルタ４８ｒは、赤色帯域の光、緑色帯域の長波側の光を透過させる。したがって、撮像センサ４８のうち、Ｂ画素は紫色光Ｖ及び青色光Ｂに感度を有し、Ｇ画素は青色光Ｂ、緑色光Ｇ、及び赤色光Ｒに感度を有し、Ｒ画素は緑色光Ｇ及び赤色光Ｒに感度を有している。

なお、撮像センサ４８としては、ＲＧＢのカラーの撮像センサの代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるため、補色−原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換する必要がある。また、撮像センサ４８はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部２１は青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。

図２に示すように、撮像センサ４８から出力される画像信号は、ＣＤＳ／ＡＧＣ回路５０に送信される。ＣＤＳ／ＡＧＣ回路５０は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ／ＡＧＣ回路５０を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）５２により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力される。

プロセッサ装置１６は、画像取得部５２と、ＤＳＰ（Digital Signal Processor）５４と、ノイズ除去部５８と、信号切替部６０と、通常観察画像処理部６２と、特殊観察画像処理部６３と、表示制御部６４と、静止画保存部６５と、静止画保存制御部６６とを備えている。

画像取得部５２は、内視鏡１２において観察対象を撮像することにより得られた観察画像を取得する。具体的には、観察画像として、内視鏡１２からのデジタルのカラー画像信号が画像取得部５２に入力される。カラー画像信号は、撮像センサ４８のＲ画素から出力される赤色信号と、撮像センサ４８のＧ画素から出力される緑色信号と、撮像センサ４８のＢ画素から出力される青色信号とから構成される。

図９に示すように、画像取得部５２は、第１期間ＰＬ１において第１画像信号群を取得する。第１画像信号群は、第１期間ＰＬ１において第１照明光Ｌ１により照明された被写体を撮像した複数の第１画像信号ＳＰ１を含む。また、画像取得部５２は、第２期間ＰＬ２において第２画像信号群を取得する。第２画像信号群は、第２期間ＰＬ２において第２照明光Ｌ２により照明された被写体を撮像した複数の第２画像信号ＳＰ２を含む。本実施形態では、マルチ観察モードに設定されている場合には、光源制御部２１は、第１照明光Ｌ１と第２照明光Ｌ２とをそれぞれ第１期間ＰＬ１と第２期間ＰＬ２の発光期間にて発光し、且つ、第１照明光Ｌ１と第２照明光Ｌ２とを自動的に切り替えて発光する制御を行うため、画像取得部５２は、時間の経過により、第１画像信号群、第２画像信号群の順に、周期的に画像を取得する。

第１期間ＰＬ１と第２期間ＰＬ２とは、それぞれ少なくとも１フレーム以上の発光期間を有するため、第１画像信号群と第２画像信号群とは、それぞれ少なくとも１つ以上の第１画像信号ＳＰ１と第２画像信号ＳＰ２とを含む。本実施形態では、第１期間ＰＬ１と第２期間ＰＬ２とは、どちらも４フレームの発光期間である。したがって、第１期間ＰＬ１では、４つの第１画像信号ＳＰ１を含む第１画像信号群が取得され、第２期間ＰＬ２では、４つの第２画像信号ＳＰ２を含む第２画像信号群が取得される。

ＤＳＰ５６は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ホワイトバランス処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。また、図１０に示すように、ＤＳＰ５４は、ホワイトバランス部５５を備える。また、ホワイトバランス部５５は、補正係数算出部５６を備える。

欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ホワイトバランス部５５は、第１画像信号に第１ゲイン係数をかけ合わせて、また、第２画像信号に第２ゲイン係数をかけ合わせて、ホワイトバランス処理を行う。第１ゲイン係数とは、第１画像信号にかけ合わせるゲイン係数を、また、第２ゲイン係数とは、第２画像信号にかけ合わせるゲイン係数を意味する。ホワイトバランス処理では、オフセット処理後の画像信号にゲインを乗じることにより信号レベルが整えられる。補正係数算出部５６は、第１ゲイン係数および第２ゲイン係数のうち少なくとも一方を補正するための補正係数を算出する。ホワイトバランス処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理（等方化処理、同時化処理とも言う）が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素が各色の信号を有するようになる。

ノイズ除去部５８は、ＤＳＰ５６でガンマ補正等が施された画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等）を施すことによって、画像信号からノイズを除去する。ノイズが除去された画像信号は、信号切替部６０に送信される。

信号切替部６０は、モード切替ＳＷ１３ａにより、通常観察モードにセットされている場合には、通常光の照明及び撮像で得られた通常光用画像信号を通常観察画像処理部６２に送信する。図１１に示すように、特殊観察画像処理部６３は、第１特殊観察画像処理部６７、第２特殊観察画像処理部６８、及び検出部６９を含む。そして、第１特殊観察モードにセットされている場合には、第１照明光の照明及び撮像で得られた第１画像信号を第１特殊観察画像処理部６７に送信する。第１画像信号には、撮像センサのＲ画素から出力される第１赤色信号と、撮像センサ４８のＧ画素から出力される第１緑色信号と、撮像センサ４８のＢ画素から出力される第１青色信号が含まれる。また、第２特殊観察モードにセットされている場合には、第２照明光の照明及び撮像で得られた第２画像信号を第２特殊観察画像処理部６３に送信する。第２画像信号には、撮像センサのＲ画素から出力される第２赤色信号と、撮像センサ４８のＧ画素から出力される第２緑色信号と、撮像センサ４８のＢ画素から出力される第２青色信号が含まれる。また、マルチ観察モードにセットされている場合には、第１照明光の照明及び撮像で得られた第１画像信号は第１特殊観察画像処理部６７に送信され、第２照明光の照明及び撮像で得られた第２画像信号は第２特殊観察画像処理部６３に送信される。

通常観察画像処理部６２は、通常観察モード時に得られたＲＧＢ画像信号に対して、通常画像用の画像処理を施す。通常画像用の画像処理には、通常画像用の構造強調処理などが含まれる。通常観察画像処理部６２では、通常画像用の画像処理を行うために、ＲＧＢ画像信号に対して掛け合わされる通常画像用パラメータが設けられている。通常画像用の画像処理が施されたＲＧＢ画像信号は、通常画像として、通常観察画像処理部６２から表示制御部６４に入力される。

第１特殊観察画像処理部６７は、第１画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理が行われた第１画像を生成する。第１画像では、表層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。第１特殊観察画像処理部６７では、第１画像の画像処理を行うために、第１画像信号に対して掛け合わされる第１画像用のパラメータが設けられている。なお、第１特殊観察画像処理部６７では、表層血管を強調する表層血管強調処理は行わないが、処理負荷の状況によっては、表層血管強調処理を行うようにしてもよい。

第１画像により、図１２に示すように、観察対象のうち背景粘膜ＢＭ、及び、表層血管ＶＳ１が表された画像が表示される。第１画像は、紫色光、青色光、緑色光、及び赤色光を含む第１照明光に基づいて得られる。図１３に示すように、第１照明光Ｌ１が観察対象に照明されると、第１照明光Ｌ１のうち紫色光及び青色光Ｖ／Ｂは、表層血管ＶＳ１が分布する表層にまで深達する。なお、図１３において、紙面上方から第１照明光Ｌ１が観察対象に照明され、紙面下方が観察対象の深さ方向Ｄである。第１照明光では紫色光Ｖの光強度が青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度より強いため、紫色光Ｖの反射光に基づいて得られる紫色光画像ＶＰに含まれる表層血管ＶＳ１の像が強調される。なお、ここでは、紫色光Ｖの光強度が青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度より強いことから、紫色光画像ＶＰとする。また、第１照明光Ｌ１のうち赤色光Ｒは、表層血管ＶＳ１及び深層血管ＶＳ２（表層血管ＶＳ１よりも深い位置にある血管）よりもさらに深い位置に分布する背景粘膜ＢＭにまで深達する。したがって、赤色光Ｒの反射光に基づいて得られる赤色光画像ＲＰには、背景粘膜ＢＭの像が含まれる。以上から、第１画像は紫色光画像ＶＰと赤色光画像ＲＰを組み合わせた画像であるため、背景粘膜ＢＭ及び表層血管ＶＳ１の像が表示される。

第２特殊観察画像処理部６８は、第２画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理が行われた第２画像を生成する。第２画像では、深層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。第２特殊観察画像処理部６８では、第２画像の画像処理を行うために、第２画像信号に対して掛け合わされる第２画像用のパラメータが設けられている。なお、第２特殊観察画像処理部６８では、深層血管を強調する表層血管強調処理は行わないが、処理負荷の状況によっては、深層血管強調処理を行うようにしてもよい。

第２画像により、図１４に示すように、観察対象のうち背景粘膜ＢＭ、及び、深層血管ＶＳ２が表された画像が表示される。第２画像は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む第２照明光に基づいて得られる。図１５に示すように、第２照明光Ｌ２のうち緑色光Ｇは、深層血管ＶＳ２が分布する深層にまで深達する。なお、図１４において、紙面上方から第１照明光Ｌ１が観察対象に照明され、紙面下方が観察対象の深さ方向Ｄである。第２照明光Ｌ２では緑色光Ｇの光強度が青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度より強いので、緑色光Ｇの反射光に基づいて得られる緑色光画像ＧＰに含まれる深層血管ＶＳ２の像が強調される。なお、ここでは、緑色光Ｇの光強度が強いことから、緑色光画像ＧＰとする。また、第２照明光Ｌ２のうち赤色光Ｒは、表層血管ＶＳ１及び深層血管ＶＳ２（表層血管ＶＳ１よりも深い位置にある血管）よりもさらに深い位置に分布する背景粘膜ＢＭにまで深達する。したがって、赤色光Ｒの反射光に基づいて得られる赤色光画像ＲＰには、背景粘膜ＢＭの像が含まれる。以上から、第２画像は赤色光画像ＲＰを組み合わせた画像であるため、背景粘膜ＢＭ及び深層血管ＶＳ２の像が表示される。

以上のように、本実施形態では、第１画像信号により第１特殊観察画像を生成し、かつ、第２画像信号により第２特殊観察画像を生成し、第１特殊観察画像は表層血管が強調されており、第２特殊観察画像は表層血管よりも深い位置にある中深層血管が強調されることが好ましい。

検出部６９は、通常画像、第１画像及び第２画像により、血管または病変を検出する。上記のとおり、第１画像は、表層血管ＶＳ１が表された画像であり、第２画像は、深層血管ＶＳ２が表された画像であるため、画像処理により、これらの血管を検出することができる。また、検出部６９は、第１画像または第２画像における異常部分を検出し、異常画像信号とする。血管または病変の検出結果は、ホワイトバランス部５５または光源制御部２１に送られる。

表示制御部６４は、通常観察画像処理部６２または特殊観察画像処理部６３から入力された通常画像、第１画像、および／または第２画像を、モニタ１８で表示可能な画像として表示するための制御を行う。表示制御部６４による制御によって、各観察モードに応じた画像が表示される。通常観察モードの場合には、通常画像がモニタ１８に表示される。また、第１特殊観察モードの場合には、第１画像（図１２参照）がモニタ１８に表示される。また、第２特殊観察モードの場合には、第２画像（図１４参照）がモニタ１８に表示される。

また、マルチ観察モードの場合には、第１照明光の発光期間と第２照明光の発光期間に合わせて、カラーの第１画像と第２画像が切り替えてモニタ１８に表示される。即ち、第１期間が４フレームで、第２期間が４フレームである場合には、第１表示用観察画像が４フレーム続けて表示され、かつ、第２表示用観察画像が４フレーム続けて表示される。

以上のように、マルチ観察モードにおいては、ユーザーによるモード切替ＳＷ１３ａの操作を行うことなく、２種類の第１画像と第２画像を自動的に切り替えて表示することができる。このように自動的に切り替えて表示することで、観察対象に動き又は内視鏡１２の先端部１２ｄに動きが無い限り、第１画像と第２画像とでは同一の観察対象が表示される。ただし、第１画像と第２画像とでは同一の観察対象であっても、それぞれ分光情報が異なっているため、分光情報の違いにより観察対象の見え方は異なっている。即ち、第１画像では表層血管の視認性が高くなっている一方、第２画像では深層血管の視認性が高くなっている。したがって、第１画像と第２画像とを切り替えて表示することによって、深さが異なる複数の血管に対する視認性の向上を図ることができる。

なお、本実施形態では、通常観察モード、第１特殊観察モード、第２特殊観察モード、及び、第１特殊観察モードと第２特殊観察モードとを切替えるマルチ観察モードとを備えるが、通常観察モード、第１特殊観察モードと第２特殊観察モードとを切替えるマルチ観察モードに加え、これらの観察モードとは異なる複数の観察モードを備えても良い。この場合は、より多角的に被写体を観察することができる。

静止画保存制御部６６は、静止画取得指示部１３ｂの指示に従って、その静止画取得指示のタイミングで得られた画像を静止画として静止画保存部６５に保存する制御を行う。通常観察モードの場合であれば、静止画取得指示のタイミングで得られた通常画像を静止画として静止画保存部６５に保存する。第１特殊観察モードの場合であれば、静止画取得指示のタイミングで得られた第１特殊観察画像を静止画として静止画保存部６５に保存する。第２特殊観察モードの場合であれば、静止画取得指示のタイミングで得られた第２特殊観察画像を静止画として静止画保存部６５に保存する。また、マルチ観察モードの場合であれば、静止画取得指示のタイミングで得られた第１特殊観察画像と第２特殊観察画像の１セットの表示用観察画像を静止画保存部６５に保存する。

次に、ホワイトバランス処理について、以下に詳説する。ホワイトバランス部５５は、第１ゲイン係数と第２ゲイン係数の少なくともいずれかを補正した補正ゲイン係数を用いて、ホワイトバランス処理を行う。第１ゲイン係数を補正した場合は、補正第１ゲイン係数を用い、また、第２ゲイン係数を補正した場合は、補正第２ゲイン係数を用いる。補正は、各種データを用いて算出した特定の係数をかけ合わせてもよい。算出については、その都度算出してもよいし、一定の期間を設定し、その期間毎に算出してもよい。

したがって、ゲイン係数として、第１ゲイン係数と第２ゲイン係数の少なくともいずれかを補正した補正ゲイン係数を用いるため、第１照明光による第１画像信号と第２照明光による第２画像信号とによる画像を切り替えて表示する場合において、被写体の変化に合わせて、各画像の明るさ、色調等を揃えつつ、各画像の違いを認識しやすい内視鏡システムを提供することができる。

本実施形態では、ホワイトバランス部５５は、補正なしの固定の第２ゲイン係数を用いて、ホワイトバランス処理を行う。この場合、第１ゲイン係数を補正する。これにより、第２画像信号の色調が変化して、例えば、第１画像信号と第２画像信号で、正常粘膜と炎症を伴う粘膜が同じ色調となることが避けられる。しかも、第１画像信号の色調は、第２画像信号の色調に合わせられる。したがって、第１画像信号と第２画像信号との違いを保ちつつ、例えば、正常粘膜と炎症を伴う粘膜等の色調の違いを保つことができ、より正しい診断を行うことができる。

本実施形態では、第１画像信号または第２画像信号は、青色信号、赤色信号、及び緑色成分を含み、第１画像信号の信号値または第２画像信号の信号値は、青色信号値、赤色信号値、及び緑色信号値からなる。また、ホワイトバランス部５５は、第１ゲイン係数または第２ゲイン係数を、青色信号値、赤色信号値、及び緑色信号値のそれぞれについて定める。

本実施形態では、第１ゲイン係数を補正する場合において、ある取得期間Ｐ_Ｎ（Ｎは整数）の第１画像信号群に含まれる第１画像信号に対して用いる取得期間Ｐ_Ｎの第１ゲイン係数は、取得期間Ｐ_Ｎの直前の取得期間Ｐ_Ｎ−２の第１画像信号に対して用いた第１ゲイン係数を補正した補正第１ゲイン係数ＡＲ_ｎを用いる。取得期間Ｐ_Ｎは、特定の第１期間ＰＬ１または第２期間ＰＬ２を指す。本実施形態では、Ｎが奇数の場合は、第１画像信号群を取得する取得期間であり、Ｎが偶数の場合は、第２画像信号群を取得する取得期間である。

図１６を用いて補正第１ゲイン係数ＡＲ_ｎを説明する。図１６の矢印で示す任意の第１期間ＰＬ１である取得期間Ｐ_５に対し、取得期間Ｐ_５の直前の第２期間ＰＬ２を取得期間Ｐ_４、取得期間Ｐ_４の直前の第１期間ＰＬ１を取得期間Ｐ_３とする。取得期間Ｐ_３の前は、取得期間Ｐ_２、取得期間Ｐ_１、取得期間Ｐ_５の後は取得期間Ｐ_６、取得期間Ｐ_７と、順に続く。取得期間Ｐ_Ｎに含まれる第１画像信号ＳＰ１_Ｎの赤色信号値に対する第１ゲイン係数を第１ゲイン係数Ｒ_Ｎ、緑色信号値に対する第１ゲイン係数を第１ゲイン係数Ｇ_Ｎ、及び青色信号値に対する第１ゲイン係数を第１ゲイン係数Ｂ_Ｎとするので、取得期間Ｐ_５に含まれる第１画像信号ＳＰ１_５の赤色信号値に対する第１ゲイン係数は、第１ゲイン係数Ｒ_５、緑色信号値に対する第１ゲイン係数は、第１ゲイン係数Ｇ_５、及び青色信号値に対する第１ゲイン係数は、第１ゲイン係数Ｂ_５である。また、Ｎが奇数の場合の取得期間Ｐ_Ｎにおいて取得された画像信号が、第１画像信号ＳＰ１_Ｎである。同様に、Ｎが偶数の場合の取得期間Ｐ_Ｎにおいて取得された画像信号が、第２画像信号ＳＰ２_Ｎである。取得期間Ｐ_Ｎにおいて、Ｎが奇数の場合は第１画像信号群を取得する第１期間ＰＬ１であり、Ｎが偶数の場合は第２画像信号群を取得する第２期間ＰＬ２である。以下、主に赤色信号値に対する第１ゲイン係数Ｒ_Ｎを代表として説明を行うが、緑色信号値に対する第１ゲイン係数Ｇ_Ｎ、及び青色信号値に対する第１ゲイン係数Ｂ_Ｎについても同様である。

第１ゲイン係数を補正する場合について説明する。例えば、Ｎ＝５の場合、取得期間Ｐ_Ｎにおいて、赤色信号値については、図１６の矢印に示すように、取得期間Ｐ_５の第１画像信号群に含まれる第１画像信号ＳＰ１_５に対して用いる取得期間Ｐ_５の第１ゲイン係数Ｒ_５は、取得期間Ｐ_５の直前の第１画像信号を取得する取得期間Ｐ_３の第１画像信号に対して用いた第１ゲイン係数Ｒ_３を補正した補正第１ゲイン係数ＡＲ_５を用いる。補正ゲイン係数ＡＲ_Ｎは、ゲイン係数Ｒ_Ｎが補正されたものであることを示す。したがって、ゲイン係数Ｒ_Ｎとして補正されたゲイン係数Ｒ_Ｎを用いる場合は、ゲイン係数Ｒ_Ｎは補正ゲイン係数ＡＲ_Ｎと同じである。

上記したとおり、緑色信号値及び青色信号値についても、それぞれ同様である。したがって、緑色信号値については、取得期間Ｐ_５の第１画像信号群に含まれる第１画像信号ＳＰ１_５に対して用いる取得期間Ｐ_５の第１ゲイン係数Ｇ_５は、取得期間Ｐ_５の直前の第１画像信号を取得する取得期間Ｐ_３の第１画像信号に対して用いた第１ゲイン係数Ｇ_３を補正した補正第１ゲイン係数ＡＧ_５を用いる。また、青色信号値については、取得期間Ｐ_５の第１画像信号群に含まれる第１画像信号ＳＰ１_５に対して用いる取得期間Ｐ_５の第１ゲイン係数Ｂ_５は、取得期間Ｐ_５の直前の第１画像信号を取得する取得期間Ｐ_３の第１画像信号に対して用いた第１ゲイン係数Ｂ_３を補正した補正第１ゲイン係数ＡＢ_５を用いる。

以上のように、取得期間Ｐ_Ｎに取得された第１画像信号ＳＰ１_Ｎにおいては、複数の光を切り替えて照明し、各光の照明により得られる複数の画像を切り替えて表示する場合において、補正第１ゲイン係数ＡＲ_Ｎ、ＡＧ_Ｎ、及びＡＢ_Ｎを用いるため、安定した色調および明るさの画像を得ることができる。

本実施形態では、第１ゲイン係数Ｒ_Ｎの補正には、第１ゲイン係数Ｒ_Ｎを補正するための補正係数Ｗ_Ｎを用いる。補正係数Ｗ_Ｎは、第１画像信号群に基づく演算により得られる第１演算値と、第２画像信号群に基づく演算により得られる第２演算値とを用いて算出する。第１演算値は、第１画像信号群の信号値の代表値を表しており、第２演算値は、第２画像信号群の信号値の代表値を表す。補正係数Ｗ_Ｎは、第１演算値と第２演算値の比であることが好ましい。第１及び第２演算値と補正係数Ｗ_Ｎの詳細については後述する。なお、第２ゲイン係数の補正をする場合についても、同様の補正係数を用いて補正してもよい。

赤色信号に対する第１ゲイン係数Ｒ_Ｎを補正するための補正係数をＷｒ_Ｎ、緑色信号に対する第１ゲイン係数Ｇ_Ｎ、及び第１ゲイン係数Ｂ_Ｎの補正係数を、それぞれＷｇ_Ｎ及びＷｂ_Ｎとする。取得期間Ｐ_Ｎの直前の取得期間Ｐ_Ｎ−２の第１画像信号に対して用いた第１ゲイン係数Ｒ_Ｎ−２、Ｇ_Ｎ−２、Ｂ_Ｎ−２に、補正係数Ｗｒ_Ｎ、Ｗｇ_Ｎ及びＷｂ_Ｎをかけ合わせることにより補正する場合の補正第１ゲイン係数ＡＲ_Ｎ、ＡＧ_Ｎ、ＡＢ_Ｎは、以下の式（１）〜（３）となる。

ＡＲ_Ｎ＝Ｗｒ_Ｎ＊Ｒ_Ｎ−２ （１）
ＡＧ_Ｎ＝Ｗｇ_Ｎ＊Ｇ_Ｎ−２ （２）
ＡＢ_Ｎ＝Ｗｂ_Ｎ＊Ｂ_Ｎ−２ （３）

第１ゲイン係数Ｒ_Ｎの補正は上記のように行われるため、第１ゲイン係数Ｒ_Ｎが、第１画像信号群に基づく演算により得られる第１演算値、および第２画像信号群に基づく演算により得られる第２演算値を用いて算出した補正係数Ｗｒ_Ｎで補正したものとなる。したがって、第２照明光Ｌ２による第２期間ＰＬ２と第１照明光Ｌ１による第１期間ＰＬ１とを、あわせて調整することとなるため、複数の光を切り替えて照明し、各光の照明により得られる複数の画像を切り替えて表示する場合に、被写体の変化に合わせて、各画像の色味を揃えつつ、各画像の違いを可視化することができる。

また、本実施形態では、第１ゲイン係数Ｒ_Ｎを補正する場合において、すなわち、第１ゲイン係数として、補正の処理がされた補正第１ゲイン係数ＡＲ_Ｎを用いる場合において、取得期間Ｐ_Ｎの直前の取得期間Ｐ_Ｎ−２の第１画像信号に対して用いた第１ゲイン係数Ｒ_Ｎ−２に加え、それより前の取得期間の第１ゲイン係数Ｒ_Ｎを用いて補正してもよい。

より具体的には、取得期間Ｐ_Ｎの第１ゲイン係数Ｒ_Ｎは、複数の取得期間Ｐ_Ｎ−Ｋの第１ゲイン係数Ｒ_Ｎ−Ｋに対して、それぞれ重み付け係数をかけて加算した値としてもよい。Ｋは、２以上の偶数である。重み付け係数は、取得期間Ｐ_Ｎに近いほど大きくすることが好ましい。

また、取得期間Ｐ_Ｎよりも前の複数の取得期間Ｐ_Ｎ−Ｋの第１ゲイン係数Ｒ_Ｎ−Ｋは、少なくとも一部はそれぞれ補正された補正第１ゲイン係数ＡＲ_Ｎ−Ｋである。複数の取得期間Ｐ_Ｎ−Ｋの第１ゲイン係数は、各取得期間Ｐ_Ｎ−Ｋにおいてホワイトバランス処理で用いられている第１ゲイン係数であることが好ましい。したがって、この場合は、第１ゲイン係数Ｒ_Ｎ−Ｋとして補正第１ゲイン係数ＡＲ_Ｎ−Ｋを用いるため、第１ゲイン係数Ｒ_Ｎ−Ｋと補正第１ゲイン係数ＡＲ_Ｎ−Ｋとは等しい。なお、本実施形態では、取得期間Ｐ_Ｎよりも前の複数の取得期間Ｐ_Ｎ−Ｋの第１ゲイン係数Ｒ_Ｎ−Ｋは、それぞれすべて補正の処理がされた補正第１ゲイン係数ＡＲ_Ｎ−Ｋであり、複数の取得期間Ｐ_Ｎ−Ｋでは、ホワイトバランス処理で用いられている第１ゲイン係数Ｒ_Ｎ−Ｋは、補正の処理がされた補正第１ゲイン係数ＡＲ_Ｎ−Ｋである。

このように第１ゲイン係数を補正する場合、例えば、取得期間Ｐ_Ｎにおいて、Ｎ＝５の場合、赤色信号値については、図１７の矢印に示すように、取得期間Ｐ_５の第１画像信号群に含まれる第１画像信号ＳＰ１_５に対して用いる取得期間Ｐ_５の第１ゲイン係数Ｒ_５は、取得期間Ｐ_５の直前の取得期間Ｐ_３の第１画像信号ＳＰ１_３に対して用いた第１ゲイン係数である補正第１ゲイン係数ＡＲ_３と、取得期間Ｐ_５の２回前の第１画像信号ＳＰ１_１に対して用いた第１ゲイン係数である補正第１ゲイン係数ＡＲ_１と、それ以前の第１画像信号ＳＰ１を取得する取得期間Ｐ_Ｎがあれば、それぞれの補正第１ゲイン係数ＡＲ_Ｎと、複数の取得期間Ｐ_Ｎの補正第１ゲイン係数ＡＲ_Ｎを用いる。用いる補正第１ゲイン係数ＡＲ_Ｎの個数は特に制限されない。したがって、取得期間Ｐ_１以前については図示をしないが、例えば、取得期間Ｐ_１の前に、取得期間Ｐ_−１、Ｐ_−３、…があれば、取得期間Ｐ_−１、Ｐ_−３、…の第１画像信号ＳＰ１に対して用いた補正第１ゲイン係数ＡＲ_Ｎである第１ゲイン係数ＡＲ_−１、ＡＲ_−３…を用いる。

重み付け係数については、取得期間Ｐ_Ｎに近いほど大きくすることが好ましい。ここで、重み付け係数をα_ｎとし、取得期間Ｐ_Ｎ−Ｋの第１ゲイン係数Ｒ_Ｎ−Ｋ（Ｋは２以上の偶数）について、取得期間Ｐ_Ｎ−２の補正第１ゲイン係数ＡＲ_Ｎ−２に対する重み付け係数をα_１、取得期間Ｐ_Ｎ−４の補正第１ゲイン係数ＡＲ_Ｎ−４に対する重み付け係数をα_２と、番号を順次付す。取得期間Ｐ_Ｎにおける第１ゲイン係数Ｒ_Ｎは、数式にすると、以下の式（４）及び（５）とすることができる。ここで、Ｎは整数、ｎは自然数である。

なお、重み付け係数は、以上のように付す場合、重み付け係数α_ｎを全て足すと１となるようにする。式（４）において、重み付け係数α_ｎは、取得時期Ｐ_Ｎに近い補正第１ゲイン係数ＡＲ_Ｎ−Ｋほど重い係数をかけることができる。したがって、例えば、α_１を０．５とし、α_２を０．２５、α_３を０．１２５、と０．５のｎ乗とする。したがって、α_ｎについては数式（５）とすることができる。

本実施形態においては、例えば、取得期間Ｐ_３の補正第１ゲイン係数ＡＲ_３を重み付け係数α_１の重みで、取得期間Ｐ_１の補正第１ゲイン係数ＡＲ_１を重み付け係数α_２の重みで、取得期間Ｐ_−１の補正第１ゲイン係数を重み付け係数α_３の重みでそれぞれ重み付けを行うとすると、α_１を０．５，α_２を０．２５、α_３を０．１２５、α_４以下の重み付け係数を全て合わせると０．１２５、とするというように、取得期間Ｐ_Ｎに近いほど重み付け係数を大きくする。

また、図１７において、例えば、取得期間Ｐ_１が最初の取得期間Ｐ_Ｎであるとすると、取得期間Ｐ_５において取得される第１画像信号ＳＰ１_５に対して用いられる第１ゲイン係数Ｒ_５は、以下の式（６）となる。なお、α_１は０．５、α_２は０．５である。

以上のように、取得期間Ｒ_Ｎの第１画像信号ＳＰ１_Ｎに用いる第１ゲイン係数Ｒ_Ｎを算出するために、１回前の取得期間Ｐ_Ｎ−２の第１画像信号ＳＰ１に対するゲイン係数Ｒ_Ｎ−２のみならず、それ以前の取得期間の複数の第１画像信号ＳＰ１に対するゲイン係数をも用いるため、急に色味または明るさが変化した被写体であってもゲイン係数が大きくかわることがなく、引き続いて同様の色味または明るさで観察することができる。したがって、複数の光を切り替えて照明し、各光の照明により得られる複数の画像を切り替えて表示する場合において、安定した色調および明るさの画像を得ることができる。なお、以上の実施形態では、主に、第１ゲイン係数について説明したが、第２ゲイン係数を補正する場合は、第１ゲイン係数と同様に行うことができる。

本実施形態では、補正係数の算出に第１演算値と第２演算値を用いても良い。補正係数の算出に用いられる第１演算値と第２演算値は、次のようにすることが好ましい。すなわち、第１演算値は、第１画像信号群に含まれる第１画像信号ＳＰ１において、第１画像信号ＳＰ１の信号値を平均して得られる第１画像信号値平均のそれぞれを加算平均して得られ、第２演算値は、第２画像信号群に含まれる第２画像信号ＳＰ２において、第２画像信号ＳＰ２の信号値を平均して得られる第２画像信号値平均のそれぞれを加算平均して得られる。なお、第１演算値及び第２演算値は、上記のように各画像信号値平均の加算平均の他に、第１画像信号群および第２画像信号群により得られる値を用いることができ、例えば、過去の特定期間分の第１画像信号群が含む第１画像信号ＳＰ１の信号値と、過去の特定期間分の第２画像信号群が含む第２画像信号ＳＰ２の信号値とを、加算、平均等の演算の処理をしたもの等を用いてもよい。

より具体的には、例えば、補正係数算出部５６が、まず、第１画像信号群に含まれる第１画像信号ＳＰ１のそれぞれについて、第１画像信号ＳＰ１の信号値を平均した第１画像信号値平均を、第１画像信号ＳＰ１の個数分、算出する。次に、これらの複数の第１画像信号値平均のそれぞれを、加算平均して得られる値を第１演算値とする。さらに、第２画像信号群に含まれる第２画像信号ＳＰ２においても同様に、第２画像信号ＳＰ２のそれぞれについて、第２画像信号ＳＰ２の信号値を平均した第２画像信号値平均を、第２画像信号ＳＰ２の個数分、算出する。次に、これらの複数の第２画像信号値平均のそれぞれを、加算平均して得られる値を第２演算値とする。

第１演算値及び第２演算値について、図１８を用いて説明する。例えば、取得期間Ｐ_３に含まれる第１画像信号ＳＰ１_３に対して用いる補正ゲイン係数ＡＲ_Ｎの補正係数を算出するために、取得期間Ｐ１と取得期間Ｐ２の画像信号に基づく演算により、第１演算値及び第２演算値を算出する。まず、取得期間Ｐ_１に含まれる複数の第１画像信号ＳＰ１_１のうちの任意の１つの第１画像信号のＲＧＢ信号値を、ｒ_１−１、ｇ_１−１、ｂ_１−１とし、別の１つの第１画像信号のＲＧＢ信号値を、ｒ_１−２、ｇ_１−２、ｂ_１−２とし、順次番号を付与する。取得期間Ｐ_１は、フレーム数がＬであるので、取得期間Ｐ_１に含まれる第１画像信号はＬ個であり、第１画像信号のＲＧＢ信号値は、ｒ_１−１、ｇ_１−１、ｂ_１−１からｒ_１−Ｌ、ｇ_１−Ｌ、ｂ_１−Ｌまでとなる。

また、同様に、取得期間Ｐ_２に含まれる複数の第２画像信号ＳＰ２_２についても同様に、取得期間に含まれる複数の第２画像信号ＳＰ２_２のうちの任意の１つの第２画像信号のＲＧＢ信号値を、ｒ_２−１、ｇ_２−２、ｂ_２−３とする。取得期間Ｐ_２は、フレーム数がＭであるので、取得期間Ｐ_２に含まれる第２画像信号は、Ｍ個であり、第２画像信号のＲＧＢ信号値は、ｒ_２−１、ｇ_２−１、ｂ_２−１からｒ_２−Ｍ、ｇ_２−Ｍ、ｂ_２−Ｍまでとなる。

また、各画像信号の水平画素数をｉ、垂直画素数をｊとする。第１画像信号値平均は、複数の第１画像信号の各色信号値の画像面内の平均であり、Ｓｒ_１−１、Ｓｇ_１−１、Ｓｂ_１−１とする。同様に、第２画像信号値平均は、複数の第２画像信号の各色信号値の画像面内の平均であり、Ｓｒ_２−１、Ｓｇ_２−１、Ｓｂ_２−１とする。したがって、Ｓｒ_１−１、Ｓｇ_１−１、Ｓｂ_１−１、Ｓｒ_２−１、Ｓｇ_２−１、Ｓｂ_２−１は、以下の式（７）〜（１２）により得られる。一般式は、以下の式（１３）〜（１８）となる。

次に、第１演算値は、第１画像信号値平均のそれぞれを加算平均して得られる値であるので、取得期間Ｐ１の第１画像信号値平均Ｓｒ_１−Ｌを、取得期間Ｐ_１に含まれるフレーム数の個数の複数の第１画像信号について、すべてを加算して平均した値を、それぞれ、ＡｖｅＳｒ_１、ＡｖｅＳｇ_１、ＡｖｅＳｂ_１とする。したがって、取得期間Ｐ_１の第１画像信号値平均は、Ｓｒ_１−１からＳｒ_１−ＬまでのＬ個があるため、これらを足し合わせてＬで割った値である。これらは以下の式（１９）〜（２１）により得られる。同様に、第２演算値は、第２画像信号値平均のそれぞれを加算平均して得られる値であるので、取得期間Ｐ_２の第２画像信号値平均を、取得期間Ｐ_２に含まれるフレーム数の個数の複数の第２画像信号について、すべてを加算して平均した値を、それぞれ、ＡｖｅＳｒ_２、ＡｖｅＳｇ_２、ＡｖｅＳｂ_２とすると、これらは以下の式（２２）〜（２４）により得られる。

ここで、例えば、取得期間Ｐ_３の補正係数Ｗ_３について、赤色信号のゲイン係数の補正係数をＷｒ_３、緑色信号のゲイン係数の補正係数をＷｇ_３、青色信号のゲイン係数の補正係数をＷｇ_３とすると、これらの補正係数Ｗｒ_３、Ｗｇ_３、Ｗｂ_３は、取得期間Ｐ_１の第１演算値であるＡｖｅＳｒ_１、ＡｖｅＳｇ_１、ＡｖｅＳｂ_１と、取得期間Ｐ_２の第２演算値であるＡｖｅＳｒ_２、ＡｖｅＳｇ_２、ＡｖｅＳｂ_２とを用いて算出する。なお、本実施形態では、赤色信号の補正係数Ｗｒ_３を、赤色信号の第１演算値ＡｖｅＳｒ_１と赤色信号の第２演算値ＡｖｅＳｒ_２とを用いて算出するというように、演算値と補正係数とを同色にする。場合によっては、同色以外の組み合わせにより補正係数を算出してもよい。

なお、第１画像信号値平均または第２画像信号値平均を算出する場合には、検出部６９が、第１画像信号または第２画像信号において、血管または病変であると検出した部分の画像信号を異常画像信号であるとして除いた上で、第１画像信号値平均または第２画像信号値平均を算出することが好ましい。同様に、検出部６９が、第１画像信号または第２画像信号において、異常画素であると検出した部分の画像信号を異常画像信号であるとして除いた上で、第１画像信号値平均または第２画像信号値平均を算出することが好ましい。ここで、異常画素とは、暗部、ハレーション等の明部、または、異常フレーム等を含む。

第１演算値または第２演算値を上記のように算出することにより、第１画像信号及び第２画像信号において、それぞれ画像全体の信号値を用いて補正係数を算出する。したがって、各光の照明により得られる複数の画像を切り替えて表示する場合において、被写体の変化に合わせて、画像全体として、色味、明るさ等が急激に変化することを防止して複数の画像を表示することができるため、複数の画像の違いの認識が容易となる。なお、第１画像信号及び第２画像信号において、それぞれ異常画像信号を除いた画像の信号値を用いて補正係数を算出する場合は、さらに、安定した色調、明るさで複数の画像を表示することができる。

本実施形態では、第１演算値と第２演算値の比を補正係数とする場合には、以下のようにして、補正係数が得られる。すなわち、取得期間Ｐ_Ｎの第１ゲイン係数は、取得期間Ｐ_Ｎ−２の第１画像信号群に含まれる第１画像信号に対して用いた第１ゲイン係数に、取得期間Ｐ_Ｎ−２における第１演算値と取得期間Ｐ_Ｎ−１における第２演算値との比の値をかけ合わせた値とすることができる。

例えば、図１９に示すように、取得期間Ｐ_３の補正係数Ｗｒ_３、Ｗｇ_３、Ｗｂ_３は、第１演算値、第２演算値として、ＡｖｅＳｒ_１、ＡｖｅＳｇ_１、ＡｖｅＳｂ_１、ＡｖｅＳｒ_２、ＡｖｅＳｇ_２、ＡｖｅＳｂ_２とを用いることにより、以下の式（２５）〜（２７）とする。

したがって、取得期間Ｐ_３の各色のゲイン係数をＲ_３、Ｇ_３、Ｂ_３として補正ゲイン係数である補正第１ゲイン係数ＡＲ_３、ＡＧ_３、及びＡＢ_３を用いる場合、上記式（１）〜（３）と式（２５）〜（２７）とにより、以下の式（２８）〜（３０）とすることができる。

式（２８）〜（３０）は、取得期間Ｐ_３のゲイン係数に関する式であるが、これを一般化すると、以下の式（３１）〜（３３）とすることができる。以下の式（３１）〜（３３）において、ｈは奇数である。したがって、以下の式（３１）〜（３３）により、第１照明光により得られる取得期間(ｈ＋２)における第１画像に対する補正第１ゲイン係数ＡＲ_ｈ＋２、ＡＧ_ｈ＋２、及びＡＢ_ｈ＋２が得られる。

また、図２０に示すように、取得期間Ｐ_Ｎの第１ゲイン係数Ｒ_Ｎを、複数の取得期間Ｐ_Ｎ−Ｋの第１ゲイン係数Ｒ_Ｎ−Ｋに対して、それぞれ重み付け係数をかけて加算した値とする場合は、式（４）と式（３１）〜（３３）とにより、補正第１ゲイン係数は、以下の式（３４）とすることができる。ここで、第１ゲイン係数は、取得期間ｈにおける第１ゲイン係数とする。ここで、Ｋは２以上の偶数である。

なお、式（３４）において、係数αは、上記したとおり、全てを足すと１となるようにし、取得期間ｈに近い補正第１ゲイン係数ほど大きい係数とする。したがって、例えば、α_１を０．５とし、α_２を０．２５、α_３を０．１２５、と０．５のｎ乗とする。したがって、α_ｎは、数式（５）とすることができる。

以上のように、例えば、第１ゲイン係数を算出するために、前回の第１画像に対するゲイン係数のみならず、前々回の第１画像に対するゲイン係数をも用いるため、急に色味または明るさが変化した被写体であってもゲイン係数が大きくかわることがなく、引き続いて同様の色味または明るさで観察することができる。なお、以上の実施形態では、主に、第１ゲイン係数について説明したが、第２ゲイン係数の算出も同様に行うことができる。

以上のとおり、補正係数を上記のように、直前の第１演算値と第２演算値とにより算出することにより、ゲイン係数を被写体の変化に合わせて補正できるため、より良く被写体の変化に合わせながら、各画像の色味を揃えつつ、各画像の違いを可視化することができる。

なお、取得期間Ｐ_Ｎの第１ゲイン係数Ｒ_Ｎ、Ｇ_Ｎ、及びＢ_Ｎと、取得期間Ｐ_Ｎ−２の第１画像信号群に含まれる第１画像信号に対して用いた第１ゲイン係数Ｒ_Ｎ−２、Ｇ_Ｎ−２、及びＢ_Ｎ−２との差が、予め設定した閾値以下の場合は、取得期間Ｐ_Ｎの第１ゲイン係数Ｒ_Ｎ、Ｇ_Ｎ、及びＢ_Ｎの補正を行わないことが好ましい。また、取得期間Ｐ_Ｎの第１ゲイン係数Ｒ_Ｎ、Ｇ_Ｎ、及びＢ_Ｎと、取得期間Ｐ_Ｎ−２の第１画像信号群に含まれる第１画像信号に対して用いた第１ゲイン係数Ｒ_Ｎ−２、Ｇ_Ｎ−２、及びＢ_Ｎ−２との差が、予め設定した閾値以上の場合は、取得期間Ｐ_Ｎの第１ゲイン係数Ｒ_Ｎ、Ｇ_Ｎ、及びＢ_Ｎの補正を行わないことが好ましい。ここで、予め設定した閾値以下の場合とは、例えば、画像信号に不感帯等の異常画素部分を有している場合等である。ここで、不感帯とは、取得した画像において照明光が届かない部分、レンズ外の部分等である。また、予め設定した閾値以上の場合とは、例えば、画像信号にハレーション等の異常画素部分が含まれる場合である。これらの画像信号の異常画素部分は、検出部６９により検出される。

なお、上記実施形態では、光源制御部２１は、予め設定された光量比により、各照明光を発光していたが、第１ゲイン係数または第２ゲイン係数に基づいて、光量比を制御して各照明光を発光してもよい。すなわち、第１照明光は、紫色光、青色光、緑色光、及び赤色光を含み、第２照明光は、紫色光、青色光、緑色光及び赤色光を含み、光源制御部２１は、第１照明光と第２照明光とが含む各色のそれぞれの発光量を、第１ゲイン係数または第２ゲイン係数に基づいて制御してもよい。

光源制御部２１は、第１照明光について、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１となる第１照明光を発光するように、各ＬＥＤ２０ａ〜２０ｄを制御する。その結果、第１画像のＲ信号値、第１画像のＧ信号値、第１画像のＢ信号値が得られるが、例えば、補正第１ゲイン係数が、それぞれＡＲ_１、ＡＧ_１、ＡＢ_１と算出された場合、ゲイン処理を行わない場合に第１画像信号値にそれぞれ補正第１ゲイン係数ＡＲ_Ｎ、ＡＧ_Ｎ、ＡＢ_Ｎをかけ合わせた値のＲ信号値となるように、第１照明光の光強度比を制御してもよい。第１画像のＧ信号値、第１画像のＢ信号値についても、同様にして、第１照明光の光強度比を制御することができる。

なお、光源制御部２１は、上記のように補正第１ゲイン係数または補正第２ゲイン係数に基づいて制御された発光量が、特定の閾値以下である場合、予め設定された最低発光量まで発光量を増加させることが好ましい。例えば、光源制御部２１は、第１ゲイン係数によりホワイトバランス処理を行った画像信号値が、ホワイトバランス処理を行わなかった場合に同様の画像信号値となる発光量に、発光量を制御するが、この際の発光量を特定の閾値と比較する。

このように光源制御部２１が光量比を調整することにより、ゲイン処理を行うことにより、処理を行った画像にノイズが発生する場合があるが、これにより、ゲイン処理によるノイズの発生を抑えながら、色味、または明るさを整えた画像を得ることができる。

なお、上記実施形態のように、第１照明光は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒを含めることに代えて、図２１に示すように、中心波長又はピーク波長が５６０〜５８０ｎｍの第１赤色狭帯域光ＮＲ１を第１照明光に含めるようにしてもよい。また、第２照明光には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒを含めることに代えて、図２２に示すように、中心波長又はピーク波長が６３０〜６７０ｎｍの第２赤色狭帯域光ＮＲ２を含めるようにしてもよい。この場合には、第１赤色狭帯域光ＮＲ１を観察対象に撮像して得られる第１画像信号のうち特定生体組織に少なくとも対応する特定生体組織の第１赤色信号（第１特定色信号）の信号値と、第２赤色狭帯域光ＮＲ２を観察対象に撮像して得られる第２画像信号のうち特定生体組織に少なくとも対応する特定生体組織の第２赤色信号（第２特定色信号）の信号値とが一致するように、特定光量条件（第１赤色狭帯域光ＮＲ１の光量条件、第２赤色狭帯域光ＮＲ２の光量条件）を定めることが好ましい。なお、第１赤色狭帯域光ＮＲ１と第２赤色狭帯域光ＮＲ２は、それぞれ撮像センサ４８のＲ画素に感度を有している。

上記実施形態において、画像取得部５２、ＤＳＰ５４、ノイズ除去部５８、通常観察画像処理部６２、特殊観察画像処理部６３、表示制御部６４、静止画保存部６５、静止画保存制御部６６など、プロセッサ装置１６に含まれる処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、ＧＰＵとＣＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

なお、本発明は、上記実施形態のような内視鏡システムに組み込まれるプロセッサ装置の他、カプセル型の内視鏡システムに組み込まれるプロセッサ装置、または各種の医用画像処理装置に対して適用することが可能である。

本発明は、下記の別形態によっても実施可能である。
第１照明光と、前記第１照明光とは異なる発光スペクトルを有する第２照明光とを発光する光源部を備える内視鏡システムのプロセッサ装置において、
第１照明光と前記第２照明光とを自動的に切り替えて発光する制御を行い、第１照明光を発光する発光期間と前記第２照明光を発光する発光期間は、それぞれ少なくとも１フレーム以上の発光期間であり、、
第１照明光の発光期間において第１照明光により照明された被写体を撮像して得られる第１画像信号を含む第１画像信号群と、第２照明光の発光期間において第２照明光により照明された被写体を撮像して得られる第２画像信号を含む第２画像信号群とを取得し、
第１画像信号に第１ゲイン係数をかけ合わせ、第２画像信号に第２ゲイン係数をかけ合わせてホワイトバランス処理を行い、
ホワイトバランス部は、第１ゲイン係数と第２ゲイン係数の少なくともいずれかを補正した補正ゲイン係数を用いて、ホワイトバランス処理を行うプロセッサ装置。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ モード切替ＳＷ
１３ｂ 静止画取得指示部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ ユーザーインターフェース
２０ 光源部
２０ａ Ｖ−ＬＥＤ（Violet Light Emitting Diode）
２０ｂ Ｂ−ＬＥＤ（Blue Light Emitting Diode）
２０ｃ Ｇ−ＬＥＤ（Green Light Emitting Diode）
２０ｄ Ｒ−ＬＥＤ（Red Light Emitting Diode）
２１ 光源制御部
２３ 光路結合部
２４ 発光期間設定部
２６ａ スライドバー
２６ｂ スライドバー
２７ａ スライダ
２７ｂ スライダ
３０ａ 照明光学系
３０ｂ 撮像光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４８ 撮像センサ
４８ｂ Ｂフィルタ
４８ｇ Ｇフィルタ
４８ｒ Ｒフィルタ
５０ ＣＤＳ／ＡＧＣ回路
５２ 画像取得部
５４ ＤＳＰ（Digital Signal Processor）
５５ ホワイトバランス部
５６ 補正係数算定部
５８ ノイズ除去部
６０ 信号切替部
６２ 通常観察画像処理部
６３ 特殊観察画像処理部
６４ 表示制御部
６５ 静止画保存部
６６ 静止画保存制御部
６７ 第１特殊観察画像処理部
６８ 第２特殊観察画像処理部
６９ 検出部
Ｌ１ 第１照明光
Ｌ２ 第２照明光
ＰＬ１ 第１期間
ＰＬ２ 第２期間
ＳＰ１ 第１特殊観察画像（第１画像）
ＳＰ２ 第２特殊観察画像（第２画像）
ＶＰ 紫色光画像
ＲＰ 赤色光画像
ＶＳ１ 表層血管
ＶＳ２ 中層血管
ＢＭ 背景粘膜
Ｖ／Ｂ 紫色光及び青色光
Ｇ 緑色光
Ｒ 赤色光
Ｄ 深さ方向

しかしながら、短波光と中波長光を切り替えて照明した場合には、表層画像の信号値と深層画像の信号値とが大きく異なると、表層画像と深層画像とで画像全体の色味が大きく異なる。したがって、例えば、短波光と中波長光とを自動で切替えて照明した場合には、色味が違う画像が自動で切り替えられて表示されるため、見づらい画面となるおそれがある。また、診断時に注目する表層情報及び深層情報の視認性が低下するおそれがある。

第１画像信号または第２画像信号は、青色信号、赤色信号、及び緑色信号を含み、第１画像信号の信号値または第２画像信号の信号値は、青色信号値、赤色信号値、及び緑色信号値からなることが好ましい。

また、光源制御部２１は、第２特殊観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２となる第２照明光を発光するように、各ＬＥＤ２０ａ〜２０ｄを制御する。光強度比Ｖｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２は、第２照明光の光量条件に対応する。第２照明光は、深層血管を強調することが好ましい。そのため、第２照明光は、青色光Ｂの光強度を紫色光Ｖの光強度よりも大きくすることが好ましい。例えば、図５に示すように、紫色光Ｖの光強度Ｖｓ２と青色光Ｂの光強度Ｂｓ２との比率を「１：３」とする。

図８に示すように、Ｂフィルタ４８ｂは、紫色帯域の光、青色帯域の光、及び緑色帯域の光のうち短波側の光を透過させる。Ｇフィルタ４８ｇは、緑色帯域の光、青色帯域の光の長波側の光、及び赤色帯域の光の短波側の光を透過させる。Ｒフィルタ４８ｒは、赤色帯域の光、緑色帯域の光の長波側の光を透過させる。したがって、撮像センサ４８のうち、Ｂ画素は紫色光Ｖ及び青色光Ｂに感度を有し、Ｇ画素は青色光Ｂ、緑色光Ｇ、及び赤色光Ｒに感度を有し、Ｒ画素は緑色光Ｇ及び赤色光Ｒに感度を有している。

図２に示すように、撮像センサ４８から出力される画像信号は、ＣＤＳ／ＡＧＣ回路（ＣＤＳ／ＡＧＣ）５０に送信される。ＣＤＳ／ＡＧＣ５０は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ／ＡＧＣ５０を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）（Ａ／Ｄ）５１により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力される。

ＤＳＰ５４は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ホワイトバランス処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。また、図１０に示すように、ＤＳＰ５４は、ホワイトバランス部５５を備える。また、ホワイトバランス部５５は、補正係数算出部５６を備える。

ノイズ除去部５８は、ＤＳＰ５４でガンマ補正等が施された画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等）を施すことによって、画像信号からノイズを除去する。ノイズが除去された画像信号は、信号切替部６０に送信される。

第２特殊観察画像処理部６８は、第２画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理が行われた第２画像を生成する。第２画像では、深層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。第２特殊観察画像処理部６８では、第２画像の画像処理を行うために、第２画像信号に対して掛け合わされる第２画像用のパラメータが設けられている。なお、第２特殊観察画像処理部６８では、表層血管を強調する表層血管強調処理は行わないが、処理負荷の状況によっては、表層血管強調処理を行うようにしてもよい。

第２画像により、図１４に示すように、観察対象のうち背景粘膜ＢＭ、及び、深層血管ＶＳ２が表された画像が表示される。第２画像は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む第２照明光に基づいて得られる。図１５に示すように、第２照明光Ｌ２のうち緑色光Ｇは、深層血管ＶＳ２が分布する深層にまで深達する。なお、図１５において、紙面上方から第２照明光Ｌ２が観察対象に照明され、紙面下方が観察対象の深さ方向Ｄである。第２照明光Ｌ２では緑色光Ｇの光強度が青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度より強いので、緑色光Ｇの反射光に基づいて得られる緑色光画像ＧＰに含まれる深層血管ＶＳ２の像が強調される。なお、ここでは、緑色光Ｇの光強度が強いことから、緑色光画像ＧＰとする。また、第２照明光Ｌ２のうち赤色光Ｒは、表層血管ＶＳ１及び深層血管ＶＳ２（表層血管ＶＳ１よりも深い位置にある血管）よりもさらに深い位置に分布する背景粘膜ＢＭにまで深達する。したがって、赤色光Ｒの反射光に基づいて得られる赤色光画像ＲＰには、背景粘膜ＢＭの像が含まれる。以上から、第２画像は赤色光画像ＲＰを組み合わせた画像であるため、背景粘膜ＢＭ及び深層血管ＶＳ２の像が表示される。

また、マルチ観察モードの場合には、第１照明光の発光期間と第２照明光の発光期間に合わせて、カラーの第１画像と第２画像が切り替えてモニタ１８に表示される。即ち、第１期間が４フレームで、第２期間が４フレームである場合には、第１画像が４フレーム続けて表示され、かつ、第２画像が４フレーム続けて表示される。

本実施形態では、第１画像信号または第２画像信号は、青色信号、赤色信号、及び緑色信号を含み、第１画像信号の信号値または第２画像信号の信号値は、青色信号値、赤色信号値、及び緑色信号値からなる。また、ホワイトバランス部５５は、第１ゲイン係数または第２ゲイン係数を、青色信号値、赤色信号値、及び緑色信号値のそれぞれについて定める。

なお、重み付け係数は、以上のように付す場合、重み付け係数α_ｎを全て足すと１となるようにする。式（４）において、重み付け係数α_ｎは、取得期間Ｐ_Ｎに近い補正第１ゲイン係数ＡＲ_Ｎ−Ｋほど重い係数をかけることができる。したがって、例えば、α_１を０．５とし、α_２を０．２５、α_３を０．１２５、と０．５のｎ乗とする。したがって、α_ｎについては数式（５）とすることができる。

第１演算値及び第２演算値について、図１８を用いて説明する。例えば、取得期間Ｐ_３に含まれる第１画像信号ＳＰ１_３に対して用いる補正ゲイン係数ＡＲ_Ｎの補正係数を算出するために、取得期間Ｐ _１ と取得期間Ｐ _２ の画像信号に基づく演算により、第１演算値及び第２演算値を算出する。まず、取得期間Ｐ_１に含まれる複数の第１画像信号ＳＰ１_１のうちの任意の１つの第１画像信号のＲＧＢ信号値を、ｒ_１−１、ｇ_１−１、ｂ_１−１とし、別の１つの第１画像信号のＲＧＢ信号値を、ｒ_１−２、ｇ_１−２、ｂ_１−２とし、順次番号を付与する。取得期間Ｐ_１は、フレーム数がＬであるので、取得期間Ｐ_１に含まれる第１画像信号はＬ個であり、第１画像信号のＲＧＢ信号値は、ｒ_１−１、ｇ_１−１、ｂ_１−１からｒ_１−Ｌ、ｇ_１−Ｌ、ｂ_１−Ｌまでとなる。

また、同様に、取得期間Ｐ_２に含まれる複数の第２画像信号ＳＰ２_２についても同様に、取得期間に含まれる複数の第２画像信号ＳＰ２_２のうちの任意の１つの第２画像信号のＲＧＢ信号値を、ｒ_２−１、ｇ_２−1 、ｂ_２−1 とする。取得期間Ｐ_２は、フレーム数がＭであるので、取得期間Ｐ_２に含まれる第２画像信号は、Ｍ個であり、第２画像信号のＲＧＢ信号値は、ｒ_２−１、ｇ_２−１、ｂ_２−１からｒ_２−Ｍ、ｇ_２−Ｍ、ｂ_２−Ｍまでとなる。

次に、第１演算値は、第１画像信号値平均のそれぞれを加算平均して得られる値であるので、取得期間Ｐ _１ の第１画像信号値平均Ｓｒ_１−Ｌを、取得期間Ｐ_１に含まれるフレーム数の個数の複数の第１画像信号について、すべてを加算して平均した値を、それぞれ、ＡｖｅＳｒ_１、ＡｖｅＳｇ_１、ＡｖｅＳｂ_１とする。したがって、取得期間Ｐ_１の第１画像信号値平均は、Ｓｒ_１−１からＳｒ_１−ＬまでのＬ個があるため、これらを足し合わせてＬで割った値である。これらは以下の式（１９）〜（２１）により得られる。同様に、第２演算値は、第２画像信号値平均のそれぞれを加算平均して得られる値であるので、取得期間Ｐ_２の第２画像信号値平均を、取得期間Ｐ_２に含まれるフレーム数の個数の複数の第２画像信号について、すべてを加算して平均した値を、それぞれ、ＡｖｅＳｒ_２、ＡｖｅＳｇ_２、ＡｖｅＳｂ_２とすると、これらは以下の式（２２）〜（２４）により得られる。

ここで、例えば、取得期間Ｐ_３の補正係数Ｗ_３について、赤色信号のゲイン係数の補正係数をＷｒ_３、緑色信号のゲイン係数の補正係数をＷｇ_３、青色信号のゲイン係数の補正係数をＷｂ _３とすると、これらの補正係数Ｗｒ_３、Ｗｇ_３、Ｗｂ_３は、取得期間Ｐ_１の第１演算値であるＡｖｅＳｒ_１、ＡｖｅＳｇ_１、ＡｖｅＳｂ_１と、取得期間Ｐ_２の第２演算値であるＡｖｅＳｒ_２、ＡｖｅＳｇ_２、ＡｖｅＳｂ_２とを用いて算出する。なお、本実施形態では、赤色信号の補正係数Ｗｒ_３を、赤色信号の第１演算値ＡｖｅＳｒ_１と赤色信号の第２演算値ＡｖｅＳｒ_２とを用いて算出するというように、演算値と補正係数とを同色にする。場合によっては、同色以外の組み合わせにより補正係数を算出してもよい。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ モード切替ＳＷ
１３ｂ 静止画取得指示部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ ユーザーインターフェース
２０ 光源部
２０ａ Ｖ−ＬＥＤ（Violet Light Emitting Diode）
２０ｂ Ｂ−ＬＥＤ（Blue Light Emitting Diode）
２０ｃ Ｇ−ＬＥＤ（Green Light Emitting Diode）
２０ｄ Ｒ−ＬＥＤ（Red Light Emitting Diode）
２１ 光源制御部
２３ 光路結合部
２４ 発光期間設定部
２６ａ スライドバー
２６ｂ スライドバー
２７ａ スライダ
２７ｂ スライダ
３０ａ 照明光学系
３０ｂ 撮像光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４８ 撮像センサ
４８ｂ Ｂフィルタ
４８ｇ Ｇフィルタ
４８ｒ Ｒフィルタ
５０ ＣＤＳ／ＡＧＣ回路（ＣＤＳ／ＡＧＣ）
５１ Ａ／Ｄ変換器（Ａ／Ｄ）
５２ 画像取得部
５４ ＤＳＰ（Digital Signal Processor）
５５ ホワイトバランス部
５６ 補正係数算出部
５８ ノイズ除去部
６０ 信号切替部
６２ 通常観察画像処理部
６３ 特殊観察画像処理部
６４ 表示制御部
６５ 静止画保存部
６６ 静止画保存制御部
６７ 第１特殊観察画像処理部
６８ 第２特殊観察画像処理部
６９ 検出部
Ｌ１ 第１照明光
Ｌ２ 第２照明光
ＰＬ１ 第１期間
ＰＬ２ 第２期間
ＳＰ１ 第１特殊観察画像（第１画像）
ＳＰ２ 第２特殊観察画像（第２画像）
ＶＰ 紫色光画像
ＲＰ 赤色光画像
ＶＳ１ 表層血管
ＶＳ２ 深層血管
ＢＭ 背景粘膜
Ｖ／Ｂ 紫色光及び青色光
Ｇ 緑色光
Ｒ 赤色光
Ｄ 深さ方向

Claims (18)

1. 第１照明光と、前記第１照明光とは異なる発光スペクトルを有する第２照明光とを発光する光源部と、
   前記第１照明光と前記第２照明光とを自動的に切り替えて発光する制御を行う光源制御部であって、前記第１照明光を発光する発光期間と前記第２照明光を発光する発光期間は、それぞれ少なくとも１フレーム以上の発光期間である光源制御部と、
   前記第１照明光の発光期間において前記第１照明光により照明された被写体を撮像して得られる第１画像信号を含む第１画像信号群と、前記第２照明光の発光期間において前記第２照明光により照明された被写体を撮像して得られる第２画像信号を含む第２画像信号群とを取得する画像取得部と、
   前記第１画像信号に第１ゲイン係数をかけ合わせ、前記第２画像信号に第２ゲイン係数をかけ合わせてホワイトバランス処理を行うホワイトバランス部とを備え、
   前記ホワイトバランス部は、前記第１ゲイン係数と前記第２ゲイン係数の少なくともいずれかを補正した補正ゲイン係数を用いて、ホワイトバランス処理を行う内視鏡システム。
2. 前記ホワイトバランス部は、補正無しの固定の前記第２ゲイン係数を用いて、前記ホワイトバランス処理を行う請求項１に記載の内視鏡システム。
3. 前記第１画像信号または前記第２画像信号は、青色信号、赤色信号、及び緑色成分を含み、
   前記第１画像信号の信号値または前記第２画像信号の信号値は、青色信号値、赤色信号値、及び緑色信号値からなる請求項１または２に記載の内視鏡システム。
4. 前記ホワイトバランス部は、前記第１ゲイン係数または前記第２ゲイン係数を、前記青色信号値、前記赤色信号値、及び前記緑色信号値のそれぞれについて定める請求項３に記載の内視鏡システム。
5. 前記第１ゲイン係数を補正する場合において、
   取得期間Ｐ_Ｎ（Ｎは整数）の前記第１画像信号群に含まれる前記第１画像信号に対して用いる前記取得期間Ｐ_Ｎの前記第１ゲイン係数は、前記取得期間Ｐ_Ｎの直前の取得期間Ｐ_Ｎ−２の前記第１画像信号に対して用いた前記取得期間Ｐ_Ｎ−２の前記第１ゲイン係数を補正した補正第１ゲイン係数である請求項１ないし４のいずれか１項に記載の内視鏡システム。
6. 前記第１ゲイン係数を補正する場合において、
   取得期間Ｐ_Ｎよりも前の複数の取得期間Ｐ_Ｎ−Ｋ（Ｋは２以上の偶数）の前記第１画像信号群に含まれる前記第１画像信号に対して用いる複数の前記取得期間Ｐ_Ｎ−Ｋの前記第１ゲイン係数は、少なくとも一部はそれぞれ補正された前記補正ゲイン係数であり、
   前記取得期間Ｐ_Ｎの前記第１画像信号群に含まれる前記第１画像信号に対して用いる前記取得期間Ｐ_Ｎの前記第１ゲイン係数は、複数の前記取得期間Ｐ_Ｎ−Ｋの前記第１ゲイン係数に対して、それぞれ重み付け係数をかけて加算された値であり、
   前記重み付け係数は、前記取得期間Ｐ_Ｎに近いほど大きい請求項１ないし４のいずれか１項に記載の内視鏡システム。
7. 複数の前記取得期間Ｐ_Ｎ−Ｋの前記第１ゲイン係数は、各前記取得期間Ｐ_Ｎ−Ｋにおいて前記ホワイトバランス処理で用いられている請求項６に記載の内視鏡システム。
8. 前記第１ゲイン係数または前記第２ゲイン係数の補正には、前記第１ゲイン係数および前記第２ゲイン係数のうち少なくとも一方を補正するための補正係数が用いられ、
   前記補正係数は、前記第１画像信号群に基づく演算により得られる第１演算値と、前記第２画像信号群に基づく演算により得られる第２演算値とを用いて算出する請求項１ないし７のいずれか１項記載の内視鏡システム。
9. 前記第１演算値は、前記第１画像信号群に含まれる前記第１画像信号において、前記第１画像信号の信号値を平均して得られる第１画像信号値平均のそれぞれを加算平均して得られ、
   前記第２演算値は、前記第２画像信号群に含まれる前記第２画像信号において、前記第２画像信号の信号値を平均して得られる第２画像信号値平均のそれぞれを加算平均して得られる請求項８に記載の内視鏡システム。
10. 前記第１画像信号または前記第２画像信号において、血管または病変部分の画像信号を検出して異常画像信号とする検出部を備え、
    前記第１画像信号値平均または前記第２画像信号値平均は、それぞれ前記異常画像信号以外の前記第１画像信号の信号値または前記第２画像信号の信号値を用いることにより得られる請求項９に記載の内視鏡システム。
11. 前記第１画像信号または前記第２画像信号において、異常画素部分の画像信号を検出して異常画像信号とする検出部を備え、
    前記第１画像信号値平均または前記第２画像信号値平均は、それぞれ前記異常画像信号以外の前記第１画像信号の信号値または前記第２画像信号の信号値を用いることにより得られる請求項９に記載の内視鏡システム。
12. 前記補正係数は、前記第１演算値と前記第２演算値の比である請求項８ないし１１のいずれか１項に記載の内視鏡システム。
13. 前記取得期間Ｐ_Ｎの前記第１ゲイン係数は、前記取得期間Ｐ_Ｎ−２の前記第１画像信号群に含まれる前記第１画像信号に対して用いた前記第１ゲイン係数に、前記取得期間Ｐ_Ｎ−２における前記第１演算値と前記取得期間Ｐ_Ｎ−１における前記第２演算値との比の値をかけ合わせた値である請求項８ないし１２のいずれか１項に記載の内視鏡システム。
14. 前記取得期間Ｐ_Ｎの前記第１ゲイン係数と、前記取得期間Ｐ_Ｎ−２の前記第１画像信号群に含まれる前記第１画像信号に対して用いた前記第１ゲイン係数との差が、予め設定した閾値以下の場合は、前記前記取得期間Ｐ_Ｎの前記第１ゲイン係数の補正を行わない請求項５に記載の内視鏡システム。
15. 前記取得期間Ｐ_Ｎの前記第１ゲイン係数と、前記取得期間Ｐ_Ｎ−２の前記第１画像信号群に含まれる前記第１画像信号に対して用いた前記第１ゲイン係数との差が、予め設定した閾値以上の場合は、前記前記取得期間Ｐ_Ｎの前記第１ゲイン係数の補正を行わない請求項５に記載の内視鏡システム。
16. 前記第１照明光は、紫色光、緑色光、及び赤色光を含み、前記第２照明光は、青色光、緑色光及び赤色光を含み、
    前記光源制御部は、前記第１照明光と前記第２照明光とが含む各色のそれぞれの発光量を、前記第１ゲイン係数または前記第２ゲイン係数に基づいて制御する請求項１ないし１５のいずれか１項に記載の内視鏡システム。
17. 前記光源制御部は、前記第１ゲイン係数または前記第２ゲイン係数に基づいて制御された前記発光量が、特定の閾値以下である場合、予め設定された最低発光量まで前記発光量を増加させる請求項１６に記載の内視鏡システム。
18. 前記画像処理部は、前記第１画像信号により第１表示用観察画像を生成し、かつ、前記第２画像信号により第２表示用観察画像を生成し、
    前記第１表示用観察画像は表層血管が強調されており、前記第２表示用観察画像は前記表層血管よりも深い位置にある中深層血管が強調されている請求項１ないし１７のいずれか１項記載の内視鏡システム。

Images