JPWO2017183339A1 - 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 - Google Patents

Abstract

従来よりも精度良く露光量を調節することができる内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法を提供する。内視鏡システム（１０）は、照明光を発光する光源部（２０）と、照明光を用いて観察対象を撮影するイメージセンサ（４８）と、イメージセンサ（４８）を用いて観察対象を撮影して得る複数色の画像を取得する画像取得部（５４）と、複数色の画像のうち一部の色の画像を用いて、画像取得部（５４）が複数色の画像を得る際の露光量を制御する露光量制御部（７３）と、を備える。

Description

本発明は、観察対象を撮影する際に露光量を自動的に調節する内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法に関する。

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。光源装置は例えば照明光として白色光を発生する。内視鏡は照明光が照射された観察対象を撮影する。そして、プロセッサ装置は、内視鏡で撮影した観察対象の画像（以下、撮影画像という）を用いて、モニタに表示する観察用の画像（以下、観察画像という）を生成及び表示する。

照明光の光量を常に一定に設定しておくと、イメージセンサにおける露光量は内視鏡の先端部と観察対象の相対的な距離または角度等に応じて変化するので、観察画像の明るさが安定しない。このため、内視鏡システムにおいては、通常、照明光の光量等を自動的に調節し、内視鏡の先端部と観察対象の相対的な距離または角度等が変化してもイメージセンサにおける露光量をほぼ一定にする。これにより、内視鏡システムは、ほぼ常に同じ明るさで観察対象を撮影することができる。

また、例えば、赤色光（以下、Ｒ光という）、緑色光（以下、Ｇ光という）、及び青色光（以下、Ｂ光という）を用いて観察対象を順次撮影し、赤色画像（以下、Ｒ画像という）、緑色画像（以下、Ｇ画像という）、及び青色画像（以下、Ｂ画像という）を取得する内視鏡システムがある。こうした内視鏡システムにおいては、これら各色の画像の明るさ等に重み付けをして、次の撮影の露光量を調節する露光量の調節方法が知られている（特許文献１）。

また、使用する照明光等が異なる複数のモードの動画を同時に表示する内視鏡システムにおいては、基準となる１つの動画を撮影するために決定した露光量に、他の動画を撮影するための露光量を連動して自動的に決定する方法が知られている（特許文献２）。

特開２０１４−０３３７７７号公報 特開２０１３−１８８３６５号公報

従来の内視鏡システムにおいては、露光量を自動的に調節して観察画像の明るさが安定するようにしているが、依然として、内視鏡システムのユーザである医師等は、観察画像の明るさの変動（いわゆる“チラつき"）を感じる場合がある。このため、より精度良く露光量を調節することが求められている。

例えば、従来の内視鏡システムにおいては、Ｒ画像、Ｇ画像、及びＢ画像の３色の撮影画像を同時にまたは順次に取得し、これらを用いて自然な色合いの観察画像を生成及び表示する。そして、観察画像の明るさ等を用いて、次に撮影する際の露光量を決定する。

しかし、観察画像においては、例えば血管は粘膜よりも暗く写る。このため、血管を良く写し出している観察画像は、血管があまり写っていない観察画像よりも相対的に暗くなるので、血管がよく写っている観察画像を用いて次の撮影の露光量を決定すると、露光量を過大に調節してしまう場合がある。逆に、血管があまり写っていない観察画像を用いて次の撮影の露光量を決定すると、露光量を過小に調節してしまう場合がある。このため、従来の内視鏡システムにおいては、露光量を自動的に調節しているにもかかわらず、観察画像の明るさの変動が目立ってしまう場合がある。

本発明は、従来よりも精度良く露光量を調節することができる内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法を提供することを目的とする。

本発明の内視鏡システムは、照明光を発光する光源部と、照明光を用いて観察対象を撮影するイメージセンサと、イメージセンサを用いて観察対象を撮影して得る複数色の画像を取得する画像取得部と、複数色の画像のうち一部の色の画像を用いて、画像取得部が複数色の画像を得る際の露光量を制御する露光量制御部と、を備える。

光源部から発光される照明光の光量、波長帯域、または、分光スペクトルを制御する光源制御部を備え、露光量制御部は、複数色の画像のうち一部の色の画像を用いて画像取得部が画像を得る際の露光量を算出し光源制御部に出力して露光量を制御することが好ましい。

露光量制御部は、複数色の画像のうち、画角が変化した場合に画素値の変化が最も小さい色の画像を用いて露光量を制御することが好ましい。

露光量制御部は、複数色の画像のうち、血液による吸収が最も小さい色の画像を用いて露光量を制御することが好ましい。

露光量制御部は、複数色の画像のうち、波長帯域が４６０ｎｍ以上７００ｎｍ以下の色の画像を用いて露光量を制御することが好ましい。

露光量制御部は、複数色の画像のうち、黄色色素による吸収が最も小さい色の画像を用いて露光量を制御することが好ましい。

露光量制御部は、複数色の画像のうち、波長帯域が５２５ｎｍ以上７００ｎｍ以下の色の画像を用いて露光量を制御することが好ましい。

露光量制御部は、複数色の画像のうち、内視鏡観察に使用する色素による吸収が最も小さい色の画像を用いて露光量を制御することが好ましい。

露光量制御部は、照明光に含む光の光量、波長帯域、または、分光スペクトルを設定して露光量を制御することが好ましい。

露光量制御部は、イメージセンサの露光時間を設定して露光量を制御することが好ましい。

露光量制御部は、複数色の画像にそれぞれ重み付けをして露光量の制御に使用し、かつ、複数色の画像のうち一部の色の画像の重みを他の色の画像よりも大きくして露光量を制御することが好ましい。

複数色の画像から露光量の制御に使用する領域を検出する領域検出部を備え、露光量制御部は、領域検出部が検出した領域を使用して露光量を制御することが好ましい。

複数色の画像のうち１以上を用いて観察条件を判定する観察条件判定部を備え、露光量制御部は、観察条件を用いて、複数色の画像のなかから露光量の制御に使用する画像を選択することが好ましい。

観察条件判定部は、観察条件として観察距離を判定することが好ましい。

観察条件判定部は、観察条件として観察部位を判定することが好ましい。

本発明のプロセッサ装置は、照明光を用いて観察対象を撮影するイメージセンサから複数色の画像を取得する画像取得部と、複数色の画像のうち一部の色の画像を用いて、画像取得部が複数色の画像を得る際の露光量を制御する露光量制御部と、を備える。

本発明の内視鏡システムの作動方法は、光源部が、照明光を発光するステップと、イメージセンサが、照明光を用いて観察対象を撮影するステップと、画像取得部が、イメージセンサを用いて観察対象を撮影して得る複数色の画像を取得するステップと、露光量制御部が、複数色の画像のうち一部の色の画像を用いて、画像取得部が画像を得る際の露光量を制御するステップと、を備える。

本発明は、複数色の画像のうち一部の色の画像を用いて、複数色の画像を得る際の露光量を制御するようにしたので、従来よりも精度良く露光量を調節することができる内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法を提供することができる。

内視鏡システムの外観図である。 内視鏡システムのブロック図である。 カラーフィルタの分光透過特性を示すグラフである。 拡大時及び非拡大時のＢ画像の概略図である。 拡大時及び非拡大時のＲ画像の概略図である。 第１実施形態の露光量制御のフローチャートである。 ヘモグロビンの吸光係数を示すグラフである。 黄色色素の吸光係数を示すグラフである。 第２実施形態の内視鏡システムのブロック図である。 第３実施形態の内視鏡システムのブロック図である。 観察距離を判定する場合の露光量制御のフローチャートである。 観察部位を判定する場合の露光量制御のフローチャートである。 カプセル内視鏡の概略図である。

［第１実施形態］
図１に示すように、内視鏡システム１０は、観察対象を撮影する内視鏡１２と、光源装置１４と、プロセッサ装置１６と、表示部であるモニタ１８と、コンソール１９と、を有する。内視鏡１２は、光源装置１４と光学的に接続するとともに、プロセッサ装置１６に電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃと、先端部１２ｄとを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。湾曲部１２ｃが湾曲した結果、先端部１２ｄが所望の方向に向く。なお、先端部１２ｄには、観察対象に向けて空気または水等を噴射する噴射口（図示しない）が設けられている。また、操作部１２ｂには、アングルノブ１２ｅの他、ズーム操作部１３ａが設けられている。

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、各観察モードの観察画像と、必要に応じて観察対象に付帯する画像情報等を出力表示する。コンソール１９は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１６には、画像や画像情報等を記録する外付けの記録部（図示省略）を接続してもよい。

図２に示すように、光源装置１４は、照明光を発光する光源部２０と、光源部２０の駆動を制御する光源制御部２２と、を備える。

光源部２０は、例えば、Ｒ光を発光する赤色光源と、Ｇ光を発光する緑色光源と、Ｂ光を発光する青色光源と、を有する。これら各色の光源は、例えば、ＬＥＤ(Light Emitting Diode)等の半導体光源であり、光量及び発光タイミング等を各々独立に制御可能である。光源部２０は、赤色光源、緑色光源、及び青色光源を実質的に同時に点灯することにより、Ｒ光、Ｇ光、及びＢ光からなる白色光を発光することができる。実質的に同時とは、イメージセンサ４８における同じ１回の撮影タイミング（以下、撮影フレームという）内に赤色光源、緑色光源、及び青色光源が点灯または発光することをいう。例えば、イメージセンサ４８が観察対象を１回撮影する間に、赤色光源、緑色光源、及び青色光源を順次に点灯したとしても、これらにより順次に発光するＲ光、Ｇ光、及びＢ光は同じ１回の撮影に使用することになるので、赤色光源、緑色光源、及び青色光源の点灯タイミングは実質的に同時であり、かつ、Ｒ光、Ｇ光、及びＢ光の発光は実質的に同時である。

なお、光源部２０は、図示しないミラーまたはプリズム等（波長帯域の一部成分を透過または反射するダイクロイックミラーまたはダイクロイックプリズムを含む）を用いて各光源が発する光を混合する。また、本実施形態の光源部２０の構成は例であり、光源部２０は、波長が異なる複数種類の照明光を発光可能であれば、上記の他にも任意の構成を取り得る。例えば、光源部２０には、キセノンランプ等のランプ、ＬＤ(Laser Diode)、蛍光体、または波長帯域を制限する光学フィルタ等を、必要に応じて任意に組み合わせて使用することができる。また、上記青色光源、緑色光源、及び赤色光源に限らず、白色ＬＥＤ等の白色光を発光する白色光源、青色光源と緑色光源の中間の色の光を発光する光源、または、緑色光源と赤色光源の中間の色を発光する光源等を用いて光源部２０を構成することができる。

光源制御部２２は、例えば、光源部２０を構成する各光源の発光タイミング及び発光量、波長帯域、分光スペクトル等をイメージセンサ４８の撮影フレームに合わせてそれぞれ独立に制御する。この光源制御部２２の制御により、光源部２０は照明光を発光する。本実施形態においては、光源部２０は、赤色光源が発光するＲ光と、緑色光源が発光するＧ光と、青色光源が発光するＢ光とからなる白色光を発光する。

光源部２０が発光した照明光は、ライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコード内に内蔵されており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド４１としては、マルチモードファイバを使用できる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用できる。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が観察対象に照射される。撮影光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有している。イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、観察対象から戻る照明光の反射光等（反射光の他、散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む）を用いて観察対象を撮影する。なお、ズームレンズ４７は、ズーム操作部１３ａの操作をすることで移動し、イメージセンサ４８を用いて撮影する観察対象を拡大または縮小して観察する。

イメージセンサ４８は、いわゆる原色系のカラーセンサである。このため、イメージセンサ４８の各画素は、例えば図３に示すＲカラーフィルタ（赤色カラーフィルタ）、Ｇカラーフィルタ（緑色カラーフィルタ）、及びＢカラーフィルタ（青色カラーフィルタ）のうちのいずれかを有する。Ｒカラーフィルタを有する画素がＲ画素であり、Ｇカラーフィルタを有する画素がＧ画素であり、かつ、Ｂカラーフィルタを有する画素がＢ画素である。このように、イメージセンサ４８は、Ｒ画素、Ｇ画素、及びＢ画素の３色の画素を有するので、照明光に白色光を使用して観察対象を撮影すると、Ｒ画素で観察対象を撮影して得るＲ画像９１（図５参照）、Ｇ画素で観察対象を撮影して得るＧ画像、及び、Ｂ画素で観察対象を撮影して得るＢ画像９３（図４参照）が同時に得られる。

上記のようにイメージセンサ４８等によって撮影して得る画像の色とは、撮影に利用した光の色である。例えば、Ｒ画像９１の撮影に利用した光はＲ光なので、Ｒ画像９１は赤色の画像である。同様に、Ｇ画像は緑色の画像であり、Ｂ画像９３は青色の画像である。本実施形態においては、Ｒ画像９１、Ｇ画像、及びＢ画像９３という複数色の画像を得が得られる。また、撮影して得る画像の色は、赤色、緑色、または青色等の色の名称で表す他、撮影に利用した光の波長帯域を用いて表す場合がある。

カラーフィルタにいわゆる副感度があって、画素が複数色の光に感度を有する場合、１個の画素で複数色の画像を取得できる。例えば、ＲカラーフィルタがＲ光だけでなく、Ｇ光またはＢ光にも感度を有する場合、このＲカラーフィルタを設けたＲ画素を用いて、緑色の画像または青色の画像を得ることができる。ＧカラーフィルタがＧ光だけでなく、Ｒ光またはＢ光にも感度を有する場合には、このＧカラーフィルタを設けたＧ画素を用いて、赤色の画像または青色の画像を取得することができる。ＢカラーフィルタがＢ光だけでなく、Ｇ光またはＲ光にも感度を有する場合には、このＢカラーフィルタを設けたＢ画素を用いて、緑色の画像または赤色の画像を取得することができる。したがって、撮影した画像の色は、前述のとおり、撮影に利用した光の色を表すのであって、撮影に使用した画素またはカラーフィルタの分光透過特性には依らない。撮影して得る画像の色を、撮影に利用した光の波長帯域を用いて表す場合も同様である。

なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、Ｂ画像９３、Ｇ画像、及びＲ画像９１に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ４８として使用できる。この場合、ＢＧＲ等各色の照明光を用いて観察対象を順次撮影することにより、上記各色の画像を得ることができる。

プロセッサ装置１６は、画像取得部５４と、画像処理部６１と、表示制御部６６と、統括制御部７２と、を有する。

画像取得部５４は、イメージセンサ４８を用いて観察対象を撮影して得る複数色の撮影画像を取得する。具体的には、画像取得部５４は、撮影フレーム毎に、Ｂ画像９３、Ｇ画像、及びＲ画像９１の組を取得する。また、画像取得部５４は、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を有し、これらを用いて、取得した画像に各種処理を施す。

ＤＳＰ５６は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種処理を施す。

欠陥補正処理は、イメージセンサ４８の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理（等方化処理または同時化処理とも言う）は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列のため、イメージセンサ４８において他の色の画素を配置しているために、画素値がない画素である。例えば、Ｂ画像９３はＢ画素において観察対象を撮影して得る画像なので、イメージセンサ４８のＧ画素やＲ画素に対応する位置の画素には画素値がない。デモザイク処理は、Ｂ画像９３を補間して、イメージセンサ４８のＧ画素及びＲ画素の位置にある画素の画素値を生成する。ＹＣ変換処理は、デモザイク処理後の画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒに変換する処理である。

ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色の画像に再変換する。

画像処理部６１は、上記各種処理を施した１撮影フレーム分のＢ画像９３、Ｇ画像、及びＲ画像９１に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、観察画像を生成する。色変換処理は、ＢＧＲ各色の画像に対して３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（ルックアップテーブル）処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。

表示制御部６６は、画像処理部６１から観察画像を順次取得し、取得した観察画像を表示に適した形式に変換してモニタ１８に順次出力表示する。これにより、医師等は、自然な色合いの観察画像の動画を用いて観察対象を観察できる。

統括制御部７２は、例えば、ＣＰＵ（Central Processing Unit）であり、照明光の発光タイミングと撮影フレームの同期制御等の内視鏡システム１０の統括的制御を行う。また、統括制御部７２は、露光量制御部７３を備える。すなわち、統括制御部７２は、露光量制御部７３の機能を有する。

露光量制御部７３は、画像取得部５４から各種処理済みの複数色の撮影画像を取得し、これら複数色の撮影画像のうち、一部の色の画像を用いて、その後に複数色の画像を得る際の露光量を制御する。具体的には、露光量制御部７３は、画像取得部５４から例えば直近の撮影フレーム分のＲ画像９１、Ｇ画像、及びＢ画像９３を取得する。そして、取得したＲ画像９１、Ｇ画像、及びＢ画像９３を全て使用するのではなく、これら各色の撮影画像のうちから特定の色の画像を選択して使用して、例えば次の撮影フレームにおいて新たな観察対象を撮影して再びＲ画像９１、Ｇ画像、及びＢ画像９３を得る際の適切な露光量を算出する。

そして、露光量制御部７３は、算出した露光量を光源制御部２２に入力する。光源制御部２２は、露光量制御部７３が入力した露光量を用いて、Ｒ光、Ｇ光、及びＢ光の光量を制御する。本実施形態においては、イメージセンサ４８の露光時間は一定であるため、露光量制御部７３は、上記のように光源制御部２２を介してＲ光、Ｇ光、及びＢ光の光量を制御することにより、Ｒ画像９１、Ｇ画像、及びＢ画像９３を得る際の露光量を制御する。

本実施形態においては、露光量制御部７３は、画像取得部５４から取得する複数色の撮影画像のうち、画角が変化した場合に画素値の変化が最も小さい色の撮影画像を用いて上記のように露光量を制御する。画角が変化した場合とは、ズーム操作部１３ａを操作して、観察対象を拡大または縮小した場合である。また、画角が変化した場合に画素値の変化が最も小さいとは、画角に対して、注目する画素の画素値の変化率が最小であること、または、注目する領域（全領域の場合を含む）の画素値の平均値または中央値等の統計量の変化率が最小であることをいう。

例えば、図４に示すように、Ｂ画像９３は、Ｒ画像９１、Ｇ画像、及びＢ画像９３の中で観察対象を拡大した場合（以下、拡大時という）に最も血管９５（いわゆる表層血管）がよく写る色の撮影画像である。また、Ｂ画像９３によく写る血管９５は、比較的細かく細い血管であるから、観察対象を拡大して観察しない場合（以下、非拡大時という）にはあまり写らない。すなわち、Ｂ画像９３は、拡大時には暗く写る血管９５が多いので平均画素値は小さいが、非拡大時には血管９５があまり写らないので平均画素値は大きくなる。したがって、Ｂ画像９３は、Ｒ画像９１、Ｇ画像、及びＢ画像９３の中で、画角に対して画素値の変化が最も大きい撮影画像である。

一方、図５に示すように、Ｒ画像９１は画角に依らず最も血管（血管９５を含む）が写りにくい色の撮影画像である。すなわち、Ｒ画像９１は、Ｂ画像９３及びＧ画像と比較すれば、拡大時及び非拡大時に平均画素値が大きく、かつ、拡大時と非拡大時とで平均画素値に大きな違いが生じない。したがって、Ｒ画像９１は、Ｒ画像９１、Ｇ画像、及びＢ画像９３の中で画角に対して画素値の変化が最も小さい撮影画像である。

したがって、本実施形態においては、露光量制御部７３は、Ｒ画像９１、Ｇ画像、及びＢ画像９３という複数色の撮影画像のうち、画角が変化した場合に画素値の変化が最も小さいＲ画像９１を用いて露光量を制御する。なお、Ｇ画像に特別に写りやすい組織または構造等を観察する特別なケースでなければ、Ｇ画像の平均画素値は、画角の変化に対してＢ画像９３の平均画素値とＲ画像９１の平均画素値の中間的な変化を示す。

次に、内視鏡システム１０の露光量の調節に関する一連の流れを図６に示すフローチャートに沿って説明する。まず、白色光を照明光に用いて観察対象を撮影し（Ｓ１０）、その結果、画像取得部５４は、複数色の画像すなわちＲ画像９１、Ｇ画像、及びＢ画像９３を取得する（Ｓ１１）。

画像取得部５４が、少なくとも１撮影フレーム分のＲ画像９１、Ｇ画像、及びＢ画像９３を取得すると、露光量制御部７３は、これら複数色の撮影画像のうち一部の画像を用いて、次の撮影フレームにおいてＲ画像９１、Ｇ画像、及びＢ画像９３を得る際の露光量を算出する（Ｓ１２）。具体的には、画角の変化した場合に画素値の変化が最も小さい色の撮影画像はＲ画像９１なので、露光量制御部７３はＲ画像９１を用いて露光量を算出する。

露光量を算出すると、算出した露光量を用いて露光量制御部７３は次の撮影フレームにおける露光量を制御する（Ｓ１３）。具体的には、露光量制御部７３は算出した露光量を光源制御部２２に入力する。これにより、光源制御部２２が、露光量制御部７３が算出した露光量を用いて照明光である白色光の光量を調節する。内視鏡システム１０は、観察終了まで上記動作（Ｓ１０〜Ｓ１３）を繰り返し行うことにより、ほぼ常に適切な明るさで観察対象を撮影できるようにする。

上記のように、内視鏡システム１０は、Ｒ画像９１、Ｇ画像、及びＢ画像９３を取得し、かつ、取得したＲ画像９１、Ｇ画像、及びＢ画像を用いて観察画像を生成及び表示する。しかし、従来の内視鏡システムにおいては観察画像を用いて露光量の制御をしていたところ、内視鏡システム１０においては、これら複数色の撮影画像のうちの一部の色の撮影画像を用いて露光量の制御をする。

従来の内視鏡システムのように観察画像を用いて露光量の制御をすると、例えば粘膜に対して暗く写る血管の写り具合によって設定すべき露光量にばらつきが生じ、概ね一定の明るさで観察対象を撮影できるといっても、血管の写り具合等の状況によってはモニタ１８に表示する観察画像の明るさにチラつきが生じる場合がある。これに対し、内視鏡システム１０は、露光量の制御に観察画像を使用する代わりに、Ｒ画像９１、Ｇ画像、及びＢ画像９３という複数色の撮影画像のうち、血管の写り具合等の状況に依存しない撮影画像だけを使用して露光量の制御をするので、血管の写り具合等の状況に依存せず、従来よりも精度良く一定の明るさで観察対象を撮影し続けることができる。このため、観察画像のチラつきも低減できる。

上記第１実施形態においては、露光量制御部７３は、画像取得部５４から得る複数色の撮影画像のうち画角が変化した場合に画素値の変化が最も小さい画像を用いて、露光量を算出して、次の撮影フレームの露光量を制御しているが、これは、複数色の撮影画像がＲ画像９１、Ｇ画像、及びＢ画像９３以外の場合も同様である。すなわち、補色系のイメージセンサを使用する場合、他の色のカラーフィルタを有するイメージセンサを使用する場合も同様の基準に基いて、露光量の制御に用いる撮影画像の色を選ぶことができる。

また、上記第１実施形態においては、白色光を照明光として使用しているので、Ｒ画像９１、Ｇ画像、及びＢ画像９３という３色の撮影画像を取得して、これら３色の撮影画像のなかから露光量の制御に使用する撮影画像を選ぶことができるが、白色光以外の他の照明光を使用して、２色分の撮影画像しか得られない場合、または、４色以上の撮影画像が得られる場合も上記第１実施形態と同様に露光量を自動的に調節することができる。

上記第１実施形態においては、複数色の撮影画像のうち画角が変化した場合に画素値の変化が最も小さい画像を露光量の制御に用いているが、この代わりに、複数色の撮影画像のうち、血液（主にヘモグロビン）による吸収が最も小さい色の撮影画像を露光量の制御に用いても良い。第１実施形態の通り、血管等の血液を多く含む組織または構造等の像が、露光量の制御に誤差を生じさせる場合があるからである。

図７に示すように、酸化ヘモグロビン９６及び還元ヘモグロビン９７のいずれも約４６０ｎｍ未満の波長帯域においては吸光係数が大きいので、血液による吸収が大きい。一方、約４６０ｎｍ以上約７００ｎｍ以下においては約４６０ｎｍ未満の波長帯域に比べると酸化ヘモグロビン９６及び還元ヘモグロビン９７の吸光係数は小さいので、血液による吸収も小さい。したがって、波長帯域が約４６０ｎｍ以上約７００ｎｍ以下程度の色の光を用いて観察対象を撮影した撮影画像（すなわち波長帯域が約４６０ｎｍ以上約７００ｎｍ以下程度の色の撮影画像）を、露光量の制御に使用することができる。約４６０ｎｍ以上約７００ｎｍ以下程度の波長帯域の光を用いて観察対象を撮影した撮影画像が複数ある場合には、これらの中でより長波長の波長帯域の光を用いて観察対象を撮影した撮影画像を露光量の制御に使用することが好ましい。図７から分かる通り、長波長になるほど、酸化ヘモグロビン９６及び還元ヘモグロビン９７の吸光係数は小さく、かつ、酸化ヘモグロビン９６及び還元ヘモグロビン９７の吸光係数の差が小さいので、結果的に、血液による吸収が小さく、かつ、酸化ヘモグロビン９６と還元ヘモグロビン９７の混合割合にも依存し難くなるからである。

上記のように、複数色の撮影画像のうち、血液による吸収が小さい色の撮影画像を露光量の制御に使用する場合においても、第１実施形態のようにＲ画像９１、Ｇ画像、及びＢ画像９３の３色の撮影画像を取得する場合には、露光量の制御に使用する撮影画像は第１実施形態と同様にＲ画像９１である。しかし、補色系のイメージセンサを使用する場合等においては、複数色の撮影画像のうち、血液による吸収が小さい色の撮影画像を露光量の制御に使用するとより精度良く露光量を制御できる場合がある。

上記第１実施形態においては、複数色の撮影画像のうち画角が変化した場合に画素値の変化が最も小さい画像を露光量の制御に用いているが、この代わりに、複数色の撮影画像のうち、黄色色素による吸収が最も小さい色の画像を、露光量の制御に用いても良い。黄色色素とは、例えばビリルビンまたはステルコビリン等である。例えば、大腸等の下部消化管の観察においては、特に黄色色素を含む粘液等の付着具合が露光量の制御に誤差が生じる場合があるからである。

図８に示すように、黄色色素の吸光係数は、約５２５ｎｍ未満の波長帯域において大きく、約５２５ｎｍ以上約７００ｎｍ以下の波長帯域では約５２５ｎｍ未満の波長帯域に比べて小さい。したがって、複数色の撮影画像のうち、波長帯域が約５２５ｎｍ以上約７００ｎｍ以下程度の光を用いて観察対象を撮影して得た撮影画像（すなわち波長帯域が約５２５ｎｍ以上約７００ｎｍ以下程度の色の撮影画像）を、露光量の制御に使用することができる。このように、波長帯域が約５２５ｎｍ以上約７００ｎｍ以下程度の色の撮影画像を用いて露光量の制御をすれば、大腸等の下部消化管の観察においても、黄色色素を含む粘液等の付着具合に依存せずに精度良く露光量を制御することができる。

なお、複数色の撮影画像のうち、血液（主にヘモグロビン）または黄色色素による吸収が最も小さい色の撮影画像に限らず、内視鏡観察に使用する任意の色素（例えば、青色色素）による吸収が最も小さい色の撮影画像を露光量の制御に用いても良い。

上記第１実施形態においては、露光量制御部７３は、照明光の光量を制御しているが、露光量制御部７３は、照明光の光量（照明光全体の光量または照明光に含む一部の光の光量）の他に、照明光の波長帯域または照明光の分光スペクトルを制御することができる。すなわち、露光量制御部７３は、照明光の光量、波長帯域、または、分光スペクトルを設定して露光量を制御することができる。例えば、光源部２０が赤色光源、緑色光源、及び赤色光源の他に、他の色の光を発光する光源を有している場合には、点灯する光源の組み合わせや光量比等を調節することで、撮影に使用する照明光としての波長帯域や分光スペクトルを制御することができる。光学フィルタ等を使用する場合も同様である。なお、当然ながら、露光量制御部７３は、照明光の光量、波長帯域、または分光スペクトルのうち任意の１以上の組み合わせを同時に調節して露光量を制御することができる。

上記第１実施形態においては、イメージセンサ４８の露光時間は一定であり、露光量制御部７３は照明光の光量を調節して露光量を制御しているが、露光量制御部７３は、イメージセンサ４８の露光時間を設定して露光量を制御することができる。例えば、照明光の光量を大きくする代わりに、イメージセンサ４８の露光時間を長く設定することができる。また、露光量制御部７３は、照明光の光量、波長帯域、または分光スペクトルと、イメージセンサ４８の露光時間の両方を設定して露光量を制御することができる。

上記第１実施形態においては、Ｒ画像９１、Ｇ画像、及びＢ画像９３の３色の撮影画像からＲ画像９１を選択的に使用し、かつ、Ｇ画像及びＢ画像９３を全く使用せずに露光量を制御しているが、Ｒ画像９１に加えてＧ画像及びＢ画像９３を使用することができる。例えば、露光量制御部７３は、複数色の撮影画像にそれぞれ重み付けをして露光量の制御に使用し、かつ、複数色の画像のうち一部の色の画像の重みを他の色の画像よりも大きくして露光量を制御することができる。

より具体的には、露光量制御部７３は、Ｒ画像９１の重み係数をＡｒ、Ｇ画像の重み係数をＡｇ、及びＢ画像９３の重み係数をＡｂとし、かつ、重み係数Ａｒ、Ａｇ、及びＡｂのうちＲ画像９１の重み係数Ａｒを最大にして合成画像を生成する。そして、生成した合成画像の平均画素値等を使用して、次の撮影フレームの露光量を算出することができる。このようにＲ画像９１、Ｇ画像、及びＢ画像９３に重み付けをした結果を露光量の制御に使用すれば、ほぼ第１実施形態と同様にして、従来の内視鏡システムよりも精度良く露光量を制御することができる。Ｒ画像９１を使用して露光量を制御するのと概ね同じだからである。なお、少なくともＡｒ＞ＡｇかつＡｒ＞Ａｂである。Ａｒ＞Ａｇ＞Ａｂであることが好ましい。

上記変形例では、Ｒ画像９１、Ｇ画像、及びＢ画像９３に重み付けをして合成した合成画像を露光量の制御に使用しているが、これら複数色の撮影画像を合成する代わりに、各色の撮影画像を用いてそれぞれ算出する露光量に重み付けをした結果を、次の撮影フレームの露光量として使用することもできる。例えば、Ｒ画像９１を用いて算出する次の撮影フレームの露光量Ｅｒと、Ｇ画像を用いて算出する次の撮影フレームの露光量Ｅｇと、Ｂ画像９３を用いて算出する次の撮影フレームの露光量Ｅｂとに、上記重み係数Ａｒ、Ａｇ及びＡｂをそれぞれかけた重み付け平均値を算出する。そして、この重み付け平均値を、次の撮影フレームの露光量として使用して露光量を制御する。この場合も、ほぼ第１実施形態と同様に、従来の内視鏡システムよりも精度良く露光量を制御することができる。Ｒ画像９１を使用して露光量を制御するのと概ね同じだからである。

［第２実施形態］
第１実施形態においては、複数色の撮影画像のうち、一部の色の撮影画像を使用して露光量の制御精度を向上しているが、例えば、図９に示す内視鏡システム２０１のように、プロセッサ装置１６に領域検出部２０２を設けることで、さらに精度良く露光量を制御することができる。

領域検出部２０２は、露光量制御部７３が画像取得部５４から取得する複数色の撮影画像のうち、少なくとも露光量制御部７３が露光量の制御に使用する色の撮影画像から、露光量の制御に使用する領域を検出する。露光量の制御に使用する領域（以下、使用領域という）とは、例えば、血管がある領域（以下、血管領域という）等の露光量制御の精度を低下原因になる部分を除く領域である。より具体的には、露光量の制御に使用する部分とは観察対象の粘膜だけからなる領域、粘膜だけからなる領域の集合体である。例えば、露光量制御部７３がＲ画像９１を露光量の制御に使用する場合、領域検出部２０２は少なくともＲ画像９１から血管領域を検出し、検出した血管領域を除く領域のうちの少なくとも１つを使用領域に指定する。

そして、露光量制御部７３は、領域検出部２０２が検出した使用領域の画素値だけを使用して露光量を制御する。こうすれば、例えばＲ画像９１という露光量の制御に適した色の撮影画像を使用した上で、誤差要因となる血管領域を除いて露光量の制御をすることができるので、第１実施形態よりもさらに精度良く露光量を制御することができる。

［第３実施形態］
第１実施形態においては、複数色の撮影画像のなかから、画角が変化した場合に最も画素値の変化が小さいという基準でＲ画像９１を選択的に使用して露光量を制御している。このため、第１実施形態では、内視鏡システム１０がＲ画像９１、Ｇ画像、及びＢ画像９３という３色の撮影画像を得ることから、自動的にＲ画像９１を使用することが予め定まる。しかし、第１実施形態のように予め露光量の制御に使用する色の撮影画像を決める代わりに、観察の状況や観察部位等に応じてより柔軟に、露光量の制御に使用する撮影画像を選択することができる。

この場合、例えば、図１０に示す内視鏡システム３０１のように、プロセッサ装置１６に観察条件判定部３０２を設ける。観察条件判定部３０２は、露光量制御部７３が画像取得部５４から取得する複数色の画像のうち１以上を用いて観察条件を判定する。そして、露光量制御部３７３は、観察条件判定部３０２が判定した観察条件を用いて、複数色の撮影画像のなかから露光量の制御に使用する撮影画像を選択する。

観察条件とは、例えば観察距離または観察部位である。観察距離は、例えば、撮影画像における粘膜等の明るさ、または、ズーム操作部１３ａの操作状態（どの程度ズームしているか）等に基いて判定することができる。

観察部位は、撮影画像における粘膜等の明るさ、血管の太さ、血管の密度、粘膜の色、または血管等の粘膜に対するコントラスト等に基いて判定することができる。例えば、観察部位が食道の場合、概ね粘膜表面付近に局在するいわゆる表層血管が多く、観察部位が胃の場合、例えばＧ画像において表層血管よりも粘膜下の深い位置にある比較的太い中深層血管を多く観察することができる。このため、撮影画像にどのような血管が写っているかによって観察部位を判定することができる。血管の有無及び血管の太さ等は、例えば周波数解析によって判定する。

図１１に示すように、観察条件判定部３０２が観察条件として観察距離を判定する場合、観察対象を撮影して（Ｓ３１０）、画像取得部５４が複数色の撮影画像を取得すると（Ｓ３１１）、観察条件判定部３０２は、画像取得部５４が取得した複数色の撮影画像のうち１以上を用いて観察距離を判定する（Ｓ３１２）。そして、露光量制御部３７３は、観察条件判定部３０２が判定した観察距離を用いて、露光量の制御に使用する撮影画像を選択する（Ｓ３１３）。具体的には、露光量制御部３７３は、観察距離が長く、遠くから観察対象を撮影している場合ほど、長波長の色の撮影画像を選択する。例えば、観察距離が短く、Ｂ画像９３に血管９５が多く写り込んでいる場合には、露光量制御部３７３は、血管９５の写り込みが少ないＲ画像９１またはＧ画像を露光量の制御に使用する撮影画像として選択する。また、Ｇ画像にも血管が写り込んでいる場合には、露光量制御部３７３は、Ｒ画像９１を露光量の制御に使用する撮影画像として選択する。Ｂ画像９３においても血管９５の写り込みがほとんどない場合には、Ｒ画像９１、Ｇ画像、及びＢ画像９３のいずれかを、露光量の制御に使用する撮影画像として選択する。

こうして複数色の画像のなかから露光量の制御に使用する色の撮影画像を選択すると、露光量制御部３７３は、選択した色の撮影画像を用いて露光量を制御する（Ｓ３１４）。露光量の制御の仕方及び観察終了（Ｓ３１５）まで上記動作を繰り返すことは、第１実施形態と同様である。

また、図１２に示すように、観察条件判定部３０２が観察条件として観察部位を判定する場合、観察対象を撮影して（Ｓ３２０）、画像取得部５４が複数色の撮影画像を取得すると（Ｓ３２１）、観察条件判定部３０２は、画像取得部５４が取得した複数色の撮影画像のうち１以上を用いて観察部位を判定する（Ｓ３２２）。そして、露光量制御部３７３は、観察条件判定部３０２が判定した観察部位を用いて、露光量の制御に使用する撮影画像を選択する（Ｓ３２３）。例えば、観察条件判定部３０２が観察部位を「食道」と判定した場合、Ｂ画像９３には血管９５が多く写し出されているので、露光量制御部３７３はＢ画像９３を除き、Ｇ画像またはＲ画像９１を露光量の制御に使用する撮影画像に選択する。また、観察条件判定部３０２が観察部位を「胃」と判定した場合、Ｇ画像に血管が写り込んでいるので、Ｂ画像９３またはＲ画像９１を露光量の制御に使用する撮影画像として選択する。

こうして複数色の画像のなかから露光量の制御に使用する色の撮影画像を選択すると、露光量制御部３７３は、選択した色の撮影画像を用いて露光量を制御すること（Ｓ３２４）、露光量の制御の仕方及び観察終了（Ｓ３１５）まで上記動作を繰り返すことは、観察条件判定部３０２が観察距離を判定する場合と同様である。

上記第１〜第３実施形態においては、イメージセンサ４８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システムにおいて本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。図１３に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡４００と、プロセッサ装置（図示しない）とを少なくとも有する。

カプセル内視鏡４００は、光源部４０２と制御部４０３と、イメージセンサ４０４と、画像処理部４０６と、送受信アンテナ４０８と、を備えている。光源部４０２は、光源部２０に対応する。制御部４０３は、光源制御部２２、統括制御部７２、及び露光量制御部７３と同様に機能する。また、制御部４０３は、送受信アンテナ４０８を用いて、カプセル内視鏡システムのプロセッサ装置と無線を使用して通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記第１〜第３実施形態のプロセッサ装置１６とほぼ同様であるが、画像取得部５４及び画像処理部６１に対応する画像処理部４０６はカプセル内視鏡４００に設けられ、生成した観察画像は、送受信アンテナ４０８を介してプロセッサ装置に送信される。イメージセンサ４０４はイメージセンサ４８と同様に構成される。

１０，２０１，３０１ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０，４０２ 光源部
２２ 光源制御部
３０ａ 照明光学系
３０ｂ 撮影光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８，４０４ イメージセンサ
５４ 画像取得部
５６ ＤＳＰ
５８ ノイズ低減部
５９ 変換部
６１，４０６ 画像処理部
６６ 表示制御部
７２ 統括制御部
７３，３７３ 露光量制御部
９１ Ｒ画像
９３ Ｂ画像
９５ 血管
９６ 酸化ヘモグロビン
９７ 還元ヘモグロビン
２０２ 領域検出部
３０２ 観察条件判定部
４００ カプセル内視鏡
４０３ 制御部
４０８ 送受信アンテナ

Claims (17)

1. 照明光を発光する光源部と、
   前記照明光を用いて観察対象を撮影するイメージセンサと、
   前記イメージセンサを用いて前記観察対象を撮影して得る複数色の画像を取得する画像取得部と、
   前記複数色の画像のうち一部の色の画像を用いて、前記画像取得部が複数色の画像を得る際の露光量を制御する露光量制御部と、
   を備える内視鏡システム。
2. 前記光源部から発光される前記照明光の光量、波長帯域、または、分光スペクトルを制御する光源制御部を備え、
   前記露光量制御部は、前記複数色の画像のうち一部の色の画像を用いて前記画像取得部が画像を得る際の露光量を算出し前記光源制御部に出力して露光量を制御する請求項１に記載の内視鏡システム。
3. 前記露光量制御部は、前記複数色の画像のうち、画角が変化した場合に画素値の変化が最も小さい色の画像を用いて露光量を制御する請求項１または２に記載の内視鏡システム。
4. 前記露光量制御部は、前記複数色の画像のうち、血液による吸収が最も小さい色の画像を用いて露光量を制御する請求項１または２に記載の内視鏡システム。
5. 前記露光量制御部は、前記複数色の画像のうち、波長帯域が４６０ｎｍ以上７００ｎｍ以下の色の画像を用いて露光量を制御する請求項１、２または４に記載の内視鏡システム。
6. 前記露光量制御部は、前記複数色の画像のうち、黄色色素による吸収が最も小さい色の画像を用いて露光量を制御する請求項１または２に記載の内視鏡システム。
7. 前記露光量制御部は、前記複数色の画像のうち、波長帯域が５２５ｎｍ以上７００ｎｍ以下の色の画像を用いて露光量を制御する請求項１、２または６に記載の内視鏡システム。
8. 前記露光量制御部は、前記複数色の画像のうち、内視鏡観察に使用する色素による吸収が最も小さい色の画像を用いて露光量を制御する請求項１または２に記載の内視鏡システム。
9. 前記露光量制御部は、前記照明光に含む光の光量、波長帯域、または、分光スペクトルを設定して露光量を制御する請求項１〜８のいずれか１項に記載の内視鏡システム。
10. 前記露光量制御部は、前記イメージセンサの露光時間を設定して露光量を制御する請求項１〜８のいずれか１項に記載の内視鏡システム。
11. 前記露光量制御部は、前記複数色の画像にそれぞれ重み付けをして露光量の制御に使用し、かつ、前記複数色の画像のうち一部の色の画像の重みを他の色の画像よりも大きくして露光量を制御する請求項１または２に記載の内視鏡システム。
12. 前記複数色の画像から露光量の制御に使用する領域を検出する領域検出部を備え、
    前記露光量制御部は、前記領域検出部が検出した前記領域を使用して露光量を制御する請求項１または２に記載の内視鏡システム。
13. 前記複数色の画像のうち１以上を用いて観察条件を判定する観察条件判定部を備え、
    前記露光量制御部は、前記観察条件を用いて、前記複数色の画像のなかから露光量の制御に使用する画像を選択する請求項１または２に記載の内視鏡システム。
14. 前記観察条件判定部は、前記観察条件として観察距離を判定する請求項１３に記載の内視鏡システム。
15. 前記観察条件判定部は、前記観察条件として観察部位を判定する請求項１３に記載の内視鏡システム。
16. 照明光を用いて観察対象を撮影するイメージセンサから複数色の画像を取得する画像取得部と、
    前記複数色の画像のうち一部の色の画像を用いて、前記画像取得部が複数色の画像を得る際の露光量を制御する露光量制御部と、
    を備えるプロセッサ装置。
17. 光源部が、照明光を発光するステップと、
    イメージセンサが、前記照明光を用いて観察対象を撮影するステップと、
    画像取得部が、前記イメージセンサを用いて前記観察対象を撮影して得る複数色の画像を取得するステップと、
    露光量制御部が、前記複数色の画像のうち一部の色の画像を用いて、前記画像取得部が画像を得る際の露光量を制御するステップと、
    を備える内視鏡システムの作動方法。