JP5259882B2 - 撮像装置 - Google Patents

Description

本発明は、撮像用の複数の画素のうち読出し対象として任意に指定された画素から光電変換後の電気信号を画素情報として出力可能である撮像部を備えた撮像装置に関する。

従来から、医療分野においては、被検体の臓器内部を観察する際に内視鏡システムが用いられている。内視鏡システムにおいては、一般に、患者等の被検体の体腔内に細長形状をなす可撓性の挿入部を挿入し、この挿入した挿入部を介して体腔内の生体組織に白色光を照射し、その反射光を挿入部先端の撮像部によって受光して、体内画像を撮像する。このように撮像された生体画像は、この内視鏡システムのモニタに表示される。医師等のユーザは、内視鏡システムのモニタに表示された体内画像を通して、被検体の体腔内を観察する。

ここで、内視鏡分野においては、従来のＲＧＢの面順次方式による白色照明光と比較し、分光特性を狭帯域にした特殊照明光を用いた狭帯域観察方式が提案されている（たとえば、特許文献１参照）。狭帯域観察方式においては、血液中のヘモグロビンに吸収されやすい狭帯域化された青色光および緑色光の２種の帯域の光を照射することによって、粘膜表層の毛細血管および粘膜微細模様の強調表示を実現し、検出対象部位である出血部位や腫瘍部位の早期発見に寄与する。また、青色または青色よりも短波長の紫色の励起光を照射することによって、生体組織に本来存在する緑色ないし赤色の範囲にスペクトルを有する蛍光物質、または、被検体内に導入された赤色蛍光あるいは緑色蛍光を発する標識物質を検出する。

特開２００２−９５６３５号公報

しかしながら、特殊照明光を用いた場合、観察する対象の像の明るさが暗くなってしまう場合が多い。たとえば、狭帯域光観察の場合、狭帯域化された青色光および緑色光の２種の帯域の光を用いるため可視光のすべての帯域での照明に比べ、必然的に暗い像となってしまう。特に青色光に対しては、撮像部の撮像素子の感度が低いため、青色光に対応する画素の輝度値も低くなり、画像も暗くなってしまう。また、組織からの蛍光を観察する方法の場合はさらに暗い像を観察する必要がある。適切な画像を取得するためには専用の高感度撮像素子を追加で用意するか、撮像の条件を大幅に変更する必要があり、複数の光学系と専用撮像素子、電気回路などを内視鏡先端の限られた大きさに実装する必要があった。

本発明は、上記に鑑みてなされたものであって、特殊照明光を用いた場合においても適切な画像を取得できる撮像装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被写体に対して第１の光を照射する第１の照射部と、前記被写体に対して、前記第１の光とは波長帯域が異なる第２の光を照射する第２の照射部と、撮像用の複数の画素のうち読出し対象として任意に指定された画素から光電変換後の電気信号を画素情報として出力可能である撮像部と、前記撮像部における読出し対象の画素および読出し順序を任意に設定可能である設定部と、前記第１の照射部および前記第２の照射部における照射処理を制御するとともに、光を照射する照射部の種別に応じて前記設定部が設定する読出し対象の画素および読み出し順序を変更する制御部と、前記設定部の設定に応じた読み出し順にしたがって、前記撮像部における前記撮像用の複数の画素のうち前記設定部により読出し対象として設定された画素から画素情報を出力させることで画素情報を読出す読出し部と、前記読出し部が読出した画素情報から画像を生成する画像処理部と、前記画像処理部が生成した画像を表示する表示部と、を備えたことを特徴とする。

また、本発明にかかる撮像装置は、前記第２の光は、前記第１の光よりも狭い波長帯域の光であることを特徴とする。

また、本発明にかかる撮像装置は、前記制御部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記読出し部が前記第２の光の波長帯域に対応する光が入射する第２の画素から画素情報を読み出すように制御することを特徴とする。

また、本発明にかかる撮像装置は、前記制御部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記読出し部に、前記第２の画素のみが位置するラインの画素情報を読み出させることを特徴とする。

また、本発明にかかる撮像装置は、前記制御部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記第２の画素の露光時間が全画素を読み出す場合における露光時間よりも長くなるように、前記読出し部の読出しタイミングを制御することを特徴とする。

また、本発明にかかる撮像装置は、前記画素情報は、輝度値を含み、前記制御部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記読出し部に前記第２の画素の画素情報を複数回読み出させ、前記画像処理部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、複数回読み出された前記第２の画素の各画素情報の輝度値をそれぞれ加算して画像を生成することを特徴とする。

また、本発明にかかる撮像装置は、前記制御部は、前記読出し部に、互いに隣り合う複数の画素で構成されるブロックに含まれる複数の前記第２の画素の輝度値を加算してブロック単位で出力させるように前記設定部を設定することを特徴とする。

また、本発明にかかる撮像装置は、前記制御部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記読出し部に、前記第２の光の波長帯域に対応する光が入射しない第１の画素が位置する第１のラインに対しては前記第１の画素の画素情報のみを読み出させ、前記第２の光の波長帯域に対応する光が入射する第２の画素が位置する第２のラインに対しては前記第２の画素全てを読み出させ、前記画像処理部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記第２の画素ごとに、前記第２の画素の画素情報の輝度値から前記第２の画素の最も近くに位置する前記第１の画素の画素情報の輝度値を減算する減算部をさらに有し、該減算部の減算処理結果に基づいて画像を生成することを特徴とする。

また、本発明にかかる撮像装置は、前記制御部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記第２の画素の露光時間が全画素を読み出す場合における露光時間よりも長くなるように、前記読出し部の読出しタイミングを制御することを特徴とする。

また、本発明にかかる撮像装置は、前記制御部は、前記第１の照射部が第１の光を照射する各時間帯のうちの一部の時間帯において、前記第１の照射部を一定時間消灯させ、前記読出し部に、前記第１の照射部の消灯期間に対応させて全画素のうち所定間隔で間引いた一部の画素の画素情報をノイズ除去用として読み出させ、前記画像処理部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記第２の画素の画素情報の輝度値から、最も近くに位置するノイズ除去用の画素の画素情報の輝度値を減算することによって前記画素情報のノイズを除去するノイズ除去部をさらに有し、該ノイズ除去部によってノイズが除去された前記画素情報に基づいて画像を生成することを特徴とする。

また、本発明にかかる撮像装置は、前記制御部は、前記第１の照射部が第１の光を照射する時間帯ごとに、前記第１の照射部を一定時間消灯させることを特徴とする。

また、本発明にかかる撮像装置は、前記制御部は、前記読出し部に、一定方向にしたがった順で、ライン単位で画素情報を読出させることを特徴とする。

また、本発明にかかる撮像装置は、前記制御部は、前記第１の照射部および前記第２の照射部に交互に光を照射させ、前記第１の照射部および前記第２の照射部の一回あたりの照射時間を、前記撮像部が１枚の画像に対応する画素情報を出力するのに要する時間に対応して設定する証左時間設定部をさらに有することを特徴とする。

また、本発明にかかる撮像装置は、前記第２の照射部は、前記第２の光として、緑色光および青色光の波長帯域に含まれる光を照射し、前記制御部は、前記第２の照射部が第２の光を照射するフレームにおいては、前記読出し部に、前記第２の光の波長帯域に対応する緑色光および青色光の光が入射する画素の画素情報を読み出させることを特徴とする。

また、本発明にかかる撮像装置は、前記第２の照射部は、前記第２の光として、赤色光および緑色光の波長帯域に含まれる蛍光を発する物質に対する励起光を照射し、前記制御部は、前記第２の照射部が前記励起光を照射するフレームにおいては、前記読出し部に、前記励起光に対応する赤色蛍光または緑色蛍光の光が入射する画素の画素情報を読み出させることを特徴とする。

また、本発明にかかる撮像装置は、前記第２の照射部は、前記第２の光として、赤色光および緑色光の波長帯域に含まれる光を照射し、前記制御部は、前記第２の照射部が第２の光を照射するフレームにおいては、前記読出し部に、前記第２の光の波長帯域に対応する赤色光または緑色光の光が入射する画素の画素情報を読み出させることを特徴とする。

本発明にかかる撮像装置は、光を照射する照射部の種別に応じて撮像部の読出し対象の画素および読み出し順序を変更して、照射部が照射する光の波長帯域に対応する画素の感度を高めることで、専用撮像素子を設けずとも、照射部の種別によらず適切な画像を取得することができる。

図１は、実施の形態１における内視鏡部分の概略構成を示す図である。 図２は、図１に示す内視鏡本体部の先端部の内部構成の概略を説明する断面図である。 図３は、実施の形態１にかかる内視鏡システムの概略構成を示すブロック図である。 図４は、図３に示す白色光源および特殊光光源の照射処理を説明する図である。 図５は、図３に示す受光部の画素配列の一例を説明する図である。 図６は、図３に示すタイミングジェネレータの読出し処理を説明する図である。 図７は、図３に示す白色光源が白色照明光を照射する時間帯に対応するフレームにおける受光部の各ラインの露光時間を説明する図である。 図８は、図３に示す特殊光光源が特殊光を照射する時間帯に対応するフレームにおける受光部の各ラインの露光時間を説明する図である。 図９は、図３に示す白色光源が白色照明光を照射する時間帯に対応するフレームにおける受光部の各ラインの露光時間を説明する図である。 図１０は、特殊光光源による特殊光の分光特性とオンチップフィルタの各波長の透過率とを示す図である。 図１１は、実施の形態１の変形例１にかかる内視鏡システムの構成を示すブロック図である。 図１２は、図１１に示すタイミングジェネレータの読出し処理を説明する図である。 図１３は、図１１に示す白色光源が白色照明光を照射する時間帯に対応するフレームにおける受光部の各ラインの露光時間を説明する図である。 図１４は、図１１に示す特殊光光源が特殊光を照射する時間帯に対応するフレームにおける受光部の各ラインの露光時間を説明する図である。 図１５は、実施の形態１の変形例２にかかる内視鏡システムの構成を示すブロック図である。 図１６は、図１５に示すタイミングジェネレータの読出し処理を説明する図である。 図１７は、実施の形態２にかかる内視鏡システムの構成を示すブロック図である。 図１８は、図１７に示すタイミングジェネレータの読出し処理を説明する図である。 図１９は、図１７に示す白色光源が白色照明光を照射する時間帯に対応するフレームにおける受光部の各ラインの露光時間を説明する図である。 図２０は、図１７に示す特殊光光源が特殊光を照射する時間帯に対応するフレームにおける受光部の各ラインの露光時間を説明する図である。 図２１は、実施の形態３にかかる内視鏡システムの構成を示すブロック図である。 図２２は、図２１に示す白色光源および特殊光光源の照射処理と、受光部の各フレームに対応する露光時間を説明する図である。 図２３は、図２１に示す白色光源および特殊光光源の照射処理と、受光部の各フレームに対応する露光時間の他の例を説明する図である。

以下に、本発明にかかる実施の形態として、挿入部先端に撮像素子を備え、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムについて説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。また、図面は模式的なものであり、各部材の厚みと幅との関係、各部材の比率などは、現実と異なることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている。

（実施の形態１）
まず、実施の形態１における内視鏡システムについて説明する。図１は、本実施の形態１にかかる内視鏡システムの内視鏡部分の概略構成を示す図である。図１に示すように、本実施の形態１における内視鏡１は、細長な挿入部２と、この挿入部２の基端側であって内視鏡装置操作者が把持する操作部３と、この操作部３の側部より延伸する可撓性のユニバーサルコード４とを備える。ユニバーサルコード４は、ライトガイドケーブルや電気系ケーブルなどを内蔵する。

挿入部２は、撮像素子としてＣＭＯＳセンサを内蔵した先端部５と、複数の湾曲駒によって構成され湾曲自在な湾曲部６と、この湾曲部６の基端側に設けられた長尺であって可撓性を有する長尺状の可撓管部７とを備える。

ユニバーサルコード４の端部にはコネクタ部８が設けられている。コネクタ部８には、光源装置に着脱自在に接続されるライトガイドコネクタ９、ＣＭＯＳセンサで光電変換した被写体像の電気信号を信号処理用の制御装置に伝送するため制御装置に接続される電気接点部１０、先端部５のノズルに空気を送るための送気口金１１などが設けられている。ここで、光源装置は、白色光源や特殊光源などを有し、白色光源あるいは特殊光源からの光を、ライトガイドコネクタ９を介して接続された内視鏡１へ照明光として供給する。また、制御装置は、撮像素子に電源を供給し、撮像素子から光電変換された電気信号が入力される装置であり、撮像素子によって撮像された電気信号を処理して接続する表示部に画像を表示させるとともに、撮像素子のゲイン調整などの制御および駆動を行なう駆動信号の出力を行なう。

操作部３には、湾曲部６を上下方向および左右方向に湾曲させる湾曲ノブ１２、体腔内に生検鉗子、レーザプローブ等の処置具１６を挿入する処置具挿入部１３、制御装置、光源装置あるいは送気、送水、送ガス手段などの周辺機器の操作を行なう複数のスイッチ１４が設けられている。処置具挿入部１３から挿入された処置具１６は、内部に設けられた処置具用チャンネルを経て挿入部２先端の開口部１５から表出する。たとえば処置具１６が生検鉗子の場合には、生検鉗子によって患部組織を採取する生検などを行なう。

次に、挿入部２の先端部５における構成を説明する。図２は、図１に示す内視鏡１の先端部５の内部構成の概略を説明する断面図である。図２に示すように、内視鏡１の先端部５先端には、照明レンズ２２、観察窓２３、処置具用チャンネル３３と連通する処置具表出用の開口部１５および送気・送水用ノズル（図示しない）が設けられている。

照明レンズ２２からは、グラスファイバ束等で構成されるライトガイド２１を介して光源装置から供給された白色光あるいは特殊光が出射する。観察窓２３には、レンズ２４ａ，２４ｂからなる光学系の結像位置に、２次元的にマトリックス状に配置された撮像用の複数の画素を有する受光部２８が配置される。受光部２８は、レンズ２４ａ，２４ｂからなる光学系を介して入射した光を受光して体腔内を撮像する。受光部２８の受光面側には、カバーガラス２５が設けられている。カバーガラス２５と受光部２８との間には、受光部２８の画素の配列に対応してＲ，ＧあるいはＢのフィルタが配列するオンチップフィルタ２７が設けられる。受光部２８は、受光部２８に撮像タイミングを指示するとともに受光部２８による画像信号を読出して電気信号に変換するＩＣ２９やチップコンデンサ３０などとともに回路基板２６に実装される。この回路基板２６には、電極３２が設けられる。この電極３２は、電気信号を制御装置に伝送する集合ケーブル３１と、たとえば異方性導電性樹脂フィルムを介して接続する。集合ケーブル３１は、受光部２８が出力した電気信号である画像信号を伝送する信号線あるいは制御装置から制御信号を伝送する信号線など複数の信号線を備える。

次に、本実施の形態１にかかる内視鏡システムの構成について説明する。図３は、本実施の形態１にかかる内視鏡システムの構成を示すブロック図である。図３に示すように、実施の形態１にかかる内視鏡システム１００は、先端部５に設けられたＣＭＯＳ撮像素子８０と複数の信号線を有する集合ケーブル３１を介して接続する制御装置４０、白色光あるいは特殊光を供給する光源装置６０、ＣＭＯＳ撮像素子８０が撮像した体内画像を表示する表示部７１を有し、体内観察に関する情報を出力する出力部７３、体内観察に要する各種指示情報を入力する入力部７２および体内画像等を記憶する記憶部７４を備える。

先端部５には、ＣＭＯＳ撮像素子８０が設けられる。ＣＭＯＳ撮像素子８０は、受光部２８、制御回路３５、タイミングジェネレータ３４、ノイズ除去部３７とＡ／Ｄ変換部３８とによって構成されるＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）部３６、および、入力したデジタル信号をパラレル形態からシリアル形態に変換するＰ／Ｓ変換部３９によって構成される。ＣＭＯＳ撮像素子８０を構成する受光部２８およびＣＭＯＳセンサ周辺回路は、たとえば１チップ化されている。

受光部２８は、２次元的にマトリックス状に配置された撮像用の複数の画素のうち読出し対象として任意に指定された画素から光電変換後の電気信号を画素情報として出力する。各画素情報は、輝度値を含む。制御回路３５は、制御装置４０から出力された設定データにしたがって、受光部２８に対する撮像処理、受光部２８の撮像速度、受光部２８の画素からの画素情報の読出し処理および読出した画素情報の伝送処理を制御する。

タイミングジェネレータ３４は、制御装置４０から出力されたタイミング信号にしたがって駆動し、読出しアドレス設定部５３の設定に応じた読み出し順にしたがって、受光部２８を構成する複数の画素において読出し対象として指定された位置（アドレス）の画素から光電変換後の電気信号を画素情報として出力させる。

ノイズ除去部３７は、受光部２８の所定の画素から出力された画素情報の信号のノイズを除去する。Ａ／Ｄ変換部３８は、ノイズ除去された画素情報の信号をアナログ信号からデジタル信号に変換し、Ｐ／Ｓ変換部３９に出力する。タイミングジェネレータ３４およびＡＦＥ部３６によって受光部２８から読み出された画素情報は、Ｐ／Ｓ変換部３９が変換したシリアル形態の画像信号として、集合ケーブル３１の所定の信号線を介して、制御装置４０に伝送される。

制御装置４０は、画像信号を処理して表示部７１に体内画像を表示させるとともに、内視鏡システム１００の各構成部位を制御する。制御装置４０は、Ｓ／Ｐ変換部４１、画像処理部４２、明るさ検出部５１、調光部５２、読出アドレス設定部５３、ＣＭＯＳ駆動信号生成部５４、制御部５５および基準クロック生成部５６を有する。

Ｓ／Ｐ変換部４１は、先端部５から受信したデジタル信号である画像信号をシリアル形態からパラレル形態に変換する。

画像処理部４２は、Ｓ／Ｐ変換部４１から出力されたパラレル形態の画像信号、すなわち、タイミングジェネレータ３４およびＡＦＥ部３６が読出した画素の画素情報から、タイミングジェネレータ３４およびＡＦＥ部３６が読出した受光部２８の画素のアドレスをもとに表示部７１に表示される体内画像を生成する。

画像処理部４２は、同時化部４３、ＷＢ調整部４４、ゲイン調整部４５、γ補正部４６、Ｄ／Ａ変換部４７、フォーマット変更部４８、サンプル用メモリ４９および静止画像用メモリ５０を備える。

同時化部４３は、入力された各Ｒ，Ｇ，Ｂ画素の画像信号を画素ごとに設けられたメモリ（図示しない）に入力し、タイミングジェネレータ３４およびＡＦＥ部３６が読出した受光部２８の画素のアドレスに対応させて、各メモリの値を入力された各画像信号で順次更新しながら保持するとともに、これら３つのメモリの各画像信号をＲＧＢ画像信号として同時化する。同時化されたＲＧＢ画像信号は、ＷＢ調整部４４に順次出力されるとともに、同時化されたＲＧＢ画像信号のうちのいくつかは明るさ検出などの画像解析用にサンプル用メモリ４９にも出力され、保持される。

ＷＢ調整部４４は、ＲＧＢ画像信号のホワイトバランスを調整する。ゲイン調整部４５は、ＲＧＢ画像信号のゲイン調整を行う。γ補正部４６は、表示部７１に対応させてＲＧＢ画像信号を階調変換する。

Ｄ／Ａ変換部４７は、階調変換後のＲＧＢ画像信号をデジタル信号からアナログ信号に変換する。フォーマット変更部４８は、アナログ信号に変換された画像信号をハイビジョン方式などのフォーマットに変更して表示部７１に出力する。この結果、表示部７１には、１枚の体内画像が表示される。なお、ゲイン調整部４５によってゲイン調整されたＲＧＢ画像信号のうちの一部は、静止画像表示用、拡大画像表示用または強調画像表示用として、静止画像用メモリ５０にも保持される。

明るさ検出部５１は、サンプル用メモリ４９に保持されたＲＧＢ画像信号から、各画素に対応する明るさレベルを検出し、検出した明るさレベルを明るさ検出部５１内部に設けられたメモリに記憶する。また、明るさ検出部５１は、検出した明るさレベルをもとにゲイン調整値および光照射量を算出する。算出されたゲイン調整値はゲイン調整部４５へ出力され、算出された光照射量は、調光部５２に出力される。さらに、明るさ検出部５１による検出結果は、制御部５５にも出力される。

調光部５２は、制御部５５の制御のもと、明るさ検出部５１から出力された光照射量をもとに、各光源に供給する電流量、減光フィルタの駆動条件を設定して、設定条件を含む光源同期信号を光源装置６０に出力する。調光部５２は、光源装置６０が発する光の種別、光量、発光タイミングを設定する。

読出アドレス設定部５３は、受光部２８における読出し対象の画素および読出し順序を任意に設定可能である。すなわち、読出アドレス設定部５３は、タイミングジェネレータ３４およびＡＦＥ部３６が読出す受光部２８の画素のアドレスを任意に設定可能である。また、読出アドレス設定部５３は、設定した読出し対象の画素のアドレスを同時化部４３に出力する。

ＣＭＯＳ駆動信号生成部５４は、受光部２８とＣＭＯＳセンサ周辺回路とを駆動するための駆動用のタイミング信号を生成し、集合ケーブル３１内の所定の信号線を介してタイミングジェネレータ３４に出力する。なお、このタイミング信号は、読出し対象の画素のアドレスを含むものである。

制御部５５は、ＣＰＵなどによって構成され、図示しないメモリに格納された各種プログラムを読み込み、プログラムに示された各処理手順を実行することで、各構成部の各駆動制御、これらの各構成部に対する情報の入出力制御、および、これらの各構成部との間で各種情報を入出力するための情報処理とを行う。制御装置４０は、撮像制御のための設定データを、集合ケーブル３１内の所定の信号線を介して先端部５の制御回路３５に出力する。設定データは、受光部２８の撮像速度、受光部２８の任意の画素からの画素情報の読出し速度を指示する指示情報、および、読出した画素情報の伝送制御情報などを含む。制御部５５は、白色光源６１および特殊光光源６２における照射処理を制御するとともに、光を照射する光源の種別に応じて読出しアドレス設定部５３が設定する読出し対象の画素および読み出し順序を変更する。

基準クロック生成部５６は、内視鏡システム１００の各構成部の動作基準となる基準クロック信号を生成し、内視鏡システム１００の各構成部に生成した基準クロック信号を供給する。

光源装置６０は、制御部５５の制御のもと光照射処理を行う。光源装置６０は、ＬＥＤなどによって構成される白色照明光を照射する白色光源６１、白色照射光とは波長帯域が異なる光であって狭帯域バンドパスフィルタによって狭帯域化したＲＧＢいずれかの光を特殊光として照射する特殊光光源６２、調光部５２から送信された光源同期信号にしたがって白色光源６１あるいは特殊光光源６２に供給する電流量や減光フィルタの駆動を制御する光源駆動回路６３、白色光源６１あるいは特殊光光源６２に光源駆動回路６３の制御のもと所定量の電流を供給するＬＥＤドライバ６４を備える。白色光源６１あるいは特殊光光源６２から発せられた光は、ライトガイド２１を介して挿入部２に供給され、先端部５先端から外部に出射する。特殊光光源６２は、たとえば、血液中のヘモグロビンに吸収されやすい狭帯域化された青色光および緑色光の２種の帯域のＮＢＩ照明光を照射する。

この実施の形態１にかかる内視鏡システム１００では、受光部２８の全画素に対応する画像信号が読み出されるのではなく、制御部５５の制御のもと、読出アドレス設定部５３が任意に設定したアドレスの画素のみに対応する画像信号が読み出される。そして、内視鏡システム１００では、光を照射する光源の種別に応じて受光部２８の読出し対象の画素および読み出し順序を変更して、光源が照射する光の波長帯域に対応する画素の輝度値を高めることで、光源の種別によらず適切な画像を取得している。

ＣＭＯＳ撮像素子８０においては、１フレームごとに読み出し対象の画素を変更できる。そこで、実施の形態１では、図４に示すように、制御部５５は、白色光源６１および特殊光光源６２に、交互に光を照射させる。制御部５５は、各光源の１回あたりの照射時間を、ＣＭＯＳ撮像素子８０が１枚の画像に対応する画素情報を出力するのに要する時間に対応して設定する証左時間設定部５７を有し、この証左時間設定部５７の設定に応じて白色光源６１および特殊光光源６２を制御する。さらに、制御部５５は、光を照射する光源の種別に応じて１フレームごとに読出し対象の画素および読み出し順序を変更することによって、白色照明による通常画像とＮＢＩ照明光によるＮＢＩ画像とを同時取得する。

このとき、制御部５５は、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、ＮＢＩ照明光の波長帯域に対応する光が入射するＧ，Ｂ画素の露光時間が全画素を読み出す場合における露光時間よりも長くなるように、タイミングジェネレータ３４の読出しタイミングを制御することによって、特殊光である狭帯域化された青色光および緑色光を受光する受光部２８のＧ，Ｂ画素の輝度値を高めている。

次に、図５〜図９を参照して、実施の形態１における読出し処理について説明する。まず、受光部２８の画素配列の一例について説明する。図５は、受光部２８の画素配列の一例を説明する図である。図５は、受光部２８の一部のみを示す。受光部２８は、たとえば、Ｒ画素とＧ画素が交互に位置するラインと、Ｇ画素とＢ画素が交互に位置するラインが、ラインＡ１〜Ａ３、ラインＢ１〜Ｂ３のように、交互に配置している。図５に示す例では、上下左右に互いに隣り合うＲ，Ｇ、Ｇ，Ｂ画素で１画素が形成される。タイミングジェネレータ３４は、たとえば、図５の左から右に向かう方向にしたがった順に、ライン単位で各画素の画素情報を読み出す。

制御部５５は、白色光源６１が白色照明光を照射する時間帯に対応する１フレーム目においては、所定方向にしたがった順で、全てのラインについてタイミングジェネレータ３４に読み出し処理を行わせる。図６（１）に示すように、ラインＡ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３の順で、タイミングジェネレータ３４に画素情報を読み出させる。このとき、図７に示すように、１ラインにおける露光時間は、それぞれ時間Ｔとなる。

特殊光光源６２がＮＢＩ照明光を照射する時間帯に対応する２フレーム目においては、赤色光のみが透過するフィルタが配列するＲ画素にはＮＢＩ照明光の波長帯域に対応する緑色光および青色光が入射しない。このため、制御部５５は、２フレーム目においては、所定方向にしたがった順で、ＮＢＩ照明光の波長帯域に対応する光が入射するＧ画素およびＢ画素のみが位置するラインＢ１，Ｂ２，Ｂ３（図６（２）参照）の画素情報をタイミングジェネレータ３４に読み出させる。言い換えると、制御部５５は、タイミングジェネレータ３４に、ＮＢＩ照明光の波長帯域に対応する光が入射しないＲ画素の画素情報は読み出させず、Ｇ，Ｂ画素の画素情報のみを読み出させる。

この場合、全ラインのうち半分のラインしか読み出されないため、１ラインあたりの露光時間を延長することができる。すなわち、Ｇ，Ｂ画素が位置するラインＢ１，Ｂ２，Ｂ３の各露光時間を、全画素を読み出す場合における露光時間よりも長くできる。そこで、制御部５５は、タイミングジェネレータ３４における読出し処理の読出しタイミングを制御して、ラインＢ１，Ｂ２，Ｂ３における各露光時間を、全画素を読み出す場合における露光時間よりも長くなるようにしている。図５に示す画素配列の場合には、Ｒ，Ｇ画素が位置するラインＡ１，Ａ２，Ａ３を間引いて読み出すため、Ｇ，Ｂが位置するラインＢ１，Ｂ２，Ｂ３の露光時間を、図８に示すように、図７に示す１ラインあたりの露光時間Ｔの最大２倍まで長くできる。

白色照明光が照射される時間帯に対応する３フレーム目においては、１フレーム目と同様に、制御部５５は、ラインＡ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３の順で、全てのラインの画素情報をタイミングジェネレータ３４に読み出させる（図６（３）参照）。この場合も、１フレーム目と同様に、図９に示すように、１ラインにおける露光時間はそれぞれ時間Ｔとなる。

続いて、ＮＢＩ照明光が照射される時間帯に対応する４フレーム目においては、２フレーム目と同様に、制御部５５は、Ｇ画素およびＢ画素のみが位置するラインＢ１，Ｂ２，Ｂ３の画素情報をタイミングジェネレータ３４に読み出させる（図６（４）参照）。この場合も２フレーム目と同様に、ラインＢ１，Ｂ２，Ｂ３の露光時間を、３フレーム目と比較して露光時間Ｔの最大２倍まで長くできる。以降のフレームにおいても同様に、照射する照射部に対応させて、読出しタイミングおよび読出し対象の画素の設定が変更される。

図１０は、特殊照明光の分光特性と、オンチップフィルタ２７の各波長の透過率とを示す図である。図１０の曲線Ｌ−ＦＢはＢのフィルタの透過率を示し、曲線Ｌ−ＦＧはＧのフィルタの透過率を示し、曲線Ｌ−ＦＲはＲのフィルタの透過率を示す。曲線Ｌ−ＦＢに示すように、Ｂのフィルタは、約４００〜５００ｎｍの波長の光を透過する。曲線Ｌ−ＦＧに示すように、Ｇのフィルタは、約５００〜５７０ｎｍの波長の光を透過する。曲線Ｌ−ＦＲに示すように、Ｒのフィルタは、約６１０〜７８０の光を透過する。そして、図１０に示すように、特殊光光源６２は、ＮＢＩ照明光として、曲線Ｌ−ＮＢに示す約４００〜４３０ｎｍの波長範囲に狭帯域化された青色光と、曲線Ｌ−ＮＧに示す約５３０〜５５０ｎｍの波長範囲に狭帯域化された緑色光を照射する。従来では、特殊光のうち特に青色光ついては、ＮＢＩ照明光のピーク波長λｎ（約４１５ｎｍ）とフィルタの透過率のピーク波長λｆ（約４６０ｎｍ）とがずれてしまい、青色光を受光する受光部のＢ画素の輝度値が確保できない場合があった。

これに対して、実施の形態１にかかる内視鏡システム１００は、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、ＮＢＩ照明光の波長帯域に対応する光が入射するＧ，Ｂ画素のみを、全画素読出し時における露光時間よりも長い露光時間で読み出している。この結果、実施の形態１では、従来必要であった専用撮像素子を設けずとも、青色光および緑色光を受光する受光部２８のＧ，Ｂ画素の輝度値を高めることができ、明るいＮＢＩ画像を取得することが可能になる。

なお、特殊光光源６２が照射する特殊光として狭帯域化された青色光および緑色光の２種の帯域のＮＢＩ照明光を例に説明したが、もちろんこれに限らない。たとえば、被検体内に導入された赤色蛍光あるいは緑色蛍光を発する標識物質、または、生体組織に本来存在する緑色ないし赤色の範囲にスペクトルを有する蛍光物質を検出するため、特殊光光源６２は、青色または青色よりも短波長の紫色の励起光を照射する。この場合、制御部５５は、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、タイミングジェネレータ３４に、検出対象の赤色蛍光あるいは緑色蛍光の波長帯域に対応する赤色光あるいは緑色光が入射するＲ，Ｇ画素が位置するラインＡ１，Ａ２，Ａ３（図５参照）のみを読み出させる。さらに、制御部５５は、検出対象の赤色蛍光あるいは緑色蛍光の波長帯域に対応する赤色光あるいは緑色光が入射するＲ，Ｇ画素の露光時間が、全画素を読み出す場合における露光時間よりも長くなるように、タイミングジェネレータ３４における読出し処理の読出しタイミングを制御する。これによって、特殊光である狭帯域化された赤色光および緑色光を受光する受光部２８のＲ，Ｇ画素の輝度値を高める。

また、特殊光光源６２が狭帯域化された赤色光および緑色光の２種の帯域の特殊光を照射する場合には、制御部５５は、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、タイミングジェネレータ３４に、特殊光の波長帯域に対応する赤色光あるいは緑色光が入射するＲ，Ｇ画素が位置するラインＡ１，Ａ２，Ａ３（図５参照）のみを読み出させる。さらに、制御部５５は、特殊光の波長帯域に対応する赤色光あるいは緑色光が入射するＲ，Ｇ画素の露光時間が、全画素を読み出す場合における露光時間よりも長くなるように、タイミングジェネレータ３４における読出し処理の読出しタイミングを制御する。これによって、特殊光である狭帯域化された赤色光および緑色光を受光する受光部２８のＲ，Ｇ画素の輝度値を高める。

（実施の形態１の変形例１）
次に、実施の形態１の変形例１について説明する。実施の形態１の変形例１においては、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、特殊光の波長帯域に対応する光が入射する画素が位置するラインの画素情報を複数回読み出させ、画像処理において、特殊光の波長帯域に対応する光が入射する画素の各画素情報の輝度値をそれぞれ加算して画像を生成する。

図１１は、実施の形態１の変形例１にかかる内視鏡システムの構成を示すブロック図である。図１１に示すように、実施の形態１の変形例１にかかる内視鏡システム１００ａは、図３に示す制御部５５に代えて、制御部５５ａを有し、画像処理部４２に代えて、画像処理部４２ａを有する制御装置４０ａを備える。

制御部５５ａは、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、読出し処理の読出しタイミングを制御して、タイミングジェネレータ３４に、ＮＢＩ照明光の波長帯域に対応する光が入射するＧ，Ｂ画素のラインのみを読み出させるとともに、ＮＢＩ照明光の波長帯域に対応する光が入射するＧ，Ｂ画素が位置するラインの画素情報を複数回読み出させる。

画像処理部４２ａは、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、Ｇ，Ｂ画素の各画素情報の輝度値をそれぞれ加算してＧ画像およびＢ画像の画像信号を生成する同時化部４３ａを有し、Ｇ，Ｂ画素の各画素情報の輝度値をそれぞれ加算したＧ画像およびＢ画像をもとにＮＢＩ画像を生成する。

図１２〜図１４を参照して、実施の形態１の変形例１における読出し処理について説明する。制御部５５ａは、図４に示す場合と同様に、白色光源６１が白色照明光を照射する時間帯に対応する１フレーム目においては、所定方向にしたがって、全てのラインについてタイミングジェネレータ３４に読み出し処理を行わせる。受光部２８が図５に示す画素配列を有する場合には、図１２（１）に示すように、制御部５５ａは、ラインＡ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３の順で、タイミングジェネレータ３４に画素情報を読み出させる。このとき、図１３に示すように、１ラインにおける露光時間は、それぞれ時間Ｔとなる。

そして、制御部５５ａは、特殊光光源６２がＮＢＩ照明光を照射する時間帯に対応する２フレーム目においては、ＮＢＩ照明光の波長帯域に対応する光が入射するＧ画素およびＢ画素のみが位置するラインＢ１，Ｂ２，Ｂ３（図１２（２）参照）の画素情報をタイミングジェネレータ３４に読み出させる。このとき、タイミングジェネレータ３４は、全ラインのうち半分のラインＡ１，Ａ２，Ａ３は読み出さないため、その分、ラインＢ１，Ｂ２，Ｂ３の画素情報を２回読み出している。すなわち、制御部５５ａは、タイミングジェネレータ３４における読出し処理の読出しタイミングを制御して、ラインＢ１については、図１４に示すように、露光時間Ｔでの読み出し処理を２回連続して行わせる。続いて、制御部５５ａは、次のラインＢ２についても、露光時間Ｔでの読出し処理を２回連続して行なわせる。このように、２フレーム目においては、タイミングジェネレータ３４は、ラインＢ１，Ｂ１，Ｂ２，Ｂ２，Ｂ３，Ｂ３の順で画素情報を読み出す。そして、画像処理部４２ａは、２回ずつ読み出したＧ，Ｂ画素の各画素情報の輝度値をそれぞれ加算してＧ画像およびＢ画像の画像信号を生成する。

白色照明光が照射される時間帯に対応する３フレーム目においては、１フレーム目と同様に、制御部５５ａは、ラインＡ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３の順で、タイミングジェネレータ３４に画素情報を読み出させる（図１２（３）参照）。また、ＮＢＩ照明光が照射される時間帯に対応する４フレーム目においては、２フレーム目と同様に、制御部５５ａは、タイミングジェネレータ３４に、ラインＢ１，Ｂ１、Ｂ２，Ｂ２，Ｂ３，Ｂ３の順で画素情報を読み出させ（図１２（４）参照）、画像処理部４２ａは、２回ずつ読み出したＧ，Ｂ画素の各画素情報の輝度値をそれぞれ加算してＧ画像およびＢ画像の画像信号を生成する。以降のフレームにおいても同様に、照射する照射部に対応させて、読出しタイミングおよび読出し対象の画素の設定が変更される。

このように、実施の形態１の変形例１にかかる内視鏡システム１００ａは、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、ＮＢＩ照明光の波長帯域に対応する光が入射するＧ，Ｂ画素のみを２回連続して読み出し、２回ずつ読み出したＧ，Ｂ画素の各画素情報の輝度値をそれぞれ加算してＮＢＩ画像を生成する。この結果、実施の形態１の変形例１では、実施の形態１と同様に、Ｇ画素およびＢ画素の輝度値が底上げされるため、明るいＮＢＩ画像を取得することができる。

なお、特殊光光源６２が、被検体内に導入された赤色蛍光あるいは緑色蛍光を発する標識物質、または、生体組織に本来存在する緑色ないし赤色の範囲にスペクトルを有する蛍光物質を検出するため、特殊光として青色または青色よりも短波長の紫色の励起光を照射する場合、制御部５５ａは、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、検出対象の赤色蛍光あるいは緑色蛍光の波長帯域に対応するＲ画素およびＧ画素が位置するラインについては、タイミングジェネレータ３４に連続して２回読み出させて、２回ずつ読み出したＲ，Ｇ画素の各画素情報の輝度値をそれぞれ加算して画像を生成すればよい。

また、特殊光光源６２が狭帯域化された赤色光および緑色光の２種の帯域の特殊光を照射する場合には、制御部５５ａは、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、検出対象の赤色蛍光あるいは緑色蛍光の波長帯域に対応するＲ画素およびＧ画素が位置するラインについては、タイミングジェネレータ３４に連続して２回読み出させて、２回ずつ読み出したＲ，Ｇ画素の各画素情報の輝度値をそれぞれ加算して画像を生成すればよい。

（実施の形態１の変形例２）
次に、実施の形態１の変形例２について説明する。実施の形態１の変形例２においては、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、タイミングジェネレータは、隣り合う複数の画素で構成されるブロックに含まれる複数のＧ，Ｂ画素の画素情報を加算してブロック単位で出力する。

図１５は、実施の形態１の変形例２にかかる内視鏡システムの構成を示すブロック図である。図１５に示すように、実施の形態１の変形例２にかかる内視鏡システム１００ｂは、図３に示す制御部５５に代えて、制御部５５ｂを有し、画像処理部４２に代えて、画像処理部４２ｂを有する制御装置４０ｂを備える。

制御部５５ｂは、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、制御部５５と同様に、タイミングジェネレータ３４に、ＮＢＩ照明光の波長帯域に対応する光が入射するＧ，Ｂ画素のみを、露光時間を全画素読出し時における露光時間よりも長くした状態で読み出させる。さらに、制御部５５ｂは、タイミングジェネレータ３４に、隣り合う複数の画素で構成されるブロックに含まれる複数のＧ，Ｂ画素の輝度値をそれぞれ加算してブロック単位でビニング出力させるように読出しアドレス設定部５３の設定を行う。画像処理部４２ｂは、ビニング出力されたＧ画素およびＢ画素の画素情報を用いて、ＮＢＩ画像を生成する。

たとえば、図１６左図に示すように、ラインＡ１，Ｂ１の画素Ｐ１１，Ｐ１２と、ラインＡ２，Ｂ２の画素Ｐ２１，Ｐ２２との４つの画素が１ブロックとして設定される場合を例に説明する。この場合、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、タイミングジェネレータ３４は、図１６右図のブロックＢ１に示すように、この４つの画素Ｐ１１，Ｐ１２，Ｐ２１，Ｐ２２のうち、ラインＢ１，Ｂ２のＧ，Ｂ画素の画素情報を読み出し、読出したＧ，Ｂ画素の輝度値をそれぞれ加算して画素情報ＧＢ１，ＢＢ１としてビニング出力させる。この場合、ラインＡ１，Ａ２のＲ，Ｇ画素については、読出しおよびビニング出力されない。他のブロックにおいても同様に、Ｇ，Ｂ画素のみが位置するラインにおけるＧ，Ｂ画素の輝度値をそれぞれ画素ごとに加算してビニング出力させる。

このように、実施の形態１の変形例２においては、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、ＮＢＩ照明光の波長帯域に対応する光が入射するＧ，Ｂ画素のみを、全画素読出し時における露光時間よりも長い露光時間で読み出すとともに、さらに複数の画素で構成されるブロック単位でＧ，Ｂ画素の画素情報をビニング出力させて、Ｇ画素およびＢ画素の輝度値を底上げしている。

なお、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、実施の形態１の変形例１で説明したようにタイミングジェネレータ３４にＧ，Ｂ画素のみを２回連続して読み出させ、２回ずつ読み出したＧ，Ｂ画素の加算した輝度値をもとに、Ｇ，Ｂ画素の画素情報をブロック単位でビニング出力させてもよい。

また、赤色光および緑色光の波長帯域に含まれる蛍光を発する物質に対して、特殊光光源６２が青色または青色よりも短波長の紫色の励起光を照射する場合、制御部５５ｂは、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、タイミングジェネレータ３４に、ブロック単位でＲ，Ｇ画素の画素情報をビニング出力させればよい。また、特殊光光源６２が狭帯域化された赤色光および緑色光の２種の帯域の特殊光を照射する場合も同様である。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２においては、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、画素領域全体の出力ムラ分布を示すノイズ除去用画像を取得し、ノイズ除去を行なうことによって適切な特殊画像を取得する。

図１７は、実施の形態２にかかる内視鏡システムの構成を示すブロック図である。図１７に示すように、実施の形態２にかかる内視鏡システム２００は、図３に示す制御部５５に代えて、制御部２５５を有し、画像処理部４２に代えて、画像処理部２４２を有する制御装置２４０を備える。

制御部２５５は、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、タイミングジェネレータ３４に、特殊光の波長帯域に対応する光が入射しないＲ画素が位置するラインに対してはＲ画素の画素情報のみを読み出させ、特殊光であるＮＢＩ照明光の波長帯域に対応する光が入射するＧ，Ｂ画素が位置するラインに対してはＧ，Ｂ画素全てを読み出させる。Ｒ画素には特殊光の波長帯域に対応する光が入射しないため、Ｒ画像は、暗電流成分、固定パターン成分を反映したノイズ除去画像として使用できる。

画像処理部２４２の同時化部２４３は、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、Ｇ，Ｂ画素ごとに、Ｇ，Ｂ画素の画素情報の輝度値からＧ，Ｂ画素の最も近くに位置するＲ画素の画素情報の輝度値を減算する減算部２４３ａを有する。画像処理部２４２は、減算部２４３ａの減算処理結果に基づいて画像を生成する。

実施の形態２では、ノイズ除去画像とするために読み出すＲ画素は全画素の４分の１であり、Ｒ画素が位置するラインＡ１，Ａ２，Ａ３（図５参照）の読出し時間は、Ｇ，Ｂ画素が位置するラインＢ１，Ｂ２，Ｂ３の読出し時間よりも短くてすむため、その分、特殊光の波長帯域に対応する光が入射するＧ，Ｂ画素の露光時間を、全画素を読み出す場合における露光時間よりも長くなるように設定している。

次に、図１８〜図２０を参照して、実施の形態２における読出し処理について説明する。制御部２５５は、実施の形態１と同様に、白色光源６１が白色照明光を照射する時間帯に対応する１フレーム目においては、全てのラインについて所定方向にしたがってタイミングジェネレータ３４に読み出し処理を行わせる。たとえば、図１８（１）に示すように、制御部２５５は、ラインＡ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３の順で、タイミングジェネレータ３４に画素情報を読み出させる。このとき、図１９に示すように、１ラインに対応する露光時間は、それぞれ時間Ｔとなる。

そして、制御部２５５は、特殊光光源６２がＮＢＩ照明光を照射する時間帯に対応する２フレーム目においては、ＮＢＩ照明光の波長帯域に対応する光が入射しないＲ画素のみが位置するラインＡ１，Ａ２，Ａ３（図１８（２）参照）については、Ｒ画素の画素情報のみをタイミングジェネレータ３４に読み出させる。そして、制御部２５５は、ＮＢＩ照明光の波長帯域に対応する光が入射するＧ画素およびＢ画素のみが位置するラインＢ１，Ｂ２，Ｂ３（図１８（２）参照）については、全てのＧ画素およびＢ画素の画素情報をタイミングジェネレータ３４に読み出させる。このとき、ラインＡ１，Ａ２，Ａ３についてはＲ画素のみしか読み出さないため、その分、制御部２５５は、Ｇ，Ｂ画素が位置するラインＢ１，Ｂ２，Ｂ３（図１８（２）参照）の露光時間を全画素を読み出す場合における露光時間よりも長くなるように、タイミングジェネレータ３４の読出しタイミングを制御する。たとえば、２列のうちのＲ，Ｇ画素が位置するラインＡ１，Ａ２，Ａ３については、Ｒ画素のみを読み出すため、図２０に示すように、全画素読出し時の１ラインあたりの露光時間Ｔよりも短い露光時間Ｔａで足りる。そして、その分、Ｇ，Ｂが位置するラインＢ１，Ｂ２，Ｂ３の露光時間Ｔｂを、図２０に示すように、図１９に示す１ラインあたりの露光時間Ｔよりも長くする。

このように、２フレーム目においては、ラインＡ１のＲ画素、ラインＢ１、ラインＡ２のＲ画素、ラインＢ２の順で、順次Ｒ，Ｇ，Ｂ画素の画素情報を読み出し、ＮＢＩ画像を構成するＧ，Ｂ画像と、ノイズ除去用画像を構成するＲ画像とを取得する。画像処理部２４２は、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームでは、減算部２４３ａにおいて、ＮＢＩ画像を構成するＧ，Ｂ画像のＧ，Ｂ画素の輝度値から、ノイズ除去用画像であるＲ画像のＲ画素の輝度値を減算してから、画像を生成する。減算部２４３ａは、ラインＡ１のＲ画素の輝度値を、次のラインＢ１のＧ，Ｂ画素の輝度値から減算することで、ラインごとにノイズ除去を行う。このようにノイズ除去する場合、フレームメモリを設けずとも、ラインメモリだけで処理が可能である。

同様に、白色照明光が照射される時間帯に対応する３フレーム目においては、制御部２５５は、図１８（３）のように１フレーム目と同様に、制御部２５５は、ラインＡ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３の順で、タイミングジェネレータ３４に画素情報を読み出させる。また、ＮＢＩ照明光が照射される時間帯に対応する４フレーム目においては、図１８（４）に示すように、２フレーム目と同様に、制御部２５５は、タイミングジェネレータ３４に、ラインＡ１のＲ画素、ラインＢ１、ラインＡ２のＲ画素、ラインＢ２の順で画素情報を読み出させ、ＮＢＩ画像を構成するＧ，Ｂ画像と、ノイズ除去用画像を構成するＲ画像とを取得する。そして、２フレーム目と同様に、画像処理部２４２は、減算２４３ａにおいて、ＮＢＩ画像を構成するＧ，Ｂ画像のＧ，Ｂ画素の輝度値から、ノイズ除去用画像であるＲ画像のＲ画素の輝度値を減算してから、画像を生成する。

このように、実施の形態２では、Ｇ，Ｂが位置するラインの露光時間を、全画素読出し時の露光時間よりも長くしているため、従来必要であった専用撮像素子を設けずとも、青色光および緑色光を受光する受光部２８のＧ，Ｂ画素の輝度値を高めることができ、明るいＮＢＩ画像を取得することが可能になる。

さらに、実施の形態２では、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、画素領域全体の出力ムラ分布を示すノイズ除去用画像とするために、ＮＢＩ画像を構成するＧ，Ｂ画像以外のＲ画像についても画素情報を取得して、Ｇ，Ｂ画像の輝度値との差分をとることによって、画素領域全体にわたって分布する暗電流成分および固定パターン成分を除去し、画像全体のダイナミックレンジを適切に拡大することができる。

なお、実施の形態２では、画像処理部２４２は、ライン単位でノイズを除去した場合を例に説明したが、ノイズ除去用画像であるＲ画像のＲ画素の輝度値をフレーム単位で保持し、１フレーム単位で、ＮＢＩ画像を構成するＧ，Ｂ画像のＧ，Ｂ画素の輝度値から、ノイズ除去用画像であるＲ画像のＲ画素の輝度値を減算して、フレームごとにノイズ除去を行ってもよい。

また、特殊光光源６２が、生体組織に本来存在する蛍光物質、あるいは外部から導入された蛍光を発する標識物質を励起する青または近紫外の励起光を発する場合には、励起光によって励起され発生した赤色あるいは緑色が入射するＲ，Ｇ画素が位置するラインＡ１，Ａ２，Ａ３（図５参照）を長時間露光後に読出させる。続いて、制御部２５５は、特殊光の波長帯域に対応しない青色光が入射するＢ画素が位置するラインＢ１，Ｂ２，Ｂ３（図５参照）においては、短時間露光後にＢ画素のみをノイズ除去用画像として読み出させればよい。そして、画像処理部２４２は、減算部２４３ａにおいて、画像を構成するＲ，Ｇ画素の輝度値から、ノイズ除去用画像のＢ画素の輝度値を減算してから、画像を生成する。また、特殊光光源６２が狭帯域化された赤色光および緑色光の２種の帯域の特殊光を照射する場合も同様である。

（実施の形態３）
次に、実施の形態３について説明する。実施の形態３では、白色光源が白色照明光を照射する各時間帯のうちの一部の時間帯において、白色光源を一定時間消灯して、この白色光源６１の消灯期間に対応させて全画素のうち所定間隔で間引いた一部の画素の画素情報をノイズ除去用として読み出す。

図２１は、実施の形態３にかかる内視鏡システムの構成を示すブロック図である。図２１に示すように、実施の形態３にかかる内視鏡システム３００は、図３に示す制御部５５に代えて、制御部３５５を有し、画像処理部４２に代えて、画像処理部３４２を有する制御装置３４０を備える。

制御部３５５は、白色光源６１が白色照明光を照射する各時間帯のうちの一部の時間帯において、白色光源６１を一定時間消灯させ、タイミングジェネレータ３４に、白色光源６１の消灯期間に対応させて全画素のうち所定間隔で間引いた一部の画素の画素情報をノイズ除去用画像として読み出させる。

画像処理部３４２は、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、特殊光光源６２の特殊光の波長帯域に対応する光が入射するＧ，Ｂ画素の画素情報ごとに、Ｇ，Ｂ画素の画素情報の輝度値から、最も近くに位置するノイズ除去用画像の画素の画素情報の輝度値を減算することによって画素情報のノイズを除去するノイズ除去部３４２ａを有する。画像処理部３４２では、ノイズ除去部３４２ａによってノイズが除去された画素情報に基づいて画像を生成する。

次に、図２２を参照して、実施の形態３における照明制御処理および読出し処理について説明する。制御部３５５は、図２２（１）に示すように、たとえば４フレーム目に対応する照射期間Ｔａの一部期間Ｔｃの間、白色光源６１を消灯させる。そして、制御部３５５は、４フレーム目に対応する照射期間Ｔａのうちの期間Ｔｂにおいて、通常画像用に受光部２８の全画素の画素情報をタイミングジェネレータ３４に読み出させる。制御部３５５は、４フレーム目に対応する照射期間Ｔａのうちの期間Ｔｃにおいて、所定間隔で間引いた一部の画素の画素情報をノイズ除去用としてタイミングジェネレータ３４に読み出させる。

この期間Ｔｃにおいては、白色光源６１および特殊光光源６２のいずれも消灯しており、先端部５が導入される被検体内は、光源からしか光が供給されない。したがって、期間Ｔｃにおいては、いずれの画素においても光は入射しないため、この場合の画素情報は、暗電流成分、固定パターン成分を反映したノイズ除去画像として使用できる。このノイズ除去用として、たとえば、隣り合う２列のラインのうち片方を間引いたラインの画素情報を読み出してもよく、また、Ｒ，Ｇ，Ｂ画素のうちのＲ画素のみの画素情報を読み出してもよい。画像処理部３４２は、ノイズ除去部３４２ａにおいて、ＮＢＩ画像を構成するＧ，Ｂ画素の輝度値から、ノイズ除去用の間引き読出し画像の画素の輝度値を減算してから、画像を生成する。図２２に示すように、フレーム単位でノイズ除去用画像の画素の画素信号を取得する場合には、制御部３５５は、静止画用メモリ５０に照明光消灯時のノイズ除去用画像を保持させる。そして、ノイズ除去部３４２ａは、次に出力されるＮＢＩ画像を構成するＧ，Ｂ画素の輝度値から、ノイズ除去用の間引き読出し画像の画素の輝度値を減算する。または、ノイズ除去部３４２ａは、次に出力される通常画像を構成するＲ，Ｇ，Ｂ画素の輝度値から、ノイズ除去用の間引き読出し画像の画素の輝度値を減算する。実施の形態３では、フレームごとにノイズを除去した画像を取得する。

このように、実施の形態３においては、光源を消灯させた場合の画素情報を、画素領域全体の出力ムラ分布を示すノイズ除去用画像として画素情報を取得し、ＮＢＩ画像を構成するＧ，Ｂ画素の輝度値との差分をとることによって、実施の形態２と同様に、画像全体のダイナミックレンジを適切に拡大することができる。

なお、実施の形態３では、画像処理部３４２は、フレーム単位でノイズを除去した場合を例に説明したが、ノイズ除去用画像を構成する画素の輝度値をライン単位で保持し、１ライン単位で、ＮＢＩ画像を構成するＧ，Ｂ画像のＧ，Ｂ画素の輝度値から、ノイズ除去用画像の画素の輝度値を減算して、ラインごとにノイズ除去を行ってもよい。

また、実施の形態３では、実施の形態１と同様に、特殊光光源６２から照射される特殊光で照明された被写体を撮像して画素情報を出力するフレームにおいては、Ｒ画素が位置するラインの画素情報は読み出さずＧ，Ｂ画素が位置するラインの露光時間を全画素読出し時の露光時間よりも長くしてもよく、Ｇ，Ｂ画素が位置するラインを２回読み出してもよい。さらに、読み出したＧ，Ｂ画素の画素情報をブロックごとにビニング出力してもよい。また、実施の形態３では、ＮＢＩ画像を例に説明したが、もちろん蛍光観察時にも適用できる。

また、制御部３５５は、図２３（１）に示すように、白色光源６１が白色照明光を照射する時間帯ごとに、白色光源６１を一定時間毎回消灯させてもよい。そして、制御部３５５は、図２３（２）に示すように、この白色光源６１の消灯期間Ｔｇにおいて、毎回、所定間隔で間引いた一部の画素の画素情報をノイズ除去用としてタイミングジェネレータ３４に読み出させてもよい。この場合、白色照明光が照射される時間帯に対応するフレームにおいては、期間Ｔａの一部の消灯期間Ｔｇがノイズ除去画像用の露光時間となるため、通常画像用の露光時間は、照射期間Ｔａから消灯期間Ｔｇを除いた残りの期間Ｔｆとなる。このとき、ＮＢＩ画像用の露光時間、通常画像用の露光時間およびノイズ除去画像用の露光時間はそれぞれ異なるため、露光時間で重みづけを行なえばよい。

また、実施の形態１〜３では、図５のように受光部２８の横方向の１ラインごとに、上から下に向かって画素情報を読み出す場合を例に説明したが、もちろん、縦方向の１ラインごとに左から右に向かって画素情報を読み出してもよい。

また、本実施の形態は、内視鏡システムに限らず、デジタルカメラ、デジタル一眼レフカメラ、デジタルビデオカメラ又はカメラ付き携帯電話等の撮影装置に適用しても、効率化が可能である。

１ 内視鏡
２ 挿入部
３ 操作部
４ ユニバーサルコード
５ 先端部
６ 湾曲部
７ 可撓管部
８ コネクタ部
９ ライトガイドコネクタ
１０ 電気接点部
１１ 送気口金
１２ 湾曲ノブ
１３ 処置具挿入部
１４ スイッチ
１５ 開口部
１６ 処置具
２１ ライトガイド
２２ 照明レンズ
２３ 観察窓
２４ａ，２４ｂ レンズ
２５ カバーガラス
２６ 回路基板
２７ オンチップフィルタ
２８ 受光部
３０ チップコンデンサ
３１ 集合ケーブル
３２ 電極
３３ 処置具用チャンネル
３４ タイミングジェネレータ
３５ 制御回路
３６ ＡＦＥ部
３７ ノイズ除去部
３８ Ａ／Ｄ変換部
３９ Ｐ／Ｓ変換部
４０，４０ａ，４０ｂ，２４０，３４０ 制御装置
４１ Ｓ／Ｐ変換部
４２，４２ｂ，２４２ 画像処理部
４３ 同時化部
４４ ＷＢ調整部
４５ ゲイン調整部
４６ γ補正部
４７ Ｄ／Ａ変換部
４８ フォーマット変更部
４９ サンプル用メモリ
５０ 静止画像用メモリ
５１ 明るさ検出部
５２ 調光部
５３ 読出アドレス設定部
５４ ＣＭＯＳ駆動信号生成部
５５，５５ａ，５５ｂ，２５５，３５５ 制御部
５６ 基準クロック生成部
６０ 光源装置
６１ 白色光源
６２ 特殊光光源
６３ 光源駆動回路
６４ ＬＥＤドライバ
７１ 表示部
７２ 入力部
７３ 出力部
７４ 記憶部
１００，１００ａ，１００ｂ，２００，３００ 内視鏡システム

Claims (16)

1. 被写体に対して第１の光を照射する第１の照射部と、
   前記被写体に対して、前記第１の光とは波長帯域が異なる第２の光を照射する第２の照射部と、
   撮像用の複数の画素のうち読出し対象として任意に指定された画素から光電変換後の電気信号を画素情報として出力可能である撮像部と、
   前記撮像部における読出し対象の画素および読出し順序を任意に設定可能である設定部と、
   前記第１の照射部および前記第２の照射部における照射処理を制御するとともに、光を照射する照射部の種別に応じて前記設定部が設定する読出し対象の画素および読み出し順序を変更する制御部と、
   前記設定部の設定に応じた読み出し順にしたがって、前記撮像部における前記撮像用の複数の画素のうち前記設定部により読出し対象として設定された画素から画素情報を出力させることで画素情報を読出す読出し部と、
   前記読出し部が読出した画素情報から画像を生成する画像処理部と、
   前記画像処理部が生成した画像を表示する表示部と、
   を備え、
   前記制御部は、前記撮像部が前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記読出し部が前記第２の光の波長帯域に対応する光が入射しない第１の画素からは画素情報を読み出さず、かつ、前記第１の画素を露光して読み出すための期間および前記第２の光の波長帯域に対応する光が入射する第２の画素から画像情報を読み出す期間において、前記第２の画素を露光させ、該露光させた前記第２の画素から画素情報を読み出すように制御することを特徴とする撮像装置。
2. 前記第２の光は、前記第１の光よりも狭い波長帯域の光であることを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記読出し部が前記第２の光の波長帯域に対応する光が入射する第２の画素から画素情報を読み出すように制御することを特徴とする請求項１に記載の撮像装置。
4. 前記制御部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記読出し部に、前記第２の画素のみが位置するラインの画素情報を読み出させることを特徴とする請求項３に記載の撮像装置。
5. 前記制御部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記第２の画素の露光時間が全画素を読み出す場合における露光時間よりも長くなるように、前記読出し部の読出しタイミングを制御することを特徴とする請求項３に記載の撮像装置。
6. 前記画素情報は、輝度値を含み、
   前記制御部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記読出し部に前記第２の画素の画素情報を複数回読み出させ、
   前記画像処理部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、複数回読み出された前記第２の画素の各画素情報の輝度値をそれぞれ加算して画像を生成することを特徴とする請求項３に記載の撮像装置。
7. 前記制御部は、前記読出し部に、互いに隣り合う複数の画素で構成されるブロックに含まれる複数の前記第２の画素の輝度値を加算してブロック単位で出力させるように前記設定部を設定することを特徴とする請求項３に記載の撮像装置。
8. 前記制御部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記読出し部に、前記第２の光の波長帯域に対応する光が入射しない第１の画素が位置する第１のラインに対しては前記第１の画素の画素情報のみを読み出させ、前記第２の光の波長帯域に対応する光が入射する第２の画素が位置する第２のラインに対しては前記第２の画素全てを読み出させ、
   前記画像処理部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記第２の画素ごとに、前記第２の画素の画素情報の輝度値から前記第２の画素の最も近くに位置する前記第１の画素の画素情報の輝度値を減算する減算部をさらに有し、該減算部の減算処理結果に基づいて画像を生成することを特徴とする請求項１に記載の撮像装置。
9. 前記制御部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記第２の画素の露光時間が全画素を読み出す場合における露光時間よりも長くなるように、前記読出し部の読出しタイミングを制御することを特徴とする請求項８に記載の撮像装置。
10. 前記制御部は、前記第１の照射部が第１の光を照射する各時間帯のうちの一部の時間帯において、前記第１の照射部を一定時間消灯させ、前記読出し部に、前記第１の照射部の消灯期間に対応させて全画素のうち所定間隔で間引いた一部の画素の画素情報をノイズ除去用として読み出させ、
    前記画像処理部は、前記第２の照射部から照射される第２の光で照明された前記被写体を撮像して画素情報を出力するフレームにおいては、前記第２の画素の画素情報の輝度値から、最も近くに位置するノイズ除去用の画素の画素情報の輝度値を減算することによって前記画素情報のノイズを除去するノイズ除去部をさらに有し、該ノイズ除去部によってノイズが除去された前記画素情報に基づいて画像を生成することを特徴とする請求項３に記載の撮像装置。
11. 前記制御部は、前記第１の照射部が第１の光を照射する時間帯ごとに、前記第１の照射部を一定時間消灯させることを特徴とする請求項１０に記載の撮像装置。
12. 前記制御部は、前記読出し部に、一定方向にしたがった順で、ライン単位で画素情報を読出させることを特徴とする請求項１に記載の撮像装置。
13. 前記制御部は、前記第１の照射部および前記第２の照射部に交互に光を照射させ、
    前記第１の照射部および前記第２の照射部の一回あたりの照射時間を、前記撮像部が１枚の画像に対応する画素情報を出力するのに要する時間に対応して設定する照射時間設定部をさらに有することを特徴とする請求項１に記載の撮像装置。
14. 前記第２の照射部は、前記第２の光として、緑色光および青色光の波長帯域に含まれる光を照射し、
    前記制御部は、前記第２の照射部が第２の光を照射するフレームにおいては、前記読出し部に、前記第２の光の波長帯域に対応する緑色光および青色光の光が入射する画素の画素情報を読み出させることを特徴とする請求項１に記載の撮像装置。
15. 前記第２の照射部は、前記第２の光として、赤色光および緑色光の波長帯域に含まれる蛍光を発する物質に対する励起光を照射し、
    前記制御部は、前記第２の照射部が前記励起光を照射するフレームにおいては、前記読出し部に、前記励起光に対応する赤色蛍光または緑色蛍光の光が入射する画素の画素情報を読み出させることを特徴とする請求項１に記載の撮像装置。
16. 前記第２の照射部は、前記第２の光として、赤色光および緑色光の波長帯域に含まれる光を照射し、
    前記制御部は、前記第２の照射部が第２の光を照射するフレームにおいては、前記読出し部に、前記第２の光の波長帯域に対応する赤色光または緑色光の光が入射する画素の画素情報を読み出させることを特徴とする請求項１に記載の撮像装置。

Images