JP5927370B1 - 撮像装置および処理装置 - Google Patents

Abstract

内視鏡システム１は、照明部４２、複数の画素が行列状に配置された受光部２９ａ、受光部２９ａから水平ラインごとに画素信号を読み出す読み出し部２９ｂ、読み出し部２９ｂが受光部２９ａの全ての水平ラインを読み出す読み出し期間の少なくとも一部において照明光を出射させる第１の照明状態と、読み出し期間では照明光を出射させない第２の照明状態と、のいずれかに照明部４２の照明状態を切り替える照明制御部３６、および、照明部４２の照明状態が、一つ前の読み出し期間の照明状態から他方の照明状態に切り替えられた読み出し期間に読み出された画素信号に対しては、水平ラインごとに異なるゲイン係数を乗じることによりゲイン調整を行うゲイン調整部３２を備える。

Description

本発明は、被写体を撮像して画素信号を生成する撮像装置、および画素信号を処理する処理装置に関する。

従来、医療分野においては、被検体内部の観察のために内視鏡システムが用いられている。内視鏡は、一般に、患者等の被検体内に細長形状をなす可撓性の挿入部を挿入し、この挿入部先端から、光源装置から供給された照明光を照明し、この照明光の反射光を挿入部先端の撮像部で受光することによって、体内画像を撮像する。このように内視鏡の撮像部によって撮像された体内画像は、内視鏡システムの処理装置において所定の画像処理を施された後に、内視鏡システムのディスプレイに表示される。医師等のユーザは、ディスプレイに表示される体内画像に基づいて、被検体の臓器の観察を行う。

このような内視鏡システムが有する撮像素子として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを適用する場合がある。ＣＭＯＳセンサは、水平ラインごとにタイミングをずらして露光または読み出しを行うローリングシャッタ方式によって画像データを生成する場合がある。

一方、照明用の光源としてＬＥＤやレーザーダイオードのような固体光源は、素子に流す電流を調整することで、明るさを簡単に変化させることができること、従来のランプに比べ小型、省電力であること、応答速度が速いことなど多くのメリットがあり急速に普及しつつある。しかしながら、これらの光源は、流す電流値、または、光源自身の温度によって発光する分光特性が変わることも知られており、これを回避するために電流制御の他、光源の発光時間による照明光量の制御（ＰＷＭ制御）が行われている。これにより、従来のハロゲンやキセノン光源のように照明光量を調整する場合の絞り機構などが不要となり装置の小型化を実現できるとともに、稼動部分がないために故障の確率を低減できる。

この内視鏡システムでは、遠点を観察する場合には、照明光を連続点灯させる制御を行い、近点を観察する場合には、ＣＭＯＳ撮像素子のＶブランク期間内でのＰＷＭ制御および電流制御を行って、照明光の明るさを調整する方法が提案されている（たとえば、特許文献１参照）。

特許第５４５２７８５号公報

しかしながら、特許文献１に記載の方法では、連続点灯とＰＷＭ制御との切り替えによって、ＣＭＯＳセンサにおける水平ラインごとの露光量が大きく変動し、明暗のムラ（輝度ムラ）が顕著に生じてしまう結果、ディスプレイに表示される画像の明るさが滑らかに変化しないという問題があった。また、照明状態の切り替え時に静止画フリーズをかけると、水平ラインごとの露光量が大きく変動するため、水平方向の輝度ムラが生じてしまい、画像品質を保持できないという問題があった。

本発明は、上記に鑑みてなされたものであって、照明状態を切り替えた場合でもディスプレイ画像の明るさの滑らかな変化と画像品質とを保持できる撮像装置および処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被写体を照明するための照明光を出射する照明部と、前記照明部による照明光で照明された前記被写体からの光を受光し、受光した光を光電変換して画素信号を生成する複数の画素が複数の水平ライン上に配列されてなる受光部と、前記受光部の前記複数の画素に対して前記水平ラインごとに露光を順次開始させ、露光開始から所定の露光期間が経過した前記水平ラインに属する複数の画素から画素信号を順次読み出すように制御する撮像制御部と、前記水平ラインごとに順次前記画素信号を読み出すための読み出し期間内における照明状態を、第１の照明状態と、該第１の照明状態と異なる第２の照明状態と、の間で切り替える制御を行う照明制御部と、前記照明部の照明状態が、前記第１の照明状態から前記第２の照明状態に切り替えられた後の前記読み出し期間に読み出された画素信号に対して、水平ラインごとに異なるゲイン係数を乗じることによりゲイン調整を行う信号処理部と、を備えたことを特徴とする。

また、本発明にかかる撮像装置は、前記第１の照明状態は、前記読み出し期間内の少なくとも一部において照明光を出射させる照明状態であり、前記第２の照明状態は、前記読み出し期間ないでは照明光を出射させない照明状態であることを特徴とする。

また、本発明にかかる撮像装置は、前記信号処理部は、前記照明部の照明状態が、前記一つ前の読み出し期間の照明状態である前記第１の照明状態から、前記第２の照明状態に切り替えられた前記読み出し期間に読み出された画素信号に対しては、後から読み出された水平ラインほど相対的に高いゲイン係数を乗じることによりゲイン調整を行うことを特徴とする。

また、本発明にかかる撮像装置は、前記信号処理部は、前記照明部の照明状態が、前記一つ前の読み出し期間の照明状態である前記第２の照明状態から、前記第１の照明状態に切り替えられた前記読み出し期間に読み出された画素信号に対しては、後から読み出された水平ラインほど相対的に低いゲイン係数を乗じることによりゲイン調整を行うことを特徴とする。

また、本発明にかかる撮像装置は、前記読み出された画素信号をもとに前記被写体の明るさを検出する明るさ検出部をさらに備え、前記照明制御部は、前記明るさ検出部が検出した前記被写体の明るさに基づいて、前記第１の照明状態と前記第２の照明状態との切り替えを行うことを特徴とする。

また、本発明にかかる撮像装置は、前記照明制御部は、１フレーム期間の開始タイミングで前記第１の照明状態と前記第２の照明状態との切り替えを行うことを特徴とする。

また、本発明にかかる撮像装置は、前記照明制御部は、前記読み出し期間以外において前記照明部が出射する照明光の強度および照明時間を可変制御し、前記第１の照明状態では、前記読み出し期間の少なくとも一部において前記照明部が出射する照明光の強度を一定に保持することを特徴とする。

また、本発明にかかる撮像装置は、前記照明制御部は、前記照明部の照明状態を切り替えた直後の１フレーム期間中に前記照明部が出射する光量の積算値と、該１フレーム期間の次の１フレーム期間中に前記照明部が出射する光量の積算値と、が等しくなるように前記照明部が出射する照明光の光量を制御することを特徴とする。

また、本発明にかかる撮像装置は、被検体内に挿入される挿入部と、挿入部と接続する処理装置と、挿入部に照明光を供給する光源装置と、を備えた内視鏡システムであって、前記挿入部は、前記受光部および前記撮像制御部を備え、前記処理装置は、前記照明制御部および前記信号処理部を備え、前記光源装置は、前記照明部を備えたことを特徴とする。

また、本発明にかかる処理装置は、照明光を出射する照明装置を制御するとともに、前記照明光で照明された被写体からの光を光電変換する複数の画素がすく数の水平ライン上に配列されてなる受光部から、撮像制御部によって前記水平ラインごとに露光を順次開始させ、露光開始から所定の露光期間が経過した前記水平ラインに属する複数の画素から順次読み出された画素信号を処理するであって、前記水平ラインごとに順次前記画素信号を読み出すための読み出し期間内における照明状態を、第１の照明状態と、該第１の照明状態と異なる第２の照明状態と、の間で切り替える制御を行う照明制御部と、前記照明部の照明状態が、前記第１の照明状態から前記第２の照明状態に切り替えられた後の前記読み出し期間に前記読み出し部によって読み出された画素信号に対しては、水平ラインごとに異なるゲイン係数を乗じることによりゲイン調整を行う信号処理部と、を備えたことを特徴とする。

本発明によれば、第１の照明状態と、第１の照明状態とは異なる第２の照明状態との間で照明部の照明状態を切り替える制御を行い、照明状態が切り替えられた後の読み出し期間に読み出された画素信号に対して、水平ラインごとに異なるゲイン係数を乗じることによりゲイン調整を行って画像の輝度ムラをなくしているため、照明状態を切り替えた場合でもディスプレイ画像の明るさの滑らかな変化と画像品質とを保持することができる。

図１は、本発明の実施の形態にかかる内視鏡システムの概略構成を示す模式図である。 図２は、図１に示す内視鏡システムの構成を模式的に示すブロック図である。 図３は、図２に示す照明部が出射する照明光の照射処理、撮像部の露光および読み出し期間、および、ゲイン調整部による画素信号に対するゲイン調整処理を説明する図である。 図４Ａは、図２に示す読出し部が読み出した画素信号に対応する画像の一例を示す図である。 図４Ｂは、図２に示す信画像処理部において処理される画素信号に対応する画像の一例を示す図である。 図５は、図２に示す撮像部の露光および読み出し期間、照明部が出射する照明光の照射処理、および、ゲイン調整部による画素信号に対するゲイン調整処理を説明する図である。 図６Ａは、図２に示す読出し部が読み出した画素信号に対応する画像の一例を示す図である。 図６Ｂは、図２に示す画像処理部において処理される画素信号に対応する画像の一例を示す図である。

以下の説明では、本発明を実施するための形態（以下、「実施の形態」という）として、内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。

（実施の形態）
図１は、本発明の実施の形態にかかる内視鏡システムの概略構成を示す模式図である。図１に示すように、本実施の形態にかかる内視鏡システム１は、被検体内に導入され、被検体の体内を撮像して被検体内の画像信号を生成する内視鏡２（スコープ）と、内視鏡２によって撮像された画像信号に対して所定の画像処理を行うとともに内視鏡システム１の各部を制御する処理装置３と、内視鏡２の照明光（観察光）を生成する光源装置４と、処理装置３が画像処理を施した画像信号に対応する画像を表示する表示装置５と、を備える。

内視鏡２は、被検体内に挿入される挿入部２１と、挿入部２１の基端部側であって術者が把持する操作部２２と、操作部２２より延伸する可撓性のユニバーサルコード２３と、を備える。

挿入部２１は、照明ファイバ（ライトガイドケーブル）および電気ケーブル等を用いて実現される。挿入部２１は、被検体内を撮像する撮像素子としてＣＭＯＳ撮像素子を内蔵した撮像部を有する先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端部側に設けられた可撓性を有する可撓管部２６と、を有する。先端部２４には、照明レンズを介して被検体内を照明する照明部、被検体内を撮像する撮像部、処理具用チャンネルを連通する開口部（図示せず）および送気・送水用ノズル（図示せず）が設けられている。

操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２ａと、被検体の体腔内に生体鉗子、レーザメス等の処置具が挿入される処置具挿入部２２ｂと、処理装置３、光源装置４、送気装置、送水装置および送ガス装置等の周辺機器の操作を行う複数のスイッチ部２２ｃと、を有する。処置具挿入部２２ｂから挿入された処置具は、内部に設けられた処置具用チャンネルを経て挿入部２１先端の開口部から表出する。

ユニバーサルコード２３は、照明ファイバおよび電気ケーブル等を用いて構成される。ユニバーサルコード２３は、基端で分岐した処理装置３および光源装置４に着脱自在なコネクタ２７を有する。ユニバーサルコード２３は、先端部２４に設けられた撮像部が撮像した画像信号を、コネクタ２７を介して、処理装置３に伝送する。ユニバーサルコード２３は、光源装置４から出射された照明光を、コネクタ２７、操作部２２および可撓管部２６を介して先端部２４に伝播する。

処理装置３は、ユニバーサルコード２３を介して入力された内視鏡２の先端部２４における撮像部が撮像した被検体内の撮像信号に対して所定の画像処理を施す。処理装置３は、ユニバーサルコード２３を介して内視鏡２の操作部２２におけるスイッチ部２２ｃから送信された各種の指示信号に基づいて、内視鏡システム１の各部を制御する。

光源装置４は、白色光を出射する光源や集光レンズ等を用いて構成される。光源装置４は、白色光源からの白色光を、コネクタ２７およびユニバーサルコード２３の照明ファイバを介して接続された内視鏡２へ、被写体である被検体内へ向けて照明するための照明光として供給する。

表示装置５は、液晶または有機ＥＬ（Electro Luminescence）を用いた表示ディスプレイ等を用いて構成される。表示装置５は、映像ケーブルを介して処理装置３によって所定の画像処理が施された表示用画像信号に対応する画像を含む各種情報を表示する。これにより、術者は、表示装置５が表示する画像（体内画像）を見ながら内視鏡２を操作することにより、被検体内の所望の位置の観察および性状を判定することができる。

つぎに、図１で説明した内視鏡システム１の構成について説明する。図２は、図１に示す内視鏡システム１の構成を模式的に示すブロック図である。

内視鏡２は、先端部２４に撮像部２９を有する。撮像部２９は、受光面に結像された光学像から被検体内を表す画素信号を生成する受光部２９ａと、読み出し部２９ｂと、アナログフロントエンド部（以下、「ＡＦＥ部」という）２９ｃと、撮像制御部２９ｄを備える。なお、受光部２９ａの受光面側には、対物レンズ等の光学系（不図示）が配置される。

受光部２９ａは、受光面に、光源装置４により照明された被写体からの光を受光し、受光した光を光電変換して画素信号を生成する複数の画素が配置される。受光部２９ａには、複数の画素が行列状に配置される。受光部２９ａには、二以上の画素が水平方向に沿って配置される画素行（水平ライン）が、垂直方向に複数並ぶように配置される。受光部２９ａは、受光面に結像された光学像から被検体内を表す画素信号を生成する。

読み出し部２９ｂは、受光部２９ａにおける複数の画素に対する露光と複数の画素からの画素信号の読み出しとを行う。受光部２９ａおよび読み出し部２９ｂは、たとえば、ＣＭＯＳ撮像素子によって構成され、水平ラインごとの露光、かつ、読み出しが可能であり、読み出し部２９ｂは、露光および読み出しを行う撮像動作を先頭の水平ラインから実行し、水平ラインごとにタイミングをずらして、電荷リセット、露光および読み出しを行うローリングシャッタ方式によって画素信号を生成することも可能である。したがって、撮像部２９がローリングシャッタ方式を採用した場合には、１つの撮像期間（フレーム）であっても、水平ラインごとに露光タイミングおよび読み出しタイミングがそれぞれ異なる。

ＡＦＥ部２９ｃは、読み出し部２９ｂが読み出した画素信号の電気信号に対して、ノイズ除去や、Ａ／Ｄ変換などを行う。ＡＦＥ部２９ｃは、電気信号（アナログ）に含まれるノイズ成分の低減、出力レベルの維持のための電気信号の増幅率（ゲイン）の調整、および、アナログの電気信号のＡ／Ｄ変換を行う。

撮像制御部２９ｄは、処理装置３から受信した制御信号にしたがって、撮像部２９の受光部２９ａ、読み出し部２９ｂおよびＡＦＥ部２９ｃの各種動作を制御する。撮像部２９が生成した画像信号（デジタル）は、図示しない信号ケーブルやコネクタ２７を介して、処理装置３に出力される。

次に、処理装置３について説明する。処理装置３は、画像処理部３１と、表示制御部３３と、明るさ検出部３４と、制御部３５と、入力部３８と、記憶部３９とを備える。

画像処理部３１は、撮像部２９の読み出し部２９ｂによって読み出された複数の画素の画素信号（画像信号）に対し、所定の信号処理を行う。画像処理部３１は、画素信号に対して、オプティカルブラック減算処理、ゲイン調整処理、ホワイトバランス（ＷＢ）調整処理、撮像素子がベイヤー配列の場合には画像信号の同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。画像処理部３１は、ゲイン調整処理を実行するゲイン調整部３２を備える。

表示制御部３３は、画像処理部３１が処理した画像信号から、表示装置５に表示させるための表示用画像信号を生成し、表示装置５へ出力する。表示装置５に出力される表示用画像信号は、たとえば、ＳＤＩ，ＤＶＩ，ＨＤＭＩ（登録商標）形式等のデジタル信号である。あるいは、表示制御部３３は、表示用画像信号をデジタル信号からアナログ信号に変換後、変換したアナログ信号の画像データをハイビジョン方式等のフォーマットに変更して、表示装置５へ出力してもよい。

明るさ検出部３４は、読み出し部２９ｂによって読み出された画素信号をもとに被写体の明るさを検出する。明るさ検出部３４は、たとえば、画像処理部３１からサンプル用の画像データを取得し、各画素に対応する明るさレベルを検出し、検出した明るさレベルを制御部３５に出力する。

制御部３５は、ＣＰＵ等を用いて実現される。制御部３５は、処理装置３の各部の処理動作を制御する。制御部３５は、処理装置３の各構成に対する指示情報やデータの転送等を行うことによって、処理装置３の動作を制御する。制御部３５は、各ケーブルを介して撮像部２９および光源装置４にそれぞれに接続されている。制御部３５は、照明制御部３６と、ゲイン設定部３７とを有する。

照明制御部３６は、後述する照明部４２の照明状態を、１フレーム期間のうち読み出し部２９ｂが受光部２９ａの全ての水平ラインを読み出す読み出し期間の少なくとも一部において照明光を出射させる第１の照明状態と、読み出し期間では照明光を出射させない第２の照明状態と、のいずれかの状態に切り替える制御を行う。照明制御部３６は、明るさ検出部３４が検出した被写体の明るさに基づいて、第１の照明状態と第２の照明状態との切り替えを行う。照明制御部３６は、１フレーム期間の開始タイミングで第１の照明状態と第２の照明状態との切り替えを行う。

照明制御部３６は、第１の照明状態では、読み出し期間の少なくとも一部において照明部４２が出射する照明光の強度を一定に保持する。すなわち、照明制御部３６は、一回の読み出し期間中の少なくとも一部では、時間的な光量変化がないように照明部４２の照明状態を制御している。照明制御部３６は、読み出し期間以外において照明部４２が出射する照明光の強度および照明時間を可変制御する。言い換えると、照明制御部３６は、読み出し期間以外では、光源装置４の照明部４２が出射する照明光の強度および照明時間をＰＷＭ制御する。これによって、照明制御部３６は、照明部４２の照明状態を切り替えた直後の１フレーム期間中に照明部４２が出射する光量の積算値と、該１フレーム期間の次の１フレーム期間中に照明部４２が出射する光量の積算値と、が等しくなるように照明部４２が出射する照明光の光量を制御して、照明部４２が出射する照明光の光量カーブの連続的変化を可能とする。照明制御部３６は、明るさ検出部３４が検出した画像信号に含まれる被写体の明るさをもとに、照明部４２が出射する照明光の光量や照明光の照射タイミング等を設定し、この設定した条件を含む調光信号を光源装置４に出力する。

ゲイン設定部３７は、明るさ検出部３４が検出した明るさレベルをもとに、ゲイン係数を求め、求めたゲイン係数をゲイン調整部３２へ出力する。ゲイン設定部３７は、照明部４２による照明状態が、一つ前の読み出し期間の照明状態から他方の照明状態に切り替えられた読み出し期間に読み出し部２９ｂによって読み出された画素信号に対しては、水平ラインごとに異なるゲイン係数を設定する。このため、ゲイン調整部３２は、照明部４２による照明状態が、一つ前の読み出し期間の照明状態から他方の照明状態に切り替えられた読み出し期間に読み出し部２９ｂによって読み出された画素信号に対しては、水平ラインごとに異なるゲイン係数を乗じることによりゲイン調整を行う。

入力部３８は、マウス、キーボードおよびタッチパネル等の操作デバイスを用いて実現され、内視鏡システム１の各種指示情報の入力を受け付ける。具体的には、入力部３８は、被検体情報（たとえばＩＤ、生年月日、名前等）、内視鏡２の識別情報（たとえばＩＤや検査対応項目）および検査内容等の各種指示情報の入力を受け付ける。

記憶部３９は、揮発性メモリや不揮発性メモリを用いて実現され、処理装置３および光源装置４を動作させるための各種プログラムを記憶する。記憶部３９は、処理装置３の処理中の情報を一時的に記憶する。記憶部３９は、読み出し部２９ｂによって読み出された画素信号を、フレーム単位で記憶する。記憶部３９は、処理装置３の外部から装着されるメモリカード等を用いて構成されてもよい。

つぎに、光源装置４について説明する。光源装置４は、光源制御部４１と、光源ドライバ４３および光源４４を備える照明部４２とを有する。

光源制御部４１は、照明制御部３６の制御のもと、照明部４２の照明光の出射処理を制御する。光源ドライバ４３は、光源制御部４１の制御のもと、光源４４に所定の電力を供給する。光源４４は、白色光を出射する白色ＬＥＤ等の光源と、集光レンズなどの光学系とを用いて構成される。光源４４は、内視鏡２に供給する照明光を発生する。光源４４から発せられた光は、ライトガイドケーブル２８によって、コネクタ２７およびユニバーサルコード２３を介して挿入部２１の先端部２４の照明窓２８ａから被写体に照明される。なお、照明窓２８ａ近傍には、撮像部２９が配置される。

まず、徐々に照明光の光量を減少させるために、照明部４２の照明状態を、第１の照明状態から第２の照明状態に切り替える場合について説明する。図３は、内視鏡システム１における照明部４２が出射する照明光の照明処理、撮像部２９の露光および読み出し期間、および、ゲイン調整部３２による読み出し部２９ｂが読み出した画素信号に対するゲイン調整処理を示す図である。図３の（１）は、照明部４２によって出射される照明光の照明タイミングおよび強度を示すタイミングチャートである。図３の（２）は、撮像部２９における露光および読み出し期間を示すタイミングチャートである。図３の（３）は、ゲイン調整部３２がゲイン調整処理のために実際に用いる各ゲイン係数を時系列に示した模式図である。図３の（３）においては、実際にゲイン調整部３２によるゲイン調整処理時に使用されるゲイン係数と、ゲイン調整対象となる水平ラインの読み出しタイミングとが、同一直線上に位置するように、ゲイン調整部３２のゲイン調整処理に対応する時間軸を移動させている。

撮像部２９が、水平ラインごとに露光および読み出しのタイミングを変えるローリングシャッタ方式を適用する場合には、図３の（２）に示すように、同一フレームの画素信号であっても、水平ラインごとに露光および読み出しのタイミングが異なる。フレームＮについては、時間ｔａから時間ｔｄのフレーム期間Ｔ_Ｎのうち、時間ｔｃから時間ｔｄまでの期間が、読み出し部２９ｂが受光部２９ａの全ての水平ラインの画素信号Ｄ_Ｎを読み出す読み出し期間Ｒ_Ｎとなる。読み出し期間Ｒ_Ｎ以外の時間ｔａから時間ｔｄのうち、一つ前のフレーム（Ｎ−１）の読み出し期間Ｒ_{（Ｎ−１）}と重複する時間ｔａから時間ｔｂまでの期間において、フレーム（Ｎ−１）における読み出し処理が終了した先頭の水平ラインから順に露光が開始され、時間ｔｂから時間ｔｃまでは、受光部２９ａの全水平ラインが同時に露光される全ライン同時露光期間（Ｖブランク期間）Ｖ_Ｎとなる。フレーム（Ｎ＋１）については、時間ｔｃから時間ｔｆまでのフレーム期間Ｔ_{（Ｎ＋１）}のうち、時間ｔｅから時間ｔｆまでの期間が、読み出し期間Ｒ_{（Ｎ＋１）}となり、読み出し期間Ｒ_{（Ｎ＋１）}以外の時間ｔｃから時間ｔｅまでの期間のうち、フレームＮの読み出し期間Ｒ_Ｎと重複する時間ｔｃから時間ｔｄまでの期間において、フレームＮにおける読み出し処理が終了した先頭の水平ラインから順に露光が開始され、時間ｔｄから時間ｔｅまでの期間が、全ライン同時露光期間Ｖ_{（Ｎ＋１）}となる。

照明部４２による照明状態は、照明制御部３６によって、読み出し期間では、一定の強度で照明光を出射する第１の照明状態、あるいは、照明光を出射しない第２の照明状態とのいずれかに制御される。図３の例では、フレームＮの開始タイミング（時間ｔａ）において第１の照明状態から第２の照明状態に切り替えられる。照明部４２は、フレーム（Ｎ−１）の読み出し期間Ｒ_{（Ｎ−１）}では、たとえば強度Ｅ_１の照明光を出射し（第１の照明状態）、フレームＮの読み出し期間Ｒ_Ｎおよびフレーム（Ｎ＋１）の読み出し期間Ｒ_{（Ｎ＋１）}では、照明光を出射しない（第２の照明状態）。

また、照明部４２は、フレーム期間Ｔ_Ｎの全ライン同時露光期間Ｖ_Ｎにおいては、フレーム（Ｎ−１）における全ライン同時露光期間Ｖ_{（Ｎ−１）}と同様に、全ライン同時露光期間Ｖ_Ｎのうちの期間Ｐ_２の間のみ強度Ｅ_２の照明光を出射する。この場合、照明制御部３６は、照明状態が切り替わった後のフレームＮと、その次のフレーム（Ｎ＋１）との連続的な光量制御を実現するために、フレーム期間Ｔ_Ｎ中に照明部４２が出射する光量の積算値と、フレーム期間Ｔ_{（Ｎ＋１）}中に照明部４２が出射する光量の積算値と、が等しくなるように照明部４２が出射する照明光の光量を制御している。具体的には、照明制御部３６は、フレーム（Ｎ＋１）における全ライン同時露光期間Ｖ_{（Ｎ＋１）}全期間において強度Ｅ_２の照明光を照明部４２に出射させて、フレーム期間Ｔ_{（Ｎ＋１）}中に照明部４２が出射する光量の積算値Ｌ_{（Ｎ＋１）}（＝Ｖ_{（Ｎ＋１）}×Ｅ_２）と、フレーム期間Ｔ_Ｎ中に照明部４２が出射する光量の積算値Ｌ_Ｎ（＝Ｒ_{（Ｎ−１）}×Ｅ_１＋Ｐ_２×Ｅ_２）とを同量としている。照明制御部３６は、フレーム（Ｎ＋１）より後のフレームについては、たとえば、各全ライン露光期間の照明時間を短縮、あるいは、照明光の強度を低めることによって、被写体に照射する照明光の光量を徐々に減少させる。

図４Ａは、読出し部２９ｂが読み出した画素信号に対応する画像の一例を示す図である。図４Ｂは、信号処理部３１において処理される画素信号に対応する画像の一例を示す図である。フレームＮの画像については、図３の（２）に示すように、全ライン同時露光期間Ｖ_Ｎでは、いずれの水平ラインについても同量の光量で露光されるものの、読み出し期間Ｒ_{（Ｎ−１）}において、水平ラインごとに露光量が異なり、先頭の水平ラインから最終の水平ラインにしたがって露光量が減少する。このため、図４Ａに示すように、読み出し部２９ｂが受光部２９ａの各水平ラインから画素信号を読み出した段階では、取得画像Ｗ１の上部から下部に向かって次第に暗くなり、輝度ムラが生じる。

そこで、ゲイン設定部３７は、フレームＮの各水平ラインにおける露光時間を照明制御部３６から取得し、取得した各水平ラインの露光時間に応じて、水平ラインごとに異なるゲイン係数を設定する。図３の例では、ゲイン設定部３７は、読み出し期間Ｒ_Ｎに読み出し部２９ｂによって読み出されたフレームＮの画素信号Ｄ_Ｎについては、後から読み出された水平ラインほど相対的に高いゲイン係数を設定する。すなわち、ゲイン設定部３７は、先頭の水平ライン１から最終の水平ラインＫにライン番号が進むにしたがって、相対的に、ゲイン係数が徐々に高くなるように設定する。この結果、図３の（３）に示すように、ゲイン調整部３２は、フレームＮの画素信号については、後から読み出された水平ラインほど相対的に高いゲイン係数を乗じることによりゲイン調整を行うこととなる。このゲイン調整部３２によるゲイン調整処理によって、輝度ムラが補正された補正画像Ｗ２（図４Ｂ参照）を生成できる。なお、読み出し期間Ｒ_{（Ｎ＋１）}に読み出されたフレーム（Ｎ＋１）の画素信号Ｄ_{（Ｎ＋１）}については、全ての水平ラインが、全ライン同時露光期間Ｖ_{（Ｎ＋１）}の間、一定の強度Ｅ_２の照明光で露光され、水平ライン間で露光量に変動はないため、ゲイン調整部３２において用いられるゲイン係数は、いずれの水平ラインについても同じ係数となる。

このように、ゲイン調整部３２は、照明部４２の照明状態が、一つ前の読み出し期間の照明状態である第１の照明状態から、第２の照明状態に切り替えられた読み出し期間に読み出し部２９ｂによって読み出された画素信号に対しては、後から読み出された水平ラインほど相対的に高いゲイン係数を乗じることによりゲイン調整を行って、輝度ムラを補正する。

次に、徐々に照明光の光量を増大させるために、照明部４２の照明状態を、第２の照明状態から第１の照明状態に切り替える場合について説明する。図５は、この場合における照明部４２が出射する照明光の照明処理、撮像部２９の露光および読み出し期間、および、ゲイン調整部３２による読み出し部２９ｂが読み出した画素信号に対するゲイン調整処理を示す図である。図５の（１）は、照明部４２によって出射される照明光の照明タイミングおよび強度を示すタイミングチャートである。図５の（２）は、撮像部２９における露光および読み出し期間を示すタイミングチャートである。図５の（３）は、ゲイン調整部３２がゲイン調整処理のために実際に用いる各ゲイン係数を時系列に示した模式図である。図５の（３）においても、図３の（３）と同様に、実際にゲイン調整部３２によるゲイン調整処理時に使用されるゲイン係数と、ゲイン調整対象となる水平ラインの読み出しタイミングとが、同一直線上に位置するように、ゲイン調整部３２のゲイン調整処理に対応する時間軸を移動させている。

フレームＭについては、時間ｔｇから時間ｔｊのフレーム期間Ｔ_Ｍのうち、時間ｔｉから時間ｔｊまでの期間が読み出し期間Ｒ_Ｍとなり、一つ前のフレーム（Ｍ−１）の読み出し期間Ｒ_{（Ｍ−１）}と重複する時間ｔｇから時間ｔｈまでの期間において、フレーム（Ｍ−１）における読み出し処理が終了した先頭の水平ラインから順に露光が開始され、時間ｔｈから時間ｔｉまでは、受光部２９ａの全水平ラインが同時に露光される全ライン同時露光期間Ｖ_Ｍとなる。フレーム（Ｍ＋１）については、時間ｔｉから時間ｔｌまでのフレーム期間Ｔ_{（Ｍ＋１）}のうち、時間ｔｋから時間ｔｌまでの期間が読み出し期間Ｒ_{（Ｍ＋１）}となり、読み出し期間Ｒ_Ｍと重複する時間ｔｉから時間ｔｊまでの期間において、フレームＭにおける読み出し処理が終了した先頭の水平ラインから順に露光が開始され、時間ｔｊから時間ｔｋまでの期間が、全ライン同時露光期間Ｖ_{（Ｍ＋１）}となる。

図５の例では、照明部４２は、フレームＭの開始タイミング（時間ｔｇ）において第２の照明状態から第１の照明状態に切り替えられる。すなわち、照明部４２は、フレーム（Ｍ−１）の読み出し期間Ｒ_{（Ｍ−１）}において照明光を出射しない第２の照明状態から、フレームＭの読み出し期間Ｒ_Ｍおよびフレーム（Ｍ＋１）の読み出し期間Ｒ_{（Ｍ＋１）}において強度Ｅ_３の照明光を出射する第１の照明状態に切り替えられる。また、照明部４２は、フレーム期間Ｔ_Ｍの全ライン同時露光期間Ｖ_Ｍにおいては、フレーム（Ｍ−１）における全ライン同時露光期間Ｖ_{（Ｍ−１）}と同様に、強度Ｅ_４の照明光を出射する。この場合、照明制御部３６は、照明状態が切り替わった後のフレームＭと、その次のフレーム（Ｍ＋１）との連続的な光量制御を実現するために、フレーム（Ｍ＋１）における全ライン同時露光期間Ｖ_{（Ｍ＋１）}の一部の期間Ｐ_４において、強度Ｅ_４の照明光を照明部４２に出射させて、フレーム期間Ｔ_{（Ｍ＋１）}中に照明部４２が出射する光量の積算値Ｌ_{（Ｍ＋１）}（＝Ｒ_Ｍ×Ｅ_３＋Ｐ_４×Ｅ_４＋Ｒ_{（Ｍ＋１）}×Ｅ_３）と、フレーム期間Ｔ_Ｍ中に照明部４２が出射する光量の積算値Ｌ_Ｍ（＝Ｖ_Ｍ×Ｅ_４＋Ｒ_Ｍ×Ｅ_３）とを同量としている。照明制御部３６は、フレーム（Ｍ＋１）より後のフレームについては、たとえば、各全ライン同時露光期間の照明時間を延長、あるいは、照明光の強度を高めたり、読み出し期間の照明光の強度を高めたりすることによって、被写体に照射する照明光の光量を徐々に増加させる。

図６Ａは、読出し部２９ｂが読み出した画素信号に対応する画像の一例を示す図である。図６Ｂは、信号処理部３１において処理される画素信号に対応する画像の一例を示す図である。フレームＭの画像については、図５の（２）に示すように、読み出し期間Ｒ_Ｍでは、先頭の水平ラインから最終の水平ラインにしたがって露光量が増加するため、読み出し部２９ｂが受光部２９ａの各水平ラインから画素信号を読み出した段階では、取得画像Ｗ３（図６Ａ参照）の上部から下部に向かって次第に明るくなり、輝度ムラが生じる。

そこで、ゲイン設定部３７は、読み出し期間Ｒ_Ｍに読み出し部２９ｂによって読み出されたフレームＭの画素信号Ｄ_Ｍについては、先頭の水平ライン１から最終の水平ラインＫにライン番号が進むにしたがって、相対的に、ゲイン係数が徐々に低くなるように設定する。この結果、図５の（３）に示すように、ゲイン調整部３２は、フレームＭの画素信号については、後から読み出された水平ラインほど相対的に低いゲイン係数を乗じることによりゲイン調整を行い、輝度ムラが補正された補正画像Ｗ４（図６Ｂ参照）を生成する。なお、読み出し期間Ｒ_{（Ｍ＋１）}に読み出されたフレーム（Ｍ＋１）の画素信号Ｄ_{（Ｍ＋１）}については、フレーム期間Ｔ_{（Ｍ＋１）}に照射される光量の積算値がいずれの水平ラインにおいても同値となるように照明処理が制御されるため、ゲイン調整部３２において用いられるゲイン係数は、いずれの水平ラインについても同じ係数となる。

このように、ゲイン調整部３２は、照明部４２の照明状態が、一つ前の読み出し期間の照明状態である第１の照明状態から、第２の照明状態に切り替えられた読み出し期間に読み出し部２９ｂによって読み出された画素信号に対しては、後から読み出された水平ラインほど相対的に低いゲイン係数を乗じることによりゲイン調整を行って、輝度ムラを補正する。

以上のように、実施の形態によれば、照明部４２の照明状態が、一つ前の読み出し期間の照明状態から他方の照明状態に切り替えられた読み出し期間に読み出し部２９ｂによって読み出された画素信号に対しては、水平ラインごとに異なるゲイン係数を乗じるゲイン調整を行って画像の輝度ムラをなくしているため、照明状態を切り替えた場合でもディスプレイ画像の明るさの滑らかな変化と画像品質とを保持することができる。

なお、本実施の形態では、第１の照明状態が、読み出し期間の全期間において照明光が出射される状態である場合について説明したが、もちろん、読み出し期間の少なくとも一部においてのみ照明光が出射される状態であってもよい。また、照明制御部３６は、第１の照明状態と第２の照明状態との切り替えを１フレーム期間の開始タイミングに限らず、いずれのタイミングで行ってもよい。照明制御部３６が第１の照明状態と第２の照明状態とを切り替えたタイミングに応じて、ゲイン調整対象のフレームや異なるゲイン係数を設定すべき水平ラインが異なるため、ゲイン設定部３７は、照明制御部３６による第１の照明状態と第２の照明状態とを切り替えたタイミングと、読み出し部２９ｂによる各水平ラインの読み出しタイミングとに応じて、ゲイン調整対象のフレームや、異なるゲイン係数を設定すべき水平ラインを判別すればよい。また、本実施の形態では、照明状態が切り替わった後のフレームと、その次のフレームとで、フレーム期間中における照明光の光量の積算値を等しくさせる照明制御を行った場合を例に説明したが、もちろん、特にこれに限るものではなく、照明状態が切り替わった後のフレームと、その次のフレームとで、フレーム期間中における照明光の光量の積算値を変えてもよい。

また、本実施の形態にかかる処理装置３、並びに、他の構成部で実行される各処理に対する実行プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

１ 内視鏡システム
２ 内視鏡
３ 処理装置
４ 光源装置
５ 表示装置
２１ 挿入部
２２ 操作部
２３ ユニバーサルコード
２４ 先端部
２５ 湾曲部
２６ 可撓管部
２７ コネクタ
２８ ライトガイドケーブル
２９ 撮像部
２９ａ 受光部
２９ｂ 読み出し部
２９ｃ ＡＦＥ部
２９ｄ 撮像制御部
３１ 画像処理部
３２ ゲイン調整部
３３ 表示制御部
３４ 明るさ検出部
３５ 制御部
３６ 照明制御部
３７ ゲイン設定部
３８ 入力部
３９ 記憶部
４１ 光源制御部
４２ 照明部
４３ 光源ドライバ
４４ 光源

Claims (11)

1. 被写体を照明するための照明光を出射する照明部と、
   前記照明部による照明光で照明された前記被写体からの光を受光し、受光した光を光電変換して画素信号を生成する複数の画素が複数の水平ライン上に配列されてなる受光部と、
   前記受光部の前記複数の画素に対して前記水平ラインごとに露光を順次開始させ、露光開始から所定の露光期間が経過した前記水平ラインに属する複数の画素から画素信号を順次読み出すように制御する撮像制御部と、
   前記水平ラインごとに順次前記画素信号を読み出すための読み出し期間内における照明状態を、第１の照明状態と、該第１の照明状態と異なる第２の照明状態と、の間で切り替える制御を行い、かつ照明状態を切替えた直後の１フレーム期間中に前記照明部が出射する光量の積算値と、該１フレーム期間の次の１フレーム期間中に前記照明部が出射する光量の積算値と、が等しくなるように前記照明部が出射する照明光の光量を制御する照明制御部と、
   を備えたことを特徴とする撮像装置。
2. 前記照明部の照明状態が、前記第１の照明状態から前記第２の照明状態に切り替えられた後の前記読み出し期間に読み出された画素信号に対して、前記水平ラインごとに異なるゲイン係数を乗じることによりゲイン調整を行う信号処理部をさらに備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の照明状態は、前記読み出し期間内の少なくとも一部において照明光を出射させる照明状態であり、
   前記第２の照明状態は、前記読み出し期間内では照明光を出射させない照明状態であることを特徴とする請求項１に記載の撮像装置。
4. 前記信号処理部は、前記照明部の照明状態が、一つ前の前記読み出し期間の照明状態である前記第１の照明状態から、前記第２の照明状態に切り替えられた前記読み出し期間に読み出された画素信号に対しては、後から読み出された水平ラインほど相対的に高いゲイン係数を乗じることによりゲイン調整を行うことを特徴とする請求項２に記載の撮像装置。
5. 前記信号処理部は、前記照明部の照明状態が、一つ前の前記読み出し期間の照明状態である前記第２の照明状態から、前記第１の照明状態に切り替えられた前記読み出し期間に読み出された画素信号に対しては、後から読み出された水平ラインほど相対的に低いゲイン係数を乗じることによりゲイン調整を行うことを特徴とする請求項２に記載の撮像装置。
6. 前記読み出された画素信号をもとに前記被写体の明るさを検出する明るさ検出部をさらに備え、
   前記照明制御部は、前記明るさ検出部が検出した前記被写体の明るさに基づいて、前記第１の照明状態と前記第２の照明状態との切り替えを行うことを特徴とする請求項２に記載の撮像装置。
7. 前記照明制御部は、１フレーム期間の開始タイミングで前記第１の照明状態と前記第２の照明状態との切り替えを行うことを特徴とする請求項１に記載の撮像装置。
8. 前記照明制御部は、前記読み出し期間以外において前記照明部が出射する照明光の強度および照明時間を可変制御し、前記第１の照明状態では、前記読み出し期間の少なくとも一部において前記照明部が出射する照明光の強度を一定に保持することを特徴とする請求項７に記載の撮像装置。
9. 被検体内に挿入される挿入部と、
   挿入部と接続する処理装置と、
   挿入部に照明光を供給する光源装置と、
   をさらに備え、
   前記挿入部は、前記受光部および前記撮像制御部を備え、
   前記処理装置は、前記照明制御部を備え、
   前記光源装置は、前記照明部を備えたことを特徴とする請求項１に記載の撮像装置。
10. 照明光を出射する照明部を有する照明装置を制御するとともに、前記照明光で照明された被写体からの光を光電変換する複数の画素が複数の水平ライン上に配列されてなる受光部から、撮像制御部によって前記水平ラインごとに露光を順次開始させ、露光開始から所定の露光期間が経過した前記水平ラインに属する複数の画素から順次読み出された画素信号を処理する処理装置であって、
    前記水平ラインごとに順次前記画素信号を読み出すための読み出し期間内における照明状態を、第１の照明状態と、該第１の照明状態と異なる第２の照明状態と、の間で切り替える制御を行い、かつ照明状態を切替えた直後の１フレーム期間中に前記照明部が出射する光量の積算値と、該１フレーム期間の次の１フレーム期間中に前記照明部が出射する光量の積算値と、が等しくなるように前記照明部が出射する前記照明光の光量を制御する照明制御部を備えたことを特徴とする処理装置。
11. 前記照明部の照明状態が、前記第１の照明状態から前記第２の照明状態に切り替えられた後の前記読み出し期間に読み出された画素信号に対して、水平ラインごとに異なるゲイン係数を乗じることによりゲイン調整を行う信号処理部をさらに備えたことを特徴とする請求項１０に記載の処理装置。

Images