JPWO2017047166A1 - 内視鏡装置及びビデオプロセッサ - Google Patents

Abstract

内視鏡装置１は、発光素子１３と、複数のラインの露光を行う露光期間と、複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子１１と、制御部２１とを有する。制御部２１は、読み出し期間において発光素子１３からの光の照射時間を変更するように発光素子１３を制御し、発光制御部による制御により露光期間を挟む２つの読み出し期間における発光素子１３から出射される光の光量に差があるときには、撮像素子１１からの撮像信号に対して、ゲイン処理により補正を行う。

Description

本発明は、内視鏡装置及びビデオプロセッサに関する。

従来より、医療分野及び工業分野で、内視鏡装置が広く用いられている。内視鏡装置は、挿入部が被検体内に挿入され、照明光を検査部位に照射し、検査部位からの反射光を撮像素子で受光して、被検体画像である内視鏡画像を生成する。

近年は撮像素子としてCMOSイメージセンサが用いられる内視鏡装置がある。CMOSイメージセンサでは、ライン毎にタイミングをずらして露光及び読み出しを行うローリングシャッタ方式が採用され、露光から読み出しまでの処理がライン毎に異なるタイミングで行われる。

CMOSイメージセンサの場合、パルス照明をすると、照明光の発光タイミングによっては、露光ムラが発生する場合があるため、特許第５４５２７８５号公報に開示のように、映像読み出しのタイミングすなわち映像読み出し期間においては照明光の強度を一定に保ち、映像読み出し期間以外の全ライン同時露光のタイミングすなわち全ライン同時露光期間においてはPWM（Pulse Width Modulation）制御によるパルス照明を行う技術が提案されている。その提案によれば、全ライン同時露光期間におけるPWM制御と、映像読み出し期間における強度一定制御を組み合わせた照明制御により、露光ムラを無くして画質の低下が防止される。

また、上記提案のような２つの制御の組合せによる照明制御の場合に、照明光量をより低下させるために、映像読み出し期間では強度一定制御を行うと共に全ライン同時露光期間ではPWM制御を行う制御状態から、映像読み出し期間における強度一定制御を停止して、全ライン同時露光期間のみにおいて電流レベル制御とPWM制御を行う制御状態に移行する方法も提案されている（図１５参照）。

そして、その移行の前後において照明光量が連続的に変化するようにするために、移行前の映像読み出し期間の光量と、移行後の全ライン同時露光期間の光量とが同じになるように、移行後の全ライン同時露光期間の電流レベル制御が行われる。

しかし、その提案の場合、移行前における全ライン同時露光期間において照明がされない状態から、全ライン同時露光期間の電流レベル制御への移行が行われるため、照明光の強度の変化量が大きく、移行時に、出力される画像上の輝度ムラが目立ち易いという問題がある。

すなわち、全ライン同時露光期間に照明光が出射されない状態から、移行時に全ライン同時露光期間に多くの照明光を出射するという照明タイミングの変更が行われるので、画像の輝度ムラが目立ち易い。

また、映像読み出し期間にPWM制御あるいは電流レベル制御を行うと、全ライン同時露光期間を挟む前後の２つの映像読み出し期間における照明光量が異なるとき、露光ムラによる画像の輝度ムラが発生するという問題がある。

そこで、本発明は、映像読み出し期間にPWM制御あるいは電流レベル制御を行ったときに、全ライン同時露光期間を挟む前後の２つの映像読み出し期間における照明光量が異なっても、出力される画像の輝度ムラが低減される内視鏡装置及びビデオプロセッサを提供することを目的とする。

本発明の一態様の内視鏡装置は、被検体を照明するための光を発する発光部と、 前記光が照射される被検体からの反射光を受光する複数のラインを有し、各ラインにおいて露光開始から露光終了までの露光期間と、露光期間において蓄積された電荷を読み出し撮像信号を生成する読み出し期間とを交互に切り替え、かつラインごとに順次前記露光開始及び前記電荷の読み出しを行うローリングシャッタ方式の撮像素子と、 前記読み出し期間において前記光の照射時間を変更するように前記発光部を制御する発光制御部と、 前記発光制御部による制御により前記露光期間を挟む２つの読み出し期間における前記発光部から出射される前記光の光量に差があるときには、前記撮像素子からの撮像信号に対してゲイン処理よりに補正を行う補正部と、を有する。

本発明の一態様のビデオプロセッサは、被検体を照明するための光を発する発光部の光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子からの撮像信号が入力されて内視鏡画像を生成するビデオプロセッサであって、 前記読み出し期間において前記発光部からの前記光の照射時間を変更するように前記発光部を制御する発光制御部と、 前記発光制御部による制御により前記露光期間を挟む２つの読み出し期間における前記発光部から出射される前記光の光量に差があるときには、前記撮像素子からの撮像信号に対して、ゲイン処理により補正する補正部と、を有する。

本発明の第１の実施の形態に関わる内視鏡装置の構成を示すブロック図である。 本発明の第１の実施の形態に関わる、内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力と、補正ゲイン量の関係を説明するための模式的な図である。 本発明の第１の実施の形態に関わる、照明モードを説明するための図である。 本発明の第１の実施の形態に関わる、第２照明モードM2におけるゲイン処理の流れの例を示すフローチャートである。 本発明の第２の実施の形態に関わる、内視鏡装置１の撮像時における撮像素 子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力と、補正ゲイン量の関係を説明するための模式的な図である。

以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１は、本実施の形態に係わる内視鏡装置の構成を示すブロック図である。内視鏡装置１は、内視鏡２と、ビデオプロセッサ３と、光源装置４と、モニタ５とを有している。なお、図１では、本実施の形態のゲイン処理による画像補正に関連する構成要素のみを示し、その他の構成要素については省略している。

内視鏡２は、撮像素子１１と、アナログフロントエンド部（以下、AFE部という）１２と、発光素子１３とを有して構成されている。
撮像素子１１は、CMOSイメージセンサであり、後述する撮像素子駆動部２３により駆動されて、撮像信号をAFE部１２へ出力する。撮像素子１１は、各ラインが複数の画素を含む複数の水平ラインを有する受光部を有している。撮像素子１１は、水平ライン毎にタイミングをずらして露光と読み出しを行うローリングシャッタ方式により画像を生成する。

AFE部１２は、入力されたアナログ信号である撮像信号に対して、ノイズ低減処理、増幅処理などしてから、デジタル信号に変換して、ビデオプロセッサ３に出力する。
発光素子１３は、例えば白色光を出射する発光ダイオード（LED）であり、後述する発光素子駆動部２４により駆動されて、被検体を照明するための照明光を発する発光部である。

撮像素子１１と発光素子１３は、内視鏡２の挿入部の先端部に配置される。
ビデオプロセッサ３は、制御部２１と、明るさ検出部２２と、撮像素子駆動部２３と、を有して構成されている。

制御部２１は、中央処理装置（CPU）、ROM、RAMなどを含み、内視鏡装置１全体の制御及び各部の制御を行う。具体的には、制御部２１は、撮像素子１１及び発光素子１３の駆動制御、撮像素子１１からの撮像信号に対する各種画像処理を施してモニタ５に表示する画像の生成、図示しないメモリへの画像の記録などを行う。

また、制御部２１は、ゲイン処理部２１ａを有している。ゲイン処理部２１ａの処理については、後述する。さらに、制御部２１は、各種プログラム及びデータを記憶するメモリ２１ｂを有している。

明るさ検出部２２は、内視鏡２の撮像素子１１からの撮像信号ISに基づいて、所定の範囲、例えばフレーム画像全体範囲に含まれる複数の画素の画素値からの、画像の明るさを算出する回路である。

撮像素子駆動部２３は、制御部２１からの撮像素子制御信号CS1に基づいて駆動信号SCを生成し、撮像素子１１を駆動する回路である。駆動信号SCには、撮像素子１１に対する露光タイミング及び読み出しタイミングを与える同期信号が含まれる。

光源装置４は、発光素子駆動部２４を有して構成されている。
制御部２１は、後述するように、所定のタイミングで発光素子駆動制御信号CS2を出力する。

発光素子駆動部２４は、制御部２１からの発光素子駆動制御信号CS2に基づいて電流信号である駆動信号Iを生成して、発光素子１３を駆動する回路である。発光素子駆動部２４から出力される駆動信号Iの大きさ、すなわち電流値に応じて、発光素子１３の出射する光の強度が変化する。

制御部２１は、後述する２つの照明モードの切替を制御すると共に、各照明モードにおいて、明るさ検出部２２の検出した明るさ信号Bに基づいて、画像の明るさが適切な明るさになるように、発光素子１３が発する照明光の強度と照射時間を制御する。

内視鏡２の挿入部の先端部に設けられた発光素子１３からの照明光が被検体の観察部位を照明し、撮像素子１１がその反射光を受光して撮像信号ISが生成される。
モニタ５は、内視鏡画像及びメニュー画像を表示する、液晶表示器などの表示装置である。

以上のように、明るさ検出部２２が、AFE部１２からの撮像信号ISに基づいて、フレーム毎の画像の明るさを検出して、各フレーム画像の明るさを示す明るさ信号Bを制御部２１へ出力する。制御部２１は、受信した撮像信号ISに基づいて表示画像を生成すると共に、受信した明るさ信号Bに基づいて発光素子駆動部２４へ発光素子駆動制御信号CS2を出力する。

よって、制御部２１は、撮像素子駆動部２３を制御して、撮像素子１１を駆動し、ローリングシャッタ方式により生成された画像データから内視鏡画像を生成して、モニタ５に出力して表示する。

図２は、内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力と、補正ゲイン量の関係を説明するための模式的な図である。
図２において、上段のG1で示す範囲には、時間tの軸である横軸に対して、撮像素子１１の各ラインの露光期間と読み出し期間のタイミングが模式的に示されている。中段のG2には、時間tの軸である横軸に対して、発光素子１３に流れる駆動信号Iの変化が示されている。下段のG3は、各ラインに対する補正ゲインの大きさを示し、横軸方向の長さが各ラインの補正ゲインの大きさを示している。

撮像素子１１は、CMOSイメージセンサであり、撮像素子１１は、各ラインが複数の画素からなり、ｎ行のラインからなる受光部を有する。撮像素子１１は、ライン毎にタイミングをずらして露光と読み出しを行うローリングシャッタ方式により画像データを生成する。

具体的には、撮像素子１１は、複数のフレームを連続的に撮像する場合、蓄積された電荷の読み出しを１つの水平ライン毎に行う。撮像素子１１の受光部の第１ライン（図２における１行目のライン）から最後ラインである第ｎライン（ｎは自然数であり、図２におけるｎ行目のライン）が、順次読み出しラインとなって、画素信号が読み出される。そのため、１行目のラインとｎ行目のラインとの間には、読み出しタイミングに時間差が生じる。

撮像素子１１の第１ラインの画素データの読み出しの開始後、第ｎラインの画素データの読み出しが終了するまでの期間が、映像読み出し期間IRである。
周期的に発生する映像読み出し期間IR以外の期間であって、全ラインに対して同時に露光を行う期間が、全ライン同時露光期間ALである。図２に示すように、画像の１フィールド又は１フレームの期間T中には、全ライン同時露光期間ALと映像読み出し期間IRが含まれる。

撮像素子１１はローリングシャッタ方式であるため、全ライン同時露光期間ALと映像読み出し期間IRが交互に切り替わる。
なお、１フィールド（又は１フレーム）の期間T、及び、全ライン同時露光期間ALの時間t1は、撮像素子１１の仕様によって決定される。

以上のように、内視鏡の挿入部に設けられた撮像素子１１は、光が照射される被検体からの反射光を受光する複数のラインを有し、複数のラインの露光を同時に行う全ライン同時露光期間ALと、複数のラインから順次各ラインの撮像信号を読み出す読み出し期間IRとを交互に切り替えるローリングシャッタ方式の撮像素子である。

言い換えれば、撮像素子１１は、光が照射される被検体からの反射光を受光する複数のラインを有し、各ラインにおいて露光開始から露光終了までの露光期間と、露光期間において蓄積された電荷を読み出し撮像信号を生成する読み出し期間とを交互に切り替え、かつラインごとに順次前記露光開始及び前記電荷の読み出しを行うローリングシャッタ方式の素子である。

発光素子駆動部２４が出力する駆動信号Iは、所定の最小値Iminと所定の最大値Imaxの間で変化する。制御部２１は、発光素子駆動制御信号CS2を発光素子駆動部２４に出力する。すなわち、発光素子駆動制御信号CS2は、発光素子駆動部２４が出力する駆動信号Iが所定の最小値Iminと所定の最大値Imaxの間となるような信号である。

内視鏡２の挿入部が被検体内に挿入されて、撮像素子１１により被検体内が撮像されると、制御部２１は、明るさ検出部２２が検出した画像の明るさに応じて、画像が適正な明るさとなる強度で発光素子１３が照明光を出射するような発光素子駆動制御信号CS2を、発光素子駆動部２４に出力する。その結果、モニタ５には、適正な明るさの内視鏡画像が表示される。すなわち、制御部２１は、発光素子１３に流れる駆動信号Iの大きさを調整することによって、調光を行う電流レベル制御を実行する。電流レベル制御は、例えば、PAM（Pulse Amplitude Modulation）制御である。

図２において、発光素子１３に流れる駆動信号Iの電流値の大きさは、期間T2では、期間T1と同じである。期間T3の映像読み出し期間IRでは、駆動信号Iの電流値の大きさは変わらないが、PWM制御により駆動信号Iは映像読み出し期間IRの途中の時刻t11でオフになっている。例えば、挿入部の先端が被検体に近づいたため、明るさ信号Bが大きくなって、照明光の光量を下げる必要になったため、期間T3の映像読み出し期間IRにおいてPWM制御が行われている。

期間T1とT2の各期間では、全ライン同時露光期間AL及び映像読み出し期間IRにおいて、画像の明るさに応じた一定の強度の照明光を出射する第１照明モードM1で、照明制御が行われている。上述したように、第１照明モードM1では、駆動信号Iは、所定の最小値Iminと所定の最大値Imaxの間で調整されるが、内視鏡２の挿入部の先端部が被検体に近づき過ぎると、駆動信号Iが最小値Iminであっても画像の明るさが所定の明るさ以上となってしまう。

すなわち、制御部２１は、通常は、適切な明るさの画像を得るために全ライン同時露光期間AL及び映像読み出し期間IRにおいて同じ強度の照明光を出射する第１照明モードM1による照明制御を実行する。

しかし、上述したように、挿入部の先端が被検体に近づいたりして、全ライン同時露光期間AL及び映像読み出し期間IRにおいて照明光を出射すると照明光の強度が強すぎてしまうときは、制御部２１は、適切な明るさの画像を得るために全ライン同時露光期間ALにおいては電流レベル制御による一定の強度の照明光を出射し、映像読み出し期間IRにおいてはPWM制御による照明光を出射する第２照明モードM2による照明制御を実行するように照明モードを切り替える。すなわち、制御部２１は、映像読み出し期間IRにおいて発光部である発光素子１３が発する光の照射時間を変更するように発光素子１３を制御する発光制御部を構成する。また、発光制御部としての制御部２１は、全ライン同時露光期間ALにおいては、発光素子１３からの光の強度を変更するように発光素子１３を制御する。

第２照明モードM2は、全ライン同時露光期間ALにおいて電流レベル制御による照明光を出射し、映像読み出し期間IRにおいてはPWM制御による照明光を出射する、必要な光量が少ないときに実行されるモードである。発光制御部としての制御部２１は、撮像素子１１に対してパルス幅制御を行うことにより、光の照射時間を変更する。

図２の期間T3〜T5では、映像読み出し期間IRにおいてはPWM制御による照明光が出射される第２照明モードM2で、照明制御が行われている。第２照明モードM2の全ライン露光期間AL及び映像読み出し期間IRにおいても、照明光が出射されるときの駆動信号Iは、所定の最小値Iminと所定の最大値Imaxの間で調整される。
第１照明モードM1と第２照明モードM2は、画面の明るさLに応じて切り替えられる。

図２は、期間T2から期間T3に移行するときに、第１照明モードM1から第２照明モードM2への照明制御の移行が行われていることを示している。
図２の場合、期間T2では映像読み出し期間IR全体に渡って電流値Icの駆動信号Iによる照明が行われているが、期間T3では第１照明モードM1から第２照明モードM2に変化し、映像読み出し期間IRにおいてはPWM制御が実行されて、期間T3ではPWM制御により期間T3の映像読み出し期間IRの一部においてのみ照明が行われる。そのため、期間T3の映像読み出し期間IRで読み出された画像には、露光ムラによる輝度ムラが発生する。

そこで、制御部２１は、この輝度ムラを補正するためのゲイン処理を行う。

（作用）
次に、内視鏡装置１のゲイン処理の動作について説明する。

まず、上述したように、第１照明モードM1と第２照明モードM2は、画面の明るさLに応じて切り替えられるが、第１照明モードM1と第２照明モードM2の切替処理について説明する。

図３は、照明モードを説明するための図である。図３の縦軸は、明るさLを示している。通常、制御部２１は、明るさ検出部２２の検出した明るさ信号Bに基づいて、画像の明るさが適切な明るさになるように、発光素子１３が発する照明光の強度を制御する。しかし、内視鏡の先端部が検査部位に近づき過ぎたときは、上述した駆動信号Iが最小値Iminになっても、得られる画像の明るさLは適切な明るさにならず、所定の閾値Lth以上となる。

そこで、制御部２１は、明るさ検出部２２からの明るさ信号Bに基づいて算出された画像の明るさLが所定の閾値Lth以上であれば、第２照明モードM2で照明制御を実行し、画像の明るさLが所定の閾値Lth未満であるとき、第１照明モードM1で照明制御を実行する。

図４は、第２照明モードM2におけるゲイン処理の流れの例を示すフローチャートである。図４の処理は第２照明モードM2で照明制御が実行されているとき、常に実行されている。

制御部２１は、第２照明モードM2におけるPWM制御を実行するが、PWM制御では、画像の明るさLに応じて、映像読み出し期間IRに出力する駆動信号Iの出力期間OTが変化する。

制御部２１は、明るさ検出部２２の明るさ信号Bに基づいて、映像読み出し期間IRにおける照明光の出力すなわち駆動信号Iの出力期間OTを算出すると同時に、１つ前の映像読み出し期間IRの出力すなわち駆動信号Iの出力期間OTに対して差があるか否かを判定する（S1）。

例えば、図２において期間T2までは、第１照明モードM1で照明制御が行われており、期間T3から、第２照明モードM2で照明制御が行われる。

図２において、期間T3から第２照明モードで照明制御が行われたとすると、図２では、期間T3の映像読み出し期間IRでは、時刻t11において駆動信号Iの出力が停止し、駆動信号Iの出力期間OTは、期間T3の映像読み出し期間IRよりも短くなっている。よって、制御部２１は、期間T3における駆動信号Iの出力期間OTが決定されたときに、前の期間T2の映像読み出し期間IRの駆動信号Iの出力期間OTとの差がある、と判定する（S1:YES）。

S1において、前のフィールドの映像読み出し期間IRの出力に対する差があると判定されたとき（S1:YES）、もしくは、電流値Icが最小値Iminになっても更に光量を低くする必要がある場合に制御部２１は、ゲイン処理を実行する（S2）。
なお、S1において、前のフィールドの映像読み出し期間IRの出力に対する差があると判定されないとき（S1:NO）、制御部２１は、ゲイン処理を実行しない。

ゲイン処理では、図２の期間T3において読み出されて出力される画像の各ラインに対して、G3のC1に示すようなゲインを乗算して、期間T3において読み出されて生成された画像中の輝度ムラをなくす画像処理が実行される。

期間T3の映像読み出し期間IR中、照明光が出射されなかった時刻t11以降の期間に対応する、斜線で示す領域R1は、撮像素子１１が露光されていないことを示している。領域R1に対応する複数のラインの各画素、すなわち時刻t11以降の露光されていない複数のラインの各画素は、露光されていない分だけ画素値が小さくなる。そこで、制御部２１のゲイン処理部２１ａは、領域R1に対応するラインの各画素の出力に、C1で示すようなゲインを乗算して、撮像素子１１の得られた画像に対する画素値すなわち明るさの補正を行う。

C1は、ラインに対応するゲインの大きさを示すグラフである。C1は、期間T3の映像読み出し期間IR中、照明光が出射されなかった期間に関わるライン毎のゲインの大きさを示す。

期間T3の画像に対しては、図２に示すようなゲインC1が画像の各ラインに対して乗算される。図２の期間T3の画像に対するゲインは、画像中の最も下のラインである第ｎラインが最も大きく、映像読み出し期間IR中に照明光により露光しなかった最も小さいライン番号のラインが最も小さいような線形関係を有する。

ゲインC1は、出力される駆動信号Iの大きさIcと出力期間OTにより決定される。ゲインC1は、駆動信号Iの大きさIcの変化量及び出力期間OTの長さの変化量に応じて予め設定されたテーブルデータとして、制御部２１のメモリ２１ｂに記憶されている。

制御部２１は、駆動信号Iの大きさIcの変化量及び出力期間OTの長さの変化量に基づいて、メモリ２１ｂのテーブルデータを参照し、各ラインのゲイン値を得て、各ラインに対するゲイン処理を実行する。

なお、ゲインC1は、所定の関数演算により得るようにしてもよい。関数は、駆動信号Iの大きさIc及び出力期間OTの長さを変数とする関数であり、メモリ２１ｂに記憶されるか、ゲイン処理のプログラム中に記述されるようにしてもよい。

すなわち、メモリ２１ｂは、光の照射時間の変更量に応じて予め決められたゲイン値又は関数を記憶するゲイン記憶部であり、画像補正部としての制御部２１は、メモリ２１ｂに記憶されたゲイン値又は関数を用いて、撮像信号に対して補正を行う。

その結果、S2のゲイン処理により、期間T3において得られる画像の輝度ムラが補正される。
よって、制御部２１は、全ライン同時露光期間ALを挟む２つの読み出し期間IRにおける発光素子１３から出射される光の光量に差があるときには、撮像素子１１からの撮像信号に対して、ゲイン処理により補正を行う補正部を構成する。

また、駆動信号Iの大きさIcが一定であり、映像読み出し期間IRに出力する駆動信号Iの出力期間OTが変化する場合は、出力期間OTに応じたゲイン値を用いて各ラインに対するゲイン処理を実行する。

ここで、各ラインに対するゲイン処理に用いられるゲイン値C1はβ/α（αは対象フレーム画像における各ラインごとの照明光の照射時間、βは対象フレーム画像における各ラインごとの露光期間）である。また、必ずしもβ/αに限定されず、β/αの倍数であればどのような値でも良い。

図２に示すように、期間T3に続く期間T4においても第２照明モードM2で照明制御が行われている。
期間T4の映像読み出し期間IR中は、照明光が出射されなかったので、やはり、S4において、前のフィールド（期間T3）の映像読み出し期間IRの出力に対する差があると判定され（S1:YES）、制御部２１は、ゲイン処理を実行する（S2）。

図２の期間T4の画像は、期間T3の映像読み出し期間IR中の時刻t11までの露光と、期間T4の全ライン同時露光期間AL中の露光とにより得られる。
よって、図２の期間T4の画像に対するゲインC2は、画像中の最も下のラインである第ｎラインが最も大きく、映像読み出し期間IR中に照明光により露光しなかった最も小さいライン番号のラインが最も小さい線形関係を有する。

また、図２の場合、期間T5の映像読み出し期間IR中も照明光が出射されなかったので、期間T5の映像読み出し期間IRの出力は、前のフィールド（期間T4）の映像読み出し期間IRの出力と同じであるので、ゲイン処理は、実行されない。

以上のように、本実施の形態によれば、映像読み出し期間にPWM制御を行ったときに、全ライン同時露光期間を挟む前後の２つの映像読み出し期間における照明光量が異なっても、出力される画像の輝度ムラが低減される内視鏡装置及びビデオプロセッサを提供することができる。

なお、上述した実施の形態では、映像読み出し期間IRにおいては、PWM制御により発光素子１３を駆動して照明制御が行われているが、PWM制御に代えてPNM（Pulse Number Modulation）制御により発光素子１３を駆動して照明制御を行うようにしてもよい。

（第２の実施の形態）
第１の実施の形態では、映像読み出し期間においてPWM制御を行っているが、本実施の形態では、電流レベル制御が行われる。電流レベル制御は、例えば、PAM制御である。発光制御部としての制御部２１は、撮像素子１１に対して電流レベル制御を行うことにより、光の強度を変更する。

なお、本実施の形態の内視鏡装置は、第１の実施の形態の内視鏡装置１と略同じ構成である。よって、以下の説明において、第１の実施の形態の内視鏡装置１と同じ構成要素については、同じ符号を付し、説明は省略し、異なる構成及び作用について説明する。

本実施の形態の内視鏡装置は、図１に示す内視鏡装置１と同じであるが、制御部２１が実行する第２照明モードM2は、映像読み出し期間IRにおいて、PWM制御ではなく電流レベル制御を実行する。よって、制御部２１は、映像読み出し期間IRにおいて発光部である発光素子１３が発する光の強度を変更するように発光素子１３を制御する発光制御部を構成する。

図５は、本実施の形態に関わる、内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力と、補正ゲイン量の関係を説明するための模式的な図である。
図５は、図２と同様に、上段のG1で示す範囲には、時間tの軸である横軸に対して、撮像素子１１の各ラインの露光期間と読み出し期間のタイミングが模式的に示されている。中段のG2には、時間tの軸である横軸に対して、発光素子１３に流れる駆動信号Iの変化が示されている。下段のG3は、各ラインに対する補正ゲインの大きさを示し、横軸方向の長さが各ラインの補正ゲインの大きさを示している。

制御部２１は、第１の実施の形態と同様に、画像の明るさLに基づいて、照明制御を行う。明るさLが所定の明るさLth以上になると、制御部２１は、第１照明モードM1から第２照明モードM2へ照明モードを変更する。

本実施の形態においても、第２照明モードにおいて、映像読み出し期間IRにおける照射量が、前の映像読み出し期間IRにおける照射量と異なるとき、図４に示すように、制御部２１は、ゲイン処理を実行する（S2）。

図５では、期間T1からT3までは、電流値Id1の駆動信号Iによる第１照明モードM1により照明制御が行われている。しかし、期間T4において、第２照明モードM2へ移行し、期間T4の映像読み出し期間IRの電流値Id2は、期間T3の映像読み出し期間IRの電流値Id1に対して差を有する。領域R11に対応するラインは、電流値（Id1−Id2）分だけ画素値が小さくなる。期間T5の映像読み出し期間IRの電流値Id3は、期間T4の映像読み出し期間IRの電流値Id2に対して差を有する。

ゲイン処理の方法は、第１の実施の形態の図４と同じである。すなわち、第２照明モードM2にあるとき、映像読み出し期間IRにおける駆動信号Iの電流値が、前の映像読み出し期間IRにおける駆動信号Iの電流値と差があるか否かを判定し（S1）、差があるとき、ゲイン処理を実行する（S2）。

ゲイン処理では、図５の期間T4において読み出されて出力される画像の各ラインに対して、G3のC11に示すようなゲインを乗算して、期間T4において読み出されて生成された画像中の輝度ムラをなくす画像処理が実行される。

期間T4の映像読み出し期間IR中、照明光の光量が期間T3の映像読み出し期間IR中に比べて減少し、その光量が減少した映像読み出し期間IRの期間に対応する、斜線で示す領域R11は、撮像素子１１において受光量が、前の映像読み出し期間IR（期間T3の）における光量に比べて減少していることを示している。領域R11に対応する複数のラインの各画素、すなわち前の映像読み出し期間IR（期間T3の）における光量に比べて光量が減少している複数のラインの各画素は、露光量が少ない分だけ画素値が小さくなる。そこで、制御部２１のゲイン処理部２１ａは、各ラインの各画素の出力に、C11で示すようなゲインを乗算して、撮像素子１１の得られた画像に対する画素値すなわち明るさの補正を行う。

C11は、各ラインに対応するゲインの大きさを示すグラフである。C11は、期間T4の映像読み出し期間IR中、照明光の光量が減少した量に対応する、ライン毎のゲインの大きさを示す。

期間T4の画像に対しては、図５に示すようなゲインC11が画像の各ラインに対して乗算される。図５の期間T4の画像に対するゲインは、画像中の最も下のラインである第ｎラインが最も大きいような線形関係を有する。
その結果、S2のゲイン処理により、期間T4において得られる画像の輝度ムラが補正される。

さらに、図５に示すように、期間T5においても第２照明モードM2で照明制御が行われ、期間T5の画像に対しても、図５のC12に示すようなゲインが画像の各ラインに対して乗算される。斜線で示す領域R12は、撮像素子１１において受光量が、前の映像読み出し期間IR（期間T4の）における光量に比べて減少している。

図５の場合、期間T5の映像読み出し期間IR中は、前の期間T4の映像読み出し期間IR中よりは照明光の強度が小さいので、やはり、S1において、前のフィールド（期間T4）の映像読み出し期間IRの出力に対する差があると判定され（S1:YES）、制御部２１は、ゲイン処理を実行する（S2）。

よって、図５の期間T5の画像に対するゲインC12も、画像中の最も下のラインである第ｎラインが最も大きく、映像読み出し期間IR中に照明光の光量が最も小さいライン番号１のラインが最も小さい線形関係を有する。

ゲインC11,C12は、第１の実施の形態と同様に、ゲイン値がメモリ２１ｂに記憶されていてもよいし、関数がメモリ２１ｂに記憶されていてもよい。よって、メモリ２１ｂは、光の強度の変更量に応じて予め決められた所定のゲインのゲイン値又は関数を記憶するゲイン記憶部である。

以上のように、本実施の形態によれば、映像読み出し期間に電流レベル制御を行ったときに、全ライン同時露光期間を挟む前後の２つの映像読み出し期間における照明光量が異なっても、出力される画像の輝度ムラが低減される内視鏡装置及びビデオプロセッサを提供することができる。

なお、上述した実施の形態では、全ライン同時露光期間ALにおいては、電流レベル制御を行っているが、PWM制御を行ってもよい。

以上のように、上述した各実施の形態によれば、映像読み出し期間にPWM制御あるいは電流レベル制御を行ったときに、全ライン同時露光期間を挟む前後の２つの映像読み出し期間における照明光量が異なっても、出力される画像の輝度ムラが低減される内視鏡装置及びビデオプロセッサを提供することができる。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本出願は、２０１５年９月１５日に日本国に出願された特願２０１５−１８１９０５号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

本発明の一態様の内視鏡装置は、被検体を照明するための光を発する発光部と、 前記光が照射される被検体からの反射光を受光し、複数のライン上に配列される複数の画素を有し、前記複数の画素においてライン毎に露光開始から露光終了までの露光期間と、前記露光期間において蓄積された電荷を読み出し撮像信号を生成する読み出し期間とを交互に切り替え、かつライン毎に順次前記露光開始及び前記電荷の読み出しを行うローリングシャッタ方式の撮像素子と、前記読み出し期間において前記光の照射時間を変更するように前記発光部を制御する発光制御部と、 前記発光制御部による制御により前記露光期間を挟む２つの読み出し期間における前記光の照射時間に差があるときには、前記撮像素子からの前記撮像信号に対してゲイン処理よりに補正を行う補正部と、を有する。

本発明の一態様のビデオプロセッサは、被検体を照明するための光を発する発光部の前記光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子からの前記撮像信号が入力されて内視鏡画像を生成するビデオプロセッサであって、 前記読み出し期間において前記発光部からの前記光の照射時間を変更するように前記発光部を制御する発光制御部と、 前記発光制御部による制御により前記露光期間を挟む２つの読み出し期間における前記光の照射時間に差があるときには、前記撮像素子からの前記撮像信号に対して、ゲイン処理により補正する補正部と、を有する。

本発明の一態様の内視鏡装置は、被検体を照明するための光を発する発光部と、前記光が照射される被検体からの反射光を受光し、複数のライン上に配列される複数の画素を有し、前記複数の画素においてライン毎に順次露光を開始し、かつ露光により蓄積された電荷を前記ライン毎に順次読み出し、撮像信号を生成するローリングシャッタ方式の撮像素子と、前記複数のラインのうち、最初に電荷が読み出されるラインの読み出しタイミングから、最後に電荷が読み出されるラインの読み出しタイミングまでの期間である読み出し期間において、前記被検体に光を照射する期間と前記光を照射しない期間とを設けるように前記発光部を制御する発光制御部と、前記発光制御部による制御により前記読み出し期間において前記被検体に光を照射する期間と前記光を照射しない期間とが設けられる場合に、前記光を照射しない期間により前記読み出し期間中に露光されなくなる前記撮像素子のラインに対応する撮像信号に対して、露光されなくなる時間に応じたゲイン処理を行う補正部と、を有する。

本発明の一態様のビデオプロセッサは、被検体を照明するための光を発する発光部からの前記光が照射される被検体からの反射光を受光する複数のライン上に配列される複数の画素を有し、前記複数の画素においてライン毎に順次露光を開始し、かつ露光により蓄積された電荷を前記ライン毎に順次読み出し、撮像信号を生成するローリングシャッタ方式の撮像素子からの前記撮像信号が入力されて内視鏡画像を生成するビデオプロセッサであって、前記複数のラインのうち、最初に電荷が読み出されるラインの読み出しタイミングから、最後に電荷が読み出されるラインの読み出しタイミングまでの期間である読み出し期間において、前記被検体に光を照射する期間と前記光を照射しない期間とを設けるように前記発光部を制御する発光制御部と、前記発光制御部による制御により前記読み出し期間において前記被検体に光を照射する期間と前記光を照射しない期間とが設けられる場合に、前記光を照射しない期間により前記読み出し期間中に露光されなくなる前記撮像素子のラインに対応する撮像信号に対して、露光されなくなる時間に応じたゲイン処理を行う補正部と、を有する。

Claims (7)

1. 被検体を照明するための光を発する発光部と、
   前記光が照射される被検体からの反射光を受光する複数のラインを有し、各ラインにおいて露光開始から露光終了までの露光期間と、露光期間において蓄積された電荷を読み出し撮像信号を生成する読み出し期間とを交互に切り替え、かつラインごとに順次前記露光開始及び前記電荷の読み出しを行うローリングシャッタ方式の撮像素子と、
   前記読み出し期間において前記光の照射時間を変更するように前記発光部を制御する発光制御部と、
   前記発光制御部による制御により前記露光期間を挟む２つの読み出し期間における前記発光部から出射される前記光の光量に差があるときには、前記撮像素子からの撮像信号に対してゲイン処理よりに補正を行う補正部と、
   を有することを特徴とする内視鏡装置。
2. 前記光の照射時間の変更量に応じて予め決められたゲイン値又は関数を記憶するゲイン記憶部を有し、
   前記補正部は、前記ゲイン記憶部に記憶された前記ゲイン値又は前記関数を用いて、前記撮像信号に対して補正を行うことを特徴とする請求項１に記載に内視鏡装置。
3. 前記発光制御部は、前記露光期間においては、前記発光部から前記光の強度を変更するように前記発光部を制御することを特徴とする請求項１に記載の内視鏡装置。
4. 前記撮像素子は、CMOSイメージセンサであることを特徴とする請求項１に記載の内視鏡装置。
5. 前記補正部は、前記２つの読み出し期間における前記発光部から出射される前記光の光量の差により生じる明るさの異なるラインに対して異なるゲインを乗じることを特徴とする請求項１に記載の内視鏡装置。
6. 前記補正部は、前記撮像素子からの撮像信号の各ラインに対応する撮像信号に対して、各ラインにおける前記露光期間と前記各ラインにおける前記露光期間中の前記光の照明時間との比に基づく係数を乗じることを特徴とする請求項1に記載の内視鏡装置。
7. 被検体を照明するための光を発する発光部の光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子からの撮像信号が入力されて内視鏡画像を生成するビデオプロセッサであって、
   前記読み出し期間において前記発光部からの前記光の照射時間を変更するように前記発光部を制御する発光制御部と、
   前記発光制御部による制御により前記露光期間を挟む２つの読み出し期間における前記発光部から出射される前記光の光量に差があるときには、前記撮像素子からの撮像信号に対して、ゲイン処理により補正する補正部と、を有することを特徴とするビデオプロセッサ。

Images