JP6150969B1 - ゲイン調整装置、ゲイン調整プログラム、内視鏡及び内視鏡装置 - Google Patents

Abstract

ゲイン調整装置は、内視鏡の挿入部に設けられた撮像素子からの撮像信号を伝送すると共に増幅するアナログ処理部の出力をデジタル信号に変換するアナログデジタル変換回路からの撮像画像を用いて、前記撮像素子の光電変換出力から前記アナログデジタル変換回路の入力までの間のアナログゲインの総和を算出するアナログ総ゲイン算出部と、前記撮像素子の光電変換出力から前記アナログデジタル変換回路の入力までの間のゲインの総和の目標値と前記アナログゲインの総和との差分を調整ゲインとして求めて前記内視鏡のアナログゲインの調整のために前記調整ゲインの情報を出力する調整ゲイン算出部とを具備する。

Description

本発明は、アナログゲインのばらつきを調整して高画質化を図ることができるゲイン調整装置、ゲイン調整プログラム、内視鏡及び内視鏡装置に関する。

近年、ＣＣＤやＣＭＯＳセンサ等の撮像素子を用いた撮像装置が様々な分野で利用されている。例えば、医療分野においては、診断や処置具を用いた治療等に用いる内視鏡装置として、撮像素子を用いた電子内視鏡装置が採用されることがある。電子内視鏡は、先端側に細長の挿入部を有しており、挿入部の先端に撮像素子が設けられる。また、内視鏡の基端側にはビデオプロセッサに接続するためのコネクタが設けられている。内視鏡で得られた撮像信号は、コネクタを介してビデオプロセッサに供給されて、ビデオプロセッサにおいて内視鏡画像が生成されるようになっている。

近年、ビデオプロセッサの画像処理は、デジタル化されるようになってきており、撮像素子の出力はデジタル信号に変換されて画像処理に用いられる。この場合、撮像素子による光電変換出力の出力レベルは比較的小さいことから、アナログの撮像素子出力信号は十分に増幅された後、アナログ/デジタル変換器に与えられてデジタル信号に変換されるようになっている。これにより、ビデオプロセッサにおいて、十分な明るさの内視鏡画像を生成して見やすい内視鏡画像を表示することができるようになっている。

日本国特開２００８−９３１７４号公報においては、画像の明るさが適切な明るさとなるように、ＡＧＣ回路のゲインを調整する内視鏡装置が開示されている。

ところで、内視鏡においては、挿入部先端に設けられた撮像素子の出力信号は、挿入部基端側のコネクタ部に内蔵された電気基板（以下、コネクタ部内基板）にケーブルによって電気伝送される。撮像素子出力信号を電気伝送するケーブルの長さは比較的長く、撮像素子出力信号は比較的大きく減衰する。このため、撮像素子の出力信号がコネクタ部内基板に実装されたアナログ／デジタル変換器に供給されるまでの間において、比較的大きなゲインで撮像素子出力信号を増幅する必要がある。

しかしながら、大きなゲインで撮像素子出力信号を増幅する必要があることから、撮像素子の出力信号レベルの個体差ばらつき、ケーブルの減衰量の個体差ばらつき、増幅器の増幅率の個体差ばらつき等の影響により、画質が劣化しやすいという問題があった。特に、近年、撮像素子の小型化に伴って撮像素子出力信号レベルが小さくなると共に、ケーブルの細径化によってケーブル伝送時の減衰率が大きくなっており、アナログアンプの負荷が大きくなりゲインのばらつきの影響によって画質の劣化が顕在化してしまう。

本発明は、アナログゲインのばらつきを無くして、画質を向上させることができるゲイン調整装置、ゲイン調整プログラム、内視鏡及び内視鏡装置を提供することを目的とする。

本発明の一態様によるゲイン調整装置は、内視鏡の挿入部に設けられた撮像素子からの撮像信号を伝送すると共に増幅するアナログ処理部の出力をデジタル信号に変換するアナログデジタル変換回路からの撮像画像を用いて、前記撮像素子の光電変換出力から前記アナログデジタル変換回路の入力までの間のアナログゲインの総和を算出するアナログ総ゲイン算出部と、前記撮像素子の光電変換出力から前記アナログデジタル変換回路の入力までの間のゲインの総和の目標値と前記アナログゲインの総和との差分を調整ゲインとして求めて前記内視鏡のアナログゲインの調整のために前記調整ゲインの情報を出力する調整ゲイン算出部とを具備する。

また、本発明の一態様による内視鏡は、前記ゲイン調整装置からの前記調整ゲインの情報を記録する記録部と、前記調整ゲインの情報に基づいて前記アナログデジタル変換回路の出力に前記調整ゲインを付加するデジタルアンプとを具備する。

また、本発明の他の一態様による内視鏡は、前記ゲイン調整装置からの前記調整ゲインの情報を記録する記録部と、前記調整ゲインの情報に基づいて前記アナログゲインの総和に前記調整ゲインを付加するように前記アナログ処理部のゲインを制御するアナログゲイン制御部とを具備する。

また、本発明の一態様による内視鏡装置は、前記内視鏡と、前記内視鏡の出力が与えられて所定の画像処理を施すビデオプロセッサとを具備し、前記ビデオプロセッサは、前記ゲイン調整装置を有する。

また、本発明の一態様によるゲイン調整プログラムは、コンピュータに、内視鏡の挿入部に設けられた撮像素子からの撮像信号を伝送すると共に増幅するアナログ処理部の出力をデジタル信号に変換するアナログデジタル変換回路からの撮像画像のうち、明時の前記撮像素子の出力に基づく前記撮像画像と暗時の前記撮像素子の出力に基づく前記撮像画像とを用いて、前記撮像素子の光電変換出力から前記アナログデジタル変換回路の入力までの間のアナログゲインの総和を算出する手順と、前記撮像素子の光電変換出力から前記アナログデジタル変換回路の入力までの間のゲインの総和の目標値と前記アナログゲインの総和との差分を調整ゲインとして求めて前記内視鏡のアナログゲインの調整のために前記調整ゲインの情報を出力する手順とを実行させる。

本発明の第１の実施の形態に係るゲイン調整装置を内蔵する内視鏡を含む内視鏡装置を示すブロック図。 撮像素子からＡ／Ｄ変換器までに存在するアナログゲインの発生源を示す説明図。 横軸にゲイン発生源の各段をとり縦軸にゲインをとって、図２の各アナログゲインのばらつきを示すグラフ。 補正値算出部４０による黒浮き補正及びゲイン調整を説明するためのフローチャート。 ゲイン補正部３６によるゲイン調整を説明するためのグラフ。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係るゲイン調整装置を内蔵する内視鏡を含む内視鏡装置を示すブロック図である。

先ず、図２及び図３を参照して、撮像素子の光電変換出力がアナログ／デジタル変換器（Ａ／Ｄ変換器）に与えられるまでの間にアナログ的に生じるゲイン（アナログゲイン）のばらつきについて説明する。図２は撮像素子からＡ／Ｄ変換器までに存在するアナログゲインの発生源を示す説明図であり、図３は横軸にゲイン発生源の各段をとり縦軸にゲインをとって、図２の各アナログゲインのばらつきを示すグラフである。

内視鏡は、内視鏡先端の挿入部先端に撮像素子が配置され、撮像素子出力信号（撮像信号）は、内視鏡基端側にケーブルによって伝送される。例えば、内視鏡基端側に接続されたユニバーサルケーブルのコネクタ内、あるいはコネクタによって内視鏡に接続されるビデオプロセッサ内に、ケーブルによって伝送されたアナログ撮像信号をデジタル信号に変換するＡ／Ｄ変換器が設けられる。

図２は、アナログゲインの発生源がフローティングデュフュージョン部１、イメージャ内蔵アンプ２、ケーブル３プリアンプ４及び可変アンプ５（以下、これらを単にアナログアンプともいう）であるものとした場合の例を示している。

図２において、撮像素子はフォトダイオードＰＤを有している。フォトダイオードＰＤは、光電変換により電子を発生する。この電子は、フローティングデュフュージョン部１において、電圧信号に変換される。このフローティングデュフュージョン部１におけるゲインをコンバージョンゲインＧｃというものとする。また、撮像素子は、イメージャ内蔵アンプ２を内蔵したものもある。このイメージャ内蔵アンプ２によるゲインをイメージャ内部ゲインＧｎというものとする。撮像信号は、ケーブル３によって伝送される。このケーブル３の抵抗（ケーブル抵抗）、終端抵抗及びマッチング抵抗によるゲイン（減衰）をケーブルゲインＧｋというものとする。一般的に、ケーブル３で伝送される撮像信号を、例えば基板内に配置されたＡ／Ｄ変換器６に供給する前に、基板内のプリアンプ４及び可変アンプ５によって増幅する。撮像信号に対して、プリアンプ４は基板内の回路に必要なレベルのＳ／Ｎの良い信号を供給するためのプリゲインＧｐを付与し、可変アンプ５は撮像信号をＡ／Ｄ変換器の入力レンジに応じたレベルに設定するために可変ゲインＧｖを付与する。

コンバージョンゲインＧｃ及びイメージャ内部ゲインＧｎ（以下、両者を合わせてイメージャゲインＧｉという）は、同一規格の撮像素子であっても、例えばプロセスに応じて撮像素子毎にばらつきを有する。また、ケーブルゲインＧｋも、同一径、同一線長の同一構成のケーブルであっても、例えばインピーダンスのばらつき等によりケーブル毎にばらつきを有する。更に、プリゲインＧｐ及び可変ゲインＧｖについても、基板内のこれらのアンプをアナログによって構成した場合には、同一規格のアンプであってもアンプ毎にばらつきを有する。

図３はこれらのゲインのばらつきを示している。図３の実線は、各ゲインの設計値を示している。フローティングデュフュージョン部１の入力時点におけるゲインを基準とすると、イメージャゲインＧｉ及びケーブルゲインＧｋは負の値であり、光電変換出力は、プリアンプ４に供給されるまでの間に減衰する。撮像信号は、プリアンプ４及び可変アンプ５によって増幅されてＡ／Ｄ変換器６に入力される。Ａ／Ｄ変換器６の入力時点におけるゲイン（目標値）は、正の値ＧＤとなる。この値ＧＤは設計値であり、実際にはゲインの値にはばらつきが生じる。

図３の破線は各アナログアンプにおけるゲインが正の方向にばらついた場合のゲインの変化を示し、図３の一点鎖線は各アナログアンプにおけるゲインが負の方向にばらついた場合のゲインの変化を示している。図３に示すように、ばらつきは各段毎に加算され、Ａ／Ｄ変換器６の入力時点においてゲインのばらつきとして想定される最大値はＧＨとなり、最小値はＧＬとなる。

設計上は、図３の各ゲインの総和、即ち、撮像素子のゲインを含み、光電変換出力がＡ／Ｄ変換されるまでの間に与えられるアナログゲインの総和（以下、アナログ総ゲインという）はＧＤである。この設定値（目標値）ＧＤに従って後段の回路を設計している場合、アナログ総ゲインが最小値ＧＬ側にばらつくと、得られる画像は暗くなる。逆に、アナログ総ゲインが最大値ＧＨ側にばらつくと、得られる画像は明るくなる反面Ｓ／Ｎが劣化してしまう。

また、撮像素子は、露光量に対して出力がリニアに変化する範囲（線形領域）で使用する必要がある。そして、撮像信号が線形領域の最大値である場合において、増幅した撮像信号がＡ／Ｄ変換器の入力レンジ一杯となるようにゲインを設定すれば、撮像素子出力を有効に使えることになる。この場合において、アナログ総ゲインが最大値ＧＨ側にばらつくことを想定してアナログアンプのゲインを設定すると、線形領域を超えた領域が映像に現れることはない反面、線形領域に割当てられるレンジが小さくなって画質が劣化する。逆に、アナログ総ゲインが最小値ＧＬ側にばらつくことを想定してアナログアンプのゲインを設定すると、出力レベルが線形領域の最大値側の所定領域はＡ／Ｄ変換器の入力レンジを超えてしまい、光量に対する撮像信号が画素毎に非線形で得られる領域が映像に現れる、ざらついたような固定パターンノイズ（飽和ざら）が発生し画像が劣化する。

つまり、アナログ総ゲインが最小値ＧＬ側にばらつく場合、画像は暗くなり、またそれを想定してゲイン設定を行うと画質も劣化する。逆に、ゲインが最大値ＧＨ側にばらつく場合、Ｓ／Ｎが劣化し、またそれを想定してゲイン設定を行うと、ダイナミックレンジが小さくなって画質が劣化する。

このように、アナログ総ゲインが設計値からばらつくことによって、画質が劣化する等の問題が生じる。この場合でも、撮像素子のサイズが比較的大きく、撮像信号レベルが比較的大きい場合には、アナログ総ゲインとして必要なゲインも比較的小さくてよく、その分ばらつきも小さいことから、画質の劣化は顕著ではなく、比較的問題は小さい。

しかしながら、小型化によって撮像素子のサイズが小さくなって撮像信号レベルが小さくなり、また、ケーブルの細径化によって伝送時の負のゲインが増加すると、アナログ総ゲインとして必要なゲインが大きくなり、その分ばらつきも大きくなってしまう。このため、上述の問題が顕在化してしまう。

そこで、本実施の形態においては、撮像素子の光電変換出力から撮像信号のデジタル変換までの各アナログアンプによるアナログ総ゲインを算出し、算出結果を元に、個体差によりばらついたゲインを設計値ＧＤに戻すようにゲイン調整を行う。即ち、アナログ総ゲインとゲイン調整によるゲイン（以下、調整ゲインという）との和のゲイン（以下、総ゲインという）を設計値ＧＤに一致させることで、小型化、細径化等に拘わらず、画質を向上させるようになっている。なお、調整ゲインは、Ａ／Ｄ変換前のアナログ信号に対して付加してもよく、Ａ／Ｄ変換後のデジタル信号に対して付加してもよい。

図１において、内視鏡装置１は内視鏡１０及びビデオプロセッサ５０によって構成されている。内視鏡１０には例えばＣＣＤ等によって構成された撮像素子１１が例えば内視鏡挿入部先端に設けられている。撮像素子１１は、図示しない光源から照射された照明光の被写体反射光が、挿入部先端に設けられた図示しない光学系を介して入射されるようになっている。光学系によって被写体からの光学像が撮像素子１１の撮像面に結像される。撮像素子１１は各画素に入射した光を光電変換する。光電変換によって得られた電気信号は、図２のフローティングデュフュージョン１及びイメージャ内蔵アンプ２を介して撮像信号として出力されるようになっている。

撮像素子１１からの撮像信号はケーブル３によって内視鏡基端側に伝送される。ケーブル３は、内視鏡１０内及び図示しないユニバーサルケーブル内に挿通されており、撮像信号は、例えばユニバーサルケーブルのコネクタ内に設けられた基板１３に伝送される。コネクタがビデオプロセッサ５０に接続されることで、基板１３に搭載された回路とビデオプロセッサ４０とは電気的に接続されるようになっている。

基板１３内には、プリアンプ４、ＡＦＥ（アナログフロントエンド）１５及びＦＰＧＡ（Field Programmable Gate Array）１６が構成されている。プリアンプ４は、撮像信号をプリゲインＧｐによって増幅した後、ＡＦＥ１５に出力する。

プリアンプ４からの撮像信号は、ＡＦＥ１５内のＣＤＳ（Correlation Double Sampling）アンプ２１に与えられる。ＣＤＳアンプ２１は入力されたアナログ信号を相関二重サンプリング処理して、所定のゲインを付加してＡＧＣ回路２２に出力する。ＡＧＣ回路２２は、ＣＤＳアンプ２１の出力に所定のゲインを付加してＡ／Ｄ変換器６に出力する。これらのＣＤＳアンプ２１及びＡＧＣ回路２２によって、図２の可変アンプ５が構成される。

ＣＤＳアンプ２１及びＡＧＣ回路２２のゲインは、設定部２４によって設定されるようになっている。ＣＤＳアンプ２１及びＡＧＣ回路２２によるゲインは可変であり、これらの回路によるゲインの和が図２の可変ゲインＧｖに相当する。この可変ゲインＧｖは、ＡＧＣ回路２２の出力信号をＡ／Ｄ変換器６の入力レンジに応じたレベルに設定するための値に設定される。

Ａ／Ｄ変換器６は入力された撮像信号をデジタル信号に変換して出力する。Ａ／Ｄ変換器６からのデジタル撮像信号（撮像画像）はＦＰＧＡ１６に供給される。ＦＰＧＡ１６には、映像処理部３０、タイミングジェネレータ（ＴＧ）４８及び駆動信号生成部４９が構成されている。ＴＧ３０は、ＦＰＧＡ１６の各部を駆動するために必要なクロック等を含む各種信号を生成して映像処理部３０及び駆動信号生成部４９に出力する。駆動信号生成部４９は、ＴＧ３０の出力信号が与えられて、撮像素子１１を動作させるのに必要なクロック及び各種駆動信号を生成して撮像素子１１に供給するようになっている。

ＦＰＧＡ１６の黒浮き補正部３５にはＡ／Ｄ変換器６からの撮像信号が与えられる。黒浮き補正部３５は、後述する黒浮き補正値算出部４１から黒浮き補正値が与えられ、黒浮き補正値を用いて撮像信号の黒レベルを補正して映像のオフセット成分を除去する。黒浮き補正部３５の出力信号はゲイン補正部３６に与えられるようになっている。

本実施の形態においては、ゲイン補正部３６は、デジタルアンプによって構成されており、後述するゲイン補正値記録部４５から調整ゲインＧＢが与えられて、入力された撮像信号に調整ゲインＧＢを付加するようになっている。即ち、ゲイン補正部３６は、撮像信号の総ゲインを設計値（目標値）ＧＤに一致させるためのゲイン調整を行う。ゲイン補正部３６の出力はデジタルゲイン部３７に供給される。デジタルゲイン部３７は、入力された撮像信号に所定のゲインを付加して映像出力部３８に出力する。映像出力部３８は、入力された撮像信号に所定の映像処理を施すことによって映像信号を生成してビデオプロセッサ５０に出力するようになっている。

本実施の形態においては、調整ゲインＧＢは、補正値算出部４０によって算出されるようになっている。補正値算出部４０は、黒浮き補正値算出部４１、メモリ部４２及び調整ゲイン算出部４３によって構成される。記憶部としてのメモリ部４２は、Ａ／Ｄ変換器６からの撮像信号（撮像画像）が順次与えられて記憶するようになっている。黒浮き補正値算出部４１は、Ａ／Ｄ変換器６及びメモリ部４２から撮像画像が与えられて、後述の手法により黒浮き補正に用いる映像のオフセット成分を算出して黒浮き補正値として黒浮き補正部３５に与えるようなっている。

調整ゲイン算出部４３は、黒浮き補正値算出部４１及びメモリ部４２の出力信号が与えられて、後述の手法により調整ゲインＧＢを算出し、算出結果をゲイン補正値記録部４５に出力する。ゲイン補正値記録部４５は、例えば、フラッシュメモリ等の不揮発性メモリによって構成してもよく、与えられた調整ゲインＧＢを記録すると共に、ゲイン補正部３６に出力する。

なお、映像処理部３０には、パラメータ記録部３２が設けられている。パラメータ記録部３２は、ＣＤＳアンプ２１及びＡＧＣ回路２２による可変ゲインＧｖを決定するためのパラメータを記録している。パラメータ設定部３１は、パラメータ記録部３２に記録されているパラメータを読出して、可変ゲインＧｖを求め、可変ゲインＧｖを設定するための設定値をＡＦＥ１５の設定部２４に出力するようになっている。設定部２４は、可変ゲインＧｖを設定するための設定値が与えられ、この設定値に基づいてＣＤＳアンプ２１及びＡＧＣ回路２２のゲインをそれぞれ設定するようになっている。

（アナログ総ゲインの算出方法）
いま、撮像素子１１において光電変換によって発生する信号の平均電子数をＮｓｉｇとする。信号の電子数の平均値μは、下記（１）に示すように、平均電子数Ｎｓｉｇにゲイン値Ｇを掛けた値として得られる。

Ｎｓｉｇ×Ｇ＝μ …（１）
Ｎｓｉｇには暗時ノイズと光ショットノイズとが混入する。暗時ノイズは撮像素子への入射光量の有無に拘わらず発生する比較的一定のレベルのノイズであり、光ショットノイズは撮像素子への入射光量に従ってレベルが変動するノイズである。即ち、光ショットノイズによる信号出力標準偏差σは、ポアソン分布に従い、下記（２）式の関係が成り立つ。

Ｎｓｉｇ^1/2×Ｇ＝σ
Ｎｓｉｇ×Ｇ²＝σ² …（２）
上記（２）式から下記（３）式が成立する。

μ×Ｇ＝σ²
Ｇ＝σ²／μ …（３）
撮像素子出力に順次ゲインが付加されたとしても、上記（３）式の関係は変化しない。従って、アナログ総ゲインは、上記（３）式によって求められる。しかし、上記（３）式が成立するのは光ショットノイズのみであり、暗時ノイズ成分を考慮する必要がある。そこで上記（３）式における標準偏差σを算出する上で光ショットノイズは、暗時には含まれないことから、光ショットノイズが含まれる明時の標準偏差σlightから暗時の標準偏差σdarkを減算することで暗時ノイズ成分を除去した後、上記（３）式の演算を行う。

σ²＝σlight²-σdark² …（４）
このように、暗時ノイズ成分を除去するためには、明時と暗時に対してそれぞれ少なくとも２フレーム分の撮像信号が必要である。例えば、カラム成分に発生するオフセット成分等に起因して固定パターンノイズが発生する。この固定パターンノイズを除去するためには、２フレーム間で減算を行えばよい。以上から、本実施の形態においては、明時の２フレームと暗時の２フレームの計４フレームの撮像画像を用いて、アナログ総ゲインを算出するようになっている。

補正値算出部４０は、メモリ部４２に明時２フレーム、暗時２フレームの計４フレーム分の撮像信号を記憶させるようになっている。黒浮き補正値算出部４１は、暗時における２フレームの差分の平均値から映像のオフセット分を求めて、黒浮き補正値として黒浮き補正部３５及び調整ゲイン算出部４３に出力する。調整ゲイン算出部４３は、明時及び暗時の計４フレームの撮像信号を用いて、明時における光ショットノイズと信号成分の平均値を求めて、上記（３）式からアナログ総ゲインを算出する。調整ゲイン算出部４３は、算出したアナログ総ゲインと目標とする総ゲイン（設計値）ＧＤとの差分を調整ゲインＧＢとして算出する。

次に、このように構成された実施の形態の動作について図４及び図５を参照して説明する。図４は補正値算出部４０による黒浮き補正及びゲイン調整を説明するためのフローチャートである。

本実施の形態においては、ゲイン調整装置による調整ゲインの算出は、例えば、内視鏡１０の工場出荷時に実施すればよい。上述したように、調整ゲインの算出のために明時の２フレーム及び暗時の２フレームの撮像画像を用いる。明時の２フレームの撮像画像を取得するために、図４のステップＳ１において、明時被写体をセットする。明時被写体としては、例えば、内視鏡挿入部の先端に取り付けるホワイトバランス調整用のホワイトキャップを用いてもよい。次のステップＳ２において、複数フレームの撮像画像を取得する。例えば、２フレームの撮像画像を連続的に撮影することにより、明時の２フレームの撮像画像を取得する。また、算出した調整ゲインを平均化することで算出精度を向上させる場合には、明時の２フレームの撮像画像を複数回取得してもよい。

撮像素子１１によって取得された複数フレームの撮像信号は、ケーブル３を介して基板１０のプリアンプ４に供給される。撮像信号はプリアンプ４によって増幅されてＡＦＥ１５に与えられる。ＡＦＥ１５のＣＤＳアンプ２１及びＡＧＣ回路２２は、設定部２４の設定値に従って入力された撮像信号を増幅してＡ／Ｄ変換器６に出力する。撮像素子１１の明時の光電変換出力は、イメージャゲインＧｉ、ケーブルゲインＧｋ、プリゲインＧｐ及び可変ゲインＧｖが付与された後、Ａ／Ｄ変換器６に供給されることになる。

Ａ／Ｄ変換器６は、入力された撮像信号をデジタル信号に変換して、ＦＰＧＡ１６内の映像処理部３０に出力する。デジタル撮像信号は、黒浮き補正部３５並びに補正値算出部４０の黒浮き補正値算出部４１及びメモリ部４２に与えられる。

調整ゲイン算出部４３は、例えば、連続した２フレームの画像同士の差分を求める（ステップＳ３）。この差分演算によって、撮像された明時の画像に含まれる固定パターンノイズは除去される。調整ゲイン算出部４３は、差分結果の画像（差画像）の分散値σ²１を算出する（ステップＳ５）。差画像からは固定パターンノイズは除去されているが、暗電流ノイズ及び光ショットノイズを含むランダムノイズは含まれたままである。分散値σ²１は、暗電流ノイズの影響を受けた光ショットノイズの分散値である。

また、調整ゲイン算出部４３は、ステップＳ４において、明時に撮像された複数フレームの画像の平均値を算出する。この平均化によって、暗電流ノイズ及び光ショットノイズを含むランダムノイズは除去される。こうして、ステップＳ４の平均化処理によって、明時画像の信号レベルμ１が求められる。

次に、暗時の２フレームの画像を取得するために、暗時被写体をセットする（ステップＳ６）。例えば、内視鏡先端の撮像素子１１の入射面を遮光して撮像を行う。次のステップＳ７において、複数フレームの画像を取得する。例えば、２フレームの画像を連続的に撮影することにより、暗時の２フレームの画像を取得する。また、算出した調整ゲインを平均化することで算出精度を向上させる場合には、暗時の２フレームの画像を複数回取得してもよい。

撮像素子１１によって取得された複数フレームの撮像信号は、ケーブル３、プリアンプ４、ＣＤＳアンプ２１及びＡＧＣ回路２２を介してＡ／Ｄ変換器６に供給される。こうして、撮像素子１１の暗時における光電変換出力は、イメージャゲインＧｉ、ケーブルゲインＧｋ、プリゲインＧｐ及び可変ゲインＧｖが付与された後、Ａ／Ｄ変換器６に供給されることになる。

Ａ／Ｄ変換器６は、入力された撮像信号をデジタル信号に変換する。このデジタル撮像信号は、黒浮き補正部３５並びに補正値算出部４０の黒浮き補正値算出部４１及びメモリ部４２に与えられる。調整ゲイン算出部４３は、例えば、連続した２フレームの画像同士の差分を求める（ステップＳ８）。この差分結果は、固定パターンノイズが除去された暗時の画像である。調整ゲイン算出部４３は、ステップＳ１０において、差分結果の画像（差画像）の分散値σ²２を算出する。分散値σ²２は、光ショットノイズのレベルが０の暗電流ノイズの分散値である。なお、アナログ総ゲインの算出に分散値でなく標準偏差を用いてもよい。

また、黒浮き補正値算出部４１及び調整ゲイン算出部４３は、ステップＳ９において、暗時に撮像された複数フレームの画像の平均値を算出する。この平均化によって、暗電流ノイズは除去される。こうして、ステップＳ９の平均化処理によって、暗時画像の信号レベルμ２が求められる。この信号レベルμ２は、以後黒浮き補正値算出部４１及び調整ゲイン算出部４３の両方で用いるようになっており、いずれか一方の算出部で求めて他方に与えるようにしてもよい。

なお、ステップＳ９の平均化処理は、暗時における画像の信号レベル、即ち、映像のオフセット分を得るものである。黒浮き補正値算出部４１は、暗時画像の平均化処理によって求めた信号レベルμ２から黒浮きレベルを求める。例えば、黒浮き補正値算出部４１は、信号レベルμ２をそのままオフセット分として用いてもよい。

黒浮き補正値算出部４１は、黒浮き補正精度を向上させるために、２フレームの画像から複数回黒浮きレベルを求めて、求めた黒浮きレベルを平均化するようにしてもよい（ステップＳ２２）。黒浮き補正値算出部４１は、求めた黒浮きレベルを補正するための黒浮きレベル補正値を算出して、黒浮き補正部３５に出力する（ステップＳ２３）。実際の撮像時において、黒浮き補正部３５は、黒浮きレベル補正値を用いて、入力された画像の黒浮きレベルを補正して出力する。

一方、調整ゲイン算出部４３は、ステップＳ１１においてアナログ総ゲインを算出する。即ち、調整ゲイン算出部４３は、ステップＳ５において求めた明時の分散値σ²１からステップＳ１０において求めた暗時の分散値σ²２を減算することによって、暗電流ノイズの影響を除去した光ショットノイズの分散値σ²を得る。また、調整ゲイン算出部４３は、ステップＳ４において求めた明時の画像平均値μ１からステップＳ９において求めた暗時の画像平均値μ２を減算することによって、明時における画像の平均値μを得る。調整ゲイン算出部４３は、求めた分散値σ²と平均値μとから上記（３）式に基づいてアナログ総ゲインを求める。

調整ゲイン算出部４３は、ゲインばらつきの補正精度を向上させるために、４フレームの画像から複数回アナログ総ゲインを求めて、求めたアナログ総ゲインを平均化するようにしてもよい（ステップＳ１２）。調整ゲイン算出部４３は、求めたアナログ総ゲインと目標とする総ゲイン（設計値）ＧＤとの差分を調整ゲインＧＢとして算出する（ステップＳ１３）。調整ゲイン算出部４３は、求めた調整ゲインＧＢをゲイン補正値記録部４５に与えて記録させる。

こうして、工場出荷時において、撮像素子１１、ケーブル３、プリアンプ４、ＣＤＳアンプ２１及びＡＧＣ回路２２の各ゲインのばらつきを補正する調整ゲインＧＢが補正値記録部４５に格納される。なお、撮像素子１１、ケーブル３及び基板１３の組み合わせは多種あるが、一般的には、ユーザが内視鏡１０から撮像素子１１、ケーブル３を交換することはなく、これらの交換は工場において行われる。従って、ゲイン補正値記録部４５は、撮像素子１１、ケーブル、基板１３の複数の組み合わせに対応した複数の調整ゲインＧＢを記録する必要はなく、工場出荷時に求めた調整ゲインＧＢのみを記録すればよい。

実使用時において、黒浮き補正部３５の出力はゲイン補正部３６を介してデジタルゲイン部３７に供給される。ゲイン補正部３６は、ゲイン補正値記録部４５によって調整ゲインＧＢが設定されて、黒浮き補正部３５の出力に調整ゲインＧＢを付与して出力する。ゲイン補正部３６は、デジタルアンプによって構成されており、正確なゲイン調整が可能である。

図５はゲイン補正部３６によるゲイン調整を説明するためのグラフである。図５は横軸に増幅するアンプの各段をとり縦軸にゲインをとって、図３と同様の表記方法によって、ゲイン調整の結果を示している。図５において、実線はゲインの設計値に従ったアナログ総ゲインの変化、破線は最大のアナログ総ゲインＧＨが得られる場合の変化、一点鎖線は最小のアナログ総ゲインＧＬが得られる場合の変化、２点鎖線（太線）は実際のゲインのばらつき及び調整の結果による総ゲインの変化を示している。

図５の例では、調整ゲイン算出部４３は、アナログ総ゲインの値ＧＡを算出する。調整ゲイン算出部４３は、目標とするゲインＧＤからＧＡを減算して、調整ゲインＧＢを算出する。この調整ゲインＧＢはゲイン補正値記録部４５に記録される。ゲイン補正部３６は、入力された撮像信号に対して、ゲイン補正値記録部４５により設定された調整ゲインＧＢを付加して出力する。こうして、光電変換出力に対してＡ／Ｄ変換前までに付与されたアナログ総ゲインＧＡに、Ａ／Ｄ変換後において調整ゲインＧＢが付加されて、総ゲインは目標値ＧＤとなる。

このように本実施の形態においては、明時における光ショットノイズ及び信号の平均値に基づいて、光電変換出力からＡ／Ｄ変換までに付加されるアナログ総ゲインを算出し、算出結果に基づいて総ゲインが設計値に一致するようにゲイン調整を行うようになっている。このように、アナログゲインのばらつきを補正して、総ゲインを目標とする設計値に一致させることができることから、Ｓ／Ｎが良好な十分な明るさの画像を得ることができる。また、アナログゲインのばらつきを考慮することなく、撮像信号の線形領域をＡ／Ｄ変換器の入力レベルに一致させるゲイン設計が可能であることから、Ａ／Ｄ変換器のダイナミックレンジを有効に使ったゲイン設計が可能であり、画質の劣化の少ない十分な明るさの画像を得ることができる。これにより、小型化によって撮像信号レベルが小さくなり、また、ケーブルの細径化によって伝送時の負のゲインが増加した場合でも、ゲインのばらつきを相殺することができ、高画質化を図ることができる。

なお、上記実施の形態においては、Ａ／Ｄ変換前のアナログ総ゲインを算出し、Ａ／Ｄ変換後にデジタルアンプによって算出したアナログ総ゲインに基づいてゲイン調整する例について説明したが、Ａ／Ｄ変換前にアナログアンプを用いてゲイン調整を行ってもよい。この場合には、アナログアンプに調整ゲインを設定したとしても、アナログアンプのばらつきによって調整ゲインもばらついてしまうので、フィードバック補正を行って、総ゲインを目標値に一致させる必要がある。

また、上記実施の形態においては、アナログ総ゲインに調整ゲインを追加することで、総ゲインが目標値に一致するように制御したが、アナログ総ゲインを与えるゲイン発生源のゲインを調整することで、総ゲイン＝アナログ総ゲインを目標値に一致させるようにしてもよい。例えば、ＡＦＥ回路内のＡＧＣ回路のゲインを調整するようにしてもよい。この場合には、（アナログ総ゲイン−ゲイン調整前のＡＧＣ回路によるゲイン＋ゲイン調整後のＡＧＣ回路のゲイン）＝総ゲインが目標値に一致するようにすればよい。

ところで、上記実施の形態におけるゲイン調整装置は、補正値算出部４０、ゲイン補正値記録部４５及びゲイン補正部３６によって構成される。本実施の形態においては、ゲイン調整装置が内視鏡１０に内蔵されている例を説明した。しかし、例えば、内視鏡の工場出荷時においてゲイン補正値記録部４５に調整ゲインの情報を格納しておけばよく、補正値算出部４０を内視鏡に内蔵しておく必要はない。即ち、内視鏡内には、ゲイン補正値記録部４５及びゲイン補正部３６のみを内蔵すればよい。

更に、上述したように、アナログアンプによって調整ゲインを付加する構成にした場合には、ゲイン補正部３６も省略可能である。この場合には、例えば、パラメータ設定部３１がパラメータ記録部３２及びゲイン補正値記録部４５の情報を元に、設定部２４に与える情報を求めるようにしてもよい。

従って、ゲイン調整装置は、内視鏡内に内蔵する必要はなく、例えば撮像信号を内視鏡から出力することができれば、ゲイン調整装置をビデオプロセッサ内や内視鏡装置の外部に設けてもよい。

更に、上記実施の形態においては、メモリ部４２に明時及び暗時の撮像画像を記憶させて、上述した分散等の統計値を求める例を説明した。しかし、撮像素子として固定パターンノイズが十分に小さい素子を用いた場合、または算出するアナログ総ゲインの値をおおよその近似値として求めるような場合には、画像の平均値の相関は高いことから、１フレーム前の画像の平均値を用いることで、分散や標準偏差は求められる可能性がある。このため、メモリ部４２を省略した場合でも、撮像画像から得られる分散や標準偏差等の統計値を取り込むことで、調整ゲイン算出部４３においてアナログ総ゲインを算出することが可能である。また、このような統計値を記憶するメモリを設けてもよい。

また、ゲイン調整装置による調整ゲインの算出処理は、調整ゲインの算出処理を記述したプログラムをコンピュータに実行させることによってソフトウェア処理によって得ることも可能である。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい

本出願は、２０１６年１月１２日に日本国に出願された特願２０１６−００３８９９号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (10)

1. 内視鏡の挿入部に設けられた撮像素子からの撮像信号を伝送すると共に増幅するアナログ処理部の出力をデジタル信号に変換するアナログデジタル変換回路からの撮像画像を用いて、前記撮像素子の光電変換出力から前記アナログデジタル変換回路の入力までの間のアナログゲインの総和を算出するアナログ総ゲイン算出部と、
   前記撮像素子の光電変換出力から前記アナログデジタル変換回路の入力までの間のゲインの総和の目標値と前記アナログゲインの総和との差分を調整ゲインとして求めて前記内視鏡のアナログゲインの調整のために前記調整ゲインの情報を出力する調整ゲイン算出部と
   を具備したことを特徴とするゲイン調整装置。
2. 前記アナログデジタル変換回路からの撮像画像を取込む記憶部を具備し、
   前記アナログ総ゲイン算出部は、前記記憶部に記憶された撮像画像のうち、明時の前記撮像素子の出力に基づく前記撮像画像と暗時の前記撮像素子の出力に基づく前記撮像画像とを用いて、前記アナログゲインの総和を算出する
   ことを特徴とする請求項１に記載のゲイン調整装置。
3. 前記アナログ総ゲイン算出部は、前記明時の撮像画像の統計値と前記暗時の撮像画像の統計値とに基づいて前記撮像素子の光ショットノイズを求め、前記明時の撮像画像の平均値と前記暗時の撮像画像の平均値とに基づいて明時における前記撮像画像のレベルを求め、求めた光ショットノイズ及び撮像画像のレベルに基づいて前記アナログゲインの総和を算出する
   ことを特徴とする請求項２に記載のゲイン調整装置。
4. 前記統計値は、標準偏差又は分散である
   ことを特徴とする請求項３に記載のゲイン調整装置。
5. 前記記憶部は、前記明時の２フレーム以上の撮像画像と前記暗時の２フレーム以上の撮像画像とを記憶し、
   前記アナログ総ゲイン算出部は、前記明時の２フレーム以上の撮像画像同士の差分によって固定パターンノイズを除去し、前記暗時の２フレーム以上の撮像画像同士の差によって固定パターンノイズを除去する
   ことを特徴とする請求項２に記載のゲイン調整装置。
6. 請求項１乃至５のいずれか１つに記載のゲイン調整装置からの前記調整ゲインの情報を記録する記録部と、
   前記調整ゲインの情報に基づいて前記アナログデジタル変換回路の出力に前記調整ゲインを付加するデジタルアンプと
   を具備したことを特徴とする内視鏡。
7. 請求項１乃至５のいずれか１つに記載のゲイン調整装置からの前記調整ゲインの情報を記録する記録部と、
   前記調整ゲインの情報に基づいて前記アナログゲインの総和に前記調整ゲインを付加するように前記アナログ処理部のゲインを制御するアナログゲイン制御部と
   を具備したことを特徴とする内視鏡。
8. 請求項１乃至５のいずれか１つに記載のゲイン調整装置を内蔵した
   ことを特徴とする請求項６に記載の内視鏡。
9. 請求項６又は７に記載の内視鏡と、
   前記内視鏡の出力が与えられて所定の画像処理を施すビデオプロセッサとを具備し、
   前記ビデオプロセッサは、請求項１乃至５のいずれか１つに記載のゲイン調整装置を有する
   ことを特徴とする内視鏡装置。
10. コンピュータに、
    内視鏡の挿入部に設けられた撮像素子からの撮像信号を伝送すると共に増幅するアナログ処理部の出力をデジタル信号に変換するアナログデジタル変換回路からの撮像画像のうち、明時の前記撮像素子の出力に基づく前記撮像画像と暗時の前記撮像素子の出力に基づく前記撮像画像とを用いて、前記撮像素子の光電変換出力から前記アナログデジタル変換回路の入力までの間のアナログゲインの総和を算出する手順と、
    前記撮像素子の光電変換出力から前記アナログデジタル変換回路の入力までの間のゲインの総和の目標値と前記アナログゲインの総和との差分を調整ゲインとして求めて前記内視鏡のアナログゲインの調整のために前記調整ゲインの情報を出力する手順と
    を実行させるためのゲイン調整プログラム。

Images