JP5124416B2 - 固定パターンノイズ除去ユニット、撮像ユニット、および電子内視鏡システム - Google Patents

Description

本発明は、ＣＭＯＳ撮像素子などのように画素毎に異なる固定パターンノイズを簡易な構成で効果的に除去する固定パターンノイズ除去ユニット、撮像ユニット、および固定パターンノイズの除去された画像を作成する電子内視鏡システムに関する。

消費電力および製造コストの低減化することが可能なＣＭＯＳ撮像素子が知られている。ＣＭＯＳ撮像素子は各画素にアンプが設けられるため、画素毎に個別の固定パターンノイズが発生する。

また、固定パターンノイズを除去するために、露光時間を短く設定して電子シャッタを機能させることにより遮光状態と同等の状況下での撮像により固定パターンノイズを生成させ、撮像時の画像データから固定パターンノイズ成分を除去することが提案されている（特許文献１参照）。

しかし、露光時間を十分に短く設定できない場合や、光量の大きい光が入射する場合には、精度の高い固定パターンノイズを生成することが出来ない。それゆえ、このような状況下では、高い精度で固定パターンノイズを除去することが困難であった。
特開平１０−３１３４２８号公報

したがって、本発明では固定パターンノイズを簡易な構成で効果的に除去する固定パターンノイズ除去ユニットを提供することを目的とする。

本発明の固定パターンノイズ除去ユニットは、撮像素子に配置される画素が通常露光時間の露光による受光量に応じて生成する撮像画素信号または画素が前記通常露光時間より短い瞬間露光時間の露光による受光量に応じて生成する擬似黒色画素信号を受信する受信部と、撮像画素信号の信号レベルが閾値未満であるか否かを判別する判別部と、撮像画素信号の信号レベルが閾値未満であると判別部が判別するまで撮像素子に通常露光時間による第１の撮像を繰返させ撮像画素信号の信号レベルが閾値未満であると判別部が判別した後に撮像素子に瞬間露光時間による第２の撮像を少なくとも１回実行させ第２の撮像を実行させた後に第１の撮像を繰返させる撮像素子制御部と、擬似黒色画素信号基づくノイズ信号を撮像画素信号から減じる減算部と、第２の撮像が実行される前には受信部が受信する撮像画素信号を出力し第２の撮像が実行された後には減算部によりノイズ信号を減じられた撮像画素信号を出力する出力部とを備えることを特徴としている。

さらに、擬似黒色画素信号が２以上の所定のフレーム数生成されるまで、第１の撮像、撮像画素信号の信号レベルが閾値未満であるか否かの判別、および撮像画素信号の信号レベルが閾値未満である場合に実行させる第２の撮像を判別部と撮像素子制御部とに実行させる全体制御部を備えることが好ましい。

また、撮像素子制御部は撮像画素信号の信号レベルが閾値未満であると判別部が判別した後の所定の期間に複数回の第２の撮像を実行させることが好ましい。

また、減算部は複数回の第２の撮像により異なる時期に生成された複数の擬似黒色画素信号を平均化させることによりノイズ信号を生成することが好ましい。

また、減算部は２回目以降の第２の撮像により生成された擬似黒色画素信号を受信部が受信するたびに受信済みの複数の擬似黒色画素信号を平均化することによりノイズ信号を生成し最後に受信部が受信した撮像画素信号から前記ノイズ信号を減じ、出力部は第２の撮像の実行中には減算部によりノイズ信号が減じられた撮像画素信号を出力することが好ましい。

また、出力部は第２の撮像が実行される間には最後に受信部が受信した撮像画素信号を出力することが好ましい。

また、瞬間露光時間は通常露光時間を閾値で除した時間であることが好ましい。

また、撮像素子制御部は撮像画素信号の信号レベルが閾値未満であると判別部が判別するまで撮像素子に第１の通常露光時間による第１の撮像を繰返させ第２の撮像の実行後には第１の通常露光時間のｍ倍（１＜ｍ）の第２の通常露光時間による第１の撮像を繰返させ、出力部は第２の撮像が実行される前には第１の通常露光時間による第１の撮像により生成した撮像画素信号をｍ倍にして出力することが好ましい。

本発明の撮像ユニットは、通常露光時間の露光による受光量に応じた撮像画素信号または通常露光時間より短い瞬間露光時間の露光による受光量に応じた擬似黒色画素信号を生成する画素を有する撮像素子と、撮像画素信号の信号レベルが閾値未満であるか否かを判別する判別部と、撮像画素信号の信号レベルが閾値未満であると判別部が判別するまで撮像素子に通常露光時間による第１の撮像を繰返させ撮像画素信号の信号レベルが閾値未満であると判別部が判別した後に撮像素子に瞬間露光時間による第２の撮像を少なくとも１回実行させ第２の撮像を実行させた後に第１の撮像を繰返させる撮像素子制御部と、擬似黒色画素信号基づくノイズ信号を撮像画素信号から減じる減算部と、第２の撮像が実行される前には受信部が受信する撮像画素信号を出力し第２の撮像が実行された後には減算部によりノイズ信号を減じられた撮像画素信号を出力する出力部とを備えることを特徴としている。

本発明の電子内視鏡システムは、通常露光時間の露光による受光量に応じた撮像画素信号または通常露光時間より短い瞬間露光時間の露光による受光量に応じた擬似黒色画素信号を生成する画素を有する撮像素子と、撮像画素信号の信号レベルが閾値未満であるか否かを判別する判別部と、撮像画素信号の信号レベルが閾値未満であると判別部が判別するまで撮像素子に通常露光時間による第１の撮像を繰返させ撮像画素信号の信号レベルが閾値未満であると判別部が判別した後に撮像素子に瞬間露光時間による第２の撮像を少なくとも１回実行させ第２の撮像を実行させた後に第１の撮像を繰返させる撮像素子制御部と、擬似黒色画素信号基づくノイズ信号を撮像画素信号から減じる減算部と、第２の撮像が実行される前には受信部が受信する撮像画素信号を出力し第２の撮像が実行された後には減算部によりノイズ信号を減じられた撮像画素信号を出力する出力部とを備える撮像ユニットを有することを特徴としている。

本発明によれば、通常の撮像時に生成される撮像画素信号を閾値と比較して、信号レベルが十分に低いときに、瞬間露光時間による撮像を実行させることによりノイズデータを生成できるので、固定パターンノイズを簡易な構成で高い精度で除去することが可能となる。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の第１の実施形態を適用した固定パターンノイズ除去ユニットを有する電子内視鏡システムの内部構成を概略的に示すブロック図である。

電子内視鏡システム１０は、電子内視鏡２０、内視鏡プロセッサ４０、およびモニタ１１によって構成される。内視鏡プロセッサ４０は、電子内視鏡２０、及びモニタ１１に接続される。

内視鏡プロセッサ４０には光源ユニット（図示せず）が設けられる。光源ユニットから照射する照明光が、電子内視鏡２０のコネクタ２１から挿入管２２の先端まで延設されるライトガイド（図示せず）によって挿入管２２の先端まで伝達される。

ライトガイドにより伝達された照明光が挿入管２２の先端付近に照射される。照明光を照射された被写体が電子内視鏡２０により撮像される。電子内視鏡２０の撮像により生成する画像信号が内視鏡プロセッサ４０に送られる。

内視鏡プロセッサ４０は画像処理回路４１を有しており、画像処理回路４１において電子内視鏡２０から得られた画像信号に対して所定の信号処理が施される。所定の信号処理を施した画像信号はモニタ１１に送信され、送信された画像信号に相当する画像がモニタ１１に表示される。

なお、光源ユニットおよび画像処理回路４１は、内視鏡プロセッサ４０に設けられるシステムコントローラ４２により動作が制御される。また、システムコントローラ４２は、電子内視鏡２０にも接続され、電子内視鏡２０の各部位の動作も制御する。

なお、内視鏡プロセッサ４０には入力部４３が設けられる。使用者によるコマンドが入力されると、入力されたコマンドに応じたオーダー信号が入力部４３からシステムコントローラ４２に送信される。システムコントローラ４２は、受信したオーダー信号に応じて各部位の動作を制御する。

電子内視鏡２０には、対物レンズ２３、撮像素子２４、Ａ／Ｄコンバータ２５（受信部）、画像処理部３０、Ｄ／Ａコンバータ２６、ＳＤＲＡＭ２７、タイミングコントローラ２８（撮像素子制御部）などが設けられる。

前述のように、照明光が照射された被写体の光学像が対物レンズ２３を介して、撮像素子２４の受光面に到達する。タイミングコントローラ２８の駆動に基づいて、撮像素子２４は受光面に到達した光学像に相当する画像信号を生成する。

撮像素子２４はＣＭＯＳ撮像素子であり、受光面には行列状に複数の画素（図示せず）が配置される。各画素では、受光量に応じた画素信号が生成される。

各画素において生成される画素信号は、固定パターンノイズ（ＦＰＮ）成分および受光量成分を有する。ＦＰＮ成分は、各画素固有のノイズ成分であり、露光時間に関わらず一定の大きさである。また、受光量成分は、画素への積算露光量、すなわち入射光の光量および露光時間の積に応じて変化する。

タイミングコントローラ２４により各画素が生成する画素信号の出力時期が制御され、画素信号が撮像素子２４から順番に出力される。受光面に配置されたすべての画素が生成した画素信号によって１フレームの画像信号が構成される。

なお、後述するように、タイミングコントローラ２８は画素の露光時間を制御することも可能である。さらに、タイミングコントローラ２８により、Ａ／Ｄコンバータ２５および画像処理部３０における動作のタイミングも制御される。

生成された画像信号は、撮像素子２４からＡ／Ｄコンバータ２５に送信される。Ａ／Ｄコンバータ２５によりＡ／Ｄ変換が施され、アナログ画像信号がデジタル画像データに変換される。なお、画像データは、画素信号をＡ／Ｄ変換した画素データによって構成される。

画像データは、画像処理部３０に送信される。画像処理部３０では、ＦＰＮ除去を含む所定の画像処理が画像データに対して施される。なお、画像処理部３０はＳＤＲＡＭ２７に接続される。ＳＤＲＡＭ２７には、後述するように、ＦＰＮ除去のための画素データが格納される。

所定の画像処理が施された画像データは、Ｄ／Ａコンバータ２６に送信される。Ｄ／Ａコンバータ２６によりＤ／Ａ変換が施され、デジタル画像データがアナログ画像信号に変換される。変換された画像信号は内視鏡プロセッサ４０の画像処理回路４１に送信される。前述のように、画像処理回路４１では画像信号に対して所定の画像処理が施される。画像処理後、画像信号はモニタ１１に送信され、画像信号に相当する画像がモニタ１１に表示される。

次に、画像処理部３０の構成とともに、画像処理部３０において実行されるＦＰＮ除去について説明する。図２に示すように、画像処理部３０は、平均化回路３１、ＦＰＮ補正回路３２（減算部）、および一般画像処理回路３３などによって構成される。

画素信号からＦＰＮ成分を除去するためには、各画素固有のＦＰＮ成分であるノイズ信号が必要である。ＦＰＮ除去の前に、画像処理部３０によりノイズデータが生成される。

前述のように、画素データはノイズ成分と受光量成分とを有する。受光量成分がゼロとなる状況において画素データを生成させることによりノイズ成分とみなせるノイズデータが作成される。ノイズデータの作成のためには、明る過ぎない状況において極めて短い露光時間で画素データを生成させる必要がある。

撮像素子２４への入射光量が大き過ぎるか否かを判別するために、電子内視鏡２０の起動時にタイミングコントローラ２８は、通常の撮像時の露光時間、例えば１／６０ｓの露光時間で撮像を実行させ、撮像素子２４に連続的に撮像画像信号を生成させる。

露光時間が１／６０ｓの場合には、生成した画素信号は撮像画素データとして、ＦＰＮ補正回路３２に送信される。ＦＰＮ補正回路３２では、後述するように、ＳＤＲＡＭ２７から読出すノイズデータにより撮像画素データのＦＰＮ成分が除去される。ノイズデータの生成前には、ＦＰＮ補正回路３２はＦＰＮ成分の除去を施すことなく、撮像画素データをそのまま一般画像処理回路３３に送信する。

一般画像処理回路３３では、受信した画素データに対して色補間処理やガンマ補正処理などの所定の画像処理を施す。所定の画像処理の施された画素データは、前述のようにＤ／Ａコンバータ２６に送信される。したがって、ノイズデータの生成前には、ＦＰＮ成分の除去が施されなかった画像がモニタ１１に表示される。

なお、ノイズデータの生成前に一般画像処理回路３３では、所定の画像処理を施す前に撮像画像データに基づいて、撮像画像データを構成する画素データの輝度成分の最大値が求められる。また、一般画像処理回路３３では最大値が閾値未満であるか否かが判別される。なお、閾値のデータレベルはｘ（ｘ＞１）に定められているとする。

輝度成分の最大値が閾値以上である場合には、１／６０ｓの露光時間での撮像が繰返される。輝度成分の最大値が閾値未満である場合には、一般画像処理回路３３はタイミングコントローラ２８および画像処理部３０にノイズデータを生成するための動作を開始させる。

一般画像処理回路３３によりノイズデータの生成を開始させる信号を受信すると、タイミングコントローラ２８は、通常の撮像時の露光時間を閾値のデータレベルで除した時間（（１／６０ｘ）ｓ）を露光時間として撮像を実行させ、撮像素子２４に１フレームの遮光画像信号を生成させる。

露光時間が（１／６０ｘ）ｓの場合には、生成した画素信号は擬似黒色画素データとして平均化回路３１に送信される。平均化回路３１は、ＳＤＲＡＭ２７に接続される。ＳＤＲＡＭ２７にはＦＰＮ計算用画像領域２７ａおよびＦＰＮ格納領域２７ｂが設定される。

平均化回路３１が受信した擬似黒色画素データは、ＦＰＮ計算用画像領域２７ａに格納される。ＦＰＮ計算用画像領域２７ａには８フレームの遮光画像データを格納可能であり、擬似黒色画素データは、フレームの順番および対応する画素の位置に応じてＦＰＮ計算用画像領域２７ａ内に定められる領域に格納される。

１フレームの画像データを構成する擬似黒色画素データをＦＰＮ計算用画像領域２７ａに格納すると、再びタイミングコントローラ２８は１／６０ｓの露光時間で撮像を撮像素子２４に繰返させる。

以後、撮像画像データを構成する画素データの輝度成分の最大値が閾値未満であるか否かの判別、（１／６０ｘ）ｓの露光時間の撮像、擬似黒色画素データの格納が、ＦＰＮ計算用画像領域２７ａに８フレームの擬似黒色画素データが格納されるまで繰返される。

（１／６０ｘ）ｓの露光時間による８フレームすべての擬似黒色画素データがＦＰＮ計算用画像領域２７ａに格納されると、フレームの異なる８個の擬似黒色画素データが画素毎に平均化回路３１に読出される。平均化回路３１において、データ成分を平均化することにより画素毎のノイズデータが生成される。すべての画素に対して、ノイズデータが生成される。ノイズデータはＦＰＮ格納領域２７ｂに送信され、格納される。

ノイズデータの生成を終了すると、タイミングコントローラ２８は１／６０ｓの露光時間で、撮像素子２４に撮像画像信号を生成させる。１フレームの撮像画像信号を構成する各画素信号が撮像画素信号として順番にＡ／Ｄコンバータ２５を介して、画像処理部３０に送信される。

前述のように、露光時間が１／６０ｓの場合には、生成されＡ／Ｄ変換された撮像画素データは、ＦＰＮ補正回路３２に送信される。ＦＰＮ補正回路３２には、受信した撮像画素データに対応する画素のノイズデータがＳＤＲＡＭ２７から読出される。ＦＰＮ補正回路３２により、撮像画素データからノイズデータが減じられることにより、ＦＰＮ成分が除去される。

前述のように、ＦＰＮ成分が除去された撮像画素データは一般画像処理回路３３に送信され、色補間処理やガンマ補正処理などの所定の画像処理が施される。所定の画像処理の施された撮像画素データが、前述のように、Ｄ／Ａコンバータ２６に送信される。

次に、タイミングコントローラ２８および画像処理部３０によって行われるノイズデータ生成および撮像画素データからのＦＰＮ成分の除去の処理を図３のフローチャートを用いて説明する。図３は、ＦＰＮ成分の除去の処理を説明するためのフローチャートである。ＦＰＮ成分の除去の処理は、電子内視鏡システム１０の電源をＯＮにするときに開始される。

ステップＳ１００では、１／６０ｓの露光時間で撮像素子２４に撮像を実行させ、1フレームの撮像画像信号を生成させる。撮像画像信号の生成後、ステップＳ１０１に進み、既にノイズデータを生成済みであるか否かを判別する。ノイズデータを生成済みの場合は、ステップＳ１０２に進む。ノイズデータを未生成である場合には、ステップＳ１０３に進む。

ステップＳ１０２では、ＳＤＲＡＭ２７に格納されたノイズデータを、ステップＳ１００で生成させＡ／Ｄ変換させた撮像画像データから減じることにより、ＦＰＮ成分を除去する。ＦＰＮ成分の除去後、ステップＳ１１０に進む。

ステップＳ１０３では、ステップＳ１００において生成させた撮像画像信号をＡ／Ｄ変換した撮像画像データを一般画像処理回路３３に送信する。撮像画像データの送信後、ステップＳ１０４に進む。

ステップＳ１０４では、ステップＳ１００において生成させた撮像画像信号を構成する撮像画素信号の中で輝度成分の最大値を検出する。最大値を検出すると、ステップＳ１０５に進み、検出した最大値が閾値未満であるか否かを判別する。最大値が閾値未満である場合にはステップＳ１０６に進む。最大値が閾値未満でない場合には、ステップＳ１１０に進む。

ステップＳ１０６では、（１／６０ｘ）ｓの露光時間で撮像素子２４に撮像を実行させ、１フレームの遮光画像信号を生成させる。１フレームの遮光画像信号の生成後、ステップＳ１０７に進み、生成した遮光画像信号をＡ／Ｄ変換させた遮光画像データを構成する擬似黒色画素データをＳＤＲＡＭ２７に格納する。遮光画像データを構成するすべての擬似黒色画素データを格納すると、ステップＳ１０８に進む。

ステップＳ１０８では、ＳＤＲＡＭ２７に８フレームの擬似黒色画素データが格納されているか否かを判別する。８フレームの擬似黒色画素データが格納されている場合には、ステップＳ１０９に進む。８フレームの擬似黒色画素データが格納されていない場合には、ステップＳ１１０に進む。

ステップＳ１０９では、フレームの異なる８個の擬似黒色画素データを画素毎に平均化して、ノイズデータを生成する。さらに、生成したノイズデータをＳＤＲＡＭ２７に格納する。ノイズデータの格納後、ステップＳ１１０に進む。

ステップＳ１１０では、色補間処理やガンマ処理などの所定の画像処理を、画像データに施す。所定の画像処理を施すとステップＳ１１１に進み、動画表示を終了するコマンドが入力されているか否かを判別する。

動画表示を終了するコマンドが入力されていない場合には、ステップＳ１００に戻り、動画表示を終了するコマンドが入力されるまでステップＳ１００〜ステップＳ１１１の処理を繰返す。動画表示を終了するコマンドが入力されている場合に、ＦＰＮ成分除去の処理を終了する。

以上のような第１の実施形態を適用した固定パターンノイズ除去ユニットによれば、入射光量が大き過ぎないときに、露光時間を短くしてノイズデータを生成するので、簡易な構成で高い精度でＦＰＮを除去することが可能になる。

次に本発明の第２の実施形態を適用した固定パターンノイズ除去ユニットについて説明する。第２の実施形態は、ノイズデータの生成方法が第１の実施形態と異なっている。以下、第１の実施形態と異なる部位を中心に、第２の実施形態について説明する。なお、同じ機能を有する部位には、同じ符号を付す。

第２の実施形態の電子内視鏡の画像処理部以外の部位の構成および機能は、第１の実施形態の電子内視鏡と同じである。また、第２の実施形態において内視鏡プロセッサおよびモニタは、第１の実施形態の内視鏡プロセッサとモニタと同一である。

第２の実施形態の画像処理部の構成および機能とともに、画像処理部において実行されるＦＰＮ除去について説明する。図４に示すように、画像処理部３００は、平均化回路３１０、ＦＰＮ補正回路３２、および一般画像処理回路３３等によって構成される。

第１の実施形態と同じく、電子内視鏡２０の起動時にタイミングコントローラ２８は、通常の撮像時の露光時間、例えば１／６０ｓの露光時間で撮像を実行させ、撮像素子２４に連続的に撮像画像信号を生成させる。

第１の実施形態と同じく、１／６０ｓの露光時間に基づく画像データを構成する画素データの輝度成分の最大値が閾値未満であるか否かの判別、（１／６０ｘ）ｓの露光時間の撮像、擬似黒色画素データの格納が、ＦＰＮ計算用画像領域２７ａに８フレームの擬似黒色画素データが格納されるまで繰返される。

第１の実施形態と異なり、以下に説明するように、８フレームの擬似黒色画素データが格納される前から、ノイズデータが生成される。

１フレームの擬似黒色画素データがＦＰＮ計算用画像領域２７ａに格納されると、格納された１フレームの擬似黒色画素データが平均化回路３１０に読出され、ノイズデータとしてＦＰＮ格納領域２７ｂに格納される。

２フレームまたは３フレームの擬似黒色画素データがＦＰＮ計算用画像領域２７ａに格納されると、既に格納されている擬似黒色画素データの中で２フレームの擬似黒色画素データが平均化回路３１０に読出され、平均化される。平均化された平均化擬似黒色画素データが新たなノイズデータとして、ＦＰＮ格納領域２７ｂに格納されているノイズデータから更新される。

４フレーム〜７フレームの擬似黒色画素データがＦＰＮ計算用画像領域２７ａに格納されると、既に格納されている擬似黒色画素データの中で４フレームの擬似黒色画素データが平均化回路３１０に読出され、平均化される。平均化された平均化擬似黒色画素データが新たなノイズデータとして、ＦＰＮ格納領域２７ｂに格納されているノイズデータから更新される。

８フレームの擬似黒色画素データがＦＰＮ計算用画像領域２７ａに格納されると、既に格納されている８フレームの擬似黒色画素データが平均化回路３１０に読出され、平均化される。平均化された平均化擬似黒色画素データが新たなノイズデータとしてＦＰＮ格納領域２７ｂに格納されているノイズデータから更新される。なお、８フレームの擬似黒色画素データに基づくノイズデータが生成されると、以後のノイズデータの生成および更新は停止される。

第１の実施形態と同じく、１／６０ｓの露光時間によって生成された画像信号をＡ／Ｄ変換した撮像画像データは、ＦＰＮ補正回路３２に送信される。ＦＰＮ補正回路３２は、ＦＰＮ格納領域２７ｂに格納されているノイズデータを用いて撮像画像データのＦＰＮ成分を除去する。

したがって、第１の実施形態と異なり、８フレームの擬似黒色画素データが格納される前でも、１フレームの擬似黒色画素データが格納されれば、ＦＰＮ成分が除去される。

第１の実施形態と同じく、ＦＰＮ成分の除去された撮像画素データは一般画像処理回路３３に送信され、所定の画像処理が施される。第１の実施形態と同じく、所定の画像処理の施された画素データが、Ｄ／Ａコンバータ２６に送信される。

次に、タイミングコントローラ２８および画像処理部３００によって行われるノイズデータ生成および撮像画素データからのＦＰＮ成分の除去の処理を図５のフローチャートを用いて説明する。図５は、ＦＰＮ成分の除去の処理を説明するためのフローチャートである。ＦＰＮ成分の除去の処理は、電子内視鏡システム１０の電源をＯＮにするときに開始される。

ステップＳ２００では、１／６０ｓの露光時間で撮像素子２４に撮像を実行させ、1フレームの撮像画像信号を生成させる。撮像画像信号の生成後、ステップＳ２０１に進み、８フレームの遮光画像データをＳＤＲＡＭ２７に格納済みであるか否かを判別する。８フレームの遮光画像データを格納済みの場合は、ステップＳ２０２〜ステップＳ２０７をスキップしてステップＳ２０８に進む。遮光画像データが８フレーム格納されていない場合には、ステップＳ２０２に進む。

ステップＳ２０２では、ステップＳ２００において生成させた撮像画像信号を構成する撮像画素信号の中で輝度成分の最大値を検出する。最大値を検出すると、ステップＳ２０３に進み、検出した最大値が閾値未満であるか否かを判別する。最大値が閾値未満でない場合には、ステップＳ２０４〜ステップＳ２０６をスキップしてステップＳ２０７に進む。最大値が閾値未満である場合にはステップＳ２０４に進む。

ステップＳ２０４では、（１／６０ｘ）ｓの露光時間で撮像素子２４に撮像を実行させ、１フレームの遮光画像信号を生成させる。１フレームの遮光画像信号の生成後、ステップＳ２０５に進み、生成した遮光画像信号をＡ／Ｄ変換させた遮光画像データを構成する擬似黒色画素データをＳＤＲＡＭ２７に格納する。遮光画像データを構成するすべての擬似黒色画素データを格納すると、ステップＳ２０６に進む。

ステップＳ２０６では、ＳＤＲＡＭ２７に格納された擬似黒色画素データを画素毎に平均化して、ノイズデータを生成する。さらに、生成したノイズデータをＳＤＲＡＭ２７に格納する。ノイズデータの格納後、ステップＳ２０７に進む。

ステップＳ２０７では、ＳＤＲＡＭ２７にノイズデータが格納されているか否かを判別する。一度でも遮光画像データを生成してＳＤＲＡＭ２７にノイズデータが格納されている場合には、ステップＳ２０８に進む。ＳＤＲＡＭ２７にノイズデータが格納されていない場合には、ステップＳ２０８をスキップしてステップＳ２０９に進む。

ステップＳ２０８では、ＳＤＲＡＭ２７に格納されたノイズデータを、ステップＳ２００で生成させＡ／Ｄ変換させた撮像画像データから減じることにより、ＦＰＮ成分を除去する。ＦＰＮ成分の除去後、ステップＳ２０９に進む。

ステップＳ２０９では、撮像画像データを一般画像処理回路３３に送信する。撮像画像データの送信後、ステップＳ２１０に進む。ステップＳ２１０では、色補間処理やガンマ処理などの所定の画像処理を、画像データに施す。所定の画像処理を施すとステップＳ２１１に進む。

ステップＳ２１１では、動画表示を終了するコマンドが入力されているか否かを判別する。動画表示を終了するコマンドが入力されていない場合には、ステップＳ２００に戻り、動画表示を終了するコマンドが入力されるまでステップＳ２００〜ステップＳ２１１の処理を繰返す。動画表示を終了するコマンドが入力されている場合に、ＦＰＮ成分除去の処理を終了する。

以上のような第２の実施形態を適用した固定パターンノイズ除去ユニットによれば、入射光量が大き過ぎないときに、露光時間を短くしてノイズデータを生成するので、簡易な構成で高い精度でＦＰＮを除去することが可能になる。

また、第２の実施形態の固定パターンノイズ除去ユニットによれば、１フレームでも遮光画像信号が生成されていれば、８フレームの遮光画像信号を生成させる前からノイズデータが生成される。ノイズデータの精度は基になる擬似黒色画素データのフレーム数が多くなるほど高まるので、フレーム数が少ないときには、高い精度でノイズ除去ができないものの、ノイズデータが早期に生成されるのでＦＰＮ成分の除去が早期に開始される効果が得られる。

次に本発明の第３の実施形態を適用した固定パターンノイズ除去ユニットについて説明する。第３の実施形態は、入射光量に対してノイズデータの生成方法を変更可能な点で第１の実施形態と異なっている。以下、第１の実施形態と異なる部位を中心に、第３の実施形態について説明する。なお、同じ機能を有する部位には、同じ符号を付す。

第３の実施形態の電子内視鏡の画像処理部以外の部位の構成および機能は、第１の実施形態の電子内視鏡と同じである。また、第３の実施形態において内視鏡プロセッサおよびモニタは、第１の実施形態の内視鏡プロセッサとモニタと同一である。

第３の実施形態の画像処理部の構成および機能とともに、画像処理部において実行されるＦＰＮ除去について説明する。図６に示すように、画像処理部３０１は、平均化回路３１０、ＦＰＮ補正回路３２、および一般画像処理回路３３１等によって構成される。

第１の実施形態と異なり、第３の実施形態において、電子内視鏡２０は、第１のノイズデータ生成モードと第２のノイズデータ生成モードとを有する。使用者による入力部４３への選択コマンド入力に基づいて、第１、第２のノイズデータ生成モードのいずれかに切替えられる。第１のノイズデータ生成モードでは、第１の実施形態とまったく同じ方法でノイズデータが生成される。

第２のノイズデータ生成モードを選択していると、電子内視鏡２０の起動時にタイミングコントローラ２８は、通常の撮像時の露光時間の１／２倍の時間、例えば１／１２０ｓの露光時間で撮像を実行させ、撮像素子２４に連続的に撮像画像信号を生成させる。

露光時間が１／１２０ｓの場合には、生成した画素信号は撮像画素データとして、ＦＰＮ補正回路３２に送信される。ＦＰＮ補正回路３２では、後述するように、ＳＤＲＡＭ２７から読出すノイズデータにより撮像画素データのＦＰＮ成分が除去される。ノイズデータの生成前には、ＦＰＮ補正回路３２はＦＰＮ成分の除去を施すことなく、撮像画素データをそのまま一般画像処理回路３３１に送信する。

一般画像処理回路３３１では、受信した画素データに対して色補間処理やガンマ補正処理などの所定の画像処理を施す。所定の画像処理の施された画素データは、前述のようにＤ／Ａコンバータ２６に送信される。したがって、ノイズデータの生成前には、ＦＰＮ成分の除去が施されなかった画像がモニタ１１に表示される。

なお、第１の実施形態と異なり、露光時間が１／１２０ｓの場合には、一般画像処理回路３３１では、所定の画像処理だけでなく、受信した画素データに対して２倍のゲインで増幅する増幅処理が施される。したがって、１／６０ｓの露光時間で撮像した画像と同等の明るさの画像が表示される。

第１の実施形態と同様に、ノイズデータの生成前に一般画像処理回路３３１では、所定の画像処理を施す前に撮像画像データに基づいて、１／１２０ｓの露光時間で生成させた撮像画像データを構成する画素データの輝度成分の最大値が求められる。また、第１の実施形態と同様に、一般画像処理回路３３１では最大値が閾値未満であるか否かが判別される。なお、閾値のデータレベルはｘ（ｘ＞１）に定められているとする。

第１の実施形態と同様に、輝度成分の最大値が閾値以上である場合には、１／１２０ｓの露光時間での撮像が繰返される。輝度成分の最大値が閾値未満である場合には、一般画像処理回路３３１はタイミングコントローラ２８および画像処理部３０１にノイズデータを生成するための動作を開始させる。

第１の実施形態と同様に、一般画像処理回路３３１によりノイズデータの生成を開始させる信号を受信すると、タイミングコントローラ２８は、通常の撮像時の露光時間１／２倍の時間を閾値のデータレベルで割った時間（（１／１２０ｘ）ｓ）を露光時間として撮像を実行させ、撮像素子２４に１フレームの遮光画像信号を生成させる。

第１の実施形態と同様に、露光時間が（１／１２０ｘ）ｓの場合には、生成した画素信号は擬似黒色画素データとして平均化回路３１に送信される。平均化回路３１が受信した擬似黒色画素データは、ＦＰＮ計算用画像領域２７ａに格納される。

第１の実施形態と同様に、１フレームの画像データを構成する擬似黒色画素データをＦＰＮ計算用画像領域２７ａに格納すると、再びタイミングコントローラ２８は１／１２０ｓの露光時間で撮像を撮像素子２４に繰返させる。

第１の実施形態と同様に、以後、撮像画像データを構成する画素データの輝度成分の最大値が閾値未満であるか否かの判別、（１／１２０ｘ）ｓの露光時間の撮像、擬似黒色画素データの格納が、ＦＰＮ計算用画像領域２７ａに８フレームの擬似黒色画素データが格納されるまで繰返される。

第１の実施形態と同様に、（１／１２０ｘ）ｓの露光時間による８フレームすべての擬似黒色画素データがＦＰＮ計算用画像領域２７ａに格納されると、フレームの異なる８個の擬似黒色画素データが画素毎に平均化回路３１に読出され、平均化されることにより画素毎のノイズデータが生成される。

第１の実施形態と異なり、ノイズデータの生成を終了すると、タイミングコントローラ２８は通常の撮像時の露光時間である１／６０ｓの露光時間で、撮像素子２４に撮像画像信号を生成させる。１フレームの撮像画像信号を構成する各画素信号が撮像画素信号として順番にＡ／Ｄコンバータ２５を介して、画像処理部３０１に送信される。

露光時間が１／６０ｓの場合には、生成されＡ／Ｄ変換された撮像画素データは、ＦＰＮ補正回路３２に送信される。ＦＰＮ補正回路３２には、受信した撮像画素データに対応する画素のノイズデータがＳＤＲＡＭ２７から読出される。ＦＰＮ補正回路３２により、撮像画素データからノイズデータが減じられることにより、ＦＰＮ成分が除去される。

ＦＰＮ成分が除去された撮像画素データは一般画像処理回路３３１に送信され、色補間処理やガンマ補正処理などの所定の画像処理が施される。なお、露光時間が１／６０ｓの場合には、撮像画素データへの増幅処理は停止される。所定の画像処理の施された撮像画素データが、前述のように、Ｄ／Ａコンバータ２６に送信される。

次に、タイミングコントローラ２８および画像処理部３０によって行われるノイズデータ生成および撮像画素データからのＦＰＮ成分の除去の処理を図７のフローチャートを用いて説明する。図７は、ＦＰＮ成分の除去の処理を説明するためのフローチャートである。ＦＰＮ成分の除去の処理は、第２のノイズデータ生成モードを選択している状態で電子内視鏡システム１０の電源をＯＮにするときに開始される。

ステップＳ３００では、１／１２０ｓの露光時間で撮像素子２４に撮像を実行させ、1フレームの撮像画像信号を生成させる。撮像画像信号の生成後、ステップＳ３０１に進み、既にノイズデータを生成済みであるか否かを判別する。ノイズデータを生成済みの場合は、ステップＳ３０２に進む。ノイズデータを未生成である場合には、ステップＳ３０３に進む。

ステップＳ３０２では、ＳＤＲＡＭ２７に格納されたノイズデータを、ステップＳ３００で生成させＡ／Ｄ変換させた撮像画像データから減じることにより、ＦＰＮ成分を除去する。ＦＰＮ成分の除去後、ステップＳ３１１に進む。

ステップＳ３０３では、ステップＳ３００において生成させた撮像画像信号をＡ／Ｄ変換した撮像画像データを一般画像処理回路３３１に送信する。また、一般画像処理回路３３１が実行する増幅処理のゲインを２倍に設定する。撮像画像データの送信後、ステップＳ３０４に進む。

ステップＳ３０４では、ステップＳ３００において生成させた撮像画像信号を構成する撮像画素信号の中で輝度成分の最大値を検出する。最大値を検出すると、ステップＳ３０５に進み、検出した最大値が閾値未満であるか否かを判別する。最大値が閾値未満である場合にはステップＳ３０６に進む。最大値が閾値未満でない場合には、ステップＳ３１１に進む。

ステップＳ３０６では、（１／１２０ｘ）ｓの露光時間で撮像素子２４に撮像を実行させ、１フレームの遮光画像信号を生成させる。１フレームの遮光画像信号の生成後、ステップＳ３０７に進み、生成した遮光画像信号をＡ／Ｄ変換させた遮光画像データを構成する擬似黒色画素データをＳＤＲＡＭ２７に格納する。遮光画像データを構成するすべての擬似黒色画素データを格納すると、ステップＳ３０８に進む。

ステップＳ３０８では、ＳＤＲＡＭ２７に８フレームの擬似黒色画素データが格納されているか否かを判別する。８フレームの擬似黒色画素データが格納されている場合には、ステップＳ３０９に進む。８フレームの擬似黒色画素データが格納されていない場合には、ステップＳ３１１に進む。

ステップＳ３０９では、フレームの異なる８個の擬似黒色画素データを画素毎に平均化して、ノイズデータを生成する。さらに、生成したノイズデータをＳＤＲＡＭ２７に格納する。ノイズデータの格納後、ステップＳ３１０において、一般画像処理回路３３１が実行する増幅処理のゲインを１倍に設定する。ゲインの設定後、ステップＳ３１１に進む。

ステップＳ３１１では、色補間処理やガンマ処理などの所定の画像処理を、画像データに施す。所定の画像処理を施すとステップＳ３１２に進み、動画表示を終了するコマンドが入力されているか否かを判別する。

動画表示を終了するコマンドが入力されていない場合には、ステップＳ３００に戻り、動画表示を終了するコマンドが入力されるまでステップＳ３００〜ステップＳ３１２の処理を繰返す。動画表示を終了するコマンドが入力されている場合に、ＦＰＮ成分除去の処理を終了する。

以上のような第３の実施形態を適用した固定パターンノイズ除去ユニットによれば、入射光量が大き過ぎないときに、露光時間を短くしてノイズデータを生成するので、簡易な構成で高い精度でＦＰＮを除去することが可能になる。

また、第３の実施形態の固定パターンノイズ除去ユニットによれば、第１、第２のノイズデータ生成モードを有しており、状況に応じて切替えられる。

入射光量が部分的にでも大きい場合において第１のノイズデータ生成モードでは、いつまでもノイズデータが生成できないことがある。そこで、第２のノイズデータ生成モードに切替えることによって、入射光量が大きくても、早期にノイズデータを生成させることが可能になる。

一方、第２のノイズデータ生成モードでは、ノイズデータ生成前の撮像画像信号および遮光画像信号の生成時の露光時間が第１のノイズデータ生成モードより短く、消費電力が増加する。そこで、全体的に入射光量が大きくない場合には、第１のノイズデータ生成モードに切替えることにより、消費電力を低減化することが可能である。

なお、第１、第２の実施形態において撮像画素データの最大値が閾値未満である場合に（１／６０ｘ）ｓの露光時間による撮像、および第３の実施形態において撮像画素データの最大値が閾値未満である場合に（１／１２０ｘ）ｓの露光時間による撮像が１回だけ行われる構成であるが、所定の期間内に複数回撮像されてもよい。

また、第１〜第３の実施形態において遮光画像信号を生成するために、遮光画像信号生成前の撮像画像信号生成時の露光時間を閾値で除した時間を、露光時間として撮像させる構成であるが、遮光画像信号生成前の撮像画像信号生成時の露光時間より短ければ、本実施形態と同様の効果を得ることが可能である。

また、第１〜第３の実施形態において、ノイズデータは複数の擬似黒色画素データを平均化することにより生成される構成であるが、擬似黒色画素データに基づいて他の算出方法により生成されてもよい。

また、第１〜第３の実施形態において、ノイズデータは画素毎に生成される構成であるが、画素毎でなく、画素の並ぶ行毎および／または列毎に生成される構成であってもよい。

なお、一般的に画素固有のＦＰＮ成分は画素が配置される列に応じて信号レベルが変化する傾向があり、同じ列または同じ行に配置される画素のＦＰＮ成分は略等しいことが一般的である。それゆえ、列毎および／または列毎にノイズデータが生成されても、高い精度でＦＰＮ成分を除去することが可能である。

また、第１〜第３の実施形態において、１フレームの撮像画像信号を構成する画素信号の輝度成分の最大値を閾値と比較する構成であるが、全体の平均値を閾値と比較してもよいし、部分的な平均値と閾値とを比較してもよい。さらには、画素毎に閾値と比較して、閾値未満である画素のみ擬似黒色画素データをＳＤＲＡＭ２７に格納する構成であってもよい。

また、第１〜第３の実施形態において、１フレームの撮像画素信号を構成する画素信号の輝度成分の最大値を閾値と比較する構成であるが、複数のフレームの撮像画素信号を画素毎に平均化し、平均化された画素信号の最大値や平均値を閾値と比較する構成であってもよい。

また、第１〜第３の実施形態において、固定パターンノイズ除去ユニットは電子内視鏡システムに適用される構成であるが、デジタルスチルカメラやデジタルビデオカメラなどの他の撮像装置に適用されてもよい。

また、第１〜第３の実施形態において、撮像素子２４はＣＭＯＳ撮像素子であるが、各画素にアンプが設けられ、画素固有の固定パターンノイズが生じる他の種類の撮像素子に対しても適用可能である。

本発明の第１の実施形態を適用した固定パターンノイズ除去ユニットを有する電子内視鏡システムの内部構成を概略的に示すブロック図である。 第１の実施形態の画像処理部の内部構成を概略的に示すブロック図である。 第１の実施形態におけるＦＰＮ成分の除去の処理を説明するためのフローチャートである。 第２の実施形態の画像処理部の内部構成を概略的に示すブロック図である。 第２の実施形態におけるＦＰＮ成分の除去の処理を説明するためのフローチャートである。 第３の実施形態の画像処理部の内部構成を概略的に示すブロック図である。 第３の実施形態におけるＦＰＮ成分の除去の処理を説明するためのフローチャートである。

符号の説明

１０ 電子内視鏡システム
２０ 電子内視鏡
２４ 撮像素子
２５ Ａ／Ｄコンバータ
２７ ＳＤＲＡＭ
２７ａ ＦＰＮ計算用画像領域
２７ｂ ＦＰＮ格納領域
２８ タイミングコントローラ
３０、３００、３０１ 画像処理部
３１、３１０ 平均化回路
３２ ＦＰＮ補正回路
３３、３３１ 一般画像処理回路
４０ 内視鏡プロセッサ
４２ システムコントローラ
４３ 入力部

Claims (9)

1. 撮像素子に配置される画素が通常露光時間の露光による受光量に応じて生成する撮像画素信号、または前記画素が前記通常露光時間より短い瞬間露光時間の露光による受光量に応じて生成する擬似黒色画素信号を受信する受信部と、
   前記撮像画素信号の信号レベルが閾値未満であるか否かを判別する判別部と、
   前記撮像画素信号の信号レベルが前記閾値未満であると前記判別部が判別するまで前記撮像素子に前記通常露光時間による第１の撮像を繰返させ、前記撮像画素信号の信号レベルが前記閾値未満であると前記判別部が判別した後に前記撮像素子に前記瞬間露光時間による第２の撮像を少なくとも１回実行させ、前記第２の撮像を実行させた後に前記第１の撮像を繰返させる撮像素子制御部と、
   前記擬似黒色画素信号に基づくノイズ信号を、前記撮像画素信号から減じる減算部と、
   前記第２の撮像が実行される前には前記受信部が受信する前記撮像画素信号を出力し、前記第２の撮像が実行された後には前記減算部により前記ノイズ信号を減じられた前記撮像画素信号を出力する出力部とを備え、
   前記瞬間露光時間は、前記通常露光時間を前記閾値で除した時間であることを特徴とする
   ことを特徴とする固定パターンノイズ除去ユニット。
2. 前記擬似黒色画素信号が２以上の所定のフレーム数生成されるまで、前記第１の撮像、前記撮像画素信号の信号レベルが前記閾値未満であるか否かの判別、および前記撮像画素信号の信号レベルが前記閾値未満である場合に実行させる前記第２の撮像を、前記判別部と前記撮像素子制御部とに実行させる全体制御部を備えることを特徴とする請求項１に記載の固定パターンノイズ除去ユニット。
3. 前記撮像素子制御部は、前記撮像画素信号の信号レベルが前記閾値未満であると前記判別部が判別した後の所定の期間に複数回の前記第２の撮像を実行させることを特徴とする請求項１に記載の固定パターンノイズ除去ユニット。
4. 前記減算部は、複数回の前記第２の撮像により異なる時期に生成された複数の前記擬似黒色画素信号を平均化させることにより前記ノイズ信号を生成することを特徴とする請求項２または請求項３に記載の固定パターンノイズ除去ユニット。
5. 前記減算部は、２回目以降の前記第２の撮像により生成された前記擬似黒色画素信号を前記受信部が受信するたびに、受信済みの複数の前記擬似黒色画素信号を平均化することにより前記ノイズ信号を生成し、最後に前記受信部が受信した前記撮像画素信号から前記ノイズ信号を減じ、
   前記出力部は、前記第２の撮像の実行中には、前記減算部により前記ノイズ信号が減じられた前記撮像画素信号を出力する
   ことを特徴とする請求項２または請求項３に記載の固定パターンノイズ除去ユニット。
6. 前記出力部は、前記第２の撮像が実行される間には最後に前記受信部が受信した前記撮像画素信号を出力することを特徴とする請求項１〜請求項４のいずれか１項に記載の固定パターンノイズ除去ユニット。
7. 前記撮像素子制御部は、前記撮像画素信号の信号レベルが前記閾値未満であると前記判別部が判別するまで前記撮像素子に第１の前記通常露光時間による第１の撮像を繰返させ、前記第２の撮像の実行後には前記第１の通常露光時間のｍ倍（１＜ｍ）の第２の前記通常露光時間による前記第１の撮像を繰返させ、
   前記出力部は、前記第２の撮像が実行される前には前記第１の通常露光時間による前記第１の撮像により生成した前記撮像画素信号をｍ倍にして出力する
   ことを特徴とする請求項１〜請求項６のいずれか１項に記載の固定パターンノイズ除去ユニット。
8. 通常露光時間の露光による受光量に応じた撮像画素信号、または前記通常露光時間より短い瞬間露光時間の露光による受光量に応じた擬似黒色画素信号を生成する画素を有する撮像素子と、
   前記撮像画素信号の信号レベルと閾値未満であるか否かを判別する判別部と、
   前記撮像画素信号の信号レベルが前記閾値未満であると前記判別部が判別するまで前記撮像素子に前記通常露光時間による第１の撮像を繰返させ、前記撮像画素信号の信号レベルが前記閾値未満であると前記判別部が判別した後に前記撮像素子に前記瞬間露光時間による第２の撮像を少なくとも１回実行させ、前記第２の撮像を実行させた後に前記第１の撮像を繰返させる撮像素子制御部と、
   前記擬似黒色画素信号に基づくノイズ信号を、前記撮像画素信号から減じる減算部と、
   前記第２の撮像が実行される前には前記受信部が受信する前記撮像画素信号を出力し、前記第２の撮像が実行された後には前記減算部により前記ノイズ信号を減じられた前記撮像画素信号を出力する出力部とを備え、
   前記瞬間露光時間は、前記通常露光時間を前記閾値で除した時間である
   ことを特徴とする撮像ユニット。
9. 請求項８に記載の撮像ユニットを有する電子内視鏡システム。

Images