JP5124492B2 - 固定パターンノイズ除去ユニット、撮像ユニット、および電子内視鏡システム - Google Patents

Description

本発明は、ＣＭＯＳ撮像素子などのように画素毎に異なる固定パターンノイズを簡易な構成で効果的に除去する固定パターンノイズ除去ユニット、撮像ユニット、および固定パターンノイズの除去された画像を作成する電子内視鏡システムに関する。

消費電力および製造コストの低減化することが可能なＣＭＯＳ撮像素子が知られている。ＣＭＯＳ撮像素子は各画素にアンプが設けられるため、画素毎に個別の固定パターンノイズが発生する。

また、固定パターンノイズを除去するために、露光時間を短く設定して電子シャッタを機能させることにより遮光状態と同等の状況下での撮像により固定パターンノイズを生成させ、撮像時の画像データから固定パターンノイズ成分を除去することが提案されている（特許文献１参照）。

しかし、露光時間を十分に短く設定できない場合や、光量の大きい光が入射する場合には、精度の高い固定パターンノイズを生成することが出来ない。それゆえ、このような状況下では、高い精度で固定パターンノイズを除去することが困難であった。

特開平１０−３１３４２８号公報

したがって、本発明では固定パターンノイズを簡易な構成で効果的に除去する固定パターンノイズ除去ユニットを提供することを目的とする。

本発明の固定パターンノイズ除去ユニットは、撮像素子に配置される複数の画素が受光量に応じて生成する画素信号を受信する受信部と、撮像素子における画素の露光時間を第１の露光時間または第１の露光時間より短く互いに異なる第２〜第ｍ（ｍは３以上の整数）の露光時間に切替えることにより第１の露光時間における受光量に応じた画素信号である撮像画素信号または第２〜第ｍの露光時間における受光量に応じた画素信号である擬似黒色画素信号を生成させる撮像素子制御部と、同一の画素において第２〜第ｍの露光時間における受光量に応じた第２〜第ｍの擬似黒色画素信号に基づいて第２の擬似黒色画素信号を対応する画素における固定パターンノイズと見做せるか否かを判別する判別部と、判別部により固定パターンノイズと見做された第２の擬似黒色画素信号に基づくノイズ信号を撮像画素信号から減じる減算部とを備えることを特徴としている。

さらに、撮像素子制御部は撮像素子に第２〜第ｍの露光時間の撮像を複数回実行させることによりそれぞれ複数の２〜第ｍの前記擬似黒色画素信号を画素毎に生成させ、減算部は複数の第２の擬似黒色画素信号の中で判別部により固定パターンノイズとして見做された第２の擬似黒色画素信号に基づく前記ノイズ信号を撮像画素信号から減じることが好ましい。

また、減算部は複数回の第２の露光時間の撮像により生成された複数の第２の擬似黒色画素信号であって判別部により固定パターンノイズと見做された複数の第２の擬似黒色画素信号を画素毎に平均化し、平均化された第２の擬似黒色画素信号をノイズ信号として画素毎の撮像画素信号から減じることが好ましい。

また、減算部は判別部により固定パターンノイズと見做された第２の擬似黒色画素信号を画素の並ぶ行毎に平均化し、平均化された行毎の第２の擬似黒色画素信号をノイズ信号として対応する行における撮像画素信号から減じることが好ましい。

また、判別部は第２〜第ｍの擬似黒色画素信号の信号レベルの最大値と最小値との差が閾値未満である場合に第２の擬似黒色画素信号を固定パターンノイズと見做すことが好ましい。

また、減算部は各行または各列において固定パターンノイズと見做された第２の擬似黒色画素信号の中で第２〜第ｍの擬似黒色画素信号の信号レベルの最大値と最小値との差が小さい順番に所定の数の第２の擬似黒色画素信号を平均化することが好ましい。

また、撮像素子制御部は固定パターンノイズ除去ユニットが設けられる撮像装置の起動時に画素の露光時間を第２〜第ｍの露光時間に切替えて前記第２〜第ｍの擬似黒色画素信号を生成させることが好ましい。

また、撮像素子制御部は画素の露光時間を第１の露光時間に切替えて連続的に撮像画素信号を生成し続けている間に画素の露光時間を第２〜第ｍの露光時間に切替えて第２〜第ｍの擬似黒色画素信号を生成させることが好ましい。

また、第２〜第ｍの擬似黒色画素信号を生成するコマンドを入力する入力部を備え、入力部に第２〜第ｍの擬似黒色画素信号を生成するコマンドが入力されるときに撮像素子制御部は画素の露光時間を第２〜第ｍの露光時間に切替えて第２〜第ｍの擬似黒色画素信号を生成させることが好ましい。

また、第２〜第ｍの露光時間は画素への積算露光量が黒色に相当する積算露光量と見做せる時間未満に定められることが好ましい。または、第２の露光時間は撮像素子に設定可能な最短の露光時間であることが好ましい。

本発明の撮像ユニットは、受光量に応じた画素信号を生成する複数の画素を有する撮像素子と、撮像素子における画素の露光時間を第１の露光時間または第１の露光時間より短く互いに異なる第２〜第ｍ（ｍは３以上の整数）の露光時間に切替えることにより第１の露光時間における受光量に応じた画素信号である撮像画素信号または第２〜第ｍの露光時間における受光量に応じた画素信号である擬似黒色画素信号を生成させる撮像素子制御部と、同一の画素において第２〜第ｍの露光時間における受光量に応じた第２〜第ｍの擬似黒色画素信号に基づいて第２の擬似黒色画素信号を対応する画素における固定パターンノイズと見做せるか否かを判別する判別部と、判別部により固定パターンノイズと見做された第２の擬似黒色画素信号に基づくノイズ信号を撮像画素信号から減じる減算部とを備えることを特徴としている。

本発明の電子内視鏡システムは、受光量に応じた画素信号を生成する複数の画素を有する撮像素子と撮像素子における画素の露光時間を第１の露光時間または第１の露光時間より短く互いに異なる第２〜第ｍ（ｍは３以上の整数）の露光時間に切替えることにより第１の露光時間における受光量に応じた画素信号である撮像画素信号または第２〜第ｍの露光時間における受光量に応じた画素信号である擬似黒色画素信号を生成させる撮像素子制御部と同一の画素において第２〜第ｍの露光時間における受光量に応じた第２〜第ｍの擬似黒色画素信号に基づいて第２の擬似黒色画素信号を対応する画素における固定パターンノイズと見做せるか否かを判別する判別部と判別部により固定パターンノイズと見做された第２の擬似黒色画素信号に基づくノイズ信号を撮像画素信号から減じる減算部とを備える撮像ユニットを有することを特徴としている。

本発明によれば、撮像素子の画像信号に混入する固定パターンノイズを簡易な構成で高い精度で除去することが可能となる。

本発明の第１の実施形態を適用した固定パターンノイズ除去ユニットを有する電子内視鏡システムの内部構成を概略的に示すブロック図である。 第１の実施形態の画像処理部の内部構成を概略的に示すブロック図である。 第１の実施形態のＤＲＡＭの内部構成を概略的に示すブロック図である。 第１の実施形態におけるＦＰＮ成分の除去の処理を説明するためのフローチャートである。 第１の実施形態におけるノイズデータ生成のサブルーチンを説明するためのフローチャートである。 第２の実施形態の画像処理部の内部構成を概略的に示すブロック図である。 第２の実施形態のＤＲＡＭの内部構成を概略的に示すブロック図である。 第２の実施形態におけるＦＰＮ成分の除去の処理を説明するためのフローチャートである。 第２の実施形態におけるノイズデータ生成のサブルーチンを説明するためのフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の第１の実施形態を適用した固定パターンノイズ除去ユニットを有する電子内視鏡システムの内部構成を概略的に示すブロック図である。

電子内視鏡システム１０は、電子内視鏡２０、内視鏡プロセッサ４０、およびモニタ１１によって構成される。内視鏡プロセッサ４０は、電子内視鏡２０、及びモニタ１１に接続される。

内視鏡プロセッサ４０には光源ユニット（図示せず）が設けられる。光源ユニットから照射する照明光が、電子内視鏡２０のコネクタ２１から挿入管２２の先端まで延設されるライトガイド（図示せず）によって挿入管２２の先端まで伝達される。

ライトガイドにより伝達された照明光が挿入管２２の先端付近に照射される。照明光を照射された被写体が電子内視鏡２０により撮像される。電子内視鏡２０の撮像により生成する画像信号が内視鏡プロセッサ４０に送られる。

内視鏡プロセッサ４０は画像処理回路４１を有しており、画像処理回路４１において電子内視鏡２０から得られた画像信号に対して所定の信号処理が施される。所定の信号処理を施した画像信号はモニタ１１に送信され、送信された画像信号に相当する画像がモニタ１１に表示される。

なお、光源ユニットおよび画像処理回路４１は、内視鏡プロセッサ４０に設けられるシステムコントローラ４２により動作が制御される。また、システムコントローラ４２は、電子内視鏡２０にも接続され、電子内視鏡２０の各部位の動作も制御する。

なお、内視鏡プロセッサ４０には入力部４３が設けられる。使用者によるコマンドが入力されると、入力されたコマンドに応じたオーダー信号が入力部４３からシステムコントローラ４２に送信される。システムコントローラ４２は、受信したオーダー信号に応じて各部位の動作を制御する。

電子内視鏡２０には、対物レンズ２３、撮像素子２４、Ａ／Ｄコンバータ２５（受信部）、画像処理部３０、Ｄ／Ａコンバータ２６、ＤＲＡＭ２７、タイミングコントローラ２８（撮像素子制御部）などが設けられる。

前述のように、照明光が照射された被写体の光学像が対物レンズ２３を介して、撮像素子２４の受光面に到達する。タイミングコントローラ２８の駆動に基づいて、撮像素子２４は受光面に到達した光学像に相当する画像信号を生成する。

撮像素子２４はＣＭＯＳ撮像素子であり、受光面には行列状に複数の画素（図示せず）が配置される。各画素では、受光量に応じた画素信号が生成される。

各画素において生成される画素信号は、固定パターンノイズ（ＦＰＮ）成分および受光量成分を有する。ＦＰＮ成分は、各画素固有のノイズ成分であり、露光時間に関わらず一定の大きさである。また、受光量成分は、画素への積算露光量、すなわち入射光の光量および露光時間の積に応じて変化する。

タイミングコントローラ２４により各画素が生成する画素信号の出力時期が制御され、画素信号が撮像素子２４から順番に出力される。受光面に配置されたすべての画素が生成した画素信号によって１フレームの画像信号が構成される。

なお、後述するように、タイミングコントローラ２８は画素の露光時間を制御することも可能である。さらに、タイミングコントローラ２８により、Ａ／Ｄコンバータ２５および画像処理部３０における動作のタイミングも制御される。

生成された画像信号は、撮像素子２４からＡ／Ｄコンバータ２５に送信される。Ａ／Ｄコンバータ２５によりＡ／Ｄ変換が施され、アナログ画像信号がデジタル画像データに変換される。なお、画像データは、画素信号をＡ／Ｄ変換した画素データによって構成される。

画像データは、画像処理部３０に送信される。画像処理部３０では、ＦＰＮ除去を含む所定の画像処理が画像データに対して施される。なお、画像処理部３０はＤＲＡＭ２７に接続される。ＤＲＡＭ２７には、後述するように、ＦＰＮ除去のための画素データが格納される。

所定の画像処理が施された画像データは、Ｄ／Ａコンバータ２６に送信される。Ｄ／Ａコンバータ２６によりＤ／Ａ変換が施され、デジタル画像データがアナログ画像信号に変換される。変換された画像信号は内視鏡プロセッサ４０の画像処理回路４１に送信される。前述のように、画像処理回路４１では画像信号に対して所定の画像処理が施される。画像処理後、画像信号はモニタ１１に送信され、画像信号に相当する画像がモニタ１１に表示される。

次に、画像処理部３０の構成とともに、画像処理部３０において実行されるＦＰＮ除去について説明する。図２に示すように、画像処理部３０は、平均化回路３１（減算部）、判別回路３２、ＦＰＮ補正回路３３（減算部）、および一般画像処理回路３４などによって構成される。

画素信号からＦＰＮ成分を除去するためには、各画素固有のＦＰＮ成分であるノイズ信号が必要である。ＦＰＮ除去の前に、画像処理部３０によりノイズデータが生成される。

ノイズデータを生成するために、電子内視鏡２０の起動時にタイミングコントローラ２８は設定可能な最短の露光時間、例えば１００ｎｓの露光時間で１０回の撮像を実行させ、撮像素子２４に１０フレームの画像信号を生成させる。露光時間が１００ｎｓの場合には、生成した画素信号は擬似黒色画素データとして平均化回路３１に送信される。

平均化回路３１は、ＤＲＡＭ２７に接続される。図３に示すように、ＤＲＡＭ２７には平均化計算用格納領域２７ａ、平均化画像格納領域２７ｂ、およびＦＰＮ格納領域２７ｃが設定される。

平均化回路３１が受信した擬似黒色画素データは、平均化計算用格納領域２７ａに格納される。平均化計算用格納領域２７ａには複数のフレームの画像データを格納可能であり、擬似黒色画素データは、フレームの順番および対応する画素の位置に応じて平均化計算用格納領域２７ａに定められる領域に格納される。

１００ｎｓの露光時間による１０フレームすべての擬似黒色画素データが平均化計算用格納領域２７ａに格納されると、フレームの異なる１０個の擬似黒色画素データが画素毎に平均化回路３１に読出される。平均化回路３１において、データ成分を平均化することにより画素毎の平均擬似黒色画素データが生成される。

すべての画素に対して、対応する平均擬似黒色画素データを生成することにより、１００ｎｓ平均化画像データが生成される。１００ｎｓ平均化画像データは平均化画像格納領域２７ｂに送信され、格納される。なお、平均化画像格納領域２７ｂには１００ｎｓ平均化画像データ、２００ｎｓ平均化画像データ、３００ｎｓ平均化画像データ、４００ｎｓ平均化画像データ、および５００ｎｓ平均化画像データを別々に格納する領域を有している。

１００ｎｓ平均化画像データを生成すると、タイミングコントローラ２８は２００ｎｓの露光時間で１０回の撮像を実行させ、撮像素子２４に１０フレームの画像信号を生成させる。以後、１００ｎｓの時と同様にして、２００ｎｓ平均化画像データが生成され、平均化画像格納領域２７ｂに格納される。

同様にして、３００ｎｓ、４００ｎｓ、および５００ｎｓの露光時間に対応する３００ｎｓ平均化画像データ、４００ｎｓ平均化画像データ、および５００ｎｓ平均化画像データが生成され、平均化画像格納領域２７ｂに格納される。

１００ｎｓ〜５００ｎｓ平均化画像データすべてが平均化画像格納領域２７ｂに格納されると、１００ｎｓ〜５００ｎｓ平均化画像データを構成する平均擬似黒色画素データの中で、同じ画素に対応する平均擬似黒色画素データが判別回路３２に読出される。

判別回路３２では、読出した５個の平均擬似黒色画素データの中でデータレベルの最大値と最小値とを判別する。次に、最大値と最小値との差が閾値未満であるか否かを判別する。差が閾値未満である場合に、データレベルが最小値となる平均擬似黒色画素データが対応する画素のノイズデータとして選択される。選択したノイズデータが判別回路３２からＦＰＮ格納領域２７ｃに送信され、格納される。

なお、最大値と最小値の差が閾値未満で無い場合には、いずれの平均擬似黒色画素データも選択されない。ノイズデータが選択されない画素がある場合には、再び、１００ｎｓ〜５００ｎｓの露光時間による撮像、１００ｎｓ〜５００ｎｓ平均化画像データの生成、および最大値と最小値の差の判別が、全画素に対してノイズデータが選択されるまで繰返される。全画素に対応するノイズデータが選択され、ＦＰＮ格納領域２７ｃに格納されると、ノイズデータの生成を終了する。

擬似黒色画素データすなわち画素データには、前述のようにＦＰＮ成分と受光量成分とが含まれる。前述のように、受光量成分は入射光の光量および露光時間の積に応じた大きさである。したがって、入射光量および露光時間が十分に短ければ、受光量成分の信号レベルがゼロとみなせる擬似黒色画素信号が生成される。しかし、露光時間を十分に短くしても、入射光量が大きい場合には、ゼロより大きな信号レベルの受光量成分を含む擬似黒色画素信号が生成される。

擬似黒色画素信号がゼロより大きな信号レベルの受光量成分を含む場合には、露光時間に応じて受光量成分が変化する。逆に、露光時間を変化に対して擬似黒色画素信号の信号レベルの大きさが実質的に変化しない場合には、受光量成分の信号レベルは実質的にゼロと見做せる。

そこで、判別回路３２において、十分に短く且つ異なる露光時間による平均擬似黒色画素データのデータレベルの最大値と最小値とが実質的に同じすなわち両者の差が閾値未満である場合には、撮像素子２４への入射光量が十分に小さく、擬似黒色画素信号が実質的にＦＰＮ成分のみを含んでいる、と判別可能である。

ノイズデータの生成を終了すると、タイミングコントローラ２８は通常の画像を撮影するための露光時間、例えば１／６０ｓの露光時間で、撮像素子２４に画像信号を生成させる。１フレームの画像信号を構成する各画素信号が撮像画素信号として順番にＡ／Ｄコンバータ２５を介して、画像処理部３０に送信される。

露光時間が１／６０ｓの場合には、生成されＡ／Ｄ変換された撮像画素データは、ＦＰＮ補正回路３３に送信される。ＦＰＮ補正回路３３には、受信した撮像画素データに対応する画素のノイズデータがＤＲＡＭ２７から読出される。ＦＰＮ補正回路３３により、撮像画素データからノイズデータが減じられることにより、ＦＰＮ成分が除去される。

ＦＰＮ成分が除去された補正撮像画素データは一般画像処理回路３４に送信され、色補間処理やガンマ補正処理などの所定の画像処理が施される。所定の画像処理の施された補正撮像画素データが、前述のように、Ｄ／Ａコンバータ２６に送信される。

次に、タイミングコントローラ２８および画像処理部３０によって行われるノイズデータ作成および撮像画素データからのＦＰＮ成分の除去の処理を図４、図５のフローチャートを用いて説明する。

図４は、ＦＰＮ成分の除去の処理を説明するためのフローチャートである。図５は、ノイズデータ生成のサブルーチンを説明するためのフローチャートである。ＦＰＮ成分の除去の処理は、電子内視鏡システム１０の電源をＯＮにするときに開始される。

ステップＳ１００において電子内視鏡２０を起動させると、ステップＳ２００に進み、ノイズデータを画素毎に生成させる。ノイズデータの生成が終わるとステップＳ１０１に進む。

ステップＳ１０１では、撮像素子２４に被写体を撮像させて１フレームの画像信号を生成させる。なお、後述するように、撮像素子２４の露光時間は１／６０ｓに設定されている。１フレームの画像信号を生成すると、ステップＳ１０２に進む。

ステップＳ１０２では、ステップＳ１０１で生成させた画像信号からＦＰＮ成分を除去する。すなわち、画像信号をＡ／Ｄ変換した画像データを構成する各撮像画素データから、ステップＳ２００においてＤＲＡＭ２７に格納したノイズデータを減じることにより、各撮像画素データ固有のＦＰＮ成分を除去する。全撮像画素データのＦＰＮ成分を除去すると、ステップＳ１０３に進む。

ステップＳ１０３では、色補間処理やガンマ処理などの所定の画像処理を、ＦＰＮ成分を除去した画像データに施す。所定の画像処理を施すとステップＳ１０４に進み、動画表示を終了するコマンドが入力されているか否かを判別する。

動画表示を終了するコマンドが入力されていない場合には、ステップＳ１０１に戻り、動画表示を終了するコマンドが入力されるまでステップＳ１０１〜ステップＳ１０４を繰返す。動画表示を終了するコマンドが入力されている場合に、ＦＰＮ成分除去の処理を終了する。

次に、ノイズデータ生成のサブルーチンについて説明する。前述のように、電子内視鏡２０の起動後（ステップＳ１００）、ノイズデータ生成のサブルーチンを開始する。ステップＳ２０１において、撮像素子２４の露光時間を１００ｎｓに設定する。撮像素子２４の露光時間の設定後、ステップＳ２０２に進む。

ステップＳ２０２では、撮像素子２４に被写体を１０回撮像させて１０フレームの画像信号を生成させる。また、生成した画像信号をＡ／Ｄ変換して、ＤＲＡＭ２７に格納する。ＤＲＡＭ２７への格納後、ステップＳ２０３に進む。

ステップＳ２０３では、１０フレームの画像データを構成する擬似黒色画素データを画素毎に平均化することにより、平均化画像データを生成する。また、生成した平均化画像データをＤＲＡＭ２７に格納して、ステップＳ２０４に進む。

ステップＳ２０４では、直近のステップＳ２０２における撮像時の露光時間が５００ｎｓであるか否かを判別する。５００ｎｓでない場合には、ステップＳ２０５に進む。ステップＳ２０５では、設定されている露光時間に＋１００ｎｓを加えて、再設定する。再設定後ステップＳ２０２に戻り、ステップＳ２０４において露光時間が５００ｎｓと判別されるまで、ステップＳ２０２〜ステップ２０５の処理を繰返す。ステップＳ２０４において露光時間が５００ｎｓである場合には、ステップＳ２０６に進む。

ステップＳ２０５では、特定の画素に対応する平均擬似黒色画素データを、ＤＲＡＭ２７に格納された１００ｎｓ〜５００ｎｓ平均化画像データを構成する平均擬似黒色画素データの中から読出す。読出し後、ステップＳ２０７に進む。

ステップＳ２０７では、読出した５つの平均擬似黒色画素データの中からデータレベルが最大値および最小値となる平均擬似黒色画素データが選択される。次に、選択されたデータのデータレベルの差が閾値未満であるか否かを判別する。データレベルの差が閾値未満である場合には、ステップＳ２０８に進む。データレベルの差が閾値未満でない場合には、ステップＳ２０８をスキップしてステップＳ２０９に進む。

ステップＳ２０８では、データレベルが最小値となる平均擬似黒色画素データをノイズデータとして、ＤＲＡＭ２７に格納する。ＤＲＡＭ２７への格納後、ステップＳ２０９に進む。

ステップＳ２０９では、全画素に対してステップＳ２０７の判別を行ったか否かを判別する。全画素に対して行なっていない場合には、ステップＳ２１０に進み、読出した平均擬似黒色画素データに対応する画素とは異なる画素の平均擬似黒色画素データをＤＲＡＭ２７から読出す。読出し後、ステップＳ２０７に戻る。以後、全画素に対して判別するまでステップＳ２０７〜ステップＳ２１０の処理を繰返す。全画素に対して判別を行なった場合には、ステップＳ２１１に進む。

ステップＳ２１１では、全画素に対するノイズデータがＤＲＡＭ２７に格納されているか否かを判別する。全画素に対応するノイズデータが格納されていない場合には、ステップＳ２０１に戻る。以後、ステップＳ２１１において全画素に対するノイズデータがＤＲＡＭ２７に格納されるまで、ステップＳ２０１〜ステップＳ２１１の処理を繰返す。全画素に対するノイズデータが格納されている場合には、ステップＳ２１２に進む。

ステップＳ２１２では、撮像素子２４の露光時間を１／６０ｓに設定する。撮像素子２４の露光時間の設定後、前述のようにステップＳ１０１に進む。

以上のような第１の実施形態を適用した固定パターンノイズ除去ユニットによれば、簡易な構成で、高い精度でＦＰＮを除去することが可能になる。

次に本発明の第２の実施形態を適用した固定パターンノイズ除去ユニットについて説明する。第２の実施形態は、生成されるノイズデータが第１の実施形態と異なっている。以下、第１の実施形態と異なる部位を中心に、第２の実施形態について説明する。なお、同じ機能を有する部位には、同じ符号を付す。

なお、一般的に画素固有のＦＰＮ成分は画素が配置される列に応じて信号レベルが変化する傾向があり、同じ列に配置される画素のＦＰＮ成分は略等しい。それゆえ、第１の実施形態と異なり、本実施形態では列毎に列方向ノイズデータが生成され、ＦＰＮ成分の除去に用いられる。

第２の実施形態の電子内視鏡の画像処理部およびＤＲＡＭ以外の部位の構成および機能は、第１の実施形態の電子内視鏡と同じである。また、第２の実施形態において内視鏡プロセッサおよびモニタは、第１の実施形態の内視鏡プロセッサとモニタと同一である。

第２の実施形態の画像処理部の構成および機能とともに、画像処理部において実行されるＦＰＮ除去について説明する。図６に示すように、画像処理部３００は、平均化回路３１、ラインノイズ作成回路３５（減算部）、ＦＰＮ補正回路３３、および一般画像処理回路３４等によって構成される。

第１の実施形態と同様に、ＦＰＮ除去の前に画像処理部３００により列毎の列方向ノイズデータが生成される。

第１の実施形態と同じく、電子内視鏡２０の起動時に、露光時間を１００ｎｓ、２００ｎｓ、３００ｎｓ、４００ｎｓ、および５００ｎｓに変えながら撮像を実行することにより、１００ｎｓ平均化画像データ、２００ｎｓ平均化画像データ、３００ｎｓ平均化画像データ、４００ｎｓ平均化画像データ、および５００ｎｓ平均化画像データが生成され、ＤＲＡＭ２７０の平均化画像格納領域２７ｂ（図７参照）に格納される。

格納された平均化画像データを構成する平均擬似黒色画素データが画素毎に、ラインノイズ作成回路３５に読出される。ラインノイズ作成回路３５は、第１の実施形態における判別回路３２と同様に、読出した５個の平均擬似黒色画素データの中でデータレベルの最大値と最小値との差が閾値未満であるか否かを判別する。

第１の実施形態の判別回路３２とは異なり、ラインノイズ作成回路３５は、最大値と最小値との差が閾値未満でない画素の平均化擬似黒色画素データを平均化画像格納領域２７ｂから消去させる。

全画素に対してデータレベルの最大値と最小値との差の閾値との比較を終えると、ラインノイズ作成回路３５は消去されずに平均化画像格納領域２７ｂに格納されている画素の数を列毎に計測する。画素の数が１００画素になるまで、１００ｎｓ〜５００ｎｓ平均化画像データの生成と平均擬似黒色画素データを消去するか否かの判別を実行する。

消去されずに格納されている平均擬似黒色画素データに対応する画素の数が１００以上の列に対して、ラインノイズ作成回路３５は列方向ノイズデータを生成する。最大値と最小値とのデータレベルの差が短い順番に１００画素がノイズデータを生成するための画素に選択される。選択された画素に対応し、データレベルが最小である平均擬似黒色画素データが平均化画像格納領域２７ｂから読出され、平均化される。平均化により列方向ノイズデータが生成され、ラインノイズ格納領域２７ｄに格納される。

全列に対応する列方向ノイズデータが格納されると、第１の実施形態と同様に、タイミングコントローラ２８は１／６０ｓの露光時間で、撮像素子２４に画像信号を生成させる。また、１フレームの画像信号を構成する各撮像画素信号が順番にＡ／Ｄコンバータ２５を介して、画像処理部３００に送信される。

第１の実施形態と同じく、露光時間が１／６０ｓの場合には、生成されＡ／Ｄ変換された撮像画素データは、ＦＰＮ補正回路３３に送信される。第１の実施携帯と異なり、ＦＰＮ補正回路３３は受信した撮像画素データに対応する画素の列の列方向ノイズデータをＤＲＡＭ２７０から読出し、撮像画素データから列方向ノイズデータを減じることによりＦＰＮ成分が除去される。

次に、画像処理部３００によって行われるノイズデータ作成の処理および撮像画素データからのＦＰＮ成分の除去の処理を図８、図９のフローチャートを用いて説明する。

図８は、ＦＰＮ成分の除去の処理を説明するためのフローチャートである。図９は、ノイズデータ生成のサブルーチンを説明するための第１のフローチャートである。ＦＰＮ成分の除去の処理は、電子内視鏡システム１０の電源をＯＮにするときに開始される。

ステップＳ３００において電子内視鏡２０を起動させると、ステップＳ４００に進み、画素が配置される列毎の列方向ノイズデータを生成させる。列方向ノイズデータの生成が終わるとステップＳ３０１に進む。以後、第１の実施形態におけるステップＳ１０１〜ステップＳ１０４と同じ処理をステップＳ３０１〜ステップＳ３０４で実行する。

次に、ノイズデータ生成のサブルーチンについて説明する。第１の実施形態と同じく、電子内視鏡２０の起動後（ステップＳ３００）、ノイズデータ生成のサブルーチンを開始する。ステップＳ４０１〜ステップＳ４０６では、第１の実施形態におけるステップＳ２０１〜ステップＳ２０６と同じ処理を実行する。

ステップＳ４０７では、第１の実施形態におけるステップＳ２０７と同様に、読出した５つの平均擬似黒色画素データの中からデータレベルが最大値および最小値となる平均擬似黒色画素データが選択される。次に、選択されたデータレベルの差が閾値未満であるか否かを判別する。データレベルの差が閾値未満でない場合には、ステップＳ４０８に進む。データレベルの差が閾値未満である場合には、ステップＳ４０８をスキップしてステップＳ４０９に進む。

ステップＳ４０８では、データレベルの差が閾値を超える平均擬似黒色画素データを平均化画像格納領域２７ｂから消去する。消去後に、ステップＳ４０９に進む。

ステップＳ４０９では、第１の実施形態におけるステップＳ２０９と同じく、全画素に対してステップＳ４０７の判別を行ったか否かを判別する。全画素に対して行なっていない場合には、ステップＳ４１０に進み、読出した平均擬似黒色画素データに対応する画素とは異なる画素の平均擬似黒色画素データをＤＲＡＭ２７０から読出す。読出し後、ステップＳ４０７に戻る。以後、全画素に対して判別するまでステップＳ４０７〜ステップＳ４１０の処理を繰返す。全画素に対して判別を行なった場合には、ステップＳ４１１に進む。

ステップＳ４１１では、消去されていない平均擬似黒色画素データに対応する画素が各列に対して１００以上あるか否かを判別する。各列に１００以上の画素がない場合にはステップＳ４０１に戻り、以後１００以上の画素が無かった列において１００以上の画素に対応する平均擬似黒色画素データが消去されずに格納されるまで、ステップＳ４０１〜ステップＳ４１１の処理を繰返す。各列に１００以上の画素がある場合には、ステップＳ４１２に進む。

ステップＳ４１２では、最大値と最小値のデータレベルの差が小さい順に１００の画素に対応するデータレベルが最小である平均擬似黒色画素データを読出し、平均化して、列方向ノイズデータを生成する。全列の列方向ノイズデータを生成すると、ステップＳ４１３に進む。

ステップＳ４１３では、第１の実施形態におけるステップＳ２１２と同じく、撮像素子２４の露光時管を１／６０ｓに設定する。撮像素子２４の露光時間の設定後、前述のようにステップＳ３０１に進む。

以上のような第２の実施形態を適用した固定パターンノイズ除去ユニットによれば、第１の実施形態と同様に、高い精度でＦＰＮを除去することが可能になる。

また、本実施形態によれば、全画素に対してノイズデータを生成しないので、ノイズデータ生成の高速化やＤＲＡＭ２７０の容量の小型化を測ることが可能である。

また、撮像素子２４の一部に光量の大きな光が入射する場合であっても、同じ列の他の画素における擬似黒色画素信号を用いて列方向ノイズデータを生成可能である。それゆえ、第１の実施形態ではノイズデータを生成出来ない状況においても、画像データのＦＰＮ除去に必要なノイズデータを生成させることが可能である。

なお、第１、第２の実施形態において、１００ｎｓ〜５００ｎｓの５段階の露光時間で生成させた画像信号を用いてノイズデータを生成する構成であるが、露光時間は５段階に限られない。複数、すなわち少なくとも２段階以上の露光時間で生成させた画像信号を用いてノイズデータを生成しても本実施形態と同様の効果が得られる。

ただし、被写体に対する撮像素子２４の位置が固定されていないため、入射する光学像が撮像する時期によってずれることがあり得る。用いる画像データの露光時間の段階が少ない場合には、光学像のずれにより平均擬似黒色画素データのデータレベルの差が閾値未満となることもあり得、ノイズデータの精度の低下が起こり得る。一方で本実施形態のように、露出段階を多くすることにより光学像のずれによる影響を排除することが可能である。

また、第１、第２の実施形態において、同一の画素についての平均擬似黒色画素データのデータレベルの最大値と最小値の差が閾値未満である場合に、平均擬似黒色画素データをノイズデータと見做す構成であるが、同一の画素について露光時間の異なる複数の平均擬似黒色画素データに基づく他の方法により平均擬似黒色画素データをノイズデータと見做しても良い。

また、第１、第２の実施形態において、データレベルの最大値と最小値との差が閾値未満である画素において、データレベルが最小である平均擬似黒色画素データをノイズデータとして扱う構成であるが、最大値と最小値との差が閾値未満であれば他の露光時間の平均擬似黒色画素データをノイズデータとしても、十分に精度の高いノイズデータを生成することが可能である。

また、第１、第２の実施形態において、１００ｎｓ〜５００ｎｓの露光時間それぞれにおいて１０回の撮像が繰返される構成であるが、それぞれにおいて１回の撮像であってもよい。ただし、本実施形態のように、複数回の撮像を行うことにより平均化画像データを生成することが、ノイズデータの精度を高めるために好ましい。

また、第２の実施形態において、同じ列において最大値と最小値との差が小さい順番に１００個の画素の平均擬似黒色画素データが列方向ノイズデータの生成に用いられる構成であるが、選択される画素の個数は１００個に限られない。また、他の方法により列方向ノイズデータの生成に用いる画素が選択されてもよい。例えば、データレベルの低い順番に１００個の画素の平均擬似黒色画素データが選択されてもよい。

また、第１、第２の実施形態では電子内視鏡２０の起動直後に、ノイズデータの生成およびＤＲＡＭ２７、２７０への格納が実行される構成であるが、電子内視鏡２０の起動直後、被写体の観察中自動的に、ノイズデータを生成開始してもよい。さらには、入力部４３へのノイズデータ生成のコマンド入力に基づいて、ノイズデータの生成を開始してもよい。

また、第１、第２の実施形態において、ノイズデータ生成のため一つの露光時間は撮像素子２４に設定可能な最短の露光時間で撮像するように、撮像素子２４を駆動する構成であるが、積算露光量が黒色であるときの値と見做せる露光時間に設定されていれば最短の露光時間でなくてもよい。積算露光量は被写体そのものの輝度にも影響されるので、少なくとも通常撮影が可能な露光時間より短い露光時間で撮像されれば、ノイズデータの生成に用いることが可能である。

また、第１、第２の実施形態において、固定パターンノイズ除去ユニットは電子内視鏡システムに適用される構成であるが、デジタルスチルカメラやデジタルビデオカメラなどの他の撮像装置に適用されてもよい。

また、第１、第２の実施形態において、撮像素子２４はＣＭＯＳ撮像素子であるが、各画素にアンプが設けられ、画素固有の固定パターンノイズが生じる他の種類の撮像素子に対しても適用可能である。

１０ 電子内視鏡システム
２０ 電子内視鏡
２４ 撮像素子
２５ Ａ／Ｄコンバータ
２７、２７０ ＤＲＡＭ
２７ａ 平均化計算用格納領域
２７ｂ 平均化画像格納領域
２７ｃ ＦＰＮ格納領域
２７ｄ ラインノイズ格納領域
２８ タイミングコントローラ
３０ 画像処理部
３１ 平均化回路
３２ 判別回路
３３ ＦＰＮ補正回路
３５ ラインノイズ作成回路
４０ 内視鏡プロセッサ
４２ システムコントローラ
４３ 入力部

Claims (14)

1. 撮像素子に配置される複数の画素が受光量に応じて生成する画素信号を受信する受信部と、
   前記撮像素子における前記画素の露光時間を第１の露光時間または前記第１の露光時間より短く互いに異なる第２〜第ｍ（ｍは３以上の整数）の露光時間に切替えることにより、前記第１の露光時間における受光量に応じた前記画素信号である撮像画素信号または前記第２〜第ｍの露光時間における受光量に応じた前記画素信号である擬似黒色画素信号を生成させる撮像素子制御部と、
   同一の前記画素において前記第２〜第ｍの露光時間における受光量に応じた第２〜第ｍの前記擬似黒色画素信号に基づいて、前記第２の擬似黒色画素信号を対応する前記画素における固定パターンノイズと見做せるか否かを判別する判別部と、
   前記判別部により前記固定パターンノイズと見做された前記第２の擬似黒色画素信号に基づくノイズ信号を、前記撮像画素信号から減じる減算部とを備える
   ことを特徴とする固定パターンノイズ除去ユニット。
2. 前記撮像素子制御部は、前記撮像素子に前記第２〜第ｍの露光時間の撮像を複数回実行させることにより、それぞれ複数の前記２〜第ｍの前記擬似黒色画素信号を前記画素毎に生成させ、
   前記減算部は、複数の第２の前記擬似黒色画素信号の中で前記判別部により前記固定パターンノイズとして見做された前記第２の擬似黒色画素信号に基づく前記ノイズ信号を、前記撮像画素信号から減じる
   ことを特徴とする請求項１に記載の固定パターンノイズ除去ユニット。
3. 前記減算部は、複数回の前記第２の露光時間の撮像により生成された前記複数の第２の擬似黒色画素信号であって前記判別部により前記固定パターンノイズと見做された前記複数の第２の擬似黒色画素信号を前記画素毎に平均化し、平均化された前記第２の擬似黒色画素信号を前記ノイズ信号として前記画素毎の前記撮像画素信号から減じる
   ことを特徴とする請求項２に記載の固定パターンノイズ除去ユニット。
4. 前記減算部は、前記判別部により前記固定パターンノイズと見做された前記第２の擬似黒色画素信号を前記画素の並ぶ行毎に平均化し、平均化された行毎の前記第２の擬似黒色画素信号を前記ノイズ信号として対応する行における前記撮像画素信号から減じることを特徴とする請求項１〜請求項３のいずれか１項に記載の固定パターンノイズ除去ユニット。
5. 前記判別部は、前記第２〜第ｍの擬似黒色画素信号の信号レベルの最大値と最小値との差が閾値未満である場合に、前記第２の擬似黒色画素信号を前記固定パターンノイズと見做すことを特徴とする請求項４に記載の固定パターンノイズ除去ユニット。
6. 前記減算部は、各行または各列において前記固定パターンノイズと見做された前記第２の擬似黒色画素信号の中で、前記第２〜第ｍの擬似黒色画素信号の前記信号レベルの最大値と最小値との差が小さい順番に所定の数の前記第２の擬似黒色画素信号を平均化することを特徴とする請求項５に記載の固定パターンノイズ除去ユニット。
7. 前記判別部は、前記第２〜第ｍの擬似黒色画素信号の信号レベルの最大値と最小値との差が閾値未満である場合に、前記第２の擬似黒色画素信号を前記固定パターンノイズと見做すことを特徴とする請求項１〜請求項３のいずれか１項に記載の固定パターンノイズ除去ユニット。
8. 前記撮像素子制御部は、前記固定パターンノイズ除去ユニットが設けられる撮像装置の起動時に、前記画素の露光時間を前記第２〜第ｍの露光時間に切替えて前記第２〜第ｍの擬似黒色画素信号を生成させることを特徴とする請求項１〜請求項７のいずれか１項に記載の固定パターンノイズ除去ユニット。
9. 前記撮像素子制御部は、前記画素の露光時間を前記第１の露光時間に切替えて連続的に前記撮像画素信号を生成し続けている間に、前記画素の露光時間を前記第２〜第ｍの露光時間に切替えて前記第２〜第ｍの擬似黒色画素信号を生成させることを特徴とする請求項１〜請求項７のいずれか１項に記載の固定パターンノイズ除去ユニット。
10. 前記第２〜第ｍの擬似黒色画素信号を生成するコマンドを入力する入力部を備え、
    前記入力部に前記第２〜第ｍの擬似黒色画素信号を生成するコマンドが入力されるときに、前記撮像素子制御部は前記画素の露光時間を前記第２〜第ｍの露光時間に切替えて前記第２〜第ｍの擬似黒色画素信号を生成させる
    ことを特徴とする請求項１〜請求項７のいずれか１項に記載の固定パターンノイズ除去ユニット。
11. 前記第２〜第ｍの露光時間は、前記画素への積算露光量が黒色に相当する積算露光量と見做せる時間未満に定められることを特徴とする請求項１〜請求項１０のいずれか１項に記載の固定パターンノイズ除去ユニット。
12. 前記第２の露光時間は、前記撮像素子に設定可能な最短の露光時間であることを特徴とする請求項１〜請求項１０のいずれか１項に記載の固定パターンノイズ除去ユニット。
13. 受光量に応じた画素信号を生成する複数の画素を有する撮像素子と、
    前記撮像素子における前記画素の露光時間を第１の露光時間または前記第１の露光時間より短く互いに異なる第２〜第ｍ（ｍは３以上の整数）の露光時間に切替えることにより、前記第１の露光時間における受光量に応じた前記画素信号である撮像画素信号または前記第２〜第ｍの露光時間における受光量に応じた前記画素信号である擬似黒色画素信号を生成させる撮像素子制御部と、
    同一の前記画素において前記第２〜第ｍの露光時間における受光量に応じた第２〜第ｍの前記擬似黒色画素信号に基づいて、前記第２の擬似黒色画素信号を対応する前記画素における固定パターンノイズと見做せるか否かを判別する判別部と、
    前記判別部により前記固定パターンノイズと見做された前記第２の擬似黒色画素信号に基づくノイズ信号を、前記撮像画素信号から減じる減算部とを備える
    ことを特徴とする撮像ユニット。
14. 請求項１３に記載の撮像ユニットを有する電子内視鏡システム。

Images