JP5145210B2 - 固定パターンノイズ除去ユニット、撮像ユニット、および電子内視鏡システム - Google Patents

Description

本発明は、ＣＭＯＳ撮像素子などのように画素毎に異なる固定パターンノイズを簡易な構成で効果的に除去する固定パターンノイズ除去ユニット、撮像ユニット、および固定パターンノイズの除去された画像を作成する内視鏡システムに関する。

消費電力および製造コストの低減化することが可能なＣＭＯＳ撮像素子が知られている。ＣＭＯＳ撮像素子は各画素にアンプが設けられるため、画素毎に個別の固定パターンノイズが発生する。

固定パターンノイズを除去するために、メカニカルシャッタを閉じた状態で撮像を行うことにより固定パターンノイズ成分を生成させ、撮像時の画像データから固定パターンノイズ成分を除去することが提案されている（特許文献１参照）。

しかし、このような固定パターンノイズの除去は、メカニカルシャッタを設ける必要があるため、撮像装置の複雑化および製造コストの増加が問題であった。また、メカニカルシャッタを設けることの難しい撮像装置、例えば電子内視鏡システムに適用することは困難であった。

また、撮像装置の製造時に撮像素子を遮光して生成させた固定パターンノイズ成分を記憶させ、通常使用時に画像データから固定パターンノイズ成分を除去することも知られている。

しかし、予め固定パターンノイズ成分を生成させて、記憶させるためにはＥＥＰＲＯＭやフラッシュメモリなどの不揮発性メモリを設ける必要があるため、基板の大型化および製造コストの増加が問題であった。また、製造時において固定パターンノイズ成分の生成工程および格納工程が必要であり、工数が増加することおよび撮像装置にこのような工程を実行するための装置が必要となることが問題であった。
特開平８−５１５７１号公報

したがって、本発明では製造工程を簡潔化しながら、メカニカルシャッタを設けること無く、簡潔な構成で固定パターンノイズを高い精度で除去する固定パターンノイズ除去ユニットを提供することを目的とする。

本発明の固定パターンノイズ除去ユニットは、受光量に応じた画素信号を生成する複数の画素を有する撮像素子から受光面が遮光された画素である黒色画素が生成する画素信号である黒色画素信号と黒色画素以外の画素である有効画素が生成する画素信号である有効画素信号とを受信する受信部と、撮像素子における画素の露光時間を第１の露光時間または第１の露光時間より短い第２の露光時間に切替えることにより第１の露光時間における受光量に応じた有効画素信号である撮像画素信号または第２の露光時間における受光量に応じた有効画素信号である擬似黒色画素信号を生成させる撮像素子制御部と、黒色画素信号に基づいて擬似黒色画素信号を対応する有効画素における固定パターンノイズと見做せるか否かを判別する判別部と、判別部により固定パターンノイズと見做された擬似黒色画素信号をノイズ信号として格納するメモリと、撮像画素信号からノイズ信号を減じる減算部とを備えることを特徴としている。

さらに、撮像素子制御部は撮像素子に第２の露光時間の撮像を複数回実行させることにより各有効画素に対応する複数の擬似黒色画素信号を生成させ、減算部は複数の擬似黒色画素信号の中で判別部により固定パターンノイズとして見做された擬似黒色画素信号に基づくノイズ信号を撮像画素信号から減じることが好ましい。

また、判別部により固定パターンノイズと見做された複数の擬似黒色画素信号を有効画素毎に平均化する第１の平均化部を備え、減算部は第１の平均化部により平均化された擬似黒色画素信号をノイズ信号として撮像画素信号から減じることが好ましい。

また、撮像素子制御部は判別部により固定パターンノイズと見做される擬似黒色画素信号がｍ個（ｍは２以上の整数）になるまで撮像素子に第２の露光時間での撮像を繰返させ、第１の平均化部は固定パターンノイズと見做されたｍ個の擬似黒色画素信号を平均化することが好ましい。

また、撮像素子に配置されるすべてまたは一部の有効画素に対応する擬似黒色画素信号を平均化することにより平均化信号を生成する第２の平均化部を備え、判別部は黒色画素信号に基づいて平均化信号を固定パターンノイズと見做せるか否かを判別することが好ましい。

また、撮像素子制御部は撮像素子に第２の露光時間の撮像を複数回実行させることにより各有効画素に対応する複数の擬似黒色画素信号を生成させ、減算部は判別部により固定パターンノイズと見做された平均化信号の生成に用いられた擬似黒色画素信号に基づくノイズ信号を撮像画素信号から減じることが好ましい。

また、判別部により固定パターンノイズと見做された平均化信号の生成に用いられた複数の擬似黒色画素信号を有効画素毎に平均化する第１の平均化部を備え、減算部は第１の平均化部により平均化された擬似黒色画素信号をノイズ信号として撮像画素信号から減じることが好ましい。

また、撮像素子制御部は判別部により固定パターンノイズと見做される平均化信号がｍ個（ｍは２以上の整数）になるまで撮像素子に第２の露光時間での撮像を繰返させ、第１の平均化部は固定パターンノイズと見做されたｍ個の平均化信号の生成に用いられた擬似黒色画素信号を平均化することが好ましい。

また、有効画素が配置された全領域の一部の領域である第１、第２の小領域における複数の有効画素に対応する擬似黒色画素信号を平均化することにより平均化信号を生成する第２の平均化部を備え、判別部は黒色画素信号に基づいて平均化信号を固定パターンノイズと見做せるか否かを第１、第２の小領域毎に判別することが好ましい。

また、撮像素子制御部は撮像素子に第２の露光時間の撮像を複数回実行させることにより各有効画素に対応する複数の擬似黒色画素信号を生成させ、減算部は判別部により固定パターンノイズと見做された平均化信号の生成に用いられた擬似黒色画素信号に基づくノイズ信号を撮像画素信号から減じることが好ましい。

また、判別部により固定パターンノイズと見做された平均化信号の生成に用いられた複数の擬似黒色画素信号を有効画素毎に平均化する第１の平均化部を備え、減算部は第１の平均化部により平均化された擬似黒色画素信号をノイズ信号として撮像画素信号から減じることが好ましい。

また、撮像素子制御部は判別部により固定パターンノイズと見做される平均化信号が第１、第２の小領域毎にｍ個（ｍは２以上の整数）になるまで撮像素子に前記第２の露光時間での撮像を繰返させ、第１の平均化部は固定パターンノイズと見做されたｍ個の平均化信号の生成に用いられた擬似黒色画素信号を平均化することが好ましい。

また、撮像素子に設けられる複数の黒色画素に対応する黒色画素信号を平均化する第３の平均化部を備え、判別部は第３の平均化部により平均化された黒色画素信号に基づいて擬似黒色画素信号を固定パターンノイズと見做せるか否かを判別することが好ましい。

また、撮像素子制御部は固定パターンノイズ除去ユニットが設けられる撮像装置の起動時に画素の露光時間を第２の露光時間に切替えて擬似黒色画素信号を生成させることが好ましい。

また、撮像素子制御部は画素の露光時間を第１の露光時間に切替えて連続的に撮像画素信号を生成し続けている間に、画素の露光時間を第２の露光時間に切替えて擬似黒色画素信号を生成させることが好ましい。

また、擬似黒色画素信号を生成するコマンドを入力する入力部を備え、入力部に擬似黒色画素信号を生成するコマンドが入力されるときに撮像素子制御部は画素の露光時間を第２の露光時間に切替えて擬似黒色画素信号を生成させることが好ましい。

また、判別部は擬似黒色画素信号の輝度成分と黒色画素信号の輝度成分との差が閾値未満である場合に擬似黒色画素信号を固定パターンノイズと見做すことが好ましい。

また、第２の露光時間は有効画素への積算露光量が黒色に相当する積算露光量と見做せる時間未満に定められることが好ましい。

また、第２の露光時間は撮像素子に設定可能な最短の露光時間であることが好ましい。

本発明の撮像ユニットは、受光量に応じた画素信号を生成する複数の画素を有し受光面が遮光された画素である黒色画素が黒色画素信号を生成し黒色画素以外の画素である有効画素が有効画素信号を生成する撮像素子と、撮像素子における画素の露光時間を第１の露光時間または第１の露光時間より短い第２の露光時間に切替えることにより第１の露光時間における受光量に応じた有効画素信号である撮像画素信号または第２の露光時間における受光量に応じた有効画素信号である擬似黒色画素信号を生成させる撮像素子制御部と、黒色画素信号に基づいて擬似黒色画素信号を対応する有効画素における固定パターンノイズと見做せるか否かを判別する判別部と、判別部により固定パターンノイズと見做された擬似黒色画素信号をノイズ信号として格納するメモリと、撮像画素信号からノイズ信号を減じる減算部とを備えることを特徴としている。

本発明の電子内視鏡システムは、受光量に応じた画素信号を生成する複数の画素を有し受光面が遮光された画素である黒色画素が黒色画素信号を生成し黒色画素以外の画素である有効画素が有効画素信号を生成する撮像素子と撮像素子における画素の露光時間を第１の露光時間または第１の露光時間より短い第２の露光時間に切替えることにより第１の露光時間における受光量に応じた有効画素信号である撮像画素信号または第２の露光時間における受光量に応じた有効画素信号である擬似黒色画素信号を生成させる撮像素子制御部と黒色画素信号に基づいて擬似黒色画素信号を対応する有効画素における固定パターンノイズと見做せるか否かを判別する判別部と判別部により固定パターンノイズと見做された擬似黒色画素信号をノイズ信号として格納するメモリと撮像画素信号からノイズ信号を減じる減算部とを有する撮像ユニットを備えることを特徴としている。

本発明によれば、製造工程を簡潔化しながら、メカニカルシャッタおよび不揮発性メモリを設けること無く、簡潔な構成で固定パターンノイズを高い精度で除去することが可能となる。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の第１の実施形態を適用した固定パターンノイズ除去ユニットを有する電子内視鏡システムの内部構成を概略的に示すブロック図である。

電子内視鏡システム１０は、電子内視鏡２０、内視鏡プロセッサ４０、およびモニタ１１によって構成される。内視鏡プロセッサ４０は、電子内視鏡２０、及びモニタ１１に接続される。

内視鏡プロセッサ４０には光源ユニット（図示せず）が設けられる。光源ユニットから照射する照明光が、電子内視鏡２０のコネクタ２１から挿入管２２の先端まで延設されるライトガイド（図示せず）によって挿入管２２の先端まで伝達される。

ライトガイドにより伝達された照明光が挿入管２２の先端付近に照射される。照明光を照射された被写体が電子内視鏡２０により撮像される。電子内視鏡２０の撮像により生成する画像信号が内視鏡プロセッサ４０に送られる。

内視鏡プロセッサ４０は画像処理回路４１を有しており、画像処理回路４１において電子内視鏡２０から得られた画像信号に対して所定の信号処理が施される。所定の信号処理を施した画像信号はモニタ１１に送信され、送信された画像信号に相当する画像がモニタ１１に表示される。

なお、光源ユニットおよび画像処理回路４１は、内視鏡プロセッサ４０に設けられるシステムコントローラ４２により動作が制御される。また、システムコントローラ４２は、電子内視鏡２０にも接続され、電子内視鏡２０の各部位の動作も制御する。

なお、内視鏡プロセッサ４０には入力部４３が設けられる。使用者によるコマンドが入力されると、入力されたコマンドに応じたオーダー信号が入力部４３からシステムコントローラ４２に送信される。システムコントローラ４２は、受信したオーダー信号に応じて各部位の動作を制御する。

電子内視鏡２０には、対物レンズ２３、撮像素子２４、Ａ／Ｄコンバータ２５（受信部）、画像処理部３０、Ｄ／Ａコンバータ２６、ＤＲＡＭ２７（メモリ）、タイミングコントローラ２８（撮像素子制御部）などが設けられる。

前述のように、照明光が照射された被写体の光学像が対物レンズ２３を介して、撮像素子２４の受光面に到達する。タイミングコントローラ２８の駆動に基づいて、撮像素子２４は受光面に到達した光学像に相当する画像信号を生成する。

撮像素子２４はＣＭＯＳ撮像素子であり、受光面には行列状に複数の画素が配置される。タイミングコントローラ２４により各画素が生成する画素信号の出力時期が制御され、画素信号が撮像素子２４から順番に出力される。受光面に配置されたすべての画素が生成した画素信号によって１フレームの画像信号が構成される。

なお、後述するように、タイミングコントローラ２８は画素の露光時間を制御することも可能である。さらに、タイミングコントローラ２８により、Ａ／Ｄコンバータ２５および画像処理部３０における動作のタイミングも制御される。

撮像素子２４の構成について説明する。撮像素子２４は、図２に示すように、受光面の中央部に有効画素領域ＡＡが設けられ、周辺部にオプティカルブラック（ＯＢ）領域ＢＡが設けられる。

有効画素領域ＡＡには、有効画素２４ａが配置される。また、ＯＢ領域ＢＡには、黒色画素２４ｂが配置される。なお、黒色画素２４ｂは、有効画素２４ａの受光面をアルミニウム膜などにより遮光した画素である。

有効画素２４ａからは、有効画素信号が生成される。有効画素信号は、固定パターンノイズ（ＦＰＮ）成分および受光量成分を有する。ＦＰＮ成分は、各画素固有のノイズ成分であり、露光時間に関わらず一定の大きさである。また、受光量成分は、有効画素２４ａへの積算露光量、すなわち入射光の光量および露光時間の積に応じた大きさである。

黒色画素２４ｂからは、黒色画素信号が生成される。前述のように黒色画素２４ｂには光が入射しないので、黒色画素信号は受光量成分を有さず、すなわちＦＰＮ成分のみを有する。

前述のように、１フレームの画像信号は受光面のすべての画素の画素信号、すなわち、全有効画素２４ａおよび全黒色画素２４ｂそれぞれが生成する有効画素信号および黒色画素信号によって構成される。

生成された画像信号は、撮像素子２４からＡ／Ｄコンバータ２５に送信される。Ａ／Ｄコンバータ２５によりＡ／Ｄ変換が施され、アナログ画像信号がデジタル画像データに変換される。なお、画像データは、有効画素信号および黒色画素信号をＡ／Ｄ変換した有効画素データおよび黒色画素データによって構成される。

画像データは、画像処理部３０に送信される。画像処理部３０では、ＦＰＮ除去を含む所定の画像処理が画像データに対して施される。なお、画像処理部３０はＤＲＡＭ２７に接続される。ＤＲＡＭ２７には、後述するように、ＦＰＮ除去のための画素データが格納される。

所定の画像処理が施された画像データは、Ｄ／Ａコンバータ２６に送信される。Ｄ／Ａコンバータ２６によりＤ／Ａ変換が施され、デジタル画像データがアナログ画像信号に変換される。変換された画像信号は内視鏡プロセッサ４０の画像処理回路４１に送信される。前述のように、画像処理回路４１では画像信号に対して所定の画像処理が施される。画像処理後、画像信号はモニタ１１に送信され、画像信号に相当する画像がモニタ１１に表示される。

次に、画像処理部３０の構成とともに、画像処理部３０において実行されるＦＰＮ除去について説明する。図３に示すように、画像処理部３０は、領域平均化回路３１（第２の平均化部、第３の平均化部）、判別回路３２（判別部）、フレーム平均化回路３３（第１の平均化部）、ＦＰＮ補正回路３４（減算部）、および一般画像処理回路３５などによって構成される。

有効画素信号からＦＰＮ成分を除去するためには、各有効画素固有のＦＰＮ成分であるノイズ信号が必要である。ＦＰＮ除去の前に、画像処理部３０によりノイズデータが生成される。

ノイズデータを生成するために、タイミングコントローラ２８は設定可能な最短の露光時間、例えば２００ｎｓの露光時間で、撮像素子２４に画像信号を生成させる。露光時間が２００ｎｓの場合には、生成した有効画素信号は擬似黒色画素データとして領域平均化回路３１に送信される。また、黒色画素データも領域平均化回路３１に送信される。

領域平均化回路３１は、受信した擬似黒色画素データおよび黒色画素データをＤＲＡＭ２７に格納させる。ＤＲＡＭ２７には、各有効画素２４ａおよび各黒色画素２４ｂの格納領域が定められており、順番に受信する擬似黒色画素データおよび黒色画素データが定められた格納領域に格納される。

１フレームの画像データを構成する擬似黒色画素データおよび黒色画素データがＤＲＡＭ２７に格納されると、領域平均化回路３１により１フレームの画像データを構成するすべての擬似黒色画素データが読出され、輝度データ成分が平均化される。また、領域平均化回路３１によりすべての黒色画素データも読出され、輝度データ成分が平均化される。

平均化された擬似黒色画素データの輝度データ成分である平均擬似黒色データと、平均化された黒色画素データの輝度データ成分である平均黒色データとが、判別回路３２に送信される。判別回路３２では平均擬似黒色データと平均黒色データとが比較され、平均擬似黒色データと平均黒色データのデータレベルの差が第１の閾値未満であるか否かが判別される。

擬似黒色画素データすなわち有効画素データには、前述のようにＦＰＮ成分と受光量成分とが含まれる。前述のように、受光量成分は入射光の光量および露光時間の積に応じた大きさである。したがって、入射光量および露光時間が十分に短ければ、受光量成分の信号レベルがゼロとみなせる擬似黒色画素信号が生成される。しかし、露光時間を十分に短くしても、入射光量が大きい場合には、ゼロより大きな信号レベルの受光量成分を含む擬似黒色画素信号が生成される。

そこで、判別回路３２において、平均擬似黒色データと平均黒色データとを比較することにより、撮像素子２４への入射光量が十分に小さく擬似黒色画素信号が実質的にＦＰＮ成分のみを有しているか否かが判別される。

平均擬似黒色データと平均黒色データとのデータレベルの差が第１の閾値を超える場合には、平均擬似黒色データの生成に用いたフレームの画像データが、ＤＲＡＭ２７から消去される。平均擬似黒色データと平均黒色データとのデータレベルの差が第１の閾値未満である場合には、平均擬似黒色データの生成に用いたフレームの画像データは、そのままＤＲＡＭ２７に格納される。

１フレームの画像データのＤＲＡＭ２７への格納、領域平均化回路３１における平均化、および判別回路３２における判別を完了すると、タイミングコントローラ２８は再び２００ｎｓの露光時間で撮像素子２４に画像信号を生成させる。

前述のように、新たに生成した１フレームの画像データのＤＲＡＭ２７への格納、領域平均化回路３１における平均化、および判別回路３２による判別が行なわれる。平均擬似黒色データと平均黒色データとのデータレベルの差が第１の閾値未満となる画像データが２０フレームになるまで、ＤＲＡＭ２７への格納、領域平均化回路３１における平均化、および判別回路３２による判別が行なわれる。判別回路３２により消去されない画像データが２０フレームになると、２００ｎｓの露光時間による撮像が停止される。

判別回路３２により消去されなかった２０フレームの画像データが、フレーム平均化回路３３に読出される。フレーム平均化回路３３により、同じ有効画素に対応しフレームの異なる２０の擬似黒色画素データが平均化され、ノイズデータが生成される。生成したノイズデータは、ＤＲＡＭ２７に格納される。

ノイズデータがＤＲＡＭ２７に格納されると、タイミングコントローラ２８は通常の画像を撮影するための露光時間、例えば１／６０ｓの露光時間で、撮像素子２４に画像信号を生成させる。前述のように、１フレームの画像信号を構成する各有効画素信号が撮像画素信号として順番にＡ／Ｄコンバータ２５を介して、画像処理部３０に送信される。

露光時間が１／６０ｓの場合には、生成されＡ／Ｄ変換された撮像画素データは、ＦＰＮ補正回路３４に送信される。ＦＰＮ補正回路３４には、受信した撮像画素データに対応する有効画素２４ａのノイズデータが、ＤＲＡＭ２７から読出される。ＦＰＮ補正回路３４により、撮像画素データからノイズデータが減じられることにより、ＦＰＮ成分が除去される。

ＦＰＮ成分が除去された補正撮像画素データは一般画像処理回路３５に送信され、色補間処理やガンマ補正処理などの所定の画像処理が施される。所定の画像処理の施された補正撮像画素データが、前述のように、Ｄ／Ａコンバータ２６に送信される。

次に、タイミングコントローラ２８および画像処理部３０によって行われるノイズデータ作成および撮像画素データからのＦＰＮ成分の除去の処理を図４、図５のフローチャートを用いて説明する。

図４は、ＦＰＮ成分の除去の処理を説明するためのフローチャートである。図５は、ノイズデータ生成のサブルーチンを説明するためのフローチャートである。ＦＰＮ成分の除去の処理は、電子内視鏡システム１０の電源をＯＮにするときに開始される。

ステップＳ１００において電子内視鏡２０を起動させると、ステップＳ２００に進み、各有効画素２４ａ固有のノイズデータを生成させる。ノイズデータの生成が終わるとステップＳ１０１に進む。

ステップＳ１０１では、撮像素子２４に被写体を撮像させて１フレームの画像信号を生成させる。なお、後述するように、撮像素子２４の露光時間は１／６０ｓに設定されている。１フレームの画像信号を生成すると、ステップＳ１０２に進む。

ステップＳ１０２では、ステップＳ１０１で生成させた画像信号からＦＰＮ成分を除去する。すなわち、画像信号をＡ／Ｄ変換した画像データを構成する各撮像画素データから、ステップＳ２００においてＤＲＡＭ２７に格納したノイズデータを減じることにより、各撮像画素データ固有のＦＰＮ成分を除去する。全撮像画素データのＦＰＮ成分を除去すると、ステップＳ１０３に進む。

ステップＳ１０３では、色補間処理やガンマ処理などの所定の画像処理を、ＦＰＮ成分を除去した画像データに施す。所定の画像処理を施すとステップＳ１０４に進み、動画表示を終了するコマンドが入力されているか否かを判別する。

動画表示を終了するコマンドが入力されていない場合には、ステップＳ１０１に戻り、動画表示を終了するコマンドが入力されるまでステップＳ１０１〜ステップＳ１０４を繰返す。動画表示を終了するコマンドが入力されている場合に、ＦＰＮ成分除去の処理を終了する。

次に、ノイズデータ生成のサブルーチンについて説明する。前述のように、電子内視鏡２０の起動後（ステップＳ１００）、ノイズデータ生成のサブルーチンを開始する。ステップＳ２０１において、撮像素子２４の露光時間を２００ｎｓに設定する。撮像素子２４の露光時間の設定後、ステップＳ２０２に進む。

ステップＳ２０２では、撮像素子２４に被写体を撮像させて１フレームの画像信号を生成させる。次のステップＳ２０３では、画像信号をＡ／Ｄ変換した画像データを構成する擬似黒色画素データおよび黒色画素データをＤＲＡＭ２７に格納する。１フレームの画像データを構成するすべての擬似黒色画素データおよび黒色画素データをＤＲＡＭ２７に格納すると、ステップＳ２０４に進む。

ステップＳ２０４では、ＤＲＡＭ２７から全擬似黒色画素データおよび全黒色画素データを読出し、それぞれの輝度データ成分を平均化することにより、平均擬似黒色データおよび平均黒色データを生成する。平均化の完了後、ステップＳ２０５に進む。

ステップＳ２０５では、ステップＳ２０４で生成した平均擬似黒色データと平均黒色データのデータレベルの差が第１の閾値未満であるか否かを判別する。差が第１の閾値を超える場合には、ステップＳ２０６に進む。一方、差が第１の閾値未満である場合には、ステップＳ２０７に進む。

ステップＳ２０６では、直近のステップＳ２０３でＤＲＡＭ２７に格納した擬似黒色画素データおよび擬似黒色データを消去する。データの消去後、ステップＳ２０２に戻る。以後、ステップＳ２０５においてデータレベルの差が第１の閾値未満になるまで、ステップＳ２０２〜ステップＳ２０６の処理を繰返す。

ステップＳ２０７では、２０フレームの画像データがＤＲＡＭ２７に格納されているか否かを判別する。２０フレームの画像データを格納していない場合には、ステップＳ２０２に戻る。以後、ステップＳ２０７において２０フレームの画像データを格納していると判別するまでステップＳ２０２〜ステップＳ２０７の処理を繰返す。２０フレームの画像データを格納している場合には、ステップＳ２０８に進む。

ステップＳ２０８では、ＤＲＡＭ２７に格納された２０フレームの画像信号を構成する擬似黒色画素データを有効画素２４ａ毎に平均化させる。平均化して生成させたノイズデータをＤＲＡＭ２７に格納する。ノイズデータの格納後、ステップＳ２０９に進む。

ステップＳ２０９では、撮像素子２４の露光時間を１／６０ｓに設定する。撮像素子２４の露光時間の設定後、前述のようにステップＳ１０１に進む。

以上のような第１の実施形態を適用した固定パターンノイズ除去ユニットによれば、メカニカルシャッタや不揮発性メモリを設けること無く、ＦＰＮを除去することが可能になる。

また、前述のように、擬似黒色画素信号を生成するときの撮像素子２４への入射光量が大きいときには、露光時間を短くして生成させた擬似黒色画素信号を用いてもＦＰＮを高い精度で除去することが困難であった。しかし、本実施形態の固定パターンノイズ除去ユニットでは、黒色画素２４ｂが生成する黒色信号に基づいて、擬似黒色画素信号を固定パターンノイズの除去に用いることが適当か否かを判別しているので、高い精度で固定パターンノイズを除去することが可能である。

次に本発明の第２の実施形態を適用した固定パターンノイズ除去ユニットについて説明する。第２の実施形態は、ノイズデータの生成方法が第１の実施形態と異なっている。以下、第１の実施形態と異なる部位を中心に、第２の実施形態について説明する。なお、同じ機能を有する部位には、同じ符号を付す。

第２の実施形態の電子内視鏡の画像処理部およびＤＲＡＭ以外の部位の構成および機能は、第１の実施形態の電子内視鏡と同じである。また、第２の実施形態において内視鏡プロセッサおよびモニタは、第１の実施形態の内視鏡プロセッサとモニタと同一である。

第２の実施形態の画像処理部の構成および機能とともに、画像処理部において実行されるＦＰＮ除去について説明する。図６に示すように、画像処理部３００は、領域平均化回路３１０、判別回路３２０、フレーム平均化回路３３、ＦＰＮ補正回路３４、および一般画像処理回路３５等によって構成される。

第１の実施形態と同じく、ＦＰＮ除去の前に画像処理部３００によりノイズデータが生成される。第１の実施形態と同じく、ノイズデータの生成のためにタイミングコントローラ２８は２００ｎｓの露光時間で撮像素子２４に画像信号を生成させる。

画像信号をＡ／Ｄ変換した画像データを構成する擬似黒色画素データおよび黒色画素データが領域平均化回路３１０に送信される。第１の実施形態と同じく、領域平均化回路３１０は受信した擬似黒色画素データおよび黒色画素データをＤＲＡＭ２７に格納させる。

第１の実施形態と異なり、１フレームの画像データを構成する擬似黒色画素データおよび黒色画素データがＤＲＡＭ２７に格納されると、領域平均化回路３１０により一部の擬似黒色画素データが読出され、輝度データ成分が平均化される。

領域平均化回路３１０が読出す一部の擬似黒色画素データについて説明する。有効画素領域ＡＡを縦横１６×１６の２５６個に分類した第１〜第２５６の小領域が定められる。第１の小領域に配置される有効画素２４ａの擬似黒色画素データが領域平均化回路３１０に読出され、輝度データ成分が平均化される。なお、第１の実施形態と同じく、領域平均化回路３１０は１フレームの画像信号を構成する全黒色画素データを読み出して、輝度データ成分の平均化も行なう。

平均化された第１の小領域の擬似黒色画素データの輝度成分である第１の平均擬似黒色データと、平均化された黒色画素データの輝度データ成分である平均黒色データとが、判別回路３２０に送信される。第１の実施形態と同様に、判別回路３２０では第１の平均擬似黒色データと平均黒色データと塗データレベルの差が第２の閾値未満であるか否かが判別される。なお、第２の閾値は第１の閾値より小さな値に設定される。

第１の平均擬似黒色データと平均黒色データとのデータレベルの差が第２の閾値を超える場合には、第１の小領域に配置される有効画素２４ａの擬似黒色画素データが、ＤＲＡＭ２７から消去される。第１の平均擬似黒色データと平均黒色データとのデータレベルの差が第２の閾値未満である場合には、第１の小領域に配置される有効画素２４ａの擬似黒色画素データは、そのままＤＲＡＭ２７に格納される。

第１の小領域に対応する第１の平均擬似黒色データと同様にして、第２〜第２５６の小領域に対応する第２〜第２５６の平均擬似黒色データが生成され、小領域毎に擬似黒色画素データを消去するか否かが判別される。

第１の実施形態と同様に、全小領域に対応する平均擬似黒色データに対して判別回路３２０による判別を完了すると、タイミングコントローラ２８は再び２００ｎｓの露光時間で撮像素子２４に画像信号を生成させる。

以後、判別回路３２０に消去されない各小領域の擬似黒色画素データが２０フレームになるまで、ＤＲＡＭ２７への格納、領域平均化回路３１０における平均化、および判別回路３２０による判別が行なわれる。判別回路３２０により消去されない各小領域の擬似黒色画素データが２０フレームになると、２００ｎｓの露光時間による撮像が停止される。

第１の実施形態と同じく、フレーム平均化回路３３により、ＤＲＡＭ２７に格納されたすべての擬似黒色画素データが読出される。第１の実施形態と同じく、フレーム平均化回路３３により、同じ有効画素２４ａに対応しフレームの異なる２０の擬似黒色画素データが平均化され、ノイズデータが生成される。第１の実施形態と同じく、生成したノイズデータはＤＲＡＭ２７に格納される。

第１の実施形態と同じく、ノイズデータがＤＲＡＭ２７に格納されると、タイミングコントローラ２８は１／６０ｓの露光時間で撮像素子２４に画像信号を生成させる。また、第１の実施形態と同じく、１フレームの画像信号を構成する各有効画素信号が順番にＡ／Ｄコンバータ２５を介して、画像処理部３００に送信される。

第１の実施形態と同じく、露光時間が１／６０ｓの場合には、生成されＡ／Ｄ変換された撮像画素データは、ＦＰＮ補正回路３４に送信される。第１の実施形態と同じく、ＤＲＡＭ２７に格納された各有効画素２４ａ固有のノイズデータを撮像画素データから減じることにより、ＦＰＮ成分が除去される。

次に、タイミングコントローラ２８および画像処理部３００によって行われるノイズデータ作成の処理および撮像画素データからのＦＰＮ成分の除去の処理を図７、図８のフローチャートを用いて説明する。

図７は、ＦＰＮ成分の除去の処理を説明するためのフローチャートである。図８は、ノイズデータ生成のサブルーチンを説明するためのフローチャートである。ＦＰＮ成分の除去の処理は、電子内視鏡システム１０の電源をＯＮにするときに開始される。

ステップＳ３００において電子内視鏡２０を起動させると、ステップＳ４００に進み、各有効画素２４ａ固有のノイズデータを生成させる。ノイズデータの生成が終わるとステップＳ３０１に進む。以後、第１の実施形態におけるステップＳ１０１〜ステップＳ１０４と同じ処理をステップＳ３０１〜ステップＳ３０４で実行する。

次に、ノイズデータ生成のサブルーチンについて説明する。第１の実施形態と同じく、電子内視鏡２０の起動後（ステップＳ３００）、ノイズデータ生成のサブルーチンを開始する。ステップＳ４０１〜ステップＳ４０３では、第１の実施形態におけるステップＳ２０１〜ステップＳ２０３と同じ処理を実行する。

ステップＳ４０４では、ＤＲＡＭ２７から全黒色画素データを読出し、輝度データ成分を平均化することにより平均黒色データを生成する。平均黒色データの生成後ステップＳ４０５に進み、平均擬似黒色データを生成する小領域の番号ｎを１に設定する。小領域の番号ｎの設定後、ステップＳ４０６に進む。

ステップＳ４０６では、ＤＲＡＭ２７から第ｎの小領域に配置された全有効画素２４ａの擬似黒色画素データを読出し、輝度データ成分を平均化することにより第ｎの平均擬似黒色データを生成する。平均擬似黒色データの生成後ステップＳ４０７に進む。

ステップＳ４０７では、第ｎの平均擬似黒色データと平均黒色データとのデータレベルの差が第２の閾値未満であるか否かを判別する。差が第２の閾値を超える場合には、ステップＳ４０８に進む。差が第２の閾値未満である場合には、ステップＳ４０８をスキップしてステップＳ４０９に進む。

ステップＳ４０８では、第ｎの小領域に配置された有効画素２４ａの擬似黒色画素データであって直近のステップＳ４０３で格納した擬似黒色画素データを消去する。擬似黒色画素データの消去後、ステップＳ４０９に進む。

ステップＳ４０９では、小領域の番号ｎが２５６であるか否かを判別する。ｎが２５６で無い場合にはステップＳ４１０に進み、ｎに１を加えてステップＳ４０６に戻る。以後、ステップＳ４０９においてｎが２５６になるまで、ステップＳ４０６〜ステップＳ４１０の処理を繰返す。ステップＳ４０９においてｎが２５６である場合には、ステップＳ４１１に進む。

ステップＳ４１１では、全小領域において２０フレームの擬似黒色画素データがＤＲＡＭ２７に格納されているか否かを判別する。２０フレームの擬似黒色画素データが格納されていない小領域がある場合には、ステップＳ４０２に戻る。以後、全小領域において２０フレームの擬似黒色画素データが格納されるまで、ステップＳ４０２〜ステップＳ４１１の処理を繰返す。全小領域において２０フレームの擬似黒色画素データを格納している場合には、ステップＳ４１２に進む。

ステップＳ４１２、ステップＳ４１３では、第１の実施形態におけるステップＳ２０８、ステップＳ２０９と同じ処理を実行し、ノイズデータの生成およびＤＲＡＭ２７への格納、１／６０ｓへの露光時間の設定を行なう。露光時間の設定後、第１の実施形態と同様に、ステップＳ３０１に進む。

以上のような第２の実施形態を適用した固定パターンノイズ除去ユニットによっても、メカニカルシャッタや不揮発性メモリを設けること無く、ＦＰＮを高い精度で除去することが可能である。

また、本実施形態によれば、有効画素領域ＡＡにおいて部分的に入射光量が大きくても、効率的にノイズデータを生成することが可能になる。例えば、有効画素領域ＡＡにおいて部分的に入射光量が大きい場合において、他の領域の擬似黒色画素データは受光量成分を含んでいなくてもノイズデータの生成に用いることが出来ないことがある。しかし、本実施形態によれば、小領域毎にノイズデータの作成に用いるか否かを判別するので、ノイズデータ生成の高速化が図られる。

なお、第１、第２の実施形態において、平均黒色データと平均擬似黒色データとのデータレベルの差が第１、第２の閾値を超えると場合に、擬似黒色画素データをＤＲＡＭ２７から消去してノイズデータの生成から除外する構成であるが、黒色画素データに基づいて擬似黒色画素データに含まれる受光量成分が十分に小さいか否かを判別すれば他の方法により判別してもよい。

また、第１、第２の実施形態において、２０フレームの擬似黒色画素データを平均化することによりノイズデータを生成する構成であるが、平均化するフレーム数は２０に限定されない。単一の擬似黒色画素データをノイズデータとしてもよい。ただし、ノイズデータを作成するための擬似黒色画素データが多くなるほど、ノイズデータの精度が向上する。

また、第１、第２の実施形態において、２０フレームの擬似黒色画素データを平均化することによりノイズデータを生成する構成であるが、ノイズデータの生成方法は平均化に限られない。擬似黒色画素データを用いる他の方法によりノイズデータを生成してもよい。

また、第１の実施形態においては有効画素領域ＡＡの全有効画素の擬似黒色画素データを平均化して、第２の実施形態においては有効画素領域ＡＡを複数の小領域に分割して小領域毎に擬似黒色画素データを平均化して、受光量成分が十分に小さいか否かを判別する構成であるが、有効画素２４ａ毎に行なってもよい。

また、第１、第２の実施形態において、全黒色画素データを用いて平均黒色データを生成する構成であるが、一部の黒色画素データを用いて生成してもよいし、単一の黒色画素データを平均黒色データとして判別回路３２における判別に用いてもよい。ただし、多くの黒色画素データを用いて平均黒色データを生成することにより、高い精度でＦＰＮを除去することが可能である。

また、第１、第２の実施形態において、ノイズデータ生成のために撮像素子２４に設定可能な最短の露光時間で撮像するように撮像素子２４を駆動する構成であるが、積算露光量が黒色であるときの値と見做せる露光時間に設定されてもよい。積算露光量は被写体そのものの輝度にも影響されるので、少なくとも通常撮影が可能な露光時間より短い露光時間で撮像されれば、ノイズデータの生成に用いることが可能となり得る。

また、第１、第２の実施形態において、ノイズデータの生成およびＤＲＡＭ２７への格納は、電子内視鏡２０の起動直後であるが、何時であってもよい。例えば、動画の撮像中、すなわち２連続する１／６０ｓの露光時間による撮像の間にノイズデータの生成処理を実行してもよい。さらには、入力部４３へのノイズデータ生成のコマンド入力に基づいて、ノイズデータの生成を実行してもよい。

また、第１、第２の実施形態において、固定パターンノイズ除去ユニットは電子内視鏡システムに適用される構成であるが、デジタルスチルカメラやデジタルビデオカメラなどの他の撮像装置に適用されてもよい。

また、第１、第２の実施形態において、撮像素子２４はＣＭＯＳ撮像素子であるが、各画素にアンプが設けられ、画素固有の固定パターンノイズが生じる他の種類の撮像素子に対しても適用可能である。

本発明の第１の実施形態を適用した固定パターンノイズ除去ユニットを有する電子内視鏡システムの内部構成を概略的に示すブロック図である。 撮像素子の受光面の構成を説明するための平面図である。 第１の実施形態の画像処理部の内部構成を概略的に示すブロック図である。 第１の実施形態におけるＦＰＮ成分の除去の処理を説明するためのフローチャートである。 第１の実施形態におけるノイズデータ生成のサブルーチンを説明するためのフローチャートである。 第２の実施形態の画像処理部の内部構成を概略的に示すブロック図である。 第２の実施形態におけるＦＰＮ成分の除去の処理を説明するためのフローチャートである。 第２の実施形態におけるノイズデータ生成のサブルーチンを説明するためのフローチャートである。

符号の説明

１０ 電子内視鏡システム
２０ 電子内視鏡
２４ 撮像素子
２４ａ、２４ｂ 有効画素、黒色画素
２５ Ａ／Ｄコンバータ
２７ ＤＲＡＭ
２８ タイミングコントローラ
３０、３００ 画像処理部
３１、３１０ 領域平均化回路
３２、３２０ 判別回路
３３ フレーム平均化回路
３４ ＦＰＮ補正回路
４０ 内視鏡プロセッサ
４３ 入力部
ＡＡ 有効画素領域
ＢＡ ＯＢ領域

Claims (21)

1. 受光量に応じた画素信号を生成する複数の画素を有する撮像素子から、受光面が遮光された前記画素である黒色画素が生成する前記画素信号である黒色画素信号と、前記黒色画素以外の前記画素である有効画素が生成する前記画素信号である有効画素信号とを受信する受信部と、
   前記撮像素子における前記画素の露光時間を第１の露光時間または前記第１の露光時間より短い第２の露光時間に切替えることにより、前記第１の露光時間における受光量に応じた前記有効画素信号である撮像画素信号または前記第２の露光時間における受光量に応じた前記有効画素信号である擬似黒色画素信号を生成させる撮像素子制御部と、
   前記黒色画素信号に基づいて、前記擬似黒色画素信号を対応する前記有効画素における固定パターンノイズと見做せるか否かを判別する判別部と、
   前記判別部により前記固定パターンノイズと見做された前記擬似黒色画素信号をノイズ信号として格納するメモリと、
   前記撮像画素信号から前記ノイズ信号を減じる減算部とを備える
   ことを特徴とする固定パターンノイズ除去ユニット。
2. 前記撮像素子制御部は、前記撮像素子に前記第２の露光時間の撮像を複数回実行させることにより、各有効画素に対応する複数の前記擬似黒色画素信号を生成させ、
   前記減算部は、複数の前記擬似黒色画素信号の中で前記判別部により前記固定パターンノイズとして見做された前記擬似黒色画素信号に基づく前記ノイズ信号を、前記撮像画素信号から減じる
   ことを特徴とする請求項１に記載の固定パターンノイズ除去ユニット。
3. 前記判別部により前記固定パターンノイズと見做された複数の前記擬似黒色画素信号を前記有効画素毎に平均化する第１の平均化部を備え、
   前記減算部は、前記第１の平均化部により平均化された前記擬似黒色画素信号を前記ノイズ信号として前記撮像画素信号から減じる
   ことを特徴とする請求項２に記載の固定パターンノイズ除去ユニット。
4. 前記撮像素子制御部は、前記判別部により前記固定パターンノイズと見做される前記擬似黒色画素信号がｍ個（ｍは２以上の整数）になるまで前記撮像素子に前記第２の露光時間での撮像を繰返させ、
   前記第１の平均化部は、前記固定パターンノイズと見做されたｍ個の前記擬似黒色画素信号を平均化する
   ことを特徴とする請求項３に記載の固定パターンノイズ除去ユニット。
5. 前記撮像素子に配置されるすべてまたは一部の前記有効画素に対応する前記擬似黒色画素信号を平均化することにより平均化信号を生成する第２の平均化部を備え、
   前記判別部は、前記黒色画素信号に基づいて、前記平均化信号を前記固定パターンノイズと見做せるか否かを判別する
   ことを特徴とする請求項１に記載の固定パターンノイズ除去ユニット。
6. 前記撮像素子制御部は、前記撮像素子に前記第２の露光時間の撮像を複数回実行させることにより、各有効画素に対応する複数の前記擬似黒色画素信号を生成させ、
   前記減算部は、前記判別部により前記固定パターンノイズと見做された前記平均化信号の生成に用いられた前記擬似黒色画素信号に基づく前記ノイズ信号を、前記撮像画素信号から減じる
   ことを特徴とする請求項５に記載の固定パターンノイズ除去ユニット。
7. 前記判別部により前記固定パターンノイズと見做された前記平均化信号の生成に用いられた複数の前記擬似黒色画素信号を前記有効画素毎に平均化する第１の平均化部を備え、
   前記減算部は、前記第１の平均化部により平均化された前記擬似黒色画素信号を前記ノイズ信号として前記撮像画素信号から減じる
   ことを特徴とする請求項６に記載の固定パターンノイズ除去ユニット。
8. 前記撮像素子制御部は、前記判別部により前記固定パターンノイズと見做される前記平均化信号がｍ個（ｍは２以上の整数）になるまで前記撮像素子に前記第２の露光時間での撮像を繰返させ、
   前記第１の平均化部は、前記固定パターンノイズと見做されたｍ個の前記平均化信号の生成に用いられた前記擬似黒色画素信号を平均化する
   ことを特徴とする請求項７に記載の固定パターンノイズ除去ユニット。
9. 前記有効画素が配置された全領域の一部の領域である第１、第２の小領域における複数の前記有効画素に対応する前記擬似黒色画素信号を平均化することにより平均化信号を生成する第２の平均化部を備え、
   前記判別部は、前記黒色画素信号に基づいて、前記平均化信号を前記固定パターンノイズと見做せるか否かを、前記第１、第２の小領域毎に判別する
   ことを特徴とする請求項１に記載の固定パターンノイズ除去ユニット。
10. 前記撮像素子制御部は、前記撮像素子に前記第２の露光時間の撮像を複数回実行させることにより、各有効画素に対応する複数の前記擬似黒色画素信号を生成させ、
    前記減算部は、前記判別部により前記固定パターンノイズと見做された前記平均化信号の生成に用いられた前記擬似黒色画素信号に基づく前記ノイズ信号を、前記撮像画素信号から減じる
    ことを特徴とする請求項９に記載の固定パターンノイズ除去ユニット。
11. 前記判別部により前記固定パターンノイズと見做された前記平均化信号の生成に用いられた複数の前記擬似黒色画素信号を前記有効画素毎に平均化する第１の平均化部を備え、
    前記減算部は、前記第１の平均化部により平均化された前記擬似黒色画素信号を前記ノイズ信号として前記撮像画素信号から減じる
    ことを特徴とする請求項１０に記載の固定パターンノイズ除去ユニット。
12. 前記撮像素子制御部は、前記判別部により前記固定パターンノイズと見做される前記平均化信号が前記第１、第２の小領域毎にｍ個（ｍは２以上の整数）になるまで前記撮像素子に前記第２の露光時間での撮像を繰返させ、
    前記第１の平均化部は、前記固定パターンノイズと見做されたｍ個の前記平均化信号の生成に用いられた前記擬似黒色画素信号を平均化する
    ことを特徴とする請求項１１に記載の固定パターンノイズ除去ユニット。
13. 前記撮像素子に設けられる複数の前記黒色画素に対応する前記黒色画素信号を平均化する第３の平均化部を備え、
    前記判別部は、前記第３の平均化部により平均化された前記黒色画素信号に基づいて、前記擬似黒色画素信号を前記固定パターンノイズと見做せるか否かを判別する
    ことを特徴とする請求項１〜請求項１２のいずれか１項に記載の固定パターンノイズ除去ユニット。
14. 前記撮像素子制御部は、前記固定パターンノイズ除去ユニットが設けられる撮像装置の起動時に、前記画素の露光時間を前記第２の露光時間に切替えて前記擬似黒色画素信号を生成させることを特徴とする請求項１〜請求項１３のいずれか１項に記載の固定パターンノイズ除去ユニット。
15. 前記撮像素子制御部は、前記画素の露光時間を前記第１の露光時間に切替えて連続的に前記撮像画素信号を生成し続けている間に、前記画素の露光時間を前記第２の露光時間に切替えて前記擬似黒色画素信号を生成させることを特徴とする請求項１〜請求項１３のいずれか１項に記載の固定パターンノイズ除去ユニット。
16. 前記擬似黒色画素信号を生成するコマンドを入力する入力部を備え、
    前記入力部に前記擬似黒色画素信号を生成するコマンドが入力されるときに、前記撮像素子制御部は前記画素の露光時間を前記第２の露光時間に切替えて前記擬似黒色画素信号を生成させる
    ことを特徴とする請求項１〜請求項１３のいずれか１項に記載の固定パターンノイズ除去ユニット。
17. 前記判別部は、前記擬似黒色画素信号の輝度成分と前記黒色画素信号の輝度成分との差が閾値未満である場合に、前記擬似黒色画素信号を前記固定パターンノイズと見做すことを特徴とする請求項１〜請求項１６のいずれか１項に記載の固定パターンノイズ除去ユニット。
18. 前記第２の露光時間は、前記有効画素への積算露光量が黒色に相当する積算露光量と見做せる時間未満に定められることを特徴とする請求項１〜請求項１７のいずれか１項に記載の固定パターンノイズ除去ユニット。
19. 前記第２の露光時間は、前記撮像素子に設定可能な最短の露光時間であることを特徴とする請求項１〜請求項１７のいずれか１項に記載の固定パターンノイズ除去ユニット。
20. 受光量に応じた画素信号を生成する複数の画素を有し、受光面が遮光された前記画素である黒色画素が黒色画素信号を生成し、前記黒色画素以外の前記画素である有効画素が有効画素信号を生成する撮像素子と、
    前記撮像素子における前記画素の露光時間を第１の露光時間または前記第１の露光時間より短い第２の露光時間に切替えることにより、前記第１の露光時間における受光量に応じた前記有効画素信号である撮像画素信号または前記第２の露光時間における受光量に応じた前記有効画素信号である擬似黒色画素信号を生成させる撮像素子制御部と、
    前記黒色画素信号に基づいて、前記擬似黒色画素信号を対応する前記有効画素における固定パターンノイズと見做せるか否かを判別する判別部と、
    前記判別部により前記固定パターンノイズと見做された前記擬似黒色画素信号をノイズ信号として格納するメモリと、
    前記撮像画素信号から前記ノイズ信号を減じる減算部とを備える
    ことを特徴とする撮像ユニット。
21. 請求項２０に記載の撮像ユニットを有する電子内視鏡システム。

Images