JP5709472B2 - 信号処理装置 - Google Patents

Description

本発明は、電子スチルカメラにおける画像信号の処理等に用いられる信号処理装置に関し、特にメディアンフィルタ処理回路及び欠陥画素検出処理回路を有する信号処理装置に関する。

近年広く普及している電子スチルカメラには、ＣＣＤ等の半導体で形成された撮像素子（イメージセンサ）が用いられている。撮像素子を構成する画素の中に、光が入射していない状態で特異なレベルの信号を出力する欠陥画素が含まれると、画質が劣化するという問題が生じる。そのため、欠陥画素の数は可能な限り少ないことが好ましい。しかし、千万個以上の画素を有する撮像素子を用いた高解像度デジタルカメラの場合、１画素あたりの面積が非常に小さくなるため、欠陥画素が存在しない撮像素子を製造することは容易ではない。

一方、欠陥画素の問題とは別に、ＣＣＤの暗電流によって発生する固定パターンノイズや時系列に関係なく発生するランダムノイズが、画質劣化の要因として取り上げられている。このようなノイズを除去するために、メディアンフィルタを用いる技術が提案されている。

例えば、画素の欠陥にもとづくエラーデータやノイズを画素位置に関係なく除去するメディアンフィルタ処理回路が提案されている（特許文献１参照）。特許文献１では、固体撮像素子の画素の欠陥に基づくデータエラーの補正に、注目画素を中心としたｎ×ｎ画素領域内の全ての画素の信号値の中央値（メディアン）を求め、これを注目画素の信号値とするメディアンフィルタ処理回路が用いられている。この技術では、製品毎に撮像素子の画素の傷や欠陥に基づくデータエラーの補正用のＲＯＭを作成する必要がなく、製品が市場に出た後のメンテナンス等のためにＲＯＭを管理する必要が無いため、前述の生産性に関する問題が生じないとされている。

また、メディアンフィルタ処理回路を用いた欠陥画素補正処理として、参照するｎ画素領域内に欠陥画素が含まれる場合、欠陥画素の近傍の同色画素を用いてメディアンフィルタ処理を行う技術も提案されている（特許文献２参照）。

特開平４−２３５４７２号公報 特開２０００−１８４３８３号公報

しかしながら、特許文献１に記載されたメディアンフィルタ処理回路による欠陥補正処理方法では、複数の走査線（ライン）のデータを記憶する記憶回路が必要となるため、回路規模が大きくなってしまう。また、ｎ×ｎ画素内に欠陥画素が多く含まれている場合には、誤ったメディアン出力によって、正常な画素が欠陥画素とみなされて処理されてしまうおそれや、正常な画素からの出力信号がノイズとみなされて処理されてしまうおそれがある。

特許文献２では、参照画素に欠陥画素が含まれる場合に、欠陥画素の近傍にある同色画素を用いてメディアン検出を行うため、欠陥画素が複数個連続している場合には、参照するメディアン値が大きく異なってしまうおそれがある。この場合、欠陥画素の補正とノイズ除去には、メディアンフィルタ処理回路は適していない。

本発明は、メディアンフィルタ検出回路の回路規模を小さくしながら、高い精度で欠陥画素及びノイズを除去することができる信号処理装置を提供することを目的とする。

本発明に係る信号処理装置は、撮像素子に含まれる欠陥画素のアドレスを記憶したメモリと、前記撮像素子の走査位置信号に同期して前記撮像素子を構成する画素のアドレスをカウントする計数回路と、前記計数回路によりカウントされた画素のアドレスが前記メモリに記憶された前記欠陥画素のアドレスと一致する場合に、前記撮像素子からの出力データのうち前記欠陥画素に対応する出力データを特定値に置換する置換回路と、前記撮像素子を構成する画素からの各出力データを予め定められた数の複数の出力データごとにメディアンフィルタ処理してメディアン値を出力する出力回路と、を備え、前記特定値は、前記予め定められた数の複数の出力データごとにメディアンフィルタ処理された場合に最小値となる値であり、前記出力回路は、前記予め定められた数の複数の出力データを、値の大きさの順に並び替える比較回路、前記比較回路による並び替えによって所定の順となった出力データと前記特定値が一致するか否かを判定する判定回路、および、前記判定回路での判定結果に基づいて、前記比較回路によって並び替えられた出力データのうち、メディアン値として出力する出力データを切り替える切り替え回路を有することを特徴とする。

本発明に係る信号処理装置によれば、メディアンフィルタ検出回路の回路規模を小さくしながら、高い精度で欠陥画素及びノイズを除去することができる。

本発明の実施形態に係る信号処理装置の概略構成を示すブロック図である。 図１の信号処理装置が備えるメディアンフィルタ検出回路の概略構成を示すブロック図である。 図２のメディアンフィルタ検出回路における処理において、ＣＣＤデータに欠陥画素に係る傷マークが含まれている場合のメディアン値の選択形態を模式的に示す図である。 図１の信号処理装置による欠陥画素補正処理及びノイズ除去処理のフローチャートである。

以下、本発明の実施形態について添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る信号処理装置の概略構成を示すブロック図である。信号処理装置は、アドレスカウンタ３、制御部４、欠陥画素検出処理回路５、アドレス比較部６、一時記憶レジスタ群７、メディアンフィルタ検出回路８、マイクロコンピュータ９、メディアンフィルタ補正回路１０及びＥＥＰＲＯＭ１１を有している。

図１に示されるように、撮像素子であるＣＣＤイメージセンサからの出力データであるＣＣＤデータと、撮像素子を構成する画素の位置（アドレス）を示す走査位置信号とが、同位相で信号処理装置に入力される。ＣＣＤデータは、複数のレンズで構成された光学系によって被写体からの光が撮像素子へ集光された結果、集光された光量に応じて撮像素子で発生したアナログ電気信号がＡ／Ｄ変換された後のデジタル信号である。本実施形態では、ＣＣＤデータとは、撮像素子を構成する各画素から出力されてデジタル信号に変換された各データを指すものとする。なお、ＣＣＤイメージセンサの代わりにＣＭＯＳイメージセンサを用いた場合も同様である。

アドレスカウンタ３は、水平カウンタと垂直カウンタとを有し、水平カウンタは撮像素子を構成する画素の水平アドレスを計数し、垂直カウンタは画素の垂直アドレスを計数する。垂直カウンタは１〜Ｍのカウントを繰り返し、垂直カウンタの各カウントにおいて、水平カウンタが１〜Ｎのカウントを行う。ＥＥＰＲＯＭ１１には、撮像素子における欠陥画素（傷画素を含む）の位置を示す傷アドレスが、製造工場等で予め格納されている。一時記憶レジスタ群７は、ＥＥＰＲＯＭ１１に格納されている傷アドレスを所定個数記憶するレジスタ群である。

マイクロコンピュータ９は、ＥＥＰＲＯＭ１１からの読み出し数を制御し、読み込む傷アドレス数を制御する。具体的には、マイクロコンピュータ９は、撮像前にＥＥＰＲＯＭ１１に記憶されている全ての欠陥画素情報から、一時記憶レジスタ群７のレジスタ数（ｒ個）の欠陥画素を読み出す。撮像時、アドレスカウンタ３は、走査位置信号に同期して撮像素子を構成する画素のアドレスをカウントする。

アドレス比較部６は、アドレスカウンタ３のカウント値（アドレス）と一時記憶レジスタ群７から読み出した傷アドレスとを比較する。欠陥画素検出処理回路５は、アドレス比較部６でアドレスカウンタ３のカウント値と一時記憶レジスタ群７から読み出された欠陥画素のアドレスとが一致したとき、欠陥画素から出力されてデジタル信号に変換されたＣＣＤデータを傷マークに置換する。傷マークとは、欠陥画素に対応するＣＣＤデータであることを示す特定値であり、ここでは、その特定値は“０”であるとする。

欠陥画素検出処理回路５が欠陥画素に対応するＣＣＤデータを傷マークに置換するときには、一時記憶レジスタ群７において欠陥アドレスレジスタが読み出され、レジスタに空きが発生したことを示す信号が一時記憶レジスタ群から制御部４に送られる。また、ＥＥＰＲＯＭ１１から傷アドレスを読み出すように制御部４からマイクロコンピュータ９へ指令が送られる。

欠陥画素に対応する傷マークを含む全てのＣＣＤデータは、メディアンフィルタ検出回路８とメディアンフィルタ補正回路１０にそれぞれ入力される。図２は、メディアンフィルタ検出回路８の概略構成を示すブロック図である。メディアンフィルタ検出回路８は、フリップフロップ１２、大小比較器１３、第１一致回路１４、第２一致回路１５、第１セレクタ１６及び第２セレクタ１７を有している。

メディアンフィルタ検出回路８は水平５ＴＡＰの回路構成を有しており、１度に比較する複数の参照画素の数（ＣＣＤデータの数）が５個に設定されている。つまり、撮像素子を構成する画素から、順次、５画素分のＣＣＤデータがメディアンフィルタ検出回路８に入力され、ＣＣＤデータを比較してメディアン値１８を検出するメディアンフィルタ処理が行われる。具体的には、フリップフロップ１２を通して分離された５画素分のＣＣＤデータを大小比較器１３で比較し、ＣＣＤデータを値の大きさ順に並べる処理が行われ、以下に説明する通りに、並べられた順序の所定位置からメディアン値１８が検出される。

図３は、図２のメディアンフィルタ検出回路８における処理において、ＣＣＤデータに欠陥画素を示す傷マークが含まれている場合のメディアン値１８の選択形態を模式的に示す図である。図３において、欠陥画素に対応するＣＣＤデータは、傷マーク“０”に置換されている。

メディアンフィルタ検出回路８は、図２及び図３に示される通り、５画素の中に欠陥画素が含まれていない場合、通常のメディアンフィルタと同様に、中央値をメディアン値１８として検出する回路構成となっている。中央値とは、５画素分のＣＣＤデータの値の中央値であり、値の大きい方から３番目の画素のＣＣＤデータの値である。

５画素のうちの１画素だけが欠陥画素である場合は、傷マーク“０”が最小値となる。メディアンフィルタ検出回路８は、メディアン値１８を検出する際に傷マークを除外した残りのＣＣＤデータからメディアン値１８を検出するが、この場合には、通常のメディアンフィルタと同様に、メディアン値１８として中央値を検出する回路構成となっている。

５画素のうちの２画素が欠陥画素である場合は、図２の通り、大小比較器１３による大小比較を行っている途中で、第１一致回路１４にて予め設定しておいた値“０”と比較対象となるＣＣＤデータとを比較し、値が一致する場合に第１セレクタ１６が切り替わる。メディアンフィルタ検出回路８は、２個の傷マークを除外した残り３個のＣＣＤデータからメディアン値１８を検出するため、図３に示されるように、大きい方から２番目のＣＣＤデータをメディアン値１８として検出する。

５画素のうちの３画素が欠陥画素である場合は、図２の通り、第１一致回路１４とは別に設けられた第２一致回路１５により、予め設定しておいた値“０”と比較対象となるＣＣＤデータとを比較し、値が一致する場合に第２セレクタ１７が切り替わる。これにより、メディアンフィルタ検出回路８は、３個の傷マークを除外した残り２個のＣＣＤデータのうち、大きな値を有するＣＣＤデータをメディアン値１８として検出する。

５画素のうちの４画素が欠陥画素である場合は、４個の傷マークを除外した残り１個のＣＣＤデータ（結果的に、最も大きな値のＣＣＤデータ）が、メディアン値１８として検出される。なお、５画素の全てが欠陥画素である場合は、メディアン値が”０”の値になってしまうため、これに対する処理手段として、メディアンフィルタ検出回路８の後段にメディアン値を補正して新たなメディアン値を生成する補正回路を設けてもよい。

このように、メディアンフィルタ検出回路８では、５画素分のＣＣＤデータに含まれる傷マークの個数に応じて、全てのＣＣＤデータからメディアン値１８を検出する際の中心位置を切り替える。また、傷マークを除外した残りのＣＣＤデータのいずれをメディアン値１８として検出するかは、上記の例に限定されるものではない。

本実施形態に係る信号処理装置では、上記の通り、メディアンフィルタ検出回路８を構成するＴＡＰ数内で、傷マークの数に応じて切り替え可能な第１セレクタ１６及び第２セレクタ１７を設けている。こうして、出力されるメディアン値１８を常に中央値とするのではなく、画素の状態に応じてより精度の高いメディアン値１８が検出される構成となっている。この検出結果を利用すれば、ＴＡＰ数分の一致回路とセレクタを必要とせず、切り替えたいメディアン値１８の出力場所にのみ一致回路とセレクタを設置すればよいため、回路構成の複雑化と大型化を回避することができる。

また、本実施形態に係る信号処理装置では、欠陥画素検出処理回路５において欠陥画素のＣＣＤデータを特定値の“０”に置換して傷マークとすることで、正常な画素と欠陥画素とが区別されるようにした。しかし、欠陥画素のＣＣＤデータを置換する特定値は“０”に限定されるものではない。例えば、欠陥画素のＣＣＤデータをＣＣＤデータの最大値に置き換えて傷マークとしてもよく、その場合でも、切り替えたいメディアン値１８の出力場所に一致回路とセレクタを設置すればよい。

メディアンフィルタ補正回路１０は、メディアンフィルタ検出回路８が検出したメディアン値１８と傷マークとを比較し、メディアン値１８と傷マークの差分が一定値を超えたときに、傷マークをメディアン値１８に置換する。これにより、欠陥画素の補正とノイズ除去とが可能になり、しかも、メディアンフィルタ補正回路１０をＬＳＩへ実装することができるため、信号処理装置の回路規模を小さくすることができるようになる。

図４は、信号処理装置における欠陥画素補正処理とノイズ除去処理のフローチャートである。最初に、マイクロコンピュータ９を通して欠陥画素のアドレスが保存されているＥＥＰＲＯＭ１１から欠陥画素のアドレスが取り込まれ、一時記憶レジスタ群７に保存される（ステップＳ４０１）。続いて、撮像素子であるＣＣＤからのアナログ電気信号をＡ／Ｄ変換したＣＣＤデータが信号処理装置に入力される（ステップＳ４０２）。そして、ＣＣＤデータと同期した走査位置信号に基づいてアドレスカウンタ３がカウントするカウンタ信号と欠陥画素のアドレスとが一致するか否かが判定される（ステップＳ４０３）。

一致する場合（Ｓ４０３で“ＹＥＳ”）、一致したカウンタ信号に対応するＣＣＤデータが傷マークに置換される（ステップＳ４０４）。また、マイクロコンピュータ９を通してＥＥＰＲＯＭ１１から次の欠陥画素のアドレスが一時記憶レジスタ群７に保存される（ステップＳ４０５）。一致しない場合（Ｓ４０３で“ＮＯ”）と、ステップＳ４０５の終了後に、処理はステップＳ４０６へ進められる。

ステップＳ４０６では、傷マークを含むＣＣＤデータがメディアンフィルタ検出回路８に入力され、メディアン値１８が検出され。傷マークを含むＣＣＤデータとメディアンフィルタ検出回路８で検出されたメディアン値１８はメディアンフィルタ補正回路１０に入力され、欠陥画素補正とノイズ除去が行われる（ステップＳ４０７）。

以上の通り、本発明に係る信号処理装置では、欠陥画素のみを補正する特殊な欠陥画素補正回路を必要とせず、欠陥画素とノイズの両方の除去が可能になる。また、メディアンフィルタ検出回路８における参照画素の数を水平走査線上のｎ個（図２，３では５個）とするため、複数の走査線（ライン）のデータを記憶する記憶回路を必要としない。更に、ｎ個の参照画素の中に複数の欠陥画素が含まれていても、精度の高いメディアン値を検出して出力することができる。このように本発明に係る信号処理装置は、欠陥画素補正回路の削減、走査線（ライン）のデータ記憶のための記憶回路の削減効果を奏し、且つ、ＡＳＩＣのＬＳＩ等に容易に実装することができるという効果を奏する。

＜他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介して信号処理装置に供給し、その信号処理装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

３ アドレスカウンタ
４ 制御部
５ 欠陥画素検出処理回路
６ アドレス比較部
７ 一時記憶レジスタ群
８ メディアンフィルタ検出回路
９ マイクロコンピュータ
１０ メディアンフィルタ補正回路
１１ ＥＥＰＲＯＭ
１２ フリップフロップ
１３ 大小比較器
１４ 第１一致回路
１５ 第２一致回路
１６ 第１セレクタ
１７ 第２セレクタ
１８ メディアン値

Claims (3)

1. 撮像素子に含まれる欠陥画素のアドレスを記憶したメモリと、
   前記撮像素子の走査位置信号に同期して前記撮像素子を構成する画素のアドレスをカウントする計数回路と、
   前記計数回路によりカウントされた画素のアドレスが前記メモリに記憶された前記欠陥画素のアドレスと一致する場合に、前記撮像素子からの出力データのうち前記欠陥画素に対応する出力データを特定値に置換する置換回路と、
   前記撮像素子を構成する画素からの各出力データを予め定められた数の複数の出力データごとにメディアンフィルタ処理してメディアン値を出力する出力回路と、を備え、
   前記特定値は、前記予め定められた数の複数の出力データごとにメディアンフィルタ処理された場合に最小値となる値であり、
   前記出力回路は、前記予め定められた数の複数の出力データを、値の大きさの順に並び替える比較回路、前記比較回路による並び替えによって所定の順となった出力データと前記特定値が一致するか否かを判定する判定回路、および、前記判定回路での判定結果に基づいて、前記比較回路によって並び替えられた出力データのうち、メディアン値として出力する出力データを切り替える切り替え回路を有することを特徴とする信号処理装置。
2. 前記判定回路は、第１の判定回路と第２の判定回路を含み、
   前記切り替え回路は、第１の切り替え回路と第２の切り替え回路を含み、
   前記第１の判定回路は、前記比較回路による並び替えによって第５の順となった出力データと前記特定値が一致するか否かを判定し、
   前記第２の判定回路は、前記比較回路による並び替えによって前記第５の順よりも大きな値である第４の順となった出力データと前記特定値が一致するか否かを判定し、
   前記第１の切り替え回路は、前記第１の判定回路によって前記第５の順となった出力データと前記特定値が一致すると判定した場合に、前記比較回路による並び替えによって第２の順となった出力データを出力し、一致しないと判定した場合に、前記比較回路による並び替えによって前記第２の順よりも小さな値である第３の順となった出力データを出力し、
   前記第２の切り替え回路は、前記第２の判定回路によって前記第４の順となった出力データと前記特定値が一致すると判定した場合に、前記比較回路による並び替えによって前記第２の順よりも大きな値である第１の順となった出力データを出力し、一致しないと判定した場合に、前記第１の切り替え回路によって出力された出力データを出力することを特徴とする請求項１に記載の信号処理装置。
3. 前記予め定められた数は５であり、
   前記第３の順の出力データと前記第４の順の出力データは、同じ出力データであることを特徴とする請求項２に記載の信号処理装置。

Images