JP4949766B2

JP4949766B2 - 画像信号処理装置

Info

Publication number: JP4949766B2
Application number: JP2006216586A
Authority: JP
Inventors: 俊朗中莖
Original assignee: On Semiconductor Trading Ltd
Current assignee: On Semiconductor Trading Ltd
Priority date: 2006-08-09
Filing date: 2006-08-09
Publication date: 2012-06-13
Anticipated expiration: 2026-08-09
Also published as: US20080036885A1; JP2008042707A; US7940314B2

Description

本発明は、撮像素子により生成された画像信号が有する画素欠陥等のノイズを抑制する処理を行う画像信号処理装置に関する。

デジタルカメラ等の撮像装置は、ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサ等の固体撮像素子を用いて画像信号を生成する。固体撮像素子は高画素化のため画素サイズの縮小が図られており、難しい製造プロセスを必要とする。そのような背景から、撮像装置に用いられる固体撮像素子において画素欠陥は皆無ではない。画素欠陥には、入射光に対し信号電荷を発生しない黒点画素と、暗電流等により過剰な信号電荷を発生する白点画素とがあり、それぞれ画面上にて黒点、白点として現れる画面ノイズとなる。この画素欠陥は画像信号処理による補正を行うことにより目立たなくすることができ、これにより画質の確保が図られる。

また、固体撮像素子を形成する半導体基板の格子欠陥等により生じる暗電流ノイズも主要な画面ノイズの一つであり、ランダムに発生する暗電流ショットノイズが画質のざらつきをもたらす。この暗電流ノイズについても画像信号処理装置にて除去が図られており、その除去を好適に行うために各種の処理方法が提案されている。

図５は従来の画像信号処理装置の構成を示すブロック図であり、撮像素子２から出力された画像信号に基づいて、画素欠陥補正、ノイズ抑制及び輪郭補正が行われた画像データを生成する。例えば、撮像素子２はＣＣＤイメージセンサであり、撮像素子２から出力される画像信号は、アナログ信号処理回路４にてサンプルホールド等の処理を行われた後、Ａ／Ｄ変換回路６によりデジタルデータである画像データに変換される。デジタル信号処理回路８はＡ／Ｄ変換回路６から画像データを取り込み、各種の処理を行う。

デジタル信号処理回路８は、欠陥補正処理部１０、ノイズ抑制処理部１２及びＹＣ処理部１４を含んで構成される。欠陥補正処理部１０は、上述の画素欠陥を補正する処理を行う。欠陥補正処理部１０は例えば、注目する画素の画素値が極端に小さい値である場合を黒点と判断し、また、極端に大きい値である場合を白点と判断し、当該注目画素の画素値を周囲の画素値に基づいて求めた補正値で置き換える処理を行う。

ノイズ抑制処理部１２は、上述の暗電流ノイズ等による画面のざらつきを抑制する処理を行う。ノイズ抑制処理部１２は例えば、メディアンフィルタ(median filter)やミーンフィルタ（mean filter）などの種類の二次元フィルタを構成し、画素毎にばらつくノイズ成分を軽減・除去する。また、暗電流の影響を受ける画素範囲は、露光時間や温度の増加に応じて広がるという性質がある。このようなノイズの発生領域が広がり得ることに対応したノイズ抑制回路として、下記特許文献１に提案する画像信号処理装置がある。

ＹＣ処理部１４は、欠陥補正処理部１０やノイズ抑制処理部１２でのノイズ除去処理を施された後の画像データを入力され、当該画像データに基づいてガンマ補正処理、輪郭補正処理を行い、輝度信号Ｙを生成する。またＹＣ処理部１４は、入力されたノイズ除去後の画像データに基づいてクロマ処理を行い、色差信号Ｕ，Ｖを生成する。
特開２００６−１３９４８号公報

従来のＹＣ処理部１４で行われる輪郭補正処理、輝度信号Ｙの生成処理、色差信号Ｕ，Ｖといった色信号の生成処理は、欠陥補正処理部１０やノイズ抑制処理部１２にてノイズ除去処理を施された後の画像データを用いて行われる。すなわち、従来の構成では、ＹＣ処理部１４での上記各処理はいずれも、ノイズ除去レベルが同じ画像信号（画像データ）に基づいて行われる。ノイズ除去レベルを高く設定すればノイズ除去の効果は高まるが、その一方で、ノイズ以外の画素値の空間的変化も平滑化され損なわれる可能性が高まる。そのため、従来は、ノイズ除去レベルを上げると、画像の解像度が劣化したり、輪郭補正が好適になされずエッジの乱れが生じるといった問題があった。

本発明は上記問題点を解決するためになされたものであり、ノイズ除去を好適に行いつつ、好適な解像度維持や輪郭補正を可能とする画像信号処理装置を提供することを目的とする。

本発明に係る画像信号処理装置は、撮像素子により生成された原画像信号に対しノイズ除去処理を行って、少なくとも第１ノイズ除去画像信号及び第２ノイズ除去画像信号を含む、ノイズ除去レベルが互いに異なる複数種類のノイズ除去画像信号を生成するノイズ除去処理部と、前記第１ノイズ除去画像信号に基づいて、画像の輝度に応じた輝度信号を生成する輝度処理部と、前記第１ノイズ除去画像信号より前記ノイズ除去レベルが高い前記第２ノイズ除去画像信号に基づいて、前記画像の色に応じた色信号を生成する色処理部と、を有するものである。この構成において、前記ノイズ除去処理部が、さらに第３ノイズ除去画像信号を生成し、当該画像信号処理装置が、さらに、前記第１ノイズ除去画像信号より前記ノイズ除去レベルが低い前記第３ノイズ除去画像信号に基づいて、前記画像の輪郭に応じた輪郭補正信号を生成する輪郭処理部を有する構成とすることができる。

前記ノイズ除去処理は、前記撮像素子の画素欠陥に対応した欠陥補正処理を含むことができ、前記各ノイズ除去画像信号それぞれの欠陥補正レベルは、前記ノイズ除去レベルに応じた強弱関係に設定される。

前記ノイズ除去処理部は、前記複数種類のノイズ除去画像信号のうち少なくとも１種類についての前記ノイズ除去レベルを制御可能とした構成とすることができる。

本発明に係る他の画像信号処理装置は、撮像素子により生成された原画像信号に対し第１の欠陥補正処理を含むノイズ除去処理を行って、第１ノイズ除去画像信号を生成する第１ノイズ除去処理部と、前記原画像信号に対し、前記第１の欠陥補正処理よりも強い第２の欠陥補正処理を含むノイズ除去処理を行って、第２ノイズ除去画像信号を生成する第２ノイズ除去処理部と、前記第１ノイズ除去画像信号に基づいて、画像の輝度に応じた輝度信号を生成する輝度処理部と、前記第２ノイズ除去画像信号に基づいて、前記画像の色に応じた色信号を生成する色処理部と、を有するものである。この構成において、さらに、前記原画像信号に対し、前記第１の欠陥補正処理よりも弱い第３の欠陥補正処理を含むノイズ除去処理を行って、第３ノイズ除去画像信号を生成する第３ノイズ除去処理部と、前記第３ノイズ除去画像信号に基づいて、前記画像の輪郭に応じた輪郭補正信号を生成する輪郭処理部と、を備えることもできる。

前記各欠陥補正処理は、注目画素が欠陥画素である場合に、当該注目画素の周囲の参照画素に基づいて当該注目画素の補正画素値を生成するものであり、前記第１の欠陥補正処理は、前記参照画素に含まれる前記欠陥画素がｋ_１個（ｋ_１≧１である）以下である場合に、前記補正画素値を生成し、前記第２の欠陥補正処理は、前記参照画素に含まれる前記欠陥画素がｋ_２個（ｋ_２＞ｋ_１である）以下である場合に、前記補正画素値を生成し、前記第３の欠陥補正処理は、前記参照画素に含まれる前記欠陥画素がｋ_３個（ｋ_３＜ｋ_１である）以下である場合に、前記補正画素値を生成するように構成することができる。

また、前記第１乃至第３ノイズ除去処理部のうち少なくとも１つは、欠陥補正レベルを制御可能とした構成とすることができる。

本画像信号処理装置はさらに、前記原画像信号を取得する際の前記撮像素子での露光制御に応じて、欠陥補正レベルについての制御信号を生成する制御部を有する構成として、複数の前記ノイズ除去処理部のうち少なくとも１つが、前記撮像素子の画素欠陥のうち過剰に信号電荷を発生する白点画素に対する前記欠陥補正レベルを前記制御信号に基づいて制御可能とした構成とすることができる。

本発明によれば、輝度処理部、輪郭処理部、色処理部に入力される画像信号は互いに異なるレベルのノイズ除去処理又は欠陥補正処理を施される。輝度信号は解像度に与える影響が大きく、これに比べて、色信号は解像度に与える影響は小さい。この点で、輝度処理部に入力される画像信号は、色処理部に入力される画像信号よりもノイズ除去よりもノイズ除去のレベルを低く抑えることが好適である。輪郭補正処理は、画像の輪郭（エッジ）部分にて、隣接する画素間の値の差が大きくなることを利用する。この点で、輪郭処理部に入力される画像信号は、輝度処理部に入力される画像信号よりもノイズ除去のレベルを低く抑えることが好適である。そこで、本発明では、輪郭処理部、輝度処理部、色処理部の順に、それぞれに入力される画像信号のノイズ除去のレベルが高くなるように設定し、これにより、解像度、輪郭補正、ノイズ除去のそれぞれを好適な状態とすることが可能である。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

図１は、本発明の実施形態である画像信号処理装置の構成を示す概略のブロック図であり、撮像素子２０から出力された画像信号に基づいて、画素欠陥補正、ノイズ抑制及び輪郭補正が行われた画像データを生成する。ここでは撮像素子２０はＣＣＤイメージセンサであり、撮像素子２０から出力される画像信号Ｙ0(t)は、アナログ信号処理回路２２に入力される。アナログ信号処理回路２２は、サンプルホールド、自動利得制御（ＡＧＣ：Auto Gain Control）等の処理を画像信号Ｙ0(t)に施し、所定のフォーマットに従う画像信号Ｙ1(t)を生成する。Ａ／Ｄ変換回路２４はアナログ信号処理回路２２から出力される画像信号Ｙ1(t)をデジタルデータに変換して、画像データＤ0(n)を出力する。デジタル信号処理回路２６はＡ／Ｄ変換回路２４から画像データＤ0(n)を取り込み、各種の処理を行う。

デジタル信号処理回路２６は、ノイズ除去処理部３０、ＹＣ処理部３２及び制御部３４を含み、ＹＣ処理部３２は、輝度処理部３６、輪郭処理部３８及び色処理部４０を含んで構成される。ノイズ除去処理部３０は、それぞれ輝度処理部３６、色処理部４０及び輪郭処理部３８に対応して設けられた第１〜第３ノイズ除去処理部３０ａ〜３０ｃからなる。

第１ノイズ除去処理部３０ａは欠陥補正処理部４２ａ及びノイズ抑制処理部４４ａを含んで構成される。同様に、第２ノイズ除去処理部３０ｂは欠陥補正処理部４２ｂ及びノイズ抑制処理部４４ｂを含み、第３ノイズ除去処理部３０ｃは欠陥補正処理部４２ｃ及びノイズ抑制処理部４４ｃを含んで構成される。例えば、第１〜第３ノイズ除去処理部３０ａ〜３０ｃにはそれぞれ画像データＤ0(n)が入力される。画像データＤ0(n)は第１〜第３ノイズ除去処理部３０ａ〜３０ｃそれぞれにて、例えば、欠陥補正処理部４２ａ〜４２ｃにより欠陥補正処理を施され、その後、ノイズ抑制処理部４４ａ〜４４ｃによりノイズ抑制処理を施され、第１〜第３ノイズ除去処理部３０ａ〜３０ｃそれぞれから出力される。

第１〜第３ノイズ除去処理部３０ａ〜３０ｃは、図１では共通のブロック構成で表されているが、欠陥補正処理部で行う具体的な処理内容又はノイズ抑制処理部で行う具体的な処理内容に差を設けることによって、それぞれのノイズ除去レベルは互いに相違する。具体的には、第２ノイズ除去処理部３０ｂは第１ノイズ除去処理部３０ａよりもノイズ除去レベルを高く設定され、一方、第３ノイズ除去処理部３０ｃは第１ノイズ除去処理部３０ａよりもノイズ除去レベルを低く設定される。

図２は、欠陥補正処理部４２ａの概略の構成を説明するブロック図である。欠陥補正処理部４２ｂ，４２ｃも基本的に欠陥補正処理部４２ａと同様のブロック構成を有する。各欠陥補正処理部４２ａ〜４２ｃは欠陥補正回路５０ａ〜５０ｃ及び混合回路５２ａ〜５２ｃを含んで構成される。画像データＤ0(n)は欠陥補正回路５０ａ〜５０ｃと混合回路５２ａ〜５２ｃとに入力される。

各欠陥補正回路５０ａ〜５０ｃは、黒点、白点それぞれの画素欠陥を補正する処理を行う。各欠陥補正回路５０ａ〜５０ｃは、例えば、後述するように、近傍の画素と比べて極端に小さな値を有する画素を黒点と判断し、逆に極端に大きな値を有する画素を白点と判断する。注目する画素が欠陥画素であると判断された場合には、その注目画素の周囲の画素を参照して定めた値で注目画素の画素値を置き換える。

図３は、欠陥補正処理に用いられる画像領域（以下、窓と称する）での画像データの配置及び参照画素の位置の一例を示す模式図である。例えば、窓は垂直５画素×水平５画素に設定される。図中のＲ，Ｇ，Ｂは各画素に対応付けられる色を表しており、それぞれ赤、緑、青を意味する。色の配列は撮像素子２０に搭載されるカラーフィルタに対応しており、ここではベイヤー配列である。例えば、注目画素が図３に示す窓の中央のＧ画素（記号Ｇを二重丸“◎”で囲んだ画素）とすると、欠陥補正に際して参照の対象とする周囲の画素（参照画素）は、注目画素と同じ色であって、上下左右及び４つの対角方向に位置する最寄りの合計８個の画素とすることができる。図３において参照画素は記号Ｇを丸“○”で囲んだ画素である。

欠陥補正回路５０ａ〜５０ｃは、８個の参照画素の全部又は一部の画素値の平均値などを、注目画素の補正画素値として定めることができる。この画素値の定め方には各種の方式が提案されている。

なお、欠陥補正回路５０ａ〜５０ｃでは、複数行に跨って存在する参照画素を用いて演算処理を行う。この演算処理のため、デジタル信号処理回路２６は、１行ずつ順次入力される画像データＤ0(n)を例えば、窓に相当する行数分保持するラインメモリ群を備える構成とすることができる。欠陥補正回路５０ａ〜５０ｃは、ラインメモリ群に保持された５行分の画像領域にて、窓を水平方向に１画素ずつ移動させながら、窓の中央に位置する注目画素について欠陥画素か否かの判断と、欠陥画素である場合の補正処理とを行う。ラインメモリ群に保持された画像データは例えば、１行分の処理が終わる毎にＦＩＦＯ方式で入れ換えて、順次、新たな行についての処理が行われる。

欠陥補正処理部４２ａ〜４２ｃにおける欠陥補正レベルは、上述した第１〜第３ノイズ除去処理部３０ａ〜３０ｃのノイズ除去レベルの相違に対応した強弱を設定される。これに対応して、欠陥補正回路５０ｂは欠陥補正回路５０ａよりも欠陥補正レベルが高い構成とされ、一方、欠陥補正回路５０ｃは欠陥補正回路５０ａよりも欠陥補正レベルが低い構成とされる。

欠陥補正レベルの差異は、例えば、欠陥補正処理が対応できる欠陥画素の密度に基づいて定めることができる。例えば、欠陥補正回路５０ａ〜５０ｃのうち最も欠陥補正レベルが低い欠陥補正回路５０ｃは、８個の参照画素がいずれも欠陥画素でない場合にのみ、欠陥画素である注目画素を補正画素値で置き換える補正を行い、参照画素のいずれかが欠陥画素である場合には、注目画素の補正を行わないように構成される。欠陥補正レベルが２番目である欠陥補正回路５０ａは、例えば、８個の参照画素に１個以下の欠陥画素が存在する場合に、注目画素の欠陥補正を行い、参照画素に２個以上の欠陥画素が存在する場合には、注目画素の欠陥補正を行わないように構成される。また、欠陥補正回路５０ａ〜５０ｃのうち最も欠陥補正レベルが高い欠陥補正回路５０ｂは、例えば、８個の参照画素に２個以下の欠陥画素が存在する場合に、注目画素の欠陥補正を行い、参照画素に３個以上の欠陥画素が存在する場合には、注目画素の欠陥補正を行わないように構成される。

ここで、注目画素の画素値をＰ_Ｔ、８個の参照画素の画素値を大きい順にＰ_１，Ｐ_２，…，Ｐ_８と表す。欠陥補正回路５０ｃは、Ｐ_Ｔが次式を満たす場合に、注目画素が白点であると判断する。なお、ｇ_Ｗはパラメータである。
Ｐ_Ｔ≧Ｐ_１＋（Ｐ_１−Ｐ_８）・ｇ_Ｗ …（１）

また、欠陥補正回路５０ｃは、Ｐ_Ｔが次式を満たす場合に、注目画素が黒点であると判断する。なお、ｇ_Ｂはパラメータである。
Ｐ_Ｔ≦Ｐ_８−（Ｐ_１−Ｐ_８）・ｇ_Ｂ …（２）

（１）（２）式を用いた判定により欠陥補正回路５０ｃは、参照画素に欠陥画素がなく注目画素単独の画素欠陥である場合を検知し、注目画素に対して欠陥補正を行って、欠陥補正処理された画像データＤ3を出力する。

欠陥補正回路５０ａは、Ｐ_Ｔが次の（３）式を満たす場合に注目画素が白点であり、またＰ_Ｔが（４）式を満たす場合に注目画素が黒点であると判断するように構成される。
Ｐ_Ｔ≧Ｐ_２＋（Ｐ_２−Ｐ_８）・ｇ_Ｗ …（３）
Ｐ_Ｔ≦Ｐ_７−（Ｐ_１−Ｐ_７）・ｇ_Ｂ …（４）

（３）（４）式を用いた判定により欠陥補正回路５０ａは、注目画素及び１個以下の参照画素が欠陥画素である場合を検知し、注目画素に対して欠陥補正を行って、欠陥補正処理された画像データＤ1を出力する。

同様に、欠陥補正回路５０ｂは、Ｐ_Ｔが次の（５）式を満たす場合に注目画素が白点であり、またＰ_Ｔが（６）式を満たす場合に注目画素が黒点であると判断するように構成される。
Ｐ_Ｔ≧Ｐ_３＋（Ｐ_３−Ｐ_８）・ｇ_Ｗ …（５）
Ｐ_Ｔ≦Ｐ_６−（Ｐ_１−Ｐ_６）・ｇ_Ｂ …（６）

（５）（６）式を用いた判定により欠陥補正回路５０ｂは、注目画素及び２個以下の参照画素が欠陥画素である場合を検知し、注目画素に対して欠陥補正を行って、欠陥補正処理された画像データＤ2を出力する。

混合回路５２ａ〜５２ｃは、欠陥補正処理を施されない画像データＤ0と、欠陥補正回路５０ａ〜５０ｃから出力される欠陥補正処理を施された画像データＤ1〜Ｄ3とを入力され、それらを混合して出力する。なお、混合に際しては、互いに同じ画素の画像データが混合されるように同期が取られる。

混合回路５２ａ〜５２ｃは、２つの入力の混合比率を可変に構成され、その混合比率は制御部３４からの制御信号CNT1により制御される。混合回路５２ａ〜５２ｃで混合され生成される画像データＤa1〜Ｄa3は次式で表される。ここで、ξ_Ｄ１〜ξ_Ｄ３はそれぞれＤa1〜Ｄa3に占めるＤ1〜Ｄ3の成分比率であり、混合比率を表すパラメータとして用いている。
Ｄa1＝ξ_Ｄ１・Ｄ1＋（１−ξ_Ｄ１）・Ｄ0 …（７）
Ｄa2＝ξ_Ｄ２・Ｄ2＋（１−ξ_Ｄ２）・Ｄ0 …（８）
Ｄa3＝ξ_Ｄ３・Ｄ3＋（１−ξ_Ｄ３）・Ｄ0 …（９）

比率ξ_Ｄ１〜ξ_Ｄ３は互いに独立に変更可能に構成することができる。また、白点の補正と黒点の補正とで別々の混合比率を用いて処理を行うように構成することができる。例えば、混合比率は、制御部３４が画質調整等のためにユーザ指示に基づいて変更することができる。また、白点は暗電流の影響を受けて増減する。例えば、暗電流の影響は撮像素子２０の露光条件に応じて変化する。そこで、制御部３４は露光条件に連動して混合比率を制御することで、白点の補正による画質の改善と、解像度等の他の特性での画質の改善との調整を図ることができる。

ちなみに、撮像素子２０に対する露光制御は、低照度の状況に対応して画像を明るくするために、例えば、まず露光時間が伸張され、露光時間が上限に達すると次に自動利得制御（ＡＧＣ：Auto Gain Control）によるアナログ的なゲインを増加させる制御が行われ、そのゲインが上限に達すると、自動デジタルゲイン制御（ＡＤＧ：Auto Digital Gain control）のゲインを増加させる制御が行われる。制御部３４は、これら露光時間や各ゲインに基づき、露光制御が現在どの状態にあるかに応じて比率ξ_Ｄ１〜ξ_Ｄ３をそれぞれ変化させる。例えば、露光制御が画像を明るくする側にシフトするほど暗電流は増加しやすいため、制御部３４は比率ξ_Ｄ１を連続的に、又は段階的に増加させる。これにより、低照度での露光条件下で増加し得る白点を好適に補正することができる。一方、高照度下の撮影では比率ξ_Ｄ１を低く設定し、白点補正を控えめにして解像度の確保を図ることができる。

欠陥補正処理部４２ａは、混合回路５２ａから画像データＤa1を出力し、この画像データＤa1はノイズ抑制処理部４４ａに入力される。同様に、欠陥補正処理部４２ｂが混合回路５２ｂから出力する画像データＤa2は、ノイズ抑制処理部４４ｂに入力され、欠陥補正処理部４２ｃが混合回路５２ｃから出力する画像データＤa3は、ノイズ抑制処理部４４ｃに入力される。

各ノイズ抑制処理部４４ａ〜４４ｃは、画像信号に含まれる暗電流ショットノイズなどのランダムノイズを抑制する処理を行う。上述した第１〜第３ノイズ除去処理部３０ａ〜３０ｃのノイズ除去レベルの相違は、ノイズ抑制処理部４４ａ〜４４ｃにおけるノイズ抑制のレベルの相違によって実現することもできる。ノイズ抑制処理部４４ａ〜４４ｃは例えば、低域通過フィルタ（ＬＰＦ）をランダムノイズの除去・抑制手段として備えた構成とすることができる。この構成において、ＬＰＦのカットオフ周波数によりランダムノイズの抑制レベルを変えることができる。具体的には、ノイズ抑制処理部４４ｂはノイズ抑制処理部４４ａよりＬＰＦのカットオフ周波数を低く設定することにより、ノイズの抑制レベルを高く設定することができ、一方、ノイズ抑制処理部４４ａでは解像度の確保が図られる。また、ノイズ抑制処理部４４ｃはノイズ抑制処理部４４ａよりＬＰＦのカットオフ周波数を高く設定することにより、ノイズの抑制レベルを低くする代わりに輪郭抽出が好適に行われ得る。

また、ノイズ抑制処理部４４ａ〜４４ｃは、以下に説明する二次元フィルタ処理を行う回路を用いてランダムノイズの抑制を図ることができる。図４は、当該二次元フィルタ（以下、ノイズ除去フィルタと称する）の処理に用いられる画像領域（以下、窓と称する）での画像データの配置と、注目画素及び参照画素の位置の一例を示す模式図であり、表記方法は図３と基本的に同様である。例えば、窓は垂直５画素×水平５画素である。例えば、注目画素の上下左右に合計４個の参照画素が設定される。

ノイズ除去フィルタは、注目画素及び４画素の参照画素からなる合計５画素のうち画素値が大きい順序での上位α画素を無視し、残りの画素の画素値の平均値を求めて、当該平均値を変換画素値として注目画素に割り付ける。このノイズ除去フィルタでは、無視する画素の個数αが多いほどノイズの除去効果が高くなる。そこで、例えば、ノイズ抑制処理部４４ｂではαを３、ノイズ抑制処理部４４ａではαを２、ノイズ抑制処理部４４ｃではαを１にそれぞれ設定することで、上述した第１〜第３ノイズ除去処理部３０ａ〜３０ｃのノイズ除去レベルの相違に応じたランダムノイズの抑制レベルを実現することができる。

ノイズ抑制処理部４４ａ〜４４ｃは、上述のようなＬＰＦやノイズ除去フィルタにより、それぞれ入力された画像データＤa1〜Ｄa3から暗電流ショットノイズ等を除去・低減した画像データＤb1〜Ｄb3をそれぞれ生成することができる。ノイズ抑制処理部４４ａ〜４４ｃは、欠陥補正処理部４２ａ〜４２ｃと同様に、混合回路を備え、入力画像データＤa1〜Ｄa3とノイズ除去処理を施した画像データＤb1〜Ｄb3とを制御部３４からの制御信号CNT2に応じて可変比率で混合して出力する構成とすることができる。混合比率は欠陥補正処理部４２ａ等の場合と同様に、露光条件に応じて制御することができる。例えば、露光時間が長く設定され暗電流ノイズが増加し得る場合に、Ｄb1の比率を高めることで、暗電流ノイズを好適に除去することが可能となる。

ノイズ抑制処理部４４ａは、混合回路から画像データＤc1を出力し、この画像データＤc1は輝度処理部３６に入力される。同様に、ノイズ抑制処理部４４ｂが混合回路から出力する画像データＤc2は、色処理部４０に入力され、ノイズ抑制処理部４４ｃが混合回路から出力する画像データＤc3は、輪郭処理部３８に入力される。

撮像素子２０のＲ画素、Ｇ画素、Ｂ画素相互間にはカラーフィルタの特性等に起因した感度の相違が存在し、同じ輝度の対象物であってもＲ，Ｇ，Ｂそれぞれの画素の出力レベルに差が生じる。このレベル差はカラーフィルタの配列周期に応じた周期的な画像信号のレベル変動を生じ、折り返しノイズとなって解像度劣化の要因や、画像の輪郭を乱してモアレを発生させる要因となる。そこで、輝度処理部３６、輪郭処理部３８は、それぞれ入力された画像データＤc1，Ｄc3に対して、画面全体で平均的にＲＧＢのレベルをバランスさせる処理を行う。

ちなみに、輝度処理部３６、輪郭処理部３８はＬＰＦとして、ナイキスト周波数ｆ_Ｎにトラップを有するフィルタを備える。また、撮像素子２０への入射光に対しては、ｆ_Ｎよりやや高い位置にカットオフ周波数を有する光学フィルタが設けられる。これらＬＰＦ及び光学フィルタにより、折り返しノイズとなるｆ_Ｎ以上の周波数成分の大半は除去されるが、ｆ_Ｎ近傍に折り返しノイズが残存し得る。上述のＲＧＢのレベルをバランスさせる処理は、この残存する折り返しノイズを除去・低減させる。

輝度処理部３６はこのバランス処理の後、画像データに対してガンマ補正等の処理を行い、画像の輝度に応じた輝度信号を生成し出力する。輪郭処理部３８は、上記バランス処理の後、画像信号の二次微分波形に応じた輪郭補正信号を生成する処理を行う。輪郭処理部３８から出力される輪郭補正信号は加算合成回路６０にて、輝度処理部３６から出力される輝度信号に加算合成され、加算合成回路６０は、輪郭補正の施された輝度信号Ｙを出力する。

色処理部４０は、入力された画像データに対して色分離処理を行って、Ｒ，Ｇ，Ｂ各画像信号を生成し、これらＲ，Ｇ，Ｂ信号に対しホワイトバランス処理を行う。さらに色処理部４０はホワイトバランス処理を行ったＲ，Ｇ，Ｂ信号に対して色差マトリクス演算を行って色差信号Ｕ，Ｖを生成し出力する。

なお、上述の構成では、例えば、欠陥補正処理部４２ａの混合回路５２ａの一方入力は、欠陥補正処理を施さない画像データＤ0としたが、欠陥補正処理部４２ａに欠陥補正レベルの異なる複数の欠陥補正回路を設け、それらの出力を混合回路５２ａで混合する構成とすることもできる。

また、欠陥補正回路５０ａ〜５０ｃが対応可能な参照画素中の欠陥画素数ｋ_１〜ｋ_３は、上述の構成ではｋ_１＝１、ｋ_２＝２、ｋ_３＝０としたが、ｋ_３＜ｋ_１＜ｋ_２なる関係を満たす他の値とすることもできる。

一方、欠陥補正回路５０ａ〜５０ｃの欠陥補正レベルが同一であっても、混合回路５２ａ〜５２ｃの混合比率を相違させることによって、欠陥補正処理部４２ａ〜４２ｃの欠陥補正レベルに差を設ける構成も可能である。さらに、この構成は、欠陥補正回路を３つのノイズ除去処理部３０ａ〜３０ｃで共用する構成に簡素化することもできる。すなわち、ノイズ除去処理部３０の欠陥補正処理に係る部分を、１つの欠陥補正回路及び３つの混合回路５２ａ〜５２ｃで構成することができる。混合回路５２ａ〜５２ｃは、いずれも画像データＤ0と共通の欠陥補正回路からの画像データとを入力される一方、混合比率を相違するように設定することで、各混合回路５２ａ〜５２ｃから欠陥補正レベルが互いに異なる画像データを得ることができる。

また、（１）〜（６）式のｇ_Ｗ及びｇ_Ｂの値を変えることによっても、欠陥補正レベルが異なる画像データを得ることができる。

上述のように混合回路５２ａ〜５２ｃを用いる構成では、露光時間等に応じて欠陥補正レベルを可変制御することが容易である。その一方で、可変制御が不要である場合には、混合回路を用いずに、欠陥補正処理部４２ａ〜４２ｃを単に欠陥補正レベルが異なる欠陥補正回路５０ａ〜５０ｃからなる構成として、回路の簡素化を図ることができる。

また、以上述べた欠陥補正処理部４２ａ〜４２ｃの構成のバリエーションは、ノイズ抑制処理部４４ａ〜４４ｃの構成にも適用することができる。

デジタル信号処理回路２６は、ハードウェア回路で欠陥補正処理やノイズ抑制処理等の各種処理を行う構成とすることで、高速の処理が可能となる。一方、デジタル信号処理回路２６での各種処理を、マイクロプロセッサと、それにより実行されるプログラムとで実現することもできる。

本画像信号処理装置は、ノイズ除去処理部３０での欠陥補正レベルやノイズ抑制レベルが色処理部４０に供給される画像データに対して最も高く、輪郭処理部３８に供給される画像データに対して最も低く、また輝度処理部３６に供給される画像データについてはそれらの中間レベルに設定される。このように設定することで、色差信号Ｕ，Ｖを生成する色処理部４０では、好適に欠陥補正やノイズ抑制を図ることができる。輪郭処理部３８では、欠陥補正やノイズ抑制の処理で輪郭の情報が損なわれることを防止し、好適な輪郭強調を可能とする。また、輝度処理部３６では、解像度の維持を図りつつ、画素欠陥の補正やランダムノイズの抑制を行うことができる。このように、欠陥補正やノイズ抑制のレベルを輝度処理部３６、輪郭処理部３８及び色処理部４０それぞれに好適に設定することができるため、それら処理部３６〜４０により得られる輝度信号Ｙ及び色差信号Ｕ，Ｖが表す画像の画質向上が図られる。

また、欠陥補正レベルやノイズ抑制レベルを各処理部３６〜４０毎に可変制御できるため、露光時間等の変化に対応して画質の確保を図ることができる。

本発明の実施形態である画像信号処理装置の構成を示す概略のブロック図である。欠陥補正処理部の概略の構成を説明するブロック図である。欠陥補正処理に用いられる画像領域での画像データの配置及び参照画素の位置の一例を示す模式図である。ノイズ抑制を行う二次元フィルタの処理に用いられる画像領域での画像データの配置と、注目画素及び参照画素の位置の一例を示す模式図である。従来の画像信号処理装置の構成を示すブロック図である。

符号の説明

２０撮像素子、２２アナログ信号処理回路、２４Ａ／Ｄ変換回路、２６デジタル信号処理回路、３０ノイズ除去処理部、３２ＹＣ処理部、３４制御部、３６輝度処理部、３８輪郭処理部、４０色処理部、４２ａ，４２ｂ，４２ｃ欠陥補正処理部、４４ａ，４４ｂ，４４ｃノイズ抑制処理部、５０ａ，５０ｂ，５０ｃ欠陥補正回路、５２ａ，５２ｂ，５２ｃ混合回路、６０加算合成回路。

Claims

撮像素子により生成された原画像信号に対しノイズ除去処理を行って、第１ノイズ除去画像信号、第２ノイズ除去画像信号及び第３ノイズ除去画像信号を含む、ノイズ除去レベルが互いに異なる複数種類のノイズ除去画像信号を生成するノイズ除去処理部と、
前記第１ノイズ除去画像信号に基づいて、画像の輝度に応じた輝度信号を生成する輝度処理部と、
前記第１ノイズ除去画像信号より前記ノイズ除去レベルが高い前記第２ノイズ除去画像信号に基づいて、前記画像の色に応じた色信号を生成する色処理部と、
前記第１ノイズ除去画像信号より前記ノイズ除去レベルが低い前記第３ノイズ除去画像信号に基づいて、前記画像の輪郭に応じた輪郭補正信号を生成する輪郭処理部と、
を有することを特徴とする画像信号処理装置。
請求項１に記載の画像信号処理装置において、
前記ノイズ除去処理は、前記撮像素子の画素欠陥に対応した欠陥補正処理を含み、
前記各ノイズ除去画像信号それぞれの欠陥補正レベルは、前記ノイズ除去レベルに応じた強弱関係に設定されること、
を特徴とする画像信号処理装置。
請求項１又は請求項２に記載の画像信号処理装置において、
前記ノイズ除去処理部は、前記複数種類のノイズ除去画像信号のうち少なくとも１種類についての前記ノイズ除去レベルを制御可能に構成されること、を特徴とする画像信号処理装置。
撮像素子により生成された原画像信号に対し第１の欠陥補正処理を含むノイズ除去処理を行って、第１ノイズ除去画像信号を生成する第１ノイズ除去処理部と、
前記原画像信号に対し、前記第１の欠陥補正処理よりも強い第２の欠陥補正処理を含むノイズ除去処理を行って、第２ノイズ除去画像信号を生成する第２ノイズ除去処理部と、
前記原画像信号に対し、前記第１の欠陥補正処理よりも弱い第３の欠陥補正処理を含むノイズ除去処理を行って、第３ノイズ除去画像信号を生成する第３ノイズ除去処理部と、
前記第１ノイズ除去画像信号に基づいて、画像の輝度に応じた輝度信号を生成する輝度処理部と、
前記第２ノイズ除去画像信号に基づいて、前記画像の色に応じた色信号を生成する色処理部と、
前記第３ノイズ除去画像信号に基づいて、前記画像の輪郭に応じた輪郭補正信号を生成する輪郭処理部と、
を有することを特徴とする画像信号処理装置。
請求項４に記載の画像信号処理装置において、
前記各欠陥補正処理は、注目画素が欠陥画素である場合に、当該注目画素の周囲の参照画素に基づいて当該注目画素の補正画素値を生成し、
前記第１の欠陥補正処理は、前記参照画素に含まれる前記欠陥画素がｋ_１個（ｋ_１≧１である）以下である場合に、前記補正画素値を生成し、
前記第２の欠陥補正処理は、前記参照画素に含まれる前記欠陥画素がｋ_２個（ｋ_２＞ｋ_１である）以下である場合に、前記補正画素値を生成し、
前記第３の欠陥補正処理は、前記参照画素に含まれる前記欠陥画素がｋ_３個（ｋ_３＜ｋ_１である）以下である場合に、前記補正画素値を生成すること、
を特徴とする画像信号処理装置。
請求項４又は請求項５に記載の画像信号処理装置において、
複数の前記ノイズ除去処理部のうち少なくとも１つは、欠陥補正レベルを制御可能に構成されること、を特徴とする画像信号処理装置。
請求項４から請求項６のいずれか１つに記載の画像信号処理装置において、
前記原画像信号を取得する際の前記撮像素子での露光制御に応じて、欠陥補正レベルについての制御信号を生成する制御部を有し、
複数の前記ノイズ除去処理部のうち少なくとも１つは、前記撮像素子の画素欠陥のうち過剰に信号電荷を発生する白点画素に対する前記欠陥補正レベルを前記制御信号に基づいて制御可能に構成されること、
を特徴とする画像信号処理装置。