JP4965903B2

JP4965903B2 - 画像処理装置及び方法

Info

Publication number: JP4965903B2
Application number: JP2006167852A
Authority: JP
Inventors: 香田島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-06-16
Filing date: 2006-06-16
Publication date: 2012-07-04
Anticipated expiration: 2026-06-16
Also published as: JP2007336384A

Description

本発明は、画像処理に関する。

デジタルビデオカメラや、デジタルカメラでは、レンズの開口率や撮像素子の受光部が有限であることに起因して、画像信号の高域成分が劣化する。そのため、画像の高域成分を補償し、映像信号の輪郭を強調して、画像の先鋭度を高めるために、アパーチャ補正処理を行っている。

従来のアパーチャ補正信号生成処理回路の一例として、水平アパーチャ処理回路と、垂直アパーチャ処理回路を有し、水平、垂直のアパーチャ回路の出力を合成するという構成のものがある（例えば、特許文献１参照）。水平アパーチャ処理回路は、垂直方向のローパスフィルタ（以下LPFという）、水平方向のバンドパスフィルタ（以下BPFという）を縦列接続したものである。垂直アパーチャ処理回路は、水平方向のLPF、垂直方向のBPFを縦列接続したものである。

特開平１１−１７９８３号公報（第４頁、図１）

しかし、上記従来技術は、水平方向のアパーチャ補正信号と垂直方向のアパーチャ信号のみを組み合わせているため、斜め方向のエッジについては、適切なアパーチャ補正処理が行われず、解像感の低下や、折り返しによるエッジのがたつきという問題が生じる。特に、オフセットサンプリングされた入力画像からアパーチャ信号を生成する場合、オフセットサンプリングに起因する折り返し成分抑圧のために、水平・垂直それぞれのアパーチャ回路に設けられたLPF処理によって、問題が生じる。すなわち、水平、垂直方向に比べて斜め方向の解像感が低下し、すべての方向に均一なエッジがつかないという問題が生じる。

本発明の目的は、斜め方向のアパーチャ補正処理についてモアレを抑圧し、解像度を高めることである。

本発明の画像処理装置は、原色ベイヤー配列に対応した赤、緑及び青色の入力画像の中から緑色の画像信号を抽出する抽出手段と、前記緑色の入力画像を基に、水平方向の軸上にピークがあるバンドパス特性を有し垂直方向にローパス特性を有する空間フィルタを用いて水平方向の輪郭を強調して水平方向アパーチャ補正信号を生成する第１のアパーチャ補正信号生成手段と、前記緑色の入力画像を基に、垂直方向の軸上にピークがあるバンドパス特性を有し水平方向にローパス特性を有する空間フィルタを用いて垂直方向の輪郭を強調して垂直方向アパーチャ補正信号を生成する第２のアパーチャ補正信号生成手段と、前記緑色の入力画像を基に前記水平方向に対して斜め４５°方向の輪郭を強調して斜め４５°方向アパーチャ補正信号を生成し、前記水平方向に対して斜め１３５°方向の輪郭を強調して斜め１３５°方向アパーチャ補正信号を生成する第３のアパーチャ補正信号生成手段と、前記水平方向アパーチャ補正信号、前記垂直方向アパーチャ補正信号、前記斜め４５°方向アパーチャ補正信号、及び前記斜め１３５°方向アパーチャ補正信号を合成するアパーチャ補正信号合成手段と、を有し、前記第３のアパーチャ補正信号生成手段は、斜め４５°方向の軸上にピークがあるバンドパス特性を有し斜め１３５°方向にローパス特性を有する空間フィルタを用いて斜め４５°方向アパーチャ補正信号を生成し、斜め１３５°方向の軸上にピークがあるバンドパス特性を有し斜め４５°方向にローパス特性を有する空間フィルタを用いて斜め１３５°方向アパーチャ補正信号を生成することを特徴とする。

また、本発明の画像処理方法は、原色ベイヤー配列に対応した赤、緑及び青色の入力画像の中から緑色の画像信号を抽出する抽出ステップと、前記緑色の入力画像を基に、水平方向の軸上にピークがあるバンドパス特性を有し垂直方向にローパス特性を有する空間フィルタを用いて水平方向の輪郭を強調して水平方向アパーチャ補正信号を生成する第１のアパーチャ補正信号生成ステップと、前記緑色の入力画像を基に、垂直方向の軸上にピークがあるバンドパス特性を有し水平方向にローパス特性を有する空間フィルタを用いて垂直方向の輪郭を強調して垂直方向アパーチャ補正信号を生成する第２のアパーチャ補正信号生成ステップと、前記緑色の入力画像を基に前記水平方向に対して斜め４５°方向の輪郭を強調して斜め４５°方向アパーチャ補正信号を生成し、前記水平方向に対して斜め１３５°方向の輪郭を強調して斜め１３５°方向アパーチャ補正信号を生成する第３のアパーチャ補正信号生成ステップと、前記水平方向アパーチャ補正信号、前記垂直方向アパーチャ補正信号、前記斜め４５°方向アパーチャ補正信号、及び前記斜め１３５°方向アパーチャ補正信号を合成するアパーチャ補正信号合成ステップと、を有し、前記第３のアパーチャ補正信号生成ステップは、斜め４５°方向の軸上にピークがあるバンドパス特性を有し斜め１３５°方向にローパス特性を有する空間フィルタを用いて斜め４５°方向アパーチャ補正信号を生成し、斜め１３５°方向の軸上にピークがあるバンドパス特性を有し斜め４５°方向にローパス特性を有する空間フィルタを用いて斜め１３５°方向アパーチャ補正信号を生成することを特徴とする。

斜め方向の解像感を高め、モアレを抑圧することができ、全ての方向の輪郭を均一な強度にすることができる。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。
本発明の実施形態は、図３に示すような原色ベイヤ-配列のRGBカラー値に対応した画像信号から、アパーチャ補正信号を生成するアパーチャ補正信号生成処理回路である。

本実施形態のアパーチャ補正信号生成処理回路（画像処理装置）の概略構成を図１に示す。図１において、ＲＡＷ画像は、輪郭（以下、エッジという）方向推定ユニット１とアパーチャ信号生成ユニット２で並列に処理された後、それぞれの出力信号がアパーチャ信号合成ユニット３に入力され、最終的なアパーチャ補正信号が出力される。

ここで、入力信号であるＲＡＷ画像信号は、図３に示すような、画素ごとに配置される色フィルタに対応してＲ、Ｇ、Ｂ（赤、緑、青）いずれかのカラー値を有し、図示しないＷＢ調整手段で、あらかじめホワイトバランス（ＷＢ）が補正されているものとする。

以下、エッジ方向推定ユニット１、アパーチャ信号生成ユニット２、アパーチャ信号合成ユニット３の構成と動作について、順次説明していく。

まず、エッジ方向推定ユニット１について説明する。エッジ方向推定ユニット（エッジ方向推定手段）１は、垂直方向相関検出処理手段１１、水平方向相関検出処理手段１２、相関判定所処理手段１３で構成される。エッジ方向推定ユニット１は、ＲＡＷ画像の着目画素及びその周辺画素の信号を基に着目画素のエッジの方向を推定し、着目画素におけるエッジ方向を示す相関係数Tを出力する。ここでは、図２に示す、画像の局所領域を例に、エッジ方向の推定処理について説明する。

垂直方向相関検出処理手段１１では、着目画素P22と、垂直方向の隣接画素P02、P12、P32、P42を用い、式（１）に示す演算によって、垂直相関値vdiffを生成する。また、水平方向相関検出処理手段１２では、着目画素P22と、水平方向の隣接画素P20、P21、P23、P24を用い、式（２）に示す演算により、水平相関値hdiffを算出する。

vdiff = |2×P22 - P20 - P24| + |P21 - P23| ・・・（１）
hdiff = |2×P22 - P20 - P24| + |P21 - P23| ・・・（２）

相関判定処理手段１３では、垂直相関値vdiffと水平相関値hdiffの差分に対して、所定の閾値th1,th2,−th1,−th2（ただし、|th2|>|th1|とする。）による条件判定を行い、着目画素におけるエッジの方向を推定する。そして、着目画素におけるエッジ方向の推定結果を示すパラメータとして、相関係数Tが生成される。

ここで、図１３のフローチャートを用いて、水平相関値hdiffと垂直相関値vdiffとの差分を用いた、エッジの方向推定処理の手順を説明する。

図１３より、ステップS01で、エッジ方向推定処理を開始する。ステップS02では、hdiff - vdiffと閾値th2を用いた条件分岐を行う。ステップS02において、hdiff - vdiff がth2以上である場合には、ステップS03において、相関係数Tに1.0を設定し、ステップS02の条件を満たさない場合には、ステップS04の条件分岐に移行する。

ステップS04では、hdiff - vdiffと閾値−th2を用いた条件分岐を行う。hdiff - vdiff が−th2よりも小さい場合には、ステップS05において、相関係数Tに−1.0を設定し、ステップS04の条件を満たさない場合には、ステップS06の条件分岐に移行する。

ステップS06では、hdiff - vdiffと閾値th1、th2を用いた条件分岐を行う。hdiff - vdiff がth1以上かつ、th2よりも小さい場合には、ステップS07において、相関係数TにT=(hdiff−vdiff−th1)/(th2−th1)を設定する。ステップS06の条件を満たさない場合には、ステップS08の条件分岐に移行する。

ステップS08では、hdiff - vdiffと閾値−th1、−th2を用いた条件分岐を行う。hdiff - vdiff が−th2以上かつ、−th1よりも小さい場合には、ステップS09において、相関係数TにT=(hdiff−vdiff＋th1)/(th1−th2)を設定する。ステップS09の条件を満たさない場合には、相関係数TにT=0.0を設定する。

以上の手順で求められた、相関係数T とhdiff−vdiffとの関係をグラフとして図示すると、図１４のようになる。また、エッジの方向を、図１５に示すように、着目画素におけるエッジの方向と水平方向軸とのなす角度θとして定義すると、前述の相関係数Tとエッジの方向を示す角度θとの関係は、図１６のように対応づけることができる。

次に、複数種類のアパーチャ補正信号を生成する、アパーチャ信号生成ユニット２の動作について、図１を参照しながら説明する。

色分離処理手段（抽出手段）２０は、オフセットサンプリングにより、Ｒ（赤）、Ｇ（緑）及びＢ（青）のＲＡＷ画像の中からＧの画像信号を抽出する。アパーチャ信号生成ユニット２は、色分離処理手段２０でオフセットサンプリングされたＧ信号を入力画像とする。そして、アパーチャ信号生成ユニット２は、垂直方向アパーチャ補正信号vapc、水平方向アパーチャ補正信号hapc、斜め45°方向のアパーチャ補正信号dapc1、斜め135°方向のアパーチャ補正信号dapc2を生成する。

アパーチャ信号生成ユニット２の入力であるオフセットサンプリングされたＧ信号は、前段の色分離手段２０で生成される。色分離手段２０では、ＲＡＷ画像について、例えば、Ｇのフィルタが配置された画素はそのまま画素値を出力し、Ｒ又はＢのフィルタが配置された画素は画素値を０で置き換えて出力する処理を行う。これにより、オフセットサンプリングされたＧ画素のみを抽出した画像を生成する。

垂直方向アパーチャ補正信号vapcは、オフセットサンプリングされたＧ信号を入力画像として、垂直方向BPF処理手段２１と水平方向LPF処理手段２２を縦列接続した系で生成される。垂直方向BPF処理手段２１と水平方向LPF処理手段２２は、垂直方向アパーチャ補正信号生成手段であり、入力画像を基に垂直方向の輪郭を強調して垂直方向アパーチャ補正信号vapcを生成する。

水平方向アパーチャ補正信号hapcは、オフセットサンプリングされたＧ信号を入力画像として、水平方向BPF処理手段２３と垂直方向LPF処理手段２４を縦列接続した系で生成される。水平方向BPF処理手段２３と垂直方向LPF処理手段２４は、水平方向アパーチャ補正信号生成手段であり、入力画像を基に水平方向の輪郭を強調して水平方向アパーチャ補正信号hapcを生成する。

垂直方向BPF処理手段２１、水平方向BPF処理手段２３では、それぞれ、オフセットサンプリングされた入力画像に含まれる中域成分を抽出するフィルタ処理を行う。ここで用いるBPFフィルタの周波数振幅特性の一例を図４に示す。

また、水平方向狭帯域LPF処理手段２２、垂直方向狭帯域LPF処理手段２４では、それぞれ、前段のバンドパスフィルタ処理で抽出される周波数成分と直交方向の周波数成分について、低域成分のみを通過させるフィルタ処理を行う。各LPFの周波数特性の一例を示すと図５のようになる。

斜め45°方向のアパーチャ補正信号dapc1は、オフセットサンプリングされたＧ信号を入力画像として、斜め45°方向SPF処理手段２５で生成される。斜め45°方向SPF処理手段２５では、水平方向に対して45°傾いた輪郭線を強調し、オフセットサンプリングによる折り返しを抑圧する特性の空間フィルタ処理を行う。斜め45°方向SPF処理手段２５は、斜め45°方向アパーチャ補正信号生成手段であり、入力画像を基に水平方向に対して斜め45°方向の輪郭を強調して斜め45°方向アパーチャ補正信号dapc1を生成する。

斜め45°方向SPF処理手段２５で用いられている空間フィルタの周波数特性を示す等高線図は、図６のようになる。図６において、横軸Hは、水平方向の周波数成分、縦軸Vは垂直方向の周波数成分を示す。

また、図８は、図６を、斜め45°方向の軸で切った断面のグラフである。図８に示すように、斜め45°方向のナイキスト周波数よりも、やや低い周波数でピークを持つバンドパス特性となっている。このバンドパス特性によって、斜め45°方向のエッジを強調することができる。

また、図６を、斜め135°方向の軸で切った断面のグラフは、図５に示すような、ローパス特性となる。このローパス処理によって、オフセットサンプリングによる斜め方向の折り返し成分が抑圧できる。

斜め135°方向のアパーチャ補正信号dapc2は、オフセットサンプリングされたＧ信号を入力画像として、斜め135°方向SPF処理手段２６で生成される。斜め135°方向SPF処理手段２６では、水平方向に対して135°傾いた輪郭線を強調し、オフセットサンプリングによる折り返しを抑圧する特性の空間フィルタ処理を行う。斜め135°方向SPF処理手段２６は、斜め135°方向アパーチャ補正信号生成手段であり、入力画像を基に水平方向に対して斜め135°方向の輪郭を強調して斜め135°方向アパーチャ補正信号dapc2を生成する。

斜め135°方向SPF処理手段２６で用いられている空間フィルタの周波数特性を示す等高線図は、図７のようになる。図７において、横軸Hは、水平方向の周波数成分、縦軸Vは垂直方向の周波数成分を示す。

また、図８は、図７を斜め135°方向の軸で切った断面のグラフである。図８に示すように、斜め135°方向のナイキスト周波数よりも、やや低い周波数でピークを持つバンドパス特性となっている。このバンドパス処理によって、斜め135°方向のエッジを強調することができる。

また、図７を、斜め45°方向の軸で切った断面のグラフは、図５に示すような、ローパス特性となる。このローパス処理によって、オフセットサンプリングによる斜め方向の折り返し成分が抑圧できる。

上記一連の処理により、アパーチャ信号生成ユニット２において、着目画素における垂直、水平、斜め45°、斜め135°の方向のエッジを強調する、４種類のアパーチャ補正信号を生成することができる。

最後に、アパーチャ信号合成ユニット（アパーチャ補正信号合成手段）３の動作について説明する。アパーチャ信号合成ユニット３は、エッジ方向推定ユニット１から出力される相関係数Tを用いて、アパーチャ信号生成ユニット２から出力される４種類のアパーチャ補正信号（hapc、vapc、dapc1、dpac2）を合成する。そして、アパーチャ信号合成ユニット３は、最終的なアパーチャ補正信号apc_outを出力する。

本実施形態では、4種類のアパーチャ補正信号の相互関係と、それらのアパーチャ補正信号によって抽出される領域の対象性を考慮し、式（３）に示す演算を行って、アパーチャ補正信号を生成する。

apc_out = (hapc + vapc ) × |T| + ( dapc1 + dapc2) × (1.0 - |T|) ・・・（３）

ここで、図１０は、図９に示すＣＺＰチャートを入力画像としたとき、垂直方向アパーチャ補正信号vapc、水平方向アパーチャ補正信号hapcで強調される周波数成分と、相関係数Tとを対応づけて空間的に示した模式図である。ＣＺＰは、サーキュラーゾーンプレートである。同様に、図１１は、図９に示すＣＺＰチャートを入力画像としたとき、斜め45°方向アパーチャ補正信号dapc1、斜め135°方向アパーチャ補正信号dapc2で強調される周波数成分と、相関係数Tとを対応づけて空間的に示した模式図である。これらの図において、縦軸Ｖは垂直方向の周波数成分、横軸Ｈは水平方向の周波数成分、原点は直流成分であることを示す。

式（３）において、vapc+hapcの値が支配的になるのは、相関係数TがT=1又はT=-1の近傍のときである。図１０に示すように、相関係数TがT=1又はT=-1の近傍である場合には、垂直方向アパーチャ補正信号vapcで強調される信号成分と水平方向アパーチャ補正信号hapcで強調される信号成分は重ならない。そのため、vapcとhapcを加算して扱っても画質に悪影響は生じない。

同様に、式（３）において、dapc1＋dapc2の値が支配的になるのは、相関係数TがT=0の近傍のときである。相関係数TがT=0の近傍の場合、図１１に示すように、dapc1とdapc2の周波数帯域は重ならないので、あらかじめ加算して扱っても、画質に悪影響は出ない。

また、vapc+hapc、dapc1＋dapc2をそれぞれ、ひとまとまりの周波数帯域として扱うと、T＝0からT=1までの相関係数を用いた合成処理と、T=0からT=−１までの相関係数を用いた合成処理は等価である。相関係数Tの絶対値をとったものを、合成処理の制御パラメータとして用いることができる。

ここで、図９に示すＣＺＰチャートを入力画像としたとき、vapc＋hapcで強調される周波数成分、dapc1＋dapc2で強調される周波数成分と、相関係数の絶対値|T|とを対応づけて空間的に示すと、図１２のようになる。図１２で示すように、相関係数が｜T|＝１に近づくほど、垂直方向アパーチャ補正信号vapc又は、水平方向アパーチャ補正信号hapcの出力が支配的になる。|T|=0に近づくほど、斜め45°方向アパーチャ補正信号dapc1又は、斜め135°方向アパーチャ補正信号dapc2の出力が支配的になる。また、式（３）より、｜T｜の値を用いて、vapc+hapcと、dapc1＋dapc2の出力が、合成されるため、垂直、水平、斜め45°、斜め135°の４種類のアパーチャ信号が、エッジの方向に伴って、連続的に変化するよう、合成することができる。

以上のように、本実施形態では、着目画素におけるエッジの方向を考慮したアパーチャ補正信号を生成することができる。特に、オフセットサンプリングされた画像信号からアパーチャ補正信号を生成する際には、斜め方向のエッジに適したアパーチャ生成処理として、オフセットサンプリングのサンプリング構造を考慮した空間フィルタの出力が支配的になる。そのため、水平方向及び垂直方向のアパーチャ信号のみを合成した従来のアパーチャ補正信号生成処理回路に比べて、オフセットサンプリングによる折り返し成分を抑圧しつつ、斜め方向の解像感を向上させることができる。

次に上記実施形態のアパーチャ補正信号生成処理回路を用いた撮像装置について説明する。

図１７（ａ）は、本実施形態のアパーチャ補正信号生成処理回路（画像処理装置）を用いた撮像装置を示すブロック図である。撮像装置は、デジタルビデオカメラやデジタルカメラ等である。図１７（ａ）において、２０１が、レンズ及び絞りからなる光学系、２０２が、メカニカルシャッタ（メカシャッタと図示する）、２０３が、固体撮像素子である。２０４が、アナログ信号処理を行うＣＤＳ回路、２０５が、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器、２０６が、撮像素子２０３、ＣＤＳ回路２０４及びＡ／Ｄ変換器２０５を動作させる信号を発生するタイミング信号発生回路である。２０７が、光学系２０１、メカニカルシャッタ２０２及び撮像素子２０３の駆動回路、２０８が、撮影した画像データに必要な信号処理を行う信号処理回路、２０９が、信号処理された画像データを記憶する画像メモリである。２１０が、撮像装置から取り外し可能な画像記録媒体（記録媒体と図示する）、２１１が、信号処理された画像データを符号化圧縮し、画像記録媒体２１０に記録する記録回路、２１２が、信号処理された画像データを表示する画像表示装置である。２１３が、画像表示装置２１２に画像を表示する表示回路、２１４が、撮像装置全体を制御するシステム制御部である。２１５が、システム制御部２１４で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び、キズアドレス等の補正データを記憶しておく不揮発性メモリ（ＲＯＭ）である。２１６が、不揮発性メモリ２１５に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部２１４が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）となっている。

以下、上述のように構成された撮像装置を用いてメカニカルシャッタ２０２を使用した撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部２１４の動作開始時において、不揮発性メモリ２１５から必要なプログラム、制御データ及び補正データを揮発性メモリ２１６に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部２１４が撮像装置を制御する際に使用する。また、これらのプログラムやデータは、必要に応じて、追加のプログラムやデータを不揮発性メモリ２１５から揮発性メモリ２１６に転送したり、システム制御部２１４が直接不揮発性メモリ２１５内のデータを読み出して使用したりするものとする。

まず、光学系２０１は、システム制御部２１４からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子２０３上に結像させる。次に、メカニカルシャッタ２０２は、システム制御部２１４からの制御信号により、必要な露光時間となるように撮像素子２０３の動作に合わせて撮像素子２０３を遮光するように駆動される。この時、撮像素子２０３が電子シャッタ機能を有する場合は、メカニカルシャッタ２０２と併用して、必要な露光時間を確保してもよい。撮像素子２０３は、システム制御部２１４により制御されるタイミング信号発生回路２０６が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換し、アナログ画像信号を生成して出力する。撮像素子２０３から出力されたアナログの画像信号は、システム制御部２１４により制御されるタイミング信号発生回路２０６が発生する動作パルスにより、ＣＤＳ回路２０４でクロック同期性ノイズを除去し、Ａ／Ｄ変換器２０５でデジタル画像信号に変換される。次に、システム制御部２１４により制御される信号処理回路２０８において、Ａ／Ｄ変換器２０５出力のデジタル画像信号（RAWと表記する）から、輝度・色差信号を生成する。

ここで、本実施形態のアパーチャ補正信号生成処理回路が含まれる信号処理回路２０８の構成と動作について、図１７（ｂ）を参照しながら説明する。図１７（ｂ）において、３００は、同時化処理回路、３０１は、YCマトリクス処理回路、３０２は、アパーチャ補正信号生成処理回路、３０３は、ベースクリップ処理回路、３０４は、ゲイン処理回路、３０５は、加算回路である。

同時化処理回路３００では、画像上のすべての画素位置において、RGBの色信号が得られるよう、Ａ／Ｄ変換器２０５出力のデジタル画像信号から、RGBの各色フィルタに対応した画素を抽出して、RGB毎に補間を行う。

YCマトリクス処理回路３０１では、同時化処理回路３００の出力であるR、G、Bの各信号に対して、式（４）〜式（６）に示す演算を行い、色差信号Cr、Cb、低域輝度信号YLを生成する。

YL ＝ (9×G + 5×R + 2×B)/16 ・・・（４）
Cｒ＝ R-YL ・・・（５）
Cｂ = B-YL ・・・（６）

アパーチャ補正信号生成処理回路３０２は、前述したように、Ａ／Ｄ変換器２０５出力のデジタル画像信号から、垂直、水平、斜め45°、斜め135°の各方向のアパーチャ補正信号、及び、着目画素におけるエッジの方向を示す相関係数Tを算出する。そして、アパーチャ補正信号生成処理回路３０２は、相関係数Tを用いて、垂直、水平、斜め45°、斜め135°の各方向のアパーチャ補正信号を合成する。

ベースクリップ回路３０３では、アパーチャ補正信号生成処理回路３０２から出力される、エッジの方向に適応的に合成されたアパーチャ補正信号について、信号の振幅が、所定の値よりも小さい場合に、ノイズとみなして０にクリップする。ノイズとみなす振幅レベルは、撮影モードや、被写体の輝度レベルに応じて、それぞれ適切な値となるよう、システム制御部２１４によって制御されている。

ゲイン処理回路３０４では、ベースクリップ回路３０３の出力である、所定の小振幅成分がクリップされたアパーチャ補正信号に対して、ゲインをかけ、アパーチャ補正信号を調整する。ゲインのレベルは、撮影モードや、被写体の輝度レベルに応じて、それぞれ適切な値となるよう、システム制御部２１４によって制御されている。

加算回路３０５では、ゲイン処理回路３０４の出力である、ゲイン調整されたアパーチャ補正信号を、YCマトリクス処理回路３０１の出力である低域輝度信号YLに加算し、最終的な輝度信号Yを生成する。

以上のようにして、信号処理回路２０８において、Ａ／Ｄ変換器２０５出力のデジタル画像信号（RAWと表記する）から、輝度信号Ｙと色差信号Cｒ、Cbからなる画像データが生成される。

ここで、画像メモリ２０９は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号を記憶したりするために用いられる。信号処理回路２０８で信号処理された画像データや画像メモリ２０９に記憶されている画像データは、記録回路２１１において、画像記録媒体２１０に適したデータに符号化圧縮されて画像記録媒体２１０に記録される。画像記録媒体２１０に適したデータは、例えば階層構造を持つファイルシステムデータである。また、信号処理回路２０８で信号処理された画像データや画像メモリ２０９に記憶されている画像データは、信号処理回路２０８で図示しない解像度変換処理回路によって画像データに解像度変換される。その後、これらの画像データは、表示回路２１３において画像表示装置２１２に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置２１２に表示される。

また、信号処理回路２０８においては、システム制御部２１４からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ２０９や記録回路２１１に出力してもよい。

また、信号処理回路２０８は、システム制御部２１４から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部２１４に出力する。上記情報は、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報である。さらに、記録回路２１１は、システム制御部２１４から要求があった場合に、画像記録媒体２１０の種類や空き容量等の情報をシステム制御部２１４に出力する。

さらに、画像記録媒体２１０に画像データが記録されている場合の再生動作について説明する。システム制御部２１４からの制御信号により記録回路２１１は、画像記録媒体２１０から画像データを読み出す。同じくシステム制御部２１４からの制御信号により信号処理回路２０８は、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ２０９に記憶する。画像メモリ２０９に記憶されている画像データは、信号処理回路２０８で解像度変換処理を実施された後、表示回路２１３において画像表示装置２１２に適した信号に変換されて画像表示装置２１２に表示される。

以上のような構成で、着目画素におけるエッジの方向を考慮したアパーチャ補正信号を生成することにより、オフセットサンプリングによる折り返し成分を抑圧しつつ、斜め方向の解像感を向上させることができる。

着目画素におけるエッジの方向を考慮して、複数種類の方向のアパーチャ補正信号を合成することにより、解像感の低下や、折り返しによるエッジのがたつきを低減し、品位の良いアパーチャ補正信号を生成することができる。また、オフセットサンプリングされた入力画像に対して、水平アパーチャ補正信号、垂直アパーチャ信号と、オフセットサンプリングのサンプリング構造を考慮した斜めアパーチャ信号を合成する。これにより、斜め方向の解像感を維持したまま、オフセットサンプリングに起因するモアレを抑圧することができ、全ての方向について、均一な強度のエッジを付加することができる。

なお、図１のアパーチャ補正信号生成回路は、ハードウエア構成に限定されず、プログラムのソフトウエアにより実行するようにしてもよい。その場合、図１の回路の処理方法をシステム制御部（コンピュータ）２１４に実行させるためのプログラムをＲＯＭ２１５に記憶させる。システム制御部（コンピュータ）２１４は、ＲＯＭ２１５内のプログラムを実行することにより、図１のアパーチャ補正信号生成回路と同じ処理を行う。そのプログラムは、メモリカード等のシステム制御部２１４（コンピュータ）が読み取り可能な記録媒体に記録することができる。

本実施形態は、システム制御部２１４のコンピュータがプログラムを実行することによっても実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びコンピュータプログラムプロダクトは、本発明の範疇に含まれる。記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態のアパーチャ補正信号生成処理回路の構成例を示すブロック図である。画像上の局所領域の画素の配列を示す模式図である。 RGBベイヤ−配列の一例を示す模式図である。水平方向BPF処理、垂直方向BPF処理の周波数特性を示す図である。各方向でのアパーチャ処理手段において、バンドパス特性と直交方向のローパス特性を示すグラフである。斜め45°方向アパーチャ処理手段の周波数特性を示す等高線図である。斜め135°方向アパーチャ処理手段の周波数特性を示す等高線図である。斜め45°方向、斜め135°方向アパーチャ処理手段のバンドパス特性を示すグラフである。 CZP（サーキュラーゾーンプレート）を示す図である。 CZPを入力画像としたとき、水平方向アパーチャ処理手段、垂直方向アパーチャ処理手段で強調される周波数帯域と、相関係数Tとの対応を示す模式図である。 CZPを入力画像としたとき、斜め45°方向アパーチャ処理手段、斜め135°方向アパーチャ処理手段で強調される周波数帯域と、相関係数Tとの対応を示す模式図である。 CZPを入力画像としたとき、水平方向アパーチャ処理手段、垂直方向アパーチャ処理手段、斜め45°方向アパーチャ処理手段、斜め135°方向アパーチャ処理手段で強調される周波数帯域と、相関係数｜T｜との対応を示す模式図である。エッジ方向推定処理の手順を示すフローチャートである。垂直方向相関値Vdiffと水平方向相関値Hdiffの差分、Hdiff-Vdiffと、相関係数Ｔとの関係を示したグラフである。エッジの方向を示す角度θを定義した模式図である。エッジの方向を示す角度θと、相関係数Tとの関係を示したグラフである。本実施形態のアパーチャ補正信号生成処理回路を用いた撮像装置の構成例を示すブロック図である。

符号の説明

１エッジ方向推定ユニット
２アパーチャ信号生成ユニット
３アパーチャ信号合成ユニット
vdiff 垂直相関値
hdiff 水平相関値
T 相関係数
θ エッジの方向を示す角度
vapc 垂直方向アパーチャ信号
hapc 水平方向アパーチャ信号
dpac1 斜め45°方向アパーチャ信号
dapc2 斜め135°方向アパーチャ信号
２０１光学系
２０２メカニカルシャッタ
２０３撮像素子
２０４ＣＤＳ回路
２０５Ａ／Ｄ変換器
２０６タイミング信号発生回路
２０７駆動回路
２０８信号処理回路
２０９画像メモリ
２１０画像記録媒体
２１１記録回路
２１２画像表示装置
２１３表示回路
２１４システム制御部
２１５不揮発性メモリ（ＲＯＭ）
２１６揮発性メモリ（ＲＡＭ）
３００同時化処理回路
３０１ＹＣマトリクス処理回路
３０２アパーチャ補正信号生成処理回路
３０３ベースクリップ処理回路
３０４ゲイン処理回路
３０５加算回路

Claims

原色ベイヤー配列に対応した赤、緑及び青色の入力画像の中から緑色の画像信号を抽出する抽出手段と、
前記緑色の入力画像を基に、水平方向の軸上にピークがあるバンドパス特性を有し垂直方向にローパス特性を有する空間フィルタを用いて水平方向の輪郭を強調して水平方向アパーチャ補正信号を生成する第１のアパーチャ補正信号生成手段と、
前記緑色の入力画像を基に、垂直方向の軸上にピークがあるバンドパス特性を有し水平方向にローパス特性を有する空間フィルタを用いて垂直方向の輪郭を強調して垂直方向アパーチャ補正信号を生成する第２のアパーチャ補正信号生成手段と、
前記緑色の入力画像を基に前記水平方向に対して斜め４５°方向の輪郭を強調して斜め４５°方向アパーチャ補正信号を生成し、前記水平方向に対して斜め１３５°方向の輪郭を強調して斜め１３５°方向アパーチャ補正信号を生成する第３のアパーチャ補正信号生成手段と、
前記水平方向アパーチャ補正信号、前記垂直方向アパーチャ補正信号、前記斜め４５°方向アパーチャ補正信号、及び前記斜め１３５°方向アパーチャ補正信号を合成するアパーチャ補正信号合成手段と、を有し、
前記第３のアパーチャ補正信号生成手段は、斜め４５°方向の軸上にピークがあるバンドパス特性を有し斜め１３５°方向にローパス特性を有する空間フィルタを用いて斜め４５°方向アパーチャ補正信号を生成し、斜め１３５°方向の軸上にピークがあるバンドパス特性を有し斜め４５°方向にローパス特性を有する空間フィルタを用いて斜め１３５°方向アパーチャ補正信号を生成することを特徴とする画像処理装置。
原色ベイヤー配列に対応した赤、緑及び青色の入力画像の中から緑色の画像信号を抽出する抽出ステップと、
前記緑色の入力画像を基に、水平方向の軸上にピークがあるバンドパス特性を有し垂直方向にローパス特性を有する空間フィルタを用いて水平方向の輪郭を強調して水平方向アパーチャ補正信号を生成する第１のアパーチャ補正信号生成ステップと、
前記緑色の入力画像を基に、垂直方向の軸上にピークがあるバンドパス特性を有し水平方向にローパス特性を有する空間フィルタを用いて垂直方向の輪郭を強調して垂直方向アパーチャ補正信号を生成する第２のアパーチャ補正信号生成ステップと、
前記緑色の入力画像を基に前記水平方向に対して斜め４５°方向の輪郭を強調して斜め４５°方向アパーチャ補正信号を生成し、前記水平方向に対して斜め１３５°方向の輪郭を強調して斜め１３５°方向アパーチャ補正信号を生成する第３のアパーチャ補正信号生成ステップと、
前記水平方向アパーチャ補正信号、前記垂直方向アパーチャ補正信号、前記斜め４５°方向アパーチャ補正信号、及び前記斜め１３５°方向アパーチャ補正信号を合成するアパーチャ補正信号合成ステップと、を有し、
前記第３のアパーチャ補正信号生成ステップは、斜め４５°方向の軸上にピークがあるバンドパス特性を有し斜め１３５°方向にローパス特性を有する空間フィルタを用いて斜め４５°方向アパーチャ補正信号を生成し、斜め１３５°方向の軸上にピークがあるバンドパス特性を有し斜め４５°方向にローパス特性を有する空間フィルタを用いて斜め１３５°方向アパーチャ補正信号を生成することを特徴とする画像処理方法。
請求項２記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
請求項３記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。