JP3633561B2

JP3633561B2 - Image processing apparatus, image processing method, and program

Info

Publication number: JP3633561B2
Application number: JP2002019862A
Authority: JP
Inventors: 広明久保
Original assignee: ミノルタ株式会社
Priority date: 2002-01-29
Filing date: 2002-01-29
Publication date: 2005-03-30
Anticipated expiration: 2022-01-29
Also published as: JP2003224859A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等に用いられる画像処理装置の構成および画像処理方法に関する。
【０００２】
【従来の技術】
デジタルカメラやデジタルビデオカメラ等においては、従来から画像撮像装置としてＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）が利用されている。ＣＣＤは光電変換をつかさどる多数のフォトダイオードがマトリクス状に配列されて構成されている。
【０００３】
撮像レンズを含む光学系を介してＣＣＤに入射した被写体の光学像は、フォトダイオードで光電変換されたのち電荷蓄積される。マトリクス配置されたフォトダイオードに蓄積された電荷は、ＣＣＤから順次取り出された後、画像処理回路に転送されて画像信号として検出されるのである。
【０００４】
このようにＣＣＤは光学像の明暗に応じた電荷の蓄積を行い、電気信号として出力する役割を果たすが、カラー画像を取得するためには、３原色成分（Ｒ、Ｇ、Ｂ）に対応した電気信号が得られる必要がある。
【０００５】
図９を用いて、単板式のカラー撮像装置に用いられるベイヤー方式の色フィルタアレイ１００について説明する。
【０００６】
ベイヤー方式の色フィルタアレイ１００は、市松状に輝度信号に寄与するＧのフィルタを配置し、残りの部分にＲ、Ｂのフィルタをさらに市松状に配置している。このように配置された各色のフィルタが、各画素（フォトダイオード）に対応しており、各画素にはＲ，Ｇ，Ｂいずれかの原色成分に対応した電荷が蓄積されることとなる。
【０００７】
ベイヤー方式によると、各画素からは、いずれかの原色成分に対する電気信号が出力されることになるため、各画素に対しては、欠落している色の情報を補う必要がある。
【０００８】
たとえば、Ｒのフィルタに覆われた画素では、Ｒの情報しか持っていないため、ＧとＢを周辺の画素の値を基に推測する補間処理を行うのである。このようにして、１個のＣＣＤを利用してカラー画像を撮像するようにしている。
【０００９】
このように、近傍画素の情報を利用して補間処理を行うベイヤー方式においては、補間処理を行う領域内で同じ被写体が結像することが好ましい。たとえば、図９に太線で示した領域１１０内で、画素の補間を相互に行う場合には、領域１１０内には同じ被写体が結像することが好ましい。
【００１０】
しかし、被写体のもつコントラストパターンによっては、領域１１０よりも狭い領域内で高周波成分を持つ場合があり、このような場合には、いわゆる偽色が発生することとなる。偽色は高周波部分で発生し、被写体の輪郭部、ライン、細かな模様などで発生し、光学ＬＰＦ（ｌｏｗ−ｐａｓｓｆｉｌｔｅｒ）、補間処理等では完全に除去することができない。
【００１１】
たとえば、図１０に示すように、領域１１０内に境界１２１やドット１２２の被写体が結像している場合を想定する。この場合、領域１１０内の右下の画素１１４については、Ｂの情報しか持っていないため、画素１１１，１１２，１１３などからＲやＧの情報を補間することとなる。このため、画素１１４には本来存在しない被写体についての情報で補間処理が行われることになり、偽色が発生するのである。
【００１２】
そこで、偽色の発生する部分に対して彩度の抑圧を行い、発生した偽色を目立たなくする処理が行われている。
【００１３】
図１１は、偽色の抑圧を行う処理装置の従来構成図を示す。ＣＣＤから出力されたＲＧＢの原色成分の電気信号は、色差マトリクス回路９３に入力される。色差マトリクス回路９３において、ＲＧＢの原色成分をもつ色空間が、輝度成分（Ｙ）と、色差成分（Ｃｒ，Ｃｂ）とをもつ色空間に変換される。
【００１４】
変換された電気信号のうち、輝度成分Ｙは、輪郭強調フィルタ９５に入力される。輪郭強調フィルタ９５において、輝度成分Ｙは、ＨＰＦ（ｈｉｇｈ−ｐａｓｓｆｉｌｔｅｒ）、アンプ、ベースクリップを経て、所定値以上の高周波成分が検出される。
【００１５】
検出された高周波成分は、ＬＰＦを通過した輝度成分Ｙに加算される。これによって、輝度成分Ｙに対して輪郭強調処理が施されることとなる。
【００１６】
一方、検出された高周波部分については、前述の如く、偽色が発生している確率が高い。そこで、色差抑圧回路９７には輪郭強調フィルタ９５において高周波成分として検出された領域（画素）の情報が入力され、当該画素の色差成分Ｃｒ，Ｃｂに対して色差の抑圧制御が行われるのである。このようにして、ベイヤー方式の画像形成により生ずる偽色を目立たなくするようにしているのである。
【００１７】
【発明が解決しようとする課題】
しかしながら、上述した偽色抑圧制御では、被写体のエッジを強調する輪郭強調フィルタ９５の出力から抑圧対象となる画素を決定するため、被写体の高周波成分をすべて抑圧することになる。つまり、高周波成分（エッジ成分）の強い部分はすべて色差が抑圧されることになる。
【００１８】
そして、この場合、エッジ部分における偽色の発生を防止することはできるものの、その一方で「色抜け」と呼ばれる現象が生じてしまうという問題が存在する。「色抜け」とは、上記従来技術により色差が抑圧されたエッジ部分において色が抜けてしまう現象（色彩が失われてしまう現象）である。
【００１９】
そこで、本発明は前記問題点に鑑み、色抜けの発生を低減しつつ、偽色の発生を効果的に抑制することが可能な画像処理技術を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上記目的を達成するため、請求項１の発明は、撮像素子から入力した画像信号に所定の画像処理を施す画像処理装置であって、前記撮像素子は、３原色成分のうち、いずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が、画素ごとに所定の配列規則に従って配置されたものであり、前記撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を取得する補間手段と、３原色成分をもつ色空間の画像信号を、輝度成分と色成分とをもつ色空間の画像信号に変換する色空間変換手段と、前記輝度成分の信号値に基づいて、各画素近傍における当該輝度成分の信号値の高周波成分の含有程度を検出する高周波成分検出手段と、前記色成分の信号値に基づいて低彩度エリアを抽出する低彩度エリア抽出手段と、前記低彩度エリア内の画素については、前記高周波成分の前記含有程度の検出結果に基づいて前記色成分の信号値を抑圧する抑圧手段と、を備えることを特徴とする。
【００２１】
請求項２の発明は、請求項１の発明に係る画像処理装置において、前記抑圧手段は、前記高周波成分の含有程度に応じて、前記画素の色成分の信号値の抑圧の程度を変更することを特徴とする。
【００２２】
請求項３の発明は、請求項１または請求項２の発明に係る画像処理装置において、前記低彩度エリア抽出手段は、ローパスフィルタを用いて低彩度エリアを抽出することを特徴とする。
【００２３】
請求項４の発明は、３原色成分のうちいずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が画素ごとに所定の配列規則に従って配置された撮像素子から入力した画像信号に所定の画像処理を施す画像処理方法であって、前記撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を取得するステップと、３原色成分をもつ色空間の画像信号を、輝度成分と色成分とをもつ色空間の画像信号に変換するステップと、前記輝度成分の信号値に基づいて、各画素近傍における当該輝度成分の信号値の高周波成分の含有程度を検出するステップと、前記色成分の信号値に基づいて低彩度エリアを抽出するステップと、前記低彩度エリア内の画素については、前記高周波成分の前記含有程度の検出結果に基づいて前記色成分の信号値を抑圧するステップと、を含むことを特徴とする。
【００２４】
請求項５の発明は、コンピュータに、３原色成分のうちいずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が画素ごとに所定の配列規則に従って配置された撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行うことによって生成された、各画素についての３原色成分の画像信号を、輝度成分と色成分とをもつ色空間の画像信号に変換された状態で取得するステップと、前記輝度成分の信号値に基づいて、各画素近傍における当該輝度成分の信号値の高周波成分の含有程度を検出するステップと、前記色成分の信号値に基づいて低彩度エリアを抽出するステップと、前記低彩度エリア内の画素については、前記高周波成分の前記含有程度の検出結果に基づいて前記色成分の信号値を抑圧するステップと、を実行させるためのプログラムであることを特徴とする。
【００２５】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。まず、本実施の形態にかかる画像処理装置１０（図１参照）を搭載したデジタルカメラ３１の概略構成について説明する。
【００２６】
｛１．デジタルカメラの概略構成｝
図２は、デジタルカメラ３１の正面図である。デジタルカメラ３１は、箱型のカメラ本体部３２と直方体状の撮像部３３とから構成されている。撮像部３３の前面側には、撮像レンズであるズームレンズ３４が設けられるとともに、光学ファインダ３５が設けられている。
【００２７】
カメラ本体部３２の一端部はグリップ部３６としており、前面側の中央上部に内蔵フラッシュ３７が設けられ、上面側にはシャッタボタン３８が設けられている。
【００２８】
図示を省略するが、カメラ本体部３２の背面側には、撮像画像のモニタ表示、記録画像の再生表示等を行うための液晶ディスプレイ（ＬＣＤ）が設けられている。その他、カメラ本体部３２の背面側には、電源スイッチや、各種操作ボタン等が設けられている。
【００２９】
｛２．画像処理装置の構成｝
図１は、デジタルカメラ３１が内部に搭載する本実施形態にかかる画像処理装置１０のブロック構成図である。
【００３０】
＜２−１．ベイヤー式ＣＣＤおよび補間処理＞
ＣＣＤ１はベイヤー方式の色フィルタアレイを備えた単板式ＣＣＤである。ＣＣＤ１には、光電変換をつかさどる多数のフォトダイオードがマトリクス状に２次元配列されて各画素に対応しており、各画素は原色成分（Ｒ，Ｇ，Ｂ）のうちいずれかの色フィルタに覆われている。
【００３１】
本実施の形態では図５で示した色フィルタアレイ１００と同様に、市松状に輝度信号に寄与するＧのフィルタを配置し、残りの部分にＲ、Ｂのフィルタをさらに市松状に配置している。このようにして、各画素にはＲ，Ｇ，Ｂいずれかの原色成分に対応した電荷が蓄積されることとなる。
【００３２】
なお、ベイヤー方式の色フィルタアレイとしては、図９で示したタイプの他に、Ｇを上下方向に並べたタイプ等、いくつかの方式が存在するが、本実施形態の画像処理装置に適用できる色フィルタアレイのタイプは特に限定されるものではない。ただし、後述する補間処理においては、色フィルタアレイのタイプに応じた処理が行われる必要がある。
【００３３】
ＣＣＤ１において蓄積された電荷は、１ラインずつ順次取り出され、１次元の電気信号として出力される。さらに、各画素の電気信号は、Ａ／Ｄ変換回路（図示せぬ）において１２ｂｉｔのデジタル電気信号に変換された後、ＷＢ（ホワイトバランス）回路２に入力され、ＲＧＢのレベル変換が行われることでホワイトバランスが調整される。
【００３４】
ホワイトバランスの調整が行われた後、各画素の電気信号は補間回路３に入力され、各画素について補間処理が行われる。
【００３５】
つまり、各画素は、Ｒ，Ｇ，Ｂいずれか１つの原色成分に関する情報しか持っていないため、他の原色成分の情報を周辺の画素の値を基に推測する補間処理を行うのである。この補間処理により、各画素に対して、Ｒ，Ｇ，Ｂそれぞれ１２ｂｉｔの情報が与えられることになる。すなわち、各画素についての３原色成分の画像信号（Ｒ，Ｇ，Ｂ）が生成される。
【００３６】
補間処理が行われた後、各画素の電気信号（Ｒ，Ｇ，Ｂ）は、リニアマトリクス回路４において、所定の補正処理が行われた後、γ補正回路５に入力される。γ補正回路５において、電気信号（Ｒ，Ｇ，Ｂ）はγ補正テーブル（ＲＧＢガンマＬＵＴ）５１によって、表示ディスプレイの再現特性に応じた補正が行われる。さらに、γ補正回路５においては、１２ｂｉｔの電気信号が８ｂｉｔに圧縮される。
【００３７】
＜２−２．色空間の変換処理＞
８ｂｉｔに圧縮された電気信号（Ｒ，Ｇ，Ｂ）は、次に、色差マトリクス回路６に入力される。色差マトリクス回路６は、変換用のマトリクスであるＹマトリクス６１、Ｃｒマトリクス６２、Ｃｂマトリクス６３を備えており、ＲＧＢの原色成分（Ｒ，Ｇ，Ｂ）をもつ色空間が、輝度成分（Ｙ）と、色差成分（Ｃｒ，Ｃｂ）とをもつ色空間に変換される。
【００３８】
次の数１は、Ｙマトリクス６１、Ｃｒマトリクス６２、Ｃｂマトリクス６３を、３行３列の色差マトリクスで表現したものである。従って、ＲＧＢ色空間が、色差マトリクスによって、輝度成分と色差成分とをもつ色空間に変換されると表現することができる。
【００３９】
【数１】

【００４０】
＜２−３．輪郭強調フィルタ処理＞
色差マトリクス回路６において出力された輝度成分Ｙ（以下の説明においては、適宜、輝度成分の電気信号を輝度信号Ｙと表現する。）は、次に、輪郭（エッジ）強調フィルタ回路７に入力される。輪郭強調フィルタ回路７において、輝度信号Ｙは２つに分岐される。分岐された輝度信号Ｙのうち、１つはＨＰＦ（ｈｉｇｈ−ｐａｓｓｆｉｌｔｅｒ）７２を通過し、１つはＬＰＦ（ｌｏｗ−ｐａｓｓｆｉｌｔｅｒ）７１を通過する。
【００４１】
ＨＰＦ７２を通過した輝度信号Ｙからは、高周波成分が検出され、この検出された高周波成分をアンプ７３に入力して増幅させた後、さらにベースクリップ７４において所定値以上の高周波成分のみが検出され、出力される。
【００４２】
そして、加算器７５において、ＬＰＦ７１を通過した輝度信号Ｙに、ベースクリップ７４から出力された所定値以上の高周波成分を加算することによって、輝度信号Ｙは輪郭強調されたうえで出力されるのである。
【００４３】
なお、輝度信号Ｙは、バッファ（図示せず）に蓄積されており、このバッファに蓄積された信号Ｙをもとに対象画素のＨＰＦ処理が行われる。たとえば、本実施の形態においては、ＨＰＦ７２は５行５列の行列形式で表されており、対象画素の輝度信号Ｙ、および、対象画素の近傍の２４個の画素の輝度信号Ｙを使ってエッジ抽出処理が行われることになる。したがって、バッファには少なくともこれら２５画素の輝度信号Ｙが蓄積されている必要がある。このような必要性を満たすためには、たとえば、対象画素（注目画素）が属する水平ラインを中心とする上下２本ずつ（合計５本）の水平ラインに含まれる複数の画素の画素値を格納するための容量を有するバッファを設けておけばよい。
【００４４】
また、ＬＰＦ７１を用いた処理等についても同様であり、色差信号Ｃｒ，Ｃｂは、各フィルタのサイズ等に応じた所定容量を有するバッファに蓄積された上で、所定のＬＰＦ処理が施される。さらに、後述するＬＰＦ８２を用いた処理についても同様である。
【００４５】
＜２−４．高周波成分の検出処理＞
つぎに、高周波成分の検出処理について説明する。
【００４６】
輪郭強調フィルタ回路７のＨＰＦ７２からの出力値は、高周波成分がどの程度含まれているか、すなわち高周波成分の含有程度（言い換えれば、エッジ成分の検出レベル）の検出結果を表している。また、この出力値は、各画素について求められるので、各画素位置における高周波成分の含有程度に関する情報が取得されることになる。そして、エッジクロマキラー設定ＬＵＴ（ＬｏｏｋｕｐＴａｂｌｅ）８６を参照してこの出力値を適宜に修正することによって、両色差成分の電気信号（以下、色差信号とも称する）Ｃｒ，Ｃｂの抑圧度を求める。これにより、各画素位置の高周波成分の含有程度に応じた各画素位置の色差信号Ｃｒ，Ｃｂの抑圧度を求めることができる。
【００４７】
具体的には、ＨＰＦ７２からの出力値は、エッジクロマキラー設定ＬＵＴ８６を参照して修正された後、抑圧度を表す値として、マスキング回路８３に入力される。その後、後述する彩度情報をも考慮して、この抑圧度はマスキング回路８３においてさらに修正された後、乗算器８４，８５によって修正後の抑圧度に応じた色差信号Ｃｒ，Ｃｂの抑圧処理が行われる。
【００４８】
図３は、エッジクロマキラーの設定ＬＵＴ８６の設定内容を抑圧度曲線ＬＣとしてグラフ化して示した図である。図中、横軸は、高周波成分の含有程度を示し、縦軸は、抑圧度を示している。つまり、高周波成分の含有程度が高い画素程、高い抑圧をかけるような抑圧制御を行うのである。
【００４９】
たとえば、画素ｎにおける高周波成分の含有程度がＡｎである場合には、画素ｎにおける色差成分には２０％程度の抑圧を行うのである。また、画素ｍにおける高周波成分の含有程度がＡｍである場合には、画素ｍにおける色差成分には６０％程度の抑圧を行うのである。このように、高周波成分の含有程度が比較的高い画素ｍについては、高周波成分の含有程度が比較的低い画素ｎよりも大きな抑圧を行うようにする。これによれば、高周波成分の含有程度に応じて、画素の色成分の信号値の抑圧の程度（すなわち抑圧制御の程度）を変更しているので、出力画像に不自然さが残らないような抑圧制御が可能となる。
【００５０】
ただし、ノイズ成分を除去するため、高周波成分の含有程度が小さいときには抑圧度を低めの値に設定し、抑圧度が過度に大きくならないようにすることが好ましい。たとえば、図３に示すように、高周波成分の含有程度がＡｎよりも小さいときには、抑圧度曲線ＬＣが仮想的な正比例直線ＬＬよりも下側に存在するようにすることが好ましい。
【００５１】
＜２−５．低彩度エリアの抽出処理＞
つぎに、低彩度エリアの抽出処理について説明する。
【００５２】
この低彩度エリア抽出処理においては、色差信号（色差成分の電気信号）Ｃｒ，Ｃｂに基づいて、低彩度エリアを抽出する。ここで、「低彩度エリア」とは、各画素位置の近傍領域における彩度が所定程度よりも低い部分を意味するものとする。
【００５３】
具体的には、まず、絶対値加算回路８１において、色差信号Ｃｒ（＝Ｒ−Ｙ）の絶対値と色差信号Ｃｂ（＝Ｂ−Ｙ）の絶対値とを加算する。ここで、Ｒはレッド成分の画像信号、Ｂはブルー成分の画像信号、Ｙは輝度信号を表す。
【００５４】
そして、各画素を中心位置とする所定サイズ（たとえば５画素×５画素のサイズ）のＬＰＦ８２を用いた処理を行うことによって、高周波成分を除去する。ＬＰＦ８２を用いることによって、絶対値加算回路８１の出力値から色相の遷移等に伴う高周波成分を除去することが可能になるので、彩度の高い部分をより的確に抽出することができる。
【００５５】
このＬＰＦ８２からの出力値は、マスキング回路８３に入力される。このマスキング回路８３では、ＬＰＦ８２からの出力値を各ビットに対するＮＯＴ演算を行うことにより反転させた値（以下、反転値とも称する）を用いたマスク処理が行われる。ここで、ＬＰＦ８２からの出力値に対する反転値は、その大小関係が元の出力値におけるものと逆になるので、彩度が低い程大きな値となる。すなわち、この反転値は、低彩度の程度を表す指標値である。したがって、当該反転値が所定値よりも大きな値を有する画素を低彩度エリア内の画素として抽出することができる。また、上述したようにＬＰＦ８２を用いることによって、絶対値加算回路８１の出力値から色相の遷移等に伴う高周波成分を除去することが可能になるので、低彩度エリアをより的確に抽出することができる。
【００５６】
＜２−６．色差信号の抑圧処理＞
つぎに、色差信号の抑圧処理について説明する。
【００５７】
クロマキラー回路８０は、輝度信号Ｙの高周波成分の含有程度と色差信号Ｃｒ，Ｃｂに基づいて算出される彩度とに応じて抑圧度を算出し、算出された抑圧度に応じて色差信号Ｃｒ，Ｃｂに対する抑圧処理を施す。
【００５８】
ここでは、低彩度エリア内の画素について、その色差信号Ｃｒ，Ｃｂに対する抑圧処理を、高周波成分の含有程度に応じて行う場合を例示する。これにより、高周波成分の含有程度が高く且つ低彩度の画素について、比較的大きな抑圧処理を施すことができる。
【００５９】
具体的には、上記のＬＰＦ８２からの出力値と、エッジクロマキラー設定ＬＵＴ８６を用いて修正されたＨＰＦ７２からの出力値とが、マスキング回路８３に入力される。このマスキング回路８３では、ＬＰＦ８２からの出力値を各ビットに対するＮＯＴ演算を行うことにより反転させた値（反転値）を用いたマスク処理が行われる。具体的には、この反転値を所定の閾値ＬＶで二値化し、この二値化された値をマスクにして、エッジクロマキラー設定ＬＵＴを用いた変換処理が施されたＨＰＦ７２からの出力値に対するマスク処理演算が行われる。
【００６０】
ここで、上述したように、ＬＰＦ８２からの出力値に対する反転値は、彩度が低い程大きな値となる値、すなわち、低彩度の程度を表す指標値である。また、エッジクロマキラー設定ＬＵＴ８６を用いて修正されたＨＰＦ７２からの出力値は、高周波成分の含有程度が大きい程大きくなる値、すなわち、高周波成分の含有程度を示す指標値である。そして、これらの値を考慮して、彩度が低い画素に対して、高周波成分の含有程度が大きい程、その抑圧度をより大きな値として求める。
【００６１】
そして、求められた抑圧度を乗算器８４，８５に入力し、色差信号Ｃｒ，Ｃｂに対して乗じることによって、抑圧処理が施された色差信号Ｃｒ，Ｃｂを得るのである。
【００６２】
以上の処理により、本実施の形態にかかる画像処理装置においては、輪郭強調処理が施された輝度信号Ｙと、抑圧制御が行われた色差信号Ｃｒ，Ｃｂが出力されることになる。出力された輝度信号Ｙ、色差信号Ｃｒ，Ｃｂはバッファ９に記録された後、たとえば、ＪＰＥＧ等の圧縮規格に従った処理が行われ、画像ファイルとしてメモリカード等に保存されるのである。
【００６３】
このように、本実施形態においては、彩度が低いエリア内の画素であるとして抽出された画素に対してのみ、抑圧制御を行うようにしているので、全てのエッジ成分に対して抑圧制御を行うことによる問題を解消することができる。
【００６４】
従来は、全てのエッジ成分を抑圧していたため、発生した偽色の抑圧には効果が得られるが、その一方で、彩度が大きなエッジ部分に対しても色の抑圧がかかり不自然な色抜けが発生してしまうという問題があった。本実施形態によれば、低彩度のエッジ部分のみに色の抑圧がかけられるため、彩度が高い部分の色抜けをなくすことにより、色抜けが低減された自然な画像を得ることが可能になる。
【００６５】
｛３．色差抑圧制御処理｝
図４は、上述した色差抑圧制御処理のフローチャートである。また、図５〜図８は、画像中の所定の１本の水平ラインにおける各処理信号の一例を示す図である。図５〜図８のグラフにおいては、横軸は画像中における水平位置ｘを表し、縦軸は各信号の大きさを表す。以下では、これらの図を参照しながら、この色差抑圧制御処理について説明する。
【００６６】
まず、ステップＳ１（図４）において、ＣＣＤ１から出力されたＲＧＢの画像信号を入力する。この画像信号は、各画素におけるＲＧＢ原色成分のうち、いずれか１つの原色成分の画像信号である。
【００６７】
次のステップＳ２においては、入力した画素について、近傍の画素を用いて補間処理が行われる。この工程により、各画素においてそれぞれ３原色成分の画像信号が得られることになる（ステップＳ２）。
【００６８】
ステップＳ３においては、ＲＧＢ３原色成分の画像信号が、輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂに変換される。
【００６９】
図５においては、各信号Ｙ，Ｃｒ，Ｃｂが表されている。詳細には、図５（ａ）は輝度信号Ｙを表しており、図５（ｂ）は色差信号Ｃｒ（＝Ｒ−Ｙ）を表しており、図５（ｃ）は色差信号Ｃｂ（＝Ｂ−Ｙ）を表している。
【００７０】
最も左側の区間ＤＸ１においては、赤色成分および青色成分がともに強い色、すなわち紫色を有する画素が比較的多く分布している。
【００７１】
また、最も右側の区間ＤＸ３においては、色差信号Ｃｒ，Ｃｂがいずれもほとんどゼロで輝度信号が高い部分、すなわち白色の画素が比較的多く分布している。また、区間ＤＸ３の色差信号Ｃｒ，Ｃｂにおいては、パルス状の部分が存在する。このパルス状部分は、上記の補間処理（ステップＳ２）によって発生した偽色を表す部分である。すなわち、区間ＤＸ３では、全体的に白色を帯びた領域内にパルス状の偽色部分が存在している。
【００７２】
さらに、区間ＤＸ２においても、同様にパルス状の偽色部分が発生している。ただし、区間ＤＸ２は区間ＤＸ３よりも大きな彩度を有している点で、区間ＤＸ３と相違している。
【００７３】
以下の抑圧処理によれば、区間ＤＸ２内の偽色部分を変化させないことにより色抜けを防止し、かつ、区間ＤＸ３の低彩度領域内のパルス状の偽色部分を低減することが可能になる。
【００７４】
ステップＳ４においては、ステップＳ３で得られた輝度信号Ｙに基づいて、注目画素近傍における高周波成分の含有程度が検出される。
【００７５】
図６は、輝度信号Ｙと、高周波成分の含有程度を表す値として検出された信号ＹＰとを示す図である。詳細には、図６（ｂ）は、ＨＰＦ７２により処理した輝度信号Ｙを、エッジクロマキラー設定ＬＵＴ８６を参照してさらに修正した信号ＹＰを表しており、図６（ａ）は、図５（ａ）と同一の輝度信号Ｙを表している。
【００７６】
図６（ｂ）に示すように、このＨＰＦ７２は微分フィルタとして機能し、エッジ部分が抽出されている。また、このエッジ部分は、上記の偽色発生部分の位置と同一の位置に存在している。これは、上述の「偽色」がエッジ部分の存在に起因するものだからである。
【００７７】
そして、ステップＳ５においては、ステップＳ３で得られた色差信号Ｃｒ，Ｃｂに基づいて、注目画素近傍における彩度が検出される。図７を参照しながら、低彩度エリアの抽出動作について説明する。
【００７８】
まず、図７（ｃ）においては、絶対値加算回路８１による加算結果としての信号ＳＧ１が示されている。この信号ＳＧ１は、具体的には、色差信号Ｃｒの絶対値と色差信号Ｃｂの絶対値とを加算した信号である。なお、図７（ａ）および図７（ｂ）においては、それぞれ、図５（ｂ）および図５（ｃ）と同一の信号Ｃｒ，Ｃｂが表されている。
【００７９】
さらに、図７（ｄ）は、この信号ＳＧ１に対してさらにＬＰＦ８２による処理を施した信号ＳＧ２を表す図である。これによって、信号全体に対して、「平滑化処理」が施され、高周波成分が除去された信号ＳＧ２を得ることができる。
【００８０】
また、図７（ｅ）は、この信号ＳＧ２をｘ軸に関して折り返して所定値（最大値）だけ全体的に底上げした信号ＳＧ３を表す図である。この信号ＳＧ３は、信号ＳＧ２の反転値に相当し、彩度が低い程大きな値を有する信号、すなわち、低彩度の度合いを示す信号である。
【００８１】
さらに、この信号ＳＧ３が所定の閾値ＬＶ以上であるか否かに応じて修正を加えた信号ＳＧ４を生成する。図７（ｆ）は、この信号ＳＧ４を表す図である。信号ＳＧ４の値は、元の信号ＳＧ３が閾値ＬＶ以上のときには「１」となり、元の信号ＳＧ３が閾値ＬＶより小さいときには値「０」となる。この信号ＳＧ４が値「１」を有するエリア（図中の区間ＤＸ４）は、彩度が比較的低いエリア、すなわち「低彩度エリア」である。ここでは、説明の簡略化のため、低彩度エリアである区間ＤＸ４は、区間ＤＸ３とほぼ同一の区間として検出されるものとする。
【００８２】
そして、ステップＳ６において、各注目画素について、注目画素近傍における高周波成分の含有程度と注目画素近傍における彩度の程度とに応じて、色差信号Ｃｒ，Ｃｂの抑圧を行う。図８を参照しながらこの抑圧動作について説明する。
【００８３】
具体的には、図８（ｃ）に示すように、信号ＹＰを信号ＳＧ４でマスクすることによって、信号ＳＧ５を生成する。この信号ＳＧ５は、低彩度エリア外ではゼロであり、かつ、低彩度エリア内においては各位置における高周波成分の含有程度が大きいほど大きな値となる信号である。なお、図８（ａ）においては信号ＳＧ４が表され、図８（ｂ）においては信号ＹＰが表されている。
【００８４】
そして、生成された信号ＳＧ５と色差信号Ｃｒとの乗算によって、修正後の色差信号Ｃｒが生成される。同様に、この信号ＳＧ５と色差信号Ｃｂとの乗算によって、修正後の色差信号Ｃｂが生成される。なお、図８（ｄ）においては、修正後の色差信号Ｃｒが表され、図８（ｅ）においては、修正後の色差信号Ｃｂが表されている。また、修正前の色差信号Ｃｒ，Ｃｂは、それぞれ、図７（ａ），図７（ｂ）などに示されている。
【００８５】
そして、ステップＳ７において、各注目画素について、輝度信号Ｙと修正後の色差信号Ｃｒ，Ｃｂとが出力される。
【００８６】
上記の信号ＳＧ５を用いた抑圧処理を行うことによって、低彩度エリア内の画素に対してのみ抑圧処理を行うことが可能であり、なおかつ、各画素に対する抑圧度を、その画素についての高周波成分の含有程度が大きいほど大きな値とすることができる。これにより、偽色の発生を効果的に抑制することができる。
【００８７】
図５〜図８の例においては、区間ＤＸ４内の白色領域（低彩度エリア）における偽色が除去されている。偽色は低彩度エリアでは特に目立ちやすいという特質を有しているので、偽色を低彩度エリアから除去することによって、より自然な画像にすることができる。
【００８８】
一方、区間ＤＸ２内の高彩度エリアでは、抑圧がなされていない（あるいは抑圧の程度が抑制されている）ことによって、偽色が残ったままになっている。高彩度エリアでは、偽色は目立ちにくく、その一方で、色抜けは目立ち易いという特質が存在する。したがって、このような特質を利用して、高彩度エリアでは偽色を除去しない（あるいは除去の程度を抑制する）ことによって、彩度が高い部分で「色抜け」が生じることを防止しつつ、自然な画像を得ることができる。すなわち、偽色の発生を効果的に抑制することが可能である。
【００８９】
以上説明した本実施の形態にかかる画像処理装置は、デジタルカメラ、デジタルビデオなど、ベイヤー方式などの各種の色フィルタアレイを備えたＣＣＤから画像信号を入力するあらゆる機器に適応可能である。
【００９０】
｛４．変形例｝
＜彩度の利用＞
上述した実施形態においては、二値化信号ＳＧ４に基づいて低彩度エリアを判別したが、二値化される前の信号ＳＧ３を用いてより精緻な抑圧処理を行うようにしても良い。すなわち、彩度の程度に応じて抑圧処理を行うようにしても良い。より詳細には、彩度が低い程より大きな抑圧度を用いて抑圧処理を行うようにしても良い。
【００９１】
詳細には、低彩度の程度を表す信号ＳＧ３を、高周波成分の含有程度を表す信号ＹＰに乗じることによって抑圧用の信号を生成し、その生成された信号を各色差信号Ｃｒ，Ｃｂにさらに乗じる。これにより、抑圧処理が施された色差信号Ｃｒ，Ｃｂを生成することができる。したがって、高周波成分の含有程度が高い程より大きな抑圧度を用いて抑圧処理を行い、かつ、彩度が低い程より大きな抑圧度を用いて抑圧処理を行うことができる。
【００９２】
この場合、彩度の度合い（程度）に応じて、より精緻な抑圧処理を施すことができるので、より的確に偽色の発生を抑制することが可能になる。なお、この場合、低彩度の程度を示す信号ＳＧ３を用いて抑圧度を求めることが、各画素が低彩度エリア内の画素であるか否かを判定すること（言い換えれば、低彩度エリアを抽出してその低彩度エリア内の画素についてその色差信号の抑圧処理を施すこと）に対応している。
【００９３】
＜色差信号以外の色信号＞
また、上記実施形態においては、色成分を表す信号（色信号）として、色差信号を抑圧する場合を例示しているが、これに限定されない。たとえば、色差信号以外の色信号（たとえば、彩度のみを表す信号）に対して上記と同様の思想を用いて抑圧処理を行うようにしても良い。
【００９４】
＜他方式のＣＣＤ＞
さらに、上記実施形態においては、各色成分画素が市松状に配置されたベイヤー方式のＣＣＤを利用する場合を例示したが、これに限定されない。
【００９５】
たとえば、Ｒ成分およびＢ成分が交互に配置されるラインと、Ｇ成分が一列に配置されるラインとが交互に配置されるストライプ状配列を有するＣＣＤにより撮像された画像に対して本発明を適用しても良い。
【００９６】
さらには、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各色を有する原色ＣＣＤではなく、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）の各色を有する補色ＣＣＤを用いるようにしても良い。
【００９７】
このように、近傍画素の情報（画像信号）を利用して補間処理を行う方式を採用する場合において、偽色の発生を効果的に抑制することが可能である。
【００９８】
＜コンピュータを用いた実現＞
また、上記実施形態においては、デジタルカメラ３１内のハードウエア回路によって所定の画像処理を実現していたが、これに限定されず、パーソナルコンピュータ（単に「コンピュータ」とも称する）などにおいて所定のソフトウエアプログラム（単に「プログラム」とも称する）を実行することによって、上記の画像処理を実現するようにしても良い。
【００９９】
なお、このようなプログラムは、コンピュータ読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等）に記録された状態で提供されても良い。ユーザはこのような記録媒体をコンピュータに読み込ませることによって、コンピュータを上述したような画像処理機能を有する画像処理装置として機能させることができる。また、このようなプログラムは、記録媒体として提供されるだけでなく、ネットワークを介して提供されてもよい。この場合、コンピュータがネットワークを介して取り込んだプログラムを、そのコンピュータ上で実行するようにしてもよい。
【０１００】
また、この場合において、各画素についての３原色成分の画像信号を、デジタルカメラ３１が各画素の近傍画素の画像信号を用いて補間処理により生成しておき、生成された３原色成分の画像信号（画像データ）を所定のコンピュータが読み込むようにしても良い。その後、コンピュータは、この画像信号（画像データ）に対して、色空間変換動作を行うことによって、輝度成分と色成分とをもつ色空間の画像信号に変換された状態で、各画素についての３原色成分の画像信号を取得することができる。あるいは、デジタルカメラ３１側で、各画素についての３原色成分の画像信号を、輝度成分と色成分とをもつ色空間の画像信号に予め変換しておき、変換された画像信号をコンピュータに読み込むようにしてもよい。このようにして、コンピュータは、輝度成分と色成分とをもつ色空間の画像信号に変換された状態で各画素についての３原色成分の画像信号を取得した後、ステップＳ４以降の動作を行うようにすればよい。
【０１０１】
＜線分抽出＞
さらに、上記実施形態においては、ＨＰＦ７２を用いて高周波成分の含有程度を検出しているが、これに限定されず、高周波成分として線分成分を検出するようにしてもよい。具体的には、輪郭強調フィルタ回路７内で分岐された輝度信号Ｙをソーベル線分抽出フィルタを用いることによって、輝度信号Ｙから線分成分を抽出できる。ソーベル線分抽出フィルタＡ１〜Ａ４を数２に示す。
【０１０２】
【数２】

【０１０３】
数２において、フィルタＡ１は、右上がりの斜線の境界を検出する空間フィルタであり、フィルタＡ２は、縦線の境界を検出する空間フィルタであり、フィルタＡ３は、右下がりの斜線の境界を検出する空間フィルタであり、フィルタＡ４は、横線の境界を検出する空間フィルタである。各線分抽出フィルタＡ１〜Ａ４は３行３列の行列形式で表されており、対象画素の輝度信号Ｙ、および、対象画素の８近傍の画素の輝度信号Ｙを使って線分抽出処理が行われる。
【０１０４】
具体的には、注目画素について線分抽出フィルタＡ１を施した場合を例にとると、注目画素および８近傍画素の輝度信号Ｙの値に、フィルタＡ１の対応する各成分を係数として乗算し、これらの演算値の合計値を得る。そして、この合計値の絶対値が所定の値よりも大きくなる場合には、注目画素はフィルタＡ１により線分成分として判断されることになるのである。そして、上記の演算値（合計値）は注目画素における線分の検出レベルを表すことになる。つまり、各線分フィルタＡ１〜Ａ４のいずれか空間フィルタを用いた演算値（合計値）は、その値が大きい程、線分としての検出度合が大きいことを意味するのである。
【０１０５】
このような線分検出用のフィルタを用いることによって、高周波成分として線分成分を検出することができる。これによれば、線分として認識できるエッジ領域に対してのみ抑圧制御を行い、ドット程度の高周波成分領域に対しては抑圧制御を行わないようにすることができる。したがって、ドット部分の「色抜け」をさらに的確に防止しつつ効率的に偽色の発生を効果的に抑制できる。
【０１０６】
【発明の効果】
以上のように、請求項１ないし請求項５に記載の発明によれば、低彩度エリア内の画素については、高周波成分の前記含有程度の検出結果に基づいて色成分の信号値を抑圧するので、色抜けを低減しつつ偽色の発生を効果的に抑制できる。
【０１０７】
特に、請求項２に記載の発明によれば、高周波成分の含有程度に応じて、画素の色成分の信号値の抑圧の程度が変更されるので、より的確に偽色の発生を防止できる。
【０１０８】
また、請求項３に記載の発明によれば、ローパスフィルタを用いることにより、低彩度エリアをより的確に抽出できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置１０のブロック構成図である。
【図２】デジタルカメラ３１の正面図である。
【図３】エッジクロマキラーの設定ＬＵＴ８６の設定内容をグラフ化して示す図である。
【図４】色差抑圧制御処理を示すフローチャートである。
【図５】画像中の所定の１本の水平ラインにおける色差抑圧制御処理前の各処理信号Ｙ，Ｃｒ，Ｃｂの一例を示す図である。
【図６】輝度信号Ｙと、高周波成分の含有程度を表す値として検出された信号ＹＰとを示す図である。
【図７】低彩度エリアの抽出動作について説明する図である。
【図８】抑圧動作について説明する図である。
【図９】ベイヤー方式ＣＣＤにおける色フィルタアレイの一例を示す図である。
【図１０】高周波成分をもつ被写体の光学像がベイヤー方式のＣＣＤに結像した状態を示す図である。
【図１１】従来の画像処理装置のブロック図である。
【符号の説明】
１０画像処理装置
１００色フィルタアレイ
３１デジタルカメラ
８０クロマキラー回路
８１絶対値加算回路
９３色差マトリクス回路
９５輪郭強調フィルタ
９７色差抑圧回路
Ｃｒ，Ｃｂ色差信号
Ｙ輝度信号[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a configuration of an image processing apparatus used in a digital camera or the like and an image processing method.
[0002]
[Prior art]
In a digital camera, a digital video camera, and the like, a CCD (Charge Coupled Device) has been conventionally used as an image capturing device. A CCD is configured by arranging a large number of photodiodes that control photoelectric conversion in a matrix.
[0003]
An optical image of a subject incident on the CCD through an optical system including an imaging lens is photoelectrically converted by a photodiode and then accumulated. The charges accumulated in the photodiodes arranged in a matrix are sequentially taken out from the CCD and then transferred to the image processing circuit to be detected as an image signal.
[0004]
In this way, the CCD plays a role of accumulating charges according to the contrast of the optical image and outputting it as an electrical signal. In order to obtain a color image, it corresponds to the three primary color components (R, G, B). An electrical signal needs to be obtained.
[0005]
A Bayer color filter array 100 used in a single-plate color imaging device will be described with reference to FIG.
[0006]
In the Bayer color filter array 100, G filters that contribute to luminance signals are arranged in a checkered pattern, and R and B filters are further arranged in a checkered pattern in the remaining part. Each color filter arranged in this manner corresponds to each pixel (photodiode), and the charge corresponding to one of the primary color components of R, G, and B is accumulated in each pixel.
[0007]
According to the Bayer method, each pixel outputs an electrical signal for one of the primary color components, and therefore it is necessary to compensate for the missing color information for each pixel.
[0008]
For example, since the pixel covered with the R filter has only R information, interpolation processing for estimating G and B based on the values of the surrounding pixels is performed. In this way, a color image is picked up using one CCD.
[0009]
As described above, in the Bayer method in which interpolation processing is performed using information on neighboring pixels, it is preferable that the same subject is imaged in a region in which interpolation processing is performed. For example, in the case where the pixels are mutually interpolated in the area 110 indicated by a thick line in FIG. 9, it is preferable that the same subject is imaged in the area 110.
[0010]
However, depending on the contrast pattern of the subject, there may be a high frequency component in a region narrower than the region 110. In such a case, a so-called false color is generated. The false color is generated in a high frequency portion, is generated in a contour portion, a line, or a fine pattern of the subject, and cannot be completely removed by optical LPF (low-pass filter), interpolation processing, or the like.
[0011]
For example, as shown in FIG. 10, a case is assumed in which a subject having a boundary 121 or a dot 122 is formed in an area 110. In this case, since the lower right pixel 114 in the area 110 has only B information, R and G information is interpolated from the

pixels

111, 112, 113, and the like. For this reason, interpolation processing is performed with information about a subject that does not originally exist in the pixel 114, and a false color is generated.
[0012]
In view of this, the saturation is suppressed for the portion where the false color is generated, and the generated false color is made inconspicuous.
[0013]
FIG. 11 shows a conventional block diagram of a processing apparatus that suppresses false colors. The RGB primary color component electrical signals output from the CCD are input to the color difference matrix circuit 93. In the color difference matrix circuit 93, a color space having RGB primary color components is converted into a color space having a luminance component (Y) and color difference components (Cr, Cb).
[0014]
Of the converted electrical signal, the luminance component Y is input to the contour enhancement filter 95. In the edge emphasis filter 95, the luminance component Y is detected as a high-frequency component equal to or higher than a predetermined value via an HPF (high-pass filter), an amplifier, and a base clip.
[0015]
The detected high frequency component is added to the luminance component Y that has passed through the LPF. As a result, the edge enhancement process is performed on the luminance component Y.
[0016]
On the other hand, the detected high frequency portion has a high probability that a false color is generated as described above. Therefore, the color difference suppression circuit 97 receives information on the region (pixel) detected as a high-frequency component in the edge enhancement filter 95, and performs color difference suppression control on the color difference components Cr and Cb of the pixel. In this way, the false color generated by the Bayer image formation is made inconspicuous.
[0017]
[Problems to be solved by the invention]
However, in the false color suppression control described above, since the pixel to be suppressed is determined from the output of the contour enhancement filter 95 that emphasizes the edge of the subject, all high-frequency components of the subject are suppressed. That is, the color difference is suppressed for all the portions with high frequency components (edge components).
[0018]
In this case, although the occurrence of false color at the edge portion can be prevented, there is a problem that a phenomenon called “color loss” occurs. “Color loss” is a phenomenon in which a color is lost (a phenomenon in which color is lost) in an edge portion in which a color difference is suppressed by the above-described conventional technique.
[0019]
In view of the above problems, an object of the present invention is to provide an image processing technique capable of effectively suppressing the occurrence of false colors while reducing the occurrence of color loss.
[0020]
[Means for Solving the Problems]
In order to achieve the above object, an invention according to claim 1 is an image processing apparatus for performing predetermined image processing on an image signal input from an image sensor, wherein the image sensor is one of the primary colors of the three primary color components. Three types of photoelectric conversion elements that respectively output component image signals are arranged according to a predetermined arrangement rule for each pixel, and an image of a neighboring pixel with respect to the image signal of each pixel input from the image sensor Interpolation means that performs interpolation processing using signals to obtain image signals of the three primary color components for each pixel, an image signal of the color space having the three primary color components, and an image signal of the color space having the luminance component and the color component A color space converting means for converting to a high-frequency component detecting means for detecting a degree of inclusion of a high-frequency component in the signal value of the luminance component in the vicinity of each pixel based on the signal value of the luminance component; In Therefore, the low saturation area extraction means for extracting the low saturation area and the pixel in the low saturation area suppress the signal value of the color component based on the detection result of the content level of the high frequency component. And a suppression means.
[0021]
According to a second aspect of the present invention, in the image processing apparatus according to the first aspect of the invention, the suppression means changes the degree of suppression of the signal value of the color component of the pixel in accordance with the degree of inclusion of the high-frequency component. It is characterized by.
[0022]
According to a third aspect of the present invention, in the image processing apparatus according to the first or second aspect of the present invention, the low saturation area extraction means extracts a low saturation area using a low-pass filter.
[0023]
The invention according to claim 4 is an image signal input from an image sensor in which three types of photoelectric conversion elements that output image signals of any one of the three primary color components are arranged according to a predetermined arrangement rule for each pixel. An image processing method for performing predetermined image processing, wherein interpolation processing is performed on an image signal of each pixel input from the image sensor using an image signal of a neighboring pixel, and an image signal of three primary color components for each pixel A step of converting an image signal in a color space having three primary color components into an image signal in a color space having a luminance component and a color component, and a neighborhood of each pixel based on the signal value of the luminance component Detecting a high frequency component content level of the signal value of the luminance component, extracting a low saturation area based on the signal value of the color component, and pixels in the low saturation area. It is characterized in that it comprises a step of suppressing the signal values of the color components on the basis of the content about the detection result of the high-frequency component.
[0024]
According to the invention of claim 5, three types of photoelectric conversion elements that respectively output image signals of any one of the three primary color components are input to the computer from an image sensor in which each pixel is arranged according to a predetermined arrangement rule. An image signal of three primary color components for each pixel generated by performing an interpolation process using an image signal of a neighboring pixel with respect to the image signal of each pixel is converted into a color space having a luminance component and a color component. Acquiring in a state converted into an image signal, detecting a high-frequency component content level in the vicinity of each pixel based on the signal value of the luminance component, and the signal of the color component A step of extracting a low saturation area based on the value, and a signal value of the color component based on a detection result of the degree of inclusion of the high frequency component for the pixels in the low saturation area. Characterized in that it is a program for the steps of pressurizing, the execution.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. First, a schematic configuration of a digital camera 31 equipped with the image processing apparatus 10 (see FIG. 1) according to the present embodiment will be described.
[0026]
{1. Schematic configuration of digital camera}
FIG. 2 is a front view of the digital camera 31. The digital camera 31 includes a box-shaped camera main body 32 and a rectangular parallelepiped imaging unit 33. A zoom lens 34 that is an imaging lens is provided on the front side of the imaging unit 33, and an optical viewfinder 35 is provided.
[0027]
One end of the camera body 32 is a grip part 36, a built-in flash 37 is provided at the center upper part on the front side, and a shutter button 38 is provided on the upper side.
[0028]
Although not shown, a liquid crystal display (LCD) for performing monitor display of a captured image, reproduction display of a recorded image, and the like is provided on the back side of the camera body 32. In addition, a power switch, various operation buttons, and the like are provided on the back side of the camera body 32.
[0029]
{2. Configuration of image processing apparatus}
FIG. 1 is a block configuration diagram of an image processing apparatus 10 according to the present embodiment that is mounted in a digital camera 31.
[0030]
<2-1. Bayer CCD and interpolation processing>
The CCD 1 is a single-plate CCD having a Bayer color filter array. In the CCD 1, a large number of photodiodes that control photoelectric conversion are two-dimensionally arranged in a matrix to correspond to each pixel, and each pixel is covered with any one of the primary color components (R, G, B). It has been broken.
[0031]
In the present embodiment, like the color filter array 100 shown in FIG. 5, G filters that contribute to luminance signals are arranged in a checkered pattern, and R and B filters are further arranged in a checkered pattern in the remaining portions. Yes. In this way, charges corresponding to any of the primary color components of R, G, and B are accumulated in each pixel.
[0032]
In addition to the type shown in FIG. 9, there are several types of Bayer type color filter arrays, such as a type in which G is arranged in the vertical direction, which can be applied to the image processing apparatus of this embodiment. The type of the color filter array is not particularly limited. However, in the interpolation processing described later, it is necessary to perform processing according to the type of the color filter array.
[0033]
The charges accumulated in the CCD 1 are sequentially taken out line by line and output as a one-dimensional electrical signal. Further, the electrical signal of each pixel is converted into a 12-bit digital electrical signal by an A / D conversion circuit (not shown), and then input to the WB (white balance) circuit 2 to perform RGB level conversion. To adjust the white balance.
[0034]
After the white balance is adjusted, the electric signal of each pixel is input to the interpolation circuit 3 and interpolation processing is performed for each pixel.
[0035]
That is, since each pixel has only information on one of the primary color components of R, G, and B, an interpolation process for estimating information on other primary color components based on the values of surrounding pixels is performed. By this interpolation processing, 12-bit information for each of R, G, and B is given to each pixel. That is, an image signal (R, G, B) of three primary color components for each pixel is generated.
[0036]
After the interpolation processing is performed, the electrical signals (R, G, B) of each pixel are input to the γ correction circuit 5 after predetermined correction processing is performed in the linear matrix circuit 4. In the γ correction circuit 5, the electrical signals (R, G, B) are corrected according to the reproduction characteristics of the display display by a γ correction table (RGB gamma LUT) 51. Further, in the γ correction circuit 5, the 12-bit electric signal is compressed to 8 bits.
[0037]
<2-2. Color space conversion processing>
The electrical signals (R, G, B) compressed to 8 bits are then input to the color difference matrix circuit 6. The color difference matrix circuit 6 includes a Y matrix 61, a Cr matrix 62, and a Cb matrix 63, which are conversion matrices, and a color space having RGB primary color components (R, G, B) is a luminance component (Y). And a color space having color difference components (Cr, Cb).
[0038]
The following equation 1 represents the Y matrix 61, the Cr matrix 62, and the Cb matrix 63 as a color difference matrix of 3 rows and 3 columns. Therefore, it can be expressed that the RGB color space is converted into a color space having a luminance component and a color difference component by the color difference matrix.
[0039]
[Expression 1]

[0040]
<2-3. Outline enhancement filter processing>
The luminance component Y output in the color difference matrix circuit 6 (in the following description, the electric signal of the luminance component is appropriately expressed as the luminance signal Y) is then input to the contour (edge) enhancement filter circuit 7. The In the edge enhancement filter circuit 7, the luminance signal Y is branched into two. Of the branched luminance signal Y, one passes through a high-pass filter (HPF) 72 and one passes through a low-pass filter (LPF) 71.
[0041]
A high-frequency component is detected from the luminance signal Y that has passed through the HPF 72, and after the detected high-frequency component is input to the amplifier 73 and amplified, only the high-frequency component equal to or greater than a predetermined value is detected in the base clip 74, Is output.
[0042]
Then, the adder 75 adds the high frequency component equal to or higher than the predetermined value output from the base clip 74 to the luminance signal Y that has passed through the LPF 71, so that the luminance signal Y is output after the edge enhancement. .
[0043]
The luminance signal Y is accumulated in a buffer (not shown), and the HPF process of the target pixel is performed based on the signal Y accumulated in the buffer. For example, in the present embodiment, the HPF 72 is expressed in a matrix of 5 rows and 5 columns, and an edge is obtained using the luminance signal Y of the target pixel and the luminance signals Y of 24 pixels near the target pixel. Extraction processing is performed. Therefore, it is necessary that the luminance signal Y of at least 25 pixels is accumulated in the buffer. In order to satisfy such a need, for example, pixel values of a plurality of pixels included in two horizontal lines (a total of five) centering on the horizontal line to which the target pixel (target pixel) belongs are stored. It is only necessary to provide a buffer having a capacity to do so.
[0044]
The same applies to processing using the LPF 71 and the like, and the color difference signals Cr and Cb are stored in a buffer having a predetermined capacity corresponding to the size of each filter, and then subjected to predetermined LPF processing. The same applies to processing using the LPF 82 described later.
[0045]
<2-4. High-frequency component detection processing>
Next, high-frequency component detection processing will be described.
[0046]
The output value from the HPF 72 of the contour enhancement filter circuit 7 represents the detection result of how much high-frequency components are included, that is, the content of high-frequency components (in other words, the detection level of edge components). Further, since this output value is obtained for each pixel, information on the high frequency component content at each pixel position is acquired. Then, by referring to an edge chroma killer setting LUT (Lookup Table) 86 and appropriately correcting the output value, the degree of suppression of electrical signals (hereinafter also referred to as color difference signals) Cr and Cb of both color difference components is obtained. As a result, the degree of suppression of the color difference signals Cr and Cb at each pixel position according to the degree of high-frequency component content at each pixel position can be obtained.
[0047]
Specifically, the output value from the HPF 72 is corrected with reference to the edge chroma killer setting LUT 86 and then input to the masking circuit 83 as a value representing the degree of suppression. Thereafter, in consideration of saturation information, which will be described later, this suppression degree is further corrected in the masking circuit 83, and thereafter, the

multipliers

84 and 85 perform suppression processing of the color difference signals Cr and Cb according to the corrected suppression degree. Done.
[0048]
FIG. 3 is a graph showing the setting contents of the edge chroma killer setting LUT 86 as a suppression degree curve LC. In the figure, the horizontal axis indicates the degree of high-frequency component content, and the vertical axis indicates the degree of suppression. That is, the suppression control is performed so that the higher the high-frequency component content is, the higher the suppression is.
[0049]
For example, when the high frequency component content in the pixel n is An, the color difference component in the pixel n is suppressed by about 20%. Further, when the high frequency component content in the pixel m is Am, the color difference component in the pixel m is suppressed by about 60%. As described above, the pixel m having a relatively high content of high-frequency components is subjected to greater suppression than the pixel n having a relatively low content of high-frequency components. According to this, since the degree of suppression of the signal value of the color component of the pixel (that is, the degree of suppression control) is changed according to the content of the high-frequency component, unnaturalness does not remain in the output image. Suppression control is possible.
[0050]
However, in order to remove the noise component, it is preferable to set the degree of suppression to a lower value when the content of the high frequency component is small so that the degree of suppression does not become excessively large. For example, as shown in FIG. 3, when the degree of high-frequency component content is smaller than An, it is preferable that the suppression degree curve LC exist below the virtual direct proportional line LL.
[0051]
<2-5. Low saturation area extraction processing>
Next, processing for extracting a low saturation area will be described.
[0052]
In this low saturation area extraction process, a low saturation area is extracted based on color difference signals (electrical signals of color difference components) Cr and Cb. Here, the “low saturation area” means a portion where the saturation in a region near each pixel position is lower than a predetermined level.
[0053]
Specifically, first, the absolute value adding circuit 81 adds the absolute value of the color difference signal Cr (= R−Y) and the absolute value of the color difference signal Cb (= BY). Here, R represents a red component image signal, B represents a blue component image signal, and Y represents a luminance signal.
[0054]
Then, a high-frequency component is removed by performing processing using the LPF 82 having a predetermined size (for example, a size of 5 pixels × 5 pixels) centered on each pixel. By using the LPF 82, it is possible to remove a high-frequency component accompanying a hue transition or the like from the output value of the absolute value addition circuit 81, so that a highly saturated portion can be extracted more accurately.
[0055]
The output value from the LPF 82 is input to the masking circuit 83. In this masking circuit 83, mask processing is performed using a value obtained by inverting the output value from the LPF 82 by performing a NOT operation on each bit (hereinafter also referred to as an inverted value). Here, the inversion value with respect to the output value from the LPF 82 has a magnitude relationship that is opposite to that in the original output value, and thus becomes a larger value as the saturation is lower. That is, the inversion value is an index value that represents the degree of low saturation. Therefore, a pixel whose inversion value is larger than a predetermined value can be extracted as a pixel in the low saturation area. In addition, by using the LPF 82 as described above, it is possible to remove high-frequency components associated with hue transition and the like from the output value of the absolute value addition circuit 81, so that the low saturation area can be extracted more accurately. Can do.
[0056]
<2-6. Color difference signal suppression processing>
Next, the color difference signal suppression processing will be described.
[0057]
The chroma killer circuit 80 calculates the degree of suppression according to the content of the high-frequency component of the luminance signal Y and the saturation calculated based on the color difference signals Cr and Cb, and the color difference signal Cr, according to the calculated degree of suppression. A suppression process for Cb is performed.
[0058]
Here, the case where the suppression process with respect to the color difference signals Cr and Cb is performed according to the inclusion degree of the high frequency component is illustrated for the pixels in the low saturation area. As a result, a relatively large suppression process can be performed on pixels having a high content of high-frequency components and low saturation.
[0059]
Specifically, the output value from the LPF 82 and the output value from the HPF 72 corrected using the edge chroma killer setting LUT 86 are input to the masking circuit 83. In the masking circuit 83, mask processing is performed using a value (inverted value) obtained by inverting the output value from the LPF 82 by performing a NOT operation on each bit. Specifically, the inversion value is binarized with a predetermined threshold LV, and the binarized value is used as a mask for the output value from the HPF 72 that has been subjected to the conversion process using the edge chroma killer setting LUT. A mask processing operation is performed.
[0060]
Here, as described above, the inversion value with respect to the output value from the LPF 82 is a value that becomes larger as the saturation is lower, that is, an index value representing the degree of low saturation. Further, the output value from the HPF 72 corrected using the edge chroma killer setting LUT 86 is a value that increases as the content of the high frequency component increases, that is, an index value indicating the content of the high frequency component. In consideration of these values, for a pixel with low saturation, the degree of suppression is determined as a larger value as the degree of high-frequency component content increases.
[0061]
Then, the obtained degree of suppression is input to the

multipliers

84 and 85, and the color difference signals Cr and Cb are obtained by multiplying the color difference signals Cr and Cb.
[0062]
With the above processing, in the image processing apparatus according to the present embodiment, the luminance signal Y subjected to the contour enhancement processing and the color difference signals Cr, Cb subjected to the suppression control are output. The output luminance signal Y and color difference signals Cr and Cb are recorded in the buffer 9 and then processed according to a compression standard such as JPEG, and stored as an image file in a memory card or the like.
[0063]
As described above, in this embodiment, since suppression control is performed only on pixels extracted as pixels in an area with low saturation, suppression control is performed on all edge components. The problem caused by doing can be solved.
[0064]
Conventionally, since all edge components were suppressed, it is effective to suppress the generated false color, but on the other hand, color suppression is applied to edge portions with high saturation, and unnatural colors are generated. There was a problem that omissions occurred. According to the present embodiment, since color suppression is applied only to the low-saturation edge portion, it is possible to obtain a natural image with reduced color loss by eliminating the color loss of the high-saturation portion. become.
[0065]
{3. Color difference suppression control processing}
FIG. 4 is a flowchart of the above-described color difference suppression control process. 5 to 8 are diagrams showing examples of each processing signal in a predetermined single horizontal line in the image. 5 to 8, the horizontal axis represents the horizontal position x in the image, and the vertical axis represents the magnitude of each signal. Hereinafter, the color difference suppression control process will be described with reference to these drawings.
[0066]
First, in step S1 (FIG. 4), RGB image signals output from the CCD 1 are input. This image signal is an image signal of any one primary color component among the RGB primary color components in each pixel.
[0067]
In the next step S2, interpolation processing is performed on the input pixels using neighboring pixels. With this process, an image signal of three primary color components is obtained in each pixel (step S2).
[0068]
In step S3, the RGB three primary color component image signals are converted into a luminance signal Y and color difference signals Cr and Cb.
[0069]
In FIG. 5, each signal Y, Cr, Cb is represented. Specifically, FIG. 5A shows the luminance signal Y, FIG. 5B shows the color difference signal Cr (= R−Y), and FIG. 5C shows the color difference signal Cb (= B). -Y).
[0070]
In the leftmost section DX1, a relatively large number of pixels in which both the red component and the blue component have a strong color, that is, purple are distributed.
[0071]
Further, in the rightmost section DX3, the portions where the color difference signals Cr and Cb are almost zero and the luminance signal is high, that is, white pixels are relatively distributed. Further, in the color difference signals Cr and Cb in the section DX3, there are pulse-shaped portions. This pulse-shaped portion is a portion representing a false color generated by the above-described interpolation processing (step S2). That is, in the section DX3, a pulse-like false color portion is present in a region that is generally white.
[0072]
Further, similarly in the section DX2, a pulse-like false color portion is generated. However, the section DX2 is different from the section DX3 in that it has a greater saturation than the section DX3.
[0073]
According to the following suppression processing, it is possible to prevent color loss by not changing the false color portion in the section DX2, and to reduce the pulse-like false color portion in the low saturation region of the section DX3. Become.
[0074]
In step S4, based on the luminance signal Y obtained in step S3, the degree of inclusion of high-frequency components in the vicinity of the target pixel is detected.
[0075]
FIG. 6 is a diagram showing the luminance signal Y and the signal YP detected as a value representing the degree of inclusion of high frequency components. Specifically, FIG. 6B shows a signal YP obtained by further modifying the luminance signal Y processed by the HPF 72 with reference to the edge chroma killer setting LUT 86, and FIG. 6A shows the signal YP shown in FIG. ) Represents the same luminance signal Y.
[0076]
As shown in FIG. 6B, the HPF 72 functions as a differential filter, and an edge portion is extracted. Further, the edge portion is present at the same position as the position of the false color generation portion. This is because the above-mentioned “false color” is caused by the presence of the edge portion.
[0077]
In step S5, the saturation near the target pixel is detected based on the color difference signals Cr and Cb obtained in step S3. The extraction operation of the low saturation area will be described with reference to FIG.
[0078]
First, in FIG. 7C, a signal SG1 as an addition result by the absolute value addition circuit 81 is shown. Specifically, the signal SG1 is a signal obtained by adding the absolute value of the color difference signal Cr and the absolute value of the color difference signal Cb. 7A and 7B show the same signals Cr and Cb as those in FIGS. 5B and 5C, respectively.
[0079]
Further, FIG. 7D shows a signal SG2 obtained by further processing the signal SG1 by the LPF 82. As a result, the signal SG2 from which the high-frequency component has been removed by performing the “smoothing process” on the entire signal can be obtained.
[0080]
FIG. 7E shows the signal SG3 obtained by folding the signal SG2 with respect to the x-axis and raising the entire value by a predetermined value (maximum value). This signal SG3 corresponds to an inverted value of the signal SG2, and is a signal having a larger value as the saturation is lower, that is, a signal indicating a degree of lower saturation.
[0081]
Furthermore, a signal SG4 is generated that is modified depending on whether or not the signal SG3 is equal to or greater than a predetermined threshold LV. FIG. 7F shows the signal SG4. The value of the signal SG4 is “1” when the original signal SG3 is equal to or greater than the threshold LV, and is “0” when the original signal SG3 is smaller than the threshold LV. An area (interval DX4 in the figure) where the signal SG4 has a value “1” is an area with relatively low saturation, that is, a “low saturation area”. Here, for simplification of description, it is assumed that the section DX4, which is a low saturation area, is detected as a section substantially the same as the section DX3.
[0082]
In step S6, the color difference signals Cr and Cb are suppressed for each target pixel in accordance with the high frequency component content in the vicinity of the target pixel and the saturation level in the vicinity of the target pixel. This suppression operation will be described with reference to FIG.
[0083]
Specifically, as shown in FIG. 8C, the signal SG5 is generated by masking the signal YP with the signal SG4. The signal SG5 is a signal that is zero outside the low saturation area and becomes a larger value within the low saturation area as the content of the high frequency component at each position increases. In FIG. 8A, the signal SG4 is represented, and in FIG. 8B, the signal YP is represented.
[0084]
Then, a corrected color difference signal Cr is generated by multiplying the generated signal SG5 and the color difference signal Cr. Similarly, the corrected color difference signal Cb is generated by multiplication of the signal SG5 and the color difference signal Cb. In FIG. 8D, the corrected color difference signal Cr is shown, and in FIG. 8E, the corrected color difference signal Cb is shown. The color difference signals Cr and Cb before correction are shown in FIGS. 7A and 7B, respectively.
[0085]
In step S7, the luminance signal Y and the corrected color difference signals Cr and Cb are output for each pixel of interest.
[0086]
By performing the suppression process using the above signal SG5, it is possible to perform the suppression process only for the pixels in the low saturation area, and the suppression level for each pixel is determined by the high frequency component for the pixel. The larger the content, the larger the value. Thereby, generation | occurrence | production of a false color can be suppressed effectively.
[0087]
In the example of FIGS. 5 to 8, the false color in the white region (low saturation area) in the section DX4 is removed. Since the false color has a characteristic that it is particularly conspicuous in the low saturation area, a more natural image can be obtained by removing the false color from the low saturation area.
[0088]
On the other hand, in the high saturation area in the section DX2, the false color remains because the suppression is not performed (or the degree of suppression is suppressed). In the high saturation area, there is a characteristic that false colors are not noticeable while color loss is easily noticeable. Therefore, by utilizing such characteristics, it is possible to prevent the occurrence of “color loss” in a portion with high saturation by not removing false colors (or suppressing the degree of removal) in high saturation areas. Can be obtained. That is, it is possible to effectively suppress the occurrence of false colors.
[0089]
The image processing apparatus according to the present embodiment described above can be applied to any device that inputs an image signal from a CCD having various color filter arrays such as a Bayer method, such as a digital camera and digital video.
[0090]
{4. Modifications}
<Use of saturation>
In the above-described embodiment, the low saturation area is determined based on the binarized signal SG4. However, more precise suppression processing may be performed using the signal SG3 before binarization. That is, suppression processing may be performed according to the degree of saturation. More specifically, the suppression process may be performed using a greater degree of suppression as the saturation is lower.
[0091]
More specifically, a signal for suppression is generated by multiplying the signal SG3 representing the degree of low saturation by the signal YP representing the degree of inclusion of the high frequency component, and the generated signal is further added to the color difference signals Cr and Cb. Multiply. Thereby, the color difference signals Cr and Cb subjected to the suppression process can be generated. Therefore, it is possible to perform the suppression process using a larger degree of suppression as the content of the high-frequency component is higher, and to perform the suppression process using a larger degree of suppression as the saturation is lower.
[0092]
In this case, since more precise suppression processing can be performed according to the degree (degree) of saturation, it becomes possible to more accurately suppress the occurrence of false colors. In this case, obtaining the degree of suppression using the signal SG3 indicating the degree of low saturation determines whether each pixel is a pixel in the low saturation area (in other words, low saturation). And extracting the area and subjecting the pixels in the low-saturation area to suppression processing of the color difference signal).
[0093]
<Color signals other than color difference signals>
Moreover, although the case where a color difference signal is suppressed is illustrated as a signal (color signal) showing a color component in the said embodiment, it is not limited to this. For example, suppression processing may be performed on color signals other than color difference signals (for example, signals representing only saturation) using the same idea as described above.
[0094]
<Other types of CCD>
Furthermore, in the above embodiment, the case where a Bayer type CCD in which each color component pixel is arranged in a checkered pattern is illustrated, but the present invention is not limited to this.
[0095]
For example, the present invention is applied to an image captured by a CCD having a stripe arrangement in which lines in which R components and B components are alternately arranged and lines in which G components are arranged in a row are alternately arranged. You may do it.
[0096]
Furthermore, instead of primary color CCDs having R (red), G (green), and B (blue) colors, complementary color CCDs having C (cyan), M (magenta), and Y (yellow) colors are used. May be.
[0097]
As described above, when adopting a method of performing interpolation processing using information (image signal) of neighboring pixels, it is possible to effectively suppress the occurrence of false colors.
[0098]
<Realization using a computer>
In the above embodiment, the predetermined image processing is realized by the hardware circuit in the digital camera 31. However, the present invention is not limited to this, and the predetermined software is used in a personal computer (also simply referred to as “computer”). The above image processing may be realized by executing a program (also simply referred to as “program”).
[0099]
Such a program may be provided in a state where it is recorded on a computer-readable recording medium (flexible disk, CD-ROM, DVD (Digital Versatile Disk, etc.)). The user can cause the computer to function as an image processing apparatus having the above-described image processing function by causing the computer to read such a recording medium. Further, such a program may be provided not only as a recording medium but also via a network. In this case, a program fetched via a network by a computer may be executed on the computer.
[0100]
Further, in this case, the image signal of the three primary color components for each pixel is generated by the digital camera 31 by interpolation processing using the image signal of the neighboring pixels of each pixel, and the generated image signal of the three primary color components is generated. A predetermined computer may read (image data). Thereafter, the computer performs a color space conversion operation on the image signal (image data), thereby converting the image signal into a color space image signal having a luminance component and a color component. An image signal of a primary color component can be acquired. Alternatively, on the digital camera 31 side, the image signal of the three primary color components for each pixel is converted in advance into an image signal in a color space having a luminance component and a color component, and the converted image signal is read into a computer. It may be. In this way, the computer obtains the image signal of the three primary color components for each pixel in a state converted into the image signal of the color space having the luminance component and the color component, and then performs the operations after step S4. You can do it.
[0101]
<Line segment extraction>
Furthermore, in the said embodiment, although the content degree of a high frequency component is detected using HPF72, it is not limited to this, You may make it detect a line segment component as a high frequency component. Specifically, a line segment component can be extracted from the luminance signal Y by using a Sobel line segment extraction filter for the luminance signal Y branched in the contour enhancement filter circuit 7. The Sobel line segment extraction filters A1 to A4 are shown in Equation 2.
[0102]
[Expression 2]

[0103]
In Equation 2, the filter A1 is a spatial filter that detects the boundary of the diagonal line rising to the right, the filter A2 is a spatial filter that detects the boundary of the vertical line, and the filter A3 detects the boundary of the diagonal line that descends to the right The filter A4 is a spatial filter that detects the boundary of the horizontal line. Each of the line segment extraction filters A1 to A4 is expressed in a 3 × 3 matrix format, and line segment extraction processing is performed using the luminance signal Y of the target pixel and the luminance signal Y of eight neighboring pixels of the target pixel. Is called.
[0104]
Specifically, taking as an example the case where the line segment extraction filter A1 is applied to the pixel of interest, the value of the luminance signal Y of the pixel of interest and 8 neighboring pixels is multiplied by the corresponding component of the filter A1 as a coefficient, The total value of these calculated values is obtained. When the absolute value of the total value is larger than a predetermined value, the target pixel is determined as a line segment component by the filter A1. The above calculated value (total value) represents the detection level of the line segment in the target pixel. That is, the calculated value (total value) using any one of the line filters A1 to A4 means that the greater the value, the greater the degree of detection as a line segment.
[0105]
By using such a line segment detection filter, a line segment component can be detected as a high frequency component. According to this, it is possible to perform suppression control only for edge regions that can be recognized as line segments, and not to perform suppression control for high-frequency component regions of the order of dots. Therefore, it is possible to effectively suppress the occurrence of false colors while preventing the “color loss” of the dot portion more accurately.
[0106]
【The invention's effect】
As described above, according to the first to fifth aspects of the present invention, for the pixels in the low saturation area, the signal value of the color component is suppressed based on the detection result of the degree of inclusion of the high frequency component. Therefore, the generation of false colors can be effectively suppressed while reducing color loss.
[0107]
In particular, according to the second aspect of the present invention, since the degree of suppression of the signal value of the color component of the pixel is changed according to the content of the high frequency component, generation of false color can be prevented more accurately.
[0108]
According to the third aspect of the invention, the low saturation area can be extracted more accurately by using the low-pass filter.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image processing apparatus 10 according to an embodiment of the present invention.
FIG. 2 is a front view of the digital camera 31. FIG.
FIG. 3 is a diagram showing the setting contents of an edge chroma killer setting LUT 86 in a graph.
FIG. 4 is a flowchart illustrating a color difference suppression control process.
FIG. 5 is a diagram illustrating an example of processing signals Y, Cr, and Cb before color difference suppression control processing for a predetermined single horizontal line in an image.
FIG. 6 is a diagram showing a luminance signal Y and a signal YP detected as a value representing the degree of inclusion of high-frequency components.
FIG. 7 is a diagram for explaining an operation of extracting a low saturation area.
FIG. 8 is a diagram illustrating a suppression operation.
FIG. 9 is a diagram illustrating an example of a color filter array in a Bayer CCD.
FIG. 10 is a diagram illustrating a state in which an optical image of a subject having a high-frequency component is formed on a Bayer CCD.
FIG. 11 is a block diagram of a conventional image processing apparatus.
[Explanation of symbols]
10 Image processing device
100 color filter array
31 Digital camera
80 Chroma killer circuit
81 Absolute value addition circuit
93 Color difference matrix circuit
95 Outline enhancement filter
97 Color difference suppression circuit
Cr, Cb color difference signal
Y Luminance signal

Claims

An image processing apparatus that performs predetermined image processing on an image signal input from an image sensor,
The image pickup device is one in which three types of photoelectric conversion elements that respectively output image signals of any one of the three primary color components are arranged according to a predetermined arrangement rule for each pixel.
Interpolation means for performing an interpolation process on an image signal of each pixel input from the image sensor using an image signal of a neighboring pixel, and obtaining an image signal of three primary color components for each pixel;
Color space conversion means for converting an image signal in a color space having three primary color components into an image signal in a color space having a luminance component and a color component;
High-frequency component detection means for detecting the content of the high-frequency component of the signal value of the luminance component in the vicinity of each pixel based on the signal value of the luminance component;
Low saturation area extraction means for extracting a low saturation area based on the signal value of the color component;
For pixels in the low saturation area, suppression means for suppressing the signal value of the color component based on the detection result of the degree of inclusion of the high frequency component;
An image processing apparatus comprising:

The image processing apparatus according to claim 1.
The image processing apparatus according to claim 1, wherein the suppression unit changes a degree of suppression of the signal value of the color component of the pixel in accordance with the content of the high frequency component.

The image processing apparatus according to claim 1 or 2,
The low-saturation area extracting unit extracts a low-saturation area using a low-pass filter.

An image on which predetermined image processing is performed on an image signal input from an image sensor in which three types of photoelectric conversion elements that output image signals of any one of the three primary color components are arranged according to a predetermined arrangement rule for each pixel A processing method,
Interpolating the image signal of each pixel input from the image sensor using an image signal of a neighboring pixel to obtain an image signal of three primary color components for each pixel;
Converting an image signal in a color space having three primary color components into an image signal in a color space having a luminance component and a color component;
Detecting the content level of the high-frequency component of the signal value of the luminance component in the vicinity of each pixel based on the signal value of the luminance component;
Extracting a low saturation area based on a signal value of the color component;
For pixels in the low saturation area, suppressing the signal value of the color component based on the detection result of the degree of inclusion of the high frequency component;
An image processing method comprising:

On the computer,
Three types of photoelectric conversion elements that respectively output image signals of any one of the three primary color components are adjacent to the image signal of each pixel input from an image sensor that is arranged according to a predetermined arrangement rule for each pixel. An image signal of the three primary color components for each pixel generated by performing an interpolation process using the image signal of the pixel is acquired in a state converted into an image signal of a color space having a luminance component and a color component. Steps,
Detecting the content level of the high-frequency component of the signal value of the luminance component in the vicinity of each pixel based on the signal value of the luminance component;
Extracting a low saturation area based on a signal value of the color component;
For pixels in the low saturation area, suppressing the signal value of the color component based on the detection result of the degree of inclusion of the high frequency component;
A program for running