JP3617455B2

JP3617455B2 - Image processing apparatus, image processing method, and recording medium

Info

Publication number: JP3617455B2
Application number: JP2001002373A
Authority: JP
Inventors: 広明久保
Original assignee: ミノルタ株式会社
Priority date: 2001-01-10
Filing date: 2001-01-10
Publication date: 2005-02-02
Anticipated expiration: 2021-01-10
Also published as: JP2002209224A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等に用いられる画像処理装置の構成および画像処理方法に関する。
【０００２】
【従来の技術】
デジタルカメラやデジタルビデオカメラ等においては、従来から画像撮像装置としてＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）が利用されている。ＣＣＤは光電変換をつかさどる多数のフォトダイオードがマトリクス状に配列されて構成されている。
【０００３】
撮像レンズを含む光学系を介してＣＣＤに入射した被写体の光学像は、フォトダイオードで光電変換されたのち電荷蓄積される。マトリクス配置されたフォトダイオードに蓄積された電荷は、ＣＣＤから順次取り出された後、画像処理回路に転送されて画像信号として検出されるのである。
【０００４】
このようにＣＣＤは光学像の明暗に応じた電荷の蓄積を行い、電気信号として出力する役割を果たすが、カラー画像を取得するためには、３原色成分（Ｒ、Ｇ、Ｂ）に対応した電気信号が得られる必要がある。
【０００５】
図５を用いて、単板式のカラー撮像装置に用いられるベイヤー方式の色フィルタアレイ１００について説明する。
【０００６】
ベイヤー方式の色フィルタアレイ１００は、市松状に輝度信号に寄与するＧのフィルタを配置し、残りの部分にＲ、Ｂのフィルタをさらに市松状に配置している。このように配置された各色のフィルタが、各画素（フォトダイオード）に対応しており、各画素にはＲ，Ｇ，Ｂいずれかの原色成分に対応した電荷が蓄積されることとなる。
【０００７】
ベイヤー方式によると、各画素からは、いずれかの原色成分に対する電気信号が出力されることになるため、各画素に対しては、欠落している色の情報を補う必要がある。
【０００８】
たとえば、Ｒのフィルタに覆われた画素では、Ｒの情報しか持っていないため、ＧとＢを周辺の画素の値を基に推測する補間処理を行うのである。このようにして、１個のＣＣＤを利用してカラー画像を撮像するようにしている。
【０００９】
このように、近傍画素の情報を利用して補間処理を行うベイヤー方式においては、補間処理を行う領域内で同じ被写体が結像する必要がある。たとえば、図５に太線で示した領域１１０内で、画素の補間を相互に行う場合には、領域１１０内には同じ被写体が結像する必要がある。
【００１０】
しかし、被写体のもつコントラスパターンによっては、領域１１０よりも狭い領域内で高周波成分を持つ場合があり、このような場合には、いわゆる偽色が発生することとなる。偽色は高周波部分で発生し、被写体の輪郭部、ライン、細かな模様などで発生し、光学ＬＰＦ（ｌｏｗ−ｐａｓｓｆｉｌｔｅｒ）、補間処理等では完全に除去することができない。
【００１１】
たとえば、図６に示すように、領域１１０内に境界１２１やドット１２２の被写体が結像している場合を想定する。この場合、領域１１０内の右下の画素１１４については、Ｂの情報しか持っていないため、画素１１１，１１２，１１３からＲやＧの情報を補間することとなる。このため、画素１１４には本来存在しない被写体についての情報で補間処理が行われることになり、偽色が発生するのである。
【００１２】
そこで、偽色の発生する部分に対して彩度の抑圧を行い、発生した偽色を目立たなくする処理が行われている。
【００１３】
図７は、偽色の抑圧を行う処理装置の従来構成図を示す。ＣＣＤから出力されたＲＧＢの原色成分の電気信号は、色差マトリクス回路９３に入力される。色差マトリクス回路９３において、ＲＧＢの原色成分をもつ色空間が、輝度成分（Ｙ）と、色差成分（Ｃｒ，Ｃｂ）とをもつ色空間に変換される。
【００１４】
変換された電気信号のうち、輝度成分Ｙは、輪郭強調フィルタ９５に入力される。輪郭強調フィルタ９５において、輝度成分Ｙは、ＨＰＦ（ｈｉｇｈ−ｐａｓｓｆｉｌｔｅｒ）、アンプ、ベースクリップを経て、所定値以上の高周波成分が検出される。
【００１５】
検出された高周波成分は、ＬＰＦを通過した輝度成分Ｙに加算される。これによって、輝度成分Ｙに対して輪郭強調処理が施されることとなる。
【００１６】
一方、検出された高周波部分については、前述の如く、偽色が発生している確率が高い。そこで、色差抑圧回路９７には輪郭強調フィルタ９５において高周波成分として検出された領域（画素）の情報が入力され、当該画素の色差成分Ｃｒ，Ｃｂに対して色差の抑圧制御が行われるのである。このようにして、ベイヤー方式の画像形成により生ずる偽色を目立たなくするようにしているのである。
【００１７】
【発明が解決しようとする課題】
ところが、上述した偽色抑圧制御では、被写体のエッジを強調する輪郭強調フィルタ９５の出力から抑圧対象となる画素を決定するため、被写体の高周波成分をすべて抑圧することになる。つまり、被写体の画像パターンに関わらず、エッジ成分の強い部分はすべて抑圧されることになる。
【００１８】
このため、輪郭等の線として表現される部分に対しては、偽色を有効に抑圧することができるが、ドット状のパターンに対しては、ドット状の抑圧がかかり、穴のような色抜けが発生し、見栄えの悪い描写となる。
【００１９】
図６で示した例を用いると、高周波成分の検出された画素１１３においては、色差の抑圧制御が行われ、画素１１３においてドット状の色抜けが発生するのである。これに対して、境界１２１に対しては、境界に沿って連続的に偽色が発生するため、色差の抑圧制御を行うことが望ましい。
【００２０】
そこで、本発明は前記問題点に鑑み、色抜けなどを発生させることなく、偽色成分を効果的に抑圧することを可能とした処理装置を提供することを目的とする。
【００２１】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明は、撮像素子から入力した画像信号に所定の画像処理を施す画像処理装置であって、前記撮像素子は、３原色成分のうち、いずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が、画素ごとに所定の配列規則に従って配置されたものであり、前記撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を出力する補間手段と、３原色成分をもつ色空間の画像信号を、輝度成分と色差成分とをもつ色空間の画像信号に変換する色空間変換手段と、前記輝度成分の信号値から線分成分を抽出する線分抽出手段と、前記線分抽出手段により線分成分と判別された画素については、前記色差成分の信号値を抑圧する抑圧手段とを備えることを特徴とする。
【００２２】
請求項２の発明は、請求項１に記載の画像処理装置において、前記抑圧手段は、前記線分成分の検出レベルに応じて、抑圧制御の程度を変更する手段を含むことを特徴とする。
【００２３】
請求項３の発明は、請求項１に記載の画像処理装置において、前記撮像素子は、ベイヤー方式の色フィルタアレイを備えたＣＣＤとしたことを特徴とする。
【００２４】
請求項４の発明は、撮像素子から入力した画像信号に所定の画像処理を施す画像処理方法であって、前記撮像素子は、３原色成分のうち、いずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が、画素ごとに所定の配列規則に従って配置されたものであり、前記撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を出力する補間工程と、３原色成分をもつ色空間の画像信号を、輝度成分と色差成分とをもつ色空間の画像信号に変換する色空間変換工程と、前記輝度成分の信号値から線分成分を抽出する線分抽出工程と、前記線分抽出工程により線分成分と判別された画素については、前記色差成分の信号値を抑圧する抑圧工程とを備えることを特徴とする。
【００２５】
請求項５の発明は、請求項４に記載の画像処理方法において、前記抑圧工程は、前記線分成分の検出レベルに応じて、抑圧制御の程度を変更する工程を含むことを特徴とする。
【００２６】
請求項６の発明は、撮像素子からの出力である画像信号に所定の画像処理を施すプログラムを記録した処理装置読み取り可能な記録媒体であって、前記撮像素子は、３原色成分のうち、いずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が、画素ごとに所定の配列規則に従って配置されたものであり、前記プログラムは前記処理装置に、前記撮像素子の出力である各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を出力する補間工程と、３原色成分をもつ色空間の画像信号を、輝度成分と色差成分とをもつ色空間の画像信号に変換する色空間変換工程と、前記輝度成分の信号値から線分成分を抽出する線分抽出工程と、前記線分抽出工程により線分成分と判別された画素については、前記色差成分の信号値を抑圧する抑圧工程とを実行させることを特徴とする。
請求項７の発明は、請求項１に記載の画像処理装置において、前記線分抽出手段は、線分抽出フィルタを用いて前記線分成分を抽出することを特徴とする。
請求項８の発明は、請求項７に記載の画像処理装置において、前記線分抽出フィルタはソーベル線分抽出フィルタであることを特徴とする。
請求項９の発明は、請求項４に記載の画像処理方法において、前記線分抽出工程では、線分抽出フィルタを用いて前記線分成分が抽出されることを特徴とする。
請求項１０の発明は、請求項９に記載の画像処理方法において、前記線分抽出フィルタはソーベル線分抽出フィルタであることを特徴とする。
請求項１１の発明は、請求項６に記載の記録媒体において、前記線分抽出工程では、線分抽出フィルタを用いて前記線分成分が抽出されることを特徴とする。
請求項１２の発明は、請求項１１に記載の記録媒体において、前記線分抽出フィルタはソーベル線分抽出フィルタであることを特徴とする。
【００２７】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。まず、本実施の形態にかかる画像処理装置を搭載したデジタルカメラ３１の概略構成について説明する。
【００２８】
｛１．デジタルカメラの概略構成｝
図２は、デジタルカメラ３１の正面図である。デジタルカメラ３１は、箱型のカメラ本体部３２と直方体状の撮像部３３とから構成されている。撮像部３３の前面側には、撮像レンズであるズームレンズ３４が設けられるとともに、光学ファインダ３５が設けられている。
【００２９】
カメラ本体部３２の一端部はグリップ部３６としており、前面側の中央上部に内蔵フラッシュ３７が設けられ、上面側にはシャッタボタン３８が設けられている。
【００３０】
図示を省略するが、カメラ本体部３２の背面側には、撮像画像のモニタ表示、記録画像の再生表示等を行うための液晶ディスプレイ（ＬＣＤ）が設けられている。その他、カメラ本体部３２の背面側には、電源スイッチや、各種操作ボタン等が設けられている。
【００３１】
｛２．画像処理装置の構成｝
図１は、デジタルカメラ３１が内部に搭載する本実施形態にかかる画像処理装置のブロック構成図である。
【００３２】
＜２−１ベイヤー式ＣＣＤおよび補間処理＞
ＣＣＤ１はベイヤー方式の色フィルタアレイを備えた単板式ＣＣＤである。ＣＣＤ１には、光電変換をつかさどる多数のフォトダイオードがマトリクス状に２次元配列されて各画素に対応しており、各画素は原色成分（Ｒ，Ｇ，Ｂ）のうちいずれかの色フィルタに覆われている。
【００３３】
本実施の形態では図５で示した色フィルタアレイ１００と同様に、市松状に輝度信号に寄与するＧのフィルタを配置し、残りの部分にＲ、Ｂのフィルタをさらに市松状に配置している。このようにして、各画素にはＲ，Ｇ，Ｂいずれかの原色成分に対応した電荷が蓄積されることとなる。
【００３４】
なお、ベイヤー方式の色フィルタアレイとしては、図５で示したタイプの他に、Ｇを上下方向に並べたタイプ等、いくつかの方式が存在するが、本実施形態の画像処理装置に適用できる色フィルタアレイのタイプは特に限定されるものではない。ただし、後述する補間処理においては、色フィルタアレイのタイプに応じた処理が行われる必要がある。
【００３５】
ＣＣＤ１において蓄積された電荷は、１ラインずつ順次取り出され、１次元の電気信号として出力される。さらに、各画素の電気信号は、Ａ／Ｄ変換回路（図示せぬ）において１２ｂｉｔのデジタル電気信号に変換された後、ＷＢ（ホワイトバランス）回路２に入力され、ＲＧＢのレベル変換が行われることでホワイトバランスが調整される。
【００３６】
ホワイトバランスの調整が行われた後、各画素の電気信号は補間回路３に入力され、各画素について補間処理が行われる。
【００３７】
つまり、各画素は、Ｒ，Ｇ，Ｂいずれか１つの原色成分に関する情報しか持っていないため、他の原色成分の情報を周辺の画素の値を基に推測する補間処理を行うのである。この補間処理により、各画素に対して、Ｒ，Ｇ，Ｂそれぞれ１２ｂｉｔの情報が与えられることになる。
【００３８】
補間処理が行われた後、各画素の電気信号（Ｒ，Ｇ，Ｂ）は、リニアマトリクス回路４において、所定の補正処理が行われた後、γ補正回路５に入力される。γ補正回路５において、電気信号（Ｒ，Ｇ，Ｂ）はγ補正テーブル（ＲＧＢガンマＬＵＴ）５１によって、表示ディスプレイの再現特性に応じた補正が行われる。さらに、γ補正回路５においては、１２ｂｉｔの電気信号が８ｂｉｔに圧縮される。
【００３９】
＜２−２色空間の変換処理＞
８ｂｉｔに圧縮された電気信号（Ｒ，Ｇ，Ｂ）は、次に、色差マトリクス回路６に入力される。色差マトリクス回路６は、変換用のマトリクスであるＹマトリクス６１、Ｃｒマトリクス６２、Ｃｂマトリクス６３を備えており、ＲＧＢの原色成分をもつ色空間が、輝度成分（Ｙ）と、色差成分（Ｃｒ，Ｃｂ）とをもつ色空間に変換される。
【００４０】
数１式は、Ｙマトリクス６１、Ｃｒマトリクス６２、Ｃｂマトリクス６３を、３行３列の色差マトリクスで表現したものである。従って、ＲＧＢ色空間が、色差マトリクスによって、輝度成分と色差成分とをもつ色空間に変換されると表現することができる。
【００４１】
【数１】

【００４２】
＜２−３輪郭強調フィルタ処理＞
色差マトリクス回路６において出力された輝度成分Ｙ（以下の説明においては、適宜、輝度成分の電気信号を輝度信号Ｙと表現する。）は、次に、輪郭強調フィルタ回路７に入力される。輪郭強調フィルタ回路７において、輝度信号Ｙは３つに分岐される。分岐された輝度信号Ｙのうち１つは、ＨＰＦ７２を通過し、１つは、ＬＰＦ７１を通過する。他の１つは、後述するが線分抽出回路７７に入力される。
【００４３】
ＨＰＦ７２を通過した輝度信号Ｙからは、高周波成分が検出され、この検出された高周波成分をアンプ７３に入力して増幅させた後、さらにベースクリップ７４において所定値以上の高周波成分のみが検出され、出力される。
【００４４】
そして、加算器７５において、ＬＰＦ７１を通過した輝度信号Ｙに、ベースクリップ７４から出力された所定値以上の高周波成分を加算することによって、輝度信号Ｙは輪郭強調されたうえで出力されるのである。
【００４５】
＜２−４線分抽出処理＞
輪郭強調フィルタ回路７内で分岐された輝度信号Ｙのうち、残る１つは線分抽出回路７７に入力される。線分抽出回路７７においては、ソーベル線分抽出フィルタＡ１〜Ａ４を用いることによって、輝度信号Ｙから線分成分が抽出されるのである。ソーベル線分抽出フィルタＡ１〜Ａ４を数２式に示す。
【００４６】
【数２】

【００４７】
数２式において、フィルタＡ１は、右上がりの斜線の境界を検出する空間フィルタであり、フィルタＡ２は、縦線の境界を検出する空間フィルタであり、フィルタＡ３は、右下がりの斜線の境界を検出する空間フィルタであり、フィルタＡ４は、横線の境界を検出する空間フィルタである。
【００４８】
線分抽出回路７７に入力された輝度信号Ｙは、バッファ（図示せず）に蓄積されており、このバッファに蓄積された輝度信号Ｙをもとに対象画素の線分抽出処理が行われる。たとえば、本実施の形態においては、線分抽出フィルタＡ１〜Ａ４は３行３列の行列形式で表されており、対象画素の輝度信号Ｙ、および、対象画素の８近傍の画素の輝度信号Ｙを使って線分抽出処理が行われることになる。したがって、バッファには少なくともこれら９画素の輝度信号Ｙが蓄積されている必要がある。
【００４９】
そして、３行３列の９画素の輝度信号Ｙについて、線分抽出フィルタＡ１〜Ａ４とそれぞれパターンマッチングを行う。そして、マッチングした場合には、注目画素（パターンマッチングした際に中央に位置する画素、つまり、２行２列名に相当する画素）を線分成分として判断するのである。
【００５０】
具体的には、注目画素について線分抽出フィルタＡ１を施した場合を例にとると、注目画素および８近傍画素の輝度信号Ｙの値に、フィルタＡ１の対応する各成分を係数として乗算し、これらの演算値の合計値を得る。そして、この合計値の絶対値が所定の値よりも大きくなる場合には、注目画素はフィルタＡ１により線分成分として判断されることになるのである。
【００５１】
そして、上記の演算値（合計値）は注目画素における線分の検出レベルを表すことになる。つまり、各線分フィルタＡ１〜Ａ４のいずれか空間フィルタを用いた演算値（合計値）は、その値が大きい程、線分としての検出度合が大きいことを意味するのである。
【００５２】
＜２−５線分クロマキラー処理＞
線分抽出回路７７が線分成分を抽出すると、線分クロマキラー回路８には、線分成分として判別された画素の位置情報と、当該画素における線分成分の検出レベルとが入力される。
【００５３】
線分クロマキラー回路８では、入力した線分成分の検出レベルを基に、Ｃｒ，Ｃｂの両色差成分に対して色差信号（以下の説明においては、適宜、色差成分の電気信号を色差信号Ｃｒ，Ｃｂと表す。）の抑圧処理を行う。つまり、線分クロマキラー回路８においては、入力した線分成分の検出レベルをもとに、線分クロマキラー設定ＬＵＴ（ＬｏｏｋｕｐＴａｂｌｅ）８１を参照して色差信号Ｃｒ，Ｃｂの抑圧度を求め、乗算器８２，８３によって抑圧度に応じた色差信号Ｃｒ，Ｃｂの抑圧処理を行うのである。
【００５４】
図３は、線分クロマキラーの設定ＬＵＴ８１を示す。図中、横軸は、線分成分の検出レベルを示し、縦軸は、抑圧度を示している。つまり、線分成分の検出レベルが高い画素程、高い抑圧をかけるような抑圧制御を行うのである。
【００５５】
ただし、線分成分の検出レベルがある程度大きくなると、抑圧度の上昇率を小さくし、抑圧度が過度に大きくならないようにしている。
【００５６】
たとえば、画素ｎにおける線分成分の検出レベルがＡｎである場合には、画素ｎにおける色差成分には２０％程度の抑圧を行うのである。また、画素ｍにおける線分成分の検出レベルがＡｍである場合には、画素ｍにおける色差成分には６０％程度の抑圧を行うのである。このように、より線分成分の検出レベルの高い画素ｍについては、検出レベルの低い画素ｎよりも大きな抑圧を行うようにしているのである。
【００５７】
このように、線分成分の検出レベルに応じて、抑圧制御の程度を変更しているので、出力画像に不自然さが残らないような抑圧制御が可能となる。
【００５８】
以上の処理により、本実施の形態にかかる画像処理装置は、輪郭強調処理が施された輝度信号Ｙと、抑圧制御が行われた色差信号Ｃｒ，Ｃｂが出力されることになる。出力された輝度信号Ｙ、色差信号Ｃｒ，Ｃｂはバッファ９に記録された後、たとえば、ＪＰＥＧ等の圧縮規格に従った処理が行われ、画像ファイルとしてメモリカード等に保存されるのである。
【００５９】
このように、本実施形態においては、線分成分として抽出された画素に対してのみ、抑圧制御を行うようにしているので、全てのエッジ成分に対して抑圧制御を行うことによる問題を解消することができる。
【００６０】
従来は、全てのエッジ成分を抑圧していたため、発生した偽色の抑圧には効果が得られるが、その一方で、細かなエッジに対しても色の抑圧がかかり不自然なドット状の色抜けが発生してしまうという問題があった。本実施形態によれば、線分のみに色の抑圧がかけられるため細かな色抜けが無く自然な描写が得られるのである。
【００６１】
図６で示した被写体を例とすれば、境界１２１に対しては、偽色の抑圧を行なわれる。従って、境界に沿って広い領域で発生する偽色が抑えられ、違和感のある偽色を効果的に抑圧することができる。これに対して、ドット１２２には偽色の抑圧が行われない。従って、ドット状のパターンに対して穴のような色抜けが発生することはない。
【００６２】
図４は、以上説明した色差抑圧制御処理のフローチャートである。色差抑圧制御処理は、図に示すように大きく５つの工程から成り立っている。まず、第１の工程は、ＣＣＤ１から出力されたＲＧＢの画像信号を入力する工程である（ステップＳ１）。この画像信号は、各画素におけるＲＧＢ原色成分のうち、いずれか１つの原色成分の画像信号である。
【００６３】
第２の工程は、入力した画素について、近傍の画素を用いて補間処理を行う工程である。この工程により、各画素においてそれぞれ３原色成分の画像信号が得られることになる（ステップＳ２）。
【００６４】
第３の工程は、ＲＧＢ３原色成分の画像信号を、輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂに変換する工程である（ステップＳ３）。
【００６５】
第４の工程は、ステップＳ３で得られた輝度信号Ｙをもとに、ソーベルの線分抽出フィルタを用いて線分抽出を行う工程である（ステップＳ４）。この線分抽出工程においては、注目画素についての線分検出レベルも出力される。
【００６６】
そして、第５の工程は、線分成分と検出された画素に対して、線分検出レベルに応じた色差信号の抑圧を行う工程である（ステップＳ５）。
【００６７】
以上説明した本実施の形態にかかる画像処理装置は、デジタルカメラ、デジタルビデオなど、ベイヤー方式の色フィルタアレイを備えたＣＣＤから画像信号を入力するあらゆる機器に適応可能である。
【００６８】
また、デジタルカメラによっては、線画を複写する動作モード（文字モードなどと呼ばれている）を備えたものがある。文字モードは、線画をはっきりと撮像することを目的としたモードであり、文字モード設定状態で、ホワイトボードに描写された文字等を撮影することで、議事の記録を残すことができるなどの効果がある。
【００６９】
従って、文字モードを備えたデジタルカメラにおいて、本実施の形態にかかる画像処理装置を搭載し、文字モード動作時に、上述した色差成分の抑圧制御を行うようにすれば、本発明の効果が顕著に現れることとなる。
【００７０】
｛３．変形例｝
上述した実施の形態においては、線分成分として抽出された領域（画素）のみ色差成分の抑圧制御を行うこととした。これは、ドット状の色抜けなど不自然な画像の仕上がりを回避するためであった。つまり、ドット状の偽色に対しては、抑圧制御を行って色抜けを発生させるよりも、抑圧制御を行わずに微小な偽色として残す方が、不自然さを小さく抑えることができるからである。
【００７１】
そこで、本発明の変形例として次のような構成が考えられる。色差成分の抑圧制御回路は、全ての輪郭部（エッジ部）に対して抑圧処理を行うものとする。ただし、線分成分の抑圧量に比して、他の輪郭部に対しては、その抑圧量を小さくするような抑圧制御するのである。
【００７２】
たとえば、ドット状の高周波成分に対しては、色抜けが発生しない程度の色差成分の抑圧を行うのである。このような処理を行うことにより、線分成分以外の輪郭部には自然な色再現処理を行い、線分成分に対しては、偽色の発生を抑えることが可能となるのである。
【００７３】
【発明の効果】
以上説明したように、請求項１、７及び８の発明では、色補間処理が行われた画像信号に対する画像処理であって、輝度成分の信号値から線分成分を抽出し、線分成分が抽出された画素についてのみ、色差成分の信号値を抑圧するので、不自然な色抜け等を発生させることなく、線分成分の偽色の発生を抑えることが可能である。
【００７４】
請求項２の発明では、線分成分の検出レベルに応じた抑圧制御を行うので、出力画像の不自然さを低減させることが可能となる。
【００７５】
請求項３の発明では、ベイヤー方式の色フィルタアレイを備えたＣＣＤを撮像素子とする構成であり、本発明をデジタルカメラ等、広く適用可能となる。
【００７６】
請求項４、９及び１０の発明は、輝度成分の信号値から線分成分を抽出し、線分成分が抽出された画素についてのみ、色差成分の信号値を抑圧する方法であり、不自然な色抜け等を発生させることなく、線分成分の偽色の発生を抑えることが可能な方法である。
【００７７】
請求項５の発明では、線分成分の検出レベルに応じた抑圧制御を行うので、出力画像の不自然さを低減させることが可能となる。
【００７８】
請求項６、１１及び１２の発明では、線分成分の偽色の発生を抑えるプログラムを記録媒体に記録することにより、上記プログラムを記録媒体読み取り可能なコンピュータにおいて実行可能となる。
【図面の簡単な説明】
【図１】本実施形態にかかる画像処理装置のブロック構成図である。
【図２】本実施形態にかかる画像処理装置を搭載したデジタルカメラの概観図である。
【図３】線分クロマキラーの設定ＬＵＴを示す図である。
【図４】本実施形態にかかる画像処理のフローチャートである。
【図５】ベイヤー方式ＣＣＤにおける色フィルタアレイの一例を示す図である。
【図６】高周波成分をもつ被写体の光学像がベイヤー方式のＣＣＤに結像した状態を示す図である。
【図７】従来の画像処理装置のブロック図である。
【符号の説明】
１ＣＣＤ
３補間回路
６色差マトリクス回路
７輪郭強調フィルタ回路
８線分クロマキラー回路
７７線分抽出回路
７８ソーベル線分抽出フィルタ
８１線分クロマキラー設定ＬＵＴ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a configuration of an image processing apparatus used in a digital camera or the like and an image processing method.
[0002]
[Prior art]
In a digital camera, a digital video camera, and the like, a CCD (Charge Coupled Device) has been conventionally used as an image capturing device. A CCD is configured by arranging a large number of photodiodes that control photoelectric conversion in a matrix.
[0003]
An optical image of a subject incident on the CCD through an optical system including an imaging lens is photoelectrically converted by a photodiode and then accumulated. The charges accumulated in the photodiodes arranged in a matrix are sequentially taken out from the CCD and then transferred to the image processing circuit to be detected as an image signal.
[0004]
In this way, the CCD plays a role of accumulating charges according to the contrast of the optical image and outputting it as an electrical signal. In order to obtain a color image, it corresponds to the three primary color components (R, G, B). An electrical signal needs to be obtained.
[0005]
A Bayer color filter array 100 used in a single-plate color imaging device will be described with reference to FIG.
[0006]
In the Bayer color filter array 100, G filters that contribute to luminance signals are arranged in a checkered pattern, and R and B filters are further arranged in a checkered pattern in the remaining part. Each color filter arranged in this manner corresponds to each pixel (photodiode), and the charge corresponding to one of the primary color components of R, G, and B is accumulated in each pixel.
[0007]
According to the Bayer method, each pixel outputs an electrical signal for one of the primary color components, and therefore it is necessary to compensate for the missing color information for each pixel.
[0008]
For example, since the pixel covered with the R filter has only R information, interpolation processing for estimating G and B based on the values of the surrounding pixels is performed. In this way, a color image is picked up using one CCD.
[0009]
As described above, in the Bayer method in which interpolation processing is performed using information on neighboring pixels, it is necessary to form an image on the same subject within the region in which interpolation processing is performed. For example, in the case where the pixels are mutually interpolated in the area 110 indicated by a thick line in FIG. 5, the same subject needs to be imaged in the area 110.
[0010]
However, depending on the contrast pattern of the subject, there may be a case where a high frequency component is present in a region narrower than the region 110. In such a case, a so-called false color is generated. The false color is generated in a high frequency portion, is generated in a contour portion, a line, or a fine pattern of the subject, and cannot be completely removed by optical LPF (low-pass filter), interpolation processing, or the like.
[0011]
For example, as illustrated in FIG. 6, a case is assumed in which a subject having a boundary 121 or a dot 122 is formed in an area 110. In this case, since the lower right pixel 114 in the region 110 has only B information, R and G information is interpolated from the

pixels

111, 112, and 113. For this reason, interpolation processing is performed with information about a subject that does not originally exist in the pixel 114, and a false color is generated.
[0012]
In view of this, the saturation is suppressed for the portion where the false color is generated, and the generated false color is made inconspicuous.
[0013]
FIG. 7 shows a conventional block diagram of a processing apparatus that suppresses false colors. The RGB primary color component electrical signals output from the CCD are input to the color difference matrix circuit 93. In the color difference matrix circuit 93, a color space having RGB primary color components is converted into a color space having a luminance component (Y) and color difference components (Cr, Cb).
[0014]
Of the converted electrical signal, the luminance component Y is input to the contour enhancement filter 95. In the edge emphasis filter 95, the luminance component Y is detected as a high-frequency component equal to or higher than a predetermined value via an HPF (high-pass filter), an amplifier, and a base clip.
[0015]
The detected high frequency component is added to the luminance component Y that has passed through the LPF. As a result, the edge enhancement process is performed on the luminance component Y.
[0016]
On the other hand, the detected high frequency portion has a high probability that a false color is generated as described above. Therefore, the color difference suppression circuit 97 receives information on the region (pixel) detected as a high-frequency component in the edge enhancement filter 95, and performs color difference suppression control on the color difference components Cr and Cb of the pixel. In this way, the false color generated by the Bayer image formation is made inconspicuous.
[0017]
[Problems to be solved by the invention]
However, in the false color suppression control described above, since the pixel to be suppressed is determined from the output of the contour enhancement filter 95 that emphasizes the edge of the subject, all high-frequency components of the subject are suppressed. That is, regardless of the image pattern of the subject, all portions with strong edge components are suppressed.
[0018]
For this reason, false colors can be effectively suppressed for portions expressed as lines such as contours, but dot-like suppression is applied to dot-like patterns, and colors such as holes Omissions occur and the picture looks bad.
[0019]
Using the example shown in FIG. 6, color difference suppression control is performed in the pixel 113 in which the high frequency component is detected, and dot-like color loss occurs in the pixel 113. On the other hand, for the boundary 121, since false colors are continuously generated along the boundary, it is desirable to perform color difference suppression control.
[0020]
In view of the above problems, an object of the present invention is to provide a processing apparatus that can effectively suppress false color components without causing color loss.
[0021]
[Means for Solving the Problems]
In order to solve the above-described problem, the invention of claim 1 is an image processing apparatus that performs predetermined image processing on an image signal input from an image sensor, wherein the image sensor is one of the primary colors of the three primary color components. Three types of photoelectric conversion elements that respectively output component image signals are arranged according to a predetermined arrangement rule for each pixel, and an image of a neighboring pixel with respect to the image signal of each pixel input from the image sensor Interpolation means that performs interpolation processing using the signal and outputs an image signal of the three primary color components for each pixel, an image signal of the color space having the three primary color components, and an image signal of the color space having the luminance component and the color difference component A color space conversion means for converting to a line segment; a line segment extraction means for extracting a line segment component from the signal value of the luminance component; Suppress value Characterized in that it comprises a that suppression unit.
[0022]
According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, the suppression means includes means for changing a degree of suppression control in accordance with a detection level of the line segment component.
[0023]
According to a third aspect of the present invention, in the image processing apparatus according to the first aspect, the image pickup device is a CCD having a Bayer color filter array.
[0024]
According to a fourth aspect of the present invention, there is provided an image processing method for performing predetermined image processing on an image signal input from an image pickup device, wherein the image pickup device outputs an image signal of any one of the three primary color components. The three types of photoelectric conversion elements are arranged according to a predetermined arrangement rule for each pixel, and interpolation processing is performed using image signals of neighboring pixels with respect to image signals of pixels input from the imaging element. And an interpolation step for outputting an image signal of three primary color components for each pixel, and a color space conversion step of converting an image signal of a color space having the three primary color components into an image signal of a color space having a luminance component and a color difference component A line segment extraction step for extracting a line segment component from the signal value of the luminance component, and a suppression step for suppressing the signal value of the color difference component for the pixel determined as the line segment component by the line segment extraction step; Equipped with The features.
[0025]
According to a fifth aspect of the present invention, in the image processing method according to the fourth aspect, the suppression step includes a step of changing a degree of suppression control according to a detection level of the line segment component.
[0026]
The invention according to claim 6 is a processing apparatus-readable recording medium that records a program for performing predetermined image processing on an image signal that is output from the image sensor, and the image sensor is one of the three primary color components. The three types of photoelectric conversion elements that respectively output image signals of the primary color components are arranged in accordance with a predetermined arrangement rule for each pixel, and the program outputs the output of the imaging element to the processing device. Interpolation processing is performed on the image signal of the pixel using the image signal of the neighboring pixel, and the image signal of the three primary color components is output for each pixel, and the image signal of the color space having the three primary color components is converted into luminance. A color space conversion step for converting into an image signal in a color space having a component and a color difference component, a line segment extraction step for extracting a line segment component from the signal value of the luminance component, and a line segment component by the line segment extraction step. Size For the pixels which are characterized in that to execute a suppression step of suppressing the signal value of the color difference component.
A seventh aspect of the present invention is the image processing apparatus according to the first aspect, wherein the line segment extraction unit extracts the line segment component using a line segment extraction filter.
According to an eighth aspect of the present invention, in the image processing apparatus according to the seventh aspect, the line segment extraction filter is a Sobel line segment extraction filter.
The invention according to claim 9 is the image processing method according to claim 4, wherein in the line segment extraction step, the line segment component is extracted using a line segment extraction filter.
According to a tenth aspect of the present invention, in the image processing method according to the ninth aspect, the line segment extraction filter is a Sobel line segment extraction filter.
According to an eleventh aspect of the present invention, in the recording medium according to the sixth aspect, in the line segment extraction step, the line segment component is extracted using a line segment extraction filter.
According to a twelfth aspect of the present invention, in the recording medium according to the eleventh aspect, the line segment extraction filter is a Sobel line segment extraction filter.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. First, a schematic configuration of the digital camera 31 equipped with the image processing apparatus according to the present embodiment will be described.
[0028]
{1. Schematic configuration of digital camera}
FIG. 2 is a front view of the digital camera 31. The digital camera 31 includes a box-shaped camera main body 32 and a rectangular parallelepiped imaging unit 33. A zoom lens 34 that is an imaging lens is provided on the front side of the imaging unit 33, and an optical viewfinder 35 is provided.
[0029]
One end of the camera body 32 is a grip part 36, a built-in flash 37 is provided at the center upper part on the front side, and a shutter button 38 is provided on the upper side.
[0030]
Although not shown, a liquid crystal display (LCD) for performing monitor display of a captured image, reproduction display of a recorded image, and the like is provided on the back side of the camera body 32. In addition, a power switch, various operation buttons, and the like are provided on the back side of the camera body 32.
[0031]
{2. Configuration of image processing apparatus}
FIG. 1 is a block configuration diagram of an image processing apparatus according to the present embodiment that is mounted inside a digital camera 31.
[0032]
<2-1 Bayer CCD and interpolation processing>
The CCD 1 is a single-plate CCD having a Bayer color filter array. In the CCD 1, a large number of photodiodes that control photoelectric conversion are two-dimensionally arranged in a matrix to correspond to each pixel, and each pixel is covered with any one of the primary color components (R, G, B). It has been broken.
[0033]
In the present embodiment, like the color filter array 100 shown in FIG. 5, G filters that contribute to luminance signals are arranged in a checkered pattern, and R and B filters are further arranged in a checkered pattern in the remaining portions. Yes. In this way, charges corresponding to any of the primary color components of R, G, and B are accumulated in each pixel.
[0034]
In addition to the type shown in FIG. 5, there are several types of Bayer-type color filter arrays, such as a type in which G is arranged in the vertical direction, but it can be applied to the image processing apparatus of this embodiment. The type of the color filter array is not particularly limited. However, in the interpolation processing described later, it is necessary to perform processing according to the type of the color filter array.
[0035]
The charges accumulated in the CCD 1 are sequentially taken out line by line and output as a one-dimensional electrical signal. Further, the electrical signal of each pixel is converted into a 12-bit digital electrical signal by an A / D conversion circuit (not shown), and then input to the WB (white balance) circuit 2 to perform RGB level conversion. To adjust the white balance.
[0036]
After the white balance is adjusted, the electric signal of each pixel is input to the interpolation circuit 3 and interpolation processing is performed for each pixel.
[0037]
That is, since each pixel has only information on one of the primary color components of R, G, and B, an interpolation process for estimating information on other primary color components based on the values of surrounding pixels is performed. By this interpolation processing, 12-bit information for each of R, G, and B is given to each pixel.
[0038]
After the interpolation processing is performed, the electrical signals (R, G, B) of each pixel are input to the γ correction circuit 5 after predetermined correction processing is performed in the linear matrix circuit 4. In the γ correction circuit 5, the electrical signals (R, G, B) are corrected according to the reproduction characteristics of the display display by a γ correction table (RGB gamma LUT) 51. Further, in the γ correction circuit 5, the 12-bit electric signal is compressed to 8 bits.
[0039]
<2-2 Color space conversion processing>
The electrical signals (R, G, B) compressed to 8 bits are then input to the color difference matrix circuit 6. The color difference matrix circuit 6 includes a Y matrix 61, a Cr matrix 62, and a Cb matrix 63, which are conversion matrices. A color space having RGB primary color components includes a luminance component (Y) and color difference components (Cr, To a color space having Cb).
[0040]
Formula 1 represents the Y matrix 61, the Cr matrix 62, and the Cb matrix 63 as a color difference matrix of 3 rows and 3 columns. Therefore, it can be expressed that the RGB color space is converted into a color space having a luminance component and a color difference component by the color difference matrix.
[0041]
[Expression 1]

[0042]
<2-3 Outline enhancement filter processing>
The luminance component Y output in the color difference matrix circuit 6 (in the following description, the electric signal of the luminance component is appropriately expressed as the luminance signal Y) is then input to the contour enhancement filter circuit 7. In the edge enhancement filter circuit 7, the luminance signal Y is branched into three. One of the branched luminance signals Y passes through the HPF 72 and one passes through the LPF 71. The other one is input to the line segment extraction circuit 77 as described later.
[0043]
A high-frequency component is detected from the luminance signal Y that has passed through the HPF 72, and after the detected high-frequency component is input to the amplifier 73 and amplified, only the high-frequency component equal to or greater than a predetermined value is detected in the base clip 74, Is output.
[0044]
Then, the adder 75 adds the high-frequency component equal to or higher than the predetermined value output from the base clip 74 to the luminance signal Y that has passed through the LPF 71, so that the luminance signal Y is output after the edge enhancement. .
[0045]
<2-4 Line segment extraction processing>
The remaining one of the luminance signals Y branched in the contour enhancement filter circuit 7 is input to the line segment extraction circuit 77. In the line segment extraction circuit 77, line segment components are extracted from the luminance signal Y by using the Sobel line segment extraction filters A1 to A4. The Sobel line segment extraction filters A1 to A4 are shown in Formula 2.
[0046]
[Expression 2]

[0047]
In Equation 2, the filter A1 is a spatial filter that detects the boundary of the diagonal line that rises to the right, the filter A2 is a spatial filter that detects the boundary of the vertical line, and the filter A3 has the boundary of the diagonal line that descends to the right It is a spatial filter to detect, and the filter A4 is a spatial filter to detect the boundary of the horizontal line.
[0048]
The luminance signal Y input to the line segment extraction circuit 77 is stored in a buffer (not shown), and line segment extraction processing of the target pixel is performed based on the luminance signal Y stored in the buffer. For example, in the present embodiment, the line segment extraction filters A1 to A4 are represented in a 3 × 3 matrix format, and the luminance signal Y of the target pixel and the luminance signal Y of the pixels in the vicinity of the target pixel are eight. Line segment extraction processing is performed using. Therefore, it is necessary that the luminance signal Y of at least these nine pixels is accumulated in the buffer.
[0049]
Then, pattern matching is performed with the line segment extraction filters A1 to A4 for the luminance signal Y of 9 pixels in 3 rows and 3 columns. In the case of matching, the target pixel (the pixel located at the center when pattern matching is performed, that is, the pixel corresponding to the name of 2 rows and 2 columns) is determined as a line segment component.
[0050]
Specifically, taking the case where the line segment extraction filter A1 is applied to the target pixel as an example, the value of the luminance signal Y of the target pixel and eight neighboring pixels is multiplied by the corresponding component of the filter A1 as a coefficient, The total value of these calculated values is obtained. When the absolute value of the total value is larger than a predetermined value, the target pixel is determined as a line segment component by the filter A1.
[0051]
The above calculated value (total value) represents the detection level of the line segment in the target pixel. That is, the calculated value (total value) using any one of the line segment filters A1 to A4 means that the greater the value, the greater the degree of detection as a line segment.
[0052]
<2-5 line segment chroma killer processing>
When the line segment extraction circuit 77 extracts the line segment component, the position information of the pixel determined as the line segment component and the detection level of the line segment component in the pixel are input to the line segment chroma killer circuit 8.
[0053]
In the line segment chroma killer circuit 8, based on the detection level of the input line segment component, the color difference signal (in the following description, the electrical signal of the color difference component is appropriately converted to the color difference signal Cr, Cb)) is performed. In other words, the line chroma killer circuit 8 obtains the degree of suppression of the color difference signals Cr and Cb by referring to the line chroma killer setting LUT (Lookup Table) 81 based on the input detection level of the line segment component, and a multiplier. The color difference signals Cr and Cb corresponding to the degree of suppression are performed by 82 and 83, respectively.
[0054]
FIG. 3 shows a line segment chroma killer setting LUT 81. In the figure, the horizontal axis indicates the detection level of the line segment component, and the vertical axis indicates the degree of suppression. That is, the suppression control is performed so that the higher the detection level of the line segment component is, the higher the suppression is.
[0055]
However, when the detection level of the line segment component increases to some extent, the rate of increase of the suppression degree is reduced so that the suppression degree does not become excessively large.
[0056]
For example, when the detection level of the line segment component in the pixel n is An, the color difference component in the pixel n is suppressed by about 20%. Further, when the detection level of the line segment component in the pixel m is Am, the color difference component in the pixel m is suppressed by about 60%. In this way, the pixel m having a higher detection level of the line segment component is subjected to greater suppression than the pixel n having a lower detection level.
[0057]
In this way, since the degree of suppression control is changed according to the detection level of the line segment component, it is possible to perform suppression control that does not leave unnaturalness in the output image.
[0058]
Through the above processing, the image processing apparatus according to the present embodiment outputs the luminance signal Y subjected to the contour enhancement processing and the color difference signals Cr and Cb subjected to the suppression control. The output luminance signal Y and color difference signals Cr and Cb are recorded in the buffer 9 and then processed according to a compression standard such as JPEG, and stored as an image file in a memory card or the like.
[0059]
As described above, in this embodiment, since suppression control is performed only on pixels extracted as line segment components, the problem caused by performing suppression control on all edge components is solved. be able to.
[0060]
In the past, all edge components were suppressed, so it was effective to suppress the generated false color. On the other hand, color suppression was also applied to fine edges, resulting in an unnatural dot-like color. There was a problem that omissions occurred. According to this embodiment, since color suppression is applied only to the line segment, there is no fine color loss and a natural depiction can be obtained.
[0061]
Taking the subject shown in FIG. 6 as an example, false color suppression is performed on the boundary 121. Therefore, the false color generated in a wide area along the boundary can be suppressed, and the false color with a sense of incongruity can be effectively suppressed. On the other hand, no false color suppression is performed on the dots 122. Therefore, no color loss such as a hole occurs in the dot-like pattern.
[0062]
FIG. 4 is a flowchart of the color difference suppression control process described above. The color difference suppression control process mainly includes five steps as shown in the figure. First, the first step is a step of inputting RGB image signals output from the CCD 1 (step S1). This image signal is an image signal of any one primary color component among the RGB primary color components in each pixel.
[0063]
The second step is a step of performing interpolation processing on the input pixel using neighboring pixels. With this process, an image signal of three primary color components is obtained in each pixel (step S2).
[0064]
The third step is a step of converting the RGB three primary color component image signals into luminance signal Y and color difference signals Cr and Cb (step S3).
[0065]
The fourth step is a step of performing line segment extraction using a Sobel line segment extraction filter based on the luminance signal Y obtained in step S3 (step S4). In this line segment extraction step, the line segment detection level for the target pixel is also output.
[0066]
And a 5th process is a process of suppressing the color difference signal according to a line segment detection level with respect to the pixel detected as a line segment component (step S5).
[0067]
The image processing apparatus according to the present embodiment described above can be applied to any device that inputs an image signal from a CCD having a Bayer color filter array, such as a digital camera or digital video.
[0068]
Some digital cameras have an operation mode (referred to as a character mode) for copying a line drawing. Character mode is a mode that aims to capture line drawings clearly. Effects such as recording the proceedings by shooting characters drawn on the whiteboard in the character mode setting state. There is.
[0069]
Therefore, if the image processing apparatus according to the present embodiment is installed in a digital camera equipped with a character mode and the above-described color difference component suppression control is performed during the character mode operation, the effect of the present invention becomes remarkable. Will appear.
[0070]
{3. Modification}
In the embodiment described above, suppression control of the color difference component is performed only for the region (pixel) extracted as the line segment component. This is to avoid unnatural image finish such as dot-like color loss. In other words, for dot-like false colors, it is possible to reduce the unnaturalness by leaving a fine false color without performing suppression control, rather than performing color loss by performing suppression control. It is.
[0071]
Therefore, the following configuration can be considered as a modification of the present invention. It is assumed that the color difference component suppression control circuit performs suppression processing on all contour portions (edge portions). However, the suppression control is performed so as to reduce the amount of suppression for the other contour portions as compared with the amount of suppression of the line segment component.
[0072]
For example, with respect to dot-like high-frequency components, the color difference components are suppressed to such an extent that no color loss occurs. By performing such processing, it is possible to perform natural color reproduction processing on the contour portion other than the line segment component, and to suppress the generation of false colors for the line segment component.
[0073]
【The invention's effect】
As explained above, claim 1, 7 and 8In the present invention, image processing is performed on an image signal subjected to color interpolation processing, and a line segment component is extracted from the signal value of the luminance component, and the signal value of the color difference component is obtained only for the pixel from which the line segment component is extracted. Since the suppression is performed, it is possible to suppress the generation of false colors of line segment components without causing unnatural color loss or the like.
[0074]
According to the second aspect of the present invention, since suppression control is performed in accordance with the detection level of the line segment component, it is possible to reduce the unnaturalness of the output image.
[0075]
According to the invention of claim 3, the CCD having a Bayer type color filter array is used as an imaging device, and the present invention can be widely applied to a digital camera or the like.
[0076]
Claim 4, 9 and 10The present invention is a method for extracting a line segment component from a signal value of a luminance component and suppressing a signal value of a color difference component only for a pixel from which the line segment component has been extracted, thereby causing unnatural color loss or the like. This is a method that can suppress the occurrence of false colors of line segment components.
[0077]
In the invention of claim 5, since suppression control is performed according to the detection level of the line segment component, it is possible to reduce the unnaturalness of the output image.
[0078]
Claim 6, 11 and 12In this invention, by recording a program that suppresses the generation of false color of line segment components on a recording medium, the program can be executed on a computer that can read the recording medium.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image processing apparatus according to an embodiment.
FIG. 2 is an overview of a digital camera equipped with the image processing apparatus according to the present embodiment.
FIG. 3 is a diagram showing a line segment chroma killer setting LUT;
FIG. 4 is a flowchart of image processing according to the present embodiment.
FIG. 5 is a diagram illustrating an example of a color filter array in a Bayer CCD.
FIG. 6 is a diagram illustrating a state in which an optical image of a subject having a high frequency component is formed on a Bayer type CCD.
FIG. 7 is a block diagram of a conventional image processing apparatus.
[Explanation of symbols]
1 CCD
3 Interpolation circuit
6 Color difference matrix circuit
7 Outline enhancement filter circuit
8-segment chroma killer circuit
77 Line segment extraction circuit
78 Sobel line extraction filter
81 line segment chroma killer setting LUT

Claims

An image processing apparatus that performs predetermined image processing on an image signal input from an image sensor,
The image sensor is one in which three types of photoelectric conversion elements that respectively output image signals of any one of the three primary color components are arranged according to a predetermined arrangement rule for each pixel,
Interpolation means for performing an interpolation process on an image signal of each pixel input from the image sensor using an image signal of a neighboring pixel, and outputting an image signal of three primary color components for each pixel;
Color space conversion means for converting an image signal in a color space having three primary color components into an image signal in a color space having a luminance component and a color difference component;
Line segment extraction means for extracting a line segment component from the signal value of the luminance component;
For pixels determined as line segment components by the line segment extraction means, suppression means for suppressing the signal value of the color difference component;
An image processing apparatus comprising:

The image processing apparatus according to claim 1.
The suppression means includes
Means for changing the degree of suppression control according to the detection level of the line segment component;
An image processing apparatus comprising:

The image processing apparatus according to claim 1.
An image processing apparatus, wherein the image pickup device is a CCD having a Bayer color filter array.

An image processing method for performing predetermined image processing on an image signal input from an image sensor,
The image sensor is one in which three types of photoelectric conversion elements that respectively output image signals of any one of the three primary color components are arranged according to a predetermined arrangement rule for each pixel,
An interpolation process for performing an interpolation process on an image signal of each pixel input from the image sensor using an image signal of a neighboring pixel, and outputting an image signal of three primary color components for each pixel;
A color space conversion step of converting an image signal of a color space having three primary color components into an image signal of a color space having a luminance component and a color difference component;
A line segment extraction step of extracting a line segment component from the signal value of the luminance component;
For a pixel determined as a line segment component by the line segment extraction step, a suppression step of suppressing the signal value of the color difference component;
An image processing method comprising:

The image processing method according to claim 4,
The suppression step includes
Changing the degree of suppression control according to the detection level of the line segment component;
An image processing method comprising:

A processing apparatus-readable recording medium that records a program for performing predetermined image processing on an image signal that is an output from an image sensor,
The image sensor is one in which three types of photoelectric conversion elements that respectively output image signals of any one of the three primary color components are arranged according to a predetermined arrangement rule for each pixel,
The program is stored in the processor.
An interpolation process for performing an interpolation process on an image signal of each pixel, which is an output of the image sensor, using an image signal of a neighboring pixel, and outputting an image signal of three primary color components for each pixel;
A color space conversion step of converting an image signal of a color space having three primary color components into an image signal of a color space having a luminance component and a color difference component;
A line segment extraction step of extracting a line segment component from the signal value of the luminance component;
For a pixel determined as a line segment component by the line segment extraction step, a suppression step of suppressing the signal value of the color difference component;
The recording medium characterized by performing this.

The image processing apparatus according to claim 1.
The image processing apparatus, wherein the line segment extraction unit extracts the line segment component using a line segment extraction filter.

The image processing apparatus according to claim 7.
The image processing apparatus, wherein the line segment extraction filter is a Sobel line segment extraction filter.

The image processing method according to claim 4,
In the line segment extraction step, the line segment component is extracted using a line segment extraction filter.

The image processing method according to claim 9.
An image processing method, wherein the line segment extraction filter is a Sobel line segment extraction filter.

The recording medium according to claim 6,
In the line segment extraction step, the line segment component is extracted using a line segment extraction filter.

The recording medium according to claim 11,
The recording medium, wherein the line segment extraction filter is a Sobel line segment extraction filter.