JP4178571B2

JP4178571B2 - 画像処理装置および画像処理方法、並びにカメラ

Info

Publication number: JP4178571B2
Application number: JP33838997A
Authority: JP
Inventors: 篤小林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-12-09
Filing date: 1997-12-09
Publication date: 2008-11-12
Anticipated expiration: 2017-12-09
Also published as: JPH11177996A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びにカメラに関し、特にカラーフィルタを受光面上に有する固体撮像素子の出力信号を処理する画像処理装置およびその処理方法、並びにこれらを用いたカメラに関する。
【０００２】
【従来の技術】
従来、固体撮像素子に画像情報が入る前に、折り返しノイズを除くことを目的として空間サンプリング周波数ｆｓの１／２の周波数を除去するために、光学的なＬＰＦ(Low Pass Filter) を用いて帯域制限を行っていた。このように、光学ＬＰＦを用いて帯域制限を行うことで、固体撮像素子の出力信号には、空間サンプリング周波数ｆｓの１／２付近の周波数成分が含まれなくなり、その結果、撮像した画像の解像感が損なわれることになる。これに対し、撮像した画像の解像感を損なわないようにするために、上記のような特性の光学ＬＰＦを用いるのではなく、空間サンプリング周波数ｆｓの１／２の周波数よりも高い点のレスポンスを０とすれば良い。
【０００３】
【発明が解決しようとする課題】
しかしながら、ｆｓ／２の周波数よりも高い点のレスポンスを０とすると、偽信号が発生するだけではなく、色配列が例えばＲ（赤），Ｇ（緑），Ｂ（青）の原色ベイヤ配列のカラーフィルタを有す固体撮像素子において、相関検出による信号処理を行う場合には、Ｇによる相関を検出する際に、ｆｓ／２の空間周波数があると縦の相関が強いか横の相関が強いか判定できなくなり、画質劣化の要因となる。
【０００４】
すなわち、図１６において、原色ＲＧＢベイヤ配列（ａ）に対応した固体撮像素子の画素配列に対して、水平ｆｓ／２の画像（ｂ）の信号、または垂直ｆｓ／２の画像（ｃ）の信号が入ってきた場合には、Ｇの画素にのみ着目した場合の出力信号（ｄ）は、水平ｆｓ／２（ｂ）でも垂直ｆｓ／２（ｃ）でも同じになる。このため、Ｇの出力信号を見ただけでは縦の相関が強い（水平ｆｓ／２）のか、横の相関が強い（垂直ｆｓ／２）のかが判別できないことになる。
【０００５】
なお、図１６（ａ）において、Ｇｒ／ＧｂはそれぞれＲ行のＧ画素／Ｂ行のＧ画素を示している。また、同図（ｄ）には、Ｒ／Ｇの画素を黒で表示してあり、灰色（散点）の画素と白色の画素に着目されたい。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、縦の相関が強いのか、横の相関が強いのかを確実に判別し、破綻のない画像の再現を可能とした画像処理装置および画像処理方法を提供することにある。
【０００７】
【課題を解決するための手段】
本発明による画像処理装置は、所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、該補間する方向ごとの乗算結果を加算することによって補間処理を行う画像処理装置であって、入力画像の空間サンプリング周波数に対して１／２倍した周波数成分の存在を検出する周波数検出回路と、Ｒの画素情報に対して前記補間処理を行うＲ補間部と、Ｇの画素情報に対して前記補間処理を行うＧ補間部と、Ｂの画素情報に対して前記補間処理を行うＢ補間部と、前記周波数検出回路が前記周波数成分の存在を検出したときは、Ｒ／Ｇ／Ｂの各信号から当該周波数成分を除去して出力し、前記周波数検出回路が前記周波数成分の存在を検出しないときは、前記Ｒ補間部、前記Ｇ補間部および前記Ｂ補間部の各補間結果を出力する補正処理部とを備えている。
【０００８】
また、本発明による画像処理方法は、所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、該補間する方向ごとの乗算結果を加算することによって補間処理を行う画像処理方法であって、Ｒ／Ｇ／Ｂの各画素情報に対して前記補間処理を行う一方、入力画像の空間サンプリング周波数に対して１／２倍した周波数成分の存在を検出し、前記周波数成分の存在を検出したときは、Ｒ／Ｇ／Ｂの各信号から当該周波数成分を除去して出力し、前記周波数成分の存在を検出しないときは、前記Ｒ／Ｇ／Ｂの各画素情報に対する前記補間処理の各補間結果を出力する補正処理を行うようにしている。
【０００９】
上記構成の画像処理装置およびその処理方法において、例えば、相関検出による信号処理を行う場合には、入力画像の空間サンプリング周波数に対する１／２の周波数成分があると、縦の相関が強いか横の相関が強いか判定できないことから、先ず、空間サンプリング周波数の１／２の周波数成分の存在を検出する。そして、その周波数成分の有無に応じた補正処理を行う。具体的には、空間サンプリング周波数の１／２の周波数成分が存在する場合には、その周波数成分を含まないＲ／Ｇ／Ｂの各信号を出力するようにする。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明による画像処理装置の基本構成を示すブロック図である。ここで、本画像処理装置の処理対象となるカラー固体撮像素子は、色配列として例えば図２に示すＲ（赤）Ｇ（緑）Ｂ（青）の原色ベイヤ配列のカラーフィルタ１１を受光面上に有する単板式固体撮像素子１２である。
【００１１】
なお、色配列は原色ベイヤ配列に限定されるものではなく、さらにカラーフィルタもＲＧＢの原色の色配列に限られるものではなく、他の原色の色配列の場合でも、補色を使用した色配列（例えば、Ｙｅ／Ｃｙ／Ｍｇ／Ｇ）の場合でも同様に適応可能である。また、固体撮像素子１２としては、全画素の信号電荷を独立に読み出すいわゆる全画素読み出し方式のＣＣＤ(Charge Coupled Device) 固体撮像素子（以下、ＣＣＤエリアセンサと称する）を用いるものとするが、全画素読み出し方式ではないＣＣＤ固体撮像素子にも適応可能である。
【００１２】
ＣＣＤエリアセンサ１２から出力されるＲＧＢ点順次データは、信号処理部１３において黒レベルクランプやホワイトバランスなどの信号処理が行われた後、検出部１４および補間部１５に供給される。検出部１４は、入力されるＲＧＢ点順次データから最適な補間方法を検出し、その補間情報を補間部１５へ送る。補間部１５は、検出部１４から入力される補間情報を基にＲＧＢ点順次データに対して補間処理を行って出力する。
【００１３】
検出部１４は、図３に示すように、空間サンプリング周波数ｆｓの１／２の周波数成分を検出するｆｓ／２検出部１６と、補間すべき画素（以下、補間画素と称す）に関して上下および左右の互いに９０°の整数倍の角度をなす４方向、即ち垂直（Ｖ）方向の相反する２方向および水平（Ｈ）方向の相反する２方向の計４方向の相関の程度を検出するＶＨ相関検出部１７と、補間画素に関して右上、左上、左下、右下の斜め方向、即ち上記４方向に対してそれぞれ４５°の角度をなす４方向の相関の程度を検出する斜め相関検出部１８とを有する構成となっている。
【００１４】
なお、本例では、上下左右４方向に加え、斜め４方向の計８方向の相関の程度を検出する構成を例に採っているが、上下左右の４方向だけの相関の程度を検出する構成であっても良い。ただし、以下の説明では、８方向の場合を例に採って説明するものとする。
【００１５】
一方、補間部１５は、図４に示すように、検出部１４から与えられる補間情報に基づいて、Ｒの画素情報に対して補間処理を行うＲ補間部１９と、Ｇの画素情報に対して補間処理を行うＧ補間部２０と、Ｂの画素情報に対して補間処理を行うＢ補間部２１と、検出部１４の検出情報に基づいてｆｓ／２でのハッチ状のノイズが発生するのを抑止するための補正処理を行うｆｓ／２補正処理部２２とを有する構成となっている。
【００１６】
以下に、検出部１４におけるｆｓ／２検出部１６、ＶＨ相関検出部１７および斜め相関検出部１８の各構成例について説明する。
【００１７】
図５は、検出部１４におけるｆｓ／２検出部１６の具体的な構成の一例を示すブロック図である。なお、図６に、ｆｓ／２検出部１６における通過フィルタの空間周波数‐レスポンスの特性を示す。
【００１８】
このｆｓ／２検出部１６は、通過する周波数のレスポンスの最大値が入力画像の空間サンプリング周波数ｆｓの１／２の空間周波数であるフィルタ特性、即ち図６の特性Ａを持つｆｓ／２通過フィルタ２３と、通過する周波数のレスポンスの最大値が入力画像の空間サンプリング周波数ｆｓの１／４の空間周波数であるフィルタ特性、即ち図６の特性Ｂを持つｆｓ／４通過フィルタ２４と、これら通過フィルタ２３，２４の各通過周波数成分に基づいてｆｓ／２の周波数成分を検出するｆｓ／２検出回路２５とを有する構成となっている。
【００１９】
ｆｓ／２検出部１６はさらに、輝度Ｙ０のレベルを所定の補正係数を掛けることによって補正する輝度補正回路２６を有している。そして、この輝度補正回路２６で補正された輝度レベルは、ｆｓ／２検出回路２５に供給される。ｆｓ／２検出回路２５は、ｆｓ／２，ｆｓ／４通過フィルタ２３，２４の各通過周波数成分を比較し、その比較結果からｆｓ／２の周波数成分の存在の有無を検出する構成となっている。
【００２０】
具体的には、ｆｓ／２，ｆｓ／４通過フィルタ２３，２４の各通過周波数成分の差分を求め、その差分から輝度補正回路２６で補正された輝度レベルを引いた結果が正ならば、ｆｓ／２の周波数成分が存在するものとする。ここで、ｆｓ／２，ｆｓ／４通過フィルタ２３，２４の各通過周波数成分の差分から輝度レベルを引くのは、輝度によってスレッシュホールドが変動するのを抑制するためである。図７は、輝度Ｙ０の検出の概念図である。
【００２１】
図８は、ｆｓ／２検出回路２５におけるｆｓ／２検出の概念図である。図８において、ｆｓ／２通過フィルタ２３を通過した水平ｆｓ／２成分および垂直ｆｓ／２成分は、絶対値化（ＡＢＳ;absolute)回路２７，２８で絶対値化された後、加算器２９で加算される。同様にして、ｆｓ／４通過フィルタ２４を通過した水平ｆｓ／４成分および垂直ｆｓ／４成分は、絶対値化回路３０，３１で絶対値化された後、加算器３２で加算される。なお、輝度補正回路２６においては、乗算器３３で輝度Ｙ０のレベルに所定の補正係数αを掛ける処理が行われる。
【００２２】
加算器２９の加算出力は、乗算器３４で所定の補正係数βが掛けられた後、減算器３５の一方の入力Ａとなる。また、加算器３２の加算出力は、加算器３６で輝度Ｙ０のレベルに所定の補正係数αを掛けたものが加算され、さらに加算器３７で所定のオフセット値γが付与された後、減算器３５の他方の入力Ｂとなる。ここで、補正係数βおよびオフセット値γは、スレッシュホールドを決めるパラメータとなる。
【００２３】
減算器３５は一方の入力Ａから他方の入力Ｂを減算する。すなわち、減算器３５において、ｆｓ／２成分（Ａ）とｆｓ／４成分（Ｂ）とを比較し（Ａ−Ｂ）、その差分（Ａ−Ｂ）が正、即ちｆｓ／２成分＞ｆｓ／４成分であれば、ｆｓ／２の周波数成分が存在する旨の判定結果を出す。そして、この差分（Ａ−Ｂ）がルックアップテーブル（ＬＵＴ）３８を通して補間係数Ｇ２Ｇａｉｎとして出力される。すなわち、検出されたｆｓ／２の周波数成分が多ければ多い程、ルックアップテーブル３８からは大きな値の補間係数Ｇ２Ｇａｉｎが出力される。
【００２４】
図９は、ＶＨ相関検出部１７および斜め相関検出部１８の具体的な構成の一例を示すブロック図である。
【００２５】
ＶＨ相関検出部１７は、補間画素の右側の画素の画素情報に基づいて相関の程度を示す相関値を算出する右側相関値算出回路４１と、補間画素の左側の画素の画素情報に基づいて相関値を算出する左側相関値算出回路４２と、補間画素の上側の画素の画素情報に基づいて相関値を算出する上側相関値算出回路４３と、補間画素の下側の画素の画素情報に基づいて相関値を算出する下側相関値算出回路４４と、これら相関値算出回路４１〜４４で算出した各相関値を補間ゲインに変換して出力する相関値→補間ゲイン変換回路４５とから構成されている。
【００２６】
上記構成のＶＨ相関検出部１７において、相関値→補間ゲイン変換回路４５からは、水平垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａｉｎおよび水平垂直ＲＧ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤが補間係数として出力される。
【００２７】
斜め相関検出部１８は、補間画素の右上側の画素の画素情報に基づいて相関値を算出する右上側相関値算出回路４６と、補間画素の左上側の画素の画素情報に基づいて相関値を算出する左上側相関値算出回路４７と、補間画素の左下側の画素の画素情報に基づいて相関値を算出する左下側相関値算出回路４８と、補間画素の右下側の画素の画素情報に基づいて相関値を算出する右下側相関値算出回路４９と、これら相関値算出回路４６〜４９で算出した各相関値を補間ゲインに変換し、補間係数として斜め補間用ゲインＤ１Ｇａｉｎ〜Ｄ４Ｇａｉｎを出力する相関値→補間ゲイン変換回路５０とから構成されている。
【００２８】
さらに、水平垂直４方向と斜め４方向は互いに直交していないため、ＶＨ‐斜め比較回路４０において、水平垂直の相関値と斜めの相関値を比較することにより、斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎを補間係数として算出するようにしている。
【００２９】
続いて、補間部１５におけるＲ／Ｇ／Ｂの各補間部およびｆｓ補正処理部２２の各構成例について説明する。
【００３０】
図１０は、Ｇ補間部２０の具体的な構成の一例を示すブロック図である。図１０において、色分離後のＧのデータは水平垂直４方向、即ち右側、左側、上側、下側の各相関用処理回路５１，５２，５３，５４にそれぞれ供給され、これら相関用処理回路５１，５２，５３，５４において４方向の補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂが生成される。これら補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂは、補間する方向にＬＰＦを通すことで生成される。
【００３１】
補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂは各々、乗算器５５，５６，５７，５８において、図９に示すＶＨ相関検出部１７で決定された補間係数、即ち水平垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａｉｎがそれぞれ掛けられる。そして、加算器５９〜６１で加算されることにより、Ｇの補間処理が行われる。補間処理後のＧの画像データは、（１）式で表される。
Ｇ＝Ｇｒ×ＲＧａｉｎ＋Ｇｌ×ＬＧａｉｎ
＋Ｇｔ×ＴＧａｉｎ＋Ｇｂ×ＢＧａｉｎ ……（１）
【００３２】
斜め４方向についても同様に、右上側、左上側、左下側、右下側の各相関用処理回路６２，６３，６４，６５において、Ｄ１／Ｄ２／Ｄ３／Ｄ４の各方向の補間データが生成され、乗算器６６，６７，６８，６９において、図９に示す斜め相関検出部１８で決定された斜め補間用ゲインＤ１Ｇａｉｎ，Ｄ２Ｇａｉｎ，Ｄ３Ｇａｉｎ，Ｄ４Ｇａｉｎがそれぞれ掛けられた後、加算器７０〜７２で足し合わされることによって補間処理が行われる。
【００３３】
また、水平垂直４方向相関検出／補間によるＧの画像データＧｖｈと、斜め４方向相関検出／補間によるＧの画像データＧｄを、状況に合わせて（２）式に示すように混合比を変化させて加算する。混合比の調整は、図９に示すＶＨ‐斜め比較回路４０で算出される斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎによって行われる。
Ｇ＝Ｇｖｈ×ＶＨＧａｉｎ＋Ｇｄ×ＤＧａｉｎ ……（２）
【００３４】
図１１は、Ｒ，Ｂ補間部１９，２１の具体的な構成の一例を示すブロック図である。このＲ，Ｂ補間部１９，２１の構成については、図１０に示すＧ補間部２０の構成と基本的に同じである。したがって、図１１中、図１０と同等部分には同一符号を付して示してある。ただし、右側、左側、上側、下側の各相関用処理回路５１′，５２′，５３′，５４′における補間データの生成法については、Ｇの場合に比べて複雑である。その理由として２つあり、ＲＢ補間用相関検出を行うことと、Ｇ／２成分をＲＢに加えるためである。
【００３５】
そのため、ＲＧ補間用相関検出は、水平（右、左）の補間データ用と垂直方向（上、下）の補間データ用では別々に行う。具体的には、Ｒ画素およびＢ画素の信号からＲ信号／Ｂ信号を補間する際に、先述した水平垂直ＲＢ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤを、Ｒ／Ｂ専用の補間係数として算出して用いる。これについては、本発明の要旨ではないので、ここではその詳細な説明は省略する。
【００３６】
図１２は、ｆｓ／２補正処理部２２の具体的な構成の一例を示すブロック図である。
【００３７】
図１２において、ＲＧＢ信号は、ｆｓ／２トラップ回路１０１に入力される。このｆｓ／２トラップ回路１０１は、図１３の特性図に示すように、入力画像の空間サンプリング周波数ｆｓの１／２の周波数成分のレスポンスが０である特性を持つフィルタによって構成されている。ｆｓ／２トラップ回路１０１のトラップ出力は、乗算器１０２でｆｓ／２検出部１６からの補間係数Ｇ２Ｇａｉｎが掛けられた後、加算器１０３の一方の入力となる。
【００３８】
また、Ｒ／Ｇ／Ｂの各補間部１９，２０，２１から供給される各補間出力ＲＩＰ／ＧＩＰ／ＢＩＰは、乗算器１０４でｆｓ／２検出部１６からの補間係数Ｇ２Ｇａｉｎより算出される補間係数Ｇ２Ｇａｉｎ′が掛けられた後、加算器１０３の他方の入力となる。なお、補間係数Ｇ２Ｇａｉｎ′は、例えば、定数から補間係数Ｇ２Ｇａｉｎを引くことにより算出される。図１４は、ｆｓ／２補正処理部２２における補正処理の概念図である。この概念図から明らかなように、補正処理はＲ／Ｇ／Ｂの各信号ごとに行われる。
【００３９】
上記構成のｆｓ／２補正処理部２２においては、ｆｓ／２トラップ回路１０１を経たＲ／Ｇ／Ｂの各信号と、Ｒ／Ｇ／Ｂの各補間部１９，２０，２１から供給される各補間出力ＲＩＰ／ＧＩＰ／ＢＩＰとが加算器１０３において混合される訳であるが、その混合比はｆｓ／２検出部１６から与えられる補間係数Ｇ２Ｇａｉｎに基づいて決まるようになっている。
【００４０】
具体的には、ｆｓ／２検出部１６からは、ｆｓ／２の周波数成分を検出したとき、その周波数成分が多い程大きな値の補間係数Ｇ２Ｇａｉｎが出力され、その補間係数Ｇ２Ｇａｉｎが乗算器１０２でｆｓ／２トラップ回路１０１を経たＲ／Ｇ／Ｂの各信号に掛けられるとともに、補間係数Ｇ２Ｇａｉｎから算出される補間係数Ｇ２Ｇａｉｎ′が乗算器１０４で補間出力ＲＩＰ／ＧＩＰ／ＢＩＰに掛けられる。そして、乗算器１０２，１０４の各乗算出力が加算器１０３で加算（混合）されて出力される。
【００４１】
換言すれば、ｆｓ／２補正処理部２２では、ｆｓ／２検出部１６がｆｓ／２の周波数成分の存在を検出したときには、Ｒ／Ｇ／Ｂの各信号からｆｓ／２の周波数成分を除去したものを主として出力し、ｆｓ／２検出部１６がｆｓ／２の周波数成分の存在を検出しないときには、Ｒ／Ｇ／Ｂの各補間部１９，２０，２１で補間処理された補間出力ＲＩＰ／ＧＩＰ／ＢＩＰを出力する。そして、補間係数Ｇ２Ｇａｉｎの値の増加に応じて、ｆｓ／２の周波数成分が除去されたＲ／Ｇ／Ｂの各信号の補間出力ＲＩＰ／ＧＩＰ／ＢＩＰに対する混合比が増加するようになっている。
【００４２】
上述したように、ｆｓ／２の周波数成分の存在を検出し、その存在を検出したときには、Ｒ／Ｇ／Ｂの各補間部１９，２０，２１で補間処理された補間出力ＲＩＰ／ＧＩＰ／ＢＩＰを使用せずに、ｆｓ／２の周波数成分が除去されたＲ／Ｇ／Ｂの各信号を使用するようにしたことで、相関検出による信号処理を行う場合に、ｆｓ／２の空間周波数があっても、ｆｓ／２付近の相関検出の誤検出を防止できるため、破綻のない画像の再現が可能となる。
【００４３】
図１５は、本発明に係るカメラの一例を示す概略構成図である。図１５において、被写体からの入射光は、レンズ１１１等を含む光学系によってＣＣＤエリアセンサ１１２の受光面（撮像面）上に結像される。ＣＣＤエリアセンサ１１２の受光面上には、色配列が例えば原色ベイヤ配列のカラーフィルタ１１３が設けられている。ＣＣＤエリアセンサ１１２は、ＣＣＤ駆動回路１１４によって露光、信号電荷の読み出しおよび転送などの駆動制御が行われる。
【００４４】
ＣＣＤエリアセンサ１１２の出力信号は画像処理装置１１５に供給され、種々の信号処理が行われる。この画像処理装置１１５として、水平垂直および斜めの８方向の相関を検出し、その検出結果に基づいて適応型補間処理を行うとともに、ｆｓ／２の周波数成分を検出したとき、その周波数成分を除いた信号を使う構成の上記実施形態に係る画像処理装置が用いられる。
【００４５】
このように、例えば原色ベイヤ配列のカラーフィルタ１１３を持つＣＣＤエリアセンサ１１２を撮像デバイスとして用いたカメラにおいて、相関検出による信号処理を行う際に、ｆｓ／２の空間周波数成分が存在しても、ｆｓ／２付近の相関検出の誤検出を防止でき、破綻のない画像の再現が可能になるとともに、光学ＬＰＦを用いてｆｓ／２付近のレスポンスを０とする必要がなくなり、レスポンスが０となる空間周波数を高くすることが可能となるため、再現画像の解像度／解像感を向上できる。
【００４６】
【発明の効果】
以上説明したように、本発明によれば、カラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行うに当たって、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、該補間する方向ごとの乗算結果を加算することによって補間処理を行う際に、ｆｓ／２の周波数成分の存在を検出し、その存在を検出したときには、ｆｓ／２の周波数成分が除去されたＲ／Ｇ／Ｂの各信号を使用するようにしたことにより、ｆｓ／２付近の相関検出の誤検出を防止できるため、破綻のない画像が再現可能となる。しかも、光学ＬＰＦを用いて帯域制限を行う必要がないため、再現画像の解像度／解像感が損なわれることもない。
【図面の簡単な説明】
【図１】本発明による画像処理装置の基本構成を示すブロック図である。
【図２】カラーフィルタの原色ベイヤ配列図である。
【図３】検出部の構成の一例を示すブロック図である。
【図４】補間部の構成の一例を示すブロック図である。
【図５】ｆｓ／２検出部の具体的な構成の一例を示すブロック図である。
【図６】ｆｓ／２検出部における通過フィルタの空間周波数‐レスポンスの特性図である。
【図７】輝度Ｙ０の検出の概念図である。
【図８】ｆｓ／２検出の概念図である。
【図９】ＶＨ相関検出部および斜め相関検出部の具体的な構成の一例を示すブロック図である。
【図１０】Ｇ補間部の具体的な構成の一例を示すブロック図である。
【図１１】Ｒ，Ｂ補間部の具体的な構成の一例を示すブロック図である。
【図１２】ｆｓ／２補正処理部の具体的な構成の一例を示すブロック図である。
【図１３】ｆｓ／２トラップ回路の特性図である。
【図１４】ｆｓ／２補正処理の概念図である。
【図１５】本発明に係るカメラの一例を示す概略構成図である。
【図１６】課題を説明するための図である。
【符号の説明】
１１，１１３…カラーフィルタ、１２，１１２…ＣＣＤエリアセンサ、１４…検出部、１５…補間部、１６…ｆｓ／２検出部、１７…ＶＨ相関検出部、１８…斜め相関検出部、１９…Ｒ補間部、２０…Ｇ補間部、２１…Ｂ補間部、２２…ｆｓ／２補正処理部、２３…ｆｓ／２通過フィルタ、２４…ｆｓ／４通過フィルタ、２５…ｆｓ／２検出回路、２６…輝度補正回路

Claims

所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、該補間する方向ごとの乗算結果を加算することによって補間処理を行う画像処理装置であって、
入力画像の空間サンプリング周波数に対して１／２倍した周波数成分の存在を検出する周波数検出回路と、
Ｒ（赤）の画素情報に対して前記補間処理を行うＲ補間部と、
Ｇ（緑）の画素情報に対して前記補間処理を行うＧ補間部と、
Ｂ（青）の画素情報に対して前記補間処理を行うＢ補間部と、
前記周波数検出回路が前記周波数成分の存在を検出したときは、Ｒ／Ｇ／Ｂの各信号から当該周波数成分を除去して出力し、前記周波数検出回路が前記周波数成分の存在を検出しないときは、前記Ｒ補間部、前記Ｇ補間部および前記Ｂ補間部の各補間結果を出力する補正処理部と
を備えたことを特徴とする画像処理装置。
前記周波数検出回路は、通過する周波数のレスポンスの最大値が入力画像の空間サンプリング周波数の１／２の空間周波数である第１のフィルタと、通過する周波数のレスポンスの最大値が入力画像の空間サンプリング周波数の１／４の空間周波数である第２のフィルタと、前記第１，第２のフィルタの各通過周波数成分を比較することによって前記空間サンプリング周波数の１／２の周波数成分を検出する検出部とを有する
ことを特徴とする請求項１記載の画像処理装置。
前記周波数検出回路は、補間すべき画素の近傍の画素の平均信号レベルを前記第１のフィルタの通過周波数成分から減算する手段を有する
ことを特徴とする請求項２記載の画像処理装置。
前記補正処理部は、前記Ｒ／Ｇ／Ｂの各信号から前記周波数成分を除去する処理を行う第１の信号処理系と、前記Ｒ補間部、前記Ｇ補間部および前記Ｂ補間部の各出力信号を処理する第２の信号処理系とを有し、前記第１，第２の信号処理系を経た第１，第２の信号の一方を前記周波数検出回路の検出出力に応じて出力する
ことを特徴とする請求項１記載の画像処理装置。
前記第１の信号処理系は、入力画像の空間サンプリング周波数の１／２の周波数成分のレスポンスが０である第３のフィルタを有し、この第３のフィルタの通過周波数成分を前記第１の信号として出力し、
前記第２の信号処理系は、入力画像に対して補間処理した結果を前記第２の信号として出力する
ことを特徴とする請求項４記載の画像処理装置。
前記補正処理部は、前記周波数検出回路の検出出力の増加に応じて前記第１の信号の出力量を増加させる
ことを特徴とする請求項５記載の画像処理装置。
所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、該補間する方向ごとの乗算結果を加算することによって補間処理を行う画像処理方法であって、
Ｒ（赤）／Ｇ（緑）／Ｂ（青）の各画素情報に対して前記補間処理を行う一方、
入力画像の空間サンプリング周波数に対して１／２倍した周波数成分の存在を検出し、
前記周波数成分の存在を検出したときは、Ｒ／Ｇ／Ｂの各信号から当該周波数成分を除去して出力し、前記周波数成分の存在を検出しないときは、前記Ｒ／Ｇ／Ｂの各画素情報に対する前記補間処理の各補間結果を出力する補正処理を行う
ことを特徴とする画像処理方法。
前記補正処理においては、前記Ｒ／Ｇ／Ｂの各信号から前記周波数成分を除去する処理を行う第１の信号処理系と、前記Ｒ補間部、前記Ｇ補間部および前記Ｂ補間部の各出力信号を処理する第２の信号処理系とを経た第１，第２の信号の一方を前記空間サンプリング周波数に対する１／２の周波数成分の検出結果に応じて出力する
ことを特徴とする請求項７記載の画像処理方法。
前記第１の信号は、入力画像から前記空間サンプリング周波数に対する１／２の周波数成分が除かれた信号であり、
前記第２の信号は、入力画像に対して補間処理が行われた信号である
ことを特徴とする請求項８記載の画像処理方法。
所定の色配列のカラーフィルタを受光面上に有する固体撮像素子と、被写体からの入射光を前記固体撮像素子の受光面上に結像させる光学系と、前記固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、該補間する方向ごとの乗算結果を加算することによって補間処理を行う画像処理装置とを具備するカメラであって、
前記画像処理装置は、
入力画像の空間サンプリング周波数に対して１／２倍した周波数成分の存在を検出する周波数検出回路と、
Ｒ（赤）の画素情報に対して前記補間処理を行うＲ補間部と、
Ｇ（緑）の画素情報に対して前記補間処理を行うＧ補間部と、
Ｂ（青）の画素情報に対して前記補間処理を行うＢ補間部と、
前記周波数検出回路が前記周波数成分の存在を検出したときは、Ｒ／Ｇ／Ｂの各信号から当該周波数成分を除去して出力し、前記周波数検出回路が前記周波数成分の存在を検出しないときは、前記Ｒ補間部、前記Ｇ補間部および前記Ｂ補間部の各補間結果を出力する補正処理部とを有する
ことを特徴とするカメラ。
前記補正処理部は、前記Ｒ／Ｇ／Ｂの各信号から前記周波数成分を除去する処理を行う第１の信号処理系と、前記Ｒ補間部、前記Ｇ補間部および前記Ｂ補間部の各出力信号を処理する第２の信号処理系とを有し、前記第１，第２の信号処理系を経た第１，第２の信号の一方を前記周波数検出回路の検出出力に応じて出力する
ことを特徴とする請求項１０記載のカメラ。
前記第１の信号処理系は、入力画像の空間サンプリング周波数の１／２の周波数成分のレスポンスが０である第３のフィルタを有し、この第３のフィルタの通過周波数成分を前記第１の信号として出力し、
前記第２の信号処理系は、入力画像に対して補間処理した結果を前記第２の信号として出力する
ことを特徴とする請求項１１記載のカメラ。