JP4193281B2 - 画像信号処理装置及びカメラ装置 - Google Patents
画像信号処理装置及びカメラ装置 Download PDFInfo
- Publication number
- JP4193281B2 JP4193281B2 JP11712499A JP11712499A JP4193281B2 JP 4193281 B2 JP4193281 B2 JP 4193281B2 JP 11712499 A JP11712499 A JP 11712499A JP 11712499 A JP11712499 A JP 11712499A JP 4193281 B2 JP4193281 B2 JP 4193281B2
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- signal
- vertical
- line
- lines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、補色系のコーティングが施された撮像素子からの読み出し信号に対してアパーチャー処理を施す画像信号処理装置及び上記撮像素子と画像信号処理装置からなるカメラ装置に関する。
【０００２】
【従来の技術】
従来より、例えばイエロー（Ｙｅ）、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、グリーン（Ｇ）等の補色系のコーティングを施してなるＣＣＤ等の撮像デバイスを備えた補色カメラシステムは、レッド（Ｒ）、ブルー（Ｂ）、グリーン（Ｇ）の原色系のコーティングを施してなるＣＣＤ等の撮像素子を備えた原色カメラシステムに比べて、各画素の感度が高く、各画素の色成分も多いため、解像度改善をしなくても比較的良好な画素が得られることが特徴となっている。
【０００３】
従来の補色カメラシステムでの色コーティングパターン例を図１８（ａ）、（ｂ）に示す。図１８の（ａ）において、上記色コーティングパターンは、Ｙｅ，Ｃｙ，Ｍｇ，Ｇそれぞれを２画素づつ使った８画素４ラインを単位とし、その単位内で１ライン目にＹｅとＣｙを配置し、２ライン目にＭｇとＧを配置し、３ライン目に１ライン目と同様ＹｅとＣｙを配置し、４ライン目に２ライン目の配置を逆にしたＧとＭｇを配置してなる市松パターンである。この８画素４ラインの市松パターンを単位として図１８の（ｂ）のような色コーティングパターンとする。
【０００４】
図１９には上記色コーティングパターンが施されたＣＣＤ撮像素子１０１とその周辺回路の具体例を示す。ＣＣＤ撮像素子１０１からの補色画像信号は相関二重サンプリング（Correlation doubule sampling：以下、ＣＤＳという。）処理部＆自動利得制御（Auto Gain Control：以下、ＡＧＣという）処理部１０２でノイズ除去処理及びゲイン制御処理が施された後、Ａ／Ｄ変換器１０３でデジタル信号に変換される。そしてこのＡ／Ｄ変換器１０３からのデジタル補色画像信号は出力端子１０４から、図２０に示す輝度信号処理部１０５と色信号処理部１２２を備える画像信号処理装置に供給される。
【０００５】
図２０において入力端子１０６を介して入力された上記ディジタル補色画像信号（以下、補色画像信号とのみ記す）は、１ラインディレイ回路（１ＨＤＬ）１０７と輝度信号処理部１０５の垂直アパーチャーコントロール部（垂直アパコン部）１１２内部のバンドパスフィルタ１１２ａと、色信号処理部１２２の水平垂直補間部１２３に送られる。
【０００６】
１ラインディレイ回路１０７の出力は１ラインディレイ回路１０８を介して更に１ラインディレイ回路１０９に送られる。これら１ラインディレイ回路１０７〜１０９は、それぞれ入力された補色画像信号を１ライン分遅延し、各々の遅延出力を垂直アパコン部１１２と水平垂直補間部１２３に送る。これにより、垂直アパコン部１１２と水平垂直補間部１２３には、４ライン同時化された補色画像信号が供給されることになる。
【０００７】
また、１ラインディレイ回路１０７及び１ラインディレイ回路１０８の出力は、輝度信号処理部１０５の垂直ローパスフィルタ１１０に送られる。
【０００８】
垂直ローパスフィルタ１１０は、タップ係数が（１，１）である図２１に示す周波数特性のフィルタであり、上記１ラインディレイ回路１０７及び１０８からの補色画像信号の垂直方向の低域成分を通し、その低域成分を水平ローパスフィルタ１１１に送る。水平ローパスフィルタ１１も上記図２１に示す周波数特性のフィルタであり、上記補色画像信号の水平方向の低域成分を通す。この水平ローパスフィルタ１１１からのフィルタ出力は輝度信号となっている。この輝度信号は、水平アパコン部１１３の二つのバンドパスフィルタ１１３ａ，１１３ｂと、加算器１１９に送られる。
【０００９】
垂直アパコン部１１２はタップ係数が例えば（−１，１，１，−１）であり図２２に示す様な周波数特性のバンドパスフィルタ１１２ａを使って上記４ライン同時化された補色画像信号から所定の高域成分を取り出す。ここで、取り出された高域成分は空間位相を合わせるために上記図２１と同様の周波数特性の水平ローパスフィルタ１１４に送られる。この水平ローパスフィルタ１１４の出力は乗算器１１５に送られる。
【００１０】
水平アパコン部１１３はタップ係数が（−１，２，−１）であり図２３に示す様な周波数特性のバンドパスフィルタ１１３ａと、タップ係数が（−１，０，２，０，−１）であり図２４に示す様な周波数特性のバンドパスフィルタ１１３ｂを使って上記輝度信号の高周波成分を取り出している。バンドパスフィルタ１１３ａで取り出された高周波成分は乗算器１１６に送られる。またバンドパスフィルタ１１３ｂで取り出された高周波成分は乗算器１１７に送られる。
【００１１】
乗算器１１５は水平ローパスフィルタ１１４を介した垂直方向の高周波成分に所定のアパーチャーコントロールゲインを掛け、その出力信号を加算器１１８に送る。乗算器１１６は水平アパコン部１１３のバンドパスフィルタ１１３ａからの高周波成分に所定のアパーチャーコントロールゲインを掛け、その出力信号を加算器１１８に送る。乗算器１１６は水平アパコン部１１３のバンドパスフィルタ１１３ｂからの高周波成分に所定のアパーチャーコントロールゲインを掛け、その出力信号を加算器１１８に送る。
【００１２】
加算器１１８は乗算器１１５〜１１７の各出力信号を加算し、アパーチャーコントロール信号として出力し、加算器１１９に送る。
【００１３】
加算器１１９では、上記アパーチャーコントロール信号を上記輝度信号に加算する。すなわち、加算器１１９からは、高周波成分が補償（アパーチャーコントロール処理）された輝度信号が出力される。この加算器１１９から出力された輝度信号は、ガンマ（γ）補正回路１２０に送られる。
【００１４】
ガンマ補正回路１２０では、アパーチャーコントロール処理後の輝度信号をガンマ処理し、このガンマ補正後の輝度信号が出力端子１２１から出力される。
【００１５】
色信号処理部１２２の水平垂直補間部１２３は、上記４ライン同時化された補色画像信号に対して水平垂直方向共に図２５，図２６の様な周波数特性のフィルタリング処理を施して空間位相を合わせる。この水平垂直方向共に空間位相が合わせられた補色画像信号は、水平ローパスフィルタ１２４に送られ、所望の帯域に落とされて、原色分離部１２５に送られる。
【００１６】
原色分離部１２５は、例えば以下に示す式で表せるマトリクスを通して上記補色画像信号を原色分離する。
【００１７】
Ｇ＝Ｇ＋ａ×Ｙｅ＋ｂ×Ｃｙ−ｃ×Ｍｇ
Ｒ＝Ｙｅ＋ｄ×Ｍｇ−ｅ×Ｃｙ−ｆ×Ｇ
Ｂ＝Ｃｙ＋ｇ×Ｍｇ−ｈ×Ｙｅ−ｉ×Ｇ
原色分離により得られたＲ／Ｇ／Ｂは、ホワイトバランス部１２６でホワイトバランス、色ガンマ補正部１２７でガンマ補正された後、リニアマトリクス部１２８でリニアマトリクス処理され、（Ｒ−Ｙ），（Ｂ−Ｙ）信号とされて、それぞれ出力端子１２９，１３０から出力される。
【００１８】
【発明が解決しようとする課題】
ところで、上述した従来の補色カメラシステムの場合、斜め方向の解像度が低く、特に静止画像では画像の劣化として目立ちやすい傾向にある。すなわち例えば、斜め線が階段状になる現象が見えやすいという問題がある。また従来の色コーティング処理は垂直解像度も４００数十本程度までしか取れない。また、垂直の色偽信号に対しても高解像度信号が確実に得られない分抑圧がかかりにくい。
【００１９】
そこで、本発明は、上記実情に鑑みてなされたものであり、水平、垂直方向の解像度のみならず、斜め方向の解像度を高めることが可能で、かつ色偽信号を大幅に抑圧することができる画像信号処理装置、及びカメラ装置の提供を目的とする。
【００２２】
【課題を解決するための手段】
本発明に係る画像信号処理装置は、上記課題を解決するために、イエローＹｅ，シアンＣｙ，マゼンタＭｇ，グリーンＧの４画素を水平方向に並べたラインを垂直方向に２ライン配置した４画素２ラインを単位とし、この単位内での４画素の配置を、１ライン目の４画素の前半の２画素と後半の２画素を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転してなる市松模様画素を配列している撮像素子からの全画素独立読み出し信号を処理する画像信号処理装置であって、上記撮像素子からの全画素独立読み出し信号に対して、斜め方向４画素を使い斜めアパーチャー信号を生成し、この斜めアパーチャー信号を用いて輝度信号の斜め方向高周波成分を補償する輝度信号処理手段を備える。
【００２３】
また、本発明に係るカメラ装置は、上記課題を解決するために、イエローＹｅ，シアンＣｙ，マゼンタＭｇ，グリーンＧの４画素を水平方向に並べたラインを垂直方向に２ライン配置した４画素２ラインを単位とし、この単位内での４画素の配置を、１ライン目の４画素の前半の２画素と後半の２画素を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転してなる市松模様画素を配列している撮像素子と、上記撮像素子からの全画素独立読み出し信号に対して、斜め方向４画素を使い斜め方向アパーチャー信号を生成し、この斜め方向アパーチャー信号を用いて輝度信号の斜め方向高周波成分を補償する画像信号処理手段とを備える。
【００２４】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。この実施の形態は、図１に示すＣＣＤ撮像素子と、図２に示す画像信号処理装置からなる補色カメラシステムである。
【００２５】
図１において、ＣＣＤ撮像素子１の各画素には１ａで示すような色パターンでコーティングを施している。この色コーティングパターン１ａは図３の（ａ）に示すように、イエローＹｅ，シアンＣｙ，マゼンタＭｇ，グリーンＧの４画素を水平方向Ｈに並べたラインを垂直方向Ｖに２ライン配置した４画素２ラインを単位とした補色系コーティングであり、特に、上記単位内では１ライン目の４画素の前半の２画素（Ｙｅ，Ｍｇ）と後半の２画素（Ｃｙ，Ｇ）を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転配置している。
【００２６】
具体的には、１ライン目にＹｅ，Ｍｇ，Ｃｙ，Ｇという順番で画素を配置し、２ライン目にＣｙ，Ｇ，Ｙｅ，Ｍｇという順番で画素を配置してなる市松パターンを単位としている。一般化すると、図３の（ｂ）に示すように表現できる。
【００２７】
この単位からなる色コーティングパターン１ａを使うことにより、水平、斜め方向の４画素でコーティング全色（Ｙｅ，Ｃｙ，Ｍｇ，Ｇ）の加算ができ、この結果から垂直、斜めのアパーチャーコントロール信号を作り、輝度信号に加えて解像度を上げることができる。また、図３の（ｂ）のパターンなら、Ｙｅ，Ｃｙ，Ｍｇ，Ｇが入れ替わっても同じ効果となる。
【００２８】
図１のＣＣＤ撮像素子１からの補色画像信号は相関二重サンプリング（Correlation doubule sampling：以下、ＣＤＳという。）処理部＆自動利得制御（Auto Gain Control：以下、ＡＧＣという）処理部２でノイズ除去処理及びゲイン制御処理が施された後、Ａ／Ｄ変換器３でデジタル信号に変換される。そしてこのＡ／Ｄ変換器３からのデジタル補色画像信号は、出力端子４から図２に示す輝度信号処理部５及び色信号処理部３０を備える画像信号処理装置に供給される。
【００２９】
画像信号処理装置を示す図２において入力端子６を介して入力された上記デジタル補色画像信号（以下、補色画像信号とのみ記す）は、１ラインディレイ回路（１ＨＤＬ）７と垂直ローパスフィルタ１１と、垂直アパーチャーコントロール部（垂直アパコン部）１７内部のバンドパスフィルタ１７ｂと、斜めアパコン部２２の後述する二つのバンドパスフィルタ２２ａ，２２ｂと二つのローパスフィルタ２２ｃ，２２ｄと、色信号処理部３０の垂直補間ローパスフィルタ３１に供給される。
【００３０】
１ラインディレイ回路７の出力は、１ラインディレイ回路８，９，１０に順次送られる。これら１ラインディレイ回路８〜１０は、それぞれ入力された補色画像信号を１ライン分遅延する。また、１ラインディレイ回路７の出力は、垂直ローパスフィルタ１１と、垂直アパコン部１７内部のバンドパスフィルタ１７ａ及び１７ｂと、斜めアパコン部２２の二つのバンドパスフィルタ２２ａ，２２ｂと二つのローパスフィルタ２２ｃ，２２ｄと、垂直補間ローパスフィルタ３１に供給される。
【００３１】
また、１ラインディレイ回路８の出力は、１ラインディレイライン回路９に送られると共に、垂直ローパスフィルタ１１と、垂直アパコン部１７内部のバンドパスフィルタ１７ａ及び１７ｂと、斜めアパコン部２２の二つのバンドパスフィルタ２２ａ，２２ｂと二つのローパスフィルタ２２ｃ，２２ｄと、垂直補間ローパスフィルタ３１に供給される。
また、１ラインディレイ回路９の出力は、１ラインディレイライン回路１０に送られると共に、垂直ローパスフィルタ１１と、垂直アパコン部１７内部のバンドパスフィルタ１７ａ及び１７ｂと、斜めアパコン部２２の二つのバンドパスフィルタ２２ａ，２２ｂと二つのローパスフィルタ２２ｃ，２２ｄと、垂直補間ローパスフィルタ３１に供給される。
【００３２】
また、１ラインディレイ回路１０の出力は、垂直ローパスフィルタ１１と、垂直アパコン部１７内部のバンドパスフィルタ１７ｂと、斜めアパコン部２２の二つのバンドパスフィルタ２２ａ，２２ｂと二つのローパスフィルタ２２ｃ，２２ｄと、垂直補間ローパスフィルタ３１に供給される。
【００３３】
これにより、垂直アパコン部１７のバンドパスフィルタ１７ｂ及び斜めアパコン部２２の二つのバンドパスフィルタ２２ａ，２２ｂと二つのローパスフィルタ２２ｃ，２２ｄと、さらに垂直補間ローパスフィルタ３１には５ライン同時化された補色画像信号が供給されることになる。
【００３４】
また、垂直アパコン部１７のバンドパスフィルタ１７には１ラインディレイ回路７〜９からの３ライン同時化された補色画像信号が供給されることになる。
【００３５】
垂直ローパスフィルタ１１は、タップ係数が例えば（−１，４，１０，４，−１）で、図４に示す周波数特性を持つフィルタであり、上記５ライン同時化された補色画像信号の低域成分を通し、水平ローパスフィルタ１２に供給する。水平ローパスフィルタ１２は上記図２１に示したのと同様の周波数特性を持つフィルタであり、上記垂直ローパスフィルタ１１の出力を通して、輝度信号を生成する。すなわち、輝度信号は図５に示すような画素間の演算から作られ、輝度信号空間位相は図５中の黒点の一となる。
【００３６】
アパーチャーコントロール信号（以下アパコン信号）は、上記図３に示した色コーティングパターンにより、従来の水平、垂直方向に、斜め方向を加えた３方向に対して掛けることができる。
【００３７】
先ず、水平アパコン信号の生成について説明する。水平アパコン信号は、１ラインディレイ回路７〜１０からの垂直５ライン分の信号を使って作る。最初に、図４の周波数特性を持つ垂直ローパスフィルタ１１で、フィルタリング処理を施した後、水平アパコン部１３の二つのバンドパスフィルタ１３ａ及び１３ｂを通し、それぞれのフィルタ出力に乗算器１４及び１５で適当なゲインを掛けて加算器１６で加算することにより水平アパコン信号を生成している。ここで、バンドパスフィルタ１３ａは上記図２２に示したのと同様の周波数特性を持つ。また、バンドパスフィルタ１３ｂは図６に示す周波数特性を持つ。生成された水平アパコン信号は最後に他のアパコン信号と加算される。このように水平アパコン信号は例えば図７で示す垂直５ライン分の画素間の演算から作られ、輝度信号と空間位相を一致させる。
【００３８】
垂直アパコン信号も、垂直５ライン分の信号を使って作る。垂直アパコン部１７の中のバンドパスフィルタ１７ｂが通した上記垂直５ライン分の信号の内の所定の周波数成分に乗算器１９で適当なゲインを掛け、同じくバンドパスフィルタ１７ａが通した上記垂直３ライン分の信号の内の所定の周波数成分に乗算器１８で適当なゲインを掛け、それらを加算器２０で加算する。加算器２０での加算後、図８に示すような周波数特性の水平ローパスフィルタ２１を通すことにより垂直アパコン信号を生成する。この垂直アパコン信号は、バンドパスフィルタ１７ａからの出力の場合、例えば図９で示す水平３ラインの画素間の演算から作られ、輝度信号と空間位相を一致させる。水平３ラインを加算することにより、輝度信号と同じＹｅ，Ｃｙ，Ｍｇ，Ｇの４画素を使って垂直アパコン信号を作ることができる。この結果、従来のコーティングパターンでは垂直アパコン信号を作る際に、縦の画素加算が必ず必要であったが、本発明ではその必要がなくなる。このため、従来掛かっていた図２９に周波数特性を示す垂直方向のローパスフィルタを不要とするので、従来に比べて垂直方向の高周波成分（ｆｓ／２）付近を持ち上げることが可能となり、垂直アパコン信号により垂直方向の高解像度が実現できる。
【００３９】
斜めアパコン信号も１ラインディレイ回路からの垂直５ライン分の信号を使って作る。図２の例では、斜めアパコン部２２内部の右斜めバンドパスフィルタ２２ｂが上記垂直５ラインから右斜めアパコン信号を作り、左斜めバンドパスフィルタ２２ａが上記垂直５ラインから左斜めアパコン信号を作る。これら右斜めアパコン信号と左斜めアパコン信号は加算器２３で加算される。加算器２３の加算結果を斜めアパコン信号とし、乗算器２４で適当なゲインを掛けてから水平ローパスフィルタ２５を通してγ補正前に他の信号と加算器１６で加算する。
【００４０】
右斜めアパコン信号の生成の具体例を図１０に示す。入力信号に対して上記図８に示したのと同様の周波数特性を持つローパスフィルタ２２ｄを使って右斜めに４画素加算し、これに対してタップ係数が（−１，２，−１）であり上記図２３に示す周波数特性のフィルタを掛ければ右斜めアパコン信号が得られる。同様に左斜めアパコン信号を作り、右斜めアパコン信号と左斜めアパコン信号とを加算して斜めアパコン信号とする。
【００４１】
そして、斜めアパコン信号に乗算器２４でゲインを掛けた後に後段でタップ係数が（１，１）であり図２１に示す周波数特性のフィルタを通して他のアパコン信号と空間位相を合わせる。図２の例では斜め方向に（−１，２，−１）フィルタしか掛けていないが、回路規模が許されれば水平アパコンと同様に（−１，０，２，０，−１）の帯域を持ち上げることも可能である。
【００４２】
この図２の例では、この様にして得られた輝度信号、水平アパコン、垂直アパコン、斜めアパコン信号を加算してからγ補正を施し、輝度信号として外部に出力している。
【００４３】
また、この例で輝度信号処理は従来とほぼ同等の処理、及び解像度としている。これに対して加える垂直、斜めのアパコン信号を高解像度側（ｆｓ／２付近）を持ち上げて乗せることにより従来に比べ解像度感の高い絵が得られる。
【００４４】
次に、色信号処理部３０の垂直補間ローパスフィルタ３１は、上記５ライン同時化された補色画像信号に対して垂直方向に上記図２５，図２６の様な周波数特性のフィルタリング処理を施して空間位相を合わせる。そして、輝度信号と垂直空間位相を合わせる為に上記図２１の周波数特性を持つ垂直ローパスフィルタを通し、次に水平方向の空間位相を合わせるために上記図２５，図２６の周波数特性を持つ水平ローパスフィルタ３３を通す。この色信号処理の具体例を図１１に示す。色信号処理が施された画像信号は原色分離部３４に送られる。
【００４５】
原色分離部３４は、例えば以下に示す式で表せるマトリクスを通して上記補色画像信号を原色分離する。
【００４６】
Ｇ＝Ｇ＋ａ×Ｙｅ＋ｂ×Ｃｙ−ｃ×Ｍｇ
Ｒ＝Ｙｅ＋ｄ×Ｍｇ−ｅ×Ｃｙ−ｆ×Ｇ
Ｂ＝Ｃｙ＋ｇ×Ｍｇ−ｈ×Ｙｅ−ｉ×Ｇ
原色分離により得られたＲ／Ｇ／Ｂは、ホワイトバランス部３５でホワイトバランス、色ガンマ補正部３６でガンマ補正された後、リニアマトリクス部３７でリニアマトリクス処理され、（Ｒ−Ｙ），（Ｂ−Ｙ）信号とされて、それぞれ乗算器３８及び３９に供給される。この乗算器３８及び３９には水平アパコン部１３からの水平アパコン信号と垂直アパコン部１７からの垂直アパコン信号も供給されており、色消し処理が行われる。上記図１に示したコーティングパターンで上述したような色信号処理をした場合、水平垂直ｆｓ／２近辺に色偽信号（エリアシング）が発生する。そこで通常色信号帯域は狭くして構わないでのアパコン信号（高い周波数帯域）を用いて２／ｆｓ成分が大きい場合は色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）に最小“０”のゲインを掛けて色信号レベルを下げることにより偽信号を抑圧している。図２に示した画像信号処理装置では従来に比べて垂直２／ｆｓの帯域で大きく色偽信号を抑圧することが可能である。同様に水平方向のアパコン部を用いて水平２／ｆｓの偽信号を抑圧する。必要に応じて斜め方向のアパコン信号も使ってもよい。また、バンドパスフィルタ１７ｂ及びバンドパスフィルタ１３ｂからのアパコン信号も必要に応じて使ってもよい。
【００４７】
なお、補色カメラシステムを上記輝度信号処理装置と共に構成するＣＣＤ撮像素子上には、上記図３に示した単位に基づく色コーティングパターンの他、図１２の（ａ），（ｂ），（ｃ），（ｄ）及び（ｅ）に示す単位に基づく他の類似コーティングパターンを使用しても良い。
【００４８】
図１２の（ａ）に示すパターンは、１ライン目にＭｇ，Ｙｅ，Ｇ，Ｃｙの順番で画素を配置し、２ライン目にＧ，Ｃｙ，Ｍｇ，Ｙｅの順番で画素を配置している。すなわち、Ｙｅ，Ｃｙ，Ｍｇ，Ｇの４画素を水平方向Ｈに並べたラインを垂直方向Ｖに２ライン配置した４画素２ラインを単位とした補色系コーティングであり、特に、上記単位内で１ライン目の４画素の前半の２画素（Ｍｇ，Ｙｅ）と後半の２画素（Ｇ，Ｃｙ）を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転配置している。図１３にはこの市松パターンを単位とした色コーティングパターン５１ａを施したＣＣＤ撮像素子５１とその周辺部の構成を示す。
【００４９】
図１２の（ｂ）に示すパターンは、１ライン目にＹｅ，Ｃｙ，Ｍｇ，Ｇの順番で画素を配置し、２ライン目にＭｇ，Ｇ，Ｙｅ，Ｃｙの順番で画素を配置している。すなわち、上記４画素２ラインを単位とした補色系コーティングであり、特に、上記単位内で１ライン目の４画素の前半の２画素（Ｙｅ，Ｃｙ）と後半の２画素（Ｍｇ，Ｇ）を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転配置している。図１４にはこの市松パターンを単位とした色コーティングパターン５２ａを施したＣＣＤ撮像素子５２とその周辺部の構成を示す。
【００５０】
図１２の（ｃ）に示すパターンは、１ライン目にＣｙ，Ｙｅ，Ｇ，Ｍｇの順番で画素を配置し、２ライン目にＧ，Ｍｇ，Ｃｙ，Ｙｅの順番で画素を配置している。すなわち、上記４画素２ラインを単位とした補色系コーティングであり、特に、上記単位内で１ライン目の４画素の前半の２画素（Ｃｙ，Ｙｅ）と後半の２画素（Ｇ，Ｍｇ）を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転配置している。図１５にはこの市松パターンを単位とした色コーティングパターン５３ａを施したＣＣＤ撮像素子５３とその周辺部の構成を示す。
【００５１】
図１２の（ｄ）に示すパターンは、１ライン目にＧ，Ｙｅ，Ｍｇ，Ｃｙの順番で画素を配置し、２ライン目にＭｇ，Ｃｙ，Ｇ，Ｙｅの順番で画素を配置している。すなわち、上記４画素２ラインを単位とした補色系コーティングであり、特に、上記単位内で１ライン目の４画素の前半の２画素（Ｇ，Ｙｅ）と後半の２画素（Ｍｇ，Ｃｙ）を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転配置している。図１６にはこの市松パターンを単位とした色コーティングパターン５４ａを施したＣＣＤ撮像素子５４とその周辺部の構成を示す。
【００５２】
図１２の（ｅ）に示すパターンは、１ライン目にＣｙ，Ｍｇ，Ｙｅ，Ｇの順番で画素を配置し、２ライン目にＹｅ，Ｇ，Ｃｙ，Ｍｇの順番で画素を配置している。すなわち、上記４画素２ラインを単位とした補色系コーティングであり、特に、上記単位内で１ライン目の４画素の前半の２画素（Ｃｙ，Ｍｇ）と後半の２画素（Ｙｅ，Ｇ）を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転配置している。図１７にはこの市松パターンを単位とした色コーティングパターン５５ａを施したＣＣＤ撮像素子５５とその周辺部の構成を示す。
【００５３】
【発明の効果】
本発明によれば、輝度信号における解像度改善が可能となる。また、水平方向４画素ローパスフィルタ出力信号を使い垂直アパーチャー信号を作ることにより垂直方向高周波成分を輝度信号に乗せることが可能となる。また、斜め方向４画素ローパスフィルタ出力信号を使い斜めアパーチャー信号とすることにより斜め方向高周波成分を輝度信号に乗せることが可能となる。また、垂直高周波成分信号を用いて色消し処理をすることにより従来に比べて色偽信号の抑圧が可能となる。
【図面の簡単な説明】
【図１】本発明の撮像素子の具体例の構成を示す図である。
【図２】本発明の画像信号処理装置の構成を示す図である。
【図３】上記撮像素子の具体例の色コーティングパターンを示す図である。
【図４】上記画像信号処理装置を構成する垂直ローパスフィルタの周波数特性図である。
【図５】輝度信号の構成画素を示す図である。
【図６】上記画像信号処理装置を構成する水平バンドパスフィルタの周波数特性図である。
【図７】水平アパコン信号の構成画素を示す図である。
【図８】上記画像信号処理装置を構成する垂直アパコン水平ローパスフィルタの周波数特性図である。
【図９】垂直アパコン信号の構成画素を示す図である。
【図１０】右斜めアパコン信号の構成画素を示す図である。
【図１１】色信号の構成画素を示す図である。
【図１２】本発明のＣＣＤ撮像素子に適用できる他の色コーティングパターンの他の例を示す図である。
【図１３】上記図１２に示した色コーティングパターンを施したＣＣＤ撮像素子を示す図である。
【図１４】上記図１２に示した色コーティングパターンを施したＣＣＤ撮像素子を示す図である。
【図１５】上記図１２に示した色コーティングパターンを施したＣＣＤ撮像素子を示す図である。
【図１６】上記図１２に示した色コーティングパターンを施したＣＣＤ撮像素子を示す図である。
【図１７】上記図１２に示した色コーティングパターンを施したＣＣＤ撮像素子を示す図である。
【図１８】従来の補色カメラシステムでの色コーティングパターン例を示す図である。
【図１９】上記図１８に示した色コーティングパターンを施したＣＣＤ撮像素子を示す図である。
【図２０】従来の画像信号処理装置の構成を示す図である。
【図２１】上記図２０に示した画像信号処理装置を構成する垂直ローパスフィルタ、水平ローパスフィルタの周波数特性図である。
【図２２】上記図２０に示した画像信号処理装置を構成する垂直アパコン部内のバンドパスフィルタの周波数特性図である。
【図２３】上記図２０に示した画像信号処理装置を構成する水平アパコン部内のバンドパスフィルタの周波数特性図である。
【図２４】上記図２０に示した画像信号処理装置を構成する水平アパコン部内の他のバンドパスフィルタの周波数特性図である。
【図２５】上記図２０に示した画像信号処理装置を構成する色信号処理部の色信号補間フィルタの周波数特性図である。
【図２６】上記図２０に示した画像信号処理装置を構成する色信号処理部の色信号補間フィルタの周波数特性図である。
【符号の説明】
１ ＣＣＤ、５ 輝度信号処理部、７〜１０ １ラインディレイ回路、１１ 垂直ローパスフィルタ、１２ 水平ローパスフィルタ、１３ 水平アパコン部、１７ 垂直アパコン部、２２ 斜めアパコン部
【発明の属する技術分野】
本発明は、補色系のコーティングが施された撮像素子からの読み出し信号に対してアパーチャー処理を施す画像信号処理装置及び上記撮像素子と画像信号処理装置からなるカメラ装置に関する。
【０００２】
【従来の技術】
従来より、例えばイエロー（Ｙｅ）、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、グリーン（Ｇ）等の補色系のコーティングを施してなるＣＣＤ等の撮像デバイスを備えた補色カメラシステムは、レッド（Ｒ）、ブルー（Ｂ）、グリーン（Ｇ）の原色系のコーティングを施してなるＣＣＤ等の撮像素子を備えた原色カメラシステムに比べて、各画素の感度が高く、各画素の色成分も多いため、解像度改善をしなくても比較的良好な画素が得られることが特徴となっている。
【０００３】
従来の補色カメラシステムでの色コーティングパターン例を図１８（ａ）、（ｂ）に示す。図１８の（ａ）において、上記色コーティングパターンは、Ｙｅ，Ｃｙ，Ｍｇ，Ｇそれぞれを２画素づつ使った８画素４ラインを単位とし、その単位内で１ライン目にＹｅとＣｙを配置し、２ライン目にＭｇとＧを配置し、３ライン目に１ライン目と同様ＹｅとＣｙを配置し、４ライン目に２ライン目の配置を逆にしたＧとＭｇを配置してなる市松パターンである。この８画素４ラインの市松パターンを単位として図１８の（ｂ）のような色コーティングパターンとする。
【０００４】
図１９には上記色コーティングパターンが施されたＣＣＤ撮像素子１０１とその周辺回路の具体例を示す。ＣＣＤ撮像素子１０１からの補色画像信号は相関二重サンプリング（Correlation doubule sampling：以下、ＣＤＳという。）処理部＆自動利得制御（Auto Gain Control：以下、ＡＧＣという）処理部１０２でノイズ除去処理及びゲイン制御処理が施された後、Ａ／Ｄ変換器１０３でデジタル信号に変換される。そしてこのＡ／Ｄ変換器１０３からのデジタル補色画像信号は出力端子１０４から、図２０に示す輝度信号処理部１０５と色信号処理部１２２を備える画像信号処理装置に供給される。
【０００５】
図２０において入力端子１０６を介して入力された上記ディジタル補色画像信号（以下、補色画像信号とのみ記す）は、１ラインディレイ回路（１ＨＤＬ）１０７と輝度信号処理部１０５の垂直アパーチャーコントロール部（垂直アパコン部）１１２内部のバンドパスフィルタ１１２ａと、色信号処理部１２２の水平垂直補間部１２３に送られる。
【０００６】
１ラインディレイ回路１０７の出力は１ラインディレイ回路１０８を介して更に１ラインディレイ回路１０９に送られる。これら１ラインディレイ回路１０７〜１０９は、それぞれ入力された補色画像信号を１ライン分遅延し、各々の遅延出力を垂直アパコン部１１２と水平垂直補間部１２３に送る。これにより、垂直アパコン部１１２と水平垂直補間部１２３には、４ライン同時化された補色画像信号が供給されることになる。
【０００７】
また、１ラインディレイ回路１０７及び１ラインディレイ回路１０８の出力は、輝度信号処理部１０５の垂直ローパスフィルタ１１０に送られる。
【０００８】
垂直ローパスフィルタ１１０は、タップ係数が（１，１）である図２１に示す周波数特性のフィルタであり、上記１ラインディレイ回路１０７及び１０８からの補色画像信号の垂直方向の低域成分を通し、その低域成分を水平ローパスフィルタ１１１に送る。水平ローパスフィルタ１１も上記図２１に示す周波数特性のフィルタであり、上記補色画像信号の水平方向の低域成分を通す。この水平ローパスフィルタ１１１からのフィルタ出力は輝度信号となっている。この輝度信号は、水平アパコン部１１３の二つのバンドパスフィルタ１１３ａ，１１３ｂと、加算器１１９に送られる。
【０００９】
垂直アパコン部１１２はタップ係数が例えば（−１，１，１，−１）であり図２２に示す様な周波数特性のバンドパスフィルタ１１２ａを使って上記４ライン同時化された補色画像信号から所定の高域成分を取り出す。ここで、取り出された高域成分は空間位相を合わせるために上記図２１と同様の周波数特性の水平ローパスフィルタ１１４に送られる。この水平ローパスフィルタ１１４の出力は乗算器１１５に送られる。
【００１０】
水平アパコン部１１３はタップ係数が（−１，２，−１）であり図２３に示す様な周波数特性のバンドパスフィルタ１１３ａと、タップ係数が（−１，０，２，０，−１）であり図２４に示す様な周波数特性のバンドパスフィルタ１１３ｂを使って上記輝度信号の高周波成分を取り出している。バンドパスフィルタ１１３ａで取り出された高周波成分は乗算器１１６に送られる。またバンドパスフィルタ１１３ｂで取り出された高周波成分は乗算器１１７に送られる。
【００１１】
乗算器１１５は水平ローパスフィルタ１１４を介した垂直方向の高周波成分に所定のアパーチャーコントロールゲインを掛け、その出力信号を加算器１１８に送る。乗算器１１６は水平アパコン部１１３のバンドパスフィルタ１１３ａからの高周波成分に所定のアパーチャーコントロールゲインを掛け、その出力信号を加算器１１８に送る。乗算器１１６は水平アパコン部１１３のバンドパスフィルタ１１３ｂからの高周波成分に所定のアパーチャーコントロールゲインを掛け、その出力信号を加算器１１８に送る。
【００１２】
加算器１１８は乗算器１１５〜１１７の各出力信号を加算し、アパーチャーコントロール信号として出力し、加算器１１９に送る。
【００１３】
加算器１１９では、上記アパーチャーコントロール信号を上記輝度信号に加算する。すなわち、加算器１１９からは、高周波成分が補償（アパーチャーコントロール処理）された輝度信号が出力される。この加算器１１９から出力された輝度信号は、ガンマ（γ）補正回路１２０に送られる。
【００１４】
ガンマ補正回路１２０では、アパーチャーコントロール処理後の輝度信号をガンマ処理し、このガンマ補正後の輝度信号が出力端子１２１から出力される。
【００１５】
色信号処理部１２２の水平垂直補間部１２３は、上記４ライン同時化された補色画像信号に対して水平垂直方向共に図２５，図２６の様な周波数特性のフィルタリング処理を施して空間位相を合わせる。この水平垂直方向共に空間位相が合わせられた補色画像信号は、水平ローパスフィルタ１２４に送られ、所望の帯域に落とされて、原色分離部１２５に送られる。
【００１６】
原色分離部１２５は、例えば以下に示す式で表せるマトリクスを通して上記補色画像信号を原色分離する。
【００１７】
Ｇ＝Ｇ＋ａ×Ｙｅ＋ｂ×Ｃｙ−ｃ×Ｍｇ
Ｒ＝Ｙｅ＋ｄ×Ｍｇ−ｅ×Ｃｙ−ｆ×Ｇ
Ｂ＝Ｃｙ＋ｇ×Ｍｇ−ｈ×Ｙｅ−ｉ×Ｇ
原色分離により得られたＲ／Ｇ／Ｂは、ホワイトバランス部１２６でホワイトバランス、色ガンマ補正部１２７でガンマ補正された後、リニアマトリクス部１２８でリニアマトリクス処理され、（Ｒ−Ｙ），（Ｂ−Ｙ）信号とされて、それぞれ出力端子１２９，１３０から出力される。
【００１８】
【発明が解決しようとする課題】
ところで、上述した従来の補色カメラシステムの場合、斜め方向の解像度が低く、特に静止画像では画像の劣化として目立ちやすい傾向にある。すなわち例えば、斜め線が階段状になる現象が見えやすいという問題がある。また従来の色コーティング処理は垂直解像度も４００数十本程度までしか取れない。また、垂直の色偽信号に対しても高解像度信号が確実に得られない分抑圧がかかりにくい。
【００１９】
そこで、本発明は、上記実情に鑑みてなされたものであり、水平、垂直方向の解像度のみならず、斜め方向の解像度を高めることが可能で、かつ色偽信号を大幅に抑圧することができる画像信号処理装置、及びカメラ装置の提供を目的とする。
【００２２】
【課題を解決するための手段】
本発明に係る画像信号処理装置は、上記課題を解決するために、イエローＹｅ，シアンＣｙ，マゼンタＭｇ，グリーンＧの４画素を水平方向に並べたラインを垂直方向に２ライン配置した４画素２ラインを単位とし、この単位内での４画素の配置を、１ライン目の４画素の前半の２画素と後半の２画素を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転してなる市松模様画素を配列している撮像素子からの全画素独立読み出し信号を処理する画像信号処理装置であって、上記撮像素子からの全画素独立読み出し信号に対して、斜め方向４画素を使い斜めアパーチャー信号を生成し、この斜めアパーチャー信号を用いて輝度信号の斜め方向高周波成分を補償する輝度信号処理手段を備える。
【００２３】
また、本発明に係るカメラ装置は、上記課題を解決するために、イエローＹｅ，シアンＣｙ，マゼンタＭｇ，グリーンＧの４画素を水平方向に並べたラインを垂直方向に２ライン配置した４画素２ラインを単位とし、この単位内での４画素の配置を、１ライン目の４画素の前半の２画素と後半の２画素を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転してなる市松模様画素を配列している撮像素子と、上記撮像素子からの全画素独立読み出し信号に対して、斜め方向４画素を使い斜め方向アパーチャー信号を生成し、この斜め方向アパーチャー信号を用いて輝度信号の斜め方向高周波成分を補償する画像信号処理手段とを備える。
【００２４】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。この実施の形態は、図１に示すＣＣＤ撮像素子と、図２に示す画像信号処理装置からなる補色カメラシステムである。
【００２５】
図１において、ＣＣＤ撮像素子１の各画素には１ａで示すような色パターンでコーティングを施している。この色コーティングパターン１ａは図３の（ａ）に示すように、イエローＹｅ，シアンＣｙ，マゼンタＭｇ，グリーンＧの４画素を水平方向Ｈに並べたラインを垂直方向Ｖに２ライン配置した４画素２ラインを単位とした補色系コーティングであり、特に、上記単位内では１ライン目の４画素の前半の２画素（Ｙｅ，Ｍｇ）と後半の２画素（Ｃｙ，Ｇ）を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転配置している。
【００２６】
具体的には、１ライン目にＹｅ，Ｍｇ，Ｃｙ，Ｇという順番で画素を配置し、２ライン目にＣｙ，Ｇ，Ｙｅ，Ｍｇという順番で画素を配置してなる市松パターンを単位としている。一般化すると、図３の（ｂ）に示すように表現できる。
【００２７】
この単位からなる色コーティングパターン１ａを使うことにより、水平、斜め方向の４画素でコーティング全色（Ｙｅ，Ｃｙ，Ｍｇ，Ｇ）の加算ができ、この結果から垂直、斜めのアパーチャーコントロール信号を作り、輝度信号に加えて解像度を上げることができる。また、図３の（ｂ）のパターンなら、Ｙｅ，Ｃｙ，Ｍｇ，Ｇが入れ替わっても同じ効果となる。
【００２８】
図１のＣＣＤ撮像素子１からの補色画像信号は相関二重サンプリング（Correlation doubule sampling：以下、ＣＤＳという。）処理部＆自動利得制御（Auto Gain Control：以下、ＡＧＣという）処理部２でノイズ除去処理及びゲイン制御処理が施された後、Ａ／Ｄ変換器３でデジタル信号に変換される。そしてこのＡ／Ｄ変換器３からのデジタル補色画像信号は、出力端子４から図２に示す輝度信号処理部５及び色信号処理部３０を備える画像信号処理装置に供給される。
【００２９】
画像信号処理装置を示す図２において入力端子６を介して入力された上記デジタル補色画像信号（以下、補色画像信号とのみ記す）は、１ラインディレイ回路（１ＨＤＬ）７と垂直ローパスフィルタ１１と、垂直アパーチャーコントロール部（垂直アパコン部）１７内部のバンドパスフィルタ１７ｂと、斜めアパコン部２２の後述する二つのバンドパスフィルタ２２ａ，２２ｂと二つのローパスフィルタ２２ｃ，２２ｄと、色信号処理部３０の垂直補間ローパスフィルタ３１に供給される。
【００３０】
１ラインディレイ回路７の出力は、１ラインディレイ回路８，９，１０に順次送られる。これら１ラインディレイ回路８〜１０は、それぞれ入力された補色画像信号を１ライン分遅延する。また、１ラインディレイ回路７の出力は、垂直ローパスフィルタ１１と、垂直アパコン部１７内部のバンドパスフィルタ１７ａ及び１７ｂと、斜めアパコン部２２の二つのバンドパスフィルタ２２ａ，２２ｂと二つのローパスフィルタ２２ｃ，２２ｄと、垂直補間ローパスフィルタ３１に供給される。
【００３１】
また、１ラインディレイ回路８の出力は、１ラインディレイライン回路９に送られると共に、垂直ローパスフィルタ１１と、垂直アパコン部１７内部のバンドパスフィルタ１７ａ及び１７ｂと、斜めアパコン部２２の二つのバンドパスフィルタ２２ａ，２２ｂと二つのローパスフィルタ２２ｃ，２２ｄと、垂直補間ローパスフィルタ３１に供給される。
また、１ラインディレイ回路９の出力は、１ラインディレイライン回路１０に送られると共に、垂直ローパスフィルタ１１と、垂直アパコン部１７内部のバンドパスフィルタ１７ａ及び１７ｂと、斜めアパコン部２２の二つのバンドパスフィルタ２２ａ，２２ｂと二つのローパスフィルタ２２ｃ，２２ｄと、垂直補間ローパスフィルタ３１に供給される。
【００３２】
また、１ラインディレイ回路１０の出力は、垂直ローパスフィルタ１１と、垂直アパコン部１７内部のバンドパスフィルタ１７ｂと、斜めアパコン部２２の二つのバンドパスフィルタ２２ａ，２２ｂと二つのローパスフィルタ２２ｃ，２２ｄと、垂直補間ローパスフィルタ３１に供給される。
【００３３】
これにより、垂直アパコン部１７のバンドパスフィルタ１７ｂ及び斜めアパコン部２２の二つのバンドパスフィルタ２２ａ，２２ｂと二つのローパスフィルタ２２ｃ，２２ｄと、さらに垂直補間ローパスフィルタ３１には５ライン同時化された補色画像信号が供給されることになる。
【００３４】
また、垂直アパコン部１７のバンドパスフィルタ１７には１ラインディレイ回路７〜９からの３ライン同時化された補色画像信号が供給されることになる。
【００３５】
垂直ローパスフィルタ１１は、タップ係数が例えば（−１，４，１０，４，−１）で、図４に示す周波数特性を持つフィルタであり、上記５ライン同時化された補色画像信号の低域成分を通し、水平ローパスフィルタ１２に供給する。水平ローパスフィルタ１２は上記図２１に示したのと同様の周波数特性を持つフィルタであり、上記垂直ローパスフィルタ１１の出力を通して、輝度信号を生成する。すなわち、輝度信号は図５に示すような画素間の演算から作られ、輝度信号空間位相は図５中の黒点の一となる。
【００３６】
アパーチャーコントロール信号（以下アパコン信号）は、上記図３に示した色コーティングパターンにより、従来の水平、垂直方向に、斜め方向を加えた３方向に対して掛けることができる。
【００３７】
先ず、水平アパコン信号の生成について説明する。水平アパコン信号は、１ラインディレイ回路７〜１０からの垂直５ライン分の信号を使って作る。最初に、図４の周波数特性を持つ垂直ローパスフィルタ１１で、フィルタリング処理を施した後、水平アパコン部１３の二つのバンドパスフィルタ１３ａ及び１３ｂを通し、それぞれのフィルタ出力に乗算器１４及び１５で適当なゲインを掛けて加算器１６で加算することにより水平アパコン信号を生成している。ここで、バンドパスフィルタ１３ａは上記図２２に示したのと同様の周波数特性を持つ。また、バンドパスフィルタ１３ｂは図６に示す周波数特性を持つ。生成された水平アパコン信号は最後に他のアパコン信号と加算される。このように水平アパコン信号は例えば図７で示す垂直５ライン分の画素間の演算から作られ、輝度信号と空間位相を一致させる。
【００３８】
垂直アパコン信号も、垂直５ライン分の信号を使って作る。垂直アパコン部１７の中のバンドパスフィルタ１７ｂが通した上記垂直５ライン分の信号の内の所定の周波数成分に乗算器１９で適当なゲインを掛け、同じくバンドパスフィルタ１７ａが通した上記垂直３ライン分の信号の内の所定の周波数成分に乗算器１８で適当なゲインを掛け、それらを加算器２０で加算する。加算器２０での加算後、図８に示すような周波数特性の水平ローパスフィルタ２１を通すことにより垂直アパコン信号を生成する。この垂直アパコン信号は、バンドパスフィルタ１７ａからの出力の場合、例えば図９で示す水平３ラインの画素間の演算から作られ、輝度信号と空間位相を一致させる。水平３ラインを加算することにより、輝度信号と同じＹｅ，Ｃｙ，Ｍｇ，Ｇの４画素を使って垂直アパコン信号を作ることができる。この結果、従来のコーティングパターンでは垂直アパコン信号を作る際に、縦の画素加算が必ず必要であったが、本発明ではその必要がなくなる。このため、従来掛かっていた図２９に周波数特性を示す垂直方向のローパスフィルタを不要とするので、従来に比べて垂直方向の高周波成分（ｆｓ／２）付近を持ち上げることが可能となり、垂直アパコン信号により垂直方向の高解像度が実現できる。
【００３９】
斜めアパコン信号も１ラインディレイ回路からの垂直５ライン分の信号を使って作る。図２の例では、斜めアパコン部２２内部の右斜めバンドパスフィルタ２２ｂが上記垂直５ラインから右斜めアパコン信号を作り、左斜めバンドパスフィルタ２２ａが上記垂直５ラインから左斜めアパコン信号を作る。これら右斜めアパコン信号と左斜めアパコン信号は加算器２３で加算される。加算器２３の加算結果を斜めアパコン信号とし、乗算器２４で適当なゲインを掛けてから水平ローパスフィルタ２５を通してγ補正前に他の信号と加算器１６で加算する。
【００４０】
右斜めアパコン信号の生成の具体例を図１０に示す。入力信号に対して上記図８に示したのと同様の周波数特性を持つローパスフィルタ２２ｄを使って右斜めに４画素加算し、これに対してタップ係数が（−１，２，−１）であり上記図２３に示す周波数特性のフィルタを掛ければ右斜めアパコン信号が得られる。同様に左斜めアパコン信号を作り、右斜めアパコン信号と左斜めアパコン信号とを加算して斜めアパコン信号とする。
【００４１】
そして、斜めアパコン信号に乗算器２４でゲインを掛けた後に後段でタップ係数が（１，１）であり図２１に示す周波数特性のフィルタを通して他のアパコン信号と空間位相を合わせる。図２の例では斜め方向に（−１，２，−１）フィルタしか掛けていないが、回路規模が許されれば水平アパコンと同様に（−１，０，２，０，−１）の帯域を持ち上げることも可能である。
【００４２】
この図２の例では、この様にして得られた輝度信号、水平アパコン、垂直アパコン、斜めアパコン信号を加算してからγ補正を施し、輝度信号として外部に出力している。
【００４３】
また、この例で輝度信号処理は従来とほぼ同等の処理、及び解像度としている。これに対して加える垂直、斜めのアパコン信号を高解像度側（ｆｓ／２付近）を持ち上げて乗せることにより従来に比べ解像度感の高い絵が得られる。
【００４４】
次に、色信号処理部３０の垂直補間ローパスフィルタ３１は、上記５ライン同時化された補色画像信号に対して垂直方向に上記図２５，図２６の様な周波数特性のフィルタリング処理を施して空間位相を合わせる。そして、輝度信号と垂直空間位相を合わせる為に上記図２１の周波数特性を持つ垂直ローパスフィルタを通し、次に水平方向の空間位相を合わせるために上記図２５，図２６の周波数特性を持つ水平ローパスフィルタ３３を通す。この色信号処理の具体例を図１１に示す。色信号処理が施された画像信号は原色分離部３４に送られる。
【００４５】
原色分離部３４は、例えば以下に示す式で表せるマトリクスを通して上記補色画像信号を原色分離する。
【００４６】
Ｇ＝Ｇ＋ａ×Ｙｅ＋ｂ×Ｃｙ−ｃ×Ｍｇ
Ｒ＝Ｙｅ＋ｄ×Ｍｇ−ｅ×Ｃｙ−ｆ×Ｇ
Ｂ＝Ｃｙ＋ｇ×Ｍｇ−ｈ×Ｙｅ−ｉ×Ｇ
原色分離により得られたＲ／Ｇ／Ｂは、ホワイトバランス部３５でホワイトバランス、色ガンマ補正部３６でガンマ補正された後、リニアマトリクス部３７でリニアマトリクス処理され、（Ｒ−Ｙ），（Ｂ−Ｙ）信号とされて、それぞれ乗算器３８及び３９に供給される。この乗算器３８及び３９には水平アパコン部１３からの水平アパコン信号と垂直アパコン部１７からの垂直アパコン信号も供給されており、色消し処理が行われる。上記図１に示したコーティングパターンで上述したような色信号処理をした場合、水平垂直ｆｓ／２近辺に色偽信号（エリアシング）が発生する。そこで通常色信号帯域は狭くして構わないでのアパコン信号（高い周波数帯域）を用いて２／ｆｓ成分が大きい場合は色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）に最小“０”のゲインを掛けて色信号レベルを下げることにより偽信号を抑圧している。図２に示した画像信号処理装置では従来に比べて垂直２／ｆｓの帯域で大きく色偽信号を抑圧することが可能である。同様に水平方向のアパコン部を用いて水平２／ｆｓの偽信号を抑圧する。必要に応じて斜め方向のアパコン信号も使ってもよい。また、バンドパスフィルタ１７ｂ及びバンドパスフィルタ１３ｂからのアパコン信号も必要に応じて使ってもよい。
【００４７】
なお、補色カメラシステムを上記輝度信号処理装置と共に構成するＣＣＤ撮像素子上には、上記図３に示した単位に基づく色コーティングパターンの他、図１２の（ａ），（ｂ），（ｃ），（ｄ）及び（ｅ）に示す単位に基づく他の類似コーティングパターンを使用しても良い。
【００４８】
図１２の（ａ）に示すパターンは、１ライン目にＭｇ，Ｙｅ，Ｇ，Ｃｙの順番で画素を配置し、２ライン目にＧ，Ｃｙ，Ｍｇ，Ｙｅの順番で画素を配置している。すなわち、Ｙｅ，Ｃｙ，Ｍｇ，Ｇの４画素を水平方向Ｈに並べたラインを垂直方向Ｖに２ライン配置した４画素２ラインを単位とした補色系コーティングであり、特に、上記単位内で１ライン目の４画素の前半の２画素（Ｍｇ，Ｙｅ）と後半の２画素（Ｇ，Ｃｙ）を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転配置している。図１３にはこの市松パターンを単位とした色コーティングパターン５１ａを施したＣＣＤ撮像素子５１とその周辺部の構成を示す。
【００４９】
図１２の（ｂ）に示すパターンは、１ライン目にＹｅ，Ｃｙ，Ｍｇ，Ｇの順番で画素を配置し、２ライン目にＭｇ，Ｇ，Ｙｅ，Ｃｙの順番で画素を配置している。すなわち、上記４画素２ラインを単位とした補色系コーティングであり、特に、上記単位内で１ライン目の４画素の前半の２画素（Ｙｅ，Ｃｙ）と後半の２画素（Ｍｇ，Ｇ）を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転配置している。図１４にはこの市松パターンを単位とした色コーティングパターン５２ａを施したＣＣＤ撮像素子５２とその周辺部の構成を示す。
【００５０】
図１２の（ｃ）に示すパターンは、１ライン目にＣｙ，Ｙｅ，Ｇ，Ｍｇの順番で画素を配置し、２ライン目にＧ，Ｍｇ，Ｃｙ，Ｙｅの順番で画素を配置している。すなわち、上記４画素２ラインを単位とした補色系コーティングであり、特に、上記単位内で１ライン目の４画素の前半の２画素（Ｃｙ，Ｙｅ）と後半の２画素（Ｇ，Ｍｇ）を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転配置している。図１５にはこの市松パターンを単位とした色コーティングパターン５３ａを施したＣＣＤ撮像素子５３とその周辺部の構成を示す。
【００５１】
図１２の（ｄ）に示すパターンは、１ライン目にＧ，Ｙｅ，Ｍｇ，Ｃｙの順番で画素を配置し、２ライン目にＭｇ，Ｃｙ，Ｇ，Ｙｅの順番で画素を配置している。すなわち、上記４画素２ラインを単位とした補色系コーティングであり、特に、上記単位内で１ライン目の４画素の前半の２画素（Ｇ，Ｙｅ）と後半の２画素（Ｍｇ，Ｃｙ）を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転配置している。図１６にはこの市松パターンを単位とした色コーティングパターン５４ａを施したＣＣＤ撮像素子５４とその周辺部の構成を示す。
【００５２】
図１２の（ｅ）に示すパターンは、１ライン目にＣｙ，Ｍｇ，Ｙｅ，Ｇの順番で画素を配置し、２ライン目にＹｅ，Ｇ，Ｃｙ，Ｍｇの順番で画素を配置している。すなわち、上記４画素２ラインを単位とした補色系コーティングであり、特に、上記単位内で１ライン目の４画素の前半の２画素（Ｃｙ，Ｍｇ）と後半の２画素（Ｙｅ，Ｇ）を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転配置している。図１７にはこの市松パターンを単位とした色コーティングパターン５５ａを施したＣＣＤ撮像素子５５とその周辺部の構成を示す。
【００５３】
【発明の効果】
本発明によれば、輝度信号における解像度改善が可能となる。また、水平方向４画素ローパスフィルタ出力信号を使い垂直アパーチャー信号を作ることにより垂直方向高周波成分を輝度信号に乗せることが可能となる。また、斜め方向４画素ローパスフィルタ出力信号を使い斜めアパーチャー信号とすることにより斜め方向高周波成分を輝度信号に乗せることが可能となる。また、垂直高周波成分信号を用いて色消し処理をすることにより従来に比べて色偽信号の抑圧が可能となる。
【図面の簡単な説明】
【図１】本発明の撮像素子の具体例の構成を示す図である。
【図２】本発明の画像信号処理装置の構成を示す図である。
【図３】上記撮像素子の具体例の色コーティングパターンを示す図である。
【図４】上記画像信号処理装置を構成する垂直ローパスフィルタの周波数特性図である。
【図５】輝度信号の構成画素を示す図である。
【図６】上記画像信号処理装置を構成する水平バンドパスフィルタの周波数特性図である。
【図７】水平アパコン信号の構成画素を示す図である。
【図８】上記画像信号処理装置を構成する垂直アパコン水平ローパスフィルタの周波数特性図である。
【図９】垂直アパコン信号の構成画素を示す図である。
【図１０】右斜めアパコン信号の構成画素を示す図である。
【図１１】色信号の構成画素を示す図である。
【図１２】本発明のＣＣＤ撮像素子に適用できる他の色コーティングパターンの他の例を示す図である。
【図１３】上記図１２に示した色コーティングパターンを施したＣＣＤ撮像素子を示す図である。
【図１４】上記図１２に示した色コーティングパターンを施したＣＣＤ撮像素子を示す図である。
【図１５】上記図１２に示した色コーティングパターンを施したＣＣＤ撮像素子を示す図である。
【図１６】上記図１２に示した色コーティングパターンを施したＣＣＤ撮像素子を示す図である。
【図１７】上記図１２に示した色コーティングパターンを施したＣＣＤ撮像素子を示す図である。
【図１８】従来の補色カメラシステムでの色コーティングパターン例を示す図である。
【図１９】上記図１８に示した色コーティングパターンを施したＣＣＤ撮像素子を示す図である。
【図２０】従来の画像信号処理装置の構成を示す図である。
【図２１】上記図２０に示した画像信号処理装置を構成する垂直ローパスフィルタ、水平ローパスフィルタの周波数特性図である。
【図２２】上記図２０に示した画像信号処理装置を構成する垂直アパコン部内のバンドパスフィルタの周波数特性図である。
【図２３】上記図２０に示した画像信号処理装置を構成する水平アパコン部内のバンドパスフィルタの周波数特性図である。
【図２４】上記図２０に示した画像信号処理装置を構成する水平アパコン部内の他のバンドパスフィルタの周波数特性図である。
【図２５】上記図２０に示した画像信号処理装置を構成する色信号処理部の色信号補間フィルタの周波数特性図である。
【図２６】上記図２０に示した画像信号処理装置を構成する色信号処理部の色信号補間フィルタの周波数特性図である。
【符号の説明】
１ ＣＣＤ、５ 輝度信号処理部、７〜１０ １ラインディレイ回路、１１ 垂直ローパスフィルタ、１２ 水平ローパスフィルタ、１３ 水平アパコン部、１７ 垂直アパコン部、２２ 斜めアパコン部
Claims (2)
- イエローＹｅ，シアンＣｙ，マゼンタＭｇ，グリーンＧの４画素を水平方向に並べたラインを垂直方向に２ライン配置した４画素２ラインを単位とし、この単位内での４画素の配置を、１ライン目の４画素の前半の２画素と後半の２画素を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転してなる市松模様画素を配列している撮像素子からの全画素独立読み出し信号を処理する画像信号処理装置であって、
上記撮像素子からの全画素独立読み出し信号に対して、斜め方向４画素を使い斜めアパーチャー信号を生成し、この斜めアパーチャー信号を用いて輝度信号の斜め方向高周波成分を補償する輝度信号処理手段
を備える画像信号処理装置。 - イエローＹｅ，シアンＣｙ，マゼンタＭｇ，グリーンＧの４画素を水平方向に並べたラインを垂直方向に２ライン配置した４画素２ラインを単位とし、この単位内での４画素の配置を、１ライン目の４画素の前半の２画素と後半の２画素を各２画素内の順番を変えずに、２ライン目の後半と前半に逆転してなる市松模様画素を配列している撮像素子と、
上記撮像素子からの全画素独立読み出し信号に対して、斜め方向４画素を使い斜め方向アパーチャー信号を生成し、この斜め方向アパーチャー信号を用いて輝度信号の斜め方向高周波成分を補償する画像信号処理手段と
を備えるカメラ装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11712499A JP4193281B2 (ja) | 1999-04-23 | 1999-04-23 | 画像信号処理装置及びカメラ装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11712499A JP4193281B2 (ja) | 1999-04-23 | 1999-04-23 | 画像信号処理装置及びカメラ装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000308074A JP2000308074A (ja) | 2000-11-02 |
| JP4193281B2 true JP4193281B2 (ja) | 2008-12-10 |
Family
ID=14704038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11712499A Expired - Fee Related JP4193281B2 (ja) | 1999-04-23 | 1999-04-23 | 画像信号処理装置及びカメラ装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4193281B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6992714B1 (en) * | 1999-05-31 | 2006-01-31 | Canon Kabushiki Kaisha | Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement |
-
1999
- 1999-04-23 JP JP11712499A patent/JP4193281B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000308074A (ja) | 2000-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9160935B2 (en) | Sensor arrangement for transforming color space representation in a digital color image | |
| TWI504277B (zh) | 影像感測裝置、影像感測器的操作方法、串音修正方法以及偽色誤差修正方法 | |
| WO2006137419A1 (ja) | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム | |
| JP4641675B2 (ja) | 画像信号処理装置 | |
| WO2007145087A1 (ja) | 撮像装置及び信号処理方法 | |
| JP4193281B2 (ja) | 画像信号処理装置及びカメラ装置 | |
| JP3820608B2 (ja) | 映像信号処理回路 | |
| JP3647052B2 (ja) | 撮像装置 | |
| JP3543766B2 (ja) | 画像処理装置 | |
| JP4178571B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| US7250967B2 (en) | Apparatus for modifying reproduction frequency band of video signal | |
| JPH0823541A (ja) | カラー撮像装置 | |
| JP3733182B2 (ja) | 撮像装置および縦縞除去方法 | |
| JP3837881B2 (ja) | 画像信号処理方法及び電子カメラ | |
| JP3410638B2 (ja) | ビデオカメラシステム | |
| JP4654545B2 (ja) | 単板式カラー撮像装置 | |
| JP3115123B2 (ja) | 画像信号処理装置 | |
| JPS6229388A (ja) | カラ−固体撮像装置 | |
| JP2698404B2 (ja) | 輝度信号処理装置 | |
| JP3443835B2 (ja) | 撮像装置 | |
| JPH10233966A (ja) | 固体撮像装置 | |
| JP3591257B2 (ja) | 映像信号処理方法及び映像信号処理装置 | |
| JP4214558B2 (ja) | 撮像装置 | |
| JP2003047014A (ja) | 撮像装置 | |
| JP2000308073A (ja) | 撮像素子、画像信号処理装置並びにカメラ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080811 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080915 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |