JPH09214989A - 画像信号の信号補間方法 - Google Patents

Abstract

(57)【要約】 【課題】 ベイヤー配列の色フィルタを用いた場合にお
いて，被写体が高い周波数範囲に大きな周波数成分をも
つ場合にも，十分な偽の色信号の低減効果を得る． 【解決手段】 固体撮像素子１の出力信号をサンプラ３
に加えてｎ＋１行目のＢ信号を分離すると同時に，１Ｈ
遅延回路６に加えて１水平走査期間遅延させ，サンプラ
４でｎ＋１行目の画素列のＢ信号と水平方向に同位相の
関係で存在するｎ行目のＧ信号を分離する．サンプラ
４，サンプラ３の出力信号の低周波数成分を割り算器１
３に加え，その出力信号と固体撮像素子１の出力信号を
掛け算器１５に加えて補間信号を得る．

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，偽の色信号の発生
を軽減しようとする画像信号の信号補間方法の改善に関
わり，特に固体撮像装置を用いた単板カラーカメラに好
適な画像信号の信号補間方法に関する．

【０００２】

【従来の技術】２次元状に画素を並べた固体撮像素子を
一つだけ用いてカラーのビデオ信号を得る単板カラーカ
メラは，安価にできることから家庭用ビデオカメラをは
じめとして，広い分野で利用されている．単板カラーカ
メラでは，固体撮像素子の各画素に，数種類の微小色フ
ィルタを周期的に対応させて組み合わせる．一般に輝度
信号は固体撮像素子の出力信号をそのまま用いるが，Ｒ
−Ｙ信号，Ｂ−Ｙ信号などのクロマ信号は，固体撮像素
子から得られる数種類の色フィルタに対応した各画素信
号の間の演算で得る．したがって，クロマ信号の空間的
なサンプリング周波数は，固体撮像素子のサンプリング
周波数の１／２〜１／３になる．また，Ｒ−Ｙ信号とＢ
−Ｙ信号を求める際に利用する各画素信号はそれぞれで
異なるので，Ｒ−Ｙ信号とＢ−Ｙ信号の空間的なサンプ
リング位相は，互いに異なったものとなる．こうした理
由によって，単板カラーカメラのクロマ信号は，画素に
よる空間的なサンプリングで発生する側波帯成分の影響
を受けやすく，再生画では被写体のエッジ部などで偽の
色信号が発生しやすい．

【０００３】単板カラーカメラの偽の色信号を軽減する
ための従来技術には，特開平３−１２４１９０，あるい
はテレビジョン学会誌ｖｏｌ．４６，ｎｏ．９，ｐｐ．
１１５３〜１１６０の「ＣＣＭ補間処理による単板カラ
ーカメラの色モワレ抑圧」に述べられている方法があ
る．ここで，偽の色信号が発生する原因と，従来技術の
軽減方法を図３ないし図１４を用いて説明する．

【０００４】図３は単板カラーカメラに用いるモザイク
状の色フィルタの一例を示す図である．図３において，
Ｍはマゼンタ色光を透過させる微小色フィルタであり，
Ｇ，Ｃ，Ｙはそれぞれグリーン色光，シアン色光，イエ
ロー色光を透過させる微小色フィルタである．各微小フ
ィルタの水平方向の間隔ｄｘと垂直方向の間隔ｄｙは，
それぞれ組み合わせる固体撮像素子の水平方向と垂直方
向の画素間隔に等しく，微小フィルタのそれぞれは，固
体撮像素子の各画素に１対１で対応する．

【０００５】図４は，従来技術による偽の色信号の軽減
処理を行うための構成を示す図である．図４において，
固体撮像素子１には図３に示した色フィルタが組み合わ
されているものとする．この結果，固体撮像素子１のｎ
行目の画素列を読み出すと，Ｍ信号とＧ信号が交互に得
られる．また，続くｎ＋１行目の画素列を読み出すとＣ
信号とＹ信号が交互に得られる．

【０００６】そこで，固体撮像素子１から出力される各
画素信号を，１水平走査期間の遅延量をもった１Ｈ遅延
回路６を用いて遅延させる．これは，固体撮像素子１の
たとえばｎ行目の画素列とｎ＋１行目の画素列の信号を
同時に得て，Ｍ信号，Ｇ信号，Ｃ信号，Ｙ信号を同時に
得るためである．１Ｈ遅延回路６の出力信号ば，サンプ
ラ２，サンプラ３によって，また固体撮像素子１の出力
信号はサンプラ４，サンプラ５によって，それぞれＭ信
号，Ｇ信号，Ｃ信号，Ｙ信号に分離される．サンプラ２
から得られたＭ信号とサンプラ４から得られたＣ信号
は，加算器７に加えられて（Ｍ＋Ｃ）信号が出力され
る．また，サンプラ３から得られたＧ信号とサンプラ５
から得られたＹ信号は加算器８に加えられて， （Ｇ＋
Ｙ）信号が出力される．

【０００７】なお，垂直方向に隣り合う２画素の信号を
混合し，２ラインの画素列の信号を１つの出力から混合
して読み出すタイプの固体撮像素子も一般に製造されて
いる．こうした固体撮像素子１９を用いれば，図１３に
示す構成で良く， １Ｈ遅延回路６，サンプラ４，サン
プラ５，加算器７，加算器８は不要となり，サンプラ
２，サンプラ３がら直接（Ｍ＋Ｃ）信号， （Ｇ＋Ｙ）
信号が得られる．

【０００８】ここで，固体撮像素子１に結像する被写体
が，ｎ行目とｎ＋１行目の画素列付近でもつ水平方向の
輝度変化を表す関数をｆ（ｘ）とおく．同様に，被写体
のＭ成分，Ｇ成分，Ｃ成分，Ｙ成分が持つ水平方向の変
化を表す関数をそれぞれｆ（Ｍ，ｘ）ｆＧ，ｘ），ｆ
（Ｃ，ｘ）ｆ（Ｙ，ｘ）とおく．

【０００９】図３．より，ｎ行目とｎ＋１行目での，各
微小色フィルタに対応した画素による空間的なサンプリ
ングを考えるど，ｆ（Ｍ，ｘ）どｆ（Ｃ，ｘ）あるいは
ｆ（Ｇ，ｘ）とｆ（Ｙ，ｘ）は，それぞれ水平方向に同
じ位相関係でサンプリングされる．これに対して，ｆ
（Ｍ，ｘ）とｆ（Ｇ，ｘ），ｆ（Ｃ，ｘ）とｆ（Ｙ，
ｘ）は，半周期ずれた位相でサンプリングされる．した
がって，それぞれの画素から得られるＭ信号，Ｇ信号，
Ｃ信号，Ｙ信号が持つ水平方向の周波数成分をあらわす
関数，Ｓ（Ｍ，ｆ），Ｓ（Ｇ，ｆ），Ｓ（Ｃ，ｆ），Ｓ
（Ｙ，ｆ）は，次の数１，数２，数３，数４であらわさ
れる．

【００１０】

【数１】

【００１１】

【数２】

【００１２】

【数３】

【００１３】

【数４】

【００１４】ただし，Ｆ（Ｍ，ｆ），Ｆ（Ｇ，ｆ），Ｆ
（Ｃ，ｆ），Ｆ（Ｙ，ｆ）はそれぞれｆ（Ｍ，ｘ），ｆ
（Ｇ，ｘ），ｆ（Ｃ，ｘ），ｆ（Ｙ，ｘ）をフーリエ変
換によって周波数成分に変換したものとする．また，ｄ
ｗは図３に示すように画素の水平方向の幅である．ｓｉ
ｎｃ（ｘ）＝ｓｉｎ（ｘ）／ｘである．また，δ（ｘ）
はデルタ関数である．さらに，＊は数５の重畳積分（コ
ンボリューション）をあらわす．

【００１５】

【数５】

【００１６】数１〜数４からわかるように，Ｓ（Ｍ，
ｆ）とＳ（Ｙ，ｆ）はｅｘｐ（−Ｊｎπ）の項をもって
いるので，Ｓ（Ｍ，ｆ）やＳ（Ｃ，ｆ）とは偶数次に発
生する高調波成分の位相は一致するが，奇数次に発生す
る高調波成分の位相は逆相となる．すなわち，被写体の
水平方向の変化ｆ（ｘ）がもつ空間周波数成分をあらわ
す関数Ｆ（ｆ）が，図５（ａ）に示すような周波数分布
をもち，Ｆ（Ｍ，ｆ），Ｆ（Ｇ，ｆ），Ｆ（Ｃ，ｆ），
Ｆ（Ｙ，ｆ）がそれぞれ図５（ｂ）， （ｃ），
（ｄ）， （ｅ）に示す周波数分布をもつと，Ｓ（Ｍ，
ｆ），Ｓ（Ｇ，ｆ），Ｓ（Ｃ，ｆ），Ｓ（Ｙ，ｆ）の周
波数成分は，図６（ａ），（ｂ），（ｃ），（ｄ）に示
すものとなる．このとき，加算器７および加算器８から
得られる（Ｍ＋Ｃ）信号と（Ｇ＋Ｙ）信号のもつ周波数
成分（Ｓ（Ｍ，ｆ）＋Ｓ（Ｃ，ｆ）），（Ｓ（Ｇ，ｆ）
＋Ｓ（Ｙ，ｆ））は図７（ａ）， （ｂ）に示すものと
なる．

【００１７】一方，透過光の成分組成を考えると，Ｍは
Ｒ＋Ｂ，ＣはＧ＋Ｂ，ＹはＧ＋Ｒである．これを利用し
て（Ｍ＋Ｃ）信号から（Ｇ＋Ｙ）信号を減算すると，数
６のように２Ｂ−Ｇとなる．

【００１８】

【数６】

【００１９】Ｇ色光は輝度信号に占める割合が大きいこ
と（ＮＴＳＣ方式のビデオ信号では５９％），および固
体撮像素子のＢ色光に対する分光感度特性が一般に低い
ことから，通常，２Ｂ−Ｇは色差信号Ｂ−Ｙとして代用
可能である．数６の関係と数１〜数４を用いると，色差
信号Ｂ−Ｙ（≒２Ｂ−Ｇ）のもつ水平方向の周波数成分
をあらわす関数Ｓ（Ｂ−Ｙ，ｆ）は，数７のようにな
る．

【００２０】

【数７】

【００２１】（Ｓ（Ｍ，ｆ）＋Ｓ（Ｃ，ｆ）），（Ｓ
（Ｇ，ｆ）＋Ｓ（Ｙ，ｆ））は図７（ａ），（ｂ）に示
すものであったから，Ｓ（Ｂ−Ｙ，ｆ）のもつ周波数成
分は，図８（ａ）に示すものとなる．ここで，図８
（ａ）に示す周波数ｆｃよりも低い周波数成分をローパ
スフィルタによって取り出し，クロマ信号Ｂ−Ｙとして
用いると，サンプリング周波数の基本周波数１／２ｄｘ
に発生した側波帯成分のうち，斜線で示した部分がクロ
マ信号に混入して，偽の色信号を発生させる．すなわ
ち，低いクロマ信号に混入するのは，被写体のもつ周波
数成分のうちの（１／２ｄｘ−ｆｃ）よりも高い周波数
範囲に対応する部分の側波帯成分であることが分かる．
したがって，偽の色信号が発生するのは，被写体が高い
周波数成分をもつときであり，被写体のエッジ部分など
で偽の色信号が発生しやすいことが理解できる．

【００２２】そこで，従来技術による偽の色信号を軽減
する方法では，図４に示したように，加算器７および加
算器８から得られる（Ｍ＋Ｃ）信号と（Ｇ＋Ｙ）信号
を，たとえば周波数ｆａまでの帯域の信号を通過するロ
ーパスフィルタ９，ローパスフィルタ１０に加える．ロ
ーパスフィルタ９，ローパスフィルタ１０から出力され
る信号のもつ周波数成分（Ｓｌ（Ｍ，ｆ）＋ＳｌＣ，
ｆ）），（Ｓｌ（Ｇ，ｆ）＋Ｓｌ（Ｙ，ｆ））は，図７
（ｃ），（ｄ）に斜線で示す部分となる．図７（ｃ），
（ｄ）からわかるように，これらは，被写体のもつ周波
数成分のうちのｆａよりも低い周波数範囲の成分（Ｆｌ
（Ｍ，ｆ）＋Ｆｌ（Ｃ，ｆ）），（Ｆｌ（Ｇ，ｆ）＋Ｆ
ｌ（Ｙ，ｆ））と，被写体のもつ周波数成分のうちの
（１／２ｄｘ−ｆａ）よりも高い周波数範囲にあたる部
分（Ｆｈ（Ｍ，ｆ）＋Ｆｈ（Ｃ，ｆ）），（Ｆｈ（Ｇ，
ｆ）＋Ｆｈ（Ｙ，ｆ））の側波帯成分を加えたものであ
り，数８，数９の関係となる．

【００２３】

【数８】

【００２４】

【数９】

【００２５】図７（ｃ），（ｄ）あるいは数８，数９よ
り，被写体のもつ周波数成分のうち，（１／２ｄｘ−ｆ
ａ）よりも高い周波数範囲の成分（Ｆｈ（Ｍ，ｆ）＋Ｆ
ｈ（Ｃ，ｆ）），（Ｆｈ（Ｇ，ｆ）＋Ｆｈ（Ｙ，ｆ））
が小さければ，ローパスフィルタ９およびローパスフィ
ルタ１０の出力信号の周波数成分（Ｓｌ（Ｍ，ｆ）＋Ｓ
ｌ（Ｃ，ｆ）），（Ｓｌ（Ｇ，ｆ）＋Ｓｌ（Ｙ，ｆ））
は，それぞれ被写体のもつ低周波数成分（Ｆｌ（Ｍ，
ｆ）＋Ｆｌ（Ｃ，ｆ）），（Ｆｌ（Ｇ，ｆ）＋Ｆｌ
（Ｙ，ｆ））にほぼ等しい大きさとなる．また，局所で
の色の変化が少ない被写体では，その周辺において，任
意の２つの色信号のもつ周波数成分をあらわす関数は，
相似形に近いものとなることが期待できる．このとき，
低周波数成分の比は全体の周波数成分の比にほぼ等しく
なり，数１０が成り立つ．

【００２６】

【数１０】

【００２７】そこで図４に示す構成では，ローパスフィ
ルタ９およびローパスフィルタ１０の出力信号を，ゲー
ト回路１１，ゲート回路１２を介して割り算器１３に加
える．ゲート回路１１，ゲート回路１２は，固体撮像素
子１あるいは１Ｈ遅延回路６からＭ信号とＣ信号が得ら
れるサンプリングタイミングでは，ローパスフィルタ９
から得られる（Ｍ＋Ｃ）信号の低周波数成分が割り算器
１３の除数側に，ローパスフィルタ１０から得られる
（Ｇ＋Ｙ）信号の低周波数成分が割り算器１３の被除数
側に加わるよう動作する．また，固体撮像素子１あるい
は１Ｈ遅延回路６からＧ信号とＹ信号が得られるサンプ
リングタイミングでは，ローパスフィルタ９から得られ
る（Ｍ＋Ｃ）信号の低周波数成分が割り算器１３の被除
数側に，ローパスフィルタ１０から得られる（Ｇ＋Ｙ）
信号の低周波数成分が割り算器１３の除数側に加わるよ
う動作する．さらに割り算器１３の出力信号を，固体撮
像素子１の出力信号と１Ｈ遅延回路６の出力信号を加算
する加算器１４の出力信号とともに掛け算器１５に加え
て，補間信号ｆｉ（ｘ）を得る．

【００２８】以上の動作から，たとえば固体撮像素子１
あるいは１Ｈ遅延回路６からＭ信号とＣ信号が得られる
サンプリングタイミングでは，補間信号ｆｉ（ｘ）のも
つ周波数成分Ｓｉ（ｆ）は数１１であらわされるものと
なる．なお，数１１においては，変化をあらわす関数
（例えばｓ（Ｍ，ｘ））の２乗積分値は，その周波数成
分をあらわす関数（例えばＳ（Ｍ，ｆ））の２乗積分値
に等しいというパーシバルの定理を根拠として，瞬時値
の比もおおよそ周波数成分の比に等しいことを期待して
いる．

【００２９】

【数１１】

【００３０】数１１に数１，数３，および数８，数９の
関係を用いると数１２となる．

【００３１】

【数１２】

【００３２】さらに，局所での色の変化が少ない被写体
で数９が成り立つことを考慮すると，数１２は数１３と
なる．

【００３３】

【数１３】

【００３４】ここでｅを数１４の関係で置き換えると，
数１３は数１５の関係になり，その周波数成分は図８
（ｂ）に示すようなものとなる．

【００３５】

【数１４】

【００３６】

【数１５】

【００３７】一方，固体撮像素子１あるいは１Ｈ遅延回
路６からＧ信号とＹ信号が得られるサンプリングタイミ
ングでは，数２，数４から，加算器１４から得られる信
号ｓｏ（ｘ）のもつ周波数成分Ｓｏ（ｆ）は数１６であ
らわされるものとなる．

【００３８】

【数１６】

【００３９】数１５と数１６の比較から，掛け算器１５
から得られた補間信号ｆｉ（ｘ）のもつ周波数成分Ｓｉ
（ｆ）は，加算器１４から得られる信号のもつ周波数成
分Ｓｏ（ｆ）において，奇数次の側波帯成分の位相が反
転したものとほぼ等しいことが分かる．

【００４０】そこで，図４に示す構成では，加算器１４
と掛け算器１５の出力信号をゲート回路１６，ゲート回
路１７に加えて，ゲート回路１６からは（Ｍ＋Ｃ）信号
に対応する信号のみが，ゲート回路１７からは（Ｇ＋
Ｙ）信号に対応する信号のみが得られるように制御す
る．すなわち，ゲート回路１７は，加算器１４から（Ｍ
＋Ｃ）信号が得られるサンプリングタイミングには掛け
算器１５から得られる補間信号ｓｉ（ｘ）が，また加算
器１４から（Ｇ＋Ｙ）信号が出力されるときには加算器
１４の出力信号ｓＯ（ｘ）を出力するよう動作する．こ
れによってゲート回路１７からは，ｓｉ（ｘ）とｓＯ
（ｘ）の加算信号ｓａ（ｘ）が得られ，その周波数成分
をあらわす関数Ｓａ（ｆ）は数１５，数１６より数１７
であらわされるものとなる．

【００４１】

【数１７】

【００４２】Ｓｉ（ｆ）は図８（ｂ）に示すとおりであ
り，Ｓｏ（ｆ）は図７（ｂ）に示すとおりであるから，
これらを加算したＳａ（ｆ）の周波数成分は図８（ｃ）
に示すものとなる．これは，サンプリング周波数の基本
周波数１／２ｄｘに発生した側波帯成分が低減されたも
のとなる．

【００４３】同様に，加算器１４から（Ｇ＋Ｙ）信号が
得られるサンプリングタイミングには，掛け算器１５か
ら（Ｍ＋Ｃ）信号に対応した補間信号が得られる．これ
を，加算器１４から得られた（Ｍ＋Ｃ）出力信号と交互
に選択されるようにゲート回路１６を動作させれば．サ
ンプリング周波数の基本周波数１／２ｄｘに発生した側
波帯成分が低減された（Ｍ＋Ｃ）信号が得られる．

【００４４】以上の動作でゲート回路１６およびゲート
回路１７がら得られた出力信号を，減算器１８に加えて
色差信号を生成すれば図８（ｄ）に示す，図８（ａ）と
比較するとサンプリング周波数の基本周波数１／２ｄｘ
に発生した側波帯成分の混入が低減されて，偽の色信号
が発生しにくいクロマ信号が生成できる．

【００４５】ところで，単板カラーカメラ用色フィルタ
の中には，特定の色フィルタを市松状に配した，いわゆ
るベイヤー配列の色フィルタが存在する．特に図９に一
例を示す，Ｇが市松状に配されたものは，原色系の色フ
ィルタの主流である．なお，図９に示す色フィルタにお
いて，Ｇ，Ｒ，Ｂはそれぞれグリーン色光，赤色光，青
色光を透過させる微小色フィルタである．上述した従来
の偽の色信号を低減する方法を，ベイヤー配列の色フィ
ルタに適用する方法についてば，従来技術の中でも別段
述べられていない．しかレ，ベイヤー配列の色フィルタ
においても，各画素列から得られる画素信号に対して，
同様の補間処理を行えばよいことは容易に類推できる．
それには，図１０に示す構成を用いればよい．図１０に
示す構成は，周体撮像素子１が２ラインの画素信号を混
合して読み出すタイプではないこと，図８に示す色フィ
ルタを組み合わせたものであることを除いて，図１３と
同一である．したがって，図１０において固体撮像素子
１ないしサンプラ３，およびローパスフィルタ９ないし
減算器１８の動作は，図４，図１３に示した構成のもの
と同様である．すなわち，固体撮像素子１から図９に示
すｎ＋１行目の画素列の信号が得られるときに，偽の色
信号を低減する動作はつぎのとおりである．

【００４６】固体撮像素子１から得られた画素信号は，
サンプラ２，サンプラ３に加えられて，それぞれＧ信号
とＢ信号に分離される．ここで，固体撮像素子１に結像
する被写体が，ｎ＋１行目の画素列付近で持つ水平方向
の明るさの変化を表す関数をｆ（ｘ），その周波数成分
をあらわす関数をＦ（ｆ）とおく．また，被写体のＧ成
分，Ｒ成分，Ｂ成分の水平方向の変化を表す関数をｆ
（Ｇ，ｘ），ｆ（Ｒ，ｘ），ｆ（Ｂ，ｘ），その周波数
成分をあらわす関数をＦ（Ｇ，ｆ），Ｆ（Ｒ，ｆ），Ｆ
（Ｂ，ｆ）とおく

【００４７】図３に示した色フィルタのｎ＋１行目の画
素列に対して数３，数４が得られたのと同様に，ｎ＋１
行目の画素列のＧ信号，Ｂ信号が持つ水平方向の周波数
成分をあらわす関数Ｓ（Ｇ１，ｆ），Ｓ（Ｂ，ｆ）は数
１８，数１９で表される．

【００４８】

【数１８】

【００４９】

【数１９】

【００５０】このとき，Ｆ（ｆ）の周波数成分が図１１
（ａ）に示すものであり，Ｆ（Ｇ，ｆ），Ｆ（Ｒ，
ｆ），Ｆ（Ｂ，ｆ）がそれぞれ図１１（ｂ），（ｃ），
（ｄ）に示すものであるとする．このとき，Ｓ（Ｇ１，
ｆ），Ｓ（Ｂ，ｆ）は，それぞれ図１２（ａ），（ｂ）
に示す周波数成分をもったものとなる．

【００５１】さらに，サンプラ２，サンプラ３の出力信
号を，それぞれｆａよりも低い周波数成分を通過させる
ローパスフィルタ９，ローパスフィルタ１０に加える．
ローパスフィルタ９，ローパスフィルタ１０から得られ
る出力信号ｓｌ（Ｇ１，ｘ），ｓｌ（Ｂ，ｘ）は，図１
２（ｃ），（ｄ）に斜線で示す周波数成分Ｓｌ（Ｇ１，
ｆ），Ｓｌ（Ｂ，ｆ）の大きさに対応したものとなる．
図１２（ｃ），（ｄ）からわかるように，これらは，被
写体のもつ周波数成分のうちのｆａよりも低い周波数範
囲の成分Ｆｌ（Ｇ，ｆ），Ｆｌ（Ｂ，ｆ）と，被写体の
もつ周波数成分のうちの（１／２ｄｘ−ｆａ）よりも高
い周波数範囲にあたる部分Ｆｈ（Ｇ，ｆ），Ｆｈ（Ｂ，
ｆ）の側波帯成分を加えたものであり，数２０，数２１
の関係となる．

【００５２】

【数２０】

【００５３】

【数２１】

【００５４】図１２（ｃ），（ｄ）あるいは数２０，数
２１より，被写体のもつ周波数成分のうち（１／２ｄｘ
−ｆａ）よりも高い周波数範囲の成分Ｆｈ（Ｇ，ｆ），
Ｆｈ（Ｂ，ｆ）が小さければ，ローパスフィルタ９およ
びローパスフィルタ１０の出力信号の周波数成分Ｓｌ
（Ｇ１，ｆ），Ｓｌ（Ｂ，ｆ）は，それぞれ被写体のも
つ低周波数成分Ｆｌ（Ｇ，ｆ），Ｆｌ（Ｂ，ｆ）にほぼ
等しい大きさとなる．また，前に述べたように，局所で
の色の変化が少ない被写体では，その周辺において，任
意の２つの色信号のもつ周波数成分をあらわす関数は，
相似形に近いものとなることが期待できるから，低周波
数成分の比は全体の周波数成分の比にほぼ等しくなり，
数２２が成り立つ．

【００５５】

【数２２】

【００５６】ローパスフィルタ９，ローパスフィルタ１
０の出力信号は，ゲート回路１１およびゲート回路１２
に加えられる．さらにゲート回路１１およびゲート回路
１２の出力信号は割り算器１３に加えられる．ここで，
ゲーと回路１１，ゲート回路１２は，たとえばｎ＋１行
目の画素列において，固体撮像素子１からＧ信号が得ら
れるサンプリングタイミングには，ローパスフィルタ９
の出力信号ｓｌ（Ｇ１，ｘ）が割り算器１３の除数側に
加わり，ローパスフィルタ１０の出力信号ｓｌ（Ｂ，
ｘ）が被除数側に加わるよう動作する．また，固体撮像
素子１からＢ信号が得られるサンプリングタイミングに
は，ローパスフィルタ９の出力信号ｓｌ（Ｇ１，ｘ）が
割り算器１３の被除数側に加わり，ローパスフィルタ１
０の出力信号ｓｌ（Ｂ，ｘ）が除数側に加わるよう動作
する．さらに割り算器１３の出力信号を固体撮像素子１
から得られる画素信号ｓ（Ｇ１，ｘ）とともに掛け算器
１５に加えて，補間信号ｓｉ（ｘ）を得る．

【００５７】この結果，たとえば固体撮像素子１からＢ
信号が得られるサンプリングタイミングには，掛け算器
１５から得られる補間信号ｓｉ（ｘ）のもつ周波数成分
Ｓｉ（ｆ）は，数２３で表されるものとなる．

【００５８】

【数２３】

【００５９】数２３に数１９，数２０，数２１を用いる
と，掛け算器１５から得られる出力信号のもつ周波数成
分Ｓｉ（ｆ）は数２４のようになる．さらに，これに数
２２を用いると，数２５となる．

【００６０】

【数２４】

【００６１】

【数２５】

【００６２】ここでｅ’を数２６で置き換えれば，Ｓｉ
（ｆ）式は数２７のとおりであり，図１４（ａ）に示す
ものとなる．

【００６３】

【数２６】

【００６４】

【数２７】

【００６５】さらに，固体撮像素子１から得られる出力
信号と掛け算器１５から得られる出力信号は，ゲート回
路１６，ゲート回路１７に加えられる．この時，たとえ
ばゲート回路１６は，固体撮像素子１からＧ信号が得ら
れるサンプリングタイミングには固体撮像素子１の出力
信号ｓ（Ｇ１，ｘ）をそのまま出力し，固体撮像素子１
からＢ信号が出力されるサンプリングタイミングには掛
け算器１５から得られる補間信号ｓｉ（ｘ）が出力する
よう動作する．この結果，ゲート回路１６から得られる
信号の周波数成分Ｓｏ（１６，ｆ）は，数２８であらわ
されるものとなる．

【００６６】

【数２８】

【００６７】これは，図１２（ａ）に示す周波数成分と
図１４（ａ）に示す周波数成分を加えた，図１４（ｂ）
に示すものとなる．図１４（ｂ）からわかるように，Ｓ
ｏ（１６，ｆ）はサンプリング周波数の基本周波数１／
２ｄｘに発生する側波帯成分が相殺されて低減されたも
のとなる．

【００６８】同様に，ゲート回路１７からはサンプリン
グ周波数の基本周波数１／２ｄｘに発生する側波帯成分
が低減された数２９に示すＢ信号Ｓｏ（１７，ｆ）が得
られ，図１４（ｃ）に示す周波数成分のものとなる．

【００６９】

【数２９】

【００７０】この結果，ゲート回路１６とゲート回路１
７の出力信号を減算器１８に加えて，両者の間で２Ｂ−
Ｇの演算を行った出力信号のもつ周波数成分Ｓ（Ｂ−
Ｙ，ｆ）は図１４（ｄ）に示すものとなり，クロマ信号
の帯域内に混入する側波帯成分が低減される．このと
き，数２６より，被写体のもつ周波数成分のうちの（１
／２ｄｘ−ｆａ）よりも高い周波数範囲の成分が小さい
ほどｅ’が１に近づき，数２８あるいは数２９の右辺第
２項であらわされる奇数次の側波帯成分の低減量が大き
きなるのは，図４に示す構成の場合と同様である．

【００７１】

【発明が解決しようとする課題】上述の従来技術による
偽の色信号の低減方法では，被写体が高い周波数成分を
多くもつ場合には，奇数次の側波帯成分の十分な低減効
果が期待できない．すなわち，被写体のもつ周波数成分
のうちの（１／２ｄｘ−ｆａ）よりも高い周波数範囲の
成分が大きくなると，図１２（ｃ），（ｄ）に示すよう
にローバスフィルタで取り出した低周波数成分のうちの
側波帯成分が占める割合が大きくなる．この結果数２６
から明らかなようにｅ’は１と大きな誤差をもった値と
なるので，数２８あるいは数２９の右辺第２項であらわ
される奇数次の側波帯成分が残り，偽の色信号が十分に
低減できない．

【００７２】本発明の目的は，特にベイヤー配列の色フ
ィルタを用いた場合において，被写体が高い周波数範囲
に大きな周波数成分をもつ場合にも，十分な偽の色信号
の低減効果が得られる画像信号の信号補間装置を提供す
ることにある．

【００７３】

【課題を解決するための手段】上記目的を達成するため
に，本発明の画像信号の信号補間方法においては，画像
からそれぞれ所定の成分に対応した信号を取り出す複数
種の画素群を２次元状にかつ周期的に，しかも上記複数
種の画素群のうち第１の種類に属する第１の画素群は隣
接画素列の間で互いに補間する関係に配して得た信号か
ら，所要の周期で補間した複数種の信号を生成するにあ
たり，上記複数種の画素群のうちの第１の画素群から選
んだ第１の画素の信号を取り出し，上記第１の画素が位
置する第１の画素列に存在して上記第１の画素群とは種
類の異なる第２の画素群に属する少なくとも１つ以上の
画素からなる第３の画素群の信号を取り出し，上記第３
の画素群の各画素をとおる上記第１の画素列とは直交す
る直線群上にあり，しかも上記第１の画素列隣接するす
くなくともひとつの画素列に存在し，上記第１の画素群
に属する第４の画素群の信号を取り出し，上記第３の画
素群の信号から所定の変換を行った第１の変換信号を取
り出し，上記第４の画素群の信号から所定の変換を行っ
た第２の変換信号を取り出し，上記第２の変換信号に対
する上記第１の変換信号の比に対応した第１の係数信号
を取り出し，上記第１の係数信号と上記第１の画素の信
号を乗算した補間信号を取り出し，上記補間信号を上記
第１の画素の位置に対応する上記第２の画素群の信号と
するものである．

【００７４】上記の手段で補間動作を実現するには，上
記第１の変換信号は上記第３の画素群の信号の低周波数
成分を取り出したもの，また，上記第２の変換信号は上
記第４の画素群の信号の低周波数成分を取り出したもの
とすることが望ましい．

【００７５】

【発明の実施の形態】本発明の一実施例を，図１に示す
構成図を用いて説明する．図１において，固体撮像素子
１は図１０に示した従来技術の場合と同様，図９に示す
ベイヤー配列の原色系の色フィルタを組み合わせたもの
であるとする．

【００７６】固体撮像素子１の出力信号は，遅延時間が
１水平走査期間に等しい１Ｈ遅延回路６に加えられる．
これによって固体撮像素子１から，たとえば図９のｎ＋
１行目の画素列の信号が得られるとき，１Ｈ遅延回路６
からはｎ行目の画素列の画素信号が同時に得られる．な
お，図１５に示す構成のように，奇数行目の画素列の画
素信号を出力する出力２０と，偶数行目の画素列の画素
信号を出力する出力２１をもった，いわゆる全画素読み
出しの固体撮像素子２２を用いる場合には，１Ｈ遅延回
路６を省略することができる．

【００７７】図１において固体撮像素子１の出力信号か
ら得られたｎ＋１行目の画素列の信号は，サンプラ３に
加えられてＢ信号を分離する．一方，１Ｈ遅延回路６か
ら得られたｎ行目の画素列の信号はサンプラ４に加えら
れる．サンプラ４では，ｎ＋１行目の画素列のＢ信号と
水平方向に同位相の関係で存在するＧ信号を分離する．
こうして得られるｎ行目の画素列から得られるＧ信号ｓ
（ＧＯ，ｘ）のもつ水平方向の周波数成分Ｓ（ＧＯ，
ｆ）は，数３０に示すとおりである．なお，ｎ＋１行目
の画素列から得られるＢ信号ｓ（Ｂ，ｘ）のもつ水平方
向の周波数成分Ｓ（Ｂ，ｆ）は，従来技術の説明におい
て数１９に示した．

【００７８】

【数３０】

【００７９】さらにサンプラ４，サンプラ３の出力信号
は，たとえば周波数ｆａよりも低い帯域を通過させるロ
ーパスフィルタ９，ローパスフィルタ１０に加えられる
が，以降の動作は図１０に示した従来技術の場合と同様
である．

【００８０】すなわち，ローパスフィルタ９，ローパス
フィルタ１０の出力信号は，ゲート回路１１，ゲート回
路１２を経て，割り算器１３に加えられる．このときゲ
ート回路１１，ゲート回路１２は，固体撮像素子１から
ｎ＋１行目の画素列のＧ信号が得られるサンプリングポ
イントでは，ローパスフィルタ９の出力信号ｓｌ（Ｇ
Ｏ，ｘ）を割り算器１３の除数側に加え，ローパスフィ
ルタ１０の出力信号ｓｌ（Ｂ，ｘ）を割り算器１３の被
除数側に加えるように動作する．また，固体撮像素子１
からＢ信号が得られるサンプリングポイントでは，ロー
パスフィルタ９の出力信号ｓｌ（ＧＯ，ｘ）を割り算器
１３の被除数側に加え，ローパスフィルタ１０の出力信
号ｓｌ（Ｂ，ｘ）を割り算器１３の除数側に加えるよう
に動作する．さらに割り算器１３の出力信号は．固体撮
像素子１の出力信号と共に掛け算器１５に加えられ，補
間信号ｓｉ（ｘ）となって出力される．この結果，固体
撮像素子１からｎ＋１行目の画素列のＧ信号ｓ（Ｇ１，
ｘ）が得られるサンプリングポイントでは，補間信号ｓ
ｉ（ｘ）のもつ水平方向の周波数成分Ｓｉ（ｆ）は，数
３１で示されるものとなる．ただし，Ｓｌ（ＧＯ，
ｆ），Ｓｌ（Ｂ，ｆ）はそれぞれｓｌ（ＧＯ，ｘ），ｓ
ｌ（Ｂ，ｘ）のもつ周波数成分をあらわす関数である．

【００８１】

【数３１】

【００８２】ここで，被写体がｎ行目およびｎ＋１行目
の画素列付近でもつ水平方向の周波数成分Ｆ（ｆ）が図
１１（ａ）に示したものであり，Ｇ信号，Ｒ信号，Ｂ信
号のもつ周波数成分Ｆ（Ｇ，ｆ），Ｆ（Ｒ，ｆ），Ｆ
（Ｂ，ｆ）がそれぞれ図１１（ｂ），（ｃ），（ｄ）に
示したものであるとき，Ｓ（ＧＯ，ｆ），Ｓ（Ｂ，ｆ）
の周波数成分は図２（ａ），（ｂ）に示すものとなる．
この結果，ローパスフィルタ９，ローパスフィルタ１０
から得られる出力信号のもつ周波数成分Ｓｌ（ＧＯ，
ｆ），Ｓｌ（Ｂ，ｆ）は，図２（ｃ），（ｄ）に斜線で
示すものとなる．図２（ｃ），（ｄ）からわかるよう
に，Ｓｌ（ＧＯ，ｆ），Ｓｌ（Ｂ，ｆ）は，被写体のも
つ周波数成分のうちのｆａよりも低い周波数範囲の成分
Ｆｌ（Ｇ，ｆ），Ｆｌ（Ｂ，ｆ）と，被写体のもつ周波
数成分のうちの（１／２ｄｘ−ｆａ）よりも高い周波数
範囲にあたる部分Ｆｈ（Ｇ，ｆ），Ｆｈ（Ｂ，ｆ）の側
波帯成分を加えたものであり，数３２，数３３の関係と
なる．

【００８３】

【数３２】

【００８４】

【数３３】

【００８５】前に述べたように，局所での色の変化が少
ない被写体でば，その周辺において，任意の２つの色信
号のもつ周波数成分をあらわす関数は，相似形に近いも
のとなることが期待できるから，低周波数成分の比ある
いは高周波数成分の比は全体の周波数成分の比にほぼ等
しくなり，数３４が成り立つ．

【００８６】

【数３４】

【００８７】数３１に数１８および数３２，数３３を用
いれば，掛け算器１５から得られる補間信号ｓｉ（ｘ）
のもつ周波数成分Ｓｉ（ｆ）は，数３５で表されるもの
となる．

【００８８】

【数３５】

【００８９】さらに数３５に数３４をもちいると，数３
６が得られる．

【００９０】

【数３６】

【００９１】掛け算器１５から得られる補間信号ｓｉ
（ｘ）は，固体撮像素子１から得られる出力信号ととも
に，ゲート回路１６，ゲート回路１７に加えられる．こ
の時，たとえばゲート回路１７は，ｎ＋１行目の画素列
において固体撮像素子１からＢ信号が得られるサンプリ
ングタイミングには固体撮像素子１の出力信号ｓ（Ｂ，
ｘ）をそのまま出力し，固体撮像素子１からＧ信号が出
力されるサンプリングタイミングには掛け算器１５から
得られる補間信号ｓｉ（ｘ）が出力するよう動作する．
この結果，ゲート回路１７から得られる信号の周波数成
分Ｓｏ（１７，ｆ）は，数３７であらわされるものとな
る．

【００９２】

【数３７】

【００９３】数３７と，図１０に示した従来技術でのゲ
ート回路１７の出力信号をあらわす数２９との比較か
ら，図１に示す本発明の実施例によれば．従来技術での
ゲート回路１７の出力信号に残存していた第２項の高調
波の側波帯成分が，完全に除去できることがわかる．こ
れは，被写体のもつ周波数成分のうちの，（１／２ｄｘ
−ｆａ）よりも高い周波数範囲の成分の大きさに関わら
ない．

【００９４】同様の処理によって，ゲート回路１６から
サンプリング周波数の奇数次の高調波に発生する側波帯
成分が除去された，数３８に示すＧ信号Ｓｏ（１６，
ｆ）を得ることが可能である．

【００９５】

【数３８】

【００９６】この結果，ゲート回路１６とゲート回路１
７の出力信号を減算器１８に加えて，両者の間で２Ｂ−
Ｇの演算を行った出力信号のもつ周波数成分Ｓ（Ｂ−
Ｙ，ｆ）は，クロマ信号の帯域内に混入するサンプリン
グ周波数の基本周波数に発生する側波帯成分が除去され
るので，被写体が高い周波数成分をもっている場合に
も，偽の色信号が発生することはない．

【００９７】なお，サンプラ４の出力信号Ｓ（ＧＯ，
ｆ）は，数３０に示したものであるから，数１８であら
わされるｎ＋１行目の画素列から得られるＧ信号Ｓ（Ｇ
１，ｆ）と直接加算して奇数時の高調波に発生する側波
帯成分を相殺することができる．これには図１８に示す
構成を用いればよく，掛け算器１５の出力信号の代わり
にサンプラ４の出力信号をゲート回路１６に加える構成
とすればよい．

【００９８】上説明した図１の構成では，図９に示した
色フィルタのｎ＋１行目の画素列の信号を補間する際
に，サンプリングの高調波に発生する側波帯成分の位相
がすべての次数で一致する，ｎ＋１行目の画素列のＢ信
号とｎ行目の画素列のＧ信号を利用して係数を求めた．
図１６に示す第２の実施例は，図９に示した色フィルタ
のｎ＋１行目の画素列の信号を補間するのに， ｎ＋１
行目の画素列のＢ信号と水平方向に同じ位相でサンプリ
ングされているｎ行目の画素列のＧ信号とｎ＋２行目の
画素列のＧ信号の平均値を用いる方法である．

【００９９】図１６において，固体撮像素子１から得ら
れた出力信号は１水平走査期間に等しい遅延時間の１Ｈ
遅延回路６と，２水平走査期間に等しい遅延時間の２Ｈ
遅延回路２３に加えられる．この結果，たとえば固体撮
像素子１から図９のｎ＋２行目の画素列の信号が得られ
るときに， １Ｈ遅延回路６からはｎ＋１行目の画素列
の信号が，また，２Ｈ遅延回路２３からはｎ行目の画素
列の信号が同時に得られる．以降の処理では， １Ｈ遅
延回路６から得られた１水平走査期間遅延した信号が基
準信号となる．

【０１００】固体撮像素子１の出力信号はサンプラ２４
にも加えられて，たとえば固体撮像素子１から図９のｎ
＋２行目の画素列の信号が得られるときにＧ信号を分離
する．また，１Ｈ遅延回路６の出力信号はサンプラ３に
加えられて，ｎ＋１行目の画素列のＢ信号を分離し，２
Ｈ遅延回路２３の出力信号はサンプラ４に加えられて，
ｎ行目の画素列のＧ信号を分離する．サンプラ４から得
られたｎ行目の画素列のＧ信号のもつ周波数成分をあら
わす関数Ｓ（ＧＯ，ｆ）は数３０に示したとおりであ
り，サンプラ２４から得られたｎ＋２行目の画素列のＧ
信号のもつ周波数成分をあらわす関数Ｓ（Ｇ２，ｆ）は
数３９のとおりである．

【０１０１】

【数３９】

【０１０２】サンプラ４の出力信号とサンプラ２４の出
力信号は加算平均回路２５に加えられ，両者の平均値信
号を出力する．数３０，数３９から明らかなように，加
算平均回路２５の出力信号も，図１に示した従来例での
サンプラ４からの出力信号と同様，数１８で示したｎ＋
１行目の画素列のＧ信号とは奇数次に発生する側波帯成
分の位相が反転したものとなる．そこで，加算平均回路
２５の出力信号は，図１におけるサンプラ４から得られ
るＧ信号の代わりとして，ローパスフィルタ９に加えら
れる．以後の動作は，１Ｈ遅延回路６から得られる１水
平走査期間遅延させた信号を基準時間の信号として掛け
算器１５，ゲート回路１６，ゲート回路１７に加えるこ
とを除いて，図１に示した実施例の場合と同様であり，
偽の色信号を低減する効果も同様であることも明らかで
ある．

【０１０３】なお，図１に示す構成から，サンプラ４の
出力信号をそのままＧ信号の補間に用いることによって
図１８の構成が実現されたように，図１６に示す構成の
加算平均回路２５の出力信号を，そのままＧ信号の補間
信号としてゲート回路１６に加える図１９に示す構成も
実現できる．

【０１０４】また，本発明の実施例では，水平方向の画
素列の間で補間を行う方法を説明した．しかし，図９か
ら明らかなように，ベイヤー配列の色フィルタは９０度
回転させても配列のパターンが変わらないので，垂直方
向の画素列の間で補間を行なってもよいことが容易に理
解できる．これには， １Ｈ遅延回路を複数段重ねて，
垂直方向の画素列の信号を同時化して用いればよい．

【０１０５】また本発明の実施例は，図９に示したＧを
市松状に配した色フィルタを用いる場合を例にとって説
明したが，その動作から，図１７に示すようにＷ（透
明）を市松状に配した色フィルタをはじめ，任意の微小
フィルタを市松状に配した色フィルタに適用できること
は明らかである．

【０１０６】さらに，本発明の実施例はハードウェアに
よる処理を例にとって説明したが，ソフトウェアによる
汎用コンピュータ上での処理によっても実現できること
は明らかである．

【０１０７】

【発明の効果】以上説明したように，本発明の画像信号
の補間方法によれば，補間信号を求める際の演算に，被
写体の高い周波成分の影響がなくなる．この結果，被写
体が高い周波数成分をもっている場合にも，画素信号の
もつ周波数成分のうちのサンプリング周波数の基本周波
数に発生する側波帯成分を高精度で相殺でき，偽の色信
号を十分に除去できる．

【図面の簡単な説明】

【図１】本発明の画像信号の補間方法を実現するための
構成を示す図である．

【図２】本発明の画像信号の補間方法において各部で発
生する信号の周波数成分を示す図である．

【図３】従来の画像信号の補間方法に用いられる，補色
系色フィルタの一例を示す図である．

【図４】従来の画像信号の補間方法を実現するための構
成を示す図である．

【図５】被写体のもつ周波数成分の一例を示す図であ
る．

【図６】従来の画像信号の補間方法において各部で発生
する信号の周波数成分を示す図である．

【図７】従来の画像信号の補間方法において各部で発生
する信号の周波数成分を示す図である．

【図８】従来の画像信号の補間方法において各部で発生
する信号の周波数成分を示す図である．

【図９】従来及び本発明の画像信号の補間方法に用いら
れる，原色系色フィルタの一例を示す図である．

【図１０】従来の画像信号の補間方法を実現するための
構成を示す図である．

【図１１】被写体のもつ周波数成分の一例を示す図であ
る．

【図１２】従来の画像信号の補間方法において各部で発
生する信号の周波数成分を示す図である．

【図１３】従来の画像信号の補間方法を実現するための
構成を示す図である．

【図１４】従来の画像信号の補間方法を実現するための
構成を示す図である．

【図１５】本発明の画像信号の補間方法を実現するため
の他の構成を示す図である．

【図１６】本発明の画像信号の補間方法を実現するため
の他の構成を示す図である．

【図１７】従来及び本発明の画像信号の補間方法に用い
られる，他の色フィルタの一例を示す図である．

【図１８】本発明の画像信号の補間方法を実現するため
の他の構成を示す図である．

【図１９】本発明の画像信号の補間方法を実現するため
の他の構成を示す図である．

【符号の説明】 １，１９，２２ 固体撮像素子 ２，３，４，５，２４ サンプラ ６ １Ｈ遅延回路 ７，８ 加算器 ９，１０ ローパスフィルタ １１，１２ ゲート回路 １３ 割り算器 １４ 加算器 １５ 掛け算器 １６，１７ ゲート回路 １８ 減算器 ２３ ２Ｈ遅延回路 ２５ 加算平均回路

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画像からそれぞれ所定の成分に対応した
   信号を取り出す複数種の画素群を２次元状に，かつ周期
   的に，しかも上記複数種の画素群のうち第１の種類に属
   する第１の画素群は隣接画素列の間で互いに補間する関
   係に配して得た信号から，所要の周期で補間した複数種
   の信号を生成する画像信号の信号補間方法において，上
   記第１の画素群から選んだ第１の画素の信号を取り出
   し，上記第１の画素が位置する第１の画素列に存在して
   上記第１の画素群とは種類の異なる第２の画素群に属す
   る少なくとも１つ以上の画素からなる第３の画素群の信
   号を取り出し，上記第３の画素群の各画素をとおる上記
   第１の画素列とは直交する直線群上にあり，しかも上記
   第１の画素列に隣接するすくなくともひとつの画素列に
   存在し，かつ，上記第１の画素群に属する第４の画素群
   の信号を取り出し，上記第３の画素群の信号から所定の
   変換を行った第１の変換信号を取り出し，上記第４の画
   素群の信号から所定の変換を行った第２の変換信号を取
   り出し，上記第２の変換信号に対する上記第１の変換信
   号の比に対応した第１の係数信号を取り出し，上記第１
   の係数信号と上記第１の画素の信号を乗算した補間信号
   を取り出し，上記補間信号を上記第１の画素の位置に対
   応する上記第２の画素群の信号とすることを特徴とする
   画像信号の信号補間方法．
2. 【請求項２】 上記第１の変換信号は上記第３の画素群
   の信号の低周波数成分を取り出したものであり，上記第
   ２の変換信号は上記第４の画素群の信号の低周波数成分
   を取り出したものであることを特徴とする請求項１記載
   の画像信号の信号補間方法．
3. 【請求項３】 上記第１の画素群は画像の緑色成分に対
   応した信号を取り出す画素群であることを特徴とする請
   求項１あるいは請求項２記載の画像信号の信号補間方
   法．
4. 【請求項４】 上記第１の画素群は画像の輝度成分に対
   応した信号を取り出す画素群であることを特徴とする請
   求項１あるいは請求項２記載の画像信号の信号補間方
   法．