JP3443344B2

JP3443344B2 - 画像データの処理方法及び画像データ処理装置

Info

Publication number: JP3443344B2
Application number: JP36113098A
Authority: JP
Inventors: 俊朗中莖
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1998-12-18
Filing date: 1998-12-18
Publication date: 2003-09-02
Anticipated expiration: 2018-12-18
Also published as: KR100376958B1; US6373532B1; KR20000052488A; JP2000184392A; TW453123B

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、補色成分を表す補
色データから、色差データを生成する画像データの処理
方法及びその方法を採用した画像データ処理装置に関す
る。

【０００２】

【従来の技術】図６は、ＣＣＤイメージセンサを用いた
撮像装置の構成を示すブロック図であり、図７は、ＣＣ
Ｄイメージセンサに装着されるモザイク型のカラーフィ
ルタの一例を示す平面図である。

【０００３】ＣＣＤイメージセンサ１は、複数の受光画
素、複数の垂直シフトレジスタ及び通常１つの水平シフ
トレジスタを有している。複数の受光画素は、受光面に
一定の間隔で行列配置され、それぞれ受光した被写体画
像に対応して情報電荷を発生して蓄積する。複数の垂直
シフトレジスタは、受光画素の各列に対応して配置さ
れ、各受光画素に蓄積された情報電荷を順次垂直方向へ
転送する。そして、水平シフトレジスタは、垂直シフト
レジスタの出力側に配置され、複数の垂直シフトレジス
タから転送出力される情報電荷を受け取り、１行単位で
転送出力する。これにより、各受光画素に蓄積された情
報電荷量に応じて電圧値を変化させる画像信号Ｉ0が出
力される。

【０００４】アナログ処理回路２は、ＣＣＤ１から入力
される画像信号Ｉ0に対し、サンプルホールド、レベル
クランプ等の処理を施し、所定のフォーマットに従う画
像信号Ｉ1を生成する。例えば、サンプルホールド処理
においては、ＣＣＤ１の出力動作に同期してリセットレ
ベルと信号レベルとが交互に繰り返される画像信号Ｉ0
から、信号レベルのみが取り出される。また、レベルク
ランプ処理においては、画像信号Ｉ0の水平走査期間の
終端に設定される黒基準レベルが各水平走査期間毎に所
定のレベルにクランプされる。Ａ／Ｄ変換回路３は、ア
ナログ処理回路２から入力される画像信号Ｉ1をアナロ
グ処理回路２の動作、即ち、ＣＣＤ１の出力動作に従う
タイミングで量子化し、ＣＣＤ１の各受光画素に対応す
る情報をデジタル値で表す画像データＤを生成する。

【０００５】デジタル処理回路４は、Ａ／Ｄ変換回路３
から入力される画像データＤに対して、色分離、マトリ
クス演算等の処理を施し、輝度データＹ及び色差データ
Ｕ、Ｖを生成する。例えば、色分離処理においては、Ｃ
ＣＤ１の各受光面に装着されるカラーフィルタの色配列
に従って画像データＤが振り分けられ、複数の色成分デ
ータが生成される。また、マトリクス演算処理において
は、振り分けられた各色成分データから光の三原色に対
応した原色データが生成され、さらに、その原色データ
を所定の割合で合成することにより色差データが生成さ
れる。

【０００６】駆動回路５は、後述するタイミング制御回
路６からの各種タイミング信号に応答し、ＣＣＤ１の各
シフトレジスタに対して多相の駆動クロックを供給す
る。例えば、垂直シフトレジスタに対し、４相の垂直転
送クロックφvを供給し、水平シフトレジスタに対して
２相の水平転送クロックφhを供給する。タイミング制
御回路６は、一定周期の基準クロックに従い、ＣＣＤ１
の垂直走査のタイミングを決定する垂直タイミング信号
と水平走査のタイミングを決定する水平タイミング信号
とを生成し、駆動回路５に供給する。同時に、アナログ
処理回路２、Ａ／Ｄ変換回路３及びデジタル処理回路４
に対して、各回路の動作をＣＣＤ１の出力動作に同期さ
せるためのタイミングクロックＣＴを供給する。

【０００７】ところで、カラー撮像を行う場合、ＣＣＤ
１の各受光画素を所定の色成分に対応付けるため、受光
面に色分離用のカラーフィルタが装着される。このカラ
ーフィルタは、垂直方向につながる複数のセグメントが
配置されるストライブ型及び各受光画素毎に対応付けて
複数のセグメントが配置されるモザイク型があげられ
る。例えば、モザイク型のカラーフィルタは、図８に示
すように、ＣＣＤ１の受光部の各画素に対応して複数の
セグメントに分割され、各セグメントに、Ｙｅ（イエロ
ー）、Ｃｙ（シアン）、Ｗ（ホワイト）及びＧ（グリー
ン）の各色成分が周期的に割り当てられる。ここでは、
Ｗ及びＧの各成分が奇数行に交互に配置され、Ｙｅ及び
Ｃｙの各成分が偶数行に交互に配置されている。このよ
うなカラーフィルタが装着されたＣＣＤ１から得られる
画像信号は、奇数行の読み出しでＷ及びＧの各成分が繰
り返され、偶数行の読み出しではＹｅ及びＣｙの各成分
が繰り返される。

【０００８】図８は、映像信号処理装置としてのデジタ
ル信号処理部４の構成を示すブロック図であり、図９
は、その動作を説明するタイミング図である。この図に
おいては、図７に示すモザイク型のカラーフィルタがＣ
ＣＤ１に装着された場合に対応している。

【０００９】色分離回路１１は、各色成分がカラーフィ
ルタの各セグメントの配列に対応する順序で連続する画
像データＤを各色成分毎に振り分けて色成分データＣ[Y
e]、Ｃ[Cy]、Ｃ[G]、Ｃ[W]を生成する。Ａ／Ｄ変換回路
３から入力される画像データＤは、図９に示すように、
奇数行（ＯＤＤ）の読み出し動作においては、Ｇ成分及
びＷ成分が交互に連続し、偶数行（ＥＶＥＮ）の読み出
しではＹｅ成分及びＣｙ成分が交互に連続する。そこ
で、色分離回路１１は、画像データＤを少なくとも１行
分保持することにより、各行の読み出しの際に全ての色
成分データＣ[Ye]、Ｃ[Cy]、Ｃ[G]、Ｃ[W]の出力を可能
にしている。即ち、奇数行の読み出しが行われていると
きには、その行の画像データＤを振り分けて色成分デー
タＣ[G]、Ｃ[W]を出力し、同時に、１行前の画像データ
Ｄを振り分けて色成分データＣ[Ye]、Ｃ[Cy]を出力する
ように構成される。さらに、シリアルに出力される画像
データＤの振り分けによって間欠的になる各色成分デー
タＣ[Ye]、Ｃ[Cy]、Ｃ[G]、Ｃ[W]は、同一データを連続
して２度出力することによって補間される。

【００１０】色演算回路１２は、色分離回路１１から入
力される色成分データＣ[Ye]、Ｃ[Cy]、Ｃ[G]、Ｃ[W]に
対して、例えば、Ｙｅ−Ｇ＝ＲＣｙ−Ｇ＝ＢＧ＝Ｇの式に従う色演算処理を施し、光の三原色（Ｒ：赤、
Ｇ：緑、Ｂ：青）に対応する原色データＰ[R]、Ｐ[G]、
Ｐ[B]を生成する。

【００１１】ホワイトバランス制御回路１３は、色演算
回路１２から入力される原色データＰ[R]、Ｐ[G]、Ｐ
[B]に対して、各色毎に設定される固有のゲインを与え
ることにより、各色のバランスを調整する。即ち、ホワ
イトバランス制御回路１３では、ＣＣＤの受光画素にお
いて生じる色成分毎の感度の差を補償するため、原色デ
ータＰ[R]、Ｐ[G]、Ｐ[B]のゲインを色毎に個別に設定
することにより再生画面の色再現性を向上させている。

【００１２】色差マトリクス回路１４は、ホワイトバラ
ンス制御回路１３から入力される原色データＰ[R]、Ｐ
[G]、Ｐ[B]に対して色差データＵ、Ｖを生成する。即
ち、各原色データＰ[R]、Ｐ[G]、Ｐ[B]を３：６：１の
割合で合成することにより、輝度情報を生成し、この輝
度情報をＢ成分に対応する原色データＰ[B]から差し引
くことによって色差データＵを生成し、Ｒ成分に対応す
る原色データＰ[R]から差し引くことによって色差デー
タＶを生成する。

【００１３】一方、輝度演算回路１５は、色分離回路１
１に入力される画像データＤに含まれる４つの色成分を
合成することにより、輝度データＹを生成する。即ち、
Ｙｅ、Ｃｙ、Ｇ、Ｗの各成分を合成すれば、Ｙｅ＋Ｃｙ＋Ｇ＋Ｗ＝（Ｂ＋Ｇ）＋（Ｒ＋Ｇ）＋Ｇ＋（Ｒ＋Ｇ＋Ｂ）＝２Ｒ＋４Ｇ＋２Ｂとなり、Ｒ、Ｇ及びＢの各成分が１：２：１の割合で合
成された輝度データＹを得ることができる。本来、輝度
信号は、ＮＴＳＣ方式の規格によれば、Ｒ、Ｇ及びＢの
各成分を３：６：１の割合で合成して生成されるもので
あるが、これに近い割合で合成して生成したものであれ
ば、実用上問題はない。

【００１４】アパーチャ回路１６は、輝度データＹに含
まれる特定の周波数成分を強調してアパーチャデータを
生成し、このアパーチャデータを輝度データＹに加算す
る。即ち、被写体画像の輪郭を強調するため、画像信号
Ｉ１から画像データＤを得る際のサンプリング周波数の
１／４の周波数成分を強調するように画像データＤに対
してフィルタリング処理を施し、アパーチャデータを生
成するように構成される。このようにして生成される輝
度データＹは、色差データＵ、Ｖと共に外部の表示機器
あるいは記録機器へ供給される。

【００１５】

【発明が解決しようとする課題】色演算回路１２の色演
算処理では、Ｙｅ及びＣｙの各成分からそれぞれＧ成分
を差し引くことによってＲ及びＢの成分を生成するよう
にしているため、カラーフィルタの分光特性のばらつき
によっては、ＲあるいはＢの成分が負の値を示す場合が
起こり得る。例えば、Ｇ成分が強く、Ｒ、Ｂ成分が弱い
光の場合、本来ならば、Ｙｅ、Ｃｙ成分がＧ成分よりも
僅かに大きい値を示し、Ｒ、Ｂ成分は、「０」に近い正
の値を示すはずである。しかしながら、Ｙｅ、Ｃｙフィ
ルタが、所望の光を透過できず、Ｙｅ、Ｃｙ成分が、Ｇ
成分よりも小さい値でしか得られなくなると、演算処理
の結果、Ｒ、Ｂ成分が負の値で表される。このような負
の値は、本来色成分として取り得ない値であり、偽信号
となって再生画面の画質を劣化させる原因となる。

【００１６】そこで本発明は、カラーフィルタの各色成
分毎の分光感度にばらつきがあった場合でも、色演算処
理において影響を受けにくくすることを目的とする。

【００１７】

【課題を解決するための手段】本発明の画像データの処
理方法は、光の三原色の補色を表す第１乃至第３の補色
データから、第１及び第２の色差データを生成する画像
データ処理方法であって、上記第１の補色データと上記
第２の補色データとを乗算して第１の積を生成し、上記
第１の補色データと上記第３の補色データとを乗算して
第２の積を生成すると共に、上記第２の補色データと上
記第３の補色データとを乗算して第３の積を生成するス
テップと、上記第１及び第３の積から上記第２の積をそ
れぞれ減算して第１及び第２の差を生成するステップ
と、上記第１及び第２の差の各絶対値を開平して第１及
び第２の根を生成すると共に、上記第１及び第２の根に
上記第１及び第２の差の符号をそれぞれ付加するステッ
プと、上記符号が付加された上記第１及び第２の根を合
成して上記第１及び第２の色差データを生成するステッ
プと、を有することを特徴としている。

【００１８】そして、本発明の画像データ処理装置は、
光の三原色に対する補色を表す第１乃至第３の補色成分
が所定の規則で繰り返される画像データを取り込み、第
１及び第２の色差データを生成する画像データ処理装置
であって、上記画像データを成分別に分離して第１乃至
第３の補色成分データを生成する分離回路と、上記第１
乃至第３の色成分データの内の２つを互いに乗算して第
１乃至第３の積を生成する乗算回路と、上記第１及び第
３の積から上記第２の積をそれぞれ減算して第１及び第
２の差を生成する減算回路と、上記第１及び第２の差の
絶対値の平方根を算出して第１及び第２の根を生成する
開平回路と、上記第１及び第２の根に上記第１及び第２
の差の符号をそれぞれ付加する符号付加回路と、上記符
号が付加された上記第１及び第２の根を合成して上記第
１及び第２の色差データを生成する色差マトリクス回路
と、を備えたことを特徴としている。

【００１９】本発明によれば、２種類の補色データを乗
算することで、両補色データに共通に含まれる原色成分
が強調され、その他の原色成分が減衰される。そして、
それらの積の差をとり、その絶対値の平方根をとること
で、その根と元の補色データとの次数が合わせられる。
補色系から原色系への変換のための演算過程では、減算
処理を用いていないため、原色系の情報が負の値で表さ
れることはない。

【００２０】

【発明の実施の形態】図１は、本発明の画像データ処理
装置の構成を示すブロック図であり、図２は、その動作
を説明するタイミング図である。ここで、装置に入力さ
れる画像データＤは、例えば、光の三原色の補色（Ｙ
ｅ：イエロー、Ｍｇ：マゼンタ、Ｃｙ：シアン）からな
るストライプフィルタが装着されたイメージセンサから
得られるものであり、３種類の補色成分が繰り返される
ものとする。

【００２１】色分離回路２１は、１画素単位で入力され
る画像データＤを色成分毎に振り分け、Ｙｅ、Ｍｇ、Ｃ
ｙに対応する補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]を生成
する。即ち、画像データＤでは、各補色成分が、例え
ば、Ｙｅ、Ｍｇ、Ｃｙの順に１画素単位で繰り返される
ため、一定の順序で３つに振り分けることで、各補色成
分を表す補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]が生成され
る。第１〜第３のラッチ回路２２ａ〜２２ｃは、色分離
回路２１に対して並列に接続され、色分離回路２１から
入力される補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]をそれぞ
れラッチし、色分離回路２１から次のデータが出力され
るまでラッチしたデータを繰り返し出力する。画像デー
タＤを３つに分離して得られる補色データＣ[Ye]、Ｃ[M
g]、Ｃ[Cy]の場合、データ量が画像データＤの１／３で
あり、それぞれ３画素毎に１回更新されるため、連続す
る３画素は同じデータで表されることになる。

【００２２】色バランス制御回路２３は、第１〜第３の
ラッチ回路２２ａ〜２２ｃから入力される補色データＣ
[Ye]、Ｐ[Mg]、Ｐ[Cy]に対して、各色毎に設定される固
有のゲインを与えて各色のバランスを調整し、白い被写
体が再生画面上で同じように白く再生されるようにす
る。各色に対するゲインは、補色データＣ[Ye]、Ｐ[M
g]、Ｐ[Cy]を所定の期間積分し、それぞれの積分値が等
しくなるようにして決定される。

【００２３】第１の乗算回路２４ａは、色バランス制御
回路２３を通して第１及び第２のラッチ回路２２ａ、２
２ｂから入力される補色データＣ[Ye]、Ｃ[Mg]を乗算し
て、第１の積Ｐ[r]を生成する。そして、第２の乗算回
路２４ｂは、色バランス制御回路２３を通して第１及び
第３のラッチ回路２２ａ、２２ｃから入力される補色デ
ータＣ[Ye]、Ｃ[Cy]を乗算して、第２の積Ｐ[g]を生成
する。さらに、第３の乗算回路２４ｃは、色バランス制
御回路２３を通して第２及び第３のラッチ回路２２ｂ、
２２ｃから入力される補色データＣ[Mg]、Ｃ[Cy]を乗算
して、第３の積Ｐ[b]を生成する。第１の減算回路２５
ａは、第１及び第２の乗算回路２４ａ、２４ｂに接続さ
れ、第１の乗算回路２４ａから入力される第１の積Ｐ
[r]から、第２の乗算回路から入力される第２の積Ｐ[g]
を減算して第１の差Ｓ[r]を生成する。第２の減算回路
２５ｂは、第２及び第３の乗算回路２４ｂ、２４ｃに接
続され、第３の乗算回路２４ｃから入力される第３の積
Ｐ[b]から、第２の乗算回路から入力される第２の積Ｐ
[g]を減算して第２の差Ｓ[b]を生成する。

【００２４】第１及び第２の絶対値回路２６ａ、２６ｂ
は、それぞれ第１及び第２の減算回路２５ａ、２５ｂに
接続され、第１及び第２の差Ｓ[r]、Ｓ[b]を生成する。
同時に、第１及び第２の絶対値回路２６ａ、２６ｂは、
第１及び第２の差Ｓ[r]、Ｓ[b]の正／負を示す第１及び
第２の符号Ｑ[r]、Ｑ[b]をそれぞれ取り出し、後述する
符号付加回路２８ａ、２８ｂへそれぞれ供給する。第１
及び第２の開平回路２７ａ、２７ｂは、それぞれ第１及
び第２の絶対値回路２６ａ、２６ｂに接続され、各絶対
値回路２６ａ、２６ｂから入力される第１及び第２の絶
対値Ａ[r]、Ａ[b]の平方根を算出し、第１、第２の根Ｒ
１[r]、Ｒ１[b]を生成する。そして、第１及び第２の符
号付加回路２８ａ、２８ｂは、第１及び第２の開平回路
２７ａ、２７ｂから入力される第１、第２の根Ｒ１
[r]、Ｒ１[b]に、第１及び第２の絶対値回路２６ａ、２
６ｂから供給される第１及び第２の符号Ｑ[r]、Ｑ[b]を
付加し、極性を有する第１、第２の根Ｒ２[r]、Ｒ２[b]
を生成する。

【００２５】色差マトリクス回路２９は、第１及び第２
の符号付加回路２８ａ、２８ｂに接続され、極性が付加
された第１、第２の根Ｒ２[r]、Ｒ２[b]を合成して色差
データＵ、Ｖを生成する。この色差マトリクス回路２９
においては、例えば、第２の根Ｒ２[b]に所定の乗数を
乗算し、その積を第１の根Ｒ２[r]に加算して色差デー
タＶを生成し、第１の根Ｒ２[r]に所定の乗数を乗算
し、その積を第２の根Ｒ２[g]に加算して色差データＵ
を生成するように構成される。

【００２６】ここで、本発明の画像データの処理方法に
ついて説明する。

【００２７】図３は、光の三原色とそれらの補色とに対
応付けられたカラーフィルタの分光特性を示す図であ
る。

【００２８】一般に、光の三原色（Ｒ：レッド、Ｇ：グ
リーン、Ｂ：ブルー）に対応するカラーフィルタは、図
３の波線に示すような分光特性を示す。Ｒフィルタは、
波長の長い赤色の光に対応する部分で透過率が極大値を
示し、赤色よりも波長の短い光に対しては透過率が低下
する。逆に、Ｂフィルタは、波長の短い青色の光に対応
する部分で透過率が極大値を示し、青色よりも波長の長
い光に対しては透過率が低下する。そして、Ｇフィルタ
は、ＲフィルタとＧフィルタとの中間の特性を示す。

【００２９】これに対して、Ｒ、Ｇ、Ｂの補色（Ｙｅ、
Ｍｇ、Ｃｙ）に対応するフィルタは、図３の実線に示す
ような分光特性を示す。即ち、Ｒの補色となるＣｙフィ
ルタは、Ｒフィルタと相反する特性を示し、赤色の光に
対応する部分を除いた短波長側で透過率が高くなる。ま
た、Ｂの補色となるＹｅフィルタは、Ｂフィルタと相反
する特性を示し、青色の光に対応する部分を除いた長波
長側で透過率が高くなる。そして、Ｇの補色となるＭｇ
フィルタは、緑色の光に対応する部分を除いて透過率が
高くなる。

【００３０】ここで、Ｙｅフィルタを透過した光に応じ
て得られたＹｅ成分と、Ｍｇフィルタを透過した光に応
じて得られたＭｇ成分とを乗算すると、両成分に含まれ
ているＲ成分が強調され、一方の成分にしか含まれない
Ｂ成分及びＧ成分は減衰される。同様に、Ｍｇフィルタ
を透過した光に応じて得られたＭｇ成分と、Ｃｙフィル
タを透過した光に応じて得られたＣｙ成分とを乗算する
ことにより、両成分に含まれているＢ成分が強調され、
一方の成分にしか含まれないＧ成分及びＲ成分は減衰さ
れる。また、Ｃｙフィルタを透過した光に応じて得られ
たＣｙ成分と、Ｙｅフィルタを透過した光に応じて得ら
れたＹｅ成分とを乗算することにより、両成分に含まれ
ているＧ成分が強調され、一方の成分にしか含まれない
Ｒ成分及びＢ成分は減衰される。このようにして得られ
る各補色成分の積は、特定の原色成分に対応付けられ
る。

【００３１】従って、第１乃至第３の乗算回路２４ａ〜
２４ｃから得られるＰ[r]、Ｐ[g]、Ｐ[b]は、それぞれ
各原色成分の二乗（Ｒ²、Ｇ²、Ｂ²）に対応付けられ
る。さらに、第１及び第２の減算回路２６ａ、２６ｂか
ら得られる第１及び第２の差Ｓ[r]、Ｓ[b]は、それぞれ
原色成分の二乗の差（Ｒ²−Ｇ²、Ｂ²−Ｇ²）に対応付け
られる。そして、原色成分の差（Ｒ−Ｇ、Ｂ−Ｇ）が、
第１及び第２の差Ｓ[r]、Ｓ[b]の平方根によって近似さ
れる。このとき、第１及び第２の差Ｓ[r]、Ｓ[b]におい
て生じる正／負の符号が、そのまま原色成分の差（Ｒ−
Ｇ、Ｂ−Ｇ）に与えられる。即ち、第１及び第２の差Ｓ
[r]、Ｓ[b]に対する第１及び第２の絶対値Ａ[r]、Ａ[b]
から、それぞれの平方根が算出され、その結果得られた
第１及び第２の根Ｒ１[r]、Ｒ１[b]に対して第１及び第
２の差Ｓ[r]、Ｓ[b]のの正／負を表す符号Ｑ[r]、Ｑ[b
]が付加される。これにより、平方根の算出において虚
数が生じないようにしている。以上の演算処理において
算出される第１及び第２の根Ｒ２[r]、Ｒ２[b]は、原色
成分の差（Ｒ−Ｇ、Ｂ−Ｇ）に対応付けられる。

【００３２】ここで、特定の色に対応して得られる画像
データについて、上述の演算処理の正確さを検証する。

【００３３】例１：Ｒ成分の光が照射されたときＲ成分
のみの単色光は、Ｒ成分の情報量をｋとすると、Ｇ成分
及びＢ成分が共に０となるため、各補色成分の情報量
は、それぞれ、Ｃ[Ye]＝ｋ＋０＝ｋＣ[Mg]＝ｋ＋０＝ｋＣ[C y]＝０＋０＝０として得られる。そこで、これらの値を乗算して得られ
る積は、Ｐ[r]＝ｋ＊ｋ＝ｋ² Ｐ[g]＝ｋ＊０＝０Ｐ[b]＝ｋ＊０＝０となる。そして、それぞれの差は、Ｓ[r]＝ｋ²−０＝ｋ² Ｓ[b]＝０−０＝０となり、それぞれの絶対値の平方根をとると、Ｒ１[r]＝ｋＲ１[b]＝０となる。差の符号はそれぞれ正（または０）であるた
め、この値がそのままＲ２[r]＝ｋＲ２[b]＝０となる。これらの値は、原色成分から直接得られる値と
一致する。Ｇ成分あるいはＢ成分ついても、同様の演算
結果を得ることができる。

【００３４】例２：Ｙｅ成分の光が照射されたときＹｅ
成分の光では、Ｒ成分及びＧ成分の情報量をそれぞれｋ
とすると、Ｂ成分が０となるため、各補色成分の情報量
は、それぞれ、Ｃ[Ye]＝ｋ＋ｋ＝２ｋＣ[Mg]＝ｋ＋０＝ｋＣ[Cy]＝０＋ｋ＝ｋとして得られる。そこで、これらの値を乗算して得られ
る積は、Ｐ[r]＝２ｋ＊ｋ＝２ｋ² Ｐ[g]＝２ｋ＊ｋ＝２ｋ² Ｐ[b]＝ｋ＊ｋ＝ｋ² となる。そして、それぞれの差は、Ｓ[r]＝２ｋ²−２ｋ²＝０Ｓ[b]＝ｋ²−２ｋ²＝−ｋ² となり、それぞれの絶対値の平方根をとると、Ｒ１[r]＝０Ｒ１[b]＝ｋとなる。差の符号は０及び負であるため、Ｒ２[r]＝０Ｒ２[b]＝−ｋとなる。これらの値は、原色成分から直接得られる値と
一致する。Ｍｇ成分あるいはＣｙ成分ついても、同様の
演算結果を得ることができる。

【００３５】例３：白色光が照射されたとき白色光で
は、Ｒ成分、Ｇ成分及びＢ成分が互いに等しくなるた
め、それぞれｋとすると、各補色成分の情報量は、それ
ぞれ、Ｃ[Ye]＝ｋ＋ｋ＝２ｋＣ[Mg]＝ｋ＋ｋ＝２ｋＣ[C y]＝ｋ＋ｋ＝２ｋとして得られる。そこで、これらの値を乗算して得られ
る積は、Ｐ[r]＝２ｋ＊２ｋ＝４ｋ² Ｐ[g]＝２ｋ＊２ｋ＝４ｋ² Ｐ[b]＝２ｋ＊２ｋ＝４ｋ² となる。そして、それぞれの差は、Ｓ[r]＝２ｋ²−２ｋ²＝０Ｓ[b]＝２ｋ²−２ｋ²＝０となり、それぞれの絶対値の平方根をとると、Ｒ１[r]＝０Ｒ１[b]＝０となる。差の符号は０であるため、そのまま、Ｒ２[r]＝０Ｒ２[b]＝０となる。これらの値は、原色成分から直接得られる値と
一致する。以上の処理方法においては、補色系の情報か
ら原色系の情報を算出する際、減算処理を用いていない
ため、各カラーフィルタの分光特性にばらつきが生じた
としても、色演算処理の過程で負の値が生じることはな
い。尚、三原色、補色あるいは白色以外の色の光に対し
ては、演算処理の過程で幾らかの誤差が生じることにな
るが、それらの誤差は、再生画面上では視覚的に目立ち
にくいものであり、事実上問題は少ない。

【００３６】図４は、本発明の処理方法を採用するのに
適したモザイク型のカラーフィルタの構成を示す平面図
であり、図５は、そのカラーフィルタを装着したイメー
ジセンサから得られた画像信号を各補色成分に分離する
分離部の構成を示すブロック図である。この分離部は、
図１に示す処理装置において、色分離回路２１及び第１
〜第３のラッチ回路２２ａ〜２２ｃに置き換えて用いる
ものである。

【００３７】カラーフィルタは、各セグメントがＹｅ、
Ｍｇ、Ｃｙ及びＧの各成分に対応付けられている。この
うち、Ｍｇ成分及びＧ成分が奇数行に交互に配置され、
Ｙｅ成分及びＣｙ成分が偶数行に交互に配置される。こ
こで、Ｙｅ、Ｍｇ、Ｃｙの各成分は、色情報の生成に加
えて、輝度情報の生成に用いられ、Ｇ成分は、輝度情報
の生成のみに用いられる。このようなカラーフィルタを
装着したイメージセンサでは、奇数行から読み出された
画像信号においてＭｇ成分とＧ成分とが交互に連続し、
偶数行から読み出された画像信号においてＹｅ成分とＣ
ｙ成分とが交互に連続することになる。

【００３８】分離部は、第１〜第３のラインメモリ３１
ａ〜３１ｃ、フィルタ演算回路３２及びセレクタ回路３
３より構成される。第１〜第３のラインメモリ３１ａ〜
３１ｃは、直列に接続され、画像データＤを３行分記憶
すると共に、各行の画像データＤ[L1]、Ｄ[L2]、Ｄ[L3]
を同時に読み出してフィルタ演算回路３２へ供給できる
できるように構成される。

【００３９】フィルタ演算回路３２は、第１〜第３のラ
インメモリ３１ａ〜３１ｃから入力される画像データＤ
[L1]、Ｄ[L2]、Ｄ[L3]を３列分保持し、３行×３列単位
のフィルタ演算によって、カラーフィルタの各セグメン
トに対応する色成分データＣ[1]、Ｃ[2]、Ｃ[3]、Ｃ[4]
を生成する。例えば、図４において、波線に示す９画素
に対しては、中心の画素を目標画素とし、目標画素のＭ
ｇ成分は、そのまま色成分データＣ[1]として出力され
る。そして、目標画素の左右に位置するＧ成分の２画素
から、それらの平均値が色成分データＣ[2]として出力
され、目標画素の上下に位置するＹｅ成分の２画素か
ら、それらの平均値が色成分データＣ[3]として出力さ
れる。さらに、４角に位置するＣｙ成分の４画素は、そ
れらの平均値が色成分データＣ[4]として出力される。
このような色成分データＣ[1]、Ｃ[2]、Ｃ[3]、Ｃ[4]と
各色成分Ｙｅ、Ｍｇ、Ｃｙ、Ｇとの対応関係は、目標画
素がずれる毎に切り換えられる。

【００４０】セレクタ回路３３は、色成分データＣ
[1]、Ｃ[2]、Ｃ[3]、Ｃ[4]の内、常にＹｅ、Ｍｇ及びＣ
ｙの各成分を表すものを選択し、補色データＣ[Ye]、Ｃ
[Mg]、Ｃ[Cy]として出力する。この選択動作は、目標画
素の色成分に応じて、４つのパターンが切り換えられ
る。従って、図１に示す第１〜第３のラッチ回路２２ａ
〜２ｃと同様に、全ての期間で欠落することのない３種
類の補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]が出力され、図
１に示す処理装置において第１〜第３の乗算回路２３ａ
〜２３ｃにそれぞれ入力される。このような分離部によ
れば、モザイク型のカラーフィルタにおいても、本願発
明の処理装置を適用することが可能になる。

【００４１】以上の実施形態においては、イメージセン
サとしてＣＣＤを例示しているが、イメージセンサとし
ては、その他にＭＯＳセンサを用いることも可能であ
る。また、カラーフィルタの構成としては、少なくとも
３種類の補色（Ｙｅ、Ｍｇ、Ｃｙ）を備えていれば適用
可能であり、その他の色成分と組み合わせることも可能
である。

【００４２】

【発明の効果】本発明によれば、補色成分から原色成分
を生成するための演算処理の過程で減算処理を用いてい
ないため、色成分毎の感度にばらつきが生じたとして
も、負の値が表れることはなく、擬信号の発生を防止す
ることができる。

【図面の簡単な説明】

【図１】本発明の画像データ処理装置の構成を示すブロ
ック図である。

【図２】本発明の画像データ処理装置の動作を説明する
タイミング図である。

【図３】カラーフィルタの分光特性を示す図である。

【図４】モザイク型カラーフィルタの一例を示す構成図
である。

【図５】モザイクフィルタに対応した色分離部の構成を
示すブロック図である。

【図６】従来の固体撮像素子の構成を示すブロック図で
ある。

【図７】モザイク型カラーフィルタの一例を示す構成図
である。

【図８】従来の画像データ処理装置の構成を示すブロッ
ク図である。

【図９】従来の画像データ処理装置の動作を説明するタ
イミング図である。

【符号の説明】

１ＣＣＤイメージセンサ２アナログ処理回路３Ａ／Ｄ変換回路４デジタル処理回路５駆動回路６タイミング制御回路１１、２１色分離回路１２色演算回路１３ホワイトバランス制御回路１４、２９色差マトリクス回路１５輝度演算回路１６アパーチャ回路２２ａ〜２２ｃラッチ回路２３色バランス制御回路２４ａ〜２４ｃ乗算回路２５ａ、２５ｂ減算回路２６ａ、２６ｂ絶対値回路２７ａ、２７ｂ開平回路２８ａ、２８ｂ符号付加回路３１ａ〜３１ｃラインメモリ３２フィルタ演算回路３３セレクタ回路

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 9/04 - 9/07 H04N 9/64 - 9/78

Claims

(57)【特許請求の範囲】

【請求項１】光の三原色の補色を表す第１乃至第３の
補色データから、第１及び第２の色差データを生成する
画像データ処理方法であって、上記第１の補色データと
上記第２の補色データとを乗算して第１の積を生成し、
上記第１の補色データと上記第３の補色データとを乗算
して第２の積を生成すると共に、上記第２の補色データ
と上記第３の補色データとを乗算して第３の積を生成す
るステップと、上記第１及び第３の積から上記第２の積
をそれぞれ減算して第１及び第２の差を生成するステッ
プと、上記第１及び第２の差の各絶対値を開平して第１
及び第２の根を生成すると共に、上記第１及び第２の根
に上記第１及び第２の差の符号をそれぞれ付加するステ
ップと、上記符号が付加された上記第１及び第２の根を
合成して上記第１及び第２の色差データを生成するステ
ップと、を有することを特徴とする画像データの処理方
法。
【請求項２】上記第１、第２及び第３の補色データ
は、それぞれイエロー、マゼンタ及びシアンの各色を表
すことを特徴とする請求項１に記載の画像データの処理
方法。
【請求項３】光の三原色に対する補色を表す第１乃至
第３の補色成分が所定の規則で繰り返される画像データ
を取り込み、第１及び第２の色差データを生成する画像
データ処理装置であって、上記画像データを成分別に分
離して第１乃至第３の補色成分データを生成する分離回
路と、上記第１乃至第３の色成分データの内の２つを互
いに乗算して第１乃至第３の積を生成する乗算回路と、
上記第１及び第３の積から上記第２の積をそれぞれ減算
して第１及び第２の差を生成する減算回路と、上記第１
及び第２の差の絶対値の平方根を算出して第１及び第２
の根を生成する開平回路と、上記第１及び第２の根に上
記第１及び第２の差の符号をそれぞれ付加する符号付加
回路と、上記符号が付加された上記第１及び第２の根を
合成して上記第１及び第２の色差データを生成する色差
マトリクス回路と、を備えたことを特徴とする画像デー
タ処理装置。
【請求項４】上記分離回路は、各成分毎に分離された
第１乃至第３の補色成分データをそれぞれ所定期間保持
し、それぞれの成分が欠落する期間に繰り返し出力して
補間するフィルタ回路を含むことを特徴とする請求項３
に記載の画像データ処理装置。