WO2003096702A1

WO2003096702A1 - Image signal processing device, image signal processing circuit, image signal processing method, program, and recording medium

Info

Publication number: WO2003096702A1
Application number: PCT/JP2003/005596
Authority: WO
Inventors: Yukihiro Tanizoe; Yasutoshi Yamamoto
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2002-05-08
Filing date: 2003-05-02
Publication date: 2003-11-20
Also published as: EP1503600A4; CN1650639A; TWI242988B; TW200405729A; US20050168600A1; WO2003096702B1; KR100960176B1; CN1326402C; EP1503600B1; CA2479662A1; EP1503600A1; JP4284960B2; JP2004032662A; US7499086B2; KR20040104518A

Description

明細書 . 画像信号処理装置，画像信号処理回路，画像信号処理方法，プログラム，および記録媒体技術分野

本発明は，ディジタルスチルカメラやムービー等に用いられる画像信号処理装置，画像信号処理回路，画像信号処理方法，プログラム，および記録媒体に関する。

背景技術

デイジタノレスチノレカメラやムービーなどにおいては， C C D ( C h a r g e C o u l e d D e v i c e ) 等の撮像素子が用いられている。

撮像素子の表面には，カラー化のために画素""毎に所定の繰り返しパターンを持つ色分離フィルタが装着されている。

このような色分離フィルタとしては，様々なものが知られている。広く使用されている色分離フィルタのフィルタ配列の 1つに，図 2に示すような，水平方向の第 1ラインにはマゼンタ，グリーンの順で色フィルタが交互配列され，第 2ラインにはイェロー，シアンの順で色フィルタが交互配列され，第 3ラインにはグリーン，マゼンタの順で色フィルタが交互配列され，第 4ラインにはイェロー，シアンの順で色フィルタが交互配列される，水平 2画素，垂直 4画素繰り返しの補色フィルタ配列がある。

以下このフィルタ配列を色差線順次配列と呼ぶ。色差線順次配列の色分離フィルタを備えた撮像素子出力から輝度信号を生成する方法としては，縦 2 X横 2画素を加算する方法が一般的である（たとえば，特開平 8— 0 7 0 4 6 6 公報（2頁，図 4 ) 参照）。なお、特開平 8 - 0 7 0 4 6 6号公報の全ての開示は，そっくりそのままここに引用（参照）することにより，一体化される。

また，色差線順次配列の他に広く使用されているフィルタ配列の 1つに，図 1 0に示すような，水平方向の第 1ラインにはレッド，グリーンの順で色フィルタが交互配列され，第 2ラインにはグリーン，ブルーの順で色フィルタが交互配列される水平 2画素，垂直 2画素繰り返しの原色フィルタ配列がある。

以下このフィルタ配列を原色べィヤー配列と呼ぶ。

原色べィヤー配列の色フィルタを備えた撮像素子出力から輝度信号を生成する方法としても，縦 2 X横 2画素の加算によって生成するものがある。

原色べィャ一配列の色分離フィルタを備えた撮像素子出力から輝度信号を生成するその他の方法としては，縦 2 X横- 2画素領域内のグリーン信号だけを加算して輝度の高周波成分を生成する方法がある（たとえば，特開平 8— 2 3 7 6 7 2号公報（ 7頁，図 1 0〜： 1 3 ) 参照）。

なお、特開平 8— 2 3 7 6 7 2号公報の全ての開示は，そっくりそのままここに引用（参照）することにより，一体化される。

しかしながら，縦 2 X横 2画素の信号を加算することで輝度信号を生成すると，色差線順次配列の色分離フィルタ配列を使用している場合，水平方向に色の変化の激しい被写体を撮像した際にドット状の偽信号が発生するという課題があった。

たとえば，図 6は色差線順次配列の色フィルタ配列の一部を示した図であり，図 6の m列と m + 1列の間で被写体の色が変化している。変化点の右側は Y e =Mg = 1， G r =C y = 0, 変化点の左側は Y e二 Mg = G r =C y = 0である。

図 7は，このときの各色フィルタ位置に対応した撮像素子の出力を示したものである。

座標（m， n - 1 ) ， (m+ 1 , η— 1) ， (m, n) , (m+ 1 , n) の縦 2 X横 2画素の加算値は 2になるが，座標（m， n+ 1) ， ( m+ l， n+ 1 ) ，（m， n + 2) ，（m+ 1， n + 2) の画素の加算値は 1となる。

このように，垂直方向に輝度の変化の無い被写体であるにもかかわらず，輝度信号が変化することが判る。

これがドット状の偽信号となって現れ，撮像画質を著しく損なう要因となっていることに，本発明者は気付いた。

同様に，原色べィヤー配列の色分離フィルタを使用している場合には, 斜め方向（対角線方向）に色の変化の激しい被写体を撮像した際にドット状の偽信号が発生するという課題があった。

たとえば，図 1 1は原色べィヤー配列の色フィルタ配列の一部を示した図であり，座標（m— 2， n - 2) と（m+ 3， n+ 3) を結ぶ対角線を境に被写体の色が変化している。

変化点の右上は R = G r = 0， B = 1 , 変化点の左下は B = G r = 0 , R= 1である。

図 1 2は，このときの各色フィルタ位置に対応した撮像素子の出力を示したものである。

座標（m— 2， n— 2) ， (m - 1 , n— 2) ，（m— 2， η— 1) , (m- 1 , n— 1) の縦 2 X横 2画素の加算値は 0になるが，座標（m - 1 , n - 1 ) ，（m， n— 1 ) ，（m— 1， n) ， (m, n) の縦 2 X横 2画素の加算値は 2となる。このように，斜め方向に輝度の変化のない被写体であるにもかかわらず，輝度信号が変化することがわかる。

なお，縦 2 X横 2画素領域内のグリーン信号だけを使用して輝度の高周波信号を生成した場合には，前述のドット状の偽信号は発生しないが，特に斜め方向のサンプリング間隔がレッド，グリーン，ブルーを全て使用した場合の 2倍になってしまうため，斜め方向の解像度が損なわれてしまう。発明の開示

本発明は，上記従来のこのような課題を考慮し，偽信号の発生がより抑圧された輝度信号を得ることができる画像信号処理装置，画像信号処理回路，画像信号処理方法，プログラム，および記録媒体を提供することを目的とするものであるである。

第 1の本発明は，あらかじめ定められたパターンの繰り返しに基づいて配列された複数種類の色フィルタを利用して撮像を行う撮像手段と，前記撮像の結果に関する色の変化の検出を，前記パターンを考慮して行う色変化検出手段と， ~

前記撮像の結果に関する輝度信号の生成を，前記色の変化の検出の結果に基づいて行う輝度信号生成手段とを備えた画像信号処理装置である _c 第 2の本発明は，前記色の変化の検出は，前記パターンに応じた所定方向に関して行われ，

前記輝度信号の生成は，検出された前記所定方向に関する前記色の変化が所定レベルを超える色変化点においては，偽信号が抑圧されるように行われる第 1の本発明の画像信号処理装置である。

第 3の本発明は，前記パターンは，水平方向の第 1ラインにはマゼンタの色フィルタとグリ一ンの色フィルタとをこの順に配列し，水平方向の第 2ラインにはイエローの色フイノレタとシアンの色フィルタとをこの順に配列し，水平方向の第 3ラインにはダリ一ンの色フィルタとマゼンタの色フィルタとをこの順に配列し，水平方向の第 4ラインにはイエロ —の色フィルタとシアンの色フィルタとをこの順に配列するための，水平方向に 2画素，垂直方向に 4画素を有するパターンであり，

前記所定方向は，水平方向である第 2の本発明の画像信号処理装置で ¾>る。

第 4の本発明は，前記色の変化の検出は，前記マゼンタの水平方向の変化と前記グリーンの水平方向の変化とに基づいて行われる第 3の本発' 明の画像信号処理装置である。

第 5の本発明は，前記色の変化の検出は，前記イェローの垂直方向の変化と前記シアンの垂直方向の変化とにさらに基づいて行われる第 4の本発明の画像信号処理装置である。

第 6の本発明は，前記色の変化の検出は，前記マゼンタの垂直方向の変化と前記グリーンの垂直方向の変化とにさらに基づいて行われる第 4 の本発明の画像信号処理装置である。

第 7の本発明は，前記パターンは，水平方向-の第 1ラインにはレッドの色フィルタとグリーンの色フィルタとをこの順に配列し，水平方向の第 2ラインにはグリ一ンの色フィルタとブルーの色フィルタとをこの順に配列するための，水平方向に 2画素，垂直方向に 2画素を有するパターンであり，

前記所定方向は，対角線方向である第 2の本発明の画像信号処理装置である。第 8の本発明は，前記色の変化の検出は，前記レッドの対角線方向の変化と前記ブルーの対角線方向の変化とに基づいて行われる第 7の本発明の画像信号処理装置である。

第 9の本発明は，前記偽信号を抑圧するための演算は，前記レッドの対角線方向の変化と前記プル一の対角線方向の変化とに基づいて行われる第 7の本発明の画像信号処理装置である。

第 1 0の本発明は，あらかじめ定められたパターンの繰り返しに基づいて配列された複数種類の色フィルタを利用して行われた撮像の結果に関する色の変化の検出を，前記パターンを考慮して行う色変化検出手段と，

前記撮像の結果に関する輝度信号の生成を，前記色の変化の検出の結果に基づいて行う輝度信号生成手段とを備えた画像信号処理回路である c 第 1 1の本発明は，あらかじめ定められたパターンの繰り返しに基づいて配列された複数種類の色フィルタを利用して行われた撮像の結果に関する色の変化の検出を，前記パターンを考慮して行う色変化検出ステップと，

前記撮像の結果に関する輝度信号の生成を，前記色の変化の検出の結果に基づいて行う輝度信号生成ステップとを備えた画像信号処理方法でめる。

第 1 2の本発明は，第 1 1の本発明の画像信号処理方法の，あらかじめ定められたパターンの繰り返しに基づいて配列された複数種類の色フィルタを利用して行われた撮像の結果に関する色の変化の検出を，前記パターンを考慮して行う色変化検出ステップと，前記撮像の結果に関する輝度信号の生成を，前記色の変化の検出の結果に基づいて行う輝度信号生成ステップとをコンピュータに実行させるためのプログラムである c 第 1 3の本発明は，第 1 2の本発明のプログラムを担持した記録媒体であって，コンピュータにより処理可能な記録媒体である。図面の簡単な説明

図 1は、本発明の実施の形態 1の画像信号処理装置の構成を示すプロック図である。

図 2は、本発明の実施の形態 1の撮像素子 1が備える色フィルタ配列を示す図である。

図 3は、本発明の実施の形態 1のコア処理部 2 0の入出力信号の関係を示す図である。

図 4は、本発明の実施の形態 1のコア処理部 2 0の入力信号において，撮像素子 1の出力に対して為されているフィルタ処理のタップ係数を示した図である。

図 5は、本発明の実施の形態 1のコア処理部 2 0の入力信号 i nと t hが変動した場合の適応ローパスフィルタ部 2 1の出力信号において，撮像素子 1の出力に対して為されているフィルタ処理のタップ係数を示した図である。

図 6は、本発明の実施の形態 1の撮像素子 1が備える色フィルタ配列の一部を示す図である。

図 7は、本発明の実施の形態 1の各色フィルタ位置に対応した撮像素子 1の出力の例を示す図である。

図 8は、本発明の実施の形態 1の各色フィルタ位置に対応した撮像素子 1の出力の例を示す図である。

図 9は、本発明の実施の形態 2の画像信号処理装置の構成を示すプロック図である。

図 1 0は、本発明の実施の形態 2の撮像素子 3 0が備える色フィルタ配列を示す図である。

図 1 1は、本発明の実施の形態 2の撮像素子 3 0が備える色フィルタ配列の一部を示す図である。 *

図 1 2は、本発明の実施の形態 2の各色フィルタ位置に対応した撮像素子 3 0の出力の例を示す図である。

図 1 3は、本発明の実施の形態 2の輝度変化検出部 3 1におけるフィルタ処理のタップ係数を示した図である。

図 1 4は、本発明の実施の形態 2の 1画素遅延部 3 7の出力において，撮像素子 3 0の出力に対して為されているフィルタ処理のタップ係数を示した図である。

図 1 5は、本発明の実施の形態 2の適応ローパスフィルタ部 3 3で施されるフィルタ処理のタップ係数を示した図である。

図 1 6は、本発明の実施の形態 2の色変化検出部 3 2で施されるフィルタ処理のタップ係数を示した図である。

(符号の説明）

1 撮像素子

2 A/ D変換部

3〜7 ラインメモリ

1 4 輝度信号生成部

1 5 色変化検出部

2 1 適応ローパスフィルタ部

2 2 輝度信号出力端子発明を実施するための最良の形態はじめに，本発明に対する理解をより容易にするために，その要点に関して簡潔に説明を行う。

前述のように，従来の画像信号処理においては，色フィルタの配列に利用されるパターンに応じた所定方向に関する-色の変化が激しい色変化点において，輝度信号にいわゆる偽信号が発生することがあった。

本発明者は，（ 1 ) 色の変化の検出を前述のパターンを考慮して行い， ( 2 ) 輝度信号の生成を色の変化の検出の結果に基づいて適切に行うことにより，このような偽信号の発生が上手く抑圧できることに思い至つた。

より具体的には，色分離フィルタが色差線順次配列を利用して配列された色フィルタ（図 2参照）を有する場合には，（1 ) 水平方向に関する色の変化の検出を，適切な色フィルタに対して近傍の画素同士の出力値の差分を調べることによって行い，（2 ) 輝度信号の生成を，水平方向に関する色の変化が所定レベルを超える色変化点において偽信号が抑圧されるように行うとよい。

なお，このような水平方向に関する色の変化が所定レベルを超える色変化点は，たとえば，画面上で左半分と右半分とが相異なる単色で表示される単純な画像（図 7参照）においては，それらの境界線上に発^する。 ' 上述のような輝度信号の生成を行うことによって，このような単純な画像（またはこのような単純な画像を部分画像として含むような画像）の表示品質は，特に顕著に向上されるといえる。

以下に，本発明にかかる実施の形態について，図面を参照しつつ説明を行う。

(実施の形態 1 )

はじめに，本実施の形態の画像信号処理装置のブロック図である図 1 を主として参照しながら，本実施の形態の画像信号処理装置の構成について説明する。

図 1において， 1は撮像素子， 2は AZD変換部， 3〜 7はラインメモリ， 1 4は輝度信号生成部， 1 5は色変化検出部， 2 1は適応ローパスフィルタ部， 2 2は輝度信号出力端子である。

また，図 1において， 8〜 1 0は加算器， 1 1〜1 3はローパスブイルタ部である。これらが，輝度信号生成部 1 4を構成する。

また，図 1において， 1 6， 1 9は加算器， 1 7は減算器， 1 8は乗算器， 2 0はコア処理部， 2 3， 2 4は 1画素遅延部である。これらが適応ローパスフィルタ部' 2 1を構成する。

適応ローパスフィルタ部 2 1は，色変化検出部 1 5の出力に応じて，撮像素子 1の出力信号に適応的にローパスフィルタ処理を施すことにより，色の変化点の偽信号が抑圧された輝度信号を生成するための手段でめる。

また，適応ローパスフィル,タ部 2 1は，撮像素子 1の出力信号から輝度の変化を検出するための減算器 1 7を有し， 1画素遅延部 2 4によつて遅延された減算器 1 7からの出力と色変化検出部 1 5の出力とを比較した結果に応じて，ローパスフィルタ特性を制御することができる。なお，撮像素子 1は本発明の撮像手段に対応し，色変化検出部 1 5は本発明の色変化検出手段に対応し，加算器 1 9，コア処理部 2 0を含む手段は本発明の輝度信号生成手段に対応する。

つぎに，本実施の形態の画像信号処理装置の動作について説明する。なお，本実施の形態の画像信号処理装置の動作について説明しながら，本発明の画像信号処理方法の一実施の形態についても説明する（その他の実施の形態においても，同様である）。

撮像素子 1は，表面に図 2に示す配列の補色フィルタを備えており，フィルタの色に応じたマゼンタ，グリーン，イェロー，シアンの補色信号を水平 1ラインずつ出力する。

撮像素子 1の出力信号は， A/ D変換部 2にてデジタル化され，ラインメモリ 3〜 7を通り遅延され，輝度信号生成部 1 4および色変化検出部 1 5に入力される。

ラインメモリ 3〜7は，それぞれ撮像素子 1の水平 1ライン分の信号を遅延して出力する。 ―

よって，色変化検出部 1 5には同時に 6ライン分の補色信号が入力され，輝度信号生成部 1 4には同時に 4ライン分の補色信号が入力される輝度信号生成部 1 4では，垂直方向に隣接する補色信号が加算器 8〜 1 0で加算された後，水平方向に隣接する信号がローパスフィルタ部 1 1〜 1 3にて加算される。

結果として，水平 2 X垂直 2画素の補色信号の加算値が輝度信号として同時に 3ライン分出力される。

輝度信号生成部 1 4の出力は，上述の従来例で説明した水平方向の色変化点の偽信号を含んでいる。

本実施の形態においては，輝度信号生成部 1 4の出力は，適応ローバスフィルタ部 2 1に入力される。

適応ローパスフィルタ部 2 1では，輝度信号生成部 1 4の出力 3ラインの内，上下のラインの信号が加算器 1 6で加算され，中心のラインの信号が乗算器 1 8で 2倍される。

そして, 減算器 1 7にて加算器 1 6の出力から乗算器 1 8の出力が減算され， 1画素遅延部 2 4で遅延された後，コア処理部 2 0に入力される。

図 4は，コア処理部 2◦の入力信号において，撮像素子 1の出力に対して為されているフィルタ処理のタップ係数を示したものである。 ' 図 4のフィルタは，垂直方向の輝度エッジを検出するフィルタになつており，水平方向の色の変化点においては偽信号のレベルを検出するフイノレタになっている。

より具体的に述べると，このようなフィルタ処理とは，対応するタツプ係数が乗じられた，撮像素子 1の各画素の出力値を加算することによつて，フィルタの中心の位置に対応して生成される信号の出力値を算出するための処理である（以下同様）。

図 3は，コア処理部 20の入出力関係を示す J¾である。

コア処理部 20においては，色変化検出部 1 5の出力である t h (閾値）と減算器 1 7の出力であるコア処理部 20への入力 i nとが比較される。

そして， i n<_ 2 t h， 2 t hく i nの場合は 0が出力され，一 2 t < i n < t hの場合は一 2 t h— i nが出力され，一 t hく i nく t hの場合は i nが出力され， t hく i n< 2 t hの場合は 2 t h - i nが出力される。

コア処理部 20の出力は，加算器 1 9において 1画素遅延部 2 3によつて遅延された乗算器 1 8の出力と加算され，輝度信号出力端子 2 2へ出力される。

図 5は，適応ローパスフィルタ部 2 1の出力において，撮像素子 1の出力に対して為されているフィルタ処理のタップ係数を示したものである。 '

図 5 (a) は 2 X t hく I i n | の場合，図 5 (b) は 1 i n | = l . 5 X t hの場合，図 5 ( c ) は I i n | < t hの場合のタップ係数を示している。

) i n I に対して t hが大きいほど垂直方向に狭帯域のローパスフィルタ処理になっており，水平方向の色の変化点での偽信号の抑圧効果が大きくなる。

図 5 ( c ) のフィルタを，たとえば図 7の色の'境界部である m列， m + 1列の信号に対して施すと，どの位置でも出力値は 3となり，偽信号が完全に抑圧されることがわかる。

したがって，色変化検出部 1 5は，水平方向の色の変化点において i i n I < t hとなる出力 t hを生成すればよい。ただし，水平方向の色の変化点以外で， 2 X t h< I i n I とならなければ，誤動作が発生することになる。

以下では，色変化検出部 1 5の動作についてより詳細に説明する。図 8は，図 6の m列と m+ 1列を境に， Mg =MO， G r =G 0 , Y e =YO， C y = C 0力ら Mg =Μ3， G r =G 3 , Y e二 Y 3， C y =C 3に変化している場合の撮像素子 1の各画素の出力値を示した図である。

ただし，レンズ（図示省略）や撮像素子 1のアパーチャ，水晶光学口一パスフィルタ（図示省略）等の影響を考慮し，中間色として， m列は Mg =M 1 , G r =G 1 , Y e = Y 1 , C y = C 1 , 111+ 1列は]^_§ = M2， G r =G 2 , Y e = Y 2 , C y = C 2になっている場合について説明する。

ここで，たとえば Mgに関しては， MOく Ml <M2 <M3または M 0 >M 1 >M2 >M 3の関係が成り立つ場合について説明する。 G r， Y e , C yに関しても，同様の関係が成り立つ場合に.ついて説明する。

このときの色の境界線におけるコア処理部 20の入力 i nは（数 1) のようになる（もちろん，第一の等号が一般の場合に i nを定義する等号である。以下同様）。

(数 1)

i n = Y e m， n— 1) + C y (m+ 1， n— 1 ) — Mg (m， n ) 一 G r (m+ 1， n )

一 Y e (m， n+ 1 ) - C y (m+ 1 , n+ 1)

+ G r (m， n+ 2) +M g (m+ l， n + 2 )

=G 1— G 2 +M 2 -M 1

これは，水平方向の色の変化に関する境界線における偽信号がマゼンタ，グリーン信号によって発生していることを示している。

このとき，色変化検出部 1 5では，たとえば（数 2 のように t hを演算するとよレ、。

(数 2)

t h =M a x ( I M g (m, n) — M g (m+ 2 , n) |，

I M g (m— 1， n + 2

一 M g (m+ 1 , n + 2 ) | )

+ Ma x ( I G r (ra— 1 , n) — G r (m+ l， n) | ,

I G r (m， n + 2 )

— G r (m+ 2， n + 2) | )

二 Ma x ( I M 1 -M3 |， | MO— M2 | )

+ Ma x ( I G 1 -G 3 | , | G 0 -G 2 | )

ただし， Ma x (a, b) は， a と bの大きい方を選択する関数とする _c

MO <M1 <M2 <M3または MO〉M1 >M2 >M3であり， G O <G 1 <G 2 <G 3または G 0 >G 1 >G 2 >G 3であるから.，常に t h > I i n I の関係が成り立つ。

したがって，（数 2) による t hを使用することで，色の変化点での偽信号は抑圧される。

①なお，（数 2) による t hが利用されると，水平方向に輝度の変化が色の変化として検出されてしまうことがある。

このため，特に斜め方向（対角線方向）に輝度の変化がある被写体において，適応ローパスフィルタ部 2 1の誤動作が発生し，斜めの解像度が損なわれる場合が発生する。

このような誤動作の発生をより抑制するためには，たとえば（数 3) のように t hを演算する。

(数 3)

t h -MAX (a， 0)

a =M a x ( I M g (m， n ) 一 Mg (m+ 2 , n ) に

I M g (m- 1， n + 2 )

-Mg (m+ 1， n + 2) | )

+ Ma x ( I G r (m— 1， n) 一 G r (m+ l， n) | ，

I G r (m， n + 2)

一 G r (m + 2， n +'2 ) | )

- b X ( I 2 X Y e (m, n + 1 ) 一 Y e (m， n— 1 ) 一 Y e (m， n+ 3) |

+ | 2 X C y (m+ 1， n + 1 )

— C y (m+ l， n— 1 )

- C y (m+ 1， n + 3 ) | )

(数 3) において， bは補正の程度を調整するための係数であり， b〉 0である。

(数 3) において n— 1， n + 1 , n + 3行に対する演算部分は，垂直方向のイェロー，シアン信号の垂直方向変動を示している。

イェロー，シアン信号は，水平方向の色の変化点において垂直方向には変動しない。

よって，（数 3) によって，水平方向の色の変化点での偽信号抑圧に影響を与えることなく，斜め方向の輝度の変化がある部分の誤動作の発生を抑制することができる。 ②なお，（数 3) におけるイェロー，シアン信号の垂直方向の変化検出は，比較的低周波数の変化や撮像素子の画素ピッチで決まる垂直ナイキスト周波数に近いような変化を検出しにくい。

このため，そのような周波数の斜めの輝度変化部分での誤動作の発生を抑制することが困難である場合がある。

このような誤動作の発生をより抑制するために，垂直方向のマゼンタ，グリーン信号の変動パターンを調べる。

そして，垂直方向のマゼンタ，グリーン信号の変動パターンが色の変化点の偽信号のパターンになっていない場合には，色の変化点ではないと判断するとよい。

たとえば，（数 4) によって，マゼンタ，グリーン信号の変動パターンを調べる。

(数 4) '

c = { (Mg (m， n) +G r (m+ 1 , n) )

一 (G r (m, n— 2) +M g (m+ 1， n— 2 ) ) } X { (Mg (m, n) + G r (m+ 1 , n) )

- (G r (m， n + 2) +M g (m+ 1， n + 2) ) } 色の変化点での偽信号が発生している場合， c〉 0となる。そこで， c < 0である場合には t h = 0とする（もちろん， c≥ 0である場合には上述の t hがそのまま利用される）ことで，適応ローパスフィルタ部 2 1の誤動作の発生をより抑制できる。

③なお，（数 2) 〜（数 4) はコア処理部 20の入力 i nが（数 1) で与えられる場合の演算式である。

垂直方向への平行移動を考えた場合には， 1ライン毎にマゼンタ，グリーンの行とイェロー，シアンの行とが入れ替わるので，（数 1) 〜 ·（数 4) を少し修正しなければならない。より具体的には， 1ライン下に垂直方向への平行移動を考えた場合は，（数 1) 〜（数 4) はそれぞれつぎの（数 5) 〜（数 8) となる。

(数 5)

i n =M g (m， n ) + G r (m+ 1 , n ;

一 Y e (m, n + 1) — C y (m+ 1， n + 1 ) 一 G r (m， n + 2) — Mg (m+ 1， n + 2)

+ Y e (m， n + 3 ) + C y (m+ 1， n + 3)

(数 6)

t h =M a x ( I M g (m， n ) — Mg (m+ 2 , n ) | ,

I M g (m— 1， n + 2 )

— M g (m+ 1， n + 2) | )

+ M a x ( I G r (m— 1， n ) 一 G r (m+ 1， n ) | ，

I G r (m， n + 2)

— G r (m+ 2， n + 2 ) | )

(数 7)

t h二 MAX ( a， 0 )

a =M a x ( I M g (m， n) 一 Mg (m+ 2， n) | ，

I Mg (m— 1， n + 2)

— M g (m+ 1， n + 2 ) | )

+ M a x ( I G r (m— 1， n) — G r (m+ l， n) | ,

I G r (m, n + 2)

一 G r (m+ 2， n + 2) | )

一 b X (I 2 X Y e (m， n+ 1) — Y e (m, n - 1 ) — Y e (m， n+ 3) |

+ I 2 X C y (m+ 1， n + 1 )

一 C y (m + 1 , n— 1 ) - C y (m+ 1， n + 3 ) | )

(数 8 )

c = { (M g (m， n + 2 ) +G r (m+ 1， + 2 ) )

- (G r (m， n) +Mg (m+ 1 , n) ) }

X { (M g (m， n + 2 ) +G r (m+ l， n + 2 ) )

― (G r (m, n + 4 ) +M g (m+ 1， n + 4) ) } このように， 1ライン下に垂直方向への平行移動を考えた場合には， (数 5) における垂直方向の座標値は（数 1 ) における垂直方向の座標値に 1を加えたものになっているが，（数 6) ，（数 7) はそれぞれ（数 2) ，（数 3) と同じであり，（数 8) における垂直方向の座標値は (数 1 ) における垂直方向の座標値に 2を加えたものになっている。なお， 2ライン下に垂直方向への平行移動を考えた場合には， ' （数 5 ) 〜（数 8) における垂直方向の座標値はそれぞれ（数 1 ) 〜（数 4) における垂直方向の座標値に 2を加えたものになる。

また， 3ライン下に垂直方向への平行移動を考えた場合には，（数 5 ) における垂直方向の座標値は（数 1) における垂直方向の座標値に 3 を加えたものになり，（数 6) ，（数 7) における垂直方向の座標値はそれぞれ（数 2) ，（数 3) における垂直方向の座標値に 2を加えたものになり，（数 8) における垂直方向の座標値は（数 1 ) における垂直方向の座標値に 4を加えたものになっている。

もちろん，水平方向への平行移動を考えた場合にも，（1ライン右に平行移動を考えた際には）同様の考えにしたがって（数 1 ) 〜（数 4) を少し修正しなければならない。

なお，本実施の形態の色フィルタは水平方向に 2画素，垂直方向に 4 画素を有するパターンの繰り返しに基づいて配列されていることを考慮することにより，その他の場合も上述の場合に準じて取り扱うことができる。

以上のような構成と動作によって，輝度信号出力端子 2 2からは，色の変化点での偽信号が抑圧された輝度信号が出力される。

また，斜めの輝度の変化がある場合でも，適応ローパスフィルタ部 2 1の誤動作による解像度の低下のない信号が得られる。

(実施の形態 2 )

はじめに，本実施の形態の画像信号処理装置のプロック図である図 9 を主として参照しながら，本実施の形態の画像信号処理装置の構成について説明する。

本実施の形態においては，（色差線順次配列ではなく）原色べィヤー配列の色フィルタ配列が利用される。

図 9において， 3 0は撮像素子， 2は A/ D変換部， 3〜7はラインメモリ， 3 1は輝度変化検出部， 3 2は色変化検出部， 2 2は輝度信号出力端子である。

また，図 9において， 9， 1 9は加算器， 3 4は乗算器， 1 2はローパスフィルタ， 2 0はコア処理部， 3 5〜 3 9は 1画素遅延部である。これらが，適応ローパスフィルタ部 3 3を構成する。

なお，撮像素子 3 0は本発明の撮像手段に対応し，色変化検出部 3 2 は本発明の色変化検出手段に対応し，加算器 1 9，コア処理部 2 0を含む手段は本発明の輝度信号生成手段に対応する。

つぎに，本実施の形態の画像信号処理装置の動作について説明する。撮像素子 3 0は，表面に図 1 0に示す配列の原色フィルタを備えており，フィルタの色に応じたレツド，グリーン，ブルーの原色信号を水平 1ラインずつ出力する。

撮像素子 3 0の出力は， AZD変換部 2でデジタル化され，ラインメモリ 3〜7を通り遅延され，適応ローパスフィルタ部 3 3，輝度変化検出部 3 1，色変化検出部 3 2に入力される。

輝度変化検出部 3 1は，レッドとブルーの加算値の変化量を検出する c たとえば，図 1 3 (a) ， (b) は輝度変化検出部 3 1の出力において，撮像素子 3 0の出力に対してなされているフィルタ処理のタップ係数を示したものである。

図示されている縦 4 X横 4の領域の左上の画素がグリーンの場合は， (a) のフィルタが用いられる。また，同領域の左上の画素がレッドまたはブルーの場合は，（b) のフィルタが用いられる。

したがって，図 1 3に示したフィルタは，レッドとプル一の加算値の斜め方向（対角線方向）の変化を検出するフィルタになっている。

輝度変化検出部 3 1の出力は， 1画素遅延部 3 8， 3 9を介してコア処理部 2 0に入力される。

コア処理部 2 0では，前述の実施の形態 1 と同様の処理が行われる（図 3参照）。'

コア処理部 2 0の出力は，加算器 1 9へ入力され， 1画素遅延部 3 7 の出力と加算される。

図 1 4は，図 9における 1画素遅延部 3 7の出力において，撮像素子 3 0の出力信号に対してなされているフィルタ処理のタップ係数を示したものである。

図 1 5は，加算器 1 9の出力において，撮像素子 3 0の出力信号に対してなされているフィルタ処理のタップ係数を示している。

すなわち，コア処理部 2 0の入力信号 i nと t hの関係が変化した場合の適応ローパスフィルタ部 3 3のフィルタタップ係数の変化が示されている。

より具体的には，図 1 5 (a) は， 2 X t hく I i n | の場合のタツプ係数を示したものである。また，図 1 5 (b) ，（c) は， i i n I = 1. 5 X t hの場合のタップ係数を示したものである。また，図 1 5 (d) ，（e) は， I i n I ≤ t hの場合のタップ係数を示したものである。

なお，図 1 5 (b) ， (d) は，図示した縦 4 X横 4の領域の左上の画素がグリーンに対応する場合のフィルタ係数を示したものである。また，図 1 5 ( c ) ，（e) は，図示した縦 4 X横 4の領域の左上の画素がレツドまたはブルーに対応する場合のフィルタ係数を示したものである。

図 1 2の信号に対して，図 1 5の（d) ， (e) のフィルタを利用するフィルタ処理を施すと，どの位置でもフィルタ出力値は 4になり，偽信号が抑圧された信号が得られることがわかる。

色変化検出部 3 2は，レッドとブルーの差分値の変化量を検出する。 t hは，色変化検出部 3 2の出力である。したがって，偽信号の発生する色の変化点で I i n 1 < t hとなるように，色変化検出部 3 2における演算が行われればよい。

図 1 6は，色変化検出部 3 2において，撮像素子 3 0の出力信号に対して為されるフィルタ処理のタップ係数を示したものである。

したがって，図 1 6に示したフィルタは，レッドとブルーの差分値の斜め方向（対角線方向）の変化を検出するフィルタになっている。

図示してある縦 4 X横 8画素の左上隅の画素がグリーンの場合は，図 1 6 (a ) ， ( c) のフィルタを利用するフィルタ処理が為され，それぞれのフィルタ処理結果の絶対値の最大値が色変化検出部 3 2から出力される。

図示してある縦 4 X横 8画素の左上隅の画素がレツドまたはブルーの場合は，図 1 6 (b) , (d) のフィルタを利用するフィルタ処理が為され，それぞれのフィルタ処理結果の絶対値の最大値が色変化検出部 3 2から出力される。

たとえば，図 1 1は，撮像素子 3 0が備える色フィルタ配列の一部を示した図である。

図 1 1に示した座標（m— 2， n— 2) と座標（m+ 3， n + 3) を結ぶ対角線を境に被写体の色が変化している場合について説明する。具体的には，変化点の右上では R = R 0, B = B 0であり，変化点の左下では R = R 1， B = B 1である場合について説明する。

このとき，色の変化している境界線上にある，座標（m， n) ，（m， n+ 1) ，（m+ l， n) ， (m+ 1 , n+ 1 ) を中心とする色変化検出部 3 2の出力は，（数 9) のようになる。

(数 9) '

t h =M a x ( I R (m— 3， n + 2) + R (m— 1， n + 2)

-R (m+ l， n) 一 R (m+ 3 , n)

一 B (m— 2， n + 1 ) — B (m， n+ 1)

+ B (m+ 2， n— 1 )

一 B (m+ 4 , n - 1 ) | ,

I R (m+ 1 , n+ 2) +R (m+ 3， n + 2) -R (m— 3， n ) -R (m— 1， n )

一 B (m+ 2 , n + 1 )

一 B (m+ 4， n + 1 )

+ B (m— 2， n - 1 )

+ B (m， n— 1) I )

二 M a x ( I 2 R 1 - 2 0 - 2 B 1 + 2 B 0 | ,

I R O -R I -B O +B I I )

= I 2 R 1 - 2 R 0- 2 B 1 + 2 B 0 |

また，このときのコア処理部 20の入力 i nは，つぎのようになる。 (数 1 0)

i n = R (m- 1 , n) + R (m+ 1， n + 2)

- 2 R (m+ l， n) 一 2 B (m, n + 1 )

+ B (m， n— 1) + B (m+ 2 , n+ 1) = 2 R 1 - 2 R 0 - 2 B 1 - 2 B 0

したがって，色の変化している境界線上においては I i n I ≤ t hの関係が成立しているので，適応ローパスフィルタ部 3 3からは，偽信号の抑圧された信号が出力される。

なお，以上においては，右上から左下方向に色が変化している場合について説明したが，左上から右下に色が変化している場合についても同様である。

本実施の形態においては，レッド，グリーン，ブルーの内，レッド，ブルー成分のみに対してローパスフィルタをかける。このため，色の変化している境界線上以外で誤補正が行われてしまつた場合にも，ダリーン成分の高周波成分は保持されている。したがって，誤補正による解像感の劣化を最小限に抑えることができる。

また，本実施の形態においては，色変化検出部 3 2の出力と輝度変化検出部 3 1の出力とを比較して，適応ローパスフィルタ部 3 3の特性を決めている。このため，たとえば同一の被写体を撮影している際に光源の明るさが変化して被写体の明るさが変化してしまつた場合にも，色変化検出部 3 2の出力と輝度変化検出部 3 1の出力とは共に被写体の明るさに応じて変化する。したがって，被写体の明るさによらず，好適な適応ローパスフィルタ処理を行うことができる。 '

また，色の変化の無い部分ではレッド，グリーン，ブルーの全てを使用して輝度信号を生成するため，斜め方向にも解像度の高い輝度信号が得られる。

もちろん，上述した実施の形態においては，変換部 2以後の処理をハードウエアによって実現しているが，このような処理の全部または一部をマイク口コンピュータ一等を用いてソフトウエアによって実現することも可能である。

なお，本発明のプログラムは，上述した本発明の画像信号処理方法の全部または一部のステップ（または，工程，動作，作用等）の動作をコンピュータにより実行させるためのプログラムであって，コンピュータと協働して動作するプログラムである。

また，本発明の記録媒体は，上述した本発明の画像信号処理方法の全部または一部のステップ（または，工程，動作，作用等）の全部または一部の動作をコンピュータにより実行させるためのプログラムを担持した記録媒体であり，コンピュータにより読み取り可能かつ，読み取られた前記プログラムが前記コンピュータと協動して前記動作を実行する記録媒体である。

なお，本発明の上記「一部のステップ（または，工程，動作，作用等 ) 」とは，それらの複数のステップの内の，一つまたは幾つかのステツプを意味する。

また，本発明の上記「ステップ（または，工程，動作，作用等）の動作」とは，前記ステップの全部または一部の動作を意味する。

また，本発明のプログラムの一利用形態は，コンピュータにより読み取り可能な記録媒体に記録され，コンピュータと協働して動作する態様であっても良い。

また，本発明のプログラムの一利用形態は，伝送媒体中を伝送し，コンピュータにより読みとられ，コンピュータと協働して動作する態様であっても良い。

また，記録媒体としては， R OM等が含まれ，伝送媒体としては，ィンターネット等の伝送媒体，光 ·電波 ·音波等が含まれる。

また，上述した本発明のコンピュータは， C-P U等の純然たるハードウェアに限らず，ファームウエアや， O S，更に周辺機器を含むものであっても良い。

なお，以上説明した様に，本発明の構成は，ソフトウェア的に実現しても良いし，ハードウェア的に実現しても良い。産業上の利用可能性

本発明は，偽信号の発生がより抑圧された輝度信号を得ることができるという長所を有する。

Claims

請求の範囲

1 . あらかじめ定められたパターンの繰り返しに基づいて配列された複数種類の色フィルタを利用して撮像を行う撮像手段と，

前記撮像の結果に関する色の変化の検出を，前記パターンを考慮して行う色変化検出手段と，

前記撮像の結果に関する輝度信号の生成を， '前記色の変化の検出の結果に基づいて行う輝度信号生成手段とを備えた画像信号処理装置。

2 . 前記色の変化の検出は，前記パターンに応じた所定方向に関して行われ，

前記輝度信号の生成は，検出された前記所定方向に関する前記色の変化が所定レベルを超える色変化点においては，偽信号が抑圧されるように行われる請求項 1記載の画像信号処理装置。

3 . 前記パターンは，水平方向の第 1ラインにはマゼンタの色フィルタとダリ一ンの色フィルタとをこの順に配列し，水平方向の第 2ラインにはイェローの色フイノレタとシアンの色フィルタとをこの順に配列し，水平方向の第 3ラインにはグリ一ンの色フィルタとマゼンタの色フィルタとをこの順に配列し，水平方向の第 4ラインにはイェローの色フィルタとシアンの色フィルタとをこの順に配列するための，水平方向に 2画素, 垂直方向に 4画素を有するパターンであり，

前記所定方向は，水平方向である請求項 2記載の画像信号処理装置。

4 . 前記色の変化の検出は，前記マゼンタの水平'方向の変化と前記グリーンの水平方向の変化とに基づいて行われる請求項 3記載の画像信号処

5 . 前記色の変化の検出は，前記イェローの垂直方向の変化と前記シァンの垂直方向の変化とにさらに基づいて行われる請求項 4記載の画像信号処理装置。

6 . 前記色の変化の検出は，前記マゼンタの垂直方向の変化と前記グリーンの垂直方向の変化とにさらに基づいて行われる請求項 4記載の画像信号処理装置。

7 . 前記パターンは，水平方向の第 1ラインにはレッドの色フィルタとグリーンの色フィルタとをこの順に配列し，水平方向の第 2ラインにはグリ一ンの色フィルタとプル一の色フイノレタどをこの順に配列するための，水平方向に 2画素，垂直方向に 2画素を有するパターンであり，前記所定方向は，对角線方向である請求項 2記載の画像信号処理装置 ₍

8 . 前記色の変化の検出は，前記レッドの対角線方向の変化と前記プル一の対角線方向の変化とに基づいて行われる請求項 7記載の画像信号処

9 . 前記偽信号を抑圧するための演算は，前記レツドの対角線方向の変化と前記ブルーの対角線方向の変化とに基づいて行われる請求項 7記載の画像信号処理装置。

1 0 . あらかじめ定められたパターンの繰り返しに基づいて配列された複数種類の色フィルタを利用して行われた撮像の結果に関する色の変化の検出を，前記パターンを考慮して行う色変化検出手段と，

前記撮像の結果に関する輝度信号の生成を，前記色の変化の検出の結果に基づいて行う輝度信号生成手段とを備えた画像信号処理回路。

1 1 . あらかじめ定められたパターンの繰り返しに基づいて配列された複数種類の色フィルタを利用して行われた撮像の結果に関する色の変化の検出を，前記パターンを考慮して行う色変化検出ステップと，前記撮像の結果に関する輝度信号の生成を，前記色の変化の検出の結果に基づいて行う輝度信号生成ステップとを備えた画像信号処理方法。

1 2 . 請求項 1 1記載の画像信号処理方法の，あらかじめ定められたパターンの繰り返しに基づいて配列された複数種類の色フィルタを利用して行われだ撮像の結果に関する色の変化の検出を，前記パターンを考慮して行う色変化検出ステップと，前記撮像の結果に関する輝度信号の生成を，前記色の変化の検出の結果に基づいて行う輝度信号生成ステップとをコンピュータに実行させるためのプログラム。

1 3 . 請求項 1 2記載のプログラムを担持した記録媒体であって，コンピュータにより処理可能な記録媒体。