JP6987621B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

特許文献１には、輝度信号の主成分となるＧ信号の補間を行う際に、縦方向、又は横方向の相関を判別し、縦方向の相関がある場合には縦方向にＬＰＦ処理を行い、横方向の相関がある場合には横方向にＬＰＦ処理を行う技術が開示されている。そして、縦方向にも横方向にも相関がない場合には、２次元のＬＰＦ処理を行うことで、縦方向、横方向のエッジがぼけないようにする。

しかし、特許文献１の技術では、縦又は横方向の相関がない場合には２次元のＬＰＦ処理となるため、例えば斜め方向のエッジは、縦方向、横方向のエッジに比べてぼやけてしまう。

そこで、非特許文献１には、Ｒ又はＢ画素の位置のＧ信号の算出方法が開示されている。非特許文献１では、着目画素を含む上、下、左、右方向に、Ｇ画素と、着目画素と同色の画素との色差信号をそれぞれ算出し、各方向の色差信号を合成した色差信号を着目画素に加算することでＧ信号を算出する。このとき、非特許文献１では、各方向の色差信号を、該当する方向の色差信号の傾きに応じて合成することで、方向に因らず解像感の高い画像を生成する。

特許第３８６２５０６号公報

I. Pekkucuksen，Y. Altunbasak，"Gradient based threshold free color filter array interpolation"，ＩＣＩＰ ２０１０

しかし、非特許文献１では、Ｒ、Ｂ信号を用いてＧ信号を生成しているために、光学的な折り返しや、色収差の影響で、Ｇ信号に対してＲ、Ｂ信号がずれている場合に、斜めの線状の被写体にブロック状の偽のパターンが発生する場合がある。

本発明は前述の問題点に鑑み、斜めの線状の被写体に対するブロック状の偽のパターンを低減した画像を生成することができるようにすることを目的としている。

本発明にかかる画像処理装置は、入力画像信号を垂直方向に補間して色差信号を算出する第１の色差信号算出手段と、前記入力画像信号を水平方向に補間して色差信号を算出する第２の色差信号算出手段と、前記第１の色差信号算出手段により算出された色差信号に対してフィルタ処理を行う第１のフィルタ処理手段と、前記第２の色差信号算出手段により算出された色差信号に対してフィルタ処理を行う第２のフィルタ処理手段と、前記入力画像信号の着目画素における斜め方向のエッジの強度を示す、所定の色収差又は光学的な折り返しの影響を受ける度合いを示す第１の度合いを算出する第１の度合い算出手段とを有し、前記第１のフィルタ処理手段と前記第２のフィルタ処理手段は、前記第１の度合い算出手段によって算出された第１の度合いが予め設定した第１の閾値以上である場合には、フィルタ処理を行わないようにすることを特徴とする。

本発明によれば、斜めの線状の被写体に対するブロック状の偽のパターンを低減した画像を生成することができる。

原色ベイヤ配列の１単位を示す図である。 実施形態に係る輝度信号生成部の構成例を示すブロック図である。 第１の実施形態のＧ補間回路の構成例を示すブロック図である。 第１の実施形態におけるＧ補間回路の処理の流れの一例を示すフローチャートである。 テクスチャ検出回路の構成例を示すブロック図である。 テクスチャ検出回路の処理の流れの一例を示すフローチャートである。 被写体の信号パターンの一例を説明するための図である。 エッジ強度信号とテクスチャ度αとの関係を説明するための図である。 第２の実施形態のＧ補間回路の構成例を示すブロック図である。 第２の実施形態の第１のＧ補間回路の構成例を示すブロック図である。 第２の実施形態の第２のＧ補間回路の構成例を示すブロック図である。 第２の実施形態における第２のＧ補間回路の処理の流れの一例を示すフローチャートである。 第３の実施形態のＧ補間回路の構成例を示すブロック図である。 第３の実施形態におけるＧ補間回路の処理の流れの一例を示すフローチャートである。 ＨＶエッジ検出回路の構成例を示すブロック図である。 ＨＶエッジ相関値とＨＶエッジ度βとの関係を説明するための図である。

（第１の実施形態）
図１は、本発明の第１の実施形態によるベイヤ配列の色フィルタを有する撮像素子を示す図である。撮像装置は、ＣＭＯＳイメージセンサ等の撮像素子を有する。撮像装置は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。撮像素子は、２次元行列状に配置された複数の画素を有し、複数の画素の各々は、色フィルタ（例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色のうちの一つの色フィルタ）を有する。図１は、原色ベイヤ配列の１単位の色フィルタを示す。撮像素子は、画素毎に、光電変換を行い、アナログデジタル変換を行い、デジタルのＲ信号（赤信号）、Ｇ１信号（緑信号）、Ｇ２信号（緑信号）、又はＢ信号（青信号）を出力する。Ｇ１信号及びＧ２信号は、Ｇ信号（緑信号）である。ベイヤ配列の色フィルタを有する撮像装置は、各画素においてＲ、Ｇ、Ｂのうちの一つの色信号しか得られないため、各画素においてＲＧＢすべての色信号を求める場合には、後段の図２の輝度信号生成部２００で補間処理を行う必要がある。

図２は、本実施形態による輝度信号生成部２００の構成例を示す図である。輝度信号生成部２００は、画像処理装置であり、図１の撮像素子からベイヤ配列のデジタルのＲ信号、Ｇ信号及びＢ信号を入力する。輝度信号生成部２００は、ＷＢ回路（ホワイトバランス回路）２０１と、Ｇ補間回路２０２と、Ｒ補間回路２０３と、Ｂ補間回路２０４と、ＡＰＣ回路２０５と、輝度信号生成回路２０６と、加算回路２０７とを有する。

ＷＢ回路２０１は、撮像素子からベイヤ配列のデジタルの画像信号（Ｒ信号、Ｇ信号及びＢ信号）を入力し、画像信号のホワイトバランスを補正する。Ｇ補間回路２０２は、ＷＢ回路２０１から出力されるベイヤ配列の画像信号を入力し、図１のＲ画素及びＢ画素の位置のＧ信号を補間により算出し、全画素のＧ信号を出力する。Ｒ画素は赤フィルタが設けられた画素であり、Ｂ画素は青フィルタが設けられた画素であり、Ｇ画素は緑フィルタが設けられた画素である。Ｇ補間回路２０２の処理の詳細は後述する。

Ｒ補間回路２０３は、ＷＢ回路２０１が出力するベイヤ配列の入力画像信号に対して、図１の入力画像のＧ画素及びＢ画素の位置のＲ信号を補間により算出し、全画素のＲ信号を出力する。例えば、Ｒ補間回路２０３は、ＷＢ回路２０１が出力するベイヤ配列の入力画像信号に対して、Ｒ画素以外の信号レベルを０にした後、２次元のＬＰＦ（ローパスフィルタ）処理によりＲ信号を算出する。

Ｂ補間回路２０４は、ＷＢ回路２０１が出力するベイヤ配列の入力画像信号に対して、図１の入力画像のＲ画素及びＧ画素の位置のＢ信号を補間により算出し、全画素のＢ信号を出力する。例えば、Ｂ補間回路２０４は、ＷＢ回路２０１が出力するベイヤ配列の入力画像信号に対して、Ｂ画素以外の信号レベルを０にした後、２次元のＬＰＦ処理によりＢ信号を算出する。

ＡＰＣ回路２０５は、Ｇ補間回路２０２から出力されるＧ信号に対して、ＨＰＦ（ハイパスフィルタ）等を適応することでアパーチャ補正信号を生成する。加算回路２０７は、Ｇ補間回路２０２が出力するＧ信号とＡＰＣ回路２０５の出力信号とを加算し、全画素のＧ信号を出力する。輝度信号生成回路２０６は、加算回路２０７が出力するＧ信号と、Ｒ補間回路２０３が出力するＲ信号と、Ｂ補間回路２０４が出力するＢ信号とを基に、次式（１）により、全画素の輝度信号Ｙを生成する。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ ・・・（１）

図３は、図２のＧ補間回路２０２の構成例を示すブロック図である。Ｇ補間回路２０２は、Ｇ画素Ｖ補間回路３０１と、Ｇ画素Ｈ補間回路３０２と、Ｒ，Ｂ画素Ｖ補間回路３０３と、Ｒ，Ｂ画素Ｈ補間回路３０４と、Ｖ色差算出回路３０５と、Ｈ色差算出回路３０６とを有する。さらに、Ｇ補間回路２０２は、Ｖ色差傾き算出回路３０７と、Ｈ色差傾き算出回路３０８と、テクスチャ検出回路３０９と、Ｎフィルタ回路３１０と、Ｓフィルタ回路３１１と、Ｗフィルタ回路３１２と、Ｅフィルタ回路３１３とを有する。さらに、Ｇ補間回路２０２は、Ｎ重み算出回路３１４と、Ｓ重み算出回路３１５と、Ｗ重み算出回路３１６と、Ｅ重み算出回路３１７と、合成回路３１８と、加算回路３１９とを有する。

図４は、Ｇ補間回路２０２の画像処理方法の流れを示すフローチャートである。ステップＳ４０１では、Ｇ画素Ｖ補間回路３０１は、ＷＢ回路２０１が出力するベイヤ配列の入力画像信号に対して、垂直方向に補間処理を行うことによりＧ信号を算出し、全画素のＧ信号を出力する。具体的には、Ｇ画素Ｖ補間回路３０１は、着目画素がＧ画素の場合には、そのままＧ信号として出力し、着目画素がＲ画素又はＢ画素の場合には、垂直方向にＧ信号の補間処理を行うことによりＧ信号を算出する。例えば、Ｇ画素Ｖ補間回路３０１は、画像における着目画素のＸ座標及びＹ座標を（ｊ，ｉ）としたとき、着目画素がＲ画素の場合、Ｇ信号Ｇｖ_i,jを次式（２）により算出する。また、Ｇ画素Ｖ補間回路３０１は、着目画素がＢ画素の場合も、着目画素がＲ画素の場合と同様の方法によりＧ信号を算出する。
Ｇｖ_i,j＝（Ｇ_i-1,j＋Ｇ_i+1,j）／２ ・・・（２）

次に、ステップＳ４０２では、Ｇ画素Ｈ補間回路３０２は、ＷＢ回路２０１が出力する入力画像信号に対して、水平方向に補間処理を行うことによりＧ信号を算出し、全画素のＧ信号を出力する。具体的には、Ｇ画素Ｈ補間回路３０２は、着目画素がＧ画素の場合には、そのままＧ信号として出力し、着目画素がＲ画素又はＢ画素の場合には、水平方向にＧ信号の補間処理を行うことによりＧ信号を算出する。例えば、Ｇ画素Ｈ補間回路３０２は、着目画素がＲ画素の場合、Ｇ信号Ｇｈ_i,jを次式（３）により算出する。また、Ｇ画素Ｈ補間回路３０２は、着目画素がＢ画素の場合も、着目画素がＲ画素の場合と同様の方法によりＧ信号を算出する。
Ｇｈ_i,j＝（Ｇ_i,j-1＋Ｇ_i,j+1）／２ ・・・（３）

次に、ステップＳ４０３では、Ｒ，Ｂ画素Ｖ補間回路３０３は、ＷＢ回路２０１が出力する入力画像信号に対して、垂直方向に補間処理を行うことによりＲ信号及びＢ信号を算出し、全画素のＲ信号及びＢ信号を出力する。具体的には、Ｒ，Ｂ画素Ｖ補間回路３０３は、着目画素がＲ画素又はＢ画素の場合には、そのままＲ信号又はＢ信号として出力する。Ｒ，Ｂ画素Ｖ補間回路３０３は、着目画素がＧ画素の場合に、着目画素の垂直方向がＲ画素の場合には、垂直方向に補間処理を行うことによりＲ信号を算出し、着目画素の垂直方向がＢ画素の場合には、垂直方向に補間処理を行うことによりＢ信号を算出する。例えば、Ｒ，Ｂ画素Ｖ補間回路３０３は、着目画素がＧ画素であり、着目画素の垂直方向がＲ画素の場合には、Ｒ信号Ｒｖ_i,jを次式（４）により算出する。また、Ｒ，Ｂ画素Ｖ補間回路３０３は、着目画素の垂直方向がＢ画素の場合も、着目画素の垂直方向がＲ画素の場合と同様の方法によりＢ信号を算出する。
Ｒｖ_i,j＝（Ｒ_i-1,j＋Ｒ_i+1,j）／２ ・・・（４）

次に、ステップＳ４０４では、Ｒ，Ｂ画素Ｈ補間回路３０４は、ＷＢ回路２０１が出力する入力画像信号に対して、水平方向に補間処理を行うことによりＲ信号及びＢ信号を算出し、全画素のＲ信号及びＢ信号を出力する。具体的には、Ｒ，Ｂ画素Ｈ補間回路３０４は、着目画素がＲ画素又はＢ画素の場合には、そのままＲ信号又はＢ信号として出力する。Ｒ，Ｂ画素Ｈ補間回路３０４は、着目画素がＧ画素の場合に、着目画素の水平方向がＲ画素の場合には、水平方向に補間処理を行うことによりＲ信号を算出し、着目画素の水平方向がＢ画素の場合には、水平方向に補間処理を行うことによりＢ信号を算出する。例えば、Ｒ，Ｂ画素Ｈ補間回路３０４は、着目画素がＧ画素であり、着目画素の水平方向がＲ画素の場合には、Ｒ信号Ｒｈ_i,jを次式（５）により算出する。また、Ｒ，Ｂ画素Ｈ補間回路３０４は、着目画素の水平方向がＢ画素の場合も、着目画素の水平方向がＲ画素の場合と同様の方法によりＢ信号を算出する。
Ｒｈ_i,j＝（Ｒ_i,j-1＋Ｒ_i,j+1）／２ ・・・（５）

なお、ステップＳ４０１〜Ｓ４０４において、Ｇ画素とＲ，Ｂ画素の垂直及び水平方向の補間方法として、式（２）〜（５）を用いて着目画素の隣接画素から補間を行ったが、これに限定されず、隣接画素以外の画素を用いて補間を行ってもよい。

次に、ステップＳ４０５では、Ｖ色差算出回路３０５は、Ｇ画素Ｖ補間回路３０１から出力されたＧ信号から、Ｒ，Ｂ画素Ｖ補間回路３０３から出力されたＲ信号又はＢ信号を減算することにより、入力画像信号の垂直方向の色差信号を算出する。Ｖ色差算出回路３０５は、第１の色差信号算出手段である。Ｖ色差算出回路３０５は、着目画素（ｊ，ｉ）において、Ｇ画素Ｖ補間回路３０１が出力する信号がＧ信号Ｇｖ_i,jであり、Ｒ，Ｂ画素Ｖ補間回路３０３が出力する信号がＲ信号Ｒｖ_i,jの場合、垂直方向の色差信号Ｄｉｆｆ＿ｖを次式（６）により算出する。また、Ｖ色差算出回路３０５は、Ｒ，Ｂ画素Ｖ補間回路３０３が出力する信号がＢ信号の場合も、Ｒ，Ｂ画素Ｖ補間回路３０３が出力する信号がＲ信号の場合と同様の方法により、Ｇ信号とＢ信号の垂直色差信号を算出する。
Ｄｉｆｆ＿ｖ_i,j＝Ｇｖ_i,j−Ｒｖ_i,j ・・・（６）

次に、ステップＳ４０６では、Ｈ色差算出回路３０６は、Ｇ画素Ｈ補間回路３０２から出力されたＧ信号から、Ｒ，Ｂ画素Ｈ補間回路３０４から出力されたＲ信号又はＢ信号を減算することにより、入力画像信号の水平方向の色差信号を算出する。Ｈ色差算出回路３０６は、第２の色差信号算出手段である。Ｈ色差算出回路３０６は、着目画素（ｊ，ｉ）において、Ｇ画素Ｈ補間回路３０２が出力する信号がＧ信号Ｇｈ_i,jであり、Ｒ，Ｂ画素Ｈ補間回路３０４が出力する信号がＲ信号Ｒｈ_i,jの場合、水平方向の色差信号Ｄｉｆｆ＿ｈを次式（７）により算出する。また、Ｈ色差算出回路３０６は、Ｒ，Ｂ画素Ｈ補間回路３０４が出力する信号がＢ信号の場合も、Ｒ，Ｂ画素Ｈ補間回路３０４が出力する信号がＲ信号の場合と同様の方法により、Ｇ信号とＢ信号の水平色差信号を算出する。
Ｄｉｆｆ＿ｈ_i,j＝Ｇｈ_i,j−Ｒｈ_i,j ・・・（７）

次に、ステップＳ４０７では、Ｖ色差傾き算出回路３０７は、Ｖ色差算出回路３０５から出力された色差信号を基に、垂直方向の色差の傾きを算出する。具体的には、Ｖ色差傾き算出回路３０７は、着目画素（ｊ，ｉ）において、Ｖ色差算出回路３０５から出力された色差信号Ｄｉｆｆ＿ｖを基に、垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを次式（８）により算出する。
Ｇｒａｄ＿ｖ_i,j＝｜Ｄｉｆｆ＿ｖ_i-1,j−Ｄｉｆｆ＿ｖ_i+1,j｜ ・・・（８）

次に、ステップＳ４０８では、Ｈ色差傾き算出回路３０８は、Ｈ色差算出回路３０６から出力された色差信号を基に、水平方向の色差の傾きを算出する。具体的には、Ｈ色差傾き算出回路３０８は、着目画素（ｊ，ｉ）において、Ｈ色差算出回路３０６から出力された色差信号Ｄｉｆｆ＿ｈを基に、水平方向の色差の傾き信号Ｇｒａｄ＿ｈを次式（９）により算出する。
Ｇｒａｄ＿ｈ_i,j＝｜Ｄｉｆｆ＿ｈ_i,j-1−Ｄｉｆｆ＿ｈ_i,j+1｜ ・・・（９）

次に、ステップＳ４０９では、テクスチャ検出回路３０９は、ＷＢ回路２０１が出力する入力画像信号に対して、光学的な折り返しや、色収差の影響で、斜めの線状の被写体にブロック状の偽のパターンが発生しているか否かを検出する。テクスチャ検出回路３０９は、第１の度合い算出手段である。テクスチャ検出回路３０９の処理の詳細は後述するが、テクスチャ検出回路３０９では、テクスチャの程度に応じて０．０〜１．０の間のテクスチャ度αを出力する。テクスチャ度αは、例えば、斜めの線状の被写体にブロック状の偽のパターンが発生しないと判断される場合には０．０と出力され、斜めの線状の被写体にブロック状の偽のパターンが発生していると判断される場合には１．０と出力される。

次に、ステップＳ４１０では、Ｎフィルタ回路３１０は、Ｖ色差算出回路３０５から出力された色差信号に対して、テクスチャ検出回路３０９から出力されたテクスチャ度αに基づいて上方向のフィルタ処理を行う。具体的には、まず、Ｎフィルタ回路３１０は、Ｖ色差算出回路３０５から出力された色差信号Ｄｉｆｆ＿ｖを用いて、着目画素（ｊ，ｉ）における上方向のフィルタ処理の結果Ｆｉｌ＿ｎを次式（１１）により算出する。

次に、Ｎフィルタ回路３１０は、テクスチャ度αに基づいて、色差信号Ｄｉｆｆ＿ｎを次式（１２）により算出して出力する。
Ｄｉｆｆ＿ｎ_i,j＝α_i,j×Ｄｉｆｆ＿ｖ_i,j
＋（１．０−α_i,j）×Ｆｉｌ＿ｎ_i,j ・・・（１２）

次に、ステップＳ４１１では、Ｓフィルタ回路３１１は、Ｖ色差算出回路３０５から出力された色差信号に対して、テクスチャ検出回路３０９から出力されたテクスチャ度αに基づいて下方向のフィルタ処理を行う。具体的には、まず、Ｓフィルタ回路３１１は、Ｖ色差算出回路３０５から出力された色差信号Ｄｉｆｆ＿ｖを用いて、着目画素（ｊ，ｉ）における下方向のフィルタ処理の結果Ｆｉｌ＿ｓを次式（１３）により算出する。

次に、Ｓフィルタ回路３１１は、テクスチャ度αに基づいて、色差信号Ｄｉｆｆ＿ｓを次式（１４）により算出して出力する。
Ｄｉｆｆ＿ｓ_i,j＝α_i,j×Ｄｉｆｆ＿ｖ_i,j
＋（１．０−α_i,j）×Ｆｉｌ＿ｓ_i,j ・・・（１４）

次に、ステップＳ４１２では、Ｗフィルタ回路３１２は、Ｈ色差算出回路３０６から出力された色差信号に対して、テクスチャ検出回路３０９から出力されたテクスチャ度αに基づいて左方向のフィルタ処理を行う。具体的には、まず、Ｗフィルタ回路３１２は、Ｈ色差算出回路３０６から出力された色差信号Ｄｉｆｆ＿ｈを用いて、着目画素（ｊ，ｉ）における左方向のフィルタ処理の結果Ｆｉｌ＿ｗを次式（１５）により算出する。

次に、Ｗフィルタ回路３１２は、テクスチャ度αに基づいて、色差信号Ｄｉｆｆ＿Ｗを次式（１６）により算出して出力する。
Ｄｉｆｆ＿ｗ_i,j＝α_i,j×Ｄｉｆｆ＿ｈ_i,j
＋（１．０−α_i,j）×Ｆｉｌ＿ｗ_i,j ・・・（１６）

次に、ステップＳ４１３では、Ｅフィルタ回路３１３は、Ｈ色差算出回路３０６から出力された色差信号に対して、テクスチャ検出回路３０９から出力されたテクスチャ度αに基づいて右方向のフィルタ処理を行う。具体的には、まず、Ｅフィルタ回路３１３は、Ｈ色差算出回路３０６から出力された色差信号Ｄｉｆｆ＿ｈを用いて、着目画素（ｊ，ｉ）における右方向のフィルタ処理の結果Ｆｉｌ＿ｅを次式（１７）により算出する。

次に、Ｅフィルタ回路３１３は、テクスチャ度αに基づいて、色差信号Ｄｉｆｆ＿ｅを次式（１８）により算出して出力する。
Ｄｉｆｆ＿ｅ_i,j＝α_i,j×Ｄｉｆｆ＿ｈ_i,j
＋（１．０−α_i,j）×Ｆｉｌ＿ｅ_i,j ・・・（１８）

次に、ステップＳ４１４では、Ｎ重み算出回路３１４は、Ｖ色差傾き算出回路３０７から出力された垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを基に、上方向の重みＷｎを次式（１９）により算出する。

次に、ステップＳ４１５では、Ｓ重み算出回路３１５は、Ｖ色差傾き算出回路３０７から出力された垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを基に、下方向の重みＷｓを次式（２０）により算出する。

次に、ステップＳ４１６では、Ｗ重み算出回路３１６は、Ｈ色差傾き算出回路３０８から出力された水平方向の色差の傾き信号Ｇｒａｄ＿ｈを基に、左方向の重みＷｗを次式（２１）により算出する。

次に、ステップＳ４１７では、Ｅ重み算出回路３１７は、Ｈ色差傾き算出回路３０８から出力された水平方向の色差の傾き信号Ｇｒａｄ＿ｈを基に、右方向の重みＷｅを次式（２２）により算出する。

次に、ステップＳ４１８では、合成回路３１８は、Ｎ重み算出回路３１４から入力される重みＷｎ、Ｓ重み算出回路３１５から入力される重みＷｓ、Ｗ重み算出回路３１６から入力される重みＷｗ、及びＥ重み算出回路３１７から入力される重みＷｅを入力する。また、合成回路３１８は、Ｎフィルタ回路３１０から入力される色差信号Ｄｉｆｆ＿ｎと、Ｓフィルタ回路３１１から入力される色差信号Ｄｉｆｆ＿ｓとを入力する。また、合成回路３１８は、Ｗフィルタ回路３１２から入力される色差信号Ｄｉｆｆ＿ｗと、Ｅフィルタ回路３１３から入力される色差信号Ｄｉｆｆ＿ｅとを入力する。合成回路３１８は、重みＷｎ、重みＷｓ、重みＷｗ及び重みＷｅに基づいて、色差信号Ｄｉｆｆ＿ｎと、色差信号Ｄｉｆｆ＿ｓと、色差信号Ｄｉｆｆ＿ｗと、色差信号Ｄｉｆｆ＿ｅとを合成し、色差信号Ｄｉｆｆ＿ｍｉｘを次式（２３）により算出する。
Ｄｉｆｆ＿ｍｉｘ_i,j＝（Ｗｎ_i,j×Ｄｉｆｆ＿ｎ_i,j＋Ｗｓ_i,j×Ｄｉｆｆ＿ｓ_i,j
＋Ｗｗ_i,j×Ｄｉｆｆ＿ｗ_i,j＋Ｗｅ_i,j×Ｄｉｆｆ＿ｅ_i,j）／Ｗｔ_i,j
Ｗｔ_i,j＝Ｗｎ_i,j＋Ｗｓ_i,j＋Ｗｗ_i,j＋Ｗｅ_i,j
・・・（２３）

次に、ステップＳ４１９では、加算回路３１９は、Ｇ補間回路２０２に入力された入力画像信号の着目画素がＲ画素又はＢ画素の場合には、着目画素の信号に対して合成回路３１８で合成された色差信号Ｄｉｆｆ＿ｍｉｘを加算してＧ信号を算出して出力する。また、加算回路３１９は、着目画素がＧ画素の場合には、Ｇ補間回路２０２に入力された画像信号をそのまま出力する。加算回路３１９の出力信号は、Ｇ補間回路２０２の出力信号である。

以上のように、Ｎフィルタ回路３１０は上方向のフィルタ処理を行い、Ｓフィルタ回路３１１は下方向のフィルタ処理を行い、Ｗフィルタ回路３１２は左方向のフィルタ処理を行い、Ｅフィルタ回路３１３は右方向のフィルタ処理を行う。Ｎフィルタ回路３１０とＳフィルタ回路３１１は、第１のフィルタ処理手段であり、垂直方向の色差信号に対してフィルタ処理を行う。Ｗフィルタ回路３１２とＥフィルタ回路３１３は、第２のフィルタ処理手段であり、水平方向の色差信号に対してフィルタ処理を行う。そして、着目画素がＲ画素又はＢ画素の場合には、フィルタ処理後の色差信号が、合成回路３１８で方向毎の重みで合成された後に、加算回路３１９で着目画素に加算され、Ｇ補間回路２０２の出力となるＧ信号が生成される。

図５は、図３のテクスチャ検出回路３０９の構成例を示すブロック図である。テクスチャ検出回路３０９は、Ｇ画素０挿入回路５０１と、ＨＶ補間回路５０２と、Ｄ４５度エッジ検出回路５０３と、Ｄ１３５度エッジ検出回路５０４とを有する。さらに、テクスチャ検出回路３０９は、Ｇ画素以外０挿入回路５０５と、ＨＶ補間回路５０６と、エッジ方向判定回路５０７と、セレクタ５０８と、係数算出回路５０９とを有する。

図６は、テクスチャ検出回路３０９の画像処理方法の流れを示すフローチャートである。
ここで、図７（ａ）は、光学的な折り返しや、色収差の影響で、Ｇ信号に対してＲ、Ｂ信号がずれている場合に、斜めの線状の被写体にブロック状の偽のパターンが発生している場合の画像信号の一例を説明するための図である。一方、図７（ｄ）は、ブロック状の偽のパターンが発生していない斜め線状の被写体の一例を説明するための図である。ステップＳ６０１では、Ｇ画素０挿入回路５０１は、ＷＢ回路２０１が出力するベイヤ配列の画像信号のＧ画素の信号レベルを０にする。

次に、ステップＳ６０２では、ＨＶ補間回路５０２は、Ｇ画素０挿入回路５０１が出力する画像信号に対して、水平方向および垂直方向の補間処理を行うことにより、Ｒ，Ｂ信号を算出する。このとき、ＨＶ補間回路５０２は、水平方向および垂直方向の補間処理には、例えば（１，２，１）／２の係数のフィルタを用いる。斜めの線状の被写体にブロック状の偽のパターンが発生している場合には、ＨＶ補間回路５０２から出力される画像信号は、図７（ｃ）に示すようなパターンになる。一方、斜めの線状の被写体にブロック状の偽のパターンが発生していない場合には、ＨＶ補間回路５０２から出力される画像信号は、図７（ｆ）に示すようなパターンになる。

ステップＳ６０３では、Ｄ４５度エッジ検出回路５０３は、ＨＶ補間回路５０２が出力する画像信号に対して、斜め４５度方向（右上がり方向）のエッジ検出を行い、エッジ強度信号を出力する。具体的には、斜め４５度方向に、例えば（−１，２，−１）の係数のフィルタ処理を行い、フィルタの出力信号の絶対値をエッジ強度信号として出力する。次に、ステップＳ６０４では、Ｄ１３５度エッジ検出回路５０４は、ＨＶ補間回路５０２が出力する画像信号に対して、斜め１３５度方向（右下がり方向）のエッジ検出を行い、エッジ強度信号を出力する。具体的には、斜め１３５度方向に、例えば（−１，２，−１）の係数のフィルタ処理を行い、フィルタの出力信号の絶対値をエッジ強度信号として算出する。

ステップＳ６０５では、Ｇ画素以外０挿入回路５０５は、ＷＢ回路２０１が出力するベイヤ配列の画像信号のＲ画素とＢ画素の信号レベルを０にする。次に、ステップＳ６０６では、ＨＶ補間回路５０６は、Ｇ画素以外０挿入回路５０５が出力する画像信号に対して、水平方向および垂直方向の補間処理を行うことにより、Ｇ信号を算出する。このとき、ＨＶ補間回路５０６は、水平方向および垂直方向の補間処理には、例えば（１，２，１）／２の係数のフィルタを用いる。斜めの線状の被写体にブロック状の偽のパターンが発生している場合には、ＨＶ補間回路５０６から出力される画像信号は、図７（ｂ）に示すようなパターンになる。一方、斜めの線状の被写体にブロック状の偽のパターンが発生していない場合には、ＨＶ補間回路５０６から出力される画像信号は、図７（ｅ）に示すようなパターンになる。つまり、ブロック状の偽のパターンの発生の有無によらず同様の補間結果となる。

次に、ステップＳ６０７では、エッジ方向判定回路５０７は、ＨＶ補間回路５０６が出力する画像信号に対して、画素毎に斜め４５度方向、又は斜め１３５度方向の何れの方向のエッジかを判定する。エッジ方向判定回路５０７は、エッジ方向判定手段である。具体的には、着目画素に対して、斜め４５度方向、斜め１３５度方向に、例えば（−１，２，−１）の係数のフィルタ処理を行い、出力信号の絶対値の大きさを比較することでエッジの方向を判定する。エッジ方向判定回路５０７で、斜め４５度方向のエッジと判定された場合にはステップＳ６０８に、斜め１３５度方向のエッジと判定された場合にはステップＳ６０９に処理を進める。

例えば、ＨＶ補間回路５０６から出力される画像信号が、図７（ｂ）又は図７（ｅ）に示すパターンで、着目画素が中心画素の場合、斜め１３５度方向の線状の被写体が存在する。このため、斜め４５度方向にフィルタ処理を行った画像信号の絶対値は、エッジの振幅に応じて大きな値となる。また、斜め１３５度方向にフィルタ処理を行った画像信号の絶対値は、エッジが存在しないため小さい値となる。このように、フィルタ処理後の画像信号の絶対値を比較することで、図７（ｂ）又は図７（ｅ）に示すパターンの場合は、着目画素に対して斜め４５度方向にエッジがあることが判定できる。

ステップＳ６０８では、セレクタ５０８は、エッジ方向判定回路５０７の判定結果から、対角方向のＤ１３５度エッジ検出回路５０４から出力するエッジ強度信号を選択する。一方、ステップＳ６０９では、セレクタ５０８は、エッジ方向判定回路５０７の判定結果から対角方向のＤ４５度エッジ検出回路５０３から出力するエッジ強度信号を選択する。このようにセレクタ５０８は、エッジ強度算出手段である。例えば、ＨＶ補間回路５０６から出力される画像信号が図７（ｂ）又は図７（ｅ）に示すパターンで、着目画素が中心の画素の場合、着目画素には斜め４５度方向にエッジがあると判定される。この場合は、セレクタ５０８はＤ１３５度エッジ検出回路５０４の出力信号を選択する。

図７（ｃ）に示すパターンで、斜めの線状の被写体にブロック状の偽のパターンが発生している場合には、Ｄ１３５度エッジ検出回路５０４から出力されるエッジ強度信号は、斜め１３５度方向にエッジが存在する。このため、Ｄ１３５度エッジ検出回路５０４から出力されるエッジ強度信号はエッジの振幅に応じて大きい値となる。また、図７（ｆ）に示すパターンで、斜めの線状の被写体にブロック状の偽のパターンが発生していない場合には、Ｄ１３５度エッジ検出回路５０４から出力されるエッジ強度信号は、斜め１３５度方向にエッジが存在しない。このため、Ｄ１３５度エッジ検出回路５０４から出力されるエッジ強度信号は小さい値となる。このように、斜めの線状の被写体にブロック状の偽のパターンが発生している場合には、セレクタ５０８から出力されるエッジ強度信号は大きな値となる。一方、斜めの線状の被写体にブロック状の偽のパターンが発生していない場合には、セレクタ５０８から出力されるエッジ強度信号は小さな値となる。

ステップＳ６１０では、係数算出回路５０９は、セレクタ５０８から出力されるエッジ強度信号に基づいて、光学的な折り返しや、色収差の影響で、斜めの線状の被写体にブロック状の偽のパターンが発生している程度を示すテクスチャ度αを算出する。

図８は、係数算出回路５０９が、セレクタ５０８から出力されるエッジ強度信号から、テクスチャ度αを算出する際に用いられる変換テーブルの一例を示す図である。図８において、横軸はエッジ強度信号を示し、縦軸はテクスチャ度αを示す。係数算出回路５０９は、算出結果であるエッジ強度信号が予め設定された第１の閾値Ｔｈ１以下である場合には、斜めの線状の被写体にブロック状の偽のパターンが発生していないとみなし、テクスチャ度αとして０．０を出力する。また、係数算出回路５０９は、算出結果であるエッジ強度信号が第２の閾値Ｔｈ２以上である場合には、斜めの線状の被写体にブロック状の偽のパターンが発生しているとみなし、テクスチャ度αとして１．０を出力する。ここで、第２の閾値Ｔｈ２は、第１の閾値Ｔｈ１より大きい。係数算出回路５０９は、算出結果であるエッジ強度信号が第１の閾値Ｔｈ１より大きく、かつエッジ強度信号が第２の閾値Ｔｈ２未満である場合には、エッジ強度信号の大きさに応じて線形的に０．０〜１．０の間のテクスチャ度αを算出する。

ここで、光学的な折り返しや、色収差の影響で、Ｇ信号に対してＲ、Ｂ信号がずれている場合には、ＷＢ回路２０１が出力する入力画像に斜めの線状の被写体にブロック状の偽のパターンが発生する。そして、Ｇ補間回路２０２で生成されるＧ信号も、Ｒ画素又はＢ画素のＲ又はＢ信号を用いて生成されるため、入力画像と同様に斜めの線状の被写体にブロック状の偽のパターンが発生し、画質が低下してしまう。

本実施形態では、ブロック状の偽のパターンが発生して画質が低下することを防止するために、テクスチャ検出回路３０９を設けている。テクスチャ検出回路３０９は、エッジ強度信号を算出してテクスチャ度αを算出し、斜めの線状の被写体にブロック状の偽のパターンを検出することができる。斜めの線状の被写体にブロック状の偽のパターンが検出された場合には、テクスチャ度αは大きな値となり、フィルタ回路３１０〜３１３はフィルタ処理を行っていない色差信号が出力される割合を高くする。

図８に示すように、エッジ強度信号が第２の閾値Ｔｈ２より小さい場合には、テクスチャ度αが１．０より小さくなり、フィルタ回路３１０〜３１３は、フィルタ処理を行う。エッジ強度信号が第２の閾値Ｔｈ２以上である場合には、テクスチャ度αが１．０となり、フィルタ回路３１０〜３１３は、フィルタ処理を行わない。

つまり、斜めの線状の被写体にブロック状の偽のパターンが発生している場合（エッジ強度信号が第２の閾値以上の場合）には、テクスチャ度αが１．０となり、フィルタ回路３１０〜３１３はフィルタ処理を行わない（フィルタ処理の特性を変更する）。斜めの線状の被写体にブロック状の偽のパターンが発生している場合で着目画素がＲ画素又はＢ画素の場合、フィルタ回路３１０〜３１３から出力される色差信号は式（２）〜式（７）から、着目画素の左右又は上下のＧ画素と着目画素との差分となる。そして、加算回路３１９で着目画素に加算されると、結果的に左右又は上下のＧ信号から算出した値となる。その結果、Ｒ信号及びＢ信号を用いずにＧ信号を生成できるため、光学的な折り返しや、色収差の影響で、Ｇ信号に対してＲ、Ｂ信号がずれている場合であっても、斜め線状の被写体に対するブロック状の偽のパターンの発生を防止することができる。また、テクスチャ度αが０．０〜１．０の場合には、その強度に応じてフィルタ処理を行わない色差信号の強度を変化させることで、斜めの線状の被写体に対するブロック状の偽のパターンの発生を低減し、画質を向上させることができる。

以上のように本実施形態によれば、ベイヤ配列の画像信号からＧ信号及び輝度信号を生成する際に、方向に因らず解像感の高い画像を生成し、かつ、斜めの線状の被写体に対するブロック状の偽のパターンを低減した画像を得ることができる。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。本実施形態に係る輝度信号生成部２００の構成は図２と同様である。なお、本実施形態では、第１の実施形態と異なる部分についてのみ説明する。

図９は、本発明の第２の実施形態によるＧ補間回路２０２の構成例を示すブロック図である。Ｇ補間回路２０２は、第１のＧ補間回路９０１と、第２のＧ補間回路９０２と、テクスチャ検出回路９０３と、合成回路９０４とを有する。第１のＧ補間回路９０１は第１の補間手段であり、画像信号に対して色差信号を用いないでＧ信号を補間し、第１のＧ信号を出力する。第２のＧ補間回路９０２は第２の補間手段であり、画像信号に対して色差信号を用いてＧ信号を補間し、第２のＧ信号を出力する。合成回路９０４は合成手段であり、テクスチャ検出回路９０３から出力されるテクスチャ度αに基づいて、第１のＧ補間回路９０１により補間された第１のＧ信号と第２のＧ補間回路９０２により補間された第２のＧ信号とを合成する。その詳細は、後述する。なお、テクスチャ検出回路９０３は、第１の実施形態の図５のテクスチャ検出回路３０９と同様の回路である。

図１０は、第１のＧ補間回路９０１の構成例を示すブロック図である。第１のＧ補間回路９０１は、０挿入回路１００１と、ＨＶ補間回路１００２とを有する。０挿入回路１００１は、入力された画像信号のうちのＲ画素とＢ画素の信号レベルを０にする。次に、ＨＶ補間回路１００２は、０挿入回路１００１が出力する画像信号に対して、水平方向および垂直方向に補間処理を行うことにより、Ｇ信号を算出する。このとき、ＨＶ補間回路１００２は、水平方向および垂直方向の補間処理には、例えば（１，２，１）／２の係数のフィルタを用いる。

図１１は、第２のＧ補間回路９０２の構成例を示すブロックである。第２のＧ補間回路９０２は、Ｇ画素Ｖ補間回路１１０１と、Ｇ画素Ｈ補間回路１１０２と、Ｒ，Ｂ画素Ｖ補間回路１１０３と、Ｒ，Ｂ画素Ｈ補間回路１１０４と、Ｖ色差算出回路１１０５と、Ｈ色差算出回路１１０６とを有する。さらに、第２のＧ補間回路９０２は、Ｖ色差傾き算出回路１１０７と、Ｈ色差傾き算出回路１１０８と、Ｎフィルタ回路１１０９と、Ｓフィルタ回路１１１０と、Ｗフィルタ回路１１１１と、Ｅフィルタ回路１１１２とを有する。さらに、第２のＧ補間回路９０２は、Ｎ重み算出回路１１１３と、Ｓ重み算出回路１１１４と、Ｗ重み算出回路１１１５と、Ｅ重み算出回路１１１６と、合成回路１１１７と、加算回路１１１８とを有する。

図１２は、第２のＧ補間回路９０２の処理の流れを示すフローチャートである。ステップＳ１２０１では、Ｇ画素Ｖ補間回路１１０１は、入力画像信号に対して、垂直方向に補間処理を行うことにより、Ｇ信号を生成する。具体的には、Ｇ画素Ｖ補間回路１１０１は、着目画素がＧ画素の場合には、Ｇ画素の信号をそのままＧ信号として出力し、着目画素がＲ画素またはＢ画素の場合には、垂直方向に補間処理を行うことにより、Ｇ信号を生成する。例えば、画像における着目画素のＸ座標およびＹ座標を（ｊ，ｉ）としたとき、Ｇ画素Ｖ補間回路１１０１は、着目画素がＲ画素の場合、Ｇ信号Ｇｖ_i,jを次式（２４）により生成する。
Ｇｖ_i,j＝（Ｇ_i-1,j＋Ｇ_i+1,j）／２＋（２×Ｒ_i,j−Ｒ_i-2,j＋Ｒ_i+2,j）／４
・・・（２４）

なお、Ｇ画素Ｖ補間回路１１０１は、着目画素がＢ画素の場合も、上記と同様の方法で、Ｇ信号を生成する。

次に、ステップＳ１２０２では、Ｇ画素Ｈ補間回路１１０２は、入力画像信号に対して、水平方向に補間処理を行うことにより、Ｇ信号を生成する。具体的には、Ｇ画素Ｈ補間回路１１０２は、着目画素がＧ画素の場合には、Ｇ画素の信号をそのままＧ信号として出力し、着目画素がＲ画素またはＢ画素の場合には、水平方向に補間処理を行うことにより、Ｇ信号を生成する。例えば、Ｇ画素Ｈ補間回路１１０２は、着目画素がＲ画素の場合、Ｇ信号Ｇｈ_i,jを次式（２５）により生成する。
Ｇｈ_i,j＝（Ｇ_i,j-1＋Ｇ_i,j+1）／２＋（２×Ｒ_i,j−Ｒ_i,j-2＋Ｒ_i,j+2）／４
・・・（２５）

なお、Ｇ画素Ｈ補間回路１１０２は、着目画素がＢ画素の場合も、上記と同様の方法で、Ｇ信号を生成する。

次に、ステップＳ１２０３では、Ｒ，Ｂ画素Ｖ補間回路１１０３は、入力画像信号に対して、垂直方向に補間処理を行うことにより、Ｒ信号またはＢ信号を生成する。具体的には、Ｒ，Ｂ画素Ｖ補間回路１１０３は、着目画素がＲ画素またはＢ画素の場合には、Ｒ画素またはＢ画素の信号をそのままＲ信号またはＢ信号として出力する。Ｒ，Ｂ画素Ｖ補間回路１１０３は、着目画素がＧ画素の場合に、着目画素の垂直方向がＲ画素の場合には、垂直方向に補間処理を行うことでＲ信号を生成し、同様に、着目画素の垂直方向がＢ画素の場合には、垂直方向に補間処理を行うことでＢ信号を生成する。例えば、着目画素がＧ画素で、着目画素の垂直方向がＲ画素の場合、Ｒ，Ｂ画素Ｖ補間回路１１０３は、Ｒ信号Ｒｖ_i,jを次式（２６）により生成する。
Ｒｖ_i,j＝（Ｒ_i-1,j＋Ｒ_i+1,j）／２＋（２×Ｇ_i,j−Ｇ_i-2,j＋Ｇ_i+2,j）／４
・・・（２６）

なお、Ｒ，Ｂ画素Ｖ補間回路１１０３は、着目画素の垂直方向がＢ画素の場合、上記と同様の方法で、Ｂ信号を生成する。

次に、ステップＳ１２０４では、Ｒ，Ｂ画素Ｈ補間回路１１０４は、入力画像信号に対して、水平方向に補間処理を行うことにより、Ｒ信号またはＢ信号を生成する。具体的には、Ｒ，Ｂ画素Ｈ補間回路１１０４は、着目画素がＲ画素またはＢ画素の場合には、Ｒ画素またはＢ画素の信号をそのままＲ信号またはＢ信号として出力する。Ｒ，Ｂ画素Ｈ補間回路１１０４は、着目画素がＧ画素の場合に、着目画素の水平方向がＲ画素の場合には、水平方向に補間処理を行うことでＲ信号を生成し、同様に、着目画素の水平方向がＢ画素の場合には、水平方向に補間処理を行うことでＢ信号を生成する。例えば、着目画素がＧ画素で、着目画素の水平方向がＲ画素の場合、Ｒ，Ｂ画素Ｈ補間回路１１０４は、Ｒ信号Ｒｈ_i,jを次式（２７）により生成する。
Ｒｈ_i,j＝（Ｒ_i,j-1＋Ｒ_i,j+1）／２＋（２×Ｇ_i,j−Ｇ_i,j-2＋Ｇ_i,j+2）／４
・・・（２７）

なお、Ｒ，Ｂ画素Ｈ補間回路１１０４は、着目画素の水平方向がＢ画素の場合、上記と同様の方法で、Ｂ信号を生成する。また、ステップＳ１２０１〜Ｓ１２０４の補間方法として、式（２４）〜（２７）を用いたが、これに限定されず、例えば第１の実施形態のように式（２）〜（５）を用いて同色画素を各方向に線形補間してもよい。

次に、ステップＳ１２０５では、Ｖ色差算出回路１１０５は、Ｇ画素Ｖ補間回路１１０１が出力したＧ信号から、Ｒ，Ｂ画素Ｖ補間回路１１０３が出力したＲ信号またはＢ信号を減算し、垂直方向の色差信号を生成する。例えば、Ｖ色差算出回路１１０５は、図３のＶ色差算出回路３０５と同様に垂直方向の色差信号Ｄｉｆｆ＿ｖを式（６）により算出する。

次に、ステップＳ１２０６では、Ｈ色差算出回路１１０６は、Ｇ画素Ｈ補間回路１１０２が出力したＧ信号から、Ｒ，Ｂ画素Ｈ補間回路１１０４が出力したＲ信号またはＢ信号を減算し、水平方向の色差信号を生成する。例えば、Ｈ色差算出回路１１０６は、図３のＨ色差算出回路３０６と同様に水平方向の色差信号Ｄｉｆｆ＿ｈを式（７）により算出する。

次に、ステップＳ１２０７では、Ｖ色差傾き算出回路１１０７は、Ｖ色差算出回路１１０５から出力された色差信号を基に、垂直方向の色差の傾きを算出する。具体的には、Ｖ色差傾き算出回路１１０７は、図３のＶ色差傾き算出回路３０７と同様に、垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを式（８）により算出する。

なお、傾き信号Ｇｒａｄ＿ｖを算出する式は、式（８）に限定されない。Ｖ色差傾き算出回路１１０７は、例えば、着目画素と上下の隣接画素のそれぞれの差分に基づいて、傾き信号Ｇｒａｄ＿ｖを算出しても良い。Ｖ色差傾き算出回路１１０７は、算出した垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを、Ｎ重み算出回路１１１３、Ｓ重み算出回路１１１４にそれぞれ出力する。

次に、ステップＳ１２０８では、Ｈ色差傾き算出回路１１０８は、Ｈ色差算出回路１１０６から出力された色差信号を基に、水平方向の色差の傾きを算出する。具体的には、Ｈ色差傾き算出回路１１０８は、図３のＨ色差傾き算出回路３０８と同様に、水平方向の色差の傾き信号Ｇｒａｄ＿ｈを式（９）により算出する。

なお、傾き信号Ｇｒａｄ＿ｈを算出する式は、式（９）に限定されない。Ｈ色差傾き算出回路１１０８は、例えば、着目画素と左右の隣接画素のそれぞれの差分に基づいて、傾き信号Ｇｒａｄ＿ｈを算出しても良い。Ｈ色差傾き算出回路１１０８は、算出した水平方向の色差の傾き信号Ｇｒａｄ＿ｈを、Ｗ重み算出回路１１１５、Ｅ重み算出回路１１１６にそれぞれ出力する。

次に、ステップＳ１２０９では、Ｎフィルタ回路１１０９は、Ｖ色差算出回路１１０５から出力された色差信号に対して、上方向のフィルタ処理を行う。具体的には、Ｎフィルタ回路１１０９は、Ｖ色差算出回路１１０５から出力された色差信号Ｄｉｆｆ＿ｖを用いて、着目画素（ｊ，ｉ）における上方向のフィルタ処理の結果Ｄｉｆｆ＿ｎを次式（２８）により算出する。

ステップＳ１２１０では、Ｓフィルタ回路１１１０は、Ｖ色差算出回路１１０５から出力された色差信号に対して、下方向のフィルタ処理を行う。具体的には、Ｓフィルタ回路１１１０は、Ｖ色差算出回路１１０５から出力された色差信号Ｄｉｆｆ＿ｖを用いて、着目画素（ｊ，ｉ）における下方向のフィルタ処理の結果Ｄｉｆｆ＿ｓを次式（２９）により算出する。

ステップＳ１２１１では、Ｗフィルタ回路１１１１は、Ｈ色差算出回路１１０６から出力された色差信号に対して、左方向のフィルタ処理を行う。具体的には、Ｗフィルタ回路１１１１は、Ｈ色差算出回路１１０６から出力された色差信号Ｄｉｆｆ＿ｈを用いて、着目画素（ｊ，ｉ）における左方向のフィルタ処理の結果Ｄｉｆｆ＿ｗを次式（３０）により算出する。

ステップＳ１２１２では、Ｅフィルタ回路１１１２は、Ｈ色差算出回路１１０６から出力された色差信号に対して、右方向のフィルタ処理を行う。具体的には、Ｅフィルタ回路１１１２は、Ｈ色差算出回路１１０６から出力された色差信号Ｄｉｆｆ＿ｈを用いて、着目画素（ｊ，ｉ）における右方向のフィルタ処理の結果Ｄｉｆｆ＿ｅを次式（３１）により算出する。

ステップＳ１２１３では、Ｎ重み算出回路１１１３は、図３のＮ重み算出回路３１４と同様に上方向の重みＷｎを式（１９）により算出する。

ステップＳ１２１４では、Ｓ重み算出回路１１１４は、図３のＳ重み算出回路３１５と同様に下方向の重みＷｓを式（２０）により算出する。

ステップＳ１２１５では、Ｗ重み算出回路１１１５は、図３のＷ重み算出回路３１６と同様に左方向の重みＷｗを式（２１）により算出する。

ステップＳ１２１６では、Ｅ重み算出回路１１１６は、図３のＥ重み算出回路３１７と同様に右方向の重みＷｅを式（２２）により算出する。

ステップＳ１２１７では、合成回路１１１７は、図３の合成回路３１８と同様に、重みＷｎ、Ｗｓ、ＷｗおよびＷｅを基に、色差信号Ｄｉｆｆ＿ｎ、Ｄｉｆｆ＿ｓ、Ｄｉｆｆ＿ｗおよびＤｉｆｆ＿ｅを合成する。そして、合成回路１１１７は、色差信号Ｄｉｆｆ＿ｍｉｘを式（２３）により算出する。

ステップＳ１２１８では、加算回路１１１８は、ＷＢ回路２０１が出力した画像信号に対して、着目画素がＲ画素またはＢ画素の場合には合成回路１１１７で合成された色差信号Ｄｉｆｆ＿ｍｉｘを加算し、第２のＧ信号を出力する。加算回路１１１８の出力信号は、第２のＧ補間回路９０２の出力信号である。上記の結果、第２のＧ補間回路９０２は、Ｒ画素またはＢ画素の画素位置に対して、方向に因らず解像感の高いＧ信号を算出することができる。

次に、図９の合成回路９０４の合成処理について説明する。合成回路９０４は、テクスチャ検出回路９０３からのテクスチャ度αに基づいて、第１のＧ補間回路９０１からの第１のＧ信号と第２のＧ補間回路９０２からの第２のＧ信号とを合成し、最終的なＧ信号を出力する。合成回路９０４から出力されるＧ信号は、Ｇ補間回路２０２の出力信号である。合成回路９０４は、画像における着目画素のＸ座標およびＹ座標を（ｊ，ｉ）としたとき、最終的なＧ信号Ｇ＿ｓｉｇ_i,jを出力する。具体的には、合成回路９０４は、着目画素における第１のＧ信号Ｇ１＿ｓｉｇ_i,j、第２のＧ信号Ｇ２＿ｓｉｇ_i,j、合成係数α_i,jを用いて、最終的なＧ信号Ｇ＿ｓｉｇ_i,jを次式（３２）により算出する。
Ｇ＿ｓｉｇ_i,j＝α_i,j×Ｇ１＿ｓｉｇ_i,j＋（１．０−α_i,j）×Ｇ２＿ｓｉｇ_i,j
・・・（３２）

合成回路９０４は、テクスチャ度αが０．０である場合、つまり、斜めの線状の被写体にブロック状の偽のパターンが発生していない場合には、方向に因らず解像感の高い画像を生成できる第２のＧ信号Ｇ２＿ｓｉｇを最終的なＧ信号Ｇ＿ｓｉｇとして出力する。また、合成回路９０４は、合成係数αが１．０である場合、つまり、斜めの線状の被写体にブロック状の偽のパターンが発生している場合には、Ｇ信号のみから生成した第１のＧ信号Ｇ１＿ｓｉｇを最終的なＧ信号Ｇ＿ｓｉｇとして出力する。

以上のように本実施形態によれば、光学的な折り返しや、色収差の影響で、Ｇ信号に対してＲ、Ｂ信号がずれている場合であっても、斜め線状の被写体に対するブロック状の偽のパターンの発生を防止することができる。

（第３の実施形態）
以下、本発明の第３の実施形態について説明する。前述した第１及び第２の実施形態では、Ｇ画素のサンプリングに起因した折り返しが発生し、縦線、横線から斜め線に切り替わる領域でヨレが発生する場合がある。そこで本実施形態では、斜めの線状の被写体に対するブロック状の偽のパターンのみならずヨレをも低減した画像を生成する例について説明する。なお、本実施形態に係る画像処理装置である輝度信号生成部２００は、図２と同様であるため、説明は省略する。以下、第１の実施形態と異なる点についてのみ説明する。

図１３は、図２のＧ補間回路２０２の構成例を示すブロック図である。Ｇ補間回路２０２は、Ｇ画素Ｖ補間回路３０１と、Ｇ画素Ｈ補間回路３０２と、Ｒ，Ｂ画素Ｖ補間回路３０３と、Ｒ，Ｂ画素Ｈ補間回路３０４と、Ｖ色差算出回路３０５と、Ｈ色差算出回路３０６とを有する。さらに、Ｇ補間回路２０２は、Ｖ色差傾き算出回路３０７と、Ｈ色差傾き算出回路３０８と、テクスチャ検出回路３０９と、ＨＶエッジ検出回路１３０１と、フィルタゲイン算出回路１３０２とを有する。さらに、Ｇ補間回路２０２は、Ｎフィルタ回路３１０と、Ｓフィルタ回路３１１と、Ｗフィルタ回路３１２と、Ｅフィルタ回路３１３とを有する。さらに、Ｇ補間回路２０２は、Ｎ重み算出回路３１４と、Ｓ重み算出回路３１５、Ｗ重み算出回路３１６と、Ｅ重み算出回路３１７と、合成回路３１８と、加算回路３１９とを有する。図３に示した構成と比べて、Ｇ補間回路２０２は、ＨＶエッジ検出回路１３０１と、フィルタゲイン算出回路１３０２とをさらに有しており、それ以外の構成は図３と同様である。

図１４は、Ｇ補間回路２０２の画像処理方法の流れを示すフローチャートである。なお、図１４のステップＳ４０１〜Ｓ４０９は、図４のステップＳ４０１〜Ｓ４０９と同様であるため、説明は省略する。以下、図４の手順と異なる点についてのみ説明する。

ステップＳ１４０１では、ＨＶエッジ検出回路１３０１は、ＷＢ回路２０１が出力する入力画像信号に対して、水平、垂直のエッジ領域か否かを検出する。ＨＶエッジ検出回路１３０１は、第２の度合い算出手段である。ＨＶエッジ検出回路１３０１の処理の詳細は後述するが、ＨＶエッジ検出回路１３０１では、水平、垂直エッジの程度に応じて０．０〜１．０の間のＨＶエッジ度βを出力する。ＨＶエッジ度βは、例えば、水平、垂直のエッジ領域であると判断される場合には０．０を出力し、水平、垂直のエッジ領域でないと判断される場合には１．０を出力する。

次に、ステップＳ１４０２では、フィルタゲイン算出回路１３０２は、テクスチャ検出回路３０９から出力されるテクスチャ度αと、ＨＶエッジ検出回路１３０１から出力されるＨＶエッジ度βとに基づいて、フィルタゲインγを算出する。具体的には、フィルタゲイン算出回路１３０２は、着目画素（ｊ，ｉ）におけるフィルタゲインγを次式（３３）により算出する。
γ_i,j＝α_i,j×β_i,j ・・・（３３）

このように、フィルタゲインγを算出することで、例えば、斜めの線状の被写体にブロック状の偽のパターンが発生しない場合、または、水平、垂直のエッジ領域であると判断される場合には、フィルタゲインγは０．０に近い値となる。また、斜めの線状の被写体にブロック状の偽のパターンが発生している場合で、かつ、水平、垂直のエッジ領域でないと判断される場合には、フィルタゲインγは１．０に近い値となる。

次に、ステップＳ１４０３では、Ｎフィルタ回路３１０は、Ｖ色差算出回路３０５から出力された色差信号に対して、フィルタゲイン算出回路１３０２から出力されたフィルタゲインγに基づいて上方向のフィルタ処理を行う。具体的には、まず、Ｎフィルタ回路３１０は、Ｖ色差算出回路３０５から出力された色差信号Ｄｉｆｆ＿ｖを用いて、着目画素（ｊ，ｉ）における上方向のフィルタ処理の結果Ｆｉｌ＿ｎを式（１１）により算出する。

次に、Ｎフィルタ回路３１０は、フィルタゲインγに基づいて、色差信号Ｄｉｆｆ＿ｎを次式（３４）により算出して出力する。
Ｄｉｆｆ＿ｎ_i,j＝γ_i,j×Ｄｉｆｆ＿ｖ_i,j
＋（１．０−γ_i,j）×Ｆｉｌ＿ｎ_i,j ・・・（３４）

次に、ステップＳ１４０４では、Ｓフィルタ回路３１１は、Ｖ色差算出回路３０５から出力された色差信号に対して、フィルタゲイン算出回路１３０２から出力されたフィルタゲインγに基づいて下方向のフィルタ処理を行う。具体的には、まず、Ｓフィルタ回路３１１は、Ｖ色差算出回路３０５から出力された色差信号Ｄｉｆｆ＿ｖを用いて、着目画素（ｊ，ｉ）における下方向のフィルタ処理の結果Ｆｉｌ＿ｓを式（１３）により算出する。

次に、Ｓフィルタ回路３１１は、フィルタゲインγに基づいて、色差信号Ｄｉｆｆ＿ｓを次式（３５）により算出して出力する。
Ｄｉｆｆ＿ｓ_i,j＝γ_i,j×Ｄｉｆｆ＿ｖ_i,j
＋（１．０−γ_i,j）×Ｆｉｌ＿ｓ_i,j ・・・（３５）

次に、ステップＳ１４０５では、Ｗフィルタ回路３１２は、Ｈ色差算出回路３０６から出力された色差信号に対して、フィルタゲイン算出回路１３０２から出力されたフィルタゲインγに基づいて左方向のフィルタ処理を行う。具体的には、まず、Ｗフィルタ回路３１２は、Ｈ色差算出回路３０６から出力された色差信号Ｄｉｆｆ＿ｈを用いて、着目画素（ｊ，ｉ）における左方向のフィルタ処理の結果Ｆｉｌ＿ｗを式（１５）により算出する。

次に、Ｗフィルタ回路３１２は、フィルタゲインγに基づいて、色差信号Ｄｉｆｆ＿Ｗを次式（３６）により算出して出力する。
Ｄｉｆｆ＿ｗ_i,j＝γ_i,j×Ｄｉｆｆ＿ｈ_i,j
＋（１．０−γ_i,j）×Ｆｉｌ＿ｗ_i,j ・・・（３６）

次に、ステップＳ１４０６では、Ｅフィルタ回路３１３は、Ｈ色差算出回路３０６から出力された色差信号に対して、フィルタゲイン算出回路１３０２から出力されたフィルタゲインγに基づいて右方向のフィルタ処理を行う。具体的には、まず、Ｅフィルタ回路３１３は、Ｈ色差算出回路３０６から出力された色差信号Ｄｉｆｆ＿ｈを用いて、着目画素（ｊ，ｉ）における右方向のフィルタ処理の結果Ｆｉｌ＿ｅを式（１７）により算出する。

次に、Ｅフィルタ回路３１３は、フィルタゲインγに基づいて、色差信号Ｄｉｆｆ＿ｅを次式（３７）により算出して出力する。
Ｄｉｆｆ＿ｅ_i,j＝γ_i,j×Ｄｉｆｆ＿ｈ_i,j
＋（１．０−γ_i,j）×Ｆｉｌ＿ｅ_i,j ・・・（３７）

次の図１４のステップＳ４１４〜Ｓ４１９は、それぞれ図４のステップＳ４１４〜Ｓ４１９と同様である。以上のように着目画素がＲ画素又はＢ画素の場合には、フィルタ処理後の色差信号が、合成回路３１８で方向毎の重みで合成された後に、加算回路３１９で着目画素に加算され、Ｇ補間回路２０２の出力となるＧ信号が生成される。

図１５は、図１３のＨＶエッジ検出回路１３０１の構成例を示すブロック図である。ＨＶエッジ検出回路１３０１は、ＨＶ相関判定回路１５０１と、エッジ度算出回路１５０２とを有する。

ＨＶ相関判定回路１５０１は、水平方向の相関の大きさと、垂直方向の相関の大きさとから、水平、垂直方向のエッジの相関値を算出する。具体的には、ＨＶ相関判定回路１５０１は、着目画素を中心とした水平方向の画素の信号レベルの差と、着目画素を中心とした垂直方向の画素の信号レベルの差との差分から水平、垂直エッジの相関値を算出する。例えば、着目画素（ｊ，ｉ）がＲ画素の場合、ＨＶエッジ相関値ｃｏｒｒＨＶを次式（３８）により算出する。
ｃｏｒｒＨＶ_i,j＝｜ｄｉｆｆＨ_i,j−ｄｉｆｆＶ_i,j｜
ｄｉｆｆＨ_i,j＝｜Ｇ_i,j-1−Ｇ_i,j+1｜＋｜２×Ｒ_i,j−Ｒ_i,j-2−Ｒ_i,j+2｜
ｄｉｆｆＶ_i,j＝｜Ｇ_i-1,j−Ｇ_i+1,j｜＋｜２×Ｒ_i,j−Ｒ_i-2,j−Ｒ_i+2,j｜
・・・（３８）

なお、ＨＶ相関判定回路１５０１は、着目画素がＢ画素の場合も、上記と同様の方法でＨＶエッジ相関値ｃｏｒｒＨＶを算出する。

エッジ度算出回路１５０２は、ＨＶ相関判定回路１５０１からＨＶエッジ相関値ｃｏｒｒＨＶを入力し、水平、垂直のエッジ領域か否かを示すＨＶエッジ度βを算出する。

図１６は、エッジ度算出回路１５０２の入出力特性の一例を示す図であり、ＨＶエッジ相関値ｃｏｒｒＨＶからＨＶエッジ度βへの変換テーブルの一例を示す。図１６において、横軸はＨＶエッジ相関値ｃｏｒｒＨＶを示し、縦軸はＨＶエッジ度βを示す。エッジ度算出回路１５０２は、ＨＶエッジ相関値ｃｏｒｒＨＶが所定の閾値以下（第３の閾値Ｔｈ３以下）で、水平、垂直のエッジ領域でないと判断される場合には、ＨＶエッジ度βを１．０にする。また、エッジ度算出回路１５０２は、ＨＶエッジ度相関値ｃｏｒｒＨＶが所定の閾値以上（第４の閾値Ｔｈ４以上）で、水平、垂直のエッジ領域であると判断される場合には、ＨＶエッジ度βを０．０にする。また、エッジ度算出回路１５０２は、ＨＶエッジ度相関値ｃｏｒｒＨＶが第３の閾値Ｔｈ３より大きく、かつ第４の閾値Ｔｈ４未満である場合には、ＨＶエッジ度相関値ｃｏｒｒＨＶに応じて線形的に０．０から１．０の間をとるＨＶエッジ度βを出力する。

本実施形態では、斜めの線状の被写体に対するブロック状の偽のパターン及びヨレを低減するために、テクスチャ検出回路３０９と、ＨＶエッジ検出回路１３０１と、フィルタゲイン算出回路１３０２とを設けている。テクスチャ検出回路３０９は、エッジ強度信号を算出してテクスチャ度αを算出し、斜めの線状の被写体にブロック状の偽のパターンがある場合はそれを検出することができる。一方、ＨＶエッジ検出回路１３０１は、ＨＶエッジ相関値を算出してＨＶエッジ度βを算出し、着目画素が水平、垂直のエッジ領域であるか否かを検出することができる。また、フィルタゲイン算出回路１３０２は、テクスチャ検出回路３０９から出力されるテクスチャ度αと、ＨＶエッジ検出回路１３０１から出力されるＨＶエッジ度βとからフィルタゲインγを算出する。そして、フィルタ回路３１０〜３１３のフィルタ処理を行っていない色差信号が出力される割合を調整する。

斜めの線状の被写体にブロック状の偽のパターンが発生し、かつ、水平、垂直のエッジ領域でない判断される場合には、フィルタゲインγは１．０となり、フィルタ回路３１０〜３１３はフィルタ処理を行わない（フィルタ処理の特性を変更する）。斜めの線状の被写体にブロック状の偽のパターンが発生し、かつ水平、垂直のエッジ領域でない場合で、着目画素がＲ画素又はＢ画素の場合、フィルタ回路３１０〜３１３から出力される色差信号は着目画素の左右又は上下のＧ画素と着目画素との差分となる。そして、加算回路３１９で着目画素に加算されると、結果的に左右又は上下のＧ信号から算出した値となる。その結果、Ｒ信号及びＢ信号を用いずにＧ信号を生成できるため、光学的な折り返しや、色収差の影響で、Ｇ信号に対してＲ、Ｂ信号がずれている場合であっても、斜め線状の被写体に対するブロック状の偽のパターンの発生を防止することができる。

一方、斜め線状の被写体にブロック状の偽のパターンが発生しない場合、または、水平、垂直のエッジ領域であると判断される場合には、フィルタゲインγは０．０となり、フィルタ回路３１０〜３１３はフィルタ処理を行う。このように、そもそも斜め線状の被写体にブロック状の偽のパターンが発生しない場合は、フィルタ処理を行うことで、Ｇ信号だけでなく、Ｒ、Ｂ信号も用いてＧ信号を生成できる。また、斜め線状の被写体にブロック状の偽のパターンが発生しそうな領域であっても、水平、垂直のエッジ領域であると判断される場合、つまり、縦線、横線から斜め線に切り替わる領域においても同様である。この場合も、フィルタ処理を行うことで、Ｇ信号だけでなく、Ｒ、Ｂ信号も用いてＧ信号を生成できる。このため、Ｇ画素のサンプリングに起因した折り返しを低減することができる。さらに、フィルタゲインγが０．０〜１．０の場合には、その強度に応じてフィルタ処理を行わない色差信号の強度を変化させることで、斜めの線状の被写体に対するブロック状の偽のパターン及びヨレの発生を低減し、画質を向上させることができる。

以上のように本実施形態によれば、ベイヤ配列の画像信号からＧ信号及び輝度信号を生成する際に、方向に因らず解像感の高い画像を生成し、かつ、斜めの線状の被写体に対するブロック状の偽のパターン及びヨレを低減した画像を得ることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

３０５ Ｖ色差算出回路、３０６ Ｈ色差算出回路、３０９ テクスチャ検出回路、３１０ Ｎフィルタ回路、３１１ Ｓフィルタ回路、３１２ Ｗフィルタ回路、３１３ Ｅフィルタ回路

Claims (11)

1. 入力画像信号を垂直方向に補間して色差信号を算出する第１の色差信号算出手段と、
   前記入力画像信号を水平方向に補間して色差信号を算出する第２の色差信号算出手段と、
   前記第１の色差信号算出手段により算出された色差信号に対してフィルタ処理を行う第１のフィルタ処理手段と、
   前記第２の色差信号算出手段により算出された色差信号に対してフィルタ処理を行う第２のフィルタ処理手段と、
   前記入力画像信号の着目画素における斜め方向のエッジの強度を示す、所定の色収差又は光学的な折り返しの影響を受ける度合いを示す第１の度合いを算出する第１の度合い算出手段とを有し、
   前記第１のフィルタ処理手段と前記第２のフィルタ処理手段は、前記第１の度合い算出手段によって算出された第１の度合いが予め設定した第１の閾値以上である場合には、フィルタ処理を行わないようにすることを特徴とする画像処理装置。
2. 入力画像信号を垂直方向に補間して色差信号を算出する第１の色差信号算出手段と、
   前記入力画像信号を水平方向に補間して色差信号を算出する第２の色差信号算出手段と、
   前記第１の色差信号算出手段により算出された色差信号に対してフィルタ処理を行う第１のフィルタ処理手段と、
   前記第２の色差信号算出手段により算出された色差信号に対してフィルタ処理を行う第２のフィルタ処理手段と、
   前記入力画像信号の着目画素における斜め方向のエッジの強度を示す、所定の色収差又は光学的な折り返しの影響を受ける度合いを示す第１の度合いを算出する第１の度合い算出手段とを有し、
   前記第１のフィルタ処理手段と前記第２のフィルタ処理手段は、前記第１の度合い算出手段によって算出された第１の度合いが予め設定した第１の閾値より小さい場合には、前記第１の度合いに応じたフィルタ処理を行うことを特徴とする画像処理装置。
3. 入力画像信号に対して色差信号を用いないで色信号を補間する第１の補間手段と、
   前記入力画像信号に対して色差信号を用いて色信号を補間する第２の補間手段と、
   前記入力画像信号の着目画素における斜め方向のエッジの強度を示す、所定の色収差又は光学的な折り返しの影響を受ける度合いを示す第１の度合いを算出する第１の度合い算出手段と、
   前記第１の度合い算出手段の算出結果に基づいて、前記第１の補間手段により補間された色信号と前記第２の補間手段により補間された色信号とを合成する合成手段とを有し、
   前記合成手段は、前記第１の度合い算出手段によって算出された第１の度合いが高いほど、前記第１の補間手段の補間結果の割合が高くなるように合成処理を行うことを特徴とする画像処理装置。
4. 前記第２の補間手段は、
   入力画像信号を垂直方向に補間して色差信号を算出する第１の色差信号算出手段と、
   前記入力画像信号を水平方向に補間して色差信号を算出する第２の色差信号算出手段と、
   前記第１の色差信号算出手段により算出された色差信号に対してフィルタ処理を行う第１のフィルタ処理手段と、
   前記第２の色差信号算出手段により算出された色差信号に対してフィルタ処理を行う第２のフィルタ処理手段とを有し、
   前記第１のフィルタ処理手段および前記第２のフィルタ処理手段によって処理された信号に基づいて前記色信号を補間することを特徴とする請求項３に記載の画像処理装置。
5. 前記入力画像信号に対して、水平方向または垂直方向のエッジの度合いを示す第２の度合いを算出する第２の度合い算出手段をさらに有し、
   前記第１のフィルタ処理手段と前記第２のフィルタ処理手段は、前記第１の度合い算出手段によって算出された第１の度合いが前記第１の閾値以上であり、かつ前記第２の度合い算出手段によって算出された第２の度合いが予め設定した第２の閾値以下である場合には、フィルタ処理を行わないようにすることを特徴とする請求項１に記載の画像処理装置。
6. 前記入力画像信号に対して、水平方向または垂直方向のエッジの度合いを示す第２の度合いを算出する第２の度合い算出手段をさらに有し、
   前記第１のフィルタ処理手段と前記第２のフィルタ処理手段は、前記第１の度合い算出手段によって算出された第１の度合いが前記第１の閾値より小さい、または前記第２の度合い算出手段によって算出された第２の度合いが予め設定した第２の閾値より大きい場合には、前記第１の度合い及び第２の度合いに応じたフィルタ処理を行うことを特徴とする請求項２に記載の画像処理装置。
7. 前記度合い算出手段は、
   前記入力画像信号の第１の色信号のエッジの方向を判定するエッジ方向判定手段と、
   前記第１の色信号とは異なる色の色信号に対して、前記エッジ方向判定手段で判定された方向と対角方向のエッジ強度を前記第１の度合いとして算出するエッジ強度算出手段とを有することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 入力画像信号を垂直方向に補間して色差信号を算出する第１の色差信号算出ステップと、
   前記入力画像信号を水平方向に補間して色差信号を算出する第２の色差信号算出ステップと、
   前記第１の色差信号算出ステップにより算出された色差信号に対してフィルタ処理を行う第１のフィルタ処理ステップと、
   前記第２の色差信号算出ステップにより算出された色差信号に対してフィルタ処理を行う第２のフィルタ処理ステップと、
   前記入力画像信号の着目画素における斜め方向のエッジの強度を示す、所定の色収差又は光学的な折り返しの影響を受ける度合いを示す第１の度合いを算出する第１の度合い算出ステップとを有し、
   前記第１のフィルタ処理ステップと前記第２のフィルタ処理ステップでは、前記第１の度合い算出ステップによって算出された第１の度合いが予め設定した第１の閾値以上である場合には、フィルタ処理を行わないようにすることを特徴とする画像処理方法。
9. 入力画像信号を垂直方向に補間して色差信号を算出する第１の色差信号算出ステップと、
   前記入力画像信号を水平方向に補間して色差信号を算出する第２の色差信号算出ステップと、
   前記第１の色差信号算出ステップにより算出された色差信号に対してフィルタ処理を行う第１のフィルタ処理ステップと、
   前記第２の色差信号算出ステップにより算出された色差信号に対してフィルタ処理を行う第２のフィルタ処理ステップと、
   前記入力画像信号の着目画素における斜め方向のエッジの強度を示す、所定の色収差又は光学的な折り返しの影響を受ける度合いを示す第１の度合いを算出する第１の度合い算出ステップとを有し、
   前記第１のフィルタ処理ステップと前記第２のフィルタ処理ステップでは、前記第１の度合い算出ステップによって算出された第１の度合いが予め設定した第１の閾値より小さい場合には、前記第１の度合いに応じたフィルタ処理を行うことを特徴とする画像処理方法。
10. 入力画像信号に対して色差信号を用いないで色信号を補間する第１の補間ステップと、
    前記入力画像信号に対して色差信号を用いて色信号を補間する第２の補間ステップと、
    前記入力画像信号の着目画素における斜め方向のエッジの強度を示す、所定の色収差又は光学的な折り返しの影響を受ける度合いを示す第１の度合いを算出する第１の度合い算出ステップと、
    前記第１の度合い算出ステップの算出結果に基づいて、前記第１の補間ステップにおいて補間された色信号と前記第２の補間ステップにおいて補間された色信号とを合成する合成ステップとを有し、
    前記合成ステップでは、前記第１の度合い算出ステップによって算出された第１の度合いが高いほど、前記第１の補間ステップの補間結果の割合が高くなるように合成処理を行うことを特徴とする画像処理方法。
11. コンピュータを、請求項１〜７の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images