JP6862272B2

JP6862272B2 - 信号処理装置、信号処理方法およびプログラム

Info

Publication number: JP6862272B2
Application number: JP2017096603A
Authority: JP
Inventors: 洋荻野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-05-15
Filing date: 2017-05-15
Publication date: 2021-04-21
Anticipated expiration: 2037-05-15
Also published as: JP2018195918A

Description

本発明は、信号処理装置、信号処理方法およびプログラムに関する。

特許文献１では、信号処理装置は、輝度信号の主成分となるＧ信号の補間を行う際に、縦方向、または横方向の相関を判別し、縦方向の相関がある場合には縦方向にＬＰＦ処理を行い、横方向の相関がある場合には横方向にＬＰＦ処理を行う。また、その信号処理装置は、縦方向にも横方向にも相関がない場合には２次元のＬＰＦ処理を行うことで、縦方向、横方向のエッジがぼけないようにする。しかしながら、特許文献１では、縦または横方向の相関がない場合には２次元のＬＰＦ処理を行うため、例えば斜め方向のエッジは、縦方向、横方向のエッジに比べてぼやけてしまう。

そこで、非特許文献１では、ＲまたはＢ画素の位置のＧ信号の算出方法として、着目画素を含む上、下、左、右方向に、Ｇ画素との着目画素と同色の画素との色差信号をそれぞれ算出する。そして、非特許文献１では、各方向の色差信号を合成した色差信号を着目画素に加算することにより、Ｇ信号を算出する。このとき、非特許文献１では、各方向の色差信号を、該当する方向の色差信号の傾きに応じて合成することにより、方向に因らず解像感の高い画像を生成する。

特許第３８６２５０６号公報

"Gradient based threshold free color filter array interpolation"，I. Pekkucuksen，Y. Altunbasak，ＩＣＩＰ２０１０

しかしながら、非特許文献１では、水平方向および垂直方向のナイキスト周波数の近傍の帯域では、各方向の色差信号の傾きが小さい値となるため、水平方向か、垂直方向の何れの方向かを精度よく判定できず、偽解像が生じる場合がある。

本発明の目的は、偽解像を低減し、かつ、解像感の高い画像信号を生成することができる信号処理装置、信号処理方法およびプログラムを提供することである。

本発明の信号処理装置は、画像信号の第２の色信号に対応する着目画素に対して、前記着目画素の周囲の画素における第１の色信号を用いて、前記第１の色信号を補間する第１の補間手段と、前記画像信号の前記第２の色信号に対応する着目画素に対して、前記着目画素における前記第２の色信号と色差信号を加算することによって、前記第１の色信号を補間する第２の補間手段と、前記画像信号の複数の方向の色差信号のそれぞれの傾きを基に、前記第１の補間手段により補間された色信号と前記第２の補間手段により補間された色信号を合成する第１の合成手段とを有し、前記第１の合成手段は、前記複数の方向の色差信号の傾きのうちの最大値が大きいほど、前記第２の補間手段により補間された色信号の合成係数を大きくする。

偽解像を低減し、かつ、解像感の高い画像信号を生成することができる。

原色ベイヤ配列の１単位を示す図である。信号処理装置の構成例を示すブロック図である。Ｇ補間回路の構成例を示すブロック図である。第１のＧ補間回路の構成例を示すブロック図である。第１のＧ補間回路の処理の流れの一例を示すフローチャートである。第２のＧ補間回路の構成例を示すブロック図である。第２のＧ補間回路の処理の流れの一例を示すフローチャートである。合成係数算出回路の構成例を示すブロック図である。係数算出回路の入出力特性の一例を示す図である。

図１は、本発明の実施形態による撮像素子のベイヤ配列の１単位を示す図である。撮像素子は、図１のベイヤ配列の色フィルタを有し、光電変換により、Ｒ（赤）信号、Ｇ１（緑）信号、Ｇ２（緑）信号およびＢ（青）信号を出力する。撮像素子は、行列状に配置された複数の画素を有し、各画素には、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３色のうちの一つの色フィルタが設けられる。撮像素子は、例えば、ＣＭＯＳイメージセンサであり、撮像装置に用いられる。撮像装置は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。

ベイヤ配列を有する撮像素子は、各画素において、Ｒ、Ｇ、Ｂのうちの一つの色信号しか得られないため、各画素において、Ｒ、Ｇ、Ｂのすべての色信号を求める場合には、図２の信号処理装置２００で補間処理を行う必要がある。例えば、信号処理装置２００は、補間対象の色信号以外の色信号レベルをすべて０とし、各画素に２次元のローパスフィルタ（ＬＰＦ）の処理を行うことにより、補間値を得ることができる。しかしながら、単純に２次元のＬＰＦ処理を行うだけでは、補間された後の画像の周波数特性は高周波成分が失われたものとなり、画像がぼやけてしまう。以下、画像のぼやけを低減することができる信号処理装置２００を説明する。

図２は、本発明の実施形態による信号処理装置２００の構成例を示すブロック図である。以下、信号処理装置２００の信号処理方法を説明する。信号処理装置２００は、ＷＢ回路（ホワイトバランス回路）２０１と、Ｇ補間回路２０２と、Ｒ補間回路２０３と、Ｂ補間回路２０４と、ＡＰＣ回路２０５と、輝度信号生成回路２０６と、加算器２０７とを有する。撮像素子は、Ｒ信号、Ｇ１信号、Ｇ２信号およびＢ信号をアナログからデジタルに変換した画像信号を信号処理装置２００に出力する。ＷＢ回路２０１は、撮像素子からデジタルの画像信号を入力し、画像信号のホワイトバランスを補正し、その補正した画像信号を出力する。画像信号は、Ｒ信号、Ｇ１信号、Ｇ２信号およびＢ信号を含む。Ｒ画素は、Ｒ信号の画素である。Ｂ画素は、Ｂ信号の画素である。Ｇ画素は、Ｇ１信号またはＧ２信号の画素である。

Ｇ補間回路２０２は、ＷＢ回路２０１から出力された画像信号を入力し、撮像素子の各画素位置において、Ｒ画素とＢ画素の位置のＧ信号を補間により算出する。Ｇ補間回路２０２の処理の詳細は後述する。Ｒ補間回路２０３は、ＷＢ回路２０１の出力信号を入力し、撮像素子のＧ画素とＢ画素の位置のＲ信号を補間により算出する。また、Ｂ補間回路２０４は、ＷＢ回路２０１の出力信号を入力し、撮像素子のＲ画素とＧ画素の位置のＢ信号を補間により算出する。例えば、Ｒ補間回路２０３およびＢ補間回路２０４は、２次元のＬＰＦ処理により補間を行う。

ＡＰＣ回路２０５は、Ｇ補間回路２０２から出力されるＧ信号のアパーチャ補正信号を生成する。加算器２０７は、ＡＰＣ回路２０４から出力されるアパーチャ補正信号と、Ｇ補間回路２０２から出力されるＧ信号とを加算し、加算結果を出力する。輝度信号生成回路２０６は、加算器２０７、Ｒ補間回路２０３、およびＢ補間回路２０４からそれぞれ出力されるＧ信号、Ｒ信号、Ｂ信号を基に、式（１）により、輝度信号Ｙを生成する。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ・・・（１）

図３は、Ｇ補間回路２０２の構成例を示すブロック図である。Ｇ補間回路２０２は、第１のＧ補間回路３０１と、第２のＧ補間回路３０２と、合成係数算出回路３０３と、合成回路３０４とを有する。第１のＧ補間回路３０１は、画像信号のＲ画素またはＢ画素である着目画素におけるＧ信号を、着目画素の周囲の画素のＧ信号を用いて補間し、第１のＧ信号を出力する。第２のＧ補間回路３０２は、画像信号のＲ画素またはＢ画素である着目画素におけるＧ信号を、着目画素のＲまたはＢ信号と色差信号を用いて補間し、第２のＧ信号を出力する。合成回路３０４は、画像信号の垂直方向および水平方向の色差信号のそれぞれの傾きを基に、第１のＧ補間回路３０１により補間された第１のＧ信号と第２のＧ補間回路３０２により補間された第２のＧ信号を合成する。その詳細は、後述する。

図４は、第１のＧ補間回路３０１の構成例を示すブロック図である。第１のＧ補間回路３０１は、０挿入回路４０１と、ＨＶ補間回路４０２と、Ｈ補間回路４０３と、Ｖ補間回路４０４と、減算器４０５，４０６と、セレクタ４０７と、縦横判別回路４０８と、絶対値化回路４０９と、乗算器４１０と、加算器４１１とを有する。

図５は、第１のＧ補間回路３０１の処理の流れを示すフローチャートである。ステップＳ５００では、０挿入回路４０１は、入力された画像信号のうちのＲ画素とＢ画素の信号レベルを０にする。次に、ステップＳ５０１では、ＨＶ補間回路４０２は、０挿入回路４０１が出力する画像信号に対して、水平方向および垂直方向に補間処理を行うことにより、Ｇ信号を算出する。このとき、ＨＶ補間回路４０２は、水平方向および垂直方向の補間処理には、例えば（１，２，１）／２の係数のフィルタを用いる。ＨＶ補間回路４０２は、上記のフィルタを用いて補間処理を行うことにより、水平方向および垂直方向のナイキスト周波数の偽解像を抑制したＧ信号を生成することができる。

次に、ステップＳ５０２では、縦横判別回路４０８は、補間対象の画素信号が垂直方向に相関が大きいかあるいは水平方向の相関が大きいか、つまり、画像が縦縞模様であるかあるいは横縞模様であるかを判別する。具体的には、縦横判別回路４０８は、着目画素を中心とした水平方向の画素の信号レベルの差と、着目画素を中心とした垂直方向の画素の信号レベルの差との差分から縦縞か横縞かを判別する縦横判別信号を生成する。例えば、着目画素のＹ座標およびＸ座標を（ｉ，ｊ）としたとき、縦横判別回路４０８は、着目画素がＲ画素の場合の縦横判別信号ｄｉｆｆＨＶ_i,jを式（２）により算出する。
ｄｉｆｆＨＶ_i,j＝ｄｉｆｆＨ_i,j−ｄｉｆｆＶ_i,j
ｄｉｆｆＨ_i,j＝｜Ｇ_i,j-1−Ｇ_i,j+1｜＋｜２×Ｒ_i,j−Ｒ_i,j-2−Ｒ_i,j+2｜
ｄｉｆｆＶ_i,j＝｜Ｇ_i-1,j−Ｇ_i+1,j｜＋｜２×Ｒ_i,j−Ｒ_i-2,j−Ｒ_i+2,j｜
・・・（２）

ここで、縦横判別信号ｄｉｆｆＨＶは、水平方向の画素のレベル差ｄｉｆｆＨから垂直方向の画素のレベル差ｄｉｆｆＶを引いたものである。つまり、縦横判別信号ｄｉｆｆＨＶが負の場合は画像が横縞模様であり、縦横判別信号ｄｉｆｆＨＶが正の場合は画像が縦縞模様であることを表す。また、縦横判別回路４０８は、上記の縦横判別信号ｄｉｆｆＨＶをある閾値でクリップし、さらに正規化することで、縦横判別信号ｄｉｆｆＨＶの値の範囲を−１．０から１．０までの範囲にする。なお、縦横判別信号ｄｉｆｆＨＶを算出する式は、上記の式（１）に限定されるものではなく、例えば、隣接する画素の差分信号から算出してもよい。

縦横判別回路４０８は、上記の様に隣接する画素の差分信号を基に縦横判別信号ｄｉｆｆＨＶを生成することにより、水平方向および垂直方向のナイキスト周波数まで縦縞模様および横縞模様を判別することができる。ただし、有彩色被写体のように、Ｒ、Ｇ、Ｂ画素にレベル差がある場合には、色によるレベル差を縦縞または横縞と誤判別してしまうため、白黒被写体に限定する必要がある。

縦横判別回路４０８は、縦横判別信号ｄｉｆｆＨＶが負の場合、つまり画像が横縞模様である場合にはステップＳ５０３に処理を進め、縦横判別信号ｄｉｆｆＨＶが正の場合、つまり画像が縦縞模様である場合にはステップＳ５０４に処理を進める。

ステップＳ５０３では、まず、Ｈ補間回路４０３は、０挿入回路４０１が出力する画像信号に対して、水平方向に補間処理を行う。このとき、Ｈ補間回路４０３は、水平方向の補間処理には、例えば（１，４，６，４，１）／８の係数のフィルタを用いる。次に、減算器４０５は、Ｈ補間回路４０３の出力信号から、ＨＶ補間回路４０２の出力信号を減算する。セレクタ４０７は、減算器４０５の出力信号を選択する。その後、第１のＧ補間回路３０１は、ステップＳ５０５に処理を進める。

ステップＳ５０４では、まず、Ｖ補間回路４０４は、０挿入回路４０１が出力する画像信号に対して、垂直方向に補間処理を行う。このとき、Ｖ補間回路４０４は、垂直方向の補間処理には、例えば（１，４，６，４，１）／８の係数のフィルタを用いる。次に、減算器４０６は、Ｖ補間回路４０４の出力信号から、ＨＶ補間回路４０２の出力信号を減算する。セレクタ４０７は、減算器４０６の出力信号を選択する。その後、第１のＧ補間回路３０１は、ステップＳ５０５に処理を進める。

ステップＳ５０５では、まず、絶対値化回路４０９は、縦横判別回路４０８から出力された縦横判別信号ｄｉｆｆＨＶを絶対値化した信号を出力する。次に、乗算器４１０は、セレクタ４０７が選択した信号と絶対値回路４０９が出力した信号とを乗算する。

次に、ステップＳ５０６では、加算器４１１は、ＨＶ補間回路４０２の出力信号と乗算器４１０の出力信号とを加算し、第１のＧ信号を出力する。

上記の結果、縦横判別回路４０８が、水平方向または垂直方向のナイキスト周波数付近の周波数帯域において、縦縞または横縞を判別しにくい場合、つまり、縦横判別信号ｄｉｆｆＨＶが小さい場合には、乗算器４１０の出力値が小さくなる。その結果、加算器４１１の出力信号におけるＨＶ補間回路４０２の出力信号の割合が高くなることで、第１のＧ補間回路３０１は、水平方向および垂直方向のナイキスト周波数の偽解像が抑制されたＧ信号を出力することができる。

また、縦横判別回路４０８は、隣接する画素の差分信号を基に縦横判別信号ｄｉｆｆＨＶを生成する。これにより、第１のＧ補間回路３０１は、水平方向および垂直方向のナイキスト周波数まで縦縞横縞の判別が可能な場合には、ナイキスト周波数付近の周波数帯域についても縦縞または横縞の方向に応じて補間処理を行うことができる。

図６は、第２のＧ補間回路３０２の構成例を示すブロックである。第２のＧ補間回路３０２は、Ｇ画素Ｖ補間回路６０１と、Ｇ画素Ｈ補間回路６０２と、Ｒ，Ｂ画素Ｖ補間回路６０３と、Ｒ，Ｂ画素Ｈ補間回路６０４と、Ｖ色差算出回路６０５と、Ｈ色差算出回路６０６とを有する。さらに、第２のＧ補間回路３０２は、Ｖ色差傾き算出回路６０７と、Ｈ色差傾き算出回路６０８と、Ｎフィルタ回路６０９と、Ｓフィルタ回路６１０と、Ｗフィルタ回路６１１と、Ｅフィルタ回路６１２とを有する。さらに、第２のＧ補間回路３０２は、Ｎ重み算出回路６１３と、Ｓ重み算出回路６１４と、Ｗ重み算出回路６１５と、Ｅ重み算出回路６１６と、合成回路６１７と、加算器６１８とを有する。

図７は、第２のＧ補間回路３０２の処理の流れを示すフローチャートである。ステップＳ７０１では、Ｇ画素Ｖ補間回路６０１は、入力画像信号に対して、垂直方向に補間処理を行うことにより、Ｇ信号を生成する。具体的には、Ｇ画素Ｖ補間回路６０１は、着目画素がＧ画素の場合には、Ｇ画素の信号をそのままＧ信号として出力し、着目画素がＲ画素またはＢ画素の場合には、垂直方向に補間処理を行うことにより、Ｇ信号を生成する。例えば、画像における着目画素のＸ座標およびＹ座標を（ｊ，ｉ）としたとき、Ｇ画素Ｖ補間回路６０１は、着目画素がＲ画素の場合、Ｇ信号Ｇｖ_i,jを式（３）により生成する。
Ｇｖ_i,j＝（Ｇ_i-1,j＋Ｇ_i+1,j）／２＋（２×Ｒ_i,j−Ｒ_i-2,j−Ｒ_i+2,j）／４
・・・（３）

なお、Ｇ画素Ｖ補間回路６０１は、着目画素がＢ画素の場合も、上記と同様の方法で、Ｇ信号を生成する。

次に、ステップＳ７０２では、Ｇ画素Ｈ補間回路６０２は、入力画像信号に対して、水平方向に補間処理を行うことにより、Ｇ信号を生成する。具体的には、Ｇ画素Ｈ補間回路６０２は、着目画素がＧ画素の場合には、Ｇ画素の信号をそのままＧ信号として出力し、着目画素がＲ画素またはＢ画素の場合には、水平方向に補間処理を行うことにより、Ｇ信号を生成する。例えば、Ｇ画素Ｈ補間回路６０２は、着目画素がＲ画素の場合、Ｇ信号Ｇｈ_i,jを式（４）により生成する。
Ｇｈ_i,j＝（Ｇ_i,j-1＋Ｇ_i,j+1）／２＋（２×Ｒ_i,j−Ｒ_i,j-2−Ｒ_i,j+2）／４
・・・（４）

なお、Ｇ画素Ｈ補間回路６０２は、着目画素がＢ画素の場合も、上記と同様の方法で、Ｇ信号を生成する。

次に、ステップＳ７０３では、Ｒ，Ｂ画素Ｖ補間回路６０３は、入力画像信号に対して、垂直方向に補間処理を行うことにより、Ｒ信号またはＢ信号を生成する。具体的には、Ｒ，Ｂ画素Ｖ補間回路６０３は、着目画素がＲ画素またはＢ画素の場合には、Ｒ画素またはＢ画素の信号をそのままＲ信号またはＢ信号として出力する。Ｒ，Ｂ画素Ｖ補間回路６０３は、着目画素がＧ画素の場合に、着目画素の垂直方向がＲ画素の場合には、垂直方向に補間処理を行うことでＲ信号を生成し、同様に、着目画素の垂直方向がＢ画素の場合には、垂直方向に補間処理を行うことでＢ信号を生成する。例えば、着目画素がＧ画素で、着目画素の垂直方向がＲ画素の場合、Ｒ，Ｂ画素Ｖ補間回路６０３は、Ｒ信号Ｒｖ_i,jを式（５）により生成する。
Ｒｖ_i,j＝（Ｒ_i-1,j＋Ｒ_i+1,j）／２＋（２×Ｇ_i,j−Ｇ_i-2,j−Ｇ_i+2,j）／４
・・・（５）

なお、Ｒ，Ｂ画素Ｖ補間回路６０３は、着目画素の垂直方向がＢ画素の場合、上記と同様の方法で、Ｂ信号を生成する。

次に、ステップＳ７０４では、Ｒ，Ｂ画素Ｈ補間回路６０４は、入力画像信号に対して、水平方向に補間処理を行うことにより、Ｒ信号またはＢ信号を生成する。具体的には、Ｒ，Ｂ画素Ｈ補間回路６０４は、着目画素がＲ画素またはＢ画素の場合には、Ｒ画素またはＢ画素の信号をそのままＲ信号またはＢ信号として出力する。Ｒ，Ｂ画素Ｈ補間回路６０４は、着目画素がＧ画素の場合に、着目画素の水平方向がＲ画素の場合には、水平方向に補間処理を行うことでＲ信号を生成し、同様に、着目画素の水平方向がＢ画素の場合には、水平方向に補間処理を行うことでＢ信号を生成する。例えば、着目画素がＧ画素で、着目画素の水平方向がＲ画素の場合、Ｒ，Ｂ画素Ｈ補間回路６０４は、Ｒ信号Ｒｈ_i,jを式（６）により生成する。
Ｒｈ_i,j＝（Ｒ_i,j-1＋Ｒ_i,j+1）／２＋（２×Ｇ_i,j−Ｇ_i,j-2−Ｇ_i,j+2）／４
・・・（６）

なお、Ｒ，Ｂ画素Ｈ補間回路６０４は、着目画素の垂直方向がＢ画素の場合、上記と同様の方法で、Ｂ信号を生成する。また、ステップＳ７０１〜Ｓ７０４の補間方法として、式（３）〜（６）の方法をとったが、これに限定されず、例えば同色画素を各方向に線形補間してもよい。

次に、ステップＳ７０５では、Ｖ色差算出回路６０５は、Ｇ画素Ｖ補間回路６０１が出力したＧ信号から、Ｒ，Ｂ画素Ｖ補間回路６０３が出力したＲ信号またはＢ信号を減算し、垂直方向の色差信号を生成する。例えば、着目画素（ｊ，ｉ）において、Ｇ画素Ｖ補間回路６０１が出力した信号がＧ信号Ｇｖ_i,jであり、Ｒ，Ｂ画素Ｖ補間回路６０３が出力した信号がＲ信号Ｒｖ_i,jである。その場合、Ｖ色差算出回路６０５は、垂直方向の色差信号Ｄｉｆｆ＿ｖを式（７）により生成する。
Ｄｉｆｆ＿ｖ_i,j＝Ｇｖ_i,j−Ｒｖ_i,j ・・・（７）

なお、Ｖ色差算出回路６０５は、Ｒ，Ｂ画素Ｖ補間回路６０３から出力される信号がＢ信号の場合も、上記と同様の方法で、色差信号を生成する。

次に、ステップＳ７０６では、Ｈ色差算出回路６０６は、Ｇ画素Ｈ補間回路６０２が出力したＧ信号から、Ｒ，Ｂ画素Ｈ補間回路６０４が出力したＲ信号またはＢ信号を減算し、水平方向の色差信号を生成する。例えば、着目画素（ｊ，ｉ）において、Ｇ画素Ｈ補間回路６０２が出力した信号がＧ信号Ｇｈ_i,jであり、Ｒ，Ｂ画素Ｈ補間回路６０４が出力した信号がＲ信号Ｒｖ_i,jである。その場合、Ｈ色差算出回路６０６は、水平方向の色差信号Ｄｉｆｆ＿ｈを式（８）により生成する。
Ｄｉｆｆ＿ｈ_i,j＝Ｇｈ_i,j−Ｒｈ_i,j ・・・（８）

なお、Ｈ色差算出回路６０６は、Ｒ，Ｂ画素Ｈ補間回路６０４から出力される信号がＢ信号の場合も、上記と同様の方法で、色差信号を生成する。

次に、ステップＳ７０７では、Ｖ色差傾き算出回路６０７は、Ｖ色差算出回路６０５から出力された色差信号を基に、垂直方向の色差の傾きを算出する。具体的には、着目画素（ｊ，ｉ）において、Ｖ色差傾き算出回路６０７は、Ｖ色差算出回路６０５から出力された色差信号Ｄｉｆｆ＿ｖを基に、垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを式（９）により算出する。
Ｇｒａｄ＿ｖ_i,j＝｜Ｄｉｆｆ＿ｖ_i-1,j−Ｄｉｆｆ＿ｖ_i+1,j｜・・・（９）

なお、傾き信号Ｇｒａｄ＿ｖを算出する式は、上記の式（９）に限定されない。Ｖ色差傾き算出回路６０７は、例えば、着目画素と上下の隣接画素のそれぞれの差分に基づいて、傾き信号Ｇｒａｄ＿ｖを算出しても良い。Ｖ色差傾き算出回路６０７は、算出した垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを、Ｎ重み算出回路６１３、Ｓ重み算出回路６１４および合成係数算出回路３０３にそれぞれ出力する。

次に、ステップＳ７０８では、Ｈ色差傾き算出回路６０８は、Ｈ色差算出回路６０６から出力された色差信号を基に、水平方向の色差の傾きを算出する。具体的には、着目画素（ｊ，ｉ）において、Ｈ色差傾き算出回路６０８は、Ｈ色差算出回路６０６から出力された色差信号Ｄｉｆｆ＿ｈを基に、水平方向の色差の傾き信号Ｇｒａｄ＿ｈを式（１０）により算出する。
Ｇｒａｄ＿ｈ_i,j＝｜Ｄｉｆｆ＿ｈ_i,j-1−Ｄｉｆｆ＿ｈ_i,j+1｜・・・（１０）

なお、傾き信号Ｇｒａｄ＿ｈを算出する式は、上記の式（１０）に限定されない。Ｈ色差傾き算出回路６０８は、例えば、着目画素と左右の隣接画素のそれぞれの差分に基づいて、傾き信号Ｇｒａｄ＿ｈを算出しても良い。Ｈ色差傾き算出回路６０８は、算出した水平方向の色差の傾き信号Ｇｒａｄ＿ｈを、Ｗ重み算出回路６１５、Ｅ重み算出回路６１６および合成係数算出回路３０３にそれぞれ出力する。

次に、ステップＳ７０９では、Ｎフィルタ回路６０９は、Ｖ色差算出回路６０５から出力された色差信号に対して、上方向のフィルタ処理を行う。具体的には、Ｎフィルタ回路６０９は、Ｖ色差算出回路６０５から出力された色差信号Ｄｉｆｆ＿ｖを用いて、着目画素（ｊ，ｉ）における上方向のフィルタ処理の結果Ｄｉｆｆ＿ｎを式（１１）により算出する。

ステップＳ７１０では、Ｓフィルタ回路６１０は、Ｖ色差算出回路６０５から出力された色差信号に対して、下方向のフィルタ処理を行う。具体的には、Ｓフィルタ回路６１０は、Ｖ色差算出回路６０５から出力された色差信号Ｄｉｆｆ＿ｖを用いて、着目画素（ｊ，ｉ）における下方向のフィルタ処理の結果Ｄｉｆｆ＿ｓを式（１２）により算出する。

ステップＳ７１１では、Ｗフィルタ回路６１１は、Ｈ色差算出回路６０６から出力された色差信号に対して、左方向のフィルタ処理を行う。具体的には、Ｗフィルタ回路６１１は、Ｈ色差算出回路６０６から出力された色差信号Ｄｉｆｆ＿ｈを用いて、着目画素（ｊ，ｉ）における左方向のフィルタ処理の結果Ｄｉｆｆ＿ｗを式（１３）により算出する。

ステップＳ７１２では、Ｅフィルタ回路６１２は、Ｈ色差算出回路６０６から出力された色差信号に対して、右方向のフィルタ処理を行う。具体的には、Ｅフィルタ回路６１２は、Ｈ色差算出回路６０６から出力された色差信号Ｄｉｆｆ＿ｈを用いて、着目画素（ｊ，ｉ）における右方向のフィルタ処理の結果ＤＩＦＦ＿ｅを式（１４）により算出する。

ステップＳ７１３では、Ｎ重み算出回路６１３は、Ｖ色差傾き算出回路６０７から出力された垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを用いて、上方向の重みＷｎを式（１５）により算出する。

ステップＳ７１４では、Ｓ重み算出回路６１４は、Ｖ色差傾き算出回路６０７から出力された垂直方向の色差の傾き信号Ｇｒａｄ＿ｖを用いて、下方向の重みＷｓを式（１６）により算出する。

ステップＳ７１５では、Ｗ重み算出回路６１５は、Ｈ色差傾き算出回路６０８から出力された水平方向の色差の傾き信号Ｇｒａｄ＿ｈを用いて、左方向の重みＷｗを式（１７）により算出する。

ステップＳ７１６では、Ｅ重み算出回路６１６は、Ｈ色差傾き算出回路６０８から出力された水平方向の色差の傾き信号Ｇｒａｄ＿ｈを用いて、右方向の重みＷｅを式（１８）により算出する。

ステップＳ７１７では、合成回路６１７は、重みＷｎ、Ｗｓ、ＷｗおよびＷｅを基に、色差信号Ｄｉｆｆ＿ｎ、Ｄｉｆｆ＿ｓ、Ｄｉｆｆ＿ｗおよびＤｉｆｆ＿ｅを合成し、色差信号Ｄｉｆｆ＿ｍｉｘを式（１９）により算出する。

ステップＳ７１８では、加算器６１８は、ＷＢ回路２０１が出力した画像信号に対して、着目画素がＲ画素またはＢ画素の場合には、着目画素に対応する合成回路６１７で合成された色差信号Ｄｉｆｆ＿ｍｉｘを加算し、第２のＧ信号を出力する。加算回路６１８の出力信号は、第２のＧ補間回路３０２の出力信号である。上記の結果、第２のＧ補間回路３０２は、Ｒ画素またはＢ画素の画素位置に対して、方向に因らず解像感の高いＧ信号を算出することができる。

図８は、図３の合成係数算出回路３０３の構成例を示すブロック図である。合成係数算出回路３０３は、最大値選択回路８０１と、係数算出回路８０２とを有する。最大値選択回路８０１は、第２のＧ補間回路３０２から垂直方向の色差の傾き信号Ｇｒａｄ＿ｖと水平方向の色差の傾き信号Ｇｒａｄ＿ｈを入力し、各画素毎に傾き信号Ｇｒａｄ＿ｖとＧｒａｄ＿ｈのうちの何れか大きい方を選択し、最大値ｍａｘとして出力する。

係数算出回路８０２は、最大値選択回路８０１から最大値ｍａｘを入力し、第１のＧ補間回路３０１から出力される第１のＧ信号と、第２のＧ補間回路３０２から出力される第２のＧ信号を合成する際の合成係数αを算出する。具体的には、まず、係数算出回路８０２は、最大値ｍａｘを所定の閾値と比較し、最大値ｍａｘが所定の閾値より小さいか否かを判定する。そして、係数算出回路８０２は、最大値ｍａｘが所定の閾値より小さい場合には、第１のＧ補間回路３０１から出力されるＧ信号を出力するように合成係数αを算出する。最大値ｍａｘが所定の閾値より小さい場合は、水平および垂直方向の色差の傾きＧｒａｄ＿ｖおよびＧｒａｄ＿ｈが何れも小さく、色差の傾きに基づいて方向を判断できない領域を意味する。

図９は、係数算出回路８０２の入出力特性の一例を示す図であり、最大値ｍａｘから合成係数αへの変換テーブルの一例を示す。係数算出回路８０２は、最大値選択回路８０１から出力される最大値ｍａｘを基に、第１のＧ補間回路３０１と第２のＧ補間回路３０２から出力されるＧ信号を合成する合成係数αを算出する。図９において、横軸は最大値ｍａｘを示し、縦軸は合成係数αを示す。係数算出回路８０２は、最大値ｍａｘが所定の閾値Ｔｈ１より小さく、色差の傾きに基づいて方向を判断できないと判定する場合には、合成係数αを１．０にする。また、係数算出回路８０２は、最大値ｍａｘが所定の閾値Ｔｈ２より大きく、色差の傾きに基づいて方向を判断できると判定する場合には、合成係数αを０．０にする。また、係数算出回路８０２は、最大値ｍａｘが閾値Ｔｈ１と閾値Ｔｈ２との間の場合には、最大値ｍａｘに応じて線形的に０．０から１．０の間をとる合成係数αを出力する。係数算出回路８０２から出力される合成係数αは、合成係数算出回路３０３の出力として、合成回路３０４へ出力される。

次に、図３の合成回路３０４について説明する。合成回路３０４は、合成係数算出回路３０３からの合成係数αに基づいて、第１のＧ補間回路３０１からの第１のＧ信号と第２のＧ補間回路３０２からの第２のＧ信号を合成し、最終的なＧ信号を出力する。合成回路３０４から出力されるＧ信号は、Ｇ補間回路２０２の出力信号である。合成回路３０４は、画像における着目画素のＸ座標およびＹ座標を（ｊ，ｉ）としたとき、最終的なＧ信号Ｇ＿ｓｉｇ_i,jを出力する。具体的には、合成回路３０４は、着目画素における第１のＧ信号Ｇ１_ｓｉｇ_i,j、第２のＧ信号Ｇ２＿ｓｉｇ_i,j、合成係数α_i,jを用いて、最終的なＧ信号Ｇ＿ｓｉｇ_i,jを式（２０）により算出する。
Ｇ＿ｓｉｇ_i,j＝α×Ｇ１_ｓｉｇ_i,j＋（１．０−α）×Ｇ２＿ｓｉｇ_i,j
・・・（２０）

合成回路３０４は、合成係数αが０．０である場合、つまり、色差の傾きに基づいて方向を判断できる場合には、方向に因らず解像感の高い画像を生成できる第２のＧ信号Ｇ２＿ｓｉｇを最終的なＧ信号Ｇ＿ｓｉｇとして出力する。また、合成回路３０４は、合成係数αが１．０である場合、つまり、色差の傾きに基づいて方向を判断できない場合には、水平方向または垂直方向のナイキスト周波数の偽解像が抑制された第１のＧ信号Ｇ１＿ｓｉｇを最終的なＧ信号Ｇ＿ｓｉｇとして出力する。第１のＧ信号Ｇ１＿ｓｉｇは、例えば水平方向または垂直方向のナイキスト周波数のような周波数帯域で、水平方向または垂直方向のナイキスト周波数の偽解像が抑制された信号である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

３０１第１のＧ補間回路、３０２第２のＧ補間回路、３０４合成回路

Claims

画像信号の第２の色信号に対応する着目画素に対して、前記着目画素の周囲の画素における第１の色信号を用いて、前記第１の色信号を補間する第１の補間手段と、
前記画像信号の前記第２の色信号に対応する着目画素に対して、前記着目画素における前記第２の色信号と色差信号を加算することによって、前記第１の色信号を補間する第２の補間手段と、
前記画像信号の複数の方向の色差信号のそれぞれの傾きを基に、前記第１の補間手段により補間された色信号と前記第２の補間手段により補間された色信号を合成する第１の合成手段と
を有し、
前記第１の合成手段は、前記複数の方向の色差信号の傾きのうちの最大値が大きいほど、前記第２の補間手段により補間された色信号の合成係数を大きくすることを特徴とする信号処理装置。
前記第２の補間手段は、
前記画像信号に対して第１の方向にそれぞれの色信号を補間する第３の補間手段と、
前記画像信号に対して第２の方向にそれぞれの色信号を補間する第４の補間手段と、
前記第３の補間手段により補間された画像信号の前記第１の方向の色差信号を算出する第１の色差算出手段と、
前記第４の補間手段により補間された画像信号の前記第２の方向の色差信号を算出する第２の色差算出手段と、
前記第１の色差算出手段により算出された前記第１の方向の色差信号の傾きを算出する第１の傾き算出手段と、
前記第２の色差算出手段により算出された前記第２の方向の色差信号の傾きを算出する第２の傾き算出手段と、
前記第１の傾き算出手段により算出された前記第１の方向の色差信号の傾きと前記第２の傾き算出手段により算出された前記第２の方向の色差信号の傾きを基に、前記第１の色差算出手段により算出された前記第１の方向の色差信号に基づく信号と前記第２の色差算出手段により算出された前記第２の方向の色差信号に基づく信号を合成して、合成後の色差信号を生成する第２の合成手段とを有することを特徴とする請求項１に記載の信号処理装置。
前記第２の補間手段は、前記第２の合成手段により生成された合成後の色差信号のうち前記着目画素に対応する合成後の色差信号と、前記着目画素における前記第２の色信号を加算する第１の加算手段を有することを特徴とする請求項２に記載の信号処理装置。
前記第１の合成手段は、前記第１の傾き算出手段により算出された前記第１の方向の色差信号の傾きと前記第２の傾き算出手段により算出された前記第２の方向の色差信号の傾きを基に、前記第１の補間手段により補間された前記第１の色信号と前記第２の補間手段により補間された前記第１の色信号を合成することを特徴とする請求項３に記載の信号処理装置。
前記第２の補間手段は、
前記第１の色差算出手段により算出された前記第１の方向の色差信号に対して、前記第１の方向のフィルタ処理を行う第１のフィルタ手段と、
前記第２の色差算出手段により算出された前記第２の方向の色差信号に対して、前記第２の方向のフィルタ処理を行う第２のフィルタ手段とを有し、
前記第２の合成手段は、前記第１のフィルタ手段によりフィルタ処理された色差信号と前記第２のフィルタ手段によりフィルタ処理された色差信号を合成することを特徴とする請求項２乃至４のいずれか１項に記載の信号処理装置。
前記第１の合成手段は、前記第１の方向の色差信号の傾きと前記第２の方向の色差信号の傾きのうちの大きい方の傾きが第１の閾値より小さい場合には、前記第１の補間手段により補間された色信号を出力し、前記第１の方向の色差信号の傾きと前記第２の方向の色差信号の傾きのうちの大きい方の傾きが第２の閾値より大きい場合には、前記第２の補間手段により補間された色信号を出力することを特徴とする請求項２乃至５のいずれか１項に記載の信号処理装置。
前記第１の補間手段は、
前記画像信号に対して前記第１の方向および第２の方向に補間を行う第５の補間手段と、
前記画像信号に対して前記第１の方向に補間を行う第６の補間手段と、
前記画像信号に対して前記第２の方向に補間を行う第７の補間手段とを有することを特徴とする請求項２乃至６のいずれか１項に記載の信号処理装置。
前記第１の方向は垂直方向であり、前記第２の方向は水平方向であることを特徴とする請求項２乃至７のいずれか１項に記載の信号処理装置。
第１の補間手段により、画像信号の第２の色信号に対応する着目画素に対して、前記着目画素の周囲の画素における第１の色信号を用いて、前記第１の色信号を補間する第１の補間ステップと、
第２の補間手段により、前記画像信号の前記第２の色信号に対応する着目画素に対して、前記着目画素における前記第２の色信号と色差信号を加算することによって、前記第１の色信号を補間する第２の補間ステップと、
第１の合成手段により、前記画像信号の複数の方向の色差信号のそれぞれの傾きを基に、前記第１の補間ステップで補間された色信号と前記第２の補間ステップで補間された色信号を合成する第１の合成ステップと
を有し、
前記第１の合成ステップでは、前記複数の方向の色差信号の傾きのうちの最大値が大きいほど、前記第２の補間手段により補間された色信号の合成係数を大きくすることを特徴とする信号処理方法。
コンピュータを、請求項１乃至８のいずれか１項に記載の信号処理装置の各手段として機能させるためのプログラム。