JP4298445B2 - 画像処理装置 - Google Patents

Description

本発明は画像処理装置に関し、特には、サブサンプルされた画像信号の補間処理に関する。

民生用のデジタルスチルカメラおよびデジタルビデオカメラでは、原色ベイヤー配列の撮像素子を用いた単板撮像方式のカメラシステムが主流となっている。

原色ベイヤー配列の撮像素子では、図２４に示すように、ＲＧＢの色フィルタが１画素単位で規則的に配置されており、その画素に配置されている色フィルタ以外の色情報を得るためには、近傍の画素を用いた補間処理が必要となる。この補間処理は、一般に同時化補間処理と呼ばれている。

原色ベイヤー配列の撮像素子を用いた単板カメラシステムでＧ信号の同時化処理を行う場合、Ｇ信号は図２７のように、オフセットサンプリングされているため、画像全体を単一の特性の補間フィルタで一様に補間すると、画質が劣化するという問題がある。

これは、オフセットサンプリングを行うと、図２５に示す周波数平面上で、○で示される、水平方向および垂直方向のナイキスト周波数の位置を結んだひし形の内部が再現可能な周波数帯域となることに起因する。

即ち、図２６（ａ）のように、垂直方向のナイキスト周波数Ｖｎｑおよび水平方向のナイキスト周波数Ｈｎｑよりも低域の信号を通過させるような特性の補間フィルタで一様に補間すると、点Ｄｆｓを中心とする折り返し信号により、点Ｄｎｑの近傍の領域の画質が劣化する。

また、図２６（ｂ）のように、Ｄｎｑを結んでできる四辺形の内部を通過領域とする特性の補間フィルタで一様に補間すると、水平方向のナイキスト周波数Ｈｎｑおよび垂直方向のナイキスト周波数Ｖｎｑの近傍に含まれる高域信号が消滅し、ぼけた画像になってしまう。

そこで、画像全体を単一の特性の補間フィルタで一様に補間することにより生じる画質への悪影響を改善するために、画素ごとに近傍画素との相関を検出し、相関に応じて最適な補間方式を切り替える適応同時化補間処理が特許文献１、特許文献２で提案されている。

特許文献１では、入力される画像信号から、水平方向および垂直方向の高周波成分をそれぞれ検出し、水平方向の高周波成分を多く含む場合には、垂直方向に相関が強い縦縞の信号であると判定して縦縞の信号に好適な補間処理を行い、垂直方向の高周波成分を多く含む場合には、水平方向に相関が強い横縞の信号であると判定して横縞の信号に好適な補間処理を行い、これら二通りの条件に当てはまらない場合は、周辺画素の平均値で補間処理を行っている。

また、特許文献２では、垂直、水平、斜め方向の相関度を算出し、相関度が最大になる方向に補間処理を行っている。
米国特許５３８２９７６号 特開平１０−１５０６６８号公報

しかし、特許文献１では、水平、垂直以外の方向に相関を持つ画素については、相関に基づいた良好な補間処理を行うことができず、斜め方向に関して解像感が劣化するという問題点があった。

一方、特許文献２では、相関を検出する方向を増やすことにより、好適な補間処理が適用される領域をより細かく制御したが、相関方向の判定結果が切り替わる際に、補間結果が不連続に切り替わり、画質に違和感が生じるという問題点があった。

本発明は、このような問題を解決し、任意の方向に相関を有する画素に対して好適な補間処理を行い、相関方向の変化によって補間結果に不連続な切り替わりが生じるのを防止することを目的とする。

このような目的を達成するため、本発明においては、オフセットサンプリングされた画像信号を補間処理する画像処理装置であって、前記画像信号において補間すべき画素の相関が高い任意の方向に応じた係数を発生する相関検出手段と、前記相関検出手段により得られた係数に基づいて補間信号を生成する補間信号生成手段とを備え、前記相関検出手段は、垂直方向の相関の度合いと水平方向の相関の度合いとを検出し、前記垂直方向の相関の度合いを示す垂直相関データと前記水平方向の相関の度合いを示す水平相関データの大小を比較し、大きい方の値で小さい方の値を除した結果得られた商が所定の閾値よりも大きい場合に前記商に基づいて前記係数を生成し、前記商が前記閾値よりも小さい場合には水平方向あるいは垂直方向に応じた係数を生成する構成とした。

本発明によれば、相関が高い任意の方向を考慮した補間処理を行うことにより、特定の方向の高域成分の消失や、偽信号の発生を防ぎ、画質劣化が低減する。

また、補間結果の切り替わりが不連続にならない。

以下、本発明の実施形態について説明する。

（第一の実施の形態）
図１は本発明を適用したビデオカメラの構成を示す図である。

図１において、撮像素子１０１は図２４に示した原色ベイヤー配列の色フィルタが配置された撮像素子であり、各画素の色フィルタに応じたＲＧＢの各画像信号を出力する。撮像素子１０１〜出力された画像信号はＡ／Ｄ１０２はによりデジタル信号に変換され、ホワイトバランス回路１０３によりホワイトバランス調整処理されて補間処理回路１０４に出力される。補間処理回路１０４は本発明の特徴的な構成であり、後述の様にＲＧＢのカラー値からＧ信号の同時化補間処理結果を出力する。補間処理回路１０４から出力された画像信号はエンコーダ１０５により周知の符号化処理を施され、記録回路１０６により記録媒体１０７に記録される。

次に、補間処理回路１０４について説明する。

図２は、補間処理回路１０４の構成を示すブロック図である。

図２において、ＷＢ１０３から入力された画像信号は、補間部１０４ａと相関判定部１０４ｂにおいて処理された後、それぞれの出力信号が合成部１０４ｃに入力され、最終的なＧ信号の同時化補間処理結果が出力される。

ここで、入力画像信号は、画素ごとに、配置される色フィルタに対応してＲＧＢいずれかのカラー値を有し、ＷＢ１０３で予めホワイトバランスが補正された画像信号である。

以下、図２の各部の動作について順次説明する。

まず、補間部１０４ａについて説明する。

補間部１０４ａでは、色分離処理手部２０１において、入力された画像信号から補間対象となるＧ信号の画素を抽出した後、並列に接続された垂直方向補間部２０２、水平方向補間部２０３及び、二次元補間部２０４に対して出力する。そして、これら三つの補間部おいて補間処理を行い、それぞれ補間データを出力する。

ここで、色分離処理部２０１では、例えば、Ｇのフィルタが配置された画素はそのまま画素値を出力し、ＲまたはＢのフィルタが配置された画素は画素値を０で置き換えて出力する。

また、図２では、補間部１０４ａが色分離処理部２０１を内包する構成となっているが、補間部１０４ａに色分離処理部を含まない構成であっても構わない。この場合は、例えば、外部にＲＧＢのいずれの信号も分離できる色分離処理部を持ち、この色分離処理部によって生成された色分離後のＧ信号を補間部１０４ａに入力する。

次に、垂直方向補間部２０２、水平方向補間部２０３、及び二次元補間部２０４について説明する。

垂直方向補間部２０２では、図３に示すような、垂直方向のナイキスト周波数で周波数振幅応答が０になる遮断特性の１次元低域通過フィルタを用い、垂直方向に隣接する複数画素の画像信号による補間処理を行う。

垂直方向補間部２０３では、図４に示すような、水平方向のナイキスト周波数で周波数振幅応答が０になる遮断特性の１次元低域通過フィルタを用い、水平方向に隣接する複数画素の画像信号による補間処理を行う。

また、二次元補間部２０４は、図５に示すように、垂直方向周波数Ｖ、または、水平方向周波数Ｈがナイキスト周波数Ｖｎｑ、Ｈｎｑであるときに、周波数振幅応答が０になる遮断特性を持つ２次元低域通過フィルタを用い、水平及び垂直方向に隣接する複数画素の画像信号による補間処理を行う。

次に、相関判定部１０４ｂの処理について説明する。

相関判定部１０４ｂは、図２に示すように、垂直方向相関値検出部２０５、水平方向相関値検出部２０６、及び、相関係数算出部２０７から構成され、補間しようとする画素の相関の方向に応じた相関係数Ｋを生成する。

相関判定部１０４ｂでは、垂直方向相関値検出部２０５と水平方向相関値検出部２０６において、それぞれ垂直方向または水平方向における特定の周波数成分を含む信号を抽出し、垂直方向相関値Ｖｄｉｆｆと水平方向相関値Ｈｄｉｆｆを出力する。図６（ａ）、図６（ｂ）は、垂直方向相関値検出部２０５と水平方向相関値検出部２０６を示すブロック図である。

垂直方向相関値検出部２０６と水平方向相関値検出部２０７は、図７に示す、着目画素Ｐ０を中心とした垂直方向または水平方向の５画素および３画素に対して処理を行う。

垂直方向相関値検出部２０５は、着目画素Ｐ０を中心とした垂直方向の５画素［Ｐ−２ｖ，Ｐ−１ｖ，Ｐ０，Ｐ１ｖ，Ｐ２ｖ］に対し、［−１，０，２，０，−１］というフィルタ係数のバンドパスフィルタＶＢＰＦ６０１により処理した後、絶対値回路６０２により絶対値を取った信号と、着目画素Ｐ０を中心とした垂直方向の３画素［Ｐ−１ｖ，Ｐ０，Ｐ１ｖ］に対して、［１，０，−１］というフィルタ係数のバンドパスフィルタＶＢＰＦ６０３により処理した後、絶対値回路６０４により絶対値を取った信号を加算器６０５により加算して垂直方向相関値Ｖｄｉｆｆを出力する。

また、水平方向相関値検出部２０６は、着目画素Ｐ０を中心とした水平方向の５画素［Ｐ−２ｖ，Ｐ−１ｖ，Ｐ０，Ｐ１ｖ，Ｐ２ｖ］に対して、［−１，０，２，０，−１］というフィルタ係数のバンドパスフィルタＨＢＰＦ６０６により処理した後、絶対値回路６０７により絶対値を取った信号と、着目画素Ｐ０を中心とした垂直方向の３画素［Ｐ−１ｖ，Ｐ０，Ｐ１ｖ］に対して、［１，０，−１］というフィルタ係数のバンドパスフィルタＨＢＰＦ６０８により処理した後、絶対値回路６０９により絶対値を取った信号を加算器６１０により加算して、水平方向相関値Ｈｄｉｆｆを出力する。

図８は、垂直方向相関値検出部２０５または水平方向相関値検出部２０６によって抽出される信号を二次元周波数平面に示した図である。

図８では、縦軸Ｖは垂直方向の周波数成分、横軸Ｈは水平方向の周波数成分、原点は直流成分を示し、二次元周波数平面の第一象現のみ示してある。

図８において、８０１、８０２はそれぞれ、図６を用いて説明した垂直方向相関値検出部２０５及び水平方向相関値検出部２０６の周波数特性を示し、いずれも、画像のサンプリング周波数ｆｓに対して１／４となる周波数の信号が入力されたとき、出力であるＶｄｉｆｆまたはＨｄｉｆｆが最大となる。

ここで、Ｖｄｉｆｆの値が大きいということは、周波数領域において垂直方向の高周波成分を多く含むことを示し、画像として見たときには細かい横縞状のパターンが観測される。

また、Ｈｄｉｆｆの値が大きいということは、周波数領域において水平方向の高周波成分を多く含むことを示し、画像として見たときには細かい縦縞状のパターンが観測される。

また、前述のように、水平方向相関値検出部２０５及び垂直方向相関値検出部２０６では、それぞれ絶対値回路の出力を加算して、ＨｄｉｆｆおよびＶｄｉｆｆを生成しているので、ＨｄｉｆｆおよびＶｄｉｆｆの値は常に正の値をとる。

また、図８において、垂直方向および水平方向の周波数成分がともにｆｓ／４である点Ｄと原点を通る直線Ｂｌｉｎｅ上では、水平方向相関値Ｈｄｉｆｆと垂直方向相関値Ｖｄｉｆｆの値は等しい。直線Ｂｌｉｎｅよりも横軸Ｈ側の領域では、両方の相関値のうち、水平方向相関値Ｈｄｉｆｆの方が大きく、直線Ｂｌｉｎｅよりも縦軸Ｖ側の領域では垂直方向相関値Ｖｄｉｆｆの方が大きい。

相関係数算出部２０７は、垂直方向相関値Ｖｄｉｆｆと水平方向相関値Ｈｄｉｆｆの関係を利用し、補間すべき画素が垂直方向と水平方向の間のいずれの方向に相関が高いのかを検出し、検出された相関の方向に従う相関係数Ｋを生成する。

ここで、図１０を用いて、本形態において検出する「相関の方向」について説明する。

図１０において、横軸Ｈは水平方向の周波数成分を示し、縦軸Ｖは垂直方向の周波数成分を示す。この周波数平面上で、水平方向の周波数成分がＰｈ、垂直方向の周波数成分がＰｖである点Ｐの信号における相関の方向は、直流成分を示す原点ｏと点Ｐとを結ぶ直線の傾きａで示される。水平方向を基準として角度θ傾いた直線の場合、その傾きａは
ａ＝ｔａｎθ＝Ｐｖ／Ｐｈとなる。

従って、水平方向の周波数成分と垂直方向の周波数成分が抽出できれば、両者の比から相関の方向が求められる。

相関判定部１０４ｂでは、画像信号の時間領域から周波数領域への変換は行わず、水平方向相関値検出部２０５及び垂直方向相関値検出部２０６で行われる画素の値を用いた時間領域での演算結果から、画像に含まれる水平方向および垂直方向の周波数成分を推定している。

次に、相関係数算出部２０７の処理を図１１のフローチャートを用いて説明する。

図１１において、まず、Ｓ１１０１でＨｄｉｆｆとＶｄｉｆｆの値を比較し、両者が等しい場合には相関係数Ｋ＝０とし（Ｓ１１０２）、両者が異なる場合にはＳ１１０３に進む。

Ｓ１１０３ではＨｄｉｆｆとＶｄｉｆｆの大小を比較し、Ｈｄｉｆｆが大きい場合にはＳ１１０４、Ｖｄｉｆｆが大きい場合にはＳ１１０５に進む。

Ｓ１１０４では、Ｖｄｉｆｆ／Ｈｄｉｆｆをパラメータとして、式（１）で示す演算を行ってＫを算出する。
Ｋ＝１−Ｖｄｉｆｆ／Ｈｄｉｆｆ・・・（１）
Ｓ１１０５では、Ｈｄｉｆｆ／Ｖｄｉｆｆをパラメータとして、式（２）で示す演算を行ってＫを算出する。
Ｋ＝Ｈｄｉｆｆ／Ｖｄｉｆｆ−１・・・（２）
このような処理により、−１から１までの値を持ち、補間すべき画素の相関の方向に応じた相関係数Ｋを算出する。

図１２は、図９に示すＣＺＰチャートを入力画像としたときに得られた相関係数Ｋと、各画素が持つ周波数成分との対応を示す模式図である。

図１２において、縦軸Ｖは垂直方向の周波数成分、横軸Ｈは水平方向の周波数成分、原点は直流成分であることを示す。また、ＣＺＰチャートの対象性を考慮して、周波数平面の第一象現のみ示している。

図１２において、横軸Ｈ上では相関係数Ｋ＝１、縦軸Ｖ上では相関係数Ｋ＝−１となる。また、水平方向および垂直方向の周波数成分が共にサンプリング周波数ｆｓの１／４である点Ｄ１と原点を結んだ直線をＢｌｉｎｅ１とし、Ｂｌｉｎｅ１に直交する直線をＢｌｉｎｅ２とすると、直線Ｂｌｉｎｅ１、および直線Ｂｌｉｎｅ２上において、相関係数Ｋ＝０となる。また、直線Ｂｌｉｎｅ２、直線Ｂｌｉｎｅ１と横軸Ｈで囲まれた領域（ａ）では、相関の方向に応じて、相関係数Ｋの値が０から１まで矢印の方向に変化する。また、直線Ｂｌｉｎｅ２、直線Ｂｌｉｎｅ１と縦軸Ｖで囲まれた領域（ｂ）では、相関の方向に応じて、相関係数の値が０から−１まで、矢印の方向に変化する。

最後に、合成部１０４ｃの処理について説明する。

合成部１０４ｃは、相関判定部１０４ｂから出力される相関係数Ｋに基づいて、補間部１０４ａから出力される三つの補間値のうち２種類を選択し、相関係数Ｋを混合比としてそれら二つの補間値を加重平均して、最終的なＧ信号の同時化補間処理結果を出力する。

補間値合成の具体的な手順は以下の通りである。

まず、最上位ビットにより相関係数Ｋの符号Ｋｓを判別する。

相関係数Ｋが正の値である場合、即ちＫｓ＝０のとき、垂直方向補間部２０２の出力と二次元補間部２０４の出力を、相関係数Ｋの絶対値Ｋａにより式（３）に示すように加重平均し、加重平均結果としての加算器２１１の出力をスイッチ２１３により選択することで、最終的なＧ信号の同時化補間処理結果として出力する。
合成補間値＝垂直方向補間値＊Ｋａ＋二次元補間値＊（１−Ｋａ）・・・（３）
従って、相関係数ＫがＫ＝１のとき、即ち、垂直方向相関値Ｖｄｉｆｆが水平方向相関値Ｈｄｉｆｆよりも著しく大きいときには、垂直方向補間値のみが最終的なＧ信号の同時化補間処理結果として出力される。

一方、相関係数Ｋが負の値である場合、即ちＫｓ＝１のとき、水平方向補間処理部２０３の出力と二次元補間部２０４の出力を、相関係数の絶対値Ｋａにより式（４）に示すように加重平均し、加重平均結果としての加算器２１２の出力をスイッチ２１３により選択することで、最終的なＧ信号の同時化補間処理結果として出力する。
合成補間値＝水平方向補間値＊Ｋａ＋垂直方向補間値＊（１−Ｋａ）・・・（４）
従って、相関係数ＫがＫ＝−１のとき、即ち、水平方向相関値Ｈｄｉｆｆが垂直方向相関値Ｖｄｉｆｆよりも著しく大きいときには、水平方向補間値のみが最終的なＧ信号の同時化補間処理結果として出力される。

また、式（３）、（４）では、Ｋａが０に近いほど、合成補間値２０または合成補間値２１に占める二次元補間値の割合が大きくなる。ここで、Ｋａが０に近い値をとるということは、垂直方向相関値Ｖｄｉｆｆと水平方向相関値Ｈｄｉｆｆの値が等しくなり、斜め４５°方向の相関が高くなることを示しているので、二次元補間部２０４を斜め４５°方向に重み付けした補間特性に設定することで、斜め方向の解像感を向上させることができる。

このような斜め方向に相関が高い場合に適した補間処理とは、例えば図５で示すような周波数特性を持つ２次元低域通過フィルタによって実現される。このフィルタは、水平方向のナイキスト周波数Ｈｎｑおよび垂直方向のナイキスト周波数Ｖｎｑを結んでできる四辺形の内部の領域の信号をなるべく減衰させずに、この四辺形の外部の領域の信号を遮断する特徴をもつ。

従って、斜め方向の解像感を損なうことなく、オフセットサンプリングによって生じる斜め方向からの折り返しによる画質劣化を防ぎ、良好な画質を得ることができる。

また、本形態では、相関を示す方向が変化すると、水平方向の相関値と垂直方向の相関値の比が変化することを利用して、相関の方向を示す相関係数を求めている。

この相関係数を用いて前述のような補間値の合成処理を行うと、例えば、相関の方向が斜め方向から水平方向に変化する時には、斜め方向に相関の高い画素に適した補間処理によって生成された補間値をベースとし、相関方向の変化に応じて水平方向の補間値の割合が増加するように、重み付け加算の係数を変化させながら２種類の補間処理手段の結果を重み付加算することができる。

従って、斜め方向に適したな補間処理と水平方向補間値の出力結果がなだらかに切り替わり、画質に違和感が生じない。

これは、相関の方向が斜め方向から垂直方向に切り替わる場合も同様である。

この様に、本形態によれば、オフセットサンプリングされたＧ信号を補間する際、補間すべき画素の垂直方向、水平方向の相関値を検出し、これらの相関値からいずれの方向に相関が高いのかということを推定し、この相関の方向に応じた係数値を算出する。そして、この係数に基づいて垂直方向、あるいは水平方向の補間データと斜め方向の補間データとを重み付け加算しているので、相関の方向の変化に応じて連続的に斜め方向の補間データと垂直、水平方向の補間データの割合を変化させ、相関方向の変化によって補間結果に不連続な切り替わりが生じるのを防止することが可能となる。

（第二の実施の形態）
次に、第二の実施形態について説明する。

第二の実施形態における補間処理回路の概略構成は、図２に示す第一の実施形態の概略構成と同様である。第一の実施形態との差異は、相関判定ユニットにおける相関係数算出部２０７のみであるので、相関係数算出部２０７についてのみ説明し、その他の構成要素については説明を省略する。

以下、本実施形態の相関判定部１０４ｂにおいて、垂直方向相関値検出部２０５、及び水平方向相関値検出部２０６の出力信号であるＨｄｉｆｆ，Ｖｄｉｆｆから相関係数算出部２０７で相関係数Ｋを出力する処理について、図１３のフローチャートを参照しながら説明する。

図１３において、まず、Ｓ１３０１でＨｄｉｆｆとＶｄｉｆｆの値を比較し、両者が等しい場合には、相関係数Ｋ＝０とし（Ｓ１３０２）、両者が異なる場合には、Ｓ１３０３に進む。

Ｓ１３０３では、ＨｄｉｆｆとＶｄｉｆｆの大小を比較し、Ｈｄｉｆｆが大きい場合にはＳ１３０４に進み、Ｖｄｉｆｆが大きい場合にはＳ１３０７に進む。

Ｓ１３０４ではＶｄｉｆｆ／Ｈｄｉｆｆが所定の閾値Ｔｈ１よりも大きく、かつ１より小さいかどうかを判別する。そして、Ｔｈ１よりも大きく、かつ１より小さい場合には式（５）で示される演算を行ってＫを算出し（Ｓ１３０５）、それ以外の場合にはＫ＝１とする（Ｓ１３０６）。
Ｋ＝（１−Ｖｄｉｆｆ／Ｈｄｉｆｆ）／（１−Ｔｈ１）・・・（５）
また、Ｓ１３０７では、Ｈｄｉｆｆ／Ｖｄｉｆｆが閾値Ｔｈ１よりも大きく、かつ１より小さいか否かを判別する。そして、閾値Ｔｈ１よりも大きく、かつ１より小さい場合には式（６）で示される演算を行ってＫを算出し（Ｓ１３０８）、それ以外の場合にはＫ＝−１とする（Ｓ１３０９）。
Ｋ＝（Ｈｄｉｆｆ／Ｖｄｉｆｆ−１）／（１−Ｔｈ１）・・・（６）
以上により、−１から１までの値をもつ相関係数Ｋが出力される。

ここで、閾値Ｔｈ１は、Ｔｈ１＝ｔａｎθ（０°≦θ＜４５°）を用い、θによって決まる定数である。

図１４は、図８のＣＺＰチャートを入力画像としたとき、Ｔｈ１＝ｔａｎ１５°として求めた相関係数Ｋと、各画素が持つ周波数成分との対応を示す模式図である。図１４において、縦軸Ｖは垂直方向の周波数成分、横軸Ｈは水平方向の周波数成分、原点は直流成分であることを示す。

本実施形態では、相関係数算出部２０７において、閾値Ｔｈ１を設けることにより、Ｈｄｉｆｆ及びＶｄｉｆｆの割合によらず、相関係数Ｋが常に１または−１となる領域を確保することが可能となる。

即ち、図１４において、白色の領域では相関係数Ｋ＝１、黒色の領域では相関係数Ｋ＝−１が一律に設定される。

従って、水平方向の相関値または垂直方向の相関値が著しく高いときには、後段の合成部１０４ｃにおいて、水平方向の補間データ、または、垂直方向の補間データをそのまま出力することができ、垂直方向、および水平方向の解像感が向上する。

一方、図１４において、水平方向のナイキスト周波数Ｈｎｑと垂直方向のナイキスト周波数Ｖｎｑの位置を通り、横軸Ｈに対して４５°の傾きを持つ直線Ｌ４５上と、横軸Ｈに対して１３５°の傾きを持つＬ１３５上では、相関係数Ｋ＝０となる。

そして、第一の実施形態と同様、相関係数Ｋが０に近づけば近づくほど、最終的なＧ信号の同時化補間処理結果に占める二次元補間値の割合が大きくなる。そのため、斜め方向の解像感を向上させることができる。

また、図１４において、灰色の領域（ｃ）での相関係数Ｋの分布は、相関方向の変化に応じて、Ｋ＝０からＫ＝１まで、即ち、斜め線Ｌ４５、Ｌ１３５上から黒色の領域まで矢印で示す方向に沿って連続な値をもつ。同様に、灰色の領域（ｄ）での相関係数Ｋの分布は、相関方向の変化に応じて、Ｋ＝０からＫ＝−１まで、即ち、斜め線Ｌ４５、Ｌ１３５上から黒色の領域まで矢印で示す方向に沿って連続した値をもつ。

そのため、合成部１０４ｃにおいて、斜め方向の補間データと水平方向または垂直方向の補間データの出力結果がなだらかに切り替わり、画質に違和感が生じない。

さらに、本実施形態では、Ｔｈ１の値を大きくすると垂直方向および水平方向の解像感が優先し、Ｔｈ１の値を小さくすると斜め方向の解像感を優先するよう、合成部１０４ｃでの処理を制御することできる。そのため、垂直方向、水平方向、斜め方向の解像感のバランスを考慮して閾値Ｔｈ１の値を調整することにより、どの方向に相関があっても良好な補間処理を行うことが可能となる。

（第三の実施形態）
図１５は、本実施形態における補間処理回路１０４の構成を示すブロック図である。図１５において、図２と同様の構成については同一番号を付して説明する。

図１５において、入力された画像信号は、図２と同様に補間部１０４ａと相関判定部１０４ｂにおいて並列に処理された後、それぞれの出力信号が合成部１０４ｃに入力され、最終的なＧ信号の同時化補間処理結果が出力される。

まず、補間部１０４ａについて説明する。補間部１０４ａでは、色分離処理部２０１において、補間対象となるＧ信号の画素を抽出した後、並列に接続された四つの補間部２０２、２０３、２１４、２１５に出力される。色分離処理部２０１は第一の実施形態と同様であるので説明を省略する。

次に、各補間部の処理について説明する。

垂直方向補間部２０２と水平方向補間部２０３は第一の実施形態と同様であるので説明を省略する。

４５°方向補間部２１４では、図１６に示すように、垂直方向のナイキスト周波数Ｖｎｑ１と水平方向のナイキスト周波数Ｈｎｑ２を結んだ斜め４５°の方向にのみ遮断特性を持つ二次元低域通過フィルタによりフィルタ処理を行い、補間データを出力する。

また、１３５°方向補間部２１５は、図１７に示すように、垂直方向のナイキスト周波数Ｖｎｑ１と水平方向のナイキスト周波数Ｈｎｑ１を結んだ斜め１３５°の方向にのみ遮断特性を持つ二次元低域通過フィルタによりフィルタ処理を行い、補間データを出力する。

次に、相関判定部１０４ｂの処理について説明する。

相関判定部１０４ｂでは、垂直方向相関値検出部２０５、水平方向相関値検出部２０６、４５°方向相関値検出部２１６、及び１３５°方向相関値検出部２１７において、各方向における特定の周波数成分を推定するためのフィルタ処理を行い、水平方向相関値Ｈｄｉｆｆ、垂直方向相関値Ｖｄｉｆｆ、４５°方向相関値Ｄ１ｄｉｆｆ、１３５°方向相関値Ｄ２ｄｉｆｆを出力する。

ここで、垂直方向相関値検出部２０５及び水平方向相関値検出部２０６は第一の実施形態と同様であるので説明を省略し、４５°方向相関値検出部２１６と１３５°方向相関値検出部２１７で行われる処理について説明する。

図１８（ａ）、図１８（ｂ）はそれぞれ、４５°方向相関値検出部２１６と１３５°方向相関値検出部２１７の構成を示すブロック図である。

４５°方向相関値検出部２１６と１３５°方向相関値検出手部２１７では、垂直方向相関検出部２０５及び水平方向相関検出部２０６と異なり、図１９、図２０に示すような、Ｇ色の色フィルタが配置された画素のみを用いて処理を行う。

４５°方向相関検出部２１６では、図１９（ａ）に示すように、まず、着目画素の色フィルタ判別回路１８０１に画像信号が入力され、例えば、図１９において、Ｇ２２を着目画素としたとき、着目画素Ｇ２２の位置にＧ色のフィルタが配置されているかどうかを判別し、判別信号Ｇ＿ｆｇを出力する。ここで、図１９（ａ）のように着目画素にＧ色フィルタが配置されている場合はＧ＿ｆｇ＝１とし、図１９（ｃ）のようにＧ色のフィルタが配置されていない場合にはＧ＿ｆｇ＝０とする。

着目画素にＧ色フィルタが配置されている場合、即ち、Ｇ＿ｆｇ＝１の場合には着目画素Ｇ２２及び４５°方向に隣接する２画素Ｇ１３，Ｇ３１に対して［−１，２，−１］という係数を持つフィルタＤ１＿ＢＰＦ１８０５により斜め方向のフィルタ処理を行った後、絶対値回路１８０８を通した信号を出力する。

一方、着目画素にＧ色フィルタが配置されていない場合、すなわち、Ｇ＿ｆｇ＝０の場合には、図１９（ｃ）に示すように、着目画素を中心とした斜め方向の画素列Ｇ１３、Ｇ２２、Ｇ３１がＧ色の画素値を持たず、フィルタ処理を行うことができない。

そこで、図２０（ａ）に示すように、着目画素Ｇ２２の近傍でＧ色フィルタが配置された４画素、Ｇ１２、Ｇ２１、Ｇ２３、Ｇ３２を用いて４５°方向の相関値を検出する。具体的には、Ｇ１２、Ｇ２１に対して［１，−１］という係数を持つフィルタＤ１＿ＨＰＦ１８０３により斜め方向のフィルタ処理を行った後、絶対値回路１８０６を通した信号と、Ｇ２３、Ｇ３２に対して［１，−１］という係数を持つフィルタＤ１＿ＨＰＦ１８０４によりフィルタ処理を行った後、絶対値回路１８０７を通した信号を加算器１８０９にて加算した後、乗算器１８１０で平均値をとる処理を行う。

同様に、１３５°方向相関検出部２１７でも、まず、着目画素の色フィルタ判別回路１８１２に画像信号が入力され、同様に判別信号Ｇ＿ｆｇを出力する。ここで、図１９（ｂ）のように着目画素にＧ色フィルタが配置されている場合はＧ＿ｆｇ＝１とし、図１９（ｃ）のように、Ｇ色のフィルタが配置されていない場合にはＧ＿ｆｇ＝０とする。

着目画素にＧ色フィルタが配置されている場合には、着目画素Ｇ２２および１３５°方向に隣接する２画素Ｇ１１、Ｇ３３に対して［−１，２，−１］という係数を持つＤ２＿ＢＰＦ１８１９により斜め方向のフィルタ処理を行った後、絶対値回路１８１９を通した信号を出力する。

一方、着目画素にＧ色フィルタが配置されている場合には、図１９（ｃ）に示すように、着目画素を中心とした斜め方向の画素列Ｇ１１、Ｇ２２、Ｇ３３がＧ色の画素値を持たず、フィルタ処理を行うことができない。そこで、図２０（ｂ）に示すように着目画素Ｇ２２の近傍でＧ色フィルタが配置された４画素、Ｇ１２、Ｇ２１、Ｇ２３、Ｇ３２を用いて１３５°方向の相関値を検出する。

具体的には、Ｇ１２、Ｇ２３に対して［１，−１］という係数をもつフィルタＤ２＿ＨＰＦ１８１４により斜め方向のフィルタ処理を行った後、絶対値回路１８１７を通した信号と、Ｇ２１、Ｇ３２に対して［１，−１］という係数をもつフィルタＤ２＿ＨＰＦ１８１５により斜め方向のフィルタ処理を行った後、絶対値回路１８１８を通した信号とを加算器１８２０で加算し、乗算器１８２１により平均値をとる処理を行う。

また、４５°方向相関値検出部２１６及び１３５°方向相関値検出部２１７には、それぞれ絶対値を出力するので、Ｄ１ｄｉｆｆ及びＤ２ｄｉｆｆの値は常に正の値をとる。

図２１は、４５°方向相関値検出部２１６、１３５°方向相関値検出部２１７によって抽出される信号を二次元周波数平面に示した図である。

図２１において、縦軸Ｖは垂直方向の周波数成分、横軸Ｈは水平方向の周波数成分、原点は直流成分であることを示す。

図２１（ａ）は４５°方向相関値検出部２１６で行われる処理の周波数特性を示す。この処理では、垂直方向のナイキスト周波数Ｖｎｑ１と水平方向のナイキスト周波数Ｈｎｑ１を通る、１３５°方向の直線上の周波数成分をもつ信号が入力されたとき、出力信号Ｄ１ｄｉｆｆが最大となる。

一方、図２１（ｂ）は１３５°方向相関値検出部２１７で行われる処理の周波数特性を示す。この処理では、垂直方向のナイキスト周波数Ｖｎｑ１と水平方向のナイキスト周波数Ｈｎｑ２を通る、４５°方向の直線上の周波数成分をもつ信号が入力されたとき、出力信号Ｄ１ｄｉｆｆが最大となる。

ここで、Ｄ１ｄｉｆｆの値が大きいということは、周波数領域において、水平方向を基準として４５°方向の高周波成分を多く含むことを示し、画像として見たときに、左上がりの細かい斜め縞状のパターンが観測される。

また、Ｄ２ｄｉｆｆの値が大きいということは、水平方向を基準として１３５°方向の高周波成分を多く含むことを示し、画像として見たときには右上がりの細かい斜め縞状のパターンが観測される。

Ｄ１ｄｉｆｆとＤ２ｄｉｆｆの大小を比較すると、図２１において、薄い灰色で示される領域（ｃ）および（ｆ）は、Ｄ１ｄｉｆｆの値が支配的であり、濃い灰色で示される領域（ｄ）および（ｅ）は、Ｄ２ｄｉｆｆの値が支配的となる。したがって、Ｄ１ｄｉｆｆとＤ２ｄｉｆｆを用いた相関方向判定を行うと、右上がりの斜め方向と左上がりの斜め方向の二つに大別することができる。

次に、四方向の相関値検出手段の出力信号であるＨｄｉｆｆ，Ｖｄｉｆｆ、Ｄ１ｄｉｆｆ、Ｄ２ｄｉｆｆを用いた相関係数算出部２０７の処理を説明する。

ここでは、Ｈｄｉｆｆ，Ｖｄｉｆｆを用いて相関係数Ｋを出力するとともに、相関係数Ｋの値が１または−１以外のときに、Ｄ１ｄｉｆｆ、Ｄ２ｄｉｆｆを用いて、合成部１０４ｃでの補間値合成処理を制御するための制御信号ｆｉｌｔ＿ｆｇを生成する。以下、図２２のフローチャートを用いて、相関係数の生成処理および、制御信号ｆｉｌｔ＿ｆｇの生成処理を説明する。

図２２において、まず、Ｓ２２０１でＨｄｉｆｆとＶｄｉｆｆの値を比較し、両者が等しい場合にはＳ２２０２に進み、両者が異なる場合にはＳ２２０６に進む。

Ｓ２２０２では相関係数ＫをＫ＝０とし、Ｓ２２０３においてＤ１ｄｉｆｆとＤ２ｄｉｆｆの大小を比較する。そして、Ｄ１ｄｉｆｆが大きい場合にはｆｉｌｔ＿ｆｇを０に設定し（Ｓ２２０４）、Ｄ２ｄｉｆｆが大きい場合にはｆｉｌｔ＿ｆｇを１に設定する（Ｓ２２０５）。

Ｓ２２０６ではＨｄｉｆｆとＶｄｉｆｆの大小を比較し、Ｈｄｉｆｆが大きい場合にはＳ２２０７に進み、Ｖｄｉｆｆが大きい場合にはＳ２２１３に進む。

Ｓ２２０７では、Ｖｄｉｆｆ／Ｈｄｉｆｆが閾値Ｔｈ１よりも大きく、かつ１より小さいか否かを判定し、Ｖｄｉｆｆ／Ｈｄｉｆｆが閾値Ｔｈ１よりも大きく、かつ１より小さい場合にはＳ２２０８に進み、それ以外の場合にはＫ＝１として終了する（Ｓ２２１２）。

Ｓ２２０８では前述の式（５）の演算を行ってＫを算出し、更にＳ２２０９においてＤ１ｄｉｆｆとＤ２ｄｉｆｆの大小を比較する。そして、Ｄ１ｄｉｆｆが大きい場合にはｆｉｌｔ＿ｆｇを０に設定し（Ｓ２２１０）、Ｄ２ｄｉｆｆが大きい場合にはｆｉｌｔ＿ｆｇを１に設定する（Ｓ２２１１）。

また、Ｓ２２１３では、Ｈｄｉｆｆ／Ｖｄｉｆｆが閾値Ｔｈ１よりも大きく、かつ１より小さいか否かを判定し、Ｈｄｉｆｆ／Ｖｄｉｆｆが閾値Ｔｈ１よりも大きく、かつ１より小さい場合にはＳ２２１４に進み、それ以外の場合にはＫ＝−１として終了する（Ｓ２２１８）。

Ｓ２２１４では前述の式（６）の演算を行ってＫを算出し、更にＳ２２１５においてＤ１ｄｉｆｆとＤ２ｄｉｆｆの大小を比較する。そして、Ｄ１ｄｉｆｆが大きい場合にはｆｉｌｔ＿ｆｇを０に設定し（Ｓ２２１６）、Ｄ２ｄｉｆｆが大きい場合にはｆｉｌｔ＿ｆｇを１に設定する（Ｓ２２１７）。

この様に、−１から１までの値をもつ相関係数Ｋ及び、補間値合成ユニットの制御信号ｆｉｌｔ＿ｆｇを生成する。

次に、合成部１０４ｃの処理について説明する。

合成部１０４ｃでは、相関判定部１０４ｂから入力される相関係数Ｋと制御信号ｆｉｌｔ＿ｆｇに基づいて、最終的なＧ信号の同時化補間処理結果を出力する。

図２３は、ＣＺＰチャートを入力画像としたとき、相関値Ｋおよび制御信号ｆｉｌｔ＿ｆｇと、合成される補間値の組み合わせの対応関係を周波数平面上に示した模式図である。図２３では、縦軸Ｖは垂直方向の周波数成分、横軸Ｈは水平方向の周波数成分、原点は直流成分であることを示す。

図２３において、水平方向および垂直方向の周波数成分がともに画像のサンプリング周波数ｆｓの１／４である点Ｄ１とＤ４を結ぶ直線Ｌ１上および、水平方向と垂直方向のナイキスト周波数Ｖｎｑ１とＨｎｑ１を結ぶ直線Ｌ２上、及び、水平方向と垂直方向のナイキスト周波数Ｖｎｑ２とＨｎｑ２を結ぶ直線Ｌ３上においては、ｆｉｌｔ＿ｆｇが０となるため、スイッチ２１８により４５°方向補間部２１４からの補間値が選択され、更に、相関係数Ｋが０であるため、このスイッチ２１８からの補間値がそのまま出力される。

また、水平方向および垂直方向の周波数成分がともに画像のサンプリング周波数ｆｓの１／４である点Ｄ２とＤ３を結ぶ直線Ｌ４上および、水平方向と垂直方向のナイキスト周波数Ｖｎｑ１とＨｎｑ２を結ぶ直線Ｌ５上、及び、水平方向と垂直方向のナイキスト周波数Ｖｎｑ２とＨｎｑ１を結ぶ直線Ｌ６上においては、ｆｉｌｔ＿ｆｇが１となるため、スイッチ２１８により１３５°方向補間部２１５からの補間値が選択され、更に、相関係数Ｋが０であるため、このスイッチ２１８からの補間値がそのまま出力される。

また、領域（ａ）では相関係数Ｋ＝１となるため、水平方向補間部２０３の出力がそのままスイッチ２１３により選択されて出力される。また、領域（ｂ）では相関係数Ｋ＝−１となるため、垂直方向補間部２０２からの出力がそのままスイッチ２１３により選択されて出力される。

また、領域（ｅ）は、相関係数Ｋが０＜Ｋ＜１で、かつ、制御信号ｆｉｌｔ＿ｆｇが０である領域である。この場合、ｆｉｌｔ＿ｆｇが０であるため、スイッチ２１８により４５°方向補間部２１４からの補間データを選択し、相関係数の絶対値Ｋａを用いて以下の式（７）に示す演算を行った結果として、加算器２１２の出力をスイッチ２１３により選択し、合成補間値として出力する。
合成補間値＝４５°補間値＊（１−Ｋａ）＋垂直方向補間値＊Ｋａ・・・（７）
また、領域（ｃ）は、相関係数Ｋが０＜Ｋ＜１で、かつ、制御信号ｆｉｌｔ＿ｆｇが１である領域である。この場合、ｆｉｌｔ＿ｆｇが１であるため、スイッチ２１８により１３５°方向補間部２１４からの補間データを選択し、相関係数の絶対値Ｋａを用いて以下の式（８）に示す演算を行った結果として、加算器２１２の出力をスイッチ２１３により選択し、合成補間値として出力する。
合成補間値＝１３５°補間値＊（１−Ｋａ）＋水平方向補間値＊Ｋａ・・・（８）
また、領域（ｆ）は、相関係数Ｋが−１＜Ｋ＜０で、かつ、制御信号ｆｉｌｔ＿ｆｇが０である領域である。この場合、ｆｉｌｔ＿ｆｇが０であるため、スイッチ２１８により４５°方向補間部２１４からの補間データを選択し、相関係数の絶対値Ｋａを用いて以下の式（９）に示す演算を行った結果として、加算器２１２の出力をスイッチ２１３により選択し、合成補間値として出力する。
合成補間値＝４５°補間値＊（１−Ｋａ）＋水平方向補間値＊Ｋａ・・・（９）
また、領域（ｄ）は、相関係数Ｋが、−１＜Ｋ＜０で、かつ、制御信号ｆｉｌｔ＿ｆｇが１である領域である。この場合、ｆｉｌｔ＿ｆｇが１であるため、スイッチ２１８により１３５°方向補間部２１４からの補間データを選択し、相関係数の絶対値Ｋａを用いて以下の式（１０）に示す演算を行った結果として、加算器２１１の出力をスイッチ２１３により選択し、合成補間値として出力する。
合成補間値＝１３５°補間値＊（１−Ｋａ）＋垂直方向補間値＊Ｋａ・・・（１０）
また、相関係数Ｋが１の場合には水平方向の補間値が最終的な補間結果として出力され、相関係数Ｋが−１の場合には垂直方向の補間値が最終的な補間結果として出力される。

本形態では、垂直方向、水平方向の相関検出結果に加え、４５°、１３５°方向の相関検出結果を求め、これらの相関検出結果に基づいて相関の方向に従う係数を算出するので、ベースとなる斜め方向に適した補間処理の精度をより向上させることができる。

例えば、相関の方向が４５°から水平方向に変化する時には、４５°方向に重みを持つフィルタにより得られた補間データをベースとし、相関方向の変化に応じて水平方向の補間データの割合が増加するように、二つの補間データを重み付加算するので、４５°方向の補間データと水平方向の補間データとが滑らかに切り替わる。

また、４５°方向の相関が高くなればなるほど、４５°方向の補間データの割合が大きくなるので、斜め方向の解像感を損なうことがない。

この効果は、相関の方向が４５°から垂直方向に変化する場合、および、１３５°方向の補間データをベースに、水平方向または垂直方向に相関方向が変化する場合についても同様に得られる。

また、制御信号ｆｉｌｔ＿ｆｇによって、４５°方向の補間データと１３５°方向の補間データとを切り替えているが、４５°方向の補間データをそのまま出力する状態と、１３５°方向の補間データをそのまま出力する状態との間で遷移する途中で、水平方向の補間データもしくは、垂直方向の補間データと合成されるため、最終的な補間結果は相関の方向の変化に応じて、なだらかに変化し、違和感は生じない。

本発明が適用される撮像装置の構成を示す図である。 補間処理回路の構成を示す図である。 補間回路の特性を示す図である。 補間回路の特性を示す図である。 補間回路の特性を示す図である。 相関判定部の構成を示す図である。 補間処理の様子を示す図である。 画像の特性を示す図である。 ＣＺＰチャートを示す図である。 相関の方向を示す図である。 相関判定処理を示すフローチャートである。 相関方向の様子を示す図である。 相関判定処理を示すフローチャートである。 相関係数と周波数領域の様子を示す図である。 補間処理回路を示す図である。 補間回路の特性を示す図である。 補間回路の特性を示す図である。 相関判定部の構成を示す図である。 補間処理の様子を示す図である。 補間処理の様子を示す図である。 相関方向の様子を示す図である。 相関判定処理を示すフローチャートである。 相関係数と周波数領域の様子を示す図である。 色フィルタの配列を示す図である。 画像データの周波数特性を示す図である。 画像データの周波数特性を示す図である。 Ｇ信号の同時化処理を示す図である。

Claims (8)

1. オフセットサンプリングされた画像信号を補間処理する画像処理装置であって、
   前記画像信号において補間すべき画素の相関が高い任意の方向に応じた係数を発生する相関検出手段と、
   前記相関検出手段により得られた係数に基づいて補間信号を生成する補間信号生成手段とを備え、
   前記相関検出手段は、垂直方向の相関の度合いと水平方向の相関の度合いとを検出し、前記垂直方向の相関の度合いを示す垂直相関データと前記水平方向の相関の度合いを示す水平相関データの大小を比較し、大きい方の値で小さい方の値を除した結果得られた商が所定の閾値よりも大きい場合に前記商に基づいて前記係数を生成し、前記商が前記閾値よりも小さい場合には水平方向あるいは垂直方向に応じた係数を生成することを特徴とする画像処理装置。
2. 前記補間信号生成手段は、水平方向の画素に対してフィルタ処理を行って第１の補間データを生成する水平方向補間手段と、垂直方向の画素に対してフィルタ処理を行って第２の補間データを生成する垂直方向補間手段と、垂直及び水平方向の画素に対してフィルタ処理を行って第３の補間データを生成する二次元補間手段とを有し、前記係数に従い前記第３の補間データと前記第１あるいは第２の補間データとを合成することにより前記補間信号を生成することを特徴とする請求項１記載の画像処理装置。
3. 前記二次元補間手段は、垂直方向と水平方向の座標軸を持つ周波数平面で、垂直方向におけるナイキスト周波数の位置と、水平方向におけるナイキスト周波数の位置を結んでできる四辺形の内側の領域を通過させ、前記四辺形の外側の領域を遮断する周波数特性を有することを特徴とする請求項２記載の画像処理装置。
4. 前記補間信号生成手段は、水平方向の画素に対してフィルタ処理を行って第１の補間データを生成する水平方向補間手段と、垂直方向の画素に対してフィルタ処理を行って第２の補間データを生成する垂直方向補間手段と、水平方向に対し４５°の方向に遮断特性をもつフィルタ処理を行って第３の補間データを生成する第３の補間手段と、水平方向に対し１３５°の方向に遮断特性をもつフィルタ処理を行って第４の補間データを生成する第４の補間手段とを有し、前記第３の補間データあるいは第４の補間データのうちの一方と、前記第１または第２の補間データとを合成することにより前記補間信号を生成することを特徴とする請求項１記載の画像処理装置。
5. 前記相関検出手段は、前記４５°方向の相関の度合いと１３５°方向の相関の度合いとを検出し、これら４５°方向の相関の度合いと１３５°方向の相関の度合いとに基づいて前記第３の補間データと第４の補間データのうちの一方を選択するための制御信号を生成することを特徴とする請求項４記載の画像処理装置。
6. 前記画像信号はＲ、Ｇ、Ｂの色成分を有し、前記Ｇ成分の画像信号がオフセットサンプリングされていることを特徴とする請求項１記載の画像処理装置。
7. 前記相関検出手段は前記Ｒ、Ｇ、Ｂの各色成分の画像信号を用いて前記係数を発生し、前記補間信号生成手段は前記Ｇ成分の画像信号のみを用いて前記補間信号を生成することを特徴とする請求項６記載の画像処理装置。
8. オフセットサンプリングされた画像信号を補間処理する画像処理方法であって、
   前記画像信号において補間すべき画素の相関が高い任意の方向に応じた係数を発生する相関検出工程と、
   前記相関検出手段により得られた係数に基づいて補間信号を生成する補間信号生成工程とを備え、
   前記相関検出工程は、垂直方向の相関の度合いと水平方向の相関の度合いとを検出し、前記垂直方向の相関の度合いを示す垂直相関データと前記水平方向の相関の度合いを示す水平相関データの大小を比較し、大きい方の値で小さい方の値を除した結果得られた商が所定の閾値よりも大きい場合に前記商に基づいて前記係数を生成し、前記商が前記閾値よりも小さい場合には水平方向あるいは垂直方向に応じた係数を生成することを特徴とする画像処理方法。

Images