JP6408884B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

デジタルカメラ等の撮像装置において、動画撮影時やライブビューイング画像を表示する場合に、可能な限り処理の前段で画像信号の画素サイズを縮小して現像処理を行うことが望ましい。これは現像回路の規模を小さくし、消費電力を低く抑えることを目的としている。その際の縮小処理は、撮像素子での画素加算・間引きにより読み出し時に、或いは、後の現像回路で行うことができる。また、フルＨＤ、ＱＦＨＤ等の動画記録の画像サイズが撮像素子から読みだす画素サイズと異なる場合、画像信号の画素サイズの拡縮を、例えば回路内で行うことになる。

画像信号を縮小するために例えば単純な線形補間によって縮小を行うと、画質の低下を招いてしまう。これに対し、特許文献１、特許文献２では、画素間の変化の方向判定を行って、間引かれた画素の補間を行うことで、解像感を保った縮小画像を生成している。

特開2009-135598号公報 特開2006-67214号公報

しかしながら特許文献１及び２には、縮小率に応じた画素の補間方法が記載されていないため、縮小率によっては解像感の劣化や折り返りが大きく発生してしまうおそれがある。特に、等倍に近い倍率で縮小を行う場合、画素の参照範囲が狭いフィルタを用いるとフィルタ特性の制限により所望の帯域制限が行えず、縮小後の画像信号の解像感が劣化してしまう。例えば、折り返りが現れてしまうことがある。

これに対し、画素の参照範囲が広いフィルタを用いて帯域制限を行うことも考えられる。しかし、そのようなフィルタを回路に実装する場合、フィルタに用いる画素信号値の保持のためのメモリ容量が大きくなりし、回路規模が増大してしまう。

そこで本発明は、参照範囲の広いフィルタを用いずとも、縮小率が変化した場合において解像感を出しつつ折り返りが低減された縮小画像を得ることを可能とする画像処理技術を提供する。

上記課題を解決するための本発明は、画像処理装置であって、
処理対象の画像の注目画素を基準とした領域に含まれる画素信号を用いて、前記領域において信号の相関が高い方向を判定し、該判定結果に基づき前記注目画素の近傍画素の画素信号を用いて、前記注目画素の画素信号を補間する補間処理を行う補間手段と、
前記補間手段にて補間された前記画像の画素数を減らして縮小する縮小手段とを有し、
前記補間手段は、前記近傍画素のうち前記判定結果において相関が高い方向とされる位置の画素信号に重みを付与しつつ、前記縮小手段での縮小率に応じて、縮小の度合いが大きくなるほど前記画像の高周波成分が低減するように前記補間処理を実行する。

参照範囲の広いフィルタを用いずとも、縮小率が変化した場合において解像感を出しつつ、折り返りが低減された縮小画像を得ることを可能とする画像処理技術を提供することができる。

発明の実施形態に係る画像処理装置の構成例を示す図。 発明の実施形態に係る画像縮小部の構成例を示す図。 発明の実施形態に係る画像処理装置の動作の一例を示すフローチャート。 発明の実施形態に係る画像縮小部の動作の一例を示すフローチャート。 撮像素子の原色ベイヤー配列の説明図。 発明の実施形態に係る方向判別信号の生成方法を説明するための図。 発明の実施形態に係る方向判別信号の生成方法を説明するための他の図。 発明の実施形態に係る方向判別信号の一例を示す図。 発明の実施形態に係る方向判別信号と合成比率との関係の一例を示す図。 発明の実施形態に係る合成比率の一例を示す図。 発明の実施形態に係る縮小後の適応Ｇプレーンの画像の一例を示した図。

以下、本発明の実施形態について、図面を参照しながら説明する。本実施形態では、図１に示すような構成の画像処理装置を例として説明を行う。画像処理装置は、光学系１０１、撮像素子１０２、撮像制御部１０３、Ａ／Ｄ変換部１０４、画像縮小部１０５、現像処理部１０６、記録部１０７、表示部１０８で構成される。当該画像処理装置は、例えばデジタルカメラのような撮像装置として実現することができる。また、それ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。また図１の画像処理装置において、撮像素子や表示素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。なお、画像処理装置としてのデジタルカメラが、一眼レフカメラのように交換レンズが着脱可能に構成されている場合、当該交換レンズに搭載されている構成要素は光学系１０１から除外される。

光学系１０１はフォーカスレンズや絞り、シャッターを含むことができる。撮像素子１０２は、光学系１０１において結像された被写体の光量を光電変換によって電気信号に変換し、例えばＣＭＯＳやＣＣＤ等の撮像素子として構成される。本実施形態では、一例として、撮像素子がＲ、Ｇ１、Ｇ２、Ｂの原色ベイヤー配列の場合を説明する。ベイヤー配列については図５（ａ）に一例を示す。撮像制御部１０３は、光学系１０１のフォーカスレンズや絞り、シャッターや撮像素子１０２の撮影感度等の制御を行う。Ａ／Ｄ変換部１０４では、撮像素子１０２から受信した電気信号をデジタル信号に変換する。画像縮小部１０５は、Ａ／Ｄ変換部１０４から受信した画像信号に対して、発明の実施形態に対応する縮小処理及び画像信号の変換を行う。現像処理部１０６は、画像縮小部１０５から受信した信号に対してガンマ処理、ノイズ低減処理、エッジ強調処理等の現像処理を行う。記録部１０７は、画像縮小部１０５、現像処理部１０６から受信した画像信号を記録する。表示部１０８は、例えば液晶ディスプレイ等であっても良く、現像処理部１０６から受信した画像信号、或いは記録部１０７に記録されている画像信号を表示する。表示部１０８は、例えば、画像処理装置の筐体側面に配置され、単に画像を表示するだけでなく、タッチ操作を受け付けるタッチパネル・ディスプレイとして機能しても良い。さらに詳細な構成の説明については、本実発明において特徴的な部分のみについて行う。

次に、図２を参照して発明の実施形態に対応する画像縮小部１０５の構成及び動作について説明する。図２は、画像縮小部１０５の詳細な構成の一例を示す図である。ＷＢ処理部２０１は、入力された処理対象のベイヤー画像信号の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のそれぞれのカラー信号に対してゲインを乗算しホワイトバランス処理を行う。ＷＢ処理部２０１は、ベイヤー画像信号を方向判定部２０２に出力すると共に、０挿入Ｇ、Ｒ、Ｂ信号を後段の各フィルタ処理部２０３、２０４、２０５、２０８及び２０９に出力する。なお、０挿入信号とは、図５に示すように、特定色以外の画素位置に０を埋めた画像信号のことを示す。Ｒ、Ｇ、Ｂの各０挿入信号の例は図５（ｂ）から（ｄ）に示すとおりである。

方向判定部２０２は、入力されたベイヤー画像信号から、当該画像信号に含まれるテクスチャの方向判定を行い、画素信号の相関の高い方向を示す方向判定信号を生成する。ＨＶフィルタ処理部２０３、２０８、２０９は、入力された０挿入Ｇ、Ｒ、Ｂ信号に対してそれぞれ水平方向、垂直方向にフィルタ処理を行い、同時化されたプレーン画像を作成する。なお、同時化とは、同じ画素位置に複数種類の信号が生成されることをいう。Ｈフィルタ処理部２０４は、０挿入Ｇ信号に水平方向にフィルタ処理を行い、同時化されたＧプレーン信号を作成する。Ｖフィルタ処理部２０５は、０挿入Ｇ信号に垂直方向にフィルタ処理を行い、同時化されたＧプレーン信号を作成する。

適応補間重み決定部２０６は、方向判定部２０２から受信した方向判定信号が示す方向判定の判定結果に基づき、ＨＶフィルタ処理部２０３、Ｈフィルタ処理部２０４、Ｖフィルタ処理部２０５のそれぞれから出力されたＧ信号の合成比率を算出する。画像合成部２０７は、適応補間重み決定部２０６で算出した合成比率に応じて、ＨＶフィルタ処理部２０３、Ｈフィルタ処理部２０４、Ｖフィルタ処理部２０５から出力されたＧ信号を合成し、適応Ｇプレーン画像を作成する。縮小部２１０、２１１、２１２は、入力されたプレーン画像信号の縮小処理をそれぞれ行う。画像変換部２１３は、縮小部２１０、２１１、２１２から受信した縮小後のＲ、Ｇ、Ｂ信号に対して画像変換処理を行う。

次に、図３を参照して本実施形態における画像処理装置の動作を説明する。図３は、発明の実施形態に対応する画像処理装置の動作の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、各ブロックとして機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

まず、Ｓ３０１では、撮像素子１０２が出力したアナログ画像信号をＡ／Ｄ変換部１０４がデジタル画像信号に変換する。次に、Ｓ３０２では、Ａ／Ｄ変換後のデジタル画像信号に対し画像縮小部１０５が縮小処理を実行し、その後必要に応じて画像信号を変換する画像変換処理を行う。縮小処理の詳細は図４のフローチャートを参照して後述する。続くＳ３０３では、画像縮小部１０５が処理した画像信号を記録部１０７が記録する。Ｓ３０４では、画像縮小部１０５が処理した画像信号に対し現像処理部１０６がガンマ処理、ノイズ低減処理、エッジ強調処理等の現像処理を行う。Ｓ３０５では、現像処理部１０６が出力した現像処理済みの画像信号を記録部１０７が記録する。

次に、図４のフローチャートを参照して、上述のＳ３０３で画像縮小部１０５により実行される処理として、縮小処理及び画像変換処理の詳細を説明する。図４は、発明の実施形態に対応する縮小処理及び画像変換処理の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、画像縮小部１０５として機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

まず、Ｓ４０１において、ＷＢ処理部２０１がベイヤー画像信号のＲ、Ｇ、Ｂのそれぞれのカラー信号に対してゲインを乗算するホワイトバランス処理を行う。ＷＢ処理部２０１でのホワイトバランス処理については、公知の技術を用いればよいため、ここでは詳細な説明を省略する。次に、Ｓ４０２で、０挿入Ｇ信号に対してＨＶフィルタ処理部２０３、Ｈフィルタ処理部２０４、Ｖフィルタ処理部２０５がそれぞれフィルタ処理を行い、同時化されたＧプレーン信号を作成する。

例えば、ＨＶフィルタ処理部２０３では、水平方向と垂直方向にそれぞれ（１、４、６、４、１）のフィルタ処理を行うことができる。この場合、注目画素を基準として、水平方向に左右２画素ずつ、垂直方向に上下２画素ずつがフィルタ処理の対象画素となる。例えば、Ｈフィルタ処理部２０４では、水平方向に（１、４、６、４、１）、Ｖフィルタ処理部２０５では、垂直方向に（１、４、６、４、１）のフィルタ処理をそれぞれ行うことができる。なお、０挿入信号に対して（１、４、６、４、１）のフィルタ処理を行うとき、注目画素が０挿入信号である場合は（０、４、０、４、０）、注目画素が０挿入信号でない場合は（１、０、６、０、１）のフィルタ処理により同時化を行うことになる。

以上のようにＨＶフィルタ処理部２０３、Ｈフィルタ処理部２０４、Ｖフィルタ処理部２０５では（１、４、６、４、１）のフィルタを用いるが、縮小部２１０〜２１２での縮小率に応じてフィルタの周波数特性を変えることが望ましい。折り返りを考慮し、画像を小さく縮小するほど、例えば周辺画素に付与する重みをより大きくしたり、周辺画素数を増やしたりすること等により高周波の帯域制限をより強く行い、周波数帯域が低周波寄りとなるフィルタを用いるようにする。

次にＳ４０３で、方向判定部２０２においてベイヤー画像信号から方向判定信号を作成する。方向判定信号の作成方法について、図６を用いて説明する。方向判定信号は、画像信号の各画素において算出する。まず、注目画素がＲである場合の方向判定信号の作成方法について説明する。注目画素がＲである場合、図６（ａ）に示されている画素を用いて式（１）のように方向判定信号Ｐａを作成する。
Ｐａ＝｜２Ｒ０−Ｒ１−Ｒ２｜＋｜Ｇ２−Ｇ１｜−｜２Ｒ０−Ｒ３−Ｒ４｜−｜Ｇ４−Ｇ３｜...式（１）

同様に、注目画素とその近傍画素のカラー信号の位置関係が図６（ｂ）の場合は式（２）、図６（ｃ）の場合は式（３）、図６（ｄ）の場合は式（４）のようにそれぞれ方向判定信号を作成する。
Ｐｂ＝｜２Ｇ０−Ｇ１−Ｇ２｜＋｜Ｒ２−Ｒ１｜−｜２Ｇ０−Ｇ３−Ｇ４｜−｜Ｂ２−Ｂ１｜...式（２）
Ｐｃ＝｜２Ｇ０−Ｇ１−Ｇ２｜＋｜Ｂ２−Ｂ１｜−｜２Ｇ０−Ｇ３−Ｇ４｜−｜Ｒ２−Ｒ１｜...式（３）
Ｐｄ＝｜２Ｂ０−Ｂ１−Ｂ２｜＋｜Ｇ２−Ｇ１｜−｜２Ｂ０−Ｂ３−Ｂ４｜−｜Ｇ４−Ｇ３｜...式（４）

式（１）〜式（４）は、横方向にバンドパスフィルタをかけた結果の絶対値と縦方向にバンドパスフィルタをかけた結果の絶対値の差分を示す。この算出値の符号及び大きさに基づき、画素信号の相関が高い方向及び相関の強さを判定することができる。縦方向のテクスチャである場合は、横方向のバンドパスフィルタ結果の値が優勢となるため値が大きくなる。一方、横方向のテクスチャである場合は、縦方向のバンドパスフィルタ結果の値が優勢となるため値が小さくなる。なお、ＷＢ処理部２０１でホワイトバランスのゲイン処理を行うのは、注目画素の色によって判定信号の値がばらつかないようにＲ、Ｇ、Ｂのゲインを揃えるためである。

また、式（１）〜（４）以外の方向判定信号の算出方法を適用しても良い。例えば、図７に示すように判定対象となる参照画素の数を水平、垂直の各方向に２画素ずつ増やすことができる。参照画素数の増加に伴い数式も以下の式（５）〜（８）に示すように変形される。注目画素がＲである場合、図７（ａ）に示されている画素を用いて式（５）のように方向判定信号Ｐａを作成することができる。
Ｐａ＝｜２Ｒ０−Ｒ１−Ｒ２｜＋｜（Ｇ１＋３Ｇ２−３Ｇ３−Ｇ４）／２｜−｜２Ｒ０−Ｒ３−Ｒ４｜−｜（Ｇ５＋３Ｇ６−３Ｇ７−Ｇ８）／２｜...式（５）

同様に、注目画素と周りの画素のカラー信号の位置関係が図７（ｂ）の場合は式（６）、図７（ｃ）の場合は式（７）、図７（ｄ）の場合は式（８）のようにそれぞれ方向判定信号を作成する。
Ｐｂ＝｜２Ｇ０−Ｇ１−Ｇ２｜＋｜（Ｒ１＋３Ｒ２−３Ｒ３−Ｒ４）／２｜−｜２Ｇ０−Ｇ３−Ｇ４｜−｜（Ｂ１＋３Ｂ２−３Ｂ３−Ｂ４）／２｜...式（６）
Ｐｃ＝｜２Ｇ０−Ｇ１−Ｇ２｜＋｜（Ｂ１＋３Ｂ２−３Ｂ３−Ｂ４）／２｜−｜２Ｇ０−Ｇ３−Ｇ４｜−｜（Ｒ１＋３Ｒ２−３Ｒ３−Ｒ４）／２｜...式（７）
Ｐｄ＝｜２Ｂ０−Ｂ１−Ｂ２｜＋｜（Ｇ１＋３Ｇ２−３Ｇ３−Ｇ４）／２｜−｜２Ｂ０−Ｂ３−Ｂ４｜−｜（Ｇ５＋３Ｇ６−３Ｇ７−Ｇ８）／２｜...式（８）

ここで、ＣＺＰ（Ｃｉｒｃｕｌａｒ Ｚｏｎｅ Ｐｌａｔｅ）を撮像したベイヤー画像信号に対して式（１）〜（４）で方向判定信号を算出した結果を図８（ａ）、式（５）〜（８）で方向判定信号を算出した結果を図８（ｂ）に示す。方向判定信号が０の部分が灰色、方向判定信号が大きい（即ち縦方向のテクスチャが存在）ほど白色、方向判定信号が小さい（即ち横方向のテクスチャが存在）ほど黒色を示している。

ＣＺＰ（Ｃｉｒｃｕｌａｒ Ｚｏｎｅ Ｐｌａｔｅ）は端にいくほど高周波成分を多く含み、図８の点線は、水平方向と垂直方向の画素サンプリングに対するナイキスト周波数を示している。図８（ａ）と図８（ｂ）とを比較すると、方向判定信号が検出される周波数が異なっており、結果として黒色及び白色の領域が全体に対して占める割合が異なっている。具体的に、図８（ａ）の方が黒色及び白色の領域の面積が大きく、図８（ｂ）の方が灰色の領域が占める割合がより多くなっている。これは、式（１）〜式（４）と式（５）〜式（８）のバンドパスフィルタ特性の差によるものである。方向判定信号を作成する際は、縮小後の画像に折り返りが出ないように縮小後の画素サンプリングのナイキスト周波数を考慮してバンドパスフィルタの特性を決定すればよい。これは縮小後のナイキスト周波数より高周波の領域は折り返りとなるため、高周波の領域を解像させないために方向性を持ったフィルタリングは行わずにＨＶのフィルタ処理で帯域制限を行いたいためである。すなわち、画像を小さく縮小するほど、式（５）〜式（８）のようなより低周波を検出するバンドパスフィルタを用いて方向判定信号を作成するのがよい。

次にＳ４０４で、適応補間重み決定部２０６においてＳ４０３で作成した方向判定信号からＨＶフィルタ処理部２０３、Ｈフィルタ処理部２０４、Ｖフィルタ処理部２０５から出力されたＧ信号の合成比率を算出する。合成比率の算出方法を示したものが図９である。横軸がＳ４０３で算出した方向判定信号、縦軸が合成比率を示している。尚、図９の縦軸に示す合成比率が０のときは、ＨＶフィルタ処理部２０３の出力信号の合成比率が１００％であることを示している。すなわち、縦方向でも横方向でもないと判定された部分に関しては、水平方向と垂直方向に同様のフィルタ処理を行ったＧ信号が用いられることになる。方向判定信号の値が正の領域で大きくなるほど縦方向のテクスチャが強く現れることとなるので、ＨＶフィルタ処理部２０３とＶフィルタ処理部２０５から出力された画像信号の合成を行う。方向判定信号の値が負の領域で大きくなるほど横方向のテクスチャが強く現れることとなるので、ＨＶフィルタ処理部２０３とＨフィルタ処理部２０４から出力された画像信号の合成を行う。即ち、方向判定信号が大きくなるほどＶフィルタ処理部２０５から出力された画像信号の合成比率が大きく、方向判定信号が小さくなるほどＨフィルタ処理部２０４から出力された画像信号の合成比率が大きくなる。

このようにテクスチャの方向に応じたフィルタ処理を行うことで、テクスチャの解像感を維持することができる。尚、図９（ａ）と（ｂ）のように、方向判定信号と合成比率の関係を変えることにより解像感の調節が可能となる。図９（ａ）と図９（ｂ）とは縮小率ａ、ｂ（ａ＞ｂ）とのそれぞれの場合について方向判定信号と合成比率との関係の一例を示したグラフである。この例では縮小率ｂは縮小率ａよりも小さく、よって縮小の度合いはより大きくなる。

図９（ａ）の場合は、方向判定信号の値Ｐが−ｄ１＜Ｐ＜ｄ１の場合に合成率は０％でＨＶフィルタ処理部２０３からの出力信号のみが選択される。また、ｄ１≦Ｐ≦ｄ２の場合はＨＶフィルタ処理部２０３とＶフィルタ処理部２０５から出力された画像信号の合成を行う。−ｄ２≦Ｐ≦−ｄ１においては、ＨＶフィルタ処理部２０３とＨフィルタ処理部２０４から出力された画像信号の合成を行う。さらに、ｄ２＜Ｐの場合はＶフィルタ処理部２０５から出力された画像信号のみが選択される。また、Ｐ＜−ｄ２においては、Ｈフィルタ処理部２０４から出力された画像信号のみが選択される。

これに対し図９（ａ）の場合は、縮小の度合いがより大きいため、Ｈフィルタ処理部２０４及びＶフィルタ処理部２０５から出力される画素信号の合成の度合いを下げる。具体的に、方向判定信号の値Ｐが−ｄ２＜Ｐ＜ｄ２の範囲において合成率は０％でＨＶフィルタ処理部２０３からの出力信号のみが選択される。即ち、図９（ａ）の場合と比べ、ＨＶフィルタ処理部２０３からの出力信号のみを選択する方向性信号の範囲が大きい。さらに、ｄ２＜Ｐの場合はＨＶフィルタ処理部２０３とＶフィルタ処理部２０５から出力された画像信号の合成を行う。また、Ｐ＜−ｄ２においては、ＨＶフィルタ処理部２０３とＨフィルタ処理部２０４から出力された画像信号の合成を行う。

このように、ＨＶフィルタ処理部２０３からの出力結果に対し、方向性判定の判定結果に応じてＨフィルタ処理部２０４又はＶフィルタ処理部２０５からの出力結果を合成することにより、水平方向、または、垂直方向の補間結果を重み付け加算することができる。その一方、縮小の度合いが大きい場合には、水平、垂直方向に対する重みを減らし、ＨＶフィルタ処理部２０３からの出力信号を優先する。

ここで、図８（ａ）の方向判定信号に対する合成比率の関係を変えた例を図１０に示す。図９の縦軸の合成比率が０、すなわちＨＶフィルタ処理部２０３の出力信号の合成比率が１００％である部分が灰色を示している。Ｖフィルタ処理部２０５から出力された画像信号の合成比率が大きいほど白色、Ｈフィルタ処理部２０４から出力された画像信号の合成比率が大きいほど黒色を示している。図１０（ａ）は図１０（ｂ）に対し、Ｈフィルタ処理部２０４或いはＶフィルタ処理部２０５から出力される画像信号の合成比率が大きくなっている。すなわち図９（ａ）は図９（ｂ）に対し、或いは図１０（ａ）は図１０（ｂ）に対しより解像感を出すようになっている。即ち、図９（ｂ）、図１０（ｂ）は、縮小の度合いがより大きくなっており、その分だけ解像感を抑えるようにしている。この方向判定信号に対する合成比率の関係は、縮小率と方向判定信号作成の際のバンドパスフィルタ特性に応じて変えることが望ましい。方向判定信号作成の際のバンドパスフィルタ特性と方向判定信号に対する合成比率の関係の両者を変更することにより、折り返りと解像感の調節をより幅広く行うことができる。

そしてＳ４０５で、Ｓ４０４で算出した合成比率に応じてＨＶフィルタ処理部２０３、Ｈフィルタ処理部２０４、Ｖフィルタ処理部２０５から出力されたＧ信号を画像合成部２０７において合成し、適応Ｇプレーン信号を作成する。

次にＳ４０６で、０挿入Ｒ、Ｂ信号に対してＨＶフィルタ処理部２０８、２０９でそれぞれ水平方向と垂直方向にそれぞれ（１、４、６、４、１）のフィルタ処理を行い、同時化されたＲ、Ｂプレーン信号を作成する。本実施例では（１、４、６、４、１）のフィルタ処理であるが、ＧプレーンのＨＶフィルタ処理部２０３と同様に折り返りを考慮して画像を小さく縮小するほど高周波の帯域制限をより強く行うフィルタを用いるようにする。

そしてＳ４０７で、適応Ｇプレーン信号、Ｒプレーン信号、Ｂプレーン信号の縮小を縮小部２１０〜２１２でそれぞれ行う。縮小に関しては、例えば縮小前後の画素サンプリング位置に応じた重みづけの線形補間処理を行えばよい。或いは、バイキュービック補間等の他の処理を用いて縮小を行ってもよいし、その他の手法を用いてもよい。

図１１は、縮小部２１０で線形補間処理による０．７倍の縮小を行った後の適応Ｇプレーン画像を示したものである。
図１１（ａ）は、ＨＶフィルタ処理部２０３の出力信号を１００％使用した結果である。 図１１（ｂ）は、方向判定信号は式（１）〜（４）を用いて算出し、方向判定信号に対するＨフィルタ処理部２０４或いはＶフィルタ処理部２０５から出力された画像信号の合成比率を大きめに設定した結果である。
図１１（ｃ）は、方向判定信号は式（１）〜（４）を用いて算出し、方向判定信号に対するＨフィルタ処理部２０４或いはＶフィルタ処理部２０５から出力された画像信号の合成比率を図１１（ｂ）より小さめに設定した結果である。
図１１（ｄ）は、方向判定信号は式（５）〜（８）を用いて算出し、方向判定信号に対するＨフィルタ処理部２０４或いはＶフィルタ処理部２０５から出力された画像信号の合成比率を図１１（ｂ）と同じに設定した結果である。
図１１（ｅ）は、方向判定信号は式（５）〜（８）を用いて算出し、方向判定信号に対するＨフィルタ処理部２０４或いはＶフィルタ処理部２０５から出力された画像信号の合成比率を図１１（ｂ）より小さめに設定した結果である。

図１１（ａ）は方向に応じた補間処理を行っていないため、解像感がないように見え、図１１（ｂ）は解像感は高いがナイキスト周波数を超えた周波数の折り返りが目立つ。これに対し、本実施形態のように縮小率に応じて方向判定信号作成の際のバンドパスフィルタ特性と方向判定信号に対する合成比率の関係のどちらか一方、或いはその両方を変更することで、図１１（ｃ）〜（ｅ）のように解像感を出しつつ折り返りを低減した適応Ｇプレーン画像信号を得ることができる。即ち、縮小率が小さい（縮小の度合いが大きい）程、式（５）〜式（８）のようなより低周波を検出するバンドパスフィルタを用いて方向判定信号を作成するのがよい。また、縮小率が小さいほど、合成比率を小さくしてＨＶフィルタ処理部２０３の出力信号を優先するのがよい。

最後にＳ４０８で、Ｓ４０７で縮小した適応Ｇプレーン信号、Ｒプレーン信号、Ｂプレーン信号を画像変換部２１３において変換する。変換とは、前述したＲ、Ｇ、Ｂのプレーン画像からベイヤーのカラー配列順にサンプリングを行いベイヤー画像信号を生成する、式（９）〜（１１）を用いてＹＵＶ信号を作成する等の処理である。
Ｙ ＝ ０．２９９×Ｒ ＋ ０．５８７×Ｇ ＋ ０．１１４×Ｂ ... 式（９）
Ｕ ＝ ０．１６９×Ｒ ― ０．３３１×Ｇ ＋ ０．５００×Ｂ ... 式（１０）
Ｖ ＝ ０．５００×Ｒ ― ０．４１９×Ｇ ＋ ０．０８１×Ｂ ... 式（１１）

縮小した画像信号を記録部１０７に保存するときのフォーマット、或いは現像処理部１０６の入力画像のフォーマットに応じて、変換処理を変更すればよい。或いは画像信号の情報を損失させたくない場合は、変換を行わずにＲＧＢプレーン画像信号のまま記録を行えばよい。

以上のように本発明では、縮小率に応じて方向判定信号作成の際のバンドパスフィルタ特性と方向判定信号に対する合成比率の関係のどちらか一方、或いはその両方を変更することで折り返りと解像感を調節した適応Ｇプレーン画像信号を得ることができる。

本実施形態では、縮小率に応じてバンドパスフィルタ特性、方向判定信号に対する合成比率の関係の両者を変えられるようにしているが、図１１（ｂ）から（ｅ）の画像で示したように、どちらか一方のみを変えるようにしても効果がある。

また、適応Ｇプレーン作成の際のフィルタの最大参照範囲は方向判定部２０２で使用するバンドパスフィルタ、ＨＶフィルタ処理部２０３、Ｈフィルタ処理部２０４、Ｖフィルタ処理部２０５で使用するフィルタのいずれかとなる。ＨＶフィルタ処理部２０３のフィルタの種類に制限があっても、ＨＶフィルタ処理部２０３で帯域制限を強くかけ、解像感の足りない部分はＨフィルタ処理部２０４或いはＶフィルタ処理部２０５の出力信号の合成比率を調整することで補うことができる。よって、縮小率が変化しても比較的参照範囲の狭いフィルタ処理で折り返りと解像感の調節が可能となる。

尚、本発明は、上記実施例に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行ってもよい。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 光学系、１０２ 撮像素子、１０３ 撮像制御部、１０４ Ａ／Ｄ変換部、１０５ 画像縮小部、１０６ 現像処理部、１０７ 記録部、１０８ 表示部

Claims (12)

1. 処理対象の画像の注目画素を基準とした領域に含まれる画素信号を用いて、前記領域において信号の相関が高い方向を判定し、該判定結果に基づき前記注目画素の近傍画素の画素信号を用いて、前記注目画素の画素信号を補間する補間処理を行う補間手段と、
   前記補間手段にて補間された前記画像の画素数を減らして縮小する縮小手段と
   を有し、
   前記補間手段は、前記近傍画素のうち前記判定結果において相関が高い方向とされる位置の画素信号に重みを付与しつつ、前記縮小手段での縮小率に応じて、縮小の度合いが大きくなるほど前記画像の高周波成分が低減するように前記補間処理を実行することを特徴とする画像処理装置。
2. 前記補間手段は、前記縮小の度合いが大きくなるほど、前記相関が高い方向とされる位置の画素信号に付与する重みを小さくすることを特徴とする請求項１に記載の画像処理装置。
3. 前記補間手段は、前記縮小の度合いが大きくなるほど、前記注目画素の近傍画素の数を増やすことにより、前記高周波成分を低減させることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補間手段は、前記縮小の度合いが大きくなるほど、前記注目画素の近傍画素の重みを、前記注目画素との関係において大きくすることにより、前記高周波成分を低減させることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記補間手段は、前記縮小の度合いが大きくなるほど、前記信号の相関が高い方向を判定するために使用するフィルタの周波数帯域を低周波寄りにすることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記補間手段は、判定対象の方向における参照画素の数を増やすことにより、前記フィルタの周波数帯域を低周波寄りにすることを特徴とする請求項５に記載の画像処理装置。
7. 前記補間手段は、
   前記注目画素の水平方向及び垂直方向の近傍画素の画素信号を用いて、前記注目画素の画素信号を補間する第１の補間処理と、
   前記注目画素の垂直方向の近傍画素の画素信号を用いて、前記注目画素の画素信号を補間する第２の補間処理と、
   前記注目画素の水平方向の近傍画素の画素信号を用いて、前記注目画素の画素信号を補間する第３の補間処理と
   を実行し、
   前記縮小の度合いに応じて、前記第１の補間処理の結果と、第２又は第３の補間処理の結果との合成比率を変更し、前記縮小の度合いが大きくなるほど前記第１の補間処理の結果を合成する割合を大きくすることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記補間手段は、前記水平方向と垂直方向とのいずれかを前記判定結果において相関が高い方向に決定し、
   前記決定された方向に対応する前記第２の補間処理と前記第３の補間処理とのいずれかの補間処理の結果を前記第１の補間処理の結果と合成することにより、前記相関が高い方向とされる位置の画素信号に重みを付与することを特徴とする請求項７に記載の画像処理装置。
9. 前記画像は原色ベイヤー配列を有し、前記補間手段は、緑色の画素信号に対して前記補間処理を行うことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 被写体を撮像して画像を生成する撮像手段と、
    前記撮像手段が生成した画像を処理する、請求項１乃至９のいずれか１項に記載の画像処理装置と
    を備えることを特徴とする撮像装置。
11. 処理対象の画像の注目画素を基準とした領域に含まれる画素信号を用いて、前記領域において信号の相関が高い方向を判定し、該判定結果に基づき前記注目画素の近傍画素の画素信号を用いて、前記注目画素の画素信号を補間する補間処理を行う補間工程と、
    前記補間工程にて補間された前記画像の画素数を減らして縮小する縮小工程と
    を有し、
    前記補間工程では、前記近傍画素のうち前記判定結果において相関が高い方向とされる位置の画素信号に重みを付与しつつ、前記縮小工程での縮小率に応じて、縮小の度合いが大きくなるほど前記画像の高周波成分が低減するように前記補間処理を実行することを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。