JP5919086B2 - 画像処理装置及びその制御方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置及びその制御方法、並びにプログラムに関する。

近年、撮像素子の画素の微小化が進んでいる。この画素の微小化に起因してノイズが増加する場合もある。このノイズを信号処理により抑圧する様々な方法が知られているが、ノイズを抑圧することにより、画像がぼけるという影響を与えることが知られている。

これを回避する方法として、画像信号を複数の周波数帯域成分（色成分）に分割してノイズを抑圧する方法が知られている（特許文献１）。

また、画像信号を縮小した縮小画像信号を生成し、この縮小画像信号と元の画像信号を合成することでノイズを抑圧する方法が知られている（特許文献２）。この方法では、まず、入力された画像信号に対して縮小処理を行うことで、入力された画像よりも低周波成分で構成された縮小画像を生成する。次いで、低周波成分の縮小画像信号からエッジ強度を検出し、このエッジ強度に基づいて、エッジ成分を維持すべき領域を求める。そして、このエッジ成分を維持すべき領域の画像がぼけないように、領域ごとに重み付けを変えて、元の画像信号と、低周波成分の縮小画像信号を合成し、新たな画像信号を生成する。

しかしながら、上記のノイズ抑圧処理では、画像がぼける点についての対策が十分ではなく、ノイズ抑圧量を増加していった場合に、ぼけたノイズパターンが視覚的に不快に感じられたり、除去してはならない微小な被写体構造がノイズ成分とともに除去され、不自然な画像となったり、アーチファクトが生じる等の問題があった。

これを回避する方法として、マルチバンドカメラで撮影し、異なる色の画像間に相関があることを利用して、適応的にエッジ成分およびノイズ抑圧成分を平滑化画像に加算する方法が知られている（特許文献３）。また、画像を周波数分離した後、高周波成分からノイズを除去後、所定のノイズを付加した後低周波成分と合成する方法も知られている（特許文献４）。これらの方法により平滑化された画像にノイズ成分が残留することにより視覚的に不自然な画像となることがある程度回避される。

特開２００８−０１５７４１号公報 特開２００９−１９９１０４号公報 特開２００１−００８０３８号公報 特開２００７−０２８３４８号公報

しかしながら、上述の方法においては、その後の信号処理により残留ノイズの周波数特性が変化して画質が劣化してしまう点については考慮していない。

本発明は、上記問題に鑑みてなされたもので、入力信号を複数の帯域に分割することによりノイズ処理などを行う画像処理装置において、残留ノイズの周波数特性を好適に保つことを可能にすることを目的とする。

上記課題を解決するための本願発明は、画像処理装置であって、
画像信号を色毎に帯域分割した複数の色信号に対してノイズ抑圧処理を行うノイズ抑圧手段と、
前記ノイズ抑圧手段で前記ノイズ抑圧処理が施された前記複数の色信号から、画素毎に１つの信号を有する１プレーン画像を生成する１プレーン化手段と、
前記１プレーン画像に対して周波数特性が変化する画像処理を行う処理手段と、
前記画像信号からノイズ成分を抽出するノイズ抽出手段と、
前記ノイズ抽出手段により抽出された前記ノイズ成分を、前記処理手段で得られた信号に加算して出力する加算手段と、
を備え、
前記ノイズ抑圧手段は、
前記複数の色信号の各色の色信号について、前記ノイズ抑圧処理を行う第１ノイズ抑圧手段と、
前記複数の色信号のサイズを縮小する第１縮小手段と、
前記サイズが縮小された複数の色信号について前記ノイズ抑圧処理を行う第２ノイズ抑圧手段と、
前記第２ノイズ抑圧手段における前記ノイズ抑圧処理が行われた複数の色信号のサイズを、前記縮小がなされる前のサイズに拡大する拡大手段と、
前記第１ノイズ抑圧手段から出力される複数の色信号と、前記拡大手段から出力される複数の色信号とを色毎に合成する合成手段と
を備える。

本発明によれば、画像信号を複数の帯域に分割することによるノイズ抑圧処理を実行しつつ、視覚的に好ましい画像を得ることが可能となる。

本発明の実施形態におけるデジタルカメラの概略構成を示す図である。 本発明の第１の実施形態における画像処理回路１０５の構成の一部を示す図である。 図２の帯域分割ノイズ抑圧処理回路２０１の構成例を示す図である。 図２の画像処理回路１０５における処理内容を説明するためのフローチャートである。 合成回路３０５におけるエッジ検出フィルタの一例である。 エッジ成分に対する高域階層画像信号の混合率βを示す図である。 高域抽出回路２０３における高域抽出フィルタの一例である。 本発明の第２の実施形態における画像処理回路１０５の構成の一部を示す図である。 図８の画像処理回路１０５における処理内容を説明するためのフローチャートである。 入力信号および高域抽出信号の信号レベルの頻度分布を説明するための図である。 撮像素子のカラーフィルタ配列の例を示す図である。 ダウンサンプリング処理により各画素がすべての色信号を有することを説明するための図である。

（第１の実施形態）
図１は、本発明の実施の形態における画像処理装置としてのデジタルカメラ１００の概略構成を示す図である。本発明は、画像信号に対して画像処理を施すことができる装置であれば、デジタルカメラに限らず、デジタルビデオカメラやパーソナルコンピュータなどでも実現することが可能である。図１のデジタルカメラ１００において、各ブロックはその構成を以下で特に指定していない限り、専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り装置、および、シャッター装置を備えている。この光学系１０１は、撮像素子１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像素子１０２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等の光電変換素子であり、被写体像を電気信号に変換して画像信号を生成する。本実施形態では撮像素子１０２はＣＣＤで構成されているものとする。また、図１１に示すようなベイヤー型のカラー配列をもつものとする。

前置処理回路１０３は、ＣＤＳ（Correllated Double Sampling）回路や増幅回路を備えている。ＣＤＳ回路は撮像素子１０２で生成された画像信号に含まれている暗電流を抑圧し、増幅回路はＣＤＳ回路から出力された画像信号を増幅する。Ａ／Ｄ変換器１０４は、前置処理回路１０３から出力された画像信号をデジタルの画像信号に変換する。

画像処理回路１０５は、画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、エッジ強調補正処理などを行い、画像信号を輝度信号Ｙおよび色差信号Ｕ、Ｖとして出力する。また、画像処理回路１０５は、画像信号から被写体の輝度値や被写体のピント状態を示す合焦値も算出する。画像処理回路１０５はＡ／Ｄ変換器１０４から出力された画像信号のみでなく、記録媒体１０９から読み出した画像信号に対しても同様の画像処理を行うことができる。画像処理回路１０５は更に、記録媒体１０９に画像信号を記録するために符号化処理を行って画像データを生成したり、記録媒体１０９に記録された画像データの復号処理を行って画像信号を復元したりする。

制御回路１０６は、本実施形態のデジタルカメラを構成する各回路を制御して、デジタルカメラを全体として動作させる。画像処理回路１０５で処理された画像信号から得られる輝度値や操作部材１１０から送信された指示に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。

表示メモリ１０７は、表示装置１０８で表示する画像の元になる画像信号を一時的に記憶するメモリである。表示装置１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像素子１０２で生成された画像信号や、記録媒体１０９から読み出した画像信号を用いて、画像を表示する。撮像素子１０２から読み出される連続した画像信号を、随時更新して表示することで、電子的なビューファインダーとして機能することが可能である。表示装置１０８は画像だけではなく、デジタルカメラの状態表示、ユーザーが選択あるいはカメラが決定したシャッター速度、絞り値、あるいは、感度情報などの文字情報、画像処理回路１０５にて測定した輝度分布を示すグラフ等も表示することが可能である。記録媒体１０９は、符号化された画像信号を記録するメモリーであって、例えばフラッシュメモリ（登録商標）やＳＤカード等の半導体メモリや、ブルーレイ(Blu-ray)ディスク、やＤＶＤ、ＣＤ、テープ等の光学的／磁気的記録媒体である。記録媒体１０９は、デジタルカメラ１００に着脱可能に構成されたものであっても、デジタルカメラ１００に内蔵されたものであってもよい。

操作部材１１０は、ユーザーがデジタルカメラ１００に指示を送るために操作する部材である。バス１１１は、画像処理回路１０５、制御回路１０６、表示メモリ１０７、および、記録媒体１０９の間で画像信号をやり取りするために用いられる。

次に、本実施形態におけるデジタルカメラ１００の撮影時の動作の一例について説明する。

ユーザーによって操作部材１１０が操作され、撮影準備を開始する指示が送られると、制御回路１０６がそれぞれの回路の動作の制御を開始する。撮像素子１０２が光学系１０１を透過した被写体像を光電変換してアナログの画像信号を生成し、Ａ／Ｄ変換器１０４が前置処理回路１０３によって処理されたアナログの画像信号をデジタル化する。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、輪郭補正処理などを行う。

画像処理回路１０５で処理された画像信号は、表示メモリ１０７を介して、表示装置１０８で画像として表示される。上述したように、撮像素子１０２で連続的に画像信号を生成し、表示装置１０８が読み出される連続した画像信号を用いて、被写体の画像をリアルタイムで更新して表示することで、電子的なビューファインダーとして機能する。

ユーザーが操作部材１１０に含まれるシャッターボタンを操作するまで、これらの処理を繰り返す。ユーザーがシャッターボタンを操作すると、制御回路１０６は画像処理回路１０５で得られた輝度値や合焦値に基づいて光学系１０１の動作を再調整して静止画の撮影を行う。画像処理回路１０５が、この静止画の画像信号に対してノイズ抑圧処理を含む種々の画像処理を行い、最終的に符号化して画像データを生成する。そして、記録媒体１０９が画像処理回路１０５から出力された画像データを記録する。

ここで、本発明の特徴である、画像処理回路１０５におけるノイズ抑圧処理について詳細に説明を行う。処理を行う順序としては、撮像素子からの出力信号に対してまずノイズ抑圧処理をしたのち、補間処理やエッジ強調処理をするのが好ましい。その理由は、撮像素子からの出力信号に重畳されているノイズ成分はノイズ量や周波数特性などをある程度予測することが可能であるため適切にノイズ除去を行うことが可能である。一方、適応補間処理など処理信号の周波数特性が変更あるいは強調される処理を行うと、ノイズ成分も同様に変化してしまうため、ノイズ量の予想が難しくなり適切にノイズ除去を行うことが困難になるためである。

但し、ノイズ処理を行った後補間処理やエッジ強調処理を行った場合、ノイズ処理で残留あるいは付加したノイズ成分の周波数特性が変化し、視覚的に好ましくないものとなってしまうおそれがある。さらに、ノイズ抑圧処理の後に補間処理やエッジ強調処理を行うためには、周辺画素を参照するためのメモリをさらに必要とするため、使用メモリ量の増加も考慮しなければならない。例えば、ノイズ抑圧処理をハードウェア処理でディレイラインを使って行う場合、注目ラインの上下ラインの信号を必要なだけディレイラインに読み込み、それらの信号を参照しながら注目ラインの処理を行う。処理された信号は１ライン分の信号として出力されるため、その後の処理を行うためには、さらに別のディレイラインにノイズ抑圧された信号を読み込むといった処理が必要となる。

また、帯域分割を伴うノイズ抑圧処理を行う場合には、信号量がさらに増加する。例えば、原色ベイヤー配列のような単板センサの場合、帯域分割の際に行うダウンサンプリング処理により、各画素がすべての色信号を有するようになる。

その理由について説明する。ここでは、水平方向に半分の画素数にダウンサンプリング処理する場合で説明する。図１２のようにある行の色フィルタがＲ、Ｇ、Ｒ、Ｇ、Ｒ、Ｇ・・・の順に配列されているとする。この行において、Ｒ信号のみに注目すると、元々２画素に１つの周期で並んでいるＲ信号がダウンサンプリング処理により１画素毎の信号となる。また、Ｇ信号のみに注目した場合も、元々２画素に１つ存在するＧ信号がダウンサンプリング処理により１画素毎の信号となっている。ただし、Ｇ信号のダウンサンプリング処理では、Ｇ信号の重心位置をＲ信号に合わせるため両隣の画素値から平均値を演算することより値を求めている。色フィルタがＲとＢで構成される行についても同様にしてダウンサンプリング処理を行うことができる。なお、色フィルタＧについては、図１１に示すベイヤー配列においてＧ１とＧ２とで区別されるように一行おきに独立して処理される。

このようにダウンサンプリング処理を行うことで、同じ画素位置に補間をせずともＲＧＢすべての色信号（Ｒ、Ｇ１、Ｇ２、Ｂ）が生成されることになる。以下、このように同じ画素位置に複数種類の信号が生成されることを「同時化」と呼ぶ。ダウンサンプリング処理した画像信号は同時化されているため、元の画像信号をこのダウンサンプリング処理した画像信号と合成するためには、元の画像信号も同時化する必要がある。

以上のように帯域分割を伴うノイズ抑圧処理による同時化によりデータ量が増え必要なメモリ量が増加してしまう。これを回避するために同時化された信号のデータ数を減らすことが考えられる。例えば、元のベイヤー配列に対応した１プレーン画像となるよう色毎に信号をサンプリングしてからメモリに格納し、後処理を行うことが考えられる。これにより必要なメモリ量は削減できるが、ノイズ成分については上記１プレーン化する処理により周波数特性が変化し視覚的に好ましくなくなってしまう場合がある。

本実施形態に対応する画像処理回路１０５は以上の検討に基づいて構成されており、当該構成を図２及び図３を参照して説明する。図２は、画像処理回路１０５の構成の一部を示す図であり、図３は帯域分割ノイズ抑圧回路２０１の構成の一例を示す図である。

本実施形態の画像処理回路１０５は、帯域分割ノイズ抑圧回路２０１、１プレーン化回路２０２、高域抽出回路２０３、メモリ２０４、エッジ強調回路２０５、適応補間回路２０６、加算器２０７を含む。また、帯域分割ノイズ抑圧回路２０１は、第１縮小回路３０１、第１ノイズ抑圧回路３０２、第２ノイズ抑圧回路３０３、拡大回路３０４、および、合成回路３０５から構成される。

図４は、上記回路の処理内容を説明するためのフローチャートである。以下、発明の実施形態に対応する画像処理回路１０５の動作を図２、図３のブロック図と図４のフローチャートを参照して説明する。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号を受け取ると、図４のフローチャートに示す処理を行う。なお、ホワイトバランス処理や色処理、階調変換処理などは省略する。

ステップＳ４０１において、帯域分割ノイズ抑圧回路２０１が、入力された画像信号に対して、帯域分割を行いノイズ抑圧処理を行う。帯域分割ノイズ抑圧回路２０１は、以下の手順で処理を行う。第１ノイズ抑圧回路３０２が、画像信号に対してＲ、Ｇ１、Ｇ２及びＢの色信号毎にノイズ抑圧処理を行う。ノイズ抑圧処理は例えば、注目画素と近傍画素の信号値の差分を取り、差分が所定値以内（例えば、閾値Ｔｈ以内）の画素のみを使って平均値を演算し注目画素値を平均値で置き換えて出力する。ただし、画像信号がベイヤー配列であるため、色毎（Ｒ、Ｇ１、Ｇ２、Ｂ）に分離し垂直および水平方向に[１ ２ １]のフィルタ係数を持つローパスフィルタにより同時化した色信号に対して処理を行う。なお、この[１ ２ １]で示されるフィルタ係数は、着目画素の信号値に２を乗算した値と、着目画素の所定方向に隣接するそれぞれの画素の信号値に１を乗算した値とを加算し、得られた値を正規化する処理を示すものである。なお、同時化するためのフィルタ係数はこれに限られるものではなく、他のフィルタ係数を用いてもよい。ローパスフィルタを適用する近傍画素も、注目画素の垂直および水平方向に位置する同色の画素だけでなく、斜め方向に位置する同色の画素を含めるようにしてもよい。

次に、第１縮小回路３０１が、画像信号からＲ、Ｇ１、Ｇ２及びＢの色毎に画像を水平、垂直とも１／２サイズに縮小する。このとき元々の画像のサイズ（画素数）をＮ×Ｍ（Ｎ、Ｍは任意の整数）とすると、縮小後のサイズは（Ｎ／２）×（Ｍ／２）となる。サイズの縮小方法は、例えば面積平均法などによることができる。第２ノイズ抑圧回路３０３は、第１縮小回路３０１で縮小された各色の色信号に対してノイズ抑圧処理を行う。ここでのノイズ抑圧処理は上記第１ノイズ抑圧回路３０２によるノイズ抑圧処理と同様である。ノイズ抑圧処理後の画像に対して、拡大回路３０４は、補間処理等により画像サイズを水平・垂直方向にそれぞれ２倍に拡大する。

上記第１ノイズ抑圧回路３０２および第２ノイズ抑圧回路３０３により処理され出力された各色信号に対して、合成回路３０５が合成処理を行う。合成処理は、まず、第１ノイズ抑圧回路３０２から出力された色信号からエッジ成分を抽出する。エッジ抽出は例えば図５のようなフィルタを注目画素を含む３×３の画素領域に対して適用することで行う。これにより、帯域分割後の画像サイズと同じＮ×Ｍのサイズを有し、各要素が注目画素のエッジ成分を表すエッジ情報が生成される。当該エッジ情報の各要素は、第１ノイズ抑制回路３０２及び拡大回路３０４から出力された色毎の画像信号（Ｎ×Ｍサイズ）の各画素位置に対応している。

そこで図６に示すような関係にしたがって、各画素位置に対応するエッジ成分の大きさに基づき第１ノイズ抑制回路３０２からの色信号の画素と拡大回路３０４からの色信号の画素との合成比率を算出する。すなわち、エッジ強度が強い画素位置については第１ノイズ抑圧回路３０２の色信号の合成率を１００％とし、逆にエッジ強度が弱いところは合成率を０％とする。合成回路３０５は、この合成率を用いて信号を合成することでエッジ部分については解像感を保ち、非エッジ部分については十分にノイズ抑圧された同時化信号を得ることができる。図６では、エッジ成分の値がＥ１からＥ２の間において合成率βを、例えば一次関数的に変化させることができる。なお、Ｅ１及びＥ２の大きさは、カメラパラメータ（例えば、感度など）の値に応じて予め設定しておくことができ、設定されるカメラパラメータの値に応じて変化する。

以上により、二通りのノイズ抑制処理を経て得られた色信号を合成した、Ｒ、Ｇ１、Ｇ２、Ｂの複数の色信号を生成することができる。

なお、ここではサイズの異なる２つの画像に対してそれぞれノイズ抑圧処理を行う例を挙げて説明を行ったが、サイズの異なる画像の数を３以上とし、この３以上の画像のそれぞれに対してノイズ抑圧処理を行ってから、合成するように構成してもよい。

ステップＳ４０２において、１プレーン化回路２０２が、上記ノイズ抑圧処理された複数の色信号から、画素毎に１つの信号を有する画像である１プレーン化画像を生成する。本実施形態における１プレーン化の処理は、元のベイヤー配列の色配列に対応する色信号を、上記同時化された各色の色信号からそれぞれサンプリングすることにより生成する。つまり、１プレーン化回路２０２は、合成回路３０５から出力された画素毎に各色の色信号を有する画像を、画素毎にいずれか１つの色信号を有する、図１１に示すベイヤー配列で構成された画像に変換する。このように１プレーン化を行うことで、使用メモリ量を削減できるだけでなく、画質的にも好ましい場合がある。すなわち、帯域分割ノイズ抑圧回路２０１により得られる色信号は、同時化の際に補間を行ったことにより高域の特性が劣化している。これを、補間で得られた色信号を削ることで元のカラー配列の状態に戻すことにより、元の画像信号からノイズのみが除去された信号を得ていることとなり、この信号に対し後述する適応補間処理などを行うことで高域特性の劣化の少ない画像を得ることが可能となる。

ステップＳ４０３において、上記１プレーン化画像をメモリ２０４に格納する。次にステップＳ４０４において、高域抽出回路２０３が、入力画像信号からノイズに相当する高域成分を抽出する。以下、ノイズに相当する高域成分を、単にノイズ成分とも表現する。抽出するフィルタは例えば図７のような５×５のハイパスフィルタを用いる。なお入力画像信号を色毎に分離し、それぞれの色についてノイズ抽出を行っても良いが、メモリ節約のために本実施形態では特定の色成分、即ちＧ成分（Ｇ１とＧ２とのいずれか一方）のみからノイズ抽出を行う。

ただし、メモリ節約方法は上記色数を減らす方法に限らず、例えば、Ｇ信号から抽出したノイズ成分に対してさらに圧縮処理を施しても良い。圧縮処理は、例えば、次のように行う。図１０(a)は、高域成分抽出前の入力信号の信号レベルの頻度分布の例を示したものである。これに対し、図１０(b)は、ハイパスフィルタを用いてノイズ成分を抽出した結果の信号レベルの頻度分布の例を示したものである。一般的に画像信号の場合、信号の急峻な変化が少ないためノイズ成分の抽出結果の頻度分布は中心付近に集まる傾向がある。したがって、ノイズ成分の抽出結果について中心付近の所定範囲内に収まるよう信号をクリップして出力することにより、信号量をさらに圧縮することができる。

ステップＳ４０５において、上記抽出した信号をメモリ２０４に格納する。ステップＳ４０６において、適応補間回路２０６が、メモリ２０４から１プレーン化画像を読み出し、適応補間処理を行う。適応補間処理は１プレーン化画像の各画素における信号の縦横方向の相関を検出し、相関の高い方向に位置する同色の近傍画素の画素値を優先して用いることで、補間画素の値を算出する処理である。適応補間処理は公知の技術であるため詳細は省略する。適応補間を行うことで、再び画素毎に各色の色信号を有する画像が生成される。

ここで、帯域分割ノイズ抑圧回路２０１および１プレーン化回路２０２による処理を行なってから、適応補間回路２０６による適応補間処理を行う理由について説明する。

適応補間回路２０６が、帯域分割ノイズ抑圧回路２０１および１プレーン化回路２０２を介していない入力信号に対して適用補間処理を行うと、ノイズ成分を多く含んだ画像から、着目画素毎に相関の高い方向を検出しなければならなくなる。例えば、縦方向と横方向のどちらの相関が高いのかを検出するためには、着目画素の上下方向に隣接する同色画素間の信号レベルの差分と、左右方向に隣接する同色画素間の信号レベルの差分とを比較すればよい。このとき、それぞれの画素の信号レベルにノイズ成分が多く含まれていると、ノイズ成分によって信号レベルの差分が変化してしまうため、相関の高い方向を正しく検出することができなくなってしまう。その結果、補間する方向を誤ってしまい、適応補間後の画像に不自然な信号レベルの画素が含まれてしまう可能性が高くなる。これに対し、本実施形態では、ノイズ成分を抑制した後のベイヤー配列の画像に対して適応補間処理を行うため、適応補間処理の精度が向上し、適応補間後の画像に不自然な信号レベルの画素が含まれる可能性を低く抑えることができるようになる。

ステップＳ４０７において、エッジ強調回路２０５が、メモリ２０４から１プレーン化画像を読み出し、エッジ強調処理を行い、強調されたエッジの信号であるエッジ強調信号を生成する。エッジ強調処理は、１プレーン化画像に対し、例えば図５に示すフィルタを適用することでエッジ成分を強調した画像を生成し、このエッジ成分を強調した画像をもとの１プレーン化画像と合成する処理である。このとき、エッジ成分が閾値に満たない画素については、エッジ部ではないと判断し、エッジ成分を強調した画像を合成しないようにすればよい。なお、エッジ強調処理についても、この方法に限られるものではなく、公知の他の技術を適用することが可能である。

ステップＳ４０８において、加算器２０７により、適応補間処理された信号、エッジ強調信号、および、メモリ２０４から読み出されたノイズ成分として抽出された信号を加算する。帯域分割ノイズ抑圧回路２０１でノイズ成分が抑圧されたとはいえ、メモリ２０４に格納されたベイヤー配列で構成された画像には、ノイズ成分が残存している。各画素位置に対応するエッジ成分に応じて、どちらのサイズの画像を優先するかが異なるため、各画素位置に応じてノイズ成分が残存する割合も異なる。つまり、メモリ２０４に格納された画像は、ノイズ成分が多く残存している画素とノイズ成分の大半が抑圧された画素を両方とも有している。ゆえに、このノイズ成分が残存している画像に対して、適応補間回路２０６で適応補間処理を行うと、ノイズ成分についても補間処理が行われることになるため、残存するノイズ成分の周波数特性が低下してしまう。また、同様に、ノイズ成分が残存している画像に対して、エッジ強調回路２０５でエッジ強調処理を行うことで、ノイズ成分の周波数特性が変化してしまう。

そこで、本実施形態においては、適応補間回路２０６で適応補間処理が行われた画像に対して、ノイズ成分の周波数特性が変化する前の入力画像信号からノイズ成分として抽出された信号を抽出し、抽出した信号を適応補間処理が行われた画像に合成する。こうすることで、適応補間処理が行われた後の画像におけるノイズ成分の周波数特性を維持することが可能となる。

以上のように、本実施形態では入力された画像信号から色毎に周波数帯域の異なる複数の色信号を生成し、ノイズ抑圧処理を行ったのち１プレーン分の画像信号に変換する。また、別途画像信号よりノイズ成分を抽出しておき、１プレーン化画像に適応補間処理やエッジ強調処理を行った後の画像に対してノイズ成分を加算する。なお、この実施形態ではエッジ強調処理は必須ではなく、省略してもよい。このようにノイズ抑圧された信号から解像感を好適に補正された信号に対し、ノイズ成分を加算する構成としたことで、ノイズ抑圧処理により視覚的に不自然となるのを回避しつつ、残留ノイズの周波数特性も視覚的に好ましい状態を保つことが可能となる。
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、入力画像に対して縮小した画像を出力する処理を伴う場合について説明する。基本的な構成は第１の実施形態と同様であり、異なる点を中心に説明を行う。

図８は、本実施形態における画像処理回路１０５の構成の一部を示す図である。図８のうち、図２と同じ構成を有する回路には、図２と同じ符号を付与している。図２と異なる点は、適応補間回路２０６がなくなり、第２縮小回路８０１が追加された点である。

図９は、本実施形態における画像処理回路１０５の処理内容を説明するためのフローチャートである。

ステップＳ９０１において、第２縮小回路８０１は、あらかじめ決められた縮小率に応じて入力信号を縮小する。入力信号を色毎に分離し、それぞれにローパスフィルタをかけて縮小率に応じて間引く処理を行う。例えば、縮小率を垂直・水平方向にそれぞれ１／２とした場合、ローパスフィルタとして水平垂直方向にそれぞれ［１ ２ １］の係数を持つフィルタ処理を行い、次に２画素に１つの割合で画素を間引いていく。

ステップＳ９０２において、帯域分割ノイズ抑圧回路２０１は第１の実施形態と同様に、図３に示す構成に基づき帯域分割してノイズ抑圧処理を行う。ただし、入力信号がすでに同時化されているため、帯域分割ノイズ抑圧回路２０１の同時化処理は省略される。

ステップＳ９０３において、１プレーン化回路２０２は、上記ノイズ抑圧された各色信号から次式に従って輝度信号を生成する。

Ｙ ＝ ０．３×Ｒ ＋ ０．５９×Ｇ ＋ ０．１１×Ｂ ・・・（Ａ）
このように本実施形態の１プレーン化回路２０２は、複数の色信号に係数を掛けて加算することで、画素毎に１つの輝度信号を有する１プレーン化画像を生成する。なお、本実施形態では、輝度信号のみを後段のエッジ強調処理の対象とする。本実施形態では帯域分割ノイズ抑圧回路２０１にてノイズが抑圧された各色信号から輝度信号を生成することで、ノイズ成分によってＲ、Ｇ、Ｂの信号のレベルのバランスが崩れた状態から輝度信号を生成してしまう可能性を低減することができる。ただし、第１の実施形態と同様に、エッジ成分に応じてノイズ成分の抑圧レベルに差があるため、この輝度信号にも画素位置に応じて残存しているノイズ成分には差がある。

ステップＳ９０４において、輝度信号をメモリ２０４に格納する。ステップＳ９０５において、高域抽出回路２０３は、帯域分割ノイズ抑圧回路２０１にてノイズ抑圧処理が施される前の入力信号から、第１の実施形態と同様にノイズ成分を抽出する。ただし、高域抽出回路は、第１の実施形態においてはＧ信号のみから抽出したが、本実施形態ではＲ、Ｇ、Ｂの全ての色信号からノイズ成分を抽出し（Ａ）式に従って輝度信号成分を求める。

ステップＳ９０６において、上記ノイズ成分をメモリ２０４に格納する。ステップＳ９０７において、輝度信号をメモリから読み込み、エッジ強調回路２０５においてエッジ強調処理を行う。

ステップＳ９０８において、輝度信号およびエッジ強調信号を加算する。なお、第１の実施形態においては、メモリから読み出した信号から補間処理が必要であったが、本実施形態においては、ステップＳ９０１における縮小処理を伴い生成された輝度信号をメモリから読み出すため、十分帯域の広い輝度信号を得ることができるのであらためて適応補間などを行う必要がない。しかしながら、エッジ強調処理によって輝度信号に含まれるノイズ成分の周波数特性に変化が生じているため、ステップＳ９０９において、メモリ２０４からノイズ成分を読み出し、上記加算信号に加算する。このように本実施形態では、縮小処理を伴うノイズ抑圧処理においても、視覚的に好ましくノイズ抑圧された結果を得ることが可能である。

そして不図示の回路にて、エッジ強調処理およびノイズ成分を加算した輝度信号と、ＲおよびＢの色信号とを用いて色差信号を生成し、ノイズ成分を加算した後の輝度信号と未処理の色差信号とを合わせて映像信号として画像処理回路１０５から出力する。
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 画像信号を色毎に帯域分割した複数の色信号に対してノイズ抑圧処理を行うノイズ抑圧手段と、
   前記ノイズ抑圧手段で前記ノイズ抑圧処理が施された前記複数の色信号から、画素毎に１つの信号を有する１プレーン画像を生成する１プレーン化手段と、
   前記１プレーン画像に対して周波数特性が変化する画像処理を行う処理手段と、
   前記画像信号からノイズ成分を抽出するノイズ抽出手段と、
   前記ノイズ抽出手段により抽出された前記ノイズ成分を、前記処理手段で得られた信号に加算して出力する加算手段と、
   を備え、
   前記ノイズ抑圧手段は、
   前記複数の色信号の各色の色信号について、前記ノイズ抑圧処理を行う第１ノイズ抑圧手段と、
   前記複数の色信号のサイズを縮小する第１縮小手段と、
   前記サイズが縮小された複数の色信号について前記ノイズ抑圧処理を行う第２ノイズ抑圧手段と、
   前記第２ノイズ抑圧手段における前記ノイズ抑圧処理が行われた複数の色信号のサイズを、前記縮小がなされる前のサイズに拡大する拡大手段と、
   前記第１ノイズ抑圧手段から出力される複数の色信号と、前記拡大手段から出力される複数の色信号とを色毎に合成する合成手段と
   を備えることを特徴とする画像処理装置。
2. 前記１プレーン化手段は、前記ノイズ抑圧手段で前記ノイズ抑圧処理が施された前記複数の色信号から、前記画像信号のカラー配列と同じカラー配列となるようにサンプリングすることにより１プレーン画像を生成するか、または、前記ノイズ抑圧手段で前記ノイズ抑圧処理が施された前記複数の色信号に係数を掛けて加算することにより、輝度信号からなる１プレーン画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記処理手段は、前記１プレーン画像に補間処理を行う補間処理手段、および、前記１プレーン画像にフィルタ処理を行うフィルタ手段の少なくともいずれかであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補間処理手段は、前記１プレーン画像を色毎に補間することで、画素毎に複数の色信号を持たせるものであることを特徴とする請求項３に記載の画像処理装置。
5. 前記フィルタ手段は、前記１プレーン画像に対してエッジ強調を行うものであることを特徴とする請求項３に記載の画像処理装置。
6. 前記ノイズ抑圧処理では、前記色信号における注目画素と、該注目画素の近傍画素のうち該注目画素との画素値の差分が所定値以内の近傍画素との平均値により前記注目画素が置き換えられることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記合成手段は、前記第１ノイズ抑圧手段から出力された前記複数の色信号についてエッジ抽出を行い、エッジの強度がより強い画素について前記第１ノイズ抑圧手段から出力された前記複数の色信号を用いるように合成比率を決定し、前記合成を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記画像信号を色毎に帯域分割した複数の色信号のサイズを縮小する第２縮小手段を更に備え、
   前記ノイズ抑圧手段は、前記第２縮小手段から出力された前記サイズが縮小された複数の色信号を用いて前記ノイズ抑圧処理を行い、
   前記ノイズ抽出手段は、前記第２縮小手段から出力された前記サイズが縮小された複数の色信号を用いて前記ノイズ成分を抽出する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. ノイズ抑圧手段が、画像信号を色毎に帯域分割した複数の色信号に対してノイズ抑圧処理を行うノイズ抑圧工程と、
   １プレーン化手段が、前記ノイズ抑圧手段で前記ノイズ抑圧処理が施された前記複数の色信号から、画素毎に１つの信号を有する１プレーン画像を生成する１プレーン化工程と、
   処理手段が、前記１プレーン画像に対して周波数特性が変化する画像処理を行う処理工程と、
   ノイズ抽出手段が、前記画像信号からノイズ成分を抽出するノイズ抽出工程と、
   加算手段が、前記ノイズ抽出工程において抽出された前記ノイズ成分を、前記処理手段で得られた画像に加算して出力する加算工程と、
   を備える画像処理装置の制御方法であって、
   前記ノイズ抑圧工程は、
   前記複数の色信号の各色の色信号について、前記ノイズ抑圧処理を行う第１ノイズ抑圧工程と、
   前記複数の色信号のサイズを縮小する第１縮小工程と、
   前記サイズが縮小された複数の色信号について前記ノイズ抑圧処理を行う第２ノイズ抑圧工程と、
   前記第２ノイズ抑圧工程における前記ノイズ抑圧処理が行われた複数の色信号のサイズを、前記縮小がなされる前のサイズに拡大する拡大工程と、
   前記第１ノイズ抑圧工程で生成された複数の色信号と、前記拡大工程で生成された複数の色信号とを色毎に合成する合成工程と
   を備えることを特徴とする画像処理装置の制御方法。
10. コンピュータを請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images