JPWO2011067850A1 - 画像処理装置 - Google Patents

Abstract

１つの画像信号から複数の周波数帯域の画像信号を生成し、これら複数の周波数帯域の画像信号を合成することでノイズを抑圧する帯域処理回路と、折り返し信号を抑圧した輝度信号を生成する輝度色生成回路を有する。帯域処理回路で合成する複数の周波数帯域の画像信号のうちの最も周波数帯域の画像信号には、輝度色生成回路で生成した折り返し信号を抑圧した輝度信号が含まれる。

Description

本発明は、画像信号に生じる折り返し信号を抑圧する画像処理に関するものである。

ＣＣＤやＣＭＯＳセンサー等の撮像素子の色フィルタには様々な種類が存在し、原色（赤、緑、青）や補色（シアン、マゼンタ、イエロー）の色の組み合わせを有するものが代表的である。

図１３は、撮像素子の原色ベイヤー配列を示す図である。４つの画素に対して、１つの赤（Ｒ）および１つの青（Ｂ）が斜めに配置され、残りの２つの画素に対して緑（Ｇ１、Ｇ２）が配置されるパターンが繰り返される。

被写体に、撮像素子の分解能を超える高周波成分が含まれていると、その高周波成分の影響によって、撮像素子で生成された画像信号には折り返し信号が生じてしまう。そして、この折り返し信号を抑圧するための方法が、色々と提案されている。

例えば、折り返し信号を抑圧するために、図１３に示す原色ベイヤー配列のうち、ＲおよびＢ画素の信号を用いずに、Ｇ（Ｇ１、Ｇ２）画素の信号のみを用いて輝度信号を生成する方法がある。

まず、原色ベイヤー配列の撮像素子の出力をデジタル化したＲＧＢの各画素の信号のうち、Ｇ画素以外の信号の値を０とする。次に、垂直方向の帯域を制限する垂直ローパスフィルタ（Ｖ−ＬＰＦ）処理、および、水平方向の帯域を制限する水平ローパスフィルタ（Ｈ−ＬＰＦ）処理を行う。こうすることで、各画素に対して、Ｇ画素の信号を用いて補間を行った信号が生成され、Ｇの輝度信号が得られる。以下、この方式で得られた信号を第１輝度信号という。

あるいは、Ｒ画素以外の信号の値を０として、同様にＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理を施してＲの輝度信号を生成する。同様に、Ｂ画素以外の信号の値を０として、同様にＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理を施してＢの輝度信号を生成する。そして、これらをＲの輝度信号とＢの輝度信号をＧの輝度信号に加えることで得られる信号を第１輝度信号としてもよい。

また、折り返し信号を抑圧するために、図１３に示す原色ベイヤー配列の全ての色の信号を用いて輝度信号を生成する方法がある。

原色ベイヤー配列の撮像素子の出力をデジタル化したＲＧＢの各画素の信号のうち、色を区別することなく、全色の画素の信号を用いて、垂直方向の帯域を制限するＶ−ＬＰＦ処理、および、水平方向の帯域を制限するＨ−ＬＰＦ処理を行い、新たな信号を得る。以下、この方式で得られた信号を第２輝度信号という。

図１４は、第１輝度信号と第２輝度信号の解像可能な空間周波数特性を示す図である。

ｘ軸は被写体の水平（Ｈ）方向の周波数空間を、ｙ軸は垂直（Ｖ）方向の周波数空間を示し、原点から遠ざかるほど空間周波数が高くなる。

Ｇ画素の信号のみを用いて生成した第１輝度信号の水平および垂直方向の解像限界は、Ｇ画素の配列のナイキスト周波数（π／２）に等しい。しかし、斜め方向はＧの画素が存在しないラインが存在するため、斜め方向の限界解像周波数は、水平および垂直方向に比べて低くなり、図１４のひし形領域１５０１の内部が解像可能な空間周波数となる。

これは、Ｒ、Ｇ、Ｂの輝度信号を合成して第１輝度信号を生成する場合も同様である。なぜなら、Ｒ、Ｇ、Ｂの輝度信号のうち、最も解像度の高い輝度信号が、Ｇ画素の信号のみから生成したＧの輝度信号であるためである。

一方、第２輝度信号は、全色の画素の信号を用いて輝度信号を生成するため、被写体が無彩色の場合、図のような正方形領域１５０２が解像可能な空間周波数となる。第１輝度信号と異なり、斜め方向においても全てのラインにいずれかの色の画素が存在することになるため、斜め方向の解像可能な空間周波数は第１輝度信号よりも高くなる。しかしながら、例えば赤い被写体においては、Ｒ画素以外の画素からは信号がほとんど出力されないため、被写体が無彩色のときの４分の１の範囲１５０３の解像度しか得られなくなってしまう。

画像信号に含まれる折り返し信号を抑圧するために、このような第１輝度信号、第２輝度信号の特性を考慮して、輝度信号を生成する方法が提案されている。

例えば、被写体が白黒なのか、カラーなのかに応じて、第１輝度信号と第２輝度信号の混合比率を変化させて輝度信号を生成するものが提案されている（特許文献１）。

また、被写体が図１４における斜め方向の相関が強いの否かに応じて、第１輝度信号と第２輝度信号の混合比率を変化させて輝度信号を生成するものが提案されている（特許文献２）。

しかしながら、これらの方法は、折り返し信号を抑圧するという点では優れているが、それ以外のノイズ信号を抑圧するものではない。

例えば、近年は撮像素子の画素の微小化が進んでいる。この画素の微小化に起因してノイズが増加する場合もある。このノイズを信号処理により抑圧する様々な方法が知られているが、ノイズを抑圧することにより、画像がぼけるという影響を与えることが知られている。

これを回避する方法として、画像信号を複数の周波数成分に分割してノイズを抑圧する方法が知られている（特許文献３）。また、画像信号を縮小した縮小画像信号を生成し、この縮小画像信号と元の画像信号を合成することでノイズを抑圧する方法が知られている（特許文献４）。

例えば、入力された画像信号に対して、縮小処理を行うことで、入力された画像よりも低周波成分で構成された縮小画像を生成する。そして、低周波成分の縮小画像信号からエッジ強度を検出し、このエッジ強度に基づいて、エッジ成分を維持すべき領域を求める。そして、このエッジ成分を維持すべき領域の画像がぼけないように、領域ごとに重み付けを変えて、元の画像信号と、低周波成分の縮小画像信号を合成し、新たな画像信号を生成する。

特開２００３−３４８６０９号公報 特開２００８−０７２３７７号公報 特開２００８−０１５７４１号公報 特開２００９−１９９１０４号公報

しかしながら、この複数の周波数帯域の画像信号を合成することによってノイズを抑圧する方法は、折り返し信号については考慮していない。

原色ベイヤー配列のような単板センサの場合、帯域分割の際に行うダウンサンプリング処理により、補間をせずとも各画素がすべての色信号を有することが可能となる。

その理由について説明する。ここでは、水平方向に半分の画素数にダウンサンプリング処理する場合で説明する。

図１５のようにある行の色フィルタがＲ、Ｇ、Ｒ、Ｇ、Ｒ、Ｇ・・・の順に配列されているとする。この行において、Ｒ信号のみに注目すると、元々２画素に１つの周期で並んでいるＲ信号がダウンサンプリング処理により１画素毎の信号となる。また、Ｇ信号のみに注目した場合も、元々２画素に１つ存在するＧ信号がダウンサンプリング処理により１画素毎の信号となっている。ただし、Ｇ信号のダウンサンプリング処理では、Ｇ信号の重心位置をＲ信号に合わせるため両隣の画素値から平均値を演算することより値を求めている。以上のように、ダウンサンプリング処理を行うことで同じ画素位置に、補間をせずともＲＧＢすべての色信号が生成されることになる。以下、このように同じ画素位置に複数種類の信号が生成されることを同時化と呼ぶ。

ダウンサンプリング処理した画像信号は同時化されているため、元の画像信号をこのダウンサンプリング処理した画像信号と合成するためには、元の画像信号も同時化する必要がある。しかしながら、ダウンサンプリング処理によってノイズを抑圧したにも関わらず、この元の画像信号を同時化することによって、元の画像信号に含まれていた折り返し信号が合成した画像信号に重畳してしまうことになる。

本発明は、上記問題に鑑みてなされたもので、入力信号を複数の帯域に分割することによりノイズ処理などを行う画像処理装置において、撮像素子のサンプリングによる画像信号の折り返し信号も抑圧することが可能な画像処理装置を提供することを目的とする。

上記課題を解決するため、本願請求項１に記載の発明は、画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成手段と、前記生成手段で生成された前記複数の画像信号を合成する合成手段と、第１の色信号を含む複数の色信号で構成された画像信号が入力され、入力された画像信号のうちの前記第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成手段と、前記第１の色信号を含む複数の色信号で構成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成手段と、前記第１輝度信号と前記第２輝度信号を合成、あるいは、いずれかを選択した輝度信号を生成する輝度混合手段とを有し、前記合成手段にて合成する前記複数の画像信号のうちの最も周波数帯域の高い画像信号は、前記輝度混合手段にて生成された輝度信号を含むことを特徴とする画像処理装置を提供する。

同様に、上記課題を解決するため、本願請求項７に記載の発明は、画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成工程と、前記生成工程で生成された前記複数の画像信号を合成する合成工程と、第１の色信号を含む複数の色信号で構成された画像信号が入力され、入力された画像信号のうちの前記第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成工程と、前記第１の色信号を含む複数の色信号で構成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成工程と、前記第１輝度信号と前記第２輝度信号を合成、あるいは、いずれかを選択した輝度信号を生成する輝度混合工程とを有し、前記合成工程にて合成する前記複数の画像信号のうちの最も周波数帯域の高い画像信号は、前記輝度混合工程にて生成された輝度信号を含むことを特徴とする画像処理方法を提供する。

以上説明したように、本発明によれば、画像信号を複数の帯域に分割することによるノイズ抑圧処理を実行しつつ、折り返し信号を抑圧することが可能となる。

本発明の実施形態におけるデジタルカメラの概略構成を示す図である。 本発明の第１の実施形態における画像処理回路１０５の構成の一部を示す図である。 図２の画像処理回路１０５における処理内容を説明するためのフローチャートである。 図２の第１輝度信号生成回路２０４が第１輝度信号Ｙａを生成する過程を説明するための図である。 図２の第２輝度信号生成回路２０５が第２輝度信号Ｙｂを生成する過程を説明するための図である。 彩度Ｓに対する第１輝度信号の混合率αを示す図である。 拡大回路２１２におけるアップサンプリング処理を説明するための図である。 図２の合成率算出回路２０９におけるエッジ検出のフィルタ係数の例を示す図である。 エッジ成分に対する高域階層画像信号の混合率βを示す図である。 本発明の第２の実施形態における画像処理回路１０５の構成の一部を示す図である。 図１０の画像処理回路１０５における処理内容を説明するためのフローチャートである。 本発明の第３の実施形態における画像処理回路１０５の構成の一部を示す図である。 撮像素子の原色ベイヤー配列を示す図である。 第１輝度信号と第２輝度信号の解像可能な空間周波数特性を示す図である。 ダウンサンプリング処理により各画素がすべての色信号を有することを説明するための図である。

（第１の実施形態）
図１は、本発明の実施の形態におけるデジタルカメラの概略構成を示す図である。本発明は、画像信号に対して画像処理を施すことができる装置であれば、デジタルカメラに限らず、デジタルビデオカメラやパーソナルコンピュータなどでも実現することが可能である。

図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り装置、および、シャッター装置を備えている。この光学系１０１は、撮像素子１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像素子１０２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等の光電変換素子であり、被写体像を電気信号に変換して画像信号を生成する。本実施形態では撮像素子１０２はＣＣＤで構成されているものとする。

前置処理回路１０３は、ＣＤＳ（Correllated Double Sampling）回路や増幅回路を備えている。ＣＤＳ回路は撮像素子１０２で生成された画像信号に含まれている暗電流を抑圧し、増幅回路はＣＤＳ回路から出力された画像信号を増幅する。Ａ／Ｄ変換器１０４は、前置処理回路１０３から出力された画像信号をデジタルの画像信号に変換する。

画像処理回路１０５は、画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、輪郭補正処理などを行い、画像信号を輝度信号Ｙおよび色差信号Ｕ、Ｖとして出力する。また、画像処理回路１０５は、画像信号から被写体の輝度値や被写体のピント状態を示す合焦値も算出する。画像処理回路１０５はＡ／Ｄ変換器１０４から出力された画像信号のみでなく、記録媒体１０９から読み出した画像信号に対しても同様の画像処理を行うことができる。制御回路１０６は、本実施形態のデジタルカメラを構成する各回路を制御して、デジタルカメラの動作を統括する。画像処理回路１０５で処理された画像信号から得られる輝度値や操作部材１１０から送信された指示に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。

表示メモリ１０７は、表示装置１０８で表示する画像の元になる画像信号を一時的に記憶するメモリである。表示装置１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像素子１０２で生成された画像信号や、記録媒体１０９から読み出した画像信号を用いて、画像を表示する。撮像素子１０２から読み出される連続した画像信号を、随時更新して表示することで、電子的なビューファインダーとして機能することが可能である。表示装置１０８は画像だけではなく、デジタルカメラの状態表示、ユーザーが選択あるいはカメラが決定したシャッター速度、絞り値、あるいは、感度情報などの文字情報、画像処理回路１０５にて測定した輝度分布を示すグラフ等も表示することが可能である。記録媒体１０９は、このデジタルカメラに着脱可能に構成されたものであっても、デジタルカメラに内蔵されたものであってもよい。

操作部材１１０は、ユーザーがデジタルカメラに指示を送るために操作する部材である。バス１１１は、画像処理回路１０５、制御回路１０６、表示メモリ１０７、および、記録媒体１０９の間で画像信号をやり取りするために用いられる。

次に、本実施形態におけるデジタルカメラの撮影時の動作の一例について説明する。

ユーザーによって操作部材１１０が操作され、撮影準備を開始する指示が送られると、制御回路１０６がそれぞれの回路の動作の制御を開始する。

撮像素子１０２が光学系１０１を透過した被写体像を光電変換してアナログの画像信号を生成し、Ａ／Ｄ変換器１０４が前置処理回路１０３によって処理されたアナログの画像信号をデジタル化する。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、輪郭補正処理などを行う。

画像処理回路１０５で処理された画像信号は、表示メモリ１０７を介して、表示装置１０８で画像として表示される。上述したように、撮像素子１０２で連続的に画像信号を生成し、表示装置１０８が読み出される連続した画像信号を用いて、被写体の画像をリアルタイムで更新して表示することで、電子的なビューファインダーとして機能する。

ユーザーが操作部材１１０に含まれるシャッターボタンを操作するまで、これらの処理を繰り返す。ユーザーがシャッターボタンを操作すると、制御回路１０６は画像処理回路１０５で得られた輝度値や合焦値に基づいて光学系１０１の動作を再調整して静止画の撮影を行う。画像処理回路１０５が、この静止画の画像信号に対してノイズ抑圧処理を含む種々の画像処理を行う。そして、記録媒体１０９が画像処理回路１０５から出力された画像信号を記録する。

ここで、本発明の特徴である、画像処理回路１０５におけるノイズ抑圧処理について詳細に説明を行う。図２は、画像処理回路１０５の構成の一部を示す図である。

本実施形態の画像処理回路１０５は、ホワイトバランス回路２０１、輝度色生成回路２０２、および、帯域処理回路２０３を含む。輝度色生成回路２０２は、第１輝度信号生成回路２０４、第２輝度信号生成回路２０５、輝度混合回路２０６、および、色生成回路２０７で構成されている。帯域処理回路２０３は、ノイズ抑圧回路２０８、合成率算出回路２０９、縮小回路２１０、ノイズ抑圧回路２１１、拡大回路２１２、および、画像合成回路２１３で構成されている。

図３は、画像処理回路１０５のホワイトバランス回路２０１、輝度色生成回路２０２、および、帯域処理回路２０３における処理内容を説明するためのフローチャートである。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号を受け取ると、この図３のフローチャートに示す処理を行う。

ステップＳ３０１において、ホワイトバランス回路２０１が、Ａ／Ｄ変換器１０４から受け取った画像信号に対して、ホワイトバランス処理を行う。この時点では、画像信号はＲＡＷ形式で構成されており、１画素につき、ＲＧＢのいずれか１色の信号を有している。ホワイトバランス回路２０１は、白とみなせる被写体に対するＲＧＢの信号レベルがほぼ等しくなるように、色信号別にゲイン係数を算出する。なお、ゲイン係数の算出は一般的な方法によって算出すればよいので、詳細は省略する。

ステップＳ３０２において、第１輝度信号生成回路２０４が、第１輝度信号Ｙａを生成する。図４は、第１輝度信号生成回路２０４が第１輝度信号Ｙａを生成する過程を説明するための図である。

第１輝度信号生成回路２０４は、図４に示すように、ホワイトバランス回路２０１から出力されたベイヤー配列のＲＡＷ形式の画像信号が入力され、このＲＡＷ形式の画像信号を色毎の画像信号に分離する。具体的には、Ｇ画素以外の画素の信号として０を挿入したＧ信号からなる画像信号、Ｒ画素以外の画素の信号として０を挿入したＲ信号からなる画像信号、Ｂ画素以外の画素の信号として０を挿入したＢ信号からなる画像信号を生成する。

次に、第１輝度信号生成回路２０４は、補間処理によって各画素におけるそれぞれの色信号を生成することで、同時化を行う。

例えば、Ｒ信号からなる画像信号において、座標（ｍ，ｎ）における補間前の信号をＲ（ｍ，ｎ）、補間後の信号をＲａ（ｍ，ｎ）とすると、補間後の信号Ｒａ（ｍ，ｎ）を式（１）〜式（４）のように算出することができる。
Ｒａ（１，１）= Ｒ（１，１）・・・（１）
Ｒａ（１，２）=｛Ｒ（１，１）＋Ｒ（１，３）｝／２・・・（２）
Ｒａ（２，１）=｛Ｒ（１，１）＋Ｒ（３，１）｝／２・・・（３）
Ｒａ（２，２）=｛Ｒ（１，１）＋Ｒ（１，３）＋Ｒ（３，１）＋Ｒ（３，３）｝／４・・・（４）

Ｂ信号からなる画像信号における補間後の信号Ｂａ（ｍ，ｎ）も、同様の方法で算出する。

また、Ｇ信号からなる画像信号においては、補間後の信号Ｇａ（ｍ，ｎ）を式（５）〜式（８）のように算出することができる。
Ｇａ（２，２）＝｛Ｇ（１，２）＋Ｇ（３，２）＋Ｇ（２，１）＋Ｇ（２，３）｝／４・・・（５）
Ｇａ（２，３）＝｛４×Ｇ（２，３）＋Ｇ（１，２）＋Ｇ（１，４）＋Ｇ（３，２）＋Ｇ（３，４）｝／８・・・（６）
Ｇａ（３，２）＝｛４×Ｇ（３，２）＋Ｇ（２，１）＋Ｇ（２，３）＋Ｇ（４，１）＋Ｇ（４，３）｝／８・・・（７）
Ｇａ（３，３）＝｛Ｇ（２，３）＋Ｇ（４，３）＋Ｇ（３，２）＋Ｇ（３，４）｝／４・・・（８）

もちろん、これらの補間方法は一例であって、これ以外の公知の様々な補間方法を適用することが可能である。例えば、元の信号の高域の特性劣化を抑止するため、被写体の方向毎の相関をあらかじめ判定しておき、最も相関の高い方向に位置する信号の重み付けを大きくして、補間を行うようにしてもよい。

このようにして求めたＲａ信号、Ｇａ信号、Ｂａ信号を式（９）に当てはめることにより、座標（ｍ，ｎ）の画素における第１輝度信号Ｙａ（ｍ，ｎ）を求めることができる。
Ｙａ（ｍ，ｎ）＝０．３×Ｒａ（ｍ，ｎ）＋０．６×Ｇａ（ｍ，ｎ）＋０．１×Ｂａ（ｍ，ｎ）・・・（９）

そして、第１輝度信号生成回路２０４は、求めた第１輝度信号Ｙａを、輝度混合回路２０６へ出力する。

なお、ここではＲａ信号、Ｇａ信号、Ｂａ信号を用いて第１輝度信号Ｙａを求める例を挙げて説明を行ったが、Ｇａ信号をそのまま第１輝度信号Ｙａとしても良い。

ステップＳ３０３において、第２輝度信号生成回路２０５が、第２輝度信号Ｙｂを生成する。第２輝度信号Ｙｂは、第１の輝度信号Ｙａと異なり、色信号を区別することなく、全色の画素の信号を均等に扱って生成される輝度信号である。図５は、第２輝度信号生成回路２０５が第２輝度信号Ｙｂを生成する過程を説明するための図である。

第２輝度信号生成回路２０５は、図５に示すように、ホワイトバランス回路２０１から出力されたＲＡＷ形式の画像信号が入力される。第２輝度信号生成回路２０５は、この、ＲＡＷ形式の画像信号に対して垂直ローパスフィルタ（Ｖ−ＬＰＦ）処理、および、水平ローパスフィルタ（Ｈ−ＬＰＦ）処理を行い、第２輝度信号Ｙｂとする。このＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理では、例えば、［１、２、１］で表すことのできるフィルタ係数を用いればよい。あるいは、画像信号のエッジの状態や周囲の画素との相関レベルに応じて、フィルタの方向やフィルタ係数を適応的に変更してもよい。

なお、第２輝度信号生成回路２０５における処理を省略し、ＲＡＷ形式の画像信号を、第２輝度信号Ｙｂとして扱うようにしてもよい。すなわち、式（１０）〜式（１３）のように、画素ごとに第２輝度信号Ｙｂを求めることができる。
Ｙｂ（１，１）＝Ｒ（１，１）・・・（１０）
Ｙｂ（１，２）＝Ｇ（１，２）・・・（１１）
Ｙｂ（２，１）＝Ｇ（２，１）・・・（１２）
Ｙｂ（２，２）＝Ｂ（２，２）・・・（１３）

ステップＳ３０４において、輝度混合回路２０６は、第１輝度信号Ｙａと第２輝度信号Ｙｂを混合し、輝度信号Ｙｐを生成する。輝度混合回路２０６は、輝度信号Ｙｐに対する第１輝度信号の混合率をαとすると、画素ごとに第１輝度信号Ｙａおよび第２輝度信号Ｙｂを式（１４）に当てはめることで、画素ごとの輝度信号Ｙｐを求めている。
Ｙｐ＝α×Ｙａ＋（１−α）×Ｙｂ・・・（１４）

ここで、本実施形態では、輝度混合回路２０６は、被写体の彩度Ｓに応じて、輝度信号Ｙｐに対する第１輝度信号の混合率αを決定する。この混合率αの求めた方について説明する。輝度混合回路２０６は第１輝度信号生成回路２０４と同様に、ＲＡＷ形式の画像信号を色毎に分離して同時化を行う。そして、式（１５）のように、各画素におけるＲ信号とＧ信号の差分の絶対値とＢ信号とＧ信号の差分の絶対値を加算することで、各画素における彩度Ｓを求める。
Ｓ＝｜Ｒ−Ｇ｜＋｜Ｂ−Ｇ｜・・・（１５）

輝度混合回路２０６は、この彩度Ｓに応じた混合率αを不図示のメモリから読み出す。図６は、彩度Ｓに対する第１輝度信号の混合率αを示す図である。図６に示すように、輝度混合回路２０６は、彩度の高い画素においては混合率αを大きくして第１輝度信号Ｙａの混合率を大きくし、彩度の低い画素においては混合率αを小さくして第２輝度信号Ｙｂの混合率を大きくする。

なお、第１輝度信号Ｙａと第２輝度信号Ｙｂの混合率の求め方はこの限りではなく、Ｒ信号とＧ信号の差分の絶対値から求めた混合率と、Ｂ信号とＧ信号の差分の絶対値から求めた混合率を乗算して、最終的な混合率を決定しても良い。また、第１輝度信号Ｙａと第２輝度信号Ｙｂを加算して合成するのではなく、混合率が高いほうの輝度信号のみを選択するようにしてもよい。あるいは、斜め方向の相関が閾値よりも高いと判断された領域が存在する場合には、その領域のみに対して第２輝度信号Ｙｂを用いるように構成しても良い。また、第１輝度信号Ｙａおよび第２輝度信号Ｙｂの高域成分に含まれる色の構成比が異なるため、被写体の色が偏っていると、第１輝度信号Ｙａと第２輝度信号Ｙｂの値に大きな差が出る。そこで、第１輝度信号Ｙａの低域成分と第２輝度信号Ｙｂの高域成分を求めて、これらを合成した第３輝度信号Ｙｃを求め、この第３の輝度信号Ｙｃと第１輝度信号Ｙａとを上記の混合率で混合するようにしてもよい。

ステップＳ３０５において、色生成回路２０７は、ホワイトバランス回路２０１から出力されたＲＧＢ信号を用いて色差信号Ｕｐ、Ｖｐを生成する。色生成回路２０７は、ＲＧＢ信号に対して色補間処理、偽色除去処理、および、マトリックス変換などを行って色差信号Ｕｐ、Ｖｐを生成する。色差信号Ｕｐ、Ｖｐの生成の仕方は一般的な方法を用いればよく、その方法自体は公知であるため、詳細な説明は省略する。

以上のステップＳ３０５までの処理によって、輝度色生成回路２０２の内部で折り返し信号が抑圧された輝度信号Ｙｐと、色差信号Ｕｐ、Ｖｐが生成され、これらの信号が帯域処理回路２０３へ出力される。

ステップＳ３０６において、縮小回路２１０が、輝度混合回路２０６で生成された輝度信号Ｙｐと色生成回路で生成された色差信号Ｕｐ、Ｖｐを受け取り、これらを用いて帯域を落とした画像信号を生成する。

縮小回路２１０は、輝度信号Ｙｐと色差信号Ｕｐ、Ｖｐのそれぞれに対し、［１、２、１］で示されるフィルタ係数を有するＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理を施す。それから縮小回路２１０は、水平および垂直方向において画素数が１／２となるように、ＬＰＦ処理後の輝度信号Ｙ_ｐと色差信号Ｕｐ、Ｖｐにダウンサンプリング処理を施して、輝度信号Ｙ_ｌｏｗと色差信号Ｕ_ｌｏｗ、Ｖ_ｌｏｗを生成する。

本実施形態では、低域階層画像信号の最も高い周波数帯域は、高域階層画像信号の最も高い周波数帯域の半分となり、高域階層画像信号の低域側の周波数帯域が、低域階層画像信号の周波数帯域と重畳している。

ステップＳ３０７において、ノイズ抑圧回路２０８が高域階層画像信号に対してノイズ抑圧処理を行い、ノイズ抑圧回路２１１が低域階層画像信号に対してノイズ抑圧処理を行う。ノイズ抑圧回路２０８とノイズ抑圧回路２１１の処理内容は同じなので、ここではノイズ抑圧回路２０８を例に挙げて、ノイズ抑圧処理の中身について説明する。

ノイズ抑圧回路２０８は、高域階層画像信号における注目画素と、その注目画素を中心とした５×５画素の範囲に含まれる周辺画素の輝度信号Ｙｐを用いて、ノイズ抑圧処理を行う。

ノイズ抑圧回路２０８は、注目画素と周辺画素の輝度信号Ｙｐの差分の絶対値を演算し、閾値と比較する。すなわち、注目画素の輝度信号をＹｐ（ｓ，ｔ）、周辺画素の輝度信号をＹｐ（ｉ，ｊ）、閾値をＴＨ_Ｙとすると、式（１６）を満たす輝度信号Ｙ（ｉ，ｊ）を求める。
Ｙｐ（ｉ，ｊ）−Ｙｐ（ｓ，ｔ）｜＜ＴＨ_Ｙ
ただし、ｓ−２≦ｉ≦ｓ＋２、ｔ−２≦ｊ≦ｔ＋２・・・（１６）

そして、この式を満たすＹｐ（ｉ，ｊ）を抽出し、その平均値を注目画素の輝度信号Ｙｐ（ｓ，ｔ）の値として置き換える。

また、ノイズ抑圧回路２０８は、注目画素の色差信号をＵｐ（ｓ，ｔ）、Ｖｐ（ｓ，ｔ）、周辺画素値をＵｐ（ｉ，ｊ）、Ｖｐ（ｉ，ｊ）、閾値をＴＨ_Ｃとすると、式（１７）を満たすＵｐ（ｉ，ｊ）とＶｐ（ｉ，ｊ）を求める。
｜Ｕｐ（ｉ，ｊ）−Ｕｐ（ｓ，ｔ）｜＋｜Ｖｐ（ｉ，ｊ）−Ｖｐ（ｓ，ｔ）｜＜ＴＨ_Ｃ
ただし、ｓ−２≦ｉ≦ｓ＋２、ｔ−２≦ｊ≦ｔ＋２・・・（１７）

そして、この式を満たすＵｐ（ｉ，ｊ）とＶｐ（ｉ，ｊ）を抽出し、それぞれの平均値を注目画素の色差信号Ｕｐ（ｓ，ｔ）、Ｖｐ（ｓ，ｔ）として置き換える。

ノイズ抑圧回路２０８は、これらの輝度信号Ｙｐ、色差信号Ｕｐ、Ｖｐに対する処理を全ての画素に対して行うことで、高域階層画像信号のノイズを抑圧する。なお、画像信号の端部の画素については５×５画素の範囲を設定できないため、このような画素については周辺画素の設定方法を適宜変更してノイズの抑圧を行うようにする。

ノイズ抑圧回路２１１も、同様の処理を低域階層画像信号の輝度信号Ｙ_ｌｏｗ、色差信号Ｕ_ｌｏｗ、Ｖ_ｌｏｗに対して行うことで、低域階層画像信号のノイズを抑圧する。勿論、ノイズを抑圧する方法はこれに限られるものではなく、一般的に知られている他の様々なノイズの抑圧方法を適用することが可能である。

そして、ノイズ抑圧回路２１１によってノイズ抑圧処理が行われた低域階層画像信号は、拡大回路２１２に出力される。拡大回路２１２は、ノイズ抑圧処理が行われた低域階層画像信号に対してアップサンプリング処理を行い、低域階層画像信号の画素数を、高域域階層画像信号の画素数と等しくする。具体的には、図７に示すように、低域階層画像信号の画素数を２倍に増やすとともに、新たに生成された画素の信号を０とする。それから、例えば、０の値とされた画素に対し、周囲にある画素の値を用いて線形補間を行うことで、全ての位置の画素に対して信号を持たせることができる。これらの処理を、輝度信号Ｙ_ｌｏｗ、色差信号Ｕ_ｌｏｗ、Ｖ_ｌｏｗのそれぞれに対して行う。

ステップＳ３０８において、合成率算出回路２０９が、高域階層画像信号と低域階層画像信号の合成率を算出する。具体的には、合成率算出回路２０９は高域階層画像信号の輝度信号Ｙｐに対して、図８に示すフィルタを用いて各画素におけるエッジ成分を求める。そして、合成算出回路２０９は、このエッジ成分に応じた混合率βを不図示のメモリから読み出す。図９は、エッジ成分に対する高域階層画像信号の混合率βを示す図である。図９に示すように、合成率算出回路２０９は、エッジ成分の高い画素においては混合率βを大きくして高域階層画像信号の混合率を大きくし、エッジ成分の低い画素においては混合率βを小さくして低域階層画像信号の混合率を大きくする。

ステップＳ３０９において、画像合成回路２１３が、合成率算出回路２０９で求められた混合率βを用いて、高域階層画像信号の輝度信号Ｙｐと低域階層画像信号Ｙ_ｌｏｗを合成し、輝度信号Ｙを得る。具体的には、ノイズ抑圧回路２０８でノイズ抑圧処理が施された高域階層画像信号の輝度信号Ｙｐと、拡大回路２１２で拡大処理された低域階層画像信号の輝度信号Ｙ_ｌｏｗを、式（１８）を用いて加算する。
Ｙ＝β×Ｙｐ＋（１−β）×Ｙ_ｌｏｗ・・・（１８）

同様に、ノイズ抑圧回路２０８でノイズ抑圧処理が施された高域階層画像信号の色差信号Ｕｐ、Ｖｐと、拡大回路２１２で拡大処理された低域階層画像信号の輝度信号Ｕ_ｌｏｗ、Ｖ_ｌｏｗを、式（１９）、式（２０）を用いて加算する。
Ｕ＝β×Ｕｐ＋（１−β）×Ｕ_ｌｏｗ・・・（１９）
Ｖ＝β×Ｖｐ＋（１−β）×Ｖ_ｌｏｗ・・・（２０）

以上のように、予め折り返し信号を抑圧した画像信号から、複数の周波数帯域の画像信号を生成する構成としたことで、これらの複数の周波数帯域の画像信号を合成した場合であっても、折り返し信号を抑制することが可能となる。

なお、本実施形態では１つの階層の低域階層画像信号しか生成しない構成を例にあげて説明を行ったが、これに限られるものではない。縮小回路２１０、ノイズ抑圧回路２１１および拡大回路２１２をそれぞれ複数設け、異なる周波数帯域で多階層化した低域階層画像信号のそれぞれに対してノイズ抑圧処理を行い、それらを画像合成回路２１３で合成するようにしても良い。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、複数の周波数帯域の画像信号を生成し、これら複数の画像信号の一部の画像信号に対して、折り返し信号の抑圧処理を行うものである。基本的な構成は第１の実施形態と同様であり、異なる点を中心に説明を行う。

図１０は、本実施形態における画像処理回路１０５の構成の一部を示す図である。図１０のうち、図２と同じ構成を有する回路には、図２と同じ符号を付与している。本実施形態の画像処理回路１０５は、ホワイトバランス回路２０１、輝度色生成回路２０２、および、帯域処理回路１００３を含む。

帯域処理回路１００３は、ノイズ抑圧回路２０８、合成率算出回路２０９、縮小回路１０１０、ノイズ抑圧回路２１１、拡大回路２１２、および、画像合成回路２１３で構成されている。第１の実施形態では、輝度信号Ｙｐと色差信号Ｕｐ、Ｖｐを縮小回路２１０に入力することで、輝度信号Ｙ_ｌｏｗと色差信号Ｕ_ｌｏｗ、Ｖ_ｌｏｗを生成していた。これに対し、本実施形態では、ホワイトバランス回路２０１から出力されたＲＡＷ形式のＲＧＢ信号から、輝度信号Ｙ_ｌｏｗと色差信号Ｕ_ｌｏｗ、Ｖ_ｌｏｗを生成し、高域階層画像信号にのみ折り返し信号の抑圧処理を施す点が異なる。

図１１は、画像処理回路１０５のホワイトバランス回路２０１、輝度色生成回路２０２、および、帯域処理回路１００３における処理内容を説明するためのフローチャートである。

ステップＳ１１０１において、ホワイトバランス回路２０１が、Ａ／Ｄ変換器１０４から受け取った画像信号に対して、ホワイトバランス処理を行う。

ステップＳ１１０２において、縮小回路１０１０が、ベイヤー配列のＲＡＷ形式の画像信号を、色毎の画像信号に分離する。具体的には、Ｇ画素以外の画素の信号として０を挿入したＧ信号からなる画像信号、Ｒ画素以外の画素の信号として０を挿入したＲ信号からなる画像信号、Ｂ画素以外の画素の信号として０を挿入したＢ信号からなる画像信号を生成する。そして、それぞれの色の画像信号に対して、例えば［１、２、１］で表すことのできるフィルタ係数を用いて、Ｖ−ＬＰＦ処理およびＨ−ＬＰＦ処理を施して同時化を行う。それから縮小回路１０１０は、同時化したそれぞれの色の画像信号に対してダウンサンプリング処理を施して、水平および垂直方向において画素数が１／２となる画像信号を生成する。そして、これらのダウンサンプリング処理を施した画像信号を用いて式（９）の演算を行うことで、輝度信号Ｙ_ｌｏｗと色差信号Ｕ_ｌｏｗ、Ｖ_ｌｏｗを生成する。

ステップＳ１１０３において、第１輝度信号生成回路２０４が、図３のステップＳ３０２と同様の処理により、ホワイトバランス回路２０１から出力されたベイヤー配列のＲＡＷ形式の画像信号から、第１輝度信号Ｙａを生成する。

ステップＳ１１０４において、第２輝度信号生成回路２０５が、図３のステップＳ３０３と同様の処理により、ホワイトバランス回路２０１から出力されたベイヤー配列のＲＡＷ形式の画像信号から、第２輝度信号Ｙｂを生成する。

ステップＳ１１０５において、輝度混合回路２０６は、図３のステップＳ３０４と同様の処理により、第１輝度信号Ｙａと第２輝度信号Ｙｂを混合し、輝度信号Ｙｐを生成する。

ステップＳ１１０６において、色生成回路２０７は、図３のステップＳ３０５と同様の処理により、ホワイトバランス回路２０１から出力されたＲＧＢ信号を用いて色差信号Ｕｐ、Ｖｐを生成する。

ステップＳ１１０７において、ノイズ抑圧回路２０８が高域階層画像信号に対してノイズ抑圧処理を行い、ノイズ抑圧回路２１１が縮小回路１０１０から出力された低域階層画像信号に対してノイズ抑圧処理を行う。これらのノイズ抑圧処理は図３のステップＳ３０７と同様の処理である。

ステップＳ１１０８において、合成率算出回路２０９が、図３のステップＳ３０８と同様の処理により、高域階層画像信号と低域階層画像信号の合成率を算出する。

ステップＳ１１０９において、画像合成回路２１３が、図３のステップＳ３０９と同様の処理により、合成率算出回路２０９で求められた混合率βを用いて、高域階層画像信号と低域階層画像信号を合成する。

このように本実施形態では、高域階層画像信号に対しては折り返し信号を抑圧するための処理を行っているが、縮小回路１０１０から出力された低域階層画像信号に対しては、折り返し信号を抑圧するための処理を行っていない。これは、低域階層画像信号を生成する過程で、この画像信号にはローパスフィルタ処理が施されて画像信号が平滑化されているため、折り返し信号の影響がすでに抑圧されていると考えられるためである。

このように、１つの画像信号から複数の周波数帯域の画像信号を生成し、最も高い周波数帯域の画像信号に対して予め折り返し信号を抑圧することで、これらの複数の周波数帯域の画像信号を合成した場合でも折り返し信号を抑制することが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第１の実施形態では、帯域処理回路２０３において、元の画像信号よりも周波数帯域を低くした別の画像信号を生成したが、本実施形態では、元の画像信号を周波数帯域が重ならない複数の周波数成分に分離する点で異なる。

図１２は、画像処理回路１０５の別の構成の一部を示す図である。図１２のうち、図２と同じ構成を有する回路には、図２と同じ符号を付与している。本実施形態の画像処理回路１０５は、ホワイトバランス回路２０１、輝度色生成回路２０２、および、帯域処理回路１２０３を含む。

輝度色生成回路２０２より出力された折り返し信号が抑圧された輝度信号Ｙｐおよび色差信号Ｕｐ、Ｖｐは、まず帯域処理回路１２０３のＬＰＦ１２１１およびハイパスフィルタ（ＨＰＦ）１２１２に入力される。

ＬＰＦ１２１１は、図２の縮小回路２１０と同様に輝度信号Ｙｐと色差信号Ｕｐ、Ｖｐのそれぞれに対してＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理を施し、輝度信号Ｙ_ｌｏｗ１と色差信号Ｕ_ｌｏｗ１、Ｖ_ｌｏｗ１を生成する。このＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理は、例えば［１、２、１］で示されるフィルタ係数を有する。

ＨＰＦ１２１２は、輝度色生成回路２０２より出力された輝度信号Ｙｐ、色差信号Ｕｐ、Ｖｐから、ＬＰＦ１２１１で生成された輝度信号Ｙ_ｌｏｗ１、色差信号Ｕ_ｌｏｗ１、Ｖ_ｌｏｗ１を減算する。その結果、ＨＰＦ１２１２は、輝度信号Ｙｐおよび色差信号Ｕｐ、Ｖｐの高周波成分である輝度信号Ｙ_{ｈｉｇｈ１}および色差信号Ｕ_{ｈｉｇｈ１}、Ｖ_{ｈｉｇｈ１}を抽出することができる。

輝度信号Ｙ_{ｈｉｇｈ１}および色差信号Ｕ_{ｈｉｇｈ１}、Ｖ_{ｈｉｇｈ１}はノイズ抑圧回路１２１３に入力され、図２のノイズ抑圧回路２０８と同様の方法でノイズ抑圧処理が施される。また、輝度信号Ｙ_{ｈｉｇｈ１}および色差信号Ｕ_{ｈｉｇｈ１}、Ｖ_{ｈｉｇｈ１}は合成率算出回路１２１４に入力され、図２の合成率算出回路２０９と同様の方法で合成率が算出される。

ＬＰＦ１２１１で生成された輝度信号Ｙ_ｌｏｗ１と色差信号Ｕ_ｌｏｗ１、Ｖ_ｌｏｗ１は、ダウンサンプリング（ＤＳ）回路１２１５に入力される。ＤＳ回路１２１５は、水平および垂直方向において画素数が１／２となるように、輝度信号Ｙ_ｌｏｗ１と色差信号Ｕ_ｌｏｗ１、Ｖ_ｌｏｗ１にダウンサンプリング処理を施して、輝度信号Ｙｐ_２と色差信号Ｕｐ_２、Ｖｐ_２を生成する。

ＤＳ回路１２１５から出力された輝度信号Ｙｐ_２および色差信号Ｕｐ_２、Ｖｐ_２は、ＬＰＦ１２１６およびＨＰＦ１２１７に入力される。

ＬＰＦ１２１６は、図２の縮小回路２１０と同様に輝度信号Ｙｐ_２と色差信号Ｕｐ_２、Ｖｐ_２のそれぞれに対してＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理を施し、輝度信号Ｙ_ｌｏｗ２と色差信号Ｕ_ｌｏｗ２、Ｖ_ｌｏｗ２を生成する。

ＨＰＦ１２１７は、ＤＳ回路１２１５より出力された輝度信号Ｙｐ_２、色差信号Ｕｐ_２、Ｖｐ_２から、ＬＰＦ１２１６で生成された輝度信号Ｙ_ｌｏｗ２、色差信号Ｕ_ｌｏｗ２、Ｖ_ｌｏｗ２を減算する。その結果、ＨＰＦ１２１７は、輝度信号Ｙｐ_２および色差信号Ｕｐ_２、Ｖｐ_２の高周波成分である輝度信号Ｙ_{ｈｉｇｈ２}および色差信号Ｕ_{ｈｉｇｈ２}、Ｖ_{ｈｉｇｈ２}を抽出することができる。

輝度信号Ｙ_{ｈｉｇｈ２}および色差信号Ｕ_{ｈｉｇｈ２}、Ｖ_{ｈｉｇｈ２}はノイズ抑圧回路１２１８に入力され、図２のノイズ抑圧回路２０８と同様の方法でノイズ抑圧処理が施される。また、輝度信号Ｙ_{ｈｉｇｈ２}および色差信号Ｕ_{ｈｉｇｈ２}、Ｖ_{ｈｉｇｈ２}は合成率算出回路１２１９に入力され、図２の合成率算出回路２０９と同様の方法で合成率が算出される。

ＬＰＦ１２１６で生成された輝度信号Ｙ_ｌｏｗ２と色差信号Ｕ_ｌｏｗ２、Ｖ_ｌｏｗ２は、ＤＳ回路１２２０に入力される。ＤＳ回路１２２０は、水平および垂直方向において画素数が１／２となるように、輝度信号Ｙ_ｌｏｗ２と色差信号Ｕ_ｌｏｗ２、Ｖ_ｌｏｗ２にダウンサンプリング処理を施して、輝度信号Ｙｐ_３と色差信号Ｕｐ_３、Ｖｐ_３を生成する。

ＤＳ回路１２２０から出力された輝度信号Ｙｐ_３および色差信号Ｕｐ_３、Ｖｐ_３は、ＬＰＦ１２２１およびＨＰＦ１２２２に入力される。

ＬＰＦ１２２１は、図２の縮小回路２１０と同様に、輝度信号Ｙｐ_３と色差信号Ｕｐ_３、Ｖｐ_３のそれぞれに対してＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理を施し、輝度信号Ｙ_ｌｏｗ３と色差信号Ｕ_ｌｏｗ３、Ｖ_ｌｏｗ３を生成する。

ＨＰＦ１２２２は、ＤＳ回路１２１５より出力された輝度信号Ｙｐ_３、色差信号Ｕｐ_３、Ｖｐ_３から、ＬＰＦ１２２１で生成された輝度信号Ｙ_ｌｏｗ３、色差信号Ｕ_ｌｏｗ３、Ｖ_ｌｏｗ３を減算する。その結果、ＨＰＦ１２２２は、輝度信号Ｙｐ_３および色差信号Ｕｐ_３、Ｖｐ_３の高周波成分である輝度信号Ｙ_{ｈｉｇｈ３}および色差信号Ｕ_{ｈｉｇｈ３}、Ｖ_{ｈｉｇｈ３}を抽出することができる。

輝度信号Ｙ_{ｈｉｇｈ３}および色差信号Ｕ_{ｈｉｇｈ３}、Ｖ_{ｈｉｇｈ３}はノイズ抑圧回路１２２３に入力され、図２のノイズ抑圧回路２０８と同様の方法でノイズ抑圧処理が施される。また、輝度信号Ｙ_{ｈｉｇｈ３}および色差信号Ｕ_{ｈｉｇｈ３}、Ｖ_{ｈｉｇｈ３}は合成率算出回路１２２４に入力され、図２の合成率算出回路２０９と同様の方法で合成率が算出される。

ＬＰＦ１２２１で生成された輝度信号Ｙ_ｌｏｗ３と色差信号Ｕ_ｌｏｗ３、Ｖ_ｌｏｗ３は、ＤＳ回路１２２５に入力される。ＤＳ回路１２２５は、水平および垂直方向において画素数が１／２となるように、輝度信号Ｙ_ｌｏｗ３と色差信号Ｕ_ｌｏｗ３、Ｖ_ｌｏｗ３にダウンサンプリング処理を施して、輝度信号Ｙｐ_４と色差信号Ｕｐ_４、Ｖｐ_４を生成する。

輝度信号Ｙｐ_４および色差信号Ｕｐ_４、Ｖｐ_４はノイズ抑圧回路１２２６に入力され、図２のノイズ抑圧回路２０８と同様の方法でノイズ抑圧処理が施される。

輝度信号Ｙ_{ｈｉｇｈ１}、輝度信号Ｙ_{ｈｉｇｈ２}、輝度信号Ｙ_{ｈｉｇｈ３}、および、輝度信号Ｙｐ_４は互いの周波数帯域が重畳しておらず、輝度信号Ｙ_{ｈｉｇｈ１}からＹｐ_４に向かってその周波数帯域が低くなる。これは色差信号Ｕ_{ｈｉｇｈ１}乃至Ｕｐ_４、Ｖ_{ｈｉｇｈ１}乃至Ｖｐ_４についても同様である。

拡大回路１２２７は、ノイズ抑圧回路１２２６から出力されたそれぞれの信号に対してアップサンプリング処理を行い、ノイズ抑圧回路１２２６から出力された信号の画素数を、ノイズ抑圧回路１２２３から出力された信号の画素数と等しくする。画像合成回路１２２８は、合成率算出回路１２２４で求められた合成率を用いて、図２の画像合成回路２１３と同様の方法で、拡大回路１２２７から出力された信号とノイズ抑圧回路１２２３から出力された信号を合成する。

拡大回路１２２９は、画像合成回路１２２８から出力された信号に対してアップサンプリング処理を行い、画像合成回路１２２８から出力された信号の画素数を、ノイズ抑圧回路１２１８から出力された信号の画素数と等しくする。画像合成回路１２３０は、合成率算出回路１２１９で求められた合成率を用いて、図２の画像合成回路２１３と同様の方法で、拡大回路１２２９から出力された信号とノイズ抑圧回路１２１８から出力された信号を合成する。

さらに、拡大回路１２３１は、画像合成回路１２３０から出力された信号に対してアップサンプリング処理を行い、画像合成回路１２３０から出力された信号の画素数を、ノイズ抑圧回路１２１３から出力された信号の画素数と等しくする。画像合成回路１２３２は、合成率算出回路１２１４で求められた合成率を用いて、図２の画像合成回路２１３と同様の方法で、拡大回路１２３１から出力された信号とノイズ抑圧回路１２１３から出力された信号を合成する。

このように、予め折り返し信号を抑圧した画像信号から、複数の周波数帯域の画像信号に分割する構成としたことで、これらの複数の周波数帯域の画像信号を合成した場合でも折り返し信号を抑制することが可能となる。

以上のように、上述したいずれの実施形態においても、合成される複数の周波数帯域の画像信号のうち、最も高い周波数帯域の画像信号においては、輝度混合回路にて生成された輝度信号が含まれている。このように構成することで、最も高い周波数帯域の画像信号における折り返し信号が抑圧されているため、それよりも低い周波数帯域の画像信号と合成した場合であっても、折り返し信号の影響はほとんど増加することはない。

なお、上述した実施形態では、元の画像信号を縮小することで低域階層画像信号を生成していたが、画像信号を縮小せずに、元の画像信号にＬＰＦ処理を施すことで低域階層画像信号を生成するようにしてもよい。

なお、本発明は、合成される複数の周波数帯域の画像信号のうち、最も高い周波数帯域の画像信号に輝度混合回路で生成した輝度信号が含まれている構成であれば、輝度混合回路を配置する位置は、上述した実施形態に限定されるものではない。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１ ホワイトバランス部
２０２ 輝度色生成回路
２０３、１００３、１２０３ 帯域処理回路
２０４ 第１輝度信号生成回路
２０５ 第２輝度信号生成回路
２０６ 輝度混合回路
２０７ 色生成回路
２０８、２１１、１２１３、１２１８、１２２３、１２２６ ノイズ抑圧回路
２０９、１２１４、１２１９、１２２４ 合成率算出回路
２１０、１０１０ 縮小回路
２１２、１２２７、１２２９、１２３１ 拡大回路
２１３、１２２８、１２３０、１２３２ 画像合成回路
１２１１、１２１６、１２２１ ローパスフィルタ（ＬＰＦ）
１２１２、１２１７、１２２２ ハイパスフィルタ（ＨＰＦ）
１２１５、１２２０、１２２５ ダウンサンプリング（ＤＳ）回路

上記課題を解決するため、本願請求項１に記載の発明は、画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成手段と、前記生成手段で生成された前記複数の画像信号を合成する合成手段と、第１の色信号を含む複数の色信号で構成された画像信号が入力され、入力された画像信号のうちの前記第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成手段と、前記第１の色信号を含む複数の色信号で構成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成手段と、前記第１輝度信号と前記第２輝度信号を合成、あるいは、いずれかを選択した輝度信号を生成する輝度混合手段とを有し、前記周波数帯域の異なる複数の画像信号のうち、第１の周波数帯域の画像信号は、前記第１輝度信号生成手段および前記第２輝度信号生成手段に入力され、前記複数の画像信号のうち、前記第１の周波数帯域よりも周波数帯域の低い第２の周波数帯域の画像信号は、前記第１輝度信号生成手段および前記第２輝度信号生成手段に入力されないものであって、前記合成手段は、前記輝度混合手段で生成された輝度信号と、前記第２の周波数帯域の画像信号から生成された輝度信号を合成することを特徴とする画像処理装置を提供する。

同様に、上記課題を解決するため、本願請求項５に記載の発明は、画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成工程と、前記生成工程で生成された前記複数の画像信号を合成する合成工程と、第１の色信号を含む複数の色信号で構成された画像信号が入力され、入力された画像信号のうちの前記第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成工程と、前記第１の色信号を含む複数の色信号で構成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成工程と、前記第１輝度信号と前記第２輝度信号を合成、あるいは、いずれかを選択した輝度信号を生成する輝度混合工程とを有し、前記周波数帯域の異なる複数の画像信号のうち、第１の周波数帯域の画像信号は、前記第１輝度信号生成工程および前記第２輝度信号生成工程で処理され、前記複数の画像信号のうち、前記第１の周波数帯域よりも周波数帯域の低い第２の周波数帯域の画像信号は、前記第１輝度信号生成工程および前記第２輝度信号生成工程で処理されないものであって、前記合成工程では、前記輝度混合手段で生成された輝度信号と、前記第２の周波数帯域の画像信号から生成された輝度信号を合成することを特徴とする画像処理方法を提供する。

Claims (11)

1. 画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成手段と、
   前記生成手段で生成された前記複数の画像信号を合成する合成手段と、
   第１の色信号を含む複数の色信号で構成された画像信号が入力され、入力された画像信号のうちの前記第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成手段と、
   前記第１の色信号を含む複数の色信号で構成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成手段と、
   前記第１輝度信号と前記第２輝度信号を合成、あるいは、いずれかを選択した輝度信号を生成する輝度混合手段とを有し、
   前記合成手段にて合成する前記複数の画像信号のうちの最も周波数帯域の高い画像信号は、前記輝度混合手段にて生成された輝度信号を含むことを特徴とする画像処理装置。
2. 前記生成手段は、前記輝度混合手段にて生成された輝度信号を含む画像信号が入力されることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１輝度信号生成手段および前記第２輝度信号生成手段は、前記生成手段で生成された複数の画像信号のうちの最も周波数帯域の高い画像信号が入力されることを特徴とする請求項１に記載の画像処理装置。
4. 前記生成手段は、入力された画像信号よりも周波数帯域の低い画像信号を生成することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記第１輝度信号生成手段および前記第２輝度信号生成手段は、ベイヤー配列の撮像素子で生成された赤、緑、および、青の色信号で構成された画像信号が入力され、
   前記第１の色信号が緑の色信号であることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記生成手段にて生成された複数の画像信号のそれぞれに対して、ノイズ抑圧処理を行うノイズ抑圧手段を有することを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成工程と、
   前記生成工程で生成された前記複数の画像信号を合成する合成工程と、
   第１の色信号を含む複数の色信号で構成された画像信号が入力され、入力された画像信号のうちの前記第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成工程と、
   前記第１の色信号を含む複数の色信号で構成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成工程と、
   前記第１輝度信号と前記第２輝度信号を合成、あるいは、いずれかを選択した輝度信号を生成する輝度混合工程とを有し、
   前記合成工程にて合成する前記複数の画像信号のうちの最も周波数帯域の高い画像信号は、前記輝度混合工程にて生成された輝度信号を含むことを特徴とする画像処理方法。
8. 前記生成工程において、前記輝度混合工程にて生成された輝度信号を含む画像信号が入力されることを特徴とする請求項７に記載の画像処理方法。
9. 前記第１輝度信号生成工程および前記第２輝度信号生成工程において、前記生成工程で生成された複数の画像信号のうちの最も周波数帯域の高い画像信号が入力されることを特徴とする請求項８に記載の画像処理方法。
10. 請求項７に記載の画像処理方法をコンピュータに実行させるために前記コンピュータが読み出すことが可能なプログラム。
11. 請求項１０に記載のプログラムを記憶した記憶媒体。