JP5621053B2 - 画像処理装置、方法及びプログラム並びに撮像装置 - Google Patents

Description

本発明は画像処理装置及び方法並びに撮像装置に係り、特に単板の撮像素子に配設されているカラーフィルタ配列に対応するモザイク画像の同時化処理により発生する偽色（色モアレ）を低減する技術に関する。

図８Ａは、従来の撮像素子に設けられたカラーフィルタ配列の一例を示す図であり、最も広く用いられている原色系ベイヤー配列に関して示している。

ベイヤー配列は、３原色の赤（Ｒ）、青（Ｂ）、緑（Ｇ）画素のうちのＧ画素とＲ画素とが交互に繰り返すラインと、Ｇ画素とＢ画素とが交互に繰り返すラインとが交互に配置されており、Ｇ画素は市松状（チェッカーパターン状）に配置されている。

図８Ｂは、ベイヤー配列のモザイク画像により再生可能な周波数帯域を示す図である。

図８Ａに示すように水平及び垂直方向の１画素のピッチをｐとすると、Ｇの水平方向Ｈ及び垂直方向Ｖのナイキスト周波数は１／（２ｐ）、ＲＢの水平方向Ｈ及び垂直方向Ｖのナイキスト周波数は１／（４ｐ）となる。一方、ＲＧＢの斜め右上及び斜め右下方向のナイキスト周波数はいずれも１／（２√２ｐ）となる。

上記のようにＧの色画像とＲＢの色画像とのナイキスト周波数が異なる水平方向Ｈ又は垂直方向Ｖに、１／（４ｐ）以上１／（２ｐ）未満の空間周波数を有する被写体像を入力すると、レンズの色収差によりＲＧＢの色画像の位相がずれて偽色（色モアレ）が発生する。

例えば、白黒の縞模様の入力画像は、収差の影響でＲＧＢの色画像の位相がずれると、エッジ部分に色がついてしまい、それが上記のような空間周波数に対応する高周波部分では、色モアレに見えるという問題がある。特に、撮像素子の受光面前面に偽色の発生を低減する光学ローパスフィルタ（光学ＬＰＦ）を有さない撮像装置では、偽色が顕著に表れる。

従来、２つの色成分（ＲとＧ）の相関に基づいてレンズの色収差によって発生する色ずれを検出し、検出した色ずれに応じてＲＧＢの色画像を拡大縮小することにより、偽色や色ずれを補正する画像処理装置が提案されている（特許文献１）。

特許文献１に記載の画像処理装置は、光学ＬＰＦによりＲＢの色画像のナイキスト限界周波数よりも低い周波数に変換された入力画像の場合には偽色を低減させる効果がある。しかしながら、光学ＬＰＦを有さない撮像装置により、１／（４ｐ）以上１／（２ｐ）未満の空間周波数を有する入力画像を撮像する場合、レンズの色収差により、ＲＢの色画像の位相がずれて偽色（色モアレ）が発生してしまうことが分かった。

これは、レンズ収差は全周波数帯域に発生するが、ＲＢの色画像のナイキスト限界周波数１／（４ｐ）以上、Ｇの色画像のナイキスト限界周波数１／（２ｐ）未満の解像度付近に発生していた色収差は補正することができなかったとも言える。

従来この種の問題を解決するための技術として、特許文献２に記載の画像処理方法が提案されている。特許文献２に記載の画像処理方法では、注目色信号から輝度成分の高周波成分を抽出するとともに、注目色信号の色相と、偽色が発生する可能性が高い水平、垂直方向に位置する画素を除いた画素を用いて周辺画素の色相を検出する。そして、注目色信号の色相が偽色の特徴の一つである所定の色相領域に入っており、かつ前記抽出した高周波成分が高周波領域である場合は、注目色信号の色相を周辺信号の色相に近づけるように補正することにより、偽色を低減する。

特開２０１０−４５５８８号公報 特開２００３−１０２０２５号公報

特許文献２に記載の発明は、注目色信号の色相が、偽色の特徴の一つである所定の色相領域（特許文献２に記載の実施形態では、撮像素子のカラーフィルタ配列がベイヤー配列で、イエロー領域、又はシアン領域を偽色の色相領域としている）に入っており、かつ高周波領域である場合に、その色相を周辺信号の色相に近づけるように補正することで、偽色の発生を低減している。しかしながら、撮像素子のカラーフィルタ配列によっては、特定の色相領域に偽色が発生するとは限らない。この場合には、偽色を低減することができない。また、注目色信号の色相が、所定の色相領域に入っており、かつ高周波領域である場合でも、その注目画素の色が偽色になるとは限らない。

本発明はこのような事情に鑑みてなされたもので、モザイク画像の同時化処理により発生する偽色（色モアレ）を、解像度を落とすことなく良好に低減することができる画像処理装置及び方法並びに撮像装置を提供することを目的とする。

前記目的を達成するために本発明の一の態様に係る画像処理装置は、３原色の各色の画素のうちの輝度信号を得るために最も寄与する第１の色の画素と、第１の色以外の２色以上の第２の色に対応する画素とを含むモザイク画像であって、第１の色の画素に対応する第１の色画像と第２の色の画素に対応する第２の色画像の再現可能な周波数帯域が異なるモザイク画像を取得する画像取得手段と、画像取得手段により取得したモザイク画像に対応する全画像領域内において、第１の色画像は再現可能であるが、第２の色画像は再現不能となる空間周波数を有する領域を抽出する領域抽出手段と、画像取得手段により取得したモザイク画像の各画素の画素位置における他の色の画素値を算出する同時化処理手段と、同時化処理手段により同時化された画像に対し、領域抽出手段により抽出された領域に対応する画像の彩度を低減させる彩度低減手段と、を備えている。

本発明の一の態様によれば、モザイク画像に対応する全画像領域内において、モザイク画像を構成している第１の色の画素と、２色以上の第２の色の画素のうち、第１の色の画素に対応する第１の色画像では再現できるが、第２の色に対応する２以上の第２の色画像では再現できない空間周波数を特定し、その空間周波数を有する領域を偽色が発生する可能性がある領域（偽色領域）として抽出する。そして、抽出した偽色領域における同時化された画像の彩度を低減するようにしている。これにより、同時化処理された画像の偽色（色モアレ）の発生を低減することができる。また、モザイク画像を取得する撮像素子の受光面前面に光学ＬＰＦを設ける必要がなくなり、又は光学ＬＰＦを設ける場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

本発明の他の態様に係る画像処理装置において、領域抽出手段は、画像取得手段により取得したモザイク画像のうちの第１の色の画素、同時化処理手段により同時化された３原色の色画像のうちの第１の色画像、又は３原色の色画像から生成した輝度画像に基づいて、モザイク画像に対応する全画像領域内において、第１の色画像は再現可能であるが、第２の色画像は再現不能となる空間周波数を有する領域を抽出する。

本発明の更に他の態様に係る画像処理装置において、領域抽出手段は、画像取得手段により取得したモザイク画像のうちの第１の色の画素、同時化処理手段により同時化された３原色の色画像のうちの第１の色画像、又は３原色の色画像から生成した輝度画像からカーネルサイズの画素又は画像を移動させながら順次取得する取得手段と、取得したカーネルサイズの画素又は画像から再現不能な空間周波数が存在する方位方向と直交する方向のラインの画素の平均画素値を算出する第１の算出手段と、算出した平均画素値に基づいて再現不能な空間周波数及び位相を有する空間周波数を検出し、その検出時の前記平均画素値の振幅を算出する第２の算出手段と、算出した振幅の大きさに基づいて再現不能な空間周波数を検波する検波手段と、を有する。

本発明の更に他の態様に係る画像処理装置において、彩度低減手段は、算出手段により算出された振幅の大きさに応じて、振幅が大きいほど、画像の彩度を大きく低減させることが好ましい。

本発明の更に他の態様に係る画像処理装置において、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）であり、モザイク画像は、斜め方向の各ラインのうちＧの画素のみが存在するラインと、ＲＧＢの画素が混在するラインとが周期的に繰り返し、領域抽出手段は、Ｇの画素のみが存在するラインの間隔に対応する空間周波数を有する領域を抽出する。上記のように抽出する空間周波数を特定するとともに、その空間周波数が発生する方位方向を特定して、これらに該当する空間周波数を有する領域を抽出するようにしている。

本発明の更に他の態様に係る画像処理方法は、３原色の各色の画素のうちの輝度信号を得るために最も寄与する第１の色の画素と、第１の色以外の２色以上の第２の色に対応する画素とを含むモザイク画像であって、第１の色の画素に対応する第１の色画像と第２の色の画素に対応する第２の色画像の再現可能な周波数帯域が異なるモザイク画像を取得する画像取得工程と、画像取得工程により取得したモザイク画像に対応する全画像領域内において、第１の色画像は再現可能であるが、第２の色画像は再現不能となる空間周波数を有する領域を抽出する領域抽出工程と、画像取得工程により取得したモザイク画像の各画素の画素位置における他の色の画素値を算出する同時化処理工程と、同時化処理工程により同時化された画像に対し、領域抽出工程により抽出された領域に対応する画像の彩度を低減させる彩度低減工程と、を含んでいる。

本発明の一態様に係る画像処理プログラムは、３原色の各色の画素のうちの輝度信号を得るために最も寄与する第１の色の画素と、第１の色以外の２色以上の第２の色に対応する画素とを含むモザイク画像であって、第１の色の画素に対応する第１の色画像と第２の色の画素に対応する第２の色画像の再現可能な周波数帯域が異なるモザイク画像を取得する画像取得工程と、画像取得工程により取得したモザイク画像に対応する全画像領域内において、第１の色画像は再現可能であるが、第２の色画像は再現不能となる空間周波数を有する領域を抽出する領域抽出工程と、画像取得工程により取得したモザイク画像の各画素の画素位置における他の色の画素値を算出する同時化処理工程と、同時化処理工程により同時化された画像に対し、領域抽出工程により抽出された領域に対応する画像の彩度を低減させる彩度低減工程とをコンピューターに実行させる。

本発明の一態様に係るコンピューター読取可能な記録媒体は、記録媒体に格納された指令がプロセッサによって読み取られた場合に、プロセッサが、３原色の各色の画素のうちの輝度信号を得るために最も寄与する第１の色の画素と、第１の色以外の２色以上の第２の色に対応する画素とを含むモザイク画像であって、第１の色の画素に対応する第１の色画像と第２の色の画素に対応する第２の色画像の再現可能な周波数帯域が異なるモザイク画像を取得する画像取得工程と、画像取得工程により取得したモザイク画像に対応する全画像領域内において、第１の色画像は再現可能であるが、第２の色画像は再現不能となる空間周波数を有する領域を抽出する領域抽出工程と、画像取得工程により取得したモザイク画像の各画素の画素位置における他の色の画素値を算出する同時化処理工程と、同時化処理工程により同時化された画像に対し、領域抽出工程により抽出された領域に対応する画像の彩度を低減させる彩度低減工程とを実行する。

本発明の更に他の態様に係る撮像装置は、撮影光学系と該撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、撮像手段から出力されるモザイク画像を取得する画像取得手段と、前述の画像処理装置と、を備えている。

本発明の更に他の態様に係る撮像装置において、撮像素子の受光面前面から光学ローパスフィルタが除去されていることが好ましい。前述の画像処理装置により、同時化処理された画像の偽色（色モアレ）の発生を低減することができるため、撮像素子の受光面前面から光学ローパスフィルタを除去しても偽色の発生が問題にならない。一方、光学ローパスフィルタを除去することで、解像度を損なわないようにすることができる。

本発明の更に他の態様に係る撮像装置において、撮像素子は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設され、カラーフィルタ配列は、第１の色に対応する第１のフィルタと第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、基本配列パターンが水平方向及び垂直方向に繰り返して配置され、第１のフィルタは、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、第２のフィルタは、基本配列パターン内にカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、第１のフィルタに対応する第１の色の画素数の比率は、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きいものである。

本発明の更に他の態様に係る撮像装置において、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）であることが好ましい。

本発明の更に他の態様に係る撮像装置において、所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、フィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されているものである。

本発明によれば、モザイク画像を構成している第１の色の画素と、２色以上の第２の色の画素のうち、第１の色の画素に対応する第１の色画像では再現できるが、第２の色に対応する２以上の第２の色画像では再現できない空間周波数を有する領域を抽出する。そして、抽出した領域における同時化された画像の彩度を低減するようにした。このため、同時化処理された画像の偽色（色モアレ）の発生を低減することができるとともに、解像度を落とさないようにすることができる。

本発明に係る撮像装置の実施形態を示すブロック図 撮像素子に配置されたモザイク状の新規のカラーフィルタ配列を示す図 図２に示した基本配列パターンを３×３画素に４分割した状態に関して示した図 図１に示した画像処理部の内部構成を示す要部ブロック図 図２に示したカラーフィルタ配列と再現可能な周波数帯域を示す図 図２に示したカラーフィルタ配列と再現可能な周波数帯域を示す図 本発明に係る画像処理方法の実施形態を示すフローチャート 図２に示したカラーフィルタ配列のモザイク画像のＧの色画像では再現可能であるが、Ｒ，Ｂの色画像では再現不能な周波数帯域の抽出方法を説明するために用いた図 図２に示したカラーフィルタ配列のモザイク画像のＧの色画像では再現可能であるが、Ｒ，Ｂの色画像では再現不能な周波数帯域の抽出方法を説明するために用いた図 ベイヤー配列のカラーフィルタ配列と再現可能な周波数帯域を示す図 ベイヤー配列のカラーフィルタ配列と再現可能な周波数帯域を示す図

以下、添付図面に従って本発明に係る画像処理装置及び方法並びに撮像装置の好ましい実施の形態について詳説する。

［撮像装置の実施形態］
図１は本発明に係る撮像装置の実施形態を示すブロック図である。

この撮像装置１０は、撮像した画像を内部メモリ（メモリ部２６）、又は外部の記録メディア（図示せず）に記録するデジタルカメラであり、装置全体の動作は、中央処理装置（ＣＰＵ）１２によって統括制御される。

撮像装置１０には、シャッタボタン又はシャッタスイッチ、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ズームボタン、ＢＡＣＫキー等を含む操作部１４が設けられている。この操作部１４からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、デバイス制御部１６を介してレンズ部１８、シャッタ２０、画像取得手段として機能する撮像素子２２を制御するとともに、撮影動作制御、画像処理制御、画像データの記録／再生制御、表示部２５の表示制御などを行う。

レンズ部１８は、フォーカスレンズ、ズームレンズ、絞り等を含み、レンズ部１８及びシャッタ２０を通過した光束は、撮像素子２２の受光面に結像される。一般的な撮像装置は、撮像素子の受光面前面に偽色の発生を低減する光学ローパスフィルタ（光学ＬＰＦ）が設けられているが、この撮像装置１０では、後述するように偽色（色モアレ）を低減する画像処理部２８が設けられているため、光学ＬＰＦの設置は省略されている。

撮像素子２２は、多数の受光素子（フォトダイオード）が２次元配列されており、各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。

＜撮像素子の実施形態＞
図２は、上記撮像素子２２の実施形態を示す図であり、特に撮像素子２２の受光面上に配置されている新規のカラーフィルタ配列に関して示している。

この撮像素子２２のカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、従来知られているランダム配列と比較して、撮像素子２２から読み出されるＲＧＢのＲＡＷデータ（モザイク画像）の画像処理等を行う際に、繰り返しパターンに従って処理を行うことができる。

図２に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、基本配列パターンＰ内において、カラーフィルタ配列の水平、垂直、斜め右上（ＮＥ）、及び斜め左上（ＮＷ）方向の各ライン内に１つ以上配置されている。

ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺・短辺の長さに応じてその角度は変わりうる。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置される。このため、高周波となる方向によらず高周波領域での同時化処理（デモザイク処理ともいう。以下、本明細書において同じ。）の再現精度を向上させることができる。

また、図２に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、基本配列パターン内において、カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、偽色（色モワレ）の発生を低減することができる。尚、斜め方向の特定の周波数帯域において発生する偽色は、後述する本発明の画像処理により低減させるようにしている。

これにより、偽色の発生を低減（抑制）するための光学ＬＰＦを省略できるようにしている。また、光学ＬＰＦを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

更に、図２に示すカラーフィルタ配列の基本配列パターンＰは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。

上記のようにＧ画素の画素数とＲ，Ｂ画素の画素数との比率が異なる。特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ，Ｂ画素の画素数の比率よりも大きくするようにした。このため、同時化処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。

図３は、図１に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっている。

Ａ配列及びＢ配列は、それぞれＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列では、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列される。一方、Ｂ配列では、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ配列とＢ配列の４隅のＧフィルタは、Ａ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

上記構成の撮像素子２２に蓄積された信号電荷は、デバイス制御部１６から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子２２から読み出された電圧信号は、Ａ／Ｄ変換器２４に加えられ、ここで、順次カラーフィルタ配列に対応するデジタルのＲ、Ｇ、Ｂ信号に変換され、一旦、メモリ部２６に保存される。

メモリ部２６は、揮発性メモリであるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）や、書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等を含んでいる。ＳＤＲＡＭは、ＣＰＵ１２によるプログラムの実行時におけるワークエリアとして、また、撮像され取得されたデジタル画像信号を一時保持する記憶エリアとして使用される。一方、ＥＥＰＲＯＭには、画像処理プログラムを含むカメラ制御プログラム、撮像素子２２の画素の欠陥情報、画像処理等に使用する各種のパラメータやテーブル等が記憶されている。

画像処理部２８は、メモリ部２６に一旦格納されたデジタルの画像信号に対して、ホワイトバランス補正、ガンマ補正処理、同時化処理、ＲＧＢ／ＹＣ変換、輪郭補正、及び色補正等の所定の信号処理を行う。尚、本発明に係る画像処理装置（画像処理部２８）の詳細については後述する。

画像処理部２８で処理された画像データは、エンコーダ３０において画像表示用のデータにエンコーディングされ、ドライバ３２を介してカメラ背面に設けられている表示部２５に出力される。これにより、被写体像が連続的に表示部２５の表示画面上に表示される。

操作部１４のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ１２は、ＡＦ（Automatic Focus）動作及びＡＥ（Automatic Exposure Adjustment）動作を開始させる。そして、デバイス制御部１６を介してレンズ部１８のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。

ＣＰＵ１２は、シャッタボタンの半押し時にＡ／Ｄ変換器２４から出力される画像データに基づいて被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値により露出条件（Ｆ値、シャッタ速度）を決定する。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、前記決定した露出条件により絞り、シャッタ２０及び撮像素子２２での電荷蓄積時間が制御されて本撮像が行われる。本撮像時に撮像素子２２から読み出され、Ａ／Ｄ変換器２４によりＡ／Ｄ変換されたＲＧＢのモザイク画像（図２に示したカラーフィルタ配列に対応する画像）の画像データは、メモリ部２６に一時的に記憶される。

メモリ部２６に一時的に記憶された画像データは、画像処理部２８により適宜読み出され、ここで、ホワイトバランス補正、ガンマ補正、同時化処理、ＲＧＢ／ＹＣ変換、輪郭補正、及び色補正等を含む所定の信号処理が行われる。ＲＧＢ／ＹＣ変換された画像データ（ＹＣデータ）は、所定の圧縮フォーマット（例えば、ＪＰＥＧ（Joint Photographic Experts Group）方式）に従って圧縮される。圧縮された画像データは、所定の画像ファイル（例えば、Ｅｘｉｆ（Exchangeable image file format）ファイル）形式で内部メモリや外部メモリに記録される。

［画像処理］
図４は図１に示した画像処理部２８の内部構成を示す要部ブロック図である。

図４に示すように、画像処理部２８は、ホワイトバランス（ＷＢ）補正部１００、ガンマ補正部１０２、同時化処理部（同時化処理手段）１０４、ＲＧＢ／ＹＣ変換部１０６、輪郭補正部１０８、本発明の彩度低減手段に相当する色補正部１１０及び彩度低減制御部１１２、及び本発明の領域抽出手段に相当する偽色領域抽出部１１４を含んでいる。

前述したように撮影時に撮像素子２２から出力されたカラーフィルタ配列のままのＲＡＷデータ（モザイク画像）は、一旦メモリ部２６に格納される。画像処理部２８は、メモリ部２６からモザイク画像（ＲＧＢの色信号）を取得する。

取得したＲＧＢの色信号は、点順次でＷＢ補正部１００に加えられる。ＷＢ補正部１００は、Ｒ，Ｇ，Ｂの色信号ごとにそれぞれＷＢ補正用のゲイン値Ｒg、Ｇg、Ｂgをかけることによりホワイトバランス補正を行う。

ここで、ＷＢ補正用のゲイン値Ｒg、Ｇg、Ｂgは、ＲＡＷデータを解析して、例えば光源種（太陽光、蛍光灯、タングステン電球等）を特定し、その光源種に対応して予め記憶されているゲイン値Ｒg、Ｇg、Ｂgに設定され、あるいはホワイトバランス補正を行うメニュー画面上で手動で選択された光源種や色温度に対応するゲイン値Ｒg、Ｇg、Ｂgに設定される。

ＷＢ補正部１００から出力されたＲ、Ｇ、Ｂの色信号は、ガンマ補正部１０２に出力され、ここで、リニアの色信号を、ｓＲＧＢ，AdobeＲＧＢ，scＲＧＢといった色空間の階調データに変換する。ガンマ補正されたＲ、Ｇ、Ｂの色信号は、同時化処理部１０４に出力される。

同時化処理部１０４は、撮像素子２２のカラーフィルタ配列に伴うＲ、Ｇ、Ｂの色信号の空間的なズレを補間してＲ、Ｇ、Ｂの色信号を同時式に変換する処理を行うもので（デモザイク処理とも呼ばれる）、同時化処理の対象画素の画素位置における他の色の画素値を、その対象画素の周囲の同色の画素の画素値を補間することにより算出する。

ＲＧＢ／ＹＣ変換部１０６は、同時化されたＲ、Ｇ、Ｂの色信号を輝度信号Ｙ，色差信号Ｃr，Ｃｂに変換し、輝度データＹを輪郭補正部１０８に出力し、色差信号Ｃr，Ｃｂを色補正部１１０に出力する。輪郭補正部２８０は、輝度信号Ｙの輪郭部（輝度変化の大きい部分）を強調する処理を行う。

色補正部１１０は、入力する色差信号Ｃr，Ｃｂと、２行×２列の色補正マトリクス係数とのマトリクス演算を行い、良好な色再現性を実現させるための色補正を行う。色補正マトリクス係数は、通常、予め設定されたものが使用されるが、本発明では、後述する彩度低減制御部１１２から与えられる制御信号に応じて彩度を低減する色補正マトリクス係数に変更させられる。

輪郭補正された輝度データＹ、及色補正された色差データＣｒ，Ｃｂは、圧縮処理された後、内部メモリや外部メモリに記録される。

＜偽色（色モワレ）の発生の低減＞
図２に示したカラーフィルタ配列を有する撮像素子２２から出力されるモザイク画像は、従来のベイヤー配列のモザイク画像に比べて、前述したように同時化処理された画像に偽色（色モアレ）が発生しにくくなっているが、本発明者は、ＲＧＢのナイキスト限界よりも低い周波数帯域にスポット的に偽色が発生しやすい領域があることを発見した。

図５Ａは、図２に示したカラーフィルタ配列の基本配列パターンを示し、図５Ｂは、図２に示したカラーフィルタ配列のモザイク画像により再生可能な周波数帯域を示す図である。

図５Ｂに示すようにＲＧＢの各色画像は、それぞれ同じ正方のナイキスト限界を有している。即ち、図５Ａに示すように水平及び垂直方向の１画素のピッチをｐとすると、ＲＧＢの水平方向Ｈ及び垂直方向Ｖのナイキスト周波数は１／（２ｐ）となり、ＲＧＢの斜め右上及び斜め右下方向のナイキスト周波数は１／（√２ｐ）となる。

一方、図２に示したカラーフィルタ配列のモザイク画像は、斜め右上及び斜め右下方向のラインには、Ｇの画素のみが存在するラインが周期的に存在する。これらのＧの画素のみが存在するラインの間隔は、（３√２）ｐ／２である。

いま、斜め右上又は斜め右下方向の縞模様の被写体があり、撮像素子２２上で（３√２）ｐ／２の間隔で撮像され、かつ縞模様の明暗の位相がＧの画素のみが存在するラインと一致する場合、同時化処理時に縞模様の色（ＲＢの色）の画素は、その周囲画素のＲＢの色の画素に基づいて補間すると誤った色となる。その結果、縞模様の被写体像には、偽色（色モアレ）が発生する。

即ち、斜め右上又は斜め右下方向の（３√２）ｐ／２の間隔に対応する空間周波数（２／（３√２）ｐ）は、Ｇの色画像では再現可能であるが、Ｒ、Ｂの色画像では再現できない帯域である。

このＲ、Ｂの色画像では再現できない帯域は、図５Ｂの黒丸で示すようにスポット的に存在し、より詳しくは黒丸で示した帯域が最小となる漏斗状に存在する。

本発明では、全画像領域内において、Ｇの色画像では再現可能であるが、Ｒ、Ｂの色画像では再現できない帯域を有する領域（偽色が発生する可能性がある領域：偽色領域）を抽出する。そして、抽出した偽色領域の彩度を低減するようにしている。

図４に戻って、偽色領域抽出部１１４は、同時化処理部１０４により同時化されたＧの色信号（Ｇの色画像）を入力する。そして、偽色領域抽出部１１４は、このＧの画像の全領域内において、Ｇの色画像では再現可能であるが、Ｒ、Ｂの色画像では再現できない帯域を有する偽色領域を抽出する。

彩度低減制御部１１２は、偽色領域抽出部１１４により偽色領域が抽出されると、その偽色領域に対応する色差信号Ｃr，Ｃｂの信号レベルが小さくなるように、色補正部１１０の色補正マトリクス係数を制御する。

次に、上記偽色領域抽出部１１４及び彩度低減制御部１１２の動作について詳述する。

図６は本発明に係る画像処理方法の実施形態を示すフローチャートである。

図６において、偽色領域抽出部１１４は、同時化処理部１０４により同時化されたＧの色画像を取得する（ステップＳ１０）。続いて、Ｇの色画像から局所領域の画像を取得するためのカーネルの位置を初期値（例えば、Ｇの色画像の左上の位置）に設定する（ステップＳ１２）。

次に、現在のカーネルの位置に基づいてカーネルサイズのＧの色画像を取得する（ステップＳ１４）。尚、カーネルのサイズとしては、図５Ａに示した（３√２）ｐ／２の間隔に対応する空間周波数を検波（検出）することができるサイズにする。この実施形態では、図７Ａに示すように６×６画素のカーネルサイズにしている。また、図７Ａ上で、斜線で示した画素は、モザイク画像のＧ画素の位置を示している。

続いて、カーネル内のＧの色画像の斜め右上方向の各ラインＡ_１〜Ａ_７上のＧ画素の平均値Ａ_ave1〜Ａ_ave7を算出するとともに、斜め右下方向の各ラインＢ_１〜Ｂ_７上のＧ画素の平均値Ｂ_ave1〜Ｂ_ave7を算出する（ステップＳ１６）。

いま、斜め右下方向の縞模様であって、縞模様の明暗の位相がＧの画素のみが存在するラインと一致する場合、各ラインＡ_１〜Ａ_７の画素の平均値Ａ_ave1〜Ａ_ave7は、図７Ｂに示すパターンとなる。即ち、平均値Ａ_ave1、Ａ_ave4、Ａ_ave7は、ほぼ同じレベルで明るい画素値を示し、平均値Ａ_ave2、Ａ_ave3、Ａ_ave5、Ａ_ave6は、ほぼ同じレベルで暗い画素値を示す。ここで、上記明るい画素値と暗い画素値とは、両者間で所定の閾値以上の明るさの差を有する場合において、相対的に明るい又は暗い場合の画素値を言う。

斜め右上方向の各ラインＡ_１〜Ａ_７の画素の平均値Ａ_ave1〜Ａ_ave7に基づいて、まず平均値Ａ_ave1、Ａ_ave4、Ａ_ave7がいずれも平均値Ａ_ave2、Ａ_ave3、Ａ_ave5、Ａ_ave6よりも高くなるか否かを検出する。これが検出されると、上記空間周波数の縞模様が検出されるとともに、縞模様の明るい部分の位相がＧの画素のみが存在するラインとほぼ一致することが検出されることになる。そして、上記位相の縞模様が検出されると、図７Ｂに示すように平均値Ａ_ave1、Ａ_ave4、Ａ_ave7と平均値Ａ_ave2、Ａ_ave3、Ａ_ave5、Ａ_ave6との間の差分絶対値（振幅Ｗ）を算出する。同様に、斜め右下方向の各ラインＢ_１〜Ｂ_７の画素の平均値Ｂ_ave1〜Ｂ_ave7に基づいて、平均値Ｂ_ave1、Ｂ_ave4、Ｂ_ave7がいずれも平均値Ｂ_ave2、Ｂ_ave3、Ｂ_ave5、Ｂ_ave6よりも高くなることが検出されると、これらの平均値Ｂ_ave1、Ｂ_ave4、Ｂ_ave7と平均値Ｂ_ave2、Ｂ_ave3、Ｂ_ave5、Ｂ_ave6との間の振幅Ｗを算出する（ステップＳ１８）。尚、上記位相の縞模様が検出されない場合には、便宜上、振幅Ｗは０とする。

次に、ステップＳ１８で求めた斜め右上方向の縞模様の振幅Ｗ、及び斜め右下方向の縞模様の振幅Ｗのうちの少なくとも一方が、予め設定された閾値Ｔｈ以上か否かを判別する（ステップＳ２０）。

振幅Ｗが閾値Ｔｈ以上の場合（「Yes」の場合）にはステップＳ２２に遷移させ、振幅Ｗが閾値Ｔｈ未満の場合（「No」の場合）にはステップＳ２４に遷移させる。

ステップＳ２２では、現在のカーネルの位置に対応する領域（偽色領域）の画像の彩度を低減させる処理を行う。

即ち、彩度低減制御部１１２は、偽色領域抽出部１１４から偽色領域を示す情報を受け付けると、色補正部１１０の色補正マトリクス係数を小さい値に変更し、偽色領域の色差信号Ｃr，Ｃｂの信号レベルを小さくする（彩度を低減させる）。

この場合、前記振幅Ｗの大きさに応じて、振幅Ｗが大きいほど、画像の彩度を大きく低減させることが好ましい。例えば、予め設定されている色補正マトリクス係数に、振幅の大きさ（彩度を低減させる度合い）に応じた係数α（０≦α≦１）を乗算することにより実現することができる。

ステップＳ２４では、カーネルによる全画像領域のサーチが終了したか否かを判別し、終了していない場合（「No」の場合）には、ステップＳ２６に遷移させる。

ステップＳ２６では、カーネルを水平方向に６画素移動させる。また、カーネルが水平方向の左端に達した場合には、カーネルを水平方向の右端に戻すとともに、垂直方向に６画素移動させてステップＳ１４に遷移させる。上記のようにカーネルを移動させて、上記ステップＳ１４からステップＳ２４の処理を繰り返し実行させる。

一方、ステップＳ２４において、サーチが終了したと判別されると（「Yes」の場合）、偽色の発生を低減する画像処理を終了する。

このように本実施の形態では、図５Ｂに示すようにＲＧＢの正方のナイキスト限界の範囲内で、Ｇの色画像は再現できるが、Ｒ，Ｂの色画像では再現できない空間周波数を有する領域（偽色領域）を抽出し、その偽色領域の彩度を低減するようにした。したがって、偽色（色モアレ）の発生を低減することができる。実際の撮像装置においてはレンズの色収差により、Ｒ，Ｂの色画像の位相がずれるため、上記のような偽色領域において偽色が発生し易く、特に光学ローパスフィルタを取外した場合には解像度が高くなる。このため、このような偽色領域での偽色が生じやすい。本実施形態によりこのような偽色の画質への影響を低減することができる。

尚、カーネルのサイズは、この実施形態に限らず、種々のものが考えられる。例えば、３×３画素の対角線上の画素のみを抽出するカーネルとし、対角線のそれぞれの平均画素値を算出する。そして、このカーネルを１画素ずつ移動させることにより、図２に示したカラーフィルタ配列のＧの画素のみが存在するライン間の間隔に相当する空間周波数及び位相と一致する縞模様を検出し、かつ縞模様の明暗(振幅)を算出するようにしてもよい。

また、偽色領域内において、モザイク画像上で斜め方向にＧ画素のみが連続するラインに対応する画素のみの彩度を低減するようにしてもよいし、偽色領域全体の画素の彩度を低減するようにしてもよい。

［その他の実施形態］
本発明は、図２に示したカラーフィルタ配列のモザイク画像に限らず、種々のカラーフィルタ配列のモザイク画像に対して適用することができ、例えば、図８Ａに示したベイヤー配列のモザイク画像の同時化処理により発生する偽色を低減することができる。

この場合、前述の実施形態と同様に、画像の全画像領域内において、水平方向Ｈ又は垂直方向Ｖの１／（４ｐ）以上１／（２ｐ）未満の空間周波数を有する領域（偽色が発生する可能性がある領域：偽色領域）をＧの色画像に基づいて検出し、検出した偽色領域の画像の彩度を低減する。これにより、偽色の発生を低減するための光学ＬＰＦを省略し、解像度を落とさないようにすることができる。

また、偽色領域抽出部１１４は、同時化されたＧの色画像に基づいて偽色領域を抽出するようにしたが、これに限らず、モザイク画像のＧの画素、あるいはＲＧＢ／ＹＣ変換部１０８により変換された輝度信号Ｙ（輝度画像）に基づいて偽色領域を抽出するようにしてもよい。

更に、彩度を低減する処理は、色補正部１１０において、色差信号Ｃr，Ｃｂに乗算する色補正マトリクス係数を小さくする場合に限らず、例えば、同時化されたＲＧＢの画素の画素値のうちのＲ、Ｂの画素値をＧの画素値に近づけるようにしてもよい。

また、画像処理部２８における前述の処理を撮像装置１０とは別体の画像処理装置（例えば、画像処理ソフトウェアがインストールされたコンピューター（ＰＣ：Personal Computer）等）により行うようにしてもよい。

また、本発明は、コンピューターに上記の処理を行わせるためのコンピューター読取可能なプログラムコード、該プログラムコードが格納される非一次的（non-transitory）でコンピューター読取可能な記録媒体（例えば、光ディスク（例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc））、磁気ディスク（例えば、ハードディスク、光磁気ディスク））、および該方法のための実行可能なコードを格納するコンピューター・プログラム・プロダクトとして提供することができる。

また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１２…中央処理装置（ＣＰＵ）、１４…操作部、１８…レンズ部、２２…撮像素子、２６…メモリ部、２８…画像処理部、１０４…同時化処理部、１０６…ＲＧＢ／ＹＣ変換部、１１０…色補正部、１１２…彩度低減制御部、１１４…偽色領域抽出部

Claims (12)

1. ３原色の各色の画素のうちの輝度信号を得るために最も寄与する第１の色の画素と、前記第１の色以外の２色以上の第２の色に対応する画素とを含むモザイク画像であって、前記第１の色の画素に対応する第１の色画像と前記第２の色の画素に対応する第２の色画像の再現可能な周波数帯域が異なるモザイク画像を取得する画像取得手段と、
   前記画像取得手段により取得したモザイク画像に対応する全画像領域内において、前記第１の色画像は再現可能であるが、前記第２の色画像は再現不能となる空間周波数を有する領域を抽出する領域抽出手段と、
   前記画像取得手段により取得したモザイク画像の各画素の画素位置における他の色の画素値を算出するデモザイク処理手段と、
   前記デモザイク処理手段によりデモザイク処理された画像に対し、前記領域抽出手段により抽出された領域に対応する画像の彩度を低減させる彩度低減手段とを備え、
   前記領域抽出手段は、前記画像取得手段により取得したモザイク画像のうちの第１の色の画素、前記デモザイク処理手段によりデモザイク処理された３原色の色画像のうちの第１の色画像、又は前記３原色の色画像から生成した輝度画像からカーネルサイズの画素又は画像を移動させながら順次取得する取得手段と、
   前記取得したカーネルサイズの画素又は画像から前記再現不能な空間周波数が存在する方位方向と直交する方向のラインの画素の平均画素値を算出する第１の算出手段と、
   前記算出した平均画素値に基づいて前記再現不能な空間周波数及び位相を有する空間周波数を検出し、その検出時の前記平均画素値の振幅を算出する第２の算出手段と、
   前記算出した振幅の大きさに基づいて前記再現不能な空間周波数を検波する検波手段と、
   を備えた画像処理装置。
2. 前記彩度低減手段は、前記第２の算出手段により算出された振幅の大きさに応じて、該振幅が大きいほど、前記画像の彩度を大きく低減させる請求項１に記載の画像処理装置。
3. ３原色の各色の画素のうちの輝度信号を得るために最も寄与する第１の色の画素と、前記第１の色以外の２色以上の第２の色に対応する画素とを含むモザイク画像であって、前記第１の色の画素に対応する第１の色画像と前記第２の色の画素に対応する第２の色画像の再現可能な周波数帯域が異なるモザイク画像を取得する画像取得手段と、
   前記画像取得手段により取得したモザイク画像に対応する全画像領域内において、前記第１の色画像は再現可能であるが、前記第２の色画像は再現不能となる空間周波数を有する領域を抽出する領域抽出手段と、
   前記画像取得手段により取得したモザイク画像の各画素の画素位置における他の色の画素値を算出するデモザイク処理手段と、
   前記デモザイク処理手段によりデモザイク処理された画像に対し、前記領域抽出手段により抽出された領域に対応する画像の彩度を低減させる彩度低減手段とを備え、
   前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）であり、
   前記モザイク画像は、斜め方向の各ラインのうちＧの画素のみが存在するラインと、ＲＧＢの画素が混在するラインとが周期的に繰り返し、
   前記領域抽出手段は、前記Ｇの画素のみが存在するラインの間隔に対応する空間周波数を有する領域を抽出する画像処理装置。
4. ３原色の各色の画素のうちの輝度信号を得るために最も寄与する第１の色の画素と、前記第１の色以外の２色以上の第２の色に対応する画素とを含むモザイク画像であって、前記第１の色の画素に対応する第１の色画像と前記第２の色の画素に対応する第２の色画像の再現可能な周波数帯域が異なるモザイク画像を取得する画像取得工程と、
   前記画像取得工程により取得したモザイク画像に対応する全画像領域内において、前記第１の色画像は再現可能であるが、前記第２の色画像は再現不能となる空間周波数を有する領域を抽出する領域抽出工程と、
   前記画像取得工程により取得したモザイク画像の各画素の画素位置における他の色の画素値を算出するデモザイク処理工程と、
   前記デモザイク処理工程によりデモザイク処理された画像に対し、前記領域抽出工程により抽出された領域に対応する画像の彩度を低減させる彩度低減工程とを含み、
   前記領域抽出工程は、
   前記画像取得工程により取得したモザイク画像のうちの第１の色の画素、前記デモザイク処理工程によりデモザイク処理された３原色の色画像のうちの第１の色画像、又は前記３原色の色画像から生成した輝度画像からカーネルサイズの画素又は画像を移動させながら順次取得する取得工程と、
   前記取得したカーネルサイズの画素又は画像から前記再現不能な空間周波数が存在する方位方向と直交する方向のラインの画素の平均画素値を算出する第１の算出工程と、
   前記算出した平均画素値に基づいて前記再現不能な空間周波数及び位相を有する空間周波数を検出し、その検出時の前記平均画素値の振幅を算出する第２の算出工程と、
   前記算出した振幅の大きさに基づいて前記再現不能な空間周波数を検波する検波工程と、
   を含む画像処理方法。
5. ３原色の各色の画素のうちの輝度信号を得るために最も寄与する第１の色の画素と、前記第１の色以外の２色以上の第２の色に対応する画素とを含むモザイク画像であって、前記第１の色の画素に対応する第１の色画像と前記第２の色の画素に対応する第２の色画像の再現可能な周波数帯域が異なるモザイク画像を取得する画像取得工程と、
   前記画像取得工程により取得したモザイク画像に対応する全画像領域内において、前記第１の色画像は再現可能であるが、前記第２の色画像は再現不能となる空間周波数を有する領域を抽出する領域抽出工程と、
   前記画像取得工程により取得したモザイク画像の各画素の画素位置における他の色の画素値を算出するデモザイク処理工程と、
   前記デモザイク処理工程によりデモザイク処理された画像に対し、前記領域抽出工程により抽出された領域に対応する画像の彩度を低減させる彩度低減工程とを含み、
   前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）であり、
   前記モザイク画像は、斜め方向の各ラインのうちＧの画素のみが存在するラインと、ＲＧＢの画素が混在するラインとが周期的に繰り返し、
   前記領域抽出工程では、前記Ｇの画素のみが存在するラインの間隔に対応する空間周波数を有する領域を抽出する、画像処理方法。
6. ３原色の各色の画素のうちの輝度信号を得るために最も寄与する第１の色の画素と、前記第１の色以外の２色以上の第２の色に対応する画素とを含むモザイク画像であって、前記第１の色の画素に対応する第１の色画像と前記第２の色の画素に対応する第２の色画像の再現可能な周波数帯域が異なるモザイク画像を取得する画像取得工程と、
   前記画像取得工程により取得したモザイク画像に対応する全画像領域内において、前記第１の色画像は再現可能であるが、前記第２の色画像は再現不能となる空間周波数を有する領域を抽出する領域抽出工程と、
   前記画像取得工程により取得したモザイク画像の各画素の画素位置における他の色の画素値を算出するデモザイク処理工程と、
   前記デモザイク処理工程によりデモザイク処理された画像に対し、前記領域抽出工程により抽出された領域に対応する画像の彩度を低減させる彩度低減工程とをコンピューターに実行させる画像処理プログラムであって、
   前記領域抽出工程は、
   前記画像取得工程により取得したモザイク画像のうちの第１の色の画素、前記デモザイク処理工程によりデモザイク処理された３原色の色画像のうちの第１の色画像、又は前記３原色の色画像から生成した輝度画像からカーネルサイズの画素又は画像を移動させながら順次取得する取得工程と、
   前記取得したカーネルサイズの画素又は画像から前記再現不能な空間周波数が存在する方位方向と直交する方向のラインの画素の平均画素値を算出する第１の算出工程と、
   前記算出した平均画素値に基づいて前記再現不能な空間周波数及び位相を有する空間周波数を検出し、その検出時の前記平均画素値の振幅を算出する第２の算出工程と、
   前記算出した振幅の大きさに基づいて前記再現不能な空間周波数を検波する検波工程と、
   を含む画像処理プログラム。
7. ３原色の各色の画素のうちの輝度信号を得るために最も寄与する第１の色の画素と、前記第１の色以外の２色以上の第２の色に対応する画素とを含むモザイク画像であって、前記第１の色の画素に対応する第１の色画像と前記第２の色の画素に対応する第２の色画像の再現可能な周波数帯域が異なるモザイク画像を取得する画像取得工程と、
   前記画像取得工程により取得したモザイク画像に対応する全画像領域内において、前記第１の色画像は再現可能であるが、前記第２の色画像は再現不能となる空間周波数を有する領域を抽出する領域抽出工程と、
   前記画像取得工程により取得したモザイク画像の各画素の画素位置における他の色の画素値を算出するデモザイク処理工程と、
   前記デモザイク処理工程によりデモザイク処理された画像に対し、前記領域抽出工程により抽出された領域に対応する画像の彩度を低減させる彩度低減工程とをコンピューターに実行させる画像処理プログラムであって、
   前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）であり、
   前記モザイク画像は、斜め方向の各ラインのうちＧの画素のみが存在するラインと、ＲＧＢの画素が混在するラインとが周期的に繰り返し、
   前記領域抽出工程では、前記Ｇの画素のみが存在するラインの間隔に対応する空間周波数を有する領域を抽出する、画像処理プログラム。
8. 撮影光学系と該撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、
   前記撮像手段から出力されるモザイク画像を取得する前記画像取得手段と、
   請求項１から３のいずれか１項に記載の画像処理装置と、
   を備えた撮像装置。
9. 前記撮像素子の受光面前面から光学ローパスフィルタが除去された請求項８に記載の撮像装置。
10. 前記撮像素子は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設され、
    前記カラーフィルタ配列は、前記第１の色に対応する第１のフィルタと前記第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
    前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、
    前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、
    前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい請求項８又は９に記載の撮像装置。
11. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である請求項１０に記載の撮像装置。
12. 前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、
    前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項１１に記載の撮像装置。

Images