JP5755814B2 - 画像処理装置、方法、プログラム及び撮像装置 - Google Patents

Description

本発明は画像処理装置、方法、プログラム及び記録媒体並びに撮像装置に係り、特に色モワレの発生を低減する技術に関する。

単板式のカラー撮像素子を有するカラー撮像装置では、カラー撮像素子からの出力画像がＲＡＷ画像（モザイク画像）であるため、欠落している色の画素を、周囲の画素から補間する同時化処理（又は「デモザイク処理」という、以下同じ）により多チャンネル画像を得ている。

特許文献１には、デモザイク処理の際、局所領域においては赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色比がほぼ一定に保たれることを仮定した補間処理を行う記載がある。例えば、デモザイク処理の処理対象の画素を中心画素とする７×７画素の入力画素単位に対して、Ｒ、Ｇ、Ｂ信号の低周波成分ｍＲ’，ｍＧ，ｍＢ’を求め、処理対象の画素がＧ画素の場合におけるＧ画素上のＲ、Ｂ画素の画素値を、Ｇ画素の画素値ｇと、局所領域の色比（ｍＲ’／ｍＧ，ｍＢ’／ｍＧ）とに基づいて、Ｒ＝（ｍＲ'／ｍＧ）ｇ、Ｂ＝（ｍＢ'／ｍＧ）ｇと推定する。

また、７×７画素の入力画素単位に対するＲ、Ｇ、Ｂ信号の低周波成分ｍＲ’，ｍＧ，ｍＢ’は、７×７画素の入力画素単位内のＲＧＢ信号と、中央部に大きな重み付け係数が割り当てられた重み付け係数との畳み込み演算により加重平均値を算出することにより行っている（特許文献１の図２４、図２６）。

特開２０１１−１８２３５４号公報

特許文献１に記載の発明は、ＲＧＢ画素の他にホワイト（Ｗ）画素をもつ撮像素子から取得されるＲＧＢＷ配列のモザイク画像のデモザイク処理に関するものである。特許文献１に記載の発明は、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより発生する低周波の色付き（色モアレ）を低減させるものではない。

縦縞模様又は横縞模様（高周波画像）が撮像素子に入射した場合、特許文献１に記載の重み付け係数により局所領域のＲＧＢの色比（Ｒ／Ｇ，Ｂ／Ｇ）を算出すると、局所領域のＲＧＢの色比が一定に保たれるという仮定が成り立たなくなる。そして、この色比に基づいてデモザイク処理を行うと、色モアレが発生するという問題がある。

本発明はこのような事情に鑑みてなされたもので、色モアレの発生を簡単な画像処理で低減することができる画像処理装置、方法、プログラム及び記録媒体並びに撮像装置を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る発明は、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有する、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子から取得されたカラーフィルタ配列に対応するモザイク画像を取得する画像取得手段と、第２の色の色毎に対応し、かつ所定のカーネルサイズ内における第１の色に対応して設定される第１の重み付け係数と、第２の色の各色にそれぞれ対応して設定される第２の重み付け係数とを有し、前記第１の重み付け係数及び第２の重み付け係数が、カーネルサイズ内の第１の方向及び第２の方向の画素ライン内の、第１の重み付け係数の総和と第２の重み付け係数の総和との比が１：１になる演算手段であって、第１の重み付け係数及び第２の重み付け係数と、モザイク画像から抽出されるカーネルサイズに対応する局所領域内の第１の色の画素の画素値及び第２の色の色毎の画素の画素値に基づいて第１の色の積和演算値及び第２の色の色毎の積和演算値を算出する演算手段と、局所領域内の処理対象の画素の画素位置における第１の色の画素値と、演算手段により算出された第１の色及び第２の色の色毎の積和演算値とに基づいて画素位置における第２の色の色毎の画素値を算出する画像処理手段と、を備えている。

本発明の一の態様によれば、演算手段は、モザイク画像内の局所領域の色情報を取得するために、所定のカーネルサイズ内における第１の色に対応して設定される第１の重み付け係数と、第２の色の各色にそれぞれ対応して設定される第２の重み付け係数と、モザイク画像から抽出されるカーネルサイズに対応する局所領域内の第１の色の画素の画素値及び第２の色の画素の画素値に基づいて第１の色の積和演算値及び第２の色の積和演算値を算出する。ここで、第１の重み付け係数と第２の重み付け係数は、カーネルサイズ内の第１の方向及び第２の方向の画素ライン内の、第１の重み付け係数の総和と第２の重み付け係数の総和との比が１：１になるように設定されている。即ち、第１の方向及び第２の方向の画素ライン内の、第１の重み付け係数の総和と第２の重み付け係数の総和との比を１：１にすることにより、第１の方向又は第２の方向に対してどのような周波数の入力があっても、第１の重み付け係数及び第２の重み付け係数を掛けた結果の色の関係がずれることがない。したがって、その局所領域における正確な色情報（第１及び第２の積和演算値）を算出することができる。画像処理手段は、局所領域内の処理対象の画素の画素位置における第１の色の画素値と、第１の色及び第２の色の色毎の積和演算値とに基づいて画素位置における第２の色の色毎の画素値を算出するが、局所領域における正確な色情報が算出されている。これによりデモザイク処理を精度よく行うことができ、色モアレ（偽色）の発生を低減することができる。

本発明の他の態様に係る画像処理装置において、モザイク画像は、カーネルサイズに対応する局所領域内において、第１の方向及び第２の方向に平行な辺をもつ任意の四角形の少なくとも１つにおいて一方の対角位置に第１の色を有し、他方の対角位置に同色の第２の色を有する２対の画素の組であって、第２の色の色毎に２対の画素の組を１組以上有している。このような第１、第２の画素の配置によりカーネルサイズ内の第１の方向及び第２の方向の画素ライン内の、第１の重み付け係数の総和と第２の重み付け係数の総和との比が１：１にできるようにしている。

本発明の更に他の態様に係る画像処理装置において、モザイク画像は、第１の方向及び第２の方向にＭ×Ｎ画素（Ｍ≧３、Ｎ≧３）に対応する基本配列パターンを含み、かつ基本配列パターンが第１の方向及び第２の方向に繰り返されて配置される。３色以上の色を含むモザイク画像の場合、第１の重み付け係数の総和と第２の重み付け係数の総和との比が１：１になるためには、基本配列パターンの画素サイズは、３×３画素以上にする必要がある。

本発明の更に他の態様に係る画像処理装置において、モザイク画像は、第１の方向及び第２の方向の画素ライン上に、第２の色の全ての色の画素が揃わない画素ラインを含んでいる。第１の方向及び第２の方向の画素ライン上に、第２の色の全ての色の画素が揃わない画素ラインを含んでいてもカーネルサイズ内の第１の方向及び第２の方向の画素ライン内の、第１の重み付け係数の総和と第２の重み付け係数の総和との比を１：１にすることができる。本発明はこのようなモザイク画像に対しても有効である。

本発明の更に他の態様に係る画像処理装置において、モザイク画像に対して局所領域を、処理対象の対象画素単位毎に移動させながら演算手段及び画像処理手段を繰り返し動作させる制御手段を備えている。

本発明の更に他の態様に係る画像処理装置において、モザイク画像は、第１の色に属する緑（Ｇ）色に対応するＧ画素と、第２の色に属する赤（Ｒ）及び青（Ｂ）色に対応するＲ画素及びＢ画素とを有し、演算手段により算出されたＲ、Ｇ、Ｂ画素の画素値の色毎の積和演算値を、それぞれＲｆ、Ｇｆ、Ｂｆとすると、画像処理手段は、処理対象の対象画素がＧ画素の場合、Ｇ画素の積和演算値とＲ画素及びＢ画素の積和演算値との比である色比（Ｒｆ／Ｇｆ），（Ｂｆ／Ｇｆ）をそれぞれ算出し、算出した色比（Ｒｆ／Ｇｆ），（Ｂｆ／Ｇｆ）と、処理対象のＧ画素の画素値とに基づいて処理対象の画素位置におけるＲ、Ｂ画素の画素値をそれぞれ算出することが好ましい。

局所領域におけるＲ画素とＧ画素の積和演算値（Ｒｆ、Ｇｆ）の比、及びＢ画素とＧ画素の積和演算値（Ｂｆ、Ｇｆ）の比は、その局所領域における本来の色のＧＲの色比，及びＧＢの色比を示している。そして、これらの色比により処理対象のＧ画素の画素位置におけるＲ、Ｂの画素値を補間することにより精度よく推定することができる。

本発明の更に他の態様に係る画像処理装置において、モザイク画像は、第１の色に属する緑（Ｇ）色に対応するＧ画素と、第２の色に属する赤（Ｒ）及び青（Ｂ）色に対応するＲ画素及びＢ画素とを有し、演算手段により算出されたＲ、Ｇ、Ｂ画素の画素値の色毎の積和演算値を、それぞれＲｆ、Ｇｆ、Ｂｆとすると、画像処理手段は、処理対象の対象画素がＲ画素の場合、Ｇ画素の積和演算値とＢ画素の積和演算値との比である色比（Ｂｆ／Ｇｆ）を算出し、算出した色比（Ｂｆ／Ｇｆ）と、処理対象の画素位置に対して算出されたＧ画素の画素値とに基づいて処理対象の画素位置におけるＢ画素の画素値を算出し、処理対象の対象画素がＢ画素の場合、Ｇ画素の積和演算値とＲ画素の積和演算値との比である色比（Ｒｆ／Ｇｆ）を算出し、算出した色比（Ｒｆ／Ｇｆ）と、処理対象の画素位置に対して算出されたＧ画素の画素値とに基づいて処理対象の画素位置におけるＲ画素の画素値を算出することが好ましい。

Ｒ画素上のＢの画素値、及びＢ画素上のＲの画素値は、予め算出されたＲ画素上のＧの画素値、及びＢ画素上のＧの画素値を使用し、これらの画素値を色比で補間して算出するようにしている。

本発明の更に他の態様に係る画像処理装置において、モザイク画像は、第１の色に属する緑（Ｇ）色に対応するＧ画素と、第２の色に属する赤（Ｒ）及び青（Ｂ）色に対応するＲ画素及びＢ画素とを有し、演算手段により算出されたＲ、Ｇ、Ｂ画素の画素値の色毎の積和演算値を重み付け係数の総和で除算した加重平均値を、それぞれＲｆ’、Ｇｆ’、Ｂｆ’とすると、画像処理手段は、処理対象の対象画素がＧ画素の場合、Ｇ画素の加重平均値とＲ画素及びＢ画素の加重平均値との差である色差（Ｒｆ’−Ｇｆ’），（Ｂｆ’−Ｇｆ’）をそれぞれ算出し、算出した色差（Ｒｆ’−Ｇｆ’），（Ｂｆ’−Ｇｆ’）と、処理対象のＧ画素の画素値とに基づいて処理対象の画素位置におけるＲ、Ｂ画素の画素値をそれぞれ算出することが好ましい。

局所領域における色毎の加重平均値（Ｒｆ’、Ｇｆ’、Ｂｆ’）の差は、その局所領域における本来色のＲＧＢの差（色差）を示しており、この色差と処理対象のＧ画素の画素値とに基づいてＲ，Ｂの画素値を精度よく推定することができる。

本発明の更に他の態様に係る画像処理装置において、モザイク画像は、第１の色に属する緑（Ｇ）色に対応するＧ画素と、第２の色に属する赤（Ｒ）及び青（Ｂ）色に対応するＲ画素及びＢ画素とを有し、演算手段により算出されたＲ、Ｇ、Ｂ画素の画素値の色毎の積和演算値を重み付け係数の総和で除算した加重平均値を、それぞれＲｆ’、Ｇｆ’、Ｂｆ’とすると、画像処理手段は、処理対象の対象画素がＲ画素の場合、Ｇ画素の加重平均値とＢ画素の加重平均値との差である色差（Ｂｆ’−Ｇｆ’）を算出し、算出した色差（Ｂｆ’−Ｇｆ’）と、処理対象の画素位置に対して算出されたＧ画素の画素値とに基づいて処理対象の画素位置におけるＢ画素の画素値を算出し、処理対象の対象画素がＢ画素の場合、Ｇ画素の加重平均値とＲ画素の加重平均値との差である色差（Ｒｆ’−Ｇｆ’）を算出し、算出した色差（Ｒｆ’−Ｇｆ’）と、処理対象の画素位置に対して算出されたＧ画素の画素値とに基づいて処理対象の画素位置におけるＲ画素の画素値を算出することが好ましい。

Ｒ画素上のＢの画素値、及びＢ画素上のＲの画素値は、予め算出されたＲ画素上のＧの画素値、及びＢ画素上のＧの画素値を使用し、これらの画素値を色差で補間して算出するようにしている。

本発明の更に他の態様に係る画像処理装置において、モザイク画像内の処理対象の画素の近傍の第１の色の画素の画素値に基づいて輝度の相関方向が、第１の方向及び第２の方向と、第１の方向及び第２の方向に対して傾いた第３の方向及び第４の方向のうちのいずれの方向かを判別する方向判別手段を備え、画像処理手段は、処理対象の画素位置の画素がＲ画素又はＢ画素の場合に、その画素位置に対するＧ画素の画素値を、方向判別手段により判別された相関方向に存在するＧ画素の画素値を使用して算出することが好ましい。

Ｒ画素上のＧの画素値、及びＢ画素上のＧの画素値は、上記のようにして方向判別した相関方向に存在するＧ画素の画素値を使用することにより、Ｇの画素値を精度よく推定することができ、高周波部の偽色の発生を低減することができる。

本発明の更に他の態様に係る画像処理装置において、モザイク画像中の第１の色の画素は、第１、第２、第３及び第４の方向の各方向の画素ライン内に１つ以上配置されることが好ましい。これにより、第１、第２、第３及び第４の方向のうちのいずれの方向に輝度の相関方向が存在しても、輝度の相関方向には必ず第１の色の画素が存在するため、相関方向に存在するＧ画素の画素値を使用して、Ｒ画素上のＧの画素値及びＢ画素上のＧの画素値を精度よく算出することができる。

本発明の更に他の態様に係る画像処理装置において、方向判別手段は、モザイク画像内の処理対象の画素の近傍の第１の色の画素であって、第１、第２、第３及び第４の方向にそれぞれ隣接する同色の画素の画素値を取得し、それぞれ隣接する同色の画素の画素値の差分値に基づいて輝度の相関方向を判別することが好ましい。

第１、第２、第３及び第４の方向の各方向に隣接する同色の第１の色の画素の画素値の差分値に基づいて輝度の相関方向を判別するため、相関方向が４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。

本発明の更に他の態様に係る画像処理装置において、方向判別手段は、第１、第２、第３及び第４の方向の各方向別に、隣接する同色の画素の画素値の差分絶対値を複数算出し、各方向別の複数の差分絶対値の総和又は平均値のうち最小となる方向を相関方向として判別することが好ましい。各方向別に複数の差分絶対値の平均値を算出するようにしたため、精度よく相関方向を判別することができる。

本発明の更に他の態様に係る撮像装置は、上述の画像処理装置を備えている。

本発明の更に他の態様に係る画像処理方法は、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有する、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子から取得されたカラーフィルタ配列に対応するモザイク画像を取得する画像取得工程と、第２の色の色毎に対応し、かつ所定のカーネルサイズ内における第１の色に対応して設定される第１の重み付け係数と、第２の色の各色にそれぞれ対応して設定される第２の重み付け係数であって、カーネルサイズ内の第１の方向及び第２の方向の画素ライン内の、第１の重み付け係数の総和と第２の重み付け係数の総和との比が１：１になる第１の重み付け係数及び第２の重み付け係数を用いて演算を行う演算工程であって、第１の重み付け係数及び第２の重み付け係数と、モザイク画像から抽出されるカーネルサイズに対応する局所領域内の第１の色の画素の画素値及び第２の色の画素の画素値に基づいて第１の色の積和演算値及び第２の色の積和演算値を算出する演算工程と、局所領域内の処理対象の画素の画素位置における第１の色の画素値と、演算工程により算出された第１の色及び第２の色の色毎の積和演算値とに基づいて画素位置における第２の色の色毎の画素値を算出する画像処理工程と、を含み、モザイク画像に対して局所領域を、処理対象の対象画素単位毎に移動させながら演算工程及び画像処理工程による処理を繰り返し実行させている。

本発明の更に他の態様に係る画像処理プログラムは、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有する、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子から取得されたカラーフィルタ配列に対応するモザイク画像を取得する画像取得機能と、第２の色の色毎に対応し、かつ所定のカーネルサイズ内における第１の色に対応して設定される第１の重み付け係数と、第２の色の各色にそれぞれ対応して設定される第２の重み付け係数であって、カーネルサイズ内の第１の方向及び第２の方向の画素ライン内の、第１の重み付け係数の総和と第２の重み付け係数の総和との比が１：１になる第１の重み付け係数及び第２の重み付け係数を用いて演算を行う演算機能であって、第１の重み付け係数及び第２の重み付け係数と、モザイク画像から抽出されるカーネルサイズに対応する局所領域内の第１の色の画素の画素値及び第２の色の画素の画素値に基づいて第１の色の積和演算値及び第２の色の積和演算値を算出する演算機能と、局所領域内の処理対象の画素の画素位置における第１の色の画素値と、演算機能により算出された第１の色及び第２の色の色毎の積和演算値とに基づいて画素位置における第２の色の色毎の画素値を算出する画像処理機能と、をコンピュータに実行させる。

本発明によれば、モザイク画像内の局所領域内の色情報（第１の色の画素の積和演算値及び第２の色の画素の積和演算値）を高周波部の影響を受けずに精度よく算出することができ、これによりデモザイク処理を精度よく行うことができ、色モアレ（偽色）の発生を低減することができる。

図１は、本発明に係る撮像装置の実施形態を示す斜視図である。 図２は、図１に示した撮像装置の背面図である。 図３は、図１に示した撮像装置の内部構成の実施形態を示すブロック図である。 図４は、第１の実施形態の撮像素子に設けられているカラーフィルタのカラーフィルタ配列を示す図である。 図５Ａは、第１の実施形態の撮像素子に適用される加重平均フィルタの第１の実施形態を示す図である。 図５Ｂは、第１の実施形態の撮像素子に適用される加重平均フィルタの第１の実施形態を示す図である。 図６は、輝度の相関方向の判別方向を説明するために用いた図である。 図７Ａは、第１の実施形態の撮像素子に適用される他の加重平均フィルタの実施形態を示す図である。 図７Ｂは、第１の実施形態の撮像素子に適用される他の加重平均フィルタの実施形態を示す図である。 図８は、第１の実施形態の撮像素子に適用される加重平均フィルタの第２の実施形態を示す図である。 図９Ａは、図５Ａ及び図５Ｂに示した第１の実施形態の加重平均フィルタの重み付け係数の決め方を説明するために用いた図である。 図９Ｂは、図５Ａ及び図５Ｂに示した第１の実施形態の加重平均フィルタの重み付け係数の決め方を説明するために用いた図である。 図１０は、図８に示した第２の実施形態の加重平均フィルタの重み付け係数の決め方を説明するために用いた図である。 図１１Ａは、撮像素子の第２の実施形態とこれに適用される第３の実施形態の加重平均フィルタを示す図である。 図１１Ｂは、撮像素子の第２の実施形態とこれに適用される第３の実施形態の加重平均フィルタを示す図である。 図１２Ａは、撮像素子の第３の実施形態とこれに適用される第４の実施形態の加重平均フィルタを示す図である。 図１２Ｂは、撮像素子の第３の実施形態とこれに適用される第４の実施形態の加重平均フィルタを示す図である。 図１３は、撮像素子の第４の実施形態を示す図である。 図１４は、図１３に示した基本配列パターンを３×３画素のＡ配列とＢ配列に４分割した状態を示す図である。 図１５Ａは、図１３に示した第４実施形態の撮像素子から得られるモザイク画像のデモザイク処理に使用する加重平均フィルタの実施形態を示す図である。 図１５Ｂは、図１３に示した第４実施形態の撮像素子から得られるモザイク画像のデモザイク処理に使用する加重平均フィルタの実施形態を示す図である。 図１６は、撮像素子の第５の実施形態を示す図である。 図１７Ａは、図１６に示した第５実施形態の撮像素子から得られるモザイク画像のデモザイク処理に使用する加重平均フィルタの実施形態を示す図である。 図１７Ｂは、図１６に示した第５実施形態の撮像素子から得られるモザイク画像のデモザイク処理に使用する加重平均フィルタの実施形態を示す図である。 図１８は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びＷフィルタが配置される各フォトダイオードの分光感度特性を示すグラフである。 図１９は、撮像素子の第６の実施形態を示す図である。 図２０は、撮像装置の他の実施形態であるスマートフォンの外観図である。 図２１は、スマートフォンの要部構成を示すブロック図である。

以下、添付図面に従って本発明に係る画像処理装置、方法、プログラム及び記録媒体並びに撮像装置の実施の形態について詳説する。

［撮像装置］
図１及び図２はそれぞれ本発明に係る撮像装置の実施形態を示す斜視図及び背面図である。この撮像装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。

図１に示すように、撮像装置１０は、その正面に撮影レンズ（撮影光学系）１２、フラッシュ発光部１等が配設され、上面にはシャッタボタン２、電源／モードスイッチ３、モードダイヤル４等が配設されている。一方、図２に示すように、カメラ背面には、３Ｄ表示用の液晶モニタ３０、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。

撮影レンズ１２は、沈胴式のズームレンズで構成されている。撮影レンズ１２は、電源／モードスイッチ３によってカメラのモードを撮影モードに設定することにより、カメラ本体から繰り出される。フラッシュ発光部１は、主要被写体に向けてフラッシュ光を照射するものである。

シャッタボタン２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。撮像装置１０は、撮影モードで駆動している時は、このシャッタボタン２が「半押し」されることにより、自動露出調整（ＡＥ）／自動合焦（ＡＦ）が作動し、「全押し」されることにより、撮影を実行する。また、撮像装置１０は、撮影モードで駆動している時は、このシャッタボタン２が「全押し」されることにより、撮影を実行する。

尚、レリーズスイッチは半押しと全押しとからなる２段ストローク式のスイッチの形態に限られない。１回の操作でＳ１オンの信号、Ｓ２オンの信号を出力してもよく、それぞれ個別のスイッチを設けてＳ１オンの信号、Ｓ２オンの信号を出力してもよい。

また、タッチ式パネル等により操作指示を行う形態では、これら操作手段としてタッチ式パネルの画面に表示される操作指示に対応する領域をタッチすることで操作指示を出力するようにしてもよい。本発明においては撮影準備処理や撮影処理を指示するものであれば操作手段の形態はこれらに限られない。また、１つの操作手段への操作指示で撮影準備処理と撮影処理を連続して実行するようにしてもよい。

電源／モードスイッチ３は、撮像装置１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、撮像装置１０のモードを設定するモードスイッチとしての機能とを併せ持っている。電源／モードスイッチ３は、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置１０は、電源／モードスイッチ３をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになる。撮像装置１０は、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

モードダイヤル４は、撮像装置１０の撮影モードを設定する撮影モード設定手段として機能する。このモードダイヤルの設定位置により、撮像装置１０の撮影モードが様々なモードに設定される。例えば、撮影モードとは、静止画撮影を行う「静止画撮影モード」、動画撮影を行う「動画撮影モード」等である。

液晶モニタ３０は、撮影モード時のライブビュー画像（スルー画像）の表示、再生モード時の静止画又は動画の表示を行う。液晶モニタ３０は、メニュー画面の表示等を行うことでグラフィカルユーザーインターフェース（ＧＵＩ）の一部として機能する。

ズームボタン５は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとからなる。撮像装置１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、再生中の画像が拡大、縮小される。

十字ボタン６は、上下左右の４方向の指示を入力する操作部である。十字ボタン６は、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

ＭＥＮＵ／ＯＫボタン７は、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。

再生ボタン８は、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。

ＢＡＣＫボタン９は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

［撮像装置の内部構成］
図３は上記撮像装置１０の内部構成の実施形態を示すブロック図である。

撮影レンズ１２により被写体が撮像され、被写体像を示す光像が撮像素子１４（第１の実施形態の撮像素子）の受光面上に結像される。

この撮像素子１４は、水平方向（第１の方向）及び垂直方向（第２の方向）に二次元配列された光電変換素子からなる複数の画素（図示せず）と、各画素の受光面上に配置された所定のカラーフィルタ配列のカラーフィルタとから構成された単板式のカラー撮像素子である。尚、撮像素子１４のカラーフィルタ配列の詳細については、後述する。

撮像素子１４に結像された被写体像は、光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部２２の指令に従って駆動部２０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子１４から順次読み出される。撮像素子１４から読み出される画像信号は、撮像素子１４のカラーフィルタ配列に対応したＲ、Ｇ、Ｂのモザイク画像を示すＲ、Ｇ、Ｂ信号である。尚、撮像素子１４は、ＣＣＤ（Charge Coupled Device）型のイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型、ＸＹアドレス型などの他の種類のイメージセンサであってもよい。

撮像素子１４から読み出された画像信号は、撮像処理部１６に入力する。撮像処理部１６は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＣ（Automatic Gain Control）回路、及びＡ／Ｄ変換器を含んでいる。撮像処理部１６は、入力する画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるＲＡＷデータを画像処理部１８に出力する。

画像処理部１８は、ホワイトバランス補正回路、ガンマ補正回路、同時化処理回路（デモザイク処理回路）（単板式の撮像素子１４のカラーフィルタ配列に伴うＲＧＢのモザイク画像から画素位置毎にＲＧＢの全ての色情報を算出する処理回路）、輝度・色差信号生成回路、輪郭補正回路、色補正回路等を含んでいる。画像処理部１８は、制御部２２からの指令に従い、撮像処理部１６から入力したモザイク画像のＲＡＷデータに所要の信号処理を施して、画素毎にＲＧＢ全ての色情報を有するＲＧＢ画素信号を生成し、これに基づいて輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。

画像処理部１８で生成された画像データは、圧縮／伸張処理回路により静止画に対しては、ＪＰＥＧ（Joint Photographic Experts Group）規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２（Moving Picture Experts Group）規格に準拠した圧縮処理が施される。圧縮処理が施された画像データは、記録メディア（メモリカード）に記録され、また、液晶モニタ３０（図２）に出力されて表示される。

＜撮像素子の第１の実施形態＞
図４は、上記撮像素子１４の第１の実施形態を示す図であり、特に撮像素子１４の受光面上に配置されているカラーフィルタ配列に関して示している。

この撮像素子１４のカラーフィルタ配列は、Ｍ×Ｎ（３×３）画素に対応する基本配列パターンＰ（太枠で示したパターン）を含んでいる。カラーフィルタ配列には、この基本配列パターンＰが水平方向（Ｈ）及び垂直方向（Ｖ）に繰り返し配置されている。即ち、このカラーフィルタ配列は、第１の色（緑（Ｇ））と、２色以上の第２の色（赤（Ｒ）、青（Ｂ））の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。このように、Ｒフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、撮像素子１４から読み出されるＲＧＢのＲＡＷデータ（モザイク画像）の画像処理等を行う際に、繰り返しパターンに従って処理を行うことができる。

図４に示すように３×３画素の基本配列パターンＰにおけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数は、それぞれ２画素、５画素、２画素になっている。Ｇ画素の画素数が、Ｒ画素、Ｂ画素のそれぞれの画素数に比べて多く割り当てられている。即ち、Ｒ画素、Ｂ画素に比べて輝度信号を得るための寄与率の高いＧ画素の画素数の比率が、Ｒ画素、Ｂ画素の画素数の比率よりも大きくなっている。

また、図４に示す第１の実施形態のカラーフィルタ配列（モザイク画像）は、水平方向及び垂直方向の画素ラインにおいて、ＲＧＢ画素が全て揃う画素ラインと、ＲＧＢ画素が揃わない画素ライン（Ｇ，Ｒ画素のみの画素ライン、Ｇ，Ｂ画素のみの画素ライン）とが混在している。

＜加重平均フィルタの第１の実施形態＞
次に、画像処理部１８のデモザイク処理回路（演算手段、画像処理手段）で使用する加重平均フィルタについて説明する。

図５Ａ及び図５Ｂは、それぞれ第１の実施形態の加重平均フィルタを示す図であり、デモザイク処理の処理対象の画素（図４に示した画素Ｇ３）に対して設計された、加重平均フィルタの重み付け係数に関して示している。

図５Ａ及び図５Ｂに示す加重平均フィルタは、基本配列パターンＰと同じサイズのカーネルサイズを有する。図５Ａは局所領域に対応するカーネル内のＧとＲの色比を算出するための加重平均フィルタを示している。図５Ｂは局所領域に対応するカーネル内のＧとＢの色比を算出するための加重平均フィルタを示している。尚、第１の実施形態の加重平均フィルタの重み付け係数は、“１”と“０”である。

図５Ａに示す加重平均フィルタは、カーネル内の水平方向の画素ライン内のＧ画素に対する重み付け係数（総和）と、Ｒ画素に対する重み付け係数（総和）との比が１：１になり、かつカーネル内の垂直方向の画素ライン内のＧ画素に対する重み付け係数（総和）と、Ｒ画素に対する重み付け係数（総和）との比が１：１になるように重み付け係数が設定されている。

同様に、図５Ｂに示す加重平均フィルタは、カーネル内の水平方向の画素ライン内のＧ画素に対する重み付け係数（総和）と、Ｂ画素に対する重み付け係数（総和）との比が１：１になり、かつカーネル内の垂直方向の画素ライン内のＧ画素に対する重み付け係数（総和）と、Ｂ画素に対する重み付け係数（総和）との比が１：１になるように重み付け係数が設定されている。

［デモザイク処理］
次に、画像処理部１８のデモザイク処理回路によりＲＧＢのモザイク画像をデモザイク処理する方法について説明する。

デモザイク処理回路は、図４に示すように撮像素子１４から得られるモザイク画像（図４はカラーフィルタ配列を示すとともに撮像素子から読み出されて得られるモザイク画像も示す）から、３×３画素の局所領域（本例では、基本配列パターンＰのサイズに相当）を抽出する。デモザイク処理回路は、その局所領域内の各画素の画素値と、図５Ａに示した加重平均フィルタの重み付け係数とに基づいてＧ，Ｒの色毎の積和演算値を算出する。即ち、局所領域内の各画素の画素値と、各画素位置における加重平均フィルタの重み付け係数とを乗算し、乗算結果をＧ，Ｒの色毎に加算して色毎の積和演算値を求める。同様に、局所領域内の各画素の画素値と、図５Ｂに示した加重平均フィルタの重み付け係数とに基づいてＧ，Ｂの色毎の積和演算値を算出する。

次に、上記のようにして算出したＧ，Ｒの各加重平均値からＧ，Ｒの積和演算値の比（色比）を算出し、また、Ｇ，Ｂの各積和演算値からＧＢの積和演算値の比（色比）を算出する。

そして、３×３画素の局所領域内の中央部の画素（図４に示した太枠の中央部の画素Ｇ３）をデモザイク処理の処理対象の画素とし、処置対象の画素Ｇ３の画素位置におけるＲ，Ｂの画素値を、前記算出した色比と画素Ｇ３の画素値とに基づいて算出する。

具体的には、前記算出されたＲＧＢの色毎の積和演算値をそれぞれＲｆ、Ｇｆ、Ｂｆとし、デモザイク処理の処理対象の画素Ｇ３の画素値がＧの場合、処理対象の画素位置におけるＲ，Ｂの画素値Ｒ，Ｂは、次式、
Ｒ＝Ｇ×（Ｒｆ／Ｇｆ） …（１）
Ｂ＝Ｇ×（Ｂｆ／Ｇｆ） …（２）
により算出する。

図５Ａ及び図５Ｂに示した加重平均フィルタは、カーネル内の水平方向の画素ライン内のＧ画素に対する重み付け係数（総和）と、Ｒ画素に対する重み付け係数（総和）との比が１：１になり、かつカーネル内の垂直方向の画素ライン内のＧ画素に対する重み付け係数（総和）と、Ｒ画素に対する重み付け係数（総和）との比が１：１になる重み付け係数が設定されている。このため、デモザイク処理回路は、水平方向又は垂直方向に対して高周波の入力があっても、これらの重み付け係数を掛けた結果の色比（（Ｒｆ／Ｇｆ），（Ｂｆ／Ｇｆ））の関係がずれることがなく、局所領域における正確な色比を算出することができる。その結果、算出した色比に基づいてデモザイク処理を精度よく行うことができる。

次に、モザイク画像から抽出する局所領域を、水平方向に１画素移動させた場合のデモザイク処理について説明する。

図６は、図４に示した局所領域（太枠で示した領域）を水平方向（右方向）に１画素移動させた場合に関して示している。この場合、デモザイク処理の処理対象の画素（局所領域内の中央部の画素）は、図６に示した太枠の中央部の画素Ｒ２となり、デモザイク処理回路は、この画素Ｒ２の画素位置におけるＧ，Ｂの画素値を算出する。

＜Ｇの画素値の算出方法＞
図６に示すように太枠で示した局所領域の中央部の画素Ｒ２の近傍の２×２画素のＧ画素を取り出し、各Ｇ画素の画素値をＧ２，Ｇ３，Ｇ４，Ｇ５とした場合、デモザイク処理回路に含まれる方向判別手段は、各方向別の差分絶対値を算出する。

即ち、水平方向の差分絶対値は（｜Ｇ２−Ｇ３｜＋｜Ｇ４−Ｇ５｜）／２、垂直方向の差分絶対値は（｜Ｇ２−Ｇ４｜＋｜Ｇ３−Ｇ５｜）／２、右上方向の差分絶対値は｜Ｇ３−Ｇ４｜、右下方向の差分絶対値は｜Ｇ２−Ｇ５｜となる。

方向判別手段は、これらの４つの差分絶対値のうち最小となる差分絶対値をとる方向にＧの画素値の相関（相関方向）があると判別する。

上記のように互いに隣接する２×２画素のＧ画素から相関方向を判別するため、最小画素間隔で相関方向を判別することができる。即ち、高周波の影響を受けずに精度よく相関方向を判別することができる。

デモザイク処理の処理対象の画素における相関方向が判別されると、デモザイク処理回路は、デモザイク処理の処理対象の画素位置における、他の色（本例の場合、Ｇ）の画素値を算出する際に、前記判別された相関方向に存在するＧ画素の画素値を使用する。

図６に示すようにＧ画素は、水平方向（第１方向）、垂直方向（第２方向）、斜め右上方向（第３方向）、及び斜め右下方向（第４方向）の全ての画素ライン上に存在する。従って、デモザイク処理回路は、処理対象の画素の近傍の相関方向に存在する１つのＧ画素の画素値、又は複数のＧ画素の画素値の補間した値を、処理対象の画素位置におけるＧの画素値とする。

一方、画素Ｒ２の画素位置におけるＢの画素値は、上記のようにして算出した画素Ｒ２の画素位置におけるＧの画素値と、その局所領域における色比（Ｂｆ／Ｇｆ）とに基づいて算出する。

図７Ａに示すように３×３画素の局所領域における色比（Ｂｆ／Ｇｆ）は、図７Ｂに示す加重平均フィルタを使用して算出する。この加重平均フィルタは、図５Ａ及び図５Ｂに示した加重平均フィルタと同様に、カーネル内の水平方向の画素ライン内のＧ画素に対する重み付け係数（総和）と、Ｂ画素に対する重み付け係数（総和）との比が１：１になり、かつカーネル内の垂直方向の画素ライン内のＧ画素に対する重み付け係数（総和）と、Ｂ画素に対する重み付け係数（総和）との比が１：１になるように重み付け係数が設定されている。

ここで、局所領域におけるＧ、Ｂ画素の画素値の色毎の積和演算値を、それぞれＧｆ、Ｂｆとし、画素Ｒ２の画素位置に対して算出されたＧの画素値をＧ’とすると、画素Ｒ２の画素位置におけるＢの画素値Ｂは、次式、
Ｂ＝Ｇ’×（Ｂｆ／Ｇｆ） …（３）
により算出する。

また、処理対象の画素がＢ画素であり、その画素位置におけるＧ，Ｒの画素値を算出する場合には、上記と同様に行う。即ち、Ｇの画素値は、方向判別手段により判別された相関方向のＧの画素値に基づいて算出し、Ｒの画素値は、算出されたＧの画素値と、その局所領域における色比（Ｒｆ／Ｇｆ）とに基づいて算出する。色比（Ｒｆ／Ｇｆ）は、カーネル内の水平方向の画素ライン内のＧ画素に対する重み付け係数（総和）と、Ｒ画素に対する重み付け係数（総和）との比が１：１になり、かつカーネル内の垂直方向の画素ライン内のＧ画素に対する重み付け係数（総和）と、Ｒ画素に対する重み付け係数（総和）との比が１：１になるように重み付け係数が設定された加重平均フィルタにより算出する。

ここで、局所領域におけるＧ、Ｒ画素の画素値の色毎の積和演算値を、それぞれＧｆ、Ｒｆとし、画素Ｂ（Ｂ１又はＢ２）の画素位置に対して算出されたＧの画素値をＧ’とすると、画素Ｂの画素位置におけるＲの画素値Ｒは、次式、
Ｒ＝Ｇ’×（Ｒｆ／Ｇｆ） …（４）
により算出する。

上記のようにしてモザイク画像に対して局所領域を１画素ずつ移動させながらデモザイク処理を順次行う。

図４に示すように、この実施形態のモザイク画像の基本配列パターンＰは、それぞれ周囲の色との位置関係が異なる５つのＧ画素（Ｇ１〜Ｇ５）、２つのＲ画素（Ｒ１，Ｒ２）、及び２つのＢ画素（Ｂ１，Ｂ２）の９画素を有している。したがって、５つのＧ画素の各画素について、色比（（Ｒｆ／Ｇｆ）（Ｂｆ／Ｇｆ））を算出するための異なる加重平均フィルタが用意される。また、２つのＲ画素の各画素について、色比（Ｂｆ／Ｇｆ））を算出するための異なる加重平均フィルタが用意され、２つのＢ画素の各画素について、色比（Ｒｆ／Ｇｆ））を算出するための異なる加重平均フィルタが用意されている。

デモザイク処理回路は、基本配列パターン内の９画素のうちのいずれの画素が処理対象の画素かに応じて、色比の算出に使用する加重平均フィルタを選択し、選択した加重平均フィルタを使用して前述した式（１）〜（４）により処理対象の画素位置におけるＲ，Ｂの画素値を算出する。

＜加重平均フィルタの第２の実施形態＞
図８の（ａ）部及び（ｂ）部は、それぞれ第２の実施形態の加重平均フィルタを示す図であり、デモザイク処理の処理対象の画素（図４に示した画素Ｇ３）に対して設計された、加重平均フィルタの重み付け係数に関して示している。

図８の（ａ）部及び（ｂ）部に示す加重平均フィルタは、３×３画素の基本配列パターンＰよりもサイズの大きな５×５画素のカーネルサイズを有している。図８の（ａ）部は５×５画素の局所領域に対応するカーネル内のＧとＲの色比を算出するための加重平均フィルタを示している。図８の（ｂ）部は５×５画素の局所領域に対応するカーネル内のＧとＢの色比を算出するための加重平均フィルタを示している。

図８の（ａ）部に示す加重平均フィルタは、カーネル内の水平方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｒ画素に対する重み付け係数の総和との比が１：１になり、かつカーネル内の垂直方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｒ画素に対する重み付け係数の総和との比が１：１になるように重み付け係数が設定されている。

同様に、図８の（ｂ）部に示す加重平均フィルタは、カーネル内の水平方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｂ画素に対する重み付け係数の総和との比が１：１になり、かつカーネル内の垂直方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｂ画素に対する重み付け係数の総和との比が１：１になるように重み付け係数が設定されている。

図８の（ａ）部に示す加重平均フィルタのＧ画素及びＲ画素に対する重み付け係数の総和は、それぞれ１０である。いま、図８の（ｃ）部に示す高周波の縦縞画像が撮像された場合、積和演算に寄与する白部分のＧ画素及びＲ画素に対する重み付け係数の総和は、それぞれ３になる。また、図８の（ｄ）部に示す高周波の横縞画像が撮像された場合、積和演算に寄与する白部分のＧ画素及びＲ画素に対する重み付け係数の総和は、それぞれ７になる。

即ち、水平方向又は垂直方向に対して高周波の入力があっても、これらの重み付け係数を掛けた結果の色比（（Ｒｆ／Ｇｆ），（Ｂｆ／Ｇｆ））の関係がずれることがなく、局所領域における正確な色比を算出することができる。

＜重み付け係数の決め方＞
図５Ａ及び図５Ｂに示す３×３画素のカーネルサイズに対応する局所領域内において、水平方向及び垂直方向に平行な辺をもつ任意の四角形を設定した場合に、その四角形の一方の対角がＧ画素を有し、他方の対角が同色のＲ画素、又は同色のＢ画素を有する２対の画素の組を有する四角形を探す。

図９Ａは、四角形の一方の対角位置に画素Ｇ１、Ｇ２を有し、他方の対角位置に画素Ｒ１，Ｒ２を有する四角形を示している。また、図９Ｂは、四角形の一方の対角位置に画素Ｇ１、Ｇ５を有し、他方の対角位置に画素Ｂ１，Ｂ２を有する四角形を示している。

そして、これらの四角形の２対の対角の位置の重み付け係数として、同じ値の重み付け係数を付与する。図５Ａ及び図５Ｂに示した重み付け係数は、それぞれ四角形の２対の対角の位置の重み付け係数として“１”が割り当てられ、カーネル内の他の位置には“０”が割り当てられている。

また、カーネル内において、一方の対角がそれぞれＧ画素を有し、他方の対角がそれぞれＲ画素を有する四角形と、一方の対角がそれぞれＧ画素を有し、他方の対角がそれぞれＢ画素を有する四角形とが、それぞれ少なくとも１以上存在する必要がある。これにより、重み付け係数（“０”以外）が割り当てられた水平方向及び垂直方向の各画素ラインのＧ画素、Ｒ画素に対する重み付け係数の総和の比が１：１になる重み付け係数を有する加重平均フィルタを設定することができる。また、水平方向及び垂直方向の各画素ラインのＧ画素、Ｂ画素に対する重み付け係数の総和の比が１：１になる重み付け係数を有する加重平均フィルタを設定することができる。

また、カーネル内において、一方の対角がそれぞれＧ画素を有し、他方の対角がそれぞれＲ画素を有する四角形と、一方の対角がそれぞれＧ画素を有し、他方の対角がそれぞれＢ画素を有する四角形とが、それぞれ少なくとも１以上存在する必要がある。このため、モザイク画像の基本配列パターンの画素サイズは、３×３画素以上にする必要がある。

また、図８の（ａ）部に示した加重平均フィルタの重み付け係数は、上記の四角形を使用して、下記のように求めることができる。

図１０に示すように５×５のカーネル内において、一方の対角がそれぞれＧ画素を有し、他方の対角がそれぞれＲ画素を有する四角形を１以上探す。図１０に示す例では、５つの四角形を採用している。５つの四角形の対角の位置にそれぞれ重み付け係数として“１”を割り当て、それ以外の位置には重み付け係数“０”を割り当てる。また、四角形の対角が重複している位置には、その重複した数（１×重複数）が割り当てられている。

このようにして加重平均フィルタにおける重み付け係数を決定することにより、重み付け係数（“０”以外）が割り当てられた水平方向及び垂直方向の各画素ラインのＧ画素、Ｒ画素に対する重み付け係数の総和の比を１：１にすることができる。さらに、水平方向及び垂直方向の各画素ラインのＧ画素、Ｂ画素に対する重み付け係数の総和の比を１：１にすることができる。

＜撮像素子の第２の実施形態及び第３の実施形態の加重平均フィルタ＞
図１１Ａ及び図１１Ｂは、上記撮像素子１４の第２の実施形態とこれに適用される第３の実施形態の加重平均フィルタを示す図である。

第２の実施形態の撮像素子のカラーフィルタ配列は、Ｍ×Ｎ（４×４）画素に対応する基本配列パターンを含み、この基本配列パターンＰが水平方向（Ｈ）及び垂直方向（Ｖ）に繰り返し配置されている。

図１１Ａ及び図１１Ｂに示すように４×４画素の基本配列パターンにおけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数は、それぞれ３画素、１０画素、３画素になっている。Ｇ画素の画素数が、Ｒ画素、Ｂ画素のそれぞれの画素数に比べて多く割り当てられている。即ち、Ｒ画素、Ｂ画素に比べて輝度信号を得るための寄与率の高いＧ画素の画素数の比率が、Ｒ画素、Ｂ画素の画素数の比率よりも大きくなっている。

また、第２の実施形態のカラーフィルタ配列（モザイク画像）は、水平方向及び垂直方向の画素ラインにおいて、ＲＧＢ画素が全て揃う画素ラインと、ＲＧＢ画素が揃わない画素ライン（Ｇ，Ｒ画素のみの画素ライン、Ｇ，Ｂ画素のみの画素ライン）とが混在している。

図１１Ａ及び図１１Ｂに示す第３の実施形態の加重平均フィルタは、４×４画素の基本配列パターンと同じサイズのカーネルサイズを有する。図１１Ａは局所領域に対応するカーネル内のＧとＲの色比を算出するための加重平均フィルタを示している。図１１Ｂは局所領域に対応するカーネル内のＧとＢの色比を算出するための加重平均フィルタを示している。

また、図１１Ａに示す加重平均フィルタの重み付け係数は、カーネル内の水平方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｒ画素に対する重み付け係数の総和との比が１：１になり、かつカーネル内の垂直方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｒ画素に対する重み付け係数の総和との比が１：１になるように重み付け係数が設定されている。

同様に、図１１Ｂに示す加重平均フィルタは、カーネル内の水平方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｂ画素に対する重み付け係数の総和との比が１：１になり、かつカーネル内の垂直方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｂ画素に対する重み付け係数の総和との比が１：１になるように重み付け係数が設定されている。

上記加重平均フィルタを使用することにより局所領域における色比（（Ｒｆ／Ｇｆ），（Ｂｆ／Ｇｆ））を、高周波の影響を受けずに精度よく算出することができる。

一方、図１１Ａ及び図１１Ｂに示すようにＧ画素は、水平方向、垂直方向、斜め右上方向、及び斜め右下方向の全ての画素ライン上に存在する。このため、デモザイク処理回路は、処理対象の画素の近傍の相関方向に存在する１つのＧ画素の画素値、又は複数のＧ画素の画素値の補間した値を、処理対象の画素位置におけるＧの画素値とすることができる。尚、図１１Ａ及び図１１Ｂに示すモザイク画像の場合、図６に示したような２×２画素のＧ画素が存在しないが、基本配列パターン内において、水平方向、垂直方向、斜め右上方向、及び斜め右下方向にそれぞれ隣接するＧ画素が存在する。このため、方向判別手段は、これらのＧ画素に基づいて最小画素間隔で相関方向を判別することができる。

＜撮像素子の第３実施形態及び加重平均フィルタ＞
図１２Ａ及び図１２Ｂは、上記撮像素子１４の第３の実施形態とこれに適用される第４の実施形態の加重平均フィルタを示す図である。

第３の実施形態の撮像素子のカラーフィルタ配列は、Ｍ×Ｎ（５×５）画素に対応する基本配列パターンを含んでいる。上記カラーフィルタ配列では、この基本配列パターンＰが水平方向（Ｈ）及び垂直方向（Ｖ）に繰り返し配置されている。

図１２Ａ及び図１２Ｂに示すように５×５画素の基本配列パターンにおけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数は、それぞれ４画素、１７画素、４画素になっている。Ｇ画素の画素数が、Ｒ画素、Ｂ画素のそれぞれの画素数に比べて多く割り当てられている。即ち、Ｒ画素、Ｂ画素に比べて輝度信号を得るための寄与率の高いＧ画素の画素数の比率が、Ｒ画素、Ｂ画素の画素数の比率よりも大きくなっている。

また、第３の実施形態のカラーフィルタ配列（モザイク画像）は、水平方向及び垂直方向の画素ラインにおいて、ＲＧＢ画素が全て揃う画素ラインと、ＲＧＢ画素が揃わない画素ライン（Ｇ，Ｒ画素のみの画素ライン、Ｇ，Ｂ画素のみの画素ライン）とが混在している。

図１２Ａ及び図１２Ｂに示す第４の実施形態の加重平均フィルタは、５×５画素の基本配列パターンと同じサイズのカーネルサイズを有する。図１２Ａは局所領域に対応するカーネル内のＧとＲの色比を算出するための加重平均フィルタを示している。図１２Ｂは局所領域に対応するカーネル内のＧとＢの色比を算出するための加重平均フィルタを示している。

また、図１２Ａに示す加重平均フィルタの重み付け係数は、カーネル内の水平方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｒ画素に対する重み付け係数の総和との比が１：１になり、かつカーネル内の垂直方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｒ画素に対する重み付け係数の総和との比が１：１になるように重み付け係数が設定されている。

同様に、図１２Ｂに示す加重平均フィルタは、カーネル内の水平方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｂ画素に対する重み付け係数の総和との比が１：１になり、かつカーネル内の垂直方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｂ画素に対する重み付け係数の総和との比が１：１になるように重み付け係数が設定されている。

上記加重平均フィルタを使用することにより局所領域における色比（（Ｒｆ／Ｇｆ），（Ｂｆ／Ｇｆ））を、高周波の影響を受けずに精度よく算出することができる。

一方、図１２Ａ及び図１２Ｂに示すようにＧ画素は、水平方向、垂直方向、斜め右上方向、及び斜め右下方向の全ての画素ライン上に存在する。このため、デモザイク処理回路は、処理対象の画素の近傍の相関方向に存在する１つのＧ画素の画素値、又は複数のＧ画素の画素値の補間した値を、処理対象の画素位置におけるＧの画素値とすることができる。尚、図１２Ａ及び図１２Ｂに示すモザイク画像の場合、図６に示したような２×２画素のＧ画素が存在する。また、この他にも水平方向、垂直方向、斜め右上方向、及び斜め右下方向にそれぞれ隣接するＧ画素も存在する。このため、方向判別手段は、これらのＧ画素に基づいて最小画素間隔で相関方向を判別することができる。

＜撮像素子の第４実施形態＞
図１３は、上記撮像素子１４の第４の実施形態を示す図であり、特に撮像素子１４の受光面上に配置されているカラーフィルタ配列に関して示している。

この撮像素子１４のカラーフィルタ配列は、Ｍ×Ｎ（６×６）画素に対応する基本配列パターンＰ（太枠で示したパターン）を含んでいる。上記カラーフィルタ配列では、この基本配列パターンＰが水平方向（Ｈ）及び垂直方向（Ｖ）に繰り返し配置されている。

図１３に示すカラーフィルタ配列（モザイク画像）は、Ｒ、Ｇ、Ｂの全ての色の画素が水平方向及び垂直方向の各ライン内に配置されている。

図１４は、図１３に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図１４に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧ画素が４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧ画素を挟んでＲ画素が水平方向に配列され、Ｂ画素が垂直方向に配列される。一方、Ｂ配列は、中央のＧ画素を挟んでＢ画素が水平方向に配列され、Ｒ画素が垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、Ｒ画素とＢ画素との位置関係が逆転しているが、その他の配置は同様になっている。

また、基本配列パターン内におけるＲ画素、Ｇ画素、Ｂ画素の画素数は、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、Ｇ画素の画素数の比率は、Ｒ画素、Ｂ画素の画素数の比率よりも大きくなっている。

図１５Ａ及び図１５Ｂは、図１３に示した第４実施形態の撮像素子から得られるモザイク画像のデモザイク処理に使用する加重平均フィルタの実施形態を示す図であり、特に加重平均フィルタのフィルタ係数に関して示している。

図１５Ａ及び図１５Ｂに示すように、この加重平均フィルタは、９×９のカーネルサイズを有し、同図に示すフィルタ係数が設定されている。

即ち、図１５Ａに示す加重平均フィルタの重み付け係数は、９×９のカーネルの中央にモザイク画像のＡ配列がくるように配置した場合に、そのカーネル（局所領域）内の各画素の色に対応して、重み付け係数をＧ，Ｒの色毎に抽出して色毎の重み付け係数の総和を求めた場合に、水平方向及び垂直方向の各画素ライン内のＧ、Ｒの色毎の重み付け係数の総和の比が、１：１になるように重み付け係数が設定されている。

同様に、図１５Ｂに示す加重平均フィルタの重み付け係数は、水平方向及び垂直方向の各画素ライン内のＧ、Ｂの色毎の重み付け係数の総和の比が、１：１になるように重み付け係数が設定されている。

例えば、図１５Ａで、一番上の行の重み付け係数は、0,0,1,1,4,1,1,0,0になっているが、Ｇ，Ｒに分けて総和を求めると、Ｒ=4、Ｇ=0+1+1+1+1+0=4となり、４：４＝１：１の関係になっていることが分かる。そして、全ての行及び列（水平及び垂直方向の各画素ライン）が、この関係に当てはまる重み付け係数になっている。

また、この加重平均フィルタは、３×３のサイズに分割した領域毎に重み付け係数を比較すると、中央部の３×３の重み付け係数が大きく、次に中央部を挟む上下左右の３×３の重み付け係数が大きく、四隅の３×３のフィルタ係数が一番小さくなるように重み付け係数に重みが付けられている。

図１５Ａに示した加重平均フィルタを使用することにより９×９画素の局所領域における色比（Ｒｆ／Ｇｆ）を、高周波の影響を受けずに精度よく算出することができる。同様に、図１５Ｂに示した加重平均フィルタを使用することにより局所領域における色比（Ｂｆ／Ｇｆ）を、高周波の影響を受けずに精度よく算出することができる。そして、９×９画素の局所領域内の中央部の３×３画素（図１５Ａ及び図１５Ｂに示した太枠内の画素）をデモザイク処理の処理対象の画素とし、各画素の画素位置におけるＧの画素値と、前記算出した色比とに基づいて各画素位置におけるＲ，Ｂの画素値を算出する。尚、処理対象の画素がＲ画素，又はＢ画素の場合には、Ｇの画素値は、方向判別手段により判別された相関方向のＧの画素値に基づいて算出する。

９×９画素の局所領域内の中央部の３×３画素の全ての画素について、ＲＧＢの画素値を求めるデモザイク処理が終了すると、モザイク画像から抽出する局所領域を、３×３画素毎に移動させながら上記と同じ処理を行う。

図１５Ａ及び図１５Ｂに示す状態から、９×９画素の局所領域を水平方向又は垂直方向に３画素移動させると、移動後の９×９画素の局所領域の中央部には、３×３画素のＢ配列が位置することになる（図１４参照）。この場合には、図１５Ｂに示した加重平均フィルタを使用することによりＧとＲの色比（Ｒｆ／Ｇｆ）を算出することができる。さらに、図１５Ａに示した加重平均フィルタを使用することによりＧとＢの色比（Ｂｆ／Ｇｆ）を算出することができる。

尚、この実施形態では、３×３画素をデモザイク処理の処理対象の画素とし、局所領域を３×３画素毎に移動させるようにしたが、本発明はこれに限定されない。例えば、１画素をデモザイク処理の処理対象の画素とし、局所領域を１画素ずつ移動させるようにしてもよい。この場合、処理対象の画素の種類に応じた多くの加重平均フィルタを用意する必要がある。

＜撮像素子の第５実施形態＞
図１６は、上記撮像素子１４の第５の実施形態を示す図であり、特に撮像素子１４の受光面上に配置されているカラーフィルタ配列に関して示している。

図１６に示すカラーフィルタ配列（モザイク画像）は、図１３に示した第４の実施形態の変形例である。図１６に示すカラーフィルタ配列は、図１４に示したＡ配列の左上のＧ画素、及びＢ配列の左下のＧ画素の代わりに、透明（Ｗ）フィルタを有するＷ画素が配置されている点で相違する。

図１６に示すように６×６画素の基本配列パターンＰにおけるＲ、Ｇ、Ｂ、Ｗフィルタに対応するＲ画素、Ｇ画素、Ｂ画素、Ｗ画素の画素数は、それぞれ８画素、１６画素、８画素、４画素になっている。輝度系画素（Ｇ画素、Ｗ画素）の画素数が、Ｒ画素、Ｂ画素のそれぞれの画素数に比べて多く割り当てられている。即ち、Ｒ画素、Ｂ画素に比べて輝度信号を得るための寄与率の高いＧ画素、Ｗ画素の画素数の比率が、Ｒ画素、Ｂ画素の画素数の比率よりも大きくなっている。

図１７Ａ及び図１７Ｂは、図１６に示した第５実施形態の撮像素子から得られるモザイク画像のデモザイク処理に使用する加重平均フィルタの実施形態を示す図であり、特に加重平均フィルタのフィルタ係数に関して示している。

図１７Ａ及び図１７Ｂに示すように、この加重平均フィルタは、６×６画素の基本配列パターンＰと同じサイズのカーネルサイズを有する。図１７Ａは局所領域に対応するカーネル内のＧとＲの色比を算出するための加重平均フィルタを示している。図１７Ｂは局所領域に対応するカーネル内のＧとＢの色比を算出するための加重平均フィルタを示している。

また、図１７Ａに示す加重平均フィルタの重み付け係数は、カーネル内の水平方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｒ画素に対する重み付け係数の総和との比が１：１になり、かつカーネル内の垂直方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｒ画素に対する重み付け係数の総和との比が１：１になるように重み付け係数が設定されている。

同様に、図１７Ｂに示す加重平均フィルタは、カーネル内の水平方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｂ画素に対する重み付け係数の総和との比が１：１になり、かつカーネル内の垂直方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｂ画素に対する重み付け係数の総和との比が１：１になるように重み付け係数が設定されている。

上記加重平均フィルタを使用することにより局所領域における色比（（Ｒｆ／Ｇｆ），（Ｂｆ／Ｇｆ））を、高周波の影響を受けずに精度よく算出することができる。また、基本配列パターンＰ内には、水平方向、垂直方向、斜め右上方向、及び斜め右下方向にそれぞれ隣接するＧ画素が存在する。このため、方向判別手段は、これらのＧ画素に基づいてデモザイク処理の処理対象の画素の近傍の輝度の相関方向を最小画素間隔で判別することができる。

＜Ｒ、Ｇ、Ｂ、Ｗ画素の分光感度特性＞
図１８は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びＷフィルタを有する各フォトダイオード（Ｒ、Ｇ、Ｂ、Ｗ画素）の分光感度特性の一例を示すグラフである。

図１８に示すようにＷフィルタを有するＷ画素の分光感度特性は、Ｒ、Ｇ、Ｂ画素の分光感度特性を加算したような分光感度特性であり、その感度の波長域はＲ、Ｇ、Ｂ画素の感度の波長領域を含んでいる。

また、Ｗフィルタの透過率のピーク（Ｗ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあり、Ｗフィルタの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなっている。

ところで、Ｇ画素の画像信号は、Ｒ画素及びＢ画素の画像信号よりも輝度信号の生成時の寄与率が高い。具体的に説明すると、上述の画像処理部１８は、画素毎にＲＧＢ全ての色情報を有するＲＧＢ画素信号から、下記の式（５）に従ってＹ信号を生成する。

Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ …（５）
この式（５）ではＧ色の寄与率が５９％になるため、Ｇ色は、Ｒ色（寄与率３０％）やＢ色（寄与率１１％）よりも寄与率が高くなる。したがって、Ｇ色が３原色のうち最も輝度信号に寄与する色となる。

また、Ｗ画素の画像信号は、そのまま輝度信号となり得るものであるが、Ｇ画素とＷ画素とが混在している上記実施形態の撮像素子の場合、上記式（５）により算出される輝度信号と、Ｗ画素の画像信号（輝度信号）とを一定の割合で混合することにより輝度信号を生成する。Ｗ画素の画像信号は、Ｇ画素の画像信号よりも輝度信号に近く、当然Ｒ画素及びＢ画素の画像信号よりも輝度信号に近いものである。前記混合された輝度信号は、例えば、下記の式（６）のように算出される。

Ｙ=０．５Ｗ＋０．５（０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ） …（６）
即ち、本発明の１色以上の第１の色に対応する輝度系画素（Ｇ画素、Ｗ画素）は、少なくとも輝度信号を得るための寄与率が５０％以上であり、第１の色以外の２色以上の第２の色に対応する各画素（Ｒ画素、Ｂ画素）は、輝度信号を得るための寄与率が５０％未満である。ここで、５０％は、第１の色と第２の色とを輝度信号を得るための寄与率により区別するために定めた値であって、輝度信号を得るための寄与率がＲ色、Ｂ色などよりも相対的に高くなる色が「第１の色」に含まれるように定めた値である。

＜撮像素子の第６実施形態＞
図１９は、上記撮像素子１４の第６の実施形態を示す図であり、特に撮像素子１４の受光面上に配置されているカラーフィルタ配列に関して示している。

図１９に示すカラーフィルタ配列（モザイク画像）は、図４に示した第１の実施形態のカラーフィルタ配列を、４５°回転させたものに対応する。

複数の画素が斜め格子状に配列されている撮像素子の場合、正方格子状に配列された撮像素子と比較して水平及び垂直方向の再現可能な帯域が√２倍となる。このような構成は、人間の視覚の周波数特性が、斜め方向に比べて水平及び垂直方向に高いという特性に合致しており、視覚的に有利な構造であるといえる。

第６の実施形態のように複数の画素が斜め格子状に配列される撮像素子の場合、斜め右上方向は、本発明の第１の方向及び第２の方向のうちの一方向に相当し、斜め右下向は本発明の第３の方向及び第４の方向のうちの他方向に相当するものとなる。

本発明に係るデモザイク処理は、図１９に示したカラーフィルタ配列（モザイク画像）に対しても適切に行うことができる。

［デモザイク処理の他の実施形態］
上記の実施形態では、局所領域におけるＧとＲ、ＧとＢの色比（（Ｒｆ／Ｇｆ），（Ｂｆ／Ｇｆ））と、処理対象の画素位置におけるＧの画素値とに基づいて各画素位置におけるＲ，Ｂの画素値を算出するようにしたが、本発明はこれに限定されない。例えば、ＧとＲ、ＧとＢの色差と、処理対象の画素位置におけるＧの画素値とに基づいて各画素位置におけるＲ，Ｂの画素値を算出するようにしてもよい。

具体的には、加重平均フィルタにより局所領域におけるＧとＲ、ＧとＢの積和演算値（Ｒｆ、Ｇｆ、Ｂｆ）をそれぞれ重み付け係数の総和で除算した加重平均値を算出する。これらの加重平均値をそれぞれＲｆ’、Ｇｆ’、Ｂｆ’とし、デモザイク処理の処理対象の画素がＧ画素であり、その画素値がＧの場合、処理対象の画素位置におけるＲ，Ｂの画素値Ｒ，Ｂを、次式、
Ｒ＝Ｇ＋（Ｒｆ’−Ｇｆ’） …（７）
Ｂ＝Ｇ＋（Ｂｆ’−Ｇｆ’） …（８）
により算出する。

また、デモザイク処理の処理対象の画素がＲ画素、又はＢ画素の場合には、処理対象の画素の近傍の相関方向に存在する１つのＧ画素の画素値、又は複数のＧ画素の画素値の補間した値を、処理対象の画素位置におけるＧの画素値として算出する。そして、この算出したＧの画素値をＧ’とすると、Ｒ画素、又はＢ画素の画素位置におけるＢ、Ｒの画素値Ｂ，Ｒを、次式、
Ｂ＝Ｇ’＋（Ｂｆ’−Ｇｆ’） …（９）
Ｒ＝Ｇ’＋（Ｒｆ’−Ｇｆ’） …（１０）
により算出する。

本発明に係る加重平均フィルタは、カーネル内の水平方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｂ画素に対する重み付け係数の総和との比が１：１になり、かつカーネル内の垂直方向の画素ライン内のＧ画素に対する重み付け係数の総和と、Ｂ画素に対する重み付け係数の総和との比が１：１になるように重み付け係数が設定されている。このため、水平方向又は垂直方向に対して高周波の入力があっても、これらの重み付け係数を使用した、Ｇ，Ｂの加重平均値の差分値（Ｂｆ’−Ｇｆ’）の関係がずれることがなく、局所領域における正確な色差を算出することができる。同様に、局所領域におけるＧ、Ｂの色差（Ｒｆ’−Ｇｆ’）も正確に算出することができる。そして、これらの色差に基づいて処理対象の画素位置におけるＲ，Ｂの画素値を補間することにより精度よく算出することができる。

また、撮像装置１０の他の実施形態としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

＜スマートフォンの構成＞
図２０は、撮像装置１０の他の実施形態であるスマートフォン５００の外観を示すものである。図２０に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されない。例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２１は、図２０に示すスマートフォン５００の構成を示すブロック図である。図２１に示すように、スマートフォン５００は、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００は、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルである。表示入力部５２０は、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図２０に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しており、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備える。通話部５３０は、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図２０に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２０に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と、着脱自在な外部メモリスロットを有する外部記憶部５５２を備える。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４（The Institute of Electrical and Electronics Engineers, Inc.）など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、本発明に係るデモザイク処理を含むＲＡＷデータの現像処理を行い、処理結果の画像を記憶部５５０に記憶させ、又は表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラであり、図３のブロック図に示した機能と同等の機能を備えている。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図２０に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力の一つとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

［その他］
この実施形態では、撮像装置について説明したが、本発明は、ＲＡＷデータ（モザイク画像）の記録が可能な撮像装置からモザイク画像を取得し、そのモザイク画像に対して本発明に係るデモザイク処理を含む各種の画像処理（「ＲＡＷ現像」という）を行うパーソナルコンピュータ等の画像処理装置にも適用できる。また、本発明は、汎用のパーソナルコンピュータにインストールされることにより該パーソナルコンピュータを上記画像処理装置として機能させるＲＡＷ現像ソフト（画像処理プログラム）、及びこのＲＡＷ現像ソフトが記録された（非一次的（non-transitory）な）記録媒体を含む。

また、本発明は、本実施形態のモザイク画像に限らず種々のものに適用でき、要は本発明に係る重み付け係数の設定が可能なモザイク画像であれば、如何なるものでもよい。

また、本発明は、局所領域の色（色比、色差）を精度よく推定し、デモザイク処理を行うようにしたため、色モアレ、偽色の発生を低減することができる。これにより、撮像装置において、色モアレ等の発生を低減するための光学ローパスフィルタを省略することができ、又は光学ローパスフィルタを適用する場合でも色モアレ等の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

上記実施形態では、ＲＧＢ、又はＲＧＢＷのモザイク画像に対するデモザイク処理について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のモザイク画像にも適用できる。

また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）にＧを加えた４色の補色系のモザイク画像にも適用できる。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１２…撮影光学系（撮影レンズ）、１４…撮像素子、１６…撮像処理部、１８…画像処理部、２０…駆動部、２２…制御部

Claims (16)

1. 第１の方向及び前記第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有する、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子から取得された前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得手段と、
   前記第２の色の色毎に対応し、かつ所定のカーネルサイズ内における前記第１の色に対応して設定される第１の重み付け係数と、前記第２の色の各色にそれぞれ対応して設定される第２の重み付け係数とを有し、前記第１の重み付け係数及び第２の重み付け係数が、前記カーネルサイズ内の第１の方向及び第２の方向の画素ライン内の、前記第１の重み付け係数の総和と第２の重み付け係数の総和との比が１：１になる演算手段であって、前記第１の重み付け係数及び第２の重み付け係数と、前記モザイク画像から抽出される前記カーネルサイズに対応する局所領域内の第１の色の画素の画素値及び第２の色の色毎の画素の画素値に基づいて前記第１の色の積和演算値及び第２の色の色毎の積和演算値を算出する演算手段と、
   前記局所領域内の処理対象の画素の画素位置における第１の色の画素値と、前記演算手段により算出された前記第１の色及び第２の色の色毎の積和演算値とに基づいて前記画素位置における第２の色の色毎の画素値を算出する画像処理手段と、
   を備えた画像処理装置。
2. 前記モザイク画像は、前記カーネルサイズに対応する局所領域内において、前記第１の方向及び第２の方向に平行な辺をもつ任意の四角形の少なくとも１つにおいて一方の対角位置に前記第１の色を有し、他方の対角位置に同色の前記第２の色を有する２対の画素の組であって、前記第２の色の色毎に前記２対の画素の組を１組以上有する請求項１に記載の画像処理装置。
3. 前記モザイク画像は、前記第１の方向及び前記第２の方向にＭ×Ｎ画素（Ｍ≧３、Ｎ≧３）に対応する基本配列パターンを含み、かつ当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置される請求項１又は２に記載の画像処理装置。
4. 前記モザイク画像は、前記第１の方向及び前記第２の方向の画素ライン上に、前記第２の色の全ての色の画素が揃わない画素ラインを含む請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記モザイク画像に対して前記局所領域を、前記処理対象の対象画素単位毎に移動させながら前記演算手段及び画像処理手段を繰り返し動作させる制御手段を備えた請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記モザイク画像は、前記第１の色に属する緑（Ｇ）色に対応するＧ画素と、前記第２の色に属する赤（Ｒ）及び青（Ｂ）色に対応するＲ画素及びＢ画素とを有し、
   前記演算手段により算出された前記Ｒ、Ｇ、Ｂ画素の画素値の色毎の積和演算値を、それぞれＲｆ、Ｇｆ、Ｂｆとすると、
   前記画像処理手段は、
   前記処理対象の対象画素がＧ画素の場合、前記Ｇ画素の積和演算値と前記Ｒ画素及び前記Ｂ画素の積和演算値との比である色比（Ｒｆ／Ｇｆ），（Ｂｆ／Ｇｆ）をそれぞれ算出し、前記算出した色比（Ｒｆ／Ｇｆ），（Ｂｆ／Ｇｆ）と、前記処理対象のＧ画素の画素値とに基づいて前記処理対象の画素位置におけるＲ、Ｂ画素の画素値をそれぞれ算出する請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記モザイク画像は、前記第１の色に属する緑（Ｇ）色に対応するＧ画素と、前記第２の色に属する赤（Ｒ）及び青（Ｂ）色に対応するＲ画素及びＢ画素とを有し、
   前記演算手段により算出された前記Ｒ、Ｇ、Ｂ画素の画素値の色毎の積和演算値を、それぞれＲｆ、Ｇｆ、Ｂｆとすると、
   前記画像処理手段は、
   前記処理対象の対象画素がＲ画素の場合、前記Ｇ画素の積和演算値と前記Ｂ画素の積和演算値との比である色比（Ｂｆ／Ｇｆ）を算出し、前記算出した色比（Ｂｆ／Ｇｆ）と、前記処理対象の画素位置に対して算出されたＧ画素の画素値とに基づいて前記処理対象の画素位置におけるＢ画素の画素値を算出し、
   前記処理対象の対象画素がＢ画素の場合、前記Ｇ画素の積和演算値と前記Ｒ画素の積和演算値との比である色比（Ｒｆ／Ｇｆ）を算出し、前記算出した色比（Ｒｆ／Ｇｆ）と、前記処理対象の画素位置に対して算出されたＧ画素の画素値とに基づいて前記処理対象の画素位置におけるＲ画素の画素値を算出する請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記モザイク画像は、前記第１の色に属する緑（Ｇ）色に対応するＧ画素と、前記第２の色に属する赤（Ｒ）及び青（Ｂ）色に対応するＲ画素及びＢ画素とを有し、
   前記演算手段により算出された前記Ｒ、Ｇ、Ｂ画素の画素値の色毎の積和演算値を重み付け係数の総和で除算した加重平均値を、それぞれＲｆ’、Ｇｆ’、Ｂｆ’とすると、
   前記画像処理手段は、
   前記処理対象の対象画素がＧ画素の場合、前記Ｇ画素の加重平均値と前記Ｒ画素及び前記Ｂ画素の加重平均値との差である色差（Ｒｆ’−Ｇｆ’），（Ｂｆ’−Ｇｆ’）をそれぞれ算出し、前記算出した色差（Ｒｆ’−Ｇｆ’），（Ｂｆ’−Ｇｆ’）と、前記処理対象のＧ画素の画素値とに基づいて前記処理対象の画素位置におけるＲ、Ｂ画素の画素値をそれぞれ算出する請求項１から５のいずれか１項に記載の画像処理装置。
9. 前記モザイク画像は、前記第１の色に属する緑（Ｇ）色に対応するＧ画素と、前記第２の色に属する赤（Ｒ）及び青（Ｂ）色に対応するＲ画素及びＢ画素とを有し、
   前記演算手段により算出された前記Ｒ、Ｇ、Ｂ画素の画素値の色毎の積和演算値を重み付け係数の総和で除算した加重平均値を、それぞれＲｆ’、Ｇｆ’、Ｂｆ’とすると、
   前記画像処理手段は、
   前記処理対象の対象画素がＲ画素の場合、前記Ｇ画素の加重平均値と前記Ｂ画素の加重平均値との差である色差（Ｂｆ’−Ｇｆ’）を算出し、前記算出した色差（Ｂｆ’−Ｇｆ’）と、前記処理対象の画素位置に対して算出されたＧ画素の画素値とに基づいて前記処理対象の画素位置におけるＢ画素の画素値を算出し、
   前記処理対象の対象画素がＢ画素の場合、前記Ｇ画素の加重平均値と前記Ｒ画素の加重平均値との差である色差（Ｒｆ’−Ｇｆ’）を算出し、前記算出した色差（Ｒｆ’−Ｇｆ’）と、前記処理対象の画素位置に対して算出されたＧ画素の画素値とに基づいて前記処理対象の画素位置におけるＲ画素の画素値を算出する請求項１から５、及び８のいずれか１項に記載の画像処理装置。
10. 前記モザイク画像内の処理対象の画素の近傍の前記第１の色の画素の画素値に基づいて輝度の相関方向が、前記第１の方向及び第２の方向と、前記第１の方向及び第２の方向に対して傾いた第３の方向及び第４の方向のうちのいずれの方向かを判別する方向判別手段を備え、
    前記画像処理手段は、前記処理対象の画素位置の画素がＲ画素又はＢ画素の場合に、その画素位置に対するＧ画素の画素値を、前記方向判別手段により判別された相関方向に存在するＧ画素の画素値を使用して算出する請求項７又は９に記載の画像処理装置。
11. 前記モザイク画像中の前記第１の色の画素は、前記第１、第２、第３及び第４の方向の各方向の画素ライン内に１つ以上配置される請求項１０に記載の画像処理装置。
12. 前記方向判別手段は、前記モザイク画像内の処理対象の画素の近傍の前記第１の色の画素であって、前記第１、第２、第３及び第４の方向にそれぞれ隣接する同色の画素の画素値を取得し、それぞれ隣接する同色の画素の画素値の差分値に基づいて輝度の相関方向を判別する請求項１０又は１１に記載の画像処理装置。
13. 前記方向判別手段は、前記第１、第２、第３及び第４の方向の各方向別に、隣接する同色の画素の画素値の差分絶対値を複数算出し、各方向別の複数の差分絶対値の総和又は平均値のうち最小となる方向を相関方向として判別する請求項１２に記載の画像処理装置。
14. 請求項１から１３のいずれか１項に記載の画像処理装置を備えた撮像装置。
15. 第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有する、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子から取得された前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得工程と、
    前記第２の色の色毎に対応し、かつ所定のカーネルサイズ内における前記第１の色に対応して設定される第１の重み付け係数と、前記第２の色の各色にそれぞれ対応して設定される第２の重み付け係数であって、前記カーネルサイズ内の第１の方向及び第２の方向の画素ライン内の、前記第１の重み付け係数の総和と第２の重み付け係数の総和との比が１：１になる第１の重み付け係数及び第２の重み付け係数を用いて演算を行う演算工程であって、前記第１の重み付け係数及び第２の重み付け係数と、前記モザイク画像から抽出される前記カーネルサイズに対応する局所領域内の第１の色の画素の画素値及び第２の色の画素の画素値に基づいて前記第１の色の積和演算値及び第２の色の積和演算値を算出する演算工程と、
    前記局所領域内の処理対象の画素の画素位置における第１の色の画素値と、前記演算工程により算出された前記第１の色及び第２の色の色毎の積和演算値とに基づいて前記画素位置における第２の色の色毎の画素値を算出する画像処理工程と、を含み、
    前記モザイク画像に対して前記局所領域を、前記処理対象の対象画素単位毎に移動させながら前記演算工程及び画像処理工程による処理を繰り返し実行させる画像処理方法。
16. 第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有する、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子から取得された前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得機能と、
    前記第２の色の色毎に対応し、かつ所定のカーネルサイズ内における前記第１の色に対応して設定される第１の重み付け係数と、前記第２の色の各色にそれぞれ対応して設定される第２の重み付け係数であって、前記カーネルサイズ内の第１の方向及び第２の方向の画素ライン内の、前記第１の重み付け係数の総和と第２の重み付け係数の総和との比が１：１になる第１の重み付け係数及び第２の重み付け係数を用いて演算を行う演算機能であって、前記第１の重み付け係数及び第２の重み付け係数と、前記モザイク画像から抽出される前記カーネルサイズに対応する局所領域内の第１の色の画素の画素値及び第２の色の画素の画素値に基づいて前記第１の色の積和演算値及び第２の色の積和演算値を算出する演算機能と、
    前記局所領域内の処理対象の画素の画素位置における第１の色の画素値と、前記演算機能により算出された前記第１の色及び第２の色の色毎の積和演算値とに基づいて前記画素位置における第２の色の色毎の画素値を算出する画像処理機能と、
    をコンピュータに実行させる画像処理プログラム。

Images