JP5053654B2 - 画像処理装置およびその方法と電子カメラ - Google Patents

Description

本発明は、画素補間処理（同時化処理）に特徴を有する画像処理装置およびその方法と電子カメラに関する。

デジタルカメラなどに使用される撮像素子(ＣＣＤ、ＣＭＯＳ等)は、一般的にベイヤ配列というモザイク状の画素配置を有している。
ベイヤ配列は１画素に１つの色成分しか割り当てられていないため、画像処理装置は、全画素にＲ，Ｇ，Ｂの３成分を持たせるために「同時化処理（補間処理、デモザイキング処理）」を行う。
近年の撮像素子は、高感度撮影や高速読み出しに対応するために、各画素に溜まった電荷をいくつか加算してから出力する画素加算（画素混合、ビニング）モードを備えている。
ところが、加算する画素数によっては、色成分毎に仮想的な重心位置がずれ、結果として色ずれや偽色が発生する。
このような色ずれを補正するため、特許文献１等に開示されているように、同時化処理回路の前段に、上記重心位置ずれを補正する補正回路を設ける手法がある。

特開２００４−１４７０９３号公報

しかしながら、上述した従来の手法では、同時化処理回路とは別に補正回路を用意するため、既存の回路に対する変更規模が比較的大きいという問題がある。

本発明は上述した従来技術の問題点に鑑みてなされ、既存の補間処理回路の構成を大幅に変更することなく、画素加算による重心ずれを補正することができる画像処理装置およびその方法と電子カメラを提供することを目的とする。

上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の観点の発明の画像処理装置は、
モザイク状に配置されたカラーフィルタを有するカラー撮像素子から出力される画像信号を、フィルタで補間処理してカラー画像データを得る画像処理装置であって、
前記カラー撮像素子の駆動モードにより、前記画像信号における各画素信号の空間的な重心位置が等間隔でなくなることにより、前記補間処理の対象となる画像領域における各画素信号の空間的な重心位置に複数種類の配置パターンが生じる場合に、
いずれの前記配置パターンにおいても各画素信号の補間処理後の空間的な重心位置が一致するように、前記複数種類の配置パターンの種類に応じて前記補間処理を選択的に変更する補間処理手段を有し、
前記補間処理手段は、前記補間処理の対象となる画像領域における前記複数種類の配置パターンの種類に応じた補間フィルタ係数を選択して当該補間処理の対象となる画像領域に前記補間演算を施す。

第２の観点の発明の電子カメラは、
モザイク状に配置されたカラーフィルタを有するカラー撮像素子から出力される画像信号を、フィルタで補間処理してカラー画像データを得る電子カメラであって、
前記画像信号が前記カラー撮像素子の駆動モードにより、各画素信号の空間的な重心位置が等間隔でなくなることにより、前記補間処理の対象となる画像領域における各画素信号の空間的な重心位置に複数の配置パターンが生じる場合に、いずれの前記配置パターンにおいても各画素信号の補間処理後の重心位置が一致するように、前記複数の配置パターンに応じて前記補間処理を選択的に変更する補間処理手段と
を有し、
前記補間処理手段は、
前記補間処理の対象となる画像領域における前記配置パターンの前記種類に応じた補間フィルタ係数を選択して当該補間処理の対象となる画像領域に補間演算を施す。

第３の観点の発明の画像処理方法は、
モザイク状に配置されたカラーフィルタを有するカラー撮像素子から出力される画像信号を、フィルタで補間処理してカラー画像データを得る画像処理方法であって、
前記画像信号が前記カラー撮像素子の駆動モードにより、各画素信号の空間的な重心位置が等間隔でなくなることにより、前記補間処理の対象となる画像領域における各画素信号の空間的な重心位置に複数の配置パターンが生じる場合に、
いずれの前記配置パターンにおいても各色成分信号の補間処理後の重心位置が一致するように、前記補間処理の対象となる画像領域における前記配置パターンの前記種類に応じた補間フィルタ係数を選択して当該補間処理の対象となる画像領域に補間演算を施す。

本発明によれば、既存の補間処理回路の構成を大幅に変更することなく、画素加算による重心ずれを補正することができる画像処理装置およびその方法と電子カメラを提供することができる。

以下、本発明の実施形態に係わる電子カメラについて説明する。
図１は、本発明の実施形態に係わる電子カメラ１の構成図である。
図１に示すように、電子カメラ１は、例えば、光学系１１、撮像素子１３、ＡＤＣ(Analog Digital Converter)１５、画像処理回路１７、ＪＰＥＧ(Joint
Photographic Experts Group)エンコーダ/デコーダ１９、ビデオエンコーダ２１、メモリカード２３、ＤＲＡＭ(Dynamic Random Access Memory)２５、ＣＰＵ(Central
Processing Unit)２７、モニタ２９およびバス６を有する。
電子カメラ１において、ＡＤＣ１５、画像処理回路１７、ＪＰＥＧエンコーダ/デコーダ１９、ビデオエンコーダ２１、メモリカード２３、ＤＲＡＭ２５およびＣＰＵ２７は、バス６によって電気的に接続されている。

光学系１１は撮影レンズを含んで構成されるものであり、被写体の光学像を形成する。
撮像素子１３は、光学系１１が形成した光学像に応じた光を複数の画素で受光し、光電変換により画像信号に変換する。

ＡＤＣ１５は、撮像素子１３が生成したアナログの画像信号をデジタル信号（画像データ）に変換する。
この画像データは、ＤＲＡＭ２５に一旦記憶される。

画像処理回路１７は、例えば、ＤＲＡＭ２５から読み出した画像データに同時化処理等の処理を施し、その結果を再びＤＲＡＭ２５に書き込む。
画像処理回路１７は、上記同時化処理において、ＤＲＡＭ２５から読み出した画像データの各色成分について、全画素位置の画素値を補間により生成する。
画像処理回路１７については後に詳細に説明する。

ＪＰＥＧエンコーダ/デコーダ１９は、ＤＲＡＭ２５から読み出した同時化処理後の画像データにエンコード処理を施し、そのエンコード処理後の画像データを例えばメモリカード２３に書き込む。
また、ＪＰＥＧエンコーダ/デコーダ１９は、メモリカード２３から読み出したエンコードされた画像データにデコード処理を施してＤＲＡＭ２５に書き込む。

ビデオエンコーダ２１は、ＤＲＡＭ２５から読み出された画像データに表示処理を施してアナログの画像信号を生成し、当該画像信号に応じた画像をモニタ２９に表示させる。

ＣＰＵ２７は、電子カメラ１の動作を統括的に制御する。

以下、電子カメラ１の全体動作の概要について説明する。
ＣＰＵ２７では、図１に示す電子カメラ１の各部の制御が行われる。例えば、ＣＰＵ２７では、撮像素子１３の動作制御や撮像素子１３で得られた画像信号の読み出し制御、ＡＤＣ１５、画像処理回路１７、ＪＰＥＧエンコーダ/デコーダ１９、ビデオエンコーダ２１の動作制御などが行われる。

図１において、光学系１１を介して入射した被写体からの光束は、ＣＣＤ等で構成された撮像素子１３に結像され、撮像素子１３においてアナログの画像信号に変換される。撮像素子１３において得られた画像信号は、ＣＰＵ２７の制御の下、所定のタイミングで読み出されてＡＤＣ１５に入力される。ＡＤＣ１５で変換されたデジタルの画像信号は、バス６を介して、ＤＲＡＭ２５に格納される。

画像の記録時においては、ＤＲＡＭ２５に格納された画像信号が、画像処理回路１７によって読み出される。画像処理回路１７では、まず画像信号の白バランス調整が行われる。その後、ＲＧＢの画像信号が輝度・色差信号（以下、ＹＣ信号と称する）に変換される。ＹＣ信号に変換された後、Ｙ信号に対しては階調補正処理が行われ、Ｃ信号（Ｃｂ、Ｃｒ）に対しては色補正処理が行われる。なお、色補正処理や階調補正処理などの処理は、ＲＧＢ信号の状態で行うようにしても良い。

その後、画像信号のデータサイズを削滅するために、ＹＣ信号の各画像成分のサンプリング周波数の比（以下、サンプリング比と称する）が変換（ダウンサンプリング）される。このときのサンプリング比は、例えばＹ：Ｃｂ：Ｃｒ＝４：２：２である。動画像のときにはサンプリング比Ｙ：Ｃｂ：：Ｃｒ＝４：２：０が用いられる。

一般に、人問の目は輝度の変化に対しては敏感であるが、色差の変化に対しては比較的鈍感である。このため、色差情報を減らしてサンプリングを行っても、画像再生の際などにおいて人間の目にそれほど不自然さを感じさせることがない。

画像処理回路１７において処理された画像信号は、ＪＰＥＧエンコーダ/デコーダ１９に入力されてＤＣＴ(Discrete Cosine Transform)変換などの手法によりＪＰＥＧエンコードされる。

ＪＰＥＧエンコーダ/デコーダ１９においてエンコードされた画像信号は、一旦ＤＲＡＭ２５に格納された後、所定のヘッダ情報が付加されたＪＰＥＧファイルとしてメモリカード２３に記線される。

また、撮像素子１３において得られた画像をスルー画表示する際には、画像処理回路１７において得られたＹＣ信号が、モニタ２９の仕様などに応じた所定のサイズにリサイズ（通常は縮小）される。さらに、ＹＣ信号の各画像成分のサンプリング比が変換（ダウンサンプリング）された後、ＤＲＡＭ２５に格納される。このＤＲＡＭ２５に格納された画像信号は、フレーム単位でビデオエンコーダ２１によって読み出され、ビデオエンコーダ２１を介してモニタ２９上に画像として表示される。

さらに、メモリカード２３に記録されたＪＰＥＧ画像信号を再生する際には、メモリカード２３に記録されたＪＰＥＧ画像信号がＪＰＥＧエンコーダ/デコーダ１９によって読み出されて逆ＤＣＴ変換などの手法によりデコードされる。その後、デコードによって得られたＹＣ信号が、画像処理回路１７において表示用の所定のサイズに縮小された後、ＤＲＡＭ２５に一旦格納される。ＤＲＡＭ２５に格納されたＹＣ信号は、ビデオエンコーダ２１を介してモニタ２９上に画像として表示される。

以下、撮像素子１３について詳細に説明する。
［撮像素子１３］
撮像素子１３は、原色ベイヤ配列の撮像素子であって、例えば、マトリクス状に配置された複数の画素に光学像に応じた光を受光させる。
撮像素子１３は、全画素の信号を読み出す全画素モードと画素加算モードとを備えている。なお、本実施形態では、撮像素子１３が実行する画素加算モードとして４画素加算モードを例示する。

撮像素子１３は、全画素モードにおいて、上記複数の画素が当該画素に蓄積された電荷を垂直転送レジスタに転送した後に、各列の垂直転送レジスタに蓄積された電荷を水平転送レジスタに順次転送する。
そして、撮像素子１３は、水平転送レジスタに順次転送パルスを与えて全水平画素の電荷に応じたアナログの画像信号をＡＤＣ１５に出力する。

撮像素子１３は、画素加算モードにおいて、同色画素の電荷の加算（混合）が水平方向および垂直方向で行われるように駆動信号を生成する。原色ベイヤ配列において、同色の色フィルタは１画素おきに配置されているので、撮像素子１３は、１画素おきのタイミングで各画素の電荷が加算されるように駆動を行う。
そして、撮像素子１３は、上記加算後の電荷に応じたアナログの画像信号をＡＤＣ１５に出力する。

＜９画素加算＞
図２および図３は、図１に示す撮像素子１３の原色ベイヤ、並びに９画素加算モードを説明するための図である。
図２（Ａ）に示すように、撮像素子１３では、同色の色フィルタに対応した画素が１画素おきに配置されている。

撮像素子１３は、９画素加算モードにおいて、図２（Ｂ）に示すように、水平および垂直方向において１画素おきに位置する同色の９画素の電荷を加算してアナログの画像信号を生成する。
これにより、加算後の各色成分の仮想重心位置は、図３（Ｃ），（Ｄ）に示すようになる。
図３（Ｃ），（Ｄ）に示すように、９画素加算モードでは、各色成分の仮想重心位置は、図２（Ａ）等に示すベイヤ配列の各色成分の配置と同じになり、重心ずれは生じない。すなわち、各色成分の重心ずれを補正する必要はない。

＜４画素加算＞
図４および図５は、図１に示す撮像素子１３の４画素加算モードを説明するための図である。
撮像素子１３は、４画素加算モードにおいて、図４（Ａ），（Ｂ）に示すように、水平および垂直方向において１画素おきに位置する同色の４画素の電荷を加算してアナログの画像信号を生成する。
これにより、加算後の各色成分の仮想重心位置は、図５（Ｃ），（Ｄ）に示すようになる。
図５（Ｃ），（Ｄ）に示すように、４画素加算モードでは、各色成分の仮想重心位置は、図２（Ａ）等に示すベイヤ配列の各色成分の配置とは異なり、重心ずれが生じる。すなわち、各色成分の重心ずれを補正する必要がある。

［画像処理回路１７］
画像処理回路１７は、ＤＲＡＭ２５から読み出した画像データに対して同時化（補間）処理を行う。
ところで、画像処理回路１７は、前述したように、撮像素子１３が全画素モードで動作している場合には、ＤＲＡＭ２５から読み出した画像データの各色成分が対応付けられる画素位置は図６（Ａ），図７（Ａ），図８（Ａ）のようになる。
従って、画像処理回路１７は、図７（Ｂ），図８（Ｂ）に示すように各画素位置に割り当てられたフィルタ係数を用いて補間処理を行うことによって、図７（Ｃ−１），（Ｃ−２），（Ｃ−３），（Ｃ−４）に示すように、各色成分を各ブロックの中心位置に補間できる。そして、画像処理回路１７は、各色成分について生成した補間データを、図６（Ｂ）に示すように全画素位置に割り当てるようにＤＲＡＭ２５に書き込む。

なお、図８（Ｂ）等に示す各色成分のフィルタ係数が「１、３，３，９」となっているのは、各色成分について使用する周辺画素の位置と補間位置との距離が縦横ともに１：３になっているためである。すなわち、距離に応じた２次元加重平均を演算していることになる。

具体的には、画像処理回路１７は、全画素モードにおいて、各色成分について下記式（１−１）〜（１−４）の補間演算を行い、ブロックの中心位置の補間データRout，Grout，Gbout，Boutを生成する。本実施形態において、Rx,Grx,Gbx,Bx（xは整数）は、それぞれＲ，Ｇｒ，Ｇｂ，Ｂが割り当てられた画素の画素値を示している。

［数１］
Rout=(1*R1+3*R2+3*R3+9*R4)/16 …（１−１）

Grout=(3*Gr1+1*Gr2+9*Gr3+3*Gr4)/16 …（１−２）

Gbout=(3*Gb1+9*Gb2+1*Gb3+3*Gb4)/16 …（１−３）


Bout=(9*B1+3*B2+3*B3+1*B4)/16 …（１−４）

なお、画像処理回路１７は、GroutおよびGboutの平均をＧの出力Goutとする。

一方、画像処理回路１７は、前述したように、撮像素子１３が４画素加算モードで動作している場合には、ＤＲＡＭ２５から読み出される画像データの各色成分は、図８（Ｃ）に示す画素位置に対応付けられている。
このとき、画像処理回路１７は、前述した図８（Ｂ）に示す各画素位置のフィルタ係数を用いて画像データを補間すると、各色成分の補間位置は図８（Ｄ）に示すようになり、相互に異なる。これにより、色成分毎の重心ずれが生じてしまう。

なお、参考までに、図８（Ｃ）に示す４画素加算モードでの色配置パターンに対して図９（Ｂ−１）に示すようなフィルタ係数を適用した場合には、全色成分をブロックの中心位置に補間できる。
しかしながら、撮像素子１３から入力する画像データのブロックデータには、図９（Ａ−１）〜（Ａ−４）の４つの色配置パターンがある。
そのため、図９（Ａ−２）〜（Ａ−４）の色配置パターンのブロックの補間処理をする場合に、図９（Ａ−１）の場合と同じフィルタ係数を固定的に用いると、各色成分の補間位置は図９（Ｂ−２）〜（Ｂ−４）のようになり、ブロックの中心位置からずれてしまう。

画像処理回路１７は、上述した問題を解決するために、以下に示す処理を行うことで、同時化処理対象のブロックが図９（Ａ−１）〜（Ａ−４）の何れの色配置パターンであっても、全色成分をブロックの中心位置に補間できるようにする。

以下、画像処理回路１７が行う同時化処理について説明する。
図１０は、図１に示す画像処理回路１７の機能ブロック図である。
図１０に示すように、画像処理回路１７は、例えば、ブロック化部３１、先頭色判別部３３、係数メモリ３５、フィルタ係数選択部３７および同時化（補間）処理部３９を機能ブロックとして有する。

なお、ブロック化部３１、先頭色判別部３３、フィルタ係数選択部３７および同時化処理部３９の機能の一部あるいは全部は、専用の電子回路で実現してもよいし、処理回路でプログラムを実行することで実現してもよい。

ここで、同時化処理部３９が本発明の補間処理手段の一例であり、フィルタ係数選択部３７が本発明のフィルタ係数選択手段の一例であり、先頭色判別部３３が本発明の色配置判断手段の一例である。

ブロック化部３１は、撮像素子１３が生成した画像データ（原色ベイヤデータ）をＤＲＡＭ２５から読み出し、これをＮ×Ｎのブロックデータにブロック化して同時化処理部３９に出力する。
なお、本実施形態では、Ｎ＝４の場合を例示する。

先頭色判別部３３は、撮像素子１３からＨトリガ（垂直同期）信号ＨＴと、Ｖトリガ（垂直同期）信号ＶＴとを入力し、これらの信号を基に、ブロック化部３１から入力した各ブロックデータの先頭色成分を判別する。
先頭色判別部３３は、上記判別結果を示す先頭色判定データＴＣをフィルタ係数選択部３７に出力する。

本実施形態では、ブロックデータにおける色配置パターンとして、例えば、図１１（Ａ），（Ｂ），（Ｃ），（Ｄ）に示す４種類の色配置パターンＰ１〜Ｐ４がある。
当該４種類の色配置パターンＰ１〜Ｐ４は、ブロック内での各色成分の重心位置パターンが相互に異なっている。
ここで、色配置パターンＰ１，Ｐ２，Ｐ３，Ｐ４のブロックデータの先頭色は、それぞれＲ，Ｇｒ，Ｇｂ，Ｂである。
従って、先頭色判別部３３は、色成分Ｒ，Ｇｒ，Ｇｂ，Ｂの何れかを示す先頭色判定データＴＣをフィルタ係数選択部３７に出力する。

係数メモリ３５は、全画素モードで使用される全画素用フィルタ係数組ＦＣＸを記憶する。
また、係数メモリ３５は、４画素加算モードで使用される上記４つの色配置パターンＰ１，Ｐ２，Ｐ３，Ｐ４のそれぞれに対応した加算用フィルタ係数組ＦＣ１，ＦＣ２，ＦＣ３，ＦＣ４を記憶する。
加算用フィルタ係数組ＦＣ１，ＦＣ２，ＦＣ３，ＦＣ４は、４画素加算モードに対応したフィルタ係数組であり、図１１および図１２に示すように、各フィルタ係数組の間で当該組を構成するフィルタ係数が相互に異なる。

全画素用フィルタ係数組ＦＣＸは、図７（Ｂ）および図８（Ｂ）に示すように、撮像素子１３が全画素モードにおいて生成した同時化処理対象のブロックデータが図７（Ａ）に示す色配置パターンを有している場合に、全ての色成分をブロックの中心位置に補間するように予め規定された図７（Ｂ）に示すフィルタ係数で構成される。

加算用フィルタ係数組ＦＣ１は、図１１（Ａ）および図１２（Ａ）に示すように、撮像素子１３が４画素加算モードで生成した同時化処理対象のブロックデータが色配置パターンＰ１を有している場合に、全ての色成分をブロックの中心位置に補間するように予め規定されたフィルタ係数で構成される。
加算用フィルタ係数組ＦＣ２は、図１１（Ｂ）および図１２（Ｂ）に示すように、同時化処理対象のブロックデータが色配置パターンＰ２を有している場合に、全ての色成分をブロックの中心位置に補間するように予め規定されたフィルタ係数で構成される。

加算用フィルタ係数組ＦＣ３は、図１１（Ｃ）および図１２（Ｃ）に示すように、同時化処理対象のブロックデータが色配置パターンＰ３を有している場合に、全ての色成分をブロックの中心位置に補間するように予め規定されたフィルタ係数で構成される。
加算用フィルタ係数組ＦＣ４は、図１１（Ｄ）および図１２（Ｄ）に示すように、同時化処理対象のブロックデータが色配置パターンＰ４を有している場合に、全ての色成分をブロックの中心位置に補間するように予め規定されたフィルタ係数で構成される。

フィルタ係数選択部３７は、撮像素子１３からのモード指定データＭＯＤと、先頭色判別部３３からの先頭色判定データＴＣに基づいて、係数メモリ３５に記憶されている全画素用フィルタ係数組ＦＣＸおよび加算用フィルタ係数組ＦＣ１〜ＦＣ４のうち一つを選択して同時化処理部３９に出力する。

具体的には、フィルタ係数選択部３７は、モード指定データＭＯＤが全画素モードを示す場合に、全画素用フィルタ係数組ＦＣＸを選択して同時化処理部３９に出力する。
また、フィルタ係数選択部３７は、モード指定データＭＯＤが４画素加算モードを示し、且つ先頭色判定データＴＣがＲ，Ｇｒ，Ｇｂ，Ｂを示す場合にそれぞれ加算用フィルタ係数組ＦＣ１，ＦＣ２，ＦＣ３，ＦＣ４を選択して同時化処理部３９に出力する。

同時化処理部３９は、全画素モードにおいて、ブロック化部３１から入力したブロックデータを、それに対応してフィルタ係数選択部３７から入力した図７（Ｂ）に示す全画素用フィルタ係数組ＦＣＸを用いて前述した式（１−１）〜（１−４）に示す補間演算を行い、各色成分について、ブロックの中心位置の補間データRout，Grout，Gbout，Boutを生成する。

一方、同時化処理部３９は、４画素加算モードにおいて、ブロック化部３１から入力したブロックデータを、それに対応してフィルタ係数選択部３７から入力した加算用フィルタ係数組ＦＣ１〜ＦＣ４のうち一つを用いて補間演算を行い、各色成分について、ブロックの中心位置の補間データRout，Grout，Gbout，Boutを生成する。

具体的には、同時化処理部３９は、色配置パターンＰ１のブロックデータについては、図１１（Ａ）および図１２（Ａ）に示すように、フィルタ係数選択部３７から入力した加算用フィルタ係数組ＦＣ１を用いて、各色成分につて下記式（２−１）〜（２−４）の補間演算を行い、ブロック中心の補間データRout，Grout，Gbout，Boutを生成する。

［数２］
Rout=(9*R1+15*R2+15*R3+25*R4)/64 …（２−１）
Grout=(15*Gr1+9*Gr2+25*Gr3+15*Gr4)/64 …（２−２）
Gbout=(15*Gb1+25*Gb2+9*Gb3+15*Gb4)/64 …（２−３）
Bout=(25*B1+15*B2+15*B3+9*B4)/64 …（２−４）

また、同時化処理部３９は、色配置パターンＰ２のブロックデータについては、図１１（Ｂ）および図１２（Ｂ）に示すように、フィルタ係数選択部３７から入力した加算用フィルタ係数組ＦＣ２を用いて、各色成分につて下記式（３−１）〜（３−４）の補間演算を行い、ブロック中心の補間データRout，Grout，Gbout，Boutを生成する。

［数３］
Rout=(21*R1+3*R2+35*R3+5*R4)/64 …（３−１）
Grout=(3*Gr1+21*Gr2+5*Gr3+35*Gr4)/64 …（３−２）
Gbout=(35*Gb1+5*Gb2+21*Gb3+3*Gb4)/64 …（３−３）
Bout=(5*B1+35*B2+3*B3+21*B4)/64 …（３−４）

また、同時化処理部３９は、色配置パターンＰ３のブロックデータについては、図１１（Ｃ）および図１２（Ｃ）に示すように、フィルタ係数選択部３７から入力した加算用フィルタ係数組ＦＣ３を用いて、各色成分につて下記式（４−１）〜（４−４）の補間演算を行い、ブロック中心の補間データRout，Grout，Gbout，Boutを生成する。

［数４］

Rout=(21*R1+35*R2+3*R3+5*R4)/64 …（４−１）
Grout=(35*Gr1+21*Gr2+5*Gr3+3*Gr4)/64 …（４−２）
Gbout=(3*Gb1+5*Gb2+21*Gb3+35*Gb4)/64 …（４−３）
Bout=(5*B1+3*B2+35*B3+21*B4)/64
…（４−４）

また、同時化処理部３９は、色配置パターンＰ３のブロックデータについては、図１１（Ｄ）および図１２（Ｄ）に示すように、フィルタ係数選択部３７から入力した加算用フィルタ係数組ＦＣ４を用いて、各色成分につて下記式（５−１）〜（５−４）の補間演算を行い、ブロック中心の補間データRout，Grout，Gbout，Boutを生成する。

［数５］

Rout=(49*R1+7*R2+7*R3+1*R4)/64 …（５−１）
Grout=(7*Gr1+49*Gr2+1*Gr3+7*Gr4)/64 …（５−２）
Gbout=(7*Gb1+1*Gb2+49*Gb3+7*Gb4)/64 …（５−３）
Bout=(1*B1+7*B2+7*B3+49*B4)/64 …（４−４）

同時化処理部３９は、GroutおよびGboutの平均をＧの出力Goutとして生成する。
そして、同時化処理部３９は、入力したブロックデータについて生成した補間データRout，Gout，BoutをＤＲＡＭ２５に書き込む。
これにより、Ｒ，Ｇ，Ｂの全成分について、全画素位置の画素値がＤＲＡＭ２５に書き込まれる。

以下、図１に示す画像処理回路１７による同時化処理の動作例について説明する。
図１３は、図１に示す画像処理回路１７による同時化処理の動作例を説明するためのフローチャートである。
ステップＳ１：
ブロック化部３１は、ＤＲＡＭ２５から読み出した画像データ（原色ベイヤデータ）を４×４のブロックのブロックデータにブロック化し、これを同時化処理部３９に出力する。

ステップＳ２：
画像処理回路１７は、撮像素子１３から入力したモード指定データＭＯＤが全画素モードを示す場合にステップＳ３に進み、４画素加算モードを示す場合にステップＳ５に進む。

ステップＳ３：
同時化処理部３９は、全画素モードにおいて、ブロック化部３１から入力したブロックデータを、それに対応してフィルタ係数選択部３７から入力した全画素用フィルタ係数組ＦＣＸを用いて補間演算を行い、各色成分について、ブロックの中心位置の補間データRout，Grout，Gbout，Boutを生成する。
このとき、同時化処理部３９は、GroutおよびGboutの平均をＧの出力Goutとして生成する。

ステップＳ４：
同時化処理部３９は、各成分についてステップＳ３で生成した補間データRout，Gout，Boutを、４ｘ４ブロックの全画素位置の画素データとしてＤＲＡＭ２５に書き込む。これにより、Ｒ，Ｇ，Ｂの全成分について、全画素位置の画素値がＤＲＡＭ２５に書き込まれる。

ステップＳ５：
先頭色判別部３３は、撮像素子１３からＨトリガ（垂直同期）信号ＨＴと、Ｖトリガ（垂直同期）信号ＶＴとを入力し、これらの信号を基に、ブロック化部３１でブロック化した各ブロックデータの先頭色成分を判別する。
先頭色判別部３３は、上記判別結果を示す先頭色判定データＴＣをフィルタ係数選択部３７に出力する。

ステップＳ６：
フィルタ係数選択部３７は、撮像素子１３からのモード指定データＭＯＤと、先頭色判別部３３からの先頭色判定データＴＣに基づいて、係数メモリ３５に記憶されている加算用フィルタ係数組ＦＣ１〜ＦＣ４のうち一つを選択して同時化処理部３９に出力する。

ステップＳ７：
同時化処理部３９は、ブロック化部３１から入力したブロックデータを、それに対応してフィルタ係数選択部３７から入力した加算用フィルタ係数組ＦＣ１〜ＦＣ４のうち一つを用いて補間演算を行い、各色成分について、ブロックの中心位置の補間データRout，Gout，Boutを生成する。

ステップＳ８：
同時化処理部３９は、各成分についてステップＳ７で生成した補間データRout，Gout，Boutを、４ｘ４ブロックの全画素位置の画素データとしてＤＲＡＭ２５に書き込む。
同時化処理部３９は、上述した処理を、全てのブロックデータについて行う。

以下、図１に示す電子カメラ１の全体動作を説明する。
［撮像時］
光学系１１によって形成された被写体の光学像に応じた光が、撮像素子１３の各画素で受光される。
撮像素子１３は、前述した全画素モードあるいは４画素加算モードで動作し、各画素に蓄積された電荷を光電変換してアナログの画像信号を生成し、これをＡＤＣ１５に出力する。

次に、ＡＤＣ１５は、撮像素子１３が生成したアナログの画像信号をデジタル信号（画像データ）に変換してＤＲＡＭ２５に書き込む。

次に、画像処理回路１７は、ＤＲＡＭ２５から読み出した画像データに図１３等を用いて説明した同時化処理等の処理を施し、その結果を再びＤＲＡＭ２５に書き込む。このとき、画像処理回路１７は、上記同時化処理において、ＤＲＡＭ２５から読み出した画像データの各色成分について、全画素位置の画素値を補間により生成する。

次に、ＪＰＥＧエンコーダ/デコーダ１９は、上記同時化処理後の画像データをＤＲＡＭ２５から読み出してエンコード処理を施し、そのエンコード処理後の画像データを例えばメモリカード２３に書き込む。

［再生時］
メモリカード２３から再生対象のエンコードされた画像データがＤＲＡＭ２５に読み出される。
ＪＰＥＧエンコーダ/デコーダ１９は、ＤＲＡＭ２５から読み出したエンコードされた画像データをデコードしてビデオエンコーダ２１に出力する。
ビデオエンコーダ２１は、ＪＰＥＧエンコーダ/デコーダ１９から入力した画像データに再生処理を施して再生画像信号を生成し、これをモニタ２９に出力する。

以上説明したように、電子カメラ１では、撮像素子１３で４画素加算モードによって画像データが生成された場合に、画像処理回路１７において、同時化処理対象のデータブロックの色配置パターンに基づいて、図１１および図１２に示すように固有の加算用フィルタ係数組ＦＣ１〜ＦＣ４を選択して使用する。
このように、電子カメラ１によれば、撮像素子１３からの画像データに色成分毎の仮想的な重心位置がずれがある場合でも、重心位置ずれを考慮した同時化処理を行うことで、特別な補正回路を設けることなく、各色成分の補間データをブロックの中心位置に補間できる。

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。

例えば、上述した実施形態では、撮像素子１３において４画素加算モードで生成された画像データを、同時化処理部３９で処理する場合を例示したが、本実施形態では、撮像素子１３において、複数の色成分の間で重心ずれが生じる任意の加算モードで画像データを生成してもよい。その場合においても、同時化処理部３９は、フィルタ係数組を選択的に使用して当該画像データを補間することで、全色成分をブロック内の同一補間位置に補間する。
また、上述した実施形態では、ブロックの中心位置に補間する場合を例示したが、複数の色成分の間で同一補間位置に補間されれば、ブロックの中心位置以外の位置に補間してもよい。

また、上述した実施形態では、撮像素子１３が画素加算モードにおいて、同色画素の電荷を水平方向および垂直方向の双方で加算する場合を例示したが、同色画素の電荷を水平方向および垂直方向の何れか一方のみで加算してもよい。

また、上述した実施形態では、撮像素子１３の画素配置が４×４の場合を例示したが、当該画素配置は例えばＮ×Ｍ（Ｎ，Ｍは３以上の整数）であれば任意である。
さらに、撮像素子１３を構成する複数画素は、正方格子配列に限らず、ハニカム（Honey-comb＝蜂の巣）構造に配列してもよい。

また、上述した実施形態では、各画素に固定的に色成分を割り当てた場合を例示したが、各画素への色成分の割り当てパターンを撮像時にランダムに決定する手法を採用してもよい。その場合には、ランダムに決定された色成分の割り当てパターンに基づいて、同色画素の電荷を加算してアナログ信号を生成し、画像処理回路１７において、その割り当てパターンに応じたフィルタ係数を動的に生成して、補間処理を行う。

本発明は、色成分の重心ずれが生じた画像データを補間処理するシステムに適用可能である。

図１は、本発明の実施形態に係わる電子カメラの構成図である。 図２は、図１に示す撮像素子の原色ベイヤ、並びに９画素加算モードにおける９画素加算を説明するための図である。 図３は、図１に示す撮像素子の原色ベイヤ、並びに９画素加算モードにおける９画素加算を説明するための図である。 図４は、図１に示す撮像素子の４画素加算モードにおける４画素加算を説明するための図である。 図５は、図１に示す撮像素子の４画素加算モードにおける４画素加算を説明するための図である。 図６は、図１に示す画像処理回路が行う同時化処理を説明するための図である。 図７は、図１に示す画像処理回路が行う全画素モードにおける同時化処理を説明するための図である。 図８は、４画素加算モードにおける画像データを説明するための図である。 図９は、４画素加算モードにおける画像データを従来手法で補間処理した場合の問題点を説明するための図である。 図１０は、図１に示す画像処理回路の機能ブロック図である。 図１１は、図１０に示す画像処理回路による同時化処理を説明するための図である。 図１２は、図１０に示す画像処理回路による同時化処理で使用される加算用フィルタ係数組を説明するための図である。 図１３は、図１０に示す画像処理回路による同時化処理を説明するためのフローチャートである。

符号の説明

１…電子カメラ、６…バス、１１…光学系、１３…撮像素子、１７…画像処理回路、１９…ＪＰＥＧエンコーダ/デコーダ、２１…ビデオエンコーダ、２３…メモリカード、２５…ＤＲＡＭ、２９…モニタ

Claims (11)

1. モザイク状に配置されたカラーフィルタを有するカラー撮像素子から出力される画像信号を、フィルタで補間処理してカラー画像データを得る画像処理装置であって、
   前記カラー撮像素子の駆動モードにより、前記画像信号における各画素信号の空間的な重心位置が等間隔でなくなることにより、前記補間処理の対象となる画像領域における各画素信号の空間的な重心位置に複数種類の配置パターンが生じる場合に、
   いずれの前記配置パターンにおいても各画素信号の補間処理後の空間的な重心位置が一致するように、前記複数種類の配置パターンの種類に応じて前記補間処理を選択的に変更する補間処理手段を有し、
   前記補間処理手段は、前記補間処理の対象となる画像領域における前記複数種類の配置パターンの種類に応じた補間フィルタ係数を選択して当該補間処理の対象となる画像領域に前記補間演算を施すことを特徴とする画像処理装置。
2. 前記補間処理の対象となる画像領域における前記複数種類の配置パターンの種類に基づいて、複数組の補間フィルタ係数の中から、一組の補間フィルタ係数を選択するフィルタ係数選択手段をさらに有し、
   前記補間処理手段は、前記フィルタ係数選択手段が前記選択した一組の補間フィルタ係数を用いて前記補間処理の対象となる画像領域に対して補間演算を施すことを特徴とする請求項１に記載の画像処理装置。
3. 前記補間処理の対象となる画像領域内での色成分の配置に基づいて前記配置パターンの種類を判断する色配置判断手段をさらに有し、
   前記フィルタ係数選択手段は、前記色配置判断手段が判断した前記配置パターンの種類に基づいて、前記複数組の補間フィルタ係数の中から、一組の前記補間フィルタ係数を選択することを特徴とする請求項２に記載の画像処理装置。
4. 前記色配置判断手段は、前記補間処理の対象となる画像領域内の先頭の画素が対応する色に基づいて、前記色成分の配置を判断することを特徴とする請求項３に記載の画像処理装置。
5. 前記画像信号は、ベイヤ配列で配置された複数の画素の受光結果を、複数の同色画素を加算してから出力する画素加算モードで得られた信号をデジタル化した信号であることを特徴とする請求項１に記載の画像処理装置。
6. 前記補間処理の対象となる画像領域は、Ｎ×Ｎ画素の受光結果を基に生成された画素値で構成されることを特徴とする請求項１に記載の画像処理装置。
7. 前記補間処理の対象となる画像領域が４×４画素である場合に、前記補間フィルタ係数の組は、９：１５：１５：２５の比率に基づく補間フィルタ係数を含むことを特徴とする請求項２に記載の画像処理装置。
8. 前記補間処理の対象となる画像領域が４×４画素である場合に、前記補間フィルタ係数の組は、３：２１：５：３５の比率に基づく補間フィルタ係数を含むことを特徴とする請求項２に記載の画像処理装置。
9. 前記補間処理の対象となる画像領域が４×４画素である場合に、前記補間フィルタ係数の組は、１：７：７：４９の比率に基づく補間フィルタ係数を含むことを特徴とする請求項２に記載の画像処理装置。
10. モザイク状に配置されたカラーフィルタを有するカラー撮像素子から出力される画像信号を、フィルタで補間処理してカラー画像データを得る電子カメラであって、
    前記画像信号が前記カラー撮像素子の駆動モードにより、各画素信号の空間的な重心位置が等間隔でなくなることにより、前記補間処理の対象となる画像領域における各画素信号の空間的な重心位置に複数の配置パターンが生じる場合に、いずれの前記配置パターンにおいても各画素信号の補間処理後の重心位置が一致するように、前記複数の配置パターンに応じて前記補間処理を選択的に変更する補間処理手段と
    を有し、
    前記補間処理手段は、
    前記補間処理の対象となる画像領域における前記配置パターンの前記種類に応じた補間フィルタ係数を選択して当該補間処理の対象となる画像領域に補間演算を施すことを特徴とする電子カメラ。
11. モザイク状に配置されたカラーフィルタを有するカラー撮像素子から出力される画像信号を、フィルタで補間処理してカラー画像データを得る画像処理方法であって、
    前記画像信号が前記カラー撮像素子の駆動モードにより、各画素信号の空間的な重心位置が等間隔でなくなることにより、前記補間処理の対象となる画像領域における各画素信号の空間的な重心位置に複数の配置パターンが生じる場合に、
    いずれの前記配置パターンにおいても各色成分信号の補間処理後の重心位置が一致するように、前記補間処理の対象となる画像領域における前記配置パターンの前記種類に応じた補間フィルタ係数を選択して当該補間処理の対象となる画像領域に補間演算を施すことを特徴とする画像処理方法。