JP4246244B2 - 撮像装置 - Google Patents

Description

この発明は、撮像装置に関し、特に、液晶ビューファインダを持った高精細電子スチル画像撮像装置、及びビデオ動画撮影と高精細電子スチル画像撮影の両方を可能にした撮像装置に関するものである。

近年、パーソナルコンピューターの急速な普及により、画像入力機器としてのデジタルカメラ（電子スチルカメラ）の需要が拡大している。また、動画の記録機器としてデジタルビデオカメラなどの高画質記録装置が広く用いられている。これら画像入力機器では、撮像素子の画素数が撮影像の解像度を決定する大きな要素であるため、画素数は年々増加傾向にあり、最近は 400万画素以上の多くの画素数を持ったデジタルカメラも商品化されている。また、一般的に、デジタルカメラは撮影範囲を確認する手段として、リアルタイムの電子式ファインダーを備えており、動画の撮像が可能なデジタルカメラも珍しくない。

これら動画記録や電子式ファインダーの機能を実現するためには、撮像素子の画素数に対して数分の一〜数十分の一の画素数を持つ画像を、リアルタイム（秒30フレーム以上）で撮像することが要求される。しかし、数百万画素の撮像素子においては、秒30フレームのレートで全画素読み出しを行うことは、動作クロックからみて困難である。そこで、特定モードにおいて、必要なだけの画素数を撮像素子から間引いて読み出す機能を持った撮像素子を用い、間引いた信号を処理して縮小画像を生成する方式が提案されている。

その一例として、特開平９−２４７６８９号公報に開示されている単板撮像素子を挙げることができる。この公報開示の撮像素子においては、指定した位置の画素を直接読み出すことができるＸＹアドレス方式の撮像素子が用いられており、間引き読み出しモードでは、間引きしない場合と同じモザイクフィルタパターンの信号が得られるように、同一色フィルタ位置の画素を４画素読み出して、その平均値を計算する信号処理回路を併用している。また、このような読み出しができないＣＣＤ撮像素子の場合には、垂直方向に電流値加算を行うことで縦方向を平均化し、且つ間引き読み出しする方式が多くとられている。
特開平９−２４７６８９号公報

ところで、上記特開平９−２４７６８９号公報に開示されている従来技術では、単板撮像素子に対しては、間引き後のモザイクパターンが撮像素子のモザイクパターンと同一になるよう限定されており、モアレの発生を押さえ、且つ間引き後の解像度を維持するために間引きパターンを最適に選択するという観点については、考慮がなされていない。また、ＣＣＤ撮像素子における電流値の加算読み出し方式では、転送エリアの容量がオーバーフローしてしまい、信号の劣化を招いてしまうおそれがあった。

本発明は、従来の撮像装置における上記問題点を解決するためになされたものであり、高解像度の撮像素子から比較的高速なフレームレートで動画像を読み出しても偽信号が発生しないようにした撮像装置を提供することを目的とする。

上記問題点を解決するため、請求項１に係る発明は、間引き読み出し可能な複数の撮像素子で構成され、且つ、各撮像素子はそれぞれ異なる単一の色成分からなる画像を出力する撮像手段と、前記画像を出力する際に前記撮像素子からの間引き読み出しの動作を制御する間引き制御手段と、前記各撮像素子から出力した画像を合成してカラー画像を得る合成手段とを有し、前記間引き制御手段は、前記間引き読み出しする画素位置が前記各撮像素子から出力した画像間で異なるように読み出し制御を行うと共に、前記合成手段は前記各撮像素子から出力した画像間で共通な読み出し位置の信号に基づいて色相関パラメータを推定し、この推定結果に基づいて合成処理を行うようにして撮像装置を構成するものである。

請求項２に係る発明は、請求項１に係る撮像装置において、前記間引き制御手段は、前記読み出し位置が、前記各撮像素子から出力した画像間で一部は共通し、一部は異なるように間引き読み出しの制御を行うことを特徴とするものである。

本発明によれば、間引き時に発生する輝度モアレを抑制することができる。

次に、本発明を実施するための最良の形態について説明する。

次に、実施例について説明する。まず、実施例の説明に先立ち本発明に係る撮像装置に関連する参照例について説明する。図１は、本発明に係る撮像装置に関連する第１の参照例を示すブロック構成図で、本参照例に係る撮像装置をデジタルカメラに適用したものである。この参照例に係るデジタルカメラ100 は、図１に示すように、光学系101 ，間引き読み出しの可能な単板カラー撮像素子102 ，単板カラー撮像素子102 からの出力を記憶するバッファ103 ，単板カラー撮像素子102 の間引き読み出しの態様を制御する駆動制御回路104 ，動画記録モード設定時に、単板カラー撮像素子102 から間引き読み出しした信号を補間処理して、縮小カラー画像を内部バッファ111 内に生成する間引き補間回路105 ，通常記録モード設定時に、単板カラー撮像素子102 を通常読み出しした結果を補間処理して縮小なしのカラー画像を生成し、更に補間処理した画素ブロックの画素値を平均化処理する補間回路106 ，間引き補間回路105 ないし補間回路106 の出力を処理して画質を改善する信号処理回路107 ，信号処理回路107 の出力を記録媒体に記録する記録回路108 ，信号処理回路107 の出力を液晶表示装置に表示する表示回路109 ，及びこれら各回路の動作を制御する制御回路110 から構成されている。

次に、このように構成されているデジタルカメラ100 の動作について説明する。通常モードの撮影時においては、ユーザーが図示しないシャッタを押下すると、制御回路110 が駆動制御回路104 を全画素読み出しモードに設定し、駆動制御回路104 は単板カラー撮像素子102 を駆動して撮影を行う。これにより、単板カラー撮像素子102 からは、その全画素の信号がバッファ103 に出力される。単板カラー撮像素子102 からの出力が完了すると、制御回路110 が補間回路106 を動作させ、補間回路106 は単板状態の信号を補間処理によりカラー化し、補間処理の完了した画素ブロック毎に信号処理回路107 に出力する。信号処理回路107 では、入力されたカラーブロックに対し、順次マトリックス色変換、ガンマ補正、エッジ強調などの画質調整処理を施し、処理済カラーブロックを記録回路108 に出力する。記録回路108 では入力されたカラーブロックを圧縮処理し、図示していない記録媒体に記録する。

また補間回路106 は、記録回路108 への出力と並行して、内部で補間の完了した画素ブロックの画素値を平均化する処理を行い、平均化結果を内部バッファに記憶している。この平均化処理の結果、補間処理が終了した時点で、内部バッファには記録回路108 により記録されたカラー画像の縮小画像が形成される。記録回路108 の動作が完了した時点で、制御回路110 は補間回路106 の内部バッファの縮小画像を信号処理回路107 に出力する。最後に、信号処理回路107 が画質調整処理を施した画像を表示回路109 に出力し、ユーザーに撮影結果が表示されると、撮像完了となる。

一方、ユーザーが動画記録モードを設定してシャッタを押下した場合、駆動制御回路104 は単板カラー撮像素子102 を間引き読み出し駆動する。単板カラー撮像素子102 はＣＭＯＳ撮像素子であり、水平方向の平均化読み出しと、間引き読み出し（読み飛ばし）、及び垂直方向のラインスキップ（ライン読み飛ばし）が可能な構成となっている。図２に、単板カラー撮像素子102 のこれらの読み出し態様を示す。図２の（Ａ）に示した水平方向の複数画素の画素値を平均化して読み出す平均化読み出しは、ＣＭＯＳ撮像素子の各画素に付随するキャパシタの並列接続に基づいて実行されるようになっており、ＣＣＤ撮像素子のように電荷オーバーフローを伴う危険はない。また、読み出し時間は、平均化しないで一画素読み出す場合と同じとなる。

図２の（Ｂ）に示す水平方向の間引き読み出しでは、水平ラインの読み出しに用いるシフトレジスタを部分的に迂回する配線で実現しており、ライン内の最初の読み出し位置も可変となっている。平均化する画素数及び間引き位置は、外部からプログラム可能である。図２の（Ｃ）は、任意数のライン飛ばし（垂直方向の間引きスキップ）態様を示しており、図２の（Ｄ）は、図２の（Ａ）に示した平均化読み出しと図２の（Ｂ）に示した間引き読み出しの組み合わせ態様を示している。

駆動制御回路104 は、単板カラー撮像素子102 の、これらの読み出し機能を活用し、モアレの混入が少なくなる読み出しパターンで、単板カラー撮像素子102 の画素を平均化及び間引き読み出しで読み出しを実行し、その結果をバッファ103 に出力する。

以下、単板カラー撮像素子102 のモザイクフィルタ配置が原色ベイヤ配列で、間引き率が縦横１／４の場合を例に、読み出しパターンについて説明する。なお、間引き率が縦横１／４ということは、４×４画素ブロックにつき１画素しか読み出しできないという意味ではない。現在のところ、リアルタイム動画として１フレーム期間内に出力する必要のある画素数は、デジタルカメラの動画記録モードにおいては、ＱＶＧＡ(320×240)ないしＶＧＡ(640×480)が一般的である。そのため、撮像素子の駆動速度が速く読み出し期間が「１フレーム期間−後処理期間」以内に収まっていれば、撮像素子からこれ以上の画素数の信号を読み出しても問題はない。以下の例では、４×４画素ブロックにつき４画素まで読み出し可能という前提で説明している。

図３に、間引き率１／４の間引き読み出しの際の駆動処理回路104 の間引き読み出しパターンを示す。この間引き読み出しパターンでは、図３の（Ａ）に示された単板カラー撮像素子102 の原色ベイヤ配列において、４×４の全ての画素ブロックで、図に示した平行四辺形パターンの各角部に位置する４つのＧフィルタの位置の信号を、平均化して読み出す。また、Ｒ，Ｂフィルタの位置の信号については、図３の（Ｂ）で示すように、４×４画素ブロックで同じく平行四辺形パターン（図中点線部）の各角部に位置する４つのＲフィルタの位置の信号を読み出し平均化するが、Ｂフィルタ位置の信号は読み出さない読み出しタイプ（読み出しタイプＩ）、及び平行四辺形パターン（点線部）の各角部に位置する４つのＢフィルタの位置の信号を読み出して平均化するが、Ｒフィルタ位置の信号は読み出さない読み出しタイプ（読み出しタイプII）、の二通りの読み出しタイプを設け、４×４画素ブロックの位置に応じて、いずれのパターンで読み出すかを、図３の（Ｃ）に示すように設定する。図３の（Ｃ）においては、各四角形領域は４×４画素ブロックに対応しており、各四角形領域中の記号（Ｉ又はII）が、そのブロックがいずれの読み出しタイプで読み出されるかを示している。２種類の読み出しタイプに対応する画素ブロックが市松状に配置されていること、及びフレーム毎に市松配置が反転することの２点が特徴である。

なお、Ｒ，Ｇ，Ｂそれぞれの読み出しパターンは、図２の（Ａ）〜（Ｃ）に示した平均化読み出し、間引き読み出し（読み飛ばし）、ラインスキップの基本動作の組み合わせで実現できる。例えば、平行四辺形パターンのＧフィルタ位置の信号の読み出しと平均化は、次のようなステップで行われる。すなわち、(1) ライン内で、２画素目から、水平方向に２画素平均し、２画素読み飛ばすパターンを繰り返す、(2) １ラインスキップする、(3) 最初の読み出し位置を(1) おける最初の読み出し位置に対して２画素右にずらし同じ動作を行う、(4) １ラインスキップする、という動作を垂直方向に繰り返して、各ラインの信号をバッファ103 内に得た後、(1) と(3) で読み出した信号値を、ライン間で加算平均することにより実行される。このようなライン間の平均化処理は、間引き補間回路105 内で行われ、結果が間引き補間回路105 内のバッファ111 に記憶される。

このように、駆動制御回路104 による上記の(1) 〜(4) の読み出しと、間引き補間回路105 のライン間平均化処理により、各４×４画素ブロックで、Ｇ及びＲ、又はＧ及びＢの平均値が得られ、最終的に、間引き補間回路105 の内部バッファ111 には、図４の（Ａ）及び（Ｂ）に示すように、１／４に縮小された２板状態の画像が得られる。なお、図示のように、フレーム毎にＲ／Ｂのパターンが反転している。この状態から３色カラー画像を生成する２板カラー化処理は、２板撮像系のカメラの信号処理系として公知であり、間引き補間回路105 も公知例に従って処理を行う。

次に、図４の（Ｂ）を用いて、間引き補間回路105 における処理例を説明する。Ｇ成分は全画素で得られているので、補間処理が必要なのは、各画素で欠落しているＲ成分又はＢ成分である。例えば、図４の（Ｂ）中の網掛けのＧ１画素位置では、Ｂ成分はＢ１として存在するがＲ成分が欠落している。そこで、全画素で得られているＧに関して、網掛け画素Ｇ１と斜線部で示したその近傍のＧ画素とを比較し、最も差の小さい近傍画素を探索する。具体的には、図４の（Ｂ）における画素Ｇ１〜Ｇ５に関して、｜Ｇ１−Ｇj ｜（ｊは２〜５）を計算し、差分が最小となる画素Ｇj を求める。そして、その画素位置に対応するＲj を網掛け画素位置におけるＲ成分の値とする。このようにして、間引き補間回路105 において全ての欠落色成分が補間された後、内部バッファ111 上に完成された画像は、通常撮影モードと同様に記録回路108 及び表示回路109 に出力される。

以上の説明から把握できるように、本参照例は、以下に述べるような効果を含んでいる。
（１） ４×４ブロック毎に、ＲＧＢ全色が揃うように読み出すかわりに、いずれか２色が得られ、且つ一色は全ての４×４ブロックで共通に得られるような間引き読み出し方をした結果、間引き読み出し結果自体への各色へのモアレの混入を抑え、且つ欠落する色成分の復元（補間）もやりやすい構成となる。
（２） 特に、各ブロックでＲとＧ，又はＢとＧの組み合わせで色成分が得られ、且つこの組み合わせが市松状配置パターンをなすように間引きパターンを構成した結果、間引き読み出しした結果得られる画像が、２板撮像系で得られる画像と同一パターンとなり、その後のカラー化処理が行いやすくなる。
（３） また、上記（２）で述べた市松配置をフレーム毎に反転させることで、２板状態からの欠落色成分の補間復元で発生する色モアレの色がフレーム毎に補色関係になり、動画としてみると色モアレが色フリッカとして表示される。人間の視覚は色フリッカに対する感度が低いため、結果的に、色モアレが目立たなくする効果が得られる。

なお、本参照例においては、いくつかの変形が可能である。一つの好ましい変形例では、間引き補間回路105 においてフレーム間で読み出し位置の共通するＧ成分を用いて公知の動き検出を行い、動いていないと判定した場合は、２板状態にした際に欠落しているＲ又はＢ成分の値として、前フレームの対応する位置の値を用いる。その結果、動いていない部分については、２板カラー化処理の際に発生する色モアレを低減させることができる。

また、別の好ましい変形例では、図３の（Ｃ）に示したように、フレーム間でＲとＧ，又はＢとＧの組み合わせ間引きパターンを反転させる代わりに、例えばＲ，Ｂの読み出しタイプとして、図５に示す読み出しタイプIII 及びIVを新たに設け、フレーム間で読み出しタイプＩとIII ，IIとIVを交互に用いる。そして、間引き補間回路105 では、フレーム間で読み出し位置の共通するＧ成分を用いて、フレーム間差分に基づく方法などの公知の動き検出を行い、動いていないと判定した場合は、フレーム間の平均を取る操作を行う。このようにすると、動いていない部分では、フレーム間平均の結果、より多くの間引き情報を得ることができるようになり、モアレ低減効果が得られる。

次に、本発明に係る撮像装置に関連する第２の参照例について説明する。図６は、第２の参照例を示すブロック構成図で、図１に示した第１の参照例と同じ部分には同一符号を付して示し、その説明は省略し、異なっている部分についてのみ説明する。この第２の参照例は、第１の参照例と同じく本参照例に係る撮像装置をデジタルカメラに適用したものであるが、間引き読み出しのパターンとその制御法が、第１の参照例と異なっている。すなわち、図６に示すように、第１の参照例と異なり、間引き補間回路205 内に、新たにモアレ予測回路212 とフィルタリング回路213 が付加されている。そして、モアレ予測回路212 からの信号が駆動制御回路204 にフィードバックされ、モアレ予測結果に応じて間引きパターンを変化させることが、構成上の大きな違いとなっている。その他の構成は、第１の参照例と同一である。

このように構成されている第２の参照例の動作は、通常撮影では第１の参照例と同一である。動画撮影時には、駆動制御回路204 が第１の参照例と同じく単板カラー撮像素子102 を間引き読み出し駆動するが、４×４画素ブロック内の間引き読み出しのタイプが、図５に読み出しタイプIII ，IVで示すように、更に２通り増えている。実際の読み出しにおいては、図７の（Ａ）に示すように、読み出しタイプIII と図３の（Ｂ）に示した読み出しタイプＩが、また読み出しタイプIVと図３の（Ｂ）に示した読み出しタイプIIが組になり、各組のどちらかが別の組のどちらかと市松状パターンの配置をなす。各組でどちらの読み出しタイプが使用されるかは、前フレームにおけるモアレ予測回路212 の検出結果による。以下、縮小画像の各画素に対応するブロックに対し、読み出しタイプＩとIII ，ないしIIとIVのどちらのタイプで読み出すかを指定したフラグｄが、駆動制御回路204 の内部に記憶されているものとして、動画撮影時の動作について説明する。

まず、駆動制御回路204 が、フラグd に基づき単板カラー撮像素子102 の間引き読み出しを行う。各読み出しパターンは、水平方向の２画素平均、水平方向の読み飛ばし、及び垂直方向のラインスキップの３動作の組み合わせになっている。これを利用して、駆動制御回路204 は各ブロックの読み出しパターンを基本操作に分解して組み直し、単板カラー撮像素子102 の各ライン毎に必要な読み出し位置を計算する。例として、図７の（Ｂ）に、フラグｄが図７の（Ｂ）の左側ブロックで指定されている場合の各ラインの読み出し位置を、斜線で示している。駆動制御回路204 は、計算された読み出し位置の画素と、その２画素右にある画素との平均値がライン毎に得られるように、単板カラー撮像素子102 を駆動し、間引かれた画素値をバッファ103 に得る。

次に、間引き補間回路205 が、第１の参照例と同様に２板化処理を行い、図４の（Ａ），（Ｂ）で示した２板状態の縮小画像を内部バッファ211 に得る。但し、本参照例では、Ｇ成分について、間引き画素値を３ラインづつバッファ103 から読み出し、各ラインからＧ成分のみを取り出した後、フィルタリング回路213 により垂直方向のフィルタリングを行う。３ラインのフィルタ係数は、〔１／４ １／２ １／４〕となっている。この処理により、図７の（Ｃ）に示すように、原画像に図７の（Ｃ）の右側に示すフィルタ係数を持ったローパスフィルタをかけるのと等価な結果が得られ、第１の参照例で計算したＧ成分より、垂直方向のモアレが抑えられる。なお、図７の（Ｃ）の左側の画素ブロックの外側に示した数字（１／４又は１／２）は、ライン毎のフィルタ係数である。一方、Ｒ，Ｂ成分に対しては、第１の参照例と同様に、図３の（Ｂ）及び図５の点線の平行四辺形パターンで示した４画素の平均値が得られるように、バッファ103 からデータを読み出してライン間で平均化処理する。こうして２板状態の画像が得られた後、間引き補間回路205 は第１の参照例と同一の２板カラー化処理を行い、内部バッファ211 に最終結果を記憶する。

これと並行して、モアレ予測回路212 では、次フレームにおいて特に２板カラー化処理でモアレが発生しそうな場所を推定する。具体的には、縮小画像中の斜めエッジや縞を検出するが、これは、２板状態のＲ／Ｂ成分が市松配置であり、斜め線や斜め縞に対してモアレを生じやすいためである。検出のために、モアレ予測回路212 は、縮小画像の全画素で得られているＧ成分に、図８の（Ａ）に示す２つのフィルタＦ１，Ｆ２を適用し、画素毎にフィルタリング結果の絶対値Ｃ１，Ｃ２を計算する。（フィルタＦ１は、右上がりの斜め縞、Ｆ２は右下がりの斜め縞で大きな絶対値を持つ。）そして、絶対値の差分Ｃ１−Ｃ２が、所定の閾値Ｔ１以上の画素を右上がりエッジのある画素に、閾値Ｔ２以下の画素を右下がりエッジのある画素と判定する。

モアレ予測回路212 の判定終了後、間引き補間回路205 は、判定結果に基づいて、次フレームにおいて最適な間引きパターンが得られるように、４×４画素ブロック毎の間引きパターンを指定するフラグｄを決定する。

ここで、間引きパターンを選択する効果を、図８の（Ｂ）を用いて説明する。図８の（Ｂ）は、２板状態のＲ成分を得るときにブロックの間引きパターンとして図３の（Ｂ）の読み出しタイプＩで得た場合と、図５の読み出しタイプIII で得た場合の斜め方向の帯域の差を示している。図８の（Ｂ）において、横軸は周波数で縞の細かさを表しており、縦軸はレスポンスで縞のぼけ具合（レスポンス１：ぼけ小、レスポンス０：ぼけ大）を表している。このように、本参照例の間引きパターンで得られたＲないしＢ成分は、斜め方向の周波数特性に非対称性があり、パターンの選択により非対称関係が逆転する。そこで、斜めの特定方向に帯域が高い画像領域に対応するブロックにおける読み出しパターンとして、その方向での帯域低下効果が大きくなるものを選択すれば、フレーム間での動きが少ないという前提で、次フレームで２板状態のＲ／Ｂ成分に含まれるモアレの低減が可能となる。

この考えに基づき、間引き補間回路205 は、モアレ予測回路212 の判定で右上がりエッジと判断された画素の次フレームでの読み出しパターンを、読み出しタイプＩないしIIに、右下がりエッジと判断された画素の読み出しパターンを、読み出しタイプIII ないしIVになるよう、駆動制御回路204 内のフラグｄを設定する。また、どちらにも判定されなかった画素に対応するブロックについては、現フレームと同じものが選択されるように設定する。

間引き補間処理回路205 の処理が終了すると、その後第１の参照例と同一の処理がなされる。以上の説明から把握できるように、本参照例は、以下に述べるような効果を含んでいる。
（１） 間引きを行う際、間引き後の縮小画像に全画素で共通して得られる色成分を設けたので、その成分を使って画像の各領域の周波数特性を調べることができる。それに応じて次フレームの間引きパターンを最適に選択することで、色モアレの発生を抑えることができる。

次に、本発明に係る撮像装置に関連する第３の参照例について説明する。図９は、第３の参照例を示すブロック構成図で、図１に示した第１の参照例と同じ部分には同一符号を付して示し、その説明を省略し、異なっている部分についてのみ説明する。この第３の参照例は、図９に示すように、第１の参照例と同じく本参照例に係る撮像装置をデジタルカメラに適用したものである。本参照例では、第１の参照例と異なり、間引き補間回路305 内に新たに動き補償回路314 とフィルタリング回路313 が付加されている。また、駆動制御回路304 の間引きの態様も第１の参照例と異なっているが、その他の構成は第１の参照例と同一である。

このように構成されている第３の参照例の動作は、通常撮影では第１の参照例と同一である。動画撮影時には、駆動制御回路304 が第１の参照例と同じく単板カラー撮像素子102 を間引き読み出し駆動するが、第１の参照例のように、４×４画素ブロック毎に間引きパターンを変える代わりに、フレーム単位で間引き読み出しパターンを変更する。間引き読み出しパターンは、フレーム２ｎのとき全ブロックで図３の（Ｂ）に示す読み出しタイプＩ，フレーム２ｎ＋１のとき全ブロックで図３の（Ｂ）に示す読み出しタイプIIとなっている。駆動制御回路304 は、フレーム毎に間引き読み出しパターンを切り替えて単板カラー撮像素子102 を駆動し、第２の参照例と同様に、水平方向の平均化処理を行いつつ、ライン単位でバッファ103 に間引き読み出し結果を格納する。

間引き補間回路305 は、間引き読み出しが終了すると各色成分の平均化処理を行うが、その際、第２の参照例と同様にライン間でフィルタリングを行う。フィルタ係数も第２の参照例に関して図７の（Ｃ）に示したものと同じく、〔１／４ １／２ １／４〕であるが、第２の参照例と異なり、Ｇ成分のみならず全ての色成分に対してライン間フィルタリングを行う。フィルタリングの結果、図10に示すように、原画像の各色成分に対して図７の（Ｃ）に示したのと同じフィルタ係数を持つローパスフィルタをかけたのと同じ効果が得られる。平均化結果は、内部バッファ311 に記憶され、図11の（Ａ），（Ｂ）に示すように、フレーム２ｎでは縮小されたＲ，Ｇ成分、フレーム２ｎ＋１では縮小されたＢ，Ｇ成分が得られる。

次に、各フレーム毎にＲ又はＢの欠落成分があるので、間引き補間回路305 は前フレームの情報を用いて欠落成分を推定する。次に、例として図11の（Ｂ）の網掛けしたＧ＃画素位置に対応するＲ成分を推定する方法を示す。まず、動き補償回路314 が、図11の（Ｂ）に示す網掛け位置が、図11の（Ａ）に示す前フレームでどの位置に対応していたのかを、フレーム間で共通に得られているＧ成分を用いて推定する。具体的には、公知の動きベクトル推定手法を用いるが、例えば、図11の（Ｂ）のＧ＃画素位置近傍の３×3 画素範囲Ｐに対し、図11の（Ａ）に太枠で示した探索範囲Ｑを設定し、該探索範囲Ｑ内の全ての３×３近傍（探索範囲Ｑの左上隅に網掛け範囲として例示）とのマッチングをとり、マッチング誤差が最小となる近傍位置を計算する。図11の（Ａ）のＧ＊画素位置を中心とする３×３近傍が、これにあたる。このようにして、縮小画像の全画素に対し、動き補償回路314 により前フレームでの対応位置が求められると、間引き補間回路305 は、前フレームの対応位置における現フレームの欠落色成分に対応するＲ成分（Ｒ＊）とＧ成分（Ｇ＊）の差分をとり、その差分に現フレームのＧ成分（Ｇ＃）を加えて現フレームの欠落色成分の値として、内部バッファ311 に記憶する。図11に示した例では、図11の（Ｂ）に示すＧ＃画素位置における欠落成分（Ｒ）の推定値は、図11の（Ａ）中の対応位置での画素値Ｒ＊，Ｇ＊を用いて、Ｒ＃＝Ｇ＃＋（Ｒ＊−Ｇ＊）として計算される。

間引き補間回路305 の処理が終了後のデジタルカメラ300 の動作は、第１の参照例と同一である。以上の説明から把握できるように、本参照例は、以下に述べるような効果を含んでいる。
（１） 間引きにより得る色成分の種類として、フレーム間で共通して読み出す色成分と特定フレームでしか読み出さない色成分を設けたことで、各フレームで間引き読み出しにより得られる色成分へのモアレの混入を抑えることができ、且つ共通する成分を使って前後フレームの対応関係を推定することで、欠落する色成分も正しく補間復元することができる。
（２） フレーム間で共通して読み出すＧ成分を用いて前後フレームの位置の対応関係を計算し、更にＧ成分と前フレームでしか読み出さないＲ又はＢ成分の相関関係（本参照例ではＲ成分とＧ成分の差分又はＢ成分とＧ成分の差分）を計算し、その関係と、現フレームで読み出したＧ成分から現フレームで読み出されていない色成分を推定することで、精度よく現フレームの欠落色成分を推定できる。

なお、この参照例の好ましい変形例として、以下のものを挙げることができる。例えば、４×４ブロック単位ではなく、２×２ブロック単位で考えると、図10の間引き読み出しは、図12の（Ａ），（Ｂ）に示した読み出しタイプＸとＹの組み合わせで実現できる。読み出しタイプＸは、太枠で示した２×２ブロックに対し、点線で示したＲの平均値、及び実線で示したＧの平均値を読み出す。読み出しタイプＹは、太枠で示した２×２ブロックに対し、点線で示したＢの平均値、及び実線で示したＧの平均値を読み出す。そして、ＧとＲを読み出すフレームでは、図12の（Ｃ）に示すように、読み出しタイプＸの読み出しを、２×２ブロックを単位として市松状に繰り返すことで実現でき、ＧとＢを読み出すフレームでは、図12の（Ｄ）に示すように、読み出しタイプＹの読み出しを、２×２ブロックを単位として市松状に繰り返すことで実現できる。

上述の参照例では、図12の（Ｃ），（Ｄ）の太枠で示したように、２×２ブロックを４個まとめた４×４ブロックにつき、フレーム毎に、ＲとＧ，又はＢとＧが得られていると考えていたが、２×２ブロック単位で考えると、このように、フレーム毎に市松状に、ＲとＧ，又はＢとＧが得られる。そこで、２×２ブロック単位で、上述の参照例と同様に動き検出を行って、特定２×２ブロックに対応する前後フレーム内の２×２ブロックを求める。これにより、例えば、図12の（Ｅ）に示すように、フレーム２ｎの＃の付いた画素位置に対し、フレーム２ｎ＋１の＊の付いた画素位置が対応することがわかる。そして、このような対応関係を、値の得られている全ての２×２ブロックで調べた後、対応関係に基づいて各ブロックで欠落する色成分を推定する。

推定方法は、上述の参照例と同様である。例えば、図12の（Ｅ）において、フレーム２ｎの＃の付いた画素位置で欠落する色成分Ｂ＃に対し、フレーム２ｎ＋１において対応する＊の付いた画素位置で得られているＧ＊，Ｂ＊，及び フレーム２ｎの＃の付いた画素位置で得られているＧ＃から、Ｂ＃＝（Ｂ＊−Ｇ＊）＋Ｇ＃と推定する。最後に、各２×２ブロックで、このように欠落色成分を推定した後、２×２ブロックでの３色成分値を縦２個、横２個の４個単位で平均化することで、縮小画像の１画素に対応する４×４ブロックの３色成分値を計算する。この方法では、対応関係を求めるブロックサイズが上述の参照例より細かくなっており、より精度よく欠落色成分を推定できる。

更に別の好ましい変形例は、Ｇ成分の間引きパターンをフレーム間で変えるもので、図13に示すように、フレーム２ｎで本参照例で示した間引きパターン（実線）を、フレーム２ｎ＋１ではそれとは異なる間引きパターン（点線）をとる。ここで、図13中の一点鎖線枠中の読み出し位置は、フレーム間で変わらないように構成する。そして、動き補償回路314 では、フレーム間の動き検出をフレーム間で変わらない読み出し位置のＧ信号を使って行う。そして、動いていないと判断された画素については、前フレームのＧ成分と現フレームのＧ成分を平均する。その結果、間引いたＧ成分に混入するモアレを低減させることができる。

次に、本発明の実施例について説明する。図14は、本実施例を示すブロック構成図で、図１に示した第１の参照例と同じ部分には同一符号を付して示し、その説明は省略し、異なっている部分についてのみ説明する。この実施例は、図14に示すように、第１の参照例と同じく本発明をデジタルカメラに適用したものであるが、３板撮像系である点が大きな違いである。光学像は、色分解プリズムを介して色成分毎にＲ撮像素子402a，Ｇ撮像素子402b，Ｂ撮像素子402cで撮像され、各撮像素子からの出力は同一のバッファ103 に入るようになっている。各撮像素子は、第１の参照例における単板カラー撮像素子102 と同一の間引き読み出し機能を備えており、駆動制御回路404 は３つの撮像素子それぞれの間引き読み出し駆動を独立に行うことができる。また、間引き補間回路405 には、新たに色相関計算回路414 ，フィルタリング回路413 が付加されている。その他は、３板撮像系であるため補間回路106 がない点を除いて、第１の参照例と同一である。

このように構成されている本実施例の動作は、通常撮影では第１の参照例と類似しているが、駆動制御回路404 が全画素読み出しモードでＲ撮像素子402a，Ｇ撮像素子402b，Ｂ撮像素子402cを駆動すると、バッファ103 に３色カラー画像が直接得られ、信号処理回路107 が直接バッファ103 から３色カラー画像を読み出して画質改善処理を施す点が異なっている。一方、動画撮影時には、駆動制御回路404 が間引き読み出しモードでＲ撮像素子402a，Ｇ撮像素子402b，Ｂ撮像素子402cを駆動し、各撮像素子からバッファに得られた間引き読み出し出力を、間引き補間回路405 が補間処理して３色カラー画像を生成した後、信号処理回路107 に出力する。以下、駆動制御回路404 及び間引き補間回路405 の動作について説明するが、これまでの参照例と同じく、縮小率は１／４，読み出しレートは４×４画素ブロック毎に４画素の場合について説明する。

駆動制御回路404 による各撮像素子の間引き方は、全てのフレームで、３つの撮像素子それぞれに対し、図15の（Ａ）の網掛けで示したとおりである。特徴は、読み出し位置に撮像素子間で共通している部分といない部分があることである。撮像素子間で共通している読み出し位置を、図15の（Ｂ）に示した。駆動制御回路404 により、各撮像素子から網掛け部分の画素が水平方向に２画素づつ平均して読み出され、バッファ103 の撮像素子別に設けられた領域に記憶される。４×４画素ブロック当たり各ライン毎に４つの値が記憶される。

間引き読み出しが完了すると、間引き補間回路405 は、上記各参照例と同じくバッファ103 内のデータの平均化処理を行う。その際、３つの素子の間引き読み出し結果を総合し、各撮像素子で間引き読み出しされていない位置での信号値を推定してから、平均化操作を行うことで、モアレ低減を可能にしている。図16に示した例に基づいて推定方法を説明する。

この図16において、黒い四角で囲んだ画素位置は、Ｒ撮像素子402aとＧ撮像素子402bに共通の間引き読み出し位置である。相関計算回路411 は、この共通の位置で得られているＲ，Ｇの信号Ｒ＊及びＧ＊から、各４×４ブロック内でのＲ成分とＧ成分の色相関を推定する。本実施例では、最も簡単なものとして、共通読み出し位置での平均値の差Ｄ＝Ａvg（Ｒ＊）−Ａvg（Ｇ＊）（Ａvgは平均を表す）を、色相関を表すパラメータとして計算する。水平方向の平均値は、すでにバッファ103 に得られているので、相関計算回路411 は２つの撮像素子からの共通読み出し位置に対応する出力を更に平均し差分をとるだけでよい。なお、色相関を表すパラメータとしては、この他にもＡvg（Ｒ＊）／Ａvg（Ｇ＊）など様々なものが考えられる。

この計算の後、間引き補間回路405 は、ある撮像素子では値が読み出されなかったが他の撮像素子では値が読み出されているような位置に対し、読み出されなかった値を推定する。図16に示した例では、Ｒ撮像素子402aで２画素平均値Ｒ＃が読み出されている位置に対し、その位置でのＧ撮像素子402bにおける２画素平均値Ｇ＃を、共通読み出し位置での色相関パラメータ計算結果を用いて、Ｒ＃−Ｄで推定する。このようにして、全ての撮像素子に共通しない読み出し位置での画素値を推定した後、間引き補間回路405 は各４×４ブロックでの平均値を計算し、内部バッファ411 に保存する。

間引き補間回路405 の処理が終了後のデジタルカメラ400 の作用は、第１の参照例と同一である。以上の説明から把握できるように、本実施例は、以下に述べるような効果を含んでいる。
（１） ３板撮像系の間引き処理において、色成分間の間引き読み出しパターンに共通する読み出し部分と共通しない読み出し部分を設け、共通読み出し部分から局所的な色成分間の相関関係（色相関パラメータ）を計算し、共通しない読み出し部分にこれを適用することで、各色成分において間引き読み出しされなかった位置の信号の推定が可能になり、推定値を含めて平均化処理を行うことで、３板撮像系においても間引き時に発生する輝度モアレを抑制することができる。

本発明に係る撮像装置に関連する第１の参照例を示すブロック構成図である。 図１に示した第１の参照例における単板カラー撮像素子の読み出し機能を示す説明図である。 第１の参照例における間引き読み出しパターンを示す説明図である。 縮小された２板状態の画像を示す図及び２板カラー化処理の説明図である。 第１の参照例の変形例、及び第２の参照例における４×４ブロックの間引き読み出しパターンを示す図である。 本発明の第２の参照例を示すブロック構成図である。 第２の参照例における間引き読み出し方法及びフィルタリング処理についての説明図である。 第２の参照例におけるモアレ予測に用いるフィルタ、及び２板状態のＲ成分を得るときに読み出しタイプＩ及びIII を用いた場合の周波数特性を示す図である。 本発明の第３の参照例を示すブロック構成図である。 第３の参照例における間引き読み出しパターンを示す説明図である。 第３の参照例における動き補償回路を用いた欠落色成分の推定手法を示す説明図である。 第３の参照例における動き補償回路における処理の変形例を示す説明図である。 第３の参照例における間引き読み出しパターンの変形例を示す図である。 本発明の実施例を示すブロック構成図である。 本実施例における間引き読み出しパターンを示す説明図である。 本実施例における色相関計算回路による画素値予測の説明図である。

符号の説明

100, 200, 300, 400 デジタルカメラ
101 光学系
102 単板カラー撮像素子
103 バッファ
104, 204, 304, 404 駆動制御回路
105, 205, 305, 405 間引き補償回路
106 補間回路
107 信号処理回路
108 記録回路
109 表示回路
110 制御回路
111, 211, 311, 411 内部バッファ
212 モアレ予測回路
213, 313, 413 フィルタリング回路
314 動き補償回路
402a Ｒ撮像素子
402b Ｇ撮像素子
403c Ｂ撮像素子
414 色相関計算回路

Claims (2)

1. 間引き読み出し可能な複数の撮像素子で構成され、且つ、各撮像素子はそれぞれ異なる単一の色成分からなる画像を出力する撮像手段と、前記画像を出力する際に前記撮像素子からの間引き読み出しの動作を制御する間引き制御手段と、前記各撮像素子から出力した画像を合成してカラー画像を得る合成手段とを有し、前記間引き制御手段は、前記間引き読み出しする画素位置が前記各撮像素子から出力した画像間で異なるように読み出し制御を行うと共に、前記合成手段は前記各撮像素子から出力した画像間で共通な読み出し位置の信号に基づいて色相関パラメータを推定し、この推定結果に基づいて合成処理を行うことを特徴とする撮像装置。
2. 前記間引き制御手段は、前記読み出し位置が、前記各撮像素子から出力した画像間で一部は共通し、一部は異なるように間引き読み出しの制御を行うことを特徴とする請求項１に係る撮像装置。

Images