JP4645344B2 - 画像処理装置および撮像装置 - Google Patents

Description

本発明は、カラー画像信号を処理する画像処理装置、およびこの機能を具備する撮像装置に関する。

デジタルビデオカメラやデジタルスチルカメラなどの撮像装置には、撮像素子としてＣＣＤ（Charge Coupled Devices）、あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ（以下、ＣＭＯＳセンサと呼ぶ）などが搭載されている。これらの撮像素子は、一般的に、２次元配列された画素から読み出した信号を１本のデータストリームに変換して、１つの出力チャネルから出力している。例えば、一般的なＣＣＤでは、列ごとに配置された垂直レジスタに画素信号を転送した後、それらの信号を水平レジスタに行ごとに転送して出力することで、１本のデータストリームに変換する。また、ＣＭＯＳセンサでは、例えば１行分の画素信号を読み出して各列のコンデンサに蓄積した後、それらの信号を端から順に出力することで、１本のデータストリームに変換している。

図４３は、このような１チャネル出力型の撮像素子を用いた撮像装置の要部構成例を示すブロック図である。
図４３において、アナログフロントエンド（ＡＦＥ）回路９１２は、ＣＤＳ（Correlated Double Sampling）回路やＡＧＣ（Auto Gain Control）回路、Ａ／Ｄ変換回路などを備え、撮像素子９１１からのアナログ画像信号をデジタル変換して出力する。カメラ信号処理回路９１３は、ＡＦＥ回路９１２からの画像信号に対して、デジタルクランプ、ノイズリダクション、欠陥補正、デモザイク（同時化処理）、ホワイトバランス調整、解像度変換などといった各種カメラ信号処理を施し、最終的には輝度信号（Ｙ）および色差信号（Ｃ）として画像信号をベースバンド処理回路９１４に出力する。ベースバンド処理回路９１４は、入力された画像信号の圧縮符号化や、モニタ表示用の信号への変換などのベースバンド系処理を行う。

ここで、撮像素子のフィルタコーディングとして一般的なベイヤ配列を例として挙げ、カメラ信号処理回路９１３に入力される画像信号の色シーケンスについて考察する。まず、図４４は、ベイヤ配列の撮像素子の画素信号を１つの出力チャネルから出力した場合の色シーケンスを説明する図である。

ベイヤ配列の撮像素子では、図４４（Ａ）に示すように、奇数行に先頭からＲ、Ｇｒが交互に配置され、偶数行に先頭からＧｂ、Ｂが交互に配置された画素配列を持つ。出力チャネルが１つである場合、このような画素配列の左上から水平方向に順次走査し、１水平同期期間が終了すると次の行を走査して画素信号を読み出す。このため、撮像素子９１１から出力チャネルＣｈ１に出力される画素信号の色シーケンスは、図４４（Ｂ）に示すように、奇数番目の水平同期期間にはＲ，Ｇｒ，Ｒ，Ｇｒ……となり、偶数番目の水平同期期間にはＧｂ，Ｂ，Ｇｂ，Ｂ……となる。従って、色別の処理を行うカメラ信号処理回路９１３の内部では、このような色シーケンスを意識し、入力信号に対してＲ用、Ｇ用、Ｂ用の各処理を色シーケンスに合わせてタイミングを図りながら適切に行う必要がある。

ところで、近年では１００万画素を優に超えるような多画素の撮像素子が採用された撮像装置が多くなっている。このような撮像素子では、画素数が多いために、前述したような１チャネルで画素信号を読み出す方法では読み出し周波数が飛躍的に高くなってしまう。特に、ビデオカメラのように１画面あたりの読み出し時間に制約がある場合には実現が容易でなく、例えば、あまりにも読み出し周波数が高くなると、消費電力が増大するだけでなく、アナログ信号処理の制約によって適切に信号を読み出すこと自体が不可能になってしまう。

このような問題を回避するために、最近では、撮像素子の画素信号を多チャネルで読み出すようにしたカメラ信号処理システムが開発されている。撮像素子から画素信号を多チャネルで読み出すことができれば、１チャネルあたりの読み出し周波数を下げることができるため、上記のような問題を回避することができる。

なお、多チャネル読み出しを採用した場合には、チャネル間のアナログ信号バラツキなどの特有の問題が発生することがある。このため、チャネル間のレベル差を検出してレベル補正を行う技術（例えば、特許文献１参照）や、そのレベル差を複数ラインに亘る積分値から検出する技術（例えば、特許文献２参照）などが従来から考えられていた。

以下、ベイヤ配列の撮像素子において出力チャネルを複数とした場合の色シーケンスの例を挙げる。図４５〜図４７は、画素信号を２チャネル、３チャネル、４チャネルでそれぞれ読み出した場合の色シーケンスを説明する図である。

図４５（Ａ）では、２つの出力チャネルＣｈ１およびＣｈ２に対して、先頭画素から交互に出力している。この場合には、図４５（Ｂ）のように、各出力チャネルに対して１クロック当たり２画素分を同時に読み出すことで、読み出し周波数を１／２とすることができる。また、図４６（Ａ）では、先頭画素から順に３つの出力チャネルＣｈ１〜Ｃｈ３を割り当てて出力している。この場合には、図４６（Ｂ）のように、１クロック当たり３画素分を同時に出力することで、読み出し周波数を１／３とすることができる。また、図４７（Ａ）では、先頭画素から順に４つの出力チャネルＣｈ１〜Ｃｈ４を割り当てて出力している。この場合には、図４７（Ｂ）のように、１クロック当たり４画素分を同時に出力することで、読み出し周波数を１／４とすることができる。

さらに、以下の図４８〜図５０のように、複数ライン分の画素信号を各出力チャネルに同時に読み出す方法もある。図４８〜図５０は、２ラインの画素信号をそれぞれ２チャネル、４チャネル、６チャネルで読み出した場合の色シーケンスを説明する図である。

図４８（Ａ）では、撮像素子上の奇数行に出力チャネルＣｈ１、偶数行に出力チャネルＣｈ２を割り当てて出力している。この場合には、図４８（Ｂ）のように、１クロック当たり２行分の画素信号を同時に読み出すことで、読み出し周波数を１／２とすることができる。

また、図４９（Ａ）では、撮像素子上の２行×２列の単位で出力チャネルＣｈ１〜Ｃｈ４を割り当てている。この例では、１列目の１行目、２行目の信号をそれぞれ出力チャネルＣｈ１、Ｃｈ２に、２列目の１行目、２行目の信号をそれぞれ出力チャネルＣｈ３およびＣｈ４に出力している。この場合、図４９（Ｂ）のように、１クロック当たり４画素分を同時に読み出すことで、読み出し周波数を１／４とすることができる。

また、図５０（Ａ）では、撮像素子上の２行×３列の単位で出力チャネルＣｈ１〜Ｃｈ６を割り当てている。この例では、１列目の１行目、２行目の信号をそれぞれ出力チャネルＣｈ１、Ｃｈ２に、２列目の１行目、２行目の信号をそれぞれ出力チャネルＣｈ３およびＣｈ４に、３列目の１行目、２行目の信号をそれぞれ出力チャネルＣｈ５およびＣｈ６に出力している。この場合、図５０（Ｂ）のように、１クロック当たり６画素分を同時に読み出すことで、読み出し周波数を１／６とすることができる。

なお、ＣＭＯＳセンサのようなＸＹアドレス走査型の撮像素子では、基本的な構造を大きく変えることなく、上記のような各種の読み出し動作を比較的容易に実現することができる。

以上のように、出力チャネルを複数にすることで、１画面分の画素信号を読み出すための総クロック数を減少させ、読み出し周波数を低減することができる。その一方で、出力チャネル数や、どの画素群を並列に読み出すかによって、上記のように多数の出力シーケンスが存在するため、これらの出力シーケンスのそれぞれに適する信号処理回路を開発し、搭載させる必要があるということになる。

例えば、図４９では、読み出しの際にＲ，Ｇｂ，Ｇｒ，Ｂの４つのフィルタ成分が繰り返して出現するが、このような繰り返し数の“４”（あるいはその整数倍）と出力チャネル数とが一致する場合には、この図４９のように、どの水平同期期間においても１つの出力チャネルからは１つの同じフィルタ成分の信号のみ出力されるようにすることができる。これにより、後段の回路（例えば図４３のカメラ信号処理回路９１３）では同じフィルタ成分ごとに信号を処理できるので、回路構成を単純化できる。しかし、例えば図５０の場合のように、上記の条件が成り立たないことも多く、回路規模や製造コストに基づく出力チャネル数や読み出し周波数の制約などから考えても、上記条件を常に満たすように設計することは容易ではない。

さらに、撮像素子から出力された多チャネルの信号を、後段の回路にそのまま渡さずに、信号を多重化してチャネル数を減らした上で送出するシステムも存在している。図５１は、このような多重化機能を備えた信号処理系の構成例を示すブロック図である。

図５１の信号処理系は、ＡＦＥ回路９１２ａに画像信号の多重化（ＭＵＸ：Multiplexer）機能を設けた点が、図４３の構成と異なっている。ＡＦＥ回路９１２ａは、撮像素子９１１からのＮチャネル（Ｎは２以上の整数）の出力信号を、例えばＮ／２チャネルの信号として多重化する。例えば、撮像素子９１１からの隣接する２つの出力チャネルの信号を時分割多重化することで、出力チャネル数を減らすことができる。このような多重化により出力周波数が２倍になるが、画素信号をデジタル変換した後に多重化処理を行うことで実現できる。

このような多重化処理では、多重化するチャネルの組み合わせが多数考えられるため、上述した撮像素子からの出力チャネル数や並列読み出しのパターンに加えて、さらに多数の異なる出力シーケンスのそれぞれに対応する信号処理回路を開発する必要が生じてしまう。
特開平７−７５０１９号公報（段落番号〔００１３〕〜〔００１６〕、図１） 特開２００２−２５２８０８号公報（段落番号〔００２０〕〜〔００３３〕、図１）

上記のように、撮像素子からの画素信号の出力シーケンスは非常に多数のパターンがあり、それらを多重化した場合にはさらに多数のパターンが考えられる。後段の信号処理回路は、内部の全ブロックでこのような出力シーケンスを意識した動作を行う構成とする必要があるが、上記のような多くのパターンに対応できるようにするためには、非常に複雑かつ大規模な回路構成となってしまう。

近年では、多種の撮像装置を発売する際の開発・製造コストの削減を目的として、画素数などの仕様の異なる撮像素子に対応でき、しかもその後の１年や数年に亘って基本構成を変えずに利用できるように、信号処理回路を設計することが求められている。しかし、新しい信号処理回路の開発時点では、その後の数年間に採用される画素信号の読み出し方式をすべて決定しておくことは困難であり、対応できる仕様の範囲にも限度があった。

このような問題に対して、カメラ信号処理回路９１３の入力段に、画像信号を必要なフィルタ成分ごとに並び替える回路を設けることで、入力シーケンスに関係なく、常に特定のフィルタ成分を同じ規則でカメラ信号処理回路９１３に画像信号を入力させることが考えられる。しかし、この場合には、カメラ信号処理回路９１３への入力シーケンスが単純になる一方、その入力信号が撮像素子のどの出力チャネルから出力されたものかを示す出身チャネルのシーケンスも並び替えられてしまう。

カメラ信号処理回路９１３には、例えばデジタルクランプや、チャネル間ゲイン補正の機能など、出身チャネル別に処理を行うブロックが存在する。このため、上記の並び替え回路により多くの入力シーケンスに対応できたとしても、その入力シーケンスのバリエーションに応じて多様な出身チャネルシーケンスが現れてしまい、結局、カメラ信号処理回路９１３の一部に広い汎用性を持たせることができなくなってしまうことが問題となっていた。

本発明はこのような点に鑑みてなされたものであり、画像信号の入力シーケンスの変化に対して汎用性が高く、回路規模の小さい画像処理装置を提供することを目的とする。
また、本発明の他の目的は、画像信号の入力シーケンスの変化に対して汎用性が高く、回路規模の小さい画像処理機能を備えた撮像装置を提供することである。

本発明では上記課題を解決するために、カラー画像信号を処理する画像処理装置において、入力された画像信号が固体撮像素子のどの読み出しチャネルから読み出されたかを識別するチャネルＩＤを利用して、前記固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する信号処理手段と、各フィルタ成分に対応する個別の記憶領域を備えた記憶手段と、画像信号におけるフィルタ成分の入力シーケンスに応じた並び替え制御パラメータと、前記記憶手段からの読み出し後の画像信号に対応する前記チャネルＩＤのシーケンスに応じたチャネルＩＤ生成パラメータとを含む制御パラメータの設定を受け付けるパラメータ受信手段と、前記固体撮像素子の出力信号に基づく複数チャネルの入力画像信号を、当該入力画像信号における前記入力シーケンスに応じた前記制御パラメータの設定に基づいてフィルタ成分ごとに振り分け、対応する前記記憶領域に書き込む書き込み手段と、前記各記憶領域から個別の出力チャネルを通じて画像信号を順次読み出し、前記信号処理手段に供給する読み出し手段と、前記読み出し手段により読み出された画像信号に対応する前記チャネルＩＤを前記チャネルＩＤ生成パラメータの設定に基づいて生成し、前記信号処理手段に供給するチャネルＩＤ生成手段とを有することを特徴とする画像処理装置が提供される。

このような画像処理装置では、画像信号が固体撮像素子のどの読み出しチャネルから読み出されたかを識別するチャネルＩＤが定義される。また、パラメータ受信手段は、画像信号におけるフィルタ成分の入力シーケンスに応じた並び替え制御パラメータと、記憶手段からの読み出し後の画像信号に対応するチャネルＩＤのシーケンスに応じたチャネルＩＤ生成パラメータとを含む制御パラメータの設定を受け付ける。記憶手段は、信号処理手段で並列に処理されるフィルタ成分にそれぞれ対応する個別の記憶領域を備えている。

固体撮像素子の出力信号に基づく複数チャネルの画像信号が入力されると、書き込み手段は、入力された画像信号を、当該画像信号における入力シーケンスに応じた制御パラメータの設定に基づいて、フィルタ成分ごとに振り分け、対応する記憶領域に書き込む。読み出し手段は、各記憶領域から個別の出力チャネルを通じて画像信号を順次読み出し、信号処理手段に供給する。これにより、記憶手段の各出力チャネルからは、信号処理手段により並行に処理されるフィルタ成分ごとに並び替えられた画像信号が出力され、画像信号の入力シーケンスに関係なく、常に一定の規則でフィルタ成分が配列された画像信号が信号処理手段に供給されるようになる。

さらに、チャネルＩＤ生成手段は、読み出し手段により読み出された画像信号に対応するチャネルＩＤをチャネルＩＤ生成パラメータの設定に基づいて生成し、信号処理手段に供給する。信号処理手段は、読み出し手段からの画像信号が撮像素子のどの読み出しチャネルから出力されたものかを、チャネルＩＤ生成手段からのチャネルＩＤにより判別し、読み出しチャネルに応じた処理を実行できるようになる。

また、本発明では、カラー画像信号を処理する画像処理装置において、入力された画像信号が固体撮像素子のどの読み出しチャネルから読み出されたかを識別するチャネルＩＤを利用して、前記固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する信号処理手段と、前記固体撮像素子の出力信号に基づく複数チャネルの画像信号に対して前記チャネルＩＤを割り当て、当該画像信号とともに出力するチャネルＩＤ生成手段と、各フィルタ成分に対応する個別の記憶領域を備えた記憶手段と、画像信号におけるフィルタ成分の入力シーケンスに応じた並び替え制御パラメータの設定を受け付けるパラメータ受信手段と、前記チャネルＩＤ生成手段を介して入力された複数チャネルの画像信号と、当該画像信号に対応する前記チャネルＩＤ生成手段からの前記チャネルＩＤとを、当該画像信号における前記入力シーケンスに応じた前記並び替え制御パラメータの設定に基づいてフィルタ成分ごとに振り分け、対応する前記記憶領域に書き込む書き込み手段と、前記各記憶領域から個別の出力チャネルを通じて画像信号とこれに対応する前記チャネルＩＤとを順次読み出し、前記信号処理手段に供給する読み出し手段とを有することを特徴とする画像処理装置が提供される。

このような画像処理装置では、画像信号が固体撮像素子のどの読み出しチャネルから読み出されたかを識別するチャネルＩＤが定義される。また、パラメータ受信手段は、画像信号におけるフィルタ成分の入力シーケンスに応じた並び替え制御パラメータ設定を受け付ける。記憶手段は、信号処理手段で並列に処理されるフィルタ成分にそれぞれ対応する個別の記憶領域を備えている。

固体撮像素子の出力信号に基づく複数チャネルの画像信号が入力されると、チャネルＩＤ生成手段は、入力された画像信号に対してチャネルＩＤを割り当て、その画像信号とともに出力する。書き込み手段は、チャネルＩＤ生成手段を介して入力された画像信号と、それに対応するチャネルＩＤ生成手段からのチャネルＩＤとを、当該画像信号における入力シーケンスに応じた制御パラメータの設定に基づいて、フィルタ成分ごとに振り分け、対応する記憶領域に書き込む。読み出し手段は、各記憶領域から個別の出力チャネルを通じて画像信号およびこれに対応するチャネルＩＤを順次読み出し、信号処理手段に供給する。

これにより、記憶手段の各出力チャネルからは、信号処理手段により並行に処理されるフィルタ成分ごとに並び替えられた画像信号が出力され、画像信号の入力シーケンスに関係なく、常に一定の規則でフィルタ成分が配列された画像信号が信号処理手段に供給されるようになる。これとともに、信号処理手段は、読み出し手段からの画像信号が撮像素子のどの読み出しチャネルから出力されたものかを、読み出し手段からのチャネルＩＤにより判別し、読み出しチャネルに応じた処理を実行できるようになる。

本発明の画像処理装置によれば、書き込み手段により、固体撮像素子の出力信号に基づく複数チャネルの入力画像信号が、入力シーケンスに応じた制御パラメータの設定に応じて、信号処理手段で並行に処理されるフィルタ成分ごとに振り分けられて、対応する記憶領域に書き込まれ、読み出し手段により、各記憶領域から個別の出力チャネルを通じて画像信号が順次読み出され、信号処理手段に供給される。これにより、記憶手段の各出力チャネルからは、信号処理手段により並行に処理されるフィルタ成分ごとに並び替えられた画像信号が出力されるので、画像信号の入力シーケンスが異なる場合にも、制御パラメータを設定するだけで、常に一定の規則でフィルタ成分が配列された画像信号を信号処理手段に供給でき、信号処理手段が単純な処理でフィルタ成分ごとに並行処理できるようになる。

また、チャネルＩＤ生成手段により、読み出し手段からの画像信号に対応するチャネルＩＤがチャネルＩＤ生成パラメータの設定に基づいて生成されるので、信号処理手段は、読み出し手段からの画像信号が撮像素子のどの読み出しチャネルから出力されたものかを、チャネルＩＤ生成手段からのチャネルＩＤにより容易に判別でき、読み出しチャネルに応じた処理をチャネルＩＤを利用した単純な手順で実行できるようになる。

また、本発明の画像処理装置によれば、チャネルＩＤ生成手段により、固体撮像素子の出力信号に基づく複数チャネルの入力画像信号に対してチャネルＩＤが割り当てられ、その画像信号とともに出力される。そして、その画像信号および対応するチャネルＩＤが、書き込み手段により、入力シーケンスに応じた制御パラメータの設定に応じて、信号処理手段で並行に処理されるフィルタ成分ごとに振り分けられて、対応する記憶領域に書き込まれた後、読み出し手段により、各記憶領域から個別の出力チャネルを通じて画像信号およびチャネルＩＤが順次読み出されて、信号処理手段に供給される。

これにより、記憶手段の各出力チャネルからは、信号処理手段により並行に処理されるフィルタ成分ごとに並び替えられた画像信号が出力され、画像信号の入力シーケンスに関係なく、常に一定の規則でフィルタ成分が配列された画像信号が信号処理手段に供給されるようになる。これとともに、読み出し手段により画像信号に対応するチャネルＩＤが読み出されることで、信号処理手段は、読み出し手段からの画像信号が撮像素子のどの読み出しチャネルから出力されたものかをチャネルＩＤにより容易に判別でき、読み出しチャネルに応じた処理をチャネルＩＤを利用した単純な手順で実行できるようになる。

従って、上記２通りの構成の画像処理装置のいずれでも、例えば、固体撮像素子の読み出しチャネル数や、読み出した画像信号の多重化方法、画素数、フィルタコーディングなどの仕様の組み合わせによるフィルタ成分の入力シーケンスの変化や、画像信号の並び替えに応じて出現するチャネルＩＤのシーケンスに対して、回路構成を変更することなく広く対応可能となり、かつ、それらの入力シーケンスやチャネルＩＤのシーケンスのすべてに対応する処理機能を信号処理手段に設けた場合と比較して回路規模を大幅に縮小できる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。

図１に示す撮像装置は、光学ブロック１１、ドライバ１１ａ、ＣＭＯＳ型イメージセンサ（以下、ＣＭＯＳセンサと略称する）１２、タイミングジェネレータ（ＴＧ）１２ａ、アナログフロントエンド（ＡＦＥ）回路１３、デジタル信号処理回路１４、カメラ制御回路１５、ヒューマンＩ／Ｆ（インタフェース）制御回路１６、ユーザＩ／Ｆ１７、および手ぶれセンサ１８を具備する。

光学ブロック１１は、被写体からの光をＣＭＯＳセンサ１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。ドライバ１１ａは、カメラ制御回路１５からの制御信号に基づいて、光学ブロック１１内の各機構の駆動を制御する。

ＣＭＯＳセンサ１２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などからなる複数の画素が２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路、画像信号の出力回路などが形成されたものである。ＣＭＯＳセンサ１２は、ＴＧ１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２ａは、カメラ制御回路１５の制御の下でタイミング信号を出力する。

このＣＭＯＳセンサ１２は、画素信号を出力するための複数の出力チャネルを備え、それらの出力チャネルから画素信号を並行して出力することで、読み出し周波数を低減できるようになっている。さらに、例えば、１ライン分の画素信号を出力するときに、撮像素子上の隣接している同じフィルタ成分の画素の信号を加算して同時に出力することによって、画素信号を読み出す際の同期周波数を高めることなく、通常より高速な画面レートで画像信号を出力する機能を備えていてもよい。なお、この撮像素子としては、例えばＣＣＤなど、ＣＭＯＳセンサ以外のものが用いられてもよい。

ＡＦＥ回路１３は、例えば１つのＩＣ（Integrated Circuit）として構成され、ＣＭＯＳセンサ１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。なお、ＣＤＳ処理を行う回路は、ＣＭＯＳセンサ１２と同一基板上に形成されてもよい。

このＡＦＥ回路１３はさらに、ＣＭＯＳセンサ１２から複数チャネルにより入力される画像信号を時分割多重化し、チャネル数を減らして出力する多重化（ＭＵＸ）機能を備えている。例えば、ＣＭＯＳセンサ１２からのＮチャネルの画像信号を受けて、Ｎ／２チャネルの信号として出力する。

デジタル信号処理回路１４は、例えば１つのＩＣとして構成され、ＡＦＥ回路１３からの画像信号に対するＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ホワイトバランス調整、ガンマ補正などの各種カメラ信号処理やその制御のための検波処理、またはそれらの処理の一部を実行する。また、本実施の形態では特に、上記の各種処理ブロックに対して、ＡＦＥ回路１３からの複数チャネルの画像信号を並び替えて入力させる機能や、撮像素子のどの出力チャネルから出力された信号かを示すチャネルＩＤを生成する機能を備えている。また、カメラ信号処理機能として、チャネルＩＤを用いて処理する機能（例えば、デジタルクランプ、チャネル間のゲイン補正など）を備えている。

カメラ制御回路１５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。例えば、デジタル信号処理回路１４による検波データや手ぶれセンサ１８による検出信号に基づいて、現在の入力画像の状態を把握し、ヒューマンＩ／Ｆ制御回路１６により指定される各種設定モードに応じて、撮影動作制御や画質補正制御を行う。

ユーザＩ／Ｆ１７は、設定状態などをユーザに通知するための表示機能や、ユーザの操作入力用のキー、レバーなどからなる。ヒューマンＩ／Ｆ制御回路１６は、ユーザにより選択されている撮影モードなどの設定状態を検知し、カメラ制御回路１５に対して通知する。また、カメラ制御回路１５を通じて得たカメラ制御情報（被写体距離やＦ値、シャッタスピード、ズーム倍率など）をユーザＩ／Ｆ１７に表示させ、ユーザに通知する。

手ぶれセンサ１８は、例えば２軸方向に対する加速度センサあるいは角度速度センサなどにより撮影時の手ぶれを検出して、検出信号をカメラ制御回路１５に対して供給する。
この撮像装置では、ＣＭＯＳセンサ１２によって受光されて光電変換された信号が、順次ＡＦＥ回路１３に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル信号に変換される。デジタル信号処理回路１４は、ＡＦＥ回路１３から供給されたデジタル画像信号を画質補正処理し、最終的に輝度信号（Ｙ）と色差信号（Ｃ）に変換して出力する。

デジタル信号処理回路１４から出力された画像データは、図示しないグラフィックＩ／Ｆに供給されて表示用の画像信号に変換され、これによりＬＣＤ（Liquid Crystal Display）などの表示部にカメラスルー画像が表示される。また、ユーザＩ／Ｆ１７に対するユーザの入力操作などによりカメラ制御回路１５に対して画像の記録が指示されると、デジタル信号処理回路１４からの画像データは図示しないエンコーダに供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、デジタル信号処理回路１４からは１フレーム分の画像データがエンコーダに供給され、動画像の記録の際には、デジタル信号処理回路１４で処理された画像データがエンコーダに連続的に供給される。

次に、この撮像装置のＣＭＯＳセンサ１２に適用されるフィルタコーディングについて説明する。図２は、ＣＭＯＳセンサ１２におけるカラーフィルタの配列を示す図である。
この図２に示すカラーフィルタ配列は、正方格子状の配列を４５°傾けるとともに、ＲおよびＢの各フィルタの周りをすべてＧのフィルタで囲んだ構成となっている。この構成により、Ｒ・Ｂ成分について人間の視感度特性上必要十分な空間周波数特性が得られながらも、これらの成分より人間の感度の高いＧ成分の空間周波数特性を、従来のベイヤ配列より高めることが可能となる。Ｇ成分は輝度成分を生成する上で主成分となるものであり、これにより無彩色の被写体だけでなく、有彩色の被写体に対する輝度の解像度が高められ、画質が向上する。

なお、このカラーフィルタ配列では、図２中の点線矢印で示したように、１水平同期期間に、隣接する２行の画素を交互に読み出す方法を基本とする。すなわち、出力チャネルが１つだけのときはこのような順に走査して読み出しを行う。そして、このようなカラーフィルタ配列の撮像素子から、以下に示すように最大８つの出力チャネルを用いて、様々な方法で読み出しを行う。

図３は、ＣＭＯＳセンサ１２からの多チャネル読み出しとその信号の多重化のための構成を示す図である。
上述したように、ＡＦＥ回路１３は、ＣＭＯＳセンサ１２からのＮチャネルの画素信号を多重化して、Ｎ／２チャネルの信号として出力する。以下の実施の形態の説明では、この図３に示すように、ＣＭＯＳセンサ１２からは最大８つの出力チャネルにより画素信号を並行して読み出し、ＡＦＥ回路１３に供給する場合を想定し、これらの出力チャネルをＣｈ０〜Ｃｈ７とする。また、ＡＦＥ回路１３は、これらの８チャネル分の入力信号を受けて時分割多重化し、最大４チャネルの多重化信号Ｓｉｇ１〜Ｓｉｇ４としてデジタル信号処理回路１４に供給する。

このような構成により、ＡＦＥ回路１３からの多重化信号Ｓｉｇ１〜Ｓｉｇ４の出力周波数は、ＣＭＯＳセンサ１２の読み出し周波数の２倍となる。ＣＭＯＳセンサ１２では、その画素数が数百万といった大きな値となっても、より多くの画素信号を並行して読み出すことで、読み出し周波数をアナログ信号処理の制約の範囲内に収めることができる。一方、ＡＦＥ回路１３からデジタル信号処理回路１４への多重化信号Ｓｉｇ１〜Ｓｉｇ４はデジタル信号として転送されるため、その転送周波数をＣＭＯＳセンサ１２の読み出し周波数より容易に高くすることができる。

図４は、ＣＭＯＳセンサ１２上の画素位置に対する出力チャネルの割り当ての例を示す図である。
本実施の形態では、図４に示すように、ＣＭＯＳセンサ１２上のカラーフィルタを、Ｒ、Ｂ、Ｇｒ、Ｇｂ、Ｇｇｏ、Ｇｇｅの６種類のフィルタ成分に便宜的に分類する。これらのうち、Ｇｒ、Ｇｂ、Ｇｇｏ、Ｇｇｅは、実際には同じ分光特性のカラーフィルタが使用されるが、デジタル信号処理回路１４内ではそれぞれ個別の成分として処理されることから、以後、このような６種類の画素を個別のフィルタ成分として呼ぶことにする。また、各フィルタ成分の画素には、撮像素子上で先に読み出しが行われる側（図中左側）から水平方向に順に“Ｒ１”“Ｒ２”といったように数値を付して示す。

図４のように、ＣＭＯＳセンサ１２上においては、１行目にはＲとＧｒ、２行目にはＧｇｏとＧｇｅ、３行目にはＧｂとＢ、４行目にはＧｇｏとＧｇｅが、それぞれ交互に配置される。そして、このようなフィルタコーディングを持つ撮像素子からの読み出しのバリエーションの例として、８チャネル、６チャネル、４チャネル、２チャネルの同時読み出しを想定する。

８チャネルの同時読み出し時には、奇数行の画素を先頭から順に出力チャネルＣｈ０，Ｃｈ１，Ｃｈ２，Ｃｈ３に割り当て、偶数行の画素を先頭から順に出力チャネルＣｈ４，Ｃｈ５，Ｃｈ６，Ｃｈ７に割り当てて出力させる。６チャネルの同時読み出し時には、奇数行の画素を先頭から順に出力チャネルＣｈ０，Ｃｈ１，Ｃｈ２に割り当て、偶数行の画素を先頭から順に出力チャネルＣｈ３，Ｃｈ４，Ｃｈ５に割り当てて出力させる。

４チャネルの同時読み出し時には、奇数行の画素を先頭から順に出力チャネルＣｈ０，Ｃｈ１に割り当て、偶数行の画素を先頭から順に出力チャネルＣｈ２，Ｃｈ３に割り当てて出力させる。２チャネルの同時読み出し時には、奇数行の画素を出力チャネルＣｈ０に割り当て、偶数行の画素を出力チャネルＣｈ１に割り当てて出力させる。

図５は、ＡＦＥ回路１３における多重化のバリエーションの例を示す図である。
本実施の形態では、例として、図５（Ａ）および（Ｂ）に示す２種類の多重化方法を想定する。図５（Ａ）に示すＭＵＸタイプＡでは、出力チャネルＣｈ０およびＣｈ１を多重化して多重化信号Ｓｉｇ１を生成し、出力チャネルＣｈ２およびＣｈ３を多重化して多重化信号Ｓｉｇ２を生成し、出力チャネルＣｈ４およびＣｈ５を多重化して多重化信号Ｓｉｇ３を生成し、出力チャネルＣｈ６およびＣｈ７を多重化して多重化信号Ｓｉｇ４を生成する。すなわち、撮像素子上で水平方向に隣接する画素の信号を多重化する。

また、図５（Ｂ）に示すＭＵＸタイプＢでは、出力チャネルＣｈ０およびＣｈ４を多重化して多重化信号Ｓｉｇ１を生成し、出力チャネルＣｈ１およびＣｈ５を多重化して多重化信号Ｓｉｇ２を生成し、出力チャネルＣｈ２およびＣｈ６を多重化して多重化信号Ｓｉｇ３を生成し、出力チャネルＣｈ３およびＣｈ７を多重化して多重化信号Ｓｉｇ４を生成する。すなわち、撮像素子上で垂直方向に隣接する画素の信号を多重化する。

図６は、８チャネル読み出し時における多重化の例を示す図である。なお、ここでは例として、奇数回目の水平同期期間（以下、奇数Ｈ期間と呼ぶ）での色シーケンスを示す。
８チャネルでＡＦＥ回路１３に入力された画素信号をＭＵＸタイプＡで多重化した場合、例えば、ＣＭＯＳセンサ１２から１クロックで同時に読み出された出力チャネルＣｈ０およびＣｈ１のＲ１，Ｇｒ１は、読み出しの２倍の転送クロックに同期して、多重化信号Ｓｉｇ１に順に時分割多重化される。一方、ＭＵＸタイプＢの場合には、ＣＭＯＳセンサ１２から１クロックで同時に読み出された出力チャネルＣｈ０およびＣｈ４のＲ１，Ｇｇｏ１が、多重化信号Ｓｉｇ１に順に時分割多重化される。

以上のような撮像素子からの出力チャネルの割り当てのバリエーションと、ＡＦＥ回路１３での多重化のバリエーションとにより、デジタル信号処理回路１４に入力される画像信号の色シーケンスは、以下で説明するように多様なバリエーションが考えられることになる。さらに、撮像素子上のフィルタコーディングや画素数などが異なれば、さらなる多数の色シーケンスが考えられる。

後段のデジタル信号処理回路１４は、入力される画像信号の色シーケンスを考慮して内部の処理を実行する必要があるが、このデジタル信号処理回路１４を上記のような多数の色シーケンスに対して個別に設計し、製造していては効率が悪い。そこで、本実施の形態のデジタル信号処理回路１４では、多様な色シーケンスにより入力された画像信号を並び替える機能を入力段に設け、この並び替え機能に対して色シーケンスごとにカメラ制御回路１５からパラメータを設定するだけで、内部の回路構成を変えることなく、多様な色シーケンスに対応できるようにする。さらに、撮像素子のどの出力チャネルから出力された信号かを示すチャネルＩＤを生成する機能も設け、並び替えを行った場合にも出力チャネルを考慮した信号処理を容易に実行できるようにする。

図７は、デジタル信号処理回路１４の内部構成を示すブロック図である。
図７に示すように、デジタル信号処理回路１４は、並び替え処理部２１、チャネルＩＤ生成部２２、カメラ信号処理部２３、通信Ｉ／Ｆ２４、およびシグナルジェネレータ（ＳＧ）２５を備える。

並び替え処理部２１は、前段回路から前述したような多様な色シーケンスにより入力されるＮ／２チャネル（ここでは４チャネル）の画像信号を、各フィルタ成分が分離するＳチャネルの信号となるように並び替え、カメラ信号処理部２３に供給する。ここでは例として、Ｒ／Ｇｂチャネル、Ｇｒ／Ｂチャネル、Ｇｇｏチャネル、Ｇｇｅチャネルの４チャネルの信号を出力する。

チャネルＩＤ生成部２２は、カメラ制御回路１５からの制御パラメータに基づき、並び替え処理部２１による並び替え後の画像信号に対応するチャネルＩＤを生成し、対応する４チャネルの画像信号とともにタイミングを合わせてカメラ信号処理部２３に出力する。

カメラ信号処理部２３は、チャネルＩＤ生成部２２を介して入力された画像信号を基に、従来からの一般的なカメラ信号処理を実行するブロックである。カメラ信号処理としては、例えば、デジタルクランプ、ノイズリダクション、欠陥画素補正、チャネル間のゲイン補正、デモザイク、ホワイトバランス調整、解像度変換などの処理が適用される。これらの処理では、カメラ制御回路１５からの制御パラメータに応じて、入力画像信号がＳ（＝４）チャネルごとに並行に処理され、最終的にＹ、Ｃ信号として後段のベースバンド処理系に出力される。また、デジタルクランプ、チャネル間のゲインバラツキ補正、欠陥画素補正の機能など、チャネルＩＤを考慮して処理すべきブロックは、チャネルＩＤ生成部２２からのチャネルＩＤに基づいて処理を行う。

通信Ｉ／Ｆ２４は、デジタル信号処理回路１４内の各ブロックと、カメラ制御回路１５との間のデータ入出力を制御するＩ／Ｆ回路である。カメラ信号処理部２３による検波データは通信Ｉ／Ｆ２４を介してカメラ制御回路１５に供給され、カメラ制御回路１５からは、カメラ信号処理用の制御パラメータが通信Ｉ／Ｆ２４を介してカメラ信号処理部２３に供給される。また、並び替え処理部２１に対しては、並び替え制御用の制御パラメータが、カメラ制御回路１５から通信Ｉ／Ｆ２４を介して供給される。

ＳＧ２５は、並び替え処理部２１およびカメラ信号処理部２３における処理の実行に必要な各種のタイミング信号を生成するブロックであり、例えば、画像信号の水平同期信号ＨＤや、水平方向に対する有効期間を示すイネーブル信号Ｈ＿ＥＮなどを出力する。

次に、まず、並び替え処理部２１について詳しく説明する。
図８は、並び替え処理部２１による並び替え前および並び替え後の色シーケンスの例を示す図である。ここでは例として、８チャネル読み出し時にＭＵＸタイプＡにより多重化した場合の色シーケンスを示す。

奇数Ｈ期間においては、ＡＦＥ回路１３からの多重化信号Ｓｉｇ１には、ＲおよびＧｒのフィルタ成分が交互に現れる。同様に、多重化信号Ｓｉｇ２〜Ｓｉｇ４にも、異なるフィルタ成分が交互に現れる。並び替え処理部２１は、このような画像信号を並び替えて、図中右側に示すようにＲ、Ｇｒ、Ｇｇｏ、Ｇｇｅのフィルタ成分ごとにチャネルを振り分けて出力する。また、偶数Ｈ期間の場合には、多重化信号Ｓｉｇ１〜Ｓｉｇ４に対する並び替えにより、Ｇｂ、Ｂ、Ｇｇｏ、Ｇｇｅのフィルタ成分ごとに出力チャネルが振り分けられる。これにより、カメラ信号処理部２３では、図中右下に示すカラーフィルタ配列において空間的に隣接する画素の組み合わせ（例えばＲ１，Ｇｇｏ１，Ｇｒ１，Ｇｇｅ１）を、１クロックで並列に処理することが可能となる。

ここで、ＡＦＥ回路１３からの出力信号には、読み出しに従ってある決まったパターンでフィルタ成分が繰り返し出現する。本実施の形態ではＨ期間ごとに同じ繰り返しパターンが現れる。例えば奇数Ｈ期間では、Ｒ，Ｒ，Ｇｇｏ，Ｇｇｏ，Ｇｒ，Ｇｒ，Ｇｇｅ，Ｇｇｅの組み合わせが１つの繰り返しパターンとなる。このような繰り返しパターンの１つに含まれるフィルタ成分の数（ここではＲ，Ｇｇｏ，Ｇｒ，Ｇｇｅの４種、あるいはＧｂ，Ｇｇｏ，Ｂ，Ｇｇｅの４種）、あるいはその整数倍の数を、並び替え処理部２１の出力チャネル数に一致させることにより、少なくともＨ期間ごとに、デジタル信号処理回路１４に対する出力チャネルをフィルタ成分ごとに振り分けることが可能となる。これによりデジタル信号処理回路１４では、空間的に近い位置に存在する異なるフィルタ成分の信号を並列処理できるようになり、デジタル信号処理回路１４における処理手順およびその回路構成を単純化できる。

図９は、並び替え処理部２１の内部構成を示すブロック図である。
並び替え処理部２１は、図９に示すように、イネーブル信号生成部（以下、ＥＮ生成部と呼ぶ）３０、並び替え用メモリ４０、このメモリに対する書き込み制御部５０および読み出し制御部６０を具備する。

ＥＮ生成部３０は、ＡＦＥ回路１３からの多重化信号Ｓｉｇ１〜Ｓｉｇ４のそれぞれについて、ＲまたはＧｂ，ＧｒまたはＢ，Ｇｇｏ，Ｇｇｅの各成分に対応する信号が出現するタイミングを示すイネーブル信号を生成し、書き込み制御部５０に出力する。多重化信号Ｓｉｇ１〜Ｓｉｇ４についてのＲまたはＧｂの出現タイミングはイネーブル信号Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ１〜Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ４でそれぞれ示される。同様に、ＧｒまたはＢの出現タイミングはイネーブル信号Ｇｒ＿Ｂ＿ＥＮ＿Ｓｉｇ１〜Ｇｒ＿Ｂ＿ＥＮ＿Ｓｉｇ４、Ｇｇｏの出現タイミングはイネーブル信号Ｇｇｏ＿ＥＮ＿Ｓｉｇ１〜Ｇｇｏ＿ＥＮ＿Ｓｉｇ４、Ｇｇｅの出現タイミングはイネーブル信号Ｇｇｅ＿ＥＮ＿Ｓｉｇ１〜Ｇｇｅ＿ＥＮ＿Ｓｉｇ４で示される。

ＥＮ生成部３０は、これらのイネーブル信号を、ＳＧ２５からのイネーブル信号Ｈ＿ＥＮがＨレベルとなる水平有効期間において、カメラ制御回路１５から指定される制御パラメータ（ＥＮ生成パラメータ）に応じて設定する。これとともに、ＡＦＥ回路１３からの多重化信号Ｓｉｇ１〜Ｓｉｇ４を、イネーブル信号の生成に合わせて遅延させ、書き込み制御部５０に出力する。

並び替え用メモリ４０は、例えば、書き込み／読み出しを並行して実行可能なデュアルポート（Dual Port）型のＳＲＡＭ（Static RAM）からなる。この並び替え用メモリ４０の記憶領域は、Ｇ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのフィルタ成分ごとの領域に分割されている。

書き込み制御部５０は、ＥＮ生成部３０からのイネーブル信号に基づいて、ＥＮ生成部３０を介して入力された多重化信号Ｓｉｇ１〜Ｓｉｇ４を並び替え、フィルタ成分ごとに並び替えられた信号Ｓｉｇ＿Ｒ＿Ｇｂ，Ｓｉｇ＿Ｇｒ＿Ｂ，Ｓｉｇ＿Ｇｇｏ，Ｓｉｇ＿Ｇｇｅを生成する。また、出力チャネルごとの書き込みイネーブル信号ＷＥＮ＿Ｒ＿Ｇｂ，ＷＥＮ＿Ｇｒ＿Ｂ，ＷＥＮ＿Ｇｇｏ，ＷＥＮ＿Ｇｇｅと、書き込みアドレスＷＡＤＲＳ＿Ｒ＿Ｇｂ，ＷＡＤＲＳ＿Ｇｒ＿Ｂ，ＷＡＤＲＳ＿Ｇｇｏ，ＷＡＤＲＳ＿Ｇｇｅを生成して並び替え用メモリ４０に出力し、信号Ｓｉｇ＿Ｒ＿Ｇｂ，Ｓｉｇ＿Ｇｒ＿Ｂ，Ｓｉｇ＿Ｇｇｏ，Ｓｉｇ＿Ｇｇｅを、対応するフィルタ成分の記憶領域に書き込む。

読み出し制御部６０は、読み出しイネーブル信号ＲＥＮ＿Ｒ＿Ｇｂ，ＲＥＮ＿Ｇｒ＿Ｂ，ＲＥＮ＿Ｇｇｏ，ＲＥＮ＿Ｇｇｅと、読み出しアドレスＲＡＤＲＳ＿Ｒ＿Ｇｂ，ＲＡＤＲＳ＿Ｇｒ＿Ｂ，ＲＡＤＲＳ＿Ｇｇｏ，ＲＡＤＲＳ＿Ｇｇｅを、並び替え用メモリ４０に出力して、フィルタ成分ごとに分離された信号Ｓｉｇ＿Ｒ＿Ｇｂ，Ｓｉｇ＿Ｇｒ＿Ｂ，Ｓｉｇ＿Ｇｇｏ，Ｓｉｇ＿Ｇｇｅを、カメラ信号処理部２３に読み出す。

以上の並び替え処理部２１では、入力された複数チャネルの画像信号をフィルタ成分ごとに振り分けて並び替え用メモリ４０に記憶させ、そのメモリの読み出し・書き込みのアドレスやタイミングを制御することで、後段のカメラ信号処理部２３で必要とされる常に一定なシーケンスの画像信号を生成することが可能となっている。

図１０は、ＥＮ生成部３０の内部構成を示すブロック図である。
ＥＮ生成部３０は、図１０に示すように、カウンタ３１、フラグ生成デコーダ３２、フィルタ成分別のセレクタ群３３ａ〜３３ｄ、およびディレイ調整部３４を具備する。

カウンタ３１は、イネーブル信号Ｈ＿ＥＮがＨレベルとなる水平有効期間において、ピクセルＩＤを生成してセレクタ群３３ａ〜３３ｄに供給する。ピクセルＩＤは、多重化信号Ｓｉｇ１〜Ｓｉｇ４の画素の入力タイミングごとに割り当てられる識別番号であり、本実施の形態では“０”〜“３”の４値が繰り返される。すなわち、カウンタ３１は、水平有効期間の開始時に“０”を起点にカウントアップを開始し、水平有効期間の終了までの間、多重化信号Ｓｉｇ１〜Ｓｉｇ４の画素クロックに同期して“０”〜“３”までのカウントアップを繰り返す。

ここで、ピクセルＩＤの繰り返し数は、多重化信号Ｓｉｇ１〜Ｓｉｇ４のそれぞれにおけるフィルタ成分の繰り返し数から決定する。本実施の形態では、後の図１１や図１２に示すように、フィルタ成分の繰り返し数が“２”または“４”となるため、ピクセルＩＤの繰り返し数を“４”としている。フィルタ成分の繰り返し数の異なる色シーケンスに対応できるようにするためには、それらの繰り返し数の共通の倍数をピクセルＩＤの繰り返し数とすればよい。あるいは、カメラ制御回路１５からの設定により、色シーケンスごとにカウンタ３１における繰り返し数を可変する構成としてもよい。

フラグ生成デコーダ３２は、カメラ制御回路１５からのＥＮ生成パラメータに基づき、セレクタ群３３ａ〜３３ｄに対して、多重化信号Ｓｉｇ１〜Ｓｉｇ４のチャネルごと、かつピクセルＩＤごとのＯＮ／ＯＦＦフラグを出力する。ＯＮ／ＯＦＦフラグは、対応するフィルタ成分が現れる場合にＨレベルとされる。

ここで、ＥＮ生成パラメータは、多重化信号Ｓｉｇ１〜Ｓｉｇ４におけるフィルタ成分を示す情報である。上述したように、多重化信号Ｓｉｇ１〜Ｓｉｇ４におけるフィルタ成分の繰り返し数がピクセルＩＤの繰り返し数に対応しているため、ＥＮ生成パラメータには、各信号のフィルタ成分を示す情報がピクセルＩＤの数だけ含まれる。

フラグ生成デコーダ３２は、ＥＮ生成パラメータをデコードして、１つのフィルタ成分の出現の有無を示すＯＮ／ＯＦＦフラグをピクセルＩＤ別に生成し、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのフィルタ成分ごとにそれぞれセレクタ群３３ａ〜３３ｄに供給する。なお、カメラ制御回路１５からのＥＮ生成パラメータにより、各セレクタ群３３ａ〜３３ｄへのＯＮ／ＯＦＦフラグを多重化信号Ｓｉｇ１〜Ｓｉｇ４の色シーケンスに応じて設定することができれば、フラグ生成デコーダ３２の構成はどのようなものであってもよい。例えば、ＯＮ／ＯＦＦフラグをカメラ制御回路１５から直接制御できるようにしてもよい。

セレクタ群３３ａ〜３３ｄには、それぞれ４つのセレクタＳＥＬ０〜ＳＥＬ３が設けられている。各セレクタＳＥＬ０〜ＳＥＬ３は、同じフィルタ成分かつ同じ信号チャネル（多重化信号Ｓｉｇ１〜Ｓｉｇ４のいずれか）に対応するＯＮ／ＯＦＦフラグをピクセルＩＤ分だけ個別に受信し、カウンタ３１からのピクセルＩＤに対応する入力信号を選択して出力する。

これにより、例えばセレクタ群３３ａのセレクタＳＥＬ０から出力されるイネーブル信号Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ１は、多重化信号Ｓｉｇ１におけるピクセルＩＤのタイミングごとのＲ／Ｇｂ成分の出現の有無を示すことになる。同様に、セレクタＳＥＬ１〜ＳＥＬ３からのイネーブル信号Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ２〜Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ４は、それぞれ多重化信号Ｓｉｇ２〜Ｓｉｇ４におけるピクセルＩＤのタイミングごとのＲ／Ｇｂ成分の出現の有無を示すことになる。さらに同様のＧｒ／Ｂ，Ｇｇｏ，Ｇｇｅの成分の有無を示すイネーブル信号が、それぞれセレクタ群３３ｂ〜３３ｄから出力される。

ディレイ調整部３４は、各セレクタ群３３ａ〜３３ｄから出力されるイネーブル信号が、多重化信号Ｓｉｇ１〜Ｓｉｇ４中の対応する画素の出力タイミングと一致するように、ＡＦＥ回路１３からの多重化信号Ｓｉｇ１〜Ｓｉｇ４を遅延させる。

図１１は、例として、撮像素子の読み出しチャネル数が“８”で、ＭＵＸタイプＡの場合の色シーケンスおよびイネーブル信号を示す図である。また、図１２は、撮像素子の読み出しチャネル数が“６”で、ＭＵＸタイプＡの場合の色シーケンスおよびイネーブル信号を示す図である。なお、これらの図では、説明を簡単にするために、水平有効期間内の画素数をすべて同じとしているが、実際にはその画素数に制限はない。

図１１において、例えば多重化信号Ｓｉｇ１には、ピクセルＩＤが“０”および“２”のときにＲ（奇数Ｈ期間）またはＧｂ（偶数Ｈ期間）が現れ、ピクセルＩＤが“１”および“３”のときにＧｒ（奇数Ｈ期間）またはＢ（偶数Ｈ期間）が現れている。従って、イネーブル信号Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ１はピクセルＩＤが“０”および“２”のときＨレベルとなり、イネーブル信号Ｇｒ＿Ｂ＿ＥＮ＿Ｓｉｇ１はピクセルＩＤが“１”および“３”のときＨレベルとなる。また、多重化信号Ｓｉｇ１にはＧｇｏおよびＧｇｅの成分は現れないので、イネーブル信号Ｇｇｏ＿ＥＮ＿Ｓｉｇ１およびＧｇｅ＿ＥＮ＿Ｓｉｇ１は常にＬレベルとなる。

また、図１２に示すように、６チャネル読み出しの場合には、多重化後の画像信号は３チャネルとなり、多重化信号Ｓｉｇ４には画像信号が伝送されない。この図１２の場合、多重化信号Ｓｉｇ１には、奇数Ｈ期間にはＲおよびＧｒの２成分が２画素ごとに現れ、偶数Ｈ期間にはＧｂおよびＢの２成分が２画素ごとに現れている。また、多重化信号Ｓｉｇ２には、Ｒ，Ｇｇｏ，Ｇｒ，Ｇｇｅの４成分（奇数Ｈ期間の場合）が繰り返し現れているため、多重化信号Ｓｉｇ２に対応するイネーブル信号Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ２，Ｇｒ＿Ｂ＿ＥＮ＿Ｓｉｇ２，Ｇｇｏ＿ＥＮ＿Ｓｉｇ２，Ｇｇｅ＿ＥＮ＿Ｓｉｇ２は、すべて４画素に１回ずつＨレベルとなっている。

このように、撮像素子の読み出しチャネル数と多重化方法との組み合わせにより、多重化信号Ｓｉｇ１〜Ｓｉｇ４の色シーケンスは多種のものとなる。ＥＮ生成部３０では、上記の回路構成とすることにより、このような多種の色シーケンスに対応するＥＮ生成パラメータを設定して、フィルタ成分別の出現タイミングを示すパルス信号（イネーブル信号）を自在に出力することが可能となっている。

図１３は、書き込み制御部５０の内部構成を示すブロック図である。
書き込み制御部５０は、図１３に示すように、多重化信号Ｓｉｇ１〜Ｓｉｇ４にそれぞれ対応するディレイ調整部５１ａ〜５１ｄと、多重化信号Ｓｉｇ１〜Ｓｉｇ４をフィルタ成分ごとに振り分ける信号振り分け部５２と、信号振り分け部５２への入力信号のディレイ量を調整するディレイ調整部５３と、並び替え用メモリ４０に対する書き込みアドレスを生成するデコーダ５４を具備する。

ディレイ調整部５１ａには、多重化信号Ｓｉｇ１と、この信号に対応するイネーブル信号Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ１，Ｇｒ＿Ｂ＿ＥＮ＿Ｓｉｇ１，Ｇｇｏ＿ＥＮ＿Ｓｉｇ１，Ｇｇｅ＿ＥＮ＿Ｓｉｇ１とが、ＥＮ生成部３０から入力される。同様に、ディレイ調整部５１ｂ〜５１ｄには、それぞれ多重化信号Ｓｉｇ２〜Ｓｉｇ４と、それぞれに対応するイネーブル信号とが、ＥＮ生成部３０から入力される。

ディレイ調整部５１ａ〜５１ｄは、カメラ制御回路１５からの制御パラメータである並び替えパラメータに応じて、入力信号をそれぞれ一律の時間だけ遅延させる。これらの内部は、例えば、複数のフリップフロップ（ＦＦ）回路を直列に接続し、並び替えパラメータに応じて各段のＦＦ回路の出力を選択できる構成となっている。これらのディレイ調整部５１ａ〜５１ｄは、多重化信号Ｓｉｇ１〜Ｓｉｇ４に同じタイミングで同じフィルタ成分が出現したときに、一方の信号を遅延させてずらすことで、並び替え用メモリ４０に同じフィルタ成分の信号を連続的に書き込むことができるようにする。

信号振り分け部５２は、各ディレイ調整部５１ａ〜５１ｄでのディレイ調整後、さらにディレイ調整部５３を介して入力された多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ４＿ａｄｊを、デコーダ５４からの選択信号に応じて、フィルタ成分ごとに振り分けられた信号Ｓｉｇ＿Ｒ＿Ｇｂ，Ｓｉｇ＿Ｇｒ＿Ｂ，Ｓｉｇ＿Ｇｇｏ，Ｓｉｇ＿Ｇｇｅを、並び替え用メモリ４０に出力する。ディレイ調整部５３は、多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ４＿ａｄｊを所定量だけ遅延させて、信号振り分け部５２とデコーダ５４とを正しく同期させる。

デコーダ５４は、ディレイ調整部５１ａ〜５１ｄから出力された遅延調整後のイネーブル信号を基に、信号振り分け部５２に対する選択信号や、選択された信号を並び替え用メモリ４０に書き込むためのアドレスおよびイネーブル信号を生成する。

図１４は、信号振り分け部５２の内部構成を示すブロック図である。
信号振り分け部５２は、図１４に示すように、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各フィルタ成分に対応するセレクタ５２１〜５２４を備えている。各セレクタ５２１〜５２４には多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ４＿ａｄｊが入力され、デコーダ５４からの選択信号ＳＥＬ＿Ｒ＿Ｇｂ，ＳＥＬ＿Ｇｒ＿Ｂ，ＳＥＬ＿Ｇｇｏ，ＳＥＬ＿Ｇｇｅに応じて、いずれか１つの信号を選択して出力する。

ここで、図１４において各セレクタ５２１〜５２４の入力段に記載された４種の数値“１”“２”“４”“８”は、デコーダ５４に入力されるイネーブル信号に基づくビット列の数値（十進数表記）を示している。デコーダ５４は、後述するように、入力されるイネーブル信号に基づき、これらの数値に対応する入力チャネルを選択させ、これによりセレクタ５２１〜５２４からは、それぞれに対応するフィルタ成分の信号のみが出力される。

なお、入力される多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ４＿ａｄｊは、ディレイ調整部５１ａ〜５１ｄにより同じタイミングで同じフィルタ成分が入力されないように調整されているので、信号振り分け部５２では、単に入力信号を選択することで、すべてのフィルタ成分の信号を取りこぼすことなく、出力チャネルに振り分けることができる。

図１５は、デコーダ５４の内部構成を示すブロック図である。
デコーダ５４は、図１５に示すように、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各フィルタ成分に対応する選択信号デコーダ５４１ａ〜５４１ｄ、ＯＲゲート５４２ａ〜５４２ｄ、インバータ５４３ａ〜５４３ｄ、カウンタ５４４ａ〜５４４ｄを備えている。

選択信号デコーダ５４１ａ〜５４１ｄは、ディレイ調整部５１ａ〜５１ｄからの各フィルタ成分に対応するイネーブル信号をビット列に見立て、そのビット列が示す数値に対応する入力チャネルが信号振り分け部５２において選択されるように選択信号ＳＥＬ＿Ｒ＿Ｇｂ，ＳＥＬ＿Ｇｒ＿Ｂ，ＳＥＬ＿Ｇｇｏ，ＳＥＬ＿Ｇｇｅを出力する。この選択信号のデコード処理については、後の図１６および図１７において具体的に説明する。

ＯＲゲート５４２ａ〜５４２ｄは、それぞれＲ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのフィルタ成分の信号に対応するディレイ調整部５１ａ〜５１ｄからのイネーブル信号が入力される。ＯＲゲート５４２ａの出力パルスはインバータ５４３ａおよびカウンタ５４４ａに入力され、インバータ５４３ａの出力が、並び替え用メモリ４０のＲ／Ｇｂ用領域に対する書き込みのイネーブル信号ＸＷＥＮ＿Ｒ＿Ｇｂ（ただし、ここではＬレベルのときに書き込み可とする）となる。また、カウンタ５４４ａはＯＲゲート５４２ａの出力パルスをカウントし、そのカウント値が並び替え用メモリ４０のＲ／Ｇｂ用領域に対する書き込みアドレスとなる。他のフィルタ成分に対応する回路も同様であり、ＯＲゲート５４２ｂ〜５４２ｄの出力パルスがインバータ５４３ｂ〜５４３ｄおよびカウンタ５４４ｂ〜５４４ｄにそれぞれ入力され、これにより並び替え用メモリ４０のＧｒ／Ｂ用、Ｇｇｏ用、Ｇｇｅ用の各領域に対する書き込みのイネーブル信号およびアドレスが生成される。

ここで、以下の図１６および図１７に、遅延調整後のイネーブル信号の具体例を示し、それぞれの場合における選択信号デコーダ５４１ａ〜５４１ｄの動作について説明する。図１６は、撮像素子の読み出しチャネル数が“８”で、ＭＵＸタイプＡの場合の選択信号のデコード動作を説明するための図である。

この場合には、図１１で示したように、多重化信号Ｓｉｇ１およびＳｉｇ２の間と、多重化信号Ｓｉｇ３およびＳｉｇ４の間で、同じフィルタ成分の信号が現れる。このため、図１６の例では、ディレイ調整部５１ｂおよび５１ｄにより、多重化信号Ｓｉｇ２およびＳｉｇ４を１クロック分遅延させている。

ここで、遅延調整後のイネーブル信号を、多重化信号Ｓｉｇ１からＳｉｇ４の方向に下位から上位に対してフィルタ成分別に割り当てたビット列を考える。例えば、図１６において多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ４＿ａｄｊにそれぞれＲ，Ｇｒ，Ｇｇｏ，Ｇｇｅ（あるいは、Ｇｂ，Ｂ，Ｇｇｏ，Ｇｇｅ）が現れるタイミングでは、Ｒ／Ｇｂ成分については“０００１”、Ｇｒ／Ｂ成分については“００００”、Ｇｇｏ成分については“０１００”、Ｇｇｅ成分については“００００”となる。図１６の下段には、これらのビット列の数値を十進数表記で示してある。

多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ４＿ａｄｊは、同じタイミングでは同じフィルタ成分を含まないので、上記のビット列がとり得る値は十進数表記で“０”“１”“２”“４”“８”の５種類である。また、ビット列には多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ４＿ａｄｊの各入力チャネルが下位から順に割り当てられているので、ビットの立っているチャネルに対応するフィルタ成分が出現していることがわかる。

従って、選択信号デコーダ５４１ａ〜５４１ｄは、入力されたイネーブル信号に基づくビット列の数値が“１”のとき、多重化信号Ｓｉｇ１＿ａｄｊを選択し、“２”のときＳｉｇ２＿ａｄｊを選択し、“４”のときＳｉｇ３＿ａｄｊを選択し、“８”のときＳｉｇ４＿ａｄｊを選択するように指示する選択信号を生成して、信号振り分け部５２に出力する。また、ビット列の数値が“０”のときはどの入力チャネルも選択させないようにする。

上記例のＲ，Ｇｒ，Ｇｇｏ，Ｇｇｅ（あるいは、Ｇｂ，Ｂ，Ｇｇｏ，Ｇｇｅ）が現れるタイミングでは、Ｒ／Ｇｂ、Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各成分についてのビット列は“１”“２”“４”“８”となるので、信号振り分け部５２のセレクタ５２１には多重化信号Ｓｉｇ１＿ａｄｊを、セレクタ５２２にはＳｉｇ２＿ａｄｊを、セレクタ５２３にはＳｉｇ３＿ａｄｊを、セレクタ５２４にはＳｉｇ４＿ａｄｊを、それぞれ選択させるように制御する。

また、他の例として、撮像素子の読み出しチャネルが“６”の場合について説明する。図１７は、撮像素子の読み出しチャネル数が“６”で、ＭＵＸタイプＡの場合の選択信号のデコード動作を説明するための図である。

この場合には、同じフィルタ成分が同時に現れないようにするために、ディレイ調整部５１ｂで１クロック分、ディレイ調整部５１ｃで２クロック分の遅延量がそれぞれ設定される。遅延調整後の多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ３＿ａｄｊにおいて、例えばそれぞれにＲ，Ｇｒ，Ｇｇｏの成分が現れるタイミングでは、各フィルタ成分に対応するイネーブル信号に基づくビット列は、“１０００”“０１００”“００１０”“００００”となる。従って、選択信号デコーダ５４１ａ〜５４１ｄからの選択信号により、信号振り分け部５２のセレクタ５２１は多重化信号Ｓｉｇ１＿ａｄｊを、セレクタ５２２はＳｉｇ３＿ａｄｊを、セレクタ５２３はＳｉｇ２＿ａｄｊを選択し、セレクタ５２４はどの入力信号も選択しない。

以上のように、選択信号デコーダ５４１ａ〜５４１ｄは、入力されたイネーブル信号を基にした上記のような簡単なデコード処理により、信号振り分け部５２において画像信号をフィルタ成分ごとに個別のチャネルから出力させて、並び替え用メモリ４０内のフィルタ別の記憶領域に記録させることができる。

ここで、以下の図１８〜図２４に、上記処理による並び替え前および並び替え後の画像信号の配列を、色シーケンス別に具体的に示す。図１８および図１９は、撮像素子の読み出しチャネル数がともに“８”で、ＭＵＸタイプＡおよびＢの場合の画像信号配列をそれぞれ示す図である。図２０および図２１は、撮像素子の読み出しチャネル数がともに“６”で、ＭＵＸタイプＡおよびＢの場合の画像信号配列をそれぞれ示す図である。図２２および図２３は、撮像素子の読み出しチャネル数がともに“４”で、ＭＵＸタイプＡおよびＢの場合の画像信号配列をそれぞれ示す図である。図２４は、撮像素子の読み出しチャネル数が“２”で、ＭＵＸタイプＡおよびＢの場合の画像信号配列を示す図である。

図１８〜図２４に示すように、上記構成の書き込み制御部５０により、撮像素子の読み出しチャネルや多重化の手法に関係なく、入力画像信号をフィルタ成分別に振り分けて、並び替え用メモリ４０内の対応領域に書き込むことができる。例えば、撮像素子の出力チャネル数Ｎと、デジタル信号処理回路１４において並列処理される画素信号のフィルタ成分の数（この実施の形態では、Ｒ，Ｇｒ，Ｇｇｏ，Ｇｇｅの４つ、またはＧｂ，Ｂ，Ｇｇｏ，Ｇｇｅの４つ）とが一致しない場合、具体的には、例えば図２０，図２１のような６チャネル読み出しの場合などには、多重化後の１チャネルに３種類以上のフィルタ成分が伝送されることがあるが、このような場合にも、フィルタ成分ごとに振り分けることができる。

ところで、書き込み制御部５０から出力される信号は、上記のようにフィルタ成分別に個別のチャネルから出力されているが、このままでは、各フィルタ成分の信号が、デジタル信号処理回路１４での並列処理に適したタイミングで出力されている訳ではない。例えば、図１９において、奇数Ｈ期間における並び替え後の信号にＲ２，Ｇｒ２，Ｇｇｏ１，Ｇｇｅ１が同時に出力されるタイミングがあるが、これらの画素は、図４からわかるように、撮像素子上の空間位相が異なる画素を含むので、デジタル信号処理回路１４で同時に処理されるべき画素ではない。また、多重化信号のチャネル数がフィルタ成分の種類より少ない場合（図２０〜図２４の場合）には、当然、デジタル信号処理回路１４で必要なすべてのフィルタ成分の信号が同時に出力されることはない。

このような出力タイミングのずれを吸収して揃えるために、並び替え後の信号を並び替え用メモリ４０を介して出力するようにしている。書き込み制御部５０から出力された各フィルタ成分の画像信号は、その出力タイミングに関係なく、並び替え用メモリ４０に隙間を開けることなく順次格納されていき、書き込み制御部５０により生成された並び替え用メモリ４０の書き込みアドレスと空間位相との関係は一致している。このため、並び替え用メモリ４０に一旦蓄積した後は、アドレスの小さい順に読み出すことで、すべてのチャネルの出力タイミングを揃えることができる。

図２５は、読み出し制御部６０の内部構成を示すブロック図である。
図２５に示す読み出し制御部６０は、読み出しアドレス出力するカウンタ６１と、読み出しのイネーブル信号の出力タイミングを合わせるためのディレイ調整部６２とを具備する。カウンタ６１は、イネーブル信号Ｈ＿ＥＮがＨレベルとなる水平有効期間において画素クロックを昇順にカウントし、水平有効期間の終了時にカウント値をリセットする。カウント値は、フィルタ成分ごとの記憶領域に対する読み出しアドレスＲＡＤＲＳ＿Ｒ＿Ｇｂ，ＲＡＤＲＳ＿Ｇｒ＿Ｂ，ＲＡＤＲＳ＿Ｇｇｏ，ＲＡＤＲＳ＿Ｇｇｅとして、並び替え用メモリ４０に出力される。また、ディレイ調整部６２の遅延量はカウンタ６１の動作遅延に応じて設定され、遅延調整されたイネーブル信号Ｈ＿ＥＮが、各記憶領域での読み出し許可を示すイネーブル信号ＲＥＮ＿Ｒ＿Ｇｂ，ＲＥＮ＿Ｇｒ＿Ｂ，ＲＥＮ＿Ｇｇｏ，ＲＥＮ＿Ｇｇｅとして、並び替え用メモリ４０に出力される。

以上のような単純な構成の読み出し制御部６０を用いることで、フィルタ成分ごとに並び替えられた画像信号を正しいタイミングで出力することができる。すなわち、撮像素子上の空間位置が正しい組み合わせとなるように、各フィルタ成分の信号が出力されるようになる。従って、このような画像信号を受信したデジタル信号処理回路１４は、ＡＦＥ回路１３からの出力される画像信号の色シーケンスに関係なく、常に同じ手順で入力画像信号を処理することができる。

なお、以上の実施の形態で示した色シーケンスは、撮像素子上の画素信号が空間的に左側の画素から先に出力されるものであった。しかし、実際には、必ずしもこのような条件が成立しない場合もある。例えば、撮像素子上で隣接している同じフィルタ成分の画素の信号を加算して同時に出力することによって、出力画素数を間引き、読み出し周波数を高めることなく、より高速な画面レートで画像信号を出力する機能を備えている場合などには、並び替え用メモリ４０に出力される画像信号が、Ｒ２，Ｒ１，Ｒ４，Ｒ３……といったように、水平方向の順番通りにならない場合がある。このような場合には、空間的に左側の画素の信号が、並び替え用メモリ４０上のアドレスの小さい方にあるとは限らないことになり、アドレス順に読み出すとデジタル信号処理回路１４において正しい処理ができなくなってしまう。

このような場合には、例えば、読み出し制御部６０のカウンタ６１を、読み出しアドレスＲＡＤＲＳ＿Ｒ＿Ｇｂ，ＲＡＤＲＳ＿Ｇｒ＿Ｂ，ＲＡＤＲＳ＿Ｇｇｏ，ＲＡＤＲＳ＿Ｇｇｅのそれぞれに対して個別に設ける。そして、各カウンタについて、カメラ制御回路１５からの設定により、それぞれのカウント動作を個別に制御できるようにしておく。水平方向の順番通りに出力されない色シーケンスであっても、通常は出力信号の空間位置に規則性があるため、そのような規則性に応じたカウント動作を各カウンタに実行させる。例えば、Ｂ成分について、並び替え用メモリ４０に対してＢ２，Ｂ１，Ｂ４，Ｂ３……のように書き込まれる場合には、Ｂ成分に対応するカウンタ６３ｂが、水平有効期間の開始時から１，０，３，２……のようなカウントを行うようにする。規則性のあるカウント動作を実行するカウンタであれば実装も容易であり、カウンタのそれぞれに複数種類のカウント動作を切り替えて実行できるようにしておくことで、対応可能な色シーケンスのバリエーションを一層増やすことができる。

以上説明したように、カメラ信号処理部２３に対する画像信号の入力段に並び替え処理部２１を設けたことにより、常に同じ規則により画像信号をカメラ信号処理部２３に入力させることが可能となる。このため、カメラ信号処理部２３での処理手順や回路構成を複雑にしたり、その回路規模を増大させることなく、多様な色シーケンスに対応できるようになる。特に、並び替え処理部２１の出力チャネル数を、カメラ信号処理部２３で並列処理されるフィルタ成分の種類の数、またはその整数倍とすることで、カメラ信号処理部２３の構成、特にノイズリダクションや欠陥画素補正など、撮像素子上の空間位置を考慮して動作する処理ブロックの構成を単純化することができる。

また、並び替え処理部２１は、入力画像信号の色シーケンスに応じて制御パラメータを設定するだけで、その回路構成を変更することなく、多様な色シーケンスに対応することができる。このため、デジタル信号処理回路１４にそれらの多様な色シーケンスのそれぞれに対応する処理回路を設けた場合と比較して、大幅に回路規模を縮小できる。

従って、撮像素子からの読み出しチャネル数や、多チャネルで読み出された信号の多重化の方法、画素数の間引き方法、画素数、フィルタコーディングなどに対する組み合わせの自由度の高い、汎用性の高いデジタル信号処理回路１４を実現することができ、将来の仕様変更時や製品バリエーションの拡張時における開発・製造コストを抑制できる。

次に、チャネルＩＤ生成部２２について詳しく説明する。
図２６は、並び替え処理の前後における色シーケンスの例を示す図である。この図を用いて、まず、並び替え処理部２１による並び替え後の画像信号を処理する上での問題点について説明する。

図２６では、例として、撮像素子からの読み出しチャネル数が“８”で、ＭＵＸタイプＡの場合の色シーケンスを示している。この図からわかるように、並び替え処理部２１から出力された信号Ｓｉｇ＿Ｒ＿Ｇｂ，Ｓｉｇ＿Ｇｒ＿Ｂ，Ｓｉｇ＿Ｇｇｏ，Ｓｉｇ＿Ｇｇｅでは、各チャネルに同じフィルタ成分が出現し、色シーケンスが単純化されている。

一方、各信号が撮像素子の出力チャネルＣｈ０〜Ｃｈ７のどれから出力されたものであるかを示す出身チャネルに着目すると、図中下段に示すように、並び替え前と並び替え後とでは出身チャネルのシーケンスも変化してしまう。実際には、並び替え前の信号では、読み出しチャネル数やＭＵＸタイプに関係なく、各信号ともに２つの出身チャネル番号が交互に出現するのに対し、並び替え後では、色シーケンスの変化に応じて多様な出身チャネルシーケンスが存在することになる。

カメラ信号処理部２３には、例えばデジタルクランプや、チャネル間のゲイン補正など、出身チャネルによって処理を切り替える、すなわち処理に利用する値を選択する必要がある処理ブロックが存在する。このような処理ブロックでは、色シーケンスの並びには関係なく、常に出身チャネルを意識して処理を行う必要がある。

並び替え処理部２１がないシステムの場合は、図中左側の出身チャネルシーケンスのまま後段へと信号が流れていくため、出身チャネル別に処理するブロックでは、多重化がないシステムの場合は内部チャネルごとに、多重化があるシステムの場合は内部チャネルごと、かつ１画素クロックごとに、クランプ値、ゲイン値など処理に利用する値を切り替えればよかった。しかし、並び替え後の出身チャネルシーケンスは、出力チャネル数や多重化方法、画素数などに応じて変化してしまうので、それらのシーケンスにすべて対応できるようにすると、処理が複雑になり、回路規模も増大してしまう。逆に対応できるシーケンスを少なくしてしまうと、汎用性が低くなってしまう。

そこで、本実施の形態では、撮像素子の出身チャネルに対応するチャネルＩＤを生成するブロックを設け、カメラ制御回路１５からの制御パラメータに応じて、色シーケンスの変化に応じた適切なチャネルＩＤのシーケンスを生成できるようにする。そして、生成したチャネルＩＤを参照してカメラ信号処理部２３を動作させることにより、カメラ信号処理部２３の回路規模を増大させることなく、並び替え処理部２１のメリットを生かして多様な色シーケンスに対応できるようにする。

図２７は、本実施の形態におけるチャネルＩＤの定義方法を示す図である。
本実施の形態では、例として、ＡＦＥ回路１３による多重化後の４チャネルの信号（多重化信号Ｓｉｇ１〜Ｓｉｇ４）に基づいて、チャネルＩＤを定義する。これらの４チャネルの各画像信号には、上述したように２つの出身チャネル番号が交互に現れる。そこで、図２７に示すように、チャネルＩＤとして、多重化後の１チャネル目の奇数番目のクロックでの入力信号を“０”、偶数番目のクロックでの入力信号を“１”とし、２チャネル目の奇数番目、偶数番目のクロックでの入力信号をそれぞれ“２”“３”とし、３チャネル目の奇数番目、偶数番目のクロックでの入力信号をそれぞれ“４”“５”とし、４チャネル目の奇数番目、偶数番目のクロックでの入力信号をそれぞれ“６”“７”とする。

なお、チャネルＩＤを撮像素子からの出力チャネルを基準に定義してもよい。ただしその場合には、デジタル信号処理回路１４への入力時点でのチャネルＩＤのシーケンスが多重化の方法に応じて変化してしまうので、以降の回路構成や制御パラメータの設定をそのシーケンスの変化に応じて変える必要が生じてしまう。これに対して図２７の定義によれば、多重化の方法によらず同じ回路構成や制御パラメータで対応できるようになる。

図２８は、撮像素子からの読み出しチャネル数が“８”および“６”の場合のチャネルＩＤシーケンスを示す図である。また、図２９は、読み出しチャネル数が“４”および“２”の場合のチャネルＩＤシーケンスを示す図である。

図２８および図２９では、並び替え処理部２１からのフィルタ成分ごとの信号の各画素に対応する出身チャネル、すなわちチャネルＩＤを示している。図２８に示すように、撮像素子からの読み出しチャネル数が“８”の場合、並び替え処理部２１からの各チャネルにはチャネルＩＤが２画素単位で繰り返し出現し、読み出しチャネル数が“６”の場合、３画素単位で出現する。また、図２９に示すように、読み出しチャネル数が“４”および“２”の場合、各チャネルのチャネルＩＤはすべて同じ（すなわち、繰り返し単位が“１”）になる。

チャネルＩＤ生成部２２は、このようなチャネルＩＤシーケンスを、カメラ制御回路１５からのチャネルＩＤ生成パラメータを基に再現し、後段のカメラ信号処理部２３に伝送する役割を担う。そのためにチャネルＩＤ生成部２２は、図２８および図２９に示したように、各シーケンスにおける繰り返し単位内の画素信号の入力タイミングごとにピクセルＩＤを割り当て、ピクセルＩＤごとにチャネルＩＤを選択的に生成する。なお、このチャネルＩＤ生成部２２で用いられるピクセルＩＤは、図１０で説明したＥＮ生成部３０において生成されるピクセルＩＤとは無関係のものである。

図３０は、チャネルＩＤ生成部２２の内部構成を示すブロック図である。
チャネルＩＤ生成部２２は、図３０に示すように、カウンタ２２１ａ〜２２１ｄ、セレクタ２２２、チャネルＩＤ生成デコーダ２２３、セレクタ２２４ａ〜２２４ｄ、およびディレイ調整部２２５を具備する。

カウンタ２２１ａ〜２２１ｄは、カウント値の繰り返し数がそれぞれ“１”“２”“３”“４”となっており、ＳＧ２５からの水平同期信号ＨＤの受信時に、カウント値をリセットしてカウントアップを開始することで、水平同期期間ごとに上記各繰り返し数までのカウントを繰り返す。なお、カウントの期間を水平有効期間でなく水平同期期間としているのは、カメラ信号処理部２３内のチャネルＩＤを利用するブロックで、撮像素子上のＯＰＢ（Optical Black）領域からの出力信号を必要とする場合があり、そのためにＯＰＢ領域の画素もチャネルＩＤを持つ必要があるからである。

セレクタ２２２は、カメラ制御回路１５からのカウンタ切り替えパラメータに応じて、いずれかのカウンタ２２１ａ〜２２１ｄのカウント値を選択し、ピクセルＩＤとしてセレクタ２２４ａ〜２２４ｄに出力する。

ここで、繰り返し数の異なるカウンタ２２１ａ〜２２１ｄは、対応可能なチャネルＩＤの繰り返し単位に合わせて設けられ、カウンタ切り替えパラメータにより、撮像素子の読み出しチャネル数に応じたカウント値が、ピクセルＩＤとして選択的に出力されるようになっている。例えば、撮像素子の読み出しチャネル数が“８”のとき、繰り返し数が“４”であるカウンタ２２１ｄのカウント値がピクセルＩＤとして選択される。

チャネルＩＤ生成デコーダ２２３は、カメラ制御回路１５からのチャネルＩＤ生成パラメータに基づき、セレクタ２２４ａに対してＲ／Ｇｂのフィルタ成分に対応するチャネルＩＤをピクセルＩＤごとに供給し、同様に、Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各フィルタ成分のチャネルに対応するピクセルＩＤごとのチャネルＩＤを、それぞれセレクタ２２４ｂ〜２２４ｄに対して供給する。セレクタ２２４ａ〜２２４ｄは、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各フィルタ成分に対応するチャネルＩＤをチャネルＩＤ生成デコーダ２２３からピクセルＩＤごとに個別に受信し、セレクタ２２２からのピクセルＩＤに対応する受信値を選択して、各成分のチャネルに対応するチャネルＩＤ（ＣＨＩＤ＿Ｒ＿Ｇｂ，ＣＨＩＤ＿Ｇｒ＿Ｂ，ＣＨＩＤ＿Ｇｇｏ，ＣＨＩＤ＿Ｇｇｅ）を出力する。

ここで、チャネルＩＤ生成パラメータは、並び替え処理部２１からの各チャネルの信号に対応するチャネルＩＤを指定する情報である。上述したように、各チャネルにおけるチャネルＩＤの繰り返し単位がピクセルＩＤの繰り返し数に対応しているため、チャネルＩＤ生成パラメータには、各信号のチャネルＩＤを示す情報がピクセルＩＤの数だけ含まれる。チャネルＩＤ生成デコーダ２２３は、チャネルＩＤ生成パラメータをデコードして、出力すべきチャネルＩＤをピクセルＩＤ別に生成し、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのチャネルごとにそれぞれセレクタ２２４ａ〜２２４ｄに供給する。

これにより、セレクタ２２４ａ〜２２４ｄでは、セレクタ２２２から指定されるピクセルＩＤに対応する受信値を選択して出力することで、ピクセルＩＤに対応するチャネルＩＤを各フィルタ成分のチャネルごとに出力できるようになる。図３０では例として、撮像素子の読み出しチャネル数が“６”、ＭＵＸタイプＡの場合のチャネルＩＤ生成デコーダ２２３からの出力値を記載している。このとき、チャネルＩＤの繰り返し単位は“３”となり、カウンタ２２１ｃのカウント値がセレクタ２２２により選択される。チャネルＩＤ生成デコーダ２２３からは、セレクタ２２４ａのピクセルＩＤ“０”〜“３”にそれぞれ対応する入力端子に対して“０”“２”“１”のチャネルＩＤを出力する。セレクタ２２４ａは、セレクタ２２２からのピクセルＩＤが“０”のとき“０”を、ピクセルＩＤが“１”のとき“２”を、ピクセルＩＤが“２”のとき“１”を、ＣＨＩＤ＿Ｒ＿Ｇｂとして出力する。

このような構成により、様々なチャネルＩＤシーケンスに応じたチャネルＩＤを生成できる。例えば、ピクセルＩＤを生成するカウンタ（ここではカウンタ２２１ａ〜２２１ｄ）の繰り返し数の種類や、チャネルＩＤの出力段のセレクタ（ここではセレクタ２２４ａ〜２２４ｄ）の入力端子の数が多いほど、より多様なチャネルＩＤシーケンスを生成することが可能となる。

なお、ディレイ調整部２２５は、セレクタ２２４ａ〜２２４ｄから出力されるチャネルＩＤが、フィルタ成分別に並び替えられた画像信号における対応画素の出力タイミングと一致するように、並び替え処理部２１からの画像信号を遅延させる。

次に、カメラ信号処理部２３においてチャネルＩＤを利用する処理ブロックの例として、デジタルクランプ、チャネル間のゲイン補正の各処理ブロックを挙げ、それらの構成および動作について説明する。

図３１は、カメラ信号処理部２３の内部構成を示すブロック図である。
カメラ信号処理部２３は、図３１に示すように、デジタルクランプ部１１０、チャネル間ゲイン補正部１２０、およびその他の処理ブロック１３０を具備している。

デジタルクランプ部１１０は、画像信号中の直流成分を一定レベルで再生し、低周波ノイズを低減させる処理ブロックである。このデジタルクランプ部１１０は、カメラ制御回路１５からの制御パラメータとして、チャネルＩＤごとのクランプ制御値Ｃｌａｍｐ＿ＣＨＩＤ０〜Ｃｌａｍｐ＿ＣＨＩＤ７を受け取る。そして、チャネルＩＤ生成部２２からのチャネルＩＤに対応するクランプ制御値を利用して、並び替え部２１からチャネルＩＤ生成部２２を介して入力される画像信号にクランプ処理を施す。

チャネル間ゲイン補正部１２０は、撮像素子の出力チャネル間に生じるゲインのバラツキを補正する処理ブロックである。このチャネル間ゲイン補正部１２０は、カメラ制御回路１５からの制御パラメータとして、チャネルＩＤごとのゲイン制御値Ｇａｉｎ＿ＣＨＩＤ０〜Ｇａｉｎ＿ＣＨＩＤ７を受け取る。そして、チャネルＩＤ生成部２２からデジタルクランプ部１１０を介して入力されたチャネルＩＤに対応するゲイン制御値を利用して、画像信号のゲインを調整し、その他の処理ブロック１３０に出力する。

図３２は、デジタルクランプ部１１０の内部構成を示すブロック図である。
デジタルクランプ部１１０は、図３２に示すように、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各チャネルに対応するセレクタ１１１ａ〜１１１ｄ、クランプ処理部１１２ａ〜１１２ｄ、ディレイ調整部１１３ａ〜１１３ｄを備えている。

各セレクタ１１１ａ〜１１１ｄは、カメラ制御回路１５からのクランプ制御値Ｃｌａｍｐ＿ＣＨＩＤ０〜Ｃｌａｍｐ＿ＣＨＩＤ７の入力を受け、チャネルＩＤ生成部２２からのチャネルＩＤ（ＣＨＩＤ＿Ｒ＿Ｇｂ，ＣＨＩＤ＿Ｇｒ＿Ｂ，ＣＨＩＤ＿Ｇｇｏ，ＣＨＩＤ＿Ｇｇｅ）にそれぞれ対応するクランプ制御値を選択して出力する。クランプ処理部１１２ａ〜１１２ｄは、セレクタ１１１ａ〜１１１ｄからそれぞれ出力されたクランプ制御値に応じて、対応するチャネルの画像信号に対してクランプ処理を施す。ディレイ調整部１１３ａ〜１１３ｄは、クランプ処理部１１２ａ〜１１２ｄからの画像信号の出力タイミングに合わせて、チャネルＩＤを遅延させてその出力タイミングを調整する。

ここで、デジタルクランプ処理のための検波は、撮像素子上に設けられた黒領域（ＯＰＢ領域）の出力信号をチャネルＩＤごとに積分することで行われる。この検波を、並び替え処理部２１による並び替え後の画像信号を基に行うと、前述した通り出身チャネルのシーケンスが複雑になってしまうため、並び替え前の画像信号からの方がより簡単な制御で検波を行うことができる。

本実施の形態では、並び替え前の画像信号からの検波値に応じて、カメラ制御回路１５がチャネルＩＤごとのクランプ制御値を生成し、デジタルクランプ部１１０がチャネルＩＤに対応するクランプ制御値を適用する。これにより、簡単な制御で検波を行いながらも、出身チャネルのシーケンスが複雑化した並び替え後の画像信号に、正確にクランプ処理を施すことができるようになる。

図３３は、チャネル間ゲイン補正部１２０の内部構成を示すブロック図である。
チャネル間ゲイン補正部１２０は、図３３に示すように、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各チャネルに対応するセレクタ１２１ａ〜１２１ｄおよびゲイン調整部１２２ａ〜１２２ｄを備えている。

各セレクタ１２１ａ〜１２１ｄは、カメラ制御回路１５からのゲイン制御値Ｇａｉｎ＿ＣＨＩＤ０〜Ｇａｉｎ＿ＣＨＩＤ７の入力を受け、デジタルクランプ部１１０からのチャネルＩＤ（ＣＨＩＤ＿Ｒ＿Ｇｂ，ＣＨＩＤ＿Ｇｒ＿Ｂ，ＣＨＩＤ＿Ｇｇｏ，ＣＨＩＤ＿Ｇｇｅ）にそれぞれ対応するゲイン制御値を選択して出力する。ゲイン調整部１２２ａ〜１２２ｄは、セレクタ１２１ａ〜１２１ｄからそれぞれ出力されたゲイン制御値に応じて、対応するチャネルの画像信号に対してゲイン調整を施す。

なお、チャネル間ゲイン補正部１２０の後段に、さらにチャネルＩＤを利用して処理を行うブロックが存在する場合には、デジタルクランプ部１１０からのチャネルＩＤを、ゲイン調整部１２２ａ〜１２２ｄからの画像信号の出力タイミングに合わせて遅延させて出力する機能を設けておく。

ここで、ゲイン制御値Ｇａｉｎ＿ＣＨＩＤ０〜Ｇａｉｎ＿ＣＨＩＤ７は、例えば製品出荷前に均一の被写体を撮像し、その有効領域をチャネルＩＤごとに積分してチャネル間の比をとることで求めることができ、そのような検出値をＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）などに保存し、カメラ制御回路１５が読み出してチャネル間ゲイン補正部１２０に出力するようにする。

このように、ゲイン制御値の検出は並び替え処理部２１による並び替え前の画像信号を基に行われる。これに対し、並び替え後の画像信号においては、出身チャネルのシーケンスが複雑化した状態となっているが、チャネル間ゲイン補正部１２０は、上記のようにチャネルＩＤに対応するゲイン値を適用することにより、ゲイン補正を正確に行うことができるようになる。

なお、この図３３の説明では、説明を簡単にするために、ゲインのバラツキが画像信号レベルによらず一定であることを前提としていたが、例えばこのバラツキが明るさ（画像信号レベル）によって異なる場合には、ゲイン制御値を明るさ別に用意し、チャネル間ゲイン補正部１２０に設定してもよい。

以上説明したように、チャネルＩＤ生成部２２では、カメラ制御回路１５からの制御パラメータに応じて、並び替え後の画像信号に適合したチャネルＩＤを自在に生成できる。そして、後段のカメラ信号処理部２３では、チャネルＩＤに基づいて信号処理を行うことで、並び替えによって生じ得る出身チャネルの多様なシーケンスを意識する必要がなくなる。従って、出身チャネルのシーケンスの変化に関係なく、同じ構成の回路で処理することが可能になり、処理手順を複雑にしたり、回路規模を増大させることなく、撮像素子や多重化方法などの組み合わせに対する汎用性が極めて高いデジタル信号処理回路１４を実現できる。

〔第２の実施の形態〕
図３４は、本発明の第２の実施の形態に係るデジタル信号処理回路の内部構成を示すブロック図である。なお、図３４では、図７に示した構成に対応する機能ブロックについては同じ符号を付して示し、その説明を省略する。

図３４に示すデジタル信号処理回路１４では、画像信号の並び替えを行う並び替え処理部２１ａの前段に、チャネルＩＤを生成するチャネルＩＤ生成部２２ａを配置し、生成されたチャネルＩＤを画像信号とともに並び替え処理部２１ａで並び替えてしまう点が、図７の場合と異なる。

チャネルＩＤ生成部２２ａでは、生成するチャネルＩＤを図２７と同様に定義する。このチャネルＩＤ生成部２２ａで生成されるチャネルＩＤ（ＣＨＩＤ＿１〜ＣＨＩＤ＿４）は、ＡＦＥ回路１３による多重化後の４チャネルの画像信号（多重化信号Ｓｉｇ１〜Ｓｉｇ４）のそれぞれに対応しており、並び替え処理部２１ａにより、それらの画像信号と同様の手順で、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのフィルタ成分ごとに並び替えられ、ＣＨＩＤ＿Ｒ＿Ｇｂ，ＣＨＩＤ＿Ｇｒ＿Ｂ，ＣＨＩＤ＿Ｇｇｏ，ＣＨＩＤ＿Ｇｇｅとして出力される。

図３５は、チャネルＩＤ生成部２２ａの内部構成を示すブロック図である。
チャネルＩＤ生成部２２ａは、図３５に示すように、カウンタ２２６、セレクタ２２７ａ〜２２７ｄ、およびディレイ調整部２２８を具備する。カウンタ２２６は、ＳＧ２５からの水平同期信号ＨＤの受信時に、カウント値をリセットしてカウントアップを開始することで、水平同期期間ごとに１ビットのカウント動作を行う。

セレクタ２２７ａ〜２２７ｄは、ＡＦＥ回路１３からの信号Ｓｉｇ１〜Ｓｉｇ４の出力チャネルにそれぞれ対応する。各セレクタ２２７ａ〜２２７ｄは、チャネルＩＤの定義に従ってあらかじめ決められた２つの数値の入力をそれぞれ受け、カウンタ２２６からのカウントに応じた入力値を選択し、それぞれＣＨＩＤ＿１〜ＣＨＩＤ＿４として出力する。

前述したように、ＡＦＥ回路１３からの出力信号Ｓｉｇ１〜Ｓｉｇ４のそれぞれにおいては、２つの出身チャネル番号が交互に現れることから、チャネルＩＤ生成部２２ａは、カウンタ２２６からの２値のそれぞれに１つのチャネルＩＤを割り当てて出力すればよい。チャネルＩＤを図２７と同様に定義したとすると、図３５に示すように、セレクタ２２７ａは“０”“１”、セレクタ２２７ｂは“２”“３”、セレクタ２２７ｃは“４”“５”、セレクタ２２７ｄは“６”“７”を、カウンタ２２６のカウント値に応じてそれぞれ交互に出力する。

なお、例えば３チャネル以上の多重化を行う場合など、出力信号Ｓｉｇ１〜Ｓｉｇ４のそれぞれに３つ以上の出身チャネル番号が繰り返し現れる場合には、その繰り返し数に応じてセレクタ２２７ａ〜２２７ｄの入力数、およびカウンタ２２６のカウント値の繰り返し数を増やすことで対応できる。また、カメラ制御回路１５からの制御パラメータに応じて、各セレクタ２２７ａ〜２２７ｄへの入力値を変化させたり、繰り返し数の異なるカウンタを用意してそれらのカウント値をセレクタ２２７ａ〜２２７ｄに対して選択的に入力させるようにすることで、多重化の方法などのさらに多様な仕様に対応できるようになる。

ディレイ調整部２２８は、ＡＦＥ回路１３からの出力信号Ｓｉｇ１〜Ｓｉｇ４を、セレクタ２２７ａ〜２２７ｄの出力タイミングに合わせて遅延させ、後段の並び替え処理部２１ａに出力する。

図３６は、並び替え処理部２１ａの内部構成を示すブロック図である。
図３６に示す並び替え処理部２１ａの構成は、基本的には第１の実施の形態と変わりはない。ただし、多重化信号Ｓｉｇ１〜Ｓｉｇ４とともに、チャネルＩＤ生成部２２ａからのチャネルＩＤ（ＣＨＩＤ＿１〜ＣＨＩＤ＿４）も同じ手順で並び替えて出力する点が異なる。

ＥＮ生成部３０ａは、図９のＥＮ生成部３０と同様に、カメラ制御回路１５からのＥＮ生成パラメータに応じて、多重化信号Ｓｉｇ１〜Ｓｉｇ４のそれぞれについて、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各フィルタ成分に対応する信号が出現するタイミングを示すイネーブル信号を生成し、書き込み制御部５０ａに出力する。また、イネーブル信号の出力タイミングに合わせて、多重化信号Ｓｉｇ１〜Ｓｉｇ４およびチャネルＩＤ（ＣＨＩＤ＿１〜ＣＨＩＤ＿４）を遅延させて出力する。

並び替え用メモリ４０ａは、Ｇ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのフィルタ成分ごとの記憶領域を備えているが、図９の場合と異なり、各記憶領域にはフィルタ成分別の画像信号とともに、各信号に対応するチャネルＩＤ（ＣＨＩＤ＿Ｒ＿Ｇｂ，ＣＨＩＤ＿Ｇｒ＿Ｂ，ＣＨＩＤ＿Ｇｇｏ，ＣＨＩＤ＿Ｇｇｅ）も記憶される。

書き込み制御部５０ａは、ＥＮ生成部３０ａからのイネーブル信号に基づいて、遅延調整後の多重化信号Ｓｉｇ１〜Ｓｉｇ４を並び替え、フィルタ成分ごとに並び替えられた信号Ｓｉｇ＿Ｒ＿Ｇｂ，Ｓｉｇ＿Ｇｒ＿Ｂ，Ｓｉｇ＿Ｇｇｏ，Ｓｉｇ＿Ｇｇｅを生成する。そして、並び替え後の信号およびこれに対応するチャネルＩＤの書き込みアドレスＷＡＤＲＳ＿Ｒ＿Ｇｂ，ＷＡＤＲＳ＿Ｇｒ＿Ｂ，ＷＡＤＲＳ＿Ｇｇｏ，ＷＡＤＲＳ＿Ｇｇｅおよび書き込みイネーブル信号ＷＥＮ＿Ｒ＿Ｇｂ，ＷＥＮ＿Ｇｒ＿Ｂ，ＷＥＮ＿Ｇｇｏ，ＷＥＮ＿Ｇｇｅを生成し、これらを用いて画像信号およびチャネルＩＤを並び替え用メモリ４０ａに書き込む。

読み出し制御部６０ａは、読み出しイネーブル信号ＲＥＮ＿Ｒ＿Ｇｂ，ＲＥＮ＿Ｇｒ＿Ｂ，ＲＥＮ＿Ｇｇｏ，ＲＥＮ＿Ｇｇｅと、読み出しアドレスＲＡＤＲＳ＿Ｒ＿Ｇｂ，ＲＡＤＲＳ＿Ｇｒ＿Ｂ，ＲＡＤＲＳ＿Ｇｇｏ，ＲＡＤＲＳ＿Ｇｇｅを、並び替え用メモリ４０ａに出力して、フィルタ成分ごとに分離された信号Ｓｉｇ＿Ｒ＿Ｇｂ，Ｓｉｇ＿Ｇｒ＿Ｂ，Ｓｉｇ＿Ｇｇｏ，Ｓｉｇ＿Ｇｇｅと、これらに対応するチャネルＩＤ（ＣＨＩＤ＿Ｒ＿Ｇｂ，ＣＨＩＤ＿Ｇｒ＿Ｂ，ＣＨＩＤ＿Ｇｇｏ，ＣＨＩＤ＿Ｇｇｅ）を、カメラ信号処理部２３に読み出す。

以上の構成により、画像信号における色シーケンスに合わせて並び替えられたチャネルＩＤがカメラ信号処理部２３に出力され、カメラ信号処理部２３では、入力されたチャネルＩＤを用いて処理することで、第１の実施の形態と同様に、デジタル信号処理回路１４への入力シーケンスに関係なく、常に同じ手順で処理を行うことができるようになる。

以上の第２の実施の形態では、並び替え前の画像信号を基にチャネルＩＤを生成することにより、チャネルＩＤを生成するためのブロック（チャネルＩＤ生成部２２ａ）の構成を単純化し、その回路規模を抑制できる。また、チャネルＩＤの並び替え方法は画像信号と同じであるので、チャネルＩＤの生成時にカメラ制御回路１５からの制御パラメータが必要でなくなり、制御パラメータを保持するためのメモリ容量や、設定のための消費電力などを削減できる。ただし、並び替え処理部２１ａでは、画像信号に加えてチャネルＩＤを保持するための記憶領域や、その並び替えのための回路が必要となるので、回路規模が大きくなる。

〔第３の実施の形態〕
以下の第３の実施の形態では、チャネルＩＤを利用して処理する機能の一種として、欠陥画素補正機能が設けられた場合について説明する。図３７は、第３の実施の形態に係るカメラ信号処理部の内部構成を示すブロック図である。なお、図３７では、図３１に示した構成に対応する機能ブロックについては同じ符号を付して示し、その説明を省略する。

図３７に示すカメラ信号処理部２３では、デジタルクランプ部１１０およびチャネル間ゲイン補正部１２０ｂに加えて、その他の処理ブロック１３０ｂとして欠陥画素補正部３００が設けられている。なお、チャネル間ゲイン補正部１２０ｂは、図３１に示したチャネル間ゲイン補正部１２０と同様の機能に加えて、ゲイン補正を施した画像信号の出力タイミングに合わせて、デジタルクランプ部１１０からのチャネルＩＤを遅延させて後段のその他の処理ブロック１３０ｂに出力する（欠陥画素補正部３００に直接出力してもよい）機能を備えている。

なお、チャネルＩＤは、チャネル間ゲイン補正部１２０ｂからその他の処理ブロック１３０ｂ内を伝搬して欠陥画素補正部３００に入力されるまでに、その間の画像信号の伝搬遅延時間に合わせて遅延される必要がある。このとき、単純に画像信号の伝搬遅延時間と同じ時間だけチャネルＩＤを遅延させてもよいが、途中にチャネルＩＤを利用しない処理ブロックが多数ある場合にはその遅延量が大きくなり、遅延回路の規模が大きくなってしまう。

そこで、チャネルＩＤシーケンスの繰り返し性に着目して、その繰り返し数に応じた必要最小限の遅延回路（例えば４クロック分の遅延回路）を用意しておき、カメラ制御回路１５からの指示信号により遅延の段数（クロック数）を切り替えられるようにしてもよい。

ここで、欠陥画素補正について説明する。撮像素子においては、暗電流の発生やフォトダイオードの異常などの様々な原因により欠陥画素が発生することがある。欠陥画素は異常なレベルの信号を出力するため、その周辺画素の信号を利用して欠陥画素の信号を補間することが一般的に行われている。

この欠陥画素については、出力レベルが異常に高くなる場合（いわゆる白欠陥）と低くなる場合（いわゆる黒欠陥）とがあるが、最近の撮像素子においては、前者の欠陥画素からの出力信号が巨大である場合に、その信号が欠陥でない他の画素に対して影響を与える“引きずり”現象が発生することが問題となっていた。“引きずり”現象には以下の２種類がある。

第１の現象は、撮像素子からの同じ出力チャネルにおいて発生するものである。近年の撮像素子では、画素数の増加により読み出し周波数が非常に高くなっているため、読み出した信号を処理するアナログ回路においては、アンプ性能のマージンやＣＤＳ／サンプルホールドのセトリング時間のマージンが十分でなくなっている。このような回路で、欠陥画素からのインパルス的な信号が入力されると、同じ出力チャネルを通過するその後の信号が前の巨大な信号に引きずられて、その信号に影響が加わる場合がある。

第２の現象は、多重化回路に入力される隣接チャネル間において発生するものである。アナログ回路の高集積化に従い、ＡＦＥ回路１３内の多重化回路に入力されるチャネル間が狭まっていることから、上記の巨大なレベルの信号により、多重化される隣接チャネルの信号が引きずられて異常な信号になる場合がある。

欠陥画素補正にあたっては、欠陥画素の信号補間だけでなく、上記のような“引きずり”によって影響が与えられた画素（以下、引きずり対象画素と呼ぶ）の信号も、その周囲の画素の信号を利用して補間しなければならない。ここで、上述したような画像信号の並び替えを行わないシステムであれば、引きずり対象画素は、巨大なレベルを発生する画素（以下、巨大欠陥画素と呼ぶ）の隣りに常に存在するため、補正処理がしやすい。しかし、並び替え後の画像信号においては、引きずり対象画素が巨大欠陥画素の隣りである保証はなくなり、多重化後の信号の色シーケンスに応じてそれらの位置関係が変化してしまう。このため、上述したデジタルクランプ部やチャネル間ゲイン補正部と同様に、欠陥画素補正部３００をこれらのバリエーションにすべて対応できるような構成とすると、処理が複雑になり、回路規模が増大してしまう。

そこで、本実施の形態では、引きずり対象画素の補正処理時にもチャネルＩＤを利用することで、並び替え後の画像信号からも引きずり対象画素の位置を容易に特定し、常に単純な処理で補間処理を実行できるようにする。

図３８は、欠陥画素補正部３００の内部構成を示すブロック図である。
欠陥画素補正部３００は、図３８に示すように、欠陥検出部３１０、ＥＥＰＲＯＭ３２０、メモリコントローラ３３０、補正信号生成部３４０、および信号補正部３５０を具備する。

欠陥検出部３１０は、カメラ制御回路１５からの欠陥レベル設定値および巨大欠陥レベル設定値に基づき、欠陥画素補正部３００に入力されたＲ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各チャネルの画像信号から、欠陥画素および巨大欠陥画素を検出し、その画素の位置を示すアドレスをメモリコントローラ３３０に出力する。欠陥レベル設定値および巨大欠陥レベル設定値は、通常の欠陥画素、および巨大欠陥画素をそれぞれ検出するための信号レベルのしきい値である。

欠陥画素の検出時には、カメラ制御回路１５による制御の下で、信号レベルが突出して大きな欠陥画素（巨大欠陥画素を含む）を検出する場合にはアイリスが閉じられ、信号レベルが極端に小さい欠陥画素を検出する場合には露光時間が長くされる。欠陥検出部３１０は、このような状態での検波値と、欠陥レベル設定値および巨大欠陥レベル設定値とを比較して、欠陥画素であるか否か、および巨大欠陥画素であるか否かを判別する。欠陥画素および巨大欠陥画素と判別した場合には、その水平方向および垂直方向の位置を欠陥アドレスとしてラッチし、メモリコントローラ３３０にチャネルごとに出力する。その際に、巨大欠陥画素であるか否かを示す情報も付加する。

ＥＥＰＲＯＭ３２０は、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのチャネルごとの個別の記憶領域を備えている。メモリコントローラ３３０は、欠陥検出部３１０からの欠陥アドレスを、対応する記憶領域に書き込む。そして、実際の撮像時において、補正信号生成部３４０からのメモリ制御信号に応じて、ＥＥＰＲＯＭ３２０から欠陥アドレスを読み出し、補正信号生成部３４０に出力する。このとき、その画素が巨大欠陥であるか否かを示す巨大欠陥フラグもともに出力する。

なお、欠陥画素および巨大欠陥画素の検出、および欠陥アドレスのＥＥＰＲＯＭ３２０への書き込みの動作は、例えば製品出荷前の調整時に実行される。あるいは、出荷後においても、例えば電源投入時などに随時実行されてもよい。

補正信号生成部３４０は、実際の撮像時に、欠陥画素補正部３００に対するＲ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各チャネルの画像信号の入力に従って、欠陥画素および巨大欠陥画素の出現タイミングを示す補正タイミング信号を出力する。この補正信号生成部３４０は、ＳＧ２５から供給される補正用の水平同期信号および垂直同期信号を基に画面上のアドレスを計数し、ＥＥＰＲＯＭ３２０から読み込んだ欠陥アドレスと一致した場合に補正タイミング信号をチャネルごとに出力する。また、引きずり対象画素の出現タイミングを生成する引きずり対象画素補正デコーダ４００を備えており、メモリコントローラ３３０からの巨大欠陥フラグが立った場合には、その後に入力されるチャネルＩＤを走査して引きずり対象画素の出現タイミングを検出し、補正すべき画素として補正タイミング信号を出力する。

信号補正部３５０は、補正信号生成部３４０からの補正タイミング信号に応じて、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各チャネルの画像信号を補正し、後段の回路に出力する。

図３９は、信号補正部３５０の内部構成を示すブロック図である。
信号補正部３５０は、図３９に示すように、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのチャネルにそれぞれ対応するディレイライン３５１ａ〜３５１ｄおよび補間処理部３５２ａ〜３５２ｄを具備している。

欠陥画素および巨大欠陥画素の信号補正は、基本的に、その周辺に存在する同じフィルタ成分の画素信号を用いた線形補間により行う。ただし、撮像した画像信号においては、シーンによっては、縦方向に相関を持つ、あるいは横方向に相関を持つなど様々な絵柄となる。そこで、信号補正部３５０では、補間対象の画素に隣接した上下２ラインの同フィルタ成分の画素を保持しておき、線形補間の方向を絵柄に応じて可変できるようにして、補間後にも絵柄に破綻をきたさないようにしている。

そのために、ディレイライン３５１ａ〜３５１ｄはそれぞれ４ライン分のラインメモリを備え、各チャネルにおける隣接する５ライン分の画像信号を同時に出力できるようになっている。ここで、入力画像信号においては、ＲおよびＢの成分はラインごとに現れることから、各ディレイライン３５１ａ〜３５１ｄは３ラインでなく、５ライン分の画像信号を出力するようにしている。このため、ＧｇｏおよびＧｇｅのチャネルのディレイライン３５１ｃおよび３５１ｄは、２ライン分のラインメモリのみ備えていてもよい。

各ディレイライン３５１ａ〜３５１ｄからの出力画像信号では、２Ｈ分だけ遅延した信号が補間対象となり、補間処理部３５２ａ〜３５２ｄは、補間対象画素の入力時に補正信号生成部３４０からの対応チャネルの補正タイミング信号が有効である（例えばＨレベルである）とき、上下左右のうち相関の強い方向に存在する同フィルタ成分の隣接画素の信号を用いて線形補間を行い、補間対象画素の信号と置換する。

図４０は、引きずり対象画素補正デコーダ４００の内部構成を示すブロック図である。
引きずり対象画素補正デコーダ４００は、図４０に示すように、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのチャネルごとの補正タイミングデコーダ４０１〜４０４を具備している。各補正タイミングデコーダ４０１〜４０４は、対応するチャネルの巨大欠陥フラグの入力を受け、巨大欠陥フラグが立つと、その後に入力されるチャネルＩＤを走査して引きずり対象画素の入力タイミングを検出し、補正タイミング信号を出力する。

図４１は、引きずり対象画素の検出について説明するための図である。この図４１では、並び替え後の画像信号におけるチャネルＩＤシーケンスの一例として、撮像素子の読み出しチャネル数が“８”、ＭＵＸタイプＡの場合を示している。

上述したように、巨大欠陥画素の信号の“引きずり”現象は２種類ある。これらのうち、撮像素子からの同じ出力チャネルでの“引きずり”の場合、巨大欠陥画素の信号は、撮像素子の出力信号において時間方向に隣接する次の画素に影響を与えるので、引きずり対象画素は、巨大欠陥画素の次に現れる同じチャネルＩＤの画素となる。

一方、隣接チャネル間での“引きずり”の場合は、巨大欠陥画素の信号は、ＡＦＥ回路１３の出力信号において時間方向に隣接する次の画素に影響を与える。このような関係は、図２７でのチャネルＩＤの定義から、“０”と“１”、“２”と“３”、“４”と“５”、“６”と“７”の間の連番において成立することから、各組み合わせのうち、巨大欠陥画素の次に現れる他方のチャネルＩＤの画素が、引きずり対象画素となる。

従って、引きずり対象画素補正デコーダ４００の各補正タイミングデコーダ４０１〜４０４は、巨大欠陥画素の出現後に入力されるチャネルＩＤを走査し、上記各条件に該当するチャネルＩＤの画素を引きずり対象画素と判別する。例えば、図４１の例で、３クロック目のＲ／Ｇｂチャネルに巨大欠陥画素が出現した場合、その画素のチャネルＩＤは“０”であるので、次に“０”が現れる画素と、次に“１”が現れる画素とを引きずり対象画素と判別すればよい。図４１の場合、前者は５クロック目のＲ／Ｇｂチャネルに現れ、後者は３クロック目のＧｒ／Ｂチャネルに現れる。このように、チャネルＩＤを利用することで、並び替えによりチャネルＩＤシーケンスが様々に変化しても、引きずり対象の画素を容易に特定できるようになる。

図４２は、補正タイミングデコーダ４０１の内部構成を示すブロック図である。
補正タイミングデコーダ４０１は、Ｒ／Ｇｂチャネルの信号に巨大欠陥画素が出現したときに、その画素に対応する引きずり対象画素の出現タイミングを検出するためのデコーダである。この補正タイミングデコーダ４０１は、ラッチ部４１１、加減算部４１２、比較部４１３および４１４、ＯＲゲート４１５を具備する。

ラッチ部４１１は、Ｒ／Ｇｂチャネルの巨大欠陥フラグが立つと、そのときに入力されたＲ／Ｇｂチャネルに対応するチャネルＩＤ（ＣＨＩＤ＿Ｒ＿Ｇｂ）をラッチする。加減算部４１２は、ラッチ部４１１の出力値が偶数の場合にその値に“１”加算し、奇数の場合に“１”減算する。

比較部４１３は、撮像素子からの同じ出力チャネルでの引きずり対象画素を検出するためのブロックである。この比較部４１３は、Ｒ／Ｇｂチャネルの巨大欠陥フラグが立つと動作を開始し、そのときのラッチ部４１１の出力値、すなわちＲ／Ｇｂチャネルにおける巨大欠陥画素のチャネルＩＤと、その後に入力されるチャネルＩＤとを比較して、１つでも一致したときに引きずり対象画素と判別して、補正タイミング信号を出力し、比較動作を停止する。

ここでは、ＣＨＩＤ＿Ｇｒ＿Ｂ，ＣＨＩＤ＿Ｇｇｏ，ＣＨＩＤ＿Ｇｇｅ，ＣＨＩＤ＿Ｒ＿Ｇｂの順で繰り返し走査し、比較動作を実行する。そして、比較値が一致した入力チャネル（Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのいずれか）に対応する補正タイミング信号のみをＨレベルにする。例えば、図４１の例の場合には、Ｒ／Ｇｂチャネルに対応するチャネルＩＤ（ＣＨＩＤ＿Ｒ＿Ｇｂ）が一致するので、Ｒ／Ｇｂチャネルに対応する補正タイミング信号をＨレベルにして、比較動作を停止する。Ｒ／Ｇｂチャネルに対応する補正タイミング信号はＯＲゲート４１５に出力され、Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのチャネルにそれぞれ対応する補正タイミング信号は、対応するチャネルの補正タイミングデコーダ４０２〜４０４の備えるＯＲゲート４１５に出力される。

一方、比較部４１４は、撮像素子からの隣接する出力チャネル間での引きずり対象画素を検出するためのブロックである。このような引きずり対象画素は、上述した組み合わせによる連番のチャネルＩＤとなり、そのチャネルＩＤが加減算部４１２において生成される。従って、比較部４１４は、Ｒ／Ｇｂチャネルの巨大欠陥フラグが立つと動作を開始し、そのときの加減算部４１２の出力値と、その後に入力されるチャネルＩＤとを比較して、１つでも一致したときに引きずり対象画素と判別して補正タイミング信号を出力し、比較動作を停止する。

ここでは、比較部４１３と同様に、ＣＨＩＤ＿Ｇｒ＿Ｂ，ＣＨＩＤ＿Ｇｇｏ，ＣＨＩＤ＿Ｇｇｅ，ＣＨＩＤ＿Ｒ＿Ｇｂの順で繰り返し走査して比較動作を実行し、比較値が一致した入力チャネル（Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのいずれか）に対応する補正タイミング信号のみをＨレベルにする。例えば、図４１の例の場合には、Ｇｒ／Ｂチャネルに対応するチャネルＩＤ（ＣＨＩＤ＿Ｇｒ＿Ｂ）が一致するので、Ｇｒ／Ｂチャネルに対応する補正タイミング信号をＨレベルにして、比較動作を停止する。Ｒ／Ｇｂチャネルに対応する補正タイミング信号はＯＲゲート４１５に出力され、Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのチャネルにそれぞれ対応する補正タイミング信号は、対応するチャネルの補正タイミングデコーダ４０２〜４０４の備えるＯＲゲート４１５に出力される。

ＯＲゲート４１５には、巨大欠陥フラグと、比較部４１３および４１４からの補正タイミング信号と、他の補正タイミングデコーダ４０２〜４０４から出力された、Ｒ／Ｇｂチャネルに対応する補正タイミング信号とが入力され、いずれかの信号がＨレベルとなったときに、Ｒ／Ｇｂチャネルに対応する最終的な補正タイミング信号を出力する。すなわち、ＯＲゲート４１５からの出力信号は、Ｒ／Ｇｂチャネルにおける巨大欠陥画素およびその画素に対応する引きずり対象画素の出現タイミングを表すことになる。

他の補正タイミングデコーダ４０２〜４０４の構成も、基本的には上記と同様である。ただし、メモリコントローラ３３０からのチャネルＩＤの入力端子の結線順が異なる。例えば図４２の構成に対応づけて説明すると、Ｇｒ／Ｂチャネルに対応する補正タイミングデコーダ４０２では、ラッチ部４１１に対してＣＨＩＤ＿Ｇｒ＿Ｂが入力され、比較部４１３および４１４では、ＣＨＩＤ＿Ｇｇｏ，ＣＨＩＤ＿Ｇｇｅ，ＣＨＩＤ＿Ｒ＿Ｇｂ，ＣＨＩＤ＿Ｇｒ＿Ｂの順で走査されるようにチャネルＩＤが入力される。

また、Ｇｇｏチャネルに対応する補正タイミングデコーダ４０３では、ラッチ部４１１に対してＣＨＩＤ＿Ｇｇｏが入力され、比較部４１３および４１４では、ＣＨＩＤ＿Ｇｇｅ，ＣＨＩＤ＿Ｒ＿Ｇｂ，ＣＨＩＤ＿Ｇｒ＿Ｂ，ＣＨＩＤ＿Ｇｇｏの順で走査されるようにチャネルＩＤが入力される。Ｇｇｅチャネルに対応する補正タイミングデコーダ４０４では、ラッチ部４１１に対してＣＨＩＤ＿Ｇｇｅが入力され、比較部４１３および４１４では、ＣＨＩＤ＿Ｒ＿Ｇｂ，ＣＨＩＤ＿Ｇｒ＿Ｂ，ＣＨＩＤ＿Ｇｇｏ，ＣＨＩＤ＿Ｇｇｅの順で走査されるようにチャネルＩＤが入力される。なお、補正タイミングデコーダ４０２〜４０４には、それぞれＧｒ／Ｂ，Ｇｇｏ，Ｇｇｅのチャネルに対応する巨大欠陥フラグが入力される。

このような構成により、補正タイミングデコーダ４０１〜４０４では、それぞれＲ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのチャネルに対応する補正タイミング信号が出力されるようになり、信号補正部３５０では、補正タイミング信号に応じて動作することで、通常の欠陥画素だけでなく、巨大欠陥画素およびその引きずり対象画素までも補間される。従って、並び替えによりチャネルＩＤシーケンスが様々に変化しても、同じ構成の回路により、すべての欠陥画素および引きずり対象画素を確実に補正できるようになる。

なお、比較部４１３および４１４における上記のようなスキャン順序は、図２や図４、図５に示した読み出しおよび多重化の方法を採った場合に特化したものである。従って、読み出しの順番や多重化の方法の異なるシステムに対応できるようにするためには、比較部４１３および４１４でのスキャン順序をカメラ制御回路１５からの設定により変えられるようにしておけばよい。また、多重化後の画像信号ではなく、例えば撮像素子の出力チャネルに基づいてチャネルＩＤを定義した場合、隣接チャネル間での引きずり対象画素は必ずしも連番のチャネルＩＤの位置にはならず、多重化の方法に応じてその位置が変化する。しかし、この場合にも並び替え後の画像信号における引きずり対象画素の位置関係には法則性が存在するので、例えば加減算部４１２での加算数・減算数を可変とすることなどで対応できる。

さらに、欠陥画素補正部３００においては、引きずり対象画素補正デコーダ４００の機能を、補正信号生成部３４０の代わりに欠陥検出部３１０に設け、巨大欠陥画素が検出されたときに、その引きずり対象画素の位置を検出して、ＥＥＰＲＯＭ３２０に記録しておくようにしてもよい。これにより、補正信号生成部３４０の構成および処理手順を単純化することができる。しかし、ＥＥＰＲＯＭ３２０に必要な記憶容量が大きくなるので、記憶容量を節約するために、例えば、引きずり対象画素の検波タイミングとなったときには、通常の欠陥画素（すなわち巨大欠陥画素を除く欠陥画素）の欠陥検出動作を無効状態として、同じ画素のアドレスが欠陥画素および引きずり対象画素としてＥＥＰＲＯＭ３２０に重複して記録されないようにしてもよい。

なお、以上の各実施の形態では、図２に示したフィルタコーディングを用いた場合について説明したが、本発明はそれ以外のフィルタコーディングを用いた撮像装置に適用することもできる。例えばベイヤ配列の場合、一般的には、カメラ信号処理部は奇数Ｈ期間、偶数Ｈ期間ともにＲ，Ｇｒ，Ｇｂ，Ｂの４種類のフィルタ成分を並行に処理することが多い。このような場合でも、上記と同様の構成の並び替え処理部およびチャネルＩＤ生成部を用いることで、撮像素子の読み出しチャネル数や画素数、多重化の方法などの組み合わせに関係なく、カメラ信号処理部に合わせて４つの出力チャネルのそれぞれから常時、上記の４種類のフィルタ成分の画像信号を出力することができるとともに、後段のカメラ信号処理部において、並び替えによって生じ得る出身チャネルの多様なシーケンスを意識することなく処理することが可能となる。

また、本発明は、デジタルビデオカメラ、デジタルスチルカメラなどの固体撮像素子を用いた撮像装置、およびこのような撮像機能を具備する携帯電話機やＰＤＡ（Personal Digital Assistants）などの機器に対して適用することができる。また、撮像装置用の信号処理回路のみならず、特定のデータ配列を複数チャネルを通じて受け付けて処理する処理回路において、その入力データのシーケンスが多数想定されるような場合に、本発明を適用することができる。

また、上記の処理機能は、コンピュータによって実現することができる。その場合、この装置が有すべき機能（上記の並び替え処理部およびチャネルＩＤ生成部などに対応する機能）の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明の第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。 ＣＭＯＳセンサにおけるカラーフィルタの配列を示す図である。 ＣＭＯＳセンサからの多チャネル読み出しとその信号の多重化のための構成を示す図である。 ＣＭＯＳセンサ上の画素位置に対する出力チャネルの割り当ての例を示す図である。 ＡＦＥ回路における多重化のバリエーションの例を示す図である。 ８チャネル読み出し時における多重化の例を示す図である。 デジタル信号処理回路の内部構成を示すブロック図である。 並び替え処理部による並び替え前および並び替え後の色シーケンスの例を示す図である。 並び替え処理部の内部構成を示すブロック図である。 ＥＮ生成部の内部構成を示すブロック図である。 撮像素子の読み出しチャネル数が“８”で、ＭＵＸタイプＡの場合の色シーケンスおよびイネーブル信号を示す図である。 撮像素子の読み出しチャネル数が“６”で、ＭＵＸタイプＡの場合の色シーケンスおよびイネーブル信号を示す図である。 書き込み制御部の内部構成を示すブロック図である。 信号振り分け部の内部構成を示すブロック図である。 デコーダの内部構成を示すブロック図である。 撮像素子の読み出しチャネル数が“８”で、ＭＵＸタイプＡの場合の選択信号のデコード動作を説明するための図である。 撮像素子の読み出しチャネル数が“６”で、ＭＵＸタイプＡの場合の選択信号のデコード動作を説明するための図である。 撮像素子の読み出しチャネル数が“８”で、ＭＵＸタイプＡの場合の画像信号配列を示す図である。 撮像素子の読み出しチャネル数が“８”で、ＭＵＸタイプＢの場合の画像信号配列をそれぞれ示す図である。 撮像素子の読み出しチャネル数が“６”で、ＭＵＸタイプＡの場合の画像信号配列を示す図である。 撮像素子の読み出しチャネル数が“６”で、ＭＵＸタイプＢの場合の画像信号配列をそれぞれ示す図である。 撮像素子の読み出しチャネル数が“４”で、ＭＵＸタイプＡの場合の画像信号配列を示す図である。 撮像素子の読み出しチャネル数が“４”で、ＭＵＸタイプＢの場合の画像信号配列をそれぞれ示す図である。 撮像素子の読み出しチャネル数が“２”で、ＭＵＸタイプＡおよびＢの場合の画像信号配列を示す図である。 読み出し制御部の内部構成を示すブロック図である。 並び替え処理の前後における色シーケンスの例を示す図である。 チャネルＩＤの定義方法を示す図である。 撮像素子からの読み出しチャネル数が“８”および“６”の場合のチャネルＩＤシーケンスを示す図である。 読み出しチャネル数が“４”および“２”の場合のチャネルＩＤシーケンスを示す図である。 チャネルＩＤ生成部の内部構成を示すブロック図である。 カメラ信号処理部の内部構成を示すブロック図である。 デジタルクランプ部の内部構成を示すブロック図である。 チャネル間ゲイン補正部の内部構成を示すブロック図である。 本発明の第２の実施の形態に係るデジタル信号処理回路の内部構成を示すブロック図である。 第２の実施の形態に係るチャネルＩＤ生成部の内部構成を示すブロック図である。 第２の実施の形態に係る並び替え処理部の内部構成を示すブロック図である。 第３の実施の形態に係るカメラ信号処理部の内部構成を示すブロック図である。 欠陥画素補正部の内部構成を示すブロック図である。 信号補正部の内部構成を示すブロック図である。 引きずり対象画素補正デコーダの内部構成を示すブロック図である。 引きずり対象画素の検出について説明するための図である。 補正タイミングデコーダの内部構成を示すブロック図である。 １チャネル出力型の撮像素子を用いた従来の撮像装置の要部構成例を示すブロック図である。 ベイヤ配列の撮像素子の画素信号を１つの出力チャネルから出力した場合の色シーケンスを説明する図である。 画素信号を２チャネルで読み出した場合の色シーケンスを説明する図である。 画素信号を３チャネルで読み出した場合の色シーケンスを説明する図である。 画素信号を４チャネルで読み出した場合の色シーケンスを説明する図である。 ２ラインの画素信号を２チャネルで読み出した場合の色シーケンスを説明する図である。 ２ラインの画素信号を４チャネルで読み出した場合の色シーケンスを説明する図である。 ２ラインの画素信号を６チャネルで読み出した場合の色シーケンスを説明する図である。 画素信号の多重化機能を備えた信号処理系の構成例を示すブロック図である。

符号の説明

１１……光学ブロック、１１ａ……ドライバ、１２……ＣＭＯＳ型イメージセンサ、１２ａ……タイミングジェネレータ、１３……アナログフロントエンド回路、１４……デジタル信号処理回路、１５……カメラ制御回路、１６……ヒューマンＩ／Ｆ制御回路、１７……ユーザＩ／Ｆ、１８……手ぶれセンサ、２１……並び替え処理部、２２……チャネルＩＤ生成部、２３……カメラ信号処理部、２４……通信Ｉ／Ｆ、２５……シグナルジェネレータ

Claims (16)

1. カラー画像信号を処理する画像処理装置において、
   入力された画像信号が固体撮像素子のどの読み出しチャネルから読み出されたかを識別するチャネルＩＤを利用して、前記固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する信号処理手段と、
   各フィルタ成分に対応する個別の記憶領域を備えた記憶手段と、
   画像信号におけるフィルタ成分の入力シーケンスに応じた並び替え制御パラメータと、前記記憶手段からの読み出し後の画像信号に対応する前記チャネルＩＤのシーケンスに応じたチャネルＩＤ生成パラメータとを含む制御パラメータの設定を受け付けるパラメータ受信手段と、
   前記固体撮像素子の出力信号に基づく複数チャネルの入力画像信号を、当該入力画像信号における前記入力シーケンスに応じた前記制御パラメータの設定に基づいてフィルタ成分ごとに振り分け、対応する前記記憶領域に書き込む書き込み手段と、
   前記各記憶領域から個別の出力チャネルを通じて画像信号を順次読み出し、前記信号処理手段に供給する読み出し手段と、
   前記読み出し手段により読み出された画像信号に対応する前記チャネルＩＤを前記チャネルＩＤ生成パラメータの設定に基づいて生成し、前記信号処理手段に供給するチャネルＩＤ生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記チャネルＩＤ生成手段は、
   前記読み出し手段からの画像信号に対応する前記チャネルＩＤのシーケンスに現れる前記チャネルＩＤの繰り返し数までの値を、各画素信号の入力タイミングに同期して繰り返しカウントするカウント手段と、
   前記チャネルＩＤ生成パラメータの設定に基づき、前記読み出し手段からの画像信号のチャネルごと、かつ、前記カウント手段による各カウント値の入力タイミングごとに、当該画像信号に割り当てる前記チャネルＩＤの値を出力するチャネルＩＤ割り当て手段と、
   前記読み出し手段からの同じチャネルに対して前記チャネルＩＤ割り当て手段により割り当てられた前記チャネルＩＤの入力を受け、前記カウント手段のカウント値に対応する前記チャネルＩＤを選択して出力する複数のチャネルＩＤ選択手段と、
   を有することを特徴とする請求項１記載の画像処理装置。
3. 前記チャネルＩＤ生成手段は、
   繰り返し数の異なる複数の前記カウント手段と、
   前記制御パラメータの設定に応じていずれかの前記カウント手段のカウント値を選択して前記各チャネルＩＤ選択手段に供給するカウント値選択手段とを備え、
   前記チャネルＩＤ割り当て手段は、前記チャネルＩＤ生成パラメータの設定により、前記読み出し手段からのチャネルごとに、前記カウント値選択手段で選択された前記カウント手段の繰り返し数分だけ前記チャネルＩＤの値を割り当てて出力する、
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記信号処理手段は、入力された各チャネルの画像信号に対して、対応する前記チャネルＩＤごとに異なる信号処理パラメータを用いて信号処理を施すことを特徴とする請求項１記載の画像処理装置。
5. 前記信号処理手段としてデジタルクランプ処理手段を備えたことを特徴とする請求項４記載の画像処理装置。
6. 前記信号処理手段として、前記固体撮像素子の前記読み出しチャネル間のゲインのバラツキを補正するゲイン補正手段を備えたことを特徴とする請求項４記載の画像処理装置。
7. 前記信号処理手段として、前記固体撮像素子への入射光のない状態での出力信号レベルが比較的巨大な値となる巨大欠陥画素の出力信号を補正する巨大欠陥画素補正手段を備え、
   前記巨大欠陥画素補正手段は、
   前記巨大欠陥画素の位置情報を保持する位置記憶手段と、
   前記位置記憶手段の保持する前記位置情報に基づき、入力されたいずれかのチャネルの画像信号に前記巨大欠陥画素が現れた後、すべてのチャネルの画像信号から、当該巨大欠陥画素と同じ前記チャネルＩＤを持つ次の画素、および、当該巨大欠陥画素の前記チャネルＩＤと所定の関係を持つ他の前記チャネルＩＤを持つ次の画素の各出現タイミングを検出する画素検出手段と、
   前記巨大欠陥画素、および前記画素検出手段により検出された画素のそれぞれの信号を、同じフィルタ成分に対応する周囲の画素の信号を用いて補間する信号補間部と、
   を有することを特徴とする請求項１記載の画像処理装置。
8. 前記固体撮像素子からの前記読み出しチャネルのうち２組ずつの画像信号を時分割多重化し、１／２のチャネル数として前記書き込み手段に出力する多重化手段を備え、前記多重化手段から同じチャネルで出力される画素信号に対して、隣接する２つの数値を前記チャネルＩＤとして交互に定義した場合に、
   前記画素検出手段は、前記位置情報に基づく前記巨大欠陥画素が現れた後、当該巨大欠陥画素と同じ前記チャネルＩＤを持つ次の画素、および、当該巨大欠陥画素の前記チャネルＩＤを含む前記隣接する２つの数値のうちの他方の数値を前記チャネルＩＤとして持つ次の画素の各出現タイミングを検出する、
   ことを特徴とする請求項７記載の画像処理装置。
9. カラー画像信号を処理する画像処理装置において、
   入力された画像信号が固体撮像素子のどの読み出しチャネルから読み出されたかを識別するチャネルＩＤを利用して、前記固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する信号処理手段と、
   前記固体撮像素子の出力信号に基づく複数チャネルの画像信号に対して前記チャネルＩＤを割り当て、当該画像信号とともに出力するチャネルＩＤ生成手段と、
   各フィルタ成分に対応する個別の記憶領域を備えた記憶手段と、
   画像信号におけるフィルタ成分の入力シーケンスに応じた並び替え制御パラメータの設定を受け付けるパラメータ受信手段と、
   前記チャネルＩＤ生成手段を介して入力された複数チャネルの画像信号と、当該画像信号に対応する前記チャネルＩＤ生成手段からの前記チャネルＩＤとを、当該画像信号における前記入力シーケンスに応じた前記並び替え制御パラメータの設定に基づいてフィルタ成分ごとに振り分け、対応する前記記憶領域に書き込む書き込み手段と、
   前記各記憶領域から個別の出力チャネルを通じて画像信号とこれに対応する前記チャネルＩＤとを順次読み出し、前記信号処理手段に供給する読み出し手段と、
   を有することを特徴とする画像処理装置。
10. 前記チャネルＩＤ生成手段は、
    入力される画像信号に対応する前記チャネルＩＤのシーケンスに現れる前記チャネルＩＤの繰り返し数までの値を、各画素信号の入力タイミングに同期して繰り返しカウントするカウント手段と、
    入力される画像信号のチャネルごとに設けられ、前記カウント手段の各カウント値に対応する入力端子に、全チャネルに対して固有の前記チャネルＩＤの値の入力を受けて、前記カウント手段の出力値に応じて入力値を選択して前記書き込み手段に出力する複数のチャネルＩＤ選択手段と、
    を有することを特徴とする請求項９記載の画像処理装置。
11. 固体撮像素子を用いて画像を撮像する撮像装置において、
    入力された画像信号が前記固体撮像素子のどの読み出しチャネルから読み出されたかを識別するチャネルＩＤを利用して、前記固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する信号処理手段と、
    各フィルタ成分に対応する個別の記憶領域を備えた記憶手段と、
    画像信号におけるフィルタ成分の入力シーケンスに応じた並び替え制御パラメータと、前記記憶手段からの読み出し後の画像信号に対応する前記チャネルＩＤのシーケンスに応じたチャネルＩＤ生成パラメータとを含む制御パラメータの設定を受け付けるパラメータ受信手段と、
    前記固体撮像素子の出力信号に基づく複数チャネルの入力画像信号を、当該入力画像信号における前記入力シーケンスに応じた前記制御パラメータの設定に基づいてフィルタ成分ごとに振り分け、対応する前記記憶領域に書き込む書き込み手段と、
    前記各記憶領域から個別の出力チャネルを通じて画像信号を順次読み出し、前記信号処理手段に供給する読み出し手段と、
    前記読み出し手段により読み出された画像信号に対応する前記チャネルＩＤを前記チャネルＩＤ生成パラメータの設定に基づいて生成し、前記信号処理手段に供給するチャネルＩＤ生成手段と、
    を有することを特徴とする撮像装置。
12. 固体撮像素子を用いて画像を撮像する撮像装置において、
    入力された画像信号が前記固体撮像素子のどの読み出しチャネルから読み出されたかを識別するチャネルＩＤを利用して、前記固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する信号処理手段と、
    前記固体撮像素子の出力信号に基づく複数チャネルの画像信号に対して前記チャネルＩＤを割り当て、当該画像信号とともに出力するチャネルＩＤ生成手段と、
    各フィルタ成分に対応する個別の記憶領域を備えた記憶手段と、
    画像信号におけるフィルタ成分の入力シーケンスに応じた並び替え制御パラメータの設定を受け付けるパラメータ受信手段と、
    前記チャネルＩＤ生成手段を介して入力された複数チャネルの画像信号と、当該画像信号に対応する前記チャネルＩＤ生成手段からの前記チャネルＩＤとを、当該画像信号における前記入力シーケンスに応じた前記並び替え制御パラメータの設定に基づいてフィルタ成分ごとに振り分け、対応する前記記憶領域に書き込む書き込み手段と、
    前記各記憶領域から個別の出力チャネルを通じて画像信号とこれに対応する前記チャネルＩＤとを順次読み出し、前記信号処理手段に供給する読み出し手段と、
    を有することを特徴とする撮像装置。
13. 固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する信号処理手段を備えた画像処理装置において、前記固体撮像素子の出力信号に基づく複数チャネルの入力画像信号を処理する画像処理方法であって、
    パラメータ受信手段が、前記入力画像信号におけるフィルタ成分の入力シーケンスに応じた並び替え制御パラメータと、画像信号が前記固体撮像素子のどの読み出しチャネルから読み出されたかを識別するチャネルＩＤの、記憶手段からの読み出し後の画像信号における出現シーケンスに応じたチャネルＩＤ生成パラメータとを含む制御パラメータの設定を受け付けるステップと、
    書き込み手段が、前記並び替え制御パラメータの設定に基づいて、前記入力画像信号をフィルタ成分ごとに振り分け、前記記憶手段にフィルタ成分ごとに設けられた記憶領域のそれぞれに書き込むステップと、
    読み出し手段が、前記各記憶領域から個別の出力チャネルを通じて画像信号を順次読み出すステップと、
    チャネルＩＤ生成手段が、前記読み出し手段により読み出された画像信号に対応する前記チャネルＩＤを前記チャネルＩＤ生成パラメータの設定に基づいて生成して出力するステップと、
    前記信号処理手段が、前記読み出し手段からの画像信号に対応する前記チャネルＩＤ生成手段からの前記チャネルＩＤを利用して、前記各出力チャネルの画像信号を並列に処理するステップと、
    を含むことを特徴とする画像処理方法。
14. 固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する信号処理手段を備えた画像処理装置において、前記固体撮像素子の出力信号に基づく複数チャネルの入力画像信号を処理する画像処理方法であって、
    パラメータ受信手段が、前記入力画像信号におけるフィルタ成分の入力シーケンスに応じた並び替え制御パラメータの設定を受け付けるステップと、
    チャネルＩＤ生成手段が、前記入力画像信号が前記固体撮像素子のどの読み出しチャネルから読み出されたかを識別するチャネルＩＤを当該入力画像信号に割り当て、当該入力画像信号とともに出力するステップと、
    書き込み手段が、前記並び替え制御パラメータの設定に基づいて、前記入力画像信号と、当該入力画像信号に対応する前記チャネルＩＤ生成手段からの前記チャネルＩＤとを、フィルタ成分ごとに振り分け、フィルタ成分ごとに設けられた記憶領域のそれぞれに書き込むステップと、
    読み出し手段が、前記各記憶領域から個別の出力チャネルを通じて画像信号とこれに対応する前記チャネルＩＤとを順次読み出すステップと、
    前記信号処理手段が、前記読み出し手段からの対応する前記チャネルＩＤを利用して、前記各出力チャネルを通じて入力される画像信号を並列に処理するステップと、
    を含むことを特徴とする画像処理方法。
15. 固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する機能を備えた信号処理回路に対して、前記固体撮像素子の出力信号に基づく複数チャネルの入力画像信号を供給する処理を、コンピュータに実行させる画像処理プログラムにおいて、
    画像信号におけるフィルタ成分の入力シーケンスに応じた並び替え制御パラメータと、画像信号が前記固体撮像素子のどの読み出しチャネルから読み出されたかを識別するチャネルＩＤの、記憶手段からの読み出し後の画像信号における出現シーケンスに応じたチャネルＩＤ生成パラメータとを含む制御パラメータの設定を受け付けるパラメータ受信手段、
    前記固体撮像素子の出力信号に基づく複数チャネルの入力画像信号を、当該入力画像信号における前記入力シーケンスに応じた前記制御パラメータの設定に基づいて、フィルタ成分ごとに振り分け、前記記憶手段にフィルタ成分ごとに設けられた記憶領域のそれぞれに書き込む書き込み手段、
    前記各記憶領域から個別の出力チャネルを通じて画像信号を順次読み出し、前記信号処理回路に供給する読み出し手段、
    前記読み出し手段により読み出された画像信号に対応する前記チャネルＩＤを前記チャネルＩＤ生成パラメータの設定に基づいて生成し、前記信号処理回路に供給するチャネルＩＤ生成手段、
    として前記コンピュータを機能させることを特徴とする画像処理プログラム。
16. 固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する機能を備えた信号処理回路に対して、前記固体撮像素子の出力信号に基づく複数チャネルの入力画像信号を供給する処理を、コンピュータに実行させる画像処理プログラムにおいて、
    前記固体撮像素子の出力信号に基づく複数チャネルの画像信号に対して、各画像信号が前記固体撮像素子のどの読み出しチャネルから読み出されたかを識別するチャネルＩＤを割り当て、当該画像信号とともに出力するチャネルＩＤ生成手段、
    画像信号におけるフィルタ成分の入力シーケンスに応じた並び替え制御パラメータの設定を受け付けるパラメータ受信手段、
    前記チャネルＩＤ生成手段を介して入力された複数チャネルの画像信号と、当該画像信号に対応する前記チャネルＩＤ生成手段からの前記チャネルＩＤとを、当該画像信号における前記入力シーケンスに応じた前記並び替え制御パラメータの設定に基づいて、フィルタ成分ごとに振り分け、フィルタ成分ごとに設けられた記憶領域のそれぞれに書き込む書き込み手段、
    前記各記憶領域から個別の出力チャネルを通じて画像信号とこれに対応する前記チャネルＩＤとを順次読み出し、前記信号処理回路に供給する読み出し手段、
    として前記コンピュータを機能させることを特徴とする画像処理プログラム。

Images