JP4573769B2 - 画像処理回路および画像処理方法 - Google Patents

Description

本発明は、画像処理回路に関し、特に、固体撮像デバイスとしてＲＧＢ独立配列センサを用いる場合においても画像信号を処理することが可能な画像処理回路に関するものである。

図７は、従来技術に係る画像処理装置１００のブロック図である。画像処理装置１００は、ＣＣＤ１９０、画像補正回路１５１、１ラインメモリ１２９、ラッチ回路１２５ないし１２８、検波回路１７１を備える。ＣＣＤ１９０は、ベイヤ配列のＣＣＤである。ＣＣＤ１９０の各画素に蓄積されたピクセルデータＰＤが、画像補正回路１５１、１ラインメモリ１２９、ラッチ回路１２７および１２８に入力される。１ラインメモリ１２９には、ある１つの先行ラインのＲ、Ｇｒ信号が保持される。そして先行ラインに引き続いて入力される現行ラインのＧｂ、Ｂ信号と、１ラインメモリ２９に記憶されている先行ラインのＲ、Ｇｒ信号とが同時に取得され、検波回路１７１に入力される。検波回路１７１では、色合い調整、露出調整、オートフォーカス等の検波が行われ、検波結果ＤＲ１００が出力される。また画像補正回路１５１では、入力されるピクセルデータＰＤに対して、欠陥画素補正やノイズ補正、ＯＢ（オプティカルブラック）補正等の各種補正が行われる。そして画像補正回路１５１からは、補正後ピクセルデータＣＰＤが後段の不図示の回路へ出力される。

尚、上記の関連技術として特許文献１が開示されている。
特開２００１−２４５１４１号公報

しかし従来技術の画像処理装置１００では、ベイヤ配列のＣＣＤイメージセンサにしか対応しておらず、１つの画素でＲ、Ｇ、Ｂ全色を取り込むことが可能な、いわゆるＲＧＢ独立配列センサ（例えば米Ｆｏｖｅｏｎ社のイメージセンサ）を使用することができないため問題である。

またＲＧＢ独立配列センサに対応するように検波回路１７１の回路構成を変更すると、第１に、新たな設計が必要となりコスト増加に繋がるため問題である。また第２に、ベイヤ配列用に長年培われてきたソフトウェアライブラリ等の各種技術が使用できなくなるため問題である。また第３に、変更後の検波回路１７１においてはベイヤ配列のデータには対応ができなくなるため問題である。

本発明は前記背景技術の課題の少なくとも１つを解消するためになされたものであり、いわゆるＲＧＢ独立配列の固体撮像デバイスが用いられる場合においても、ベイヤ配列の固体撮像デバイス用に長年培われてきたソフトウェアライブラリ等の各種技術を使用することができると共に、ベイヤ配列の固体撮像デバイスにも対応することが可能である画像処理回路および画像処理方法を提供することを目的とする。

前記目的を達成するために、本発明における第１概念における画像処理回路では、固体撮像デバイスの出力信号から、固体撮像デバイス上において互いに隣り合う２画素×２画素の基本マトリクスを取得する第１ないし第３マトリクス取得回路と、第１マトリクス取得回路で取得される基本マトリクスの平均値を算出する第１平均化回路と、第２マトリクス取得回路で取得される基本マトリクスの平均値を算出する第２平均化回路と、第３マトリクス取得回路で取得される基本マトリクスの平均値を算出する第３平均化回路と、第１ないし第３平均化回路の出力を、固体撮像デバイス上において互いに隣り合う２画素×２画素のベイヤ配列の変換マトリクスへ変換するデータ配列変換回路と、固体撮像デバイスがベイヤ配列方式である場合には第１ないし第３マトリクス取得回路の出力のうち少なくとも何れか一つを選択し、固体撮像デバイスがＲＧＢ独立配列センサ方式である場合にはデータ配列変換回路の出力を選択するセレクタ回路とを備え、固体撮像デバイスが画素毎にＲ信号、Ｇ信号、Ｂ信号を取得するＲＧＢ独立配列センサ方式固体撮像デバイスである場合には、Ｒ信号、Ｇ信号、Ｂ信号が第１ないし第３マトリクス取得回路の各々に入力されることを特徴とする。

第１ないし第３マトリクス取得回路は、固体撮像デバイスの出力信号から、互いに隣り合う２画素×２画素の基本マトリクスを取得する回路である。固体撮像デバイスが画素毎にＲ、Ｇ、Ｂ信号を出力するＲＧＢ独立配列センサ方式固体撮像デバイスである場合には、ＲＧＢ独立配列センサ方式固体撮像デバイスからはＲ、Ｇ、Ｂ信号のそれぞれが個別に出力され、各々第１ないし第３マトリクス取得回路に入力される。よってＲ、Ｒ、Ｒ・・・の水平ラインのＲ信号を、ベイヤ配列と同様の基本マトリクスの単位毎にキャプチャすることができる。またＧ、Ｇ、Ｇ・・・の水平ラインのＧ信号、Ｂ、Ｂ、Ｂ・・・の水平ラインのＢ信号についても同様に、基本マトリクスの単位毎にキャプチャすることができる。よって入力されるＲ、Ｇ、Ｂ信号の各々について、２×２画素の基本マトリクスが取得される。そして基本マトリクスが順次更新されることで、画像１フレーム分のデータが取得される。

第１ないし第３平均化回路は、第１ないし第３マトリクス取得回路の各々に対応して備えられ、基本マトリクスにおける各画素信号の平均値を算出する。よってＲ信号の２×２画素の基本マトリクスから、ベイヤ配列の固体撮像素子と同様にして、１つのＲ信号を取得することができる。またＧ信号の２×２画素の基本マトリクスから１つのＧ信号を取得し、Ｂ信号の２×２画素の基本マトリクスから１つのＢ信号を取得することができる。
この場合、固体撮像デバイスがベイヤ配列方式である場合には第１ないし第３マトリクス取得回路の出力のうち少なくとも何れか一つが選択され、固体撮像デバイスがＲＧＢ独立配列センサ方式である場合にはデータ配列変換回路の出力が選択される。

データ配列変換回路は、第１ないし第３平均化回路から出力される同時信号（Ｒ、Ｇ、Ｂ信号）を、ベイヤ配列（Ｒ、Ｇｒ、Ｇｂ、Ｂ信号）の２画素×２画素の変換マトリクスへ変換し、後段の各種回路へ出力する。そして基本マトリクスの更新に応じて、変換マトリクスが順次更新されることで、画像１フレーム分のベイヤ配列のデータを取得することができる。ここで後段の各種回路としては、例えば、変換マトリクスに応じてホワイトバランス調整、フォーカス調整、露出調整等の評価値の算出を行うベイヤ配列データ用の検波回路が挙げられる。

また本発明における第２概念における画像処理回路では、固体撮像デバイスの出力信号から、固体撮像デバイス上において互いに隣り合う２画素×２画素の基本マトリクスを取得するマトリクス取得回路と、固体撮像デバイスが画素毎にＲ信号、Ｇ信号、Ｂ信号を取得するＲＧＢ独立配列センサ方式固体撮像デバイスである場合には、マトリクス取得回路で取得されるＲ、Ｇ、Ｂ信号の何れか１つの信号についての基本マトリクスの平均値を算出する平均化回路と、平均化回路の出力を画像処理回路ブロックの外部へ出力する出力回路と、他の画像処理回路ブロックにおけるＲ、Ｇ、Ｂ信号のうちの他の２信号についての平均化回路の出力が入力される入力回路と、入力される平均化回路の出力と入力回路の出力とを固体撮像デバイス上において互いに隣り合う２画素×２画素のベイヤ配列の変換マトリクスへ変換するデータ配列変換回路とをそれぞれに備える第１ないし第３画像処理回路ブロックを備えることを特徴とする。

画像処理回路は、第１ないし第３画像処理回路ブロックを備える。第１ないし第３画像処理回路ブロックはそれぞれ、マトリクス取得回路、平均化回路、出力回路、入力回路およびデータ配列変換回路を備える。第１画像処理回路ブロックの出力回路からは基本マトリクスの平均値が出力され、第２および第３画像処理回路ブロックへ入力される。また第２および第３画像処理回路ブロックの出力回路から出力される基本マトリクスの平均値は、第１画像処理回路ブロックの入力回路に入力される。よって第１画像処理回路ブロックのデータ配列変換回路には、Ｒ、Ｇ、Ｂの３信号が入力される。そしてデータ配列変換回路は、入力されるＲ、Ｇ、Ｂ信号を、固体撮像デバイス上において互いに隣り合う２画素×２画素のベイヤ配列の変換マトリクスへ変換する。以下同様にして、第２画像処理回路ブロックおよび第３画像処理回路ブロックのデータ配列変換回路においても、入力されるＲ、Ｇ、Ｂ信号を、ベイヤ配列の変換マトリクスへ変換する動作が行われる。すなわち、第１ないし第３画像処理回路ブロックでは同一の変換マトリクスが取得される。

これにより、いわゆるＲＧＢ独立配列の固体撮像デバイスを用いる場合おいても、Ｒ、Ｇ、Ｂ独立に入力される信号を基本マトリクス毎にキャプチャした上で平均化し、その後ベイヤ配列へ変換することができる。よってＲＧＢ独立配列センサ方式固体撮像デバイスを用いる場合においても、既存システムであるベイヤ配列用の後段回路を用いることが可能となり、またベイヤ配列において長年培われてきたデータ評価方法やソフトウェアライブラリを用いることが可能となる。

本発明の画像処理回路および画像処理方法によれば、いわゆるＲＧＢ独立配列の固体撮像デバイスが用いられる場合においても、ベイヤ配列の固体撮像デバイス用に長年培われてきたソフトウェアライブラリ等の各種技術を使用することができると共に、ベイヤ配列の固体撮像デバイスにも対応することが可能である画像処理回路および画像処理方法を提供することが可能となる。

以下、本発明の画像処理回路および画像処理方法について具体化した実施形態を図１ないし図６に基づき図面を参照しつつ詳細に説明する。本発明の原理図を図１に示す。画像処理装置１Ｇは、第１マトリクス取得回路２１Ｇないし第３マトリクス取得回路２３Ｇ、第１平均化回路３１Ｇないし第３平均化回路３３Ｇ、データ配列変換回路４０Ｇ、ベイヤ配列用検波回路７０、固体撮像素子９０Ｇを備える。

固体撮像素子９０Ｇは、画素毎にＲ、Ｇ、Ｂ信号を取得するＲＧＢ独立配列センサ方式固体撮像デバイスであり、固体撮像素子９０ＧはＲ、Ｇ、Ｂ信号のそれぞれを個別に出力する。第１マトリクス取得回路２１ＧにはＲ信号が入力され、第２マトリクス取得回路２２ＧにはＧ信号が入力され、第３マトリクス取得回路２３ＧにはＢ信号が入力される。

第１マトリクス取得回路２１Ｇは、固体撮像素子９０Ｇから出力されるＲ、Ｇ、Ｂ信号のうちのＲ信号を、基本マトリクスごとに取得する。ここで基本マトリクスとは、固体撮像素子９０Ｇ上において互いに隣り合う２画素×２画素により構成される領域である。第１平均化回路３１Ｇは、基本マトリクス内の各画素のＲ信号の平均値である平均値ＡｖｅＣＨ１を出力する。よって２×２画素の基本マトリクス毎に、１つのＲ信号を取得することができる。これはベイヤ配列の固体撮像素子において、２×２画素のマトリクスにおいて１つのＲ信号が取得されることと同様の関係にある。

同様にして、第２マトリクス取得回路２２ＧはＧ信号を基本マトリクスごとに取得し、第２平均化回路３２ＧはＧ信号の平均値ＡｖｅＣＨ２を出力する。また同様に、第３マトリクス取得回路２３ＧはＢ信号を基本マトリクスごとに取得し、第３平均化回路３３ＧはＢ信号の平均値ＡｖｅＣＨ３を出力する。そして基本マトリクスが順次更新されることで、画像１フレーム分のデータが取得される。

データ配列変換回路４０Ｇは、平均値ＡｖｅＣＨ１（Ｒ信号）、平均値ＡｖｅＣＨ２（Ｇ信号）、平均値ＡｖｅＣＨ３（Ｂ信号）を、ベイヤ配列（Ｒ１、Ｇｒ１、Ｇｂ１、Ｂ１信号）の２画素×２画素の変換マトリクスへ変換する。この変換動作では、Ｇ信号の平均値ＡｖｅＣＨ２を、変換マトリクスのＧｒ１信号およびＧｂ１信号へ割り当てることにより、平均値ＡｖｅＣＨ１ないしＡｖｅＣＨ３の３つの信号が、ベイヤ配列のＲ１、Ｇｒ１、Ｇｂ１、Ｂ１信号の４つの信号に変換される。そして得られたＲ１、Ｇｒ１、Ｇｂ１、Ｂ１信号は、ベイヤ配列用検波回路７０へ入力される。ベイヤ配列用検波回路７０は、ベイヤ配列の画像データの入力に適合した検波回路である。ベイヤ配列用検波回路７０により、変換マトリクスのＲ１信号、Ｇｒ１信号、Ｇｂ１信号、Ｂ１信号が検波され、ホワイトバランス調整、フォーカス調整、露出調整等の評価値の算出が行われる。

これにより画像処理装置１Ｇでは、いわゆるＲＧＢ独立配列センサを用いる場合において、固体撮像素子９０Ｇ上において互いに隣り合う２×２画素の基本マトリクスごとに、Ｒ信号の平均値、Ｇ信号の平均値、Ｂ信号の平均値をそれぞれ取得することができる。そして得られたＲ、Ｇ、Ｂ信号の３つの信号の平均値を、ベイヤ配列のＲ１、Ｇｒ１、Ｇｂ１、Ｂ１信号の４つの信号に変換することができる。よって固体撮像素子９０ＧにＲＧＢ独立配列センサを用いる場合においても、ベイヤ配列の信号に変換することが可能となるため、既存システムであるベイヤ配列用検波回路７０を用いて検波動作を行うことができる。以上より、ＲＧＢ独立配列センサを用いる場合においても、ベイヤ形式において長年培われてきたホワイトバランス調整、フォーカス調整、露出調整等の評価方法やソフトウェアライブラリを用いることが可能となることが分かる。

本発明の実施形態に係る画像処理回路１を、図２を用いて説明する。画像処理回路１は、ＣＣＤ９０、セレクタ９２、第１画像処理回路ブロックＣＨ１ないし第３画像処理回路ブロックＣＨ３を備える。ＣＣＤ９０の出力端子はセレクタ９２に接続される。セレクタ９２から出力されるピクセルデータＰＤ１ないしＰＤ３、色情報ＣＤ１ないしＣＤ３は、各々、第１画像処理回路ブロックＣＨ１ないし第３画像処理回路ブロックＣＨ３へ入力される。

第１画像処理回路ブロックＣＨ１は、第１マトリクス取得回路２１、第１平均化回路３１、データ配列変換回路４１、画像補正回路５１、出力セレクタ６１、検波回路７１、入出力回路８１ａないし８１ｃを備える。ピクセルデータＰＤ１は、画像補正回路５１および第１マトリクス取得回路２１に入力される。画像補正回路５１では、入力されるピクセルデータＰＤ１に対して、欠陥画素補正やノイズ補正、ＯＢ（オプティカルブラック）補正等の各種補正が行われる。そして画像補正回路５１からは補正後ピクセルデータＣＰＤ１が不図示の後段の回路へ出力され、後段の回路では１フレームの画像が作成される。第１マトリクス取得回路２１からは、ＣＣＤ９０上において互いに隣り合う２画素×２画素（基本マトリクス）の信号ＳＳ１１ないしＳＳ１４が出力される。信号ＳＳ１１ないしＳＳ１４は、第１平均化回路３１および出力セレクタ６１に入力される。第１平均化回路３１からは平均値ＡｖｅＣＨ１および色情報ＩｒｏＣＨ１が出力され、入出力回路８１ａおよびデータ配列変換回路４１へ入力される。入出力回路８１ａからは平均値ＡｖｅＣＨ１および色情報ＩｒｏＣＨ１が出力され、第２画像処理回路ブロックＣＨ２の入出力回路８２ｃ、および第３画像処理回路ブロックＣＨ３の入出力回路８３ｂへそれぞれ入力される。またセレクタ９２から出力される色情報ＣＤ１が、第１平均化回路３１へ入力される。また第２画像処理回路ブロックＣＨ２から出力される平均値ＡｖｅＣＨ２および色情報ＩｒｏＣＨ２が、入出力回路８１ｂを介してデータ配列変換回路４１へ入力される。また第３画像処理回路ブロックＣＨ３から出力される平均値ＡｖｅＣＨ３および色情報ＩｒｏＣＨ３が、入出力回路８１ｃを介してデータ配列変換回路４１へ入力される。

データ配列変換回路４１からは、ベイヤ配列に変換後の２画素×２画素の変換マトリクスを構成する信号ＳＳ１１ａないしＳＳ１４ａが出力され、出力セレクタ６１に入力される。出力セレクタ６１からは信号ＳＳ１１ｂないしＳＳ１４ｂが出力され、検波回路７１に入力される。検波回路７１からは検波結果ＤＲ１が出力される。

以下同様にして、第２画像処理回路ブロックＣＨ２においても、第２平均化回路３２には色情報ＣＤ２が入力される。またデータ配列変換回路４２には、第２平均化回路３２から出力される平均値ＡｖｅＣＨ２およびＩｒｏＣＨ２、第３画像処理回路ブロックＣＨ３から出力される平均値ＡｖｅＣＨ３および色情報ＩｒｏＣＨ３、第１画像処理回路ブロックＣＨ１から出力される平均値ＡｖｅＣＨ１および色情報ＩｒｏＣＨ１が、それぞれ入力される。また同様にして、第３画像処理回路ブロックＣＨ３においても、第３平均化回路３３には色情報ＣＤ３が入力される。またデータ配列変換回路４３には、第３平均化回路３３から出力される平均値ＡｖｅＣＨ３およびＩｒｏＣＨ３、第１画像処理回路ブロックＣＨ１から出力される平均値ＡｖｅＣＨ１および色情報ＩｒｏＣＨ１、第２画像処理回路ブロックＣＨ２から出力される平均値ＡｖｅＣＨ２および色情報ＩｒｏＣＨ２が、それぞれ入力される。

図３に第１画像処理回路ブロックＣＨ１の詳細な回路図を示す。第１マトリクス取得回路２１は、１ラインメモリ２９、ラッチ回路２５ないし２８を備える。ピクセルデータＰＤ１は１ラインメモリ２９およびラッチ回路２７、２８に入力される。１ラインメモリ２９からは遅延ピクセルデータＤＰＤ１が出力され、ラッチ回路２５、２６に入力される。ラッチ回路２５ないし２８からは、信号ＳＳ１１ないしＳＳ１４がそれぞれ出力される。

第１平均化回路３１は、演算回路３５および色情報レジスタ９１を備える。演算回路３５には信号ＳＳ１１ないしＳＳ１４が入力され、演算回路３５からはＡｖｅＣＨ１が出力される。色情報レジスタ９１には色情報ＣＤ１が入力され、色情報レジスタ９１からは色情報ＩｒｏＣＨ１が出力される。

検波回路７１は、レベルゲート回路７５、輝度生成回路７６、ホワイトバランス調整回路７７、露出調整回路７８、フォーカス調整回路７９を備える。レベルゲート回路７５には、信号ＳＳ１１ｂないしＳＳ１４ｂ、しきい値ＴＨが入力される。レベルゲート回路７５を通過した信号ＳＳ１１ｂないしＳＳ１４ｂはホワイトバランス調整回路７７へ入力され、ホワイトバランス調整回路７７からは検波結果ＤＲ１ａが出力される。輝度生成回路７６には信号ＳＳ１１ｂないしＳＳ１４ｂ、輝度係数ＬＣが入力される。輝度生成回路７６から出力される輝度信号Ｙは露出調整回路７８およびフォーカス調整回路７９へ入力される。露出調整回路７８およびフォーカス調整回路７９からは、検波結果ＤＲ１ｂおよびＤＲ１ｃがそれぞれ出力される。また第２画像処理回路ブロックＣＨ２および第３画像処理回路ブロックＣＨ３の構成については、第１画像処理回路ブロックＣＨ１と同様であるため、ここでは詳細な説明を省略する。

画像処理回路１の動作を説明する。まず、ＣＣＤ９０が、ＲＧＢ独立配列センサ方式のＣＣＤである場合を説明する。図４にＲＧＢ独立配列センサの概略図を示す。ＲＧＢ独立配列センサは、１つの画素でＲ、Ｇ、Ｂの全色を取り込み、Ｒ、Ｇ、Ｂ信号の各々に対してデータ線を備えている。よってＣＣＤ９０からはＲ、Ｇ、Ｂ信号が各々並列に出力され、セレクタ９２（図２）に入力される。セレクタ９２では、Ｒ、Ｇ、Ｂ信号のそれぞれをピクセルデータＰＤ１乃至ＰＤ３へ割り当てる動作が行われる。本実施形態ではピクセルデータＰＤ１にＲ信号が割り当てられ、その旨が色情報ＣＤ１によって第１画像処理回路ブロックＣＨ１へ報知される。同様にピクセルデータＰＤ２にＧ信号が割り当てられ、その旨が色情報ＣＤ２によって第２画像処理回路ブロックＣＨ２へ報知される。またピクセルデータＰＤ３にＢ信号が割り当てられ、その旨が色情報ＣＤ３によって第３画像処理回路ブロックＣＨ３へ報知される。

このようにセレクタ９２によって、第１画像処理回路ブロックＣＨ１ないし第３画像処理回路ブロックＣＨ３に割り当てる色信号を任意に指定することができる。よって例えば、ＣＣＤ９０にＲ、Ｇ、Ｂ信号用の３つの出力端子が備えられている場合に、当該出力端子の配置位置や配列順序に応じて、各色信号をＲＧＢ信号を第１画像処理回路ブロックＣＨ１ないし第３画像処理回路ブロックＣＨ３に割り当てることができる。よって、柔軟な基盤レイアウトが可能となるメリットがある。

出力セレクタ６１は、入力されるモード信号ＭＯＤＥがハイレベルとされることにより、データ配列変換回路４１の出力を選択して検波回路７１へ出力する。よって画像処理回路１のモードはＲＧＢ独立配列センサに対応したモードとされる。

次に、第１画像処理回路ブロックＣＨ１の動作を図３および図５を用いて説明する。第１画像処理回路ブロックＣＨ１には、ピクセルデータＰＤ１として、Ｒ信号がライン毎に、Ｒ、Ｒ、Ｒ・・・と入力される。第１マトリクス取得回路２１においては、ある１つの先行するラインのＲ信号を１ラインメモリ２９に保持する。そしてさらに、先行ラインに引き続いて入力される現行ラインのＲ信号と、１ラインメモリ２９に記憶されている先行ラインのＲ信号との同期を取る動作が行われる。よってラッチ回路２５、２６には、先行ラインの隣り合う２画素分のＲ信号がラッチされる。またラッチ回路２７、２８には、ラッチ回路２５、２６にラッチされている先行ラインのＲ信号と隣り合う現行ラインの２画素分のＲ信号がラッチされる。これにより図５に示すように、ラッチ回路２５ないし２８に、ＣＣＤ９０上において互いに隣り合う２画素×２画素の第１基本マトリクスＭＴ１に対応するＲ信号が取得される。

ラッチ回路２５ないし２８の各々から出力される信号ＳＳ１１ないしＳＳ１４は、演算回路３５に入力される。演算回路３５では、Ｒ信号の信号ＳＳ１１ないしＳＳ１４の平均値ＡｖｅＣＨ１が算出される（図５）。そしてＲ信号の平均値ＡｖｅＣＨ１は、データ配列変換回路４１および入出力回路８１ａへ入力される。またＲ信号を表す旨の色情報ＣＤ１が、色情報レジスタ９１に入力され保持されているため、色情報レジスタ９１はＲ信号の色情報ＩｒｏＣＨ１をデータ配列変換回路４１および入出力回路８１ａへ出力する。

また上述の動作と同様にして、第２画像処理回路ブロックＣＨ２においても第２基本マトリクスＭＴ２に対応するＧ信号が取得され、Ｇ信号の平均値ＡｖｅＣＨ２が算出される。また第３画像処理回路ブロックＣＨ３においても第３基本マトリクスＭＴ３に対応するＢ信号が取得され、Ｂ信号の平均値ＡｖｅＣＨ３が算出される（図５）。そして図２に示すように、第２画像処理回路ブロックＣＨ２から出力される平均値ＡｖｅＣＨ２およびＧ信号の色情報ＩｒｏＣＨ２が、入出力回路８１ｂを介して、第１画像処理回路ブロックＣＨ１のデータ配列変換回路４１へ入力される。また第３画像処理回路ブロックＣＨ３から出力される平均値ＡｖｅＣＨ３およびＢ信号の色情報ＩｒｏＣＨ３が、入出力回路８１ｃを介して、第１画像処理回路ブロックＣＨ１のデータ配列変換回路４１へ入力される。

データ配列変換回路４１は、色情報ＩｒｏＣＨ１ないしＩｒｏＣＨ３によって、平均値ＡｖｅＣＨ１がＲ信号であり、平均値ＡｖｅＣＨ２がＧ信号であり、平均値ＡｖｅＣＨ３がＢ信号であることを認識する。そして図５に示すように、データ配列変換回路４１は、Ｒ、Ｇ、Ｂ信号の平均値ＡｖｅＣＨ１ないしＡｖｅＣＨ３の３信号を、互いに隣り合う２画素×２画素からなるベイヤ配列の変換マトリクスＣＭＴへ変換する。この変換動作では、平均値ＡｖｅＣＨ１ないしＡｖｅＣＨ３の３つの信号が、ベイヤ配列のＲ、Ｇｒ、Ｇｂ、Ｂ信号の４つの信号に変換されるが、この変換は、Ｇ信号の平均値ＡｖｅＣＨ２を、変換マトリクスＣＭＴのＧｒ信号およびＧｂ信号とすることで行われる。そしてデータ配列変換回路４１からは、ベイヤ配列のＲ、Ｇｒ、Ｇｂ、Ｂ信号に各々対応した信号ＳＳ１１ａないしＳＳ１４ａが出力される。

出力セレクタ６１は、第１マトリクス取得回路２１から出力される信号ＳＳ１１ないしＳＳ１４と、データ配列変換回路４１から入力される信号ＳＳ１１ａないしＳＳ１４ａとの何れか一方を選択し、信号ＳＳ１１ｂないしＳＳ１４ｂとして検波回路７１へ出力する回路である。本実施形態ではモード信号ＭＯＤＥによって、ＣＣＤ９０がＲＧＢ独立配列センサ方式である旨が出力セレクタ６１へ報知されているため、出力セレクタ６１はデータ配列変換回路４１から入力される信号ＳＳ１１ａないしＳＳ１４ａを選択した上で、検波回路７１へ出力する。

検波回路７１では検波動作が行われる。レベルゲート回路７５は、しきい値ＴＨの範囲内に収まらないデータをノイズとみなしてマスクする回路である。レベルゲート回路７５から出力される信号は、ホワイトバランス調整回路７７へ入力される。ホワイトバランス調整回路７７では、色温度による色合いの違いを自動調整する回路であり、Ｒ、Ｇ、Ｂ信号の積算値を算出した上で、検波結果ＤＲ１ａとして出力する。この検波結果ＤＲ１ａを元に、不図示の後段の回路では、取り込んだ画像データに補正をかけ、自然な色合いに調整する動作が行われる。

輝度生成回路７６では、入力される輝度係数ＬＣに応じて、輝度信号Ｙが生成される。輝度信号Ｙは人間の目における画像の明るさである。輝度信号Ｙは露出調整回路７８およびフォーカス調整回路７９に入力される。露出調整回路７８は、露出オーバーや露出アンダーとならないように、適正な露出で撮影する機能を有する回路である。輝度の積算値を算出し、検波結果ＤＲ１ｂを出力する。検波結果ＤＲ１ｂを元に不図示の後段の回路において露出がコントロールされる。フォーカス調整回路７９は、画像の高周波成分を取り出し、その積算情報によりフォーカスが合う（すなわち高周波成分が多い）様にフォーカスを自動調整する回路である。以上より画像処理回路１は、ＣＣＤ９０がＲＧＢ独立配列センサ方式である場合にも、検波回路７１において検波動作を行うことができることが分かる。

なお、ＲＧＢ独立配列の画像データをベイヤ配列に変換する際には、データが平均化されることにより、データ量が約１／４へ少なくなる。よって、ベイヤ配列のデータが必要とされる回路である検波回路７１の直前の段に、データ配列変換回路４１が備えられている。これにより、ベイヤ配列のデータ形式を必要としない他の回路においては高画素のＲＧＢ独立配列のデータのまま使用することが可能となるため、画像データの高詳細化に寄与することができる。

次に、ＣＣＤ９０が、ベイヤ配列の固体撮像デバイスである場合を説明する。図６にベイヤ配列のセンサの概略図を示す。ベイヤ配列センサは、１つの画素で１つの色しか取り込むことができない。そしてＣＣＤ９０からはＲ、Ｇｒ、Ｇｂ、Ｂ信号がシリアルに出力され、セレクタ９２（図２）に入力される。セレクタ９２では、ＣＣＤ９０から入力されるデータを、ピクセルデータＰＤ１乃至ＰＤ３へ割り当てる動作が行われる。すなわちピクセルデータＰＤ１ないしＰＤ３は、全て同一のデータとされる。

出力セレクタ６１は、入力されるモード信号ＭＯＤＥがローレベルとされることにより、第１マトリクス取得回路２１の出力を選択して検波回路７１へ出力する。よって画像処理回路１のモードはベイヤ配列センサに対応したモードとされる。

第１画像処理回路ブロックＣＨ１の動作を、図３を用いて説明する。第１画像処理回路ブロックＣＨ１には、ピクセルデータＰＤ１として、ＲおよびＧｒ信号と、ＧｂおよびＢ信号とが、１ラインおきに交互に入力される。第１マトリクス取得回路２１の１ラインメモリ２９には、ある１つの先行ラインのＲ、Ｇｒ信号が保持される。そして先行ラインに引き続いて入力される現行ラインのＧｂ、Ｂ信号と、１ラインメモリ２９に記憶されている先行ラインのＲ、Ｇｒ信号との同期を取る動作が行われる。これによりラッチ回路２５ないし２８には、ＣＣＤ９０上において互いに隣り合う２画素×２画素の第１基本マトリクスＭＴ１に対応するベイヤ配列のＲ、Ｇｒ、Ｇｂ、Ｂ信号が取得される。

第１マトリクス取得回路２１から出力される信号ＳＳ１１ないしＳＳ１４は、出力セレクタ６１へ入力される。本実施形態ではモード信号ＭＯＤＥによって、ＣＣＤ９０がベイヤ配列方式である旨が出力セレクタ６１へ報知されているため、出力セレクタ６１は第１マトリクス取得回路２１から入力される信号ＳＳ１１ないしＳＳ１４を選択した上で、検波回路７１へ出力する。検波回路７１では検波動作が行われ、検波回路７１からは検波結果ＤＲ１ａないしＤＲ１ｃが出力される。以上より画像処理回路１は、ＣＣＤ９０がベイヤ配列方式である場合にも、検波回路７１において検波動作を行うことができることが分かる。

以上詳細に説明したとおり、本発明の実施形態に係る画像処理回路１は、ＣＣＤ９０にいわゆるＲＧＢ独立配列センサを用いる場合において、２×２画素の基本マトリクスごとに、Ｒ信号の平均値、Ｇ信号の平均値、Ｂ信号の平均値をそれぞれ取得することができる。そして得られたＲ、Ｇ、Ｂ信号の３つの信号を、ベイヤ配列のＲ、Ｇｒ、Ｇｂ、Ｂ信号の４つの信号に変換することができる。これはベイヤ配列のＣＣＤにおいて、２×２画素のマトリクスからＲ、Ｇｒ、Ｇｂ、Ｂ信号が取得されることと同様の関係にある。よってＲＧＢ独立配列センサを用いる場合においても、ベイヤ配列の信号に変換することが可能となるため、ベイヤ配列において長年培われてきたホワイトバランス調整、フォーカス調整、露出調整等の評価方法やソフトウェアライブラリを用いることが可能となることが分かる。

また第１マトリクス取得回路２１は、ベイヤ配列の信号およびＲＧＢ独立配列センサ方式の信号の何れの信号であっても受け取ることができる。そして出力セレクタ６１によって、ＣＣＤ９０がベイヤ配列である場合においては第１マトリクス取得回路２１の出力を選択して検波回路７１へ出力し、ＣＣＤ９０がＲＧＢ独立配列である場合においてはデータ配列変換回路４１の出力を選択して検波回路７１へ出力することができる。これにより画像処理回路１では、ＣＣＤ９０がＲＧＢ独立配列である場合とベイヤ配列である場合との何れの場合においても検波を行うことができるため、本発明の回路の適用範囲を広げることが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良、変形が可能であることは言うまでもない。本実施形態では、第１画像処理回路ブロックＣＨ１におけるデータ配列変換回路４１の動作について説明したが、第２画像処理回路ブロックＣＨ２のデータ配列変換回路４２、および第３画像処理回路ブロックＣＨ３のデータ配列変換回路４３においても、データ配列変換回路４１と同様の動作が行われる。そしてＣＣＤ９０がＲＧＢ独立配列センサである場合には、検波回路７１に入力されるベイヤ配列の信号ＳＳ１１ａないしＳＳ１４ａと、検波回路７２に入力されるベイヤ配列の信号ＳＳ２１ａないしＳＳ２４ａと、検波回路７３に入力されるベイヤ配列の信号ＳＳ３１ａないしＳＳ３４ａとは同一となる。よってこの場合、第１画像処理回路ブロックＣＨ１の検波回路７１のみを動作させ、第２画像処理回路ブロックＣＨ２の検波回路７２および第３画像処理回路ブロックＣＨ３の検波回路７３の動作を停止すればよい。これにより、画像処理回路１の消費電流を抑えながら検波動作を行うことが可能となる。

また検波回路７２および検波回路７３を停止する場合に限られず、検波回路７１ないし７３を同時に動作させてもよいことは言うまでもない。この場合には、しきい値ＴＨや輝度係数ＬＣを各検波回路で異なった値に設定すればよい。また、ホワイトバランス調整回路７７、露出調整回路７８、フォーカス調整回路７９の各検波のパラメータを各検波回路で異なった値に設定すればよい。これにより、３つの検波回路７１ないし７３が同時に動作することになるため、同一時間で３種類の検波結果を得ることが可能となる。そして例えば、フォーカス調整回路７９のフィルタ係数を３種類同時に検波し、３つの結果から最良の結果を採用すれば、パラメータの最適化を短時間で行うことが可能となる。以上より、検波動作の高速化および高精度化に寄与することができることが分かる。

またＣＣＤ９０がベイヤ配列のセンサである場合には、第１画像処理回路ブロックＣＨ１ないし第３画像処理回路ブロックＣＨ３に入力されるピクセルデータＰＤ１ないしＰＤ３は全て同一のデータとされる。よってこの場合においては、第１画像処理回路ブロックＣＨ１のみを動作させ、第２画像処理回路ブロックＣＨ２および第３画像処理回路ブロックＣＨ３の動作を停止すれば、画像処理回路１の消費電流を抑えながら検波動作を行うことが可能となる。

またＣＣＤ９０がベイヤ配列のセンサである場合には、第１画像処理回路ブロックＣＨ１ないし第３画像処理回路ブロックＣＨ３を同時に動作させてもよいことは言うまでもない。この場合には、ＣＣＤ９０からピクセルデータが出力される領域を例えば撮像領域の上中下に３分割し、各領域からデータが並列に出力される形態とすればよい。３つの領域から各々出力されるデータは、セレクタ９２（図２）において、ピクセルデータＰＤ１ないしＰＤ３に割り当てられ、第１画像処理回路ブロックＣＨ１ないし第３画像処理回路ブロックＣＨ３において検波動作が並列に行われる。これにより、ＣＣＤ９０からのデータ取込を高速化することが可能となり、スチルカメラにおいてはより高速な連続撮影が可能となる。

また本実施形態では、第２画像処理回路ブロックＣＨ２の第２平均化回路３２から出力されるＧ信号の平均値ＡｖｅＣＨ２を、第１画像処理回路ブロックＣＨ１のデータ配列変換回路４１において変換マトリクスＣＭＴのＧｒ信号およびＧｂ信号とすることで、ＲＧＢ独立配列からベイヤ配列へ変換するとしたが、この形態に限られない。例えば第２画像処理回路ブロックＣＨ２の第２平均化回路３２において、第２基本マトリクスＭＴ２における先行ライン２画素分のＧ信号の平均値ＡｖｅＣＨ２１と、現行ライン２画素分のＧ信号の平均値ＡｖｅＣＨ２２とを算出するとしてもよい。そして第１画像処理回路ブロックＣＨ１のデータ配列変換回路４１において、平均値ＡｖｅＣＨ２１を信号Ｇｒへ割り当て、平均値ＡｖｅＣＨ２２を信号Ｇｂへ割り当てるとしてもよい。これにより、よりデータの毀損なくＲＧＢ独立配列からベイヤ配列へ変換することが可能となる。

なお、ＣＣＤ９０は固体撮像デバイスの一例、セレクタ回路は出力セレクタ６１の一例、検波回路７１ないし７３は第１ないし第３データ処理回路の一例、第１画像処理回路ブロックＣＨ１ないし第３画像処理回路ブロックＣＨ３は第１ないし第３画像処理回路ブロックの一例、入出力回路８１ａないし８３ａは出力回路の一例、入出力回路８１ｂないし８３ｂおよび８１ｃないし８３ｃは出力回路の一例、セレクタ９２は信号割り当て回路のそれぞれ一例である。

本発明の原理図 画像処理回路１の回路図 第１画像処理回路ブロックＣＨ１の回路図 ＲＧＢ独立配列センサの概略図 第１画像処理回路ブロックＣＨ１の動作を示す図 ベイヤ配列センサの概略図 従来技術に係る画像処理装置１００の回路図

１ 画像処理回路
２５ないし２８ ラッチ回路
２９ １ラインメモリ
３１ 第１平均化回路
３２ 第２平均化回路
３３ 第３平均化回路
３５ 演算回路
４１ないし４３ データ配列変換回路
６１ 出力セレクタ
７１ないし７３ 検波回路
９０ ＣＣＤ
ＡｖｅＣＨ１ないしＡｖｅＣＨ３ 平均値
ＩｒｏＣＨ１ないしＩｒｏＣＨ３ 色情報
ＣＨ１ 第１画像処理回路ブロック
ＣＨ２ 第２画像処理回路ブロック
ＣＨ３ 第３画像処理回路ブロック

Claims (8)

1. 固体撮像デバイスの出力信号から、前記固体撮像デバイス上において互いに隣り合う２画素×２画素の基本マトリクスを取得する第１ないし第３マトリクス取得回路と、
   前記第１マトリクス取得回路で取得される前記基本マトリクスの平均値を算出する第１平均化回路と、
   前記第２マトリクス取得回路で取得される前記基本マトリクスの平均値を算出する第２平均化回路と、
   前記第３マトリクス取得回路で取得される前記基本マトリクスの平均値を算出する第３平均化回路と、
   前記第１ないし第３平均化回路の出力を、前記固体撮像デバイス上において互いに隣り合う２画素×２画素のベイヤ配列の変換マトリクスへ変換するデータ配列変換回路と、
   前記固体撮像デバイスがベイヤ配列方式である場合には前記第１ないし第３マトリクス取得回路の出力のうち少なくとも何れか一つを選択し、前記固体撮像デバイスがＲＧＢ独立配列センサ方式である場合には前記データ配列変換回路の出力を選択するセレクタ回路とを備え、
   前記固体撮像デバイスが画素毎にＲ信号、Ｇ信号、Ｂ信号を取得するＲＧＢ独立配列センサ方式固体撮像デバイスである場合には、前記Ｒ信号、Ｇ信号、Ｂ信号が前記第１ないし第３マトリクス取得回路の各々に入力されることを特徴とする画像処理回路。
2. 前記データ配列変換回路は、前記固体撮像デバイスが前記ＲＧＢ独立配列センサ方式である場合には、前記第２平均化回路から出力される前記Ｇ信号の前記基本マトリクスの平均値を、前記変換マトリクスのＧｒ信号およびＧｂ信号とすることを特徴とする請求項１に記載の画像処理回路。
3. 固体撮像デバイスの出力信号から、前記固体撮像デバイス上において互いに隣り合う２画素×２画素の基本マトリクスを取得するマトリクス取得回路と、
   前記固体撮像デバイスが画素毎にＲ信号、Ｇ信号、Ｂ信号を取得するＲＧＢ独立配列センサ方式固体撮像デバイスである場合には、前記マトリクス取得回路で取得される前記Ｒ、Ｇ、Ｂ信号の何れか１つの信号についての前記基本マトリクスの平均値を算出する平均化回路と、
   前記平均化回路の出力を画像処理回路ブロックの外部へ出力する出力回路と、
   他の画像処理回路ブロックにおける前記Ｒ、Ｇ、Ｂ信号のうちの他の２信号についての前記平均化回路の出力が入力される入力回路と、
   入力される前記平均化回路の出力と前記入力回路の出力とを前記固体撮像デバイス上において互いに隣り合う２画素×２画素のベイヤ配列の変換マトリクスへ変換するデータ配列変換回路と
   をそれぞれに備える第１ないし第３画像処理回路ブロックを備えることを特徴とする画像処理回路。
4. 前記固体撮像デバイスが前記ベイヤ配列方式である場合には前記マトリクス取得回路の出力を選択し、
   前記固体撮像デバイスが前記ＲＧＢ独立配列センサ方式である場合には前記データ配列変換回路の出力を選択するセレクタ回路を前記第１ないし第３画像処理回路ブロックの各々に備えることを特徴とする請求項３に記載の画像処理回路。
5. 前記固体撮像デバイスが前記ＲＧＢ独立配列センサ方式である場合には、前記第１ないし第３画像処理回路ブロックに各々備えられる前記データ配列変換回路のうち少なくとも何れか１つを停止することを特徴とする請求項３に記載の画像処理回路。
6. 前記固体撮像デバイスが前記ベイヤ配列方式である場合には、前記第１ないし第３画像処理回路ブロックのうち少なくとも何れか１つを停止することを特徴とする請求項３に記載の画像処理回路。
7. 前記固体撮像デバイスと前記第１ないし第３画像処理回路ブロックとの接続経路上に備えられ、前記固体撮像デバイスが前記ＲＧＢ独立配列センサ方式である場合には、前記Ｒ信号、Ｇ信号、Ｂ信号を前記第１ないし第３画像処理回路ブロックの前記マトリクス取得回路へ所定の順番で割り当てる信号割り当て回路を備えることを特徴とする請求項３に記載の画像処理回路。
8. 固体撮像デバイスの出力信号から、前記固体撮像デバイス上において互いに隣り合う２画素×２画素の基本マトリクスを取得する第１ないし第３のステップと、
   前記第１のステップで取得される前記基本マトリクスの平均値を算出するステップと、
   前記第２のステップで取得される前記基本マトリクスの平均値を算出するステップと、
   前記第３のステップで取得される前記基本マトリクスの平均値を算出するステップと、
   ３つの前記平均値算出のステップの出力を、前記固体撮像デバイス上において互いに隣り合う２画素×２画素のベイヤ配列の変換マトリクスへ変換するステップと、
   前記固体撮像デバイスがベイヤ配列方式である場合には前記第１ないし第３のステップのうち少なくとも何れか一つを選択し、前記固体撮像デバイスがＲＧＢ独立配列センサ方式である場合には前記変換のステップを選択するステップを備え、
   前記固体撮像デバイスが画素毎にＲ信号、Ｇ信号、Ｂ信号を取得するＲＧＢ独立配列センサ方式固体撮像デバイスである場合には、前記Ｒ信号、Ｇ信号、Ｂ信号が前記第１ないし第３のステップの各々に入力されることを特徴とする画像処理方法。

Images