JP4803156B2 - 固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラム - Google Patents

Description

本発明は、固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラムに関する。

ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの固体撮像素子は、光電変換素子を含む画素の表面上にカラーフィルタおよび集光用マイクロレンズが順次積層された構造を有する。かかる固体撮像素子では、画素とマイクロレンズとの間にカラーフィルタが介在することで、画素とマイクロレンズとの間の距離が広がる。そして、画素の微細化に比例して画素間の距離が狭くなると、ある画素のカラーフィルタを通過した光が隣接する他の画素に混入し、画素間の混色が発生し易くなる。

かかる問題を解消するために、下記特許文献１は、特定色の注目画素の信号から、隣接する（特定色以外の）周囲画素の信号より算出した一定割合の信号成分を減算する混色低減装置を開示している。この混色低減装置では、一定割合の信号成分を算出するために、複数の画素が二次元状に配列された画素配列面の行方向／列方向で各々に均一の補正パラメータが用いられている。

しかし、実際の固体撮像素子では、注目画素に対して隣接する複数の周囲画素からの混色が必ずしも等方的に生じないことが知られている。このために、下記特許文献２は、注目画素に隣接する複数の周囲画素の各信号と、各信号に対して各々に独立して設定される補正パラメータとを用いて、注目画素の信号を補正する信号処理装置を開示している。この信号処理装置では、混色の異方性を考慮するために、画素配列面内で均一で、信号（色）毎に設定された補正パラメータが用いられている。

特開２００４−１３５２０６号公報 特開２００７−１４２６９７号公報

しかしながら、デジタル一眼レフカメラに対する適用など、大型で、かつ微細化された画素を有する固体撮像素子では、画素配列面の中心部分と周辺部分との間で被写体光の入射角が大きく異なることで、混色の発生状態が異なるものとなる。すなわち、混色率が画素配列面内で二次元状に分布するので、従来のように、画素配列面内で均一の補正パラメータを用いた場合には、画素間の混色を適切に補正することができないという問題が生じる。

本発明は上記問題点に鑑みてなされたものであり、その目的は、混色率が画素配列面内で二次元状に分布する場合でも画素間の混色を適切に補正可能な、新規かつ改良された、固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラムを提供することにある。

また、本発明の他の目的は、パラメータが画素配列面内で二次元状に分布する場合でも処理対象とされる画素の信号を適切に処理可能な、新規かつ改良された、固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラムを提供することにある。

上記課題を解決するために、本発明の第１の観点によれば、光電変換素子を含み二次元状に配列された画素の表面上に、輝度成分の主成分となる色成分および他の色成分を含むカラーフィルタが配された固体撮像素子で画素間の混色を補正する信号処理装置が提供される。ここで、固体撮像素子用の信号処理装置は、複数の画素が配列された画素配列面内で補正パラメータを二次元状に分布させるパラメータ分布部と、画素配列面内の注目画素に隣接する複数の周囲画素の各信号と、各信号に対する二次元状に分布された補正パラメータとを用いて、注目画素の信号を補正する信号補正部と、を備えたことを特徴とする。

かかる構成によれば、複数の画素が配列された画素配列面内で補正パラメータが二次元状に分布される。そして、画素配列面内の注目画素に隣接する複数の周囲画素の各信号と、各信号に対する二次元状に分布された補正パラメータとを用いて、注目画素の信号が補正される。これにより、周囲画素の各信号に対する補正パラメータが画素配列面内で二次元状に分布されるので、混色率が画素配列面内で二次元状に分布する場合でも画素間の混色を適切に補正することができる。

また、上記パラメータ分布部は、画素配列面を複数に分割した画素領域同士の境界点を制御点として、制御点毎に設定された補正パラメータを用いて、周囲画素の各信号に対する補正パラメータを補間してもよい。かかる構成によれば、制御点に設定された補正パラメータを用いて、周囲画素の各信号に対する補正パラメータが補間されるので、画素配列面内で二次元状に分布する補正パラメータを算出することができる。また、必要最小限に設けられた制御点毎に補正パラメータを設定するのみで、補正パラメータを画素配列面内で二次元状に分布させることができる。

また、上記パラメータ分布部は、画素配列面の行方向および列方向のいずれか一方で、隣接する２組の制御点に設定された補正パラメータを線形補間して２つの補間値を求め、行方向および列方向のいずれか他方で２つの補間値を用いて、周囲画素の各信号に対する補正パラメータを線形補間してもよい。かかる構成によれば、制御点に設定された補正パラメータを用いて、周囲画素の各信号に対する補正パラメータを線形補間により算出することができる。特に、補正パラメータが線形近似に適した分布形状を有する場合には、周囲画素の各信号に対する補正パラメータを高い精度で算出することができる。

また、上記パラメータ分布部は、画素配列面の行方向および列方向に隣接する４つの画素領域において、画素配列面の行方向および列方向のいずれか一方で、隣接する３組の制御点に設定された補正パラメータを曲線補間して３つの補間値を求め、行方向および列方向のいずれか他方で３つの補間値を用いて、周囲画素の各信号に対する補正パラメータを曲線補間してもよい。かかる構成によれば、制御点に設定された補正パラメータを用いて、周囲画素の各信号に対する補正パラメータを曲線補間により算出することができる。特に、補正パラメータが曲線近似に適した分布形状を有する場合には、周囲画素の各信号に対する補正パラメータを高い精度で算出することができる。

また、上記パラメータ分布部は、画素配列面の周縁部に位置し四隅の一部にのみ制御点が設けられた画素領域では、隣接する画素領域の四隅に設けられた制御点に設定された補正パラメータを用いて、周囲画素の各信号に対する補正パラメータを補間してもよい。かかる構成によれば、画素配列面の周縁部に位置し四隅の一部にのみ制御点が設けられた画素領域でも、隣接する画素領域に設定された補正パラメータを用いて、周囲画素の各信号に対する補正パラメータを補間により算出することができる。

また、上記パラメータ分布部は、画素配列面が四隅の一部にのみ制御点が設けられた画素領域を含む場合と、四隅の一部にのみ制御点が設けられた画素領域を含まない場合とに応じて、周囲画素の各信号に対する補正パラメータの算出方法を切替えてもよい。かかる構成によれば、固体撮像素子の画素配列面の条件に応じて補正パラメータの算出方法が切替られるので、固体撮像素子に応じて、周囲画素の各信号に対する補正パラメータを算出することができる。

上記課題を解決するために、本発明の第２の観点によれば、複数の画素が配列された画素配列面内で均一のパラメータを用いて、画素の信号を処理する、固体撮像素子用の信号処理装置が提供される。ここで、固体撮像素子用の信号処理装置は、画素配列面を複数に分割した画素領域同士の境界点を制御点として、制御点毎に画素配列面内で不均一に設定されたパラメータを用いて、特定の画素の信号に対するパラメータを補間し、画素配列面内でパラメータを二次元状に分布させるパラメータ分布部と、特定の画素の信号に対する二次元状に分布されたパラメータを用いて、処理対象となる画素の信号を処理する信号処理部と、を備えたことを特徴とする。

かかる構成によれば、制御点に設定されたパラメータを用いて、特定の画素の信号に対するパラメータが補間されるので、画素配列面内で二次元状に分布するパラメータを算出することができる。これにより、画素配列面内で均一のパラメータを用いて画素の信号を処理する、固体撮像素子用の信号処理装置においても、パラメータ分布部を備えることによって、画素配列面内で二次元状に分布するパラメータを用いて、処理対象とされる画素の信号を適切に処理することができる。

上記課題を解決するために、本発明の第３の観点によれば、前述した本発明の第１の観点による固体撮像素子用の信号処理装置を備えた撮像装置が提供される。

上記課題を解決するために、本発明の第４の観点によれば、前述した本発明の第２の観点による固体撮像素子用の信号処理装置を備えた撮像装置が提供される。

上記課題を解決するために、本発明の第５の観点によれば、光電変換素子を含み二次元状に配列された画素の表面上に、輝度成分の主成分となる色成分および他の色成分を含むカラーフィルタが配された固体撮像素子で画素間の混色を補正する信号処理装置に適用される信号処理方法が提供される。ここで、信号処理方法は、複数の画素が配列された画素配列面内で補正パラメータを二次元状に分布させるパラメータ分布ステップと、画素配列面内の注目画素に隣接する複数の周囲画素の各信号と、各信号に対する二次元状に分布された補正パラメータとを用いて、注目画素の信号を補正する信号補正ステップと、を含むことを特徴とする。

かかる方法によれば、周囲画素の各信号に対する補正パラメータが画素配列面内で二次元状に分布されるので、混色率が画素配列面内で二次元状に分布する場合でも画素間の混色を適切に補正することができる。

上記課題を解決するために、本発明の第６の観点によれば、複数の画素が配列された画素配列面内で均一のパラメータを用いて、画素の信号を処理する、固体撮像素子用の信号処理装置に適用される信号処理方法が提供される。ここで、信号処理方法は、画素配列面を複数に分割した画素領域同士の境界点を制御点として、制御点毎に画素配列面内で不均一に設定されたパラメータを用いて、特定の画素の信号に対するパラメータを補間し、画素配列面内でパラメータを二次元状に分布させるパラメータ分布ステップと、特定の画素の信号に対する二次元状に分布されたパラメータを用いて、処理対象となる画素の信号を処理する信号処理ステップと、を含むことを特徴とする。

かかる方法によれば、画素配列面内で均一のパラメータを用いて画素の信号を処理する、固体撮像素子用の信号処理装置においても、パラメータ分布ステップを含むことによって、画素配列面内で二次元状に分布するパラメータを用いて、処理対象とされる画素の信号を適切に処理することができる。

上記課題を解決するために、本発明の第７の観点によれば、前述した本発明の第１の観点による固体撮像素子用の信号処理装置としてコンピュータを機能させるためのプログラムが提供される。

上記課題を解決するために、本発明の第８の観点によれば、前述した本発明の第２の観点による固体撮像素子用の信号処理装置としてコンピュータを機能させるためのプログラムが提供される。

本発明によれば、混色率が画素配列面内で二次元状に分布する場合でも画素間の混色を補正可能な、固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラムを提供することができる。

また、本発明によれば、パラメータが画素配列面内で二次元状に分布する場合でも処理対象とされる画素の信号を適切に処理可能な、固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラムを提供することができる。

以下に、添付した図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（撮像装置の機能構成）
図１は、本発明の実施形態に係る信号処理装置が適用される撮像装置の機能構成を示すブロック図である。ここでは、信号処理装置１００が撮像装置としてのデジタルビデオカメラに適用される場合を示すが、信号処理装置１００は、デジタルスチルカメラなどを含む撮像装置全般にも同様に適用される。

図１に示すように、撮像装置は、光学系１、ＣＭＯＳイメージサンサなどの固体撮像素子２、アナログ信号処理回路３、デジタル信号処理回路４、カメラ制御部５、Ｉ／Ｆ（インターフェース）制御部６、ユーザＩ／Ｆ７、タイミング生成部８、光学系駆動回路９、手振れセンサ１０などを含んで構成される。

光学系１は、被写体からの入射光を固体撮像素子２の撮像面上に結像するレンズ１ａと、レンズ１ａを通過した入射光の光量を制御する絞り１ｂとを有する。固体撮像素子２は、光学系１からの入射光を画素単位で光電変換して電気信号としてアナログ信号処理回路３に出力する。

アナログ信号処理回路３は、固体撮像素子２から出力されるアナログ信号に対して、サンプル／ホールド（Ｓ／Ｈ）、自動利得制御（ＡＧＣ）などの信号処理を施し、アナログ／デジタル（Ａ／Ｄ）変換する。デジタル信号処理回路４は、アナログ信号処理回路３から出力されるデジタル信号に対して、カメラ制御部５からの指示に従って各種の信号処理を施す。

デジタル信号処理回路４では、ホワイトバランス処理、ガンマ処理、色差処理などのカメラ信号処理、カメラ制御用の検波データの計算などの信号処理が行われる。デジタル信号処理部４は、図２および図３で説明される混色補正回路１４５を含んで構成される。

カメラ制御部５は、デジタル信号処理回路４から出力される検波データ、手振れセンサ１０から出力されるカメラの手振れ情報などに基づいて、現在の入力画像の状態を把握する。そして、カメラ制御部５は、Ｉ／Ｆ制御部６を介して入力される各種設定モードに応じてカメラ制御を行い、制御結果としての制御データを、アナログ信号処理回路３、デジタル信号処理回路４、タイミング生成器８、および光学系駆動回路９に出力する。

アナログ信号処理回路３、デジタル信号処理回路４、タイミング生成器８、および光学系駆動回路９は、カメラ制御部５からの制御データに応じて、ゲイン処理、信号処理、タイミング生成処理、および光学系駆動処理を各々に行う。固体撮像素子２は、タイミング生成器８からのタイミング信号に応じて、画素アレイから任意の領域の信号を順次取出してアナログ信号処理回路３に出力する。

Ｉ／Ｆ制御部６は、ユーザＩ／Ｆ７を介して、ユーザによるメニュー操作などを制御する。Ｉ／Ｆ制御部６は、ユーザが選択する撮影モード、ユーザが所望する制御などを検知し、検知したユーザ指示情報をカメラ制御部５に出力する。一方、カメラ制御部５は、被写体距離、Ｆ値、シャッター速度、倍率などのカメラ制御情報をＩ／Ｆ制御部６に出力し、ユーザＩ／Ｆ７を介して、カメラ情報をユーザに通知する。

（信号処理装置の機能構成）
図２は、本発明の実施形態に係る信号処理装置の機能構成を示すブロック図である。

図２に示すように、本発明に係る信号処理装置１００は、デジタル信号処理回路１４０およびカメラ制御部１５０を含んで構成される。ここで、デジタル信号処理回路１４０およびカメラ制御部１５０は、図１に示すデジタル信号処理回路４およびカメラ制御部５に各々に相当する。

デジタル信号処理回路１４０は、カメラ信号処理回路１４２、通信Ｉ／Ｆ１４６、および信号生成器１４８を含んで構成される。カメラ信号処理回路１４２は、カメラ信号処理部（１）１４３、カメラ信号処理部（２）１４４、および混色補正回路１４５を含んで構成される。

カメラ信号処理回路１４２は、アナログ信号処理回路３を介して固体撮像素子２から入力された信号に対して、通信Ｉ／Ｆ１４６を介してカメラ制御部１５０から入力された指示に応じて、各種のカメラ信号処理を施す。また、カメラ信号処理回路１４２は、信号生成器１４８から入力される各種のタイミング信号に応じて、カメラ信号処理に必要なタイミングを生成する。

カメラ信号処理部（１）１４３では、固体撮像素子２からの入力信号が、デジタルクランプ、ノイズ除去、欠陥補正処理を施され、混色補正回路１４５に出力される。そして、混色補正回路１４５では、カメラ信号処理部（１）１４３からの信号が、後述するように混色補正処理を施され、カメラ信号処理部（２）１４４に出力される。カメラ信号処理部（２）１４４では、混色補正回路１４５からの信号がデモザイク（補間処理）を施され、ＹＣ処理により輝度信号およびクロマ信号が生成され、解像度変換処理されてビデオ系処理ブロック（不図示）に出力される。

（混色補正回路の機能構成）
つぎに、本発明に係る信号処理装置１００に含まれる混色補正回路１４５について、従来の信号処理装置に含まれる混色補正回路４５と対比して説明する。

図１１は、従来の信号処理装置に含まれる混色補正回路の機能構成を示すブロック図である。また、図１２は、従来の混色補正に関する信号処理方法の一例を示す説明図である。

図１１に示すように、従来の混色補正回路４５は、混色補正処理部４５ａを含んで構成される。混色補正処理部４５ａは、カメラ信号処理部（１）から注目画素の信号、および注目画素に隣接する周囲画素の信号を入力され、通信Ｉ／Ｆを介してカメラ制御部５から補正パラメータとしての混色率を入力される。なお、混色補正処理部４５ａは、信号生成器（不図示）から入力されるタイミング信号に応じて、画素配列面内で任意の画素の位置情報を取得する。混色補正処理部４５ａは、周囲画素の信号および補正パラメータを用いて、注目画素の信号を補正し、補正された注目画素（補正画素）の信号をカメラ信号処理部（２）に出力する。ここで、従来の信号処理装置は、補正パラメータとして、画素配列面の行方向／列方向で各々に均一の混色率などを用いている。

従来の信号処理装置に含まれる混色補正回路４５ａは、画素配列面の行方向／列方向で各々に均一の補正パラメータを用いて、特定色の注目画素の信号から、隣接する（特定色以外の）周囲画素の信号より算出した一定割合の信号成分を減算することで、画素間の混色を補正している。例えば、図４に示すように、特定色「Ｒ」の注目画素の信号Ｓｒを、隣接する特定色以外「ＧＢ」、「ＧＲ」の周囲画素の信号Ｓｇｂ、Ｓｇｒ、および行（左右）方向／列（上下）方向の補正パラメータＫｈ、Ｋｖを用いて補正し、補正後の注目画素の信号Ｓｒ’を算出する場合には、以下のような式が適用される。

上式の右辺において、第１項では、注目画素から周囲画素に混入した信号成分が戻され、第２項では、周囲画素から注目画素に混入した信号成分が減算されている。

ここで、デジタル一眼レフカメラに対する適用など、大型で、かつ微細化された画素を有する固体撮像素子では、画素配列面の中心部分と周辺部分との間で被写体光の入射角が大きく異なることで、混色の発生状態が異なるものとなる。すなわち、混色率が画素配列面内で二次元状に分布するので、従来のように、画素配列面内で均一の補正パラメータを用いた場合には、画素間の混色を適切に補正することができない。なお、混色率は、レンズシェーディングのように光学中心から同心円状など、一定の分布形状を有するものではなく、固体撮像素子自体、レンズ、絞りなどの条件に応じて異なる分布形状を有する。

（第１の実施形態）
次に、本発明の第１の実施形態に係る混色補正に関する信号処理装置および信号処理方法について説明する。本実施形態に係る信号処理装置および信号処理方法は、前述した問題を解消するために、複数の画素が配列された画素配列面内で補正パラメータを二次元状に分布させることを特徴とする。

（信号処理装置の機能構成）
図３は、本実施形態に係る信号処理装置に含まれる混色補正回路の機能構成を示すブロック図である。

図３に示すように、混色補正回路１４５は、信号補正部としての混色補正処理部１４５ａ（４５ａ）の他に、パラメータ分布部としてのパラメータ（制御点）選択部１４５ｂおよびパラメータ二次元補間部１４５ｃを含んで構成される。なお、混色補正処理部１４５ａ、パラメータ選択部１４５ｂ、およびパラメータ二次元補間部１４５ｃは、信号生成器１４８から入力されるタイミング信号に応じて、画素配列面内で任意の画素の位置情報を取得する。

パラメータ選択部１４５ｂは、後述するように、画素配列面内に設けられた各制御点の補正パラメータ（混色率）を、通信Ｉ／Ｆ１４６を介してカメラ制御部１５０から入力され、入力された補正パラメータから、パラメータの二次元補間処理に用いる補正パラメータを選択する。

パラメータ二次元補間部１４５ｃは、選択された補正パラメータをパラメータ選択部１４５ｂから入力され、入力された補正パラメータを用いて、後述するように、画素配列面内の注目画素に隣接する周囲画素の信号に対する補正パラメータを補間する。

混色補正処理部１４５ａは、図１１に示した従来の信号処理装置に含まれる混色補正処理部４５ａと同様に、カメラ信号処理部（１）１４３から注目画素の信号、および注目画素に隣接する周囲画素の信号を入力される。一方、混色補正処理部１４５ａは、パラメータ二次元補間部１４５ｃにより補間された補正パラメータを入力される。

パラメータ選択部１４５ｂおよびパラメータ二次元補間部１４５ｃは、制御点の補正パラメータを用いて、例えば、図１２に示したように、注目画素の左右方向および上下方向で各々に隣接する周囲画素の信号に対して、補正パラメータＫｈおよびＫｖを各々に算出する。そして、混色補正処理部１４５ａは、従来の信号処理装置の混色補正処理部４５ａと同様に、周囲画素の信号および補正パラメータＫｈ、Ｋｖを用いて、例えば、前述した数式１などにより、注目画素の信号を補正し、注目画素の補正された（補正画素の）信号をカメラ信号処理部（２）１４４に出力する。

すなわち、本実施形態に係る信号処理装置１００によれば、従来の信号処理装置に含まれる既存の混色補正回路４５に対してパラメータ分布部１４５ｂ、１４５ｃを追加することにより、補正パラメータを画素配列面内で二次元状に分布させることができる。

（信号処理方法）
図４は、画素配列面に設けられた制御点を示す説明図である。

図４に示すように、画素配列面は、複数の画素領域に分割され、画素領域同士の境界点には、補正パラメータ（混色率）が設定される制御点が設けられる。ここで、画素配列面は、固体撮像素子２上に二次元状に配列された画素のうち、被写体からの入射光が撮像される撮像面に相当する領域の画素により構成される。

制御点には、例えば、制御点の周辺領域に配列された画素の平均値などから算出された補正パラメータが設定される。補正パラメータは、例えば、固体撮像素子２の出荷時などに、制御点毎に周辺領域の混色率を検出することで算出されており、カメラ制御部１５０は、算出された混色率の分布情報を付加情報として予め取得している。

図４に示す例では、画素配列面内の特定位置（任意の周囲画素）での補正パラメータは、周囲画素が含まれる、または周囲画素が境界線上に位置する画素領域において、画素領域の四隅に設けられた制御点の補正パラメータから補間される。

これにより、画素配列面内で二次元状に分布する補正パラメータを算出することができる。また、必要最小限に設けられた制御点毎に補正パラメータを設定するのみで、補正パラメータを画素配列面内で二次元状に分布させることができる。

なお、図４に示す画素配列面は、行方向／列方向で各々に均一の幅を有する矩形形状の画素領域に分割されているが、画素配列面は、三角形状、菱形形状など、矩形形状以外の画素領域に分割されてもよい。

図５は、図４に示す画素配列面内の特定位置（任意の周囲画素）で、線形補間により補正パラメータを算出する方法を示す説明図である。

図５には、周囲画素を含み、行（左右）方向の幅Ｗｈ、列（上下）方向の幅Ｗｖを有する画素領域が示されている。周囲画素は、画素領域の左側境界線から距離Ｈｑ、上側境界線から距離Ｖｑに位置している。画素領域の四隅には、行方向で隣接する２組の制御点に補正パラメータ（Ｋｌｕ、Ｋｒｕ）、（Ｋｌｄ、Ｋｒｄ）が各々に設定されている。

図５に示す例では、まず、周囲画素の行方向に着目し、画素領域の上側境界線上で補間値Ｋｕが算出され、下側境界線上で補間値Ｋｄが算出される。ここで、補間値Ｋｕは、補正パラメータ（Ｋｌｕ、Ｋｒｕ）、および左側境界線から周囲画素までの距離Ｈｑを用いて、線形補間により算出される。同様に、補間値Ｋｄは、補正パラメータ（Ｋｌｄ、Ｋｒｄ）および距離Ｈｑを用いて、線形補間により算出される。

次に、周囲画素の列方向に着目し、補間値Ｋｕ、Ｋｄから周囲画素での補間パラメータＫが算出される。ここで、補正パラメータＫは、補間値Ｋｕ、Ｋｄ、および上側境界線上から周囲画素までの距離Ｖｑを用いて、線形補間により算出される。

これにより、制御点に設定された補正パラメータ（Ｋｌｕ、Ｋｒｕ、Ｋｌｄ、Ｋｒｄ）を用いて、周囲画素の各信号に対する補正パラメータＫを線形補間により算出することができる。特に、補正パラメータが線形近似に適した分布形状を有する場合には、周囲画素の各信号に対する補正パラメータＫを高い精度で算出することができる。

図６は、図４に示す画素配列面内の特定位置（任意の周囲画素）で、曲線補間により補正パラメータを算出する方法を示す説明図である。

図６には、行方向の幅Ｗｈ、列方向の幅Ｗｖを各々に有し、画素配列面の行方向および列方向で互いに隣接する４つの画素領域が示されている。なお、以下では、４つの画素領域を画素領域ブロックとも称する。画素領域ブロックのうち左上の画素領域は、周囲画素を含む。周囲画素は、画素領域ブロックの左側境界線から距離Ｈｑ、上側境界線から距離Ｖｑに位置している。

ここで、画素領域ブロックを構成する上側の２つの画素領域と、下側の２つの画素領域との境界線を中央境界線と称する。画素領域ブロックの上側境界線上、中央境界線上および下側境界線上には、行方向で隣接する３組の制御点に補正パラメータ（Ｋｌｕ、Ｋｃｕ、Ｋｒｕ）、（Ｋｌｍ、Ｋｃｍ、Ｋｒｍ）、（Ｋｌｄ、Ｋｃｄ、Ｋｒｄ）が各々に設定されている。

図６に示す例では、まず、周囲画素の行方向に着目し、画素領域の上側境界線上で補間値Ｋｕが算出され、中央境界線上で補間値Ｋｍが算出され、下側境界線上で補間値Ｋｄが算出される。ここで、補間値Ｋｕは、補正パラメータ（Ｋｌｕ、Ｋｃｕ、Ｋｒｕ）、および左側境界線から周囲画素までの距離Ｈｑを用いて、曲線補間により算出される。同様に、補間値Ｋｍは、補正パラメータ（Ｋｌｍ、Ｋｃｍ、Ｋｒｍ）および距離Ｈｑを用いて、補間値Ｋｄは、補正パラメータ（Ｋｌｄ、Ｋｃｄ、Ｋｒｄ）および距離Ｈｑを用いて、曲線補間により算出される。

次に、周囲画素の列方向に着目し、補間値Ｋｕ、Ｋｍ、Ｋｄから周囲画素での補間パラメータＫが算出される。ここで、補正パラメータＫは、補正値Ｋｕ、Ｋｍ、Ｋｄ、および上側境界線上から周囲画素までの距離Ｖｑを用いて、曲線補間により算出される。

なお、補正パラメータＫおよび補間値Ｋｕ、Ｋｍ、Ｋｄの曲線補間に際しては、スプライン補間、ラグランジェ補間、ベジェ補間など、またはそれらの組合せを適用することができる。

これにより、制御点に設定された補正パラメータ（Ｋｌｕ、Ｋｃｕ、Ｋｒｕ、Ｋｌｍ、Ｋｃｍ、Ｋｒｍ、Ｋｌｄ、Ｋｃｄ、Ｋｒｄ）を用いて、周囲画素の各信号に対する補正パラメータＫを曲線補間により算出することができる。特に、補正パラメータが曲線近似に適した分布形状を有する場合には、周囲画素の各信号に対する補正パラメータＫを高い精度で算出することができる。

図７は、補正パラメータを有しない画素領域を周縁部に含む画素配列面に設けられた制御点を示す説明図である。

画素配列面に設けられた制御点に補正パラメータ（混色率）を設定する際には、各制御点の周辺領域に配列された画素の平均値などから補正パラメータが算出されるので、画素配列面の周縁部では、補正パラメータを算出することが困難となる場合がある。

このような場合には、図７に示すように、画素配列面の周縁部に補正パラメータを有しない周縁の画素領域を設け、周縁の画素領域に隣接する通常の画素領域での補正パラメータを参照して処理する。

図７に示す例では、画素配列面の周縁部に含まれる周囲画素での補正パラメータＫは、周囲画素が含まれる、または周囲画素が境界線上に位置する周縁の画素領域に隣接する、通常の画素領域を参照して、通常の画素領域の四隅に設けられた制御点の補正パラメータ（Ｋｌｕ、Ｋｌｄ、Ｋｒｕ、Ｋｒｄ）から補間される。

なお、画素配列面は、固体撮像素子２の画素配列面の条件に応じて、四隅の一部にのみ制御点が設けられた画素領域を含む場合と、含まない場合とがあるので、パラメータ分布部は、画素配列面の条件に応じて補正パラメータＫの算出方法を切替えるように構成されることが望ましい。これにより、固体撮像素子２に応じて、周囲画素の各信号に対する補正パラメータＫを算出することができる。

図８は、図７に示す画素配列面の周縁部に含まれる特定位置（任意の周囲画素）で、補間により補正パラメータＫを算出する方法を示す説明図である。

図８には、図７に示す周縁の画素領域（２）〜（９）の各々において、各画素領域内の周囲画素で補正パラメータＫを算出する場合に参照される通常の画素領域が示されている。

例えば、画素配列面の左上隅の画素領域（２）では、右下に隣接する通常の画素領域を参照して、通常の画素領域の四隅に設けられた制御点の補正パラメータ（Ｋｌｕ、Ｋｒｕ、Ｋｌｄ、Ｋｒｄ）から、画素領域（２）に含まれる周囲画素での補正パラメータＫが補間される。

また、画素配列面の上隅の画素領域（３）では、下に隣接する通常の画素領域を参照して、通常の画素領域の四隅に設けられた制御点の補正パラメータ（Ｋｌｕ、Ｋｒｕ、Ｋｌｄ、Ｋｒｄ）から、画素領域（３）に含まれる周囲画素での補正パラメータＫが補間される。

図９は、図７に示す画素配列面の周縁部に含まれる特定位置（任意の周囲画素）で、補間により補正パラメータＫを算出する方法の一例を示す説明図である。

図９には、図７に示す画素領域（５）、（６）の上側境界線上で補間値Ｋｕを算出する方法が図９（ａ）、（ｂ）として各々に示されている。

すなわち、図９に示す画素領域（５）の補間値Ｋｕは、画素領域（５）の右側に隣接する通常の画素領域の上側境界線上に設けられた制御点の補正パラメータ（Ｋｒｕ、Ｋｌｕ）、および左側境界線から周囲画素までの距離（Ｈｑ）を用いて、外挿補間により算出される。また、画素領域（６）の補間値Ｋｕは、画素領域（６）の左側に隣接する通常の画素領域の上側境界線上に設けられた制御点の補正パラメータ（Ｋｒｕ、Ｋｌｕ）、および右側境界線から周囲画素までの距離（Ｗｈ＋Ｈｑ）を用いて、外挿補間により算出される。

なお、画素領域（５）、（６）内の周囲画素での補正パラメータＫを算出する際には、同様に、外挿補間により画素領域の下側境界線上の補間値Ｋｄが算出される。そして、周囲画素での補間値Ｋｕ、Ｋｄ、および上側境界線から周囲画素までの距離Ｈｖを用いて、外挿補間により周囲画素での補正パラメータＫが算出される。

これにより、画素配列面の周縁部に位置し四隅の一部にのみ制御点が設けられた画素領域でも、隣接する画素領域に設定された補正パラメータ（Ｋｌｕ、Ｋｒｕ、Ｋｌｄ、Ｋｒｄ）を用いて、周囲画素の各信号に対する補正パラメータＫを補間により算出することができる。

（第１の実施形態に係る効果）
以上説明した本実施形態に係る撮像素子用の信号処理装置１００および信号処理方法によれば、周囲画素の各信号に対する補正パラメータが画素配列面内で二次元状に分布されているので、混色率が画素配列面内で二次元状に分布する場合でも画素間の混色を適切に補正することができる。

なお、上記説明では、制御点に設定された補正パラメータを線形補間または曲線補間することで、周囲画素の信号に対する補正パラメータＫを算出する場合について説明した。しかし、補正パラメータの分布形状に応じては、線形補間および曲線補間を組合せることで、補正パラメータＫを算出してもよい。

また、上記説明では、周囲画素の行方向に着目して補間値（Ｋｕ、Ｋｄ；Ｋｕ、Ｋｍ、Ｋｄ）を算出した後に、周囲画素の列方向で補間値を用いて、周囲画素での補正パラメータＫを算出する場合について説明した。しかし、周囲画素の列方向に着目して補間値（Ｋｌ、Ｋｒ；Ｋｌ、Ｋｃ、Ｋｒ）を算出した後に、周囲画素の行方向で補間値を用いて、周囲画素での補正パラメータＫを算出してもよい。

また、上記説明では、画素配列面の周縁部に含まれる周囲画素で、線形補間を用いて補正パラメータＫを算出する場合について説明した。しかし、画素配列面の周縁部に含まれる周囲画素で、線形補間の代わりに曲線補間を用いて補正パラメータＫを算出してもよい。

（第２の実施形態）
次に、本発明の第２の実施形態に係る信号処理装置について説明する。

（信号処理装置の機能構成）
図１０は、本実施形態に係る信号処理装置に含まれる信号処理回路の機能構成を示すブロック図である。

信号処理回路２４５は、図３に示した混色補正回路１４５と同様に、信号処理部２４５ａと、パラメータ分布部としてのパラメータ（制御点）選択部２４５ｂおよびパラメータ二次元補間部２４５ｃとを含んで構成される。なお、パラメータ選択部２４５ｂおよびパラメータ二次元補間部２４５ｃの機能構成は、前述した混色補正回路１４５の場合と基本的に同様であるので、詳細な説明は省略する。

図３に示した混色補正回路１４５は、固体撮像素子２で画素間の混色を補正する信号処理装置１００の一部として構成されるが、図１０に示す信号処理回路２４５は、混色補正に限定されず、処理対象とされる画素の信号を処理する一般的な信号処理装置の一部として構成される。

すなわち、信号処理回路２４５は、複数の画素が配列された画素配列面内で均一のパラメータを用いて、画素の信号を処理する、固体撮像素子用の信号処理装置に適用される。ここで、信号処理回路２４５の適用としては、例えば、レンズシェーディング補正の処理、暗電流補正の処理などが挙げられる。

信号処理回路２４５は、画素配列面を複数に分割した画素領域同士の境界点を制御点として、制御点毎に画素配列面内で不均一に設定されたパラメータを用いて、特定の画素の信号に対するパラメータを補間することで、画素配列面内でパラメータを二次元状に分布させるパラメータ分布部２４５ｂ、２４５ｃを含んで構成される。

（第２の実施形態に係る効果）
以上説明した本実施形態に係る固体撮像素子用の信号処理装置によれば、画素配列面内で均一のパラメータを用いて画素の信号を処理する、固体撮像素子用の信号処理装置においても、パラメータ分布部２４５ｂ、２４５ｃを備えることによって、画素配列面内で二次元状に分布するパラメータを用いて、処理対象とされる画素の信号を適切に処理することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明の実施形態に係る信号処理装置が適用される撮像装置の機能構成を示すブロック図である。 本発明の実施形態に係る信号処理装置の機能構成を示すブロック図である。 本発明の第１の実施形態に係る信号処理装置に含まれる混色補正回路の機能構成を示すブロック図である。 画素配列面に設けられた制御点を示す説明図である。 線形補間により補正パラメータを算出する方法を示す説明図である。 曲線補間により補正パラメータを算出する方法を示す説明図である。 補正パラメータを有しない画素領域を周縁部に含む画素配列面に設けられた制御点を示す説明図である。 補間により補正パラメータを算出する方法を示す説明図である。 補間により補正パラメータを算出する方法の一例を示す説明図である。 本発明の第２の実施形態に係る信号処理装置に含まれる信号処理回路の機能構成を示すブロック図である。 従来の信号処理装置に含まれる混色補正回路の機能構成を示すブロック図である。 従来の混色補正に関する信号処理方法の一例を示す説明図である。

符号の説明

１００ デジタル信号処理装置
１４８ 信号生成部
４５、１４５、２４５ 混色補正回路（信号処理回路）
４５ａ、１４５ａ、２４５ａ 混色補正処理部（信号処理部）
１４５ｂ、２４５ｂ パラメータ（制御点）選択部
１４５ｃ、２４５ｃ パラメータ二次元補間部

Claims (11)

1. 光電変換素子を含み二次元状に配列された画素の表面上に、輝度成分の主成分となる色成分および他の色成分を含むカラーフィルタが配された固体撮像素子で、画素間の混色を補正する信号処理装置において、
   複数の画素が配列された画素配列面内で補正パラメータを二次元状に分布させて、前記画素配列面を構成する各画素領域に補正パラメータを割当てるパラメータ分布部と、
   前記画素配列面内の注目画素に隣接する複数の周囲画素の各信号と、前記周囲画素の各信号に対する前記二次元状に分布された補正パラメータとを用いて、前記注目画素の信号を補正する信号補正部と、
   を備え、
   前記パラメータ分布部は、前記画素配列面内の一方向に隣接する３組以上の画素領域に割当てた補正パラメータを曲線補間して、前記周囲画素の各信号に対する補正パラメータを算出することを特徴とする、固体撮像素子用の信号処理装置。
2. 前記パラメータ分布部は、前記画素配列面内の一方向に隣接する２組の画素領域に割当てた補正パラメータを内挿補間して、前記周囲画素の各信号に対する補正パラメータを算出することを特徴とする、請求項１に記載の固体撮像素子用の信号処理装置。
3. 前記パラメータ分布部は、前記画素配列面内の画素領域に割当てた補正パラメータを外挿補間して、前記周囲画素の各信号に対する補正パラメータを算出することを特徴とする、請求項２に記載の固体撮像素子用の信号処理装置。
4. 前記パラメータ分布部は、前記画素配列面内における前記周囲画素の位置に応じて、前記内挿補間による算出と前記外挿補間による算出とを切替えることを特徴とする、請求項３に記載の固体撮像素子用の信号処理装置。
5. 複数の画素が配列された画素配列面内で画素の信号を処理する、固体撮像素子用の信号処理装置において、
   複数の画素が配列された画素配列面内でパラメータを二次元状に分布させて、前記画素配列面を構成する各画素領域にパラメータを割当てるパラメータ分布部と、
   前記画素配列面内の対象画素に隣接する複数の周囲画素の各信号と、前記周囲画素の各信号に対する前記二次元状に分布されたパラメータとを用いて、前記対象画素の信号を処理する信号処理部と、
   を備え、
   前記パラメータ分布部は、前記画素配列面内の一方向に隣接する３組以上の画素領域に割当てたパラメータを曲線補間して、前記周囲画素の各信号に対するパラメータを算出することを特徴とする、固体撮像素子用の信号処理装置。
6. 被写体を固体撮像素子上に光学的に結像する結像部と、
   請求項１に記載された固体撮像素子用の信号処理装置と、
   を備えたことを特徴とする撮像装置。
7. 被写体を固体撮像素子上に光学的に結像する結像部と、
   請求項５に記載された固体撮像素子用の信号処理装置と、
   を備えたことを特徴とする撮像装置。
8. 光電変換素子を含み二次元状に配列された画素の表面上に、輝度成分の主成分となる色成分および他の色成分を含むカラーフィルタが配された固体撮像素子で、画素間の混色を補正する信号処理装置に適用される信号処理方法において、
   複数の画素が配列された画素配列面内で補正パラメータを二次元状に分布させて、前記画素配列面を構成する各画素領域に補正パラメータを割当てるパラメータ分布ステップと、
   前記画素配列面内の注目画素に隣接する複数の周囲画素の各信号と、前記周囲画素の各信号に対する前記二次元状に分布された補正パラメータとを用いて、前記注目画素の信号を補正する信号補正ステップと、
   を含み、
   前記パラメータ分布ステップは、前記画素配列面内の一方向に隣接する３組以上の画素領域に割当てた補正パラメータを曲線補間して、前記周囲画素の各信号に対する補正パラメータを算出するステップをさらに含むことを特徴とする、固体撮像素子用の信号処理方法。
9. 複数の画素が配列された画素配列面内で画素の信号を処理する、固体撮像素子用の信号処理装置に適用される信号処理方法において、
   画素間の混色を補正するために用いる処理パラメータを複数の画素が配列された画素配列面内で二次元状に分布させて、前記画素配列面を構成する各画素領域に処理パラメータを割当てるパラメータ分布ステップと、
   前記画素配列面内の対象画素に隣接する複数の周囲画素の各信号と、前記周囲画素の各信号に対する前記二次元状に分布された処理パラメータとを用いて、前記対象画素の信号を処理する信号処理ステップと、
   を含み、
   前記パラメータ分布ステップは、前記画素配列面内の一方向に隣接する３組以上の画素領域に割当てた処理パラメータを曲線補間して、前記周囲画素の各信号に対する処理パラメータを算出するステップをさらに含むことを特徴とする、固体撮像素子用の信号処理方法。
10. 光電変換素子を含み二次元状に配列された画素の表面上に、輝度成分の主成分となる色成分および他の色成分を含むカラーフィルタが配された固体撮像素子で、画素間の混色を補正する信号処理方法をコンピュータに実行させるためのプログラムであって、
    前記信号処理方法は、
    複数の画素が配列された画素配列面内で補正パラメータを二次元状に分布させて、前記画素配列面を構成する各画素領域に補正パラメータを割当てるパラメータ分布ステップと、
    前記画素配列面内の注目画素に隣接する複数の周囲画素の各信号と、前記周囲画素の各信号に対する前記二次元状に分布された補正パラメータとを用いて、前記注目画素の信号を補正する信号補正ステップと、
    を含み、
    前記パラメータ分布ステップは、前記画素配列面内の一方向に隣接する３組以上の画素領域に割当てた補正パラメータを曲線補間して、前記周囲画素の各信号に対する補正パラメータを算出するステップをさらに含むことを特徴とする、プログラム。
11. 複数の画素が配列された画素配列面内で画素の信号を処理する信号処理方法をコンピュータに実行させるためのプログラムであって、
    前記信号処理方法は、
    画素間の混色を補正するために用いる処理パラメータを複数の画素が配列された画素配列面内で二次元状に分布させて、前記画素配列面を構成する各画素領域に処理パラメータを割当てるパラメータ分布ステップと、
    前記画素配列面内の対象画素に隣接する複数の周囲画素の各信号と、前記周囲画素の各信号に対する前記二次元状に分布された処理パラメータとを用いて、前記対象画素の信号を処理する信号処理ステップと、
    を含み、
    前記パラメータ分布ステップは、前記画素配列面内の一方向に隣接する３組以上の画素領域に割当てた処理パラメータを曲線補間して、前記周囲画素の各信号に対する処理パラメータを算出するステップをさらに含むことを特徴とする、プログラム。

Images