JP5039966B2 - 画素混合方法 - Google Patents

Description

本発明は、カラーフィルタアレイ(ＣＦＡ)を有する高画素の固体撮像素子を持つ撮像装置において、その固体撮像素子から出力される画像信号数を削減するために、撮像素子における複数の画素を混合する画素混合方法に関する。

近年、例えば、デジタルスチルカメラやデジタルビデオカメラ等の固体撮像素子を持つ撮像装置の市場拡大が著しい。また、このような撮像装置に使用されている固体撮像素子（例えば、ＣＣＤやＣＭＯＳなどの撮像素子）の画素数は著しく増加している。

その一方で、非常に大きな画素数を持つ固体撮像素子（以下、単に、高画素の撮像素子と称する）から高いフレームレートで動画像として記録する技術は、それほど進歩していない。

従って、高画素の撮像素子を持つデジタルスチルカメラなどの撮像装置においては、その撮像素子が非常に大きな画素数を有しているにもかかわらず、動画像として読み出せる画素数（信号数）には限界があるといった問題点がある。

このため、デジタルスチルカメラのような撮像装置において、高画素の撮像素子から読み出す画素数（信号数）を削減することを目的として、従来、間引き読出し方法や画素混合方法が利用されている。

間引き読出し方法とは、単純に、ＣＦＡを有する撮像素子の画素を間引いて読み出す方法である。また、画素混合方法とは、ＣＦＡを有する撮像素子における複数の画素を混合し、１つの画素値（信号）として読み出す方法である。このとき、例えば、非特許文献１や特許文献１に開示されているような画素混合方法（以下、単に従来法と称する）では、撮像素子における同色の画素を混合するようにしている。ここで、このような従来法を、同色画素混合又は同色画素混合法と呼ぶことにする。
特開２００５−１０９９６８号公報 特開２００３−１１６０６１号公報 椿・相澤共著,「ＣＣＤにおける斜め画素混合の検討」,映像メディア学会誌,第58巻,第3号,p.392-395,2004年

従来の同色画素混合法では、次のような問題点がある。

例えば、カラーフィルタアレイ(ＣＦＡ)としてベイヤー配列を採用する固体撮像素子に対して、同色画素混合法を適用する場合に、空間的に離れた画素同士を混合する必要があるので、解像度が低下してしまい、高精細な画像が得られないといった問題が生じてしまう。

上述した問題点を解決するために、例えば、特許文献２に開示された撮像装置では、空間的に隣接する４画素を混合する画素混合方法が開示されている。しかしながら、特許文献２に開示されているこの画素混合方法を用いた場合、効果的な出力、つまり、高精細な画像が得られるＣＦＡの種類は限られているといった問題が生じる。

例えば、現在、ＣＦＡとして一番幅広く利用されているベイヤー配列に対して、特許文献２に開示されている画素混合方法を適用することができない。これは、ベイヤー配列のＣＦＡを有する固体撮像素子に対して、特許文献２に開示されている画素混合方法を適用すると、混合後の色が一種類の色になってしまうといった問題が生じるからである。

本発明は、上述のような事情よりなされたものであり、本発明の目的は、カラーフィルタアレイ(ＣＦＡ)を有する高画素の固体撮像素子を持つ撮像装置において、読出し画素数を低減しつつも高精細な画像を得ることが可能な、撮像素子における複数の画素を混合する画素混合方法を提供することにある。

本発明は、ベイヤー配列のカラーフィルタアレイ(ＣＦＡ)を有し、且つ水平方向及び垂直方向に２次元状に配置された複数の画素を有する固体撮像素子を持つ撮像装置に適用され、前記固体撮像素子上の画素同士を混合する画素混合方法に関し、本発明の上記目的は、空間的に隣接する前記画素同士に対して、画素混合演算方程式に基づいて画素混合演算を行う画素混合演算ステップと、混合後色空間の色の種類及び前記画素混合演算方程式に基づいて、色変換行列を生成する色変換行列生成ステップと、生成された色変換行列に基づいて、混合後色空間から所望の色空間へ変換する所望色空間変換ステップとを有することにより、或いは、前記画素混合演算は、前記画素同士の各画素の画素値と、各画素に対応する好適な画素混合重みとを掛け合わせたものの加算であり、前記好適な画素混合重みは、前記色変換行列の条件数に基づいて決定され、前記色変換行列の条件数cond(Ａ)は、次の数式によって算出され、

ただし、Ａは前記色変換行列を表し、また、Ａ^Ｔは前記色変換行列Ａの転置行列を表すことによって効果的に達成される。

また、本発明の上記目的は、前記画素混合演算に利用される画素数は、垂直方向ｎ＝２画素、水平方向ｍ＝２画素で、画素混合演算後の色は４種類の場合に、要するに、混合後４色方式の４画素混合において、前記画素混合演算方程式は、次の数式によって定義され、

ただし、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^d ₂₂は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、c_ijを実数値を有する前記好適な画素混合重みを表し、前記色変換行列Ａは、次の数式によって定義され、

a_ijは前記好適な画素混合重みc_ijによって定められる実数値を有する係数で、a_ijと前記好適な画素混合重みc_ijとの間には、下記の数式で表す関係が成立し、

混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、

ただし、（Ａ^ＴＡ）^−１はＡ^ＴＡの逆行列を表すことによって効果的に達成される。

また、本発明の上記目的は、前記画素混合演算に利用される画素数は、垂直方向ｎ＝２画素、水平方向ｍ＝２画素で、画素混合演算後の色は３種類の場合に、要するに、混合後３色方式の４画素混合において、前記画素混合演算方程式は、次の数式によって定義され、

ただし、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^a ₂₂は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、c_ijを実数値を有する前記好適な画素混合重みを表し、前記色変換行列Ａは、次の数式によって定義され、

a_ijは前記好適な画素混合重みc_ijによって定められる実数値を有する係数で、a_ijと前記好適な画素混合重みc_ijとの間には、下記の数式で表す関係が成立し、

混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、

ただし、Ａ^−１はＡの逆行列を表すことにより、或いは、前記好適な画素混合重みc_ijを決定する際に使用される前記色変換行列Ａの条件数cond(Ａ)の代わりに、次の数式で表す行列Ｂの条件数を用いることによって効果的に達成される。

また、本発明の上記目的は、前記画素混合演算に利用される画素数は、垂直方向ｎ＝３画素、水平方向ｍ＝３画素で、画素混合演算後の色は４種類の場合に、要するに、混合後４色方式の９画素混合において、前記画素混合演算方程式は、次の数式によって定義され、

ただし、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^d ₂₂は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、c_ijを実数値を有する前記好適な画素混合重みを表し、前記色変換行列Ａは、次の数式によって定義され、

a_ijは前記好適な画素混合重みc_ijによって定められる実数値を有する係数で、a_ijと前記好適な画素混合重みc_ijとの間には、下記の数式で表す関係が成立し、

混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、

ただし、（Ａ^ＴＡ）^−１はＡ^ＴＡの逆行列を表すことによって効果的に達成される。

また、本発明の上記目的は、前記画素混合演算に利用される画素数は、垂直方向ｎ＝３画素、水平方向ｍ＝３画素で、画素混合演算後の色は３種類の場合に、要するに、混合後３色方式の９画素混合において、前記画素混合演算方程式は、次の数式によって定義され、

ただし、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^a ₂₂は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、c_ijを実数値を有する前記好適な画素混合重みを表し、前記色変換行列Ａは、次の数式によって定義され、

a_ijは前記好適な画素混合重みc_ijによって定められる実数値を有する係数で、a_ijと前記好適な画素混合重みc_ijとの間には、下記の数式で表す関係が成立し、

混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、

ただし、Ａ^−１はＡの逆行列を表すことにより、或いは、前記好適な画素混合重みc_ijを決定する際に使用される前記色変換行列Ａの条件数cond(Ａ)の代わりに、次の数式で表す行列Ｂの条件数を用いることによって効果的に達成される。

本発明に係る画素混合方法を、カラーフィルタアレイ(ＣＦＡ)を有する高画素の固体撮像素子を持つ撮像装置に適用すれば、撮像素子における空間的に隣接する画素同士の画素値を混合するようにし、そして、これら空間的に隣接する画素同士の画素値を混合する際に、各画素に対して適切な重み（つまり、画素混合重み）を付けて混合するようにしているので、従って、カラーフィルタアレイ(ＣＦＡ)の種類に制限されず、例え、ベイヤー配列を採用した固体撮像素子を持つ撮像装置であっても、読出し画素数を低減しつつも高精細な画像を得るができるといった優れた効果を奏する。

以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。

本発明は、高画素の固体撮像素子を持つ撮像装置（例えば、百万画素単位の画素数を有するＣＣＤ型撮像素子を採用したデジタルカメラ）において、その固体撮像素子から出力される動画像としての画像信号数、つまり、動画像として読み出せる画素数に限界があるといった問題点を解決するために、動画像としての画像信号数を削減するための画素混合方法である。

つまり、本発明の画素混合方法は、カラーフィルタアレイ(ＣＦＡ)を有し、且つ水平方向及び垂直方向に２次元状に配置された複数の画素を有する固体撮像素子を持つ撮像装置に適用され、固体撮像素子における所定の複数の画素を混合する画素混合方法である。

要するに、本発明に係る画素混合方法の着眼点としては、カラーフィルタアレイ(ＣＦＡ)を有し、且つ、水平方向及び垂直方向に２次元状に配置された複数の画素を有する固体撮像素子において、空間的に隣接する画素同士の画素値を混合し、そして、これら空間的に隣接する画素同士の画素値を混合する際に、各画素に対して重み（つまり、画素混合重み）を付けて混合するようにし、即ち、空間的に隣接する画素同士に対する画素混合演算を重み付加算（つまり、加重加算）とすることで、画素数を削減しつつも動解像度が良好で高精細な動画像が得られるようにしたところである。

また、本発明では、この画素混合重みを適切に設計することによって、つまり、適切な画素混合重みに基づいて、画素混合演算が行われれば、動解像度が良好で高精細な動画像が得られる。そして、本発明において、画素混合重みが適切であるかどうかを判断する方法、つまり、適切な画素混合重みの求め方も同時に示す。

本発明の画素混合方法において、固体撮像素子上の空間的に隣接する画素同士に対して画素混合演算を行った後の色の種類、つまり、画素混合演算後の色の種類が、Ｌ種類である。ただし、Ｌは３以上の整数である。

また、本発明の画素混合方法において、一回の画素混合演算に利用される画素数が、固体撮像素子における垂直方向ｎ画素、水平方向ｍ画素の合計ｎ×ｍ個の互いに空間的に隣接する画素である。ただし、ｎ、ｍは自然数である。

本発明の画素混合方法では、空間的に隣接する画素同士に対する画素混合演算とは、画素混合演算に利用される各画素の画素値と、実数の値を有する画素混合重みとを掛け合わせたものの加算を意味し、つまり、画素混合演算は後述する画素混合演算方程式に定義される。

本発明では、また、この画素混合重みに基づき、画素混合前の色空間（例えば、ＲＧＢ色空間）から画素混合後の色空間（以下、単に、画素混合後色空間、又は、混合後色空間とも称する）に変換する色変換行列を生成することができる。そして、生成された色変換行列の条件数を求め、求めた色変換行列の条件数に基づき、最適な画素混合重みを設計するようにしている。

画素混合後の画像は、各画素に対して１つの色の画素値しか有しないので、画素混合後色空間において補間することにより、各画素は混合後色空間の全ての画素値を有することになる。

最後に、本発明では、最適な画素混合重みに基づいて色変換行列を求め、そして、求めた色変換行列に基づいて混合後色空間から所望の色空間（例えば、ＲＧＢ色空間）に変換することで、画素混合による画像が得られるわけである。

なお、本発明では、画素混合重みを設計する際のパラメータとして、色変換行列の条件数だけではなく、例えば、色変換行列の安定性を表す他の指標を利用することが可能であることは言うまでも無い。

以下、図１のフローチャートを参照しながら、本発明の画素混合方法において、画素混合演算に必要な画素混合重みの設計方法（つまり、好適な画素混合重みの求め方）を説明する。

本発明の画素混合方法を適用する際に、画素混合演算に必要な好適な画素混合重みは、下記ステップＳ１０〜ステップＳ６０を経て決定される。
ステップＳ１０（画素混合重みの初期値の設定）：
まず、画素混合演算に利用される画素数と、画素混合演算後の色の種類を決め、つまり、ｎ,ｍ及びＬの値を決め、そして、ｎ×ｍ×Ｌ個の画素混合重みの初期値を決定する。
ステップＳ２０（色変換行列の生成）：
ｎ×ｍ×Ｌ個の画素混合重みの値に基づいて、画素混合演算方程式を定義し、色変換行列を生成する。
ステップＳ３０（色変換行列の条件数の算出）：
生成された色変換行列の条件数を計算する。
ステップＳ４０（好適な画素混合重みが得られたか否かの判断）：
算出された色変換行列の条件数が十分小さいか否かを判断し、十分小さいと判断された場合に、ステップＳ６０に進む。一方、条件数が十分小さいと判断されない場合に、ステップＳ５０に進む。
ステップＳ５０（画素混合重みの調整）：
条件数が十分小さいと判断されない場合とは、画素混合演算に好適な画素混合重みが得られていないことを意味し、よって、色変換行列の条件数を小さくするように、ｎ×ｍ×Ｌ個の画素混合重みの値を変更し、ステップＳ２０に戻る。
ステップＳ６０：（好適な画素混合重みの決定）
条件数が十分小さいと判断された場合とは、画素混合演算に好適な画素混合重みが得られたことを意味し、よって、色変換行列の条件数が十分小さいと判断された時のｎ×ｍ×Ｌ個の画素混合重みの値を好適な画素混合重みにする。

上記ステップＳ１０〜ステップＳ６０といった手順に基づいて、本発明の画素混合方法で使用される画素混合重みが決定される。

上記のように、一旦、画素混合重みが決定すれば、ＣＦＡを有する固体撮像素子を持つ撮像装置に本発明の画素混合方法を適用して得られた画素混合結果に基づいて、高精細な画像が得られるわけである。

以下、幾つかの具体的な実施例を通して、本発明の画素混合方法をより詳細に説明する。なお、これらの実施例において、ＣＦＡとして、ベイヤー配列を有するものを使用するが、本発明はそれに限定されることがなく、他のＣＦＡを使用することも可能であることは、言うまでも無い。

実施例１＜４画素混合方法（混合後４色方式）＞
図２を参照しながら、ベイヤー配列を有する固体撮像素子を持つ撮像装置に本発明を適用した４画素混合方法（混合後４色方式）を説明する。

図２では、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^d ₂₂は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表す。ここで言う「混合後４色方式の４画素混合方法」とは、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^d ₂₂に対して、それぞれ異なる画素混合演算を適用する画素混合方法である。

まず、混合後４色方式の４画素混合方法における画素混合演算は、下記数１によって定義される。

ここで、数１で表す連立方程式を「画素混合演算方程式」と呼ぶ。また、c_ijは画素混合重みを表す実数である。以下、c_ijを画素混合重みと称する。具体的に、c₁₁は画素Ｇ₁₁に対する画素混合重みで、c₁₂は画素Ｒ₁₂に対する画素混合重みで、c₂₁は画素Ｂ₂₁に対する画素混合重みで、c₂₂は画素Ｇ₂₂に対する画素混合重みで、c₁₃は画素Ｇ₁₃に対する画素混合重みで、c₁₄は画素Ｒ₁₄に対する画素混合重みで、c₂₃は画素Ｂ₂₃に対する画素混合重みで、c₂₄は画素Ｇ₂₄に対する画素混合重みで、c₃₁は画素Ｇ₃₁に対する画素混合重みで、c₃₂は画素Ｒ₃₂に対する画素混合重みで、c₄₁は画素Ｂ₄₁に対する画素混合重みで、c₄₂は画素Ｇ₄₂に対する画素混合重みで、c₃₃は画素Ｇ₃₃に対する画素混合重みで、c₃₄は画素Ｒ₃₄に対する画素混合重みで、c₄₃は画素Ｂ₄₃に対する画素混合重みで、c₄₄は画素Ｇ₄₄に対する画素混合重みである。

ここで、上記数1に対して、色に関する情報のみに着目することにより、色空間の変換として、下記数２で表す関係が得られる。

このとき、係数a_ijと画素混合重みc_ijとの間には、下記数３で表す関係が成立する。つまり、a_ijは画素混合重みc_ijによって定められる実数値を有する係数である。

ここで、下記数４によって定義される行列Ａを、「色変換行列」と呼ぶ。

画素混合重みの設計手順にも述べたように、上記数４で表す色変換行列Ａは、画素混合重みc_ijを設計する際に利用される。色変換行列Ａの条件数cond(Ａ)は、下記数５によって定義される。

ここで、Ａ^Ｔは色変換行列Ａの転置行列を表す。

数５で表す条件数cond(Ａ)は、その値が小さいほど、変換が安定であることを示す。ちなみに、色変換行列Ａの条件数cond(Ａ)の最小値は１である。

混合後４色方式の４画素混合方法の場合、混合後色空間から所望の色空間（本実施例では、ＲＧＢ色空間）への変換は、下記数６に基づいて行われる。

ここで、（Ａ^ＴＡ）^−１はＡ^ＴＡの逆行列を表す。

実施例２＜４画素混合方法（混合後３色方式）＞
次に、ベイヤー配列を有する固体撮像素子を持つ撮像装置に本発明を適用した４画素混合方法（混合後３色方式）を説明する。

ここで言う「混合後３色方式の４画素混合方法」とは、図２のＭ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^d ₂₂に対して、Ｍ^a ₁₁とＭ^d ₂₂または、Ｍ^b ₁₂とＭ^c ₂₁が同色となるような画素混合方法である。

混合後３色方式の４画素混合方法における画素混合演算は、下記数７で表す画素混合演算方程式に基づいて行われる。

なお、数７の画素混合演算方程式に係る「混合後３色方式の４画素混合方法」は、Ｍ^a ₁₁とＭ^d ₂₂が同色となる画素混合方法を意味する。

ただし、c_ijは画素混合重みである。

ここで、上記数７に対して、色に関する情報のみに着目することにより、色空間の変換として、下記数８で表す関係が得られる。

このとき、係数a_ijと画素混合重みc_ijとの間には、下記数９で表す関係が成立する。

ここで、混合後３色方式の４画素混合方法の場合、色変換行列Ａは、下記数１０によって定義される。

上記数１０で表す色変換行列Ａの条件数cond(Ａ)は、画素混合重みc_ijを設計する際に利用され、下記数１１によって定義される。

ここで、Ａ^Ｔは色変換行列Ａの転置行列を表す。

混合後４色方式の４画素混合方法の場合と同様に、上記数１１で表す条件数cond(Ａ)は、その値が小さいほど変換が安定であることを示し、その最小値は１である。

混合後３色方式の４画素混合方法の場合、混合後色空間からＲＧＢ色空間への変換は、下記数１２に基づいて行われる。

ここで、Ａ^−１はＡの逆行列を表す。

なお、混合後３色方式の４画素混合方法の場合には、画素混合重みc_ijを設計する際に使用される色変換行列Ａの条件数cond(Ａ)の代わりに、下記数１３で表す行列Ｂの条件数を利用することもできる。

実施例３＜９画素混合方法（混合後４色方式）＞
図３を参照しながら、ベイヤー配列を有する固体撮像素子を持つ撮像装置に本発明を適用した９画素混合方法（混合後４色方式）を説明する。

図３では、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^d ₂₂は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表す。ここで言う「混合後４色方式の９画素混合方法」とは、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^d ₂₂に対して、それぞれ異なる画素混合演算を適用する画素混合方法である。

本発明の画素混合方法を適用した９画素混合の場合も、本発明を適用した４画素混合の場合と同様に、画素混合演算方程式及び色変換行列を定義することができる。

まず、混合後４色方式の９画素混合方法における画素混合演算は、下記数１４で表す画素混合演算方程式に基づいて行われる。

ただし、c_ijは画素混合重みである。

ここで、上記数１４に対して、色に関する情報のみに着目することにより、色空間の変換として、下記数１５で表す関係が得られる。

このとき、係数a_ijと画素混合重みc_ijとの間には、下記数１６で表す関係が成立する。

ここで、混合後４色方式の９画素混合方法の場合、色変換行列Ａは、下記数１７によって定義される。

上記数１７で表す色変換行列Ａの条件数cond(Ａ)は、画素混合重みc_ijを設計する際に利用され、下記数１８によって定義される。

ここで、Ａ^Ｔは色変換行列Ａの転置行列を表す。

上記数１８で表す条件数cond(Ａ)は、その値が小さいほど変換が安定であることを示し、その最小値は１である。

混合後４色方式の９画素混合方法の場合、混合後色空間から所望の色空間（本実施例では、ＲＧＢ色空間）への変換は、下記数１９に基づいて行われる。

ここで、（Ａ^ＴＡ）^−１はＡ^ＴＡの逆行列を表す。

実施例４＜９画素混合方法（混合後３色方式）＞
次に、ベイヤー配列を有する固体撮像素子を持つ撮像装置に本発明を適用した９画素混合方法（混合後３色方式）を説明する。

ここで言う「混合後３色方式の９画素混合方法」とは、図３のＭ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^d ₂₂に対して、Ｍ^a ₁₁とＭ^d ₂₂または、Ｍ^b ₁₂とＭ^c ₂₁が同色となるような画素混合方法である。

混合後３色方式の９画素混合方法における画素混合演算は、下記数２０で表す画素混合演算方程式に基づいて行われる。

なお、数２０の画素混合演算方程式に係る「混合後３色方式の９４画素混合方法」は、Ｍ^a ₁₁とＭ^d ₂₂が同色となる画素混合方法を意味する。

ただし、c_ijは画素混合重みである。

ここで、上記数２０に対して、色に関する情報のみに着目することにより、色空間の変換として、下記数２１で表す関係が得られる。

このとき、係数a_ijと画素混合重みc_ijとの間には、下記数２２で表す関係が成立する。

ここで、混合後３色方式の９画素混合方法の場合、色変換行列Ａは、下記数２３によって定義される。

上記数２３で表す色変換行列Ａの条件数cond(Ａ)は、画素混合重みc_ijを設計する際に利用され、下記数２４によって定義される。

ここで、Ａ^Ｔは色変換行列Ａの転置行列を表す。

混合後４色方式の９画素混合方法の場合と同様に、上記数２４で表す条件数cond(Ａ)は、その値が小さいほど変換が安定であることを示し、その最小値は１である。

混合後３色方式の９画素混合方法の場合、混合後色空間からＲＧＢ色空間への変換は、下記数２５に基づいて行われる。

ここで、Ａ^−１はＡの逆行列を表す。

なお、混合後３色方式の９画素混合方法の場合には、画素混合重みc_ijを設計する際に使用される色変換行列Ａの条件数cond(Ａ)の代わりに、下記数２６で表す行列Ｂの条件数を利用することもできる。

以上のように、本発明の画素混合方法を４画素混合（ｎ＝ｍ＝２）及び９画素混合（ｎ＝ｍ＝３）に適用した実施例について詳細に説明したが、以下、本発明の画素混合方法を４画素混合（ｎ＝ｍ＝２）と９画素混合（ｎ＝ｍ＝３）に適用する際に、高精細な画像が得られる、好適な画素混合重みと色変換行列の具体例を示す。

先ず、ベイヤー配列を有する固体撮像素子に本発明を適用した４画素混合方法における好適な画素混合重みと色変換行列の具体例（全部で２つの例）を示す。

＜１−１＞混合後４色方式の４画素混合方法
図４に、ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後４色方式の４画素混合方法における好適な画素混合重みの一例を示し、図中の四角で示す混合前の画素内の上側の文字（例えば、Ｇ、Ｒ、Ｂ、）は混合前の画素の色を表し、その下側の数字は、その混合前の画素に対応する画素混合重みを表す。また、図４において、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^d ₂₂は、画素混合後の画素の色を表し、下付の二桁の数字はその画素の位置を表す。

図４に示す画素混合重みに対応する画素混合演算方程式は、下記数２７になる。

図４に示す画素混合重みは、数式で表すと、下記数２８で示す通りである。

数２８で示す画素混合重みに基づいて生成された色変換行列Ａは、下記数２９になる。

ちなみに、数２９で表す色変換行列Ａの条件数cond(Ａ)は２.０である。

＜１−２＞混合後３色方式（Ｍ^aとＭ^dが同色の場合）の４画素混合方法
図５に、ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式の４画素混合方法における好適な画素混合重みの一例を示し、図中の四角で示す混合前の画素内の上側の文字（例えば、Ｇ、Ｒ、Ｂ、）は混合前の画素の色を表し、その下側の数字は、その混合前の画素に対応する画素混合重みを表す。また、図５において、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^a ₂₂は、画素混合後の画素の色を表し、下付の二桁の数字はその画素の位置を表す。

図５に示す画素混合重みに対応する画素混合演算方程式は、下記数３０になる。

図５に示す画素混合重みは、数式で表すと、下記数３１で示す通りである。

数３１で示す画素混合重みに基づいて生成された色変換行列Ａは、下記数３２になる。

また、数３１で示す画素混合重みに基づいて生成された行列Ｂは、下記数３３になる。

ちなみに、数３３で表す行列Ｂの条件数は２.０である。

次に、ベイヤー配列を有する固体撮像素子に本発明を適用した、混合後３色方式（Ｍ^aとＭ^dが同色の場合）の９画素混合方法における好適な画素混合重みと色変換行列の具体例（全部で５つの例）を示す。

＜２−１＞具体例その１
図６に、ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式（Ｍ^aとＭ^dが同色の場合）の９画素混合方法における好適な画素混合重みの一例を示し、図中の四角で示す混合前の画素内の上側の文字（例えば、Ｇ、Ｒ、Ｂ、）は混合前の画素の色を表し、その下側の数字は、その混合前の画素に対応する画素混合重みを表す。また、図６において、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^a ₂₂は、画素混合後の画素の色を表し、下付の二桁の数字はその画素の位置を表す。

図６に示す画素混合重みに対応する画素混合演算方程式は、下記数３４になる。

図６に示す画素混合重みは、数式で表すと、下記数３５で示す通りである。

数３５で示す画素混合重みに基づいて生成された色変換行列Ａは、下記数３６になる。

ちなみに、数３６で表す色変換行列Ａの条件数cond(Ａ)は２.６６である。

＜２−２＞具体例その２
ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式（Ｍ^aとＭ^dが同色の場合）の９画素混合方法における好適な画素混合演算方程式は、下記数３７によって定義される。

数３７の画素混合演算方程式に対応する画素混合重みは、数式で表すと、下記数３８で示す通りである。

数３８で示す画素混合重みに基づいて生成された色変換行列Ａは、下記数３９になる。

ちなみに、数３９で表す色変換行列Ａの条件数cond(Ａ)は１.９３である。

＜２−３＞具体例その３
ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式（Ｍ^aとＭ^dが同色の場合）の９画素混合方法における好適な画素混合演算方程式は、下記数４０によって定義される。

数４０の画素混合演算方程式に対応する画素混合重みは、数式で表すと、下記数４１で示す通りである。

数４１で示す画素混合重みに基づいて生成された色変換行列Ａは、下記数４２になる。

ちなみに、数４２で表す色変換行列Ａの条件数cond(Ａ)は１.９３である。

＜２−４＞具体例その４
ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式（Ｍ^aとＭ^dが同色の場合）の９画素混合方法における好適な画素混合演算方程式は、下記数４３によって定義される。

数４３の画素混合演算方程式に対応する画素混合重みは、数式で表すと、下記数４４で示す通りである。

数４４で示す画素混合重みに基づいて生成された色変換行列Ａは、下記数４５になる。

ちなみに、数４５で表す色変換行列Ａの条件数cond(Ａ)は１.８５である。

＜２−５＞具体例その５
図７に、ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式（Ｍ^aとＭ^dが同色の場合）の９画素混合方法における好適な画素混合重みの一例を示し、図中の四角で示す混合前の画素内の上側の文字（例えば、Ｇ、Ｒ、Ｂ、）は混合前の画素の色を表し、その下側の数字は、その混合前の画素に対応する画素混合重みを表す。また、図７において、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^a ₂₂は、画素混合後の画素の色を表し、下付の二桁の数字はその画素の位置を表す。

図７に示す画素混合重みに対応する画素混合演算方程式は、下記数４６になる。

図７に示す画素混合重みは、数式で表すと、下記数４７で示す通りである。

数４７で示す画素混合重みに基づいて生成された色変換行列Ａは、下記数４８になる。

また、数４７で示す画素混合重みに基づいて生成された行列Ｂは、下記数４９になる。

ちなみに、数４９で表す行列Ｂの条件数は１.８４である。

図８に、本発明の画素混合方法を適用した９画素混合結果と、従来の同色画素混合法による混合結果を示す。図８では、９画素混合に対しては、カラー画像の再構成にはバイキュービック補間を利用した。また、従来の同色画素混合方法には、混合後の画素位置が不等間隔となる方法と、等間隔になる方法が存在するので、それぞれとの比較を行った。

具体的に、図８（Ａ）は混合後の画素位置が不等間隔となる従来の同色画素混合法による混合結果を示し、図８（Ｂ）は混合後の画素位置が等間隔となる従来の同色画素混合法による混合結果を示す。

また、図８（Ｃ）は、＜２−４＞具体例その４で示した、本発明の画素混合方法を適用した混合後３色方式（Ｍ^aとＭ^dが同色の場合）の９画素混合方法による混合結果を示す。そして、図８（Ｄ）は、＜２−１＞具体例その１で示した、本発明の画素混合方法を適用した混合後３色方式（Ｍ^aとＭ^dが同色の場合）の９画素混合方法による混合結果を示す。

図８から、本発明を適用した二つの９画素混合方法による混合結果ともに、従来の同色画素混合方法による混合結果に比べて、目視でも解像感が増していることがよく分かる。また、従来の同色画素混合方法による混合結果と比較すると、本発明の９画素混合方法による混合結果のＰＳＮＲの値が向上しているので、よって、定量的にも本発明の画素混合方法を用いれば高精細な画像が得られるといった効果を確認することができた。

本発明の画素混合方法において、画素混合重みの設計手順を示すフローチャートである。 ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した４画素混合方法（ｎ＝ｍ＝２）を説明するための模式図である。 ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した９画素混合方法（ｎ＝ｍ＝３）を説明するための模式図である。 ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後４色方式の４画素混合における好適な画素混合重みの一例を示す図である。 ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式の４画素混合における好適な画素混合重みの一例を示す図である。 ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式の９画素混合における好適な画素混合重みの一例を示す図である。 ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式の９画素混合における好適な画素混合重みの他の例を示す図である。 本発明の画素混合方法を適用した９画素混合結果と、従来の同色画素混合法による混合結果を示す図である。

Claims (11)

1. ベイヤー配列のカラーフィルタアレイ(ＣＦＡ)を有し、且つ水平方向及び垂直方向に２次元状に配置された複数の画素を有する固体撮像素子を持つ撮像装置に適用され、前記固体撮像素子上の画素同士を混合する画素混合方法であって、
   空間的に隣接する前記画素同士に対して、画素混合演算方程式に基づいて画素混合演算を行う画素混合演算ステップと、
   混合後色空間の色の種類及び前記画素混合演算方程式に基づいて、色変換行列を生成する色変換行列生成ステップと、
   生成された色変換行列に基づいて、混合後色空間から所望の色空間へ変換する所望色空間変換ステップとを有することを特徴とする画素混合方法。
2. 前記画素混合演算は、前記画素同士の各画素の画素値と、各画素に対応する好適な画素混合重みとを掛け合わせたものの加算であり、前記好適な画素混合重みは、前記色変換行列の条件数に基づいて決定され、
   前記色変換行列の条件数cond(Ａ)は、次の数式によって算出され、
   

   

   ただし、Ａは前記色変換行列を表し、また、Ａ^Ｔは前記色変換行列Ａの転置行列を表す請求項１に記載の画素混合方法。
3. 前記画素混合演算に利用される画素数は、垂直方向ｎ＝２画素、水平方向ｍ＝２画素で、画素混合演算後の色は４種類の場合に、要するに、混合後４色方式の４画素混合において、
   前記画素混合演算方程式は、次の数式によって定義され、
   

   

   ただし、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^d ₂₂は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、c_ijを実数値を有する前記好適な画素混合重みを表し、
   前記色変換行列Ａは、次の数式によって定義され、
   

   

   a_ijは前記好適な画素混合重みc_ijによって定められる実数値を有する係数で、a_ijと前記好適な画素混合重みc_ijとの間には、下記の数式で表す関係が成立し、
   

   

   混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、
   

   

   ただし、（Ａ^ＴＡ）^−１はＡ^ＴＡの逆行列を表す請求項２に記載の画素混合方法。
4. 前記好適な画素混合重みは次の数式で表す値を有する請求項３に記載の画素混合方法。
   

   
5. 前記画素混合演算に利用される画素数は、垂直方向ｎ＝２画素、水平方向ｍ＝２画素で、画素混合演算後の色は３種類の場合に、要するに、混合後３色方式の４画素混合において、
   前記画素混合演算方程式は、次の数式によって定義され、
   

   

   ただし、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^a ₂₂は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、c_ijを実数値を有する前記好適な画素混合重みを表し、
   前記色変換行列Ａは、次の数式によって定義され、
   

   

   a_ijは前記好適な画素混合重みc_ijによって定められる実数値を有する係数で、a_ijと前記好適な画素混合重みc_ijとの間には、下記の数式で表す関係が成立し、
   

   

   混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、
   

   

   ただし、Ａ^−１はＡの逆行列を表す請求項２に記載の画素混合方法。
6. 前記好適な画素混合重みは次の数式で表す値を有する請求項５に記載の画素混合方法。
   

   
7. 前記好適な画素混合重みc_ijを決定する際に使用される前記色変換行列Ａの条件数cond(Ａ)の代わりに、次の数式で表す行列Ｂの条件数を用いる請求項５に記載の画素混合方法。
   

   
8. 前記画素混合演算に利用される画素数は、垂直方向ｎ＝３画素、水平方向ｍ＝３画素で、画素混合演算後の色は４種類の場合に、要するに、混合後４色方式の９画素混合において、
   前記画素混合演算方程式は、次の数式によって定義され、
   
   

   

   ただし、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^d ₂₂は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、c_ijを実数値を有する前記好適な画素混合重みを表し、
   前記色変換行列Ａは、次の数式によって定義され、
   

   

   a_ijは前記好適な画素混合重みc_ijによって定められる実数値を有する係数で、a_ijと前記好適な画素混合重みc_ijとの間には、下記の数式で表す関係が成立し、
   

   

   混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、
   

   

   ただし、（Ａ^ＴＡ）^−１はＡ^ＴＡの逆行列を表す請求項２に記載の画素混合方法。
9. 前記画素混合演算に利用される画素数は、垂直方向ｎ＝３画素、水平方向ｍ＝３画素で、画素混合演算後の色は３種類の場合に、要するに、混合後３色方式の９画素混合において、
   前記画素混合演算方程式は、次の数式によって定義され、
   

   

   ただし、Ｍ^a ₁₁,Ｍ^b ₁₂,Ｍ^c ₂₁,Ｍ^a ₂₂は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、c_ijを実数値を有する前記好適な画素混合重みを表し、
   前記色変換行列Ａは、次の数式によって定義され、
   

   

   a_ijは前記好適な画素混合重みc_ijによって定められる実数値を有する係数で、a_ijと前記好適な画素混合重みc_ijとの間には、下記の数式で表す関係が成立し、
   

   

   混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、
   

   

   ただし、Ａ^−１はＡの逆行列を表す請求項２に記載の画素混合方法。
10. 前記好適な画素混合重みは、次の５つの数式で表す５通りの値の何れか1つを有する請求項９に記載の画素混合方法。
    数式その１：
    

    

    数式その２：
    

    

    数式その３：
    

    

    数式その４：
    

    

    数式その５：
    

    
11. 前記好適な画素混合重みc_ijを決定する際に使用される前記色変換行列Ａの条件数cond(Ａ)の代わりに、次の数式で表す行列Ｂの条件数を用いる請求項９に記載の画素混合方法。
    

    

Images