JP4253655B2 - デジタル撮影装置の色補間法 - Google Patents

Description

本発明は、デジタル撮影装置の色補間法（Ｃｏｌｏｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）に関し、特に、ベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）カラーフィルタにおける色補間法に関する。

デジタルカメラ（又は、デジタルビデオカメラ）のようなデジタル撮影装置は、一般に１つのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を使用するため、フルカラー（ｆｕｌｌ−ｃｏｌｏｒ）画像を得るためにはそれぞれの画素に関する多くの情報が必要である。実際に人間の視神経系の特性のため、画像を表示するときは少なくとも３つ以上のデータを必要とするが、フルカラー画像は３つの独立したカラー（赤（Ｒ）、緑（Ｇ）、青（Ｂ））の画素値から推定できる。

前記ＣＣＤは、光学的信号を電気的信号に変換する撮像素子であり、一般に、多板式と単板式に区分される。前記多板式は、３色（ＲＧＢ）に反応するセンサから構成された３枚の板を利用して各画素が３色を受光する方式であり、前記単板式は、各画素が１色のみを受光する方式で、各色に反応するセンサから構成された配列（Ｃｏｌｏｒ Ｆｉｌｔｅｒ Ａｒｒａｙ：ＣＦＡ）を必要とする。配列（ＣＦＡ）の最も一般的なパターンは、ベイヤーパターンである。

前記多板式の場合、１つの画面を構成するとき、それぞれの色が画面全体に関する情報を有しているため、これを利用して画面全体を再構成し得るが、前記単板式の場合は、図４に示すように、１枚の板に３色（ＲＧＢ）を受光するセンサが存在するが、画素ごとに異なる色のセンサが位置しているため、各画素は３色のうち１色の色情報のみを有する。

従って、例えば、緑色感知センサを有しない青（Ｂ）又は赤（Ｒ）画素の緑値（又はＧ値）を復元しようとする場合、周辺画素の緑色感知センサから得た情報を利用して緑の情報を類推する。このような色復元のためには色補間法が使用される。

従来の単板式ベイヤーパターンカラーフィルタにおける補間法には、双線形補間法（Ｂｉｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、色変化補間法、傾斜による補間法、及び輝度の傾斜を利用した適応的補間法などがある。各補間法に関して説明すると、以下の通りである。

図４Ａは、双線形補間法の５×５ベイヤーパターンを示す図である。

図４Ａに示すように、双線形補間法は、Ｇ値（例：Ｇ８）を復元するために最も近い４つの画素（Ｇ３、Ｇ７、Ｇ９、Ｇ１３）の色情報を利用する簡単な方法であり、［数１］のように、隣接する４つの画素（Ｇ３、Ｇ７、Ｇ９、Ｇ１３）の平均値を使用する。

図４Ｂは、色変化補間法の５×５ベイヤーパターンを示す図である。

図４Ｂに示すように、色変化補間法は、まず、双線形方法を用いて周辺の全てのＧ値を求めた後、Ｒ８を求めるために、予め求めたＧ８値及びセンサにより把握したＲ値を用いる方法である。

すなわち、復元する画素（Ｂ８）の周辺に位置するＲ値とＧ値の比が一定であると仮定した後、周辺の４つの画素（Ｇ２、Ｇ４、Ｇ１２、Ｇ１４）からＲ値とＧ値の比の平均を計算する。そして、［数２］に表すように、前記計算された平均値と前記画素（Ｂ８）のＧ値（Ｇ８）を乗算してＲ値（Ｒ８）を復元する。

図５Ａ及び図５Ｂは、傾斜による補間法のベイヤーパターンを示す図である。

図５Ａにおいて、αは、垂直エッジ情報を示し、βは、水平エッジ情報を示す。

［数３］は、垂直及び水平エッジ情報（α、β）を求める式である。

垂直及び水平エッジ情報（α、β）が求められると、前記２つの情報（α、β）から縦軸方向の色変化が少ないか、横軸方向の色変化が少ないかが分かる。αがβより小さい場合、縦軸の色変化より横軸の色変化が少ないので、Ｇ４３とＧ４５の平均値をＧ４４に決定する。それに対して、αがβより大きい場合は、Ｇ３４とＧ５４の平均値をＧ４４に決定する。さらに、２つの値（α、β）が同一であると、周辺のＧ３４、Ｇ４３、Ｇ４５、Ｇ５４値の平均値をＧ４４に決定する（［数４］を参照）。

このようにＧ値（例えばＧ４４）が復元されると、図５Ｂに示すように、復元する画素周辺のＲ値とＧ値の比（Ｒ：Ｇ）及びＢ値とＧ値の比（Ｂ：Ｇ）が一定の比率であると仮定してＲ値とＢ値を求める（［数５］を参照）。

図６は、輝度の傾斜を利用した適応的補間法のベイヤーパターンを示す図である。

図６のＧ_{ｄｉｆｆ＿ｖｅｒ}は、復元する画素（例えばＧ４４）の左右両側のＧ値の差を示し、Ｇ_{ｄｉｆｆ＿ｈｏｒ}は、復元する画素（例えばＧ４４）の上下両側のＧ値の差を示す。

［数６］は、水平、垂直の値（Ｇ_{ｄｉｆｆ＿ｖｅｒ}、Ｇ_{ｄｉｆｆ＿ｈｏｒ}）を求める式である。

このように求めた水平、垂直の値（Ｇ_{ｄｉｆｆ＿ｖｅｒ}、Ｇ_{ｄｉｆｆ＿ｈｏｒ}）を任意に定めた臨界値と比較して以下の数式を用いてＧ値を決定する。

１．Ｉｆ （Ｇ_{ｄｉｆｆ＿ｈｏｒ}＞臨界値）ＡＮＤ（Ｇ_{ｄｉｆｆ＿ｖｅｒ}＞臨界値），
Ｇ_４４＝（Ｇ_３４＋Ｇ_４５＋Ｇ_５４+Ｇ_４３）／４
２．Ｉｆ （Ｇ_{ｄｉｆｆ＿ｈｏｒ}＜＝臨界値）ＡＮＤ（Ｇ_{ｄｉｆｆ＿ｖｅｒ}＜＝臨界値），
Ｇ_４４＝（Ｇ_３４＋Ｇ_４５＋Ｇ_５４+Ｇ_４３）／４
３．Ｉｆ （Ｇ_{ｄｉｆｆ＿ｈｏｒ}＜＝臨界値）ＡＮＤ（Ｇ_{ｄｉｆｆ＿ｖｅｒ}＞臨界値），
Ｇ_４４＝（Ｇ_４３＋Ｇ_４５）／２
４．Ｉｆ （Ｇ_{ｄｉｆｆ＿ｈｏｒ}＞臨界値）ＡＮＤ（Ｇ_{ｄｉｆｆ＿ｖｅｒ}＜＝臨界値），
Ｇ_４４＝（Ｇ_３４＋Ｇ_５４）／２。

以上の式により全ての画素に対するＧ値が復元されると、前記「傾斜による補間法」と同一の方法でＲ値及びＢ値を復元する。前記臨界値は、イメージセンサごとに異なる値に設定され、それぞれのイメージセンサを最適化させる。

このような補間法をより大きいカテゴリーに分類すると、双線形補間法、色補正補間法、空間的相関関係を利用した補間法に分けられる。また、それぞれの補間法は、次のような特徴を有する。

第１に、双線形補間法は、計算量が少なく、実現が簡単である。これに対して、ジッパー効果（Ｚｉｐｐｅｒ ｅｆｆｅｃｔ）及びボケ（ｂｌｕｒｒｉｎｇ）現象を発生させる。

第２に、色補正補間法には、色変化補間法、傾斜をベースとする補間法などがあり、前記色補正補間法は、色の差と色の比率を用いて柔らかい色を維持させる。また、実現が簡単で、一定の色の維持が可能であるため、カメラに用いられる。

第３に、空間的相関関係を利用した補間法は、色の差と変化率を用い、補間法のうち最良の画質が得られる。しかしながら、実現が比較的複雑であり、多くの演算量を必要とする。一般に、画質がよくなるほど演算量が多くなる。さらに、この補間法は、最良の画質を得ることはできるが、これに利用される空間的関係は上下と左右の２つの成分にのみ依存するので、実際の画像で斜線や角のような部分がある場合、ボケ現象が現れる可能性が高い。

前述したように、既存の補間法は、計算が簡単であると、画質が低下したり、ボケ現象が発生したり、ジッパー効果が発生し、また、計算を複雑にすると、画質は改善されるが、計算量が増加するという問題があった。また、上下及び左右の色の変化には敏感に反応するが、対角線成分は考慮していないため、対角成分や斜線成分のイメージがある場合、画質が低下するという問題があった。

本発明は、このような問題を解決するために提案されたもので、本発明の目的は、類似度関数を利用して画素の色を補間するデジタル撮影装置の色補間法を提供することにある。

このような目的を達成するために、本発明に係るデジタル撮影装置の色補間方法は、復元する画素に隣接する緑画素間の類似度を計算する過程と、最も高い類似度を有する２つの画素の緑値の平均値を計算して各画素の緑値を復元する過程と、前記復元過程により全ての画素の緑値が復元されると、前記復元された緑値を用いて、傾斜による補間法で各画素の赤値又は青値を復元する過程とからなることを特徴とする。

前記類似度を計算する過程は、前記復元する画素に隣接する緑画素などの色値を正規化した後、隣接する緑画素間の類似度を計算する過程である。

また、前記類似度を計算する過程は、前記復元する画素の上下左右に隣接する緑画素間の水平方向、垂直方向、及び対角方向の類似度を求める過程である。

前記平均値は、最も高い類似度を有する２つの画素の算術平均値と類似度値とを乗算して得られる。

前記画素は、ベイヤーパターンによって配列される。

上記目的を達成するために、本発明は、例えば、以下の手段を提供する：
項目１．
復元する画素に隣接する緑画素間の類似度を計算する過程と、
最も高い類似度を有する２つの画素の緑値の平均値を計算して各画素の緑値を復元する過程と、
前記復元過程により全ての画素の緑値が復元されると、前記復元された緑値を用いて、所定の補間方式で各画素の赤値又は青値を復元する過程と
からなることを特徴とするデジタル撮影装置の色補間方法。

項目２．
前記類似度を計算する過程は、
前記復元する画素に隣接する緑画素の色値を正規化した後、隣接した緑画素間の類似度を計算する過程であることを特徴とする項目１に記載のデジタル撮影装置の色補間方法。

項目３．
前記類似度を計算する過程は、
前記復元する画素の上下左右に隣接する緑画素間の水平方向、垂直方向、及び対角方向の類似度を求める過程であることを特徴とする項目１に記載のデジタル撮影装置の色補間方法。

項目４．
前記平均値は、
最も高い類似度を有する２つの画素の算術平均値と類似度値とを乗算して得られることを特徴とする項目１に記載のデジタル撮影装置の色補間方法。

項目５．
前記画素は、
ベイヤーパターンによって配列されたことを特徴とする項目１に記載のデジタル撮影装置の色補間方法。

項目６．
前記復元する画素は、
青画素であることを特徴とする項目１に記載のデジタル撮影装置の色補間方法。

項目７．
前記復元する画素は、
赤画素であることを特徴とする項目１に記載のデジタル撮影装置の色補間方法。

項目８．
前記所定の補間方式は、傾斜による補間法であることを特徴とする項目１に記載のデジタル撮影装置の色補間方法。

項目９．
復元する画素の上下左右に隣接する緑画素のうち、最も高い類似度を有する２つの画素を求める過程と、
前記２つの画素の緑値の算術平均値を計算して各画素の緑値を復元する過程と、
前記復元過程により全ての画素の緑値が復元されると、前記復元された緑値を傾斜による補間法に適用して各画素の赤値又は青値を復元する過程と
からなることを特徴とするデジタル撮影装置の色補間方法。

本発明は、既存の発明と演算量が類似しており、水平、垂直だけでなく、対角線方向の相関関係も考慮するため、斜線や角のような部分を表現する場合、ボケ現象を減少させることができるという効果がある。

また、本発明は、求めようとする画素周辺の隣接画素間の類似度を測定した後、最も高い類似度を有する２つの画素の平均及びそれらの類似度を乗算する加重和（Ｗｅｉｇｈｔ ｓｕｍ）方式を用いることで、より鮮明な画像を得ることができるという効果がある。

以下、本発明の好ましい実施形態を図面に基づいて説明する。

図１は、本発明に係る色補間法のベイヤーパターンを示す図であり、図２は、本発明により緑色Ｇを復元する方法を示す図である。

図１及び図２に基づいて本発明に係る色補間法を説明すると、画素Ｂ４４は緑情報及び赤情報を有していない青画素であり、Ｂ４４の緑色を復元するためには、まず、Ｂ４４の隣接画素（Ｇ３４、Ｇ４３、Ｇ４５、Ｇ５４）が有するＧ値を測定しなければならない。そして、隣接画素（Ｇ３４、Ｇ４３、Ｇ４５、Ｇ５４）間の類似度も計算する（Ｓ２０）。

類似度とは、２つの画素の色情報が類似する程度をファジ（ｆｕｚｚｙ）理論を用いて定義した値であり、類似度を求める式は［数７］の通りである。

ここで、ａ≡ｂはａとｂの類似度であり、ａ，ｂ∈［０，１］であり、

を示す。

［数７］において、演算子→は、「マルチバリュードインプリケーション（ｍｕｌｔｉｖａｌｕｅｄ ｉｍｐｌｉｃａｔｉｏｎ）」であり、多様な方式で定義されている。本発明においては、「ウカシェービッチインプリケーション（Ｌｕｋａｓｉｅｗｉｃｚ ｉｍｐｌｉｃａｔｉｏｎ）」という方式を用いる。ウカシェービッチインプリケーションは［数８］のように定義される。

［数７］を［数８］に代入すると、２つの画素ａとｂの類似度（ａ≡ｂ）を求めることができる。ここで、［数７］において、ａ及びｂ値は０と１間の値であるので、まず、全ての隣接画素のＲ、Ｇ、Ｂ値を０と１間の値に正規化する過程（Ｓ１０）が必要である。ある画素をＲ_ｉｊとすると、Ｒ_ｉｊを正規化する方式は、［数９］の通りである。

ここで、ｉ、ｊは、各インデックスを示す定数であり、ｂｉｔｓは、撮像素子が各画素の値を何ビットで表示するかを示す。

［数９］の計算により全ての画素が正規化されると、２つの画素間の類似度を求めるために［数７］を使用することができる。

［数１０］は、２つの画素Ｇ３４とＧ４３の類似度を計算した式であり、［数１０］の小文字ｇ_ｉｊは、Ｇ_ｉｊを正規化した値である。

また、［数１１］は［数８］を用いてｇ_３４→ｇ_４３の値を計算した式である。

このように、［数７］及び［数８］を用いて復元する画素（例：Ｂ４４）の上下左右に隣接する４つの画素の類似度をそれぞれ計算し、最も高い類似度を有する２つの画素を求める（Ｓ３０）。すなわち、画素Ｂ４４のＧ値（Ｇ４４）を復元しようとする場合、まず、隣接画素（Ｇ３４、Ｇ４３、Ｇ４５、Ｇ５４）間の水平、垂直、及び対角方向の類似度Ｇ_３４≡Ｇ_４３、Ｇ_４３≡Ｇ_４５、Ｇ_４５≡Ｇ_５４、Ｇ_５４≡Ｇ_３４、Ｇ_３４≡Ｇ_４５、Ｇ_４３≡Ｇ_５４をそれぞれ計算し、［数１２］により最も高い類似度を求める。

ある２つの画素（例：Ｇ３４とＧ４３）の類似度が最も高いということは、この２つの画素（Ｇ３４とＧ４３）が復元する画素（Ｂ４４）のＧ値と一致する可能性が最も高いことを意味する。しかしながら、最も高い類似度を有する２つの画素（Ｇ３４とＧ４３）を求めたとしても、隣接する４つの画素間の類似度が非常に低い場合は、その２つの画素（Ｇ３４とＧ４３）と復元しようとするＧ値（Ｇ４４）とが類似する可能性は非常に低くなる。

従って、本発明においては、最も高い類似度を有する２つの画素Ｇ３４、Ｇ４３の類似度（Ｇ_３４≡Ｇ_４３）をその２つの画素の算術平均（１／２（Ｇ３４＋Ｇ４３））に乗算することにより、２つの画素Ｇ３４とＧ４３の類似度が高いほど復元する画素のＧ値（Ｇ４４）が２つの画素Ｇ３４、Ｇ４３と類似した値を有するようにし、２つの画素Ｇ３４とＧ４３の類似度が低いほど復元する画素のＧ値（Ｇ４４）と２つの画素Ｇ３４、Ｇ４３の値との差が大きくなるようにする方法を用いる（Ｓ４０）。

［数１３］は、隣接画素のうちＧ３４とＧ４３の類似度が最も高い場合、Ｂ４４のＧ値（Ｇ４４）を計算した式である。

図３は、本発明により赤（Ｒ）及び青（Ｂ）を求める方法を示す図である。

まず、過程Ｓ１０〜Ｓ４０により、全ての青画素（Ｂ_ｉｊ）と赤画素（Ｒ_ｉｊ）の緑値（Ｇ値）が復元され（Ｓ１１０）、前記「傾斜による補間法」で用いられた方法と同一の方法でまだ復元されていないＲ値及びＢ値を求める（Ｓ１２０）。すなわち、復元する画素に隣接するＲ値とＧ値の比（Ｒ：Ｇ）及びＢ値とＧ値の比（Ｂ：Ｇ）が一定比率であると仮定して［数１４］に示すように、Ｒ値（Ｒ_ｉｊ）とＢ値（Ｂ_ｉｊ）を求める。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。

本発明に係る色補間法のベイヤーパターンを示す図である。 本発明により緑色Ｇを復元する方法を示す図である。 本発明により赤色Ｒ又は青色Ｂを復元する方法を示す図である。 従来の双線形補間法の５×５ベイヤーパターンを示す図である。 従来の色変化補間法の５×５ベイヤーパターンを示す図である。 従来の傾斜による補間法のベイヤーパターンを示す図である。 従来の傾斜による補間法のベイヤーパターンを示す図である。 従来の輝度の傾斜を利用した適応的補間法のベイヤーパターンを示す図である。

Claims (8)

1. 復元する画素に隣接する緑画素間の類似度を計算する過程と、
   最も高い類似度を有する２つの画素の算術平均値と類似度値とを乗算することにより、最も高い類似度を有する２つの画素の緑値の平均値を計算して各画素の緑値を復元する過程と、
   前記復元過程により全ての画素の緑値が復元されると、前記復元された緑値を用いて、所定の補間方式で各画素の赤値又は青値を復元する過程と
   を含む、デジタル撮影装置の色補間方法。
2. 前記類似度を計算する過程は、
   前記復元する画素に隣接する緑画素の色値を正規化した後、隣接した緑画素間の類似度を計算する過程を含む、請求項１に記載のデジタル撮影装置の色補間方法。
3. 前記類似度を計算する過程は、
   前記復元する画素の上下左右に隣接する緑画素間の水平方向、垂直方向、及び対角方向の類似度を求める過程を含む、請求項１に記載のデジタル撮影装置の色補間方法。
4. 前記２つの画素は、
   ベイヤーパターンによって配列される、請求項１に記載のデジタル撮影装置の色補間方法。
5. 前記復元する画素は、
   青画素である、請求項１に記載のデジタル撮影装置の色補間方法。
6. 前記復元する画素は、
   赤画素である、請求項１に記載のデジタル撮影装置の色補間方法。
7. 前記所定の補間方式は、傾斜による補間法である、請求項１に記載のデジタル撮影装置の色補間方法。
8. 復元する画素の上下左右に隣接する緑画素のうち、最も高い類似度を有する２つの画素を求める過程と、
   最も高い類似度を有する２つの画素の算術平均値と類似度値とを乗算することにより前記２つの画素の緑値の算術平均値を計算して各画素の緑値を復元する過程と、
   前記復元過程により全ての画素の緑値が復元されると、前記復元された緑値を傾斜による補間法に適用して各画素の赤値又は青値を復元する過程と
   を含む、デジタル撮影装置の色補間方法。

Images