JP4184802B2 - 色不連続性均等化を使用して生データイメージを非対称にデモザイク処理するシステムおよび方法 - Google Patents

Description

本発明は、概して画像処理の分野に関し、特に、生データ（モザイク）イメージをデモザイク処理するシステムおよび方法に関する。

カラーデジタルカメラは、漸進的に価格が低下していることもあり、消費者市場において広く普及してきている。
カラーデジタルカメラは通常、単一光センサ、すなわち電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）センサのいずれかを使用して、対象のシーンをデジタル的に取込む。
ＣＣＤセンサおよびＣＭＯＳセンサはともに、照度にしか感応しない。
したがって、これらのセンサは、異なる色を識別することはできない。
色識別を達成するには、原色、通常は赤、緑および青に関して光を分離するためにカラーフィルタリング技法を適用する。

一般的なフィルタリング技法は、センサの上に被せられるカラーフィルタアレイ（ＣＦＡ）を利用して、入射する光の色をベイヤー（Bayer）パターンで分離する。
ベイヤーパターンは、各次元（垂直および水平）の２つの異なるカラー画素の周期を有する周期的なパターンである。
水平方向では、１つの周期は、緑色画素および赤色画素か、または青色画素および緑色画素のいずれかを含む。

垂直方向では、１つの周期は、緑色画素および青色画素か、または赤色画素および緑色画素のいずれかを含む。
したがって、緑色画素の数は、赤色または青色画素の数の２倍である。
緑色画素の数に格差があるのは、人間の眼が、これら３つの色に対して等しく感応しないためである。
したがって、「実際の（true color）」イメージとして感知されるシーンのカラーイメージを生成するために、他より多くの緑色画素が必要とされる。

したがって、ＣＦＡにより、センサによって取込まれるイメージは、「生データ」イメージとも呼ばれるモザイクイメージであり、モザイクイメージの各画素は、赤、緑または青色に対する輝度値のみを保持する。
そして、モザイクイメージをデモザイク処理して、モザイクイメージの各画素の欠落した色値を推定することによりカラーイメージを生成することができる。
画素の欠落色値は、周囲の画素からの対応する色情報を使用することによって推定される。

モザイクイメージをカラー（「デモザイク」）イメージに変換する従来のデモザイク方法は複数あるが、最も基本的なデモザイク方法は、双線形補間方法である。
双線形補間方法は、所与の画素の近傍画素の色値を平均化することであって、それにより、その所与の画素の欠落色値を推定する、平均化することを含む。

例として、所与の画素に赤の色値が欠落した場合、所与の画素に隣接する画素の赤色値を平均化することにより、その所与の画素の赤色値が推定される。
このように、モザイクイメージの各画素の欠落色値を推定して、モザイクイメージをカラーイメージに変換することができる。

双線形補間方法の問題は、結果としてのカラーイメージに、イメージの特徴エッジに沿って色付きアーティファクトがもたらされる傾向がある、ということである。
色付きアーティファクトの出現に対処する所定の従来技術によるデモザイク技法は、適応補間プロセスを利用して１つまたは複数の欠落色値を推定する。

従来技術によるデモザイク技法によれば、第１および第２の分類器（classifier）が計算されることにより好ましい補間が選択され、それは、事前定義された色値に対する算術平均と近似されスケーリングされたラプラシアン２次項とを含む。
第１および第２の分類器は、水平および垂直分類器であっても、あるいは正勾配対角線および負勾配対角線分類器であってもよい。
分類器は、軸、すなわち、水平、垂直、正勾配対角線または負勾配対角線の軸に沿って、近くの画素の異なる色値を含む。
そして、２つの分類器が互いに比較されて、好ましい補間が選択される。

適応補間の従来技術によるデモザイク技法により、特徴エッジに沿った色付きアーティファクトが低減したデモザイクカラーイメージがもたらされるが、特徴エッジに沿ったカラーエイリアシングおよび色無しの「ジッパリング（zippering）」アーティファクト等、他のタイプのアーティファクトを低減するために、入力モザイクイメージを効率的にデモザイク処理するシステムおよび方法が依然として必要とされている。

生データ（「モザイク」）イメージをデモザイク処理するシステムおよび方法は、非対称補間方式を利用することにより、モザイクイメージの選択された色成分の不連続性を使用して、結果としてのデモザイクイメージにおける色不連続性を均等化する。
選択された色成分の不連続性は、他の残りの色成分の不連続性と等しいと仮定される。
このため、色不連続性均等化は、残りの色成分の不連続性を、選択された色成分の不連続性と同じにすることによって達成される。
非対称補間方式により、システムおよび方法は、結果としてのデモザイクイメージの特徴エッジに沿ったカラーエイリアシングおよび色無し「ジッパリング」アーティファクトを、色付きアーティファクトと同様に低減することができる。

本発明によるモザイクイメージをデモザイク処理することによりデモザイクイメージを導出する方法は、モザイクイメージの第１の色値を独立して補間するステップであって、それにより、デモザイクイメージの第１の補間された値を導出する、補間するステップと、モザイクイメージの第２の色値を補間するステップであって、それにより、デモザイクイメージの第２の補間された値を導出する、補間するステップと、を含む。
第２の色値を補間するステップは、第２の補間された値の不連続性を第１の補間された値の対応する不連続性と実質的に均等化することを含む。

実施形態では、第１の色値を独立して補間するステップは、少なくとも第１の補間技法と第２の補間技法とから選択される補間技法を使用して第１の色値を適応的に補間することを含んでもよい。
補間技法の選択は、水平方向と垂直方向と等、少なくとも第１の方向と第２の方向とに沿って第１および第２の色値の変化を確定することを含んでもよい。

実施形態では、第２の色値を補間するステップは、補間された第１の色値と平均化された第１の色値とを使用して色不連続性均等化値を計算することを含む。
その補間された第１の色値は、第１の補間された値と等しくてもよい。
色不連続性均等化値を、補間された第１の色値から平均化された第１の色値を減算することによって導出してもよい。

色不連続性均等化値を、モザイクイメージの第２の色値に対応するモザイクイメージの画素位置に関して補間された第１の色値をサブサンプリングすることにより、サブサンプリングされた値を導出し、そのサブサンプリングされた値を平均化することにより、平均化された第１の色値を生成することすることによって、導出してもよい。
この実施形態では、第２の色値を補間するステップは、モザイクイメージの第２の色値を平均化することにより平均化された第２の色値を導出すること、色不連続性値と平均化された第２の色値とを合計することにより第２の補間された値を導出することと、を含んでもよい。

本方法は、さらに、第１のタイプの第１の色値と第２のタイプの第１の色値との輝度不整合を選択的に補償するステップを含んでもよい。
実施形態では、選択的補償は、第１の色値の勾配および湾曲が閾値より下である場合に、モザイクイメージの第１の色値を平滑化することを含む。
また、本方法は、第１の補間された値に対してのみ作用することによりデモザイクイメージを鮮鋭化するステップを含んでもよい。

モザイクイメージをデモザイク処理してデモザイクイメージを導出するシステムは、モザイクイメージの第１の色値を独立して補間することにより、デモザイクイメージの第１の補間された値を導出する第１の補間器と、モザイクイメージの第２の色値を補間することにより、デモザイクイメージの第２の補間された値を導出する第２の補間器と、第２の補間された値の不連続性を第１の補間された値の対応する不連続性と実質的に均等化する色不連続性均等化ユニットと、を含む。

実施形態では、第１の補間器は、少なくとも第１の補間技法と第２の補間技法とから選択される補間技法を使用して第１の色値を適応的に補間するように構成される適応補間器を有する。
一実施形態では、水平方向と垂直方向と等、少なくとも第１の方向と第２の方向とに沿って第１および第２の色値の変化を確定するように構成される勾配方向検出器を含む。

実施形態では、色不連続性均等化ユニットは、補間された第１の色値と平均化された第１の色値とを使用して色不連続性均等化値を計算するように構成される。
その補間された第１の色値は、第１の補間された値と等しくてもよい。
色不連続性均等化値を、補間された第１の色値から平均化された第１の色値を減算することによって導出してもよい。

色不連続性均等化ユニットは、サブサンプリングユニットと平均化ユニットとを有してもよい。
サブサンプリングユニットは、モザイクイメージの第２の色値に対応するモザイクイメージの画素位置に関して補間された第１の色値をサブサンプリングすることにより、サブサンプリングされた値を導出するように構成される。
平均化ユニットは、サブサンプリングされた値を平均化することにより、平均化された第１の色値を生成するように構成される。
この実施形態では、第２の補間器は、モザイクイメージの第２の色値を平均化することにより平均化された第２の色値を導出するように構成される平均化ユニットと、色不連続性均等化値と平均化された第２の色値とを合計することにより第２の補間された値を導出するように構成される加算ユニットと、を有してもよい。

本システムは、さらに、第１のタイプの第１の色値と第２のタイプの第１の色値との輝度不整合を選択的に補償するように構成される輝度不整合補償器を含んでもよい。
実施形態では、輝度不整合補償器は、第１の色値の勾配および湾曲が閾値より下である場合に、モザイクイメージの第１の色値を平滑化するように構成されてもよい。
また、本システムは、第１の補間された値に対してのみ作用することによりデモザイクイメージを鮮鋭化するように構成されるイメージ鮮鋭化器を含んでもよい。

本発明の他の態様および利点は、本発明の原理を例として示す添付図面を考慮して以下の詳細な説明から明らかとなろう。

本発明によれば、画像処理の分野において、生データ（モザイク）イメージなどをデモザイク処理することができる。

図１を参照すると、本発明によるイメージ処理システム１００が示されている。
イメージ処理システムは、対象のシーンをモザイクまたは生データイメージとしてデジタル的に取込むように動作する。
そして、モザイクイメージはデモザイク処理され、その後システムに格納するために圧縮される。
イメージ処理システムは、特徴エッジに沿ったカラーエイリアシングおよび色無し「ジッパリング」アーティファクトを色付きアーティファクトと同様に低減する、双線形補間に基づくデモザイクプロセスを利用する。

イメージ処理システム１００は、イメージ取込ユニット１０２と、デモザイク処理ユニット１０４と、圧縮ユニット１０６と、記憶ユニット１０８と、を有する。
画像取込ユニットは、センサとカラーフィルタアレイ（ＣＦＡ）とを有する。
センサは、電荷結合素子（ＣＣＤ）であっても、相補型金属酸化膜半導体（ＣＭＯＳ）センサであっても、他のタイプの光電センサであってもよい。

例示的な実施形態では、ＣＦＡは、ベイヤーフィルタパターンに配置された赤（Ｒ）、緑（Ｇ）および青（Ｂ）フィルタを有する。
しかしながら、ＣＦＡは、異なるフィルタパターンで配置された他の色のフィルタを含んでもよい。
ＣＦＡは、センサの各光電素子に、特定の色の光のみが透過できるようにする。
このため、イメージ取込ユニットによって取込まれたデジタルイメージは、ＣＦＡのフィルタパターンにしたがった色パターンで配置される単色画素からなるモザイクイメージである。
したがって、モザイクイメージの各画素は、単色、たとえばＲ、ＧまたはＢのみに対する輝度値を有する。

例示的な実施形態では、イメージ取込ユニット１０２によって獲得されたモザイクイメージの単色画素は、イメージ取込ユニットのＣＦＡの構成により、ベイヤーパターンで配置される。
ベイヤーパターンのモザイクイメージの一部を、図２Ａに示す。
モザイクイメージの各画素が単色のみに対する輝度値を有するため、各画素には、カラーまたはデモザイクイメージをもたらすために必要とされる他の２色に対する輝度値が欠落している。

図２Ａに示すように、モザイクイメージのＧ色画素を、Ｇ１またはＧ２のいずれかとして識別する。
したがって、図２Ａのモザイクイメージを、図２Ｂに示すような４つの色成分、Ｒ、Ｇ１、Ｇ２およびＢに関して分解することができる。
モザイクイメージのこれらの分解を、本明細書では、時にＧ１平面２０２、Ｇ２平面２０４、Ｒ平面２０６およびＢ平面２０８と呼ぶことにする。
Ｇ１およびＧ２平面を、本明細書では、まとめてＧ平面と呼ぶ。

センサによっては、Ｇ１位置においてＧ輝度値を取込む光電素子は、Ｇ２位置においてＧ輝度値を取込む光電素子とは異なる応答を有する場合がある。
したがって、Ｇ１およびＧ２位置における輝度値は、光電素子の応答差のために人為的な変動を有する可能性がある。
これらの人為的な変動を、本明細書では「Ｇ１−Ｇ２不整合」と呼ぶことにする。

イメージ処理システム１００のデモザイク処理ユニット１０４は、入力モザイクイメージをデモザイク処理することにより、結果としてのデモザイクイメージの各画素が、カラーまたはデモザイクイメージを生成するために３原色、たとえばＲ、ＧおよびＢのすべてに対する輝度値を有するように動作する。
デモザイク処理ユニットは、周囲の画素からの入手可能な輝度値を使用することにより、入力モザイクイメージの各画素に対して欠落輝度値を推定する。
また、デモザイク処理ユニットは、イメージ鮮鋭化とＧ１−Ｇ２不整合補償とを実行してもよい。
デモザイク処理ユニットの動作については後に詳述する。

イメージ処理システム１００の圧縮ユニット１０４は、デモザイク処理ユニット１０４によって生成されたデモザイクイメージを圧縮して圧縮イメージファイルにするように動作する。
例として、圧縮ユニットは、ＪＰＥＧ圧縮方式等のＤＣＴベース圧縮方式を使用してデモザイクイメージを圧縮してもよい。

図１において、圧縮ユニットとデモザイク処理ユニットとをイメージ処理システムの別個のコンポーネントとして示すが、これらのコンポーネントを、特定用途向け集積チップ（ＡＳＩＣ）に統合してもよい。
代替的に、圧縮ユニットとデモザイク処理ユニットとを、プロセッサ（図示せず）によって実行される場合にこれらのユニットの機能を実行するソフトウェアプログラムとして組み込んでもよい。

イメージ処理システム１００の記憶ユニット１０８は、圧縮ユニット１０６からの圧縮イメージファイルを格納する媒体を提供する。
記憶ユニットは、ＤＲＡＭ等の従来の記憶メモリであってもよい。
代替的に、記憶ユニットは、標準コンピュータフロッピーディスク等のリムーバブル記憶媒体とインタフェースするドライブであってもよい。

システム１００のイメージ取込ユニット１０２と、デモザイク処理ユニット１０４と、圧縮ユニット１０６と、記憶ユニット１０８とを、デジタルカメラ等の単一機器に含めてもよい。
代替的に、イメージ取込ユニットを、別個の機器に含めてもよい。
この代替実施形態では、デモザイク処理ユニットと圧縮ユニットと記憶ユニットとの機能を、コンピュータによって実行してもよい。

図３を参照すると、デモザイク処理ユニット１０４のコンポーネントを例示するブロック図が示されている。
図３に示すように、デモザイク処理ユニットは、色分離器３０２と、Ｇパスモジュール３０４と、カラーパスモジュール３０６と、を有する。
色分離器は、入力モザイクイメージの観察の窓を受取り、その後、色に関して観察窓内の輝度値を分離する。

これにより、輝度値が、Ｒ、ＧおよびＢに関して分離される。
ＲおよびＢ輝度値は、カラーパスモジュールに送られ、Ｇ輝度値は、Ｇパスモジュールとカラーパスモジュールとの両方に送られる。
図３には図示しないが、ＲおよびＢ輝度値もまた、図５に関して説明するようにＧパスモジュールに送られる。

Ｇパスモジュールは、観察窓のＧ輝度値を補間することにより、入力モザイクイメージの観察窓内の各画素に対し補間されたＧ輝度値（「Ｇ'値」）を生成し、カラーパスモジュールは、ＲおよびＢ輝度値を補間することにより、観察窓内の各画素に対し補間されたＲおよびＢ輝度値（「Ｒ'およびＢ'値」）を生成する。
したがって、観察窓内の各画素は、最初の観察窓に対応するデモザイク窓を生成するためにＲ、ＧおよびＢ値を有する。

入力モザイクイメージの観察窓のすべてが処理されると、完全なデモザイクイメージが生成される。
例示的な実施形態では、Ｇパスモジュールはまた、Ｇ１−Ｇ２不整合を補償し、Ｇ輝度値のみに関して入力モザイクイメージの所与の観察窓を鮮鋭化することにより、結果としてのデモザイクイメージを鮮鋭化する。
さらに、カラーパスモジュールは、Ｇ輝度値によって提供される情報を考慮することにより、色不連続性均等化を提供する。
色不連続性均等化は、イメージの同じ位置における別の色の不連続性を分析することにより、モザイクイメージ内の特定の色の空間的不連続性を推定するプロセスである。

色不連続性均等化は、デモザイク処理ユニット１０４によって、イメージ内の局所的な色不連続性が各色成分に対して同じであると仮定することにより提供される。
すなわち、局所的な輝度値の変化は、Ｒ、ＧおよびＢ輝度値に対して同じである。
この仮定を、以下のように表現することができる。
△Ｒ＝△Ｇ＝△Ｂ （１）

Ｇ輝度値の局所的な色不連続性がイメージを通して入手可能であるとする場合、ＲおよびＢ輝度値の局所的な色不連続性を、Ｇ輝度値の色不連続性に関して表現することができる。
そして、Ｒの局所的な色不連続性を、以下のように表現することができる。
△Ｒ＝△Ｇ （２）
ここで、△Ｒ＝Ｒ−Ｒ０および△Ｇ＝Ｇ−Ｇ０である。

上記式では、Ｒ０およびＧ０は、それぞれ入手可能なＲおよびＧ輝度値の局所平均である。
同様に、Ｂの局所的な色不連続性を、以下のように表現することができる。
△Ｂ＝△Ｇ （３）
ここで、△Ｂ＝Ｂ−Ｂ０である。

式（３）において、Ｂ０は、入手可能なＢ輝度値の局所平均である。
式（２）および（３）を使用して、Ｇの色不連続性を均等化するＲおよびＢ輝度値を推定することができる。
すなわち、式（２）を、以下のように書換えることができる。
Ｒ＝Ｒ０＋△Ｇ （４）

また、式（３）を以下のように書換えることができる。
Ｂ＝Ｂ０＋△Ｇ （５）

なお、式（４）および（５）は、△Ｇが△Ｒおよび△Ｂと等しいため、オリジナルのモザイクイメージから入手可能なすべての色値がそのままである、ということを暗示している。
式（４）を、さらに以下のように書換えることができる。
Ｒ＝Ｇ＋ＣＲ０ （６）

ここで、ＣＲ０＝Ｒ０−Ｇ０である。
式（６）において、Ｒは、Ｇに何らかの色オフセット補正ＣＲ０を足したものに等しいと見られる。
この色オフセット補正は、ＧとＲとの局所平均の差に厳密に等しい。
同様に、式（５）を以下のように書換えることができる。
Ｂ＝Ｇ＋ＣＢ０ （７）
ここで、ＣＢ０＝Ｂ０−Ｇ０である。

実際には、デモザイク処理プロセスのために式（６）および（７）を使用することにより、デモザイクイメージの特徴エッジに沿ってカラー「ジッパリング」アーティファクトがもたらされる。
色オフセット補正項は、ＧおよびＲの局所平均とＧおよびＢの局所平均とを比較することによって取得される。

しかしながら、比較された平均は、同じ画素位置から抽出されない。
このため、式（６）および（７）に基づく色オフセット補正により、特に特徴エッジ上等、高輝度勾配がある場合に比較が食い違う。
しかしながら、Ｇ値がすべての画素位置において入手可能である場合、Ｇの局所平均を、いかなる画素位置においても計算することができる。

ＣＲ０の計算の最良の精度のために、Ｇ値を、Ｒ位置から抽出しなければならない。
同様に、Ｇ値を、ＣＢ０の計算においてＢ位置から抽出しなければならない。
このため、式（６）および（７）を、以下のように変更することができる。
Ｒ＝Ｒ０＋△ＧＲ （８）
ここで、△ＧＲ＝Ｇ−ＧＲ０である。
また、
Ｂ＝Ｂ０＋△ＧＢ （９）
ここで、△ＧＢ＝Ｇ−ＧＢ０である。

上記式において、ＣＲ０およびＣＢ０は、それぞれＲ位置とＢ位置とから計算されたＧ平均を示す。
式（８）および（９）の項△ＧＲおよび△ＧＢは、Ｇ値によりＲおよびＢ値の色不連続性を均等化するための色不連続性均等化値を表す。

デモザイク処理ユニット１０４のＧパスモジュール３０４は、Ｇ輝度値に作用することにより、Ｇ輝度値を独立して補間し、Ｇ輝度値がすべての画素位置において入手可能であるようにする。
デモザイク処理ユニットのカラーパスモジュール３０６は、式（８）および（９）を利用して、補間されたＲおよびＢ輝度値を生成することにより、色不連続性が均等化されたデモザイクイメージをもたらす。

図３に示すように、デモザイク処理ユニット１０４のＧパスモジュール３０４は、Ｇ１−Ｇ２不整合補償器３０８と、適応補間器３１０と、イメージ鮮鋭化器３１２と、を有する。
Ｇ１−Ｇ２不整合補償器は、低輝度変動のある入力モザイクイメージの領域においてＧ１−Ｇ２不整合によってもたらされるＧ１およびＧ２画素の輝度値差を選択的に平滑化するように動作する。

図４に示すように、Ｇ１−Ｇ２不整合補償器は、画素単位勾配および湾曲量検出器４０２と、Ｇ１−Ｇ２平滑化ユニット４０４と、選択器４０６と、を有する。
画素単位勾配および湾曲量検出器は、入力モザイクイメージの所与の観察窓がＧ輝度値に関して低輝度の領域であるか否かを示す信号を生成する。
Ｇ１−Ｇ２平滑化ユニットは、所与の観察窓のＧ輝度値を平滑化するために以下のマスクを使用して畳み込みを実行する。

上記マスクの使用により、すべてのＧ１入力が、考慮された入力と４つのＧ２近傍値の平均との中間点により置換される。
同じことが、すべてのＧ２入力にそれらのＧ１近傍に関して適用される。

画素単位勾配および湾曲量検出器４０２からの信号と、Ｇ１−Ｇ２平滑化ユニット４０４からのＧ１−Ｇ２平滑化されたＧ輝度値とは、選択器４０６によって受取られる。
選択器はまた、入力モザイクイメージの現観察窓のオリジナルＧ輝度値も受取る。
画素単位勾配および湾曲量検出器からの信号に応じて、選択器は、さらなる処理のために、Ｇ１−Ｇ２平滑化されたＧ輝度値かまたはオリジナルのＧ輝度値のいずれかを送出する。

図４に示すように、画素単位勾配および湾曲量検出器４０２は、水平勾配フィルタ４０８と、水平湾曲フィルタ４１０と、垂直勾配フィルタ４１２と、垂直湾曲フィルタ４１４と、変化量分析器４１６と、を有する。
フィルタ４０８〜４１４の出力は、変化量分析器４１６に供給される。
変化量分析器の出力は、選択器４０６に供給される。
水平勾配フィルタ４０８と水平湾曲フィルタ４１０とは、以下のマスクを利用して、入力モザイクイメージの観察窓のＧ輝度値に対する水平勾配変化値と水平湾曲変化値とを導出する。

垂直勾配フィルタ４１２と垂直湾曲フィルタ４１４とは、以下のマスクを利用して、所与の観察窓のＧ輝度値に対する垂直勾配変化値と垂直湾曲変化値とを導出する。

変化量分析器４１６は、水平および垂直フィルタ４０８〜４１４から変化値を受取り、現観察窓の最大輝度変化量として識別される最高変化値を選択する。
そして、最大輝度変化量が所定閾値と比較されることにより、Ｇ１−Ｇ２不整合補償が必要であるか否かが判断される。
最大輝度変化量が所定閾値を超える場合、Ｇ１−Ｇ２平滑化されたＧ輝度値が選択されるように、選択器４０６に信号が送られる。
そうでない場合、変化量分析器は、選択器により現観察窓のオリジナルＧ輝度値が選択されるように、異なる信号を送る。

図３に戻ると、Ｇパスモジュール３０４の適応補間器３１０は、Ｇ１−Ｇ２不整合補償器３０８からの入力モザイクイメージの現観察窓のＧ輝度値を受取るように配置される。
適応補間器は、窓のＲおよびＢ画素位置に対する欠落Ｇ輝度値を推定するための入力モザイクイメージの観察窓内の輝度変化によって、水平補間または垂直補間を選択的に適用するように動作する。
適応補間器の基礎となる考えは、イメージ輝度変化が局所的に垂直であるように検出された場合に水平補間を実行することか、またはイメージ変化が局所的に水平であると検出された場合に垂直補間を実行することである。

図５に示すように、適応補間器３１０は、水平補間ユニット５０２と、垂直補間ユニット５０４と、画素単位勾配方向検出器５０６と、選択器５０８と、を有する。
水平補間ユニットと垂直補間ユニットとは、各々、以下のマスクを使用してＧ１−Ｇ２不整合補償器３０８からのＧ輝度値に対して水平補間と垂直補間とを実行する。

適応補間器３１０の画素単位勾配方向検出器５０６は、補間されたＧ輝度値として水平補間の結果を選択すべきであるかまたは垂直補間の結果を選択すべきであるかを判断する。
画素単位勾配方向検出器は、水平Ｇ変化フィルタ５１０と、水平非Ｇ変化フィルタ５１２と、垂直Ｇ変化フィルタ５１４と、垂直非Ｇ変化フィルタ５１６と、を有する。

Ｇ変化フィルタ５１０および５１４は、入力モザイクイメージの現観察窓のＧ輝度値に対して作用し、非Ｇ変化フィルタ５１２および５１６は、ＲおよびＢ輝度値に対して作用する。
変化フィルタ５１０〜５１６は、以下のマスクを利用して、入力モザイクイメージの現観察窓のＧ輝度値または非Ｇ輝度値に関して水平および垂直変化値を導出する。

画素単位勾配方向検出器５０６はまた、絶対値ユニット５１８、５２０、５２２および５２４と、加算ユニット５２６および５２８と、変化分析器５３０と、を有する。
各絶対値ユニットは、変化フィルタ５１０〜５１６のうちの１つから変化値を受取り、その後、絶対値を取ることにより正変化値を導出する。
それはその後、加算ユニット５２６および５２８のうちの１つに送られる。

加算ユニット５２６は、絶対値ユニット５１８および５２０からの正変化値を加算することにより水平変化値を導出し、加算ユニット５２８は、絶対値ユニット５２２および５２４からの正変化値を加算することにより垂直変化値を導出する。
そして、水平および垂直値は、変化分析器によって評価される。

変化分析器は、水平値が垂直値より大きいか否かを判断する。
大きい場合、変化分析器は、選択器５０８に対して水平補間の結果を送出するように命令する信号を送出する。
大きくない場合、変化分析器は、選択器に対して垂直補間の結果を送るように命令する、異なる信号を送出する。

画素単位勾配方向検出器５０６によって導出される水平値および垂直値は、湾曲および勾配情報を含む。
入力モザイクイメージのＧ位置において、Ｇ輝度値の畳み込みに含まれる水平マスクの係数は、［１ ０ −２ ０ １］であり、非Ｇ輝度値、すなわちＲおよびＧ輝度値の畳み込みに含まれる水平マスクの係数は、［０ −１ ０ １ ０］である。

したがって、Ｇ位置では、湾曲はＧ輝度値によって与えられ、勾配は非Ｇ輝度値によって与えられる。
対照的に、非Ｇ位置では、湾曲は非Ｇ輝度値によって与えられ、勾配はＧ輝度値によって与えられる。
しかしながら、勾配と湾曲との合計のみが必要であるため、このＧ輝度値と非Ｇ輝度値との交互の役割は、主なイメージ変化方向の検出に影響を与えない。
同じ理由が、垂直変化値に適用される。

図３に戻ると、Ｇパスモジュール３０４のイメージ鮮鋭化器３１２は、適応補間器３１０から補間されたＧ輝度値を受取るように配置される。
イメージ鮮鋭化器は、モザイクイメージの現観察窓のＧ輝度値のみに対して以下の鮮鋭化マスクを適用することにより、全体的なイメージ品質を向上させるように動作する。

デモザイク処理ユニット１０４のＧパスモジュール３０４の全動作を、図６に関して説明する。
ステップ６０２において、入力モザイクイメージの観察窓内のＧ輝度値が、Ｇパスモジュールによって受取られる。
次に、ステップ６０４において、Ｇ１−Ｇ２不整合補償器３０８のＧ１−Ｇ２平滑化ユニットにより、受取られたＧ輝度値に対してＧ１およびＧ２輝度差の平滑化が実行されることによってＧ１−Ｇ２補償された輝度値が導出される。

ステップ６０６において、Ｇ１−Ｇ２不整合補償器の変化量分析器４１６により、Ｇ１−Ｇ２不整合補償器の水平勾配フィルタ４０８と、水平湾曲フィルタ４１０と、垂直勾配フィルタ４１２と、垂直湾曲フィルタ４１４と、によって生成される変化値から、観察窓の最大輝度変化量が確定される。
ステップ６０８において、最大輝度変化量が所定閾値より大きいか否かが判断される。

大きい場合、現観察窓が、Ｇ１−Ｇ２不整合補償（Ｇ１およびＧ２輝度差の平滑化）を実行すべきではない高輝度変化の領域であると判断される。
このため、プロセスはステップ６１０に進み、そこで、オリジナルＧ輝度値がさらに処理されるために送出される。
しかしながら、最大輝度変化量が閾値より大きくない場合、現観察窓は、Ｇ１−Ｇ２不整合補償を実行すべきである低輝度変化の領域であると判断される。
このため、プロセスはステップ６１２に進み、Ｇ１−Ｇ２補償された輝度値がさらに処理されるために送出される。

次に、ステップ６１４において、適応補間器３１０の水平補間ユニット５０２により、水平補間が実行される。
同様に、ステップ６１６において、適応補間器の垂直補間ユニット５０４により、垂直補間が実行される。

次に、ステップ６１８において、適応補間器の水平Ｇ変化フィルタ５１０と、水平非Ｇ変化フィルタ５１２と、絶対値ユニット５１８および５２０と、加算ユニット５２６と、によって、水平変化値が計算される。
さらに、適応補間器の垂直Ｇ変化フィルタ５１４と、垂直非Ｇ変化フィルタ５１６と、絶対値ユニット５２２および５２４と、加算ユニット５２８と、によって、垂直変化値が計算される。

ステップ６１４、６１６および６１８は、好ましくは並列に実行される。
ステップ６２０において、水平変化値が垂直変化値より大きいか否かが判断される。
大きい場合、ステップ６２２において、水平補間の結果が、さらに処理されるために送出される。

大きくない場合、ステップ６２４において、垂直補間の結果が、さらに処理されるために送出される。
次に、ステップ６２６において、Ｇパスモジュール３０４のイメージ鮮鋭化器３１２により、補間されたＧ輝度値に対して鮮鋭化マスクを適用することによってイメージ鮮鋭化が実行される。

例示的な実施形態では、デモザイク処理ユニット１０４のＧパスモジュール３０４は、Ｇ１−Ｇ２不整合補償器３０８とイメージ鮮鋭化器３１２との両方を有する。
しかしながら、Ｇパスモジュールのこれらのコンポーネントのうちの一方または両方を、Ｇパスモジュールから取除いてもよい。

例として、Ｇ１−Ｇ２不整合が、システム１００のイメージ取込ユニット１０２によって生成されるモザイクイメージの重大な要因でない場合、Ｇ１−Ｇ２不整合補償器を、Ｇパスモジュールに含めなくてもよい。
このため、Ｇ１−Ｇ２不整合補償器とイメージ鮮鋭化器とは、Ｇパスモジュールの任意のコンポーネントである。

デモザイク処理ユニット１０４のＧパスモジュール３０４の出力は、最終的な補間されたＧ輝度値（「Ｇ'値」）のセットである。
後述するように、カラーパスモジュール３０６の出力は、最終的な補間されたＲ輝度値（「Ｒ'値」）のセットと最終的な補間されたＢ輝度値（「Ｂ'値」）のセットとである。
これらの輝度値は、デモザイクカラーイメージの色成分を表す。
式（８）および（９）を使用することにより、カラーパスモジュールによって生成されるデモザイクイメージのＲ'およびＢ'値は、イメージのＧ成分に関してデモザイクイメージのＲおよびＢ成分の不連続性均等化を提供する色不連続性均等化成分を含む。

図３に示すように、デモザイク処理ユニット１０４のカラーパスモジュール３０６は、Ｒ処理ブロック３１４と、Ｇ処理ブロック３１６と、Ｂ処理ブロック３１８と、を含む。
これらのブロックの各々は、入力モザイクイメージの現観察窓の色平面のうちの１つのみに対して作用する。
たとえば、Ｒ処理ブロックは、観察窓のＲ平面に対してのみ作用する。

しかしながら、後述するように、Ｇ処理ブロックからの結果が、ＲおよびＢ処理ブロックによって使用されることにより、色不連続性均等化のために異なる色平面間の色補正がもたらされる。
このため、最初にカラーパスモジュールのＧ処理ブロックを説明する。

カラーパスモジュール３０６のＧ処理ブロック３１６は、適応補間器３２０と、Ｒサブサンプリングユニット３２２と、Ｂサブサンプリングユニット３２４と、補間および平均化フィルタ３２６および３２８と、を含む。
適応補間器３２０は、Ｇパスモジュール３０４の適応補間器３１０と同一である。
このため、Ｇ処理ブロックの適応補間器３２０は、入力モザイクイメージの観察窓のＧ輝度値に作用してＧ輝度値を適応的に補間することにより、観察窓のＲ位置とＢ位置とに対する欠落Ｇ輝度値を導出する。

Ｒサブサンプリングユニットは、観察窓のＲ位置に関して適応補間器３２０からの補間されたＧ輝度値（「Ｇ０値」）をサブサンプリングするように動作する。
すなわち、入力モザイクイメージの観察窓のＲ位置においてＧ０値がサブサンプリングされることにより、ＲサブサンプリングされたＧ０値が導出される。

同様に、Ｂサブサンプリングユニットは、観察窓のＢ位置に関するＧ０値をサブサンプリングすることにより、ＢサブサンプリングされたＧ０値を導出する。
そして、補間および平均化フィルタ３２６は、以下の平均化マスクを使用してＲサブサンプリングされたＧ０値を補間し平均化する。

同様に、補間および平均化フィルタ３２８は、同じ平均化マスクを使用してＢサブサンプリングされたＧ０値を補間し平均化する。
補間および平均化フィルタ３２６および３２８から、Ｒサブサンプリングされ補間されたＧ０値（「ＧＲ０値」）がＲ処理ブロック３１４に送られ、Ｂサブサンプリングされ補間されたＧ０値（「ＧＢ０」値）がＢ処理ブロック３１８に送られる。

カラーパスモジュール３０６のＧ処理ブロック３１６の動作を、図７を参照して説明する。
ステップ７０２において、入力モザイクイメージの観察窓内のＧ輝度値が、Ｇ処理ブロックの適応補間器３２０によって受取られる。
次に、ステップ７０４において、適応補間器３２０により、Ｇ輝度値に対して適応補間が実行される。

現観察窓のＧ輝度値に関連する水平および垂直変化値に応じて、水平補間または垂直補間のいずれかから、適応補間の結果が導出される。
そして、図７に示すように、プロセスは２つの並列パスに分かれる。
第１のパスは、ステップ７０６、７０８および７１０を含む。

ステップ７０６において、Ｇ０値は、Ｇ処理ブロックのＲサブサンプリングユニット３２２により観察窓のＲ位置に関してサブサンプリングされる。
そして、ステップ７０８において、ＲサブサンプリングされたＧ０値が、補間および平均化フィルタ３２６によって補間され平均化されることにより、ＧＲ０値が導出される。

次に、ステップ７１０において、ＧＲ０値がＲ処理ブロック３１４に送出される。
第２のパスは、ステップ７１２、７１４および７１６を含む。
ステップ７１２において、Ｇ０値は、Ｂサブサンプリングユニット３２４によりＢ位置に関してサブサンプリングされる。

そして、ステップ７１４において、ＢサブサンプリングされたＧ０値が、補間および平均化フィルタ３２８によって補間され平均化されることにより、ＧＢ０値が導出される。
次に、ステップ７１６において、ＧＢ０値がＢ処理ブロック３１８に送出される。
ステップ７０６〜７１０は、好ましくは、ステップ７１２〜７１６に並列に実行される。

カラーパスモジュール３１４のＲ処理ブロック３１４は、補間および平均化フィルタ３３０と、減算ユニット３３２と、加算ユニット３３４と、を有する。
補間および平均化フィルタ３３０は、Ｇ処理ブロック３１６の補間および平均化フィルタ３２６および３２８と同じ平均化マスクを使用して入力モザイクイメージの現観察窓のＲ輝度値を補間し平均化する。

そして、減算ユニットは、平均化されたＲ値（「Ｒ０値」）を、Ｇ処理ブロックの補間および平均化フィルタ３２６からのＧＲ０値と同様に受取る。
観察窓の各画素に対し、減算ユニットは、対応するＲ０値からＧＲ０値を減算することにより、減算値（「Ｒ０−ＧＢ０値」）を導出する。

そして、加算ユニットは、減算ユニットからのＲ０−ＧＢ０値を、Ｇパスモジュール３０４からのＧ'値と同様に受取る。
観察窓の各画素に対し、加算ユニットは、Ｒ０−ＧＢ０値と対応するＧ'値とを加算することにより、最終的な補間されたＲ輝度値（「Ｒ'値」）を導出する。
これらのＲ'値は、デモザイクイメージのＲ成分を表す。

カラーパスモジュール３０６のＲ処理ブロック３１４の動作を、図８を参照して説明する。
ステップ８０２において、入力モザイクイメージの観察窓内のＲ輝度値が、Ｒ処理ブロックの補間および平均化フィルタ３３０によって受取られる。

次に、ステップ８０４において、補間および平均化フィルタ３３０により、Ｒ輝度値が補間され平均化される。
ステップ８０６において、Ｒ処理ブロックの減算ユニット３３２により、Ｒ０値から、Ｇ処理ブロック３１６の補間および平均化フィルタ３２６からのＧＲ０値が減算される。

次に、ステップ８０８において、加算ユニット３３４により、減算ユニットからのＲ０−ＧＲ０値がＧパスモジュール３０４からのＧ'値に加算されることにより、観察窓のＲ'値が導出される。
そして、ステップ８１０において、Ｒ'値がＲ処理ブロックから出力される。

Ｒ処理ブロック３１４と同様に、カラーパスモジュール３０６のＢ処理ブロック３１８は、補間および平均化フィルタ３３６と、減算ユニット３３８と、加算ユニット３４０と、を有する。
補間および平均化フィルタ３３６は、Ｒ処理ブロックの補間および平均化フィルタ３３０と同じ平均化マスクを使用して入力モザイクイメージの所与の観察窓内のＢ輝度値を補間し平均化する。

そして、減算ユニット３３８は、平均化されたＢ値（「Ｂ０値」）を、Ｇ処理ブロック３１６の平均化ユニット３２８からのＧＢ０値と同様に受取る。
観察窓の各画素に対し、減算ユニット３３８は、対応するＢ０値からＧＢ０値を減算することにより減算値（「Ｂ０−ＧＢ０値」）を導出する。
そして、加算ユニット３４０は、減算ユニットからのＲ０−ＧＢ０値を、Ｇパスモジュール３０４からのＧ'値と同様に受取る。

観察窓の各画素に対し、加算ユニット３４０は、Ｒ０−ＧＢ０値と対応するＧ'値とを加算することにより、最終的なＢ補間された値（「Ｂ'値」）を導出する。
これらのＢ'値は、デモザイクイメージのＢ成分を表す。
Ｂ処理ブロックの動作は、Ｒ処理ブロックの動作と類似しているため、本明細書では説明しない。

カラーパスモジュール３０６の上記説明から、Ｇ処理ブロック３１６とＲおよびＢ処理ブロック３１４および３１８の減算および加算ユニット３３２、３３４、３３８および３４０とが、色不連続性均等化値、すなわち、式（８）および（９）の△ＧＲおよび△ＧＢを、入力モザイクイメージのＲ０およびＢ０値に織込むように動作することにより、色不連続性が均等化されたデモザイクイメージをもたらすＲ'およびＢ'値を生成する、ということが分かる。
入力モザイクイメージのＲ成分の色不連続性均等化値は、最初にＲ０値からＧ処理ブロックによって生成されるＧＲ０値を減算し、その後Ｇパスモジュール３０４から生成されるＧ'値を加算することにより、Ｒ０値に加算される。
同様に、入力モザイクイメージのＢ成分の色不連続性均等化値は、最初にＲ０値からＧ処理ブロックによって生成されるＧＢ０値を減算し、次にＧパスモジュール３０４から生成されるＧ'値を加算することにより、Ｂ０値に加算される。

メモリ容量が制限された他のタイプの実装と同様に、ＡＳＩＣ実装では、デモザイク処理ユニット１０４の所望の特徴は、必要な畳み込みのすべてが、イメージ処理の単一段中に並列で実行される、ということである。
複数段の畳み込みは、通常、中間ラインバッファを必要とし、それによりシステムのコストが増大する。

別の望ましい特徴は、デモザイク処理ユニットが、サイズの小さい畳み込み窓に対して作用する、ということである。
畳み込み窓のサイズは、必要とされるラインバッファの数を確定する。
このため、ラインバッファの数を低減するためには、畳み込み窓を小さくすることが望ましい。

さらに別の望ましい特徴は、３×３より大きい平均化マスクを使用することである。
３×３平均化マスクを使用することにより、カラーエイリアシングに関して不十分なデモザイクイメージが生成される。
このため、マスクのサイズは少なくとも５×５でなければならない。
以下は、上述した特徴を具体化することができるＧパスモジュール３０４とカラーパスモジュール３０６のＧ処理ブロック３１６との代替実施形態である。

図９に、適応補間およびイメージ鮮鋭化機能を有するＧパスモジュール９０２を示す。
Ｇパスモジュール９０２は、適応補間器３１０とイメージ鮮鋭化器３１２とのみを有する、図３のＧパスモジュール３０４と機能的に等価である。
図９に示すように、Ｇパスモジュール９０２は、水平補間ユニット５０２と、垂直補間ユニット５０４と、画素単位勾配方向検出器５０６と、選択器５０８と、を有する。

Ｇパスモジュール９０２のこれらのコンポーネント５０２〜５０８は、図５に示す、図３の適応補間器３１０に見られるコンポーネントと同じである。
コンポーネント５０２〜５０８は、画素単位勾配方向検出器５０８の判断に応じて、水平補間の結果かまたは垂直補間の結果を送出するように動作する。

また、図９のＧパスモジュール９０２は、水平微分フィルタ９０４と、垂直微分フィルタ９０６と、選択器９０８と、加算ユニット９１０と、を有する。
Ｇパスモジュールのこれらのコンポーネント９０４〜９１０は、図３のＧパスモジュール３０４のイメージ鮮鋭器３１２によって実行されるイメージ鮮鋭化に近似するように動作する。

図３のＧパスモジュール３０４の適応補間器３１０とイメージ鮮鋭化器３１２との動作を、所与のＧ輝度値に水平または垂直補間マスクを適用し、その後鮮鋭化マスクを適用することとして、見ることができる。
鮮鋭化動作を、非補間輝度値の微分成分を加算すること解釈することができる。
したがって、結合された補間および鮮鋭化マスクを、以下のように分解することができる。

ここで、

したがって、Ｇパスモジュール９０２のコンポーネント９０４〜９１０は、補間されたＧ輝度値の適当な微分成分を選択的に加算するように動作する。
水平および垂直微分フィルタ９０４および９０６は、水平および垂直微分マスクを各々使用して入力モザイクイメージの所与の観察窓内のＧ輝度値に対して独立して作用する。
選択器９０８は、画素単位勾配方向検出器５０６の判断に応じて、垂直鮮鋭化の結果または水平鮮鋭化の結果のいずれかを送出する。

一シナリオでは、加算ユニット９１０により、水平補間と水平鮮鋭化との結果が結合されることにより、Ｇ'値が生成される。
別のシナリオでは、加算ユニット９１０により垂直補間と垂直鮮鋭化との結果が結合されることにより、Ｇ'値が生成される。

しかしながら、図９のＧパスモジュール９０２によって実行される補間および鮮鋭化は、概して、逐次適応補間とイメージ鮮鋭化とを実行する適応補間器３１０とイメージ鮮鋭化器３１２とのみを有する図３の均等化のＧパスモジュールによって生成されるものと同じＧ'値をもたらさない。
図９のＧパスモジュール９０２の場合、鮮鋭化畳み込みの出力値は、オリジナルのＧ輝度値から導出されるが、図３の均等化のＧパスモジュールの鮮鋭化畳み込みの出力値は、水平補間されたＧ輝度値かまたは垂直補間されたＧ輝度値のいずれかから導出される。
しかしながら、この差異は、デモザイクイメージに顕著なアーティファクトをもたらさない。

図１０に、Ｇ１−Ｇ２不整合補償および適応補間機能を有するＧパスモジュール１００２を示す。
Ｇパスモジュール１００２は、Ｇ１−Ｇ２不整合補償器３０８と適応補間器３１０とのみを有する図３のＧパスモジュール３０４と機能的に等価である。

図１０に示すように、Ｇパスモジュール１００２は、水平補間ユニット５０２と、垂直補間ユニット５０４と、画素単位勾配方向検出器５０６と、選択器５０８と、を有する。
Ｇパスモジュール１００２のこれらのコンポーネント５０２〜５０８は、図５に示す、図３の適応補間器３１０に見られるものと同じコンポーネントである。
コンポーネント５０２〜５０８は、画素単位勾配方向検出器５０８の判断に応じて、水平補間の結果かまたは垂直補間の結果を送るように動作する。

また、図１０のＧパスモジュール１００２は、平滑化および水平補間フィルタ１００４と、平滑化および垂直補間フィルタ１００６と、選択器１００８と、第２段選択器１０１０と、画素単位勾配および湾曲量検出器４０２と、を有する。
フィルタ１００４および１００６は、単一段プロセスで適応補間とＧ１−Ｇ２不整合補償とをともに実行する。
フィルタ１００４および１００６は、以下のマスクを使用してＧ輝度値に対して作用する。

選択器１００８は、画素単位勾配方向検出器による判断に応じて、水平補間およびＧ１−Ｇ２平滑化あるいは垂直補間およびＧ１−Ｇ２平滑化のいずれかの結果を第２段選択器に送出する。
第２段選択器もまた、選択器５０８から水平補間かまたは垂直補間のいずれかの結果を受取る。
第２段選択器は、画素単位勾配および湾曲量検出器によって行われる判断に応じて、さらなる処理を行うために、選択器５０８からの出力値かまたは選択器１００８からの出力値のいずれかを送出する。

図９のＧパスモジュール９０２と同様に、図１０のＧパスモジュール１００２は、概して、Ｇ１−Ｇ２平滑化と適応補間とを逐次実行するＧ１−Ｇ２不整合補償器３０８と適応補間器３１０とのみを有する、図３の均等化のＧパスモジュールによって生成されるものと同じＧ'値をもたらさない。
しかしながら、この差異もまた、デモザイクイメージに顕著なアーティファクトをもたらさない。

図１１に、Ｇ１−Ｇ２不整合補償、適応補間および鮮鋭化機能を有するＧパスモジュール１１０２を示す。
Ｇパスモジュール１１０２は、図３のＧパスモジュール３０４と機能的に等価である。
図１１に示すように、Ｇパスモジュール１１０２は、図９のＧパスモジュール９０２と図１０のＧパスモジュール１００２とのすべてのコンポーネントを含む。
点線ボックス１１０４に含まれるコンポーネントは、すべて図１０のＧパスモジュール１００２のコンポーネントである。

これらのコンポーネント５０２〜５０８および１００４〜１０１０は、Ｇ１−Ｇ２平滑化と適応補間との結果であるＧ輝度値を生成する。
また、図１１のＧパスモジュール１００２は、水平微分フィルタ９０４と、垂直微分フィルタ９０６と、選択器９０８と、加算ユニット９１０と、を含む。
これらのコンポーネント９０４〜９１０は、水平および垂直鮮鋭化微分成分値を生成する。

画素単位勾配方向検出器の判断に応じて、加算ユニットにより、第２段選択器１０１０からのＧ輝度値は、選択器９０８からの水平微分成分値かまたは垂直微分成分値のいずれかに加算される。
Ｇ１−Ｇ２不整合が微分成分値の計算にエラーがないことを保証するために、水平および垂直微分フィルタ９０４および９０６により、以下の微分マスクが使用される。

これらのマスクは、Ｇ１値かまたはＧ２値のいずれかを単に「読出す」ように設計される。
概して、Ｇ１−Ｇ２不整合により、各々Ｇ１とＧ２との局所平均間にオフセットがもたらされる。
しかしながら、Ｇ１−Ｇ２不整合は、それらの各々の変化間の不一致の一因とはほとんどならない。
したがって、かかるマスクの出力は、概してＧ１−Ｇ２不整合に対して反応しない。

図１２に、本発明の代替実施形態による（ＡＳＩＣ実装のための）図３のカラーパスモジュール３０６のＧ処理ブロック１２０２を示す。
Ｇ処理ブロック１２０２は、図３のカラーパスモジュール３０６のＧ処理ブロック３１６と機能的に等価である。
図１２に示すように、Ｇ処理ブロック１２０２は、Ｇ輝度値をＧ１およびＧ２値に分離するＧ１−Ｇ２分離器１２０４を有する。
Ｇ処理ブロック１０２０はさらに、水平補間および平均化フィルタ１２０６と、垂直補間および平均化フィルタ１２１０と、画素単位勾配方向検出器５０６と、選択器１２１４と、を有する。

これらのコンポーネントは、入力モザイクイメージの所与の観察窓に対するＧＲ０値を生成するように動作する。
また、Ｇ処理ブロックは、水平補間および平均化フィルタ１２１２と、垂直補間および平均化フィルタ１２０８と、選択器１２１６と、を有する。
これらのコンポーネントは、画素単位勾配方向検出器５０６とともに、現観察窓のＧＢ０値を生成するように動作する。

水平補間および平均化フィルタ１２０６は、Ｇ１値に対し以下のマスクを利用して、水平補間が適用された場合に図３のカラーパスモジュールのＧ処理ブロック３１６によって生成されるＧＲ０値に近似する「水平成分」ＧＲ０値を生成する。

ここで、平均化マスクは以下の通りである。

このため、水平補間および平均化フィルタ１２０６によって使用されるマスクは、以下のように７×７マスクである。

言換えれば、水平補間および平均化フィルタ１２０６によって生成される「水平成分」ＧＲ０値は、図３のＧ処理ブロック３１６の適応補間器３２０と、Ｒサブサンプリングユニット３２２と、補間および平均化フィルタ３２６と、によって、適応補間器３２０の出力が水平補間の結果である場合に生成されるＧＲ０値を表す。

垂直補間および平均化フィルタ１２１０は、Ｇ２値に対して以下のマスクを利用することにより、垂直補間が適用された場合に図３のＧ処理ブロック３１６によって生成されるＧＲ０値に近似する「垂直成分」ＧＲ０値を生成する。

ここで、平均化マスクは、水平補間および平均化フィルタ１２０６によって使用されるものと同じマスクである。
このため、垂直および平均化フィルタ１２１０によって使用されるマスクは、以下のように７×７マスクである。

言換えれば、垂直補間および平均化フィルタ１２１０によって生成される「垂直成分」ＧＲ０値は、図３のＧ処理ブロックの適応補間器３２０と、Ｒサブサンプリングユニット３２２と、補間および平均化フィルタ３２６と、によって、適応補間器３２０の出力が垂直補間の結果である場合に生成されるＧＲ０値を表す。

水平補間および平均化フィルタ１２１２は、水平補間および平均化フィルタ１２０６と同じマスクを利用することにより、水平補間が適用された場合に図３のＧ処理ブロック３１６によって生成されるＧＢ０値に近似する「水平成分」ＧＢ０値を生成する。
同様に、垂直補間および平均化フィルタ１２１０は、垂直補間および平均化フィルタ１２０８と同じマスクを利用することにより、垂直補間が適用された場合に図３のＧ処理ブロック３１６によって生成されるＧＢ０値に近似する「垂直成分」ＧＢ０値を生成する。

動作時、Ｇ１−Ｇ２分離器１２０４は、入力モザイクイメージの所与の観察窓内のＧ輝度値を受取る。
Ｇ１−Ｇ２分離器は、Ｇ輝度値のＧ１値をフィルタ１２０６および１２０８に送出する。
さらに、Ｇ１−Ｇ２分離器は、Ｇ輝度値のＧ２値をフィルタ１２１０および１２１２に送出する。

水平補間および平均化フィルタ１２０６は、水平補間された成分を含むＧＲ０値を生成し、垂直補間および平均化フィルタ１２１０は、垂直補間された成分を含むＧＲ０値を生成する。
これらのＧＲ０値は、選択器１２１４によって受取られる。
そして、選択器は、画素単位勾配方向検出器５０６の判断に応じて、水平補間および平均化フィルタ１２０６からのＧＲ０値かまたは垂直補間および平均化フィルタ１２１０からのＧＲ０値のいずれかを送出する。

フィルタ１２０６および１２１０と並列に動作することにより、水平補間および平均化フィルタ１２１２は、水平補間された成分を含むＧＢ０値を生成し、垂直補間および平均化フィルタ１２０８は、垂直補間された成分を含むＧＢ０値を生成する。
これらのＧＢ０値は、選択器１２１６によって受取られる。
そして、選択器は、画素単位勾配方向検出器５０６の判断に応じて、水平補間および平均化フィルタ１２１２からのＧＢ０値かまたは垂直補間および平均化フィルタ１２０８からのＧＢ０値のいずれかを送出する。

図１３に、図１２のＧ処理ブロック１２０２より簡易化された構成を有するＧ処理ブロック１３０２を示す。
図１２のＧ処理ブロック１２０２のフィルタ１２０６〜１２１２によって使用される７×７マスクは、オリジナルの５×５平均化マスクと類似している。

すなわち、フィルタ１２０６〜１２１２によって使用される７×７マスクの中心５×５部分は、オリジナルの５×５平均化マスクと類似している。
このため、図１３のＧ処理ブロック１３０２は、これら７×７マスクとオリジナル５×５平均化マスクとの両方に近似する。
図１３に示すように、Ｇ処理ブロック１３０２は、図１２のＧ処理モジュールにも見られる、Ｇ１−Ｇ２分離器１２０４と、選択器１２１４および１２１６と、画素単位勾配方向検出器５０６と、を有する。

図１２と図１３とのＧ処理モジュール間の相違は、Ｇ処理モジュール１２０２のフィルタ１２０６および１２０８が補間および平均化フィルタ１３０４によって置換えられ、Ｇ処理モジュール１２０２のフィルタ１２１０および１２１２が補間および平均化フィルタ１３０６によって置換えられる、ということのみである。
補間および平均化フィルタ１３０４は、入力モザイクイメージの所与の観察窓のＧ１値に対して作用し、補間および平均化フィルタ１３０６は、Ｇ２値に対して作用する。
これらの補間および平均化フィルタはともに、オリジナルの５×５平均化マスクを使用する。

補間および平均化フィルタ１３０４の出力値は、「水平成分」ＧＲ０値と「垂直成分」ＧＢ０値との両方を表す。
同様に、補間および平均化フィルタ１３０６の出力値は、「水平成分」ＧＢ０値と「垂直成分」ＧＲ０値との両方を表す。
画素単位勾配方向検出器５０６の判断に応じて、選択器１２１４および１２１６は、「水平成分」ＧＲ０およびＧＢ０値かまたは「垂直成分」ＧＲ０およびＧＢ０値のいずれかを送る。

上述したように、デモザイク処理ユニット１０４は、△Ｒ＝△Ｇ＝△Ｂという要件を強制することにより、色不連続性均等化を提供する。
しかしながら、デモザイクの後に強い色補正が適用される場合、結果としてのイメージが劣化する。Ｍが３×３行列である場合、タイプ

の色補正の下では、観察される色不連続性は、

である場合、線形性（△Ｒ'、△Ｇ'または△Ｂ'）によってもたらされる。
しかしながら、△Ｒ'、△Ｇ'および△Ｂ'は、概して、△Ｒ'＝△Ｇ'＝△Ｂ'という要件を満たさず、それがアーティファクトをもたらす可能性がある。
このため、色不連続性均等化を、△Ｒ'＝△Ｇ'＝△Ｂ'の要件を満たすように変更することができる。

色補正を考慮しない色不連続性均等化の場合、色不連続性は、Ｇ位置における固定画素の△Ｇによって与えられる。
均等化は、デモザイク処理するために、式△Ｒ＝△Ｇおよび△Ｂ＝△Ｇを強制することによって達せられる。
これらの式を、より汎用的である以下の式を導出するように変更する。
△Ｒ＝ａ・△Ｇ （１２）
および
△Ｂ＝ｂ・△Ｇ （１３）
ここで、ａおよびｂは固定定数である。

所与の色補正行列Ｍに対し、上記式が以下を意味するように一対の一意の定数（ａ，ｂ）が存在する。
すなわち、
△Ｒ'＝△Ｇ' （１４）
および
△Ｂ'＝△Ｇ' （１５）
である。

さらに、一対の定数は、Ｍの係数に関して一意の式を有する。Ｍの係数が以下のようにラベル付けされる場合、

それを、線形代数によって（ａ，ｂ）の一意の解が以下の式を有することを示すことができる。
a = -(bg・gb - bb・gg - bg・rb + gg・rb + bb・rg - gb・rg)/D （１７）
および
b =ｂ -(br・gg - bg・gr - br・rb + gr・rb + bb・rr - gg・rr)/D （１８）
ここで、
D = br・gb - bb・gr - br・rb + gr・rb + bb・rr - gb・rr （１９）

このため、上記式を使用して、デモザイク処理の後に強い色補正が続く場合に、色不連続性均等化を提供することができる。
画素がＲ位置にある場合、以下の式が適用される。
△Ｇ＝１／ａ・△Ｒ （２０）
および
△Ｂ＝ｂ／ａ・△Ｒ （２１）

同様に、Ｂ位置において、以下の式が適用される。
△Ｒ＝ａ／ｂ・△Ｂ （２２）
および
△Ｇ＝１／ｂ・△Ｂ （２３）

この「色補正補償された」式は、ＣＲ０＝Ｒ０−Ｇ０およびＣＢ０＝Ｂ０−Ｇ０である場合にＲ＝Ｇ＋ＣＲ０およびＢ＝Ｇ＋ＣＢ０である、式（６）および（７）を使用するデモザイク処理プロセスに適用される。
しかしながら、△ＧＲ＝Ｇ−ＧＲ０および△ＧＢ＝Ｇ−ＧＢ０である場合、Ｒ＝Ｒ０＋△ＧＲおよびＢ＝Ｂ０＋△ＧＢである、式（８）および（９）を使用するデモザイク処理プロセスの場合、色不連続性均等化は、△Ｒ＝△ＧＲおよび△Ｂ＝△ＧＢの要件を満たすようにさらに変更される必要があり、△ＧＲおよび△ＧＢは必ずしも等しくはない。
Ｇ色不連続性に対して２つの値があるため、式（１１）によって定義されるような色不連続性の変換を使用することができない。
このため、△Ｒ＝△ＧＲおよび△Ｂ＝△ＧＢの要件を満たすように異なる手法を使用する。

所与の画素位置に対し、△ＧＲおよび△ＧＢが計算されたものと仮定する。
目標は、以下のようになるように△Ｒおよび△Ｂを見つけることである。
△Ｒ'＝△Ｇ'Ｒ （２４）
および
△Ｂ'＝△Ｇ'Ｂ （２５）
ここで、

および

解を求めるために、式（１２）および（１３）よりさらに汎用的である以下の式を使用する。
△Ｒ＝ａ・△ＧＲ＋ｂ・△ＧＢ （２８）
および
△Ｂ＝ｃ・△ＧＲ＋ｄ・△ＧＢ （２９）
ここで、係数（ａ，ｂ，ｃ，ｄ）は、固定定数である。
ここでもまた、線形代数により、

を取ることによって、操作（２８）および（２９）が式（２４）および（２５）を満たすということを示すことができる。

このため、各画素位置に対し、以下の式を使用する。
Ｒ＝Ｒ０＋ａ・△ＧＲ＋ｂ・△ＧＢ （３０）
Ｂ＝Ｂ０＋ｃ・△ＧＲ＋ｄ・△ＧＢ （３１）

上記式は、式（２８）および（２９）を使用して式（８）および（９）から導出される。

本発明は、画像処理に利用可能である。

本発明によるイメージ処理システムのブロック図である。 モザイクイメージにおける取込まれた輝度値のベイヤーパターンを示す図である。 ベイヤーパターン化されたモザイクイメージの異なる色平面を示す図である。 図１のシステムのデモザイク処理ユニットのブロック図である。 図３のデモザイク処理ユニットのＧ１−Ｇ２不整合補償器のブロック図である。 デモザイク処理ユニットの適応補間器のブロック図である。 デモザイク処理のＧパスモジュールの動作を示すプロセスフロー図である。 デモザイク処理ユニットのカラーパスモジュールのＧ処理ブロックの動作を示すプロセスフロー図である。 デモザイク処理ユニットのカラーパスモジュールのＲ処理ブロックの動作を示すプロセスフロー図である。 代替実施形態による適応補間およびイメージ鮮鋭化機能を有するＧパスモジュールのブロック図である。 本発明の代替実施形態によるＧ１−Ｇ２不整合補償および適応補間機能を有するＧパスモジュールのブロック図である。 代替実施形態によるＧ１−Ｇ２不整合補償、適応補間およびイメージ鮮鋭化機能を有するＧパスモジュールのブロック図である。 本発明の代替実施形態によるカラーパスモジュールのＧ処理ブロックのブロック図である。 本発明の簡略化した代替実施形態によるカラーパスモジュールのＧ処理ブロックのブロック図である。

符号の説明

１００・・・イメージ処理システム、
１０２・・・イメージ取込ユニット、
１０４・・・デモザイク処理ユニット、
１０６・・・圧縮ユニット、
１０８・・・記憶ユニット、
２０２・・・Ｇ１平面、
２０４・・・Ｇ２平面、
２０６・・・Ｒ平面、
２０８・・・Ｂ平面、
３０２・・・色分離器、
３０４・・・Ｇパスモジュール、
３０６・・・カラーパスモジュール、
３０８・・・Ｇ１−Ｇ２不整合補償器、
３１０・・・適応補間器、
３１２・・・イメージ鮮鋭化器、
４０２・・・湾曲量検出器、
４０４・・・Ｇ１−Ｇ２平滑化ユニット、
４０６・・・選択器、
５０２・・・水平補間ユニット、
５０４・・・垂直補間ユニット、
５０６・・・画素単位勾配方向検出器、
５０８・・・選択器、
５１０・・・水平Ｇ変化フィルタ、
５１２・・・水平非Ｇ変化フィルタ、
５１４・・・垂直Ｇ変化フィルタ、
５１６・・・垂直非Ｇ変化フィルタ、
５１８〜５２４・・・絶対値ユニット、
５２６，５２８・・・加算ユニット
５３０・・・変化分析器、
９０２・・・Ｇパスモジュール、
９０４・・・水平微分フィルタ、
９０６・・・垂直微分フィルタ、
９０８・・・選択器、
９１０・・・加算ユニット、
１００２・・・Ｇパスモジュール、
１００４・・・水平補間フィルタ、
１００６・・・垂直補間フィルタ、
１００８・・・選択器、
１０１０・・・第２段選択器、
１１０２・・・Ｇパスモジュール、
１２０２・・・Ｇ処理ブロック、
１２０４・・・Ｇ１−Ｇ２分離器、
１２０６・・・水平補間および平均化フィルタ、
１２１０・・・垂直補間および平均化フィルタ、
１２４１・・・選択器、
１３０２・・・Ｇ処理ブロック、
１３０４・・・補間および平均化フィルタ、

Claims (8)

1. モザイクイメージをデモザイク処理することによりデモザイクイメージを導出する方法であって、
   前記モザイクイメージの第１の色値を独立して補間して、前記デモザイクイメージの第１の補間された値を導出する第１の色値を独立して補間するステップ（３０４）と、
   前記モザイクイメージの第２の色値を補間して、前記デモザイクイメージの第２の補間された値を導出する第２の色値を補間するステップ（３１４および３１８）と
   を含み、
   該第２の色値を補間するステップは、
   前記第２の補間された値から平均化された第１の色値を減算して減算値を得るステップ（３１６、３３２および３３８）と、
   前記減算値に補間された第１の色値を加算するステップ（３３４および３４０）と
   を含む
   方法。
2. 前記第１の色値を独立して補間する前記ステップ（３０４）は、
   少なくとも第１の補間技法と第２の補間技法とから選択される補間技法を使用して前記第１の色値を適応的に補間するステップ（３１０）
   を含む
   請求項１記載の方法。
3. 前記第２の色値を補間するステップ（３１４および３１８）は、
   前記モザイクイメージの前記第２の色値に対応する前記モザイクイメージの画素位置に関して前記補間された第１の色値をサブサンプリングして、サブサンプリングされた値を導出するサブサンプリングするステップ（７０６または７１２）と、
   前記サブサンプリングされた値を平均化して、前記平均化された第１の色値を生成する平均化するステップ（７０８および７１４）と
   を含む
   請求項１または２記載の方法。
4. 前記第２の色値を補間する前記ステップ（３１４および３１８）は、
   前記モザイクイメージの前記第２の色値を平均化して、平均化された第２の色値を導出する平均化するステップ（３３０および３３６）
   を含み、
   前記減算値を得るステップ（３１６、３３２および３３８）は、
   前記平均化された第２の色値から前記平均化された第１の色値を減算するステップ（３３２および３３８）
   を含む
   請求項１から３のいずれか記載の方法。
5. モザイクイメージをデモザイク処理することによりデモザイクイメージを導出するシステムであって、
   前記モザイクイメージの第１の色値を独立して補間することにより、前記デモザイクイメージの第１の補間された値を導出する第１の補間モジュール（３０４）と、
   前記モザイクイメージの第２の色値を補間することにより、前記デモザイクイメージの第２の補間された値を導出する第２の補間モジュール（３１４および３１８）と
   を具備し、
   前記第２の補間モジュール（３１４および３１８）は、
   前記第２の補間された値から平均化された第１の色値を減算して減算値を得る減算ユニット（３１６、３３２および３３８）と、
   前記減算値に前記補間された第１の色値を加算する加算ユニット（３３４および３４０）と
   を具備する
   システム。
6. 前記第１の補間モジュール（３０４）は、
   少なくとも第１の補間技法と第２の補間技法とから選択される補間技法を使用して前記第１の色値を適応的に補間するように構成される適応補間器（３１０）
   を備える
   請求項５記載のシステム。
7. 前記第２の補間モジュール（３１４および３１８）は、
   前記モザイクイメージの前記第２の色値に対応する前記モザイクイメージの画素位置に関して前記補間された第１の色値をサブサンプリングすることにより、サブサンプリングされた値を導出するように構成されるサブサンプリングユニット（３３２および３２４）と、
   前記サブサンプリングされた値を平均化することにより、前記平均化された第１の色値を生成するように構成される平均化ユニット（３２６および３２８））と
   を備える
   請求項５または６記載のシステム。
8. 前記第２の補間モジュール（３１４および３１８）は、
   前記モザイクイメージの前記第２の色値を平均化することにより平均化された第２の色値を導出するように構成される平均化ユニット（３３０および３３６）と
   を備え、
   前記減算ユニット（３１６、３３２および３３８）は、前記平均化された第２の色値から平均化された第１の色値を減算する
   請求項５から７のいずれか記載のシステム。

Images