JP4527172B2 - ２色イメージを用いたベイズ式デモザイク法 - Google Patents

Description

デジタルスチールカメラは、当該カメラの価格が下がるにつれて、その人気および品質が上がり続けている。ほとんどのデジタルスチールカメラは、単一のイメージセンサを使用して、カラーイメージ内の各ピクセルについての色情報を取得する。このイメージセンサは通常、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）であり、カラーイメージのピクセルをまとめて表すセンサアレイの一部である。

イメージセンサは、所与のピクセルにおける単一の色に関する情報しか生成することができない。しかしながら、カラーイメージは、３つの別々の単色イメージを組み合わせることによって表される。カラーイメージを表示するためには、各ピクセルにおける赤、青、および緑（ＲＧＢ）のすべてのカラー値が必要である。欠けている他の２つのカラーを取得するためには、イメージ内の周囲のピクセルから、当該欠けているカラーを推定または補間する技法を使用しなければならない。この種の推定および補間技法は、「デモザイク法（ｄｅｍｏｓａｉｃｉｎｇ）」と呼ばれる。

「デモザイク法」という用語は、モザイクパターンに配置構成されたカラーフィルタアレイ（ＣＦＡ）がイメージセンサの前で使用されることに由来する。このモザイクパターンは、イメージ内の各ピクセルについて１つのカラー値しか有さない。完全なカラーイメージを取得するためには、モザイクパターンを「デモザイク」しなければならない。したがって、デモザイク法とは、モザイクパターンのＣＦＡによって取得されたイメージを逆補間する技法であるため、完全なＲＧＢ値をあらゆるピクセルに関連付けることができる。

より具体的には、単一のセンサのデジタルカメラは、光路内でＣＦＡが先行するイメージセンサアレイを使用して、イメージを取得する。非常に人気のある一般的なモザイクＣＦＡは、バイエルモザイクパターン（Ｂａｙｅｒ ｍｏｓａｉｃ ｐａｔｔｅｒｎ）と呼ばれる。各２×２セットピクセルの場合、斜めに向かい合った２つのピクセルが緑のフィルタを有し、他の２つのピクセルが赤および青のフィルタを有する。緑色（Ｇ）は、人間に関するほとんどの輝度情報を伝達するため、そのサンプリングレートは、赤色（Ｒ）および青色（Ｂ）の２倍である。

現在使用可能なデモザイク技法には、双線形補間、メディアンフィルタリング、ベクトルＣＦＡ、勾配ベースの統計モデリングなどの、多くのタイプが存在する。しかしながら、これらの現行のデモザイク技法はそれぞれ、視覚的かつ量的に測定可能なアーティファクト（ａｒｔｉｆａｃｔ）を生成してしまう。これらのアーティファクトは、あるエッジに沿ったあらゆる他のピクセルがそのエッジに対してオンまたはオフであるとみなされることを繰り返す、エイリアシングまたは「ジッパリング（ｚｉｐｐｅｒｉｎｇ）」アーティファクトと、鋭いエッジに沿って、またはそのエッジ上に、黄、紫、およびシアンが現れるカラーフリンジング（ｃｏｌｏｒ ｆｒｉｎｇｉｎｇ）とを含む。

この要約は、以下で詳細な説明においてさらに記載する例示的な形態における選択した概念を簡略化した形で紹介するために提供するものである。この要約は、特許請求する主題事項の重要な特徴または必須の特徴を特定するよう意図しているものでもないし、特許請求する主題事項の範囲を限定するために使用されるよう意図しているものでもない。

本明細書で開示されるベイズ式２色イメージデモザイク方法およびデモザイクシステムは、イメージアーティファクトを減少させるようにイメージをデモザイクするための、デジタルカラーイメージの処理を含む。ベイズ式２色イメージデモザイク方法およびデモザイクシステムは、エッジを横切るカラーを、両側でのカラーの線形組合せとしてモデル化する、イメージモデルを採用する。これにより、カラーフリンジングを含む可能性が減少する。さらに、ベイズ式２色イメージデモザイク方法およびデモザイクシステムによって使用される統計モデルは、グリッドベースではないため、ビデオ処理用のマルチイメージデモザイクと、非反復超解像出力サンプリング（ｎｏｎ−ｉｔｅｒａｔｉｖｅ ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ ｏｕｔｐｕｔ ｓａｍｐｌｉｎｇ）との両方の拡張を容易に可能にする。線形モデルへの出力イメージを制約することによって、鋭いエッジを保ちながら、平滑領域内の可視ノイズも削減される。

ベイズ式２色イメージデモザイク方法およびデモザイクシステムは、既存のデモザイク技法の改善および機能強化である。この方法およびシステムは、イメージ内の各ピクセルに対して完全に指定されたＲＧＢトリプルカラー値を割り当てるために、イメージに対して予備的なデモザイクパス（ｐｒｅｌｉｍｉｎａｒｙ ｄｅｍｏｓａｉｃｉｎｇ ｐａｓｓ）を実行する。次に、この予備的なパスの結果が、ベイズ式２色イメージデモザイク方法およびデモザイクシステムによって改善される。一般的には、処理中のピクセルの中心となる（５×５ピクセル「パッチ」などの）小さなウィンドウまたは処理領域内では、２色しか存在しないと想定される。２色のみであるという想定の結果、最終結果では、ランダムなカラーを事実上排除することになる。次いで、ピクセルのカラーは、それら２色の線形組合せとなるように制限される。これにより、カラーアーティファクトを発生させる擬似的なカラー（ｓｐｕｒｉｏｕｓ ｃｏｌｏｒ）が軽減される。

ベイズ式２色イメージデモザイク方法は、イメージ内の各ピクセルについて完全に指定されたＲＧＢトリプルカラー値を取得すること、および、次いで、このＲＧＢトリプルカラー値を使用して、各ピクセルについて最終カラー値を決定することを含む。最終カラー値は、２色の組合せであり、２色からのコントリビューション（ｃｏｎｔｒｉｂｕｔｉｏｎ）しか有さない。この２色は、完全に指定されたＲＧＢトリプルカラー値を２つのクラスタにクラスタ化すること、各クラスタの平均を取ること、および、この各クラスタの平均を優先（ｆａｖｏｒｅｄ）２色と呼ぶことによって見つけられる。

優先２色が見つかると、各カラーの最終カラー値に対するコントリビューションの程度を決定しなければならない。これは、バイエルカラーフィルタから取得された処理領域内のサンプルを使用して、各ピクセルの部分混合値（ｆｒａｃｔｉｏｎａｌ ｂｌｅｎｄｅｄ ｖａｌｕｅ）を計算することによって実現される。次いで、与えられたサンプルセットの部分混合値の最大確率を見つけることによって、最大部分混合値が見つけられる。最終カラー値は、最大部分混合値および優先２色から計算される。

ベイズ式２色イメージデモザイク方法およびデモザイクシステムは、複数のイメージを処理して、デモザイクの結果を向上させることもできる。第１に、複数のイメージは、整列されるようにして互いに登録される。基準イメージが選択され、他のイメージは、この基準イメージを基準にして再構築される。この処理は、イメージの不完全な整列を補償するための技法が使用される点を除いて、単一のイメージの場合と同様である。補償技法は、二乗差（ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅ）の合計が大きい場合に、ガウス分散を増加させるための倍率（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）を使用する。この倍率は、整列アルゴリズムの品質に基づいて変化する。

複数のイメージを使用する場合、ベイズ式２色イメージデモザイク方法およびデモザイクシステムは、超解像度として知られる、より精細な解像度でサンプリングすることもできる。超解像度の場合、精細な細部を取得するために、統計クラスタ化と、ローカルな近傍サイズ（ｌｏｃａｌ ｎｅｉｇｈｂｏｒｈｏｏｄ ｓｉｚｅ）とをわずかに縮小することができる。それ以外については、システムは、マルチイメージデモザイクの場合と同様に動作する。

代替実施形態が可能であること、また、本明細書で説明するステップおよび要素は、特定の実施形態に応じて、変更、追加、または削除することが可能であることに留意されたい。こうした代替実施形態は、本発明の範囲を逸脱することなく、使用可能な代替ステップ、および代替要素、ならびに実行可能な構造的変更を含むものである。

次に、全体を通じて類似する参照番号は対応する部分を表す図面を参照する。

ベイズ式２色イメージデモザイク方法およびデモザイクシステムに関する以下の説明では、その一部を形成する添付の図面が参照され、この図面には、ベイズ式２色イメージデモザイク方法およびデモザイクシステムを実施する際に使用可能な特定の例が示されている。特許請求される主題事項の範囲を逸脱することなく、他の実施形態が使用可能であること、および構造的変更が可能であることを理解されたい。

Ｉ．全般的な概要
図１および図２は、本明細書で開示するベイズ式２色イメージデモザイク方法およびデモザイクシステムの２つの例示的な実装を示すブロック図である。図１および図２は、ベイズ式２色イメージデモザイク方法およびデモザイクシステムを実装および使用することが可能ないくつかの方法のうちの、単に２つに過ぎないことに留意されたい。

図１を参照すると、第１の例示的な実装では、ベイズ式２色イメージデモザイサ（ｄｅｍｏｓａｉｃｅｒ）２００が、デジタルカメラシステム２１０に存在する。一般に、ベイズ式２色イメージデモザイサ２００は、予備的なパスデモザイサ２２０を使用して作成された予備的なデモザイクパスに続くカラーイメージ（図示せず）を改善する。より具体的には、図１に示したように、ベイズ式２色イメージデモザイサ２００は、イメージセンサアレイ２２５を含むデジタルカメラシステム２１０の一部である。アレイ２２５は、複数のイメージセンサから構成され、各イメージセンサは、単一のカラー値を決定することができる。

イメージセンサアレイ２２５は、センサ基板２３０、カラーフィルタアレイ（ＣＦＡ）２４０、およびレンズ２５０を含む。図１および図２において破線で示されるように、通常は、レンズ２５０は、ＣＦＡ２４０を覆うように配置され、ＣＦＡ２４０は、基板２３０を覆うように配置されることに留意されたい。取得されることになるイメージ（図示せず）からの光は、（矢印２５５によって示されるように）デジタルカメラシステム２１０に入射する。レンズ２５０の目的は、入射光２５５をイメージセンサアレイ２２５上に集束させることにある。イメージセンサアレイ２２５内の各センサはピクセルを表す。ＣＦＡ２４０は、各ピクセルのカラー応答を変化させる。センサ基板２３０は、（ＣＦＡ２４０によって示されるような）特定カラーの入射光を取得し、電気信号を生成する。このようにして、イメージセンサアレイ２２５は、イメージセンサアレイ２２５内に配置構成された赤、緑、および青のセンサを用いて、イメージからの入射光２５５をサンプリングする。

イメージセンサアレイ２２５内の各ピクセルは、赤、緑、または青のセンサの出力である。したがって、センサ出力は、イメージセンサアレイ２２５内の各ピクセルに対する単一のカラー値に対応する、各センサからの電気信号である。出力は、元々のモザイクパターン化されたピクセルデータ２６０である。前述したように、完全なカラーイメージを表示するためには、赤、緑、および青に関するカラー情報を各ピクセルにおいて取得しなければならない。これは、モザイクパターン化されたピクセルデータ２６０内で、欠けているカラー値をデモザイクまたは補間することによって実現される。

元々のモザイクパターン化されたピクセルデータ２６０は、デジタルカメラシステム２１０のボード上に配置された第１のコンピューティングデバイス２７０に送信される。第１のコンピューティングデバイス２７０上には、予備的なパスデモザイサ２２０およびベイズ式２色イメージデモザイサ２００が存在する。予備的なパスデモザイサ２２０は、欠けているカラー値の推定を補間するために使用される。予備的なパスデモザイサ２２０の出力は、デジタルカメラシステム２１０によって取得されたカラーイメージ内の各ピクセルについての完全なＲＧＢカラー値を含む、ピクセルデータ２８０である。ベイズ式２色イメージデモザイサ２００は、ピクセルデータ２８０を受信し、以下で詳細に説明するように、このデータ２８０を処理する。ベイズ式２色イメージデモザイサ２００による処理の後、イメージアーティファクトが削減された改善したカラーデジタルイメージ２９０が取得される。

次に図２を参照すると、第２の例示的な実装では、デジタルカメラシステム２１０とは分離された第２のコンピューティングデバイス２９５上に、ベイズ式２色イメージデモザイサ２００が存在する。元々のモザイクパターン化されたピクセルデータ２６０は、デジタルカメラシステム２１０から第２のコンピューティングデバイス２９５へと送信される。このピクセルデータ２６０は通常、インターフェース接続２９７を介して第２のコンピューティングデバイス２９５へ送信される。このインターフェース接続２９７は、ＵＳＢインターフェース、ＩＥＥＥ １３９４インターフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）インターフェース、または、デジタルカメラシステム２１０から第２のコンピューティングデバイス２９５へと元々のピクセルデータ２６０を送信するのに適した任意の他のインターフェースとすることができる。以下で詳細に説明するように、ベイズ式２色イメージデモザイサ２００は、ベイズ式２色イメージデモザイク方法を使用して、ピクセルデータ２６０を改善し、イメージアーティファクトが削減されたこの改善したカラーデジタルイメージ２９０を提供する。

ＩＩ．動作の概要
次に、図１および図２に示したベイズ式２色イメージデモザイサ２００の動作、およびベイズ式２色イメージデモザイサ２００で使用される方法について説明する。図３は、ベイズ式２色イメージデモザイサ２００の一般的な動作を示す概略的な流れ図である。一般に、ベイズ式２色イメージデモザイク方法では、イメージ内のピクセルについてのピクセルカラー値が入力され、各ピクセルが処理され、イメージアーティファクトが削減された処理済みのイメージが出力される。

より具体的には、図３に示すように、ベイズ式２色イメージデモザイク方法は、デジタルカラーイメージ内の各ピクセルについて完全に指定された赤（Ｒ）、緑（Ｇ）、および青（Ｂ）のトリプルカラー値を取得することから開始する（ボックス３００）。完全に指定されたＲＧＢトリプルカラー値とは、ピクセルに対して赤、緑、および青のカラー値が使用可能であることを意味する。通常、ベイズ式２色イメージデモザイク方法は、デジタルカラーイメージに対して予備的なデモザイクパスを実行することによって、これらの完全に指定されたＲＧＢトリプルカラー値を取得する。次いで、ベイズ式２色イメージデモザイク方法は、この予備的なデモザイクパスの結果を改善する。

次いで、ベイズ式２色イメージデモザイク方法では、デジタルカラーイメージ内の各ピクセルについて、最終カラー値が決定される（ボックス３１０）。この最終カラー値は、２色の組合せまたは混合であり、この２色は、完全に指定されたＲＧＢトリプルカラー値のうちの少なくともいくつかを使用することによって取得される。すなわち、たとえ完全に指定されたＲＧＢトリプルカラー値に、いくつかのカラーが含まれる場合であっても、処理中のピクセルについての最終カラー値を決定する際には、それらカラー値のうちの２つの組合せのみが使用される。出力は、デジタルカラーイメージ内の各ピクセルについて見つけられた最終カラー値である（ボックス３２０）。

ＩＩＩ．動作の詳細および動作例
次に、ベイズ式２色イメージデモザイク方法の詳細について説明する。図４は、図３に示したベイズ式２色イメージデモザイク方法のさらに詳細な動作を示す詳細な流れ図である。特に、デジタルカラーイメージ内の各ピクセルについて完全に指定されたＲＧＢトリプルカラー値を計算するために、予備的なデモザイクパスが実行される（ボックス４００）。初期には、イメージに関するバイエルパターンが存在し、その中には、イメージ内の各ピクセルについて、Ｒ、Ｇ、またはＢのカラー値のみが存在する。予備的なデモザイクパスは、デモザイク技法を使用して、処理中のピクセルを中心とする処理領域内のピクセルの各々において、実際の完全なカラー（ＲＧＢ）値を取得する。一実施形態では、予備的なデモザイクパスは、双線形補間技法を使用して実行される。代替実施形態では、メディアンフィルタリング技法、ベクトルＣＦＡ技法、勾配ベース技法、および統計モデリング技法などの、他のタイプの予備的なパスデモザイク技法を使用することもできる。しかしながら、予備的なパスデモザイク技法を選択する場合、最良の入力を与えることになる技法は、ベイズ式２色イメージデモザイク方法による最良の出力ももたらすことに留意されたい。

次いで、処理のためのピクセルが選択され、処理されるピクセルとして定められる。加えて、処理されるピクセル周囲の領域が、処理領域として定められる（ボックス４１０）。処理領域（すなわち、「ウィンドウ」または「パッチ」）は通常、５×５ピクセルパッチであるが、他のサイズも可能である。一実施形態では、処理されるピクセルが処理領域の中心となるように、パッチサイズは奇数である。例えば、５×５の処理領域では、処理されるピクセルは、５×５パッチの中心ピクセルとなる。

次いで、処理されるピクセルについて優先２色が計算される（ボックス４２０）。これは、処理領域内の各ピクセルの完全に指定されたＲＧＢトリプルカラー値を使用して実現される。以下で詳細に説明するように、完全に指定されたＲＧＢトリプルカラー値には、いくつかのカラーを含めることができるが、それらのカラーは、２つの優先色のみにクラスタ化される。優先２色と、完全に指定されたＲＧＢトリプルカラー値とを使用して、処理されるピクセルについての最終カラー値が計算される（ボックス４３０）。ピクセルを選択すること、処理領域を定めること、優先２色を計算すること、および最終カラー値を計算することというすべてのプロセスが、デジタルカラーイメージ内の残りのピクセルに対して繰り返される（ボックス４４０）。ベイズ式２色イメージデモザイク方法の出力は、イメージアーティファクトが削減された改善したデジタルカラーイメージである（ボックス４５０）。

図５は、優先２色の計算プロセスを示す流れ図である。すなわち、図５は、処理領域内のピクセルのカラー値の中から、優先２色がどのように見つけられるかを示している。このプロセスは、処理領域内の各ピクセルについて完全に指定されたＲＧＢトリプルカラー値の初期クラスタ化を実行することによって開始する（ボックス５００）。処理領域が５×５ピクセルであると想定すると、目標は、５×５の処理領域内の２５のカラー値の中から優先２色を見つけることと、これら２５のカラー値を２つの優先カラーにグループ化することとにある。これは一般に、任意のクラスタ化技法を使用して実行することができる。一実施形態では、その効率性を理由として、ｋ平均技法が使用される。ｋ平均技法における「ｋ」とは、クラスタタイプの数を表し、このケースではｋ＝２である。ｋ平均クラスタ化技法は、精度と速度とのバランスである。ｋ平均クラスタ化技法は当業者に良く知られており、本明細書ではこれ以上詳細に説明しないことにする。代替実施形態では、期待値最大化（ＥＭ）技法または平均シフト技法が使用される。

しかしながら、ｋ平均技法に伴う問題点の１つは、異常値（ｏｕｔｌｉｅｒ）が結果に悪影響を及ぼす可能性があるということである。異常値とは、残りのデータから大きく外れた位置にあるデータポイントのことである。統計分布では、データポイント群が特定の領域内に属することを予想し、その領域内に属さないものが異常値と呼ばれる。異常値を補正するために、優先２色計算プロセスは、異常値除去技法を含む。この異常値除去技法を使用して、優先２色に対する異常値の影響を最小限にする（ボックス５１０）。

次いで、優先２色は、異常値除去結果を使用することにより、処理領域内の各ピクセルについて完全に指定されたＲＧＢトリプルカラー値のクラスタ化を更新することによって計算される（ボックス５２０）。次に、デジタルカラーイメージ内の残りのピクセルに対して、上記の処理が繰り返される（ボックス５３０）。次いで、イメージ内の各ピクセルについて、各ピクセルの優先２色が取得される。

図６は、最終カラー値の計算プロセスの詳細を示す流れ図である。このプロセスは、優先２色の各々の最終カラー値に対するコントリビューションを指定する、処理されるピクセルについての部分混合値を定めることによって開始する（ボックス６００）。したがって、部分混合値は、ピクセルの最終カラー値が優先２色の各々からどの程度のコントリビューションを得るかを決定する。

次いで、処理されるピクセルについて最大部分混合値が決定される（ボックス６１０）。最大部分混合値は、処理領域内の完全に指定されたＲＧＢトリプルカラー値の各々を使用して部分混合値の確率を最大にする、優先２色の混合または組合せとして定められる。おそらく、これには、複数のカラーセットを探すこと、および、次いで、どれが最大値を与えるかを見つけるためにそれらのカラーすべてを試すことが含まれる。例えば、３つのカラーＪ、Ｋ、およびＬを試し、Ｊ、Ｋ、およびＬのすべての組合せを試し、どれが最高の確率を与えるかを探すことを想像してみる。したがって、すべてのカラーの中で、優先２色が、処理されるピクセルを表す最高の２色である。「最高の」２色とは、以下の式（３）の最大値の引数（すなわち、「ａｒｇ ｍａｘ」）を最大にする２色を意味する。「ａｒｇ ｍａｘ」は、所与の式の値がその最大値に達する、所与の引数の値である。

次いで、優先２色と最大部分混合値とを使用して、処理されるピクセルの最終カラー値が計算される（ボックス６２０）。この最終カラー値は、以下の式（１）に示される。上記の処理は、各ピクセルの最終カラー値を取得するために、デジタルカラーイメージ内の残りのピクセルに対して繰り返される（ボックス６３０）。

本明細書に開示するベイズ式２色イメージデモザイク方法およびデモザイクシステムについて、より完全に理解してもらうために、例示的な動作例における動作の詳細を提示する。この動作例は、ベイズ式２色イメージデモザイク方法およびデモザイクシステムを実装可能な一例に過ぎないことに留意されたい。

ベイズ式２色イメージデモザイク方法およびデモザイクシステムによる処理の中心とする仮定は、ローカルな近傍内に多くとも２つの代表するカラーが存在することである。近傍内のあらゆるピクセルの最終カラー値は、代表するカラーのうちのいずれであるか、またはその両方の組合せである。この動作例では、代表するカラーの組合せは線形組合せであった。この仮定は、２つより多い異なるカラーが集まる領域では破られたが、こうした事が発生するのは比較的稀であった。したがって、ベイズ式２色イメージデモザイク方法およびデモザイクシステムは、非常に堅牢である。

各ピクセルにおいて基礎となる２色モデルを発見するために、各ピクセル周囲の近傍が、それら２色にクラスタ化された。バイエルイメージは、単一のチャネルサンプルのみを提供し、モデルを指定するために、２つの未知のＲＧＢトリプルカラー値と未知の混合係数（ｂｌｅｎｄｉｎｇ ｃｏｅｆｆｉｃｉｅｎｔ）とを残した。この動作例では、重みを各サンプルからカーネルの中心までの逆ユークリッド距離とする、重み付けされたｋ平均技法が使用された。クラスタサイズはバランスがとれないため、別の平滑領域内の単一のピクセルの細部を保つことができることに留意されたい。さらに、ＬαβまたはＸＹＺなどの他のカラースペース内でクラスタ化を実行することができるが、これらのスペース内での処理は、クラスタの精度にほとんど差を生じさせない。

クラスタに対するサンプルの近傍サイズは、ソースイメージ内にどれだけ大きなカラー細部が現れるかの関数である。この動作例では、カーネルの中心周囲の２ピクセル半径が良好に動作することがわかった。これにより、バイエルカラーチャネルの各々から、十分なサンプル数が供給された。

２つより多くのカラーがローカルなイメージ領域内に存在する場合があること、または大きなノイズが存在する場合があることが考えられるため、ベイズ式２色イメージデモザイク方法およびデモザイクシステムでは、異常値除去技法も使用した。クラスタの平均および分散を使用して、最も近いクラスタ平均の単一の標準偏差の外側にあったサンプルが除去された。次いで、より異常値の少ないクラスタ平均を取得するために、ｋ平均技法が繰り返された。これにより、カラー値がカーネル中心から離れるよう直ちに変更された、より良い複製（ｒｅｐｒｏｄｕｃｔｉｏｎ）が提供された。

クラスタ化の品質における主要な要素は、クラスタ化を扱いやすくするために「ブートストラッピング」デモザイク法に使用される、予備的なパスデモザイク技法の選択である。（前述したように、）多くのタイプの予備的なパスデモザイク技法を使用することができるが、性能を向上させる品質が存在する。第１に、高周波数機能の保持または強調である。双線形補間およびメディアン補間などの技法は、避ける必要がある低域フィルタの傾向を有する。代替として、高周波数を保持するアルゴリズムは、エッジフリンジングおよびエイリアシングを生成する傾向がある。この動作例では、高周波数を保持し、多くのフリンジングアーティファクトを生成しなかったことから、予備的なパスデモザイク法において、高品質線形補間（ＨＱＬＩ）技法を使用した。

（２色デモザイク法）
２色モデルは、イメージ内の各ピクセルｘについて、２つの優先ＲＧＢ

および

を提供する。ピクセルｘのカラーＣは、以下の式によって与えられる、これら２つのカラーの線形組合せであると想定した。

式（１）は混合式であり、式（１）により、ピクセルｘについて最終カラー値Ｃが計算される。

ピクセルｘの近傍内で、バイエルセンサはサンプルセットｓ_i∈Ｓを与える。サンプルｓ_iによって指定されるＲＧＢカラーチャネルのインデックスは、ｔ_iによって示され、αは部分混合値である。

が、カラー

に対して、そして同様に

およびＣに対して、ｔ_i番目のカラーチャネルを指定する場合、部分混合値の未知の値αは、以下のように、位置ｘ（中心ピクセル）のバイエルサンプルｓ_xから直接計算することができる。

しかしながら、

と

との間の差が小さい場合、離散化およびイメージノイズによって、αの推定値は不正確になる。ｓは、ｓ_iに対するＳの要素であり、５×５の処理領域の場合、ｉは、１〜２５の範囲であり、その結果として２５のｓ_iが存在することに留意されたい。ｓ_iは単一のチャネル（またはカラー）のみに対するものであり、カラーは、ｔ_iによって指定される（Ｒ、Ｇ、またはＢのいずれか）。

サンプルセット全体Ｓを使用した、αのより堅牢な推定が望ましい。すなわち、以下のように、サンプルセットＳおよび優先カラー

および

が与えられた場合、最も可能性の高い値（または最大部分混合値）

を見つけることが望ましい。

式（３）の場合、

および

は、優先２色である。カラースペースでは、

から

へと線が引かれること、および、部分混合値αが０から１およびそれ以上の間で変化することが想像できる。これは、

ではα＝０であり、

ではα＝１であることを意味する。すなわち、式（３）は、Ｓが与えられた場合、αの確率を最大にする、αのａｒｇ ｍａｘを見つける。ここで、Ｓは、処理領域（この動作例では５×５パッチ）内にあるすべてのカラーサンプルのセットである。Ｓは、デモザイクによって取得されたサンプルではなく、実際にサンプリングされたサンプルのみを含むことに留意されたい。

バイエルの定理を使用し、

および

がＳおよびαとは独立していると仮定すると、式（３）は以下のように再構成することができる。

すべてのｓ_iは独立していると仮定すると、以下のことがわかる。

およびαは、ピクセルｘについて予測されたカラー

を指定する。近傍カラーノイズに関する独立同一分布（ｉ．ｉ．ｄ）を仮定すると、

とｓ_iとの関係は、以下の通常分布を使用してモデル化することができる。

式（６）は、ガウス分布を使用して確率を計算する。Ｃ^*は、αが与えられた場合に計算されるカラーである。近傍ピクセル間の分布は非常に尖っている（ｋｕｒｔｏｔｉｃ）が、計算効率のためにガウス分布を仮定する。分散σ_i ²は、（１）グローバルなチャネルごとのイメージノイズσ_N1、および、（２）ｘとｓ_iとの間のピクセル距離という、２つの要素に依存する。ピクセルカラーはローカルでは一様であり、離れるほど一様ではなくなることが想定される。したがって、ｓ_iと

との間の分散は、イメージスペース内のそれらの距離が増加するにつれて、増加する。一実施形態では、分散σ_iは以下のように計算される。
σ_i＝σ_N（１＋λΔ_d） （７）
上式で、Δ_dは、ｘとｓ_iとの間のピクセル距離であり、λは、この動作例では経験的に６に設定された定数である。したがって、式（７）は、分散が、中心ピクセル（処理されるピクセル）または処理領域の中心にあるピクセルからの距離に伴って線形に増加することを示している。代替実施形態では、他の単調に増加する距離の関数を使用することもできる。

ガウス分布の幅、すなわち分散σ²は、特定のサンプルが最終結果に対してどれだけの影響を及ぼすかを示すものである。これに関して考えられる他の方法は、サンプルの確実性（certainty）である。サンプルに関する不確実性が存在する場合、そのガウス分布の幅は大きくなる（すなわち、大きな分散σ²となる）。これに対して、サンプルに関する確実性が存在する場合、そのガウス分布の幅は狭くなる（すなわち、小さな分散σ²となる）。

式（７）は、処理領域の中心である処理されるピクセル（すなわち、中心ピクセル）からの距離に伴って分散が増加することを示す関数である。すなわち、中心ピクセルに近いピクセルほど、より望ましく、重みがより大きい。また、分散が大きいほど、ピクセルまたはサンプルが最終結果に与える影響が少ない。したがって、分散は、何らかの関数により、中心ピクセルからの距離に伴って増加するはずである。この動作例では、式（７）の形の線形関数が使用されたが、同様の方法で分散を示す他のタイプの関数も使用可能である。

ｓ_iの値は知られており、式（６）を最大にするαの値を計算することが望ましいので、以下のように再構成することが有用である。

式（８）は、平均α_iおよび分散

を使用した、以下のような、αにわたるガウス分布である。

実際には、αに関して解くことが望ましいので、式（１０）となるように、この式を再構成する。特に、以下のように、式（５）および式（８）を組み合わせることができる。

に関するαの最適値は、以下のとおりである。

実際には、

と

との間の絶対差が２．０未満の場合、カラーコンポーネントのコントリビューションは無視される。

式（１０）および式（１１）を解く場合、α_iおよびσ_iを見つける必要がある。ここでσ² _iは、サンプルの各々に関連付けられた分散である。次に、最適なα値である、最適な部分混合値α^*を見つける。次に、α^*を使用して、最終カラー値を計算する。０または１でないα値には、わずかなペナルティが課せられる。したがって、一実施形態では、αは値０を有するが、代替実施形態では、αは値１を有する。

次に、どのα（０、１、またはα^*）が、式（５）について最高値をもたらすかが決定される。すなわち、式（５）は、どのαが最高の解を与えるかを決定するために、これら３つのαの各々を使用して評価される。式（１０）において、次に、α_iおよびσ_αiが計算される。α_iは、式（９）を使用して計算される。サンプルｓ_iが与えられた場合、式（９）により、αの値が計算される。すなわち、αは、α_iが何であるべきかをサンプルｓ_iが示すものである。式（１０）では、α_iの積が使用される。ガウス分布とガウス分布とが掛け合わされた場合、他のガウス分布が得られる。２５サンプル各々のすべてのガウス分布が互いに掛け合わされるガウス分布のピーク値は、式（１１）によって与えられるα_i ^*によって表される。すべてのガウス分布の積の平均が、重み付け平均である式（１１）になることが示され得る。

最終的に、式（３）の

の値を見つけるために、α．Ｐ（α）の優先（ｐｒｉｏｒ）を定義しなければならない。イメージ内のほとんどのピクセルが、単一のカラーからのみコントリビューションを得ているものと仮定すると、以下のように、αは、値０または１を有するようにバイアスがかけられる。

上式で、ηは常に１未満である（η＜１）。ηの値は、所望の平滑化の量に依存する。大量のイメージノイズが与えられた場合、ηは１に近似できる。

α優先関数は、２つのインパルス（ｉｍｐｕｌｓｅ）を伴って平坦であるため、０、１、およびα^*の３ポイントでの式（３）の値のみを調べる必要がある。どちらにしても、

の対応するピクセルカラーを使用して、処理中のピクセルに対する最終値

として、最大値が割り当てられる。

この手法の数量的な誤差は、出力ピクセルの赤、緑、または青を、センサによって最初に取得されるものに強制しながら、他の２つのチャネルを

に適合するように設定することによって、さらに低減することができる。λは中心サンプルが重くなるように重み付けするため、これら２つの値が大きく異なる確率は低い。また、入力グリッドとは異なるグリッドで出力サンプリングが実行された場合、ソースのバイエルサンプルは、各ピクセルで使用できない。

（マルチイメージデモザイク法）
グリッド無しのベイズ解法を使用して、方法を大幅に変更することなく、複数のイメージからの情報をモデルに導入することができる。後続のビデオフレームからなどの、これらのサポートイメージ（ｓｕｐｐｏｒｔｉｎｇ ｉｍａｇｅ）は、類似したものであると想定されるが、まったく同一ではない。さらに、これらの追加バイエルサンプルは、それらを再サンプリングせずに使用することができる。サポートイメージを使用するために、イメージごとの射影マッピングを計算して、各イメージを第１のイメージに登録しなければならない。

ベイズ式２色イメージデモザイク方法およびデモザイクシステムは、複数のイメージからのサンプルが登録されている限り、それらを取得することができる。イメージの登録により、あるシーンの複数のイメージを、使用可能なようにまとめて整列させることができる。しかしながら、イメージが整列された場合、同じように配向する（ｏｒｉｅｎｔｅｄ）ことはできない。ベイズ式２色イメージデモザイク方法およびデモザイクシステムは、基準イメージを選択し、この基準イメージを基準にして他のイメージを再構築する。次に、処理領域は円形になり、ある半径の処理されるピクセル（すなわち、中心ピクセル）内でサンプルが取られる。

一般に、より多くのイメージを使用することによって、より良い結果が得られる。しかしながら、処理時間と品質との間にはトレードオフが存在する。一実施形態では、使用されるイメージの数は３つであり、その結果処理時間は非常に短く、かつ品質は非常に良くなる。代替実施形態では、使用されるイメージの数は、３つより多くてもよいし、少なくてもよい。

さらにイメージが追加されると、

および

にクラスタ化するために、依然として十分なサンプルを維持しながら、使用されるサンプルの近傍を縮めることができる。このようにすることによって、２つより多くの代表するカラーを含む尤度（ｌｉｋｅｌｉｈｏｏｄ）が削減される。したがって、Ｒ、Ｇ、およびＢのサンプルの各々が、再構築中のサンプルの近くに現れた場合、バイエルサンプルの最も近い近傍の補間組合せを使用することができる。重み付けされたクラスタ化および再構築の使用の概念は、依然として単一の入力イメージを使用する場合と同じである。いったん登録されると、たとえ同じカラーチャネルが同じピクセル位置に現れた場合であっても、依然として利点がある。すなわち、ノイズが削減される。

サポートイメージを含めることによって、不良データまたは紛らわしいデータをもたらすリスクがある。グローバル射影マッピングは、すべてのシーン変更（カメラの移動、対象の移動、照明条件の変更、および対象の出現）を反映しない。登録にエラーが発生する可能性がある。こうしたエラーを低減するために、ローカルでは同様の基準イメージおよびサポートイメージからのデータのみが組み合わされることが確実になる。εとして示される、７×７のローカルウィンドウ全体にわたる絶対差合計（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）技法を使用して、ＲＧＢスペース内の類似度が測定される。

複数のイメージは、基準イメージとサポートイメージとの間の相関誤差を含めるために、σ_iの定義を調整することによって、以下のように処理される。
σ_i＝σ_N（１＋λΔ_d）（１＋τε） （１３）
（１＋τε）の項は、不一致によるペナルティであり、この動作例では、τ＝０．１である。εは二乗差（ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅ）の合計である。

複数のイメージが整列される場合、この整列は完全でない可能性がある。これを補償するために、二乗差の合計が使用される。式（７）を使用する代わりに、式（１３）が使用される。相違点は、最終項（１＋τε）のみである。τは倍率である。したがって、式（１３）の最終項（１＋τε）は、二乗差の合計が大きくなると、ガウス分布の分散が増加することを示している。

項τは、二乗差の合計値がどれだけ重み付けされるかを示す。これは、経験的に決定される。一実施形態では、τはほぼ０．１に等しい。代替実施形態では、他の値をτに使用することができる。しかしながら、τはそれほど重くされないことが重要である。τが大きすぎると、他のイメージからの情報をまったく使用できなくなる可能性がある。τが小さすぎると、たとえイメージが適切に整列されていない場合であっても、他のイメージからの情報を使用することができる。したがって、バランスを見つけなければならない。項τは、整列アルゴリズムの品質に基づいて変化する。

マルチイメージデモザイク法を実装するために必要なことは、サポートイメージ内の近傍バイエルサンプルをセットＳに追加すること、および前述した分散式を使用することだけである。オリジナルサンプルを使用することで再サンプリングする必要がなくなるため、Ｓ内のサンプルは、バイエルセンササンプルであることに留意されたい。

（超解像度）
ベイズ式２色イメージデモザイク方法およびデモザイクシステムの統計的なグリッド無し手法の他の利点は、オリジナルイメージよりも高い解像度を有するサンプリンググリッドなどの任意のサンプリンググリッドでも、再構築に使用できることにある。統計的測定には浮動小数点ユークリッド距離が使用されるため、イメージ内のいかなる場所にも、αの連続値を生成することができる。複数のイメージからのサンプルの整列により、αの値は、オリジナルグリッド内のピクセル間のエッジおよび鋭さをエンコードすることができる。これは、ベイズ式２色イメージデモザイク方法およびデモザイクシステムのフレームワーク内で、超解像度を処理するために利用可能である。

超解像の際、精細な細部を取得するために、統計的クラスタ化およびローカルな近傍サイズをわずかに縮めることができる。それ以外の点で、ベイズ式２色イメージデモザイク方法およびデモザイクシステムは、複数のイメージのデモザイク法のケースと同様に動作する。

ＩＶ．構造の概要
次に、ベイズ式２色イメージデモザイサ２００の構造について説明する。ベイズ式２色イメージデモザイサ２００の構造についてより完全に理解してもうらために、例示的な実施形態の詳細が提示される。しかしながら、この例示的な実施形態は、ベイズ式２色イメージデモザイサ２００を実装および使用可能ないくつかの方法のうちの１つに過ぎないことに留意されたい。

図７は、図１および図２に示したベイズ式２色イメージデモザイサ２００の詳細を示すブロック図である。一般に、ベイズ式２色イメージデモザイサ２００は、各ピクセルについて完全に指定されたＲＧＢカラー値を有するデジタルカラーイメージを処理し、２色の組合せとして各ピクセルの最終カラー値を見つけ出し、そして、アーティファクトが削減された処理済みデジタルカラーイメージを出力する。具体的には、ベイズ式２色イメージデモザイサ２００に対する入力は、デジタルカラーイメージ２８０内の各ピクセルについて完全に指定されたＲＧＢデータを含むピクセルデータである。前述したように、このデータは、このイメージに対して予備的なデモザイクパスを行うことによって取得される。一実施形態では、予備的なデモザイクパスは、高品質の線形補間デモザイク技法を使用して実行される。代替として、双線形補間などの他のタイプのデモザイク技法を使用することもできる。

ベイズ式２色イメージデモザイサ２００は、処理されるピクセルをイメージから選択する処理ピクセルセレクタ７００を含む。最終的に、イメージ内のすべてのピクセルが処理されるが、処理ピクセルセレクタ７００は、処理用に一度に１つのピクセルだけを選択する。処理領域決定モジュール７１０は、処理されるピクセル周囲の処理領域（またはパッチ）を定める。通常、処理されるピクセルは処理領域の中心にある。一実施形態では、処理領域は５×５ピクセル領域である。代替実施形態では、他のサイズ（３×３ピクセル領域または７×７ピクセル領域など）を有する処理領域も使用可能である。

ベイズ式２色イメージデモザイサ２００は、処理されるピクセルの最終カラー値を定めるために使用される優先２色を決定するクラスタ化モジュール７２０も含む。クラスタ化モジュールは、クラスタ化技法を使用して、処理領域内のピクセルからのＲＧＢカラー値を２つのクラスタにクラスタ化する。２つのクラスタのそれぞれの平均が、優先２色になる。一実施形態では、クラスタ化のために、異常値除去段階を伴うｋ平均クラスタ化技法が使用される。代替実施形態では、他のタイプのクラスタ化技法を使用することもできる。

デモザイサ２００は、優先２色の各々が、最終カラー値にどの程度使用されるかを決定し、かつ最終カラー値を取得するために優先２色を組み合わせる、コントリビューションおよび組合せモジュール７３０も含む。モジュール７３０は、サンプルセットが与えられた場合、部分混合値の確率を最大にする最大部分混合値を定めることによって、優先２色の各々のコントリビューションを見出す。サンプルセットは、処理領域内のピクセルからサンプリングされたカラー値を含む。次いで、モジュール７３０は、最大部分混合値と優先２色とを組み合わせて、処理されるピクセルの最終カラー値を計算する。一実施形態では、優先２色は線形に組み合わされる。代替実施形態では、優先２色は非線形に組み合わされる。ベイズ式２色イメージデモザイサ２００による処理は、イメージ内の各ピクセルに対して繰り返される。出力は、イメージアーティファクトが削減された改善したデジタルカラーイメージ２９０である。

Ｖ．例示的な動作環境
ベイズ式２色イメージデモザイサ２００および当該ベイズ式２色イメージデモザイサ２００内で使用される方法は、コンピューティング環境内で動作するように設計されている。以下の説明は、ベイズ式２色イメージデモザイサおよび方法を実装可能な好適なコンピューティング環境の簡単な概説を提供することを意図するものである。

図８は、ベイズ式２色イメージデモザイサおよび方法を実装可能な好適なコンピューティングシステム環境の例を示している。コンピューティングシステム環境８００は、好適なコンピューティング環境の一例に過ぎず、本発明の使用または機能の範囲に関して、いかなる制限も示唆するよう意図するものではない。さらに、コンピューティング環境８００は、例示的な動作環境内に示されたコンポーネントの任意の１つ、またはそれらコンポーネントの組合せに関して、いかなる依存関係または要件を有するものと解釈すべきではない。

ベイズ式２色イメージデモザイサおよび方法は、多数の他の汎用または特定用途向けコンピューティングシステム環境またはコンピューティングシステム構成と共に動作可能である。間接テクスチャ拡大システムおよび方法と共に使用するのに好適な周知のコンピューティングシステム、コンピューティング環境、および／またはコンピューティング構成の例として、パーソナルコンピュータ、サーバコンピュータ、携帯電話およびＰＤＡなどのハンドヘルドコンピュータ、ラップトップコンピュータ、もしくはモバイルコンピュータ、または通信デバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラム可能な民生用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのうちのいずれかを含む分散コンピューティング環境などがあるが、これらに限定されるものではない。

ベイズ式２色イメージデモザイサおよび方法は、コンピュータによって実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的なコンテキストで説明することができる。一般に、プログラムモジュールには、特定のタスクを実行するか、または特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。ベイズ式２色イメージデモザイサおよび方法は、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される分散コンピューティング環境において実施することもできる。分散コンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含む、ローカルのコンピュータ記憶媒体およびリモートのコンピュータ記憶媒体の両方に配置させることができる。図８を参照すると、ベイズ式２色イメージデモザイサおよび方法のための例示的なシステムは、コンピュータ８１０の形態をとる汎用コンピューティングデバイスを含む（図１における第１のコンピューティングデバイス２７０および図２における第２のコンピューティングデバイス２９５が、コンピュータ８１０の例である）。

コンピュータ８１０のコンポーネントには、（中央処理装置、すなわちＣＰＵなどの）処理ユニット８２０と、システムメモリ８３０と、システムメモリを含む様々なシステムコンポーネントを処理ユニット８２０に接続するシステムバス８２１とを含めることができるが、これらに限定されるものではない。システムバス８２１は、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのうちのいずれかを使用するローカルバスを含む、いくつかのタイプのバス構造のうちのいずれかとすることができる。例えば、こうしたアーキテクチャには、ＩＳＡバス、ＭＣＡバス、ＥＩＳＡバス、ＶＥＳＡローカルバス、およびメザニンバスとしても知られるＰＣＩバスが含まれるが、これらに限定されるものではない。

コンピュータ８１０は通常、様々なコンピュータ読み取り可能な媒体を備えている。コンピュータ読み取り可能な媒体は、コンピュータ８１０がアクセス可能な任意の入手可能な媒体とすることができ、コンピュータ読み取り可能な媒体には、揮発性媒体および不揮発性媒体、ならびに取り外し可能な媒体および取り外し不可能な媒体の両方が含まれる。例えば、コンピュータ読み取り可能な媒体には、コンピュータ記憶媒体および通信媒体を含めることができるが、これらに限定されるものではない。コンピュータ記憶媒体には、コンピュータ読み取り可能な命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するために、任意の方法または技術で実装された、揮発性媒体および不揮発性媒体、ならびに取り外し可能な媒体および取り外し不可能な媒体が含まれる。

コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、もしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、もしくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、もしくは他の磁気記憶デバイス、または、所望の情報を記憶するために使用でき、かつコンピュータ８１０がアクセス可能な、任意の他の媒体が含まれるが、これらに限定されるものではない。通信媒体は通常、コンピュータ読み取り可能な命令、データ構造、プログラムモジュール、または他のデータを、搬送波または他の搬送機構などの被変調データ信号内で具現化したものであり、通信媒体には、任意の情報伝達媒体が含まれる。

「被変調データ信号」という用語は、信号内の情報が符号化される形で１つまたは複数の特性が設定または変更される信号を意味することに留意されたい。例えば、通信媒体には、有線ネットワークや直接配線接続などの有線媒体と、音響、ＲＦ、赤外線、およびその他の無線媒体などの無線媒体とが含まれるが、これらに限定されるものではない。上記の任意の組合せもまた、コンピュータ読み取り可能な媒体の範囲内に含まれるべきである。

システムメモリ８３０は、ＲＯＭ８３１およびＲＡＭ８３２などの、揮発性メモリおよび／または不揮発性メモリの形態をとるコンピュータ記憶媒体を含む。起動時などにコンピュータ８１０内の要素間で情報を転送するために役立つ基本ルーチンを含む、基本入出力システム（ＢＩＯＳ）８３３は通常、ＲＯＭ８３１に記憶される。ＲＡＭ８３２は通常、処理ユニット８２０が直ちにアクセス可能であり、かつ／または現在処理ユニット８２０が操作しているデータおよび／またはプログラムモジュールを含む。例えば、図８には、オペレーティングシステム８３４、アプリケーションプログラム８３５、他のプログラムモジュール８３６、およびプログラムデータ８３７が示されているが、これらに限定されるものではない。

コンピュータ８１０は、他の取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータ記憶媒体も備えることができる。例えば、図８には、取り外し不可能な不揮発性の磁気媒体に対して読み書きするハードディスクドライブ８４１、取り外し可能な不揮発性の磁気ディスク８５２に対して読み書きする磁気ディスクドライブ８５１、および、ＣＤ ＲＯＭまたは他の光媒体などの取り外し可能な不揮発性の光ディスク８５６に対して読み書きする光ディスクドライブ８５５が示されている。

例示的な動作環境において使用可能な他の取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータ記憶媒体には、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどが含まれるが、これらに限定されるものではない。ハードディスクドライブ８４１は通常、インターフェース８４０などの取り外し不可能なメモリインターフェースを介して、システムバス８２１に接続され、磁気ディスクドライブ８５１および光ディスクドライブ８５５は通常、インターフェース８５０などの取り外し可能なメモリインターフェースを介して、システムバス８２１に接続される。

上記にて説明し図８に示した、ドライブ群およびそれらに関連付けられたコンピュータ記憶媒体は、コンピュータ読み取り可能な命令、データ構造、プログラムモジュール、および他のデータの記憶領域をコンピュータ８１０に提供する。例えば、図８では、ハードディスクドライブ８４１は、オペレーティングシステム８４４、アプリケーションプログラム８４５、他のプログラムモジュール８４６、およびプログラムデータ８４７を記憶するものとして示されている。これらのコンポーネントは、オペレーティングシステム８３４、アプリケーションプログラム８３５、他のプログラムモジュール８３６、およびプログラムデータ８３７と同一であってもよいし、異なっていてもよいことに留意されたい。オペレーティングシステム８４４、アプリケーションプログラム８４５、他のプログラムモジュール８４６、およびプログラムデータ８４７には、少なくとも異なるコピーであることを示すために、ここでは異なる番号が付与されている。ユーザは、キーボード８６２、および一般にはマウス、トラックボール、またはタッチパッドと呼ばれるポインティングデバイス８６１などの入力デバイスを介して、コンピュータ８１０にコマンドおよび情報を入力することができる。

他の入力デバイス（図示せず）には、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信用アンテナ、スキャナ、無線受信器、または、テレビジョンもしくは放送用ビデオ受信器などを含めることができる。これらの入力デバイスおよび他の入力デバイスは、システムバス８２１に接続されたユーザ入力インターフェース８６０を介して処理ユニット８２０に接続されることが多いが、例えば、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）などの他のインターフェースおよびバス構造を介して接続することもできる。モニタ８９１または他のタイプのディスプレイデバイスもまた、ビデオインターフェース８９０などのインターフェースを介してシステムバス８２１に接続される。コンピュータは、モニタに加えて、出力周辺インターフェース８９５を介して接続可能な、スピーカ８９７およびプリンタ８９６などの他の出力周辺デバイスも備えることができる。

コンピュータ８１０は、リモートコンピュータ８８０などの１つまたは複数のリモートコンピュータへの論理接続を使用して、ネットワーク環境において動作することができる。リモートコンピュータ８８０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、または他の一般的なネットワークノードとすることができ、通常は、コンピュータ８１０に関して上述した要素のうちの多くまたはすべてを備えているが、図８では、メモリ記憶デバイス８８１のみが示されている。図８に示した論理接続には、ローカルエリアネットワーク（ＬＡＮ）８７１およびワイドエリアネットワーク（ＷＡＮ）８７３が含まれるが、他のネットワークを含めてもよい。こうしたネットワーク環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット、およびインターネットにおいて一般的である。

ＬＡＮネットワーク環境において使用される場合、コンピュータ８１０は、ネットワークインターフェースまたはネットワークアダプタ８７０を介してＬＡＮ８７１に接続される。ＷＡＮネットワーク環境において使用される場合、コンピュータ８１０は通常、モデム８７２、または、インターネットなどのＷＡＮ８７３を介して通信を確立するための他の手段を備えている。モデム８７２は、内蔵型とすることもできるし、外付け型とすることもでき、ユーザ入力インターフェース８６０または他の適切な機構を介してシステムバス８２１に接続することができる。ネットワーク環境では、コンピュータ８１０に関して示したプログラムモジュールまたはその一部を、リモートメモリ記憶デバイスに記憶することができる。例えば、図８には、リモートアプリケーションプログラム８８５がメモリデバイス８８１に存在するものとして示されているが、これに限定されるものではない。図示したネットワーク接続は例示的なものであり、コンピュータ間で通信リンクを確立する他の手段が使用できることが理解されよう。

例示および説明の目的で、上記の発明の詳細な説明を提示した。上記の教示に鑑みて、多くの変更および変形が可能である。本明細書に記載した主題事項は、網羅的であるよう意図するものでもないし、開示した通りの形態に限定されるよう意図するものでもない。この主題事項について、構造的特徴および／または方法論的動作に固有の用語で説明してきたが、添付の特許請求の範囲に定義された主題事項は、前述した固有の特徴または動作に必ずしも限定されないことを理解されたい。むしろ、前述した固有の特徴および動作は、添付の特許請求の範囲を実施する例示的な形態として開示したものである。

本明細書で開示するベイズ式２色イメージデモザイク方法およびデモザイクシステムの第１の例示的な実装を示すブロック図である。 本明細書で開示するベイズ式２色イメージデモザイク方法およびデモザイクシステムの第２の例示的な実装を示すブロック図である。 図１および図２に示したベイズ式２色イメージデモザイサの一般的な動作を示す概略的な流れ図である。 図３に示したベイズ式２色イメージデモザイク方法の動作のさらなる詳細を示す詳細な流れ図である。 優先２色の計算プロセスを示す流れ図である。 最終カラー値の計算プロセスの詳細を示す流れ図である。 図１および図２に示したベイズ式２色イメージデモザイサの詳細を示すブロック図である。 ベイズ式２色イメージデモザイク方法およびデモザイクシステムを実装可能な好適なコンピューティングシステム環境の例を示す図である。

Claims (14)

1. デジタルカラーイメージを処理するための方法であって、前記方法は、処理装置を有する汎用コンピューティングデバイスを使用して実行され、
   前記デジタルカラーイメージ内の各ピクセルについて、完全に指定されたＲＧＢトリプルカラー値を取得するステップと、
   前記デジタルカラーイメージ内の選択されたピクセル周囲の処理領域内のピクセルについて、前記ピクセルのカラー値を２つのクラスタにグループ化するステップと、
   前記２つのクラスタのそれぞれの平均を見出し、第１のクラスタの第１の平均に対応する第１の優先カラー値および第２のクラスタの第２の平均に対応する第２の優先カラー値を生成するステップと、
   前記第１の優先カラー値および前記第２の優先カラー値が最終カラー値に対してどの程度のコントリビューションを与えるかを指定する、部分混合値を定めるステップと、
   前記処理領域内の前記ピクセルのカラー値の各々に与えられる前記部分混合値の確率を最大にする前記第１の優先カラー値および前記第２の優先カラー値の混合として定められた、前記選択されたピクセルの最大部分混合値を決定するステップと、
   前記最大部分混合値と、前記第１の優先カラー値および前記第２の優先カラー値とを使用して、前記デジタルカラーイメージ内の前記選択されたピクセルの前記最終カラー値を取得し、前記デジタルカラーイメージのデモザイクを実行して、イメージアーティファクトが削減された改善したデジタルカラーイメージを取得するステップと
   を含むことを特徴とする方法。
2. 予備的なパスデモザイク技法を使用して、各ピクセルについて前記完全に指定されたＲＧＢトリプルカラー値を取得するステップをさらに含むことを特徴とする請求項１に記載の方法。
3. 高品質の線形補間デモザイク技法を使用して、各ピクセルについて前記完全に指定されたＲＧＢトリプルカラー値を取得するステップをさらに含むことを特徴とする請求項２に記載の方法。
4. 前記選択されたピクセルを中心とする前記デジタルカラーイメージ内の前記処理領域を定めるステップをさらに含むことを特徴とする請求項１に記載の方法。
5. クラスタ化技法を使用して、前記処理領域内のピクセルのカラー値を前記２つのクラスタにグループ化するステップをさらに含むことを特徴とする請求項１に記載の方法。
6. 前記クラスタ化技法は、ｋ平均クラスタ化技法であることを特徴とする請求項５に記載の方法。
7. 前記クラスタ化技法と共に異常値除去技法を使用して、クラスタ化の結果を改善するステップをさらに含むことを特徴とする請求項５に記載の方法。
8. 関連バイエルカラーフィルタを有するデジタルカラーイメージを処理する方法をコンピュータに実行させるコンピュータ実行可能な命令を記録したコンピュータ読み取り可能な記憶媒体であって、前記方法は、
   前記バイエルカラーフィルタから取得したサンプルを使用して、前記デジタルカラーイメージに対して予備的なデモザイクパスを実行して、前記デジタルカラーイメージ内の各ピクセルについて完全に指定されたＲＧＢカラー値を取得するステップと、
   処理のために前記デジタルカラーイメージからピクセルを選択して、選択されたピクセルを取得するステップと、
   前記選択されたピクセル周囲の処理領域内のピクセルについて、前記完全に指定されたＲＧＢカラー値を２つのクラスタにグループ化するステップと、
   前記２つのクラスタのそれぞれの平均を見出し、第１のクラスタの第１の平均に対応する第１の優先カラー値および第２のクラスタの第２の平均に対応する第２の優先カラー値を生成するステップと、
   前記第１の優先カラー値および前記第２の優先カラー値が最終カラー値に対してどの程度のコントリビューションを与えるかを指定する、部分混合値を定めるステップと、
   前記処理領域内の前記ピクセルのカラー値の各々に与えられる前記部分混合値の確率を最大にする前記第１の優先カラー値および前記第２の優先カラー値の混合として定められた、前記選択されたピクセルの最大部分混合値を決定するステップと、
   前記最大部分混合値と、前記第１の優先カラー値および前記第２の優先カラー値とを使用して、前記選択されたピクセルの前記最終カラー値を取得し、前記デジタルカラーイメージのデモザイクを実行するステップと、
   前記デジタルカラーイメージ内の各ピクセルについて、上記の選択されたピクセルを取得するステップと、クラスタにグループ化するステップと、優先カラー値を生成するステップと、部分混合値を定めるステップと、最大部分混合値を決定するステップと、デモザイクを実行するステップとを繰り返して、前記デジタルカラーイメージ内のアーティファクトを削減するステップと
   を含むことを特徴とするコンピュータ読み取り可能な記憶媒体。
9. 前記方法は、予備的なデモザイクパスの間、高品質の線形補間技法を使用するステップをさらに含むことを特徴とする請求項８に記載のコンピュータ読み取り可能な記憶媒体。
10. 前記方法は、
    前記選択されたピクセル周囲の前記処理領域を中心に置くステップと、
    ｋ平均クラスタ化技法を使用して、前記処理領域内のピクセルからの前記完全に指定されたＲＧＢカラー値を２つのクラスタにクラスタ化するステップであって、前記第１の優先カラー値および前記第２の優先カラー値のそれぞれはＲＧＢカラー値を有する、ステップと
    をさらに含むことを特徴とする請求項８に記載のコンピュータ読み取り可能な記憶媒体。
11. 前記方法は、前記処理領域内のピクセルについて、前記バイエルカラーフィルタからのサンプルカラー値を使用して、前記選択されたピクセルの前記部分混合値を計算するステップをさらに含むことを特徴とする請求項１０に記載のコンピュータ読み取り可能な記憶媒体。
12. デジタルカラーイメージをデモザイクして、前記デジタルカラーイメージ内のアーティファクトを削減するコンピュータ実施方法であって、前記方法は、処理装置を有する前記コンピュータを使用して実行され、
    高品質の線形補間デモザイクを前記デジタルカラーイメージに実行して、前記デジタルカラーイメージ内の各ピクセルについてＲＧＢトリプルカラー値を取得するステップと、
    処理のために前記デジタルカラーイメージ内のピクセルを選択して、処理されるピクセルとして指定するステップと、
    ５×５ピクセル領域を有する処理されるピクセルを中心とする処理領域を定めるステップと、
    クラスタ化技法を使用して、前記処理領域内のピクセルのＲＧＢカラー値を２つのクラスタにクラスタ化するステップと、
    前記２つのクラスタのそれぞれの平均を見出し、第１のクラスタの第１の平均に対応する第１の優先カラー値および第２のクラスタの第２の平均に対応する第２の優先カラー値を生成するステップと、
    前記第１の優先カラー値および前記第２の優先カラー値が最終カラー値に対してどの程度のコントリビューションを与えるかを指定する、部分混合値を定めるステップと、
    前記処理領域内の前記ピクセルのカラー値の各々に与えられる前記部分混合値の確率を最大にする前記第１の優先カラー値および前記第２の優先カラー値の混合として定められた、前記処理されるピクセルの最大部分混合値を決定するステップと、
    前記最大部分混合値と、前記第１の優先カラー値および前記第２の優先カラー値とを使用して、前記デジタルカラーイメージ内の前記処理されるピクセルの前記最終カラー値を取得し、前記デジタルカラーイメージのデモザイクを実行して、イメージアーティファクトが削減された前記デジタルカラーイメージのデモザイク版を取得するステップと
    を含むことを特徴とする方法。
13. 

    が前記処理されるピクセルの前記第１の優先カラー値であり、
    

    

    が前記処理されるピクセルの前記第２の優先カラー値であり、Ｓが前記処理領域内の各ピクセルのサンプルセットである、式、
    

    

    で与えられる前記部分混合値αの前記確率を最大にすることによって、前記最大部分混合値
    

    

    を計算するステップをさらに含むことを特徴とする請求項１２に記載の方法。
14. 式、
    

    

    を使用して、前記処理されるピクセルの前記最終カラー値Ｃを計算するステップをさらに含むことを特徴とする請求項１３に記載の方法。

Images