JP5311741B2 - 多数モード表示に対するスケーリングを実行すべく画像再構築及びサブピクセル・レンダリングを実行するシステム及び方法 - Google Patents

Description

それぞれを引用することでその全体をここに組み込まれる、本願と同一譲受人に譲渡された米国特許出願である下記の特許文献１乃至７において、新規なサブピクセル配列が画像表示装置に対するコスト／性能曲線を改善するためにそれらに開示されている。

水平方向における偶数のサブピクセルを有する特定のサブピクセル繰り返しグループに対して、適切なドット変換方式に影響する以下の特許文献８乃至１４のシステム及び技術が開示され、それぞれを引用することでその全体をここに組み込まれる。

これら改善は、それぞれを引用することでここに組み込まれる、以下の特許文献１５乃至２１の本願と同一の譲受人に譲渡された出願に更に開示されるサブピクセル・レンダリング（ＳＰＲ）・システム及び方法と結合された場合に特に明言される。

色域変換及びマッピングに関する改善は、それぞれを引用することでその全体をここに組み込まれる、以下の特許文献２２乃至２５の本願と同一の譲受人に譲渡されると共に同時係属中の出願に開示されている。この明細書において記載された特許出願の全ては引用することでここに組み込まれるものである。

この明細書に組み込まれると共に該明細書の一部を構成する添付図面は、本発明の典型的な具現化例及び実施例を図示し、そしてその記載と共に本発明の原理を説明するよう役立っている。
「簡略化されたアドレシングによるフルカラー画像形成装置に対するカラー・ピクセルの配列」と題された、２００１年７月２５日出願の米国特許出願第０９／９１６，２３２号（‘２３２出願） 「カラー平面パネル・ディスプレイのサブピクセル配列と増大された変調伝達関数応答によるサブピクセル・レンダリングに対するレイアウトとの改善」と題された、２００２年１０月２２日出願の米国特許出願第１０／２７８，３５３号（‘３５３出願） 「カラー平面ディスプレイのサブピクセル配列と分割ブルー・サブピクセルによるサブピクセル・レンダリングに対するレイアウトとの改善」と題された、２００２年１０月２２日出願の米国特許出願第１０／２７８，３５２号（‘３５２出願） 「改善された４カラー配列とサブピクセル・レンダリングに対するエミッター」と題された、２００２年９月１３日出願の米国特許出願第１０／２４３，０９４号（‘０９４出願） 「カラー平面パネル・ディスプレイのサブピクセル配列と低減されたブルー発光ウェル視感度によるレイアウトとの改善」と題された、２００２年１０月２２日出願の米国特許出願第１０／２７８，３２８号（‘３２８出願） 「水平サブピクセル配列及びレイアウトを有するカラー・ディスプレイ」と題された、２００２年１０月２２日出願の米国特許出願第１０／２７８，３９３号（‘３９３出願） 「ストライプ・ディスプレイに対する改善されたサブピクセル配列と同ディスプレイをサブピクセル・レンダリングするための方法及びシステム」と題された、２００３年１月１６日出願の米国特許出願第０１／３４７，００１号（‘００１出願） 「新規な液晶ディスプレイにおける画質劣化修正」と題された、米国特許出願第１０／４５６，８３９号 「ドット変換を実行する交差接続を有する表示パネル」と題された、米国特許出願第１０／４５５，９２５号 「規格ドライバと新規な表示パネル・レイアウト上のバックプレインとによるドット変換を実行するシステム及び方法」と題された、米国特許出願第１０／４５５，９３１号 「低減された量子化誤差を伴う固定パターン・ノイズを有するパネルに対する視覚効果に対する補償のためのシステム及び方法」と題された、米国特許出願第１０／４５５，９２７号 「予備ドライバを具備する新規な表示パネル・レイアウトに対するドット変換」と題された、米国特許出願第１０／４５６，８０６号 「液晶ディスプレイ・バックプレイン・レイアウトと非規格サブピクセル配列に対するアドレシング」と題された、米国特許出願第１０／４５６，８３８号 「分離青サブピクセルを伴う新規な液晶ディスプレイにおける画質劣化修正」と題されて、本願開示と同時に出願された米国特許出願第（代理人整理番号第０８８３１．００５６．０１号）号 「ＲＧＢピクセル・フォーマット・データのペンタイル行列サブピクセル・データ・フォーマットへの変換」と題された、２００２年１月１６日出願の米国特許出願第１０／０５１，６１２号（‘６１２出願） 「ガンマ調整を伴うサブピクセル・レンダリングに対する方法及びシステム」と題された、２００２年５月１７日出願の米国特許出願第１０／１５０，３５５号（‘３５５出願） 「適応フィルタリングを伴うサブピクセル・レンダリングに対する方法及びシステム」と題された、２００２年８月８日出願の米国特許出願第１０／２１５，８４３号（‘８４３出願） 「画像データの一時的サブピクセル・レンダリングに対するシステム及び方法」と題された、２００３年３月４日出願の米国特許出願第１０／３７９，７６７号 「動作適応フィルタリングに対するシステム及び方法」と題された、２００３年３月４日出願の米国特許出願第１０／３７９，７６５号 「改善された表示視角に対するサブピクセル・レンダリング・システム及び方法」と題された、２００３年３月４日出願の米国特許出願第１０／３７９，７６６号 「埋め込み式プレ-サブピクセルのレンダリングされた画像を伴う画像データ・セット」と題された、２００３年４月７日出願の米国特許出願第１０／４０９，４１３号 「色相角計算システム及び方法」と題された、２００３年１０月２１日出願の米国特許出願（代理人整理番号第０８８３１．００５７号）号 「ソース・カラー・スペースからＲＧＢＷターゲット・カラー・スペースへの変換のための方法及び装置」と題された、２００３年１０月２１日出願の米国特許出願（代理人整理番号第０８８３１．００５８号）号 「ソース・カラー・スペースからターゲット・カラー・スペースへの変換のための方法及び装置」と題された、２００３年１０月２１日出願の米国特許出願（代理人整理番号第０８８３１．００５９号）号 「色域変換システム及び方法」と題された、２００３年１０月２１日出願の米国特許出願第（代理人整理番号第０８８３１．００６０号）号

以下、幾つかの例が図面中に図示されている具現化例及び実施例を詳細に参照する。可能な限り、同一参照番号は同様パーツを言及すべく複数の図面をわたって使用される。

図６に示されるものは、ナイキスト・リミットを充分下回ってサンプリングされる正弦波信号６０である。留意して頂きたいことは、ピーク６２の幾つかがサンプリング６４されるが、他の点ではサンプル６６が肩部で取られる。これは帯域制限画像であるので、理想的な光学画像再構築低域通過フィルタはオリジナルの正弦波を正確に再構築すべく使用され、理想的なフィルタは肩部サンプルの間の明或は暗ピークを再構築することになる。数学的には、理想的なフィルタは既知の正弦関数を用いて構築され得る。正弦関数は正及び負の両方の項を有する。そうしたフィルタは数学の理想世界で具現化され得る一方で、電子的ディスプレイの現実世界では「理想的」な光学再構築フィルタのようなものは全くなく、それは光学においては、「負光」のようなものが全くないからである。それ故に、ディスプレイに対する現実世界の再構築フィルタ欠如は、ピークが再構築されずに、画像、所謂モアレの歪みに至る。図８は正方整数ピクセル８２（第２次元で示される明るさ、グレイレベルを伴う画像の１次元スライスにおいて）によって再構築８０されるサンプリングされた正弦波６０を示す。留意して頂きたいことは、ピークの肩部で取られるサンプル値６６は広く平坦なエリアで再構築されることである。この歪んだ画像条件は平面テレビや他の視覚表示プロダクトに通常見られるものである。システムに不当なコスト或は複雑性を付加すること無くこのモアレを低減或は削減することが望ましい。また、カラー誤差或は画像コントラストの損失等の欲せざるアーチファクトを導入することを回避することが望ましい。

モアレは、エイリアシングと同一の損傷効果を有するように視聴者に見えて、疑似信号を作り出すが、その２つは全く異なる。エイリアシングは、サンプリングされるべき信号が、「折り重なり」を引き起こしてナイキスト・リミットを下回る疑似信号を作り出すナイキスト・リミットの周波数成分或はそれ以上の周波数成分を有する場合に生ずる。ひとたびサンプリングされると、エイリアシング信号を実際の信号と区別することは難しい。モアレはそれ程ではないが、モアレは識別されて適切な再構築フィルタを用いてサンプリング信号から濾過され得る。エイリアシング信号は識別されずにサンプリング後に濾過されないので、サンプリング前に、ナイキスト・リミットでのエイリアシング信号或はナイキスト・リミット以上の信号を除去する注意を払うべきである。これは「帯域制限画像」を作り出す。

モアレ歪みはナイキスト・リミットをちょうど下回った実際の信号に非常に強力に生ずる。信号周波数が増大すると共に、ナイキスト・リミットに近づき、波長が増大するのと同様に信号振幅の断片としてモアレ振幅は増大する。結果は振幅変調（ＡＭ）信号と類似している信号であり、搬送波周波数はナイキスト・リミットであり、モアレ空間周波数はナイキスト・リミット周波数とサンプリングされる信号との間の差である。逆に、オリジナル信号周波数はナイキスト・リミットを下回って低減されるので、結果としてのモアレ信号振幅及び波長は、モアレ空間周波数が信号周波数と等しくなるまで減少し、その点で、モアレ歪み振幅変調が消える。この点を下回って、ある種のモアレ振幅変調は再び現れ得るが、振幅は小さい。モアレ振幅変調が最初に消える点はモアレ・リミットとして規定される。それはナイキスト・リミットの半分であるか、或は再構築点周波数の１／４である。

所与の画像のサンプル数が帯域制限で信号サイクル当たり４サンプルを超えて増大すれば、画像は現実世界の非理想的光学的再構築フィルタとして作用する光学的ブラーフィルタによってほんの僅かに濾過される必要がある。実際、もしディスプレイの再構築周波数が充分に高ければ、人の目の光学的特性は現実世界の光学的再構築フィルタとしての役割を果たす。そうした過剰サンプリング・オリジナル画像がなければ、余剰なサンプルは任意の適切なアルゴリズムを用いて補間によって見出され得る。図７は、各オリジナル値６６間の補間値７６を伴う図６の同一オリジナル・サンプリング正弦波信号６０を示す。オリジナル・サンプル６６がピークを外れた場合、補間値７６はそれにまで伸びることができる。これはモアレ歪みを低減する。

サブピクセル・レンダリングによって、ディスプレイにおける物理的ピクセルの数を増大させること無しに、画像を再構築すべく独立してアドレスされ得る点の数は増大する。これは図９に示されるモアレ・リミットの空間周波数を増大する。例えば、緑サブピクセルが肩部のオリジナル・サンプル点６６を再構築する際、赤サブピクセルはピーク近くの補間点を再構築し、これは逆もまた成り立つ。付加的な光学的「現実世界」再構築フィルタは、「負光」の必要性無しに、帯域制限画像を再構築することができ、単にサブピクセルの鋭利な縁を丸めるべく僅かなぼやけの付加が必要となる。

図１０は、サブピクセル・レンダリング無しに、サンプリング１２０されると共に再構築１１０される帯域制限画像１００の表現を示す。留意して頂きたいことは、結果としての画像１１０が「濃淡のむら」があり且つ一続きの両方であることである。図１１において、同一画像１００がオリジナル・サンプル点１２０間の補間点１１２０でサブピクセル・レンダリングを用いて再構築１１００される。ここで留意して頂きたいことは、改善された画像が忠実で低減されたピクセレーション・アーチファクトであることである。

オリジナル・サンプル間に補間点を作り出すプロセスは画像スケーリングの形態として考えられ得る。本発明の様々な例の内の幾つかにおいて、各オリジナル点に対して１つの補間点があるので、スケーリング比（変換率）は「１から２」或は２Ｘスケーリングとして考えられ得る。他の「スケーリング比」は本発明の範囲内で具現化されると共に想像され得る。

画像に対する従来の補間（例えば、線形、双一次、三次、双三次、正弦、ウィンドウ正弦、並びに、その類）は、典型的には、包囲ピクセルに対して浮動点演算を含むコンピュータ的に高価な演算として考えられる。これは特に、特定の表示に適合すべくスケーリング画像データ（例えば、画像をアップサンプリング、ダウンサンプリング、或は、再サンプリングを為す）の場合が当てはまる。よって、殆どの熟練者は複雑な多項式を実行すべくハードウェアを組み立てるべく方法を見出すことに集中する。

本発明の幾つかの実施例は、従来必要であった徹底的なアルゴリズムや回路構成のそれ程たいしたことがない計算で加重平均値としての補間方式を実行する例示的なシステム及び方法をここに提示した。加えて、ひとたび補間加重平均係数及び行列が決定されたならば、本発明は他の画像処理ステップ（例えば、サブピクセル・レンダリング及びその類）で補間されたデータを好都合に処理するための方法及びシステムを記載する。

繰り返しセル・シンメトリーを用いての補間／データ複製
以下の議論は本発明の技術を例示するものであり、本発明の範囲を限定するものではない。以下の議論は第１解像度（例えば、ＶＧＡ）での画像を入力し、垂直及び水平軸線上に画像データを補間、複製、或は、再構築（例えば、エリア再サンプリングを介して）してから、そのデータをサブピクセル・レンダリングして、第２解像度での従来の表示よりもより少ないサブピクセルを有するディスプレイ上で示されるように、より高い解像度が付加的な再構築点を提供する限りにおいて、結果としての画像が効率的により高い第２解像度のものになることを欲する表示システムを記載する。しかしながら、本発明の範囲は他のシステム及び方法を包含すべく充分に広く、繰り返しセル・シンメトリーを用いて補間を処理して、それら補間方法をＳＰＲ等の他の画像処理方法と一緒に効果的に用いるものである。

画像データのスケーリング及びサブピクセル・レンダリングを為す繰り返しセル・シンメトリーの概念は先の‘６１２出願に議論されている。その出願において、新規なサブピクセル・レイアウトを有する表示に対してスケーリングすると共にレンダリングを為す第１フォーマット（例えば、従来のＲＧＢデータ）から入力画像をエリア再サンプリングする処理方法は、ターゲット表示を横切る繰り返しセル・シンメトリーが存在するために、ほんの少数のエリア再サンプリング・フィルタを使用しなければならない事実を用いる。

以下に更に議論されるように、同様の概念はデータの補間に働いて、所望の補間を実行するために、しかも高価な浮動点計算或はハードウェアの必要性無しに、ほんの少数のフィルタ・カーネルを使用しなければならない。

任意の特定のスケーリング比でのスケーリングを伴うエリア再サンプリング・アルゴリズムのように、画像を横切って且つより細かに重ね重ね繰り返す入力及び出力ピクセルの間に少数の関係がある。この「繰り返しセル」に対するエリア再サンプリング係数を計算して、それらを適切に再使用することだけが望ましい。同一のことは補間によって実質的に為され得る。繰り返しセルにおける各箇所における１例としての三次補間を単に取るため、三次方程式が「オフ-ライン」（即ち、システムの設計プロセスの一部として）で計算され得て、加重係数に変換されてから、テーブルに記憶される。

典型的には、加重値は浮動点として実行されると共にハードウェア的には従来から具現化が難しかった三次方程式（例えば、混合関数）から計算される。しかし繰り返しセルのアイデアは小数のフィルタ・カーネルをその代わりに事前計算することを可能としている。これらフィルタ・カーネル或は係数のテーブルはハードウェアに記憶（例えば、ＲＯＭ、フラッシュメモリ、或は、その類）させることができて、画像に対するリアルタイムの三次補間を為すべく使用され得る。１つの典型的なシステムにおいて、補間ハードウェアは４×４フィルタ・カーネルとして、或は、記憶されたフィルタ・カーネルと符合する行列係数を伴う任意のそうした適切に寸法付けられた行列として具現化され得る。これは「多相フィルタリング」として知られている。

三次補間を用いるこの例に対しては、任意の標準三次式（例えば、カットマル-ロム三次式或はその類）で始動することが可能である。既知のピクセルの間に新値を補間して、可能であればオリジナル画像値を作り出すので、全ての制御点を通過する三次式を選択することが望ましい。（本発明の目的にとって）「提案」として入力点を使用する三次スプラインの他の形態を用いることが可能であるが、それらはオリジナル値の極近くを通らない可能性がある。１次元の三次曲線のためのカットマル-ロム式は以下の行列式に付与される。

[Ｔ^３，Ｔ^２，Ｔ，１]行列は三次方程式-ａ^＊Ｔ^３＋ｂ^＊Ｔ^２＋ｃ^＊Ｔ＋ｄ^＊１と対応している。[Ｐ１，Ｐ２，Ｐ３，Ｐ４]行列は制御点のリストであり、中間の４×４行列は基準行列である。この４×４行列はカットマル-ロム行列と対応し、全ての行列点乗積が実行されれば、結果としての式は暗黙のａ，ｂ，ｃ及び係数に対して修正値を有する。先の数式１の計算実行の結果は以下のようになる。

数式２は制御点周りの項を収集すべく以下のように書き改めることができる。

数式３は４つの制御点の加重和（平均）と類似している。Ｔの任意の所与値に対して、合計される前に様々な量によって各制御点を加重する。Ｔは０と１との間にあるので、結果はＰ２からＰ３まで移動する。例えば、もしＴが０であれば、結果は単にＰ２であり、もしＴが１であれば、結果はＰ３である。０と１との間のＴの全ての値に対して、結果は必ずしもＰ２とＰ３との間にはなく、その理由は周囲点Ｐ１及びＰ４を含む三次処理が値を持ち上げたり下げたりするからである。図１は、三次式が単一スキャン・ラインを横切って１次元の場合に作り出す可能性ある曲線の調整である。

Ｐ１乃至Ｐ４の４つの点は制御点であり、画像の単一スキャン・ラインを横切る飽和度値である。このグラフ上のＹ方向はサブピクセルの飽和度である（例えば、赤、緑、或は、青等の異なるカラー平面内）。Ｔ方向は１行内のピクセルに沿っている。Ｐ２とＰ３との間の誇張された曲率は、三次曲線が制御点の上下にどのようにして値を補間できるかを示す。

２次元画像（先の三次例を用いて）において、１つの可能性ある実施例は、一度に４行を見ると共に一度に４つのソース・ピクセル（例えば、制御点）を見ることである。よって、先の式の表現は、第１行に対するＰ１１，Ｐ１２，Ｐ１３，Ｐ１４から第４行に対するＰ４１，Ｐ４２，Ｐ４３，Ｐ４４までの制御点から成る４つの異なる集合を用いるべく僅かに変化させられ得る。これは図２Ａに示されている。Ｘ方向（Ｔｘ）に対するＴ値はこれら４つの数式に差し込まれて、４つの垂直制御点となる。これらは第４回目にＹ方向（Ｔｙ）におけるＴ値を伴って数式３に戻される。結果は４つの内部制御点Ｐ２２，Ｐ２３，Ｐ３２，Ｐ３３によって規定される四角形内部のどこかに横たわる単一値である。

これらを、後に、サンプル点によって乗算される加重係数の集合に変換することが望ましい。これを達成すべく、等式を記号を用いて解きサンプル点の各々に対する項を収集して、それら係数をどのようにして計算するかを見出すことが可能である。４つの制御点行に対する数式を４つの垂直制御点に差し込むことで、以下の行列式となる。

ＣＭがカットマル-ロム基準行列とする場合、以下の通りである。

行列点乗積を記号を用いて実行して、制御点の各々に対する項を収集すると、各制御点に対する係数各々に対して１つずつの１６個の異なる数式となる。

次いでこれら数式は、ハードウェアで使用される前に、４×４フィルタ・カーネルに変換され得る。この変換はＴｘ，Ｔｙ値の所与の対に対する先の等式の各々を計算することを含み、それら１６個の結果はサンプル値から成る４×４行列となって、スケーリング・ハードウェアで使用する。

理解して頂きたいことは、繰り返しセル内部のＴｘ及びＴｙ値は０及び１の間に入る数であって、４つの中央制御点の間に横たわる出力ピクセルに対する係数を生成する。フィルタ・カーネルの各々に対するこれらパラメータＴ値を生成する一実施例が以下に議論される。図２Ａは入力サンプル点から成るグリッド２００の一部の一例を示し、それらの上部に載せられた出力再サンプル点から成る単一繰り返しセルを伴う。

この例において、入力ピクセル対出力ピクセルの比はこの場合で２：５であり、それは６４０ピクセル幅画像及び１６００ピクセル幅画像の間の比である。これは、コンピュータ表示システムがスケーリングのために必要とされ得る共通比である。大きな黒ドット２０２は入力ピクセルの幾何学的中心を表現している。それは、先の三次方程式における入力制御点と同様にしてラベル付けされている。小さなグレイ・ドット２０４は出力ピクセルの幾何学的中心を表現している。明瞭化のため、出力ピクセルから成る１つだけの繰り返しセルが示されているが、このセルは実際の使用では重ね重ね繰り返される。各繰り返しセルは直ぐ近くの入力サンプル点と同一関係を有する。理解して頂きたいことは、他の繰り返しセルが他のスケーリング比に対して見出され、全般的なこの議論が他のスケーリング比にも同等に適用されることである。

またこの例において、繰り返しセルは入力サンプル点上に正確に入る第１出力再サンプル点と整列している。他の整列も可能であり、例えば４入力点間の空間の中間に整列である。繰り返しセルの整列は以下に議論されるように望ましい効果を有する。しかしながら上方左隅に正確に整列することは幾つかの便利な初期化値を作り出すと共にこの例の説明をより容易にしている。

繰り返しセルの第１行における第１出力ピクセルは正確に整列されて、この位置に対するパラメータＴ値がゼロと等しい。この場合、入力対出力の比が２：５であれば、第１行における第２出力ピクセルはＰ２２及びＰ３２の間の進路の２／５番目であり、第３出力ピクセルはその進路の４／５番目である。第４出力ピクセルはその進路の６／５番目であり、それをＰ３２を通過した進路の１／５番目に配置する。この１以上の「オーバフロー」は、三次入力パラメータを右へ１入力列だけ進める時間を意味する。よって、入力ピクセルの番号付け方式は第１列を降下させるべくやり直しを為させ、右側のラベル無し列を含む。第１行における最終出力ピクセルＰ３２を通過した進路の３／５番目である。このプロセスは繰り返しセルの任意の行或は任意の列に対して略同等であり、Ｔｘ或はＴｙに対する値であって、０及び１の間の有理数であるが、この場合では常に１／５の分数である値を生成する。任意のスケール・ファクタ（スケール因子）の一般的な場合に対してこれら分数の分子を計算するプロセスは、スケーリングによるエリア再サンプリングを記載する先の‘６１２出願に記載されたものと略同等である。

これら分数値が数式６の等式に差し込まれると、結果は使用すべきスケーリング・ハードウェアに対するフィルタ・カーネルである、係数から成る４×４テーブルの集合である。スケーリングによるエリア再サンプリングにおけるように、それは図２Ａにおける２５個の様々な再サンプル点（グレイ・ドット）に対する２５個のフィルタ・カーネルを有することが予想される。しかしながら、それらフィルタ・カーネルの多くは異なる軸線上での相互の鏡像である。よってそれは低減された数、この場合では６を計算するに充分であり、ハードウェアがそれらをはじくか或はそれらを適切な順序で読み込む限りである。この例の場合、６個のそうした可能性あるフィルタ・カーネルは図２Ｂに示されている。

ここでのように、フィルタ係数は２５６（或はシステムに応じた幾分かの他の値）で乗算され得て、ハードウェアでの具現化に便利な値を作り出す。Ｍ上の下付文字は繰り返しセルにおけるフィルタ・カーネルの位置を示し、０，０は上部左を示し、０，１は繰り返しセルにおけるそれの下方の１つを示す。これらカーネルを試験して加重平均がどのように働くかに対する感覚を得ることは興味深い。Ｍ０，０とラベル付けされたものは、出力ピクセルが入力ピクセルの上部に直に載る場合であり、よってカーネルにおけるＰ２２係数は唯一の加重値であり、それは２５６で、１．０での乗算と論理的に等価である最大値である。フィルタ・カーネルの列をスキャニングすると、加重値がより小さくなり、Ｐ２３に対する加重値はより大きくなる。フィルタ・カーネルから成るテーブルを斜めにスキャニングする場合に注目すべきは、Ｐ３３に対する加重値が、カーネルが構築されてＰ３３により近い値を計算するに連れてより大きくなる。

繰り返しセル整列の変更
先の例において、繰り返しセルを整列して、入力ピクセル上に正確に載ったその上方左隅が繰り返しセルを配列する唯一の方法であった。これは幾つかの便利な初期値を作り出し得るが、これは必ずしも繰り返しセルを配列する望ましい方法ではない。別の実施例はサンプル点を整列しないことによって生じるが、むしろ、再サンプル・エリアの各種エッジを整列することによる。入力及び出力ピクセルから成る単一行３００は図３に示されている。

図３は１：３のスケーリング比を示し、そこでは黒ドット３０２がそれらの暗黙サンプル・エリア３０４の中心における入力ピクセルであり、灰ドット３０６がそれら再サンプル・エリア３０８内部における再サンプル点である。図２Ａにおける繰り返しセルに使用される整列は、もし１：３スケーリング比が用いられた場合には図４と類似することになる。

図４で判明されるように、出力サンプル点は暗黙の再サンプル・エリアのエッジを外れて伸びている。そうした状況についての仮定を作ることは可能であり、この場合において充分であり得る１つの仮定は、入力画像外部であるエッジが黒であることである。この黒仮定と図４の整列とを用いて、左エッジは入力ピクセル値で終了するが、右側のエッジは黒に向かって衰退する。図３のサンプル・エリア整列においてさえ、第１及び最終の再サンプル点は第１及び最終の入力サンプル点を通過して伸びる。三次補間によって、これはエッジを黒に向かって僅かに衰退させることになる。その状況は、入力画像外部のエリアについての異なる仮定を用いることで変化させることができる。最後の２つの入力点の線形補間は利用され得るか、或は、可能であれば三次補間が用いられて、画像外部の紛失値を生成する。

留意して頂きたいことは、図４に示されるサンプル点整列の左エッジが良好、即ちそれは第１出力点に対する入力点の内の１つを選択する。右側のエッジに対しても同様にこれを為すことが望ましい。更に留意して頂きたいことは、もし出力アレイがほんの１３ピクセル幅であれば、図４は望ましい。しかし、出力サイズがしばしば既知の事実であるので、第１５番のピクセルがその位置に載せるべく代わりにスケール・ファクタを変更することで充分である。図５は、第１及び最終のピクセルが第１及び最終の入力サンプル点と正確に整列している状態で、再サンプル点を載せるにはどのようにすれば可能であるのかを示す。

第１出力ピクセルの位置は約１つだけ移動させられて、スケール・ファクタは５：１５（１：３）から５：１７まで変更させられた。第１出力ピクセルの第１入力ピクセルに対する位置は剰余項を異なる値に初期化することによってソフトウェア的及び／或はハードウェア的に変更させることができる。スケール・ファクタを、予めオフ-ラインで達成可能であるテーブルを再構築することで変更して、次の入力ピクセルに何時切り替えるかを決定する定数を変更することで可能である。それらはハードウェアに対する小改正であるが、フィルタ・テーブルはより大きくなるか或はより小さくなる。スケール・ファクタを計算すべく、以下の数式７が利用され得る。

（Ｏｓｉｚｅ：出力サイズ、Ｉｓｉｚｅ：入力サイズ）
これは、図５に示されるものと接近した５：１７．５のスケール・ファクタとなる。一実施例において、数全体をこの場合において合理的に為すべく保持することが望ましく、１０：３５の比が用いられて、２：７に簡略化され得る。

ＸＧＡをＵＸＧＡにスケーリング（拡大）する場合（或は、１０２４ピクセルから１６００ピクセルに）、この場合は図３のサンプル・エリア整列仮定を伴う１６：２５の可能性あるスケーリング比を有する。これは６２５個のフィルタ・カーネルから成るテーブルを利用し得て、ハードウェア的に具現化する（そして僅かにより少ないシンメトリーを伴って）。しかしながら、先の数式７によって、図５の新サンプル点整列仮定を伴うスケール比はほんの５：８である。これは実質的により少ないカーネルから成るテーブルを必要とし、それはほんの６４個のフィルタ・カーネルであり、この場合におけるハードウェア・ゲート要件において殆ど１０折り重ね減少である。ＸＧＡ及びＵＸＧＡ（それは７６８及び１２００である）の垂直次元に対して、数式は５：８の同一比を生み出す。

この「サンプル点整列」は潜在的には、システム設計者があらゆるシステム構築で試すべく重要な仮定である。もしそれがオリジナル「サンプル・エリア整列」よりもより良好なスケール・ファクタを作り出せば、ハードウェアへのゲートは節約され得る。もしオリジナル仮定がより良好なスケール・ファクタを作り出せば、他の設計がエッジ上での「黒への衰退」を達成するよう試され得る。実際、それらの可能性ある実施例の内の１つは、黒へのピクセル衰退であり、了承出来る結果を達成することである。

２×スケーリング・モード
ここで、入力画像データに対しての２×スケーリングを実行するための方法及びシステムが記載される。そうしたスケーリング・モードは、先の関連特許出願で更に議論されているように、例えばＶＧＡデータをＨＤフォーマットに表示できるテレビ或はモニタ等の多数モード表示装置に有用である。そうした表示、引用することで組み込まれている同一譲受人に譲渡された出願の幾つかにおいて議論された多数の新規性あるサブピクセル・レイアウトの内の１つを含んで、改善された画像再構築フィルタを伴う通常テレビを表示すると共に、幾つかのディジタルテレビ解像度を表示できる。そうしたディスプレイの一実施例において、三次補間、サブピクセル・レンダリング、並びに、交差カラー鮮鋭化の組み合わせは通常テレビに満足できる画像をモアレを殆ど無くして作り出すことができる。特に、２×スケーリングの特別の場合に対する三次補間は単純な番号とより費用がかからない処理とを含む。

２×スケーリングにおいて、あらゆる他の再構築点値は入力ピクセル・サンプル点上に載り、それら再構築点で計算が何等必要とされ得ない。各種値がＴ＝１／２で中間降下して、それを先の数式３に代入することで、以下の数式８をとなる。

Ｔ＝１／２を伴う行列方程式が簡略化されると、４ピクセル値周囲の単純な加重平均が判明する。これは値：［−１／１６ ９／１６ ９／１６ -１／１６］を伴う４×フィルタ・カーネルと等価である。

留意して頂くことは、これら全ての数の分母が２の便利な累乗であり、この分割を右シフト及び加算の単純な組み合わせと為している。９／１６の乗算でさえ単純であり、それは、１度は１桁、他の４桁だけで、オリジナル値を２度左にシフトしてから、その２度シフトされた値の加算が随伴されて達成され得る。フィルタ・カーネルの係数から成るこの集合は非常に単純なハードコード化されたディジタル論理で具現化され得て、非常に低コストの畳み込みエンジンを提供する。

標準６４０×４８０テレビ信号をここで議論されたようなパネルに表示すること、即ち、６４０×３×９６０物理的サブピクセルを含むが、サブピクセル・レンダリングでより高い画像品質を有するものは、交差カラー鮮鋭化サブピクセル・レンダリングが追従する補間を利用できて、効果的にその画像を１２８０×９６０論理的ピクセルにスケーリングする。これは低減されたモアレ及びエイリアシングのアーチファクトを伴う画像を再構築するものであり、それは補間が輝度信号に対する低域通過再構築フィルタとして役立つためであり、鮮鋭化サブピクセル・レンダリング・フィルタが有色エイリアシングを引き起こし得る任意の空間周波数を除去して、カラー・バランス及び画像コントラストを温存するよう役立っている。この組み合わせアルゴリズムは先行技術で注目された懸案事項、即ち、サブピクセル・レンダリングされたスケーリングにおける鮮鋭性対カラー誤差の懸案事項を解決する。

１つの可能性ある補間は、数ある中でも（例えば、ウィンドウ・シンク関数）、カットマル-ロム・アルゴリズムである。説明の目的のため、以下の議論はカットマル-ロム・アルゴリズムに合わせられている。計算を単純化すべく、境界条件が入来画像がより明るいサブピクセルの内の１つ、例えばこの場合、図２に示されるように、サブピクセル繰り返しグループの上方右側隅の緑であるサブピクセルの内の１つと同調するように設定することである。作り出され得る別の仮定は、３色の内のより明るい２つである赤及び緑は本当の正方形グリッド上である。これら仮定によって、軸線分離可能フィルタに対する補間係数から成る１つの可能性ある集合：−１／１６，９／１６，９／１６，−１／１６、が（先に議論されたように）可能である。

また先に述べたように、これらの数はビット・シフト乗算及び累積を用いての具現化に容易であり得る。この軸線分離可能補間フィルタを用いるため、データの１行をスキャンすると、第２のデータの２×より広い行はライン・バッファに供給されると共に記憶され得る。情報の半分はオリジナル・データ、全て３色である補間データで織り交ぜられた全３色であるオリジナル・データであり得る。次いで３行プラス２列が満たされると、データは先のものと同一のフィルタを用いて紛失行データを補間して記憶すべく使用され得るが、垂直方向に動作する。（新しい拡張された行総数における）１行だけ後に従えることは交差カラー鮮鋭化サブピクセル・レンダリング・アルゴリズムであり得て、先の補間の結果を見る。それら係数の全ては単純な２値シフト乗算及び累積であるので、システムは単純且つ高速に保持される。主なコストは２つの代わりの３つの行バッファである。以下に示されるものは交差カラー・サブピクセル・レンダリング・フィルタである。それは、エリア再サンプリング・フィルタ、そしてこの場合、「ダイヤモンド・フィルタ」並びに交差カラー「ＤＯＧウェーブレット（ガウス差）」の組み合わせである。

先の第１フィルタであるＤＯＧウェーブレットは、第２のエリア再サンプル・フィルタとは異なるカラーをサンプリングすることで交差カラー鮮鋭化を実行する（先に組み込まれた出願で開示されたように）。再構築フィルタを実行する更に別の実施例は、先の３つのフィルタリング動作の畳み込みであるフィルタを用いてデータを直にサンプリングすることである。先行して述べたように、写真及びビデオ等の帯域制限画像の再構築に対して、双三次補間を用いることがしばしば望ましい。しかしながら、双三次補間を用いての直接的なサブピクセル・レンダリングの際、カラー誤差が生ずる幾分かの可能性がある。その特定のサブピクセル・アーキテクチャに対して双三次補間にエリア再サンプリング・フィルタを畳み込むことはこの誤差に対する実質的な調整及び／或は修正となる。この畳み込みが画像コントラストの幾分かの付加的なぼやけ或は紛失を引き起こし得るので、幾分かの鮮鋭化がＤＯＧウェーブレットを用いることによって任意のそうした可能性あるぼやけに対する補償を為するように付加され得る。以下の技術は、適切に設計された補間フィルタ、サブピクセル・レンダリング・エリア再サンプル・フィルタ、並びに、鮮鋭化フィルタによる任意のサブピクセル配列に対して使用され得る。説明目的のため、ここでは特定例を選択したが、その技術は、任意のサブピクセル配列及び「スケーリング」ファクタに作用することを理解して頂きたい。

しかしながら先に参照した特許に従って構築された表示システムは、しばしば、分離不可能フィルタに基づいている。それ故に、２次元フィルタを構築して既存システムに三次補間を実行することが望ましい場合がある。よって、図１３の５及び６のサブピクセル繰り返しセル配列：１３２０，１３１２，１３２２，１３２３のチェッカーボードに対する新規なカラー修正済み双三次サブピクセル・レンダリング多相フィルタを作り出すべく、一実施例は以下を実行し得る。

先ず、先に開示されたように双三次フィルタ・カーネル・アレイを生成する。多相カーネルから成る集合が、図２Ｂのカーネルと同様に、こうして生成される。各フィルタ・カーネルに対して、ダイヤモンド・フィルタや先に議論された交差カラー・ドック・ウェーブレットの係数によって各カーネルを３×３近辺で畳み込む。次いで、同一入力サンプルと対応する各カーネルからの結果としての値の全てを加える。理論上、４×４双三次フィルタを３×３鮮鋭化エリア再サンプル・フィルタでこのように畳み込むことは、しばしば、５×５カーネル・フィルタであり得る。また、結果としての畳み込まれたフィルタ・カーネルのサイズを幾つかの方法で低減することが可能であり得る。第１として、ゼロへのカーネルのエッジで非常に小さな値を設定し、その値を略斜めカーネル値に加えて、カラー・バランスを維持する。第２として、補間グリッド箇所（相）或はスケールを調整して、５×５カーネルの全て或はその殆どが４×４に萎むように為す。

先に述べた特許出願から組み込まれたサブピクセル・レイアウトの内の幾つかに対して、青サブピクセルはパネルのアドレス指定能力に極めて付加されることがない。更にこれは帯域制限画像の画像再構築用であるので、高い空間周波数のフーリエ・エネルギーは低い。それ故に、先のシステムにおける修正カラー画像形成に対して、赤／緑のチェッカーボードと、図１３における６サブピクセル繰り返しセル１３１２に対する１×２ボックス・フィルタ、５サブピクセル繰り返しセル１３２２に対する２×２ボックス・フィルタ、或は、８サブピクセル繰り返しセル１３２６に対する１×３テント・フィルタ等の、青サブピクセル・レンダリング・フィルタとに対して同一の点で取られた青値の畳み込みによって青サブピクセルの値を決定することが望ましい場合がある。

この例において、幾つかの補間フィルタはサブピクセル・レンダリング・カラー修正フィルタとの畳み込みにおいて使用される。１つは水平方向整列し、先に議論されたような同一４×１フィルタ：−１／１６，９／１６，９／１６，−１／１６、１つは垂直方向整列し、その１つの転置（９０°の回転）、第３のものは４つの周辺入力点の間の真ん中の点に対する。第３フィルタは以下に示される。このフィルタにおける数は完全な乗算器セルのコスト無しで、特別な目的においてハードウェアによっての乗算が合理的に容易である。

１ −９ −９ １
−９ ８１ ８１ −９
−９ ８１ ８１ −９
１ −９ −９ １
上記の数は２５６で分割されるものである。先の４×４フィルタ・カーネルは、先行して示された４×１第１フィルタを１×４第２フィルタにおける同一係数で畳み込むことによって生成される。ダイヤモンド・フィルタ、交差カラー・ドック・ウェーブレット、並びに、補間フィルタの畳み込みの結果は図１２に示されている。

より鮮鋭化された画像を生ずる代替的な４×４フィルタは、「ボックス-三次」フィルタと呼称されて、以下の通りである。

０ −８ −８ ０
−８ ８０ ８０ −８
−８ ８０ ８０ −８
０ −８ −８ ０

１対１の画像再構築
図１３の繰り返しセル１３２４及び１３２５当たり４つの緑、２つの赤、並びに、２つの青のサブピクセルを有する８サブピクセル繰り返しセル配列１３２４及び１３２５は、１対１で、１入力ピクセル対１緑サブピクセルでマッピングされ得て、赤及び青のサブピクセルでの中間再構築点の値を補間することで低減モアレ歪みを有する。

サブピクセル繰り返しセル配列１３２４の内の１つは緑サブピクセル行と整列する赤及び緑のサブピクセルを有する。従来のカラー修正サブピクセル・レンダリングに対して、青及び赤のサブピクセルは非常に簡単な２×１ボックス・フィルタ：１／２，１／２で濾過され得る。これも緑サブピクセル位置に一緒に置かれた２つのオリジナル・サンプル点の間の線形補間であるように見ることができる。より良好なモアレ低減のため、ボックス・フィルタは、先に議論された単純な４×１三次フィルタ：−１／１６，９／１６，９／１６，−１／１６で置き換え可能である。これは水平方向におけるモアレを低減できる。

他の８サブピクセル繰り返しセル配列１３２５は両軸線内の隙間位置に変位されられた赤及び青のサブピクセルを有する。従来のカラー修正サブピクセル・レンダリングに対して、赤及び青のサブピクセルは、単純な２×２ボックス・フィルタ：
１／４ １／４
１／４ １／４
を用いて緑サブピクセル位置に一緒に置かれた４オリジナル・サンプル点の間で濾過され得る。

これも同じように、緑サブピクセル位置に一緒に置かれた４オリジナル・サンプル点の間の線形補間であるように見ることができる。より良好なモアレ低減のため、ボックス・フィルタが先に議論された単純な４×４「ボックス-三次」フィルタで置き換え可能である。

この補間は全ての軸線におけるモアレ歪みを低減する一方で、カラー・バランス及び画像コントラストを維持する。代替的には、４×４としてか或は２つの動作に分離されるかの何れかとして先に議論された単純な軸線分離可能双三次補間アルゴリズムが使用され得る。

非矩形サブピクセルを伴う６サブピクセル繰り返しセル１３２３を試験すると、注目され得ることは、青及び白のサブピクセルが一緒に赤／緑のチェッカーボード位置の間の隙間位置を占有することである。よって、青及び白は同様にして、先に議論された単純な４×４「ボックス-三次」フィルタ或は軸線分離可能フィルタを使用できる。また、５サブピクセル繰り返しセル配列１３２２を試験すると、注目されることは、赤／緑サブピクセル・チェッカーボード位置の間の隙間位置を占有する青サブピクセルを有することである。よって、この青サブピクセルは同様にここで議論されたフィルタを使用できる。

赤／緑行と整列する１つの青と１つの白とを伴う６サブピクセル繰り返しセル配列１３２０は、青及び白のサブピクセルに対する２×３「ボックス-テント」フィルタ：
０．１２５ ０．１２５
０．２５ ０．２５
０．１２５ ０．１２５
を用いてカラー修正サブピクセル・レンダリングされ得る。

ボックス-テント・フィルタは、モアレ歪みを低減すべく、４×３「テント-三次」フィルタ：
−１／６４ ９／６４ ９／６４ −１／６４
−１／３２ ９／３２ ９／３２ −１／３２
−１／６４ ９／６４ ９／６４ −１／６４
で置き換え可能である。

ＲＧＢＷシステムに対する画像再構築
本システムの一実施例は、図１３に示される６サブピクセル繰り返しセル１３２０を伴うＲＧＢＷアーキテクチャ（例えば、８５２×３×９６０）を有する本システムに対して、ワイドな標準（たとえば、８５２×４８０）テレビ信号を表示するものである。このシステムは補間を利用し、それに続けて、赤／緑グリッド上の別の解像度（例えば、１７０４×９６０）を画像を効果的に「スケーリング」し、白そして可能であれば青のサブピクセルを用いて赤／緑点の間に中間解像度点を補間或はそれで始動すべく、輝度鮮鋭化サブピクセル・レンダリングを追従させる。これは低減されたモアレ及びエイリアシングのアーチファクトを伴う画像を再構築するものであり、それは、特に赤、緑、並びに、白を用いての付加的な再構築点への補間が低域通過再構築フィルタとして役立つからである。

ＲＧＢＷパネルは入力データの多数一次マッピングを必要とする。データは幾つかの標準ビデオ・フォーマットで入来するが、殆ど共通してＲＧＢである。このカラー・データはＲＧＢＷに変換される。マッピング・アルゴリズムの内部で、輝度信号は生成させられ得る。この輝度信号は画像再構築フィルタによって使用されて、カラー画像成分を鮮鋭化する。よって、多数一次マッピング・アルゴリズムはＲＧＢＷＬデータを出力し得る。

データに対して実行される１つの可能性ある補間はカットマル-ロム・アルゴリズムである。先の議論と同様にして計算を簡素化すべく、境界条件を、入来画像がサブピクセルの内の１つと同調しているように設定するものであり、ここの場合ではより低い白サブピクセルが用いられる。勿論、他のサブピクセルでもこのために選択され得ることは理解して頂きたいが、白は最も明るいので、白を用いることが有利であり得る。同調点としての最も明るいサブピクセルを用いることは、結果としての画像に最小の補間のアーチファクトを作り出し得る。この仮定によって、赤／緑のチェッカーボード・グリッドに対する生値を補間すべく軸線分離可能フィルタに対する補間係数の一実施例は、垂直補間に対する−１／１６，９／１６，９／１６，−１／１６と、−１８／２５６，１９８／２５６，８５／２５６，−９／２５６と、水平補間に対するその鏡像とである。

この軸線分離可能補間フィルタを用いるべく、システムがデータの行をスキャンすると共に、第２の、垂直方向補間データから成る行が供給され、補間行、先の（例えば後方）２つの最終行に対するライン・バッファに記憶される。白及び青の正方形グリッド配列を具備する表示に対して、ＲＧＢＬデータだけが補間されるが、それは白（Ｗ）成分が先の仮定によって規定されて、非補間入力データ上に直に載るからである。ジグザグ配置（例えば、六角形状配置）の白及び青配列表示に対して、全ＲＧＢＷＬデータが補間されることになる。水平補間はデータが入来するやいなや同調行に対して実行され得るが、垂直補間後に非同期行に対して水平補間を実行することが望ましい。代替的には、水平補間が先ず実行され得て、それがより複雑な乗算の数を節約し得て、垂直補間を具現化すべくより単純な乗算によって追従される。

ＲＧＢＬ或はＲＧＢＷＬデータが補間された後、青及び白の平面データが完了する。赤及び緑のデータは、先に示されたように、輝度駆動された「交差カラー」鮮鋭化動作の追加と伴うダイヤモンド・フィルタを用いて、サブピクセル・レンダリングが為され、カラー誤差修正濾過が為され得る。代替的には、赤及び緑のサブピクセル値に対する鮮鋭化は先に記載されたような交差カラー・ドック・ウェーブレットによって実行され得る。

代替的な画像再構築アルゴリズムはＲＧＢＷ６サブピクセル繰り返しセル配列１３２０に使用され得るか、或は、代替的には、図３の非矩形６サブピクセル繰り返しセル１３２３に使用され得る。サブピクセルのこれらの配列に対して、先に記載された６サブピクセル繰り返しセル１３１２に対して説明されたものと類似方式で、上方左緑サブピクセルを伴うオリジナル・サンプルを集中させることが望ましい。先程のように、他の緑及び２つの赤に対する値は、先の様な同一の便利な補間を用いて見出され得る。白及び青サブピクセル値も、位相関係は同一に維持しつつ、先に記載されたものと同様にして４×１及び１×４軸線分離可能双三次フィルタを用いた補間で見出され得る。

ＲＧＢＷに対する９対８のスケーリング・モード
９対８の比で画像を僅かにスケール・ダウンすることは、幾つかの表示レイアウトにおいて生ずる特別な場合である。赤／緑サブピクセル・グリッドに対する９対８（９：８）の「ダウン-スケーリング」を実行する一実施例が以下に議論される。

一見したところ、ナイキスト・リミットで帯域制限された画像のダウン・スケーリングは修理できないエイリアシング歪みの導入を招くように思えるが、付加的な明るい白サブピクセルの存在はこの危険を除去する。このことは、重要な帯域制限画像のサンプル点のほんの半分を見ることを想像することで理解でき、結果としての画像は厳しいエイリアシングを表示し、帯域制限以下の画像のサンプリングと等価である。しかし完全補完では、エイリアシングは除去される。よって、図１３の６サブピクセル繰り返しセル１３２０及び１３２３のようなレイアウト上に画像を表示する場合、付加的な白サブピクセルは、繰り返しセル当たり５つの実質的な明るいサブピクセルの存在を意味する。こうして、赤／緑グリッドに対する９：８の「ダウン-スケーリング」因子であるように見えるものは、代替的には、白サブピクセルを付加的な再構築点として含む場合に９：１２の「アップ・スケーリング」比として見ることができる。白サブピクセルの付加と再構築点としてのその使用とは、エイリアシング無しに且つ低減されたモアレで表示されるより高い解像度の画像を可能としている。もしこれらもスケーリング比に考慮されれば、この比は９対１６（９：１６）であるとして見え、それは最小である所望の９対１８（９：１８）に接近しており、任意のモアレ歪みを略削除することとなる。

以下の表及び他の指示は、１９２０×１０８０ＲＧＢＷ画像を、先の組み込まれた同一譲受人の特許出願に開示されている特定のサブピクセル・レイアウトを含む表示にスケーリングするために設計されている。これらレイアウトは表示上の特定数の物理的サブピクセル繰り返しセル配列（例えば、８５２×４８０）を含み得るが、特定のサブピクセル・レンダリングのため、ディスプレイはより高い解像度で画像をレンダリングし得る（例えば、１７０４×９６０「論理的」ピクセル）。１９２０に８／９を掛けると１７０６．６６６６論理的ピクセルであるので、右エッジ或は左エッジに少量のデータを留めることが望ましい可能性がある。１０８０に８／９を掛けると９６０であるので、垂直方向には何等妥協物はない。

赤及び緑のサブピクセル再サンプル点は、通常の「ダイヤモンド」エリア再サンプル・フィルタが使用され得るように正方形グリッド上に略均一に分配されると考えら得るか或は仮定され得る。この例でエリア再サンプリングが用いることは、３×３フィルタ・カーネルの長所を提供し、それは１回のパスで補完及びサブピクセル・レンダリング・カラー修正を実行する。これは赤／緑グリッドに対する「ダウン-スケーリング」動作であるので、サンプル点よりも多くの再構築点が存在することになる。先行して開示された（‘６１２出願において）赤-緑フィルタ生成手続きはこの場合において充分であり／作動し、赤及び緑サブピクセル・グリッドにスケーリングを為す一方でそれらをサブピクセル・レンダリングするための以下の表を生成する。

以下の表１に対して、次の仮定は単に説明的理由のために提供されると共に本システムの範囲として限定するものではない。全てのフィルタ係数は２５６によって分割される数である。必要とされるフィルタ・カーネル最大サイズは３×３である。対称性はフィルタ数を１０個のフィルタに低減し、それでそれらフィルタを記憶するメモリは９０バイトを超える必要性がない。

これらの１０個のフィルタ・カーネルは左から右、上から下、或は、対角線方向にはじき飛ばされて、フィルタの残りの全てを生成する。これを為すために必要とされる論理がＲＯＭに６４個のフィルタ全てを単純に記憶するよりも高価である場合、図１４はこの例のためのフィルタ・カーネルから成る完全な集合を列挙している。

図１４の先の表中を処理する際、各出力ピクセルに対する水平方向の次のフィルタが利用されるが、９入力アドレスに１つをスキップすることによって僅かにより速い順序で入力ピクセルを処理することが可能である。理解して頂きたいことは、処理速度が、事前計算されて画像レンダリング中に使用されるべく記憶され得るか、或は、画像レンダリング中に動的に計算され得るかの何れかであり得ることである。例えば、ディジタル微分解析器（ＤＤＡ）がそうしたデータを生成すべく利用され得る。以下の表３において、入力ピクセル数はフィルタ・カーネルに対する中心ピクセルの指標である。

留意されるべきことは、この表における１つの余剰ステップが表３に示され、即ち、第２繰り返しセルにおける第１出力ピクセルは包み返されてゼロに向かわせる。この列の入力ピクセル数は９として示され、９を法としてそれは包み返して第２入力繰り返しセルにおいてゼロに向かわせる。同一のステップ表が垂直方向に使用されて、どのラインが入力においてスキップすべきかを選択する。

理解して頂きたいことは、赤／緑チェッカーボード値も、双三次或は正弦関数を含む多数の他の補間方法を用いて計算されて本発明の範囲内に予見される。

以下の表４は青スケーリング９：８に対するフィルタ・カーネルを示す。青サブピクセルが非常に希薄であるので（幾つかの場合、各繰り返しサブピクセル・グループに対してたった１つがある）、この場合のスケーリング比は実際に９：４、即ち各４出力青サブピクセルに対して９入力ピクセルである。よって、ほんの１６個のフィルタがシンメトリー無しで存在するが、シンメトリーは表中に明かである。これらフィルタの幾つかは実際に３×４フィルタ・カーネルであるように計算されたが、最も小さな行を落として、それらを再正規化して、これらの場合に再び２５６に合計することが可能である。以下は青に対するフィルタ・カーネルの結果としての完全繰り返しセルである。

出力ピクセルがラインを横切って素早く渡るので、各４出力青に対して９入力ピクセルがあり、それで入力ピクセルを通って迅速に処理することが望ましい。表５における入力ピクセル指標数は、再び、３×３フィルタが集中されている所を示す。

理解して頂きたいことは、この表には１つの余剰列が存在し、出力ピクセル指標が次の繰り返しセルの第１カ所を処理すると、その入力ピクセル値が３から１０だけ増大し、９を法としてそれは第１値と再び同等である。

幾つかのサブピクセル・レイアウトに対して、青サブピクセル再サンプル点は水平方向とは異なる垂直方向に配向されて、垂直ステップ表（表６）も水平表とは異なっている。

再び、１つの余剰列がこの表に含まれて、次の繰り返しセルを処理すると、入力行が２だけ増分していることを示し、その指標を９まで持って行き、９を法としてそれは第１値と再び同等となる。

もし、「従来の」エリア再サンプリング法で処理されれば、白サブピクセルは青サブピクセルと殆ど同等に濾過される。これは、先の青に対して判明され得たように、白情報を満足行かない度合いまでぼやかす大きなボックス・フィルタとなる。そうした場合、４×４三次補間に白に対する値を獲得させることが可能である。モアレ歪みを低減する付加的な利益として白を補間することになり、それは、赤及び緑サブピクセルがピーク或は谷の肩部における信号を再構築し得る場合、補間された明るい白サブピクセルがピーク或は谷を再構築するからである。

先に述べたように、特定の補間は分離可能であり、例えば、カットマル-ロム三次補間である。よって、受信されると各ラインに対して１次元水平三次補間を実行し、それらをライン・バッファに記憶してから、４ライン間で１次元垂直三次補間を実行して、白値を生成することが可能である。一実施例において、水平三次補間は４つの乗算器を利用し得て、垂直三次補間は４つの乗算器を利用し得て、合計８だけとなる。

一実施例において、各９入力ピクセルに対して、ほんの４つの出力白ピクセルが存在し、９：４のスケーリング比を付与している。エリア再サンプリングを伴うスケーリングのように、水平三次補間は繰り返しセルを横切る全ての位置に対して４つの異なる４×１フィルタ・カーネルを有する。エリア再サンプリングを伴うスケーリングと異なり、水平三次補間は各ラインに対して同等であり、それでフィルタ係数の表はたった１行であり、同一フィルタが白ピクセルの各行に対して使用される。これらフィルタ・カーネルは２５６で分割されるべく設計されている。

通常、ステップ表はフィルタ・カーネルの中心が行くべく設計された所を記載しているが、三次フィルタは、中心無しで、常に４横切りか或は４法外かである。中心を示す代わりに、表８は第１係数が整列されるように仮定されているステップ表における指標を示す。

指標０を伴う第１白出力ピクセル上で、第１入力ピクセルの指標は−１となり、フィルタが１入力ピクセルだけスクリーンの左エッジを「掛け外れる」ことを意味している。表８は次の繰り返しセルを処理する１つを具備する余剰列を示し、それで次の入力ピクセル指標は判明される。留意されるべきことは、この１つが９を法とする第１のもの同等である。

垂直方向（表９に示されるような）において、三次スケーリング・フィルタは異なる位相オフセットに載ることができ、異なるフィルタ・カーネル及びステップ表が表１０に示されるように充分であり得る。

図１は、補間されるべき信号の４つの入力サンプルを示す。 図２Ａは、補間されるべき複数のサンプル点から成るアレイと複数の点から成るアレイとを示す。 図２Ｂは、濾過動作としての三次補間法を具現化するに必要されるフィルタを描写する。 図３は、整列されたサンプル・エリアを伴う入力及び出力ピクセルを示す。 図４は、整列されたセンタを伴う入力及び出力ピクセルを示す。 図５は、入出力ピクセル整列の一実施例を描写する。 図６は、任意速度でサンプリングされた正弦波信号を描写する。 図７は、各サンプリング点の間の補間点を伴う図６の信号を描写する。 図８は、オリジナル・サンプル点のみを用いて全ピクセルによって再構築された図６の信号を描写し、激しいモアレ歪みを示している。 図９は、図６のオリジナル・サンプルと図７の補間点との双方を用いてサブピクセル・レンダリングによって再構築された図６の信号を描写し、著しく低減されたモアレ歪みを示している。 図１０は、任意レートでサンプリングされて、オリジナル・サンプル点のみを用いて全ピクセルによって再構築された画像信号を描写し、激しいモアレ歪みを示している。 図１１は、各サンプリング点の間の補間点を具備する図１０の画像信号であり、図１０のオリジナル・サンプルと補間点との双方を用いてサブピクセル・レンダリングによって再構築された画像信号を描写し、著しく低減されたモアレ歪みを示している。 図１２は、補間をサブピクセル・レンダリング・カラー修正と組み合わせる複数の多相フィルタから成る集合を示す。 図１３は、代替的サブピクセル繰り返しセル配列を伴う平面パネル・ディスプレイを描写する。 図１４は、エリア再サンプリング・サブピクセル・レンダリングを具現化するための多相フィルタのテーブルを示す。

符号の説明

１３０２ 補間／ＳＰＲ
１３０４ タイミング・コントローラ
１３２２ ５サブピクセル繰り返しセル
１３２６ ８サブピクセル繰り返しセル

Claims (24)

1. 第１の解像度を有するソース画像データを、複数のサブピクセルを有するターゲット画像表示パネルの前記サブピクセルを用いて、第２の解像度を有するターゲット画像データに再構築した後、前記ターゲット画像データをサブピクセル・レンダリングし、前記ターゲット画像表示パネルに表示する方法であって、
   前記ソース画像データを、前記ターゲット画像表示パネルの前記第２の解像度にスケーリングするためのスケーリング因子を選択する段階と、
   前記選択されたスケーリング因子に対して、前記ターゲット画像を複数のスケーリング繰り返しセルに分割する段階と、
   前記ソース画像データを前記スケーリング因子によって前記スケーリング繰り返しセルまでスケーリングする複数のフィルタ・カーネルを計算する段階であり、前記フィルタ・カーネルは各々前記ソース画像データに対して三次補間を実行すべく計算された複数のフィルタ係数を含み、前記フィルタ・カーネルが各々前記ソース画像データの一部に適用されるとき、前記ソース画像データの一部が前記ターゲット画像データの前記スケーリング繰り返しセルの少なくとも一つにスケーリングされる段階と、
   前記フィルタ・カーネルを前記ソース画像データに乗算して、前記ターゲット画像データの前記スケーリング繰り返しセルへの前記ソース画像データに対する三次補間を実行する段階と、
   
   の諸段階を含み、
   前記三次補間を実行する段階において用いられる前記フィルタ・カーネルは、以下の行列式を用いて計算され、
   

   

   前記行列式において、Ｔｘ及びＴｙは加重値パラメータであり、
   Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４、Ｐ２１、Ｐ２２、Ｐ２３、Ｐ２４、Ｐ３１、Ｐ３２、Ｐ３３、Ｐ３４、Ｐ４１、Ｐ４２、Ｐ４３及びＰ４４は前記ソース画像データの４行４列の制御点であり、ＣＭは前記加重値パラメータ及び前記制御点と乗算する４行４列の変換行列であり、前記行列式を計算して得られる前記制御点の各々に対する項が前記フィルタ・カーネルの要素であることを特徴とする方法。
2. 前記第１の解像度が、ＮＴＳＣ、ＰＡＬ、ＨＤＴＶ、並びに、ＶＧＡから成るグループの内の１つを含む、請求項１に記載の方法。
3. 前記ターゲット画像表示パネルが６４０×４８０サブピクセル繰り返しセルを含む、請求項１に記載の方法。
4. 前記第２の解像度が１２８０×９６０である、請求項３に記載の方法。
5. 前記ターゲット画像表示パネルが８５２×４８０サブピクセル繰り返しセルを含む、請求項１に記載の方法。
6. 前記第２の解像度が１７０４×９６０である、請求項５に記載の方法。
7. 前記スケーリング因子が前記第１の解像度対前記第２の解像度の比を含む、請求項１に記載の方法。
8. 前記スケーリング繰り返しセルのサイズと利用されているフィルタ係数の個数とを変化させるべく、前記スケーリング比が調整される、請求項７に記載の方法。
9. 前記スケーリング因子が略２：１である、請求項１に記載の方法。
10. 前記複数のフィルタ・カーネルが、［−１／１６、９／１６、９／１６、−１／１６］と、［−１／１６、９／１６、９／１６、−１／１６］の転置と、以下のように規定されたアレイ：
    １ −９ −９ １
    −９ ８１ ８１ −９
    −９ ８１ ８１ −９
    １ −９ −９ １
    とを含む、請求項９に記載の方法。
11. 前記スケーリング因子が略９：８である、請求項１に記載の方法。
12. 前記スケーリング因子が略９：４である、請求項１に記載の方法。
13. 複数のフィルタ・カーネルを計算する前記段階が、赤、青、緑の各カラー平面に対して、複数のフィルタ・カーネルを計算することを更に含む、請求項１に記載の方法。
14. 第１カラー平面に対する前記複数のフィルタ・カーネルが第２カラー平面に対する複数のフィルタ・カーネルと同一である、請求項１３に記載の方法。
15. 前記フィルタ・カーネルを前記ソース画像データと乗算する前記段階が、出力ピクセル・データ処理とは異なる速度で前記入力ピクセル・データ処理をすることを更に含む、請求項１に記載の方法。
16. 前記入力処理速度が事前計算される、請求項１５に記載の方法。
17. 前記入力処理速度が動的に計算される、請求項１５に記載の方法。
18. 第１の解像度を有するソース画像データを受信し、複数のサブピクセルを有し、第２の解像度を有するディスプレイの前記サブピクセルを用いて、前記ソース画像データから前記ディスプレイ上にターゲット画像データをスケーリングするとともにレンダリングする画像処理システムにおいて、前記レンダリングされたターゲット画像データにおける画像品質を改善する方法であって、
    前記ソース画像データを略所望のスケーリング因子によって補間する段階と、
    交差カラー鮮鋭化を前記補間されたソース画像データに適用する段階と、
    前記交差カラー鮮鋭化画像データを前記ディスプレイ上に表示する段階と、
    の諸段階を含み、
    前記補間を実行する段階は、以下の行列式を用いて行われ、
    

    

    前記行列式において、Ｔｘ及びＴｙは加重値パラメータであり、
    Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４、Ｐ２１、Ｐ２２、Ｐ２３、Ｐ２４、Ｐ３１、Ｐ３２、Ｐ３３、Ｐ３４、Ｐ４１、Ｐ４２、Ｐ４３及びＰ４４は前記ソース画像データの４行４列の制御点であり、ＣＭは前記加重値パラメータ及び前記制御点と乗算する４行４列の変換行列であり、前記行列式を計算して得られる前記制御点の各々に対する項をフィルタ・カーネルの要素とし、前記フィルタ・カーネルを前記ソース画像に乗算して行う三次補間であることを特徴とする方法。
19. 前記略所望のスケーリング因子が、２：１スケーリング、９：８スケーリング、並びに、９：４スケーリングを含むグループの内の１つである、請求項１８に記載の方法。
20. 前記補間の段階が、三次補間、双三次補間、データ複製、線形補間、並びに、エリア再サンプリングを含むグループの内の１つを更に含む、請求項１８に記載の方法。
21. 前記交差カラー鮮鋭化を前記補間されたソース画像データに適用する段階が、ガウス・ウェーブレットの差を適用することと、
    前記ソース画像データにエリア再サンプリング・フィルタを適用することとを更に含む、請求項１８に記載の方法。
22. 前記交差カラー鮮鋭化を前記補間されたソース画像データに適用する段階が、
    エリア再サンプリング・フィルタにて双三次補間を畳み込むことと、
    前記畳み込みを前記ソース画像データに適用することとを更に含む、請求項１８に記載の方法。
23. 前記変換行列（ＣＭ）は、
    

    

    であることを特徴とする請求項１に記載の方法。
24. 前記変換行列（ＣＭ）は、
    

    

    であることを特徴とする請求項１８に記載の方法。

Images