JP5535431B2 - 表示の形状及び色の自動較正及び修正のためのシステム及び方法 - Google Patents

Description

優先権請求
本出願は、２００６年８月１１日に出願された米国仮特許出願第６０／８３６，９４０号と２００７年５月１１日に出願された米国仮特許出願第６０／９１７，５２５号からの優先権を主張する。

種々の実施形態は、表示装置の較正に関して論じられる。

大抵の画像表示装置は、ある形式の幾何学歪み又は色歪みを示す。これらの歪みは、幾何学的セッティング、システムにおける種々の光学部品の非理想的特性、種々の部品の位置合わせ不良、幾何学歪みに通じる複雑な表示面と光路、及びパネルの不完全性などの種々の原因を有し得る。システムに依存して歪みの量は、検出不可能なものから極めて異議を招き得るものまで大きく変化し得る。歪みの効果もまた変化し得るものであって、画像の色の変化又は画像形状あるいは幾何学形状の変化という結果を招く可能性がある。

一態様において、本明細書に説明される少なくとも一つの実施形態は、画面を有する表示装置により使用される表示較正システムを提供する。この表示較正システムは、画面の形状、サイズ、境界及び方位のうちの少なくとも一つに関する情報を感知するように適応した少なくとも一つの感知装置と、この少なくとも一つの感知装置に接続され、この少なくとも一つの感知装置によって感知された情報に基づいて表示装置特性を計算することに適応している少なくとも一つのプロセッサと、を備えている。

別の態様において、本明細書に説明される少なくとも一つの実施形態は、画面を有する表示装置により使用される表示較正システムを提供する。この表示較正システムは、画面に表示されたテスト画像から情報を感知するように適応した少なくとも一つの感知装置と、この少なくとも一つの感知装置に接続され、感知された情報に基づいて表示歪みを計算し、表示歪みを補正するための予備補正マップを生成することに適応している少なくとも一つのプロセッサと、を備えている。予備補正マップは、表面関数によって実現され得る。予備補正マップが表示に先立って入力画像データに適用されると、画面に結果として得られた表示画像は、実質的に歪みなしとなる。

別の態様において、本明細書に説明される少なくとも一つの実施形態は、画面を有する表示装置により使用されるための表示較正システムを提供する。この表示較正システムは、画面に表示されたテスト画像から情報を感知することに適応した少なくとも一つの画像感知装置と、この少なくとも一つの画像感知装置に接続され、感知された情報に基づいて表示歪みを計算し、各パッチにおける表示歪みのひどさにしたがって画面を複数のパッチに分割し、表示に先立って入力画像データに予備補正マップが適用されるとき画面に結果として得られた表示画像が実質的に歪みなしとなるように、各パッチにおける表示歪みのための予備補正マップを生成することに適応している少なくとも一つのプロセッサと、を備えている。

別の態様において、本明細書に説明される少なくとも一つの実施形態は、画面を有する表示装置により使用される表示較正システムを提供する。この表示較正システムは、少なくとも一つの色成分に関して独立に画面に表示されたテスト画像から色情報を感知するように適応した少なくとも一つの画像感知装置と、この少なくとも一つの画像感知装置に接続されていて、感知された色情報に基づいて色の不均一性を計算し、表示に先立って入力画像データに少なくとも一つの色修正マップが適用されるときに、画面に結果として得られた表示画像が実質的に少なくとも一つの色不均一性を有さないように、少なくとも一つの色成分に関する少なくとも一つの色修正マップを生成することに適応している少なくとも一つのプロセッサと、を備えている。

別の態様において、本明細書に説明される少なくとも一つの実施形態は、画面を有する表示装置により使用される表示較正システムを提供する。この表示較正システムは、画面に表示された個別の色成分テスト画像から情報を感知するように適応した少なくとも一つの画像感知装置と、この少なくとも一つの画像感知装置と表示装置とに接続され、感知された情報に基づいて独立に少なくとも一つの色成分に関して幾何学的表示歪みを計算し、表示に先立って入力画像データに少なくとも一つの色修正マップが適用されるときに、画面に結果として得られた表示画像が実質的に少なくとも一つの色依存性幾何学歪みを有さないように、少なくとも一つの色成分に関して独立に少なくとも一つの予備補正マップを生成することに適応している少なくとも一つのプロセッサと、を備えている。

別の態様において、本明細書に説明される少なくとも一つの実施形態は、湾曲した画面を有する投影システムにおいて使用される表示較正方法であって、
画像の異なる部分を湾曲した画面の対応する部分に投影するために多数のプロジェクタを使用し、
湾曲した画面上に画像全体を最適化された焦点によって形成するために実質的に画像の各部分を湾曲した画面の対応する部分に焦点合わせすることを備える方法を提供する。

別の態様において、本明細書に説明される少なくとも一つの実施形態は、湾曲した画面を有する投影システムにおいて使用される表示較正方法であって、
湾曲した画面から投影画像の焦点面までの複数の距離を測定し、
最適化された焦点を得るために複数の距離の関数が最小化されるまで焦点面をシフトすることを備える方法を提供する。

ここに説明される実施形態及び／又は関連実現形態のよりよい理解のために、またこれらがどのようにして実施され得るかをより明確に示すために、少なくとも一つの例示的実施形態及び／又は関連実現形態を示す下記の付属図面に対して単に例として参照が行われる。

説明の単純さと明瞭さのために適当と考えられる場合に、対応する、又は類似の要素を示すために諸図の間で参照数字が繰り返され得ることを理解されたい。更に本明細書に説明される実施形態及び／又は実現形態の完全な理解を与えるために多数の特定の細部が説明される。しかしながら本明細書で説明される実施形態及び／又は実現形態がこれら特定の細部なしでも実施可能であることは、当業者によって理解されるであろう。他の事例では本明細書に説明される実施形態及び／又は実現形態を不明瞭にしないために、周知の方法、手順及び構成部分は詳細には説明されていない。更にこの説明は、本明細書に説明される実施形態の範囲を限定するものと考えられるべきではなく、むしろ本明細書に説明される種々の実施形態及び／又は実現形態の構成と動作とを説明するものである。

表示装置に関する重要な歪みは、レンズ構成要素に起因する歪み、ミラー（湾曲又は平面）反射アセンブリからの歪み、ずれ角・回転投影（台形歪曲（keystone）、回転）及び湾曲スクリーンへの投影などの投影幾何学配置に起因する歪み、横の色収差、及び多数のマイクロディスプレイ装置における位置合わせ不良・集束不良などの色ごとに異なる歪み、色と輝度（明るさ）の不均一、及び光学的焦点問題（球面収差、非点収差など）に起因する歪みを含む。

第１のセットは最終画像における幾何学歪みと見られ、すなわち入力画像形状は保存されない。色収差はまた、幾何学歪みでもあるが、この歪みは各色成分に関して変化する。これらの歪みは、投影（前面又は背面）型の表示装置において極めて共通的であり、またまとめて幾何学歪みと呼ばれる。クロミナンスと輝度の不均一性は、すべての表示装置に影響を与える可能性があり、それによって一定の輝度又はクロミナンスであるように意図された信号が表示装置の画面に亘って変化すると見られ、あるいはその意図された知覚とは異なると見られる。このタイプの歪みは、変化する明るさ、表示に亘って変化する光路長、及びパネル（例えばＬＣＤ、ＬＣＯＳ、プラズマディスプレイ）における不均一なセンサー応答を有する光源によって引き起こされ得る。焦点に関連する歪みは、画像を輪郭不明瞭にするであろうし、また異なる画像面に焦点合わせされる物平面上の異なる点に起因する。本明細書に与えられる例示的実施形態では焦点と焦点の深さとに関するあるいくつかの問題が取り扱われる。

本明細書に提示される実施形態は、前述の歪みの少なくとも一部を除去又は削減するために表示装置を較正するシステムと方法とを説明する。これらの実施形態は、較正データの生成と結果として得られる修正の両者と修正の適用とを自動化する。時間的に変化する歪みのための較正も取り扱われる。較正段階（較正データを生成する）は、表示の特性描写と、例えば高解像カメラなどの感知装置によって表示装置上で観察される専用のテストパターンの捕捉と、これらの画像からの必要とされるデータ（すなわち較正データ）の抽出とを含む。修正段階は、スクリーン上に歪みのない画像を表現するために電子修正手段を介して画像を予め歪ませることを含む。表示と捕捉されたテストパターンとの最適焦点を達成するための機構も提示される。

図１は、表示装置の画面１６上に表示された画像を修正するための自動化された較正・修正システムの一例示的実施形態の図を示す。この自動化較正・修正システムは、テスト画像発生器１４と感知装置１１と較正データ発生器１２とワープ発生器１３とディジタルワーピングユニット１５とを含む。表示装置は、ＴＶ（背面投影ＴＶ、ＬＣＤ、プラズマなど）、前面投影システム（すなわちスクリーンを有するプロジェクタ）又は画像を表示する他の任意のシステムであることが可能であり、これらすべては画面を有する。画面１６は通常、それを背景から区別する境界又はフレームを有し、通常この背景は表示スクリーン（画面）を取り囲む物理的ベズル（表縁）であろう。しかしながら境界は、ベズル又は何らかの物理的特徴要素である必要はない。一般に境界は、背景領域から何らかの手段によって区別され得る物理的画面１６上の何らかの領域と関連し得る。例えば表示の外部の手段によって表示上に投影されて物理ベズル内にある矩形の輪郭は、境界として識別され得る。本明細書に与えられる例示的実施形態では較正・修正遠近法からの画面１６は、少なくともあるいくつかの場合にベズルそれ自体であり得る識別された境界内にある物理的表示装置のこの領域であると取られる。境界はまた、図１の画面１６を取り囲むように示されている画面フレームとも呼ばれる。

変化する深さを有する湾曲したスクリーンに関しては表示に関する二つの主要な観察点が採用され得る。観察平面は、画像が物理的画面１６とは異なり得る、あるいは物理的画面１６の単なる一部を含み得る修正された形にされるべきである焦点面と見られ得る。焦点面上のすべての点は、同じ焦点深度を有する。この場合、物理的マーカー、又は感知装置（すなわち観察者）の視界は、焦点面境界を決定するであろう（図２ａ参照）。画面フレームは、利用可能なときに画面１６に関してカメラの方位を決定するために使用される。

代替として全スクリーンは、湾曲した境界（図２ｂ参照）を形成する物理的ベズル（表縁）によって観察され得る。ここでスクリーン上の異なる点は、異なる焦点深度を有する。較正・修正は、最終画像を湾曲した境界に整合させることを目的としている。

これら二つの観察点は、較正・修正が必要とされる異なる表示領域を識別するために組み合わされることが可能である。例えば境界は、特定の焦点面における捕捉された画像輪郭と物理的ベズルとの組合せであると取ることができる。湾曲した境界はまた、湾曲した輪郭を投影することによって平面表示上に実施され得る。これは、境界は湾曲しているがスクリーン自体は平坦である、すなわち無限大の曲率半径を有するという特殊なケースと見ることができる。

形状あるいは幾何学形状の変化を含む歪みに関して、画面１６上で見られる画像（修正前の）は、完全には囲まれない（オーバーフローする）可能性がある。これは図３に示されている。ケース（ａ）では画像ＡＢＣＤは画面フレーム１８を完全に囲むためにオーバーフローしている（溢れ出ている）が、ケース（ｂ）では画像は完全に囲まれている（アンダーフローしている）。ケース（ｃ）は、画像が画面１６を部分的にカバーしている中間状態（不整合）である。３つすべての状態は前面又は背面投影システムのどちらからでも起こり得るものであって、本システムによって修正可能である。

テスト画像発生器１４は、較正プロセスのために設計された専用のパターンを含む画像を与える。これらの画像は、較正テストパターンとも呼ばれる。使用され得る最も一般的に使用される較正テストパターンは、規則的な（非連結性）グリッドパターン、円形、正方形、水平・垂直パターン、バー、線、同心パターン、矩形、円形、及び均一なグレイ・カラーレベルを含む。上記のパターンの色付き（種々の原色についての）バージョンは、横の色収差修正とクロミナンス不均一修正とのために使用され得る。これらのパターンにおける形状は、特徴要素とも呼ばれる。すべてのパターンは、明確に定義されたその特徴特性、すなわち特徴要素の数、位置、サイズ、境界、色、及び他の任意の定義パラメータを有する。

いくつかの例示的較正パターンは、図４のパネル（ａ）〜（ｍ）に示されている。特性（中心位置、半径など）を示すガイドラインは、テストパターンの一部ではない。これらのテストパターンの色と形状の変化は、黒と白を交換するため、黒白を色に置き換えるため、１パターン内で異なる特徴要素のために異なる色を使用するため、１パターン内で種々の形状を組み合わせるため、及びグレーレベルと色レベルを変化させるためにも使用され得る。

原色を使用するこれらのパターンのバージョンは、横の色収差を較正するために使用される。パネル（ｇ）に例示的色パターンが示され、ここでは水平バーと垂直バーとこれらの交差部分はすべて異なる色である。

すべてのパターンは、あるいくつかの明確な特性を示し、その最も顕著なものは、形状の中心位置と数学的にはそれぞれ点と線と見られ得るこれらの境界である。

感知装置１１は、画面１６上で見られる較正テストパターンを記録する。幾何学歪みを修正するために感知装置１１は、カメラであり得る。カメラの解像度と捕捉フォーマットは、修正において必要とされる精度に依存して選択され得る。クロミナンスと輝度の不均一を修正するとき、感知装置１１は色分析器（例えば測光器又は分光計）であり得る。

この例示的実施形態では幾何学的誤差を修正するために、感知装置１１は表示装置に関していかなる位置にでも配置され得る。感知装置１１の配置におけるこの自由は、捕捉された画像が感知装置１１の配置のために歪み成分を含むことを許されるという事実の故に可能である。感知装置１１が画面１６を直接（すなわち正面から）見なければ、感知装置１１による台形歪曲となる成分が存在するであろう。この歪みは、多軸台形歪（keystone distortion）み成分として考慮される最大３本の異なる軸に起こり得るであろう。

更にカメラなどの感知装置１１の光学系はそれ自体の歪みを有するので、考慮される光学的歪み成分も存在する。他のタイプの感知装置１１は、他の固有の歪みを有する。カメラ又は感知装置１１によって導入された複合歪みは、カメラ歪みと呼ばれるであろう。カメラ歪みは、較正データを生成するときに決定されて補正される。

カメラ歪みを決定するために、少なくとも一つの例示的実施形態では、知られている歪みの無い方位／形状の物理的基準マーカーが使用される。これらのマーカーはカメラによって捕捉され、また捕捉された画像のこれらの方位／形状をこれらの歪みの無い方位／形状と比較することによって、カメラ歪みは決定され得る。一つの現実的なマーカーは、所与の方位及び形状（一般に現実世界で歪みのない矩形）であると知られているフレーム（境界）自体である。フレームはまた、較正が行われる基準でもある、すなわち修正された画像はフレームに関して真っ直ぐであるべきである。したがって幾何学歪みを修正するときに、カメラによって捕捉された画像は観察スクリーン境界（すなわちフレーム１８）を含むべきである。

境界が検出可能でないもう一つの例示的実施形態では、カメラ内のセンサーは、画面１６に関するカメラ歪みを決定するために、スクリーン上で発光器からの信号を感知するために使用される。結果として得られた測定値は、カメラから見られる画面１６のマップを生成する。

横の色収差に関して修正するときカメラは、Ｋセットの画像を捕捉するであろう。ここでＫは色成分、例えば３原色ＲＧＢの数である。図４のテストパターンの少なくとも一部は各色成分に関して繰り返されるであろう。

明るさと色（輝度とクロミナンス）の修正は、幾何学的修正の関連性と無関係に行われる。投影システムではこれらの明るさと色の修正は、幾何学歪みの修正の後に行われる。幾何学歪みが存在しない平面型表示装置では、輝度と色の修正は直接行われる。一例示的実施形態では、色分析器などの感知装置は、色情報を引き出すために画面１６に直接か、又は画面１６の近くに配置される。この場合、感知装置位置決めのための修正は必要でない。感知装置１１は、特定の点において全画像又は情報を捕捉し得る。後者の場合、スクリーン上の点のグリッドからのデータが捕捉される必要がある。感知装置１１が画面１６に関して台形位置（keystone position）にあれば、その配置に起因する修正は上記のカメラの修正と同様に行われる必要がある。

幾何学歪みを有する表示装置に関しては輝度と色の修正は、幾何学的修正が行われた後に行われるべきである。これは、表示装置が色依存性歪みを含む幾何学歪みに関して先ず修正されることを意味する。幾何学的修正の後の色に関する修正は、幾何学的修正によって導入されるいかなる追加の色歪みも考慮されることを可能にし、最終画像を含む領域だけ（すなわち背景でない）が修正されることを保証する。

この例示的実施形態では較正データ発生器１２は画像を分析して、今度はディジタルワーピングユニット１５のためにワープデータを供給するワープ発生器１３によって使用されるフォーマットで較正データを抽出する。

下記では幾何学形状を修正するための較正データが先ず論じられるであろう。以下に与えられる例では、分析される主要テストパターンは、図４のパネル（ａ）、（ｂ）に示されたパターンなどのグリッドパターンを有するものである。バー／線（ライン）の交差部分がグリッドを与えるので、図４のパネル（ｅ）〜（ｇ）のパターンも使用可能である。

グリッドタイプパターンなどのテスト画像は、入力空間内の既知の位置付近を中心とする１セットの形状を与える。これらの中心は、ｉが形状に亘って順に並ぶ（ｘ_i ⁰，ｙ_i ⁰）として表されることができる。左上から始めてテストパターンの行に沿って進み、全部でＭ×Ｎ個の形状が存在し、テストパターンの解像度はＷ_T×Ｈ_Tである。テストパターン解像度は、表示装置固有の解像度に一致する必要はない。表示されたときテストパターン内の形状の中心は、幾何学歪みによって（ｘ_di ⁰，ｙ_di ⁰）で表されるいくつかの他の値に変換されるであろう。これらの形状も歪むであろう、すなわち円は楕円などに歪むであろう。これらの座標は、画面１６のフレーム１８の左上の原点に関して表示空間内で定義される。Ｗ_D×Ｈ_Dが任意の測定単位における表示装置（フレーム１８の内部）の解像度を表すとして、座標（ｘ_di ⁰，ｙ_di ⁰）もこれら同じ測定単位になっているとする。表示空間は、現実世界又は観察者空間と同等である、すなわち修正された画像は表示空間では歪み無しで現れなくてはならない。

カメラは、歪んだグリッドパターンの画像を捕捉して、それを較正データ発生器１２に送る。カメラの解像度は、Ｗ_C×Ｈ_Cで表される。本明細書に与えられた実施形態ではカメラ解像度は、表示装置の解像度と一致する必要はなく、更にカメラはどこに配置されてもよい。カメラ空間の中心の座標は、捕捉された画像の左上として定義された原点を有する、（ｘ_ci ⁰，ｙ_ci ⁰）である。

捕捉された画像はカメラの観察点からのものであるが、較正は現実世界の観察点において、すなわち観察者の視点から行われなくてはならない。したがって較正手順は、カメラ歪みとも呼ばれるカメラの観察点を取り去らなくてはならない。上記に論じたように一例示的実施形態では、これは、画面フレーム１８をマーカーとして使用することによって行われる。したがってカメラ画像は、画面フレーム１８も捕捉すべきである。現実世界では画面フレーム１８は、下記の座標によって定義される。
左上：（０，０）
右上：（Ｗ_D，０）
左下：（０，Ｈ_D）
右下：（Ｗ_D，Ｈ_D） （２）

カメラ画像においてこれらの座標は、下記のようになる。
左上：（ｘ_cTL ^d，ｙ_cTL ^d）
右上：（ｘ_cTR ^d，ｙ_cTR ^d）
左下：（ｘ_cBL ^d，ｙ_cBL ^d）
右下：（ｘ_cBR ^d，ｙ_cBR ^d） （３）

図５は、種々の空間と座標系とを示す。画像は白い背景上に黒い円として示されているが、すべてのテストパターンは色付きにでき、また他の形状又は特徴要素を使用することもできる（例えば図４を参照）。表示空間とカメラ空間には、画像が画面フレーム１８を完全にカバーするためにオーバーフローするケース（ａ）と、画像が画面フレーム１８の内部に完全に納まるか、あるいはアンダーフローするケース（ｂ）と、画像が画面フレーム１８内に完全には入らない中間状態、あるいは不整合のケース（ｃ）とに対応する３つのケースが示されている。これらのケースは、投影幾何学クラスと呼ばれる。入力及びカメラ空間はピクセルの点から定義されるが、表示空間はピクセル、ミリメートル又は他のいくつかの単位で定義され得ることに留意されるべきである。

ｆ_Dで表される表示歪みは、方程式（４）によって与えられるマッピングとして関数的に記述され得る。

ｆ_D：（ｘ_i ⁰，ｙ_i ⁰）→（ｘ_di ⁰，ｙ_di ⁰） （４）

これは、修正（ｆ_D ^C）が方程式（５）で指定される、方程式（４）で与えられたものの逆数であることを意味する。

ｆ_D ^C ：（ｘ_di ⁰，ｙ_di ⁰）→（ｘ_i ⁰，ｙ_i ⁰） （５）

ディジタルワーピングユニット１５は、表示に先立って入力画像をワープする（予め歪ませる）ために入力画像に修正ｆ_D ^Cを加えるであろう。

上記のマップは両者とも順方向に定義される。関数変域は入力画像であり、値域は出力画像である。周知のように、電子修正回路が逆アーキテクチャを使用して画像を生成することはより効率的で正確である。逆ワーピングアーキテクチャにおいて回路の出力画像は、修正マップを介して出力のピクセルを入力にマッピングし、それから入力空間でフィルタリングする（すなわち色値を割り当てる）ことによって生成される。これはまた、修正マップがｆ_Wとラベル付けされる逆形式で表されることを意味する。逆形式の修正は表示歪みマップ自体（ｆ_W≡（ｆ_C ^D）^-1＝ｆ_D）であるので、逆アーキテクチャ修正ユニットによって必要とされるマップ又はワーピングデータは単に表示歪みマップである。したがって較正データ発生器１２によって生成されるべきグリッドデータは方程式（６）で定義される。

ｆ_W：（ｘ_i ⁰，ｙ_i ⁰）→（ｘ_di ⁰，ｙ_di ⁰） （６）

グリッド及びマッピングという表現がしばしば交換可能に使用されることは留意されるべきである。この情報は、カメラ空間にあるカメラによって捕捉された画像から抽出される必要がある。捕捉された画像は方程式（７）で定義されるマッピングに対応する。

ｆ_F：（ｘ_i ⁰，ｙ_i ⁰）→（ｘ_ci ⁰，ｙ_ci ⁰） （７）

全画像マップと呼ばれるこのマップは、表示歪みマップｆ_Dと、カメラ歪みマップの減算が方程式（８）で定義される必要なｆ_Wを与えるカメラ歪みマップｆ_Cとの組合せであると見ることができる。

ｆ_C：（ｘ_di ⁰，ｙ_di ⁰）→（ｘ_ci ⁰，ｙ_ci ⁰）
ｆ_F＝ｆ_Cｆ_D＝ｆ_Cｆ_W⇒ｆ_W＝ｆ_C ^-1ｆ_F （８）

ｆ_Dからのｆ_Cの減算は、単に二つのマップの連結（又は機能的合成）である。更に座標（ｘ_di ⁰，ｙ_di ⁰）は、表示座標系のスケールと原点が適用可能でない可能性があるので、正しいピクセルスケールと原点とに導かれる必要がある。これは、以下更に詳細に論じられるであろう。

図６に較正データ発生器１２の一例示的実施形態が示されている。形状中心（ｘ_ci ⁰，ｙ_ci ⁰）を抽出するために、先ずテストパターンのＷ_C×Ｈ_Cカメラ画像が分析される；これはｆ_Fを与えるであろう。カメラ空間における形状中心は、表示歪みとカメラ歪みによってマッピングされた後に入力空間における形状中心の対応する位置である。画面１６をオーバーフローする画像領域に関してこれらの形状は、使用可能ではないであろう。これら外に広がる形状は通常、おそらく異なる平面上の背景にあるので、背面投影ＴＶあるいは前面投影システムでは目に見えないであろう。したがってＥＦＧＨ（図５参照）と定義された画面１６内の形状だけが分析される。

形状中心は、種々の画像処理アルゴリズムを使用して見つけ出すことができる。一つの方法は、閾値機構を使用して、捕捉された画像を二値（白黒）画像に変換することを含む。二値画像内の形状は、それらのピクセルを識別してラベル付けされることができる。各セットの分類されたピクセルに関する図心は、形状中心に近づくであろう。閾値は、画像のヒストグラムを分析することによって自動的に決定できる。このヒストグラムは、捕捉画像の輝度あるいは固有の色相になっている可能性がある。

捕捉画像はまた、画面座標及び境界を抽出するためにも分析される。このステップのために種々の画像が使用され得る。カメラ歪みｆ_Cを決定するためにフレーム座標が必要とされる。カメラが光学歪みを有さなければ、カメラ歪みはｆ_C ^Pとラベル付けされた遠近法歪みであって、４隅の方程式（３）で定義された座標だけがｆ_Cを決定するために必要である。カメラも光学歪みを有するならば追加のマーカーが必要である。フレーム境界ＥＦＧＨは、そのエッジのライン方程式によってパラメータ化され得る十分なマーカーを与え得る。エッジ方程式はまた、４隅を決定し、またどの形状が画面１６内にあるかを決定するために使用され得る。表示空間内の例えば（ｘ_di ^CC，ｙ_di ^CC）などの既知の座標を有する物理的矩形グリッドもまた、カメラ空間内で（ｘ_ci ^CC，ｙ_ci ^CC）と画像形成される追加マーカーを与えるために画面１６に付与又は投影され得る。このグリッドは、カメラ較正（ＣＣ）グリッドと見ることができる。フレーム座標と境界とを決定することは、表示特徴記述とも呼ばれる。

感知装置観察点から、カメラレンズ内の光学歪みのシナリオと湾曲スクリーンのシナリオは区別できない。両方の場合とも、マーカーとフレームは、湾曲しているものとして画像形成される。したがって湾曲スクリーンもまた、カメラ歪みと関連ＣＣグリッドとのフレームワーク内で取り扱われ得る。カメラ歪みに関する修正はまた、最終画像が湾曲フレームに整合することを保証するであろう。湾曲スクリーン修正のためにＣＣグリッドは、マーカーをフレーム１８に規則的な距離で（スクリーン上で測定して）付与することによって構成されることができ、それからこれらはフレーム１８の内部に内挿（interpolated）され得る。マーカーもまた、フレーム１８の内部に付与され得る。しかしながら湾曲スクリーンは２次元の面であるから２次元ＣＣグリッドを介して較正を可能にすることに留意されたい。

エッジ（フレーム１８の、又は付与されたＣＣグリッドの）又はマーカーは、例えばエッジ検出などの標準の画像処理方法を使用して検出され得る。エッジの位置を知って、ライン方程式はエッジに適合することができ、またラインの交差部分は、４隅とＣＣグリッド座標とを与える。エッジとＣＣグリッド座標は、方程式（９）に示すように定義でき、ここでＮ_CCはカメラ較正グリッドにおける点の数である。

（ｌ_Tx（ｔ），ｌ_Ty（ｔ））→上部エッジ
（ｌ_Rx（ｔ），ｌ_Ry（ｔ））→右エッジ
（ｌ_Bx（ｔ），ｌ_By（ｔ））→底部エッジ
（ｌ_Lx（ｔ），ｌ_Ly（ｔ））→左エッジ
（ｘ_ci ^CC，ｙ_ci ^CC），ｉ＝１・・・Ｎ_CC→カメラ較正グリッド （９）

あるいくつかの表示装置（湾曲スクリーンを有する表示装置など）に関して、物理マーカーからのＣＣグリッドは、直ちに利用可能でないことがあり得る。この場合、エッジ方程式は、ＣＣグリッドを数学的に構築するために使用され得る。エッジに沿って点を配置する方法とフレーム１８の内部に内挿する方法とに関して自由が存在する。選択された方法とは無関係に、変域座標（順序付けに関する論議を参照のこと）が適切に選択されていることを条件として、最終画像はフレーム１８に整合するであろう。一つの配置方法は、エッジに沿って点を等距離に配置することであり、これらの点は内部に直線的に内挿され得る。

製造業者がｆ_C ^Oとラベル付けされたカメラの光学歪みに関する仕様を提供するならば、これらの仕様は方程式（１０）に指定されるカメラ較正グリッドの代わりに使用されるために、又はカメラ較正グリッドを生成するために遠近法歪と組み合わされ得る。

ｆ_C＝ｆ_C ^Oｆ_C ^K：（ｘ_di ^CC，ｙ_di ^CC）→（ｘ_ci ^CC，ｙ_ci ^CC） （１０）

カメラ歪みの光学成分は、カメラの位置と方位から独立であるので、表示較正に先立って決定できる。方程式（３）及び（９）のデータは、まとめてカメラ較正データと呼ばれるであろう。

一旦座標が抽出されると、座標は正しい順序で配置される必要がある。数学的には順序付けは、各値域座標（ｘ_ci ⁰，ｙ_ci ⁰）に対してその対応する変域座標（ｘ_i ⁰，ｙ_i ⁰）を割り当てるであろう。全画像マップｆ_Fを構築するために変域座標を決定することが必要である。上記の抽出プロセスは、変域座標に関するいかなる情報も与えない。中心は必ずしも、入力テストパターンにおける形状順序付けに一致した順序で決定されないであろう。

図４のパネル（ｃ）及び（ｄ）に示されたパターンのようなテストパターンは、点を順序付けるために使用され得る。これらのテストパターンから捕捉された画像は、それらのピクセルが属するバーにしたがって分類されたピクセルを有し得る。形状中心はまた、この分類内に配置され得る。中心が属する水平・垂直バー、例えば（ｒ，ｓ）は、Ｉが方程式（１１）で定義される変域座標（ｘ_i ⁰，ｙ_i ⁰）を決定するであろう。

ｉ＝（ｒ−１）Ｎ＋ｓ （１１）

順序付けするとき、どのバーと形状とが画面フレーム１８の内部にあるかを決定することが重要である。背景領域（画面フレーム１８の外側）が画像に高いコントラストを与えなければ、適当な閾値（抽出特徴座標ステップにおける）は単独で、画面フレーム１８内部の形状とバーだけが測定されることを保証するであろう。外側の形状も強く表現されているならば、フレームエッジとの比較はどの形状とバーとが内部にあるかを決定できる。バーの番号付けは、いかなる紛失バー（フレーム１８の外側のバー）に関しても明細に説明しなくてはならない。所与の番号付け順序のバーは、これらがフレームの内側又は外側にあるかどうかを決定するために、一度に一つフラッシュされ得る。バーを暗示的に番号付けするために種々のカラーバーも使用され得る。

カメラ較正データはまた、変域座標が表示空間にある場合にも順序付けられる必要がある。しかしながらここでは、プロセスは、すべての特徴要素（定義による）がフレーム１８内にあるのでより単純である。大抵の場合、順序付けを決定するためには座標比較で十分であろう。ＣＣグリッドに関して順序付けは、変域ＣＣグリッドと呼ばれるＣＣグリッドに関する変域座標（表示空間における）であるグリッド（ｘ_di ^CC，ｙ_di ^CC）を割り当てるであろう。この変域ＣＣグリッドの値は、グリッドが物理マーカーに対応するかどうか、又はグリッドが数学的に構築されたかどうかに依存するであろう。前者に関してはマーカーの既知の座標が変域ＣＣグリッドを与える。後者に関しては変域ＣＣグリッドを選択する際に幾らかの自由が存在する。最終画像がフレーム１８に整合すべきであれば（すなわち幾何学クラス（ａ））、エッジ上のＣＣグリッド点は矩形ＥＦＧＨ上の対応するエッジにマッピングしなくてはならない。これは、エッジが下記のようにマッピングする必要があることを意味する。

上部エッジ⇔｛（０，０），（Ｗ_D，０）｝を通る直線
右エッジ⇔｛（Ｗ_D，０），（Ｗ_D，Ｈ_D）｝を通る直線
底部エッジ⇔｛（０，Ｈ_D），（Ｗ_D，Ｈ_D）｝を通る直線
左エッジ⇔｛（０，０），（０，Ｈ_D）｝を通る直線

これらの制約を除いて変域ＣＣグリッド点は、妥当ないかなる方法によっても選択可能である。完全な抽出と順序付けとによってマッピングｆ_Wは方程式（８）を使用して発見できる。

カメラ較正データは、逆カメラ歪みマップｆ_C ^-1を最初に構築するために使用できる。純粋な遠近法カメラ歪み（すなわちｆ_C＝ｆ_C ^P）の最も一般的なシナリオには、４隅の点だけが必要とされる。

（ｘ^d _cTL，ｙ^d _cTL）→（０，０）
（ｘ^d _cTR，ｙ^d _cTR）→（Ｗ_D，０）
（ｘ^d _cBL，ｙ^d _cBR）→（０，Ｈ_D）
（ｘ^d _cBR，ｙ^d _cBR）→（Ｗ_D，Ｈ_D） （１２）

（逆）遠近法変換は、方程式（１３）によって与えられる。

ここで（ｘ_d，ｙ_d）は表示空間における座標であり、（ｘ_c，ｙ_c）はカメラ空間における座標である。方程式（１２）を使用すると、遠近法変換を定義する係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）に関して解くことができる８個の線形方程式が得られる。

カメラ歪みが光学歪み成分ｆ_C ⁰を含むとき、又は湾曲フレームに関して修正しているとき、逆カメラ歪みマップｆ_C ^-1を決定するためにエッジ方程式又はＣＣグリッドが使用される。一つの方法は、ＣＣグリッドが単にエッジ上だけでなく内部の点における歪みに関する情報を与えるので、ＣＣグリッドを使用することである。ＣＣグリッドは方程式（１０）で与えられる。このグリッドは、所与の１セットの基底関数によって適合（最小二乗の意味において）又は内挿され得る。一つの選択は、方程式（１４）に定義されるグリッドに対してスプライン適合を取得するか、内挿を行うためにスプラインベースを使用することである。

ｆ_c ^I-1：（ｘ_ci ^CC，ｙ_ci ^CC）→（ｘ_di ^CC，ｙ_di ^CC），グリッドへの補間式又はフィット
ｘ_d＝ｆ_cx ^I-1（ｘ_c，ｙ_c）
ｙ_d＝ｆ_cy ^I-1（ｘ_c，ｙ_c）
ｆ_C ^-1＝（ｆ_cx ^-1，ｆ_cy ^-1）＝（ｆ_cx ^I-1，ｆ_cy ^I-1） （１４）

抽出カメラ較正データステップのときに計算されたｆ_C ^-1と座標（ｘ_ci ⁰，ｙ_ci ⁰）からマッピングｆ_Wは下記のような連結によって得られる、ｆ_W：（ｘ_i ⁰，ｙ_i ⁰）→（ｘ_di ⁰，ｙ_di ⁰）。ここで（ｘ_di ⁰，ｙ_di ⁰）は方程式（１５）によって与えられる。

この連結は、その変域のために全画像マップ値域を使用してカメラ逆歪みマップを評価する。

得られたグリッド（ｘ_i ⁰，ｙ_i ⁰）→（ｘ_di ⁰，ｙ_di ⁰）は図５の中央の図に対応し、表示歪みを修正するために必要なマップ（逆形式の）を与える。前述のようにこのグリッドは単に、画面フレーム１８内にある点を含む。オーバーフローする歪み（ケース（ａ）及び（ｂ））に関して変域空間（すなわち表示歪みの観察点からの入力画像）における多くのピクセル（形状中心に対応する）は、このグリッドによって定義された表示空間内にそれらの座標を有さない。この例示的実施形態ではディジタルワーピングユニット１５である電子修正ユニットは、すべての変域空間ピクセルを処理するであろう；逆アーキテクチャ修正ユニットに関する変域空間は実際には生成される出力画像である。したがって紛失グリッドデータは計算される必要があり、これは外挿及び再サンプリングステップによって行われる。

較正データ生成における最終段階は、スケールと原点とを固定することである。修正グリッドは、表示空間に在って、画面フレーム１８の右上隅に関して定義される。表示空間の単位（スケール）は任意であって、入力空間で使用された単位とは異なってもよい。このデータがワープ発生器１３によって使用され得る前に、この原点とスケールは入力空間の原点とスケールに一致させられる必要がある。これは、原点とスケールの最適化と見ることができる。

図５の中央の図を考えると、修正が適用されるとき最終修正画像は画面フレーム１８に関して矩形であるべきである。図７を参照すると、修正画像を含むこの矩形は、能動矩形Ａ’Ｂ’Ｃ’Ｄ’と呼ばれるであろう。能動矩形は、画像の細いエンベロープ（包絡線）（ＡＢＣＤ）内に、また画面フレーム（ＥＦＧＨ）内になければならない。原点及びスケールは、能動矩形の左上が（０，０）に対応し、この矩形の幅掛ける高さが入力画像のピクセル解像度であるＷ_T×Ｈ_Tであるように、選択される必要がある（図７参照）。

一旦スケール決めとシフトが行われると、較正に関する入力空間は実際には逆アーキテクチャにおける電子修正に関する出力画像であり、修正に関する入力画像は実際には表示空間（すなわち較正に関する出力空間）に等しいことに留意されたい。

矩形座標値を決定するＷ_D×Ｈ_Dの値は、これらの値が画面フレーム１８のアスペクト比を維持するという条件で、いかなる整数値であるようにも選択可能である。方程式（１８）を適用することは、表示空間寸法（下の図）を図７の修正に必要な入力画像寸法（上の図）に変換する。

一つの可能な方法は、制約された最小化を使用することである。これは、これらの制約を等式又は不等式の形式に書き直して、最小化（又は最大化）されるべき関数を定義することを含む。フレームエッジ（方程式（９）参照）と最も外側のグリッド点（方程式（１７）参照）に対するライン方程式は制約Ｃ１及びＣ２を不等式形式に定式化するために使用でき、すなわち矩形の４隅が（＜＝）これらのライン内にあるように定式化するために使用できる。制約Ｃ４は既に等式の形式になっているが、制約Ｃ３は最大化するための、すなわち能動矩形の面積を最大化するための関数になる。

画像が画面１６を満たすためにオーバーフローする図５のシナリオ（ａ）に関して画面フレーム１８は制約Ｃ１〜Ｃ３を自動的に満足させる現実的な矩形を与える。表示のスケールをテスト画像のスケールに固定することによってパラメータは、方程式（１９）にしたがって設定される。

修正された画像は画面フレーム１８に正確に一致するであろう。これは画面フレーム１８全体が使用される理想的な状態である。このようにして、この場合には、図６の最適化ステップは単に方程式（１９）を使用することを意味する、すなわち点はスケール決め又はシフトされる必要はない。

最適化ステップはまた、方程式（２０）に示されるように制約４を修正することによってアスペクト比の変更を達成するためにも使用できる。

方程式（１８）を使用し続けると、修正された画像のアスペクト比はαになるであろう。アスペクト比を選択する際のこの自由は、異なるアスペクト比を有する表示装置において画像が郵便箱型又は円柱郵便ポスト型になることを可能にする。スケールとシフトとを調整することによって画像は、画面１６上で容易にオーバースキャン（すなわち画像オーバーフロー）及びアンダースキャン（すなわち画像アンダースキャン）され得る。したがって表面関数を使用することは、オーバースキャン及びアンダースキャン状態の容易な実現に役立つ。

上記の論議は、修正がすべての原色に関して同じである歪みに集中してきた。これらの場合に同じグリッドデータは、すべての色に関する修正を記述し、この場合は単色修正と呼ばれ得る。しかしながら横の色歪みに関しては、グリッドデータはすべての原色に関して異なり、多数色の修正が必要となり、この場合は多色修正と呼ばれ得る。すべての原色に共通ないかなる幾何学歪みも横修正に含まれる可能性があり、したがって較正データ発生器１２の前述の実現形態は、以下に説明される多色修正の特殊な場合と見ることができる。

横の色修正のための較正データ発生器１２の例示的実現形態は、図８に示されている。見られるようにこれは、Ｋ回繰り返される単色修正の場合の実現形態（前節を参照）に似ており、ここでＫは原色の数である。原色はＩ_i，ｉ＝１・・・Ｋとラベル付けされる。最も一般的な３原色ＲＧＢに関しては、（Ｉ₁，Ｉ₂，Ｉ₃）＝（Ｒ，Ｇ，Ｂ）である。

各原色を較正するためのステップと詳細は、下記の回数の修正を有する単色修正の場合に関して前に説明されたものと同じである。

今度は、テストパターンは、較正される原色にしたがって色付けされている。例えば赤色を較正するときに、すべてのテストパターン（図４のパネル（ａ）〜（ｊ）を参照）は、赤く色付けされたそれらの特徴要素（円、バーなど）を有するであろう。特徴要素の特性（円の数など）はカラーパターンに関して異なる可能性がある。

中心とエッジの抽出などのすべての画像処理ステップは、色画像を使用するであろう。較正される色を取り扱うために、閾値は調整可能である。一旦二値画像が取得されると、画像処理は色とは独立になる。

一般にカメラレンズ自体における横の色歪みのためにカメラ較正データは、異なる原色に関して異なり、またすべての原色に関して別々に計算される必要がある。本システムは、カメラ自体における横の色歪みに関して修正するように構成できる。表示装置を較正するためのテスト画像パターンに似ている異なる原色からのテスト画像パターンは、カメラ較正データを生成するために使用され得る。カメラの（多色）較正データ生成は、表示較正とは独立に行うことができ、単に１回行われる必要があるだけである。カメラ較正データを生成する際には、ゼロ又は最小の（すなわちカメラの横の色歪みよりはるかに小さい）横の色歪みを有する表示装置が使用されるべきである。このような表示装置が利用可能でなければ、物理的グリッドに既知の座標を与えるために色付きマーカーが使用され得る。多色カメラ較正のための最終結果は、方程式（２２）で定義される原色に依存する逆カメラ歪みである。

何らかの紛失データが計算された後に、取得されたＫ個のグリッド（方程式（１７）に類似の）は方程式（２３）において定義される。

ここで各グリッドのための点の数は、使用されるテストパターンと行われる何らかの再サンプリングとに依存して異なる可能性がある。

原色に関するテストパターンは、異なる投影幾何学クラス（図５参照）に属し得る。原色に関するあるいくつかのテストパターンは図５のパネル（ａ）におけるように完全に画面フレーム１８をオーバーフローし得るが、他のテストパターンは図５のパネル（ｂ）のように完全にフレーム内にあることが可能である。最適化が実行されると、能動矩形は画面フレーム１８内に、また各色の画像エンベロープＡＢＣＤ_k内になければならず、画像エンベロープの空間交差が使用される。これは、単一の最適化がすべての原色のエンベロープＡＢＣＤ_kを考慮して制約１によって行われることを意味する。この最適化は、すべての原色に共通である能動矩形のための座標を決定する。それからこれらの座標は、方程式（１８）にしたがってグリッドをスケール決めしてシフトするために使用される。

最適化ステップの出力はＫ個のグリッドであって、これらは方程式（２４）に指定されるようにすべての原色に関する較正データを与える。

これらのセットのデータはワープ発生器１３によって使用される。

この例示的実施形態では、色と明るさ、あるいは単に色の不均一性較正データの生成は、幾何学歪み（タイプ１〜４）が修正された後に実行される。色の不均一性は、投影幾何学配置（台形歪曲角）、マイクロディスプレイパネルの不完全性などによる画面１６までの経路長の変化などのいくつかの原因によって起こり得る。

幾何学的に修正された表示装置に関してテストパターン画像は、フレーム１８内におそらくサイズがこれと一致する矩形（すなわち能動矩形）として現れる。原点は、画面フレーム１８の左上隅よりむしろ能動矩形の左上であるように取られる。使用されるテストパターンは、単色幾何学修正のために上記に使用されたテストパターンの単なる色付き版である。すなわち原色ｋを修正するためには、特徴要素（円、バー）は色ｋになっているであろう。これは、横の色を修正するために使用されるものと同じである。明るさに関してはグレイ値（最大は白、半最大値）が使用され得る。色という項目は、一般に修正されるいかなる色成分をも識別するために使用される。これは、輝度、あるいはＲＧＢ又はＹＣ_bＣ_rの１成分、あるいは感知装置１１によって測定できる他の任意の色空間における１成分であり得る。

感知装置１１は、カメラ又は色分析器（すなわち分光計、測光器など）であり得る。より高い精度のためには、測光器又は分光計が使用されるべきである。これらの色分析器は、画像全体（すなわち多数の点）を、又は単一の点におけるデータを捕捉し得る。感知装置１１は、できるだけ画面１６の近くに配置されるべきである。単一点色分析器は実際には、既知の座標におけるスクリーン（すなわち形状の中心）に配置されて、その座標に関してデータを取得するであろう。多点色分析器とカメラは任意の場所に配置され得るが、改善された精度は、分析器及びカメラをできるだけ画面１６の近くに、また中心に置くことによって得られる。図９は、画面９１と単一点色分析器９２と多点色分析器９３とを含む例示的構成を示す。色の不均一性に関する較正データ発生器は、幾何学歪みを修正するための較正データ発生器に類似している。図１０は、色不均一性に関する較正データ発生器１２’の例示的実施形態を示す。

単一点色分析器９２によって捕捉されたデータは、測定が行われたすべての点に関する原色値Ｃ’_ki ⁰と対応する空間座標（ｘ_i ⁰，ｙ_i ⁰）からなる。ここでｋ＝１・・・Ｋは、分析される色を識別する。Ｃ_ki ⁰で表された元の色値はまた、テストパターンがよく定義されているので既知である。これは、色歪みマップと呼ばれる色の不均一歪みを記述するグリッドデータである方程式（２５）という結果をもたらす。

ｆ_Dc：（ｘ_i ⁰，ｙ_i ⁰，Ｃ_ki ⁰）→（ｘ_i ⁰，ｙ_i ⁰，Ｃ’_ki ⁰） （２５）

空間座標が色不均一歪みによって変えられないことは留意されるべきである。元の色値Ｃ_ki ⁰は通常、所与のテストパターンに関する固定値Ｃ_ki ⁰＝Ｃ_k ⁰となるであろう。これは、すべての非背景ピクセルが同じ色をになっていることを意味する。２セット以上の測定ｓ＝１・・・Ｓは、各セットが異なる一定の色値（種々の飽和レベル又はグレーレベルなどの）を有するテストパターンに対応する場合に行われ得る。表記を単純化するために単一インデックスｉも、方程式（２６）に示されるような異なる測定セットに亘って順に並ぶであろう。

ｉ＝１．．．Ｍ×Ｎ×Ｓ、に加えて
（ｘ_i ⁰，ｙ_i ⁰）＝（ｘ_i+(s-1)(M×_N) ⁰，ｙ_i+(s-1)(M×_N) ⁰） （２６）

空間座標は、各セットに関して同じである。以下の論議は各セット（すなわちテストパターン）に適用される。

カメラであり得る多点色分析器９３に関して、捕捉されたデータは画像全体に対応する。この場合、グリッドを取得するに先立って、ある画像処理が行われる必要がある。形状の中心（ｘ_ci ⁰，ｙ_ci ⁰）とそれらの変域座標（ｘ_i ⁰，ｙ_i ⁰）が計算される。これを行うためのステップは、幾何学修正時に使用された抽出及び順序付けステップと同じである。中心に加えて形状中心における色値も計算される。色値は、方程式（２７）にしたがって識別された中心の周りの捕捉された画像における近隣ピクセル色値を平均するか、あるいはフィルタリングすることによって取得され得る。

ここでＣ’_kjは中心の近隣の捕捉された画像における色値である。最も近い４個の点に亘る平均のためにフィルタ係数はａ_j＝１／４，ｊ＝１・・・４である。

終了結果は、方程式（２５）で定義されたグリッドデータである。（ｉ）色歪みは空間座標を変えないので変域座標だけが必要とされることと、（ｉｉ）画像は幾何学的に歪みなしであって画面１６内にあるので紛失データが存在しないことと、（ｉｉｉ）幾何学修正は行われていないので感知装置歪みを計算して連結を実行する必要がないこととは、留意されるべきである。

使用される感知装置のタイプと捕捉されるデータのフォーマットとに依存して、色データを表示の色空間に導入するために、色空間変換が必要となる可能性がある。例えば分光計は色度に関してデータを与え得るが、表示装置と電子修正ユニット（プロセッサである）はＲＧＢ値を必要とする。色変換は、マトリックス乗算によって、あるいはより複雑な非線形方程式によって実行され得る。色空間変換のためには、すべての原色に関するグリッドデータが使用される。一般にこの変換は、方程式（２８）に示される形式をとる。

Ｃ’_ki ⁰⇒Ｃ’_ki ⁰＝Ｆｋ（Ｃ’_1i ⁰，Ｃ’_2i ⁰，．．．，Ｃ’_ki ⁰） （２８）

色歪みが存在しなければ、一定の色テストパターンに関してすべての座標（ｘ_i ⁰，ｙ_i ⁰）における色値は、定数Ｃ’_k ⁰として測定されるべきである。測定された定数は、元の一定のピクセル値Ｃ_k ⁰と等しくない可能性がある。大抵の表示装置では測定値と元の値とは比例し、この場合、比例定数λは、色歪みが存在しないときには一定であり、色歪みが存在するときには空間的に変化する。したがって表示の色歪みマップは方程式（２９）に示すように表すことができる。

各座標における十分な数の値が必要とされる。分析は、データに適合を行うことによってｆ_Iに近づくことができる。同様に逆数ｆ_I ^-1は方程式（３２）に示されるように逆方向に同じデータを分析することによって計算できる。

ここでｒ＝１・・・Ｒは逆カラーマップを定義するパラメータの数を与え、Ｂ_rは基底関数である。これらのパラメータは、各中心座標に関して、また各原色に関して異なっている。通常、ｆ_I ^-1は、一般性を失わずに多項式ベースであると想定できる電子修正ユニットによって使用される表現によって決定されるであろう。上記の表現はまた、あるいくつかの場合に、出力における元のＣ’_ik ⁰値を減らすことが必要であり得るか、あるいは望まれ得るので、最終的な一定の色レベルの調整を考慮している。ここでこれらのパラメータは、逆数値を増加又は減少させるために単純なスケールファクタによって調整され得る。

一旦逆関数（各中心座標における）が知られると、色不均一歪みを修正する修正色マップは、方程式（３４）によって与えられる。

方程式（２９）の最も一般的な場合には、これらのパラメータは方程式（３６）にしたがって与えられる。

上記のグリッドは、適当な適合関数又は内挿関数で再サンプリングすることによって、より高密度にされ得る。幾何学較正のための表記に類似している表記を使用する新しいグリッドは方程式（３７）によって与えられる。

これは、較正データ発生器１２’のデータ出力である。

すべてのサブジェネレータを含む較正データ発生器１２’によって出力された全データ（すなわち図１０の各列）は、方程式（３８）によって与えられる。

前述のようにグリッドデータは、電子修正ユニットによって直接的には使用されない。グリッド表現は最も一般的なフォーマットであるが、これは主として、大量のデータ（すべてのピクセルの座標）の記憶を必要とし、容易には処理できない（例えばスケール変更のために）という理由からハードウエア実現のためには非効率的である。あるいくつかの従来技術のシステムは、同じトークンによって最適でないルックアップテーブルを使用する。ワープ発生器１３は、（３８）で定義されたグリッド表現をハードウエアでのアプリケーションのために効率的である形式の、修正の代替表現であるワープデータに変換する。電子修正ユニットが直接的にグリッドデータを使用できれば、すべてのピクセルのために再サンプリングされた上記のグリッドが使用でき、ワープ発生器１３によるワープデータの生成の必要はない。

ワープデータは、電子修正ユニットのデータ要件にしたがって生成される。電子修正ユニットは、種々のアーキテクチャを使用して幾何学変換と色変換とを適用できる。大抵のユニットは、幾何学修正のために逆マップを使用し、また上記のグリッドは逆アーキテクチャように設計されている。「Ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｒｅｐｒｅｓｅｎｔｉｎｇ ａ ｇｅｎｅｒａｌ ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ ｔｒａｎｓｆｏｒｍａｔｉｏｎ」（一般的２次元変換を表すためのシステム及び方法）と題する発行済み米国特許出願第ＵＳ２００６−００５００７４Ａ１号に記載されたもののような効率的な電子修正アーキテクチャは、グリッドデータの線形関数表現に基づいている。ワープ発生器１３は、グリッドデータを関数表現に変換する。図１１は、ワープ発生器１３の一例示的実施形態を示す。

２次元グリッドの一般的関数表現（ｘ_i，ｙ_i）→ｕ_iは方程式（３９）に示すように書くことができる。

方程式（３９）は、ａ_iによって与えられる表面係数と呼ばれる組合せの係数と基底関数Ｂ_i（ｘ，ｙ），ｉ＝１・・・Ｌとの線形結合である２次元表面関数を変域（ｘ，ｙ）上で定義する。これらの係数は、一定であって変域上で変化しない。基底関数は線形である必要はなく、これらの結合だけが線形である。少なくともあるいくつかの場合には、基底関数は非常に非線形であり得る、したがって方程式（３９）に示された形式は修正グリッドを表現するために十分に一般的である。基底関数とそれらの数は、ハードウエアに実現されて評価されるので電子修正ユニットによって定義される。ワープ発生器１３は、必要とされる係数を決定する。

一例示的実施形態では、ハードウエアに使用される基底関数は多項式ベースのものである。二つのインデックスを導入すると、多項式基底関数及び対応する表面は、方程式（４０）に示すように書くことができる。

基底関数は既知であるので、決定して記憶する新しいデータは、１セットの表面係数ａ_iである。表面表現への移行は、方程式（４１）に示されるように、グリッド値から表面係数への変換を意味する。
ｕ_i⇒ａ_i （４１）
この表現の効率は、各ピクセルに介してグリッド値が記憶される必要がある場合に表面係数が１グループのピクセルに対するグリッド値の計算を考慮し、それによって比較的遥かに少ない数の表面係数が記憶される必要があるという事実からの結果である。

係数の数は、元のグリッド値がどれくらい正確に表現され得るかを決定する。高められた精度は、係数の数を増やすことによって、すなわちより多くの基底関数を使用することによって得ることができる。代替として変域が複数のパッチに分割されれば、各パッチのために使用される異なる表面関数によって少数の基底関数が使用され得る。パッチ構造は、各パッチにおける表示歪みのひどさにしたがって構築される。このアプローチは、組合せ表面の複雑さを歪みに整合させる際のより大きな柔軟性を可能にしている。例えば歪みがより複雑であるほど、使用されるパッチはより多くなる。パッチｐ＝１・・・Ｐのための係数は、ａ_ij ^pとラベル付けされる。下記では一般性を失わずに、もう一つのベースに容易に適応できる多項式形式に関する表記が使用されるであろう。したがって全表面は、方程式（４２）で指定される形式を取る。

単一表面は、全出力画像（変域）に等しい単一パッチに対応する。例示的パッチ分割は、図１２に示されている。

このパッチ分割は、４×４対称配列の１６個のパッチなどのある初期構成に初期化され得る。パッチの配列（すなわちパッチの数と各パッチの境界）は、方程式（４３）で指定される形式を取るパッチ幾何学配置Ｄと呼ばれる。

Ｄ＝｛ｘ_p ⁰、ｙ_p ⁰、ｘ_p ¹、ｙ_p ¹｝，ｐ＝１．．．Ｐ
（４３）
パッチ ｐ＝｛（ｘ、ｙ）｜ｘ_p ⁰≦ｘ≦ｘ_p ¹，ｙ_p ⁰≦ｙ≦ｙ_p ¹｝

パッチ幾何学配置が与えられると、係数は方程式（３８）によるデータの線形最小二乗適合を使用して計算できる。この適合は、パッチ境界において表面が連続していることを保証するように制約されるべきである。一旦表面が決定されると、方程式（４４）に示されるように、グリッド値を計算値と比較するために誤差分析が行われる。

Ｅｒｒｏｒ_i＝｜ｕ_i−ｕ（ｘ_i，ｙ_i）｜ （４４）

誤差値は、許容値レベルＥ_maxと比較される。最大誤差が許容値レベルより小さいか、等しければ、すなわちｍａｘ_i（Ｅｒｒｏｒ_i）≦Ｅ_maxであれば、表面係数は保持され、ワープデータとしてワープ発生器１３から出力される。最大誤差がより大きければ、パッチ幾何学配置は、更に細かく分割することによって改善され、係数は誤差に関して再計算されて再分析される。

方程式（３８）における表面表現は、方程式（４５）に示されるように書くことができる。

関数形式は全空間に関して定義され、単に個別１セットの座標にはないので、グリッド表現における（ｉ，ｊ）インデックスがもはや必要とされないことは留意されるべきである。インデックス（ｉ，ｊ）は今度は、冪（べき）指数を与え、より一般的には基底関数を識別する。インデックスｋは原色を識別し、インデックスｐはパッチを識別する。表面は、変域座標が存在するパッチに関して評価される。パッチ配列と基底関数の数は、複数の原色に関して異なる可能性がある。上記のフォーマットの更なる変化は、例えばパッチ当たりの基底関数を変えることによって得ることができる。幾何学修正に関する変域空間は、（ｘ，ｙ）とラベル付けされ、これは出力画像空間（逆アーキテクチャにおける）に対応し、また値域空間は（ｕ，ｖ）と再ラベル付けされ、これは入力画像空間に対応する。

ディジタルワーピングユニット１５はプロセッサであって、システムの電子修正ユニットとして働く。電子修正ユニットという表現は、本明細書ではディジタルワーピングユニットという表現と交換可能に使用されている。実際の使用時にディジタルワーピングユニット１５は、入力画像を予め歪ませる、あるいはワープするためにディジタル入力画像（ビデオ）にワープデータを与える。入力画像は、空間的空間と色空間の両方においてワープされる。空間的ワーピングは幾何学ワープにしたがって行われ、色ワーピングは色ワープにしたがって行われる。予備歪みは、表示の歪みを打ち消すように構築され、画面１６に表示される歪みなし画像を与える。

フィルタリング及び色修正方程式の詳細は、ハードウエアのアーキテクチャに依存する。単純なフィルタは、この場合ｗ_j＝１／４である最も近い４個の近隣点を単純に平均し得る。複雑なフィルタは、その形状が表面のローカル・ヤコビ行列式に依存する楕円形近隣を使用することができ、フィルタ係数は巧妙なフィルタ生成アルゴリズムを使用して得ることができる。この場合、ヤコビ行列式を推定するために、近隣座標（ｕ_j∈Γ，ｖ_j∈Γ）が必要になる可能性がある。同様に単純な色修正は方程式（４９）で定義されるように単に線形修正を使用することを含む。

ディジタルワーピングユニット１５の最終結果は、すべての主要成分を表すために使用されるベクトル表記を使用して方程式（５１）で以下に書き換えられた方程式（１）によって数学的に記述される修正である。

ワープされた、又は予め補正された出力画像は、表示装置（図示せず）に入力され、この場合この画像は視覚的に歪みなしで画面１６に投影され、したがって自動化された較正と修正とを完了する。一旦較正・修正手順が完了すると、通常の（テストパターンでない）画像及びビデオは、表示装置に送ることができる。

横の色修正に関連して多色幾何学較正・修正が論じされてきた。しかしながらこれは、主要成分が幾何学的に歪んでいるいかなる歪みをも修正するために使用され得る。他のアプリケーションは、複数の色成分に関する異なる倍率を含むばかりでなく、背面投影表示装置における相互に関して、あるいはシャシ又はハウジングに関して配置された多数のマイクロディスプレイ装置による光学部品の位置合わせ不良と集束不良に起因する歪みを含む。

投影システムでは色較正・修正は、幾何学的に修正された画像に対して行われる。これは、色修正が幾何学的ワーピング自体によって導入されたいかなる不均一性をも考慮していることを意味する。幾何学的にワープされた画像は、スケーリング・フィルタリングプロセスによる異なる色又は輝度内容を含む異なる領域を有するであろう。実際に領域が大きく拡大されるほど、明るさと色に変化は大きくなる。これは、幾何学的ワーピングの後に行われる色修正によって自動的に補正される。したがってシステムは、幾何学的ワーピングプロセスによる色不均一性を自動的に補正する。

もう一つの適応において本システムは、ディジタル較正・ワーピングユニットを得るために単一回路内に統合され得る。較正データ発生器１２とワープ発生器１３は、いかなるプロセッサ上でも実行できるコンポーネントである。テスト画像発生器１４は、プロセッサによって出力される１セットの記憶画像によって置き換えることもできる。ハードウエアに埋め込まれたプロセッサを使用することは、較正・修正プロセス全体に単一回路ソリューションを与える。更にこのハードウエアは、自動較正表示装置を得るためにカメラと共に表示装置内に統合され得る。この適応では、画面上に結果として得られる表示画像が実質的に歪みなしであるように、予備補正マップすなわちワープマップ及び色マップ（幾何学ワープ及びカラーワープとも呼ばれる）を生成するために、また予備補正マップを入力画像データに適用するために、少なくとも一つの画像感知装置から感知された情報を受信して表示歪みを計算するためのプロセッサは、単に一つだけ必要とされる。しかしながら他の場合には二つ以上のプロセッサを使用することがより効率的であり得る。したがって本明細書で説明された実施形態を実現するためには少なくとも一つのプロセッサが必要とされる。

種々のタイプのセンサーは、感知装置１１として機能するために、表示装置内に（カメラよりむしろ、あるいはカメラと共に）統合され得る。図１４に示された一例示的実施形態では、センサー１４３は、画面１４１上のある一定の数の点の距離を測定するためにカメラ１４２とは独立に、又はカメラと共に使用される距離感知装置である。この平面は、平坦である必要はない。測定された距離と感知された距離の相互の角度から、カメラ１４２と画面１４１との相対角度が計算される。更にスクリーンの形状はまた、平坦でなければ、この方法を使用して計算できる。図１４に示された例では、スクリーンの右側の濃いラインはセンサー１４３によるスクリーンの法線（normal）に近い視線を示すであろうが、左の淡いラインは左の法線から遠い視線を示している。赤外線センサーなどを含む種々のタイプのセンサー１４３が使用できる。この例示的実施形態では表示スクリーン（すなわち画面１４１）を輪郭描写するために物理的構造は必要とされず、カメラ１４２は任意に配置できる。

もう一つの例示的実施形態は、動的較正・修正を有する自動較正表示装置を構成し、それによって構成・修正手順は、外部資源を必要とせずに歪みを修正するためにいつでも実行可能である。これは、プロジェクタに関する台形歪み、又はＲＰＴＶのような背面投影表示装置の現場較正などの時間的に変化し得る歪みを修正することを考慮している。この較正システムは、この場合、自動較正を備えるためにＲＰＴＶのハウジング又はシャシの内側に配置される。時間的に変化する他の重要な歪みは、物理的動き、経過年月及び温度による光学部品の変化である。例えば背面投影表示装置では、ミラーの曲率は、その重量又は温度によって僅かに変化する可能性があり、これは動的な較正・修正を必要とする。表示装置が起動されたとき、又は歪みの変化が検出されたとき、較正・修正システムが実行される。

動的な較正・修正は、感知装置が利用可能でないテレビジョンシステムなどの固定された表示装置のために現場で特に重要である。ここでは、初期の較正・修正の後に将来の歪みは、時間的な構成要素の僅かな変化に起因する。製造工場などの管理された環境では、時間的に現場で予想される種々の歪みｉ＝１・・・Ｎをシミュレートするためにディジタルワーピングユニットが使用できる。それからこれらの歪みは、前述の例示的実施形態で説明されたシステムを使用して較正され修正され得る。しかしながら一方は歪みをシミュレートするために、他方は自動的に生成される修正データをテストするために、二つの電子修正ユニットが使用され得る。これらＮ回のテストケースに関する修正のためのワープデータは、表示装置内に記憶できる。現場において、また時間に亘って僅かな歪みが発生すると、Ｎ個のワープ修正からこの歪みを最もよく修正する一つのワープ修正が選択される。したがって、製造時に較正が行われ、またＮセットの修正データが表示装置に記憶されているので、完全なシステムは必要でなく、表示装置内にディジタルワーピングユニットが構築される必要があるだけである。適当な修正データの選択を自動化するために、専用のテストパターンを検出するための表示ベズル内のセンサーが使用され得る。したがって、歪みの最適検出が達成される画像テストパターンがロードされる。このプロセスは、動的な修正・較正を取得するために表示装置が起動されたときに実行できる。

図１５及び図１６に示すように一例示的実施形態では較正システムは、画面上の最適プロジェクタ焦点を見つけ出すことに適応している。これは、１セットの特定の数の平行線などの画面上にテストパターンを表示することによって行われる。それから画像は、テストパターン内の暗い領域と明るい領域との間のコントラストを見つけ出すために電子修正ユニットによって捕捉されてスキャンされる。それからプロジェクタ焦点はシフトされ、コントラストは再測定される。これは、最大コントラストが見つけ出されるまで続けられる。最大コントラストは最良の焦点に対応する。これは、より不良な焦点を有する画面１５１とより良好な焦点を有する画面１６１とに示されている。感知装置を焦点合わせするために、同じ技法が使用できる。最大コントラストのために、表示スクリーン（すなわち画面）のベズルなどの鮮鋭なエッジを有する物理的マーカーが捕捉されて分析される。必要であれば、マーカーと背景との間のコントラストを向上させるために、適当に色付けされたテストパターンが表示可能である。感知装置焦点がシフトされてコントラストが再測定される。最大コントラストの設定は、感知装置のために最良の焦点を与える。感知装置は、表示装置を焦点合わせする前に焦点合わせされる。

図１７及び図１８に部分的に示されたもう一つの例示的実施形態では、較正システムは、それぞれ湾曲スクリーン１７１及び１８１と多数のプロジェクタ１〜３とを有する表示装置において使用される。これらのプロジェクタは湾曲スクリーン１７１及び１８１の全面積をカバーし、これらは同じ電子ユニットによって制御される。幾何学的較正は、スクリーン１７１及び１８１のそれぞれの領域にマッピングする各プロジェクタ１〜３に関して行われる。更に幾何学的較正は、各プロジェクタ画像を隣接プロジェクタ画像に縫い合わせるために各プロジェクタ画像を回転させて平行移動させる。特に、オーバーラップする領域では対応するピクセルは互いの上に重ねられる。異なるプロジェクタ１〜３からスクリーン１７１及び１８１へのマッピングが異なる入射角を有し、またスクリーン１７１及び１８１が湾曲するにつれて変化することは留意されるべきである。ワープデータによって表されるような湾曲スクリーン１７１及び１８１のマップを有する、又は取得する電子ユニットは、スクリーン１７１及び１８１に亘る角度変化に関して修正する。

すべてのプロジェクタ領域において色特性が視覚的に同じであることを保証するために、幾何学的較正に加えて各プロジェクタ１〜３の色較正が行われる。電子ユニットはまた、湾曲スクリーン１７１及び１８１に亘って均一な明るさ及び色のマッピングが達成されるように、ピクセルの色と明るさとをプロジェクタ１〜３の間で分割することに適応している。いかなる数の個別プロジェクタでも使用可能であって、同じ較正技法を適用しながらオーバーラップ領域が多くのプロジェクタ間で分担可能であることは留意されるべきである。

湾曲スクリーンへの投影に関して、焦点問題は常に卓越している。これは、プロジェクタが平坦な焦点面を有するのにスクリーンが湾曲している、またそれとしてスクリーンの異なる部分がいかなる焦点面からも異なる距離を有するという事実から由来する。スクリーンのある部分を見ると、画像はスクリーンの他の部分より更に焦点が合っているように見える可能性がある。単一のプロジェクタで投影しながらこの問題を克服するために、焦点ボケを最小にする技法が使用でき、その一例示的実施形態が図１９に示されている。この場合、較正システムは、湾曲スクリーン１９１から焦点面１９３への一連の法線の２乗距離の和が最小になるような方法に投影焦点面を配置する。スクリーンの中心を両サイドよりよく焦点を合わせたければ、スクリーンの中心部分を焦点面に接続するセグメントにより多くの重みを与えることができる。

この場合、最適焦点面は、スクリーンの既知の形状に基づいて予め計算されることが可能である。最適焦点面とスクリーンとの交差は、画像が最もよく焦点合わせされるスクリーン上の点を与え、更に最大コントラストが得られる。計算され、また知られている最適平面と最大コントラスト点とによって、図１６で使用されたパターンと類似の画像テストパターンがスクリーンに投影され、それから画像が捕捉されてコントラストに関して分析される。捕捉された画像内の最大コントラスト位置が、予め決められた最大コントラスト位置と、ある許容誤差内で一致すれば、投影された画像は最適焦点面上にある。最大コントラスト点が予め決められた最大コントラスト点と一致しなければ、プロジェクタ焦点は調整され、このプロセスは一致が得られるまで繰り返される。この技法が１次元的に湾曲した（例えば円柱、ゼロの空間曲率などの）、又は２次元的に湾曲した（例えば球面、非ゼロの空間曲率などの）スクリーンに適用可能であることは、留意されるべきである。

図２０に部分的に示されたもう一つの例示的実施形態では、既に説明された較正に加えて、多数のプロジェクタからの画像を異なる角度で投影することによって焦点問題が取り扱われる。この図に示すように、湾曲スクリーン２０１の指定の領域にこれらの指定の角度でプロジェクタを光らせることによって、焦点ボケ問題を実質的に除去することができるであろう。これらの角度は、各投影軸が投影する対応するスクリーン部分に実質的に垂直になるような角度であり、各焦点面は湾曲スクリーン２０１のカバーされた部分に対して焦点面の中心においてほぼ接線方向にある。各セグメントの焦点を最適化するために、図１９に示された技法と同じ技法が使用できるであろう。代替として各焦点セグメントの中心は、スクリーンに対して接線方向に保持され得るであろう。この例示的実施形態では較正システムは、スクリーン２０１上に平滑で継ぎ目のない焦点の合った画像を作り出すために、ピクセルの幾何学配置と明るさと色ばかりでなく、多数プロジェクタのオーバーラップ領域の焦点も一致させる。この技法の結果としてワーピングは、焦点面とスクリーン接線との間の角度が減るにつれて、著しくひどさが減ってくる。

色修正は、原色と輝度に関して述べられてきた。本システムは、任意の色の修正と調整とを取り扱うことに適応できる。テストパターン又は種々の色（単に原色やグレーレベルばかりでなく）は、方程式（５２）に示される、方程式（３１）に類似の様式で表示の色マップを取得するために使用され得る。

しかしながらこれは、基底関数が今では色空間の単なる１次元（すなわち１原色）ではなく全色空間に亘って定義されているので、単に色パラメータの単一方程式への再配置ではない。多項式形式に関して基底関数は方程式（５５）で定義される。

いかなる歪みも存在しない場合には、このグリッドはすべての座標において同一であろう。ワープ発生器は、これを方程式（５９）で指定される形式を有する表面関数に変換するであろう。

最後にディジタルワーピングユニットは、方程式（５３）を使用してこの多項式を評価して色修正を適用するであろう。

各空間座標において一般的色マップを有することは、任意の座標において任意の色に関して修正することを可能にする。これは、表示の異なる領域に関して独立に、白色点調整、コントラスト調整及び色相調整などの共通的色調整を実行することを含む。これらの調整のすべては、色空間における固有の関数であり、したがって関数近似を介して方程式（５３）によって指定される一般形式に導かれ得る。色空間におけるパッチ分割の更なる特徴によって、選択的色修正も行うことができる。この修正は、色パッチの外側の同一グリッドを強いて修正することによって、特定の色に限定して、他の色を変化しないままに留めることができる。これは、指定の色相が修正され、他の色相は触れられない選択的色相修正を含む。本システムの一般的色較正・修正を使用すれば、表示装置で高い色精度が達成できる。

本システムは、システムの外部で計算できてワープ発生器１３に入力できる顧客指定の色パラメータλ’_ikrqを与えることによって色の顧客指定調整のためにも使用できる。同様に顧客指定の幾何学形状効果（特殊効果）は、顧客指定幾何学グリッド（ｘ’^k _di，ｙ’^k _di）をワープ発生器１３に与えることによって達成できる。

図２１に部分的に示されたもう一つの例示的実施形態では、二つのカメラＣｍ１及びＣｍ２がプロジェクタ２１３に搭載されている。入力画像がプロジェクタ２１３に与えられ、それからこのプロジェクタは対応する投影画像パターンを画面２１１上に生成する。二つのカメラ１Ｃｍ１、Ｃｍ２は、画面２１１上の投影画像パターンを捕捉するために使用される。システムは更にプロセッサ（図示されていないが前に説明された）を含む。二つのカメラＣｍ１及びＣｍ２の相対位置はプロセッサに知られている。二つのカメラＣｍ１及びＣｍ２は、プロジェクタ２１３に関して水平方向に、又は垂直方向に、又は水平垂直両方向に互い違いに配置できる。プロセッサは、二つのカメラＣｍ１及びＣｍ２からの捕捉された二つの画像の比較に基づいて、画面２１１に関するプロジェクタ２１３の角度を含む歪みパラメータを決定する。それから電子修正ユニット（図示されていないが前に説明された）は、これらの歪みに関して修正するために入力画像にワープ変換を適用する。

結果として得られた投影画像は、実質的に歪み無しとなる。このシステムと方法は、例えば図２２に示された例示的実施形態に見られるような固定された位置と方位において背面投影テレビジョン（ＲＰＴＶ）に一つ以上のカメラが搭載されている背面投影テレビジョン（ＲＰＴＶ）で使用できる。カメラはまた他の方法でも搭載できる。これらのカメラは、ＲＰＴＶスクリーンに投影されたパターンを捕捉する。カメラの遠近法からのＲＰＴＶスクリーンの観察は、これに関連したある台形歪みを有する可能性がある。しかしながら表示装置の一部である較正システムによって表示は、前述のように自動較正できる。

図２３に部分的に示されたもう一つの例示的実施形態では、湾曲スクリーン２３１に画像を投影するために多数のプロジェクタＰ１〜Ｐ３が使用される。一方、各プロジェクタＰ１〜Ｐ３によって投影された画像を捕捉するために、多数のカメラＣｍ１〜Ｃｍ３が使用される。カメラＣｍ１〜Ｃｍ３の数とプロジェクタＰ１〜Ｐ３の数は、この実施形態では任意である。一つの場合では各カメラＣｍ１〜Ｃｍ３は、プロジェクタＰ１〜Ｐ３のすべてからの画像を捕捉するために使用され得る。カメラＣｍ１〜Ｃｍ３は、互いに関して垂直方向ばかりでなく水平方向にも互い違いに配置できる。各プロジェクタＰ１〜Ｐ３は、較正のために湾曲スクリーン２３１上に既知のパターン又はテスト画像を投影することに適応している。カメラＣｍ１〜Ｃｍ３によって捕捉された画像に基づいて、プロセッサ（図示されていないが前に説明された）は、湾曲スクリーン２３１の形状と相対的方位とを含む歪みパラメータを計算する。それからこれらのパラメータは、通常使用時に各プロジェクタＰ１〜Ｐ３に与えられる入力画像に適用されるワープ変換を生成するためにプロセッサによって使用される。各プロジェクタＰ１〜Ｐ３に関するワープ変換は、この特定のプロジェクタから蒙る表示歪みに関してこのワープ変換が予め補正するというものである。更に画面２３１上に投影された画像の全体的明るさを均一にするために、各プロジェクタＰ１〜Ｐ３に関する明るさが分析され得る。更にこのプロセッサは、継ぎ目のない画像品質のために、オーバーラップした領域内にピクセルを整列させて、これらのオーバーラップしたピクセルの明るさを異なるプロジェクタ間に分配する。

図２３のシステムの代替実施形態では、輝度データと色データもカメラＣｍ１〜Ｃｍ３によって捕捉され得る。それからこれらのデータは、各ピクセルに関して強度を調整することによって、異なる隣接画像のエッジを一致させて融合させるためにプロセッサによって使用される。すべてのプロジェクタＰ１〜Ｐ３の全体的輝度と色も、プロセッサによって正規化され得る。

図２４に部分的に示されたもう一つの例示的実施形態では、パターンを用いて、あるいはパターンを用いずに投影された投影画像を捕捉するために感知装置（この場合はカメラ）が使用される。そのうちにカメラはまた、画面２４１の形状、サイズ、相対的方位及び境界を検出するためにも使用される。境界エッジは、引き下げ式の（プルダウン）画面（すなわち引込み式プロジェクタスクリーン）のエッジ又は部屋の隅などであり得る。それからプロセッサ（図示されていないが前に説明された）は、形状、サイズ、境界及び相対的方位などの画面特性を計算するために、画像のエッジの方向とテスト画像のパターンとを分析する。この計算によって表示歪みが決定される。投影され、それから捕捉された画像のパターンの複雑さに基づいて、電子修正ユニット（すなわちプロセッサ）は、歪みパラメータを決定する。単純なパターンに関して電子修正ユニットは、画面と比較した投影の角度を垂直であると決定できる。より複雑なパターンでは電子修正ユニットは、画面の形状を例えば湾曲した、あるいは不規則な画面と決定できる。電子修正ユニットは、糸巻き型歪み又は樽型歪みなどのレンズ不完全性に関連する歪みパラメータも決定できる。一旦歪みパラメータが収集されると、これらの歪みを修正するために入力画像データに適当な予備補正ワープマップが適用され、その結果得られた画像は視覚的に歪みなしになるであろう。

代替実施形態では図２４のシステムは更に、いかなる物理的マーカー又はエッジも存在しない場合に平坦な表面への投影に関して修正することに適応している。投影からの歪みは、台形歪みとレンズ歪みの両者を含む可能性がある。このシステムではカメラは、固定された位置と方位でプロジェクタに取り付けられる。較正・修正は、ツーステッププロセスで実行される。第１のステップでは、既知のキーストーン角と、ズームレベルを含むレンズ歪みパラメータとにおいてカメラによって捕捉されたパターンの画像を記憶するために、テスト画像パターンを利用する完全な較正手順が使用され得る。更に修正のために必要とされるワープデータなどのいかなる追加情報も記憶できる。このステップは、プロジェクタが組み立てられる工場で実行でき、また工場較正と見ることができる。第２のステップは、プロジェクタが使用されている現場で発生する。プロジェクタは、第１のステップで使用された同じパターンを投影し、それからこれらのパターンはカメラによって捕捉される。これらの現場で捕捉されたパターンは、現場におけるプロジェクタの歪みパラメータを決定するために、工場で取得された記憶された歪みパラメータと共に工場で捕捉されたパターンと比較される。現場における歪みパラメータを知ると、プロジェクタ台形歪曲及びレンズ歪みに関して修正するために、既に記憶されているか、リアルタイムに構築されるのであれば、修正ワープが検索され得る。予め記憶された情報（画像）との比較が行われるので、実際のエッジ又はマーカー（スクリーンベズルなどの）は必要とされない。工場で記憶されたデータは、全画像である必要はなく、グリッドデータ、又は異なる歪みレベルに関してパターンを特徴記述する他のパラメータであり得る。

もう一つの代替実施形態ではカメラは、単に４個の点からなる単純なグリッドタイプの画像パターンを使用することによって、台形歪みに関して修正するために使用される。この場合、テストパターンは、２×２グリッド（単に４個の点が必要とされる）からなる図２ａ又は２ｂに示されるようなものである。台形歪みに関しては、いかなるレンズ歪みもなければ、歪みを決定するために４個の点で十分である。４個の点は、台形歪曲修正を決定するために単にそれらの位置（投影の前と後の）を知れば十分であるから、どこにでも配置できる。この方法はまた、４個の点の単純な移行であるいかなるプロジェクタレンズシフト調整をも組み込むことができる。レンズ歪みを有するか、あるいは有さない可能性のあるズームレンズを有するプロジェクタに関して較正は先ず、異なるズームレベルに関して軸（台形歪みなし）に対して実行され、修正ワープが記憶される。それから修正ワープ（適当なズームレベルとレンズ歪みに関する）が適用され、４個の点を使用する台形歪曲修正に関してだけ較正が繰り返される。台形歪曲修正は、すべてのプロジェクタ歪みに関して修正する最終マップを取得するために、ズームレンズ修正と連結され得る、又はズームレンズ修正で機能的に構成され得る。レンズ修正は、工場較正手順時に一度計算されて記憶されることが必要とされるだけである。それから台形歪曲修正は、現場でカメラを使用して実行され、レンズ修正で構成される。

もう一つの例示的実施形態は、図２５に部分的に示され、湾曲スクリーン２５１への投影の場合に関する。形状と距離とを含む湾曲スクリーン２５１のマップを決定するために２次元画像パターン、例えばチェック模様の画像パターンが画面に投影される。投影された画像を捕捉するためにカメラが使用される。それから電子修正ユニット（すなわち図示されていないが前に説明されたプロセッサ）は、チェック模様パターン内の各線によって導入されたコントラストを計算することに適応している。焦点を連続的に変化させることによってパターン上の各点における最良のコントラストは、焦点距離の関数として見つけ出される。この仕方で湾曲スクリーン２５１の表面マップが決定される。マップの精度と詳細は、投影されたパターンの複雑さと試みられた焦点距離の数とに依存する。この技法がカメラのアングルを与え、それによって画面に関するプロジェクタの角度を各点で垂直にすることも留意されるべきである。一旦電子修正ユニットが各点における画面の形状とサイズと角度とに関連する歪みパラメータを計算すると、その後このユニットはワープ変換を計算するか、すでに記憶されている適当な変換を使用する。このワープ変換は、入力画像データに適用されると、画面の特性に適合した視覚的に歪みなしの画像という結果をもたらす。

もう一つの例示的実施形態は、図２６に部分的に示され、小波形スクリーン２６１の場合に関する。図２５に関連する実施形態で説明された技法は、すべての点における小波形画面の形状と相対方位とを決定するためにも使用できる。この例は、いかなる不規則な画面でも表示装置で使用可能であることを示している。一旦画面のマップが準備されると、電子修正ユニット（図示されていないが前に説明された）は、入力画像に適用されるワープ変換を構成するためにこのマップを使用する。一旦このワープ変換が入力画像に適用されると、投影された画像は視覚的に歪みなしになり、画面の特性に適合する。

上記の説明は種々の例示的実施形態を与えているが。説明された実施形態のあるいくつかの特徴及び／又は機能が、説明された実施形態の精神と動作原理から逸脱せずに修正を受入れ可能であることは認められるであろう。したがって上記に説明されてきたことは例示的で非限定的であることが意図され、またここに付属された特許請求の範囲に記載のこれらの実施形態の範囲から逸脱せずに他の変形版及び修正版が行われ得ることは、当業者によって理解されるであろう。

自動化された較正・修正システムの一例示的実施形態の図である。 湾曲したスクリーンの幾何学形状の図である。 湾曲したスクリーンの幾何学形状の図である。 幾何学歪みにおけるオーバーフロー、アンダーフロー及び不適合の例の図である。 較正画像テストパターンの例の図である。 較正幾何学配置及び関連する種々の座標空間の図である。 較正データ発生器の一例示的実施形態の図である。 スケールと原点の最適化の図である。 多色較正データ発生器の一例示的実施形態の図である。 色不均一較正のための機構の図である。 色不均一修正のための較正データ発生器の一例示的実施形態の図である。 ワープデータ発生器の一例示的実施形態の図である。 表示修正のためのパッチ分割の図である。 ディジタルワーピングユニットの一例示的実施形態の図である。 画面の形状と相対方位とを決定するための機構の模式的図である。 焦点のずれたテストパターンの図である。 焦点の合ったテストパターンの図である。 多数のプロジェクタと一つの湾曲した画面からなる較正システムの一例示的実施形態の部分図である。 多数のプロジェクタと、異なるプロジェクタの焦点面を示す図１７の湾曲スクリーンとからなる較正システムの部分図である。 距離関数を最小にする焦点合わせ技法の一例の図である。 多数のプロジェクタと、画像焦点を最適化するように調整されたプロジェクタ位置を有する湾曲スクリーンとからなる較正システムのもう一つの例示的実施形態の部分図である。 多数のカメラを使用する較正システムの一例示的実施形態の部分図である。 表示を自動較正し、動的歪み修正を考慮する統合化較正システムを有する背面投影テレビジョン（ＲＰＴＶ）の一例示的実施形態の部分図である。 多数のプロジェクタと多数の感知装置とからなる較正システムの一例示的実施形態の部分図である。 画面の物理的エッジと境界とを使用する較正システムの一例示的実施形態の部分図である。 湾曲した表示スクリーンの形状を決定するために焦点合わせ技法を使用する較正システムの一例示的実施形態の部分図である。 小波形表示スクリーンの形状を決定するために焦点合わせ技法を使用する較正システムの一例示的実施形態の部分図である。

Claims (19)

1. 画面を有する表示装置と共に使用するための表示較正システムであって、
   前記画面の形状、サイズ、境界及び方向のうちの少なくとも一つに関する情報を感知するように前記表示装置と対応する位置に配置され、前記画面上に表示された複数のテスト画像を感知するように構成された、少なくとも一つの感知装置と、
   前記少なくとも一つの感知装置に接続され、前記少なくとも一つの感知装置が配置された位置によって生じる歪み成分を含む感知された情報、及び感知された前記複数のテスト画像に基づいて表示装置特性、及び表示歪みをリアルタイムに計算するように構成された、少なくとも一つのプロセッサと、
   を備える表示較正システムであって、
   前記少なくとも一つのプロセッサは更に、表示に先立って予備補正マップを入力画像データに適用したとき、前記画面上に結果として得られる表示画像が実質的に歪み無しとなるよう、前記表示歪みに基づいて前記予備補正マップをリアルタイムに生成するように構成されている、
   表示較正システム。
2. 前記表示歪みは、時間的に変化し、
   前記表示較正システムは、変化する歪みを予め補正するために前記表示装置を動的に較正するように構成されている、
   請求項１に記載の表示較正システム。
3. 前記少なくとも一つのプロセッサは、表示画像が画面より大きいオーバーフロー状態、前記表示画像が画面より小さいアンダーフロー状態、及び、前記表示画像の一部が前記画面をオーバーフローし前記表示画像の他の一部が前記画面をアンダーフローする不整合状態のうちの少なくとも一つに関して修正するように構成されている、
   請求項１に記載の表示較正システム。
4. 前記表示装置は、ハウジングを有する背面投影表示装置であり、
   前記表示較正システムは、前記ハウジング内に配置される、
   請求項１に記載の表示較正システム。
5. 前記少なくとも一つの感知装置は更に、輝度情報と色情報とのうちの少なくとも一つを感知するように構成されており、
   前記少なくとも一つのプロセッサは更に、輝度不均一性と色不均一性とのうちの少なくとも一つをそれぞれ予め補正するように構成されている、
   請求項１に記載の表示較正システム。
6. 前記表示システムは更に、更なる歪みを有する光学部品を備え、
   前記少なくとも一つのプロセッサは更に、前記更なる歪みと前記表示歪みとの両者を予め補正するために、前記更なる歪みを前記表示歪みに統合するように構成されている、
   請求項１に記載の表示較正システム。
7. 前記表示歪みは、幾何学歪み、光学歪み、集束不良、位置合わせ不良、及び、横の色収差のうちの少なくとも一つを含む、
   請求項１に記載の表示較正システム。
8. 前記少なくとも一つの感知装置は、前記画面上の複数の点までの距離を感知するように構成されており、
   前記少なくとも一つのプロセッサは、前記距離に基づいて前記画面の相対位置と相対方向とを計算するように構成されている、
   請求項１に記載の表示較正システム。
9. 前記少なくとも一つの感知装置は、種々の焦点距離における前記画面上のテスト画像の異なる部分を感知するように構成されており、
   前記少なくとも一つのプロセッサは、前記テスト画像の異なる部分における最も高いコントラストを決定し、前記画面の形状と相対方位とを計算するために決定された前記最も高いコントラストに基づいて、前記画面の異なる部分までの距離を計算するように構成されている、
   請求項１に記載の表示較正システム。
10. 前記少なくとも一つの感知装置は、センサー歪みを有し、
    前記少なくとも一つのプロセッサは更に、前記センサー歪みを計算し、前記表示歪みを計算する際、前記センサー歪みを考慮するように構成されている、
    請求項１に記載の表示較正システム。
11. 前記センサー歪みは、前記画面の法線方向に平行でない軸を有する少なくとも一つの感知装置によって引き起こされる、
    請求項１０に記載の表示較正システム。
12. 前記少なくとも一つの感知装置は、前記少なくとも一つのプロセッサによって知られた異なる位置に配置された、複数の画像感知装置を備え、
    前記少なくとも一つのプロセッサは、異なる画像感知装置によって異なって感知されたテスト画像を比較し、前記異なる画像感知装置の位置と前記異なって感知された画像とに基づいて、前記表示歪みを計算するように構成されている、
    請求項１に記載の表示較正システム。
13. 前記少なくとも一つの感知装置は、前記画面上に４個のマーカーを有するテスト画像に関する情報を感知するように構成されており、
    前記少なくとも一つのプロセッサは、前記感知された情報に基づいて台形歪みを計算するように構成されている、
    請求項１に記載の表示較正システム。
14. 前記少なくとも一つの感知装置は更に、輝度情報と色情報とのうちの少なくとも一つを感知するように構成されており、
    前記少なくとも一つのプロセッサは更に、前記予備補正マップに起因する輝度不均一性と色不均一性とのうちの少なくとも一つに関して修正するように構成されている、
    請求項１に記載の表示較正システム。
15. 前記予備補正マップは、表面関数によって実現される、請求項１に記載の表示較正システム。
16. 前記表面関数は多項式である、請求項１５に記載の表示較正システム。
17. 前記少なくとも一つのプロセッサは更に、オーバースキャン状態とアンダースキャン状態とのうちの少なくとも一つを更に補正するために、前記表面関数を調整するように構成されている、
    請求項１５に記載の表示較正システム。
18. 前記少なくとも一つのプロセッサは更に、種々の表示歪みを統合し、前記統合された歪みを予め補正する表面関数を生成するように構成されている、
    請求項１に記載の表示較正システム。
19. 前記少なくとも一つのプロセッサは、各パッチにおける前記表示歪みのひどさにしたがって前記画面を複数のパッチに分割し、前記各パッチ内の前記表示歪みに関する前記予備補正マップを生成することで、前記表示歪みを計算するように構成されている、
    請求項１に記載の表示較正システム。

Images