JP4535343B2 - 画像形成装置及びディスプレイ - Google Patents

Description

本発明は、出力イメージを形成するために複数の入力画像をインターレースする装置および複数の出力画像を形成するために入力画像をデインターレースする装置に関する。本発明はまた、そのような装置を含むディスプレイ、ならびにイメージコンプレッサおよびイメージデコンプレッサに関する。

「フィールドインターレース」はテレビ技術において周知の技術であり、知覚されるフリッカ周波数を増加させ、ディスプレイのレートを更新するために用いられる。この技術において、それぞれがディスプレイ垂直解像度の１／２である二つの「フィールド」画像は共に組み合わされ、「フレーム」を形成する。連続したフィールド間において１８０°の位相のずれが存在し、一つのフィールド画像はオリジナルの画像の奇数ラインを含み、それぞれのフレームの他のフィールド画像は、異なる時間において、オリジナルの画像の偶数ラインを含む。そのような画像を取り込み、それらの画像を二つのフィールドとしてディスプレイに転送するプロセスは、「インターレース」と呼ばれ、添付の図面の図１は、二つのそのようなフィールドが走査されインターレース画像を形成する方法を示す。このタイプのインターレースは、同じ画像ソースからの二つの入力画像を、それらの間の時間差を用いて使用する。

米国特許出願第２００３／０１１７３４９号明細書は、インターレース技術の一例を開示しており、奇数フィールドは、立体画像（ｓｔｅｒｅｏ）の対のうちの一つの画像に対して用いられ、それぞれの偶数フィールドはもう一方の画像に対して用いられる。立体画像表示を提供するために、液晶シャッターガラスとの組み合わせでこの技術を用いることは公知である。そのようなシャッターガラスはフィールドのディスプレイの動作と同期し、その結果、例えば、奇数フィールドに対して左目シャッターが開き、偶数フィールドに対しては閉じ、他方では、右目シャッターは偶数フィールドに対して開き、奇数フィールドに対しては閉じる。しかしながら、インターレースは、ライン解像度において画像を組み合わせることに制限され、その表示の効果的に低減された更新レートの結果、表示された画像における目に見えるちらつきが生じる。

添付の図面の図２は、例えば特許文献１に開示されるように、オートステレオスコピック・ディスプレイにおける使用のための、インターレース技術を示す。そのようなディスプレイにおいて、右目画像および左目画像は、単一のディスプレイスクリーン上にて空間的に多重化されており、それは、視差視覚と協働し、左目および右目視野領域を作成する。観察者の左目は左目の視野領域に配置され、右目は右の視野領域にそれぞれ配置される場合、３Ｄ画像は、任意の観察補助の必要なしに、知覚される。

それぞれの２Ｄ画像は、合成色ピクセル群を構成する、赤、緑、および青のピクセルの群の行および列として、形成される。それぞれの画像は、そのような合成色群のｎ個の列を含み、空間多重化は、インターレース画像を形成するために、左および右の画像における同じ行から、個々の色成分ピクセルをインターレースすることによって提供される。図２に示されるように、インターレースは二つのステップにおいて実行され得る。

第１のステップにおいて、左および右の画像からの合成色群は、交互になるように、それぞれのラインにおいてインターレースされる。第２のステップにおいて、個々の色成分ピクセルの一部は、最終のインターレース画像に達するために移動させられる。特に、各群の色成分ピクセルは、右側にある次のグループにおける中央の位置に動かされる。この結果、空間多重化され、そのピクセルは視差と協働し、左目および右目の視野領域を形成する。

ソフトウェアは、例えば、特許文献２、ならびに、インターネット上のｈｔｔｐ：／／ｗｗｗ．ｉｍｔｅｃｈ．ｃｓｅ．ｄｍｕ．ａｃ．ｕｋ／^〜ｍｃｆ／ｉｌａｃｅおよびｈｔｔｐ：／／ｗｗｗ．ｐｒｏｍａｇｉｃ．ｎｅｔにおいて開示されており、レンズタイプ３Ｄ表示での使用のために複数の画像をインターレースする。

これらの既知の技術の共通の特徴は、インターレースのパターンがディスプレイに固有であることである。特に、インターレースは、特定の用途に対する、あらかじめ決められた特定の要求に従い、専用のハードウェアまたはソフトウェアによって実行される。
米国特許第６５７３９２８号明細書 米国特許第６５９４０８３号明細書

本発明の第１の局面に従い、複数の入力画像をインターレースして出力画像を形成する装置であって、入力画像のピクセルから出力画像のピクセルへのマッピングを規定するインターレース構成パターンを格納するプログラマブルメモリと、メモリに格納されるパターンに従いピクセルデータを再編成するピクセルデータ・リアレンジャとを備え、パターンは、ソース、または目的の画像および目的の画像ピクセルに関連するソース画像ピクセルの位置を規定する少なくとも一つの命令を備える、装置が提供される。

本発明の第２の局面に従い、入力画像をデインターレースして複数の出力画像を形成する装置であって、入力画像のピクセルから出力画像のピクセルへのマッピングを規定するデインターレース構成パターンを格納するプログラマブルメモリと、メモリに格納される該パターンに従いピクセルデータを再編成するピクセルデータ・リアレンジャーとを備え、該パターンは、ソース、または目的の画像および目的の画像ピクセルに関連するソース画像ピクセルの位置を規定する少なくとも一つの命令を備える、装置が提供される。

上記各入力画像は入力画像のシーケンスを含み、上記各出力画像は出力画像のシーケンスを含む。

上記ピクセルは色成分ピクセルであり得る。上記装置は、それゆえ、サブピクセルレベルにおいて、複数の入力画像をインターレースすることが可能である。

上記メモリは上記装置の製造時に上記パターンを用いてプログラムされ得、非再プログラム可能である。

上記メモリは複数のパターンを含むように配置され得、上記装置は、使用する上記パターンの任意の一つを選択するための制御器を備え得る。上記制御器が、上記装置の動作間に、上記パターンの任意の一つを選択および再選択するための入力信号に応答する。

上記メモリは、上記装置の動作間に、上記パターンをロードまたは変化させるために再プログラム可能である。

上記メモリは、上記入力画像または上記複数の入力画像のうちの任意を有して受信されたデータにより、パターンまたは新しいパターンを用いてプログラムまたは再プログラムされるように配置され得る。

上記メモリは、上記入力画像または上記複数の入力画像のうちの任意を有して供給されるインターレースパターンに由来する上記デインターレースパターンを用いてプログラムされるように配置され得る。

上記パターンは出力画像ピクセルの適切なサブセットに対して、入力画像ピクセルの適切なサブセットのマッピングを規定し、上記リアレンジャは該複数の適切なサブセットに対する該パターンを繰り返すように配置される。上記リアレンジャは、上記複数のサブセットが上記入力画像および出力画像のうちの少なくとも一つを実質的にタイリングするように、上記パターンを繰り返すように配置され得る。上記複数のサブセットは上記各出力画像を実質的にタイリングする。

上記少なくとも一つの命令が色成分を規定し、上記位置が、目的の合成色群を形成する目的の色合成ピクセルの群に関連する、ソース合成色群を形成するソース色合成ピクセルの群の位置を表し得る。

上記リアレンジャが、順に各出力画像を生成するように配置され得る。

上記装置が上記各入力画像または入力画像のシーケンスに対する入力バッファを含み得る。

上記装置が上記各入力画像または出力画像のシーケンスに対する出力バッファを含み得る。

上記各出力画像は、シーケンスにおいて受信される複数の入力画像から形成され得る。

上記装置は上記リアレンジャによる再配置の間に、各ピクセルデータを処理するピクセルデータプロセッサを含み得る。

入力画像データは、データがどの入力画像に関連するかを示すようにタグ付けされ得る。

本発明の第３の局面に従い、本発明の第１または第２の局面に従った装置およびディスプレイ装置を含む、ディスプレイが提供される。

上記ディスプレイ装置は、複数の視野方向ディスプレイ装置であり、上記リアレンジャは上記入力画像または複数の入力画像のシーケンスを空間的に多重化するパターンによって制御され得る。上記ディスプレイ装置は、空間光変調器および視差視覚を含み得る。

本発明の第４の局面に従い、入力画像における相関を検出し、該入力画像のピクセルからインターレース画像のピクセルへのマッピングを規定するインターレース構成パターンを確立するための相関検出器と、インターレース画像を生成するために、該パターンに従い、ピクセルデータを再配置するピクセルデータリアレンジャと、インターレース画像を圧縮するデータコンプレッサとを備える、画像コンプレッサが提供される。

本発明の第５の局面に従い、本発明の第４の局面に従った画像コンプレッサから、圧縮されたインターレース画像を解凍するためのデータデコンプレッサと、出力画像を提供するために、上記インターレース構成パターンの逆であるデインターレース構成パターンに従い、解凍されたインターレース画像のピクセルデータを再配置するためのさらなるピクセルデータリアレンジャとを備える、画像デコンプレッサが提供される。

本発明の一実施形態は、再構成可能なインターレース装置に、その装置によって実行されるピクセル再配置が、出力画像が送信されるデバイスまたは装置のトクテインターレースの要求に従って変化され得るという利点を提供する。そのインターレース装置の再構成は、容易に、迅速に、そして、要求されるたびに実行可能である。ディスプレイを駆動するために用いられる場合、インターレース装置は、小型レンズの特定の形態に制限されず、サブピクセルレベルにおいてインターレースを実行することが可能であり、出力画像を形成するために異なる画像からの異なるピクセルを任意に組み合わせることが可能である。再順序化はディスプレイの光学属性に適合するように配置され得る。

例示の目的のために、添付の図面への参照がなされ得る。

図３は、出力画像Ｏを形成するために、二つの入力画像Ｉ_０およびＩ_１をインターレースするための装置１０を示すブロック図である。第１の実施形態に従った装置１０は入力画像Ｉ_０に対応するＢ_０および入力画像Ｉ_１に対応するＢ_１を含むバッファ部分１２を含む。インターレース装置１０はまた、プログラマブルパターンメモリ２０へのアクセスを有するインターレーサ１６（本明細書においては、ピクセルデータ・リアレンジャとも呼ばれる）をも含み、インターレース構成パターンＰを、プログラマブルパターンメモリ２０に格納するものとして、図３に示される。インターレーサ１６はまた、構成パターンＰをローカルに格納するための、一時的なインターレース構成パターン記憶装置１４を有する。インターレース装置１０はまた、出力メモリ２２を含む。

本発明の第１の実施形態の動作において、二つの入力画像Ｉ_０およびＩ_１がインターレース装置１０において受信され、インターレーサ１６に提供される前に、バッファ部分１２の個々のバッファＢ_０およびＢ_１においてバッファされる。インターレース開始前に、インターレース構成パターンＰはパターンメモリ２０からインターレーサ１６のローカルパターン記憶装置１４へ転送される。インターレース構成パターンＰは、入力画像Ｉ_０およびＩ_１のピクセルから出力画像Ｏのピクセルへのマッピングを規定する。以下でさらに詳述されるように、インターレーサ１６は、インターレース構成パターンＰに従い、バッファ部分１２から受信されたピクセルデータをリアレンジし、インターレース装置１０から、出力画像Ｏとして転送される前に、出力メモリ２２において格納するために出力データを送信する。

入力画像Ｉ_０およびＩ_１のピクセルから出力画像Ｏのピクセルへのマッピングを規定するために、インターレース構成パターンＰを使用することは、図４に図式的に示される。本発明の第１の実施形態に従ったインターレース装置１０は、インターレース構成パターンＰを二次元周期パターンの一つのサイクルとみなし、そのパターンは、全体の出力画像Ｏを満たすように、繰り返される。インターレーサ１６は、インターレースされた出力画像Ｏを生成するためのインターレース構成パターンＰに特定されるように、入力画像Ｉ_０およびＩ_１のそれぞれからピクセルおよびサブピクセルを選び出すために、インターレース構成パターンＰを参照する。

インターレースの応用の大多数にとって、インターレース構成パターンＰは、図４の（ａ）に示されるように、出力画像Ｏの各ラインに対して、出力画像Ｏの行全体に亘って、繰り返される、最小でコンパクトな形状（単一のサイクル）にまで容易に低減され得る。あるいは、インターレース構造パターンＰは、図４（ｂ）に示されるように、出力画像Ｏにおける単一の行または行の群に対するマッピングを規定することができる。インターレース構成パターンＰの一サイクルはまた、任意の幅および高さを有するピクセルのブロックを参照し得る。それぞれの例示された場合において、インターレース構成パターンは、タイリング（ｔｉｌｉｎｇ）によって全体の出力画像Ｏを覆う。インターレーサ１６はそのインターレースパターンにおいてその現在の位置の記録を保持し、出力画像Ｏを形成するために、バッファ部分１２から適切なピクセルまたはサブピクセルを転送するためインターレース構成パターンを用いて、出力画像構造を横断する。

インターレース構成パターンＰの一つの可能な提示は、ここで、例えば、図２を参照し上述されたように、オートスレテオスコピック・ディスプレイに対するインターレースする状況において記載される。この提示には、慣例的表記ｉＣｘ／ｙが説明のために用いられ、ここで出力画像Ｏにおける現在のサブピクセルが選ばれ、ここでｉは入力画像数を規定し、Ｃは入力ピクセルの色成分を規定し、ｘおよびｙは、サイクルの開始時に関連して、入力ピクセルの水平および垂直オフセットを表す。例えば、特許文献２に記載され、上記の図２に示されるように、立体画像に対するインターレース構成パターンは、色のサブピクセルはＲ、Ｇ、Ｂの順において、それぞれの入力画像から交互に選ばれ、以下のインターレース構成パターン｛０Ｒ０／０；１Ｇ−１／０；０Ｂ０／０；１Ｒ０／０；０Ｇ０／０；１Ｂ０／０｝によって表わされ得る。図５は、同様のインターレース構成パターンを表す代替的な方法を示す。

第１の実施形態にける上述のインターレース構成パターンＰを用いた例は、ここで図６に関連して説明される。図６に示される例において、二つの入力画像ＩＭＡＧＥ０およびＩＭＡＧＥ１は、最終のインターレース画像Ｏを形成するためにインターレースされる。インターレース構成パターンＰの開始時に対応するブロックにおける第１のピクセルは、ピクセル０として示され、ピクセル−１はブロックの開始時以前のピクセルである。インターレース構成パターンＰは、画像の外部のピクセルを参照し、インターレーサ１６は、最も近い有効なサブピクセル、現在のサブピクセルの値、または単に空白などの、代替の適切なピクセルを選択すべきである。

図６のステップ１において、インターレーサ１６は、０Ｒ０／０であるインターレース構成パターンＰにおける第１の命令を参照する。ステップ１において、インターレース構成パターンＰにおける水平および垂直オフセットは、入力画像において、ピクセル０に関連する。それゆえ、ステップ１において、インターレーサ１６は、ＩＭＡＧＥ０のピクセル０のＲ色成分を読むように指示され、概略的にＤとして提示される。この値Ｄは、出力画像Ｏの第１のサブピクセルにマッピングされ、それは、第１のＲＧＢピクセルのＲ色成分である。

図６のステップ２では、インターレーサ１６は、１Ｇ−１／０であるインターレース構成パターンＰにおいて、次の命令へと移動する。これは、インターレーサ１６に、ＫであるＩＭＡＧＥ１のピクセル−１のＧ色成分から読むことを命令する。この値Ｋは、出力画像Ｏの次に利用可能であるサブピクセルに置かれ、それは、第１のピクセルのＧ色成分である。

ステップ３において、インターレーサ１６は、０Ｂ０／０である、インターレース構成パターンＰにおける次の命令に従って動作する。これは、インターレーサ１６に、ＦであるＩＭＡＧＥ０のピクセル０のＢ色成分の値を読むことを指示し、この値は、出力画像Ｏの次のサブピクセルにおいて格納される。それは、第１のピクセルのＢ色成分である。

同様のプロセスがステップ４〜ステップ６において繰り返され、個々の値Ｍ、Ｅ、およびＯを用いて、出力画像Ｏの第２のピクセルのＲＧＢ色成分サブピクセルを満たす。このプロセスは、全体の出力画像が満たされるまで繰り返される。

インターレース構成パターンのよりコンパクトな提示は、所定のインターレース構成パターンＰを用いた関連する一つ以上の規則または想定によって達成され得る。例えば、サブピクセルがＲＧＢの順において、出力画像Ｏに割り当てられることが前もって知られている場合、図５に関連して記載される上述の提示は、０１０１０１の連続によってその代わりに提示され得、ここで、「０」は、サブピクセルは第１の画像Ｉ_０から選ばれることを意味し、「１」は、そのサブピクセルが第２の画像Ｉ_１から選ばれるべきであることを意味する。想定はまた、インターレース構成Ｐに関連され得、例えば、標的のディスプレイに依存して、インターレースする任意の他の局面を扱う方法を特定する。例えば、想定は、ピクセルの第１の列をインターレースが実行される方法を特定し得る。

インターレース構成パターンＰの提示は、インターレーサ１６に対する他の命令を含むことによって拡張され得る。例えば、テストの目的のための文字通りの（ｌｉｔｅｒａｌ）サブピクセル値を代用するか、または特定のディスプレイの駆動属性と一致することが所望され得る。そのような追加的な命令は、例えば、命令「Ｏ」（「ｏｎ」を表す）、「Ｎ」（「ｏｆｆ」を表す）、および「Ｌ」（文字通りの値を表す）を含み得る。インターレーサ１６が「Ｏ」の命令に遭遇する場合、２５５の値を出力画像「Ｏ」（または「ｏｎ」に割り当てられた任意の他の値）の次のサブピクセルに挿入する。インターレーサ１６が「Ｎ」の命令に遭遇する場合、０の値を出力画像Ｏ（または「ｏｆｆ」に割り当てられた任意の他の値）の次のサブピクセルに挿入する。値９が出力画像Ｏの次のサブピクセルに挿入されるべきであることを「Ｌ９」の命令がインターレーサ１６に指示するように、「Ｌ」の命令は、出力画像Ｏの次のサブピクセルに書き込まれるべき値によって続かれる。図７は、例示的な命令シーケンス「Ｎ Ｏ Ｌ９」に対する出力画像に書き込まれる値を例示する。

図８は、本発明の第２の実施形態に従ったインターレース装置２４を示すブロック図である。第２の実施形態は第１の実施形態とは異なり、インターレーレ１６とパターンメモリ２０との間に配置されるパターン制御器１８を含み、インターレース装置２４の外部からデータおよび制御信号を受信するデータおよび制御入力部３０を有する。第２の実施形態において、パターンメモリ２０はまた、複数のインターレース構成パターンＰ_１、Ｐ_２、およびＰ_３を保持するように適合される。

第２の実施形態は、インターレーサ１６によって用いられるインターレース構成パターンＰが常時変化し、要求されるインターレースのタイプに従ってパターンメモリ２０から別のインターレース構成パターンに取って代わることを可能にする。そのような変化は、例えば、使用されるインターレース構成パターンを特定するデータおよび制御入力部３０において受信される制御信号によってトリガされ得る。パターン制御器１８は、パターンメモリ２０から適切なパターンを選択し、それを、次の処理における使用のために、インターレーサ１６に送信する。

例えば、インターレース装置２４がディスプレイ装置に接続される場合、ディスプレイ装置は、データおよび制御入力部３０を用いて、どのような種類のインターレースがディスプレイを駆動するのに要求されるかインターレース装置２４に指示し得、インターレース装置２４は適切なインターレース構成パターンを用いてそれ自体を更新する。インターレース装置２４へディスプレイのタイプを知らせるための、ディスプレイ装置に対する一つの可能な方法は、Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ（ｈｔｔｐ：／／ｗｗｗ．ｖｅｓａ．ｏｒｇを参照）によって規定される、Ｅｘｔｅｎｄｅｄ Ｄｉｓｐｌａｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｄａｔａ（ＥＤＩＤ）を用いることである。第２の実施形態はまた、新たなインターレース構成パターンが、使用の間に、パターンメモリ２０にロードされることを許可する。

第２の実施形態は、以下のように、オートステレオスコピックディスプレイ装置における広域の（ｇｌｏｂａｌ）垂直視差（ｖｅｒｔｉｃａｌ ｄｉｓｐａｒｉｔｙ）の調整を可能にする柔軟性を有する。インターレース装置２４はオートステレオスコピックディスプレイとともに用いられる場合、入力画像Ｉ_０およびＩ_１は、一連の立体画像の対であり、インターレーサ１６は入力画像からピクセルを選択するように動作し、一連の出力画像を生成する。インターレース構成パターンのコンテンツは、各入力画像上において、インターレーサ１６がピクセルを選択し始める場所を決定するゆえ、および、第２の実施形態は、インターレース構成パターンが使用の間、変化することを可能にするゆえ、第２の実施形態に従い、インターレース装置２４が個々の画像の元々の位置を選択し、変化させることを可能にする。一つ以上の入力画像の元々の位置に移動することによって、相対的な移行または入力画像間の登録（ｒｅｇｉｓｔｒａｔｉｏｎ）調整をすることが可能であり、それらの画像が立体画像の対であれば、広域の垂直視差を調整するために用いられ得る。インターレース装置２４によって駆動されるディスプレイ装置が二つ以上のモノスコピックビューを有するマルチビューである場合、本方法は、各ビューアーに対して画像の位置を調整する便利な制御を提供する。

駆動されたディスプレイ装置がオートステレオスコピックディスプレイ装置である場合、第２の実施形態によって提供される柔軟性はまた、ディスプレイのゼロ視差面（ＺＤＰ）の調整を可能にする。ＺＤＰは、入力画像が立体画像の対を構成する場合、立体画像の対の間に視差が存在しない平面である。各画像に対する水平方向および反対方向に画像の元々の位置を移動させることによって、ＺＤＰの調整を導く。図９の（ａ）において示されるように、画像が互いに離れていく場合、表示された画像のＺＤＰは逆方向に動く。画像が互いに近づいていく場合、図９の（ｂ）において示されるように、表示された画像のＺＤＰは順方向に動く。ＺＤＰの調節は上述の広域の移行の調節とは異なる。なぜならば、前者の場合、画像は近づくか離れることによって調整されるが、後者の場合は、画像が独立して上下、左右に動くからである。

第２の実施形態のインターレース装置２４は、視差バリアを用いるマルチビュータイプのディスプレイ装置を駆動するために用いられ、インターレース構成パターン間を切り替える性能によって、異なる視野の視野角度が、使用の間に変化することを可能にする。図１０は、４つの視野のディスプレイ装置の性能を示し、２つの視野のみが用いられる。図１０に示される構成１に対して、インターレーサ１６によって用いられるインターレース構成パターンは、４つの各グループにおける２つの隣接するピクセル２６が二つの異なる個々の視野に対して、ディスプレイのための割り当てられた画像データであり、そのグループにおける他の２つのピクセル２８は「オフ」データを受信する。その結果、２つの視野の間において、狭い角度であるλとなる。図１０に示される構成２に対して、インターレース構成パターンは、４つの各グループにおける外側の２つの個々のピクセルに対して２つの視野のために出力データを割り当て、４つの各グループにおける内側の２つのピクセルに対して、「オフ」画像データを割り当てるパターンに切り替わる。これは、広い視野角度κを導く。

所定の応用において、インターレース構成パターンは、入力画像データに依存して有益に選択され得る。例えば、視差バリアを有するディスプレイにおいて、バリアの一部の設計が特定の状況において特定のカラーアーチファクトを導入することができることが知られている。本実施形態は、状況に応じて異なる光学構成間において交換されるバリアを可能にする。例えば、特定の入力画像が、ディスプレイによって提示されるそのようなアーチファクトをもたらすことが検出される場合、インターレース装置は、より適切なインターレース構成パターンへと変化するように制御され得、そのディスプレイは同様に、新しいインターレースパターンに対応する構成へと切り替えられる。そのような検出および制御は、インターレース装置内またはその装置外のいずれかにおいて生じ得、信号は、その装置内においてインターレース構成パターンの選択を制御するために用いられる。

一部のディスプレイは累積的な方法において、長い期間に亘っていくつかの画像からそれらの出力画像を形成する。この例は、図１を参照して上述されたフィールドインターレース技術であり、ここで、その出力フレーム画像は２つのパスを解した２つのフィールドから形成される。第１のパスにおいて、第１のフィールドは、出力フレーム画像の奇数ラインを満たすために用いられ、第２のフィールドは、出力フレーム画像の偶数ラインを満たすために用いられる。米国特許第６，４７６，８５０号明細書に記載されるディスプレイなどのような他の特定のディスプレイはまた、長時間に亘り出力画像を形成する。本発明を具体化する時間依存型インターレース装置の例は、図１１を参照してここで記載される。

図１１は、本発明の第３の実施形態に従ったインターレース装置を示すブロック図である。第３の実施形態は、出力画像を形成するために用いられる画像の時間シーケンスが単一の入力画像シーケンス入力部を介してインターレース装置３２に入力される点において、第２の実施形態とは異なる。画像データは、インターレーサ１６を通過する前に、バッファ部分１２によってバッファされる。第３の実施形態はまた、インターレーサ１６が第２の実施形態の出力メモリ２２を用いずに、インターレース装置３２から直接に出力される点において、第２の実施形態とは異なる。さらに、クロック入力が提供され、使用において、クロック入力部３２において存在するクロック信号ＣＬＫはパターン制御器１８およびバッファ部分１２へと移動する。

本発明の第３の実施形態において、入力画像シーケンスにおける第１の画像は、インターレース装置３２において受信され、バッファ部分１２においてバッファされる。次いで、クロック入力３４におけるクロック信号ＣＬＫは、インターレーサ１６への第１の入力画像の転送をトリガし、同時に、そのシーケンスにおける第１の画像に対して適切であるパターンメモリ２０からインターレース構成パターンをフェッチするようにパターン制御器１８を導く。このインターレース構成パターンは、第１の入力画像のピクセルを出力画像のピクセルへとマッピングするための使用に対して、インターレーサ１６において、パターン記憶装置１４へとロードされる。例えば、図１を参照して上述されたフィールドインターレース技術において、そのシーケンスにおける第１の入力画像に対して、インターレーサ１６へロードされたインターレース構成パターンは、第１の入力画像のラインを出力画像の奇数ラインへ導く。

シーケンスの第２の入力画像は、インターレース装置３２において受信され、バッファ部分１２においてバッファされる。クロック入力部３４におけるクロック信号ＣＬＫは、インターレーサ１６への第２のシーケンスの入力画像の転送をトリガし、同時に、パターン制御器１８に、そのシーケンスの第２の画像に対して適切であるインターレーサ１６へインターレース構成パターンをロードさせる。図１の技術に従ったフィールドインターレースの上の例において、第２の画像のためにインターレーサ１６へロードされるインターレース構成パターンによって、インターレーサ１６は第２の入力画像からの画像データを出力画像の偶数ラインに導く。インターレーサ１６からの出力画像信号は、インターレース装置３２によって駆動される装置による瞬時の使用に対して利用可能である。

上のステップは、そのシーケンスにおける最後の入力画像が最後の出力画像を生成するように処理されるまで継続される。インターレース構成パターンがそのような累積のインターレース技術に対する特定の命令を含むために拡張され得る方法のさらなる詳細は、本発明の第４の実施形態を参照して以下に記載される。

第３の実施形態は、以下の方法において、複数の視野方向ディスプレイ装置にもまた適用され得る。画像の反復したシーケンスが入力において提示され、その反復したシーケンスにおけるそれぞれの画像が異なる個々の視野となっている。それぞれの視野に配向された連続した画像における画像データは、それぞれの視野が（例えば）動画シーケンスを受信するように変化させることができ、それぞれの視野におけるリフレッシュレートは快適な観察を可能とするのに十分に高い。それゆえ、入力部において受信された各入力画像に対して、クロック入力部３４におけるクロック信号ＣＬＫは、インターレーサ１６への入力データの転送をトリガし、同時に、パターン制御器１８に、インターレース構成パターンをインターレーサ１６にロードさせ、インターレーサ１６は、画像データが補正された視野において表示されるように、複数の視野ディスプレイのピクセルの適切なセットへ受信された画像データを導くように適合される。そのような時間依存型インターレースは、任意の数の視野を有する複数の視野方向ディスプレイ装置に適合され得るが、実際には、それぞれの視野に対する十分なリフレッシュレートを維持するための必要性に制限される。それぞれの視野に提示された画像データは連続した時間フレームの間において変化される必要はない。本実施形態はまた、左右の視野を有するオートステレオスコピックディスプレイ装置に適合可能であり、ここで、入力画像は、異なる個々のインターレース構成パターンの使用によって、左右の視野に交互に配向される。複数の視野方向ディスプレイ装置に適用された場合の第３の実施形態のさらなる変形は、入力部において受信された連続した画像が、適切にインターレースされ、所定の時間期間に一つの視野へ画像を配向し、そのインターレース構成パターンは、それらの画像を異なる視野へと配向するために変化される。他のそのような変形は当業者によって直ちに明白である。

第２の実施形態は空間的に多重化された入力を有するものとして記載され、第３の実施形態は時間的に多重化された入力を有するものとして記載されたが、これらの組み合わせもまた可能であることが理解され、入力画像は空間的にも時間的にも多重化される。本記載の別の箇所に記載された異なる実施形態からの他の特徴の組み合わせもまた、当業者によって直ちに明白である。本発明を具体化するインターレース装置への画像データ入力は、例えば、インターレース装置がデイジーチェーン方式にて接続される場合など、それ自体、前もってインターレースされ得る。

図１２は、本発明の第４の実施形態に従ったインターレース装置３６を示すブロック図である。第４の実施形態は、出力メモリ２２がインターレーサ１６からの出力データを受信するように配置されている点で、第３の実施形態とは異なる。第４の実施形態において、インターレーサ１６からのデータ出力はまた、即座の使用のために、装置３６の外部に直接に移動され得、および、累積の出力画像を形成および格納することが可能である出力メモリ２２へと移動され得る。第４の実施形態はまた、第２の実施形態とおけるのと同じように、個々の入力画像Ｉ_０およびＩ_１を受信するための別個の入力部を有し、バッファ部分１２において別個のバッファ領域Ｂ_０およびＢ_１を有する。

累積のインターレースを実行するための本発明の第３および第４の実施形態の動作は、すでに上述されたものを介して、インターレース構成パターンの構築における使用に対して利用可能である命令の拡張を用いることができる。例えば、画像の時間シーケンスのそれぞれ個々の入力画像はインターレーサ１６によって処理される場合、画像データは、最終の出力画像の交互のラインに配向され、インターレーサが、出力画像における個々のピクセルまたはピクセルの全ラインをスキップするようにさせる利用可能な命令を有することも可能である。また、所定の応用において、出力画像の所定のピクセルが、任意の入力画像ではなく出力画像の所定の他のピクセルで、または、出力画像ピクセルに依存する値で満たされる必要があることも考えられ得る。それゆえ、この機能を提供する付加的な命令が所望される。

図１３は、２つの新たな命令を含むインターレース構成パターンＰに基づき、第４の実施形態のインターレーサ１６によって実行されるいくつかのステップを示す例示的な図である。第１の命令は、識別子「Ｓ」によって表される「スキップ」命令であり、インターレーサ１６が出力画像における次のサブピクセルをスキップする。第２の命令は、先行する入力画像識別子ｉ無しでの表記Ｃｘ／ｙで表される命令であり、インターレーサ１６は入力画像の任意の一つからではなく、出力画像からの次のサブピクセルを選ぶようにさせる。図１３における他のタイプの命令は上述された表記ｉＣｘ／ｙによって表されるものである。

図１３に示されるインターレース構成パターンＰにおける命令のシーケンスは、｛０Ｒ０／０；Ｇ−１／０；Ｓ；１Ｂ０／０；０Ｇ０／０；Ｓ｝である。図１３に示されるステップ１において、インターレーサ１６は、命令０Ｒ０／０に従い動作し、インターレーサ１６に、ＩＭＡＧＥ０からのゼロオフセットピクセル（ピクセル０）からのＲの色成分を選ばせ、それはＡである。この値は、出力画像における第１のサブピクセルに書き込まれる。ステップ２において、命令Ｇ−１／０によって、インターレーサ１６は、出力画像のオフセット「−１」ピクセルのＧの色成分からの次のサブピクセルの値を読み出させ、それはＨである。この値は出力画像の次（Ｇの色成分）のサブピクセルに書き込まれる。ステップ３において、インターレーサ１６は、出力画像の次のサブピクセル（それはＬである）をスキップするようにさせ、この値は出力画像において、変わらずそのままにされる。ステップ４において、命令１Ｂ０／０によって、インターレーサ１６はＩＭＡＧＥ１のゼロオフセットピクセル（ピクセル０）のＢ色成分を読み出し、それはＲである。この値は、出力画像の次のサブピクセルに書き込まれる。ステップ５において、命令０Ｇ０／０によって、インターレーサ１６は、ＩＭＡＧＥ０のゼロオフセットピクセル（ピクセル０）からのＧの色成分を読出し、それはＢであり、この値は出力画像の次のサブピクセルに書き込まれる。最後に、ステップ６において、「スキップ」命令Ｓによって、インターレーサ１６は、出力画像における次のサブピクセル値Ｏをスキップする。

累積のインターレースは、例えば、ピクセル−アドレス可能ディスプレイを用いて、出力メモリ部分２２無しで実行され得ることが理解され、ここで、データは、シーケンスにおけるそれぞれのピクセルに書き込む必要無しに特定のピクセルへと書き込まれ得る。

第４の実施形態はまた、複数の視野方向ディスプレイ装置に（累積のインターレースを用いてまたは用いずに）適用され得、複数の画像はディスプレイの異なる個々の視野となる別々の個々の入力部において提示される。図１２に示される装置３６は、２つの入力のみを示すが、典型的な複数の視野方向ディスプレイ装置に適切である２つ以上の入力を有するように容易に拡張され得る。特定の時間フレームにおいて、異なる個々の入力において受信された画像は、インターレーサ１６へロードされる適切なインターレース構成パターンを用いて異なる個々の視野に対して配向される。入力において提示される画像データは、変化しないか、それぞれの時間フレーム後に変化され得る。同様に、複数の入力画像をインターレースするために用いられるインターレース構成パターンは、視野への入力の割り当てを変化させるために、時間フレーム間において変化され得る。これにより、ビューアーはシステムへの入力データを変化させることなく、異なる視野を選択することができ、また、マルチビューディスプレイの所定の設計が正確に駆動されることが可能となる。本実施形態は、左右の視野を有するオートステレオスコピックディスプレイに等しく適用可能であり、ここで、それぞれの時間フレームにおける入力画像の対は、適切なインターレース構成パターンの使用によって左右の視野に配向される。

図１４は、本発明の第５の実施形態に従ったインターレース装置３８を示すブロック図である。第５の実施形態は、単独の画像ストリーム入力がバッファ部分１２に接続されるインターレース装置３８に提供される点において第４の実施形態とは異なる。バッファ部分１２は異なる個々の画像に関連するデータをバッファするための別個のバッファ領域Ｂ_０およびＢ_１を有する。なぜならば、本実施形態における入力画像ストリームは第３の実施形態におけるのと同様に、画像全体の時間シーケンスを提供せず、むしろ、インターレースされた入力画像に対する時間関係はあらかじめ定義されていないからである。第５の実施形態においてクロック入力部も存在しない。その代わり、入ってくる画像データは、入ってくるデータが関連する画像を識別する追加のビットに「タグ付け」される。インターレース装置３８はそのタグ情報を用いて、入ってくる入力画像データストリームを、別々にバッファされた個々の入力画像へと分離する。十分なデータ（例えば、数個のピクセル、ライン全体、またはフレーム全体）が受信され、インターレースを開始することが可能となるとインターレーサ１６は、選択されたインターレース構成パターンに従い、インターレースを開始するように命令される。

図１５は、本発明の第６の実施形態に従ったインターレース装置４０を示すブロック図である。第６の実施形態は、インターレーサ１６およびパターン制御器１８と通信して配置される画像処理部分４２を含むことで、上述の第２の実施形態とは異なる。上述の第１から第５の各実施形態において、出力画像に転送される値は、入力画像から読み出される値または出力画像から読み出される値、あるいは、命令によって特定された絶対値（例えば、オン、オフ、または任意の他の値）のいずれかである。第６の実施形態において、画像処理部分４２は、出力画像に転送される前に、画像処理目的のために、ピクセル値の修正を可能にする。例えば、ルックアップテーブル（ＬＵＴ）を用いて、画像は、インターレース装置４０によって駆動されるディスプレイの特定の特性に対して補正され得る。ＬＵＴは入力値を出力値に変換するマッピングのリストを保持する。ピクセルが出力画像に転送される場合、インターレーサ１６は、画像処理部分４２と協働し、ＬＵＴにおける出力値を調べ、出力画像において新しい出力値を置く。それぞれの色成分に対して別個のＬＵＴが存在し得る。線形要素、オフセットの追加、閾値などによる、各色成分のスケーリングなどの他の機能が含まれ得る。そのような実施形態はまた、クロストークのキャンセルを目的として、隣接する視野の画像データを修正することによって、複数の視野方向ディスプレイ装置において、隣接する視野間のクロストークを低減するために用いられ得る。同様の技術は、以前の時間フレームから残された任意の残りの画像をキャンセルすることを目的として、駆動されたディスプレイの待ち時間を考慮するために用いられ得る。

上述の各実施形態において、インターレース装置は、インターレース構成パターンを用いて、出力画像構造を横断し、どのサブピクセルが出力画像における現在の位置に送信されるかを決定する。代替の方法は、入力画像構造を横断し、インターレース構成パターンによって配向されるほうにサブピクセルを選択することである。可能性は他にも存在し、例えば、これら２つの方法の組み合わせが用いられ得る。

出力画像を生成するべく複数の入力画像をインターレースするために、上述のようなインターレース構成パターンの使用は、インターレースされた画像が複数の構成画像を生成するためにデインターレースされる逆の処理にも等しく適用可能であることもまた理解される。

図１６は、本発明の第７の実施形態に従ったデインターレース装置４２を示すブロック図である。第７の実施形態は、上述の第２の実施形態に密接に基づいているが、バッファ部分１２は、入力されインターレースされた画像データをバッファするための単一のバッファ領域Ｂのみを必要とし、第２の実施形態のインターレーサ１６は第７の実施形態におけるデインターレーサ１６’によって置き換えられる。第７の実施形態において、パターンメモリ２０に格納されたパターンおよびデインターレーサ１６’によって用いられるパターンは、上述のインターレース構成パターンの命令のセットに密接に対応する命令のセットによってあらわされるデインターレース構成パターンである。デインターレースは、入力されインターレースされた画像を横断し、デインターレーサ１６’によって使用されるデインターレースパターンＰによって特定されるように、出力されデインターレースされた画像において、画像のサブピクセルを関連するサブピクセルにコピーすることによって実行される。デインターレース装置４２のさらなる記載は、対応する実施形態、およびインターレース装置に関連する他の記載された変更を踏まえて必要とされない。例えば、デインターレース装置は出力されたデインターレース画像を等しく横断し、デインターレースパターンによって特定されるように、入力されたインターレース画像から出力されたデインターレース画像へ、関連するサブピクセルをコピーする。

上述のサブピクセルのインターレースおよびデインターレース技術は、画像を圧縮および解凍するシステムの一部として用いられ得る。図１７は、本発明の第８の実施形態に従ったシステム４４を示し、情報を画像デコンプレッサ４８へと通信する画像コンプレッサ４６を含む。画像コンプレッサ４６は、相関検出器５４、データコンプレッサまたはコーダ５０、および、第６の実施形態への第１のものに対応するインターレーサ１６を含む。画像Ｉは画像コンプレッサ４６にロードされる。

相関検出器５４は、画像Ｉを分析するように配置され、画像Ｉにおける相関を検出し、インターレーシングパターンＰが、コーダ５０による最も効率の良い圧縮性能を導くことを確立し、どのインターレーシングパターンＰが、コーダ５０による最も効率の良い圧縮性能を導くかを決定する。画像Ｉが高度に相関する場合、ピクセルデータの再順序化は、より簡単に圧縮することができるように、画像データをともにグループ化するために用いられ得る。例えば、ランレングスコーディングおよび可変長コーディングは同様のデータを容易に圧縮することができる。最適なインターレースパターンは、相関検出器５４によって選択され、インターレーサ１６にロードされ、インターレーサ１６は、インターレースパターンに従い、ピクセルデータを再配置し、元々の表示よりもさらにコンパクトである表示を有する圧縮された画像ＣＩを生成するために、コーダ５０によって圧縮されたインターレース画像を生成する。用いられたインターレースパターンは、圧縮された画像ＣＩに格納されるか、画像デコンプレッサ４８において受け取るために、それとともに送信される。逆コーディングはデコーダ５２によって実行され、画像デコンプレッサ４８において受信されたインターレースパターンＰは、デインターレーサ１６’にロードされ、元々の画像Ｉを復元するために画像データをデインターレースする。

上述の実施形態のそれぞれは、入力画像およびインターレーサ１６またはデインターレーサ１６’を受信するために、入力または複数の入力間に配置されたバッファ部分を含むが、バッファはあらゆるインプリメンテーションにおいては必要とされないことは理解される。上述の実施形態のそれぞれにおいて、メモリ２０は示され、インターレーサ１６またはデインターレーサ１６’（後者はローカルバッファとして動作する）内のパターン記憶装置に加えて、提供されることが記載される。別々のそのような格納領域は必要とされず、それは、一つ以上のインターレース構成パターンを格納するための少なくとも一つのプログラマブルメモリを有することが必要であることは理解される。

図１８は、本発明の第９の実施形態に従ったインターレース装置５６を示すブロック図である。第９の実施形態は、バッファ部分１２およびパターン制御器１８と通信して配置されるパターン生成器５８を含むことによって、第２の実施形態とは異なる。第９の実施形態におけるパターン生成器５８によって、例えば、その入力画像の状況に基づき、リアルタイムでのインターレース構成パターンの生成が可能となり、その結果、インターレース構成パターンの数は無限となる。そのようなパターン生成器５８はまた、上述の第６の実施形態において提供される画像処理性能とともに用いられ得る。

上述の実施形態の任意において、画像入力は、デジタルコンピュータまたは映像ソースから、直列または並列にて、アナログまたはデジタルの形式であり得る。入力は、ＶＧＡ、ＤＶＩ、ＩＥＥＥ１３９４、ＣＶＢＳなどの規格の任意の組み合わせであり得る。処理機能は、フィールドプログラマブルゲートアレイ（ＦＧＰＡ）、複合プログラマブルロジックデバイス、マイクロプロセッサなどの処理ユニットによって提供され得る。特定用途向け集積回路（ＡＳＩＣ）は、プロセッサの代わりに、上記構造において用いられ得、ＡＳＩＣは、メモリからインターレース構成パターンを読み出す。インターレース装置の全体のサイズが問題となる実際のインプリメンテーションに対して、装置によって用いられるメモリの量は、インターレース装置によって駆動される装置（例えば、例示のディスプレイ装置）のタイプに対する実際の範囲に制限され得る。例えば、インターレース装置が垂直に６４０ピクセルの長さのディスプレイとともに用いられる場合、最大６４０ピクセル（または、マルチライン構成パターンのそれぞれのラインに対して６４０ピクセル）を格納するのに十分なメモリを提供するには十分である。従って、メモリ量は、ディスプレイタイプおよび構成パターンに依存して最小化され得る。

上述の実施形態のいくつかにおいて、インターレース構成パターンを格納するためのメモリは、装置の動作の間、再プログラム可能であるように記載される。しかしながら、インターレース構成パターンの所定のセットが、例えば、使用の間、さらなるインターレース構成パターンをロードまたは生成する柔軟性を有せず、製造時における装置に格納されている装置を提供することもまた所望され得る。それゆえ、添付の請求の範囲はまた、プログラム可能であり、再プログラム可能ではない汎用の基板などを含むと解釈されるべきである。そのような基板は一般的な使用のために製造され得、ディスプレイにおいて組み立てられる場合に構成される。

図１は、上述のように、２つのフィールド画像がともに組み合わされて一つのフレームを形成する、フィールドインターレースの公知の技術を示す。 図２は、上述のように、オートステレオスコピックディスプレイにおける使用のための公知のインターレース技術を示す。 図３は、本発明の第１の実施形態を示すブロック図である。 図４は、本発明の一実施形態において、インターレース構成パターンが入力画像のピクセルから出力画像のピクセルへのマッピングを提示する方法の図式表示である。 図５は、本発明の一実施形態に用いられるインターレース構成パターンの一つの可能な表示を示す。 図６は、２つの入力画像から１つの出力画像へピクセルをマッピングするためのインターレース構成パターンの使用を示す。 図７は、文字通りのピクセル値の代用のために、命令を含むインターレース構成パターンへの拡張を図式的に示す。 図８は、本発明の第２の実施形態に従ったインターレース装置を示すブロック図である。 図９は、ディスプレイのゼロ視差面を調節するために第２の実施形態の使用を示す。 図１０は、複数の視野方向ディスプレイの視野角を切り替えるために第２の実施形態の使用を示す。 図１１は、本発明の第３の実施形態に従い、インターレース装置を示すブロック図である。 図１２は、本発明の第４の実施形態に従い、インターレース装置を示すブロック図である。 図１３は、拡張されたインターレース構成パターンの命令のセットを含む第４の実施形態の動作を例示する。 図１４は、本発明の第５の実施形態に従い、インターレース装置を示すブロック図である。 図１５は、本発明の第６の実施形態に従い、インターレース装置を示すブロック図である。 図１６は、本発明の第７の実施形態に従い、デインターレース装置を示すブロック図である。 図１７は、本発明の第８の実施形態に従い、画像コンプレッサおよび画像デコンプレッサを示すブロック図である。 図１８は、本発明の第９の実施形態に従い、インターレース装置を示すブロック図である。

Claims (18)

1. 複数の入力画像をインターレースして出力画像を形成する装置であって、
   該入力画像のピクセルから該出力画像のピクセルへのマッピングを規定するインターレース構成パターンを格納するプログラマブルメモリと、
   該メモリに格納される該パターンに従いピクセルデータを再編成するピクセルデータ・リアレンジャーと
   を備え、該パターンは、ソース、または目的の画像および目的の画像ピクセルに関連するソース画像ピクセルの位置を規定する少なくとも一つの命令を備え、
   該メモリは、該装置の動作間に、該パターンをロードまたは変化させるために再プログラム可能である、装置。
2. 前記各入力画像は入力画像のシーケンスを含み、前記各出力画像は出力画像のシーケンスを含む、請求項１に記載の装置。
3. 前記ピクセルは色成分ピクセルである、請求項１または２に記載の装置。
4. 前記メモリは複数のパターンを含むように配置され、前記装置は、使用する前記パターンの任意の一つを選択するための制御器を備える、請求項１〜３のいずれか一項に記載の装置。
5. 前記制御器が、前記装置の動作間に、前記パターンの任意の一つを選択および再選択するための入力信号に応答する、請求項４に記載の装置。
6. 前記パターンは出力画像ピクセルの適切なサブセットに対して、入力画像ピクセルの適切なサブセットのマッピングを規定し、前記リアレンジャは該複数の適切なサブセットに対する該パターンを繰り返すように配置される、請求項１〜５のいずれか一項に記載の装置。
7. 前記リアレンジャは、前記複数のサブセットが前記入力画像および出力画像のうちの少なくとも一つを実質的にタイリングするように、前記パターンを繰り返すように配置される、請求項６に記載の装置。
8. 前記複数のサブセットは前記各出力画像を実質的にタイリングする、請求項７に記載の装置。
9. 前記少なくとも一つの命令が色成分を規定し、前記位置が、目的の合成色群を形成する目的の色合成ピクセルの群に関連し、かつソース合成色群を形成するソース色合成ピクセルの群の位置を表す、請求項３、または請求項３に従属する場合の請求項４〜８のいずれか一項に記載の装置。
10. 前記リアレンジャが、順に各出力画像を生成するように配置される、請求項１〜９のいずれか一項に記載の装置。
11. 前記各入力画像または入力画像のシーケンスに対する入力バッファを含む、請求項１〜１０のいずれか一項に記載の装置。
12. 前記各入力画像または出力画像のシーケンスに対する出力バッファを含む、請求項１〜１０のいずれか一項に記載の装置。
13. 前記各出力画像は、シーケンスにおいて受信される複数の入力画像から形成される、請求項１〜１２のいずれか一項に記載の装置。
14. 前記リアレンジャによる再配置の間に、各ピクセルデータを修正する処理を行うピクセルデータプロセッサを含む、請求項１〜１３のいずれか一項に記載の装置。
15. 入力画像データは、データがどの入力画像に関連するかを示すようにタグ付けされる、請求項１〜１４のいずれか一項に記載の装置。
16. 請求項１〜１５のいずれか一項に記載の装置およびディスプレイ装置を含む、ディスプレイ。
17. 前記ディスプレイ装置は、複数の視野方向ディスプレイ装置であり、前記リアレンジャは前記入力画像または複数の入力画像のシーケンスを空間的に多重化するパターンによって制御される、請求項１６に記載のディスプレイ。
18. 前記ディスプレイ装置は、空間光変調器および視差視覚を含む、請求項１７に記載のディスプレイ。

Images