JP4740135B2 - ３次元画像ディスプレイの画面に３次元画像を描画するシステム及び方法 - Google Patents

Description

発明の詳細な説明

本発明は、ディスプレイ画面を有する３次元ディスプレイ装置と、ディスプレイ画面をアドレッシングする手段と、及び３次元モデル用入力と少なくとも１つの視点用入力を有する描画器であって、前記アドレッシング手段に供給する画像情報を描画する描画器とを有するシステムに関する。

本発明は、ディスプレイ装置で使用する描画器にも関する。

本発明は、ディスプレイ装置のアドレッシング手段に入力される情報を生成する描画器にも関する。

本発明は、３次元ディスプレイ装置のアドレッシング手段に供給されるデータを描画する方法にも関する。

近年、３次元画像ディスプレイ画面に３次元画像を表示することに大きな関心が集まっている。３次元画像化は、画像化におけるカラー画像化の次に来る偉大なイノベーションであると信じられている。

３次元ディスプレイ装置は、通常、画像を表示するディスプレイ画面を有する。

画像の表示に必要な情報（データ）は、描画器により描画される。描画器は、３次元モデルの入力と視点の入力を有する。

基本的に、３次元の印象の生成には、ステレオペア（看者の両眼に向けた２つの異なる画像）、ホログラフ技術、またはディスプレイ中の複数平面を用いる。複数平面技術を用いて容積画像を構成し、その場合、３次元ピクセルは３次元体積のいわゆるボクセルに置き換えられる。ほとんどの複数平面ディスプレイが有する不利な点は、ボクセルは光を発するが、光をブロックしないことである。このため、透明なオブジェクトは、表示された画像の見栄えが文字通りぼんやりして好ましくないものとなる。

ディスプレイ画面を用いるディスプレイや、ステレオディスプレイには、この問題はない。ステレオ画像を生成する方法はいくつかある。画像は３次元ディスプレイ上で時分割多重されていてもよいが、その場合、看者はＬＣＤシャッタ等のメガネを×必要がある。ステレオ画像を同時に表示して、ヘッドマウントディスプレイを用いて、または偏光メガネを用いて（画像も直角偏光して作成する）、画像を対応する方の目に入るようにしてもよいしオブザーバがかけたメガネにより、ビューがそれぞれの目に効果的に経路付けされる。メガネのシャッタまたは偏光板はフレームレートと同期して、経路付けを制御する。フリッカーを防止するため、２次元の透過な画像に対して、フレームレートを２倍にするか、または解像度を半分にしなければならない。上記のシステムの欠点は、２つの画像により限定的な「ルックアラウンド」しか表せないことである。さらにまた、何らかの効果を得るためメガネをかけなければならない。メガネをかけ慣れてないオブザーバは喜ばず、すでにメガネをかけている者には追加のメガネをかけなければならず、必ずしもフィットしないので問題である。

２つのステレオ画像を、看者の目の近くではなく、パララックスバリア等の分離スクリーンにより、ディスプレイ画面のところで分けることもできる。これは、例えば、米国特許公報第ＵＳ５，９６９，８５０号に記載されている。
ディスプレイスクリーンでビューが分離しているディスプレイは、３次元画像を見るのに特殊なメガネを必要としないという意味で自動立体視であるが、固定された位置にいる一人の看者に対してのみ動作することが多い。

視界は非常に狭くなる。視界の外側では、オブザーバには複数の画像やステレオ逆転像が見え、非常に好ましくない。実際、これは、例えばリビングルーム等の多くのアプリケーションにおいて、ビューイングゾーンが小さすぎ、３次元画像を見るためには、看者は一カ所に座っていなければならない。

米国特許第ＵＳ５，９６９，８５０に開示された装置は、動的パララックスバリア（バリアスリットが自動立体視ディスプレイ装置が作成されているスクリーンにわたって動くパララックスバリア）を用いることにより、狭いビューイングゾーンの問題に対する解決策を提案している。

上記は、それぞれが長所も短所も有する、３次元画像を提供する異なるタイプの方法を説明している。本発明は、一部のタイプの装置にはその他よりもよく使用されるが、特定タイプの３次元装置に限定されない。本発明は、レンダラ、すなわち、画像情報（データ）を描画するシステムの一部にも関する。Ｎ個のビュー（すなわち、ディスプレイスクリーン上の多数のビュー）を提供できるディスプレイ装置を有するシステムが求められている。このような装置は、複数の看者に対して、比較的広いビューイングアングルにわたって見ることができるディスプレイスクリーン上に３次元画像を提供することができる。異なるビューの数は、一般的には１０から１００である。本発明が特に対象としているのは、このようなタイプの３次元画像ディスプレイ装置である。

複数画像を提供する方法の１つは、画像の数だけカメラを使用することである。しかし、この方法は、非常にコストがかかり、現実的でないことが多く、インターラクティブなゲームには向いていない。このように、実際には、画像情報は計算または構成されることが多く、その計算または構成の基礎は、カメラで集められた情報に一部基づいている。

ゲームを表示するために、特に３次元ゲームでは、レンダラが使用される。レンダラは画像のデータを描画しなければならない。単純な立体視ディスプレイの場合、すなわち、ビューポイントの数がＮ＝２である場合、レンダラは２つの画像のデータを描画しなければならない。一方、より複雑な３次元の場合、例えば、自動立体視ディスプレイの場合、ビューの数は大幅に増加し、現在はＮ〜１０である。将来の３次元ディスプレイの場合、Ｎ〜１００となることが予想される。レンダラは、より多くのビューを供給しなければならず、よって、より多くのデータを供給しなければならない。レンダラはディスプレイ装置自体の一部であってもいし、または、ディスプレイ装置に、またはそのアドレッシング手段への入力として画像装置に供給される画像情報を提供するスタンドアロンの装置であってもよい。これに関して、多数のビューの情報を生成しなければならないだけでなく、特に３次元ゲームの場合だけではないが、画像の品質が各ビューポイントでほぼ同じであることが好ましいことが非常に重要である。

現在のレンダリング技術は、３次元モデルと別々のビューのビューポイントに基づき、その別々のビューのそれぞれに対して画像情報（すなわちデータ）を描画するレンダラを用いる。これらの方法は、Ｎ＝２である３次元画像化には有用であるが、トレンドとしては、ビューの場所を増やし、画像を多数の異なるビューポイントから見られるようにするため、ますます多くのビューポイントを設ける必要がある。このことは、特に３次元ゲームにあてはまるが、これに限られるものではない。例えば、複数の対抗者（すなわち、看者）がディスプレイスクリーン上で互いに対戦するとき、全ての対抗者が同じ土台の上で対戦することが重要である。この条件を満たすため、画像品質がほぼ同じで、高速、かつ詳細度が高い多数のビューポイントを描画しなければならない。インターラクティブなゲームの場合、全てのデータはリアルタイムで描画しなければならず、大きなデータセットをオンラインでレンダリングすることを要する。このような条件は、現状の技術で得ることは困難である。

本発明の目的は、既存装置の代替として、３次元（例えば、自動立体視）ディスプレイ装置のために、高速、正確、及び詳細にレンダリングできる装置を提供することである。

このため、本発明によるシステムは、前記レンダラは、前記３次元モデルの入力とマインビューポイントの入力を有し、それぞれが色情報とＺ値を有する要素アレイを有するスタック層を有するメインビューポイントＺスタックであるオブジェクトをレンダリングする初期部を有し、前記レンダラは、さらに、前記初期段階により生成されたメインビューポイントＺスタックから追加的ビューポイントのＺスタックが構成されるＺスタックコンストラクタと、前記Ｚスタックから画像情報を生成するさらなる画像情報隠蔽動作段階とを有することを特徴とする。

レンダラは、色（ＲＧＢ）と奥行き値（Ｚ）を有する一組のピクセルである、表示されるべき画像に含まれたオブジェクトを描画する初期部を有する。この初期部には、３次元モデルの入力とメインビューポイントの入力がある。この初期段階の出力は、メインビューポイントについて、色（ＲＧＢまたは単一色）情報とＺ値を含むスタック層を有するＺスタックである。レンダラは、後続のＺスタックコンストラクタ中のメインビューポイントＺスタックを用いる。Ｚスタックコンストラクタでは、メインビューポイントの色情報（ＲＧＢまたはモノクロ）とＺ値を有するメインビューポイントＺスタックから、追加的ビューポイントの色情報（ＲＧＢまたはモノクロ）とＺ値を有するＺスタックが構成される。それぞれのＺスタックは、さらなる画像情報隠蔽動作段階で、アドレッシング手段に供給する画像情報に変換される。

オブジェクトが生成されるとき、Ｘ−Ｙ−Ｚ座標（空間中の位置）と場合によっては不透明（α）値だけでなく、ＲＧＢ座標（色、またはモノクローム画像の場合、モノカラー）も有する。ビューポイントからの画像を構成することは、基本的には、ビューポイントに対応する平面にそのオブジェクトを投影することを必要とする。レンダリングにおける最も顕著な特徴の１つに、前にあるオブジェクトが他の、より遠くにあるオブジェクトを隠蔽することが挙げられる。レンダラはこれを考慮して、スクリーン上に全てのオブジェクトを単に投影すると、前面のオブジェクトより遠くにあるオブジェクトが、前面のオブジェクトを通して見えてしまうことになる。前面のオブジェクトがぼやけて見えてしまう。

レンダリングパイプ（レンダラの別名）において、いわゆるフレーム／Ｚバッファ法により画像を生成することができることが知られている。３次元モデル中の各オブジェクトは、少なくとも色（ＲＧＢ）と奥行き値（Ｚ）を伴う一組のピクセルの形で最初のテクスチャ段階を出る。隠蔽動作段階において、全てのオブジェクトピクセルのＺ値をＺバッファ中の適当なピクセルと比較する。オブジェクトのＺ値が小さい（現在のオブジェクトより看者に近いオブジェクト）場合、オブジェクトのＲＧＢとＺ値がフレームとＺバッファ中の適当なピクセルにそれぞれコピーされる。この方法は、黒いフレームバッファと−∞が入ったＺバッファで始まり、その後、全てのオブジェクトがレンダリングパイプを通して入力される。最後に、フレームバッファはレンダリングパイプの出力として機能する画像を含んでいる。Ｚバッファの最後の内容は使用されない。原理上、フレームとＺバッファは共に、いわゆる「画像＋奥行き」データ構造を形成する。この「画像＋奥行き」データ構造は、全てのピクセルが色データＲＧＢと奥行きＺの両方を有することを意味する。フレームバッファ中のＲＧＢＺデータから、適度な処理量で他のビューポイントからの画像を描画することができる。しかし、このタイプの追加的ビューポイントレンダリングには大きな欠点がある。すなわち、残りのビューポイントについて描画した画像の品質がメインビューポイントの画像の品質より低い。フレームバッファ中の画像は、メインビューポイントから見える複数のオブジェクトを含み、他のビューポイントからの画像中のどこにこの同じオブジェクトがあるかを計算し、そのビューポイントからの画像を計算することが可能であるが、残りのビューポイントからメインビューポイントからは見えない他のオブジェクトが見えるという問題がある。このようなオブジェクトは、フレーム／Ｚバッファにはなく、追加的ビューポイントの画像では正しく描画することができない。同様に、メインビューポイントから見た画像に見えるオブジェクトでさえ、メインビューポイントからは見えないが他のビューポイントからは見える部分を有している可能性もある。

本発明においては、初期段階の出力はフレーム／Ｚバッファではなく、メインビューポイントＺスタックである。このＺスタックは、メインビューポイントに特定のものであるが、メインビューポイントに近いものと遠いもの両方の、残りの全てのビューポイントからの画像を生成するために必要な関連情報をほとんど全て有する。Ｚスタックは、本発明においては、データ（ＲＧＢ（またはモノクロ）値とＺ値、及び可能性としてα値）を有する要素アレイのスタック（すなわち複数の層）である。第１層は、メインビューポイントから最初に見える要素とオブジェクト（の一部）を有する。第２層は、第１層のオブジェクトまたはその一部の後にある、ビューポイントから見える、オブジェクトまたはその一部を有する。第３層は、スタックの第２層にあるオブジェクトまたはその一部脳死路にあるオブジェクトを有する。当業者には明らかであるが、計算は通常コンピュータまたはコンピュータプログラムにより行われるが、「スタック」はこれを考慮して、すなわち、コンピュータで生成及び／または格納されたデータの構成の説明として解釈すべきである。メインビューポイントで見えない、すなわち、他のオブジェクトまたはその一部により視界から隠されている（そのため、上で説明したフレーム／Ｚバッファには無い））オブジェクト（またはその一部）は、メインビューＺスタック中、すなわち、スタックの第２層、第３層等にある。留意すべきことは、単一のオブジェクトの一部は、スタック中の１つより多い層に分散していてもよいことである。

本発明による装置は、初期段階の後にＺスタックコンストラクタと、メインビューポイントのＺスタックに基づき、各追加的ビューポイントのＺスタックをレンダリングする追加的３次元レンダリング段階とを有する。追加的ビューポイントのそれぞれについて、メインビューポイントＺスタックに基づいて、新しいＺスタックが作られる。１つのビューポイント、メインビューポイントは、レンダリングパイプに入力され、通常通り処理される。一方、追加的Ｎ−１個のビューポイントはレンダラ内部の余分段階に入力される。このように、レンダリングパイプの大部分は、モノスコピック、すなわち、１つのビューポイントに対するものであり、全てのＮ個の画像で共通に使用される。この後の隠蔽動作段階でもそうである。

この元のメインビューＺスタックは、メインビューポイントに近いものと遠いもの両方の、残りの全てのビューポイントからの画像を生成するために必要な関連情報をほとんど全て有する。このメインビューポイントＺスタックから、新しいＺスタックが追加的ビューポイントについて生成される。これらのＺスタックは、それ自体ほとんど全ての情報を有し、追加的ビューポイントの画像はメインビューポイントの画像とほぼ同じ画像品質となる。

このように、Ｎ個の異なるビューポイントを独立に構成するのと比較して、アルゴリズムの速さと単純さが大幅に増す。また、メインビューポイントのフレーム／Ｚバッファを生成し、メインビューポイントフレーム／Ｚバッファから他のビューポイントの画像を構成するのと比較して、品質が大幅に向上する。

理想的には、レンダリングの後、全てのＺスタックが各Ｚスタックに対応するビューポイントから見える前面オブジェクトを含む。オブジェクトが表されている要素の数は、異なるＺスタックでは同じでなくてもよい。オブジェクトは異なるビューポイントから見ると異なるサイズで見えるからである。それゆえ、Ｚスタックのエレメント間には１対１対応がないが、オブジェクトに関する限り１対１対応がある。１つのメインビューポイントＺスタックに基づき追加的Ｚスタックを構成するとき、オブジェクトは１つずつコピーされるが、要素のコピーは１つずつでは不十分である。後者の場合、オブジェクトがメインＺスタック中で１００個の要素で表されているが、新しいＺスタックでは１１０または９０個の要素で表される時、問題が起きる。本願発明者の洞察によると、例えば、外挿や収縮によるオブジェクト内の要素数のスケーリングと組み合わせたオブジェクト毎の方法は、エレメント毎のよりも好ましい。

それゆえ、前記レンダラは、Ｚスタックからオブジェクトを抽出するオブジェクト抽出器を有することが好ましい。本発明のフレームワーク内の抽出は、Ｚスタックの要素をグルーピング基準に基づきグループにすることを意味する。１つの同じオブジェクトに属する要素は、通常、同じかまたは類似したＺ値を有する（または、１つの要素から隣の要素に行くときにＺ値の明らかな規則的変化がない）。さらにまた、ＲＧＢ値も同じか、近いものである。

メインビューポイントＺスタックの要素をオブジェクトにグループ分けすることは有利である。これにより、メインビューポイントＺスタックから追加的ビューポイントの新しいＺスタックに１つずつオブジェクトをコピーすることができる。縮小と外挿操作は、基本的には、コンピュータグラフィックスの分野で周知の再サンプリング操作である。好ましい実施形態において、オブジェクト抽出は、メインビューポイントＺスタックに対してだけ行われ、その効率は追加的ビューポイントの数Ｎ−１には依存しない。追加的ビューポイントの構成の前のオブジェクトの大きさ及び形状について知ることにより、外挿及び縮小に必要なオブジェクト内の要素の再サンプリングを高品質で実施することができる。

好ましくは、前記レンダラはＤＯＦレンダリング段階を有する。ＤＯＦ（被写界深度）は、オブジェクトにフォーカスしているフォーカス平面があり、フォーカス平面から離れたオブジェクトは幾分ぼやけているという事実に関する。ぼやかしは、オブジェクトテクスチャ内、及びオブジェクトの周縁におけるＲＧＢ値の空間的再配分、またはオブジェクトの不透明性を少し変化させることによりなされる。ＤＯＦぼかしは、追加的ビューポイントＺスタックのそれぞれについて行われるが、好ましくは、メインポイントビューＺスタックに対して行われる。その結果、メインポイントビューのＺスタックでは、ＲＧＢとＺ値（及び、可能性として不透明性）のデータにおいてＤＯＦによるぼやけが考慮される。フォーカス平面は、追加的ビューポイントでもほとんど常に同じである。それ故、メインビューポイントのＤＯＦぼかしと、全ての追加的ビューポイントのＺスタックを生成する基礎として「ぼかされた」メインビューポイントＺスタックを使用することにより、（品質の）最終結果は、メインポイントビューＺスタックを用いて、追加的ビューポイントに対してＺスタックを生成し、全ての追加的ビューポイントＺスタックに対してＤＯＦぼかしを実行したのと同じくらいよいが、非常に速くなる。

Ｚスタックコンストラクタは、順次（すなわち１つずつ）、またはパラレルに、追加的ビューポイントＺスタックを構成する。これはパラレルに行うことが好ましい。順次行った場合、Ｚスタックコンストラクタは、最初の追加的ビューポイントＺスタックをメインポイントから構成し、これをさらに別のＺスタックを構成するために使用する。しかし、このような順次処理には、小さな誤差が集積するリスクがある。それゆえ、好ましくは、順次でもパラレル処理でも、各追加的ＺスタックをメインビューポイントＺスタックに基づいて計算する。

好ましくは、前記メインポイントビューＺスタックデータは不透明度のデータを含み、前記Ｚスタックコンストラクタもオブジェクトの不透明度をオブジェクト抽出の後、適合させる手段を有することを特徴とするシステム。

オブジェクトの隠蔽は上に説明した。隠蔽とは別に（すなわち、１つのオブジェクトは、ビューポイントから見える他のオブジェクトの後にある時は見えない）、不透明性も関係してくる。一部のオブジェクトは（半）透明であるかも知れない。このようなオブジェクトの後にあるオブジェクトは、ある程度見える。不透明性の概念、すなわち、オブジェクトを不透明にすることにより、上記の効果を考慮することができる。基本的に、不透明性（例えば、０と１の間の数字）は、画像中で後のオブジェクトをどのくらい見えるようにするかという尺度を与える。不透明性が０の場合、オブジェクトは不透明である（すなわち、オブジェクトの後のオブジェクトの光は届かない）。不透明性が１の場合、オブジェクトは完全に透明であり、後のオブジェクトの光が届く。メインビューポイントＺスタックに示して、不透明性（通常はαで示される）により、より実際に近い画像描画が可能となる。これらの不透明性データを追加的ビューポイントＺスタックに移転するだけで有用である。しかし、オブジェクトの不透明性はビューポイントにより変わる。それは、例えば、平面の場合、それを見る角度によって不透明性が変わるからである。不透明性を入れることにより、実際に近い画像描画が可能となる。

異なる色毎に異なる不透明性データが分離している場合、この側面の重要性がより高くなる。

好ましくは、前記Ｚスタックコンストラクタは、オブジェクトのＲＧＢ値を、オブジェクト抽出の後、適合させる手段も有する。

メインビューポイントＺスタックは色情報（例えば、ＲＧＢ値）を有する。本発明の実施形態において、これらのＲＧＢ値は、ビューポイントが変化しても変わらなくてもよい。しかし、一部のオブジェクトの場合、ビューアングルが変化すると色も変化し、ビューポイントが変化するにつれて明るくなったり、暗くなったり、色が変わったりする。好ましい実施形態において、Ｚスタックコンストラクタにより、このような変化が可能となる。

好ましくは、前記システムは、追加的ビューポイントのデータの入力を有する。Ｚスタックコンストラクタは、追加的ビューポイントのデータを構成する。これは自動的に行われる。この場合、例えば、３次元ディスプレイ装置で見られるだけ多く（すなわち、全ての可能なディスプレイ装置をカバーできるだけ多数）のＺスタックのデータを構成することもできる。これには、多数の追加的ビューポイントＺスタックを構成する必要がある。しかし、好ましくは、システムは追加的ビューポイントのデータを追加的ビューポイントＺスタックコンストラクタに供給する入力を有する。ディスプレイ装置のタイプにより、追加的ビューポイントの数は変わる。追加的ビューポイントの特定のデータ（数及び／またはメインビューポイントに対する位置／方向）を供給するための入力を設けることにより、Ｚスタックコンストラクタは、必要に応じて追加的ビューポイントＺスタックを設けることができ、効率を高める。ビューポイントのデータは、簡単な実施形態において、例えば、生成すべきビューの数と最大ビューイング角度範囲である。好ましい実施形態においては、システムは、ユーザの好みに対応するビューポイントを確立する手段、またはユーザのビューポイントに対応するデータを供給される手段と有する。例えば、３次元ゲームにおいて、一人より多いプレーヤが参加する場合、ゴーグル、ヘッドホン、レーザ銃、バッジ等を使用することにより、システムは、例えば、上記の特徴が、ＩＲまたは超音波センサによりディスプレイ装置に対する上記の特徴の位置を検出する手段とともに設けられた場合、そのディスプレイ装置のディスプレイスクリーンに対するプレーヤの正確なまたはおおよその位置を検出することができる。追加的Ｚスタックコンストラクタに上記の情報を供給することにより、プレーヤに対応するビューポイントは、高い精度とリフレッシュレートで処理できるが、一方、その他のビューポイントは処理できないか、またはより低い精度とリフレッシュレートで処理される。これにより、実際に問題となるビューポイント、すなわち、プレーヤと関連するビューポイントのスピードと画像品質が、大幅なコスト増の必要性なしに、大幅に上昇する。

本発明の上記その他の態様は、以下に説明する実施形態を参照して明らかになり、説明される。

図面はスケール通りには描かれていない。一般的に、図面中の同一の構成要素は同じ参照数字で示されている。

図１はディスプレイ装置を示している。３次元テレビジョンの場合、光が独立に放射される多数のビューイング方向が必要である。国内アプリケーションにおいては、ビューイング距離は約３ｍであり、ユーザは約３ｍ幅のソファに座っている（図１を参照）。そこで、少なくとも６０°のビューイング角度が必要である。両眼は６．５ｃｍ離れている。それぞれの目が異なる画像に到達するためには、ディスプレイは３ｍ／６．５ｃｍ＝３００／６．５＝５０方向に光を放射する必要がある。頭を動かした場合、不連続な遷移無しに３次元画像に到達するためには、３次元テレビジョンは５０より非常に多い（例えば、少なくとも１００）方向に光を放射しなければならない。多数のビューを生成する、本発明が限定されない１つの方法は、パララックスバリアを使用することである。

図２は、２つのステレオ画像を分離するパララックスバリアの基本原理を示している。２つのステレオ画像の垂直線が、バックライトを有する空間的光変調器（例えば、ＬＣＤ）等の上に交互に表示される。パララックスバリア７の格子構造により、看者４のそれぞれの目は、必ず適当な画像（５、６）を見ることになる。これは、単に３次元画像化システムを例示するために示されており、本発明の範囲を限定するものと解してはならない。

図３Ａは、パララックスバリアの使用を示す。従来のバリア自動ステレオディスプレイシステムにおいて、バリア３１はディスプレイアレイ３２の前に配置される。ステレオ画像ペアの左と右の画像は、垂直ストリップにスライスされている。左画像のストリップ３２Ｌと右画像のストリップ３２Ｒは、アレイ３２上に交互に配置されている。スロット３１Ａはバリア３１に形成されている。スロット３１Ａは、オブザーバの左目４Ｌが左画像のストリップ３２Ｌのみを見ることができ、右目４Ｒがペアの右画像のストリップ３２Ｒのみを見ることができるように、配置されている。オブザーバは３次元における完全な画像を再構成する。

次に図３Ｂを参照して、同様の原理を説明する。ここでは、バリア３１がレンズ状スクリーン３３に置き換わっており、このレンズ状スクリーン３３は、垂直シリンドリカルレンズ３３Ａのアレイを有する。各シリンドリカルレンズ３３Ａは、左と右の画像ストリップ３２Ｌと３２Ｒの異なるペアに対応している。動作時、各レンズにより、オブザーバの左目４Ｌは左画像ストリップ３２Ｌに方向付けられ、オブザーバの右目４Ｒは右画像ストリップ３２Ｒに方向付けられる。

図４は、基本的立体視装置の問題を示す図である。正しいビューイングゾーン内に座っていない看者は混乱してしまう。ビューイングゾーンは非常に狭い。ビューイングゾーンの外側では、オブザーバには複数の画像や立体逆像が見え、非常に好ましくない。実際、これは、例えばリビングルーム等の多くのアプリケーションにおいて、ビューイングゾーンが小さすぎ、何を見るにしても、看者は特定の場所に座っていなければならない。リビングルームの場合、たった一人の看者が一カ所に座っている場合にだけ３次元画像を見ることができるだけなので、最適な状態とはほど遠い。

図５は、米国特許第ＵＳ５，９６９，８５０号に開示された装置を示す概略図である。この装置において、ビューイングゾーンが狭いという問題に対する解決策として、動的パララックスバリア５１（すなわち、バリアスリットがスクリーン上を動くパララックスバリア）を使用することが提案されている。パララックスバリアのスクリーン上の動きはスキャンされて、多数のビュー（Ｎ個のビュー）が生成される。多数のビューを提供するため、これらの画像のデータを生成しなければならない。上記の図面は、数タイプの３次元ディスプレイ装置を例として示したものであり、本発明の範囲を限定するものと解してはならない。３次元画像、特に、Ｎ方向のビューを有するディスプレイを提供する他の方法も提案されている。

しかし、どの方法もシステムも、十分大きなビューイングゾーンを確保し複数の看者が画像を見られるようにするために、多数のビュー（一般的に、１０から１００）を必要とする。３次元ゲームの場合、看者と表示画像との間にインターラクションがあることが多く、広い範囲のビューポイントを必要とし、（映画の場合、オブジェクトに対する看者のビューポイントは限定されている場合が多いが、３次元ゲームの場合にはあまりあてはまらない）システムは看者の動作にも反応できなければならない。３次元ゲームの場合、全ての看者と参加者のビューが同等品質であることが非常に重要である。そうでないと、ゲームは「マルチユーザ」として販売することができない。その理由は、スクリーンの前右側に座っている人のビューの正確性が高く、スピードが速い場合、その人がゲームに勝つ可能性が高くなるからである。これは（勝った人以外にはおそらく）受け入れられない。

そうすると、リアルタイムかつ異なるビューに対して同程度の品質で多数のビューを描画しなければならない。本発明の目的はこれであり、特にＮ個の画像用のデータを描画することである。

図６は、２次元及び３次元ディスプレイの場合に、３次元ゲームにおける現在のレンダリング方法を示している。ゲーム中、３次元モデル６１は、動的に変化する、特定状態にあり特定位置にある全てのオブジェクトを含んでいる。このモデルは、カメラビューポイント６３とともにレンダリングパイプ（レンダラ）６２に入力される。通常の３次元ディスプレイの場合、レンダリングパイプ６１は単一の画像を生成する。レンダリングパイプにより描画される画像データ６４は、ディスプレイ装置６５に送られる。

３次元ディスプレイの場合、レンダリングパイプはＮ個の画像を生成する。単純な立体視ディスプレイの場合、Ｎ＝２である。一方、自動立体視３次元ディスプレイの場合、Ｎはより大きく（Ｎ〜１０）、将来の３次元ディスプレイの場合、Ｎ〜１００であると期待されている。本発明は、最も広い意味ではＮ＝２の場合に適用可能であるが、Ｎビュー（Ｎ〜１０からＮ〜１００以上）のディスプレイ装置に対して特に有利である。

現在のレンダリングパイプは２つ以上の完全にモノスコープパイプは含まず、時間多重においては単一のモノスコープパイプが使用されている。これはフレームレート（１秒当たりの画像数）を犠牲にするか、いかなる計算上のトレードオフも可能である（例えば、一定のフレームレートを維持するための解像度の低下）。

Ｎが大きい場合、レンダリングパイプへの付加は極端に大きくなる。３次元レンダリングにおいて、現在Ｎ＝２の場合だけが、３次元ゴーグルに基づく商業的に利用可能な３次元ディスプレイをサポートするために使用されている。

レンダリングにおける最も顕著な特徴の１つに、前にあるオブジェクトが他の、より遠くにあるオブジェクトを隠蔽することが挙げられる。最近、いわゆるフレーム／Ｚバッファ法によりレンダリングパイプにこの特徴が実装された。３次元モデル中の各オブジェクトは、少なくとも色（ＲＧＢ）と奥行き値（Ｚ）を伴う一組の要素の形でテクスチャ段階を出る。隠蔽動作段階は、全ての要素のＺ値をＺバッファ中の適当な要素と比較する。要素のＺ値が小さい（現在のオブジェクトより看者に近いオブジェクト）場合、要素のＲＧＢとＺ値がフレームとＺバッファにそれぞれコピーされる。この方法は、黒いフレームバッファと−∞が入ったＺバッファで始まり、その後、全てのオブジェクトがパイプを通して入力される。最後に、フレームバッファはレンダリングパイプの出力として機能する画像を含んでいる。Ｚバッファの最後の内容は使用されない。原理上、フレームとＺバッファは共に、いわゆる「画像＋奥行き」データ構造を形成する。この「画像＋奥行き」データ構造は、全ての要素またはピクセルが色データＲＧＢと奥行きＺの両方を有することを意味する。フレームバッファ中のＲＧＢＺデータから、適度な処理量で他のビューポイントに対する画像を描画することができる。しかし、このタイプの追加的ビューポイントレンダリングには大きな欠点がある。すなわち、残りのビューポイントに対して描画された画像の質が、メインビューポイントの質よりも低く、残りのビューポイントとメインビューポイントとの差が大きければ大きいほど、残りのビューポイントに対するデータの質が低くなる。フレームバッファ中画像にはメインビューポイントから見たオブジェクトが含まれている。これらの同じオブジェクトが他のビューポイントからの画像ではどこにあるかを計算し、そのビューポイントからの画像を計算することができる。しかし、残りのビューポイントから、メインビューポイントからは見えない他のオブジェクトが見える。その理由は単純で、かかるオブジェクトはフレーム／Ｚバッファにはなく、決して正しく描画することはできない。同様に、メインビューポイントから見た画像に見えるオブジェクトでさえ、メインビューポイントからは見えないが他のビューポイントからは見える部分を有している可能性もある。ある程度、上記の「失われた部分」がどのように見えるかを推測することはでき（通常は、見える部分の外挿による）、役に立つかも知れないが、メインビューポイントに近いビューに限られる。例えば、腕の一部が見えている場合、その腕の残りの部分の位置を推測することはでき、腕の先に手があるということは比較的確実に分かるが、どんな武器を手に持っているか、そしてその腕に対する位置関係はどうかは知ることができない。

過度な計算パワーなしにほぼ同じ画像品質を有するＮ個の画像の描画を可能とするシステムと方法を提供することは、困難な課題である。

図７は、本発明によるディスプレイ装置用レンダラ（レンダリングパイプ）６２及び本発明による方法を示す。

レンダラ６２は、メインビューポイント用のＺスタックを生成しうる第１の部分７０を有する。この部分は、この例において、メインビューポイント用の入力６３と３次元モデル用の入力６１とを有する。全てのジオメトリ（オブジェクトの形状と形式）はメインビューポイントに従ってジオメトリ変換器７１で変換される。データはピクセル化器７２でピクセル化される。すなわち、全てのオブジェクトは、Ｘ、Ｙ、Ｚ、色（ＲＧＢ）、及びα（不透明度または透明度）値を有するピクセルに変換される。そして、テクスチャがテクスチャライザ７３で付加される。メインビューポイントの場合、ＤＯＦ（被写界深度）がＤＯＦレンダラ７４で付加される。これはメインビューポイントに関するデータに対して行われる。これは、追加的ビューポイントの数Ｎ−１に拘わらず、メインビューポイントに対して１度だけ行われる。その後、メインビューポイントのデータ（下で説明するようにＺスタックの形式である）を３次元レンダリング段階７５の基礎として使用する。３次元レンダリング段階７５は、残りのＮ−１個の追加的ビューポイントに関するデータの入力を有し、Ｎ−１個の追加的ビューポイントのＮ−１個のＺスタックを出力として描画する。隠蔽動作段階７６において、Ｎ−１個の追加的ビューポイントＺスタックは中のデータ（メインビューポイントのＺスタック中のデータとともに）は、Ｚトレーシング手段により、Ｎ個の異なるビューポイントからのＮ個の画像のＮ個のフレームバッファに変換される。計算量は比較的小さいが、その理由は、通常は最も大きな計算パワーを必要とする処理（ステップ７４を含んでステップ７４まで）の最初の部分がメインビューポイントに対してだけ実行されるからである。この結果得られるメインビューポイントＺスタック（この例ではＤＯＦを有する）は、その他全てのビューポイントの基礎である。

本発明による方法と、本発明によるシステムは、Ｎ個の高品質のビューの効率的計算を可能とする一方、フレーム／Ｚバッファに基づく既存の方法は、低品質ビューしか提供できず、完全に独立なＮ個のビューの生成に基づく既存の方法は、効率的ではない。

図８は、Ｚスタックの構成及び異なるビューポイントに対するフレームバッファをさらに示す図である。

３次元モデル８０は、全ての情報、すなわち、全てのオブジェクトとその相互の方向を有する。完全な３次元モデルから、メインポイントの３層Ｚスタック８１が生成される。これは、図８に概略を示したＺスタックコンストラクタにより行われる。このＺスタックコンストラクタは、要素を有する（この例では）３つのシーケンシャルバッファの層構造を構成する。ここで、各要素に対して、（この例では）Ｚ、Ｉ（色を示す）、アルファ（不透明性ファクタアルファを示す）の値が格納される。基本的に、Ｚスタックの第１のスタックは、ビューポイントから最初に見える全ての要素のＲＧＢ（色情報）とＺ座標（及び、可能なら、アルファ情報その他の情報）を有する。このように、Ｚスタックの第１層は、最初に見えるオブジェクトとオブジェクトの部分（すなわち、ビューポイントに最も近い要素）を有する。この例では、このように、中央ラインＩ−Ｉに沿ったＺスタックの第１層Ｓ１は、オブジェクトＤの部分、オブジェクトＡの一部、オブジェクトＦの外縁を有する。同じラインに沿って、第２層Ｓ２は、オブジェクトＢとＣの部分、オブジェクトＦの部分、及びオブジェクトＡの部分（オブジェクトＤの後の部分）を有する。第３層は、オブジェクトＦの部分（オブジェクトＢとＣの後の部分）とオブジェクトＥを有する。留意すべきことは、１つのオブジェクトがＺスタック中の複数の層の一部となることがあることである。その理由は、メインビューポイントからみると、第１、第２、または第３の見えるオブジェクトになるからである。Ｚスタックを構成すると、第１のスタックに表示されているオブジェクトが全て不透明である場合、Ｚスタックの第１のスタックＳ１のデータを有するフレームバッファが構成される。オブジェクトが透明である場合（すなわち、値が０（不透明）と１（完全に透明）の間であるアルファ数が１より小さい）、画像バッファはそれぞれの層Ｓ１からＳ３からのデータの組み合わせを有する。画像バッファ８２からのデータは、直接またはさらに処理した後、３次元ディスプレイに送られる。図のパートＢにおいて、最終的にフレームバッファ８２に行く３次元モデル８０が示されている。この３次元モデル８０は、元の３次元モデルを構成する異なるオブジェクトＡからＥの全ての少なくとも一部のデータを有する。フレームバッファ８２から初めて、異なるビューに対する画像を生成することはある程度可能であるが、オブジェクトＡに隠れたオブジェクトＢ，Ｃ、Ｅの形状がフレームバッファ中に見えるオブジェクトＢ，Ｃ，Ｅの部分に基づき推測しなければならない。しかし、常に可能というわけではない。例示のため、図８のこのパートＣは、図８のパートＢに示した状況と、オブジェクトＤがオブジェクトＡの後に置かれていることが異なる。Ｚスタック８１′は、オブジェクトＤを示す要素が第１の層Ｓ１の一部ではもはやなく、層Ｓ２の一部であるとのこの変化を反映する。画像バッファ８２′は、オブジェクトＤの形跡はもはや有さず、オブジェクトＤはフレームバッファ８２′中にはもうない。メインビューポイントの画像（またはフレーム）バッファ８２′に基づいて、オブジェクトＤは含まないが、異なるビューポイントの画像を生成することができる。その理由は、簡単で、画像バッファ８２′中にオブジェクトＤの情報（要素）はないからである。たとえ、前の画像に基づいて、上記のオブジェクトがあるはず、またはあるであろうと推論できても、そのオブジェクトの実際の位置及び／または形状は推測しなければならない。しかし、異なるビューポイントから、そのオブジェクトＤは非常によく見えるかも知れない。この問題に対する解決策の１つは、各追加的ビューポイントに対してＺスタックを計算することである（ステップ６１−７３（７４））。すなわち、各ビューポイントに対して完全に別のレンダリングパイプを使用する。しかし、これには、非常に大きな計算パワーが必要となる。本発明の基礎は、上の例のオブジェクトＤ等の「隠れた」オブジェクトに関する情報は、メインビューポイントの第３層または一般には第Ｎ層のＺスタック８１′にあるということである。メインビューポイントのＺスタック８１′を用いることにより、前面のオブジェクトに隠れたオブジェクトを追跡することができる。これにより、ディスプレイに送られた最終画像には同じピクセルに位置づけられた複数のオブジェクトがあっても、半透明のオブジェクトを正しくレンダリングすることができる。このアプローチでは、まず、完全な３次元モデル中の全てのシーンのオブジェクトがＺスタックに描画される。次に、Ｚトレース法としてここで受け入れた、周知の単一のプロセスにより、Ｚスタックから、ディスプレイに送るべきフレームまたは画像バッファを抽出する。出力画像情報は、簡単なプロトコルによりＺスタックからピクセル毎に構成される。もし全てのオブジェクトが不透明なオブジェクトであれば、Ｚスタックの第１層が単にコピーされる。透明なオブジェクトの場合、複数の層がマージされる。

本発明を、図９にさらに示した。

図９は、ＤＯＦ及び３次元レンダリングブロックの内部構造例を示している。それぞれ、前の段階の結果を格納した追加的バッファスタックを有する。さらに、両方とも、オブジェクト抽出部である新しいユニットを有する。

テクスチャ段階（基本的には３次元モデル）の出力は、Ｚスタック９１に描画された第１Ｚスタックコンストラクタの中にある。このＺスタック９１は、メインビューポイント用に作られている。メインビューＺスタック９１をオブジェクト抽出９２の開始点として用いる。オブジェクト抽出は、Ｚスタック９１から同じオブジェクトに属する要素を抽出する手続である。図８に示したように、オブジェクトは複数の層Ｓ１ないしＳ３にわたって分布しているかも知れない。オブジェクト抽出部は、スタックをサーチして、オブジェクトを再組み立てする。オブジェクトの再組み立ては、同一オブジェクトの要素は共通の特徴（例えば、ＲＧＢ値、Ｚ値、及び／または不透明度）を有するという事実を用いて行われる。

この例では、オブジェクト抽出の後、メインビューポイントのデータをＤＯＦレンダリングする（９３）。ＤＯＦ（被写界深度）レンダリングをしないと、全てのオブジェクトは同じシャープネスで画像化される。しかし、これでは画像が不自然になる。自然な画像では、画像がシャープなフォーカスするフィールドがあり、看者により近い、または看者から遠いオブジェクトにはフォーカスせず、従ってぼけている。ぼかしは、例えば、オブジェクト抽出の後、オブジェクトのテクスチャやエッジをデフォーカスすること、すなわち、オブジェクト内でテクスチャを空間的に再配布し、オブジェクト境界の外側のインテンシティの一部を移転し、及び／またはオブジェクトの最も外側部分を半透明にすることにより行われる。ＤＯＦレンダリング段階は、そのオブジェクトに対するぼかし部を有する。ＤＯＦ部の結果、メインビューポイントに対する、幾分ぼけてフォーカスがはずれたオブジェクトと、フォーカス面内のシャープなオブジェクトを有するＺスタック９４が得られる。ＤＯＦぼかしは、この好ましい実施形態においては、メインビューポイントに対するＺスタック９１中のデータに対して実行される。メインビューポイントについてだけＤＯＦぼかしに必要な計算パワーが必要になるという点で、上記の方法は好ましい。厳密に言うと、全てのビューポイントのそれぞれに対してＤＯＦぼかしをすれば、ＤＯＦのぼかし効果としてよりよい結果が得られる。しかし、追加的ビューポイントのＤＯＦは、メインビューポイントのＤＯＦとまったく、またはほとんど代わらない。そこで、好ましい実施形態においては、メインビューポイントのＺスタック９１にＤＯＦを実行する。ＤＯＦぼかしされたオブジェクトは、メインビューポイントの新しいＺスタック９４に再組み立てされる。このＺスタック９４は、オブジェクトを抽出するオブジェクト抽出器９５の入力となる。抽出されたオブジェクトは、残りのＮ−１個のビューポイントのそれぞれについて、メインビューポイントとそれぞれのビューポイントの間の違いに従って、シフタ９６でシフトされる。シフトされたオブジェクトは、（Ｚスタックコンストラクタ９７中の）新しいＺスタックに再組み立てされ、Ｎ−１個のＺスタックとなる。最後に、３次元レンダリング段階はＺトレース部（９８）を有する。本発明のフレームワーク内において、重要な点は、追加的ビューポイントのそれぞれについて、メインビューポイントのＺスタック９１にもとづいて、Ｚスタック９７が構成されるということである。オブジェクト抽出９５は任意的である。しかし、オブジェクト抽出は非常に有用なコンセプトである。メインビューポイントの元のＺスタック９１のデータが追加的ビューポイントのＺスタックを構成するために変換されるとき、比較的小さいオブジェクト（例えば、小さな角度で見えるオブジェクト）のサイズが非常に大きくなることがある。ピクセルごとに変換をする時、サイズが大きくなった（例えば、３ピクセルから１０ピクセルに）オブジェクトには必ず足りないピクセルがある。足りないピクセルは、例えば、オブジェクト抽出と再構成により再構成される。すなわち、どのピクセルがグループであるか見いだし、ピクセルのグループ内に穴があることを検知し、その穴の要素にフィットするであろう値（ＲＧＢ、Ｚ）をできるだけよく決定し、その穴に入れ、これによりそのグループの中間の足りない要素を再構成し、オブジェクトを「修理」することにより足りないピクセルが再構成される。これはシフト動作（段階９６）の後に実行できる。しかし、そうすると、再構成プロセスステップはＮ−１回、すなわち、シフトステップ９６から得られるＺスタックのそれぞれについて、すなわち、追加的ビューポイントのＺスタック９６（説明を簡単にするため、いろいろな方法ステップの結果には、そのステップの参照数字を付すことがある）のそれぞれについて繰り返さなければならない。オブジェクトをシフト９６する前に、オブジェクト抽出９５を実行することにより、オブジェクト抽出は、メインビューポイントＺスタック９４に対して１回だけ実行すればよく、動作の複雑性を低減し、速度を速くすることができる。

計算すべきビューポイントの数とメインビューポイントに対する位置／方向は、固定されていてもよく、または好ましくはディスプレイから受信したデータに応じて決定してもよい。好ましくは、前記システムは、追加的ビューポイントのデータの入力（図７参照）を有する。Ｚスタックコンストラクタ７５は、追加的ビューポイントのデータを構成する。これは自動的に行われる。この場合、例えば、自動立体視装置で見られるだけ多く（すなわち、全ての可能なディスプレイ装置をカバーできるだけ多数）のＺスタック９５を構成することもできる。これには、多数の追加的ビューポイントＺスタックを構成する必要がある。しかし、好ましくは、システムは追加的ビューポイントのデータを追加的ビューポイントＺスタックコンストラクタに供給する入力を有する。ディスプレイ装置のタイプにより、追加的ビューポイントの数は変わる。追加的ビューポイントの特定のデータ（数及び／またはメインビューポイントに対する位置／方向）を供給するための入力を設けることにより、Ｚスタックコンストラクタは、必要に応じて追加的ビューポイントＺスタックを設けることができ、効率を高める。追加的ビューポイントのデータは、簡単な実施形態において、生成すべきビューの数と最大ビューイング角度範囲である。

好ましい実施形態においては、システムは、ユーザに対応するビューポイントを確立する手段、またはユーザのビューポイントに対応するデータを供給される手段と有する。例えば、３次元ゲームにおいて、一人より多いプレーヤが参加する場合、ゴーグル、ヘッドホン、レーザ銃、バッジ等を使用することにより、システムは、例えば、上記の特徴が、ＩＲまたは超音波センサによりディスプレイ装置に対する上記の特徴の位置を検出する手段とともに設けられた場合、そのディスプレイ装置のディスプレイスクリーンに対するプレーヤの正確なまたはおおよその位置を検出することができる。追加的Ｚスタックコンストラクタに上記の情報を供給することにより、プレーヤに対応するビューポイントは、高い精度とリフレッシュレートで処理できるが、一方、その他のビューポイントのデータは処理できないか、またはより低い精度とリフレッシュレートで処理される。これにより、実際に問題となるビューポイント、すなわち、プレーヤと関連するビューポイントのスピードと画像品質が、コスト増の必要性なしに、大幅に上昇する。

図１０は、本発明による方法のさらに詳細を示す図である。メインビューポイントのＤＯＦぼかしＺスタック９４はオブジェクト抽出器に入力される。この例では、オブジェクトは、家Ｈ、２つの物置Ｓ１、Ｓ２、フェンスＦｅ（それには穴（例えば、開いたドア）がある）、大きな木Ｔ、及び森Ｆである。メインビューポイント（ＶＰ１、ビューポイント１）のＺスタック９４から、オブジェクトがオブジェクト抽出９５で抽出される。オブジェクトはシフトされる（基本的に、ｘ、ｙ、ｚ値が変更されるが、これはメインビューポイント、及び関連する追加的ビューポイントに基づき簡単に計算できる）。新しいＺスタック９７が、新しいシフトされたオブジェクトデータに基づき計算される。Ｚスタック９７は、追加的ビュー（ＶＰ２、ビューポイント２）の画像バッファの基礎である。元のビューポイント（ＶＰ１）において、森の一部は開口ｄを通して見ることができる。シフトしたビューポイント（ＶＰ２）において、木（Ｔ）の一部がフェンスの開口を通して見ることができる。このように、この例では、フェンスの開口を通して、追加的ビューの場合、木Ｔの一部が見えることが概略的に示されている。ＶＰ２のＺスタックは、メインビューポイント（ＶＰ１）のＺスタックと簡単なシフト動作に基づいて計算されるので、速く多くのビューに対して実行することができる。

留意すべきことは、本発明は、新しい画像をＮ回描画することと比較して、追加的ビューの画像を生成するために必要な計算パワーを大幅に減らして追加的ビューの画像を生成することができるが、スピードを高くするにはコストがかかる。Ｚスタック層は複数の層を有し、この例では３層である。３つより多くのオブジェクトが重なって位置している場合、一部のオブジェクトはＺスタック層にはない。その理由は、これらは、メインビューポイントから見える第４、第５、等のオブジェクトであるからである。このように、データが失われることがある。好ましくは、Ｚスタックは、２つから５つの層、最も好ましくは３つから４つの層を有する。Ｚスタックに多くの層があればあるほど、データ消失の変化は少なくなるが、しかし、必要な計算パワーは大きくなる。本願の発明者は、もっともよい妥協点は上に示した範囲、すなわち、２ないし５、好ましくは３ないし４、最も好ましくは３であることに気がついた。

データのさらなる消失は、オブジェクト（例えば、家の側面）がメインビューポイントから見えるように方向付けられたときに、１つまたはほんの少数のピクセルしか占めない場合に起こる。他のビューポイントから分かる詳細の量は、あってもごく少ない。好ましい実施形態において、レンダラは、
３次元モデルとｎ個のメインビューポイントの入力を有する、色情報（ＲＧＢ）とＺ値を有するスタック層を有するｎ個のメインビューポイントＺスタックであるオブジェクトをレンダリングする初期部を有し、
前記レンダラは、初期段階で生成されたｎ個のメインビューポイントＺスタックから、Ｎ−ｎ個の追加的ビューポイントのＺスタックを構成するＺスタックコンストラクタをさらに有する。
ここで、Ｎ＞＞ｎである。前記レンダラは、さらに、Ｚスタックから画像情報を生成する画像情報隠蔽動作段階を有する。

このメインビューポイントを有する利点は、最もよいメインビューポイントを選択して追加的ビューポイント中のオブジェクトを構成できることである。選択は、どのメインビューポイントがオブジェクトの詳細を最も多く含むか、すなわち、最も多くの要素で表されるかに基づいてなされる。また、例えば、ｎ個のメインビューポイント中のオブジェクトの表示を外挿することにより、組み合わせルこともできる。最も最近の３次元ディスプレイでは、水平ライン状に配置したビューポイント位置でＮ個のビューが必要であり、これにより水平方向から見ることができる。そこで、好ましくはｎ＝２である。

第１段階に必要な計算パワーは２倍になるが、その後の段階ではほぼ同じ計算パワーである。ｎ＝２のメインビューポイントは、極端に左及び右のビューポイントとして選択することもできる。このように、各オブジェクトは、確実に、追加的ビューポイントのそれぞれに必要とされるより詳細に２つのメインビューの一方で表される。

同様に、将来の３次元ディスプレイは、垂直方向のルックアラウンド機能を備えるために、水平及び垂直位置のグリッドに配置したＮ＝ＮｘＮｙ個のビューを提供するかも知れない。その場合、好ましくはｎ＝４であり、メインビューポイントはグリッドの四隅：左上、右上、左下、右下に対応する。

さらに別のデータ消失が、Ｚスタックの水平、垂直方向の大きさが有限であるために生じる可能性がある。オブジェクトは各Ｚスタック内で異なる位置にあるので、ビューポイントの一部では、Ｚスタック内にオブジェクトがもはや無い場合がある。これらのオブジェクトは視界から消えてしまう。オブジェクトがメインビューポイントの境界を越えており、追加的ビューポイントの構成が可能でないこともある。これは、ｎ個のメインビューポイントを有する、上で説明した方法により解決することができる。オブジェクトがメインビューポイントの１つで見えない場合、他のメインビューポイントの１つでは見える可能性が高い。ｎ＝１を使用した場合、好ましい他のソリューションは、メインＺスタックの水平（または垂直）方向の大きさをＱ個の要素増やし、追加的Ｚスタックはすべて元の大きさのままにしておくことである。これにより、メインＺスタックは、シフトされて追加的ビューポイントでだけ見えるようになったオブジェクトを確実に含む。この場合、メインビューポイントフレームバッファは、元の、増加してない大きさである。大きくしたソリューションとｎ個のメインビューポイントの組み合わせを使用することもできる。

さらに、メインビューポイントから追加的ビューポイントにオブジェクトを再サンプリングすることにより、データの消失が起こる。これにより、メインビューポイントの解像度を、水平及び／または垂直方向の要素を２倍以上に高くすることにより解決される。このように、データ消失は無視できる。ｎ個のメインビューポイントを有するソリューションにおいて、周知の超解像度法により、ｎ個の通常解像度のＺスタックからより大きな解像度のオブジェクトを抽出することが可能である。しかし、現在の方法では、全ての状況で実行できるわけではなく、例えば、ｎ個のメインビューポイントがオブジェクトのまったく同じ情報を含んでいる退化した場合には実行できない。解像度を上げる方法は、全ての状況で実行可能である。

明らかに、本発明のコンセプト内で、多くの変形が可能である。当業者には言うまでもなく、本発明は、上で図示して説明したものに限定されない。本発明は、全ての新規な特徴のそれぞれ、及びその組み合わせにある。請求項中の参照数字は保護範囲を限定する者ではない。「有する」という動詞を用いたが、請求項に記載された要素以外の要素の存在を排除するものではない。要素に付された「１つの」、「一」という用語を使用したが、その要素が複数あることを排除するものではない。

本発明は、コンピュータで実行されたとき、本発明による方法を実行するプログラムコード手段を有するコンピュータプログラムにも化体することができる。また、コンピュータで実行されたとき、本発明による方法を実行する、コンピュータ読み取り可能媒体に格納されたプログラムコード手段を有するコンピュータプログラム製品にも化体することができる。また、本発明の特徴的な動作を実行する、本発明によるシステムで使用されるプログラムコード手段を有するプログラム製品にも化体することができる。本発明による方法は、上記の例に限定されない。例えば、アドレッシング手段に供給するデータについて述べたが、そのデータはアドレッシング手段に供給される前に何らかの計算ステップを通過することは排除されていない。例えば、「生画像データ」７９を特定タイプのディスプレイに最も好適なフォーマットに変換してもよいし、データを暗号化してもよい。このように、「アドレッシング手段に供給」という言葉は、データがアドレッシング手段に直接、レンダラを出たそのままの形で供給されなければならないと厳密に解釈してはならない。データはアドレッシング手段に入力するために使用される、すなわち、ディスプレイスクリーン上に示す画像の基礎となる。

本発明は、本発明によるシステムで使用するレンダラとして化体してもよい。本発明は、３次元ディスプレイ装置のディスプレイスクリーンをアドレッシングする基礎として異なるビューのＺスタックであるデータをレンダリングするレンダラとしても化体される。レンダラはシステム自体とは別に動作し、例えば、離れたコンピュータ上で動作することもできる。

ディスプレイ装置の基本原理を示す図である。 ２つのステレオ画像を分離するパララックスバリアの基本原理を示す図である。 図３Ａと３Ｂは、バリアとレンズ状スクリーンの基本原理を示す図である。 基本パララックスバリアディスプレイの問題を示す図である。 既知の複数ビュー装置を示す図である。 現在のレンダリング方法を示す図である。 本発明によるディスプレイ装置及び方法用のレンダリングパイプを示す概略図である。 ディスプレイ装置及び方法用のレンダリングパイプの詳細を示す図である。 本発明によるレンダリングパイプ及び方法の詳細を示す図である。 本発明による方法のさらに詳細を示す図である。

Claims (13)

1. システムであって、
   ディスプレイスクリーンを有する３次元ディスプレイ装置と、
   前記ディスプレイスクリーンをアドレッシングする手段と、
   ３次元モデルの入力と少なくとも１つのビューポイントの入力とを有し、前記アドレッシング手段に供給する画像情報をレンダリングするレンダラと、を有し、
   前記レンダラは、前記３次元モデルの入力とメインビューポイントの入力を有し、色情報とＺ値とを有するスタック層を有するメインビューポイントＺスタックの形式でオブジェクトをレンダリングする初期部を有し、
   前記レンダラは、さらに、前記初期部により生成された前記メインビューポイントＺスタックから、追加的ビューポイントのＺスタックが構成されるＺスタックコンストラクタと、前記Ｚスタックから画像情報を生成するさらなる画像情報隠蔽動作段階とを有する、システム。
2. 前記レンダラは、ビューポイントＺスタックからオブジェクトを抽出するオブジェクト抽出器を有する、請求項１に記載のシステム。
3. 前記オブジェクト抽出器は、前記メインビューポイントＺスタックからオブジェクトを抽出するように構成されている、請求項２に記載のシステム。
4. 前記レンダラは被写界深度レンダリング段階を有する、請求項１に記載のシステム。
5. 前記被写界深度レンダリング段階は、前記メインビューポイントＺスタックを被写界深度ぼかしを有するメインビューポイントＺスタックに被写界深度処理するように構成された、請求項４に記載のシステム。
6. 前記メインビューポイントＺスタックデータは不透明度のデータを含み、前記Ｚスタックコンストラクタはオブジェクトの不透明度をオブジェクト抽出の後、適合させる手段を有する、請求項２に記載のシステム。
7. 前記Ｚスタックコンストラクタは、オブジェクトのＲＧＢ値を、オブジェクト抽出の後、適合させる手段も有する、請求項２に記載のシステム。
8. 前記システムは、追加的ビューポイントのデータの入力を有する、請求項１に記載のシステム。
9. 追加的ビューポイントの数は１０以上である、請求項１に記載のシステム。
10. 請求項１に記載のシステムで使用するレンダラ。
11. ３次元ディスプレイ装置のアドレッシング手段に供給されるデータをレンダリングする方法であって、前記方法は初期部とＺスタックコンストラクタとさらなる画像乗法隠蔽動作段階とを有するシステムにより実施され、
    前記初期部が、メインビューポイントに対して、ＲＧＢとＺ値を有するスタック層を有するメインビューポイントＺスタックであるオブジェクトをレンダーするステップと、
    前記Ｚスタックコンストラクタが、前記メインビューポイントＺスタックから、追加的ビューポイントのＺスタックを構成するステップと、
    前記さらなる画像乗法隠蔽動作段階が、追加的ビューポイントのＺスタックからＺトレーシングにより、前記アドレッシング手段に供給される画像情報を生成するステップとを有する、方法。
12. 前記システムは被写界深度レンダリング段階をさらに有し、
    前記方法は、
    前記被写界深度レンダリング段階が、被写界深度レンダリングを前記メインビューポイントＺスタックに実行し、被写界深度ぼかしを有するメインビューポイントＺスタックをレンダーするステップをさらに有する、請求項１１に記載の方法。
13. 前記システムはオブジェクト抽出器をさらに有し、
    前記方法は、前記オブジェクト抽出器が、オブジェクト抽出を前記メインビューポイントＺスタックに実施する、請求項１１または１２に記載の方法。

Images