JP5421264B2 - 3dディスプレイのレンダリング方法の改良 - Google Patents

3dディスプレイのレンダリング方法の改良 Download PDF

Info

Publication number
JP5421264B2
JP5421264B2 JP2010522443A JP2010522443A JP5421264B2 JP 5421264 B2 JP5421264 B2 JP 5421264B2 JP 2010522443 A JP2010522443 A JP 2010522443A JP 2010522443 A JP2010522443 A JP 2010522443A JP 5421264 B2 JP5421264 B2 JP 5421264B2
Authority
JP
Japan
Prior art keywords
pixel
center
sample
display
aperture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010522443A
Other languages
English (en)
Other versions
JP2010538344A5 (ja
JP2010538344A (ja
Inventor
エリクソン,トーマス
モーラー,クリスティアン
ハーヴィック,オラ
カールセン,ジョーン
パターソン,ドウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Setred AS
Original Assignee
Setred AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Setred AS filed Critical Setred AS
Publication of JP2010538344A publication Critical patent/JP2010538344A/ja
Publication of JP2010538344A5 publication Critical patent/JP2010538344A5/ja
Application granted granted Critical
Publication of JP5421264B2 publication Critical patent/JP5421264B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Description

本発明は,三次元シーンを表示する画像をレンダリングする方法に関する。本発明の実施態様において,この画像はこの立体ディスプレイ装置に表示されたとき三次元シーンを再現することができる。
従来は3D画像を作るための方法として,観察者に対しそれぞれの眼で異なった視点のシーンを視認させるようにしていた。この方法の一つとして,スクリーンに2つの異なった偏光画像を表示し観察者がこれに対応する偏光フィルタをそれぞれの眼に着用する方法がある。
立体ディスプレイ若しくは三次元(3D)ディスプレイは,3D画像を表示するために,開口部若しくはスリット列を用いたものを2次元(2D)ディスプレイに実装している。この装置の本質は,観察者がスクリーンから離れているスリット列を通して2D画像を観察する際に,それぞれの眼で異なった部分の2D画像を視認するという点である。適切に画像がレンダリングされ2Dディスプレイに表示された場合,観察者はそれぞれの眼に必要なフィルタを着用することなく異なった視点の画像を視認することができる。
通常の3Dディスプレイに関する技術分野において,画質を決定する一つの重要なパラメータとなるのは,3Dディスプレイに表示される視点の数である。これは,十分なアニメーション速度を得るためには画像情報の計算をすることがひつようであるという課題をもたらす。標準的な画像処理ユニットを用いて画像情報の計算を行うことができれば,システムのコストを削減することができる。
さらに,立体ディスプレイは,中央のディスプレイ面の正面や背後に拡張した仮想シーンに対する画像の歪みを生じさせる。これは,連続するシーンが不連続の装置によって表示されたことに関する多くの結果が招くものである。画像の歪みは,例えばテアリングと呼ばれる,画像の線がギザギザとなること(ジャギー)や,薄い垂直機能や他の細かい機能が失われることを含む。
本発明の実施態様は,リアルタイムに高画質の画像を提供するための,画像データの計算方法に関する。
公知のレンダリング方法は,効果的な方法で,画像の歪みを最小化することができなかった。従来の技術は,設定された視認位置のためにレンダリングを最適化させていた。これは,画像の歪みが特定の観察位置に集約されるということを意味している。ディスプレイの観察者は自由に移動するため,画像の不連続を均等に拡散させることは効果的である。
公知のレンダリング方法は,重要なハードウェア資源や通常の画像処理ユニットを要し,さらに,画像の更新の遅延をもたらす可能性があった。これは,ハードウェア資源を追加することにより解決することができる可能性があるが,順次,コストの増加に繋がる。
本発明は,PCT/IB2005/001480のPCT出願に開示されている走査スリット多重化時間システムに関する発明を参照する。しかし,本発明は,他のディスプレイシステムを組合せて用いることもできる。例えば,同様の効果を得るために,スリット型の走査バックライトを形成する装置に代えて,ディスプレイの正面のシャッターに走査スリットを有するシステムを用いることもできる。この場合において,前記走査バックライトを,前記シャッターとして扱っても良い。また,前記シャッター又は前記バックライト開口部は,スリット以外の型を有していても良い。
この走査スリットシステムは,異なったシーンを,ディスプレイの正面の異なった位置に高速で表示することによって3D効果を生成する。これは,高いフレーム率の2Dディスプレイとシャッターを結合することによって達成される。シャッターは,当該ディスプレイと連動して,確実に特定の位置から2Dディスプレイの異なった部分だけが視認されるようにしている。図1の左記の図は,どのようにして観察者が,狭いスリットを通して,2つの異なる領域(各目あたり一つの領域)を視認するのかを示している。この単純なスリットシステムから3Dディスプレイを作るためには,観察者が走査スリットを透明な窓でも視認するかのように,スリットが十分高速に横方向に移動するようにしなければならない。ちらつき(フリッカー)を知覚しない程度に全てのスリットを高速で更新する場合,観察者はどの位置からでも下層の2Dディスプレイを最大解像度で視認することができる。図1の右記の図に示すように,2Dディスプレイはシャッターの開口部と連動する異なった画像を表示している。
上記の明確となった課題に鑑みて,以下の方法及び装置を提供する。
立体ディスプレイで用いるのに適した画像データを生成する方法であって,2Dディスプレイ上のピクセルと立体ディスプレイの開口部を組み合わせるために,3Dシーンの複数のサンプルを取得するステップを含み,特定の開口部に対する全てのサンプルの投影中心線は,前記開口部と実質的に同一の点を通過する方法を提供する。
一次元だけで視差を表示するように設計された立体ディスプレイで用いるのに適した画像データを生成する方法であって,前記立体ディスプレイの開口部は,スリットであり,2Dディスプレイ上のピクセルと立体ディスプレイの開口部を組み合わせるために,3Dシーンの複数のサンプルを取得するステップを含み,特定の開口部に対する全てのサンプルの投影中心線は,実質的に,前記開口部の中心線を通過し,前記開口部の中心線は,前記開口部の長軸に整列されている方法を提供する。
前記全てのサンプルの投影中心線は,実質的に,視野線を通過することとしても良い。前記視野線は,開口部の中心線に実質的に垂直になるように設定されることとしても良い。
前記特定の開口部に対する全てのサンプルの投影中心線は,実質的に,ピクセルの同一点を通過することとしても良い。前記特定のピクセルに対する全てのサンプルの投影中心線は,実質的に,ピクセルの同一点であるが異なった開口部を通過するようにすることとしても良い。
前記複数のサンプルは,実質的に,均等に分配されることとしても良い。前記特定の開口部に対する複数のサンプルは,実質的に,ディスプレイ面若しくは視野面の内の少なくとも一つに均等に分配されることとしても良い。前記特定のピクセルに対する複数のサンプルは,実質的に,シャッター面若しくは視野面の少なくとも一つに均等に分配されることとしても良い。
前記複数のサンプルは,スリット幅を実際のスリット幅より狭いものと仮定することにより得ることとしても良い。
各サンプルは,投影中心線に沿って取得された中心サンプルを含むこととしても良い。各サンプルは,複数の非中心サンプルの平均値を含むこととしても良い。前記複数の非中心サンプルは,投影中心線の周囲に分配される。前記非中心サンプルは,前記投影中心線の平行線に沿って,取得されることとしても良い。前記非中心サンプルは,前記投影中心線に対して角度をなす線に沿って取得されることとしても良い。この場合,前記非中心サンプルと前記投影中心線は交差することとしても良い。前記交点は,開口部列の面に存在することとしても良い。各サンプルは,中心サンプルと複数の非中心サンプルの平均値を含むこととしても良い。この場合,各中心サンプルは,投影中心線に沿って取得され,前記非中心サンプルは,投影中心線の周囲に分配されることとしても良い。各非中心サンプルは,少なくとも垂直距離若しくは水平距離うちの一つにおける投影中心線からの差分で求めることとしても良い。前記非中心サンプルは,投影中心線の周囲に均等に分配されることとしても良い。
前記非中心サンプルは,確率的ジッタリングによって分配されることとしても良い。確率的ジッタリングは,小さいオフセットがサンプリング位置に加えられているアーチファクトを隠すために用いられる技術である。このサンプリング(標本化)位置は,異なった乱数によって差分によって求められる。(オフセットされる。)最大オフセット距離は定義されていても良い。また最大オフセット距離は,サンプル間の距離と同等であっても良い。オフセットは,いかなる確率分布関数を有していても良い。この関数は,ガウス分布であっても良い。またオフセットは,疑似ランダム分布を提供するために,ルックアップテーブルによって制御されていても良い。
前記平均値は加重平均値であっても良い。
少なくとも一つの完全な視点画像及び深度マップを生成する工程をさらに含み,前記深度マップは前記完全な視点画像の各ピクセルのz方向を定義し,どのようにピクセルを予め定義された視点の変更に変換するかを前記深度マップを用いて決定する工程と,少なくとも一つの複数のサンプルが取得される新たな視点を生成するために画像補間を用いる工程を含む方法を提供する。
第一の位置から前記3Dシーンの第一の視点視野を計算する工程と,第二の位置から前記3Dシーンの第二の視点視野を計算する工程と,第三の位置から前記3Dシーンの第三の視点視野を補間する工程をさらに含み,前記第三の位置は,前記第二の位置よりも前記第一の位置に近い位置であり,前記補完は,前記第二の視点視野を,前記第三の位置からの対応する視野に変換し,前記変換された第二の視点視野をバッファに格納する工程と,前記第一の視点視野を,前記第三の位置からの対応する視野に変換し,前記変換された第一の視点視野をバッファに格納する工程を含み,前記変換された第二の視点視野のピクセル値は,前記変換された第一の視点視野によって提供される前記ピクセル値に関する情報がない場合を除き,上書きされることとしても良い。
前記第一,第二,若しくは第三の視点視野のうち少なくとも一つからサンプルを取得する工程をさらに含むこととしても良い。補間された視野で定義されていない全てのピクセルは,最も近くの計算されたピクセル値と等しい値が与えられることとしても良い。
サンプルがピクセルの値を決定するために使用され,これが立体ディスプレイ上に表示される場合にのみ,2Dディスプレイのピクセルの特定の組合せのサンプル及び立体ディスプレイの開口部が計算されることとしても良い。補間を実行する公知の方法は,存在しないシャッター位置に対応する複数のピクセル値も計算することとしている。従って,処理能力を浪費して,ディスプレイ上に表示されないピクセル値が計算されていた。
サンプルは,投影中心線が開口部上の中心線若しくは中心点及び2Dディスプレイ上のピクセルの中心の両方を通過するように,取得されることとしても良い。サンプル若しくは非中心サンプルは,投影中心線が開口部上の中心線若しくは中心点及び2Dディスプレイ上のピクセルのいずれかの点の両方を通過するように,取得されることとしても良い。
各サンプルは,投影中心線が開口部の中心を通過するように,取得されることとしても良い。各サンプルは,投影中心線が,開口部の中心からの差分によって求められた開口部の中心線若しくは中心点を通過するように,取得されることとしても良い。開口部の中心からの差分によって求められた開口部の中心線若しくは中心点は,少なくとも,開口部の縁又は隣接する2つの仮想開口部の中点のうちの一つであることとしても良い。
前記方法は,サンプルが取得される前に,ローパスフィルタを3Dシーンに適用する工程をさらに含むこととしても良い。ローパスフィルタは,3DシーンのZ値に基づいたローパス周波数を有する。ローパスフィルタは,3DシーンのZ値及びそのZ値の3Dピクセルの横幅に基づいたローパス周波数を有することとしても良い。前記ローパス周波数は,ルックアップテーブルによって特定されることとしても良い。
前記方法は,サンプルを取得する前に,3Dシーンにテセレーションを適用する工程をさらに含むこととしても良い。前記方法は,小さい三角形の閾値より大きい三角形をテセレーションする工程をさらに含むこととしても良い。前記テセレーションの閾値は,三角形の頂点の閾値のZ値に基づくものであっても良い。
3Dシーンの体積のデータは,読込操作で任意のボクセル値を見つけることができるように,3Dデータ構造に格納されることとしても良い。少なくとも一のサンプルが,レイトレーシングによって取得されることとしても良い。少なくとも一のサンプルが,ラスタライぜーションを用いて取得されることとしても良い。
前記方法は,少なくとも一のサンプルを,変換と投影によって取得する工程をさらに含み,前記変換は,立体ディスプレイの表面の形状(ジオメトリ)に基づいて変換の計算をする工程を含み,前記投影は,投影面に基づいて投影の計算をする工程を含むこととしても良い。
前記方法は,さらに少なくとももう一つの立体ディスプレイの開口部に対する3Dシーンの複数のサンプルを取得することとしても良い。前記方法は,さらに,立体ディスプレイの全ての開口部に対する3Dシーンの複数のサンプルを取得することとしても良い。
サンプルが取得される開口部とピクセルの組合せのグループは,少なくとも,3Dシーンの特定の視野線,特定の視野エリア,特定の視野ボリューム,特定の3Dシーンのボリューム,立体ディスプレイの特徴のうちの一つのために最適化されることとしても良い。視野線,視野エリア,視野ボリュームは,最適化された表示画像のための線,領域,量である。このような最適化は,ディスプレイが前記視野線,エリア,ボリュームから表示されたときに,正しい視点視野を与えることができるように,調整されていても良い。
また,ここに記載した方法を実行するために設計された立体ディスプレイ装置が提供される。
また,ここに記載した方法を実行するために設計された,立体ディスプレイを有するコンピュータシステムに用いられる画像処理装置が提供される。
また,ここに記載した方法を実行するために設計された,立体ディスプレイに用いられる画像処理装置が提供される
また,ここに記載した方法を実行するためのコードが格納されたコンピュータで読み取り可能なプログラム製品が提供される。
また,画像データを生成する方法であって,前記画像データは立体ディスプレイでの使用に適するものであり,前記画像データは,立体ディスプレイに表示されたときに3Dシーンを再現するものであり,前記立体ディスプレイ装置は,切り替え可能な開口部とスクリーンを有し,前記方法は,複数の視点サンプルから画像を生成する工程を含み,前記複数の視点サンプルは,ディスプレイが提供できる独立した視認位置よりも高いサンプルである方法を提供する。前記ディスプレイは,平行の視差のみを有し,観察者位置の定義された範囲は,線であることとしても良い。視点のサンプルは,開口面に,ゼロ間隔若しくは等間隔のどちらかであっても良い。視点のサンプルは,ディスプレイ面に,ゼロ間隔若しくは等間隔のどちらかを有することとしても良い。視点のサンプルは,観察面に,ゼロ間隔若しくは等間隔のどちらかを有することとしても良い。視点のサンプルは,ディスプレイ面及び開口面の両方に,ゼロ間隔若しくは等間隔のどちらかを有することとしても良い。また,視点のサンプルは,観察面に,等間隔を有することとしても良い。レンダリング方法は,観察の線に沿って配置された観察位置の画像のアーチファクトを低減させることとしても良い。
図1は,走査スリットシステムの操作について説明する。 図2は,2Dディスプレイの視錐台を示している。 図3は,走査スリットシステムに対する複数の視認位置を示している。 図4は,特定のシャッタースリットに対する複数の視認位置の数を示している。 図5は,特定のシャッタースリットに対する中間の視認位置を示している 図6は,観察者の移動に応じて,視点情報がどのように変化するかを示している。 図7は,空間内における2つのポイントからの複数の光線を示している。 図8は,2つのポイントがどのように光線を定義するかを示している 図9は,同一の3Dピクセルを通過する全ての光線の境界線を示している。 図10は,上方から見た3Dピクセルを示している。 図11は,隣接する3Dピクセルの中心線を示している。 図12は,ピクセルが完全に視認される位置及び部分的に視認される位置を示している。 図13は,観察者の位置の変化に応じてポイントがどのように移動するように見えるかを示している。 図14は,同一のポイントを表示する3Dピクセルがどの程度異なるかを示している。 図15は,図14と同じポイントを表示する異なった3Dピクセルを示している。 図16は,スケーリング及びプレスケーリングされた空間内の同じ視錐台を示す。 図17は,シャッター面のどちら側かの2つの異なった関数の視錐台を示している。 図18は,プレスケーリングされた空間のピクセルの錐台を示す 図19は,プレスケーリングされた空間の隣接するシャッタースリットに対するピクセルの錐台を示す。 図20は,一般的レンダリング方法を用いてどのように線がスケーリングされるかを示している。 図21は,公知のレンダリング方法を示している。 図22は,3Dピクセルの中心線と比較した公知のレンダリング方法を示している。 図23は,3Dピクセルの中心線と比較した公知のレンダリング方法を示している。 図24は,狭いスリットと仮定したレンダリング方法を示している。 図25は,投影点に基づいたカメラの位置を示している。 図26は,投影点に基づいたカメラの位置を示している。 図27は,被写界深度方法を示している。 図28は,複数視点方法を示している。 図29は,2つのオリジナルのカメラ間で補完されたカメラ視野を示している。
図面の詳細な説明
3Dディスプレイのシーン表現
3Dディスプレイがどのようにシーンを表現するのかを説明するために,動的な観察者を考慮する。静的な観察者を考慮することより,動的な観察者のための3Dディスプレイを理解することのほうが大きな課題となるからである。少なくとも走査スリットシステムにおいて,静的な観察者は,2Dディスプレイにおける深さ(デプス)と同じ精度でディスプレイにシーン表現を受けることができた。図2に示すように,2Dディスプレイのピクセルは,観察者のポイントから視錐台を表すようにして視認されている。これらの視錐台は,シーンの方を向いている観察者から離れれば離れるほど広くなっている。単純化させるために,3つのピクセルだけが同一のスリットを通して視認されている。
3Dディスプレイを説明する一つの方法として,異なった観察位置に対して異なった視点を表示することができる指向性のディスプレイがある。そしてこの効果を達成するための多くの方法がある。図3は,走査スリットシステムが,9つの異なった視認位置に対し表示する方法の例を示している。シャッターは,9つの視認位置からそれぞれ異なった画像が視認されるように,ディスプレイに表示される情報にフィルタをかける。これは,3Dディスプレイが水平方向の視差のみを有している場合の例に基づいている。そして,ディスプレイからの一定距離における線に沿った視認のためにレンダリングを最適化している。観察者の好みに応じて,線の距離,高さ,幅を変化させることができる。なお,ここでは,シャッターがディスプレイの正面に配置されているケースを説明している。また同様の方法は,シャッターが,線光源若しくは点光源によって表示されるディスプレイの背後にある場合の課題の解決にも適用される。
図4は,一のシャッタースリットに対する9つの視認位置における一部の視錐台の図を示している。この例においては,一のピクセルだけが各シャッタースリットの背後に視認され,そして異なったピクセルが各9つの視認位置から視認される。この状況を達成するために,この例においてディスプレイは異なった9つの2Dのフレームを表示しそれぞれに関連するシャッタースリットに連動させている。この例においては,9つの視認位置からそれぞれの視認される画像間でオーバーラップは生じていない。この画像は,単純に,異なった画像,TV番組,若しくはこれらを表示する異なった視点の3Dシーンであっても良い。この例において元の画像の要素が視認されない新しい画像を視認するために,観察者は,距離m分を移動することが必要となる。等しい三角形を用いてこの距離は以下の方程式によって表すことができる。
方程式1
上記の例は,あらゆる局面における実際の観察者の状況を単純化したものである。まず,多くの事例で観察者は,例示した9つの視認位置の中間に位置する可能性がある。この例において観察者は,その中間的位置に隣接する2つの位置の一部を視認することとなる。自由に移動を行う観察者にとって,この9つの位置に特徴的なものはないので,観察者はどの中間的位置にも同じ確率で位置する可能性がある。その中間的位置において,そこから視認できる画像は隣接する2つの番号の視認位置の画像を補完した画像であると考えることができる。この9つの番号が振られた位置には観察者にとって重要な意味はないが,視認位置の端から端まで移動したとき,この例でいえば1から9の視認位置に移動したときに表示される新しい視点情報の表す比率と距離mは関連しているといえる。図5は,異なった視点がシャッタースリットの中心を通る番号付けられた視認位置からの線に沿ってサンプリングされたポイントを表示する場合に,当該サンプル間の間隔がシャッター面からの一定距ごとに異なっていることを示している。このサンプル間の間隔aは,以下の方程式で表される。
方程式2
観察者位置4.5および5.5に例示されるように,観察者は中間的位置に同じ確率で置かれる可能性があるため,それらの線若しくは視錐台に沿ってある程度任意にサンプルを選択することができる。それらの中間的位置からの線若しくは視錐台を代わりのサンプルとすることができ,2点間の平均若しくは加重平均に基づいたピクセル値をとることができる。例えば,視認位置5で中心となるピクセルには,中間的位置4.5及び5.5の平均値若しくは加重平均値を与えることとしても良い。
上記の例は,ディスプレイ面のピクセルの幅が正確にシャッタースリットを通して視認されるという特別なケースを示している。このようなケースは等しい三角形から,以下の特定の条件に適した場合のみ示される。
方程式3
Δeはシャッタースリットの幅であり,S,D,及びP上記と同様に定義される。
これらの条件を満たさないディスプレイを使用することも考えられる。この場合,データをレンダリングする際のさらなる考慮事項がある。図6は,3つのピクセル幅が1のシャッタースリットから視認される場合の例を示している。このような場合にはΔe>Pとなるが,Δe<Pである場合に行った解析と同様の解析を行うことができる。任意の観察者位置は,原視点を表示するために選択される。観察者がこの位置から離れるように移動するにつれて,ディスプレイの新しい部分がそのスリットを通して視認される。この新しい部分は,新しい視点情報を表示する。しかし,原視点の一部は観察者が元の観察位置から十分に離れるまで視認され続ける。等しい三角形によると,その距離は以下のように示される。
方程式4
新しい視点と元の視点の情報の割合は,以下のように,nで直線的に変化する。
方程式5
方程式1は,完全に新しいピクセルを観察者が視認するためにはどのくらいの距離を移動する必要があるかについての情報を与える。方程式5で得られた値を代入する。
方程式6
これは,観察者が観察の線に沿って移動した場合において,新しい視点の情報の比率を,現在残っている古い視点の情報の比率に加えた比率として理解することができる。方程式3と方程式6を組み合わせることにより,1の比率を得ることができる。これは,正確に1のピクセルがそれぞれのスリットを通して視認されている場合の状況を予測するためのものである。
一の特定の観察者位置のために,新しい視点の情報と原視点の情報を正しく補正することができる。しかし,これを原視点位置として定義し,同様の解析を再び行うことができる。これは,単に,観察者が位置する場所を正確に理解してディスプレイが設けられている場合を除き,ほとんどの観察者位置に対してエラーを引き起こすということを示している。このエラーは,シーンの表現における不正確性と考えられる。
観察者の位置は任意かつ不明である可能性があるので,3Dディスプレイを説明するための異なったモデルを用いることは,この点において役立つ可能性ある。3Dディスプレイとは,選択された空間内の選択された面を通過する異なった光線,つまり光のベクトルを表現することのできるディスプレイであると言える。図7は,ディスプレイ面を通過する空間内の任意の2点から選択された光線を示している。以下の説明は,主に,水平視差システムにおいて最も重要となるy方向の光線が視認されない視野に基づくものである。この解析は,垂直視差を用いる同様の方法も含まれるように拡大して解釈することができる。
多くのケースの光を光線(幾何光学)として扱うことができるが,例えば,干渉/回折などのような光の波動特性を考慮しなければならないケースが存在する。しかし,以下では回折の解析は無視され,純粋な幾何学的アプローチが用いられる。
光線の一意的な方向性は,光線が通過する空間の2点によって定義される。この光線をオブジェクトに戻ってトレースし,光が空気中を介して伝わったと仮定することにより,輝度を決定することができる。これは実際の光照射野の簡略化モデルであるが,これによりレイトレーシング解析を簡略化することができる。従って,図8に示されるように,光線L(s,t,u,v)は2点,若しくは4D空間の4つの変数によって一意的に定義される。しかし,より詳細な光照射野の解析を行うために,5Dプレノプティック関数が考慮されうる。若しくは,時間などの次元や,光波長などが考慮されたより洗練されたアプローチが考慮される。4D空間において,空間を介したとき,解析光線は一定の輝度及び色を有する。
空間内の2点を定義するために用いられた二つの面うちの一つを,ディスプレイ面として選択することができる。現実のシーンを完全に表現するために,無限の数の光線を表現することが必要である。これは,一の面上のそれぞれポイントは,他方の面上の無限の数のポイントを通過する光線を有していることを意味し,またその逆も同じである。実際に,光線は連続的な光照射野を形成する。
実際のディスプレイは,独自にそれぞれの光線の値を決定することが出来ないため,完璧な状態にはならない。3Dディスプレイピクセルは,ディスプレイが共通のアドレスだけを指定することができる光線の範囲として定義される。光線が,独立してはいないが異なった値をとる可能性もあるが,ここでは,この光線の範囲が同じ値をとった場合が考慮される。また,実際のディスプレイは,表示され得る光線の全体的な範囲内に制限される可能性がある。すなわち,視野角内で制限される。
走査スリットシステムにおいて,3Dピクセルを定義するために,ディスプレイのピクセルとシャッターの開口部の組み合わせを考慮する。実際に,この方法で任意の立体ディスプレイのモデルを作ることができる。最も一般的なこのシステムの実装形態においては,3Dピクセルは,色と輝度の点において一の値だけをとることができる。光線を定義するという点において,それは,ディスプレイ面及びシャッター面を平行面として選択するための解析を簡素化する。図9において示すように,3Dピクセルは光線の範囲を表示している。この範囲を,同じディスプレイピクセルかつ同じシャッターの開口部を通過する全ての光線として定義することができる。ピクセルが正方形でシャッターの開口部が縦のスリットであるケースを詳細に説明する。そして,同様の解析は様々な形状のピクセル及び開口部に拡大して解釈することができる。特定のシステムでは垂直の視差を有していないため,観察者の線が選択され,そしてこの線を通過する光線だけが関連していると考えられる。また,ディスプレイ及びシャッターの両方に対処することができないブラックエリアが存在していることにも注意が必要である。これは3Dピクセルのギャップを発生させている。この例の一つは,多くの2Dディスプレイが有するピクセル間のブラックギャップである。
全ての光線が,3Dピクセルの値に対して等しい重み付けを有することとなった場合,3Dピクセルの値は二重積分によって定義されることとしても良い。第一の積分は,ディスプレイピクセル上の単一ポイントに対するスリットのエリアを通過する全ての光線の強度関数を積分する。第二の積分は,ディスプレイピクセルのエリアについての第一の積分の結果を積分する。観察者の線を通過する光線が関連するものと考えられるケースにおいては,積分する値は若干複雑なものとなる。この場合,第一の積分はディスプレイピクセル上の単一のポイントに対するスリットのエリア及びの観察者の線を通過する全ての光線の強度関数を積分する。実際にこれは,ディスプレイピクセル上の指定された点に対するシャッタースリット上の平行線を積分することを意味する。さらに第二の積分は,ディスプレイピクセルのエリアについての第一の積分を積分する。強度関数はL(s,t,u,v)であり,二重積分は以下の用に表される。
方程式7
より高度なモデルにおいては,伝達関数,a(s,t,u,v)を用いても良い。これは異なる光線の重み付けを効果的に行うことができる。この場合においては,前記L及びaの関数の積を積分する。
図10は,y軸の俯瞰から前記2面の断面を示す。この特定の断面図に関して前記方程式7における積分は,以下のように表記される。
方程式8
ここでPはピクセル幅であり,Δeはシャッタースリット幅である。
完全な3Dピクセルの値を決定するために,ピクセルの高さについてのy方向における方程式8を積分することが必要である。ディスクリートシステムにおいて,方程式8は合計(sam)として記載される。
方程式9
ここでPはピクセル幅であり,Δeはシャッタースリット幅である。
ディスプレイピクセルの縁及びシャッタースリットからの境界光線を描くことにより,3Dピクセルからの光線がスイープするエリアを定義することができる。シャッターとディスプレイの間の領域を除いた全てのエリアが,シャッタースリット及びピクセルの反対の縁からの光線によって境界付けられているのを確認することができる。この領域において,前記エリアはシャッタースリット及ピクセル上の同じ縁からの光線によって境界付けられている。以下の方程式10においては,この光線によってスイープされたエリアの幅はwとし,これはzによって変化する。
方程式10
図11は,複数の隣接する3Dピクセルの中心線を示している。これは中心線が,ディスプレイ面とシャッター面の両方において交差していることを示している。このため,光線の中心線を記載する代替的な方法が2つあるといえる。それらは,一定の角度間隔でピクセルの中心を通過する光線のグループとして記載することもできるし,別の角度間隔でシャッタースリットの中心を通過する光線のグループとして記載することもできる。図11の例においては,シャッタースリットがディスプレイピクセルより幅が広くなっている。従って,中心線のグループはシャッター面と比べて,ディスプレイ面においてより密集した間隔とされているが,しかし一方で,角度間隔はシャッター面と比べて,ディスプレイ面におけるグループ内においてより大きくなっている。
この例においては角度間隔が,光線のグループ内において統一されていないという点に注意すべきである。そのかわりに角度間隔は大きい視野角でより小さくなる。
この状況を完全に理解するためには,再度,観察者を考慮して解析を行う必要がある。図12は,ディスプレイ面から距離Dの位置に位置する観察者を示している。また,2Dピクセルを全体的若しくは部分的に視認することができる視認位置を示している。この視野区間の幅は,方程式10(3Dピクセルを定義するエリア)おいて,z=Dと置き換えることにより得ることができる。また,方程式1及び方程式4によって定義される距離にも関係していることがわかる。ある視認位置においては2Dピクセルが完全に視認され,他の視認位置においては2Dピクセルが部分的にのみ視認されることは前述した。その他にも,z方向に沿ったいずれかポイントを選択した場合,2Dピクセルは完全に視認され,すなわち,あるエリア内におけるピクセル上の全てのポイントを通して視認され,一方そうでない場合には,2Dピクセルは部分的にのみ視認される,すなわち,あるエリアにおけるピクセル上の部分のみを通して視認される点に注意すべきである。3Dピクセルの値を決定するためにいくつかのサンプルを取得し,これらのサンプルについて異なった重み付けをおこなうことを望む場合,このことが関連する場合がある。
3Dディスプレイにおいて3Dピクセルは,z方向のどこにでもオブジェクトを表示することができる。観察者がオブジェクトを知覚する場所を決定することは,他の基準となる。図13は,2つの視認位置で同じスリットを通して視認される2Dピクセルに対する視錐台を示している。すなわち2つの視錐台は,同じ3Dピクセルの一部からの光線の範囲を示している。従って,それらは必ず同じ色と輝度を有する。この例において,他の基準は,観察者に位置1において奥行きZ1のポイントを知覚させる。観察者が位置1から位置2に移動するにつれて,そのポイントも移動するように見える。観察者がディスプレイ面からさらに離れると,ポイントはより移動するように見える。どのようにポイントが移動するように見えるのかは,他の基準に正確に基づいている。ポイントは,z面の範囲内で,かつz軸に沿って移動する。これは,観察者がゴーグルベースのステレオ方式においてヘッドトラッキングなしで頭部を移動させたときと同様の効果を観察者に対し経験させる。シーンは変化したように見えるが,表示される視点は同じままである。走査スリットシステムでは,この効果は局部的に知覚のエラーを生じさせる。図10において定義される3Dピクセルは,ポイントは移動するように見える最大量すなわちエラーの量の測定と見なされる。
どの程度ポイントが移動して見えるかを決定する基準は,通常,観察者の他の眼により視認された視点及び頭部の動きから得られた視差である。
図14は,ディスプレイ面の背後にあるポイントを示している。図14は,そのポイントが各シャッタースリットの背後の3ピクセルの値を設定するようなレンダリング方法が用いられていると仮定している。斜線で示したそのポイントからの狭い視錐台は,そのポイントとこれらのピクセルを通過する光線の範囲を示している。しかし,これらのピクセルの値を設定することによって,選択された2Dピクセルとシャッタースリットの組合せを表す3Dピクセルの値が必然的に定まる。この図は,頭部位置1及び頭部位置2に対するこのような3つの3Dピクセルを示している。全ての3Dピクセルがオーバーラップしているエリアが比較的広くなっていることと,そしてそれがポイントの位置している場所に関して不確実性を表していることがわかる。方程式10より,不確実性のエリアはピクセルのサイズ,スリットのサイズ,シャッターとディスプレイの空隙,及びディスプレイ面からの距離に基づくものであることを推測することができる。
図15は,シャッターのスリット幅が減少した場合の例を示している。不確実性のエリアは,大幅に減少する。
3D画像の生成
画像生成スキームは,3Dディスプレイに表示されたときに3Dシーンを再現する一又は複数の2D画像を生成する。特定のスリット位置に対するピクセルの値を決定するため,仮想シーンを通過するベクトル若しくは光線をサンプリングすることによって,2D画像を生成することができる。これはレイトレーシングに用いられる方法である。サンプルの取得の際に沿う線,すなわちサンプリングベクトル若しくは光線は,投影中心線と呼ぶことができる。レイトレーシングに2Dアンチエイリアスを用いる場合,一以上の線に沿ってサンプリングを実行し,そして,これらのサンプルの値に基づいた値をピクセルに与える。他のサンプルの線は,投影中心線の周囲に分配することができる。レイトレーシングと同様の方法で線に沿ったサンプリングを行わないラスタライゼーションにおいては,代わりに,オブジェクトが特定のピクセル及びカメラ位置の視錐台内におさまっているかどうかをアルゴリズムによって確認し,そして,各ピクセルにはこれに基づく値が与えられる。この視錐台の中心を投影中心線と呼ぶこともできる。ラスタライズゼーションに2Dアンチエイリスを用いる場合,通常,それぞれのピクセルを複数のサブピクセルに分割し,そして,元のピクセルにはこれらのサブピクセルに基づく値が与えられる。以下の解析では,レイトレーシングとラスタライゼーションは同様の結果となる。一の方法が説明に用いられている場合であっても,同様の説明を他の方法に用いることができる。
上記の解析が示すように,各ピクセルとシャッタースリットの組合せ(すなわち3Dピクセル)は,一定の範囲内の無限の数の光線を表している。従って,2D画像をディスプレイ面のディスプレイのために生成する方法には,多数の異なった方法がある。異なった方法は,観察者に対して異なる視覚的効果を与える。
2つの公知の方法が,上記のディスプレイシーン表現に関連して解析される。視覚的効果を向上させる方法について述べる。
1 一般的レンダリング方法(GRM)
一般的レンダリング方法(GRM)は,特許出願PCT/IB2005/001480において説明されている。GRMは,非常に薄いスリットとシーンの非常に細かいディティール有する理想のディスプレイのレンダリング方法の良い基準となる。この点において,非常に薄いスリットとは,実質的にピクセル幅と等しい幅を有するスリットであり,非常に細かいディティールとは,実質的に1のピクセルの解像度に等しい角直径を有するディティールである。
方程式11は,GRMの主要な方程式の一つである。GRMは,一のシャッタースリットに対する全ての視点が標準的な視点レンダリング操作を介してキャプチャされるように,シーンを変換する。GRMは,通常の視点レンダリング工程の前若しくは後に実行されるx座標の変換を行う。実用的な実施形態においては,それらを別々の工程とする必要はなく,単一の方程式で行うことができる点に留意すべきである。ただし,複雑な問題を理解しようとする際に,これらを2つの工程に分離して考えることは有益である。
方程式11
理想的なケースを考慮する。理想的なケースでは,GRM変換は,標準的な視点レンダリング操作が実行される際に全く歪みを生じさない方法で情報を変更する。これは,全ての三角形が一定のz値を有している場合,又はシーン内の各要素が十分小さい場合である。
このレンダリング方法がどのように3Dシーンのサンプルを取得するのかを理解するために,変換された若しくはスケーリングされた空間内において,サンプリングを実行するレンダリング操作を,プレスケーリングされた空間,すなわち元のシーン空間に変換することができる。スケーリングされた空間においては,通常のカメラは,所定の視錐台に設定される。図16は,カメラがz=100,シャッターがz=10,ディスプレイがz=0,に設置されている場合を示している。スリットはx=0であるとすると,視錐台はディスプレイと,x=100及びx=−100で交差する。
スケーリングされた値を方程式11に挿入することで,プレスケーリングされた視錐台を計算することができる。また,図16は,カメラがキャプチャしたプレスケーリングされた空間を示している。その形状は,理に適っている。z=100で,観察の線をカバーし,シャッター面z=10で交差する。方程式11が無限の狭いスリットを仮定し場合,プレスケーリングおよびスケーリングがされた空間内の同一点でディスプレイ面と交差する。
ピクセルにスケーリングされたスペースの値が与えられたとき,取得された実際のサンプルとなる。問題となっている視錐台に対するディスプレイ面内に200ピクセル存在する場合,ピクセルは,ディスプレイ面に1のピッチを有する。レイトレーシングと類似の方法を用いる基本的な例では,カメラは,スケーリングされたスペース内の各ピクセルの中心を通るカメラ位置からの線に沿ってサンプルを取得する。図18は,プレスケーリングされたスペースに変換された複数の隣接するピクセルに対する線を示している。図11と比較すると,問題となっているシャッタースリットを通過する全ての3Dピクセルに対する中心線に沿ったサンプリングと同じであることがわかる。小さい特徴若しくは他の高周波数要素が元のシーンに存在する可能性があり,さらに多くの線に沿ってサンプリングすることが求められる。2Dアンチエイリアスが標準的な投影ステップに用いられた場合,図18に示された線とこれらに沿ったサンプルとの間に,一又は複数の線を追加することに相当する。そして,最終的なピクセル値は,隣接する線の平均若しくは加重平均を取得することにより決定することができる。代わりに,ラスタライゼーションを用いて,ピクセルをサブピクセルに分割し,元のピクセルにこれらに基づく値を与えても良い。この方法を使用することによって,観察者が知覚する画像アーチファクトを減少させることができる。この方法は,スリットの中心を通ってサンプリングされた光線の数を増加させる。しかし,スリットの他の部分を通過する光線のサンプルを取得することはしない。
また,図11において例示されている3Dピクセルの中心線も,ディスプレイ面で交差している。GRMは,他のスリット位置に対する画像をレンダリングする際に,取得された異なったサンプルによってこれを処理する。基本的なケースに関して,これは,プレスケーリングされた視錐台のスリットの横幅を横向きにシフトすることを含む。eが図11において異なった値を取るので,カメラのシフトは,若干異なったシーンの転換を生じさせる。図19は,プレスケーリングされた空間の2つの隣接する視錐台を示す。興味深い点は,シャッター面に近接した2つの視錐台の間に菱形に形成されたスペースがあり,それはどの視錐台によってもキャプチャされない点である。シャッター面内の若しくは近くのサンプルは,視錐台に密接な間隔とされているが,サンプル間の距離が大きい場合,菱形空間内にジャンプが発生する。これは,上記2Dアンチエイリアス方法が用いられた場合,プレスケーリングされた空間内のシャッター面内若しくはこれに近いサンプル間の距離は,減少しないことを示している。
シャッター面付近のサンプル間隔を減少させるために,追加的に仮想スリット位置を,小さいスリット間隔とともにサンプリングし,平均値若しくは加重平均値を取ることができる。例えば,スリットの中心とスリットの交点でサンプルを取得し,中心のサンプルに0.5の重み付けを与え,交点のサンプルに0.25の重み付けを与えることができる。また,ローパスフィルタをレンダリングのステップに優先して適用することができる。そのようなフィルタは,z値に基づく異なったローパス周波数を有していても良い。この周波数の波長は,方程式10において定義される距離wに関連していることとしても良い。このフィルタが,変換ステップの後に適用された場合,周波数をその変換に合わせて調整することが重要となる。
シャッター面付近のサンプル間の距離を減少させる他の方法は,シャッター面のいずれかの側に2つの異なったスケーリング関数を用いることである。一例としては,方程式11におけるSがz<Sで(S+a)に置き換えられ,さらに,Sがz>Sで(S−b)に置き換えられる2つのバージョンを用いることである。この例において,a及びbは,正又は負の任意の値をとることができる定数である。z=Sに関しては,特別なケースを定義することもできるし,2つの方程式のうちのどちらかを使用することを選択することもできる。a及びbは,ピクセル錐台がシャッター面において等しく区切られるように,設定される。図17は一例を示す。この例において,aは,シャッター面におけるスリット境界を通るディスプレイ面における視錐台の端からの線の交点によって決定される。またbは,スリットの境界を通る観察の線の端からの線の交点によって決定される。この例において等しい三角形によると以下のように表される。
方程式12
T=ディスプレイ面における視錐台の幅,W=観察の線の幅,Δe=シャッタースリット幅,S=シャッターとディスプレイの間隔,D=ディスプレイと観察の線の間隔を示す。
他の方法は,関数ではなくルックアップテーブルを定義することである。このテーブルは,zの関数としてスケーリングを定義する。これにより,方程式11において示すような,スケーリングに依存するxを定義する一のテーブルと,スケーリングに依存するeを定義する一のテーブルとに分けることができる。シーンの一部がキャプチャされないエリアまで標準曲線をトレースすることができる。このエリアでは,シフトは減少する。またテーブルは,上記スケーリング関数の他の一の関数をトレースすることができる。
最小テセレーション
GRMの課題の一つは,グラフィックカードが線形補間を広範に使用する傾向にあるということである。三角形上の全てのポイントに対する定数zを有する三角形において,上記の方程式におけるスケーリングとシフト係数は直線的であるのでこれは問題とならない。このような三角形は,シャッターの標準と平行になる標準を有している。異なったz値における頂点を有する三角形において,線形補間はエラーを引き起こす。図20は,プレスケーリングされた空間における直線的な水平線は,スケーリングされた空間におけるもののように見えることを示している。三角形の一端がz=−30の値を有し,さらにその他端がz=30の値を有する場合,線形補間は直線に対して0.33から−0.35を通過するx値を与える。しかし,補正曲線は約z=10の周囲で漸近線を有する高い非直線となっている。この問題点を解決するための一つの方法は,三角形をいくつかの小さい三角形に分割することである。この方法はテセレーションと呼ばれる。これは,GRMのサンプリング周波数を効果的に向上させる。
図18は,プレスケーリングされた空間における隣接するピクセルの視錐台を表すものと捉えることができる。これらの視錐台の一つだけに基づく三角形は,スケーリングされたスペースにおける一のピクセルによってのみキャプチャされる。大きい三角形が,少なくとも一の新しい三角形が一の視錐台のみに基づくようにテレセレーションされた場合,その三角形の頂点が正しくスケーリングされていることを確認することができる。以下の図により,この最小の三角形のサイズは,頂点のz及びxの位置に大きく依存していることがわかる。これにより,十分なテセレーションが実行されたことを確認する一般的なルールを作成することが可能である。このようなスキームは,z値がシャッター面(S)のz値に近ければ近いほど,x方向及びy方向により小さい三角形にテセレーションすることができる。また,x値が大きければ大きいほど,x方向により小さい三角形にテセレーションすることができる。図18は,一のスリット位置に対する視錐体のみを示している。全てのスリットポジションに対するシーン全体のテセレーションを実行することもできる。この場合において,新しいスリット軸への移動はx軸のシフトに相当するため,z方向のテセレーションは,最悪の場合のx値を考慮する。代わりに,z方向のテセレーションを決定する最大許容視角とする。
シャッター面とディスプレイ面を置換するGRM
別の方法として,標準的な視点レンダリング作業を通して,ピクセル列若しくは一のディスプレイピクセルに対する全ての視点がキャプチャされるようにシーンを変換することもできる。この変換には,シャッターがディスプレイとして扱われディスプレイがシャッターとして扱われる変換及び標準的な投影操作が提供される方程式11に記載の標準的なGRM変換を用いることができる。一の視点のレンダリングの成果は,一のピクセル列の全てのシャッタースリット位置に対する全てのピクセル値となる。この成果は,その後,特定のシャッター位置に対する完全なフレームが組み立てられる方法でメモリに読み込まれる。基本的なケースにおいては,線は,ピクセルの中心及びそれぞれのシャッタースリットの中心を通ってサンプリングされる。このサンプリングは,通常のGRMサンプリングの基本的なケースと同様である。しかし,スケーリングされた空間に2Dアンチエイリアスの導入することは,様々な効果を有する。この場合において,追加サンプルはシャッタースリットではなく,ピクセルの中心の全てを通過する追加的な線を介して取得される。菱形図形は,シャッター面ではなくディスプレイ面の付近に出現する。同様の改善された方法は,例えば追加する仮想ピクセル位置の仮定などのような標準GRMにおけるGRMのバリエーションに用いることができる。
体積データのワーピングの改善
体積データは,ポリゴンではなく,空間におけるポイント,ボクセルに基づいている。これらの点を表すための一般的な方法は複数の平行面を介することである。当該複数の平行面はそれぞれ,当該平行面における全てのボクセルを表すテクスチャを有している。
方程式11は,カメラがeによってフトしたときの,GRMを用いた特定の位置における,xからxのx座標のシフトを説明している。定数zについては,方程式11は,2つのコンポーネントに分割されうる。x座標の線形スケーリング係数及びx座標から独立したシフトである。そうすることによって,スケーリング係数はeから独立する。これはスケーリングを一度に全てのカメラ位置から実行することができることを意味する。前記スケーリング係数とシフトの両方は,z座標に依存する。
この観測に基づいて,体積データのレンダリングについて,以下の実施形態を構築することができる。
1 テクスチャ面の標準がシャッター面の標準と平行であるシーンの表現。すなわち,zはテクスチャ面における定数である。
2 特定のスリット位置に対する第一のカメラ位置の選択。
3 z座標を挿入しe=0を設定することによって,上記方程式からの係数を用いたx座標におけるテクスチャ面の拡張。ただし,z>Sである場合,前記拡張は符号が変わることに注意が必要である。これは,事実上,テクスチャの反転を構成する。
4 選択されたスリット位置に対する視錐台座標に基づいた標準的なシーンの投影の作成。
5 新しいスリット位置及び対応するカメラ位置の選択。
6 元のカメラ位置と比較した新しいカメラ位置に対する正しいカメラシフトeの挿入によるx方向におけるテクスチャ面のシフト。このシフトは方程式11による。このシフトは,z値に基づくものであるので,それぞれテクスチャ面ごとに異なる。
7 全てのスリット位置のレンダリングが完了するまで,ステップ4から6を繰り返す。
アンチエイリアスを目的とするために,上記ステップ1及びステップ2の間のテクスチャ面のそれぞれにローパスフィルタを適用することができる。これは,z座標に依存する異なったフィルタでも行うことができる。ローパスフィルタの波長若しくは最小限の特徴量は,z値が与えられた方程式10によって説明されたw(3Dピクセルによってスイープされた幅)に一致するように設定される。他の代替手段と方法については後述する。
非常に大きな拡張係数における高精度の問題に起因して,特別なケースがシャッター面内若しくはシャッター面付近のテクスチャ面に要求される。その一つの方法としては,これらの面のシフトの後に拡張を行う。また他の方法としては,シャッター面のいずれかの側の拡張の方程式について異なったものを用いる。さらに他の方法としては,上記通常のスケーリングやシフトの方程式ではなく,ルックアップテーブルを用いる。このようなルックアップテーブルは,スケーリング及びシフト係数について上限を設けることができる。これらの代替手段については,より詳細に,前述した。
前記拡張の前に,どのスリット位置においても視認されないテクスチャ面の一部があるならばそれを決定し削除することができる。上記の方法は,ボクセルがテクスチャ面によって表示されるケースに限定されない。特定の視野角において,まず,ボクセルは個別に拡張及び/又はグループとしてシフトされ,次に,各新しいカメラ位置に対する特定の深さのグループとしてシフトされる。
性能と質を向上させる方法の一つとして,複数の視野角の面を予め計算するという方法がある。これらの視野角間において,ある状況では,非直線的なz依存の変換の近似を実行するのに十分となる。
2 複数視点
図21は,公知のレンダリング方法の例を示している。これは,ピクセルの間隔幅の3倍のシャッタースリットを有する3視野(3つの独立した視認位置)システムの例である。それぞれのシャッター位置について,3つの視点がレンダリングされる。これらは,ディスプレイ/ディフューザ面で重複しない3つの視錐台が生成されるように,それぞれのシャッター位置から取得される。また,これらは,視錐台がシャッター面上のシャッタースリットに及ぶように取得される。また,これらは,同じカメラが全てのスリットに対する特定の視点に使用されるように取得されることとしても良い。通常,スリットを通した現実/仮想世界で視認されることを記録する方法で視野が生成されるように説明される。
このような方法によって,サンプルは,図11において説明した3Dピクセルの中心線と比較して,不規則的に分散される。これは,ある観察位置からでは,画像は低い程度のエラーを有し,その一方で,他の観察位置からではそのエラーは拡大することを意味している。前述のように,観察者の正確な目の位置の情報がない場合,サンプルをできるだけ均等に分散させるようとすることもできる。図11の説明において,3Dピクセルの中心線は,2Dピクセルの中心を通過する中心線のグループ若しくはシャッタースリットの中心を通過する中心線のグループのいずれかとして視認されうることが記載されている。図22は,公知の方法を用いて取得されたサンプルと特定のシャッタースリットに対する中心線のグループを比較するものであり,一方,図23は,当該サンプルと特定のディスプレイピクセルに対する中心線のグループを比較するものである。数字と文字は,どのサンプルがどの3Dピクセルの中心線に対応しているかを示している。図23においては,異なった3Dピクセルに対して取得されたサンプルと前記中心線の間の距離は,比較的小さく,かつ比較的一定となっている。図22おける状況とは異なる。このケースにおいては,例えば3Dピクセル5などのいくつかの3Dピクセルに関しては前記中心線とサンプルの間の距離が極めて小さくなっているが,例えば3Dピクセル3及び4などの他の3Dピクセルに関してはより大きくなっている。また,3Dピクセル4に関して,サンプルは,前記中心線から反時計回りのローテーションで取得されるが,3Dピクセル3に関しては,サンプルは,時計回りのローテーションで取得される。これを,不均一であるサンプル間の角度間隔として表現することができる。従って,最悪の場合,サンプル間隔は,サンプルが不均一に分散された場合より悪くなる。これは,原シーンにおける高画像周波数要素のより乏しい表現をもたらす。
前記中心線からの不均一な距離の結果は,3Dピクセル5の中心線と観察の線の交点(目の位置V)からのものであり,エラーは比較的小さくなっている。実際に,この位置(4,5及び6)から視認可能な3つのピクセルは,この視認位置からのサンプルを取得してレンダリングされた。すなわち,前記ピクセルは観察者がこの位置から視認すべき視点を表示する。対照的に,3Dピクセル4と観察の線の交点(目の位置V)から視認する場合,エラーは比較的大きくなっている。従って,視認できるピクセルは,目の位置V及びVからサンプルを取得してレンダリングされ,エラーが視認されるVからは取得しない。
上記所見は,このレンダリング方法の視覚的な外観にも反映される。視点間のジャンプの違いは,概ね同じであるが,特定のスリットの画像内の不連続は際立っている。しかし,画像の質を向上させるために,取得されるサンプルの数を増加させることができる。
公知の方法は,画像のレンダリングに使用される視点位置の数が独立した視認位置の数と等しいことを前提としている。簡便を図るため2つの用語を以下に定義する。
「視点位置の数」とは,一又は複数のピクセルが特定のスリット若しくは開口部に対してレンダリングされた観察の線若しくは面上の位置の数である。例えば,視点位置の数は画像の記録に用いられる。
「独立した視認位置の数」とは,他の独立した視認位置からの情報を含まない完全な画像を観察者が視認することができる位置の最大の数である。これらは,図3に図示される位置である。ただし,この定義はシステム構成の完全なプロパティを想定したものであることに留意が必要である。例えば,実際のシステムにおいては,シャッターが完全に光を遮断することができないという理由により,他の視認位置からの情報が存在しうる。他の多くの例においては,独立した視認位置の数は,ディスプレイが提供する固有のフレームの数と等しくなる。また,これは,固有の値をとるピクセルが介するスリットの数でもあり得る。レンチキュラディスプレイシステムにおいては,異なった視点を表示するレンズの背後のピクセルの数である。
視点位置は概ね任意であるため,独立した視認位置より多くの視点位置から取得した視点若しくはサンプルから画像を生成することによって質を向上させることができる。本発明の第一の例においては,指定されたシャッタースリット若しくはディスプレイピクセルに対する視点位置の数が,指定されたシャッタースリット若しくはディスプレイピクセルに対する3Dピクセルの数と等しい場合の方法が用いられる。このケースにおいては,一の視点若しくはサンプルだけが各3Dピクセルに対して取得される。本発明の第二の例においては,一以上の視点若しくはサンプルが各3Dピクセルに対して取得され,当該3Dピクセルにはこれらの視点若しくはサンプルの平均若しくは加重平均が与えられる。本発明のさらなる側面においては,視点若しくはサンプルが,シャッター面に均等に分配される若しくはディスプレイ面に均等に分配される又はこれらの面の両方に均等に分配される。視点若しくはサンプルの数を増加させる目的の一つは,画像アーチファクトを減少させることであり,このうちのいくつかは3Dエイリアス効果と呼ばれるものである。
一つのレンダリングスキームは,狭いシャッタースリットを仮定することによって実際のシャッタースリットより多くの視点位置を提供し,図24に示すような,複数視点の方法を実行する。この例においては,前述した3つの視点位置だけを用いる公知の方法と比較して,9つの視点位置(シャッタースリットの背後のサブスライス内の各ピクセルの一つ)が用いられている。サブスライスは,開かれたスリットに対する画像の表示に利用可能なスクリーンの一部である。ディスプレイは,3つの独立した視認位置だけを提供している。帯域幅(bandwidth)は同じままであるが,視点やサンプルはより均一に分散され,3Dディスプレイピクセルの中心線からより均一に分離する。一つの開かれたスリットを通して完全にピクセルが視認される唯一の特別なケースにだけ,この方法と公知の方法が同じになることに留意すべきである。しかしこの特別なケースでさえ,図24において示された視点位置間における追加的な視点位置から,視点若しくはサンプルを取得するこが望ましい。
レイトレーシングを用いて,2Dアンチエイリアシングなしで,一ピクセルあたり一の視点を取得し,シーンが線に沿ってサンプリングされていると仮定した場合,この方法は,同様の仮定に基づく標準GRM方法と数学的には同じものとなる。しかし,2Dアンチエイリアシングは,この2つの方法に異なった影響を与える。上述のように,GRMにおけるスケーリングされた空間の2Dアンチエイリアシングは,シャッター面における同じポイントを通過する追加的な中間のサンプルの線を,元のサンプリング線として提供する。この方法に関して,2Dアンチエイリアシングは,図24に示す同じ狭いピクセル視錐台内に追加的なサンプリングを与える。すなわち,視点のサンプルは同じカメラから取得されるため,その数は増加しない。
投影中心線がスリットの中心及びピクセルの中心を通過するようにカメラが配置されていると仮定した場合,図25に示すようなカメラ位置を決定することができる。一旦,スリット間隔eによってスリットの位置が設定され,カメラ位置が固定されると,投影ポイントxが求められる。これは,カメラからのスリット位置へ向かう線上に位置するどのシーン内のポイントも,ポイントxに向けて投影されることを意味する。等しい三角形を用いて以下の方程式によって,ポイントxを求めることができる。
図26において示されるような(x0,z0)に位置するポイントに関して,(C,D)に位置するカメラaにおける投影ポイントxは,以下の方程式によって求めることができる。
これらの方程式を組み合わせて整理すると以下のように表すことができる。
方程式13
これらの方程式により,ポイント(x0,z0)を正確にキャプチャし,その方向におけるスリットに対する正確な視点を得るためのカメラの位置を決定することができる。すなわち,スリットを通過する「光線」のファンをキャプチャするためには,上記Cの方程式に従って,カメラが移動しなければならない。実際には,x若しくはzいずれかの小さな変化もCに新たな位置を与えるため,この位置の数は無限となる。しかし,コンピュータスクリーンのような量子化されたシステムにおいては,有限の位置となる。例えば,スリットを通して/スリットの背後に視認可能なのは200ピクセルである。このケースにおいては,200のx値が存在するため,200の異なったC値が計算される。これは,指定されたシャッタースリットの視点位置の数と当該シャッタースリットの3Dピクセルの数が等しい場合のケースである。値の高い数値を使ってより多くのサンプルを取得し,平均若しくは加重平均の操作を行うことができ,その結果,各3Dピクセルについて一以上の視点若しくはサンプルを取得することができる。一例としては,加算値を各2Dピクセル間の中間値と定義する。
GRMと同様に,上記の方法は,シャッター面に同じ死角となる菱形を有し,ディスプレイピクセルの中心若しくはシャッタースリットの中心以外の部分を通過する線若しくは視錐台に沿って取得された追加的なサンプルから効果を得ることができる。これは,実際に存在するシャッター位置より多くの仮想シャッター位置を有するようにすることによって達成することができる。これは,一以上のサンプル若しくは視点が3Dピクセルに対して取得され,当該3Dピクセルにはこれらのサンプル若しくは視点の平均若しくは加重平均に基づく値が与えられる方法となる。
追加的な仮想スリット位置をレンダリングする方法の一つは,被写界深度方法を用いることである。レンズに関して,被写界深度は,レンズの焦点面からオブジェクトポイントまでの距離とレンズの焦点面のシャープネスに関連している。このようなポイントの画像は,錯乱円と呼ばれる。被写界深度は,レンズの有効径,さらに具体的には絞り値によって規制される。コンピュータグラフィックスにおける被写界頻度方法は,実際には,一つの面は変化させずに維持する場合,複数の異なった視点の平均値を取る。この面にピクセル面を選択した場合,他の仮想スリット位置に対して追加的なサンプルを取得した場合と同義になる。図27は,中心視点に対する2つの被写界深度視点を示している。観察の線に沿って十分な距離までカメラを移動させることによって,菱形を生じさせるその空間内でサンプリングすることができる。本発明の一つの側面においては,この距離は,錐体がシャッター面におけるシャッタースリットの幅の半分を移動するような距離であっても良い。他の側面においては,この距離は,カメラ位置が観察の線において等間隔となるように選択されるものであっても良い。
また,被写界深度方法は,水平方向だけでなく,垂直方向の追加的なサンプルを提供する。いくつかの事例において,垂直方向の円滑化は,シーンの垂直方向の外観を改善したということが実験によって示されている。この被写界深度方法はこの垂直方向の円滑化を図るための方法の一例に過ぎない。平均若しくは加重平均操作を介して結合される追加的なサンプルを提供する方法はどれを用いることとしても良い。また他の円滑化の操作も用いられる。解決を目指すことは,シャッター面及びディスプレイ面の両方で等間隔となっている光線をサンプリングする方程式8に相当する方法を実行することである。
この結果を達成する他の方法は,図21に示すような開いたスリットを通して視認される画像をレンダリングすることであるが,これは追加的なカメラ位置で行われる。複数の追加的な視点が取得され,ピクセルにはそれらの視点の平均値若しくは加重平均値が与えられる。図28はこのような方法を示している。カメラ視点が無数になると,この方法は,反対にディスプレイをカメラとして機能させることと同義になる。
体積データのレイキャスティングの実行
レイキャスティングは,体積データを表示するための一般的な方法である。また,レイキャスティングは,例えば表面モデルなどの,体積データ以外のデータにも用いられる。レイキャスティングは,レイトレーシングと同様の方法で,シーンを介して眼からの光線を送るという技術に基づく。また,以下の方法は,レイトレーシングアプリケーションでも有効である。コンピュータグラフィックスにおいてレイキャスティングは,画像面の各ピクセルを介して仮想カメラから一又は複数の光線を送り,その光線に沿ってカラーコントリビューションを追加することを意味する。以下の例は,水平方向のパララックスシステムに基づくものであるが,水平方向及び垂直方向のパララックスに拡張して解釈することができる。
複数視点の類推を用いて,計算されたカメラ位置からの光線をトレースすることによって3Dディスプレイに対する画像を生成することが可能である。3Dディスプレイに送られる特定の複数視点画像に関して,計算されたカメラ位置は画像の各ピクセルに対して計算される。複数視点画像における特定のピクセルに対して計算されたカメラは,画素が視認される際に介されるスリットに基づいて求められる。光線は,視野線を明確にするために,水平方向のスリットの中心を介してピクセル中心からトレースされる。方程式13によると,光線が視野線と交差する場所は,現在のスリットから視認されるピクセルに対して計算されたカメラ位置となる。基本的なアルゴリズムは以下の通りである。
1 簡単な読み取り操作によりどんなボクセル値もルックアップ可能にする3Dデータストラクチャ/テクスチャに,体積データを格納させる。
2 出力フレームにおける全てのピクセル列に対する列計算されたカメラ位置を格納するルックアップテーブル/テクスチャを生成する。(スリットが列をベースにしていると仮定した場合)
3 画像面における対応するピクセルによって計算されたカメラ位置から光線を送る。反復している間,体積からコントリビューションを加える。最終結果は,対応するピクセルの場所に格納される。例えば,最大値投影法(MIP)や,多断面再構成法(MPR),オーバーオペレーター,アンダーオペレーター等のような,異なった合成方法も用いることができる。
この方法は,ピクセル/サブピクセル単位のマッピングのための3Dディスプレイに対する高解像度シーンをレンダリングしている間,空の空間の跳躍や早期の光線の終了のような最適化方法若しくはシーンによって光線が増分するブレンディング方法における制限は受けない。また,視覚的な質を向上させるために,光線のジッタリングは,スーパーサンプリング/アンチエイリアス技術として実行される。また,本明細書中の他の方法も用いられる。例えば,ピクセル及びシャッタースリットの両方を,サブピクセルに分割することとしても良い。
複数視点の類推を用いて体積をレイキャスティングする他の方法は,スライス画像(view aligned slice)を用いる体積で反復することによるものである。これらのスライス画像は,等間隔である必要はない。テクスチャルックアップは,最新のグラフィックハードウェア上での処理を要求する資源であるため,3Dディスプレイに送られる各体積データで反復するスライス方法に代えて,スライスの体積データを一度のみ反復することにより,テクスチャルックアップを減らすことが考えられる。各スライスに関して,当該スライスに対する体積データは,他の全ての3Dディスプレイフレーム内の正しい位置に変換される。
1 簡単な読み取り操作によりどんなボクセル値もルックアップ可能にする3Dデータストラクチャ/テクスチャに,体積データを格納させる。
2 体積を介してスライス画像の反復よって前後から中心視野をレイキャスティングする。
3 各スライス画像について,複数視点のフレームを補完する。
補間による視点若しくはサンプルの追加
多くの視点位置若しくはサンプルは画像の質を向上させることについは説明した通りである。通常,視点数を増加させると計算コストがかかる。公知のグラフィックプロセシングユニット(GPU)によって処理を行うことは,3Dシーンの完全なジオメトリが視点位置ごとに処理される必要があることを意味しこれはリアルタイム処理を困難にする。
これを解決するための一つの方法としては,最初に一又は複数の完全な視点,すなわち原視点を関連する深度マップと共に生成することである。深度マップは,z方向において,各ピクセルがどこに位置するかを表す。深度マップは,事前に定義されたカメラの移動に基づいてどの程度ピクセルが移動するかを表す視差マップに変換することができる。画像補間によって,新しい視点を生成することができる。
元のカメラ位置以外の位置での視野の補完に用いることができる方法の一つを以下において説明する。
補間関数への主な入力は,一画像及び対応する深度マップ又は一以上の画像及び対応する深度マップ若しくは視差マップである。深度マップは,画像の各ピクセルの深さを伝え,
視差マップは,2つの画像内でどの程度2つのピクセルが異なるかを伝える。(画像が,任意のカメラ間隔で,同じ動機でキャプチャされたと仮定した場合。)
補完された視野は以下の様に計算される。
V=ビューポートマトリクス
W=ピクセル内のビューポート幅
H=ピクセル内のビューポートの高さ
P=投影マトリクス
n=近平面距離
f=遠平面距離
w=クリップ面左右間の距離
h=クリップ面上下間の距離
D=焦点面距離
mod i=補完された視野の変換及びシェアリング(せん断)マトリクス
mod r=原視野の変換及びシェアリングマトリクス
=中心視野から補完された視野までの距離
=中心視野から原視野までの距離
補完されたピクセル位置xi,pixは以下の様に計算される。
r,pixは,原画像におけるピクセルの位置であり,zはピクセルの深さである。つまり,原画像は一度に一つのピクセルと同期して読み込まれそのピクセルは上記のように計算された補間画像における位置に書き込まれる。
補間画像の質は,|x―x|のように減少し,原画像から求める視点までの距離は増加する。この補間方法の問題の一つは,特に,隣接するピクセル間で深さが異なる位置において空の表面が発生しうるということである。広い角度から多くの視点を生成するために一以上の入力画像が用いられる。これらの画像からの情報はより良い補間を行うための他の方法で組み込むことができる。
図29は,二つの入力画像が設定されたカメラを示している。位置x<0.5において第三の視野が求められる場合,二つの入力画像からの情報を組み合わせる方法は,まず画像Rからの当該視野を計算しその結果をバッファに格納して,さらに,画像Lからの当該視野を計算しその結果を同じバッファに格納する。Lを優勢画像(ドミネイティング画像)とすべきであるので,x<0.5であるとき,|x―x|<|x―x|となり,補間画像は基本的には画像Lから構成され画像Rからの情報でギャップが埋められる。
これは,使用されうる補間方法の例の一つにすぎない。補間は上記複数視点演算を実行するために用いられることとしても良いし,GRMによる画像を提供するための追加的な変換ステップに用いることとしても良い。
全てのピクセル値が全てのカメラ位置に対し計算されていない場合,ある状況において,パフォーマンスを向上させることが可能である。類推を上記のレイキャスティング方法で行うことができる。全てのピクセルと一体となった完全なフレームが各計算されたカメラ位置(ピクセルの中心間の線であって,スリットの水平方向の中心が視野線と交わる位置)の補間を介して生成された場合,表示されることのない多くのピクセルがレンダリングされる。従って,指定されたカメラポジションの3Dディスプレイに表示されるピクセルが計算される場合にだけスキームを作成することができる。これを達成するための他の手段は,3Dディスプレイへのアウトプットフレームにおける指定されたピクセルに関連するカメラの位置を選択しこのカメラ位置に基づいてピクセル値を補完することである。また,これらの方法は本明細書中の他の部分で述べたような,ピクセルがサブピクセルに分割された場合であっても用いることができる。
原画像は被写界深度若しくは他のプレフィルタリング技術を用いて提供される。従って,複数の視点を生成する前に異なった深さで周波数要素を制限することができる。本発明の一の側面において,このプレフィルタリングは方程式10でwと定義された3Dピクセルの幅,又はその倍数と関連している。この幅は指定された深さでの画像周波数を考慮した最大波長とされる。
フレームからフレームに変更するため,ディスプレイの深さのプロパティを考慮するアプリケーションに対する命令を設けることとしても良い。例えば追加的な深さが要求された場合,ディスプレイはビット深度を減少させ,シーンに表示される視点の数を増加させることとしても良い。補間によって視点がレンダリングされた場合,生成された視点の数が変更されている間,同じ出力をアプリケーション及び/又はグラフィックドライバによって提供することができる。画像ビット深度が減少したこのケースにおいては,追加的な視点が少ないカラービットによって補正されているため補間のスピードは異なる設定間においても類似している。
特徴量(feature size)とシーンの画像周波数の変更
上記の方法は,シーンが与えられることを前提とし,それに基づいて観察者のために知覚される画像の画質を最適化することを目的としている。仮想3Dシーンにおいては,特定の3Dディスプレイに対する画像アーチファクト及びレンダリング方法が減少し得る方法で,シーンを適合させることができる。
最小の特徴量を確保するための一つの方法は,シーン内の特定の深度に適したものとすることである。本発明の一の側面において,この特徴量は,方程式10において定義された幅wと関連するものとすべきである。最小の特徴量は,w若しくは一定の係数でwの倍数となる。そのような特徴量を設定することの利点は特定の観察位置から視認できない一定の特徴(feature)を回避することができる点である。また,相対的な画像エラーを減少させることもできる。つまり,特徴が大きければ画像内のエラーはこの特徴の量との相対的な関係で小さくなる。例えば,線の端がギザギザ(ジャギー)になった場合,線の幅が広ければこのギザギザは線の幅との相対的な関係で小さくなる。
場合によっては特徴量は重要ではなくなり,その代わりにシーン内の最大周波数要素を制限することもできる。このケースにおいては,最大周波数の波長は最小特徴量と同様の方法で方程式10において定義された幅wと関連することとしても良い。
最小特徴量を確保するために,コンピュータグラフィックスで用いられる標準的な方法が用いられることとしても良い。このような方法の例としては,詳細度制御(LOD:Level Of Detail)やMIPマップス(MIPmaps)がある。詳細度制御において,3Dオブジェクトの複雑さと最小の特徴量はそのオブジェクトの位置に基づいて変化することとしても良い。MIPマップスは,異なった詳細度制御若しくは画像周波数を有する予め計算されたテクスチャのバージョンである。
最小特徴量は,特定の深さで,空間サンプリングレートに関連するだけである。3Dディスプレイもまた,特定の深さに対する制限された角度サンプリングレートを有する。また,そのシーンも,オブジェクトの角度詳細度制御若しくは角度周波数を減少させるためにプレフィルタリングされることとしても良い。

Claims (23)

  1. 2Dディスプレイと複数の開口部を持つ切替可能な開口アレイを含む立体ディスプレイで用いられる画像データを,グラフィックス処理装置により生成する方法であって,
    前記立体ディスプレイは,2Dディスプレイ面と開口面とを含むものとしてモデル化されたものであり,
    前記方法は,前記グラフィックス処理装置により,前記立体ディスプレイをモデル化する前記2Dディスプレイ面と前記開口面を用いて,3Dシーンの複数のサンプルを取得するステップを含み,
    各サンプルは,前記モデル化された立体ディスプレイの2Dディスプレイ上のピクセルと,前記モデル化された立体ディスプレイの前記切替可能な開口アレイの開口部との組み合わせのために取得されたものであり,
    一つのピクセルと一つの開口部の組み合わせのために前記サンプルを取得するときの線は,特定の開口部に対する全てのサンプルについて,前記開口部の同じ点を通過するものであり,且つ,
    一つのピクセルと一つの開口部の組み合わせのために前記サンプルを取得するときの線は,特定のピクセルに対する全てのサンプルについて,前記ピクセルの同じ点を通過する
    方法。
  2. 前記画像データは,一次元だけで視差を表示する立体ディスプレイで用いられるものであり,
    前記立体ディスプレイの開口部は,スリットであり,
    前記開口部の中心は,前記開口部の長軸に整列されており,
    一つのピクセルと一つの開口部の組み合わせのために前記サンプルを取得するときの線は,特定の開口部に対する全てのサンプルについて,前記開口部の中心を通過する
    請求項1に記載の方法。
  3. 一つのピクセルと一つの開口部の組み合わせのために前記サンプルを取得するときの線,特定の開口部に対する全てのサンプルについて,視野線を通過する
    請求項2に記載の方法。
  4. 前記複数のサンプルは,均等に分配される
    請求項1から請求項3のいずれかに記載の方法。
  5. 前記特定の開口部に対する複数のサンプルは,2Dディスプレイ面又は視野面のうち,少なくとも一つに均等に分配される
    請求項1から請求項3のいずれかに記載の方法。
  6. 前記特定のピクセルに対する複数のサンプルは,シャッター面又は視野面のうち,少なくとも一つに均等に分配される
    請求項1から請求項3のいずれかに記載の方法。
  7. 複数のサンプルは,前記モデル化された立体ディスプレイにおける前記切替可能な開口アレイの開口部の幅が実際の開口部の幅より狭いと仮定することにより得られる
    請求項1から請求項6のいずれかに記載の方法。
  8. 各サンプルは,中心サンプルを含み,
    前記各中心サンプルは,前記ピクセルの中心と前記開口部の中心を通過する線に沿って取得される
    請求項1から請求項7のいずれかに記載の方法。
  9. 一つのピクセルと一つの開口部の組み合わせのために取得された各サンプルは,複数の非中心サンプルの平均値を含み,
    前記非中心サンプルは,前記ピクセルの中心と前記開口部の中心を通過する線の周囲に分配される
    請求項1から請求項7のいずれかに記載の方法。
  10. 一つのピクセルと一つの開口部の組み合わせのために取得された各サンプルは,中心サンプルと複数の非中心サンプルの平均値を含み,
    前記各中心サンプルは,前記ピクセルの中心と前記開口部の中心を通過する線に沿って取得され,
    前記非中心サンプルは,前記ピクセルの中心と前記開口部の中心を通過する線の周囲に分配される
    請求項1から請求項8のいずれかに記載の方法。
  11. 前記各非中心サンプルは,垂直方向又は水平方向のうち,少なくともいずれか一つの前記ピクセルの中心と前記開口部の中心を通過する線からオフセットされる
    請求項9又は請求項10に記載の方法。
  12. 前記非中心サンプルは,前記ピクセルの中心と前記開口部の中心を通過する線の周囲に均等に分配される,
    請求項9,請求項10又は請求項11に記載の方法。
  13. 前記非中心サンプルは,確率的ジッタリングによって分配される
    請求項9,請求項10又は請求項11に記載の方法。
  14. 前記平均値は,加重平均値である
    請求項9から請求項13のいずれかに記載の方法。
  15. 一つのピクセルと一つの開口部の組み合わせのために前記サンプルを取得するときの線が前記開口部の中心点又は線及び2Dディスプレイのピクセルの中心の両方を通過するように,一のサンプルが取得される
    請求項1から請求項14のいずれかに記載の方法。
  16. 一つのピクセルと一つの開口部の組み合わせのために前記サンプルを取得するときの線が前記開口部の中心点又は線及び2Dディスプレイのピクセルのいずれかの点の両方を通過するように,一のサンプル又は非中心サンプルが取得される
    請求項1から請求項15のいずれかに記載の方法。
  17. 一つのピクセルと一つの開口部の組み合わせのために前記サンプルを取得するときの線が前記開口部の中心を通過するように,各サンプルが取得される
    請求項1から請求項16のいずれかに記載の方法。
  18. 一つのピクセルと一つの開口部の組み合わせのために前記サンプルを取得するときの線が前記開口部の中心からオフセットされた開口部の点又は線を通過するように,各サンプルが取得される
    請求項1から請求項17のいずれかに記載の方法。
  19. 前記開口部の中心からオフセットされる開口部の点又は線は,少なくとも仮想開口部の縁又は隣接する仮想開口部の中間点のうちの一つである
    請求項18に記載の方法。
  20. 請求項1から請求項19のいずれかに記載の方法を実行可能な立体ディスプレイ装置。
  21. 請求項1から請求項19いずれかに記載の方法を実行可能な立体ディスプレイを有するコンピュータシステムで用いられるグラフィックス処理装置。
  22. 請求項1から請求項19のいずれかに記載の方法を実行可能な立体ディスプレイで用いられるグラフィックス処理装置。
  23. 請求項1から請求項19のいずれかに記載の方法を実行するための,コンピュータで読み取り可能な媒体に格納されたコードを含むコンピュータプログラム。
JP2010522443A 2007-08-29 2008-08-29 3dディスプレイのレンダリング方法の改良 Active JP5421264B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0716776.0 2007-08-29
GBGB0716776.0A GB0716776D0 (en) 2007-08-29 2007-08-29 Rendering improvement for 3D display
PCT/GB2008/002933 WO2009027691A1 (en) 2007-08-29 2008-08-29 Rendering improvement for 3d display

Publications (3)

Publication Number Publication Date
JP2010538344A JP2010538344A (ja) 2010-12-09
JP2010538344A5 JP2010538344A5 (ja) 2011-10-13
JP5421264B2 true JP5421264B2 (ja) 2014-02-19

Family

ID=38616916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010522443A Active JP5421264B2 (ja) 2007-08-29 2008-08-29 3dディスプレイのレンダリング方法の改良

Country Status (9)

Country Link
US (1) US8860790B2 (ja)
EP (2) EP2189000A1 (ja)
JP (1) JP5421264B2 (ja)
KR (1) KR101612100B1 (ja)
CN (1) CN101803395B (ja)
AU (1) AU2008291977B2 (ja)
CA (1) CA2696610A1 (ja)
GB (1) GB0716776D0 (ja)
WO (1) WO2009027691A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101041635B1 (ko) * 2006-04-19 2011-06-15 세트레드 에이에스 3차원 디스플레이 대역폭 개선을 위한 복합시차지각 방식의디스플레이 장치 및 상기 디스플레이 장치의 동작방법
CN103098457B (zh) * 2010-09-10 2016-04-13 富士胶片株式会社 立体成像装置和立体成像方法
GB2484919A (en) * 2010-10-25 2012-05-02 Cambridge Silicon Radio Directional display device arranged to display visual content toward a viewer
EP2472880A1 (en) 2010-12-28 2012-07-04 ST-Ericsson SA Method and device for generating an image view for 3D display
CN105898273B (zh) * 2011-01-07 2018-04-10 索尼互动娱乐美国有限责任公司 二维图像的再投影的多样本解析
US8514225B2 (en) 2011-01-07 2013-08-20 Sony Computer Entertainment America Llc Scaling pixel depth values of user-controlled virtual object in three-dimensional scene
US8619094B2 (en) 2011-01-07 2013-12-31 Sony Computer Entertainment America Llc Morphological anti-aliasing (MLAA) of a re-projection of a two-dimensional image
US9041774B2 (en) 2011-01-07 2015-05-26 Sony Computer Entertainment America, LLC Dynamic adjustment of predetermined three-dimensional video settings based on scene content
US9183670B2 (en) 2011-01-07 2015-11-10 Sony Computer Entertainment America, LLC Multi-sample resolving of re-projection of two-dimensional image
KR20130081569A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 3d 영상을 출력하기 위한 장치 및 방법
CN103150757A (zh) * 2012-02-22 2013-06-12 林善红 数字城市3d被动立体展示系统及其制作方法
US9308439B2 (en) * 2012-04-10 2016-04-12 Bally Gaming, Inc. Controlling three-dimensional presentation of wagering game content
CA2869322C (en) * 2012-04-20 2021-04-13 Affirmation, Llc Systems and methods for real-time conversion of video into three-dimensions
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9311771B2 (en) * 2012-08-28 2016-04-12 Bally Gaming, Inc. Presenting autostereoscopic gaming content according to viewer position
KR20140089860A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
US9967546B2 (en) 2013-10-29 2018-05-08 Vefxi Corporation Method and apparatus for converting 2D-images and videos to 3D for consumer, commercial and professional applications
US20150116458A1 (en) 2013-10-30 2015-04-30 Barkatech Consulting, LLC Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications
US9967538B2 (en) 2013-11-04 2018-05-08 Massachussetts Institute Of Technology Reducing view transitions artifacts in automultiscopic displays
US9756316B2 (en) 2013-11-04 2017-09-05 Massachusetts Institute Of Technology Joint view expansion and filtering for automultiscopic 3D displays
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
WO2015120032A1 (en) * 2014-02-07 2015-08-13 Massachusetts Institute Of Technology Reducing view transition artifacts in automultiscopic displays
US10158847B2 (en) 2014-06-19 2018-12-18 Vefxi Corporation Real—time stereo 3D and autostereoscopic 3D video and image editing
KR102240564B1 (ko) 2014-07-29 2021-04-15 삼성전자주식회사 영상 렌더링 장치 및 방법
KR102240568B1 (ko) * 2014-08-18 2021-04-16 삼성전자주식회사 영상 처리 방법 및 장치
KR102151103B1 (ko) * 2015-09-05 2020-09-02 레이아 인코포레이티드 개선된 각 해상도를 갖는 슈퍼샘플링된 3d 디스플레이
AU2017296073B2 (en) 2016-07-15 2019-02-14 Light Field Lab, Inc. Energy propagation and transverse Anderson localization with two-dimensional, light field and holographic relays
JP6895837B2 (ja) 2017-07-25 2021-06-30 三菱電機株式会社 表示装置
US10432944B2 (en) * 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
GB2566930B (en) * 2017-09-06 2021-05-19 Fovo Tech Limited A method for preserving perceptual constancy of objects in images
US11650354B2 (en) 2018-01-14 2023-05-16 Light Field Lab, Inc. Systems and methods for rendering data from a 3D environment
CN108761815B (zh) * 2018-06-21 2021-02-09 北京虚拟动点科技有限公司 影像的显示方法及系统
CN114175627B (zh) * 2019-06-07 2024-04-12 交互数字Vc控股公司 用于基于分布式光孔的光场显示器的光学方法和系统
CN110355365B (zh) * 2019-06-13 2020-11-10 西安交通大学 一种协同840d数控系统的ebm变方向成形动态切片方法
US11398072B1 (en) * 2019-12-16 2022-07-26 Siemens Healthcare Gmbh Method of obtaining a set of values for a respective set of parameters for use in a physically based path tracing process and a method of rendering using a physically based path tracing process
US20230328216A1 (en) * 2022-04-06 2023-10-12 Samsung Electronics Co., Ltd. Encoding Depth Information for Images

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58199321A (ja) 1982-05-17 1983-11-19 Seiko Instr & Electronics Ltd 高速液晶シヤツタ−
US4740073A (en) 1982-12-27 1988-04-26 Meacham G B Kirby System for projecting three-dimensional images
JPS62153833A (ja) 1985-12-26 1987-07-08 Sharp Corp 液晶光シヤツタ−の駆動方式
US4853769A (en) 1987-06-16 1989-08-01 Massachusetts Institute Of Technology Time multiplexed auto-stereoscopic three-dimensional imaging system
GB8716369D0 (en) * 1987-07-10 1987-08-19 Travis A R L Three-dimensional display device
JP2857429B2 (ja) 1989-10-02 1999-02-17 日本放送協会 3次元画像表示装置および方法
KR0123909B1 (en) 1991-11-05 1997-11-26 Sharp Kk A three-dimensional display system
GB2267579A (en) * 1992-05-15 1993-12-08 Sharp Kk Optical device comprising facing lenticular or parallax screens of different pitch
GB2272555A (en) * 1992-11-11 1994-05-18 Sharp Kk Stereoscopic display using a light modulator
GB2278223A (en) 1993-05-21 1994-11-23 Sharp Kk Spatial light modulator and directional display
JP3268586B2 (ja) 1993-09-24 2002-03-25 富士通株式会社 立体映像の表示装置と撮影記録装置
US5448322A (en) 1993-11-05 1995-09-05 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using a parallax scanning lens aperture
EP1209508B1 (en) 1993-12-01 2004-10-27 Sharp Kabushiki Kaisha Display for 3D images
GB2297876A (en) * 1995-02-09 1996-08-14 Sharp Kk Observer tracking autostereoscopic display
JPH0915532A (ja) 1995-06-29 1997-01-17 Canon Inc 立体画像表示方法及びそれを用いた立体画像表示装置
JP2778543B2 (ja) * 1995-07-27 1998-07-23 日本電気株式会社 立体表示装置
JPH09171156A (ja) 1995-12-20 1997-06-30 Fujitsu General Ltd 立体画像表示装置
GB2309609A (en) * 1996-01-26 1997-07-30 Sharp Kk Observer tracking autostereoscopic directional display
JPH09289655A (ja) 1996-04-22 1997-11-04 Fujitsu Ltd 立体画像表示方法及び多視画像入力方法及び多視画像処理方法及び立体画像表示装置及び多視画像入力装置及び多視画像処理装置
JP2891177B2 (ja) * 1996-04-30 1999-05-17 日本電気株式会社 立体表示装置
GB2320156A (en) 1996-12-07 1998-06-10 Sharp Kk Directional display and method of making a mask for a directional display
GB2317291A (en) 1996-09-12 1998-03-18 Sharp Kk Observer tracking directional display
GB2321815A (en) * 1997-02-04 1998-08-05 Sharp Kk Autostereoscopic display with viewer position indicator
JPH10221643A (ja) * 1997-01-31 1998-08-21 Canon Inc 立体画像表示装置
CA2284915C (en) 1997-03-27 2005-08-23 Litton Systems, Inc. Autostereoscopic projection system
JP3500036B2 (ja) 1997-05-15 2004-02-23 三洋電機株式会社 プラズマディスプレイパネルを用いた時分割メガネ方式の立体映像表示方法
KR100304784B1 (ko) 1998-05-25 2001-09-24 박호군 편광과광띠를이용한다자시청용3차원영상표시장치
JP2000092520A (ja) 1998-09-16 2000-03-31 Toshiba Corp 立体映像表示装置
JP2000102039A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 立体画像表示装置
US6795241B1 (en) 1998-12-10 2004-09-21 Zebra Imaging, Inc. Dynamic scalable full-parallax three-dimensional electronic display
GB9907277D0 (en) 1999-03-31 1999-05-26 Cambridge 3D Display Ltd Wide field view projection display
US20020063807A1 (en) * 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
US6128132A (en) 1999-07-13 2000-10-03 Disney Enterprises, Inc. Method and apparatus for generating an autostereo image
US6674463B1 (en) * 1999-08-06 2004-01-06 Deiter Just Technique for autostereoscopic image, film and television acquisition and display by multi-aperture multiplexing
EP1085769B1 (en) * 1999-09-15 2012-02-01 Sharp Kabushiki Kaisha Stereoscopic image pickup apparatus
GB2354389A (en) * 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
EP1087627A3 (en) 1999-09-24 2004-02-18 SANYO ELECTRIC Co., Ltd. Autostereoscopic image display device
US7089200B2 (en) * 1999-12-21 2006-08-08 Third Millennium Management Pty Ltd Payroll management method and apparatus
EP1252756B1 (de) 2000-01-25 2006-05-31 NewSight GmbH Verfahren und anordnung zur räumlichen darstellung
US7254265B2 (en) 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
US7084841B2 (en) * 2000-04-07 2006-08-01 Tibor Balogh Method and apparatus for the presentation of three-dimensional images
GB0010685D0 (en) 2000-05-03 2000-06-28 Koninkl Philips Electronics Nv Autostereoscopic display driver
US7023466B2 (en) 2000-11-03 2006-04-04 Actuality Systems, Inc. Three-dimensional display systems
WO2002069647A1 (en) 2001-02-22 2002-09-06 Thomson Licensing S.A. Stereoscopic plasma display with interlacing of fields
US7043073B1 (en) 2001-10-19 2006-05-09 Zebra Imaging, Inc. Distortion correcting rendering techniques for autostereoscopic displays
AU2002221973A1 (en) 2001-12-07 2003-06-17 Juan Dominguez-Montes Double active parallax barrier for viewing stereoscopic images
KR20040083476A (ko) 2001-12-19 2004-10-02 액츄앨리티 시스템즈, 인크. 방사선 조절 시스템 및 그 방법
GB2387664B (en) 2002-04-17 2005-08-24 Philip Anthony Surman Autostereoscopic display
KR20050016344A (ko) 2002-04-17 2005-02-21 필립 안소니 셔만 자동 입체 디스플레이
US6927886B2 (en) 2002-08-02 2005-08-09 Massachusetts Institute Of Technology Reconfigurable image surface holograms
GB2393344A (en) 2002-09-17 2004-03-24 Sharp Kk Autostereoscopic display
JP3897712B2 (ja) 2003-02-14 2007-03-28 キヤノン株式会社 立体画像表示装置
CN101841728B (zh) * 2003-04-17 2012-08-08 夏普株式会社 三维图像处理装置
JP4200056B2 (ja) * 2003-06-17 2008-12-24 有限会社シーフォン 表示装置
GB2405043A (en) 2003-08-13 2005-02-16 Sharp Kk Compensation for refraction effects in an autostereoscopic display
GB2406731A (en) 2003-08-30 2005-04-06 Sharp Kk Multiple view display having directional backlight
GB2405517A (en) 2003-08-30 2005-03-02 Sharp Kk Multiple view display
GB2406730A (en) 2003-09-30 2005-04-06 Ocuity Ltd Directional display.
US7372629B2 (en) 2003-11-06 2008-05-13 Nec Corporation Three-dimensional image display device, portable terminal device, display panel and fly eye lens
KR100445613B1 (ko) * 2003-11-29 2004-08-26 (주)파버나인 입체영상 디스플레이 장치
WO2005106572A1 (en) 2004-04-02 2005-11-10 David Hartkop Scanning aperture three dimensional display device
US20050219693A1 (en) * 2004-04-02 2005-10-06 David Hartkop Scanning aperture three dimensional display device
US7573491B2 (en) * 2004-04-02 2009-08-11 David Hartkop Method for formatting images for angle-specific viewing in a scanning aperture display device
US20050275942A1 (en) * 2004-04-02 2005-12-15 David Hartkop Method and apparatus to retrofit a display device for autostereoscopic display of interactive computer graphics
US7375886B2 (en) 2004-04-19 2008-05-20 Stereographics Corporation Method and apparatus for optimizing the viewing distance of a lenticular stereogram
GB0410551D0 (en) * 2004-05-12 2004-06-16 Ller Christian M 3d autostereoscopic display
JP4227076B2 (ja) * 2004-05-24 2009-02-18 株式会社東芝 立体画像を表示する表示装置及び立体画像を表示する表示方法
GB2418315A (en) * 2004-09-21 2006-03-22 Sharp Kk Multiple view display
CA2511040A1 (en) * 2004-09-23 2006-03-23 The Governors Of The University Of Alberta Method and system for real time image rendering
JP4328311B2 (ja) * 2005-04-14 2009-09-09 株式会社東芝 三次元画像表示用多視点画像の作成方法およびプログラム
JP4687216B2 (ja) 2005-04-18 2011-05-25 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
DE102005021155B3 (de) * 2005-04-29 2006-11-23 Seereal Technologies Gmbh Steuerbare Beleuchtungseinrichtung
GB2426351A (en) * 2005-05-19 2006-11-22 Sharp Kk A dual view display
TWI446004B (zh) * 2005-06-14 2014-07-21 Koninkl Philips Electronics Nv 結合型單一/多個檢視顯示器
GB2428344A (en) 2005-07-08 2007-01-24 Sharp Kk Multiple view directional display
JP4871539B2 (ja) * 2005-07-25 2012-02-08 キヤノン株式会社 立体像表示装置
JP4488996B2 (ja) 2005-09-29 2010-06-23 株式会社東芝 多視点画像作成装置、多視点画像作成方法および多視点画像作成プログラム
US7821570B2 (en) * 2005-11-30 2010-10-26 Eastman Kodak Company Adjusting digital image exposure and tone scale
US8044994B2 (en) * 2006-04-04 2011-10-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for decoding and displaying 3D light fields
KR101041635B1 (ko) 2006-04-19 2011-06-15 세트레드 에이에스 3차원 디스플레이 대역폭 개선을 위한 복합시차지각 방식의디스플레이 장치 및 상기 디스플레이 장치의 동작방법
EP2232470A4 (en) * 2007-12-20 2012-04-11 Real Inc INTRA PIXEL LIGHTING SYSTEM AND METHOD
US7663528B1 (en) * 2008-03-20 2010-02-16 Lockheed Martin Corporation Missile boost-ballistic estimator

Also Published As

Publication number Publication date
US8860790B2 (en) 2014-10-14
CN101803395A (zh) 2010-08-11
GB0716776D0 (en) 2007-10-10
EP2665280B1 (en) 2017-12-13
CN101803395B (zh) 2013-03-20
US20110109629A1 (en) 2011-05-12
AU2008291977A1 (en) 2009-03-05
KR20100067656A (ko) 2010-06-21
KR101612100B1 (ko) 2016-04-12
AU2008291977B2 (en) 2013-09-19
EP2665280A1 (en) 2013-11-20
EP2189000A1 (en) 2010-05-26
JP2010538344A (ja) 2010-12-09
WO2009027691A1 (en) 2009-03-05
CA2696610A1 (en) 2009-03-05

Similar Documents

Publication Publication Date Title
JP5421264B2 (ja) 3dディスプレイのレンダリング方法の改良
US7609906B2 (en) Method and system for acquiring and displaying 3D light fields
JP4125252B2 (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
JP4947593B2 (ja) 局所領域分割による自由視点画像の生成装置およびプログラム
US6975329B2 (en) Depth-of-field effects using texture lookup
KR101334187B1 (ko) 다시점 렌더링 장치 및 방법
JP2009163724A (ja) グラフィックスインターフェイス、グラフィックスデータをラスタ化する方法およびコンピュータ読み取り可能な記録媒体
Bonatto et al. Real-time depth video-based rendering for 6-DoF HMD navigation and light field displays
JP2008243046A (ja) テクスチャ処理装置、方法およびプログラム
US8797383B2 (en) Method for stereoscopic illustration
WO2022263923A1 (en) Techniques for generating light field data by combining multiple synthesized viewpoints
KR100381817B1 (ko) 제트버퍼를 이용한 입체영상 생성방법 및 기록매체
WO2007017834A2 (en) Disparity value generator
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
JPWO2019049457A1 (ja) 画像生成装置および画像生成方法
AU2013237644B2 (en) Rendering improvement for 3D display
Boev et al. GPU-based algorithms for optimized visualization and crosstalk mitigation on a multiview display
Battin et al. A premixed autostereoscopic OptiX-based volume rendering
US20140313199A1 (en) Image processing device, 3d image display apparatus, method of image processing and computer-readable medium
CN117635454A (zh) 多源光场融合渲染方法、装置及存储介质
WO2021224298A1 (en) Light field rendering
Trapp et al. Enhancing interactive NonPlanar projections of 3D geovirtual environments with stereoscopic imaging
CN117061720A (zh) 基于单目图像及深度图像渲染的立体图像对生成方法
Cant et al. A Simple Method for Realistic Extreme Depth of Field in Real Time
Teraguchi et al. Adaptive Rendering Method for Low Resolution Auto-stereoscopic 3-D Medical Images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130204

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130903

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131121

R150 Certificate of patent or registration of utility model

Ref document number: 5421264

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250