JP4236705B2 - 直前の原フレームのみに基づく１つ以上の中間フレームを合成することにより原フレームの系列からディスプレイフレームを発生させる方法及びデバイス - Google Patents

Description

発明の背景
本発明は、ディスプレイフレームの第１系列を表示する方法であって、この方法が、
原フレームの第２系列を原フレームレートで受ける工程と、
幾何学的な変換方法を用いることにより、前記第２系列に基づいて隣り合う原フレームの対に対し１つ以上の中間フレームを合成する工程と
を有する方法に関するものである。米国特許第4,736,248号明細書には、原（ソース）フレーム対間の内挿によりいかにディスプレイフレームを発生させるかが開示されている。変換アルゴリズムは、順次の２つの原フレームの双方に生じる点対から取出される。内挿は、これらの原フレームの双方に生じる他の画素対に対し同じ変換を用いる。しばしば、特定の原画素が２つの原フレームのうちの一方のみに存在する為、この特定の原画素に対してのみ外挿を行なう必要がある。この米国特許は、ダイナミック航空測量における画像のレンダリングを改善するためのものである。
他の使用分野は、高度の対話式コンピュータゲームや、同様な種類のマルチメディヤ環境に関するものである。この場合、フレームレートを高くして、表示される動きができるだけ平滑になるようにすることが重要である。このようにすることにより、原理的には、ユーザーが開始した事象と、これに関連するビジュアルフィードバックとの間の待ち時間も最少にする。このようなことは、フライトシュミレーションゲームにおけるようなナビゲーション制御にとって特に重要である。６０〜７２Hzとしうるディスプレイリフレッシュレートに匹敵しうる値までフレームレートを高めることが提案されている。更に、バーチャルリアリティ（ＶＲ）システムでは、ユーザーを動揺病から保護するために待ち時間を少なくする必要があることが確かめられている。しかし、前記の米国特許による内挿を通常のように使用すると、追加の待ち時間を導入する。その理由は、たとえ全ての画素の中で或るディスプレイフレーム画素が過去の原フレーム画素にのみ依存している場合でも、後の原フレームの受信後にしか種々の内挿パラメータが分からない為である。
発明の概要
本発明の目的は、特に、総括的な内挿によって生じる待ち時間の増大を回避することにある。本発明の観点の１つによれば、本発明は、ディスプレイフレームの第１系列を表示する方法であって、この方法が、原フレームの第２系列を原フレームレートで受ける工程と、幾何学的な変換方法を用いることにより、前記第２系列に基づいて隣り合う原フレームの対に対し１つ以上の中間フレームを合成する工程とを有する方法において、カメラ変換に基づく外挿と、Ｚバッファー情報に基づく、見える状態になる深い第１画素の、同様に深いが現在継続的に見える状態にある第２画素からのフレーム内での外挿とにより、各中間フレームを直前の原フレームのみに基づかせ、前記中間フレームの系列に基づき、場合に応じ前記原フレームにも基づいて、前記原フレームレートに比べて高くしたディスプレイフレームレートで前記ディスプレイフレームを選択することを特徴とする。Ｚバッファー情報は、本発明の一部ではない、原フレームのレンダリング中に発生させる。Ｚバッファー情報は、二次元フレームを三次元空間に変換するのに用いることができる為、透視法や任意の三次元のカメラ回転及び移動における変化を実行しうる（式８）。これらの２つの変換形式がシーンを変化させる主因である。
外挿によって生ぜしめられる特有の問題は、早期の原フレーム内でぼかさた、又は覆い隠された（obscured）シーンの一部が後に、外挿されたフレーム内で見える状態になる（uncovered）おそれがあることである。その理由は、覆い隠しているオブジェクトが、覆い隠されている部分に対し横に移動する為である。この解決策は、前の原フレームで覆い隠されていない隣接画素からの横方向外挿により達成される。この外挿は走査方向に沿って或いはそれとは逆方向に行なうことができる。外挿が背景パターン或いは粒状度の粗い他のエンティティで行なわれる場合には、その結果は通常真のもの或いはほぼ真のものとなる。一方、覆い隠しているオブジェクトの後ろから突然現れる小さなオブジェクトの影響は、次の原フレームが到来するまで無視される。このごまかしの影響は通常は許容される。これとは相違して、外挿を二次元アフイン変換に限定すると、外挿されたフレーム中にしばしば不都合なひずみが生じる。その理由は、これまで覆い隠していたが移動した部分がこれにより著しく大きくなってしまう為である。この問題は、外挿を特に、式（１２）のビュー座標で表された深さ（zv2）に依存させることにより解決される。
ディスプレイ系列は、中間フレームと一緒にした原フレームを以て構成しうる。或いはまた、中間フレームがしばしば充分に生じる場合には、全ての或いはある原フレームを使用しないままにすることができる。本発明の技術によれば、ディスプレイフレームの待ち時間が少なくなる。一方、内挿ディスプレイフレームはしばしば待ち時間を不所望な時間まで長くするおそれがある。
本発明は、上述した方法を実行するように構成したフレーム式デバイスにも関するものである。本発明の他の有利な観点は請求の範囲の従属項に述べられている。
本発明は、三次元レンダリングのパイプライン自体によって発生されたフレーム間に中間フレームを生ぜしめるために画素の変位を計算しうるようにする。これら変位は、走査線に沿うすぐ隣の画素に対し達成された結果を一貫して用いることにより、原フレームの走査変換中に増分的に計算することができる。これには、次の各画素に対し、前に処理した画素に基づく少数の演算を必要とするだけである。
本発明は、最も最近の原フレームの画素と、これにすぐ続く合成されたディスプレイフレームとの間の瞬時的なコヒーレンス（整合性）を式（９）に応じて生ぜしめるために、この原フレームに対する既知のカメラの動きを用いうるようにする。
【図面の簡単な説明】
本発明の上述した及びその他の観点を、好適実施例の開示を参照し、且つ特に添付図面を参照して以下に詳細に説明する。図中、
図１Ａ〜１Ｃは、３つのディスプレイフレーム発生方法を示し、
図２は、ディスプレイフレーム発生環境を示す概略的透視図であり、
図３は、デバイス及びビュー座標間の関係を示し、
図４は、この関係を透視図で見た場合を示し、
図５は、本発明を実行するデバイスを示し、
表１は、種々の演算式を示す。
好適実施例の詳細な説明
図１Ａは、ディスプレイフレームレートを高める第１の方法を示す。最上行は、均一に離間させた原フレーム“ａ”の時間系列を有する。各対の連続する原フレーム間に、矢印で示すように追加のフレーム“ｂ”が内挿される。元のａフレームと、内挿されたｂフレームとの双方をディスプレイフレームとして用いることにより、ディスプレイフレームレートを２倍にする。待ち時間はかなり長くなる。その理由は、次のａフレームが得られるようになるまでに、ｂフレームを発生させることができない為である。
図１Ｂは、ディスプレイフレームレートを高める第２の方法を示す。各対の連続する原フレーム間に、前の最後のａフレームのみに基づいた追加のフレーム“ｃ”が外挿され、これを矢印で示してある。元のａフレームと、外挿されたｃフレームとの双方をディスプレイフレームとして用いることにより、ディスプレイフレームレートを２倍にする。待ち時間は図１Ａの場合よりも少なくなる。その理由は、前の最後のａフレームが得られると直ちにｃフレームを発生しうる為である。
図１Ｃは、ディスプレイフレームレートを高める第３の方法を示す。各対の連続する原フレーム間に、前の最後のａフレームのみに基づいた追加のフレーム“ｄ”が外挿され、これを矢印で示してある。原フレームとその外挿されたｄフレームとの間の遅延は、図１Ｂの場合と相違して不均一である。元のａフレームの半分と、外挿されたｄフレームとを用いることにより、ディスプレイフレームレートを５０％の割合だけ高める。待ち時間は図１Ａの場合よりも少なくなる。その理由は、前の最後のａフレームが得られると直ちにｄフレームを発生しうる為である。
図２は、ＸＹＺ座標系に基づいた発生環境を示す概略的透視図である。実際のカメラ位置は、負のＺ方向でのビュー軸に対し原点にある。カメラは正のＹ軸に沿う“上”方向を有する。
図３は、デバイスとビュー座標との間の幾何学的関係を示す。この場合も、カメラは負のＺ方向でのその軸に対し原点ＯＲにある。この図３での横軸は、Ｘ_V（Ｘビュー）軸であり、Ｙ_V（Ｙビュー）軸はこの図面の平面に対し垂直である。Ｘ座標Ｘ_Sでスクリーン上に表示するために投影した対象ＯＢＪを示してある。図示のように、図３は透視投影又は中心射影となっている。これに代えて、平行投影も可能である。
図４は、この幾何学的形状を三次元で示している。左側の遠点がカメラ位置のアイポイントである。遠クリップ面fcp及び近クリップ面ncpはビュー軸に対して垂直であり、これらが相俟って視角の切頭体（フラストラム）を規定する。同様なクリップ面がｘ及びｙ方向に延在する。投影面には、記号化距離ｔ（上）、ｂ（下）、ｌ（左）及びｒ（右）を示してある。更に、原点と投影面との間の距離ｎ（近）と、原点と対象面との間の距離ｆ（遠）とを示してある。高さの角度fiも示してある。
図５は、本発明を実行するデバイスを示す。このデバイスの構成は、通信バス２０及び主メモリ３０を中心として集中している。処理すべき情報は、メモリから取出され、後に示す表１に掲げた順次の演算を表すように直列に接続された処理モジュール２２、２４、２６に送られる。これらの処理モジュールはＣＰＵのような共有のハードウエアに集合的に形成しうる。順次のディスプレイフレームは、処理後に、場合によっては一時的な蓄積後に、ユーザへの表示のためにサブシステム３４に到達する。これらの処理モジュールには、バス２０を介することのできる制御ライン２３、２５、２７を介して総括制御サブシステム２８が接続されている。このようにして、データはＣＰＵにおいて画像に変換される。制御サブシステム２８は、実際のユーザからの手動又はその他の入力端３２のような種々の信号源からの制御信号及びデータ信号や、対話式環境における他のユーザからの外部信号や、カメラ又は他のサブシステム（簡単化のために図示していない）からの信号を受けることができる。
手順の公式化
一般に、カメラの回転、移動又はズーミングの為に、全フレーム内容が時間とともに変化しうる。前のカメラ位置及び方向と、新たなカメラ位置及び方向との間の幾何学的関係が分かっている場合には、前の原フレームと外挿すべき新たな中間ディスプレイフレームとの画素間のコヒーレンスも分かる。以下の表１は、ビュー空間座標、投影座標、正規化デバイス座標及びスクリーン空間座標のような種々の座標間の関係を含む種々の数式を示す。
まず最初に、式（１）は透視投影マトリックスである。この式は、図４に示すビューイング切頭体の種々の量、すなわちｎ（近）、ｆ（遠）、ｔ（上）、ｂ（下）、ｌ（左）及びｒ（右）の平面位置を規定する。式（２）は、対称的なビューイング切頭体を規定する。非対称な切頭体をも同様に用いることもできる。式（３）は、ビューイング切頭体を更に特定するために、高さの角度fiと縦横比ａとを規定する。式（４）は、投影マトリックスＰを介しての投影座標（後書きｐを付してある）と同次ビュー座標（後書きｖを付してある）との間の関係を表す。直交投影のような他の投影も可能である。式（５）は正規化されたデバイス座標（後書きｎを付してある）を与える。式（６）は、スクリーン座標（後書きｓを付してある）を与える。直接挿入法により、式（７）に示す、スクリーン座標とビュー座標との間の最終関係が得られる。原フレームにおける座標として、
｛xv1,yv1,zv1｝及び｛xs1,ys1｝
を用いると、｛xv1,yv1｝を式（８）に応じて書表すことができる。
カメラの動き及び対象の変化の双方又いずれか一方によるビュー座標のマトリックス変換を式（９）に示す。式（１０）は、外挿されたフレーム中の座標を与える為、（xs2,ys2）に対する式を直接的に、式（１１）で与えられたように見いだすことができる。更に、式（１２）は、zv2に対する式である。ここで、fzはスクリーン座標xs1及びys1に直線的に関連しており、fzは、動きの時間微分である定数Δを加えることにより、走査変換中に増分的に計算することができる。従って、zvを計算するには以下のことが必要になる。
-Δをfzに加える。
-これをzv1倍する。
-これをm23に加える。
更に、xs2及びys2は式（１３）に応じて書表すことができる。又、fx及びfyはスクリーン座標xs1及びys1に直線的に関連している為、これらも定数Δを加えることにより増分的に計算することができる。従って、xs2及びys2の増分計算には、zx2の計算に加えて以下のことが必要になる。
-zv2の逆数を計算する（すなわち、1をzv2で割る）。
-Δをfxに加え、Δをfyに加える。
-これらの双方の結果にzv1を乗じる。
-これらの双方の積をそれぞれh・k・m03/2及びh・k・m13/2に加える。
-これらの双方の結果にzv2の逆数を乗じる。
-これらをそれぞれw/2及びh/2に加える。
上述した計算では、合計で、８回の加算と、５回の乗算と、１回の割算とが行なわれる。
更に、多くのゲーム分野は、カメラの移動とは独立した動作をしうる１つ以上の対象をスクリーン上に表示する。この動作は、通常は、１つの立体（リジッド又はソリッドボディー）として、或いは複数の相互連結された立体より成る複合体として表されるような各対象の、カメラに対する相対変換によって表すことができる。対象の動きは、当該対象の全ての画素に対し、カメラ変換マトリックスＭ_camに剛体変換マトリックスＭ_objを乗じることにより実現しうる。この際、前述した変位関数は種々の画素の動きベクトルを計算する。各画素は、これが属する対象の識別子を有する必要があり、この識別子は更に、最も最近レンダリングされた原フレームのビュー空間におけるこの対象の最終変換マトリックス
Ｍ＝Ｍ_cam・Ｍ_obj
を指示する必要がある。このことは、対象又はマトリックスポインターを含む追加の記述面を導入することにより達成することができる。いかなるシーンにおいても、このような立体の個数は通常２５６個よりも少ない為、各画素当りの追加のバイトは１つで充分である。対象面は通常、１つの立体に属する大面積の均一値画素を含んでいる為、この対象面をランレングス符号化ＲＬＥにより有効に圧縮することができる。

上述した計算では、合計で、１回の割算と、５回の乗算と、８回の加算とが行なわれる。

Claims (10)

1. ディスプレイフレームの第１系列を表示する方法であって、この方法が、
   原フレームの第２系列を原フレームレートで受ける工程と、
   幾何学的な変換方法を用いることにより、前記第２系列に基づいて、隣り合う原フレームの対に対し１つ以上の中間フレームを合成する工程と
   を有する方法において、
   カメラ変換に基づく外挿と、Ｚバッファー情報に基づく、見える状態になる深い第１画素の、同様に深いが現在継続的に見える状態にある第２画素からのフレーム内での外挿とにより、各中間フレームを直前の原フレームのみに基づかせ、
   前記中間フレームの系列に基づき、場合に応じ前記原フレームにも基づいて、前記原フレームレートに比べて高くしたディスプレイフレームレートで前記ディスプレイフレームを選択することを特徴とする方法。
2. 請求の範囲１に記載の方法において、最も最近の原フレームに対して分かっているカメラの動きを用いて、後の原フレームの画素とその直後に続く合成ディスプレイフレームの画素との間の瞬時的なコヒーレンスを生ぜしめることを特徴とする方法。
3. 請求の範囲１に記載の方法において、この方法を、もっぱら、ディスプレイラインの走査の動きに沿って又はそれとは逆に動作するフレーム内の外挿に基づかせることを特徴とする方法。
4. 請求の範囲１に記載の方法において、更に、外挿されたフレーム中に、変換マトリックスＭ＝Ｍ_cam・Ｍ_objに従って合成されたオブジェクトを表示することを特徴とし、ただし、Ｍ _cam はカメラ変換マトリックスに相当し、且つＭ _obj は前記オブジェクトに属する全ての画素に対する剛体変換マトリックスに相当する方法。
5. 請求の範囲１に記載の方法において、継続的に見える状態にはない画素に関連する見える状態になるオブジェクトの見える状態になる画素を、該画素を表示するものとして有する次の原フレームが到来するまで、無視することを特徴とする方法。
6. ディスプレイフレームの第１系列を表示するように構成したフレーム式デバイスであって、このデバイスは、
   原フレームの第２系列を原フレームレートで受ける受信手段と、
   幾何学的な変換方法を用いることにより、前記第２系列に基づいて、隣り合う原フレームの対に対し１つ以上の中間フレームを合成する合成手段とを有している当該デバイスにおいて、
   前記合成手段は、カメラ変換に基づく外挿と、Ｚバッファー情報に基づく、見える状態になる深い第１画素の、同様に深いが現在継続的に見える状態にある第２画素からのフレーム内での外挿とにより、各中間フレームを直前の原フレームのみに基づかせるように構成されており、
   前記合成手段に接続され、前記中間フレームの系列に基づき、場合に応じ前記原フレームにも基づいて、前記原フレームレートに比べて高くしたディスプレイフレームレートで前記ディスプレイフレームを出力させる出力手段が設けられている
   ことを特徴とするデバイス。
7. 請求の範囲６に記載のデバイスにおいて、前記合成手段は、最も最近の原フレームに対するカメラの動き情報を受け、後の原フレームの画素とその直後に続く合成ディスプレイフレームの画素との間の瞬時的なコヒーレンスを生ぜしめるように構成されていることを特徴とするデバイス。
8. 請求の範囲６に記載のデバイスにおいて、前記合成手段は、もっぱら、ディスプレイラインの走査の動きに沿って又はそれとは逆に動作するフレーム内の外挿手段を有していることを特徴とするデバイス。
9. 請求の範囲６に記載のデバイスにおいて、外挿されたフレーム中に変換マトリックスＭ＝Ｍ_cam・Ｍ_objに従って合成されたオブジェクトを表示するマトリックス乗算手段が設けられていることを特徴とし、ただし、Ｍ _cam はカメラ変換マトリックスに相当し、且つＭ _obj は前記オブジェクトに属する全ての画素に対する剛体変換マトリックスに相当する、デバイス。
10. 請求の範囲６に記載のデバイスにおいて、継続的に見える状態にはない画素に関連する見える状態になるオブジェクトの見える状態になる画素を、該画素を表示するものとして有する次の原フレームが到来するまで、無視する取消し手段が設けられていることを特徴とするデバイス。

Images