JP3940434B2 - テクセルキャッシュを使用した画像テクスチャマッピング - Google Patents

Description

技術分野
本発明は、画像処理、特に（排他的ではなく）、二次元画像を描画する方法及び装置に関する。ここで、描画される画像は、二次元空間に規定される１つ若しくは複数のポリゴンを含み、そして二次元画像又はテクスチャマップ（texturemap）からのピクセルテクスチャ値（テクセル：texel）が、投影される二次元ポリゴンのピクセル位置にマッピング（配置）される。
背景技術
テクスチャマッピングの処理はよく知られており、基本的に、より高い程度の現実感及び、時には、オブジェクトの幾何学的複雑性の低減を提供することを目的として、二次元画像又はテクスチャで幾何学面を覆うステップを有する。基本的なテクスチャマッピング技術は、例えば“Computer Graphics: Principles and Practice”Foley, van Dam, Feiner, Hughes共著、1990年Addison Wesley発行、ISBN 0-201-12110-7、頁741〜744に記述されている。
テクスチャマップがポリゴンに適用される場合、当該テクスチャマップにおけるポリゴンの頂点の位置は、描かれる際に見つけられ、ポリゴン上で補間される。通常、ポリゴンは一本ずつの走査線により描かれる。ポリゴンが存在する上部走査線によってカバーされるピクセルが最初に描画され、これにその下のディスプレイライン上のピクセルが続き、ポリゴンが完全に描かれるまで同様に続く。また通常は、ピクセルは、いずれかの走査線において左から右の順で描画される。
ピクセルに適用される色を得るための最も簡単な方策は、ポイントサンプリングの処理である。この場合、ピクセルに係る補間テクスチャの座標は、単一のテクスチャマップのエントリをインデックス付けするために使用される（単一テクセル）。これら座標が端数部分を有する場合、その値は、テクスチャ座標の整数のペアを得るよう切捨て若しくは四捨五入（truncate or round）される。
この方策は、或るテクセルから他のテクセルへの変化が急であるため、エイリアシング効果をもたらす。これは、オブジェクトがゆっくり動くと、ピクセルの色が、次のテクセルに対するポイントサンプル位置用の粗い選択により急激に変化することになることを意味する。
望ましい技術は、バイリニア補間を用いることであり、インデックス付けされたテクスチャマップエントリの周囲の４つのテクセルの値が用いられる。バイリニア補間用の一般的なアルゴリズムは、水平及び垂直方向の両方の補間を用いて、色（又は他の）テクセル値を補間するものである。これは、表示品質を向上させる作用を有する一方、４つのテクセルが１つのピクセルの代りに各ピクセルについて読取られなければならないため、必要なメモリの容量が４倍になる。
発明の開示
本発明は、必要なテクスチャメモリの容量を削減しつつ補間技術を用いることを可能とすることを目的とする。
本発明によれば、ポリゴンが二次元スクリーン空間に規定され、二次元テクスチャマップに保持されたテクセルから得られるピクセルテクスチャ値が、当該二次元ポリゴン内のピクセルの行にマッピングされる二次元画像を描画する画像処理方法であって、ピクセルテクスチャ値の導出のために前記テクスチャマップから呼ばれたテクセルが、テクセルキャッシュに格納され、後続のピクセルについて、必要なテクセル値が前記キャッシュから読取り可能か否かを見極めるためにチェックが実施され、不可能であった場合、前記テクスチャマップから前記必要なテクセル値が読取られることを特徴とする方法が提供される。（テクスチャメモリよりも小型で高速な）キャッシュを使用することにより、テクスチャメモリへの必要なアクセスの数は低減され、この結果、必要なテクスチャメモリ容量も低減される。
このキャッシュは、最後に描画されたピクセルに必要なテクセル（バイリニア補間では４つのテクセル）のみを保持し、キャッシュ内容は各ピクセル描画後に更新されるようにしてもよい。或いは、２つの間のどこかの必要なテクセル及び線全体の隣接ピクセルを保持する、より大きなキャッシュが設けられてよいが、大きなキャッシュは当然大きな格納領域を必要とする。
また、本発明によれば、二次元スクリーン空間に規定された１つ又は複数のポリゴンを含む画像を描画するように構成された画像処理装置であって、複数のピクセルテクスチャ値（テクセル）を含むピクセルテクスチャマップを保持する第１格納手段と、二次元スクリーン空間のポリゴンの頂点の座標を格納するように構成された第２格納手段と、前記第１及び第２格納手段が結合されかつ、当該ポリゴン中のピクセルに前記テクスチャマップからのテクセルから得られるピクセルテクスチャ値をマッピングするために動作可能な画像描画手段とを有し、１つ又は複数のテクセルキャッシュに、前記画像描画手段が前記第１格納手段から読取ったテクセルを格納し、前記画像描画手段が、前記１つ又は複数のキャッシュから必要なテクセル値を呼び、そしてこのテクセル値がキャッシュ格納部には存在しない場合のみ前記第１格納手段から当該テクセル値を読取るように構成されていることを特徴とする装置が提供される。
この画像描画手段は、各必要なテクセルについてテクスチャマップアドレスを得て、キャッシュ中の各テクセルのテクスチャマップアドレスの前記又は各々のキャッシュへの格納を可能にするように適切に構成されても良い。このような構成では、画像描画手段が、得られて格納されたテクスチャマップアドレスの比較により、必要なテクセルがキャッシュに保持されているかどうかを判断してもよい。
第１格納手段は、異なる解像度レベルにそれぞれがフィルタ処理される２つ以上のテクスチャマップを保持してもよく、当該画像描画手段は、異なる解像度レベルの２つのテクスチャマップからのテクセルから得られるピクセルテクスチャ値をマッピングするように動作可能である。この場合、第１格納手段において各テクスチャマップ解像度レベルに対して別個のキャッシュが設けられてもよく、また、これに付加的に又は代替的に、当該画像描画手段は、前記又はそれぞれのキャッシュに、前記キャッシュに保持された各テクセルについてのテクスチャマップ解像度レベルを格納するように構成される。
【図面の簡単な説明】
第１図は、本発明の実施例の画像処理システムの概略ブロック図である。
第２図は、二次元スクリーン空間にマッピングされた三次元オブジェクトを示す図である。
第３図は、第２図のマッピングされたオブジェクト画像の部分を表すポリゴンを示す図である。
第４図及び第５図は、テクスチャメモリ値の補間を概略的に示す図である。
発明を実施するための最良の形態
以下、本発明を、添付図面を参照して例示により説明する。
第１図に示された画像処理装置は、仮想三次元の世界の視認可能な二次元表示を生成するために二次元画像データを処理するように構成された処理ユニット１０を有する。三次元データ及びプロセッサ１０の動作を制御する命令は、データバス１４を介して当該プロセッサに接続されたメモリ装置（ＲＡＭ１２）に保持される。メモリ装置１２は、磁気ディスク、光ディスク、磁気光ディスク、又は他の適当なランダムアクセス型記憶媒体を含みうる永久記録媒体からロードされるようにしてもよい。プロセッサ１０からバス１４を介して供給されたデータに基づいて、グラフィック加工ハードウェアは、従来のテレビ受像機の形態とすることができるビデオモニタ１８に供給されるビデオ画像を生成する。描画段１６には、キャッシュメモリ２２のみならず、従来のフレーム格納部２０の形態で、局部記憶手段が設けられる。これらの機能については、後述する。対話型ユーザ入力は、キーボード、トラックボール、マウス又は専用のキーパッド等の形態を採りうるコントローラ２４からプロセッサ１０により受信される。
三次元データは、三次元の座標空間中の多面体頂点位置を規定する形式で格納される。三次元データの二次元表示は、当該各頂点が、直線により接続されており平坦なポリゴンの網を規定しているとみなすことにより、フレーム単位で構築される。表示は、場合によっては後面除去等を実行して考慮中の特定の視点からは見えないポリゴンを除去した後に、各ポリゴンを順次考慮して、描画される。その後、ポリゴンが正しい順序で描画されることを保証するポリゴンのリストが規定されることができる。第２図及び第３図は、三次元のオブジェクト、この場合、立方体３０が、平坦なポリゴンの網としてどのように表示されるかを示している。
ポリゴンのそれぞれにソリッドカラーを割当て、或いは頂点用の色を識別してその後にポリゴン境界内の各ピクセルの色の値をリニア補間の処理により割り当てることが可能である。同様の処理が、テクスチャマッピング又はビデオマッピングをなすために行われてもよい。
第３図において、ポリゴン３２（この場合、立方体３０の或る面の一部を形成する三角形）は、頂点３４，３６，３８の三次元座標を処理することにより、二次元表示面に投影されたものである。したがって、ｘ，ｙ，ｚの座標を有する三次元空間に前もって規定されたこれら頂点は、そして二次元（Ｘ，Ｙ）面上に投影される。
ｚ次元から得られた情報の観察者に対する伝達は、ポリゴンが正しい順序で描画されること、言換えれば後方にあるポリゴン（最大のｚ長さを有する）が、ｚ方向のより小さな値を有するポリゴンの前に描画されることを保証し、これにより、観察者に最も近いポリゴンが観察者からより離れたポリゴンをさえぎることを保証することによって達成される。さらに、ｚ方向から得られる情報は、二次元平面上へのポリゴンの遠近法的に正確な投影を実現することにより同様に維持される。
投影の後、頂点３４，３６，３８は、二次元表示画像フレーム中の遠近法的に正確な位置に配置される。各頂点は、三次元空間から二次元表示画像平面への配置を、三次元座標セット及び二次元座標セットの形で反映する座標位置を含む。付言すると、各頂点は、ポリゴンの表面の特性や、色、不透明度又は鏡面度等の他の情報も含んでもよい。
本実施例においては、当該プロセッサは、二次元画像の三次元オブジェクトへのマッピングに関係しており、当該オブジェクトが三次元空間で規定される。描画ハードウェア１６（第１図）により生成された二次元画像は、三次元オブジェクトへのビデオテクスチャのマッピングを提供するため、従来のビデオフレームである。他の例として、ビデオフレームのシーケンスも考えられ、動くビデオシーケンスの三次元オブジェクトへのマッピングをもたらす。よって、当該ビデオフレームは多色ピクセルのアレイからなり、これは、RGB値、輝度及び色差値又はこのような値の圧縮表現された値として規定可能である。画像フレーム内の各ピクセルの位置は、Ｕ座標を与えるために左上の角（コーナ）から走査線に沿って測定し、Ｖ座標を導く当該フレーム下の走査線の数を測定することにより識別される。すなわち、記号Ｕ及びＶが、ここでは原画内の座標位置を特定するために使用されるが、ＰＡＬシステムで使用される色差信号と混同されるべきではない。
ポリゴン３２に戻り、このポリゴンは、出力画像の領域として考えられ、そしてテクスチャマッピング処理の目的は、この領域のピクセル値を識別することである。したがって、画像フレームは、記憶装置において構築可能であり、完全にフルの、すなわちピクセル値がフレーム内のピクセルの全てに対して計算されたら、このフレームは、表示可能なビデオ信号を生成する目的でラスタ走査されることができる。
頂点３４，３６，３８は、元々は三次元空間に規定される。それぞれの頂点は、座標位置（ｘ、ｙ、ｚ）を有する。二次元平面への投影により、各頂点が表示面（Ｘ、Ｙ）中の二次元座標を有することになる。したがって、頂点３４，３６，３８は、三角形ポリゴン３２により境界が形成された出力ビデオフレーム内にピクセル領域を画定する。
理論的には、三次元空間における三角形３２内の各ピクセルを考えることが可能である。したがって、入力の二次元画像は三次元空間にマッピング可能であり、ピクセル値をこの空間内で計算可能であり、その後に、これらピクセルは、二次元表示平面に投影可能である。但し、この様な処理は、計算上高価であり、テクスチャマッピング機能が多くの実際のプラットフォーム上で実現されることを可能にしない。
三角形ポリゴン３２が描画されるには、入力画像フレーム内のピクセルの三角領域がポリゴン３２内のピクセルへマッピングされることになることは明らかである。（Ｕ，Ｖ）座標により規定されるピクセルの値は、リニア補間により、当該ポリゴン領域内のピクセル位置（Ｘ、Ｙ）の全てについて識別される。第２図に示したように、マッピング及び描画は、三角ポリゴンを参照して行われる。従って、第１段階は、オブジェクト３０の平坦な表面を三角形の描画可能なポリゴンに分割することと、これらポリゴンを二次元平面に投影することとから構成される。その後、ポリゴンの頂点用にマップが規定され、そして付加的な位置が補間され、これにより、ポリゴン中の個々のピクセルは、入力画像から出力画像への直接二次元マッピングにより識別される。
第４図及び第５図には、バイリニア補間によるポリゴンピクセルへのテクスチャ値のマッピングのための従来技術が示されている。第４図は、テクスチャマッピングの一部を示す。このマップには、固定ドットにより示されるような多数のピクセルテクスチャ値（テクセル）が格納されている。１ピクセルに対する補間されたテクスチャ座標は、４つの周りのテクセルを判定するためテクスチャマップをインデックス付けするために使用される。図示のように、テクスチャ座標２．８，２．２を有するピクセルＸについて４つの円で囲ったテクセルが見い出だされる。
第５図は、第４図において識別された４つのテクセルにより保持された特性Ｑ（例えば、色成分値）を示す。テクセルの対Ｑ．１，Ｑ．２とＱ．３，Ｑ．４との間の水平方向の補間は、水平方向における必要なテクスチャ位置の端数部分Ｆｕに対し２つの値Ｑ．Ａ及びＱ．Ｂを与える。テクスチャの端数部分Ｆｖに対するＱ.ＡとＱ.Ｂとの間の垂直方向の補間は、所望の特性（テクスチャ）値Ｑ．Ｒを提供する。Ｑ．Ｒを得るための第１図の描画段１６により適用される関数は、次のようにすることができる。
Ｑ.Ａ＝Ｑ.２.Ｆｕ＋Ｑ.１.（１−Ｆｕ）
Ｑ.Ｂ＝Ｑ.４.Ｆｕ＋Ｑ.３.（１−Ｆｕ）
これらの結果は、次式に適用される。
Ｑ.Ｒ＝Ｑ.Ａ.Ｆｖ＋Ｑ．Ｂ．（１−Ｆｖ）
上述のテクスチャメモリの容量の問題を緩和するため、所与のポリゴンの行にある隣接したピクセルをテクスチャ化するときは、通常少なくとも２つのテクセルが、前のピクセルをテクスチャ化するときに必要とされたテクセルである、という事実が用いられる。
この利点を利用するため、各テクスチャ補間処理の後に使用されるテクセル値を保持しかつ、これらを次のピクセルのテクスチャ化が必要とされる際に利用可能とする４つのテクセルキャッシュ（第１図のキャッシュメモリ２２）が設けられる。これが達成される方法の例は、キャッシュ中の４つの要素の各々が、そのテクセルについての色の値のみならずテクスチャ座標のための格納部を持つことである。後続のピクセルの必要なテクスチャ座標が既知の場合、これらはキャッシュされた座標のそれぞれと比較可能である。４つの格納されたキャッシュ位置の何れかと一致した場合、そこに格納された色の値は、メモリからの読み出しに代えて使用されるようにしてもよい。これにより、多くの場合、必要なメモリ容量は約２分の１に低減することになる。
この技術の拡張は、ポリゴンの次の走査線をテクスチャ化する間、必要なテクスチャ値の半分が、多くの場合、前の走査線上のポリゴンピクセルが処理された際に使用されたものであるという事実を利用するものである。これにより、ポリゴンは多くのピクセルの幅を持つことができるので、大幅に大きなキャッシュを必要とする。とはいえ、ポリゴンの最大可能幅よりも小さいテクセルキャッシュを提供することは当然可能である。なぜなら、これは、より小さいポリゴンを完全に処理し、より大きなポリゴンの処理をある程度まで加速させるからである。
テクスチャマッピングの品質の改良に係る更なる既知の技術は、トリリニア補間の技術である。この技術は、テクスチャマップの複数のバージョンの１つを選択するＭＩＰマップ技術を使用するシステムにおいて実現されるものであり、かかるバージョンの各々は、異なるサイズ（解像度の異なるレベル）にそれぞれ濾波（フィルタ処理）される。トリリニア補間が使用される場合、前述のバイリニア補間がＭＩＰマップの２つの隣接レベルの各々において別個実施され、そして、各レベルについて得られた値の間の補間により最終的に描かれる色が得られる。この付加的補間の利点は、これがなければ或るマップから他のマップへの急な変化が存在するため生じ得るポッピング効果の除去である。
従来のトリリニア補間技術は画像品質を向上させるが、ここで説明したようなテクスチャピクセルキャッシングが使用されないと、点サンプルシステムのメモリ容量の８倍のメモリ容量の条件を招く。トリリニア補間システムに本発明を効果的に使用するため、独立した１つのキャッシュ又は複数のキャッシュによるセットが、２つのレベルの各々について設けられてもよく、或いは各エントリについてレベルタギング（level tagging）を有する単一キャッシュが設けられていもよい。
いくつかのシステムにおいて、遠近法の効果のため、ポリゴンが描画されると共にMIPマップレベルが点において変更されても良い。この効果を許容する目的で、誤ったレベルからのテクセルとの誤った一致を避けるため、各テクセルキャッシュの入力にMIPマップレベルフィールドを含むことが必要であるかもしれない。
この記述を読むと、他の変形例が当業者には明かであろう。このような変形例は、画像処理装置及び機器並びにその部品のデザイン、製造及び使用において既知であって上述の機能に代えて又は加えて使用可能な他の特徴を含んでもよい。
この出願においては、請求項が特定の機能の組み合わせについて形成されているが、本発明の開示の範囲は、明示的に若しくは暗黙的にここに開示されたあらゆる新規な機能若しくは新規な機能の組み合わせ又はこれらのあらゆる一般化をも含み、これは、ここで請求されたあらゆる請求項と同じ発明に関連するか否か、又は、本発明のあらゆる技術的な課題と同じ問題を軽減するか否かに関わらないことを理解されたい。出願人は、新たな請求項が、本発明もしくは本願から派生するあらゆる更なる出願の中間処理の間、このような要件及び／若しくは要件の組合せが形成されてもよいことをここに主張します。

Claims (4)

1. 二次元スクリーン空間に規定される１つ以上のポリゴンを含む画像を描画するように構成された画像処理装置であって、
   ・ 複数のピクセルテクスチャ値（テクセル）を各々が含み、異なる解像度レベルに各々がフィルタ処理される２つ以上のピクセルテクスチャマップを保持する第１格納手段と、
   ・ 二次元スクリーン空間におけるポリゴンの頂点の座標を格納するように構成された第２格納手段と、
   ・ 前記第１及び第２格納手段に結合されかつ、当該ポリゴン内のピクセルへ異なる解像度レベルの２つのテクスチャマップによるテクセルから得られるピクセルテクスチャ値をマッピングするよう動作可能な画像描画手段と、
   ・ テクセルキャッシュと、
   を有し、
   このキャッシュに、前記画像描画手段が前記第１格納手段から読取ったテクセルを格納し、前記画像描画手段が、前記キャッシュから必要なテクセル値を呼び、このテクセル値がキャッシュ格納部に存在しない場合のみ前記第１格納手段から前記テクセル値を読取るように構成され、
   前記第１格納手段における各テクスチャマップの解像度レベルにつき個別のキャッシュが設けられる、
   画像処理装置。
2. 請求項１に記載の装置であって、
   前記画像描画手段は、各必要なテクセルのテクスチャマップアドレスを取得し、各々のキャッシュに前記キャッシュにおける各テクセルにつき前記テクスチャマップアドレスを格納するよう構成されている、ことを特徴とする画像処理装置。
3. 請求項２に記載の装置であって、
   前記画像描画手段は、当該取得されたテクスチャマップアドレスと当該格納されたテクスチャマップアドレスを比較することにより、必要なテクセルが前記キャッシュに保持されているか否かを判定するように構成されている、ことを特徴とする画像処理装置。
4. 請求項１に記載の装置であって、
   前記画像描画手段は、各キャッシュに、前記キャッシュに保持された各テクセルについてのテクスチャマップの解像度レベルを格納するように構成されている、ことを特徴とする画像処理装置。

Images