JP3840150B2

JP3840150B2 - ３次元客体およびアニメートされた３次元客体のイメージベースの表現とレンダリング方法

Info

Publication number: JP3840150B2
Application number: JP2002192577A
Authority: JP
Inventors: 萬 ▲鎮▼ 韓; イグナチェンコアレクセイ
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2001-06-29
Filing date: 2002-07-01
Publication date: 2006-11-01
Anticipated expiration: 2022-07-01
Also published as: ES2351961T3; CA2391673C; CN1215444C; US20030001838A1; EP1271410A3; EP1271410A2; CA2391673A1; KR20030002995A; JP2003051026A; EP1271410B1; CN1395222A; DE60238017D1; KR100468851B1; RU2216781C2; US6954202B2

Description

【０００１】
【発明の属する技術分野】
本発明はコンピュータグラフィックスに関するものである。より詳細には、客体（オブジェクト）の実物写真やその幾何学的配置に基づいた、オブジェクトの静止画若しくは動画での３次元的な表現（グラフィック化）、さらに、単純化された幾何学モデルを利用したオブジェクトの表現（グラフィック化）およびレンダリング（ｒｅｎｄｅｒｉｎｇ）方法に関する。
【０００２】
【従来の技術】
３次元の客体（オブジェクト）を、高速かつ高品質でレンダリングすることは、現在のグラフィック業界において、大変注目されている。
３次元の客体（オブジェクト）を高品質でレンダリングするには、客体（オブジェクト）の圧縮や圧縮後の客体（オブジェクト）を、通信網を介して伝送することのできる効率的なアルゴリズムが必要とされる。なお、ここでいう通信網とは、たとえば、電子商取引、コンピュータゲーム、科学、工学、医学などの分野における通信網などである。
【０００３】
過去数十年間にわたって、これらの要求を満たすべくポリゴンモデルを使用した検討が種々行われたが、所望の結果を得るには至っていない。
なぜならば、ポリゴンモデルの場合、データが大容量である（たとえば、実際のオブジェクトを表現するには、数千万個の三角ポリゴンが必要となる）、グラフィック化（造形）が難しいという２つの短所があるからである。
そのため、このような短所を克服するための様々なグラフィック化の手法が、近年、種々提案されている。その中で、もっとも有効視されているのが、オブジェクトイメージ（実物の画像）に基づく方法と、３次元空間内で三角ポリゴンの代わりに点を利用する方法である。
【０００４】
オブジェクトイメージに基づく方法の場合、オブジェクトは、オブジェクト表面の全ての面を完全に網羅できるように、複数のカメラを用いて異なる位置から撮影されたイメージの集合（オブジェクトの写真の集合、以下、参照イメージという）で表現される。このとき、深度マップ（イメージ平面からオブジェクト表面までの距離の配列を示したマップ）が、前記イメージの集合と共に得られる。
【０００５】
この方法の場合、ポリゴンモデルの複雑さには何ら影響されることなく、オブジェクトの高品質での視覚化（グラフィック化）が参照イメージの集合から行える。また、一般的な画像圧縮技術で画質の劣化を伴わずに圧縮できるという利点を有する。さらに、レンダリング時間は、参照イメージと出力イメージの画素数に比例するのみであり、オブジェクトの複雑さとは無関係であることも利点の一つである。なお、ここでいう出力イメージとは、レンダリング後に形成されるオブジェクトのことである。
【０００６】
しかし、グラフィック化技術が現在発展途上にあるのと同様に、実際のオブジェクト（たとえば、彫刻品）の深度マップを求めるプロセスが複雑となるという欠点を有している。
【０００７】
一方、点を利用する方法では、オブジェクトは、ポリゴンではなく、点の集まりで表現される。
この方法では、各参照イメージの各画素をイメージ平面に垂直の方向に対応する深度値で変換することによって、深度イメージの集合がオブジェクト表面上の（所定の色を有する）点の集合として表される。
すなわち、イメージに基づく表現では、点を利用する方法の特別な場合である。
【０００８】
以下に、本発明に関連する実画像（イメージ）に基づく表現（グラフィック化）について説明する。
【０００９】
前述の２つの方法（オブジェクトイメージを利用する方法、点を利用する方法）が、３次元のオブジェクトの表現やレンダリングについての以下の参考文献［１］〜［１５］に記載されている。
［１］リリーフテクスチャーマッピング、
［２］階層化された深度イメージ、
［３］階層化された深度イメージツリー、
［４］Ｑｓｐｌａｔ、
［５］Ｓｕｒｆｅｌｓ。
【００１０】
［１］ＭａｎｕｅｌＭ．Ｏｌｉｖｅｉｒａ，ＧａｒｙＢｉｓｈｏｐ，ＤａｖｉｄＭｃＡｌｌｉｓｔｅｒ．ＲｅｌｉｅｆＴｅｘｔｕｒｅｓＭａｐｐｉｎｇ．ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＩＧＧＲＡＰＨ００．
【００１１】
［２］ＪｏｎａｔｈａｎＳｈａｄｅ，ＳｔｅｖｅｎＧｏｒｔｌｅｒ，Ｌｉ−ｗｅｉＨｅ，ＲｉｃｈａｒｄＳｚｅｌｉｓｋｉ，ＬａｙｅｒｅｄＤｅｐｔｈＩｍａｇｅｓ，ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓＰｒｏｃｅｅｄｉｎｇｓ，ＡｎｎｕａｌＣｏｎｆｅｒｅｎｃｅＳｅｒｉｅｓ，１９９８，ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＩＧＧＲＡＰＨ９８，Ｏｒｌａｎｄｏ，Ｆｌｏｒｉｄａ，Ｊｕｌｙ１９−２４，１９９８．
【００１２】
［３］Ｃｈｕｎ−ＦａＣｈａｎｇ，ＧａｒｙＢｉｓｈｏｐ，ＡｎｓｅｌｍｏＬａｓｔｒａ．ＬＤＩＴｒｅｅ：ＡＨｉｅｒａｒｃｈｉｃａｌＲｅｐｒｅｓｅｎｔａｔｉｏｎｆｏｒＩｍａｇｅ−ＢａｓｅｄＲｅｎｄｅｒｉｎｇ。
【００１３】
［４］ＳｚｙｍｏｎＲｕｓｉｎｋｉｅｗｉｃｚ，ＭａｒｃＬｅｖｏｙ．ＱＳｐｌａｔ：ＡＭｕｌｔｉｒｅｓｏｌｕｔｉｏｎＰｏｉｎｔＲｅｎｄｅｒｉｎｇＳｙｓｔｅｍｆｏｒＬａｒｇｅＭｅｓｈｅｓ．ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＩＧＧＲＡＰＨ００．
【００１４】
［５］ＨａｎｓｐｅｔｅｒＰｆｉｓｔｅｒ，ＭａｔｔｈｉａｓＺｗｉｃｋｅｒ，ＪｅｒｏｅｎｖａｎＢａａｒ，ＭａｒｋｕｓＧｒｏｓｓ．Ｓｕｒｆｅｌｓ：ＳｕｒｆａｃｅＥｌｅｍｅｎｔｓａｓＲｅｎｄｅｒｉｎｇＰｒｉｍｉｔｉｖｅｓ，ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＩＧＧＲＡＰＨ００．
【００１５】
［６］Ｃｈａｍｂｅｒｌａｉｎｅｔａｌ．，ＦａｓｔＲｅｎｄｅｒｉｎｇｏｆＣｏｍｐｌｅｘＥｎｖｉｒｏｎｍｅｎｔｓＵｓｉｎｇａＳｐａｔｉａｌＨｉｅｒａｒｃｈｙ，ＰｒｏｃｅｅｄｉｎｇｓｏｆＧｒａｐｈｉｃｓＩｎｔｅｒｆａｃｅ９６．
【００１６】
［７］ＧｒｏｓｓｍａｎａｎｄＤａｌｌｙ，Ｐｏｉｎｔｓａｍｐｌｅｒｅｎｄｅｒｉｎｇ，ＰｒｏｃｅｅｄｉｎｇｓｏｆＥｕｒｏｇｒａｐｈｉｃｓＷｏｒｋｓｈｏｐｏｎＲｅｎｄｅｒｉｎｇＴｅｃｈｎｉｑｕｅｓ９８．
【００１７】
［８］ＬｉｓｃｈｉｎｓｋｉａｎｄＲａｐｐｏｐｏｒｔ，Ｉｍａｇｅ−ＢａｓｅｄＲｅｎｄｅｒｉｎｇｆｏｒＮｏｎ−ＤｉｆｆｕｓｅＳｙｎｔｈｅｔｉｃＳｃｅｎｅｓ，ＰｒｏｃｅｅｄｉｎｇｓｏｆＥｕｒｏｇｒａｐｈｉｃｓＷｏｒｋｓｈｏｐｏｎＲｅｎｄｅｒｉｎｇＴｅｃｈｉｎｑｕｅｓ９８．
【００１８】
［９］Ｍ．ＬｅｖｏｙａｎｄＴ．Ｗｈｉｔｔｅｄ．ＴｈｅＵｓｅｏｆＰｏｉｎｔｓａｓＤｉｓｐｌａｙＰｒｉｍｉｔｉｖｅｓ．ＴｅｃｈｎｉｃａｌＲｅｐｏｒｔＴＲ８５−０２２，ＴｈｅＵｎｉｖｅｒｓｉｔｙｏｆＮｏｒｔｈＣａｒｏｌｉｎａａｔＣｈａｐｅｌＨｉｌｌ，ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，１９８５．
【００１９】
［１０］Ｌ．Ｗｅｓｔｏｖｅｒ．ＦｏｏｔｐｒｉｎｔＥｖａｌｕａｔｉｏｎｆｏｒＶｏｌｕｍｅＲｅｎｄｅｒｉｎｇ．ＩｎＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ，ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＩＧＧＲＡＰＨ９０，ｐａｇｅ３６７−３７６．Ａｕｇｕｓｔ１９９０．
【００２０】
［１１］Ｃ．Ｉ．Ｃｏｎｎｏｌｌｙ．Ｃｕｍｕｌａｔｉｖｅｇｅｎｅｒａｔｉｏｎｏｆｏｃｔｒｅｅｍｏｄｅｌｓｆｒｏｍｒａｎｇｅｄａｔａ．ＰｒｏｃｅｅｄｉｎｇｓｏｆＩｎｔｌ．Ｃｏｎｆ．Ｒｏｂｏｔｉｃｓ，ｐａｇｅｓ２５−３２，Ｍａｒｃｈ１９８４．
【００２１】
［１２］Ｇ．ＨＴａｒｂｏｘａｎｄＳ．Ｎ．Ｇｏｔｔｓｃｈｌｉｃｈ．ＩＶＩＳ：Ａｎｉｎｔｅｇｒａｔｅｄｖｏｌｕｍｅｔｒｉｃｉｎｓｐｅｃｔｉｏｎｓｙｓｔｅｍ．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳｅｃｏｎｄＣＡＤ−ＢａｓｅｄＶｉｓｉｏｎＷｏｒｋｓｈｏｐ，ｐａｇｅｓ２２０−２２７，Ｆｅｂｒｕａｒｙ１９９４．
【００２２】
［１３］Ｃｕｒｌｅｓｓ，Ｂ．，Ｌｅｖｏｙ，Ｍ．Ａｖｏｌｕｍｅｔｒｉｃｍｅｔｈｏｄｆｏｒｂｕｉｌｄｉｎｇｃｏｍｐｌｅｘｍｏｄｅｌｓｆｒｏｍｒａｎｇｅｉｍａｇｅｓ．ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＩＧＧＲＡＰＨ９６，ｐｐ．１６−３１２．
【００２３】
［１４］Ｃ．Ｂｒｅｇｌｅｒ，ＶｉｄｅｏＢａｓｅｄＡｎｉｍａｔｉｏｎＴｅｃｈｎｉｑｕｅｓｆｏｒＨｕｍａｎＭｏｔｉｏｎ，ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＩＧＧＲＡＰＨ００，ｉｎＣｏｕｒｓｅ３９，”Ｉｍａｇｅ−ｂａｓｅｄｍｏｄｅｌｉｎｇａｎｄｒｅｎｄｅｒｉｎｇ”．
【００２４】
［１５］ＰａｕｌＦ．Ｄｅｂｅｖｅｃ，ＣａｍｉｌｌｏＪ．Ｔａｙｌｏｒ，ＪｉｔｅｎｄｒａＭａｌｉｋ，ＭｏｄｅｌｉｎｇａｎｄＲｅｎｄｅｒｉｎｇＡｒｃｈｉｔｅｃｔｕｒｅｆｒｏｍＰｈｏｔｏｇｒａｐｈｓ：Ａｈｙｂｒｉｄｇｅｏｍｅｔｒｙ−ａｎｄｉｍａｇｅ−ｂａｓｅｄａｐｐｒｏａｃｈ，ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＩＧＧＲＡＰＨ９６．
【００２５】
オブジェクトイメージに基づく方法に共通する問題点は、得られたイメージに隙間（孔）が生じるということである。
ポリゴンを用いる方法の場合、オブジェクトの表面が全てのポリゴン（一般的に三角ポリゴン）により線形的に補間されるので、オブジェクトの表面が「連続的」に表現されるが、オブジェクトイメージや点に基づく方法では、近似的に表現されるので、得られるオブジェクトが「不連続」となる。
【００２６】
オブジェクトイメージに基づく方法の場合、オブジェクトの表面は、小さなカラー化された四角形、すなわち、参照イメージ上の画素に近似される。
【００２７】
しかし、観察方向が、オブジェクトの参照イメージの各平面に対し垂直となる方向（各平面の法線の方向）から大きくずれる時には、四角形により近似して投影する方法では、オブジェクト表面を完全にカバーして投影できない。
言い換えると、観察方向が各参照イメージの平面の法線の方向と大きく異なる場合、前述の四角形に近似する方法では、オブジェクトの全ての平面を網羅して表すことできない。
このことに、起因して生じた隙間（孔）を「第１型孔」という。
【００２８】
オブジェクトイメージに基づく方法で得られたイメージに隙間（孔）が生じるまた他の原因は、表面のある部分があらゆる参照イメージで見られないという点に起因するが、ある観測点については見られる（第２型孔という）。
すなわち、オブジェクト表面の一部分が、ある観測方向からの投影により得られた参照イメージでは見えないが、観測方向を変えて得られた別の参照イメージでは見ることができる場合がある。このようなことに起因する隙間（孔）を「第２型孔」という。これはオブジェクトイメージに基づいた表現方法に包含される情報欠如に起因する問題である。
【００２９】
前記参考文献に挙げたＲｅｌｉｅｆｔｅｘｔｕｒｅ方法［１］では、線形補間法と類似した方法を使用して前述の第１型孔の発生を抑制する。この方法では、前記補間が３次元空間内ではなく、投影された２次元のオブジェクトで行われるために、得られるグラフィックに、歪曲や人工物が生じる可能性がある。この方法において、重要な点は、前記第２型孔が同様にして処理されるということである。
【００３０】
階層化された深度イメージ（ＬａｙｅｒｅｄＤｅｐｔｈＩｍａｇｅ：ＬＤＩ）［２］は、前記第２型孔に関する問題を解決するために考案されたデータ構造である。
ＬＤＩは、その画素が参照イメージ平面のある地点に投影されるあらゆる客体（オブジェクト）点を含むイメージである。［１］の高速プリワーピングアルゴリズムもここに適用される。
しかしながら、第１型孔の問題は未解決のままである。スプラット処理（［１０］で最初に紹介された）は、第１型孔の問題を解決するために使われる。スプラットとは、任意の色分布（たとえば、ガウシアン色分布）が与えられた小さな２次元の直線若しくは楕円形表面のパッチである
【００３１】
ＬＤＩ方法の場合、これは、グラフィック化（表現）が任意の固定された方向の投影に基づいて行われるので、非対称性が問題となる。これによって前記任意の固定された方向から大きく異なる観測方向から投影した場合に、孔を埋め込むことが非常に難しくなる。
【００３２】
ＬＤＩツリー［３］は、オクツリー（ｏｃｔｒｅｅ）であるが、各オクツリーセル（ノード）にはＬＤＩが添付される。階層的モデルが有する長所はオクツリー内のあらゆるＬＤＩがレンダリングされる必要がないということである。
さらに離れているこのようなセルはより高い階層のＬＤＩに貯蔵されるフィルタリングされた点を使用することによって比較的簡単にレンダリングされる。
この表現は多くの参照イメージを使用してＬＤＩの非対称性を克服するために考案された。しかし、貯蔵空間が非常に大きくなる；５１２−ｂｙ−５１２イメージ（３６つの参照イメージから得られる）に対するＬＤＩツリーは［３］で報告されたように３０メガバイトを占める。
［３］で報告されたようにこの客体のレンダリング時間も長い；３２２５０ＭＨｚＭＩＰＳＲ１００００プロセッサーを有するＳｉｌｉｃｏｎＧｒａｐｈｉｃｓＯｎｙｘ２上でフレーム当り２〜３秒要する（並列処理を使用しない場合）。
【００３３】
イメージに基づくデータをツリー構造で結合するまた他の方法が最近に考案されたＳｕｒｆｅｌｓ方法［５］である。
この方法は一つのＬＤＩツリーの代わりに、ノードが３つの直交平面に対応する３個のＬＤＩを含む階層化された深度立方体（ｌａｙｅｒｅｄ−ｄｅｐｔｈｃｕｂｅ；ＬＤＣ）である特別なツリーを用いる。
［５］で報告された結果は８１０００個の三角形を含む元のモデルによって得られた。２５６−ｂｙ−２５６出力バッファに対する秒当たり１１フレーム（ｆｐｓ）のフレーム速度はペンティアム（Ｒ）ＩＩＩ７００ＭＨｚプロセッサー上で得られた。Ｓｕｒｆｅｌｓは対応する深度ベクトルによって転移される参照イメージ画素である。ツリー構造は可視要素を選択するための計算速度向上のために使われる。孔の埋め込みは最密近接となり、あるいはガウシアンフィルタリングによって得られる。スプラッティングはこの構造で実行される。得られるイメージの高品質は、データ量およびレンダリング速度を制限して得られる。
【００３４】
最近に導入されたＱｓｐｌａｔ表現［４］はイメージ基盤ではなく点基盤方法である。
この方法は重複された球に基づいた階層的な点構造を使用する。適切な大きさの楕円スプラットがレンダリング段階で使われる。
しかし［４］では多少複雑で時間がかかる切削カリング（ｔｒｕｎｃａｔｅｄｃｕｌｌｉｎｇ）が使われる。またデータ構造はより複雑で長時間の処理を必要とする。
【００３５】
深度イメージの集合と同じ範囲データを有するオクツリー構造の３次元モデルを得るアイディアと実行方法が［１１］ないし［１２］で開発された。［１３］はオクツリーを使用して元データからポリゴンモデルを構築することに関する。
【００３６】
前述の参考文献は、静止状態にある３次元のイメージにもとづく表現に関するものである。動いている３次元のオブジェクトについては、現在までのところ、イメージに基づく表現方法は、ごく僅かしか提案されていない。
［１４］でほとんど一定の３次元顔の幾何学的な外形のための顔イメージ修正に関するアイディアが提示されている。
これは限られた範囲内の動いている３次元のオブジェクトにのみ適用可能であり、実際の３次元の動いているオブジェクトの表現には適用できない。
［１５］では、建築物の映像が、いくつかの写真に基づいて、多様な観測点からの建築物内を再構成するテクスチャーマッピングと一体となって表現される。
【００３７】
これにより、容量が小さく、高品質の出力イメージが得られるレンダリング、そして動的表現が可能なイメージ基準表現が必要であるということが明らかになる。
【００３８】
【発明が解決しようとする課題】
本発明の技術的課題は、高速かつ高品質のレンダリングが可能な深度イメージに基づいた３次元客体（オブジェクト）の表現を提供することにある。
さらに、既存のハードウェアに好適に使用可能な加速手段（アクセラレータ）の使用が可能であり、高速かつ高精度のレンダリングが可能となる深度イメージに基づいた３次元客体（オブジェクト）の表現方法を提供することである。
さらに、データ容量が小さくて正確なレンダリングが可能である。動的な、アニメートされた３次元客体（オブジェクト）の表現方法を提供することである。
【００３９】
本発明の他の技術的課題は、高速かつ正確なレンダリングが可能であり、高速ワーピング、正確に計算された大きさのスプラットを利用した可視化、そして不要な計算を除去するカリング過程の利用を許容することによってレンダリング速度を向上させる動的３次元客体（オブジェクト）の簡潔な表現のための方法を提供することである。
【００４０】
【課題を解決するための手段】
前記技術的課題を解決するために本発明にかかる３次元客体（オブジェクト）の表現（グラフィック化）とレンダリング方法は、３次元客体のオリジナルデータを点の集合体である表現中間体に変換し、得られた前記表現中間体を、階層化された深度イメージが各面に割り当てられている外接立方体の形態のレンダリング表現に変換する。そして、観測者の位置を考慮して前記外接立方体の可視面を決定し、前記可視面の各々についての前記階層化された深度イメージをテクスチャーに変換し、前記可視面をテクスチャーで可視化することで達成される。
【００４１】
本発明に係るアニメートされた３次元客体の表現とレンダリング方法は、３次元客体のオリジナルデータを点の集合体である表現中間体に変換し、変換された表現中間体のフレームに対するデータを、階層化された深度イメージが各面に割り当てられた外接立方体の形態のレンダリング表現に変換する。そして、各フレームに対して観測者の位置を考慮して前記外接立方体の可視面を決定することによって前記得られた表現のシーケンスをレンダリングし、前記可視面に対して前記階層化された深度イメージをテクスチャーに変換し、前記可視面をテクスチャーに可視化することで達成される。
【００４２】
【発明の実施の形態】
以下、添付した図面を参照して本発明の望ましい一実施例について詳細に説明する。
【００４３】
図１は、３次元客体（オブジェクト）の表現およびレンダリングを説明する説明図である。
図２（ａ）は、客体（オブジェクト）のグレイスケールイメージ、図２（ｂ）は、客体（オブジェクト）のカラーイメージである。
【００４４】
図３（ａ）および図３（ｂ）は、階層化された深度イメージの各画素の一例を示す図面であって、図３（ａ）はモデル投影原理を、そして図３（ｂ）は前記投影結果のデータ構造を示す。
図４は、外接立方体の各面に対して階層化された深度イメージを形成する段階で、中間表現点を確認することを示す図面である。
【００４５】
図５は、多層深度イメージの各可視面をテクスチャーに変換する段階で外接立方体の一面を四分面に分割する例を示す図面である。
【００４６】
図６（ａ）と図６（ｂ）は、階層化された深度イメージのあらゆる点が結果的なテクスチャーに含まれているか否かを確認する原理を示す図面であって、図６（ａ）は観測者の位置から点が見えるか否かを確認することを、図６（ｂ）は点が得られるテクスチャーに含まれているか否かを確認することを示す。
【００４７】
まず図面の主要部分を参照番号と共に説明すれば次の通りである。
図１は、３次元の客体（オブジェクト）を表現してレンダリングする１段階から４段階までを示した図であって、符号５は３次元の客体（オブジェクト）モデル、符号６、７は表現中間体、符号８はレンダリング表現、符号９はテクスチャー、符号１０は、外接立方体のポリゴンモデル、符号１１は、前記ポリゴンモデルの視覚化されたイメージを示す。
【００４８】
図３（ａ）、図３（ｂ）における符号１４はモデル、符号１５は基本平面１５、符号１６は、階層化された深度イメージの各画素に対するモデルの点を示す。
図４における符号１７は外接立方体面、符号１８はレンダリング表現の点、符号１９は前記点１８における法線１９、符号２０は可視円錐を示す。
【００４９】
図５における符号２１は、観測者の位置、符号２２は、前記観測者の位置から面への垂直投影、符号２３、２４、２５、２６は、面１７の四分面、符号２７、２８、２９、３０は、前記各四分面における走査方向を示す。
【００５０】
図６（ａ）、図６（ｂ）における符号３１は、点１８における法線１９と点２１方向との間の角度、符号３２は、観測者が位置している点２１を通過する平面の投影、そして符号１７は観測者を基準として外接立方体面の最も近い面部を示す。
【００５１】
以下、図１を参照しながら、３次元客体のモデリング方法およびレンダリング方法を詳細に説明する。
【００５２】
［第１段階］
３次元オブジェクトであるモデル５を、表現中間体６（７）に変換する。
この表現中間体６（７）は、図２（ａ）のグレイスケールイメージ１２および図２（ｂ）のカラーイメージ１３、若しくは、図３（ａ）、（ｂ）の多層深度イメージ７から構成される６対のマップの集合である
前者の場合、すなわち、表現中間体６がグレイスケールイメージ１２およびのカラーイメージ１３から構成される場合、表現中間体６には、モデル５の表面部分のうち、外接立方体の面から見ることのできる部分の情報だけが含まれる。
【００５３】
図２（ａ）のグレイスケールイメージ１２の任意の一点における輝度は、外接立方体の面からモデル５の表面までの距離によって決定される。
【００５４】
外接立方体の面に最も近い位置にあるモデル５の表面上の一点において、最大輝度となり、反対に、最も遠い位置にある一点において、最小輝度となる。なお、モデル５の表面上に存在しない点は、輝度値「０」として符号化される。
【００５５】
一方、表現中間体７が多層深度イメージ７から構成される場合、表現中間体７には、モデル表面１４の全ての情報が含まれる。
これは、図３（ｂ）に示すように、階層化された深度イメージの各画素が、その画素に投影されるモデル表面１４の点の集合１６に対応するからである。
ここでモデル１４の表面の点における色と深度、さらに、この点における前記モデル表面における法線もまた、集合１６での各点に対応している。
【００５６】
［第２段階］
レンダリングによる表現が、外接立方体の各面に対して、階層化された深度イメージとして形成される。
表現中間体６を利用する場合、外接立方体の各面から見ることのできるモデルの表面の点の座標は、対応する他の面の座標系に変換され、変換結果は、前記面に対応する深度イメージに付加される。
【００５７】
表現中間体７を利用する場合、階層化された深度イメージは各面の座標系に変換される。
【００５８】
表現中間体７を利用して各面ごとの階層化された深度イメージを構築する場合、新しく追加された各点がこの面から見えるか否かを確認する。
図４に示すように、点１８における法線１９と点１７における法線との間の角度２０が閾値以下である場合、その点は前記階層化された階層イメージに追加されない。
【００５９】
［第３段階］
可視化に必要なテクスチャーが、一般的な方法（４段階）で構築される。
まず、外接立方体の可視面が観測者の現在位置を考慮して決定され、後に各面に対してテクスチャーとして賦課されるイメージが生成される。
テクスチャーの大きさは、前記面の法線と、観測者の位置点と面中心によって定義されるベクトルとの角度を使用して決定される。
もし、その角度が「０」に近ければ、テクスチャーの大きさは元のイメージの大きさと実質的に同一である。
その角度が大きくなるにしたがって、テクスチャーの大きさが減少する。テクスチャーの大きさは各座標ｕ、ｖ毎に別個に計算される。
【００６０】
テクスチャー構築過程には、外接立方体の面に対応する多層深度イメージの点の走査が含まれる。図５に示すように、走査順序は次のように選択される。
観測者の位置点２１の投影は、前記外接立方体の面平面上に現れる。この投影された点２２は、前記面を４個の四分面２３、２４、２５、２６に分割する。各四分面における前記階層化された深度イメージの走査方向は、走査が矢印２７、２８、２９、３０の方向に直線的に行われるように選択される。
【００６１】
そして各四分面内の点は選択された方向で走査され、前記面内の同じ座標を有する点は深度が減少する順に走査される。
各点について、２段階よりなるカリング過程を行う。第１段階は、法線ベクトルが階層化された深度イメージに存在する場合に行われ、図６（ａ）に示すように、前記点の接線の方向を確認し、観測ベクトルと点１８の法線１６との間の角度３１が決定される。
【００６２】
なお、角度３１が９０°を超える場合には、その点１８は無視され、前記過程は二番目の（他の）点について行われる。
角度３１が９０°を超えない場合には、機能的変換後に前記テクスチャー内に含まれない点を除去する第二段階が行われる。
【００６３】
外接立方体の各可視面に対して、２つの配列Ｍ_uとＭ_v（添字は面の対応する座標（ｕ、ｖ）を表す）が予備的に構成され、この配列は前記外接立方体内に含まれ、前記外接立方体の面１７と観測者が位置した点２１の最も近い２つの角部を通過する平面上に位置した点の深度で構成される。
【００６４】
図６（ｂ）は、座標Ｕに対応する平面のうちの一つの投影３２を示す。配列データ要素は階層化された深度イメージの点に対する二番目のカリング基準で使われる。
点の深度がＭ_u［ｕ］あるいはＭ_v［ｖ］より大きい場合（ここでｕ、ｖは外接立方体面における点の座標である）、この点は生成されるテクスチャーにおいて見えないので、前記過程は、次の点において行われる。
続いて、１次元機能変換（ワーピング、［１］を参照）が、点座標（ｕ、ｖ）および深度ｄに基づいて、各選択された点に行われる。
【００６５】
１次元機能変換を行うと、選択された観測者の位置２１における座標系における座標（ｕ’、ｖ’）が求められる。
この１次元機能変換は、可視面上の全ての点について行われる。生成されたテクスチャー内に含まれる座標点においてスプラットが形成される。
スプラットの色は、元の座標（ｕ、ｖ、ｄ）点が有する色に対応する。スプラットの形は、通常四角形あるいは円形であるが、テクスチャー内で賦課される速度を考慮して決定される。
スプラットの大きさは元のイメージの大きさ、得られたテクスチャーの大きさから決定され、階層化された深度イメージの点における法線を考慮して調節できる。
【００６６】
スプラットセンターの座標はワーピングによって得られた座標（ｕ’、ｖ’）に対応せねばならない。結果的に各可視面に関するイメージが得られ、このイメージは、ポリゴンモデルの対応する面上に、４段階（図１）において賦課される。
何もない領域は、得られたテクスチャーの中では透明に表示されるが、外接立方体ポリゴンモデルでは背景を考慮しないので得られるイメージの正確性を保障する。
【００６７】
オブジェクトのアニメーション表現の方法は、前述した方法と基本的に同一であるので、特徴的な点のみ以下に説明する。
外接立方体が、モデルのオリジナルのデータストリーム、すなわち、アニメーションフレーム群、について決定される。
ついで、６対のマップが各フレームに対して構築される。ここで、各マップ対は、前述のグレイスケールイメージとカラーイメージとより構成される（図２（ａ）、（ｂ）参照）。
その結果、合計１２のビデオストリーム、外接立方体の各面ごとに２つのビデオストリーム、が得られる。
カラーイメージに対応するストリームは損失を伴うビデオ圧縮アルゴリズム、例えば、ＭＰＥＧ２のようないかなるアルゴリズムでも圧縮されうる。
しかし、グレイスケールイメージ（深度マップ）に対応するストリームはＭＰＥＧ４フォーマット内のαチャンネル圧縮のような品質の損傷がない圧縮アルゴリズムを利用して圧縮せねばならない。本発明による方法の望ましい実施例はＭＰＥＧ４圧縮フォーマットを使用して６つのビデオストリームを圧縮することである。
【００６８】
【発明の効果】
以上説明したように、本発明による３次元客体の表現とレンダリング方法は、少貯蔵量、高品質の出力イメージを有するレンダリングが可能であるためにアニメーション目的に適したイメージ基盤表現が可能である。
【図面の簡単な説明】
【図１】３次元客体を表現してレンダリングするための一連の段階を示す図面である。
【図２】（ａ）は客体のグレイスケールイメージ、（ｂ）は客体のカラーイメージを示す図である。
【図３】図３（ａ）および図３（ｂ）は、階層化された深度イメージの各画素の一例を示す図面であって、図３（ａ）はモデル投影原理を、そして図３（ｂ）は前記投影結果のデータ構造を示す。
【図４】外接立方体の各面に対して階層化された深度イメージを形成する段階で、中間表現点を確認することを示す図面である。
【図５】多層深度イメージの各可視面をテクスチャーに変換する段階で外接立方体の一面を四分面に分割する例を示す図面である。
【図６】図６は、階層化された深度イメージのあらゆる点が結果的なテクスチャーに含まれているか否かを確認する原理を示す図面であって、図６（ａ）は観測者の位置から点が見えるか否かを確認することを、図６（ｂ）は点が得られるテクスチャーに含まれているか否かを確認することを示す。
【符号の説明】
５・・・３次元客体モデル
６、７・中間表現
８・・・レンダリング表現
９・・・テクスチャー
１０・・外接立方体のポリゴンモデル
１１・・モデルの可視化されたイメージ

Claims

コンピュータを用いて、３次元客体の表現とレンダリングを行う方法であって、
（ａ）前記コンピュータが備えるイメージ構築手段が、３次元客体のオリジナルデータを外接立方体の面に対して直交投影したモデルイメージデータから、それぞれの面に対応するカラーイメージ及びグレイスケールモデルを検出すると共に、ぞれぞれの面に対応する前記カラーイメージと前記グレイスケールイメージをマップ対にした点の集合体である表現中間体に変換し、前記表現中間体を、階層化された深度イメージが各面に割り当てられている外接立方体の形態のレンダリング表現に変換する段階と、
（ｂ）前記コンピュータが備える可視化手段が、観測者の位置を考慮して前記外接立方体の可視面を決定し、前記可視面の各々についての前記階層化された深度イメージをテクスチャーに変換し、前記可視面をテクスチャーで可視化する段階とを含む
ことを特徴とする３次元客体の表現とレンダリング方法。
前記（ａ）段階は、
（ａ１）前記３次元客体を前記外接立方体内に位置させる段階と、
（ａ２）前記外接立方体の全ての面に、前記３次元客体を直交投影し、所定の画素解像度の客体イメージを各面ごとに求める段階と、
（ａ３）得られた客体イメージの全ての画素に対して、前記３次元客体の表面から前記外接立方体の対応面までの距離である深度値を計算し、計算した深度値に応じた輝度で各画素が表示されてなるグレイスケールイメージを、前記外接立方体の面ごとに求める段階と、
（ａ４）前記外接立方体の面ごとのカラーイメージと、前記外接立方体の面ごとに求めたグレイスケールイメージとを、前記外接立方体の面ごとに組み合わせて、６つのマップ対とし、これを貯蔵する段階と、
（ａ５）前記６つのマップ対から、前記外接立方体の各面に対する階層化された深度イメージを構築する段階とを含む
ことを特徴とする請求項１に記載の３次元客体の表現とレンダリング方法。
前記（ａ）段階は、
（ａ６）階層化された深度イメージを構築し、前記階層化された深度イメージから前記外接立方体の各面について多層深度イメージを形成する段階を含むこと
を特徴とする請求項１に記載の３次元客体の表現とレンダリング方法。
前記（ａ６）段階は、
前記階層化された深度イメージを前記外接立方体の各面の座標系に変換したのちに、前記各面に対応する深度イメージに付加して表現中間体を形成し、
前記表現中間体の任意の点における法線と前記外接立方体面の法線との角度が所定の値より小さい場合、当該点を除外する段階を含むこと
を特徴とする請求項３に記載の３次元客体の表現とレンダリング方法。
前記各可視面についての前記階層化された深度イメージをテクスチャーに変換する段階は、
前記可視面に対する観測者の位置によってテクスチャーの大きさを決定する段階と、
前記観測点の前記面への直交投影点と一致する点を原点とする座標系軸で前記面を四分面に分割する段階と、
前記各四分面に対して、前記座標系の原点方向への線と、前記面平面からの最も遠い点からより近い点までの深度で、前記階層化された深度イメージの走査方向を決定し、前記イメージの各点に対しての走査中に、前記点が生成されるテクスチャー内に属しているかどうかを確認して、属していないと判断された場合には、前記対応する点を除外して次のイメージ点に移動し、属していれば前記イメージ点の座標および深度を生成されるテクスチャーの点の座標に変換し、前記得られた座標で前記テクスチャー点でスプラットを形成する段階と
を含むことを特徴とする請求項１乃至請求項４のいずれか一項に記載の３次元客体の表現とレンダリング方法。
前記表現中間体は、３次元客体の情報を貯蔵するために利用される
ことを特徴とする請求項１乃至請求項５のいずれか一項に記載の３次元客体の表現とレンダリング方法。
コンピュータを用いて、アニメートされた３次元客体の表現とレンダリングを行う方法であって、
（ａ）前記コンピュータが備えるイメージ構築手段が、３次元客体のオリジナルデータを外接立方体の面に対して直交投影したモデルイメージデータから、それぞれの面に対応するカラーイメージ及びグレイスケールモデルを検出すると共に、ぞれぞれの面に対応する前記カラーイメージと前記グレイスケールイメージをマップ対にした点の集合体である表現中間体に変換し、前記表現中間体のフレームに対するデータを、階層化された深度イメージが各面に割り当てられた外接立方体の形態のレンダリング表現に変換する段階と、
（ｂ）前記コンピュータが備える可視化手段が、各フレームに対して観測者の位置を考慮して前記外接立方体の可視面を決定することによって前記得られた表現のシーケンスをレンダリングし、前記可視面に対して前記階層化された深度イメージをテクスチャーに変換し、前記可視面をテクスチャーに可視化する段階と
を含むことを特徴とするアニメートされた３次元客体の表現とレンダリング方法。
前記（ａ）段階は、
（ａ１）前記３次元客体を、前記外接立方体内に位置させる段階と、
（ａ２）各アニメーションフレームに対して、前記外接立方体の全ての面に、前記３次元客体を直交投影し、所定の画素解像度の客体イメージを各面ごとに求める段階と、
（ａ３）得られた客体イメージの全ての画素に対して、前記３次元客体の表面から前記外接立方体の対応面までの距離である深度値を計算し、計算した深度値に応じた輝度で各画素が表示されてなるグレイスケールイメージを、前記外接立方体の面ごとに求める段階と、
（ａ４）前記外接立方体の面ごとのカラーイメージと、前記外接立方体の面ごとに求めたグレイスケールイメージとを、前記外接立方体の面ごとに組み合わせて、６つのマップ対とし、これを貯蔵する段階と、
（ａ５）前記６つのマップ対から、前記外接立方体の各面に対する階層化された深度イメージを構築する段階と
を含むことを特徴とする請求項７に記載のアニメートされた３次元客体の表現とレンダリング方法。
６つのビデオストリーム形態でえられた前記表現中間体をＭＰＥＧ４圧縮フォーマットで圧縮して、カラー情報はカラーチャンネルに、そして深度マップはαチャンネルに貯蔵することを特徴とする請求項８に記載のアニメートされた３次元客体の表現とレンダリング方法。