JP3981302B2 - ３次元の静止した又は動くオブジェクトの階層イメージベース表現並びに該表現をオブジェクトのレンダリングに使用する方法及び装置 - Google Patents
３次元の静止した又は動くオブジェクトの階層イメージベース表現並びに該表現をオブジェクトのレンダリングに使用する方法及び装置 Download PDFInfo
- Publication number
- JP3981302B2 JP3981302B2 JP2002192460A JP2002192460A JP3981302B2 JP 3981302 B2 JP3981302 B2 JP 3981302B2 JP 2002192460 A JP2002192460 A JP 2002192460A JP 2002192460 A JP2002192460 A JP 2002192460A JP 3981302 B2 JP3981302 B2 JP 3981302B2
- Authority
- JP
- Japan
- Prior art keywords
- bvo
- dimensional
- vertex
- octree
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
- G06T15/87—Gouraud shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はコンピュータグラフィックスに係り、特に、現実の物体の写真及びその幾何学的表現から得られた３次元（３Ｄ）の静止したオブジェクト及び動くオブジェクトの表現、並びに、２進体積オクツリー（Binary Volumeric Octree）を用いた表現及びレンダリングの方法及び装置に関する。
【０００２】
対話処理可能な速度での３Ｄオブジェクトの高品質レンダリングは、近い将来、現代グラフィックシステムにおける主要な関心事になると考えられている。３Ｄオブジェクトの高品質なレンダリングの要求は、電子商取引き、コンピュータゲーム、科学、工学、医学などの分野において、オブジェクトを圧縮し、通信網を介して伝送するために効率良いアルゴリズムが考案されることを必要とする。過去数十年にわたり、これらの要求をすべて同時に満たすものとして、３Ｄオブジェクトのポリゴン（多角形）モデルが利用されてきたが、これによっては所望の結果を得ることはできなかった。ポリゴンモデルには主に２つの短所がある。すなわち、データ容量（例えば、実物らしく見えるモデルは数千万個の三角形を必要とする）が膨大になることと、構築が困難であることである。３Ｄグラフィックにおけるこのような難点を克服するためのアプローチが、最近何年かの間に、いくつか提案されてきている。中でも、最も優れているものは、物体のイメージを用いることに基づく方法と、３Ｄ空間において三角形の代わりに点を用いることに基づく方法であろう。
【０００３】
イメージベースの方法は与えられたオブジェクトを、その目に見える面を完全にカバーする複数の異なるカメラ位置から撮られたイメージ（該オブジェクトの「写真」）の集合として表現する。さらに、その各々のイメージは対応する深度マップを伴っている。深度マップとは、イメージ平面上のピクセルからオブジェクトの表面までの距離の配列である。このような表現の長所は、参照イメージが、ポリゴンモデルの複雑性とは無関係に、品質の高いオブジェクトの視覚化を可能にすることとともに、通常用いられるイメージ圧縮技術により品質をそれほど犠牲にせずに圧縮可能であるということである。また、レンダリング時間が、参照イメージ及び出力イメージのピクセル数に比例し、物体の複雑性に比例しないことも特筆される。
【０００４】
これに対し、この方法の短所は、実物（例えば、彫刻品など）に対する深度マップを得るための過程が複雑であるということと、そのような表現を取り扱う技術がまだ十分に開発されていないということである。
【０００５】
点をベースとする方法は、オブジェクトを、明示された局所的ポリゴン構造を用いずに「点の雲」として表現する。この方法において、深度を有するイメージの集合は、イメージ平面に対して垂直方向の対応する深度値を用いて、各参照イメージの各ピクセルを転写することにより、物体の表面上に（対応する色を有する）点の集合を定義する。従って、イメージベース表現は点ベース表現の特別の場合である。本願でのアプローチにより近いのは、イメージベース表現なので、以下、これに重点をおいて説明する。
【０００６】
文献を参照すると、レリーフ・テクスチャー・マッピング［１］、階層化した深度イメージ［２］、階層化した深度イメージツリー［３］、キュースプラット（Ｑｓｐｌａｔ）［４］、サーフェル（Ｓｕｒｆｅｌ）［５］、及びその他の幾つかの先行公知技術のような、３Ｄオブジェクト表現及びレンダリング手法を記述したものとして、下記の参考文献［１］から［１３］があり、前述した２つの傾向が記載されている。先行技術のアプローチについての以下の記述において、下記の刊行物を参考文献とする。
［１］Ｍａｎｕｅｌ Ｍ． Ｏｌｉｖｅｉｒａ， Ｇａｒｙ Ｂｉｓｈｏｐ， Ｄａｖｉｄ ＭｃＡｌｌｉｓｔｅｒ． Ｒｅｌｉｅｆ Ｔｅｘｔｕｒｅｓ Ｍａｐｐｉｎｇ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '００．
［２］Ｊｏｎａｔｈａｎ Ｓｈａｄｅ， Ｓｔｅｖｅｎ Ｇｏｒｔｌｅｒ， Ｌｉ−ｗｅｉ Ｈｅ， Ｒｉｃｈａｒｄ Ｓｚｅｌｉｓｋｉ， Ｌａｙｅｒｅｄ Ｄｅｐｔｈ Ｉｍａｇｅｓ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '９８．
１９９８
［３］Ｃｈｕｎ−Ｆａ Ｃｈａｎｇ，Ｇａｒｙ Ｂｉｓｈｏｐ， ＡｎｓｅｌｍｏＬａｓｔｒａ． ＬＤＩ Ｔｒｅｅ：Ａ Ｈｉｅｒａｒｃｈｉｃａｌ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '９９．
［４］Ｓｚｙｍｏｎ Ｒｕｓｉｎｋｉｅｗｉｃｚ， Ｍａｒｃ Ｌｅｖｏｙ．ＱＳｐｌａｔ：Ａ Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ Ｐｏｉｎｔ Ｒｅｎｄｅｒｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ Ｌａｒｇｅ Ｍｅｓｈｅｓ．Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ＳＩＧＧＲＡＰＨ '００
［５］Ｈａｎｓｐｅｔｅｒ Ｐｆｉｓｔｅｒ， Ｍａｔｔｈｉａｓ Ｚｗｉｃｋｅｒ， Ｊｅｒｏｅｎ ｖａｎ Ｂａａｒ，Ｍａｒｋｕｓ Ｇｒｏｓｓ．Ｓｕｒｆｅｌｓ：Ｓｕｒｆａｃｅ Ｅｌｅｍｅｎｔｓ ａｓ Ｒｅｎｄｅｒｉｎｇ Ｐｒｉｍｉｔｉｖｅｓ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '００．
［６］Ｃｈａｍｂｅｒｌａｉｎ ｅｔ ａｌ．，Ｆａｓｔ Ｒｅｎｄｅｒｉｎｇ ｏｆ Ｃｏｍｐｌｅｘ Ｅｎｖｉｒｏｎｍｅｎｔｓ Ｕｓｉｎｇ ａ Ｓｐａｔｉａｌ Ｈｉｅｒａｒｃｈｙ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '９６．
［７］Ｇｒｏｓｓｍａｎ ａｎｄ Ｄａｌｌｙ， Ｐｏｉｎｔ ｓａｍｐｌｅ ｒｅｎｄｅｒｉｎｇ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｅｕｒｏｇｒａｐｈｉｃｓ Ｗｏｒｋｓｈｏｐ ｏｎ Ｒｅｎｄｅｒｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ '９８．
［８］Ｌｉｓｃｈｉｎｓｋｉ ａｎｄ Ｒａｐｐｏｐｏｒｔ， Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ ｆｏｒ Ｎｏｎ−Ｄｉｆｆｕｓｅ Ｓｙｎｔｈｅｔｉｃ Ｓｃｅｎｅｓ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＥｕｒｏｇｒａｐｈｉｃｓＷｏｒｋｓｈｏｐ ｏｎ Ｒｅｎｄｅｒｉｎｇ Ｔｅｃｈｉｎｑｕｅｓ '９８．
［９］Ｍ．Ｌｅｖｏｙ ａｎｄ Ｔ．Ｗｈｉｔｔｅｄ．Ｔｈｅ Ｕｓｅ ｏｆ Ｐｏｉｎｔｓ ａｓ Ｄｉｓｐｌａｙ Ｐｒｉｍｉｔｉｖｅｓ．Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＴＲ ８５−０２２，Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｎｏｒｔｈ Ｃａｒｏｌｉｎａ ａｔ Ｃｈａｐｅｌ Ｈｉｌｌ，Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，１９８５．
［１０］Ｌ．Ｗｅｓｔｏｖｅｒ． Ｆｏｏｔｐｒｉｎｔ Ｅｖａｌｕａｔｉｏｎｆｏｒ Ｖｏｌｕｍｅ Ｒｅｎｄｅｒｉｎｇ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '９０．
［１１］Ｃ．Ｉ．Ｃｏｎｎｏｌｌｙ．Ｃｕｍｕｌａｔｉｖｅ ｇｅｎｅｒａｔｉｏｎ ｏｆ ｏｃｔｒｅｅ ｍｏｄｅｌｓ ｆｒｏｍ ｒａｎｇｅ ｄａｔａ．ＩｎＰｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｌ．Ｃｏｎｆ．Ｒｏｂｏｔｉｃｓ， ｐｐ２５−３２， Ｍａｒｃｈ １９８４．
［１２］Ｇ．Ｈ Ｔａｒｂｏｘ ａｎｄ Ｓ．Ｎ．Ｇｏｔｔｓｃｈｌｉｃｈ． ＩＶＩＳ：Ａｎ ｉｎｔｅｇｒａｔｅｄ ｖｏｌｕｍｅｔｒｉｃ ｉｎｓｐｅｃｔｉｏｎ ｓｙｓｔｅｍ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １９９４ Ｓｅｃｏｎｄ ＣＡＤ−Ｂａｓｅｄ Ｖｉｓｉｏｎ Ｗｏｒｋｓｈｏｐ， ｐｐ２２０−２２７， Ｆｅｂｒｕａｒｙ １９９４．
［１３］Ｃｕｒｌｅｓｓ，Ｂ．， Ｌｅｖｏｙ， Ｍ． Ａ ｖｏｌｕｍｅｔｒｉｃ ｍｅｔｈｏｄ ｆｏｒ ｂｕｉｌｄｉｎｇ ｃｏｍｐｌｅｘ ｍｏｄｅｌｓ ｆｒｏｍ ｒａｎｇｅ ｉｍａｇｅｓ． Ｐｒｏｃｅｅｄｉｎｇｓ ＳＩＧＧＲＡＰＨ ’９６．
［１４］Ｃ．Ｂｒｅｇｌｅｒ，Ｖｉｄｅｏ Ｂａｓｅｄ Ａｎｉｍａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｈｕｍａｎ Ｍｏｔｉｏｎ， ＳＩＧＧＲＡＰＨ '００ Ｃｏｕｒｓｅ ３９： Ｉｍａｇｅ−ｂａｓｅｄ ｍｏｄｅｌｉｎｇ ａｎｄ ｒｅｎｄｅｒｉｎｇ．
［１５］Ｐａｕｌ Ｅ．Ｄｅｂｅｖｅｃ， Ｃａｍｉｌｌｏ Ｊ． Ｔａｙｌｏｒ，Ｊｉｔｅｎｄｒａ Ｍａｌｉｋ， Ｍｏｄｅｌｉｎｇ ａｎｄ ＲｅｎｄｅｒｉｎｇＡｒｃｈｉｔｅｃｔｕｒｅ ｆｒｏｍ Ｐｈｏｔｏｇｒａｐｈｓ：Ａ ｈｙｂｒｉｄ ｇｅｏｍｅｔｒｙ−ａｎｄ ｉｍａｇｅ−ｂａｓｅｄ ａｐｐｒｏａｃｈ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '９６．
【０００７】
イメージベースの方法に共通の問題は、生成したイメージに穴があくということである。オブジェクトの表面が全てのポリゴン（普通、三角形）の内部において線形的に補間されるという意味で'連続的な'ポリゴンモデルとは異なり、イメージベースの、そして点ベースの表現方式は、オブジェクトの'不連続的な'近似値を提供する。イメージベース表現の場合、オブジェクトの表面は、実際には、小さいカラー正方形、すなわち参照イメージのシフトされたピクセルに近似される。しかし、観測方向が各参照イメージ平面の垂直方向と大きく異なる時、近似した正方形の投影は一般的にオブジェクトの表面の投影を完全にはカバーしない。これらの穴を第１タイプ穴と呼ぶ。イメージベースの表現において、生成したイメージに穴があく他の原因は、表面に、すべての参照イメージで見えないのに、視点によっては見える部分があるということである（これを第２タイプ穴と呼ぶ。）。これら穴は個々のイメージベース表現に含まれる情報が不十分なために生ずる。
【０００８】
レリーフテクスチャ法［１］は線形補間法と類似した手法を用いて第１タイプ穴があかないようにするが、この方法によると、前記補間が前記オブジェクトの３Ｄ投影ではなく２次元（２Ｄ）投影で行われるため、歪みやアーティファクトが生じることがある。より重要なのは、この方法では、第２タイプ穴が同じ方法で取り扱われるしかないということである。［１］の方法ではわずか６つの参照イメージ、すなわち、外接する立方体の表面にオブジェクトを投影したイメージを用いるため、立方体のどの６面からも見えない点が存在する場合など複雑な形態に適用される場合には深刻な制限をきたしてしまう。
【０００９】
階層化した深度イメージ（Layered Depth Image:ＬＤＩ）［２］は第２タイプ穴に関連した問題を回避するようデザインされたデータ構造である。ＬＤＩはそのピクセルが参照イメージ平面のある固定された地点に投影される全てのオブジェクト点を含むイメージである。［１］の高速プレワーピングアルゴリズムはここでも適用される。しかし、第１タイプ穴に関する問題が解決されずに残ってしまう。（［１０］において初めて紹介された）スプラットは第１タイプ穴の問題を解決するために用いられる。スプラットは特定のカラー分布（例えば、パッチの中央を中心とするガウス分布、又は定数分布）が与えられた小さい２次元の直線状ないし楕円形表面パッチである。ＬＤＩ法の短所は、その表現方式が特定の固定された方向への投影に基づくがゆえに生じる非対称性にある。これにより、その固定された方向と大幅に異なる観測方向に対する穴を埋めることが極めて困難になる。
【００１０】
ＬＤＩツリー［３］は各オクツリーセル（ノード）にＬＤＩが付いているオクツリーである。階層モデルを有する長所は、オクツリー内の全てのＬＤＩをレンダリングしなくても良いということである。より遠くにあるセルはより高い階層のＬＤＩに保存されたフィルタリングされた点を用いることにより、やや粗くレンダリングされる。このような表現方式は多くの参照イメージを用いることでＬＤＩの非対称性を克服するために考案された。しかし、保存容量が極めて大きくなってしまう難点がある。例えば、（３６枚の参照イメージから得られた）５１２×５１２のイメージに対するＬＤＩツリーは［３］で報告されたように３０メガバイトを占め、この内半分はツリー構造自体のためのものである。［３］で報告されたように、このオブジェクトはレンダリング時間も長く、（並列処理を用いない場合の）３２，２５０ＭＨｚ ＭＩＰＳ(R) Ｒ１００００プロセッサを有するシリコングラフィックス（Ｓｉｌｉｃｏｎ Ｇｒａｐｈｉｃｓ(R)） Ｏｎｙｘ(R)２でフレーム当り２ないし３秒かかる。
【００１１】
イメージベースのデータをツリー構造に結合するさらに他の方法が最近考案されたサーフェル法［５］である。これはノードが１本のＬＤＩツリーの代わりに３つの直交平面に対応する３つのＬＤＩを含む階層化した深度立方体（ＬＤＣ）である特定のツリー［８］を取り扱う。８１，０００個の三角形を含む元のモデルに対して、［５］で報告された結果が得られた。２５６×２５６出力バッファーに対して秒当たり１１フレーム（ｆｐｓ）のフレームレートがペンティアム（Ｐｅｎｔｉｕｍ(R)）ＩＩＩ ７００ＭＨｚプロセッサ上で得られた。サーフェルは対応する深度ベクトルによりシフトされた参照イメージピクセルである。ツリー構造は可視的な要素を決める計算の速度を速めるために用いられる。穴埋めは最隣接法（Ｎｅａｒｅｓｔ−Ｎｅｉｇｈｂｏｒ）、あるいはガウスフィルタリングにより得られる。スプラッティングはこの構造で実行される。生成イメージの高品質とひきかえに、データの量が増え、しかも速度が限られる短所がある。
【００１２】
イメージベース手法であるよりは点ベースの手法に近いものではあるが、最近導入されたキュースプラット［４］の表現手法にも言及する必要がある。このアプローチは重複されたボールに基づく階層的点構造を用いる。レンダリング段階では、適切な大きさの楕円形スプラットが用いられる。しかし、［４］では、多少複雑で且つ相対的に時間がかかるトランケーテッドカリング（ｔｒｕｎｃａｔｅｄ ｃｕｌｌｉｎｇ）が用いられた。なお、データ構造がより複雑であり、その処理に多くの時間がかかる。
【００１３】
深度イメージの集合と同じ範囲のデータからオクツリー構造を有する３Ｄモデルを得るアイデア及び具現方法が［１］〜［１２］で開発された。［１３］はオクツリーを用いて原データからポリゴンモデルを構成することを取り扱っている。
【００１４】
【発明が解決しようとする課題】
以上の全ての方法は３Ｄ静止したイメージをベースとした表現に関連している。動く３Ｄオブジェクトについて述べれば、今までこの問題に取り組み、提案されたイメージベース方法はほとんどないということを認識しなければならない。［１４］では、ほぼ一定した３Ｄ表面形状に対する表面イメージの修正に関するアイデアが展開されている。これは動くオブジェクトの限られたクラスのみに適用可能であり、実際の３Ｄオブジェクトのアニメーションには適用できない。［１５］では、幾つかの写真に基づき複数の視点から建築物のビューを再構成するビュー依存的テキスチャマッピングを用いて建築物映像がアニメーション化されている。
【００１５】
従って、小さな保存容量で、高品質の出力イメージを高速レンダリング可能で、且つ、アニメーション目的に適したイメージベース表現が必要であるということが明らかである。
【００１６】
本発明が解決しようとする技術的課題は、前述した先行技術の短所を縮減ないし解消した、保存に要する領域が比較的小さくてすみ、高速で且つ高品質なレンダリングを可能にする、深度イメージに基づく３Ｄオブジェクト表現を提供することである。
【００１７】
本発明が解決しようとする他の技術的課題は、座標変換の高速計算、２進体積オクツリー（ＢＶＯ）の用いられた要素のオーダの自動的な決定、及び正確に定義された大きさのスプラットの形成を可能にする、３Ｄオブジェクト表現及びレンダリングのための方法及び装置を提供することである。
【００１８】
本発明が解決しようとするさらに他の技術的課題は、高速で且つ正確なレンダリングを可能にする、動く３Ｄオブジェクトのコンパクトな表現のための方法を提供することである。
【００１９】
【課題を解決するための手段】
前記技術的課題を達成するために、本発明に係る３Ｄオブジェクトの表現及びレンダリングの方法は、オブジェクトの表面に属する点の座標に対応する２進体積オクツリー（ＢＶＯ）の各バーテックスが属性として有する色が、前記ＢＶＯバーテックスに対応する３次元イメージ要素であるボクセルを表わす立方体の内部に座標を有するオブジェクト表面の点の色の平均となるように、３次元オブジェクトの原データをＢＶＯフォーマットに変換する段階と、ＢＶＯリーフに対応するボクセルの中心のローカル３次元座標を求め、前記求められた３次元座標をボクセル中心の２次元座標及び投影されたボクセルイメージの大きさの情報に変換し、各々のＢＶＯリーフに対し、色情報を用いて、投影されたボクセルイメージ領域をカバーする対応するスプラットを生成してディスプレーし、前記オクツリーをルートバーテックスからリーフまで階層的にトラバースすることによって前記ＢＶＯをレンダリングし、前記ディスプレーされた複数のスプラットにより３次元オブジェクトを視覚化する段階を含むことを特徴とする。
【００２０】
３Ｄオブジェクトの原データは、深度イメージの集合、ポリゴンモデルデータ、あるいは色を有する点の集合である。
【００２１】
また、オクツリーの階層的トラバースは、見る人から最も遠いＢＶＯボクセルから近いＢＶＯボクセルの順序に行われる。
【００２２】
変換過程において、計算上の複雑性を最小化させるために、前記オクツリーのトラバース前に、前記方法は、
を計算する段階を含み、３次元座標を２次元座標へと階層的変換して得られた結果を用いるとともに、各ＢＶＯバーテックスに対し、ＢＶＯルートからリーフまでの全ての経路をトラバースしつつ
を計算することによって、ローカル座標（ｘ，ｙ，ｚ）として特定される全てのＢＶＯリーフに対する
【００２３】
前記技術的課題を達成するために、本発明の３次元オブジェクトの表現及びレンダリング装置は、
３次元オブジェクトの原データを生じる３次元オブジェクト原データ生成手段と、前記３次元オブジェクト原データ生成手段と連結されて、オブジェクトの表面に属する点の座標に対応する２進体積オクツリー（ＢＶＯ）の各バーテックスが属性として有する色が、前記ＢＶＯバーテックスに対応する３次元イメージ要素であるボクセルを表わす立方体の内部に座標を有するオブジェクト表面の点の色の平均となるように、３次元オブジェクト原データをＢＶＯフォーマットに変換する３次元オブジェクト原データ変換手段と、前記３次元オブジェクト原データ変換手段に連結されたＢＶＯレンダリング手段とを含むことを特徴とする。
【００２４】
前記３次元オブジェクト原データ生成手段は、複数の点の３次元座標を出力する３次元実物スキャナー、３次元オブジェクトポリゴンモデル生成手段、または深度イメージ生成手段である。
【００２５】
さらに、前記技術的課題を達成するために、３次元の動くオブジェクトの表現方法は、一連の３次元オブジェクトに対し、３次元の動くオブジェクトに対応する一連の２進体積オクツリー（ＢＶＯ）を生成するために、オブジェクトの表面に属する点の座標に対応するＢＶＯの各バーテックスが属性として有する色が、前記ＢＶＯバーテックスに対応する３次元イメージ要素であるボクセルを表わす立方体の内部に座標を有するオブジェクト表面の点の色の平均となるように、一連の３次元オブジェクトの原データをそれぞれＢＶＯフォーマットに変換する段階を含むことを特徴とする。
【００２６】
この方法は、各立方体の表面に対して動くオブジェクトのイメージに対応するビデオストリームを取得してオクツリーバイトストリームを生成し、該オクツリーバイトストリームの各バイトはオクツリーバーテックスに対応し、各バイトの各ビットは各々前記オクツリーバーテックスに対してサブツリーの存否を表示し、６本のビデオストリーム及びオクツリーバイトストリームは共に３次元の動くオブジェクトの表現を形成するオクツリーバイトストリームを生成するように、一連のＢＶＯの内各々のＢＶＯをＢＶＯルートバーテックスに対応する立方体の表面に投影する段階をさらに含む。
【００２７】
好ましくは、前記６本のビデオストリームはＭＰＥＧビデオ圧縮フォーマットを用いてコンパクトな形態で保存される。また、前記オクツリーバイトストリームは、好ましくは、エントロピー圧縮を用いて保存される。
【００２８】
上述した表現方法により表現された３次元の動くオブジェクトは、ビデオデータの圧縮を解凍し、各ＢＶＯバーテックスの色を決めるために６本の参照イメージストリームをＢＶＯに投影し、３次元の動くオブジェクトを視覚化させるために色を有したＢＶＯを投影することによって、視覚化される。
【００２９】
また、本発明の別の側面としての、３次元の動くオブジェクトを表現する方法は、（ａ）一連の３次元オブジェクトに対して３次元の動くオブジェクトに対応する一連の２進体積オクツリー（ＢＶＯ）を生成するために、オブジェクトの表面に属する点の座標に対応するＢＶＯの各バーテックスが属性として有する色が、前記ＢＶＯバーテックスに対応する３次元イメージ要素であるボクセルを表わす立方体の内部に座標を有するオブジェクト表面の点の色の平均となるように、一連の３次元オブジェクトの原データをＢＶＯフォーマットに変換する段階と、（ｂ）各立方体の表面に対して動くオブジェクトのイメージに対応するビデオストリームを取得してオクツリーバイトストリームを生成し、該オクツリーバイトストリームの各バイトはオクツリーバーテックスに対応し、各バイトの各ビットは各々前記オクツリーバーテックスに対してサブツリーの存否を表示し、６本のビデオストリーム及びオクツリーバイトストリームは共に３次元の動くオブジェクトの表現を形成するオクツリーバイトストリームを生成するように、一連のＢＶＯの内各々のＢＶＯをＢＶＯルートバーテックスに対応する立方体の表面に投影する段階とを含むことを特徴とする。
【００３０】
前記６本のビデオストリームは、好ましくは、ＭＰＥＧビデオ圧縮フォーマットを用いてコンパクトな形態で保存される。また、前記オクツリーバイトストリームは、好ましくは、エントロピー圧縮を用いて保存される。
【００３１】
上述した３次元の動くオブジェクトを視覚化する方法は、ビデオデータの圧縮を解凍し、各ＢＶＯバーテックスの色を決めるために６本の参照イメージストリームをＢＶＯに投影し、３次元の動くオブジェクトを視覚化させるために色を有したＢＶＯを投影する段階を含む。
【００３２】
【発明の実施の形態】
本発明は添付した図面と共に好ましい実施形態に関する次の詳細な説明を参照することにより一層明確になる。
【００３３】
コンパクトなデータストリーム表現方式はＢＶＯの幾何学的構成要素及び色彩構成要素を分離し、幾何学的構成要素の圧縮にはオクツリーの２進表現方式を用い、色彩構成要素の圧縮には２Ｄイメージ圧縮アルゴリズムを用いることにより達成される。
【００３４】
図１に示すように、種々異なるタイプの原データを用いて３Ｄオブジェクトを表現してレンダリングする装置は、複数の点の３Ｄ座標を出力する実物３Ｄスキャナー１やポリゴンモデル生成手段２や深度イメージ生成手段３などの３Ｄオブジェクト原データ生成手段と、３Ｄオブジェクト原データをＢＶＯフォーマットに変換する手段４とを含む。前記変換手段４は、３つの座標（ｘ，ｙ，ｚ）及びＲ，Ｇ，Ｂなど３つの色座標を含む複数の６次元ベクトルを生成する手段５、及びＢＶＯ構成手段６を含む。前記ＢＶＯ構成手段６はイメージバッファを含むＢＶＯ視覚化手段７、及び座標変換マトリックス生成手段８と連結している。
【００３５】
図２は、２台の垂直カメラを用いた場合に、現実の表面からどのように深度イメージが生成され、どのようにこれらが組合わせられてボクセルを生じるのかを示している。図２において、実物の表面の一部９、第１カメラ（図示せず）により撮られた実物の表面に近似した直四角形の深度イメージピクセルの離散値に対応する投影１０、第２カメラ（図示せず）により撮られた表面９のサンプリングされた深度値１１、２台のカメラによって撮られた表面の深度値の結合された値に対応するボクセル１２が示されている。
【００３６】
図３は、３Ｄの点とＢＶＯの各種のスケールレベルの対応図を示す（２Ｄビュー）。図３において、３Ｄ座標を有した複数の点１３、点１３に対応するＢＶＯ構造１４、色情報を含みＢＶＯノードに位置するマークされたボクセル１６を有するＢＶＯのスケールレベル１５が示されている。
図４は、ＢＶＯ立方体１７及びこれを８つのサブ立方体１８に分割したものを示す図である。
【００３７】
図５（ａ）及び図５（ｂ）は、単一階層レベルにおいてＢＶＯバーテックスのトラバース順序をいかに定めているかを示すものである。図５（ａ）及び図５（ｂ）において、投影面１９、投影方向２０、ＢＶＯバーテックスの内一つに対応し表面に平行な面２２、２３、２４によって分割された立方体２１、分析される立方体の８つのサブ立方体各々のトラバース投影順序２５が示されている。
【００３８】
図６は、スプラットが時間及び空間上にいかに投影されるか、及びスプラットの大きさを決める幾何学的条件を示す。図６において、全体８×８ ＢＶＯ ２６、ボクセル１６、スプラット２７、垂直投影方向２８、イメージバッファ２９が示されている。
【００３９】
図７は、動くオブジェクトの幾何学的構造変化に対応するＢＶＯバイトストリームのシーケンス３１及びビデオストリーム（各アニメーションフレームに対する参照イメージのシーケンス）３２を含むＢＶＯアニメーションシーケンス３０の構造を示す。
【００４０】
図８は、データストリームにより表現される動く３Ｄオブジェクトの視覚化過程の段階３３〜段階３９を示すフローチャートである。
【００４１】
本発明において要求される３Ｄオブジェクト表現方法はＢＶＯであり、これは現在用いられるほとんどの３Ｄモデル表現から得られる。図１は、３Ｄスキャナー１のデータ、手段２で生成されたポリゴンモデル、手段３で生成された深度イメージの集合などの入力表現を生成する従来の手段を示す。ＢＶＯを適用する主な目的は、深度イメージの集合を入力表現として用いることである。深度イメージによるモデル表現の長所は、難しいモデリング過程の代わりに、実物モデルの写真から直接、３Ｄモデルを生成可能であるという点である。
【００４２】
ＢＶＯを生成するために、前記手段１、２、３の内一つにより提供された入力表現は３つの座標（ｘ，ｙ，ｚ）及び３つの色座標Ｒ、Ｇ、Ｂを成分として有する複数の６次元ベクトルを生じる手段５の助けを借りて中間表現に変換される。ＢＶＯを構成するために、高さｎが指定されなければならず、ローカルＢＶＯ座標においてＢＶＯ立方体のエッジ長はＬ＝２nとなる。中間表現は下記のような方式により手段５によって生成される。
【００４３】
ポリゴンモデルについて：
移動及びスケール（大きさ）変換によって、モデルポリゴンの全てのバーテックスは、一つのバーテックスが座標系の原点に位置し反対側のバーテックスが座標（Ｌ，Ｌ，Ｌ）を有する点に位置する立方体の内部に配置されるように生成される。ポリゴンの部分分割法により、全てのポリゴンの二つの隣接したバーテックス間の距離は１より大きくならないようにする。原ポリゴンモデルのテクスチャ及びテクスチャ座標を用い、ポリゴンの各バーテックスに色が属性として与えられる。
【００４４】
深度イメージについて：
深度イメージは、イメージの共通座標系に再計算された後、ピクセルに対応する長方形の線形的な大きさが１を超えず、全ての長方形がＢＶＯ立方体に取り囲まれた空間内に位置するように、スケール（大きさ）が調節されて移動する。共通座標系への再計算のために、イメージを得るためのカメラの位置情報及びイメージのピクセルに対応する深度値が用いられる。これにより、色座標及びイメージに共通する座標を有する複数の点が得られる。各点の色座標は元のスケール調節されたイメージのピクセルの色に対応する。
【００４５】
３Ｄモデルスキャニングデータについて：
スキャニングされたモデルの全ての点は、移動及びスケール変換によって、一つのバーテックスが座標系の原点に位置し反対側のバーテックスが座標（Ｌ，Ｌ，Ｌ）に位置するＢＶＯ立方体の内部領域に位置するように生成される。座標（ｘ，ｙ，ｚ）がＢＶＯ立方体に含まれた複数点｛ｘ，ｙ，ｚ，Ｒ，Ｇ，Ｂ｝の形を有する中間表現を得た後、手段６は、図３に示すＢＶＯを構成する。立方体１７はルートバーテックスの次の階層レベルにあるバーテックスに対応して８つのサブ立方体１８に階層的に分割され（図４）、第１スケールレベルのＢＶＯが得られる。ＢＶＯは高さが増加した一連のスケールレベル（図３の１５）として考えることができ、ここで、低いツリーの使用によって、必ずしもより高いツリーを有した全てのアルゴリズムに用いて処理することが必要となるわけではない。後述する過程において、ＢＶＯサブツリーはこのサブツリーに対応する立方体が少なくとも一つの点１３を含む場合に限って保存され、逆に、ＢＶＯサブツリーが保存される時に限ってこのサブツリーに対応する立方体が少なくても一つの点１３を含む。ＢＶＯ構造１４は複数の点１３から得られる。（単に最後のものだけではなく）全てのＢＶＯバーテックスに対して色が属性として与えられる。各バーテックスに属性として与えられる色は、このバーテックスに対応する立方体に属する点の色の平均値となる。
【００４６】
ＢＶＯレンダリング手段７は手段８により指定された３Ｄ座標システム変換を用いて座標変換４×４マトリックスＴを生成する。変換により生成された座標はＢＶＯに対する相対的な視点の位置を指定する。
【００４７】
レンダリングを行うために、ＢＶＯのルートバーテックスからツリーのリーフまで全てのバーテックスをトラバースさせなければならない。リーフをトラバースする間に、スプラットと呼ばれる特定パターンがイメージバッファ２９に保存される。図６に示すように、分析されるバーテックスのスプラット２７は分析されるバーテックスに対応する投影立方体２６の領域をカバーしなければならない。スプラットの色は分析されるＢＶＯバーテックスの色に対応しなければならない。スプラットは、イメージバッファへの高速保存が可能な形状が選択されるが、それは一般的には正方形または円形である。スプラット２７中心の座標はこのバーテックスに対応する投影立方体２６の中心の座標に対応しなければならない。
【００４８】
視点に対する立方体の相対的な位置を考慮した正確なＢＶＯレンダリングを提供するために、レンダリング過程において、イメージバッファの各点において最後に投影されたスプラットはイメージバッファ中の分析された点に対して先に投影された他のスプラットよりも観視者に近いところに位置するように注意を払わなければならない。ＢＶＯレンダリングの速度は立方体中心に対応する点の座標タイプ変換の速度に実質的に依存する。ハードウェアグラフィック加速器において、前述した問題は、ハードウェアｚ−バッファによって正確なレンダリングを提供し、ハードウェアの助けを借りてマトリックス乗法を加速して立方体中心点の変換を計算することにより解決できる。
【００４９】
特別のグラフィック加速器を採用しないＢＶＯレンダリング方法は、ＢＶＯトラバースの正しい順序を取り決める方法及び立方体中心座標の高速階層的座標タイプ変換方法を伴う。本発明によるＢＶＯのトラバース順序の使用はｚ−バッファに依存せずに正しいスプラットの投影を可能にする。
【００５０】
スプラットの正しい投影を可能ならしめるＢＶＯのトラバース順序を決定する方法は、各ＢＶＯバーテックスに対してそのルートバーテックスがこのバーテックスから由来するサブツリーのトラバース順序を決定することに基づく。図５に示すように、分析されるＢＶＯバーテックスに対応する立方体２１のバーテックスのトラバース順序を決定するために、立方体２１を、３種の可能な方法をすべて用いて、平面により二つの同じ平行六面体に分割する。図５（ａ）及び図５（ｂ）において、平面は線２２、２３、２４で示されている。各部分に対する正しい投影順序の決定は、平行六面体の共通面２２，２３の法線と投影方向１９との間の角の方向を決定することにより行われる。この動作を行った後には、分析される立方体２１の８つのサブ立方体の各々をトラバースする順序２５が３つの場合のいずれからも得られる。
【００５１】
前記立方体投影の順序を決定する過程は、後述するＢＶＯのトラバース順序の決定及び高速階層的変換を含む全体レンダリング過程によって再帰的に行われる：
ａ．視点の変化ごとに前処理を行う。
ｂ．ルートバーテックスを現在のバーテックスとする。
ｃ．現在のバーテックスに対応する８つのサブ立方体をいずれも投影する正しい順序を決定する。垂直投影においては、全てのノードは対応するルートバーテックスの立方体分割部分からこの順序を引き継ぐ。
ｄ．現在バーテックスの全てのサブ立方体に対して下記の処理を行う：
１）このバーテックスに対して必要な、立方体中心座標の変換を計算する。
２）現在バーテックスがツリーのリーフであれば、前述の図６において説明した通り、スプラットを投影する。
３）現在バーテックスがツリーのリーフではなければ、このサブ立方体に対応するバーテックスを現在バーテックスとして定め、ｂ段階に戻る。
【００５２】
ａ段階及びｄ１段階の演算は下記の手順により行われる。Ｔは４×４変換マトリックスを表示する。この変換は４次元空間における線形的な変換を表わす。ＢＶＯ高さをｎとし、ボクセルのローカル法線座標をｖとする。ボクセル座標が標準的な暗黙的２進形態（各バイトがルートバーテックスを含む内部オクツリーバーテックスに対応し、バイトの各ビットは各々このオクツリーバーテックスの存否を表わす、ＢＶＯフォーマットの標準的な２進レコード）として保存されており、ノード座標を下記式（１）のように表わすとする。
【００５３】
【数１】
【００５４】
これにより、好ましいバーテックス座標の変換は、次式（２）の形態を有する。
【００５５】
【数２】
【００５６】
【００５７】
【数３】
【００５８】
固定されたＴに対し、前記式（３）の各成分は前処理段階ａで、次式（４）によって計算される。
【００５９】
【数４】
【００６０】
前記式はｎ×８テーブルに保存され、変換は全てのバーテックスに対して単にテーブル参照及び足し算を行って前記式（３）を計算することにより行われる。その結果、ルートバーテックスからリーフまでの全ての経路を通れば、（ｘ，ｙ，ｚ）座標として特定される各ＢＶＯに対し、値Ｔvを求めることができる。
【００６１】
【数５】
【００６２】
前記座標変換方法はオクツリーの全てのリーフに対して直接的にマトリックス掛け算を行うことに比べて計算能力面で１０倍以上の向上が得られる。
【００６３】
前述したＢＶＯ多重スケール法は、その性質上、ＢＶＯにより表現される３Ｄモデルの所望のディテールレベル及びモデルにおいて、観視者までの距離に比例して特定の多重スケールレベルを直接的に選択可能にするという点は特記される。
【００６４】
動く３Ｄオブジェクトの表現方法は、下記の手順で実施される。一連の３Ｄオブジェクトにおける各３Ｄオブジェクトの原データがＢＶＯフォーマットに変換される。各３Ｄアニメーションフレームに対し、オブジェクトの立方体面に対する投影に対応する６枚の深度イメージが生成される。これにより、ビデオストリームが、各立方体面毎に１本ずつ生成され、各フレーム毎に６つの深度マップが生成される。各フレームに対し、前述したように、ＢＶＯフォーマットがオクツリーバイトストリームの形で生成される。ビデオストリームはＭＰＥＧ−２など、効率良い圧縮方法の助けを借りて圧縮される。図８に示すように、ＢＶＯアニメーションシーケンス３０は、動くオブジェクトの幾何学的構造変化に対応するオクツリーバイトストリームのシーケンス３１、及び前述した６本のビデオストリーム（アニメーションの各フレームの参照イメージのシーケンス）３２を含む。
【００６５】
動く３Ｄオブジェクトの視覚化方法を、図８のフローチャートに示す。６枚の参照イメージのデータ及び前述のように生成されたオクツリーバイトストリームのデータがアニメーションシーケンスから抽出される（第３３段階）。６枚のイメージの圧縮を解凍し、ＢＶＯ構造が生成される（第３４段階）。各ＢＶＯバーテックスの色を決定するために、得られた６本の参照イメージストリームがＢＶＯ上に投影される（第３５段階）。圧縮解凍されたＢＶＯを視覚化させるかどうかを決める（第３６段階）。もし、視覚化させるのであれば、動くオブジェクトフレームに対応するＢＶＯが視覚化される（第３７段階）。次のフレームを読み出すか否かを決める（第３８段階）。読み出す場合には、第３３段階に戻り、読み出さないのであれば、第３９段階に進んで、視点が変化すれば視覚化段階（第３７段階）へ戻る。
【００６６】
実験によれば、本発明に係る方法により得られた単一ＢＶＯフォーマットフレームは最近の先行技術である垂直ＬＤＩフォーマットに比べて４ないし１０倍ほど小さい。ＢＶＯレンダリング速度は、２５６×２５６の解像度を有する参照イメージ及び出力イメージに対し、パンティアムセラーロン５００ＭＨｚコンピュータ（ハードウェアに基づく加速を用いない場合、固定スケールレベルにおいて）約２０ｆｐｓであり、これもまたハードウェアに基づく加速によらない場合の先行技術の方法におけるレンダリング速度よりも２ないし３倍ほど速い。
【００６７】
【発明の効果】
以上述べたように、本発明に係る３Ｄの静止したオブジェクト及び動くオブジェクトの階層的イメージベース表現及びレンダリング方法及び装置によれば、ＢＶＯの幾何学的構成要素と色彩構成要素とを分離することにより、深度イメージに基づくと共に、相対的に小さい貯蔵領域を要し、しかも高速で高品質のレンダリングが可能である。
【図面の簡単な説明】
【図１】各種のタイプの原データを用いた３Ｄオブジェクト表現及びレンダリング装置の機能的概念図である。
【図２】垂直カメラから得られた一対の深度イメージからＢＶＯを生成する例を示す概念図である。
【図３】３Ｄポイントと各種のＢＶＯ階層レベルとの間の２Ｄ対応図である。
【図４】ＢＶＯ立方体及びこれを８つのサブ立方体に分割したものを示す概念図である。
【図５】（ａ）及び（ｂ）は、一つの階層レベルにおいて、ＢＶＯバーテックスをトラバースする順序の決定を示す２Ｄ及び３Ｄ概念図である。
【図６】スプラットを時間及び空間上に投影する過程及びスプラットの大きさを決定する幾何学的条件を示す概念図である。
【図７】動く３Ｄオブジェクトを示すデータストリームの構造ブロック図である。
【図８】データストリームにより表現される動く３Ｄオブジェクトの視覚化過程を示すフローチャートである。
【符号の説明】
４ ３Ｄオブジェクト原データをＢＶＯフォーマットに変換する手段
【発明の属する技術分野】
本発明はコンピュータグラフィックスに係り、特に、現実の物体の写真及びその幾何学的表現から得られた３次元（３Ｄ）の静止したオブジェクト及び動くオブジェクトの表現、並びに、２進体積オクツリー（Binary Volumeric Octree）を用いた表現及びレンダリングの方法及び装置に関する。
【０００２】
対話処理可能な速度での３Ｄオブジェクトの高品質レンダリングは、近い将来、現代グラフィックシステムにおける主要な関心事になると考えられている。３Ｄオブジェクトの高品質なレンダリングの要求は、電子商取引き、コンピュータゲーム、科学、工学、医学などの分野において、オブジェクトを圧縮し、通信網を介して伝送するために効率良いアルゴリズムが考案されることを必要とする。過去数十年にわたり、これらの要求をすべて同時に満たすものとして、３Ｄオブジェクトのポリゴン（多角形）モデルが利用されてきたが、これによっては所望の結果を得ることはできなかった。ポリゴンモデルには主に２つの短所がある。すなわち、データ容量（例えば、実物らしく見えるモデルは数千万個の三角形を必要とする）が膨大になることと、構築が困難であることである。３Ｄグラフィックにおけるこのような難点を克服するためのアプローチが、最近何年かの間に、いくつか提案されてきている。中でも、最も優れているものは、物体のイメージを用いることに基づく方法と、３Ｄ空間において三角形の代わりに点を用いることに基づく方法であろう。
【０００３】
イメージベースの方法は与えられたオブジェクトを、その目に見える面を完全にカバーする複数の異なるカメラ位置から撮られたイメージ（該オブジェクトの「写真」）の集合として表現する。さらに、その各々のイメージは対応する深度マップを伴っている。深度マップとは、イメージ平面上のピクセルからオブジェクトの表面までの距離の配列である。このような表現の長所は、参照イメージが、ポリゴンモデルの複雑性とは無関係に、品質の高いオブジェクトの視覚化を可能にすることとともに、通常用いられるイメージ圧縮技術により品質をそれほど犠牲にせずに圧縮可能であるということである。また、レンダリング時間が、参照イメージ及び出力イメージのピクセル数に比例し、物体の複雑性に比例しないことも特筆される。
【０００４】
これに対し、この方法の短所は、実物（例えば、彫刻品など）に対する深度マップを得るための過程が複雑であるということと、そのような表現を取り扱う技術がまだ十分に開発されていないということである。
【０００５】
点をベースとする方法は、オブジェクトを、明示された局所的ポリゴン構造を用いずに「点の雲」として表現する。この方法において、深度を有するイメージの集合は、イメージ平面に対して垂直方向の対応する深度値を用いて、各参照イメージの各ピクセルを転写することにより、物体の表面上に（対応する色を有する）点の集合を定義する。従って、イメージベース表現は点ベース表現の特別の場合である。本願でのアプローチにより近いのは、イメージベース表現なので、以下、これに重点をおいて説明する。
【０００６】
文献を参照すると、レリーフ・テクスチャー・マッピング［１］、階層化した深度イメージ［２］、階層化した深度イメージツリー［３］、キュースプラット（Ｑｓｐｌａｔ）［４］、サーフェル（Ｓｕｒｆｅｌ）［５］、及びその他の幾つかの先行公知技術のような、３Ｄオブジェクト表現及びレンダリング手法を記述したものとして、下記の参考文献［１］から［１３］があり、前述した２つの傾向が記載されている。先行技術のアプローチについての以下の記述において、下記の刊行物を参考文献とする。
［１］Ｍａｎｕｅｌ Ｍ． Ｏｌｉｖｅｉｒａ， Ｇａｒｙ Ｂｉｓｈｏｐ， Ｄａｖｉｄ ＭｃＡｌｌｉｓｔｅｒ． Ｒｅｌｉｅｆ Ｔｅｘｔｕｒｅｓ Ｍａｐｐｉｎｇ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '００．
［２］Ｊｏｎａｔｈａｎ Ｓｈａｄｅ， Ｓｔｅｖｅｎ Ｇｏｒｔｌｅｒ， Ｌｉ−ｗｅｉ Ｈｅ， Ｒｉｃｈａｒｄ Ｓｚｅｌｉｓｋｉ， Ｌａｙｅｒｅｄ Ｄｅｐｔｈ Ｉｍａｇｅｓ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '９８．
１９９８
［３］Ｃｈｕｎ−Ｆａ Ｃｈａｎｇ，Ｇａｒｙ Ｂｉｓｈｏｐ， ＡｎｓｅｌｍｏＬａｓｔｒａ． ＬＤＩ Ｔｒｅｅ：Ａ Ｈｉｅｒａｒｃｈｉｃａｌ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '９９．
［４］Ｓｚｙｍｏｎ Ｒｕｓｉｎｋｉｅｗｉｃｚ， Ｍａｒｃ Ｌｅｖｏｙ．ＱＳｐｌａｔ：Ａ Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ Ｐｏｉｎｔ Ｒｅｎｄｅｒｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ Ｌａｒｇｅ Ｍｅｓｈｅｓ．Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ＳＩＧＧＲＡＰＨ '００
［５］Ｈａｎｓｐｅｔｅｒ Ｐｆｉｓｔｅｒ， Ｍａｔｔｈｉａｓ Ｚｗｉｃｋｅｒ， Ｊｅｒｏｅｎ ｖａｎ Ｂａａｒ，Ｍａｒｋｕｓ Ｇｒｏｓｓ．Ｓｕｒｆｅｌｓ：Ｓｕｒｆａｃｅ Ｅｌｅｍｅｎｔｓ ａｓ Ｒｅｎｄｅｒｉｎｇ Ｐｒｉｍｉｔｉｖｅｓ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '００．
［６］Ｃｈａｍｂｅｒｌａｉｎ ｅｔ ａｌ．，Ｆａｓｔ Ｒｅｎｄｅｒｉｎｇ ｏｆ Ｃｏｍｐｌｅｘ Ｅｎｖｉｒｏｎｍｅｎｔｓ Ｕｓｉｎｇ ａ Ｓｐａｔｉａｌ Ｈｉｅｒａｒｃｈｙ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '９６．
［７］Ｇｒｏｓｓｍａｎ ａｎｄ Ｄａｌｌｙ， Ｐｏｉｎｔ ｓａｍｐｌｅ ｒｅｎｄｅｒｉｎｇ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｅｕｒｏｇｒａｐｈｉｃｓ Ｗｏｒｋｓｈｏｐ ｏｎ Ｒｅｎｄｅｒｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ '９８．
［８］Ｌｉｓｃｈｉｎｓｋｉ ａｎｄ Ｒａｐｐｏｐｏｒｔ， Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ ｆｏｒ Ｎｏｎ−Ｄｉｆｆｕｓｅ Ｓｙｎｔｈｅｔｉｃ Ｓｃｅｎｅｓ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＥｕｒｏｇｒａｐｈｉｃｓＷｏｒｋｓｈｏｐ ｏｎ Ｒｅｎｄｅｒｉｎｇ Ｔｅｃｈｉｎｑｕｅｓ '９８．
［９］Ｍ．Ｌｅｖｏｙ ａｎｄ Ｔ．Ｗｈｉｔｔｅｄ．Ｔｈｅ Ｕｓｅ ｏｆ Ｐｏｉｎｔｓ ａｓ Ｄｉｓｐｌａｙ Ｐｒｉｍｉｔｉｖｅｓ．Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＴＲ ８５−０２２，Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｎｏｒｔｈ Ｃａｒｏｌｉｎａ ａｔ Ｃｈａｐｅｌ Ｈｉｌｌ，Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，１９８５．
［１０］Ｌ．Ｗｅｓｔｏｖｅｒ． Ｆｏｏｔｐｒｉｎｔ Ｅｖａｌｕａｔｉｏｎｆｏｒ Ｖｏｌｕｍｅ Ｒｅｎｄｅｒｉｎｇ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '９０．
［１１］Ｃ．Ｉ．Ｃｏｎｎｏｌｌｙ．Ｃｕｍｕｌａｔｉｖｅ ｇｅｎｅｒａｔｉｏｎ ｏｆ ｏｃｔｒｅｅ ｍｏｄｅｌｓ ｆｒｏｍ ｒａｎｇｅ ｄａｔａ．ＩｎＰｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｌ．Ｃｏｎｆ．Ｒｏｂｏｔｉｃｓ， ｐｐ２５−３２， Ｍａｒｃｈ １９８４．
［１２］Ｇ．Ｈ Ｔａｒｂｏｘ ａｎｄ Ｓ．Ｎ．Ｇｏｔｔｓｃｈｌｉｃｈ． ＩＶＩＳ：Ａｎ ｉｎｔｅｇｒａｔｅｄ ｖｏｌｕｍｅｔｒｉｃ ｉｎｓｐｅｃｔｉｏｎ ｓｙｓｔｅｍ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １９９４ Ｓｅｃｏｎｄ ＣＡＤ−Ｂａｓｅｄ Ｖｉｓｉｏｎ Ｗｏｒｋｓｈｏｐ， ｐｐ２２０−２２７， Ｆｅｂｒｕａｒｙ １９９４．
［１３］Ｃｕｒｌｅｓｓ，Ｂ．， Ｌｅｖｏｙ， Ｍ． Ａ ｖｏｌｕｍｅｔｒｉｃ ｍｅｔｈｏｄ ｆｏｒ ｂｕｉｌｄｉｎｇ ｃｏｍｐｌｅｘ ｍｏｄｅｌｓ ｆｒｏｍ ｒａｎｇｅ ｉｍａｇｅｓ． Ｐｒｏｃｅｅｄｉｎｇｓ ＳＩＧＧＲＡＰＨ ’９６．
［１４］Ｃ．Ｂｒｅｇｌｅｒ，Ｖｉｄｅｏ Ｂａｓｅｄ Ａｎｉｍａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｈｕｍａｎ Ｍｏｔｉｏｎ， ＳＩＧＧＲＡＰＨ '００ Ｃｏｕｒｓｅ ３９： Ｉｍａｇｅ−ｂａｓｅｄ ｍｏｄｅｌｉｎｇ ａｎｄ ｒｅｎｄｅｒｉｎｇ．
［１５］Ｐａｕｌ Ｅ．Ｄｅｂｅｖｅｃ， Ｃａｍｉｌｌｏ Ｊ． Ｔａｙｌｏｒ，Ｊｉｔｅｎｄｒａ Ｍａｌｉｋ， Ｍｏｄｅｌｉｎｇ ａｎｄ ＲｅｎｄｅｒｉｎｇＡｒｃｈｉｔｅｃｔｕｒｅ ｆｒｏｍ Ｐｈｏｔｏｇｒａｐｈｓ：Ａ ｈｙｂｒｉｄ ｇｅｏｍｅｔｒｙ−ａｎｄ ｉｍａｇｅ−ｂａｓｅｄ ａｐｐｒｏａｃｈ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '９６．
【０００７】
イメージベースの方法に共通の問題は、生成したイメージに穴があくということである。オブジェクトの表面が全てのポリゴン（普通、三角形）の内部において線形的に補間されるという意味で'連続的な'ポリゴンモデルとは異なり、イメージベースの、そして点ベースの表現方式は、オブジェクトの'不連続的な'近似値を提供する。イメージベース表現の場合、オブジェクトの表面は、実際には、小さいカラー正方形、すなわち参照イメージのシフトされたピクセルに近似される。しかし、観測方向が各参照イメージ平面の垂直方向と大きく異なる時、近似した正方形の投影は一般的にオブジェクトの表面の投影を完全にはカバーしない。これらの穴を第１タイプ穴と呼ぶ。イメージベースの表現において、生成したイメージに穴があく他の原因は、表面に、すべての参照イメージで見えないのに、視点によっては見える部分があるということである（これを第２タイプ穴と呼ぶ。）。これら穴は個々のイメージベース表現に含まれる情報が不十分なために生ずる。
【０００８】
レリーフテクスチャ法［１］は線形補間法と類似した手法を用いて第１タイプ穴があかないようにするが、この方法によると、前記補間が前記オブジェクトの３Ｄ投影ではなく２次元（２Ｄ）投影で行われるため、歪みやアーティファクトが生じることがある。より重要なのは、この方法では、第２タイプ穴が同じ方法で取り扱われるしかないということである。［１］の方法ではわずか６つの参照イメージ、すなわち、外接する立方体の表面にオブジェクトを投影したイメージを用いるため、立方体のどの６面からも見えない点が存在する場合など複雑な形態に適用される場合には深刻な制限をきたしてしまう。
【０００９】
階層化した深度イメージ（Layered Depth Image:ＬＤＩ）［２］は第２タイプ穴に関連した問題を回避するようデザインされたデータ構造である。ＬＤＩはそのピクセルが参照イメージ平面のある固定された地点に投影される全てのオブジェクト点を含むイメージである。［１］の高速プレワーピングアルゴリズムはここでも適用される。しかし、第１タイプ穴に関する問題が解決されずに残ってしまう。（［１０］において初めて紹介された）スプラットは第１タイプ穴の問題を解決するために用いられる。スプラットは特定のカラー分布（例えば、パッチの中央を中心とするガウス分布、又は定数分布）が与えられた小さい２次元の直線状ないし楕円形表面パッチである。ＬＤＩ法の短所は、その表現方式が特定の固定された方向への投影に基づくがゆえに生じる非対称性にある。これにより、その固定された方向と大幅に異なる観測方向に対する穴を埋めることが極めて困難になる。
【００１０】
ＬＤＩツリー［３］は各オクツリーセル（ノード）にＬＤＩが付いているオクツリーである。階層モデルを有する長所は、オクツリー内の全てのＬＤＩをレンダリングしなくても良いということである。より遠くにあるセルはより高い階層のＬＤＩに保存されたフィルタリングされた点を用いることにより、やや粗くレンダリングされる。このような表現方式は多くの参照イメージを用いることでＬＤＩの非対称性を克服するために考案された。しかし、保存容量が極めて大きくなってしまう難点がある。例えば、（３６枚の参照イメージから得られた）５１２×５１２のイメージに対するＬＤＩツリーは［３］で報告されたように３０メガバイトを占め、この内半分はツリー構造自体のためのものである。［３］で報告されたように、このオブジェクトはレンダリング時間も長く、（並列処理を用いない場合の）３２，２５０ＭＨｚ ＭＩＰＳ(R) Ｒ１００００プロセッサを有するシリコングラフィックス（Ｓｉｌｉｃｏｎ Ｇｒａｐｈｉｃｓ(R)） Ｏｎｙｘ(R)２でフレーム当り２ないし３秒かかる。
【００１１】
イメージベースのデータをツリー構造に結合するさらに他の方法が最近考案されたサーフェル法［５］である。これはノードが１本のＬＤＩツリーの代わりに３つの直交平面に対応する３つのＬＤＩを含む階層化した深度立方体（ＬＤＣ）である特定のツリー［８］を取り扱う。８１，０００個の三角形を含む元のモデルに対して、［５］で報告された結果が得られた。２５６×２５６出力バッファーに対して秒当たり１１フレーム（ｆｐｓ）のフレームレートがペンティアム（Ｐｅｎｔｉｕｍ(R)）ＩＩＩ ７００ＭＨｚプロセッサ上で得られた。サーフェルは対応する深度ベクトルによりシフトされた参照イメージピクセルである。ツリー構造は可視的な要素を決める計算の速度を速めるために用いられる。穴埋めは最隣接法（Ｎｅａｒｅｓｔ−Ｎｅｉｇｈｂｏｒ）、あるいはガウスフィルタリングにより得られる。スプラッティングはこの構造で実行される。生成イメージの高品質とひきかえに、データの量が増え、しかも速度が限られる短所がある。
【００１２】
イメージベース手法であるよりは点ベースの手法に近いものではあるが、最近導入されたキュースプラット［４］の表現手法にも言及する必要がある。このアプローチは重複されたボールに基づく階層的点構造を用いる。レンダリング段階では、適切な大きさの楕円形スプラットが用いられる。しかし、［４］では、多少複雑で且つ相対的に時間がかかるトランケーテッドカリング（ｔｒｕｎｃａｔｅｄ ｃｕｌｌｉｎｇ）が用いられた。なお、データ構造がより複雑であり、その処理に多くの時間がかかる。
【００１３】
深度イメージの集合と同じ範囲のデータからオクツリー構造を有する３Ｄモデルを得るアイデア及び具現方法が［１］〜［１２］で開発された。［１３］はオクツリーを用いて原データからポリゴンモデルを構成することを取り扱っている。
【００１４】
【発明が解決しようとする課題】
以上の全ての方法は３Ｄ静止したイメージをベースとした表現に関連している。動く３Ｄオブジェクトについて述べれば、今までこの問題に取り組み、提案されたイメージベース方法はほとんどないということを認識しなければならない。［１４］では、ほぼ一定した３Ｄ表面形状に対する表面イメージの修正に関するアイデアが展開されている。これは動くオブジェクトの限られたクラスのみに適用可能であり、実際の３Ｄオブジェクトのアニメーションには適用できない。［１５］では、幾つかの写真に基づき複数の視点から建築物のビューを再構成するビュー依存的テキスチャマッピングを用いて建築物映像がアニメーション化されている。
【００１５】
従って、小さな保存容量で、高品質の出力イメージを高速レンダリング可能で、且つ、アニメーション目的に適したイメージベース表現が必要であるということが明らかである。
【００１６】
本発明が解決しようとする技術的課題は、前述した先行技術の短所を縮減ないし解消した、保存に要する領域が比較的小さくてすみ、高速で且つ高品質なレンダリングを可能にする、深度イメージに基づく３Ｄオブジェクト表現を提供することである。
【００１７】
本発明が解決しようとする他の技術的課題は、座標変換の高速計算、２進体積オクツリー（ＢＶＯ）の用いられた要素のオーダの自動的な決定、及び正確に定義された大きさのスプラットの形成を可能にする、３Ｄオブジェクト表現及びレンダリングのための方法及び装置を提供することである。
【００１８】
本発明が解決しようとするさらに他の技術的課題は、高速で且つ正確なレンダリングを可能にする、動く３Ｄオブジェクトのコンパクトな表現のための方法を提供することである。
【００１９】
【課題を解決するための手段】
前記技術的課題を達成するために、本発明に係る３Ｄオブジェクトの表現及びレンダリングの方法は、オブジェクトの表面に属する点の座標に対応する２進体積オクツリー（ＢＶＯ）の各バーテックスが属性として有する色が、前記ＢＶＯバーテックスに対応する３次元イメージ要素であるボクセルを表わす立方体の内部に座標を有するオブジェクト表面の点の色の平均となるように、３次元オブジェクトの原データをＢＶＯフォーマットに変換する段階と、ＢＶＯリーフに対応するボクセルの中心のローカル３次元座標を求め、前記求められた３次元座標をボクセル中心の２次元座標及び投影されたボクセルイメージの大きさの情報に変換し、各々のＢＶＯリーフに対し、色情報を用いて、投影されたボクセルイメージ領域をカバーする対応するスプラットを生成してディスプレーし、前記オクツリーをルートバーテックスからリーフまで階層的にトラバースすることによって前記ＢＶＯをレンダリングし、前記ディスプレーされた複数のスプラットにより３次元オブジェクトを視覚化する段階を含むことを特徴とする。
【００２０】
３Ｄオブジェクトの原データは、深度イメージの集合、ポリゴンモデルデータ、あるいは色を有する点の集合である。
【００２１】
また、オクツリーの階層的トラバースは、見る人から最も遠いＢＶＯボクセルから近いＢＶＯボクセルの順序に行われる。
【００２２】
変換過程において、計算上の複雑性を最小化させるために、前記オクツリーのトラバース前に、前記方法は、
前記技術的課題を達成するために、本発明の３次元オブジェクトの表現及びレンダリング装置は、
３次元オブジェクトの原データを生じる３次元オブジェクト原データ生成手段と、前記３次元オブジェクト原データ生成手段と連結されて、オブジェクトの表面に属する点の座標に対応する２進体積オクツリー（ＢＶＯ）の各バーテックスが属性として有する色が、前記ＢＶＯバーテックスに対応する３次元イメージ要素であるボクセルを表わす立方体の内部に座標を有するオブジェクト表面の点の色の平均となるように、３次元オブジェクト原データをＢＶＯフォーマットに変換する３次元オブジェクト原データ変換手段と、前記３次元オブジェクト原データ変換手段に連結されたＢＶＯレンダリング手段とを含むことを特徴とする。
【００２４】
前記３次元オブジェクト原データ生成手段は、複数の点の３次元座標を出力する３次元実物スキャナー、３次元オブジェクトポリゴンモデル生成手段、または深度イメージ生成手段である。
【００２５】
さらに、前記技術的課題を達成するために、３次元の動くオブジェクトの表現方法は、一連の３次元オブジェクトに対し、３次元の動くオブジェクトに対応する一連の２進体積オクツリー（ＢＶＯ）を生成するために、オブジェクトの表面に属する点の座標に対応するＢＶＯの各バーテックスが属性として有する色が、前記ＢＶＯバーテックスに対応する３次元イメージ要素であるボクセルを表わす立方体の内部に座標を有するオブジェクト表面の点の色の平均となるように、一連の３次元オブジェクトの原データをそれぞれＢＶＯフォーマットに変換する段階を含むことを特徴とする。
【００２６】
この方法は、各立方体の表面に対して動くオブジェクトのイメージに対応するビデオストリームを取得してオクツリーバイトストリームを生成し、該オクツリーバイトストリームの各バイトはオクツリーバーテックスに対応し、各バイトの各ビットは各々前記オクツリーバーテックスに対してサブツリーの存否を表示し、６本のビデオストリーム及びオクツリーバイトストリームは共に３次元の動くオブジェクトの表現を形成するオクツリーバイトストリームを生成するように、一連のＢＶＯの内各々のＢＶＯをＢＶＯルートバーテックスに対応する立方体の表面に投影する段階をさらに含む。
【００２７】
好ましくは、前記６本のビデオストリームはＭＰＥＧビデオ圧縮フォーマットを用いてコンパクトな形態で保存される。また、前記オクツリーバイトストリームは、好ましくは、エントロピー圧縮を用いて保存される。
【００２８】
上述した表現方法により表現された３次元の動くオブジェクトは、ビデオデータの圧縮を解凍し、各ＢＶＯバーテックスの色を決めるために６本の参照イメージストリームをＢＶＯに投影し、３次元の動くオブジェクトを視覚化させるために色を有したＢＶＯを投影することによって、視覚化される。
【００２９】
また、本発明の別の側面としての、３次元の動くオブジェクトを表現する方法は、（ａ）一連の３次元オブジェクトに対して３次元の動くオブジェクトに対応する一連の２進体積オクツリー（ＢＶＯ）を生成するために、オブジェクトの表面に属する点の座標に対応するＢＶＯの各バーテックスが属性として有する色が、前記ＢＶＯバーテックスに対応する３次元イメージ要素であるボクセルを表わす立方体の内部に座標を有するオブジェクト表面の点の色の平均となるように、一連の３次元オブジェクトの原データをＢＶＯフォーマットに変換する段階と、（ｂ）各立方体の表面に対して動くオブジェクトのイメージに対応するビデオストリームを取得してオクツリーバイトストリームを生成し、該オクツリーバイトストリームの各バイトはオクツリーバーテックスに対応し、各バイトの各ビットは各々前記オクツリーバーテックスに対してサブツリーの存否を表示し、６本のビデオストリーム及びオクツリーバイトストリームは共に３次元の動くオブジェクトの表現を形成するオクツリーバイトストリームを生成するように、一連のＢＶＯの内各々のＢＶＯをＢＶＯルートバーテックスに対応する立方体の表面に投影する段階とを含むことを特徴とする。
【００３０】
前記６本のビデオストリームは、好ましくは、ＭＰＥＧビデオ圧縮フォーマットを用いてコンパクトな形態で保存される。また、前記オクツリーバイトストリームは、好ましくは、エントロピー圧縮を用いて保存される。
【００３１】
上述した３次元の動くオブジェクトを視覚化する方法は、ビデオデータの圧縮を解凍し、各ＢＶＯバーテックスの色を決めるために６本の参照イメージストリームをＢＶＯに投影し、３次元の動くオブジェクトを視覚化させるために色を有したＢＶＯを投影する段階を含む。
【００３２】
【発明の実施の形態】
本発明は添付した図面と共に好ましい実施形態に関する次の詳細な説明を参照することにより一層明確になる。
【００３３】
コンパクトなデータストリーム表現方式はＢＶＯの幾何学的構成要素及び色彩構成要素を分離し、幾何学的構成要素の圧縮にはオクツリーの２進表現方式を用い、色彩構成要素の圧縮には２Ｄイメージ圧縮アルゴリズムを用いることにより達成される。
【００３４】
図１に示すように、種々異なるタイプの原データを用いて３Ｄオブジェクトを表現してレンダリングする装置は、複数の点の３Ｄ座標を出力する実物３Ｄスキャナー１やポリゴンモデル生成手段２や深度イメージ生成手段３などの３Ｄオブジェクト原データ生成手段と、３Ｄオブジェクト原データをＢＶＯフォーマットに変換する手段４とを含む。前記変換手段４は、３つの座標（ｘ，ｙ，ｚ）及びＲ，Ｇ，Ｂなど３つの色座標を含む複数の６次元ベクトルを生成する手段５、及びＢＶＯ構成手段６を含む。前記ＢＶＯ構成手段６はイメージバッファを含むＢＶＯ視覚化手段７、及び座標変換マトリックス生成手段８と連結している。
【００３５】
図２は、２台の垂直カメラを用いた場合に、現実の表面からどのように深度イメージが生成され、どのようにこれらが組合わせられてボクセルを生じるのかを示している。図２において、実物の表面の一部９、第１カメラ（図示せず）により撮られた実物の表面に近似した直四角形の深度イメージピクセルの離散値に対応する投影１０、第２カメラ（図示せず）により撮られた表面９のサンプリングされた深度値１１、２台のカメラによって撮られた表面の深度値の結合された値に対応するボクセル１２が示されている。
【００３６】
図３は、３Ｄの点とＢＶＯの各種のスケールレベルの対応図を示す（２Ｄビュー）。図３において、３Ｄ座標を有した複数の点１３、点１３に対応するＢＶＯ構造１４、色情報を含みＢＶＯノードに位置するマークされたボクセル１６を有するＢＶＯのスケールレベル１５が示されている。
図４は、ＢＶＯ立方体１７及びこれを８つのサブ立方体１８に分割したものを示す図である。
【００３７】
図５（ａ）及び図５（ｂ）は、単一階層レベルにおいてＢＶＯバーテックスのトラバース順序をいかに定めているかを示すものである。図５（ａ）及び図５（ｂ）において、投影面１９、投影方向２０、ＢＶＯバーテックスの内一つに対応し表面に平行な面２２、２３、２４によって分割された立方体２１、分析される立方体の８つのサブ立方体各々のトラバース投影順序２５が示されている。
【００３８】
図６は、スプラットが時間及び空間上にいかに投影されるか、及びスプラットの大きさを決める幾何学的条件を示す。図６において、全体８×８ ＢＶＯ ２６、ボクセル１６、スプラット２７、垂直投影方向２８、イメージバッファ２９が示されている。
【００３９】
図７は、動くオブジェクトの幾何学的構造変化に対応するＢＶＯバイトストリームのシーケンス３１及びビデオストリーム（各アニメーションフレームに対する参照イメージのシーケンス）３２を含むＢＶＯアニメーションシーケンス３０の構造を示す。
【００４０】
図８は、データストリームにより表現される動く３Ｄオブジェクトの視覚化過程の段階３３〜段階３９を示すフローチャートである。
【００４１】
本発明において要求される３Ｄオブジェクト表現方法はＢＶＯであり、これは現在用いられるほとんどの３Ｄモデル表現から得られる。図１は、３Ｄスキャナー１のデータ、手段２で生成されたポリゴンモデル、手段３で生成された深度イメージの集合などの入力表現を生成する従来の手段を示す。ＢＶＯを適用する主な目的は、深度イメージの集合を入力表現として用いることである。深度イメージによるモデル表現の長所は、難しいモデリング過程の代わりに、実物モデルの写真から直接、３Ｄモデルを生成可能であるという点である。
【００４２】
ＢＶＯを生成するために、前記手段１、２、３の内一つにより提供された入力表現は３つの座標（ｘ，ｙ，ｚ）及び３つの色座標Ｒ、Ｇ、Ｂを成分として有する複数の６次元ベクトルを生じる手段５の助けを借りて中間表現に変換される。ＢＶＯを構成するために、高さｎが指定されなければならず、ローカルＢＶＯ座標においてＢＶＯ立方体のエッジ長はＬ＝２nとなる。中間表現は下記のような方式により手段５によって生成される。
【００４３】
ポリゴンモデルについて：
移動及びスケール（大きさ）変換によって、モデルポリゴンの全てのバーテックスは、一つのバーテックスが座標系の原点に位置し反対側のバーテックスが座標（Ｌ，Ｌ，Ｌ）を有する点に位置する立方体の内部に配置されるように生成される。ポリゴンの部分分割法により、全てのポリゴンの二つの隣接したバーテックス間の距離は１より大きくならないようにする。原ポリゴンモデルのテクスチャ及びテクスチャ座標を用い、ポリゴンの各バーテックスに色が属性として与えられる。
【００４４】
深度イメージについて：
深度イメージは、イメージの共通座標系に再計算された後、ピクセルに対応する長方形の線形的な大きさが１を超えず、全ての長方形がＢＶＯ立方体に取り囲まれた空間内に位置するように、スケール（大きさ）が調節されて移動する。共通座標系への再計算のために、イメージを得るためのカメラの位置情報及びイメージのピクセルに対応する深度値が用いられる。これにより、色座標及びイメージに共通する座標を有する複数の点が得られる。各点の色座標は元のスケール調節されたイメージのピクセルの色に対応する。
【００４５】
３Ｄモデルスキャニングデータについて：
スキャニングされたモデルの全ての点は、移動及びスケール変換によって、一つのバーテックスが座標系の原点に位置し反対側のバーテックスが座標（Ｌ，Ｌ，Ｌ）に位置するＢＶＯ立方体の内部領域に位置するように生成される。座標（ｘ，ｙ，ｚ）がＢＶＯ立方体に含まれた複数点｛ｘ，ｙ，ｚ，Ｒ，Ｇ，Ｂ｝の形を有する中間表現を得た後、手段６は、図３に示すＢＶＯを構成する。立方体１７はルートバーテックスの次の階層レベルにあるバーテックスに対応して８つのサブ立方体１８に階層的に分割され（図４）、第１スケールレベルのＢＶＯが得られる。ＢＶＯは高さが増加した一連のスケールレベル（図３の１５）として考えることができ、ここで、低いツリーの使用によって、必ずしもより高いツリーを有した全てのアルゴリズムに用いて処理することが必要となるわけではない。後述する過程において、ＢＶＯサブツリーはこのサブツリーに対応する立方体が少なくとも一つの点１３を含む場合に限って保存され、逆に、ＢＶＯサブツリーが保存される時に限ってこのサブツリーに対応する立方体が少なくても一つの点１３を含む。ＢＶＯ構造１４は複数の点１３から得られる。（単に最後のものだけではなく）全てのＢＶＯバーテックスに対して色が属性として与えられる。各バーテックスに属性として与えられる色は、このバーテックスに対応する立方体に属する点の色の平均値となる。
【００４６】
ＢＶＯレンダリング手段７は手段８により指定された３Ｄ座標システム変換を用いて座標変換４×４マトリックスＴを生成する。変換により生成された座標はＢＶＯに対する相対的な視点の位置を指定する。
【００４７】
レンダリングを行うために、ＢＶＯのルートバーテックスからツリーのリーフまで全てのバーテックスをトラバースさせなければならない。リーフをトラバースする間に、スプラットと呼ばれる特定パターンがイメージバッファ２９に保存される。図６に示すように、分析されるバーテックスのスプラット２７は分析されるバーテックスに対応する投影立方体２６の領域をカバーしなければならない。スプラットの色は分析されるＢＶＯバーテックスの色に対応しなければならない。スプラットは、イメージバッファへの高速保存が可能な形状が選択されるが、それは一般的には正方形または円形である。スプラット２７中心の座標はこのバーテックスに対応する投影立方体２６の中心の座標に対応しなければならない。
【００４８】
視点に対する立方体の相対的な位置を考慮した正確なＢＶＯレンダリングを提供するために、レンダリング過程において、イメージバッファの各点において最後に投影されたスプラットはイメージバッファ中の分析された点に対して先に投影された他のスプラットよりも観視者に近いところに位置するように注意を払わなければならない。ＢＶＯレンダリングの速度は立方体中心に対応する点の座標タイプ変換の速度に実質的に依存する。ハードウェアグラフィック加速器において、前述した問題は、ハードウェアｚ−バッファによって正確なレンダリングを提供し、ハードウェアの助けを借りてマトリックス乗法を加速して立方体中心点の変換を計算することにより解決できる。
【００４９】
特別のグラフィック加速器を採用しないＢＶＯレンダリング方法は、ＢＶＯトラバースの正しい順序を取り決める方法及び立方体中心座標の高速階層的座標タイプ変換方法を伴う。本発明によるＢＶＯのトラバース順序の使用はｚ−バッファに依存せずに正しいスプラットの投影を可能にする。
【００５０】
スプラットの正しい投影を可能ならしめるＢＶＯのトラバース順序を決定する方法は、各ＢＶＯバーテックスに対してそのルートバーテックスがこのバーテックスから由来するサブツリーのトラバース順序を決定することに基づく。図５に示すように、分析されるＢＶＯバーテックスに対応する立方体２１のバーテックスのトラバース順序を決定するために、立方体２１を、３種の可能な方法をすべて用いて、平面により二つの同じ平行六面体に分割する。図５（ａ）及び図５（ｂ）において、平面は線２２、２３、２４で示されている。各部分に対する正しい投影順序の決定は、平行六面体の共通面２２，２３の法線と投影方向１９との間の角の方向を決定することにより行われる。この動作を行った後には、分析される立方体２１の８つのサブ立方体の各々をトラバースする順序２５が３つの場合のいずれからも得られる。
【００５１】
前記立方体投影の順序を決定する過程は、後述するＢＶＯのトラバース順序の決定及び高速階層的変換を含む全体レンダリング過程によって再帰的に行われる：
ａ．視点の変化ごとに前処理を行う。
ｂ．ルートバーテックスを現在のバーテックスとする。
ｃ．現在のバーテックスに対応する８つのサブ立方体をいずれも投影する正しい順序を決定する。垂直投影においては、全てのノードは対応するルートバーテックスの立方体分割部分からこの順序を引き継ぐ。
ｄ．現在バーテックスの全てのサブ立方体に対して下記の処理を行う：
１）このバーテックスに対して必要な、立方体中心座標の変換を計算する。
２）現在バーテックスがツリーのリーフであれば、前述の図６において説明した通り、スプラットを投影する。
３）現在バーテックスがツリーのリーフではなければ、このサブ立方体に対応するバーテックスを現在バーテックスとして定め、ｂ段階に戻る。
【００５２】
ａ段階及びｄ１段階の演算は下記の手順により行われる。Ｔは４×４変換マトリックスを表示する。この変換は４次元空間における線形的な変換を表わす。ＢＶＯ高さをｎとし、ボクセルのローカル法線座標をｖとする。ボクセル座標が標準的な暗黙的２進形態（各バイトがルートバーテックスを含む内部オクツリーバーテックスに対応し、バイトの各ビットは各々このオクツリーバーテックスの存否を表わす、ＢＶＯフォーマットの標準的な２進レコード）として保存されており、ノード座標を下記式（１）のように表わすとする。
【００５３】
【数１】
これにより、好ましいバーテックス座標の変換は、次式（２）の形態を有する。
【００５５】
【数２】
【数３】
固定されたＴに対し、前記式（３）の各成分は前処理段階ａで、次式（４）によって計算される。
【００５９】
【数４】
前記式はｎ×８テーブルに保存され、変換は全てのバーテックスに対して単にテーブル参照及び足し算を行って前記式（３）を計算することにより行われる。その結果、ルートバーテックスからリーフまでの全ての経路を通れば、（ｘ，ｙ，ｚ）座標として特定される各ＢＶＯに対し、値Ｔvを求めることができる。
【００６１】
【数５】
前記座標変換方法はオクツリーの全てのリーフに対して直接的にマトリックス掛け算を行うことに比べて計算能力面で１０倍以上の向上が得られる。
【００６３】
前述したＢＶＯ多重スケール法は、その性質上、ＢＶＯにより表現される３Ｄモデルの所望のディテールレベル及びモデルにおいて、観視者までの距離に比例して特定の多重スケールレベルを直接的に選択可能にするという点は特記される。
【００６４】
動く３Ｄオブジェクトの表現方法は、下記の手順で実施される。一連の３Ｄオブジェクトにおける各３Ｄオブジェクトの原データがＢＶＯフォーマットに変換される。各３Ｄアニメーションフレームに対し、オブジェクトの立方体面に対する投影に対応する６枚の深度イメージが生成される。これにより、ビデオストリームが、各立方体面毎に１本ずつ生成され、各フレーム毎に６つの深度マップが生成される。各フレームに対し、前述したように、ＢＶＯフォーマットがオクツリーバイトストリームの形で生成される。ビデオストリームはＭＰＥＧ−２など、効率良い圧縮方法の助けを借りて圧縮される。図８に示すように、ＢＶＯアニメーションシーケンス３０は、動くオブジェクトの幾何学的構造変化に対応するオクツリーバイトストリームのシーケンス３１、及び前述した６本のビデオストリーム（アニメーションの各フレームの参照イメージのシーケンス）３２を含む。
【００６５】
動く３Ｄオブジェクトの視覚化方法を、図８のフローチャートに示す。６枚の参照イメージのデータ及び前述のように生成されたオクツリーバイトストリームのデータがアニメーションシーケンスから抽出される（第３３段階）。６枚のイメージの圧縮を解凍し、ＢＶＯ構造が生成される（第３４段階）。各ＢＶＯバーテックスの色を決定するために、得られた６本の参照イメージストリームがＢＶＯ上に投影される（第３５段階）。圧縮解凍されたＢＶＯを視覚化させるかどうかを決める（第３６段階）。もし、視覚化させるのであれば、動くオブジェクトフレームに対応するＢＶＯが視覚化される（第３７段階）。次のフレームを読み出すか否かを決める（第３８段階）。読み出す場合には、第３３段階に戻り、読み出さないのであれば、第３９段階に進んで、視点が変化すれば視覚化段階（第３７段階）へ戻る。
【００６６】
実験によれば、本発明に係る方法により得られた単一ＢＶＯフォーマットフレームは最近の先行技術である垂直ＬＤＩフォーマットに比べて４ないし１０倍ほど小さい。ＢＶＯレンダリング速度は、２５６×２５６の解像度を有する参照イメージ及び出力イメージに対し、パンティアムセラーロン５００ＭＨｚコンピュータ（ハードウェアに基づく加速を用いない場合、固定スケールレベルにおいて）約２０ｆｐｓであり、これもまたハードウェアに基づく加速によらない場合の先行技術の方法におけるレンダリング速度よりも２ないし３倍ほど速い。
【００６７】
【発明の効果】
以上述べたように、本発明に係る３Ｄの静止したオブジェクト及び動くオブジェクトの階層的イメージベース表現及びレンダリング方法及び装置によれば、ＢＶＯの幾何学的構成要素と色彩構成要素とを分離することにより、深度イメージに基づくと共に、相対的に小さい貯蔵領域を要し、しかも高速で高品質のレンダリングが可能である。
【図面の簡単な説明】
【図１】各種のタイプの原データを用いた３Ｄオブジェクト表現及びレンダリング装置の機能的概念図である。
【図２】垂直カメラから得られた一対の深度イメージからＢＶＯを生成する例を示す概念図である。
【図３】３Ｄポイントと各種のＢＶＯ階層レベルとの間の２Ｄ対応図である。
【図４】ＢＶＯ立方体及びこれを８つのサブ立方体に分割したものを示す概念図である。
【図５】（ａ）及び（ｂ）は、一つの階層レベルにおいて、ＢＶＯバーテックスをトラバースする順序の決定を示す２Ｄ及び３Ｄ概念図である。
【図６】スプラットを時間及び空間上に投影する過程及びスプラットの大きさを決定する幾何学的条件を示す概念図である。
【図７】動く３Ｄオブジェクトを示すデータストリームの構造ブロック図である。
【図８】データストリームにより表現される動く３Ｄオブジェクトの視覚化過程を示すフローチャートである。
【符号の説明】
４ ３Ｄオブジェクト原データをＢＶＯフォーマットに変換する手段
Claims (15)
- コンピュータにより３次元オブジェクトを表現及びレンダリングする方法において、
（ａ）三次元オブジェクト原データ変換手段により、オブジェクトの表面に属する点の座標に対応する２進体積オクツリー（ＢＶＯ）の各バーテックスが属性として有する色が、前記ＢＶＯバーテックスに対応する３次元イメージ要素であるボクセルを表わす立方体の内部に座標を有するオブジェクト表面の点の色の平均となるように、３次元オブジェクトの原データをＢＶＯフォーマットに変換する段階と、
（ｂ）ＢＶＯ視覚化手段により、ＢＶＯリーフに対応するボクセルの中心のローカル３次元座標を求め、前記求められた３次元座標をボクセル中心の２次元座標及び投影されたボクセルイメージの大きさの情報に変換し、各々のＢＶＯリーフに対し、色情報を用いて、投影されたボクセルイメージ領域をカバーする対応するスプラットを生成してディスプレーし、前記オクツリーをルートバーテックスからリーフまで階層的にトラバースすることによって前記ＢＶＯをレンダリングし、前記ディスプレーされた複数のスプラットにより３次元オブジェクトを視覚化する段階を含むことを特徴とするコンピュータにより３次元オブジェクトを表現及びレンダリングする方法。 - 前記３次元オブジェクトの原データは、深度イメージの集合、ポリゴンモデルデータ、あるいは色を有する点の集合であることを特徴とする請求項１に記載のコンピュータにより３次元オブジェクトを表現及びレンダリングする方法。
- 前記オクツリーの階層的トラバースは、見る人から最も遠いＢＶＯボクセルから近いＢＶＯボクセルの順序に行われることを特徴とする請求項１又は２に記載のコンピュータにより３次元オブジェクトを表現及びレンダリングする方法。
- 前記オクツリーのトラバース前に、前記方法は、ＢＶＯレンダリング手段が、
を計算し、３次元座標を２次元座標へと階層的変換して得られた結果を用いるとともに、各ＢＶＯバーテックスに対し、ＢＶＯルートからリーフまでの全ての経路をトラバースしつつ
を計算することによって、ローカル座標（ｘ，ｙ，ｚ）として特定される全てのＢＶＯリーフに対する
を計算する段階を含むことを特徴とする請求項１ないし３のいずれか一項に記載のコンピュータにより３次元オブジェクトを表現及びレンダリングする方法。 - ３次元オブジェクトの表現及びレンダリング装置において、３次元オブジェクトの原データを生じる３次元オブジェクト原データ生成手段と、
前記３次元オブジェクト原データ生成手段と連結されて、オブジェクトの表面に属する点の座標に対応する２進体積オクツリー（ＢＶＯ）の各バーテックスが属性として有する色が、前記ＢＶＯバーテックスに対応する３次元イメージ要素であるボクセルを表わす立方体の内部に座標を有するオブジェクト表面の点の色の平均となるように、３次元オブジェクト原データをＢＶＯフォーマットに変換する３次元オブジェクト原データ変換手段と、
前記３次元オブジェクト原データ変換手段に連結されたＢＶＯレンダリング手段とを含むことを特徴とする３次元オブジェクトの表現及びレンダリング装置。 - 前記３次元オブジェクト原データ生成手段は、複数の点の３次元座標を出力する３次元実物スキャナーであることを特徴とする請求項５に記載の３次元オブジェクトの表現及びレンダリング装置。
- 前記３次元オブジェクト原データ生成手段は、３次元オブジェクトポリゴンモデル生成手段であることを特徴とする請求項５に記載の３次元オブジェクトの表現及びレンダリング装置。
- 前記３次元オブジェクト原データ生成手段は、深度イメージ生成手段であることを特徴とする請求項５に記載の３次元オブジェクトの表現及びレンダリング装置。
- コンピュータにより３次元の動くオブジェクトを表現する方法において、
（ａ）三次元オブジェクト原データ変換手段により、一連の３次元オブジェクトに対し、３次元の動くオブジェクトに対応する一連の２進体積オクツリー（ＢＶＯ）を生成するために、オブジェクトの表面に属する点の座標に対応するＢＶＯの各バーテックスが属性として有する色が、前記ＢＶＯバーテックスに対応する３次元イメージ要素であるボクセルを表わす立方体の内部に座標を有するオブジェクト表面の点の色の平均となるように、一連の３次元オブジェクトの原データをそれぞれＢＶＯフォーマットに変換する段階を含むことを特徴とするコンピュータにより３次元の動くオブジェクトを表現する方法。 - （ｂ）オクツリーバイトストリーム生成及びＢＶＯ投影手段が、各立方体の表面に対して動くオブジェクトのイメージに対応するビデオストリームを取得してオクツリーバイトストリームを生成し、該オクツリーバイトストリームの各バイトはオクツリーバーテックスに対応し、各バイトの各ビットは各々前記オクツリーバーテックスに対してサブツリーの存否を表示し、６本のビデオストリーム及びオクツリーバイトストリームは共に３次元の動くオブジェクトの表現を形成するオクツリーバイトストリームを生成するように、一連のＢＶＯの内各々のＢＶＯをＢＶＯルートバーテックスに対応する立方体の表面に投影する段階をさらに含むことを特徴とする請求項９に記載のコンピュータにより３次元の動くオブジェクトを表現する方法。
- （ｃ）ビデオストリーム及びオクツリーバイトストリーム保存手段が、前記６本のビデオストリームをＭＰＥＧビデオ圧縮フォーマットを用いてコンパクトな形態で保存し、前記オクツリーバイトストリームをエントロピー圧縮を用いて保存する段階をさらに含むことを特徴とする請求項１０に記載のコンピュータにより３次元の動くオブジェクトを表現する方法。
- 請求項１０又は１１に記載の方法により表現された３次元の動くオブジェクトを視覚化させる方法において、ＢＶＯ投影手段が、ビデオデータの圧縮を解凍し、各ＢＶＯバーテックスの色を決めるために６本の参照イメージストリームをＢＶＯに投影し、３次元の動くオブジェクトを視覚化させるために色を有したＢＶＯを投影する段階を含むことを特徴とするコンピュータにより３次元の動くオブジェクトを視覚化させる方法。
- コンピュータにより３次元の動くオブジェクトを表現する方法において、
（ａ）三次元オブジェクト原データ変換手段が、一連の３次元オブジェクトに対して３次元の動くオブジェクトに対応する一連の２進体積オクツリー（ＢＶＯ）を生成するために、オブジェクトの表面に属する点の座標に対応するＢＶＯの各バーテックスが属性として有する色が、前記ＢＶＯバーテックスに対応する３次元イメージ要素であるボクセルを表わす立方体の内部に座標を有するオブジェクト表面の点の色の平均となるように、一連の３次元オブジェクトの原データをＢＶＯフォーマットに変換する段階と、
（ｂ）オクツリーバイトストリーム生成及びＢＶＯ投影手段が、各立方体の表面に対して動くオブジェクトのイメージに対応するビデオストリームを取得してオクツリーバイトストリームを生成し、該オクツリーバイトストリームの各バイトはオクツリーバーテックスに対応し、各バイトの各ビットは各々前記オクツリーバーテックスに対してサブツリーの存否を表示し、６本のビデオストリーム及びオクツリーバイトストリームは共に３次元の動くオブジェクトの表現を形成するオクツリーバイトストリームを生成するように、一連のＢＶＯの内各々のＢＶＯをＢＶＯルートバーテックスに対応する立方体の表面に投影する段階とを含むことを特徴とするコンピュータにより３次元の動くオブジェクトを表現する方法。 - ビデオストリーム及びオクツリーバイトストリーム保存手段が、前記６本のビデオストリームをＭＰＥＧビデオ圧縮フォーマットを用いてコンパクトな形態で保存し、前記オクツリーバイトストリームをエントロピー圧縮を用いて保存する段階をさらに含むことを特徴とする請求項１３に記載のコンピュータにより３次元の動くオブジェクトを表現する方法。
- 請求項１３又は１４に記載のコンピュータにより３次元の動くオブジェクトを表現する方法により表現された３次元の動くオブジェクトを視覚化する方法において、
ＢＶＯ投影手段が、ビデオデータの圧縮を解凍し、各ＢＶＯバーテックスの色を決めるために６本の参照イメージストリームをＢＶＯに投影し、３次元の動くオブジェクトを視覚化させるために色を有したＢＶＯを投影する段階を含むことを特徴とするコンピュータにより３次元の動くオブジェクトを視覚化させる方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2001118222/09A RU2215326C2 (ru) | 2001-06-29 | 2001-06-29 | Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта |
| RU2001118222 | 2001-06-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003077004A JP2003077004A (ja) | 2003-03-14 |
| JP3981302B2 true JP3981302B2 (ja) | 2007-09-26 |
Family
ID=20251333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002192460A Expired - Fee Related JP3981302B2 (ja) | 2001-06-29 | 2002-07-01 | ３次元の静止した又は動くオブジェクトの階層イメージベース表現並びに該表現をオブジェクトのレンダリングに使用する方法及び装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US6778173B2 (ja) |
| EP (2) | EP1744282B1 (ja) |
| JP (1) | JP3981302B2 (ja) |
| KR (1) | KR100468848B1 (ja) |
| CN (1) | CN1215443C (ja) |
| CA (1) | CA2391670C (ja) |
| RU (1) | RU2215326C2 (ja) |
Families Citing this family (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3855053B2 (ja) * | 2003-01-30 | 2006-12-06 | 国立大学法人 東京大学 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| EP1687777A2 (en) * | 2003-11-28 | 2006-08-09 | BRACCO IMAGING S.p.A. | Method and system for distinguishing surfaces in 3d data sets ("dividing voxels") |
| US20050151734A1 (en) * | 2004-01-14 | 2005-07-14 | Gubkin Andrew A. | Method and apparatus for rendering, storing and editing voxel objects |
| EP1574996A3 (en) * | 2004-03-08 | 2007-03-21 | Samsung Electronics Co., Ltd. | Adaptive 2n-ary tree generating method, and method and apparatus for encoding and decoding 3D volume data using it |
| KR20070064319A (ko) * | 2004-08-06 | 2007-06-20 | 유니버시티 오브 워싱톤 | 가변 응시 시거리 주사 광 디스플레이 |
| KR100755684B1 (ko) | 2004-08-07 | 2007-09-05 | 삼성전자주식회사 | 3차원 모션 그래픽 사용자 인터페이스 및 이를 제공하는방법 및 장치 |
| KR100571846B1 (ko) * | 2004-12-16 | 2006-04-17 | 삼성전자주식회사 | 3차원 영상의 계층적 구조에 기반한 적응적 랜더링 장치및 방법과 그 방법을 수행하기 위한 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록매체 |
| KR100624457B1 (ko) * | 2005-01-08 | 2006-09-19 | 삼성전자주식회사 | 깊이-영상 기반의 모델링 방법 및 장치 |
| WO2006106829A1 (ja) * | 2005-03-30 | 2006-10-12 | Japan Agency For Marine-Earth Science And Technology | 構造格子データの可視化方法及びプログラム |
| KR100738095B1 (ko) * | 2005-09-23 | 2007-07-12 | 삼성전자주식회사 | 3차원 객체의 효율적 렌더링 방법 및 장치 |
| KR100738107B1 (ko) * | 2006-02-15 | 2007-07-12 | 삼성전자주식회사 | 3차원 포인트 기반 모델링 장치 및 방법 |
| ITMI20060505A1 (it) * | 2006-03-21 | 2007-09-22 | Eni Spa | Metrodo per visualizzare e comparare immagini e volumi di dati di grandezze fisiche |
| US20080024489A1 (en) * | 2006-07-28 | 2008-01-31 | Robert Allen Shearer | Cache Utilization Optimized Ray Traversal Algorithm with Minimized Memory Bandwidth Requirements |
| US9478062B2 (en) * | 2006-09-19 | 2016-10-25 | Imagination Technologies Limited | Memory allocation in distributed memories for multiprocessing |
| US9641822B2 (en) | 2008-02-25 | 2017-05-02 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three-dimensional (3D) images |
| KR101526948B1 (ko) * | 2008-02-25 | 2015-06-11 | 삼성전자주식회사 | 3ｄ 영상 처리 방법 |
| DE102008020579B4 (de) * | 2008-04-24 | 2014-07-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur automatischen Objektlageerkennung und Bewegung einer Vorrichtung relativ zu einem Objekt |
| KR20100000671A (ko) * | 2008-06-25 | 2010-01-06 | 삼성전자주식회사 | 영상 처리 방법 |
| KR100947595B1 (ko) * | 2008-07-29 | 2010-03-15 | 중앙대학교 산학협력단 | 폴리곤의 컬러 코드를 이용한 복셀화 방법 |
| US8098247B2 (en) * | 2009-09-24 | 2012-01-17 | Crucs Holdings, Llc | Systems and methods for geometric data compression and encryption |
| US7961910B2 (en) | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
| US8867820B2 (en) * | 2009-10-07 | 2014-10-21 | Microsoft Corporation | Systems and methods for removing a background of an image |
| US8963829B2 (en) | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
| US8564534B2 (en) | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
| CN101763649B (zh) * | 2009-12-30 | 2012-07-25 | 北京航空航天大学 | 一种增强模型轮廓的表面点绘制方法 |
| CN102682419B (zh) * | 2011-03-14 | 2015-04-22 | 扬智科技股份有限公司 | 用于向量图形的动态线段对照表产生方法及装置 |
| GB201113683D0 (en) * | 2011-08-09 | 2011-09-21 | Imorphics Ltd | Image processing method |
| US9100642B2 (en) * | 2011-09-15 | 2015-08-04 | Broadcom Corporation | Adjustable depth layers for three-dimensional images |
| CN103150761A (zh) * | 2013-04-02 | 2013-06-12 | 乐淘奇品网络技术（北京）有限公司 | 通过网页高速逼真3d渲染进行物品设计定制的方法 |
| US20140368504A1 (en) * | 2013-06-12 | 2014-12-18 | Microsoft Corporation | Scalable volumetric 3d reconstruction |
| CN103310489B (zh) * | 2013-06-24 | 2016-01-20 | 中南大学 | 一种基于动态深度层次结构的三维模型交互方法 |
| EP2829993B1 (en) * | 2013-07-25 | 2020-09-30 | Dassault Systèmes | Design of a path connecting a first point to a second point in a three-dimensional scene |
| US9530226B2 (en) * | 2014-02-18 | 2016-12-27 | Par Technology Corporation | Systems and methods for optimizing N dimensional volume data for transmission |
| CN105335993B (zh) * | 2014-08-01 | 2018-07-06 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| US9900583B2 (en) * | 2014-12-04 | 2018-02-20 | Futurewei Technologies, Inc. | System and method for generalized view morphing over a multi-camera mesh |
| CN107251099A (zh) | 2015-01-30 | 2017-10-13 | 惠普发展公司，有限责任合伙企业 | 对n维物体的单元格进行索引 |
| US9852539B2 (en) * | 2015-02-26 | 2017-12-26 | Qualcomm Incorporated | Single pass surface splatting |
| KR101651827B1 (ko) * | 2015-02-26 | 2016-08-30 | 한밭대학교 산학협력단 | 파일 및 병렬 처리를 이용한 객체의 복셀화 방법 |
| US10891786B2 (en) | 2016-10-11 | 2021-01-12 | Hewlett-Packard Development Company, L.P. | Generating data for a three-dimensional (3D) printable object, including a truss structure |
| EP3389265A1 (en) * | 2017-04-13 | 2018-10-17 | Ultra-D Coöperatief U.A. | Efficient implementation of joint bilateral filter |
| US20180310025A1 (en) * | 2017-04-24 | 2018-10-25 | Nokia Technologies Oy | Method and technical equipment for encoding media content |
| CN107220925B (zh) * | 2017-05-05 | 2018-10-30 | 珠海全志科技股份有限公司 | 一种实时虚拟现实加速方法及装置 |
| US10692249B2 (en) | 2017-10-12 | 2020-06-23 | Sony Corporation | Octree traversal for anchor point cloud compression |
| US10089796B1 (en) * | 2017-11-01 | 2018-10-02 | Google Llc | High quality layered depth image texture rasterization |
| CA3000134C (en) * | 2017-11-27 | 2019-07-02 | Cae Inc. | Method and system for simulating a radar image |
| WO2019138163A1 (en) * | 2018-01-15 | 2019-07-18 | Nokia Technologies Oy | A method and technical equipment for encoding and decoding volumetric video |
| GB2571307B (en) * | 2018-02-23 | 2020-10-21 | Canon Kk | 3D skeleton reconstruction from images using volumic probability data |
| US11127189B2 (en) * | 2018-02-23 | 2021-09-21 | Canon Kabushiki Kaisha | 3D skeleton reconstruction from images using volumic probability data |
| US10977856B2 (en) * | 2018-03-29 | 2021-04-13 | Microsoft Technology Licensing, Llc | Using a low-detail representation of surfaces to influence a high-detail representation of the surfaces |
| CN108492365B (zh) * | 2018-04-03 | 2021-10-01 | 中国林业科学研究院资源信息研究所 | 一种基于颜色分级的树叶自适应贴图可视化模拟方法 |
| WO2020237001A1 (en) * | 2019-05-21 | 2020-11-26 | Schlumberger Technology Corporation | Geologic model and property visualization system |
| CN110310367A (zh) * | 2019-07-03 | 2019-10-08 | 武汉大势智慧科技有限公司 | 基于大场景实景三维多角度2.5d影像轻量级浏览方法 |
| CN113516751B (zh) * | 2020-03-26 | 2023-06-30 | 网易（杭州）网络有限公司 | 游戏中云的显示方法、装置以及电子终端 |
| CN111627059B (zh) * | 2020-05-28 | 2023-05-30 | 桂林市思奇通信设备有限公司 | 一种棉花叶片中心点位置定位方法 |
| CN111768452B (zh) * | 2020-06-30 | 2023-08-01 | 天津大学 | 一种基于深度学习的非接触式自动贴图方法 |
| CN112238603B (zh) * | 2020-09-15 | 2021-07-27 | 山东大学 | 面向3d打印的堆叠打印生成方法及系统 |
| CN112085826A (zh) * | 2020-09-27 | 2020-12-15 | 广州海格星航信息科技有限公司 | 一种高效的三维空间网格渲染方法及装置 |
| CN113115021B (zh) * | 2021-04-09 | 2023-12-19 | 天海欧康科技信息(厦门)有限公司 | 一种物流三维可视化场景中的相机位动态聚焦方法 |
| CN113379851B (zh) * | 2021-07-16 | 2024-05-24 | 安徽工布智造工业科技有限公司 | 一种用于机器人场景从图像提取三维坐标值的方法 |
| CN116740300B (zh) * | 2023-06-16 | 2024-05-03 | 广东工业大学 | 一种基于多模态的素体与纹理融合家具模型重建方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5557711A (en) * | 1990-10-17 | 1996-09-17 | Hewlett-Packard Company | Apparatus and method for volume rendering |
| DE69621778T2 (de) * | 1995-12-19 | 2003-03-13 | Koninkl Philips Electronics Nv | Tiefenabhängige parallaktische pixelverschiebung |
| KR980010875A (ko) * | 1996-07-23 | 1998-04-30 | 김광호 | 3차원 렌더링 방법 |
| US6310620B1 (en) * | 1998-12-22 | 2001-10-30 | Terarecon, Inc. | Method and apparatus for volume rendering with multiple depth buffers |
-
2001
- 2001-06-29 RU RU2001118222/09A patent/RU2215326C2/ru not_active IP Right Cessation
-
2002
- 2002-04-13 KR KR10-2002-0020241A patent/KR100468848B1/ko not_active IP Right Cessation
- 2002-06-18 US US10/173,434 patent/US6778173B2/en not_active Expired - Fee Related
- 2002-06-26 CA CA002391670A patent/CA2391670C/en not_active Expired - Fee Related
- 2002-06-26 EP EP06122587.6A patent/EP1744282B1/en not_active Expired - Lifetime
- 2002-06-26 EP EP02254451A patent/EP1271411A3/en not_active Withdrawn
- 2002-06-28 CN CNB02125124XA patent/CN1215443C/zh not_active Expired - Fee Related
- 2002-07-01 JP JP2002192460A patent/JP3981302B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CA2391670C (en) | 2006-06-06 |
| EP1271411A2 (en) | 2003-01-02 |
| JP2003077004A (ja) | 2003-03-14 |
| CN1215443C (zh) | 2005-08-17 |
| EP1744282A3 (en) | 2007-02-07 |
| KR20030004017A (ko) | 2003-01-14 |
| EP1744282A2 (en) | 2007-01-17 |
| KR100468848B1 (ko) | 2005-01-29 |
| EP1744282B1 (en) | 2014-11-05 |
| RU2215326C2 (ru) | 2003-10-27 |
| EP1271411A3 (en) | 2005-01-19 |
| US6778173B2 (en) | 2004-08-17 |
| CA2391670A1 (en) | 2002-12-29 |
| US20030052878A1 (en) | 2003-03-20 |
| CN1395221A (zh) | 2003-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3981302B2 (ja) | ３次元の静止した又は動くオブジェクトの階層イメージベース表現並びに該表現をオブジェクトのレンダリングに使用する方法及び装置 | |
| JP3840150B2 (ja) | ３次元客体およびアニメートされた３次元客体のイメージベースの表現とレンダリング方法 | |
| Matusik et al. | Polyhedral visual hulls for real-time rendering | |
| Decoret et al. | Multi‐layered impostors for accelerated rendering | |
| US20050140670A1 (en) | Photogrammetric reconstruction of free-form objects with curvilinear structures | |
| Schirmacher et al. | High-quality interactive lumigraph rendering through warping | |
| Gao et al. | Visualizing aerial LiDAR cities with hierarchical hybrid point-polygon structures | |
| Burkert et al. | A photorealistic predictive display | |
| Waschbüsch et al. | 3d video billboard clouds | |
| Ignatenko et al. | A framework for depth image-based modeling and rendering | |
| Pulli et al. | Surface modeling and display from range and color data | |
| CN114332411A (zh) | 一种三维图形实时网格的生成方法 | |
| Parilov et al. | Layered relief textures | |
| Alj et al. | Space carving mvd sequences for modeling natural 3d scenes | |
| Ivanov et al. | Spatial Patches‐A Primitive for 3D Model Representation | |
| Yaguchi et al. | Arbitrary-view image generation from multiple silhouette images in projective grid space | |
| Peng et al. | A new approach of point-based rendering | |
| WO2023105114A1 (en) | Image-based environment reconstruction | |
| Waschbüsch et al. | Visual recording and replay of rigid objects | |
| Wu et al. | Construction of complex environments from a set of depth images | |
| Besora Vilardaga | Real time city visualization | |
| Porquet et al. | Real-time per-pixel viewpoint interpolation | |
| Hilbert et al. | Real-time Rendering of Dynamic Scenes Using A Hybrid LOD Based Rendering Approach | |
| Grossman et al. | POINT SAMPLE RENDERING by JP Grossman | |
| Abi-Rached et al. | Acquisition and Visualization of Colored 3D Objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050803 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20051102 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20051108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060203 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060802 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061130 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070115 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070119 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070122 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070629 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130706 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |