JP4102091B2 - レンジ画像から勾配の大きさによる画像を判定するための方法 - Google Patents
レンジ画像から勾配の大きさによる画像を判定するための方法 Download PDFInfo
- Publication number
- JP4102091B2 JP4102091B2 JP2002098463A JP2002098463A JP4102091B2 JP 4102091 B2 JP4102091 B2 JP 4102091B2 JP 2002098463 A JP2002098463 A JP 2002098463A JP 2002098463 A JP2002098463 A JP 2002098463A JP 4102091 B2 JP4102091 B2 JP 4102091B2
- Authority
- JP
- Japan
- Prior art keywords
- gradient
- magnitude
- image
- range image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【発明の属する技術分野】
この発明は全般にコンピュータグラフィクスの分野に関し、詳細には、レンジ画像からグラフィクス物体のモデルを生成することに関する。
【0002】
具体的には、この発明は、レンジ画像から直接に物体の形状を判定するための方法に関する。
【0003】
【従来の技術】
1組の位置合わせされたレンジ画像から3D構造を判定するために、研究および産業においていくつかの方法が開発されている。Curlassによる「From range scans to 3D models」(Comp. Graphics, Vol. 33, No.4, 1999)を参照されたい。
【0004】
最近の研究は、ボリュームを用いる方法がスキャナ雑音および位置合わせの不確定性に耐性があり、良好な品質の水密モデルを提供することを示している。Curlass他による「A volumetric method for building complex models from range images」(Proc. SIGGRAPH'96, pp. 303-312, 1996)、Hilton他による「Reliable surface reconstruction from multiple range images」(4th Euro. Conf. Comp. Vis., pp. 117-126, 1996)およびWheelerによる「Automatic modeling and localization for object recognition」(Ph. D. Thesis, Carnegie Mellon University, 1996)を参照されたい。
【0005】
しかしながら、これらの方法の大部分は、解像度が制限され、大きなメモリを必要とし、処理時間が長いという問題を抱える。さらに、これらの方法は、過度の多くの三角形を用いるメッシュモデルを生成する。
【0006】
これらの方法は、位置合わせされた各レンジ画像のためのレンジ表面を構成し、レンジ表面からの符号付の距離で、固定された解像度のボリューム表現を満たす。その方法は、距離値のランレングス符号化、その表面の限られた領域の外側の領域のバイナリ符号化、およびボリュームの3色八分木表現を含む種々の技術を用いて、ボリュームデータを満たし、さらにボリュームデータにアクセスするためにかかる時間を短縮する。多数の走査からの距離値は、順序に無関係の、あるいはインクリメンタルな更新を用いて、確率論的に組み合わせることができる。これらの方法は全て、よく知られているマーチングキューブ技術を用いて、距離ボリュームの等値面の三角形モデルを構築する。Lorensen他による「Marching Cubes: A High Resolution 3D Surface Construction Algorithm」(Proc. SIGGRAPH'87, pp. 163-169, 1987)を参照されたい。
【0007】
3Dレンジ表面を構成し、これらの等値面からの距離を計算することは、計算に関する要件を著しく増加させる。代わりに、2Dレンジ画像から直接に距離フィールドを生成することができたなら、モデル生成時間を著しく短縮することができるであろう。
【0008】
しかしながら、レンジ画像は正確な距離値を提供しない。最も簡単な場合には、レンジ画像は、物体の表面から画像平面に垂直に投影される距離を記録する。投影された距離フィールドは、2つの特別な場合にのみ、すなわち画像平面に厳密に平行な平坦な表面の場合の距離フィールドにわたってのみ、また正確な距離および投影される距離の両方が任意の表面の場合に0である表面においてのみ正確な距離フィールドと同じである。
【0009】
第1の場合以外では、投影される距離フィールドは、その表面から外れた点のための正確な距離フィールドとは異なる。この結果として、異なる視点から投影される距離フィールドが組み合わせられる際にアーティファクトが生じる。
【0010】
Frisken他によって1999年12月4日に出願された「A Method for Estimating Volumetric Distance Maps from 2D depth Images」というタイトルの米国特許出願第09/206,071号に記載される従来技術は、3D投影距離フィールドが、サンプリングされた距離を投影された距離フィールドの局所的な3D勾配の大きさで割ることにより補正されることができることを示した。この結果、その表面付近の正確な距離フィールドの良好な近似が得られ、投影される距離フィールドを組み合わせる際に良好な結果が生成される。しかしながら、サンプリングされた距離値から直接に、投影された距離フィールドの3D勾配を計算することは、それが勾配当たり6つ以上の付加的な距離フィールドの評価を必要とするようになるため、法外なコストがかかるようになる。
【0011】
【発明が解決しようとする課題】
それゆえ、この発明の目的は、3Dボリュームデータではなく、レンジ画像から直接に、補正された距離フィールド勾配を判定することである。
【0012】
【課題を解決するための手段】
この発明は、3Dの勾配の大きさを導出することができる物体のレンジ画像から、2Dの勾配の大きさにより画像を判定するための方法を提供する。そのレンジ画像は画素位置において複数の強度値を含む。その強度値は、その物体の表面までの距離に対応する。
【0013】
本方法は、単位強度値が単位距離値に対応するようにレンジ画像をスケーリングする。その際、レンジ画像内の各画素si,jに対して、本方法は、水平中心差分dxと垂直中心差分dyとを判定する。その後、各画素si,jにおける2Dの勾配の大きさが、(dx2+dy2+4)の平方根の半分に設定される。
【0014】
その際、3Dに投影された距離フィールドの勾配の大きさは、スケーリングされたレンジ画像の位置(x,y)上の点pを垂直に投影し、位置(x,y)付近の対応する2Dの勾配の大きさの画像値からの(x,y)において勾配の大きさを補間し、さらに、点pにおける3Dの勾配の大きさを、(x,y)において補間された2Dの勾配の大きさに設定することにより、3D点pにおいて判定されることができる。
【0015】
【発明の実施の形態】
序論
2Dのレンジ画像から直接に、投影された距離フィールドの3Dの勾配の大きさを判定するための方法を記載する。この発明による方法を用いると、ある物体の3Dの形状を、従来技術のようなレンジ表面ではなく、2Dのレンジ画像から直接に導出することができる。さらに、この発明による方法を用いて、距離ボリュームあるいは3色の八分木ではなく、適応的にサンプリングされる距離フィールド(ADF)を生成し、結果として、メモリおよび距離の計算を著しく節約することができる。
【0016】
この発明は、サンプリングされた距離を局所的な勾配の大きさで割ることにより、3Dに投影された距離フィールドを補正する。この結果、表面付近の正確な距離フィールドの良好な近似が得られ、投影された距離フィールドを組み合わせる際に良好な結果が生成されるようになる。この発明による方法は、予備処理こと中に生成される2Dの勾配の画像から3Dの勾配を導出するので、結果として著しく速く生成できるようになる。
【0017】
いくつかの走査システムのレンジ画像は単純に投影された距離ではないので、レンジ画像は最初にこの形に変換されなければならない。この変換の結果として、走査からの情報のある量の損失が生じるが、この発明の利点は、非常に高速に動作し、それゆえ、データの取得中にインタラクティブに更新できるようにすることを含む。
【0018】
適応的にサンプリングされる距離フィールド
この発明は、ある物体の形状を表すために、適応的にサンプリングされた距離フィールド(ADF)を用いることが好ましい。ここでは、物体の形状は、図1に示されるように、レンジ画像105によって取得される。ADFの基本的なデータ構造は、参照して全体として本明細書に援用される、Frisken他による1999年8月6日出願の「Detail-Directed Distance Fields」というタイトルの米国特許出願第09/370,091号に記載される。
【0019】
ADFは、ある物体の符号付の距離フィールドを適応的にサンプリングし、高速に処理するために、空間的な階層にサンプリング値を格納する。正の符号を有する距離値はその物体の外部にあり、負の距離値は内部にあり、0の距離値はその物体の表面を表す。
【0020】
ADFにおいて動作することができる方法は、Perry他によって2001年3月16日に出願された「System and Method for Generating Adaptively Sampled Distance Fields with Bounded Distance Trees」というタイトルの米国特許出願第09/810,983号、Frisken他によって2001年3月16日に出願された「Conversion of Adaptively Sampled Distance Fields to Triangles」というタイトルの米国特許出願第09/810,839号、Perry他によって2001年3月16日に出願された「System and Method for Modeling Graphics Objects」というタイトルの米国特許出願第09/811,010号およびFrisken他によって2001年3月16日に出願された「System and Method for Converting Range Data to 3D Models」というタイトルの米国特許出願第09/809,682号に記載される。
【0021】
「Adaptively sampled distance fields: a general representation of shape for computer graphics」(Proc. SIGGRAPH'00, pp. 249-254, 2000)においてFrisken他は、2Dの場合でも、ADFが「Automatic modeling and localization for object recognition」(Ph. D. Thesis, Carnegie Mellon University, 1996)においてWheelerによって用いられるような互換性のある3色八分木表現に比べて、20分の1しか距離計算を必要としないことを見いだした。さらに、ADFは、オクルージョンおよびセンサ雑音からの孔および他の表面の特異点を容易に補正することができるように、モデリング用(sculping)インターフェースを介してインタラクティブに編集することができる。Perry他による「Kizamu: A system for sculpting digital characters」(Proc. SIGGRAPH'01, 2001)、およびPerry他により2001年3月16日に出願された「System and Method for Sculpting Digital Models」というタイトルの米国特許出願第09/810,261号を参照されたい。
【0022】
レンジ画像からの2Dの勾配の大きさによる画像
図1は、レンジ画像IR105から2Dの勾配の大きさによる画像IGM125を判定するための方法を示す。こと110では、レンジ画像105の各画素における強度値がスケーリングされ、スケーリングされたレンジ画像IRS115が生成される。スケーリングによって、各画素において正規化された単位強度値が単位距離値を確実に表すようになる。
【0023】
こと120では、スケーリングされたレンジ画像115から勾配の大きさによる画像125が判定される。
【0024】
各画素(i、j)の場合に、この発明による方法は中心差分値
dx = IRS(i+1, j) - IRS(i-1, j)
dy = IRS(i, j+1) - IRS(i, j-1)
と、(i、j)における2Dの勾配の大きさによる画像
IGM(i,j) = 0.5 * sqrt(dx2 + dy2 + 4).
とを判定する。
【0025】
3Dに投影された距離フィールドの勾配の大きさ
図2は、スケーリングされたレンジ画像115と、勾配の大きさによる画像125とから、3D点p130における勾配140の大きさを判定するための方法を示す。最初に、スケーリングされたレンジ画像115上へのp130の垂直な投影(x,y)が判定される。次に、(x,y)における勾配の大きさが、位置(x,y)付近の2Dの勾配の大きさによる画像125の対応する値から補間される。双一次補間(bilinear interpolation)のような任意の知られている従来技術による補間方法を用いることができる。最後に、p130における勾配の大きさ140が、(x,y)において補間された勾配の大きさに設定される。
【0026】
この発明は特定の用語および例を用いて記載される。種々の他の適合形態および変更形態が、この発明の精神および特許請求の範囲内で行われる場合があることは理解されたい。それゆえ、併記の特許請求の範囲の目的は、この発明の真の精神および範囲内に入るような全てのそのような変形形態および変更形態を網羅することである。
【図面の簡単な説明】
【図1】 この発明による2Dの勾配の大きさによる画像を判定するための方法のブロック図である。
【図2】 3Dに投影される距離フィールドの勾配の大きさを判定するための方法のブロック図である。
Claims (2)
- レンジ画像から勾配の大きさによる画像を判定するための方法であって、前記レンジ画像は各画素位置において複数の強度値を含み、
各画素(i、j)に対して、水平中心差分dxおよび垂直中心差分dyを判定することと、
勾配の大きさによる画像IGM内の前記各画素(i、j)における2Dの勾配の大きさを、0.5*sqrt(dx2+dy2+4)に設定することと、
前記レンジ画像をスケーリングし、スケーリングされたレンジ画像を生成することと、
3D点pを選択することと、
前記スケーリングされたレンジ画像と、前記勾配の大きさによる画像I GM とから、点pにおける勾配の大きさを判定することとを含み、
前記各画素における単位強度値は、単位距離値に対応し、
前記勾配の大きさを判定することは、
位置(x,y)を判定するために、前記スケーリングされたレンジ画像上に点pを垂直に投影することと、
前記位置(x,y)付近の対応する2Dの勾配の大きさによる画像値から、前記位置(x,y)における勾配の大きさを補間することと、
前記点pにおける前記勾配の大きさを、前記位置(x,y)において前記補間される勾配の大きさに設定することとを含む方法。 - レンジ画像から勾配の大きさによる画像を判定するための方法であって、前記レンジ画像は各画素位置において複数の強度値を含み、
各画素(i、j)に対して、水平中心差分dxおよび垂直中心差分dyを判定することと、
勾配の大きさによる画像IGM内の前記各画素(i、j)における2Dの勾配の大きさを、0.5*sqrt(dx2+dy2+4)に設定することと、
前記レンジ画像をスケーリングし、スケーリングされたレンジ画像を生成することと、
3D点pにおける補正された投影距離を判定するために、
前記スケーリングされたレンジ画像から前記点pにおいて投影された距離を判定することと、
前記スケーリングされたレンジ画像と、前記勾配の大きさによる画像(I GM )とから前記点pにおける勾配の大きさを判定することとを含み、
前記各画素における単位強度値は単位距離値に対応し、
前記勾配の大きさを判定することは、
位置(x,y)を判定するために、前記スケーリングされたレンジ画像上に点pを垂直に投影することと、
前記位置(x,y)付近の対応する2Dの勾配の大きさによる画像から、前記位置(x,y)における勾配の大きさを補間することと、
前記点pにおける前記勾配の大きさを、前記位置(x,y)において補間される前記勾配の大きさに設定することと、
前記点pにおいて補正された投影距離を、前記点pにおいて投影された距離を前記点pにおける前記勾配の大きさで割った値に設定することとを含む方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/829,187 US6836562B2 (en) | 2001-04-09 | 2001-04-09 | Method for determining the shape of objects directly from range images |
US09/829187 | 2001-04-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003030625A JP2003030625A (ja) | 2003-01-31 |
JP4102091B2 true JP4102091B2 (ja) | 2008-06-18 |
Family
ID=25253779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002098463A Expired - Lifetime JP4102091B2 (ja) | 2001-04-09 | 2002-04-01 | レンジ画像から勾配の大きさによる画像を判定するための方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6836562B2 (ja) |
JP (1) | JP4102091B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6963671B2 (en) * | 2002-04-17 | 2005-11-08 | Mitsubishi Electric Research Labs, Inc. | Method for determining distances to a surface from a range image |
JP4686762B2 (ja) * | 2005-06-07 | 2011-05-25 | 独立行政法人産業技術総合研究所 | 三次元形状の位置あわせ方法及びプログラム |
US7653258B2 (en) * | 2007-04-17 | 2010-01-26 | Saudi Arabian Oil Company | Enhanced isotropic 2D and 3D gradient method |
CN104330066B (zh) * | 2014-10-21 | 2017-02-01 | 陕西科技大学 | 一种基于Freeman链码检测的不规则物体体积测量方法 |
CN104848917B (zh) * | 2015-04-20 | 2017-11-10 | 大连理工大学 | 一种用于玻璃水槽内水位分析的图像测量方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5224208A (en) * | 1990-03-16 | 1993-06-29 | Hewlett-Packard Company | Gradient calculation for texture mapping |
JP2919284B2 (ja) * | 1994-02-23 | 1999-07-12 | 松下電工株式会社 | 物体認識方法 |
US5548694A (en) * | 1995-01-31 | 1996-08-20 | Mitsubishi Electric Information Technology Center America, Inc. | Collision avoidance system for voxel-based object representation |
US6184887B1 (en) * | 1998-03-30 | 2001-02-06 | Oak Technology, Inc. | Method and apparatus for clamping image gradients |
US6469700B1 (en) * | 1998-06-24 | 2002-10-22 | Micron Technology, Inc. | Per pixel MIP mapping and trilinear filtering using scanline gradients for selecting appropriate texture maps |
US6262738B1 (en) * | 1998-12-04 | 2001-07-17 | Sarah F. F. Gibson | Method for estimating volumetric distance maps from 2D depth images |
US6396492B1 (en) * | 1999-08-06 | 2002-05-28 | Mitsubishi Electric Research Laboratories, Inc | Detail-directed hierarchical distance fields |
US6891535B2 (en) * | 2001-03-16 | 2005-05-10 | Mitsubishi Electric Research Labs, Inc. | System and method for modeling graphics objects |
US7034818B2 (en) * | 2001-03-16 | 2006-04-25 | Mitsubishi Electric Research Laboratories, Inc. | System and method for converting range data to 3D models |
US6943789B2 (en) * | 2001-03-16 | 2005-09-13 | Mitsubishi Electric Research Labs, Inc | Conversion of adaptively sampled distance fields to triangles |
US6724393B2 (en) * | 2001-03-16 | 2004-04-20 | Mitsubishi Electric Research Labs, Inc. | System and method for sculpting digital models |
US7002570B2 (en) * | 2001-03-16 | 2006-02-21 | Mitsubishi Electric Research Laboratories, Inc. | System and method for generating adaptively sampled distance fields with bounded distance trees |
-
2001
- 2001-04-09 US US09/829,187 patent/US6836562B2/en not_active Expired - Lifetime
-
2002
- 2002-04-01 JP JP2002098463A patent/JP4102091B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003030625A (ja) | 2003-01-31 |
US20020146163A1 (en) | 2002-10-10 |
US6836562B2 (en) | 2004-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1744282B1 (en) | Hierarchical image-based representation of animated three-dimensional object and method for using this representation for the object rendering | |
Pulli et al. | Surface reconstruction and display from range and color data | |
US6262738B1 (en) | Method for estimating volumetric distance maps from 2D depth images | |
US6278460B1 (en) | Creating a three-dimensional model from two-dimensional images | |
JP3840150B2 (ja) | 3次元客体およびアニメートされた3次元客体のイメージベースの表現とレンダリング方法 | |
EP0638875B1 (en) | A 3-dimensional animation generating apparatus and a method for generating a 3-dimensional animation | |
US20030197806A1 (en) | Single lens 3D camera | |
US20030197698A1 (en) | Enhancing textured range images using a 2D editor | |
EP1445736B1 (en) | Method and system for providing a volumetric representation of a three-dimensional object | |
US20030198404A1 (en) | Method for determining distances to a surface from a range image | |
Lin et al. | Vision system for fast 3-D model reconstruction | |
US6792205B2 (en) | Method for generating a textured range image | |
Hilton et al. | From 3D Shape Capture to Animated Models. | |
JP4102091B2 (ja) | レンジ画像から勾配の大きさによる画像を判定するための方法 | |
US5821942A (en) | Ray tracing through an ordered array | |
Meerits | Real-time 3D reconstruction of dynamic scenes using moving least squares | |
Song et al. | A robust and accurate method for visual hull computation | |
US20230186500A1 (en) | Image-based environment reconstruction | |
Zhang et al. | Range image registration via probability field | |
Smith et al. | Layered animation using displacement maps | |
Kim et al. | Multiresolution model generation with geometry and texture | |
Lysykh et al. | Parametric scene model for geometry restoration using differential rendering method | |
Lin et al. | Complete 3D model reconstruction from multiple views | |
Meehan et al. | Depth quantization for polygonal consolidation from range data | |
Cotting | COMBINING POLYHEDRAL VISUAL HULLS AND STEREO FOR REAL-TIME RECONSTRUCTION OF DYNAMIC SCENES |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080321 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4102091 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140328 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |