JP4102091B2 - レンジ画像から勾配の大きさによる画像を判定するための方法 - Google Patents

レンジ画像から勾配の大きさによる画像を判定するための方法 Download PDF

Info

Publication number
JP4102091B2
JP4102091B2 JP2002098463A JP2002098463A JP4102091B2 JP 4102091 B2 JP4102091 B2 JP 4102091B2 JP 2002098463 A JP2002098463 A JP 2002098463A JP 2002098463 A JP2002098463 A JP 2002098463A JP 4102091 B2 JP4102091 B2 JP 4102091B2
Authority
JP
Japan
Prior art keywords
gradient
magnitude
image
range image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002098463A
Other languages
English (en)
Other versions
JP2003030625A (ja
Inventor
サラ・エフ・フリスケン
ロナルド・エヌ・ペリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2003030625A publication Critical patent/JP2003030625A/ja
Application granted granted Critical
Publication of JP4102091B2 publication Critical patent/JP4102091B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は全般にコンピュータグラフィクスの分野に関し、詳細には、レンジ画像からグラフィクス物体のモデルを生成することに関する。
【0002】
具体的には、この発明は、レンジ画像から直接に物体の形状を判定するための方法に関する。
【0003】
【従来の技術】
1組の位置合わせされたレンジ画像から3D構造を判定するために、研究および産業においていくつかの方法が開発されている。Curlassによる「From range scans to 3D models」(Comp. Graphics, Vol. 33, No.4, 1999)を参照されたい。
【0004】
最近の研究は、ボリュームを用いる方法がスキャナ雑音および位置合わせの不確定性に耐性があり、良好な品質の水密モデルを提供することを示している。Curlass他による「A volumetric method for building complex models from range images」(Proc. SIGGRAPH'96, pp. 303-312, 1996)、Hilton他による「Reliable surface reconstruction from multiple range images」(4th Euro. Conf. Comp. Vis., pp. 117-126, 1996)およびWheelerによる「Automatic modeling and localization for object recognition」(Ph. D. Thesis, Carnegie Mellon University, 1996)を参照されたい。
【0005】
しかしながら、これらの方法の大部分は、解像度が制限され、大きなメモリを必要とし、処理時間が長いという問題を抱える。さらに、これらの方法は、過度の多くの三角形を用いるメッシュモデルを生成する。
【0006】
これらの方法は、位置合わせされた各レンジ画像のためのレンジ表面を構成し、レンジ表面からの符号付の距離で、固定された解像度のボリューム表現を満たす。その方法は、距離値のランレングス符号化、その表面の限られた領域の外側の領域のバイナリ符号化、およびボリュームの3色八分木表現を含む種々の技術を用いて、ボリュームデータを満たし、さらにボリュームデータにアクセスするためにかかる時間を短縮する。多数の走査からの距離値は、順序に無関係の、あるいはインクリメンタルな更新を用いて、確率論的に組み合わせることができる。これらの方法は全て、よく知られているマーチングキューブ技術を用いて、距離ボリュームの等値面の三角形モデルを構築する。Lorensen他による「Marching Cubes: A High Resolution 3D Surface Construction Algorithm」(Proc. SIGGRAPH'87, pp. 163-169, 1987)を参照されたい。
【0007】
3Dレンジ表面を構成し、これらの等値面からの距離を計算することは、計算に関する要件を著しく増加させる。代わりに、2Dレンジ画像から直接に距離フィールドを生成することができたなら、モデル生成時間を著しく短縮することができるであろう。
【0008】
しかしながら、レンジ画像は正確な距離値を提供しない。最も簡単な場合には、レンジ画像は、物体の表面から画像平面に垂直に投影される距離を記録する。投影された距離フィールドは、2つの特別な場合にのみ、すなわち画像平面に厳密に平行な平坦な表面の場合の距離フィールドにわたってのみ、また正確な距離および投影される距離の両方が任意の表面の場合に0である表面においてのみ正確な距離フィールドと同じである。
【0009】
第1の場合以外では、投影される距離フィールドは、その表面から外れた点のための正確な距離フィールドとは異なる。この結果として、異なる視点から投影される距離フィールドが組み合わせられる際にアーティファクトが生じる。
【0010】
Frisken他によって1999年12月4日に出願された「A Method for Estimating Volumetric Distance Maps from 2D depth Images」というタイトルの米国特許出願第09/206,071号に記載される従来技術は、3D投影距離フィールドが、サンプリングされた距離を投影された距離フィールドの局所的な3D勾配の大きさで割ることにより補正されることができることを示した。この結果、その表面付近の正確な距離フィールドの良好な近似が得られ、投影される距離フィールドを組み合わせる際に良好な結果が生成される。しかしながら、サンプリングされた距離値から直接に、投影された距離フィールドの3D勾配を計算することは、それが勾配当たり6つ以上の付加的な距離フィールドの評価を必要とするようになるため、法外なコストがかかるようになる。
【0011】
【発明が解決しようとする課題】
それゆえ、この発明の目的は、3Dボリュームデータではなく、レンジ画像から直接に、補正された距離フィールド勾配を判定することである。
【0012】
【課題を解決するための手段】
この発明は、3Dの勾配の大きさを導出することができる物体のレンジ画像から、2Dの勾配の大きさにより画像を判定するための方法を提供する。そのレンジ画像は画素位置において複数の強度値を含む。その強度値は、その物体の表面までの距離に対応する。
【0013】
本方法は、単位強度値が単位距離値に対応するようにレンジ画像をスケーリングする。その際、レンジ画像内の各画素si,jに対して、本方法は、水平中心差分dxと垂直中心差分dyとを判定する。その後、各画素si,jにおける2Dの勾配の大きさが、(dx+dy+4)の平方根の半分に設定される。
【0014】
その際、3Dに投影された距離フィールドの勾配の大きさは、スケーリングされたレンジ画像の位置(x,y)上の点pを垂直に投影し、位置(x,y)付近の対応する2Dの勾配の大きさの画像値からの(x,y)において勾配の大きさを補間し、さらに、点pにおける3Dの勾配の大きさを、(x,y)において補間された2Dの勾配の大きさに設定することにより、3D点pにおいて判定されることができる。
【0015】
【発明の実施の形態】
序論
2Dのレンジ画像から直接に、投影された距離フィールドの3Dの勾配の大きさを判定するための方法を記載する。この発明による方法を用いると、ある物体の3Dの形状を、従来技術のようなレンジ表面ではなく、2Dのレンジ画像から直接に導出することができる。さらに、この発明による方法を用いて、距離ボリュームあるいは3色の八分木ではなく、適応的にサンプリングされる距離フィールド(ADF)を生成し、結果として、メモリおよび距離の計算を著しく節約することができる。
【0016】
この発明は、サンプリングされた距離を局所的な勾配の大きさで割ることにより、3Dに投影された距離フィールドを補正する。この結果、表面付近の正確な距離フィールドの良好な近似が得られ、投影された距離フィールドを組み合わせる際に良好な結果が生成されるようになる。この発明による方法は、予備処理こと中に生成される2Dの勾配の画像から3Dの勾配を導出するので、結果として著しく速く生成できるようになる。
【0017】
いくつかの走査システムのレンジ画像は単純に投影された距離ではないので、レンジ画像は最初にこの形に変換されなければならない。この変換の結果として、走査からの情報のある量の損失が生じるが、この発明の利点は、非常に高速に動作し、それゆえ、データの取得中にインタラクティブに更新できるようにすることを含む。
【0018】
適応的にサンプリングされる距離フィールド
この発明は、ある物体の形状を表すために、適応的にサンプリングされた距離フィールド(ADF)を用いることが好ましい。ここでは、物体の形状は、図1に示されるように、レンジ画像105によって取得される。ADFの基本的なデータ構造は、参照して全体として本明細書に援用される、Frisken他による1999年8月6日出願の「Detail-Directed Distance Fields」というタイトルの米国特許出願第09/370,091号に記載される。
【0019】
ADFは、ある物体の符号付の距離フィールドを適応的にサンプリングし、高速に処理するために、空間的な階層にサンプリング値を格納する。正の符号を有する距離値はその物体の外部にあり、負の距離値は内部にあり、0の距離値はその物体の表面を表す。
【0020】
ADFにおいて動作することができる方法は、Perry他によって2001年3月16日に出願された「System and Method for Generating Adaptively Sampled Distance Fields with Bounded Distance Trees」というタイトルの米国特許出願第09/810,983号、Frisken他によって2001年3月16日に出願された「Conversion of Adaptively Sampled Distance Fields to Triangles」というタイトルの米国特許出願第09/810,839号、Perry他によって2001年3月16日に出願された「System and Method for Modeling Graphics Objects」というタイトルの米国特許出願第09/811,010号およびFrisken他によって2001年3月16日に出願された「System and Method for Converting Range Data to 3D Models」というタイトルの米国特許出願第09/809,682号に記載される。
【0021】
「Adaptively sampled distance fields: a general representation of shape for computer graphics」(Proc. SIGGRAPH'00, pp. 249-254, 2000)においてFrisken他は、2Dの場合でも、ADFが「Automatic modeling and localization for object recognition」(Ph. D. Thesis, Carnegie Mellon University, 1996)においてWheelerによって用いられるような互換性のある3色八分木表現に比べて、20分の1しか距離計算を必要としないことを見いだした。さらに、ADFは、オクルージョンおよびセンサ雑音からの孔および他の表面の特異点を容易に補正することができるように、モデリング用(sculping)インターフェースを介してインタラクティブに編集することができる。Perry他による「Kizamu: A system for sculpting digital characters」(Proc. SIGGRAPH'01, 2001)、およびPerry他により2001年3月16日に出願された「System and Method for Sculpting Digital Models」というタイトルの米国特許出願第09/810,261号を参照されたい。
【0022】
レンジ画像からの2Dの勾配の大きさによる画像
図1は、レンジ画像I105から2Dの勾配の大きさによる画像IGM125を判定するための方法を示す。こと110では、レンジ画像105の各画素における強度値がスケーリングされ、スケーリングされたレンジ画像IRS115が生成される。スケーリングによって、各画素において正規化された単位強度値が単位距離値を確実に表すようになる。
【0023】
こと120では、スケーリングされたレンジ画像115から勾配の大きさによる画像125が判定される。
【0024】
各画素(i、j)の場合に、この発明による方法は中心差分値
dx = IRS(i+1, j) - IRS(i-1, j)
dy = IRS(i, j+1) - IRS(i, j-1)
と、(i、j)における2Dの勾配の大きさによる画像
GM(i,j) = 0.5 * sqrt(dx2 + dy2 + 4).
とを判定する。
【0025】
3Dに投影された距離フィールドの勾配の大きさ
図2は、スケーリングされたレンジ画像115と、勾配の大きさによる画像125とから、3D点p130における勾配140の大きさを判定するための方法を示す。最初に、スケーリングされたレンジ画像115上へのp130の垂直な投影(x,y)が判定される。次に、(x,y)における勾配の大きさが、位置(x,y)付近の2Dの勾配の大きさによる画像125の対応する値から補間される。双一次補間(bilinear interpolation)のような任意の知られている従来技術による補間方法を用いることができる。最後に、p130における勾配の大きさ140が、(x,y)において補間された勾配の大きさに設定される。
【0026】
この発明は特定の用語および例を用いて記載される。種々の他の適合形態および変更形態が、この発明の精神および特許請求の範囲内で行われる場合があることは理解されたい。それゆえ、併記の特許請求の範囲の目的は、この発明の真の精神および範囲内に入るような全てのそのような変形形態および変更形態を網羅することである。
【図面の簡単な説明】
【図1】 この発明による2Dの勾配の大きさによる画像を判定するための方法のブロック図である。
【図2】 3Dに投影される距離フィールドの勾配の大きさを判定するための方法のブロック図である。

Claims (2)

  1. レンジ画像から勾配の大きさによる画像を判定するための方法であって、前記レンジ画像は各画素位置において複数の強度値を含み、
    各画素(i、j)に対して、水平中心差分dxおよび垂直中心差分dyを判定することと、
    勾配の大きさによる画像IGM内の前記各画素(i、j)における2Dの勾配の大きさを、0.5*sqrt(dx+dy+4)に設定することと、
    前記レンジ画像をスケーリングし、スケーリングされたレンジ画像を生成することと、
    3D点pを選択することと、
    前記スケーリングされたレンジ画像と、前記勾配の大きさによる画像I GM とから、点pにおける勾配の大きさを判定することとを含み、
    前記各画素における単位強度値は、単位距離値に対応し、
    前記勾配の大きさを判定することは、
    位置(x,y)を判定するために、前記スケーリングされたレンジ画像上に点pを垂直に投影することと、
    前記位置(x,y)付近の対応する2Dの勾配の大きさによる画像値から、前記位置(x,y)における勾配の大きさを補間することと、
    前記点pにおける前記勾配の大きさを、前記位置(x,y)において前記補間される勾配の大きさに設定することとを含む方法。
  2. レンジ画像から勾配の大きさによる画像を判定するための方法であって、前記レンジ画像は各画素位置において複数の強度値を含み、
    各画素(i、j)に対して、水平中心差分dxおよび垂直中心差分dyを判定することと、
    勾配の大きさによる画像IGM内の前記各画素(i、j)における2Dの勾配の大きさを、0.5*sqrt(dx+dy+4)に設定することと、
    前記レンジ画像をスケーリングし、スケーリングされたレンジ画像を生成することと、
    3D点pにおける補正された投影距離を判定するために、
    前記スケーリングされたレンジ画像から前記点pにおいて投影された距離を判定することと、
    前記スケーリングされたレンジ画像と、前記勾配の大きさによる画像(I GM )とから前記点pにおける勾配の大きさを判定することとを含み、
    前記各画素における単位強度値は単位距離値に対応し、
    前記勾配の大きさを判定することは、
    位置(x,y)を判定するために、前記スケーリングされたレンジ画像上に点pを垂直に投影することと、
    前記位置(x,y)付近の対応する2Dの勾配の大きさによる画像から、前記位置(x,y)における勾配の大きさを補間することと、
    前記点pにおける前記勾配の大きさを、前記位置(x,y)において補間される前記勾配の大きさに設定することと、
    前記点pにおいて補正された投影距離を、前記点pにおいて投影された距離を前記点pにおける前記勾配の大きさで割った値に設定することとを含む方法。
JP2002098463A 2001-04-09 2002-04-01 レンジ画像から勾配の大きさによる画像を判定するための方法 Expired - Lifetime JP4102091B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/829,187 US6836562B2 (en) 2001-04-09 2001-04-09 Method for determining the shape of objects directly from range images
US09/829187 2001-04-09

Publications (2)

Publication Number Publication Date
JP2003030625A JP2003030625A (ja) 2003-01-31
JP4102091B2 true JP4102091B2 (ja) 2008-06-18

Family

ID=25253779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002098463A Expired - Lifetime JP4102091B2 (ja) 2001-04-09 2002-04-01 レンジ画像から勾配の大きさによる画像を判定するための方法

Country Status (2)

Country Link
US (1) US6836562B2 (ja)
JP (1) JP4102091B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963671B2 (en) * 2002-04-17 2005-11-08 Mitsubishi Electric Research Labs, Inc. Method for determining distances to a surface from a range image
JP4686762B2 (ja) * 2005-06-07 2011-05-25 独立行政法人産業技術総合研究所 三次元形状の位置あわせ方法及びプログラム
US7653258B2 (en) * 2007-04-17 2010-01-26 Saudi Arabian Oil Company Enhanced isotropic 2D and 3D gradient method
CN104330066B (zh) * 2014-10-21 2017-02-01 陕西科技大学 一种基于Freeman链码检测的不规则物体体积测量方法
CN104848917B (zh) * 2015-04-20 2017-11-10 大连理工大学 一种用于玻璃水槽内水位分析的图像测量方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5224208A (en) * 1990-03-16 1993-06-29 Hewlett-Packard Company Gradient calculation for texture mapping
JP2919284B2 (ja) * 1994-02-23 1999-07-12 松下電工株式会社 物体認識方法
US5548694A (en) * 1995-01-31 1996-08-20 Mitsubishi Electric Information Technology Center America, Inc. Collision avoidance system for voxel-based object representation
US6184887B1 (en) * 1998-03-30 2001-02-06 Oak Technology, Inc. Method and apparatus for clamping image gradients
US6469700B1 (en) * 1998-06-24 2002-10-22 Micron Technology, Inc. Per pixel MIP mapping and trilinear filtering using scanline gradients for selecting appropriate texture maps
US6262738B1 (en) * 1998-12-04 2001-07-17 Sarah F. F. Gibson Method for estimating volumetric distance maps from 2D depth images
US6396492B1 (en) * 1999-08-06 2002-05-28 Mitsubishi Electric Research Laboratories, Inc Detail-directed hierarchical distance fields
US6891535B2 (en) * 2001-03-16 2005-05-10 Mitsubishi Electric Research Labs, Inc. System and method for modeling graphics objects
US7034818B2 (en) * 2001-03-16 2006-04-25 Mitsubishi Electric Research Laboratories, Inc. System and method for converting range data to 3D models
US6943789B2 (en) * 2001-03-16 2005-09-13 Mitsubishi Electric Research Labs, Inc Conversion of adaptively sampled distance fields to triangles
US6724393B2 (en) * 2001-03-16 2004-04-20 Mitsubishi Electric Research Labs, Inc. System and method for sculpting digital models
US7002570B2 (en) * 2001-03-16 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. System and method for generating adaptively sampled distance fields with bounded distance trees

Also Published As

Publication number Publication date
JP2003030625A (ja) 2003-01-31
US20020146163A1 (en) 2002-10-10
US6836562B2 (en) 2004-12-28

Similar Documents

Publication Publication Date Title
EP1744282B1 (en) Hierarchical image-based representation of animated three-dimensional object and method for using this representation for the object rendering
Pulli et al. Surface reconstruction and display from range and color data
US6262738B1 (en) Method for estimating volumetric distance maps from 2D depth images
US6278460B1 (en) Creating a three-dimensional model from two-dimensional images
JP3840150B2 (ja) 3次元客体およびアニメートされた3次元客体のイメージベースの表現とレンダリング方法
EP0638875B1 (en) A 3-dimensional animation generating apparatus and a method for generating a 3-dimensional animation
US20030197806A1 (en) Single lens 3D camera
US20030197698A1 (en) Enhancing textured range images using a 2D editor
EP1445736B1 (en) Method and system for providing a volumetric representation of a three-dimensional object
US20030198404A1 (en) Method for determining distances to a surface from a range image
Lin et al. Vision system for fast 3-D model reconstruction
US6792205B2 (en) Method for generating a textured range image
Hilton et al. From 3D Shape Capture to Animated Models.
JP4102091B2 (ja) レンジ画像から勾配の大きさによる画像を判定するための方法
US5821942A (en) Ray tracing through an ordered array
Meerits Real-time 3D reconstruction of dynamic scenes using moving least squares
Song et al. A robust and accurate method for visual hull computation
US20230186500A1 (en) Image-based environment reconstruction
Zhang et al. Range image registration via probability field
Smith et al. Layered animation using displacement maps
Kim et al. Multiresolution model generation with geometry and texture
Lysykh et al. Parametric scene model for geometry restoration using differential rendering method
Lin et al. Complete 3D model reconstruction from multiple views
Meehan et al. Depth quantization for polygonal consolidation from range data
Cotting COMBINING POLYHEDRAL VISUAL HULLS AND STEREO FOR REAL-TIME RECONSTRUCTION OF DYNAMIC SCENES

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4102091

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140328

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term