KR19980014140A - Method of restoring shape by estimating surface reflection property of object - Google Patents

Method of restoring shape by estimating surface reflection property of object Download PDF

Info

Publication number
KR19980014140A
KR19980014140A KR1019960032994A KR19960032994A KR19980014140A KR 19980014140 A KR19980014140 A KR 19980014140A KR 1019960032994 A KR1019960032994 A KR 1019960032994A KR 19960032994 A KR19960032994 A KR 19960032994A KR 19980014140 A KR19980014140 A KR 19980014140A
Authority
KR
South Korea
Prior art keywords
reflection characteristic
reflection
reference image
dimensional shape
sample
Prior art date
Application number
KR1019960032994A
Other languages
Korean (ko)
Other versions
KR100235254B1 (en
Inventor
김태은
류석현
최종수
Original Assignee
김태은
류석현
최종수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김태은, 류석현, 최종수 filed Critical 김태은
Priority to KR1019960032994A priority Critical patent/KR100235254B1/en
Publication of KR19980014140A publication Critical patent/KR19980014140A/en
Application granted granted Critical
Publication of KR100235254B1 publication Critical patent/KR100235254B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 혼성반사면의 반사특성을 추정하고 3차원 형상복원을 위하여 표본구를 이용하는 새로운 형상복원방법을 제시한다. 혼성반사면을 가지는 실제 물체에 대해 단일 재질로 구성된 표본구의 각 영역에 대하여 최소 평균자승법을 사용하여 반사특성을 추정할 수 있다. 또한, 강전반사 성분과 광휘점을 줄이기 위하여 판상 확산기를 이용한 확산조명 방법을 도입하였으며, 판상확산 조명하에서 추정된 반사특성 파라미터를 사용하여 밝기값과 면 법선으로 이루어진 참조영상을 생성할 수 있다. 본 발명에 따른 측광정합을 이용한 새로운 형상복원방법은 참조영상과 실제 영상의 정합에 의하여 전반사 성분이 강한 물체에 대해서도 3차원 형상복원이 가능하므로 종래의 측광입체시법에 비하여 훨씬 강건한 방법이다.The present invention proposes a new shape restoration method that estimates the reflection characteristics of a hybrid reflecting surface and uses a sample sphere to reconstruct a three-dimensional shape. The reflection characteristic can be estimated by using a least mean square method for each region of a sample composed of a single material with respect to an actual object having a hybrid reflection surface. In addition, a diffuse illumination method using a plate diffuser is introduced to reduce strong reflection components and brightness spots, and a reference image composed of brightness values and plane normals can be generated using the reflection characteristic parameters estimated under plate diffusion illumination. The new shape restoration method using the photometric matching according to the present invention is a more robust method than the conventional photometric stereoscopic method because it is possible to restore a three-dimensional shape even for an object having a strong total reflection component by matching a reference image with an actual image.

Description

물체의 면반사특성 추정의 의한 형상복원방법Method of restoring shape by estimating surface reflection property of object

제1도는 본 발명에 의한 형상복원방법의 흐름도,FIG. 1 is a flow chart of a shape restoration method according to the present invention,

제2도는 트랜스-스패로(Torrance-Sparrow) 모델의 기하학적 모델을 보인 도면,Figure 2 shows a geometric model of the Torrance-Sparrow model,

제3도는 미소평면의 단면모델,Figure 3 shows a cross-sectional model of a microplane,

제4도는 본 발명에서 사용되는 판상 확산조명의 개략도,FIG. 4 is a schematic view of a plate-type diffusion illumination used in the present invention,

제5도는 본 발명에 의한 방법에서 반사특성 추정을 위한 최소평균자승 방법을 보여주는 도면,FIG. 5 is a diagram illustrating a minimum mean square method for estimating a reflection characteristic in the method according to the present invention;

제6도는 본 발명에서 참조연상과 정합에 의한 형상복원방법을 도식적으로 보여주는 도면,FIG. 6 is a diagram schematically showing a method of restoring a shape by reference mapping and matching in the present invention,

제7도는 종래의 측광입체시법과 본 발명에 의한 측광접합법에 의하여 형상복원된 면을 보여주는 도면.FIG. 7 is a view showing a surface reconstructed by the conventional photometric stereoscopic method and the photometric splicing method according to the present invention; FIG.

본 발명은 밝기 영상으로부터 물체의 반사특성을 해석하고 반사특성 파라미터를 추정하여 물체의 3차원 형상을 복원하는 방법에 관한 것이다.The present invention relates to a method for analyzing a reflection characteristic of an object from a brightness image and estimating a reflection characteristic parameter to restore a three-dimensional shape of the object.

물체의 3차원 형상 정보의 획득 및 인식은 컴퓨터 시각 연구에 있어서 가장 중요한 연구과제 중 하나이다. 특히, 물체의 반사특성으로부터 물체의 3차원 형상을 복원하는 방법(Shape From Shading, SFS)은 중간 단계 컴퓨터의 시각 연구에서 매우 중요한 분야이다. 종래의 상기한 SFS 연구에서의 주된 관심사는 난반사 성분이 지배적인 람버션면에 한정되었다. 그러나 실제 자연계의 물체는 난반사 뿐만 아니라 전반사성분이 함께 존재하는 혼성 반사의 특성을 갖는다. 혼성반사면은 물체표면의 밝기 분포가 고르지 않기 때문에 종래의 방법으로는 정확한 형상을 복원할 수 없고 반사특성을 알아내어야 한다. 이를 위하여 밝기 영상과 거리 영상을 융합하여 반사특성을 검출하려는 방법이 제안되었으나, 이는 형상복원을 위한 것이 아니고 반사 특성 자체를 검출하려는데 목적이 있는 것이었다. 또한, 다중 광원을 이용하여 전반사 성분이 발생하는 부분을 제외시키는 방법도 제안되었는데 이 방법 역시 반사특성을 알고 있어야 하는 단점이 있었다.Obtaining and recognizing 3D shape information of an object is one of the most important research tasks in computer vision research. Particularly, Shape From Shading (SFS) is a very important field in visual research of middle - level computer. The main concern in the conventional SFS research described above was confined to the phosphorus dominant surface. However, the object of the natural world has the characteristic of hybrid reflection in which not only the diffuse reflection but also the total reflection component exist together. Since the hybrid reflection surface has uneven brightness distribution on the surface of the object, it is impossible to restore the accurate shape by the conventional method, and the reflection characteristic must be obtained. For this purpose, a method of detecting the reflection characteristic by fusion of the brightness image and the distance image has been proposed. However, this is not for restoring the shape but for detecting the reflection characteristic itself. Also, a method of excluding a portion where the total reflection component is generated by using multiple light sources has been proposed, and this method also has a drawback in that the reflection characteristic must be known.

본 발명은 상기한 바와 같은 종래 기술의 단점을 해결하기 위한 것으로서, 본 발명에서는 표본구를 이용하여 물체의 반사특성을 추정하고 이를 통하여 물체의 3차원 형상을 복원하는 방법을 제공하는데 있다.SUMMARY OF THE INVENTION The present invention provides a method for estimating a reflection characteristic of an object using a specimen and reconstructing a three-dimensional shape of the object through the specimen.

상기한 바와 같은 목적을 달성하기 위하여 본 발명은 물체의 면반사특성으로부터 3차원 형상을 복원하는 방법에 있어서, 표본구를 사용하여 토랜스-스패로 모델의 반사특성 파라미터를 추정하는 제1단계; 상기 제1단계에서 추정된 반사특성 파라미터를 이용하여 서로 다른 세 위치의 광원에서 면법선 성분과 밝기 값으로 이루어진 참조영상을 만드는 제2단계; 및 상기 제2단계에서 만들어진 참조영상과 동일한 재질의 임의의 형상의 물체로부터 주변 화소의 분포를 고려하여 밝기값을 매칭함에 의하여 물체의 3차원 형상을 복원하는 제3단계를 포함하는 것임을 특징으로 하는 물체의 면반사 특성으로부터 3차원 형상을 복원하는 방법을 제시한다.According to an aspect of the present invention, there is provided a method of restoring a three-dimensional shape from a surface reflection characteristic of an object, the method comprising: a first step of estimating a reflection characteristic parameter of a Torrance- A second step of generating a reference image having a surface normal component and a brightness value in three different light sources using the reflection characteristic parameters estimated in the first step; And a third step of reconstructing the three-dimensional shape of the object by matching the brightness values in consideration of the distribution of the surrounding pixels from an object having an arbitrary shape of the same material as the reference image created in the second step A method for reconstructing a three-dimensional shape from the surface reflection characteristics of an object is presented.

이하에서는 첨부된 도면들을 참조하면서 본 발명을 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the accompanying drawings.

제1도는 본 발명에 의한 형상복원방법의 흐름도이다.FIG. 1 is a flowchart of a shape restoration method according to the present invention.

본 발명에서는 밝기 분포를 예측하기 위하여 표본구를 사용하는 방법을 제시한다(단계 11). 표본구는 단일 재질로 이루어져 있고, 관찰자의 시각 방향에 대하여 거의 모든 면법선 성분을 가지고 있기 때문에 밝기 분포를 예측하기에 유리하다. 판상 확산기를 이용한 단일 광원에서 정사영된 표본구의 표본점들에 대하여 토랜스-스패로 모델을 적용한다(단계 12). 토랜스-스패로 모델의 반사특성 파라미터를 추정하기 위하여 LMS 알고리즘을 이용하며(단계 13), 추정된 반사특성 파라미터를 이용하여 서로 다른 세 위치의 광원에서 면법선 성분과 밝기 값으로 이루어진 참조영상을 만든다(단계 14). 이렇게 만들어진 참조영상과 동일한 재질의 임의의 형상의 물체로부터 주변 화소의 분포를 고려하여 밝기값을 매칭함에 의하여 물체의 3차원 형상을 복원한다(단계 15).In the present invention, a method of using a sample sphere to predict a brightness distribution is presented (step 11). The specimen is made of a single material and has almost all the surface normal components to the observer's viewing direction, which is advantageous for predicting the brightness distribution. A torus-sparrow model is applied to sample points of an orthogonal sample in a single light source using a plate diffuser (step 12). The LMS algorithm is used to estimate the reflection characteristic parameters of the Torrance-Sparrow model (step 13), and a reference image consisting of the surface normal component and the brightness value is generated from the light sources at three different positions using the estimated reflection characteristic parameters ( Step 14). The three-dimensional shape of the object is reconstructed by matching the brightness values in consideration of the distribution of the surrounding pixels from the object having the same material as the reference image thus created (step 15).

먼저 토랜스-스패로 모델을 근거로 한 물체의 반사특성을 설명한다. 토랜스-스패로 모델은 혼성반사면을 고려한 것으로서, 기하광학적인 메카니즘에 근거를 두고 빛의 물리학적 성질을 간략화하여 만든 모델이다. 토랜스-스패로 모델에서 물체의 표면은 거울과 같이 미소면들이 불규칙적으로 분포되어 있다고 가정되고, 물체의 반사특성은 다중반사와 내부산란에 의한 난반사 성분과 거울면 반사와 같은 전반사 성분의 선형적인 합으로 이루어져 있다. 난반사 성분은 람버션 법칙에 근거하고 전반사 성분은 가우스 분포를 갖는 확률적인 메커니즘을 사용한다. 따라서 단일 점광원이 물체에 비출 때 물체 표면의 한점에서 밝기값은 다음의 식(1)과 같이 나타낼 수 있다.First, we describe the reflection characteristics of an object based on the Torrance-Sparrow model. The Torrance-Sparrow model is based on a hybrid reflection surface, and is based on a geometrical optical mechanism and simplifies the physical properties of light. In the Torrance-Sparrow model, the surface of an object is assumed to be irregularly distributed like a mirror, and the reflection characteristic of an object is a linear sum of total reflection components such as diffuse reflection component and mirror reflection due to multiple reflection and internal scattering consist of. The diffuse reflection component is based on the Lamburn law and the total reflection component uses a stochastic mechanism with a Gaussian distribution. Therefore, when a single-point light source is illuminated on an object, the brightness value at a point on the surface of the object can be expressed by the following equation (1).

dd ss dd ss sourcesource ss 22 1One 22 ii tt ss 00 00 1One 1One 22 22 nn nn

Claims (5)

물체의 면반사특성으로부터 3차원 형상을 복원하는 방법에 있어서, 표본구를 사용하여 토랜스-스패로 모델의 반사특성 파라미터를 추정하는 제1단계; 상기 제1단계에서 추정된 반사특성 파라미터를 이용하여 서로 다른 세 위치의 광원에서 면법선 성분과 밝기 값으로 이루어진 참조영상을 만드는 제2단계; 및 상기 제2단계에서 만들어진 참조영상과 동일한 재질의 임의의 형상의 물체로부터 화소의 분포를 고려하여 밝기값을 매칭함에 의하여 물체의 3차원 형상을 복원하는 제3단계를 포함하는 것임을 특징으로 하는 물체의 면반사특성으로부터 3차원 형상을 복원하는 방법.A method for restoring a three-dimensional shape from a surface reflection characteristic of an object, comprising: a first step of estimating a reflection characteristic parameter of a Torrance-Sparrow model using a sample spherical surface; A second step of generating a reference image having a surface normal component and a brightness value in three different light sources using the reflection characteristic parameters estimated in the first step; And a third step of reconstructing the three-dimensional shape of the object by matching the brightness values in consideration of the distribution of pixels from an object having an arbitrary shape of the same material as the reference image created in the second step Dimensional shape from the surface reflection characteristic of the surface. 제1항에 있어서, 상기 제1단계에서 반사특성 파라미터를 추정하기 위하여 반투명한 얇은 재질을 이용한 판상 확산기를 이용한 확산조명을 가용하는 것임을 특징으로 하는 물체의 면반사특성으로부터 3차원 형상을 복원하는 방법.The method according to claim 1, wherein diffuse illumination using a plate-like diffuser using a semitransparent thin material is used for estimating a reflection characteristic parameter in the first step, . 제1항에 있어서, 상기 제1단계는 최소평균자승 방법을 표본구에 적용하여 전반사 가중치, Fresnel 계수, 면거칠기에 관련된 계수들을 추정하는 것임을 특징으로 하는 물체의 면반사특성으로부터 3차원 형상을 복원하는 방법.2. The method according to claim 1, wherein the first step is to apply the least mean squares method to the sample spheres to estimate coefficients related to total reflection weights, Fresnel coefficients, and surface roughness. How to. 제1항에 있어서, 상기 제2단계에서 참조영상은 표본구와 동일한 크기의 구영상으로써 서로 다른 세 위치의 광원이 조사되었을 경우에 대하여 추정된 반사특성 파라미터를 토랜스-스패로 모델에 적용하여 생성되는 것임을 특징으로 하는 물체의 면반사특성으로부터 3차원 형상을 복원하는 방법.2. The method of claim 1, wherein in the second step, the reference image is a spherical image of the same size as the sample spheres, and is generated by applying the estimated reflection parameter to the torus-sparrow model when three different light sources are irradiated A method for restoring a three-dimensional shape from a surface reflection characteristic of an object. 제1항에 있어서, 상기 제3단계에서 매칭은 실제 영상의 밝기값에 대해 참조영상 내의 후보점들의 주변화소를 고려하여 오차가 가장 작은 참조영상의 법선벡터를 해당 점의 법선벡터로 택하는 방법을 사용하는 것임을 특징으로 하는 물체의 면반사특성으로부터 3차원 형상을 복원하는 방법.The method according to claim 1, wherein the matching in the third step is a method of selecting a normal vector of a reference image having a smallest error as a normal vector of a corresponding point in consideration of surrounding pixels of candidate points in a reference image, Dimensional shape from the surface reflection characteristic of the object.
KR1019960032994A 1996-08-08 1996-08-08 Shape from shading KR100235254B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960032994A KR100235254B1 (en) 1996-08-08 1996-08-08 Shape from shading

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960032994A KR100235254B1 (en) 1996-08-08 1996-08-08 Shape from shading

Publications (2)

Publication Number Publication Date
KR19980014140A true KR19980014140A (en) 1998-05-15
KR100235254B1 KR100235254B1 (en) 1999-12-15

Family

ID=19469079

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960032994A KR100235254B1 (en) 1996-08-08 1996-08-08 Shape from shading

Country Status (1)

Country Link
KR (1) KR100235254B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8928525B2 (en) 2010-12-15 2015-01-06 Electronics And Telecommunications Research Institute Adaptive high speed/high resolution 3D image reconstruction method for any measurement distance
CN112884689A (en) * 2021-02-25 2021-06-01 景德镇陶瓷大学 Highlight removing method for image on strong reflection surface

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8928525B2 (en) 2010-12-15 2015-01-06 Electronics And Telecommunications Research Institute Adaptive high speed/high resolution 3D image reconstruction method for any measurement distance
CN112884689A (en) * 2021-02-25 2021-06-01 景德镇陶瓷大学 Highlight removing method for image on strong reflection surface
CN112884689B (en) * 2021-02-25 2023-11-17 景德镇陶瓷大学 Method for removing high light of strong reflection surface image

Also Published As

Publication number Publication date
KR100235254B1 (en) 1999-12-15

Similar Documents

Publication Publication Date Title
US6677956B2 (en) Method for cross-fading intensities of multiple images of a scene for seamless reconstruction
Jarosz et al. Radiance caching for participating media
CN111652963B (en) Augmented reality drawing method based on neural network
US20030038822A1 (en) Method for determining image intensities of projected images to change the appearance of three-dimensional objects
US20140071155A1 (en) Method of producing a reflective or refractive surface
Wand et al. Real‐time caustics
Shirley et al. Distribution ray tracing: Theory and practice
Yao et al. Multi‐image based photon tracing for interactive global illumination of dynamic scenes
Mérillou et al. Surface scratches: measuring, modeling and rendering
Hasegawa et al. Photometric approach to surface reconstruction of artist paintings
CN116091684B (en) WebGL-based image rendering method, device, equipment and storage medium
KR19980014140A (en) Method of restoring shape by estimating surface reflection property of object
Boivin et al. Inverse rendering from a single image
Kickingereder et al. Stereo vision on specular surfaces
Scheel et al. Grid based final gather for radiosity on complex clustered scenes
Grobe et al. Data-driven modelling of daylight scattering by Roman window glass
Meseth et al. BTF rendering for virtual environments
Ogura et al. Illumination Estimation and Relighting using an RGB-D Camera.
Kale et al. Estimating the position of illuminants in paintings under weak model assumptions: An application to the works of two Baroque masters
KR100259837B1 (en) Method for displaying three dimensional image from two dimensional image
Kapeller et al. Tailored photometric stereo: Optimization of light source positions for various materials
JP2006139726A (en) Texture reproduction system
Voloboy et al. Simulation and rendering algorithms for optically complex materials by the example of fabric
Spence et al. Real-time per-pixel rendering of textiles for virtual textile catalogues
Qi Measuring perceived gloss of rough surfaces

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080625

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee