KR100210654B1 - Shape reconstruction method of non-lambertian surfaces using diffuse lighting - Google Patents
Shape reconstruction method of non-lambertian surfaces using diffuse lighting Download PDFInfo
- Publication number
- KR100210654B1 KR100210654B1 KR1019960000317A KR19960000317A KR100210654B1 KR 100210654 B1 KR100210654 B1 KR 100210654B1 KR 1019960000317 A KR1019960000317 A KR 1019960000317A KR 19960000317 A KR19960000317 A KR 19960000317A KR 100210654 B1 KR100210654 B1 KR 100210654B1
- Authority
- KR
- South Korea
- Prior art keywords
- reflection
- brightness
- diffuse
- image
- slant
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 물체의 명암 정보로부터 3차원 형상을 복원하는 방법에 관한 것으로서, 특히, 혼성반사모델을 사용한 측광입체시법에 근간한 간접확산 조명 기법을 도입하여 일반적인 반사함수를 구하고, 이에 의한 3차원 참조표를 이용함으로써, 속도가 빠르고 반사면의 제약조건을 없앤 것을 특징으로 한다. 본 발명에 의한 방법에 의하여 간접 확산 조명 하에서 다양한 물체면에 대하여 실험을 수행하여 다양한 반사 특성을 가진 물체에 대한 표면 반사 특성, 반사비율(전반사, 난반사 비율등)해석 및 3차원 참조표를 작성하면, 물체의 3차원 정보를 실시간에 얻어낼 수 있으므로 실제 산업현장에서의 적용이 가능하다.The present invention relates to a method for restoring a three-dimensional shape from the intensity information of an object. In particular, a general reflection function is obtained by introducing an indirect diffuse lighting technique based on a photometric stereoscopic method using a hybrid reflection model. The use of a look-up table is characterized by high speed and elimination of constraints on the reflecting surface. By conducting experiments on various object planes under indirect diffused lighting by the method according to the present invention, surface reflection characteristics, reflection ratio (total reflection, diffuse reflection ratio, etc.) analysis of objects having various reflection characteristics and a three-dimensional reference table are prepared. In addition, since the 3D information of the object can be obtained in real time, it can be applied in actual industrial sites.
Description
제1도는 간접 확산 조명 기법의 원반형 광원에 대한 기하광학적 모델을 나타내는 도면.1 shows a geometrical optical model for a disk-shaped light source of an indirect diffuse lighting technique.
제2도는 전반사 조건을 만족하는 Torrancd-Sparrow 모델을 나타내는 도면.2 is a view showing a Torrancd-Sparrow model that satisfies the total reflection condition.
제3도는 간접 확산 조명하에서 영상 형성 모델을 나타내는 도면.3 shows an image forming model under indirect diffuse lighting.
제4도는 간접 확산 조명하에서 얻어진 물체의 3차원 참조표를 나타내는 도면.4 shows a three-dimensional lookup table of objects obtained under indirect diffused illumination.
제5도는 본 발명에 의한 방법의 성능을 평가하기 위한 실험 거리 영상을 나타내는 도면.5 shows an experimental distance image for evaluating the performance of the method according to the invention.
제6도는 표면 반사 함수를 이용하여 생성된 명암 영상들을 나타내는 도면.6 is a diagram showing contrast images generated using a surface reflection function.
제7도 및 제8도는 본 발명에 의한 방법으로 구한 법선 성분을 2.5차원 바늘 지도를 나타낸 도면.7 and 8 show 2.5-dimensional needle maps of the normal components obtained by the method according to the present invention.
제9도는 본 발명에 의한 형상 복원 방법을 이용하여 복원한 3차원 영상을 나타내는 도면.9 is a diagram showing a three-dimensional image reconstructed using the shape reconstruction method according to the present invention.
제10도는 표준 영상과 본 발명에 의하여 복원한 3차원 영상의 법선 성분 사이의 오차 각도를 도시한 도면.10 is a diagram showing an error angle between a normal image and a normal component of a 3D image reconstructed by the present invention.
제11도는 상대 오차 각도를 3차원으로 도시한 오차 평가 지도를 나타내는 도면이다.11 is a diagram showing an error evaluation map showing a relative error angle in three dimensions.
본 발명은 물체의 명암 정보로부터 3차원 형상을 복원하는 방법에 관한 것으로서, 특히, 혼성반사모델을 사용한 측광입체시법에 근간한 간접활산 조명 기법을 도입하여 일반적인 반사함수를 구하고, 이에 의한 3차원 참조표를 이용함으로써, 속도가 빠르고 반사면의 제약조건을 없앤 것을 특징으로 한다.The present invention relates to a method of restoring a three-dimensional shape from the intensity information of an object. In particular, a general reflection function is obtained by introducing an indirect active lighting technique based on a photometric stereoscopic method using a hybrid reflection model. The use of a look-up table is characterized by high speed and elimination of constraints on the reflecting surface.
컴퓨터 비젼에서 물체의 명암 정보로부터 3차원 형상을 복원하고자 하는 문제는 과거 10여년 전부터 연구가 진행되어 왔다. 이러한 문제의 해결은 물체 인식 문제를 푸는데 필수적인 요소로서, 특히 산업현장에서 실질적으로 응용되기 위하여 많은 연구가 기대되는 분야이다. 일반적으로 물체의 명암 정보로부터 3차원 형상을 복원하고자 하는 문제는 조명원, 물체의 면반사 특성, 물체에 대한 기하학적 정보를 포함한 여러 요소들에 대하여 정확한 모델을 얻어야 하는 등의 어려움이 있고, 이를 좀 더 일반화시키는 작업이 필요하다.In computer vision, the problem of restoring three-dimensional shape from the intensity information of an object has been studied for the past decade. The solution of this problem is an essential element to solve the problem of object recognition, especially in the field of industrial field where much research is expected. In general, the problem of restoring a three-dimensional shape from the intensity information of an object is that it is difficult to obtain an accurate model for various elements including illumination sources, surface reflection characteristics of the object, and geometric information about the object. More generalization is needed.
카메라에 입력된 영상에서 화소의 밝기는 물체의 모양, 물체 표면의 반사 성분, 조명상태, 영상 획득 장치의 특성 등에 의해서 결정된다. 특히 고정된 환경 하에서, 한 화소의 밝기는 센서가 영상점 대응 물체 표면에서의 반사광량을 얼마만큼 수광했느냐에 의존하는데, 이양은 물체 표면 입사광량, 표면성질, 방향 등에 따라 달라진다. 그러므로, 물체의 명암 정보로부터 물체의 형상을 복원하기 위해서는 물체 표면에서의 반사 성질을 잘 이해하고 정확하게 모델링하는 것이 필요하다.The brightness of the pixel in the image input to the camera is determined by the shape of the object, the reflection component of the object surface, the lighting state, the characteristics of the image capturing apparatus, and the like. Particularly in a fixed environment, the brightness of one pixel depends on how much the sensor receives the amount of reflected light on the surface of the object corresponding to the image point, which is dependent on the amount of incident light on the object surface, surface quality, direction, and the like. Therefore, in order to restore the shape of the object from the intensity information of the object, it is necessary to understand and accurately model the reflection property on the object surface.
종래의 형상 복원 방법들에서는 물체 표면의 반사 성질을 전반사(specular reflectance)또는 난반사(Lambertian reflectance)등의 한가지로 가정하고 문제를 해결해 나갔다. 그러나 실제로 우리가 접하는 많은 물체의 표면은 상기한 두 가지의 성질을 다 가지고 있는 것, 즉 반사량을 두 가지 성분의 선형 조합으로 나타낼 수 있는 혼성 반사(hybrid reflectance)성질을 가지는 것이다.In the conventional shape restoration methods, the problem is solved by assuming that the reflective property of the object surface is one of total reflectance or diffuse reflection. In practice, however, the surface of many objects we encounter has both of the above properties, ie hybrid reflectance, which can represent the amount of reflection as a linear combination of two components.
이러한 혼성 반사면에 대한 3차원 형상 복원에 관한 연구로서는 Bakshi의 General Shading Logic Algorithm(G.S.L)와 K.M.Lee의 실세계에 근접한 반사모델 등이 있다.Studies on the three-dimensional shape restoration of the hybrid reflection surface include Bakshi's General Shading Logic Algorithm (G.S.L) and K.M.Lee's reflection model close to the real world.
Bakshi의 G.S.L알고리즘에서는 표면 기울기의 변화가 완만하다는 가정과 임의의 면소 밝기는 이웃 면소 밝기와 최소한의 변화를 갖는다고 가정하여 반복적인 계산방법으로 물체의 명암 영상정보로부터 표면법선 정보를 얻고자 했다. K.M.Lee는 원근투사(perspective projection)와 면소를 작은 삼각형의 집합이라는 개념을 도입하여 3차원 형상복원 문제를 해결하고자 하였다.In Bakshi's G.S.L algorithm, we tried to obtain the surface normal information from the contrast image information of the object by an iterative calculation method on the assumption that the surface slope change was gentle and that the random surface brightness had the minimum change with the neighboring surface brightness. K.M.Lee tried to solve the problem of 3D shape restoration by introducing the concept of perspective projection and facet set of small triangles.
그러나 상기한 종래의 방법들은 혼성 반사면이 아닌 난반사면에 적용되는 방법들을 혼성 반사면의 인식에까지 확장한 것들로서, 대상 물체의 면반사 특성에 제약이 많고 대상 물체의 형태도 원만한 변화를 가진 면이라는 제약 조건이 있는 등 그 적용에 한계가 있다.However, the above-described conventional methods extend the methods applied to the diffuse reflection surface, not the hybrid reflection surface, to the recognition of the hybrid reflection surface, and are limited in the surface reflection characteristics of the target object and have a smooth change in the shape of the target object. There is a limit to its application, such as a constraint.
본 발명의 목적은 상기한 바와 같은 문제를 해결하고자 하는 것으로서, 본 발명에서는 물체의 명암 영상정보로부터 물체의 3차원 정보를 얻고자 할 때 상대적으로 중요한 조명원, 면 반사특성 및 기하광학적 관계를 정성적으로 최종적으로 3차원 정보를 얻는 새로운 접근방식을 제시하고자 한다.An object of the present invention is to solve the problems as described above, in the present invention to determine a relatively important illumination source, surface reflection characteristics and geometric optical relationship when obtaining three-dimensional information of the object from the contrast image information of the object I would like to present a new approach to getting 3D information as a result.
상기와 같은 목적을 달성하기 위하여, 본 발명에 의한 방법에서는 물체의 명암 영상으로부터 물체의 3차원 정보를 얻고자 할 때 물체의 반사면에서의 밝기를 난반사면 성분에 의한 밝기와 전반사면 성분에 의한 밝기의 선형 결합으로 표시하는 혼성반사면 모델 및 간접 확산 조명 기법을 도입하는 것을 특징으로 한다.In order to achieve the above object, in the method of the present invention, when the 3D information of the object is to be obtained from the contrast image of the object, the brightness of the reflection surface of the object is determined by the brightness of the diffuse reflection surface component and the total reflection surface component. It is characterized by introducing a hybrid reflectance model and indirect diffuse lighting technique, which are represented by linear combination of brightness.
이하에서 본 발명에 의한 형상복원방법을 상세하게 설명하기로 한다.Hereinafter, the shape restoration method according to the present invention will be described in detail.
간접 확산 조명 기법은 산란 정도가 높은 포괄적 비지향적 조명으로 반짝임을 감소시키거나 제거하고 전반사 또는 반짝이는 부분에 조사하기가 용이하다.Indirect diffuse lighting is a highly scattered, comprehensive non-directional light that reduces or eliminates glare and is easy to illuminate in total reflection or glare.
먼저, 간접 확산 조명 기법의 원반향 광원에 대해 설명하기로 한다.First, a circular light source of the indirect diffuse lighting technique will be described.
제1도는 간접 확산 조명 기법의 원반향 광원에 대한 기하광학적 모델을 나타내는 도면이다.1 is a diagram showing a geometrical optical model for the circularly-radiated light source of the indirect diffuse lighting technique.
원반형 난반사면에 점광원을 투사하였을 때 점광원과 한점 P(r,φ)와의 거리를 d로, 다른 한점 P'(R, φ)와의 거리를 d'로 정의하고, 점 P(r, φ)에서의 법선벡터와 점광원의 입사방향이 이루는 각을로 정의한다.When the point light source is projected on the discoid diffuse reflection surface, the distance between the point light source and one point P (r, φ) is defined as d, and the distance between the other point P '(R, φ) is defined as d', and the point P (r, φ Angle between the normal vector and the incident direction of the point source It is defined as
원반형 난반사면에 점광원을 투사하였을 때 임의의 한 점에서의 밝기는 다음의 식(1)과 같이 주어진다.When the point light source is projected on the disk diffuse reflection surface, the brightness at any one point is given by the following equation (1).
여기서, Ip는 광원의 세기를 Ka는 알베도(Albedo)상수를 나타낸다.Where I p is the intensity of the light source and K a is the Albedo constant.
제1도에서와 같이 설정된 기하 광학적 모델에서 원반형면의 임의의 점에서의 밝기 Idisk(r, φ)는 다음의 식(2)과 같이 주어진다.In the geometric optical model set as in FIG. 1, the brightness I disk (r, φ) at any point of the disk surface is given by the following equation (2).
한편, 원반형 광원위에 있는 임의의 면소광원 P(r, φ)가 대상 물체로 조사되었을 때 물체의 한점에서 반사되어 카메라로 입사되는 빛의 양을 결정하기 위해서는 대상 물체의 표면 반사 특성, 표면의 기울어진 정도, 면소광원의 방향, 물체 표면과 면소 광원까지의 거리, 면소 광원에서 나오는 광에너지량 등을 알아야 한다.On the other hand, when any surface light source P (r, φ) on the disk-shaped light source is irradiated to the target object, in order to determine the amount of light that is reflected at a point of the object and incident on the camera, the surface reflection characteristic of the target object, the inclination of the surface You need to know the degree of thinning, the direction of the cotton light source, the distance between the object surface and the cotton light source, and the amount of light energy from the cotton light source.
일반적으로 모든 물체는 난반사와 전반사의 두가지 반사 성분을 모두 가지고 있으며 표면의 성질에 따라 각 성부의 크기가 달라진다. 명암 영상의 한 점에서의 밝기, I(Intensity)는 표면에서 반사되는 난반사 성분과 전반사 성분의 합으로 표시할 수 있고, 이를 식으로 나타내면 다음의 식(3)과 같다.In general, all objects have both reflective and total reflection components, and the size of each part varies depending on the nature of the surface. The brightness and intensity (I) at one point of the contrast image can be expressed as the sum of the diffuse reflection component and the total reflection component reflected from the surface, which is represented by the following equation (3).
여기서, Idiff는 난반사 성분을 나타내며, Ispec은 전반사 성분을 나타낸다.Where I diff represents the diffuse reflection component and I spec represents the total reflection component.
난반사 밝기 성분 Idiff은 다음과 같다.The diffuse reflection brightness component I diff is
한 개의 점 광원에 의한 난반사 표면의 밝기는 입사된 빛의 세기에 비례하고, 한 개의 물체 면소에 떨어지는 빛의 양은 광원의 위치에서 보이는 면소의 면적에 비례하므로 표면의 밝기는 표면의 법선 방향과 광원의 방향이 이루는 각의 코사인 함수가 된다. 결국, 미소의 단위 밝기를 가진 점광원에 의한 난반사 밝기 성분 Idiff은 다음의 식(4)와 같이 나타낼 수 있다.The brightness of the diffuse reflection surface by one point light source is proportional to the intensity of the incident light, and the amount of light falling on one object face is proportional to the area of the face shown at the position of the light source, so the brightness of the surface is the direction of the surface normal and the light source. Becomes the cosine function of the angle formed by the direction of. As a result, the diffuse reflection brightness component I diff by a point light source having a unit brightness of minute can be expressed by the following equation (4).
여기서,는 광원 방향의 단위벡터를,은 표면의 법선 단위 벡터를, 그리고 kL은 표면 난반사 계수(Lambertian reflection constant)를 각각 나타낸다.here, Is the unit vector in the direction of the light source, Denotes the normal unit vector of the surface, and k L denotes the surface diffuse reflection coefficient (Lambertian reflection constant), respectively.
전반사 밝기 성분 Ispec은 다음과 같다.The total reflection brightness component I spec is
제2도는 전반사 조건을 만족하는 Torrance-Sparrow 모델을 나타내는 도면이다.2 is a view showing a Torrance-Sparrow model that satisfies the total reflection condition.
( i i 는 카메라 방향의 단위벡터이며,(n, φi)은 표면 법선 벡터이고,은(i, φi)와를 이등분한 단위벡터이다.은 주어진 점광원과 카메라 방향에 대한 전반사 조건을 만족하는 방향이므로 α는 전반사 방향과 표면 법선 방향과의 사이각이다. 이를 식으로 표시하면 다음의 식(5)와 같다. ( i i Is the unit vector of the camera direction, ( n, φ i ) is the surface normal vector, silver ( i, φ i ) and Is a unit vector bisected by. Is the direction satisfying the total reflection condition for a given point light source and camera direction, and α is the angle between the total reflection direction and the surface normal direction. If this is expressed as an expression, it is as following Formula (5).
전반사 조건을 만족하는 모델로서 많이 사용되는 이 모델에서는 전반사를 일으키는 표면을 매우 작은 거울 입자들이 불규칙한 방향으로 놓여있다고 가정한 것이다. 이들 매두 작은 입자는 표면의 법선 벡터 방샹을 중심으로 일정한 분포를 가지는데 Trooancd-Sparrow 모델에서는 이를 가우스 분포로 묘사하였다. 이러한 가정하에서 제2도에서 보이는 바와 같이, 점광원을 작은 표면에 투사하였을 때, 카메라의 방향으로 들어가는 전반사의 성분은 표면내의 작은 입자들 중 전반사 조건을 만족하는 입자들에 의해 반사되는 빛의 밝기의 합으로 볼 수 있다. 또한, 이 모델에서는 이웃한 입자간의 가림과 그림자짐의 영향까지 고려하였다.This model, which is widely used as a model for total reflection conditions, assumes that very small mirror particles are placed in irregular directions on the surface causing total reflection. These small particles have a uniform distribution around the surface normal vectors, and the Trooancd-Sparrow model describes them as Gaussian distributions. Under this assumption, as shown in FIG. 2, when the point light source is projected onto a small surface, the total reflection component entering the direction of the camera is the brightness of light reflected by the small particles within the surface that satisfy the total reflection condition. It can be seen as the sum of. The model also considers the effects of occlusion and shadow loading between neighboring particles.
제2도에서 미소 점광원에 의한 전반사모델은 다음의 식(6)와 같이 간단하게 표시될 수 있다.In FIG. 2, the total reflection model by the micro point light source can be simply expressed as in the following Equation (6).
여기서, σ는 표면의 거칠기를 나타내는 파라미터이며 이는 가우스 분포 함수의 표준편차에 해당하는 값이다. σ값이 크다는 것은 표면내의 인접한 입자들 간의 방향차이가 많이 난다는 것이고, σ가 작다는 것은 입자들 간의 방향 차이가 없이 입자들이 거의 한 방향으로 위치해 있다는 것을 의미한다.Where σ is a parameter representing the surface roughness, which is the value corresponding to the standard deviation of the Gaussian distribution function. A large value of sigma means that the direction difference between adjacent particles in the surface is large, and a small value of sigma means that the particles are located in almost one direction without any difference in direction between the particles.
입사 에너지 중에서 전반사되는 에너지의 비를 나타내는 표면 전반사파라미터(specular reflectance parameter)B는 다음의 식(7)과 같이 나타낼 수 있다.The surface reflectance parameter B representing the ratio of totally reflected energy in the incident energy can be expressed by the following equation (7).
여기서, F는 Fresnel반사계수로서 각각의 미소 입자로부터 반사되는 광량을 모델화한 것이며 입사각과 표면의 재질에 따른 굴절율에 좌우된다. G는 근접한 인접면들 사이의 마스킹과 새도우잉효과를 모델화 한 것으로 시각 방향에 좌우된다. Ks는 정규화를 위한 상수이다.Here, F is a Fresnel reflection coefficient modeling the amount of light reflected from each microparticle and depends on the refractive index according to the incident angle and the material of the surface. G is a modeling of the masking and shadowing effect between adjacent adjacent surfaces and depends on the visual direction. K s is a constant for normalization.
본 발명에서는 작은 혼성 반사 물체를 대상으로 하고 있으므로 실용적인 측면에서 정사영(orthogonal)모델을 사용하였으며, 카메라와 물체와의 거리는 물체 지름의 약 20배 정도 멀고, 카메라 방향으로부터의 밝기 값은 이미지 디지타이저상의 밝기값으로 정해진다고 가정하였다.In the present invention, since a small hybrid reflective object is used, an orthogonal model is used for practical purposes. The distance between the camera and the object is about 20 times the diameter of the object, and the brightness value from the camera direction is the brightness on the image digitizer. It is assumed that the value is determined.
이제, 상기와 같은 혼성 반사면으로 이루어진 물체면에 간접 확산 조명을 조사하였을 때의 일반적인 표면 반사 함수를 설명하기로 한다.Now, the general surface reflection function when the indirect diffused illumination is applied to the object surface made of the above hybrid reflective surface will be described.
제3도는 간접 확산 조명하에서 영상 형성 모델을 나타내는 것이다.3 shows an image formation model under indirect diffused illumination.
제3도에서 보이는 바와 같이, 120°간격을 둔 3개의 조명원(Sl, S2, S3을 차례로 반지름이 r인 원반에 조사하면, 이 원반은 간접 확산 조명이 된다. 원반형 간접 확산 조명위의 임의의 점 P(r, φ)의 광량은 조명원(S1, S2, S3)의 세기, 조명원과 점 P(r, φ)사이의 거리에 좌우한다. 간접 확산 조명 P(r, φ)에서 대상물체로 조사하였을 때 대상물체 위의 한 점에서의 밝기는 물체표면의 방향, 간접 확산 조명위의 P(r, φ)와 대상 물체위의 한점까지의 거리, 간접 확산 조명 P(r, φ)에서의 세기 등에 의하여 결정된다. 카메라를 원반의 중심에 위치시켰을 때, 카메라와 대상물체까지의 거리를 D라고 하고, 물체 표면의 기울어진 정도에 따른 미소단위의 간접 확산 광원의 방향을 Sti1t=φ 및 Sslant=tan-1(r/D)로 하고, 간접 확산 광원까지의 거리를 ds=로 각각 나타낼 때, 간접 확산 조명위의 점(r, φ)에서의 세기, I'은 다음의 식(8)과 같이 정의된다.As shown in Fig. 3, when three illumination sources (Sl, S2 and S3) spaced at 120 ° are irradiated onto a disk having a radius r in turn, the disk becomes indirect diffuse lighting. The amount of light at point P (r, φ) depends on the intensity of the illumination sources S1, S2, S3, and the distance between the source and point P (r, φ). When irradiated with an object, the brightness at a point on the object is determined by the direction of the object's surface, P (r, φ) on the indirect diffused light and the distance to a point on the object, and indirect diffused light P (r, φ When the camera is positioned at the center of the disk, the distance between the camera and the object is called D and the direction of the indirect diffused light source in micro units according to the degree of inclination of the surface of the object is S ti1t. = φ and S slant = tan -1 (r / D), and the distance to the indirect diffused light source is d s = In each case, the intensity at the points r and φ on indirect diffused illumination, I ', is defined as in the following equation (8).
여기서 cos(Sslant)=D/ds로 주어진다.Where cos (S slant ) = D / d s
따라서, 대상물체의 한 면소에 대한 밝기(I)는 다음의 식(9)와 같이 나타낼 수 있다.Therefore, the brightness I for one surface element of the object can be expressed by the following equation (9).
여기서, ks, kd는 전반사와 난반사 비율을 나타내며 S(slant, tilt, Sslant, Stilt)와 L(slant, tilt, Sslant, Stilt)는 각각 전반사와 난반사의 함수를 의미한다. 결과적으로, 대상물체의 한 면소에 대한 밝기 I(Intensity)를 수치 해석 기법으로 이중 적분함으로써 다음의 식(10)과 같이 혼성 반사 물체의 표면 반사 함수를 구할 수 있다.Here, k s, k d indicates a total reflection and diffused reflection ratio S (slant, tilt, S slant, S tilt) and L (slant, tilt, Ss lant, S tilt) refers to a function of each of the total reflection and diffused reflection. As a result, the surface reflection function of the hybrid reflective object can be obtained by double integration of the brightness I (Intensity) of one surface element of the object by numerical analysis.
이제, 간접 확산 조명에 의한 물체의 3차원 참조표(밝기 분포표)의 작성을 설명하기로 한다.Now, the creation of the three-dimensional reference table (brightness distribution table) of the object by indirect diffuse lighting will be described.
물체의 3차원 참조표는, 물체의 세 장의 명암영상이 입력될 때, 각각의 명암영상의 화소 밝기값은 3차원 참조표 위의 밝기값과 비교하여 매칭시켜, 최종적인 최적해를 구하는 데 사용된다.The three-dimensional reference table of the object is used to obtain the final optimal solution by matching the pixel brightness values of each contrast image with the brightness values on the three-dimensional reference table when three contrast images of the object are input. .
상기의 식(10)에서 유도한 표면 반사 함수를 반구영상에 적용하여 반구영상의 각 화소에 대한 천장값(slant) 0°~-90°, 방위각(tilt) 0°~-359°의 조합과 밝기값과의 관계를 3차원 참조표를 작성한다.By applying the surface reflection function derived from Equation (10) to the hemisphere image, a combination of slant 0 ° to -90 ° and tilt angle 0 ° to -359 ° for each pixel of the hemisphere image Create a three-dimensional reference table for the relationship with the brightness values.
작성된 3차원 참조표에 의하여, 면 반사특성이 같은 임의의 형상을 가진 명암영상이 입력되면, 화소 밝기값을 비교하여 일대일 매칭하여 3차원 정보를 정확하게 얻어낸다.When a contrast image having an arbitrary shape having the same surface reflection characteristics is input by the created three-dimensional reference table, the pixel brightness values are compared and matched one-to-one to obtain three-dimensional information accurately.
제4도는 간접 확산 조명하에서 얻어진 물체의 3차원 참조표를 나타내는 도면이다.4 is a diagram showing a three-dimensional reference table of an object obtained under indirect diffused illumination.
제4도의 3차원 참조표(밝기 분포표)는 전반사(ks)와 난반사(kd)의 비율 및 표면 특성()을 고려하여 작성되었다. 제4도의 (a)는 ks=0.5, k=10인 경우이고 제4도의 (b)도는 ks=0.9, k=10인 경우의 3차원 참조표이다. 이와 같은 3차원 참조표의 작성은 밝기 비율 및 표면특성(k)이 같은 임의의 형상을 가진 물체의 3차원 정보를 실시간으로 얻어내는 데 있어서 필수적인 과정이다.The three-dimensional reference table (brightness distribution table) in FIG. 4 shows the ratio and surface characteristics of total reflection (k s ) and diffuse reflection (k d ). ). (A) of FIG. 4 is a three-dimensional reference table when k s = 0.5 and k = 10 and (b) of FIG. 4 is k s = 0.9 and k = 10. The preparation of such a three-dimensional reference table is an essential process in obtaining in real time three-dimensional information of an object having an arbitrary shape having the same brightness ratio and surface characteristics k.
본 출원인들은 모든 방향으로 법선 성분을 갖고 있는 구 영상, 타원과 다면체를 결합시킨 오목한(concave)부분을 지니고 있는 Eggblock영상, Superellipsoid영상, Penny, Moz81영상을 실험 영상으로서 사용하여 본 발명에 의한 방법의 성능을 평가하였다.Applicants use the Eggblock image, Superellipsoid image, Penny, Moz81 image with concave portion combining ellipse and polyhedron with normal components in all directions, as experimental images. The performance was evaluated.
여기서, Superellipsoid영상은 Bakshi의 G.S.I에서 사용된 데이터로 전반사 난반사 비율 및 표면 특성이 Bakshi가 사용한 영상데이터와 같도록 만들었다. 또한, Penny,Moz81영상은 K.M.Lee등이 사용한 U.B.C데이터로 오목 볼록한 면을 모두 가지고 있는 영상이다.Here, Superellipsoid images are the data used in Bakshi's G.S.I so that the total reflection reflectance and the surface characteristics are the same as those used by Bakshi. Also, Penny and Moz81 images are U.B.C data used by K.M.Lee et al.
제5도는 본 발명에 의한 방법의 성능을 평가하기 위한 실험 거리 영상을 나타내는 것이다.5 shows an experimental distance image for evaluating the performance of the method according to the present invention.
제5도의 (a)는 구 영상, (b)는 Eggblock영상, (c)는 Superellipsoid(1-2)영상, (d)는 Superellipsoid(1-6), (e)는 Penny영상, (f)는 Moz81영상을 각각 나타내는 것이다.(A) is an old image, (b) is an Eggblock image, (c) is a Superellipsoid (1-2) image, (d) is a Superellipsoid (1-6), (e) is a Penny image, and (f) Denotes Moz81 images, respectively.
제5도의 각 실험 거리 영상(depth image)에 대하여 본 발명에 의하여 유도된 표면 반사 함수를 적용시켜서 각각에 해당하는 세 장의 명암영상들을 생성하였다.Three contrast images were generated by applying the surface reflection function derived by the present invention to each depth image of FIG. 5.
제6도는 표면 반사 함수를 이용하여 생성된 명암 영상들을 나타내는 것이다.6 shows contrast images generated by using a surface reflection function.
제6도의 명암 영상들은 120도 간격으로 조정된 간접 확산 조명 방향 아래서 전반사비율(ks)과 표면특성(k)의 값들이 각각 ks=0.5, k=10인 경우와 ks=0.9, k=10인 경우의 명암영상들이다. 특히 Superellipsoid영상, Penny영상 그리고 Moz81영상에 대하여 전반사 비율이 큰 ks=0.9, k=10인 경우에 대해서도 세 장의 명암영상을 생성하였다.The sixth degree contrast images are total reflection rate under 120 ° indirect diffuse lighting direction adjustment intervals (k s) and if the value of the surface properties (k) are the k s = 0.5, k = 10, respectively, and k s = 0.9, k Contrast images when = 10. In particular, three contrast images were generated for superellipsoid, Penny, and Moz81 images with large total reflection ratios of k s = 0.9 and k = 10.
상기와 같은 세 장의 명암영상이 입력되면 상기에서 설명한 바와 같이, 모든 방향성분과 밝기값과의 3차원 조합으로 구성된 3차원 참조표와 입력된 각 화소의 밝기 정보를 비교하여 최적의 해(법선)를 구해낸다.When the three contrast images are input as described above, an optimal solution is obtained by comparing the brightness information of each input pixel with a three-dimensional reference table composed of three-dimensional combinations of all direction components and brightness values. Save
제7도와 제8도는 상기와 같은 방법으로 구한 법선 성분을 2.5차원 바늘 지도를 나타낸다.7 and 8 show a 2.5-dimensional needle map of the normal components obtained by the above method.
제7도는 ks=0.5, k=10인 경우에 세 장의 명암 영상 입력시 복원한 니들맵을 나타내는 것이고, 제8도는 ks=0.9, k=10인 경우에 세 장의 명암 영상 입력시 복원한 니들맵을 나타내는 것이다.FIG. 7 shows a needle map restored when inputting three contrast images when k s = 0.5 and k = 10, and FIG. 8 shows when restored with input of three contrast images when k s = 0.9 and k = 10. Represents a needle map.
제9도는 본 발명에 의한 형상 복원 방법을 이용하여 복원한 3차원 영상을 나타내는 것이다.9 shows a 3D image reconstructed using the shape reconstruction method according to the present invention.
본 발명에서 제안한 방법을 적용하여 2차원 명암 영상에서 3차원 정보를 복원할 때 복원 효율의 검증을 위해서 기지의 표준 영상과 복원된 영상을 비교하여 벗어난 정도를 조사하여 본 발명에 의한 방법의 오차를 평가하면 다음과 같다.In order to verify the reconstruction efficiency when applying the method proposed in the present invention, the error of the method according to the present invention is investigated by comparing the known standard image with the reconstructed image to verify the reconstruction efficiency. The evaluation is as follows.
제5도에 나타나있는 표준 영상과 제9도에 나타나있는 복원한 3차원 영상의 법선 성분을 화소 대 화소로서 비교하여 표준 영상의 법선벡터로부터 벗어난 상대 오차 각도를 구한다.The normal components of the standard image shown in FIG. 5 and the reconstructed three-dimensional image shown in FIG. 9 are compared as pixel-by-pixel to obtain a relative error angle deviating from the normal vector of the standard image.
제10도는 표준 영상과 복원한 3차원 영상의 법선 성분 사이의 오차각도를 도시한 것이다.10 shows the error angle between the normal component of the standard image and the reconstructed three-dimensional image.
는 표준 영상의 법선 벡터를,는 복원된 영상의 법선 벡터를 각각 나타낸다. 양자간의 상대 오차 각도는와의 내적을 취함으로써 얻을 수 있고, 이를 식으로 표시하면 다음의 식(11)과 같다. Is the normal vector of the standard image, Respectively represent the normal vectors of the reconstructed image. The relative error angle between them Wow It can be obtained by taking the inner product of, and this is expressed by the following formula (11).
여기서, 각 회소는 천장각(slant)과 방위각(tilt)으로 표현되고, 이러한 천장각과 방위각을 사용해서 각 법선 벡터의 성분(x, y, z)을 나타내면 다음의 식(12)과 같다.Here, each element is represented by a slant and an azimuth angle, and the components (x, y, z) of each normal vector are expressed using the ceiling angle and azimuth angle as shown in Equation (12) below.
상기와 같은 방법으로 구한 상대 오차 각도를 3차원 도시하면 다음의 제11도와 같다.A three-dimensional representation of the relative error angle obtained by the above method is shown in FIG. 11.
제11도는 상대 오차 각도를 3차원으로 도시한 오차 평가 지도를 나타내는 것이다.11 shows an error evaluation map showing the relative error angles in three dimensions.
제11도에서 보이는 바와 같이, 오차 결과는 오목한 부분을 지니고 있는 Eggblock영상에서 상대적으로 오차 각도가 커지는 것을 알 수 있다. 또한 본 발명에서는 1°이내의 오차를 보였다. 이러한 결과는 본 발명에 의한 방법이 종래의 기술에 의한 방법들에 비하여 오차 각도가 적은 것을 보여주는 것일 뿐만 아니라, 본 발명에 의한 방법은 전반사 비율이 더 큰 경우에도 적용될 수 있는 것임을 보여주는 것이다.As shown in FIG. 11, the error result shows that the error angle becomes relatively large in the Eggblock image having the concave portion. In addition, the present invention showed an error within 1 °. These results not only show that the method according to the present invention has a smaller error angle than the methods according to the prior art, but also show that the method according to the present invention can be applied even when the total reflection ratio is larger.
이상에서 설명한 바와 같이, 본 발명에 의한 형상 복원 방법에서는 명암영상으로부터 3차원 형상을 복원하는 문제에 있어서, 측광입체시법에 근간한 간접 확산 조명 기법을 도입하여 일반적인 반사함수를 구하고 이에의한 3차원 참조표를 이용함으로써 속도가 빠르고 반사면의 제약조건을 없앤 것을 특징으로 한다As described above, in the shape restoration method according to the present invention, in the problem of restoring a three-dimensional shape from a contrast image, a general reflection function is obtained by introducing an indirect diffuse lighting technique based on the photometry stereoscopic method. It is characterized by high speed and the elimination of the reflection surface by using the dimensional reference table.
본 발명에 의한 간접 확산 조명에 의한 조사는 난반사면, 혼성반사면 등 다양한 면특성을 가진 물체에 조사하기가 용이하며 균일한 밝기분포를 갖는 명암영상을 얻는 것을 가능하게 한다.Irradiation by indirect diffuse lighting according to the present invention makes it easy to irradiate objects having various plane characteristics such as diffuse reflection surface and hybrid reflection surface, and makes it possible to obtain a contrast image having a uniform brightness distribution.
본 발명에 의한 방법에 의하여 간접 확산 조명 하에서 다양한 물체면에 대하여 실험을 수행하여 다양한 반사 특성을 가진 물체에 대한 표면반사 특성, 반사비율(전반사, 난반사 비율등)해석 및 3차원 참조표를 작성하면, 물체의 3차원 정보를 실시간에 얻어낼 수있으므로 실제 산업현장에서의 적용이 가능하다.By conducting experiments on various object planes under indirect diffused lighting by the method according to the present invention, surface reflection characteristics, reflection ratio (total reflection, diffuse reflection ratio, etc.) analysis of objects having various reflection characteristics and a three-dimensional reference table are prepared. In addition, since 3D information of an object can be obtained in real time, it can be applied in actual industrial sites.
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019960000317A KR100210654B1 (en) | 1996-01-09 | 1996-01-09 | Shape reconstruction method of non-lambertian surfaces using diffuse lighting |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019960000317A KR100210654B1 (en) | 1996-01-09 | 1996-01-09 | Shape reconstruction method of non-lambertian surfaces using diffuse lighting |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR970060972A KR970060972A (en) | 1997-08-12 |
| KR100210654B1 true KR100210654B1 (en) | 1999-07-15 |
Family
ID=19449198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019960000317A KR100210654B1 (en) | 1996-01-09 | 1996-01-09 | Shape reconstruction method of non-lambertian surfaces using diffuse lighting |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100210654B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100479983B1 (en) * | 2001-09-14 | 2005-03-30 | 이상욱 | Generalized photometric stereo for the hybrid reflectance model using an image sequences |
-
1996
- 1996-01-09 KR KR1019960000317A patent/KR100210654B1/en not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100479983B1 (en) * | 2001-09-14 | 2005-03-30 | 이상욱 | Generalized photometric stereo for the hybrid reflectance model using an image sequences |
Also Published As
| Publication number | Publication date |
|---|---|
| KR970060972A (en) | 1997-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Verbeck et al. | A comprehensive light-source description for computer graphics | |
| JP3397796B2 (en) | Rear projection screen with reduced speckles | |
| Wolff et al. | Improved diffuse reflection models for computer vision | |
| Koenderink et al. | Illuminance texture due to surface mesostructure | |
| US7253832B2 (en) | Shape extraction system and 3-D (three dimension) information acquisition system using the same | |
| JP2017096971A (en) | System and method for executing machine vision, using diffusion structure light | |
| Sato et al. | Reflectance analysis for 3D computer graphics model generation | |
| US7058217B2 (en) | Broadened-specular reflection and linear subspaces for object recognition | |
| Todd et al. | Is the perception of 3D shape from shading based on assumed reflectance and illumination? | |
| Vogiatzis et al. | Using frontier points to recover shape, reflectance and illumination | |
| KR100210654B1 (en) | Shape reconstruction method of non-lambertian surfaces using diffuse lighting | |
| Tagare et al. | A framework for the construction of reflectance maps for machine vision | |
| Yu et al. | Shape and view independent reflectance map from multiple views | |
| Briere et al. | Adaptive representation of specular light | |
| AU2017228700A1 (en) | System and method of rendering a surface | |
| KR100259837B1 (en) | Method for displaying three dimensional image from two dimensional image | |
| Lutzke et al. | Fast error simulation of optical 3D measurements at translucent objects | |
| Luksch et al. | Real-time Approximation of Photometric Polygonal Lights. | |
| KR100235254B1 (en) | Shape from shading | |
| Lehn et al. | Lighting Models | |
| Inakage | Caustics and specular reflection models for spherical objects and lenses | |
| Elhabian | Hands on shape from shading | |
| van Barlingen et al. | phase space ray tracing | |
| Savant et al. | Diffuser display screen | |
| Lenoch | Image-based 3D reconstruction of surfaces with highly complex reflectance properties |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20080312 Year of fee payment: 10 |
|
| LAPS | Lapse due to unpaid annual fee |