KR20050107376A - System and method for range imaging from two images - Google Patents
System and method for range imaging from two images Download PDFInfo
- Publication number
- KR20050107376A KR20050107376A KR1020050101929A KR20050101929A KR20050107376A KR 20050107376 A KR20050107376 A KR 20050107376A KR 1020050101929 A KR1020050101929 A KR 1020050101929A KR 20050101929 A KR20050101929 A KR 20050101929A KR 20050107376 A KR20050107376 A KR 20050107376A
- Authority
- KR
- South Korea
- Prior art keywords
- distance image
- images
- phase
- value
- luminance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000003384 imaging method Methods 0.000 title description 2
- 230000008569 process Effects 0.000 claims description 38
- 238000005286 illumination Methods 0.000 claims description 17
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000010363 phase shift Effects 0.000 abstract description 22
- 230000000694 effects Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
본 발명은 정현파 패턴(Sinusoidal Pattern)의 위상천이(phase shifting)를 이용하여 2개 영상의 각 지점에서의 위상(phase)을 복원하여 이를 바탕으로 대상 물체의 거리 영상을 획득하도록 하는 2개 영상을 이용한 거리영상 획득 장치 및 방법에 관한 것으로서,The present invention restores a phase at each point of two images using phase shifting of a sinusoidal pattern, and based on this, obtains two images for obtaining a distance image of a target object. As the distance image acquisition device and method used,
본 발명을 적용하면, 2개 영상에서 위상천이를 기반으로 하여 비교적 정확한 위상복원을 할 수 있게 되는 효과가 있으며, 그에 따라, 위상복원을 위해 종래에는 최소 3개 이상의 영상이 필요했던 정현파의 위상천이 방식에서, 2개의 영상에서 고해상도 위상 및 거리영상을 획득할 수 있게 되었으며, 이를 통해 보다 적은 비용, 보다 짧은 시간에 보다 용이한 방식으로 고해상도 위상 및 거리영상의 비교적 정밀한 획득이 가능하게 되는 효과가 있다.According to the present invention, there is an effect that relatively accurate phase restoration can be performed based on phase shift in two images, and thus, phase shift of sinusoidal wave, which previously required at least three images for phase restoration, is required. In this method, it is possible to acquire high resolution phase and distance images from two images, thereby enabling relatively accurate acquisition of high resolution phase and distance images in an easier manner at a lower cost and in a shorter time. .
Description
본 발명은 2개 영상을 이용한 거리영상 획득장치 및 방법에 관한 것으로서, 보다 상세하게는 정현파 패턴(Sinusoidal Pattern)의 위상천이(phase shifting)를 이용하여 2개 영상의 각 지점에서의 위상(phase)을 복원하여 이를 바탕으로 대상 물체의 거리 영상을 획득하도록 하는 2개 영상을 이용한 거리영상 획득장치 및 방법에 관한 것이다.The present invention relates to a distance image acquisition device and method using two images, and more particularly, phase at each point of two images using phase shifting of a sinusoidal pattern. The present invention relates to a distance image acquisition device and a method using two images for restoring the distance image of the target object.
일반적으로 거리영상을 획득하는 방법으로는 접촉식과 비접촉식으로 구분된다. 이 중에서 본 발명은 비접촉식 방법에 관한 것으로, 거리영상 획득 대상에 접촉하지 않는 비접촉 방식으로는 광학식 방법이 대표적이다.In general, a method of obtaining a distance image is classified into a contact type and a non-contact type. Among them, the present invention relates to a non-contact method, and an optical method is representative of a non-contact method that does not contact a distance image acquisition target.
광학식 거리영상 획득방법 중에서도 거리영상을 고해상도로 복원하기 위해서는 주로 특수한 조명패턴을 이용하는 능동비전(active vision) 방식을 주로 사용하는데 조명모듈과 촬영모듈을 구비하는 구성을 갖는다.Among the optical distance image acquisition methods, in order to reconstruct the distance image in high resolution, an active vision method using a special lighting pattern is mainly used, and has a configuration including an illumination module and a photography module.
능동비전 방식의 대표적인 기술로는 K.L.Boyer et al.의 컬러코드 구조광(color-encoded structured light), P.S. Huang et al.의 컬러 줄무늬패턴(color fringe pattern), C. Je et al.의 고대비 컬러띠 패턴(high-contrast color-stripe pattern), J. Tajima et al.의 무지개 패턴(rainbow pattern), D. Caspi et al.의 적응 컬러 구조광(adaptive color structured light), O. Hall-Holt et al.의 흑백경계코드(black/white boundary codes) 등이 있다.Representative technologies of the active vision method include color-encoded structured light by K.L. Boyer et al., P.S. Huang et al.'S color fringe pattern, C. Je et al's high-contrast color-stripe pattern, J. Tajima et al.'S rainbow pattern, Adaptive color structured light from D. Caspi et al., Black / white boundary codes from O. Hall-Holt et al.
상기와 같은 능동비전 기술들 중에서도 획득하고자 하는 영역의 넓이가 높이나 깊이 보다 상대적으로 큰 경우에는 정현파의 위상천이(phase shifting) 방식이 효과적이다.Among the active vision technologies, the sinusoidal phase shifting method is effective when the area to be acquired is relatively larger than the height or depth.
위상천이는 3차원 데이터 획득 분야에서 널리 알려진 기술이며, 다른 3차원 영상 기술과 함께 결합되는 경우도 많다. 위상천이는 모아레 간섭계(moire interferometry) 기술에서 정밀도를 높이기 위해 사용되기도 하고, 구조적 조명(structured lighting)에서 연속코딩을 위해 사용되기도 한다.Phase shifting is a well known technique in the field of 3D data acquisition, and is often combined with other 3D imaging techniques. Phase shifting can be used to increase precision in moire interferometry technology, or for continuous coding in structured lighting.
그 동안 정현파의 위상천이에 기반을 둔 다양한 위상복원 방식이 고안되었으며 이들을 응용한 거리영상획득 기술도 매우 다양하다. 위상천이 방식에서 위상의 복원은 주로 3~5개의 위상이 천이된 광도(intensity) 정보로부터 이루어지며, 가능한 위상천이 간격은 매우 제한적이다. Carre 등에 의해 위상천이 간격을 일정하게만 하면 그 값에는 제한이 적어지는 위상복원 방법들이 제안되기도 했으나, 쉽게 응용이 가능한 위상천이의 간격에는 아직까지도 제한이 많은 편이다.Various phase restoration methods based on the phase shift of sinusoids have been devised, and the range image acquisition technology applying them is also very diverse. In the phase shift method, the reconstruction of the phase is mainly performed from intensity information in which three to five phases are shifted, and the possible phase shift intervals are very limited. Although phase restoration methods have been proposed by Carre et al. That the value of the phase shift intervals is limited, the phase transition intervals that can be easily applied are still limited.
종래에 따르면 위상천이를 이용한 기술은 특허출원번호 제10-1997-0038312호, 제10-1997-0072162호, 제10-2000-0069549호, 제10-2002-0036183호, 및 제10-2002-0036848호에 제시된 바 있다.According to the prior art, a technique using a phase shift is disclosed in Patent Application Nos. 10-1997-0038312, 10-1997-0072162, 10-2000-0069549, 10-2002-0036183, and 10-2002- It was presented in 0036848.
상기와 같은 종래의 기술들은 다수의 영상에 위상천이를 이용하는 기술과 그에 따른 3차원 형상을 측정하는 기술에 대하여 서술하고 있다.The conventional techniques described above describe a technique of using phase shift in a plurality of images and a technique of measuring a three-dimensional shape.
그러나, 종래의 기술에 따르면 다수개의 위상천이 영상을 이용함으로써 거리영상을 획득할 때 위상의 천이와 관련한 여러 가지 문제점들이 발생하고 있다. 특히, 위상천이 간격에 있어서의 제한에 의해 응용의 제약이 발생하고, 위상천이를 하고 각 천이상태에서의 영상을 획득하는데 많은 시간이 소요되며, 다수의 영상을 처리하기 위해 많은 시간이 소요되는 문제점이 발생한다.However, according to the related art, various problems related to the phase shift occur when a distance image is obtained by using a plurality of phase shift images. In particular, there are limitations in application due to limitations in the phase shift intervals, it takes a lot of time to perform phase shifts and acquire images in each transition state, and it takes a long time to process a plurality of images. This happens.
한편, 최근의 거리영상 획득에 대한 산업적 응용은 점점 더 고속의 데이터 획득을 요구하고 있는데 종래의 기술은 그 요구에 부응하기 어려운 문제점이 있다.On the other hand, the recent industrial applications of the distance image acquisition is increasingly demanding data acquisition, the conventional technology has a problem that is difficult to meet the demand.
따라서, 거리영상 데이터 획득을 위해 필요한 영상의 개수를 대폭 줄일 수 있는 장치와 기술이 요구된다.Therefore, an apparatus and a technology capable of significantly reducing the number of images required for obtaining distance image data are required.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 2개 영상을 통하여 위상복원을 수행하고 그에 따라 거리영상을 획득하도록 하는 2개 영상을 이용한 비교적 정확한 거리영상 획득장치 및 방법을 제공하는데 있다. SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object thereof is to provide a relatively accurate distance image acquisition device and method using two images to perform phase restoration through two images and thereby obtain a distance image. To provide.
또한, 본 발명의 다른 목적은 2개 영상을 이용함으로써 영상획득 시간 및 영상처리 시간을 획기적으로 줄일 수 있는 2개 영상을 이용한 거리영상 획득장치 및 방법을 제공하는데 있다.Another object of the present invention is to provide an apparatus and method for obtaining distance images using two images, which can drastically reduce image acquisition time and image processing time by using two images.
또한, 본 발명의 또 다른 목적은 2개 영상을 기반으로 정현파의 위상천이를 적용하여 고해상도 데이터의 획득을 보다 쉽게, 보다 고속으로, 보다 적은 비용으로 구현할 수 있도록 하는 2개 영상을 이용한 거리영상 획득장치 및 방법을 제공하는 데 있다.In addition, another object of the present invention is to apply a phase shift of the sine wave based on the two images to obtain the distance image using the two images to make it easier, faster, and less expensive to obtain high resolution data An apparatus and method are provided.
상기의 목적을 달성하기 위한 본 발명의 제1 특징에 따르면, 대상물체와, 상기 대상물체에 조명패턴을 영사하는 조명모듈과, 상기 대상물체의 영상을 촬영하는 촬영모듈과, 상기 촬영모듈에 연결되어 촬영된 영상을 처리하여 거리영상을 획득하는 거리영상 복원모듈을 포함하여 구성된 2개 영상을 이용한 거리영상 획득장치에 있어서,According to a first aspect of the present invention for achieving the above object, an illumination module for projecting an illumination pattern on the object, a photographing module for photographing the image of the object, and connected to the photographing module In the distance image acquisition apparatus using two images comprising a distance image reconstruction module for processing the captured image to obtain a distance image,
상기 거리영상 복원모듈은 촬영된 영상의 임의의 위치에서의 제1 광도값들을 산출하는 제1 광도값 산출부와, 산출된 제1 광도값들에 대하여 감산처리를 행하는 제1 뺄셈기와, 상기 제1 뺄셈기의 결과에 설정된 값을 적용하여 제2 광도값들을 산출하는 제2 광도값 산출부와, 상기 제2 광도값 산출부의 결과에 역수처리를 행하는 역변환부와, 상기 제2 광도값 산출부의 결과와 상기 역변환부의 결과에 대하여 곱셈처리를 행하는 곱셈기와, 상기 곱셈기의 결과값을 통해 얻어진 위상 정보를 이용하여 대상물체의 거리영상을 획득하는 거리영상 복원부를 포함하여 구성된 것을 특징으로 하는 2개 영상을 이용한 거리영상 획득장치를 제공한다.The distance image reconstruction module includes: a first luminance value calculator for calculating first luminance values at an arbitrary position of the photographed image; a first subtractor for performing a subtraction process on the calculated first luminance values; A second brightness value calculator for calculating second brightness values by applying a value set to a result of the first subtractor, an inverse converter for performing reciprocal processing on the result of the second brightness value calculator, and the second brightness value calculator Two images comprising a multiplier performing a multiplication process on a result and a result of the inverse transform unit, and a distance image restoring unit obtaining a distance image of an object using phase information obtained through the multiplier result. It provides a distance image acquisition device using.
이때, 본 발명의 부가적인 특징에 따르면, 상기 거리영상 복원모듈은 상기 제2 광도값 산출부와 상기 역변환부 사이에 설치되어 상기 제2 광도값 산출부의 제2 광도값들에 대하여 가산처리를 행하는 덧셈기와, 상기 제2 광도값 산출부와 상기 곱셈기 사이에 설치되어 상기 제2 광도값 산출부의 제2 광도값들에 대하여 감산처리를 행하는 제2 뺄셈기를 더 포함하여 구성될 수 있다.In this case, according to an additional feature of the present invention, the distance image reconstruction module is installed between the second brightness value calculator and the inverse converter to perform an addition process on the second brightness values of the second brightness value calculator. And an adder and a second subtractor disposed between the second luminous intensity calculator and the multiplier to subtract the second luminous intensity values of the second luminous intensity calculator.
상기의 목적을 달성하기 위한 본 발명의 제2 특징에 따르면, 소정의 공간주파수()를 갖는 정현파 패턴을 조명모듈을 통해 위상을 달리하여 2회에 걸쳐 대상물체 표면에 영사한 후 그 장면을 촬영모듈로 촬영하는 제1 과정;According to a second aspect of the present invention for achieving the above object, a predetermined spatial frequency ( A first step of projecting a sinusoidal wave pattern having a) to a surface of an object two times by changing a phase through an illumination module and then photographing the scene with a photographing module;
제1 과정에서 촬영한 영상의 임의의 지점에서, 특정한 위상차에 따라 하기의 식과 같은 2개의 제1 광도값들을 얻는 제2 과정;A second process of obtaining two first luminance values according to a specific phase difference at an arbitrary point of the image photographed in the first process, according to the following equation;
제2 과정에서 얻어진 2개의 제1 광도값들에 대하여 감산처리를 행하여 하기의 식과 같은 값을 얻는 제3 과정;A third step of subtracting the two first brightness values obtained in the second step to obtain a value such as the following equation;
여기서, 이다.here, to be.
제3 과정에서 얻어진 식에 상기 지점에서 2개의 일정변위값 을 적용하여 하기의 식과 같은 2개의 제2 광도값들을 얻는 제4 과정;Two constant displacement values at the point in the equation obtained in the third step A fourth process of obtaining two second luminance values by the following equation;
제4 과정에서 얻어진 의 역수를 취해 값을 얻는 제5 과정;Obtained in the fourth step A fifth process of obtaining a value by taking an inverse of the number;
제4 과정에서 얻어진 과 제5 과정에서 얻어진 의 역수에 대하여 곱셈을 실행하여 하기의 식을 얻어 위상을 복원하는 제6 과정;Obtained in the fourth step Obtained in step 5 and Performing a multiplication on the reciprocal of to obtain the following equation to restore the phase;
상기에서 구해진 위상 정보를 토대로 기하학적 보정을 통해, 대상 물체의 거리영상을 획득하는 제7 과정을 포함하여 이루어지는 것을 특징으로 하는 2개 영상을 이용한 거리영상 획득방법을 제공한다.A distance image acquisition method using two images, comprising a seventh process of acquiring a distance image of a target object through geometric correction based on the obtained phase information.
이때, 본 발명의 부가적인 특징에 따르면, 상기 제1 과정에서 정현파 패턴들간의 위상차가 π인 것이 바람직하다.At this time, according to an additional feature of the present invention, it is preferable that the phase difference between the sinusoidal patterns in the first process is π.
또한, 본 발명의 또 다른 부가적인 특징에 따르면, 상기 제4 과정에서 주어진 제2 광도값의 식은 가 충분히 작을 때, 상기 지점으로부터 변위 만큼 떨어진 위치에서 주어지는 광도값에 관한 하기의 식이Further, according to another additional feature of the present invention, the equation of the second brightness value given in the fourth process is Is small enough, the displacement from the point The following equation for the intensity value given at
하기의 식으로 근사되는 결과를 이용한 것을 특징으로 하며,Characterized in that the results are approximated by the following equation,
여기서, 이고, 형상(geometry)이나 반사특성(reflectance)이 x에서 까지의 영역에서 급격하게 변하지 않는 것으로 가정하고 상기 를 으로 두는 것이 바람직하다.here, Where the geometry or reflection is at x Assuming that it does not change abruptly in the area up to To It is preferable to leave.
또한, 본 발명의 또 다른 부가적인 특징에 따르면, 설정된 2개의 값은 서로 π/2 의 위상차가 나는 것이 바람직하다.In addition, according to another additional feature of the invention, It is preferable that the values have a phase difference of π / 2 with each other.
또한, 본 발명의 또 다른 부가적인 특징에 따르면, 가 일반적인 값들일 때, 제4 과정에서 얻어진 2개의 제2 광도값들에 대하여 가산처리를 행하여 얻어진 값을 제5 과정에서 역수를 취하도록 하는 단계를 더 포함하는 것이 바람직하다.Furthermore, according to another additional feature of the invention, When is general values, it is preferable to further include the step of taking the reciprocal in the fifth process the value obtained by performing the addition process on the two second luminous intensity values obtained in the fourth process.
또한, 본 발명의 또 다른 부가적인 특징에 따르면, 가 일반적인 값들일 때, 제6 과정의 곱셈처리를 실행하기 전에, 상기 제4 과정에서 얻어진 2개의 제2 광도값들에 대하여 감산처리를 행한 후 제6 과정으로 넘겨주는 단계를 더 포함하는 것이 바람직하다.Furthermore, according to another additional feature of the invention, When is general values, before performing the multiplication process of the sixth process, it is preferable to further include performing a subtraction process on the two second luminous intensity values obtained in the fourth process and then passing over to the sixth process. Do.
본 발명의 상술한 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해, 첨부된 도면을 참조하여 후술되는 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.The above objects and various advantages of the present invention will become more apparent from the preferred embodiments of the present invention described below with reference to the accompanying drawings by those skilled in the art.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하고자 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
첨부도면 도 1은 본 발명의 2개 영상을 이용한 거리영상 획득 장치의 개략적인 구성을 나타내는 도면이고, 도 2는 도 1의 2개 영상을 이용한 거리영상 획득장치에서 거리영상 복원모듈의 구성을 개략적으로 나타내는 블록도이며, 도 3은 3개 정현파 위상천이의 각 광도 분포곡선과 각 패턴영상을 나타내는 도면이며, 도 4는 정현파 조명패턴을 대상물체의 표면에 영사하여 카메라로 촬영한 영상을 나타내는 도면이며, 도 5는 도 4의 영상에서 위상을 복원하기 위해 2개 위치에서 광도값을 취하는 방식을 나타내는 도면이다.1 is a view showing a schematic configuration of a distance image acquisition device using two images of the present invention, Figure 2 is a schematic view of the configuration of a distance image restoration module in the distance image acquisition device using the two images of FIG. Fig. 3 is a diagram showing the luminosity distribution curves and three pattern images of three sinusoidal phase shifts, and Fig. 4 is a view showing images taken by a camera by projecting the sine wave illumination pattern onto the surface of an object. FIG. 5 is a diagram illustrating a method of taking luminance values at two positions to restore phase in the image of FIG. 4.
상기 첨부도면 도 1을 참조하면, 대상물체(100)와, 상기 대상물체(100)에 조명패턴을 영사하는 조명모듈(200)과, 상기 대상물체(100)의 영상을 획득하는 촬영모듈(300) 및 상기 촬영모듈(300)에 연결되어 상기 대상물체(100)의 영상으로부터 거리영상을 획득하는 거리영상 복원모듈(400)이 구비된다.Referring to FIG. 1, the object object 100, an illumination module 200 for projecting an illumination pattern onto the object object 100, and a photographing module 300 for acquiring an image of the object object 100. And a distance image restoration module 400 connected to the photographing module 300 to obtain a distance image from the image of the target object 100.
이때, 상기 조명모듈(200)은 조명 소스, 조명 패턴, 렌즈, 거울, 프리즘, 필터 등의 적절한 조합을 포함하며, 촬영모듈(300)은 카메라, 렌즈, 필터 등의 적절한 조합을 포함하게 된다.In this case, the illumination module 200 includes an appropriate combination of an illumination source, an illumination pattern, a lens, a mirror, a prism, a filter, and the like, and the photographing module 300 includes an appropriate combination of a camera, a lens, a filter, and the like.
상기 조명모듈(200)에서는 도 3에 도시된 바와 같은 정현파 패턴이 영사되게 되는데, 정현파 패턴은 빔 프로젝터, 격자 슬라이드 등 다양한 종류의 조명 시스템에 의해 생성될 수 있다.In the illumination module 200, a sine wave pattern as shown in FIG. 3 is projected. The sine wave pattern may be generated by various types of lighting systems such as a beam projector and a grating slide.
본 발명에서는 정현파 패턴이 조명모듈(200)로부터 대상물체(100)에 영사되었을 때, 촬영모듈(300)로 그 장면을 촬영한다. 이 동작에 의해 도 4에 도시된 바와 같은 영상이 얻어지며, 거리영상 복원모듈(400)에서 그 영상을 분석하여 영상의 각 지점(픽셀)에서의 위상(phase)을 복원하여 이를 바탕으로 대상 물체의 거리 영상을 획득하게 된다.In the present invention, when the sine wave pattern is projected from the illumination module 200 to the object 100, the scene is captured by the photographing module 300. By this operation, an image as shown in FIG. 4 is obtained, and the distance image restoration module 400 analyzes the image to restore a phase at each point (pixel) of the image and based on the target object. A distance image of is obtained.
일반적인 정현파 위상천이 방식에서는 도 3에 도시된 바와 같이 임의의 위치에서의 광도값()이 위상천이에 따라 달라진다.In the general sinusoidal phase shift method, as shown in FIG. ) Depends on the phase shift.
이 식에서 a, b는 상수, x는 위치좌표, 는 x 위치에서의 위상값, 는 각 위상천이에서의 천이값을 나타낸다. 여기서 3개의 미지수, a, b, 가 있으므로, 위상을 복원하기 위해서는 일반적으로 3개 이상의 식이 필요하다. 즉, 동일 위치에서 얻은 3개 이상의 위상천이 광도 정보가 필요한 것이다.Where a, b are constants, x is a positional coordinate, Is the phase value at position x, Represents a transition value in each phase shift. Where three unknowns, a, b, Therefore, three or more equations are generally required to restore the phase. That is, three or more phase shift luminance information obtained at the same position is required.
잘 알려진 3개 위상천이의 위상은 아래 식으로 구할 수 있다.The phases of three well known phase shifts can be obtained by the following equation.
여기서 3개의 천이값은 이다. 이렇게 해서 일반적으로 3개 이상의 위상천이로 각각의 영상을 얻으면, 이를 통해 각 위치에서의 위상을 복원할 수 있다. 위상을 복원한 뒤에는 적절한 기하학적 보정(geometric calibration)을 통해 거리영상을 획득할 수 있다.Where the three transitions are to be. In this way, if each image is generally obtained by three or more phase shifts, it is possible to restore the phase at each position. After reconstructing the phase, distance images can be acquired through appropriate geometric calibration.
본 발명에서는 2개의 영상으로부터 위상을 복원하고자 한다. 우선 충분히 높은 공간주파수()를 갖는 정현파 패턴을 사용한다. 이 패턴을 대상 표면에 영사한 후 그 장면을 카메라로 촬영한다. 그 뒤, 상기 거리영상 복원모듈(400)을 통해 상기 대상물체(100)의 거리영상이 획득된다.In the present invention, to restore the phase from the two images. First, a sufficiently high spatial frequency ( Use a sinusoidal pattern with Project this pattern onto the target surface and shoot the scene with a camera. Thereafter, the distance image of the object 100 is obtained through the distance image restoration module 400.
상기 첨부도면 도 2를 참조하여 상기 거리영상 복원모듈(400)의 구성과 기능을 상세히 설명하면, 도면번호 410은 제1 광도값 산출부, 420은 제1 뺄셈기(Subtracter), 430은 제2 광도값 산출부, 440은 덧셈기(Adder), 450은 역변환부, 460은 제2 뺄셈기, 470은 곱셈기(Multiplier) 및 480은 거리영상 복원부를 나타낸다.Referring to FIG. 2, the configuration and function of the distance image restoration module 400 will be described in detail. Reference numeral 410 denotes a first luminance value calculator, 420 denotes a first subtracter, and 430 denotes a second. A luminance value calculator, 440 is an adder, 450 is an inverse transformer, 460 is a second subtractor, 470 is a multiplier, and 480 is a distance image reconstruction unit.
먼저, 상기 조명모듈(200)은 서로 위상차를 갖는 정현파 패턴을 2회에 걸쳐 대상물체에 영사하고, 촬영모듈(300)은 그 결과로 생긴 각 영상을 촬영한다. 상기 위상차는 π인 것이 바람직하다. 그 뒤, 상기 거리영상 복원모듈(400)의 제1 광도값 산출부(410)는 아래의 수학식 1을 기반으로, 촬영한 각 영상의 위치 x에서의 제1 광도값들을 산출한다. First, the illumination module 200 projects a sine wave pattern having a phase difference to each other twice on the object, and the photographing module 300 photographs each resultant image. It is preferable that the said phase difference is (pi). Thereafter, the first luminance value calculator 410 of the distance image reconstruction module 400 calculates the first luminance values at the position x of each image photographed based on Equation 1 below.
이때, 상기 정현파 패턴들 간의 위상차가 π라면 상기 제1 광도값 산출부(410)는 In this case, when the phase difference between the sinusoidal patterns is π, the first intensity value calculator 410
인 제1 광도값들을 얻는다.First luminous intensity values are obtained.
여기서 x를 두면 이차원 좌표로 확장이 가능하다.Where x It can be expanded to two-dimensional coordinates.
상기 제1 뺄셈기(420)는 제1 광도값 산출부(410)에서 얻어진 2개의 값들 중 하나의 값에서 나머지 값을 빼 아래의 수학식 2와 같은 값을 산출한다.The first subtractor 420 subtracts the remaining value from one of the two values obtained by the first luminance value calculator 410 to calculate a value as shown in Equation 2 below.
상기 수학식 2는 에서 로 정의하여 산출된 값이다.Equation 2 is in It is calculated by defining.
상기 제2 광도값 산출부(430)는 제1 뺄셈기(420)에서 산출된 상기 수학식 2를 기반으로 x에서 충분히 작은 일정 변위 만큼 떨어진 위치에서의 광도값을 나타내는 아래의 수학식 3을 산출하고 미리 설정된 값 2개를 적용하여 제2 광도값들을 산출한다.The second brightness value calculator 430 has a constant displacement small enough at x based on Equation 2 calculated by the first subtractor 420. Equation 3 below, which represents the luminance values at the positions separated by The second luminance values are calculated by applying two values.
상기 수학식 3의 산출과정을 자세히 설명하면, x에서 일정 변위 만큼 떨어진 위치를 상기 수학식 2에 적용하여 가 되고, 가 충분히 작은 값이므로 근사(approximation)된 수학식 3이 산출된다. 이때, 이고, 형상(geometry)이나 반사특성(reflectance)이 x에서 까지의 영역에서 급격하게 변하지 않는 것으로 가정한다.Referring to the calculation process of Equation 3 in detail, the constant displacement in x By applying a position separated by Become, Since is a sufficiently small value, an approximated equation (3) is calculated. At this time, Where the geometry or reflection is at x It is assumed that it does not change drastically in the area up to.
상기 미리 설정된 각 값에 의하여 의 값이 정의되고, 상기 값을 로 두면 아래와 같은 제2 광도값들을 얻을 수 있다.The preset angle By value Is defined, and Value By setting the second luminance values as follows.
즉,In other words,
를 얻는다.Get
상기 덧셈기(440)는 제2 광도값 산출부(430)에서 얻어진 제2 광도값들을 서로 더한다. The adder 440 adds the second luminance values obtained by the second luminance value calculator 430 to each other.
상기 역변환부(450)는 덧셈기(440)에서 얻어진 결과에 역수를 취해 를 산출한다.The inverse transform unit 450 takes an inverse of the result obtained by the adder 440. To calculate.
상기 제2 뺄셈기(460)는 제2 광도값 산출부(430)에서 얻어진 제2 광도값들 중 하나의 값에서 나머지 값을 빼는 연산을 한다. The second subtractor 460 subtracts the remaining value from one of the second luminance values obtained by the second luminance value calculator 430.
상기 곱셈기(470)는 역변환부(450)의 결과값과 제2 뺄셈기(460)의 결과값을 곱한다.The multiplier 470 multiplies the result of the inverse transformer 450 and the result of the second subtractor 460.
즉, 아래의 수학식 4와 같은 값을 산출한다.That is, the same value as in Equation 4 below is calculated.
여기서, 경우에 따라 정현파 패턴의 공간주파수를 조절할 수 있으므로, 일 때, 상기 곱셈기(470)는 상기 덧셈기(440)와 제2 뺄셈기(460) 없이 상기 제2 광도값 산출부(430) 및 역변환부(450)의 결과값을 이용하여 아래의 수학식 5와 같은 계산량이 적은 위상복원 등식에 의해 위상값을 산출할 수 있다.Here, since the spatial frequency of the sine wave pattern can be adjusted in some cases, In this case, the multiplier 470 uses Equation 5 below without using the adder 440 and the second subtractor 460 using the result values of the second luminance value calculator 430 and the inverse transformer 450. The phase value can be calculated by a phase restoration equation with a small amount of calculation.
즉, 이면 가 되고, 이면 가 된다.In other words, Back side Become, Back side Becomes
상기 는 이므로, 가 되어 상기 수학식 5가 얻어진다.remind Is Because of, Equation 5 is obtained.
상기 거리영상 복원부(480)는 곱셈기(470)의 결과값을 통해 얻어진 위상 정보를 토대로 적절한 기하학적 보정을 실시하여 대상 물체의 거리영상을 획득한다.The distance image reconstructor 480 obtains the distance image of the target object by performing an appropriate geometric correction based on the phase information obtained through the result value of the multiplier 470.
이상의 본 발명은 상기에 기술된 실시예들에 의해 한정되지 않고, 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.The present invention is not limited to the embodiments described above, and various modifications and changes can be made by those skilled in the art, which are included in the spirit and scope of the present invention as defined in the appended claims.
예를 들어, 본 발명에서 제안된 위상복원 방식 및 이를 통한 거리영상의 획득은 2개 이상의 정현파 패턴이 중첩된 간섭계에도 역시 적용이 가능하다. 또한, 보다 정확한 위상 및 거리영상 획득을 위해, 조명 구성품 일체, 카메라 구성품 일체, 대상물체 중 일부의 변이를 통한 2개 이상의 위상 또는 거리영상 데이터를 획득하고, 이를 토대로 보다 정확한 위상 또는 거리영상 획득이 가능하다.For example, the phase restoration method proposed in the present invention and the acquisition of the distance image through the same can also be applied to an interferometer in which two or more sinusoidal patterns overlap. In addition, in order to obtain a more accurate phase and distance image, two or more phase or distance image data are acquired through variation of all the lighting components, all the camera components, and the object, and based on this, more accurate phase or distance image acquisition is obtained. It is possible.
이상에서 살펴본 바와 같이, 본 발명에 의한 2개 영상을 이용한 거리영상 획득 장치 및 방법을 적용하면, 2개 영상에서 위상천이를 기반으로 비교적 정확한 위상 및 거리영상 획득을 할 수 있게 되는 효과가 있다.As described above, if the distance image acquisition apparatus and method using the two images according to the present invention is applied, it is possible to obtain a relatively accurate phase and distance image based on the phase shift in the two images.
또한, 그에 따라, 위상복원을 위해 종래에는 최소 3개 이상의 영상이 필요했던 정현파의 위상천이 방식에서 2개의 영상에서 비교적 정확한 고해상도 위상 및 거리영상을 획득할 수 있게 되었으며, 이를 통해 보다 적은 비용, 보다 짧은 처리 시간에 보다 용의한 방식으로 비교적 정확한 고해상도 위상 및 거리영상 획득이 가능하게 되는 효과가 있다.In addition, it is possible to obtain relatively accurate high resolution phase and distance images from two images in the sinusoidal phase shifting method, which requires at least three images in order to restore the phase. It is possible to obtain a relatively accurate high resolution phase and distance image acquisition in a more easy manner in a short processing time.
또한, 그에 따라, 위상복원 기술을 활용하는 분야의 다양성을 높이게 되는 효과가 있다.In addition, accordingly, there is an effect of increasing the diversity of the field utilizing the phase restoration technology.
도 1은 본 발명의 2개 영상을 이용한 거리영상 획득장치의 개략적인 구성을 나타내는 도면1 is a view showing a schematic configuration of a distance image acquisition device using two images of the present invention
도 2는 도 1의 2개 영상을 이용한 거리영상 획득장치에서의 거리영상 복원모듈의 구성을 개략적으로 나타내는 블록도FIG. 2 is a block diagram schematically illustrating a configuration of a distance image restoration module in an apparatus for obtaining distance images using two images of FIG. 1;
도 3은 3개 정현파 위상천이의 각 광도 분포곡선과 각 패턴영상을 나타내는 도면3 is a diagram illustrating each luminance distribution curve and each pattern image of three sinusoidal phase shifts.
도 4는 정현파 조명패턴을 대상물체의 표면에 영사하여 카메라로 촬영한 영상을 나타내는 도면4 is a view illustrating an image captured by a camera by projecting a sine wave illumination pattern onto a surface of an object;
도 5는 도 4의 영상에서 위상을 복원하기 위해 2개 위치에서 광도값을 취하는 방식을 나타내는 도면FIG. 5 is a diagram illustrating a method of taking luminance values at two positions to restore phase in the image of FIG. 4. FIG.
< 도면의 주요 부분에 대한 부호의 설명 ><Description of Symbols for Main Parts of Drawings>
100 : 대상물체 200 : 조명모듈100: object 200: lighting module
300 : 촬영모듈 400 : 거리영상 복원모듈300: recording module 400: distance image restoration module
410 : 제1 광도값 산출부 420 : 제1 뺄셈기(Subtracter)410: first brightness value calculator 420: first subtractor
430 : 제2 광도값 산출부 440 : 덧셈기(Adder)430: second brightness value calculator 440: adder
450 : 역변환부 460 : 제2 뺄셈기450: inverse transform unit 460: second subtractor
470 : 곱셈기(Multiplier) 480 : 거리영상복원부470: Multiplier 480: Distance Image Restoration Unit
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050101929A KR100585272B1 (en) | 2005-10-27 | 2005-10-27 | Monochrome sinusoidal pattern phase shifting based system and method for range imaging from two images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050101929A KR100585272B1 (en) | 2005-10-27 | 2005-10-27 | Monochrome sinusoidal pattern phase shifting based system and method for range imaging from two images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050107376A true KR20050107376A (en) | 2005-11-11 |
| KR100585272B1 KR100585272B1 (en) | 2006-05-30 |
Family
ID=37283970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020050101929A KR100585272B1 (en) | 2005-10-27 | 2005-10-27 | Monochrome sinusoidal pattern phase shifting based system and method for range imaging from two images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100585272B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100585270B1 (en) * | 2005-12-14 | 2006-05-30 | 에이티아이 주식회사 | System and method for obtaining shape and color information of object surfaces from two images |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230123628A (en) | 2022-02-17 | 2023-08-24 | 서강대학교산학협력단 | Method for generating hierarchical sinusoidal structured-light pattern and structured-light system using the method thereof |
-
2005
- 2005-10-27 KR KR1020050101929A patent/KR100585272B1/en not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100585270B1 (en) * | 2005-12-14 | 2006-05-30 | 에이티아이 주식회사 | System and method for obtaining shape and color information of object surfaces from two images |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100585272B1 (en) | 2006-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang | Absolute phase retrieval methods for digital fringe projection profilometry: A review | |
| Zhang | Phase unwrapping error reduction framework for a multiple-wavelength phase-shifting algorithm | |
| US20120176478A1 (en) | Forming range maps using periodic illumination patterns | |
| EP1643210A1 (en) | Method and apparatus for measuring shape of an object | |
| JP6418884B2 (en) | Three-dimensional measuring apparatus, three-dimensional measuring method and program | |
| JP3690212B2 (en) | 3D shape measurement method | |
| CN108596008B (en) | Face shake compensation method for three-dimensional face measurement | |
| Koninckx et al. | Scene-adapted structured light | |
| CN110595388B (en) | High-dynamic real-time three-dimensional measurement method based on binocular vision | |
| Flores et al. | 3D-shape of objects with straight line-motion by simultaneous projection of color coded patterns | |
| Chen et al. | Shape measurement using one frame projected sawtooth fringe pattern | |
| KR100752545B1 (en) | System for obtaining shape and reflectance information of object surfaces from two images | |
| CN113237437B (en) | Structured light three-dimensional morphology measurement method and device based on phase coding element | |
| KR100585272B1 (en) | Monochrome sinusoidal pattern phase shifting based system and method for range imaging from two images | |
| Zhou et al. | Three-dimensional shape measurement using color random binary encoding pattern projection | |
| KR100714821B1 (en) | Method for range imaging from a single image | |
| Xu et al. | Realtime 3D profile measurement by using the composite pattern based on the binary stripe pattern | |
| KR100585270B1 (en) | System and method for obtaining shape and color information of object surfaces from two images | |
| KR101555027B1 (en) | Appapatus for three-dimensional shape measurment and method the same | |
| CN109414161A (en) | Imaging device in extended depth-of-field mouth | |
| Feng et al. | Robust structured-light depth mapping via recursive decomposition of binary codes | |
| Bae et al. | 3-D reconstruction of human face using the derivative moiré topography | |
| Wang et al. | High dynamic range 3D shape measurement based on multispectral imaging | |
| Bräuer-Burchardt et al. | Phase error analysis and compensation in fringe projection profilometry | |
| KR101765257B1 (en) | Method for acquiring three dimensional image information, and computing device implementing the samemethod |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20090525 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |