KR101594309B1 - 3D distance measuring system and 3D distance measuring method - Google Patents

3D distance measuring system and 3D distance measuring method Download PDF

Info

Publication number
KR101594309B1
KR101594309B1 KR1020140182136A KR20140182136A KR101594309B1 KR 101594309 B1 KR101594309 B1 KR 101594309B1 KR 1020140182136 A KR1020140182136 A KR 1020140182136A KR 20140182136 A KR20140182136 A KR 20140182136A KR 101594309 B1 KR101594309 B1 KR 101594309B1
Authority
KR
South Korea
Prior art keywords
distance
lens
pinhole
light
image sensor
Prior art date
Application number
KR1020140182136A
Other languages
Korean (ko)
Inventor
이병수
Original Assignee
주식회사 템퍼스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 템퍼스 filed Critical 주식회사 템퍼스
Priority to KR1020140182136A priority Critical patent/KR101594309B1/en
Application granted granted Critical
Publication of KR101594309B1 publication Critical patent/KR101594309B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details

Abstract

The present invention relates to a three-dimensional distance measurement system and a three-dimensional distance measurement method using the same, wherein the three-dimensional distance measurement system estimates a distance using a simple algorithm and estimates the distance from a conductive subject with a flat wall surface without using an additional light source. The three-dimensional distance measurement system comprises: a lens enabling light to pass through at least a part of the conductive subject; an image sensor including a plurality of pixels arranged in a distance farther than a focus distance determined by the lens and the conductive subject; a rotation plate arranged on the focus distance, including at least a pin hole and a multi-band pass filter; and a control unit calculating a distance value between the conductive subject and the lens from the distance value between the rotation plate and the image sensor when a near-field diffraction pattern forms a predetermined pattern by analyzing the near-field diffraction pattern of light passing through the at least pin hole.

Description

3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법{3D distance measuring system and 3D distance measuring method}[0001] The present invention relates to a three-dimensional distance measuring system and a three-dimensional distance measuring method using the same,

본 발명은 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법에 관한 것으로서, 더 상세하게는 카메라를 사용하여 카메라에 나타나는 전도성을 가진 피사체의 각 부분과 카메라와의 거리를 추정하고, 3차원 거리 지도(3D distance map)를 작성할 수 있는 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법에 관한 것이다.The present invention relates to a three-dimensional distance measuring system and a three-dimensional distance measuring method using the same, and more particularly, to a three-dimensional distance measuring system for estimating a distance between each part of a subject having conductivity, And a 3D distance measurement method using the 3D distance measurement system.

물체의 거리 인식은 자동차나 게임 등에서 응용되고 있는 기술로, 카메라에 나타나는 각각의 물체의 거리를 측정하여 3차원 거리 지도를 작성하는 방식을 사용한다. 물체의 거리 인식의 응용 예는, 예를 들어서 자동차 전면에 장착되어 앞 차와의 거리를 추정하거나 갑자기 나타나는 보행자의 거리를 추정하여 충돌의 위험을 경고하는 등의 응용으로 도입되고 있는 기술이다. MS는 X-box에 사용자와 주위 환경의 거리를 인식하는 시스템을 사용하여, 근거리에 있는 사용자의 동작에 따라 반응하는 게임 등을 출시하고 있다.Distance recognition of objects is a technique applied in automobiles and games. It uses a method of creating a three-dimensional distance map by measuring the distance of each object appearing in the camera. An example of the application of the distance recognition of an object is a technique which is installed in the front of a car, for example, to estimate the distance to the front car or to estimate the distance of a sudden pedestrian to warn of the risk of collision. Microsoft is launching a game that responds to the user's movements in close proximity, using a system that recognizes the distance between the user and the surrounding environment in the X-box.

3차원 거리를 추정하는 방식은 광원을 사용하는 액티브(active) 방식과 광원을 사용하지 않는 패시브(passive) 방식으로 구분할 수 있다. 액티브 방식에는 레이저를 순간적으로 조사하고 반사되는 빛이 카메라에 도달하는 시간을 측정하는 ToF(time of flight) 방식이 주로 사용된다. 레이저의 반사가 일어나는 이미지 상의 모든 점들의 거리를 추정할 수 있는 가장 우수한 방식으로 인정되지만 강한 레이저 광원이 필요하므로 사람과 같이 인체에 적용하기 어려워서 주로 군사용이나 지리측정 등의 한정된 용도에 사용되고 있다. 이에 대한 대안으로 일정한 패턴(pattern)광을 피사체에 조사하고 피사체의 거리에 따라 변형되는 광의 패턴으로부터 거리를 구하는 방식을 사용하는 경우(예: MS의 X-box에 채용된 키넥트)는 다음과 같다. 예를 들면, 몇 개의 IR 레이저 포인터(laser pointer)를 물체에 조사하여 물체의 거리에 따라 변형된 레이저 포인터의 위치를 추정하여 근접한 물체의 거리를 추정하는 방식을 사용한다. 따라서 비교적 간단한 시스템 구성과 거리 추정 알고리즘이 사용되는 장점이 있다. 반면에 외부 광이 강하지 않은 실내에서도 동작이 가능하지만, 실내의 환경에서도 거리를 추정할 수 있는 점이 몇 개의 한정된 점에 불과하여 정밀한 동작을 인식할 수 없다. 또 태양에 의한 강한 적외선이 조사되고 있는 실외 환경에서는 적용이 어렵다는 문제점이 있다.The three-dimensional distance estimation method can be classified into an active method using a light source and a passive method using no light source. In the active mode, a time-of-flight (ToF) method is used in which the laser is momentarily irradiated and the time at which the reflected light reaches the camera is mainly used. It is recognized as the best way to estimate the distance of all the points on the image where the reflection of the laser occurs but it is difficult to apply to human body like a human because it requires a strong laser light source and is mainly used for limited use such as military or geographical measurement. As an alternative to this, in the case of using a method of irradiating a certain pattern light to a subject and obtaining a distance from the pattern of light that is deformed according to the distance of the subject (for example, a keynote employed in MS's X-box) same. For example, a method of estimating the distance of a nearby object by estimating the position of a deformed laser pointer by irradiating several IR laser pointers to the object, is used. Therefore, there is an advantage that a relatively simple system configuration and a distance estimation algorithm are used. On the other hand, although it is possible to operate in a room where the external light intensity is not strong, a precise operation can not be recognized because only a limited number of points can be estimated in the indoor environment. In addition, it is difficult to apply in an outdoor environment in which strong infrared rays due to the sun are being irradiated.

패시브 방식은 별도의 광원을 사용하지 않고, 조명이나 태양광 등의 일상적 광원에 의하여 피사체에서 반사되는 빛을 사용하는 방법으로서, 스테레오 카메라(stereo camera)가 가장 일반적으로 사용된다. 스테레오 카메라는 하나의 물체에서 나오는 빛이 서로 일정한 거리를 유지하는 두 개 이상의 카메라에 투사될 때, 물체의 거리에 따라 시차가 발생한다는 것을 이용한다. 시차를 가진 두 이미지 상에 나타나는 하나의 동일한 물체의 거리 추정은 하나의 이미지를 기준으로 다른 이미지 상에 동일한 물체가 얼마만큼의 이동이 발생하였는가를 계산하는 패턴 매칭(pattern matching)을 사용한다. 서로 다른 두 이미지에서 나타나는 동일 물체를 찾는 것은 고도의 지능적인 알고리즘이 필요하고 계산 양이 많으며, 두 카메라를 정확히 얼라인(align)시키는 것이 어려워서 카메라의 미스 얼라인(mis-align, 카메라의 이동, 회전, 렌즈 왜곡 등)에 의한 복잡한 보상이 필요하여 상용화하기에는 어려운 점이 있다. 이를 개선하기 위하여 하나의 카메라를 사용하여 스테레오 카메라와 동일한 동작을 할 수 있는 여러 가지의 방식들이 제안되었다. 실현된 기술 중의 하나는, 하나의 렌즈 하부에 다수 개의 중간렌즈를 배치하는 방식이다. 이 방식은 피사체의 이미지가 중간 렌즈에 의하여 여러 위치에 나타나고, 각각의 중간렌즈에 나타나는 동일 물체들의 시차를 패턴 매칭을 사용하여 거리를 추정하는 방식이다. 이 방식은 시스템의 광학적 구성이 간단하고 렌즈나 이미지센서의 정렬 등에 대한 보정이 필요 없으며, 각각의 중간렌즈에 나타나는 패턴이 적어서 패턴 매칭을 하기 쉬운 장점이 있어서 계산의 양은 줄어들지만, 하나의 물체에 대하여 다수의 동일 이미지가 나타나므로 패턴 매칭의 계산에 중복되는 연산이 필요하다. 또한, 패턴 매칭을 사용하는 방식의 근본적인 문제로 제기되는 이미지의 엣지(edge)의 거리 정보만을 포함하므로 평평한 물체(예: 동일한 생삭의 벽 등)의 거리를 추정할 수 없다는 근본적인 문제가 있다.In the passive method, a stereo camera is most commonly used as a method of using light reflected from an object by a usual light source such as illumination or sunlight without using a separate light source. Stereo cameras use the fact that when the light from one object is projected onto two or more cameras that maintain a certain distance from each other, parallax occurs according to the distance of the object. Distance estimation of one and the same object appearing on two images with parallax uses pattern matching to calculate how much of the same object has moved on another image based on one image. Finding the same object in two different images requires highly intelligent algorithms, computationally intensive, and it is difficult to align both cameras correctly, so mis-aligning the camera, Rotation, lens distortion, etc.), which is difficult to commercialize. In order to improve this, various methods have been proposed which can perform the same operation as a stereo camera using one camera. One of the realized techniques is a method of disposing a plurality of intermediate lenses under one lens. In this method, the image of the subject appears at various positions by the intermediate lens, and the distance between the same objects appearing in each intermediate lens is estimated by pattern matching. This method has a simple optical system configuration and does not require correction for the alignment of the lens or image sensor. It has the advantage of easy pattern matching because of the small number of patterns appearing in each intermediate lens, so that the amount of calculation is reduced. However, It is necessary to perform an operation that overlaps the calculation of the pattern matching. In addition, there is a fundamental problem that it is impossible to estimate the distance of a flat object (for example, a wall of the same spike) because it contains only the distance information of an edge of an image which is a fundamental problem of a method of using pattern matching.

한국공개특허 제 10-1995-7004670호 (1995.11.20.)Korean Patent Laid-Open No. 10-1995-7004670 (November 20, 1995)

본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 별도의 광원을 사용하지 않고 평평한 벽면을 갖는 전도성 피사체에서도 거리를 추정할 수 있으며, 간단한 알고리즘을 사용하여 거리 추정이 가능한 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법에 관한 것이다. 그러나, 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a method and apparatus for estimating a distance in a conductive object having a flat wall without using a separate light source, Distance measuring system and a three-dimensional distance measuring method using the same. However, these problems are illustrative and do not limit the scope of the present invention.

본 발명의 일 관점에 따르면, 3차원 거리 측정 시스템은 전도성 물체의 적어도 어느 일 부분에서 나오는 빛을 통과시킬 수 있는 렌즈(lens); 다수의 픽셀(pixel)들을 구비하며, 상기 전도성 물체와 상기 렌즈에 의해 정해진 초점거리보다 더 먼 거리에 배치된, 이미지센서; 상기 초점거리 내에 배치되고, 적어도 하나의 핀 홀 및 멀티밴드패스필터(multi-band pass filter)를 구비하는 회절판; 및 상기 적어도 하나의 핀 홀을 통과하는 빛의 근접 장 회절 패턴(Near-Field Diffraction)을 분석하여 상기 근접 장 회절 패턴이 일정한 패턴을 형성할 때의 상기 회절판과 상기 이미지센서 사이의 거리 값으로부터 상기 전도성 물체와 상기 렌즈 사이의 거리 값을 연산할 수 있는, 제어부;를 포함할 수 있다.According to one aspect of the present invention, a three-dimensional distance measurement system includes: a lens capable of passing light from at least a portion of a conductive object; An image sensor having a plurality of pixels and disposed at a greater distance than the focal distance defined by the conductive object and the lens; A diffraction plate disposed within the focal distance and having at least one pinhole and a multi-band pass filter; And a near-field diffraction pattern of light passing through the at least one pinhole to determine a near field diffraction pattern from a distance value between the diffraction plate and the image sensor when the near- And a controller for calculating a distance value between the conductive object and the lens.

상기 회절판을 이동시킬 수 있는 구동부;를 더 포함할 수 있다.And a driving unit for moving the bifurcation plate.

상기 제어부는 상기 구동부를 제어함으로써, 상기 구동부에 의해 가변되는 상기 회절판의 상기 적어도 하나의 핀 홀을 통과하는 빛의 근접 장 회절 패턴의 변화를 분석할 수 있다.The control unit may analyze the change of the near field diffraction pattern of light passing through the at least one pin hole of the diffraction plate, which is varied by the driving unit, by controlling the driving unit.

상기 멀티밴드패스필터는 서로 인접한 파장대를 갖는 상기 빛에 의한 간섭을 줄일 수 있다.The multi-band pass filter can reduce the interference caused by the light having the adjacent wavelength band.

본 발명의 다른 관점에 따르면, 상술한 3차원 거리 측정 시스템을 이용한 3차원 거리 측정 방법으로서, 상기 전도성 물체의 적어도 어느 일부분에서 나오는 빛이 상기 렌즈를 거쳐 상기 적어도 하나의 핀 홀을 통과하여 상기 이미지센서에 도달하는 단계; 및 상기 제어부에서, 상기 적어도 하나의 핀 홀을 통과하는 빛의 근접 장 회절 패턴을 분석하여 상기 근접 장 회절 패턴이 일정한 패턴을 형성할 때의 상기 회절판과 상기 이미지센서 사이의 거리 값으로부터 상기 전도성 물체와 상기 렌즈 사이의 거리 값을 연산하는 단계;를 포함할 수 있다.According to another aspect of the present invention, there is provided a three-dimensional distance measuring method using the above-described three-dimensional distance measuring system, wherein light emitted from at least a part of the conductive object passes through the lens through the at least one pin hole, Reaching the sensor; And analyzing a near field diffraction pattern of light passing through the at least one pinhole from the distance value between the diffraction plate and the image sensor when the near field diffraction pattern forms a constant pattern, And calculating a distance value between the object and the lens.

상기 제어부에서 연산하는 상기 전도성 물체와 상기 렌즈 사이의 거리 값은 상기 핀 홀의 중심의 상부에 맺힌 초점에 의한 상기 근접 장 회절 패턴을 분석함으로써 연산될 수 있다.The distance value between the conductive object calculated by the control unit and the lens can be calculated by analyzing the near field diffraction pattern by a focus formed on the upper portion of the center of the pin hole.

상기 전도성 물체와 상기 렌즈 사이의 거리 값은 상기 이미지센서에 의해 얻어진 이미지 상의 상기 핀 홀의 중심점의 거리에 대응될 수 있다.The distance value between the conductive object and the lens may correspond to the distance of the center point of the pin hole on the image obtained by the image sensor.

상기 적어도 하나의 핀 홀을 통과하는 빛에 의해 감지되는 상기 픽셀 값으로부터 상기 빛의 컬러 값을 얻을 수 있다.A color value of the light can be obtained from the pixel value sensed by light passing through the at least one pinhole.

본 발명의 또 다른 관점에 따르면, 상술한 3차원 거리 측정 시스템을 이용한 3차원 거리 측정 방법으로서, 상기 전도성 물체의 적어도 어느 일부분에서 나오는 빛이 상기 렌즈를 거쳐 상기 적어도 하나의 핀 홀을 통과하여 상기 이미지센서에 도달하는 단계; 및 상기 제어부에서, 상기 구동부에 의해 가변되는 상기 회절판의 상기 적어도 하나의 핀 홀을 통과하는 빛의 근접 장 회절 패턴의 변화를 분석하여 상기 근접 장 회절 패턴이 일정한 패턴을 형성할 때의 상기 회절판과 상기 이미지센서 사이의 거리 값으로부터 상기 전도성 물체와 상기 렌즈 사이의 거리 값을 연산하는 단계;를 포함할 수 있다.According to another aspect of the present invention, there is provided a three-dimensional distance measuring method using the three-dimensional distance measuring system, wherein light emitted from at least a part of the conductive object passes through the lens through the at least one pin hole, Reaching an image sensor; And a control unit for analyzing a change in the near field diffraction pattern of light passing through the at least one pinhole of the diffraction plate which is varied by the driving unit, And computing a distance value between the conductive object and the lens from the distance value between the image sensor and the out-of-plane image.

상기 제어부에서 연산하는 상기 전도성 물체와 상기 렌즈 사이의 거리 값은 상기 핀 홀의 중심의 상부에 맺힌 초점에 의한 상기 근접 장 회절 패턴을 분석함으로써 연산될 수 있다.The distance value between the conductive object calculated by the control unit and the lens can be calculated by analyzing the near field diffraction pattern by a focus formed on the upper portion of the center of the pin hole.

상기 전도성 물체와 상기 렌즈 사이의 거리 값은 상기 이미지센서에 의해 얻어진 이미지 상의 상기 핀 홀의 중심점의 거리에 대응될 수 있다.The distance value between the conductive object and the lens may correspond to the distance of the center point of the pin hole on the image obtained by the image sensor.

상기 적어도 하나의 핀 홀을 통과하는 빛에 의해 감지되는 상기 픽셀 값으로부터 상기 빛의 컬러 값을 얻을 수 있다.A color value of the light can be obtained from the pixel value sensed by light passing through the at least one pinhole.

상기한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 핀 홀의 근접 장 회절을 이용한 전도성 표면의 3차원 거리 측정 시스템 및 이를 이용한 3차원 거리 측정 방법에 의하면 피사체의 거리 정보와 색 정보를 동시에 얻을 수 있다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.According to an embodiment of the present invention as described above, according to the three-dimensional distance measuring system of the conductive surface using the near-field diffraction of pinholes and the three-dimensional distance measuring method using the same, distance information and color information of the object can be simultaneously obtained have. Of course, the scope of the present invention is not limited by these effects.

도 1은 본 발명의 비교예에 따른 3차원 거리 측정 시스템에서 렌즈에 의한 물체의 거리에 따른 초점의 예를 개략적으로 도시한 도면이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 3차원 거리 측정 시스템을 개략적으로 도시한 구성도이다.
도 2c는 본 발명의 일 실시예에 따른 3차원 거리 측정 방법을 개략적으로 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 회절판을 개략적으로 도시한 도면이다.
도 4a 및 도 4b는 본 발명의 다른 실시예에 따른 3차원 거리 측정 시스템을 개략적으로 도시한 구성도이다.
도 4c는 본 발명의 다른 실시예에 따른 3차원 거리 측정 방법을 개략적으로 도시한 순서도이다.
도 5는 본 발명의 일 실시예에 의한 핀 홀의 근접 장 회절을 이용한 3차원 거리 측정 시스템에서 핀 홀 중앙의 서로 다른 거리에 맺힌 초점에 의한 빛의 회절 패턴을 도시한 도면이다.
도 6은 핀 홀의 원거리 장 회절(Far-field diffraction)에 의한 평행 광의 회절을 도시한 도면이다.
도 7은 핀 홀의 근접 장 회절(Near-field diffraction)에 의한 평행 광의 회절 패턴을 도시한 도면이다.
도 8은 본 발명의 다른 실시 예에 의한 핀 홀의 근접 장 회절을 이용한 3차원 거리 측정 시스템에서 사용되는 멀티밴드패스필터의 투과율을 도시한 도면이다.
도 9는 본 발명의 다른 실시 예에 의한 핀 홀의 근접 장 회절을 이용한 3차원 거리 측정 시스템에서 핀 홀의 상부에 일정한 거리에서 형성된 초점이 핀 홀의 중심에 있을 때와 중심에서 벗어난 위치에 있을 때의 회절 패턴을 도시한 도면이다.
도 10은 본 발명의 비교예에 따른 3차원 거리 측정 시스템에서 빛이 피사체의 종류에 따라 반사되거나 산란될 때의 형상을 개략적으로 도시한 도면이다.
1 is a view schematically showing an example of focus according to the distance of an object by a lens in a three-dimensional distance measuring system according to a comparative example of the present invention.
FIGS. 2A and 2B are schematic diagrams illustrating a three-dimensional distance measurement system according to an embodiment of the present invention.
FIG. 2C is a flowchart schematically illustrating a three-dimensional distance measuring method according to an embodiment of the present invention.
Figure 3 is a schematic diagram of a baffle according to one embodiment of the present invention.
4A and 4B are schematic views illustrating a three-dimensional distance measurement system according to another embodiment of the present invention.
FIG. 4C is a flowchart schematically illustrating a three-dimensional distance measurement method according to another embodiment of the present invention.
FIG. 5 is a view showing a diffraction pattern of light due to focus formed at different distances in the center of a pinhole in a three-dimensional distance measuring system using near-field diffraction of pinholes according to an embodiment of the present invention.
6 is a view showing diffraction of parallel light by far-field diffraction of a pinhole.
FIG. 7 is a diagram showing a diffraction pattern of parallel light by near-field diffraction of a pinhole. FIG.
FIG. 8 is a graph showing the transmittance of a multi-band pass filter used in a three-dimensional distance measurement system using near-field diffraction of a pinhole according to another embodiment of the present invention.
FIG. 9 is a diagram illustrating a three-dimensional distance measurement system using a near-field diffraction of a pinhole according to another embodiment of the present invention. FIG. 9 is a view showing a case where a focus formed at a predetermined distance from the pinhole is located at the center of the pinhole, Fig.
10 is a view schematically showing a shape when light is reflected or scattered according to the type of a subject in a three-dimensional distance measuring system according to a comparative example of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있는 것으로, 이하의 실시예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 또한 설명의 편의를 위하여 도면에서는 구성 요소들이 그 크기가 과장 또는 축소될 수 있다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be understood, however, that the invention is not limited to the disclosed embodiments, but may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, Is provided to fully inform the user. Also, for convenience of explanation, the components may be exaggerated or reduced in size.

본 실시예를 설명하는 과정에서 언급하는 "상의" 또는 "하의"와 같은 용어들은, 도면에서 도해되는 것처럼, 다른 요소들에 대한 어떤 요소들의 상대적인 관계를 기술하기 위해 사용될 수 있다. 즉, 상대적 용어들은 도면에서 묘사되는 방향과 별도로 구조체의 다른 방향들을 포함하는 것으로 이해될 수도 있다. 예를 들어, 도면들에서 구조체의 상하가 뒤집어 진다면, 다른 요소들의 상면 상에 존재하는 것으로 묘사되는 요소들은 상기 다른 요소들의 하면 상에 존재할 수 있다. 그러므로 예로써 든, "상의"라는 용어는, 도면의 특정한 방향을 기준으로, "상의" 및 "하의" 방향 모두를 포함할 수 있다. Terms such as "top" or "bottom" referred to in the process of describing the present embodiment may be used to describe the relative relationship of certain elements to other elements, as illustrated in the figures. That is, relative terms may be understood to include different directions of the structure apart from the directions depicted in the figures. For example, if the top and bottom of the structure are inverted in the figures, the elements depicted as being on the top surface of the other elements may be on the bottom surface of the other elements. Thus, by way of example, the term "tops" may include both "top" and "bottom" directions, relative to a particular direction in the figures.

또한, 본 실시예를 설명하는 과정에서, 어떠한 구성요소가 다른 구성요소 "상에" 위치하거나, 다른 구성요소에 "연결"된다고 언급할 때는, 상기 구성요소는 상기 다른 구성요소의 직접 상에 위치하거나, 상기 다른 구성요소에 직접 연결되는 것을 의미할 수도 있으나, 나아가, 하나 또는 둘 이상의 개재하는 구성요소들이 그 사이에 존재할 수 있음을 의미할 수도 있다. 하지만, 어떠한 구성요소가 다른 구성요소의 "직접 상에" 위치하거나, 다른 구성요소에 "직접 연결"된다거나, 또는 다른 구성요소에"직접 접촉"한다고 언급할 때는, 별도의 언급이 없다면 그 사이에 개재하는 구성요소들이 존재하지 않음을 의미한다. Further, in the course of describing the present embodiment, when it is mentioned that an element is located on another element, or "connected" to another element, the element is positioned directly on the other element Or directly connected to the other component, but may also mean that one or more intervening components may be present therebetween. However, when an element is referred to as being "directly on" another element, "directly connected" to another element, or "directly in contact" with another element, Which means that there are no intervening components.

이하의 실시예에서, x축, y축 및 z축은 직교 좌표계 상의 세 축으로 한정되지 않고, 이를 포함하는 넓은 의미로 해석될 수 있다. 예를 들어, x축, y축 및 z축은 서로 직교할 수도 있지만, 서로 직교하지 않는 서로 다른 방향을 지칭할 수도 있다.In the following embodiments, the x-axis, the y-axis, and the z-axis are not limited to three axes on the orthogonal coordinate system, but can be interpreted in a broad sense including the three axes. For example, the x-axis, y-axis, and z-axis may be orthogonal to each other, but may refer to different directions that are not orthogonal to each other.

도 1은 본 발명의 비교예에 따른 3차원 거리 측정 시스템에서 렌즈에 의한 물체의 거리에 따른 초점의 예를 개략적으로 도시한 도면이다.1 is a view schematically showing an example of focus according to the distance of an object by a lens in a three-dimensional distance measuring system according to a comparative example of the present invention.

도 1을 참조하면, 본 발명의 비교예에 따른 3차원 거리 측정 시스템에서 렌즈(10)에 의한 물체(100)의 거리에 따른 초점을 살펴보면, 렌즈(10)로부터 거리가 서로 다른 두 개의 지점에서 출발한 빛(105a, 105b)은 렌즈(10)에 의하여 두 개의 서로 다른 점에 모이게 된다. 이미지센서(미도시)의 이미지 평면(110)과 렌즈(10) 사이에 초점(110a)이 위치하여 물체(100)의 표면 형상이 거꾸로 초점 표면(110a)에 표시된다.Referring to FIG. 1, in a three-dimensional distance measuring system according to a comparative example of the present invention, focusing on the distance of the object 100 by the lens 10, two points at different distances from the lens 10 The light beams 105a and 105b are collected at two different points by the lens 10. A focus 110a is positioned between the image plane 110 of the image sensor (not shown) and the lens 10 so that the surface shape of the object 100 is displayed on the focus surface 110a in an inverted manner.

일반적으로 사용되는 렌즈(10)의 경우, 물체(100)와 렌즈(10) 사이의 거리가 가까운 경우(근접 피사체) 초점은 렌즈(10)로부터 먼 거리에 위치하게 되고, 물체(100)와 렌즈(10) 사이의 거리가 먼 경우(원거리 피사체) 초점은 렌즈(10)로부터 가까운 거리에 위치하게 된다. 보통의 카메라에서 이미지센서는 특정한 거리의 물체에 초점이 일치하도록 배치되며, 이 영역을 초점심도(Depth of Field, DoF)라 한다. 즉, 물체가 DoF 내에 있는 경우 이미지는 선명하게 나타나며, DoF 밖에 있는 경우 물체의 이미지는 퍼져보이게 된다. 따라서 렌즈와 이미지센서와의 거리를 이동하여 물체가 선명하게 나타나는 위치를 찾으면, 선명하게 나타나는 물체의 거리를 구할 수 있게 된다.In the case of a generally used lens 10, when the distance between the object 100 and the lens 10 is close (near object), the focus is located a long distance from the lens 10, (Distance subject) is farther from the lens 10, the focal point is located at a distance from the lens 10. In an ordinary camera, the image sensor is arranged so that the focus coincides with an object at a specific distance, and this area is called depth of field (DoF). That is, if the object is in the DoF, the image will appear clearly, and if it is outside the DoF, the image of the object will appear to be spread. Therefore, if the distance between the lens and the image sensor is moved to find a position where the object appears clearly, the distance of the object appearing clearly can be obtained.

도 2a 및 도 2b는 본 발명의 일 실시예에 따른 3차원 거리 측정 시스템을 개략적으로 도시한 구성도이고, 도 2c는 본 발명의 일 실시예에 따른 3차원 거리 측정 방법을 개략적으로 도시한 순서도이고, 도 3은 본 발명의 일 실시예에 따른 회절판을 개략적으로 도시한 도면이다.FIGS. 2A and 2B are schematic diagrams showing a three-dimensional distance measurement system according to an embodiment of the present invention, and FIG. 2C is a flowchart schematically showing a three-dimensional distance measurement method according to an embodiment of the present invention And Figure 3 is a schematic diagram of a baffle according to one embodiment of the present invention.

먼저, 도 2c를 참조하면, 본 발명의 일 실시예에 따른 회절판과 이미지센서를 사용한 3차원 거리 측정 방법은 전도성 물체의 적어도 어느 일부분에서 나오는 빛이 렌즈를 거쳐 적어도 하나의 핀 홀을 통과하여 이미지센서에 도달하는 단계(S100) 및 제어부에서, 적어도 하나의 핀 홀을 통과하는 빛의 근접 장 회절 패턴을 분석하여 근접 장 회절 패턴이 일정한 패턴을 형성할 때, 회절판과 이미지센서 사이의 거리 값으로부터 전도성 물체와 렌즈 사이의 거리 값을 연산하는 단계(S200)를 포함할 수 있다.Referring to FIG. 2C, a method for measuring three-dimensional distance using a diffraction plate and an image sensor according to an embodiment of the present invention includes a step of passing light from at least a part of a conductive object through at least one pin hole through a lens A step (S100) of reaching the image sensor, and a step of, in the control section, analyzing the near field diffraction pattern of light passing through the at least one pinhole to determine a distance between the diffraction plate and the image sensor And calculating a distance value between the conductive object and the lens from the value (S200).

도 2a, 도 2b를 참조하면, 거리를 추정하고자 하는 물체(100)가 구성하는 초점보다 먼 거리에 이미지센서(30)가 위치할 수 있다. 이는 렌즈(10)와 이미지센서(30) 간의 거리는 렌즈(10)와 초점거리 사이보다 큼을 의미한다. 여기서 초점거리는 물체(100)와 3차원 거리 측정 시스템 사이의 거리를 뜻한다. 이미지센서(30)는 다수의 픽셀(pixel, 35)들로 구성되며, 이미지센서(30)의 표면이 도 1에 도시된 이미지 평면(110)과 매칭 될 수 있다. 이미지센서(30)와 물체(100)가 구성하는 초점 사이에 다수 개의 핀 홀(20a)로 구성된 회절판(20)이 배치된다. 도 3을 참조하면, 회절판(20)은 유리(glass)기판(25)을 사용할 수 있으며, 유리 기판(25) 상에 금속 또는 블랙 폴리머(black polymer) 재질을 사용하여 직경 D를 갖는 다수의 핀 홀(20a)들을 형성할 수 있다. 또, 유리 기판(25) 상에 특정의 선택된 몇 개의 대역의 빛만을 투과할 수 있도록 멀티밴드패스필터(multi-band pass filter)를 사용하거나 멀티밴드패스필터만을 형성하여 배치할 수도 있다.Referring to FIGS. 2A and 2B, the image sensor 30 may be located at a distance farther than the focal point of the object 100 to be estimated. This means that the distance between the lens 10 and the image sensor 30 is larger than between the lens 10 and the focal distance. Where the focal distance refers to the distance between the object 100 and the three-dimensional distance measurement system. The image sensor 30 is composed of a plurality of pixels 35 and the surface of the image sensor 30 can be matched with the image plane 110 shown in Fig. A plurality of pinholes 20a are disposed between the image sensor 30 and the focal point of the object 100. 3, the baffle plate 20 may be a glass substrate 25 and may be formed of a metal or a black polymer material on a glass substrate 25 to form a plurality of And pinholes 20a can be formed. In addition, a multi-band pass filter or a multi-band pass filter may be formed on the glass substrate 25 so as to transmit only selected light of a certain number of bands.

도 10은 본 발명의 비교예에 따른 3차원 거리 측정 시스템에서 빛이 피사체의 종류에 따라 반사되거나 산란될 때의 형상을 개략적으로 도시한 도면이다.10 is a view schematically showing a shape when light is reflected or scattered according to the type of a subject in a three-dimensional distance measuring system according to a comparative example of the present invention.

도 2a, 도 2b 및 도 10을 참조하면, 본 발명의 비교예에 따른 3차원 거리 측정 시스템(1)에서 빛이 피사체의 종류에 따라 반사되거나 산란될 때의 형상을 개략적으로 도시한 것이다. 도 10의 (a)와 같이, 빛이 전도성 물체(100a)의 표면에 입사할 때, 표면에 존재하는 전자(e)들은 입사하는 빛의 전기장에 의하여 동시에 움직이게 되므로, 반사되는 빛은 서로 상관관계를 가진 위상을 가지고 반사하게 된다. 이 빛이 렌즈(10)에 의하여 하나의 초점에 모이고, 핀 홀(20a)을 통과하는 경우 간섭무늬를 형성하게 된다. 이 경우, 핀 홀(20a)에 의한 회절은 위상에 따라 변하게 되므로 간섭무늬는 파동 광학적 해석에 의하여 설명될 수 있다.Referring to FIGS. 2A, 2B, and 10, the three-dimensional distance measurement system 1 according to the comparative example of the present invention schematically shows a shape when light is reflected or scattered according to the type of a subject. As shown in FIG. 10 (a), when light is incident on the surface of the conductive object 100a, the electrons e existing on the surface move simultaneously due to the electric field of the incident light, With a phase having < RTI ID = 0.0 > When the light is gathered at one focal point by the lens 10 and passes through the pinhole 20a, an interference fringe is formed. In this case, since the diffraction by the pinhole 20a changes in phase, the interference fringe can be explained by the wave-optical analysis.

또한, 적어도 하나의 핀 홀(20a)을 통과하는 빛에 의해 감지되는 픽셀(35) 값으로부터 상기 빛의 컬러 값을 얻을 수도 있다.Also, the color value of the light may be obtained from the value of the pixel 35 sensed by the light passing through the at least one pinhole 20a.

도 10의 (b)와 같이, 빛이 섬유 등의 폴리머나 세라믹 등의 비전도성 물체(100b)의 표면에 입사하는 경우, 빛은 비전도성 물체(100b)를 구성하는 각각의 구속된 전자(e) 혹은 정공 등과 개별적으로 반응하므로, 산란된 빛은 서로 상관관계가 없는 위상(random-phase)을 가지고 산란되므로 렌즈(10)에 의하여 하나의 초점에 모인 빛은 위상에 관계없이 기하 광학적으로 해석될 수 있다. 즉, 총 빛의 세기는 각 빛의 위상에 관계없이 각각의 빛의 세기의 합으로 표현된다.10 (b), when light is incident on the surface of a nonconductive object 100b such as a polymer or a ceramic such as a fiber, the light passes through each of the constrained electrons e (e) constituting the nonconductive object 100b ) Or holes, the scattered light is scattered with a random-phase that is not correlated with each other, so that the light collected at one focus by the lens 10 is interpreted geometrically, regardless of the phase . That is, the intensity of total light is expressed as the sum of the intensity of each light irrespective of the phase of each light.

도 4a 및 도 4b는 본 발명의 다른 실시예에 따른 3차원 거리 측정 시스템을 개략적으로 도시한 구성도이고, 도 4c는 본 발명의 다른 실시예에 따른 3차원 거리 측정 방법을 개략적으로 도시한 순서도이다.FIGS. 4A and 4B are schematic diagrams showing a three-dimensional distance measurement system according to another embodiment of the present invention, and FIG. 4C is a flowchart schematically showing a three-dimensional distance measurement method according to another embodiment of the present invention to be.

도 4c를 참조하면, 본 발명의 다른 실시예에 따른 3차원 거리 측정 방법은 전도성 물체의 적어도 어느 일부분에서 나오는 빛이 렌즈를 거쳐 적어도 하나의 핀 홀을 통과하여 이미지센서에 도달하는 단계(S110) 및 제어부에서, 회절판이 이동함에 따라 달라지는 적어도 하나의 핀 홀을 통과하는 빛의 근접 장 회절 패턴의 변화를 분석하여 근접 장 회절 패턴이 일정한 패턴을 형성할 때, 회절판과 이미지센서 사이의 거리 값으로부터 전도성 물체와 렌즈 사이의 거리 값을 연산하는 단계(S210)를 포함할 수 있다.Referring to FIG. 4C, a method of measuring three-dimensional distance according to another embodiment of the present invention includes a step S110 in which light emitted from at least a portion of a conductive object passes through a lens through at least one pin hole to reach an image sensor, And a control unit for analyzing a change in the near field diffraction pattern of light passing through at least one pinhole that changes as the diffraction plate moves, so that when the near field diffraction pattern forms a constant pattern, the distance between the diffraction plate and the image sensor And calculating a distance value between the conductive object and the lens from the value (S210).

도 4a 및 도 4b를 참조하면, 거리를 추정하고자 하는 물체(100)가 구성하는 초점보다 먼 거리에 이미지센서(30)가 위치하고, 이미지센서(30)는 다수의 픽셀(35)들로 구성되며, 이미지센서(30)와 물체(100)가 구성하는 초점 사이의 고정된 높이에 다수의 핀 홀(20a)을 갖는 회절판(20)이 배치되며, 회절판(20) 상부에는 이동할 수 있는 렌즈(10)가 설치되며, 렌즈(10)와 회절판(20) 사이의 높이(h)는 구동부(40)에 의하여 가변될 수 있다.4A and 4B, the image sensor 30 is located at a distance farther than the focal point of the object 100 to be distance-estimated, and the image sensor 30 is composed of a plurality of pixels 35 A plurality of pinholes 20a having a plurality of pinholes 20a are arranged at a fixed height between the focus of the image sensor 30 and the object 100. A movable lens 20 is disposed above the lenshole 20, And the height h between the lens 10 and the baffle plate 20 can be varied by the driving unit 40. [

적어도 하나의 초점에 모인 빛은 적어도 하나의 핀 홀(20a)을 통과하여 회절되며, 회절된 빛은 다수의 픽셀(35)들에 의하여 감광되고, 회절되는 패턴은 전도성 물체와 렌즈(10) 사이의 거리와 이미지센서(30)와 회절판(20)의 거리에 의하여 변화한다. 또, 적어도 하나의 핀 홀(20a)을 통과하는 빛에 의해 감지되는 픽셀(35) 값으로부터 상기 빛의 컬러 값을 얻을 수도 있다. 이에 대한 상세한 설명은 도 5 내지 도 9를 참조하여 후술한다.The light gathered in at least one focus is diffracted through at least one pinhole 20a and the diffracted light is sensitized by the plurality of pixels 35 and the diffracted pattern is transmitted between the conductive object and the lens 10 And the distance between the image sensor 30 and the baffle plate 20. It is also possible to obtain the color value of the light from the value of the pixel 35 sensed by the light passing through the at least one pinhole 20a. A detailed description thereof will be described later with reference to Figs. 5 to 9. Fig.

한편, 핀 홀에 의한 회절을 보통 근접 장 회절(Near-Field Diffraction)과 원거리 장 회절(Far-Field Diffraction)로 구분하는데, 근접 장 회절과 원거리 장 회절은 핀 홀과 이미지센서 혹은 스크린 사이의 거리에 따라 구분되며, 다음과 같은 수학식 1로 표현될 수 있다.Near-field diffraction and far-field diffraction are used to distinguish diffraction by pinholes. Near-field diffraction and far-field diffraction are the distances between the pinhole and the image sensor or screen And can be expressed by the following Equation (1).

[수학식 1][Equation 1]

Figure 112014122548630-pat00001
Figure 112014122548630-pat00001

(여기에서, D는 핀 홀의 지름이며, Y는 핀 홀과 이미지센서 사이의 거리 값이고, λ는 빛의 파장이며, Yc는 근접 장 회절과 원거리 장 회절을 구분하는 거리 한계임)(Where D is the diameter of the pinhole, Y is the distance between the pinhole and the image sensor,? Is the wavelength of the light, and Yc is the distance limit that distinguishes between near field diffraction and far field diffraction)

즉, 핀 홀과 이미지센서 사이의 거리 값 Y가 Yc보다 작을 때, 근접 장 회절이 나타나며, 이 영역을 프레넬 영역(Fresnel Region)이라 하고, Y가 Yc보다 클 때, 원거리 장 회절이 나타나며, 이 영역을 프라운호퍼 영역(Fraunhofer Region)이라 한다.That is, near-field diffraction occurs when the distance Y between the pinhole and the image sensor is smaller than Yc. This region is referred to as a Fresnel Region, and when Y is larger than Yc, far-field diffraction appears, This region is called the Fraunhofer Region.

도 5는 본 발명의 일 실시예에 의한 핀 홀의 근접 장 회절을 이용한 3차원 거리 측정 시스템에서 핀 홀 중앙의 서로 다른 거리에 맺힌 초점에 의한 빛의 회절 패턴을 도시한 도면이다.FIG. 5 is a view showing a diffraction pattern of light due to focus formed at different distances in the center of a pinhole in a three-dimensional distance measuring system using near-field diffraction of pinholes according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시예에 의한 핀 홀의 근접 장 회절을 이용한 전도성 표면의 3차원 거리 측정 시스템에서, 핀 홀(20a) 중앙의 서로 다른 거리에 맺힌 초점에 의한 회절 패턴이다. 예를 들면, 도 5의 (a)는 핀 홀(20a)과 초점 간 거리가 약 8㎛인 경우이며, 도 5의 (b)는 핀 홀(20a)과 초점 간의 거리가 약 6㎛인 경우이다. 전산모사(Simulation)는 약 0.5㎛의 파장을 갖는 빛에 의한 결과이다. 여기에서 빛의 세기 값은 상대적인 값으로 표현된다. 이 두 패턴을 비교하면, 약 8㎛의 패턴은 중심이 어둡게 나타나고, 약 6㎛ 패턴은 중심이 밝게 나타나는 서로 다른 패턴으로 구분 된다. 따라서 위와 같은 패턴의 형태를 분석하면 핀 홀(20a)에서 초점이 모아진 거리를 구할 수 있고, 이로부터 이 파장대의 빛을 방사한 피사체의 거리를 구할 수 있다.Referring to FIG. 5, in a three-dimensional distance measuring system for a conductive surface using near-field diffraction of a pinhole according to an embodiment of the present invention, it is a focus diffraction pattern formed at different distances in the center of the pinhole 20a. For example, FIG. 5A shows a case where the distance between the pinhole 20a and the focus is about 8 μm, FIG. 5B shows a case where the distance between the pinhole 20a and the focus is about 6 μm to be. Simulation is the result of light with a wavelength of about 0.5 μm. Here, the intensity value of the light is expressed as a relative value. When these two patterns are compared, a pattern of about 8 mu m appears dark in the center, and a pattern of about 6 mu m is divided into different patterns in which the center appears bright. Therefore, by analyzing the shape of the pattern as described above, it is possible to obtain the distance at which the focal point is collected in the pinhole 20a, and from this, the distance of the subject emitting the light of this wavelength band can be obtained.

도 6은 핀 홀의 원거리 장 회절(Far-field diffraction)에 의한 평행 광의 회절을 도시한 도면이다.6 is a view showing diffraction of parallel light by far-field diffraction of a pinhole.

도 6을 참조하면, 원거리 장 회절(Far-Field Diffraction)에 의한 간섭무늬는 비교적 간단한 패턴을 가지며, 원형의 핀 홀(20a)에 대해서 빛의 세기는 도 6과 같은 형태로 나타난다. 즉, 중앙에 강한 빛의 코어(core)가 있고, 인접한 위치에 작은 서브 피크(sub-peak)가 나타나는 형태이며, 중앙의 코어 세기와 제 1 피크의 세기 비는 약 100:1 정도로 아주 작아서 적어도 하나의 핀 홀(20a)을 사용한 간섭이 일어났는지 구분하는 것은 어렵다. 따라서 보통의 경우에는 간섭무늬의 측정은 여러 개의 핀 홀(20a)에 의하여 나타나는 다중 핀 홀(20a) 간섭을 측정하는 방식을 사용한다. 이에 비하여 근접 장 회절은 계산 방법이 복잡하고, 평행 광의 경우에도 핀 홀과 이미지센서 사이의 거리 값에 따라 다양하게 변화한다.Referring to FIG. 6, the interference fringe by Far-Field Diffraction has a relatively simple pattern, and the intensity of the light with respect to the circular pinhole 20a appears as shown in FIG. That is, there is a strong light core at the center and a small sub-peak at the adjacent position. The intensity ratio between the central core intensity and the first peak is as small as about 100: 1 It is difficult to distinguish whether interference occurs using one pinhole 20a. Therefore, in the usual case, the interference fringe measurement uses a method of measuring the interference of multiple pinholes 20a caused by the plurality of pinholes 20a. On the other hand, the calculation method of the near field diffraction is complicated, and even in the case of the parallel light, the diffracted light varies according to the distance between the pinhole and the image sensor.

도 7은 핀 홀의 근접 장 회절(Near-field diffraction)에 의한 평행 광의 회절 패턴을 도시한 도면이다.FIG. 7 is a diagram showing a diffraction pattern of parallel light by near-field diffraction of a pinhole. FIG.

도 7을 참조하면, 핀 홀(20a)에서 회절된 평행광은 핀 홀(20a)과 이미지센서(30)의 거리에 따라 복잡한 형태로 변화한다. 이 경우의 패턴은 빛이 핀 홀(20a)의 크기를 유지한 형태로 직진 하지만 간단한 수식으로 표현되지 않으며, 보통은 전산모사(Simulation)를 통해서 얻어진다. 피사체에서 출발하여 렌즈(10)에 의하여 일정한 초점에 모인 빛은 핀 홀(20a)에 의하여 회절 되는데, 핀 홀(20a)과 이미지센서(30)의 거리가 Yc보다 가까운 지역에서 회절 되는 빛의 패턴은 전산모사에 의하여 얻어진다.Referring to FIG. 7, the parallel light diffracted by the pinhole 20a changes into a complex shape according to the distance between the pinhole 20a and the image sensor 30. In this case, the light goes straight in the form of maintaining the size of the pinhole 20a, but is not expressed by a simple expression, and is usually obtained through simulation. Light starting from the subject and collected at a predetermined focus by the lens 10 is diffracted by the pinhole 20a so that the pattern of light diffracted in the region where the distance between the pinhole 20a and the image sensor 30 is closer to Yc Is obtained by computer simulation.

도 8은 본 발명의 다른 실시 예에 의한 핀 홀의 근접 장 회절을 이용한 3차원 거리 측정 시스템에서 사용되는 멀티밴드패스필터의 투과율을 도시한 도면이다.FIG. 8 is a graph showing the transmittance of a multi-band pass filter used in a three-dimensional distance measurement system using near-field diffraction of a pinhole according to another embodiment of the present invention.

도 8을 참조하면, 인접한 파장대의 빛들에 의한 간섭을 줄이기 위하여 도 8과 같이 선택된 몇 개의 밴드(band)만을 투과하는 멀티밴드패스필터(multi-band pass filter)를 사용할 수 있다. 인접한 파장대의 빛이 동일한 위치에 초점을 형성하는 경우, 나타나는 회절 패턴은 각각의 파장대의 빛의 회절 패턴의 합으로 표현된다. 따라서 인접한 패턴의 빛이 핀 홀(20a)의 근처에 다수 형성되는 경우, 간섭무늬는 스미어 아웃(smear-out)되어 간섭무늬 형태의 구분이 어렵게 된다. 이와 같은 경우의 해결책으로 핀 홀(20a)이 형성되는 유리 기판에 특정의 선택된 몇 개의 밴드의 빛 만을 투과하도록 하는 멀티밴드패스필터를 형성하거나, 멀티밴드패스필터를 회절판(20) 상부에 비치할 수 있다.Referring to FIG. 8, a multi-band pass filter that transmits only a few bands selected as shown in FIG. 8 may be used to reduce the interference caused by the light of the adjacent wavelength band. When light in adjacent wavelength regions forms a focal point at the same position, the diffraction pattern that appears is expressed as the sum of diffraction patterns of light in each wavelength band. Accordingly, when a large number of adjacent patterns of light are formed in the vicinity of the pinhole 20a, the interference fringe is smear-outed, making it difficult to distinguish the interference fringe pattern. As a solution to this case, a multi-band pass filter may be formed to allow light of only a few selected specific bands to pass through the glass substrate on which the pinhole 20a is formed, or a multi- can do.

도 9는 본 발명의 다른 실시 예에 의한 핀 홀의 근접 장 회절을 이용한 3차원 거리 측정 시스템에서 핀 홀의 상부에 일정한 거리에서 형성된 초점이 핀 홀의 중심에 있을 때와 중심에서 벗어난 위치에 있을 때의 회절 패턴을 도시한 도면이다.FIG. 9 is a diagram illustrating a three-dimensional distance measurement system using a near-field diffraction of a pinhole according to another embodiment of the present invention. FIG. 9 is a view showing a case where a focus formed at a predetermined distance from the pinhole is located at the center of the pinhole, Fig.

도 9를 참조하면, 피사체의 일정한 하나의 점이 적어도 하나의 핀 홀(20a)의 중심에 위치한다고 가정할 때, 피사체와 인접한 근방에 있는 물체에 의해 형성된 초점은 핀 홀(20a)의 중심에서 벗어난 위치에 초점을 형성하게 되므로, 중심에서 벗어난 위치에 형성된 초점의 효과를 고려할 필요가 있다. 도 9는 핀 홀(20a)의 중심에 맺힌 초점에 의한 회절(9a)과 중심에서부터 일정한 거리(예를 들면, 약 3㎛)에 맺힌 초점에 의한 회절 패턴(9b)이다. 두 패턴을 비교하면, 핀 홀(20a)의 중심에 맺힌 초점에 의한 회절의 최대 세기와 약 3㎛ 이동한 초점에 의한 회절의 최대 세기의 비는 약 1:0.16 정도이므로 회절 무늬는 핀 홀(20a)의 중심의 상부에 맺힌 초점에 의한 회절이 주로 나타난다. 따라서 회절 패턴에 의한 거리 추정은 핀 홀(20a)의 중심의 상부에 맺힌 초점으로부터 얻어지며, 이로부터 얻어진 거리는 이미지 상의 핀 홀(20a)의 중심점의 거리에 대응된다.9, assuming that a certain point of the object is located at the center of at least one pinhole 20a, the focal point formed by the object in the vicinity of the object in the vicinity of the pinhole 20a is deviated from the center of the pinhole 20a It is necessary to consider the effect of the focus formed at a position deviated from the center. Fig. 9 is a diffraction pattern 9b formed at the center of the pinhole 20a and a diffraction pattern 9b formed at a certain distance (for example, about 3 mu m) from the center. When the two patterns are compared, the ratio of the maximum intensity of the diffraction by the focus formed at the center of the pinhole 20a to the maximum intensity of the diffraction by the focus shifted by about 3 μm is about 1: 0.16, The diffraction due to the focus formed at the upper part of the center of the diffraction grating 20a is mainly shown. Therefore, the distance estimation by the diffraction pattern is obtained from the focus formed at the upper portion of the center of the pinhole 20a, and the distance obtained from this corresponds to the distance of the center point of the pinhole 20a on the image.

상술한 바에 의하면, 핀 홀의 근접 장 회절을 이용한 전도성 표면의 3차원 거리 이미지센서 시스템은 이미지센서의 상부에 일정한 거리를 유지하고 배치되며, 다수의 핀 홀들이 형성된 회절판을 구비하며, 회절판의 상부에는 일정한 거리를 유지하고 배치되는 렌즈와 렌즈를 지지하는 경통으로 구성된다. 피사체로부터 카메라에 입사하는 빛은 피사체와 카메라의 거리에 따라 회절판과 초점의 거리가 다르게 초점을 형성하게 되고, 회절판과 초점의 거리가 다름에 따라 회절판의 적어도 하나의 핀 홀에 의하여 산란되는 패턴이 다르게 나타나므로, 적어도 하나의 핀 홀의 하부에 위치하는 다수의 픽셀로부터 적어도 하나의 핀 홀을 통과하는 빛의 회절 패턴을 분석하여 피사체의 거리 값을 얻을 수 있다. 또, 적어도 하나의 핀 홀을 통과하는 빛의 모든 픽셀 값으로부터 적어도 하나의 핀 홀에 입사된 빛의 컬러 값을 얻을 수 있다.According to the above description, the three-dimensional distance image sensor system of the conductive surface using the near-field diffraction of the pinhole is provided with a bifurcated plate having a plurality of pinholes formed thereon at a constant distance from the top of the image sensor, The upper part is composed of a lens arranged to maintain a constant distance and a lens barrel supporting the lens. The light incident on the camera from the subject forms a focal point with a different distance from the diffraction plate depending on the distance between the subject and the camera. The scattered light is diffused by at least one pinhole of the diffraction plate The distance value of the object can be obtained by analyzing the diffraction pattern of light passing through at least one pin hole from a plurality of pixels located under at least one pin hole. It is also possible to obtain a color value of light incident on at least one pinhole from all pixel values of light passing through at least one pinhole.

또한, 렌즈와 이미지센서가 구성될 때, 이미지센서의 상부에 회절판을 형성하고, 회절판을 이동할 수 있는 액츄에이터 등과 같이 간단한 구성을 사용하여 전도성 물체의 거리를 픽셀 단위로 인식할 수 있다. 또, 이미지센서의 패키지(package)시 사용되는 유리 기판의 상부 또는 하부에 핀 홀을 설치할 수도 있다. 또한, 본 발명의 일 실시예에 의한 3차원 거리 측정 시스템은 별도의 복잡한 알고리즘(algorithm)이 필요 없으며, 피사체에서 출발한 빛의 회절 패턴은 회절판과 이미지센서와의 거리에 따라 변하게 되며, 적어도 하나의 핀 홀을 통과한 빛이 일정한 패턴을 형성한 때의 회절판과 이미지센서 사이의 거리로부터 적어도 하나의 핀 홀을 통과한 빛의 출발지점(피사체)의 거리를 추정할 수 있다.Also, when a lens and an image sensor are configured, the distance of the conductive object can be recognized in pixels by using a simple configuration such as an actuator capable of forming a baffle on top of the image sensor and moving the baffle. A pinhole may be provided on the upper or lower portion of the glass substrate used in the package of the image sensor. In addition, the 3D distance measurement system according to an embodiment of the present invention does not require a complicated algorithm, and the diffraction pattern of the light starting from the subject changes according to the distance between the diffraction plate and the image sensor, It is possible to estimate the distance of the starting point (subject) of light passing through at least one pin hole from the distance between the diffraction plate and the image sensor when the light passing through one pin hole forms a certain pattern.

본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

1 : 3차원 거리 측정 시스템
10 : 렌즈
20 : 회절판
20a : 핀 홀
25 : 기판
30 : 이미지센서
35 : 픽셀
40 : 구동부
50: 제어부
100 : 물체
100a : 전도성 물체
100b : 비전도성 물체
105a, 105b : 빛
110 : 이미지 평면
110a : 초점 표면
1: 3D distance measurement system
10: Lens
20: Burnout
20a: pin hole
25: substrate
30: Image sensor
35: Pixel
40:
50:
100: object
100a: Conductive object
100b: a nonconductive object
105a and 105b: light
110: Image plane
110a: Focus surface

Claims (12)

전도성 물체의 적어도 어느 일 부분에서 나오는 빛을 통과시킬 수 있는 렌즈(lens);
다수의 픽셀(pixel)들을 구비하며, 상기 전도성 물체와 상기 렌즈에 의해 정해진 초점거리보다 더 먼 거리에 배치된, 이미지센서;
상기 초점거리 내에 배치되고, 적어도 하나의 핀 홀 및 멀티밴드패스필터(multi-band pass filter)를 구비하는 회절판; 및
상기 적어도 하나의 핀 홀을 통과하는 빛의 근접 장 회절 패턴(Near-Field Diffraction)을 분석하여 상기 근접 장 회절 패턴이 일정한 패턴을 형성할 때의 상기 회절판과 상기 이미지센서 사이의 거리 값으로부터 상기 전도성 물체와 상기 렌즈 사이의 거리 값을 연산할 수 있는, 제어부;
를 포함하는,
3차원 거리 측정 시스템.
A lens capable of passing light from at least some portion of the conductive object;
An image sensor having a plurality of pixels and disposed at a greater distance than the focal distance defined by the conductive object and the lens;
A diffraction plate disposed within the focal distance and having at least one pinhole and a multi-band pass filter; And
A near field diffraction pattern of light passing through the at least one pinhole is analyzed to determine a distance between the diffraction plate and the image sensor when the near field diffraction pattern forms a constant pattern, A control unit operable to calculate a distance value between the conductive object and the lens;
/ RTI >
3D distance measurement system.
제 1 항에 있어서,
상기 회절판을 이동시킬 수 있는 구동부;를 더 포함하는, 3차원 거리 측정 시스템.
The method according to claim 1,
And a drive capable of moving the bifurcation plate.
제 2 항에 있어서,
상기 제어부는 상기 구동부를 제어함으로써, 상기 구동부에 의해 가변되는 상기 회절판의 상기 적어도 하나의 핀 홀을 통과하는 빛의 근접 장 회절 패턴의 변화를 분석할 수 있는, 3차원 거리 측정 시스템.
3. The method of claim 2,
Wherein the control unit is capable of analyzing a change in a near field diffraction pattern of light passing through the at least one pinhole of the baffle plate which is variable by the driving unit by controlling the driving unit.
제 1 항에 있어서,
상기 멀티밴드패스필터는 서로 인접한 파장대를 갖는 상기 빛에 의한 간섭을 줄일 수 있는, 3차원 거리 측정 시스템.
The method according to claim 1,
Wherein the multi-band pass filter is capable of reducing the interference caused by the light having the adjacent wavelength band.
제 1 항 내지 제 4 항 중 어느 한 항에 따른 3차원 거리 측정 시스템을 이용한 3차원 거리 측정 시스템을 이용한 3차원 거리 측정 방법으로서,
상기 전도성 물체의 적어도 어느 일부분에서 나오는 빛이 상기 렌즈를 거쳐 상기 적어도 하나의 핀 홀을 통과하여 상기 이미지센서에 도달하는 단계; 및
상기 제어부에서, 상기 적어도 하나의 핀 홀을 통과하는 빛의 근접 장 회절 패턴을 분석하여 상기 근접 장 회절 패턴이 일정한 패턴을 형성할 때의 상기 회절판과 상기 이미지센서 사이의 거리 값으로부터 상기 전도성 물체와 상기 렌즈 사이의 거리 값을 연산하는 단계;를 포함하는,
3차원 거리 측정 방법.
A three-dimensional distance measuring method using a three-dimensional distance measuring system using the three-dimensional distance measuring system according to any one of claims 1 to 4,
Wherein light from at least a portion of the conductive object passes through the lens through the at least one pin hole to reach the image sensor; And
Wherein the control unit analyzes the near field diffraction pattern of light passing through the at least one pinhole to determine a distance between the diffraction plate and the image sensor when the near field diffraction pattern forms a constant pattern, And calculating a distance value between the lens and the lens,
Three dimensional distance measurement method.
제 5 항에 있어서,
상기 제어부에서 연산하는 상기 전도성 물체와 상기 렌즈 사이의 거리 값은 상기 핀 홀의 중심의 상부에 맺힌 초점에 의한 상기 근접 장 회절 패턴을 분석함으로써 연산되는, 3차원 거리 측정 방법.
6. The method of claim 5,
Wherein the distance value between the conductive object calculated by the control unit and the lens is calculated by analyzing the near field diffraction pattern by a focus formed on the upper portion of the center of the pin hole.
제 5 항에 있어서,
상기 전도성 물체와 상기 렌즈 사이의 거리 값은 상기 이미지센서에 의해 얻어진 이미지 상의 상기 핀 홀의 중심점의 거리에 대응되는, 3차원 거리 측정 방법.
6. The method of claim 5,
Wherein the distance value between the conductive object and the lens corresponds to the distance of the center point of the pinhole on the image obtained by the image sensor.
제 5 항에 있어서,
상기 적어도 하나의 핀 홀을 통과하는 빛에 의해 감지되는 상기 픽셀 값으로부터 상기 빛의 컬러 값을 얻을 수 있는, 3차원 거리 측정 방법.
6. The method of claim 5,
Wherein a color value of the light is obtained from the pixel value sensed by light passing through the at least one pinhole.
제 2 항 또는 제 3 항 중 어느 한 항에 따른 3차원 거리 측정 시스템을 이용한 3차원 거리 측정 방법에 있어서,
상기 전도성 물체의 적어도 어느 일부분에서 나오는 빛이 상기 렌즈를 거쳐 상기 적어도 하나의 핀 홀을 통과하여 상기 이미지센서에 도달하는 단계; 및
상기 제어부에서, 상기 구동부에 의해 가변되는 상기 회절판의 상기 적어도 하나의 핀 홀을 통과하는 빛의 근접 장 회절 패턴의 변화를 분석하여 상기 근접 장 회절 패턴이 일정한 패턴을 형성할 때의 상기 회절판과 상기 이미지센서 사이의 거리 값으로부터 상기 전도성 물체와 상기 렌즈 사이의 거리 값을 연산하는 단계;를 포함하는,
3차원 거리 측정 방법.
A three-dimensional distance measuring method using a three-dimensional distance measuring system according to any one of claims 2 and 3,
Wherein light from at least a portion of the conductive object passes through the lens through the at least one pin hole to reach the image sensor; And
Wherein the control unit analyzes the change of the near field diffraction pattern of light passing through the at least one pinhole of the diffraction plate which is varied by the driving unit so that the diffraction efficiency of the diffraction plate And calculating a distance value between the conductive object and the lens from a distance value between the image sensor and the image sensor.
Three dimensional distance measurement method.
제 9 항에 있어서,
상기 제어부에서 연산하는 상기 전도성 물체와 상기 렌즈 사이의 거리 값은 상기 핀 홀의 중심의 상부에 맺힌 초점에 의한 상기 근접 장 회절 패턴을 분석함으로써 연산되는, 3차원 거리 측정 방법.
10. The method of claim 9,
Wherein the distance value between the conductive object calculated by the control unit and the lens is calculated by analyzing the near field diffraction pattern by a focus formed on the upper portion of the center of the pin hole.
제 9 항에 있어서,
상기 전도성 물체와 상기 렌즈 사이의 거리 값은 상기 이미지센서에 의해 얻어진 이미지 상의 상기 핀 홀의 중심점의 거리에 대응되는, 3차원 거리 측정 방법.
10. The method of claim 9,
Wherein the distance value between the conductive object and the lens corresponds to the distance of the center point of the pinhole on the image obtained by the image sensor.
제 9 항에 있어서,
상기 적어도 하나의 핀 홀을 통과하는 빛에 의해 감지되는 상기 픽셀 값으로부터 상기 빛의 컬러 값을 얻을 수 있는, 3차원 거리 측정 방법.
10. The method of claim 9,
Wherein a color value of the light is obtained from the pixel value sensed by light passing through the at least one pinhole.
KR1020140182136A 2014-12-17 2014-12-17 3D distance measuring system and 3D distance measuring method KR101594309B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140182136A KR101594309B1 (en) 2014-12-17 2014-12-17 3D distance measuring system and 3D distance measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140182136A KR101594309B1 (en) 2014-12-17 2014-12-17 3D distance measuring system and 3D distance measuring method

Publications (1)

Publication Number Publication Date
KR101594309B1 true KR101594309B1 (en) 2016-02-16

Family

ID=55448111

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140182136A KR101594309B1 (en) 2014-12-17 2014-12-17 3D distance measuring system and 3D distance measuring method

Country Status (1)

Country Link
KR (1) KR101594309B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110500990A (en) * 2019-07-09 2019-11-26 同济大学 A kind of six degree of freedom measuring system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272302A (en) * 2000-03-27 2001-10-05 Nippon Sheet Glass Co Ltd Optical performance evaluating device for lens array
JP2004286689A (en) * 2003-03-25 2004-10-14 Niigata Tlo:Kk Simultaneous measuring method for profile and film thickness distribution for multilayer film, and device therefor
JP2005195739A (en) * 2004-01-05 2005-07-21 Nikon Corp Confocal optical system and height measuring apparatus
JP2006105835A (en) * 2004-10-07 2006-04-20 Matsushita Electric Ind Co Ltd Shape measuring method and device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272302A (en) * 2000-03-27 2001-10-05 Nippon Sheet Glass Co Ltd Optical performance evaluating device for lens array
JP2004286689A (en) * 2003-03-25 2004-10-14 Niigata Tlo:Kk Simultaneous measuring method for profile and film thickness distribution for multilayer film, and device therefor
JP2005195739A (en) * 2004-01-05 2005-07-21 Nikon Corp Confocal optical system and height measuring apparatus
JP2006105835A (en) * 2004-10-07 2006-04-20 Matsushita Electric Ind Co Ltd Shape measuring method and device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110500990A (en) * 2019-07-09 2019-11-26 同济大学 A kind of six degree of freedom measuring system and method

Similar Documents

Publication Publication Date Title
US7009713B2 (en) Optical position measuring system using an interference pattern
US20190324147A1 (en) Detecting angles of objects
JP4485365B2 (en) Ranging device
US11302022B2 (en) Three-dimensional measurement system and three-dimensional measurement method
US8390821B2 (en) Three-dimensional sensing using speckle patterns
TW201531730A (en) Information processing apparatus and information processing method
JP2014066728A (en) Device and method for measuring six degrees of freedom
CN103363951B (en) Trigonometry distance measurement system and method
US20150362310A1 (en) Shape examination method and device therefor
JP2005331784A (en) Optical lens system and position measuring system using it
EP3503032B1 (en) Optical tracking system and optical tracking method
US11029408B2 (en) Distance-imaging system and method of distance imaging
JP3975917B2 (en) Position measurement system
JP2021517635A (en) Road surface monitoring systems and methods using infrared rays, automobiles
KR20200068540A (en) Range differentiators for auto-focusing in optical imaging systems
KR101594314B1 (en) 3D distance measuring system and 3D distance measuring method
KR101594309B1 (en) 3D distance measuring system and 3D distance measuring method
CN110322561A (en) 3D camera and its measurement method for the unordered sorting of robot
EP3529654B1 (en) Optic, luminaire and method for fabricating optic
EP3591465A2 (en) Handheld three dimensional scanner with autofocus or autoaperture
JP2007327966A (en) Light source module and position measuring system using it
KR100698535B1 (en) Position recognition device and method of mobile robot with tilt correction function
US10921119B2 (en) Three dimensional image measurement system
EP4071578A1 (en) Light source control method for vision machine, and vision machine
JP2009097941A (en) Shape measuring device and surface state measuring device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181211

Year of fee payment: 4