KR20140028536A - Apparatus and method of generating depth image - Google Patents

Apparatus and method of generating depth image Download PDF

Info

Publication number
KR20140028536A
KR20140028536A KR1020120095027A KR20120095027A KR20140028536A KR 20140028536 A KR20140028536 A KR 20140028536A KR 1020120095027 A KR1020120095027 A KR 1020120095027A KR 20120095027 A KR20120095027 A KR 20120095027A KR 20140028536 A KR20140028536 A KR 20140028536A
Authority
KR
South Korea
Prior art keywords
microblock
light
pattern
origin
depth
Prior art date
Application number
KR1020120095027A
Other languages
Korean (ko)
Other versions
KR101925028B1 (en
Inventor
김성민
신윤섭
이창환
정용우
조아영
양선호
권영만
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120095027A priority Critical patent/KR101925028B1/en
Publication of KR20140028536A publication Critical patent/KR20140028536A/en
Application granted granted Critical
Publication of KR101925028B1 publication Critical patent/KR101925028B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

An apparatus and a method for generating a depth image using a time of flight (TOF) method are disclosed. The depth image generating apparatus comprises: a light transmitting unit containing a laser diode which generates a light source to irradiate an object, a collimator lens for making the light source parallel, and a pattern element which generates a pattern based on the parallel light to irradiate the object; and a light receiving unit containing a focus lens which receives a reflected light from the object, a filter which transmits a certain wavelength of the received light, a TOF sensor which measures depth information of the object by using a phase difference between the reflected light transmitted through the filter and the light emitted to the object, and a TOF processor which generates a depth image based on the depth information of the object. [Reference numerals] (AA) Physical distance dy; (BB) Physical distance dx; (CC) Re-separate into small micro blocks of NxM

Description

깊이 영상 생성 장치 및 방법{Apparatus and method of generating depth image}Apparatus and method of generating depth image

본 발명은 깊이 영상 생성 장치 및 방법에 관한 것으로서, 더욱 상세하게는 물체(object)의 깊이(depth)를 측정하여 깊이 영상을 생성하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a depth image, and more particularly, to an apparatus and method for generating a depth image by measuring a depth of an object.

일반적으로 3차원 입체 영상은 입체감과 몰입감을 줄 수 있도록 색상 영상과 함께 물체(object)의 깊이 영상을 기반으로 생성된다. 이때 물체의 깊이 영상을 생성하기 위해서는 물체의 깊이를 측정해야 한다.In general, a 3D stereoscopic image is generated based on a depth image of an object together with a color image to give a stereoscopic and immersive feeling. At this time, in order to generate the depth image of the object, the depth of the object must be measured.

물체의 깊이를 측정하는 방법 중 하나로 TOF(Time of flight) 방식이 있다. 상기 TOF 방식은 물체에 직접적으로 광을 조사하고 상기 물체로부터 되돌아오는 반사광의 시간을 계산함으로써 그 물체의 깊이를 측정하는 방식이다. 즉, 물체에 조사된 광과 그 물체에서 반사된 광의 위상차를 이용하여 물체와 카메라 사이의 거리인 깊이 정보를 취득한다.One method of measuring the depth of an object is a time of flight (TOF) method. The TOF method is a method of measuring the depth of the object by directly irradiating light to the object and calculating the time of the reflected light coming back from the object. That is, depth information which is a distance between an object and a camera is acquired using the phase difference of the light irradiated to the object and the light reflected from the object.

도 1은 종래 기술에 따른 깊이 영상 생성 장치의 일 실시예를 보인 구성 블록도로서 크게 송광부(110)와 수광부(120)로 구성된다.FIG. 1 is a block diagram illustrating an embodiment of a depth image generating apparatus according to the related art, and includes a light transmitting unit 110 and a light receiving unit 120.

상기 송광부(110)는 적외선(IR) LED(Light emitting diode)(111)와 투사 렌즈(112)를 포함한다. 상기 수광부(120)는 고정 초점 렌즈(121), IR 필터(122), TOF 센서(123) 및 TOF 프로세서(124)를 포함한다.The light transmitting unit 110 includes an infrared (IR) light emitting diode (LED) 111 and a projection lens 112. The light receiver 120 includes a fixed focus lens 121, an IR filter 122, a TOF sensor 123, and a TOF processor 124.

상기 송광부(110)의 IR LED(111)는 도 2에서와 같이 일정한 주기를 갖는 변조된 광 신호를 투사렌즈(112)로 출력하고, 상기 투사렌즈(112)는 변조된 광 신호를 물체에 투사한다. 상기 변조된 광 신호는 펄스 형태인 것을 일 실시예로 한다.The IR LED 111 of the transmitter 110 outputs a modulated optical signal having a constant period to the projection lens 112 as shown in FIG. 2, and the projection lens 112 outputs the modulated optical signal to an object. Project. In an embodiment, the modulated optical signal is in the form of a pulse.

그리고 상기 수광부(120)의 고정 초점 렌즈(121)는 물체에서 반사되는 광을 수광하여 IR 필터(122)로 출사한다. 상기 IR 필터(122)는 입사되는 광중 IR 파장에 해당하는 광만을 TOF 센서(123)로 투과한다. 상기 TOF 센서(123)는 상기 IR 필터(122)를 투과하는 광을 전기적인 신호로 변환하고, 변환된 신호를 기반으로 상기 물체의 깊이 정보를 측정한다. 즉, 상기 TOF 센서(123)의 각 픽셀은 도 3에 나타낸 바와 같이 송광부(110)에서 물체로 방출된 변조 신호와 상기 물체로부터 반사되는 반사 신호의 위상 이동(phase shift) 양을 검출하고 이를 깊이 정보로 변환한다. The fixed focus lens 121 of the light receiver 120 receives the light reflected from the object and emits the light to the IR filter 122. The IR filter 122 transmits only the light corresponding to the IR wavelength of the incident light to the TOF sensor 123. The TOF sensor 123 converts light passing through the IR filter 122 into an electrical signal and measures depth information of the object based on the converted signal. That is, each pixel of the TOF sensor 123 detects a phase shift amount of a modulation signal emitted from the transmitter 110 to an object and a reflected signal reflected from the object, as shown in FIG. 3. Convert to depth information.

이때 상기 TOF 센서(123)에서 추출되는 깊이 정보는 변조 신호의 파워(Ua)와 반사 신호의 파워(Ub)의 차 신호(Ua-Ub)의 크기에 의해 결정된다. 여기서 Ua-Ub 신호의 크기는 광원과 물체간의 거리에 따라 바뀐다.At this time, the depth information extracted from the TOF sensor 123 is determined by the magnitude of the difference signal (Ua-Ub) of the power (Ua) of the modulation signal and the power (Ub) of the reflection signal. Here, the magnitude of the Ua-Ub signal varies with the distance between the light source and the object.

도 4는 변조된 신호와 반사 신호가 동일한 위상일 때의 위상 이동 검출 방법을 보인 것으로서, 이 경우 변조 신호의 파워(Ua)가 반사 신호의 파워(Ub)보다 크다(Ua > Ub). 4 shows a phase shift detection method when the modulated signal and the reflected signal are in phase, in which case the power Ua of the modulated signal is greater than the power Ub of the reflected signal (Ua> Ub).

도 5는 변조된 신호와 반사 신호가 180도 위상차를 가질 때의 위상 이동 검출 방법을 보인 것으로서, 이 경우 변조 신호의 파워(Ua)가 반사 신호의 파워(Ub)보다 작다(Ua < Ub). 5 shows a phase shift detection method when the modulated signal and the reflected signal have a 180 degree phase difference, in which case the power Ua of the modulated signal is smaller than the power Ub of the reflected signal (Ua <Ub).

도 6은 변조된 신호와 반사 신호가 45도 위상차를 가질 때의 위상 이동 검출 방법을 보인 것으로서, 이 경우 변조 신호의 파워(Ua)와 반사 신호의 파워(Ub)가 같다(Ua = Ub). 6 shows a phase shift detection method when the modulated signal and the reflected signal have a 45 degree phase difference. In this case, the power Ua of the modulated signal and the power Ub of the reflected signal are the same (Ua = Ub).

한편 광원으로 IR LED를 사용하게 되면, 광이 물체의 전면에 조사된다. 따라서 TOF 센서(123)의 한 픽셀로 여러 경로의 광이 들어오게 된다. 즉, 상기 TOF 센서(123)의 한 픽셀에 대응하는 물체의 해당 서브 블록뿐만 아니라 다른 서브 블록에서 반사되는 광들이 상기 TOF 센서(123)의 한 픽셀로 입사되게 된다. 이렇게 되면 서로 다른 위상을 가진 반사광들이 상기 TOF 센서(123)의 한 픽셀로 입사되므로 위상 노이즈가 발생하게 된다. 상기 위상 노이즈는 물체 바운더리의 샤프니스(sharpness)를 저하시키는 원인이 된다. 즉, 상기 위상 노이즈는 물체 바운더리가 블러링(blurring)해지는 원인이 된다.On the other hand, when the IR LED is used as a light source, light is radiated to the front of the object. Therefore, light of various paths enters one pixel of the TOF sensor 123. That is, light reflected from not only the corresponding subblock of the object corresponding to one pixel of the TOF sensor 123 but the other sub block is incident on one pixel of the TOF sensor 123. In this case, since reflected light having different phases is incident on one pixel of the TOF sensor 123, phase noise is generated. The phase noise causes a decrease in the sharpness of the object boundary. That is, the phase noise causes the object boundary to blur.

도 7은 TOF 센서(123)의 한 픽셀로 입사되는 광들의 예를 보인 도면으로서, TOF 센서(123)의 한 픽셀(Sc)에 대응하는 물체 평면의 서브 블록(Oc) 및 주변 서브 블록으로부터 반사되는 광들이 상기 TOF 센서(123)의 한 픽셀(Sc)로 입사되는 예를 보이고 있다. 특히 상기 TOF 센서(123)의 한 픽셀에 대응하는 물체의 해당 서브 블록이 바운더리(또는 에지라 함)에 해당되면, 상기 TOF 센서(123)는 주변 서브 블록에는 물체가 없어도 다양한 경로의 반사광으로 인해 주변 서브 블록에도 물체가 있는 것처럼 인식한다. FIG. 7 illustrates an example of light incident on one pixel of the TOF sensor 123, and is reflected from a sub block Oc of the object plane corresponding to one pixel Sc of the TOF sensor 123 and a peripheral sub block. An example of incident light is incident on one pixel Sc of the TOF sensor 123. In particular, when a corresponding subblock of an object corresponding to one pixel of the TOF sensor 123 corresponds to a boundary (or an edge), the TOF sensor 123 may be caused by reflected light of various paths even if no object exists in the surrounding subblock. Recognize that there are objects in the surrounding subblocks.

이로 인해 상기 물체의 바운더리가 블러링(blurring)해지는 문제가 발생한다. This causes a problem that the boundary of the object is blurred.

도 8은 서로 다른 위상을 가지는 두개의 반사광이 TOF 센서(123)의 한 픽셀로 입사되는 일 실시예를 보이고, 도 9는 서로 다른 위상을 가지는 두개의 반사광이 TOF 센서(123)의 한 픽셀로 입사되는 다른 실시예를 보이고 있다. 8 illustrates an embodiment in which two reflected light beams having different phases are incident to one pixel of the TOF sensor 123, and FIG. 9 shows two reflected light beams having different phases to one pixel of the TOF sensor 123. Another example of incident is shown.

도 8과 같이 위상 노이즈가 발생하게 되면 도 10의 (a)와 같이 물체 바운더리가 블러링해진다. 그리고 도 9와 같이 위상 노이즈가 발생하게 되면 도 10의 (b)와 같이 물체 바운더리가 블러링해진다. When phase noise is generated as shown in FIG. 8, the object boundary is blurred as shown in FIG. 10A. If phase noise is generated as shown in FIG. 9, the object boundary is blurred as shown in FIG. 10B.

그리고 물체 바운더리가 블러링해지면, 제스처 인식시 정확하게 제스처를 인식하지 못하고, 물체 세그멘테이션(object segmentation)시 원하는 영상을 정확하게 세그메테이션하지 못하는 문제가 발생하게 된다.In addition, when the object boundary is blurred, there is a problem that the gesture is not recognized correctly when the gesture is recognized, and that the desired image is not accurately segmented during the object segmentation.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 물체 바운더리의 샤프니스를 향상시키도록 하는 깊이 영상 생성 장치 및 방법을 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to provide a depth image generating apparatus and method for improving the sharpness of the object boundary.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 깊이 영상 생성 장치는 물체에 조사할 광원을 발생하는 레이저 다이오드, 상기 광원을 평행하게 만드는 콜리메이터 렌즈, 및 상기 평행광을 기반으로 패턴을 생성하여 상기 물체로 조사하는 패턴 소자를 포함하는 송광부, 및 상기 물체로부터 반사되는 광을 수광하는 초점 렌즈, 상기 수광된 광의 특정 파장을 투과시키는 필터, 상기 물체에 조사된 광과 상기 필터에서 투과된 반사광의 위상차를 이용하여 상기 물체의 깊이 정보를 측정하는 TOF(Time of flight) 센서, 및 상기 물체의 깊이 정보를 기반으로 깊이 영상을 생성하는 TOF 프로세서를 포함하는 수광부를 포함한다. 상기 패턴 소자는 물체를 Bx(여기서 Bx>1) * By(여기서 By>1)개의 서브 블록으로 구분하고, 각 서브 블록을 N(N>1)*M(M>1)개의 마이크로 블록으로 구분한 후 하나의 광 스폿이 하나의 마이크로 블록에 조사되도록 상기 패턴을 생성하는 것을 일 실시예로 한다.In order to achieve the above object, a depth image generating apparatus according to an embodiment of the present invention is a laser diode for generating a light source to irradiate an object, a collimator lens to make the light source in parallel, and the pattern based on the parallel light A light transmitting part including a pattern element for generating and irradiating to the object, a focus lens for receiving light reflected from the object, a filter for transmitting a specific wavelength of the received light, light irradiated to the object and the filter And a light receiving unit including a time of flight (TOF) sensor that measures depth information of the object by using a phase difference of the transmitted reflected light, and a TOF processor that generates a depth image based on the depth information of the object. The pattern element divides an object into Bx (where Bx> 1) * By (where By> 1) subblocks, and divides each subblock into N (N> 1) * M (M> 1) microblocks. In one embodiment, the pattern is generated so that one light spot is irradiated onto one micro block.

상기 패턴 소자는 회절성 광학 엘리먼트(Diffractive Optical Element, DOE)를 포함하는 것을 일 실시예로 한다.In an embodiment, the pattern element includes a diffractive optical element (DOE).

본 발명의 일 실시예에 따른 깊이 영상 생성 방법은 레이저 다이오드로부터 발생된 광원을 평행광으로 출력하는 단계, 상기 평행광을 기반으로 패턴을 생성하여 물체에 조사하며, 상기 패턴은 상기 물체를 Bx(여기서 Bx>1) * By(여기서 By>1)개의 서브 블록으로 구분하고, 각 서브 블록을 N(여기서 N>1)*M(여기서 M>1)개의 마이크로 블록으로 구분한 후 하나의 광 스폿이 하나의 마이크로 블록에 조사되도록 생성하는 단계, 및 상기 물체에 조사된 광과 상기 물체로부터 반사된 광의 위상차를 이용하여 상기 물체의 깊이 정보를 측정하고, 측정된 물체의 깊이 정보를 기반으로 깊이 영상을 생성하는 단계를 포함한다.According to an embodiment of the present disclosure, a method of generating a depth image may include outputting a light source generated from a laser diode as parallel light, generating a pattern based on the parallel light, and irradiating an object onto the object, wherein the pattern is a Bx ( Where Bx> 1) * By (where By> 1) subblocks, each subblock is divided into N (where N> 1) * M (here M> 1) microblocks, and then one light spot Generating the one microblock to be irradiated, and measuring depth information of the object by using a phase difference between light irradiated to the object and light reflected from the object, and based on the measured depth information of the depth image Generating a step.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.Other objects, features and advantages of the present invention will become apparent from the following detailed description of embodiments taken in conjunction with the accompanying drawings.

본 발명은 광의 파워는 유지하면서 스폿 형태로 광을 물체에 집중시켜 물체의 깊이를 측정하고, 측정된 깊이 정보를 기반으로 깊이 영상을 생성하도록 함으로써, 물체 바운더리의 샤프니스를 향상시키는 효과가 있다. 이로 인해 제스처 인식시 정확하게 제스처를 인식할 수 있고, 물체 세그멘테이션(object segmentation)시 원하는 영상을 정확하게 세그메테이션할 수 있게 된다.The present invention has the effect of improving the sharpness of the object boundary by concentrating the light on the object in the form of spot while maintaining the power of the light to measure the depth of the object and generating a depth image based on the measured depth information. As a result, gestures can be accurately recognized at the time of gesture recognition, and desired images can be accurately segmented at the time of object segmentation.

도 1은 종래 기술에 따른 깊이 영상 생성 장치의 일 실시예를 보인 구성 블록도
도 2는 일정한 주기를 갖는 변조 신호가 물체에 조사된 후 반사되는 과정의 일 예를 보인 도면
도 3은 TOF 센서에서 깊이 정보를 측정하는 원리의 일 예를 보인 도면
도 4는 물체에 조사된 신호와 물체로부터 반사된 신호의 위상차가 같을 때 깊이 정보를 검출하는 방법의 일 예를 보인 도면
도 5는 물체에 조사된 신호와 물체로부터 반사된 신호의 위상차가 180도 차이날 때 깊이 정보를 검출하는 방법의 일 예를 보인 도면
도 6은 물체에 조사된 신호와 물체로부터 반사된 신호의 위상차가 45도 차이날 때 깊이 정보를 검출하는 방법의 일 예를 보인 도면
도 7은 종래 기술에 따른 깊이 영상 생성 장치에서 TOF 센서의 픽셀로 입사되는 광선들의 일 예를 보인 도면
도 8은 서로 다른 위상을 가지는 두개의 반사광이 TOF 센서의 한 픽셀로 입사되는 일 예를 보인 도면
도 9는 서로 다른 위상을 가지는 두개의 반사광이 TOF 센서의 한 픽셀로 입사되는 다른 예를 보인 도면
도 10의 (a)는 도 8과 같이 위상 노이즈가 발생하게 될 때, 물체 바운더리가 블러링해지는 일 예를 보인 도면
도 10의 (b)는 도 9와 같이 위상 노이즈가 발생하게 될 때, 물체 바운더리가 블러링해지는 일 예를 보인 도면
도 11은 본 발명에 따른 깊이 영상 생성 장치의 일 실시예를 보인 구성 블록도
도 12는 본 발명에 따른 복수개의 광 스폿 형태의 패턴을 가지는 광이 물체에 조사되는 일 예를 보인 도면
도 13은 본 발명에 따른 광 스폿이 조사되는 물체를 복수개의 서브 블록으로 분할하는 일 예를 보인 도면
도 14는 본 발명에 따른 각 서브 블록을 다시 복수개의 마이크로 블록으로 분할하는 일 예를 보인 도면
도 15의 (a)는 종래의 깊이 영상 생성 장치를 이용하여 깊이 영상을 생성할 때, 물체 바운더리에서 블러링이 발생하는 예를 보인 도면
도 15의 (b)는 본 발명에 따른 깊이 영상 생성 장치를 이용하여 깊이 영상을 생성할 때, 물체 바운더리에서 샤프니스가 향상된 예를 보인 도면1 is a block diagram showing an embodiment of a depth image generating apparatus according to the prior art
2 illustrates an example of a process in which a modulated signal having a constant period is reflected after being irradiated to an object
3 is a diagram illustrating an example of a principle of measuring depth information in a TOF sensor;
4 illustrates an example of a method of detecting depth information when a phase difference between a signal irradiated to an object and a signal reflected from an object is the same
5 is a diagram illustrating an example of a method of detecting depth information when a phase difference between a signal irradiated to an object and a signal reflected from an object is 180 degrees different from each other;
FIG. 6 is a diagram illustrating an example of a method of detecting depth information when a phase difference between a signal irradiated to an object and a signal reflected from an object is 45 degrees apart
7 is a view showing an example of light rays incident on a pixel of a TOF sensor in a depth image generating apparatus according to the prior art;
8 illustrates an example in which two reflected light beams having different phases are incident on one pixel of the TOF sensor.
9 illustrates another example in which two reflected light beams having different phases are incident on one pixel of the TOF sensor.
FIG. 10A illustrates an example in which object boundaries are blurred when phase noise is generated as shown in FIG. 8.
FIG. 10B illustrates an example in which object boundaries are blurred when phase noise is generated as shown in FIG. 9.
11 is a block diagram showing an embodiment of a depth image generating apparatus according to the present invention;
12 illustrates an example in which light having a plurality of light spot patterns is irradiated to an object according to the present invention;
13 is a diagram illustrating an example of dividing an object to which light spots are irradiated into a plurality of sub-blocks according to the present invention.
14 illustrates an example of dividing each subblock into a plurality of microblocks according to the present invention.
FIG. 15A illustrates an example in which blurring occurs at an object boundary when a depth image is generated using a conventional depth image generating apparatus.
15B illustrates an example in which sharpness is improved in an object boundary when a depth image is generated using the depth image generating apparatus according to the present invention.

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. The structure and operation of the present invention shown in the drawings and described by the drawings are described as at least one embodiment, and the technical ideas and the core structure and operation of the present invention are not limited thereby.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다. The terms used in the present invention are selected from general terms that are widely used in the present invention while considering the functions of the present invention. However, the terms may vary depending on the intention or custom of the artisan or the emergence of new technology. In addition, in certain cases, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the corresponding description of the invention. Therefore, it is to be understood that the term used in the present invention should be defined based on the meaning of the term rather than the name of the term, and on the contents of the present invention throughout.

또한 본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.In addition, specific structural to functional descriptions of embodiments according to the inventive concept disclosed herein are only illustrated for the purpose of describing the embodiments according to the inventive concept, and according to the inventive concept. These may be embodied in various forms and should not be construed as limited to the embodiments set forth herein.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The embodiments according to the concept of the present invention can make various changes and have various forms, so that specific embodiments are illustrated in the drawings and described in detail herein. It is to be understood, however, that it is not intended to limit the embodiments according to the concepts of the present invention to the particular forms of disclosure, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

그리고 본 발명에서 제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.In the present invention, the terms first and / or second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are intended to distinguish one element from another, for example, without departing from the scope of the invention in accordance with the concepts of the present invention, the first element may be termed the second element, The second component may also be referred to as a first component.

또한 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components regardless of reference numerals will be given the same reference numerals and redundant description thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

본 발명은 물체 바운더리에서 샤프니스를 향상시키기 위하여 물체 바운더리에 조사되는 광의 개수를 낮출 수 있도록 하는데 있다. 즉, 물체 바운더리가 아닌 부분의 반사광이 물체 바운더리에 해당하는 TOF 센서의 픽셀로 입사될 확률을 낮춘다.The present invention aims to reduce the number of lights irradiated to the object boundary in order to improve the sharpness in the object boundary. That is, the probability that the reflected light of the portion which is not the object boundary is incident on the pixel of the TOF sensor corresponding to the object boundary is lowered.

이를 위해 본 발명은 송광부의 광원으로 LED 대신 LD(Laser diode)를 사용하면서 추가로 콜리메이터 렌즈와 패턴 소자를 이용하여 물체에 투사되는 광의 파워는 유지하면서 스폿 형태로 광을 집중시켜 물체에 투사하는 것을 일 실시예로 한다. 즉, 패턴을 갖는 광을 물체에 투사한다. To this end, the present invention uses LD (Laser diode) instead of LED as the light source of the light transmitting unit, and additionally using a collimator lens and a pattern element while concentrating the light in the spot form while maintaining the power of the light projected on the object to project to the object In one embodiment. That is, light having a pattern is projected onto the object.

도 11은 본 발명에 따른 깊이 영상 생성 장치의 일 실시예를 보인 구성 블록도로서, 크게 송광부(210)와 수광부(220)로 구성된다.FIG. 11 is a block diagram illustrating an embodiment of a depth image generating apparatus according to the present invention, and includes a light transmitting unit 210 and a light receiving unit 220.

상기 송광부(210)는 LD(211), 콜리메이터 렌즈(212), 및 패턴 소자(213)를 포함한다. 상기 수광부(220)는 도 1과 동일하게 고정 초점 렌즈(121), IR 필터(122), TOF 센서(123) 및 TOF 프로세서(124)를 포함한다.The light transmitting unit 210 includes an LD 211, a collimator lens 212, and a pattern element 213. The light receiver 220 includes a fixed focus lens 121, an IR filter 122, a TOF sensor 123, and a TOF processor 124, similar to FIG. 1.

상기 LD(211)에서 나온 광원은 콜리메이터 렌즈(212)로 입사되고, 상기 콜리메이터 렌즈(212)는 입사되는 광을 평행광으로 만들어 패턴 소자(213)로 출사한다.The light source emitted from the LD 211 is incident on the collimator lens 212, and the collimator lens 212 emits the incident light into parallel light and exits the pattern element 213.

상기 패턴 소자(213)는 패턴을 형성하고, 상기 패턴을 가지는 광을 물체에 투사한다. 여기서 상기 패턴은 고정된 패턴일 수도 있고, 물체의 거리나 화각 등에 의해 가변되는 패턴일 수도 있다. 상기 패턴 소자(213)는 복수개의 스폿 형태의 패턴을 형성하는 것을 일 실시예로 한다. 이때 상기 패턴은 복수개의 스폿이 랜덤하게 배열될 수도 있고, 복수개의 스폿이 규칙을 가지고 균일하게 배열될 수도 있다. The pattern element 213 forms a pattern and projects light having the pattern onto an object. Herein, the pattern may be a fixed pattern or a pattern that is varied by an object distance or an angle of view. In an embodiment, the pattern element 213 forms a plurality of spot patterns. In this pattern, a plurality of spots may be randomly arranged or a plurality of spots may be uniformly arranged with a rule.

도 12는 상기 패턴 소자(213)를 통해 스폿 형태로 물체에 조사되는 패턴의 일 예를 보인 도면이다. FIG. 12 is a diagram illustrating an example of a pattern irradiated to an object in a spot form through the pattern element 213.

상기 패턴 소자(213)는 회절성 광학 엘리먼트(Diffractive Optical Element, DOE)를 포함하는 것을 일 실시예로 한다. 즉, 본 발명은 물체의 깊이 측정을 위한 패턴 형성에 DOE를 사용하는 것을 일 실시예로 한다. 상기 DOE는 패턴 구조에 의해 빔이 회절하면서 패턴에 따라 다양한 빔 패턴을 발생한다. In an embodiment, the pattern element 213 includes a diffractive optical element (DOE). That is, according to an embodiment of the present invention, the DOE is used to form a pattern for measuring the depth of an object. The DOE generates various beam patterns according to patterns while diffracting beams by a pattern structure.

이때 상기 DOE는 물체 바운더리에서의 샤프니스 증진을 위해 다음의 조건을 만족하도록 설계하는 것을 일 실시예로 한다.At this time, the DOE is designed to satisfy the following conditions to improve sharpness in the object boundary as an embodiment.

즉, 도 13에서와 같이 물체(즉, 물체 표면)를 가상의 스크린이라고 가정하고, 스크린을 Bx(Bx>1) * By(By>1)의 서브 블록으로 구분한다면, 임의의 서브 블록 B*에 대하여 DOE는 아래 및 도 14와 같이 규칙성을 갖도록 설계하는 것을 일 실시예로 한다.That is, assuming that an object (ie, object surface) is a virtual screen as shown in FIG. 13, and the screen is divided into subblocks of Bx (Bx> 1) * By (By> 1), any subblock B * In the embodiment, DOE is designed to have regularity as shown in FIG. 14 and below.

규칙 1은 물체 내 하나의 서브 블록(예, B*)을 N(N>1)*M(M>1)의 마이크로 블록으로 구분한 후, 하나의 광 스폿이 하나의 마이크로 블록에 조사되도록 한다. 그리고 N*M개의 마이크로 블록들을 복수개의 그룹으로 그룹핑한다. 즉, 복수개의 그룹 중 각 그룹은 Dx(Dx≤N)*Dy(Dy≤M)개의 마이크로 블록을 포함한다. Rule 1 divides one subblock in an object (e.g., B *) into microblocks of N (N> 1) * M (M> 1), and then allows one light spot to irradiate one microblock. . The N * M microblocks are grouped into a plurality of groups. That is, each group of the plurality of groups includes Dx (Dx ≦ N) * Dy (Dy ≦ M) micro blocks.

도 14는 규칙 1에 의해 하나의 서브 블록(B*)이 N*M개의 마이크로 블록으로 구분되고, 구분된 N*M개의 마이크로 블록들이 다시 복수개의 그룹으로 그룹핑되는 예를 보이고 있다. 도 14의 왼쪽은 복수개의 그룹 중 하나의 그룹을 확대한 것으로서, 하나의 그룹이 2*2(=4)개의 마이크로 블록을 포함하는 예이다(즉, Dx=2, Dy=2). FIG. 14 shows an example in which one subblock B * is divided into N * M micro blocks according to rule 1, and the divided N * M micro blocks are grouped into a plurality of groups again. The left side of FIG. 14 is an enlarged view of one group of a plurality of groups, and one group includes 2 * 2 (= 4) micro blocks (that is, Dx = 2 and Dy = 2).

본 발명은 각 그룹 내 각 마이크로 블록의 좌상단을 좌표의 원점(origin)이라고 할 때, 마이크로 블록 내의 스폿(또는 도트라 함)이 해당 원점으로부터 떨어져 있는 물리적 가로 거리를 ixy, 세로 거리를 jxy라 하기로 한다.In the present invention, when the upper left end of each microblock in each group is referred to as the origin of coordinates, the physical horizontal distance in which the spot (or dot) in the microblock is separated from the origin is i xy and the vertical distance is j xy Shall be.

규칙 2는 각 그룹 내에서 특정 로우(row)를 선택하고 선택된 로우의 모든 마이크로 블록에서 ixy, jxy 를 측정하였을 때, ixy, jxy 가 각각 균일한(uniform) 확률 분포를 가질 수 있게 DOE를 구성한다. 규칙 2에서 각 그룹의 i(가로),j(세로)번째 마이크로 블록을 이벤트 Ai, Aj라 하기로 한다. Rule 2 allows i xy and j xy to each have a uniform probability distribution when i select a particular row within each group and measure i xy and j xy in all microblocks of the selected row. Configure the DOE. In rule 2, the i (horizontal) and j (vertical) microblocks of each group will be referred to as events Ai and Aj.

규칙 3은 각 그룹 내에서 특정 컬럼(column)을 선택하고 선택된 컬럼의 모든 마이크로 블록에서 ixy, jxy 를 측정하였을 때, ixy, jxy 가 각각 균일한(uniform) 확률 분포를 가질 수 있게 DOE를 구성한다. 규칙 3에서 각 그룹의 i번째, j번째 마이크로 블록을 이벤트 Bi, Bj라 하기로 한다.Rule 3 is able to select a specific column (column) within each group, and have a selected time in every micro block of the column measured a i xy, j xy, i xy , (uniform) probability distributions are respectively uniform j xy Configure the DOE. In Rule 3, the i-th and j-th microblocks of each group are referred to as events Bi and Bj.

규칙 4는 각 그룹 내에서 좌상단으로부터 특정 각도(예, 45도, 135도 등) 대각선을 선택하고, 선택된 대각선 상의 모든 마이크로 블록에서 ixy, jxy 를 측정하였을 때, ixy, jxy 가 각각 균일한(uniform) 확률 분포를 가질 수 있게 DOE를 구성한다. 규칙 4에서 각 그룹의 i번째, j번째 마이크로 블록을 이벤트 Ci, Cj라 하기로 한다.Rule 4 is an angle from the upper left in the respective groups (for example, 45 degrees, 135 degrees, etc.) when selecting the angle and measuring the i xy, j xy in all micro blocks on the selected angle, each i xy, j xy is Configure DOE to have a uniform probability distribution. In Rule 4, the i-th and j-th microblocks of each group are referred to as events Ci and Cj.

이는 다음의 수학식 1과 같은 확률 공간(probability space)으로 표시할 수 있다. 확률 공간은 확률을 수학적인 방식으로 서술한 공간으로, 확률적으로 나타낼 수 있는 이벤트의 집합과 그 이벤트가 가지는 확률을 정의하는 공간이다.This may be represented by a probability space as shown in Equation 1 below. Probability space is a space describing a probability in a mathematical manner, and is a space defining a set of events that can be represented probabilistically and the probability of the event.

Figure pat00001
Figure pat00001

F는 S의 부분 집합으로 이루어진 시그마 필드(σ-field)이다. F is a sigma field (σ-field) consisting of a subset of S.

P는 F에서 정의된 확률 측도(probability measure)이다. 즉, 상기 각 이벤트에 대한 확률이다.P is a probability measure defined in F. That is, the probability for each event.

그리고 상기 각 이벤트의 확률밀도함수 f는 다음의 수학식 2의 조건을 만족하는 것을 일 실시예로 한다.In an embodiment, the probability density function f of each event satisfies the condition of Equation 2 below.

Figure pat00002
Figure pat00002

본 발명은 다른 실시예로, 상기 수학식 1,2를 적용하여 각 그룹에서 ixy, jxy 가 랜덤한 확률 분포를 가지게 할 수도 있다. 이때에도 하나의 마이크로 블록에는 하나의 광 스폿이 위치하도록 한다. According to another embodiment of the present invention, i xy and j xy may have random probability distributions in each group by applying Equations 1 and 2 above. In this case, one light spot is positioned in one micro block.

한편 본 발명에서 스크린을 Bx*By 서브 블록으로 나누는 것은 일 예이며, Bx*By가 아닌 임의의 모양과 크기를 가질 수 있다. 또한 하나의 서브 블록 B*를 N*M 마이크로 블록으로 나누는 것은 일 예이며, N*M이 아닌 임의의 모양과 크기를 가질 수 있다. 그리고 서브 블록의 모양이 사각형이 아닌 다른 형태일 수도 있다. 즉, 상기 서브 블록의 모양이나 방향, 상기 마이크로 블록의 모양이나 방향에 따라 각 그룹에서 ixy, jxy 가 랜덤한 확률 분포를 가질 수도 있고, 균일한 확률 분포를 가질 수도 있다. 일 예로, 제스처와 같이 움직임이 있는 물체는 에지가 많으므로 균일한 확률 분포가 효과적이고, 자연 경관과 같이 움직임이 거의 없는 물체는 랜덤한 확률 분포가 효과적이다.Meanwhile, in the present invention, dividing the screen into Bx * By subblocks is an example, and may have any shape and size other than Bx * By. In addition, dividing one subblock B * into N * M microblocks is an example, and may have any shape and size other than N * M. The subblock may have a shape other than a rectangle. That is, i xy and j xy may have random probability distributions or uniform probability distributions in each group according to the shape or direction of the subblocks or the shape or direction of the microblocks. For example, an object having a movement such as a gesture has an edge, so a uniform probability distribution is effective, and an object having almost no movement, such as a natural landscape, has a random probability distribution.

이때 서브 블록은 자유로운 모양을 가질 수 있으나, 각 모양으로부터 임의의 원점 및 원점으로부터의 ixy, jxy 측정을 위한 방향은 설정하는 것을 일 실시예로 한다.At this time, the sub-block may have a free shape, but i xy , j xy from any origin and origin from each shape In one embodiment, the direction for the measurement is set.

지금까지 설명된 방법에 따라 물체의 각 마이크로 블록에 하나의 광 스폿이 위치하도록 투사된 광은 그 물체로부터 반사되어 수광부(220)의 고정 초점 렌즈(121)로 반사된다. 상기 고정 초점 렌즈(121)는 상기 물체로부터 반사되는 광을 수광하여 IR 필터(122)로 출사한다. 상기 IR 필터(122)는 입사되는 광중 IR 파장에 해당하는 광만을 TOF 센서(123)로 투과한다. 상기 TOF 센서(123)는 상기 IR 필터(122)를 투과하는 광을 전기적인 신호로 변환하고, 변환된 신호를 기반으로 상기 물체의 깊이 정보를 측정한다. 즉, 상기 TOF 센서(123)의 각 픽셀은 송광부(110)에서 물체로 조사한 광과 상기 물체로부터 해당 픽셀로 반사되는 광의 위상차를 검출하고 이를 깊이 정보로 변환하여 TOF 프로세서(124)로 출력한다. 상기 TOF 프로세서(124)는 상기 깊이 정보를 기반으로 물체의 깊이 영상(즉, 이미지)을 생성한다. 또한 상기 TOF 프로세서(124)는 상기 물체의 깊이 영상과 컬러 영상을 이용하여 3차원 영상을 생성할 수도 있다. 이때 컬러 영상의 생성 방법은 본 발명의 특징이 아니므로 상세 설명은 생략하기로 한다. 다른 예로, 2차원 영상에 깊이 영상을 부가하여 3차원 영상을 생성할 수도 있다. The projected light is reflected from the object to the fixed focus lens 121 of the light receiving portion 220 according to the method described so far so that one light spot is located in each micro block of the object. The fixed focus lens 121 receives the light reflected from the object and exits the IR filter 122. The IR filter 122 transmits only the light corresponding to the IR wavelength of the incident light to the TOF sensor 123. The TOF sensor 123 converts light passing through the IR filter 122 into an electrical signal and measures depth information of the object based on the converted signal. That is, each pixel of the TOF sensor 123 detects a phase difference between the light irradiated to the object from the transmitter 110 and the light reflected from the object to the corresponding pixel, and converts it into depth information and outputs the depth information to the TOF processor 124. . The TOF processor 124 generates a depth image (ie, an image) of an object based on the depth information. Also, the TOF processor 124 may generate a 3D image using the depth image and the color image of the object. In this case, the method of generating the color image is not a feature of the present invention, and thus a detailed description thereof will be omitted. As another example, a 3D image may be generated by adding a depth image to the 2D image.

도 15의 (a)는 종래의 깊이 영상 생성 장치를 이용하여 깊이 영상을 생성할 때, 물체 바운더리에서 블러링이 발생하는 예를 보이고 있고, 도 15의 (b)는 본 발명에 따른 깊이 영상 생성 장치를 이용하여 깊이 영상을 생성할 때, 물체 바운더리에서 샤프니스가 향상된 예를 보이고 있다.FIG. 15A illustrates an example in which blurring occurs at an object boundary when a depth image is generated using a conventional depth image generating apparatus, and FIG. 15B illustrates depth image generation according to the present invention. When the depth image is generated by the device, the sharpness is improved in the object boundary.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로 본 발명의 기술적 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains have various modifications and Modifications are possible. Therefore, the technical scope of the present invention should not be limited to the described embodiments, but should be defined not only by the claims below but also by the equivalents of the claims.

120, 220: 수광부 121: 고정 초점 렌즈
122: IR 필터 123: TOF 센서
124: TOF 프로세서
210: 송광부 211: LD
212: 콜리메이터 렌즈 213: 패턴 소자120, 220: Light receiving portion 121: Fixed focus lens
122: IR filter 123: TOF sensor
124: TOF processor
210: light transmitting part 211: LD
212: collimator lens 213: pattern element

Claims (9)

물체에 조사할 광원을 발생하는 레이저 다이오드, 상기 광원을 평행하게 만드는 콜리메이터 렌즈, 및 상기 평행광을 기반으로 패턴을 생성하여 상기 물체로 조사하는 패턴 소자를 포함하는 송광부; 및
상기 물체로부터 반사되는 광을 수광하는 초점 렌즈, 상기 수광된 광의 특정 파장을 투과시키는 필터, 상기 물체에 조사된 광과 상기 필터에서 투과된 반사광의 위상차를 이용하여 상기 물체의 깊이 정보를 측정하는 TOF(Time of flight) 센서, 및 상기 물체의 깊이 정보를 기반으로 깊이 영상을 생성하는 TOF 프로세서를 포함하는 수광부;를 포함하며,
상기 패턴 소자는 물체를 Bx(Bx>1) * By(By>1)개의 서브 블록으로 구분하고, 각 서브 블록을 N(N>1)*M(M>1)개의 마이크로 블록으로 구분한 후 하나의 광 스폿이 하나의 마이크로 블록에 조사되도록 상기 패턴을 생성하는 것을 특징으로 하는 깊이 영상 생성 장치.A light transmitting unit including a laser diode for generating a light source to be irradiated to an object, a collimator lens for paralleling the light source, and a pattern element for generating a pattern based on the parallel light to irradiate the object; And
TOF for measuring depth information of the object using a focus lens for receiving light reflected from the object, a filter for transmitting a specific wavelength of the received light, and a phase difference between the light irradiated to the object and the reflected light transmitted by the filter And a light receiving unit including a time of flight sensor and a TOF processor for generating a depth image based on depth information of the object.
The pattern element divides an object into Bx (Bx> 1) * By (By> 1) subblocks, and divides each subblock into N (N> 1) * M (M> 1) microblocks. And generating the pattern such that one light spot is irradiated onto one micro block. 제 1 항에 있어서,
상기 패턴 소자는 회절성 광학 엘리먼트(Diffractive Optical Element, DOE)를 포함하는 것을 특징으로 하는 깊이 영상 생성 장치.The method of claim 1,
The pattern element includes a diffractive optical element (DOE), characterized in that the depth image generating device. 제 2 항에 있어서, 상기 패턴 소자는
N(N>1)*M(M>1)개의 마이크로 블록을 하나 이상의 그룹으로 그룹핑하고, 각 그룹 내 특정 로우의 모든 마이크로 블록에서 ixy, jxy (ixy는 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 가로 거리, jxy 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 세로 거리)가 각각 균일한 확률 분포를 가지는 패턴을 생성하는 것을 특징으로 하는 깊이 영상 생성 장치.The method of claim 2, wherein the pattern element
Group N (N> 1) * M (M> 1) microblocks into one or more groups, and i xy , j xy (i xy is the optical spot within that microblock A depth characterized in that a physical horizontal distance away from the origin of the microblock, j xy , a physical longitudinal distance from which the light spot in the microblock is away from the origin of the microblock) produces a pattern having a uniform probability distribution. Video generation device. 제 2 항에 있어서, 상기 패턴 소자는
N(N>1)*M(M>1)개의 마이크로 블록을 하나 이상의 그룹으로 그룹핑하고, 각 그룹 내 특정 컬럼의 모든 마이크로 블록에서 ixy, jxy (ixy는 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 가로 거리, jxy 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 세로 거리)가 각각 균일한 확률 분포를 가지는 패턴을 생성하는 것을 특징으로 하는 깊이 영상 생성 장치.The method of claim 2, wherein the pattern element
Group N (N> 1) * M (M> 1) microblocks into one or more groups, and i xy , j xy (i xy is the light spot within that microblock A depth characterized in that a physical horizontal distance away from the origin of the microblock, j xy , a physical longitudinal distance from which the light spot in the microblock is away from the origin of the microblock) produces a pattern having a uniform probability distribution. Video generation device. 제 2 항에 있어서, 상기 패턴 소자는
N(N>1)*M(M>1)개의 마이크로 블록을 하나 이상의 그룹으로 그룹핑하고, 각 그룹 내 특정 대각선 상의 모든 마이크로 블록에서 ixy, jxy (ixy는 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 가로 거리, jxy 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 세로 거리)가 각각 균일한 확률 분포를 가지는 패턴을 생성하는 것을 특징으로 하는 깊이 영상 생성 장치.The method of claim 2, wherein the pattern element
Group N (N> 1) * M (M> 1) microblocks into one or more groups, and in each microblock on a particular diagonal within each group, i xy , j xy (i xy is the light spot within that microblock A depth characterized in that a physical horizontal distance away from the origin of the microblock, j xy , a physical longitudinal distance from which the light spot in the microblock is away from the origin of the microblock) produces a pattern having a uniform probability distribution. Video generation device. 레이저 다이오드로부터 발생된 광원을 평행광으로 출력하는 단계;
상기 평행광을 기반으로 패턴을 생성하여 물체에 조사하며, 상기 패턴은 상기 물체를 Bx(Bx>1) * By(By>1)개의 서브 블록으로 구분하고, 각 서브 블록을 N(N>1)*M(M>1)개의 마이크로 블록으로 구분한 후 하나의 광 스폿이 하나의 마이크로 블록에 조사되도록 생성하는 단계; 및
상기 물체에 조사된 광과 상기 물체로부터 반사된 광의 위상차를 이용하여 상기 물체의 깊이 정보를 측정하고, 측정된 물체의 깊이 정보를 기반으로 깊이 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 영상 생성 방법.Outputting a light source generated from the laser diode as parallel light;
A pattern is generated based on the parallel light and irradiated to an object. The pattern divides the object into Bx (Bx> 1) * By (By> 1) subblocks, and each subblock is N (N> 1). Dividing into ** (M> 1) microblocks and generating one light spot to irradiate one microblock; And
And measuring depth information of the object by using a phase difference between the light irradiated to the object and the light reflected from the object, and generating a depth image based on the measured depth information of the object. How to produce. 제 6 항에 있어서, 상기 패턴 생성 단계는
N(N>1)*M(M>1)개의 마이크로 블록을 하나 이상의 그룹으로 그룹핑하고, 각 그룹 내 특정 로우의 모든 마이크로 블록에서 ixy, jxy (ixy는 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 가로 거리, jxy 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 세로 거리)가 각각 균일한 확률 분포를 가지는 패턴을 생성하는 것을 특징으로 하는 깊이 영상 생성 방법.The method of claim 6, wherein the pattern generation step
Group N (N> 1) * M (M> 1) microblocks into one or more groups, and i xy , j xy (i xy is the optical spot within that microblock A depth characterized in that a physical horizontal distance away from the origin of the microblock, j xy , a physical longitudinal distance from which the light spot in the microblock is away from the origin of the microblock) produces a pattern having a uniform probability distribution. How to create an image. 제 6 항에 있어서, 상기 패턴 생성 단계는
N(N>1)*M(M>1)개의 마이크로 블록을 하나 이상의 그룹으로 그룹핑하고, 각 그룹 내 특정 컬럼의 모든 마이크로 블록에서 ixy, jxy (ixy는 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 가로 거리, jxy 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 세로 거리)가 각각 균일한 확률 분포를 가지는 패턴을 생성하는 것을 특징으로 하는 깊이 영상 생성 방법.The method of claim 6, wherein the pattern generation step
Group N (N> 1) * M (M> 1) microblocks into one or more groups, and i xy , j xy (i xy is the light spot within that microblock A depth characterized in that a physical horizontal distance away from the origin of the microblock, j xy , a physical longitudinal distance from which the light spot in the microblock is away from the origin of the microblock) produces a pattern having a uniform probability distribution. How to create an image. 제 6 항에 있어서, 상기 패턴 생성 단계는
N(N>1)*M(M>1)개의 마이크로 블록을 하나 이상의 그룹으로 그룹핑하고, 각 그룹 내 특정 대각선 상의 모든 마이크로 블록에서 ixy, jxy (ixy는 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 가로 거리, jxy 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 세로 거리)가 각각 균일한 확률 분포를 가지는 패턴을 생성하는 것을 특징으로 하는 깊이 영상 생성 방법.The method of claim 6, wherein the pattern generation step
Group N (N> 1) * M (M> 1) microblocks into one or more groups, and in each microblock on a particular diagonal within each group, i xy , j xy (i xy is the light spot within that microblock A depth characterized in that a physical horizontal distance away from the origin of the microblock, j xy , a physical longitudinal distance from which the light spot in the microblock is away from the origin of the microblock) produces a pattern having a uniform probability distribution. How to create an image.
KR1020120095027A 2012-08-29 2012-08-29 Apparatus and method of generating depth image KR101925028B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120095027A KR101925028B1 (en) 2012-08-29 2012-08-29 Apparatus and method of generating depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120095027A KR101925028B1 (en) 2012-08-29 2012-08-29 Apparatus and method of generating depth image

Publications (2)

Publication Number Publication Date
KR20140028536A true KR20140028536A (en) 2014-03-10
KR101925028B1 KR101925028B1 (en) 2018-12-04

Family

ID=50641935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120095027A KR101925028B1 (en) 2012-08-29 2012-08-29 Apparatus and method of generating depth image

Country Status (1)

Country Link
KR (1) KR101925028B1 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016105700A1 (en) * 2014-12-22 2016-06-30 Google Inc. Integrated camera system having two dimensional image capture and three dimensional time-of-flight capture with movable illuminated region of interest
WO2016105724A1 (en) * 2014-12-22 2016-06-30 Google Inc. Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
WO2016204658A1 (en) * 2015-06-15 2016-12-22 Арташес Валерьевич ИКОНОМОВ Optical attachment for a smartphone-type mobile telephone
KR20170086570A (en) * 2014-11-21 2017-07-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Multiple pattern illumination optics for time of flight system
WO2017204498A1 (en) * 2016-05-27 2017-11-30 엘지전자 주식회사 Mobile terminal
KR20170134212A (en) * 2016-05-27 2017-12-06 엘지전자 주식회사 Mobile terminal
WO2018026046A1 (en) * 2016-08-01 2018-02-08 엘지전자 주식회사 Asymmetric optical sensor device
KR20180075091A (en) * 2016-12-26 2018-07-04 연세대학교 산학협력단 Apparatus and method for determining optical signal reflected from target in depth sensor
KR20190000052A (en) * 2017-06-22 2019-01-02 엘지이노텍 주식회사 Light transmission apparatus and tof module using the same
KR20190014977A (en) * 2017-08-04 2019-02-13 엘지이노텍 주식회사 Time of flight module
WO2019199101A1 (en) * 2018-04-13 2019-10-17 엘지이노텍 주식회사 Camera module and depth map extraction method thereof
CN112272948A (en) * 2018-06-07 2021-01-26 Lg伊诺特有限公司 Camera module and depth information extraction method thereof
CN112823511A (en) * 2018-09-21 2021-05-18 Lg伊诺特有限公司 Camera module
US11143880B2 (en) * 2018-12-19 2021-10-12 Xi'an Jiaotong University TOF depth sensor based on laser speckle projection and distance measuring method thereof
US11828849B2 (en) 2017-11-28 2023-11-28 Sony Semiconductor Solutions Corporation Illumination device, time of flight system and method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200136148A (en) * 2019-05-27 2020-12-07 엘지이노텍 주식회사 Camera module

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090006825A (en) * 2006-03-14 2009-01-15 프라임 센스 엘티디. Depth-varying light fields for three dimensional sensing
KR20100112853A (en) * 2009-04-10 2010-10-20 (주)실리콘화일 Apparatus for detecting three-dimensional distance
US20110188027A1 (en) * 2010-02-01 2011-08-04 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090006825A (en) * 2006-03-14 2009-01-15 프라임 센스 엘티디. Depth-varying light fields for three dimensional sensing
KR20100112853A (en) * 2009-04-10 2010-10-20 (주)실리콘화일 Apparatus for detecting three-dimensional distance
US20110188027A1 (en) * 2010-02-01 2011-08-04 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170086570A (en) * 2014-11-21 2017-07-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Multiple pattern illumination optics for time of flight system
US9918073B2 (en) 2014-12-22 2018-03-13 Google Llc Integrated camera system having two dimensional image capture and three dimensional time-of-flight capture with movable illuminated region of interest
WO2016105724A1 (en) * 2014-12-22 2016-06-30 Google Inc. Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
GB2548666B (en) * 2014-12-22 2021-06-23 Google Llc Integrated camera system having two dimensional image capture and three dimensional time-of-flight capture with movable illuminated region of interest
WO2016105700A1 (en) * 2014-12-22 2016-06-30 Google Inc. Integrated camera system having two dimensional image capture and three dimensional time-of-flight capture with movable illuminated region of interest
US10306209B2 (en) 2014-12-22 2019-05-28 Google Llc Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
GB2548662A (en) * 2014-12-22 2017-09-27 Google Inc Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
US9854226B2 (en) 2014-12-22 2017-12-26 Google Inc. Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
GB2548666A (en) * 2014-12-22 2017-09-27 Google Inc Intergrated camera system having two dimensional image capture and three dimensional time-of-flight capture with movable illuminated region of interest
GB2548662B (en) * 2014-12-22 2021-08-18 Google Llc Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
WO2016204658A1 (en) * 2015-06-15 2016-12-22 Арташес Валерьевич ИКОНОМОВ Optical attachment for a smartphone-type mobile telephone
KR20170134212A (en) * 2016-05-27 2017-12-06 엘지전자 주식회사 Mobile terminal
WO2017204498A1 (en) * 2016-05-27 2017-11-30 엘지전자 주식회사 Mobile terminal
CN109155801A (en) * 2016-05-27 2019-01-04 Lg电子株式会社 Mobile terminal
US11409119B2 (en) 2016-05-27 2022-08-09 Lg Electronics Inc. Mobile terminal
WO2018026046A1 (en) * 2016-08-01 2018-02-08 엘지전자 주식회사 Asymmetric optical sensor device
US11506785B2 (en) 2016-08-01 2022-11-22 Lg Electronics Inc. Asymmetric optical sensor device
KR20180075091A (en) * 2016-12-26 2018-07-04 연세대학교 산학협력단 Apparatus and method for determining optical signal reflected from target in depth sensor
KR20190000052A (en) * 2017-06-22 2019-01-02 엘지이노텍 주식회사 Light transmission apparatus and tof module using the same
KR20190014977A (en) * 2017-08-04 2019-02-13 엘지이노텍 주식회사 Time of flight module
KR20220075283A (en) 2017-08-04 2022-06-08 엘지이노텍 주식회사 Time of flight module
US11828849B2 (en) 2017-11-28 2023-11-28 Sony Semiconductor Solutions Corporation Illumination device, time of flight system and method
WO2019199101A1 (en) * 2018-04-13 2019-10-17 엘지이노텍 주식회사 Camera module and depth map extraction method thereof
EP3780596A4 (en) * 2018-04-13 2021-09-01 LG Innotek Co., Ltd. Camera module and depth map extraction method thereof
CN111971957A (en) * 2018-04-13 2020-11-20 Lg伊诺特有限公司 Camera module and depth map extraction method thereof
US11568553B2 (en) 2018-04-13 2023-01-31 Lg Innotek Co., Ltd. Camera module and depth map extraction method thereof
KR20190119904A (en) * 2018-04-13 2019-10-23 엘지이노텍 주식회사 Camera module and depth map extraction method of the same
CN111971957B (en) * 2018-04-13 2024-03-08 Lg伊诺特有限公司 Camera module and depth map extraction method thereof
JP2021527236A (en) * 2018-06-07 2021-10-11 エルジー イノテック カンパニー リミテッド Camera module and its depth information extraction method
US11368665B2 (en) * 2018-06-07 2022-06-21 Lg Innotek Co., Ltd. Camera module and depth information extraction method therefor
CN112272948A (en) * 2018-06-07 2021-01-26 Lg伊诺特有限公司 Camera module and depth information extraction method thereof
CN112272948B (en) * 2018-06-07 2024-05-17 Lg伊诺特有限公司 Camera module and depth information extraction method thereof
CN112823511A (en) * 2018-09-21 2021-05-18 Lg伊诺特有限公司 Camera module
CN112823511B (en) * 2018-09-21 2024-01-12 Lg伊诺特有限公司 Camera module
US11143880B2 (en) * 2018-12-19 2021-10-12 Xi'an Jiaotong University TOF depth sensor based on laser speckle projection and distance measuring method thereof

Also Published As

Publication number Publication date
KR101925028B1 (en) 2018-12-04

Similar Documents

Publication Publication Date Title
KR101925028B1 (en) Apparatus and method of generating depth image
CN111263899B (en) Lighting device, time-of-flight system and method
US11310479B2 (en) Non-uniform spatial resource allocation for depth mapping
KR102163728B1 (en) Camera for depth image measure and method of measuring depth image using the same
KR101975971B1 (en) Depth camera, multi-depth camera system, and synchronizing method thereof
US9030529B2 (en) Depth image acquiring device, system and method
JP5138119B2 (en) Object detection device and information acquisition device
US9958758B2 (en) Multiple exposure structured light pattern
JP6484071B2 (en) Object detection device
US20120236288A1 (en) Range Based Sensing
JPWO2018056199A1 (en) Distance measurement system, distance measurement method and program
KR102046944B1 (en) Sub-resolution optical detection
KR101917773B1 (en) Method and system for generating a light pattern using polygons
US11118901B2 (en) Image processing system and image processing method
WO2019067109A1 (en) 3-d360 degree depth projector
TW201421074A (en) Depth imaging method and apparatus with adaptive illumination of an object of interest
US10140722B2 (en) Distance measurement apparatus, distance measurement method, and non-transitory computer-readable storage medium
WO2014108976A1 (en) Object detecting device
JP2015184056A (en) Measurement device, method, and program
KR20160090464A (en) Method for generating depth map in TOF camera
JP2020160044A (en) Distance measuring device and distance measuring method
KR101806969B1 (en) Static Pattern Mask and Variable Focus Lens based 3D Shape Scanning System and Method
EP3462128A1 (en) 3-d 360 degree depth projector
KR20130028594A (en) Method for creating structured light, apparatus thereof and aparatus for motion detection by using apparatus thereof
CN116745644A (en) Distance measuring device, control method of the device, and distance measuring system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant