KR101557295B1 - 3-dimensional time of flight image capturing device - Google Patents

3-dimensional time of flight image capturing device Download PDF

Info

Publication number
KR101557295B1
KR101557295B1 KR1020140061191A KR20140061191A KR101557295B1 KR 101557295 B1 KR101557295 B1 KR 101557295B1 KR 1020140061191 A KR1020140061191 A KR 1020140061191A KR 20140061191 A KR20140061191 A KR 20140061191A KR 101557295 B1 KR101557295 B1 KR 101557295B1
Authority
KR
South Korea
Prior art keywords
image
viewing angle
light source
dimensional
time
Prior art date
Application number
KR1020140061191A
Other languages
Korean (ko)
Inventor
이민구
한승헌
Original Assignee
주식회사 더에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 더에스 filed Critical 주식회사 더에스
Priority to KR1020140061191A priority Critical patent/KR101557295B1/en
Priority to PCT/KR2015/002711 priority patent/WO2015178575A1/en
Application granted granted Critical
Publication of KR101557295B1 publication Critical patent/KR101557295B1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification

Abstract

Provided is a three-dimensional time flight image capturing device. The three-dimensional time flight image capturing device according to an embodiment of the present invention captures a three-dimensional time flight image of an object, including: a light source which emits light toward the object; a viewing angle adjustment unit which adjusts a viewing angle of the light source based on the distance between the object and the three-dimensional time flight image capturing device; an adjustment lens unit which adjusts a focus based on the distance between the object and the three-dimensional time flight image capturing device and passes light, reflected from the object, to an image capturing element; the image capturing element which receives the light, reflected from the object, and generates raw image data; and a signal processing unit which receives the raw image data from the image capturing element, processes the raw image data, and generates a three-dimensional depth image and a three-dimensional intensity image.

Description

3차원 시간 비행 이미지 획득 장치{3-DIMENSIONAL TIME OF FLIGHT IMAGE CAPTURING DEVICE}{3-DIMENSIONAL TIME OF FLIGHT IMAGE CAPTURING DEVICE}

본 발명은 3차원 시간 비행 이미지 획득 장치에 관한 것으로, 보다 자세하게는 광원의 시야각과 물체로부터 반사되는 광의 초점을 자동으로 조절할 수 있는 3차원 시간 비행 이미지 획득 장치에 관한 것이다.The present invention relates to a three-dimensional time-flight image acquisition apparatus, and more particularly, to a three-dimensional time-of-flight image acquisition apparatus capable of automatically adjusting a viewing angle of a light source and a focus of light reflected from an object.

종래의 스테레오스코픽(stereoscopic) 방식의 3차원 스캐너는 2대의 카메라를 이용하며, 촬영된 2개의 이미지를 2개의 기준 좌표에 대비하여 측정된 이미지와 비교함으로써, 관측 시야각에 따른 방사 왜곡을 보정하고, 스테레오 매칭 및 삼각법에 따른 이미지 처리를 하여 3차원 깊이 이미지 맵을 구성한다.A conventional stereoscopic three-dimensional scanner uses two cameras, and compares two photographed images with measured images in comparison with two reference coordinates, thereby correcting radial distortion according to an observation viewing angle, Stereo matching, and triangulation to form a three-dimensional depth image map.

그리고, 키넥트(kinect) 센서 기반의 3차원 스캐너는 광원에서 작은 반점 무늬의 광을 발생시켜, 기준 패턴과 측정된 패턴의 상관관계의 차이를 이용하여 거리를 측정한다.In addition, a three-dimensional scanner based on a kinect sensor generates a small speckle light in a light source, and measures a distance using a difference between a reference pattern and a measured pattern.

그러나, 스테레오스코픽 방식의 3차원 스캐너는, 데이터의 처리에 많은 시간이 소요되며, 이 밖에 전력 소모, 외부 광원에 의한 영향 및 표면 무늬에 의한 초기 보정의 필요 등 고려해야 할 요소가 상당하다.However, a stereoscopic three-dimensional scanner takes much time to process data, and there are considerable factors to consider such as power consumption, influence of external light source, and necessity of initial correction by surface pattern.

또한, 키넥트 센서 기반의 3차원 스캐너는, 각 환경에 따라서 사용자가 직접 기준 패턴의 생성을 위한 보정 처리 과정을 수행해야하는 불편함이 있으며, 광의 강도 정보를 거리 정보로 환산하는 알고리즘에 기반하기 때문에, 광원의 변화가 심한 실외에서는 사용에 제약이 따른다.In addition, the three-dimensional scanner based on the Kinect sensor is inconvenient to perform a correction process for generating a reference pattern directly according to each environment, and is based on an algorithm for converting intensity information of light into distance information , There is a restriction on the use in the outdoor where the light source changes greatly.

위와 같은 문제점으로부터 안출된 본 발명이 해결하고자 하는 기술적 과제는, 획득되는 3차원 시간 비행 이미지의 정확도를 높일 수 있는 3차원 시간 비행 이미지 획득 장치를 제공하고자 하는 것이다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide a three-dimensional time-flight image acquisition apparatus capable of increasing the accuracy of a three-dimensional time-flight image.

본 발명이 해결하고자 하는 다른 기술적 과제는, 소형의 핸드헬드 타입(handheld type)으로, 사용이 간편하고 실외에서 사용이 가능한 3차원 시간 비행 이미지 획득 장치를 제공하고자 하는 것이다.Another object of the present invention is to provide a three-dimensional time-flight image acquiring device which is small handheld type, easy to use, and usable outdoors.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 광원의 시야각을 조절하여 멀리까지 광을 도달시킬 수 있는 3차원 시간 비행 이미지 획득 장치를 제공하고자 하는 것이다.It is another object of the present invention to provide a three-dimensional time-flight image acquisition apparatus capable of adjusting a viewing angle of a light source to reach far away.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical objects of the present invention are not limited to the above-mentioned technical problems, and other technical subjects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 언급된 기술적 과제들을 해결하기 위한, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치는, 물체의 3차원 시간 비행 이미지를 획득하기 위한 3차원 시간 비행 이미지 획득 장치에 있어서, 상기 물체를 향해 광을 조사하는 광원; 상기 물체와 상기 3차원 시간 비행 이미지 획득 장치 사이의 거리에 따라 상기 광원의 시야각을 조절하는 시야각 조절부; 상기 물체와 상기 3차원 시간 비행 이미지 획득 장치 사이의 거리에 따라 초점을 조절하는 조절 렌즈부로서, 상기 물체로부터 반사된 광은 상기 조절 렌즈부를 거쳐서 촬상 소자로 수신되는 것인, 조절 렌즈부; 상기 물체로부터 반사된 광을 수신하여 로우 이미지 데이터(raw image data)를 생성하는 촬상 소자; 및 상기 촬상 소자로부터 상기 로우 이미지 데이터를 제공받고, 상기 로우 데이터를 처리하여 3차원 깊이 이미지 및 3차원 강도 이미지를 생성하는 신호 처리부를 포함한다.According to an aspect of the present invention, there is provided an apparatus for acquiring a three-dimensional time-of-flight image of an object, the apparatus comprising: A light source that emits light toward the light source; A viewing angle adjusting unit for adjusting a viewing angle of the light source according to a distance between the object and the 3D time flight image acquisition apparatus; An adjustment lens unit that adjusts focus according to a distance between the object and the 3D time-flight image acquisition apparatus, wherein light reflected from the object is received by the imaging element via the adjustment lens unit; An imaging device for receiving light reflected from the object and generating raw image data; And a signal processor receiving the row image data from the imaging device and processing the row data to generate a 3D depth image and a 3D intensity image.

상기와 같은 본 발명에 따르면, 광원의 관측 시야각을 조절할 수 있고, 물체로부터 반사되는 광의 초점이 촬상 소자 상에 형성되도록 초점을 자동으로 조절할 수 있기 때문에, 획득되는 3차원 시간 비행 이미지에 대한 정확도를 높일 수 있다.According to the present invention as described above, since the viewing angle of the light source can be adjusted and the focus can be automatically adjusted so that the focus of the light reflected from the object is formed on the imaging element, .

또한, 비행 시간 방식을 3차원 시간 비행 이미지 획득 장치에 적용시키는 것이기 때문에, 종래의 방식에 비해 간단한 구성으로 물체에 대한 3차원 시간 비행 이미지를 얻을 수 있다.In addition, since the flight time system is applied to the 3D time flight image acquisition apparatus, a 3D time flight image of the object can be obtained with a simpler configuration than the conventional system.

도 1은 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치의 구성을 나타내는 도면이다.
도 2는 도 1의 3차원 시간 비행 이미지 획득 장치에서 시야각 조절부에 의해 광원의 시야각이 조절되는 것을 나타내는 도면이다.
도 3은 도 1의 3차원 시간 비행 이미지 획득 장치에서 조절 렌즈부에 의해 반사된 광의 초점이 조절되는 것을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치의 시야각 조절 기능을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치의 초점 조절 기능을 설명하기 위한 순서도이다.
도 6a 및 도 6b는 3차원 깊이 이미지와 3차원 강도 이미지를 예시하는 도면이다.
도 7a 및 도 7b는 투명 반사 물체에 대한 3차원 깊이 이미지와 3차원 강도 이미지를 예시하는 도면이다.
도 8은 도 1의 3차원 시간 비행 이미지 획득 장치를 포함하는 3차원 시간 비행 이미지 획득 시스템의 구성을 나타내는 도면이다.
도 9는 도 8의 3차원 시간 비행 이미지 획득 시스템의 디스플레이부에 3차원 깊이 이미지가 표시된 것을 나타내는 도면이다.
도 10은 도 8의 3차원 시간 비행 이미지 획득 시스템의 디스플레이부에 3차원 강도 이미지가 표시된 것을 나타내는 도면이다.
도 11은 도 1의 3차원 비행 이미지 획득 장치가 적용되는 전자 기기의 예를 도시한 것이다.
FIG. 1 is a diagram illustrating a configuration of a 3D time flight image acquisition apparatus according to an embodiment of the present invention. Referring to FIG.
2 is a view showing that the viewing angle of the light source is adjusted by the viewing angle adjusting unit in the 3D time flight image acquisition apparatus of FIG.
3 is a view showing that the focus of the light reflected by the adjustment lens unit in the 3D time flight image acquisition apparatus of FIG. 1 is adjusted.
4 is a flowchart for explaining a view angle adjusting function of the 3D time flight image acquiring apparatus according to an embodiment of the present invention.
5 is a flowchart illustrating a focus adjustment function of the 3D time-flight image acquisition apparatus according to an exemplary embodiment of the present invention.
6A and 6B are views illustrating a three-dimensional depth image and a three-dimensional intensity image.
7A and 7B are views illustrating a three-dimensional depth image and a three-dimensional intensity image for a transparent reflective object.
FIG. 8 is a view showing a configuration of a 3D time-flight image acquisition system including the 3D time-of-flight image acquisition apparatus of FIG. 1;
9 is a view showing a three-dimensional depth image displayed on the display unit of the 3D time flight image acquisition system of FIG.
FIG. 10 is a view showing a three-dimensional intensity image displayed on the display unit of the three-dimensional time-of-flight image acquisition system of FIG.
FIG. 11 illustrates an example of an electronic apparatus to which the apparatus for obtaining a three-dimensional flying image of FIG. 1 is applied.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. The terms " comprises "and / or" comprising "used in the specification do not exclude the presence or addition of one or more other elements in addition to the stated element.

이하, 도면을 참조하여 본 발명의 실시예들에 따른 3차원 시간 비행 이미지 획득 장치에 대해 설명하기로 한다.Hereinafter, a 3D time-flight image acquiring apparatus according to embodiments of the present invention will be described with reference to the drawings.

도 1 내지 도 3을 참조하여, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치에 대해 설명한다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치의 구성이 개시되고, 도 2를 참조하면, 도 1의 3차원 시간 비행 이미지 획득 장치에서 시야각 조절부에 의해 광원의 시야각이 조절되는 것이 개시되고, 도 3을 참조하면, 도 1의 3차원 시간 비행 이미지 획득 장치에서 조절 렌즈부에 의해 반사된 광의 초점이 조절되는 것이 개시된다.1 to 3, a three-dimensional time-of-flight image acquiring apparatus according to an embodiment of the present invention will be described. Referring to FIG. 1, a configuration of a 3D time-flight image acquiring apparatus according to an embodiment of the present invention is disclosed. Referring to FIG. 2, in the 3D time- Referring to FIG. 3, it is disclosed that the focus of the light reflected by the adjustment lens unit in the 3D time flight image acquisition apparatus of FIG. 1 is adjusted.

도 1을 참조하면, 3차원 시간 비행 이미지 획득 장치(1)는, 광원(10), 시야각 조절부(11), 조절 렌즈부(21), 촬상 소자(20) 및 신호 처리부(30)를 포함할 수 있다. 다만, 이에 제한되지 않고, 3차원 시간 비행 이미지 획득 장치(1)는, 광원 렌즈(12), 광원 구동부(13), 필터(22), 수광 렌즈(23), 변조 구동부(24), 제어부(40) 및 모션 센서(50)를 더 포함할 수 있다.1, a three-dimensional time-of-flight image acquisition apparatus 1 includes a light source 10, a viewing angle adjusting unit 11, an adjusting lens unit 21, an image pickup device 20, and a signal processing unit 30 can do. The 3D time flight image acquiring apparatus 1 includes a light source lens 12, a light source driving unit 13, a filter 22, a light receiving lens 23, a modulation driving unit 24, a control unit (not shown) 40 and a motion sensor 50, as shown in FIG.

우선, 도 1 및 도 2를 참조하면, 3차원 이미지를 획득하고자 하는 물체(100)에 광을 조사하는 구성에 대하여 살펴본다. 예컨대, 광원 구동부(13)에 의해 광원(10)이 제어되고, 광원(10)으로부터 조사된 광은 시야각 조절부(11)와 광원 렌즈(12)를 거쳐서 물체(100)에 도달할 수 있다.First, referring to FIG. 1 and FIG. 2, a configuration for irradiating light onto an object 100 to acquire a three-dimensional image will be described. For example, the light source 10 is controlled by the light source driving unit 13, and the light emitted from the light source 10 can reach the object 100 through the viewing angle adjusting unit 11 and the light source lens 12.

구체적으로, 광원(10)은 물체(100)를 향해 광을 조사할 수 있다. 광원(10)은 예컨대, 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있으며, 구체적으로 발광 다이오드 또는 레이저 다이오드가 어레이 형태로 배열될 수 있지만, 이에 제한되지 않는다. 그리고, 광원(10)은 사람에게 유해하지 않도록 약 850 nm의 파장을 갖는 근적외선(NIR: NearInfraRed)을 조사할 수 있지만, 이에 제한되지 않는다. 따라서, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치(1)에 따르면, 근적외선의 광을 이용하기 때문에, 주간 및 야간 모두 3차원 시간 비행 이미지 획득 장치(1)를 사용할 수 있다. 더욱이, 광원(10)이 약 850 nm의 파장을 갖는 근적외선을 조사하면, 실리콘 기반의 CMOS 이미지 소자인 촬상 소자(20)에 대하여 수신 감도가 우수할 수 있다.Specifically, the light source 10 can irradiate light toward the object 100. [ The light source 10 may be, for example, a light emitting diode (LED) or a laser diode (LD), and specifically, a light emitting diode or a laser diode may be arranged in an array form, but is not limited thereto. The light source 10 may irradiate Near Infra Red (NIR) having a wavelength of about 850 nm so as not to be harmful to humans, but is not limited thereto. Therefore, according to the 3D time flight image acquiring apparatus 1 according to the embodiment of the present invention, since the near-infrared light is used, the 3D time flight image acquiring apparatus 1 can be used both at daytime and at night. Furthermore, when the light source 10 irradiates near infrared rays having a wavelength of about 850 nm, the sensitivity to the imaging device 20 which is a silicon-based CMOS image device can be excellent.

광원(10)은 광원 구동부(13)에 의해 제어될 수 있으며, 물체(100)로 조사되는 광은 소정의 주기를 갖는 주기적인 연속 함수의 형태를 가질 수 있지만, 이에 제한되지 않으며, 불연속적인 펄스의 형태를 가질 수도 있다. 예컨대, 조사광은 정현파, 삼각파, 톱니파, 램프파, 구형파 등과 같이 특별히 정의된 파형을 가질 수도 있지만, 이에 제한되지 않으며, 특별히 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다.The light source 10 may be controlled by the light source driver 13 and the light emitted to the object 100 may have the form of a periodic continuous function having a predetermined period, As shown in FIG. For example, the illuminating light may have a specially defined waveform such as a sinusoidal wave, a triangular wave, a sawtooth wave, a ramp wave, a square wave, etc., but is not limited thereto and may have a general form of waveform not specifically defined.

광원 구동부(13)는 제어부(40)에 의해 제어됨으로써 광원(10)을 변조하여 구동시킬 수 있고, 예컨대, 조사되는 광의 크기(amplitude)를 변조시키거나, 펄스를 변조시키거나, 또는 광의 위상(phase), 주파수, 펄스 암호화 여부, 펄스의 폭 및 상승 시간 등을 변조시키는 방식으로 광원(10)을 구동시킬 수 있다.The light source driving unit 13 can be controlled by the control unit 40 to modulate and drive the light source 10 so as to modulate the amplitude of the irradiated light or to modulate the pulse, phase, frequency, pulse encryption, pulse width and rise time, etc., of the light source 10 can be driven.

도 2를 참조하면, 시야각 조절부(11)는 광원(10)의 시야각을 변경시킬 수 있다. 구체적으로, 물체(100)와 3차원 시간 비행 이미지 획득 장치(1) 사이의 거리에 따라 광원(10)의 시야각이 조절될 수 있으며, 시야각 조절부(11)는 광원 렌즈(12)와 광원(10) 사이에 위치하여 다양한 방식으로 구현될 수 있다.Referring to FIG. 2, the viewing angle adjusting unit 11 may change the viewing angle of the light source 10. Specifically, the viewing angle of the light source 10 can be adjusted according to the distance between the object 100 and the 3D time flight image acquisition apparatus 1, and the viewing angle adjusting unit 11 can adjust the viewing angle of the light source 10, 10 and may be implemented in various ways.

광원(10)의 시야각을 조절함으로써 충분한 양의 광이 물체(100)에 도달하도록 할 수 있다. 예컨대, 광원(10)의 시야각이 작을수록 먼 거리까지 광이 도달할 수 있으며, 광원(10)의 시야각이 클수록 광이 도달할 수 있는 거리는 짧아질 수 있다. 따라서, 물체(100)와 광원(10) 사이의 거리를 측정하고 측정된 거리에 기초하여 광원(10)의 시야각을 조절함으로써, 물체(100)까지 충분한 양의 광이 도달할 수 있도록 할 수 있다. 따라서, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치(1)에 따르면, 광원(10)의 시야각을 조절하기 때문에 전력 소비를 최소화하면서 양질의 3차원 이미지를 얻을 수 있다.By adjusting the viewing angle of the light source 10, a sufficient amount of light can reach the object 100. For example, the smaller the viewing angle of the light source 10 is, the longer the light can reach, and the larger the viewing angle of the light source 10, the shorter the distance that the light can reach. Thus, by measuring the distance between the object 100 and the light source 10 and adjusting the viewing angle of the light source 10 based on the measured distance, a sufficient amount of light can reach the object 100 . Therefore, according to the 3D time flight image acquisition apparatus 1 according to the embodiment of the present invention, since the viewing angle of the light source 10 is adjusted, a high quality three-dimensional image can be obtained while minimizing power consumption.

도 1 및 도 3을 참조하여, 물체(100)로부터 반사된 광을 수신하고 수신된 광에 대한 데이터를 처리하는 구성에 대하여 살펴본다. 도 3을 참조하면, 물체(100)를 향해 입사하는 광과 물체(100)로부터 반사된 광이 서로 이격되어 도시되었지만, 이는 설명의 편의를 위해 이격하여 도시된 것일 뿐이다.1 and 3, a configuration for receiving light reflected from the object 100 and processing data for the received light will be described. Referring to FIG. 3, the light incident on the object 100 and the light reflected from the object 100 are shown spaced apart from each other, but this is only shown for ease of description.

도 1 및 도 3을 참조하면, 물체(100)로부터 반사된 광은 수광 렌즈(23)와 필터(22)를 거쳐서 촬상 소자(20)에 수신될 수 있으며, 변조 구동부(24)에 의해 구동되는 촬상 소자(20)는 수신된 반사광으로부터 로우 이미지 데이터(raw image data)를 생성하고, 신호 처리부(30)는 촬상 소자(20)로부터 받은 로우 이미지 데이터를 처리할 수 있다.1 and 3, the light reflected from the object 100 can be received by the image pickup element 20 via the light-receiving lens 23 and the filter 22, and is driven by the modulation driver 24 The image pickup device 20 generates raw image data from the received reflected light and the signal processing unit 30 can process the raw image data received from the image pickup device 20. [

구체적으로, 수광 렌즈(23)는 물체(100)로부터 반사된 광을 촬상 소자(20)가 위치한 영역으로 집광할 수 있다. 그리고, 필터(22)는 미리 정해진 파장을 갖는 광만을 투과시킬 수 있으며, 예컨대, 대역통과 광학 필터일 수 있다.Specifically, the light-receiving lens 23 can condense the light reflected from the object 100 into the region where the imaging element 20 is located. Then, the filter 22 can transmit only light having a predetermined wavelength, and can be, for example, a band-pass optical filter.

조절 렌즈부(21)는 수광 렌즈(23)와 촬상 소자(20) 사이에 위치하며, 물체(100)와 3차원 시간 비행 이미지 획득 장치(1) 사이의 거리에 따라 초점을 조절할 수 있다. 예컨대, 제어부(40)의 제어에 따라 조절 렌즈부(21)에 포함된 조절 매체(미도시)를 조절하여 초점 위치를 조절할 수 있다. 따라서, 3차원 시간 비행 이미지 획득 장치(1)를 통해 얻어진 해당 물체(100)에 초점이 형성된 3차원 이미지를 얻을 수 있다.The adjustment lens unit 21 is located between the light receiving lens 23 and the image pickup device 20 and can adjust the focus according to the distance between the object 100 and the 3D time flight image acquisition apparatus 1. [ For example, the control unit 40 controls the adjustment medium (not shown) included in the adjustment lens unit 21 to adjust the focal position. Therefore, a three-dimensional image formed by focusing on the object 100 obtained through the 3D time-flight image acquiring apparatus 1 can be obtained.

예컨대, 도 3을 참조하면, 물체(100)와 3차원 시간 비행 이미지 획득 장치(1) 사이의 거리(더욱 자세하게는 물체(100)와 촬상 소자(20) 사이의 거리)를 D1 내지 D3로 표현하고, D1 내지 D3에 각각 물체(100)가 위치하고 있는 경우를 상정할 수 있다. 만약 가장 가까운 거리인 D1에 위치한 물체(100)에 초점을 맞춘 3차원 이미지를 획득하고자 한다면, D1에 위치한 물체(100)로부터 반사된 광을 수신하여 분석함으로써 물체(100)로부터 3차원 시간 비행 이미지 획득 장치(1) 사이의 거리에 대한 정보를 얻고, 해당 정보를 이용하여 조절 렌즈부(21) 내에 포함된 조절 매체를 조절하여 초점을 조절할 수 있다.3, the distance between the object 100 and the 3D time flight image acquisition device 1 (more specifically, the distance between the object 100 and the image pickup device 20) is expressed as D1 to D3 , And the object 100 is positioned in D1 to D3, respectively. If a three-dimensional image focused on the object 100 located at the closest distance D1 is acquired, the light reflected from the object 100 located at D1 is received and analyzed to obtain a three- Acquiring information on the distance between the acquisition device 1 and adjusting the focus by adjusting the adjustment medium included in the adjustment lens unit 21 using the information.

한편, 조절 렌즈부(21)는 물체(100)로부터 반사된 광의 경로를 조절하여 광원(10)의 시야각 내의 물체(100)의 특정 부분이 확대되어 촬상 소자(20)에 이미지를 형성하도록 할 수 있으며, 예컨대 렌즈가 기계식으로 조절되어 줌-인(zoom-in) 또는 줌-아웃(zoom-out)될 수 있지만, 구동 방식은 이에 제한되지 않는다.The adjustment lens unit 21 may adjust the path of the light reflected from the object 100 so that a specific portion of the object 100 in the viewing angle of the light source 10 is enlarged to form an image on the imaging device 20. [ For example, the lens may be mechanically adjusted to zoom-in or zoom-out, but the driving method is not limited thereto.

초점의 기준이 되는 물체의 선정은, 입력 수단을 이용하여 사용자로부터 기준이 되는 대상에 대한 정보를 입력받을 수 있지만, 이에 제한되지 않고, 미리 정해진 기준을 만족시키는 특정한 물체가 기준으로서 자동으로 선택되도록 할 수도 있다. 따라서, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치(1)에 따르면, 초점의 자동 조절로 인해 획득되는 3차원 이미지의 정밀도를 향상시킬 수 있다. 여기서, 초점의 조절은 거리 값의 에러율 보정을 위해 수행되는 것일 수 있다.The selection of the object to be the focus can be performed by inputting information about the object as a reference from the user using the input means, but the present invention is not limited to this, and a specific object satisfying a predetermined criterion may be automatically selected as a reference You may. Therefore, according to the 3D time-flight image acquiring apparatus 1 according to the embodiment of the present invention, the accuracy of the three-dimensional image obtained by automatic adjustment of the focus can be improved. Here, the adjustment of the focus may be performed for correcting the error rate of the distance value.

촬상 소자(20)는 물체(100)로부터 반사된 광을 수신할 수 있고, 반사된 광으로부터 로우 이미지 데이터(raw image data)를 생성할 수 있다. 예컨대, 촬상 소자(20)는 2D 이미지 센서를 포함할 수 있으며, 이에 제한되지 않고 RGB 카메라 센서를 포함할 수도 있으며, 예컨대 반사된 광이 스플릿되어 2D 이미지 센서 및 RGB 센서에 동시에 수용되는 구조를 가질 수 있지만, 이에 제한되지 않는다. 또한, 촬상 소자(20)는 3차원 시간 비행(Time of Flight) 방식으로 광학적인 합성(Photonic Mixer) 기능을 갖춘 단위 픽셀의 집합으로 이루어질 수 있지만, 이에 제한되지 않는다.The imaging device 20 can receive light reflected from the object 100 and can generate raw image data from the reflected light. For example, the imaging device 20 may include a 2D image sensor, and may include, but is not limited to, an RGB camera sensor, for example, a structure in which reflected light is split and accommodated simultaneously in a 2D image sensor and an RGB sensor But are not limited thereto. In addition, the image pickup device 20 may be formed of a set of unit pixels having a photonic mixer function in a three-dimensional time-of-flight method, but is not limited thereto.

변조 구동부(24)는 3차원 촬상 소자(20)를 구동시킬 수 있으며, 광원(10)으로부터 조사된 광과 동일하거나 90°, 180° 및 270° 등의 위상 차이가 있는 신호가 생성되도록 3차원 촬상 소자(20)로부터 출력되는 파형을 변조시킬 수 있지만, 직접 시간 비행(direct TOF) 방식을 이용하는 경우, 불연속적인 펄스를 갖는 광원(10)이 이용되므로 이와 다를 수 있다.The modulation driving section 24 can drive the three-dimensional image pickup device 20 and generates a three-dimensional (3D) image signal so that a signal having the same phase difference as that of the light emitted from the light source 10 or having a phase difference of 90 degrees, 180 degrees, The waveform output from the image pickup device 20 can be modulated. However, when the direct TOF method is used, the light source 10 having discontinuous pulses is used, which may be different.

신호 처리부(30)는 촬상 소자(20)로부터 로우 이미지 데이터를 제공받고, 로우 데이터를 처리하여 3차원 깊이 이미지 및 3차원 강도 이미지를 생성할 수 있다. 신호 처리부(30)에서 생성되는 3차원 깊이 이미지는 도 6a와 같이 출력될 수 있고, 신호 처리부(30)에서 생성되는 3차원 강도 이미지는 도 6b와 같이 출력될 수 있다. 신호 처리부(30)는 3차원 깊이 이미지 및 3차원 강도 이미지를 형성하기 위해, 예컨대, 광원(10)으로부터 조사된 광의 위상을 변조시킨 변조광의 파형과 반사된 광의 파형을 비교함으로써, 깊이(거리)와 강도에 대한 값을 얻을 수 있다. 신호 처리부(30)로부터 얻어진 깊이 값 및 강도 값은, 후처리 과정에서 포인트 클라우드 방식이나, 복셀, 칼라 코드 맵 방식을 통해 실제 물체와 비슷한 볼륨을 가지는 3D 이미지를 생성하는데 이용될 수 있다.The signal processing unit 30 may receive the raw image data from the imaging device 20 and process the raw data to generate a three-dimensional depth image and a three-dimensional intensity image. The three-dimensional depth image generated by the signal processing unit 30 may be output as shown in FIG. 6A, and the three-dimensional intensity image generated by the signal processing unit 30 may be output as shown in FIG. 6B. The signal processing unit 30 calculates the depth (distance) by comparing the waveform of the reflected light with the waveform of the modulated light obtained by modulating the phase of the light irradiated from the light source 10, for example, to form a three-dimensional depth image and a three- And a value for strength can be obtained. The depth value and intensity value obtained from the signal processing unit 30 can be used to generate a 3D image having a volume similar to an actual object through a point cloud method, a voxel, and a color code mapping method in a post-processing process.

다만, 3차원 깊이 이미지와 3차원 강도 이미지를 생성하는 방식으로 위상 차이를 이용한 전술한 위상 변조 방식 이외에, 3차원 시간 비행(Time of Flight) 방식을 직접적으로 이용하는 직접 시간 비행(direct TOF) 방식을 이용할 수도 있다.However, in addition to the above-described phase modulation method using a phase difference in a method of generating a 3D depth image and a 3D intensity image, a direct time flight (direct TOF) method using a 3D time-of- It can also be used.

제어부(40)는 3차원 시간 비행 이미지 획득 장치(1)의 전반적인 작동을 제어하며, 예컨대, 시야각 조절부(11), 광원 구동부(13), 조절 렌즈부(21), 변조 구동부(24) 및 신호 처리부(30) 등이 제어부(40)에 의해 제어될 수 있다.The control unit 40 controls the overall operation of the 3D time flight image acquisition apparatus 1 and includes a viewing angle adjusting unit 11, a light source driving unit 13, an adjusting lens unit 21, a modulation driving unit 24, The signal processing unit 30 and the like can be controlled by the control unit 40. [

모션 센서(50)는 3차원 시간 비행 이미지 획득 장치(1)의 이동, 기울기 및 방향 등의 정보를 감지하여 3차원 이미지를 생성하는데 정확도를 높일 수 있으며, 이러한 정보는 3차원 이미지와 함께 저장되고 3차원 이미지를 표시할 때 이용될 수 있다.The motion sensor 50 senses information such as the movement, tilt and direction of the 3D time flight image acquisition device 1 to increase accuracy in generating a three-dimensional image, and this information is stored together with the three-dimensional image And can be used when displaying a three-dimensional image.

구체적으로 3차원 이미지의 절대 좌표값을 감지하여 생성할 수 있다. 3차원 이미지의 절대 좌표값을 표시하기 위해, 예컨대, X축, Y축 및 Z축 3개의 축이 이용될 수 있다.Specifically, an absolute coordinate value of a three-dimensional image can be sensed and generated. In order to display the absolute coordinate values of the three-dimensional image, for example, three axes of X-axis, Y-axis and Z-axis may be used.

모션 센서(50)로서 예컨대, 3차원 시간 비행 이미지 획득 장치(1)의 회전 상태를 3개의 축을 기초로 감지하여 기울기를 인식하는 자이로 센서, 3차원 시간 비행 이미지 획득 장치(10)의 이동 상태를 3개의 축을 기초로 감지하는 가속도 센서 및 자기장 세기를 3개의 축을 기초로 감지하는 지자기 센서 중 적어도 하나 이상이 이용될 수 있지만, 이에 제한되지 않는다.도 4를 참조하여, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치(1)의 시야각 조절 기능을 설명한다. 도 4를 참조하면, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치(1)의 시야각 조절 기능을 설명하기 위한 순서도가 도시된다.As the motion sensor 50, for example, a gyro sensor that senses the rotation state of the three-dimensional time-of-flight image acquisition device 1 based on three axes and recognizes the tilt, and a movement state of the three- An acceleration sensor that senses based on three axes, and a geomagnetic sensor that senses the magnetic field strength based on three axes may be used, but is not limited thereto. Referring to FIG. 4, in one embodiment of the present invention Dimensional image capturing apparatus 1 according to the present invention will be described. Referring to FIG. 4, a flow chart for explaining the viewing angle adjusting function of the 3D time-of-flight image obtaining apparatus 1 according to an embodiment of the present invention is shown.

우선, 신호 처리부(30)는 3차원 깊이 이미지 및 3차원 강도 이미지를 분석하여, 물체를 검출하고 검출된 물체에 대한 깊이 값 및 강도 값을 산출할 수 있다(S1). 깊이 값은 거리 값일 수 있으며, 3차원 깊이 이미지로부터 산출되는 3차원 시간 비행 이미지 획득 장치(1)와 물체(100) 사이의 거리에 대한 값을 의미할 수 있다, 강도 값은 3차원 강도 이미지로부터 얻을 수 있는 물체(100)로부터 반사된 광의 세기 값을 의미할 수 있다.First, the signal processing unit 30 can detect an object by analyzing a 3D depth image and a 3D intensity image, and calculate a depth value and an intensity value for the detected object (S1). The depth value may be a distance value and may mean a value for the distance between the 3D time flight image acquisition device 1 and the object 100 calculated from the 3D depth image. The intensity of light reflected from the object 100 can be obtained.

예컨대, 3차원 깊이 이미지와 3차원 강도 이미지를 서로 매칭시켜서 검출된 물체에 대한 깊이 값 및 강도 값을 산출할 수 있으며, 상대적으로 가까이 위치한 물체는 강도 값이 크고 깊이 값이 작을 수 있고, 상대적으로 멀리 위치한 물체는 강도 값이 작고 깊이 값이 클 수 있다.For example, a depth value and a strength value for a detected object can be calculated by matching a 3D depth image and a 3D intensity image to each other. An object located relatively close can have a large intensity value, a small depth value, An object located farther away may have a smaller intensity value and a larger depth value.

이후에, 신호 처리부(30)는 산출된 깊이 값 및 강도 값을 보정할 수 있다(S2). 3차원 이미지를 획득하고자 하는 물체(100)가 유리와 같이 투명하고 빛을 과도하게 반사시키는 경우, 왜곡된 3차원 깊이 이미지 및 3차원 강도 이미지가 생성될 수 있다. 예컨대, 도 7a을 참조하면, 유리컵에 대한 이미지가 명확하지 않은 반면에, 도 7b를 참조하면, 유리컵에 대한 이미지가 명확하다. 따라서, 왜곡을 보정하기 위해, 산출된 깊이 값 및 강도 값에 대한 보정을 수행할 수 있다.Thereafter, the signal processing unit 30 can correct the calculated depth value and intensity value (S2). If the object 100 for which a three-dimensional image is to be acquired is transparent like glass and excessively reflecting light, a distorted three-dimensional depth image and a three-dimensional intensity image can be generated. For example, referring to FIG. 7A, while the image for the glass cup is not clear, with reference to FIG. 7B, the image for the glass cup is clear. Therefore, in order to correct the distortion, it is possible to perform correction for the calculated depth value and intensity value.

이후에, 신호 처리부(30)는 산출된 깊이 값 및 강도 값에 기초하여 검출된 물체의 크기와 검출된 물체와 3차원 시간 비행 이미지 획득 장치(1) 사이의 거리에 대한 정보를 산출할 수 있다(S3). 검출된 물체(100)가 복수인 경우에는 복수의 물체에 대해 크기 및 거리에 대한 정보를 산출할 수 있다.Thereafter, the signal processing unit 30 can calculate information on the size of the detected object and the distance between the detected object and the 3D time-flying image obtaining apparatus 1 based on the calculated depth value and intensity value (S3). When there are a plurality of detected objects 100, it is possible to calculate information on the size and the distance with respect to a plurality of objects.

그리고, 신호 처리부(30)는 산출된 크기 및 거리, 위치에 대한 정보에 기초하여 광원(10)의 최대 시야각을 산출할 수 있다(S4). 즉, 검출된 물체의 크기 및 거리를 고려하여, 검출하고자 하는 모든 물체를 포함하면서 해당 물체(100)까지 충분한 양의 광이 도달할 수 있는 광원(10)의 최대 시야각을 도출할 수 있다. 이를 위해, 신호 처리부(30)는 물체(100)의 크기나 위치에 따라 필요한 광량이 기록된 데이터 베이스를 가질 수 있다.Then, the signal processing unit 30 can calculate the maximum viewing angle of the light source 10 based on the calculated size, distance, and position information (S4). That is, the maximum viewing angle of the light source 10, which includes all the objects to be detected and can reach a sufficient amount of light to the object 100, can be derived in consideration of the size and distance of the detected object. To this end, the signal processing unit 30 may have a database in which a necessary amount of light is recorded according to the size or position of the object 100.

한편, 검출된 물체(100)가 복수인 경우에는, 검출된 물체 중 최대 크기를 가지거나 3차원 시간 비행 이미지 획득 장치(1)로부터 거리가 가장 멀리 떨어진 물체를 기준으로, 광원(10)의 최대 시야각을 산출할 수 있다. 또한, 넓게 퍼진 복수의 물체인 경우에는, 가장 외곽에 있는 물체들을 기준으로 최대 시야각을 산출할 수 있다.On the other hand, when there are a plurality of detected objects 100, the maximum value of the detected objects or the maximum distance of the light source 10 from the three-dimensional time- The viewing angle can be calculated. Further, in the case of a plurality of objects spread widely, the maximum viewing angle can be calculated on the basis of objects on the outermost periphery.

그리고, 신호 처리부(30)는 현재의 광원(10)의 시야각과 산출된 최대 시야각을 비교함으로써, 현재 시야각의 유효성을 판단할 수 있다(S5). 현재의 광원(10)의 시야각과 산출된 최대 시야각이 일치하지 않는 경우에는, 현재의 시야각이 유효하지 않다고 판단될 수 있고, 현재의 광원(10)의 시야각과 산출된 최대 시야각이 일치하는 경우에는 현재의 시야각이 유효하다고 판단될 수 있다.Then, the signal processing unit 30 can determine the validity of the current viewing angle by comparing the viewing angle of the present light source 10 with the calculated maximum viewing angle (S5). If the viewing angle of the current light source 10 does not match the calculated maximum viewing angle, it can be determined that the current viewing angle is not effective. When the viewing angle of the present light source 10 is equal to the calculated maximum viewing angle It can be judged that the current viewing angle is valid.

유효하지 않다고 판단되는 경우에, 제어부(40)는 시야각 조절부(11)가 광원(10)이 최대 시야각을 가지도록 시야각을 조절될 수 있고(S6), 유효하다고 판단되는 경우에, 제어부(40)는 시야각 조절부(11)는 현재의 시야각을 유지할 수 있다(S7).The control unit 40 controls the viewing angle adjusting unit 11 so that the viewing angle can be adjusted so that the light source 10 has the maximum viewing angle (S6) , The viewing angle adjusting unit 11 can maintain the current viewing angle (S7).

이와 같은 시야각 조절 기능에 따라 자동으로 시야각이 조절되기 때문에, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치에 따르면, 전력 소비를 최소화하면서 양질의 3차원 이미지를 얻을 수 있다. 여기서, 전력 소비의 최소화는, 광원의 시야각 조절과 함께 물체의 거리에 따른 광원 세기의 조절을 병행함으로써 달성할 수 있으며, 결과적으로 전력 소비 절감 효과를 얻을 수 있다.Since the viewing angle is automatically controlled according to the viewing angle control function, according to the 3D time flight image acquiring apparatus according to an embodiment of the present invention, a high quality three-dimensional image can be obtained while minimizing power consumption. Here, the minimization of the power consumption can be achieved by adjusting the viewing angle of the light source and the intensity of the light source according to the distance of the object in parallel. As a result, power consumption can be reduced.

도 5를 참조하여, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치의 초점 조절 기능을 설명한다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치의 초점 조절 기능을 설명하기 위한 순서도가 도시된다.Referring to FIG. 5, the focus adjustment function of the 3D time flight image acquisition apparatus according to an embodiment of the present invention will be described. Referring to FIG. 5, there is shown a flow chart illustrating a focus adjustment function of a 3D time-flight image acquisition apparatus according to an exemplary embodiment of the present invention.

우선, 신호 처리부(30)는 3차원 깊이 이미지 및 3차원 강도 이미지를 분석하여 물체를 검출하고, 검출된 물체에 대한 깊이 값 및 강도 값을 산출할 수 있다(S11). 깊이 값은 거리 값일 수 있으며, 3차원 깊이 이미지로부터 산출되는 3차원 시간 비행 이미지 획득 장치(1)와 물체(100) 사이의 거리에 대한 값을 의미할 수 있다, 강도 값은 3차원 강도 이미지로부터 얻을 수 있는 물체(100)로부터 반사된 광의 세기 값을 의미할 수 있다.First, the signal processing unit 30 can detect an object by analyzing a 3D depth image and a 3D intensity image, and calculate a depth value and an intensity value for the detected object (S11). The depth value may be a distance value and may mean a value for the distance between the 3D time flight image acquisition device 1 and the object 100 calculated from the 3D depth image. The intensity of light reflected from the object 100 can be obtained.

이후에, 신호 처리부(30)는 산출된 깊이 값 및 강도 값을 보정할 수 있다(S12). 3차원 이미지를 획득하고자 하는 물체(100)가 유리와 같이 투명하고 빛을 과도하게 반사시키는 경우, 왜곡된 3차원 깊이 이미지 및 3차원 강도 이미지가 생성될 수 있다. 예컨대, 도 7a을 참조하면, 유리컵에 대한 이미지가 명확하지 않은 반면에, 도 7b를 참조하면, 유리컵에 대한 이미지가 명확하다. 따라서, 왜곡을 보정하기 위해, 산출된 깊이 값 및 강도 값에 대한 보정을 수행할 수 있다.Thereafter, the signal processing unit 30 can correct the calculated depth value and intensity value (S12). If the object 100 for which a three-dimensional image is to be acquired is transparent like glass and excessively reflecting light, a distorted three-dimensional depth image and a three-dimensional intensity image can be generated. For example, referring to FIG. 7A, while the image for the glass cup is not clear, with reference to FIG. 7B, the image for the glass cup is clear. Therefore, in order to correct the distortion, it is possible to perform correction for the calculated depth value and intensity value.

이후에, 신호 처리부(30)는 산출된 깊이 값 및 강도 값에 기초하여 검출된 물체의 경계 및 검출된 물체와 3차원 시간 비행 이미지 획득 장치(1) 사이의 거리에 대한 정보를 산출할 수 있다(S13).Thereafter, the signal processing section 30 can calculate information on the boundary of the detected object and the distance between the detected object and the 3D time-flying image obtaining apparatus 1 based on the calculated depth value and intensity value (S13).

그리고, 신호 처리부(30)는 산출된 경계 및 거리에 대한 정보에 기초하여 검출된 물체 상에 초점이 형성된 3차원 시간 비행 이미지를 얻기 위해 필요한 초점 계수를 산출할 수 있다(S14). 검출되는 물체가 복수인 경우, 초점의 기준이 되는 물체의 선정은, 입력 수단을 이용하여 사용자로부터 기준이 되는 대상에 대한 정보를 입력받을 수 있지만, 이에 제한되지 않고, 특정한 물체가 기준으로서 자동으로 선택되도록 할 수도 있다.Then, the signal processing unit 30 may calculate a focus factor necessary for obtaining a three-dimensional time-flight image formed on the detected object based on the calculated information of the boundary and the distance (S14). In the case where there are a plurality of objects to be detected, information on the object to be a reference can be input from the user using the input means, but the present invention is not limited to this, and a specific object can be automatically May be selected.

그리고, 신호 처리부(30)는 현재의 초점 계수와 산출된 계수를 비교함으로써, 초점 조절의 필요성 여부를 판단할 수 있다(S15). 현재의 초점 계수와 산출된 초점 계수가 일치하지 않는 경우에는 초점 조절이 필요하다고 판단할 수 있고, 현재의 초점 계수와 산출된 초점 계수가 일치하는 경우에는 초점 조절이 필요하지 않다고 판단할 수 있다.Then, the signal processing unit 30 can determine whether or not the focus adjustment is necessary by comparing the current focus coefficient and the calculated coefficient (S15). If the current focus factor and the calculated focus factor do not match, it can be determined that focus adjustment is necessary. If the current focus factor and the calculated focus factor coincide with each other, it can be determined that focus adjustment is not necessary.

초점 조절이 필요하다고 판단되는 경우에, 제어부(40)는 조절 렌즈부(21)가 산출된 초점 계수가 되도록 초점 위치를 조정할 수 있고(S16), 초점 조절이 필요하지 않다고 판단되는 경우에는, 제어부(40)는 조절 렌즈부(21)는 현재의 초점 위치를 유지할 수 있다(S17).When it is determined that the focus adjustment is necessary, the control unit 40 can adjust the focus position so that the adjustment lens unit 21 has the calculated focus coefficient (S16). If it is determined that the focus adjustment is not necessary, The control lens unit 40 can maintain the current focus position of the adjustment lens unit 21 (S17).

이와 같은 초점 조절 기능에 따라 자동으로 초점이 조절되기 때문에, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치에 따르면, 초점의 자동 조절로 인해 획득되는 3차원 이미지의 정밀도를 향상시킬 수 있다.Since the focus is automatically adjusted according to the focus adjustment function, according to the 3D time flight image acquiring apparatus according to an embodiment of the present invention, it is possible to improve the accuracy of the three-dimensional image obtained by automatic adjustment of the focus have.

도 8을 참조하여, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치를 포함하는 3차원 시간 비행 이미지 획득 시스템을 설명한다. 도 8을 참조하면, 도 1의 3차원 시간 비행 이미지 획득 장치를 포함하는 3차원 시간 비행 이미지 획득 시스템의 구성이 개시된다.Referring to FIG. 8, a three-dimensional time-flight image acquisition system including a three-dimensional time-of-flight image acquisition apparatus according to an embodiment of the present invention will be described. Referring to FIG. 8, a configuration of a three-dimensional time-of-flight image acquisition system including the three-dimensional time-of-flight image acquisition apparatus of FIG. 1 is disclosed.

3차원 시간 비행 이미지 획득 시스템은 3차원 시간 비행 이미지 획득 장치(1)와 3차원 시간 비행 이미지 획득 장치(1)로부터 전송되는 이미지를 표시하는 디스플레이부(2), 사용자로부터 입력을 받을 수 있는 입력부(3) 및 3차원 시간 비행 이미지 획득 장치(1)로부터 생성되는 데이터를 저장할 수 있는 데이터 저장부(4), 3차원 시간 비행 이미지 획득 장치(1)를 포함한 3차원 시간 비행 이미지 획득 시스템에 전원을 공급하는 전원 공급부(5) 및 3차원 시간 비행 이미지 획득 장치(1)가 외부 장치와 통신을 할 수 있도록 하는 통신부(6)를 포함할 수 있다.The 3D time flight image acquisition system includes a display unit 2 for displaying images transmitted from the 3D time flight image acquiring device 1 and the 3D time flight image acquiring device 1, Dimensional time-of-flight image acquisition system including a data storage unit 4 and a three-dimensional time-of-flight image acquisition apparatus 1 capable of storing data generated from the three-dimensional time-flight image acquisition apparatus 1, And a communication unit 6 for allowing the 3D time flight image acquisition apparatus 1 to communicate with an external device.

통신부(6)는 블루투스, 지그비 및 NFC를 포함하는 WPAN(Wireless Personal Area Networks), WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access), GPS(Global Positioning System) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home), USB(Universal Serial Bus) 등의 유선 통신방식을 이용할 수 있지만, 통신부(6)의 통신 방식은 상기에 제시된 통신 방식에 한정되는 것은 아니며, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.The communication unit 6 may be a wireless communication device such as a wireless personal area network (WPAN) including Bluetooth, ZigBee and NFC, a wireless LAN (WLAN), a Wi-Fi, a Wibro, a WiMAX, a High Speed Downlink Packet (Fiber to the Curb), FTTH (Fiber To The Home), and the like, as well as wireless communication systems such as Ethernet, xDSL, HFC (Hybrid Fiber Coax) A wired communication method such as a universal serial bus (USB) may be used. However, the communication method of the communication unit 6 is not limited to the communication method described above. In addition to the communication method described above, And a communication method.

도 9 및 도 10을 참조하여, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치를 포함하는 3차원 시간 비행 이미지 획득 시스템에서, 디스플레이부에 표시되는 사용자 인터페이스(user interface)를 설명한다. 도 9를 참조하면, 도 8의 3차원 시간 비행 이미지 획득 시스템의 디스플레이부에 3차원 깊이 이미지가 표시된 것을 나타내는 도면이 개시되고, 도 10을 참조하면, 도 8의 3차원 시간 비행 이미지 획득 시스템의 디스플레이부에 3차원 강도 이미지가 표시된 것을 나타내는 도면이 개시된다.9 and 10, a user interface displayed on a display unit in a 3D time-flight image acquisition system including a 3D time-flight image acquisition apparatus according to an embodiment of the present invention will be described . Referring to FIG. 9, there is shown a three-dimensional time-flight image acquisition system of FIG. 8, in which a three-dimensional depth image is displayed on a display unit. Referring to FIG. 10, A diagram showing a three-dimensional intensity image displayed on a display unit is disclosed.

디스플레이부(2)에는 3차원 이미지의 해상도가 표시되는 해상도 표시 영역(110)이 포함될 수 있으며, 예컨대 Full-HD와 같이 표시될 수 있지만, 이에 제한되지 않는다.The display unit 2 may include a resolution display area 110 in which the resolution of a three-dimensional image is displayed. For example, it may be displayed as Full-HD, but the present invention is not limited thereto.

그리고, 디스플레이부(2)에는 조절 렌즈부(21)에 의해 조절되어 초점이 형성되는 영역의 위치를 표시하는 자동 초점 영역(120)이 포함될 수 있으며, 예컨대 사각형의 형태로 표시될 수 있지만, 이에 제한되지 않는다.The display unit 2 may include an auto-focus area 120 that displays the position of the area to be focused by the adjustment lens unit 21 and may be displayed in the form of a rectangle, for example. It is not limited.

또한, 디스플레이부(2)에는 3차원 깊이 이미지가 각각의 거리 값에 크기에 대응되는 색으로 표시될 수 있으며, 거리 값과 색상과의 관계를 막대기 형태로 표현하는 색상-거리 값 대응 관계 표시 영역(130)이 디스플레이부(2)에 포함될 수 있다.Also, in the display unit 2, a three-dimensional depth image can be displayed in a color corresponding to the size of each distance value, and a color-distance value corresponding relationship display area (130) may be included in the display unit (2).

한편, 디스플레이부(2)에는 조절 렌즈부(21)에서 자동 초점 조절이 되고 있는지를 아이콘 형태로 표시하는 자동 초점 조절 표시 영역(140) 및 시야각 조절부(11)에서 자동 시야각 조절이 되고 있는지를 아이콘 형태로 표시하는 자동 시야각 조절 표시 영역(150)이 포함될 수 있다.On the other hand, in the display unit 2, the automatic focus adjustment display area 140 and the viewing angle adjustment unit 11 for indicating whether the automatic focusing adjustment is being performed in the adjustment lens unit 21 are displayed in the form of icons, And an automatic viewing angle adjustment display area 150 for displaying in the form of an icon.

그리고, 디스플레이부(2)에는 3차원 강도 이미지가 각각의 강도 값에 크기에 대응되는 음영으로 표시될 수 있으며, 거리 값과 음영과의 관계를 막대기 형태로 표현하는 음영-강도 값 대응 관계 표시 영역(160)이 디스플레이부(2)에 포함될 수 있다.In the display unit 2, a three-dimensional intensity image can be displayed in a shade corresponding to the magnitude of each intensity value, and a shade-intensity value corresponding relationship display region (160) may be included in the display unit (2).

도 11을 참조하여, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치가 적용될 수 있는 실시예를 설명한다. 도 9를 참조하면, 도 1의 3차원 비행 이미지 획득 장치가 적용되는 전자 기기의 예가 도시된다.Referring to FIG. 11, an embodiment in which a 3D time flight image acquisition apparatus according to an embodiment of the present invention can be applied will be described. Referring to Fig. 9, an example of an electronic apparatus to which the three-dimensional flying image acquisition apparatus of Fig. 1 is applied is shown.

3차원 시간 비행 이미지 획득 장치(1)는 다양한 전자 기기들의 이미지 획득 장치로서 이용될 수 있다. 예를 들어, 3차원 시간 비행 이미지 획득 장치(1)는 스마트폰(200)에 적용될 수 있고, 이 밖에, 태블릿 PC, 프린터, 휴대용 게임기, 휴대용 노트북, 네비게이션(navigation), 자동차 또는 가전 제품(household appliances)에 적용될 수 있다.The 3D time-flight image acquisition device 1 can be used as an image acquisition device of various electronic devices. For example, the 3D time flight image acquisition device 1 may be applied to the smart phone 200 and may be a tablet PC, a printer, a portable game machine, a portable notebook, navigation, a car or a household appliance appliances.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

1: 3차원 시간 비행 이미지 획득 장치 2: 디스플레이부
3: 입력부 4: 데이터 저장부
5: 전원 공급부 6: 통신부
10: 광원 11: 시야각 조절부
12: 광원 렌즈 13: 광원 구동부
20: 촬상 소자 21: 조절 렌즈부
22: 필터 23: 수광 렌즈
24: 변조 구동부 30: 신호 처리부
40: 제어부 50: 모션 센서
100: 물체 110: 해상도 표시 영역
120: 자동 초점 영역
130: 색상-거리 값 대응 관계 표시 영역
140: 자동 초점 조절 표시 영역 150: 자동 시야각 조절 표시 영역
160: 음영-강도 값 대응 관계 표시 영역
200: 스마트폰
1: 3D time flight image acquisition device 2:
3: Input unit 4: Data storage unit
5: power supply unit 6: communication unit
10: light source 11: viewing angle control unit
12: light source lens 13: light source driver
20: Imaging element 21:
22: filter 23: receiving lens
24: Modulation driver 30: Signal processor
40: control unit 50: motion sensor
100: Object 110: Resolution display area
120: Auto focus area
130: Color-distance value correspondence relationship display area
140: Automatic focus adjustment display area 150: Automatic view angle adjustment display area
160: Shadow-intensity value correspondence relationship display area
200: Smartphone

Claims (8)

물체의 3차원 시간 비행(Time of Flight) 이미지를 획득하기 위한 3차원 시간 비행 이미지 획득 장치에 있어서,
상기 물체를 향해 광을 조사하는 광원;
상기 물체와 상기 3차원 시간 비행 이미지 획득 장치 사이의 거리에 따라 상기 광원의 시야각을 조절하는 시야각 조절부;
상기 물체와 상기 3차원 시간 비행 이미지 획득 장치 사이의 거리에 따라 초점을 조절하는 조절 렌즈부로서, 상기 물체로부터 반사된 광은 상기 조절 렌즈부를 거쳐서 촬상 소자로 수신되는 것인, 조절 렌즈부;
상기 물체로부터 반사된 광을 수신하여 로우 이미지 데이터(raw image data)를 생성하는 촬상 소자; 및
상기 촬상 소자로부터 상기 로우 이미지 데이터를 제공받고, 3차원 시간 비행 방식을 이용하여 상기 로우 데이터를 처리함으로써 3차원 깊이 이미지 및 3차원 강도 이미지를 생성하는 신호 처리부
를 포함하며,
상기 신호 처리부는,
상기 3차원 깊이 이미지 및 상기 3차원 강도 이미지를 분석하여 물체를 검출하고 검출된 물체에 해당하는 깊이 값과 강도 값을 산출하고,
산출된 깊이 값 및 강도 값에 기초하여 검출된 물체의 경계 및 검출된 물체와 상기 3차원 시간 비행 이미지 획득 장치 사이의 거리에 대한 정보를 산출하고,
상기 산출된 경계 및 거리에 대한 정보에 기초하여 검출된 물체 상에 초점이 형성된 3차원 시간 비행 이미지를 얻기 위해 필요한 초점 계수를 산출하고,
상기 조절 렌즈부는, 현재 초점 계수와 산출된 초점 계수가 일치하지 않는 경우, 산출된 초점 계수가 되도록 초점 위치를 조절하는 것인, 3차원 시간 비행 이미지 획득 장치.
A three-dimensional time-flight image acquisition apparatus for acquiring a three-dimensional time-of-flight image of an object,
A light source for emitting light toward the object;
A viewing angle adjusting unit for adjusting a viewing angle of the light source according to a distance between the object and the 3D time flight image acquisition apparatus;
An adjustment lens unit that adjusts focus according to a distance between the object and the 3D time-flight image acquisition apparatus, wherein light reflected from the object is received by the imaging element via the adjustment lens unit;
An imaging device for receiving light reflected from the object and generating raw image data; And
A signal processor for generating the three-dimensional depth image and the three-dimensional intensity image by processing the row data using the three-dimensional time-flight method,
/ RTI >
The signal processing unit,
Analyzing the 3D depth image and the 3D intensity image to detect an object, calculating a depth value and an intensity value corresponding to the detected object,
Calculating a boundary between the detected object and a distance between the detected object and the 3D time-flight image acquiring device based on the calculated depth value and the intensity value,
Calculating a focus factor necessary for obtaining a three-dimensional time-flight image formed on the detected object based on the calculated information on the boundary and the distance,
Wherein the adjustment lens unit adjusts the focal position so that the calculated focus coefficient is obtained when the current focus factor does not match the calculated focus factor.
제1항에 있어서,
상기 신호 처리부는,
상기 3차원 깊이 이미지 및 상기 3차원 강도 이미지를 분석하여, 물체를 검출하고 검출된 물체에 해당하는 깊이 값과 강도 값을 산출하고,
산출된 깊이 값 및 강도 값에 기초하여 검출된 물체의 크기와 검출된 물체와 상기 3차원 시간 비행 이미지 획득 장치 사이의 거리에 대한 정보를 산출하고,
상기 산출된 크기 및 거리에 대한 정보에 기초하여 상기 광원의 최대 시야각을 산출하고,
상기 시야각 조절부는, 상기 광원의 현재 시야각과 도출된 최대 시야각이 일치하지 않는 경우, 상기 광원의 시야각이 상기 최대 시야각이 되도록 조절하는 것인, 3차원 시간 비행 이미지 획득 장치.
The method according to claim 1,
The signal processing unit,
Analyzing the 3D depth image and the 3D intensity image to detect an object, calculating a depth value and an intensity value corresponding to the detected object,
Calculating information on the size of the detected object based on the calculated depth value and the intensity value and the distance between the detected object and the 3D time flight image acquiring device,
Calculating a maximum viewing angle of the light source based on the calculated size and distance information,
Wherein the viewing angle adjusting unit adjusts the viewing angle of the light source to be the maximum viewing angle when the current viewing angle of the light source does not match the derived maximum viewing angle.
제2항에 있어서,
검출된 물체가 복수인 경우, 상기 산출된 크기 및 거리에 대한 정보에 기초하여 상기 광원의 최대 시야각을 산출하는 것은, 상기 산출된 크기 및 거리에 대한 정보에 기초하여 도출되는 최대 크기를 가지는 검출된 물체 또는 상기 3차원 시간 비행 이미지 획득 장치로부터 가장 멀리 떨어져 있는 검출된 물체를 기준으로 상기 광원의 최대 시야각을 도출하는 것인, 3차원 시간 비행 이미지 획득 장치.
3. The method of claim 2,
Calculating a maximum viewing angle of the light source based on the calculated information on the size and the distance when the detected object is a plurality of objects includes calculating a maximum viewing angle of the light source based on the detected maximum size, Wherein the maximum viewing angle of the light source is derived based on the object or the detected object that is furthest away from the 3D time flight image acquisition device.
삭제delete 제1항에 있어서,
상기 광원으로부터 조사되는 광의 크기, 위상, 주파수, 펄스 암호화 여부, 펄스의 폭 및 상승 시간 중 적어도 하나 이상을 제어하는 광원 구동부를 더 포함하는 것인, 3차원 시간 비행 이미지 획득 장치.
The method according to claim 1,
Further comprising a light source driving unit for controlling at least one of a magnitude, phase, frequency, pulse encryption, pulse width, and rise time of light emitted from the light source.
제1항에 있어서,
상기 조절 렌즈부는, 상기 물체로부터 반사된 광의 경로를 조절하여 상기 광원의 시야각 내의 상기 물체의 특정 부분이 확대되어 상기 촬상 소자에 이미지를 형성하도록 하는 것인, 3차원 시간 비행 이미지 획득 장치.
The method according to claim 1,
Wherein the adjustment lens unit adjusts the path of the light reflected from the object so that a specific portion of the object within the viewing angle of the light source is magnified to form an image on the imaging device.
제1항에 있어서,
상기 3차원 시간 비행 이미지 획득 장치의 이동, 기울기 및 방향을 감지하는 모션 센서를 더 포함하는 것인, 3차원 시간 비행 이미지 획득 장치.
The method according to claim 1,
Further comprising a motion sensor for sensing movement, tilt and orientation of the 3D time-of-flight image acquisition device.
제1항에 기재된 3차원 시간 비행 이미지 획득 장치; 및
상기 3차원 시간 비행 이미지 획득 장치로부터 전송되는 3차원 이미지를 표시하는 디스플레이부
를 포함하고,
상기 디스플레이부에는 상기 조절 렌즈부에 의해 조절되어 초점이 형성되는 영역의 위치가 표시되는 것인, 3차원 시간 비행 이미지 획득 시스템.
A three-dimensional time-flight image acquisition apparatus according to claim 1; And
A display unit for displaying a three-dimensional image transmitted from the three-dimensional time-
Lt; / RTI >
Wherein the display unit displays a position of a region where focus is adjusted by the adjustment lens unit.
KR1020140061191A 2014-05-21 2014-05-21 3-dimensional time of flight image capturing device KR101557295B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140061191A KR101557295B1 (en) 2014-05-21 2014-05-21 3-dimensional time of flight image capturing device
PCT/KR2015/002711 WO2015178575A1 (en) 2014-05-21 2015-03-20 Apparatus for acquiring three-dimensional time of flight image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140061191A KR101557295B1 (en) 2014-05-21 2014-05-21 3-dimensional time of flight image capturing device

Publications (1)

Publication Number Publication Date
KR101557295B1 true KR101557295B1 (en) 2015-10-05

Family

ID=54344616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140061191A KR101557295B1 (en) 2014-05-21 2014-05-21 3-dimensional time of flight image capturing device

Country Status (2)

Country Link
KR (1) KR101557295B1 (en)
WO (1) WO2015178575A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019017692A1 (en) * 2017-07-18 2019-01-24 엘지이노텍 주식회사 Tof module and object recognition device using tof module
WO2023055223A1 (en) * 2021-10-01 2023-04-06 설윤호 Method for calculating three-dimensional terrain site information of control object

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950694A (en) * 2021-02-08 2021-06-11 Oppo广东移动通信有限公司 Image fusion method, single camera module, shooting device and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004077262A (en) 2002-08-16 2004-03-11 Fuji Xerox Co Ltd Three-dimensional imaging apparatus and method
JP2004170305A (en) 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> Method and apparatus for measuring three-dimensional shape

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101145132B1 (en) * 2010-10-27 2012-05-14 한국과학기술원 The three-dimensional imaging pulsed laser radar system using geiger-mode avalanche photo-diode focal plane array and auto-focusing method for the same
KR20130102400A (en) * 2012-03-07 2013-09-17 삼성전자주식회사 Time of flight sensor and time of flight camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004077262A (en) 2002-08-16 2004-03-11 Fuji Xerox Co Ltd Three-dimensional imaging apparatus and method
JP2004170305A (en) 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> Method and apparatus for measuring three-dimensional shape

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019017692A1 (en) * 2017-07-18 2019-01-24 엘지이노텍 주식회사 Tof module and object recognition device using tof module
KR20190009121A (en) * 2017-07-18 2019-01-28 엘지이노텍 주식회사 Tof module and subject recogniging apparatus using the same
CN110945380A (en) * 2017-07-18 2020-03-31 Lg伊诺特有限公司 ToF module and object recognition device using the same
KR102476404B1 (en) * 2017-07-18 2022-12-12 엘지이노텍 주식회사 Tof module and subject recogniging apparatus using the same
US11782161B2 (en) 2017-07-18 2023-10-10 Lg Innotek Co., Ltd. ToF module and object recognition device using ToF module
CN110945380B (en) * 2017-07-18 2023-10-24 Lg伊诺特有限公司 ToF module and object recognition device using the same
WO2023055223A1 (en) * 2021-10-01 2023-04-06 설윤호 Method for calculating three-dimensional terrain site information of control object

Also Published As

Publication number Publication date
WO2015178575A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
EP2873986A1 (en) Camera integrated with light source
US9998730B2 (en) Imaging optical system and 3D image acquisition apparatus including the imaging optical system
US10419741B2 (en) Systems and methods for compression of three dimensional depth sensing
US9451240B2 (en) 3-dimensional image acquisition apparatus and 3D image acquisition method for simultaneously obtaining color image and depth image
EP3169975B1 (en) Method and measuring instrument for target detection and/or identification
EP3505953B1 (en) Laser ranging and illumination
US10962631B2 (en) Method for operating a laser distance measuring device
US20160050407A1 (en) Image capturing system obtaining scene depth information and focusing method thereof
US20150009295A1 (en) Three-dimensional image acquisition apparatus and image processing method using the same
CN104272717A (en) A method and system for performing alignment of a projection image to detected infrared (IR) radiation information
JPWO2017038203A1 (en) Projector device with distance image acquisition device and projection mapping method
CN110135232A (en) System and method for enhancing depth transducer device
CN107637071A (en) Projection arrangement, projecting method, projection module, electronic installation and program
EP3347755A1 (en) Imaging devices having autofocus control
US9258548B2 (en) Apparatus and method for generating depth image
US10055881B2 (en) Video imaging to assess specularity
KR101557295B1 (en) 3-dimensional time of flight image capturing device
CN104657970B (en) A kind of scaling method and calibration system of full-automatic binocular endoscope
CN110491316A (en) A kind of projector and its method for controlling projection
KR20150019926A (en) Distance detecting apparatus capable of deriving distance information having changed space resolution
JP2017003284A (en) Three-dimensional measuring device and three-dimensional measuring method
KR102135372B1 (en) Structured light system
WO2021124730A1 (en) Information processing device, imaging device, information processing method, and program
CN112655022B (en) Image processing apparatus and image processing method
CN111289989B (en) Method and device for determining rotation parameters for conversion between coordinate systems

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180731

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190708

Year of fee payment: 5