KR101557295B1 - 3-dimensional time of flight image capturing device - Google Patents
3-dimensional time of flight image capturing device Download PDFInfo
- Publication number
- KR101557295B1 KR101557295B1 KR1020140061191A KR20140061191A KR101557295B1 KR 101557295 B1 KR101557295 B1 KR 101557295B1 KR 1020140061191 A KR1020140061191 A KR 1020140061191A KR 20140061191 A KR20140061191 A KR 20140061191A KR 101557295 B1 KR101557295 B1 KR 101557295B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- viewing angle
- light source
- dimensional
- time
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
- G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
Abstract
Description
본 발명은 3차원 시간 비행 이미지 획득 장치에 관한 것으로, 보다 자세하게는 광원의 시야각과 물체로부터 반사되는 광의 초점을 자동으로 조절할 수 있는 3차원 시간 비행 이미지 획득 장치에 관한 것이다.The present invention relates to a three-dimensional time-flight image acquisition apparatus, and more particularly, to a three-dimensional time-of-flight image acquisition apparatus capable of automatically adjusting a viewing angle of a light source and a focus of light reflected from an object.
종래의 스테레오스코픽(stereoscopic) 방식의 3차원 스캐너는 2대의 카메라를 이용하며, 촬영된 2개의 이미지를 2개의 기준 좌표에 대비하여 측정된 이미지와 비교함으로써, 관측 시야각에 따른 방사 왜곡을 보정하고, 스테레오 매칭 및 삼각법에 따른 이미지 처리를 하여 3차원 깊이 이미지 맵을 구성한다.A conventional stereoscopic three-dimensional scanner uses two cameras, and compares two photographed images with measured images in comparison with two reference coordinates, thereby correcting radial distortion according to an observation viewing angle, Stereo matching, and triangulation to form a three-dimensional depth image map.
그리고, 키넥트(kinect) 센서 기반의 3차원 스캐너는 광원에서 작은 반점 무늬의 광을 발생시켜, 기준 패턴과 측정된 패턴의 상관관계의 차이를 이용하여 거리를 측정한다.In addition, a three-dimensional scanner based on a kinect sensor generates a small speckle light in a light source, and measures a distance using a difference between a reference pattern and a measured pattern.
그러나, 스테레오스코픽 방식의 3차원 스캐너는, 데이터의 처리에 많은 시간이 소요되며, 이 밖에 전력 소모, 외부 광원에 의한 영향 및 표면 무늬에 의한 초기 보정의 필요 등 고려해야 할 요소가 상당하다.However, a stereoscopic three-dimensional scanner takes much time to process data, and there are considerable factors to consider such as power consumption, influence of external light source, and necessity of initial correction by surface pattern.
또한, 키넥트 센서 기반의 3차원 스캐너는, 각 환경에 따라서 사용자가 직접 기준 패턴의 생성을 위한 보정 처리 과정을 수행해야하는 불편함이 있으며, 광의 강도 정보를 거리 정보로 환산하는 알고리즘에 기반하기 때문에, 광원의 변화가 심한 실외에서는 사용에 제약이 따른다.In addition, the three-dimensional scanner based on the Kinect sensor is inconvenient to perform a correction process for generating a reference pattern directly according to each environment, and is based on an algorithm for converting intensity information of light into distance information , There is a restriction on the use in the outdoor where the light source changes greatly.
위와 같은 문제점으로부터 안출된 본 발명이 해결하고자 하는 기술적 과제는, 획득되는 3차원 시간 비행 이미지의 정확도를 높일 수 있는 3차원 시간 비행 이미지 획득 장치를 제공하고자 하는 것이다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide a three-dimensional time-flight image acquisition apparatus capable of increasing the accuracy of a three-dimensional time-flight image.
본 발명이 해결하고자 하는 다른 기술적 과제는, 소형의 핸드헬드 타입(handheld type)으로, 사용이 간편하고 실외에서 사용이 가능한 3차원 시간 비행 이미지 획득 장치를 제공하고자 하는 것이다.Another object of the present invention is to provide a three-dimensional time-flight image acquiring device which is small handheld type, easy to use, and usable outdoors.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 광원의 시야각을 조절하여 멀리까지 광을 도달시킬 수 있는 3차원 시간 비행 이미지 획득 장치를 제공하고자 하는 것이다.It is another object of the present invention to provide a three-dimensional time-flight image acquisition apparatus capable of adjusting a viewing angle of a light source to reach far away.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical objects of the present invention are not limited to the above-mentioned technical problems, and other technical subjects not mentioned can be clearly understood by those skilled in the art from the following description.
상기 언급된 기술적 과제들을 해결하기 위한, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치는, 물체의 3차원 시간 비행 이미지를 획득하기 위한 3차원 시간 비행 이미지 획득 장치에 있어서, 상기 물체를 향해 광을 조사하는 광원; 상기 물체와 상기 3차원 시간 비행 이미지 획득 장치 사이의 거리에 따라 상기 광원의 시야각을 조절하는 시야각 조절부; 상기 물체와 상기 3차원 시간 비행 이미지 획득 장치 사이의 거리에 따라 초점을 조절하는 조절 렌즈부로서, 상기 물체로부터 반사된 광은 상기 조절 렌즈부를 거쳐서 촬상 소자로 수신되는 것인, 조절 렌즈부; 상기 물체로부터 반사된 광을 수신하여 로우 이미지 데이터(raw image data)를 생성하는 촬상 소자; 및 상기 촬상 소자로부터 상기 로우 이미지 데이터를 제공받고, 상기 로우 데이터를 처리하여 3차원 깊이 이미지 및 3차원 강도 이미지를 생성하는 신호 처리부를 포함한다.According to an aspect of the present invention, there is provided an apparatus for acquiring a three-dimensional time-of-flight image of an object, the apparatus comprising: A light source that emits light toward the light source; A viewing angle adjusting unit for adjusting a viewing angle of the light source according to a distance between the object and the 3D time flight image acquisition apparatus; An adjustment lens unit that adjusts focus according to a distance between the object and the 3D time-flight image acquisition apparatus, wherein light reflected from the object is received by the imaging element via the adjustment lens unit; An imaging device for receiving light reflected from the object and generating raw image data; And a signal processor receiving the row image data from the imaging device and processing the row data to generate a 3D depth image and a 3D intensity image.
상기와 같은 본 발명에 따르면, 광원의 관측 시야각을 조절할 수 있고, 물체로부터 반사되는 광의 초점이 촬상 소자 상에 형성되도록 초점을 자동으로 조절할 수 있기 때문에, 획득되는 3차원 시간 비행 이미지에 대한 정확도를 높일 수 있다.According to the present invention as described above, since the viewing angle of the light source can be adjusted and the focus can be automatically adjusted so that the focus of the light reflected from the object is formed on the imaging element, .
또한, 비행 시간 방식을 3차원 시간 비행 이미지 획득 장치에 적용시키는 것이기 때문에, 종래의 방식에 비해 간단한 구성으로 물체에 대한 3차원 시간 비행 이미지를 얻을 수 있다.In addition, since the flight time system is applied to the 3D time flight image acquisition apparatus, a 3D time flight image of the object can be obtained with a simpler configuration than the conventional system.
도 1은 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치의 구성을 나타내는 도면이다.
도 2는 도 1의 3차원 시간 비행 이미지 획득 장치에서 시야각 조절부에 의해 광원의 시야각이 조절되는 것을 나타내는 도면이다.
도 3은 도 1의 3차원 시간 비행 이미지 획득 장치에서 조절 렌즈부에 의해 반사된 광의 초점이 조절되는 것을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치의 시야각 조절 기능을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치의 초점 조절 기능을 설명하기 위한 순서도이다.
도 6a 및 도 6b는 3차원 깊이 이미지와 3차원 강도 이미지를 예시하는 도면이다.
도 7a 및 도 7b는 투명 반사 물체에 대한 3차원 깊이 이미지와 3차원 강도 이미지를 예시하는 도면이다.
도 8은 도 1의 3차원 시간 비행 이미지 획득 장치를 포함하는 3차원 시간 비행 이미지 획득 시스템의 구성을 나타내는 도면이다.
도 9는 도 8의 3차원 시간 비행 이미지 획득 시스템의 디스플레이부에 3차원 깊이 이미지가 표시된 것을 나타내는 도면이다.
도 10은 도 8의 3차원 시간 비행 이미지 획득 시스템의 디스플레이부에 3차원 강도 이미지가 표시된 것을 나타내는 도면이다.
도 11은 도 1의 3차원 비행 이미지 획득 장치가 적용되는 전자 기기의 예를 도시한 것이다.FIG. 1 is a diagram illustrating a configuration of a 3D time flight image acquisition apparatus according to an embodiment of the present invention. Referring to FIG.
2 is a view showing that the viewing angle of the light source is adjusted by the viewing angle adjusting unit in the 3D time flight image acquisition apparatus of FIG.
3 is a view showing that the focus of the light reflected by the adjustment lens unit in the 3D time flight image acquisition apparatus of FIG. 1 is adjusted.
4 is a flowchart for explaining a view angle adjusting function of the 3D time flight image acquiring apparatus according to an embodiment of the present invention.
5 is a flowchart illustrating a focus adjustment function of the 3D time-flight image acquisition apparatus according to an exemplary embodiment of the present invention.
6A and 6B are views illustrating a three-dimensional depth image and a three-dimensional intensity image.
7A and 7B are views illustrating a three-dimensional depth image and a three-dimensional intensity image for a transparent reflective object.
FIG. 8 is a view showing a configuration of a 3D time-flight image acquisition system including the 3D time-of-flight image acquisition apparatus of FIG. 1;
9 is a view showing a three-dimensional depth image displayed on the display unit of the 3D time flight image acquisition system of FIG.
FIG. 10 is a view showing a three-dimensional intensity image displayed on the display unit of the three-dimensional time-of-flight image acquisition system of FIG.
FIG. 11 illustrates an example of an electronic apparatus to which the apparatus for obtaining a three-dimensional flying image of FIG. 1 is applied.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. The terms " comprises "and / or" comprising "used in the specification do not exclude the presence or addition of one or more other elements in addition to the stated element.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 3차원 시간 비행 이미지 획득 장치에 대해 설명하기로 한다.Hereinafter, a 3D time-flight image acquiring apparatus according to embodiments of the present invention will be described with reference to the drawings.
도 1 내지 도 3을 참조하여, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치에 대해 설명한다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치의 구성이 개시되고, 도 2를 참조하면, 도 1의 3차원 시간 비행 이미지 획득 장치에서 시야각 조절부에 의해 광원의 시야각이 조절되는 것이 개시되고, 도 3을 참조하면, 도 1의 3차원 시간 비행 이미지 획득 장치에서 조절 렌즈부에 의해 반사된 광의 초점이 조절되는 것이 개시된다.1 to 3, a three-dimensional time-of-flight image acquiring apparatus according to an embodiment of the present invention will be described. Referring to FIG. 1, a configuration of a 3D time-flight image acquiring apparatus according to an embodiment of the present invention is disclosed. Referring to FIG. 2, in the 3D time- Referring to FIG. 3, it is disclosed that the focus of the light reflected by the adjustment lens unit in the 3D time flight image acquisition apparatus of FIG. 1 is adjusted.
도 1을 참조하면, 3차원 시간 비행 이미지 획득 장치(1)는, 광원(10), 시야각 조절부(11), 조절 렌즈부(21), 촬상 소자(20) 및 신호 처리부(30)를 포함할 수 있다. 다만, 이에 제한되지 않고, 3차원 시간 비행 이미지 획득 장치(1)는, 광원 렌즈(12), 광원 구동부(13), 필터(22), 수광 렌즈(23), 변조 구동부(24), 제어부(40) 및 모션 센서(50)를 더 포함할 수 있다.1, a three-dimensional time-of-flight
우선, 도 1 및 도 2를 참조하면, 3차원 이미지를 획득하고자 하는 물체(100)에 광을 조사하는 구성에 대하여 살펴본다. 예컨대, 광원 구동부(13)에 의해 광원(10)이 제어되고, 광원(10)으로부터 조사된 광은 시야각 조절부(11)와 광원 렌즈(12)를 거쳐서 물체(100)에 도달할 수 있다.First, referring to FIG. 1 and FIG. 2, a configuration for irradiating light onto an
구체적으로, 광원(10)은 물체(100)를 향해 광을 조사할 수 있다. 광원(10)은 예컨대, 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있으며, 구체적으로 발광 다이오드 또는 레이저 다이오드가 어레이 형태로 배열될 수 있지만, 이에 제한되지 않는다. 그리고, 광원(10)은 사람에게 유해하지 않도록 약 850 nm의 파장을 갖는 근적외선(NIR: NearInfraRed)을 조사할 수 있지만, 이에 제한되지 않는다. 따라서, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치(1)에 따르면, 근적외선의 광을 이용하기 때문에, 주간 및 야간 모두 3차원 시간 비행 이미지 획득 장치(1)를 사용할 수 있다. 더욱이, 광원(10)이 약 850 nm의 파장을 갖는 근적외선을 조사하면, 실리콘 기반의 CMOS 이미지 소자인 촬상 소자(20)에 대하여 수신 감도가 우수할 수 있다.Specifically, the
광원(10)은 광원 구동부(13)에 의해 제어될 수 있으며, 물체(100)로 조사되는 광은 소정의 주기를 갖는 주기적인 연속 함수의 형태를 가질 수 있지만, 이에 제한되지 않으며, 불연속적인 펄스의 형태를 가질 수도 있다. 예컨대, 조사광은 정현파, 삼각파, 톱니파, 램프파, 구형파 등과 같이 특별히 정의된 파형을 가질 수도 있지만, 이에 제한되지 않으며, 특별히 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다.The
광원 구동부(13)는 제어부(40)에 의해 제어됨으로써 광원(10)을 변조하여 구동시킬 수 있고, 예컨대, 조사되는 광의 크기(amplitude)를 변조시키거나, 펄스를 변조시키거나, 또는 광의 위상(phase), 주파수, 펄스 암호화 여부, 펄스의 폭 및 상승 시간 등을 변조시키는 방식으로 광원(10)을 구동시킬 수 있다.The light
도 2를 참조하면, 시야각 조절부(11)는 광원(10)의 시야각을 변경시킬 수 있다. 구체적으로, 물체(100)와 3차원 시간 비행 이미지 획득 장치(1) 사이의 거리에 따라 광원(10)의 시야각이 조절될 수 있으며, 시야각 조절부(11)는 광원 렌즈(12)와 광원(10) 사이에 위치하여 다양한 방식으로 구현될 수 있다.Referring to FIG. 2, the viewing
광원(10)의 시야각을 조절함으로써 충분한 양의 광이 물체(100)에 도달하도록 할 수 있다. 예컨대, 광원(10)의 시야각이 작을수록 먼 거리까지 광이 도달할 수 있으며, 광원(10)의 시야각이 클수록 광이 도달할 수 있는 거리는 짧아질 수 있다. 따라서, 물체(100)와 광원(10) 사이의 거리를 측정하고 측정된 거리에 기초하여 광원(10)의 시야각을 조절함으로써, 물체(100)까지 충분한 양의 광이 도달할 수 있도록 할 수 있다. 따라서, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치(1)에 따르면, 광원(10)의 시야각을 조절하기 때문에 전력 소비를 최소화하면서 양질의 3차원 이미지를 얻을 수 있다.By adjusting the viewing angle of the
도 1 및 도 3을 참조하여, 물체(100)로부터 반사된 광을 수신하고 수신된 광에 대한 데이터를 처리하는 구성에 대하여 살펴본다. 도 3을 참조하면, 물체(100)를 향해 입사하는 광과 물체(100)로부터 반사된 광이 서로 이격되어 도시되었지만, 이는 설명의 편의를 위해 이격하여 도시된 것일 뿐이다.1 and 3, a configuration for receiving light reflected from the
도 1 및 도 3을 참조하면, 물체(100)로부터 반사된 광은 수광 렌즈(23)와 필터(22)를 거쳐서 촬상 소자(20)에 수신될 수 있으며, 변조 구동부(24)에 의해 구동되는 촬상 소자(20)는 수신된 반사광으로부터 로우 이미지 데이터(raw image data)를 생성하고, 신호 처리부(30)는 촬상 소자(20)로부터 받은 로우 이미지 데이터를 처리할 수 있다.1 and 3, the light reflected from the
구체적으로, 수광 렌즈(23)는 물체(100)로부터 반사된 광을 촬상 소자(20)가 위치한 영역으로 집광할 수 있다. 그리고, 필터(22)는 미리 정해진 파장을 갖는 광만을 투과시킬 수 있으며, 예컨대, 대역통과 광학 필터일 수 있다.Specifically, the light-receiving
조절 렌즈부(21)는 수광 렌즈(23)와 촬상 소자(20) 사이에 위치하며, 물체(100)와 3차원 시간 비행 이미지 획득 장치(1) 사이의 거리에 따라 초점을 조절할 수 있다. 예컨대, 제어부(40)의 제어에 따라 조절 렌즈부(21)에 포함된 조절 매체(미도시)를 조절하여 초점 위치를 조절할 수 있다. 따라서, 3차원 시간 비행 이미지 획득 장치(1)를 통해 얻어진 해당 물체(100)에 초점이 형성된 3차원 이미지를 얻을 수 있다.The
예컨대, 도 3을 참조하면, 물체(100)와 3차원 시간 비행 이미지 획득 장치(1) 사이의 거리(더욱 자세하게는 물체(100)와 촬상 소자(20) 사이의 거리)를 D1 내지 D3로 표현하고, D1 내지 D3에 각각 물체(100)가 위치하고 있는 경우를 상정할 수 있다. 만약 가장 가까운 거리인 D1에 위치한 물체(100)에 초점을 맞춘 3차원 이미지를 획득하고자 한다면, D1에 위치한 물체(100)로부터 반사된 광을 수신하여 분석함으로써 물체(100)로부터 3차원 시간 비행 이미지 획득 장치(1) 사이의 거리에 대한 정보를 얻고, 해당 정보를 이용하여 조절 렌즈부(21) 내에 포함된 조절 매체를 조절하여 초점을 조절할 수 있다.3, the distance between the
한편, 조절 렌즈부(21)는 물체(100)로부터 반사된 광의 경로를 조절하여 광원(10)의 시야각 내의 물체(100)의 특정 부분이 확대되어 촬상 소자(20)에 이미지를 형성하도록 할 수 있으며, 예컨대 렌즈가 기계식으로 조절되어 줌-인(zoom-in) 또는 줌-아웃(zoom-out)될 수 있지만, 구동 방식은 이에 제한되지 않는다.The
초점의 기준이 되는 물체의 선정은, 입력 수단을 이용하여 사용자로부터 기준이 되는 대상에 대한 정보를 입력받을 수 있지만, 이에 제한되지 않고, 미리 정해진 기준을 만족시키는 특정한 물체가 기준으로서 자동으로 선택되도록 할 수도 있다. 따라서, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치(1)에 따르면, 초점의 자동 조절로 인해 획득되는 3차원 이미지의 정밀도를 향상시킬 수 있다. 여기서, 초점의 조절은 거리 값의 에러율 보정을 위해 수행되는 것일 수 있다.The selection of the object to be the focus can be performed by inputting information about the object as a reference from the user using the input means, but the present invention is not limited to this, and a specific object satisfying a predetermined criterion may be automatically selected as a reference You may. Therefore, according to the 3D time-flight
촬상 소자(20)는 물체(100)로부터 반사된 광을 수신할 수 있고, 반사된 광으로부터 로우 이미지 데이터(raw image data)를 생성할 수 있다. 예컨대, 촬상 소자(20)는 2D 이미지 센서를 포함할 수 있으며, 이에 제한되지 않고 RGB 카메라 센서를 포함할 수도 있으며, 예컨대 반사된 광이 스플릿되어 2D 이미지 센서 및 RGB 센서에 동시에 수용되는 구조를 가질 수 있지만, 이에 제한되지 않는다. 또한, 촬상 소자(20)는 3차원 시간 비행(Time of Flight) 방식으로 광학적인 합성(Photonic Mixer) 기능을 갖춘 단위 픽셀의 집합으로 이루어질 수 있지만, 이에 제한되지 않는다.The
변조 구동부(24)는 3차원 촬상 소자(20)를 구동시킬 수 있으며, 광원(10)으로부터 조사된 광과 동일하거나 90°, 180° 및 270° 등의 위상 차이가 있는 신호가 생성되도록 3차원 촬상 소자(20)로부터 출력되는 파형을 변조시킬 수 있지만, 직접 시간 비행(direct TOF) 방식을 이용하는 경우, 불연속적인 펄스를 갖는 광원(10)이 이용되므로 이와 다를 수 있다.The
신호 처리부(30)는 촬상 소자(20)로부터 로우 이미지 데이터를 제공받고, 로우 데이터를 처리하여 3차원 깊이 이미지 및 3차원 강도 이미지를 생성할 수 있다. 신호 처리부(30)에서 생성되는 3차원 깊이 이미지는 도 6a와 같이 출력될 수 있고, 신호 처리부(30)에서 생성되는 3차원 강도 이미지는 도 6b와 같이 출력될 수 있다. 신호 처리부(30)는 3차원 깊이 이미지 및 3차원 강도 이미지를 형성하기 위해, 예컨대, 광원(10)으로부터 조사된 광의 위상을 변조시킨 변조광의 파형과 반사된 광의 파형을 비교함으로써, 깊이(거리)와 강도에 대한 값을 얻을 수 있다. 신호 처리부(30)로부터 얻어진 깊이 값 및 강도 값은, 후처리 과정에서 포인트 클라우드 방식이나, 복셀, 칼라 코드 맵 방식을 통해 실제 물체와 비슷한 볼륨을 가지는 3D 이미지를 생성하는데 이용될 수 있다.The
다만, 3차원 깊이 이미지와 3차원 강도 이미지를 생성하는 방식으로 위상 차이를 이용한 전술한 위상 변조 방식 이외에, 3차원 시간 비행(Time of Flight) 방식을 직접적으로 이용하는 직접 시간 비행(direct TOF) 방식을 이용할 수도 있다.However, in addition to the above-described phase modulation method using a phase difference in a method of generating a 3D depth image and a 3D intensity image, a direct time flight (direct TOF) method using a 3D time-of- It can also be used.
제어부(40)는 3차원 시간 비행 이미지 획득 장치(1)의 전반적인 작동을 제어하며, 예컨대, 시야각 조절부(11), 광원 구동부(13), 조절 렌즈부(21), 변조 구동부(24) 및 신호 처리부(30) 등이 제어부(40)에 의해 제어될 수 있다.The
모션 센서(50)는 3차원 시간 비행 이미지 획득 장치(1)의 이동, 기울기 및 방향 등의 정보를 감지하여 3차원 이미지를 생성하는데 정확도를 높일 수 있으며, 이러한 정보는 3차원 이미지와 함께 저장되고 3차원 이미지를 표시할 때 이용될 수 있다.The
구체적으로 3차원 이미지의 절대 좌표값을 감지하여 생성할 수 있다. 3차원 이미지의 절대 좌표값을 표시하기 위해, 예컨대, X축, Y축 및 Z축 3개의 축이 이용될 수 있다.Specifically, an absolute coordinate value of a three-dimensional image can be sensed and generated. In order to display the absolute coordinate values of the three-dimensional image, for example, three axes of X-axis, Y-axis and Z-axis may be used.
모션 센서(50)로서 예컨대, 3차원 시간 비행 이미지 획득 장치(1)의 회전 상태를 3개의 축을 기초로 감지하여 기울기를 인식하는 자이로 센서, 3차원 시간 비행 이미지 획득 장치(10)의 이동 상태를 3개의 축을 기초로 감지하는 가속도 센서 및 자기장 세기를 3개의 축을 기초로 감지하는 지자기 센서 중 적어도 하나 이상이 이용될 수 있지만, 이에 제한되지 않는다.도 4를 참조하여, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치(1)의 시야각 조절 기능을 설명한다. 도 4를 참조하면, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치(1)의 시야각 조절 기능을 설명하기 위한 순서도가 도시된다.As the
우선, 신호 처리부(30)는 3차원 깊이 이미지 및 3차원 강도 이미지를 분석하여, 물체를 검출하고 검출된 물체에 대한 깊이 값 및 강도 값을 산출할 수 있다(S1). 깊이 값은 거리 값일 수 있으며, 3차원 깊이 이미지로부터 산출되는 3차원 시간 비행 이미지 획득 장치(1)와 물체(100) 사이의 거리에 대한 값을 의미할 수 있다, 강도 값은 3차원 강도 이미지로부터 얻을 수 있는 물체(100)로부터 반사된 광의 세기 값을 의미할 수 있다.First, the
예컨대, 3차원 깊이 이미지와 3차원 강도 이미지를 서로 매칭시켜서 검출된 물체에 대한 깊이 값 및 강도 값을 산출할 수 있으며, 상대적으로 가까이 위치한 물체는 강도 값이 크고 깊이 값이 작을 수 있고, 상대적으로 멀리 위치한 물체는 강도 값이 작고 깊이 값이 클 수 있다.For example, a depth value and a strength value for a detected object can be calculated by matching a 3D depth image and a 3D intensity image to each other. An object located relatively close can have a large intensity value, a small depth value, An object located farther away may have a smaller intensity value and a larger depth value.
이후에, 신호 처리부(30)는 산출된 깊이 값 및 강도 값을 보정할 수 있다(S2). 3차원 이미지를 획득하고자 하는 물체(100)가 유리와 같이 투명하고 빛을 과도하게 반사시키는 경우, 왜곡된 3차원 깊이 이미지 및 3차원 강도 이미지가 생성될 수 있다. 예컨대, 도 7a을 참조하면, 유리컵에 대한 이미지가 명확하지 않은 반면에, 도 7b를 참조하면, 유리컵에 대한 이미지가 명확하다. 따라서, 왜곡을 보정하기 위해, 산출된 깊이 값 및 강도 값에 대한 보정을 수행할 수 있다.Thereafter, the
이후에, 신호 처리부(30)는 산출된 깊이 값 및 강도 값에 기초하여 검출된 물체의 크기와 검출된 물체와 3차원 시간 비행 이미지 획득 장치(1) 사이의 거리에 대한 정보를 산출할 수 있다(S3). 검출된 물체(100)가 복수인 경우에는 복수의 물체에 대해 크기 및 거리에 대한 정보를 산출할 수 있다.Thereafter, the
그리고, 신호 처리부(30)는 산출된 크기 및 거리, 위치에 대한 정보에 기초하여 광원(10)의 최대 시야각을 산출할 수 있다(S4). 즉, 검출된 물체의 크기 및 거리를 고려하여, 검출하고자 하는 모든 물체를 포함하면서 해당 물체(100)까지 충분한 양의 광이 도달할 수 있는 광원(10)의 최대 시야각을 도출할 수 있다. 이를 위해, 신호 처리부(30)는 물체(100)의 크기나 위치에 따라 필요한 광량이 기록된 데이터 베이스를 가질 수 있다.Then, the
한편, 검출된 물체(100)가 복수인 경우에는, 검출된 물체 중 최대 크기를 가지거나 3차원 시간 비행 이미지 획득 장치(1)로부터 거리가 가장 멀리 떨어진 물체를 기준으로, 광원(10)의 최대 시야각을 산출할 수 있다. 또한, 넓게 퍼진 복수의 물체인 경우에는, 가장 외곽에 있는 물체들을 기준으로 최대 시야각을 산출할 수 있다.On the other hand, when there are a plurality of detected
그리고, 신호 처리부(30)는 현재의 광원(10)의 시야각과 산출된 최대 시야각을 비교함으로써, 현재 시야각의 유효성을 판단할 수 있다(S5). 현재의 광원(10)의 시야각과 산출된 최대 시야각이 일치하지 않는 경우에는, 현재의 시야각이 유효하지 않다고 판단될 수 있고, 현재의 광원(10)의 시야각과 산출된 최대 시야각이 일치하는 경우에는 현재의 시야각이 유효하다고 판단될 수 있다.Then, the
유효하지 않다고 판단되는 경우에, 제어부(40)는 시야각 조절부(11)가 광원(10)이 최대 시야각을 가지도록 시야각을 조절될 수 있고(S6), 유효하다고 판단되는 경우에, 제어부(40)는 시야각 조절부(11)는 현재의 시야각을 유지할 수 있다(S7).The
이와 같은 시야각 조절 기능에 따라 자동으로 시야각이 조절되기 때문에, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치에 따르면, 전력 소비를 최소화하면서 양질의 3차원 이미지를 얻을 수 있다. 여기서, 전력 소비의 최소화는, 광원의 시야각 조절과 함께 물체의 거리에 따른 광원 세기의 조절을 병행함으로써 달성할 수 있으며, 결과적으로 전력 소비 절감 효과를 얻을 수 있다.Since the viewing angle is automatically controlled according to the viewing angle control function, according to the 3D time flight image acquiring apparatus according to an embodiment of the present invention, a high quality three-dimensional image can be obtained while minimizing power consumption. Here, the minimization of the power consumption can be achieved by adjusting the viewing angle of the light source and the intensity of the light source according to the distance of the object in parallel. As a result, power consumption can be reduced.
도 5를 참조하여, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치의 초점 조절 기능을 설명한다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치의 초점 조절 기능을 설명하기 위한 순서도가 도시된다.Referring to FIG. 5, the focus adjustment function of the 3D time flight image acquisition apparatus according to an embodiment of the present invention will be described. Referring to FIG. 5, there is shown a flow chart illustrating a focus adjustment function of a 3D time-flight image acquisition apparatus according to an exemplary embodiment of the present invention.
우선, 신호 처리부(30)는 3차원 깊이 이미지 및 3차원 강도 이미지를 분석하여 물체를 검출하고, 검출된 물체에 대한 깊이 값 및 강도 값을 산출할 수 있다(S11). 깊이 값은 거리 값일 수 있으며, 3차원 깊이 이미지로부터 산출되는 3차원 시간 비행 이미지 획득 장치(1)와 물체(100) 사이의 거리에 대한 값을 의미할 수 있다, 강도 값은 3차원 강도 이미지로부터 얻을 수 있는 물체(100)로부터 반사된 광의 세기 값을 의미할 수 있다.First, the
이후에, 신호 처리부(30)는 산출된 깊이 값 및 강도 값을 보정할 수 있다(S12). 3차원 이미지를 획득하고자 하는 물체(100)가 유리와 같이 투명하고 빛을 과도하게 반사시키는 경우, 왜곡된 3차원 깊이 이미지 및 3차원 강도 이미지가 생성될 수 있다. 예컨대, 도 7a을 참조하면, 유리컵에 대한 이미지가 명확하지 않은 반면에, 도 7b를 참조하면, 유리컵에 대한 이미지가 명확하다. 따라서, 왜곡을 보정하기 위해, 산출된 깊이 값 및 강도 값에 대한 보정을 수행할 수 있다.Thereafter, the
이후에, 신호 처리부(30)는 산출된 깊이 값 및 강도 값에 기초하여 검출된 물체의 경계 및 검출된 물체와 3차원 시간 비행 이미지 획득 장치(1) 사이의 거리에 대한 정보를 산출할 수 있다(S13).Thereafter, the
그리고, 신호 처리부(30)는 산출된 경계 및 거리에 대한 정보에 기초하여 검출된 물체 상에 초점이 형성된 3차원 시간 비행 이미지를 얻기 위해 필요한 초점 계수를 산출할 수 있다(S14). 검출되는 물체가 복수인 경우, 초점의 기준이 되는 물체의 선정은, 입력 수단을 이용하여 사용자로부터 기준이 되는 대상에 대한 정보를 입력받을 수 있지만, 이에 제한되지 않고, 특정한 물체가 기준으로서 자동으로 선택되도록 할 수도 있다.Then, the
그리고, 신호 처리부(30)는 현재의 초점 계수와 산출된 계수를 비교함으로써, 초점 조절의 필요성 여부를 판단할 수 있다(S15). 현재의 초점 계수와 산출된 초점 계수가 일치하지 않는 경우에는 초점 조절이 필요하다고 판단할 수 있고, 현재의 초점 계수와 산출된 초점 계수가 일치하는 경우에는 초점 조절이 필요하지 않다고 판단할 수 있다.Then, the
초점 조절이 필요하다고 판단되는 경우에, 제어부(40)는 조절 렌즈부(21)가 산출된 초점 계수가 되도록 초점 위치를 조정할 수 있고(S16), 초점 조절이 필요하지 않다고 판단되는 경우에는, 제어부(40)는 조절 렌즈부(21)는 현재의 초점 위치를 유지할 수 있다(S17).When it is determined that the focus adjustment is necessary, the
이와 같은 초점 조절 기능에 따라 자동으로 초점이 조절되기 때문에, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치에 따르면, 초점의 자동 조절로 인해 획득되는 3차원 이미지의 정밀도를 향상시킬 수 있다.Since the focus is automatically adjusted according to the focus adjustment function, according to the 3D time flight image acquiring apparatus according to an embodiment of the present invention, it is possible to improve the accuracy of the three-dimensional image obtained by automatic adjustment of the focus have.
도 8을 참조하여, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치를 포함하는 3차원 시간 비행 이미지 획득 시스템을 설명한다. 도 8을 참조하면, 도 1의 3차원 시간 비행 이미지 획득 장치를 포함하는 3차원 시간 비행 이미지 획득 시스템의 구성이 개시된다.Referring to FIG. 8, a three-dimensional time-flight image acquisition system including a three-dimensional time-of-flight image acquisition apparatus according to an embodiment of the present invention will be described. Referring to FIG. 8, a configuration of a three-dimensional time-of-flight image acquisition system including the three-dimensional time-of-flight image acquisition apparatus of FIG. 1 is disclosed.
3차원 시간 비행 이미지 획득 시스템은 3차원 시간 비행 이미지 획득 장치(1)와 3차원 시간 비행 이미지 획득 장치(1)로부터 전송되는 이미지를 표시하는 디스플레이부(2), 사용자로부터 입력을 받을 수 있는 입력부(3) 및 3차원 시간 비행 이미지 획득 장치(1)로부터 생성되는 데이터를 저장할 수 있는 데이터 저장부(4), 3차원 시간 비행 이미지 획득 장치(1)를 포함한 3차원 시간 비행 이미지 획득 시스템에 전원을 공급하는 전원 공급부(5) 및 3차원 시간 비행 이미지 획득 장치(1)가 외부 장치와 통신을 할 수 있도록 하는 통신부(6)를 포함할 수 있다.The 3D time flight image acquisition system includes a
통신부(6)는 블루투스, 지그비 및 NFC를 포함하는 WPAN(Wireless Personal Area Networks), WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access), GPS(Global Positioning System) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home), USB(Universal Serial Bus) 등의 유선 통신방식을 이용할 수 있지만, 통신부(6)의 통신 방식은 상기에 제시된 통신 방식에 한정되는 것은 아니며, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.The
도 9 및 도 10을 참조하여, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치를 포함하는 3차원 시간 비행 이미지 획득 시스템에서, 디스플레이부에 표시되는 사용자 인터페이스(user interface)를 설명한다. 도 9를 참조하면, 도 8의 3차원 시간 비행 이미지 획득 시스템의 디스플레이부에 3차원 깊이 이미지가 표시된 것을 나타내는 도면이 개시되고, 도 10을 참조하면, 도 8의 3차원 시간 비행 이미지 획득 시스템의 디스플레이부에 3차원 강도 이미지가 표시된 것을 나타내는 도면이 개시된다.9 and 10, a user interface displayed on a display unit in a 3D time-flight image acquisition system including a 3D time-flight image acquisition apparatus according to an embodiment of the present invention will be described . Referring to FIG. 9, there is shown a three-dimensional time-flight image acquisition system of FIG. 8, in which a three-dimensional depth image is displayed on a display unit. Referring to FIG. 10, A diagram showing a three-dimensional intensity image displayed on a display unit is disclosed.
디스플레이부(2)에는 3차원 이미지의 해상도가 표시되는 해상도 표시 영역(110)이 포함될 수 있으며, 예컨대 Full-HD와 같이 표시될 수 있지만, 이에 제한되지 않는다.The
그리고, 디스플레이부(2)에는 조절 렌즈부(21)에 의해 조절되어 초점이 형성되는 영역의 위치를 표시하는 자동 초점 영역(120)이 포함될 수 있으며, 예컨대 사각형의 형태로 표시될 수 있지만, 이에 제한되지 않는다.The
또한, 디스플레이부(2)에는 3차원 깊이 이미지가 각각의 거리 값에 크기에 대응되는 색으로 표시될 수 있으며, 거리 값과 색상과의 관계를 막대기 형태로 표현하는 색상-거리 값 대응 관계 표시 영역(130)이 디스플레이부(2)에 포함될 수 있다.Also, in the
한편, 디스플레이부(2)에는 조절 렌즈부(21)에서 자동 초점 조절이 되고 있는지를 아이콘 형태로 표시하는 자동 초점 조절 표시 영역(140) 및 시야각 조절부(11)에서 자동 시야각 조절이 되고 있는지를 아이콘 형태로 표시하는 자동 시야각 조절 표시 영역(150)이 포함될 수 있다.On the other hand, in the
그리고, 디스플레이부(2)에는 3차원 강도 이미지가 각각의 강도 값에 크기에 대응되는 음영으로 표시될 수 있으며, 거리 값과 음영과의 관계를 막대기 형태로 표현하는 음영-강도 값 대응 관계 표시 영역(160)이 디스플레이부(2)에 포함될 수 있다.In the
도 11을 참조하여, 본 발명의 일 실시예에 따른 3차원 시간 비행 이미지 획득 장치가 적용될 수 있는 실시예를 설명한다. 도 9를 참조하면, 도 1의 3차원 비행 이미지 획득 장치가 적용되는 전자 기기의 예가 도시된다.Referring to FIG. 11, an embodiment in which a 3D time flight image acquisition apparatus according to an embodiment of the present invention can be applied will be described. Referring to Fig. 9, an example of an electronic apparatus to which the three-dimensional flying image acquisition apparatus of Fig. 1 is applied is shown.
3차원 시간 비행 이미지 획득 장치(1)는 다양한 전자 기기들의 이미지 획득 장치로서 이용될 수 있다. 예를 들어, 3차원 시간 비행 이미지 획득 장치(1)는 스마트폰(200)에 적용될 수 있고, 이 밖에, 태블릿 PC, 프린터, 휴대용 게임기, 휴대용 노트북, 네비게이션(navigation), 자동차 또는 가전 제품(household appliances)에 적용될 수 있다.The 3D time-flight
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.
1: 3차원 시간 비행 이미지 획득 장치 2: 디스플레이부
3: 입력부 4: 데이터 저장부
5: 전원 공급부 6: 통신부
10: 광원 11: 시야각 조절부
12: 광원 렌즈 13: 광원 구동부
20: 촬상 소자 21: 조절 렌즈부
22: 필터 23: 수광 렌즈
24: 변조 구동부 30: 신호 처리부
40: 제어부 50: 모션 센서
100: 물체 110: 해상도 표시 영역
120: 자동 초점 영역
130: 색상-거리 값 대응 관계 표시 영역
140: 자동 초점 조절 표시 영역 150: 자동 시야각 조절 표시 영역
160: 음영-강도 값 대응 관계 표시 영역
200: 스마트폰1: 3D time flight image acquisition device 2:
3: Input unit 4: Data storage unit
5: power supply unit 6: communication unit
10: light source 11: viewing angle control unit
12: light source lens 13: light source driver
20: Imaging element 21:
22: filter 23: receiving lens
24: Modulation driver 30: Signal processor
40: control unit 50: motion sensor
100: Object 110: Resolution display area
120: Auto focus area
130: Color-distance value correspondence relationship display area
140: Automatic focus adjustment display area 150: Automatic view angle adjustment display area
160: Shadow-intensity value correspondence relationship display area
200: Smartphone
Claims (8)
상기 물체를 향해 광을 조사하는 광원;
상기 물체와 상기 3차원 시간 비행 이미지 획득 장치 사이의 거리에 따라 상기 광원의 시야각을 조절하는 시야각 조절부;
상기 물체와 상기 3차원 시간 비행 이미지 획득 장치 사이의 거리에 따라 초점을 조절하는 조절 렌즈부로서, 상기 물체로부터 반사된 광은 상기 조절 렌즈부를 거쳐서 촬상 소자로 수신되는 것인, 조절 렌즈부;
상기 물체로부터 반사된 광을 수신하여 로우 이미지 데이터(raw image data)를 생성하는 촬상 소자; 및
상기 촬상 소자로부터 상기 로우 이미지 데이터를 제공받고, 3차원 시간 비행 방식을 이용하여 상기 로우 데이터를 처리함으로써 3차원 깊이 이미지 및 3차원 강도 이미지를 생성하는 신호 처리부
를 포함하며,
상기 신호 처리부는,
상기 3차원 깊이 이미지 및 상기 3차원 강도 이미지를 분석하여 물체를 검출하고 검출된 물체에 해당하는 깊이 값과 강도 값을 산출하고,
산출된 깊이 값 및 강도 값에 기초하여 검출된 물체의 경계 및 검출된 물체와 상기 3차원 시간 비행 이미지 획득 장치 사이의 거리에 대한 정보를 산출하고,
상기 산출된 경계 및 거리에 대한 정보에 기초하여 검출된 물체 상에 초점이 형성된 3차원 시간 비행 이미지를 얻기 위해 필요한 초점 계수를 산출하고,
상기 조절 렌즈부는, 현재 초점 계수와 산출된 초점 계수가 일치하지 않는 경우, 산출된 초점 계수가 되도록 초점 위치를 조절하는 것인, 3차원 시간 비행 이미지 획득 장치. A three-dimensional time-flight image acquisition apparatus for acquiring a three-dimensional time-of-flight image of an object,
A light source for emitting light toward the object;
A viewing angle adjusting unit for adjusting a viewing angle of the light source according to a distance between the object and the 3D time flight image acquisition apparatus;
An adjustment lens unit that adjusts focus according to a distance between the object and the 3D time-flight image acquisition apparatus, wherein light reflected from the object is received by the imaging element via the adjustment lens unit;
An imaging device for receiving light reflected from the object and generating raw image data; And
A signal processor for generating the three-dimensional depth image and the three-dimensional intensity image by processing the row data using the three-dimensional time-flight method,
/ RTI >
The signal processing unit,
Analyzing the 3D depth image and the 3D intensity image to detect an object, calculating a depth value and an intensity value corresponding to the detected object,
Calculating a boundary between the detected object and a distance between the detected object and the 3D time-flight image acquiring device based on the calculated depth value and the intensity value,
Calculating a focus factor necessary for obtaining a three-dimensional time-flight image formed on the detected object based on the calculated information on the boundary and the distance,
Wherein the adjustment lens unit adjusts the focal position so that the calculated focus coefficient is obtained when the current focus factor does not match the calculated focus factor.
상기 신호 처리부는,
상기 3차원 깊이 이미지 및 상기 3차원 강도 이미지를 분석하여, 물체를 검출하고 검출된 물체에 해당하는 깊이 값과 강도 값을 산출하고,
산출된 깊이 값 및 강도 값에 기초하여 검출된 물체의 크기와 검출된 물체와 상기 3차원 시간 비행 이미지 획득 장치 사이의 거리에 대한 정보를 산출하고,
상기 산출된 크기 및 거리에 대한 정보에 기초하여 상기 광원의 최대 시야각을 산출하고,
상기 시야각 조절부는, 상기 광원의 현재 시야각과 도출된 최대 시야각이 일치하지 않는 경우, 상기 광원의 시야각이 상기 최대 시야각이 되도록 조절하는 것인, 3차원 시간 비행 이미지 획득 장치.The method according to claim 1,
The signal processing unit,
Analyzing the 3D depth image and the 3D intensity image to detect an object, calculating a depth value and an intensity value corresponding to the detected object,
Calculating information on the size of the detected object based on the calculated depth value and the intensity value and the distance between the detected object and the 3D time flight image acquiring device,
Calculating a maximum viewing angle of the light source based on the calculated size and distance information,
Wherein the viewing angle adjusting unit adjusts the viewing angle of the light source to be the maximum viewing angle when the current viewing angle of the light source does not match the derived maximum viewing angle.
검출된 물체가 복수인 경우, 상기 산출된 크기 및 거리에 대한 정보에 기초하여 상기 광원의 최대 시야각을 산출하는 것은, 상기 산출된 크기 및 거리에 대한 정보에 기초하여 도출되는 최대 크기를 가지는 검출된 물체 또는 상기 3차원 시간 비행 이미지 획득 장치로부터 가장 멀리 떨어져 있는 검출된 물체를 기준으로 상기 광원의 최대 시야각을 도출하는 것인, 3차원 시간 비행 이미지 획득 장치.3. The method of claim 2,
Calculating a maximum viewing angle of the light source based on the calculated information on the size and the distance when the detected object is a plurality of objects includes calculating a maximum viewing angle of the light source based on the detected maximum size, Wherein the maximum viewing angle of the light source is derived based on the object or the detected object that is furthest away from the 3D time flight image acquisition device.
상기 광원으로부터 조사되는 광의 크기, 위상, 주파수, 펄스 암호화 여부, 펄스의 폭 및 상승 시간 중 적어도 하나 이상을 제어하는 광원 구동부를 더 포함하는 것인, 3차원 시간 비행 이미지 획득 장치.The method according to claim 1,
Further comprising a light source driving unit for controlling at least one of a magnitude, phase, frequency, pulse encryption, pulse width, and rise time of light emitted from the light source.
상기 조절 렌즈부는, 상기 물체로부터 반사된 광의 경로를 조절하여 상기 광원의 시야각 내의 상기 물체의 특정 부분이 확대되어 상기 촬상 소자에 이미지를 형성하도록 하는 것인, 3차원 시간 비행 이미지 획득 장치.The method according to claim 1,
Wherein the adjustment lens unit adjusts the path of the light reflected from the object so that a specific portion of the object within the viewing angle of the light source is magnified to form an image on the imaging device.
상기 3차원 시간 비행 이미지 획득 장치의 이동, 기울기 및 방향을 감지하는 모션 센서를 더 포함하는 것인, 3차원 시간 비행 이미지 획득 장치.The method according to claim 1,
Further comprising a motion sensor for sensing movement, tilt and orientation of the 3D time-of-flight image acquisition device.
상기 3차원 시간 비행 이미지 획득 장치로부터 전송되는 3차원 이미지를 표시하는 디스플레이부
를 포함하고,
상기 디스플레이부에는 상기 조절 렌즈부에 의해 조절되어 초점이 형성되는 영역의 위치가 표시되는 것인, 3차원 시간 비행 이미지 획득 시스템.A three-dimensional time-flight image acquisition apparatus according to claim 1; And
A display unit for displaying a three-dimensional image transmitted from the three-dimensional time-
Lt; / RTI >
Wherein the display unit displays a position of a region where focus is adjusted by the adjustment lens unit.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140061191A KR101557295B1 (en) | 2014-05-21 | 2014-05-21 | 3-dimensional time of flight image capturing device |
PCT/KR2015/002711 WO2015178575A1 (en) | 2014-05-21 | 2015-03-20 | Apparatus for acquiring three-dimensional time of flight image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140061191A KR101557295B1 (en) | 2014-05-21 | 2014-05-21 | 3-dimensional time of flight image capturing device |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101557295B1 true KR101557295B1 (en) | 2015-10-05 |
Family
ID=54344616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140061191A KR101557295B1 (en) | 2014-05-21 | 2014-05-21 | 3-dimensional time of flight image capturing device |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101557295B1 (en) |
WO (1) | WO2015178575A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019017692A1 (en) * | 2017-07-18 | 2019-01-24 | 엘지이노텍 주식회사 | Tof module and object recognition device using tof module |
WO2023055223A1 (en) * | 2021-10-01 | 2023-04-06 | 설윤호 | Method for calculating three-dimensional terrain site information of control object |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112950694A (en) * | 2021-02-08 | 2021-06-11 | Oppo广东移动通信有限公司 | Image fusion method, single camera module, shooting device and storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004077262A (en) | 2002-08-16 | 2004-03-11 | Fuji Xerox Co Ltd | Three-dimensional imaging apparatus and method |
JP2004170305A (en) | 2002-11-21 | 2004-06-17 | Nippon Telegr & Teleph Corp <Ntt> | Method and apparatus for measuring three-dimensional shape |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101145132B1 (en) * | 2010-10-27 | 2012-05-14 | 한국과학기술원 | The three-dimensional imaging pulsed laser radar system using geiger-mode avalanche photo-diode focal plane array and auto-focusing method for the same |
KR20130102400A (en) * | 2012-03-07 | 2013-09-17 | 삼성전자주식회사 | Time of flight sensor and time of flight camera |
-
2014
- 2014-05-21 KR KR1020140061191A patent/KR101557295B1/en active IP Right Grant
-
2015
- 2015-03-20 WO PCT/KR2015/002711 patent/WO2015178575A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004077262A (en) | 2002-08-16 | 2004-03-11 | Fuji Xerox Co Ltd | Three-dimensional imaging apparatus and method |
JP2004170305A (en) | 2002-11-21 | 2004-06-17 | Nippon Telegr & Teleph Corp <Ntt> | Method and apparatus for measuring three-dimensional shape |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019017692A1 (en) * | 2017-07-18 | 2019-01-24 | 엘지이노텍 주식회사 | Tof module and object recognition device using tof module |
KR20190009121A (en) * | 2017-07-18 | 2019-01-28 | 엘지이노텍 주식회사 | Tof module and subject recogniging apparatus using the same |
CN110945380A (en) * | 2017-07-18 | 2020-03-31 | Lg伊诺特有限公司 | ToF module and object recognition device using the same |
KR102476404B1 (en) * | 2017-07-18 | 2022-12-12 | 엘지이노텍 주식회사 | Tof module and subject recogniging apparatus using the same |
US11782161B2 (en) | 2017-07-18 | 2023-10-10 | Lg Innotek Co., Ltd. | ToF module and object recognition device using ToF module |
CN110945380B (en) * | 2017-07-18 | 2023-10-24 | Lg伊诺特有限公司 | ToF module and object recognition device using the same |
WO2023055223A1 (en) * | 2021-10-01 | 2023-04-06 | 설윤호 | Method for calculating three-dimensional terrain site information of control object |
Also Published As
Publication number | Publication date |
---|---|
WO2015178575A1 (en) | 2015-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2873986A1 (en) | Camera integrated with light source | |
US9998730B2 (en) | Imaging optical system and 3D image acquisition apparatus including the imaging optical system | |
US10419741B2 (en) | Systems and methods for compression of three dimensional depth sensing | |
US9451240B2 (en) | 3-dimensional image acquisition apparatus and 3D image acquisition method for simultaneously obtaining color image and depth image | |
EP3169975B1 (en) | Method and measuring instrument for target detection and/or identification | |
EP3505953B1 (en) | Laser ranging and illumination | |
US10962631B2 (en) | Method for operating a laser distance measuring device | |
US20160050407A1 (en) | Image capturing system obtaining scene depth information and focusing method thereof | |
US20150009295A1 (en) | Three-dimensional image acquisition apparatus and image processing method using the same | |
CN104272717A (en) | A method and system for performing alignment of a projection image to detected infrared (IR) radiation information | |
JPWO2017038203A1 (en) | Projector device with distance image acquisition device and projection mapping method | |
CN110135232A (en) | System and method for enhancing depth transducer device | |
CN107637071A (en) | Projection arrangement, projecting method, projection module, electronic installation and program | |
EP3347755A1 (en) | Imaging devices having autofocus control | |
US9258548B2 (en) | Apparatus and method for generating depth image | |
US10055881B2 (en) | Video imaging to assess specularity | |
KR101557295B1 (en) | 3-dimensional time of flight image capturing device | |
CN104657970B (en) | A kind of scaling method and calibration system of full-automatic binocular endoscope | |
CN110491316A (en) | A kind of projector and its method for controlling projection | |
KR20150019926A (en) | Distance detecting apparatus capable of deriving distance information having changed space resolution | |
JP2017003284A (en) | Three-dimensional measuring device and three-dimensional measuring method | |
KR102135372B1 (en) | Structured light system | |
WO2021124730A1 (en) | Information processing device, imaging device, information processing method, and program | |
CN112655022B (en) | Image processing apparatus and image processing method | |
CN111289989B (en) | Method and device for determining rotation parameters for conversion between coordinate systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20180731 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20190708 Year of fee payment: 5 |