KR102166691B1

KR102166691B1 - Device for estimating three-dimensional shape of object and method thereof

Info

Publication number: KR102166691B1
Application number: KR1020140023406A
Authority: KR
Inventors: 정용우; 조아영; 신윤섭
Original assignee: 엘지전자 주식회사
Priority date: 2014-02-27
Filing date: 2014-02-27
Publication date: 2020-10-16
Also published as: KR20150101749A

Abstract

객체의 3차원 형상을 산출하는 장치 및 방법이 개시된다. 본 발명의 객체의 3차원 형상을 산출하는 장치 및 방법은, 소정의 패턴이 부가된 구조광(structured light)을 객체에 투사하는 프로젝터, 상기 구조광을 감지하는 제1 센서와 제2 센서 및 제1 센서에서 감지된 구조광 패턴의 변화에 따라 객체의 3차원 깊이를 산출하고, 제2 센서에서 감지된 구조광 패턴의 변화에 따라 산출된 3차원 깊이를 보정하는 제어부를 포함한다. 본 발명에 의하면, 객체의 3차원 깊이를 측정함에 있어서, 다중 베이스라인을 가지는 구성을 적용하여 깊이 분해능을 높일 수 있다.An apparatus and method for calculating a three-dimensional shape of an object are disclosed. The apparatus and method for calculating a three-dimensional shape of an object of the present invention include a projector for projecting structured light to which a predetermined pattern is added to an object, a first sensor and a second sensor for detecting the structured light, and a second sensor. And a control unit that calculates the 3D depth of the object according to the change of the structured light pattern detected by the first sensor and corrects the 3D depth of the object according to the change of the structured light pattern detected by the second sensor. According to the present invention, in measuring the three-dimensional depth of an object, it is possible to increase depth resolution by applying a configuration having multiple baselines.

Description

Device and method for calculating the three-dimensional shape of an object {DEVICE FOR ESTIMATING THREE-DIMENSIONAL SHAPE OF OBJECT AND METHOD THEREOF}

본 발명은 객체의 3차원 형상을 산출하는 장치에 관한 것으로서, 보다 구체적으로는 구조광을 이용하여 객체의 3차원 형상을 산출하는 장치 및 방법에 관한 것이다.
The present invention relates to an apparatus for calculating a three-dimensional shape of an object, and more particularly, to an apparatus and method for calculating a three-dimensional shape of an object using structured light.

최근 인간이나 기타 사물 등 객체에 대한 이미지화에 있어서, 실제 객체의 형태를 반영하여 3차원 이미지로 구현하려고 하는 시도가 계속되고 있다.Recently, in imaging objects such as humans or other objects, attempts to implement a three-dimensional image by reflecting the shape of an actual object are continuing.

객체의 형상을 3차원 이미지로 구현하는 방법과 관련하여, 두 장 이상의 가시광 영상을 이용한 방법, 능동 광원을 이용한 적외선 영상을 이용한 방법 등이 제안되고 있다.Regarding a method of implementing the shape of an object as a 3D image, a method using two or more visible light images, a method using an infrared image using an active light source, and the like have been proposed.

전통적인 스테레오 비전(stereo vision) 방식에 의하면, 좌안, 우안 촬영 영상은 상기 영상을 촬영한 두 센서 사이의 거리(Baseline)에 의하여, 시차(disparity)가 발생하게 되고, 이러한 시차를 이용하여 3차원 깊이 정보를 산출한다.According to the traditional stereo vision method, the left-eye and right-eye photographed images have a disparity caused by the distance (Baseline) between the two sensors that photographed the image, and the three-dimensional depth Produce information.

구조광(structured light) 시스템의 경우, 스테레오 비전 시스템에서의 카메라 하나를 이미 알고 있는 형상을 투사하는 조명계로 전환하는 방식을 이용하여 3차원 깊이 정보를 산출한다. 이를 통하여 구조광 시스템은 구조광이 촬영되는 전 영역에서 깊이 정보를 산출한다.In the case of a structured light system, 3D depth information is calculated using a method of converting one camera in a stereo vision system to an illumination system that projects a known shape. Through this, the structured light system calculates depth information in all areas where structured light is photographed.

이러한 방식에서는 미리 정해진 베이스라인에 따라 거리에 따른 깊이 분해능(depth resolution)이 달라지기 때문에, 원하는 수준의 깊이 분해능을 확보하기 위해서는 그에 대응되는 베이스라인이 필요하여, 깊이 정보를 측정하는 장치를 실제 구현함에 있어서 크기의 제약이 따르는 문제가 있다.
In this method, since the depth resolution according to the distance varies according to the predetermined baseline, a corresponding baseline is required to secure a desired level of depth resolution, and a device that measures depth information is actually implemented. There is a problem with size constraints.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은, 객체의 3차원 형상을 산출하는 장치에서 객체의 3차원 깊이를 측정함에 있어서, 구조광 시스템과 다중 카메라 기술을 이용하여 깊이 분해능을 높일 수 있도록 하는 객체의 3차원 형상을 산출하는 장치 및 방법을 제공하는 것을 그 목적으로 한다.It is an object of the present invention to solve the above and other problems. Another object is to calculate the three-dimensional shape of an object to increase depth resolution using a structured light system and multiple camera technology in measuring the three-dimensional depth of an object in a device that calculates the three-dimensional shape of an object. Its object is to provide an apparatus and method.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved by the present invention are not limited to the technical problems mentioned above, and other technical problems that are not mentioned can be clearly understood by those of ordinary skill in the technical field to which the present invention belongs from the following description. There will be.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 소정의 패턴이 부가된 구조광(structured light)을 객체에 투사하는 프로젝터, 상기 프로젝터를 기준으로 제1 거리에 위치하고, 상기 객체에서 반사된 상기 구조광을 감지하는 제1 센서, 상기 프로젝터를 기준으로 제2 거리에 위치하고, 상기 객체에서 반사된 상기 구조광을 감지하는 제2 센서 및 제1 기준 이미지와 비교하여 상기 제1 센서에서 감지된 구조광 패턴의 변화에 따라 상기 객체의 3차원 깊이를 산출하고, 제2 기준 이미지와 비교하여 상기 제2 센서에서 감지된 구조광 패턴의 변화에 따라 상기 산출된 3차원 깊이를 보정하는 제어부를 포함하는 객체의 3차원 형상을 산출하는 장치를 제공한다.According to an aspect of the present invention to achieve the above or other objects, a projector that projects structured light to which a predetermined pattern has been added to an object, located at a first distance from the projector, and reflected from the object A first sensor for detecting the structured light, located at a second distance with respect to the projector, a second sensor for detecting the structured light reflected from the object, and the first sensor compared to a first reference image A control unit that calculates the three-dimensional depth of the object according to the change of the structured light pattern and compares it with a second reference image and corrects the calculated three-dimensional depth according to the change of the structured light pattern detected by the second sensor. It provides an apparatus for calculating a three-dimensional shape of an included object.

또한, 본 발명의 다른 측면에 따르면, 소정의 패턴이 부가된 구조광을 객체에 투사하는 프로젝터, 상기 객체에서 반사된 상기 구조광을 감지하는 구조광 센서, 제1 카메라 모듈, 제2 카메라 모듈 및 소정의 기준 이미지와 비교하여 상기 구조광 센서에서 감지되는 구조광 패턴의 변화에 따라 상기 객체의 3차원 깊이를 산출하고, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈에서 각각 촬영된 영상에 기초하여 산출한 상기 객체의 3차원 깊이를 이용하여, 상기 구조광 센서를 통해 산출된 객체의 3차원 깊이를 보정하는 제어부를 포함하는 객체의 3차원 형상을 산출하는 장치를 제공한다.In addition, according to another aspect of the present invention, a projector that projects structured light to which a predetermined pattern is added to an object, a structured light sensor that detects the structured light reflected from the object, a first camera module, a second camera module, and Compared with a predetermined reference image, the three-dimensional depth of the object is calculated according to the change in the structured light pattern detected by the structured light sensor, and based on images captured by the first and second camera modules, respectively. It provides an apparatus for calculating a 3D shape of an object including a control unit for correcting the 3D depth of the object calculated through the structured light sensor using the calculated 3D depth of the object.

또한, 본 발명의 다른 측면에 따르면, 소정의 패턴이 부가된 구조광을 객체에 투사하는 단계, 상기 객체에서 반사된 상기 구조광을 제1 위치 및 제2 위치에서 각각 감지하는 단계, 제1 기준 이미지와 비교하여, 상기 제1 위치에서 감지된 구조광 패턴의 변화에 따라 상기 객체의 3차원 깊이를 산출하는 단계 및 제2 기준 이미지와 비교하여, 상기 제2 위치에서 감지된 구조광 패턴의 변화에 따라 상기 산출된 3차원 깊이를 보정하는 단계를 포함하는 객체의 3차원 형상을 산출하는 방법을 제공한다.Further, according to another aspect of the present invention, projecting structured light to which a predetermined pattern is added to an object, detecting the structured light reflected from the object at a first position and a second position, respectively, a first reference Comparing with an image, calculating a three-dimensional depth of the object according to a change in a structured light pattern sensed at the first location, and a change in a structured light pattern sensed at the second location by comparing it with a second reference image It provides a method of calculating a three-dimensional shape of an object comprising the step of correcting the calculated three-dimensional depth according to.

또한, 본 발명의 다른 측면에 따르면, 소정의 패턴이 부가된 구조광을 객체에 투사하는 단계, 상기 객체에서 반사된 상기 구조광을 감지하는 단계, 제3 위치 및 제4 위치에서 상기 객체를 촬영하는 단계, 소정의 기준 이미지와 비교하여 상기 감지된 구조광 패턴의 변화에 따라 상기 객체의 3차원 깊이를 산출하는 단계 및 상기 제3 위치 및 제4 위치에서 각각 촬영된 영상에 기초하여 산출한 상기 객체의 3차원 깊이를 이용하여 상기 감지된 구조광 패턴의 변화에 따라 산출된 객체의 3차원 깊이를 보정하는 단계를 포함하는 객체의 3차원 형상을 산출하는 방법을 제공한다.In addition, according to another aspect of the present invention, projecting structured light to which a predetermined pattern is added to an object, detecting the structured light reflected from the object, and photographing the object at third and fourth positions Computing the three-dimensional depth of the object according to a change in the sensed structured light pattern by comparing it with a predetermined reference image, and the calculated based on images captured at the third and fourth positions, respectively. It provides a method of calculating a three-dimensional shape of an object, including the step of correcting the three-dimensional depth of the object calculated according to the change of the sensed structured light pattern using the three-dimensional depth of the object.

본 발명에 따른 이동 단말기 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.The effects of the mobile terminal and the control method thereof according to the present invention will be described as follows.

본 발명의 실시 예들 중 적어도 하나에 의하면, 객체의 3차원 깊이를 측정함에 있어서 구조광 시스템과 다중 카메라 기술을 이용함으로써, 깊이 분해능을 향상시킬 수 있다는 장점이 있다.According to at least one of the embodiments of the present invention, there is an advantage in that the depth resolution can be improved by using a structured light system and a multi-camera technology in measuring a three-dimensional depth of an object.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 하나의 구조광 감지 센서를 이용하여 산출한 객체의 3차원 깊이를, 다른 베이스라인을 갖는 구조광 감지 센서를 이용하여 보정함으로써, 깊이 분해능을 향상시킬 수 있다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, the depth resolution is improved by correcting the three-dimensional depth of the object calculated using one structured light detection sensor using a structured light detection sensor having a different baseline. There is an advantage that it can be made.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 각 센서들은 프로젝터를 기준으로 하여 다양한 위치에 배치될 수 있어, 더욱 깊이 분해능을 향상시킬 수 있다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, since each of the sensors can be disposed in various positions based on the projector, there is an advantage in that the depth resolution can be further improved.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 산출한 객체의 3차원 깊이를 보정하기 위해 이용되는 센서를 더 추가함으로써, 더욱 깊이 분해능을 향상시킬 수 있다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, there is an advantage in that the depth resolution can be further improved by further adding a sensor used to correct the 3D depth of the calculated object.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 구조광을 이용한 구성을 이용하여 객체의 3차원 깊이를 산출하고, 이를 카메라 모듈을 이용하여 스테레오 비전(stereo vision) 방식에 따라 산출한 객체의 3차원 깊이를 이용하여 보정함으로써, 깊이 분해능을 향상시킬 수 있다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, the three-dimensional depth of the object is calculated using a structure using structured light, and the 3D depth of the object calculated according to a stereo vision method using a camera module. By correcting using the dimensional depth, there is an advantage that the depth resolution can be improved.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 어레이 카메라(array camera)에 포함된 복수의 카메라 모듈 중 일부 카메라 모듈을 객체의 3차원 깊이를 보정하는데 이용할 수 있다는 장점이 있다.Further, according to at least one of the embodiments of the present invention, there is an advantage that some camera modules among a plurality of camera modules included in an array camera can be used to correct a 3D depth of an object.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 어레이 카메라에 포함된 복수의 카메라 모듈 중 어느 하나를 구조광 센서로 제작할 수 있어, 별도의 구성을 더 추가하지 않을 수 있다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, since any one of a plurality of camera modules included in the array camera can be manufactured as a structured light sensor, there is an advantage that a separate configuration may not be added.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 어레이 카메라에 포함된 복수의 카메라 모듈을 객체의 3차원 깊이를 보정하는데 이용함으로써, 더욱 정밀하게 3차원 깊이를 산출할 수 있다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, by using a plurality of camera modules included in the array camera to correct the three-dimensional depth of the object, there is an advantage that it is possible to more accurately calculate the three-dimensional depth.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 깊이 분해능을 향상시킴에 따라, 동일한 깊이 분해능을 보다 짧은 베이스라인으로도 구현할 수 있어, 객체의 3차원 형상을 산출하는 장치를 소형화할 수 있다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, as the depth resolution is improved, the same depth resolution can be implemented with a shorter baseline, so that an apparatus for calculating a three-dimensional shape of an object can be miniaturized. There is this.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.Further scope of applicability of the present invention will become apparent from the detailed description below. However, since various changes and modifications within the spirit and scope of the present invention can be clearly understood by those skilled in the art, specific embodiments such as the detailed description and preferred embodiments of the present invention should be understood as being given by way of example only.

도 1은 본 발명의 일 실시예에 따른 객체의 3차원 형상을 산출하는 장치의 블럭 구성도(block diagram)이다.
도 2는 본 발명의 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법의 흐름도이다.
도 3 내지 11은 본 발명의 일 실시예에 따라 객체의 3차원 깊이를 산출하고, 산출한 3차원 깊이를 보정하는 것을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 센서의 배치를 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 객체의 3차원 형상을 산출하는 장치에 복수의 센서가 더 포함된 것을 도시한 블럭 구성도이다.
도 14는 본 발명의 다른 일 실시예에 따른 객체의 3차원 형상을 산출하는 장치의 블럭 구성도(block diagram)이다.
도 15는 본 발명의 다른 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법의 흐름도이다.
도 16은 본 발명의 다른 일 실시예에 따른 어레이 카메라를 이용하여 객체의 3차원 깊이를 산출하는 것을 설명하기 위한 도면이다.1 is a block diagram of an apparatus for calculating a three-dimensional shape of an object according to an embodiment of the present invention.
2 is a flowchart of a method of calculating a three-dimensional shape of an object according to an embodiment of the present invention.
3 to 11 are diagrams for explaining calculating a 3D depth of an object and correcting the calculated 3D depth according to an embodiment of the present invention.
12 is a diagram for explaining an arrangement of a sensor according to an embodiment of the present invention.
13 is a block diagram illustrating that a plurality of sensors are further included in an apparatus for calculating a three-dimensional shape of an object according to an embodiment of the present invention.
14 is a block diagram of an apparatus for calculating a three-dimensional shape of an object according to another embodiment of the present invention.
15 is a flowchart of a method of calculating a three-dimensional shape of an object according to another embodiment of the present invention.
FIG. 16 is a diagram for explaining calculating a 3D depth of an object using an array camera according to another embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but identical or similar elements are denoted by the same reference numerals regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not have meanings or roles that are distinguished from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, when it is determined that a detailed description of related known technologies may obscure the subject matter of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are for easy understanding of the embodiments disclosed in the present specification, and the technical idea disclosed in the present specification is not limited by the accompanying drawings, and all modifications included in the spirit and scope of the present invention It should be understood to include equivalents or substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers, such as first and second, may be used to describe various elements, but the elements are not limited by the terms. These terms are used only for the purpose of distinguishing one component from another component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
In the present application, terms such as "comprises" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.

도 1은 본 발명의 일 실시예와 관련된 객체의 3차원 형상을 산출하는 장치의 블럭 구성도(block diagram)이다.1 is a block diagram of an apparatus for calculating a three-dimensional shape of an object according to an embodiment of the present invention.

상기 객체의 3차원 형상을 산출하는 장치(100)는 프로젝터(110), 센서(130_1, 130_2), 제어부(150) 및 메모리(170) 등을 포함할 수 있다. 상기 객체의 3차원 형상을 산출하는 장치(100)는 도 1에 도시된 구성요소들 이외에 다른 구성요소들을 더 갖는 형태로 구현될 수도 있다.The apparatus 100 for calculating the 3D shape of the object may include a projector 110, sensors 130_1 and 130_2, a controller 150, a memory 170, and the like. The apparatus 100 for calculating the three-dimensional shape of the object may be implemented in a form having other components in addition to the components shown in FIG. 1.

이하, 상기 구성요소들에 대해 차례로 살펴본다.Hereinafter, the components will be described in order.

프로젝터(110)는 구조광(structured light)을 3차원 깊이 측정의 목적으로 객체에 대해 투사할 수 있다. 광을 투사하는 것은 특정 객체에 대하여 광을 발하는 것을 의미할 수 있다. 상기 구조광에는 임의의 패턴(pattern)이 부가될 수 있다.The projector 110 may project structured light onto an object for the purpose of measuring 3D depth. Projecting light may mean emitting light to a specific object. An arbitrary pattern may be added to the structured light.

일 예에 따라, 상기 광은 적외선을 의미할 수 있다. 다만, 이에 한정되는 것은 아니며, 가시광, 적외선, 자외선 및 방사선 중 적어도 하나를 의미할 수 있다.According to an example, the light may mean infrared. However, the present invention is not limited thereto, and may mean at least one of visible light, infrared light, ultraviolet light, and radiation.

프로젝터(110)는 광을 발하는 광원 및 광원으로부터 나오는 광이 입사되어 임의의 패턴이 부가되는 회절 광학 소자(diffraction optical element: DOE) 등을 포함할 수 있다. 다만, 이에 한정되지 아니하며, 프로젝터(110)는 광에 패턴을 부가하여 투사할 수 있는 것이라면 공지의 다른 구성을 포함할 수 있다.The projector 110 may include a light source emitting light and a diffraction optical element (DOE) to which light emitted from the light source is incident and an arbitrary pattern is added. However, the present invention is not limited thereto, and the projector 110 may include other known configurations as long as it can project light by adding a pattern.

일 예에 따라, 상기 임의의 패턴은 일정 크기의 점(spot)들이 어떠한 규칙 없이 무작위적으로 배치되는 패턴일 수 있다. 다만, 이에 한정되지 아니하며, 상기 임의의 패턴을 이루는 무늬는 3차원 깊이 측정에 이용될 수 있는 다른 형태가 적용될 수 있다.According to an example, the random pattern may be a pattern in which spots of a predetermined size are randomly arranged without any rules. However, the present invention is not limited thereto, and the pattern constituting the arbitrary pattern may have another shape that can be used to measure 3D depth.

센서(130_1, 130_2)는 객체에 투사되어 반사된 구조광을 감지하고, 감지한 구조광의 패턴을 이미지화하여, 전기적인 영상신호로 변환할 수 있다. 상기 영상신호로의 변환의 경우 센서(130_1, 130_2)는 프레임 단위로 처리할 수 있다. 센서(130_1, 130_2)는 상기 변환된 영상신호를 제어부(150)로 출력할 수 있다.The sensors 130_1 and 130_2 may detect structured light reflected by being projected onto an object, image the detected structured light pattern, and convert it into an electrical image signal. In the case of conversion into the image signal, the sensors 130_1 and 130_2 may process the frame unit. The sensors 130_1 and 130_2 may output the converted image signal to the controller 150.

센서(130_1, 130_2)는 그 용어에 한정되지 않고, 객체로 투사된 구조광의 패턴을 감지하고, 이미지화하여 전기적인 영상신호로 변환할 수 있는 것이라면 어느 것이라도 적용될 수 있다.The sensors 130_1 and 130_2 are not limited to the terms, and any one capable of detecting a pattern of structured light projected onto an object, converting it into an image, and converting it into an electrical image signal may be applied.

제어부(150)는 센서(130_1, 130_2)에 의하여 이미지화된 상기 구조광의 패턴으로부터 패턴의 변화를 측정할 수 있다. 제어부(150)는 임의의 기준면(reference plane)에 대하여 투사된 구조광의 패턴을 이미지화한 것을 기준으로 하여, 상기 객체에 투사되어 이미지화된 구조광의 패턴의 변화를 측정할 수 있다.The control unit 150 may measure a change in the pattern from the pattern of the structured light imaged by the sensors 130_1 and 130_2. The control unit 150 may measure a change in the pattern of the structured light projected onto the object and imaged based on the image of the pattern of the structured light projected with respect to an arbitrary reference plane.

제어부(150)는 상기 측정한 구조광 패턴의 변화로부터 상기 객체의 3차원 깊이를 산출할 수 있다. 이를 통하여 제어부(150)는 상기 객체의 3차원 형상을 산출할 수 있다. 제어부(150)는 상기 구조광 패턴의 변화와 프로젝터(110)의 위치 및 센서(130_1, 130_2)의 위치를 이용하여 삼각측량 기법을 토대로 상기 객체의 3차원 형상을 산출할 수 있다.The control unit 150 may calculate the three-dimensional depth of the object from the measured change in the structured light pattern. Through this, the controller 150 may calculate a three-dimensional shape of the object. The controller 150 may calculate the three-dimensional shape of the object based on a triangulation technique using the change in the structured light pattern and the position of the projector 110 and the positions of the sensors 130_1 and 130_2.

다만, 이에 한정되는 것은 아니며, 구조광 패턴의 변화로부터 객체의 3차원 형상을 산출할 수 있다면, 공지의 어떠한 방식도 적용될 수 있다.However, the present invention is not limited thereto, and any known method may be applied as long as the three-dimensional shape of the object can be calculated from the change in the structured light pattern.

메모리(170)는 제어부(150)가 상기 객체의 3차원 형상을 산출하는데 필요한 프로그램을 저장할 수 있다. 또한, 메모리(170)는 상기 기준면에 대한 구조광 패턴의 이미지인 기준 이미지를 저장할 수 있다. 또한, 메모리(170)는 상기 센서(130_1, 130_2)로부터 변환된 구조광 패턴에 대한 영상신호를 저장할 수 있다.The memory 170 may store a program necessary for the control unit 150 to calculate a three-dimensional shape of the object. Also, the memory 170 may store a reference image that is an image of a structured light pattern with respect to the reference plane. In addition, the memory 170 may store an image signal for the structured light pattern converted from the sensors 130_1 and 130_2.

메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory 170 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), and RAM. (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read Only Memory), PROM (Programmable Read Only Memory) magnetic memory, magnetic disk, optical disk It may include at least one type of storage medium.

도 1의 객체의 3차원 형상을 산출하는 장치(100)의 구현에 있어서, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(170)에 저장되고, 제어부(150)에 의해 실행될 수 있다.In the implementation of the apparatus 100 for calculating a three-dimensional shape of an object of FIG. 1, embodiments such as procedures or functions may be implemented together with separate software modules that perform at least one function or operation. The software code can be implemented by a software application written in an appropriate programming language. In addition, the software code may be stored in the memory 170 and executed by the controller 150.

이하에서는 이와 같이 구성된 3차원 형상을 산출하는 장치에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.Hereinafter, embodiments related to a control method that can be implemented in an apparatus for calculating a 3D shape configured as described above will be described with reference to the accompanying drawings. It is obvious to those skilled in the art that the present invention can be embodied in other specific forms without departing from the spirit and essential features of the present invention.

도 2는 본 발명의 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법의 흐름도이다. 도 3 내지 11은 본 발명의 일 실시예에 따라 객체의 3차원 깊이를 산출하고, 산출한 3차원 깊이를 보정하는 것을 설명하기 위한 도면이다.2 is a flowchart of a method of calculating a three-dimensional shape of an object according to an embodiment of the present invention. 3 to 11 are diagrams for explaining calculating a 3D depth of an object and correcting the calculated 3D depth according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법은, 도 1을 참조하여 설명한 객체의 3차원 형상을 산출하는 장치(100)에서 구현될 수 있다. 이하 필요한 도면들을 참조하여, 본 발명의 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법과, 이를 구현하기 위한 객체의 3차원 형상을 산출하는 장치(100)의 동작을 상세히 설명하기로 한다.A method of calculating a three-dimensional shape of an object according to an embodiment of the present invention may be implemented in the apparatus 100 for calculating a three-dimensional shape of an object described with reference to FIG. 1. Hereinafter, a method of calculating a three-dimensional shape of an object according to an embodiment of the present invention and an operation of the apparatus 100 for calculating a three-dimensional shape of an object for implementing the same will be described in detail with reference to necessary drawings. .

도 2를 참조하면, 제어부(150)는 프로젝터(110)를 통하여 소정의 패턴이 부가된 구조광을 객체에 투사할 수 있다[S100].Referring to FIG. 2, the controller 150 may project the structured light to which a predetermined pattern is added to the object through the projector 110 [S100].

도 3에는 본 발명의 일 실시예에 따른 프로젝터(110) 및 센서(130_1, 130_2)의 배치가 개략적으로 도시되어 있다. 도 3에 도시된 바와 같이, 프로젝터(110)에서 객체(200)로 구조광을 투사할 수 있다. 이 경우, 프로젝터(110)의 구동은 제어부(150)의 제어에 의할 수 있다.3 schematically shows the arrangement of the projector 110 and the sensors 130_1 and 130_2 according to an embodiment of the present invention. As shown in FIG. 3, the structured light may be projected from the projector 110 to the object 200. In this case, the driving of the projector 110 may be controlled by the controller 150.

다시 도 2를 참조하면, 제1 위치 및 제2 위치에 위치한 센서(130_1, 130_2)는 상기 객체(200)에서 반사된 상기 구조광을 각각 감지할 수 있다[S110].Referring back to FIG. 2, the sensors 130_1 and 130_2 located at the first position and the second position may respectively detect the structured light reflected from the object 200 [S110].

도 3에 도시된 바와 같이, 프로젝터(110)에서 객체(200)로 투사된 구조광을 센서(130_1, 130_2)에서 감지할 수 있다. 센서(130_1, 130_2)에서는 각각 감지된 구조광의 패턴을 이미지화하고, 이를 제어부(150)로 전송할 수 있다.As shown in FIG. 3, the structured light projected from the projector 110 to the object 200 may be detected by the sensors 130_1 and 130_2. The sensors 130_1 and 130_2 may image a pattern of the sensed structured light, respectively, and transmit the image to the controller 150.

도 3을 참조하면, 프로젝터(110)를 기준으로 하여 제1 센서(130_1)와 제2 센서(130_2)는 서로 다른 위치에 배치될 수 있다. 즉, 제1 센서(130_1)와 프로젝터(110) 사이의 거리가 b1인 경우, 제2 센서(130_2)와 프로젝터(110) 사이의 거리는 b2에 해당될 수 있다.Referring to FIG. 3, the first sensor 130_1 and the second sensor 130_2 may be disposed at different positions based on the projector 110. That is, when the distance between the first sensor 130_1 and the projector 110 is b1, the distance between the second sensor 130_2 and the projector 110 may correspond to b2.

또한, 도 3에서는 프로젝터(110)를 기준으로 상기 두 개의 센서(130_1, 130_2)가 왼쪽에 위치하고 있으나, 이에 한정되는 것은 아니다. 즉, 상기 두 개의 센서(130_1, 130_2)는 프로젝터(110)를 기준으로 오른쪽에 위치할 수 있다. 또는, 상기 두 개의 센서(130_1, 130_2)는 프로젝터(110)를 기준으로 각각 왼쪽과 오른쪽에 하나씩 위치할 수 있다. 각 경우, 프로젝터(110)로부터 각 센서(130_1, 130_2)까지의 거리는 서로 다르게 배치될 수 있다.In addition, in FIG. 3, the two sensors 130_1 and 130_2 are located on the left side based on the projector 110, but the present invention is not limited thereto. That is, the two sensors 130_1 and 130_2 may be located on the right side of the projector 110. Alternatively, the two sensors 130_1 and 130_2 may be positioned one to the left and one to the right of the projector 110, respectively. In each case, distances from the projector 110 to the sensors 130_1 and 130_2 may be differently arranged.

다시 도 2를 참조하면, 제어부(150)는 제1 기준 이미지와 비교하여, 상기 제1 위치에서 감지된 구조광 패턴의 변화에 따라 상기 객체의 3차원 깊이를 산출할 수 있다[S120].Referring back to FIG. 2, the controller 150 may compare the first reference image and calculate a three-dimensional depth of the object according to a change in the structured light pattern sensed at the first position [S120].

객체의 3차원 깊이를 산출하는 원리에 대하여 우선 도 4 및 도 5를 참조하기로 한다. 도 4 및 도 5는 객체(200)까지의 거리에 따라 센서에서 감지되는 이미지에 따른 깊이 값의 변화를 설명하기 위한 도면이다.For the principle of calculating the three-dimensional depth of an object, first, referring to FIGS. 4 and 5. 4 and 5 are diagrams for explaining a change in a depth value according to an image detected by a sensor according to a distance to the object 200.

도 4에는 동일한 길이의 객체가 각각 1, 2, 3의 위치에 있는 경우를 도시하고 있다. 프로젝터(10)에서 객체로 광이 투사되면, 센서(20)에서는 객체에서 반사된 광을 감지할 수 있다. 센서(20)에서 연장된 직선 V1, V2를 기준으로 보면, 센서(20)에서 도 5에 도시된 바와 같이 이미지화될 수 있다.4 shows a case where objects of the same length are at positions 1, 2, and 3, respectively. When light is projected from the projector 10 to an object, the sensor 20 may detect the light reflected from the object. Looking at the straight lines V1 and V2 extending from the sensor 20 as a reference, the sensor 20 may be imaged as shown in FIG. 5.

도 5의 (a)와 같이, 객체가 위치 1에 있을 때에는, 센서(20)에서 이미지화된 객체는 V1, V2를 넘어서 나타나게 된다.As shown in FIG. 5A, when the object is in position 1, the object imaged by the sensor 20 appears beyond V1 and V2.

도 5의 (b)와 같이, 객체가 위치 2에 있을 때에는, 센서(20)에서 이미지화된 객체는 V1으로부터 d1만큼 이동된 것처럼 나타나게 된다.As shown in FIG. 5B, when the object is in position 2, the object imaged by the sensor 20 appears as if it has been moved by d1 from V1.

마찬가지로 도 5의 (c)와 같이, 객체가 위치 3에 있을 때에는, 센서(20)에서 이미지화된 객체는 V1으로부터 d2만큼 이동된 것처럼 나타나게 된다.Similarly, as shown in (c) of FIG. 5, when the object is at position 3, the object imaged by the sensor 20 appears to have been moved by d2 from V1.

즉, 객체의 길이는 그대로이지만, 센서(20)에서 멀어질수록 이미지화되는 영역이 커지므로, 상대적으로 객체는 줄어드는 것처럼 이미지화된다. 이 경우 특정 기준(도 5에서는 V1)에 대해서는 마치 객체가 이동한 것처럼 나타나게 된다.That is, the length of the object remains the same, but the imaged area increases as the distance from the sensor 20 increases, so that the object is relatively imaged as if it decreases. In this case, it appears as if the object has moved for a specific criterion (V1 in FIG. 5).

도 5의 (b)와 (c)를 비교하여 보면, 객체가 센서(20)로부터 더 멀어질수록, 센서(20)에서 이미지화된 객체는 기준 V1에 대하여 더 오른쪽으로 이동한 것처럼 표시되는 것을 알 수 있다.Comparing (b) and (c) of Fig. 5, it can be seen that the further the object is from the sensor 20, the more the object imaged by the sensor 20 is displayed as moving to the right with respect to the reference V1. I can.

즉, 센서로부터의 거리와 센서에서 감지된 이미지 내에서 측정되는 특정 기준으로부터의 이동 값은 상관관계에 있음을 알 수 있다. 따라서, 특정 기준 V1 으로부터 객체가 이동한 값을 측정하는 경우, 센서로부터 객체까지의 상대적인 거리를 구할 수 있다.That is, it can be seen that the distance from the sensor and the moving value from the specific reference measured in the image sensed by the sensor have a correlation. Therefore, when measuring a value that the object has moved from a specific criterion V1, the relative distance from the sensor to the object can be obtained.

이에 대하여 구체적으로 설명하기 위하여, 도 6을 보면, 일 예에 따라 구조광을 이용하여 3차원 깊이를 측정하는 방법이 도시되어 있다.In order to explain this in detail, referring to FIG. 6, a method of measuring a three-dimensional depth using structured light according to an example is illustrated.

도 6에서, b는 프로젝터(10)와 센서(20, 50) 내의 렌즈(20) 간의 거리인 베이스라인(baseline)을 의미한다. 기준면(30)은 특정 객체의 깊이를 측정하는데 있어서 기준으로 정해지는 임의의 면을 의미한다. ZO는 객체의 3차원 형상을 산출하는 장치(100)와 기준면(30) 사이의 거리에 해당하며, 미리 정해질 수 있다.In FIG. 6, b denotes a distance between the projector 10 and the lens 20 in the sensors 20 and 50, which is a baseline. The reference plane 30 means an arbitrary plane determined as a reference in measuring the depth of a specific object. ZO corresponds to the distance between the device 100 for calculating the three-dimensional shape of the object and the reference surface 30, and may be predetermined.

f는 초점 거리이며, 센서(20, 50) 내의 렌즈(20)와 촬상 장치의 이미지 면(50) 사이의 거리에 해당한다. 프로젝터(10)에서 투사된 광은 렌즈(20)를 통하여 유입되어 촬상 장치에서 전기적인 영상 신호로 전환된다. 상기 촬상 장치는 CCD(charge-coupled device) 등 광을 영상 신호로 전환할 수 있는 것이면 어느 것이나 적용될 수 있다.f is the focal length, and corresponds to the distance between the lens 20 in the sensors 20 and 50 and the image plane 50 of the imaging device. Light projected from the projector 10 flows through the lens 20 and is converted into an electric image signal in the imaging device. The imaging device may be any one capable of converting light into an image signal, such as a charge-coupled device (CCD).

3차원 깊이 측정에 있어 특정 기준이 되는 상기 제1 기준 이미지는, 도 3에 도시된 객체 대신 임의의 기준면에 대하여 프로젝터(110)에서 구조광을 투사하고, 상기 기준면에서 반사되는 구조광을 제1 센서(130_1)에서 감지하여 이미지화한 영상을 의미할 수 있다.The first reference image, which is a specific reference in the measurement of the 3D depth, projects structured light from the projector 110 to an arbitrary reference plane instead of the object shown in FIG. 3, and the structured light reflected from the reference plane is first It may mean an image sensed and imaged by the sensor 130_1.

이를 구체적으로 설명하기 위하여 다시 도 6을 참조하면, 상기 제1 기준 이미지를 획득하기 위하여, 프로젝터(10)에서 미리 정해진 거리 ZO만큼 떨어진 기준면(30)으로 구조광이 투사된다. 투사된 구조광은 기준면(30)에서 반사되어 센서(20, 50)에서 감지된다.Referring again to FIG. 6 to describe this in detail, structured light is projected to the reference surface 30 separated by a predetermined distance ZO from the projector 10 in order to obtain the first reference image. The projected structured light is reflected from the reference surface 30 and detected by the sensors 20 and 50.

상기 기준면(30)에 투사되어 감지된 구조광의 패턴에 대한 이미지가 상기 제1 기준 이미지가 되며, 이 경우, 상기 제1 기준 이미지는 미리 생성되어 메모리(170)에 저장될 수 있다.An image of a pattern of structured light detected by being projected onto the reference surface 30 becomes the first reference image. In this case, the first reference image may be generated in advance and stored in the memory 170.

이후 객체(40)의 3차원 깊이를 측정하기 위하여, 상기 제1 기준 이미지를 획득할 때 이용되었던 것과 동일한 패턴을 가지는 구조광이 객체(40)로 투사될 수 있다. 도 6에서 객체(40)는 하나의 면처럼 도시되었으나, 이는 설명의 편의를 위한 것으로, 실제로는 객체(40)를 이루는 각 면에 구조광이 투사될 것이다.Thereafter, in order to measure the 3D depth of the object 40, structured light having the same pattern as that used when acquiring the first reference image may be projected onto the object 40. In FIG. 6, the object 40 is illustrated as a single surface, but this is for convenience of description, and in reality, structured light will be projected on each surface of the object 40.

객체(40)에서 반사된 구조광이 센서(20, 50)에서 이미지로 획득되면, 제어부(150)는 상기 제1 기준 이미지를 기준으로 하여, 상기 획득된 이미지에서 각각 대응되는 패턴들의 위치 이동을 측정할 수 있다. 이러한 패턴의 위치 이동은 도 6에서 d에 해당되며, 이는 제1 기준 이미지를 기준으로 하여 객체(40)의 k 점에 대응하는 시차(disparity)를 의미한다.When the structured light reflected from the object 40 is acquired as an image by the sensors 20 and 50, the control unit 150 performs positional movement of the corresponding patterns in the acquired image based on the first reference image. Can be measured. The positional movement of the pattern corresponds to d in FIG. 6, which means a disparity corresponding to the point k of the object 40 based on the first reference image.

일 예에 따라, 도 6에서 삼각형의 닮은꼴을 이용하면, D/b=(ZO-ZK)/ZO, d/f=D/ZK의 관계에 있음을 알 수 있다. 상기 두 식을 정리하면 아래의 수학식 1이 도출될 수 있다.According to an example, if the resemblance of a triangle in FIG. 6 is used, it can be seen that there is a relationship of D/b=(ZO-ZK)/ZO and d/f=D/ZK. When the above two equations are summarized, Equation 1 below can be derived.

전술한 바와 같이, 상기 수학식 1에서 f는 초점 거리, b는 베이스라인, ZO는 기준면(30)까지의 거리로서, 미리 정해질 수 있다. 따라서, 객체(40)의 임의의 점 k에 대한 시차 d가 획득된 이미지에서 측정되면, 객체(40)까지의 거리인 3차원 깊이 ZK를 산출할 수 있다. 이러한 연산을 객체(40)의 표면에 대하여 수행함으로써, 객체(40)의 3차원 형상을 산출할 수 있다.As described above, in Equation 1, f is a focal length, b is a baseline, and ZO is a distance to the reference plane 30, and may be determined in advance. Accordingly, when the parallax d with respect to an arbitrary point k of the object 40 is measured in the obtained image, the three-dimensional depth ZK, which is the distance to the object 40, can be calculated. By performing such an operation on the surface of the object 40, the three-dimensional shape of the object 40 can be calculated.

다시 도 3을 참조하면, 제어부(150)는 프로젝터(110)에서 투사된 구조광에 대하여, 기준면에서 반사된 패턴의 이미지(제1 기준 이미지)와 객체(200)에서 반사된 패턴의 이미지를 서로 비교할 수 있다. 제어부(150)는 제1 기준 이미지와 객체(200)에서 반사된 패턴 이미지에서 대응되는 패턴들의 위치 이동을 측정하여, 객체(200)의 3차원 깊이를 산출할 수 있다. 이 경우, 제어부(150)는 전술한 바와 같이, 도 6에 도시된 d값을 측정하여 수학식 1에 대입함으로써, 객체(200)까지의 거리를 구할 수 있다.Referring to FIG. 3 again, the controller 150 may compare the image of the pattern reflected from the reference plane (the first reference image) and the image of the pattern reflected from the object 200 with respect to the structured light projected from the projector 110. Can be compared. The controller 150 may calculate the 3D depth of the object 200 by measuring the positional movement of the corresponding patterns in the first reference image and the pattern image reflected from the object 200. In this case, as described above, the controller 150 may obtain the distance to the object 200 by measuring the d value shown in FIG. 6 and substituting it into Equation 1.

다시 도 2를 참조하면, 제어부(150)는 제2 기준 이미지와 비교하여, 상기 제2 위치에서 감지된 구조광 패턴의 변화에 따라 상기 산출된 3차원 깊이를 보정할 수 있다[S130].Referring back to FIG. 2, the controller 150 may compare the second reference image and correct the calculated 3D depth according to a change in the structured light pattern sensed at the second position [S130].

상기 제2 기준 이미지는 상기 제1 기준 이미지를 획득하기 위해 사용되었던 기준면에 대하여, 프로젝터(110)에서 구조광을 투사하고, 상기 기준면에서 반사되는 구조광을 제2 센서(130_2)에서 감지하여 이미지화한 영상을 의미할 수 있다. 상기 제2 기준 이미지의 획득 과정은 상기 기준면에서 반사된 구조광을 감지하는 것이 제2 센서(130_2)라는 점을 제외하고는, 전술한 상기 제1 기준 이미지의 획득 과정과 실질적으로 동일하므로 이에 대한 설명을 생략하기로 한다.The second reference image is imaged by projecting structured light from the projector 110 with respect to the reference plane used to acquire the first reference image, and detecting the structured light reflected from the reference plane by the second sensor 130_2 It can mean one image. The process of obtaining the second reference image is substantially the same as the process of obtaining the first reference image, except that the second sensor 130_2 detects the structured light reflected from the reference plane. The explanation will be omitted.

제어부(150)는 제2 센서(130_2)에서 감지된 구조광에 대하여, 기준면에서 반사된 패턴 이미지(제2 기준 이미지)와 객체(200)에서 반사된 패턴 이미지를 서로 비교할 수 있다. 제어부(150)는 제2 기준 이미지와 객체(200)에서 반사된 패턴 이미지에서 대응되는 패턴들의 위치 이동을 측정하여, 객체(200)의 3차원 깊이를 산출할 수 있다.The controller 150 may compare the pattern image reflected from the reference plane (the second reference image) and the pattern image reflected from the object 200 with respect to the structured light detected by the second sensor 130_2. The controller 150 may calculate the 3D depth of the object 200 by measuring the positional movement of the corresponding patterns in the second reference image and the pattern image reflected from the object 200.

제어부(150)는 제1 센서(130_1)에서 감지된 구조광으로부터 산출한 객체(200)의 3차원 깊이를, 제2 센서(130_2)로부터 산출한 3차원 깊이를 이용하여 보정할 수 있다. 이러한 보정은 서로 다른 베이스라인을 갖는 센서의 경우, 거리에 따른 각 센서에서의 깊이 분해능(depth resolution)이 다른 것을 이용하는 것이다. 이에 대해서는 이하에서 도 7 내지 도 11을 참조하여, 구체적으로 기재하기로 한다.The controller 150 may correct the 3D depth of the object 200 calculated from the structured light sensed by the first sensor 130_1 by using the 3D depth calculated from the second sensor 130_2. In the case of sensors with different baselines, this correction is to use different depth resolutions at each sensor according to distance. This will be described in detail with reference to FIGS. 7 to 11 below.

도 7은 객체의 3차원 깊이 ZK와 시차 d 사이의 관계(곡선 PO)를 나타낸 그래프이다. 곡선 PO의 특성은 상기 수학식 1에서 미리 정해진 값들(ZO, f, b)에 의해 정해진다.7 is a graph showing the relationship (curve PO) between the three-dimensional depth ZK of the object and the parallax d. The characteristic of the curve PO is determined by predetermined values (ZO, f, b) in Equation 1 above.

우선적으로 깊이 분해능의 개념을 설명하기로 한다. 3차원 깊이를 산출하는 정도를 나타내는 깊이 분해능은 Z 방향(도 6 참조)의 단위 길이에 대응하는 이미지 면(50)에서의 픽셀의 개수로 이해할 수 있다. 또는, 깊이 분해능은 1개의 픽셀에 대응되는 Z 방향의 깊이 값으로 이해할 수 있다.First, the concept of depth resolution will be explained. The depth resolution indicating the degree to which the 3D depth is calculated can be understood as the number of pixels in the image plane 50 corresponding to the unit length in the Z direction (see FIG. 6 ). Alternatively, the depth resolution can be understood as a depth value in the Z direction corresponding to one pixel.

즉, 구조광을 검출하는 센서(130_1, 130_2)로 디지털화된 센서를 이용하는 경우, 이미지로 획득된 구조광 패턴의 위치 이동 값은 각 픽셀의 개수로 나타내어진다. 따라서, Z 방향으로의 동일 길이를 더 많은 개수의 픽셀로 나타낼수록 깊이 분해능이 크다고 할 수 있다. 또는, 1개의 픽셀에 대응하는 깊이 값이 작을수록 깊이 분해능이 크다고 할 수 있다.That is, when a digitized sensor is used as the sensors 130_1 and 130_2 for detecting structured light, the positional shift value of the structured light pattern acquired as an image is represented by the number of pixels. Therefore, it can be said that the greater the number of pixels representing the same length in the Z direction, the greater the depth resolution. Alternatively, it can be said that the smaller the depth value corresponding to one pixel is, the greater the depth resolution.

구체적으로 살펴보면, 도 8은 제1 센서(130_1)에 포함된 촬상 장치의 픽셀 일부를 도시하고 있다. 제1 기준 이미지에서, 구조광 패턴을 이루는 하나의 점이 S1 위치에 표시된다고 가정한다.Specifically, FIG. 8 illustrates some pixels of the imaging device included in the first sensor 130_1. In the first reference image, it is assumed that one point constituting the structured light pattern is displayed at the position S1.

객체(200)에서 반사되어 감지된 구조광 패턴의 이미지에서, 동일한 점이 S2 또는 S3의 위치에 표시될 수 있다. 전술한 바와 같이, 제1 기준 이미지에서의 S1을 기준으로, S3에 표시되는 경우가 S2에 표시되는 경우보다 더 멀리 이동하였으므로, 객체(200)가 더 멀리 있다는 의미(깊이 값이 더 큰)가 된다.In the image of the structured light pattern reflected by the object 200 and sensed, the same point may be displayed at the position of S2 or S3. As described above, based on S1 in the first reference image, since the case displayed in S3 has moved farther than the case displayed in S2, it means that the object 200 is farther away (the depth value is larger). do.

그러나 디지털화된 센서에서 이동 값은 픽셀 단위로 측정될 수 밖에 없어, 제어부(150)는 상기 S1, S2, S3 각각을 동일한 깊이 값으로 측정하게 된다. 이는 제어부(150)에서는 그 깊이 차이를 산출할 수 없다는 것을 의미한다. 즉, 실질적으로는 깊이 값에 차이가 있어도 동일한 깊이로 산출하게 되는 구간이 있으므로, 깊이 분해능이 감소하게 된다.However, in the digitized sensor, the moving value cannot but be measured in pixels, and the controller 150 measures each of the S1, S2, and S3 with the same depth value. This means that the control unit 150 cannot calculate the difference in depth. That is, even if there is a difference in the depth value substantially, there is a section in which the same depth is calculated, so that the depth resolution decreases.

다시 도 7을 참조하면, 곡선 PO를 보면, ZK=ZO인 경우 d가 0의 값을 갖는다는 것을 알 수 있다. 즉, 객체(200)가 기준 이미지가 있던 거리 ZO에 있는 경우 d=0으로 나타나는 것이다. 이는 상기 수학식 1에 d=0을 대입하여서도 확인할 수 있다.Referring back to FIG. 7, looking at the curve PO, it can be seen that d has a value of 0 when ZK=ZO. That is, when the object 200 is located at the distance ZO where the reference image was, d=0. This can also be confirmed by substituting d=0 in Equation 1 above.

도 7의 그래프를 살펴보면 ZK 축에서 ZO점을 기준으로 위로 갈수록 객체(200)가 기준면보다 멀어지는 것을 의미한다. 반대로, ZO점을 기준으로 아래로 갈수록 객체(200)가 객체의 3차원 형상을 산출하는 장치(100)와 가까워지는 것을 의미한다.Referring to the graph of FIG. 7, it means that the object 200 is further away from the reference plane as it goes upward from the ZO point on the ZK axis. On the contrary, it means that the object 200 gets closer to the apparatus 100 for calculating the three-dimensional shape of the object as it goes downward based on the ZO point.

객체의 3차원 형상을 산출하는 장치(100)와 멀어질수록, 도 7에 도시된 곡선 PO의 기울기가 점점 증가하게 된다. 곡선 PO의 기울기가 점점 증가하므로, 동일한 d0에 대응되는 구간은 점점 커지게 된다. 즉, 도 7에 도시된 바와 같이, 구간 B1보다 구간 A1이 더 큰 구간을 갖게 된다. 여기서 d0를 1개의 픽셀의 길이라고 하면, 1픽셀에 대응되는 깊이 값 구간이 점점 커지므로, 상기한 깊이 분해능은 점점 감소하게 된다. 이로 인하여 객체의 3차원 형상이 제대로 산출되지 못하게 된다.As the distance from the apparatus 100 for calculating the three-dimensional shape of an object increases, the slope of the curve PO shown in FIG. 7 gradually increases. Since the slope of the curve PO gradually increases, the section corresponding to the same d0 gradually increases. That is, as shown in FIG. 7, section A1 has a larger section than section B1. Here, if d0 is the length of one pixel, since the depth value section corresponding to one pixel becomes larger and larger, the above-described depth resolution gradually decreases. Due to this, the three-dimensional shape of the object cannot be properly calculated.

수학식 1의 고정된 값들인 베이스라인 b, 초점 거리 f, 기준 이미지까지의 거리 ZO는 객체의 3차원 형상을 산출하는 장치(100)를 만들 때 미리 정해질 수 있다. 이에 따라 곡선 PO의 특성도 미리 정해지게 되어 객체의 3차원 형상을 산출하는 장치(100)의 깊이 분해능도 정해지게 된다.The fixed values of Equation 1, the baseline b, the focal length f, and the distance ZO to the reference image may be determined in advance when the apparatus 100 for calculating the three-dimensional shape of an object is manufactured. Accordingly, the characteristics of the curve PO are also determined in advance, and the depth resolution of the apparatus 100 for calculating the three-dimensional shape of the object is also determined.

이 경우, 베이스라인 b는 객체의 3차원 형상을 산출하는 장치(100)의 크기에 의해 제약을 받게 된다. 도 3 및 도 6과 수학식 1을 보면, 베이스라인 b가 줄어들수록 객체의 3차원 형상을 산출하는 장치(100)의 깊이 분해능은 감소하게 된다.In this case, the baseline b is limited by the size of the apparatus 100 for calculating the three-dimensional shape of the object. 3 and 6 and Equation 1, as the baseline b decreases, the depth resolution of the apparatus 100 for calculating the three-dimensional shape of the object decreases.

도 9의 (a)는 베이스라인을 달리하는 제1 센서(130_1) 및 제2 센서(130_2)에서 픽셀에 대응하는 깊이 값의 구간을 도시한 것이다. 전술한 바와 같이, 베이스라인 b 값이 다르기 때문에, 픽셀에 대응하는 깊이 값의 구간도 달라질 수 있다.FIG. 9A illustrates a section of a depth value corresponding to a pixel in the first sensor 130_1 and the second sensor 130_2 having different baselines. As described above, since the baseline b value is different, the depth value section corresponding to the pixel may also vary.

도 9의 (b)는 비교하기 쉽게 도 9의 (a)에 도시된 깊이 값의 구간을 평행한 선으로 도시한 것이다. 제1 센서(130_1)의 픽셀 당 깊이 값 구간은 각각 Z11, Z12, Z13, ...로 나타낼 수 있다. 제2 센서(130_2)의 픽셀 당 깊이 값 구간은 각각 Z21, Z22, Z23, ...로 나타낼 수 있다.FIG. 9(b) shows the section of the depth value shown in FIG. 9(a) with parallel lines for easy comparison. The depth value interval per pixel of the first sensor 130_1 may be represented by Z11, Z12, Z13, ..., respectively. The depth value interval per pixel of the second sensor 130_2 may be represented by Z21, Z22, Z23, ..., respectively.

일 예에 따라, 제어부(150)는 제1 센서(130_1)에서 감지된 구조광의 패턴 변화에 따라 객체의 3차원 깊이를 산출할 수 있다. 이 경우, 제어부(150)는 상기 산출된 깊이 값을 제2 센서(130_2)에서 감지된 구조광의 패턴 변화에 따라 산출된 깊이 값을 이용하여 보정할 수 있다.According to an example, the controller 150 may calculate a three-dimensional depth of an object according to a pattern change of the structured light detected by the first sensor 130_1. In this case, the controller 150 may correct the calculated depth value by using a depth value calculated according to a pattern change of the structured light detected by the second sensor 130_2.

제1 센서(130_1)만 있는 경우, 제어부(150)는 구간 Z11을 동일한 깊이 값으로 산출하게 된다. 그러나 제2 센서(130_2)를 이용하면, 도 9의 (b)에 도시된 바와 같이, 구간 Z11은 구간 Z21에 의해 구분되어 Z31, Z32로 세분화될 수 있다.When only the first sensor 130_1 is present, the control unit 150 calculates the section Z11 as the same depth value. However, when the second sensor 130_2 is used, the section Z11 may be divided by the section Z21 and subdivided into Z31 and Z32, as shown in FIG. 9B.

즉, 제2 센서(130_2)에서 산출한 깊이 값을 이용하면, 제어부(150)는 상기 구간 Z11을 Z31, Z32의 두 구간으로 나눌 수 있어, 서로 다른 깊이 값으로 산출할 수 있다. 따라서, 동일한 깊이로 산출되는 구간의 간격을 줄일 수 있어, 제어부(150)는 보다 정밀한 깊이 산출이 가능할 수 있다.That is, if the depth value calculated by the second sensor 130_2 is used, the control unit 150 can divide the section Z11 into two sections Z31 and Z32, so that different depth values can be calculated. Accordingly, the interval between sections calculated with the same depth can be reduced, so that the control unit 150 can perform more precise depth calculation.

이상에서는 제1 센서(130_1)를 이용하여 산출된 값을 기준으로 설명하였으나, 이에 한정되는 것은 아니다. 즉, 제어부(150)는 제1 센서(130_1)를 통하여 산출된 값을 이용하여, 제2 센서(130_2)를 이용하여 산출된 값을 보정할 수도 있을 것이다.In the above description, a value calculated using the first sensor 130_1 has been described, but is not limited thereto. That is, the control unit 150 may correct the value calculated using the second sensor 130_2 by using the value calculated through the first sensor 130_1.

이하에서는, 도 10 및 도 11을 참조하여, 이에 대하여 구체적으로 살펴보기로 한다.Hereinafter, this will be described in detail with reference to FIGS. 10 and 11.

도 10에서는 제1 센서(130_1)에서 이미지화되는 구조광 패턴의 일부를 도시하고 있다. 각각의 사각형은 하나의 픽셀을 의미한다. 도시된 원은 상기 구조광 패턴을 이루는 임의의 점에 해당한다.10 illustrates a part of a structured light pattern imaged by the first sensor 130_1. Each square represents one pixel. The illustrated circles correspond to arbitrary points constituting the structured light pattern.

도 10의 (a)는 제1 기준 이미지에서의 상기 임의의 점을 도시하고 있다. 이 경우 제어부(150)는 (x5, y5) 픽셀을 상기 임의의 점의 중심에 대응하는 픽셀(C1)로 정할 수 있다.FIG. 10A shows the arbitrary point in the first reference image. In this case, the controller 150 may determine the (x5, y5) pixel as the pixel C1 corresponding to the center of the arbitrary point.

도 10의 (b)는 객체(200)에서 반사되어 제1 센서(130_1)에서 감지된 구조광의 패턴 이미지 중 상기 임의의 점에 대응되는 점을 도시한 것이다. 도 10의 (a)에 비하여, 상기 임의의 점이 조금 우측으로 이동하였지만, 그 중심의 x값이 여전히 x5 구간을 넘지 못한 경우, 제어부(150)는 그 중심에 대응하는 픽셀(C2)을 여전히 (x5, y5)로 정할 수 있다.FIG. 10B shows a point corresponding to the arbitrary point in the pattern image of the structured light reflected from the object 200 and detected by the first sensor 130_1. Compared to (a) of FIG. 10, when the arbitrary point has moved slightly to the right, but the x value of the center still does not exceed the x5 section, the control unit 150 still selects the pixel C2 corresponding to the center ( It can be set as x5, y5).

따라서, 실제 객체(200)는 상기 기준면과 다른 거리에 있음에도 불구하고, 제어부(150)는 동일한 거리에 있는 것으로 산출하게 된다.Therefore, although the actual object 200 is at a different distance from the reference plane, the controller 150 calculates that it is at the same distance.

도 11에서는 도 10과 동일한 기준면 및 객체(200) 위치를 전제로, 제2 센서(130_2)에서 이미지화되는 구조광 패턴의 일부를 도시하고 있다.11 illustrates a part of a structured light pattern imaged by the second sensor 130_2 on the assumption that the reference plane and the position of the object 200 are the same as in FIG. 10.

도 11의 (a)는 제2 기준 이미지에서의 상기 임의의 점을 도시하고 있다. 이 경우 제어부(150)는 상기 임의의 점의 중심에 대응하는 픽셀(C3)을 (x5, y5) 로 정할 수 있다.Fig. 11A shows the arbitrary point in the second reference image. In this case, the controller 150 may determine the pixel C3 corresponding to the center of the arbitrary point as (x5, y5).

도 11의 (b)는 객체(200)에서 반사되어 제2 센서(130_2)에서 감지된 구조광의 패턴 이미지 중 상기 임의의 점에 대응되는 점을 도시한 것이다. 도 11의 (a)에 비하여, 상기 임의의 점이 조금 우측으로 이동하여, 그 중심의 x값이 x5 구간을 넘은 경우, 제어부(150)는 그 중심에 대응하는 픽셀(C4)을 (x6, y5)로 정할 수 있다.11B shows a point corresponding to the arbitrary point in the pattern image of the structured light reflected from the object 200 and detected by the second sensor 130_2. Compared to (a) of FIG. 11, when the arbitrary point is slightly shifted to the right and the x value of the center exceeds the x5 section, the control unit 150 selects the pixel C4 corresponding to the center (x6, y5). ) Can be set.

따라서, 제어부(150)는 제1 센서(130_1)을 이용한 경우, 산출하지 못하였던 기준면과 객체(200)의 깊이 차이를, 제2 센서(130_2)를 이용하여 산출할 수 있다.Accordingly, when the first sensor 130_1 is used, the controller 150 may calculate a depth difference between the reference plane and the object 200, which has not been calculated, by using the second sensor 130_2.

이를 통하여, 실제 깊이 값과 산출되는 깊이 값이 서로 달라지는 경우를 줄일 수 있어, 제어부(150)는 보다 정확한 객체의 3차원 형상을 산출할 수 있다.Through this, it is possible to reduce a case in which the actual depth value and the calculated depth value are different from each other, so that the controller 150 can calculate a more accurate 3D shape of the object.

마찬가지로, 제어부(150)는 제2 센서(130_2)에서 동일 깊이로 산출되는 구간을 제1 센서(130_1)를 이용하여 다른 깊이 값으로 구분하여 산출할 수 있다.Likewise, the control unit 150 may divide and calculate a section calculated by the second sensor 130_2 with the same depth by using the first sensor 130_1 into different depth values.

이에 의하면, 다른 베이스라인을 갖는 제2 센서(130_2)를 더 구비함으로써, 객체의 3차원 형상을 산출하는 장치(100)는 보다 좋은 깊이 분해능으로 동작할 수 있다. 또한, 동일한 깊이 분해능을 구현하기 위하여 보다 짧은 거리의 베이스라인이 필요하게 되어, 객체의 3차원 형상을 산출하는 장치(100)는 보다 작은 크기로 구현될 수 있다.Accordingly, by further providing the second sensor 130_2 having a different baseline, the apparatus 100 for calculating the three-dimensional shape of the object can operate with a better depth resolution. In addition, since a shorter distance baseline is required to implement the same depth resolution, the apparatus 100 for calculating the three-dimensional shape of an object may be implemented with a smaller size.

도 12는 본 발명의 일 실시예에 따른 센서의 배치를 설명하기 위한 도면이다.12 is a diagram for explaining an arrangement of a sensor according to an embodiment of the present invention.

도 3에서는 제1 센서(130_1)와 제2 센서(130_2)가 프로젝터(110)과 동일 선상에 위치한 것을 기준으로 설명하였다. 그러나 이에 한정되는 것은 아니며, 도 12에 도시된 바와 같이, 제2 센서(130_2)는 프로젝터(110)와 제1 센서(130_1)를 잇는 동일 선상에 위치하지 않을 수 있다.In FIG. 3, the first sensor 130_1 and the second sensor 130_2 have been described on the basis of being positioned on the same line as the projector 110. However, the present invention is not limited thereto, and as illustrated in FIG. 12, the second sensor 130_2 may not be located on the same line connecting the projector 110 and the first sensor 130_1.

이 경우에도, 제어부(150)는 제1 센서(130_1)와 제2 센서(130_2)에서 감지되는 구조광의 패턴의 변화에 따라 객체(200)의 3차원 깊이를 산출하고 보정할 수 있다. 제2 센서(130_2)의 경우, 프로젝터(110)를 기준으로 수직 성분의 거리 값을 더 갖는다는 점에서만 전술한 방법과 차이가 있다.Even in this case, the controller 150 may calculate and correct the 3D depth of the object 200 according to a change in the pattern of the structured light detected by the first sensor 130_1 and the second sensor 130_2. The second sensor 130_2 differs from the above-described method only in that it further has a distance value of a vertical component based on the projector 110.

따라서, 제어부(150)는 전술한 3차원 깊이 계산에 있어서, 수직 성분 값을 더 고려하여 3차원 깊이를 산출할 수 있다. 이러한 경우에 있어서의 3차원 깊이의 산출은 특정 방법으로 한정되지 아니하며, 수직 성분을 고려하여 3차원 깊이를 산출할 수 있으면 어느 방법이나 적용될 수 있다.Accordingly, in the above-described 3D depth calculation, the controller 150 may calculate the 3D depth by further considering the vertical component value. In this case, the calculation of the 3D depth is not limited to a specific method, and any method may be applied as long as the 3D depth can be calculated in consideration of the vertical component.

제2 센서(130_2)가 수직 성분의 거리 값을 더 가짐으로써, 1개의 픽셀에 대응하는 깊이 구간이 제1 센서(130_1)와 달라지게 된다. 따라서, 제어부(150)는 어느 하나의 센서에서 산출한 3차원 깊이 값을 다른 센서에서 산출한 3차원 깊이 값을 이용하여 보정할 수 있다.As the second sensor 130_2 further has a distance value of the vertical component, a depth section corresponding to one pixel is different from that of the first sensor 130_1. Accordingly, the controller 150 may correct the 3D depth value calculated by one sensor using the 3D depth value calculated by another sensor.

도 13은 본 발명의 일 실시예에 따른 객체의 3차원 형상을 산출하는 장치(100)에 복수의 센서(130_1, 130_2, ..., 130_N)가 더 포함된 것을 도시한 블럭 구성도이다.13 is a block diagram illustrating that a plurality of sensors 130_1, 130_2, ..., 130_N are further included in the apparatus 100 for calculating a three-dimensional shape of an object according to an embodiment of the present invention.

객체의 3차원 형상을 산출하는 장치(100)는 프로젝터(110)를 기준으로 하여, 제1 센서(130_1)까지의 거리 및 제2 센서(130_2)까지의 거리와 다른 거리에 위치하는 적어도 하나의 프로젝터를 더 포함할 수 있다.The apparatus 100 for calculating a three-dimensional shape of an object includes at least one located at a distance different from the distance to the first sensor 130_1 and the distance to the second sensor 130_2 based on the projector 110. It may further include a projector.

이 경우 전술한 바와 마찬가지로, 각 센서(130_1, 130_2, ..., 130_N)의 특성에 따라, 1개의 픽셀에 대응하는 객체의 3차원 깊이 구간이 각각 다르게 나타날 수 있다.In this case, as described above, according to the characteristics of each sensor 130_1, 130_2, ..., 130_N, the 3D depth section of the object corresponding to one pixel may appear differently.

따라서, 제어부(150)는 어느 하나의 센서에서 산출된 3차원 깊이 중 1개의 픽셀에 대응하는 각각의 구간을 다른 센서들에서 산출된 3차원 깊이를 이용하여 다수의 구간으로 분리할 수 있다. 이를 통하여, 제어부(150)는 더욱 정밀하게 객체의 3차원 형상을 산출할 수 있다. 또는, 동일한 깊이 분해능을 가지는 객체의 3차원 형상을 산출하는 장치(100)는 더욱 짧은 베이스라인으로 구현될 수 있다.Accordingly, the control unit 150 may divide each section corresponding to one pixel among the three-dimensional depth calculated by any one sensor into a plurality of sections by using the three-dimensional depth calculated by other sensors. Through this, the control unit 150 may more accurately calculate the three-dimensional shape of the object. Alternatively, the apparatus 100 for calculating a 3D shape of an object having the same depth resolution may be implemented with a shorter baseline.

도 14는 본 발명의 다른 일 실시예에 따른 객체의 3차원 형상을 산출하는 장치의 블럭 구성도(block diagram)이다.14 is a block diagram of an apparatus for calculating a three-dimensional shape of an object according to another embodiment of the present invention.

본 발명의 다른 일 실시예에 따라, 상기 객체의 3차원 형상을 산출하는 장치(100)는 프로젝터(110), 구조광 센서(130), 제어부(150), 메모리(170) 및 제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2) 등을 포함할 수 있다. 상기 객체의 3차원 형상을 산출하는 장치(100)는 도 14에 도시된 구성요소들 이외에 다른 구성요소들을 더 갖는 형태로 구현될 수도 있다.According to another embodiment of the present invention, the apparatus 100 for calculating the three-dimensional shape of the object includes a projector 110, a structured light sensor 130, a control unit 150, a memory 170, and a first camera module. (190_1) and a second camera module (190_2) may be included. The apparatus 100 for calculating the three-dimensional shape of the object may be implemented in a form having other components in addition to the components shown in FIG. 14.

프로젝터(110), 구조광 센서(130), 제어부(150) 및 메모리(170)의 경우, 도 1에서 전술한 내용과 실질적으로 동일하므로, 여기서는 더 이상의 설명을 생략하기로 한다.In the case of the projector 110, the structured light sensor 130, the control unit 150, and the memory 170, since they are substantially the same as those described above in FIG. 1, further description will be omitted herein.

제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)은 외부 영상을 촬영하여 이미지를 출력할 수 있다. 카메라 모듈은 그 용어에 한정되지 않고, 외부로부터의 광을 감지하고, 이미지화하여 전기적인 영상신호로 변환할 수 있는 것이라면 어느 것이라도 적용될 수 있다.The first camera module 190_1 and the second camera module 190_2 may capture an external image and output an image. The camera module is not limited to the term, and any camera module that can detect light from outside, image it, and convert it into an electrical image signal may be applied.

도 14의 객체의 3차원 형상을 산출하는 장치(100)의 구현에 있어서, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(170)에 저장되고, 제어부(150)에 의해 실행될 수 있다.In the implementation of the apparatus 100 for calculating the three-dimensional shape of the object of FIG. 14, embodiments such as procedures or functions may be implemented together with separate software modules that perform at least one function or operation. The software code can be implemented by a software application written in an appropriate programming language. In addition, the software code may be stored in the memory 170 and executed by the controller 150.

도 15는 본 발명의 다른 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법의 흐름도이다. 도 16은 본 발명의 다른 일 실시예에 따른 어레이 카메라를 이용하여 객체의 3차원 깊이를 산출하는 것을 설명하기 위한 도면이다.15 is a flowchart of a method of calculating a three-dimensional shape of an object according to another embodiment of the present invention. FIG. 16 is a diagram for explaining calculating a 3D depth of an object using an array camera according to another embodiment of the present invention.

본 발명의 다른 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법은, 도 14를 참조하여 설명한 객체의 3차원 형상을 산출하는 장치(100)에서 구현될 수 있다. 이하 필요한 도면들을 참조하여, 본 발명의 다른 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법과, 이를 구현하기 위한 객체의 3차원 형상을 산출하는 장치(100)의 동작을 상세히 설명하기로 한다.A method of calculating a three-dimensional shape of an object according to another embodiment of the present invention may be implemented in the apparatus 100 for calculating a three-dimensional shape of an object described with reference to FIG. 14. Hereinafter, a method of calculating a three-dimensional shape of an object according to another embodiment of the present invention and an operation of the apparatus 100 for calculating a three-dimensional shape of an object for implementing the same will be described in detail with reference to the necessary drawings. do.

도 15를 참조하면, 제어부(150)는 프로젝터(110)를 통하여 소정의 패턴이 부가된 구조광을 객체에 투사할 수 있다[S200]. 이에 대해서는 전술한 도 2에서의 단계 S100의 설명과 실질적으로 동일하므로, 여기서는 더 이상의 설명을 생략하기로 한다.Referring to FIG. 15, the controller 150 may project the structured light to which a predetermined pattern is added to the object through the projector 110 [S200]. This is substantially the same as the description of step S100 in FIG. 2 described above, and thus further description will be omitted.

구조광 센서(130)는 상기 객체(200)에서 반사된 상기 구조광을 감지할 수 있다[S210]. 이에 대해서는 전술한 도 2에서의 단계 S110의 설명과 실질적으로 동일하므로, 여기서는 더 이상의 설명을 생략하기로 한다.The structured light sensor 130 may detect the structured light reflected from the object 200 [S210]. This is substantially the same as the description of step S110 in FIG. 2 described above, and thus further description will be omitted.

제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)은 각각 제3 위치 및 제4 위치에서 상기 객체를 촬영할 수 있다[S220].The first camera module 190_1 and the second camera module 190_2 may photograph the object at a third position and a fourth position, respectively [S220].

도 16을 참조하면, 일 예에 따라 객체의 3차원 형상을 산출하는 장치(100)는 이동 단말기로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 3차원 깊이 산출을 통한 객체의 3차원 형상의 산출이 필요한 전자 기기라면 어느 것으로나 구현될 수 있다.Referring to FIG. 16, according to an example, the apparatus 100 for calculating a three-dimensional shape of an object may be implemented as a mobile terminal. However, the present invention is not limited thereto, and any electronic device that requires calculation of a three-dimensional shape of an object through three-dimensional depth calculation may be implemented.

도 16은 이동 단말기의 후면의 일부에 프로젝터(110), 구조광 센서(130), 복수의 카메라 모듈(190)이 배치된 것을 도시한 것이다. 다만, 이에 한정되는 것은 아니며, 프로젝터(110), 구조광 센서(130), 복수의 카메라 모듈(190)은 이동 단말기의 전면 또는 기타 다른 부분에 배치될 수 있다.FIG. 16 illustrates that a projector 110, a structured light sensor 130, and a plurality of camera modules 190 are disposed on a part of the rear of the mobile terminal. However, the present invention is not limited thereto, and the projector 110, the structured light sensor 130, and the plurality of camera modules 190 may be disposed in the front of the mobile terminal or in other parts.

도 16에 도시된 바와 같이, 복수의 카메라 모듈(190)은 각각의 카메라 모듈이 행렬(matrix) 형식으로 배열될 수 있다. 행렬(matrix) 형식으로 배열된 카메라는, 어레이(array) 카메라로 명명될 수 있다. 도 16에서는 가로, 세로 각각 3줄의 형태로 도시되었으나 이에 한정되는 것은 아니며, 카메라 모듈의 숫자는 필요에 따라 다른 수로 구성될 수 있다.As shown in FIG. 16, in the plurality of camera modules 190, each camera module may be arranged in a matrix format. Cameras arranged in a matrix format may be referred to as an array camera. In FIG. 16, the horizontal and vertical lines are each illustrated in the form of three lines, but the number of camera modules is not limited thereto.

또한, 어레이 카메라 형태로 한정되는 것은 아니며, 복수의 카메라 모듈(190)은 소정의 다른 형태로 배열될 수 있다. 일 예에 따라, 적어도 하나의 라인을 따라 배열될 수 있다.In addition, it is not limited to an array camera type, and the plurality of camera modules 190 may be arranged in a predetermined different shape. According to an example, it may be arranged along at least one line.

제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)은 프로젝터(110) 및 구조광 센서(130)와 동일 선상에 있는 L31, L32, L33 중 2개의 카메라 모듈로 구현될 수 있다. 제1 카메라 모듈(190_1)의 위치가 상기 제3 위치가 되며, 제2 카메라 모듈(190_2)의 위치가 상기 제4 위치가 될 수 있다.The first camera module 190_1 and the second camera module 190_2 may be implemented as two camera modules among L31, L32, and L33 that are on the same line as the projector 110 and the structured light sensor 130. The position of the first camera module 190_1 may be the third position, and the position of the second camera module 190_2 may be the fourth position.

다만, 이에 한정되는 것은 아니며, 제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)은 프로젝터(110) 및 구조광 센서(130)와 동일 선상이 아닌 L11, L12, L13, L21, L22, L23 중 어느 2개의 카메라 모듈로 구현될 수 있다.However, the present invention is not limited thereto, and the first camera module 190_1 and the second camera module 190_2 are not on the same line as the projector 110 and the structured light sensor 130. It can be implemented with any two camera modules among L23.

또한, 도 16에서는 구조광 센서(130)가 별도의 위치에 구현되었으나, 이에 한정되는 것은 아니다. 즉, 구조광 센서(130)는 복수의 카메라 모듈(190)에 포함된 어느 하나의 카메라 모듈의 자리에 구현될 수 있다. 예를 들어, 카메라 모듈(L33)의 위치에 카메라 모듈 대신, 구조광 센서(130)가 위치할 수 있다. 이를 통하여, 별도의 구조광 센서 자리를 확보하지 않고 구현할 수 있다.In addition, in FIG. 16, the structured light sensor 130 is implemented at a separate location, but is not limited thereto. That is, the structured light sensor 130 may be implemented in the seat of any one camera module included in the plurality of camera modules 190. For example, instead of the camera module, the structured light sensor 130 may be positioned at the location of the camera module L33. Through this, it can be implemented without securing a separate structured light sensor seat.

제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)에서는 각각 영상을 촬영하여 이를 제어부(150)로 출력할 수 있다.Each of the first camera module 190_1 and the second camera module 190_2 may capture an image and output it to the controller 150.

다시 도 15를 참조하면, 제어부(150)는 소정의 기준 이미지와 비교하여, 상기 감지된 구조광 패턴의 변화에 따라 상기 객체의 3차원 깊이를 산출할 수 있다[S230]. 구조광을 이용한 객체의 3차원 깊이 산출에 대해서는 전술한 도 6의 설명과 실질적으로 동일하므로, 여기서는 더 이상의 구체적인 설명은 생략하기로 한다.Referring back to FIG. 15, the controller 150 may compare the reference image with a predetermined reference image and calculate a three-dimensional depth of the object according to a change in the sensed structured light pattern [S230]. Since the calculation of the three-dimensional depth of the object using structured light is substantially the same as the description of FIG. 6 described above, further detailed descriptions will be omitted.

제어부(150)는 제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)에서 각각 촬영된 영상에 기초하여 산출한 상기 객체의 3차원 깊이를 이용하여, 상기 감지된 구조광 패턴의 변화에 따라 산출된 객체의 3차원 깊이를 보정할 수 있다[S240].The controller 150 uses the three-dimensional depth of the object calculated based on images captured by the first camera module 190_1 and the second camera module 190_2, respectively, according to a change in the sensed structured light pattern. The calculated three-dimensional depth of the object may be corrected [S240].

제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)에서 각각 촬영된 영상에 기초하여 객체의 3차원 깊이를 산출하는 방법은 공지의 스테레오 비전(stereo vision) 방식에 의할 수 있다.A method of calculating the 3D depth of an object based on images captured by the first camera module 190_1 and the second camera module 190_2, respectively, may be performed by a known stereo vision method.

스테레오 비전 방식을 이용하여 거리를 추정하는 방식의 경우, 제어부(150)는 좌우 영상 촬영 장치로부터 촬영된 영상을 이용하여 대응점을 찾아 깊이 맵(depth map)을 생성한다. 상기 좌우 영상 촬영 장치는 제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)로 구현할 수 있다.In the case of a method of estimating a distance using a stereo vision method, the control unit 150 generates a depth map by finding a corresponding point using an image captured from a left and right image capturing device. The left and right image capturing apparatus may be implemented with a first camera module 190_1 and a second camera module 190_2.

제어부(150)는 상기 깊이 맵과 좌우 영상을 이용하여 객체를 검출하고, 상기 검출된 객체의 시차를 구한다. 제어부(150)는 상기 구해진 시차를 이용하여 객체의 거리를 추정할 수 있다.The controller 150 detects an object by using the depth map and the left and right images, and obtains a parallax of the detected object. The controller 150 may estimate the distance of the object using the obtained parallax.

다만, 이에 한정되는 것은 아니며, 카메라 모듈을 이용하여 객체의 3차원 깊이를 산출할 수 있다면, 공지의 다른 방법도 일 실시예로서 적용될 수 있다.However, the present invention is not limited thereto, and if the three-dimensional depth of the object can be calculated using the camera module, another known method may be applied as an embodiment.

제어부(150)는 상기 감지된 구조광 패턴의 변화에 따라 산출된 객체의 3차원 깊이를, 상기 카메라 모듈을 이용하여 산출한 3차원 깊이 정보를 이용하여 보정할 수 있다. 제어부(150)에서 3차원 깊이를 보정하는 원리에 대해서는, 도 6 내지 도 11의 설명에서 전술하였으며, 이는 스테레오 비전 방식에 따라 산출된 거리를 이용하는 경우에도 실질적으로 동일하게 적용되는 바, 여기서는 구체적인 설명을 생략하기로 한다.The controller 150 may correct a 3D depth of an object calculated according to a change in the sensed structured light pattern using 3D depth information calculated using the camera module. The principle of correcting the three-dimensional depth in the control unit 150 has been described above in the description of FIGS. 6 to 11, and this is substantially the same even when the distance calculated according to the stereo vision method is used. Will be omitted.

이와 같이, 어레이 카메라와 같은 복수의 카메라 모듈을 3차원 깊이의 보정에 사용할 수 있어, 제어부(150)는 보다 정확한 객체의 3차원 형상을 산출할 수 있다.In this way, a plurality of camera modules, such as an array camera, can be used for correction of the three-dimensional depth, so that the control unit 150 can calculate a more accurate three-dimensional shape of the object.

일 예에 따라, 객체의 3차원 형상을 산출하는 장치(100)는 제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2) 이외에 적어도 하나의 쌍으로 이루어진 카메라 모듈을 더 포함할 수 있다.According to an example, the apparatus 100 for calculating a 3D shape of an object may further include a camera module including at least one pair in addition to the first camera module 190_1 and the second camera module 190_2.

다시 도 16을 참조하면, 상기 하나의 쌍으로 이루어진 카메라 모듈은 어레이 카메라(190)내의 임의의 다른 2개의 카메라 모듈로 구현될 수 있다. 이러한 한 쌍의 카메라 모듈은 적어도 하나 이상이 사용되어, 상기 3차원 깊이의 보정에 이용될 수 있다. 각각의 추가되는 카메라 모듈의 쌍에 의해 얻어지는 깊이 값들을 상기 구조광 센서에서 산출된 객체의 3차원 깊이를 보정하는 데 이용할 수 있다.Referring back to FIG. 16, the pair of camera modules may be implemented as any other two camera modules in the array camera 190. At least one or more of such a pair of camera modules may be used to correct the three-dimensional depth. Depth values obtained by each additional pair of camera modules may be used to correct the three-dimensional depth of the object calculated by the structured light sensor.

이를 통하여 제어부(150)는 더욱 세분화된 3차원 깊이를 산출할 수 있어, 보다 정확한 객체의 3차원 형상을 산출할 수 있다.
Through this, the control unit 150 can calculate a more subdivided three-dimensional depth, thereby calculating a more accurate three-dimensional shape of the object.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 제어부(150)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
The present invention described above can be implemented as a computer-readable code in a medium on which a program is recorded. The computer-readable medium includes all types of recording devices storing data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is also a carrier wave (eg, transmission over the Internet). In addition, the computer may include a control unit 150. Therefore, the detailed description above should not be construed as restrictive in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

100: 객체의 3차원 형상을 산출하는 장치
110: 프로젝터 130_1 ~ 130_N: 센서
150: 제어부 170: 메모리
190: 카메라 모듈100: device for calculating a three-dimensional shape of an object
110: projector 130_1 to 130_N: sensor
150: control unit 170: memory
190: camera module

Claims

A projector that projects structured light to which a predetermined pattern is added to the object;
A first sensor located at a first distance from the projector and detecting the structured light reflected from the object;
A second sensor located at a second distance from the projector and detecting the structured light reflected from the object; And
Comparing with the first reference image, calculating the three-dimensional depth of the object according to the change in the structured light pattern detected by the first sensor, and comparing the second reference image with the change in the structured light pattern detected by the second sensor Including; a control unit for correcting the calculated three-dimensional depth according to,
The first reference image and the second reference image
The structured light projected from the projector is reflected from a reference plane at a predetermined distance from the apparatus for calculating the three-dimensional shape of the object, and is an image detected by the first sensor and the second sensor, respectively. A device that calculates the three-dimensional shape of an object.

delete

The method of claim 1, wherein the first sensor and the second sensor
An apparatus for calculating a three-dimensional shape of an object, including being positioned on the same straight line with respect to the projector.

The method of claim 1, wherein the first sensor and the second sensor
An apparatus for calculating a three-dimensional shape of an object, including being positioned on different straight lines with respect to the projector.

The method of claim 1,
At least one sensor positioned at a distance different from a distance to the first sensor and a distance to the second sensor based on the projector;
Including more,
The control unit calculates a three-dimensional shape of an object for correcting the calculated three-dimensional depth of the object according to a change in a pattern added to the structured light detected by the at least one sensor.

A projector that projects structured light to which a predetermined pattern is added to the object;
A structured light sensor that detects the structured light reflected from the object;
A first camera module;
A second camera module; And
Compared with a predetermined reference image, the three-dimensional depth of the object is calculated according to the change in the structured light pattern detected by the structured light sensor, and based on images captured by the first and second camera modules, respectively. Including; a control unit for correcting the three-dimensional depth of the object calculated through the structured light sensor, using the calculated three-dimensional depth of the object,
The reference image is
The structured light projected by the projector is reflected from a reference plane at a predetermined distance from the device for calculating the three-dimensional shape of the object, and is an image detected by the structured light sensor. A device that calculates the shape.

delete

The method of claim 6,
A camera unit including a plurality of camera modules arranged in a predetermined shape;
Including more,
The first camera module and the second camera module is a device for calculating a three-dimensional shape of an object, characterized in that any one of the camera modules provided in the camera unit.

The method of claim 8, wherein the structured light sensor
An apparatus for calculating a three-dimensional shape of an object including those provided in the camera unit.

The method of claim 6,
A camera module consisting of at least one pair;
Including more,
The control unit uses the three-dimensional depth of the object calculated based on images captured by each of the at least one pair of camera modules, and the object for correcting the three-dimensional depth of the object calculated through the structured light sensor. A device that calculates a three-dimensional shape.

delete