KR20150092612A - Multispectral camera and control method of the camera for detecting 3d image - Google Patents

Multispectral camera and control method of the camera for detecting 3d image Download PDF

Info

Publication number
KR20150092612A
KR20150092612A KR1020140013194A KR20140013194A KR20150092612A KR 20150092612 A KR20150092612 A KR 20150092612A KR 1020140013194 A KR1020140013194 A KR 1020140013194A KR 20140013194 A KR20140013194 A KR 20140013194A KR 20150092612 A KR20150092612 A KR 20150092612A
Authority
KR
South Korea
Prior art keywords
visible light
optical elements
value
light component
invisible
Prior art date
Application number
KR1020140013194A
Other languages
Korean (ko)
Other versions
KR102158212B1 (en
Inventor
조아영
정용우
신윤섭
권영만
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140013194A priority Critical patent/KR102158212B1/en
Publication of KR20150092612A publication Critical patent/KR20150092612A/en
Application granted granted Critical
Publication of KR102158212B1 publication Critical patent/KR102158212B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The present invention relates to a camera which can sense a stereoscopic shape of an object. The present invention provides the camera sensing the stereoscopic shape of the object using invisible light with a specific structured light pattern reflected on the target object, which includes: an invisible light emitting unit making the invisible light with the specific structured light pattern flicker to emit the flickering invisible light to the object; a light receiving unit having a plurality of optical elements sensing visible light reflected on the object and the flickering invisible light; and a control unit calculating a difference between a value sensed in a state that each of the optical elements emits the invisible light to the object, and a value sensed in a state that each of the optical elements does not emit the invisible light to the object, to extract an invisible light component value with respect to each of the optical elements, and generating information on the specific structured light pattern reflected on the object from the extracted invisible component value.

Description

입체적 형상을 감지하기 위한 카메라 및 그것의 제어 방법{MULTISPECTRAL CAMERA AND CONTROL METHOD OF THE CAMERA FOR DETECTING 3D IMAGE} TECHNICAL FIELD [0001] The present invention relates to a camera for detecting a three-dimensional shape, and a control method thereof. [0002]

본 발명은 카메라에 대한 것으로, 특히 사물의 입체적인 형상을 감지할 수 있는 카메라에 대한 것이다.
The present invention relates to a camera, and more particularly, to a camera capable of sensing a three-dimensional shape of an object.

일반적으로 3차원 입체 영상은 두 개의 카메라, 즉 좌안용 영상을 촬상하는 카메라와 우안용 영상을 촬상하는 카메라를 이용하여 생성될 수 있다. 그리고 상기 카메라들로부터 생성된 좌안용 영상과 우안용 영상은, 좌우 거리차를 두고 합쳐진 영상으로 표시되어, 좌안용 영상과 우안용 영상의 좌우 거리차에 대응하는 깊이감(depth)만큼 입체적인 공간감을 나타낼 수 있다.Generally, three-dimensional stereoscopic images can be generated by using two cameras, that is, a camera for capturing a left eye image and a camera for capturing a right eye image. The left eye image and the right eye image generated from the cameras are displayed as a combined image with a left and right distance difference so that a stereoscopic spatial feeling corresponding to the depth difference corresponding to the left and right distance difference between the left eye image and the right eye image .

그러나 이처럼 입체적인 공간감, 즉 깊이감(depth)을 주기 위한 상기 방식은, 상기 깊이감(depth)을 위해 두 개의 카메라를 사용하여야 하므로 그 부피가 커지고, 구조 역시 복잡해진다는 문제가 있었다. 뿐만 아니라 이러한 종래의 방식은 두 개의 영상을 겹쳐서 표현하는 형태로 입체적인 공간감을 이미지에 주는 것이므로, 이를 평면상의 이미지로 표시하기 어려울 뿐만 아니라, 평면상의 이미지로 표현되는 경우 입체적인 공간감을 주지 못하게 되는 경우도 발생하게 되었다. However, the above-described method for providing three-dimensionally spatial feeling, i.e., depth, has a problem in that the volume increases and the structure becomes complicated because two cameras must be used for the depth. In addition, in the conventional method, two images are superimposed on each other and a stereoscopic spatial feeling is given to an image. Therefore, it is not only difficult to display them as a plane image, but also when a stereoscopic image .

이에 따라 입체 영상을 감지하기 위한 카메라의 부피를 줄이고 그 구조를 단순화시킬 수 있을 뿐만 아니라, 하나의 영상을 통해서도 사물의 입체적인 공간감을 느끼게 할 수 있도록 하는 방안이 활발하게 연구 중인 실정이다.
Accordingly, the volume of the camera for sensing a stereoscopic image can be reduced and the structure thereof can be simplified, and a method for enabling a three-dimensional spatial feeling of objects to be sensed through a single image is actively researched.

본 발명의 일 목적은, 하나의 영상을 통해서도 사물의 입체적인 형상이 감지될 수 있도록 하며, 그 크기와 부피를 줄일 수 있고 그 구조를 단순화 시킬 수 있는 카메라 및 그 카메라의 제어 방법을 제공하기 위한 것이다. It is an object of the present invention to provide a camera and a control method of the camera which can reduce the size and volume of the object so that the three-dimensional shape of the object can be detected through one image and simplify the structure thereof .

본 발명의 다른 일 목적은, 하나의 영상을 통해 사물의 입체적 형상이 감지되도록 하면서도, 대상 사물의 입체적인 특성과 관련된 정보의 손실을 최소화 할 수 있도록 하는 카메라 및 그 카메라의 제어 방법을 제공하기 위한 것이다.
Another object of the present invention is to provide a camera and a control method of the camera that can minimize the loss of information related to the stereoscopic characteristics of the object while allowing the three-dimensional shape of the object to be detected through one image .

본 발명의 일 실시 예에 따라 대상 사물에서 반사되는 특정 구조광 패턴의 비가시광을 이용하여 사물의 입체적 형상을 감지하기 위한 카메라는, 상기 특정 구조광 패턴을 가지는 비가시광을, 점멸하여 상기 사물에 조사하는 비가시광 조사부와, 상기 사물에 반사되는 가시광 및 상기 점멸하는 비가시광을 감지하는 복수의 광소자들을 포함하는 수광부, 및, 상기 복수의 각 광소자가, 상기 비가시광이 상기 사물에 조사된 상태에서 감지한 값과, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서 감지한 값의 차를 산출하여 상기 복수의 광소자 각각에 대한 비가시광 성분값을 추출하며, 추출된 비가시광 성분값으로부터 상기 사물에서 반사된 특정 구조광 패턴에 대한 정보를 생성하는 제어부를 포함하는 것을 특징으로 한다. According to an embodiment of the present invention, a camera for detecting a three-dimensional shape of an object using non-visible light of a specific structured light pattern reflected from a target object may include a non-visible light having the specific structured light pattern, A light receiving unit including a plurality of optical elements for sensing visible light reflected by the object and non-visible light that is blinking, and a plurality of optical elements, Visible light component value for each of the plurality of optical elements by calculating a difference between a value sensed by the nonvisible light element and a value sensed by the nonvisible light element when the nonvisible light is not irradiated on the object, And a control unit for generating information on the specific structural light pattern reflected from the object.

일 실시 예에 있어서, 상기 복수의 광소자는, 가시광 성분을 비가시광 성분보다 우선적으로 감지하는 제1 광소자들과, 비가시광 성분을 가시광 성분보다 우선적으로 감지하는 제2 광소자들을 포함하는 것을 특징으로 한다. In one embodiment, the plurality of optical elements include first optical elements for preferentially sensing a visible light component relative to an invisible light component, and second optical elements for preferentially sensing an invisible light component relative to a visible light component .

일 실시 예에 있어서, 상기 제어부는, 상기 복수의 광소자 각각으로부터 추출된 비가시광 성분값들 중, 상기 제1 광소자들에 대응되는 비가시광 성분들에 대해, 기 설정된 가중치를 부여하는 것을 특징으로 한다. In one embodiment, the controller may assign a predetermined weight value to the invisible light components corresponding to the first optical elements, out of the invisible light component values extracted from each of the plurality of optical elements .

일 실시 예에 있어서, 상기 제어부는, 상기 각 제1 광소자들이, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서 감지한 값에 근거하여, 상기 제1 광소자들마다 상기 가중치의 크기를 결정하는 것을 특징으로 한다. In one embodiment, the control unit determines the magnitude of the weight for each of the first optical elements based on a value sensed by the first optical elements in a state in which the non-visible light is not irradiated on the object .

일 실시 예에 있어서, 상기 제어부는, 인접한 제2 광소자들에서 감지된 값들을 이용하여 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값을 더 산출하고, 상기 산출된 보간값과, 상기 가중치가 부여된 비가시광 성분의 값을 비교하여 큰 값으로 상기 복수의 광소자 중 제1 광소자들 각각의 비가시광 성분값을 결정하는 것을 특징으로 한다. In one embodiment, the controller may further calculate an interpolation value for an invisible light component of each of the first optical elements using values sensed by adjacent second optical elements, Visible light component values of the first optical elements of the plurality of optical elements are determined by comparing the values of the weighted non-visible light components.

일 실시 예에 있어서, 상기 제어부는, 상기 비가시광이 가지는 구조광 패턴의 해상도의 크기를 판단하고, 인접한 제2 광소자들에서 감지된 값들을 이용하여 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값을 산출 및, 상기 감지된 구조광 패턴의 해상도 크기에 근거하여, 상기 산출된 보간값 또는 상기 가중치가 부여된 비가시광 성분값 중 어느 하나로 상기 복수의 광소자 중 제1 광소자들 각각의 비가시광 성분값을 결정하는 것을 특징으로 한다. In one embodiment, the controller may determine the magnitude of the resolution of the structured light pattern of the non-visible light, and calculate the invisible light component of each of the first optical elements using the sensed values of the adjacent second optical elements Of the plurality of optical elements is calculated based on the resolution magnitude of the detected structured light pattern and the calculated interpolated value or the weighted non-visible light component value of the first optical elements And determines the value of each of the non-visible light components.

본 발명의 일 실시 예에 따라 대상 사물에서 반사되는 특정 구조광 패턴의 비가시광을 이용하여 사물의 입체적 형상을 감지하기 위한 카메라의 제어 방법에 있어서, 상기 특정 구조광 패턴을 가지는 비가시광을 점멸하여 상기 사물에 조사하는 단계와, 상기 사물에 반사되는 가시광 및 상기 점멸하는 비가시광을 복수의 광소자가 감지하는 단계와, 상기 복수의 각 광소자가, 상기 비가시광이 상기 사물에 조사된 상태에서 감지한 값과, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서의 감지한 값을 이용하여 상기 복수의 광소자 각각에 대한 비가시광 성분값을 추출하는 단계, 및, 상기 추출된 비가시광 성분값으로부터 상기 사물에서 반사된 특정 구조광 패턴에 대한 정보를 생성하는 단계를 포함하는 것을 특징으로 한다. According to an embodiment of the present invention, there is provided a method of controlling a camera for sensing a three-dimensional shape of an object using non-visible light of a specific structured light pattern reflected from a target object, the non- The method comprising the steps of: irradiating the object with the visible light, the visible light reflected by the object, and the non-visible light that is blinking; detecting a plurality of optical elements by the plurality of optical elements; And extracting an invisible light component value for each of the plurality of optical elements by using a sensed value in a state in which the invisible light is not irradiated on the object, And generating information on the specific structured light pattern reflected from the object.

일 실시 예에 있어서, 상기 복수의 광소자는, 가시광 성분을 비가시광 성분보다 우선적으로 감지하는 제1 광소자들과, 비가시광 성분을 가시광 성분보다 우선적으로 감지하는 제2 광소자들을 포함하는 것을 특징으로 한다. In one embodiment, the plurality of optical elements include first optical elements for preferentially sensing a visible light component relative to an invisible light component, and second optical elements for preferentially sensing an invisible light component relative to a visible light component .

일 실시 예에 있어서, 상기 비가시광 성분값을 추출하는 단계는, 상기 복수의 광소자 각각으로부터 추출된 비가시광 성분값들 중, 상기 제1 광소자들에 대응되는 비가시광 성분들에 대해, 기 설정된 가중치를 부여하는 단계를 더 포함하는 것을 특징으로 한다. In one embodiment, the step of extracting the invisible light component value may include extracting, from among the non-visible light component values extracted from each of the plurality of optical elements, non-visible light components corresponding to the first optical elements, And a step of assigning a predetermined weight value.

일 실시 예에 있어서, 상기 가중치를 부여하는 단계는, 상기 각 제1 광소자들이, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서 감지한 값에 근거하여, 상기 제1 광소자들마다 상기 가중치의 크기를 결정하는 단계를 더 포함하는 것을 특징으로 한다. In one embodiment, the step of assigning the weights may further comprise the step of determining, for each of the first optical elements, the weight of each of the first optical elements based on a value sensed in a state in which the invisible light is not irradiated on the object, And determining a size of the second memory.

일 실시 예에 있어서, 상기 비가시광 성분값을 추출하는 단계는, 인접한 제2 광소자들에서 감지된 값들을 이용하여 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값을 산출하는 단계, 및, 상기 산출된 보간값과, 상기 가중치가 부여된 비가시광 성분의 값을 비교하여 큰 값으로 상기 복수의 각 광소자 중 제1 광소자들의 비가시광 성분값을 결정하는 단계를 더 포함하는 것을 특징으로 한다. In one embodiment, the step of extracting the invisible light component value may include calculating an interpolation value of the invisible light component of each of the first optical elements using values sensed by adjacent second optical elements, And determining the non-visible light component value of the first optical elements among the plurality of optical elements by comparing the calculated interpolation value with the value of the weighted non-visible light component .

일 실시 예에 있어서, 상기 비가시광 성분값을 추출하는 단계는, 상기 비가시광의 패턴 해상도의 크기를 감지하는 단계와, 인접한 제2 광소자들에서 감지된 값들을 이용하여 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값을 산출하는 단계, 및, 상기 감지된 패턴 해상도의 크기에 근거하여, 상기 산출된 보간값과, 상기 가중치가 부여된 비가시광 성분의 값 중 어느 하나의 값으로 상기 복수의 각 광소자 중 제1 광소자들의 비가시광 성분값을 결정하는 단계를 더 포함하는 것을 특징으로 한다.
In one embodiment, the step of extracting the invisible light component value comprises the steps of: sensing a magnitude of the pattern resolution of the invisible light; And calculating an interpolation value for each of the nonvisible light components based on the detected pattern resolution and a value of one of the calculated interpolation value and the value of the weighted invisible light component And determining an invisible light component value of the first optical elements among the plurality of optical elements.

본 발명의 일 실시 예에 따른 카메라 및 그의 제어 방법은, 대상 사물의 입체적인 특성을 감지하기 위한 비가시광을 사물에 조사하고, 상기 사물에서 반사되는 가시광 및 비가시광을 모든 광소자들에서 감지되도록 함으로써, 하나의 영상을 통해서도 사물의 입체적인 형상이 감지될 수 있도록 하여 그 부피를 줄이고 구조가 단순해질 수 있도록 한다. A camera and a control method thereof according to an embodiment of the present invention include irradiating an object with non-visible light for sensing stereoscopic characteristics of a target object and causing visible light and non-visible light reflected from the object to be detected by all optical elements , Allowing the three-dimensional shape of objects to be detected through a single image, thereby reducing the volume and simplifying the structure.

본 발명의 일 실시 예에 따른 카메라 및 이의 제어 방법은, 카메라의 모든 광소자에서 비가시광이 감지될 수 있도록 함으로써, 대상 사물의 입체적인 특성에 대한 정보의 손실을 최소화하여 사물의 입체적 형상이 보다 정확하게 감지될 수 있도록 한다.
A camera and a control method thereof according to an embodiment of the present invention can minimize non-visible light in all optical elements of a camera, minimize loss of information about the stereoscopic characteristics of the object, So that it can be detected.

도 1은 본 발명의 일 실시 예에 따른 카메라의 구조를 나타내는 블록도이다.
도 2a 및 도 2b는 본 발명의 일 실시 예에 따른 카메라의 수광부에 포함되는 복수의 광소자들의 구성을 도시한 개념도이다.
도 3은 본 발명의 일 실시 예에 따른 카메라에서 대상 사물의 입체적인 특성을 감지하는 동작 과정을 도시한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 카메라에서, 복수의 광소자들에서 감지된 값으로부터 비가시광 성분을 추출하는 예를 도시한 개념도이다.
도 5는 이러한 본 발명의 일 실시 예에 따른 카메라에서 복수의 광소자들 중 일부의 비가시광 성분을 결정하는 동작 과정을 도시한 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 카메라에서 비가시광의 구조광 패턴 해상도에 따라 대상 사물의 입체적인 특성을 감지하는 동작 과정을 도시한 흐름도이다. 1 is a block diagram showing the structure of a camera according to an embodiment of the present invention.
2A and 2B are conceptual diagrams showing a configuration of a plurality of optical elements included in a light receiving unit of a camera according to an embodiment of the present invention.
FIG. 3 is a flowchart illustrating an operation of sensing three-dimensional characteristics of a target object in a camera according to an embodiment of the present invention.
4 is a conceptual diagram illustrating an example of extracting an invisible light component from a value detected in a plurality of optical elements in a camera according to an embodiment of the present invention.
5 is a flowchart illustrating an operation of determining a non-visible light component of a part of a plurality of optical elements in a camera according to an embodiment of the present invention.
FIG. 6 is a flowchart illustrating an operation of sensing a stereoscopic characteristic of an object according to a structured light pattern resolution of non-visible light in a camera according to an exemplary embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대해 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to the same or similar elements, and redundant description thereof will be omitted. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role. In the following description of the embodiments of the present invention, a detailed description of related arts will be omitted when it is determined that the gist of the embodiments disclosed herein may be blurred. In addition, it should be noted that the attached drawings are only for easy understanding of the embodiments disclosed in the present specification, and should not be construed as limiting the technical idea disclosed in the present specification by the attached drawings.

먼저 본 발명의 완전한 이해를 돕기 위해, 본 발명의 기본 원리를 설명하면 본 발명에서는, 특정 패턴을 가지는 구조광 형식의 비가시광을 대상 사물에 조사하고, 상기 대상 사물에서 반사되는 비가시광을 감지한다. 그리고 감지된 비가시광에 포함된 구조광 패턴 정보를 이용하여, 상기 대상 사물의 입체적 형상에 대한 정보, 즉 입체적인 공간감을 느끼게 하는 깊이감(depth) 정보를 인식한다. In order to facilitate a complete understanding of the present invention, the basic principle of the present invention will be described. In the present invention, invisible light of a structured optical format having a specific pattern is irradiated to a target object, and non-visible light reflected from the target object is sensed . Using the structural light pattern information included in the sensed invisible light, information on the three-dimensional shape of the object, i.e., depth information for sensing a three-dimensional spatial sensation, is recognized.

이를 위해 본 발명에서는, 단위 화소를 형성하는 복수의 광소자 모두가 가시광 및 비가시광을 감지할 수 있는 수광부를 구비한다. 그리고 상기 대상 사물에 기 설정된 시간 간격을 주기로 점멸하는 비가시광을 조사하여, 상기 사물에 반사되는 가시광 및 비가시광을 상기 수광부를 통해 감지할 수 있도록 한다. 그리고 상기 수광부에 포함된 복수의 광소자들이, 상기 비가시광이 대상 사물에 조사되었던 때에 감지한 값들과, 상기 비가시광이 대상 사물에 조사되지 않았던 때에 감지한 값들의 차이를 이용하여, 각 광소자들에서 감지된 비가시광 성분들이 추출될 수 있도록 한다.To this end, in the present invention, all of the plurality of optical elements forming the unit pixel include a light receiving portion capable of sensing visible light and invisible light. And irradiates non-visible light blinking at a predetermined time interval to the object to detect visible light and non-visible light reflected from the object through the light receiving unit. And a plurality of optical elements included in the light receiving unit detect the difference between the values sensed when the invisible light is irradiated to the object and the values sensed when the invisible light is not irradiated to the object, So that the non-visible light components sensed by the light source can be extracted.

이에 따라 본 발명은, 수광부에 포함된 모든 광소자들이 상기 사물에서 반사된 비가시광을 감지할 수 있으므로, 단위 화소를 형성하는 광소자들 중 일부만 비가시광을 감지할 수 있도록 하는 경우에 비해, 구조광 패턴 정보의 손실을 최소화할 수 있다. Accordingly, since all optical elements included in the light receiving unit can sense the non-visible light reflected from the object, only a part of the optical elements forming the unit pixel can detect non-visible light, The loss of the optical pattern information can be minimized.

도 1은 이러한 본 발명의 일 실시 예에 따른 카메라의 구조를 나타내는 블록도이다. 1 is a block diagram showing the structure of a camera according to an embodiment of the present invention.

도 1을 참조하여 살펴보면, 본 발명의 실시 예에 따른 카메라는 수광부(110), 비가시광 조사부(120), 메모리(130), 그리고 제어부(100)를 포함하여 구성된다. 1, a camera according to an exemplary embodiment of the present invention includes a light receiving unit 110, an invisible light irradiation unit 120, a memory 130, and a controller 100.

비가시광 조사부(120)는 기 설정된 비가시광을 대상 사물에 조사한다. 여기서 상기 비가시광은 구조광 형식의 특정 패턴(구조광 패턴)을 가질 수 있다. 그리고 상기 구조광 패턴은 대상 사물에 대한 입체적 특징에 대한 정보, 즉 깊이감(depth) 정보를 표시할 수 있다. The non-visible light irradiation unit 120 irradiates the predetermined non-visible light onto the object. Herein, the nonvisible light may have a specific pattern (structured light pattern) of the structural optical format. In addition, the structured light pattern can display depth information on three-dimensional features of a target object, that is, depth information.

상기 비가시광 조사부(120)는 제어부(100)의 제어에 따라, 기 설정된 시간 간격을 주기로 상기 비가시광을 점멸하여 상기 대상 사물에 조사할 수 있다. 이에 따라 상기 비가시광은 상기 점멸 주기에 따라 상기 대상 사물에 조사되므로, 상기 대상 사물에 의해 반사된 비가시광 역시 상기 점멸 주기에 따라 점멸하는 상태로 상기 수광부(110)에 감지될 수 있다. The non-visible light irradiating unit 120 may irradiate the object to be illuminated by blinking the non-visible light at a predetermined time interval under the control of the control unit 100. [ Accordingly, since the non-visible light is irradiated on the object according to the blinking period, the non-visible light reflected by the object can also be detected by the light receiving unit 110 in a blinking period according to the blinking period.

이하의 설명에서는 설명의 편의상 적외선을 비가시광으로 사용하는 것을 예로 들어 설명하기로 한다. 그러나 본 발명이 이에 국한되는 것은 아니며, 얼마든지 다른 비가시광을 사용하는 경우에도 본 발명이 적용될 수 있음은 물론이다. In the following description, the infrared ray is used as non-visible light for convenience of explanation. However, the present invention is not limited thereto, and it goes without saying that the present invention can be applied to the case of using any other invisible light.

수광부(110)에는 필터링부(112)에 구비된 컬러 필터가 배치되고, 그 컬러 필터의 투과 특성에 따라 수광부가 감도를 가지는 광 성분이 정해진다. 여기서 본 발명의 실시 예에 따른 카메라에서는, 상기 컬러 필터가 가시광 및 비가시광을 모두 투과시킬 수 있다. 예를 들어 상기 컬러 필터는, R필터, G필터, B필터 및 비가시광 성분 필터로 구성될 수 있으며, 이들 각각의 필터들은 이중 대역 필터(Dual Band Path Filter : DBPF)로 구성되어, RGB 컬러 중 어느 하나와 비가시광 성분의 광을 모두 투과시킬 수 있다. The light receiving unit 110 is provided with a color filter provided in the filtering unit 112, and a light component having sensitivity of the light receiving unit is determined according to the transmission characteristics of the color filter. Here, in the camera according to the embodiment of the present invention, the color filter can transmit both visible light and invisible light. For example, the color filter may be composed of an R filter, a G filter, a B filter, and an invisible light component filter, each of which is composed of a Dual Band Path Filter (DBPF) It is possible to transmit the light of any one and the non-visible light component.

이러한 컬러 필터의 배열 형태에 근거하여 수광부(110)의 배열의 단위가 결정될 수 있다. 예를 들어 도 2a 및 도 2b는 본 발명의 일 실시 예에 따른 카메라의 수광부에 포함되는 복수의 광소자들이 이러한 배열에 따라 배치된 예를 보이는 것이다. The unit of arrangement of the light receiving unit 110 can be determined based on the arrangement form of the color filters. For example, FIGS. 2A and 2B show an example in which a plurality of optical elements included in a light receiving portion of a camera according to an embodiment of the present invention are arranged according to this arrangement.

우선 도 2a를 참조하여 살펴보면, 광소자들이 2X2 형태로 배열된 예를 보이고 있는 것이다. 그리고 상술한 바와 같이 본 발명의 컬러 필터는, 이중 대역 필터로 구성되어, RGB 컬러 중 어느 하나와 비가시광 성분의 광을 모두 투과시킬 수 있다. 즉, 본 발명의 컬러 필터에서는, RGB 컬러 중 어느 하나와 적외선(Ir) 성분의 광이 투과될 수 있으며, 이에 따라 도 2a에서 보이고 있는 것처럼, 본 발명의 실시 예에 따른 복수의 광소자들은 가시광인 RGB 성분 중 어느 한 성분의 값과 비가시광인 적외선(Ir) 성분의 값을 모두 감지할 수 있다. First, referring to FIG. 2A, an example in which optical elements are arranged in a 2X2 form is shown. As described above, the color filter of the present invention is constituted by a dual band filter, and can transmit light of any one of RGB colors and light of a non-visible light component. That is, in the color filter of the present invention, light of any one of RGB colors and infrared (Ir) component can be transmitted, and accordingly, as shown in FIG. 2A, a plurality of optical elements according to the embodiment of the present invention, And a value of an infrared ray (Ir) component which is invisible light can be detected.

그러나 복수의 광소자 모두가 동일하게 RGB 성분 중 어느 한 성분의 값과 비가시광인 적외선(Ir) 성분의 값을 감지하는 것은 아니다. 예를 들어 본 발명의 실시 예에 따른 컬러 필터는, 가시광 성분인 RGB 컬러 중 어느 한 성분을 우선하여 투과시킬 것인지, 아니면 비가시광 성분인 적외선 성분의 값을 우선하여 투과시킬 것인지가, 수광부(110)의 각 광소자들의 배열을 이루는 각각의 필터마다 결정되어 있을 수 있다. However, not all of the plurality of optical elements sense the value of any one of the RGB components and the value of the infrared (Ir) component that is invisible light. For example, in the color filter according to the embodiment of the present invention, whether to transmit the RGB color, which is a visible light component, to be preferentially transmitted or to transmit the value of the infrared light component, which is an invisible light component, ) May be determined for each filter constituting the array of the optical elements.

즉, 도 2a의 필터들(200)의 경우 가시광 성분을 우선하여 투과시킬 수 있다. 이러한 경우, 필터들(200)은 가시광 성분, 즉 RGB 컬러 중 어느 하나의 성분에 대응되는 값을 우선적으로 투과시키고, 그 다음에 비가시광 성분, 즉 적외선 성분이 투과되도록 대역폭이 설정된 필터일 수 있다. 즉, 'G+ir' 필터의 경우 가시광의 RGB 성분 중 G성분을, 'B+ir' 필터의 경우 가시광의 RGB 성분 중 B성분을, 'R+ir' 필터의 경우 가시광의 RGB 성분 중 R성분을 우선적으로 투과시키고, 그 다음으로 비가시광 성분, 즉 적외선(Ir) 성분이 투과되도록 할 수도 있다. That is, in the case of the filters 200 of FIG. 2A, the visible light component can be preferentially transmitted. In this case, the filters 200 may be a filter in which a value corresponding to any one of visible light components, that is, RGB colors, is preferentially transmitted, and then a non-visible light component, that is, an infrared component is transmitted . That is, the G component among the RGB components of the visible light in the case of the 'G + ir' filter, the B component of the RGB components of the visible light in the case of the 'B + ir' filter and the R component of the RGB components of the visible light in the case of the 'R + Component, and then the non-visible light component, that is, the infrared (Ir) component, may be transmitted.

한편 이와 반대로 필터(210)의 경우는 비가시광 성분을 우선적으로 투과시키도록 대역폭이 설정된 필터일 수 있다. 이러한 경우 필터(210)는 비가시광 성분을 우선적으로 투과시키고, 그 다음으로 가시광 성분, 즉 RGB 컬러 성분 중 어느 하나의 성분이 투과되도록 할 수도 있다. On the contrary, in the case of the filter 210, the filter may be a filter having a bandwidth set so as to preferentially transmit an invisible light component. In this case, the filter 210 may preferentially transmit the non-visible light component, and then transmit any one of the visible light component, that is, the RGB color component.

이처럼 어느 것을 우선하여 투과시킬 것인지는, 필터의 감도에 따라 결정될 수 있다. 예를 들어 가시광 성분인 RGB 컬러 성분을 우선적으로 투과시키는 필터의 경우, 가시광 성분, 즉 RGB 컬러 성분 중 어느 하나에 대한 감도가 비가시광 성분에 대한 감도보다 높게 설정된 필터일 수 있다. 또한 이와 반대로 비가시광 성분을 우선적으로 투과시키는 필터의 경우, 비가시광 성분, 즉 적외선 성분에 대한 감도가 가시광 성분, 즉 RGB 컬러 성분에 대한 감도보다 높게 설정된 필터일 수 있다. Which one is preferentially transmitted in this way can be determined according to the sensitivity of the filter. For example, in the case of a filter that preferentially transmits an RGB color component, which is a visible light component, it may be a filter in which the sensitivity to any one of the visible light component, that is, the RGB color component, is set to be higher than the sensitivity to the invisible light component. On the contrary, in the case of a filter which preferentially transmits the non-visible light component, it may be a filter in which the sensitivity to the invisible light component, that is, the infrared component is set to be higher than the sensitivity to the visible light component, that is, the RGB color component.

도 2b는 이러한 각 필터들의 가시광 성분 및 비가시광 성분에 대한 감도를 보이고 있는 것이다. 여기서 도 2b의 (a)는 필터들(200) 중 어느 하나에 대한 예를 보이고 있는 것이고, 도 2b의 (b)는 필터(210)의 예를 보이고 있는 것이다. FIG. 2B shows the sensitivities of the visible light component and the non-visible light component of each of the filters. Here, FIG. 2 (a) shows an example of one of the filters 200, and FIG. 2 (b) shows an example of the filter 210. FIG.

이에 따라 본 발명의 기본 배열을 이루는 복수의 광소자 각각에서는 가시광 성분, 즉 RGB 컬러 중 어느 하나의 성분에 대응되는 광과, 비가시광 성분에 대응되는 광이 모두 감지될 수 있다. 그러나 필터의 감도가 서로 다르므로 복수의 광소자 각각에서 감지되는 값은, 같은 동일한 가시광 또는 비가시광이라고 할지라도 서로 다를 수 있다. Accordingly, in each of the plurality of optical elements constituting the basic arrangement of the present invention, light corresponding to any one of visible light components, that is, RGB color, and light corresponding to an invisible light component can be detected. However, since the sensitivities of the filters are different from each other, the values sensed in each of the plurality of optical elements may be different from each other even if they are the same visible light or invisible light.

즉, 필터들(200)의 경우 가시광 성분인 RGB 컬러 중 어느 하나의 성분을 우선하여 감지하므로, 필터들(200)에 각각 대응되는 광소자들의 경우, RGB 컬러 중 어느 한 성분의 세기를 우선 감지하고, 감지 가능한 최대 허용치(예를 들어 255 - RGB 컬러의 각 성분의 최대값이 255이기 때문)의 남은 부분에서 비가시광 성분의 세기를 감지할 수 있다. 그리고 필터(210)의 경우 비가시광 성분인 적외선 성분을 우선하여 감지하므로, 필터(210)에 대응되는 광소자의 경우, 적외선 성분의 세기를 우선 감지하고, 감지 가능한 최대 허용치의 남은 부분에서 가시광 성분 중 어느 하나의 성분을 감지할 수 있다. In other words, in the case of the filters 200, any one of the RGB colors, which are visible light components, is preferentially sensed. Therefore, in the case of the optical elements corresponding to the filters 200, , And can detect the intensity of the invisible light component in the remaining portion of the maximum detectable value (for example, the maximum value of each component of the 255 - RGB color is 255). In the case of the filter 210, since the infrared component which is an invisible light component is preferentially detected, in the case of the optical element corresponding to the filter 210, the intensity of the infrared component is detected first, Any one component can be detected.

제어부(controller, 100)는 본 발명의 실시 예에 따른 카메라의 전반적인 동작을 제어한다. 제어부(100)는 상기 비가시광 조사부(120)를 제어하여 일정 시간 간격으로 특정 구조광 패턴을 가지는 비가시광이 점멸되어 대상 사물에 조사되도록 한다. 그리고 제어부(100)는 상기 비가시광이 온-오프를 반복하는 점멸 주기에 근거하여, 상기 수광부(110)의 각 광소자들이, 상기 비가시광이 온 된 상태일 때에 감지한 값과, 상기 비가시광이 오프된 상태일 때에 감지한 값의 차이를 산출한다. 이에 따라 제어부(100)는 수광부(110)의 각 광소자들에서 감지된 비가시광 성분을 감지할 수 있다. A controller 100 controls the overall operation of the camera according to an embodiment of the present invention. The controller 100 controls the non-visible light irradiating unit 120 so that non-visible light having a specific structured light pattern blinks at predetermined time intervals to be irradiated onto the object. Then, the control unit 100 determines whether or not the optical elements of the light receiving unit 110 detect the non-visible light when the non-visible light is on, based on the blink period in which the non-visible light is repeatedly turned on and off, The difference between the detected values is calculated. Accordingly, the controller 100 can sense non-visible light components detected by the optical elements of the light receiving unit 110.

따라서 본 발명의 실시 예에 따른 카메라에서는, 수광부(110)의 모든 광소자에서 비가시광 성분을 감지할 수 있다. 이에 따라 상기 비가시광 성분에 포함된 구조광 패턴의 정보 역시 손실없이 감지될 수 있다. 그러므로 본 발명의 실시 예에 따른 카메라에서는, 보다 정확한 깊이감(depth) 정보를 획득할 수 있으므로, 대상 사물에 대해 보다 사실적인 입체감을 줄 수 있는 이미지를 획득할 수 있다. Therefore, in the camera according to the embodiment of the present invention, non-visible light components can be detected in all the optical elements of the light receiving unit 110. Accordingly, information on the structured light pattern included in the invisible light component can be detected without loss. Therefore, in the camera according to the embodiment of the present invention, it is possible to acquire more accurate depth information, so that it is possible to obtain an image that can give a more realistic sense of depth to a target object.

한편, 제어부(100)는 광소자 중 일부에서 감지된 비가시광 성분들에 대해 기 설정된 가중치를 부여할 수도 있다. 이는 상술한 바와 같이 각각의 광소자에 감지 가능한 최대 허용치(예를 들어 255)가 미리 정해져 있음에 따라 비가시광 성분의 세기가 충분히 감지되지 못하는 경우가 있을 수 있기 때문이다. 즉, 예를 들어 비가시광이 대상 물체에 조사될 때에 필터들(200) 중 'R+ir'필터에서 투과되는 광이, R 성분의 세기가 '230'이고, ir 성분의 세기가 '60'인 광이라면, 상기 'R+ir'필터에 대응되는 광소자에서는 최대 허용치인 '255'가 감지될 수 있다. 그리고 이 경우 비가시광이 대상 물체에 조사되지 않을 때라면, 상기 'R+ir'필터에서는 비가시광이 조사되지 않은 상태, 즉 오프된 상태이므로, R 성분의 세기가 '230'인 광만 투과된다. 따라서 이러한 경우, 양 감지값의 차이를 구하면, '25'가 되므로, 제어부(100)는 상기 'R+ir'필터에 대응되는 광소자의 비가시광 성분의 값으로 '25'를 추출할 수 있다. Meanwhile, the controller 100 may assign a predetermined weight to non-visible light components detected in a part of the optical elements. This is because, as described above, the maximum allowable value (for example, 255) that can be sensed in each optical element is predetermined, so that the intensity of the invisible light component may not be sufficiently detected. That is, for example, when the non-visible light is irradiated on the object, the light transmitted through the 'R + ir' filter of the filters 200 has the intensity of the R component of '230' , The maximum allowable value '255' can be detected in the optical device corresponding to the 'R + ir' filter. In this case, when the invisible light is not irradiated to the object, only the light having the intensity of R component of '230' is transmitted through the 'R + ir' filter because the invisible light is not irradiated. In this case, when the difference between the two detection values is found, the control unit 100 can extract '25' as the value of the invisible light component of the optical device corresponding to the 'R + ir' filter.

따라서 실제 투과된 비가시광 성분보다 작은 값이 감지될 수 있다. 이에 따라 제어부(100)는 이를 보완하기 위해 기 설정된 가중치를 상기 추출된 비가시광 성분에 부여할 수 있다. 예를 들어 제어부(100)는 비가시광이 대상 물체에 조사될 때에, 가시광 성분을 우선적으로 감지하는 광소자들(이하 제1 광소자들이라고 칭한다)의 감지값이 '최대 허용치'인 경우, 이를 이용하여 추출되는 비가시광 성분에 가중치가 부여되도록 할 수 있다. Therefore, a value smaller than the actually transmitted non-visible light component can be sensed. Accordingly, the controller 100 may assign a predetermined weight to the extracted non-visible light component to compensate for the above. For example, when the non-visible light is irradiated on a target object, the control unit 100 determines that the detection value of the optical elements (hereinafter, referred to as first optical elements) that preferentially detect the visible light component is the 'maximum allowable value' Visible light component extracted using the weighting factor can be weighted.

또한 가중치는, 실험에 의해 통계적으로 밝혀진 수치에 의해 결정될 수도 있다. 예를 들어 RGB 컬러 중 많이 사용되는 컬러 성분의 경우, 상기한 경우에서처럼 그 성분이 세게 감지되는 경우가 많으므로, 가중치를 보다 높게 설정하고, 적게 사용되는 컬러 성분의 경우 가중치를 보다 낮게 설정되도록 할 수도 있다. 또는 상기 가중치는, 비가시광이 대상 물체에 조사되지 않을 때에, 가시광 성분을 우선적으로 감지하는 광소자들에서 감지된 광의 세기, 즉, 순수한 가시광의 성분의 세기에 따라 그 크기가 결정될 수도 있다. The weights may also be determined by numerical values determined statistically by experiments. For example, in the case of a color component commonly used in RGB colors, since the component is frequently detected as in the above case, the weight is set to be higher and the weight is set to be lower in the case of less used color components It is possible. Alternatively, when the non-visible light is not irradiated to the object, the weight may be determined according to the intensity of the light sensed by the optical elements that preferentially sense the visible light component, that is, the intensity of the element of pure visible light.

예를 들어, 비가시광이 대상 물체에 조사되지 않을 때에 광소자들에게서 감지된 값은, 비가시광 성분이 포함되지 않은 가시광 성분의 세기값이다. 이 경우, 가시광 성분의 세기가 크면 상대적으로 비가시광 성분의 세기는 조금밖에 측정될 수 없다. 이에 따라 제어부(100)는 가시광 성분의 세기가 크게 감지될수록, 추출되는 비가시광 성분에 부여되는 가중치를 높게 설정할 수 있다. For example, the value sensed by the optical elements when the invisible light is not irradiated to the object is the intensity value of the visible light component not including the invisible light component. In this case, if the intensity of the visible light component is large, the intensity of the invisible light component can be measured only slightly. Accordingly, as the intensity of the visible light component is greatly sensed, the controller 100 can set a weight to be given to the extracted non-visible light component to be high.

한편, 만약 가시광 성분의 세기가 최대 허용치인 경우라면(예를 들어 '255'인 경우) 비가시광 성분이 아예 측정되지 못할 수도 있음은 물론이다. 이러한 경우 제어부(100)는 비가시광 성분의 값이 '0'인 경우, 인접한 다른 광소자들에서 감지되는 비가시광 성분의 값을 이용하여 이를 보간할 수도 있음은 물론이다. 즉, 예를 들어 가시광 성분을 우선적으로 감지하는 광소자들(제1 광소자들)의 경우, 이러한 경우가 발생할 수 있는데, 이러한 경우 제어부(100)는 인접한 다른 광소자, 예를 들어 비가시광 성분을 우선적으로 감지하는 광소자들(이하 제2 광소자들이라고 한다)에서 감지된 비가시광 성분의 감지값들의 평균을 산출하여 보간값을 산출할 수도 있다. On the other hand, if the intensity of the visible light component is the maximum allowable value (for example, '255'), the non-visible light component may not be measured at all. In this case, when the value of the non-visible light component is '0', the controller 100 may interpolate the value of the non-visible light component sensed by the adjacent optical elements. That is, for example, in the case of optical elements (first optical elements) that preferentially sense a visible light component, this case may occur. In this case, the control unit 100 may detect the presence of other adjacent optical elements, (Hereinafter, referred to as " second optical elements ") that sense the light in the first direction, and calculate the interpolated value by calculating an average of the detected values of the non-visible light component.

뿐만 아니라 제어부(100)는 상기 제1 광소자들의 비가시광 성분을, 상기 비가시광이 가지는 구조광 패턴의 해상도에 따라 결정되도록 할 수도 있다. 여기서 구조광 패턴의 해상도라고 하는 것은, 사물로부터 반사된 비가시광의 구조광 패턴에 대한 정보를 생성하기 위해 비가시광 성분의 값을 검출할 광소자들의 개수가 될 수 있다. In addition, the controller 100 may determine the non-visible light component of the first optical elements according to the resolution of the structured light pattern of the non-visible light. Here, the resolution of the structured light pattern may be the number of optical elements to detect the value of the invisible light component to generate information on the structured light pattern of the non-visible light reflected from the object.

제어부(100)는 구조광 패턴의 해상도가 충분히 큰 경우, 제1 광소자들 각각에 인접한 제2 광소자들의 감지값들을 이용하여 보간값들을 산출하고 산출된 보간값들을 제1 광소자들에서 감지된 비가시광의 감지값으로 결정할 수도 있다. When the resolution of the structured light pattern is sufficiently large, the controller 100 calculates interpolation values using the sensing values of the second optical elements adjacent to the first optical elements, and detects the calculated interpolation values in the first optical elements It may be determined as the detection value of the non-visible light.

또는 이와 반대로, 구조광 패턴의 크기가 충분히 작지 않을 경우 상술한 바와 같이, 제1 광소자들 각각으로부터 비가시광이 온 된 상태에서 감지된 광의 세기와, 비가시광이 오프 된 상태에서 감지된 광의 세기의 차를 구하여, 상기 제1 광소자들 각각의 비가시광의 성분을 검출할 수도 있다. On the contrary, when the size of the structured light pattern is not sufficiently small, as described above, the intensity of the light sensed in the state in which the non-visible light is turned on from each of the first optical elements and the intensity of light sensed in the non- Visible light component of each of the first optical elements may be detected.

이는 구조광 패턴 해상도의 크기가 충분히 큰 경우(예를 들어 기본 배열을 이루는 광소자들의 한 배열에 해당되는 크기보다 큰 경우), 비가시광 성분을 우선적으로 감지하는 광소자가 적어도 하나 이상 포함될 수 있으므로 단순히 보간을 하는 것만으로도 구조광 패턴 정보의 손실이 그리 크지 않을 수 있기 때문이다. This is because if the size of the structured light pattern resolution is sufficiently large (for example, the size is larger than a size corresponding to one array of optical elements forming the basic array), simply at least one optical element for preferentially detecting the non- This is because the loss of the structured light pattern information may be insignificant even by interpolation.

한편, 메모리(130)는 이러한 제어부(100)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 가중치에 대한 정보, 구조광 패턴의 크기에 대한 정보, 또는 제1 광소자들의 비가시광이 온 된 상태와 비가시광이 오프 된 상태에서 각각 감지된 광의 세기에 대한 정보등)을 임시 저장할 수도 있다. The memory 130 may store a program for the operation of the controller 100 and may store data input / output (for example, information on weight, information on the size of the structured light pattern, Information about the intensity of the light sensed by the non-visible light of the optical elements and the state of the non-visible light of the optical elements, respectively).

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. According to a software implementation, embodiments such as the procedures and functions described herein may be implemented with separate software modules. Each of the software modules may perform one or more of the functions and operations described herein.

소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(130)에 저장되고, 제어부(100)에 의해 실행될 수 있다.The software code may be implemented in a software application written in a suitable programming language. The software code is stored in the memory 130 and can be executed by the control unit 100. [

이하, 도면을 참조하여 본 발명의 실시 예에 따른 카메라의 제어 방법을 구체적으로 설명한다. Hereinafter, a method of controlling a camera according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 3은 본 발명의 일 실시 예에 따른 카메라에서 대상 사물의 입체적인 특성을 감지하는 동작 과정을 도시한 흐름도이다. FIG. 3 is a flowchart illustrating an operation of sensing three-dimensional characteristics of a target object in a camera according to an embodiment of the present invention.

도 3을 참조하여 살펴보면, 본 발명의 실시 예에 따른 카메라의 제어부(100)는 대상 사물에 대해 비가시광을 조사한다(S300). 상기 S300 단계에서 제어부(100)는 일정 시간 간격을 주기로 비가시광의 온-오프가 반복되도록 하여 대상 사물에 대해 점멸되는 비가시광을 생성한다.Referring to FIG. 3, the controller 100 of the camera according to the embodiment of the present invention irradiates non-visible light to a target object (S300). In step S300, the controller 100 repeats the non-visible light on and off at a predetermined time interval to generate non-visible light blinking on the object.

그리고 제어부(100)는 상기 대상 사물로부터 반사되는 가시광 및 비가시광을 감지한다(S302). S302 단계에서 제어부(100)는 수광부(110)를 통해 상기 S300 단계에서 점멸하는 비가시광에 따라, 비가시광이 온 된 상태 및 비가시광이 오프된 상태에서 상기 대상 사물로부터 반사되는 가시광 및 비가시광을 감지한다. 이에 따라 수광부(110)에서는 상기 비가시광의 점멸 주기에 근거하여 가시광 성분만 감지되거나 또는 가시광 및 비가시광이 합쳐진 광성분이 감지될 수 있다. Then, the controller 100 detects visible light and invisible light reflected from the object (S302). In step S302, the controller 100 controls the light receiving unit 110 to emit visible light and non-visible light reflected from the target object in a state in which the non-visible light is turned on and the non-visible light is turned off according to the non-visible light blinking in step S300 Detection. Accordingly, in the light receiving unit 110, only a visible light component is detected based on the blinking period of the non-visible light, or an optical component in which visible light and invisible light are combined can be detected.

한편 제어부(100)는, 상기 S302 단계에서 각 광소자들에 감지된 감지값들을 상기 비가시광의 점멸 주기에 따라 동기화한다(S304). 이에 따라 제어부(100)는 각각의 비가시광의 점멸 주기에 감지된 가시광 성분 또는 가시광 및 비가시광이 합쳐진 광성분을 동기화할 수 있다. 그리고 제어부(100)는 각 점멸 주기에서, 비가시광이 온 된 상태에서 각 광소자들에 감지된 값들로부터, 비가시광이 오프된 상태에서 각 광소자들에 감지된 값들의 차를 구한다. 즉 제어부(100)는 가시광 및 비가시광이 합쳐진 광성분의 세기와 가시광 성분의 세기의 차를 구함으로써, 각 광소자들의 비가시광 성분을 추출할 수 있다(S306). Meanwhile, the controller 100 synchronizes the sensed values sensed by the optical elements in step S302 according to the blinking period of the non-visible light (S304). Accordingly, the controller 100 can synchronize the visible light components detected during the blinking periods of the respective invisible light, or the light components combined with the visible light and the non-visible light. Then, the control unit 100 obtains the difference between the values sensed by the optical elements in the state where the invisible light is off from the values sensed by the optical elements in the non-visible light state in each blink period. In other words, the controller 100 can extract the invisible light component of each optical element by calculating a difference between the intensity of the visible light component and the intensity of the light component in which the visible light and the non-visible light are combined (S306).

도 4는 이러한 본 발명의 일 실시 예에 따른 카메라에서, 복수의 광소자들에서 감지된 값으로부터 비가시광 성분을 추출하는 예를 도시한 개념도이다. FIG. 4 is a conceptual diagram illustrating an example of extracting an invisible light component from a value sensed by a plurality of optical elements in a camera according to an embodiment of the present invention.

도 4를 참조하여 살펴보면, 도 4의 (a)는 비가시광이 온 된 상태에서 복수의 광소자들에 감지되는 광 성분의 세기를 나타내고 있는 것이다. 이러한 경우, 즉 비가시광이 온 된 상태에서는 비가시광 조사부(120)에서 조사된 비가시광이 대상 사물에 반사되어 수광부(110)에 입사되므로, 도 4의 (a)에서 보이고 있는 것과 같이, 각 광소자들에서는 비가시광 성분, 즉 적외선(ir) 성분이 가시광 성분에 포함될 수 있다. Referring to FIG. 4, FIG. 4 (a) shows intensity of a light component detected by a plurality of optical elements in a state where non-visible light is on. In this case, that is, when the non-visible light is turned on, the non-visible light irradiated by the non-visible light irradiating unit 120 is reflected by the target object and is incident on the light receiving unit 110. As shown in FIG. In the elements, an invisible light component, that is, an infrared (ir) component, may be included in the visible light component.

그러나 만약 비가시광이 오프된 상태에서는, 비가시광이 대상 사물에서 반사되지 않으므로, 수광부(110)에 비가시광이 입사되지 않는다. 이에 따라 도 4의 (b)에서 보이고 있는 것과 같이, 각 광소자들에서는 가시광 성분, 즉 RGB 컬러 성분 중 어느 하나의 성분에 대한 세기가 감지될 수 있다. However, if the non-visible light is off, the non-visible light is not reflected by the object, and therefore, the non-visible light is not incident on the light receiving unit 110. Accordingly, as shown in FIG. 4 (b), the intensity of any one of visible light components, that is, RGB color components, can be detected in each optical device.

따라서 비가시광이 온 된 상태에서 각 광소자에서 감지된 광성분의 세기와, 비가시광이 오프된 상태에서 각 광소자에서 감지된 광성분의 세기의 차를 구하면, 도 4의 (c)에서 보이고 있는 것과 같이 각 광소자에서 감지된 비가시광 성분을 검출할 수 있다. Therefore, when the difference between the intensities of the light components sensed by the respective optical elements and the intensities of the light components sensed by the respective optical elements in the state where the invisible light is off in a state where the nonvisible light is on is obtained, It is possible to detect the non-visible light component sensed by each optical element.

예를 들어 도 4의 (c)에서 'irg'는, 도 4의 (a)에서 RGB 성분의 G 성분과 비가시광 성분이 포함된 광의 감지값에서, G 성분의 감지값을 차감한 값으로, 가시광에 대한 감도가 비가시광에 대한 감도보다 더 높은 광소자(제1 광소자)에서 감지된 비가시광 성분의 값이다. 그리고 'IR'은, 도 4의 (a)에서 비가시광 성분을 우선적으로 감지한 값과 약간의 가시광 성분의 값(rgb : RGB 값중 기 설정된 어느 한 성분의 값)에서 가시광 성분의 값을 차감한 값으로, 비가시광에 대한 감도가 가시광에 대한 감도보다 더 높은 광소자(제2 광소자)에서 감지된 비가시광 성분의 값이다. For example, 'ir g' in FIG. 4 (c) is a value obtained by subtracting the detection value of the G component from the detection value of light including the G component and the non-visible light component of the RGB component in FIG. 4 (a) Visible light component detected in an optical element (first optical element) whose sensitivity to visible light is higher than sensitivity to invisible light. IR 'is obtained by subtracting the value of the visible light component from a value obtained by preferentially detecting the non-visible light component and a value of a small amount of visible light component (rgb: a predetermined value of RGB component) Value of the invisible light component detected in the optical element (second optical element) whose sensitivity to invisible light is higher than sensitivity to visible light.

이처럼 모든 광소자들로부터 비가시광 성분이 추출되면, 제어부(100)는 추출된 비가시광 성분으로부터 구조광 패턴의 정보를 생성하여 상기 대상 사물의 입체적 형상에 대한 정보, 즉 입체적인 공간감을 느끼게 하는 깊이감(depth) 정보를 추정할 수 있다. 이러한 경우, 본 발명에서는 상술한 바와 같이 소실없이 모든 광소자들이 감지한 비과시광 성분을 추출하는 것이 가능하므로 보다 정확한 구조광 패턴 정보를 생성할 수 있고, 이에 따라 보다 정확하게 상기 깊이감(depth) 정보를 추정할 수 있다. When the non-visible light components are extracted from all the optical elements, the controller 100 generates information on the structured light pattern from the extracted non-visible light components, and obtains information on the three-dimensional shape of the object, it is possible to estimate the depth information. In this case, according to the present invention, it is possible to extract non-visible light components sensed by all the optical elements without loss, as described above, so that more accurate structured light pattern information can be generated, Information can be estimated.

한편, 수광부(110)의 광소자들 중, 제1 광소자들의 경우, 가시광 성분에 대한 감도가 비가시광 성분에 대한 감도보다 높으므로, 가시광 성분의 세기가 강하면, 비가시광 성분이 적게 감지되거나 또는 감지되지 못하는 경우가 있을 수 있음을 앞서 밝힌 바 있다. 이러한 경우, 본 발명의 실시 예에 따른 카메라의 제어부(100)는, 상술한 바와 같이 기 설정된 가중치를 상기 S306 단계에서 추출된 비가시광 성분의 값들 중 제1 광소자들로부터 추출된 값들에 부여할 수도 있다. 이 경우, 상기 가중치가 부여된 제1 광소자들의 비가시광 성분값들과, S306 단계에서 추출된 가중치가 부여되지 않은 제2 광소자들의 비가시광 성분값들로부터 제어부(100)는 구조광 패턴의 정보를 생성할 수 있고, 상기 대상 사물의 입체적 형상에 대한 정보를 추정할 수 있다. On the other hand, in the case of the first optical elements among the optical elements of the light receiving section 110, since the sensitivity to the visible light component is higher than the sensitivity to the invisible light component, if the intensity of the visible light component is strong, I have previously stated that it may not be detected. In this case, the controller 100 of the camera according to the embodiment of the present invention assigns predetermined weights to the values extracted from the first optical elements among the values of the non-visible light components extracted in step S306 It is possible. In this case, the non-visible light component values of the weighted first optical elements and the non-visible light component values of the second optical elements, which are not weighted in step S306, And information on the three-dimensional shape of the object can be estimated.

한편 이처럼 가중치를 부여하는 것과는 달리, 제어부(100)는 제1 광소자들 각각에 인접한 제2 광소자들의 비가시광 성분의 감지값들을 이용하여 상기 제1 광소자들의 비가시광 성분을 보간한 값을 산출하고, 상기 산출된 보간값과, 상기 S306 단계에서 추출된 제1 광소자들의 비가시광 성분의 값들을 각각 비교하여 그중 큰 값이 상기 제1 광소자달의 비가시광 성분값으로 결정되도록 할 수도 있다. On the other hand, the control unit 100 uses the values of non-visible light components of the second optical elements adjacent to each of the first optical elements to interpolate the non-visible light components of the first optical elements, The calculated interpolated value and the nonvisible light component values of the first optical elements extracted in step S306 are compared with each other so that a larger value thereof may be determined as an invisible light component value of the first optical element month have.

도 5는 이러한 본 발명의 일 실시 예에 따른 카메라에서 복수의 광소자들 중 일부의 비가시광 성분을 결정하는 동작 과정을 도시한 흐름도이다. 5 is a flowchart illustrating an operation of determining a non-visible light component of a part of a plurality of optical elements in a camera according to an embodiment of the present invention.

도 5를 참조하여 살펴보면, 본 발명의 실시 예에 따른 카메라의 제어부(100)는 상기 S306 단계에서 각 광소자들의 비가시광 성분들이 추출되면, 제1 광소자들 각각에 인접한 제2 광소자들의 감지값들로부터, 상기 제1 광소자들 각각의 비가시광 성분들에 대한 보간값을 산출한다(S500). 상기 S500 단계에서 제어부(100)는, 상기 보간값을 산출하기 위해, 인접한 제2 광소자들에서 감지된 비가시광 성분의 평균값을 산출할 수도 있다. 5, when the non-visible light components of the respective optical elements are extracted in step S306, the controller 100 of the camera according to the embodiment of the present invention detects the second optical elements adjacent to each of the first optical elements (S500), the interpolation value for the invisible light components of each of the first optical elements is calculated. In step S500, the controller 100 may calculate an average value of the invisible light components detected by the adjacent second optical elements to calculate the interpolation value.

상기 S500 단계에서 제1 광소자들 각각에 대한 보간값이 산출되면, 제어부(100)는 제1 광소자들 각각에 대해 상기 S306 단계에서 추출된 비가시광의 성분값과 상기 S500 단계에서 산출된 보간값을 비교한다. 그리고 둘 중 큰 값을 제1 광소자들에 대한 비가시광의 성분값으로 결정한다(S502). 그리고 제어부(100)는 상기 결정된 제1 광소자들에 대한 비가시광의 성분값과, 상기 S306 단계에서 추출된 제2 광소자들의 성분값에 근거하여 상기 대상 사물에 반사된 비가시광의 구조광 패턴에 대한 정보를 생성할 수 있고, 상기 대상 사물의 입체적 형상에 대한 정보를 추정할 수 있다(S504). If the interpolation value for each of the first optical elements is calculated in step S500, the controller 100 determines whether the non-visible light component value extracted in step S306 and the interpolation value calculated in step S500 Compare the values. Then, a larger value of the two is determined as the component value of the non-visible light for the first optical elements (S502). In addition, the control unit 100 may calculate a structural light pattern of the invisible light reflected on the object based on the component values of the non-visible light for the first optical elements determined and the component values of the second optical elements extracted in step S306, And information on the three-dimensional shape of the object can be estimated (S504).

한편 상술한 설명에서는 제어부(100)가 비가시광의 구조광 패턴 해상도의 크기를 감지할 수 있음을 언급한바 있다. 즉, 제어부(100)는 구조광 패턴의 해상도가 충분히 큰 경우, S306 단계의 계산 과정을 생략하고, 단순히 제2 광소자들에서 감지된 값들로, 각 제1 광소자들의 비가시광 성분값들을 보간하고, 보간된 제1 광소자들의 비가시광 성분값들과, 상기 제2 광소자들의 감지값들을 이용하여 상기 대상 사물에 반사된 비가시광의 구조광 패턴에 대한 정보를 생성할 수도 있다. Meanwhile, in the above description, it is mentioned that the controller 100 can detect the size of the structured light pattern resolution of the non-visible light. That is, when the resolution of the structured light pattern is sufficiently large, the control unit 100 omits the calculation process of step S306, and simply interpolates non-visible light component values of the first optical elements with the values sensed by the second optical elements Visible light component values of the interpolated first optical elements and detection values of the second optical elements to generate information on the structured light pattern of the non-visible light reflected on the object.

도 6은 이러한 경우에 본 발명의 일 실시 예에 따른 카메라에서 비가시광의 구조광 패턴 해상도에 따라 대상 사물의 입체적인 특성을 감지하는 동작 과정을 도시한 흐름도이다. FIG. 6 is a flowchart illustrating an operation of detecting a stereoscopic characteristic of an object according to a structured light pattern resolution of non-visible light in a camera according to an exemplary embodiment of the present invention.

도 6을 참조하여 살펴보면, 제어부(100)는 S302 단계에서 대상 사물로부터 반사되는 가시광 및 비가시광이 감지되면, 상기 비가시광을 감지한 복수의 광소자들로부터 상기 비가시광의 구조광 패턴 해상도를 감지할 수 있다. 또는 제어부(100)는, 비가시광 조사부(120)에서 특정 구조광 패턴을 가진 비가시광이 상기 사물에 조사될 때 미리 상기 구조광 패턴에 대한 정보를 가지고 있을 수도 있다. 6, when the visible light and the non-visible light reflected from the target object are sensed in step S302, the controller 100 detects the structural light pattern resolution of the invisible light from the plurality of optical elements that have sensed the invisible light can do. Alternatively, the control unit 100 may have information on the structured light pattern in advance when non-visible light having a specific structured light pattern is irradiated on the object in the non-visible light irradiating unit 120.

이러한 경우 제어부(100)는 상기 감지된 구조광 패턴 해상도가 기 설정된 크기 이상인지 여부를 판단한다(S600). 그리고 상기 구조광 패턴 해상도가 기 설정된 크기 미만인 경우, 제어부(100)는 S304 단계로 진행하여 비가시광의 점멸 주기에 따라 제1 광소자들 및 제2 광소자들로부터 감지된 값들을 동기화하고, 상기 S306 단계에서 S308 단계에 이르는 과정을 진행한다. 이는 구조광 패턴의 해상도가 충분히 크지 않을 경우, 비가시광 성분의 감도가 상대적으로 낮은 제1 광소자들만으로부터 비가시광 정보가 추출될 수 있고 이러한 경우 해당 영역에 대한 구조광 패턴 정보가 소실될 우려가 있기 때문이다. In this case, the controller 100 determines whether the detected structural light pattern resolution is greater than a preset size (S600). If the structured light pattern resolution is less than the predetermined size, the controller 100 proceeds to step S304 to synchronize the sensed values from the first optical elements and the second optical elements according to the blinking period of the non-visible light, The process advances from step S306 to step S308. If the resolution of the structured light pattern is not sufficiently large, invisible light information can be extracted from only the first optical elements having relatively low sensitivity of the invisible light component, and in this case, there is a fear that the structured light pattern information for the corresponding area is lost It is because.

그러나 상기 S600 단계의 판단 결과, 비가시광의 구조광 패턴 해상도의 크기가 기 설정된 크기 이상인 경우라면, 제어부(100)는 계산량을 줄이기 위해 S306 단계의 과정을 진행하지 않고 현재 감지된 값만을 이용하여 대상 사물로부터 반사된 비가시광의 구조광 패턴에 대한 정보를 생성할 수도 있다. 이러한 경우 제어부(100)는 비가시광 성분의 감도가 가시광 성분의 감도보다 높은 제2 광소자들의 감지값들로부터, 제1 광소자들 각각의 비가시광 성분값을 보간한다(S602). 그리고 산출된 각 제1 광소자들의 보간값들과, 제2 광소자들에서 감지된 감지값들로부터, 상기 대상 사물로부터 반사된 비가시광 성분의 구조광 패턴에 대한 정보를 생성한다(S604). 이는 구조광 패턴의 해상도가 충분히 큰 경우, 제2 광소자들이 적어도 하나이상 각각 포함될 수 있으므로 단순히 보간을 하는 것만으로도 구조광 패턴 정보의 손실이 그리 크지 않을 수 있기 때문이다. However, if it is determined in step S600 that the size of the structured light pattern resolution of the non-visible light is greater than a preset size, the controller 100 may not perform the process of step S306 to reduce the calculation amount, Information on a structured light pattern of non-visible light reflected from an object may be generated. In this case, the controller 100 interpolates the non-visible light component values of the first optical elements from the sensed values of the second optical elements whose sensitivity of the invisible light component is higher than that of the visible light component (S602). In operation S604, information on the structural light pattern of the non-visible light component reflected from the object is generated from the calculated interpolation values of the first optical elements and the sensed values sensed by the second optical elements. This is because, if the resolution of the structured light pattern is sufficiently large, since at least one or more second optical elements may be included, the structural light pattern information loss may not be very large even by merely performing the interpolation.

또한, 본 명세서에 개시된 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RaM, cd-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.Further, according to the embodiment disclosed herein, the above-described method can be implemented as a code that can be read by a processor on a medium on which the program is recorded. Examples of the medium that can be read by the processor include ROM, RaM, cd-ROM, magnetic tape, floppy disk, optical data storage, etc., and may be implemented in the form of a carrier wave (e.g., transmission over the Internet) .

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시 예에서는 비가시광의 예로 적외선(Ir) 만을 언급하였으나, 얼마든지 다양한 형태의 비가시광이 사용될 수 있음은 물론이다. While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention. In particular, in the embodiment of the present invention, only the infrared ray (Ir) is mentioned as an example of non-visible light, but it is needless to say that various types of non-visible light can be used.

이처럼 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the essential characteristics thereof. Therefore, the embodiments disclosed in the present invention are not intended to limit the scope of the present invention but to limit the scope of the technical idea of the present invention. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

Claims (12)

대상 사물에서 반사되는 특정 구조광 패턴의 비가시광을 이용하여 사물의 입체적 형상을 감지하기 위한 카메라에 있어서,
상기 특정 구조광 패턴을 가지는 비가시광을 점멸하여 상기 사물에 조사하는 비가시광 조사부;
상기 사물에 반사되는 가시광 및 상기 점멸하는 비가시광을 감지하는 복수의 광소자들을 포함하는 수광부; 및,
상기 복수의 각 광소자가, 상기 비가시광이 상기 사물에 조사된 상태에서 감지한 값과, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서 감지한 값의 차를 산출하여 상기 복수의 광소자 각각에 대한 비가시광 성분값을 추출하며, 추출된 비가시광 성분값으로부터 상기 사물에서 반사된 특정 구조광 패턴에 대한 정보를 생성하는 제어부를 포함하는 것을 특징으로 하는 카메라.
1. A camera for sensing a three-dimensional shape of an object using non-visible light of a specific structured light pattern reflected from the object,
A non-visible light irradiator for blinking non-visible light having the specific structured light pattern to irradiate the object with the visible light;
A light receiving unit including a plurality of optical elements for sensing the visible light reflected on the object and the non-visible visible light; And
Wherein each of the plurality of optical elements calculates a difference between a value sensed when the invisible light is irradiated on the object and a value sensed when the invisible light is not irradiated on the object, And a controller for extracting a non-visible light component value for the object and generating information on a specific structured light pattern reflected from the object from the extracted non-visible light component value.
제1항에 있어서, 상기 복수의 광소자는,
가시광 성분을 비가시광 성분보다 우선적으로 감지하는 제1 광소자들과, 비가시광 성분을 가시광 성분보다 우선적으로 감지하는 제2 광소자들을 포함하는 것을 특징으로 하는 카메라.
The optical information recording medium according to claim 1,
A first optical element for preferentially sensing a visible light component relative to an invisible light component and a second optical element for preferentially sensing an invisible light component relative to a visible light component.
제2항에 있어서, 상기 제어부는,
상기 복수의 광소자 각각으로부터 추출된 비가시광 성분값들 중, 상기 제1 광소자들에 대응되는 비가시광 성분들에 대해, 기 설정된 가중치를 부여하는 것을 특징으로 하는 카메라.
3. The apparatus of claim 2,
Visible light components corresponding to the first optical elements among non-visible light component values extracted from each of the plurality of optical elements.
제3항에 있어서, 상기 제어부는,
상기 각 제1 광소자들이, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서 감지한 값에 근거하여, 상기 제1 광소자들마다 상기 가중치의 크기를 결정하는 것을 특징으로 하는 카메라.
The apparatus of claim 3,
Wherein each of the first optical elements determines the magnitude of the weight for each of the first optical elements based on a value sensed while the non-visible light is not irradiated on the object.
제3항에 있어서, 상기 제어부는,
인접한 제2 광소자들에서 감지된 값들을 이용하여 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값을 더 산출하고,
상기 산출된 보간값과, 상기 가중치가 부여된 비가시광 성분의 값을 비교하여 큰 값으로 상기 복수의 광소자 중 제1 광소자들 각각의 비가시광 성분값을 결정하는 것을 특징으로 하는 카메라.
The apparatus of claim 3,
Visible light component of each of the first optical elements by using values sensed by adjacent second optical elements,
Wherein the non-visible light component value of each of the plurality of optical devices is determined by comparing the calculated interpolation value with a value of the weighted non-visible light component.
제3항에 있어서, 상기 제어부는,
상기 비가시광이 가지는 구조광 패턴의 해상도의 크기를 판단하고,
인접한 제2 광소자들에서 감지된 값들을 이용하여 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값을 산출 및,
상기 감지된 구조광 패턴의 해상도 크기에 근거하여, 상기 산출된 보간값 또는 상기 가중치가 부여된 비가시광 성분값 중 어느 하나로 상기 복수의 광소자 중 제1 광소자들 각각의 비가시광 성분값을 결정하는 것을 특징으로 하는 카메라.
The apparatus of claim 3,
Determining the size of the resolution of the structured light pattern of the invisible light,
Calculating an interpolation value for an invisible light component of each of the first optical elements using values sensed by adjacent second optical elements,
Visible light component value of each of the first optical elements among the plurality of optical elements is determined based on the resolution magnitude of the detected structured light pattern by using the calculated interpolated value or the weighted non-visible light component value And a camera.
대상 사물에서 반사되는 특정 구조광 패턴의 비가시광을 이용하여 사물의 입체적 형상을 감지하기 위한 카메라의 제어 방법에 있어서,
상기 특정 구조광 패턴을 가지는 비가시광을 점멸하여 상기 사물에 조사하는 단계;
상기 사물에 반사되는 가시광 및 상기 점멸하는 비가시광을 복수의 광소자가 감지하는 단계;
상기 복수의 각 광소자가, 상기 비가시광이 상기 사물에 조사된 상태에서 감지한 값과, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서의 감지한 값을 이용하여 상기 복수의 광소자 각각에 대한 비가시광 성분값을 추출하는 단계; 및,
상기 추출된 비가시광 성분값으로부터 상기 사물에서 반사된 특정 구조광 패턴에 대한 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 카메라의 제어 방법.
A method of controlling a camera for sensing a three-dimensional shape of an object using non-visible light of a specific structured light pattern reflected from the object,
Blinking non-visible light having the specific structured light pattern to irradiate the object;
Detecting a visible light reflected by the object and the blinking non-visible light by a plurality of optical elements;
Wherein each of the plurality of optical elements uses a value sensed when the invisible light is irradiated on the object and a sensed value when the invisible light is not irradiated on the object, Extracting an invisible light component value; And
And generating information on a specific structured light pattern reflected from the object from the extracted non-visible light component value.
제7항에 있어서, 상기 복수의 광소자는,
가시광 성분을 비가시광 성분보다 우선적으로 감지하는 제1 광소자들과, 비가시광 성분을 가시광 성분보다 우선적으로 감지하는 제2 광소자들을 포함하는 것을 특징으로 하는 카메라의 제어 방법.
8. The optical pickup according to claim 7,
A first optical element for preferentially sensing a visible light component relative to an invisible light component and a second optical element for preferentially sensing an invisible light component relative to a visible light component.
제8항에 있어서, 상기 비가시광 성분값을 추출하는 단계는,
상기 복수의 광소자 각각으로부터 추출된 비가시광 성분값들 중, 상기 제1 광소자들에 대응되는 비가시광 성분들에 대해, 기 설정된 가중치를 부여하는 단계를 더 포함하는 것을 특징으로 하는 카메라의 제어 방법.
9. The method of claim 8, wherein the extracting of the non-
Visible light component values corresponding to the first optical elements among the non-visible light component values extracted from each of the plurality of optical elements, the method further comprising the step of assigning a predetermined weight to the non-visible light components corresponding to the first optical elements Way.
제9항에 있어서, 상기 가중치를 부여하는 단계는,
상기 각 제1 광소자들이, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서 감지한 값에 근거하여, 상기 제1 광소자들마다 상기 가중치의 크기를 결정하는 단계를 더 포함하는 것을 특징으로 하는 카메라의 제어 방법.
10. The method of claim 9,
Further comprising the step of determining the magnitude of the weight for each of the first optical elements based on a value sensed by the first optical elements when the non-visible light is not irradiated on the object Control method of camera.
제9항에 있어서, 상기 비가시광 성분값을 추출하는 단계는,
인접한 제2 광소자들에서 감지된 값들을 이용하여 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값을 산출하는 단계; 및,
상기 산출된 보간값과, 상기 가중치가 부여된 비가시광 성분의 값을 비교하여 큰 값으로 상기 복수의 각 광소자 중 제1 광소자들의 비가시광 성분값을 결정하는 단계를 더 포함하는 것을 특징으로 하는 카메라의 제어 방법.
The method of claim 9, wherein the extracting of the non-
Calculating an interpolation value for an invisible light component of each of the first optical elements using values sensed by adjacent second optical elements; And
And comparing the calculated interpolation value with a value of the weighted non-visible light component to thereby determine an invisible light component value of the first optical element among the plurality of optical elements with a large value, Of the camera.
제9항에 있어서, 상기 비가시광 성분값을 추출하는 단계는,
상기 비가시광의 패턴 해상도의 크기를 감지하는 단계;
인접한 제2 광소자들에서 감지된 값들을 이용하여 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값을 산출하는 단계; 및,
상기 감지된 패턴 해상도의 크기에 근거하여, 상기 산출된 보간값과, 상기 가중치가 부여된 비가시광 성분의 값 중 어느 하나의 값으로 상기 복수의 각 광소자 중 제1 광소자들의 비가시광 성분값을 결정하는 단계를 더 포함하는 것을 특징으로 하는 카메라의 제어 방법. The method of claim 9, wherein the extracting of the non-
Sensing a magnitude of the pattern resolution of the invisible light;
Calculating an interpolation value for an invisible light component of each of the first optical elements using values sensed by adjacent second optical elements; And
Wherein the non-visible light component values of the first optical elements among the plurality of optical elements are set to any one of the calculated interpolation value and the weighted non-visible light component value, The method comprising the steps of:
KR1020140013194A 2014-02-05 2014-02-05 Multispectral camera and control method of the camera for detecting 3d image KR102158212B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140013194A KR102158212B1 (en) 2014-02-05 2014-02-05 Multispectral camera and control method of the camera for detecting 3d image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140013194A KR102158212B1 (en) 2014-02-05 2014-02-05 Multispectral camera and control method of the camera for detecting 3d image

Publications (2)

Publication Number Publication Date
KR20150092612A true KR20150092612A (en) 2015-08-13
KR102158212B1 KR102158212B1 (en) 2020-09-22

Family

ID=54056860

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140013194A KR102158212B1 (en) 2014-02-05 2014-02-05 Multispectral camera and control method of the camera for detecting 3d image

Country Status (1)

Country Link
KR (1) KR102158212B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076263A (en) * 2016-11-11 2018-05-25 株式会社东芝 Photographic device and automatic control system
WO2020204458A1 (en) * 2019-03-29 2020-10-08 삼성전자주식회사 Wide-angle, high-resolution distance measurement device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090046535A (en) * 2007-11-06 2009-05-11 삼성전자주식회사 Image generating method and apparatus
JP2010035168A (en) * 2008-07-25 2010-02-12 Samsung Electronics Co Ltd Imaging apparatus and method
KR20120000299A (en) * 2010-06-25 2012-01-02 삼성전자주식회사 Apparatus and method for generating depth image
JP2013211836A (en) * 2012-03-01 2013-10-10 Nissan Motor Co Ltd Camera device and image processing method
KR20130137449A (en) * 2012-06-07 2013-12-17 삼성테크윈 주식회사 Camera system with multi-spectral filter array and image processing method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090046535A (en) * 2007-11-06 2009-05-11 삼성전자주식회사 Image generating method and apparatus
JP2010035168A (en) * 2008-07-25 2010-02-12 Samsung Electronics Co Ltd Imaging apparatus and method
KR20120000299A (en) * 2010-06-25 2012-01-02 삼성전자주식회사 Apparatus and method for generating depth image
JP2013211836A (en) * 2012-03-01 2013-10-10 Nissan Motor Co Ltd Camera device and image processing method
KR20130137449A (en) * 2012-06-07 2013-12-17 삼성테크윈 주식회사 Camera system with multi-spectral filter array and image processing method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076263A (en) * 2016-11-11 2018-05-25 株式会社东芝 Photographic device and automatic control system
CN108076263B (en) * 2016-11-11 2020-07-14 株式会社东芝 Image pickup apparatus and automatic control system
WO2020204458A1 (en) * 2019-03-29 2020-10-08 삼성전자주식회사 Wide-angle, high-resolution distance measurement device
US11982805B2 (en) 2019-03-29 2024-05-14 Samsung Electronics Co., Ltd. Wide-angle, high-resolution distance measurement device

Also Published As

Publication number Publication date
KR102158212B1 (en) 2020-09-22

Similar Documents

Publication Publication Date Title
US11314321B2 (en) Object and environment tracking via shared sensor
US20220158498A1 (en) Three-dimensional imager and projection device
JP7418340B2 (en) Image augmented depth sensing using machine learning
CN108370438B (en) Range gated depth camera assembly
US10228240B2 (en) Depth mapping using structured light and time of flight
US10021373B2 (en) Distributing video among multiple display zones
KR102240817B1 (en) Method for generating depth map in TOF camera
EP3775995B1 (en) Reduced power operation of time-of-flight camera
EP3301913A1 (en) Photographing device and method for acquiring depth information
EP3161725B1 (en) Color identification using infrared imaging
CN105611267B (en) Merging of real world and virtual world images based on depth and chrominance information
US20190213745A1 (en) Method and optical system for determining depth information
KR102144543B1 (en) Method for detecting signal in TOF camera
KR20150092612A (en) Multispectral camera and control method of the camera for detecting 3d image
KR102185322B1 (en) System for detecting position using ir stereo camera
JP6004354B2 (en) Image data processing apparatus and image data processing method
JP2020017265A5 (en)
KR102094772B1 (en) Method and server for controlling video
KR20180136132A (en) Motion recognition control system and method for separately displaying shot image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant