KR102158212B1 - Multispectral camera and control method of the camera for detecting 3d image - Google Patents

Multispectral camera and control method of the camera for detecting 3d image Download PDF

Info

Publication number
KR102158212B1
KR102158212B1 KR1020140013194A KR20140013194A KR102158212B1 KR 102158212 B1 KR102158212 B1 KR 102158212B1 KR 1020140013194 A KR1020140013194 A KR 1020140013194A KR 20140013194 A KR20140013194 A KR 20140013194A KR 102158212 B1 KR102158212 B1 KR 102158212B1
Authority
KR
South Korea
Prior art keywords
invisible light
value
optical elements
invisible
light
Prior art date
Application number
KR1020140013194A
Other languages
Korean (ko)
Other versions
KR20150092612A (en
Inventor
조아영
정용우
신윤섭
권영만
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140013194A priority Critical patent/KR102158212B1/en
Publication of KR20150092612A publication Critical patent/KR20150092612A/en
Application granted granted Critical
Publication of KR102158212B1 publication Critical patent/KR102158212B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 사물의 입체적인 형상을 감지할 수 있는 카메라에 대한 것으로, 본 발명의 일 실시 예에 따라 대상 사물에서 반사되는 특정 구조광 패턴의 비가시광을 이용하여 사물의 입체적 형상을 감지하기 위한 카메라는, 상기 특정 구조광 패턴을 가지는 비가시광을 점멸하여 상기 사물에 조사하는 비가시광 조사부와, 상기 사물에 반사되는 가시광 및 상기 점멸하는 비가시광을 감지하는 복수의 광소자들을 포함하는 수광부, 및, 상기 복수의 각 광소자가, 상기 비가시광이 상기 사물에 조사된 상태에서 감지한 값과, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서 감지한 값의 차를 산출하여 상기 복수의 광소자 각각에 대한 비가시광 성분값을 추출하며, 추출된 비가시광 성분값으로부터 상기 사물에서 반사된 특정 구조광 패턴에 대한 정보를 생성하는 제어부를 포함하는 것을 특징으로 한다. The present invention relates to a camera capable of detecting a three-dimensional shape of an object. According to an embodiment of the present invention, a camera for detecting a three-dimensional shape of an object using invisible light of a specific structured light pattern reflected from a target object is , A light receiving unit including a non-visible light irradiation unit for flashing invisible light having the specific structured light pattern to irradiate the object, and a plurality of optical elements for detecting visible light reflected on the object and the flickering invisible light, and, the Each of the plurality of optical devices calculates a difference between a value sensed when the invisible light is irradiated to the object and a value detected when the invisible light is not irradiated to the object, It characterized in that it comprises a control unit for extracting the invisible light component value, and generating information on a specific structured light pattern reflected from the object from the extracted invisible light component value.

Description

입체적 형상을 감지하기 위한 카메라 및 그것의 제어 방법{MULTISPECTRAL CAMERA AND CONTROL METHOD OF THE CAMERA FOR DETECTING 3D IMAGE} Camera to detect three-dimensional shape and its control method {MULTISPECTRAL CAMERA AND CONTROL METHOD OF THE CAMERA FOR DETECTING 3D IMAGE}

본 발명은 카메라에 대한 것으로, 특히 사물의 입체적인 형상을 감지할 수 있는 카메라에 대한 것이다.
The present invention relates to a camera, and in particular, to a camera capable of detecting a three-dimensional shape of an object.

일반적으로 3차원 입체 영상은 두 개의 카메라, 즉 좌안용 영상을 촬상하는 카메라와 우안용 영상을 촬상하는 카메라를 이용하여 생성될 수 있다. 그리고 상기 카메라들로부터 생성된 좌안용 영상과 우안용 영상은, 좌우 거리차를 두고 합쳐진 영상으로 표시되어, 좌안용 영상과 우안용 영상의 좌우 거리차에 대응하는 깊이감(depth)만큼 입체적인 공간감을 나타낼 수 있다.In general, a 3D stereoscopic image may be generated by using two cameras, that is, a camera that captures an image for the left eye and a camera that captures an image for the right eye. In addition, the left-eye image and the right-eye image generated from the cameras are displayed as an image combined with a left-right distance difference, so that there is a three-dimensional sense of space as a depth corresponding to the left-right distance difference between the left-eye image and the right-eye image. Can be indicated.

그러나 이처럼 입체적인 공간감, 즉 깊이감(depth)을 주기 위한 상기 방식은, 상기 깊이감(depth)을 위해 두 개의 카메라를 사용하여야 하므로 그 부피가 커지고, 구조 역시 복잡해진다는 문제가 있었다. 뿐만 아니라 이러한 종래의 방식은 두 개의 영상을 겹쳐서 표현하는 형태로 입체적인 공간감을 이미지에 주는 것이므로, 이를 평면상의 이미지로 표시하기 어려울 뿐만 아니라, 평면상의 이미지로 표현되는 경우 입체적인 공간감을 주지 못하게 되는 경우도 발생하게 되었다. However, the above method for giving a three-dimensional sense of space, that is, a sense of depth, has a problem that the volume becomes larger and the structure becomes complicated because two cameras must be used for the sense of depth. In addition, since this conventional method is to give an image a three-dimensional sense of space in the form of overlapping two images, it is difficult to display it as a flat image, and when expressed as a flat image, it is not possible to give a three-dimensional sense of space. Occurred.

이에 따라 입체 영상을 감지하기 위한 카메라의 부피를 줄이고 그 구조를 단순화시킬 수 있을 뿐만 아니라, 하나의 영상을 통해서도 사물의 입체적인 공간감을 느끼게 할 수 있도록 하는 방안이 활발하게 연구 중인 실정이다.
Accordingly, it is possible to reduce the volume of a camera for detecting a 3D image and simplify its structure, as well as a way to make a stereoscopic sense of space of an object through a single image is being actively studied.

본 발명의 일 목적은, 하나의 영상을 통해서도 사물의 입체적인 형상이 감지될 수 있도록 하며, 그 크기와 부피를 줄일 수 있고 그 구조를 단순화 시킬 수 있는 카메라 및 그 카메라의 제어 방법을 제공하기 위한 것이다. An object of the present invention is to provide a camera capable of detecting a three-dimensional shape of an object through a single image, reducing its size and volume, and simplifying its structure, and a method of controlling the camera. .

본 발명의 다른 일 목적은, 하나의 영상을 통해 사물의 입체적 형상이 감지되도록 하면서도, 대상 사물의 입체적인 특성과 관련된 정보의 손실을 최소화 할 수 있도록 하는 카메라 및 그 카메라의 제어 방법을 제공하기 위한 것이다.
Another object of the present invention is to provide a camera and a control method of the camera that enables the detection of a three-dimensional shape of an object through a single image while minimizing the loss of information related to the three-dimensional characteristics of a target object. .

본 발명의 일 실시 예에 따라 대상 사물에서 반사되는 특정 구조광 패턴의 비가시광을 이용하여 사물의 입체적 형상을 감지하기 위한 카메라는, 상기 특정 구조광 패턴을 가지는 비가시광을, 점멸하여 상기 사물에 조사하는 비가시광 조사부와, 상기 사물에 반사되는 가시광 및 상기 점멸하는 비가시광을 감지하는 복수의 광소자들을 포함하는 수광부, 및, 상기 복수의 각 광소자가, 상기 비가시광이 상기 사물에 조사된 상태에서 감지한 값과, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서 감지한 값의 차를 산출하여 상기 복수의 광소자 각각에 대한 비가시광 성분값을 추출하며, 추출된 비가시광 성분값으로부터 상기 사물에서 반사된 특정 구조광 패턴에 대한 정보를 생성하는 제어부를 포함하는 것을 특징으로 한다. According to an embodiment of the present invention, a camera for detecting a three-dimensional shape of an object using invisible light of a specific structured light pattern reflected from a target object, flashes the invisible light having the specific structured light pattern to the object. A light-receiving unit including a non-visible light irradiation unit to be irradiated, a plurality of optical elements for sensing visible light reflected on the object and the flickering invisible light, and each of the plurality of optical devices, wherein the invisible light is irradiated to the object By calculating the difference between the value detected at and the value detected when the object is not irradiated with the invisible light, the invisible light component value for each of the plurality of optical elements is extracted, and the extracted invisible light component value It characterized in that it comprises a control unit for generating information on a specific structured light pattern reflected from the object.

일 실시 예에 있어서, 상기 복수의 광소자는, 가시광 성분을 비가시광 성분보다 우선적으로 감지하는 제1 광소자들과, 비가시광 성분을 가시광 성분보다 우선적으로 감지하는 제2 광소자들을 포함하는 것을 특징으로 한다. In one embodiment, the plurality of optical devices include first optical devices that detect a visible light component with priority over an invisible light component, and second optical devices that detect an invisible light component with priority over a visible light component. To do.

일 실시 예에 있어서, 상기 제어부는, 상기 복수의 광소자 각각으로부터 추출된 비가시광 성분값들 중, 상기 제1 광소자들에 대응되는 비가시광 성분들에 대해, 기 설정된 가중치를 부여하는 것을 특징으로 한다. In an embodiment, the control unit is configured to assign a preset weight to invisible light components corresponding to the first optical elements among invisible light component values extracted from each of the plurality of optical elements. To do.

일 실시 예에 있어서, 상기 제어부는, 상기 각 제1 광소자들이, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서 감지한 값에 근거하여, 상기 제1 광소자들마다 상기 가중치의 크기를 결정하는 것을 특징으로 한다. In an embodiment, the control unit determines the size of the weight for each of the first optical devices based on a value detected by each of the first optical devices while the invisible light is not irradiated to the object. Characterized in that.

일 실시 예에 있어서, 상기 제어부는, 인접한 제2 광소자들에서 감지된 값들을 이용하여 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값을 더 산출하고, 상기 산출된 보간값과, 상기 가중치가 부여된 비가시광 성분의 값을 비교하여 큰 값으로 상기 복수의 광소자 중 제1 광소자들 각각의 비가시광 성분값을 결정하는 것을 특징으로 한다. In an embodiment, the control unit further calculates an interpolation value for an invisible light component of each of the first optical devices by using values sensed by adjacent second optical devices, and the calculated interpolation value, The invisible light component value of each of the first optical elements among the plurality of optical elements is determined as a large value by comparing values of the weighted invisible light component.

일 실시 예에 있어서, 상기 제어부는, 상기 비가시광이 가지는 구조광 패턴의 해상도의 크기를 판단하고, 인접한 제2 광소자들에서 감지된 값들을 이용하여 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값을 산출 및, 상기 감지된 구조광 패턴의 해상도 크기에 근거하여, 상기 산출된 보간값 또는 상기 가중치가 부여된 비가시광 성분값 중 어느 하나로 상기 복수의 광소자 중 제1 광소자들 각각의 비가시광 성분값을 결정하는 것을 특징으로 한다. In an embodiment, the control unit determines the size of the resolution of the structured light pattern of the invisible light, and uses values sensed by adjacent second optical devices to provide invisible light components of each of the first optical devices. The first optical elements among the plurality of optical elements are calculated by calculating an interpolation value for and based on the resolution size of the sensed structured light pattern, as one of the calculated interpolation value or the weighted invisible light component value It is characterized in that the value of each invisible light component is determined.

본 발명의 일 실시 예에 따라 대상 사물에서 반사되는 특정 구조광 패턴의 비가시광을 이용하여 사물의 입체적 형상을 감지하기 위한 카메라의 제어 방법에 있어서, 상기 특정 구조광 패턴을 가지는 비가시광을 점멸하여 상기 사물에 조사하는 단계와, 상기 사물에 반사되는 가시광 및 상기 점멸하는 비가시광을 복수의 광소자가 감지하는 단계와, 상기 복수의 각 광소자가, 상기 비가시광이 상기 사물에 조사된 상태에서 감지한 값과, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서의 감지한 값을 이용하여 상기 복수의 광소자 각각에 대한 비가시광 성분값을 추출하는 단계, 및, 상기 추출된 비가시광 성분값으로부터 상기 사물에서 반사된 특정 구조광 패턴에 대한 정보를 생성하는 단계를 포함하는 것을 특징으로 한다. According to an embodiment of the present invention, in a method of controlling a camera for detecting a three-dimensional shape of an object using invisible light of a specific structured light pattern reflected from a target object, by flashing the invisible light having the specific structured light pattern Irradiating the object, detecting visible light reflected on the object and the flickering invisible light by a plurality of optical devices, and sensing each of the plurality of optical devices while the invisible light is irradiated to the object Extracting a value of an invisible light component for each of the plurality of optical devices by using a value and a value detected in a state in which the invisible light is not irradiated to the object, and from the extracted invisible light component value, the It characterized in that it comprises the step of generating information on a specific structured light pattern reflected from the object.

일 실시 예에 있어서, 상기 복수의 광소자는, 가시광 성분을 비가시광 성분보다 우선적으로 감지하는 제1 광소자들과, 비가시광 성분을 가시광 성분보다 우선적으로 감지하는 제2 광소자들을 포함하는 것을 특징으로 한다. In one embodiment, the plurality of optical devices include first optical devices that detect a visible light component with priority over an invisible light component, and second optical devices that detect an invisible light component with priority over a visible light component. To do.

일 실시 예에 있어서, 상기 비가시광 성분값을 추출하는 단계는, 상기 복수의 광소자 각각으로부터 추출된 비가시광 성분값들 중, 상기 제1 광소자들에 대응되는 비가시광 성분들에 대해, 기 설정된 가중치를 부여하는 단계를 더 포함하는 것을 특징으로 한다. In an embodiment, the extracting of the invisible light component value comprises, among invisible light component values extracted from each of the plurality of optical elements, invisible light components corresponding to the first optical elements. It characterized in that it further comprises the step of assigning a set weight.

일 실시 예에 있어서, 상기 가중치를 부여하는 단계는, 상기 각 제1 광소자들이, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서 감지한 값에 근거하여, 상기 제1 광소자들마다 상기 가중치의 크기를 결정하는 단계를 더 포함하는 것을 특징으로 한다. In an embodiment, in the step of assigning the weight, the weight for each of the first optical devices is based on a value detected by each of the first optical devices when the invisible light is not irradiated to the object. It characterized in that it further comprises the step of determining the size of.

일 실시 예에 있어서, 상기 비가시광 성분값을 추출하는 단계는, 인접한 제2 광소자들에서 감지된 값들을 이용하여 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값을 산출하는 단계, 및, 상기 산출된 보간값과, 상기 가중치가 부여된 비가시광 성분의 값을 비교하여 큰 값으로 상기 복수의 각 광소자 중 제1 광소자들의 비가시광 성분값을 결정하는 단계를 더 포함하는 것을 특징으로 한다. In an embodiment, the extracting of the invisible light component value comprises calculating an interpolation value for the invisible light component of each of the first optical devices by using values sensed by adjacent second optical devices, And comparing the calculated interpolation value with a value of the weighted invisible light component, and determining a non-visible light component value of the first optical elements among the plurality of optical elements with a larger value. It is characterized.

일 실시 예에 있어서, 상기 비가시광 성분값을 추출하는 단계는, 상기 비가시광의 패턴 해상도의 크기를 감지하는 단계와, 인접한 제2 광소자들에서 감지된 값들을 이용하여 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값을 산출하는 단계, 및, 상기 감지된 패턴 해상도의 크기에 근거하여, 상기 산출된 보간값과, 상기 가중치가 부여된 비가시광 성분의 값 중 어느 하나의 값으로 상기 복수의 각 광소자 중 제1 광소자들의 비가시광 성분값을 결정하는 단계를 더 포함하는 것을 특징으로 한다.
In an embodiment, the extracting of the invisible light component value includes detecting the size of the pattern resolution of the invisible light, and the first optical elements using values sensed by adjacent second optical elements. Calculating an interpolation value for each invisible light component, and, based on the detected pattern resolution, the calculated interpolation value and the weighted invisible light component value. And determining values of invisible light components of the first optical devices among the plurality of optical devices.

본 발명의 일 실시 예에 따른 카메라 및 그의 제어 방법은, 대상 사물의 입체적인 특성을 감지하기 위한 비가시광을 사물에 조사하고, 상기 사물에서 반사되는 가시광 및 비가시광을 모든 광소자들에서 감지되도록 함으로써, 하나의 영상을 통해서도 사물의 입체적인 형상이 감지될 수 있도록 하여 그 부피를 줄이고 구조가 단순해질 수 있도록 한다. The camera and its control method according to an embodiment of the present invention irradiate an object with invisible light for detecting a three-dimensional characteristic of a target object, and allow all optical elements to detect visible and invisible light reflected from the object. , By allowing the three-dimensional shape of an object to be detected through a single image, the volume can be reduced and the structure can be simplified.

본 발명의 일 실시 예에 따른 카메라 및 이의 제어 방법은, 카메라의 모든 광소자에서 비가시광이 감지될 수 있도록 함으로써, 대상 사물의 입체적인 특성에 대한 정보의 손실을 최소화하여 사물의 입체적 형상이 보다 정확하게 감지될 수 있도록 한다.
In the camera and its control method according to an embodiment of the present invention, by allowing invisible light to be detected by all optical elements of the camera, loss of information on the three-dimensional characteristics of a target object is minimized, so that the three-dimensional shape of the object is more accurate. Make it detectable.

도 1은 본 발명의 일 실시 예에 따른 카메라의 구조를 나타내는 블록도이다.
도 2a 및 도 2b는 본 발명의 일 실시 예에 따른 카메라의 수광부에 포함되는 복수의 광소자들의 구성을 도시한 개념도이다.
도 3은 본 발명의 일 실시 예에 따른 카메라에서 대상 사물의 입체적인 특성을 감지하는 동작 과정을 도시한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 카메라에서, 복수의 광소자들에서 감지된 값으로부터 비가시광 성분을 추출하는 예를 도시한 개념도이다.
도 5는 이러한 본 발명의 일 실시 예에 따른 카메라에서 복수의 광소자들 중 일부의 비가시광 성분을 결정하는 동작 과정을 도시한 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 카메라에서 비가시광의 구조광 패턴 해상도에 따라 대상 사물의 입체적인 특성을 감지하는 동작 과정을 도시한 흐름도이다. 1 is a block diagram showing the structure of a camera according to an embodiment of the present invention.
2A and 2B are conceptual diagrams illustrating a configuration of a plurality of optical devices included in a light receiving unit of a camera according to an embodiment of the present invention.
3 is a flowchart illustrating an operation process of detecting a three-dimensional characteristic of a target object by a camera according to an embodiment of the present invention.
4 is a conceptual diagram illustrating an example of extracting an invisible light component from values sensed by a plurality of optical devices in a camera according to an embodiment of the present invention.
5 is a flowchart illustrating an operation process of determining some non-visible light components among a plurality of optical devices in the camera according to an embodiment of the present invention.
6 is a flowchart illustrating an operation process of detecting a three-dimensional characteristic of a target object according to a structured light pattern resolution of invisible light in a camera according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대해 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.Hereinafter, exemplary embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but identical or similar elements are denoted by the same reference numerals regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not have meanings or roles that are distinguished from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, when it is determined that a detailed description of related known technologies may obscure the subject matter of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, it should be noted that the accompanying drawings are for easy understanding of the embodiments disclosed in the present specification and should not be construed as limiting the technical idea disclosed in the present specification by the accompanying drawings.

먼저 본 발명의 완전한 이해를 돕기 위해, 본 발명의 기본 원리를 설명하면 본 발명에서는, 특정 패턴을 가지는 구조광 형식의 비가시광을 대상 사물에 조사하고, 상기 대상 사물에서 반사되는 비가시광을 감지한다. 그리고 감지된 비가시광에 포함된 구조광 패턴 정보를 이용하여, 상기 대상 사물의 입체적 형상에 대한 정보, 즉 입체적인 공간감을 느끼게 하는 깊이감(depth) 정보를 인식한다. First, in order to help a complete understanding of the present invention, the basic principle of the present invention will be described. In the present invention, invisible light of a structured light type having a specific pattern is irradiated onto a target object, and invisible light reflected from the target object is sensed. . And, using the structured light pattern information included in the sensed invisible light, information on the three-dimensional shape of the target object, that is, depth information that makes a three-dimensional sense of space, is recognized.

이를 위해 본 발명에서는, 단위 화소를 형성하는 복수의 광소자 모두가 가시광 및 비가시광을 감지할 수 있는 수광부를 구비한다. 그리고 상기 대상 사물에 기 설정된 시간 간격을 주기로 점멸하는 비가시광을 조사하여, 상기 사물에 반사되는 가시광 및 비가시광을 상기 수광부를 통해 감지할 수 있도록 한다. 그리고 상기 수광부에 포함된 복수의 광소자들이, 상기 비가시광이 대상 사물에 조사되었던 때에 감지한 값들과, 상기 비가시광이 대상 사물에 조사되지 않았던 때에 감지한 값들의 차이를 이용하여, 각 광소자들에서 감지된 비가시광 성분들이 추출될 수 있도록 한다.To this end, in the present invention, all of the plurality of optical devices forming the unit pixel includes a light receiving unit capable of sensing visible light and invisible light. In addition, the target object is irradiated with invisible light flashing at a predetermined time interval so that visible light and invisible light reflected on the object can be detected through the light receiving unit. And each optical device by using a difference between values detected when the invisible light was irradiated to the target object and values detected when the invisible light was not irradiated to the target object by a plurality of optical devices included in the light receiving unit. Invisible light components detected in the field can be extracted.

이에 따라 본 발명은, 수광부에 포함된 모든 광소자들이 상기 사물에서 반사된 비가시광을 감지할 수 있으므로, 단위 화소를 형성하는 광소자들 중 일부만 비가시광을 감지할 수 있도록 하는 경우에 비해, 구조광 패턴 정보의 손실을 최소화할 수 있다. Accordingly, in the present invention, since all optical devices included in the light receiving unit can detect invisible light reflected from the object, compared to a case in which only some of the optical devices forming a unit pixel can detect invisible light, the structure It is possible to minimize the loss of light pattern information.

도 1은 이러한 본 발명의 일 실시 예에 따른 카메라의 구조를 나타내는 블록도이다. 1 is a block diagram showing the structure of a camera according to an embodiment of the present invention.

도 1을 참조하여 살펴보면, 본 발명의 실시 예에 따른 카메라는 수광부(110), 비가시광 조사부(120), 메모리(130), 그리고 제어부(100)를 포함하여 구성된다. Referring to FIG. 1, a camera according to an embodiment of the present invention includes a light receiving unit 110, an invisible light irradiating unit 120, a memory 130, and a control unit 100.

비가시광 조사부(120)는 기 설정된 비가시광을 대상 사물에 조사한다. 여기서 상기 비가시광은 구조광 형식의 특정 패턴(구조광 패턴)을 가질 수 있다. 그리고 상기 구조광 패턴은 대상 사물에 대한 입체적 특징에 대한 정보, 즉 깊이감(depth) 정보를 표시할 수 있다. The invisible light irradiation unit 120 irradiates a preset invisible light onto a target object. Here, the invisible light may have a specific pattern (structured light pattern) of a structured light type. In addition, the structured light pattern may display information on a three-dimensional characteristic of a target object, that is, depth information.

상기 비가시광 조사부(120)는 제어부(100)의 제어에 따라, 기 설정된 시간 간격을 주기로 상기 비가시광을 점멸하여 상기 대상 사물에 조사할 수 있다. 이에 따라 상기 비가시광은 상기 점멸 주기에 따라 상기 대상 사물에 조사되므로, 상기 대상 사물에 의해 반사된 비가시광 역시 상기 점멸 주기에 따라 점멸하는 상태로 상기 수광부(110)에 감지될 수 있다. The invisible light irradiation unit 120 may irradiate the target object by flashing the invisible light at a predetermined time interval under the control of the controller 100. Accordingly, since the invisible light is irradiated to the target object according to the blinking period, the invisible light reflected by the target object may also be detected by the light receiving unit 110 in a state of blinking according to the blinking period.

이하의 설명에서는 설명의 편의상 적외선을 비가시광으로 사용하는 것을 예로 들어 설명하기로 한다. 그러나 본 발명이 이에 국한되는 것은 아니며, 얼마든지 다른 비가시광을 사용하는 경우에도 본 발명이 적용될 수 있음은 물론이다. In the following description, for convenience of explanation, using infrared rays as invisible light as an example will be described. However, the present invention is not limited thereto, and it goes without saying that the present invention can be applied even when any other invisible light is used.

수광부(110)에는 필터링부(112)에 구비된 컬러 필터가 배치되고, 그 컬러 필터의 투과 특성에 따라 수광부가 감도를 가지는 광 성분이 정해진다. 여기서 본 발명의 실시 예에 따른 카메라에서는, 상기 컬러 필터가 가시광 및 비가시광을 모두 투과시킬 수 있다. 예를 들어 상기 컬러 필터는, R필터, G필터, B필터 및 비가시광 성분 필터로 구성될 수 있으며, 이들 각각의 필터들은 이중 대역 필터(Dual Band Path Filter : DBPF)로 구성되어, RGB 컬러 중 어느 하나와 비가시광 성분의 광을 모두 투과시킬 수 있다. A color filter provided in the filtering unit 112 is disposed in the light receiving unit 110, and a light component having a sensitivity of the light receiving unit is determined according to the transmission characteristics of the color filter. Here, in the camera according to the exemplary embodiment of the present invention, the color filter may transmit both visible and invisible light. For example, the color filter may be composed of an R filter, a G filter, a B filter, and an invisible light component filter, and each of these filters is composed of a dual band path filter (DBPF), It is possible to transmit light of either one or the invisible light component.

이러한 컬러 필터의 배열 형태에 근거하여 수광부(110)의 배열의 단위가 결정될 수 있다. 예를 들어 도 2a 및 도 2b는 본 발명의 일 실시 예에 따른 카메라의 수광부에 포함되는 복수의 광소자들이 이러한 배열에 따라 배치된 예를 보이는 것이다. The unit of the arrangement of the light receiving unit 110 may be determined based on the arrangement of the color filters. For example, FIGS. 2A and 2B show an example in which a plurality of optical elements included in a light receiving unit of a camera according to an embodiment of the present invention are arranged according to this arrangement.

우선 도 2a를 참조하여 살펴보면, 광소자들이 2X2 형태로 배열된 예를 보이고 있는 것이다. 그리고 상술한 바와 같이 본 발명의 컬러 필터는, 이중 대역 필터로 구성되어, RGB 컬러 중 어느 하나와 비가시광 성분의 광을 모두 투과시킬 수 있다. 즉, 본 발명의 컬러 필터에서는, RGB 컬러 중 어느 하나와 적외선(Ir) 성분의 광이 투과될 수 있으며, 이에 따라 도 2a에서 보이고 있는 것처럼, 본 발명의 실시 예에 따른 복수의 광소자들은 가시광인 RGB 성분 중 어느 한 성분의 값과 비가시광인 적외선(Ir) 성분의 값을 모두 감지할 수 있다. First, referring to FIG. 2A, an example in which optical elements are arranged in a 2X2 form is shown. And, as described above, the color filter of the present invention is constituted by a dual band filter, and can transmit any one of RGB colors and light of an invisible light component. That is, in the color filter of the present invention, any one of RGB colors and light of an infrared (Ir) component may be transmitted. Accordingly, as shown in FIG. 2A, a plurality of optical devices according to an embodiment of the present invention It is possible to detect both the value of any one of the phosphorus RGB components and the value of the infrared (Ir) component of invisible light.

그러나 복수의 광소자 모두가 동일하게 RGB 성분 중 어느 한 성분의 값과 비가시광인 적외선(Ir) 성분의 값을 감지하는 것은 아니다. 예를 들어 본 발명의 실시 예에 따른 컬러 필터는, 가시광 성분인 RGB 컬러 중 어느 한 성분을 우선하여 투과시킬 것인지, 아니면 비가시광 성분인 적외선 성분의 값을 우선하여 투과시킬 것인지가, 수광부(110)의 각 광소자들의 배열을 이루는 각각의 필터마다 결정되어 있을 수 있다. However, not all of the plurality of optical devices identically detect the value of any one component of the RGB component and the value of the infrared (Ir) component of invisible light. For example, in the color filter according to an embodiment of the present invention, it is determined whether any one component of RGB colors, which is a visible light component, is transmitted with priority or a value of an infrared component, which is an invisible light component, is transmitted with priority. ) May be determined for each filter constituting the arrangement of each optical element.

즉, 도 2a의 필터들(200)의 경우 가시광 성분을 우선하여 투과시킬 수 있다. 이러한 경우, 필터들(200)은 가시광 성분, 즉 RGB 컬러 중 어느 하나의 성분에 대응되는 값을 우선적으로 투과시키고, 그 다음에 비가시광 성분, 즉 적외선 성분이 투과되도록 대역폭이 설정된 필터일 수 있다. 즉, 'G+ir' 필터의 경우 가시광의 RGB 성분 중 G성분을, 'B+ir' 필터의 경우 가시광의 RGB 성분 중 B성분을, 'R+ir' 필터의 경우 가시광의 RGB 성분 중 R성분을 우선적으로 투과시키고, 그 다음으로 비가시광 성분, 즉 적외선(Ir) 성분이 투과되도록 할 수도 있다. That is, in the case of the filters 200 of FIG. 2A, a visible light component may be prioritized and transmitted. In this case, the filters 200 may be filters with a bandwidth set so that a visible light component, that is, a value corresponding to any one of RGB colors, is transmitted first, and then a non-visible light component, that is, an infrared component is transmitted. . In other words, in the case of the'G+ir' filter, the G component of the RGB components of visible light, in the case of the'B+ir' filter, the B component of the RGB components of visible light, and in the case of the'R+ir' filter, R out of the RGB components of visible light. The component may be preferentially transmitted and then an invisible light component, that is, an infrared (Ir) component may be transmitted.

한편 이와 반대로 필터(210)의 경우는 비가시광 성분을 우선적으로 투과시키도록 대역폭이 설정된 필터일 수 있다. 이러한 경우 필터(210)는 비가시광 성분을 우선적으로 투과시키고, 그 다음으로 가시광 성분, 즉 RGB 컬러 성분 중 어느 하나의 성분이 투과되도록 할 수도 있다. On the other hand, in the case of the filter 210, on the other hand, the filter 210 may be a filter whose bandwidth is set to preferentially transmit an invisible light component. In this case, the filter 210 may preferentially transmit an invisible light component, and then transmit a visible light component, that is, any one of RGB color components.

이처럼 어느 것을 우선하여 투과시킬 것인지는, 필터의 감도에 따라 결정될 수 있다. 예를 들어 가시광 성분인 RGB 컬러 성분을 우선적으로 투과시키는 필터의 경우, 가시광 성분, 즉 RGB 컬러 성분 중 어느 하나에 대한 감도가 비가시광 성분에 대한 감도보다 높게 설정된 필터일 수 있다. 또한 이와 반대로 비가시광 성분을 우선적으로 투과시키는 필터의 경우, 비가시광 성분, 즉 적외선 성분에 대한 감도가 가시광 성분, 즉 RGB 컬러 성분에 대한 감도보다 높게 설정된 필터일 수 있다. In this way, which is preferentially transmitted may be determined according to the sensitivity of the filter. For example, in the case of a filter that preferentially transmits an RGB color component, which is a visible light component, a sensitivity for any one of the visible light component, that is, an RGB color component, may be a filter set higher than the sensitivity for an invisible light component. On the contrary, in the case of a filter that preferentially transmits the invisible light component, the sensitivity to the invisible light component, that is, the infrared component, may be set higher than the sensitivity to the visible light component, that is, the RGB color component.

도 2b는 이러한 각 필터들의 가시광 성분 및 비가시광 성분에 대한 감도를 보이고 있는 것이다. 여기서 도 2b의 (a)는 필터들(200) 중 어느 하나에 대한 예를 보이고 있는 것이고, 도 2b의 (b)는 필터(210)의 예를 보이고 있는 것이다. 2B shows the sensitivity of each of these filters to visible and invisible light components. Here, (a) of FIG. 2B shows an example of any one of the filters 200, and (b) of FIG. 2B shows an example of the filter 210.

이에 따라 본 발명의 기본 배열을 이루는 복수의 광소자 각각에서는 가시광 성분, 즉 RGB 컬러 중 어느 하나의 성분에 대응되는 광과, 비가시광 성분에 대응되는 광이 모두 감지될 수 있다. 그러나 필터의 감도가 서로 다르므로 복수의 광소자 각각에서 감지되는 값은, 같은 동일한 가시광 또는 비가시광이라고 할지라도 서로 다를 수 있다. Accordingly, in each of the plurality of optical devices constituting the basic arrangement of the present invention, both visible light components, that is, light corresponding to any one component of RGB colors, and light corresponding to invisible light components, can be detected. However, since the sensitivities of the filters are different, values sensed by each of the plurality of optical devices may be different from each other, even for the same visible or invisible light.

즉, 필터들(200)의 경우 가시광 성분인 RGB 컬러 중 어느 하나의 성분을 우선하여 감지하므로, 필터들(200)에 각각 대응되는 광소자들의 경우, RGB 컬러 중 어느 한 성분의 세기를 우선 감지하고, 감지 가능한 최대 허용치(예를 들어 255 - RGB 컬러의 각 성분의 최대값이 255이기 때문)의 남은 부분에서 비가시광 성분의 세기를 감지할 수 있다. 그리고 필터(210)의 경우 비가시광 성분인 적외선 성분을 우선하여 감지하므로, 필터(210)에 대응되는 광소자의 경우, 적외선 성분의 세기를 우선 감지하고, 감지 가능한 최대 허용치의 남은 부분에서 가시광 성분 중 어느 하나의 성분을 감지할 수 있다. That is, in the case of the filters 200, since any one component of the visible light component of RGB colors is first detected, in the case of the optical devices respectively corresponding to the filters 200, the intensity of any one component of the RGB color is first detected. And, the intensity of the invisible light component can be detected in the remaining portion of the detectable maximum allowable value (for example, 255-because the maximum value of each component of the RGB color is 255). In the case of the filter 210, since the infrared component, which is an invisible light component, is first detected, in the case of an optical device corresponding to the filter 210, the intensity of the infrared component is first detected, and the visible light component is selected from the remaining part of the maximum allowable value. Any one component can be detected.

제어부(controller, 100)는 본 발명의 실시 예에 따른 카메라의 전반적인 동작을 제어한다. 제어부(100)는 상기 비가시광 조사부(120)를 제어하여 일정 시간 간격으로 특정 구조광 패턴을 가지는 비가시광이 점멸되어 대상 사물에 조사되도록 한다. 그리고 제어부(100)는 상기 비가시광이 온-오프를 반복하는 점멸 주기에 근거하여, 상기 수광부(110)의 각 광소자들이, 상기 비가시광이 온 된 상태일 때에 감지한 값과, 상기 비가시광이 오프된 상태일 때에 감지한 값의 차이를 산출한다. 이에 따라 제어부(100)는 수광부(110)의 각 광소자들에서 감지된 비가시광 성분을 감지할 수 있다. The controller 100 controls the overall operation of the camera according to an embodiment of the present invention. The control unit 100 controls the invisible light irradiation unit 120 so that invisible light having a specific structured light pattern blinks at predetermined time intervals to irradiate the target object. And the control unit 100, based on the blinking period in which the invisible light repeats on-off, each optical element of the light receiving unit 110 detects a value when the invisible light is turned on, and the invisible light The difference between the detected values is calculated when is in the off state. Accordingly, the controller 100 may detect an invisible light component detected by each of the optical elements of the light receiving unit 110.

따라서 본 발명의 실시 예에 따른 카메라에서는, 수광부(110)의 모든 광소자에서 비가시광 성분을 감지할 수 있다. 이에 따라 상기 비가시광 성분에 포함된 구조광 패턴의 정보 역시 손실없이 감지될 수 있다. 그러므로 본 발명의 실시 예에 따른 카메라에서는, 보다 정확한 깊이감(depth) 정보를 획득할 수 있으므로, 대상 사물에 대해 보다 사실적인 입체감을 줄 수 있는 이미지를 획득할 수 있다. Therefore, in the camera according to the exemplary embodiment of the present invention, invisible light components can be detected in all optical devices of the light receiving unit 110. Accordingly, information on the structured light pattern included in the invisible light component can also be detected without loss. Therefore, in the camera according to the exemplary embodiment of the present invention, since more accurate depth information can be obtained, an image capable of providing a more realistic three-dimensional effect on a target object can be obtained.

한편, 제어부(100)는 광소자 중 일부에서 감지된 비가시광 성분들에 대해 기 설정된 가중치를 부여할 수도 있다. 이는 상술한 바와 같이 각각의 광소자에 감지 가능한 최대 허용치(예를 들어 255)가 미리 정해져 있음에 따라 비가시광 성분의 세기가 충분히 감지되지 못하는 경우가 있을 수 있기 때문이다. 즉, 예를 들어 비가시광이 대상 물체에 조사될 때에 필터들(200) 중 'R+ir'필터에서 투과되는 광이, R 성분의 세기가 '230'이고, ir 성분의 세기가 '60'인 광이라면, 상기 'R+ir'필터에 대응되는 광소자에서는 최대 허용치인 '255'가 감지될 수 있다. 그리고 이 경우 비가시광이 대상 물체에 조사되지 않을 때라면, 상기 'R+ir'필터에서는 비가시광이 조사되지 않은 상태, 즉 오프된 상태이므로, R 성분의 세기가 '230'인 광만 투과된다. 따라서 이러한 경우, 양 감지값의 차이를 구하면, '25'가 되므로, 제어부(100)는 상기 'R+ir'필터에 대응되는 광소자의 비가시광 성분의 값으로 '25'를 추출할 수 있다. Meanwhile, the control unit 100 may assign a preset weight to invisible light components detected by some of the optical devices. This is because, as described above, the intensity of the invisible light component may not be sufficiently detected as the maximum allowable value (eg, 255) that can be detected in each optical device is predetermined. That is, for example, when invisible light is irradiated to a target object, the light transmitted through the'R+ir' filter among the filters 200 has an intensity of R component of '230' and an intensity of ir component of '60' In the case of phosphorescent light, a maximum allowable value of '255' may be detected in an optical device corresponding to the'R+ir' filter. In this case, when invisible light is not irradiated to the target object, since the'R+ir' filter is in a state in which invisible light is not irradiated, that is, turned off, only light having an intensity of R component of '230' is transmitted. Therefore, in this case, when the difference between the sensing values is obtained, it becomes '25', and thus the controller 100 can extract '25' as the value of the invisible light component of the optical element corresponding to the'R+ir' filter.

따라서 실제 투과된 비가시광 성분보다 작은 값이 감지될 수 있다. 이에 따라 제어부(100)는 이를 보완하기 위해 기 설정된 가중치를 상기 추출된 비가시광 성분에 부여할 수 있다. 예를 들어 제어부(100)는 비가시광이 대상 물체에 조사될 때에, 가시광 성분을 우선적으로 감지하는 광소자들(이하 제1 광소자들이라고 칭한다)의 감지값이 '최대 허용치'인 경우, 이를 이용하여 추출되는 비가시광 성분에 가중치가 부여되도록 할 수 있다. Therefore, a value smaller than the actually transmitted invisible light component can be detected. Accordingly, the controller 100 may apply a preset weight to the extracted invisible light component to compensate for this. For example, when the invisible light is irradiated onto a target object, the controller 100 may preferentially detect the visible light component (hereinafter referred to as first optical devices) when the detection value of the detected value is the'maximum allowable value'. Weight can be given to the invisible light component extracted by using.

또한 가중치는, 실험에 의해 통계적으로 밝혀진 수치에 의해 결정될 수도 있다. 예를 들어 RGB 컬러 중 많이 사용되는 컬러 성분의 경우, 상기한 경우에서처럼 그 성분이 세게 감지되는 경우가 많으므로, 가중치를 보다 높게 설정하고, 적게 사용되는 컬러 성분의 경우 가중치를 보다 낮게 설정되도록 할 수도 있다. 또는 상기 가중치는, 비가시광이 대상 물체에 조사되지 않을 때에, 가시광 성분을 우선적으로 감지하는 광소자들에서 감지된 광의 세기, 즉, 순수한 가시광의 성분의 세기에 따라 그 크기가 결정될 수도 있다. In addition, the weight may be determined by a numerical value that has been statistically revealed by experiment. For example, in the case of a color component that is used a lot among RGB colors, the component is often detected as hard as in the above case, so the weight should be set higher, and for the color component used less, the weight should be set lower. May be. Alternatively, when the invisible light is not irradiated to the target object, the weight may be determined according to the intensity of light detected by optical devices that preferentially detect the visible light component, that is, the intensity of the pure visible light component.

예를 들어, 비가시광이 대상 물체에 조사되지 않을 때에 광소자들에게서 감지된 값은, 비가시광 성분이 포함되지 않은 가시광 성분의 세기값이다. 이 경우, 가시광 성분의 세기가 크면 상대적으로 비가시광 성분의 세기는 조금밖에 측정될 수 없다. 이에 따라 제어부(100)는 가시광 성분의 세기가 크게 감지될수록, 추출되는 비가시광 성분에 부여되는 가중치를 높게 설정할 수 있다. For example, when invisible light is not irradiated to a target object, a value sensed by optical devices is an intensity value of a visible light component that does not include the invisible light component. In this case, when the intensity of the visible light component is large, the intensity of the invisible light component can be relatively measured only slightly. Accordingly, as the intensity of the visible light component is detected, the control unit 100 may set a higher weight applied to the extracted invisible light component.

한편, 만약 가시광 성분의 세기가 최대 허용치인 경우라면(예를 들어 '255'인 경우) 비가시광 성분이 아예 측정되지 못할 수도 있음은 물론이다. 이러한 경우 제어부(100)는 비가시광 성분의 값이 '0'인 경우, 인접한 다른 광소자들에서 감지되는 비가시광 성분의 값을 이용하여 이를 보간할 수도 있음은 물론이다. 즉, 예를 들어 가시광 성분을 우선적으로 감지하는 광소자들(제1 광소자들)의 경우, 이러한 경우가 발생할 수 있는데, 이러한 경우 제어부(100)는 인접한 다른 광소자, 예를 들어 비가시광 성분을 우선적으로 감지하는 광소자들(이하 제2 광소자들이라고 한다)에서 감지된 비가시광 성분의 감지값들의 평균을 산출하여 보간값을 산출할 수도 있다. On the other hand, if the intensity of the visible light component is the maximum allowed value (for example, '255'), it goes without saying that the invisible light component may not be measured at all. In this case, it goes without saying that if the value of the invisible light component is '0', the controller 100 may interpolate it using the value of the invisible light component detected by other adjacent optical devices. That is, for example, in the case of optical devices (first optical devices) that preferentially detect a visible light component, such a case may occur. In this case, the controller 100 may be configured with another adjacent optical device, for example, an invisible light component. The interpolation value may also be calculated by calculating an average of the detection values of the invisible light components detected by the optical devices (hereinafter referred to as second optical devices) that detect the first.

뿐만 아니라 제어부(100)는 상기 제1 광소자들의 비가시광 성분을, 상기 비가시광이 가지는 구조광 패턴의 해상도에 따라 결정되도록 할 수도 있다. 여기서 구조광 패턴의 해상도라고 하는 것은, 사물로부터 반사된 비가시광의 구조광 패턴에 대한 정보를 생성하기 위해 비가시광 성분의 값을 검출할 광소자들의 개수가 될 수 있다. In addition, the controller 100 may determine the invisible light component of the first optical devices according to the resolution of the structured light pattern of the invisible light. Here, the resolution of the structured light pattern may be the number of optical elements to detect the value of the invisible light component in order to generate information on the structured light pattern of invisible light reflected from an object.

제어부(100)는 구조광 패턴의 해상도가 충분히 큰 경우, 제1 광소자들 각각에 인접한 제2 광소자들의 감지값들을 이용하여 보간값들을 산출하고 산출된 보간값들을 제1 광소자들에서 감지된 비가시광의 감지값으로 결정할 수도 있다. When the resolution of the structured light pattern is sufficiently large, the control unit 100 calculates interpolation values using the detection values of the second optical elements adjacent to each of the first optical elements, and detects the calculated interpolation values by the first optical elements. It can also be determined by the detection value of the invisible light.

또는 이와 반대로, 구조광 패턴의 크기가 충분히 작지 않을 경우 상술한 바와 같이, 제1 광소자들 각각으로부터 비가시광이 온 된 상태에서 감지된 광의 세기와, 비가시광이 오프 된 상태에서 감지된 광의 세기의 차를 구하여, 상기 제1 광소자들 각각의 비가시광의 성분을 검출할 수도 있다. Or, on the contrary, when the size of the structured light pattern is not sufficiently small, as described above, the intensity of light detected when invisible light is turned on from each of the first optical elements and the intensity of light detected when invisible light is turned off. It is also possible to detect a component of invisible light of each of the first optical elements by obtaining the difference of.

이는 구조광 패턴 해상도의 크기가 충분히 큰 경우(예를 들어 기본 배열을 이루는 광소자들의 한 배열에 해당되는 크기보다 큰 경우), 비가시광 성분을 우선적으로 감지하는 광소자가 적어도 하나 이상 포함될 수 있으므로 단순히 보간을 하는 것만으로도 구조광 패턴 정보의 손실이 그리 크지 않을 수 있기 때문이다. This is simply because at least one optical element that preferentially detects invisible light components may be included when the size of the structured light pattern resolution is sufficiently large (for example, larger than the size corresponding to one array of optical elements constituting the basic array). This is because the loss of structured light pattern information may not be so great by performing interpolation alone.

한편, 메모리(130)는 이러한 제어부(100)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 가중치에 대한 정보, 구조광 패턴의 크기에 대한 정보, 또는 제1 광소자들의 비가시광이 온 된 상태와 비가시광이 오프 된 상태에서 각각 감지된 광의 세기에 대한 정보등)을 임시 저장할 수도 있다. Meanwhile, the memory 130 may store a program for the operation of the control unit 100, and input/output data (eg, information on a weight, information on the size of a structured light pattern, or a first Information on the intensity of light detected when the invisible light of the optical elements is turned on and the invisible light is turned off, etc.) can also be temporarily stored.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. According to software implementation, embodiments such as procedures and functions described herein may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.

소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(130)에 저장되고, 제어부(100)에 의해 실행될 수 있다.The software code is a software application written in an appropriate programming language, and the software code can be implemented. The software code may be stored in the memory 130 and executed by the controller 100.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 카메라의 제어 방법을 구체적으로 설명한다. Hereinafter, a method of controlling a camera according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 3은 본 발명의 일 실시 예에 따른 카메라에서 대상 사물의 입체적인 특성을 감지하는 동작 과정을 도시한 흐름도이다. 3 is a flowchart illustrating an operation process of detecting a three-dimensional characteristic of a target object by a camera according to an embodiment of the present invention.

도 3을 참조하여 살펴보면, 본 발명의 실시 예에 따른 카메라의 제어부(100)는 대상 사물에 대해 비가시광을 조사한다(S300). 상기 S300 단계에서 제어부(100)는 일정 시간 간격을 주기로 비가시광의 온-오프가 반복되도록 하여 대상 사물에 대해 점멸되는 비가시광을 생성한다.Referring to FIG. 3, the controller 100 of the camera according to an embodiment of the present invention irradiates invisible light to a target object (S300). In the step S300, the control unit 100 generates invisible light that flashes on the target object by repeatedly turning on and off the invisible light at regular intervals.

그리고 제어부(100)는 상기 대상 사물로부터 반사되는 가시광 및 비가시광을 감지한다(S302). S302 단계에서 제어부(100)는 수광부(110)를 통해 상기 S300 단계에서 점멸하는 비가시광에 따라, 비가시광이 온 된 상태 및 비가시광이 오프된 상태에서 상기 대상 사물로부터 반사되는 가시광 및 비가시광을 감지한다. 이에 따라 수광부(110)에서는 상기 비가시광의 점멸 주기에 근거하여 가시광 성분만 감지되거나 또는 가시광 및 비가시광이 합쳐진 광성분이 감지될 수 있다. Further, the controller 100 detects visible light and invisible light reflected from the target object (S302). In step S302, the controller 100 transmits visible light and invisible light reflected from the target object in a state in which invisible light is turned on and in a state in which invisible light is turned off, according to the invisible light flashing in step S300 through the light receiving unit 110. To detect. Accordingly, the light receiving unit 110 may detect only a visible light component or a combined light component of visible and invisible light based on the blinking period of the invisible light.

한편 제어부(100)는, 상기 S302 단계에서 각 광소자들에 감지된 감지값들을 상기 비가시광의 점멸 주기에 따라 동기화한다(S304). 이에 따라 제어부(100)는 각각의 비가시광의 점멸 주기에 감지된 가시광 성분 또는 가시광 및 비가시광이 합쳐진 광성분을 동기화할 수 있다. 그리고 제어부(100)는 각 점멸 주기에서, 비가시광이 온 된 상태에서 각 광소자들에 감지된 값들로부터, 비가시광이 오프된 상태에서 각 광소자들에 감지된 값들의 차를 구한다. 즉 제어부(100)는 가시광 및 비가시광이 합쳐진 광성분의 세기와 가시광 성분의 세기의 차를 구함으로써, 각 광소자들의 비가시광 성분을 추출할 수 있다(S306). Meanwhile, the control unit 100 synchronizes the detection values sensed by each of the optical devices in step S302 according to the blinking period of the invisible light (S304). Accordingly, the control unit 100 may synchronize a visible light component detected in the blinking period of each invisible light or a combined light component of visible and invisible light. In each blinking period, the controller 100 obtains a difference between values sensed by each optical element in a state in which invisible light is turned off from values sensed by each optical element in a state in which the invisible light is turned on. That is, the controller 100 may extract the invisible light component of each of the optical elements by obtaining a difference between the intensity of the visible light component and the intensity of the visible light component (S306).

도 4는 이러한 본 발명의 일 실시 예에 따른 카메라에서, 복수의 광소자들에서 감지된 값으로부터 비가시광 성분을 추출하는 예를 도시한 개념도이다. 4 is a conceptual diagram illustrating an example of extracting an invisible light component from values sensed by a plurality of optical devices in the camera according to an embodiment of the present invention.

도 4를 참조하여 살펴보면, 도 4의 (a)는 비가시광이 온 된 상태에서 복수의 광소자들에 감지되는 광 성분의 세기를 나타내고 있는 것이다. 이러한 경우, 즉 비가시광이 온 된 상태에서는 비가시광 조사부(120)에서 조사된 비가시광이 대상 사물에 반사되어 수광부(110)에 입사되므로, 도 4의 (a)에서 보이고 있는 것과 같이, 각 광소자들에서는 비가시광 성분, 즉 적외선(ir) 성분이 가시광 성분에 포함될 수 있다. Referring to FIG. 4, (a) of FIG. 4 shows the intensity of light components sensed by a plurality of optical devices when invisible light is turned on. In this case, that is, when the invisible light is turned on, the invisible light irradiated by the invisible light irradiation unit 120 is reflected on the target object and is incident on the light receiving unit 110. As shown in Fig. 4(a), each light In the devices, an invisible light component, that is, an infrared (ir) component may be included in the visible light component.

그러나 만약 비가시광이 오프된 상태에서는, 비가시광이 대상 사물에서 반사되지 않으므로, 수광부(110)에 비가시광이 입사되지 않는다. 이에 따라 도 4의 (b)에서 보이고 있는 것과 같이, 각 광소자들에서는 가시광 성분, 즉 RGB 컬러 성분 중 어느 하나의 성분에 대한 세기가 감지될 수 있다. However, if the invisible light is turned off, the invisible light is not reflected from the target object, so that the invisible light is not incident on the light receiving unit 110. Accordingly, as shown in (b) of FIG. 4, in each of the optical devices, the intensity of a visible light component, that is, any one component among RGB color components can be detected.

따라서 비가시광이 온 된 상태에서 각 광소자에서 감지된 광성분의 세기와, 비가시광이 오프된 상태에서 각 광소자에서 감지된 광성분의 세기의 차를 구하면, 도 4의 (c)에서 보이고 있는 것과 같이 각 광소자에서 감지된 비가시광 성분을 검출할 수 있다. Therefore, when the difference between the intensity of the optical component detected by each optical device when the invisible light is on and the intensity of the optical component detected by each optical device when the invisible light is turned off is obtained, it is shown in Fig. 4(c). As there is, it is possible to detect the invisible light component detected by each optical device.

예를 들어 도 4의 (c)에서 'irg'는, 도 4의 (a)에서 RGB 성분의 G 성분과 비가시광 성분이 포함된 광의 감지값에서, G 성분의 감지값을 차감한 값으로, 가시광에 대한 감도가 비가시광에 대한 감도보다 더 높은 광소자(제1 광소자)에서 감지된 비가시광 성분의 값이다. 그리고 'IR'은, 도 4의 (a)에서 비가시광 성분을 우선적으로 감지한 값과 약간의 가시광 성분의 값(rgb : RGB 값중 기 설정된 어느 한 성분의 값)에서 가시광 성분의 값을 차감한 값으로, 비가시광에 대한 감도가 가시광에 대한 감도보다 더 높은 광소자(제2 광소자)에서 감지된 비가시광 성분의 값이다. For example, in (c) of Figure 4 contains a 'ir g' is one in the light detected value containing the G component and the non-visible light component of the RGB components in the FIG. 4 (a), subtracting the detected value of the G component values , The value of the invisible light component detected by the optical device (first optical device) having a higher sensitivity to visible light than that to invisible light. In addition,'IR' is a value obtained by subtracting the value of the visible light component from the value of preferentially detecting the invisible light component in Fig. 4A and the value of some visible light component (rgb: the value of any one preset among RGB values). As a value, it is a value of an invisible light component sensed by an optical device (second optical device) having a higher sensitivity to visible light than the sensitivity to visible light.

이처럼 모든 광소자들로부터 비가시광 성분이 추출되면, 제어부(100)는 추출된 비가시광 성분으로부터 구조광 패턴의 정보를 생성하여 상기 대상 사물의 입체적 형상에 대한 정보, 즉 입체적인 공간감을 느끼게 하는 깊이감(depth) 정보를 추정할 수 있다. 이러한 경우, 본 발명에서는 상술한 바와 같이 소실없이 모든 광소자들이 감지한 비과시광 성분을 추출하는 것이 가능하므로 보다 정확한 구조광 패턴 정보를 생성할 수 있고, 이에 따라 보다 정확하게 상기 깊이감(depth) 정보를 추정할 수 있다. In this way, when the invisible light component is extracted from all optical elements, the control unit 100 generates information on the structured light pattern from the extracted invisible light component to provide information on the three-dimensional shape of the target object, that is, a sense of depth to feel a three-dimensional sense of space. (depth) Information can be estimated. In this case, in the present invention, since it is possible to extract the non-visible light components detected by all optical devices without loss as described above, more accurate structured light pattern information can be generated, and accordingly, the depth of the depth is more accurate. Information can be estimated.

한편, 수광부(110)의 광소자들 중, 제1 광소자들의 경우, 가시광 성분에 대한 감도가 비가시광 성분에 대한 감도보다 높으므로, 가시광 성분의 세기가 강하면, 비가시광 성분이 적게 감지되거나 또는 감지되지 못하는 경우가 있을 수 있음을 앞서 밝힌 바 있다. 이러한 경우, 본 발명의 실시 예에 따른 카메라의 제어부(100)는, 상술한 바와 같이 기 설정된 가중치를 상기 S306 단계에서 추출된 비가시광 성분의 값들 중 제1 광소자들로부터 추출된 값들에 부여할 수도 있다. 이 경우, 상기 가중치가 부여된 제1 광소자들의 비가시광 성분값들과, S306 단계에서 추출된 가중치가 부여되지 않은 제2 광소자들의 비가시광 성분값들로부터 제어부(100)는 구조광 패턴의 정보를 생성할 수 있고, 상기 대상 사물의 입체적 형상에 대한 정보를 추정할 수 있다. Meanwhile, among the optical elements of the light receiving unit 110, in the case of the first optical elements, since the sensitivity to the visible light component is higher than the sensitivity to the invisible light component, if the intensity of the visible light component is strong, the invisible light component is detected less or It has been stated earlier that there may be cases where it cannot be detected. In this case, the controller 100 of the camera according to an embodiment of the present invention may assign a preset weight to values extracted from the first optical elements among the values of the invisible light component extracted in step S306 as described above. May be. In this case, from the invisible light component values of the first optical devices to which the weight is assigned, and the invisible light component values of the second optical devices to which the weight is not assigned, extracted in step S306, the controller 100 Information can be generated, and information on the three-dimensional shape of the target object can be estimated.

한편 이처럼 가중치를 부여하는 것과는 달리, 제어부(100)는 제1 광소자들 각각에 인접한 제2 광소자들의 비가시광 성분의 감지값들을 이용하여 상기 제1 광소자들의 비가시광 성분을 보간한 값을 산출하고, 상기 산출된 보간값과, 상기 S306 단계에서 추출된 제1 광소자들의 비가시광 성분의 값들을 각각 비교하여 그중 큰 값이 상기 제1 광소자달의 비가시광 성분값으로 결정되도록 할 수도 있다. On the other hand, unlike this weighting, the controller 100 calculates a value obtained by interpolating the invisible light components of the first optical devices by using the detection values of the invisible light components of the second optical devices adjacent to each of the first optical devices. The calculated interpolation value and the values of the invisible light components of the first optical elements extracted in step S306 are compared to each other so that a larger value is determined as the invisible light component value of the first optical device moon. have.

도 5는 이러한 본 발명의 일 실시 예에 따른 카메라에서 복수의 광소자들 중 일부의 비가시광 성분을 결정하는 동작 과정을 도시한 흐름도이다. 5 is a flowchart illustrating an operation process of determining some non-visible light components among a plurality of optical devices in the camera according to an embodiment of the present invention.

도 5를 참조하여 살펴보면, 본 발명의 실시 예에 따른 카메라의 제어부(100)는 상기 S306 단계에서 각 광소자들의 비가시광 성분들이 추출되면, 제1 광소자들 각각에 인접한 제2 광소자들의 감지값들로부터, 상기 제1 광소자들 각각의 비가시광 성분들에 대한 보간값을 산출한다(S500). 상기 S500 단계에서 제어부(100)는, 상기 보간값을 산출하기 위해, 인접한 제2 광소자들에서 감지된 비가시광 성분의 평균값을 산출할 수도 있다. Referring to FIG. 5, when the invisible light components of each optical device are extracted in the step S306, the controller 100 of the camera according to an embodiment of the present invention detects second optical devices adjacent to each of the first optical devices. From the values, an interpolation value for invisible light components of each of the first optical elements is calculated (S500). In the step S500, the controller 100 may calculate an average value of invisible light components detected by adjacent second optical devices in order to calculate the interpolation value.

상기 S500 단계에서 제1 광소자들 각각에 대한 보간값이 산출되면, 제어부(100)는 제1 광소자들 각각에 대해 상기 S306 단계에서 추출된 비가시광의 성분값과 상기 S500 단계에서 산출된 보간값을 비교한다. 그리고 둘 중 큰 값을 제1 광소자들에 대한 비가시광의 성분값으로 결정한다(S502). 그리고 제어부(100)는 상기 결정된 제1 광소자들에 대한 비가시광의 성분값과, 상기 S306 단계에서 추출된 제2 광소자들의 성분값에 근거하여 상기 대상 사물에 반사된 비가시광의 구조광 패턴에 대한 정보를 생성할 수 있고, 상기 대상 사물의 입체적 형상에 대한 정보를 추정할 수 있다(S504). When the interpolation value for each of the first optical elements is calculated in the step S500, the control unit 100 determines the component values of the invisible light extracted in the step S306 for each of the first optical elements and the interpolation calculated in the step S500. Compare the values. The larger of the two is determined as a component value of invisible light for the first optical devices (S502). And the control unit 100 based on the determined component values of the invisible light for the first optical elements and the component values of the second optical elements extracted in step S306, the structured light pattern of the invisible light reflected on the target object It is possible to generate information on and estimate information on the three-dimensional shape of the target object (S504).

한편 상술한 설명에서는 제어부(100)가 비가시광의 구조광 패턴 해상도의 크기를 감지할 수 있음을 언급한바 있다. 즉, 제어부(100)는 구조광 패턴의 해상도가 충분히 큰 경우, S306 단계의 계산 과정을 생략하고, 단순히 제2 광소자들에서 감지된 값들로, 각 제1 광소자들의 비가시광 성분값들을 보간하고, 보간된 제1 광소자들의 비가시광 성분값들과, 상기 제2 광소자들의 감지값들을 이용하여 상기 대상 사물에 반사된 비가시광의 구조광 패턴에 대한 정보를 생성할 수도 있다. Meanwhile, in the above description, it has been mentioned that the controller 100 can detect the size of the structured light pattern resolution of invisible light. That is, when the resolution of the structured light pattern is sufficiently large, the control unit 100 skips the calculation process of step S306, and simply interpolates the invisible light component values of each of the first optical devices with the values detected by the second optical devices. In addition, information on the structured light pattern of the invisible light reflected from the target object may be generated by using the interpolated invisible light component values of the first optical devices and the detection values of the second optical devices.

도 6은 이러한 경우에 본 발명의 일 실시 예에 따른 카메라에서 비가시광의 구조광 패턴 해상도에 따라 대상 사물의 입체적인 특성을 감지하는 동작 과정을 도시한 흐름도이다. 6 is a flowchart illustrating an operation process of detecting a three-dimensional characteristic of a target object according to a structured light pattern resolution of invisible light in a camera according to an embodiment of the present invention in this case.

도 6을 참조하여 살펴보면, 제어부(100)는 S302 단계에서 대상 사물로부터 반사되는 가시광 및 비가시광이 감지되면, 상기 비가시광을 감지한 복수의 광소자들로부터 상기 비가시광의 구조광 패턴 해상도를 감지할 수 있다. 또는 제어부(100)는, 비가시광 조사부(120)에서 특정 구조광 패턴을 가진 비가시광이 상기 사물에 조사될 때 미리 상기 구조광 패턴에 대한 정보를 가지고 있을 수도 있다. Referring to FIG. 6, when visible light and invisible light reflected from a target object are detected in step S302, the controller 100 detects the structured light pattern resolution of the invisible light from a plurality of optical elements that have detected the invisible light. can do. Alternatively, the control unit 100 may have information on the structured light pattern in advance when invisible light having a specific structured light pattern is irradiated onto the object by the invisible light irradiation unit 120.

이러한 경우 제어부(100)는 상기 감지된 구조광 패턴 해상도가 기 설정된 크기 이상인지 여부를 판단한다(S600). 그리고 상기 구조광 패턴 해상도가 기 설정된 크기 미만인 경우, 제어부(100)는 S304 단계로 진행하여 비가시광의 점멸 주기에 따라 제1 광소자들 및 제2 광소자들로부터 감지된 값들을 동기화하고, 상기 S306 단계에서 S308 단계에 이르는 과정을 진행한다. 이는 구조광 패턴의 해상도가 충분히 크지 않을 경우, 비가시광 성분의 감도가 상대적으로 낮은 제1 광소자들만으로부터 비가시광 정보가 추출될 수 있고 이러한 경우 해당 영역에 대한 구조광 패턴 정보가 소실될 우려가 있기 때문이다. In this case, the controller 100 determines whether the sensed structured light pattern resolution is greater than or equal to a preset size (S600). And when the structured light pattern resolution is less than a preset size, the control unit 100 proceeds to step S304 to synchronize the values sensed from the first and second optical devices according to the blinking period of the invisible light, and the The process from step S306 to step S308 proceeds. This is because if the resolution of the structured light pattern is not sufficiently large, invisible light information may be extracted from only the first optical devices with relatively low sensitivity of the invisible light component, and in this case, there is a concern that structured light pattern information for the corresponding region may be lost. Because there is.

그러나 상기 S600 단계의 판단 결과, 비가시광의 구조광 패턴 해상도의 크기가 기 설정된 크기 이상인 경우라면, 제어부(100)는 계산량을 줄이기 위해 S306 단계의 과정을 진행하지 않고 현재 감지된 값만을 이용하여 대상 사물로부터 반사된 비가시광의 구조광 패턴에 대한 정보를 생성할 수도 있다. 이러한 경우 제어부(100)는 비가시광 성분의 감도가 가시광 성분의 감도보다 높은 제2 광소자들의 감지값들로부터, 제1 광소자들 각각의 비가시광 성분값을 보간한다(S602). 그리고 산출된 각 제1 광소자들의 보간값들과, 제2 광소자들에서 감지된 감지값들로부터, 상기 대상 사물로부터 반사된 비가시광 성분의 구조광 패턴에 대한 정보를 생성한다(S604). 이는 구조광 패턴의 해상도가 충분히 큰 경우, 제2 광소자들이 적어도 하나이상 각각 포함될 수 있으므로 단순히 보간을 하는 것만으로도 구조광 패턴 정보의 손실이 그리 크지 않을 수 있기 때문이다. However, as a result of the determination in step S600, if the size of the structured light pattern resolution of the invisible light is greater than or equal to a preset size, the control unit 100 does not proceed with the process of step S306 to reduce the amount of calculation, and uses only the currently detected value. Information on a structured light pattern of invisible light reflected from an object may be generated. In this case, the controller 100 interpolates the invisible light component values of each of the first optical devices from the detection values of the second optical devices having a sensitivity of the invisible light component higher than that of the visible light component (S602). Then, information on the structured light pattern of the invisible light component reflected from the target object is generated from the calculated interpolation values of each of the first optical devices and the detected values sensed by the second optical devices (S604). This is because when the resolution of the structured light pattern is sufficiently large, at least one or more of the second optical elements may be included, respectively, and thus the loss of structured light pattern information may not be so great by simply interpolating.

또한, 본 명세서에 개시된 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RaM, cd-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.In addition, according to the exemplary embodiment disclosed in the present specification, the above-described method may be implemented as code that can be read by a processor in a medium on which a program is recorded. Examples of media that can be read by the processor include ROM, RaM, cd-ROM, magnetic tape, floppy disk, optical data storage, etc., and are implemented in the form of carrier waves (for example, transmission over the Internet). Include.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시 예에서는 비가시광의 예로 적외선(Ir) 만을 언급하였으나, 얼마든지 다양한 형태의 비가시광이 사용될 수 있음은 물론이다. Meanwhile, in the above description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope of the present invention. In particular, in the exemplary embodiment of the present invention, only infrared (Ir) is mentioned as an example of invisible light, but it is a matter of course that various types of invisible light may be used.

이처럼 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.As such, a person of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

Claims (12)

대상 사물에서 반사되는 특정 구조광 패턴의 비가시광을 이용하여 사물의 입체적 형상을 감지하기 위한 카메라에 있어서,
상기 특정 구조광 패턴을 가지는 비가시광을 점멸하여 상기 사물에 조사하는 비가시광 조사부;
특정 컬러의 가시광과 비가시광을 모두 투과시킬 수 있도록 형성된 이중 대역 필터를 컬러 필터로 구비하여, 상기 사물에 반사되는 가시광 및 비가시광을 모두 감지하는 광소자들의 배열을 복수개 포함하는 수광부; 및,
상기 배열을 구성하는 광소자들 각각이 상기 비가시광이 상기 사물에 조사된 상태에서 감지한 값과 상기 비가시광이 상기 사물에 조사되지 않은 상태에서 감지한 값의 차를 산출하여, 상기 배열을 구성하는 광소자들 각각에 대한 비가시광 성분값을 추출하며, 추출된 비가시광 성분값들로부터 상기 사물에서 반사된 특정 구조광 패턴에 대한 정보를 생성하는 제어부를 포함하며,
상기 배열을 구성하는 광소자들은,
서로 다른 컬러의 가시광 성분을 비가시광 성분보다 우선적으로 감지하는 복수의 제1 광소자와, 비가시광 성분을 가시광 성분보다 우선적으로 감지하는 제2 광소자를 포함하고,
상기 제어부는,
상기 배열을 구성하는 제1 광소자 각각의 비가시광 성분을, 함께 배열을 구성하는 제2 광소자에서 감지된 비가시광 성분을 이용하여 보간하는 것을 특징으로 하는 카메라.
In a camera for detecting a three-dimensional shape of an object using invisible light of a specific structured light pattern reflected from a target object,
An invisible light irradiation unit for irradiating the object by flashing invisible light having the specific structured light pattern;
A light-receiving unit including a plurality of arrays of optical elements for sensing both visible and invisible light reflected from the object by having a dual band filter formed to transmit both visible and invisible light of a specific color as a color filter; And,
Each of the optical elements constituting the array calculates a difference between a value sensed when the invisible light is irradiated onto the object and a value sensed when the invisible light is not irradiated to the object, thereby configuring the array And a control unit that extracts invisible light component values for each of the optical elements, and generates information on a specific structured light pattern reflected from the object from the extracted invisible light component values,
The optical elements constituting the arrangement,
A plurality of first optical devices for sensing visible light components of different colors preferentially over invisible light components, and a second optical device for sensing invisible light components preferentially over visible light components,
The control unit,
And interpolating the invisible light component of each of the first optical elements constituting the array by using the invisible light component detected by the second optical element constituting the array together.
삭제delete 제1항에 있어서, 상기 제어부는,
상기 광소자들 각각으로부터 추출된 비가시광 성분값들 중, 상기 제1 광소자들에 대응되는 비가시광 성분들에 대해, 기 설정된 가중치를 부여하는 것을 특징으로 하는 카메라.
The method of claim 1, wherein the control unit,
A camera, characterized in that, among invisible light component values extracted from each of the optical elements, a preset weight is assigned to invisible light components corresponding to the first optical elements.
제3항에 있어서, 상기 제어부는,
상기 각 제1 광소자들이, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서 감지한 값에 근거하여, 상기 제1 광소자들마다 상기 가중치의 크기를 결정하는 것을 특징으로 하는 카메라.
The method of claim 3, wherein the control unit,
The camera, characterized in that, based on a value detected by each of the first optical elements when the invisible light is not irradiated to the object, the weight of the weight is determined for each of the first optical elements.
제3항에 있어서, 상기 제어부는,
제2 광소자에서 감지된 값을 이용하여 산출된 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값과, 상기 가중치가 부여된 비가시광 성분의 값을 비교하여 큰 값으로 상기 광소자들 중 제1 광소자들 각각의 비가시광 성분값을 결정하는 것을 특징으로 하는 카메라.
The method of claim 3, wherein the control unit,
By comparing the interpolation value for the invisible light component of each of the first optical devices calculated using the value detected by the second optical device and the value of the invisible light component to which the weight is assigned, the optical devices are The camera, characterized in that to determine the invisible light component value of each of the first optical elements.
제3항에 있어서, 상기 제어부는,
상기 비가시광이 가지는 구조광 패턴의 해상도의 크기를 판단하고,
인접한 제2 광소자들에서 감지된 값들을 이용하여 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값을 산출 및,
상기 감지된 구조광 패턴의 해상도 크기에 근거하여, 상기 산출된 보간값 또는 상기 가중치가 부여된 비가시광 성분값 중 어느 하나로 상기 광소자들 중 제1 광소자들 각각의 비가시광 성분값을 결정하는 것을 특징으로 하는 카메라.
The method of claim 3, wherein the control unit,
To determine the size of the resolution of the structured light pattern of the invisible light,
Calculating an interpolation value for the invisible light component of each of the first optical elements by using values sensed by adjacent second optical elements, and
Determining a non-visible light component value of each of the first optical devices among the optical devices by one of the calculated interpolation value or the weighted invisible light component value based on the detected resolution size of the structured light pattern A camera, characterized in that.
대상 사물에서 반사되는 특정 구조광 패턴의 비가시광을 이용하여 사물의 입체적 형상을 감지하기 위한 카메라의 제어 방법에 있어서,
상기 특정 구조광 패턴을 가지는 비가시광을 점멸하여 상기 사물에 조사하는 단계;
배열을 구성하는 복수의 광소자 각각이, 특정 컬러의 가시광과 비가시광을 모두 투과시킬 수 있도록 형성된 이중 대역 컬러 필터를 통해 상기 사물에 반사되는 가시광 및 상기 점멸하는 비가시광 모두를 감지하는 단계;
상기 복수의 광소자 각각이, 상기 비가시광이 상기 사물에 조사된 상태에서 감지한 값과, 상기 비가시광이 상기 사물에 조사되지 않은 상태에서의 감지한 값을 이용하여 상기 복수의 광소자 각각에 대한 비가시광 성분값을 추출하는 단계; 및,
상기 추출된 비가시광 성분값으로부터 상기 사물에서 반사된 특정 구조광 패턴에 대한 정보를 생성하는 단계를 포함하며,
상기 배열을 구성하는 복수의 광소자는,
서로 다른 컬러의 가시광 성분을 비가시광 성분보다 우선적으로 감지하는 복수의 제1 광소자와, 비가시광 성분을 가시광 성분보다 우선적으로 감지하는 제2 광소자를 포함하고,
상기 복수의 광소자 각각에 대한 비가시광 성분값을 추출하는 단계는,
상기 배열을 구성하는 복수의 제1 광소자 각각의 비가시광 성분들을, 함께 배열을 구성하는 제2 광소자에서 감지된 비가시광 성분을 이용하여 보간하는 단계를 더 포함하는 것을 특징으로 하는 카메라의 제어 방법.
In the control method of a camera for detecting a three-dimensional shape of an object using invisible light of a specific structured light pattern reflected from a target object,
Irradiating the object by blinking invisible light having the specific structured light pattern;
Sensing both visible light reflected from the object and the flickering invisible light through a dual band color filter formed so that each of the plurality of optical elements constituting the array transmits both visible light and invisible light of a specific color;
Each of the plurality of optical devices uses a value sensed when the invisible light is irradiated to the object and a value detected when the invisible light is not irradiated to the object to each of the plurality of optical devices. Extracting an invisible light component value for; And,
And generating information on a specific structured light pattern reflected from the object from the extracted invisible light component values,
A plurality of optical elements constituting the arrangement,
A plurality of first optical devices for sensing visible light components of different colors preferentially over invisible light components, and a second optical device for sensing invisible light components preferentially over visible light components,
The step of extracting the invisible light component values for each of the plurality of optical devices,
Control of a camera, further comprising the step of interpolating non-visible light components of each of the plurality of first optical elements constituting the array by using invisible light components sensed by a second optical element constituting the array together. Way.
삭제delete 제7항에 있어서, 상기 비가시광 성분값을 추출하는 단계는,
상기 복수의 광소자 각각으로부터 추출된 비가시광 성분값들 중, 상기 제1 광소자들에 대응되는 비가시광 성분들에 대해, 기 설정된 가중치를 부여하는 단계를 더 포함하는 것을 특징으로 하는 카메라의 제어 방법.
The method of claim 7, wherein the step of extracting the invisible light component value,
Control of a camera, further comprising: assigning a preset weight to non-visible light components corresponding to the first optical elements among the invisible light component values extracted from each of the plurality of optical elements. Way.
삭제delete 삭제delete 제9항에 있어서, 상기 비가시광 성분값을 추출하는 단계는,
상기 비가시광의 패턴 해상도의 크기를 감지하는 단계;
인접한 제2 광소자들에서 감지된 값들을 이용하여 상기 제1 광소자들 각각의 비가시광 성분에 대한 보간값을 산출하는 단계; 및,
상기 감지된 패턴 해상도의 크기에 근거하여, 상기 산출된 보간값과, 상기 가중치가 부여된 비가시광 성분의 값 중 어느 하나의 값으로 상기 복수의 각 광소자 중 제1 광소자들의 비가시광 성분값을 결정하는 단계를 더 포함하는 것을 특징으로 하는 카메라의 제어 방법. The method of claim 9, wherein the step of extracting the invisible light component value,
Detecting the size of the pattern resolution of the invisible light;
Calculating an interpolation value for invisible light components of each of the first optical elements by using values sensed by adjacent second optical elements; And,
Invisible light component value of first optical elements among the plurality of optical elements as any one of the calculated interpolation value and the weighted invisible light component value based on the sensed pattern resolution size The control method of the camera further comprising the step of determining.
KR1020140013194A 2014-02-05 2014-02-05 Multispectral camera and control method of the camera for detecting 3d image KR102158212B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140013194A KR102158212B1 (en) 2014-02-05 2014-02-05 Multispectral camera and control method of the camera for detecting 3d image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140013194A KR102158212B1 (en) 2014-02-05 2014-02-05 Multispectral camera and control method of the camera for detecting 3d image

Publications (2)

Publication Number Publication Date
KR20150092612A KR20150092612A (en) 2015-08-13
KR102158212B1 true KR102158212B1 (en) 2020-09-22

Family

ID=54056860

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140013194A KR102158212B1 (en) 2014-02-05 2014-02-05 Multispectral camera and control method of the camera for detecting 3d image

Country Status (1)

Country Link
KR (1) KR102158212B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6699897B2 (en) * 2016-11-11 2020-05-27 株式会社東芝 Imaging device, automatic control system and system
KR102693894B1 (en) 2019-03-29 2024-08-12 삼성전자주식회사 Wide-angle high resolution distance measuring device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010035168A (en) 2008-07-25 2010-02-12 Samsung Electronics Co Ltd Imaging apparatus and method
JP2013211836A (en) 2012-03-01 2013-10-10 Nissan Motor Co Ltd Camera device and image processing method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101344490B1 (en) * 2007-11-06 2013-12-24 삼성전자주식회사 Image generating method and apparatus
KR101666020B1 (en) * 2010-06-25 2016-10-25 삼성전자주식회사 Apparatus and Method for Generating Depth Image
KR101695252B1 (en) * 2012-06-07 2017-01-13 한화테크윈 주식회사 Camera system with multi-spectral filter array and image processing method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010035168A (en) 2008-07-25 2010-02-12 Samsung Electronics Co Ltd Imaging apparatus and method
JP2013211836A (en) 2012-03-01 2013-10-10 Nissan Motor Co Ltd Camera device and image processing method

Also Published As

Publication number Publication date
KR20150092612A (en) 2015-08-13

Similar Documents

Publication Publication Date Title
KR102070778B1 (en) Rgb-ir sensor with pixels array and apparatus and method for obtaining 3d image using the same
EP2385454B1 (en) Method for displaying a 3D settings menu and corresponding device
JP6681675B2 (en) Image processing method and apparatus
KR102370062B1 (en) Method of determining calibration parameter for 3d display device and 3d display device thereof
US9544580B2 (en) Image processing method and image processing apparatus
KR20180081453A (en) Method for Calibrating a Multi-View Display
US9477305B2 (en) Stereoscopic image display apparatus and computer-readable recording medium storing program thereon
US20150358597A1 (en) Systems And Methods For Obtaining Image Depth Information
US20140300703A1 (en) Image processing apparatus, image processing method, and program
KR20160090464A (en) Method for generating depth map in TOF camera
EP3717960B1 (en) Method and optical system for determining depth information
KR102158212B1 (en) Multispectral camera and control method of the camera for detecting 3d image
WO2016170804A1 (en) User interface device and user interface system
US10334233B2 (en) Portable device that controls photography mode, and control method therefor
US20130286164A1 (en) Glassless 3d image display apparatus and method thereof
CN107155102A (en) 3D automatic focusing display method and system thereof
KR102135372B1 (en) Structured light system
JP6004354B2 (en) Image data processing apparatus and image data processing method
KR20200063937A (en) System for detecting position using ir stereo camera
JPWO2013128765A1 (en) Image processing apparatus, image processing method, and computer program
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
JP5539146B2 (en) Stereoscopic image processing apparatus and control method thereof
JP5642561B2 (en) House change interpretation support device, house change interpretation support method, and house change interpretation support program
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
CN106973224A (en) Control method, control device and the electronic installation of assisted drawing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant