KR20200054055A

KR20200054055A - Structured light projector and electronic apparatus including the same

Info

Publication number: KR20200054055A
Application number: KR1020190017960A
Authority: KR
Inventors: 박현수; 한승훈; 이민경
Original assignee: 삼성전자주식회사
Priority date: 2018-11-09
Filing date: 2019-02-15
Publication date: 2020-05-19

Abstract

A structured light projector comprises: a light source; and a nanostructure array comprising a plurality of nanostructures which form a dot pattern based on light from the light source. Arrangement of the plurality of nanostructures in the nanostructure array has a layered structure of a nanostructure-sub cell-super cell and can form structured light having an arbitrary dot pattern. According to the present invention, a device size can be minimized and optical efficiency can be increased by using an array of nanostructures having sub wavelengths.

Description

Structured light projector and electronic apparatus including the same}

본 개시는 구조광 프로젝터 및 이를 포함하는 전자 장치에 대한 것이다. The present disclosure relates to a structured light projector and an electronic device including the same.

최근, 인간이나 기타 사물 등의 객체 인식에 있어, 정밀한 3차원 형상 인식에 의해, 객체의 형상, 위치나 움직임등을 정확히 식별해야 할 필요성이 점차적으로 높아지고 있다. 이를 위한 방법 중 하나로, 구조광(structured light)을 이용하는 3차원 센싱 기술이 시도되고 있으며 이에 의해, 정밀한 모션 인식이 가능해지고 있다. In recent years, in the recognition of objects such as humans and other objects, the necessity to accurately identify the shape, position or movement of an object is gradually increasing due to precise three-dimensional shape recognition. As one of the methods for this, a three-dimensional sensing technology using structured light has been attempted, thereby enabling precise motion recognition.

이러한 구조광 시스템은 요구되는 임의의 점 패턴(dot pattern)을 구현할 수 있어야 하며 또한, 다양한 전자 기기와의 결합을 위해 점차적으로 소형화, 고해상도화가 요구되고 있다. 구조광을 만들기 위해, 통상 회절형 광학 요소(diffractive optical element;DOE)와 같은 광학 부품이 사용되는데, 이러한 광학 부품이 차지하는 부피는 설계의 정밀도 및 제작 요건에 영향을 주는 요인이 된다.Such a structured light system should be able to implement any required dot pattern, and is increasingly required to be miniaturized and high-resolution to be combined with various electronic devices. To make structured light, optical components such as diffractive optical elements (DOE) are usually used, and the volume occupied by these optical components is a factor influencing design precision and manufacturing requirements.

구조광 프로젝터 및 이를 포함하는 전자 장치를 제공한다. A structured light projector and an electronic device including the same are provided.

일 유형에 따르면, 광원; 상기 광원에서의 광으로부터 점 패턴(dot pattern)을 형성하는 것으로, 복수의 나노구조물을 포함하는 복수의 수퍼셀(super cell)을 포함하며, 상기 복수의 수퍼셀 각각은 제1 형상 분포를 가지는 복수의 제1 나노구조물을 포함하는 제1 서브셀과 제2 형상 분포를 가지는 복수의 제2 나노구조물을 포함하는 제2 서브셀을 포함하는 나노구조 어레이;를 포함하는 구조광 프로젝터가 제공된다. According to the work type, the light source; Forming a dot pattern from light from the light source, includes a plurality of super cells including a plurality of nanostructures, each of the plurality of super cells having a first shape distribution A structured light projector comprising a nanostructure array including a first subcell including a first nanostructure and a second subcell including a plurality of second nanostructures having a second shape distribution is provided.

상기 광원은 복수의 발광 요소를 포함할 수 있다. The light source may include a plurality of light emitting elements.

상기 복수의 발광 요소와 상기 복수의 수퍼셀은 각각 2차원 주기 격자(periodic lattice) 형태로 배열될 수 있다. The plurality of light emitting elements and the plurality of supercells may be arranged in a 2D periodic lattice form, respectively.

상기 복수의 발광 요소 배열의 격자 상수와 상기 복수의 수퍼셀 배열의 격자 상수의 비율은 유리수일 수 있다. The ratio of the lattice constant of the plurality of light emitting element arrays to the lattice constant of the plurality of supercell arrays may be a rational number.

상기 복수의 발광 요소와 상기 복수의 수퍼셀은 같은 형상과 같은 크기의 2차원 주기 격자 형태로 배열될 수 있다. The plurality of light emitting elements and the plurality of supercells may be arranged in the form of a two-dimensional periodic grid of the same shape and the same size.

상기 복수의 발광 요소와 상기 복수의 수퍼 셀은 형상은 서로 같고 크기가 서로 다른 2차원 주기 격자 형태로 배열될 수 있다.The plurality of light emitting elements and the plurality of super cells may be arranged in a two-dimensional periodic grid shape having the same shape and different sizes.

상기 광원과 상기 나노구조 어레이 간의 거리는 상기 수퍼셀의 격자 상수가 C이고, 상기 광원에서의 광의 중심 파장이 λ일 때, C²/(2λ)의 정수배일 수 있다. The distance between the light source and the nanostructure array may be an integer multiple of C ² / (2λ) when the lattice constant of the supercell is C and the center wavelength of light in the light source is λ.

상기 제1 형상 분포와 상기 제2 형상 분포는 서로 다를 수 있다. The first shape distribution and the second shape distribution may be different from each other.

상기 제1 서브셀과 상기 제2 서브셀은 같은 면적을 가질 수 있다. The first subcell and the second subcell may have the same area.

상기 수퍼셀은 제k 형상 분포로 배열된 제k 나노구조물을 포함하는 제k 서브셀(k는 3에서 N 사이의 정수, N은 3보다 큰 정수)들을 더 포함할 수 있다. The supercell may further include k-th subcells (k is an integer between 3 and N, and N is an integer greater than 3) including a k-th nanostructure arranged in a k-type distribution.

상기 수퍼 셀에 포함되는 상기 제1 내지 제N 서브 셀들은 2차원 주기 격자 형태로 배열될 수 있다. The first to Nth sub cells included in the super cell may be arranged in a 2D periodic grid form.

상기 수퍼 셀에 포함된 서브 셀들은 상기 수퍼 셀의 면적을 균분한 면적을 가질 수 있다. The sub cells included in the super cell may have an area equal to the area of the super cell.

상기 제1 내지 제N 서브 셀들에 각각 구비된 복수의 제1나노구조물 내지 복수의 제N 나노구조물의 제1 형상 분포 내지 제N 형상 분포는 모두 다를 수 있다. The first to Nth shape distributions of the plurality of first nanostructures to the plurality of Nth nanostructures provided in the first to Nth sub-cells may be different.

상기 제1 내지 제N 서브 셀이 입사광의 위상을 변조하는 위상 프로파일(phase profile)은 소정의 규칙으로 서로 연관될 수 있다. The phase profiles in which the first to Nth sub-cells modulate the phase of the incident light may be related to each other in a predetermined rule.

상기 제m 서브 셀(m은 1부터 N 사이의 정수, N은 3 이상의 정수)의 위상 프로파일은 상기 제1 내지 제N 서브 셀 간에 공통되는 로컬 위상 프로파일 성분과 상기 제m 서브 셀이 속한 상기 수퍼 셀의 상대적 위치와 연관되는 글로벌 위상 프로파일 성분으로 구성될 수 있다. The phase profile of the m-th sub-cell (m is an integer from 1 to N, N is an integer greater than or equal to 3) is a local phase profile component common between the first to Nth sub-cells and the super to which the m-th sub-cell belongs It may be composed of a global phase profile component associated with the relative position of the cell.

상기 제1 나노구조물, 제2 나노구조물은 상기 광원에서의 광의 파장보다 작은 형상 치수를 가질 수 있다. The first nanostructure and the second nanostructure may have a shape dimension smaller than the wavelength of light in the light source.

상기 복수의 제1 나노구조물의 배열 간격(pitch), 상기 복수의 제2 나노구조물의 배열 간격은 상기 광원에서의 광의 파장의 1/2 이하일 수 있다. The arrangement pitch of the plurality of first nanostructures and the arrangement spacing of the plurality of second nanostructures may be 1/2 or less of the wavelength of light in the light source.

상기 제1 나노구조물, 제2 나노구조물의 높이는 상기 광원에서의 광의 파장의 2/3 이하일 수 있다. The height of the first nanostructure and the second nanostructure may be 2/3 or less of the wavelength of light in the light source.

상기 제1 나노구조물, 제2 나노구조물은 주변 물질의 굴절률과의 차이가 0.5이상인 굴절률을 갖는 재질로 이루어질 수 있다. The first nanostructure and the second nanostructure may be made of a material having a refractive index of 0.5 or more, which is different from the refractive index of surrounding materials.

상기 점 패턴은 복수의 점으로 이루어진 랜덤 패턴이 규칙적으로 배열된 패턴일 수 있다. The dot pattern may be a pattern in which random patterns composed of a plurality of dots are regularly arranged.

일 유형에 따르면, 피사체를 향해 광을 조사하는 전술한 어느 하나의 구조광 프로젝터; 상기 피사체에서 반사된 광을 수광하는 제1센서; 상기 제1센서에서 수광한 광을 분석하여 피사체의 깊이 위치에 대한 제1 정보를 연산하는 프로세서;를 포함하는, 전자 장치가 제공된다. According to one type, any one of the structured light projectors described above for irradiating light toward a subject; A first sensor that receives light reflected from the subject; An electronic device is provided that includes a processor that analyzes light received by the first sensor and calculates first information about a depth location of a subject.

상기 전자 장치는 상기 피사체에서 반사된 광을 수광하는 제2센서;를 더 포함할 수 있고, 상기 프로세서는 상기 제2센서에서 수광한 광을 분석하여 피사체의 깊이 위치에 대한 제2정보를 더 연산할 수 있다. The electronic device may further include a second sensor that receives light reflected from the subject, and the processor further analyzes the light received by the second sensor to further calculate second information about the depth position of the subject. can do.

상기 프로세서는 상기 제1정보 및/또는 상기 제2정보로부터 피사체에 대한 깊이 정보를 연산할 수 있다. The processor may calculate depth information about a subject from the first information and / or the second information.

상술한 구조광 프로젝터는 구조광이 요구되는 어플리케이션에 알맞은 임의의 점 패턴의 구조광을 제공할 수 있다. The above-described structured light projector can provide structured light of an arbitrary dot pattern suitable for an application requiring structured light.

상술한 구조광 프로젝터는 서브 파장의 나노구조물들의 어레이를 채용하여 장치 크기를 최소화하고 광학 효율을 향상시킬 수 있다. The above structured light projector employs an array of sub-wavelength nanostructures to minimize device size and improve optical efficiency.

상술한 구조광 프로젝터를 채용한 전자 장치는 피사체에 대해 정밀도가 향상된 깊이 정보를 획득할 수 있다.An electronic device employing the above-described structured light projector can acquire depth information with improved precision for a subject.

도 1은 실시예에 따른 구조광 프로젝터의 개략적인 구성을 보이는 단면도이다.
도 2는 도 1의 구조광 프로젝터에 구비되는 나노구조 어레이의 패턴이 복수의 서브셀로 이루어진 수퍼셀들로 이루어짐을 보이는 평면도이다.
도 3은 도 2의 일부 영역을 확대하여 나노구조 어레이의 서브셀, 수퍼셀을 포함하는 패턴을 상세히 보인 평면도이다.
도 4는 도 1의 구조광 프로젝터에 구비되는 광원에 포함되는 복수의 발광 요소의 배치 형태를 보인 평면도이다.
도 5는 도 1의 구조광 프로젝터의 일부 영역을 확대한 평면도로서, 수퍼셀과 발광 요소의 대응 관계를 예시적으로 보인다.
도 6은 수퍼셀에 포함되는 서브셀들이 서로 다른 위상 프로파일을 형성함을 개념적으로 보인다.
도 7은 수퍼셀에 의해 형성되는 구조광의 랜덤 패턴을 예시적으로 보인다.
도 8은 도 1의 구조광 프로젝터가 형성한 유사-랜덤 점 패턴(quasi-random dot pattern)의 구조광을 예시적으로 보인다.
도 9는 도 1의 구조광 프로젝터의 나노구조 어레이에 구비되는 제1서브셀을 상세히 보인 단면도이다.
도 10은 도 1의 구조광 프로젝터의 나노구조 어레이에 구비되는 제2서브셀을 상세히 보인 단면도이다.
도 11a 내지 도 11e는 도 9 및 도 10에 도시된 나노구조물의 예시적인 형상들을 상세히 보인 사시도이다.
도 12는 다른 실시예에 따른 구조광 프로젝터에 구비될 수 있는 나노구조 어레이의 패턴을 보인 평면도이다.
도 13은 도 12의 나노구조 어레이를 구비하는 구조광 프로젝터에 채용될 수 있는 광원에 포함되는 복수의 발광 요소 배열을 보인 평면도이다.
도 14는 실시예에 따른 전자 장치의 개략적인 구성을 보이는 블록도이다.
도 15는 다른 실시예에 따른 전자 장치의 개략적인 구성을 보이는 블록도이다.1 is a cross-sectional view showing a schematic configuration of a structured light projector according to an embodiment.
FIG. 2 is a plan view showing that the pattern of the nanostructured array provided in the structured light projector of FIG. 1 consists of supercells composed of a plurality of subcells.
FIG. 3 is a plan view showing in detail a pattern including a subcell and a supercell of a nanostructure array by enlarging a partial region of FIG. 2.
4 is a plan view showing an arrangement of a plurality of light emitting elements included in a light source provided in the structured light projector of FIG. 1.
FIG. 5 is an enlarged plan view of a part of the structured light projector of FIG. 1 and exemplarily shows a correspondence relationship between a supercell and a light emitting element.
6 conceptually shows that subcells included in the supercell form different phase profiles.
7 exemplarily shows a random pattern of structured light formed by a supercell.
FIG. 8 exemplarily shows structured light of a quasi-random dot pattern formed by the structured light projector of FIG. 1.
9 is a cross-sectional view showing in detail a first subcell provided in the nanostructure array of the structured light projector of FIG. 1.
10 is a cross-sectional view showing in detail a second subcell provided in the nanostructure array of the structured light projector of FIG. 1.
11A to 11E are perspective views illustrating exemplary shapes of the nanostructures illustrated in FIGS. 9 and 10 in detail.
12 is a plan view showing a pattern of a nanostructure array that may be provided in a structured light projector according to another embodiment.
13 is a plan view showing an arrangement of a plurality of light emitting elements included in a light source that can be employed in a structured light projector having the nanostructure array of FIG. 12.
14 is a block diagram showing a schematic configuration of an electronic device according to an embodiment.
15 is a block diagram showing a schematic configuration of an electronic device according to another embodiment.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들에 대해 상세히 설명하기로 한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다. 한편, 이하에 설명되는 실시예는 단지 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The same reference numerals in the following drawings refer to the same components, and the size of each component in the drawings may be exaggerated for clarity and convenience of description. Meanwhile, the embodiments described below are merely exemplary, and various modifications are possible from these embodiments.

이하에서, "상부" 나 "상"이라고 기재된 것은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다.Hereinafter, what is described as "upper" or "upper" may include not only that which is directly above in contact, but also that which is above in a non-contact manner.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Singular expressions include plural expressions unless the context clearly indicates otherwise. Also, when a part “includes” a certain component, this means that other components may be further included, rather than excluding other components, unless otherwise specified.

또한, 명세서에 기재된 “...부”, “모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.In addition, terms such as “... unit” and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented in hardware or software, or a combination of hardware and software. .

도 1은 실시예에 따른 구조광 프로젝터의 개략적인 구성을 보이는 단면도이다. 도 2는 도 1의 구조광 프로젝터에 구비되는 나노구조 어레이의 패턴이 복수의 서브셀로 이루어진 수퍼셀들로 이루어짐을 보이는 평면도이며, 도 3은 도 2의 일부 영역을 확대하여 나노구조 어레이의 서브셀, 수퍼셀을 포함하는 패턴을 상세히 보인 평면도이다. 도 4는 도 1의 구조광 프로젝터에 구비되는 광원에 포함되는 복수의 발광 요소의 배치 형태를 보인 평면도이다.1 is a cross-sectional view showing a schematic configuration of a structured light projector according to an embodiment. FIG. 2 is a plan view showing that the pattern of the nanostructured array provided in the structured light projector of FIG. 1 is composed of supercells composed of a plurality of subcells, and FIG. 3 enlarges some areas of FIG. 2 to serve as a substructure of the nanostructured array. It is a plan view showing a pattern including a cell and a supercell in detail. 4 is a plan view showing an arrangement of a plurality of light emitting elements included in a light source provided in the structured light projector of FIG. 1.

구조광 프로젝터(100)는 광원(120)과, 광원(120)에서의 광으로부터 소정의 점 패턴(dot pattern)을 가지는 구조광을 형성하는 나노구조 어레이(140)를 포함한다.The structured light projector 100 includes a light source 120 and a nanostructure array 140 that forms structured light having a predetermined dot pattern from light from the light source 120.

나노구조 어레이(140)는 복수의 나노구조물(미도시)을 포함한다. 복수의 나노구조물의 배치 형태는 나노구조물-서브셀-수퍼셀의 계층(hierachy) 구조를 형성한다. 즉, 복수의 나노구조물을 포함하도록 서브셀이 구성되고, 이러한 서브셀 복수개가 수퍼셀을 구성하며, 다시, 이러한 수퍼셀(145)이 반복적으로 배열되는 형태이다.The nanostructure array 140 includes a plurality of nanostructures (not shown). The arrangement form of the plurality of nanostructures forms a hierarchical structure of the nanostructure-subcell-supercell. That is, a subcell is configured to include a plurality of nanostructures, a plurality of such subcells constitute a supercell, and again, such a supercell 145 is repeatedly arranged.

도 3을 참조하면, 수퍼셀(145)은 제k서브셀(SB_k)(k는 1에서 9까지의 정수)들로 이루어질 수 있다. 다만, 서브셀의 개수, 9는 예시적인 것이며 이에 한정되지 않는다. 서브셀의 개수는 2이상의 임의의 정수가 될 수 있다. 제k서브셀(SB_k)(k는 1에서 9까지의 정수)은 도면에 ⓚ로 표시하고 있다. 제k서브셀(SB_k)(k는 1에서 9까지의 정수)들을 포함하는 수퍼셀(145)은 2차원 주기 격자 형태로 배열될 수 있다. 도시된 바와 같이, 주기 격자는 두 방향의 격자 상수가 C1으로 동일한 평행사변형 형태일 수 있다. Referring to FIG. 3, the supercell 145 may include k-th subcells SB_k (k is an integer from 1 to 9). However, the number of subcells, 9 is exemplary and is not limited thereto. The number of subcells can be any integer greater than or equal to 2. The k-th sub-cell SB_k (k is an integer from 1 to 9) is indicated by ⓚ in the drawing. The supercell 145 including the k-th subcell SB_k (k is an integer from 1 to 9) may be arranged in the form of a two-dimensional periodic grid. As illustrated, the periodic grating may have a parallelogram shape in which the grating constants in both directions are C1.

광원(120)은 복수의 발광 요소(122)들의 어레이로 이루어질 수 있다. 다만, 이에 한정되는 것은 아니며, 단일 광원으로 이루어질 수도 있다. The light source 120 may be formed of an array of a plurality of light emitting elements 122. However, the present invention is not limited thereto, and may be made of a single light source.

광원(120)이 복수의 발광 요소(122)들의 어레이로 이루어지는 경우, 발광 요소(122)들의 배치는 수퍼셀(145)의 배열 형태와 동일 또는 유사할 수 있다. 복수의 수퍼셀(145)이 2차원 주기 격자(periodic lattice) 형태로 배열된 경우, 복수의 발광 요소(122)도 2차원 주기 격자(periodic lattice) 형태로 배열될 수 있다. 복수의 수퍼셀(145)과 복수의 발광 요소(122)은 같거나 유사한 형상의 2차원 주기 격자(periodic lattice) 형태로 배열될 수 있다. 복수의 발광 요소(122)와 복수의 수퍼셀(145)은 같은 형상과 같은 크기의 2차원 주기 격자 형태로 배열될 수도 있다. 복수의 발광 요소(122)와 복수의 수퍼셀(145)은 형상은 서로 같고 크기는 서로 다른 2차원 주기 격자 형태로 배열될 수도 있다. 다만, 이에 한정되지는 않는다. 발광 요소(122)들의 배열 간격에 연계하여 나노구조 어레이(140)와 광원(120)간의 최적의 광학적 거리가 정해질 수 있다. 복수의 발광 요소(122)와 복수의 수퍼셀(145)은 다른 형상과 다른 크기의 2차원 주기 격자 형태로 배열될 수도 있다.When the light source 120 is formed of an array of a plurality of light emitting elements 122, the arrangement of the light emitting elements 122 may be the same or similar to the arrangement form of the supercell 145. When the plurality of supercells 145 are arranged in the form of a two-dimensional periodic lattice, the plurality of light emitting elements 122 may also be arranged in the form of a two-dimensional periodic lattice. The plurality of supercells 145 and the plurality of light emitting elements 122 may be arranged in the form of a two-dimensional periodic lattice having the same or similar shape. The plurality of light emitting elements 122 and the plurality of supercells 145 may be arranged in the form of a two-dimensional periodic grid of the same shape and the same size. The plurality of light emitting elements 122 and the plurality of supercells 145 may be arranged in a two-dimensional periodic grid shape having the same shape and different sizes. However, it is not limited thereto. The optimal optical distance between the nanostructure array 140 and the light source 120 may be determined in association with the arrangement interval of the light emitting elements 122. The plurality of light emitting elements 122 and the plurality of supercells 145 may be arranged in a two-dimensional periodic grid shape of different shapes and sizes.

발광 요소(122)는 LED 또는 레이저 다이오드일 수 있다. 발광 요소(122)는 수직 공진형 표면 발광 레이저(Vertical Cavity Surface Emitting Laser; VCSEL)일 수 있다. 발광 요소(122)는 예를 들어, Ⅲ-Ⅴ족 반도체 물질 또는 Ⅱ-Ⅵ족 반도체 물질로 이루어지고 다중 양자 우물 구조(multi-quantum well structure)를 가지는 활성층을 포함할 수 있으며, 다만 이에 한정되는 것은 아니다. 발광 요소(122)는 대략 850 nm 또는 940nm의 레이저 광을 출사할 수 있고, 또는, 근적외선 혹은 가시광 파장대역의 광을 출사할 수 있다. 발광 요소(122)에서 출사하는 광의 파장은 특별히 한정되지 않으며, 원하는 파장 대역의 광을 출사하는 발광 요소(122)가 사용될 수 있다. The light emitting element 122 can be an LED or a laser diode. The light emitting element 122 may be a vertical cavity type surface emitting laser (VCSEL). The light emitting element 122 may include, for example, an active layer made of a III-V semiconductor material or a II-VI semiconductor material and having a multi-quantum well structure, but is not limited thereto. It is not. The light emitting element 122 may emit laser light of approximately 850 nm or 940 nm, or may emit light in a near infrared or visible wavelength band. The wavelength of light emitted from the light emitting element 122 is not particularly limited, and the light emitting element 122 emitting light in a desired wavelength band may be used.

발광 요소(122)들은 개별적으로 제어될 수 있다. 발광 요소(122)들의 광 특성(파장, 파면의 각도 스펙트럼 등)은 모두 동일할 수 있다. 다만, 이에 한정되는 것은 아니며 광 특성이 다른 종류의 발광 요소(122)들이 함께 채용될 수도 있다.The light emitting elements 122 can be individually controlled. The light characteristics of the light emitting elements 122 (wavelength, angular spectrum of wavefront, etc.) may all be the same. However, the present invention is not limited thereto, and light emitting elements 122 having different optical characteristics may be employed together.

도 4에 도시한 바와 같이, 복수의 발광 요소(122)는 두 방향의 격자 상수(lattice constant)가 C2인 평행사변형 형태로 배열될 수 있다. 복수의 수퍼셀(145) 배치와 복수의 발광 요소(122) 배치의 주기 격자의 크기, 즉, 각각의 두 방향의 격자 상수가 서로 동일해야 하는 것은 아니다. 복수의 수퍼셀(145) 배치의 격자 상수 C1과 복수의 발광 요소(122) 배치의 격자 상수 C2의 비는 유리수일 수 있다. 즉, C1/C2는 정수로 한정되지 않으며 임의의 유리수 값을 가질 수 있다. 복수의 발광 요소(122)의 배열은 하나의 수퍼셀(145)에 하나 이상의 발광 요소(122)가 대응되는 관계를 가지는 배열일 수 있다. 다만, 이에 한정되지 않으며, 발광 요소(122)의 개수가 수퍼셀(145)의 개수보다 작을 수도 있다. As illustrated in FIG. 4, the plurality of light emitting elements 122 may be arranged in a parallelogram shape in which lattice constants in two directions are C2. The size of the periodic grating of the arrangement of the plurality of supercells 145 and the arrangement of the plurality of light emitting elements 122, that is, the lattice constants in each of the two directions does not have to be the same. The ratio between the lattice constant C1 of the plurality of supercells 145 and the lattice constant C2 of the plurality of light emitting elements 122 may be a rational number. That is, C1 / C2 is not limited to an integer and may have an arbitrary rational value. The arrangement of the plurality of light emitting elements 122 may be an arrangement in which one or more light emitting elements 122 correspond to one supercell 145. However, the present invention is not limited thereto, and the number of light emitting elements 122 may be smaller than the number of super cells 145.

복수의 서브셀(SB_k)(k는 1에서 9까지의 정수)들은 모두 같은 면적을 가질 수 있다. 서브셀(SB_k)(k는 1에서 9까지의 정수) 각각은 수퍼셀(145)의 면적을 균분한 면적을 가질 수 있다. 수퍼셀(145)과 서브셀(SB_k)(k는 1에서 9까지의 정수)은 같은 형상을 가질 수 있다. 도 3에서는 서브셀(SB_k)(k는 1에서 9까지의 정수)은 정육각형, 수퍼셀(145)은 평행사변형으로 도시되었으나, 이는 예시적인 것이며, 서브셀(SB_k)(k는 1에서 9까지의 정수)도 평행사변형 형상을 가질 수 있다. 서브셀(SB_k)(k는 1에서 9까지의 정수)들의 면적을 균등하게 하여 구조광을 이루는 점 패턴(dot pattern)의 도트 간 세기(intensity) 균일성(uniformity)을 극대화할 수 있다. 다만, 이에 한정되지 않으며, 수퍼셀(145) 내의 서브셀(SB_k)(k는 1에서 9까지의 정수) 간 면적 분배가 균등하지 않을 수도 있다. 복수의 서브셀(SB_k)(k는 1에서 9까지의 정수)들은 서로 다른 면적을 가질 수도 있다. 복수의 서브셀(SB_k)(k는 1에서 9까지의 정수)들은 서로 다른 형상을 가질 수도 있다. 또한, 수퍼셀(145)과 서브셀(SB_k)(k는 1에서 9까지의 정수)은 서로 다른 형상을 가질 수도 있다. 이는 구조광 프로젝터(100)가 적용될 어플리케이션에 따라 요구되는 구조광 패턴을 고려하여 정할 수 있다.The plurality of subcells SB_k (k is an integer from 1 to 9) may all have the same area. Each of the subcells SB_k (k is an integer from 1 to 9) may have an area equal to the area of the supercell 145. The supercell 145 and the subcell SB_k (k is an integer from 1 to 9) may have the same shape. In FIG. 3, the subcell SB_k (k is an integer from 1 to 9) is shown as a regular hexagon, and the supercell 145 is shown as a parallelogram, but this is exemplary, and the subcell SB_k (k is 1 to 9) Can also have a parallelogram shape. The area of the subcells SB_k (k is an integer from 1 to 9) is equalized to maximize intensity uniformity between dots of a dot pattern constituting structured light. However, the present invention is not limited thereto, and the area distribution between the subcells SB_k (k is an integer from 1 to 9) in the supercell 145 may not be uniform. The plurality of subcells SB_k (k is an integer from 1 to 9) may have different areas. The plurality of subcells SB_k (k is an integer from 1 to 9) may have different shapes. Also, the supercell 145 and the subcell SB_k (k is an integer from 1 to 9) may have different shapes. This can be determined by considering the structured light pattern required according to the application to which the structured light projector 100 is applied.

광원(120)과 나노구조 어레이(140) 간의 광학적 거리(OPD)는 광원(120)에서의 광이 나노구조 어레이(140)를 지나며 점 패턴을 형성할 때, 각 점들이 선명하게 형성되는 적정 거리로 정해질 수 있다. 예를 들어, 셀프 이미징(self imaging), 탤벗 효과(Talbot effect)에 의해 선명한 점(dot)이 형성되는 거리로 설정될 수 있다. The optical distance (OPD) between the light source 120 and the nanostructure array 140 is an appropriate distance in which each dot is clearly formed when light from the light source 120 passes through the nanostructure array 140 to form a dot pattern. It can be determined as. For example, it may be set to a distance at which a clear dot is formed by self imaging or a Talbot effect.

복수의 발광 요소(122)와 복수의 수퍼셀(145)이 같은 형상, 크기의 2차원 주기 격자 형태로 배열되는 경우, 수퍼셀(145)의 격자 상수가 C이고 광원(120)에서의 광의 중심 파장이 λ이고, 광원(120)과 나노구조 어레이(140) 간의 매질의 굴절률이 1일 때, C²/(2λ)의 정수배일 수 있다. When a plurality of light emitting elements 122 and a plurality of supercells 145 are arranged in a two-dimensional periodic grid shape of the same shape and size, the lattice constant of the supercell 145 is C and the center of light in the light source 120 When the wavelength is λ and the refractive index of the medium between the light source 120 and the nanostructure array 140 is 1, it may be an integer multiple of C ² / (2λ).

도 5는 도 1의 구조광 프로젝터(100)의 일부 영역을 확대한 평면도로서, 수퍼셀(145)과 발광 요소(122)의 대응 관계를 예시적으로 보인다.FIG. 5 is an enlarged plan view of a portion of the structured light projector 100 of FIG. 1, and exemplarily shows a correspondence relationship between the supercell 145 and the light emitting element 122.

도시된 바와 같이, 하나의 수퍼셀(145)에 하나의 발광 요소(122)가 대응할 수 있다. 하나의 수퍼셀(145)에 하나의 발광 요소(122)가 대응하는 위치는 도시된 ① 위치에 한정되는 것은 아니다. 발광 요소(122)들의 배열이 수퍼셀(145)들 배열과 같은 형상의 주기 격자 배열을 가지는 한, 수퍼셀(145) 내의 다른 임의의 위치에서 발광 요소(122)와 수퍼셀(145)이 대응할 수 있다. As illustrated, one light emitting element 122 may correspond to one supercell 145. The position where one light emitting element 122 corresponds to one supercell 145 is not limited to the illustrated position ①. As long as the arrangement of the light emitting elements 122 has a periodic grid arrangement of the same shape as the arrangement of the supercells 145, the light emitting element 122 and the supercell 145 may correspond at any other location within the supercell 145. Can be.

도 6은 수퍼셀에 포함되는 서브셀이 서로 다른 위상 프로파일을 형성함을 개념적으로 보이며, 도 7은 수퍼셀에 의해 형성되는 구조광의 랜덤 패턴을 예시적으로 보인다.FIG. 6 conceptually shows that subcells included in the supercell form different phase profiles, and FIG. 7 exemplarily shows a random pattern of structured light formed by the supercell.

수퍼셀(145)에 포함되는 제k서브셀(SB_k)(k는 1에서 9까지 정수)들은 입사광의 위상을 변조하는 위상 프로파일(phase profile)이 서로 같거나, 또는 다를 수 있다. 서로 다른 위상 프로파일은 서브셀(SB_k) 내의 서로 다른 사선(PL) 표시로 예시하고 있다. 제k서브셀(SB_k)(k는 1에서 9까지 정수)들의 위상 프로파일은 형성하고자 하는 점 패턴에 따라 소정의 규칙으로 서로 연관될 수 있다. 예를 들어, 제k서브셀(SB_k)(k는 1에서 9까지 정수)들이 모두 같은 렌즈 위상 프로파일(lens phase profile)을 공유하면 주기적인 점 패턴의 구조광이 형성될 수 있다. The k-th sub-cells SB_k (k is an integer from 1 to 9) included in the super cell 145 may have the same or different phase profiles that modulate the phase of incident light. Different phase profiles are illustrated by different diagonal PL indications in the subcell SB_k. The phase profiles of the k-th sub-cells SB_k (k is an integer from 1 to 9) may be related to each other in a predetermined rule according to a point pattern to be formed. For example, if the k-th sub-cells SB_k (k is an integer from 1 to 9) all share the same lens phase profile, structural light having a periodic dot pattern may be formed.

제k서브셀(SB_k)(k는 1에서 9까지 정수)들의 위상 프로파일은 제k서브셀(SB_k)(k는 1에서 9까지 정수)들 간에 공통되는 로컬 위상 프로파일 성분과 제k서브셀(SB_k)(k는 1에서 9까지 정수)이 속한 수퍼셀(145)의 상대적 위치와 연관되는 글로벌 위상 프로파일 성분을 포함할 수 있다. 로컬 위상 프로파일은 각 서브셀 제k서브셀(SB_k)(k는 1에서 9까지 정수)의 중심을 기준으로 하는 위상 프로파일이다. 제k서브셀(SB_k)(k는 1에서 9까지 정수)이 속한 수퍼 셀(145)의 상대적 위치와 연관되는 글로벌 위상 프로파일은 제k서브셀(SB_k)(k는 1에서 9까지 정수)이 속한 수퍼셀(145)의 2차원 좌표공간 위치에 연관된다. 예를 들어 사선(PL)의 간격을 글로벌 선형 위상 프로파일의 주기라고 할 때, 그에 대응하는 파수 벡터(wavevector)(k_x,k_y)와 나노구조 어레이를 이루는 나노구조물들이 배치된 2차원 공간의 위치 좌표(x,y)로 글로벌 위상 프로파일이 결정된다. 이 때 각기 다른 수퍼셀의 제k서브셀 간 위상차는 수퍼셀의 상대적 위치와 제k서브셀(SB_k)에 대응하는 파수 벡터로 결정된다. 서로 다른 서브셀들은 각기 다른 파수 벡터를 가질 수 있다.The phase profile of the kth subcells SB_k (k is an integer from 1 to 9) is a local phase profile component common to the kth subcells SB_k (k is an integer from 1 to 9) and the kth subcell ( SB_k) (k is an integer from 1 to 9) may include a global phase profile component associated with the relative position of the supercell 145 to which it belongs. The local phase profile is a phase profile based on the center of each subcell kth subcell SB_k (k is an integer from 1 to 9). The global phase profile associated with the relative position of the super cell 145 to which the kth subcell SB_k (k is an integer from 1 to 9) belongs is the kth subcell SB_k (k is an integer from 1 to 9). It is associated with the 2D coordinate space location of the supercell 145 to which it belongs. For example, when the interval of the oblique line PL is a period of a global linear phase profile, a two-dimensional space in which nanostructures constituting a nanostructure array and a wavevector (k _x , k _y ) corresponding thereto are arranged is disposed. The global phase profile is determined by the position coordinates (x, y). At this time, the phase difference between the k sub-cells of different super cells is determined by the relative position of the super cells and the wavenumber vector corresponding to the k-th sub-cell SB_k. Different subcells may have different wavenumber vectors.

로컬 위상 프로파일은 점 패턴의 세기 분포 빛 퍼짐 정도 등을 결정한다. 글로벌 위상 프로파일은 로컬 위상 프로파일에 의해 형성될 점 패턴의 위치를 쉬프트(shift)한다. 쉬프트하는 양과 방향은 글로벌 선형 위상 프로파일(global linear phase profile)의 파수 벡터(wavevector)의 크기와 방향에 대응한다. The local phase profile determines the intensity distribution of the dot pattern and the degree of light spread. The global phase profile shifts the position of the dot pattern to be formed by the local phase profile. The shifting amount and direction correspond to the magnitude and direction of the wavevector of the global linear phase profile.

도 7을 참조하면, 구조광(SL)은 반복되는 복수의 랜덤 패턴(RP)을 포함할 수 있다. 도시된 랜덤 패턴(RP)는 하나의 수퍼셀(145)에 의해 형성된 점 패턴을 예시적으로 보이고 있다. 구조광(SL)을 형성하는 점들의 위치가 겹치지 않도록 서브셀(SB_k)(k는 1에서 9까지의 정수)을 구성하는 고유 파수 벡터 세트를 설정할 수 있다. 점의 위치나 세기 분포, 크기 등을 서브셀(SB_k)(k는 1에서 9까지의 정수)들의 위상 프로파일을 설계하여 원하는 형태로 변경할 수 있다. Referring to FIG. 7, the structured light SL may include a plurality of repeating random patterns RP. The illustrated random pattern RP exemplarily shows a dot pattern formed by one supercell 145. The unique wave vector set constituting the subcell SB_k (k is an integer from 1 to 9) may be set so that the positions of the dots forming the structure light SL do not overlap. The phase profile of the subcells SB_k (k is an integer from 1 to 9) can be changed to a desired shape by designing the position, intensity distribution, and size of the point.

도 8은 도 1의 구조광 프로젝터가 형성한 유사-랜덤 점 패턴(quasi-random dot pattern)의 구조광을 예시적으로 보인다.FIG. 8 exemplarily shows structured light of a quasi-random dot pattern formed by the structured light projector of FIG. 1.

여기서, 유사-랜덤 점 패턴(quasi-random dot pattern)은 복수의 점으로 이루어진 랜덤 패턴이 클러스터를 이루고 이러한 클러스터가 소정의 규칙으로 배열된 패턴을 지칭하고 있다. Here, the quasi-random dot pattern refers to a pattern in which a random pattern consisting of a plurality of dots forms a cluster and such clusters are arranged in a predetermined rule.

도 9는 도 1의 구조광 프로젝터의 나노구조 어레이에 구비되는 제1서브셀을 상세히 보인 단면도이고, 도 10은 도 1의 구조광 프로젝터의 나노구조 어레이에 구비되는 제2서브셀을 상세히 보인 단면도이다. 도 11a 내지 도 11e는 도 9 및 도 10에 도시된 나노구조물의 예시적인 형상들을 상세히 보인 사시도이다. 9 is a cross-sectional view showing a first subcell provided in the nanostructure array of the structured light projector of FIG. 1 in detail, and FIG. 10 is a cross-sectional view showing a second subcell provided in the nanostructured array of the structured light projector of FIG. 1 in detail. to be. 11A to 11E are perspective views illustrating exemplary shapes of the nanostructures illustrated in FIGS. 9 and 10 in detail.

제1서브셀(SB_1)은 기판(SU)과, 기판(SU) 상에 형성된 복수의 제1 나노구조물(NS1)을 포함한다. 제1 나노구조물(NS1)은 단면 폭이 D1, 높이가 H1인 기둥 형상을 가질 수 있다. 제1 나노구조물(NS1)은 서브 파장의 형상 치수, 즉, 광원(120)에서 나오는 광의 파장의 중심 파장(λ)보다 작은 형상치수를 가질 수 있다. 제1 나노구조물(NS1)의 높이, H1은 상기 파장의 2/3 이하일 수 있다. 복수의 제1 나노구조물(NS1)의 배열 피치(pitch)는 상기 파장의 1/2 이하일 수 있다. The first subcell SB_1 includes a substrate SU and a plurality of first nanostructures NS1 formed on the substrate SU. The first nanostructure NS1 may have a column shape having a cross-sectional width of D1 and a height of H1. The first nanostructure NS1 may have a shape dimension of a sub-wavelength, that is, a shape dimension smaller than a center wavelength λ of a wavelength of light emitted from the light source 120. The height of the first nanostructure (NS1), H1 may be 2/3 or less of the wavelength. The arrangement pitch of the plurality of first nanostructures NS1 may be 1/2 or less of the wavelength.

제2서브셀(SB_2)은 기판(SU), 기판(SU) 상에 형성된 복수의 제2 나노구조물(NS2)을 포함한다. 제2 나노구조물(NS2)은 단면 폭이 D2, 높이가 H2인 기둥 형상을 가질 수 있다. 제2 나노구조물(NS2)의 높이, H2은 상기 파장의 2/3 이하일 수 있다. 복수의 제2 나노구조물(NS2)의 배열 피치(pitch)는 상기 파장의 1/2 이하일 수 있다.The second subcell SB_2 includes a substrate SU and a plurality of second nanostructures NS2 formed on the substrate SU. The second nanostructure NS2 may have a column shape having a cross-sectional width of D2 and a height of H2. The height of the second nanostructure (NS2), H2 may be 2/3 or less of the wavelength. The arrangement pitch of the plurality of second nanostructures NS2 may be 1/2 or less of the wavelength.

복수의 제1 나노구조물(NS1)의 형상 분포, 복수의 제2 나노구조물(NS2)의 형상 분포는 서로 다를 수 있다. 여기서, '형상 분포'는 제1 나노구조물(NS1), 제2 나노구조물(NS2) 각각의 형상, 크기, 배치 간격, 위치별 형상의 분포, 위치별 크기의 분포 및 위치별 배치 간격의 분포 중 어느 하나 이상을 의미하는 용어로 사용되고 있다. 복수의 제1 나노구조물(NS1)의 형상 분포, 복수의 제2 나노구조물(NS2)의 형상 분포는 제1서브셀(SB_1), 제2서브셀(SB_2)을 포함하는 수퍼셀이 형성할 점 패턴에 정해질 수 있다.The shape distribution of the plurality of first nanostructures NS1 and the shape distribution of the plurality of second nanostructures NS2 may be different. Here, the 'shape distribution' is among the distributions of shapes, sizes, arrangement intervals, shape distributions by location, distributions of size by location, and distributions by location of each of the first nanostructures NS1 and the second nanostructures NS2. It is used as a term to mean any one or more. The shape distribution of the plurality of first nanostructures NS1 and the shape distribution of the plurality of second nanostructures NS2 are formed by supercells including the first subcell SB_1 and the second subcell SB_2. It can be decided on the pattern.

도 9 및 도 10은 제1서브셀(SB_1), 제2서브셀(SB_2) 두 개를 예시하여 설명하고 있지만, 수퍼셀이 N개의 서브셀로 이루어지는 경우, 제1 내지 제N 서브 셀들에 각각 구비된 복수의 제1나노구조물 내지 복수의 제N 나노구조물의 제1 형상 분포 내지 제N 형상 분포는 모두 다를 수 있다. 또는, 적어도 2이상의 서브셀의 나노구조물 형상 분포가 서로 다를 수 있다.9 and 10 illustrate two first subcells (SB_1) and second subcells (SB_2) by way of example, but when the supercell consists of N subcells, each of the first to Nth subcells is illustrated. The first shape distribution to the Nth shape distribution of the plurality of first nanostructures to the plurality of Nth nanostructures may be different. Alternatively, the shape distribution of the nanostructures of the at least two subcells may be different.

전술한 바와 같이, 수퍼셀을 형성하는 복수의 서브셀들은 수퍼셀이 형성할 점 패턴에 따라 소정 규칙으로 서로 연관되는 위상 프로파일을 가질 수 있다. 이러한 위상 프로파일이 구현되도록, 각 서브셀의 나노구조물 형상 분포가 정해진다. 복수의 제1 나노구조물(NS1), 복수의 제2 나노구조물(NS2)은 각각 같은 형상, 크기, 간격으로 도시되었으나 이는 편의상의 도시일 뿐이다. N개의 서브셀로 수퍼셀이 구성되는 경우, 소정의 원하는 위상 프로파일이 구현되도록 제k서브셀(SB_k)(k는 1에서 N까지의 정수)의 제k 나노구조물 형상 분포가 정해질 수 있다. As described above, a plurality of subcells forming a supercell may have a phase profile associated with each other according to a predetermined rule according to a dot pattern to be formed by the supercell. In order to implement this phase profile, the shape distribution of the nanostructures of each subcell is determined. The plurality of first nanostructures NS1 and the plurality of second nanostructures NS2 are illustrated with the same shape, size, and spacing, respectively, but this is for convenience only. When a supercell is composed of N subcells, the shape distribution of the kth nanostructure of the kth subcell SB_k (k is an integer from 1 to N) may be determined to implement a desired desired phase profile.

제1 나노구조물(NS1), 제2 나노구조물(NS2)은 주변 물질의 굴절률과의 차이가 0.5이상인 굴절률을 갖는 재질로 이루어질 수 있다. 예를 들어, 제1 나노구조물(NS1), 제2 나노구조물(NS2)을 지지하는 기판(SU)은 제1 나노구조물(NS1), 제2 나노구조물(NS2)과 다른 굴절률의 재질로 이루어질 수 있다. 기판(SU)과 제1 나노구조물(NS1)의 굴절률 차이, 기판(SU)과 제2 나노구조물(NS1)의 굴절률 차이는 0. 5이상일 수 있다. 제1 나노구조물(NS1), 제2 나노구조물(NS2)의 굴절률이 기판(SU)의 굴절률 보다 높을 수 있고, 다만, 이에 한정되지 않으며, 제1 나노구조물(NS1), 제2 나노구조물(NS2)의 굴절률이 기판(SU)보다 낮을 수도 있다.The first nanostructure NS1 and the second nanostructure NS2 may be made of a material having a refractive index of 0.5 or more, which is different from the refractive index of surrounding materials. For example, the substrate SU supporting the first nanostructure NS1 and the second nanostructure NS2 may be formed of a material having a different refractive index than the first nanostructure NS1 and the second nanostructure NS2. have. The difference in refractive index between the substrate SU and the first nanostructure NS1 and the difference between the refractive index between the substrate SU and the second nanostructure NS1 may be 0.5 or more. The refractive index of the first nanostructure NS1 and the second nanostructure NS2 may be higher than the refractive index of the substrate SU, but is not limited thereto, and the first nanostructure NS1 and the second nanostructure NS2 ) May have a lower refractive index than the substrate SU.

기판(SU)은 글래스(fused silica, BK7, 등), Quartz, polymer(PMMA, SU-8 등) 및 플라스틱 중의 재질 중 어느 하나로 이루어질 수 있고, 반도체 기판일수도 있다. 제1 나노구조물(NS1), 제2 나노구조물(NS2)은 c-Si, p-Si, a-Si 및 III-V 화합물 반도체(GaP, GaN, GaAs 등), SiC, TiO₂, SiN 중 적어도 하나를 포함할 수 있다. The substrate SU may be made of any one of glass (fused silica, BK7, etc.), quartz, polymer (PMMA, SU-8, etc.) and plastic, and may be a semiconductor substrate. The first nanostructure (NS1), the second nanostructure (NS2) is at least one of c-Si, p-Si, a-Si and III-V compound semiconductors (GaP, GaN, GaAs, etc.), SiC, TiO ₂ , SiN It can contain one.

제1 나노구조물(NS1), 제2 나노구조물(NS2)은 도 11a에 도시된 바와 같이 직경이 D, 높이가 H인 원기둥 형상을 가질 수 있고, 또는 도 11b에 도시된 바와 같이, 한 변의 길이가 D이고 높이가 H인 정사각기둥 형상을 가질 수 있다. 제1 나노구조물(NS1), 제2 나노구조물(NS2)은 비대칭 형상의 단면을 가지는 기둥 형상을 가질 수 있다. 제1 나노구조물(NS1), 제2 나노구조물(NS2)은 도 11c에 도시된 바와 같이, 장축(Dx), 단축(Dy)의 길이가 서로 다르고 높이가 H인 타원 기둥 형상일 수 있고, 도 11d에 도시된 바와 같이, 가로(Dx), 세로(Dy)의 길이가 서로 다르고 높이가 H인 직사각기둥 형상일 수 있고, 도 11e에 도시된 바와 같이, 가로(Dx), 세로(Dy)의 길이가 다른 십자(cross) 형상의 단면을 가지며 높이가 H인 각기둥 형상일 수도 있다. The first nanostructure NS1 and the second nanostructure NS2 may have a cylindrical shape having a diameter of D and a height of H as illustrated in FIG. 11A, or as shown in FIG. 11B, the length of one side. It may have a square column shape of D and height H. The first nanostructure NS1 and the second nanostructure NS2 may have a pillar shape having an asymmetrical cross section. As illustrated in FIG. 11C, the first nanostructure NS1 and the second nanostructure NS2 may have an elliptical column shape having different lengths of the major axis Dx and the minor axis Dy and a height of H. As shown in 11d, the lengths of the horizontal (Dx) and vertical (Dy) may be different from each other and may have a rectangular column shape having a height of H, and as illustrated in FIG. 11E, the horizontal (Dx) and vertical (Dy) It may have a cross-section having a cross shape having a different length and a prism shape having a height of H.

도 12는 다른 실시예에 따른 구조광 프로젝터에 구비될 수 있는 나노구조 어레이의 패턴을 보인 평면도이다.12 is a plan view showing a pattern of a nanostructure array that may be provided in a structured light projector according to another embodiment.

나노구조 어레이(240)의 복수의 수퍼셀(245)들은 직사각형 형상의 주기 격자 형태로 배열될 수 있다. 가로(X) 방향의 격자 상수 C3, 세로(Y) 방향의 격자 상수 C4은 서로 같거나, 또는, 다를 수 있다. 수퍼셀(245)에 포함된 서브셀(SB_k)(k는 1에서 9까지의 정수)은 직사각형 형상의 주기 격자 형태로 배열될 수 있다. 수퍼셀(245)은 9개의 서브셀(SB_k)이 포함된 것으로 도시되었으나 이는 예시적인 것이며 2이상의 임의의 개수가 될 수 있다. The plurality of supercells 245 of the nanostructure array 240 may be arranged in a periodic grid shape of a rectangular shape. The lattice constant C3 in the horizontal (X) direction and the lattice constant C4 in the vertical (Y) direction may be the same or different. The subcells SB_k (k is an integer from 1 to 9) included in the supercell 245 may be arranged in the form of a rectangular periodic grid. The supercell 245 is illustrated as including 9 subcells SB_k, but this is exemplary and may be any number of 2 or more.

도 13은 도 12의 나노구조 어레이를 구비하는 구조광 프로젝터에 채용될 수 있는 광원의 복수의 발광 요소 배열을 보인 평면도이다.13 is a plan view showing an arrangement of a plurality of light emitting elements of a light source that can be employed in a structured light projector having the nanostructure array of FIG. 12.

도 12와 같은 형태의 나노구조 어레이(240)를 구비하는 구조광 프로젝터에서 광원(220)이 복수의 발광 요소(222)를 포함하는 경우, 복수의 발광 요소(222)는 나노구조 어레이(240)의 수퍼셀(245)과 같은 형태의 직사각형 형상의 주기 격자 형태로 배열된다. 복수의 발광 요소(222) 배열의 가로 방향(X) 격자 상수는 C5, 세로 방향(Y) 격자 상수는 C6일 수 있다. In the structured light projector having the nanostructure array 240 in the form of FIG. 12, when the light source 220 includes a plurality of light emitting elements 222, the plurality of light emitting elements 222 are nanostructure array 240 The super cells 245 are arranged in the form of a periodic grid in a rectangular shape. The horizontal (X) lattice constant of the plurality of light emitting elements 222 may be C5 and the vertical (Y) lattice constant may be C6.

나노구조 어레이(240)의 수퍼셀(245) 배열에서 C3와 C4가 같은 정사각형 격자인 경우, 복수의 발광 요소(122) 배열도 C5와 C6가 서로 같은 정사각형 격자 배열일 수 있다. C3/C4는 C5/C6와 서로 같을 수 있다. 하나의 수퍼셀(245)에는 하나 이상의 발광 요소(222)가 대응할 수 있으며, 즉, 복수의 발광 요소(222)의 개수는 수퍼셀(245) 개수와 같거나 이보다 많을 수 있다. 다만, 이에 한정되지 않으며, 복수의 발광 요소(222)의 개수가 수퍼셀(245)의 개수보다 작을 수도 있다. When C3 and C4 are the same square lattice in the arrangement of the supercell 245 of the nanostructure array 240, the arrangement of the plurality of light emitting elements 122 may also be a square lattice arrangement in which C5 and C6 are the same. C3 / C4 may be the same as C5 / C6. One or more light emitting elements 222 may correspond to one super cell 245, that is, the number of the plurality of light emitting elements 222 may be equal to or greater than the number of super cells 245. However, the present invention is not limited thereto, and the number of the light emitting elements 222 may be smaller than the number of super cells 245.

도 14는 실시예에 따른 전자 장치의 개략적인 구성을 보이는 블록도이다.14 is a block diagram showing a schematic configuration of an electronic device according to an embodiment.

전자 장치(500)는 피사체(OBJ)에 구조광(SL)을 조사하는 구조광 프로젝터(510), 피사체(OBJ)로부터 반사된 광을 수광하는 센서(530), 센서(530)에서 수광된 광(Lr)으로부터 피사체(OBJ)의 형상 정보 획득을 위한 연산을 수행하는 프로세서(550)를 포함한다. The electronic device 500 includes a structured light projector 510 for irradiating structured light SL to the object OBJ, a sensor 530 for receiving light reflected from the object OBJ, and light received from the sensor 530 It includes a processor 550 for performing an operation for obtaining the shape information of the object (OBJ) from (Lr).

구조광 프로젝터(510)로는 전술한 구조광 프로젝터(100)가 채용될 수 있다. 구조광 프로젝터(510)는 나노구조 어레이의 나노구조물-서브셀-수퍼셀로 형성되는 계층 구조의 형태 및 이에 대응하는 배치의 광원을 활용하여 원하는 임의의 점 패턴의 구조광을 형성할 수 있다. 이러한 계층 구조에서 수퍼셀에 포함되는 복수의 서브셀의 개수나 이들간의 위상 프로파일 관계는 피사체(OBJ)에 대한 정보가 활용되는 어플리케이션에 따라 정해질 수 있다. The structured light projector 510 may employ the structured light projector 100 described above. The structured light projector 510 may form a structured light having a desired arbitrary dot pattern by utilizing a shape of a hierarchical structure formed of a nanostructured array of nanostructured-subcell-supercells and a light source having a corresponding arrangement. In such a hierarchical structure, the number of subcells included in the supercell or the phase profile relationship between them may be determined according to an application in which information on an object OBJ is utilized.

센서(530)는 피사체(OBJ)에 의해 반사된 구조광(Lr)을 센싱한다. 센서(530)는 광 검출 요소들의 어레이를 포함할 수 있다. 센서(530)는 피사체(OBJ)로부터 반사된 광을 파장별로 분석하기 위한 분광 소자를 더 포함할 수도 있다. The sensor 530 senses the structure light Lr reflected by the object OBJ. The sensor 530 can include an array of light detection elements. The sensor 530 may further include a spectroscopic element for analyzing light reflected from the object OBJ for each wavelength.

프로세서(550)는 피사체(OBJ)에 조사한 구조광(SL)과 피사체(OBJ)로부터 반사된 광(Lr)을 비교하여 피사체(OBJ)에 대한 깊이 정보를 획득하고, 이로부터 피사체(OBJ)의 3차원 형상, 위치, 움직임 등을 분석할 수 있다. 구조광 프로젝터(510)에서 생성하는 구조광(SL)의 점 패턴은 빛살의 각도 및 방향, 그리고 소정 초점면에 도달하는 밝고 어두운 점의 위치 좌표를 고유하게 가지도록 수학적으로 코드화된(coded) 패턴일 수 있다. 이러한 패턴은 구조광 프로젝터(510)에 구비된 나노구조물들이 서브셀, 수퍼셀을 이루는 계층(hierarchy) 구조의 세부 형태에 의해 형성될 수 있다. 이러한 패턴의 광이 3차원 형상의 피사체(OBJ)에서 반사될 때, 반사된 광(Lr)의 패턴은 조사된 구조광(SL)의 패턴에서 변화된 형태를 갖는다. 이러한 패턴들을 비교하고 좌표별 패턴을 추적하여 피사체(OBJ)의 깊이 정보를 추출할 수 있고, 이로부터 피사체(OBJ)의 형상, 깊이, 움직임과 관련된 3차원 정보를 추출할 수 있다. The processor 550 compares the structure light SL irradiated to the object OBJ and the light Lr reflected from the object OBJ to obtain depth information about the object OBJ, from which the object light OBJ It can analyze 3D shape, position, movement, etc. The dot pattern of the structured light SL generated by the structured light projector 510 is a mathematically coded pattern to have uniquely the angle and direction of light beams and the position coordinates of light and dark points reaching a predetermined focal plane. Can be Such a pattern may be formed by a detailed form of a hierarchy structure in which nanostructures provided in the structured light projector 510 form a subcell or a supercell. When the light of this pattern is reflected from the three-dimensionally shaped object OBJ, the pattern of the reflected light Lr has a changed form from the pattern of the irradiated structural light SL. By comparing these patterns and tracking patterns for each coordinate, depth information of the object OBJ can be extracted, and 3D information related to the shape, depth, and motion of the object OBJ can be extracted therefrom.

프로세서(510)는 이 외에도 전자 장치(500)의 동작을 전반적으로 제어할 수 있고, 예를 들어, 센서(530)의 동작이나, 구조광 프로젝터(510)에 구비된 광원의 구동을 제어할 수 있다.In addition to this, the processor 510 may overall control the operation of the electronic device 500, for example, control the operation of the sensor 530 or the driving of the light source provided in the structured light projector 510. have.

전자 장치(500)는 메모리를 더 포함할 수 있다. 메모리에는 프로세서(510)가 상기와 같이 피사체(OBJ)에 대한 3차원 정보 추출을 위한 연산을 실행할 수 있도록 프로그램된 연산 모듈이 저장될 수 있고, 이들 연산에 필요한 기타의 데이터들이 저장될 수 있다.The electronic device 500 may further include a memory. In the memory, a calculation module programmed to enable the processor 510 to perform an operation for extracting 3D information on an object OBJ as described above may be stored, and other data necessary for these calculations may be stored.

구조광 프로젝터(510)와 피사체(OBJ) 사이에는 구조광 프로젝터(510)로부터의 구조광(SL)이 피사체(OBJ)를 향하도록 방향을 조절하거나, 또는 이에 대한 추가적인 변조를 하기 위한 광학 소자들이 더 배치될 수도 있다.Between the structured light projector 510 and the object OBJ, there are optical elements for adjusting the direction so that the structured light SL from the structured light projector 510 faces the object OBJ, or for further modulation thereof. It may be further deployed.

프로세서(510)에서의 연산 결과, 즉, 피사체(OBJ)의 형상, 위치에 대한 정보는 다른 유닛이나 다른 전자 장치로 전송될 수 있다. 예를 들어, 메모리에 저장된 다른 어플리케이션 모듈에서 이러한 정보가 사용될 수 있다. 결과가 전송되는 다른 전자 장치는 결과를 출력하는 디스플레이 장치나 프린터일 수도 있다. 이외에도, 무인자동차, 자율주행차, 로봇, 드론 등과 같은 자율 구동 기기, 스마트 폰(smart phone), 스마트 워치(smart watch), 휴대폰, PDA(personal digital assistant), 랩톱(laptop), PC, 다양한 웨어러블(wearable) 기기, 기타 모바일 또는 비모바일 컴퓨팅 장치 및 사물 인터넷 기기일 수 있으며, 이에 제한되지 않는다.The result of the calculation in the processor 510, that is, information about the shape and position of the object OBJ may be transmitted to another unit or another electronic device. For example, this information can be used in other application modules stored in memory. Another electronic device to which the result is transmitted may be a display device or a printer that outputs the result. In addition, self-driving devices such as driverless cars, self-driving cars, robots, and drones, smart phones, smart watches, cell phones, PDAs (personal digital assistants), laptops (laptops), PCs, and various wearables (wearable) devices, other mobile or non-mobile computing devices and Internet of Things devices, but is not limited thereto.

전자 장치(500)는 피사체(OBJ)의 깊이 영상을 획득하는 깊이 카메라(depth camera) 또는 구조광 카메라(structured light camera)일 수 있다. 전자 장치(500)는 이외에도, 피사체(OBJ)의 깊이 정보를 활용하는 무인자동차, 자율주행차, 로봇, 드론 등과 같은 자율 구동 기기일 수 있고, 휴대용 이동 통신 기기, 스마트 폰(smart phone), 스마트 워치(smart watch), PDA(personal digital assistant), 랩톱(laptop), PC, 다양한 웨어러블(wearable) 기기, 기타 모바일 또는 비모바일 컴퓨팅 장치 및 사물 인터넷 기기일 수 있으며, 이에 제한되지 않는다.The electronic device 500 may be a depth camera or a structured light camera that acquires a depth image of the object OBJ. The electronic device 500 may be an autonomous driving device such as a driverless vehicle, autonomous vehicle, robot, drone, etc. that utilizes depth information of an object OBJ, and is a portable mobile communication device, a smart phone, and a smart phone. It may be a smart watch, a personal digital assistant (PDA), a laptop, a PC, various wearable devices, other mobile or non-mobile computing devices, and Internet of Things devices, but is not limited thereto.

도 15는 다른 실시예에 따른 전자 장치의 개략적인 구성을 보이는 블록도이다.15 is a block diagram showing a schematic configuration of an electronic device according to another embodiment.

전자 장치(600)는 피사체(OBJ)에 구조광(SL)을 조사하는 구조광 프로젝터(610), 피사체(OBJ)로부터의 광을 센싱하는 제1센서(630)와 제2센서(640) 및, 제1센서(630)와 제2센서(640) 중 적어도 하나에서 수광한 광을 분석하여 피사체(OBJ)의 형상 정보 획득을 위한 연산을 수행하는 프로세서(650)를 포함한다.The electronic device 600 includes a structured light projector 610 that irradiates the structured light SL to the object OBJ, a first sensor 630 and a second sensor 640 to sense light from the object OBJ, and And a processor 650 that analyzes the light received from at least one of the first sensor 630 and the second sensor 640 to perform calculation for obtaining shape information of the object OBJ.

본 실시예의 전자 장치(600)는 피사체(OBJ)에서 반사된 광을 수광하기 위해 서로 다른 위치에 배치되는 제1센서(630), 제2센서(640)를 구비하는 점에서 도 14의 전자 장치(500)와 차이가 있다. 피사체(OBJ)에 대해 다른 위치에 배치된 제1센서(630), 제2센서(640)에 의해 깊이 위치와 관련된, 서로 다른 시점(view point)에서의 정보를 얻을 수 있다. 프로세서(610)는 복수 시점의 정보를 활용하여 깊이 정보를 연산할 수 있어 정확성이 향상될 수 있다. The electronic device 600 of this embodiment is provided with the first sensor 630 and the second sensor 640 which are disposed at different positions to receive the light reflected from the object OBJ. There is a difference from 500. The first sensor 630 and the second sensor 640 disposed at different positions with respect to the object OBJ may obtain information related to a depth position at different view points. The processor 610 can calculate depth information by using information from multiple viewpoints, so that accuracy can be improved.

전자 장치(600)는 또한 복수 시점의 정보를, 일반 조명이 아닌 구조광(structured light)을 사용하여 획득하는 점에서, Active Stereo Camera 로 불릴 수도 있다. The electronic device 600 may also be referred to as an Active Stereo Camera in that information of multiple viewpoints is obtained using structured light rather than general illumination.

제1센서(630), 구조광 프로젝터(610), 제2센서(640)는 일렬로 배열될 수 있고, 적절한 거리로 이격되게 배치될 수 있다. 도면에서는 구조광 프로젝터(610)가 제1센서(630)와 제2센서(640) 사이에 배치된 것으로 도시되었으나 이는 예시적인 것이다. 제1센서(630)가 제2센서(640)와 구조광 프로젝터(610) 사이에 배치되거나, 다른 배열로 변경되는 것도 가능하다. The first sensor 630, the structured light projector 610, and the second sensor 640 may be arranged in a line, and may be arranged to be spaced apart at an appropriate distance. In the drawing, the structured light projector 610 is illustrated as being disposed between the first sensor 630 and the second sensor 640, but this is exemplary. The first sensor 630 may be disposed between the second sensor 640 and the structured light projector 610, or it may be changed to another arrangement.

제1센서(630), 제2센서(640)는 각각 광 검출 요소들의 어레이를 포함할 수 있다. 제1센서(630), 제2센서(640)는 구조광 프로젝터(610)에 대해 상대적으로 다른 위치에 배치되어 피사체(OBJ)로부터 센싱한 반사광의 세부 정보에 차이가 있다. 제1센서(630)는 반사광(L_r1)을 수신하며, 제2센서(640)는 반사광(L_r2)를 수신할 수 있다. The first sensor 630 and the second sensor 640 may each include an array of light detection elements. The first sensor 630 and the second sensor 640 are disposed at different positions relative to the structured light projector 610, and thus there is a difference in details of reflected light sensed from the object OBJ. The first sensor 630 may receive the reflected light L _r1 , and the second sensor 640 may receive the reflected light L _r2 .

프로세서(650)는 제1센서(630)에서 수신한 반사광(L_r1)을 분석하여 피사체(OBJ)의 깊이 위치에 대한 제1 정보를 연산할 수 있고, 또한, 제2센서(640)에서 수신한 반사광(L_r2)을 분석하여 피사체(OBJ)의 깊이 위치에 대한 제2정보를 연산할 수 있다. 프로세서(650)는 이들 정보 중 어느 하나 또는 모두를 활용하여 피사체(OBJ)에 대한 깊이 정보를 연산할 수 있다..The processor 650 may analyze the reflected light L _r1 received from the first sensor 630 to calculate first information about the depth position of the object OBJ, and also receive it from the second sensor 640 The second information on the depth position of the subject OBJ may be calculated by analyzing one reflected light L _r2 . The processor 650 may calculate depth information about the object OBJ by using any one or all of these pieces of information.

본 실시예의 전자 장치(600)는 따라서, 하나의 센서만을 구비하는 전술한 실시예에 비해 정확도를 높일 수 있다. 전자 장치(600)는 서로 다른 두 위치의 제1센서(630), 제2센서(640)에 의해 피사체(OBJ)에 대한 복수 시점(view point)의 영상 정보를 얻을 수 있으므로, 사용 환경에 따라 다양한 방식을 사용하여 피사체(OBJ)에 대한 깊이 정보를 획득할 수 있다. 전자 장치(600)는 예를 들어, 구조광 또는 주변광을 선택적으로 활용하여 피사체(OBJ)에 대한 깊이 정보를 획득할 수도 있다. 즉, 구조광 프로젝터(610)를 오프 상태로 하고 주변광을 활용하여 피사체(OBJ)에 대한 복수 시점의 영상 정보를 얻을 수도 있고, 또는 주변광을 활용한 영상 정보와 구조광을 활용한 영상 정보를 혼합하여 피사체(OBJ)에 대한 깊이 정보를 획득할 수도 있다.The electronic device 600 of this embodiment can thus increase accuracy compared to the above-described embodiment having only one sensor. Since the electronic device 600 can obtain image information of a plurality of view points on the object OBJ by the first sensor 630 and the second sensor 640 at two different locations, depending on the usage environment, Depth information about the object OBJ may be obtained using various methods. The electronic device 600 may acquire depth information on the subject OBJ, for example, by selectively using structured light or ambient light. That is, the structure light projector 610 may be turned off and ambient light may be used to obtain image information of a plurality of viewpoints on the subject OBJ, or image information using ambient light and structure light may be used. By mixing, it is also possible to obtain depth information about the object OBJ.

본 실시예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.The specific implementations described in this embodiment are examples and do not limit the technical scope in any way. For brevity of the specification, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of the lines between the components shown in the drawings are illustrative examples of functional connections and / or physical or circuit connections. In the actual device, alternative or additional various functional connections, physical It can be represented as a connection, or circuit connections.

지금까지, 본 발명의 이해를 돕기 위하여 예시적인 실시예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 설명에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.So far, exemplary embodiments have been described and shown in the accompanying drawings in order to aid the understanding of the present invention. However, it should be understood that these examples are only intended to illustrate the invention and are not limiting. And it should be understood that the present invention is not limited to the illustrated and described descriptions. This is because various other modifications can occur to those skilled in the art.

100, 510, 610 - 구조광 프로젝터
120, 220 - 광원
122, 222 - 발광 요소
140, 240 - 나노구조 어레이
145, 245 - 수퍼셀
SB_k - 서브셀
NS, NS1 - 나노구조물
SU - 기판100, 510, 610-Structure light projector
120, 220-light source
122, 222-light emitting element
140, 240-nanostructured array
145, 245-Supercell
SB_k-Subcell
NS, NS1-nano structure
SU-Substrate

Claims

Light source;
By forming a dot pattern (dot pattern) from the light from the light source,
It includes a plurality of super cells (super cell) including a plurality of nanostructures,
Each of the plurality of super cells
A first subcell including a plurality of first nanostructures having a first shape distribution, and
A structured light projector comprising a nanostructure array including a second subcell including a plurality of second nanostructures having a second shape distribution.

According to claim 1,
The light source comprises a plurality of light emitting elements, a structured light projector.

According to claim 2,
The plurality of light emitting elements and the plurality of super cells are each arranged in a two-dimensional periodic grid (periodc lattice), structured light projector.

According to claim 3,
The ratio of the lattice constant of the plurality of light emitting element arrays and the lattice constant of the plurality of super cell arrays is a rational number, and the structured light projector.

According to claim 3,
The plurality of light emitting elements and the plurality of super cells are arranged in a two-dimensional periodic grid shape of the same shape and the same size, a structured light projector.

According to claim 3,
The plurality of light emitting elements and the plurality of super cells are arranged in a two-dimensional periodic grid shape having the same shape and different sizes, and a structured light projector.

The method of claim 6,
The distance between the light source and the nanostructure array is
When the lattice constant of the super cell is C and the center wavelength of light in the light source is λ, the structured light projector is an integer multiple of C ² / (2λ).

According to claim 1,
A structured light projector in which the first shape distribution and the second shape distribution are different.

The method of claim 8,
A structured light projector having the same area as the first subcell and the second subcell.

According to claim 1,
The super cell further includes a k-th subcell (k is an integer from 3 to N, N is an integer greater than 3) including a k-th nanostructure arranged in a k-th distribution.

The method of claim 10,
The first to Nth sub-cells included in the super cell are arranged in a two-dimensional periodic grid, a structured light projector.

The method of claim 11,
The sub cells included in the super cell have an area equal to the area of the super cell, the structured light projector.

The method of claim 10,
A structured light projector in which the first shape distribution to the N shape distribution of a plurality of first nanostructures to a plurality of Nth nanostructures provided in the first to Nth sub cells are all different.

The method of claim 10,
A structured light projector in which phase profiles in which the first to Nth sub-cells modulate the phase of incident light are correlated with each other in a predetermined rule.

The method of claim 14,
The phase profile of the m-th sub-cell (m is an integer from 1 to N, N is an integer greater than or equal to 3) is a local phase profile component common between the first to Nth sub-cells and the super to which the m-th sub-cell belongs A structured light projector consisting of global phase profile components associated with the relative position of the cell.

According to claim 1,
The first nanostructure and the second nanostructure have a structural dimension smaller than the wavelength of light in the light source, a structured light projector.

The method of claim 16,
A structure light projector in which the arrangement pitch of the plurality of first nanostructures and the arrangement spacing of the plurality of second nanostructures are 1/2 or less of a wavelength of light in the light source.

The method of claim 16,
The height of the first nanostructure and the second nanostructure is 2/3 or less of the wavelength of light in the light source, the structured light projector.

According to claim 1,
The first nano-structure, the second nano-structure is a structure light projector made of a material having a refractive index of 0.5 or more difference from the refractive index of the surrounding material.

According to claim 1,
The dot pattern
A structured light projector in which a random pattern consisting of a plurality of dots forms a cluster, and the clusters are regularly arranged patterns.

The structure light projector of claim 1 that irradiates light toward a subject;
A first sensor that receives light reflected from the subject;
And a processor configured to analyze light received by the first sensor and calculate first information about a depth location of a subject.

The method of claim 21,
Further comprising; a second sensor for receiving the light reflected from the subject,
The processor
An electronic device that further calculates second information about a depth location of a subject by analyzing light received by the second sensor.

The method of claim 22,
The processor
An electronic device that calculates depth information for a subject from the first information and / or the second information.