KR102431989B1

KR102431989B1 - 3차원 영상 생성 장치 및 방법

Info

Publication number: KR102431989B1
Application number: KR1020217004742A
Authority: KR
Inventors: 조용호; 남효진; 이상근; 정찬성
Original assignee: 엘지전자 주식회사
Priority date: 2018-10-10
Filing date: 2019-04-04
Publication date: 2022-08-12
Also published as: WO2020075932A1; KR20210029269A; US11483539B2; US20220007003A1

Abstract

본 발명은 원거리 오브젝트를 촬영함에 있어 발광량을 증가하지 않으면서 해상도 저하, 수광량 부족으로 인한 SNR 문제를 해결하기 위해 오브젝트를 향해 조사되는 빛을 생성하는 광원, 상기 광원에서 생성된 빛을 상기 오브젝트에 도트 패턴(dot pattern)으로 조사하는 제1 광학계, 상기 오브젝트에 반사된 광을 수신하여 전기 신호로 변환하는 이미지 센서, 상기 전기 신호를 통해 깊이 데이터를 획득하는 이미지 프로세서 및 상기 광원, 상기 제1 광학계, 상기 이미지 센서 및 상기 이미지 프로세서에 연결된 제어부를 포함하고, 상기 제어부는 상기 도트 패턴을 기 설정 패턴으로 움직여 상기 오브젝트를 스캐닝하도록 상기 제1 광학계를 제어하는 것을 특징으로 하는 깊이 영상 생성 장치를 제공할 수 있다.

Description

3차원 영상 생성 장치 및 방법

본 발명은 3차원 영상 생성 장치 및 방법에 관한 것으로서, 상세하게는 물체의 깊이 정보(depth information)을 측정하고, 측정된 물체의 깊이 정보를 기반으로 3차원 영상을 생성하는 장치 및 방법에 관한 것이다.

3차원 입체 영상은 입체감과 몰입 감을 줄 수 있도록 색상 영상과 함께 물체(object)의 깊이 영상을 기반으로 생성된다. 이때, 물체의 깊이 영상을 생성하기 위해서는 물체의 깊이를 측정해야 한다.

물체의 깊이를 측정하는 방법 중 하나로 TOF(Time of Flight) 방식이 있다. TOF 방식은 물체에 직접적으로 광을 조사하고 물체로부터 되돌아오는 반사광의 시간을 계산함으로써 물체의 깊이를 측정하는 방식이다.

도 1은 일반적인 TOF 카메라(100)의 구조를 도시하고 있다. TOF 카메라(100)는 크게 오브젝트를 향해 빛을 조사하는 송광부(110)와 수광부(120)로 구성이 된다. 즉, TOF 카메라(100)는 송광부(110)에서 조사된 광과 물체에서 반사된 광의 위상차를 이용하여 물체와 카메라 사이의 거리인 깊이 정보를 취득한다. 구체적으로 TOF 카메라는 물체에 반사되는 광에서 in phase 광을 수광하는 in phase receptor와 out phase 광을 수광하는 out phase receptor가 이미지 센서의 한 픽셀을 구성한다. TOF 카메라는 in phase receptor와 out phase receptor가 수광한 수광량을 비교하여 광원에서 조사된 광과 수신한 광의 위상차를 측정하고 이를 통해 오브젝트의 깊이 정보를 획득할 수 있다.

도 2는 기존의 TOF 카메라(100) 광학 구조를 도시하고 있으며, 도 3은 기존의 TOF 카메라(100)의 블록도를 도시하고 있다.

기존의 TOF 카메라(100)의 송광부(110)는 빛을 생성하는 광원(111) 및 광원(110)에서 생성된 빛을 특정 각도로 면광원 형태로 조사하는 디퓨져(112)를 포함한다.

송광부(110)에서 조사된 광은 물체(300)에 반사되어 수광부(120)로 입사되는데, 수광부(120)는 물체(300)에 반사된 빛을 이미지 센서(122)로 유도하는 Rx 렌즈(121), 수신된 빛을 전기 신호로 전환하는 이미지 센서(122) 및 이미지 센서(122)의 전기 신호를 통해 깊이 이미지를 생성하는 이미지 프로세서(123)를 포함할 수 있다. 경우에 따라서는 수광부(120)는 특정 파장만을 통과하는 필터를 더 포함할 수 있다.

이 TOF 방식을 응용한 TOF Camera는 Automotive(차량용 카메라), VR, Robot, People Counting(인원 계수), Surveillance(보안) 등 다양한 분야에서 적용될 수 있다. 다만, TOF 카메라(100)는 송광부(100)에서 빛을 조사하여 깊이 정보를 측정하는 점에서 피사체(사람)의 눈을 보호하기 위해 빛의 세기에 제약을 두고 있다. 다만, 오브젝트에 조사되는 빛의 세기를 감소하게 되면, 수광부(110)에서 수신한 수광량 부족으로 인한 신호대비잡음비(Signal to noise rate, SNR) 증가의 문제가 발생할 수 있다. 즉, 원거리의 피사체를 촬영하거나, 외부광의 영향이 많은 경우 획득한 깊이 이미지의 신뢰성이 떨어지는 문제점이 있다.

또한, 원거리의 피사체를 촬영하는 경우, 이미지 센서의 각 수신 소자에 대응되는 분할 영역의 면적이 커지기 되고 이로 인해 깊이 이미지의 해상도가 상대적으로 감소하는 문제가 발생한다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 눈 보호를 위해 광원에서 생성되는 광량을 제약하되 원거리 촬영으로 획득한 깊이 이미지의 신뢰성을 높이는데 목적이 있다.

상기 목적을 달성하기 위해, 본 발명은 일 실시예에 따라, 오브젝트를 향해 조사되는 광을 생성하는 복수의 광원, 상기 복수의 광원 각각에서 생성된 광을 상기 오브젝트에 도트 패턴(dot pattern)으로 조사하는 제1 광학계, 상기 오브젝트에 반사된 광을 수신하여 전기 신호로 변환하는 이미지 센서, 상기 전기 신호를 통해 깊이 데이터를 획득하는 이미지 프로세서 및 상기 광원, 상기 제1 광학계, 상기 이미지 센서 및 상기 이미지 프로세서에 연결된 제어부를 포함하고, 상기 제어부는 상기 복수의 광원의 발광 패턴을 제어하여 상기 오브젝트를 스캐닝하도록 상기 광원을 제어하는 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 복수의 광원은 독립적으로 발광하는 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 복수의 광원 각각에서 생성된 도트 패턴의 조사광은 상기 이미지 센서를 구성하는 복수의 수신 소자에 대응되는 분할 영역에 일대일(one-to-one) 대응하는 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 분할 영역은 상기 복수의 광원 각각에 대응되는 서브 분할 영역을 포함하고, 상기 복수의 광원 각각에서 생성된 도트 패턴의 조사광은 대응되는 서브 분할 영역으로 조사되는 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 서브 분할 영역은 대응되는 상기 복수의 광원 각각의 최대 발광량에 비례하는 면적을 가지는 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 제어부는 일 프레임 동안 상기 복수의 광원이 순차적으로 발광하도록 제어하고, 상기 서브 분할 영역의 위치 정보를 이용하여 각각 획득한 깊이 데이터를 병합하도록 상기 이미지 프로세서를 제어하는 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 제어부는 상기 오브젝트와의 거리 및 신호대비잡음비(SNR) 중 적어도 하나에 대응하여, 상기 복수의 광원의 발광량을 제어하는 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 제어부는 상기 오브젝트와의 거리 및 신호대비잡음비(SNR) 중 적어도 하나에 대응하여, 일 프레임 동안 상기 복수의 광원 중 동시에 발광하는 광원의 개수를 제어하는 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 제어부는 상기 복수의 광원 중 적어도 하나의 광원을 동시에 1회 발광하는 경우, 프레임 레이트(fame rate)를 증가하도록 상기 이미지 프로세서를 제어하는 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 제어부는 일 프레임 동안 상기 복수의 광원을 구분하여 2회 발광하도록 제어하고, 각각 획득한 깊이 데이터를 통해 HDR을 구현하도록 상기 이미지 프로세서를 제어하되, 상기 복수의 광원은 개수가 상이하게 구분되는 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 제어부는 N 프레임 및 N+1 프레임 각각에서 상기 복수의 광원의 발광량을 달리 제어하고, 각각 획득한 깊이 데이터를 통해 HDR을 구현하도록 상기 이미지 프로세서를 제어하는 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 제1 광학계는 상기 복수의 광원에서 조사된 빛을 평행광으로 집광하는 콜리메터 렌즈(collimator lens) 및 상기 평행광을 상기 도트 패턴으로 상기 오브젝트를 향해 조사하는 회절 광학 소자를 포함하는 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 이미지 센서는 상기 도트 패턴에 대응되는 SPAD(Single Photon Avalanche Diode) 어레이 형태의 다중 배열 수신 소자를 포함하는 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 깊이 영상 생성 장치는 상기 도트 패턴의 반사광을 상기 다중 배열 수신 소자에 매칭하여 입사하는 제2 광학계를 더 포함하는 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 복수의 광원은 복수의 수직 공진 표면 발광 레이저(Vertical Cavity Surface Emitting Laser, VCSEL)인 것을 특징으로 하는 깊이 영상 생성 장치를 제공한다.

또한, 본 발명은 일 실시예에 따라, 복수의 광원 중 적어도 하나를 이용하여 오브젝트를 향해 도트 패턴으로 빛을 조사하고 1차 깊이 데이터를 획득하는 단계, 상기 1차 깊이 데이터를 통해 촬영 환경 및 상기 오브젝트의 거리 정보를 획득하는 단계 및 상기 획득된 촬영 환경 및 거리 정보에 기초하여 상기 복수의 광원의 발광 패턴을 설정하는 단계, 상기 설정된 발광 패턴에 대응하여 2차 깊이 데이터를 획득하는 단계를 포함하는 깊이 영상 생성 장치 제어 방법을 제공한다.

또한, 본 발명은 일 실시예에 따라, 상기 깊이 영상 생성 장치 제어 방법은 상기 2차 깊이 데이터를 통해 획득한 촬영 환경 및 거리 정보에 기초하여 상기 설정된 발광 패턴을 변경하는 단계를 더 포함하는 것을 특징으로 하는 깊이 영상 생성 장치 제어 방법을 제공한다.

본 발명은 면 광원 형태로 원거리에 빛을 조사하는 경우 발생할 수 있는 수광량 부족의 문제를 해결할 수 있다.

본 발명은 광원에서 생성하는 광량을 유지하고, 집광된 도트 패턴으로 빛을 조사함으로써 수광량을 충분히 확보하고, 눈 보호를 위한 제약을 만족할 수 있다.

본 발명은 복수의 광원의 발광 패턴을 제어함으로써 고해상도의 깊이 이미지를 획득할 수 있다.

본 발명은 복수의 광원의 발광 패턴을 제어함으로써 원거리 오브젝트에 대한 신뢰할 수 있는 깊이 데이터를 획득할 수 있다.

본 발명은 복수의 광원의 발광 패턴을 제어함으로써 HDR 구현할 수 있다.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.

도 1은 일반적인 TOF 카메라의 구조를 도시하고 있다.
도 2는 기존의 TOF 카메라의 광학 구조를 도시하고 있다.
도 3은 기존의 TOF 카메라의 블록도를 도시하고 있다.
도 4는 본 발명의 일 실시예에 따른, TOF 카메라의 광학 구조를 도시하고 있다.
도 5는 본 발명의 일 실시예에 따른, TOF 카메라의 블록도를 도시하고 있다.
도 6은 본 발명의 일 실시예에 따른, TOF 카메라의 광원 및 광원에서 조사하는 광을 도트 패턴으로 조사하는 회절 광학 소자를 도시하고 있다.
도 7은 본 발명의 일 실시예에 따라, 도 6의 광원 및 회절 광학 소자를 통해 조사되는 도트 패턴을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라, 도트 패턴의 조사광이 조사되는 조사 영역을 구체적으로 도시하고 있다.
도 9은 본 발명의 일 실시예에 따라, 서브 분할 영역 크기 및 배열을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따라, 고 해상도의 깊이 이미지를 획득하기 위해 복수의 광원을 발광하는 패턴을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따라, 도 10의 방법을 통해 고 해상도의 깊이 이미지를 획득하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따라, 근거리의 오브젝트를 고 해상도로 촬영하기 위해 복수의 광원을 발광하는 패턴을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따라, 해상도 이득 없이 오브젝트의 거리 및 촬영 환경 중 적어도 하나에 대응하여 복수의 광원을 발광하는 패턴을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따라, 해상도 이득 없이 오브젝트를 촬영하되 프레임 레이트를 가변하는 발광 패턴을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따라, HDR를 구현하기 위해 복수의 광원을 발광하는 패턴을 설명하기 위한 도면이다.
도 16는 본 발명의 일 실시예에 따라, 복수의 광원의 발광 패턴을 설정하고 깊이 데이터를 획득하는 전체 흐름도를 도시하고 있다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 4는 본 발명의 일 실시예에 따른, TOF 카메라의 광학 구조를 도시하고 있고, 도 5는 본 발명의 일 실시예에 따른, TOF 카메라의 블록도를 도시하고 있다.

본 발명은 송광부(210)에서 조사된 광이 오브젝트(300)에 반사되어 수광부(220)에 수신된 거리차를 이용하여 오브젝트(300)의 깊이 데이터를 획득하는 TOF 카메라에 관한 발명이다.

송광부(210)는 오브젝트(300)를 향해 조사되는 광을 생성하는 광원(211), 광원(211)에서 생성된 광을 상기 오브젝트에 도트 패턴(214)으로 조사하는 제1 광학계(212, 213)를 포함할 수 있다.

광원(211)은 수직 공진 표면 발광 레이저(Vertical Cavity Surface Emitting Laser, VCSEL)일 수 있다. VCSEL은 일반적인 측면발광 레이저와는 달리 에피웨이퍼(EPI Wafer)의 표면에 수직 방향으로 빛을 방출하는 레이저 이다. VCSEL은 광이 나오는 수많은 구멍(Cavity)를 포함하고 있으며, 이를 통해 도트 패턴으로 광을 조사하는데 유리할 수 있다. 또한, VCSEL은 조사하는 광의 직진 성이 강하며, 하나의 구멍(Cavity)를 통해 조사되는 광은 10도에서 20도의 발산 각을 가질 수 있다. 또한, VCSEL은 3차원 데이터를 획득하기 위해 905~960nm의 파장의 광을 생성 및 조사할 수 있다.

또한, 광원(211)은 독립적으로 발광하는 복수의 광원을 포함할 수 있으며, 각각의 광원은 상호 오버랩되지 않도록 도트 패턴으로 광을 조사할 수 있다. 광원(211)의 구조 및 광원에서 조사되는 도트 패턴의 조사광에 대해서는 도 6 및 도 7을 통해 구체적으로 살펴본다.

제1 광학계(212, 213)는 광원(211)에서 조사된 빛을 평행광으로 집광하는 콜리메터 렌즈(collimator lens, 212) 및 상기 평행광을 도트 패턴(214)으로 오브젝트(300)를 향해 조사하는 회절 광학 소자(DOE, 213)를 포함할 수 있다.

콜리메터 렌즈(212)는 VCSEL의 각 구멍(Cavity)에서 출사되는 광을 각각 집광하여 평행광으로 만들 수 있다.

회절 광학 소자(213)는 콜리페터 렌즈(212)에서 출사되는 평행광을 미소 패턴에 의한 빛의 회절 성질 및 간섭 현상에 의해 도트 패턴(214)으로 오브젝트(300)를 항해 조사할 수 있다. 회절 광학 소사(213)의 미소 패턴은 유리 기판에 나노 구조의 주기 패턴을 갖는 UV 레진으로 제작될 수 있다.

송광부(210)에서 조사된 광은 물체(300)에 반사되어 수광부(220)로 입사되는데, 수광부(220)는 물체(300)에 반사된 빛을 이미지 센서(222)로 유도하는 Rx 렌즈(221), 수신된 빛을 전기 신호로 전환하는 이미지 센서(222) 및 이미지 센서(222)의 전기 신호를 통해 깊이 이미지를 생성하는 이미지 프로세서(223)를 포함할 수 있다. 경우에 따라서는 수광부(220)는 특정 파장만을 통과하는 필터를 더 포함할 수 있다.

이미지 센서(222)는 이미지 센서(222)는 VGA급(480×640) 이상이 사용될 수 있으며, SPAD(single photon avalanche diode) 어레이 형태의 다중 배열 수신 소자를 포함하거나, CMOS 이미지 센서가 사용될 수 있다. 이미지 센서의 각 수신 소자는 물체에 반사되는 광에서 in phase 광을 수광하는 in phase receptor와 out phase 광을 수광하는 out phase receptor로 구성될 수 있다. 이미지 프로세서(223)은 in phase receptor와 out phase receptor가 수광한 수광을 통해 조사된 광과 물체에 반사된 광의 위상차를 측정하고 이를 통해 오브젝트의 깊이 정보를 획득할 수 있다.

이미지 센서(222)는 복수의 수신 소자를 포함하고, 복수의 광원(211) 각각에서 조사된 도트 패턴(214a 내지 214d)의 조사광은 각각의 수신 소자에 일대다(one-to-one)하게 대응될 수 있다. 즉, 복수의 광원(211) 각각에서 조사된 도트 패턴(214a 내지 214d)의 개수는 이미지 센서(222)의 해상도 보다 많을 수 있다. 구체적으로 복수의 광원(211)은 각각 도트 패턴(214a 내지 214d)을 조사 영역(310)으로 조사하되, 각각의 수신 소자에 대응되는 분할 영역(311)에 도트가 하나씩 입사될 수 있다. 이와 관련하여서는 도 7을 통해 구체적으로 살펴본다.

각각의 복수의 광원(211)에서 조사된 도트 패턴(214a 내지 214d) 조사광은 제2 광학계(Rx lens, 221)에 의해 대응되는 수신 소사로 입사될 수 있다.

본 발명은 송광부(210)와 수광부(220)를 제어하는 제어부를 포함할 수 있으며, 제어부는 복수의 광원의 발광 패턴을 제어하여 오브젝트(300)을 스캐닝하도록 광원(211)을 제어할 수 있다.

본 발명은 원거리에 오브젝트(300)가 있는 경우, 도 2에서 설명한 종래의 TOF 카메라(100)와 같이 면광원으로 광을 조사하여 발생할 수 있는 상기 문제점을 해결하는데 목적이 있다. 종래의 TOF 카메라(100)는 원거리의 오브젝트(300)를 촬영하는 경우, 첫째로 이미지 센서(222)의 각 수신 소자가 담당하는 분할 영역의 면적이 커져 해상도가 떨어지는 문제가 있다. 둘째로, 각 수신 소자가 수신하는 수광량 부족으로 인한 신호대비잡음비(Signal to noise rate, SNR) 증가의 문제가 발생할 수 있다. 두 번째 문제는 광원(211)의 파워를 증가(=광원(211)하여 해결할 수 있지만 광원(211)의 파워는 눈 보호를 위해 증가하는데 제약이 있으며, 비용의 문제가 발생할 수 있다. 또한, 광원(211)의 발광량 증가만으로는 첫 번째 문제를 해결할 수 없다.

상기 문제를 해결하기 위해, 본 발명은 복수의 광원에서 생성된 광을 도트 패턴(214)으로 집광하여 조사하고, 복수의 광원의 발광 패턴을 제어하여 오브젝트를 스캐닝 하는 기술 사상을 채택한다.

도 6은 본 발명의 일 실시예에 따른, TOF 카메라의 광원 및 광원에서 조사하는 광을 도트 패턴으로 조사하는 회절 광학 소자를 도시하고 있다. 도 7은 본 발명의 일 실시예에 따라, 도 6의 광원 및 회절 광학 소자를 통해 조사되는 도트 패턴을 설명하기 위한 도면이다.

본 발명의 광원(211)은 독립 적으로 발광하는 복수의 광원(211a 내지 211b)를 포함할 수 있다. 각각의 광원(211a 내지 211b)은 독립적으로 발광하는 VSCEL일 수 있다. 구체적으로, 도 6(a)는 네 개의 VSCEL로 구성된 복수의 광원(211a 내지 211b)을 도시하고 있다. 각각의 광원(211a 내지 211b)은 드라이브에 연결되어 독립적으로 발광할 수 있다. 또한, 각각의 광원(211a 내지 211b)은 도 6(b)와 같이 구비된 회절 광학 소자(213)에 의해 각각 도트 패턴의 광을 오브젝트를 향해 조사할 수 있다. 도 6(a)는 네 개의 광원(211a 내지 211b)을 도시하고 있으나, 광원의 개수는 반드시 네 개일 필요는 없다.

하나의 광원(211a 내지 211b 중 하나)에서 생성된 광은 분할 영역(311)에 일대일 대응되도록 도트 패턴으로 조사될 수 있다. 또한, 분할 영역(311)은 이미지 센서(222)의 각 수신 소자(2221)에 일대일 대응될 수 있다. 즉, 하나의 광원(211a 내지 211b 중 하나)에 의해 생성된 도트 패턴의 개수는 이미지 센서(222)의 해상도와 동일 할 수 있다.

각각의 광원(211a 내지 211b)에서 조사되는 도트 패턴은 회절 광학 소사(213)을 지나 조사 영역(310)을 구성하는 분할 영역(311)에서 위치가 상이할 수 있다. 구체적으로 도 7(a)는 제1 광원(211a)에서 조사된 광에 의해 생성된 도트 패턴이 분할 영역(311)에서 2 사분면에 맺히는 실시예를 도시하고 있다. 도7(b)는 제2 광원(211b)에서 조사된 광에 의해 생성된 도트 패턴이 분할 영역(311)에서 1사분면에 맺히는 실시예를 도시하고 있다. 또한, 도7(c)는 제3 광원(211c)에서 조사된 광에 의해 생성된 도트 패턴이 분할 영역(311)에서 3사분면에 맺히는 실시예를 도시하고 있다. 또한 도 7(d)는 제4 광원(211d)에서 조사된 광에 의해 생성된 도트 패턴이 분할 영역(311)에서 4사분면에 맺히는 실시예를 도시하고 있다.

즉, 본 발명은 복수의 광원(211a 내지 211b)을 포함하고 복수의 광원(211a 내지 211b) 각각이 생성하는 도트 패턴의 조사광은 분할 영역(311)의 상이한 위치로 조사될 수 있다.

도 8은 본 발명의 일 실시예에 따라, 도트 패턴의 조사광이 조사되는 조사 영역을 구체적으로 도시하고 있다.

조사 영역(310)은 광원(211a 내지 211b, 도 6 참조)에서 생성된 도트 패턴이 조사되는 영역으로 오브젝트(300도 5 참조)를 포함하는 영역일 수 있다.

조사 영역(310)은 이미지 센서(222, 도 7 참조)의 수신 소자(2221, 도 7 참조)에 대응되는 분할 영역(311)을 포함할 수 있다. 즉, 분할 영역(311)의 개수는 이미지 센서(222)의 해상도 개수에 대응될 수 있다.

분할 영역(311)은 각각의 광원(211a 내지 211b)에서 생성된 도트 패턴의 조사광이 조사되는 위치에 따라 서브 분할 영역(312a 내지 312d)로 분할 될 수 있다. 제1 광원(211a)에서 생성된 도트 패턴은 분할 영역(311)의 제1 서브 분할 영역(312a)로 조사될 수 있고, 제2 광원(211b)에서 생성된 도트 패턴은 분할 영역(311)의 제2 서브 분할 영역(312b)로 조사될 수 있고, 제3 광원(211c)에서 생성된 도트 패턴은 분할 영역(311)의 제3 서브 분할 영역(312c)로 조사될 수 있고, 제4 광원(211d)에서 생성된 도트 패턴은 분할 영역(311)의 제4 서브 분할 영역(312d)로 조사될 수 있다. 즉, 각각의 광원(211a 내지 211b)에서 생성된 도트 패턴은 각각 분할 영역(311)에 일대일 대응될 수 있으며, 복수의 광원(211a 내지 211b)에서 생성된 모든 도트 패턴은 각각의 서브 분할 영역(312a 내지 312d)에 일대일 대응될 수 있다.

복수의 광원(211a 내지 211b)는 독립적으로 발광되므로, 각각의 광원(211a 내지 211b)에서 생성된 도트 패턴은 독립적으로 점멸될 수 있다.

도 9은 본 발명의 일 실시예에 따라, 서브 분할 영역 크기 및 배열을 설명하기 위한 도면이다.

도 8은 서브 분할 영역(312a 내지 312d)을 동일한 크기로 예시하고 있으나, 서브 분할 영역(312a 내지 312d)은 그 크기가 상이할 수 있으며, 배열 역시 회절 광학 소자(213)의 미소 패턴 및 Rx렌즈(221) 자유롭게 선택될 수 있다.

구체적으로, 도 9(a) 및 9(b)는 4분면 형태로 서브 분할 영역(312a 내지 312d)이 배열된 실시예를 도시하고 있으며, 도 9(c) 및 도 9(d)는 가로로 배열된 서브 분할 영역(312a 내지 312d)을 도시하고 있으며, 도 9(e)는 세로로 배열된 서브 분할 영역 (312a 내지 312d)을 도시하고 있다.

서브 분할 영역(312a 내지 312d)의 면적은 회절 광학 소자(213)의 미소 패턴에 의해서 제어될 수 있다. 또는 복수의 광원(211a 내지 211d)에서 각각 조사되는 광의 조사 각에 의해서 제어될 수 있다.

서브 분할 영역(312a 내지 312d)의 면적은 복수의 광원(211a 내지 211d)은 최대로 생성하는 광량에 대응될 수 있다. 즉, 넓은 서브 분할 영역(312a, 도 9(b))에 대응되는 제1 광원(211a)는 최대로 출력할 수 있는 광량이 좁은 서브 분할 영역(312b, 도 9(b))에 대응되는 제2 광원(211b)에서 최대로 출력할 수 있는 광량 보다 클 수 있다. 이를 통해 본 발명의 제어부는 촬영 환경에 따라 선택적으로 광원(211a 내지 211b)을 발광할 수 있다. 예를 들어 원거리의 오브젝트를 촬영하는 경우 최대로 출력할 수 있는 광량이 큰 광원을 이용하고, 근거리의 오브젝트를 촬영하는 경우, 최대로 출력할 수 있는 광량이 작은 광원을 이용할 수 있다.

깊이 이미지의 해상도는 이미지 센서(222, 도 7 참조)에 의해 결정됨이 일반적이나, 본 발명은 선택적으로 해상도를 증가할 수 있다. 이와 관련하여 이하에서 설명한다.

도 10은 본 발명의 일 실시예에 따라, 고 해상도의 깊이 이미지를 획득하기 위해 복수의 광원을 발광하는 패턴을 설명하기 위한 도면이다.

본 발명은 오브젝트를 촬영하는 일 프레임 동안 복수의 광원(211a 내지 211d)을 순차적으로 발광하고, 각각의 광원 (211a 내지 211d)에서 획득된 깊이 데이터를 병합하여 해상도를 높일 수 있다. 예를 들어, 복수의 광원 (211a 내지 211d)이 네 개인 경우 최대로 이미지 센서(222, 도 7 참조)의 해상도의 네 배의 해상도로 깊이 이미지를 획득할 수 있다. 해상도는 순차적으로 광원 (211a 내지 211d)을 발광할 때 발광하는 광원의 개수로 제어될 수 있다. 즉, 네 개의 광원을 가진 경우 순차적으로 모든 광원을 발광한다면 이미지 센서(222)의 해상도의 네 배 해상도를 획득할 수 있고, 세 개의 광원을 발광한다면 이미지 센서(222)의 해상도의 세 배 해상도를 획득할 수 있다.

구체적으로, 도 10은 네 개의 광원(211a 내지 211d)을 일 프레임 동안 순차적으로 발광하여 이미지 센서(222)가 가지는 해상도의 네 배 해상도로 깊이 이미지를 획득하는 실시예를 도시하고 있다.

도 11은 본 발명의 일 실시예에 따라, 도 10의 방법을 통해 고 해상도의 깊이 이미지를 획득하는 방법을 설명하기 위한 도면이다.

광원(211a 내지 211d)이 조사되는 영역(310)은 이미지 센서(222)의 수신소자에 대응하여 분할 영역(311)으로 분할될 수 있다. 기존의 TOF 카메라와 같이 면광원으로 조사 영역(310)에 광을 조사하는 경우 이미지 센서(222)의 해상도에 대응되는 깊이 이미지만을 획득할 수 있다. 다만, 본 발명은 각각의 광원(211a 내지 211d)에 의해서 생성되는 도트 패턴(214 a 내지 214d)을 분할 영역(311)의 서브 분할 영역(312a 내지 312d)에 일대일 대응되도록 광을 조사함으로써 서브 분할 영역(312a 내지 312d)의 개수만큼 해상도를 배수로 증가할 수 있다.

순차적으로 광원(211a 내지 211d)을 발광하는 경우 본 발명의 제어부는 발광되는 광원(211a 내지 211d)으로부터 대응되는 서브 분할 영역(312a 내지 312d)을 좌표 정보를 인지할 수 있다. 본 발명의 제어부는 서브 분할 영역(312a 내지 312d)의 좌표 정보를 통해 각각 획득한 깊이 데이터를 병합하여 해상도를 증가할 수 있다. 예를 들어, 제1 광원(221a)이 발광된 경우 제어부는 이미지 프로세서(223, 도 5 참조)에서 획득한 깊이 데이터를 제1 서브 분할 영역(312a)의 깊이 데이터로 인식할 수 있다. 또한, 제2 광원(221b)이 발광된 경우 제어부는 이미지 프로세서(223, 도 5 참조)에서 획득한 깊이 데이터를 제2 서브 분할 영역(312b)의 깊이 데이터로 인식할 수 있다. 또한, 제3 광원(221c)이 발광된 경우 제어부는 이미지 프로세서(223, 도 5 참조)에서 획득한 깊이 데이터를 제3 서브 분할 영역(312c)의 깊이 데이터로 인식할 수 있다. 또한, 또한, 제4 광원(221d)이 발광된 경우 제어부는 이미지 프로세서(223, 도 5 참조)에서 획득한 깊이 데이터를 제4 서브 분할 영역(312d)의 깊이 데이터로 인식할 수 있다. 제어부는 제1 내지 제4 서브 분할 영역(312a 내지 312d)각각의 좌표 정보를 이용하여 획득한 깊이 데이터를 병합함으로써 이미지 센서(222)의 해상도 보다 높은 해상도로 깊이 데이터를 획득할 수 있다.

본 발명은 광원의 파워를 조절하여 깊이 이미지를 획득할 수 있는데 이와 관련하여 도 12를 통해 설명한다.

도 12는 본 발명의 일 실시예에 따라, 근거리의 오브젝트를 고 해상도로 촬영하기 위해 복수의 광원을 발광하는 패턴을 설명하기 위한 도면이다.

원거리에 위치한 오브젝트를 촬영하는 경우 각 광원의 파워를 최대로 하여 순차적으로 촬영함이 고해상도의 깊이 이미지를 획득하면서 SNR 문제를 회피할 수 있는 방법이다.

다만, 근거리에 위치한 오브젝트를 촬영하는 경우 광원의 파워가 약하더라도 SNR 문제에서 자유로울 수 있다. 또한, SNR 문제 외에도 소모되는 전력을 감소할 수 있다는 장점이 있다.

따라서, 근거리에 위치한 오브젝트를 고 해상도로 촬영할 때 광원(211a 내지 211d)을 순차적으로 발광하여 촬영하되 각 광원(211a 내지 211d)의 발광량을 감소하여 촬영해도 낮은 SNR로 깊이 이미지를 획득할 수 있다.

구체적으로, 도 12는 각 광원(211a 내지 211d)이 발광할 수 있는 최대 발광량 보다 낮은 발광량으로 순차적으로 광을 생성하는 실시예를 도시하고 있다. 이 경우, 광원(211a 내지 211d)을 순차적으로 발광하여 깊이 이미지를 획득하였으므로 높은 해상도의 깊이 이미지를 획득할 수 있으며, 저전력으로 광원(211a 내지 211d)을 구동할 수 있다.

다만, 오브젝트의 거리가 멀리 있거나, 외부 광의 영향으로 SNR이 높은 경우, 도 13 또는 도 14 방법이 부적합할 수 있다. 이 경우, 광원에서 보다 높은 광원을 발광함이 바람직할 수 있다. 이와 관련하여서는 도 13을 통해 구체적으로 살펴본다.

도 13은 본 발명의 일 실시예에 따라, 해상도 이득 없이 오브젝트의 거리 및 촬영 환경 중 적어도 하나에 대응하여 복수의 광원을 발광하는 패턴을 설명하기 위한 도면이다.

도 10에서 설명한 발광 패턴은 해상도의 이득을 얻을 수 있으나 발광량은 각 광원의 최대 발광량을 넘지 못한다. 따라서, 오브젝트의 거리가 멀거나 외부광의 영향으로 SNR이 높은 경우, 도 10의 발광 패턴으로 획득한 깊이 데이터는 신뢰성이 떨어질 수 있다.

오브젝트의 거리가 멀고 외부광의 영향으로 SNR이 높은 경우 최대 발광량을 키우는 것이 바람직할 수 있다. 발광량을 증가하기 위해 본 발명의 제어부는 일 프레임 동안 복수의 광원(211a 내지 211d) 중 적어도 두 개의 광원을 동시에 발광할 수 있다. 구체적으로, 도 13(a)는 일 프레임 동안 복수의 광원(211a 내지 211d)을 모두 발광하는 실시예를 도시하고 있다.

동시에 발광하는 광원의 개수는 오브젝트의 거리 및 SNR 중 적어도 하나에 대응하여 가변될 수 있다. 이는 복수의 광원을 동시에 모두 발광하는 경우 발광량을 키울 수 있지만 눈을 향해 조사되는 경우 눈을 상하게 할 수 있고, 필요 이상으로 전력을 소모할 수 있다. 따라서, 일 프레임에서 획득한 오브젝트의 거리 및 SNR 정보에 기초하여 다음 프레임에서 동시에 발광되는 광원의 개수를 제어할 수 있다. 구체적으로, 도 13(b)는 연속하는 프레임에서 동시에 발광하는 광원의 개수를 가변하는 실시예를 도시하고 있다.

복수의 광원(211a 내지 211d)을 동시에 발광하는 경우 해상도에 이득을 보긴 어렵지만 프레임 레이트에서 이득을 볼 수 있다. 이와 관련하여 이하 도 14에서 설명한다.

도 14는 본 발명의 일 실시예에 따라, 해상도 이득 없이 오브젝트를 촬영하되 프레임 레이트를 가변하는 발광 패턴을 설명하기 위한 도면이다.

프레임 레이트(frame rate)는 연속된 이미지들을 촬영하거나 재현하는 속도의 비율을 의미하며 프레임 레이트가 높을수록 초당 획득하는 깊이 데이터가 빨라질 수 있다.

해상도의 이득을 위한 발광 패턴은 복수의 광원(211a 내지 211d)을 각각 순차적으로 발광(점멸)하는데 시간이 소요되므로 프레임 레이트를 높이기 어렵다.

다만, 해상도의 이득을 포기하는 경우 복수의 광원(211a 내지 211d)을 동시에 발광(점멸)하므로 프레임 레이트를 높일 수 있다.

구체적으로 도 14(a)는 해상도 이득을 위한 발광 패턴을 도시하고 있으며, 도 14(b)는 해상도 이득을 포기하되 프레임 이득을 획득한 발광 패턴을 도시하고 있다. 즉, 도 14(b)는 해상도의 이득은 포기하지만, 거리 이득, SNR 이득 및 프레임레이트 이득을 획득할 수 있다.

도 15는 본 발명의 일 실시예에 따라, HDR를 구현하기 위해 복수의 광원을 발광하는 패턴을 설명하기 위한 도면이다.

DR(Dynamic　Range)은 가장 밝은 부분부터 가장 어두운 부분까지의 범위를 의미한다. 사람의 눈으로 지각되는 밝기 범위(DR)는 약 10,000 니트(nits) 정도인데, 기존 일반 디스플레이에 입력되는 영상은 약 100 니트 정도의　LDR(Low　Dynamic　Range) 또는　SDR(Standard　Dynamic　Range)로, 실감 화질을 구현하는 데 한계가 있다.　HDR은 기존　DR을 더 넓게 확장시켜, 영상의 명암비(contrast　ratio, 가장 밝은 부분과 가장 어두운 부분의 차이)를 높이고, 태양의 강렬한 빛부터 어두운 밤하늘의 별빛까지 현실에 존재하는 다양한 밝기를 표현하여 영상을 실감 나게 전달한다.

HDR 기술은 High Daynamic Range의 약자로 다양한 계조의 사진들을 하나로 합치는 기법을 의미한다. 이런한 HDR 기술은 본 발명에 적용될 수 있다. 즉, 본 발명은 발광량을 달리하여 획득한 깊이 이미지를 합쳐 오브젝트의 깊이 이미지를 획득할 수 있다.

이를 위해, 본 발명의 제어부는 일 프레임 동안 복수의 광원(211a 내지 211d)을 구분하여 2회 발광하도록 제어하고, 각각 획득한 깊이 데이터를 통해 HDR을 구현하도록 이미지 프로세서(223, 도 5 참조)를 제어하되, 복수의 광원(211a 내지 211d)은 개수가 상이하게 구분될 수 있다. 이와 관련된 실시예는 도 15(a)에서 도시되고 있다. 구체적으로 도 15(a)는 먼저 복수의 광원(211a 내지 211d) 중 제1 내지 제 3 광원(211a 내지 211c)을 동시에 발광하여 깊이 이미지를 획득하고, 나머지 제4 광원(211d)을 발광하여 깊이 이미지를 획득하는 실시예를 도시하고 있다. 각각 획득된 깊이 데이터는 상이한 발광량에 기초하여 획득된 것으로 본 발명은 각각 획득한 깊이 데이터를 병합하여 HDR을 구현할 수 있다. 일 프레임 동안 복수의 광원을 구분하여 발광하는 경우 프레임 레이트를 감소하지 않는 점에서 이득이 될 수 있다.

다만, 최대 발광량을 이용하기 위해서는 복수의 광원(211a 내지 211d)을 모두 동시에 발광할 필요가 있을 수 있다. 이 경우 프레임을 달리하여 획득한 깊이 데이터를 병합하여 HDR를 구현할 수 있다. 구체적으로 도 15(b)는 프레임을 달리하여 획득한 깊이 데이터를 병합하여 HDR를 구현하는 실시예를 도시하고 있다. 일 프레임에서는 복수의 광원(211a 내지 211d)을 각각 최대 발광량으로 동시에 발광하고 다음 프레임에서는 각각의 방광량을 줄여 동시에 발광할 수 있다. 경우에 따라서는 다름 프레임에서는 발광하는 광원의 개수를 달리하여 깊이 이미지를 획득할 수 있다.

도 16는 본 발명의 일 실시예에 따라, 복수의 광원의 발광 패턴을 설정하고 깊이 데이터를 획득하는 전체 흐름도를 도시하고 있다.

본 발명은 제어부에서 복수의 광원(211a 내지 211d)의 발광 패턴을 설정하기 위한 사전 정보가 필요할 수 있다. 상기 사전 정보는 원거리 촬영 또는 근거리 촬영인지 여부, SNR이 높은지 여부, 해상도가 적절한지 여부, 더 높은 프레임레이트가 요구되는지 여부 등이 있을 수 있다.

본 발명은 상기 사전 정보를 획득하기 위해 1차 촬영 후 발광 패턴을 설정하고 이를 기초하여 2차 촬영할 수 있다.

구체적으로, 본 발명은 깊이 영상 처리 장치의 전원이 온 된 경우(S201), 상기 사전 정보를 획득하기 위해 1차 촬영 할 수 있다. (S202) 상기 1차 촬영은 적어도 하나의 프레임 동안 깊이 데이터를 획득할 수 이 있다. 상기 1차 촬영은 오브젝트에 대한 깊이 데이터를 획득하기 위한 적절한 촬영 모드를 설정하는 단계로 복수의 광원(211a 내지 211d) 의 발광 패턴을 변경하며 1차 깊이 데이터를 획득하는 단계일 수 있다.

상기 1차 촬영을 통해 상기 사전 정보인 촬영 환경 및 오브젝트의 거리 정보을 획득하고, (S203) 이에 대응되는 복수의 광원의 발광 패턴을 설정할 수 있다. (S204) 다만, 경우에 따라서는 상기 복수의 광원의 발광 패턴은 사용자의 선택에 의해 변경될 수 있다.

복수의 광원의 발광 패턴이 설정된 경우, 설정된 발광 패턴에 기초하여 2차 촬영을 수행하고, (S205) 이에 대응하여 2차 깊이 데이터를 획득할 수 있다. 획득된 2차 깊이 데이터는 디스플레이로 전송되어 프리뷰 화면으로 제공되거나 메모리에 저장될 수 있다. (S206) 2차 깊이 데이터는 설정된 발광 패턴을 변경하는데 사용될 수 있다. 즉, 2차 깊이 데이터를 통해 촬영 환경 또는 오브젝트의 거리 정보가 가변 되는 경우 대응하여 발광 패턴을 변경하고 이후 촬영을 진행할 수 있다.

이후 사용자의 선택에 의해 전원이 오프 (S207) 된 경우, 설정된 발광 패턴을 메모리에 저장하고 이후 이를 기초로 1차 촬영을 수행할 수 있다. 적절한 발광 패턴을 설정하여 2차 촬영을 수행하는데 소용되는 프레임 수를 줄이는데 이용될 수 있다. 다만, 경우에 따라서는 1차 촬영은 기 설정된 발광 패턴으로 촬영을 수행하는 단계일 수 있다.

상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

오브젝트를 향해 조사되는 광을 생성하여 독립적으로 발광할 수 있는 복수의 광원;
상기 복수의 광원 각각에서 생성된 광을 상기 오브젝트에 도트 패턴(dot pattern)으로 조사하는 제1 광학계;
상기 오브젝트에 반사된 광을 수신하여 전기 신호로 변환하는 이미지 센서;
상기 전기 신호를 통해 깊이 데이터를 획득하는 이미지 프로세서; 및
상기 광원, 상기 제1 광학계, 상기 이미지 센서 및 상기 이미지 프로세서에 연결된 제어부;를 포함하고,
상기 복수의 광원 각각에서 생성된 도트 패턴의 조사광은
상기 이미지 센서를 구성하는 복수의 수신 소자에 대응되는 분할 영역에 일대일(one to one) 대응되며,
상기 제어부는
상기 복수의 광원의 발광 패턴을 제어하여 상기 오브젝트를 스캐닝하도록 상기 광원을 제어하는 것을 특징으로 하는 깊이 영상 생성 장치.
삭제
삭제
제1항에 있어서,
상기 분할 영역은
상기 복수의 광원 각각에 대응되는 서브 분할 영역을 포함하고,
상기 복수의 광원 각각에서 생성된 도트 패턴의 조사광은
대응되는 서브 분할 영역으로 조사되는 것을 특징으로 하는 깊이 영상 생성 장치.
제4항에 있어서,
상기 서브 분할 영역은
대응되는 상기 복수의 광원 각각의 최대 발광량에 비례하는 면적을 가지는 것을 특징으로 하는 깊이 영상 생성 장치.
제4항에 있어서,
상기 제어부는
일 프레임 동안 상기 복수의 광원이 순차적으로 발광하도록 제어하고,
상기 서브 분할 영역의 위치 정보를 이용하여 각각 획득한 깊이 데이터를 병합하도록 상기 이미지 프로세서를 제어하는 것을 특징으로 하는 깊이 영상 생성 장치.
제6항에 있어서,
상기 제어부는
상기 오브젝트와의 거리 및 신호대비잡음비(Signal to Noise Ratio, SNR) 중 적어도 하나에 대응하여, 상기 복수의 광원의 발광량을 제어하는 것을 특징으로 하는 깊이 영상 생성 장치.
제4항에 있어서,
상기 제어부는
상기 오브젝트와의 거리 및 신호대비잡음비(Signal to Noise Ratio, SNR) 중 적어도 하나에 대응하여, 일 프레임 동안 상기 복수의 광원 중 동시에 발광하는 광원의 개수를 제어하는 것을 특징으로 하는 깊이 영상 생성 장치.
제8항에 있어서,
상기 제어부는
상기 복수의 광원 중 적어도 하나의 광원을 동시에 1회 발광하는 경우, 프레임 레이트를 증가하도록 상기 이미지 프로세서를 제어하는 것을 특징으로 하는 깊이 영상 생성 장치.
제4항에 있어서,
상기 제어부는
일 프레임 동안 상기 복수의 광원을 구분하여 2회 발광하도록 제어하고,
각각 획득한 깊이 데이터를 통해 HDR을 구현하도록 상기 이미지 프로세서를 제어하되,
상기 복수의 광원은 개수가 상이하게 구분되는 것을 특징으로 하는 깊이 영상 생성 장치.
제4항에 있어서,
상기 제어부는
N 프레임 및 N+1 프레임 각각에서 상기 복수의 광원의 발광량을 달리 제어하고,
각각 획득한 깊이 데이터를 통해 HDR을 구현하도록 상기 이미지 프로세서를 제어하는 것을 특징으로 하는 깊이 영상 생성 장치.
제1항에 있어서,
상기 제1 광학계는
상기 복수의 광원에서 조사된 빛을 평행광으로 집광하는 콜리메터 렌즈(collimator lens); 및
상기 평행광을 상기 도트 패턴으로 상기 오브젝트를 향해 조사하는 회절 광학 소자;를 포함하는 것을 특징으로 하는 깊이 영상 생성 장치.
제1항에 있어서,
상기 이미지 센서는
상기 도트 패턴에 대응되는 SPAD(Single Photon Avalanche Diode) 어레이 형태의 다중 배열 수신 소자를 포함하는 것을 특징으로 하는 깊이 영상 생성 장치.
제13항에 있어서,
상기 깊이 영상 생성 장치는
상기 도트 패턴의 반사광을 상기 다중 배열 수신 소자에 매칭하여 입사하는 제2 광학계를 더 포함하는 것을 특징으로 하는 깊이 영상 생성 장치.
제14항에 있어서,
상기 복수의 광원은
복수의 수직 공진 표면 발광 레이저(Vertical Cavity Surface Emitting Laser, VCSEL)인 것을 특징으로 하는 깊이 영상 생성 장치.
복수의 광원 중 적어도 하나를 이용하여 오브젝트를 향해 도트 패턴으로 분할 영역에 일대일 대응되도록 빛을 조사하고 1차 깊이 데이터를 획득하는 단계;
상기 1차 깊이 데이터를 통해 촬영 환경 및 상기 오브젝트의 거리 정보를 획득하는 단계; 및
상기 획득된 촬영 환경 및 거리 정보에 기초하여 상기 복수의 광원의 발광 패턴을 설정하는 단계;
상기 설정된 발광 패턴에 대응하여 2차 깊이 데이터를 획득하는 단계;를 포함하는 깊이 영상 생성 장치 제어 방법.
제16항에 있어서,
상기 깊이 영상 생성 장치 제어 방법은
상기 2차 깊이 데이터를 통해 획득한 촬영 환경 및 거리 정보에 기초하여 상기 설정된 발광 패턴을 변경하는 단계를 더 포함하는 것을 특징으로 하는 깊이 영상 생성 장치 제어 방법.