KR20230174621A

KR20230174621A - 깊이 맵 생성을 위한 전자 장치 및 그 동작 방법

Info

Publication number: KR20230174621A
Application number: KR1020220075778A
Authority: KR
Inventors: 세르히 콜리에브; 안드리 부기오브; 안드라이 히릴라; 안드라이 비군
Original assignee: 삼성전자주식회사
Priority date: 2022-06-21
Filing date: 2022-06-21
Publication date: 2023-12-28
Also published as: WO2023249384A1

Abstract

본 발명은 입력 데이터에 대응되는 깊이 맵(depth map)을 생성하는 방법을 제공한다. 본 개시의 일 실시예에 따른 방법은, 시간에 따라 달라지는 복수 개의 패턴들로 광을 타겟 대상물에 제공하는 단계, 광이 제공되는 타겟 대상물을 촬영하여 복수 개의 패턴들에 각각 대응되는 복수 개의 촬영 이미지들을 획득하는 단계, 복수 개의 촬영 이미지들을 전처리하여 입력 데이터를 획득하는 단계 및 입력 데이터에 기초하여 깊이 맵을 생성하는 단계를 포함한다.

Description

깊이 맵 생성을 위한 전자 장치 및 그 동작 방법{Electronic device for generating depth map and operating method for the same}

본 개시는 깊이 맵(depth map)을 생성하는 전자 장치 및 그 동작 방법에 관한 것이다. 구체적으로, 본 개시는 대상물의 이미지에 기초하여 대상물에 대응되는 깊이 맵을 생성하는 전자 장치 및 그 동작 방법에 관한 것이다.

영상을 기반으로 한 깊이 추정 기술은 로봇, 가상 현실, 증강 현실, 네비게이션, 자율 주행 등 다양한 분야에서 활용될 수 있다. 영상을 기반으로 한 깊이 추정 기술은 영상 정보를 통하여 거리를 측정하고, 측정한 거리를 토대로 깊이 맵(depth map)을 생성하는 기술이다. 영상의 거리는 라이다(LiDAR) 센서, 구조 광 센서(structured light sensor, SL sensor), ToF(Time-of-Flight) 센서 등과 같은 센서를 통해 획득될 수 있으며, 스테레오 매칭 알고리즘에 기반한 깊이 추정을 통해 양안 이미지로부터 생성될 수도 있다.

최근에는 딥러닝(deep learning)의 발전으로, 딥러닝에 기반하여 대상물을 단일 카메라로 촬영한 이미지로부터 거리를 측정하고, 깊이 맵을 생성할 수도 있다. 다만, 단일 카메라로부터 생성된 깊이 맵은 해상도가 낮을 수 있다.

이에 따라, 단일 카메라로 촬영한 대상물의 이미지로부터 높은 해상도의 깊이 맵을 생성하기 위한 구체적인 전자 장치 및 그 동작 방법을 제시하고자 한다.

본 개시는 광을 시간에 따라 달라지는 복수 개의 패턴으로 대상물에 제공하고, 시간에 따른 광의 변화가 반영되도록 대상물을 촬영한 이미지에 기초하여 대상물에 대한 해상도가 높은 깊이 맵을 생성하는 전자 장치 및 그 동작 방법을 제공한다.

상술한 기술적 과제를 해결하기 위하여 본 개시의 일 실시예는 입력 데이터에 대응되는 깊이 맵(depth map)을 생성하는 방법을 제공한다. 본 개시의 일 실시예에 따른 방법은, 시간에 따라 달라지는 복수 개의 패턴들로 광을 타겟 대상물에 제공하는 단계, 상기 광을 제공받은 상기 타겟 대상물을 촬영하여, 상기 복수 개의 패턴들에 각각 대응되는 복수 개의 촬영 이미지들을 획득하는 단계, 상기 복수 개의 촬영 이미지들을 전처리하여 상기 입력 데이터를 획득하는 단계 및 상기 입력 데이터에 기초하여 상기 깊이 맵을 생성하는 단계를 포함할 수 있다.

본 개시의 일 실시예에서 상기 복수 개의 패턴들 각각은 상기 광이 제공되는 영역인 발광 영역을 포함하며, 상기 발광 영역의 위치는 상기 시간에 따라 달라질 수 있다.

본 개시의 일 실시예에서 상기 복수 개의 패턴들 각각은 상기 광이 제공되는 영역인 발광 영역을 포함하며, 상기 발광 영역의 면적은 상기 시간에 따라 달라질 수 있다.

본 개시의 일 실시예에서 상기 복수 개의 패턴들 각각에서의 상기 광의 조도는 상기 시간에 따라 달라질 수 있다.

본 개시의 일 실시예에서 상기 방법은 상기 광을 제공하는 발광 장치를 촬영하여, 상기 복수 개의 패턴들에 각각 대응되는 복수 개의 조명 이미지들을 획득하는 단계를 더 포함하고, 상기 입력 데이터를 획득하는 단계에서는 상기 복수 개의 촬영 이미지들 및 상기 복수 개의 조명 이미지들을 전처리하여 상기 입력 데이터를 획득할 수 있다.

본 개시의 일 실시예에서 상기 방법은 상기 발광 장치의 특성 정보를 획득하는 단계를 더 포함하고, 상기 입력 데이터를 획득하는 단계에서는 상기 복수 개의 촬영 이미지들, 상기 복수 개의 조명 이미지들 및 상기 특성 정보를 전처리하여 상기 입력 데이터를 획득할 수 있다.

본 개시의 일 실시예에서 상기 특성 정보는 상기 발광 장치의 크기에 대한 정보를 포함할 수 있다.

본 개시의 일 실시예에서 상기 방법은 상기 타겟 대상물에 서브 광을 제공하는 단계 및 상기 서브 광을 제공하는 서브 발광 장치의 서브 특성 정보를 제공받는 단계를 더 포함하고, 상기 복수 개의 촬영 이미지들을 획득하는 단계에서는 상기 광 및 상기 서브 광을 제공받은 상기 타겟 대상물을 촬영하여 상기 복수 개의 촬영 이미지들을 획득하며, 상기 입력 데이터를 획득하는 단계에서는 상기 복수 개의 촬영 이미지들, 상기 복수 개의 조명 이미지들, 상기 특성 정보 및 상기 서브 특성 정보를 전처리하여 상기 입력 데이터를 획득할 수 있다.

본 개시의 일 실시예에서 상기 방법은 상기 타겟 대상물의 주변 조도의 세기와 임계 조도의 세기를 비교하는 단계를 더 포함하며, 상기 주변 조도의 세기가 상기 임계 조도의 세기보다 작거나 같은 경우에 상기 광을 상기 타겟 대상물에 제공하며, 상기 임계 조도는 상기 시간에 따라 달라지는 상기 복수 개의 패턴들의 변화가 반영된 상기 복수 개의 촬영 이미지들을 획득할 수 있는 최대 조도일 수 있다.

본 개시의 일 실시예에서 상기 깊이 맵을 생성하는 단계에서 상기 입력 데이터를 깊이 맵 생성 모듈에 제공하여 상기 깊이 맵을 생성하며, 상기 깊이 맵 생성 모듈은 오토 인코더(auto encoder)를 포함할 수 있다.

상술한 기술적 과제를 해결하기 위하여 본 개시의 다른 실시예는, 입력 데이터에 대응되는 깊이 맵(depth map)을 생성하기 위한 전자 장치를 제공한다. 본 개시의 일 실시예는, 시간에 따라 달라지는 복수 개의 패턴들로 광을 타겟 대상물에 제공하는 발광 장치, 상기 광을 제공받은 상기 타겟 대상물을 촬영하여 상기 복수 개의 패턴들에 각각 대응되는 복수 개의 촬영 이미지들을 획득하는 측정 장치, 하나 이상의 명령어들(instructions)을 저장하는 메모리 및 상기 메모리에 저장된 하나 이상의 명령어들을 실행하는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는 상기 복수 개의 촬영 이미지들을 전처리하여 상기 입력 데이터를 획득하고, 상기 입력 데이터에 기초하여 상기 깊이 맵을 생성할 수 있다.

상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 개시된 방법의 실시예들 중 적어도 하나의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1a는 본 개시의 일 실시예에 따른 발광 장치를 포함하는 전자 장치를 이용하여 깊이 맵(depth map)을 생성하는 방법을 설명하기 위한 개념도이다.
도 1b는 본 개시의 일 실시예에 따른 발광 장치를 포함하는 전자 장치를 설명하기 위한 블록도이다.
도 2a는 본 개시의 일 실시예에 따른 발광 장치 및 서브 발광 장치를 포함하는 전자 장치를 이용하여 깊이 맵(depth map)을 생성하는 방법을 설명하기 위한 개념도이다.
도 2b는 본 개시의 일 실시예에 따른 발광 장치 및 서브 발광 장치를 포함하는 전자 장치를 설명하기 위한 블록도이다.
도 3a는 본 개시의 일 실시예에 따른 시간에 따라 발광 영역의 위치가 달라지는 복수 개의 패턴들을 도시한 도면이다.
도 3b는 본 개시의 일 실시예에 따른 시간에 따라 발광 영역의 면적이 달라지는 복수 개의 패턴들을 도시한 도면이다.
도 3c는 본 개시의 일 실시예에 따른 시간에 따라 광의 조도가 달라지는 복수 개의 패턴들을 도시한 도면이다.
도 3d는 본 개시의 일 실시예에 따른 시간에 따라 발광 영역의 형태가 달라지는 복수 개의 패턴들을 도시한 도면이다.
도 4는 본 개시의 일 실시예에 따른 복수 개의 패턴들에 각각 대응되는 복수 개의 촬영 이미지들을 도시한 도면이다.
도 5a는 본 개시의 일 실시예에 따른 복수 개의 촬영 이미지들을 전처리하여 입력 데이터를 획득하는 이미지 전처리 모듈의 동작을 설명하기 위한 도면이다.
도 5b는 본 개시의 일 실시예에 따른 복수 개의 촬영 이미지들 및 복수 개의 조명 이미지들을 전처리하여 입력 데이터를 획득하는 이미지 전처리 모듈을 설명하기 위한 도면이다.
도 5c는 본 개시의 일 실시예에 따른 복수 개의 촬영 이미지들, 복수 개의 조명 이미지들 및 특성 정보를 전처리하여 입력 데이터를 획득하는 이미지 전처리 모듈을 설명하기 위한 도면이다.
도 5d는 본 개시의 일 실시예에 따른 복수 개의 촬영 이미지들, 복수 개의 조명 이미지들, 특성 정보 및 서브 특성 정보를 전처리하여 입력 데이터를 획득하는 이미지 전처리 모듈을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 깊이 맵(depth map) 생성 모듈의 동작을 설명하기 위한 도면이다.
도 7a는 본 개시의 일 실시예에 따른 복수 개의 촬영 이미지들 및 복수 개의 조명 이미지들을 전처리하여 생성한 입력 데이터에 기초하여 깊이 맵(depth map)을 생성하는 깊이 맵(depth map) 생성 모듈을 설명하기 위한 도면이다.
도 7b는 본 개시의 일 실시예에 따른 복수 개의 촬영 이미지들, 복수 개의 조명 이미지들 및 특성 정보를 전처리하여 생성한 입력 데이터에 기초하여 깊이 맵(depth map)을 생성하는 깊이 맵(depth map) 생성 모듈을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 깊이 맵(depth map) 생성 모듈의 네트워크 구조를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 깊이 맵(depth map) 생성 모듈의 학습 과정을 설명하기 위한 개념도이다.
도 10은 본 개시의 일 실시예에 따른 발광 장치를 포함하는 전자 장치를 이용하여 깊이 맵(depth map)을 생성하는 방법을 설명하기 위한 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 복수 개의 촬영 이미지들, 복수 개의 조명 이미지들 및 특성 정보를 전처리하여 획득한 입력 데이터에 기초하여 깊이 맵(depth map)을 생성하는 방법을 설명하기 위한 흐름도이다.
도 12는 본 개시의 일 실시예에 따른 발광 장치 및 서브 발광 장치를 포함하는 전자 장치를 이용하여 깊이 맵(depth map)을 생성하는 방법을 설명하기 위한 흐름도이다.
도 13은 본 개시의 일 실시예에 따른 입력 데이터에 대응되는 깊이 맵(depth map)을 생성하는 전자 장치의 동작을 설명하기 위한 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.

본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

또한, 본 개시에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

본 개시에서, '증강 현실 디바이스'는 증강 현실을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치 (HMD: Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다. 그러나, 이에 한정되는 것은 아니고, 증강 현실 디바이스는 모바일 디바이스, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크 탑, 태블릿 PC, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 캠코더, IPTV(Internet Protocol Television), DTV(Digital Television), 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다.

본 개시에서, '타겟 대상물'은 전자 장치를 이용하여 깊이 맵(depth map)을 생성하고자 하는 대상물을 의미한다. 타겟 대상물은 사용자가 전자 장치를 사용하는 주변 환경에 따라 달라질 수 있다. 타겟 대상물은, 전자 장치의 주변 환경 중 발광 장치를 통하여 광을 제공받고, 측정 장치를 통하여 촬영되는 환경 내에 위치한 대상물일 수 있다. 타겟 대상물은 적어도 하나 이상의 물체들을 포함할 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.

도 1a는 본 개시의 일 실시예에 따른 발광 장치를 포함하는 전자 장치를 이용하여 깊이 맵(depth map)을 생성하는 방법을 설명하기 위한 개념도이다.

도 1a를 참조하면, 일 실시예에 따른 전자 장치(100)는 타겟 대상물(200)에 광을 제공하고, 타겟 대상물(200)을 촬영할 수 있는 장치일 수 있다. 본 발명의 일 예로, 전자 장치(100)는 스마트폰, TV, 노트북, 증강 현실 디바이스 등의 장치일 수 있으나, 이에 한정되지 않는다.

일 실시예에서, 전자 장치(100)는 타겟 대상물(200)에 광을 제공하는 발광 장치(111), 타겟 대상물(200)을 촬영하는 측정 장치(120), 하나 이상의 명령어들(instructions)을 저장하는 메모리(130) 및 상기 메모리(130)에 저장된 하나 이상의 명령어들을 실행하는 프로세서(140)를 포함한다. 그러나, 도 1a에는 전자 장치(100)의 동작을 설명하기 위한 필수적인 구성만이 도시되었을 뿐, 전자 장치(100)가 포함하는 구성 요소가 도시된 바와 같이 한정되는 것은 아니다. 본 발명의 일 예로, 타겟 대상물(200)은 전자 장치(100)를 이용하여 깊이 맵을 생성하는 대상이 되는 대상물일 수 있다. 본 발명의 일 예로, 타겟 대상물(200)은 적어도 하나 이상의 물체들을 포함할 수 있다. 타겟 대상물(200)에 포함된 물체들의 배치 및 형상은 다양할 수 있다.

일 실시예에서, 발광 장치(111)는 시간에 따라 달라지는 복수 개의 패턴들(300, 도 3a 참조)로 광을 타겟 대상물(200)에 제공할 수 있다. 도 1a를 참조하면, 발광 장치(111)는 TV로 도시되고, 전자 장치(100)는 TV를 포함하는 전자 장치(100)로 도시되었으나, 이에 한정되지 않는다. 발광 장치(111)는 프로젝터(projector), 모니터, 조명, 발광 소자 등의 광을 제공하는 장치일 수 있다. 또한, 전자 장치(100)가 TV일 경우, 발광 장치(111)는 TV에 포함된 디스플레이 장치에 대응될 수도 있다. 또한, 전자 장치(100)가 스마트폰일 경우, 발광 장치(111)는 스마트폰에 포함된 화면에 대응될 수도 있다. 발광 장치(111)를 통해 타겟 대상물(200)에 제공되는 광은 시간에 따라 달라지는 복수 개의 패턴들(300)을 갖는다. 따라서, 발광 장치(111)로부터 제공된 광에 의해 생성되는 타겟 대상물(200)의 그림자의 형상은 상기한 복수 개의 패턴들(300)에 대응하여 시간에 따라 달라질 수 있다.

일 실시예에서, 각각의 패턴들(300)은 광을 제공하는 발광 영역(DA) 및 광을 제공하지 않는 비발광 영역(NDA)을 포함할 수 있다. 복수 개의 패턴들(300)에 각각 포함된 광이 제공되는 발광 영역(DA)의 위치가 시간에 따라 달라지는 경우, 타겟 대상물(200)의 그림자의 형상은 발광 영역(DA)의 위치 변화에 대응하여 달라질 수 있다.

일 실시예에서, 복수 개의 패턴들(300)에 각각 포함된 광이 제공되는 발광 영역(DA)의 면적이 시간에 따라 달라지는 경우, 타겟 대상물(200)의 그림자의 형상은 발광 영역(DA)의 면적 변화에 대응하여 달라질 수 있다. 또한, 발광 장치(111)로부터 타겟 대상물(200)에 제공되는 광의 조도(illumination) 또한 상기한 복수 개의 패턴들(300)에 대응하여 시간에 따라 달라질 수 있다.

일 실시예에서, 복수 개의 패턴들(300)에 각각 포함된 광의 조도(illumination)가 시간에 따라 달라지는 경우, 타겟 대상물(200)의 그림자의 형상은 광의 조도 변화에 대응하여 달라질 수 있다. 본 개시의 일 실시예로, 복수 개의 패턴들(300)에 각각 포함된 광의 파장이 시간에 따라 달라지는 경우, 타겟 대상물(200)의 그림자의 형상은 광의 파장 변화에 대응하여 달라질 수 있다. 여기서, 그림자의 형상이란, 그림자가 형성되는 위치, 그림자의 크기, 그림자의 모양 등을 포함할 수 있다. 일 실시예에서, 발광 장치(111)로부터 타겟 대상물(200)에 제공되는 광의 조도(illuminance)가 시간에 따라 달라지는 경우, 타겟 대상물(200)의 휘도(luminance)는 광의 조도 변화에 대응하여 달라질 수 있다.

일 실시예에서, 타겟 대상물(200)에는 적어도 하나 이상의 물체가 포함될 수 있다. 타겟 대상물(200)에 포함된 각각의 물체들과 발광 장치(111) 간의 거리에 따라 광의 복수 개의 패턴들(300)에 대응하는 각 물체들의 그림자의 형상 및 각 물체들의 휘도가 달라질 수 있다. 본 개시의 일 예로, 발광 장치(111)로부터 가까운 거리에 위치한 물체의 그림자의 형상 및 휘도의 변화는 발광 장치(111)로부터 먼 거리에 위치한 물체의 그림자의 형상 및 휘도의 변화보다 클 수 있다.

일 실시예에서, 측정 장치(120)는 타겟 대상물(200)을 촬영하여 복수 개의 촬영 이미지들(400, 도 4 참조)를 획득할 수 있다. 측정 장치(120)는 타겟 대상물(200)에 대한 RGB 이미지를 획득하는 제1 카메라(미도시)를 포함할 수 있다. 일 실시예에서, 제1 카메라는 RGB 카메라를 포함할 수 있다. 또한, 측정 장치(120)는 타겟 대상물(200)에 대한 깊이 이미지(depth image)를 획득하는 제2 카메라(미도시)를 포함할 수도 있다. 깊이 이미지는 측정 장치(120)로부터 타겟 대상물(200)까지의 거리를 나타내는 깊이 정보와 관련된 데이터를 포함할 수 있다. 일 실시예에서, 제2 카메라는 Time-of-Flight 카메라를 포함할 수 있다. 일 실시예에서, 측정 장치(120)는 RGB 이미지 및 깊이 이미지(depth image)를 획득하는 제3 카메라(미도시)를 포함할 수 있다. 제3 카메라는 RGB-Depth 카메라를 포함할 수 있다. 다만, 일 실시예에서, 측정 장치(120)는 제1 카메라 만을 포함할 수도 있다.

측정 장치(120)는 발광 장치(111)로부터 시간에 따라 달라지는 복수 개의 패턴들(300)의 광을 제공받은 타겟 대상물(200)을 촬영하여, 복수 개의 패턴들(300)에 각각 대응되는 복수 개의 촬영 이미지들(400)을 획득할 수 있다.

일 실시예에서, 복수 개의 촬영 이미지들(400) 각각에 포함된 타겟 대상물(200)의 그림자의 형상은 서로 다를 수 있다. 예를 들어, 시간에 따라 달라지는 복수 개의 패턴들(300)로 제공되는 광에 대응하여 타겟 대상물(200)의 그림자의 형상은 달라지고, 복수 개의 촬영 이미지들(400) 각각은 서로 다른 패턴을 갖는 광에 의하여 생성된 타겟 대상물(200)의 그림자를 포함할 수 있다. 또한, 일 실시예에서, 시간에 따라 달라지는 복수 개의 패턴들(300)로 제공되는 광에 대응하여 타겟 대상물(200)에 제공되는 광의 조도는 달라지고, 복수 개의 촬영 이미지들(400) 각각에 포함된 타겟 대상물(200)의 휘도는 서로 다를 수 있다.

일 실시예에서, 발광 장치(111)가 n개의 패턴들을 갖는 광을 타겟 대상물(200)에 제공하는데 걸리는 시간을 한 주기라고 할 때, 측정 장치(120)는 한 주기동안 타겟 대상물(200)을 촬영하여 n개의 패턴들에 각각 대응되는 n개의 촬영 이미지들을 획득할 수 있다. n개의 촬영 이미지들 각각에 포함된 타겟 대상물(200)의 그림자의 형상 및 휘도는 각 패턴의 광에 대응되는 것일 수 있다. 이때, n은 자연수일 수 있다.

일 실시예에서, 전자 장치(100)는 발광 장치(111)를 촬영하는 조명 측정 장치(미도시)를 더 포함할 수도 있다. 조명 측정 장치는 광을 제공하는 발광 장치(111)를 촬영하여 복수 개의 패턴들(300)에 각각 대응되는 복수 개의 조명 이미지들(320, 도 5b 참조)을 획득할 수 있다.

일 실시예에서, 조명 측정 장치는 전자 장치(100)와 별개의 장치일 수 있다. 예를 들어, 조명 측정 장치를 통하여 전자 장치(100)에 포함된 발광 장치(111)를 촬영하여 획득한 조명 이미지들(320)을 전자 장치(100)에 제공할 수도 있다. 이때, 조명 측정 장치를 통하여 발광 장치(111)를 촬영하는 단계는 측정 장치(120)를 통하여 타겟 대상물(200)을 촬영하는 단계 이전에 이루어질 수 있다. 다만, 본 개시는 이에 제한되지 않고, 조명 측정 장치를 통하여 발광 장치(111)를 촬영하는 단계와 측정 장치(120)를 통하여 타겟 대상물(200)을 촬영하는 단계는 동시에 이루어질 수도 있다. 또한, 일 실시예에서, 통신 인터페이스(150)를 통하여 외부의 서버나 주변의 전자 장치들로부터 기 촬영된 복수 개의 조명 이미지들(320)을 제공받을 수 있다.

일 실시예에서, 메모리(130)에는 프로세서(140)가 판독할 수 있는 명령어들(instructions), 알고리즘(algorithm), 데이터 구조, 프로그램 코드(program code) 및 어플리케이션 프로그램(application program) 중 적어도 하나가 저장될 수 있다. 본 개시의 실시예들에서, 프로세서(140)가 수행하는 동작들은 메모리(130)에 저장된 명령어들, 데이터 구조 또는 프로그램 코드들을 실행함으로서 구현될 수 있다. 메모리(130)에는 측정 장치(120)로 획득한 복수 개의 촬영 이미지들(400)을 토대로 입력 데이터(500, 도 6 참조)를 획득하고, 입력 데이터(500)에 기초하여 깊이 맵(600, 도 6 참조)을 생성하기 위한 명령어들, 알고리즘(algorithm), 데이터 구조, 프로그램 코드 및 어플리케이션 프로그램(application program) 중 적어도 하나가 저장될 수 있다.

일 실시예에서, 프로세서(140)는 전자 장치(100)를 전반적으로 제어할 수 있다. 일 실시예에서, 프로세서(140)는 메모리(130)에 저장되는 하나 이상의 명령어들 또는 프로그램 코드를 실행하고, 명령어들 또는 프로그램 코드에 대응되는 기능 및/또는 동작을 수행할 수 있다. 프로세서(140)는 메모리(130)에 저장된 하나 이상의 명령어들 또는 프로그램을 실행함으로써, 발광 장치(111) 및 측정 장치(120) 등을 전반적으로 제어할 수 있다. 프로세서(140)는 측정 장치(120)를 통해 획득된 복수 개의 촬영 이미지들(400)을 전처리하여 입력 데이터(500)를 획득할 수 있다. 프로세서(140)는 입력 데이터(500)에 기초하여 깊이 맵(600)을 생성할 수 있다. 도 1a를 참조하면, 전자 장치(100)에는 하나의 프로세서(140)가 포함된 것으로 도시되었으나, 본 개시는 이에 한정되지 않는다. 전자 장치(100)는 두 개 이상의 프로세서들을 포함할 수 있고, 그 중 적어도 하나의 프로세서를 이용하여 깊이 맵을 생성할 수도 있다.

도 1b는 본 개시의 일 실시예에 따른 발광 장치를 포함하는 전자 장치를 설명하기 위한 블록도이다.

도 1b를 참조하면, 일 실시예에 따른 전자 장치(100)는 발광 장치(111), 측정 장치(120), 메모리(130), 프로세서(140) 및 통신 인터페이스(150)를 포함할 수 있다. 발광 장치(111), 측정 장치(120), 메모리(130), 프로세서(140) 및 통신 인터페이스(150)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다. 이하, 도 1a에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다.

메모리(130)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 메모리(130)에는 전자 장치(100)의 기능 또는 동작들을 수행하기 위한 명령어들 또는 프로그램 코드가 저장될 수 있다. 메모리(130)에는 전자 장치(100)의 기능 또는 동작들을 수행하기 위한 명령어들 또는 프로그램 코드가 저장될 수 있다. 메모리(130)에 저장되는 명령어들, 알고리즘, 데이터 구조, 프로그램 코드 및 애플리케이션 프로그램은 예를 들어, C,　C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.

일 실시예에서, 메모리(130)에는 입력 데이터(500, 도 6 참조)에 기초하여 깊이 맵(600, 도 6 참조)을 생성하는데 이용될 수 있는 다양한 종류의 모듈들이 저장될 수 있다. 메모리(130)에는 발광 제어 모듈(131), 측정 제어 모듈(132), 이미지 전처리 모듈(133) 및 깊이 맵 생성 모듈(134)이 저장될 수 있다. 메모리(130)에 포함되는 '모듈'은 프로세서(140)에 의해 수행되는 기능이나 동작을 처리하는 단위를 의미하고, 이는 명령어들, 알고리즘, 데이터 구조, 또는 프로그램 코드와 같은 소프트웨어로 구현될 수 있다.

일 실시예에서, 발광 제어 모듈(131)은 발광 장치(111)가 시간에 따라 달라지는 복수 개의 패턴들(300, 도 3a 참조)로 광을 타겟 대상물(200, 도 1a 참조)에 제공하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성된다. 발광 제어 모듈(131)에 대한 설명은 도 3a 내지 도 3d에 대한 설명에서 후술하도록 한다.

일 실시예에서, 측정 제어 모듈(132)은 측정 장치(120)가 발광 장치(111)로부터 광을 제공받은 타겟 대상물(200)을 촬영하여, 복수 개의 패턴들(300)에 각각 대응되는 복수 개의 촬영 이미지(400, 도 4 참조)를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성된다. 측정 제어 모듈(132)에 대한 설명은 도 4에 대한 설명에서 후술하도록 한다.

일 실시예에서, 이미지 전처리 모듈(133)은 복수 개의 촬영 이미지들(400)을 전처리하여 입력 데이터(500a, 도 5a 참조)을 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성된다. 일 실시예에서, 이미지 전처리 모듈(133)은 복수 개의 촬영 이미지들(400) 및 복수 개의 조명 이미지들(320, 도 5b 참조)을 전처리하여 입력 데이터(500b, 도 5b 참조)를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 이미지 전처리 모듈(133)은 복수 개의 촬영 이미지들(400), 복수 개의 조명 이미지들(320) 및 발광 장치(111)의 특성 정보(CI, 도 5c 참조)을 전처리하여 입력 데이터(500c)를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 이미지 전처리 모듈(133)에 대한 설명은 도 5a 내지 도 5c에 대한 설명에서 후술하도록 한다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 입력 데이터(500)에 기초하여 깊이 맵(600)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성된다. 일 실시예에서, 깊이 맵 생성 모듈(134)은 인공지능(Artificial Intelligence) 모델일 수 있다. 일 실시예에서, 깊이 맵 생성 모듈(134)은 오토 인코더(auto encoder) 모델을 포함할 수 있다. 깊이 맵 생성 모듈(134)의 동작 및 학습에 대한 설명은 도 6 내지 도 9에 대한 설명에서 후술하도록 한다. 이하의 실시예에서, 전자 장치(100)의 동작은 프로세서(140)가 메모리(130)에 포함된 모듈들을 실행함으로써 구현될 수 있다.

프로세서(140)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), 애플리케이션 프로세서(Application Processor, AP), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays) 및 뉴럴 프로세서(Neural Processing Unit) 또는 인공지능 모델(Artificial Intelligence, AI)의 학습 및 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.

일 실시예에서, 통신 인터페이스(150)는 프로세서(140)의 제어에 의해 외부의 서버(미도시)와 데이터 통신을 수행할 수 있다. 또한, 통신 인터페이스(150)는 외부의 서버뿐 아니라, 다른 주변 전자 장치들(미도시)과도 데이터 통신을 수행할 수 있다. 통신 인터페이스(150)는 예를 들어, 유선 랜, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), 적외선 통신(IrDA, infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신을 포함하는 데이터 통신 방식 중 적어도 하나를 이용하여 서버 또는 다른 주변 전자 장치들과 데이터 통신을 수행할 수 있다. 일 실시예에 따른 통신 인터페이스(150)는 입력 데이터(500)에 기초하여 깊이 맵(600)을 생성하기 위한 데이터를 외부의 서버 또는 주변의 전자 장치들과 송수신할 수 있다. 일 실시예에서, 통신 인터페이스(150)는 입력 데이터(500)에 기초하여 깊이 맵(600)을 생성하기 위하여 학습된 깊이 맵 생성 모듈(134)을 외부의 서버 또는 주변의 전자 장치들로부터 수신할 수도 있다.

도 2a는 본 개시의 일 실시예에 따른 발광 장치 및 서브 발광 장치를 포함하는 전자 장치를 이용하여 깊이 맵(depth map)을 생성하는 방법을 설명하기 위한 개념도이다.

도 2a를 참조하면, 전자 장치(100a)는 발광 모듈(110), 타겟 대상물(200)을 촬영하는 측정 장치(120), 하나 이상의 명령어들(instructions)을 저장하는 메모리(130a) 및 상기 메모리(130a)에 저장된 하나 이상의 명령어들을 실행하는 프로세서(140a)를 포함한다. 이하, 도 1a에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다.

일 실시예에서, 발광 모듈(110)은 타겟 대상물(200)에 광을 제공하는 발광 장치(111) 및 타겟 대상물(200)에 서브 광을 제공하는 서브 발광 장치(112)를 포함하는 발광 모듈(110)을 포함한다. 일 실시예에서, 발광 장치(111)는 TV, 모니터, 휴대폰 디스플레이 등을 포함할 수 있다.

일 실시예에서, 서브 발광 장치(112)는 발광 장치(111)와 타겟 대상물(200)이 포함된 공간 내에 배치될 수 있다. 서브 발광 장치(112)는 타겟 대상물(200)에게 서브 광을 제공할 수 있다. 일 실시예에서, 서브 발광 장치(112)는 조명(illuminator, 112a), 램프(lamp, 112b) 등을 포함할 수 있다. 또한, 서브 발광 장치(112)는 광원을 포함하는 냉장고, 오븐, 전자레인지 등의 가전 제품을 포함할 수도 있다. 일 실시예에서, 서브 발광 장치(112)는 타겟 대상물(200)에 서브 광을 제공하거나, 또는 제공하지 않는 동작을 수행할 수 있다. 서브 발광 장치(112)는 발광 장치(111)와 달리, 시간과 관계없이 일정한 패턴의 서브 광을 타겟 대상물(200)에 제공할 수 있다. 이 경우, 복수 개의 패턴들(300, 도 3a 참조)로 제공되는 광 및 일정한 패턴으로 제공되는 서브 광에 의하여, 타겟 대상물(200)의 그림자의 형상 및 타겟 대상물(200)의 휘도는 시간에 따라 달라질 수 있다.

일 실시예에서, 서브 발광 장치(112)는 사물 인터넷(internet of things)으로 연결된 조명, 램프 또는 가전 제품일 수도 있다. 서브 발광 장치(112)가 제공하는 서브 광 또한 시간에 따라 달라지는 복수 개의 패턴들로 타겟 대상물(200)에 제공될 수 있다. 이 경우, 복수 개의 패턴들로 각각 제공되는 광 및 서브 광에 의하여, 타겟 대상물(200)의 그림자의 형상 또는 타겟 대상물(200)의 휘도는 시간에 따라 달라질 수 있다. 이때, 발광 장치(111)가 광을 제공하는 복수 개의 패턴들(300)과 서브 발광 장치(112)가 서브 광을 제공하는 복수 개의 패턴들은 서로 다른 패턴일 수 있다. 도 2a를 참조하면, 발광 모듈(110)은 두 개의 서브 발광 장치들(112a, 112b)을 포함하는 것으로 도시되었으나, 본 개시는 이에 한정되지 않는다. 발광 모듈(110)은 하나의 서브 발광 장치를 포함하거나, 혹은 세 개 이상의 서브 발광 장치들을 포함할 수도 있다. 발광 모듈(110)이 발광 장치(111) 외에 서브 발광 장치(112)를 포함하는 경우, 타겟 대상물(200)에 제공되는 광 및 서브 광에 의하여 타겟 대상물(200)의 그림자의 형상 및 휘도의 변화가 다양해질 수 있다. 이를 토대로 후술할 깊이 맵 생성 모듈(134, 도 1a 참조)가 생성하는 깊이 맵(600, 도 6 참조)의 해상도가 높아질 수 있다.

일 실시예로, 측정 장치(120)는 발광 장치(111)로부터 광을 제공받고, 서브 발광 장치(112)로부터 서브 광을 제공받은 타겟 대상물(200)을 촬영하여, 복수 개의 촬영 이미지들(400, 도 4 참조)을 획득할 수 있다.

도 2b는 본 개시의 일 실시예에 따른 발광 장치 및 서브 발광 장치를 포함하는 전자 장치를 설명하기 위한 블록도이다.

도 2b를 참조하면, 일 실시예에 따른 전자 장치(100a)는 발광 모듈(110), 측정 장치(120), 메모리(130a), 프로세서(140a) 및 통신 인터페이스(150)를 포함할 수 있다. 발광 모듈(110), 측정 장치(120), 메모리(130a), 프로세서(140a) 및 통신 인터페이스(150)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다. 이하, 도 1b에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다.

일 실시예에서, 발광 모듈(110)은 타겟 대상물(200, 도 2a 참조)에 광을 제공하는 발광 장치(111) 및 타겟 대상물(200)에 서브 광을 제공하는 서브 발광 장치(112)를 포함한다.

일 실시예에서, 메모리(130a)에는 발광 제어 모듈(131a), 측정 제어 모듈(132a), 이미지 전처리 모듈(133a) 및 깊이 맵 생성 모듈(134a)이 저장될 수 있다

일 실시예에서, 메모리(130a)에 저장된 발광 제어 모듈(131a)은 발광 모듈(110)의 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성된다. 발광 제어 모듈(131a)은 발광 장치(111) 및 서브 발광 장치(112)의 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.

일 실시예에서, 메모리(130a)에 저장된 측정 제어 모듈(132a)은 측정 장치(120)가 광 및 서브 광을 제공받은 타겟 대상물(200)을 촬영하여, 복수 개의 촬영 이미지(400, 도 4 참조)를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.

일 실시예에서, 메모리(130a)에 저장된 이미지 전처리 모듈(133a)은 촬영 이미지들(400)을 전처리하여 입력 데이터(500a, 도 5a 참조)을 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 이미지 전처리 모듈(133a)은 복수 개의 촬영 이미지들(400), 복수 개의 조명 이미지들(320, 도 5b 참조) 및 서브 발광 장치(112)를 촬영하여 획득한 서브 조명 이미지를 전처리하여 입력 데이터를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 이미지 전처리 모듈(133a)은 복수 개의 촬영 이미지들(400), 복수 개의 조명 이미지들(320), 발광 장치(111)의 특성 정보(CI, 도 5d 참조) 및 서브 발광 장치(112)의 서브 특성 정보(SCI, 도 5d 참조)를 전처리하여 입력 데이터(500d, 도 5d 참조)를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성된다.

일 실시예에서, 깊이 맵 생성 모듈(134a)은 입력 데이터(500)에 기초하여 깊이 맵(600)을 생성하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성된다.

도 3a는 본 개시의 일 실시예에 따른 시간에 따라 발광 영역의 위치가 달라지는 복수 개의 패턴들을 도시한 도면이다.

도 1a 및 도 3a를 참조하면, 발광 장치(111)는 시간에 따라서 발광 영역(DA)의 위치가 달라지는 복수 개의 패턴들(300)로 타겟 대상물(200)에 광을 제공할 수 있다. 일 실시예에서, 복수 개의 패턴들(300)은 발광 영역(DA)의 위치가 시간의 경과에 따라 수평 방향으로 이동하는 제1 패턴들(310a) 및 발광 영역(DA)의 위치가 시간의 경과에 따라 수직 방향으로 이동하는 제2 패턴들(310b)을 포함한다.

일 실시예에서, 하나의 제1 패턴(311a)은 수직 방향으로 연장된 제1 발광 영역(DA_a) 및 제1 발광 영역(DA_a)과 인접한 제1 비발광 영역(NDA_a)을 포함한다. 제1 발광 영역(DA_a)은 시간의 경과에 따라 수평 방향으로 이동한다. 따라서 발광 장치(111)가 제1 패턴들(310a)로 광을 타겟 대상물(200)에 제공할 경우, 타겟 대상물(200)의 그림자는 제1 발광 영역(DA_a)의 위치 변화에 대응하여 시간에 따라 수평 방향으로 이동하며 형성될 수 있다.

일 실시예에서, 타겟 대상물(200)이 적어도 하나의 물체들을 포함할 때, 발광 장치(111)와 각 물체들간의 거리에 따라 각 물체들의 그림자가 시간에 따라 수평 방향으로 이동하는 정도가 다를 수 있다. 발광 장치(111)와 가까운 거리에 있는 물체의 그림자가 시간에 따라 수평 방향으로 이동하는 정도는 발광 장치(111)와 먼 거리에 있는 물체의 그림자가 시간에 따라 수평 방향으로 이동하는 정도보다 클 수 있다.

일 실시예에서, 하나의 제2 패턴(311b)은 수평 방향으로 연장된 제2 발광 영역(DA_b) 및 제2 발광 영역(DA_b)과 인접한 제2 비발광 영역(NDA_b)을 포함한다. 하나의 제2 패턴(311b)에 포함된 제2 발광 영역(DA_b)은 시간의 경과에 따라 수직 방향으로 이동한다. 따라서 발광 장치(111)가 제2 패턴들(310b)로 광을 타겟 대상물(200)에 제공할 경우, 타겟 대상물(200)의 그림자는 제2 발광 영역(DA_b)의 위치 변화에 대응하여 시간에 따라 수직 방향으로 이동하며 형성될 수 있다.

일 실시예에서, 타겟 대상물(200)이 적어도 하나의 물체들을 포함할 때, 발광 장치(111)와 각 물체들간의 거리에 따라 각 물체들의 그림자가 시간에 따라 수직 방향으로 이동하는 정도가 다를 수 있다. 발광 장치(111)와 가까운 거리에 있는 물체의 그림자가 시간에 따라 수직 방향으로 이동하는 정도는 발광 장치(111)와 먼 거리에 있는 물체의 그림자가 시간에 따라 수직 방향으로 이동하는 정도보다 클 수 있다.

도 3a를 참조하면, 복수 개의 패턴들(300)은 제1 패턴들(310a) 및 제2 패턴들(310b)을 포함하는 것으로 도시되어 있으나, 본 개시는 이에 한정되지 않는다. 복수 개의 패턴들(300)은 제1 패턴들(310a) 및 제2 패턴들(310b) 중 어느 하나의 패턴들 만을 포함할 수도 있다. 또한, 복수 개의 패턴들(300)은 발광 영역의 위치가 시간의 경과에 따라 수평 방향 또는 수직 방향과 교차하는 방향으로 이동하는 패턴들을 포함할 수도 있다.

도 3b는 본 개시의 일 실시예에 따른 시간에 따라 발광 영역의 면적이 달라지는 복수 개의 패턴들을 도시한 도면이다.

도 1a 및 도 3b를 참조하면, 발광 장치(111)는 시간에 따라서 발광 영역(DA)의 면적이 달라지는 복수 개의 패턴들(300)로 타겟 대상물(200)에 광을 제공할 수 있다. 복수 개의 패턴들(300)은 발광 영역(DA)의 면적이 시간의 경과에 따라 달라지는 제3 패턴들을 포함한다. 일 실시예에서, 하나의 제3 패턴(312)은 수평 방향으로 연장된 제3 발광 영역(DA_c) 및 제3 발광 영역(DA_c)에 인접한 제3 비발광 영역(NDA_c)을 포함한다. 제3 발광 영역(DA_c)의 면적은 시간의 경과에 따라 달라진다. 예를 들어, 제3 발광 영역(DA_c)의 면적은 시간의 경과에 따라 커진다. 도 3b를 참조하면, 제3 발광 영역(DA_c)은 수평 방향으로 연장된 형상을 가지고, 시간에 따라 제3 발광 영역(DA_c)의 형상이 수직 방향으로 커지는 것이 도시되어 있으나, 본 개시는 이에 한정되지 않는다. 복수 개의 패턴들(300)은 각각 수직 방향으로 연장된 형상을 가지고, 시간에 따라 수평 방향으로 커지는 형상을 가지는 발광 영역(DA)을 포함할 수도 있다.

일 실시예에서, 복수 개의 패턴들(300)은 시간에 따라 발광 영역(DA)의 형상이 수직 방향으로 달라지는 패턴들 및 시간에 따라 발광 영역(DA)의 형상이 수평 방향으로 달라지는 패턴들을 포함할 수도 있다. 일 실시예에서, 복수 개의 패턴들(300)에 포함된 발광 영역(DA)은 특정 형상, 예를 들어 사각형, 삼각형, 사다리꼴, 원형 등의 형상을 가지고, 시간에 따라 그 형상의 크기가 달라질 수도 있다. 발광 장치(111)가 시간에 따라 발광 영역(DA)의 면적이 달라지는 복수 개의 패턴들(300)로 타겟 대상물(200)에 광을 제공하는 경우, 타겟 대상물(200)의 그림자의 형상은 발광 영역(DA)의 면적 변화에 대응하여 달라질 수 있다.

일 실시예에서, 타겟 대상물(200)이 적어도 하나의 물체들을 포함할 때, 발광 장치(111)와 각 물체들간의 거리에 따라 각 물체들의 그림자의 형상이 시간에 따라 변하는 정도가 다를 수 있다. 발광 장치(111)와 가까운 거리에 있는 물체의 그림자의 형상이 시간에 따라 변하는 정도는 발광 장치(111)와 먼 거리에 있는 물체의 그림자의 형상이 시간에 따라 변하는 정도보다 클 수 있다.

도 3c는 본 개시의 일 실시예에 따른 시간에 따라 광의 조도가 달라지는 복수 개의 패턴들을 도시한 도면이다.

도 1a 및 도 3c를 참조하면, 발광 장치(111)는 시간에 따라서 광의 조도가 달라지는 복수 개의 패턴들(300)로 타겟 대상물(200)에 광을 제공할 수 있다. 복수 개의 패턴들(300)은 시간에 따라 광의 조도가 달라지는 제4 패턴들을 포함한다.

일 실시예에서, 하나의 제4 패턴(313)은 제4 발광 영역(DA_d) 및 제4 발광 영역에 인접한 제4 비발광 영역(NDA_d)을 포함한다. 도 3c에는 제4 발광 영역(DA_d)이 원형의 형상을 갖는 것으로 도시되어 있지만, 본 개시는 이에 한정되지 않는다. 제4 발광 영역(DA_d)은 사각형 등의 다각 형상을 가질 수도 있다. 또한, 하나의 제4 패턴(313)은 제4 비발광 영역(NDA_d)을 포함하지 않을 수도 있다. 하나의 제4 패턴(313)은 모두 광을 제공하는 발광 영역일 수도 있다. 제4 발광 영역(DA_d)에서 제공되는 광의 조도는 시간에 따라 달라질 수 있다.

일 실시예에서, 제4 발광 영역(DA_d)에서 제공되는 광의 조도는 시간의 경과에 따라 커질 수 있다. 발광 장치(111)가 시간에 따라 광의 조도가 커지는 복수 개의 패턴들(300)로 타겟 대상물(200)에 광을 제공하는 경우, 타겟 대상물(200)의 그림자의 형상은 광의 조도 변화에 대응하여 달라질 수 있다.

일 실시예에서, 발광 장치(111)가 타겟 대상물(200)에 제공하는 광의 조도가 시간의 경과에 따라 커질 경우, 타겟 대상물(200)의 그림자의 형상도 시간의 경과에 따라 커질 수 있다. 일 실시예에서, 타겟 대상물(200)이 적어도 하나의 물체들을 포함할 때, 발광 장치(111)와 각 물체들간의 거리에 따라 각 물체들의 그림자의 형상이 시간에 따라 변하는 정도가 다를 수 있다. 발광 장치(111)와 가까운 거리에 있는 물체의 그림자의 형상이 시간에 따라 변하는 정도는 발광 장치(111)와 먼 거리에 있는 물체의 그림자의 형상이 시간에 따라 변하는 정도보다 클 수 있다. 또한, 발광 장치(111)가 시간에 따라 광의 조도가 커지는 복수 개의 패턴들(300)로 타겟 대상물(200)에 광을 제공하는 경우, 타겟 대상물(200)의 휘도는 광의 조도 변화에 대응하여 달라질 수 있다.

일 실시예에서, 발광 장치(111)가 타겟 대상물(200)에 제공하는 광의 조도가 시간의 경과에 따라 커질 경우, 타겟 대상물(200)의 휘도도 시간의 경과에 따라 커질 수 있다. 일 실시예에서, 타겟 대상물(200)이 적어도 하나의 물체들을 포함할 때, 발광 장치(111)와 각 물체들간의 거리에 따라 각 물체들의 휘도가 시간에 따라 변하는 정도가 다를 수 있다. 발광 장치(111)와 가까운 거리에 있는 물체의 휘도가 시간에 따라 변하는 정도는 발광 장치(111)와 먼 거리에 있는 물체의 휘도가 시간에 따라 변하는 정도보다 클 수 있다.

도 3d는 본 개시의 일 실시예에 따른 시간에 따라 발광 영역의 형태가 달라지는 복수 개의 패턴들을 도시한 도면이다.

도 1a 및 도 3d를 참조하면, 발광 장치(111)는 시간에 따라서 발광 영역(DA)의 형태가 달라지는 복수 개의 패턴들(300)로 타겟 대상물(200)에 광을 제공할 수 있다. 복수 개의 패턴들(300)은 발광 영역(DA)의 형태가 시간에 따라 달라지는 제5 패턴들을 포함한다.

일 실시예에서, 하나의 제5 패턴(314)은 제5 발광 영역(DA_e) 및 제5 발광 영역에 인접한 제5 비발광 영역(NDA_e)을 포함한다. 제5 발광 영역(DA_e)의 형태는 시간의 경과에 따라 달라진다. 도 3d를 참조하면, 제5 발광 영역(DA_e)의 형태는 시간에 따라 크기가 달라지는 원형 형상 및 시간에 따라 크기가 달라지는 사각 형상을 포함한다. 다만, 본 개시는 이에 한정되지 않는다. 복수 개의 패턴들(300)은 시간에 따라 원형, 사각형, 삼각형, 사다리꼴 등의 다양한 형태로 변하는 발광 영역(DA)을 포함할 수도 있고, 이때, 각 형태들의 크기도 변할 수도 있다.

일 실시예에서, 발광 장치(111)가 시간에 따라 발광 영역(DA)의 형태가 달라지는 복수 개의 패턴들(300)로 타겟 대상물(200)에 광을 제공하는 경우, 타겟 대상물(200)의 그림자의 형상은 발광 영역(DA)의 형태 변화에 대응하여 달라질 수 있다.

일 실시예에서, 발광 장치(111)가 시간에 따라 발광 영역(DA)의 형태가 달라지는 복수 개의 패턴들(300)로 타겟 대상물(200)에 광을 제공하는 경우, 타겟 대상물(200)의 휘도는 발광 영역(DA)의 형태 변화에 대응하여 달라질 수 있다. 일 실시예에서, 타겟 대상물(200)이 적어도 하나의 물체들을 포함할 때, 발광 장치(111)와 각 물체들간의 거리에 따라 각 물체들의 휘도가 시간에 따라 변하는 정도가 다를 수 있다. 발광 장치(111)와 가까운 거리에 있는 물체의 휘도가 시간에 따라 변하는 정도는 발광 장치(111)와 먼 거리에 있는 물체의 휘도가 시간에 따라 변하는 정도보다 클 수 있다.

일 실시예에서, 조명 측정 장치를 통하여 발광 장치(111)를 촬영하여 복수 개의 패턴들(300)에 각각 대응되는 복수 개의 조명 이미지들(320, 도 5b 참조)을 획득할 수 있다. 복수 개의 조명 이미지들(320)을 통하여, 발광 장치(111)가 타겟 대상물(200)에 제공하는 광의 패턴을 확인할 수 있다. 일 실시예에서, 전자 장치(100)는 통신 인터페이스(150, 도 1b 참조)를 통하여 외부의 서버나 주변의 전자 장치들로부터 기 촬영된 복수 개의 조명 이미지들(320)을 제공받을 수 있다. 이 경우, 발광 제어 모듈(131)은 제공 받은 복수 개의 조명 이미지들(320)을 토대로 발광 장치(111)가 타겟 대상물(200)에 광을 제공하도록 하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수도 있다.

일 실시예에서, 발광 제어 모듈(131, 도 1b 참조)은 도 3a 내지 도 3d에 도시된 것과 같이, 발광 장치(111)가 시간에 따라 달라지는 복수 개의 패턴들(300)로 광을 타겟 대상물(200)에 제공하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성된다. 다만, 본 개시는 이에 제한되지 않고, 발광 제어 모듈(131)은 발광 장치(111)가 시간의 경과에 따라 타겟 대상물(200)의 그림자의 형상 변화 또는 타겟 대상물(200)의 휘도 변화를 생기게 할 수 있는 다양한 복수 개의 패턴들(300)로 광을 타겟 대상물(200)에 제공하도록 할 수 있다.

도 4는 본 개시의 일 실시예에 따른 복수 개의 패턴들에 각각 대응되는 복수 개의 촬영 이미지들을 도시한 도면이다.

도 1a, 3a 및 도 4를 참조하면, 측정 장치(120)는 발광 장치(111)에 의해 복수 개의 패턴을 갖는 광을 제공받은 타겟 대상물(200)을 촬영하여, 복수 개의 패턴들에 각각 대응되는 복수 개의 촬영 이미지들(400)을 획득할 수 있다. 이하, 도 1a 및 도 3a에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다.

도 4에는 발광 장치(111)가 시간에 따라서 발광 영역(DA)의 위치가 달라지는 복수 개의 패턴들(300)로 타겟 대상물(200)에 광을 제공하는 것이 도시되어 있다. 일 실시예에서, 복수 개의 패턴들(300)은 제1 패턴들(310a) 및 제2 패턴들(310b)을 포함한다. 발광 장치(111)가 제1 패턴들(310a) 및 제2 패턴들(310b)을 갖는 광을 타겟 대상물(200)에 제공하는데 걸리는 시간을 한 주기라고 할 때, 측정 장치(120)는 한 주기동안 타겟 대상물(200)을 촬영하여 제1 패턴들(310a) 및 제2 패턴들(310b)에 각각 대응하는 복수 개의 촬영 이미지들(400)을 획득할 수 있다.

일 실시예에서, 복수 개의 촬영 이미지들(400)은 제1 패턴들(310a)에 각각 대응하는 제1 촬영 이미지들(410a) 및 제2 패턴들(310b)에 각각 대응하는 제2 촬영 이미지들(410b)을 포함한다.

일 실시예에서, 제1 패턴들(310a) 각각에 포함된 제1 발광 영역(DA_a)의 위치가 달라지는 것에 대응하여, 제1 촬영 이미지들(410a) 각각에 포함된 타겟 대상물(200)의 그림자 형상 및 타겟 대상물(200)의 휘도가 달라질 수 있다.

일 실시예에서, 제1 패턴들(310a) 중 제1 발광 영역(DA_a)이 좌측 끝단에 위치하는 패턴을 제1 서브 패턴(311a_1)이라 지칭한다. 제1 패턴들(310a) 중 제1 발광 영역(DA_a)이 중앙부에 위치하는 패턴을 제2 서브 패턴(311a_2)이라 지칭한다. 제1 패턴들(310a) 중 제1 발광 영역(DA_a)이 우측 끝단에 위치하는 패턴을 제3 서브 패턴(311a_3)이라 지칭한다. 제1 촬영 이미지들(410a) 중 제1 서브 패턴(311a_1)에 대응하는 이미지를 제1 서브 촬영 이미지(411a_1)라 지칭한다. 제1 촬영 이미지들(410a) 중 제2 서브 패턴(311a_2)에 대응하는 이미지를 제2 서브 촬영 이미지(411a_2)라 지칭한다. 제1 촬영 이미지들(410a) 중 제3 서브 패턴(311a_3)에 대응하는 이미지를 제3 서브 촬영 이미지(411a_3)라 지칭한다.

일 실시예에서, 발광 장치(111)가 제1 서브 패턴(311a_1)으로 광을 타겟 대상물(200)에 제공할 때, 제1 서브 촬영 이미지(411a_1)에 포함된 타겟 대상물(200)의 그림자는 우측으로 연장된 형상을 가진다. 또한, 제1 서브 촬영 이미지(411a_1)에 포함된 타겟 대상물(200)의 좌측 부분의 휘도가, 타겟 대상물(200)의 중앙 부분 또는 우측 부분의 휘도보다 높다. 발광 장치(111)가 제2 서브 패턴(311a_2)으로 광을 타겟 대상물(200)에 제공할 때, 제2 서브 촬영 이미지(411a_2)에 포함된 타겟 대상물(200)의 그림자는 중앙으로 연장된 형상을 가진다. 또한, 제2 서브 촬영 이미지(411a_2)에 포함된 타겟 대상물(200)의 중앙 부분의 휘도가, 타겟 대상물(200)의 좌측 부분 또는 우측 부분의 휘도보다 높다. 발광 장치(111)가 제3 서브 패턴(311a_3)으로 광을 타겟 대상물(200)에 제공할 때, 제3 서브 촬영 이미지(411a_3)에 포함된 타겟 대상물(200)의 그림자는 좌측으로 연장된 형상을 가진다. 또한, 제3 서브 촬영 이미지(411a_3)에 포함된 타겟 대상물(200)의 우측 부분의 휘도가, 타겟 대상물(200)의 좌측 부분 또는 중앙 부분의 휘도보다 높다.

일 실시예에서, 제2 패턴들(310b) 각각에 포함된 제2 발광 영역(DA_b)의 위치가 달라지는 것에 대응하여, 제2 촬영 이미지들(410b) 각각에 포함된 타겟 대상물(200)의 그림자 형상 및 타겟 대상물(200)의 휘도가 달라질 수 있다.

일 실시예에서, 2 패턴들(310b) 중 제2 발광 영역(DA_b)이 하측 끝단에 위치하는 패턴을 제4 서브 패턴(311b_1)이라 지칭한다. 제2 패턴들(310a) 중 제2 발광 영역(DA_b)이 중앙부에 위치하는 패턴을 제5 서브 패턴(311b_2)이라 지칭한다. 제2 패턴들(310b) 중 제2 발광 영역(DA_b)이 상측 끝단에 위치하는 패턴을 제6 서브 패턴(311b_3)이라 지칭한다. 제2 촬영 이미지들(410b) 중 제4 서브 패턴(311b_1)에 대응하는 이미지를 제4 서브 촬영 이미지(411b_1)라 지칭한다. 제2 촬영 이미지들(410b) 중 제5 서브 패턴(311b_2)에 대응하는 이미지를 제5 서브 촬영 이미지(411b_2)라 지칭한다. 제2 촬영 이미지들(410b) 중 제6 서브 패턴(311b_3)에 대응하는 이미지를 제6 서브 촬영 이미지(411b_3)라 지칭한다.

일 실시예에서, 발광 장치(111)가 제4 서브 패턴(311b_1)으로 광을 타겟 대상물(200)에 제공할 때, 제4 서브 촬영 이미지(411b_1)에 포함된 타겟 대상물(200)의 그림자는 상측으로 연장된 형상을 가진다. 또한, 제4 서브 촬영 이미지(411b_1)에 포함된 타겟 대상물(200)의 하측 부분의 휘도가, 타겟 대상물(200)의 중앙 부분 또는 우측 부분의 휘도보다 높다. 발광 장치(111)가 제5 서브 패턴(311b_2)으로 광을 타겟 대상물(200)에 제공할 때, 제5 서브 촬영 이미지(411b_2)에 포함된 타겟 대상물(200)의 그림자는 중앙으로 연장된 형상을 가진다. 또한, 제5 서브 촬영 이미지(411b_2)에 포함된 타겟 대상물(200)의 중앙 부분의 휘도가, 타겟 대상물(200)의 좌측 부분 또는 우측 부분의 휘도보다 높다. 발광 장치(111)가 제6 서브 패턴(311b_3)으로 광을 타겟 대상물(200)에 제공할 때, 제6 서브 촬영 이미지(411b_3)에 포함된 타겟 대상물(200)의 그림자는 하측으로 연장된 형상을 가진다. 또한, 제6 서브 촬영 이미지(411b_3)에 포함된 타겟 대상물(200)의 상측 부분의 휘도가, 타겟 대상물(200)의 하측 부분 또는 중앙 부분의 휘도보다 높다.

도 4에는 발광 장치(111)가 제1 패턴들(310a) 및 제2 패턴들(310b)로 타겟 대상물(200)에 광을 제공할 때의 복수 개의 촬영 이미지들(400)만이 도시되어 있지만, 본 개시는 이에 한정되지 않는다. 일 실시예에서, 측정 장치(120)는 발광 장치(111)가 제3 내지 제5 패턴들 또는, 시간에 따라 달라지는 다른 패턴들로 타겟 대상물(200)에 광을 제공할 때 대응되는 복수 개의 촬영 이미지들(400)을 획득할 수도 있다.

일 실시예에서, 측정 제어 모듈(132, 도 1b 참조)은 도 4에 도시된 것과 같이, 측정 장치(120)가 복수 개의 패턴들(300)에 각각 대응되는 복수 개의 촬영 이미지들(400)을 획득하도록 하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성된다. 다만, 본 개시는 이에 제한되지 않고, 측정 제어 모듈(132)은 발광 장치(111)가 광을 제공하는 다양한 복수 개의 패턴들(300)에 대응하여 발생하는 타겟 대상물(200)의 그림자의 형상 변화 또는 타겟 대상물(200)의 휘도 변화가 포함된 복수 개의 촬영 이미지들(400)을 획득하도록 할 수 있다.

도 5a는 본 개시의 일 실시예에 따른 복수 개의 촬영 이미지들을 전처리하여 입력 데이터를 획득하는 이미지 전처리 모듈의 동작을 설명하기 위한 도면이다.

도 1b 및 도 5a를 참조하면, 이미지 전처리 모듈(133)은 복수 개의 촬영 이미지들(400)을 전처리(preprocessing)하여 입력 데이터(500a)를 획득한다. 일 실시예에서, 이미지 전처리 모듈(133)은 깊이 맵 생성 모듈(134)에서 깊이 맵(600, 도 7a 참조)을 생성할 때 사용하기 위하여 복수 개의 촬영 이미지들(400)을 전처리하여 입력 데이터(500a)를 획득한다.

일 실시예에서, 이미지 전처리 모듈(133)은 복수 개의 촬영 이미지들(400)을 재구성(wrangling), 변환(transformation), 통합(integration) 등을 하는 과정을 거쳐서 입력 데이터(500a)를 획득한다. 일 실시예에서, 깊이 맵 생성 모듈(134)이 인공지능 모델로 구성될 경우, 이미지 전처리 모듈(133a)은 복수 개의 촬영 이미지들(400)을 전처리하여 인공지능 모델의 학습을 위한 에포크(epoch) 및 배치(batch)를 설정한 입력 데이터(500a)를 획득할 수 있다. 도 5a에는 이미지 전처리 모듈(133)이 복수 개의 촬영 이미지들(400)을 전처리하여, 복수 개의 전처리 촬영 이미지들(510)을 포함하는 입력 데이터(500a)를 획득하는 것이 도시되어 있다.

도 5b는 본 개시의 일 실시예에 따른 복수 개의 촬영 이미지들 및 복수 개의 조명 이미지들을 전처리하여 입력 데이터를 획득하는 이미지 전처리 모듈을 설명하기 위한 도면이다.

도 1b, 4 및 도 5b를 참조하면, 이미지 전처리 모듈(133)에 복수 개의 촬영 이미지들(400) 및 복수 개의 조명 이미지들(320)이 제공될 수 있다. 일 실시예에서, 복수 개의 촬영 이미지들(400)은 각각 복수 개의 조명 이미지들(320)에 대응될 수 있다. 일 실시예에서, 이미지 전처리 모듈(133)은 복수 개의 촬영 이미지들(400) 및 복수 개의 조명 이미지들(320)을 전처리하여 입력 데이터(500b)를 획득한다.

일 실시예에서, 입력 데이터(500b)는 복수 개의 전처리 촬영 이미지들(510) 및 복수 개의 전처리 조명 이미지들(520)을 포함한다. 복수 개의 전처리 촬영 이미지들(510)은 각각 복수 개의 전처리 조명 이미지들(520)에 대응될 수 있다.

도 5c는 본 개시의 일 실시예에 따른 복수 개의 촬영 이미지들, 복수 개의 조명 이미지들 및 특성 정보를 전처리하여 입력 데이터를 획득하는 이미지 전처리 모듈을 설명하기 위한 도면이다.

도 1a, 1b 및 도 5c를 참조하면, 이미지 전처리 모듈(133)에 복수 개의 촬영 이미지들(400), 복수 개의 조명 이미지들(320) 및 발광 장치(111)에 대한 정보를 포함하는 특성 정보(CI)가 제공될 수 있다 일 실시예에서, 특성 정보(CI)는 발광 장치(111)의 크기에 대한 정보를 포함할 수 있다. 다만, 본 개시는 이에 제한되지 않는다. 특성 정보(CI)는 발광 장치(111)가 배치된 위치에 대한 정보, 발광 장치(111)와 타겟 대상물(200) 간의 거리에 대한 정보, 발광 장치(111)의 형태에 관한 정보, 발광 장치(111)가 제공하는 광의 조도에 관한 정보, 발광 장치(111)가 제공하는 광의 방향에 대한 정보 등을 포함할 수도 있다.

일 실시예에서, 특성 정보(CI)가 발광 장치(111)의 크기에 대한 정보를 포함할 때, 발광 장치(111)가 TV이면 특성 정보(CI)는 발광 장치(111)의 가로 길이(WD1) 및 세로 길이(WD2)의 정보를 포함할 수 있다. 다만, 본 개시는 이에 한정되지 않는다. 발광 장치(111)가 TV 외에도 사각 형상을 갖는 장치인 경우에는, 특성 정보(CI)는 발광 장치(111)의 가로 길이(WD1) 및 세로 길이(WD2)의 정보를 포함할 수 있다. 일 실시예에서, 발광 장치(111)가 둥근 형상을 갖는 장치인 경우에는, 특성 정보(CI)는 발광 장치(111)의 반지름 등의 정보를 포함할 수 있다. 이미지 전처리 모듈(133)은 복수 개의 촬영 이미지들(400), 복수 개의 조명 이미지들(320) 및 특성 정보(CI)를 전처리하여 입력 데이터(500c)를 획득한다.

일 실시예에서, 입력 데이터(500c)는 복수 개의 전처리 촬영 이미지들(510), 복수 개의 전처리 조명 이미지들(520) 및 전처리 특성 정보(530)를 포함할 수 있다.

도 5d는 본 개시의 일 실시예에 따른 복수 개의 촬영 이미지들, 복수 개의 조명 이미지들, 특성 정보 및 서브 특성 정보를 전처리하여 입력 데이터를 획득하는 이미지 전처리 모듈을 설명하기 위한 도면이다.

도 1a, 1b 및 도 5d를 참조하면, 이미지 전처리 모듈(133)에 복수 개의 촬영 이미지들(400), 복수 개의 조명 이미지들(320), 특성 정보(CI) 및 서브 발광 장치(112)에 대한 정보를 포함하는 서브 특성 정보(SCI)가 제공될 수 있다. 이하, 도 5c에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다.

일 실시예에서, 특성 정보(CI)는 발광 장치(111)의 크기에 대한 정보를 포함할 수 있다.

일 실시예에서, 서브 특성 정보(SCI)는 서브 발광 장치(112)가 배치된 위치에 대한 정보, 서브 발광 장치(112)와 타겟 대상물(200) 간의 거리에 대한 정보, 서브 발광 장치(112)의 형태에 관한 정보, 서브 발광 장치(112)가 제공하는 광의 조도에 관한 정보, 서브 발광 장치(112)가 제공하는 광의 방향에 대한 정보, 서브 발광 장치(112)의 개수 등에 대한 정보를 포함할 수도 있다.

일 실시예에서, 이미지 전처리 모듈(133)은 복수 개의 촬영 이미지들(400), 복수 개의 조명 이미지들(320), 특성 정보(CI) 및 서브 특성 정보(SCI)를 전처리하여 입력 데이터(500d)를 획득한다.

일 실시예에서, 입력 데이터(500d)는 복수 개의 전처리 촬영 이미지들(510), 복수 개의 전처리 조명 이미지들(520), 전처리 특성 정보(530) 및 전처리 서브 특성 정보(540)를 포함할 수 있다.

도 6은 본 개시의 일 실시예에 따른 깊이 맵(depth map) 생성 모듈의 동작을 설명하기 위한 도면이다.

도 5a 내지 도 5d 및 도 6을 참조하면, 깊이 맵 생성 모듈(134)은 입력 데이터(500)에 기초하여 깊이 맵(depth map, 600)을 생성한다. 깊이 맵 생성 모듈(134)은 입력 데이터(500)에 기초하여, 측정 장치(120, 도 1a 참조)로부터 타겟 대상물(200, 도 1a 참조)의 표면까지의 거리와 관련된 정보를 포함하는 깊이 맵(600)을 생성한다.

일 실시예에서, 측정 장치(120)가 발광 장치(111, 도 1a 참조)와 동일 선상에 위치할 경우, 깊이 맵(600)은 발광 장치(111)와 타겟 대상물(200)의 표면까지의 거리와 관련된 정보를 포함할 수 있다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 입력 데이터(500)에 포함된 복수 개의 전처리 촬영 이미지들(510) 내에 존재하는 각 픽셀들과 측정 장치(120)간의 거리를 서로 비교하여, 각 픽셀들과 측정 장치(120)간의 거리를 상대적으로 나타낸 깊이 맵(600)을 생성한다. 복수 개의 전처리 촬영 이미지들(510)은 시간에 따라 달라지는 복수 개의 패턴들(300, 도 3a 참조)로 제공되는 광에 대응하여 달라지는 타겟 대상물(200)의 그림자 및 휘도에 대한 정보를 포함한다.

일 실시예에서, 타겟 대상물(200)에 복수 개의 물체들이 포함될 수 있다. 각각의 물체들과 발광 장치(111)간의 거리 및 각 물체의 형상이 서로 다를 경우, 발광 장치(111)에서 제공되는 광의 패턴 변화에 대응하여 타겟 대상물(200)의 그림자 형상 및 휘도가 변하는 정도가 달라질 수 있다. 따라서, 복수 개의 전처리 촬영 이미지들(510) 내에 존재하는 각 픽셀들과 측정 장치(120)간의 거리 계산의 정확도가 높아질 수 있다. 따라서, 종래의 타겟 대상물(200)에 제공되는 광의 패턴 변화 없이 촬영된 촬영 이미지를 토대로 생성한 종래 깊이 맵의 해상도와 비교하여 본 개시의 전처리 촬영 이미지들(510)을 토대로 생성한 깊이 맵의 해상도가 높을 수 있다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 복수 개의 전처리 촬영 이미지들(510) 및 복수 개의 전처리 조명 이미지들(520)을 토대로 깊이 맵(600)을 생성할 수 있다. 이 경우, 깊이 맵 생성 모듈(134)은 깊이 맵(600)을 생성할 때 타겟 대상물(200)에 제공되는 광의 패턴 변화를 정확히 반영할 수 있어, 해상도가 높은 깊이 맵(600)을 생성할 수 있다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 복수 개의 전처리 촬영 이미지들(510), 복수 개의 전처리 조명 이미지들(520) 및 전처리 특성 정보(530)를 토대로 깊이 맵(600)을 생성할 수 있다. 이 경우, 깊이 맵 생성 모듈(134)은 깊이 맵(600)을 생성할 때 발광 장치(111)의 특성, 예를 들어 발광 장치(111)의 크기, 발광 장치(111)의 위치, 발광 장치(111)의 형태, 발광 장치(111)가 제공하는 광의 조도 및 발광 장치(111)와 타겟 대상물(200) 간의 거리 등을 추가로 반영할 수 있어, 해상도가 높은 깊이 맵(600)을 생성할 수 있다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 복수 개의 전처리 촬영 이미지들(510), 복수 개의 전처리 조명 이미지들(520), 전처리 특성 정보(530) 및 전처리 서브 특성 정보(540)를 토대로 깊이 맵(600)을 생성할 수 있다. 이 경우, 깊이 맵 생성 모듈(134)은 깊이 맵(600)을 생성할 때 서브 발광 장치(112)의 특성, 예를 들어 서브 발광 장치(112)의 크기, 서브 발광 장치(112)의 위치, 서브 발광 장치(112)의 형태, 서브 발광 장치(112)가 제공하는 광의 조도 및 서브 발광 장치(112)와 타겟 대상물(200) 간의 거리 등을 추가로 반영할 수 있어, 해상도가 높은 깊이 맵(600)을 생성할 수 있다.

도 7a는 본 개시의 일 실시예에 따른 복수 개의 촬영 이미지들 및 복수 개의 조명 이미지들을 전처리하여 생성한 입력 데이터에 기초하여 깊이 맵(depth map)을 생성하는 깊이 맵(depth map) 생성 모듈을 설명하기 위한 도면이다.

도 5b, 6 및 도 7a를 참조하면, 깊이 맵 생성 모듈(134)은 복수 개의 전처리 촬영 이미지들(510) 및 복수 개의 전처리 조명 이미지들(520)을 포함하는 입력 데이터(500b)에 기초하여 깊이 맵(600a)을 생성할 수 있다.

일 실시예에서, 복수 개의 전처리 촬영 이미지들(510)은 각각 복수 개의 전처리 조명 이미지들(520)에 대응된다. 깊이 맵 생성 모듈(134)은 복수 개의 전처리 조명 이미지들(520)에 포함된 발광 영역(DA_a, 도 4 참조)의 위치가 변경되는 것에 대응하여 타겟 대상물(200, 도 1a 참조)의 그림자의 형상 및 휘도의 크기가 달라지는 것을 포함하는 복수 개의 전처리 촬영 이미지들(510)에 기초하여 해상도가 높은 깊이 맵(600a)을 생성할 수 있다.

도 7b는 본 개시의 일 실시예에 따른 복수 개의 촬영 이미지들, 복수 개의 조명 이미지들 및 특성 정보를 전처리하여 생성한 입력 데이터에 기초하여 깊이 맵(depth map)을 생성하는 깊이 맵(depth map) 생성 모듈을 설명하기 위한 도면이다.

도 5c, 6 및 도 7b를 참조하면, 깊이 맵 생성 모듈(134)은 복수 개의 전처리 촬영 이미지들(510), 복수 개의 전처리 조명 이미지들(520) 및 전처리 특성 정보(530)를 포함하는 입력 데이터(500c)에 기초하여 깊이 맵(600b)을 생성할 수 있다. 도 7b에는 전처리 특성 정보(530)가 발광 장치(111, 도 1a 참조)의 크기에 대한 정보를 포함하는 것으로 도시되어 있으나, 본 개시는 이에 한정되지 않는다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 발광 영역(DA_a, 도 4 참조)의 위치 변경에 따른 타겟 대상물(200, 도 1a 참조)의 그림자의 형상 및 휘도의 크기의 변화 및 발광 장치(111)의 특성 정보에 기초하여 해상도가 높은 깊이 맵(600b)을 생성할 수 있다.

도 8은 본 개시의 일 실시예에 따른 깊이 맵(depth map) 생성 모듈의 구조를 설명하기 위한 도면이다.

도 8을 참조하면, 깊이 맵 생성 모듈(134)은 인공지능 모델을 포함할 수 있다. 본 개시의 일 실시예로, 깊이 맵 생성 모듈(134)은 머신 러닝(machine learning) 또는 딥 러닝(deep learning) 모델을 포함할 수 있다. 도 8을 참조하면, 깊이 맵 생성 모듈(134)은 오토 인코더(auto encoder)로 구성되는 것이 도시되어 있다. 다만, 본 발명은 이에 제한되지 않고, 깊이 맵 생성 모듈(134)은 입력 데이터(500c)에 기초하여 깊이 맵(600b)을 생성할 수 있는 생성 모델(generative model), 예를 들어 GAN(generative adversarial networks), VAE(variational auto encoder) 등으로 구성될 수도 있다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 인코더(encoder, 135) 및 디코더(decoder, 136)를 포함한다.

일 실시예에서, 인코더(135)는 적어도 하나의 신경망 레이어들을 포함할 수 있다. 각각의 신경망 레이어들은 컨볼루션(convolution) 연산을 수행하는 적어도 하나 이상의 컨볼루션 레이어(convolution layer, 135_a), 입력된 데이터를 토대로 활성화 여부를 판단하는 적어도 하나 이상의 액티베이션 함수(activation function, 135_b) 및 특징 값을 추출하는 적어도 하나 이상의 풀링 레이어(pooling layer, 135_c)를 포함할 수 있다.

일 실시예에서, 디코더(decoder, 136)는 복수 개의 신경망 레이어들을 포함할 수 있다. 각각의 신경망 레이어들은 추출된 특징 값을 토대로 원본 데이터를 획득하는 적어도 하나 이상의 언풀링 레이어(unpooling layer, 136_a), 디컨볼루션(deconvolution) 연산을 수행하는 적어도 하나 이상의 디컨볼루션 레이어(deconvolution layer, 136_b) 및 입력된 데이터를 토대로 활성화 여부를 판단하는 적어도 하나 이상의 액티베이션 함수(activation function, 136_c)을 포함할 수 있다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 입력 데이터(500c)를 제공받아 깊이 맵(600b)을 생성할 수 있다. 본 개시의 일 실시예로, 입력 데이터(500c)는 복수 개의 전처리 촬영 이미지들(510), 복수 개의 전처리 조명 이미지들(520) 및 전처리 특성 정보(530)를 포함할 수 있다. 깊이 맵 생성 모듈(134)은 복수 개의 전처리 조명 이미지들(520)에 기초하여 시간에 따라 패턴을 달리하여 타겟 대상물(200, 도 1a 참조)에 제공되는 광에 대한 정보를 얻을 수 있다. 일 실시예에서, 깊이 맵 생성 모듈(134)은 복수 개의 전처리 촬영 이미지들(510)에 기초하여 시간에 따라 패턴을 달리하여 제공되는 광에 대응하여 변하는 타겟 대상물(200)의 그림자의 형상 및 휘도에 대한 정보를 얻을 수 있다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 전처리 특성 정보(530)에 기초하여 발광 장치(111, 도 1a 참조)의 크기에 대한 정보를 얻을 수 있다. 깊이 맵 생성 모듈(134)은 광원과 물체 사이의 거리가 가까울수록 광원에서 제공되는 광의 패턴 변화에 따른 물체의 그림자 형상 변화가 커지는 것을 이용하여 타겟 대상물(200)의 깊이 맵(600b)을 생성할 수 있다. 또한, 깊이 맵 생성 모듈(134)은 광원과 물체 사이의 거리가 가까울수록 광원에서 제공되는 광의 패턴 변화에 따른 물체의 휘도 변화가 큰 것을 이용하여 타겟 대상물(200)의 깊이 맵(600b)을 생성할 수 있다.

일 실시예에서, 타겟 대상물(200)이 복수 개의 물체를 포함할 때, 깊이 맵 생성 모듈(134)은 제공되는 광의 변화에 따른 그림자의 형상 변화가 큰 물체가 그림자의 형상 변화가 작은 물체보다 측정 장치(120)로부터 가까이 배치되어 있다는 정보를 얻을 수 있다. 깊이 맵 생성 모듈(134)은 휘도가 높은 물체가, 휘도가 낮은 물체보다 측정 장치(120)로부터 가까이 배치되어 있다는 정보를 얻을 수 있다. 또한, 깊이 맵 생성 모듈(134)은 제공되는 광의 변화에 따른 휘도 변화가 큰 물체가, 휘도 변화가 작은 물체보다 측정 장치(120)로부터 가까이 배치되어 있다는 정보를 얻을 수 있다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 상기한 정보들을 인코더(135)를 이용하여 추출하고, 이를 기반으로 디코더(136)를 이용하여 해상도가 높은 타겟 대상물(200)의 깊이 맵(600b)을 생성할 수 있다.

일 실시예에서, 측정 장치(120)가 RGB 카메라를 포함할 경우, 복수 개의 전처리 촬영 이미지들(510)은 타겟 대상물(200)의 RGB 이미지를 포함할 수 있다. 이 경우, 복수 개의 전처리 촬영 이미지들(510) 각각은 R, G, B 픽셀별로 타겟 대상물(200)의 크기에 대응되는 가로 및 세로 픽셀의 데이터를 포함한다.

일 실시예에서, 복수 개의 전처리 조명 이미지들(520)은 휘도를 나타내는 그레이 계열의 발광 영역(DA, 도 1a 참조) 및 비발광 영역(NDA, 도 1a 참조)에 대응되는 가로 및 세로 픽셀의 데이터를 포함할 수 있다. 전처리 특성 정보(530)는 발광 장치(111)의 가로 및 세로 크기의 데이터를 포함할 수 r있다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 입력 데이터(500c)에 기초하여 깊이 정보를 포함하고, 타겟 대상물(200)의 크기에 대응되는 가로 및 세로 픽셀의 데이터를 포함하는 깊이 맵(600b)을 생성한다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 타겟 대상물(200)을 촬영한 이미지를 토대로 깊이 맵(600b)을 생성하기 위하여 학습 데이터셋(training dataset)에 기초하여 학습된(trained) 오토 인코더일 수 있다.

일 실시예에서, 학습 데이터셋은 본 개시의 전자 장치(100)에 의해 획득되는 복수 개의 촬영 이미지들(400)로 이루어진 데이터셋일 수 있다. 학습 데이터셋은 본 개시의 전자 장치(100)에 의해 획득되는 복수 개의 촬영 이미지들(400, 도 5b 참조) 및 복수 개의 조명 이미지들(320, 도 5b 참조)로 이루어진 데이터셋일 수 있다. 학습 데이터셋은 본 개시의 복수 개의 촬영 이미지들(400), 복수 개의 조명 이미지들(320) 및 특성 정보(CI)를 포함하는 데이터셋일 수 있다. 또한, 본 개시의 일 실시예로, 학습 데이터셋은 본 개시의 전자 장치(100)에 의해 획득되는 입력 데이터(500c)를 포함하는 데이터셋일 수 있다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 학습 데이터셋을 이용하여 타겟 대상물(200)을 촬영한 이미지로부터 깊이 맵(600b)을 생성하는 것을 학습(training)할 수 있다. 깊이 맵 생성 모듈(134)은 학습 데이터셋을 이용하여 인코더(135) 및 디코더(136)의 가중치(weight)를 업데이트 할 수 있다. 일 실시예에서, 깊이 맵 생성 모듈(134)은 학습 데이터를 이용하여 인코더(135) 및 디코더(136)의 가중치를 업데이트 하는 과정을 복수 번 반복할 수 있다.

일 실시예에서, 깊이 맵 생성 모듈(134)의 학습을 위한 각각의 배치(batch)는 복수 개의 전처리 조명 이미지들(520) 및 복수 개의 전처리 촬영 이미지들(510)을 포함할 수 있다. 본 개시의 일 실시예로, 깊이 맵 생성 모듈(134)은 학습 데이터셋을 이용하여 깊이 맵(600b)을 생성하는 것을 학습하기 위하여, 사전 학습 모델을 이용한 전이 학습(transfer learning)을 할 수 있다. 일 실시예에서, 사전 학습 모델은 DenseNet169 혹은 ResNet50 등을 이용할 수 있다. 깊이 맵 생성 모듈(134)은 사전 학습 모델을 이용하여 학습 데이터를 분석함으로써 깊이 맵 생성 모듈(134)에 포함되는 인공지능 모델의 손실 함수(loss function)을 계산할 수 있다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 손실 함수의 손실 값에 기초하여 인코더(135) 및 디코더(136)의 가중치를 업데이트 할 수 있다. 다만, 본 발명은 이에 한정되지 않고, 깊이 맵 생성 모듈(134)은 학습 데이터셋을 이용하여 기 학습된 인공지능 모델을 외부의 서버 또는 주변의 전자 장치들로부터 수신할 수도 있다.

도 9는 본 개시의 일 실시예에 따른 깊이 맵(depth map) 생성 모듈의 학습 과정을 설명하기 위한 개념도이다.

도 9를 참조하면, 타겟 대상물(200)을 촬영한 촬영 이미지(700) 및 인공지능 모델의 학습 수준을 설명하기 위한 제1 깊이맵(600_1), 제2 깊이맵(600_2), 제3 깊이맵(600_3) 및 제4 깊이 맵(600_4)이 도시되어 있다. 촬영 이미지(700)를 참조하면, 타겟 대상물(200)은 서로 측정 장치(120)으로부터 다른 위치에 배치되고, 형상을 달리하는 복수 개의 물체들을 포함한다.

일 실시예에서, 촬영 이미지(700)는 인접하게 배치된 물체들을 포함한 제1 영역(AA) 및 사진 상으로 구분되기 힘든 작은 물체들을 포함하는 제2 영역(BB)을 포함한다.

일 실시예에서, 제1 깊이 맵(600_1)은 발광 장치(111, 도 1a 참조)가 시간과 무관하게 일정한 하나의 패턴으로 광을 제공하고, 측정 장치(120)가 해당 광을 제공받은 타겟 대상물(200)을 촬영하여 얻은 복수 개의 촬영 이미지들(400)을 토대로 j번 학습을 반복한 깊이 맵 생성 모듈(134)이 생성한 깊이 맵이다.

일 실시예에서, 제2 깊이 맵(600_2)은 발광 장치(111)가 시간에 따라 달라지는 k개의 패턴으로 광을 제공하고, 측정 장치(120)가 해당 광을 제공받은 타겟 대상물(200)을 촬영하여 얻은 복수 개의 촬영 이미지들(400)을 토대로 j번 학습을 반복한 깊이 맵 생성 모듈(134)이 생성한 깊이 맵이다.

일 실시예에서, 제3 깊이 맵(600_3)은 발광 장치(111)가 시간에 따라 달라지는 l개의 패턴으로 광을 제공하고, 측정 장치(120)가 해당 광을 제공받은 타겟 대상물(200)을 촬영하여 얻은 복수 개의 촬영 이미지들(400)을 토대로 j번 학습을 반복한 깊이 맵 생성 모듈(134)이 생성한 깊이 맵이다.

일 실시예에서, 제4 깊이 맵(600_4)은 발광 장치(111)가 시간에 따라 달라지는 l개의 패턴으로 광을 제공하고, 측정 장치(120)가 해당 광을 제공받은 타겟 대상물(200)을 촬영하여 얻은 복수 개의 촬영 이미지들(400)을 토대로 m번 학습을 반복한 깊이 맵 생성 모듈(134)이 생성한 깊이 맵이다. 여기서, j, k, l 및 m은 각각 자연수이고, m은 j보다 크며, l은 k보다 크다.

일 실시예에서, 제1 깊이맵(600_1) 및 제2 깊이맵(600_2)을 비교하면, 타겟 대상물(200)에 시간에 따라 달라지는 패턴들로 광을 제공하여 촬영한 복수 개의 촬영 이미지들(400)을 토대로 깊이 맵 생성 모듈(134)을 학습시킬 경우, 인공지능 모델의 학습 수준이 높아진다.

예를 들어, 제1 깊이맵(600_1)에 포함된 제1 영역(AA_a)의 해상도보다 제2 깊이맵(600_2)에 포함된 제1 영역(AA_b)의 해상도가 높아 인접하여 배치된 물체들이 구분할 수 있다. 또한, 제1 깊이맵(600_1)에 포함된 제2 영역(BB_a)의 해상도보다 제2 깊이맵(600_2)에 포함된 제2 영역(BB_b)의 해상도가 높아 작은 물체들을 구분할 수 있다.

일 실시예에서, 제2 깊이맵(600_2) 및 제3 깊이맵(600_3)을 비교하면, 타겟 대상물(200)에 광을 제공하는 패턴들의 수가 많아질수록 복수 개의 촬영 이미지들(400)을 토대로 학습된 인공지능 모델의 학습 수준이 높아진다.

예를 들어, 제2 깊이맵(600_2)에 포함된 제1 영역(AA_a)의 해상도보다 제3 깊이맵(600_3)에 포함된 제1 영역(AA_b)의 해상도가 높아 인접하여 배치된 물체들을 구분할 수 있다. 또한, 제2 깊이맵(600_2)에 포함된 제2 영역(BB_a)의 해상도보다 제3 깊이맵(600_3)에 포함된 제2 영역(BB_b)의 해상도가 높아 작은 물체들을 구분할 수 있다.

따라서, 타겟 대상물(200)에 제공하는 광의 패턴 변화 없이 단순히 타겟 대상물(200)을 촬영한 이미지에 기반하여 학습된 인공지능 모델이 생성한 깊이 맵의 해상도와 비교하여, 본 개시의 입력 데이터(500c, 도 8 참조)에 기반하여 학습된 인공지능 모델이 생성한 깊이 맵(600b, 도8 참조)의 해상도가 더 높다.

예를 들어, 본 개시의 입력 데이터(500c)에는 타겟 대상물(200)에 포함된 물체의 배치, 형상, 측정 장치(120)로부터의 거리 등에 따라 타겟 대상물(200)의 그림자의 형상 및 휘도 등의 변화가 달라지는 것의 정보가 포함되어 있으므로, 인공지능 모델의 학습 수준이 더 높을 수 있다. 또한, 본 개시의 입력 데이터(500c)에 기반하여 인공지능 모델을 학습시킬 경우, 타겟 대상물(200)에 제공하는 광의 패턴 변화 없이 단순히 타겟 대상물(200)을 촬영한 이미지에 기반하여 인공지능 모델을 학습시키는 경우보다 적은 양의 학습 데이터셋으로도 깊이 맵(600b) 생성을 위한 인공지능 모델을 학습시킬 수 있다.

일 실시예에서, 제3 깊이맵(600_3) 및 제4 깊이맵(600_4)을 비교하면, 학습 데이터(500c, 도8 참조)를 토대로 깊이 맵 생성 모듈(134, 도 8 참조)을 학습시키는 횟수인 에포크가 클수록, 학습된 인공지능 모델의 학습 수준이 높아진다.

예를 들어, 제3 깊이맵(600_3)에 포함된 제1 영역(AA_c)의 해상도보다 제4 깊이맵(600_4)에 포함된 제1 영역(AA_d)의 해상도가 높아 인접하여 배치된 물체들을 구분할 수 있다. 또한, 제3 깊이맵(600_3)에 포함된 제2 영역(BB_c)의 해상도보다 제4 깊이맵(600_4)에 포함된 제2 영역(BB_d)의 해상도가 높아 작은 물체들을 구분할 수 있다.

도 10은 본 개시의 일 실시예에 따른 발광 장치를 포함하는 전자 장치를 이용하여 깊이 맵(depth map)을 생성하는 방법을 설명하기 위한 흐름도이다.

도 1a, 3a 및 도 10을 참조하면, 단계 S1000에서, 전자 장치(100)는 시간에 따라 달라지는 복수 개의 패턴들(300)로 광을 타겟 대상물(200)에 제공할 수 있다.

일 실시예에서, 전자 장치(100)는 발광 장치(111)를 이용하여 타겟 대상물(200)에 광을 제공한다. 발광 장치(111)는 시간에 따라 달라지는 복수 개의 패턴들(300)로 광을 타겟 대상물(200)에 제공한다. 일 실시예에서, 발광 장치(111)는 전자 장치(100)의 종류에 따라 평상시에는 영상을 표시하거나, 전자 장치(100)의 주변 환경에 광을 제공하는 역할을 수행할 수 있다. 발광 장치(111)는 전자 장치(100)가 타겟 대상물(200)의 깊이 맵(600, 도 6 참조)을 생성할 때, 타겟 대상물(200)에 복수 개의 패턴들(300)로 광을 제공한다.

도 1a, 도 4 및 도 10을 참조하면, 단계 S2000에서 전자 장치(100)는 광을 제공받는 타겟 대상물(200)을 촬영하여, 복수 개의 패턴들(300)에 각각 대응되는 복수 개의 촬영 이미지들(400)을 획득한다.

일 실시예에서, 전자 장치(100)는 측정 장치(120)를 이용하여 타겟 대상물(200)을 촬영하여 복수 개의 촬영 이미지들(400)을 획득할 수 있다. 측정 장치(120)는 발광 장치(111)가 제공하는 광의 패턴이 달라지는 것과 동기화하여 타겟 대상물(200)을 촬영할 수 있다.

일 실시예에서, 측정 장치(120)는 타겟 대상물(200)이 제공받는 광의 패턴이 달라지는 것에 대응하여, 타겟 대상물(200)의 그림자의 형상이 달라지는 것을 촬영하여 복수 개의 촬영 이미지들(400)을 획득할 수 있다. 또한, 측정 장치(120)는 타겟 대상물(200)이 제공받는 광의 패턴이 달라지는 것에 대응하여, 타겟 대상물(200)의 휘도가 달라지는 것을 촬영하여 복수 개의 촬영 이미지들(400)을 획득할 수 있다.

일 실시예에서, 복수 개의 촬영 이미지들(400) 각각에는 광의 패턴이 달라진 것에 대응하여 타겟 대상물(200)의 그림자의 형상 및 휘도가 변화한 것이 포함되어 있다.

일 실시예에서, 측정 장치(120)는 RGB 이미지 및 깊이 이미지를 획득하는 RGB-Depth 카메라일 수 있다. 일 실시예에서, 측정 장치(120)는 Intel RealSense D455 카메라를 이용할 수도 있다. 이 경우, 복수 개의 촬영 이미지들(400)은 타겟 대상물(200)의 RGB 이미지 및 간이 깊이 맵 이미지들을 포함할 수도 있다. 다만, 본 개시는 이에 한정되지 않고, 측정 장치(120)는 RGB 이미지를 획득하는 RGB 카메라일 수 있다. 이 경우, 복수 개의 촬영 이미지들(400)은 타겟 대상물(200)의 RGB 이미지를 포함할 수도 있다. 복수 개의 촬영 이미지들(400)이 간이 깊이 맵 이미지를 포함하지 않더라도, 이미지 전처리 모듈(133) 및 깊이 맵 생성 모듈(134)을 통하여 타겟 대상물(200)의 깊이 맵(600)을 생성할 수 있다.

도 1a, 5a 및 도 10을 참조하면, 단계 S3000에서 전자 장치(100)는 복수 개의 촬영 이미지들(400)을 전처리하여 입력 데이터(500a)를 획득한다.

일 실시예에서, 전자 장치(100)는 이미지 전처리 모듈(133, 도 1b 참조)을 이용하여 복수 개의 촬영 이미지들(400)을 전처리하여 입력 데이터(500a)를 획득할 수 있다. 일 실시예에서, 입력 데이터(500a)에는 복수 개의 전처리 촬영 이미지들(510)이 포함될 수 있다.

일 실시예에서, 깊이 맵 생성 모듈(134)이 인공지능 모델을 포함하는 경우, 전자 장치(100)는 이미지 전처리 모듈(133)을 이용하여 에포크 및 배치(batch)에 대한 정보를 포함하도록 복수 개의 촬영 이미지들(400)을 전처리하여 입력 데이터(500a)를 획득할 수 있다.

도 1a, 6 및 도 10을 참조하면, 단계 S4000에서 전자 장치(100)는 입력 데이터(500a)에 기초하여 깊이 맵(600)을 생성한다.

일 실시예에서, 전자 장치(100)는 깊이 맵 생성 모듈(134, 도 1b 참조)을 이용하여 깊이 맵(600)을 생성할 수 있다. 깊이 맵 생성 모듈(134)은 입력 데이터(500a)에 기초하여 깊이 맵(600)을 생성한다. 일 실시예에서, 입력 데이터(500a)에 포함된 복수 개의 전처리 촬영 이미지들(510)의 개수가 많을수록 깊이 맵 생성 모듈(134)이 생성하는 깊이 맵(600)의 해상도가 높아질 수 있다. 또한, 본 개시의 일 실시예로, 깊이 맵 생성 모듈(134)이 입력 데이터(500a)를 참조하는 행위를 반복하는 횟수를 크게 할수록, 생성하는 깊이 맵(600)의 해상도가 높아질 수 있다.

도 11은 본 개시의 일 실시예에 따른 복수 개의 촬영 이미지들, 복수 개의 조명 이미지들 및 특성 정보를 전처리하여 획득한 입력 데이터에 기초하여 깊이 맵(depth map)을 생성하는 방법을 설명하기 위한 흐름도이다. 이하, 도 10에서 설명한 단계와 동일한 단계에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다.

도 1a, 3a 및 도 11을 참조하면, 단계 S1100에서 전자 장치(100)는 복수 개의 패턴들(300)에 각각 대응되는 복수 개의 조명 이미지들(320, 도 5c 참조)을 획득할 수 있다.

일 실시예에서, 전자 장치(100)는 조명 측정 장치를 이용하여 발광 장치(111)를 촬영하여 복수 개의 조명 이미지들(320)을 획득할 수 있다.

일 실시예에서, 조명 측정 장치는 발광 장치(111)의 반대편에 설치되어, 발광 장치(111)가 광을 제공하는 복수 개의 패턴들(300)을 촬영할 수 있다. 조명 측정 장치는 발광 장치(111)가 제공하는 광의 패턴이 달라지는 것에 대응하여, 발광 영역(DA)의 위치, 면적, 형상 또는 광의 조도 등이 달라지는 것을 촬영하여 복수 개의 조명 이미지들(320)을 획득할 수 있다. 다만, 본 개시는 이에 한정되지 않는다. 단계 S1100에서는 조명 측정 장치를 이용하여 발광 장치(111)를 측정하는 단계 없이, 외부의 서버나 주변의 전자 장치들로부터 기 촬영된 복수 개의 조명 이미지들(320)을 제공받을 수도 있다.

도 1a, 3a 및 도 11을 참조하면, 단계 S1200에서, 전자 장치(100)는 시간에 따라 달라지는 복수 개의 패턴들(300)로 광을 타겟 대상물(200)에 제공할 수 있다.

도 1a, 4 및 도 11을 참조하면, 단계 S2100에서 전자 장치(100)는 광을 제공받는 타겟 대상물(200)을 촬영하여, 복수 개의 패턴들(300)에 각각 대응되는 복수 개의 촬영 이미지들(400)을 획득한다.

도 1a, 5c 및 도 11을 참조하면, 단계 S2200에서 전자 장치(100)는 광을 제공하는 발광 장치(111)의 특성 정보(CI)를 획득한다.

일 실시예에서, 특성 정보(CI)는 발광 장치(111)의 크기에 대한 정보, 발광 장치(111)가 배치된 위치에 대한 정보, 발광 장치(111)와 타겟 대상물(200) 간의 거리에 대한 정보, 발광 장치(111)의 형태에 관한 정보, 발광 장치(111)가 제공하는 광의 조도에 관한 정보, 발광 장치(111)가 제공하는 광의 방향에 대한 정보 등을 포함할 수도 있다. 일 실시예에서, 전자 장치(100)는 통신 인터페이스(150)를 통하여 발광 장치(111)로부터 특성 정보(CI)를 획득할 수도 있다.

도 1a, 5c 및 도 11을 참조하면, 단계 S3000a에서 전자 장치(100)는 복수 개의 촬영 이미지들(400), 복수 개의 조명 이미지들(320) 및 특성 정보(CI)를 전처리하여 입력 데이터(500c)를 획득한다.

일 실시예에서, 전자 장치(100)는 이미지 전처리 모듈(133, 도 1b 참조)을 이용하여 복수 개의 촬영 이미지들(400), 복수 개의 조명 이미지들(320) 및 특성 정보(CI)를 전처리하여 입력 데이터(500c)를 획득할 수 있다. 일 실시예에서, 입력 데이터(500a)에는 복수 개의 전처리 촬영 이미지들(510), 복수 개의 전처리 조명 이미지들(520) 및 전처리 특성 정보(530)가 포함될 수 있다.

일 실시예에서, 깊이 맵 생성 모듈(134)이 인공지능 모델을 포함하는 경우, 전자 장치(100)는 이미지 전처리 모듈(133)을 이용하여 에포크 및 배치(batch)에 대한 정보를 포함하도록 복수 개의 촬영 이미지들(400), 복수 개의 조명 이미지들(320) 및 특성 정보(CI)를 전처리하여 입력 데이터(500c)를 획득할 수 있다.

도 1a, 7b 및 도 11을 참조하면, 단계 S4000a에서 전자 장치(100)는 입력 데이터(500c)에 기초하여 깊이 맵(600)을 생성한다.

일 실시예에서, 전자 장치(100)는 깊이 맵 생성 모듈(134, 도 1b 참조)을 이용하여 깊이 맵(600)을 생성할 수 있다. 일 실시예에서, 입력 데이터(500c)에 포함된 복수 개의 전처리 조명 이미지들(520) 및 복수 개의 전처리 촬영 이미지들(510)의 개수가 많을수록 깊이 맵 생성 모듈(134)이 생성하는 깊이 맵(600)의 해상도가 높아질 수 있다. 또한, 깊이 맵 생성 모듈(134)은 발광 장치(111)에 대한 정보를 포함하는 전처리 특성 정보(530)에 기초하여 해상도가 높은 깊이 맵(600)을 생성할 수 있다.

일 실시예에서, 전처리 특성 정보(530)가 발광 장치(111)의 크기에 대한 정보를 포함할 때, 깊이 맵 생성 모듈(134)은 복수 개의 전처리 조명 이미지들(520) 및 전처리 특성 정보(530)에 기초하여 타겟 대상물(200)에 제공되는 광의 입사 각도, 광의 휘도, 발광 영역(DA)의 면적 등을 획득할 수 있다.

일 실시예에서, 깊이 맵 생성 모듈(134)은 획득한 광의 정보와 복수의 전처리 촬영 이미지들(510)에 기초하여 깊이 맵(600)을 생성할 수 있다. 이때, 타겟 대상물(200)은 적어도 하나 이상의 물체를 포함할 수 있다. 타겟 대상물(200)에 제공되는 광의 패턴 변화에 대응하는 타겟 대상물(200)의 그림자 형상 및 휘도의 변화는 각 물체와 발광 장치(111)간의 거리 및 각 물체의 형상 등에 따라 결정된다. 다만, 본 발명은 이에 제한되지 않고, 전처리 특성 정보(530)가 발광 장치(111)의 다른 특성에 대한 정보를 포함하는 경우에도, 깊이 맵 생성 모듈(134)이 파악하는 타겟 대상물(200)에 제공되는 광의 패턴에 대한 정보가 많아질 수 있다.

도 12는 본 개시의 일 실시예에 따른 발광 장치 및 서브 발광 장치를 포함하는 전자 장치를 이용하여 깊이 맵(depth map)을 생성하는 방법을 설명하기 위한 흐름도이다. 이하, 도 10 및 도 11에서 설명한 단계와 동일한 단계에 대하여는 동일한 도면 부호를 부여하고, 설명은 생략하도록 한다.

도 2a, 3a 및 도 12를 참조하면, 단계 S1100에서 전자 장치(100)는 복수 개의 패턴들(300)에 각각 대응되는 복수 개의 조명 이미지들(320, 도 5c 참조)을 획득할 수 있다.

도 2a, 3a 및 도 12를 참조하면, 단계 S1200에서, 전자 장치(100)는 시간에 따라 달라지는 복수 개의 패턴들(300)로 광을 타겟 대상물(200)에 제공할 수 있다.

도 2a 및 도 12를 참조하면, 단계 S1300에서, 전자 장치(100)는 타겟 대상물(200)에 서브 광을 제공할 수 있다.

일 실시예에서, 전자 장치(100)는 서브 발광 장치(112)를 이용하여 타겟 대상물(200)에 서브 광을 제공할 수 있다. 일 실시예에서, 서브 발광 장치(112)는 시간에 따라 달라지는 복수 개의 패턴들(300)로 서브 광을 타겟 대상물(200)에 제공할 수 있다. 이때, 서브 발광 장치(112)가 서브 광을 제공하는 패턴은, 발광 장치(111)가 광을 제공하는 패턴과 상이할 수도 있다. 또한, 서브 발광 장치(112)는 시간과 무관하게 일정한 패턴으로 서브 광을 타겟 대상물(200)에 제공할 수도 있다.

일 실시예에서, 서브 발광 장치(112)는 전자 장치(100)의 종류에 따라, 평상시에는 전자 장치(100)의 기능을 수행함에 있어 필요한 광을 전자 장치(100)에 제공하거나, 전자 장치(100)의 주변 환경에 광을 제공하는 역할을 수행할 수도 있다. 서브 발광 장치(112)는 전자 장치(100)가 타겟 대상물(200)의 깊이 맵(600, 도 6 참조)을 생성할 때, 타겟 대상물(200)에 서브 광을 제공한다.

일 실시예에서, 전자 장치(100)는 조명 측정 장치를 이용하여 서브 발광 장치(112)를 촬영하여 복수 개의 서브 조명 이미지들을 획득할 수도 있다. 복수 개의 서브 조명 이미지들은 각각 서브 광의 복수 개의 패턴들에 대응될 수 있다.

도 2a, 4 및 도 12를 참조하면, 단계 S2100a에서 전자 장치(100)는 광 및 서브 광을 제공받는 타겟 대상물(200)을 촬영하여, 복수 개의 패턴들(300)에 각각 대응되는 복수 개의 촬영 이미지들(400)을 획득한다.

도 2a, 5d 및 도 12를 참조하면, 단계 S2200a에서 전자 장치(100)는 광을 제공하는 발광 장치(111)의 특성 정보(CI) 및 서브 광을 제공하는 서브 발광 장치(112)의 서브 특성 정보(SCI)를 획득한다.

일 실시예에서, 특성 정보(CI)는 발광 장치(111)의 크기에 대한 정보 등을 포함할 수도 있다. 서브 특성 정보(SCI)는 서브 발광 장치(111)의 크기에 대한 정보, 서브 발광 장치(112)가 배치된 위치에 대한 정보, 서브 발광 장치(112)와 타겟 대상물(200) 간의 거리에 대한 정보, 서브 발광 장치(112)의 형태에 관한 정보, 서브 발광 장치(112)가 제공하는 광의 조도에 관한 정보, 서브 발광 장치(112)가 제공하는 광의 방향에 대한 정보, 서브 발광 장치(112)의 개수 등에 대한 정보를 포함할 수도 있다.

일 실시예에서, 전자 장치(100)는 통신 인터페이스(150)를 통하여 발광 장치(111)로부터 특성 정보(CI)를 획득하고, 서브 발광 장치(112)로부터 서브 특성 정보(SCI)를 획득할 수도 있다.

도 2a, 5d 및 도 12를 참조하면, 단계 S3000b에서 전자 장치(100)는 복수 개의 촬영 이미지들(400), 복수 개의 조명 이미지들(320), 특성 정보(CI) 및 서브 특성 정보(SCI)를 전처리하여 입력 데이터(500d)를 획득한다.

일 실시예에서, 전자 장치(100)는 이미지 전처리 모듈(133a, 도 2b 참조)을 이용하여 복수 개의 촬영 이미지들(400), 복수 개의 조명 이미지들(320), 특성 정보(CI) 및 서브 특성 정보(SCI)를 전처리하여 입력 데이터(500d)를 획득할 수 있다.

일 실시예에서, 입력 데이터(500a)에는 복수 개의 전처리 촬영 이미지들(510), 복수 개의 전처리 조명 이미지들(520), 전처리 특성 정보(530) 및 전처리 서브 특성 정보(540)가 포함될 수 있다. 일 실시예에서, 이미지 전처리 모듈(133a)은 복수 개의 서브 조명 이미지들을 더 획득할 수도 있다. 이미지 전처리 모듈(133a)은 복수 개의 촬영 이미지들(400), 복수 개의 조명 이미지들(320), 복수 개의 서브 조명 이미지들, 특성 정보(CI) 및 서브 특성 정보(SCI)를 전처리하여 입력 데이터를 획득할 수도 있다.

도 2a 및 도 12를 참조하면, 단계 S4000b에서 전자 장치(100)는 입력 데이터(500d)에 기초하여 깊이 맵(600)을 생성한다.

일 실시예에서, 전자 장치(100)는 깊이 맵 생성 모듈(134a, 도 2b 참조)을 이용하여 깊이 맵(600)을 생성할 수 있다. 일 실시예에서, 깊이 맵 생성 모듈(134a)은 전처리 특성 정보(530) 및 전처리 서브 특성 정보(540)에 기초하여 해상도가 높은 깊이 맵(600)을 생성할 수 있다.

일 실시예에서, 전처리 특성 정보(530)가 발광 장치(111)의 크기에 대한 정보를 포함하고, 전처리 서브 특성 정보(540)가 서브 발광 장치(112)의 위치에 대한 정보를 포함할 때, 깊이 맵 생성 모듈(134a)은 복수 개의 전처리 조명 이미지들(520), 전처리 특성 정보(530) 및 전처리 서브 특성 정보(540)에 기초하여 타겟 대상물(200)에 제공되는 광 및 서브 광의 정보를 획득할 수 있다. 깊이 맵 생성 모듈(134a)은 획득한 광 및 서브 광의 정보와 복수의 전처리 촬영 이미지들(510)에 기초하여 해상도가 높은 깊이 맵(600)을 생성할 수 있다.

도 13은 본 개시의 일 실시예에 따른 입력 데이터에 대응되는 깊이 맵(depth map)을 생성하는 전자 장치의 동작을 설명하기 위한 흐름도이다.

도 1a, 4 및 도 13을 참조하면, 임계 조도를 시간에 따라 달라지는 복수 개의 패턴들(300)의 변화가 반영된 복수 개의 촬영 이미지들(400)을 획득할 수 있는 최대 조도라고 할 때, 단계 S5000에서 전자 장치(100)는 타겟 대상물(200)의 주변 조도의 세기와 임계 조도의 세기를 비교한다.

일 실시예에서, 단계 S5000에서 전자 장치(100)는 타겟 대상물(200)의 주변 조도의 세기가 임계 조도의 세기와 같거나 작은지 여부를 판단한다. 일 실시예에서, 타겟 대상물(200)의 주변 조도의 세기가 임계 조도의 세기보다 큰 경우, 측정 장치(120)가 발광 장치(111)가 제공하는 광의 패턴 변화에 따른 타겟 대상물(200)의 그림자의 형상 또는 휘도의 변화를 포함하는 복수 개의 촬영 이미지들(400)을 획득할 수 없다. 따라서 본 개시에 의한 깊이 맵(600, 도 6 참조)을 생성할 수 없어 전자 장치(100)는 깊이 맵(600)을 생성하는 동작을 종료한다.

일 실시예에서, 타겟 대상물(200)의 주변 조도의 세기가 임계 조도의 세기와 같거나 작은 경우, 전자 장치(100)는 깊이 맵(600)을 생성하는 동작을 실행한다. 일 실시예에서, 임계 조도의 크기는 발광 장치(111)의 성능 또는 측정 장치(120)의 성능에 따라 달라질 수 있다. 발광 장치(111)가 제공할 수 있는 광의 조도가 커질수록, 임계 조도의 크기도 커질 수 있다. 또한, 측정 장치(120)의 타겟 대상물(200)의 그림자의 형상 또는 휘도의 변화를 촬영할 수 있는 성능이 좋아질수록, 임계 조도의 크기도 커질 수 있다.

도 1a, 3a 및 도 13을 참조하면, 일 실시예에서, 발광 장치(111)가 광을 제공하는 복수 개의 패턴들(300)이 n개의 패턴들로 구성된다고 할 때, 단계 S6000에서 전자 장치(100)는 발광 장치(111)를 통하여 i번째 패턴을 갖는 광을 타겟 대상물(200)에 제공한다. 이때, i는 n보다 작거나 같은 자연수이다.

일 실시예에서, n개의 패턴들 각각에 포함된 발광 영역(DA) 위치, 면적 및 형상 중 적어도 하나는 서로 다를 수 있다. 일 실시예에서, n개의 패턴들 각각의 광의 조도는 서로 다를 수 있다.

도 1a, 4 및 도 13을 참조하면, 일 실시예에서, 단계 S7000에서 전자 장치(100)는 i번째 패턴을 갖는 광이 제공된 타겟 대상물(200)을 촬영하여, i번째 촬영 이미지를 획득할 수 있다. i번째 촬영 이미지는, i번째 패턴을 갖는 광에 대응되는 촬영 이미지이다. 일 실시예에서, 단계 S7000에서 전자 장치(100)는 측정 장치(120)를 이용하여 i번째 촬영 이미지를 획득할 수 있다. 일 실시예에서, 복수 개의 패턴들(300)이 n개의 패턴들로 구성될 때, 전자 장치(100)는 n개의 촬영 이미지들(400)을 획득할 수 있다.

단계 S8000에서는, 전자 장치(100)는 i가 n보다 작은지 여부를 판단한다. 일 실시예에서, i가 n보다 작은 경우, 전자 장치(100)는 다시 단계 S6000에서 타겟 대상물(200)에 광을 제공한다. 이때, 전자 장치(100)는 i+1 번째 패턴으로 타겟 대상물(200)에 광을 제공할 수 있다. 그 후, 전자 장치(100)는 단계 S7000에서 i+1번째 패턴을 갖는 광이 제공된 타겟 대상물(200)을 촬영하여, i+1번째 촬영 이미지를 획득할 수 있다. 그 후, 다시 i+1이 n보다 작은지 여부를 판단하고, i+1이 n보다 작은 경우, 위의 단계들을 반복한다.

일 실시예에서, i가 n과 같은 경우, 발광 장치(111)는 n개의 패턴들(300)로 타겟 대상물(200)에 광을 제공하고, 측정 장치(120)는 n개의 촬영 이미지들(400)을 획득할 수 있다.

도 1a, 5c 및 도 13을 참조하면, 단계 S9000에서 전자 장치(100)는 발광 장치(111)가 광을 제공하는 n개의 패턴들(300)에 대응되는 n개의 조명 이미지들(320)을 제공받는다. n개의 조명 이미지들(320) 각각은 n개의 패턴들(300)에 각각 대응된다.

일 실시예에서, n개의 조명 이미지들(320)은 전자 장치(100)의 깊이 맵(600)을 생성하는 동작 이전에 기 촬영된 이미지일 수 있다. 전자 장치(100)는 통신 인터페이스(150, 도 1b 참조)를 통하여 외부의 서버나 주변의 전자 장치들로부터 기 촬영된 복수 개의 조명 이미지들(320)을 제공받을 수 있다.

일 실시예에서, n개의 조명 이미지들(320)은 전자 장치(100)가 깊이 맵(600)을 생성하기 위하여 n개의 패턴들(300)로 광을 제공하는 단계에서 촬영된 이미지일 수 있다. 전자 장치(100)는 발광 장치(111)의 특성 정보(CI)를 제공받는다.

일 실시예에서, 특성 정보(CI)는 발광 장치(111)의 크기에 대한 정보를 포함할 수 있다. 전자 장치(100)는 n개의 촬영 이미지들(400), n개의 조명 이미지들(320) 및 특성 정보(CI)를 전처리하여 입력 데이터(500c)를 획득할 수 있다.

도 1a, 7b 및 도 13을 참조하면, 단계 S10000에서 전자 장치(100)는 입력 데이터(500c)에 기초하여 깊이 맵(600)을 생성할 수 있다.

일 실시예에서, 전자 장치(100)는 생성한 깊이 맵(600)을 활용하여 전자 장치(100)를 활용한 AR(augmented reality) 경험 제공, AR을 활용한 전자 장치(100)가 배치된 환경 내에서의 가구, 가전 제품등의 배치, 전자 장치(100)를 사용하는 사용자와 전자 장치(100)간의 거리를 파악하고, 사용자의 시야각을 고려하여 전자 장치(100)에 사용되는 영상의 크기 조절 등의 동작을 수행할 수 있다. 또한, 일 실시예에서, 전자 장치(100)는 깊이 맵(600)을 활용하여 3D 모델링(modeling), 차량 내비게이션(navigation), 물체 인식, 사람의 몸짓 감지 등의 동작을 수행할 수도 있다. 다만, 본 개시는 이에 제한되지 않는다. 일 실시예에서, 본 개시의 전자 장치(100)는 생성한 깊이 맵(600)을 주변의 전자 장치들로 제공할 수도 있다. 주변의 전자 장치들은 제공 받은 깊이 맵(600)을 토대로 AR(augmented reality) 경험 제공, 3D 모델링(modeling), 차량 내비게이션(navigation), 물체 인식, 사람의 몸짓 감지 등의 동작을 수행할 수도 있다.

본 개시에서 설명된 전자 장치(100)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.

소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 기록 매체는 컴퓨터에 의해 판독 가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

컴퓨터로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.

컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치(100)의 제조사 또는 전자 마켓(예를 들어, 삼성 갤럭시 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 전자 장치(100)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장 매체가 될 수 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims

입력 데이터에 대응되는 깊이 맵(depth map)을 생성하는 방법에 있어서,
시간에 따라 달라지는 복수 개의 패턴들로 광을 타겟 대상물에 제공하는 단계;
상기 광을 제공받은 상기 타겟 대상물을 촬영하여, 상기 복수 개의 패턴들에 각각 대응되는 복수 개의 촬영 이미지들을 획득하는 단계;
상기 복수 개의 촬영 이미지들을 전처리하여 상기 입력 데이터를 획득하는 단계; 및
상기 입력 데이터에 기초하여 상기 깊이 맵을 생성하는 단계를 포함하는 방법.
제1 항에 있어서,
상기 복수 개의 패턴들 각각은 상기 광이 제공되는 영역인 발광 영역을 포함하며,
상기 발광 영역의 위치는, 상기 시간에 따라 달라지는 방법.
제1 항에 있어서,
상기 복수 개의 패턴들 각각은 상기 광이 제공되는 영역인 발광 영역을 포함하며,
상기 발광 영역의 면적은, 상기 시간에 따라 달라지는 방법.
제1 항에 있어서,
상기 복수 개의 패턴들 각각에서의 상기 광의 조도는, 상기 시간에 따라 달라지는 방법.
제1 항에 있어서,
상기 광을 제공하는 발광 장치를 촬영하여, 상기 복수 개의 패턴들에 각각 대응되는 복수 개의 조명 이미지들을 획득하는 단계를 더 포함하고,
상기 입력 데이터를 획득하는 단계에서는,
상기 복수 개의 촬영 이미지들 및 상기 복수 개의 조명 이미지들을 전처리하여 상기 입력 데이터를 획득하는 방법.
제5 항에 있어서,
상기 발광 장치의 특성 정보를 획득하는 단계를 더 포함하고,
상기 입력 데이터를 획득하는 단계에서는,
상기 복수 개의 촬영 이미지들, 상기 복수 개의 조명 이미지들 및 상기 특성 정보를 전처리하여 상기 입력 데이터를 획득하는 방법.
제6 항에 있어서,
상기 특성 정보는 상기 발광 장치의 크기에 대한 정보를 포함하는 방법.
제6 항에 있어서,
상기 타겟 대상물에 서브 광을 제공하는 단계; 및
상기 서브 광을 제공하는 서브 발광 장치의 서브 특성 정보를 획득하는 단계를 더 포함하고,
상기 복수 개의 촬영 이미지들을 획득하는 단계에서는,
상기 광 및 상기 서브 광을 제공받은 상기 타겟 대상물을 촬영하여 상기 복수 개의 촬영 이미지들을 획득하며,
상기 입력 데이터를 획득하는 단계에서는,
상기 복수 개의 촬영 이미지들, 상기 복수 개의 조명 이미지들, 상기 특성 정보 및 상기 서브 특성 정보를 전처리하여 상기 입력 데이터를 획득하는 방법.
제1 항에 있어서,
상기 타겟 대상물의 주변 조도의 세기와 임계 조도의 세기를 비교하는 단계를 더 포함하며,
상기 주변 조도의 세기가 상기 임계 조도의 세기보다 작거나 같은 경우에 상기 광을 상기 타겟 대상물에 제공하며,
상기 임계 조도는,
상기 시간에 따라 달라지는 상기 복수 개의 패턴들의 변화가 반영된 상기 복수 개의 촬영 이미지들을 획득할 수 있는 최대 조도인 방법.
제1 항에 있어서,
상기 깊이 맵을 생성하는 단계에서,
상기 입력 데이터를 깊이 맵 생성 모듈에 제공하여 상기 깊이 맵을 생성하며,
상기 깊이 맵 생성 모듈은 오토 인코더(auto encoder)을 포함하는 방법.
입력 데이터에 대응되는 깊이 맵(depth map)을 생성하기 위한 전자 장치로서,
시간에 따라 달라지는 복수 개의 패턴들로 광을 타겟 대상물에 제공하는 발광 장치;
상기 광을 제공받은 상기 타겟 대상물을 촬영하여 상기 복수 개의 패턴들에 각각 대응되는 복수 개의 촬영 이미지들을 획득하는 측정 장치;
하나 이상의 명령어들(instructions)을 저장하는 메모리; 및
상기 메모리에 저장된 하나 이상의 명령어들을 실행하는 적어도 하나의 프로세서를 포함하며,
상기 적어도 하나의 프로세서는,
상기 복수 개의 촬영 이미지들을 전처리하여 상기 입력 데이터를 획득하고, 상기 입력 데이터에 기초하여 상기 깊이 맵을 생성하는 전자 장치.
제11 항에 있어서,
상기 복수 개의 패턴들 각각은 상기 광이 제공되는 영역인 발광 영역을 포함하며,
상기 발광 영역의 위치는, 상기 시간에 따라 달라지는 전자 장치.
제11 항에 있어서,
상기 복수 개의 패턴들 각각은 상기 광이 제공되는 영역인 발광 영역을 포함하며,
상기 발광 영역의 면적은, 시간에 따라 달라지는 전자 장치.
제11 항에 있어서,
상기 복수 개의 패턴들 각각에서의 상기 광의 조도는, 시간에 따라 달라지는 전자 장치.
제11 항에 있어서,
상기 프로세서는, 기 촬영된 복수 개의 조명 이미지들을 제공받고,
상기 복수 개의 촬영 이미지들 및 상기 복수 개의 조명 이미지들을 전처리하여 상기 입력 데이터를 획득하며,
상기 복수 개의 조명 이미지들은,
상기 복수 개의 패턴들에 각각 대응되고, 상기 발광 장치를 촬영하여 획득된 것인 전자 장치.
제15 항에 있어서,
상기 프로세서는,
상기 발광 장치의 특성 정보를 더 제공받고,
상기 복수 개의 촬영 이미지들, 상기 복수 개의 조명 이미지들 및 상기 특성 정보를 전처리하여 상기 입력 데이터를 획득하는 전자 장치.
제16 항에 있어서,
상기 특성 정보는, 상기 발광 장치의 크기에 대한 정보를 포함하는 전자 장치.
제16 항에 있어서,
서브 광을 상기 타겟 대상물에 제공하는 서브 발광 장치를 더 포함하고,
상기 측정 장치는,
상기 광 및 상기 서브 광을 제공받은 상기 타겟 대상물을 촬영하여 상기 복수 개의 촬영 이미지들을 획득하며,
상기 프로세서는,
상기 서브 발광 장치의 서브 특성 정보를 더 제공받고,
상기 복수 개의 촬영 이미지들, 상기 복수 개의 조명 이미지들, 상기 특성 정보 및 상기 서브 특성 정보를 전처리하여 상기 입력 데이터를 획득하는 전자 장치.
제11 항에 있어서,
상기 프로세서는
상기 입력 데이터를 깊이 맵 생성 모듈에 제공하여 상기 깊이 맵을 획득하며,
상기 깊이 맵 생성 모듈은,
오토 인코더(auto encoder)를 포함하는 전자 장치.
제1 내지 제10 항 중 어느 하나의 항에 기재된 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.