KR20240020854A

KR20240020854A - 깊이 맵을 획득하기 위한 전자 장치 및 방법

Info

Publication number: KR20240020854A
Application number: KR1020220099079A
Authority: KR
Inventors: 현종민; 이승한; 천종혁; 최철희; 현대영
Original assignee: 삼성전자주식회사
Priority date: 2022-08-09
Filing date: 2022-08-09
Publication date: 2024-02-16
Also published as: WO2024034837A1

Abstract

실시예들에 있어서, 전자 장치는 적어도 하나의 센서, 복수의 카메라들, 디스플레이, 인스트럭션들을 저장하도록 구성된 메모리, 및 상기 적어도 하나의 센서, 상기 복수의 카메라들, 상기 디스플레이, 및 상기 메모리와 작동적으로 결합된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행에 따라, 지정된 동작들을 수행할 수 있다. 상기 적어도 하나의 프로세서는, 상기 복수의 카메라들 중에서 제1 카메라를 이용하여, 프레임에 대한 제1 이미지 정보를 획득하도록 구성될 수 있다. 상기 복수의 카메라들 중에서 제2 카메라를 이용하여, 상기 프레임에 대한 제2 이미지 정보를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 이미지 정보 및 상기 제2 이미지 정보 간 차이, 상기 프레임의 밝기 값, 또는 상기 프레임에서 검출되는 객체(object) 중에서 적어도 하나와 관련되는, 적어도 하나의 정합 조건에 기반하여, 깊이 맵(depth map) 계산 방식을 결정하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식에 따라 식별되는 적어도 하나의 카메라에 기반하여, 깊이 맵 정보를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식은, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식에 적어도 일부 기반하여(based at least in part on), 결정될 수 있다. 그 밖에 다양한 실시예가 가능하다.

Description

깊이 맵을 획득하기 위한 전자 장치 및 방법{ELECTORNIC DEVICE AND METHOD FOR OBTAINING DEPTH MAP}

아래의 설명들은, 깊이 맵(depth map)을 획득하기 위한 전자 장치 및 방법에 관한 것이다.

전자 장치는 촬영된 이미지의 배경에 다양한 효과들(예: 주밍, 스핀, 패닝)을 제공하기 위해, 전경과 배경을 분리할 수 있다. 전자 장치는, 이미지 내에서 배경을 분리하기 위해, 거리 정보를 나타내는 깊이 맵을 획득할 수 있다. 전자 장치는, 복수의 카메라들을 통해 깊이 맵을 획득할 수 있다.

실시예들에 있어서, 전자 장치는 적어도 하나의 센서, 복수의 카메라들, 디스플레이, 인스트럭션들을 저장하도록 구성된 메모리, 및 상기 적어도 하나의 센서, 상기 복수의 카메라들, 상기 디스플레이, 및 상기 메모리와 작동적으로 결합된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행에 따라, 지정된 동작들을 수행할 수 있다. 상기 적어도 하나의 프로세서는, 상기 복수의 카메라들 중에서 제1 카메라를 이용하여, 프레임에 대한 제1 이미지 정보를 획득하도록 구성될 수 있다. 상기 복수의 카메라들 중에서 제2 카메라를 이용하여, 상기 프레임에 대한 제2 이미지 정보를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 이미지 정보 및 상기 제2 이미지 정보 간 차이, 상기 프레임의 밝기 값, 또는 상기 프레임에서 검출되는 객체(object) 중에서 적어도 하나와 관련되는, 적어도 하나의 정합 조건에 기반하여, 깊이 맵(depth map) 계산 방식을 결정하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식에 따라 식별되는 적어도 하나의 카메라에 기반하여, 깊이 맵 정보를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식은, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식에 적어도 일부 기반하여(based at least in part on), 결정될 수 있다.

실시예들에 있어서, 전자 장치에 의해 수행되는 방법은, 복수의 카메라들 중에서 제1 카메라를 이용하여, 프레임에 대한 제1 이미지 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 복수의 카메라들 중에서 제2 카메라를 이용하여, 상기 프레임에 대한 제2 이미지 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 제1 이미지 정보 및 상기 제2 이미지 정보 간 차이, 상기 프레임의 밝기 값, 또는 상기 프레임에서 검출되는 객체(object) 중에서 적어도 하나와 관련되는, 적어도 하나의 정합 조건에 기반하여, 깊이 맵(depth map) 계산 방식을 결정하는 동작을 포함할 수 있다. 상기 방법은 상기 깊이 맵 계산 방식에 따라 식별되는 적어도 하나의 카메라에 기반하여, 상기 프레임에 대한 깊이 맵 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 디스플레이를 통해, 표시하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식은, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식에 적어도 일부 기반하여(based at least in part on), 결정될 수 있다.

실시예들에 있어서, 전자 장치는 적어도 하나의 센서, 복수의 카메라들, 디스플레이, 인스트럭션들을 저장하도록 구성된 메모리, 및 상기 적어도 하나의 센서, 상기 복수의 카메라들, 상기 디스플레이, 및 상기 메모리와 작동적으로 결합된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행에 따라, 지정된 동작들을 수행할 수 있다. 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 센서에 의해 검출되는 밝기 값이 임계 값 미만이거나, 상기 적어도 하나의 센서에 의해 검출되는 객체와의 거리 값이 기준 값 미만인 경우, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일(single) 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식 중에서, 상기 제2 방식을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 밝기 값 또는 상기 거리 값에 기반하여, 상기 복수의 카메라들 중에서 상기 단일 카메라를 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 단일 카메라를 통해 이미지 정보를 획득하도록 구성될 수 있다. 기 적어도 하나의 프로세서는, 상기 단일 카메라를 통해 깊이 맵 정보를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 이미지 정보 및 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성될 수 있다.

실시예들에 있어서, 전자 장치에 의해 수행되는 방법은, 적어도 하나의 센서에 의해 검출되는 밝기 값이 임계 값 미만이거나, 상기 적어도 하나의 센서에 의해 검출되는 객체와의 거리 값이 기준 값 미만인 경우, 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일(single) 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식 중에서, 상기 제2 방식을 식별하는 동작을 포함할 수 있다. 상기 방법은 상기 밝기 값 또는 상기 거리 값에 기반하여, 상기 복수의 카메라들 중에서 상기 단일 카메라를 식별하는 동작을 포함할 수 있다. 상기 방법은 상기 단일 카메라를 통해 이미지 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 단일 카메라를 통해 깊이 맵 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 이미지 정보 및 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 디스플레이를 통해, 표시하는 동작을 포함할 수 있다.

도 1은 일 실시예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 일 실시예에 따른, 전자 장치의 기능적 구성의 예를 도시한다.
도 3a는 일 실시예에 따른, 정합 조건에 기반하여 깊이 맵 정보를 획득하기 위한 전자 장치의 동작 흐름을 도시한다.
도 3b는 일 실시예에 따른, 정합 조건에 기반하여 설정된 카메라를 통해 깊이 맵 정보를 획득하기 위한 전자 장치의 동작 흐름을 도시한다.
도 4a는 일 실시예에 따른, 밝기 값에 따른 깊이 맵 계산 방식을 선택하기 위한 전자 장치의 동작 흐름을 도시한다.
도 4b는 일 실시예에 따른, 밝기 값에 따른 깊이 맵 계산 방식의 선택의 예를 도시한다.
도 5a는 일 실시예에 따른, 거리 값에 따른 깊이 맵 계산 방식을 선택하기 위한 전자 장치의 동작 흐름을 도시한다.
도 5b는 일 실시예에 따른, 거리 값에 따른 깊이 맵 계산 방식의 선택의 예를 도시한다.
도 6a는 일 실시예에 따른, 객체 유형에 따른 깊이 맵 계산 방식을 선택하기 위한 전자 장치의 동작 흐름을 도시한다.
도 6b는 일 실시예에 따른, 객체 유형에 따른 깊이 맵 계산 방식의 선택의 예를 도시한다.
도 7은 일 실시예에 따른, 영역 별 깊이 맵 계산 방식의 선택의 예를 도시한다.
도 8a는 일 실시예에 따른, 근접 거리에서 깊이 맵을 이용한 이미지 처리의 예를 도시한다.
도 8b는 일 실시예에 따른, 저조도에서 깊이 맵을 이용한 이미지 처리의 예를 도시한다.
도 9는 일 실시예에 따른, 영역의 특징에 따라 깊이 맵 계산 방식을 결정하기 위한 전자 장치의 동작 흐름을 도시한다.
도 10은 일 실시예에 따른, 카메라들 간 이미지 정보 차이에 기반하여 깊이 맵 계산 방식을 결정하기 위한 전자 장치의 동작 흐름을 도시한다.
도 11은 일 실시예에 따른 카메라 스위칭을 통해 깊이 맵을 획득하기 위한 전자 장치의 동작 흐름을 도시한다.

본 개시에서 사용되는 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시예들을 배제하도록 해석될 수 없다.

이하에서 설명되는 본 개시의 다양한 실시예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 개시의 다양한 실시예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 개시의 다양한 실시예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.

이하 설명에서 사용되는 신호를 지칭하는 용어(예: 신호, 송신 신호, 수신 신호, 순방향 신호, 역방향 신호, 커플링 신호, 합성 신호, 디지털 신호, 아날로그 신호, 변조 신호), 시간 자원을 지칭하는 용어(예: 심볼(symbol), 슬롯(slot), 서브프레임(subframe), 무선 프레임(radio frame)), 연산 상태를 위한 용어(예: 단계(step), 동작(operation), 절차(procedure)), 채널을 지칭하는 용어, 네트워크 객체(network entity)들을 지칭하는 용어, 장치의 구성 요소를 지칭하는 용어 등은 설명의 편의를 위해 예시된 것이다. 따라서, 본 개시가 후술되는 용어들에 한정되는 것은 아니며, 동등한 기술적 의미를 가지는 다른 용어가 사용될 수 있다.

이하 설명에서 사용되는 전자 장치의 부품을 지칭하는 용어(예: 모듈, 안테나, 안테나 소자, 회로, 프로세서, 칩, 구성요소, 기기), 회로 또는 회로의 구성요소(component)를 지칭하는 용어 등은 설명의 편의를 위해 예시된 것이다. 따라서, 본 개시가 후술되는 용어들에 한정되는 것은 아니며, 동등한 기술적 의미를 가지는 다른 용어가 사용될 수 있다. 또한, 이하 사용되는 '...부', '...기', '...물', '...체' 등의 용어는 적어도 하나의 형상 구조를 의미하거나 또는 기능을 처리하는 단위를 의미할 수 있다.

또한, 본 개시에서, 특정 조건의 만족(satisfied), 충족(fulfilled) 여부를 판단하기 위해, 초과 또는 미만의 표현이 사용될 수 있으나, 이는 일 예를 표현하기 위한 기재일 뿐 이상 또는 이하의 기재를 배제하는 것이 아니다. '이상'으로 기재된 조건은 '초과', '이하'로 기재된 조건은 '미만', '이상 및 미만'으로 기재된 조건은 '초과 및 이하'로 대체될 수 있다. 또한, 이하, 'A' 내지 'B'는 A부터(A 포함) B까지의(B 포함) 요소들 중 적어도 하나를 의미한다.

도 1은 일 실시예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.

도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 일 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 일 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.

프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.

보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.

메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.

프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.

입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.

음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.

디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.

오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.

센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.

인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.

연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.

햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.

카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.

전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.

배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.

통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.

무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 송신(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 송신률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.

안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 일 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.

일 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.

상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.

일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 일 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.

도 2는 실시예들에 따른 전자 장치의 기능적 구성의 예를 도시한다.

도 2를 참조하면, 전자 장치(예: 도 1의 전자 장치(101))는 프로세서(201)(예: 도 1의 프로세서(120)), 카메라들(203)(예: 카메라 모듈(180)), 센서(205)(예: 센서 모듈(176)), 디스플레이(207)(예: 디스플레이 모듈(160)), 및 메모리(209)(예: 메모리(130))를 포함할 수 있다.

전자 장치(101)는 프로세서(201)를 포함할 수 있다. 프로세서(201)는 하나 이상의 IC(integrated circuit) 칩들로 구현될 수 있고, 다양한 데이터 처리들을 실행할 수 있다. 예를 들면, 프로세서(201)는, SoC(system on chip)로 구현될 수 있다. 프로세서(201)는, CPU(central processing unit), GPU(graphics processing unit), NPU(neural processing unit), ISP(image signal processor), 디스플레이 컨트롤러, 메모리 컨트롤러, 스토리지 컨트롤러, AP(application processor), CP(communication processor), 및/또는 센서 인터페이스를 포함하는 서브 구성요소들을 포함할 수 있다. 상기 서브 구성요소들은, 단지 예시적인 것이다. 예를 들면, 프로세서(201)는, 다른 서브 구성요소들을 더 포함할 수 있다. 예를 들면, 몇몇 서브 구성요소들은, 프로세서(201)로부터 생략될 수 있다.

전자 장치(101)는 카메라들(203)을 포함할 수 있다. 예를 들어, 카메라들은 광각(wide) 카메라, 초광각(ultra-wide) 카메라, 제1 망원 카메라, 또는 제2 망원 카메라 중 적어도 하나를 포함할 수 있다. 광각 카메라는, 상기 전자 장치(101)로부터 일정 거리(예: 약 28cm(centimeter)) 이상에 위치하는 객체의 이미지를 저배율(예: 약 3-배율 미만)로 획득하기 위해 이용될 수 있다. 초광각 카메라는, 상기 전자 장치(101)로부터 상기 일정 거리 미만에 위치하는 객체의 이미지를 저배율로 획득하기 위해 이용될 수 있다. 제1 망원 카메라는, 제1 배율 범위(예: 3-배율 이상 10-배율 미만)로 객체의 이미지를 획득하기 위해 이용될 수 있다. 제2 망원 카메라는, 제2 배율 범위(예: 10-배율 이상 15-배율 미만)로 객체의 이미지를 획득하기 위해 이용될 수 있다. 일 실시예에 따라, 전자 장치(101)는 카메라들(203) 중에서 적어도 2개의 카메라들을 각각을 통해 이미지를 촬영하고, 상기 촬영된 이미지들을 결합함으로써, 깊이 맵(depth map)을 획득할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 카메라들(203) 중에서 단일 카메라를 통해 이미지를 촬영하고, 촬영된 이미지들을 학습함으로써, 깊이 맵을 획득할 수 있다. 이하, 본 개시에서 피사체 혹은 배경의 깊이를 나타내는 이미지는, 깊이 맵으로 지칭되나, 깊이 맵 외에 다양한 용어들(예: 깊이 영상, 깊이 이미지, 깊이 정보)이 이용될 수 있음은 물론이다.

이하, 본 개시의 실시예들은, 카메라 혹은 카메라들의 용어를 이용하여 설명되나, 본 개시의 실시예들은 상술된 용어에 제한적으로 해석되지 않는다. 일 실시예에 따라, 전자 장치(101)는 하나의 카메라 모듈에 포함되는 복수의 렌즈들 중에서 적어도 하나를 이용함으로써, 깊이 맵을 획득할 수 있다. 일 실시예에 따라, 전자 장치(101)는 카메라의 이미지 신호 처리(image signal processing)를 위한, ISP(image signal processor)를 포함할 수 있다. 상기 ISP는 복수의 렌즈들과 전기적으로 및/또는 작동적으로 연결될 수 있다. 또한, 상기 ISP는 하나 이상의 이미지 센서들에 전기적으로 및/또는 작동적으로 연결될 수 있다. 예를 들어, 전자 장치(101)는, 하나의 카메라 모듈을 제어함으로써, 복수의 설정들 혹은 단일 설정에 기반하여 깊이 맵을 획득할 수 있다.

전자 장치(101)는 센서(205)를 포함할 수 있다. 일 실시예에 따라, 센서(205)는 거리 감지 센서를 포함할 수 있다. 예를 들어, 센서(205)는 TOF(time of flight) 센서를 포함할 수 있다. 센서(205)는 주변 거리를 측정하는 센서로, IR(infrared)을 발광하고, 빛이 돌아온 시간을 계산함으로써, 거리를 출력할 수 있다. 또한, 일 실시예에 따라, 센서(205)는 조도 센서(ambient light sensor)를 포함할 수 있다. 조도 센서는 외부의 조도를 측정할 수 있다. 조도 센서는 수광부를 통해 외부의 밝기 값을 획득할 수 있다. 조도 센서는 노출 시간 동안 외부의 밝기 값을 획득할 수 있다. 조도 센서는 측정된 밝기 값을 프로세서(201)에게 전송할 수 있다.

전자 장치(101)는 디스플레이(207)를 포함할 수 있다. 디스플레이(207)는 사용자에게 정보를 시각적으로 제공할 수 있다. 디스플레이(207)는, 프로세서(201)의 제어에 의해, 프로세서(201)에서 처리된 이미지를 표시할 수 있다. 일 실시예에 따라, 디스플레이(207)는 카메라들(203) 중에서 적어도 하나를 통해 획득된 이미지를 표시할 수 있다. 디스플레이(207)는, 깊이 맵에 따른 효과가 처리된 이미지를 표시할 수 있다.

전자 장치(101)는 메모리(209)를 포함할 수 있다. 메모리(209)는 전자 장치(101)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보와 같은 데이터를 저장할 수 있다. 메모리(209)는 저장부로 지칭될 수 있다. 메모리(209)는 휘발성 메모리(예: 휘발성 메모리(132)), 비휘발성 메모리(예: 비휘발성 메모리(134)) 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(209)는 프로세서(201)의 요청에 따라 저장된 데이터를 제공할 수 있다. 일 실시예에 따라, 메모리(209)는 실시예에 따른 깊이 맵 정보를 저장할 수 있다. 또한, 일 실시예에 따라, 메모리(209)는 실시예에 따른 깊이 맵 계산을 위한 적어도 하나의 파라미터(예: 가중치)를 저장할 수 있다. 또한, 일 실시예에 따라, 메모리(209)는 프로세서(201)에 의한 처리를 위해, 적어도 하나의 카메라(예: 카메라들(203) 중 적어도 하나)에 의해 촬영된 이미지들을 저장할 수 있다. 또한, 일 실시예에 따라, 메모리(209)는 카메라(예: 카메라들(203) 중 하나)의 AI(artificial intelligence) 학습을 위한 데이터를 저장할 수 있다.

전자 장치(101)는 적어도 하나의 카메라를 통해 이미지를 획득할 수 있다. 전자 장치(101)는 거리 정보(절대 거리 혹은 상대 거리)를 나타내는 깊이 맵을 획득할 수 있다. 전자 장치(101)는 깊이 맵에 기반하여 이미지의 전경과 배경을 분리할 수 있다. 전자 장치(101)는 배경에 흐림 효과(예: 보케 효과(Bokeh effect))나 다양한 효과들(예를 들어, 모노 효과, 또는 다른 색상이나 주밍, 스핀, 패닝 효과와 같이 배경을 교체하는 효과)을 제공할 수 있다. 이를 통해, 획득된 이미지의 주 피사체가 강조될 수 있다. 한편, 깊이 맵이 정확하지 않은 경우, 배경이 아닌 특정 영역이 흐려질 수 있다. 또한, 반대로, 다른 배경 영역은 흐려지지 않고 선명하게 표시될 수 있다.

상술된 배경 효과는 한 개의 카메라 또는 두 개 이상의 카메라들 통해 처리될 수 있다. 예를 들어, 전자 장치(101)는 한 개의 카메라를 통해 획득된 이미지 내에서 전경(예를 들어, 주 피사체가 포함된 영역)과 배경의 분할 기술을 통하여 분할된 배경에 보케 효과(이하, 싱글 보케 효과)를 적용할 수 있다. 최근에는 AI 기술의 발전으로, 한 개의 이미지로부터 단순 전경과 배경의 분리(Segmentation)가 아닌 다양한 거리 정보를 담고 있는 깊이 맵을 추출할 수 있다. 또한, 예를 들어, 전자 장치(101)는 두 개 이상의 카메라들로부터 한 프레임에서(예를 들어, 동시에) 획득된 이미지들을 통해 깊이 맵(depth map)을 획득할 수 있다. 전자 장치(101)는 깊이 맵을 통해, 전경과 배경을 분할하고, 배경에 보케 효과(이하, 더블 보케 효과 혹은 멀티 보케 효과)를 적용할 수 있다. 또한, 전자 장치(101)는 깊이 정보를 취득하는 별도의 수단(예: TOF(Time of flight) 센서, 구조광 필드(structure light field), 3D 이미지 센서(3D image sensor), 어레이 카메라(array camera))을 이용하여, 깊이 정보를 획득할 수 있다. 전자 장치(101)는 상기 획득된 깊이 정보를 통해, 이미지의 전경과 배경을 분할할 수 있다. 전자 장치(101)는 이미지의 배경에 흐림 효과를 적용할 수 있다.

두 개 이상의 카메라들을 이용한 깊이 맵이나, 별도의 수단을 통해 깊이 정보를 취득하는 것은, 일반적으로, 한 개의 카메라에서 처리된 결과보다 더 정확한 결과를 제공한다. 하지만, 앞서 기술한 두 개 이상의 카메라로부터 취득한 이미지들로부터 추출 및 계산되는 깊이 맵의 경우, 취득된 이미지들 간의 이미지 편차(예를 들어, 밝기, 노이즈, 선명도, 왜곡 과 같은 렌즈 특성)에 따라 오류를 발생시킬 가능성이 있다. 뿐만 아니라, 특징 매칭(feature matching)이 어려운 무질감(texture-less), 반사, 포화, 투명 피사체에서 깊이 맵 오류가 발생할 수 있다. 또한, 카메라들 간 시차 차이가 많이 발생하게 되는 근접 거리와 카메라간의 물리적 특성(예: 렌즈, 센서 성능) 차이가 극대화되는 극저조도에서도 깊이 맵 오류가 많이 발생할 수 있다.

깊이 맵 오류는 결국 전경과 배경을 분리하는 데에 있어서 잘못된 결과를 야기한다. 예를 들어, 배경에 적용될 블러 효과나 다른 교체 효과(예: 주밍, 스핀, 패닝)의 품질에 문제를 야기한다. 따라서, 카메라들 간 품질 차이가 높은 상황에서는, 전자 장치(101)는 단일 카메라에서 추출된 이미지를 학습하여, 깊이 맵을 추출하는 방식(이하, 단일 카메라 깊이 맵 추출 방식)을 통해 오류를 개선할 수 있다. 본 개시의 실시예들은, 상술된 다양한 오류 원인들 및 물리적 한계로 인해 발생할 수 있는 상대적 거리 오류 상황에서, 단일 AI 카메라 깊이 맵 추출 방식을 통해, 깊이 맵을 획득함으로써, 이미지 처리를 위한 최적의 결과를 제공하고자 한다. 단일 AI 깊이 맵 추출 방식을 복수의 카메라들을 이용한 깊이 맵 계산 방식과 함께 적용함으로써, 깊이 맵의 오류를 줄일 수 있다.

실시예들에 따른 후술하는 동작들을 수행하기 위해, 전자 장치(101)의 프로세서(201)는 다양한 구성요소들(components)을 포함할 수 있다. 예를 들어, 프로세서(201)에 포함되는 구성요소들은 하드웨어 및/또는 소프트웨어 형태로 포함될 수 있다. 예를 들어, 구성요소들의 적어도 일부는, 프로세서(201)에서 실행되는 적어도 하나의 명령어를 포함하는 소프트웨어를 포함할 수 있다. 이 경우, 구성요소의 동작은 프로세서(201)의 동작으로 이해될 수 있다.

프로세서(201)는 이미지 거리 판단부를 포함할 수 있다. 프로세서(201)는 이미지 내 객체로부터의 거리를 측정할 수 있다. 예를 들어, 프로세서(201)는 센서(205)를 통해 거리를 측정할 수 있다. 또한, 예를 들어, 프로세서(201)는 카메라들(203) 중 적어도 하나를 통해 거리를 측정할 수 있다. 또한, 예를 들어, 프로세서(201)는 거리 정보 취득을 위한 별도의 수단(예: 어레이 카메라, 3D 이미지 센서, 구조광 필드 카메라)을 통해 거리를 측정할 수 있다. 또한, 예를 들어, 프로세서(201)는 다양한 방식들 중 적어도 하나 혹은 적어도 둘 이상의 조합을 통해 딥러닝(deep learning)을 수행할 수 있다. 프로세서(201)는 딥러닝 결과에 따라 거리를 획득할 수 있다. 또한, 예를 들어, 프로세서(201)는 오토 포커싱에 따른 오토 포커스 값을 통해 거리를 획득할 수 있다.

프로세서(201)는 이미지 조도 판단부를 포함할 수 있다. 프로세서(201)는 조도를 측정할 수 있다. 예를 들어, 프로세서(201)는 센서(205)를 통해 주변의 밝기 값을 측정할 수 있다. 또한, 예를 들어, 프로세서(201)는 단일 카메라 또는 복수의 카메라들을 통해 광을 측정할 수 있다. 또한, 예를 들어, 프로세서(201)는 입력되는 이미지의 픽셀 값을 분석함으로써, 밝기 값을 획득할 수 있다.

프로세서(201)는 이미지 씬(scene) 분석부를 포함할 수 있다. 프로세서(201)는 이미지에 대한 딥러닝을 수행할 수 있다. 프로세서(201)는 이전에 저장된 이미지들 및 현재 이미지에 기반하여, 딥러닝에 따른 씬 분석을 수행할 수 있다. 일 실시예에 따라, 프로세서(201)는 복수의 카메라들을 통해 획득된 이미지 정보에 기반하여, 폐쇄(occlusion) 발생 영역을 계산할 수 있다. 폐쇄란, 특정 위치에 배치되는 객체로 인해 카메라의 뷰포인트로부터 상기 객체 뒤의 영역이 검출되지 않는 현상을 의미한다. 상기 객체로 인해, 영상에 사각지대가 발생할 수 있다. 제1 카메라를 통해 획득된 이미지에서의 폐쇄 발생 영역은 제1 폐쇄 발생 영역으로 지칭될 수 있다. 제2 카메라를 통해 획득된 이미지에서의 폐쇄 발생 영역은 제2 폐쇄 발생 영역으로 지칭될 수 있다. 프로세서(201)는 제1 폐쇄 발생 영역과 제2 폐쇄 발생 영역 간 차이를 계산할 수 있다. 프로세서(201)는 상기 차이가 지정된 범위 이내라면, 복수의 카메라들을 이용한 깊이 맵 추출이 가능함을 식별할 수 있다. 또한, 일 실시예에 따라, 프로세서(201)는 복수의 카메라들을 통해 획득된 이미지 정보에 기반하여, 상기 복수의 카메라들 간 정합 정도를 계산할 수 있다. 프로세서(201)는 정합 정도에 기반하여, 복수의 카메라들을 이용한 깊이 맵 추출이 오류 없이 동작 가능한지 여부를 식별할 수 있다. 프로세서(201)는 카메라들 간 이미지 정보의 차이가 지정된 범위 이내라면, 복수의 카메라들을 이용한 깊이 맵 추출이 가능함을 식별할 수 있다.

실시예들에 따른 프로세서(201)는, 깊이 맵을 계산하기 전에, 전자 장치(101)의 촬영 환경의 상태에 적합한 깊이 맵(depth map) 계산 방식을 식별할 수 있다. 프로세서(201)는 깊이 맵 계산 방식 판단부를 포함할 수 있다. 깊이 맵 계산 방식 판단부는, 가중치 계산부를 포함할 수 있다. 깊이 정보를 계산하기 위해, 다양한 방식들이 정의될 수 있다. 상기 다양한 방식들은 복수의 카메라들을 이용하여 깊이 맵을 결정하는 제1 방식 및 단일 카메라의 AI 학습을 이용하여 깊이 맵을 결정하는 제2 방식을 포함할 수 있다. 프로세서(201)는 제1 방식과 제2 방식의 조합에 기반하여 깊이 맵을 결정할 수도 있다. 따라서, 프로세서(201)는 제1 방식에 적용될 가중치(이하, 제1 가중치)와 제2 방식에 적용될 가중치(이하, 제2 가중치)를 결정할 수 있다. 예를 들어, 프로세서(201)는, 제1 방식에 기반하여 깊이 맵을 결정하기 위해, 제1 가중치를 100%로 설정할 수 있다. 제2 가중치는 0일 수 있다. 프로세서(201)는 제2 방식에 따른 깊이 맵을 계산하지 않고, 이미지 프레임에 대한 깊이 맵 정보를 획득할 수 있다. 또한, 예를 들어, 프로세서(201)는, 제2 방식에 기반하여 깊이 맵을 결정하기 위해, 제2 가중치를 100%로 설정할 수 있다. 제1 가중치는 0일 수 있다. 프로세서(201)는 제1 방식에 따른 깊이 맵을 계산하지 않고, 이미지 프레임에 대한 깊이 맵 정보를 획득할 수 있다. 또한, 예를 들어, 프로세서(201)는 제1 방식에 초점을 두어, 깊이 맵을 결정할 수 있다. 이러한, 깊이 맵 결정은, 제1 방식 기반 깊이 맵 결정으로 지칭될 수 있으며, 제1 가중치는 제2 가중치보다 크게 결정될 수 있다. 또한, 예를 들어, 프로세서(201)는 제2 방식에 초점을 두어, 깊이 맵을 결정할 수 있다. 이러한, 깊이 맵 결정은, 제2 방식 기반 깊이 맵 결정으로 지칭될 수 있으며, 제2 가중치는 제1 가중치보다 크게 결정될 수 있다.

일 실시예에 따라, 프로세서(201)는 이미지 전체에 대한 가중치를 계산할 수 있다. 프로세서(201)는 이미지 전체에 적용될 깊이 맵 계산 방식을 결정하기 위한 가중치를 계산할 수 있다. 또한, 일 실시예에 따라, 프로세서(201)는 이미지의 국소 영역 별 가중치를 계산할 수 있다. 국소 영역 별로 깊이 맵 계산 방식이 다를 수 있다. 예를 들어, 프로세서(201)는, 객체가 포함된 영역에 대해, 제2 방식으로 깊이 맵을 계산하고, 객체가 포함되지 않은 영역에 대해, 제1 방식으로 깊이 맵을 계산할 수 있다. 영역마다 적용되는 가중치가 다를 수 있다.

실시예들에 따른 프로세서(201)는 카메라 선택부를 포함할 수 있다. 프로세서(201)는, 깊이 맵 계산 방식에 따른 적어도 하나의 카메라를 식별할 수 있다. 상기 식별되는 적어도 하나의 카메라는 깊이 맵을 계산하기 위해 이용될 수 있다. 일 실시예에 따라, 깊이 맵 계산 방식으로 제2 방식이 결정되는 경우, 프로세서(201)는 높은 품질을 제공하는 단일 카메라를 선택할 수 있다. 예를 들어, 저조도에서, 프로세서(201)는 광각 카메라를 식별할 수 있다. 또한, 예를 들어, 근접한 객체를 위해, 프로세서(201)는 초광각 카메라를 식별할 수 있다. 일부 실시예들에서, 프로세서(201)는 식별된 카메라를 활성시키기 위해, 카메라 스위칭을 수행할 수 있다.

프로세서(201)는 깊이 정보 획득부를 포함할 수 있다. 프로세서(201)는 가중치에 기반하여 깊이 정보를 획득할 수 있다. 프로세서(201)는, 제1 방식에 기반하여 제1 깊이 맵을 획득할 수 있다. 프로세서(201)는, 제2 방식에 기반하여 제2 깊이 맵을 획득할 수 있다. 프로세서(201)는, 제1 가중치를 상기 제1 깊이 맵에 적용할 수 있다. 프로세서(201)는, 제2 가중치를 상기 제2 깊이 맵에 적용할 수 있다. 프로세서(201)는, 상기 제1 가중치를 상기 제1 깊이 맵에 적용하고, 상기 제2 가중치를 상기 제2 깊이 맵에 적용함으로써, 깊이 정보를 획득할 수 있다. 예를 들어, 제1 가중치가 0인 경우, 프로세서(201)는, 상기 제2 가중치를 상기 제2 깊이 맵에 적용함으로써, 깊이 정보를 획득할 수 있다. 또한, 예를 들어, 제2 가중치가 0인 경우, 프로세서(201)는, 상기 제1 가중치를 상기 제1 깊이 맵에 적용함으로써, 깊이 정보를 획득할 수 있다. 일 실시예에 따라, 이미지 내 영역 별로 깊이 맵 계산 방식이 다를 수 있다. 다시 말해, 이미지 내 영역 별로 가중치가 다르게 설정될 수 있다. 프로세서(201)는 각 영역 별 깊이 맵을 산출한 뒤, 산출된 깊이 맵들을 병합함으로써, 이미지의 전체 영역을 위한 깊이 맵을 획득할 수 있다.

프로세서(201)는 전경 및 배경 영역 분할부를 포함할 수 있다. 프로세서(201)는 이미지 내의 전경 영역과 배경 영역을 구별할 수 있다. 프로세서(201)는 깊이 정보에 기반하여, 이미지 내의 전경 영역 및 배경 영역을 각각 식별할 수 있다. 해당 영역의 깊이 값이 기준 값 미만 인 경우, 프로세서(201)는 상기 해당 영역을 전경 영역을 식별할 수 있다. 전경 영역은 이미지 내에서 배경 영역을 제외한 영역을 의미한다. 전경 영역은 검출된 객체(예: 주 피사체)를 포함할 수 있다. 해당 영역의 깊이 값이 기준 값 이상 인 경우, 프로세서(201)는 상기 해당 영역을 배경 영역을 식별할 수 있다. 배경 영역은 이미지 내에서 전경 영역을 제외한 영역을 의미한다.

프로세서(201)는 배경 효과 적용부를 포함할 수 있다. 프로세서(201)는 배경 영역에 지정된 효과를 적용할 수 있다. 지정된 효과란, 배경 영역에 추가적으로 수행되는 처리를 의미한다. 예를 들어, 지정된 효과는 보케 효과, 블러 효과, 또는 모션 효과를 포함할 수 있다. 여기서, 모션 효과는 지정된 방식(예: 주밍, 스핀, 패닝)의 추가적인 처리를 의미한다.

이하, 도 2의 구성요소들에 기반하여, 두 가지 방식들을 적응적으로 선택하거나, 두 가지 방식들을 가중치들과 함께 조합함으로써, 깊이 맵 정보를 획득하기 위한 전자 장치의 동작 흐름이 서술된다.

도 3a는 실시예들에 따른, 정합 조건에 기반하여 깊이 맵 정보를 획득하기 위한 전자 장치의 동작 흐름을 도시한다. 전자 장치(예: 전자 장치(101))는, 복수의 카메라들을 이용한 깊이 맵 산출 방식에 대한 정합 조건을 충족하는지 여부를 식별할 수 있다. 전자 장치(101)는, 상기 정합 조건의 충족 여부의 결과에 기반하여, 깊이 맵 정보를 획득할 수 있다. 정합 조건은, 복수의 카메라들(예: 카메라들(203))에서 획득되는 정보 간 차이로 인해, 복수의 카메라들을 이용하여 깊이 맵 결정 시 오류가 발생하지 않도록 요구되는 조건을 의미한다. 다시 말해, 정합 조건이 충족되지 않는다면, 복수의 카메라들을 이용하여 깊이 맵 결정 시 오류가 발생할 것이 예상될 수 있다. 예를 들어, 저조도 혹은 초근접 거리로 인해, 카메라들 간 시차가 커지는 경우, 카메라들 각각에서 획득되는 정보의 차이가 커질 수 있다. 또한, 예를 들어, 카메라들 각각의 유형에 따라, 취득되는 이미지들 간 품질 차이가 다를 수 있다.

도 3a를 참고하면, 동작(301)에서, 전자 장치(101)는 제1 카메라를 이용하여 프레임의 제1 이미지 정보를 획득할 수 있다. 동작(303)에서, 전자 장치(101)는 제2 카메라를 이용하여 상기 프레임의 제2 이미지 정보를 획득할 수 있다. 동작(301)과 동작(303)은 동일 프레임에 대해 수행될 수 있다. 전자 장치(101)는 복수의 카메라들(예를 들어, 제1 카메라 및 제2 카메라)을 이용하여 깊이 맵을 결정하기 위해, 복수의 카메라들 각각을 통해 동일 프레임에 대한 이미지를 획득할 수 있다. 상기 제1 카메라 및 상기 제2 카메라 중 하나는 메인 카메라, 다른 하나는 서브 카메라로 이용될 수 있다. 일 예로, 제1 카메라는 광각 카메라이고, 제2 카메라는 초광각 카메라일 수 있다. 다른 일 예로, 제1 카메라는 초광각 카메라이고, 제2 카메라는 광각 카메라일 수 있다. 또한, 일 예로, 제1 카메라는 망원 카메라이고, 제2 카메라는 광각 카메라일 수 있다. 다른 일 예로, 제1 카메라는 광각 카메라이고, 제2 카메라는 망원 카메라일 수 있다.

동작(305)에서, 전자 장치(101)는 정합 조건에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 정합 조건은, 복수의 카메라들(예: 카메라들(203))에서 획득되는 이미지 정보를 통해 깊이 맵 결정이 가능하기 위한 요구 사항들을 의미할 수 있다. 예를 들어, 정합 조건이 충족되지 않는다면, 복수의 카메라들을 이용하여 깊이 맵 결정 시 오류가 발생할 것이 예상될 수 있다. 깊이 맵 계산 방식은, 복수의 카메라들을 이용하여 깊이 맵을 결정하는 제1 방식, 단일 카메라의 AI 학습을 이용하여 깊이 맵을 결정하는 제2 방식, 또는 상기 제1 방식 및 상기 제2 방식을 결합하여 깊이 맵을 결정하는 제3 방식을 포함할 수 있다.

일 실시예에 따라, 전자 장치(101)는 밝기 값에 따른 정합 조건에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 전자 장치(101)는 밝기 값을 획득하기 위해, 카메라를 통한 측광, 밝기 센서(혹은 조도 센서), 입력 이미지 픽셀 값을 이용할 수 있다. 전자 장치(101)는, 임계 값보다 작은 밝기 값을 획득하는 것에 기반하여, 깊이 맵 계산 방식을 제2 방식으로 결정할 수 있다. 전자 장치(101)는, 임계 값 이상의 밝기 값을 획득하는 것에 기반하여, 깊이 맵 계산 방식을 제1 방식으로 결정할 수 있다. 저조도에서는 광학적 제약에 의해, 카메라들 간 시차가 발생할 수 있다. 저조도에서는 제1 카메라의 품질이 제2 카메라의 품질보다 좋거나, 제2 카메라의 품질이 제1 카메라의 품질이 더 좋을 수 있다. 예를 들어, 메인 카메라가 망원 카메라이고, 서브 카메라가 광각 카메라일 수 있다. 저조도에서는 광각 카메라의 품질이 망원 카메라의 품질보다 높을 수 있다. 복수의 카메라들을 이용한 깊이 맵 계산 방식에서는, 메인 카메라의 화각이 서브 카메라의 화각보다 작은 경우, 깊이 맵의 추출이 유리하다. 따라서, 서브 카메라의 화각이 메인 카메라의 화각보다 좁거나, 서브 카메라의 품질과 메인 카메라의 품질의 차이가 큰 경우, 복수의 카메라들을 이용한 깊이 맵 계산 방식은 오류를 야기할 수 있다.

일 실시예에 따라, 전자 장치(101)는 근접 거리에 따른 정합 조건에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 전자 장치(101)는, 거리 값을 획득하기 위해, TOF(Time of flight) 센서, 구조광 카메라, 3D 이미지 센서, 어레이 카메라, 또는 복수의 카메라들을 이용하는 깊이 맵을 이용할 수 있다. 또한, 전자 장치(101)는, 거리 값을 획득하기 위해, 템플릿(templet)을 이용한 소프트웨어 취득 방식, 딥러닝(Deep Learning)을 이용한 소프트웨어 취득 방식, 또는 오토 포커스 값을 이용한 계산 방식을 이용할 수 있다. 전자 장치(101)는, 기준 값보다 작은, 객체의 거리 값을 획득하는 것에 기반하여, 깊이 맵 계산 방식을 제2 방식으로 결정할 수 있다. 전자 장치(101)는, 상기 기준 이상의 상기 거리 값을 획득하는 것에 기반하여, 깊이 맵 계산 방식을 제1 방식으로 결정할 수 있다. 예를 들어, 메인 카메라는 광각 카메라이고, 서브 카메라는 초광각 카메라일 수 있다. 객체가 초 근접거리에 위치하는 경우, 광각 카메라보다 초광각 카메라를 통해 이미지를 획득하는 것이 더 높은 품질을 제공할 수 있다. 두 카메라들 간 품질 차이가 있으므로, 싱글 AI 방식으로 깊이 맵을 산출하는 것이 보다 유리할 수 있다.

일 실시예에 따라, 전자 장치(101)는 이미지 분석에 따른 정합 조건에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 전자 장치(101)는, 이미지 분석을 수행할 수 있다. 전자 장치(101)는 두 카메라들 각각을 통해 획득된 이미지를 분석할 수 있다. 전자 장치(101)는 이미지 분석의 결과에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 예를 들어, 제1 이미지 정보의 폐쇄 발생 영역과 제2 이미지 정보의 폐쇄 발생 영역 간 비교에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 전자 장치(101)는, 제1 카메라를 통해 프레임에 대한 제1 이미지 정보를 획득할 수 있다. 전자 장치(101)는 제2 카메라를 통해 상기 프레임에 대한 제2 이미지 정보를 획득할 수 있다. 전자 장치(101)는 제1 이미지 정보 및 제2 이미지 정보를 비교할 수 있다. 전자 장치(101)는 제1 이미지 정보 및 제2 이미지 정보의 비교 결과에 기반하여 차이 정보를 획득할 수 있다. 전자 장치(101)는 상기 차이 정보에 기반하여, 상기 제1 이미지 정보 및 상기 제2 이미지 정보의 결합을 통해 깊이 맵의 획득이 가능한지 여부를 식별할 수 있다. 일 실시예에 따라, 전자 장치(101)는 상기 제1 이미지 정보 및 상기 제2 이미지 정보의 결합을 통해 깊이 맵의 획득이 가능함을 식별하는 것에 기반하여, 깊이 맵 계산 방식을 제1 방식으로 결정할 수 있다. 전자 장치(101)는 상기 제1 이미지 정보 및 상기 제2 이미지 정보의 결합을 통해 깊이 맵의 획득이 불가능함을 식별하는 것에 기반하여, 깊이 맵 계산 방식을 제2 방식으로 결정할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 상기 제1 이미지 정보 및 상기 제2 이미지 정보의 결합의 정도에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 상기 제1 이미지 정보 및 상기 제2 이미지 정보의 결합의 정도가 높을수록, 제1 방식에 적용될 가중치를 높일 수 있다. 상기 제1 이미지 정보 및 상기 제2 이미지 정보의 결합의 정도가 낮을수록, 제2 방식에 적용될 가중치를 높일 수 있다.

전자 장치(101)는 상술된 정합 조건들 중 적어도 하나에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 전자 장치(101)는, 주어진 상황에 따라, 복수의 카메라들을 이용하여 깊이 맵을 산출하는 제1 방식, 단일 카메라의 AI 기법을 이용하여 깊이 맵을 산출하는 제2 방식, 상기 제1 방식 및 상기 제2 방식을 결합하여 깊이 맵을 결정하는 제3 방식 중에서 가장 좋은 성능(이하, 최적의 성능)을 제공하는 방식을 식별할 수 있다. 여기서, 좋은 성능이란 깊이 맵이 보다 정확하게 도출됨을 의미한다. 제3 방식을 이용하는 경우, 전자 장치(101)는 상기 제1 방식을 위한 제1 가중치와 상기 제2 방식을 위한 제2 가중치를 결정할 수 있다.

전자 장치(101)는 이미지의 프레임에 대하여 동일한 가중치를 계산하거나, 영역 별로 독립적으로 가중치를 계산할 수 있다. 여기서, 가중치는 제1 방식과 제2 방식을 결합하여 깊이 맵 산출 시, 제1 방식과 제2 방식 각각에 적용되는 비율을 의미한다. 제1 방식에는 제1 가중치가 적용되고, 제2 방식에는 제2 가중치가 적용될 수 있다. 일 실시예에 따라, 복수의 카메라들을 이용하여 깊이 맵을 산출하는 제1 방식이 최적의 성능을 제공하는 경우, 전자 장치(101)는 제1 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 일 예로, 전자 장치(101)는 제1 가중치를 0, 제2 가중치를 100%로 설정할 수 있다. 또한, 일 실시예에 따라, 단일 카메라의 AI 기법을 이용하여 깊이 맵을 산출하는 제2 방식이 최적의 성능을 제공하는 경우, 전자 장치(101)는 제2 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 전자 장치(101)는 제1 가중치를 100%, 제2 가중치를 0으로 설정할 수 있다. 또한, 일 실시예에 따라, 상기 제1 방식의 제1 가중치 및 상기 제2 방식의 제2 가중치에 따른 제3 방식이 최적의 성능을 제공하는 경우, 전자 장치(101)는 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 제3 방식에서, 전자 장치(101)는 영역 별로 가중치를 다르게 설정함으로써, 단일 방식(예: 제1 방식 또는 제2 방식)의 깊이 영상을 보완할 수 있다.

일 실시예에 따라, 전자 장치(101)는, 밝기 값이 기준 값 미만인 경우, 상기 제2 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제2 방식을 위한 제2 가중치가 상기 제1 방식을 위한 제1 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 저조도 환경에서는 카메라들 간 물리적인 특성 차이로 인해, 밝기 차이가 발생할 수 있기 때문이다.

일 실시예에 따라, 전자 장치(101)는, 객체로부터의 거리 값이 기준 값 미만인 경우, 상기 제2 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제2 방식을 위한 제2 가중치가 상기 제1 방식을 위한 제1 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 초근접거리에서는, 화각이 넓은 카메라를 이용한 품질과 화각이 상대적을 좁은 카메라를 이용한 품질 간의 차이가 크기 때문이다.

일 실시예에 따라, 전자 장치(101)는 휘도가 포화된 영역이거나, 이동 객체가 포함된 영역, 혹은 지정된 유형의 객체가 위치한 영역에 대해서는, 상기 제2 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 또는, 전자 장치(101)는, 상기 영역에 대하여, 상기 제2 방식을 위한 제2 가중치가 상기 제1 방식을 위한 제1 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 특징 매칭(feature matching)이 어려운 무질감(texture-less), 반사, 포화, 투명 피사체에서 깊이 맵 오류가 발생할 수 있다. 따라서, 단일 객체에 대해서는 일관된 처리가 요구될 수 있다.

일 실시예에 따라, 전자 장치(101)는 두 카메라들을 통해 획득된 이미지 정보간 차이가 임계 값보다 큰 경우, 상기 제2 방식을 위한 제2 가중치가 상기 제1 방식을 위한 제1 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 취득된 이미지들 간의 이미지 편차(예를 들어, 밝기, 노이즈, 선명도, 왜곡과 같은 렌즈 특성)는, 깊이 맵에 대한 오류를 발생시킬 가능성이 있다. 예를 들어, 복수의 카메라들을 이용하는 제1 방식에서는, 두 이미지들 간 결합 시 오류가 발생할 확률이 높기 때문에, 전자 장치(101)는 제1 카메라를 통해 획득된 제1 이미지 정보와 제2 카메라를 통해 획득된 제2 이미지 정보 간 차이에 기반하여, 깊이 맵 계산 방식으로 결정할 수 있다.

동작(307)에서, 전자 장치(101)는 깊이 맵 정보를 획득할 수 있다. 전자 장치(101)는 깊이 맵 계산 방식에 기반하여 적어도 하나의 카메라를 식별할 수 있다. 상기 깊이 맵 계산 방식이 제1 방식이거나 제3 방식인 경우, 전자 장치(101)는, 복수의 카메라들을 식별할 수 있다. 전자 장치(101)는 복수의 카메라들에 기반하여 깊이 맵 정보를 획득할 수 있다. 상기 깊이 맵 계산 방식이 제2 방식인 경우, 전자 장치(101)는, 단일 카메라(예: 단일 카메라)를 식별할 수 있다. 전자 장치(101)는 상기 단일 카메라에 기반하여 깊이 맵 정보를 획득할 수 있다. 일부 실시예들에서, 전자 장치(101)는 단일 카메라의 성능을 높이기 위해, 카메라 스위칭을 수행할 수 있다.

전자 장치(101)는 식별된 적어도 하나의 카메라를 통해, 깊이 맵 정보를 획득할 수 있다. 전자 장치(101)는 각 방식에 적용될 가중치에 기반하여 깊이 정보를 계산할 수 있다. 전자 장치(101)는 복수의 카메라들을 이용한 방식(예를 들어, 제1 방식)에 따라 획득되는 깊이 맵(이하, 제1 깊이 맵)과 단일 카메라의 딥러닝(deep Learning)을 이용하는 AI 방식(예를 들어, 제2 방식)에 따라 획득되는 깊이 맵(이하, 제2 깊이 맵) 간 국부적인 가중치를 계산하여 깊이 맵 정보를 획득할 수 있다. 일 예로, 전자 장치(101)는 제1 방식만을 이용하여 깊이 맵 정보를 획득할 수 있다. 상기 깊이 맵 정보는 제1 깊이 맵을 포함할 수 있다. 제2 방식에 적용되는 가중치는 0일 수 있다. 전자 장치(101)는 제2 방식에 따른 깊이 맵 계산 절차 없이, 제1 방식만을 이용하여 깊이 맵 정보를 획득할 수 있다. 또한, 일 예로, 전자 장치(101)는 제2 방식만을 이용하여 깊이 맵 정보를 획득할 수 있다. 상기 깊이 맵 정보는 제2 깊이 맵을 포함할 수 있다. 제1 방식에 적용되는 가중치는 100%일 수 있다. 전자 장치(101)는 제1 방식에 따른 깊이 맵 계산 절차 없이, 제2 방식만을 이용하여 깊이 맵 정보를 획득할 수 있다.

동작(309)에서, 전자 장치(101)는 배경 효과를 적용할 수 있다. 전자 장치(101)는, 프레임의 이미지의 영역들을 전경 영역과 배경 영역으로 구별할 수 있다. 전자 장치(101)는 깊이 맵 정보에 기반하여, 이미지의 배경 영역을 식별할 수 있다. 예를 들어, 전자 장치(101)는 획득된 깊이 정보에서 포커스 영역 기준으로 전경과 배경을 분할할 수 있다. 전자 장치(101)는 상기 배경 영역에 배경 효과를 적용할 수 있다. 상기 배경 효과는, 배경 영역에 수행되는 시각적인 처리를 의미한다. 예를 들어, 배경 효과는 보케 효과, 블러 효과, 또는 모션 효과(예: 주밍, 스핀, 패닝)를 포함할 수 있다. 전자 장치(101)는 분할된 배경에 블러(blur) 처리, 빛망울 보케(bokeh) 처리와 같은 처리 방법을 통해 배경 흐림 효과를 제공할 수 있다. 전자 장치(101)는 배경 효과가 적용된 이미지를 디스플레이를 통해 출력할 수 있다.

깊이 맵 계산 방식을, 깊이 맵을 획득하기 전에 결정함으로써, 불필요한 연산량을 감소시킬 수 있다. 예를 들어, 제2 방식을 깊이 맵 계산 방식으로 결정하는 경우, 전자 장치(101)는 제1 방식에 따른 깊이 맵을 계산하지 않을 수 있다. 전자 장치(101)는 복수의 카메라들을 이용한 깊이 맵의 획득 절차 없이, 단일 카메라에 기반하여 깊이 맵을 획득할 수 있다. 전자 장치(101)는, 정합 조건을 사전에 판단함으로써, 적은 연산량으로 보다 정확한 성능을 달성할 수 있다. 한편, 도 3a에서는 카메라를 통해 이미지 정보를 획득한 뒤, 깊이 맵 계산 방식을 결정하는 동작이 서술되었으나, 본 개시의 실시예들은 이에 한정되지 않는다. 다른 일 실시예에 따라, 카메라를 통해 이미지 정보를 획득하기 전에, 정합 조건에 기반하여 카메라 설정이 우선적으로 수행될 수 있다. 이하, 도 3b에서는, 정합 조건에 따른 카메라 설정이 우선적으로 수행되는 실시예가 서술된다.

도 3b는 일 실시예에 따른, 정합 조건에 기반하여 설정된 카메라를 통해 깊이 맵 정보를 획득하기 위한 전자 장치의 동작 흐름을 도시한다.

도 3b를 참고하면, 동작(351)에서, 전자 장치(101)는 정합 조건에 기반하여 깊이 맵 계산 방식을 식별할 수 있다. 전자 장치(101)는 이미지를 촬영하기 전에, 전자 장치(101)의 센서를 통해 획득되는 파라미터에 따라, 깊이 맵 계산 방식을 결정할 수 있다. 일 실시예에 따라, 전자 장치(101)는 조도 센서를 통해 밝기 값을 획득할 수 있다. 전자 장치(101)는 밝기 값에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 예를 들어, 전자 장치(101)는, 밝기 값이 임계 값 이상임을 식별하는 것에 기반하여, 깊이 맵 계산 방식을 제1 방식으로 결정할 수 있다. 또한, 예를 들어, 전자 장치(101)는, 밝기 값이 임계 값 미만임을 식별하는 것에 기반하여, 깊이 맵 계산 방식을 제2 방식으로 결정할 수 있다.

일 실시예에 따라, 전자 장치(101)는 거리 감지 센서, 3D 이미지 센서, 혹은 구조광 카메라를 통해, 거리 값을 획득할 수 있다. 전자 장치(101)는 거리 값에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 예를 들어, 전자 장치(101)는, 거리 값이 기준 값 이상임을 식별하는 것에 기반하여, 깊이 맵 계산 방식을 제1 방식으로 결정할 수 있다. 또한, 예를 들어, 전자 장치(101)는, 거리 값이 기준 값 미만임을 식별하는 것에 기반하여, 깊이 맵 계산 방식을 제2 방식으로 결정할 수 있다.

동작(353)에서, 전자 장치(101)는 하나 이상의 카메라들을 식별할 수 있다. 전자 장치(101)는 깊이 맵 계산 방식에 기반하여, 복수의 카메라들 중에서 하나 이상의 카메라들을 식별할 수 있다. 전자 장치(101)는 제1 방식을 통해 깊이 맵을 획득하는 경우, 적어도 둘 이상의 카메라들을 식별할 수 있다. 전자 장치(101)는 제2 방식을 통해 깊이 맵을 획득하는 경우, 하나의 카메라를 식별할 수 있다.

예를 들어, 객체가 근접한 환경에서는 광각 카메라보다 초광각 카메라가 보다 나은 품질을 갖는 이미지를 전자 장치(101)에게 제공할 수 있다. 여기서, 품질이 좋음은, 초점 거리로 인해 피사체가 보다 선명하게 캡쳐됨을 의미할 수 있다. 일 실시예에 따라, 전자 장치(101)는 메인 카메라로서, 초광각 카메라를 식별할 수 있다. 전자 장치(101)는 주 피사체, 예를 들어, 객체가 기준 값 이내에 위치한 경우, 초광각 카메라를 식별할 수 있다. 전자 장치(101)는 초광각 카메라를 활성화할 수 있다. 현재 메인 카메라가 초광각 카메라가 아니라면, 전자 장치(101)는 카메라 스위칭을 통해, 메인 카메라를 초광각 카메라로 설정할 수 있다.

예를 들어, 밝기가 낮은 환경에서는, 망원 카메라보다 광각 카메라가 보다 나은 품질을 갖는 이미지를 전자 장치(101)에게 제공할 수 있다. 일 실시예에 따라, 전자 장치(101)는 메인 카메라로서, 광각 카메라를 식별할 수 있다. 전자 장치(101)는, 밝기가 임계 값보다 낮은 환경, 예를 들어, 저조도 환경에서, 광각 카메라를 식별할 수 있다. 전자 장치(101)는 광각 카메라를 활성화할 수 있다. 현재 메인 카메라가 광각 카메라가 아니라면, 전자 장치(101)는 카메라 스위칭을 통해, 메인 카메라를 광각 카메라로 설정할 수 있다.

동작(355)에서, 전자 장치(101)는 이미지 정보를 획득할 수 있다. 전자 장치(101)는 식별된 하나 이상의 카메라들을 통해 이미지 정보를 획득할 수 있다. 일 실시예에 따라, 근접 환경(기준 값 미만의 거리에 위치한 객체)에서, 전자 장치(101)는 초광각 카메라를 통해 이미지 정보를 획득할 수 있다. 또한, 일 실시예에 따라, 저조도 환경(임계 값 미만의 밝기 값을 갖는 환경)에서, 전자 장치(101)는 광각 카메라를 통해 이미지 정보를 획득할 수 있다. 또한, 일 실시예에 따라, 동작(353)에서 복수의 카메라들이 식별된 경우, 전자 장치(101)는 복수의 카메라들 각각을 통해 이미지 정보를 획득할 수 있다.

동작(357)에서, 전자 장치(101)는 깊이 맵 정보를 획득할 수 있다. 일 실시예에 따라, 전자 장치(101)는 제1 방식에 기반하여 깊이 맵 정보를 획득할 수 있다. 전자 장치(101)는 제2 방식으로 인한 깊이 맵의 계산 없이, 제1 방식에 기반하여 깊이 맵 정보를 획득할 수 있다. 전자 장치(101)는 복수의 카메라들 각각을 통해 획득된 이미지 정보를 결합함으로써, 깊이 맵 정보를 획득할 수 있다. 다른 일 실시예에 따라, 전자 장치(101)는 제2 방식에 기반하여 깊이 맵 정보를 획득할 수 있다. 전자 장치(101)는 제2 방식을 통해 설정된 메인 카메라 및 상기 메인 카메라의 AI 학습 기법에 기반하여, 깊이 맵 정보를 획득할 수 있다. 전자 장치(101)는 복수의 카메라들을 이용하는 깊이 맵의 계산 없이, 제2 방식에 기반하여 깊이 맵 정보를 획득할 수 있다.

동작(359)에서, 전자 장치(101)는 배경 효과를 적용할 수 있다. 전자 장치(101)는, 프레임의 이미지의 영역들을 전경 영역과 배경 영역으로 구별할 수 있다. 전자 장치(101)는 동작(357)의 깊이 맵 정보에 기반하여, 이미지의 배경 영역을 식별할 수 있다. 전자 장치(101)는 상기 배경 영역에 배경 효과(예: 보케 효과, 블러 효과, 또는 모션 효과(예: 주밍, 스핀, 패닝))를 적용할 수 있다. 전자 장치(101)는 배경 효과가 적용된 이미지를 디스플레이를 통해 출력할 수 있다.

도 4a는 일 실시예에 따른, 밝기 값에 따른 깊이 맵 계산 방식을 선택하기 위한 전자 장치의 동작 흐름을 도시한다. 전자 장치(예: 전자 장치(101))는 다양한 방식들 중에서 깊이 맵 계산 방식을 선택하거나, 적어도 2개의 방식들에 가중치를 적용하는 깊이 맵 계산 방식을 결정할 수 있다. 상기 다양한 방식들은 복수의 카메라들을 이용하여 깊이 맵을 결정하는 제1 방식 및 단일 카메라의 AI 학습을 이용하여 깊이 맵을 결정하는 제2 방식을 포함할 수 있다. 전자 장치(101)의 동작은 프로세서(예: 프로세서(201)) 및 조도 센서(예: 센서(205))에 의해 수행될 수 있다.

도 4a를 참조하면, 동작(401)에서, 전자 장치(101)는 밝기 값을 획득할 수 있다. 일 실시예에 따라, 전자 장치(101)는 조도 센서(예: 센서(205))를 통해 프레임의 밝기 값을 획득할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 촬영된 이미지의 픽셀 값에 기반하여, 밝기 값을 획득할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 적어도 하나의 카메라를 통한 측광에 기반하여, 밝기 값을 획득할 수 있다.

동작(403)에서, 전자 장치(101)는 밝기 값이 임계 값보다 작은지 여부를 식별할 수 있다. 전자 장치(101)는 이미지를 촬영하는 주변 환경이 저조도 환경인지 여부를 식별할 수 있다. 상기 임계 값은, 카메라들 간 품질 차이로 인해 깊이 맵의 오류가 예상되는지 여부를 식별하기 위해 이용될 수 있다. 극저조도에서는, 카메라 간의 물리적 특성(예: 렌즈, 센서 성능)의 차이가 극대화될 수 있다. 노출 값의 차이 혹은 수광부의 차이로 인해, 조도가 낮을수록, 카메라들을 통해 획득되는 이미지들 간 품질 차이가 크게 발생할 수 있다.

전자 장치(101)는 상기 밝기 값이 상기 임계 값보다 작지 않은 경우, 동작(405)을 수행할 수 있다. 전자 장치(101)는 상기 밝기 값이 상기 임계 값보다 작은 경우, 동작(407)을 수행할 수 있다.

동작(405)에서, 전자 장치(101)는 제1 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 전자 장치(101)는 복수의 카메라들을 이용하여 깊이 맵을 획득할 수 있다. 전자 장치(101)는, 현재 밝기 값이 카메라들 간의 성능 편차로 인해 오류를 야기할 만큼 어둡지 않는다면, 복수의 카메라들을 이용하여 깊이 맵을 획득할 수 있다.

동작(407)에서, 전자 장치(101)는 제2 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 전자 장치(101)는 단일 카메라의 학습 결과를 통해 깊이 맵을 획득할 수 있다. 이 때, 전자 장치(101)의 메인 카메라를 통해 획득된 이미지의 품질보다 서브 카메라를 통해 획득된 이미지의 품질이 더 좋은 경우, 전자 장치(101)는 현재의 서브 카메라가 메인 카메라가 되도록 카메라 스위칭을 수행할 수 있다.

도 4b는 일 실시예에 따른, 밝기 값에 따른 깊이 맵 계산 방식의 선택의 예를 도시한다.

도 4b를 참조하면, 전자 장치(예: 전자 장치(101))는 복수의 카메라들을 통해 프레임에 대한 이미지들을 획득할 수 있다. 전자 장치(101)는 제1 카메라를 통해 상기 프레임에서 제1 이미지(451)를 획득할 수 있다. 전자 장치(101)는 제2 카메라를 통해 상기 프레임에서 제2 이미지(453)를 획득할 수 있다.

전자 장치(101)는 밝기 값을 획득할 수 있다. 전자 장치(101)는 밝기 값에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 일 실시예에 따라, 전자 장치(101)는 서브 카메라(예: 제2 카메라)의 밝기 값에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 전자 장치(101)는 제2 이미지(453)의 밝기 값을 획득할 수 있다. 전자 장치(101)는 제2 이미지(453)의 밝기 값이 기준 값보다 작은 경우, 제2 방식을 이용하여 깊이 맵을 획득할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 제1 카메라 또는 제2 카메라 중 적어도 하나의 밝기 값에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 전자 장치(101)는 제1 이미지(451)의 밝기 값을 획득할 수 있다. 전자 장치(101)는 제2 이미지(453)의 밝기 값을 획득할 수 있다. 전자 장치(101)는 제1 이미지(451)의 밝기 값과 제2 이미지(453)의 밝기 값 중에서 적어도 하나가 기준 값보다 작은 경우, 제2 방식을 이용하여 깊이 맵을 획득할 수 있다. 한편, 상술된 바와 달리, 일 실시예에 따라, 전자 장치(101)는 두 카메라들 간의 밝기 값 차이가 임계 값 이상인 경우, 제2 방식을 이용하여 깊이 맵을 획득할 수 있다. 밝기 값의 차이가 크다는 것은, 두 카메라들을 통해 획득되는 이미지들 간의 빛 양의 차이가 큼을 의미한다. 이러한 밝기 차이는, 이미지 결합을 통한 깊이 맵에서 오류를 야기할 수 있다.

전자 장치(101)는 복수의 카메라들을 이용하여 제1 깊이 맵(461)을 획득할 수 있다. 예를 들어, 전자 장치(101)는 제1 방식에 기반하여, 제1 깊이 맵(461)을 획득할 수 있다. 전자 장치(101)는 단일 카메라의 AI 학습 기법을 이용하여 제2 깊이 맵(463)을 획득할 수 있다. 예를 들어, 전자 장치(101)는 제2 방식에 기반하여, 제2 깊이 맵(463)을 획득할 수 있다. 도 4b에 도시된 바와 같이, 제1 이미지(451) 내의 주 피사체와 관련된 깊이 정보가 제1 깊이 맵(461) 보다 제2 깊이 맵(463)에서 명확하게 식별될 수 있다.

도 4b에서는, 메인 카메라는 제1 카메라이고, 서브 카메라는 제2 카메라인 상황에서, 서브 카메라의 밝기 값에 기반하여, 깊이 맵 계산 방식을 선택하는 예가 서술되었으나, 본 개시의 실시예들은 이에 한정되지 않는다. 다른 일 실시예에 따라, 전자 장치(101)는 메인 카메라의 밝기 값에 기반하여, 깊이 맵 계산 방식을 선택할 수 있다. 메인 카메라는 제1 카메라이고, 서브 카메라는 제2 카메라일 수 있다. 전자 장치(101)는 제1 카메라의 밝기 값이 기준 값보다 낮음을 식별할 수 있다. 전자 장치(101)는 깊이 맵 계산 방식으로 제2 방식을 선택할 수 있다. 단, 메인 카메라보다 서브 카메라의 품질이 좋기 때문에, 전자 장치(101)는 카메라 스위칭을 수행할 수 있다. 전자 장치(101)는 메인 카메라를 제2 카메라로 설정할 수 있다. 제2 카메라의 노출 값이 크므로, 제2 카메라의 학습 결과에 기반하여 깊이 맵을 산출할 수 있다.

도 4a 내지 도 4b에서는 전자 장치(101)가 제1 방식 또는 제2 방식으로 깊이 맵 계산 방식을 선택하는 예가 서술되었으나, 본 개시의 실시예들은 이에 한정되지 않는다. 전자 장치(101)는 제2 방식 외에, 제1 방식과 제2 방식을 결합하는 제3 방식을 통해 깊이 맵을 획득할 수 있다. 이 때, 도 4b의 저조도 환경을 위해, 제2 방식에 적용되는 제2 가중치는 제1 방식에 적용되는 제1 가중치보다 높게 설정될 수 있다.

도 5a는 일 실시예에 따른, 거리 값에 따른 깊이 맵 계산 방식을 선택하기 위한 전자 장치의 동작 흐름을 도시한다. 전자 장치(예: 전자 장치(101))는 다양한 방식들 중에서 깊이 맵 계산 방식을 선택하거나, 적어도 2개의 방식들에 가중치를 적용하는 깊이 맵 계산 방식을 결정할 수 있다. 상기 다양한 방식들은 복수의 카메라들을 이용하여 깊이 맵을 결정하는 제1 방식 및 단일 카메라의 AI 학습을 이용하여 깊이 맵을 결정하는 제2 방식을 포함할 수 있다. 전자 장치(101)의 동작은 프로세서(예: 프로세서(201)) 및 거리 감지 센서(예: 센서(205))에 의해 수행될 수 있다.

도 5a를 참조하면, 동작(501)에서, 전자 장치(101)는 거리 값을 획득할 수 있다. 여기서, 거리 값이란, 캡쳐되는 이미지 내의 주 피사체로부터의 거리를 의미한다. 일 실시예에 따라, 전자 장치(101)는, 거리 감지 센서(예: TOF 센서)(예: 센서(205))를 통해, 거리 값을 획득할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 3D 이미지 센서(예: 센서(205))를 통해 거리 값을 획득할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 구조광 카메라를 통해 거리 값을 획득할 수 있다.

동작(503)에서, 전자 장치(101)는 거리 값이 기준 값보다 작은지 여부를 식별할 수 있다. 전자 장치(101)는 이미지 촬영의 대상인 객체가 근접 거리에 위치하는지 여부를 식별할 수 있다. 상기 기준 값은, 카메라들 간 품질 차이로 인해 깊이 맵의 오류가 예상되는지 여부를 식별하기 위해 이용될 수 있다. 초근접거리에서는, 카메라들 간 시차가 크게 발생할 수 있다. 일 실시예에 따라, 상기 기준 값은, 전자 장치(101)에 설정된 카메라들에 기반하여 결정될 수 있다. 예를 들어, 메인 카메라가 광각 카메라이고 서브 카메라가 초광각 카메라인 경우를 위한 기준 값은, 메인 카메라가 망원 카메라이고 서브 카메라가 광각 카메라인 경우를 위한 기준 값과 다를 수 있다.

전자 장치(101)는 상기 거리 값이 상기 기준 값보다 크거나 같은 경우, 동작(505)을 수행할 수 있다. 전자 장치(101)는 상기 거리 값이 상기 기준 값보다 작은 경우, 동작(507)을 수행할 수 있다.

동작(505)에서, 전자 장치(101)는 제1 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 전자 장치(101)는 복수의 카메라들을 이용하여 깊이 맵을 획득할 수 있다. 카메라들 간의 화각 차이로 인해 오류를 야기할 만큼 객체의 위치가 가깝지 않다면, 전자 장치(101)는 복수의 카메라들을 이용하여 깊이 맵을 획득할 수 있다.

동작(507)에서, 전자 장치(101)는 제2 방식을 깊이 맵 계산 방식으로 결정할 수 있다. 전자 장치(101)는 단일 카메라의 학습 결과를 통해 깊이 맵을 획득할 수 있다. 초근접 거리에서는, 카메라 별 화각이 다름에 따라, 획득되는 이미지들 간 품질 차이가 크다. 예를 들어, 메인 카메라가 광각 카메라이고, 서브 카메라가 초광각 카메라인 경우, 전자 장치(101)는 초근접 거리에서 서브 카메라를 통해 획득되는 이미지의 품질이 메인 카메라를 통해 획득되는 이미지의 품질보다 높음을 식별할 수 있다. 이 때, 전자 장치(101)는 현재의 서브 카메라가 메인 카메라가 되도록 카메라 스위칭을 수행할 수 있다.

도 5b는 일 실시예에 따른, 거리 값에 따른 깊이 맵 계산 방식의 선택의 예를 도시한다.

도 5b를 참조하면, 전자 장치(예: 전자 장치(101))는 이미지(551) 내 객체(555)로부터의 거리를 획득할 수 있다. 전자 장치(101)는 획득된 거리에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 일 실시예에 따라, 전자 장치(101)는 획득된 거리가 기준 값 이내인 경우, 전자 장치(101)는 제2 방식을 이용하여 깊이 맵을 획득할 수 있다. 또한, 전자 장치(101)는 획득된 거리가 기준 값 이내인 경우, 제1 카메라에서 제공되는 화각과 제2 카메라에서 제공되는 화각 간의 차이가 큰 지 여부를 식별할 수 있다. 예를 들어, 메인 카메라는 제1 카메라이고, 상기 제1 카메라는 초광각 카메라일 수 있다. 서브 카메라는 제2 카메라이고, 상기 제2 카메라는 광각 카메라일 수 있다. 상기 기준 값 이내의 거리에서는, 초광각 카메라를 통해 획득되는 깊이 정보와 광각 카메라를 통해 획득되는 깊이 정보 간 차이가 발생할 수 있다. 따라서, 전자 장치(101)는 깊이 맵으로 인한 오류를 줄이기 위해, 단일 카메라의 AI 기법, 예를 들어, 제2 방식에 기반하여 깊이 맵을 획득할 수 있다.

전자 장치(101)는 복수의 카메라들을 이용하여 제1 깊이 맵(561)을 획득할 수 있다. 예를 들어, 전자 장치(101)는 제1 방식에 기반하여, 제1 깊이 맵(561)을 획득할 수 있다. 전자 장치(101)는 단일 카메라의 AI 학습 기법을 이용하여 제2 깊이 맵(563)을 획득할 수 있다. 예를 들어, 전자 장치(101)는 제2 방식에 기반하여, 제2 깊이 맵(563)을 획득할 수 있다. 도 5b에 도시된 바와 같이, 제1 이미지(551) 내의 주 피사체와 관련된 깊이 정보가 제1 깊이 맵(461) 보다 제2 깊이 맵(563)에서 명확하게 식별될 수 있다.

도 5a 내지 도 5b에서는 전자 장치(101)가 제1 방식 또는 제2 방식으로 깊이 맵 계산 방식을 선택하는 예가 서술되었으나, 본 개시의 실시예들은 이에 한정되지 않는다. 전자 장치(101)는 제2 방식 외에, 제1 방식과 제2 방식을 결합하는 제3 방식을 통해 깊이 맵을 획득할 수 있다. 이 때, 도 5b의 초 근접 거리에 위치된 객체(555)를 위해, 제2 방식에 적용되는 제2 가중치는 제1 방식에 적용되는 제1 가중치보다 높게 설정될 수 있다.

도 6a는 일 실시예에 따른, 객체 유형에 따른 깊이 맵 계산 방식을 선택하기 위한 전자 장치의 동작 흐름을 도시한다. 오류가 발생하기 쉬운 객체 유형이 미리 정의될 수 있다. 전자 장치(예: 전자 장치(101))는, 식별된 객체가 미리 정의된 유형인지에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 깊이 맵 계산 방식은, 복수의 카메라들을 이용하여 깊이 맵을 결정하는 제1 방식, 단일 카메라의 AI 학습을 이용하여 깊이 맵을 결정하는 제2 방식, 또는 상기 제1 방식 및 상기 제2 방식을 결합하여 깊이 맵을 결정하는 제3 방식을 포함할 수 있다. 전자 장치(101)의 동작은 프로세서(예: 프로세서(201))에 의해 수행될 수 있다.

도 6a를 참조하면, 동작(601)에서, 전자 장치(101)는 프레임 내 객체를 식별할 수 있다. 전자 장치(101)는, 적어도 하나의 카메라를 통해, 상기 프레임에 대한 이미지를 획득할 수 있다. 전자 장치(101)는 이미지로부터 상기 객체를 식별할 수 있다. 일 실시예에 따라, 전자 장치(101)는 객체 검출 알고리즘에 기반하여, 상기 객체를 식별할 수 있다. 예를 들어, 전자 장치(101)는, 객체의 특징점들의 매칭(예를 들어, 특징 매칭(feature matching))을 통해 이미지 내에서 객체를 인식할 수 있다.

동작(603)에서, 전자 장치(101)는 상기 식별된 객체가 지정된 유형에 대응하는지 여부를 결정할 수 있다. 여기서, 지정된 유형은, 상기 제1 방식의 복수의 카메라들 각각에서 획득되는 이미지 정보의 차이로 인해, 깊이 맵에 대한 오류를 야기하기 쉬운 객체의 특성을 나타낸다. 일 실시예에 따라, 상기 지정된 유형은 투명 재질일 수 있다. 예를 들어, 상기 투명 재질에 대응하는 항목은 유리컵, 빨대, 또는 안경을 포함할 수 있다. 객체의 투명도가 높아질수록, 이미지 내에서 특징점들의 개수가 적어질 수 있다. 특징점들의 개수가 적을수록 특징 매칭이 용이하지 않다. 따라서, 제1 방식의 제1 카메라의 이미지에서 객체에 대한 특칭 매칭의 결과와 제2 방식의 제2 카메라의 이미지에서 객체에 대한 특징 매칭의 결과 간 차이가 발생할 수 있다.

일 실시예에 따라, 상기 지정된 유형은 반복된 패턴(혹은 메쉬(mesh) 패턴)일 수 있다. 동일한 객체에 대하여, 각 카메라에서의 뷰 포인트가 다르다. 객체의 반복되는 무늬로 인해, 동일한 객체에 대한 원근감이 두 카메라들 간에서 다르게 인식될 수 있다. 상기 객체에 대한 특징 매칭의 결과가 서로 다를 수 있다. 예를 들어, 제1 방식의 제1 카메라의 이미지에서 획득되는 객체에 대한 정보와 제2 방식의 제2 카메라의 이미지에서 획득되는 객체에 대한 정보 간 차이가 발생할 수 있다.

일 실시예에 따라, 상기 지정된 유형은 무질감(texture-less)일 수 있다. 무질감을 갖는 객체란, 물체의 표면에 무늬가 거의 없는 물체를 의미한다. 무늬가 거의 없어, 특징 매칭이 용이하지 않다. 개별적인(individual) 스테레오 카메라로 상기 객체를 검출하더라도, 카메라들 획득되는 정보들 간에 차이가 발생할 수 있다. 예를 들어, 적은 특징점들의 개수로 인해, 제1 방식은 안정적인 깊이 맵 정보를 제공하기 어렵다.

전자 장치(101)는 상기 식별된 객체가 지정된 유형에 대응하는 경우, 동작(605)을 수행할 수 있다. 전자 장치(101)는 상기 식별된 객체가 지정된 유형에 대응하지 않는 경우, 동작(607)을 수행할 수 있다.

동작(605)에서, 전자 장치(101)는 제2 방식 기반 가중치 계산을 수행할 수 있다. 여기서, 제2 방식 기반 가중치 계산이란, 제2 방식에 따른 제2 깊이 맵에 적용될 제2 가중치가 제1 방식에 따른 제1 깊이 맵에 적용될 제1 가중치보다 높게 설정하는 동작을 의미한다. 전자 장치(101)는, 객체의 투명 재질, 무질감, 또는 반복 패턴으로 인해, 제1 방식의 카메라들을 통해서 안정적인 깊이 맵을 제공하기 어렵다고 판단되는 경우, 전자 장치(101)는 제2 방식을 이용할 수 있다. 전자 장치(101)는, 상기 제2 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제2 방식을 위한 제2 가중치가 상기 제1 방식을 위한 제1 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다.

동작(607)에서, 전자 장치(101)는 제1 방식 기반 가중치 계산을 수행할 수 있다. 여기서, 제1 방식 기반 가중치 계산이란, 제1 방식에 따른 제1 깊이 맵에 적용될 제1 가중치가 제2 방식에 따른 제2 깊이 맵에 적용될 제2 가중치보다 높게 설정하는 동작을 의미한다. 전자 장치(101)는, 특징 매칭이 용이한 객체라면, 제1 방식의 카메라들을 통해서 안정적인 깊이 맵을 제공할 수 있음을 식별할 수 있다. 전자 장치(101)는 제1 방식을 이용할 수 있다. 전자 장치(101)는, 상기 제1 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제1 방식을 위한 제1 가중치가 상기 제2 방식을 위한 제2 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다.

도 6b는 일 실시예에 따른, 객체 유형에 따른 깊이 맵 계산 방식의 선택의 예를 도시한다. 전자 장치(예: 전자 장치(101))는 이미지 내 모든 영역들에서 동일한 깊이 맵 계산 방식을 선택하는 대신, 이미지 내 영역마다 깊이 맵 계산 방식을 위한 가중치를 독립적으로 설정할 수 있다.

도 6b를 참조하면, 전자 장치(101)는 복수의 카메라들을 이용하여 제1 깊이 맵(651)을 획득할 수 있다. 예를 들어, 전자 장치(101)는 제1 방식에 기반하여, 제1 깊이 맵(651)을 획득할 수 있다. 이미지 내 객체(655)가 포함될 수 있다. 예를 들어, 객체(655)는 투명 재질(예: 유리)을 포함하는 안경일 수 있다. 그러나, 제1 깊이 맵(651)만으로는 객체(655)가 정확하게 검출되지 않는다.

전자 장치(101)는 적어도 하나의 카메라를 통해 이미지를 획득할 수 있다. 전자 장치(101)는 이미지 내에서 객체(655)를 검출할 수 있다. 전자 장치(101)는 객체(655)에 기반하여 깊이 맵 계산 방식을 결정할 수 있다. 일 실시예에 따라, 전자 장치(101)는, 제1 방식에 따른 제1 깊이 맵(651)에 상기 객체(655)에 대한 가중치를 부가할 수 있다. 전자 장치(101)는, 이미지 내에서 상기 객체(655)의 영역에 대한 깊이 맵 계산 방식을 다르게 결정할 수 있다. 상기 객체(655)의 영역이란, 이미지 내에서 상기 객체(655)가 점유하고 있는 물리적인 영역을 의미한다. 제1 깊이 맵(651)만으로는, 객체(655)의 검출이 용이하지 않기 때문에, 전자 장치(101)는 제2 방식에 기반하여 객체(655)를 검출할 수 있다. 전자 장치(101)는 단일 카메라의 AI 학습 기법에 기반하여, 상기 객체(655)에 가중치를 높게 설정할 수 있다. 일 예로, 전자 장치(101)는 상기 객체(655)의 영역에 대한 깊이 맵 계산 방식을 제2 방식으로 결정할 수 있다. 여기서, 상기 제2 방식을 위한 제2 가중치는 100%일 수 있다.

전자 장치(101)는, 상기 객체(655)의 영역에 대해서는 상기 제2 방식에 따른 제2 깊이 맵을 이용하고, 상기 이미지 내에서 상기 객체(655)의 영역을 제외한 영역에 대해서는 상기 제1 방식에 따른 제1 깊이 맵(651)을 이용할 수 있다. 전자 장치(101)는, 상기 이미지 내에서 상기 객체(655)의 영역을 제외한 영역을 위한 상기 제1 깊이 맵(651)과 상기 객체(655)의 영역에 대해서는 상기 제2 깊이 맵을 결합함으로써, 최종 깊이 맵(661)을 획득할 수 있다. 도 6b에 도시된 바와 같이, 제1 깊이 맵(651)만을 이용하는 경우보다, 객체 정보가 반영된 최종 깊이 맵(661)에서 객체(655)가 보다 명확하게 식별될 수 있다.

도 6b에서는, 객체(655)의 영역에 대해서만 가중치를 부가하는 예가 서술되었으나, 전자 장치(101)는 이미지를 복수의 국소 영역들로 분할하고, 각 국소 영역에 대한 깊이 맵 계산 방식을 다르게 설정하는 것 또한, 본 개시의 일 실시예로써 이해될 수 있다. 여기서, 깊이 맵 계산 방식이 다른 것은, 제1 방식, 제2 방식, 및 제3 방식의 구별 뿐만 아니라 제3 방식에서 제1 가중치와 제2 가중치가 다르게 설정되는 것 또한 포함할 수 있다.

도 7은 일 실시예에 따른, 영역 별 깊이 맵 계산 방식의 선택의 예를 도시한다. 도 7을 참고하면, 전자 장치(101)는 프레임에서 획득된 이미지(700)를 복수의 영역들로 구분할 수 있다. 전자 장치(101)는 각 영역 별로 깊이 맵 계산 방식을 결정할 수 있다. 일 실시예에 따라, 전자 장치(101)는 검출되는 객체에 기반하여 영역 별 깊이 맵 계산 방식을 결정할 수 있다. 일 예로, 이미지(700) 내에서 객체가 검출될 수 있다. 전자 장치(101)는 이미지(700)를 외부 영역(701)과 객체가 검출되는 영역(703)으로 구분할 수 있다. 외부 영역(701)은 이미지(700)의 복수의 영역들 중에서 객체가 검출되지 않는 영역, 예를 들어, 객체가 검출되는 영역(703)을 제외한 영역일 수 있다. 전자 장치(101)는 상기 객체가 검출되는 영역(703)에 대해서는 제2 방식에 기반하여 깊이 맵을 획득할 수 있다. 전자 장치(101)는 외부 영역(701)에 대해서는 다른 방식에 기반하여 깊이 맵을 획득할 수 있다. 여기서, 다른 방식은 제1 방식 또는 상기 제1 방식과 상기 제2 방식의 결합에 따른 제3 방식을 의미할 수 있다.

도 7에서는, 이미지(700) 내에서 객체가 검출됨에 따른 영역 구별이 서술되었으나, 본 개시의 실시예들은 이에 한정되지 않는다. 일 실시예에 따라, 전자 장치(101)는 밝기 값에 기반하여 영역 별 깊이 맵 계산 방식을 결정할 수 있다. 일 예로, 이미지(700) 내 영역마다 다른 밝기 값이 식별될 수 있다. 조도 센서와 달리, 이미지 내 픽셀들에 따른 밝기 값 혹은 카메라의 측광에 의한 밝기 값은, 하나의 이미지(700) 내에서 다르게 결정될 수 있다. 전자 장치(101)는 측정되는 밝기 값이 임계 값보다 낮은 영역에 대해서는, 제2 방식에 기반하여 깊이 맵을 획득할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 HDR(high dynamic range) 기능에서, 포화 영역이나 이동 영역을 식별하는 것에 기반하여, 영역 별 깊이 맵 계산 방식을 결정할 수 있다. 예를 들어, 전자 장치(101)는 HDR 블렌딩 과정에서 추출되는 포화 영역을 식별할 수 있다. 전자 장치(101)는 상기 포화 영역에 대하여, 제2 방식에 기반하여 깊이 맵을 획득할 수 있다. 밝기가 포화된 부분에 대해서는, 제1 방식에 따른 깊이 맵에 오류가 발생할 확률이 높기 때문이다. 또한, 예를 들어, 전자 장치(101)는 노출 값에 따라, 이동 영역을 식별할 수 있다. 전자 장치(101)는 상기 이동 영역에 대하여, 제2 방식에 기반하여 깊이 맵을 획득할 수 있다. 포화 영역과 마찬가지로, 이동 영역에서는, 제1 방식에 따른 깊이 맵에 오류가 발생할 수 있다.

도 8a는 일 실시예에 따른, 근접 거리에서 깊이 맵을 이용한 이미지 처리의 예를 도시한다.

도 8a를 참고하면, 전자 장치(101)는, 제1 방식에 기반하여 이미지(801)를 획득할 수 있다. 상기 제1 방식에 따른 제1 깊이 맵(811)을 참고하면, 제1 깊이 맵(811)은 투명한 객체(예: 유리컵)의 깊이를 정확하게 나타내지 못한다. 따라서, 전자 장치(101)는 제1 깊이 맵(811)에서 객체에 대한 영역(830)을 배경 영역으로 판단할 수 있다. 전자 장치(101)는 상기 영역(830)에 배경 효과를 적용할 수 있다. 이미지(801)를 참고하면, 상기 영역(830)에서 흐림 처리가 확인될 수 있다. 그러나, 투명한 객체는 배경 영역이 아닌 전경에 해당하므로, 흐림 처리는 적절하지 못하다. 전자 장치(101)는, 이미지 내 객체가 투명한 객체임을 식별하는 것에 기반하여, 제2 방식에 기반하여, 이미지(803)를 획득할 수 있다. 상기 제2 방식에 따른 제2 깊이 맵(813)을 참고하면, 제2 깊이 맵(813)은 투명한 객체(예: 유리컵)가 카메라와 근접하게 위치함을 나타낸다. 전자 장치(101)는 제2 깊이 맵(813)에서 객체에 대한 영역(840)을 전경 영역으로 판단할 수 있다. 전자 장치(101)는 상기 영역(840)에 배경 효과를 적용하지 않는다. 이미지(803)를 참고하면, 상기 영역(840)에 흐림 처리 없이, 유리컵이 선명하게 표시됨이 확인될 수 있다.

도 8b는 일 실시예에 따른, 저조도에서 깊이 맵을 이용한 이미지 처리의 예를 도시한다.

도 8b를 참고하면, 전자 장치(101)는 제1 방식에 기반하여 이미지(851)를 획득할 수 있다. 상기 제1 방식에 따른 제1 깊이 맵(861)을 참고하면, 제1 깊이 맵(861)은 저조도의 객체(예: 꽃)의 깊이를 정확하게 나타내지 못한다. 따라서, 전자 장치(101)는 제1 깊이 맵(811)에서 객체에 대한 영역(880)을 전경 영역으로 판단할 수 있다. 전자 장치(101)는 상기 영역(880)에 배경 효과를 적용하지 않을 수 있다. 이미지(851)의 상기 영역(880)에서, 흐림 처리 없이, 객체가 선명하게 표시된다. 확인될 수 있다. 그러나, 상기 객체는 배경 영역에 대응하므로, 배경 효과(예: 흐림 처리)가 요구된다. 전자 장치(101)는, 저조도 환경을 식별하는 것에 기반하여, 제2 방식에 기반하여, 이미지(853)를 획득할 수 있다. 상기 제2 방식에 따른 제2 깊이 맵(863)을 참고하면, 제2 깊이 맵(863)은 상기 객체(예: 꽃)로부터의 거리가 다른 전경 영역의 객체보다 멀리 있음을 나타낸다. 전자 장치(101)는 제2 깊이 맵(813)에서 상기 객체에 대한 영역(890)을 배경 영역으로 판단할 수 있다. 전자 장치(101)는 상기 영역(840)에 배경 효과를 적용할 수 있다. 이미지(853)의 상기 영역(840)에서, 흐림 처리가 적용될 수 있다.

도 9는 일 실시예에 따른, 영역의 특징에 따라 깊이 맵 계산 방식을 결정하기 위한 전자 장치의 동작 흐름을 도시한다. 전자 장치((예: 전자 장치(101))의 동작은 프로세서(예: 프로세서(201))에 의해 수행될 수 있다.

도 9를 참조하면, 동작(901)에서, 전자 장치(101)는 포화 영역이 존재하는지 여부를 식별할 수 있다. 포화 영역이란, HDR(high dynamic range) 기능에서 밝기가 포화되는 영역을 의미한다. 이미지의 포화 영역에서는, 실제 사용자가 겪는 밝기가 정확하게 표현되기 어렵다. 제1 방식에 따라, 이미지들을 결합하더라도 정확한 깊이 맵을 얻는 것이 용이하지 않을 수 있다. 따라서, 전자 장치(101)는 이미지 내 포화 영역이 존재하는지 여부를 식별할 수 있다. 전자 장치(101)는 이미지 내 포화 영역이 존재하지 않는 경우, 동작(903)을 수행할 수 있다. 전자 장치(101)는 이미지 내 포화 영역이 존재하는 경우, 동작(909)을 수행할 수 있다.

동작(903)에서, 전자 장치(101)는 이동 영역이 존재하는지 여부를 식별할 수 있다. 이동 영역이란, 움직이는 객체가 이미지 내에서 캡쳐된 영역을 의미한다. 객체의 이동에 따라, 노출 값이 변경될 수 있다. 변경되는 노출 값들로 인해, 제1 방식에 따라, 이미지들을 결합하더라도 정확한 깊이 맵을 얻는 것이 용이하지 않을 수 있다. 따라서, 전자 장치(101)는 이미지 내 이동 영역이 존재하는지 여부를 식별할 수 있다. 전자 장치(101)는 이미지 내 이동 영역이 존재하지 않는 경우, 동작(905)을 수행할 수 있다. 전자 장치(101)는 이미지 내 이동 영역이 존재하는 경우, 동작(909)을 수행할 수 있다.

동작(905)에서, 전자 장치(101)는 지정된 객체가 검출되는지 여부를 식별할 수 있다. 전자 장치(101)는 특이 유형(예: 투명 재질, 반복 패턴, 메쉬 패턴, 무질감)의 객체에 대해서는, 제1 방식에 따라, 이미지들을 결합하더라도 정확한 깊이 맵을 얻는 것이 용이하지 않음을 식별할 수 있다. 전자 장치(101)의 동작을 위해 도 6a 내지 도 6b의 설명이 참조될 수 있다. 전자 장치(101)는 이미지 내에서 지정된 객체가 검출되지 않는 경우, 동작(907)을 수행할 수 있다. 전자 장치(101)는 이미지 내 지정된 객체가 검출되는 경우, 동작(909)을 수행할 수 있다.

동작(907)에서, 전자 장치(101)는 제1 방식 기반 가중치 계산을 수행할 수 있다. 여기서, 제1 방식 기반 가중치 계산이란, 제1 방식에 따른 제1 깊이 맵에 적용될 제1 가중치가 제2 방식에 따른 제2 깊이 맵에 적용될 제2 가중치보다 높게 설정하는 동작을 의미한다. 전자 장치(101)는, 특징 매칭이 용이한 객체라면, 제1 방식의 카메라들을 통해서 안정적인 깊이 맵을 제공할 수 있음을 식별할 수 있다. 전자 장치(101)는 제1 방식을 이용할 수 있다. 전자 장치(101)는, 상기 제1 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제1 방식을 위한 제1 가중치가 상기 제2 방식을 위한 제2 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다.

동작(909)에서, 전자 장치(101)는 제2 방식 기반 가중치 계산을 수행할 수 있다. 여기서, 제2 방식 기반 가중치 계산이란, 제2 방식에 따른 제2 깊이 맵에 적용될 제2 가중치가 제1 방식에 따른 제1 깊이 맵에 적용될 제1 가중치보다 높게 설정하는 동작을 의미한다. 전자 장치(101)는, 객체의 투명 재질, 무질감, 또는 반복 패턴으로 인해, 제1 방식의 카메라들을 통해서 안정적인 깊이 맵을 제공하기 어렵다고 판단되는 경우, 전자 장치(101)는 제2 방식을 이용할 수 있다. 전자 장치(101)는, 상기 제2 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제2 방식을 위한 제2 가중치가 상기 제1 방식을 위한 제1 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다.

도 9에서는 3가지 동작들(901, 903, 905)이 순차적으로 도시되었으나, 본 개시의 실시예들은 이에 한정되지 않는다. 일 실시예에 따라, 도 9에 도시된 조건들 중 적어도 일부는 병렬적으로 수행될 수 있다. 예를 들어, 전자 장치(101)는 동작(901)의 포화 영역 식별, 동작(903)의 이동 영역 식별, 또는 동작(905)의 객체 검출 여부를 모두 병렬적으로(혹은 독립적으로) 수행할 수 있다. 예를 들어, 특정 조건의 충족 여부가 다른 특정 조건의 충족 여부를 결정하는데 영향을 미치지 않는다. 일 실시예에 따라, 도 9에 도시된 조건들 중 적어도 일부는 생략될 수 있다. 예를 들어, 전자 장치(101)는 동작(901)과 동작(905)만 수행하고, 동작(903)은 수행하지 않을 수 있다. 다른 예를 들어, 전자 장치(101)는 동작(903) 및 동작(905)만 수행하고, 동작(901)은 수행하지 않을 수 있다.

도 4a 내지 도 9에서는 획득된 이미지들 간 직접적인 비교가 아닌, 획득된 이미지들 간의 차이가 높을 것으로 예상되는 간접적인 조건에 기반하여, 깊이 맵 계산 방식을 결정하는 예가 서술되었다. 전자 장치는 카메라들 간 편차가 높을 것으로 예상되는 저조도 환경, 근접 환경, 혹은 특이한 유형의 객체에 기반하여, 깊이 맵 계산 방식을 결정할 수 있다. 그러나, 본 개시의 실시예들은 이에 한정되지 않는다. 전자 장치(101)는 실제 획득되는 이미지들을 비교함으로써, 깊이 맵을 오류 없이 산출하기 위해 정합이 가능한지 여부를 식별할 수 있다. 이하, 도 10에서는 실제 획득되는 이미지들 간 비교를 통해, 깊이 맵 계산 방식을 결정하는 전자 장치의 동작들이 서술된다.

도 10은 일 실시예에 따른, 카메라들 간 이미지 정보 차이에 기반하여 깊이 맵 계산 방식을 결정하기 위한 전자 장치의 동작 흐름을 도시한다. 전자 장치((예: 전자 장치(101))의 동작은 프로세서(예: 프로세서(201))에 의해 수행될 수 있다.

도 10을 참조하면, 동작(1001)에서, 전자 장치(101)는 제1 카메라의 제1 이미지 정보와 제2 카메라의 제2 이미지 정보를 비교할 수 있다. 전자 장치(101)는 제1 카메라를 통해 프레임을 캡쳐할 수 있다. 전자 장치(101)는 상기 제1 카메라를 통해, 상기 프레임에 대한 제1 이미지 정보를 획득할 수 있다. 전자 장치(101)는 제2 카메라를 통해 프레임을 캡쳐할 수 있다. 전자 장치(101)는 상기 제2 카메라를 통해, 상기 프레임에 대한 제2 이미지 정보를 획득할 수 있다. 전자 장치(101)는, 제1 방식에 따른 깊이 맵 산출을 위해, 두 이미지 정보 간 차이를 획득할 수 있다. 전자 장치(101)는 두 이미지 정보 간 차이를 획득하기 위해, 상기 제1 이미지 정보 및 상기 제2 이미지 정보를 비교할 수 있다.

동작(1003)에서, 전자 장치(101)는 차이 정보가 정합 임계 값보다 큰 지 여부를 식별할 수 있다. 전자 장치(101)는, 상기 제1 이미지 정보 및 상기 제2 이미지 정보의 비교 결과에 기반하여, 차이 정보를 획득할 수 있다. 여기서, 비교 대상인 파라미터는 이미지의 품질과 관련될 수 있다. 예를 들어, 이미지 정보는 노출 값을 포함할 수 있다. 일 예로, 상기 제1 이미지 정보의 노출 값(예: -EV)은, 상기 제1 카메라의 유형(예: 망원 카메라)와 관련될 수 있다. 일 예로, 상기 제2 이미지 정보의 노출 값(예: 0 EV)은, 상기 제2 카메라의 유형(예: 광각 카메라)와 관련될 수 있다. 노출 값 차이에 따라, 제1 이미지 정보와 제2 이미지 정보 간 결합에 의한 깊이 맵은 잘못된 정보를 포함할 수 있다. 또한, 예를 들어, 이미지 정보는 초점 거리를 포함할 수 있다. 일 예로, 상기 제1 이미지 정보의 초점 거리(예: 약 10cm)는, 상기 제1 카메라의 유형(예: 광각 카메라)와 관련될 수 있다. 상기 제2 이미지 정보의 초점 거리(예: 약 3cm)는, 상기 제2 카메라의 유형(예: 초광각 카메라)와 관련될 수 있다. 광학적 특성 차이에 따라, 근접 거리에서는 광각 카메라의 주변 상이 흐려질 수 있기 때문에, 제1 이미지 정보와 제2 이미지 정보 간 결합에 의한 깊이 맵은 잘못된 정보를 포함할 수 있다.

전자 장치(101)는 차이 정보가 정합 임계 값보다 큰 경우, 동작(1005)을 수행할 수 있다. 전자 장치(101)는 차이 정보가 정합 임계 값보다 크지 않은 경우, 동작(1007)을 수행할 수 있다.

동작(1005)에서, 전자 장치(101)는 제2 방식 기반 가중치 계산을 수행할 수 있다. 여기서, 제2 방식 기반 가중치 계산이란, 제2 방식에 따른 제2 깊이 맵에 적용될 제2 가중치가 제1 방식에 따른 제1 깊이 맵에 적용될 제1 가중치보다 높게 설정하는 동작을 의미한다. 제1 이미지 정보와 제2 이미지 정보 간 유사성이 높을수록, 제1 이미지와 제2 이미지 정보의 결합에 따라 각 픽셀에 대해 산출되는 깊이가 왜곡될 확률이 낮다. 예를 들어, 전자 장치(101)는 두 카메라들을 통해 획득된 이미지 정보 간 차이가 정합 임계 값보다 크다면, 제1 방식에 따른 깊이 맵에 오류가 발생할 확률이 높다고 결정할 수 있다. 전자 장치(101)는, 상기 제2 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제2 방식을 위한 제2 가중치가 상기 제1 방식을 위한 제1 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다.

동작(1007)에서, 전자 장치(101)는 제1 방식 기반 가중치 계산을 수행할 수 있다. 여기서, 제1 방식 기반 가중치 계산이란, 제1 방식에 따른 제1 깊이 맵에 적용될 제1 가중치가 제2 방식에 따른 제2 깊이 맵에 적용될 제2 가중치보다 높게 설정하는 동작을 의미한다. 전자 장치(101)는, 제1 이미지 정보와 제2 이미지 정보 간 차이가 적기 때문에, 제1 이미지 정보와 제2 이미지 정보의 결합에 따라 산출되는 깊이 정보의 신뢰성이 높다고 결정할 수 있다. 따라서, 전자 장치(101)는, 제1 이미지 정보와 제2 이미지 정보 간 결합을 통해, 안정적인 깊이 맵을 획득할 수 있다. 전자 장치(101)는 제1 방식을 이용할 수 있다. 전자 장치(101)는, 상기 제1 방식을 깊이 맵 계산 방식으로 결정하거나, 상기 제1 방식을 위한 제1 가중치가 상기 제2 방식을 위한 제2 가중치보다 높게 설정된, 제3 방식을 깊이 맵 계산 방식으로 결정할 수 있다.

도 11은 일 실시예에 따른 카메라 스위칭을 통해 깊이 맵을 획득하기 위한 전자 장치의 동작 흐름을 도시한다. 도 11에서는, 현재 메인 카메라와 서브 카메라가 설정되고, 깊이 맵 계산 방식이 제2 방식, 예를 들어, 단일 카메라의 AI 방식으로 결정된 상황이 서술된다.

도 11을 참조하면, 전자 장치(예: 전자 장치(101))는 정합 조건을 식별할 수 있다. 전자 장치(101)는 상기 제2 방식으로 결정하기 위해 이용된 정합 조건을 식별할 수 있다. 정합 조건이 충족되지 않는다면, 전자 장치(101)는 깊이 맵 계산 방식을 상기 제2 방식으로 결정할 수 있다. 일 실시예에 따라, 전자 장치(101)는 밝기 값이 임계 값보다 작을 것을 요구하는 조건, 예를 들어, 저조도를 가리키는 조건을 식별할 수 있다. 또한, 일 실시예에 따라, 전자 장치(101)는 객체와의 거리가 기준 값보다 짧을 것을 요구하는 조건, 예를 들어, 초근접거리를 가리키는 조건을 식별할 수 있다.

동작(1103)에서, 전자 장치(101)는 카메라 설정에 기반하여 카메라 스위칭을 수행할 수 있다. 전자 장치(101)는 정합 조건에 대응하는 카메라 설정을 식별할 수 있다. 정합 조건에 대응하는 카메라 설정이란, 정합 조건이 충족되지 않는 환경에서, 가장 좋은 성능을 나타내는 카메라 설정을 나타낸다. 카메라 설정은, 활성화되는 카메라 유형을 포함할 수 있다. 예를 들어, 전자 장치(101)는 현재 설정된 메인 카메라를 식별할 수 있다. 이 때, 메인 카메라의 성능이 서브 카메라의 성능보다 낮다면, 전자 장치(101)는 카메라 스위칭을 수행할 수 있다. 도 11에는 도시되지 않았으나, 추가적인 일 실시예에 따라, 전자 장치(101)는 카메라 스위칭을 가이드하기 위한 UI(user interface)를 디스플레이를 통해 표시할 수 있다.

일 실시예에 따라, 메인 카메라는 광각 카메라이고, 서브 카메라는 초광각 카메라일 수 있다. 초 근접 거리(예: 객체와의 거리가 기준 값 미만)에서는, 서브 카메라의 품질이 광각 카메라의 품질보다 높다. 여기서, 높은 품질은, 객체에 초점이 잘 맞음을 의미하고, 낮은 품질은 오초점이 발생하거나, 렌즈의 특성(예: 심도나 왜곡)으로 인해 주변 상이 흐려지는 것을 의미할 수 있다. 전자 장치(101)는 메인 카메라를 광각 카메라에서 초광각 카메라로 변경할 수 있다. 한편, 서브 카메라가 초광각 카메라가 아니거나, 서브 카메라가 설정되지 않았다면, 전자 장치(101)는 서브 카메라를 활성화할 수 있다.

일 실시예에 따라, 메인 카메라는 망원 카메라이고, 서브 카메라는 광각 카메라일 수 있다. 극저조도 환경(예: 밝기 값이 임계 값 미만)에서는 광각 카메라의 품질이 망원 카메라의 품질보다 높을 수 있다. 망원 카메라의 f 값(예를 들어, f/number)는 광각 카메라의 f 값보다 큰 경우가 많기 때문에, 충분한 빛에 노출되지 못하는 반면, 광각 카메라는 저조도에서도 빛에 충분히 노출될 수 있다. f 값은, 초점 거리를 빛이 통과하는 직경으로 나눈 값으로, 빛의 양을 나타낼 수 있다. 광각 카메라를 통해 획득되는 이미지는 망원 카메라를 통해 획득되는 이미지 보다 선명할 수 있다. 전자 장치(101)는 메인 카메라를 망원 카메라에서 초광각 카메라로 변경할 수 있다.

동작(1105)에서, 전자 장치(101)는 제2 방식에 기반하여 깊이 맵 정보를 획득할 수 있다. 전자 장치(101)는 변경된 메인 카메라의 AI 기법에 기반하여, 깊이 맵 정보를 획득할 수 있다. 도 11에서는 도시되지 않았으나, 전자 장치(101)는 깊이 맵을 획득한 이후, 이미지의 배경 영역과 전경 영역을 분리하여, 배경 영역에 지정된 효과 처리(예: 싱글 보케 처리)를 수행할 수 있다.

본 개시의 실시예들에 따른 깊이 맵 계산 방식의 결정은, 카메라를 이용한 깊이 맵을 계산하기 전에 수행됨으로써, 연산 속도와 정확도를 높일 수 있다. 실시예들에 따른 전자 장치는, 제1 방식을 위한 정합 조건을 상기 제1 방식에 따른 깊이 맵의 계산 전에 판단함으로써, 두 개 이상의 카메라들을 이용하여 전경과 배경 분할 및 배경 흐림 효과를 제공 시 발생 가능한 오류를 줄일 수 있다. 또한, 단일 카메라의 AI 기법을 이용하는 제2 방식과 복수의 카메라들을 이용하는 상기 제1 방식을 상호 보완적으로 적용함으로써, 전자 장치는, 거리나 조도와 같은 조건에 상관없이, 우수한 성능을 갖는 깊이 맵이 적용된 이미지를 출력할 수 있다.

일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 조도 센서를 통해 상기 밝기 값을 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 획득된 밝기 값이 임계 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 획득된 밝기 값이 상기 임계 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하도록 구성될 수 있다.

일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 거리 감지 센서를 통해 상기 객체로부터의 거리 값을 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 획득된 거리 값이 기준 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 획득된 거리 값이 상기 기준 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하도록 구성될 수 있다.

일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 객체 검출 알고리즘을 통해, 상기 프레임 내에서 상기 객체를 검출하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 검출된 객체가 지정된 유형에 대응하는지 여부를 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 검출된 객체가 지정된 유형에 대응하는 경우, 상기 제1 방식에 제1 가중치를 적용하고, 상기 제2 방식에 상기 제1 가중치보다 큰 제2 가중치를 적용하는 방식을 결정하도록 구성될 수 있다.

일 실시예에 따라, 상기 지정된 유형은, 반복 패턴을 갖는 객체, 무질감(texture less), 또는 투명 재질을 포함하는 객체일 수 있다.

일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 정보를 획득하기 위해, 상기 프레임의 복수의 영역들 중에서 일 영역에 대하여, 상기 제1 방식을 통해 획득되는 제1 깊이 맵 정보에 상기 일 영역에 대응하는 제1 가중치를 적용하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 정보를 획득하기 위해, 상기 제2 방식을 통해 획득되는 제2 깊이 맵 정보에 상기 일 영역에 대응하는 제2 가중치를 적용하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 정보를 획득하기 위해, 상기 제1 가중치가 적용된 상기 제1 깊이 맵 정보 및 상기 제2 가중치가 적용된 상기 제2 깊이 맵 정보에 기반하여, 상기 깊이 맵 정보를 획득하도록 구성될 수 있다.

일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 프레임 내에서 HDR(high dynamic range)의 포화 영역을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 포화 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하도록 구성될 수 있다.

일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 제1 노출 값(exposure value)을 통해 촬영된 제1 프레임 및 상기 제1 노출 값과 다른 제2 노출 값을 통해 촬영된 제2 프레임에 기반하여, 상기 프레임 내에서 이동 영역을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 이동 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하도록 구성될 수 있다.

일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 프레임 내에서 상기 객체에 대응하는 영역을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해, 상기 식별된 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하도록 구성될 수 있다.

일 실시예에 따라, 상기 적어도 하나의 프로세서는, 상기 이미지를 표시하기 위해, 상기 프레임에서 배경 영역 및 전경 영역을 식별하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 이미지를 표시하기 위해, 상기 배경 영역에 보케(bokeh) 효과를 적용하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 이미지를 표시하기 위해, 상기 보케 효과가 적용된 배경 영역 및 상기 전경 영역을 결합함으로써, 상기 이미지를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 이미지를 표시하기 위해, 상기 획득된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성될 수 있다.

일 실시예에 따라, 상기 깊이 맵 계산 방식을 결정하는 동작은, 조도 센서를 통해 상기 밝기 값을 획득하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 획득된 밝기 값이 임계 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 획득된 밝기 값이 상기 임계 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하는 동작을 포함할 수 있다.

일 실시예에 따라, 상기 깊이 맵 계산 방식을 결정하는 동작은, 거리 감지 센서를 통해 상기 객체로부터의 거리 값을 획득하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 획득된 거리 값이 기준 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 획득된 거리 값이 상기 기준 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하는 동작을 포함할 수 있다.

일 실시예에 따라, 상기 깊이 맵 계산 방식을 결정하는 동작은, 객체 검출 알고리즘을 통해, 상기 프레임 내에서 상기 객체를 검출하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 검출된 객체가 지정된 유형에 대응하는지 여부를 식별하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 검출된 객체가 지정된 유형에 대응하는 경우, 상기 제1 방식에 제1 가중치를 적용하고, 상기 제2 방식에 상기 제1 가중치보다 큰 제2 가중치를 적용하는 방식을 결정하는 동작을 포함할 수 있다.

일 실시예에 따라, 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 프레임의 복수의 영역들 중에서 일 영역에 대하여, 상기 제1 방식을 통해 획득되는 제1 깊이 맵 정보에 상기 일 영역에 대응하는 제1 가중치를 적용하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 제2 방식을 통해 획득되는 제2 깊이 맵 정보에 상기 일 영역에 대응하는 제2 가중치를 적용하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 제1 가중치가 적용된 상기 제1 깊이 맵 정보 및 상기 제2 가중치가 적용된 상기 제2 깊이 맵 정보에 기반하여, 상기 깊이 맵 정보를 획득하는 동작을 포함할 수 있다.

일 실시예에 따라, 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 프레임 내에서 HDR(high dynamic range)의 포화 영역을 식별하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 포화 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하는 동작을 포함할 수 있다.

일 실시예에 따라, 상기 깊이 맵 계산 방식을 결정하는 동작은, 제1 노출 값(exposure value)을 통해 촬영된 제1 프레임 및 상기 제1 노출 값과 다른 제2 노출 값을 통해 촬영된 제2 프레임에 기반하여, 상기 프레임 내에서 이동 영역을 식별하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 이동 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하는 동작을 포함할 수 있다.

일 실시예에 따라, 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 프레임 내에서 상기 객체에 대응하는 영역을 식별하는 동작을 포함할 수 있다. 상기 깊이 맵 계산 방식을 결정하는 동작은, 상기 식별된 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하는 동작을 포함할 수 있다.

일 실시예에 따라, 상기 이미지를 표시하는 동작은, 상기 프레임에서 배경 영역 및 전경 영역을 식별하는 동작을 포함할 수 있다. 상기 이미지를 표시하는 동작은, 상기 배경 영역에 보케(bokeh) 효과를 적용하는 동작을 포함할 수 있다. 상기 이미지를 표시하는 동작은, 상기 보케 효과가 적용된 배경 영역 및 상기 전경 영역을 결합함으로써, 상기 이미지를 획득하는 동작을 포함할 수 있다. 상기 이미지를 표시하는 동작은, 상기 획득된 이미지를, 상기 디스플레이를 통해, 표시하는 동작을 포함할 수 있다.

본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.

소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.

이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(read only memory, ROM), 전기적 삭제가능 프로그램가능 롬(electrically erasable programmable read only memory, EEPROM), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(compact disc-ROM, CD-ROM), 디지털 다목적 디스크(digital versatile discs, DVDs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.

또한, 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WAN(wide area network), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시예를 수행하는 장치에 접속할 수도 있다.

상술한 본 개시의 구체적인 실시예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.

한편 본 개시의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다.

Claims

전자 장치에 있어서;
적어도 하나의 센서;
복수의 카메라들;
디스플레이;
인스트럭션들을 저장하도록 구성된 메모리; 및
상기 적어도 하나의 센서, 상기 복수의 카메라들, 상기 디스플레이, 및 상기 메모리와 작동적으로 결합된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시,
상기 복수의 카메라들 중에서 제1 카메라를 이용하여, 프레임에 대한 제1 이미지 정보를 획득하고,
상기 복수의 카메라들 중에서 제2 카메라를 이용하여, 상기 프레임에 대한 제2 이미지 정보를 획득하고,
상기 제1 이미지 정보 및 상기 제2 이미지 정보 간 차이, 상기 프레임의 밝기 값, 또는 상기 프레임에서 검출되는 객체(object) 중에서 적어도 하나와 관련되는, 적어도 하나의 정합 조건에 기반하여, 깊이 맵(depth map) 계산 방식을 결정하고,
상기 깊이 맵 계산 방식에 따라 식별되는 적어도 하나의 카메라에 기반하여, 깊이 맵 정보를 획득하고,
상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성되고,
상기 깊이 맵 계산 방식은, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식에 적어도 일부 기반하여(based at least in part on), 결정되는,
전자 장치.
청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해,
조도 센서를 통해 상기 밝기 값을 획득하고,
상기 획득된 밝기 값이 임계 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하고,
상기 획득된 밝기 값이 상기 임계 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하도록 구성되는 전자 장치.
청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해,
거리 감지 센서를 통해 상기 객체로부터의 거리 값을 획득하고,
상기 획득된 거리 값이 기준 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하고,
상기 획득된 거리 값이 상기 기준 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하도록 구성되는 전자 장치.
청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해,
객체 검출 알고리즘을 통해, 상기 프레임 내에서 상기 객체를 검출하고,
상기 검출된 객체가 지정된 유형에 대응하는지 여부를 식별하고,
상기 검출된 객체가 지정된 유형에 대응하는 경우, 상기 제1 방식에 제1 가중치를 적용하고, 상기 제2 방식에 상기 제1 가중치보다 큰 제2 가중치를 적용하는 방식을 결정하도록 구성되는,
전자 장치.
청구항 4에 있어서,
상기 지정된 유형은, 반복 패턴을 갖는 객체, 무질감(texture less), 또는 투명 재질을 포함하는 객체인,
전자 장치.
청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 정보를 획득하기 위해,
상기 프레임의 복수의 영역들 중에서 일 영역에 대하여, 상기 제1 방식을 통해 획득되는 제1 깊이 맵 정보에 상기 일 영역에 대응하는 제1 가중치를 적용하고,
상기 제2 방식을 통해 획득되는 제2 깊이 맵 정보에 상기 일 영역에 대응하는 제2 가중치를 적용하고,
상기 제1 가중치가 적용된 상기 제1 깊이 맵 정보 및 상기 제2 가중치가 적용된 상기 제2 깊이 맵 정보에 기반하여, 상기 깊이 맵 정보를 획득하도록 구성되는,
전자 장치.
청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해,
상기 프레임 내에서 HDR(high dynamic range)의 포화 영역을 식별하고,
상기 포화 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하도록 구성되는,
전자 장치.
청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해,
제1 노출 값(exposure value)을 통해 촬영된 제1 프레임 및 상기 제1 노출 값과 다른 제2 노출 값을 통해 촬영된 제2 프레임에 기반하여, 상기 프레임 내에서 이동 영역을 식별하고,
상기 이동 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하도록 구성되는,
전자 장치.
청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 깊이 맵 계산 방식을 결정하기 위해,
상기 프레임 내에서 상기 객체에 대응하는 영역을 식별하고,
상기 식별된 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하도록 구성되는,
전자 장치.
청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 이미지를 표시하기 위해,
상기 프레임에서 배경 영역 및 전경 영역을 식별하고,
상기 배경 영역에 보케(bokeh) 효과를 적용하고,
상기 보케 효과가 적용된 배경 영역 및 상기 전경 영역을 결합함으로써, 상기 이미지를 획득하고,
상기 획득된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성되는,
전자 장치.
전자 장치에 의해 수행되는 방법에 있어서,
복수의 카메라들 중에서 제1 카메라를 이용하여, 프레임에 대한 제1 이미지 정보를 획득하는 동작과,
상기 복수의 카메라들 중에서 제2 카메라를 이용하여, 상기 프레임에 대한 제2 이미지 정보를 획득하는 동작과,
상기 제1 이미지 정보 및 상기 제2 이미지 정보 간 차이, 상기 프레임의 밝기 값, 또는 상기 프레임에서 검출되는 객체(object) 중에서 적어도 하나와 관련되는, 적어도 하나의 정합 조건에 기반하여, 깊이 맵(depth map) 계산 방식을 결정하는 동작과,
상기 깊이 맵 계산 방식에 따라 식별되는 적어도 하나의 카메라에 기반하여, 상기 프레임에 대한 깊이 맵 정보를 획득하는 동작과,
상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 디스플레이를 통해, 표시하는 동작을 포함하고,
상기 깊이 맵 계산 방식은, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식에 적어도 일부 기반하여(based at least in part on), 결정되는,
방법.
청구항 11에 있어서, 상기 깊이 맵 계산 방식을 결정하는 동작은,
조도 센서를 통해 상기 밝기 값을 획득하는 동작과,
상기 획득된 밝기 값이 임계 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하는 동작과,
상기 획득된 밝기 값이 상기 임계 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하는 동작을 포함하는,
방법.
청구항 11에 있어서, 상기 깊이 맵 계산 방식을 결정하는 동작은,
거리 감지 센서를 통해 상기 객체로부터의 거리 값을 획득하는 동작과,
상기 획득된 거리 값이 기준 값 미만인 경우, 상기 깊이 맵 계산 방식으로, 상기 제2 방식을 식별하는 동작과,
상기 획득된 거리 값이 상기 기준 값 이상인 경우, 상기 깊이 맵 계산 방식으로, 상기 제1 방식을 식별하는 동작을 포함하는,
방법.
청구항 11에 있어서, 상기 깊이 맵 계산 방식을 결정하는 동작은,
객체 검출 알고리즘을 통해, 상기 프레임 내에서 상기 객체를 검출하는 동작과,
상기 검출된 객체가 지정된 유형에 대응하는지 여부를 식별하는 동작과,
상기 검출된 객체가 지정된 유형에 대응하는 경우, 상기 제1 방식에 제1 가중치를 적용하고, 상기 제2 방식에 상기 제1 가중치보다 큰 제2 가중치를 적용하는 방식을 결정하는 동작을 포함하는,
방법.
청구항 14에 있어서,
상기 지정된 유형은, 반복 패턴을 갖는 객체, 무질감(texture less), 또는 투명 재질을 포함하는 객체인,
방법.
청구항 11에 있어서, 상기 깊이 맵 계산 방식을 결정하는 동작은,
상기 프레임의 복수의 영역들 중에서 일 영역에 대하여, 상기 제1 방식을 통해 획득되는 제1 깊이 맵 정보에 상기 일 영역에 대응하는 제1 가중치를 적용하는 동작과,
상기 제2 방식을 통해 획득되는 제2 깊이 맵 정보에 상기 일 영역에 대응하는 제2 가중치를 적용하는 동작과,
상기 제1 가중치가 적용된 상기 제1 깊이 맵 정보 및 상기 제2 가중치가 적용된 상기 제2 깊이 맵 정보에 기반하여, 상기 깊이 맵 정보를 획득하는 동작을 포함하는,
방법.
청구항 11에 있어서, 상기 깊이 맵 계산 방식을 결정하는 동작은,
상기 프레임 내에서 HDR(high dynamic range)의 포화 영역을 식별하는 동작과,
상기 포화 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하는 동작을 포함하는,
방법.
청구항 11에 있어서, 상기 깊이 맵 계산 방식을 결정하는 동작은,
제1 노출 값(exposure value)을 통해 촬영된 제1 프레임 및 상기 제1 노출 값과 다른 제2 노출 값을 통해 촬영된 제2 프레임에 기반하여, 상기 프레임 내에서 이동 영역을 식별하는 동작과,
상기 이동 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하는 동작을 포함하는,
방법.
청구항 11에 있어서, 상기 깊이 맵 계산 방식을 결정하는 동작은,
상기 프레임 내에서 상기 객체에 대응하는 영역을 식별하는 동작과,
상기 식별된 영역에 대한 깊이 맵 계산 방식을, 상기 제2 방식으로 결정하는 동작을 포함하는,
방법.
청구항 11에 있어서, 상기 이미지를 표시하는 동작은,
상기 프레임에서 배경 영역 및 전경 영역을 식별하는 동작과,
상기 배경 영역에 보케(bokeh) 효과를 적용하는 동작과,
상기 보케 효과가 적용된 배경 영역 및 상기 전경 영역을 결합함으로써, 상기 이미지를 획득하는 동작과,
상기 획득된 이미지를, 상기 디스플레이를 통해, 표시하는 동작을 포함하는,
방법.
전자 장치에 있어서;
적어도 하나의 센서;
복수의 카메라들;
디스플레이;
인스트럭션들을 저장하도록 구성된 메모리; 및
상기 적어도 하나의 센서, 상기 복수의 카메라들, 상기 디스플레이, 및 상기 메모리와 작동적으로 결합된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들이 실행될 시,
상기 적어도 하나의 센서에 의해 검출되는 밝기 값이 임계 값 미만이거나, 상기 적어도 하나의 센서에 의해 검출되는 객체와의 거리 값이 기준 값 미만인 경우, 상기 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일(single) 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식 중에서, 상기 제2 방식을 식별하고,
상기 밝기 값 또는 상기 거리 값에 기반하여, 상기 복수의 카메라들 중에서 상기 단일 카메라를 식별하고,
상기 단일 카메라를 통해 이미지 정보를 획득하고,
상기 단일 카메라를 통해 깊이 맵 정보를 획득하고,
상기 이미지 정보 및 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 상기 디스플레이를 통해, 표시하도록 구성되는,
전자 장치.
전자 장치에 의해 수행되는 방법에 있어서,
적어도 하나의 센서에 의해 검출되는 밝기 값이 임계 값 미만이거나, 상기 적어도 하나의 센서에 의해 검출되는 객체와의 거리 값이 기준 값 미만인 경우, 복수의 카메라들을 통해 깊이 맵을 결정하기 위한 제1 방식 및 상기 복수의 카메라들 중에서 단일(single) 카메라를 통해 상기 깊이 맵을 결정하기 위한 제2 방식 중에서, 상기 제2 방식을 식별하는 동작과,
상기 밝기 값 또는 상기 거리 값에 기반하여, 상기 복수의 카메라들 중에서 상기 단일 카메라를 식별하는 동작과,
상기 단일 카메라를 통해 이미지 정보를 획득하는 동작과,
상기 단일 카메라를 통해 깊이 맵 정보를 획득하는 동작과,
상기 이미지 정보 및 상기 깊이 맵 정보에 기반하여 배경 영역에 지정된 처리가 적용된 이미지를, 디스플레이를 통해, 표시하는 동작을 포함하는,
방법.