KR20200073694A - 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법 - Google Patents
멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법 Download PDFInfo
- Publication number
- KR20200073694A KR20200073694A KR1020180162147A KR20180162147A KR20200073694A KR 20200073694 A KR20200073694 A KR 20200073694A KR 1020180162147 A KR1020180162147 A KR 1020180162147A KR 20180162147 A KR20180162147 A KR 20180162147A KR 20200073694 A KR20200073694 A KR 20200073694A
- Authority
- KR
- South Korea
- Prior art keywords
- depth map
- image
- region
- module
- generating
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 43
- 238000003786 synthesis reaction Methods 0.000 claims description 43
- 238000012805 post-processing Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 17
- 230000000694 effects Effects 0.000 claims description 12
- 238000003062 neural network model Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 238000009792 diffusion process Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000007480 spreading Effects 0.000 claims description 3
- 230000002146 bilateral effect Effects 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 39
- 210000002569 neuron Anatomy 0.000 description 25
- 238000010586 diagram Methods 0.000 description 22
- 230000004913 activation Effects 0.000 description 16
- 238000001994 activation Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
장치 및 이의 이미지 처리방법이 개시된다. 본 개시의 예시적 실시 예에 따른 장치는, 제1 화각으로 피사체에 대한 제1 이미지를 획득하는 제1 카메라 모듈; 상기 제1 화각과 상이한 제2 화각으로 상기 피사체에 대한 제2 이미지를 획득하는 제2 카메라 모듈; 상기 제1 이미지 및 상기 제2 이미지에 기반하여, 상기 제1 이미지에 대해 제1 화질의 제1 뎁스 맵(depth map)을 생성하는 제1 뎁스 맵 발생기; 및 상기 제1 이미지, 상기 제2 이미지 및 상기 제1 뎁스 맵에 기반하여, 상기 제2 이미지에 대해 상기 제1 화질보다 저화질인 제2 화질의 제2 뎁스 맵을 생성하는 제2 뎁스 맵 발생기를 포함할 수 있다.
Description
본 개시의 기술적 사상은 장치 및 이의 동작방법에 관한 것으로서, 상세하게는 멀티 카메라를 포함하는 장치 및 이의 동작방법를 포함하는 에 관한 것이다.
디지털 카메라는, 대중적 보급에 힘입어 일반인들이 일상적으로 사용하는 전자 장치로 인식되고 있다. 또한, 스마트폰 등 다수의 전자장치들이 디지털 카메라를 내장하고 있으며, 전문가는 물론 일반인들의 카메라 사용 빈도도 나날이 증가하고 있다.
전자 장치에 사용되는 디지털 카메라 기능은 초기에는 기본적인 쵤영, 저장 및 전송에 요구되는 기능만이 사용되었으나, 사용자의 다양한 욕구를 충족시키기 위해 성능, 품질 및 기능 향상을 위한 기술개발이 이루어지고 있다. 특히, 최근에는 촬영된 영상에 각종 영상 효과를 적용할 수 있는 기술에 대한 연구가 이루어지고 있다.
본 개시의 기술적 사상은 멀티 카메라를 포함하는 장치 및 이의 동작방법에 관한 것으로서, 서로 다른 화각의 이미지에 기반하여 뎁스 맵을 생성하는 장치 및 이의 동작방법을 제공한다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일 측면에 따른 장치는, 제1 화각으로 피사체에 대한 제1 이미지를 획득하는 제1 카메라 모듈; 상기 제1 화각과 상이한 제2 화각으로 상기 피사체에 대한 제2 이미지를 획득하는 제2 카메라 모듈; 상기 제1 이미지 및 상기 제2 이미지에 기반하여, 상기 제1 이미지에 대해 제1 화질의 제1 뎁스 맵(depth map)을 생성하는 제1 뎁스 맵 발생기; 및 상기 제1 이미지, 상기 제2 이미지 및 상기 제1 뎁스 맵에 기반하여, 상기 제2 이미지에 대해 상기 제1 화질보다 저화질인 제2 화질의 제2 뎁스 맵을 생성하는 제2 뎁스 맵 발생기를 포함할 수 있다.
한편, 본 개시의 기술적 사상의 다른 일 측면에 따른 전자장치의 이미지 처리방법은, 제1 카메라 모듈을 통해, 피사체에 대한 제1 이미지를 획득하는 단계; 제2 카메라 모듈을 통해, 상기 피사체에 대한 제2 이미지를 획득하는 단계; 상기 제1 이미지 및 상기 제2 이미지에 기반하여, 상기 제1 영역에 대한 제1 뎁스 맵을 생성하는 단계; 상기 제1 이미지 및 상기 제2 이미지에 기반하여, 상기 제2 이미지에서 상기 제1 이미지와 공통되는 제1 영역 및 그 외의 제2 영역 간 관계를 추정하는 단계; 및 상기 추정된 제1 영역 및 제2 영역 간 관계, 및 상기 제1 뎁스 맵에 기반하여, 상기 제2 이미지에 대한 제2 뎁스 맵을 생성하는 단계를 포함할 수 있다.
한편, 본 개시의 기술적 사상의 또 다른 일 측면에 따라 제1 화각의 제1 이미지, 및 상기 제1 화각보다 넓은 제2 화각의 제2 이미지로서, 상기 제1 이미지과 공통되는 제1 영역 및 상기 제1 영역 외의 제2 영역으로 구분되는 제2 이미지에 기반하여 상기 제2 이미지의 뎁스 맵을 생성하는 프로세서의 동작방법은, 상기 제1 이미지 및 상기 제2 이미지 간 관계를 추정함으로써 상기 제1 영역에 대한 제1 뎁스 맵을 생성하는 단계; 상기 제1 이미지 및 상기 제2 이미지에 기반하여, 상기 제1 영역 및 상기 제2 영역 간 관계를 추정하는 단계; 상기 추정된 제1 영역 및 제2 영역 간 관계에 기반하여 상기 제2 영역의 뎁스 맵을 추정함으로써, 상기 제2 이미지의 제2 뎁스 맵을 생성하는 단계; 및 상기 제1 뎁스 맵 및 상기 제2 뎁스 맵을 합성 함으로써 상기 제2 이미지의 뎁스 맵을 생성하는 단계를 포함할 수 있다.
본 개시의 기술적 사상에 따른 전자장치는, 서로 다른 화각의 이미지들에 기반하여 광각의 이미지에 대한 뎁스 맵을 생성할 수 있다. 또한, 서로 다른 화각의 이미지들간 관계에 기반하여 광각의 이미지에 대한 뎁스 맵을 생성함으로써, 더욱 개선된 화질을 갖는 뎁스 맵을 생성할 수 있다.
도 1은 본 개시의 예시적 실시 예에 따른 전자장치의 구성을 나타내는 블록도이다.
도 2는 본 개시의 예시적 실시 예에 따른 이미지 획득을 설명하기 위한 전자장치를 나타내는 도면이다.
도 3은 본 개시의 예시적 실시 예에 따른 전자장치의 동작을 설명하기 위한 블록도를 도시한다.
도 4는 본 개시의 예시적 실시 예에 따른 제2 뎁스 맵 발생기의 구체적인 블록도를 도시한다.
도 5는 본 개시의 예시적 실시 예에 따른 전자장치의 동작을 설명하는 순서도를 도시한다.
도 6은 본 개시의 예시적 실시 예에 따라 관계 추정 모듈 또는 뎁스 맵 추정 모듈이 채용하는 뉴럴 네트워크(neural network)의 일 예를 나타낸다.
도 7은 본 개시의 예시적 실시 예에 따른 뎁스 맵 생성의 일 예를 설명하는 도면이다.
도 8은 본 개시의 예시적 실시 예에 따른 전자장치의 동작을 설명하기 위한 블록도를 도시한다.
도 9는 본 개시의 예시적 실시 예에 따른 뎁스 맵 합성기의 구체적인 블록도를 도시한다.
도 10은 본 개시의 예시적 실시 예에 따른 전자장치의 동작을 설명하는 순서도를 도시한다.
도 11은 본 개시의 예시적 실시 예에 따른 뎁스 맵 합성의 일 예를 설명하는 도면이다.
도 12는 본 개시의 예시적 실시 예에 따른 뎁스 맵 합성기의 구체적인 블록도를 도시한다.
도 13은 본 개시의 예시적 실시 예에 따른 뎁스 맵 합성의 일 예를 설명하는 도면이다.
도 14는 본 개시의 예시적 실시 예에 따른 전자장치의 동작을 설명하는 순서도를 도시한다.
도 15는 본 개시의 예시적 실시 예들에 따른 전자장치의 구성을 나타내는 블록도이다.
도 2는 본 개시의 예시적 실시 예에 따른 이미지 획득을 설명하기 위한 전자장치를 나타내는 도면이다.
도 3은 본 개시의 예시적 실시 예에 따른 전자장치의 동작을 설명하기 위한 블록도를 도시한다.
도 4는 본 개시의 예시적 실시 예에 따른 제2 뎁스 맵 발생기의 구체적인 블록도를 도시한다.
도 5는 본 개시의 예시적 실시 예에 따른 전자장치의 동작을 설명하는 순서도를 도시한다.
도 6은 본 개시의 예시적 실시 예에 따라 관계 추정 모듈 또는 뎁스 맵 추정 모듈이 채용하는 뉴럴 네트워크(neural network)의 일 예를 나타낸다.
도 7은 본 개시의 예시적 실시 예에 따른 뎁스 맵 생성의 일 예를 설명하는 도면이다.
도 8은 본 개시의 예시적 실시 예에 따른 전자장치의 동작을 설명하기 위한 블록도를 도시한다.
도 9는 본 개시의 예시적 실시 예에 따른 뎁스 맵 합성기의 구체적인 블록도를 도시한다.
도 10은 본 개시의 예시적 실시 예에 따른 전자장치의 동작을 설명하는 순서도를 도시한다.
도 11은 본 개시의 예시적 실시 예에 따른 뎁스 맵 합성의 일 예를 설명하는 도면이다.
도 12는 본 개시의 예시적 실시 예에 따른 뎁스 맵 합성기의 구체적인 블록도를 도시한다.
도 13은 본 개시의 예시적 실시 예에 따른 뎁스 맵 합성의 일 예를 설명하는 도면이다.
도 14는 본 개시의 예시적 실시 예에 따른 전자장치의 동작을 설명하는 순서도를 도시한다.
도 15는 본 개시의 예시적 실시 예들에 따른 전자장치의 구성을 나타내는 블록도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다.
도 1은 본 개시의 예시적 실시 예에 따른 전자장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 전자장치(10)는 제1 카메라 모듈(20), 제2 카메라 모듈(30), 디스플레이(40), 메모리(50) 및 프로세서(100)를 포함할 수 있다. 비제한적인 예시로서, 전자장치(10)는 스마트 폰(smart phone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크톱 PC(desktop PC), 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라, 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는, 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈 및 머리 착용형 장치(head-mounted-device(HMD))와 같이 액세서리 형 웨어러블 장치 및 이식용 회로(implantable circuit)와 같은 생체 이식 형 웨어러블 장치를 포함할 수 있다.
제1 카메라 모듈(20) 및 제2 카메라 모듈(30)은 각각 전자장치(10) 외부의 피사체(또는 객체)를 촬영하고, 이미지 데이터를 생성할 수 있다. 예를 들어, 제1 카메라 모듈(20)은 제1 렌즈(22) 및 제1 이미지 센서(24)를 포함할 수 있다. 또한, 제2 카메라 모듈(30)은 제2 렌즈(32) 및 제2 이미지 센서(34)를 포함할 수 있다.
제1 렌즈(22) 및 제2 렌즈(32)는 각각 외부의 피사체에 의해 반사된 빛을 집광하는 역할을 수행할 수 있다. 제1 렌즈(22) 및 제2 렌즈(32) 각각은, 예를 들어 줌 렌즈 및 포커스 렌즈 중 적어도 하나를 포함할 수 있다. 예시적 실시 예에 있어서, 제1 렌즈(22) 및 제2 렌즈(32)는 서로 다른 화각(Field of View)을 가질 수 있다. 일 예로, 제1 렌즈(22)는 제2 렌즈(32)에 비해 협각의 렌즈(또는, 제2 렌즈(32)는 제1 렌즈(22)에 비해 광각의 렌즈)일 수 있다. 이로써, 동일한 피사체에 대해 제2 카메라 모듈(30)은 제1 카메라 모듈(20)에 비해 광각의 이미지를 생성할 수 있다. 다시 말해서, 동일한 피사체에 대해, 제1 카메라 모듈(20)은 협각의 제1 이미지(N_IMG)를 생성하고, 제2 카메라 모듈(30)은 광각의 제2 이미지(W_IMG)를 생성할 수 있다.
제1 이미지 센서(24) 및 제2 이미지 센서(34)는 각각 제1 렌즈(22) 및 제2 렌즈(32)에 의해 집광된 빛을 전기적 신호로 변환함으로써 이미지 데이터를 생성할 수 있다. 이를 위해, 제1 이미지 센서(24) 및 제2 이미지 센서(34) 각각은 복수의 화소들이 2차원적으로 배열된 화소 배열을 포함할 수 있다. 예를 들어, 복수의 화소들 각각에는 복수의 기준색들 중 하나의 색이 할당될 수 있다. 예를 들어, 복수의 기준색들은 RGB(red, green, blue), 또는 RGBW(red, green, blue, white)를 포함할 수 있다. 비제한적인 예시로서, 제1 이미지 센서(24) 및 제2 이미지 센서(34)는 전하결합소자(charge-coupled device; CCD) 또는 상보성 금속 산화막 반도체(complementary metal-oxide-semiconductor; CMOS)를 이용해 구현될 수 있다. 제1 이미지 센서(24) 및 제2 이미지 센서(34)가 생성하는 이미지 데이터는 이미지 프레임 및 프레임 데이터와 같이 다양한 형태로 명명될 수 있다. 제1 이미지 센서(24) 및 제2 이미지 센서(34)는 사전 결정된(predetermined) 시간 간격마다 새로운 이미지 데이터를 생성해낼 수 있는데, 새로운 이미지가 생성되는 주기에 대응되는 주파수를 프레임 레이트(frame rate)로 명명할 수 있다. 다시 말해서, 프레임 레이트는 단위 시간당 새롭게 생성되는 이미지 데이터의 개수를 나타낼 수 있다.
도시되지는 않았으나, 제1 카메라 모듈(20) 및 제2 카메라 모듈(30)은 각각 생성한 이미지 데이터에 대해 하나 이상의 처리 동작을 수행하는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 또한, 제1 카메라 모듈(20) 및 제2 카메라 모듈(30)은 셔터, 조리개, AFE(Analog Front End) 및 TG(Timing Generator) 중 적어도 하나를 더 포함할 수도 있다.
디스플레이(40)는 제1 카메라 모듈(20) 또는 제2 카메라 모듈(30)에서 생성된 이미지 신호에 기반하여 사용자에게 각종 컨텐츠(예를 들어, 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)를 표시할 수 있다. 디스플레이(40)는, 예를 들어 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템(MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 또한, 디스플레이(40)는 터치 스크린을 포함할 수도 있다. 예를 들어, 디스플레이(40)는 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접 또는 호버링 입력을 수신할 수도 있다.
메모리(50)는 데이터를 저장하기 위한 저장 장소로서, 예를 들어, OS(Operating System), 각종 프로그램들 및 각종 데이터(예를 들어, 이미지 데이터)를 저장할 수 있다. 메모리(50)는 휘발성 메모리(Volatile memory) 또는 비휘발성 메모리(non-volatile memory) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는 ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리(Flash memory), PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM) 등을 포함할 수 있다. 휘발성 메모리는 DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous DRAM) 등을 포함할 수 있다. 또한, 일 실시 예에 있어서, 메모리(50)는 HDD(Hard Disk Drive), SSD(Solid State Drive), CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 또는 메모리 스틱(Memory Stick) 중 적어도 하나를 포함할 수도 있다. 일 실시 예에서, 메모리(50)는 프로세서(100)에 의해 실행되는 프로그램들 및 복수의 명령(instruction)들을 반영구적으로 또는 일시적으로 저장할 수 있다.
프로세서(100)는 전자장치(10)의 전반적인 동작을 제어할 수 있다. 일 예로, 프로세서(100)는 중앙 프로세싱 유닛(Central Processing Unit; CPU)일 수 있다. 프로세서(100)는 하나의 프로세서 코어(Single Core)를 포함하거나, 복수의 프로세서 코어들(Multi-Core)을 포함할 수 있다. 프로세서(100)는 메모리(50)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다. 예를 들어, 프로세서(100)는 메모리(50)에 저장된 프로그램들을 실행함으로써 전자장치(10)의 기능을 제어할 수 있다.
프로세서(100)는 제1 뎁스 맵 발생기(110) 및 제2 뎁스 맵 발생기(120)를 포함할 수 있다. 예시적 실시 예에 있어서, 제1 뎁스 맵 발생기(110)는 제1 이미지(N_IMG) 및 제2 이미지(W_IMG)에 기반하여 제1 이미지(N_IMG)의 제1 뎁스 맵(depth map)을 생성할 수 있다. 일 예로, 제1 뎁스 맵 발생기(110)는 협각의 제1 이미지(N_IMG)와 광각의 제2 이미지(W_IMG) 간 원근 관계를 분석하고, 이에 기반하여 협각의 제1 이미지(N_IMG)에 대한 제1 뎁스 맵을 생성할 수 있다.
뎁스 맵은, 이미지의 대응하는 영역별 뎁스 정보를 포함하고 있는 테이블을 의미할 수 있다. 이 때 뎁스는, 이미지에 대응하는 좌안 이미지와 우안 이미지 사이의 양안 시차 정도에 대응하는 정보일 수 있다. 뎁스에 따라 유저 느끼는 입체감의 정도는 달라질 수 있다. 다시 말해서, 뎁스가 큰 경우 좌우 양안 시차가 크게 되므로 입체감이 상대적으로 크게 느껴지고, 뎁스가 작은 경우 좌우 양안 시차가 작게 되므로 입체감이 상대적으로 작게 느껴질 수 있다. 일 예로 뎁스 맵은, 이미지의 각 픽셀에 대한 뎁스를 나타내는 그레이 스케일(gray scale)의 2차원 이미지에 대응될 수 있다.
영역은 픽셀 단위로 구분될 수도 있고, 픽셀 단위보다 큰 기 설정된 영역으로 구분될 수도 있다. 예시적 실시 예에 있어서, 광각의 제2 이미지(W_IMG)는 제1 이미지(N_IMG)와 겹치는 영역인 제1 영역과, 나머지 영역인 제2 영역으로 구분될 수 있다. 예를 들어, 제1 뎁스 맵 발생기(110)는 제1 영역에 대한 뎁스 맵을 생성하고, 제2 뎁스 맵 발생기(120)는 제2 영역에 대한 뎁스 맵을 추정함으로써 제2 이미지(W_IMG) 전체에 대한 제2 뎁스 맵을 생성할 수 있다.
예시적 실시 예에 있어서, 제2 뎁스 맵 발생기(120)는 제1 이미지(N_IMG), 제2 이미지(W_IMG) 및 제1 뎁스 맵에 기반하여 제2 이미지(W_IMG)의 제2 뎁스 맵을 생성할 수 있다. 일 예로, 제2 뎁스 맵 발생기(120)는 제1 이미지(N_IMG) 및 제2 이미지(W_IMG)에 기반하여, 제2 이미지(W_IMG)의 제1 영역 및 제2 영역 사이의 관계를 추정할 수 있다. 제2 뎁스 맵 발생기(120)는 추정된 제1 영역 및 제2 영역 사이의 관계와 제1 뎁스 맵에 기반하여, 제2 영역의 뎁스 맵을 추정할 수 있다. 예를 들어, 제2 뎁스 맵 발생기(120)는 뉴럴 네트워크 모델(neural network model)에 기반하여, 제1 영역 및 제2 영역 사이의 관계 추정 또는 제2 영역의 뎁스 맵 추정을 수행할 수 있다.
제1 뎁스 맵 발생기(110) 및 제2 뎁스 맵 발생기(120)는 다양한 형태로 구현될 수 있으며, 예시적 실시 예에 따라 소프트웨어 형태로 구현되거나 하드웨어 형태로 구현될 수 있다. 예를 들어, 제1 뎁스 맵 발생기(110) 및 제2 뎁스 맵 발생기(120)가 하드웨어 형태로 구현되는 경우, 제1 뎁스 맵 발생기(110) 및 제2 뎁스 맵 발생기(120) 각각은, 제1 이미지(N_IMG) 및 제2 이미지(W_IMG)를 수신하고 제1 뎁스 맵 및 제2 뎁스 맵을 생성하기 위한 회로들을 포함할 수 있다. 또한, 예를 들어 제1 뎁스 맵 발생기(110) 및 제2 뎁스 맵 발생기(120)가 소프트웨어 형태로 구현되는 경우, 메모리(50)에 로딩된 프로그램 및/또는 명령들이 프로세서(100)에 의해 실행됨으로써 제1 및 제2 뎁스 맵 생성 동작이 수행될 수 있다. 다만 이에 한정되는 것은 아니며, 제1 뎁스 맵 발생기(110) 및 제2 뎁스 맵 발생기(120)는 펌웨어와 같이 소프트웨어와 하드웨어가 결합된 형태로 구현될 수도 있다.
다른 예시적 실시 예에 있어서, 프로세서(100)는 제1 뎁스 맵 발생기(110)에서 출력된 제1 뎁스 맵과 제2 뎁스 맵 발생기(120)에서 출력된 제2 뎁스 맵에 기반한 합성 동작을 수행함으로써 제2 이미지에 대한 제3 뎁스 맵을 생성하는 뎁스 맵 합성기를 더 포함할 수도 있다. 뎁스 맵 합성기는 제2 뎁스 맵에 바이어스 제거 동작을 수행함으로써 제1 뎁스 맵에 톤 맵핑 된 제2 뎁스 맵을 생성할 수 있다. 일 예로, 뎁스 맵 합성기는 톤 맵핑 된 제2 뎁스 맵을 제1 뎁스 맵과 합성함으로써 제3 뎁스 맵을 생성할 수 있다. 다른 예로, 뎁스 맵 합성기는 제1 뎁스 맵 및 제2 이미지(W_IMG)에 기반하여 제1 뎁스 맵을 반복 확산 함으로써 제2 이미지(W_IMG)에 확산된 제1 뎁스 맵을 생성하고, 이를 톤 맵핑 된 제2 뎁스 맵과 합성함으로써 제3 뎁스 맵을 생성할 수도 있다.
도 2는 본 개시의 예시적 실시 예에 따른 이미지 획득을 설명하기 위한 전자장치를 나타내는 도면이다.
도 2를 참조하면, 전자장치(10)는 제1 카메라 모듈(20) 및 제2 카메라 모듈(30)에 기반하여 피사체의 이미지(IMG)를 촬영함으로써 제1 이미지(N_IMG) 및 제2 이미지(W_IMG)를 획득할 수 있다. 예를 들어, 전자장치(10)는 제1 카메라 모듈(20)을 통해 피사체에 대한 제1 이미지(N_IMG)를 획득하고, 제2 카메라 모듈(30)을 통해 피사체에 대한 제2 이미지(W_IMG)를 획득할 수 있다. 예시적 실시 예에 있어서, 제1 카메라 모듈(20)은 좁은 화각을 가짐으로써, 협각의 제1 이미지(N_IMG)를 획득할 수 있다. 또한, 제2 카메라 모듈(30)은 넓은 화각을 가짐으로써, 광각의 제2 이미지(W_IMG)를 획득할 수 있다. 예시적 실시 예에 있어서, 제2 이미지(W_IMG)는, 제1 이미지(N_IMG)와 겹치는 영역인 제1 영역(A1) 및 제1 영역(A1)외 나머지 영역인 제2 영역(A2)으로 구분될 수 있다.
도 3은 본 개시의 예시적 실시 예에 따른 전자장치의 동작을 설명하기 위한 블록도를 도시한다.
도 3을 참조하면, 동일한 피사체의 이미지(IMG)를 촬영함으로써 제1 카메라 모듈(20)은 협각의 제1 이미지(N_IMG)를, 제2 카메라 모듈(30)은 광각의 제2 이미지(W_IMG)를 각각 획득할 수 있다. 제1 카메라 모듈(20)은 획득한 제1 이미지(N_IMG)를 제1 뎁스 맵 발생기(110) 및 제2 뎁스 맵 발생기(120)로 출력할 수 있다. 또한, 제2 카메라 모듈(30)은 획득한 제2 이미지(W_IMG)를 제1 뎁스 맵 발생기(110) 및 제2 뎁스 맵 발생기(120)로 출력할 수 있다.
제1 뎁스 맵 발생기(110)는 제1 이미지(N_IMG) 및 제2 이미지(W_IMG)에 기반하여 제1 뎁스 맵(N_DM)을 생성하고, 이를 제2 뎁스 맵 발생기(120)로 출력할 수 있다. 예시적 실시 예에 있어서, 제1 뎁스 맵 발생기(110)는 제1 이미지(N_IMG) 및 제2 이미지(W_IMG) 간 원근관계를 분석하고, 상기 분석된 원근관계에 기반하여 제1 뎁스 맵(N_DM)을 생성할 수 있다. 구체적으로, 제1 뎁스 맵 발생기(110)는 제1 및 제2 이미지(N_IMG, W_IMG)에서 매칭 포인트들을 설정하고, 제1 및 제2 이미지(N_IMG, W_IMG)에서의 동일 매칭 포인트간 크기에 따라 원근관계를 분석할 수 있다. 예를 들어, 제1 뎁스 맵 발생기(110)는 스테레오 비전(stereo vision) 방식에 기반하여 제1 및 제2 이미지(N_IMG, W_IMG)의 원근관계를 분석하고, 제1 이미지(N_IMG)에 대한 제1 뎁스 맵(N_DM)을 생성할 수 있다.
제2 뎁스 맵 발생기(120)는 제1 이미지(N_IMG), 제2 이미지(W_IMG) 및 제1 뎁스 맵(N_DM)에 기반하여 제2 뎁스 맵(W_DM)을 생성할 수 있다. 이에 대한 자세한 설명은 후술하기로 한다.
도 4는 본 개시의 예시적 실시 예에 따른 제2 뎁스 맵 발생기의 구체적인 블록도를 도시한다.
도 4를 참조하면, 제2 뎁스 맵 발생기(120)는 관계 추정 모듈(122) 및 뎁스 맵 추정 모듈(124)을 포함할 수 있다. 예시적 실시 예에 있어서, 관계 추정 모듈(122)은 제1 및 제2 이미지(N_IMG, W_IMG)에 기반하여, 제2 이미지(W_IMG)의 제1 영역(A1) 및 제2 영역(A2) 사이의 관계를 추정할 수 있다. 예를 들어, 관계 추정 모듈(122)은 뉴럴 네트워크 모델을 채용하고, 학습된 뉴럴 네트워크 모델에 기반하여 제1 영역(A1)과 제2 영역(A2) 간 관계를 추정할 수 있다.
예시적 실시 예에 있어서, 뎁스 맵 추정 모듈(124)은 관계 추정 모듈(122)에서 추정된 제1 및 제2 영역(A1, A2) 간 관계 및 제1 뎁스 맵(N_DM)에 기반하여, 제2 영역(A2)의 뎁스 맵을 추정할 수 있다. 예를 들어, 뎁스 맵 추정 모듈(124)은 뉴럴 네트워크 모델을 채용하고, 학습된 뉴럴 네트워크 모델에 기반하여 제2 영역(A2)의 뎁스 맵을 추정할 수 있다. 제2 뎁스 맵 발생기(120)는 추정된 제2 영역(A2)의 뎁스 맵과 제1 뎁스 맵(N_DM)에 기반하여, 제2 이미지(W_IMG)에 대한 제2 뎁스 맵(W_DM)을 생성할 수 있다.
도 5는 본 개시의 예시적 실시 예에 따른 전자장치의 동작(또는, 전자장치의 이미지 처리 방법)을 설명하는 순서도를 도시한다.
도 5를 참조하면, 전자장치(10)는 이미지 입력 여부를 판단할 수 있다(S10). 예를 들어, 전자장치(10)는 외부의 제어에 기반하여, 서로 다른 화각을 갖는 제1 및 제2 카메라(20, 30)를 통해 피사체를 촬영하고, 피사체에 대한 제1 이미지(N_IMG) 및 제2 이미지(W_IMG)를 입력 받을 수 있다.
이미지가 입력된 경우, 전자장치(10)는 제2 이미지(W_IMG)에서 제1 이미지(N_IMG)와 공통되는 영역인 제1 영역(A1)의 제1 뎁스 맵(N_DM)을 추출할 수 있다(S20). 예를 들어, 제1 뎁스 맵(N_DM)의 추출은 제1 이미지(N_IMG) 및 제2 이미지(W_IMG)를 입력받은 제1 뎁스 맵 발생기(110)에서 수행될 수 있다.
다음, 제2 이미지(W_IMG)의 제1 영역(A1) 및 제2 영역(A2) 간 관계 추정 동작이 수행될 수 있다(S30). 예시적 실시 예에 있어서, 제1 및 제2 영역(A1, A2) 간 관계 추정 동작은 제1 및 제2 이미지(N_IMG, W_IMG)를 입력받은 관계 추정 모듈(122)에서 수행될 수 있다. 예를 들어, 관계 추정 모듈(122)은 뉴럴 네트워크 모델에 기반하여 상기 관계 추정 동작을 수행할 수 있다.
다음, 제2 영역(A2)의 뎁스 맵 추정 동작이 수행되고, 이에 기반하여 제2 뎁스 맵(W_DM) 생성 동작이 수행될 수 있다(S40). 예시적 실시 예에 있어서, 제2 영역(A2)의 뎁스 맵 추정 동작은, 관계 추정 모듈(122)에서 추정된 제1 및 제2 영역(A1, A2) 간 관계 및 제1 뎁스 맵(N_DM)을 입력받은 뎁스 맵 추정 모듈(124)에서 수행될 수 있다. 예를 들어, 뎁스 맵 추정 모듈(124)은 뉴럴 네트워크 모델에 기반하여 상기 뎁스 맵 추정 동작을 수행할 수 있다. 또한, 뎁스 맵 추정 모듈(124)은 제1 영역(A1)에 대한 제1 뎁스 맵(N_DM) 및 제2 영역(A2)에 대해 추정된 뎁스 맵에 기반하여, 제2 이미지(W_IMG)에 대한 제2 뎁스 맵(W_DM)을 생성할 수 있다.
도 6은 본 개시의 예시적 실시 예에 따라 관계 추정 모듈 또는 뎁스 맵 추정 모듈이 채용하는 뉴럴 네트워크(neural network)의 일 예를 나타낸다.
도 6을 참조하면, 뉴럴 네트워크(NN)는 입력 레이어, 히든 레이어들 및 출력 레이어를 포함하는 구조를 가질 수 있다. 뉴럴 네트워크(NN)는 수신되는 입력 데이터(예를 들어, I1 및 I2)를 기초로 연산을 수행하고, 수행 결과를 기초로 출력 데이터(예를 들어, O1 및 O2)를 생성할 수 있다. 예시적 실시 예에 있어서, 뉴럴 네트워크(NN)는 관계 추정 모듈(122)에 채용됨으로써, 제1 이미지(N_IMG) 및 제2 이미지(W_IMG)를 입력 데이터로서 수신하고, 제1 이미지(N_IMG) 및 제2 이미지(W_IMG) 간 관계를 출력 데이터로서 생성할 수 있다. 또한, 예시적 실시 예에 있어서, 뉴럴 네트워크(NN)는 뎁스 맵 추정 모듈(124)에 채용됨으로써, 제1 이미지(N_IMG) 및 제2 이미지(W_IMG) 간 관계 및 제1 뎁스 맵(N_DM)을 입력 데이터로서 수신하고, 제2 영역(A2)에 대한 뎁스 맵을 출력 데이터로서 생성할 수 있다.
뉴럴 네트워크(NN)는 2개 이상의 히든 레이어들을 포함하는 딥 뉴럴 네트워크(Deep Neural Network, DNN) 또는 n-레이어 뉴럴 네트워크(n-layers neural networks)일 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 뉴럴 네트워크(NN)는 입력 레이어(210), 제1 및 제2 히든 레이어(212, 214) 및 출력 레이어(216)를 포함하는 DNN일 수 있다. DNN은 Convolution Neural Networks(CNN), Recurrent Neural Networks(RNN), Deep Belief Networks, Restricted Boltzman Machines 등을 포함할 수 있으나, 이에 제한되지 않는다.
뉴럴 네트워크(NN)가 DNN 구조를 갖는 경우 유효한 정보를 추출할 수 있는 보다 많은 레이어들을 포함하므로, 뉴럴 네트워크(NN)는 복잡한 데이터 집합들을 처리할 수 있다. 한편, 뉴럴 네트워크(NN)는 4개의 레이어들(210, 212, 214, 216)을 포함하는 것으로 도시되었으나, 이는 예시에 불과할 뿐 뉴럴 네트워크(NN)는 더 적거나 더 많은 레이어들을 포함할 수 있다. 또한, 뉴럴 네트워크(NN)는 도 6에 도시된 것과는 다른 다양한 구조의 레이어들을 포함할 수도 있다.
뉴럴 네트워크(NN)에 포함된 레이어들(210, 212, 214, 216) 각각은 복수의 뉴런(neuron)들을 포함할 수 있다. 뉴런은, 프로세싱 엘리먼트(Processing Element, PE), 유닛(unit) 또는 이와 유사한 용어들로 알려진, 복수의 인공 노드(artificial node)들에 해당될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 입력 레이어(210)는 2개의 뉴런들(노드들), 제1 및 제2 히든 레이어(212, 214) 각각은 3개의 뉴런들(노드들)을 포함할 수 있다. 다만, 이는 예시에 불과할 뿐 뉴런 네트워크(NN)에 포함된 레이어들 각각은 다양한 개수의 뉴런들(노드들)을 포함할 수 있다.
뉴런 네트워크(NN)에 포함된 레이어들 각각에 포함된 뉴런들은 서로 연결되어 데이터를 교환할 수 있다. 하나의 뉴런은 다른 뉴런들로부터 데이터를 수신하여 연산할 수 있고, 연산 결과를 또 다른 뉴런들로 출력할 수 있다.
뉴런들(노드들) 각각의 입력 및 출력은 입력 액티베이션(activation) 및 출력 액티베이션으로 지칭될 수 있다. 즉, 액티베이션은 한 뉴런의 출력임과 동시에, 다음 레이어에 포함된 뉴런들의 입력에 해당되는 파라미터일 수 있다. 한편, 뉴런들 각각은 이전 레이어에 포함된 뉴런들로부터 수신된 액티베이션들 및 웨이트(weight)들에 기초하여 자신의 액티베이션을 결정할 수 있다. 웨이트는 각 뉴런에서의 출력 액티베이션을 계산하기 위해 이용되는 파라미터로서, 뉴런들 간의 연결 관계에 할당되는 값일 수 있다.
뉴런들 각각은 입력을 수신하여 액티베이션을 출력하는 연산 유닛(computational unit) 또는 프로세싱 엘리먼트에 의해 처리될 수 있고, 뉴런들 각각의 입력-출력은 맵핑될 수 있다. 예를 들어, 
는 액티베이션 함수(activation function)이고, 
는 (i-1) 번째 레이어에 포함된 k 번째 뉴런으로부터 i 번째 레이어에 포함된 j 번째 뉴런으로의 웨이트 값일 수 있다. 
는 i 번째 레이어에 포함된 j 번째 뉴런의 바이어스(bias)값이고, 
는 i 번째 레이어의 j 번째 뉴런의 액티베이션, 다시 말해서 포스트 액티베이션(post activation)으로 지칭될 수 있다. 포스트 액티베이션 
는 다음의 [수학식 1]을 이용하여 계산될 수 있다.
도 6에 도시된 바와 같이, 제1 히든 레이어(212)의 첫 번째 뉴런의 포스트 액티베이션은 
로 표현될 수 있다. 또한, 
은 [수학식 1]에 따라 
의 값을 가질 수 있다. 다시 말해서, 포스트 액티베이션은 이전 레이어로부터 수신된 액티베이션들의 합(sum)에 액티베이션 함수를 적용하여 획득된 값일 수 있다. 다만, [수학식 1]은 뉴럴 네트워크에서 데이터를 처리하기 위해 이용되는 액티베이션 및 웨이트를 설명하기 위한 예시일 뿐, 이에 제한되지 않는다.
도 7은 본 개시의 예시적 실시 예에 따른 뎁스 맵 생성의 일 예를 설명하는 도면이다.
도 7을 참조하면, 제1 이미지(N_IMG) 및 제2 이미지(W_IMG)가 제1 뎁스 맵 발생기(110)로 입력되고, 제1 뎁스 맵 발생기(110)는 제1 이미지(N_IMG)에 대한 제1 뎁스 맵(N_DM)을 생성할 수 있다. 예시적 실시 예에 있어서, 제1 뎁스 맵 발생기(110)는 스테레오 비전 방식에 기반하여 제1 이미지(N_IMG) 및 제2 이미지(W_IMG) 간 원근 관계를 분석하고, 이에 기반하여 제1 이미지(N_IMG)에 대한 고화질의 제1 뎁스 맵(N_DM)을 생성할 수 있다.
제2 이미지(W_IMG)는 제1 이미지(N_IMG)와 공통되는 제1 영역(A1)과 그 외의 제2 영역(A2)으로 구분될 수 있다. 예시적 실시 예에 있어서, 관계 추정 모듈(122)은 뉴럴 네트워크 방식에 기반하여 제1 영역(A1) 및 제2 영역(A2) 간 관계를 추정할 수 있다. 일 예로, 뉴럴 네트워크를 채용한 관계 추정 모듈(122)은 제1 영역(A1) 및 제2 영역(A2) 각각의 픽셀 데이터를 입력 데이터로서 수신하고, 이에 기반하여 제1 영역(A1)과 제2 영역(A2) 간 관계를 출력 데이터로서 생성할 수 있다.
관계 추정 모듈(122)에서 생성된 제1 영역(A1) 및 제2 영역(A2) 간 관계 및 제1 뎁스 맵(N_DM)이 뎁스 맵 추정 모듈(124)로 입력되고, 뎁스 맵 추정 모듈(124)은 이에 기반하여 제2 영역(A2)의 뎁스 맵을 추정할 수 있다. 예시적 실시 예에 있어서, 뎁스 맵 추정 모듈(124)은 뉴럴 네트워크 방식에 기반하여 제2 영역(A2)에 대한 뎁스 맵을 추정할 수 있다. 일 예로, 뉴럴 네트워크를 채용한 뎁스 맵 추정 모듈(124)은 제1 영역(A1) 및 제2 영역(A2) 간 관계 및 제1 뎁스 맵(N_DM)을 입력 데이터로서 수신하고, 이에 기반하여 제2 영역(A2)의 뎁스 맵을 출력 데이터로서 생성할 수 있다. 뎁스 맵은 추정된 제2 영역(A2)의 뎁스 맵과 제1 뎁스 맵(N_DM)에 기반하여, 제2 이미지(W_IMG)에 대한 제2 뎁스 맵(W_DM)을 생성할 수 있다.
도 8은 본 개시의 예시적 실시 예에 따른 전자장치의 동작을 설명하기 위한 블록도를 도시한다. 도 8에 도시된 구성 중, 도 3과 중복되는 구성에 대한 설명은 생략하기로 한다.
도 8을 참조하면, 전자장치(10)는 뎁스 맵 합성기(130a)를 더 포함할 수 있다. 예시적 실시 예에 있어서, 뎁스 맵 합성기(130a)는 제1 뎁스 맵(N_DMa) 및 제2 뎁스 맵(W_DMa)에 기반한 합성 동작을 수행함으로써, 제2 이미지(W_IMGa)에 대한 제3 뎁스 맵(I_DMa)을 생성할 수 있다. 일 예로, 뎁스 맵 합성기(130a)는 제1 뎁스 맵(N_DMa) 및 제2 뎁스 맵(W_DMa) 각각에 기 설정된 동작을 수행하고, 상기 동작이 수행된 제1 뎁스 맵(N_DMa) 및 제2 뎁스 맵(W_DMa)을 합성함에 따라, 제2 이미지(W_IMGa)에 대한 개선된 화질을 갖는 제3 뎁스 맵(I_DMa)을 생성할 수 있다. 뎁스 맵 합성기(130a)는 제1 뎁스 맵(N_DMa) 및 제2 뎁스 맵(W_DMa) 각각에 대한 전처리(preprocessing), 합성(fusion), 후처리(postprocessing) 동작을 수행할 수 있다. 예를 들어, 뎁스 맵 합성기(130a)는 전처리 동작으로서 톤 맵핑 동작을, 후처리 동작으로서 뎁스 맵 보정 동작 등을 수행할 수 있다. 이에 대한 자세한 설명은 후술하기로 한다.
도 9는 본 개시의 예시적 실시 예에 따른 뎁스 맵 합성기의 구체적인 블록도를 도시한다.
도 9를 참조하면, 뎁스 맵 합성기(130a)는 톤 맵핑 모듈(132a), 합성 모듈(134a) 및 후처리 모듈(136a)을 포함할 수 있다. 예시적 실시 예에 있어서, 톤 맵핑 모듈(132a)은 제2 뎁스 맵(W_DMa)에 기반하여, 제2 이미지(W_IMGa)의 제1 영역(A1)에 대한 뎁스 맵과 제2 영역(A2)에 대한 뎁스 맵 간 톤 맵핑 동작을 수행할 수 있다. 제2 뎁스 맵(W_DMa)은 비교적 고화질의 제1 영역(A1)에 대한 뎁스 맵과 비교적 저화질의 제2 영역(A2)에 대한 뎁스 맵을 포함할 수 있다. 다시 말해서, 톤 맵핑 모듈(132a)은 좁은 화각의 고화질 뎁스 맵(제1 영역(A1)의 뎁스 맵)과 넓은 화각의 저화질 뎁스 맵(제2 영역(A2)의 뎁스 맵) 간 톤 맵핑을 수행할 수 있다. 일 예로, 톤 맵핑 모듈(132a)은 제2 뎁스 맵(W_DMa)에 바이어스(bias) 제거 동작을 수행함으로써 톤 맵핑 된 제2 뎁스 맵을 생성할 수 있다.
예시적 실시 예에 있어서, 합성 모듈(134a)은 톤 맵핑 된 제2 뎁스 맵 및 제1 뎁스 맵(N_DMa)의 합성 동작을 수행할 수 있다. 합성 모듈(134a)은 다양한 합성 알고리즘(fusion algorithm)에 기반하여, 톤 맵핑 된 제2 뎁스 맵 및 제1 뎁스 맵(N_DMa)의 합성 동작을 수행함으로써 제2 이미지(W_IMGa)에 대한 제3 뎁스 맵을 생성할 수 있다.
예시적 실시 예에 있어서, 후처리 모듈(136a)은 합성 모듈(134a)에서 생성된 제3 뎁스 맵에 후처리 동작을 수행함으로써, 후처리 된 제3 뎁스 맵(I_DMa)을 생성할 수 있다. 일 예로, 후처리 모듈(136a)은 합성 모듈(134a)의 합성 동작에 따라 제3 뎁스 맵에 생성된 경계면에 대한 필터링 동작을 수행할 수 있다. 다시 말해서, 후처리 모듈(136a)은 비교적 고화질의 제1 영역(A1)에 대한 뎁스 맵과, 비교적 중화질의 제2 영역(A2)에 대한 뎁스 맵 간 형성된 경계면의 처리 동작을 수행할 수 있다.
예시적 실시 예에 있어서, 후처리 모듈(136a)은 양방향 필터(Bilateral Filter)를 포함할 수 있다. 후처리 모듈(136a)은 양방향 필터에 기반하여 경계면의 처리 동작을 수행할 수 있다. 구체적으로, 후처리 모듈(136a)은 양방향 필터를 통해 엣지를 보존하면서 노이즈를 제거함으로써 경계면에 대한 필터링 동작을 수행할 수 있다. 다만, 이에 한정되는 것은 아니고, 후처리 모듈(136a)은 가우시안 필터(Gaussian Filter) 및 미디안 필터(Median Filter) 중 적어도 하나를 포함할 수도 있다.
예시적 실시 예에 있어서, 후처리 모듈(136a)은 도메인 변환 필터(Domain Transform Filter; DT filter)를 포함할 수 있다. 후처리 모듈(136a)은 도메인 변환 필터에 기반하여, 합성에 따라 뎁스 맵에 생성된 아티팩트(artifact)를 제거 또는 블락(block) 하는 동작을 수행할 수 있다. 예를 들어, 아티팩트는 뎁스 맵에 형성된 인공적, 인위적 얼룩, 결함 등 비정상적 뎁스를 의미할 수 있다.
도 10은 본 개시의 예시적 실시 예에 따른 전자장치의 동작(또는, 전자장치의 이미지 처리방법)을 설명하는 순서도를 도시한다.
도 10을 참조하면, 전자장치(10)는 제2 이미지(W_IMGa)에 대한 제2 뎁스 맵(W_DMa)을 생성할 수 있다(S100). 예시적 실시 예에 있어서, 전자장치(10)는 좁은 화각에 따른 제1 이미지(N_IMGa) 및 넓은 화각에 따른 제2 이미지(W_IMGa)에 기반하여, 제1 영역(A1)의 뎁스 맵과 제2 영역(A2)의 뎁스 맵을 포함하는 제2 뎁스 맵(W_DMa)을 생성할 수 있다. 구체적으로, 전자장치(10)는 제1 이미지(N_IMGa) 및 제2 이미지(W_IMGa)에 기반하여, 제1 영역(A1)에 대한 고화질의 뎁스 맵과 제2 영역(A2)에 대한 저화질의 뎁스 맵을 포함하는 제2 뎁스 맵(W_DMa)을 생성할 수 있다.
다음, 전자장치(10)는 제2 뎁스 맵(W_DMa)에 대한 톤 맵핑 동작을 수행할 수 있다(S110). 예를 들어, 전자장치(10)는 톤 맵핑 모듈(132a)을 포함하고, 톤 맵핑 모듈(132a)은 제2 뎁스 맵(W_DMa)에 기반하여, 제2 이미지(W_IMGa)의 제1 영역(A1)에 대한 뎁스 맵과 제2 영역(A2)에 대한 뎁스 맵 간 톤 맵핑 동작을 수행할 수 있다. 이로써, 좁은 화각의 고화질 뎁스 맵과 넓은 화각의 저화질 뎁스 맵 간 톤 맵핑이 수행될 수 있다.
다음, 전자장치(10)는 톤 맵핑 된 제2 뎁스 맵 및 제1 뎁스 맵(N_DMa)의 합성 동작을 수행할 수 있다(S120). 예를 들어, 전자장치(10)는 합성 모듈(134a)을 포함하고, 합성 모듈(134a)은 합성 알고리즘에 기반하여 톤 맵핑 된 제2 뎁스 맵 및 제1 뎁스 맵(N_DMa)의 합성 동작을 수행함으로써, 제2 이미지(W_IMGa)에 대한 제3 뎁스 맵을 생성할 수 있다.
다음, 전자장치(10)는 합성 모듈(134a)에서 생성된 제3 뎁스 맵에 후처리 동작을 수행할 수 있다(S130). 예를 들어, 전자장치(10)는 후처리 모듈(136a)을 포함하고, 후처리 모듈(136a)은 합성 모듈(134a)에서 생성된 제3 뎁스 맵에 후처리 동작을 수행함으로써, 후처리 된 제3 뎁스 맵(I_DMa)을 생성할 수 있다. 일 예로, 후처리 모듈(136a)은 합성 모듈(134a)의 합성 동작에 따라 제3 뎁스 맵에 생성된 경계면에 대한 필터링 동작을 수행할 수 있다. 또한, 후처리 모듈(136a)은 합성 모듈(134a)의 합성 동작에 따라 제3 뎁스 맵에 생성된 아티팩트를 제거 또는 블락하는 동작을 수행할 수 있다.
도 11은 본 개시의 예시적 실시 예에 따른 뎁스 맵 합성의 일 예를 설명하는 도면이다.
도 11을 참조하면, 제2 뎁스 맵(W_DMa)이 톤 맵핑 모듈(132a)로 입력되고, 톤 맵핑 모듈(132a)은 톤 맵핑 된 제2 뎁스 맵(M_DMa)을 생성할 수 있다. 예를 들어, 제2 뎁스 맵(W_DMa)은 좁은 화각에 따른 고화질의 뎁스 맵과 넓은 화각에 따른 저화질의 뎁스 맵을 포함할 수 있다. 예시적 실시 예에 있어서, 톤 맵핑 모듈(132a)은 제2 뎁스 맵(W_DMa)에 바이어스 제거 동작을 수행함으로써, 좁은 화각에 따른 고화질 뎁스 맵과 넓은 화각의 저화질 뎁스 맵 간 톤 맵핑 된 제2 뎁스 맵(M_DMa)을 생성할 수 있다.
다음, 톤 맵핑 된 제2 뎁스 맵(M_DMa)과 제1 뎁스 맵(N_DMa)이 합성 모듈(134a)로 입력될 수 있다. 합성 모듈(134a)은 톤 맵핑 된 제2 뎁스 맵(M_DMa)과 제1 뎁스 맵(N_DMa)의 합성 동작을 수행함으로써, 제2 이미지(W_IMGa)에 대한 제3 뎁스 맵(F_DMa)을 생성할 수 있다.
다음, 제3 뎁스 맵(F_DMa)이 후처리 모듈(136a)로 입력될 수 있다. 후처리 모듈(136a)은 제3 뎁스 맵(F_DMa)에 다양한 후처리 동작을 수행함으로써, 후처리 된 제3 뎁스 맵(I_DMa)을 생성할 수 있다. 예를 들어, 후처리 모듈(136a)은 합성 모듈(134a)의 합성 동작에 따라 제3 뎁스 맵(F_DMa)에 생성된 경계면에 대한 필터링 동작을 수행할 수 있다. 또한 예를 들어, 후처리 모듈(136a)은 합성 모듈(134a)의 합성 동작에 따라 제3 뎁스 맵(F_DMa)에 생성된 아티팩트를 제거 또는 블락하는 동작을 수행할 수 있다.
이로써, 본 개시의 기술적 사상에 따른 전자장치는, 서로 다른 화각의 이미지들에 기반하여 광각의 이미지에 대한 뎁스 맵을 생성할 수 있다. 또한, 서로 다른 화각의 이미지들간 관계에 기반하여 광각의 이미지에 대한 뎁스 맵을 생성함으로써, 더욱 개 선된 화질을 갖는 뎁스 맵을 생성할 수 있다.
도 12는 본 개시의 예시적 실시 예에 따른 뎁스 맵 합성기의 구체적인 블록도를 도시한다. 도 12에 도시된 구성 중, 도 9와 중복되는 구성에 대한 설명은 생략하기로 한다.
도 12를 참조하면, 뎁스 맵 합성기(130b)는 확산 모듈(133b)을 더 포함할 수 있다. 예시적 실시 예에 있어서, 확산 모듈(133b)은 제1 뎁스 맵(N_DMb) 및 제2 이미지(W_IMGb)에 기반하여, 제2 이미지(W_IMGb)에 확산된 제1 뎁스 맵(S_DMb)을 생성할 수 있다. 일 예로, 제1 영역(A1) 및 제2 영역(A2)으로 구분되는 제2 이미지(W_IMGb)에 대해, 확산 모듈(133b)은 제1 영역(A1)에 대응하는 제1 뎁스 맵(N_DMb)을 제2 영역(A2)으로 반복 확산(iterated propagation)하는 동작을 수행할 수 있다. 예시적 실시 예에 있어서, 확산 모듈(133b)은 도메인 변환 필터를 포함하고, 이에 기반하여 상기 반복 확산 동작을 수행할 수 있다.
예시적 실시 예에 있어서, 합성 모듈(134b)은 톤 맵핑 된 제2 뎁스 맵 및 확산된 제1 뎁스 맵(S_DMb)의 합성 동작을 수행할 수 있다. 합성 모듈(134b)은 기 설정된 합성 알고리즘에 기반하여, 톤 맵핑 된 제2 뎁스 맵 및 확산된 제1 뎁스 맵(S_DMb)의 합성 동작을 수행함으로써 제2 이미지(W_IMGb)에 대한 제3 뎁스 맵을 생성할 수 있다.
도 13은 본 개시의 예시적 실시 예에 따른 뎁스 맵 합성의 일 예를 설명하는 도면이다. 도 13에 도시된 구성 중, 도 11과 중복되는 구성에 대한 설명은 생략하기로 한다.
도 13을 참조하면, 제1 뎁스 맵(N_DMb) 및 제2 이미지(W_IMGb)가 확산 모듈(113b)로 입력되고, 확산 모듈(133b)은 제2 이미지(W_IMGb)에 확산된 제1 뎁스 맵(S_DMb)을 생성할 수 있다. 예를 들어, 확산 모듈(133b)은 제2 이미지(W_IMGb)에서 제1 영역(A1)에 대응하는 제1 뎁스 맵(N_DMb)을 제2 영역(A2)으로 반복확산 함으로써 확산된 제1 뎁스 맵(S_DMb)을 생성할 수 있다.
다음, 확산된 제1 뎁스 맵(S_DMb) 및 톤 맵핑 된 제2 뎁스 맵(M_DMb)이 합성 모듈(134b)로 입력될 수 있다. 합성 모듈(134b)은 기 설정된 합성 알고리즘에 기반하여, 확산된 제1 뎁스 맵(S_DMb) 및 톤 맵핑 된 제2 뎁스 맵(M_DMb)의 합성 동작을 수행함으로써, 제2 이미지(W_IMGb)에 대한 제3 뎁스 맵(F_DMb)을 생성할 수 있다. 후처리 모듈(136b)은 제3 뎁스 맵(F_DMb)에 기반한 후처리 동작을 수행함으로써, 후처리 된 제3 뎁스 맵(I_DMb)을 생성할 수 있다.
도 14는 본 개시의 예시적 실시 예에 따른 전자장치의 동작(또는, 이미지 처리방법)을 설명하는 순서도를 도시한다.
도 14를 참조하면, 전자장치(10)는 피사체에 대한 이미지를 획득할 수 있다(S200). 예시적 실시 예에 있어서, 전자장치(10)는 제1 및 제2 카메라 모듈(20, 30)을 포함하고, 제1 카메라 모듈(20)을 통해 제1 화각으로 피사체에 대한 제1 이미지(N_IMG)를, 제2 카메라 모듈(30)을 통해 제2 화각으로 피사체에 대한 제2 이미지(W_IMG)를 각각 획득할 수 있다. 예를 들어, 제1 이미지(N_IMG)는 좁은 화각에 기반한 이미지이고, 제2 이미지(W_IMG)는 넓은 화각에 기반한 이미지일 수 있다.
다음, 전자장치(10)는 영상 효과를 적용하기 위한 어플리케이션을 실행할 수 있다(S210). 예를 들어, 어플리케이션은 메모리(50)에 저장되고, 외부로부터의 실행 커맨드에 기반하여 프로세서(100)에서 수행될 수 있다. 예시적 실시 예에 있어서, 영상 효과를 적용하기 위한 어플리케이션은, 오토 포커싱(auto-focusing), 아웃 포커싱(out-focusing), 전/후면 구분(fore/background separation), 얼굴 인식/탐색(face recognition/detection), 프레임에서의 객체 탐색(object detection within a frame) 및 증강현실(Augmented Reality) 중 적어도 하나와 관련된 어플리케이션 일 수 있다.
다음, 전자장치(10)는 제2 이미지(W_IMG)의 제1 영역(A1)에 대한 뎁스 맵 획득 여부를 판단할 수 있다(S220). 제1 영역(A1)은 제2 이미지(W_IMG) 중 제1 이미지(N_IMG)와 공통되는 영역일 수 있다. 예시적 실시 예에 있어서, 전자장치(10)는 제1 뎁스 맵 발생기(110)를 포함하고, 제1 뎁스 맵 발생기(110)는 제1 이미지(N_IMG) 및 제2 이미지(W_IMG)에 기반하여 제1 영역(A1)의 뎁스 맵(또는, 제1 뎁스 맵(N_DM))을 획득할 수 있다.
제1 영역(A1)에 대한 뎁스 맵을 획득한 경우, 전자장치(10)는 제2 이미지(W_IMG)의 제2 영역(A2)에 대한 뎁스 맵을 추정할 수 있다(S230). 제2 영역(A2)은 제2 이미지(W_IMG) 중 제1 영역(A1) 외의 나머지 영역일 수 있다. 예시적 실시 예에 있어서, 전자장치(10)는 제2 뎁스 맵 발생기(120)를 포함하고, 제2 뎁스 맵 발생기(120)는 제1 이미지(N_IMG), 제2 이미지(W_IMG) 및 제1 뎁스 맵(N_DM)에 기반하여 제2 영역(A2)에 대한 뎁스 맵 추정 동작을 수행할 수 있다.
다음, 전자장치(10)는 전체 이미지, 다시 말해서 제2 이미지(W_IMG)에 대한 뎁스 맵을 생성할 수 있다(S240). 예시적 실시 예에 있어서, 제2 뎁스 맵 발생기(120)는 제1 뎁스 맵(N_DM) 및 추정된 제2 영역(A2)에 대한 뎁스 맵에 기반하여 제2 이미지(W_IMG)에 대한 제2 뎁스 맵(W_DM)을 생성할 수 있다. 다른 예시적 실시 예에 있어서, 전자장치(10)는 뎁스 맵 합성기(130a)를 더 포함하고, 뎁스 맵 합성기(130a)는 제1 뎁스 맵(N_DM) 및 제2 뎁스 맵(W_DM) 각각에 특정한 동작을 수행한 다음 합성 동작을 수행함에 따라, 제2 이미지(W_IMG)에 대한 제3 뎁스 맵(I_DMa)을 생성할 수도 있다.
다음, 전자장치(10)는 생성된 뎁스 맵에 기반하여 제2 이미지(W_IMG)에 영상 효과를 적용할 수 있다(S250). 예를 들어, 영상 효과로서 오토 포커싱을 적용하는 경우, 전자장치(10)는 제2 이미지(W_IMG)의 뎁스 맵에 기반하여, 각 픽셀의 뎁스에 따라 초점을 달리하는 동작을 수행할 수 있다. 본 실시 예에 따라 전자장치(10)는 개선된 화질의 뎁스 맵을 획득함으로써, 획득한 이미지에 대해 향상된 품질을 갖는 다양한 영상 효과를 수행할 수 있다.
도 15는 본 개시의 예시적 실시 예들에 따른 전자장치의 구성을 나타내는 블록도이다.
도 15를 참조하면, 전자장치(1000)는 프로세서(1100), 메모리(1200), 입출력 인터페이스(1300), 디스플레이(1400), 카메라 모듈(1500) 및 버스(1600)를 포함할 수 있다. 또한, 도시되지는 않았으나, 전자장치(1000)는 통신 모듈 등 다양한 구성요소들을 추가적으로 포함할 수도 있다.
버스(1600)는 전자장치(1000)에 포함된 구성들을 서로 연결하고, 구성들간 제어신호 또는 데이터 등을 전달하는 회로를 포함할 수 있다. 프로세서(1100)는 중앙처리장치, 어플리케이션 프로세서 및 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 예시적 실시 예에 있어서, 프로세서(1100)는 도 1 내지 도 14에서 상술된 뎁스 맵 생성과 관련된 다양한 동작을 수행할 수 있다. 예를 들어, 도 1 내지 도 14에 상술된 다양한 실시 예에 따른 장치(예를 들어, 모듈들 또는 그 기능들) 또는 방법(예를 들어, 장치의 동작방법)의 적어도 일부는, 프로그램 모듈의 형태로서 컴퓨터로 읽을 수 있는 저장매체(compter-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(1100)에 의해 실행될 경우, 프로세서(1100)는 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들어, 메모리(1200)가 될 수 있다.
메모리(1200)는 프로그램(또는 소프트웨어)으로서, 커널(1210), 미들웨어(1220), API(Application Programming Interface)(1230) 및 어플리케이션(1240)을 저장할 수 있다. 커널(1210), 미들웨어(1220) 및 API(1230)의 적어도 일부는, 운영 시스템으로 지칭될 수도 있다. 커널(1210)은, 예를 들면 프로그램에 구현된 동작 또는 기능을 실행하는데 사용되는 시스템 리소스들(예를 들어, 버스(1600), 프로세서(1100) 또는 메모리(1200))을 제어 또는 관리할 수 있다. 미들웨어(1220)는, 예를 들어 API(1230) 또는 어플리케이션(1240)이 커널(1210)과 통신하여 데이터를 죽조 받을 수 있도록 중개 역할을 수행할 수 있다. 어플리케이션(1240)은, 예를 들어 카메라 모듈(1500)을 통해 획득한 이미지에 대한 다양한 영상 효과를 수행하도록 구현될 수 있다.
입출력 인터페이스(1300)는, 예를 들어 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자장치(1000)의 다른 구성요소들에 전달하거나, 또는 전자장치(1000)의 다른 구성요소들로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부기기로 출력할 수 있다. 디스플레이(1400)는, 예를 들어 카메라 모듈(1500)로부터 획득한 이미지를 외부로 표시할 수 있다. 또는, 디스플레이(1400)는 프로세서(1100)에서 어플리케이션(1240)을 통해 영상효과가 적용된 이미지를 외부로 표시할 수 있다.
카메라 모듈(1500)은 외부로부터의 입력에 응답한 촬영으로서 피사체에 대한 이미지를 획득할 수 있다. 예시적 실시 예에 있어서, 카메라 모듈(1500)은 상이한 화각으로 이미지를 획득하는 제1 카메라 모듈 및 제2 카메라 모듈을 포함할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시 예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시 예들을 설명하였으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Claims (20)
- 제1 화각으로 피사체에 대한 제1 이미지를 획득하는 제1 카메라 모듈;
상기 제1 화각과 상이한 제2 화각으로 상기 피사체에 대한 제2 이미지를 획득하는 제2 카메라 모듈;
상기 제1 이미지 및 상기 제2 이미지에 기반하여, 상기 제1 이미지에 대해 제1 화질의 제1 뎁스 맵(depth map)을 생성하는 제1 뎁스 맵 발생기; 및
상기 제1 이미지, 상기 제2 이미지 및 상기 제1 뎁스 맵에 기반하여, 상기 제2 이미지에 대해 상기 제1 화질보다 저화질인 제2 화질의 제2 뎁스 맵을 생성하는 제2 뎁스 맵 발생기를 포함하는 장치. - 제1 항에 있어서,
상기 제1 화각은 상기 제2 화각에 비해 협각인 것을 특징으로 하는 장치. - 제2 항에 있어서,
상기 제2 이미지는, 상기 제1 이미지와 겹치는 제1 영역 및 상기 제2 이미지에서 상기 제1 영역을 제외한 제2 영역으로 구분되고,
상기 제2 뎁스 맵 발생기는,
상기 제1 이미지 및 상기 제2 이미지에 기반하여, 상기 제1 영역 및 상기 제2 영역 사이의 관계를 추정하는 관계 추정 모듈; 및
상기 추정된 관계 및 상기 제1 뎁스 맵에 기반하여, 상기 제2 영역의 뎁스 맵을 추정하는 뎁스 맵 추정 모듈을 포함하는 것을 특징으로 하는 장치. - 제3 항에 있어서,
상기 관계 추정 모듈 및 상기 뎁스 맵 추정 모듈 중 적어도 하나는 뉴럴 네트워크 모델에 기반하여 추정 동작을 수행하는 것을 특징으로 하는 장치. - 제1 항에 있어서,
상기 제1 뎁스 맵 및 상기 제2 뎁스 맵에 기반한 합성 동작을 수행함으로써 상기 제2 이미지에 대한 제3 뎁스 맵을 생성하는 뎁스 맵 합성기를 더 포함하는 장치. - 제5 항에 있어서,
상기 뎁스 맵 합성기는,
상기 제2 뎁스 맵에 바이어스 제거 동작을 수행함으로써, 상기 제1 뎁스 맵에 대응하여 톤 맵핑 된 제2 뎁스 맵을 생성하는 톤 맵핑 모듈; 및
상기 톤 맵핑 된 제2 뎁스 맵 및 상기 제1 뎁스 맵을 합성함으로써 상기 제3 뎁스 맵을 생성하는 합성 모듈을 포함하는 것을 특징으로 하는 장치. - 제6 항에 있어서,
상기 뎁스 맵 합성기는,
상기 제1 뎁스 맵 및 상기 제2 이미지에 기반하여, 상기 제1 뎁스 맵을 반복 확산 함으로써 상기 제2 이미지에 확산된 제1 뎁스 맵을 생성하는 확산 모듈을 더 포함하고,
상기 합성 모듈은, 상기 톤 맵핑 된 제2 뎁스 맵 및 상기 확산된 제1 뎁스 맵을 합성함으로써 상기 제3 뎁스 맵을 생성하는 것을 특징으로 하는 장치. - 제6 항에 있어서,
상기 뎁스 맵 합성기는,
상기 합성 모듈에서 생성된 제3 뎁스 맵에 후처리(post-processing) 동작을 수행하여 출력하는 후처리 모듈을 더 포함하는 장치. - 제1 항에 있어서,
상기 제1 뎁스 맵 발생기는, 상기 제1 이미지 및 상기 제2 이미지 간 원근관계를 분석하고, 상기 분석된 원근관계에 기반하여 상기 제1 이미지의 제1 뎁스 맵을 생성하는 것을 특징으로 하는 장치. - 제1 카메라 모듈을 통해, 피사체에 대한 제1 이미지를 획득하는 단계;
제2 카메라 모듈을 통해, 상기 피사체에 대한 제2 이미지를 획득하는 단계;
상기 제1 이미지 및 상기 제2 이미지에 기반하여, 상기 제1 영역에 대한 제1 뎁스 맵을 생성하는 단계;
상기 제1 이미지 및 상기 제2 이미지에 기반하여, 상기 제2 이미지에서 상기 제1 이미지와 공통되는 제1 영역 및 그 외의 제2 영역 간 관계를 추정하는 단계; 및
상기 추정된 제1 영역 및 제2 영역 간 관계, 및 상기 제1 뎁스 맵에 기반하여, 상기 제2 이미지에 대한 제2 뎁스 맵을 생성하는 단계를 포함하는 전자장치의 이미지 처리방법. - 제10 항에 있어서,
상기 전자장치는 제1 화각을 갖는 제1 렌즈를 포함하는 제1 카메라 모듈 및 상기 제1 화각보다 넓은 화각의 제2 화각을 갖는 제2 렌즈를 포함하는 제2 카메라 모듈을 포함하고,
상기 피사체에 대한 제1 이미지를 획득하는 단계는, 상기 제1 카메라 모듈을 통해 상기 피사체에 대한 제1 이미지를 획득하고,
상기 피사체에 대한 제2 이미지를 획득하는 단계는, 상기 제2 카메라 모듈을 통해 상기 피사체에 대한 제2 이미지를 획득하는 것을 특징으로 하는 전자장치의 이미지 처리방법. - 제10 항에 있어서,
상기 제2 뎁스 맵을 생성하는 단계는,
상기 추정된 제1 영역 및 제2 영역 간 관계, 및 상기 제1 뎁스 맵에 기반하여 상기 제2 영역에 대한 뎁스 맵을 추정하는 단계; 및
상기 제2 영역에 대한 뎁스 맵과 상기 제1 뎁스 맵에 기반하여 상기 제2 뎁스 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 전자장치의 이미지 처리방법. - 제10 항에 있어서,
상기 제1 영역 및 상기 제2 영역 간 관계를 추정하는 단계는,
뉴럴 네트워크 모델에 기반하여 상기 제1 영역 및 상기 제2 영역 간 관계를 추정하는 것을 특징으로 하는 전자장치의 이미지 처리방법. - 제10 항에 있어서,
상기 제2 뎁스 맵에 대해 전처리(pre-processing) 동작을 수행하는 단계; 및
상기 전처리 동작이 수행된 제2 뎁스 맵 및 상기 제1 뎁스 맵을 합성함으로써, 상기 제2 이미지에 대한 제3 뎁스 맵을 생성하는 단계를 더 포함하는 전자장치의 이미지 처리방법. - 제14 항에 있어서,
상기 전처리 동작을 수행하는 단계는,
상기 제2 뎁스 맵에 기반하여, 상기 제1 영역의 뎁스 맵과 상기 제2 영역의 뎁스 맵 간 톤 맵핑을 수행하는 것을 특징으로 하는 전자장치의 이미지 처리방법. - 제14 항에 있어서,
상기 제2 이미지에 상기 제1 뎁스 맵의 확산 동작을 반복 수행함으로써, 상기 제2 이미지에 확산된 제1 뎁스 맵을 생성하는 단계를 더 포함하고,
상기 제3 뎁스 맵을 생성하는 단계는,
상기 전처리 동작이 수행된 제2 뎁스 맵 및 상기 제2 이미지에 확산된 제1 뎁스 맵을 합성함으로써, 상기 제2 이미지에 대한 제3 뎁스 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 전자장치의 이미지 처리방법. - 제14 항에 있어서,
상기 제3 뎁스 맵에 후처리 동작으로서, 상기 전처리 동작이 수행된 제2 뎁스 맵 및 상기 제1 뎁스 맵의 합성에 따라 생성된 경계면에 대한 양방향 필터링(Bilateral Filtering)을 수행하는 단계를 더 포함하는 전자장치의 이미지 처리방법. - 제1 화각의 제1 이미지, 및 상기 제1 화각보다 넓은 제2 화각의 제2 이미지로서, 상기 제1 이미지과 공통되는 제1 영역 및 상기 제1 영역 외의 제2 영역으로 구분되는 제2 이미지에 기반하여 상기 제2 이미지의 뎁스 맵을 생성하는 프로세서의 동작방법으로서,
상기 제1 이미지 및 상기 제2 이미지 간 관계를 추정함으로써 상기 제1 영역에 대한 제1 뎁스 맵을 생성하는 단계;
상기 제1 이미지 및 상기 제2 이미지에 기반하여, 상기 제1 영역 및 상기 제2 영역 간 관계를 추정하는 단계;
상기 추정된 제1 영역 및 제2 영역 간 관계에 기반하여 상기 제2 영역의 뎁스 맵을 추정함으로써, 상기 제2 이미지의 제2 뎁스 맵을 생성하는 단계; 및
상기 제1 뎁스 맵 및 상기 제2 뎁스 맵을 합성 함으로써 상기 제2 이미지의 뎁스 맵을 생성하는 단계를 포함하는, 프로세서의 동작방법. - 제18 항에 있어서,
상기 제2 이미지에 대한 뎁스 맵에 기반하여 상기 제2 이미지에 영상 효과를 적용하는 어플리케이션을 실행하는 단계를 더 포함하는, 프로세서의 동작방법. - 제19 항에 있어서,
상기 어플리케이션은 상기 제2 이미지에 대한 뎁스 맵에 기반하여, 오토 포커싱(auto-focusing), 아웃 포커싱(out-focusing), 전/후면 구분(fore/background separation), 얼굴 인식(face recognition), 프레임에서의 객체 탐색(object detection within a frame) 및 증강현식(Augmented Reality) 중 적어도 하나의 영상효과를 상기 제2 이미지에 적용하는 것을 특징으로 하는, 프로세서의 동작방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180162147A KR102606824B1 (ko) | 2018-12-14 | 2018-12-14 | 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법 |
| CN201910716497.XA CN111327887B (zh) | 2018-12-14 | 2019-08-05 | 电子装置及其操作方法，以及处理电子装置的图像的方法 |
| US16/547,435 US10848746B2 (en) | 2018-12-14 | 2019-08-21 | Apparatus including multiple cameras and image processing method |
| TW108139015A TWI835907B (zh) | 2018-12-14 | 2019-10-29 | 電子設備及其操作方法以及影像處理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180162147A KR102606824B1 (ko) | 2018-12-14 | 2018-12-14 | 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200073694A true KR20200073694A (ko) | 2020-06-24 |
| KR102606824B1 KR102606824B1 (ko) | 2023-11-27 |
Family
ID=71071023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180162147A KR102606824B1 (ko) | 2018-12-14 | 2018-12-14 | 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10848746B2 (ko) |
| KR (1) | KR102606824B1 (ko) |
| CN (1) | CN111327887B (ko) |
| TW (1) | TWI835907B (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022010193A1 (ko) * | 2020-07-06 | 2022-01-13 | 삼성전자 주식회사 | 이미지 개선을 위한 전자장치 및 그 전자장치의 카메라 운용 방법 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11488359B2 (en) * | 2019-08-28 | 2022-11-01 | Snap Inc. | Providing 3D data for messages in a messaging system |
| US11189104B2 (en) | 2019-08-28 | 2021-11-30 | Snap Inc. | Generating 3D data in a messaging system |
| US11457196B2 (en) | 2019-08-28 | 2022-09-27 | Snap Inc. | Effects for 3D data in a messaging system |
| US12052408B2 (en) * | 2020-02-26 | 2024-07-30 | Intel Corporation | Depth based 3D reconstruction using an a-priori depth scene |
| CN114663575A (zh) * | 2020-12-23 | 2022-06-24 | 日本电气株式会社 | 图像处理的方法、设备和计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100871595B1 (ko) * | 2007-10-09 | 2008-12-02 | 박선의 | 고속카메라를 이용한 구형물체의 비행정보 측정 시스템 |
| KR101244044B1 (ko) * | 2012-03-19 | 2013-03-15 | 정미애 | 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법 |
| KR20180032291A (ko) * | 2016-09-22 | 2018-03-30 | 삼성전자주식회사 | 스테레오 카메라의 교정 방법 및 이를 수행하는 전자 장치 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2704479C (en) * | 2007-11-09 | 2016-01-05 | Thomson Licensing | System and method for depth map extraction using region-based filtering |
| US9720089B2 (en) | 2012-01-23 | 2017-08-01 | Microsoft Technology Licensing, Llc | 3D zoom imager |
| US10237528B2 (en) * | 2013-03-14 | 2019-03-19 | Qualcomm Incorporated | System and method for real time 2D to 3D conversion of a video in a digital camera |
| KR102147133B1 (ko) | 2013-05-16 | 2020-08-24 | 엘지이노텍 주식회사 | 스테레오 카메라 |
| EP2890125B1 (en) | 2013-12-24 | 2021-10-13 | Sony Depthsensing Solutions | A time-of-flight camera system |
| KR102172992B1 (ko) | 2014-07-31 | 2020-11-02 | 삼성전자주식회사 | 이미지 촬영 장치 및 이미지 촬영 방법 |
| TWI538508B (zh) * | 2014-08-15 | 2016-06-11 | 光寶科技股份有限公司 | 一種可獲得深度資訊的影像擷取系統與對焦方法 |
| KR101609188B1 (ko) | 2014-09-11 | 2016-04-05 | 동국대학교 산학협력단 | 화각의 향상을 위한 최적 배치를 갖는 깊이 카메라 시스템 |
| TWI554103B (zh) | 2014-11-13 | 2016-10-11 | 聚晶半導體股份有限公司 | 影像擷取裝置及其數位變焦方法 |
| US10404969B2 (en) | 2015-01-20 | 2019-09-03 | Qualcomm Incorporated | Method and apparatus for multiple technology depth map acquisition and fusion |
| CN107534764B (zh) | 2015-04-30 | 2020-03-17 | 深圳市大疆创新科技有限公司 | 增强图像分辨率的系统及方法 |
| US10291842B2 (en) * | 2015-06-23 | 2019-05-14 | Samsung Electronics Co., Ltd. | Digital photographing apparatus and method of operating the same |
| US9900584B2 (en) | 2016-04-27 | 2018-02-20 | Semyon Nisenzon | Depth map generation based on cluster hierarchy and multiple multiresolution camera clusters |
| KR102622754B1 (ko) * | 2016-09-07 | 2024-01-10 | 삼성전자주식회사 | 이미지 합성 방법 및 이를 지원하는 전자 장치 |
| US10178370B2 (en) * | 2016-12-19 | 2019-01-08 | Sony Corporation | Using multiple cameras to stitch a consolidated 3D depth map |
| US10397549B2 (en) * | 2016-12-20 | 2019-08-27 | Gopro, Inc. | Compact array of imaging devices with supplemental imaging unit |
| KR101739394B1 (ko) | 2016-12-30 | 2017-05-26 | 재단법인대구경북과학기술원 | 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법 |
| US10499046B2 (en) * | 2017-04-13 | 2019-12-03 | Facebook, Inc. | Generating depth maps for panoramic camera systems |
| CN108230384B (zh) * | 2017-11-28 | 2021-08-24 | 深圳市商汤科技有限公司 | 图像深度计算方法、装置、存储介质和电子设备 |
-
2018
- 2018-12-14 KR KR1020180162147A patent/KR102606824B1/ko active IP Right Grant
-
2019
- 2019-08-05 CN CN201910716497.XA patent/CN111327887B/zh active Active
- 2019-08-21 US US16/547,435 patent/US10848746B2/en active Active
- 2019-10-29 TW TW108139015A patent/TWI835907B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100871595B1 (ko) * | 2007-10-09 | 2008-12-02 | 박선의 | 고속카메라를 이용한 구형물체의 비행정보 측정 시스템 |
| KR101244044B1 (ko) * | 2012-03-19 | 2013-03-15 | 정미애 | 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법 |
| KR20180032291A (ko) * | 2016-09-22 | 2018-03-30 | 삼성전자주식회사 | 스테레오 카메라의 교정 방법 및 이를 수행하는 전자 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022010193A1 (ko) * | 2020-07-06 | 2022-01-13 | 삼성전자 주식회사 | 이미지 개선을 위한 전자장치 및 그 전자장치의 카메라 운용 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200195910A1 (en) | 2020-06-18 |
| TWI835907B (zh) | 2024-03-21 |
| CN111327887B (zh) | 2024-06-14 |
| CN111327887A (zh) | 2020-06-23 |
| KR102606824B1 (ko) | 2023-11-27 |
| TW202038604A (zh) | 2020-10-16 |
| US10848746B2 (en) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102606824B1 (ko) | 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법 | |
| US20210304431A1 (en) | Depth-Aware Photo Editing | |
| Wang et al. | Selective light field refocusing for camera arrays using bokeh rendering and superresolution | |
| US10645368B1 (en) | Method and apparatus for estimating depth of field information | |
| US10015469B2 (en) | Image blur based on 3D depth information | |
| US11663691B2 (en) | Method and apparatus for restoring image | |
| TWI706379B (zh) | 圖像處理方法及裝置、電子設備和儲存介質 | |
| US10109076B2 (en) | Depth-aware stereo image editing method apparatus and computer-readable medium | |
| WO2016180126A1 (zh) | 一种图像处理方法和装置 | |
| CN107690649A (zh) | 数字拍摄装置及其操作方法 | |
| EP3443736A1 (en) | Method and apparatus for video content stabilization | |
| Dutta | Depth-aware blending of smoothed images for bokeh effect generation | |
| Luo et al. | Bokeh rendering from defocus estimation | |
| CN114742703A (zh) | 双目立体全景图像的生成方法、装置、设备和存储介质 | |
| WO2018192531A1 (zh) | 一种虹膜识别过程中的预览方法及装置 | |
| US20160292842A1 (en) | Method and Apparatus for Enhanced Digital Imaging | |
| CN113962873A (zh) | 一种图像去噪方法、存储介质及终端设备 | |
| CN113920023B (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| US11823353B2 (en) | System and method for generating bokeh image for DSLR quality depth-of-field rendering and refinement and training method for the same | |
| US11669939B1 (en) | Burst deblurring with kernel estimation networks | |
| JP2013232757A (ja) | 撮像装置、画像処理装置、画像処理方法及びプログラム | |
| WO2023283855A1 (en) | Super resolution based on saliency | |
| CN118552452A (zh) | 去除摩尔纹的方法及相关装置 | |
| CN115150606A (zh) | 一种图像虚化方法、装置、存储介质及终端设备 | |
| RU2005126853A (ru) | Способ удаления шума в изображении |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |