KR20150097987A

KR20150097987A - 이미지를 처리하기 위한 전자 장치 및 방법

Info

Publication number: KR20150097987A
Application number: KR1020140018957A
Authority: KR
Inventors: 윤영권; 나진희; 강화영; 김문수; 김태호
Original assignee: 삼성전자주식회사
Priority date: 2014-02-19
Filing date: 2014-02-19
Publication date: 2015-08-27
Also published as: CN106031154B; WO2015126044A1; EP3110131A4; US10674066B2; US20170070664A1; EP3110131B1; KR102149463B1; EP3110131A1; CN106031154A

Abstract

본 개시의 다양한 실시 예는 전자 장치에서 이미지를 처리하기 위한 장치 및 방법에 관한 것이다. 이때, 이미지 처리 방법은 적어도 하나의 이미지 센서를 이용하여 제 1 이미지를 획득하는 동작과 상기 제 1 이미지에서 적어도 하나의 서브 이미지를 검출하는 동작과 상기 이미지 센서를 통해 획득한 적어도 하나의 위상차 정보를 이용하여 상기 적어도 하나의 서브 이미지 간의 상대적인 거리를 추정하는 동작과 상기 적어도 하나의 서브 이미지 간의 상대적인 거리를 이용하여 각각의 서브 이미지에 초점이 맞춰진 적어도 하나의 제 2 이미지를 캡쳐하는 동작을 포함할 수 있으며 다양한 다른 실시 예들도 가능할 수 있다.

Description

이미지를 처리하기 위한 전자 장치 및 방법{ELECTRONIC DEVICE AND METHOD FOR PROCESSING IMAGE}

본 개시는 전자 장치에 관한 것이며, 특히, 전자 장치를 이용한 이미지 처리 방법에 관한 것이다.

정보통신 기술 및 반도체 기술의 발전으로 각종 전자 장치들이 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 예를 들어, 휴대용 전자 장치는 방송 서비스, 무선 인터넷 서비스, 카메라 서비스 및 음악 재생 서비스 등의 다양한 멀티미디어 서비스를 제공할 수 있다.

전자 장치는 이미지 센서를 통해 획득한 영상을 이용하여 다양한 서비스를 제공할 수 있다.

이미지 센서를 구비하는 경우, 전자 장치는 특정 피사체에 렌즈 초점을 맞추어 이미지를 획득할 수 있다. 예를 들어, 주 피사체를 촬영하고자 하는 경우, 전자 장치는 이미지에 포함되는 다른 피사체에 의해 배경이 산만해지는 것을 방지하기 위해 주 피사체에 렌즈 초점을 맞추어 이미지를 촬영할 수 있다. 이 경우, 전자 장치는 주 피사체에 초점이 맞춰져 촬영된 이미지에서 초점 위치를 변경하거나, 모든 이미지에 맞게 초점을 변경할 수 없다. 이에 따라, 다른 피사체에 초점이 맞춰진 이미지를 필요로 하는 경우, 전자 장치는 다시 촬영을 수행해야 하는 불편함이 있다.

본 개시의 실시 예는 전자 장치에서 이미지 촬영 후 피사체의 초점을 변경하기 위한 장치 및 방법을 제공할 수 있다.

본 개시의 실시 예는 전자 장치에서 이미지 센서를 통해 획득한 적어도 하나의 위상차 정보를 이용하여 검출한 서브 이미지들 간의 상대적인 거리에 기반하여 각각의 서브 이미지에 초점이 맞춰진 다수 개의 이미지들을 획득하기 위한 장치 및 방법을 제공할 수 있다.

본 개시의 실시 예는 전자 장치에서 서브 이미지에 대한 초점 심도에 기반하여 초점을 맞춰 촬영하기 위한 서브 이미지를 결정하기 위한 장치 및 방법을 제공할 수 있다.

본 개시의 실시 예는 전자 장치에서 위상차 픽셀을 이용하여 획득한 서로 다른 초점 거리를 갖는 다수 개의 이미지들을 이용하여 모든 피사체에 초점이 맞춰진 이미지를 제공하기 위한 장치 및 방법을 제공할 수 있다.

본 개시의 실시 예는 전자 장치에서 서브 이미지들 간의 상대적인 거리에 기반하여 이미지 효과를 제공하기 위한 장치 및 방법을 제공할 수 있다.

본 개시의 실시 예에 따르면, 전자 장치에서 이미지를 처리하기 위한 방법은, 위상차 픽셀을 포함하는 픽셀들의 배열을 포함하는 적어도 하나의 이미지 센서를 이용하여 제 1 이미지를 획득하는 동작과 상기 제 1 이미지에서 적어도 하나의 서브 이미지를 검출하는 동작과 상기 위상차 픽셀을 이용하여 획득한 적어도 하나의 위상차 정보를 이용하여 상기 적어도 하나의 서브 이미지 간의 상대적인 거리를 추정하는 동작과 상기 적어도 하나의 서브 이미지 간의 상대적인 거리를 이용하여 각각의 서브 이미지에 초점이 맞춰진 적어도 하나의 제 2 이미지를 캡쳐하는 동작을 포함할 수 있다.

본 개시의 실시 예에 따르면, 전자 장치는, 위상차 픽셀을 포함하는 픽셀들의 배열을 포함하며, 이미지를 획득 또는 캡쳐하는 적어도 하나의 이미지 센서와 적어도 하나의 프로세서를 포함하며, 상기 프로세서는, 상기 적어도 하나의 이미지 센서를 이용하여 획득한 제 1 이미지에서 적어도 하나의 서브 이미지를 검출하고, 상기 위상차 픽셀을 이용하여 획득한 적어도 하나의 위상차 정보를 이용하여 상기 적어도 하나의 서브 이미지 간의 상대적인 거리를 추정하고, 상기 적어도 하나의 서브 이미지 간의 상대적인 거리를 이용하여 각각의 서브 이미지에 초점이 맞춰진 적어도 하나의 제 2 이미지를 캡쳐하도록 구성될 수 있다.

본 개시의 실시 예에 따르면, 전자장치를 구동하는 방법은, 상기 전자장치에 포함된 이미지 획득 장치에 의하여 얻어지는 영상을 메모리에 적어도 일시적으로 저장하는 동작과 상기 영상에 포함된 적어도 하나의 객체에 대한 위상차(phase difference) 정보를 획득하는 동작과 상기 이미지 획득 장치에 의하여 영상을 캡쳐하도록 하는 사용자 입력을 수신하는 동작과 상기 사용자 입력에 응답하여, 복수의 영상을 캡쳐하는 동작을 포함하며, 상기 복수의 영상 중 적어도 두 개의 영상들은, 상이한 초점 거리를 가지며, 상기 초점 거리는 상기 획득된 위상차 정보에 적어도 일부분 기초하여 맞추어질 수 있다.

본 개시의 실시 예에 따르면, 전자 장치는, 사용자 입력을 검출하는 입력 모듈과 이미지를 획득 또는 캡쳐하는 이미지 획득 장치와 상기 이미지 획득 장치에 의하여 얻어지는 영상을 저장하는 메모리와 적어도 하나의 프로세서를 포함하며, 상기 프로세서는, 상기 이미지 획득 장치에 의하여 얻어져 상기 메모리에 일시적으로 저장되는 영상에 포함된 적어도 하나의 객체에 대한 위상차(phase difference) 정보를 획득하고, 상기 입력 모듈을 통해 검출한 상기 이미지 획득 장치에 의하여 영상을 캡쳐하도록 하는 사용자 입력에 응답하여, 상기 이미지 획득 장치를 통해 복수의 영상을 캡쳐하도록 구성되며, 상기 복수의 영상 중 적어도 두 개의 영상들은, 상이한 초점 거리를 가지며, 상기 초점 거리는 상기 획득된 위상차 정보에 적어도 일부분 기초하여 맞추어질 수 있다.

상술한 바와 같이 전자 장치에서 위상차 픽셀을 이용하여 검출한 서브 이미지들 간의 상대적인 거리에 기반하여 각각의 서브 이미지에 초점이 맞춰진 다수 개의 이미지들을 획득함으로써, 이미지 촬영 후 피사체의 초점을 변경할 수 있으며 다수 개의 이미지를 획득하기 위한 시간을 줄일 수 있다.

전자 장치에서 서브 이미지들에 대한 초점 심도에 기반하여 동일한 초점 심도를 포함하는 서브 이미지들에 대한 촬영 횟수를 제어함으로써, 동일한 초점 심도를 포함하는 서브 이미지들에 대한 반복적인 촬영을 제한할 수 있다.

전자 장치에서 위상차 픽셀을 이용하여 검출한 서브 이미지들 간의 상대적인 거리에 기반하여 각각의 서브 이미지를 편집함으로써, 촬영된 이미지에 대한 아웃 포커싱 효과와 같은 다양한 이미지 효과를 제공할 수 있다.

전자 장치에서 서로 다른 초점 거리를 갖는 다수 개의 이미지들에 포함된 적어도 하나의 서브 이미지를 합성함으로써, 모든 피사체에 초점이 맞춰진 이미지를 제공할 수 있다.

도 1은 본 개시의 실시 예에 따른 전자 장치의 블록도를 도시한다.
도 2a는 본 개시의 실시 예에 따른 이미지 처리 모듈에 대한 상세 블록도를 도시한다.
도 2b는 본 개시의 실시 예에 따른 전자 장치의 상세 블록도를 도시한다.
도 3a는 본 개시의 실시 예에 따른 전자 장치에서 서브 이미지들에 대응하는 다수 개의 이미지들을 캡쳐하기 위한 절차를 도시한다.
도 3b는 본 개시의 실시 예에 따른 전자 장치에서 서로 다른 초점 거리를 갖는 다수 개의 영상들을 캡쳐하기 위한 절차를 도시한다.
도 4a 내지 도 4c는 본 개시의 실시 예에 따른 이미지 센서를 통해 획득한 위상차 픽셀의 위상차 정보를 도시한다.
도 5a 내지 도 5d는 본 개시의 실시 예에 따른 전자 장치에서 서브 이미지들에 대응하는 이미지의 구성을 도시한다.
도 6은 본 개시의 실시 예에 따른 전자 장치에서 이미지를 획득하기 위한 서브 이미지를 추출하기 위한 절차를 도시한다.
도 7a 내지 도 7b는 본 개시의 실시 예에 따른 전자 장치에서 이미지 블럭에 대한 위상 차 정보를 이용하여 서브 이미지를 추출하는 구성을 도시한다.
도 8은 본 개시의 실시 예에 따른 전자 장치에서 서브 이미지의 초점 심도에 기반하여 이미지 촬영을 위한 서브 이미지를 추출하기 위한 절차를 도시한다.
도 9는 본 개시의 실시 예에 따른 서브 이미지들에 대한 초점 심도를 도시한다.
도 10은 본 개시의 실시 예에 따른 다수 개의 이미지들을 포함하는 파일의 구성을 도시한다.
도 11은 본 개시의 실시 예에 따른 전자 장치에서 이미지를 편집하기 위한 절차를 도시한다.
도 12a 내지 도 12b는 본 개시의 실시 예에 따른 이미지를 블러 처리하기 위한 구성을 도시한다.
도 13은 본 개시의 실시 예에 따른 전자 장치에서 촬영된 이미지의 초점을 변경하기 위한 절차를 도시한다.
도 14는 본 개시의 실시 예에 따른 전자 장치에서 초점 변경 이벤트에 대응하는 이미지를 선택하기 위한 절차를 도시한다.
도 15는 본 개시의 실시 예에 따른 전자 장치에서 입력 정보에 기반하여 이미지를 선택하기 위한 절차를 도시한다.
도 16은 본 개시의 실시 예에 따른 전자 장치에서 서로 다른 초점 정보를 포함하는 이미지들을 합성하기 위한 절차를 도시한다.
도 17은 본 개시의 실시 예에 따른 전자 장치에서 합성하기 위한 서브 이미지를 추출하기 위한 절차를 도시한다.
도 18a 내지 도 18d는 본 개시의 실시 예에 따른 전자 장치에서 서로 다른 초점 정보를 포함하는 이미지들을 합성하기 위한 구성을 도시한다.
도 19는 본 개시의 다른 실시 예에 따른 전자 장치에서 합성하기 위한 서브 이미지를 추출하기 위한 절차를 도시한다.
도 20a 내지 도 20c는 본 개시의 다른 실시 예에 따른 전자 장치에서 서로 다른 초점 정보를 포함하는 이미지들을 합성하기 위한 구성을 도시한다.
도 21은 본 개시의 다른 실시 예에 따른 전자 장치에서 서로 다른 초점 정보를 포함하는 이미지들을 합성하기 위한 절차를 도시한다.
도 22a 내지 도 22b는 본 개시의 실시 예에 따른 합성하기 위한 이미지를 촬영하기 위한 구성을 도시한다.

이하 첨부된 도면을 참조하여 본 개시(present disclosure)를 설명한다. 본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.

본 개시 가운데 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 개시에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 개시에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.

본 개시 가운데 "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들이 본 발명의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제 1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.

본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 개시에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 개시에 따른 전자 장치는, 카메라 기능을 포함하는 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.

어떤 실시 예들에 따르면, 전자 장치는 카메라 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 예를 들자면, 스마트 가전 제품은 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSync^TM, 애플TV^TM, 또는 구글 TV^TM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.

어떤 실시 예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 또는 산업용 또는 가정용 로봇 중 적어도 하나를 포함할 수 있다.

어떤 실시 예들에 따르면, 전자 장치는 카메라 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector) 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 개시에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 개시에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.

이하 첨부된 도면을 참조하여 다양한 실시 예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시 예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.

이하 본 개시의 실시 예는 전자 장치에서 위상차 픽셀을 이용하여 이미지를 획득 및 처리하기 위한 기술에 대해 설명할 수 있다.

도 1은 본 개시의 실시 예에 따른 전자 장치의 블록도를 도시하고 있다.

도 1을 참조하면 전자장치(100)는 버스(110), 프로세서(120), 메모리(130), 입력 모듈(입력 인터페이스)(140), 표시 모듈(디스플레이)(150), 이미지 센서 모듈(160) 및 이미지 처리 모듈(170)을 포함할 수 있다. 여기서, 프로세서(120) 및 메모리(130) 중 하나 이상은 다수 개 존재할 수 있다.

버스(110)는 전자장치(100)에 포함되는 구성요소들을 서로 연결하고, 전자장치(100)에 포함되는 구성요소들 간의 통신을 제어할 수 있다.

프로세서(120)는 전자장치(100)가 다양한 서비스를 제공하도록 제어할 수 있다. 예를 들어, 프로세서(120)는 버스(110)를 통해 전자장치(100)에 포함되는 하나 이상의 다른 구성요소(예: 메모리(130), 입력 모듈(140), 표시 모듈(150), 이미지 센서 모듈(160), 이미지 처리 모듈(170))로부터 수신된 명령을 해독할 수 있고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.

프로세서(120)는 메모리(130)에 저장된 하나 이상의 프로그램을 실행하여 전자 장치(100)가 다양한 서비스를 제공하도록 제어할 수 있다.

이미지 처리 모듈(170)은 이미지 센서 모듈(160)을 통해 획득한 적어도 하나의 위상차 정보를 이용하여 연속 촬영을 위한 서브 이미지(예: 피사체)들의 상대적인 거리를 결정하여 각각의 서브 이미지에 초점이 맞춰진 다수 개의 이미지들을 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다. 예를 들어, 이미지 처리 모듈(170)은 이미지 센서 모듈(160)에 포함된 적어도 하나의 위상차 픽셀(예: 적어도 한 쌍의 위상차 픽셀들)을 이용하여 적어도 하나의 위상차 정보를 획득할 수 있다.

이미지 처리 모듈(170)은 이미지 센서 모듈(160)을 통해 획득한 이미지에서 연속 촬영을 위한 하나 이상의 서브 이미지(예: 피사체)를 추출할 수 있다. 이때, 이미지 처리 모듈(170)은 이미지 추출 프로그램(131)을 실행하여 이미지 센서 모듈(160)를 통해 획득한 적어도 하나의 위상차 정보를 이용하여 연속 촬영을 위한 서브 이미지를 추출할 수 있다. 예를 들어, 이미지 처리 모듈(170)은 이미지 센서 모듈(160)에 포함된 적어도 하나의 위상차 픽셀(예: 적어도 한 쌍의 위상차 픽셀들)을 이용하여 이미지 센서 모듈(160)을 통해 획득한 이미지를 구성하는 각각의 이미지 블럭에 대한 위상차 정보(예: 위상차 코드(focus code))를 검출할 수 있다. 이미지 처리 모듈(170)은 위상차 정보가 기준 범위 이내에 포함되는 하나 이상의 이미지 블럭을 각각의 이미지 그룹으로 그룹핑할 수 있다. 이미지 처리 모듈(170)은 이미지 그룹의 크기(예: 이미지 그룹에 포함되는 이미지 블럭의 개수)가 임계 값을 초과하는 이미지 그룹을 연속 촬영을 위한 서브 이미지로 인식할 수 있다. 이때, 이미지 처리 모듈(170)은 이미지 블럭의 위상차 정보 값을 신뢰할 수 있는 경우, 각각의 이미지 블럭들의 위상차 정보에 기반하여 연속 촬영을 위한 서브 이미지를 추출할 수 있다.

이미지 처리 모듈(170)은 이미지 센서 모듈(160)을 통해 획득한 적어도 하나의 위상차 정보를 이용하여 연속 촬영을 위한 서브 이미지들의 상대적인 거리를 추정할 수 있다. 이때, 이미지 처리 모듈(170)은 거리 추정 프로그램(131)을 실행하여 연속 촬영을 위한 서브 이미지들 간의 상대적인 거리를 추정할 수 있다. 예를 들어, 이미지 처리 모듈(170)은 각각의 서브 이미지 영역에 대한 위상차 정보를 비교하여 서브 이미지들 간의 상대적인 거리를 추정할 수 있다.

이미지 처리 모듈(170)은 서브 이미지들의 상대적인 거리에 기반하여 각각의 서브 이미지에 초점이 맞춰진 다수 개의 이미지들을 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다. 이때, 이미지 처리 모듈(170)은 촬영 제어 프로그램(133)을 실행하여 각각의 서브 이미지에 초점이 맞춰진 다수 개의 이미지들을 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다. 예를 들어, 이미지 처리 모듈(170)은 서브 이미지들 간의 상대적인 거리에 대응하도록 렌즈의 초점을 움직여 연속적으로 다수 개의 이미지들을 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다.

이미지 처리 모듈(170)은 서브 이미지들에 대한 이미지 촬영 시, 서브 이미지들의 초점 심도에 기반하여 서브 이미지들에 대응하는 연속 촬영을 제어할 수 있다. 이때, 이미지 처리 모듈(170)은 촬영 제어 프로그램(133)을 실행하여 연속 촬영을 위한 서브 이미지를 선택할 수 있다. 예를 들어, 두 개의 서브 이미지들이 동일한 초점 심도를 포함하는 경우, 이미지 처리 모듈(170)은 두 개의 서브 이미지들 중 어느 하나의 서브 이미지에 초점이 맞춰진 이미지를 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다. 다른 예를 들어, 두 개의 서브 이미지들이 동일한 초점 심도를 포함하는 경우, 이미지 처리 모듈(170)은 두 개의 서브 이미지들에 대한 초점의 사이 값을 갖는 이미지를 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다. 여기서, 동일한 초점 심도는 초점 심도의 차이가 임계 범위 내에 포함되는 초점 심도를 나타낼 수 있다.

이미지 처리 모듈(170)은 연속 촬영 시, 서브 이미지의 변화를 감지한 경우, 변화된 서브 이미지에 초점이 맞춰진 이미지를 다시 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다. 이때, 이미지 처리 모듈(170)은 촬영 제어 프로그램(133)을 실행하여 변화된 서브 이미지에 초점이 맞춰진 이미지를 다시 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다. 예를 들어, 이미지 처리 모듈(170)은 이미지 센서 모듈(160)을 통해 획득되는 이미지들을 비교하여 서브 이미지의 변화가 감지되는지 확인할 수 있다.

이미지 처리 모듈(170)은 이미지 센서 모듈(160)을 통해 연속 촬영된 다수 개의 이미지들 중 제 1 이미지를 표시 모듈(150)에 표시하도록 제어할 수 있다. 예를 들어, 이미지 처리 모듈(170)은 이미지 변환 프로그램(134)을 실행하여 제 1 이미지에서 초점이 맞은 서브 이미지를 기준으로 적어도 하나의 다른 서브 이미지에 대한 상대적인 거리에 기반하여 초점이 맞지 않은 적어도 하나의 다른 서브 이미지에 이미지 효과를 적용할 수 있다. 예컨대, 이미지 처리 모듈(170)은 제 1 이미지에서 초점이 맞은 서브 이미지를 기준으로 적어도 하나의 다른 서브 이미지에 대한 상대적인 거리에 기반하여 초점이 맞지 않은 적어도 하나의 다른 서브 이미지를 블러 처리할 수 있다

이미지 처리 모듈(170)은 제 1 이미지가 표시 모듈(150)에 표시된 상태에서 입력 모듈(140)을 통해 검출한 입력 정보에 기반하여 초점 변경 이벤트 발생을 확인한 경우, 다수 개의 이미지들 중 초점 변경 이벤트에 대응하는 제 2 이미지를 추출하여 표시 모듈(150)에 표시하도록 제어할 수 있다.

이미지 처리 모듈(170)은 이미지 센서 모듈(160)을 통해 연속 촬영된 다수 개의 이미지들을 합성하여 다수 개의 서브 이미지들에 초점이 맞춰진 하나의 이미지를 생성할 수 있다. 이때, 이미지 처리 모듈(170)은 이미지 변환 프로그램(134)을 실행하여 연속 촬영된 다수 개의 이미지들을 하나의 이미지로 합성할 수 있다. 예를 들어, 이미지 처리 모듈(170)은 각각의 이미지에 대한 화각 차이로 인한 서브 이미지의 크기 차이를 보상하기 위해 각각의 이미지에서 초점이 맞는 서브 이미지의 외곽선에서 기준 간격만큼 이격된 테두리까지 해당 서브 이미지를 추출하여 하나의 이미지로 합성할 수 있다. 다른 예를 들어, 이미지 처리 모듈(170)은 연속 촬영된 다수 개의 이미지들의 화각이 동일해지도록 화각이 가장 작은 이미지를 기준으로 적어도 하나의 나머지 이미지를 편집한 후, 각각의 이미지에서 초점이 맞는 서브 이미지를 추출하여 하나의 이미지로 합성할 수 있다. 예컨대, 이미지 처리 모듈(170)은 화각이 가장 작은 이미지를 기준으로 적어도 하나의 나머지 이미지의 테두리의 적어도 일부 영역을 잘라내기(crop)한 후, 합성을 위한 서브 이미지를 추출할 수 있다.

메모리(130)는 전자장치(100)에 포함되는 하나 이상의 구성 요소(프로세서(120), 입력 모듈(140), 표시 모듈(150), 이미지 센서 모듈(160), 이미지 처리 모듈(170))로부터 수신되거나 하나 이상의 구성 요소에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(130)는 이미지 센서 모듈(160)을 통해 연속 촬영된 다수 개의 이미지들을 하나의 파일로 저장할 수 있다. 다른 예를 들어, 메모리(130)는 이미지 센서 모듈(160)을 통해 연속 촬영된 다수 개의 이미지들 중 표시 모듈(150)에 표시된 제 1 이미지와 적어도 하나의 나머지 이미지를 서로 다른 메모리 영역에 저장할 수 있다. 이 경우, 메모리(130)는 적어도 하나의 나머지 이미지를 하나의 파일로 저장할 수 있다. 또 다른 예를 들어, 메모리(130)는 이미지 센서 모듈(160)을 통해 연속 촬영된 각각의 이미지를 서로 다른 파일로 저장할 수 있다.

메모리(130)는 전자 장치(100)의 서비스를 위한 하나 이상의 프로그램을 저장할 수 있다. 예를 들어, 메모리(130)는 이미지 추출 프로그램(131), 거리 추정 프로그램(132), 촬영 제어 프로그램(133) 및 이미지 변환 프로그램(134) 중 하나 이상을 포함할 수 있다.

이미지 추출 프로그램(131)은 이미지 센서 모듈(160)을 통해 획득한 적어도 하나의 위상차 정보를 이용하여 연속 촬영을 위한 하나 이상의 서브 이미지(예: 피사체)를 추출하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다.

거리 추정 프로그램(132)은 이미지 센서 모듈(160)을 통해 획득한 적어도 하나의 위상차 정보를 이용하여 연속 촬영을 위한 서브 이미지들의 상대적인 거리를 추정하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다.

촬영 제어 프로그램(133)은 거리 추정 프로그램(132)을 통해 추정한 서브 이미지들의 상대적인 거리에 기반하여 각각의 서브 이미지에 초점이 맞춰진 이미지들을 연속 촬영하도록 이미지 센서 모듈(160)을 제어하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다.

이미지 변환 프로그램(134)은 이미지 센서 모듈(160)을 통해 연속 촬영한 다수 개의 이미지들에 대한 이미지 변환을 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다.

입력 모듈(입력 인터페이스)(140)은 사용자의 선택에 의해 발생하는 명령 또는 데이터를 버스(110)를 통해 프로세서(120) 또는 메모리(130)에 전송할 수 있다. 예를 들어, 입력 모듈(140)은 적어도 하나의 하드웨어 버튼을 포함하는 키패드, 터치 정보를 감지하는 터치 패널 중 하나 이상을 포함할 수 있다.

표시 모듈(150)은 사용자에게 화상, 영상 또는 데이터를 표시할 수 있다. 예를 들어, 표시 모듈(150)은 프로세서(120)에 의해 구동되는 응용프로그램 정보를 표시할 수 있다. 다른 예를 들어, 표시 모듈(150)은 이미지 센서 모듈(160)을 통해 촬영(캡쳐)한 이미지를 표시할 수 있다.

이미지 센서 모듈(160)은 피사체에 대한 촬영을 통해 획득한 이미지를 프로세서(120)로 제공할 수 있다. 예를 들어, 이미지 센서 모듈(160)은 다수 개의 컬러 픽셀들과 적어도 하나의 위상차 정보를 포함하는 이미지를 수집하여 프로세서(120) 및 이미지 처리 모듈(170) 중 적어도 하나로 제공할 수 있다. 여기서, 이미지 센서 모듈(160)은 전자 장치(100)에 연결된 적어도 하나의 이미지 센서 모듈을 포함할 수 있다.

전자 장치(100)는 적어도 하나의 다른 전자장치 또는 서버 또는 적어도 하나의 주변 기기와 전자 장치(100) 간의 통신을 연결하는 통신 모듈(통신 인터페이스)을 더 포함할 수 있다. 예를 들어, 통신 모듈은 근거리 통신 프로토콜(예: Wifi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication)) 또는 네트워크 통신 프로토콜(예: 인터넷, LAN(local area network), WAN(wire area network), 통신 네트워크(telecommunication network), 셀룰러 네트워크(cellular network), 위성 네트워크(satellite network) 또는 POTS(plain old telephone service)) 또는 유선 통신 프로토콜(예: USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface))를 지원할 수 있다. 이때, 통신 프로토콜(예: 근거리 통신 프로토콜, 네트워크 통신 프로토콜, 유선 통신 프로토콜)은 메모리(130)의 미들웨어 또는 어플리케이션 프로그래밍 인터페이스(API: application programming interface)에서 지원할 수 있다. 여기서, 다른 전자장치는 전자 장치(100)의 주변 기기로 전자 장치(100)와 동일한 타입의 장치이거나 또는 다른 타입의 장치를 포함할 수 있다.

상술한 실시 예에서 이미지 처리 모듈(170)은 하나의 모듈 내에서 이미지를 획득 및 처리하도록 제어할 수 있다.

다른 실시 예에서 이미지 처리 모듈(170)은 하기 도 2a와 같이 이미지를 획득 및 처리하기 위한 별개의 하드웨어, 소프트웨어 또는 펌웨어 모듈들 또는 이들의 조합을 포함할 수 있다.

도 2a는 본 개시의 실시 예에 따른 이미지 처리 모듈에 대한 상세 블록도를 도시하고 있다.

도 2a를 참조하면 이미지 처리 모듈(170)은 이미지 추출 모듈(200), 거리 추정 모듈(210), 촬영 제어 모듈(220), 이미지 변환 모듈(230)을 포함할 수 있다. 상기 각 모듈은, 하드웨어, 소프트웨어, 또는 펌웨어 또는 이들의 조합을 포함할 수 있다. 예를 들어, 각 모듈이 소프트웨어로 구현되는 경우, 각 모듈은 하나 이상의 프로세서(예를 들어, 이미지 처리 프로세서 또는 어플리케이션 프로세서 또는 이들의 조합)에 의하여 기능적으로 제공될 수 있다.

이미지 추출 모듈(200)은 이미지 센서 모듈(160)을 통해 획득한 이미지에서 연속 촬영을 위한 하나 이상의 서브 이미지(예: 피사체)를 추출할 수 있다. 이때, 이미지 추출 모듈(200)은 이미지 추출 프로그램(131)을 실행하여 이미지 센서 모듈(160)를 통해 획득한 적어도 하나의 위상차 정보를 이용하여 연속 촬영을 위한 서브 이미지를 추출할 수 있다. 예를 들어, 이미지 추출 모듈(200)은 이미지 센서 모듈(160)에 포함된 적어도 하나의 위상차 픽셀(예: 적어도 한 쌍의 위상차 픽셀들)을 이용하여 이미지 센서 모듈(160)을 통해 획득한 이미지를 구성하는 각각의 이미지 블럭에 대한 위상차 정보(예: 위상차 코드(focus code))를 검출할 수 있다. 이미지 추출 모듈(200)은 위상차 정보가 기준 범위 이내에 포함되는 하나 이상의 이미지 블럭을 각각의 이미지 그룹으로 그룹핑할 수 있다. 이미지 처리 모듈(170)은 이미지 그룹의 크기(예: 이미지 그룹에 포함되는 이미지 블럭의 개수)가 임계 값을 초과하는 이미지 그룹을 연속 촬영을 위한 서브 이미지로 인식할 수 있다. 이때, 이미지 추출 모듈(200)은 이미지 블럭의 위상차 정보 값을 신뢰할 수 있는 경우, 각각의 이미지 블럭들의 위상차 정보에 기반하여 연속 촬영을 위한 서브 이미지를 추출할 수 있다.

거리 추정 모듈(210)은 이미지 센서 모듈(160)을 통해 획득한 적어도 하나의 위상차 정보를 이용하여 연속 촬영을 위한 서브 이미지들의 상대적인 거리를 추정할 수 있다. 이때, 거리 추정 모듈(210)은 거리 추정 프로그램(131)을 실행하여 연속 촬영을 위한 서브 이미지들 간의 상대적인 거리를 추정할 수 있다. 예를 들어, 거리 추정 모듈(210)은 각각의 서브 이미지 영역에 대한 위상차 정보를 비교하여 서브 이미지들 간의 상대적인 거리를 추정할 수 있다.

촬영 제어 모듈(220)은 서브 이미지들의 상대적인 거리에 기반하여 각각의 서브 이미지에 초점이 맞춰진 다수 개의 이미지들을 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다. 이때, 촬영 제어 모듈(220)은 촬영 제어 프로그램(133)을 실행하여 각각의 서브 이미지에 초점이 맞춰진 다수 개의 이미지들을 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다. 예를 들어, 촬영 제어 모듈(220)은 서브 이미지들 간의 상대적인 거리에 대응하도록 렌즈의 초점을 움직여 연속적으로 다수 개의 이미지들을 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다.

촬영 제어 모듈(220)은 서브 이미지들에 대한 이미지 촬영 시, 서브 이미지들의 초점 심도에 기반하여 서브 이미지들에 대응하는 연속 촬영을 제어할 수 있다. 예를 들어, 두 개의 서브 이미지들이 동일한 초점 심도를 포함하는 경우, 촬영 제어 모듈(220)은 두 개의 서브 이미지들 중 어느 하나의 서브 이미지에 초점이 맞춰진 이미지를 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다. 다른 예를 들어, 두 개의 서브 이미지들이 동일한 초점 심도를 포함하는 경우, 촬영 제어 모듈(220)은 두 개의 서브 이미지들에 대한 초점의 사이 값을 갖는 이미지를 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다.

촬영 제어 모듈(220)은 연속 촬영 시, 서브 이미지의 변화를 감지한 경우, 변화된 서브 이미지에 초점이 맞춰진 이미지를 다시 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다. 예를 들어, 촬영 제어 모듈(220)은 이미지 센서 모듈(160)을 통해 획득되는 이미지들을 비교하여 서브 이미지의 변화가 감지되는지 확인할 수 있다.

이미지 변환 모듈(230)은 서브 이미지들 간의 상대적인 거리에 기반하여 초점이 맞지 않는 적어도 하나의 서브 이미지에 이미지 효과를 적용할 수 있다. 이때, 이미지 변환 모듈(230)은 이미지 변환 프로그램(134)을 실행하여 서브 이미지에 이미지 효과를 적용할 수 있다. 예를 들어, 이미지 변환 모듈(230)은 이미지 센서 모듈(160)을 통해 연속 촬영된 다수 개의 이미지들 중 제 1 이미지를 표시 모듈(150)에 표시하는 경우, 제 1 이미지에서 초점이 맞은 서브 이미지를 기준으로 적어도 하나의 다른 서브 이미지에 대한 상대적인 거리에 기반하여 초점이 맞지 않은 적어도 하나의 다른 서브 이미지를 블러 처리할 수 있다.

이미지 변환 모듈(230)은 제 1 이미지가 표시 모듈(150)에 표시된 상태에서 입력 모듈(140)을 통해 검출한 입력 정보에 기반하여 초점 변경 이벤트 발생을 확인한 경우, 다수 개의 이미지들 중 초점 변경 이벤트에 대응하는 제 2 이미지를 추출하여 표시 모듈(150)에 표시하도록 제어할 수 있다.

이미지 변환 모듈(230)은 이미지 센서 모듈(160)을 통해 연속 촬영된 다수 개의 이미지들을 합성하여 다수 개의 서브 이미지들에 초점이 맞춰진 하나의 이미지를 생성할 수 있다. 이때, 이미지 변환 모듈(230)은 이미지 변환 프로그램(134)을 실행하여 연속 촬영된 다수 개의 이미지들을 하나의 이미지로 합성할 수 있다. 예를 들어, 이미지 변환 모듈(230)은 각각의 이미지에 대한 화각 차이로 인한 서브 이미지의 크기 차이를 보상하기 위해 각각의 이미지에서 초점이 맞는 서브 이미지의 외곽선에서 기준 간격만큼 이격된 테두리까지 해당 서브 이미지를 추출하여 하나의 이미지로 합성할 수 있다. 다른 예를 들어, 이미지 변환 모듈(230)은 연속 촬영된 다수 개의 이미지들의 화각이 동일해지도록 화각이 가장 작은 이미지를 기준으로 적어도 하나의 나머지 이미지를 편집한 후, 각각의 이미지에서 초점이 맞는 서브 이미지를 추출하여 하나의 이미지로 합성할 수 있다. 예컨대, 이미지 변환 모듈(230)은 화각이 가장 작은 이미지를 기준으로 적어도 하나의 나머지 이미지의 테두리의 적어도 일부 영역을 잘라내기(crop)한 후, 합성을 위한 서브 이미지를 추출할 수 있다.

추가적으로, 이미지 처리 모듈(170)은 표시 모듈(150)에 그래픽으로 사용자 인터페이스를 제공하도록 제어하는 표시 제어 모듈(240)을 더 포함할 수 있다. 예를 들어, 표시 제어 모듈(240)은 이미지 센서 모듈(160)을 통해 촬영(캡쳐)한 이미지를 표시하도록 표시 모듈(150)을 제어할 수 있다. 예컨대, 표시 제어 모듈(240)은 이미지 센서 모듈(160)을 이용한 연속 촬영을 통해 획득한 다수 개의 이미지들 중 제 1 이미지를 표시하도록 표시 모듈(150)를 제어할 수 있다. 다른 예를 들어, 표시 제어 모듈(240)은 이미지 변환 모듈(230)의 제어에 따라 표시 모듈(150)에 표시된 이미지를 변환하도록 제어할 수 있다.

상술한 실시 예에서 전자 장치(100)는 이미지 처리 모듈(170)을 이용하여 이미지를 획득 및 처리하도록 제어할 수 있다.

다른 실시 예에서 전자 장치(100)는 프로세서(120)를 이용하여 이미지를 획득 및 처리하도록 제어할 수 있다.

도 2b는 본 개시의 실시 예에 따른 전자 장치의 상세 블록도를 도시하고 있다.

도 2b를 참조하면 전자 장치(100)는 이미지 센서 모듈(160), 컴패니언 칩(Companion chip)(240) 및 프로세서(예: Application Processor)(120)를 포함할 수 있다.

이미지 센서 모듈(160)은 피사체에 대한 촬영을 통해 이미지를 획득할 수 있다. 예를 들어, 이미지 센서 모듈(160)은 다수 개의 컬러 픽셀들과 적어도 하나의 위상차 정보를 포함하는 이미지를 획득할 수 있다.

컴패니언 칩(240)은 이미지 센서 모듈(160)을 통해 획득한 이미지에 대한 적어도 하나의 위상차 정보를 검출할 수 있다. 예를 들어, 컴패니언 칩(240)은 이미지 센서 모듈(160)에 포함된 적어도 하나의 위상차 픽셀(예: 적어도 한 쌍의 위상차 픽셀들)을 이용하여 이미지 센서 모듈(160)을 통해 획득한 이미지를 구성하는 각각의 이미지 블럭에 대한 위상차 정보(예: 위상차 코드(focus code))를 검출할 수 있다.

프로세서(120)는 이미지를 획득 및 처리하도록 제어하는 이미지 프로세서(ISP: Image Signal Processor)(250)를 포함할 수 있다.

이미지 프로세서(250)는 이미지 센서 모듈(160)을 통해 획득한 이미지에서 연속 촬영을 위한 하나 이상의 서브 이미지(예: 피사체)를 추출할 수 있다. 예를 들어, 이미지 프로세서(250)는 컴패니언 칩(240)으로부터 제공받은 각각의 이미지 블럭에 대한 위상차 정보가 기준 범위 이내에 포함되는 하나 이상의 이미지 블럭을 각각의 이미지 그룹으로 그룹핑할 수 있다. 이미지 프로세서(250)는 이미지 그룹의 크기(예: 이미지 그룹에 포함되는 이미지 블럭의 개수)가 임계 값을 초과하는 이미지 그룹을 연속 촬영을 위한 서브 이미지로 인식할 수 있다. 이때, 이미지 프로세서(250)는 이미지 블럭의 위상차 정보 값을 신뢰할 수 있는 경우, 각각의 이미지 블럭들의 위상차 정보에 기반하여 연속 촬영을 위한 서브 이미지를 추출할 수 있다.

이미지 프로세서(250)를 포함하는 프로세서(120)는 컴패니언 칩(240)으로부터 제공받은 적어도 하나의 위상차 정보를 이용하여 연속 촬영을 위한 서브 이미지들의 상대적인 거리를 추정할 수 있다. 예를 들어, 서브 이미지들이 상대적인 거리의 추정은, 프로세서(120) 내에서 이미지 프로세서(250)와 논리적 또는 물리적으로 구분되는 모듈 또는 코어와 같은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합에 의해 수행될 수 있다.

이미지 프로세서(250)는 서브 이미지들의 상대적인 거리에 기반하여 각각의 서브 이미지에 초점이 맞춰진 다수 개의 이미지들을 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다. 예를 들어, 이미지 프로세서(250)는 서브 이미지들 간의 상대적인 거리에 대응하도록 렌즈의 초점을 움직여 연속적으로 다수 개의 이미지들을 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다.

이미지 프로세서(250)는 서브 이미지들에 대한 이미지 촬영 시, 서브 이미지들의 초점 심도에 기반하여 서브 이미지들에 대응하는 연속 촬영을 제어할 수 있다.

이미지 프로세서(250)는 연속 촬영 시, 서브 이미지의 변화를 감지한 경우, 변화된 서브 이미지에 초점이 맞춰진 이미지를 다시 촬영하도록 이미지 센서 모듈(160)을 제어할 수 있다.

이미지 프로세서(250)는 이미지 센서 모듈(160)을 통해 연속 촬영된 다수 개의 이미지들 중 제 1 이미지를 표시 모듈(150)에 표시하도록 제어할 수 있다. 예를 들어, 이미지 프로세서(250)는 제 1 이미지에서 초점이 맞은 서브 이미지를 기준으로 적어도 하나의 다른 서브 이미지에 대한 상대적인 거리에 기반하여 초점이 맞지 않은 적어도 하나의 다른 서브 이미지에 이미지 효과를 적용할 수 있다. 여기서, 이미지 효과는 초점이 맞지 않은 적어도 하나의 다른 서브 이미지를 블러 처리한 아웃 포커싱 효과를 포함할 수 있다

이미지 프로세서(250)는 제 1 이미지가 표시 모듈(150)에 표시된 상태에서 입력 모듈(140)을 통해 검출한 입력 정보에 기반하여 초점 변경 이벤트 발생을 확인한 경우, 다수 개의 이미지들 중 초점 변경 이벤트에 대응하는 제 2 이미지를 추출하여 표시 모듈(150)에 표시하도록 제어할 수 있다.

이미지 프로세서(250)는 이미지 센서 모듈(160)을 통해 연속 촬영된 다수 개의 이미지들을 합성하여 다수 개의 서브 이미지들에 초점이 맞춰진 하나의 이미지를 생성할 수 있다.

본 개시의 실시 예에 따르면, 전자 장치는, 이미지를 획득 또는 캡쳐하는 적어도 하나의 이미지 센서와 적어도 하나의 프로세서를 포함하며, 상기 프로세서는, 상기 적어도 하나의 이미지 센서를 이용하여 획득한 제 1 이미지에서 적어도 하나의 서브 이미지를 검출하고, 상기 적어도 하나의 이미지 센서를 통해 획득한 적어도 하나의 위상차 정보를 이용하여 상기 적어도 하나의 서브 이미지 간의 상대적인 거리를 추정하고, 상기 적어도 하나의 서브 이미지 간의 상대적인 거리를 이용하여 각각의 서브 이미지에 초점이 맞춰진 적어도 하나의 제 2 이미지를 캡쳐하도록 구성될 수 있다.

본 개시의 실시 예에서 상기 프로세서는, 상기 적어도 하나의 이미지 센서를 이용하여 획득한 다수 개의 컬러 픽셀들 및 적어도 하나의 위상차 정보를 포함하는 제 1 이미지에서 적어도 하나의 서브 이미지를 검출할 수 있다.

본 개시의 실시 예에서 상기 프로세서는, 상기 제 1 이미지를 다수 개의 이미지 블럭들로 분할하고, 각각의 이미지 블럭에 대한 위상차 정보를 검출하고, 각각의 이미지 블럭에 대한 위상차 정보에 기반하여 적어도 하나의 서브 이미지를 검출할 수 있다.

본 개시의 실시 예에서 상기 프로세서는, 상기 위상차 정보가 기준 범위 내에 포함되는 적어도 하나의 이미지 블럭을 그룹핑하고, 상기 그룹핑된 이미지 블럭의 개수에 기반하여 적어도 하나의 서브 이미지를 검출할 수 있다.

본 개시의 실시 예에서 상기 프로세서는, 상기 위상차 정보에 기반하여 적어도 하나의 서브 이미지를 검출한 경우, 각각의 서브 이미지에 대한 초점 심도를 검출하고, 상기 각각의 서브 이미지의 초점 심도에 기반하여 적어도 하나의 서브 이미지를 추출할 수 있다.

본 개시의 실시 예에서 상기 프로세서의 제어에 따라 획득한 상기 적어도 하나의 제 2 이미지 중 제 1 서브 이미지에 초점이 맞춰진 제 3 이미지를 표시하는 표시 모듈을 더 포함할 수 있다.

본 개시의 실시 예에서 입력 모듈을 더 포함하며, 상기 표시 모듈은, 상기 입력 모듈을 통해 상기 제 3 이미지에서 제 2 서브 이미지에 대한 선택이 감지되는 경우, 상기 적어도 하나의 제 2 이미지 중 상기 제 2 서브 이미지에 초점이 맞춰진 제 4 이미지를 표시할 수 있다.

본 개시의 실시 예에서 입력 모듈을 더 포함하며, 상기 표시 모듈은, 초점 변경에 대한 이벤트가 발생한 경우, 상기 적어도 하나의 제 2 이미지에 대한 정보를 표시하고, 상기 입력 모듈을 통해 상기 표시된 상기 적어도 하나의 제 2 이미지 중 제 5 이미지에 대한 선택이 감지되는 경우, 상기 제 5 이미지를 표시할 수 있다.

본 개시의 실시 예에서 상기 프로세서는, 상기 제 1 서브 이미지와 적어도 하나의 다른 서브 이미지의 상대적인 거리에 기반하여 상기 제 3 이미지에서 상기 적어도 하나의 다른 서브 이미지를 블러 처리하며, 상기 표시 모듈은, 상기 이미지 처리 모듈에서 블러 처리된 제 3 이미지를 표시할 수 있다.

본 개시의 실시 예에서 상기 프로세서는, 상기 제 1 서브 이미지의 외곽선을 포함하는 적어도 하나의 이미지 블럭을 주변 이미지 블럭의 블러 정보에 기반하여 블러 처리할 수 있다.

본 개시의 실시 예에서 상기 프로세서는, 상기 제 1 서브 이미지의 외곽선을 포함하는 적어도 하나의 이미지 블럭을 상기 제 1 서브 이미지의 외곽선에 기반하여 적어도 하나의 영역으로 분할하고, 각각의 이미지 블럭에 포함되는 적어도 하나의 영역을 각각의 영역에 인접한 적어도 하나의 주변 이미지 블럭의 블러 정보에 기반하여 블러 처리할 수 있다.

본 개시의 실시 예에서 이미지를 표시하는 표시 모듈과 메모리를 더 포함하며, 상기 메모리는, 상기 표시 모듈에 상기 적어도 하나의 제 2 이미지 중 제 1 서브 이미지에 초점이 맞춰진 제 3 이미지가 표시된 경우, 상기 적어도 하나의 제 이미지 중 제 3 이미지와 적어도 하나의 나머지 이미지를 서로 다른 메모리 영역에 저장할 수 있다.

본 개시의 실시 예에서 메모리를 더 포함하며, 상기 메모리는, 상기 적어도 하나의 제 2 이미지와 각각의 제 2 이미지에 대한 초점 정보를 하나의 파일로 저장할 수 있다.

본 개시의 실시 예에서 상기 프로세서는, 각각의 제 2 이미지에서 초점이 맞춰진 서브 이미지를 추출하고, 상기 추출한 서브 이미지들을 하나의 이미지로 합성할 수 있다.

본 개시의 실시 예에서 상기 프로세서는, 상기 적어도 하나의 서브 이미지 중 어느 하나의 서브 이미지의 크기에 기반하여 적어도 하나의 나머지 서브 이미지에 대한 추출 비율을 결정하고, 상기 추출 비율에 기반하여 적어도 하나의 나머지 서브 이미지에 대해 외곽선에서 일정 간격 이격된 테두리 부분까지 포함되도록 각각의 서브 이미지를 추출할 수 있다.

본 개시의 실시 예에서 상기 프로세서는, 상기 적어도 하나의 제 2 이미지 중 어느 하나의 기준 이미지에 대한 화각에 기반하여 적어도 하나의 나머지 이미지를 편집하고, 상기 기준 이미지 및 상기 편집한 적어도 하나의 나머지 이미지에서 초점이 맞춰진 서브 이미지를 추출할 수 있다.

본 개시의 실시 예에서 상기 프로세서는, 상기 적어도 하나의 제 2 이미지 중 어느 하나의 기준 이미지에 대한 화각에 기반하여 적어도 하나의 나머지 이미지의 테두리의 적어도 일부 영역을 잘라내기 할 수 있다.

도 3a는 본 개시의 실시 예에 따른 전자 장치에서 서브 이미지들에 대응하는 다수 개의 이미지들을 캡쳐하기 위한 절차를 도시하고 있다. 이하 설명은 도 4a 내지 도 4c와 같은 위상차 픽셀을 이용하여 검출한 위상차 정보를 이용하여 서브 이미지들 간 상대적인 거리를 추정하는 특징에 대해 설명하고, 도 5a 내지 도 5d와 같은 이미지 구성을 이용하여 서브 이미지들에 대응하는 이미지를 획득하는 특징에 대해 설명한다.

도 3a를 참조하면 전자 장치는 301 동작에서 이미지 센서 모듈(160)을 통해 제 1 이미지를 획득할 수 있다.

제 1 이미지를 획득한 경우, 전자 장치는 303 동작에서 제 1 이미지에서 연속 촬영을 위한 적어도 하나의 서브 이미지를 추출할 수 있다. 예를 들어, 전자 장치는 제 1 이미지에 포함되는 서브 이미지의 크기 및 제 1 이미지를 구성하는 이미지 블록 간의 위상차 정보 중 적어도 하나에 기반하여 연속 촬영을 위한 적어도 하나의 서브 이미지를 추출할 수 있다.

전자 장치는 305 동작에서 위상차 픽셀을 이용하여 연속 촬영을 위한 서브 이미지의 상대적인 거리를 추정할 수 있다. 예를 들어, 도 4a와 같이 서브 이미지에 렌즈의 초점이 맞춰진 경우(400), 해당 서브 이미지 영역에 위치하는 한 쌍의 위상 차 픽셀들은 유사하거나 동일한 위상 정보를 포함할 수 있다(402). 이에 반하여, 도 4b 및 도 4c와 같이 서브 이미지에 렌즈의 초점이 맞춰지지 않은 경우(410, 420), 해당 서브 이미지 영역에 위치하는 한 쌍의 위상 차 픽셀들은 서로 다른 위상 정보를 포함하여 위상 차 값(disparity)(412, 422)이 발생할 수 있다. 이에 따라, 전자 장치는 연속 촬영을 위한 각각의 서브 이미지 영역에 위치하는 한 쌍의 위상 차 픽셀들에 따른 위상차 정보를 비교하여 서브 이미지들 간의 상대적인 거리를 추정할 수 있다. 추가적으로, 제 1 이미지 내에 사람의 얼굴이 포함된 경우, 전자 장치는 얼굴 검출(face detection)을 통해 검출한 사람의 얼굴 크기를 추가적으로 참조하여 서브 이미지들 간 상대적인 거리를 추정할 수도 있다.

연속 촬영을 위한 서브 이미지의 상대적인 거리를 추정한 경우, 전자 장치는 307 동작에서 서브 이미지의 상대적인 거리에 기반하여 렌즈의 초점을 움직여 각각의 서브 이미지에 초점이 맞춰진 적어도 하나의 이미지를 촬영(캡쳐)할 수 있다. 예를 들어, 도 5a와 같이 전자 장치(100)로부터 제 1 피사체(500)와 제 2 피사체(502)의 거리가 상이한 경우, 전자 장치는 도 5b와 같이 제 1 피사체(500)에 초점이 맞춰진 제 1 이미지(512), 도 5c와 같이 제 2 피사체(502)에 초점이 맞춰진 제 2 이미지(514) 및 도 5d와 같이 배경에 초점이 맞춰진 제 3 이미지(516)를 촬영(캡쳐)할 수 있다. 이때, 전자 장치는 제 1 이미지(512), 제 2 이미지(514) 및 제 3 이미지(516)에서 초점이 맞춰진 서브 이미지를 선명하게 표시되고, 다른 서브 이미지를 초점이 맞춰진 서브 이미지와의 상대적인 거리에 기반하여 흐릿하게 표시할 수 있다.

본 개시의 실시 예에 따르면, 전자 장치에서 이미지를 처리하기 위한 방법은, 적어도 하나의 이미지 센서를 이용하여 제 1 이미지를 획득하는 동작과 상기 제 1 이미지에서 적어도 하나의 서브 이미지를 검출하는 동작과 상기 이미지 센서를 통해 획득한 적어도 하나의 위상차 정보를 이용하여 상기 적어도 하나의 서브 이미지 간의 상대적인 거리를 추정하는 동작과 상기 적어도 하나의 서브 이미지 간의 상대적인 거리를 이용하여 각각의 서브 이미지에 초점이 맞춰진 적어도 하나의 제 2 이미지를 캡쳐하는 동작을 포함할 수 있다.

본 개시의 실시 예에서 상기 제 1 이미지를 획득하는 동작은, 상기 적어도 하나의 이미지 센서를 이용하여 다수 개의 컬러 픽셀들 및 적어도 하나의 위상차 정보를 포함하는 제 1 이미지를 획득하는 동작을 포함할 수 있다.

도 3b는 본 개시의 실시 예에 따른 전자 장치에서 서로 다른 초점 거리를 갖는 다수 개의 영상들을 캡쳐하기 위한 절차를 도시하고 있다.

도 3b를 참조하면 전자 장치는 311 동작에서 이미지 획득 장치(예: 이미지 센서 모듈(160))를 통해 획득한 제 1 영상을 메모리에 임시 저장할 수 있다.

제 1 영상을 획득한 경우, 전자 장치는 313 동작에서 제 1 영상에 포함된 적어도 하나의 객체에 대한 위상차 정보를 획득할 수 있다. 예를 들어, 전자 장치는 이미지 획득 장치에 포함되는 적어도 하나의 위상차 픽셀(예: 적어도 한 쌍의 위상차 픽셀들을)을 이용하여 제 1 영상 이미지에 포함되는 적어도 하나의 객체에 대한 위상차 정보를 획득할 수 있다. 여기서, 객체는 제 1 영상에 포함된 연속 촬영을 위한 적어도 하나의 서브 이미지를 포함할 수 있다.

전자 장치는 315 동작에서 영상 캡쳐에 대응하는 입력 정보가 검출되는지 확인할 수 있다. 예를 들어, 전자 장치는 입력 모듈(140)을 통해 연속 촬영에 대응하는 사용자 입력이 검출되는지 확인할 수 있다. 다른 예를 들어, 전자 장치는 연속 촬영을 위한 이벤트에 대응하는 사용자의 제스쳐 입력이 감지되는지 확인할 수 있다.

영상 캡쳐에 대응하는 입력 정보를 검출한 경우, 전자 장치는 317 동작에서 적어도 하나의 객체에 위상차 정보에 기반하여 서로 다른 초점 거리를 갖는 다수 개의 영상들을 촬영(캡쳐)할 수 있다.

본 개시의 실시 예에서 상기 위상차 정보를 획득하는 동작은, 상기 이미지 획득 장치에 포함되는 적어도 하나의 위상차 픽셀(예: 적어도 한쌍의 위상차 픽셀들)을 이용하여 상기 영상에 포함된 적어도 하나의 객체에 대한 위상차(phase difference) 정보를 획득하는 동작을 포함할 수 있다.

도 6은 본 개시의 실시 예에 따른 전자 장치에서 이미지를 획득하기 위한 서브 이미지를 추출하기 위한 절차를 도시하고 있다. 이하 설명은 도 7a 내지 도 7b을 참조하여 서브 이미지를 추출하는 특징을 설명한다.

도 6을 참조하면 도 3a의 301 동작에서 제 1 이미지를 획득한 경우, 전자 장치는 601 동작에서 제 1 이미지를 다수 개의 이미지 블럭들로 분할할 수 있다. 예를 들어, 전자 장치는 도 7a와 같이 제 1 이미지를 다수 개의 이미지 블럭들(700)로 분할할 수 있다. 여기서, 이미지 블럭은 이미지 센서 모듈(160)에 포함된 적어도 하나의 위상차 픽셀(예: 적어도 한 쌍의 위상차 픽셀들)을 이용하여 위상차 정보를 검출하기 위한 단위를 나타낼 수 있다. 예를 들어, 하나의 이미지 블럭은 컬러 픽셀 단위로 16 × 16의 크기로 구성될 수 있다.

전자 장치는 603 동작에서 각각의 이미지 블럭에 대한 위상차 정보를 검출할 수 있다. 예를 들어, 전자 장치는 이미지 센서 모듈(160)에 포함된 적어도 하나의 위상차 픽셀(예: 적어도 한 쌍의 위상차 픽셀들)을 이용하여 각각ㄱ의 이미지 블록에 대한 위상차 정보를 검출할 수 있다.

전자 장치는 605 동작에서 각각의 이미지 블럭에 대한 위상차 정보를 기반하여 제 1 이미지에서 연속 촬영을 위한 적어도 하나의 서브 이미지를 추출할 수 있다. 예를 들어, 전자 장치는 다수 개의 이미지 블럭들을 각각의 이미지 블럭에 대한 위상차 정보에 기반하여 적어도 하나의 이미지 그룹으로 그룹핑할 수 있다. 예컨대, 전자 장치는 도 7b와 같이 위상차 정보가 기준 범위 이내에 포함되는 하나 이상의 이미지 블럭을 이미지 그룹으로 그룹핑하여 제 1 피사체(702)의 이미지 그룹(712), 제 2 피사체(704)의 이미지 그룹(714), 제 3 피사체(706)의 이미지 그룹(716) 및 제 4 피사체(예: 배경)의 이미지 그룹(718)을 생성할 수 있다. 전자 장치는 각각의 이미지 그룹의 크기(예: 이미지 그룹에 포함되는 이미지 블럭의 개수)가 임계 값을 초과하는 이미지 그룹을 연속 촬영을 위한 서브 이미지로 인식할 수 있다. 예컨대, 제 1 피사체(702)의 이미지 그룹(712), 제 2 피사체(704)의 이미지 그룹(714) 및 제 4 피사체(예: 배경)의 이미지 그룹(718)에 포함되는 이미지 블럭의 개수가 임계 블럭 개수를 초과하는 경우, 전자 장치는 제 1 피사체(702), 제 2 피사체(704) 및 제 4 피사체(예: 배경)를 연속 촬영을 위한 서브 이미지들로 인식할 수 있다.

605 동작에서 연속 촬영을 위한 적어도 하나의 서브 이미지를 추출한 경우, 전자 장치는 도 3a의 305 동작에서 해당 서브 이미지들 간 상대적인 거리를 추정할 수 있다.

상술한 실시 예에서 전자 장치는 이미지 블럭에 대한 위상차 정보에 기반하여 연속 촬영을 위한 적어도 하나의 서브 이미지를 추출할 수 있다. 이때, 전자 장치는 이미지 블럭들에 대한 위상차 정보를 신뢰할 수 있는 경우, 이미지 블럭에 대한 위상차 정보에 기반하여 연속 촬영을 위한 적어도 하나의 서브 이미지를 추출할 수 있다.

본 개시의 실시 예에서 서브 이미지를 검출하는 동작은, 상기 제 1 이미지를 다수 개의 이미지 블럭들로 분할하는 동작과 각각의 이미지 블럭에 대한 위상차 정보를 검출하는 동작과 각각의 이미지 블럭에 대한 위상차 정보에 기반하여 적어도 하나의 서브 이미지를 검출하는 동작을 포함할 수 있다.

본 개시의 실시 예에서 상기 위상차 정보에 기반하여 서브 이미지를 검출하는 동작은, 상기 위상차 정보가 기준 범위 내에 포함되는 적어도 하나의 이미지 블럭을 그룹핑하는 동작과 상기 그룹핑된 이미지 블럭의 개수에 기반하여 적어도 하나의 서브 이미지를 검출하는 동작을 포함할 수 있다.

도 8은 본 개시의 실시 예에 따른 전자 장치에서 서브 이미지의 초점 심도에 기반하여 이미지 촬영을 위한 서브 이미지를 추출하기 위한 절차를 도시하고 있다. 이하 설명은 도 9를 참조하여 초점 심도에 기반하여 서브 이미지를 추출하는 특징을 설명한다.

도 8을 참조하면 도 6의 605 동작에서 이미지 블럭에 대한 위상차 정보에 기반하여 연속 촬영을 위한 적어도 하나의 서브 이미지를 추출한 경우, 전자 장치는 801 동작에서 각각의 서브 이미지에 대한 초점 심도를 검출할 수 있다. 예를 들어, 전자 장치는 도 9와 같이 전자 장치와 서브 이미지와의 거리에 따른 렌즈의 초점 최대 거리(901)와 초점 최소 거리(903)에 대한 차를 산출하여 해당 서브 이미지의 초점 심도(905)를 검출할 수 있다. 여기서, 렌즈의 초점 최대 거리와 최소 거리는 렌즈의 설계 시점에 결정될 수 있다.

전자 장치는 803 동작에서 동일한 초점 심도 상에 위치하는 서브 이미지들에 대한 중복된 촬영이 제한되도록 각각의 서브 이미지에 대한 초점 심도에 기반하여 도 6의 605 동작에서 추출한 적어도 하나의 서브 이미지 중 연속 촬영을 위한 적어도 하나의 서브 이미지를 선택할 수 있다. 여기서, 동일한 초점 심도는 초점 심도의 차이가 임계 범위 내에 포함되는 초점 심도를 나타낼 수 있다.

803 동작에서 연속 촬영을 위한 적어도 하나의 서브 이미지를 선택한 경우, 전자 장치는 도 3a의 305 동작에서 해당 서브 이미지 사이의 상대적인 거리를 추정할 수 있다.

본 개시의 실시 예에서 상기 서브 이미지를 검출하는 동작은, 상기 위상차 정보에 기반하여 적어도 하나의 서브 이미지를 검출한 경우, 각각의 서브 이미지에 대한 초점 심도를 검출하는 동작과 상기 각각의 서브 이미지의 초점 심도에 기반하여 적어도 하나의 서브 이미지를 추출하는 동작을 더 포함할 수 있다.

상술한 실시 예에서 전자 장치는 이미지 블럭에 대한 위상차 정보에 기반하여 적어도 하나의 서브 이미지를 추출한 후, 각각의 서브 이미지에 대한 초점 심도에 기반하여 연속 촬영을 위한 적어도 하나의 서브 이미지를 선택할 수 있다.

다른 실시 예에서 전자 장치는 도 3a의 307 동작에서 서브 이미지들 간의 상대적인 거리에 기반하여 각각의 서브 이미지에 초점이 맞춰진 이미지들을 연속 촬영 시, 각각의 서브 이미지에 대한 초점 심도에 기반하여 서브 이미지에 초점이 맞춰진 이미지들에 대한 연속 촬영을 제어할 수 있다. 예를 들어, 두 개의 서브 이미지들이 동일한 초점 심도를 포함하는 경우, 전자 장치는 두 개의 서브 이미지들 중 어느 하나의 서브 이미지에 초점이 맞춰진 이미지를 촬영할 수 있다. 다른 예를 들어, 두 개의 서브 이미지들이 동일한 초점 심도를 포함하는 경우, 전자 장치는 두 개의 서브 이미지들에 대한 초점의 사이 값을 갖는 이미지를 촬영할 수 있다.

상술한 바와 같이 전자 장치에서 각각의 서브 이미지에 초점이 맞춰진 다수 개의 이미지들을 연속 촬영할 수 있다. 이때, 전자 장치는 연속 촬영한 다수 개의 이미지들을 하기 도 10과 같이 구성되는 하나의 파일로 저장하거나, 서로 다른 파일로 저장할 수 있다.

도 10은 본 개시의 실시 예에 따른 다수 개의 이미지들을 포함하는 파일의 구성을 도시하고 있다.

도 10을 참조하면 연속 촬영한 다수 개의 이미지들을 포함하는 파일은 대표 이미지(1000), 데이터(1010) 및 추가 정보(1020)로 구성될 수 있다.

대표 이미지(1000)는 연속 촬영한 다수 개의 이미지들 중 표시 모듈(150)에 표시된 이미지를 포함할 수 있다.

데이터(1010)는 인포 데이터(info data)(1012), 이미지 정보(input)(1014 내지 1016), 및 맵 데이터(MAP data)(1018)을 포함할 수 있다.

인포 데이터(1012)는 대표 이미지(1000)에 포함되는 이미지 파일의 헤더 정보, 분할 맵(segmentation MAP) 정보, 각각의 이미지에 대한 인덱스 정보와 같은 데이터를 저장할 수 있다. 여기서, 분할 맵은 각각의 이미지에서 초점이 맞춰진 서브 이미지 정보를 나타낼 수 있다.

이미지 정보(1014 내지 1016)는 연속 촬영된 다수 개의 이미지들 중 표시 모듈(150)에 표시된 이미지를 제외한 적어도 하나의 나머지 이미지를 포함할 수 있다.

맵 데이터(1018)는 이미지 정보(1014 내지 1016)에 포함되는 각각의 이미지에 포함된 서브 이미지에 대한 상세 정보를 포함할 수 있다.

본 개시의 실시 예에서 연속 촬영된 이미지들 중 제 3 이미지를 표시 모듈에 표시한 경우, 상기 연속 촬영된 이미지들 중 상기 제 3 이미지와 적어도 하나의 나머지 이미지를 서로 다른 메모리 영역에 저장하는 동작을 포함할 수 있다.

본 개시의 실시 예에서 상기 연속 촬영된 이미지들와 각각의 이미지에 대한 초점 정보를 하나의 파일로 저장하는 동작을 포함할 수 있다.

상술한 실시 예에서 연속 촬영을 통해 각각의 서브 이미지에 초점이 맞춰진 다수 개의 이미지들을 캡쳐한 경우, 전자 장치는 다수 개의 이미지들 중 제 1 서브 이미지에 초점이 맞춰진 제 1 이미지를 선택하여 표시 모듈(150)에 표시할 수 있다. 이때, 전자 장치는 하기 도 11과 같이 서브 이미지들 간 상대적인 거리에 기반하여 제 1 이미지를 편집하여 이미지 효과를 제공할 수 있다.

도 11은 본 개시의 실시 예에 따른 전자 장치에서 이미지를 편집하기 위한 절차를 도시하고 있다. 이하 설명은 도 12a 내지 도 12b를 참조하여 이미지를 블러 처리하는 특징에 대해 설명한다.

도 11을 참조하면 도 3a의 307 동작에서 연속 촬영을 통해 각각의 서브 이미지에 초점이 맞춰진 다수 개의 이미지들을 획득한 경우, 전자 장치는 1101 동작에서 연속 촬영한 다수 개의 이미지들 중 표시 모듈(150)에 표시하기 위한 대표 이미지를 선택할 수 있다. 예를 들어, 전자 장치는 처음 촬영된 이미지를 대표 이미지로 선택할 수 있다.

대표 이미지를 선택한 경우, 전자 장치는 1103 동작에서 대표 이미지에서 초점이 맞춰진 서브 이미지를 제외한 다른 서브 이미지들을 이미지 효과를 나타내지 위해 편집할 수 있다. 예를 들어, 전자 장치는 대표 이미지에서 초점이 맞춰진 서브 이미지를 제외한 다른 서브 이미지들을 동일하게 블러 처리할 수 있다. 다른 예를 들어, 전자 장치는 서브 이미지들 간 상대적인 거리에 기반하여 각각의 서브 이미지를 상대적으로 다르게 블러 처리할 수 있다. 이 경우, 전자 장치는 서브 이미지의 외곽과 같이 상대적인 거리가 다른 서브 이미지들이 중첩되는 이미지 블럭을 주변 이미지 블럭과 유사하게 블러 처리할 수 있다. 예를 들어, 도 12a와 같이 제 1 서브 이미지(1200)와 제 2 서브 이미지(1210)를 포함하는 이미지를 블러 처리하는 경우, 전자 장치는 제 1 서브 이미지(1200)와 배경이 중첩되는 영역(1220)에서 제 1 서브 이미지(1200)의 외곽선을 포함하는 제 2 이미지 블럭(1222), 제 5 이미지 블럭(1225) 및 제 8 이미지 블럭(1228)을 추출할 수 있다. 전자 장치는 제 1 서브 이미지(1200)의 외곽선 정보(예: 세그멘테이션 정보)를 기반하여 추출한 각각의 이미지 블럭(1222 또는 1225 또는 1228)을 다수 개의 영역으로 분할할 수 있다. 전자 장치는 각각의 영역을 해당 영역이 인접한 주변 이미지 블럭과 유사하게 블러 처리할 수 있다. 예컨대, 제 5 이미지 블럭(1225)의 경우, 전자 장치는 제 5 이미지 블럭(1225)의 좌측 영역을 배경을 나타내는 제 4 이미지 블럭(1224)와 유사하게 블러 처리하고, 제 5 이미지 블럭(1225)의 우측 영역을 제 6 이미지 블럭(1226)과 유사하게 블러 처리할 수 있다. 만일, 제 1 서브 이미지(1200)에 초점이 맞춰진 경우, 전자 장치는 제 5 이미지 블럭(1225)의 우측 영역을 선명하게 표시할 수 있다.

전자 장치는 1105 동작에서 이미지 효과를 나타내지 위해 적어도 하나의 서브 이미지를 편집한 대표 이미지를 표시 모듈(150)에 표시할 수 있다.

본 개시의 실시 예에서 연속 촬영된 이미지들 중 제 1 서브 이미지에 초점이 맞춰진 제 3 이미지를 표시 모듈에 표시하는 동작을 포함할 수 있다.

본 개시의 실시 예에서 상기 제 3 이미지를 표시 모듈에 표시하는 동작은, 상기 제 1 서브 이미지와 적어도 하나의 다른 서브 이미지의 상대적인 거리에 기반하여 상기 제 3 이미지에서 상기 적어도 하나의 다른 서브 이미지를 블러 처리하는 동작과 상기 블러 처리된 제 3 이미지를 상기 표시 모듈에 표시하는 동작을 포함할 수 있다.

본 개시의 실시 예에서 상기 서브 이미지를 블러 처리하는 동작은, 상기 제 1 서브 이미지의 외곽선을 포함하는 적어도 하나의 이미지 블럭을 주변 이미지 블럭의 블러 정보에 기반하여 블러 처리하는 동작을 포함할 수 있다.

본 개시의 실시 예에서 상기 블러 처리하는 동작은, 상기 제 1 서브 이미지의 외곽선을 포함하는 적어도 하나의 이미지 블럭을 상기 제 1 서브 이미지의 외곽선에 기반하여 적어도 하나의 영역으로 분할하는 동작과 각각의 이미지 블럭에 포함되는 적어도 하나의 영역을 각각의 영역에 인접한 적어도 하나의 주변 이미지 블럭의 블러 정보에 기반하여 블러 처리하는 동작을 포함할 수 있다.

도 13은 본 개시의 실시 예에 따른 전자 장치에서 촬영된 이미지의 초점을 변경하기 위한 절차를 도시하고 있다. 이하 설명은 도 5b 내지 도 5d를 참조하여 이미지의 초점을 변경하기 위한 특징에 대해 설명한다.

도 13을 참조하면 전자 장치는 1301 동작에서 연속 촬영된 다수 개의 이미지들 중 제 1 서브 이미지에 초점이 맞춰진 제 1 이미지를 표시 모듈(150)에 표시할 수 있다. 예를 들어, 전자 장치는 도 5b 내지 도 5d와 같이 연속 촬영된 다수 개의 이미지들 중 도 5b와 같이 제 1 서브 이미지(500)에 초점이 맞춰진 제 1 이미지(512)를 표시 모듈(150)에 표시할 수 있다.

제 1 이미지를 표시 모듈(150)에 표시한 경우, 전자 장치는 1303 동작에서 초점 변경에 대한 이벤트가 발생하는지 확인할 수 있다. 예를 들어, 전자 장치는 표시 모듈(150)에 표시된 제 1 이미지에서 다른 서브 이미지에 터치 입력이 감지되는지 확인할 수 있다. 다른 예를 들어, 전자 장치는 초점 변경 이벤트에 대응하는 사용자의 제스쳐 입력이 감지되는지 확인할 수 있다.

초점 변경에 대한 이벤트가 발생한 경우, 전자 장치는 1305 동작에서 초점 변경에 대한 이벤트에 대응하여 연속 촬영된 다수 개의 이미지들 중 제 2 서브 이미지에 초점이 맞춰진 제 2 이미지를 표시 모듈(150)에 표시할 수 있다. 예를 들어, 표시 모듈(150)에 도 5b와 같은 제 1 이미지(512)가 표시된 상태에서 초점 변경에 대한 이벤트가 발생한 경우, 전자 장치는 초점 변경에 대한 이벤트에 대응하여 표시 모듈(150)에 표시된 제 1 이미지(512)를 도 5c와 같이 제 2 서브 이미지(502)에 초점이 맞춰진 제 2 이미지(514)로 변경하여 표시할 수 있다.

도 14는 본 개시의 실시 예에 따른 전자 장치에서 초점 변경 이벤트에 대응하는 이미지를 선택하기 위한 절차를 도시하고 있다.

도 14를 참조하면 도 13의 1303 동작에서 초점 변경에 대한 이벤트가 발생한 경우, 전자 장치는 1401 동작에서 초점 변경에 대한 이벤트에 대응하는 제 2 서브 이미지를 확인할 수 있다. 예를 들어, 전자 장치는 초점 변경에 대한 이벤트 발생을 위해 터치된 지점을 포함하는 제 2 서브 이미지를 확인할 수 있다.

전자 장치는 1403 동작에서 제 2 서브 이미지로 초점 변경이 가능한지 확인할 수 있다. 예를 들어, 전자 장치는 연속 촬영된 다수 개의 이미지들 중 제 2 서브 이미지에 초점이 맞춰진 이미지가 존재하는지 확인할 수 있다. 제 2 서브 이미지에 초점이 맞춰진 이미지가 존재하지 않는 경우, 전자 장치는 제 2 서브 이미지로 초점 변경이 불가능한 것으로 인지할 수 있다.

1403 동작에서 제 2 서브 이미지로 초점 변경이 불가능한 경우, 전자 장치는 1405 동작에서 초점 변경 제한 정보를 출력할 수 있다. 예를 들어, 전자 장치는 초점 변경 제한 메시지를 표시 모듈(150)에 표시할 수 있다. 다른 예를 들어, 전자 장치는 표시 모듈(150)에 표시된 제 1 이미지에 적어도 하나의 그래픽 요소를 추가하거나 변형하여 초점 변경 제한 정보를 표시할 수 있다.

1403 동작에서 제 2 서브 이미지로 초점 변경이 가능한 경우, 전자 장치는 도 13의 1305 동작에서 초점 변경에 대한 이벤트에 대응하여 연속 촬영된 다수 개의 이미지들 중 제 2 서브 이미지에 초점이 맞춰진 제 2 이미지를 표시 모듈(150)에 표시할 수 있다.

본 개시의 실시 예에서 연속 촬영된 이미지들 중 표시 모듈에 표시된 제 3 이미지에서 제 2 서브 이미지에 대한 선택이 감지되는 경우, 상기 연속 촬영된 이미지들 중 상기 제 2 서브 이미지에 초점이 맞춰진 제 4 이미지를 상기 표시 모듈에 표시하는 동작을 포함할 수 있다.

도 15는 본 개시의 실시 예에 따른 전자 장치에서 입력 정보에 기반하여 이미지를 선택하기 위한 절차를 도시하고 있다.

도 15를 참조하면 도 13의 1303 동작에서 초점 변경에 대한 이벤트가 발생한 경우, 전자 장치는 1501 동작에서 제 1 이미지와 함께 연속 촬영된 적어도 하나의 이미지를 표시 모듈(150)에 표시할 수 있다. 예를 들어, 도 5b 내지 도 5d와 같이 연속 촬영된 다수 개의 이미지들 중 제 1 서브 이미지(500)에 초점이 맞춰진 제 1 이미지(512)를 표시 모듈(150)에 표시한 경우, 전자 장치는 제 2 서브 이미지(502)에 초점이 맞춰진 제 2 이미지(514) 및 배경에 초점이 맞춰진 제 3 이미지(516)에 대한 정보를 표시 모듈(150)에 표시할 수 있다.

연속 촬영된 적어도 하나의 이미지를 표시 모듈(150)에 표시한 경우, 전자 장치는 1503 동작에서 이미지 선택이 감지되는지 확인할 수 있다. 예를 들어, 전자 장치는 입력 모듈(140)을 통해 제공받은 입력 정보에 기반하여 표시 모듈(150)에 표시한 적어도 하나의 이미지 중 어느 하나의 이미지의 선택이 감지되는지 확인할 수 있다.

1503 동작에서 이미지 선택을 감지하지 못한 경우, 전자 장치는 1501 동작에서 제 1 이미지와 함께 연속 촬영된 적어도 하나의 이미지를 표시 모듈(150)에 표시할 수 있다.

1503 동작에서 제 2 서브 이미지에 초점이 맞춰진 제 2 이미지의 선택을 감지한 경우, 전자 장치는 도 13의 1305 동작에서 선택이 감지된 제 2 서브 이미지에 초점이 맞춰진 제 2 이미지를 표시 모듈(150)에 표시할 수 있다.

본 개시의 실시 예에서 연속 촬영된 이미지들 중 제 3 이미지를 표시 모듈에 표시한 경우, 초점 변경에 대한 이벤트의 발생 여부를 확인하는 동작과 상기 이벤트가 발생한 경우, 상기 연속 촬영된 이미지들에 대한 정보를 상기 표시 모듈에 표시하는 동작과 상기 표시 모듈에 표시된 상기 적어도 하나의 제 2 이미지 중 제 5 이미지에 대한 선택이 감지되는 경우, 상기 제 5 이미지를 상기 표시 모듈에 표시하는 동작을 포함할 수 있다.

도 16은 본 개시의 실시 예에 따른 전자 장치에서 서로 다른 초점 정보를 포함하는 이미지들을 합성하기 위한 절차를 도시하고 있다. 이하 설명은 도 5b 내지 도 5d를 참조하여 이미지를 합성하기 위한 특징에 대해 설명한다.

도 16을 참조하면 전자 장치는 1601 동작에서 사진 합성에 대한 이벤트가 발생하는지 확인할 수 있다. 예를 들어, 전자 장치는 입력 모듈(140)을 통해 검출한 입력 정보에 기반하여 사진 합성에 대한 이벤트가 발생하는지 확인할 수 있다. 다른 예를 들어, 전자 장치는 사진 합성에 대한 이벤트에 대응하는 사용자 제스쳐가 감지되는지 확인할 수 있다.

1601 동작에서 사진 합성에 대한 이벤트가 발생한 경우, 전자 장치는 1603 동작에서 연속 촬영된 각각의 이미지에서 초점이 맞춰진 적어도 하나의 서브 이미지를 추출할 수 있다. 예를 들어, 전자 장치는 도 5b의 제 1 이미지(512)에서 초점이 맞춰진 제 1 서브 이미지(500)를 추출하고, 도 5c의 제 2 이미지(514)에서 초점이 맞춰진 제 2 서브 이미지(502)를 추출하고, 도 5d의 제 3 이미지(516)에서 초점이 맞춰진 배경 이미지를 추출할 수 있다.

서브 이미지를 추출한 경우, 전자 장치는 1605 동작에서 추출한 서브 이미지들을 하나의 이미지로 합성할 수 있다.

도 17은 본 개시의 실시 예에 따른 전자 장치에서 합성하기 위한 서브 이미지를 추출하기 위한 절차를 도시하고 있다. 이하 설명은 도 18a 내지 도 18d를 참조하여 이미지를 합성하는 특징에 대해 설명한다.

도 17을 참조하면 도 16의 1601 동작에서 사진 합성에 대한 이벤트가 발생한 경우, 전자 장치는 1701 동작에서 연속 촬영된 이미지들 중 기준 이미지를 설정할 수 있다. 예를 들어, 연속 촬영을 수행하는 경우, 전자 장치는 렌즈 이동에 따라 각각의 이미지에 화각 차이가 발생할 수 있다. 이에 따라, 전자 장치는 연속 촬영된 이미지들 중 가장 확대되거나 가장 축소된 이미지를 기준 이미지로 설정할 수 있다.

전자 장치는 1703 동작에서 기준 이미지에 포함되는 서브 이미지의 크기에 기반하여 다른 이미지에서 서브 이미지를 추출하기 위한 추출 비율을 결정할 수 있다. 예를 들어, 전자 장치는 각각의 이미지에 대한 크기를 비교하여 각각의 이미지에서 초점이 맞는 서브 이미지를 추출하기 위한 비율을 결정할 수 있다.

전자 장치는 1705 동작에서 추출 비율에 기반하여 각각의 이미지에서 초점이 맞는 서브 이미지의 외곽선에서 기준 간격만큼 이격된 테두리 부분까지 해당 서브 이미지를 추출할 수 있다. 예를 들어, 도 5b와 같이 제 1 서브 이미지(500)에 초점이 맞춰진 제 1 이미지를 기준 이미지로 설정한 경우, 전자 장치는 도 18a와 같이 제 1 서브 이미지(1800)의 외곽선(1802)을 기반으로 제 1 서브 이미지(1800)를 추출할 수 있다. 전자 장치는 도 18b와 같이 제 2 서브 이미지(1810)의 추출 비율에 기반하여 제 2 서브 이미지(1810)의 외곽선으로부터 기준 간격만큼 이격된 테두리(1812)까지 포함하도록 제 2 서브 이미지(1810)를 추출할 수 있다. 전자 장치는 도 18c와 같이 제 3 서브 이미지(1820)의 추출 비율에 기반하여 제 3 서브 이미지(1820)의 외곽선으로부터 기준 간격만큼 이격된 테두리(1822)까지 포함하도록 제 3 서브 이미지(1820)를 추출할 수 있다.

1705 동작에서 도 18a 내지 도 18c와 같이 서브 이미지들(1800, 1810, 1820)을 추출한 경우, 전자 장치는 도 16의 1605 동작에서 도 18d와 같이 추출한 이미지들을 합성하여 전체 영역에 초점이 맞춰진 하나의 이미지를 생성할 수 있다.

도 19는 본 개시의 다른 실시 예에 따른 전자 장치에서 합성하기 위한 서브 이미지를 추출하기 위한 절차를 도시하고 있다. 이하 설명은 도 20a 내지 도 20c를 참조하여 이미지를 합성하는 특징에 대해 설명한다.

도 19를 참조하면 도 16의 1601 동작에서 사진 합성에 대한 이벤트가 발생한 경우, 전자 장치는 1901 동작에서 연속 촬영된 이미지들 중 기준 이미지를 설정할 수 있다. 예를 들어, 연속 촬영을 수행하는 경우, 전자 장치는 렌즈 이동에 따라 각각의 이미지에 화각 차이가 발생할 수 있다. 이에 따라, 전자 장치는 연속 촬영된 이미지들 중 가장 확대되거나 가장 축소된 이미지를 기준 이미지로 설정할 수 있다.

전자 장치는 1903 동작에서 기준 이미지의 화각에 기반하여 연속 촬영된 적어도 하나의 나머지 이미지를 편집할 수 있다. 예를 들어, 도 20a와 같이 연속 촬영된 이미지들(1900, 1910, 1920) 중 가장 확대된 제 1 이미지(1900)를 기준 이미지로 설정한 경우, 전자 장치는 연속 촬영된 이미지들(1900, 1910, 1920)의 화각이 동일해지도록 제 1 이미지(1900)를 기준으로 도 19b와 같이 제 2 이미지(1910)의 테두리의 적어도 일부 영역을 잘라내기할 수 있다(1930). 전자 장치는 연속 촬영된 이미지들(1900, 1910, 1920)의 화각이 동일해지도록 제 1 이미지(1900)를 기준으로 도 19c와 같이 제 3 이미지(1920)의 테두리의 적어도 일부 영역을 잘라내기 할 수 있다(1940). 추가적으로, 전자 장치는 잘라내기한 적어도 하나의 나머지 이미지를 기준 이미지를 기반하여 확대할 수 있다. 다른 예를 들어, 연속 촬영된 이미지들 중 가장 확대된 이미지를 기준 이미지로 설정한 경우, 전자 장치는 연속 촬영된 이미지들의 화각이 동일해지도록 기준 이미지를 기준으로 적어도 하나의 나머지 이미지를 확대할 수 있다.

전자 장치는 1905 동작에서 기준 이미지 및 편집한 적어도 하나의 나머지 이미지에서 초점이 맞는 서브 이미지를 추출할 수 있다.

1905 동작에서 서브 이미지들을 추출한 경우, 전자 장치는 도 16의 1605 동작에서 추출한 이미지들을 합성하여 전체 영역에 초점이 맞춰진 하나의 이미지를 생성할 수 있다.

본 개시의 실시 예에서 연속 촬영된 각각의 이미지에서 초점이 맞춰진 서브 이미지를 추출하는 동작과 상기 추출한 서브 이미지들을 하나의 이미지로 합성하는 동작과 상기 합성한 이미지를 표시 모듈에 표시하는 동작을 포함할 수 있다.

본 개시의 실시 예에서 상기 서브 이미지를 추출하는 동작은, 상기 적어도 하나의 서브 이미지 중 어느 하나의 서브 이미지의 크기에 기반하여 적어도 하나의 나머지 서브 이미지에 대한 추출 비율을 결정하는 동작과 상기 추출 비율에 기반하여 적어도 하나의 나머지 서브 이미지에 대해 외곽선에서 일정 간격 이격된 테두리 부분까지 포함되도록 각각의 서브 이미지를 추출하는 동작을 포함할 수 있다.

본 개시의 실시 예에서 상기 서브 이미지를 추출하는 동작은, 연속 촬영된 이미지들 중 어느 하나의 기준 이미지에 대한 화각에 기반하여 적어도 하나의 나머지 이미지를 편집하는 동작과 상기 기준 이미지 및 상기 편집한 적어도 하나의 나머지 이미지에서 초점이 맞춰진 서브 이미지를 추출하는 동작을 포함할 수 있다.

본 개시의 실시 예에서 상기 이미지를 편집하는 동작은, 연속 촬영된 이미지들 중 어느 하나의 기준 이미지에 대한 화각에 기반하여 적어도 하나의 나머지 이미지의 테두리의 적어도 일부 영역을 잘라내기 하는 동작을 포함할 수 있다.

도 21은 본 개시의 다른 실시 예에 따른 전자 장치에서 서로 다른 초점 정보를 포함하는 이미지들을 합성하기 위한 절차를 도시하고 있다. 이하 설명은 도 22a 내지 도 22b를 참조하면 이미지를 합성하는 특징에 대해 설명한다.

도 21을 참조하면 전자 장치는 2101 동작에서 이미지 합성을 위한 촬영 이벤트가 발생하는지 확인할 수 있다. 예를 들어, 전자 장치는 입력 모듈(140)을 통해 검출한 입력 정보에 기반하여 이미지 합성을 위한 촬영 이벤트가 발생하는지 확인할 수 있다. 다른 예를 들어, 전자 장치는 이미지 합성을 위한 촬영 이벤트에 대응하는 사용자 제스쳐가 감지되는지 확인할 수 있다.

2101 동작에서 이미지 합성을 위한 촬영 이벤트가 발생한 경우, 전자 장치는 2103 동작에서 서로 다른 서브 이미지에 초점이 맞춰진 이미지들을 연속 촬영할 수 있다. 예를 들어, 전자 장치는 도 3a 또는 도 3b의 절차를 통해 도 22a와 같이 제 1 서브 이미지(2200)에 초점이 맞춰진 제 1 이미지, 제 2 서브 이미지(2210)에 초점이 맞춰진 제 2 이미지 및 제 3 서브 이미지(2220)에 초점이 맞춰진 제 3 이미지를 연속 촬영할 수 있다.

전자 장치는 2105 동작에서 서브 이미지에 변화가 검출되는지 확인할 수 있다. 예를 들어, 전자 장치는 연속 촬영하여 획득한 이미지들을 비교하여 서브 이미지의 변화가 검출되는지 확인할 수 있다. 예컨대, 전자 장치는 도 22a의 제 1 이미지와 제 3 이미지를 비교하여 제 1 서브 이미지(2200)에 대한 변화(2230)를 검출할 수 있다.

2105 동작에서 서브 이미지에 변화가 검출되지 않은 경우, 전자 장치는 도 16의 1603 동작에서 연속 촬영된 각각의 이미지에서 초점이 맞춰진 적어도 하나의 서브 이미지를 추출할 수 있다.

2105 동작에서 서브 이미지에 변화가 검출한 경우, 전자 장치는 2107 동작에서 변화가 검출된 서브 이미지에 초점이 맞춰진 이미지를 추가 획득할 수 있다. 예를 들어, 제 1 서브 이미지(2200)에 대한 변화(2230)를 검출한 경우, 전자 장치는 추가 촬영을 통해 도 22b와 같이 제 1 서브 이미지(2200)에 초점이 맞춰진 이미지를 추가 획득할 수 있다.

전자 장치는 2109 동작에서 추가 획득한 이미지를 기준으로 이미지를 합성할 수 있다. 예를 들어, 전자 장치는 도 22a의 제 2 이미지와 제 3 이미지 및 도 22b의 추가 이미지에서 서브 이미지를 추출하여 하나의 이미지로 합성할 수 있다.

한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 전자 장치의 동작 순서가 변경 또는 병합되거나 재사용 가능하며 생략 등과 같이 여러 가지 변형이 가능하다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims

전자 장치에서 이미지를 처리하기 위한 방법에 있어서,
위상차 픽셀을 포함하는 픽셀들의 배열(array)을 포함하는 적어도 하나의 이미지 센서를 이용하여 제 1 이미지를 획득하는 동작;
상기 제 1 이미지에서 적어도 하나의 서브 이미지를 검출하는 동작;
상기 위상차 픽셀을 이용하여 획득한 적어도 하나의 위상차 정보를 이용하여 상기 적어도 하나의 서브 이미지 간의 상대적인 거리를 추정하는 동작;
상기 적어도 하나의 서브 이미지 간의 상대적인 거리를 이용하여 각각의 서브 이미지에 초점이 맞춰진 적어도 하나의 제 2 이미지를 캡쳐하는 동작을 포함하는 방법.
제 1항에 있어서,
상기 제 1 이미지를 획득하는 동작은,
상기 적어도 하나의 이미지 센서를 이용하여 다수 개의 컬러 픽셀들 및 적어도 하나의 위상차 정보를 포함하는 제 1 이미지를 획득하는 동작을 포함하는 방법.
제 1항에 있어서,
상기 서브 이미지를 검출하는 동작은,
상기 제 1 이미지를 다수 개의 이미지 블럭들로 분할하는 동작;
각각의 이미지 블럭에 대한 위상차 정보를 검출하는 동작;
각각의 이미지 블럭에 대한 위상차 정보에 기반하여 적어도 하나의 서브 이미지를 검출하는 동작을 포함하는 방법.
제 3항에 있어서,
상기 위상차 정보에 기반하여 서브 이미지를 검출하는 동작은,
상기 위상차 정보가 기준 범위 내에 포함되는 적어도 하나의 이미지 블럭을 그룹핑하는 동작;
상기 그룹핑된 이미지 블럭의 개수에 기반하여 적어도 하나의 서브 이미지를 검출하는 동작을 포함하는 방법.
제 3항에 있어서,
상기 위상차 정보에 기반하여 적어도 하나의 서브 이미지를 검출한 경우, 각각의 서브 이미지에 대한 초점 심도를 검출하는 동작;
상기 각각의 서브 이미지의 초점 심도에 기반하여 적어도 하나의 서브 이미지를 추출하는 동작을 더 포함하는 방법.
제 1항에 있어서,
상기 적어도 하나의 제 2 이미지 중 제 1 서브 이미지에 초점이 맞춰진 제 3 이미지를 표시 모듈에 표시하는 동작을 더 포함하는 방법.
제 6항에 있어서,
상기 표시 모듈에 표시된 상기 제 3 이미지에서 제 2 서브 이미지에 대한 선택이 감지되는 경우, 상기 적어도 하나의 제 2 이미지 중 상기 제 2 서브 이미지에 초점이 맞춰진 제 4 이미지를 상기 표시 모듈에 표시하는 동작을 더 포함하는 방법.
제 6항에 있어서,
상기 제 3 이미지를 표시 모듈에 표시한 경우, 초점 변경에 대한 이벤트의 발생 여부를 확인하는 동작;
상기 이벤트가 발생한 경우, 상기 적어도 하나의 제 2 이미지에 대한 정보를 상기 표시 모듈에 표시하는 동작;
상기 표시 모듈에 표시된 상기 적어도 하나의 제 2 이미지 중 제 5 이미지에 대한 선택이 감지되는 경우, 상기 제 5 이미지를 상기 표시 모듈에 표시하는 동작을 더 포함하는 방법.
제 6항에 있어서,
상기 제 3 이미지를 표시 모듈에 표시하는 동작은,
상기 제 1 서브 이미지와 적어도 하나의 다른 서브 이미지의 상대적인 거리에 기반하여 상기 제 3 이미지에서 상기 적어도 하나의 다른 서브 이미지를 블러 처리하는 동작;
상기 블러 처리된 제 3 이미지를 상기 표시 모듈에 표시하는 동작을 포함하는 방법.
제 9항에 있어서,
상기 서브 이미지를 블러 처리하는 동작은,
상기 제 1 서브 이미지의 외곽선을 포함하는 적어도 하나의 이미지 블럭을 주변 이미지 블럭의 블러 정보에 기반하여 블러 처리하는 동작을 포함하는 방법.
제 10항에 있어서,
상기 블러 처리하는 동작은,
상기 제 1 서브 이미지의 외곽선을 포함하는 적어도 하나의 이미지 블럭을 상기 제 1 서브 이미지의 외곽선에 기반하여 적어도 하나의 영역으로 분할하는 동작;
각각의 이미지 블럭에 포함되는 적어도 하나의 영역을 각각의 영역에 인접한 적어도 하나의 주변 이미지 블럭의 블러 정보에 기반하여 블러 처리하는 동작을 포함하는 방법.
제 6항에 있어서,
상기 제 3 이미지를 표시 모듈에 표시한 경우, 상기 적어도 하나의 제 2 이미지 중 제 3 이미지와 적어도 하나의 나머지 이미지를 서로 다른 메모리 영역에 저장하는 동작을 더 포함하는 방법.
제 1항에 있어서,
상기 적어도 하나의 제 2 이미지와 각각의 제 2 이미지에 대한 초점 정보를 하나의 파일로 저장하는 동작을 더 포함하는 방법.
제 1항에 있어서,
상기 각각의 제 2 이미지에서 초점이 맞춰진 서브 이미지를 추출하는 동작;
상기 추출한 서브 이미지들을 하나의 이미지로 합성하는 동작;
상기 합성한 이미지를 표시 모듈에 표시하는 동작을 더 포함하는 방법.
제 14항에 있어서,
상기 서브 이미지를 추출하는 동작은,
상기 적어도 하나의 서브 이미지 중 어느 하나의 서브 이미지의 크기에 기반하여 적어도 하나의 나머지 서브 이미지에 대한 추출 비율을 결정하는 동작;
상기 추출 비율에 기반하여 적어도 하나의 나머지 서브 이미지에 대해 외곽선에서 일정 간격 이격된 테두리 부분까지 포함되도록 각각의 서브 이미지를 추출하는 동작을 포함하는 방법.
제 14항에 있어서,
상기 서브 이미지를 추출하는 동작은,
상기 적어도 하나의 제 2 이미지 중 어느 하나의 기준 이미지에 대한 화각에 기반하여 적어도 하나의 나머지 이미지를 편집하는 동작;
상기 기준 이미지 및 상기 편집한 적어도 하나의 나머지 이미지에서 초점이 맞춰진 서브 이미지를 추출하는 동작을 포함하는 방법.
제 16항에 있어서,
상기 이미지를 편집하는 동작은,
상기 적어도 하나의 제 2 이미지 중 어느 하나의 기준 이미지에 대한 화각에 기반하여 적어도 하나의 나머지 이미지의 테두리의 적어도 일부 영역을 잘라내기 하는 동작을 포함하는 방법.
전자 장치에 있어서,
위상차 픽셀을 포함하는 픽셀들의 배열(array)을 포함하며, 이미지를 획득 또는 캡쳐하는 적어도 하나의 이미지 센서;
적어도 하나의 프로세서를 포함하며,
상기 프로세서는, 상기 적어도 하나의 이미지 센서를 이용하여 획득한 제 1 이미지에서 적어도 하나의 서브 이미지를 검출하고, 상기 위상차 픽셀을 이용하여 획득한 적어도 하나의 위상차 정보를 이용하여 상기 적어도 하나의 서브 이미지 간의 상대적인 거리를 추정하고, 상기 적어도 하나의 서브 이미지 간의 상대적인 거리를 이용하여 각각의 서브 이미지에 초점이 맞춰진 적어도 하나의 제 2 이미지를 캡쳐하도록 구성되는 장치.
제 18항에 있어서,
상기 프로세서는, 상기 적어도 하나의 이미지 센서를 이용하여 획득한 다수 개의 컬러 픽셀들 및 적어도 하나의 위상차 정보를 포함하는 제 1 이미지에서 적어도 하나의 서브 이미지를 검출하는 장치.
제 18항에 있어서,
상기 프로세서는, 상기 제 1 이미지를 다수 개의 이미지 블럭들로 분할하고, 각각의 이미지 블럭에 대한 위상차 정보를 검출하고, 각각의 이미지 블럭에 대한 위상차 정보에 기반하여 적어도 하나의 서브 이미지를 검출하는 장치.
제 20항에 있어서,
상기 프로세서는, 상기 위상차 정보가 기준 범위 내에 포함되는 적어도 하나의 이미지 블럭을 그룹핑하고, 상기 그룹핑된 이미지 블럭의 개수에 기반하여 적어도 하나의 서브 이미지를 검출하는 장치.
제 20항에 있어서,
상기 프로세서는, 상기 위상차 정보에 기반하여 적어도 하나의 서브 이미지를 검출한 경우, 각각의 서브 이미지에 대한 초점 심도를 검출하고, 상기 각각의 서브 이미지의 초점 심도에 기반하여 적어도 하나의 서브 이미지를 추출하는 장치.
제 18항에 있어서,
상기 프로세서의 제어에 따라 획득한 상기 적어도 하나의 제 2 이미지 중 제 1 서브 이미지에 초점이 맞춰진 제 3 이미지를 표시하는 표시 모듈을 더 포함하는 장치.
제 23항에 있어서,
입력 모듈을 더 포함하며,
상기 표시 모듈은, 상기 입력 모듈을 통해 상기 제 3 이미지에서 제 2 서브 이미지에 대한 선택이 감지되는 경우, 상기 적어도 하나의 제 2 이미지 중 상기 제 2 서브 이미지에 초점이 맞춰진 제 4 이미지를 표시하는 장치.
제 23항에 있어서,
입력 모듈을 더 포함하며,
상기 표시 모듈은, 초점 변경에 대한 이벤트가 발생한 경우, 상기 적어도 하나의 제 2 이미지에 대한 정보를 표시하고, 상기 입력 모듈을 통해 상기 표시된 상기 적어도 하나의 제 2 이미지 중 제 5 이미지에 대한 선택이 감지되는 경우, 상기 제 5 이미지를 표시하는 장치.
제 23항에 있어서,
상기 프로세서는, 상기 제 1 서브 이미지와 적어도 하나의 다른 서브 이미지의 상대적인 거리에 기반하여 상기 제 3 이미지에서 상기 적어도 하나의 다른 서브 이미지를 블러 처리하며,
상기 표시 모듈은, 상기 이미지 처리 모듈에서 블러 처리된 제 3 이미지를 표시하는 장치.
제 26항에 있어서,
상기 프로세서는, 상기 제 1 서브 이미지의 외곽선을 포함하는 적어도 하나의 이미지 블럭을 주변 이미지 블럭의 블러 정보에 기반하여 블러 처리하는 장치.
제 27항에 있어서,
상기 프로세서는, 상기 제 1 서브 이미지의 외곽선을 포함하는 적어도 하나의 이미지 블럭을 상기 제 1 서브 이미지의 외곽선에 기반하여 적어도 하나의 영역으로 분할하고, 각각의 이미지 블럭에 포함되는 적어도 하나의 영역을 각각의 영역에 인접한 적어도 하나의 주변 이미지 블럭의 블러 정보에 기반하여 블러 처리하는 장치.
제 18항에 있어서,
이미지를 표시하는 표시 모듈;
메모리를 더 포함하며,
상기 메모리는, 상기 표시 모듈에 상기 적어도 하나의 제 2 이미지 중 제 1 서브 이미지에 초점이 맞춰진 제 3 이미지가 표시된 경우, 상기 적어도 하나의 제 이미지 중 제 3 이미지와 적어도 하나의 나머지 이미지를 서로 다른 메모리 영역에 저장하는 장치.
제 18항에 있어서,
메모리를 더 포함하며,
상기 메모리는, 상기 적어도 하나의 제 2 이미지와 각각의 제 2 이미지에 대한 초점 정보를 하나의 파일로 저장하는 장치.
제 18항에 있어서,
상기 프로세서는, 각각의 제 2 이미지에서 초점이 맞춰진 서브 이미지를 추출하고, 상기 추출한 서브 이미지들을 하나의 이미지로 합성하는 장치.
제 31항에 있어서,
상기 프로세서는, 상기 적어도 하나의 서브 이미지 중 어느 하나의 서브 이미지의 크기에 기반하여 적어도 하나의 나머지 서브 이미지에 대한 추출 비율을 결정하고, 상기 추출 비율에 기반하여 적어도 하나의 나머지 서브 이미지에 대해 외곽선에서 일정 간격 이격된 테두리 부분까지 포함되도록 각각의 서브 이미지를 추출하는 장치.
제 31항에 있어서,
상기 프로세서는, 상기 적어도 하나의 제 2 이미지 중 어느 하나의 기준 이미지에 대한 화각에 기반하여 적어도 하나의 나머지 이미지를 편집하고, 상기 기준 이미지 및 상기 편집한 적어도 하나의 나머지 이미지에서 초점이 맞춰진 서브 이미지를 추출하는 장치.
제 33항에 있어서,
상기 프로세서는, 상기 적어도 하나의 제 2 이미지 중 어느 하나의 기준 이미지에 대한 화각에 기반하여 적어도 하나의 나머지 이미지의 테두리의 적어도 일부 영역을 잘라내기 하는 장치.
전자장치를 구동하는 방법에 있어서,
상기 전자장치에 포함된 이미지 획득 장치에 의하여 얻어지는 영상을 메모리에 적어도 일시적으로 저장하는 동작;
상기 영상에 포함된 적어도 하나의 객체에 대한 위상차(phase difference) 정보를 획득하는 동작;
상기 이미지 획득 장치에 의하여 영상을 캡쳐하도록 하는 사용자 입력을 수신하는 동작;
상기 사용자 입력에 응답하여, 복수의 영상을 캡쳐하는 동작을 포함하며,
상기 복수의 영상 중 적어도 두 개의 영상들은, 상이한 초점 거리를 가지며, 상기 초점 거리는 상기 획득된 위상차 정보에 적어도 일부분 기초하여 맞추어지는 방법
제 35항에 있어서,
상기 위상차 정보를 획득하는 동작은,
상기 이미지 획득 장치에 포함된 적어도 하나의 픽셀을 이용하여 상기 영상에 포함된 적어도 하나의 객체에 대한 위상차(phase difference) 정보를 획득하는 동작을 포함하는 방법.
제 35항에 있어서,
상기 복수의 영상을 캡쳐하는 동작은,
상기 영상에 포함된 적어도 하나의 객체에 대한 초점 심도를 검출하는 동작;
상기 적어도 하나의 객체에 대한 초점 심도에 기반하여 서로 다른 초점 거리를 포함하는 복수의 영상들을 캡쳐하는 동작을 포함하는 방법.
제 35항에 있어서,
상기 복수의 영상들 중 제 1 객체에 초점이 맞춰진 제 1 영상을 표시 모듈에 표시하는 동작을 더 포함하는 방법.
제 38항에 있어서,
상기 표시 모듈에 표시된 상기 제 1 영상에서 제 2 객체에 대한 선택이 감지되는 경우, 상기 복수의 영상들 중 상기 제 2 객체에 초점이 맞춰진 제 2 영상을 상기 표시 모듈에 표시하는 동작을 더 포함하는 방법.
제 38항에 있어서,
상기 제 1 영상을 상기 표시 모듈에 표시한 경우, 초점 변경에 대한 이벤트의 발생 여부를 확인하는 동작;
상기 이벤트가 발생한 경우, 상기 복수의 영상들에 대한 정보를 상기 표시 모듈에 표시하는 동작;
상기 복수의 영상들 중 제 3 영상에 대한 선택이 감지되는 경우, 상기 제 3 영상을 상기 표시 모듈에 표시하는 동작을 더 포함하는 방법.
제 38항에 있어서,
상기 제 1 영상을 표시 모듈에 표시하는 동작은,
상기 제 1 객체와 적어도 하나의 다른 객체의 상대적인 거리에 기반하여 상기 제 1 영상에서 상기 적어도 하나의 다른 객체를 블러 처리하는 동작;
상기 블러 처리된 제 1 영상을 상기 표시 모듈에 표시하는 동작을 포함하는 방법.
제 38항에 있어서,
상기 제 1 영상을 상기 표시 모듈에 표시한 경우, 상기 복수의 영상들 중 제 1 영상과 적어도 하나의 나머지 영상을 서로 다른 메모리 영역에 저장하는 동작을 더 포함하는 방법.
제 35항에 있어서,
상기 복수의 영상들을 하나의 파일로 저장하는 동작을 더 포함하는 방법.
제 35항에 있어서,
상기 복수의 영상들에서 초점이 맞춰진 객체를 추출하는 동작;
상기 추출한 객체들을 하나의 이미지로 합성하는 동작;
상기 합성한 이미지를 표시 모듈에 표시하는 동작을 포함하는 방법.
제 44항에 있어서,
상기 객체를 추출하는 동작은,
상기 적어도 하나의 객체 중 어느 하나의 객체의 크기에 기반하여 적어도 하나의 나머지 객체에 대한 추출 비율을 결정하는 동작;
상기 추출 비율에 기반하여 적어도 하나의 나머지 객체에 대해 외곽선에서 일정 간격 이격된 테두리 부분까지 포함되도록 각각의 객체를 추출하는 동작을 포함하는 방법.
제 44항에 있어서,
상기 객체를 추출하는 동작은,
상기 복수의 영상들 중 어느 하나의 기준 영상에 대한 화각에 기반하여 적어도 하나의 나머지 영상을 편집하는 동작;
상기 기준 영상 및 상기 편집한 적어도 하나의 나머지 영상에서 초점이 맞춰진 객체를 추출하는 동작을 포함하는 방법.
제 46항에 있어서,
상기 영상을 편집하는 동작은,
상기 복수의 영상들 중 어느 하나의 기준 영상에 대한 화각에 기반하여 적어도 하나의 나머지 영상의 테두리의 적어도 일부 영역을 잘라내기 하는 동작을 포함하는 방법.
전자 장치에 있어서,
사용자 입력을 검출하는 입력 모듈;
이미지를 획득 또는 캡쳐하는 이미지 획득 장치;
상기 이미지 획득 장치에 의하여 얻어지는 영상을 저장하는 메모리;
적어도 하나의 프로세서를 포함하며,
상기 프로세서는, 상기 이미지 획득 장치에 의하여 얻어져 상기 메모리에 일시적으로 저장되는 영상에 포함된 적어도 하나의 객체에 대한 위상차(phase difference) 정보를 획득하고, 상기 입력 모듈을 통해 검출한 상기 이미지 획득 장치에 의하여 영상을 캡쳐하도록 하는 사용자 입력에 응답하여, 상기 이미지 획득 장치를 통해 복수의 영상을 캡쳐하도록 구성되며,
상기 복수의 영상 중 적어도 두 개의 영상들은, 상이한 초점 거리를 가지며, 상기 초점 거리는 상기 획득된 위상차 정보에 적어도 일부분 기초하여 맞추어지는 장치.
제 48항에 있어서,
상기 이미지 획득 장치는, 적어도 하나의 이미지 센서를 포함하는 장치.
제 48항에 있어서,
상기 프로세서는, 상기 이미지 획득 장치에 포함되는 적어도 하나의 위상차 픽셀을 이용하여 상기 영상에 포함된 적어도 하나의 객체에 대한 위상차(phase difference) 정보를 획득하는 장치.
제 48항에 있어서,
상기 프로세서는, 상기 영상에 포함된 적어도 하나의 객체에 대한 초점 심도를 검출하고, 상기 적어도 하나의 객체에 대한 초점 심도에 기반하여 서로 다른 초점 거리를 포함하는 복수의 영상들을 캡쳐하도록 구성되는 장치.
제 48항에 있어서,
상기 복수의 영상들 중 제 1 객체에 초점이 맞춰진 제 1 영상을 표시하는 표시 모듈을 더 포함하는 장치.
제 52항에 있어서,
입력 모듈을 더 포함하며,
상기 표시 모듈은, 상기 입력 모듈을 통해 상기 제 1 영상에서 제 2 객체에 대한 선택이 감지되는 경우, 상기 복수의 영상들 중 상기 제 2 객체에 초점이 맞춰진 제 2 영상을 표시하는 장치.
제 52항에 있어서,
입력 모듈을 더 포함하며,
상기 표시 모듈은, 초점 변경에 대한 이벤트가 발생한 경우, 상기 복수의 영상들에 대한 정보를 표시하고, 상기 입력 모듈을 통해 상기 복수의 영상들 중 제 3 영상에 대한 선택이 감지되는 경우, 상기 제 3 영상을 표시하는 장치.
제 52항에 있어서,
상기 프로세서는, 상기 제 1 객체와 적어도 하나의 다른 객체의 상대적인 거리에 기반하여 상기 제 1 영상에서 상기 적어도 하나의 다른 객체를 블러 처리하고, 상기 블러 처리된 제 1 영상을 상기 표시 모듈에 표시하도록 구성되는 장치.
제 52항에 있어서,
메모리를 더 포함하며,
상기 메모리는, 상기 제 1 영상이 상기 표시 모듈에 표시된 경우, 상기 복수의 영상들 중 제 1 영상과 적어도 하나의 나머지 영상을 서로 다른 메모리 영역에 저장하는 장치.
제 48항에 있어서,
메모리를 더 포함하며,
상기 메모리는, 상기 복수의 영상들을 하나의 파일로 저장하는 장치.
제 48항에 있어서,
상기 프로세서는, 상기 복수의 영상들에서 초점이 맞춰진 객체를 추출하고, 상기 추출한 객체들을 하나의 이미지로 합성하고, 상기 합성한 이미지를 표시 모듈에 표시하는 장치.
제 58항에 있어서,
상기 프로세서는, 상기 적어도 하나의 객체 중 어느 하나의 객체의 크기에 기반하여 적어도 하나의 나머지 객체에 대한 추출 비율을 결정하고, 상기 추출 비율에 기반하여 적어도 하나의 나머지 객체에 대해 외곽선에서 일정 간격 이격된 테두리 부분까지 포함되도록 각각의 객체를 추출하는 장치.
제 58항에 있어서,
상기 프로세서는, 상기 복수의 영상들 중 어느 하나의 기준 영상에 대한 화각에 기반하여 적어도 하나의 나머지 영상을 편집하고, 상기 기준 영상 및 상기 편집한 적어도 하나의 나머지 영상에서 초점이 맞춰진 객체를 추출하는 장치.
제 60항에 있어서,
상기 프로세서는, 상기 복수의 영상들 중 어느 하나의 기준 영상에 대한 화각에 기반하여 적어도 하나의 나머지 영상의 테두리의 적어도 일부 영역을 잘라내기 하는 장치.