KR20210067864A

KR20210067864A - 적응적 포커스 범위 및 계층화 스캐터링을 이용한 보케 이미지들의 생성

Info

Publication number: KR20210067864A
Application number: KR1020200115512A
Authority: KR
Inventors: 조지 시안 첸
Original assignee: 삼성전자주식회사
Priority date: 2019-11-29
Filing date: 2020-09-09
Publication date: 2021-06-08
Also published as: US11094041B2; US20210166353A1

Abstract

방법은 적어도 하나의 프로세서를 사용하여 어떤 장면에 대한 포커스 범위의 심도를 판단하는 단계를 포함한다. 그 방법은 또한, 적어도 하나의 프로세서를 사용하여, 포커스 범위의 심도에 기초해 장면과 관련된 다수의 계층들을 결정하는 단계를 포함하며, 이때 각각의 계층은 시차(disparity) 값들의 상이한 범위를 가진 이미지 데이터와 관련된다. 그 방법은 또한, 적어도 하나의 프로세서를 사용하여 계층들을 블렌딩(혼합)하여 전경 및 배경, 그리고 포커스 범위의 심도 내에서 포커싱된 이미지 데이터 내에 보케 효과를 가지는 이미지를 생성하는 단계를 더 포함한다. 다수의 계층들은 적어도 전경과 관련된 제1계층, 포커스 범위의 심도와 관련된 제2계층, 및 배경과 관련된 제3계층을 포함한다.

Description

적응적 포커스 범위 및 계층화 스캐터링을 이용한 보케 이미지들의 생성{GENERATION OF BOKEH IMAGES USING ADAPTIVE FOCUS RANGE AND LAYERED SCATTERING}

본 개시는 일반적으로 이미지 촬영 시스템에 관한 것이다. 보다 구체적으로, 본 개시는 적응적 포커스 범위 및 계층화된 스캐터링(scattering)을 이용하는 보케(Bokeh) 이미지들의 생성에 관한 것이다.

스마트 폰들 및 태블릿 컴퓨터들과 같은 많은 모바일 장치들은 정지 영상 및 비디오 영상을 촬영하는데 사용될 수 있는 카메라들을 포함한다. 모바일 전자 기기들 상에 있는 카메라들은 편리하면서 통상적으로 짧은 초점거리와 작은 조리개(aperture) 사이즈를 가지므로, 모바일 전자 기기 상에서 촬영된 사진들은 보통 샤프(sharp)하다. 그 결과, 한 장면 내의 대상이 모바일 전자 기기에 아주 가깝지 않으면 촬영된 이미지들에서 “보케(Bokeh)”와 같은 예술적 효과들을 만들기는 어렵다.

“보케”는 이미지의 아웃 포커싱 부분들(예를 들어, 이미지의 배경)은 흐리게 하면서(blurring) 이미지의 다른 부분들(예를 들어, 전경 또는 하나 이상의 대상들)은 포커스를 맞춤으로써 이미지의 미적 퀄리티를 향상하도록 돕는 효과를 말한다. 많은 모바일 전자 기기들에서, 보케는 광학적으로가 아닌 계산을 통해 수행된다. 예를 들어, 모바일 전자 기기가 한 장면 내 다양한 심도들을 추정할 수 있고, 그 장면의 보케 이미지들은 그 추정된 심도들을 사용하여 계산을 통해 생성될 수 있다.

본 개시는 적응적 포커스 범위 및 계층화된 스캐터링을 이용하는, 보케(Bokeh) 이미지들의 생성에 관한 것이다.

제1실시예의 방법은 적어도 하나의 프로세서를 사용하여 어떤 장면에 대한 포커스 범위의 심도를 판단하는 단계를 포함한다. 그 방법은 또한, 적어도 하나의 프로세서를 사용하여, 포커스 범위의 심도에 기초해 상기 장면과 관련된 다수의 계층들을 결정하는 단계를 포함하며, 이때 각각의 계층은 시차(視差, disparity) 값들의 상이한 범위를 가진 이미지 데이터와 관련된다. 그 방법은 또한, 적어도 하나의 프로세서를 사용하여 계층들을 블렌딩하여 전경 및 배경, 그리고 포커스 범위의 심도 내에서 포커싱된 이미지 데이터 내에 보케 효과를 가지는 이미지를 생성하는 단계를 더 포함할 수 있다. 상기 다수의 계층들은 적어도 전경과 관련된 제1계층, 포커스 범위의 심도와 관련된 제2계층, 및 배경과 관련된 제3계층을 포함한다.

제2실시예의 전자 기기는 이미지 데이터를 촬영하도록 구성된 다수의 이미지 센서들, 및 이미지 센서들에 동작 가능하게 연결된 적어도 하나의 프로세서를 포함한다. 적어도 하나의 프로세서는 장면에 대한 포커스 범위의 심도를 결정하도록 구성된다. 적어도 하나의 프로세서는 또한, 포커스 범위의 심도에 기초해 상기 장면과 관련된 다수의 계층들을 결정하도록 구성되며, 이때 각각의 계층은 시차 값들의 상이한 범위를 가진 이미지 데이터와 관련된다. 적어도 하나의 프로세서는 또한, 전경 및 배경 및 포커스 범위의 심도 내에서 포커싱된 이미지 데이터 내에 보케 효과를 가지는 이미지를 생성하도록 구성된다. 상기 다수의 계층들은 적어도 전경과 관련된 제1계층, 포커스 범위의 심도와 관련된 제2계층, 및 배경과 관련된 제3계층을 포함한다.

제3실시예의 비일시적 기계 판독가능 매체는 실행 시 전자 기기의 적어도 하나의 프로세서가 장면에 대한 포커스 범위의 심도를 결정하도록 하는 명령어들을 포함한다. 이 매체는 또한, 실행 시 적어도 하나의 프로세서가 상기 포커스 범위의 심도에 기반하여 상기 장면과 관련된 다수의 계층들을 결정하도록 하는 명령어들을 포함한다. 각각의 계층은 상이한 범위의 시차 값들을 가지는 이미지 데이터와 관련된다. 이 매체는 또한, 실행 시 적어도 하나의 프로세서가 전경 및 배경 및 포커스 범위의 심도 내에서 포커싱된 이미지 데이터 내에 보케 효과를 가지는 이미지를 생성하도록 하는 명령어들을 더 포함한다. 상기 다수의 계층들은 적어도 전경과 관련된 제1계층, 포커스 범위의 심도와 관련된 제2계층, 및 배경과 관련된 제3계층을 포함한다.

제4실시예의 방법은 적어도 하나의 프로세서를 이용해, 입력 터치 포인트에 기반하여 장면 내 포커스 위치를 결정하는 단계를 포함한다. 그 방법은 또한, 적어도 하나의 프로세서를 이용해, 입력 터치 포인트와 관련된 포커스 범위의 심도를 초기화하는 단계를 포함한다. 그 방법은 또한, 적어도 하나의 프로세서를 이용하여, 포커스 범위의 초기 심도에 기반하여 이미지 미리보기(preview)를 생성하는 단계를 포함하고, 상기 이미지 미리보기는 포커스 범위의 초기 심도 내에서 포커싱되고 포커스 범위의 초기 심도 밖에서 블러링(blurry)된다.

다른 기술적 특징들은 이하의 도면, 상세한 설명 및 청구범위로부터 당업자에게 쉽게 자명해 보일 것이다.

이하의 상세한 설명을 수행하기 전에, 이 특허 문서 전체에 걸쳐 사용된 소정 단어들과 어구들의 정의를 설명하는 것이 바람직하다. "전송한다", "수신한다", 그리고 "통신한다" 라는 용어들뿐 아니라 그 파생어들은 직간접적 통신 모두를 포함한다. "포함하다" 및 "구비한다"는 용어들 및 그 파생어들은 제한 없는 포함을 의미한다. "또는"이라는 말은 '및/또는'을 의미하는 포괄적인 말이다 "~와 관련된다" 및 그 파생어들은 포함한다, ~ 안에 포함된다, ~와 상호연결한다, 내포한다, ~안에 내포된다, ~에/와 연결한다, ~에/와 결합한다, ~와 통신할 수 있다, ~와 협력한다, 개재한다, 나란히 놓는다, ~에 근사하다, ~에 속박된다, 가진다, ~의 특성을 가진다, ~와 관계를 가진다는 등의 의미이다.

또한, 이하에 기술되는 다양한 기능들은 하나 이상의 컴퓨터 프로그램들에 의해 구현되거나 지원될 수 있으며, 그 프로그램들 각각은 컴퓨터 판독가능 프로그램 코드로 구성되고 컴퓨터 판독가능 매체에서 실시된다. "애플리케이션" 및 "프로그램"이라는 용어는 하나 이상의 컴퓨터 프로그램, 소프트웨어 성분, 명령어 집합, 절차, 함수, 객체, 클래스, 인스턴스, 관련 데이터, 또는 적합한 컴퓨터 판독가능 프로그램 코드의 구현에 적합한 그들의 일부를 일컫는다. "컴퓨터 판독가능 프로그램 코드"라는 말은 소스 코드, 객체 코드, 및 실행 코드를 포함하는 모든 타입의 컴퓨터 코드를 포함한다. "컴퓨터 판독가능 매체"라는 말은 ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브, 컴팩트 디스크(CD), 디지털 비디오 디스크(DVD), 또는 어떤 다른 유형의 메모리와 같이, 컴퓨터에 의해 액세스될 수 있는 모든 유형의 매체를 포함한다. "비일시적" 컴퓨터 판독가능 매체는 일시적인 전기 또는 기타 신호들을 전송하는 유선, 무선, 광학, 또는 기타 통신 링크들을 제외한다. 비일시적 컴퓨터 판독가능 매체는 데이터가 영구적으로 저장될 수 있는 매체, 및 재기록가능 광학 디스크나 삭제가능 메모리 장치와 같이 데이터가 저장되고 나중에 덮어 씌어질 수 있는 매체를 포함한다.

여기 사용된 바와 같이, 어떤 특성(숫자, 기능, 동작, 또는 부품과 같은 구성요소 등)을 “가진다”, “가질 수 있다”, “포함한다”, 또는 “포함할 수 있다는 용어들과 문구들은 그 특징의 존재를 나타내는 것으로, 다른 특징들의 존재를 배제하는 것이 아니다. 또한, 여기 사용된 바와 같은 문구들인 “A 또는 B”, “A 및/또는 B 중 적어도 하나”, 또는 “A 및/또는 B의 하나 이상”은 A 및 B의 모든 가능한 조합들을 포함할 수 있다. 예를 들어, “A 또는 B”, “A 및 B 중 적어도 하나”, 그리고 “A 또는 B 중 적어도 하나”는 (1) 적어도 하나의 A를 포함하거나, (2) 적어도 하나의 B를 포함하거나, (3) 적어도 하나의 A 및 적어도 하나의 B를 포함하는 것 모두를 나타낼 수 있다. 또한, 여기 사용된 바와 같은 용어들인 “제1” 및 “제2”는 중요도와 무관하게 다양한 구성요소들을 변경시킬 수 있고, 그 구성요소들을 한정하지 않는다. 그러한 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위해 사용된다. 예를 들어, 제1사용자 장치와 제2사용자 장치는 그 장치들의 순서나 중요도와 관계없이 서로 다른 사용자 장치들을 나타낼 수 있다. 본 개시의 범위에서 벗어나지 않고 제1구성요소가 제2구성요소로 표기될 수 있고, 그 반대의 경우도 있을 수 있다.

어떤 구성요소(가령, 제1구성요소)가 (동작적인 면에서나 통신적인 면에서) 다른 구성요소(가령, 제2구성요소)와 “결합되거나” “연결된다”고 언급되면, 그것은 다른 구성요소에 직접적으로, 또는 제3의 구성요소를 통해 결합되거나 연결되는 것일 수 있다. 이와 달리, 어떤 구성요소(가령, 제1구성요소)가 다른 구성요소(가령, 제2구성요소)와 “직접적으로 결합되거나” “직접적으로 연결된다”고 언급되면, 다른 구성요소(가령, 제3의 구성요소)가 그 구성요소 및 다른 구성요소 사이에 개재되지 않는다.

여기 사용된 바와 같이, "~하는 것으로 구성(또는 설정)된다"라는 문구는 상황에 따라 "~에 적합하다", "~하는 기능을 가진다", "~ 하도록 설계된다", "~ 하도록 적응된다", "~ 하는 것으로 만들어진다", "~할 수 있다"와 같은 다른 말들과 혼용하여 사용될 수 있다. “~하는 것으로 구성(설정)된다”는 말이 반드시 하드웨어 적으로 특정하게 설계된다는 것을 의미하는 것은 아니다. 오히려, “~ 하는 것으로 구성된다”는 말은 어떤 장치가 다른 장치나 부품들과 함께 동작을 수행할 수 있다는 것을 의미할 수 있다. 예를 들어, “A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서”라는 말은 메모리 소자에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써 동작들을 수행할 수 있는 범용 프로세서(가령, CPU 또는 애플리케이션 프로세서), 또는 상기 동작들을 수행하기 위한 전용 프로세서(내장 프로세서 등)를 의미한다.

여기 사용된 용어들과 문구들은 다만 일부 실시예들을 설명하기 위해 제공된 것이며, 본 개시의 다른 실시예들의 범위를 제한하지 않는다. 본 개시에서, 단수의 표현은 문맥상 명백하게 예외가 있지 않은 한, 복수의 표현을 포함한다. 여기에 사용되는 모든 용어들 및 문구들(기술 및/또는 과학 용어들과 문구들을 포함함)은 본 개시의 실시예들이 속하는 기술 분야의 숙련자들에게 전형적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전들에서 정의되는 것들과 같은 용어들과 문구들은 관련 기술과 관련되어 그들의 의미와 일치되는 의미를 가진 것으로 해석되어야 하며, 여기에서 명백히 그렇게 정의되는 것이 아니라면 이상적이거나 과도하게 형식적인 의미로 해석되어서는 안될 것이다. 일부의 경우, 여기에서 정의되는 용어들과 문구들은 본 개시의 실시예들을 배제하는 것으로 해석될 수 있다.

본 개시에 따른 “전자 기기”의 예들에는 스마트 폰, 태블릿 PC(Personal Computer), 모바일 폰, 비디오 폰, 전자북 리더, 데스크탑 PC, 랩탑 컴퓨터, 넷북 컴퓨터, 워크스테이션, PDA(Personal Digital Assistant), 휴대형 멀티미디어 재생기(PMP), MP3 플레이어, 모바일 의료 장치, 카메라, 또는 웨어러블(wearble) 장치(스마트 안경, HMD(Head-Mounted Device), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 액세서리, 전자 문신, 스마트 미러, 또는 스마트 와치 등) 중 적어도 하나가 포함될 수 있다. 전자 기기의 다른 예들에는 스마트 가전 기기가 포함된다. 스마트 가전 기기의 예들로는, 텔레비전, 디지털 비디오 디스크(DVD) 플레이어, 오디오 플레이어, 냉장고, 에어컨, 청소기, 오븐, 마이크로웨이브 오븐, 세탁기, 드라이어, 공기 청정기, 세톱 박스, 홈 오토메이션 제어 패널, 보안 제어 패널, TV 박스(삼성 HomeSync, 애플 TV, 또는 구글 TV 등), 스마트 스피커 또는 통합 디지털 보조장치(삼성 갤럭시 홈, 애플 홈팟(homepod), 또는 아마존 에코 등), 게임 콘솔(XBOX 또는 플레이 스테이션, 또는 닌텐도 등), 전자 사전, 전자 키, 캠코더, 또는 전자 사진 프레임 중 적어도 하나가 포함될 수 있다. 전자 기기의 또 다른 예들에는, 다양한 의료 기기들(가령, 다양한 휴대형 의료 측정기기(혈당 측정기, 심박 측정기, 또는 체온 측정기, MRA(magnetic resource angiography) 장치, MRI(magnetic resource imaging) 장치, CT(computed tomography) 장치, 영상 기기, 또는 초음파 기기 등), 네비게이션 기기, GPS(global positioning system) 수신기, EDR(event data recorder), FDR(flight data recorder), 차량의 인포테인먼트(infotainment) 장치, 항해 전자 기기(항해 네비게이션 장치나 자이로 나침반 등), 항공 전자 기기, 보안 기기, 차량 관련 헤드 유닛, 산업용 혹은 가정용 로봇, ATM(automatic teller's machine), POS(point of sales) 기기들 또는 사물 인터넷(IoT) 장치들(전구, 다양한 센서들, 전기 또는 자기 미터, 스프링클러, 화재 경보기, 온도계, 가로등, 토스터, 피트니스 장비, 온수 탱크, 히터, 또는 보일러 등) 중 적어도 하나가 포함될 수 있다. 전자 기기의 다른 예들로는 가구나 빌딩/구조물, 전자 보드, 전자 서명 수신 장치, 프로젝터, 또는 다양한 계측 기기들(물, 전기, 가스 또는 전자기파 계측 기기들 등) 중 적어도 하나가 포함된다. 본 개시의 다양한 실시예들에 따르면, 전자 기기는 위에서 나열한 장치들 중 하나이거나 그들의 한 조합일 수 있다는 것을 알아야 한다. 본 개시의 일부 실시예들에 따르면, 전자 기기는 플렉시블(flexible) 전자 기기일 수 있다. 여기 개시되는 전자 기기는 위에서 나열한 장치들에 국한되지 않으며, 기술 발전에 따른 새로운 전자 기기들을 포함할 수 있다.

이하의 설명에서는, 본 개시의 다양한 실시예들에 따른 전자 기기들이, 첨부된 도면들을 참조하여 기술될 것이다. 여기서 사용되는 “사용자(user)”라는 용어는 전자 기기를 사용하는 사람이나 다른 장치(인공지능 전자 기기 등)를 나타낼 수 있다.

다른 소정 단어들 및 어구들에 대한 정의가 이 특허 문서 전체에 걸쳐 제공될 수 있다. 당업자는 대부분의 경우들은 아니어도 많은 경우, 그러한 정의들이 그렇게 정의된 단어들 및 어구들의 이전 사용뿐 아니라 이후 사용에도 적용된다는 것을 알 수 있을 것이다.

본 출원의 내용은 어떤 특정 요소, 단계, 또는 기능이 청구범위에 포함되어야 하는 필수 구성 요소를 의미한다고 파악되어서는 안된다. 본 개시의 특허 범위는 오직 청구범위에 의해서만 한정된다.

본 개시 및 그 이점들에 대한 보다 완전한 이해를 위해, 지금부터 첨부된 도면과 함께 이하의 설명이 이루어지며, 도면에서 동일 참조 번호는 동일 부품을 나타낸다.
도 1은 본 개시에 따른 전자 기기를 포함하는 예시적 네트워크 구성을 도시한다.
도 2는 본 개시에 따른 전자 기기를 이용하여 보케(Bokeh) 이미지를 만들기 위한 예시적 프로세스를 도시한다.
도 3은 본 개시에 따라 계산 상의 보케를 이미지에 적용하기 위한 예시적 프로세스를 도시한다.
도 4는 본 개시에 따라 포커스 범위의 심도를 정의하는 터치 입력들을 수신하기 위한 예시적 사용자 인터페이스를 도시한다.
도 5는 본 개시에 따라 적응적 포커스 범위를 결정하는 예시적 방법을 도시한다.
도 6은 본 개시에 따라 착란원(circle of confusion(CoC)) 곡선을 결정하는 예시적 방법을 도시한다.
도 7은 본 개시에 따라 심도 공간에서 시차(disparity) 공간으로의 예시적 변환을 도시한다.
도 8a, 8b, 8c, 및 8d는 본 개시에 따라 시차 히스토그램을 이용한 예시적 멀티 해상도 시차 포커스 범위 개선을 도시한다.
도 9a 및 9b는 본 개시에 따라 어떤 심도 또는 시차 범위에 대해 정의되는 CoC 곡선들의 예시적 비교를 도시한다.
도 10은 본 개시에 따른 계층 결정 및 계층화된 스캐터링의 예시적 방법을 도시한다.
도 11은 본 개시에 따라 시차에 대해 정의된 CoC 곡선에 기반하는 다수의 계층들에 대한 예시적 정의를 도시한다.
도 12는 본 개시에 따른 예시적 커널을 도시한다.
도 13 및 14는 본 개시에 따른 보케 이미지의 최종 구성을 위한 예시적 프로세스를 도시한다.
도 15a 및 15b는 본 개시에 따른 예시적 알파(alpha) 블렌딩 맵들을 도시한다.
도 16은 본 개시에 따라 최종 보케 이미지를 생성하기 위한 이미지 계층들의 예시적 결합을 도시한다.
도 17a 및 17b는 본 개시에 따른 이미지들의 예시적 비교를 도시한다.

이하에서 논의되는 도 1 내지 17b, 그리고 본 개시의 다양한 실시예들은 첨부된 도면들을 참조하여 설명된다. 그러나, 본 개시가 그 실시예들에만 국한되는 것은 아니며, 그에 대한 모든 변경 및/또는 균등물 또는 치환물들 역시 본 개시의 범주에 속한다는 것을 알아야 한다. 명세서 및 도면 전체에 걸쳐 동일하거나 유사한 구성요소들을 나타내기 위해 동일하거나 유사한 참조 부호들이 사용될 수 있다.

위에서 논의된 바와 같이, 많은 모바일 전자 기기들 내의 카메라들은 짧은 초점거리와 작은 조리개 사이즈들과 같이, 이미지 촬영과 관련된 다양한 단점들을 가진다. 그 결과, 모바일 전자 기기들을 사용하여 촬영된 이미지들에 보케와 같은 예술적 효과들을 만들기는 어렵다. 계산 상의(computational) 보케는 모바일 전자 기기들에 의해 촬영된 이미지들에 보케 효과를 재생성하는 것을 추구하지만, 계산 상의 보케가 이미지 내 포커스 범위에 관한 사용자의 의도를 항상 충족시키지는 못한다. 즉, 사용자는 계산 상의 보케를 이용하여 이미지 내에서 어떤 대상들이 흐릿하게 보이고 어떤 대상들이 샤프하게 보일지를 제어할 수 없다.

보통 모바일 전자 기기들을 사용하여 보케 효과를 생성하기 위해, 둘 이상의 카메라들이 한 장면 내 다양한 심도들을 추정하기 위해 사용되며, 보케 이미지는 장면의 샤프한 이미지와 그 심도 맵을 사용하여 계산된다. 심도 맵은 해당 픽셀의 심도에 따라 얼마나 많은 블러링이 샤프한 이미지의 각각의 픽셀에 적용될지를 제어한다. 이상적으로는, 장면의 배경을 형성하는 픽셀들이 더 많이 블러링되고, 장면의 전경이나 장면 내 하나 이상의 포커싱 타깃들을 형성하는 픽셀들은 덜 블러링된다. 그러나, 타깃이 장면 내에 다수의 심도들에 걸쳐 있을 때와 같이, 그 장면 내 타깃의 일부는 포커싱되는 반면 타깃의 다른 일부는 블러링될 수 있는 다양한 상황들이 존재한다.

본 개시는 사용자에 의해 정의되는 포커스 범위에 기반하는 적응적 보케의 기법들을 제공한다. 예를 들어, 그러한 기법들은 두 개의 슬라이딩 바를 가진 그래픽 사용자 인터페이스 등을 제공함으로써, 사용자가 한 장면에 대한 초점의 최대 및 최소 심도들을 정의할 수 있게 한다. 포커스의 정의된 최대 및 최소 심도들에 기반하여, 이 기법들은 최대 및 최소 포커스 심도들 사이의 이미지 데이터는 샤프한 상태로 유지되고 다른 이미지 데이터는 블러링될 수 있게 하는 것을 돕도록 이미지 데이터를 처리한다. 이것은 미학적으로 보다 보기 좋은 보케 이미지들을 생성하도록 도울 수 있다. 이러한 기능은 보통 이하에서 모바일 전자 기기에서 사용된다고 기술되나, 이 기능은 어떤 다른 적절한 유형의 전자 기기를 사용하여 사용될 수도 있다는 것을 알아야 한다.

도 1은 본 개시에 따른 전자 기기를 포함하는 예시적 네트워크 구성(100)을 도시한다. 도 1에 도시된 네트워크 구성(100)의 실시예는 다만 예시를 위한 것이다. 상기 네트워크 구성(100)의 다른 실시예들이 본 개시의 범위를 벗어나지 않고 사용될 수도 있다.

본 개시에 따르면, 전자 기기(101)는 네트워크 구성(100)에 포함된다. 전자 기기(101)는 버스(110), 프로세서(120), 메모리(130), 입출력(I/O) 인터페이스(150), 디스플레이(160), 통신 인터페이스(170), 또는 센서(180) 중 적어도 하나를 포함할 수 있다. 일부 실시예들에서 전자 기기(101)는 상기 구성요소들 중 적어도 하나를 제외하거나 적어도 하나의 다른 구성요소를 추가할 수 있다. 버스(110)는 구성요소들(120 내지 180)을 서로 연결하고 그 구성요소들간의 통신들(예를 들어, 제어 메시지들 및/또는 데이터 등)을 전달하기 위한 회로를 포함한다.

프로세서(120)는 중앙 처리부(CPU), 애플리케이션 프로세서(AP), 또는 통신 프로세서(CP) 중 하나 이상을 포함한다. 프로세서(120)는 전자 기기(101)의 다른 구성요소들 중 적어도 하나에 대한 제어를 수행하고/하거나 통신과 관련한 동작 또는 데이터 처리를 수행할 수 있다. 일부 실시예들에서, 프로세서(120)는 그래픽 프로세서 유닛(GPU)일 수 있다. 다른 무엇보다, 프로세서(120)는 개선된 보케를 가지는 이미지들을 생성하기 위해 이하에서 보다 상세히 논의되는 바와 같이 적어도 하나의 이미지 센서에 의해 촬영된 이미지 데이터를 수신하여 그 이미지 데이터를 처리할 수 있다.

메모리(130)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 예를 들어, 메모리(130)는 전자 장치(101)의 적어도 하나의 다른 구성요소와 관련된 명령들 또는 데이터를 저장할 수 있다. 본 개시에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은 예컨대, 커널(141), 미들웨어(143), API(application programming interface)(145), 및/또는 애플리케이션 프로그램(또는 “애플리케이션”)을 포함한다. 커널(141), 미들웨어(143) 및 API(145) 중 적어도 일부는 운영체제(OS)라고 칭할 수 있다.

커널(141)은 다른 프로그램들(예를 들어, 미들웨어(143), API(145) 또는 애플리케이션(147))에서 구현되는 동작들이나 기능들을 수행하기 위해 사용되는 시스템 자원들(예를 들어, 버스(110), 프로세서(120)나 메모리(130) 등)를 제어하거나 관리할 수 있다. 커널(141)은 미들웨어(143), API(145), 또는 애플리케이션(147)이 전자 장치(101)의 개별 구성요소들에 액세스하여 시스템 자원들을 제어하거나 관리하도록 할 수 있게 하는, 인터페이스를 제공한다. 애플리케이션(147)은 이하에 기술되는 바와 같이 이미지 촬영 및 이미지 처리를 위한 하나 이상의 애플리케이션들을 포함한다. 이러한 기능들은, 각각이 그 기능들 중 하나 이상을 실행하는 다수의 애플리케이션들이나 단일한 애플리케이션에 의해 수행될 수 있다. 미들웨어(143)는 API(145) 또는 애플리케이션(147)이, 예를 들어, 커널(141)과 데이터 통신할 수 있게 하는 릴레이(relay)로서 기능할 수 있다. 복수의 애플리케이션들(147)이 제공될 수 있다. 미들웨어(143)는 복수의 애플리케이션들(147) 중 적어도 하나에 전자 장치(101)의 시스템 자원들(버스(110), 프로세서(120), 또는 메모리(130) 등)을 사용하는 우선순위를 할당하는 것과 같이, 애플리케이션(147)으로부터 수신된 작업 요청들을 제어할 수 있다. API(145)는 애플리케이션(127)이 커널(141)이나 미들웨어(143)로부터 제공되는 기능들을 제어할 수 있게 하는 인터페이스이다. 예컨대, API(145)는 파일 제어, 윈도우 제어, 비디오 처리 또는 텍스트 제어를 위한 적어도 하나의 인터페이스나 기능(명령 등)을 포함한다.

I/O 인터페이스(150)는 사용자나 다른 외부 장치들로부터 입력된 명령들이나 데이터를 전자 장치(101)의 다른 구성요소(들)로 전달할 수 있는 인터페이스 역할을 한다. I/O 인터페이스(150)는 전자 장치(101)의 다른 구성요소들로부터 수신된 명령들이나 데이터를 사용자나 다른 외부 장치로 출력할 수도 있다.

디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 퀀텀 닷 발광 다이오드(QLED) 디스플레이, 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함한다. 디스플레이(160)는 멀티 포커싱 디스플레이와 같은 심도 인식(depth-aware) 디스플레이일 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 다양한 콘텐츠(텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링(hovering) 입력 등을 수신할 수 있다.

예를 들어, 통신 인터페이스(170)는 전자 장치(101) 및 외부 전자 장치(가령, 제1전자 장치(102), 제2전자 장치(104), 또는 서버(106)) 사이에 통신을 설정할 수 있다. 예를 들어, 통신 인터페이스(170)는 무선 또는 유선 통신을 통해 외부 전자 장치와 통신하기 위해 네트워크(162 또는 164)와 연결될 수 있다. 통신 인터페이스(170)는 유선 또는 무선 송수신기(transceiver)이거나, 이미지들과 같은 신호를 송수신하기 위한 어떤 다른 구성요소일 수 있다.

무선 통신은 예를 들어, 셀룰러 무선 프로토콜로서 LTE(long term evolution), LTE-A(long term evolution-advanced), 5세대 무선 시스템(5G), mm(millimeter)-wave 또는 60 Ghz 무선 통신, 무선 USB, CDMA(code division multiple access), WCDMA(wideband code division multiple access), UMTS(universal mobile telecommunication system), WiBro(wireless broadband), 또는 GSM(global system for mobile communication) 중 적어도 하나를 사용할 수 있다. 유선 통신은 예를 들어, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), RS-232(Recommended Standard 232) 또는 POTS(Plain Olod Telephone Service) 중 적어도 하나를 포함할 수 있다. 네트워크(162 또는 164)는 컴퓨터 네트워크(LAN(local area network) 또는 WAN(wide area network) 등), 인터넷, 또는 전화 네트워크와 같은 적어도 하나의 통신 네트워크를 포함한다.

전자 기기(101)는 물리량을 계측하거나 전자 기기(101)의 활성화 상태를 검출할 수 있고, 측정되거나 검출된 정보를 전기적 신호로 변환할 수 있는 하나 이상의 센서들(180)을 더 포함한다. 예를 들어, 하나 이상의 센서들(180)은 장면들에 대한 이미지들을 촬영하기 위해 하나 이상의 카메라들 또는 다른 이미지 센서들을 포함한다. 센서(들)(180)은 터치 입력을 위한 하나 이상의 버튼들, 제스처 센서, 자이로스코프 또는 자이로 센서, 공기압 센서, 자기 센서 또는 자력계, 가속 센서 또는 가속계, 그립 센서, 근접 센서, 컬러 센서(RGB(Red Green Blue) 센서 등), 생체 물리학적 센서, 온도 센서, 습도 센서, 광 센서, 자외선(UV) 센서, 근전도 검사(EMG) 센서, 뇌전도(EEG) 센서, 심전도(ECG) 센서, 적외선(IR) 센서, 초음파 센서, 홍채 센서, 또는 손지문 센서 를 포함할 수 있다. 센서(들)(180)는 하나 이상의 가속계, 자이로스코프, 및 기타 구성요소들을 포함할 수 있는 관성 측정부를 더 포함할 수 있다. 또한, 센서(들)(180)은 그 안에 포함된 센서들 중 적어도 하나를 제어하기 위한 제어 회로를 포함할 수 있다. 이 센서(들)(180) 중 어느 하나가 전자 기기(101) 내에 위치될 수 있다. 하나 이상의 카메라들은 이하에서 논의되는 것과 같이 이미지들을 촬영할 수 있고, 적어도 하나의 플래쉬(190)와 함께 사용될 수 있다. 플래쉬(190)는 하나 이상의 LED들과 같이, 전자 기기(101)에 의해 촬영된 이미지에서 사용할 조명을 생성하도록 구성되는 장치를 나타낸다.

제1외부 전자 기기(102)나 제2외부 전자 기기(104)는 웨어러블 장치이거나 전자 기기-탑재형 착용 장치(예를 들어, HMD)일 수 있다. 전자 기기(101)가 전자 기기(102)(예를 들어, HMD) 내에 탑재될 때, 전자 기기(101)는 통신 인터페이스(170)를 통해 전자 기기(102)와 통신할 수 있다. 전자 기기(101)는 전자 기기(102)와 직접 연결되어, 별도의 네트워크 개입 없이 전자 기기(102)와 통신할 수 있다. 전자 기기(101)는 또한, 하나 이상의 카메라들을 포함하는 눈 안경과 같은 증강 현실(augmented reality) 웨어러블 장치일 수도 있다.

제1 및 제2외부 전자 기기들(102 및 104)과 서버(106)는 각각 전자 기기(101)와 동일하거나 상이한 타입의 장치일 수 있다. 본 개시의 소정 실시예들에 따르면, 서버(106)는 하나 이상의 서버들의 그룹을 포함한다. 또한, 본 개시의 소정 실시예들에 따르면, 전자 기기(101) 상에서 실행되는 동작들 전체 또는 일부는 하나 또는 여러 개의 다른 장치들(가령, 전자 기기들(102 및 104) 또는 서버(106)) 상에서 실행될 수도 있다. 또한, 본 개시의 소정 실시예들에 따르면, 전자 기기(101)가 자동적으로, 혹은 요청에 의해 어떤 기능이나 서비스를 수행해야 할 때, 전자 기기(101)는 그 기능이나 서비스를 자체적으로나 추가적으로 실행하는 대신에, 다른 장치(가령, 전자 기기들(102 및 104) 또는 서버(106))에 요청하여 그와 관련된 적어도 일부 기능들을 수행하도록 할 수 있다. 다른 전자 기기(가령, 전자 기기들(102 및 104) 또는 서버(106))는 요청된 기능들 또는 추가 기능들을 실행하고 실행 결과를 전자 기기(101)로 전송할 수 있다. 전자 기기(101)는 수신된 결과를 그대로, 또는 추가적으로 처리함으로써 요청된 기능이나 서비스를 제공할 수 있다. 이러한 목적으로, 예를 들어 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기법이 사용될 수 있다. 도 1은 전자 기기(101)가 네트워크(162 또는 164)를 통해 외부 전자 기기(104)나 서버(106)와 통신하는 통신 인터페이스(170)를 포함함을 보여주지만, 전자 기기(101)는 본 개시의 일부 실시예에 따라 별도의 통신 기능 없이 독립적으로 동작될 수도 있다.

서버(106)는 전자 기기(101)(또는 그것의 적절한 부분집합)과 동일하거나 유사한 구성요소들(110 내지 180)을 포함할 수 있다. 서버(106)는 전자 기기(101) 상에서 구현되는 동작들(또는 기능들) 중 적어도 하나를 수행함으로써 전자 기기(101) 구동을 지원할 수 있다. 예를 들어, 서버(106)는 전자 기기(101)에서 구현되는 프로세서(120)를 지원할 수 있는 프로세싱 모듈이나 프로세서를 포함할 수 있다.

도 1은 예시적 전자 기기(101)를 포함하는 네트워크 구성(100)의 일 예를 도시하고 있으나, 도 1에 대해 다양한 변형이 있을 수 있다. 예를 들어, 네트워크 구성(100)은 임의의 적절한 배열로 임의의 개수의 각각의 구성요소를 포함할 수 있다. 일반적으로, 컴퓨팅 및 통신 시스템들은 광범위한 구성들로 나타나며, 도 1은 본 개시의 범위를 어떤 특정 구성으로 한정하지 않는다. 또한, 도 1은 본 특허 문서에서 개시된 다양한 특성들이 사용될 수 있는 하나의 동작 환경을 도시하고 있지만, 그러한 특성들은 어떤 다른 적절한 시스템에서 사용될 수도 있다.

도 2는 본 개시에 따른 전자 기기를 이용하여 보케 이미지를 만들기 위한 예시적 프로세스(200)를 도시한다. 설명의 편의를 위해, 도 2에 도시된 프로세스(200)는 도 1의 전자 기기(101)를 사용하여 수행되는 것으로 기술된다. 그러나 도 2에 도시된 프로세스(200)가 어떤 다른 적절한 전자 기기를 통해, 그리고 어떤 적절한 시스템 내에서도 사용될 수 있을 것이다.

도 2에 도시된 바와 같이, 전자 기기(101)는 두 카메라들 또는 다른 이미지 센서들을 포함한다. 이 예에서, 이미지 센서들은 광각 카메라(205) 및 초광각(ultra-wide) 카메라(210)를 포함한다. 카메라들(205 및 210)은 고해상도 이미지들을 촬영하기 위해 사용될 수 있고, (이름이 의미하듯이) 카메라(210)에 의해 촬영된 이미지들은 카메라(205)에 의해 촬영된 이미지들보다 넓은 각도를 가질 수 있다. 일부 실시예들에서, 카메라(205)는 4,096 픽셀들 x 3,072 픽셀들의 해상도를 가진 이미지들을 촬영할 수 있으며, 카메라(210)는 4,608 픽셀들 x 3,456 픽셀들의 해상도를 가진 이미지들을 촬영할 수 있다. 그러나, 각각의 카메라(205 및 210)가 서로 상이하거나 상이하지 않을 수 있는 또 다른 적절한 해상도를 가질 수도 있다는 것을 알아야 한다.

동작 중에, 카메라들(205 및 210)은 동일한 대상에 포커싱된 상태에서 동시에 같은 장면의 이미지들을 촬영하지만, 카메라들(205 및 210)이 살짝 상이한 관점으로 이미지들을 촬영하도록 사용될 수 있다. 그 이미지들은, 이미지들을 자르고(crop) 정렬(align)하도록 동작하는 정류(rectification) 기능(215)을 사용하여 처리된다. 이것으로 동일한 시계(field of view)를 가진 정렬된 이미지들이 생성된다. 정류 기능(215)에 의해 생성된 정렬된 이미지들은 임의의 적절한 해상도를 가질 수 있다. 일부 실시예들에서, 정류 기능(215)은 2,048 픽셀들 x 1,536 픽셀들의 해상도를 가지는 이미지들을 생성하나, 다른 해상도들도 사용될 수 있다. 정류 기능(215)은 이미지들을 정류하거나 정렬하기 위한 임의의 적절한 기법을 사용할 수 있다. 예를 들어, 정류 기능(215)은 이미지들을 정렬하기 위해 블록 검색(block search)로부터 글로벌 ORB(Oriented FAST and Rotated BRIEF) 특성들 및 로컬 특성들을 사용할 수 있다.

시차 검출 기능(220)은 정렬된 이미지를 처리하여 시차 맵(235)을 생성한다. 시차 맵(235)은 픽셀 단위로(pixel-by-pixel) 정렬된 이미지들 간 픽셀 차들을 식별하고, 그에 따라 정렬된 이미지들과 동일한 해상도를 가질 수 있다. 다수의 카메라들(205 및 210)이 동시에 이미지들을 촬영할 때, 그러한 픽셀 차들은 (이상적으로는) 카메라들(205 및 210)의 서로 다른 위치들만으로 야기된다(이를 일부 경우들에서 양안 시차(binocular disparity)라 칭할 수 있다). 시차 맵(235)에서, 카메라들(205 및 210)에 의해 촬영된 이미지들에서 장면의 전경에 있는 대상들은 보다 큰 시차를 가지며, 카메라들(205 및 210)에 의해 촬영된 이미지들에서 배경에 있는 대상들은 보다 적은 시차를 가진다. 그에 따라, 시차는 심도에 반비례하고, 시차 맵(235) 또한 영상화되고 있는 장면에 대한 심도 맵으로서 기능할 수 있다. 시차 검출 기능(220)은 다수의 이미지들을 사용하여 장면의 시차나 심도를 식별하기 위해 임의의 적절한 기법을 이용할 수 있다. 일부 실시예들에서, 시차 검출 기능(220)은 이미지들에서의 시차 또는 심도를 인식하기 위해 훈련될 수 있는 하나 이상의 신경망 계층들과 같은 기계 학습 알고리즘을 이용하여 구현될 수 있다.

계산 상의 보케 기능(225)은 시차 맵(235)과 카메라들로부터의 이미지들 중 적어도 하나를 사용하여, 한 장면에 대해 하나 이상의 블러링된(흐릿한) 영역들을 가지는 촬영 이미지를 나타내는 최종 보케 이미지(230)를 생성한다. 사용자에 의해 정의될 수 있는 포커스의 심도 범위에 기반하여 보케 효과를 제공하기 위해, 계산 상의 보케 기능(225)은 이하에서 기술되는 바와 같이 동작할 수 있다. 예를 들어, 계산 의상 보케 기능(225)은 카메라(205)에 의해 촬영된 이미지를 취하고, 정의된 포커스 범위의 심도를 가진 이미지 데이터가 샤프하도록 하고, 포커스 범위의 정의된 심도 외부의 이미지 데이터는 블러링할 수 있다. 여기서 보케 이미지(230)는 4,096 픽셀들 x 3,072 픽셀들(다른 해상도들도 사용될 수 있음)과 같이, 카메라(205)에 의해 촬영된 이미지와 동일한 해상도를 가질 수 있다.

도 2에 도시된 각각의 기능(215, 220, 225)은 어떤 적절한 방식으로 구현될 수 있다. 예를 들어, 일부 실시예들에서, 하나 이상의 기능들(215, 220, 225)는 전자 기기(101)의 프로세서(120)에 의해 실행되는 하나 이상의 소프트웨어 애플리케이션들이나 다른 소프트웨어 명령어들을 이용하여 구현 또는 지원될 수 있다. 다른 실시예들에서, 하나 이상의 기능들(215, 220, 225)은 전용 하드웨어 구성요소들을 사용하여 구현 또는 지원될 수 있다. 일반적으로 전자 기기의 동작들은 어떤 적절한 하드웨어나 어떤 적절한 하드웨어 및 소프트웨어/펌웨어 명령어들의 조합을 이용하여 수행될 수 있다.

도 2가 전자 기기를 사용하여 보케 이미지를 생성하기 위한 프로세스(200)의 일 예를 도시하나, 도 2에 대해 다양한 변화들이 만들어질 수 있다. 예를 들어, 전자 기기는 임의의 다른 요구되는 기능들을 프로세스(200)의 일부 또는 보다 큰 이미지 처리 알고리즘의 일부로서 수행할 수 있다. 특정한 예로서, 카메라들(205, 210)로부터의 이미지들은 다른 적절한 전처리 동작들을 거칠 수 있으며, 보케 이미지(225)는 임의의 적절한 후처리 동작들을 거칠 수 있다.

도 3은 본 개시에 따라 계산 상의 보케를 이미지에 적용하기 위한 예시적 프로세스(300)를 도시한다. 도 3에 도시된 프로세스(300)는 예를 들어, 도 2의 프로세스(200)에서 사용된 계산 상 보케 기능(225)에 대한 하나의 가능한 구현예를 나타낼 수 있다. 설명의 편의를 위해, 도 3에 도시된 프로세스(300)는 도 1의 전자 기기(101)를 사용하여 수행되는 것으로 기술된다. 그러나 도 3에 도시된 프로세스(300)가 어떤 다른 적절한 전자 기기를 통해, 그리고 어떤 적절한 시스템 내에서도 사용될 수 있을 것이다.

도 3에 도시된 바와 같이, 프로세스(300)는 카메라(205)로부터의 이미지, 시차 검출 기능(220)으로부터의 시차 맵(235), 및 하나 이상의 스크린 터치 지점들(이하에서 기술되며 포커스 범위의 심도를 정의하기 위해 사용될 수 있음)과 같은 다양한 입력들을 수신한다. 프로세스(300)는 다양한 기능들을 수행하여 최종 보케 이미지(230)를 생성한다. 포커스 범위 결정 단계(310)는 여기서 다양한 입력들을 수신하며, 사용자가 전자 기기(101)의 터치 스크린과의 상호작용을 통해 포커스 범위의 심도를 조작할 수 있게 한다. 포커스 범위 결정 단계(310)의 예시적 동작들을 도 4 및 5를 참조하여 이하에서 기술할 것이다.

착란원(CoC: circle of confusion) 곡선 결정 단계(320)는 포커스 범위 결정 단계(310)에 의해 제공되는 포커스 범위의 심도를 시차 포커스 범위로 변환하여 CoC 곡선을 생성한다. 이하에서 기술하는 바와 같이, CoC 곡선은 카메라(205)로부터의 이미지에 적용될 블러링의 정도를 정의하기 위해 사용될 수 있다. CoC 곡선 결정 단계(320)의 예시적 동작들을 도 6, 7, 8a 내지 8d, 및 9a 및 9b를 참조하여 이하에서 기술할 것이다.

계층 결정 단계(330)는 카메라(205)로부터의 이미지와 관련된 다수의 계층들을 정의하기 위해 CoC 곡선을 사용하며, 여기서 각각의 계층은 장면이나 이미지 내 시차의 범위를 나타낸다. 이는 CoC 곡선을 사용하고 카메라(205)로부터의 이미지 내 시차와 포커스 범위의 심도와 관련된 최대 및 최소 시차들을 비교함으로써 수행될 수 있다. 계층 결정 단계(330)의 예시적 동작들을 도 10 및 11를 참조하여 이하에서 기술할 것이다.

다양한 단계들에서의 스캐터링 단계(340)는 식별된 계층들을 처리하여 카메라(205)로부터의 이미지 안에 보케 효과를 생성한다. 예를 들어, 다양한 계층들에서의 스캐터링 단계(340)는 이미지 데이터를 다양한 방식으로 블러링하기 위해 다양한 사이즈의 커널들을 각각의 계층에 적용할 수 있다. 다양한 계층들에서의 스캐터링 단계(340)는 또한, 계층들을 결합하기 위해 사용될 알파 블렌딩(alpha blending) 맵들을 생성할 수 있다. 다양한 계층들에서의 스캐터링 단계(340)의 예시적 동작들을 도 10 및 12를 참조하여 이하에서 기술할 것이다.

다양한 계층들의 블렌딩 단계(350)는 다양한 계층들에서의 스캐터링 단계(340)에 의해 제공되는 블렌딩 맵들에 기반하여, 다양한 계층들에서의 스캐터링 단계(340)에 의해 제공되는 다양한 계층들을 블렌딩한다. 예를 들어, 다양한 계층들의 블렌딩 단계(350)는 카메라(205)로부터의 거리를 줄이고, 이미지 데이터를 계층 별로 누적하여 최종 보케 이미지(230)를 생성하기 위해, 계층들을 블렌딩할 수 있다. 다양한 계층들의 블렌딩 단계(350)의 예시적 동작들을 도 13 및 14를 참조하여 이하에서 기술할 것이다.

도 3에 도시된 각각의 단계(310, 320, 330, 340, 350)은 어떤 적절한 방식으로 구현될 수 있다. 예를 들어, 일부 실시예들에서, 하나 이상의 단계들(310, 320, 330, 340, 350)은 전자 기기(101)의 프로세서(120)에 의해 실행되는 하나 이상의 소프트웨어 애플리케이션들이나 다른 소프트웨어 명령어들을 이용하여 구현 또는 지원될 수 있다. 다른 실시예들에서, 하나 이상의 단계들(310, 320, 330, 340, 350)은 전용 하드웨어 구성요소들을 사용하여 구현 또는 지원될 수 있다. 일반적으로 전자 기기의 동작들은 어떤 적절한 하드웨어나 어떤 적절한 하드웨어 및 소프트웨어/펌웨어 명령어들의 조합을 이용하여 수행될 수 있다.

도 3이 이미지에 대해 계산 상의 보케를 적용하기 위한 프로세스(300)의 일 예를 도시하나, 도 3에 대해 다양한 변화들이 만들어질 수 있다. 예를 들어, 전자 기기는 임의의 다른 요구되는 기능들을 프로세스(300)의 일부 또는 보다 큰 이미지 처리 알고리즘의 일부로서 수행할 수 있다.

도 4는 본 개시에 따라 포커스 범위의 심도를 정의하는 터치 입력들을 수신하기 위한 예시적 사용자 인터페이스(400)를 도시한다. 사용자 인터페이스(400)는 예를 들어, 사용자로부터 포커스 범위의 심도를 획득하기 위해 사용될 수 있고, 포커스 범위의 심도는 포커스 범위 결정 단계(310)로의 입력으로서 제공될 수 있다. 설명의 편의를 위해, 도 4에 도시된 사용자 인터페이스(400)는 도 1의 특정 타입의 전자 기기(101)(말하자면, 스마트폰)에 의해 제공되는 것으로 기술된다. 그러나 도 4에 도시된 사용자 인터페이스(400))가 어떤 다른 적절한 전자 기기를 통해, 그리고 어떤 적절한 시스템 내에서도 사용될 수 있을 것이다.

도 4에 도시된 바와 같이, 사용자 인터페이스(400)는 전자 기기(101)의 터치스크린 상에 표시되고, 미리보기(preview) 스크린(410) 및 다양한 컨트롤들(415, 420, 425)을 포함한다. 미리보기 스크린(410)은 전자 기기(101)의 적어도 하나의 카메라(205, 210)에 의해 촬영되는 장면에 대한 하나 이상의 미리보기 이미지들을 표시할 수 있다. 어떤 경우, 사용자는 미리보기 스크린(410) 상에서 사용자가 계속해서 포커싱을 맞추고 싶어하는 대상이나 영역과 관련된 특정 지점(405)을 터치할 수 있다. 미리보기 스크린(410)은 또한, 사용자의 터치 지점, 이미지 내 대상과 관련된 대상 등급(class), 및 컨트롤들(415, 420)에 기반하여 추정된 보케 효과를 가진 미리보기 이미지를 표시할 수 있다.

컨트롤들(415, 420)은 사용자가 미리보기 이미지 내 포커스 범위의 심도를 조작할 수 있게 한다. 예를 들어, 컨트롤(415)은 슬라이드 바나 다른 입력 메커니즘을 나타낼 수 있으며, 그것은 사용자가 해당 바를 좌측이나 우측으로 이동시키는 등의 방식으로 포커스의 최대 심도(430)를 조정할 수 있게 한다. 마찬가지로, 컨트롤(420)은 슬라이드 바나 다른 입력 메커니즘을 나타낼 수 있으며, 그것은 사용자가 해당 바를 좌측이나 우측으로 이동시키는 등의 방식으로 포커스의 최소 심도(435)를 조정할 수 있게 한다. 상술한 바와 같이, 그리고 이하에서 보다 상세히 기술하는 바와 같이, (포커스의 최대 심도(430) 및 포커스의 최소 심도(435)에 의해 정의된 것과 같은) 포커스 범위의 심도 내 이미지 데이터는 보케 이미지(230) 안에서 샤프할 수 있고, 포커스 범위의 심도 밖의 이미지 데이터는 보케 효과를 제공하기 위해 블러링될 수 있다. 이런 방식으로, 사용자는 이미지의 어느 영역이 포커스를 맞춘 상태로 유지되고 어느 영역이 블러링되어야 하는지를 상호작용하는 방식으로 정의하고 제어할 수 있다. “오케이(OK)” 버튼(425)과 같은 다른 제어 버튼들은 사용자가 조정된 이미지를 받을 수 있게 한다.

도 4가 포커스 범위의 심도를 정의하는 터치 입력들을 수신하기 위한 사용자 인터페이스(400)의 일 예를 도시하나, 도 4에 대해 다양한 변화들이 만들어질 수 있다. 예를 들어, 다양한 컨트롤들이 사용자가 포커스 범위의 심도를 정의할 수 있게 하는 어떤 다른 방식으로 구현될 수 있다.

도 5는 본 개시에 따라 적응적 포커스 범위를 결정하는 예시적 방법(500)을 도시한다. 이 방법(500)은 예를 들어, 사용자 인터페이스(400)를 통해 수신된 입력에 기반하여 포커스 범위 결정 단계(310)의 일부로서 수행될 수 있다. 설명의 편의를 위해, 도 5에 도시된 방법(500)은 도 1의 전자 기기(101)에 의해 수행되는 것으로 기술된다. 그러나 도 5에 도시된 방법(500)은 어떤 다른 적절한 사용자 인터페이스를 가진 어떤 다른 적절한 전자 기기를 통해, 그리고 어떤 적절한 시스템 내에서도 사용될 수 있을 것이다.

도 5에 도시된 바와 같이, 단계 510에서, 사용자 인터페이스(400)는 장면 내 포커스 위치를 정의하는 미리보기 스크린(410) 상의 터치 지점(405)을 수신한다. 이것은 장면 내 포커스 위치 D가 식별될 수 있게 하며, 그 포커스 위치에서의 포커스 심도가 식별될 수 있다. 포커스 위치에서의 포커스 심도는 그 포커스 위치에서 식별된 시차 등에 기반하여 임의의 적절한 방식으로 결정될 수 있다.

단계 520에서, 포커스 위치 D에 놓인 대상에 기반하여 대상 등급이 식별된다. 다양한 대상 등급들은 다양한 대상들에 대한 평균 심도들을 정의하며, 전자 기기(101)는 (패턴 인식 등을 사용함으로써) 포커스 위치 D에 놓인 대상을 식별하고, 그런 다음 그 대상의 대상 등급을 식별할 수 있다. 예를 들어, 포커스 위치 D에 놓인 대상은 사람을 나타낼 수 있고, 사람인 대상 등급은 사람의 평균 두께가 약 0.55 미터(약 1.8 피트)라고 정의할 수 있다. 다양한 대상 등급들이 사람, 차량, 나무, 동물, 음식, 및 기타 대상들과 같은 다수의 다양한 대상들에 기반하여 정의될 수 있다.

단계 530에서, 장면 내 포커스 범위의 초기 심도가, 식별된 대상 등급과 관련된 굵기 및 포커스 위치 D에 기반하여 결정된다. 예를 들어, 전자 기기(101)는 포커스의 최소 심도(435)를 (포커스 위치 D - 앞 굵기 값 T1)으로 설정할 수 있고, 전자 기기(101)는 포커스의 최대 심도(430)를 (포커스 위치 D + 뒤 굵기 값 T2)으로 설정할 수 있다. 이것은 다음과 같이 표현될 수 있다:

(1)

(2)

여기서, T1 및 T2의 값들은 포커스 위치 D에서의 장면 내 대상의 평균 굵기가 포커스의 초기 범위에 포함되도록 선택될 수 있다. 포커스 위치 D에서의 장면 내 대상이 어떤 관련 대상 등급도 갖지 않으면, T1 및 T2의 값들은 디폴트 값들로 설정될 수 있다는 것을 알아야 한다. 실질적으로, 이것은 전자 기기(101)가 포커스 위치 D 및 대상의 평균 심도에 기반하여 포커스 범위의 초기 심도가 얼마가 될지를 추정할 수 있게 한다.

단계 540에서, 보케 미리보기가 생성되어 사용자 인터페이스(400)를 통해 제공된다. 예를 들어, 전자 기기(101)는 장면의 이미지를 생성할 수 있고, 이때 그 이미지는 포커스 범위의 초기 심도를 사용하여 생성되는 것과 같은 보케 효과를 포함한다. 단계 550에서, 사용자가 미리보기를 수용하는지 포커스 범위의 심도를 더 조정하고 싶어하는지 여부에 대한 판단이 이루어진다. 사용자가 미리보기를 수용하면, 단계 560에서 사용자는 OK 버튼(425)을 누를 수 있고, 최종 보케 이미지(230)를 생성 시 사용할 포커스 범위의 심도가 저장된다. 사용자가 미리보기를 수용하지 않으면, 사용자는 단계 570에서 하나 또는 두 개의 컨트롤들(415, 420)을 사용자의 선호대로 조작하며, 프로세스는 단계 540으로 돌아가서 수정된 설정에 기반하여 보케 미리보기를 업데이트한다.

포커스 범위의 심도를 적응적으로 정의하기 위한 사용자의 능력은 (다른 무엇보다) 이미지가 배경에만, 또는 (심도의 필드(field of depth)가 클 때 등에) 장면의 배경 및 전경 둘 모두에 보케 효과를 포함하게 할 수 있다. 종래의 카메라에서, 장면 내 서로 다른 심도들로 두 사람의 이미지를 촬영하고자 할 때, 포커스는 앞에 있는 사람에 맞춰질 수 있고, 뒤에 있는 사람은 블러링될 것이다. 두 사람 모두를 포커싱에 맞추어 촬영하기 위해, 심도의 필드를 증가시키도록 조리개가 줄어들어, 배경이 아주 흐려지지는 않고 이미지의 전경은 샤프하게 유지되는 결과를 가져온다. 본 개시에 따르면, 포커스의 최소 및 최대 심도들은 독립적으로 제어되어, 사용자가 배경의 블러링 레벨과 전경 블러링 레벨 둘 모두를 조정할 수 있게 한다. 결과적으로 큰 필드의 심도는 종래의 DSLR 카메라들이 생성하기에는 물리적으로 불가능하다.

도 5는 적응적 포커스 범위를 결정하는 방법(500)의 일 예를 도시하고 있으나, 도 5에 대해 다양한 변형이 있을 수 있다. 예를 들어 일련의 단계들이 도시되었지만, 도 5의 다양한 단계들이 중복되거나 나란히 발생하거나, 상이한 순서로 일어나거나 여러 번 발생할 수도 있다.

도 6은 본 개시에 따라 CoC 곡선을 결정하는 예시적 방법(600)을 도시한다. 이 방법(600)은 예를 들어, CoC 곡선 결정 단계(320)의 일부로서 수행될 수 있다. 설명의 편의를 위해, 도 6에 도시된 방법(600)은 도 1의 전자 기기(101)에 의해 수행되는 것으로 기술된다. 그러나 도 6에 도시된 방법(600)은 어떤 다른 적절한 사용자 인터페이스를 가진 어떤 다른 적절한 전자 기기를 통해, 그리고 어떤 적절한 시스템 내에서도 사용될 수 있을 것이다.

도 6에 도시된 바와 같이, 단계 610에서, 전자 기기(101)는 도 5의 방법(500)을 사용하여 생성될 수 있는 장면 내 포커스 범위의 적응적 심도를 수신한다. 단계 620에서, 적응적 포커스 범위는 심도 포커스 범위에서 시차 포커스 범위로 변환된다. 이것은 시차가 심도에 반비례하기 때문에 임의의 적절한 방식으로 수행될 수 있다. 심도 포커스 범위를 시차 포커스 범위로 변환하기 위한 하나의 예시적 기법을 도 7을 기준으로 이하에서 설명할 것이다. 이하에서 기술되는 바와 같이, 시차 포커스 범위는 (포커스의 최소 심도(435)와 관련된) 최대 시차

및 (포커스의 최대 심도(430)와 관련된) 최소 시차

와 관련된다.

단계 630에서, 시차 포커스 범위는 시차 히스토그램 내 다중 해상도 검색을 통해 개선된다. 즉, 최대 시차

및 최소 시차

의 정확한 값들이 시차 히스토그램을 사용하여 변경될 수 있다. 이에 대한 하나의 예를 도 8a, 8b, 8c 및 8d를 기준으로 이하에서 기술된다.

단계 640에서, 현재의 장면의 CoC 곡선은 개선된 시차 포커스 범위를 사용하여 결정된다. CoC 곡선은 여기서, 사용자의 포커스 범위의 심도를 만족시키고, 실세계의 광학을 이용해서는 물리적으로 모사가 불가능한 파라미터 설정치들을 가진 가상 카메라를 생성하기 위해 사용된다. 이에 대한 하나의 예를 도 9a 및 9b를 기준으로 이하에서 기술된다.

도 6은 CoC 곡선을 결정하는 방법(600)의 일 예를 도시하고 있으나, 도 6에 대해 다양한 변형이 있을 수 있다. 예를 들어 일련의 단계들이 도시되었지만, 도 6의 다양한 단계들이 중복되거나 나란히 발생하거나, 상이한 순서로 일어나거나 여러 번 발생할 수도 있다.

도 7은 본 개시에 따라 심도 공간에서 시차 공간으로의 예시적 변환을 도시한다. 이 기법은 예를 들어, 도 6의 방법(600)의 단계(620)의 일부로서 사용될 수 있다. 위에서 주지한 바와 같이, 적응적 포커스 범위의 심도에 기반하여 보케 이미지를 생성하기 위해, 포커스 범위의 심도가 심도 공간에서 시차 공간으로 변환된다. 시차는 심도에 반비례하므로, 최대 심도는 최소 시차가 되고 그 반대의 경우도 성립한다.

도 7에 도시된 바와 같이, 지점(705)(X라 표기됨)은 좌측 카메라(710)(O라 표기됨) 및 우측 카메라(715)(O'라 표기됨)에 의해 촬영될 타깃 대상에서의 한 지점을 나타낸다. 이 카메라들(710, 715)은 상술한 두 카메라들(205, 210)을 나타낼 수 있다. 카메라들(710, 715)이 정확히 같은 방향으로부터 이미지들을 촬영하지 않기 때문에, 카메라(710)에 의해 촬영된 이미지들 내 지점(705)의 위치와 카메라(715)에 의해 촬영된 이미지들 내 지점(705)의 위치에 시차가 존재한다(두 카메라들(710, 715)이 여기서 바로 위를 가리킨다고 가정함). 따라서, 지점(705)은 위치(720)(x라 표기됨)에서 카메라(710)의 시각축으로부터 오프셋되고, 위치(720)(x'라 표기됨)에서 카메라(715)의 시각축으로부터 오프셋된다. 이 예에서, 카메라들(710, 715)의 초점거리들(730)(F라 표기됨)은 동일하다고 가정하고, 베이스라인(740)(B라 표기됨)은 카메라들(710, 715) 간 거리를 나타낸다.

이러한 것에 기반하여, 카메라들(710, 715)에서 지점(705)까지의 심도(750)가 도 7의 베이스라인(740) 및 x와 x'의 거리들을 사용하여 산출될 수 있다. 보다 구체적으로, 심도(750)는

로서 산출될 수 있다. 여기서 식

는 지점(705)에 대한 이미지 내 시차를 나타내고, 따라서 포인트(705)와 관련된 시차는 BF / d라고 표현될 수 있고, 이때 d는 심도(750)를 나타낸다.

여기서 알 수 있다시피, 포커스의 최대 및 최소 심도들(430, 435)은 지점(705) 뒤와 앞에 위치한다. 이것은 최종 보케 이미지(230) 안에서 지점(705)과 관련된 대상이 초점이 맞춰지도록 돕는다. 이것은 또한, 시차 값들의 범위가 포커스의 최대 및 최소 심도들(430, 435)에 기반하여 결정될 수 있다는 것을 의미한다. 예를 들어, 최대 시차

는

로 산출될 수 있고, 최소 시차

는

로서 산출될 수 있다. 이 방식으로 산출된 최대 및 최소 시차 값들은 단계 620에서 산출된 초기 시차 값들을 나타낼 수 있고, 이 시차 값들은 이하에서 기술하는 바와 같이 단계 630 중에 개선될 수 있다.

도 7은 심도 공간에서 시차 공간으로의 변환에 대한 일 예를 도시하고 있으나, 도 7에 대해 다양한 변형이 있을 수 있다. 예를 들어, 도 7이 반드시 해당 축척비율 대로 그려진 것은 아니며, 다만 심도 정보가 어떻게 시차 정보로 변환될 수 있는지에 대한 일 예를 도시하기 위한 것이다.

도 8a, 8b, 8c, 및 8d는 본 개시에 따라 시차 히스토그램을 이용한 예시적 멀티 해상도 시차 포커스 범위 개선을 도시한다. 위에서 주지한 바와 같이, 초기 시차

및 최소 시차

은 시차 히스토그램에서 다중 해상도 검색을 이용하여 개선될 수 있다. 이것이 필요하거나 바람직할 수 있는 이유는 원래의 최대 및 최소 시차 값들이 서로 다른 포커스 심도들과 관련되어 있다고 하더라도 단일 지점(도 7의 지점(705))까지의 심도에 기반하여 추정되기 때문이다.

도 8a에 도시된 바와 같이, 시차 히스토그램(805)은 앞서 전자 기기(101)에 의해 산출된 시차 값들을 사용하여 생성되었다. 시차 히스토그램(805)에서, 시차 값들은 32 개의 빈들(bins)에 위치하며, 이것은 (시차 값들이 0-255의 범위에 있을 수 있다고 가정할 때) 시차 값들의 원래 해상도의 1/8을 나타낸다. 중심 빈의 일 측의 초기 위치(810)에서 시작하여, 히스토그램(805)의 좌측으로 검색이 이루어져, 히스토그램(805) 내 로컬 최소치나 골(valley)을 식별하며, 그것은 이 예시에서는 빈(815)에서 발생한다. 여기서 초기 위치(810)는 초기 최소 시차

를 포함하는 빈을 나타낸다. 마찬가지로, 중심 빈의 다른 측의 초기 위치(820)에서 시작하여, 히스토그램(805)의 우측으로 검색이 이루어져, 히스토그램(805) 내 로컬 최소치나 골(valley)을 식별하며, 그것은 이 예에서 빈(825)에서 발생한다. 여기서 초기 위치(820)는 초기 최대 시차

를 포함하는 빈을 나타낸다.

도 8b에 도시된 바와 같이, 시차 히스토그램(830)은 앞서 전자 기기(101)에 의해 산출된 시차 값들을 사용하여 생성되었다. 시차 히스토그램(830)에서, 시차 값들은 64 개의 빈들에 위치하며, 이것은 (시차 값들이 0-255의 범위에 있을 수 있다고 가정할 때) 시차 값들의 원래 해상도의 1/4을 나타낸다. 히스토그램(830)에서 로컬 최소치 또는 골(빈 835)을 식별하기 위해 앞서 식별된 빈(815)에서 시작하여 히스토그램(830)의 좌측으로의 검색이 이루어지고, 히스토그램(830)에서 로컬 최소치 또는 골(빈 840)을 식별하기 위해 앞서 식별된 빈(825)에서 시작하여 히스토그램(830)의 우측으로의 검색이 이루어진다.

도 8c에 도시된 바와 같이, 시차 히스토그램(845)은 앞서 전자 기기(101)에 의해 산출된 시차 값들을 사용하여 생성되었다. 시차 히스토그램(845)에서, 시차 값들은 128 개의 빈들에 위치하며, 이것은 (시차 값들이 0-255의 범위에 있을 수 있다고 가정할 때) 시차 값들의 원래 해상도의 1/2을 나타낸다. 히스토그램(845)에서 로컬 최소치 또는 골(빈 850)을 식별하기 위해 앞서 식별된 빈(835)에서 시작하여 히스토그램(845)의 좌측으로의 검색이 이루어지고, 히스토그램(845)에서 로컬 최소치 또는 골(빈 855)을 식별하기 위해 앞서 식별된 빈(840)에서 시작하여 히스토그램(845)의 우측으로의 검색이 이루어진다.

도 8d에 도시된 바와 같이, 시차 히스토그램(860)은 앞서 전자 기기(101)에 의해 산출된 시차 값들을 사용하여 생성되었다. 시차 히스토그램(860)에서, 시차 값들은 256 개의 빈들에 위치하며, 이것은 (시차 값들이 0-255의 범위에 있을 수 있다고 가정할 때) 시차 값들의 원래 해상도를 나타낸다. 히스토그램(860)에서 로컬 최소치 또는 골(빈 865)을 식별하기 위해 앞서 식별된 빈(850)에서 시작하여 히스토그램(860)의 좌측으로의 검색이 이루어지고, 히스토그램(860)에서 로컬 최소치 또는 골(빈 870)을 식별하기 위해 앞서 식별된 빈(855)에서 시작하여 히스토그램(860)의 우측으로의 검색이 이루어진다. 여기서 식별된 두 개의 빈들(이 예에서 빈들(865 및 870))은 최소 시차

및 최대 시차

의 새 값들을 나타낸다.

도 8a, 8b, 8c, 및 8d는 본 개시에 따라 시차 히스토그램을 이용한 멀티 해상도 시차 포커스 범위 개선의 일 예를 도시하나, 이러한 도면들에 대해 다양한 변경이 이루어질 수 있다. 예를 들어, 검색 중에 식별된 특정 히스토그램들 및 특정 빈들은 예시를 위한 것일 뿐, 처리되는 이미지 데이터에 기반하여 가변될 수 있다. 또한, 각각의 히스토그램에서는 좌측 또는 우측 검색 중에 식별된 골이 존재한다고 가정하였으나, 그러한 상황이 반드시 일어나는 것은 아닐 수 있다(이 경우, 좌측 또는 우측 검색이 시작된 현재의 빈이 다음 히스토그램(존재 시) 내 시작 위치로 사용될 수 있다).

도 9a 및 9b는 본 개시에 따라 어떤 심도 또는 시차 범위에 대해 정의되는 CoC 곡선들의 예시적 비교를 도시한다. 특히, 도 9a는 DSLR 카메라와 같은 종래의 카메라와 관련된 CoC 곡선을 도시하며, 도 9b는 본 개시의 가르침에 따라 생성될 수 있는 CoC 곡선을 도시한다.

착란원(CoC)은 한 지점으로부터의 빛이 이미지 평면 상에 형성하는 모양을 의미한다. 그 빛이 이미지 평면 상에서 포커스가 맞춰지면, 해당 지점으로부터의 빛 역시 이미지 평면 상에서 하나의 지점으로 나타낸다. 빛이 이미지 평면 상에서 포커스를 벗어나면, 그 지점으로부터의 빛은 이미지 평면 상에서 하나의 원으로 나타나고(이미지 평면이 빛의 경로에 직교한다고 가정함), 그 원의 크기는 그 빛이 얼마나 포커스를 벗어나는지에 따라 좌우된다. 결과적으로, 보다 큰 착란원은 보다 많은 블러링을 가져오고, 보다 작은 착란원은 보다 적은 블러링을 가져온다. 이러한 효과가 카메라(205)로부터의 이미지 내 여러 픽셀들에 대해 다양한 착란원들을 정의함으로써 본 개시에서 기술되는 이미징 기능에 사용될 수 있으며, 그에 따라 그러한 픽셀들에 다양한 정도의 블러링을 제공하여 원하는 보케 효과를 얻을 수 있다.

도 9a에 도시된 바와 같이, 표준 DSLR 카메라에 대한 CoC 곡선(905)이 심도에 대해 정의된다. 여기에서 알 수 있다시피, CoC 곡선(905)은 비선형이며, 하나의 포커스 위치(910)가 존재한다. 심도가 포커스 위치(910) 너머로 증가할 때, CoC 곡선(905)이 빠르게 상승하나 평탄해지기 시작한다. 포커스 위치(910) 앞에서 심도가 감소할 때, CoC 곡선(905)은 가파르게(이 예에서 거의 수직선처럼) 상승한다. 이것은 통상적인 DSLR 카메라에서 포커스 범위가 제어될 수 없고, 그 결과 전경은 흐릿함이 매우 빠르게 증가하는 반면 배경은 흐릿함이 좀 더 완만하게 증가한다는 것을 나타낸다.

도 9b에 도시된 바와 같이, CoC 곡선(915)이 CoC 곡선 결정 단계(320)에 의해 시차에 대해 정의될 수 있다. 이 예에서, 개선된 최소 시차(920) 및 개선된 최대 시차(925)는 상술한 히스토그램 기반의 접근방식을 이용하여 식별되는 값들을 나타낼 수 있다. 여기서 알 수 있다시피, CoC 곡선(915)은 세 개의 선형 구간들을 가지는 구간 선형곡선을 포함하며, 한 선형 구간은 개선된 최소 시차(920)를 향해 감소하고, 한 선형 구간은 개선된 시차들(920 및 925) 사이에서 0으로 고정되고, 한 선형 구간은 개선된 최대 시차(925)에서부터 증가한다. 개선된 최소 시차(920) 및 개선된 최대 시차(925)는 여기서, 착란원이 제로이므로 이미지가 포커싱된 상태로 유지될 수 있는 포커스 위치들의 범위를 정의하며, 이것은 종래의 광학을 이용해서는 달성될 수 없는 것이다. 이에 기반하여, 전자 기기(101)는 이미지 내 여러 픽셀들에 다양한 착란원들을 적용하여 그 픽셀들을 블러링하게 하고, 원하는 포커스 범위의 심도 안에 있는 다른 픽셀들은 샤프한 상태로 유지될 수 있게 하는 것이 가능하다. 또한 CoC 곡선(915)은 전경과 배경 모두가 포커스 범위에서 멀어질수록 흐릿함이 선형적으로 증가하는 이미지를 파생한다.

일부 실시예들에서, 특정 이미지에 사용되는 CoC 곡선(915)은 다음과 같이 결정될 수 있다. CoC 곡선(915)이 이미지에 적용될 때, CoC는 포커스 범위의 적응적 심도를 달성하기 위해 (심도 맵 대신) 시차 맵에 기반하여 적용된다. 이를 감안하여 CoC 곡선이 ≤ 1이면(즉, 착란원이 한 픽셀 미만이면), 해당 픽셀은 샤프하다. 그렇지 않고 CoC 곡선이 > 1이면(즉, 착란원이 한 픽셀보다 크면), 해당 픽셀은 CoC 곡선에 의해 정의되는 것과 같은 어떤 정도로 블러링된다. 특정 이미지에 대한 CoC 곡선은 다음과 같은 수식을 이용하여 산출될 수 있다:

(3)

CoC는 픽셀들의 착란원의 지름을 나타내고, f는 가상 카메라의 초점거리를 나타내고, s는 카메라 렌즈 및 이미징 평면 사이의 거리를 나타내고, N은 조리개의 f-stop 넘버를 나타내고(N = f / aperture diameter를 의미), r은 픽셀 사이즈를 나타내고, F는 광각 카메라(205)의 초점거리를 나타내며, B는 카메라들(205, 210) 간 베이스라인 거리를 나타낸다. 수식 (3)에서, s, r, F, 및 B의 값들은 상수들이고, 통상적으로 공장 교정(factory calibration) 중에 결정된다. 또한 f 및 N은 여기서 개선된 시차 값들(920, 925)에 의해 정의된 범위 내의 시차들을 가지는 모든 픽셀들은 샤프하도록 산출되며, 이는 그러한 픽셀들에 대해 CoC ≤ 1임을 의미한다. 그렇게 함으로써, 이것은 사진사들이 DSLR 카메라 상에서 포커스 지점을 유지하면서 초점거리 및 조리개 설정들을 수동적으로 조정할 때 그들이 취하는 프로세스를 모사한다.

일부 실시예들에서, 이하의 수식 (4) 및 (5)가 f 및 N의 해를 구하기 위해 사용된다:

(4)

(5)

f와 N의 해가 구해지면, CoC 곡선이 수식 (3)을 사용하여 산출될 수 있다. 이 프로세스를 따름으로써, 파라미터 설정들이 실세계의 광학을 통해서는 물리적으로 복제되는 것이 불가능하지만, 그 파라미터 설정들이 적응적 보케 효과를 생성하기 위해 사용자의 포커스 범위의 심도를 만족시키는 가상 카메라가 생성된다. 다른 실시예들에서, 특정 이미지에 사용되는 CoC 곡선은 CoC 곡선에 의해 정의된 값들을 하나의 배열로 샘플링하고 저역 통과 필터를 적용하는 등에 의해 더 처리될 수 있다. 도식적으로 말하면, 이것은 도 9b의 CoC 곡선(915)의 시차 값들(920, 925) 주변의 엣지들을 반올림하는 것에 해당할 수 있다.

도 9a 및 9b는 심도나 시차 범위에 대해 정의되는 CoC 곡선들의 한 비교예를 도시하고 있으나, 도 9a 및 9b에 대한 다양한 변형이 있을 수 있다. 예를 들어, 도 9a 및 9b에 도시된 곡선들, 포커스 위치들, 및 범위들은 다만 예일 뿐이며, 특정 CoC 곡선들의 예들을 도시하려는 것일 뿐이다. 어떤 특정 이미지에 적용되는 CoC 곡선은 여기에서 보여진 것에서 가변될 수 있다. 또한, CoC 곡선(915)이 반드시 선형 구간들을 사용하여 형성될 필요는 없다.

도 10은 본 개시에 따른 계층 결정 및 계층화된 스캐터링의 예시적 방법(1000)을 도시한다. 이 방법(1000)은 예를 들어, 계층 결정 단계(330) 및 다양한 계층들에서의 스캐터링 단계(340)의 일부로서 수행될 수 있다. 설명의 편의를 위해, 도 10에 도시된 방법(1000)은 도 1의 전자 기기(101)에 의해 수행되는 것으로 기술된다. 그러나 도 10에 도시된 방법(1000)은 어떤 다른 적절한 사용자 인터페이스를 가진 어떤 다른 적절한 전자 기기를 통해, 그리고 어떤 적절한 시스템 내에서도 사용될 수 있을 것이다.

도 10에 도시된 바와 같이, 단계 1005에서, 처리되고 있는 이미지와 관련된 다수의 계층들이 CoC 곡선(915)에 기반하여 결정된다. 예를 들어, 서로 다른 계층들은 CoC 곡선(915)의 서로 다른 구간들과 관련될 수 있다. 계층들을 정의하기 위한 하나의 예시적 기법들이 도 11을 참조하여 이하에서 제시된다. 단계 1010에서, 고해상도 입력 이미지가 누적 버퍼 안에 다운 샘플링된다. 이것은 저해상도 이미지를 생성하기 위해 카메라(205)로부터의 이미지를 다운 샘플링하는 것을 포함할 수 있다. 여기서, 계층화된 스캐터링이 입력 이미지보다 낮은 해상도에서 수행되어 계산 절감을 지원할 수 있으나, 이러한 것이 반드시 필요한 것은 아니다. 예를 들어, 전자 기기(101)가 넓은 고해상도 이미지

를 촬영한다고 가정할 수 있다. 전자 기기(101)는 이 고해상도 이미지

를 저해상도 이미지

로 다운 샘플링할 수 있다. 누적 버퍼(A로 표기됨)는 그 저해상도 이미지

를 저장하기 위해 사용될 수 있다.

단계 1015에서, 가상 카메라로부터의 거리 측면에서 가장 먼 계층(N으로 표기)이 선택되고, 그 가장 먼 계층은 장면 내 가장 먼 배경에 대응해야 한다. 다른 계층들은 가상 카메라로부터의 거리가 줄면서 줄어드는 수치적 순서에 따라 번호가 매겨질 수 있다. 따라서, 이 예에서 계층들은 가장 먼 것부터 가장 가까운 것의 순서로 처리된다. 여기서 각각의 계층은 상이한 시차들의 범위, 그에 따라 CoC 곡선(915)의 서로 다른 구간들을 나타낸다.

단계 1020에서, 현재의 계층에서 그 계층에 대한 특정 커널을 이용하여 스캐터링이 수행된다. 각각의 특정 계층에 적용되는 커널은 그 계층과 관련된 CoC 곡선(915)의 부분에 기반한다. 이 예가 도 12를 참조하여 이하에서 설명된다. 현재의 계층에 대한 커널의 적용은 (현재의 계층에 사용되는 커널이 개선된 시차 값들(920, 925) 사이의 시차들과 관련된 것이 아니라면) 해당 계층과 관련된 이미지 데이터의 블러링을 가져올 수 있다. 어느 경우든, 이 단계의 출력은 이미지 계층 I(p)이다.

단계 1025에서, 알파 블렌딩 맵

이 현재의 계층에 대해 산출된다. 단계 1030에서, 이미지 계층 I(p)는 알파 블렌딩 맵

에 기반하여 이전 계층과 누적 버퍼 A 안으로 블렌딩된다. 여기서 이전 계층은 누적 버퍼 A의 현재의 콘텐츠를 나타내며, 상기 블렌딩의 결과들이 누적 버퍼 A 안에 저장된다(이전 콘텐츠를 덮어쓴다). 알파 블렌딩은 각각의 픽셀 위치에 대해 α 값이 정의되고, 한 이미지 내 픽셀 값이 α 만큼 가중되고, 다른 이미지의 픽셀 값은 (1-α) 만큼 가중되며, 가중된 픽셀 값들은 새 이미지 내 새 픽셀을 계산하기 위해 합산되는 블렌딩의 한 종류를 말한다. 처리되고 있는 최초 계층에 대해, 이 단계는 생략될 수 있고, 그 최초 계층의 콘텐츠가 누적 버퍼 A에 저장될 수 있다는 것을 알아야 한다.

단계 1030에서, 현재의 계층이 처리 중인 마지막 두 계층들 중 하나인 경우, 누적 버퍼의 현재의 콘텐츠 및 현재의 알파 블렌딩 맵이 출력된다. 이것은 이하에서 논의되는 바와 같은 이미지 데이터의 처리를 지원한다. 단계 1040에서, 현재의 계층이 처리될 마지막 계층을 나타내는지 여부에 대한 판단이 이루어진다 그렇지 않은 경우, 다음으로 가장 가까운 계층이 선택되고, 프로세스는 다른 커널을 사용하여 스캐터링을 수행하기 위해 단계 1020으로 돌아간다 본질적으로, 프로세스가 여기에서 진행되면서, 누적 버퍼는 각각의 반복 중에 업데이트되어 가장 먼 것에서 가장 가까운 곳으로 이동하는 모든 이전 계층들의 블렌딩된 버전을 저장한다.

현재의 계층이 처리될 마지막 계층을 나타내는 경우, 이미지 데이터의 두 집합들(마지막 계층 및 마지막에서 두 번째 계층 둘 모두에 대한 누적 버퍼의 콘텐츠) 및 두 알파 블렌딩 맵들이 생성되어 출력되었다. 단계 1045에서, 이 데이터가 업 샘플링된다. 여기서 Layer0는 처리된 마지막 계층에 대한 누적 버퍼로부터의 이미지 데이터를 나타내고, Alpha0는 처리된 마지막 계층에 대한 알파 블렌딩 맵을 나타내며, Layer1은 처리된 마지막에서 두 번째 계층에 대한 누적 버퍼로부터의 이미지 데이터를 나타내고, Alpha1은 처리된 마지막에서 두 번째 계층에 대한 알파 블렌딩 맵을 나타낸다. 이 데이터는 단계 1050에서 생성되는 고해상도의 최종 보케 이미지(230)에 대한 생성을 지원하기 위해 업 샘플링될 수 있다. 이것이 도 13 및 14를 참조하여 이하에서 더 설명된다.

도 10은 계층 결정 및 계층화된 스캐터링에 대한 방법(1000)의 일 예를 도시하고 있으나, 도 10에 대해 다양한 변형이 있을 수 있다. 예를 들어 일련의 단계들이 도시되었지만, 도 10의 다양한 단계들이 중복되거나 나란히 발생하거나, 상이한 순서로 일어나거나 여러 번 발생할 수도 있다.

도 11은 본 개시에 따라 시차에 대해 정의된 CoC 곡선(915)에 기반하는 다수의 계층들에 대한 예시적 정의를 도시한다. 여기에서 다수의 계층들은 예를 들어, 계층 결정 단계(330)에 의해 식별될 수 있고, 다양한 계층들에서의 스캐터링 단계(340)에 의해 사용될 수 있다.

위에서 주지한 바와 같이, CoC 곡선(915)은 디스패래티 값들에 대해 정의되고, 다양한 시차 값들의 범위들이 전자 기기에 의해 처리되는 다양한 계층들과 관련될 수 있다. 다양한 계층들은 상술한 것과 같은 계층화된 스캐터링을 통해, 가변하는 블러링 정도가 이미지에 적용될 수 있게 한다. 이러한 특정 예에는 4 개의 계층들(1100, 1110, 1120, 및 1130)이 정의되어 있다. 특히, 계층(1100)은 장면의 전경을 나타내고 개선된 시차(925)보다 큰 시차들과 관련되며, 계층(1110)은 장면의 원하는 포커스 범위의 심도를 나타내고 개선된 시차들(920, 925) 사이의 시차들과 관련된다. 또한, 개선된 시차(920)보다 적은 시차들이 두 계층들(1120 및 1130)과 관련되며, 그 두 계층은 각각 장면 내 가까운 배경 및 먼 배경을 나타낸다.

상술한 방법(1000)에서, 계층(1130)과 관련된 이미지 데이터를 취하여 그 이미지 데이터를 계층(1120)과 관련된 이미지 데이터와 알파 블렌딩함으로써 장면의 최종 보케 이미지(230)가 생성될 수 있다. 그 결과에 따른 이미지 데이터가 누적 버퍼 안에 저장되며, 계층(1110)과 관련된 이미지 데이터와 알파 블렌딩된다. 그 결과에 따른 이미지 데이터가 누적 버퍼 안에 저장되며, 그 결과에 따른 이미지 데이터 및 관련된 알파 블렌딩 맵이 이 방법(1000)의 Layer1 및 Alpha1으로서 출력된다. 그 결과에 따른 이미지 데이터는 또한, 계층(1100)과 관련된 이미지 데이터와 알파 블렌딩되고, 그 결과에 따른 이미지 데이터 및 관련된 알파 블렌딩 맵이 이 방법(1000)의 Layer0 및 Alpha0로서 출력된다. 따라서, 상술한 바와 같이, 가장 먼 것에서 가장 가까운 것까지의 거리에 대한 순서로 계층들이 처리되며, 이미지 데이터는 계층들이 처리됨에 따라 그 순서로 블렌딩된다.

도 11은 CoC 곡선에 기반하는 다수의 계층들에 대한 정의의 일 예를 도시하고 있으나, 도 11에 대해 다양한 변형이 있을 수 있다. 예를 들어, CoC 곡선은 4 개의 계층들보다 적거나 많게 분할될 수 있다. 예를 들어, 배경이 임의 개의 계층들로 분할될 수 있고, 전경이 임의 개의 계층들로 분할될 수 있다.

도 12는 본 개시에 따른 예시적 커널(1200)을 도시한다. 여기에서 커널(1200)은 예를 들어, 처리되고 있는 이미지 데이터에 블러링을 제공하기 위해 다양한 계층들에서의 스캐터링 단계(340)에 의해 사용될 수 있다. 여기에서 커널(1200)은 위치 (0,0)의 중심 픽셀 주변의 착란원 내 다양한 픽셀들에 가중치들을 적용하며, 여기서 그 가중치들은 중심 픽셀 주변 픽셀들의 위치들에 기반하여 가변 할 수 있다. 본질적으로, 이것은 커널 계수들(가중치들)을 따라 이웃 픽셀들에 자신의 세기를 전달하는 각각의 픽셀로서 보여질 수 있으며, 따라서 각각의 픽셀은 다수의 소스들(인접 픽셀들)로부터 다수의 세기들을 수신한다. 특정 픽셀의 최종 세기는 들어오는 모든 세기들의 가중된 평균으로서 정의된다. 커널(1200)은 여기서, 이웃하는 위치 (i, j)에서 픽셀과 관련된 가중치를

로서 나타내며, 착란원 내 모든 픽셀들과 관련된 가중치들은 동일할 수도 동일하지 않을 수도 있다.

일부 실시예들에서, 커널(1200)의 사이즈는 CoC 곡선들(915)에 의해 정의된 것과 같은 CoC 값들에 비례한다. 따라서, CoC 곡선(915) 내 보다 큰 값들은 보다 큰 커널들(1200)과 관련되고, CoC 곡선(915) 내 보다 작은 값들은 보다 작은 커널들(1200)과 관련된다. 특정 실시예들에서, 균일한 커널(1200)(균일한 가중치들을 가지는 커널)이 가장 먼 계층(도 11의 계층(1130))에 적용될 수 있고, 합리적(rational) 커널(1200)이 다른 모든 계층들에 적용될 수 있다. 특정 계층에 대한 합리적 커널(1200)은 다음과 같은 수식들을 이용하여 산출된 가중치들을 포함할 수 있다:

(6)

(7)

여기서 모든 계수들은 정규화되어, 더해져서 값 1이 된다. 이러한 정의들이 주어질 때, 이하의 공식이 사용되어 (상술한 단계(1020)에서 수행된 것과 같이) 특정 스캐터링의 결과로서 이미지 데이터를 생성할 수 있다:

(8)

최종 보케 이미지(230)를 생성하기 위해, 위에서 주지한 바와 같이, 그리고 도 13 및 14를 참조하여 이하에서 보다 상세하게 설명하는 바와 같이 다양한 계층들이 뒤에서 앞으로의 방식으로 함께 블렌딩된다. 또한 이하에서 기술하는 바와 같이, 계층 스캐터링 동작 중에 알파 블렌딩 맵들이 생성되어, 후광 효과(halo effect)와 같은 아티팩트들(artifacts)을 줄이거나 제거하는 최종 보케 이미지(230)를 생성한다. 일부 실시예들에서, 다음과 같은 수식을 이용하여 각각의 알파 블렌딩 맵이 특정 계층에 대해 생성된다:

(9)

.

도 12는 커널(1200)의 일 예를 도시하고 있으나, 도 12에 대해 다양한 변형이 있을 수 있다. 예를 들어, 위에서 주지한 바와 같이, 커널(1200)의 사이즈는 CoC 곡선(915)에 의해 정의된 것과 같은 관련된 시차에 기반하여 가변될 수 있다.

도 13 및 14는 본 개시에 따른 보케 이미지의 최종 구성을 위한 예시적 프로세스(1300)를 도시한다. 이 프로세스(1300)는 예를 들어, 다양한 계층들을 블렌딩하는 단계(350)의 일부로서 수행될 수 있다. 설명의 편의를 위해, 도 13에 도시된 프로세스(1300)는 도 1의 전자 기기(101)에 의해 수행되는 것으로 기술된다. 그러나 도 13에 도시된 프로세스(1300)는 어떤 다른 적절한 사용자 인터페이스를 가진 어떤 다른 적절한 전자 기기를 통해, 그리고 어떤 적절한 시스템 내에서도 사용될 수 있을 것이다.

도 13에 도시된 바와 같이, 여기서 이미지 데이터의 계층화된 블렌딩은 (계층(1130)과 같은) 가장 먼 계층 또는 (계층들 1120 및 1130과 같이) 가장 먼 계층들이 블렌딩된 버전을 나타내는 스캐터링 배경(1305)으로 시작된다. 따라서, 스캐터링 배경(1305)은 이미지 데이터의 모든 이전 계층들의 누적된 합을 나타낸다. 스캐터링 배경(1305)을 이미지 계층(1315)(Layer1)과 블렌딩하기 위해 이미지 계층(1315)(Layer1)과 관련된 알파 맵(1310)(Alpha1)이 생성 및 사용되어, 블렌딩된 이미지 데이터를 생성한다. 이전 계층들로부터 블렌딩된 이미지 데이터를 스캐터링 전경(1325)(Layer0) 내 이미지 데이터와 블렌딩하기 위해 스캐터링 전경(1325)과 관련된 알파 맵(1320)(Alpha0)이 생성 및 사용된다.

여기서 이미지 계층(1315)은 카메라(205)로부터의 이미지와 같은, 고해상도 이미지를 나타낼 수 있다. 이것은 스캐터링 배경(1305)이 카메라(205)로부터의 이미지의 배경에 보케 효과를 생성하기 위해 사용될 수 있게 하고, 스캐터링 전경(1325)이 카메라(205)로부터의 이미지의 전경에 보케 효과를 생성하는데 사용될 수 있게 한다. 이런 식으로, 스캐터링 개념이 뒤에서 앞으로 순서에 맞춰 계층화된 방식으로 적용되어 필요 시 전경 계층이 배경 계층을 덮어 쓰도록 한다. 또한, 알파 블렌딩 계층들에 의해, 많은 계산 상의 보케 이미지들에 존재하는 후광 효과들이 감소되거나 제거된다.

도 14는 최종 보케 이미지(30)를 생성하기 위해 도 13에 도시된 것과 같이 처리될 수 있는 이미지 데이터를 생성하는 데 상술한 프로세싱이 어떻게 사용될 수 있는지를 도시한다. 이 예에서, 이미지 데이터는 상술한 바와 같은 다운 샘플링 후에 처리되며, 이미지 데이터는 장면 내 감소하는 거리의 순서로 처리된다. 여기서, (가장 먼 계층을 나타내는) 이미지 데이터(1405)는 알파 블렌딩 맵(1415)에 기반하여 (다음으로 가장 먼 계층을 나타내는) 이미지 데이터(1410)와 블렌딩되어 이미지 데이터(1420)를 생성한다. 이미지 데이터(1420)는 알파 블렌딩 맵(1430)에 기반하여 이미지 데이터(1425)와 블렌딩되어 이미지 데이터(1435)를 생성한다. 이미지 데이터(1435)는 알파 블렌딩 맵(1445)에 기반하여 이미지 데이터(1440)와 블렌딩되어 이미지 데이터(1450)를 생성한다. 여기서 생성된 다양한 결과들은 이후 고해상도 영역으로 업 샘플링된다. 이것이 다양한 계층들(1305, 1315, 1325)과 블렌딩 맵들(1310, 1320)을 생성하고, 이들이 상술한 바와 같이 사용되어 최종 보케 이미지(230)를 생성하는데 사용될 수 있다.

다른 실시예들에서, 단일 해상도 스캐터링이 수행될 수 있다. 즉, 모든 계층들을 다운 샘플링하고 스캐터링을 수행하고 그 출력 계층들을 업 샘플링하는 단계들을 수행하는 대신, 그 계층들이 고해상도로 렌더링될 수 있다. 또 다른 실시예들에서, 피라미드 스캐터링이 수행될 수 있다. 즉, 모든 계층들에 걸쳐 균일한 고해상도 이미지

를 다운 샘플링하는 대신, 각각의 계층이 개별적으로 스케일 다운(scaled down) 될 수 있다. 예를 들어, 먼 배경 계층은 입력 이미지의 1/16 해상도로 다운 샘플링될 수 있고, 다른 계층들은 입력 이미지의 1/4 해상도로 다운 샘플링될 수 있다. 본 개시의 범위에서 벗어나지 않고 다른 스캐터링 동작들이 일어날 수도 있다는 것을 알아야 한다.

도 13 및 14는 보케 이미지의 최종 구성을 위한 프로세스의 일 예를 도시하지만, 도 13 및 14에 대해 다양한 변화가 이루어질 수 있다. 예를 들어, 여기서는 소정 수의 계층들이 사용되지만, 다른 수의 계층들도 사용될 수 있다.

도 15a 및 15b는 본 개시에 따른 예시적 알파 블렌딩 맵들을 도시한다. 예를 들어, 도 15a는 도 13 및 14의 맵(1320)에 대응할 수 있는 알파 블렌딩 맵(1510)을 도시하며, 도 15b는 도 13 및 14의 맵(1310)에 대응할 수 있는 알파 블렌딩 맵(1520)을 도시한다. 이러한 예들에서, 화이트 값들은 한 이미지로부터의 픽셀들이 최대로 가중되어야 한다는 것을 나타낼 수 있고, 블랙 값들은 한 이미지로부터의 픽셀들은 최소로 가중되어야 한다는 것을 나타낼 수 있다(그러나 그 반대의 경우도 있을 수 있다). 그레이스케일(grayscale) 값들은 픽셀들의 부분적인(fractional) 조합들을 나타낼 수 있다.

상술한 프로세스에서, 알파 블렌딩 맵(1510)은 이미지의 타깃(이 예에서 어떤 사람)에 대해 고해상도 이미지

로부터의 이미지 데이터가 유지되게 하며, 이것은 최종 이미지를 그 영역들에서 샤프하게 유지시킨다. 그러나, 가장 먼 계층들을 이용하여 생성된 배경 데이터는 그대로 유지되어, 앞서의 블렌딩 동작들에서 도입된 블러링(흐릿함)이 유지될 수 있게 한다. 마찬가지로, 알파 블렌딩 맵(1520)은 전경 이미지 데이터가 블러링되게 하고 앞선 블렌딩 동작들에서 생성된 이전 이미지 데이터를 덮어쓰도록 할 수 있으나, 그것이 타깃 또는 배경에 대한 고해상도 이미지

로부터의 이미지 데이터를 덮어쓰지는 않는다.

도 15a 및 15b는 알파 블렌딩 맵들의 예들을 도시하지만, 도 15a 및 15b에 대해 다양한 변화가 이루어질 수 있다. 예를 들어, 여기에서 보여지는 알파 블렌딩 맵들은 다만 예들일 뿐으로, 촬영되는 특정 이미지 데이터에 기반한다. 다른 알파 블렌딩 맵들이 다른 이미지 데이터에 대해 생성될 수도 있을 것이다.

도 16은 본 개시에 따라 최종 보케 이미지를 생성하기 위한 이미지 계층들의 예시적 결합을 도시한다. 도 16에 도시된 바와 같이, 전경 계층(1610)은 알파 블렌딩 맵(1520) 및 상술한 바와 같이 가장 가까운 계층(들)에 대해 수행되는 스캐터링에 의해 생성되는 전경 이미지 데이터의 조합을 나타낸다. 포커스 계층(1620)은 고해상도 이미지

및 알파 블렌딩 맵(1510)의 조합을 나타낸다. 배경 계층(1630)은 상술한 바와 같이 가장 먼 계층(들)에 대해 수행된 스캐터링에 의해 생성된 배경 이미지 데이터, 및 알파 블렌딩 맵들(1510, 1520)에서 화이트로 식별되지 않은 영역들의 조합을 나타낸다. 이러한 계층들(1610, 1620, 1630)은 조합되어 최종 보케 이미지(1640)를 생성할 수 있다.

도 16은 최종 보케 이미지를 생성하기 위한 이미지 계층들의 조합의 일 예를 도시하고 있으나, 도 16에 대해 다양한 변형이 있을 수 있다. 예를 들어, 여기서는 이미지 데이터의 3 개의 계층들이 보여지지만, 다른 수의 이미지 데이터 계층들이 사용될 수도 있다.

도 17a 및 17b는 본 개시에 따른 이미지들의 예시적 비교를 도시한다. 특히, 도 17a는 DSLR 카메라를 이용하여 생성된 보케 이미지(1710)를 도시하고, 도 17b는 본 특허 문서에서 기술되는 방식들을 사용하여 생성된 보케 이미지(1720)를 도시한다.

도 17a에서 볼 수 있다시피, 어떤 사람이 자신의 팔을 뒤를 향해 뻗어 그 손이 이미지(1710)를 촬영하는 카메라에서 심도면에서 더 멀리 멀어지게 한다. 그 결과, 그 사람의 얼굴은 일반적으로 포커싱이 맞춰지나 그 사람의 손은 그렇지 않다. 이는 DSLR 카메라의 광학이 포커스 범위의 심도를 제공할 수 없기 때문이다. 도 17b에서 볼 수 있다시피, 사용자가 그 사람의 얼굴과 손을 포함하는 포커스 범위의 심도를 정의한 후 이미지(1720)가 생성될 수 있다. 상술한 기법들을 사용할 때, 사람의 얼굴과 사람의 손 모두가 이미지(1720) 안에서 포커싱이 맞춰지나, 배경은 블러링 상태로 유지되어 보케 효과를 제공한다.

도 17a 및 17b는 이미지들의 비교에 대한 일 예를 도시하지만, 도 17a 및 17b에 대해 다양한 변화가 이루어질 수 있다. 예를 들어, 이 이미지들은 다만, 상술한 기법들을 사용하여 달성될 수 있는 효과의 유형을 나타내기 위한 것일 뿐이다. 물론, 다른 장면들과 상술한 기법들의 다른 구현예들이 여기에서 보여진 것들과 상이한 결과들을 만들어 낼 수 있다.

본 개시는 다양한 실시예들을 참조하여 기술되었지만, 당업자에게 다양한 변경 및 수정안이 제안될 수 있다. 본 개시는 그러한 변경 및 수정이 첨부된 청구범위 안에 드는 것으로 포괄하도록 되어 있다.

Claims

적어도 하나의 프로세서를 이용하여, 한 장면에 대한 포커스 범위의 심도를 결정하는 단계;
상기 적어도 하나의 프로세서를 이용하여, 상기 포커스 범위의 심도에 기초해 상기 장면과 관련된 복수의 계층들을 결정하되, 상기 복수의 계층들 중에서 각각의 계층은 시차(disparity) 값들의 상이한 범위를 가진 이미지 데이터와 관련되는 단계; 및
상기 적어도 하나의 프로세서를 이용하여, 상기 복수의 계층들을 블렌딩하여, 전경 및 배경에 보케(Bokeh) 효과를 가지는 이미지와 상기 포커스 범위의 심도 내에서 포커싱된(focused) 이미지 데이터를 생성하는 단계를 포함하고,
상기 복수의 계층들은 상기 전경과 관련된 제1계층, 상기 포커스 범위의 심도와 관련된 제2계층, 및 상기 배경과 관련된 제3계층 중 적어도 하나를 포함하는 방법.
제1항에 있어서, 상기 포커스 범위의 심도를 결정하는 단계는
포커스의 최대 심도를 정의하는 사용자 입력을 수신하는 단계; 및
포커스의 최소 심도를 정의하는 사용자 입력을 수신하는 단계를 포함하는 방법.
제1항에 있어서, 상기 복수의 계층들을 결정하는 단계는
포커스의 최대 심도 및 포커스의 최소 심도를 최대 시차 및 최소 시차로 변환하는 단계;
상기 최대 시차 및 상기 최소 시차에 기반하여 착란원(CoC: circle of confusion) 곡선을 생성하는 단계; 및
상기 CoC 곡선의 상이한 부분들에 기반하여 상기 복수의 계층들을 결정하는 단계를 포함하는 방법.
제3항에 있어서,
상기 제1계층은 상기 최대 시차 이상의 시차 값들에 대해 정의된, 상기 CoC 곡선의 일부와 관련되고,
상기 제2계층은 상기 최대 시차 및 상기 최소 시차 사이의 시차 값들에 대해 정의된, 상기 CoC 곡선의 일부와 관련되고,
상기 제3계층은 상기 최소 시차 이하의 시차 값들에 대해 정의된, 상기 CoC 곡선의 일부와 관련되는 방법.
제1항에 있어서, 상기 복수의 계층들을 블렌딩하는 단계는
제1블렌딩 맵을 이용하여 상기 제3계층을 상기 제2계층과 블렌딩하여 블렌딩된 이미지 데이터를 생성하는 단계; 및
제2블렌딩 맵을 이용하여 상기 블렌딩된 이미지 데이터를 상기 제1계층과 블렌딩하는 단계를 포함하는 방법.
제5항에 있어서,
커널을 이용하여 이미지 데이터에 대해 하나 이상의 스캐터링 동작들을 수행하는 단계를 더 포함하고, 상기 커널은 CoC 곡선에 기반하는 가중치들을 포함하는 방법.
제6항에 있어서,
상기 CoC 곡선은 복수의 구간들(segments)을 포함하고,
상기 커널의 상기 가중치들은 상기 이미지 데이터와 관련된 상기 복수의 구간들에 기반하여 가변하는 방법.
한 장면에 대한 이미지 데이터를 촬영하도록 구성되는 복수의 이미지 센서들; 및
상기 복수의 이미지 센서들과 동작가능하게 연결되어,
상기 장면에 대한 포커스 범위의 심도를 결정하고;
상기 포커스 범위의 심도에 기초해 상기 장면과 관련된 복수의 계층들을 결정하되, 상기 복수의 계층들 중에서 각각의 계층은 시차 값들의 상이한 범위를 가진 이미지 데이터와 관련되고;
상기 복수의 계층들을 블렌딩하여, 전경 및 배경에 보케(Bokeh) 효과를 가지는 이미지와 상기 포커스 범위의 심도 내에서 포커싱된 이미지 데이터를 생성하도록 구성된 적어도 하나의 프로세서를 포함하고,
상기 복수의 계층들은 상기 전경과 관련된 제1계층, 상기 포커스 범위의 심도와 관련된 제2계층, 및 상기 배경과 관련된 제3계층 중 적어도 하나를 포함하는 전자 기기.
제8항에 있어서, 상기 포커스 범위의 심도를 결정하기 위해, 상기 적어도 하나의 프로세서는
포커스의 최대 심도를 정의하는 사용자 입력을 수신하고;
포커스의 최소 심도를 정의하는 사용자 입력을 수신하도록 구성된 전자 기기.
제8항에 있어서, 상기 복수의 계층들을 결정하기 위해, 상기 적어도 하나의 프로세서는
포커스의 최대 심도 및 포커스의 최소 심도를 최대 시차 및 최소 시차로 변환하고;
상기 최대 시차 및 상기 최소 시차에 기반하여 CoC 곡선을 생성하고;
상기 CoC 곡선의 상이한 부분들에 기반하여 상기 복수의 계층들을 결정하도록 구성되는 전자 기기.
제10항에 있어서,
상기 제1계층은 상기 최대 시차 이상의 시차 값들에 대해 정의된, 상기 CoC 곡선의 일부와 관련되고,
상기 제2계층은 상기 최대 시차 및 상기 최소 시차 사이의 시차 값들에 대해 정의된, 상기 CoC 곡선의 일부와 관련되고,
상기 제3계층은 상기 최소 시차 이하의 시차 값들에 대해 정의된, 상기 CoC 곡선의 일부와 관련되는 전자 기기.
제8항에 있어서, 상기 복수의 계층들을 블렌딩하기 위해, 상기 적어도 하나의 프로세서는
제1블렌딩 맵을 이용하여 상기 제3계층을 상기 제2계층과 블렌딩하여 블렌딩된 이미지 데이터를 생성하고;
제2블렌딩 맵을 이용하여 상기 블렌딩된 이미지 데이터를 상기 제1계층과 블렌딩하도록 구성되는 전자 기기.
제12항에 있어서, 상기 적어도 하나의 프로세서는, 커널을 이용하여 이미지 데이터에 대해 하나 이상의 스캐터링 동작들을 수행하도록 더 구성되고, 상기 커널은 CoC 곡선에 기반하는 가중치들을 포함하는 전자 기기.
제13항에 있어서,
상기 CoC 곡선은 복수의 구간들을 포함하고,
상기 커널의 상기 가중치들은 상기 이미지 데이터와 관련된 상기 복수의 구간들에 기반하여 가변하는 전자 기기.
적어도 하나의 프로세서를 이용해, 입력 터치 지점에 기반하여 장면 내 포커스 위치를 결정하는 단계;
상기 적어도 하나의 프로세서를 이용해, 상기 입력 터치 지점과 관련된 포커스 범위의 심도를 초기화하는 단계; 및
상기 적어도 하나의 프로세서를 이용하여, 상기 포커스 범위의 초기 심도에 기반하여 이미지 미리보기(preview)를 생성하고, 상기 이미지 미리보기는 상기 포커스 범위의 초기 심도 내에서 포커싱되고 상기 포커스 범위의 초기 심도 밖에서 블러링(blurry)되는 단계를 포함하는 방법.
제15항에 있어서,
상기 이미지 미리보기와 관련된 사용자 입력을 수신하고, 상기 사용자 입력은 상기 포커스 범위의 초기 심도를 수용할지 여부를 결정하는 단계; 및
상기 포커스 범위의 초기 심도를 사용하여 보케 이미지를 생성하는 단계를 더 포함하는 방법.
제15항에 있어서,
상기 이미지 미리보기와 관련된 사용자 입력을 수신하고, 상기 사용자 입력은 정정된 포커스 범위의 심도를 정의하기 위해 포커스의 최대 심도 또는 포커스의 최소 심도 중 적어도 하나를 변경하는 단계; 및
상기 적어도 하나의 프로세서를 이용하여, 상기 정정된 포커스 범위의 심도에 기반하여 업데이트된 이미지 미리보기를 생성하는 단계를 더 포함하는 방법.
제15항에 있어서,
상기 입력 터치 지점에 기반하여 대상의 클래스를 결정하는 단계를 더 포함하고,
상기 포커스 범위의 심도를 초기화하는 단계는 상기 대상의 클래스의 기결정된 두께에 기반하는 방법.
제1항 내지 제7항 및 제15항 내지 제18항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.