KR102664373B1

KR102664373B1 - 더 깊은 피사계 심도를 위한 분할 픽셀 데이터 병합

Info

Publication number: KR102664373B1
Application number: KR1020227015352A
Authority: KR
Inventors: 라울 가그; 닐 와드와
Original assignee: 구글 엘엘씨
Priority date: 2021-02-24
Filing date: 2021-02-24
Publication date: 2024-05-10
Also published as: JP2023519467A; WO2022182340A1; KR20220123219A; CN115244570A; US20230153960A1; EP4121938A1

Abstract

방법은 제1 서브 이미지 및 제2 서브 이미지를 포함하는 분할 픽셀 이미지 데이터를 획득하는 단계를 포함한다. 방법은 또한 상기 분할 픽셀 이미지 데이터의 각각의 픽셀에 대해, 피사계 심도에 대한 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션을 결정하는 단계 및 상기 대응 포지션에 기초하여, 아웃-오브-포커스 픽셀을 식별하는 단계를 포함한다. 방법은 추가적으로 각각의 아웃-오브-포커스 픽셀에 대해, 대응 포지션, 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치 및 상기 제1 서브 이미지에서 대응 제1 픽셀의 제1 값 또는 상기 제2 서브 이미지에서 대응 제2 픽셀의 제2 값 중 적어도 하나에 기초하여, 대응 픽셀 값을 결정하는 단계를 포함한다. 방법은 또한 상기 대응 픽셀 값에 기초하여, 확장된 피사계 심도를 갖는 개선된 이미지를 생성하는 단계를 포함한다.

Description

더 깊은 피사계 심도를 위한 분할 픽셀 데이터 병합

장면의 대응 부분이 이미지를 촬영하는 카메라 디바이스의 피사계 심도 밖에 위치하여 이미지의 일부가 흐려질 수 있다. 흐림 정도는 피사계 심도에 대한 장면의 대응 부분의 포지션에 따라 달라질 수 있으며, 장면의 대응 부분이 카메라 방향으로 또는 카메라 반대 방향으로 피사계 심도에서 멀어질수록 블러 양이 증가한다. 일부 경우에, 이미지 블러링이 바람직하지 않으며 다양한 이미지 프로세싱 기법, 모델 및/또는 알고리즘을 사용하여 조정되거나 수정될 수 있다.

분할 픽셀 카메라는 복수의 서브 이미지를 포함하는 분할 픽셀 이미지 데이터를 생성하도록 구성될 수 있다. 분할 픽셀 이미지 데이터의 아웃-오브-포커스 픽셀의 경우, 서브 이미지의 주파수 콘텐츠는 (i) 이미지 데이터 내 아웃-오브-포커스 픽셀의 위치 및 (ii) 분할-픽셀 카메라의 피사계 심도(즉, 픽셀 심도)에 대한 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 포지션의 함수로서 다양할 수 있다. 특히, 주어진 아웃-오브-포커스 픽셀에 대해, 서브 이미지 중 하나는 주어진 아웃-오브-포커스 픽셀과 연관된 위치 및 깊이에 따라 다른 서브 이미지보다 더 선명하게 나타날 수 있다. 따라서, 픽셀 위치, 픽셀 깊이 및 서브 이미지 주파수 콘텐츠 간의 관계는 분할 픽셀 카메라에 대해 특징화될 수 있고, 분할 픽셀 이미지 데이터 부분의 선명도를 개선하는데 사용될 수 있다. 특히, 서브 이미지의 픽셀을 합산하거나 동일하게 가중하는 대신 저주파 콘텐츠와 고주파 콘텐츠를 모두 포함하는 서브 이미지 픽셀에 저주파 콘텐츠만 포함하는 서브 이미지 픽셀보다 더 큰 가중치를 부여하여 결과 이미지의 겉보기 선명도를 높일 수 있다.

제1 예시적 실시예에서, 방법은 분할 픽셀 카메라에 의해 캡처된 분할 픽셀 이미지 데이터를 획득하는 단계를 포함할 수 있다. 분할 픽셀 이미지 데이터는 제1 서브 이미지 및 제2 서브 이미지를 포함할 수 있다. 또한 방법은 상기 분할 픽셀 이미지 데이터의 복수의 픽셀들 중 각각의 픽셀에 대해, 상기 분할 픽셀 카메라의 피사계 심도에 대한 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션을 결정하는 단계를 포함할 수 있다. 방법은 상기 복수의 픽셀들 중 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션에 기초하여, 상기 복수의 픽셀들 중 하나 이상의 아웃-오브-포커스 픽셀을 식별하는 단계를 포함할 수 있고, 상기 하나 이상의 아웃-오브-포커스 픽셀은 피사계 심도 외부에 포지셔닝된다. 방법은 상기 하나 이상의 아웃-오브-포커스 픽셀의 각각의 아웃-오브-포커스 픽셀에 대해, (i) 상기 피사계 심도와 관련한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션, (ii) 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치 및 (iii) 상기 제1 서브 이미지에서 대응 제1 픽셀의 제1 값 또는 상기 제2 서브 이미지에서 대응 제2 픽셀의 제2 값 중 적어도 하나에 기초하여, 대응 픽셀 값을 결정하는 단계를 포함할 수 있다. 상법은 각각의 아웃-오브-포커스 픽셀에 대해 결정된 상기 대응 픽셀 값에 기초하여, 확장된 피사계 심도를 갖는 개선된 이미지를 생성하는 단계를 더 포함할 수 있다.

제2 예시적 실시예에서, 시스템은 프로세서 및 프로세서에 의해 실행될 때 프로세서로 하여금 동작들을 수행하게 하는 명령어가 저장된 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 동작은 분할 픽셀 카메라에 의해 캡처된 분할 픽셀 이미지 데이터를 획득하는 동작을 포함할 수 있다. 분할 픽셀 이미지 데이터는 제1 서브 이미지 및 제2 서브 이미지를 포함할 수 있다. 또한 동작은 상기 분할 픽셀 이미지 데이터의 복수의 픽셀들 중 각각의 픽셀에 대해, 상기 분할 픽셀 카메라의 피사계 심도에 대한 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션을 결정하는 동작을 포함할 수 있다. 동작은 상기 복수의 픽셀들 중 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션에 기초하여, 상기 복수의 픽셀들 중 하나 이상의 아웃-오브-포커스 픽셀을 식별하는 동작을 포함할 수 있고, 상기 하나 이상의 아웃-오브-포커스 픽셀은 피사계 심도 외부에 포지셔닝된다. 동작은 상기 하나 이상의 아웃-오브-포커스 픽셀의 각각의 아웃-오브-포커스 픽셀에 대해, (i) 상기 피사계 심도와 관련한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션, (ii) 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치 및 (iii) 상기 제1 서브 이미지에서 대응 제1 픽셀의 제1 값 또는 상기 제2 서브 이미지에서 대응 제2 픽셀의 제2 값 중 적어도 하나에 기초하여, 대응 픽셀 값을 결정하는 단계를 포함할 수 있다. 동작은 각각의 아웃-오브-포커스 픽셀에 대해 결정된 상기 대응 픽셀 값에 기초하여, 확장된 피사계 심도를 갖는 개선된 이미지를 생성하는 동작을 더 포함할 수 있다.

제3 예시적 실시예에서, 비일시적 컴퓨터 판독가능 매체는 컴퓨팅 디바이스에 의해 실행될 때 컴퓨팅 디바이스로 하여금 동작을 수행하게 하는 명령어를 저장할 수 있다. 동작은 분할 픽셀 카메라에 의해 캡처된 분할 픽셀 이미지 데이터를 획득하는 동작을 포함할 수 있다. 분할 픽셀 이미지 데이터는 제1 서브 이미지 및 제2 서브 이미지를 포함할 수 있다. 또한 동작은 상기 분할 픽셀 이미지 데이터의 복수의 픽셀들 중 각각의 픽셀에 대해, 상기 분할 픽셀 카메라의 피사계 심도에 대한 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션을 결정하는 동작을 포함할 수 있다. 동작은 상기 복수의 픽셀들 중 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션에 기초하여, 상기 복수의 픽셀들 중 하나 이상의 아웃-오브-포커스 픽셀을 식별하는 동작을 포함할 수 있고, 상기 하나 이상의 아웃-오브-포커스 픽셀은 피사계 심도 외부에 포지셔닝된다. 동작은 상기 하나 이상의 아웃-오브-포커스 픽셀의 각각의 아웃-오브-포커스 픽셀에 대해, (i) 상기 피사계 심도와 관련한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션, (ii) 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치 및 (iii) 상기 제1 서브 이미지에서 대응 제1 픽셀의 제1 값 또는 상기 제2 서브 이미지에서 대응 제2 픽셀의 제2 값 중 적어도 하나에 기초하여, 대응 픽셀 값을 결정하는 단계를 포함할 수 있다. 동작은 각각의 아웃-오브-포커스 픽셀에 대해 결정된 상기 대응 픽셀 값에 기초하여, 확장된 피사계 심도를 갖는 개선된 이미지를 생성하는 동작을 더 포함할 수 있다.

제4 예시적 실시예에서, 시스템은 분할 픽셀 카메라에 의해 캡처된 분할 픽셀 이미지 데이터를 획득하기 위한 수단을 포함할 수 있다. 분할 픽셀 이미지 데이터는 제1 서브 이미지 및 제2 서브 이미지를 포함할 수 있다. 또한 시스템은 상기 분할 픽셀 이미지 데이터의 복수의 픽셀들 중 각각의 픽셀에 대해, 상기 분할 픽셀 카메라의 피사계 심도에 대한 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션을 결정하기 위한 수단을 포함할 수 있다. 시스템은 상기 복수의 픽셀들 중 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션에 기초하여, 상기 복수의 픽셀들 중 하나 이상의 아웃-오브-포커스 픽셀을 식별하기 위한 수단을 포함할 수 있고, 상기 하나 이상의 아웃-오브-포커스 픽셀은 피사계 심도 외부에 포지셔닝된다. 시스템은 상기 하나 이상의 아웃-오브-포커스 픽셀의 각각의 아웃-오브-포커스 픽셀에 대해, (i) 상기 피사계 심도와 관련한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션, (ii) 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치 및 (iii) 상기 제1 서브 이미지에서 대응 제1 픽셀의 제1 값 또는 상기 제2 서브 이미지에서 대응 제2 픽셀의 제2 값 중 적어도 하나에 기초하여, 대응 픽셀 값을 결정하기 위한 수단을 포함할 수 있다. 시스템은 각각의 아웃-오브-포커스 픽셀에 대해 결정된 상기 대응 픽셀 값에 기초하여, 확장된 피사계 심도를 갖는 개선된 이미지를 생성하기 위한 수단을 더 포함할 수 있다.

이들 뿐만 아니라 다른 실시예들, 양태들, 이점들 및 대안들은 적절한 곳에서 첨부 도면들을 참조하여 다음의 상세한 설명을 읽음으로써 통상의 기술자에게 명백해질 것이다. 추가로, 본 명세서에서 제공된 발명의 내용 및 다른 설명들 및 도면들은 단지 예시로서 실시예들을 설명하기 위해 의도되었고, 다수의 변형들이 가능하다. 예를 들어, 구조적 엘리먼트들 및 프로세스 단계들은 청구된 것과 같은 실시예들의 범위 내에 남아 있으면서 재배열, 조합, 분산, 제거 또는 이와 달리 변경될 수 있다.

도 1은 본 명세서에 기술된 예시에 따른 컴퓨팅 디바이스를 도시한다.
도 2은 본 명세서에 기술된 예시에 따른 컴퓨팅 시스템을 도시한다.
도 3은 본 명세서에 기술된 예시에 따른 듀얼 픽셀 이미지 센서를 도시한다.
도 4는 본 명세서에 기술된 예시에 따른 분할 픽셀 이미지 데이터와 연관된 포인트 확산 함수를 도시한다.
도 5는 본 명세서에 기술된 예시에 따른 시스템을 도시한다.
도 6a, 6b, 6c, 6d, 6e 및 6f는 본 명세서에 기술된 예시에 따른 듀얼 픽셀 이미지 데이터의 픽셀 깊이 및 픽셀 위치의 서로 다른 조합에 대응하는 픽셀 소스를 도시한다.
도 6g는 본 명세서에 기술된 예시에 따라 도 6a, 6b, 6c, 6d, 6e 및 6f에 도시된 관계를 요약한 표이다.
도 7a, 7b, 7c, 7d, 7e 및 7f는 본 명세서에 기술된 예시에 따른 쿼드 픽셀 이미지 데이터의 픽셀 깊이와 픽셀 위치의 서로 다른 조합에 대응하는 픽셀 소스를 도시한다.
도 7g는 여기에 설명된 예에 따라 도 7a, 7b, 7c, 7d, 7e 및 7f에 도시된 관계를 요약한 표이다.
도 8은 본 명세서에 기술된 예시에 따른 흐름도이다.

예시적 방법들, 디바이스들 및 시스템들이 본 명세서에 기술된다. 단어들 “예시적” 및 “대표적”은 “예, 예시 또는 도시로서 제공된”을 의미하도록 본 명세서에서 사용되었다는 것이 이해되어야 한다. "예시적", "대표적" 및/또는 "예시적"인 것으로서 본 명세서에 기술된 임의의 실시예 또는 구성은 다른 언급이 없는 한 다른 실시예들 또는 구성들에 비해 선호되거나 이점이 있는 것으로서 해석되어야만 하는 것은 아니다. 따라서, 다른 실시예들도 활용될 수 있고, 본 명세서에 제시된 주제의 범위로부터 벗어남 없이 다른 변경들이 이루어질 수 있다.

따라서, 본 명세서에 기술된 예시적 실시예들은 제한을 의미하지 않는다. 본 명세서에 일반적으로 기술되고 도면들에 도시된 것으로서 본 개시의 양태들은 광범위한 상이한 구성들로 배열, 대체, 조합, 분리 및 디자인될 수 있다.

추가로, 컨텍스트가 다르게 제안하지 않는 한, 도면들 각각에서 도시된 구성들은 다른 것과 조합되어 사용될 수 있다. 따라서, 도면들은 모든 도시된 구성들이 각 실시예에 대해 필요하지는 않다는 이해와 함께, 하나 이상의 전반적 실시예들의 컴포넌트 양태들로서 일반적으로 보여져야 한다.

또한, 본 명세서 또는 청구범위에 있는 엘리먼트, 블록 또는 단계의 모든 열거는 명확성을 위한 것이다. 따라서 이러한 열거는 이러한 엘리먼트, 블록 또는 단계가 특정 구성을 따르거나 특정 순서로 수행되는 것을 요구하거나 암시하는 것으로 해석되어서는 안된다. 달리 명시되지 않는, 도면은 축척에 맞게 그려지지 않았다.

개요

분할 픽셀 카메라는 둘 이상의 서브 이미지를 포함하는 분할 픽셀 이미지 데이터를 생성하는데 사용될 수 있으며, 각각은 분할 픽셀 카메라의 포토사이트의 대응하는 서브세트에 의해 생성된다. 예를 들어, 분할 픽셀 카메라는 두 개의 포토사이트로 구성된 각 픽셀을 갖는 듀얼 픽셀 이미지 센서를 포함할 수 있다. 따라서, 분할 픽셀 영상 데이터는 픽셀의 좌측 포토사이트에 의해 생성된 제1 서브 이미지 및 픽셀의 우측 포토사이트에 의해 생성된 제2 서브 이미지를 포함하는 듀얼 픽셀 이미지 데이터일 수 있다. 다른 예에서, 분할 픽셀 카메라는 4개의 포토사이트로 구성된 각 픽셀을 갖는 쿼드 픽셀 이미지 센서를 포함할 수 있다. 따라서, 분할 픽셀 이미지 데이터는 픽셀의 상부 좌측 포토사이트에 의해 생성된 제1 서브 이미지, 픽셀의 상부 우측 포토사이트에 의해 생성된 제2 서브 이미지, 픽셀의 하부 좌측 포토사이트에 의해 생성된 제3 서브 이미지 및 픽셀의 하부 우측 포토사이트에 의해 생성된 제4 서브 이미지를 포함하는 쿼드 픽셀 이미지 데이터일 수 있다.

아웃-오브-포커스는(즉, 분할 픽셀 카메라의 피사계 심도 외부에 위치된) 장면 피처(예: 물체 또는 그 일부)의 이미지를 캡처하기 위해 분할 픽셀 카메라가 사용되는 경우, 서브 이미지의 주파수 콘텐츠는 다를 수 있다. 구체적으로, 각각의 아웃-오브-포커스 픽셀에 대해, 고주파수 픽셀 소스라고 하는 분할 픽셀 이미지 데이터의 적어도 하나의 분할 픽셀 서브 이미지는 저주파수 픽셀 소스(들)라고 하는 분할 픽셀 이미지 데이터의 다른 분할 픽셀 서브 이미지로 표현되지 않는 임계 주파수 이상의 공간 주파수를 나타낼 수 있다. 서브 이미지의 주파수 콘텐츠의 차이는 (i) 피사계 심도에 대한 장면 피처(예를 들어, 객체 또는 그 일부)의 포지션(따라서 장면 피처를 나타내는 이미지의 카메라 초점 깊이에 대한 포지션) 및 (ii) 장면 피처를 나타내는 아웃 오브 포커스 픽셀(들)의 이미지 센서의 영역과 관련한 위치(예를 들어, 이미지 내의 좌표로 표현됨)의 함수일 수 있다.

이 두 개의 서브 이미지가 합산되어 분할 픽셀 이미지를 생성할 때, 임계 주파수 이상의 공간 주파수가 서브 이미지 중 하나에서만 표현되기 때문에 고주파수 픽셀 소스의 선명도 중 일부가 손실될 수 있다. 따라서, 서브 이미지를 결합하여 발생하는 전체 분할 픽셀 이미지의 선명도는 고주파수 픽셀 소스를 저주파수 픽셀 소스보다 더 무겁게 가중함으로써 향상될 수 있고(단순히 서브 이미지를 합산하는 것보다). 임계 주파수 이상의 공간 주파수 부스팅을 결과로 한다.

일부 경우에, 고주파수 픽셀 소스와 저주파수 픽셀 소스가 이미지 공간에서 병합될 수 있다. 일 예에서, 각각의 아웃-오브-포커스 픽셀은 공간적으로 대응하는 저주파수 픽셀 소스보다 공간적으로 대응하는 고주파수 픽셀 소스에 더 큰 가중치가 주어지는 서브 이미지의 공간적으로 대응하는 픽셀의 가중 합일 수 있다. 다른 예에서, 대응 소스 픽셀은 서브 이미지들의 공간적으로 대응하는 픽셀들 중에서 아웃-포커스 픽셀 각각에 대해 선택될 수 있다. 구체적으로, 공간적으로 대응하는 고주파수 픽셀 소스는 소스 픽셀로 선택될 수 있고, 공간적으로 대응하는 저주파수 픽셀 소스는 폐기될 수 있다.

다른 경우에, 고주파수 픽셀 소스와 저주파수 픽셀 소스가 주파수 공간에서 병합될 수 있다. 구체적으로, 고주파수 픽셀 소스 및 저주파수 픽셀 소스 각각에 주파수별 가중치가 할당될 수 있다. 예를 들어, 임계 주파수 이상의 주파수에 대해, 고주파수 픽셀 소스에 존재하지만 저주파수 픽셀 소스에 존재하지 않거나 과소 표현되는 주파수는 결과적으로 개선된 이미지의 선명도를 증가시키기 위해 부스트될 수 있다. 임계 주파수 미만의 주파수 및/또는 고주파수 픽셀 소스 및 저주파수 픽셀 소스 모두에 존재하는 주파수는 동일하게 가중될 수 있고, 따라서 이들 주파수에서 두 서브 이미지의 콘텐츠를 보존할 수 있다.

서브 이미지의 주파수 콘텐츠 차이는 분할 픽셀 카메라 디바이스의 광학 경로에 존재하는 광학적 결함의 결과일 수 있다. 따라서, 일부 경우에, 주파수 콘텐츠, 픽셀 깊이 및 픽셀 위치 간의 관계는 카메라 단위 및/또는 카메라 모델 단위로 결정될 수 있고, 후속적으로 대응하는 카메라 인스턴스 및/또는 카메라 모델과 관련하여 사용되어, 그에 의해 캡처된 분할 픽셀 이미지의 선명도를 개선할 수 있다.

예시적 컴퓨팅 디바이스 및 시스템

도 1은 예시적 컴퓨팅 디바이스(100)를 도시한다. 컴퓨팅 디바이스(100)는 모바일 폰의 폼 팩터로 도시된다. 그러나, 컴퓨팅 디바이스(100)는 다른 가능성 중에서 랩톱 컴퓨터, 태블릿 컴퓨터 및/또는 웨어러블 컴퓨팅 디바이스로서 대안적으로 구현될 수 있다. 컴퓨팅 디바이스(100)는 본체(102), 디스플레이(106) 및 버튼(108, 110)과 같은 다양한 엘리먼트를 포함할 수 있다. 컴퓨팅 디바이스(100)는 전면 카메라(104) 및 후면 카메라(112)와 같은 하나 이상의 카메라를 더 포함할 수 있으며, 이들 중 하나 이상은 듀얼 픽셀 이미지 데이터를 생성하도록 구성될 수 있다.

전면 카메라(104)는 동작 중에 일반적으로 사용자를 향하는 본체(102)의 측면(예를 들어, 디스플레이(106)과 동일한 측면)에 포지셔닝될 수 있다. 후면 카메라(112)는 전면 카메라(104) 반대편 본체(102)의 측면에 포지셔닝될 수 있다. 카메라를 전면 및 후면을 향하게 하는 것은 임의적이며, 컴퓨팅 디바이스(100)는 본체(102)의 다양한 측면에 포지셔닝된 다수의 카메라를 포함할 수 있다.

디스플레이(106)는 음극선관(CRT) 디스플레이, 발광 다이오드(LED) 디스플레이, 액정(LCD) 디스플레이, 플라즈마 디스플레이, 유기 발광 다이오드(OLED) 디스플레이 또는 당업계에 알려진 임의의 다른 유형의 디스플레이를 나타낼 수 있다. 일부 예에서, 디스플레이(106)는 전면 카메라(104) 및/또는 후면 카메라(112)에 의해 캡처되고 있는 현재 이미지, 이들 카메라 중 하나 이상에 의해 캡처될 수 있었던 이미지, 최근에 이들 카메라 중 하나 이상에 의해 캡처된 이미지 및/또는 이러한 이미지 중 하나 이상의 수정된 버전의 디지털 표현이다. 따라서, 디스플레이(106)는 카메라에 대한 뷰파인더로서 기능할 수 있다. 디스플레이(106)는 또한 컴퓨팅 디바이스(100)의 하나 이상의 양태의 설정 및/또는 구성을 조정할 수 있는 터치스크린 기능을 지원할 수 있다.

전면 카메라(104)는 이미지 센서 및 렌즈와 같은 관련 광학 엘리먼트를 포함할 수 있다. 전면 카메라(104)는 줌 기능을 제공하거나 고정된 초점 거리를 가질 수 있다. 다른 예에서, 교환 가능한 렌즈는 전면 카메라(104)와 함께 사용될 수 있다. 전면 카메라(104)는 가변 기계적 조리개 및 기계적 및/또는 전자적 셔터를 가질 수 있다. 전면 카메라(104)는 또한 스틸 이미지, 비디오 이미지 또는 둘 모두를 캡처하도록 구성될 수 있다. 또한, 전면 카메라(104)는 예를 들어 모노스코픽 카메라를 나타낼 수 있다. 후면 카메라(112)는 유사하거나 상이하게 배열될 수 있다. 추가적으로, 전면 카메라(104) 및/또는 후면 카메라(112) 중 하나 이상은 하나 이상의 카메라 어레이일 수 있다.

전면 카메라(104) 및/또는 후면 카메라(112) 중 하나 이상은 타겟 객체를 조명하기 위해 라이트 필드를 제공하는 조명 컴포넌트를 포함하거나 이와 연관될 수 있다. 예를 들어, 조명 컴포넌트는 타겟 객체의 플래시 또는 일정한 조명을 제공할 수 있다. 조명 컴포넌트는 또한 구조화된 광, 편광된 광 및 특정 스펙트럼 콘텐츠를 갖는 광 중 하나 이상을 포함하는 광 필드를 제공하도록 구성될 수 있다. 객체로부터 3차원(3D) 모델을 복구하기 위해 알려져 있고 사용되는 다른 유형의 광 필드는 본 명세서의 예시의 맥락 내에서 가능하다.

컴퓨팅 디바이스(100)는 또한 연속적으로 또는 때때로 카메라(104 및/또는 112)가 캡처할 수 있는 장면의 주변 밝기를 결정할 수 있는 주변 광 센서를 포함할 수 있다. 일부 구현예에서, 주변 광 센서는 디스플레이(106)의 디스플레이 밝기를 조정하기 위해 사용될 수 있다. 추가로, 주변 광 센서는 하나 이상의 카메라(104 또는 112)의 노출 길이를 결정하거나 이 결정을 돕기 위해 사용될 수 있다.

컴퓨팅 디바이스(100)는 디스플레이(106)와 전면 카메라(104) 및/또는 후면 카메라(112)를 사용하여 타겟 객체의 이미지를 캡처하도록 구성될 수 있다. 캡처된 이미지는 복수의 정지 이미지 또는 비디오 스트림일 수 있다. 이미지 캡처는 버튼(108)을 활성화하거나 디스플레이(106)의 소프트키를 누르거나 다른 메커니즘에 의해 트리거링될 수 있다. 구현예에 따라, 이미지는 특정 시간 간격, 예를 들어 버튼(108)을 누를 때, 타겟 객체의 적절한 조명 조건에 따라, 디지털 카메라 디바이스(100)를 미리 결정된 거리로 이동할 때 또는 미리 결정된 캡처 스케줄에 따라 자동으로 캡처될 수 있다.

도 2은 예시적 컴퓨팅 시스템(200)의 컴포넌트의 일부를 도시하는 단순화된 블록도이다. 예로서 그리고 제한 없이, 컴퓨팅 시스템(200)은 셀룰러 모바일 전화(예를 들어, 스마트폰), (데스크탑, 노트북, 태블릿 또는 핸드헬드 컴퓨터와 같은) 컴퓨터, 홈 오토메이션 컴포넌트, 디지털 비디오 레코더(DVR), 디지털 텔레비전, 리모콘, 웨어러블 컴퓨팅 디바이스, 게임 콘솔, 로봇 디바이스, 차량 또는 기타 유형의 디바이스일 수 있다. 컴퓨팅 시스템(200)은 예를 들어 컴퓨팅 디바이스(100)의 양태를 나타낼 수 있다.

도 2에 도시된 바와 같이, 컴퓨팅 시스템(200)은 통신 인터페이스(202), 사용자 인터페이스(204), 프로세서(206), 데이터 저장소(208) 및 카메라 컴포넌트(224)를 포함할 수 있으며, 이들 모두는 시스템 버스, 네트워크 또는 다른 연결 메커니즘(210)에 의해 함께 통신적으로 연결될 수 있다. 컴퓨팅 시스템(200)에는 적어도 일부 이미지 캡처 및/또는 이미지 프로세싱 기능이 구비될 수 있다. 컴퓨팅 시스템(200)은 물리적 이미지 프로세싱 시스템, 이미지 감지 및/또는 프로세싱 애플리케이션이 소프트웨어에서 작동하는 특정 물리적 하드웨어 플랫폼 또는 이미지 캡처 및/또는 프로세싱 기능을 수행하도록 구성된 하드웨어와 소프트웨어의 다른 조합을 나타낼 수 있음을 이해해야 한다.

통신 인터페이스(202)는 컴퓨팅 시스템(200)이 아날로그 또는 디지털 변조를 사용하여 다른 디바이스, 액세스 네트워크 및/또는 전송 네트워크와 통신하게 할 수 있다. 따라서, 통신 인터페이스(202)는 POTS(Plain Old Telephone Service) 통신 및/또는 인터넷 프로토콜(IP) 또는 다른 패킷화된 통신과 같은 회선 교환 및/또는 패킷 교환 통신을 용이하게 할 수 있다. 예를 들어, 통신 인터페이스(202)는 무선 액세스 네트워크 또는 액세스 포인트와의 무선 통신을 위해 구성된 칩셋 및 안테나를 포함할 수 있다. 또한, 통신 인터페이스(202)는 이더넷, USB(Universal Serial Bus), 또는 HDMI(High-Definition Multimedia Interface) 포트와 같은 유선 인터페이스의 형태를 취하거나 이를 포함할 수 있다. 통신 인터페이스(202)는 또한 Wi-Fi, BLUETOOTH®GPS(Global Positioning System) 또는 광역 무선 인터페이스(예를 들어, WiMAX 또는 3GPP LTE)와 같은 무선 인터페이스의 형태를 취하거나 이를 포함할 수 있다. 그러나, 다른 형태의 물리 레이어 인터페이스 및 다른 유형의 표준 또는 독점 통신 프로토콜이 통신 인터페이스(202)를 통해 사용될 수 있다. 또한, 통신 인터페이스(202)는 다수의 물리적 통신 인터페이스(예를 들어, Wi-Fi 인터페이스, BLUETOOTH®인터페이스 및 광역 무선 인터페이스)를 포함할 수 있다.

사용자 인터페이스(204)는 컴퓨팅 시스템(200)이 사용자로부터 입력을 수신하고 사용자에게 출력을 제공하는 것과 같이 인간 또는 비인간 사용자와 상호작용하게 하는 기능을 할 수 있다. 따라서, 사용자 인터페이스(204)는 키패드, 키보드, 터치 감응 패널, 컴퓨터 마우스, 트랙볼, 조이스틱, 마이크로폰 등과 같은 입력 컴포넌트를 포함할 수 있다. 사용자 인터페이스(204)는 또한 예를 들어 터치 감응 패널과 결합될 수 있는 디스플레이 스크린과 같은 하나 이상의 출력 컴포넌트를 포함할 수 있다. 디스플레이 화면은 CRT, LCD 및/또는 LED 기술 또는 현재 알려졌거나 나중에 개발될 기타 기술을 기반으로 할 수 있다. 사용자 인터페이스(204)는 또한 스피커, 스피커 잭, 오디오 출력 포트, 오디오 출력 디바이스, 이어폰 및/또는 다른 유사한 디바이스를 통해 청각적 출력(들)을 생성하도록 구성될 수 있다. 사용자 인터페이스(204)는 또한 마이크로폰 및/또는 기타 유사한 디바이스를 통해 청각적 발언(들), 잡음(들) 및/또는 신호(들)를 수신 및/또는 캡처하도록 구성될 수 있다.

일부 예에서, 사용자 인터페이스(204)는 컴퓨팅 시스템(200)에 의해 지원되는 스틸 카메라 및/또는 비디오 카메라 기능을 위한 뷰파인더 역할을 하는 디스플레이를 포함할 수 있다. 추가적으로, 사용자 인터페이스(204)는 카메라 기능의 구성 및 포커싱 및 이미지 캡처를 용이하게 하는 하나 이상의 버튼, 스위치, 노브 및/또는 다이얼을 포함할 수 있다. 이러한 버튼, 스위치, 노브 및/또는 다이얼 중 일부 또는 전체가 터치 감응 패널을 통해 구현될 수 있다.

프로세서(들)(206)은 하나 이상의 범용 프로세서(예: 마이크로프로세서) 및/또는 하나 이상의 특수 목적 프로세서(예: 디지털 신호 프로세서(DSP), 그래픽 프로세싱 유닛(GPU), 플로팅 포인트 유닛(FPU), 네트워크 프로세서, 애플리케이션 특정 집적 회로(ASIC))를 포함할 수 있다. 일부 경우에, 특수 목적 프로세서가 다른 가능성 중에서 이미지 프로세싱, 이미지 정렬 및 이미지 병합이 가능할 수 있다. 데이터 저장소(208)는 자기, 광학, 플래시 또는 유기 저장소와 같은 하나 이상의 휘발성 및/또는 비휘발성 스토리지 컴포넌트를 포함할 수 있고 프로세서(206)와 전체적으로 또는 부분적으로 통합될 수 있다. 데이터 저장소(208)는 착탈식 및/또는 비착탈식 컴포넌트를 포함할 수 있다.

프로세서(206)는 데이터 저장소(208)에 저장된 프로그램 명령어(218)(예를 들어, 컴파일된 또는 컴파일되지 않은 프로그램 로직 및/또는 기계 코드)를 실행하여 여기에 설명된 다양한 기능을 수행할 수 있다. 따라서, 데이터 저장소(208)는 컴퓨팅 시스템(200)에 의한 실행 시에 컴퓨팅 시스템(200)이 본 명세서에 개시된 방법, 프로세스 또는 동작 및/또는 첨부 도면 중 임의의 것을 수행하게 하는 프로그램 명령이 저장된 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 프로세서(206)에 의한 프로그램 명령어(218)의 실행은 데이터(212)를 사용하는 프로세서(206)를 초래할 수 있다.

예를 들어, 프로그램 명령어(218)는 운영 체제(222)(예를 들어, 운영 체제 커널, 디바이스 드라이버(들) 및/또는 기타 모듈) 및 컴퓨팅 시스템(200)에 설치된 하나 이상의 애플리케이션 프로그램(220)(예를 들어, 카메라 기능, 주소록, 이메일, 웹 브라우징, 소셜 네트워킹, 오디오-텍스트 기능, 텍스트 번역 기능 및/또는 게임 애플리케이션)을 포함할 수 있다. 유사하게, 데이터(212)는 운영 체제 데이터(216) 및 애플리케이션 데이터(214)를 포함할 수 있다. 운영 체제 데이터(216)는 주로 운영 체제(222)가 액세스할 수 있고 애플리케이션 데이터(214)는 주로 하나 이상의 애플리케이션 프로그램(220)이 액세스할 수 있다. 애플리케이션 데이터(214)는 컴퓨팅 시스템(200)의 사용자에게 보이거나 숨겨진 파일 시스템으로 구성될 수 있다.

애플리케이션 프로그램(220)은 하나 이상의 애플리케이션 프로그래밍 인터페이스(API)를 통해 운영 체제(222)와 통신할 수 있다. 이러한 API는, 예를 들어, 애플리케이션 데이터(214)를 읽고 및/또는 쓰고, 통신 인터페이스(202)를 통해 정보를 전송 또는 수신하고, 사용자 인터페이스(204)에 대한 정보를 수신 및/또는 디스플레이하는 등의 애플리케이션 프로그램(220)을 지원할 수 있다.

일부 경우에, 애플리케이션(220)은 줄여서 "앱"이라고 할 수 있다. 추가로, 애플리케이션 프로그램(220)은 하나 이상의 온라인 애플리케이션 스토어 또는 애플리케이션 시장을 통해 컴퓨팅 시스템(200)으로 다운로드될 수 있다. 그러나, 애플리케이션 프로그램은 웹 브라우저를 통해 또는 컴퓨팅 시스템(200) 상의 물리적 인터페이스(예를 들어, USB 포트)를 통해와 같은 다른 방식으로 컴퓨팅 시스템(200)에 설치될 수도 있다.

카메라 컴포넌트(224)는 조리개, 셔터, 기록 표면(예를 들어, 사진 필름 및/또는 이미지 센서), 렌즈, 셔터 버튼, 적외선 프로젝터 및/또는 가시광 프로젝터를 포함할 수 있지만 이에 한정되지 않는다. 카메라 컴포넌트(224)는 가시광선 스펙트럼의 이미지를 캡처하도록 구성된 컴포넌트(예: 파장이 380 - 700 나노미터인 전자기 복사) 및 적외선 스펙트럼의 이미지를 캡처하도록 구성된 컴포넌트(예: 파장이 701 나노미터 - 1 밀리미터인 전자기 복사)를 포함할 수 있다. 카메라 컴포넌트(224)는 프로세서(206)에 의해 실행되는 소프트웨어에 의해 적어도 부분적으로 제어될 수 있다.

듀얼 픽셀 이미지 센서의 예

도 3은 분할 픽셀 이미지 데이터를 생성하도록 구성된 분할 픽셀 이미지 센서(300)를 도시한다. 구체적으로, 분할 픽셀 이미지 센서(300)는 열(302, 304, 306, 308 내지 310)(즉, 열(302 - 310)) 및 행(312, 314, 316, 318 내지 320)(즉, 행(312 - 320))을 포함하는 그리드에 배열된 복수의 픽셀을 포함하는 듀얼 픽셀 이미지 센서로 도시된다. 각각의 픽셀은 대응하는 빗금친 영역으로 표시된 제1(예를 들어, 왼쪽) 포토사이트와 대응하는 흰색으로 채워진 영역으로 표시된 제2(예를 들어, 오른쪽) 포토사이트로 분할되어 도시되어 있다. 따라서, 열(302), 행(312)에 위치한 픽셀의 오른쪽 절반은 오른쪽 포토사이트를 나타내기 위해 "R"로 라벨링되고, 픽셀의 왼쪽 절반은 왼쪽 포토사이트를 나타내기 위해 "L"로 라벨링된다.

각 픽셀의 포토사이트는 각 픽셀을 2개의 동일한 수직 절반으로 나누는 것으로 표시되지만, 포토사이트는 대안적으로 각 픽셀을 다른 방식으로 나눌 수 있다. 예를 들어, 각 픽셀은 상부 포토사이트와 하부 포토사이트로 나뉠 수 있다. 포토사이트의 면적이 같지 않을 수 있다. 또한, 분할 픽셀 이미지 센서(300)가 픽셀당 2개의 포토사이트를 포함하는 듀얼 픽셀 이미지 센서로 도시되어 있지만, 분할 픽셀 이미지 센서(300)는 대안적으로 각 픽셀이 상이한 수의 포토사이트로 분할되어 구현될 수 있다. 예를 들어, 분할 픽셀 이미지 센서(300)는 각 픽셀의 4개의 사분면(예: (첫 번째) 왼쪽 상단 사분면, (두 번째) 오른쪽 상단 사분면, (세 번째) 왼쪽 하단 사분면, (네 번째) 오른쪽 하단 사분면)을 정의하는 4개의 포토사이트로 분할되는 쿼드 픽셀 이미지 센서로서 구현될 수 있다.

주어진 픽셀의 각 포토사이트는 대응하는 포토다이오드를 포함할 수 있으며, 그 출력 신호는 다른 포토다이오드와 독립적으로 판독될 수 있다. 추가적으로, 분할 픽셀 이미지 센서(300)의 각각의 픽셀은 대응하는 컬러 필터(예를 들어, 적색, 녹색 또는 청색)와 연관될 수 있다. 디모자이싱 알고리즘은 컬러 이미지를 생성하기 위해 분할 픽셀 이미지 센서(300)의 출력에 적용될 수 있다. 일부 경우에, 분할 픽셀 이미지 센서(300)의 모든 픽셀보다 적은 픽셀이 다수의 포토사이트로 분할될 수 있다. 예를 들어, 녹색 컬러 필터와 연관된 각 픽셀은 2개의 독립적인 포토사이트로 분할될 수 있는 반면, 적색 또는 청색 컬러 필터와 연관된 각 픽셀은 단일 포토사이트를 포함할 수 있다. 일부 경우에, 분할 픽셀 이미지 센서(300)는 전면 카메라(104) 및/또는 후면 카메라(112)를 구현하는데 사용될 수 있으며 카메라 컴포넌트(224)의 일부를 형성할 수 있다.

분할 픽셀 이미지 센서(300)는 분할 픽셀 이미지 데이터를 생성하도록 구성될 수 있다. 일 예시에서, 분할 픽셀 이미지 데이터는 제1 포토사이트 세트(예를 들어, 좌측 포토사이트만)에 의해 생성된 제1 서브 이미지 및 제2 포토사이트 세트(예: 오른쪽 포토사이트만)에 의해 생성된 제2 서브 이미지를 포함하는 듀얼 픽셀 이미지 데이터일 수 있다. 다른 예에서, 분할 픽셀 이미지 데이터는 제1 세트의 포토사이트(예를 들어, 상단 좌측 포토사이트만)에 의해 생성된 제1 서브 이미지, 제2 세트의 포토사이트(예: 우측 상단 포토사이트만)에 의해 생성된 제2 서브 이미지, 제3 세트의 포토사이트(예: 좌측 포토사이트만)에 의해 생성된 제3 서브 이미지, 제4 세트의 포토사이트(예: 우측 하부 포토사이트)에 의해 생성된 제4 서브 이미지를 포함하는 쿼드 픽셀 이미지 데이터일 수 있다.

서브 이미지는 단일 노출의 일부로 생성될 수 있다. 예를 들어, 서브 이미지는 실질적으로 동시에 캡처될 수 있고, 하나의 서브 이미지의 캡처 시간은 다른 서브 이미지의 캡처 시간의 임계 시간 내에 있다. 주어진 픽셀의 각 포토사이트에서 생성된 신호는 단일 출력 신호로 결합되어 기존(예: RGB) 이미지 데이터를 생성할 수 있다.

이미징되는 전경 객체, 배경 객체, 환경 및/또는 그 일부와 같은 장면 피처가 초점이 맞는 경우(즉, 장면 피처가 카메라의 피사계 심도 내에 있고 및/또는 그로부터 반사된 빛이 카메라의 초점 깊이 내에 초점이 맞춰진 경우), 주어진 픽셀의 각 포토사이트에 의해 생성된 각각의 신호는 실질적으로 동일할 수 있다(예를 들어, 분할 픽셀의 신호는 다른 하나의 임계값 내에 있을 수 있다). 이미징되는 장면 피처가 아웃-오브-포커스인 경우(즉, 장면 피처가 카메라의 피사계 심도 앞이나 뒤에 있고, 카메라에서 반사된 빛이 카메라의 초점 심도 앞이나 뒤에 초점이 맞춰져 있는 경우), 주어진 픽셀의 첫 번째 포토사이트에 의해 생성된 각각의 신호는 주어진 픽셀의 다른 포토사이트(들)에 의해 생성된 각각의 신호(들)와 다를 수 있다. 이 차이의 정도는 디포커스의 정도에 비례할 수 있으며, 피사계 심도에 대한 장면 피처의 포지션(및 초점 심도에 대해 반사된 빛이 포커싱되는 포지션)를 나타낼 수 있다. 따라서, 분할 픽셀 이미지 데이터는 촬영되는 장면 피처가 카메라 디바이스의 피사계 심도 내에 있는지, 앞에 있는지 및/또는 뒤에 있는지 여부를 결정하는데 사용될 수 있다.

분할 픽셀 이미지 데이터의 포인트 확산 함수 예

도 4는 아웃-오브-포커스 평면을 이미징하는 것과 연관된 듀얼 픽셀 이미지 센서(예를 들어, 분할 픽셀 이미지 센서(300))의 포인트 확산 함수(PSF)의 예시적 공간적 변화를 도시한다. 구체적으로, 도 4는 듀얼 픽셀 이미지 센서의 영역에 각각 대응하는 영역(400, 402, 404)을 도시한다. 각각은 아웃-오브-포커스 평면을 이미징하는 동안, 영역(402)의 PSF는 왼쪽 서브 이미지와 연관된 PSF의 공간적 변화를 나타내고, 영역(404)의 PSF는 오른쪽 서브 이미지와 연관된 PSF의 공간적 변화를 나타내며, 영역(400)의 PSF는 전체 듀얼 픽셀 이미지와 연관된 PSF의 공간적 변화를 나타낸다. 도 4에 도시된 바와 같이, 전체 듀얼 픽셀 이미지의 PSF는 좌측 서브 이미지와 우측 서브 이미지의 PSF의 합과 같다. 듀얼 픽셀 이미지 센서의 크기와 관련된 PSF의 크기 척도는 설명의 명확성을 위해 선택되었으며 구현예에 따라 다를 수 있다.

영역(400, 402, 404)의 각각의 영역은 행(410, 412, 414, 416)과 열(420, 422, 424, 426)로 배열된 16개의 PSF를 포함한다. 또한 해당 점선은 각 영역의 수직 중간선을 표시하므로 각 영역을 왼쪽 절반과 오른쪽 절반의 동일한 절반으로 나눈다. 영역(402)의 왼쪽 절반은 영역(402)의 오른쪽 절반의 PSF보다 더 큰 범위의 공간 고주파 정보의 캡처를 허용하는 PSF를 포함하며, 이러한 PSF의 음영 패턴의 차이에 의해 표시된다. 구체적으로, 영역(402)의 열(420 및 422)에 있는 PSF는 영역(402)의 열(424 및 426)에 있는 PSF보다 더 높은 차단 공간 주파수를 갖는다. 유사하게, 영역(404)의 오른쪽 절반은 이러한 PSF의 음영 패턴의 차이에 의해 표시되는 바와 같이 영역(404)의 왼쪽 절반의 PSF보다 더 큰 범위의 공간 고주파수 정보의 캡처를 허용하는 PSF를 포함한다. 구체적으로, 영역(404)의 열(424 및 426)에 있는 PSF는 영역(404)의 열(420 및 422)에 있는 PSF보다 더 높은 차단 공간 주파수를 갖는다.

따라서, 장면의 아웃-오브-포커스 영역을 이미징할 때, 영역(402)에 대응하는 제1 서브 이미지의 왼쪽 절반이 (i) 제1 서브 이미지의 오른쪽 절반 및 (ii) 영역(404)에 대응하는 제2 서브 이미지의 왼쪽 절반보다 더 선명하게 나타날 수 있다. 유사하게, 장면의 아웃-오브-포커스 영역을 이미징할 때, 영역(404)에 해당하는 제2 서브 이미지의 오른쪽 절반은 (i) 제2 서브 이미지의 왼쪽 절반 및 (ii) 영역(402)에 대응하는 제1 서브 이미지의 오른쪽 절반보다 더 선명하게 나타난다.

분할 픽셀 서브 이미지에서 주파수 콘텐츠의 이러한 공간적 변동성은 듀얼 픽셀 카메라 디바이스의 광학 경로에 있는 다양한 실제 결함의 결과일 수 있으며 이상적인 광학 모델에서는 분명하지 않을 수 있다. 일부 경우에, 공간적 변동성은 카메라 모델별로 경험적으로 특성화될 수 있으며, 이후에 해당 카메라 모델에 의해 캡처된 이미지의 개선된 버전을 생성하는데 사용될 수 있다.

제1 서브 이미지와 제2 서브 이미지가 추가되면, 결과적인 전체 듀얼 픽셀 이미지는 영역(400)에 대응한다. 즉, 결과 듀얼 픽셀 이미지는 영역(400)의 PSF와 연관된 듀얼 픽셀 이미지 센서를 사용하여 생성된 것으로 보인다. 따라서, 제1 서브 이미지(영역(402)에 대응)의 왼쪽 절반의 상대적으로 선명한 콘텐츠는 제2 서브 이미지(영역(404)에 대응)의 왼쪽 절반의 콘텐츠와 결합되고 이에 의해 흐려진다. 유사하게, 제2 서브 이미지(영역(404)에 대응)의 우측 절반의 상대적으로 선명한 콘텐츠는 제1 서브 이미지(영역(402)에 대응)의 우측 절반의 컨텐츠와 결합되고 이에 의해 흐려진다.

구체적으로, 영역(402)의 우측 절반 및/또는 영역(404)의 좌측 절반에서 PSF의 제1 차단 주파수까지의 주파수는 각각의 영역(402 및 404)의 양쪽 절반에 표시된다. 그러나, (i) 영역(402)의 왼쪽 절반 및/또는 영역(404)의 오른쪽 절반에서 PSF의 (i) 제1 차단 주파수와 (ii) 제2 차단 주파수 사이의 주파수는 영역(402)의 왼쪽 절반 및 영역(404)의 오른쪽 절반에 표현되나, 영역(402)의 오른쪽 절반과 영역(404)의 왼쪽 절반에는 표현되지 않는다. 따라서, 영역(402 및 404)의 PSF가 추가되어 영역(400)의 PSF를 형성할 때, 제1 차단 주파수와 제2 차단 주파수 사이의 주파수는 제1 차단 주파수보다 낮은 주파수와 비교할때 과소표현된다(예를 들어 그들의 상대적 파워가 더 낮게). 따라서, 서브 이미지의 픽셀 값을 합산하는 것은 서브 이미지의 상이한 부분에 존재하는 공간 주파수 콘텐츠의 차이를 이용하지 않는다.

도 4의 PSF는 초점 평면의 제1 측면 및/또는 피사계 심도(예: (i) 카메라 디바이스와 (ii) 초점 평면 및/또는 피사계 심도 사이)에 포지셔닝되는 아웃-오브-포커스 평면에 대응한다. 아웃-오브-포커스 평면이 초점 평면의 제2 측면(예: 초점 평면 너머)에 대신 포지셔닝되는 경우, 도 4에 표시된 PSF의 패턴이 다를 수 있다. 예를 들어, PSF의 패턴은 뒤집힐 수 있고, 영역(402) 및 영역(404) 스위칭 장소의 PSF에 의해 근사화될 수 있다. 대응하는 PSF 변화는 다른 가능성들 중에서, 각각의 분할 픽셀이 대신 상부 포토사이트 및 하부 포토사이트로, 및/또는 분할 픽셀을 4개의 사분면으로 나누는 4개의 포토사이트로 분할될 때 추가로 또는 대안적으로 관찰될 수 있다. 이미지 센서 영역에 걸친 PSF 차단 주파수와 피사계 심도에 따른 장면 피처 포지션 사이의 관계는 카메라 모델마다 다를 수 있으며, 따라서 카메라 모델별로 경험적으로 결정될 수 있다.

개선된 이미지 생성을 위한 예시적 시스템

분할 픽셀 서브 이미지의 다른 부분에 고주파 공간 정보가 존재하면 분할 픽셀 이미지의 선명도를 개선하고 이에 따라 대응하는 피사계 심도를 효과적으로 확장함으로써 분할 픽셀 이미지를 향상시키는데 사용될 수 있다. 특히, 도 5는 분할-픽셀 서브 이미지의 일부에 존재하는 고주파 정보를 이용하여 개선된 이미지를 생성하기 위한 예시적인 시스템을 도시한다. 도 5는 분할 픽셀 이미지 데이터(502)에 기초하여 개선된 이미지(528)를 생성하도록 구성된 시스템(500)을 도시한다. 시스템(500)은 픽셀 깊이 계산기(508), 픽셀 깊이 분류기(512), 픽셀 주파수 분류기(520), 및 픽셀 값 병합기(526)를 포함할 수 있다. 시스템(500)의 컴포넌트는 하드웨어, 소프트웨어 또는 이들의 조합으로서 구현될 수 있다.

분할 픽셀 이미지 데이터(502)는 서브 이미지(504) 내지 서브 이미지(506)(즉, 서브 이미지(504-506))를 포함할 수 있다. 분할 픽셀 이미지 데이터(502)는 분할 픽셀 이미지 센서(300)에 의해 캡처될 수 있다. 서브 이미지(504-506)의 각각의 서브 이미지는 분할 픽셀 이미지 데이터(502)와 동일한 해상도를 가질 수 있고, 단일 노출의 일부로서 캡처될 수 있다. 따라서, 분할 픽셀 이미지 데이터(502)의 각각의 픽셀은 서브 이미지(504-506) 각각의 대응 픽셀과 연관될 수 있다. 일 예에서, 분할 픽셀 이미지 데이터(502)는 2개의 서브 이미지를 포함할 수 있고, 따라서 듀얼 픽셀 이미지 데이터로 지칭될 수 있다. 다른 예에서, 분할 픽셀 이미지 데이터(502)는 4개의 서브 이미지를 포함할 수 있고, 따라서 쿼드 픽셀 이미지 데이터로 지칭될 수 있다.

분할 픽셀 이미지 데이터(502)가 분할 픽셀 카메라의 피사계 심도 외부에 포지셔닝된 장면 피처를 나타낼 때(해당 광이 분할 픽셀 카메라의 초점 심도 외부에 포커싱됨), 일부 서브 이미지들(504-506)은 서브 이미지들(504-506)의 다른 것들에 존재하지 않을 수 있는 고주파수 공간 정보를 포함할 수 있다. "고주파"라는 용어 및/또는 그 변형은 임계 주파수 이상의 주파수를 지칭하기 위해 여기에서 사용되며, 여기서 제1 분할 픽셀 서브 이미지는 임계 주파수 이상의 주파수 콘텐츠를 포함하는 반면 대응하는 제2 분할 픽셀 서브 이미지는 포함하지 않는다. 반대로, 용어 "저주파수" 및/또는 그 변형은 임계 주파수 이하의 주파수를 지칭하기 위해 여기에서 사용되며 임계 주파수를 포함한다. 임계 주파수는 여러 요인 중에서 분할 픽셀 카메라 및/또는 촬영 중인 장면에 따라 달라질 수 있다.

픽셀 깊이 계산기(508)는 분할 픽셀 이미지 데이터(502)의 복수의 픽셀에 대한 픽셀 깊이(들)(510)를 결정하도록 구성될 수 있다. 예를 들어, 픽셀 깊이(들)(510)는 분할 픽셀 이미지 데이터(502)의 모든 픽셀에 대응하거나 분할 픽셀 이미지 데이터(502)의 모든 픽셀보다 작을 수 있다. 픽셀 깊이(들)(510)는 분할 픽셀 카메라의 피사계 심도 및/또는 분할 픽셀 카메라의 초점 심도에 상대적인 장면 피처의 대응 이미지의 깊이에 대한 대응하는 장면 피처(들)(예를 들어, 객체 및/또는 그 부분)의 깊이를 나타낼 수 있다. 일부 구현예에서, 픽셀 깊이(들)(510)는 예를 들어, 대응하는 장면 피처가 분할 픽셀 카메라의 피사계 심도 뒤(예를 들어, 제1 측면) 또는 분할 픽셀 카메라의 피사계 심도의 전면(예: 제2 측면)에 포지셔닝되는지 여부를 나타내는 대응 장면 피처와 연관된 깊이의 이진 표현을 포함할 수 있다. 일부 경우에, 픽셀 깊이(들)는 예를 들어 대응하는 장면 피처가 분할 픽셀 카메라의 피사계 심도 내에 포지셔닝 및/또는 포커싱됨을 나타내도록 추가로 구성된 삼항 표현을 포함할 수 있다.

다른 구현예에서, 픽셀 깊이(들)(510)는 3개보다 많은 값을 취할 수 있고, 따라서 예를 들어, 대응 장면 피처가 피사계 심도보다 얼마나 앞에 및/또는 뒤에 포지셔닝되는지를 나타낼 수 있다. 장면 피처가 분할 픽셀 카메라의 피사계 심도 외부에 포지셔닝될 때(즉, 렌즈 앞 영역, 충분히 초점이 맞춰진 것처럼 보이는 이미지를 생성할 장면 피처가 있는 영역), 대응 이미지(즉, 대응하는 장면 피처를 나타내는 빛)는 또한 분할 픽셀 카메라의 피사계 심도 외부(즉, 이미지가 충분히 초점이 맞춰진 것으로 보이는 렌즈 뒤의 영역)에 포지셔닝(즉, 초점이 맞춰짐)된다.

픽셀 깊이 계산기(508)는 (i) 서브 이미지(504-506)의 제1 서브 이미지에서 대응 제1 픽셀과 (ii) 서브 이미지(504-506)의 제2 서브 이미지에서 대응 제2 픽셀 사이의 신호 디스패리티에 기초하여 각각의 픽셀의 깊이 값을 결정하도록 구성될 수 있다. 구체적으로, 신호 디스패리티는 장면 피처들이 피사계 심도의 제1 측에 포지셔닝되는 경우 양수일 수 있고, 장면 피처들이 피사계 심도의 제2 측에 포지셔닝되는 경우 음수일 수 있다. 따라서, 디스패리티의 부호는 피사계 심도에 대한 각 픽셀의 깊이 값의 방향을 나타낼 수 있고, 디스패리티의 크기는 깊이 값의 크기를 나타낼 수 있다. 쿼드-픽셀 이미지 데이터의 경우, 깊이 값은 부가적으로 또는 대안적으로 서브 이미지(504-506)의 제3 서브 이미지의 대응하는 제3 픽셀 및 서브 이미지(504-506)의 제4 서브 이미지의 대응하는 제4 픽셀에 기초할 수 있다.

픽셀 깊이 분류기(512)는 픽셀 깊이(들)(510)에 기초하여, (i) 분할 픽셀 이미지 데이터(502)의 인-포커스 픽셀(들)(514) 및 (ii) 분할 픽셀 이미지 데이터(502)의 아웃-포커스 픽셀(들)(516)을 식별하도록 구성될 수 있다. 인-포커스 픽셀(들)(514)은 피사계 심도 내에(예를 들어, 초점 평면의 어느 한 측에서 임계 거리 내에) 포지셔닝된 장면 피처를 나타낼 수 있으며, 따라서 피사계 심도 및/또는 선명도 개선이 되지 않을 수 있다. 아웃-오브-포커스 픽셀(들)(516)은 피사계 심도의 외부(예를 들어, 초점 평면의 어느 한 측의 임계 거리 외부)에 포지셔닝된 장면 피처를 나타낼 수 있고, 따라서 피사계 심도 및/또는 또는 선명도 개선이 될 수 있다. 아웃-오브-포커스 픽셀(들)(516)의 각각의 아웃-오브-포커스 픽셀은 픽셀 위치(들)(518)의 대응하는 픽셀 위치와 연관될 수 있으며, 여기서 대응하는 픽셀 위치는 예를 들어 분할 픽셀 이미지 데이터(502) 내의 아웃-오브-포커스 픽셀의 좌표를 표시한다. 각각의 아웃-오브-포커스 픽셀은 또한 픽셀 깊이(들)(510)의 대응하는 픽셀 깊이와 연관될 수 있다.

픽셀 주파수 분류기(520)는 아웃-오브-포커스 픽셀(들)(516)의 각각의 아웃-오브-포커스 픽셀에 대해 고주파수 픽셀 소스(들)(522) 및 저주파수 픽셀 소스(들)(524)를 식별하도록 구성될 수 있다. 구체적으로, 픽셀 주파수 분류기(520)는 분할 픽셀 이미지 데이터(502) 내의 각각의 픽셀의 위치 및 각각의 픽셀과 연관된 깊이 값에 기초하여 고주파수 픽셀 소스(들)(522) 및 저주파수 픽셀 소스(들)(524)를 식별하도록 구성될 수 있다. 각각의 아웃-오브-포커스 픽셀에 대한 고주파수 픽셀 소스(들)(522)는 서브 이미지(504-506)의 제1 서브세트의 위치 대응 픽셀(들)을 포함할 수 있는 반면, 각각의 아웃-오브-포커스 픽셀에 대한 저주파수 픽셀 소스(들)(524)는 서브 이미지(504-506)의 제2 서브세트의 위치 대응 픽셀(들)을 포함할 수 있다. 각 픽셀에 대해 결정된 제1 서브세트 및 제2 서브세트는 상호 배타적일 수 있다.

듀얼 픽셀 이미지 데이터의 경우, 고주파수 픽셀 소스(들)(522)는, 예를 들어, 서브 이미지(504)가 각각의 픽셀에 대한 더 선명한(즉, 더 높은 주파수) 이미지 콘텐츠를 포함한다는 것을 나타낼 수 있고, 저주파수 픽셀 소스(들)(524)는 서브 이미지(506)가 각각의 픽셀에 대한 덜 선명한(즉, 더 낮은 주파수) 이미지 콘텐츠를 포함한다는 것을 나타낼 수 있다. 쿼드 픽셀 이미지 데이터의 경우, 고주파수 픽셀 소스(들)(522)는 예를 들어, 서브 이미지(506)가 각각의 픽셀에 대한 더 선명한 이미지 콘텐츠를 포함하고 저주파수 픽셀 소스(들)(524)는 서브 이미지(504)를 포함한 다른 모든 서브 이미지는 각 픽셀에 대해 덜 선명한 이미지 콘텐츠를 포함한다는 것을 나타낼 수 있다. 픽셀 소스 선택은 도 6a 내지 7g와 관련하여 더 자세히 설명되고 논의된다.

픽셀 값 병합기(526)는 (i) 인-포커스 픽셀(들)(514) 및 (ii) 아웃-오브-포커스 픽셀(들)(516)의 각각의 아웃-오브-포커스 픽셀에 대해 결정된 고주파수 픽셀 소스(들)(522) 및 저주파수 픽셀 소스(들)(524)에 기초하여 개선된 이미지(528)를 생성하도록 구성될 수 있다. 구체적으로, 픽셀 값 병합기(526)는 서브 이미지(504-506)의 공간적으로 대응 픽셀 값을 합산함으로써 인-포커스 픽셀(들)(514)에 대한 각각의 픽셀 값을 생성하도록 구성될 수 있다. 아웃-오브-포커스 픽셀(들)(516)에 대해, 픽셀 값 병합기(526)는 저주파수 픽셀 소스(들)(524)(적어도 일부 주파수와 관련하여)보다 고주파수 픽셀 소스(들)(522)에 더 큰 가중치를 줌으로써 각각의 픽셀 값을 생성하도록 구성될 수 있고, 분할 픽셀 이미지 데이터(502)의 대응하는 부분의 겉보기 선명도 및/또는 피사계 심도를 증가시킨다.

픽셀 깊이, 픽셀 위치 및 서브 이미지 주파수 콘텐츠 간의 예시적 관계

도 6a 내지 도 6f는 듀얼 픽셀 이미지 데이터 내의 각각의 픽셀의 위치, 각각의 픽셀과 연관된 깊이 값 및 고주파수 이미지 콘텐츠를 포함하는 서브 이미지 사이의 예시적인 매핑을 도시한다. 구체적으로, 도 6a 내지 6f의 각각은 왼쪽에 대응 깊이로 라벨링된 4개의 사분면으로 분할된 듀얼 픽셀 이미지의 영역 및 오른쪽에는 대응 깊이가 주어진, 듀얼 픽셀 이미지의 각 사분면에 대해 고주파수 콘텐츠를 제공하는 대응 서브 이미지 사분면을 도시한다.

이미지의 사분면은 이미지 프레임의 1/4에 걸쳐 있고, 이미지 프레임의 수평 및 수직 이등분으로 인한 직사각형 영역일 수 있다. 따라서, 4개의 사분면은 이미지 프레임 전체에 걸쳐 있고 이미지 프레임을 4개의 동일한 하위 섹션으로 나눌 수 있다. 유사하게, 이미지의 절반은 두 개의 인접한 사분면의 결합일 수 있다. 예를 들어, 수평으로 인접한 두 사분면의 합집합은 위쪽 절반 또는 아래쪽 절반을 정의할 수 있고, 두 개의 수직으로 인접한 사분면의 합집합은 왼쪽 절반 또는 오른쪽 절반을 정의할 수 있다. 달리 말하면, 이미지의 상반부와 하반부는 두 개의 동일한 직사각형 영역으로 이미지의 수평 이등분에 의해 정의될 수 있고, 이미지의 왼쪽 절반과 오른쪽 절반은 두 개의 동일한 직사각형 영역으로 이미지의 수직 이등분에 의해 정의될 수 있다. 전체 분할 픽셀 이미지(예: 이미지 데이터(502)), 서브 이미지(예: 서브 이미지(504-506)), 및/또는 개선된 이미지(예: 개선된 이미지(528))는 각각 대응하는 절반 및/또는 사분면으로 분할될 수 있다.

도 6a는 DEPTH: -1에 의해 표시된 바와 같이, 듀얼 픽셀 이미지 센서의 사분면(600, 602, 604 및 606)이 피사계 심도의 제1 측에(예: 뒤에) 포지셔닝되는 평면(즉, 분할 픽셀 카메라에 대해 상수 깊이를 갖는 장면)을 이미징하는데 각각 사용되는 경우, (i) 제1 듀얼 픽셀 서브 이미지의 사분면(610)이 제2 듀얼 픽셀 서브 이미지의 대응 위치 사분면(620)보다 사분면(600)에 대해 더 높은 주파수 콘텐츠를 포함하고, (ii) 제2 서브 이미지의 사분면(622)이 제1 서브 이미지의 대응 위치 사분면(612)보다 사분면(602)에 대해 더 높은 주파수 콘텐츠를 포함하고, (iii) 제1 서브 이미지의 사분면(614)이 제2 서브 이미지의 대응 위치 사분면(624)보다 사분면(604)에 대해 더 높은 주파수 콘텐츠를 포함하고, 그리고 (iv) 제2 서브 이미지의 사분면(626)이 제1 서브 이미지의 대응 위치 사분면(616)보다 사분면(606)에 대해 더 높은 주파수 콘텐츠를 포함한다는 것을 도시한다.

도 6b는 DEPTH: +1에 의해 표시된 바와 같이, 듀얼 픽셀 이미지 센서의 사분면(600, 602, 604 및 606)이 피사계 심도의 제2 측에(예: 앞에) 포지셔닝되는 평면을 이미징하는데 각각 사용되는 경우, (i) 제2 서브 이미지의 사분면(620)이 제1 서브 이미지의 대응 위치 사분면(610)보다 사분면(600)에 대해 더 높은 주파수 콘텐츠를 포함하고, (ii) 제1 서브 이미지의 사분면(612)이 제2 서브 이미지의 대응 위치 사분면(622)보다 사분면(602)에 대해 더 높은 주파수 콘텐츠를 포함하고, (iii) 제2 서브 이미지의 사분면(624)이 제1 서브 이미지의 대응 위치 사분면(614)보다 사분면(604)에 대해 더 높은 주파수 콘텐츠를 포함하고, (iv) 제1 서브 이미지의 사분면(616)이 제2 서브 이미지의 대응 위치 사분면(626)보다 사분면(606)에 대해 더 높은 주파수 콘텐츠를 포함한다는 것을 도시한다.

도 6c는 DEPTH: -1에 의해 표시된 바와 같이, 사분면(604 및 604)이 피사계 심도의 제1 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되고, DEPTH: +1에 의해 표시된 바와 같이, 사분면(602 및 606)이 피사계 심도의 제2 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되는 경우, 제1 서브 이미지의 사분면(610, 612, 614 및 616)이 제2 서브 이미지의 사분면(620, 622, 624 및 626)보다 사분면(600, 602, 604 및 606)에 대해 더 높은 주파수 콘텐츠를 포함한다는 것을 도시한다.

도 6d는 DEPTH: +1에 의해 표시된 바와 같이, 사분면(604 및 604)이 피사계 심도의 제2 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되고, DEPTH: +1에 의해 표시된 바와 같이, 사분면(602 및 606)이 피사계 심도의 제1 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되는 경우, 제2 서브 이미지의 사분면(620, 622, 624 및 626)이 제1 서브 이미지의 사분면(610, 612, 614 및 616)보다 사분면(600, 602, 604 및 606)에 대해 더 높은 주파수 콘텐츠를 포함한다는 것을 도시한다.

도 6e는 DEPTH: +1에 의해 표시된 바와 같이, 사분면(602 및 604)이 피사계 심도의 제2 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되고, DEPTH: +1에 의해 표시된 바와 같이, 사분면(604 및 606)이 피사계 심도의 제1 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되는 경우, (i) 제1 서브 이미지의 사분면(612 및 614)이 제2 서브 이미지의 사분면(622 및 624)보다 사분면(602 및 604)에 대해 더 높은 주파수 콘텐츠를 포함하고 그리고 (ii) 제2 서브 이미지의 사분면(620 및 626)이 제1 서브 이미지의 사분면(610 및 616)보다 사분면(600 및 606)에 대해 더 높은 주파수 콘텐츠를 포함한다는 것을 도시한다.

도 6f는 DEPTH: -1에 의해 표시된 바와 같이, 사분면(602 및 604)이 피사계 심도의 제1 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되고, DEPTH: +1에 의해 표시된 바와 같이, 사분면(604 및 606)이 피사계 심도의 제2 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되는 경우, (i) 제1 서브 이미지의 사분면(610 및 616)이 제2 서브 이미지의 사분면(620 및 626)보다 사분면(600 및 606)에 대해 더 높은 주파수 콘텐츠를 포함하고 그리고 (ii) 제2 서브 이미지의 사분면(622 및 624)이 제1 서브 이미지의 사분면(612 및 614)보다 사분면(602 및 604)에 대해 더 높은 주파수 콘텐츠를 포함한다는 것을 도시한다.

도 6g는 도 6a 내지 6f의 예시적인 픽셀 위치 및 픽셀 깊이 조합에 의해 예시된 관계를 요약하는 표(630)를 도시한다. 구체적으로, 장면 피처가 피사계 심도 내에 포지셔닝될 때(즉, 장면 깊이 = 0), 제1 서브 이미지의 주파수 콘텐츠는 제2 서브 이미지의 주파수 콘텐츠와 실질적으로 및/또는 거의 동일한다(예를 들어, 주파수별 신호 파워는 임계값 이상 차이가 나지 않는다). 따라서, 인-포커스 픽셀의 픽셀 값은 선명도를 개선하기 위해 이들 값에 동일하지 않은 가중치를 적용하지 않고, 제1 서브 이미지 및 제2 서브 이미지에서 대응하는 픽셀의 값을 더함으로써 획득될 수 있다.

장면 피처가 피사계 심도의 제1 측에 포지셔닝될 때(즉, Scene Depth = -1), 제1(예: 왼쪽) 서브 이미지는 듀얼 픽셀 이미지의 제1 절반(예: 왼쪽)(예: 사분면(600 및 604))에 위치된 아웃-오브-포커스 픽셀에 대해 더 높은 주파수 콘텐츠를 제공하고, 제2(예: 오른쪽) 서브 이미지는 듀얼 픽셀 이미지의 제2 절반(예: 오른쪽)(예: 사분면(602 및 606))에 위치된 아웃-오브-포커스 픽셀에 대해 더 높은 주파수 콘텐츠를 제공한다. 장면 피처가 피사계 심도의 제2 측에 포지셔닝될 때(즉, Scene Depth = +1), 제2 서브 이미지는 듀얼 픽셀 이미지의 제1 절반에 위치된 아웃-오브-포커스 픽셀에 대해 더 높은 주파수 콘텐츠를 제공하고, 제1 서브 이미지는 듀얼 픽셀 이미지의 제2 절반에 위치된 아웃-오브-포커스 픽셀에 대해 더 높은 주파수 콘텐츠를 제공한다.

도 7a 내지 도 7f는 쿼드 픽셀 이미지 데이터 내의 각각의 픽셀의 위치, 각각의 픽셀과 연관된 깊이 값 및 고주파수 이미지 콘텐츠를 포함하는 서브 이미지 사이의 예시적인 매핑을 도시한다. 구체적으로, 도 7a 내지 7f의 각각은 왼쪽에 대응 깊이로 라벨링된 사분면으로 분할된 쿼드 픽셀 이미지의 영역 및 오른쪽에 대응 깊이가 주어진 쿼드 픽셀 이미지의 각 사분면에 대해 고주파수 콘텐츠를 제공하는 서브 이미지 사분면을 도시한다.

도 7a는 DEPTH: -1에 의해 표시된 바와 같이, 쿼드 픽셀 이미지 센서의 사분면(700, 702, 704 및 706)이 피사계 심도의 제1 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되는 경우, (i) 제1 쿼드 픽셀 서브 이미지의 사분면(710)이 다른 3개의 쿼드 픽셀 서브 이미지의 대응 사분면보다 사분면(700)에 대해 더 높은 주파수 콘텐츠를 포함하고(예: 제4 쿼드 픽셀 서브 이미지의 대응 위치 사분면(740)), (ii) 제2 쿼드 픽셀 서브 이미지의 사분면(722)이 다른 3개의 쿼드 픽셀 서브 이미지의 대응 사분면보다 사분면(702)에 대해 더 높은 주파수 콘텐츠를 포함하고(예: 제3 쿼드 픽셀 서브 이미지의 대응 위치 사분면(732)), (iii) 제3 쿼드 픽셀 서브 이미지의 사분면(734)이 다른 3개의 쿼드 픽셀 서브 이미지의 대응 사분면보다 사분면(704)에 대해 더 높은 주파수 콘텐츠를 포함하고(예: 제2 쿼드 픽셀 서브 이미지의 대응 위치 사분면(724)), 그리고 (iv) 제4 쿼드 픽셀 서브 이미지의 사분면(746)이 다른 3개의 쿼드 픽셀 서브 이미지의 대응 사분면보다 사분면(706)에 대해 더 높은 주파수 콘텐츠를 포함한다(예: 제1 쿼드 픽셀 서브 이미지의 대응 위치 사분면(716))는 것을 도시한다.

도 7b는 DEPTH: +1에 의해 표시된 바와 같이, 쿼드 픽셀 이미지 센서의 사분면(700, 702, 704 및 706)이 피사계 심도의 제2 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되는 경우, (i) 제4 서브 이미지의 사분면(740)이 다른 3개의 서브 이미지의 대응 사분면보다 사분면(700)에 대해 더 높은 주파수 콘텐츠를 포함하고(예: 제1 서브 이미지의 대응 위치 사분면(710)), (ii) 제3 서브 이미지의 사분면(732)이 다른 3개의 서브 이미지의 대응 사분면보다 사분면(702)에 대해 더 높은 주파수 콘텐츠를 포함하고(예: 제2 서브 이미지의 대응 위치 사분면(722)), (iii) 제2 서브 이미지의 사분면(724)이 다른 3개의 서브 이미지의 대응 사분면보다 사분면(704)에 대해 더 높은 주파수 콘텐츠를 포함하고(예: 제3 서브 이미지의 대응 위치 사분면(734)), 그리고 (iv) 제1 서브 이미지의 사분면(716)이 다른 3개의 서브 이미지의 대응 사분면보다 사분면(706)에 대해 더 높은 주파수 콘텐츠를 포함한다(예: 제4 서브 이미지의 대응 위치 사분면(746))는 것을 도시한다.

도 7c는 DEPTH: -1에 의해 표시된 바와 같이, 사분면(700 및 704)이 피사계 심도의 제1 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되고, DEPTH: +1에 의해 표시된 바와 같이, 사분면(702 및 706)이 피사계 심도의 제2 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되는 경우, (i) 제1 서브 이미지의 사분면(710 및 716)이 다른 3개의 서브 이미지의 대응 사분면보다 사분면(700 및 706)에 대해 더 높은 주파수 콘텐츠를 포함하고(예: 제4 서브 이미지의 사분면(740 및 746)), 그리고 (ii) 제3 서브 이미지의 사분면(732 및 734)이 다른 3개의 서브 이미지의 대응 사분면보다 사분면(702 및 704)에 대해 더 높은 주파수 콘텐츠를 포함한다(예: 제2 서브 이미지의 사분면(722 및724))는 것을 도시한다.

도 7d는 DEPTH: +1에 의해 표시된 바와 같이, 사분면(700 및 704)이 피사계 심도의 제2 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되고, DEPTH: +1에 의해 표시된 바와 같이, 사분면(702 및 706)이 피사계 심도의 제1 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되는 경우, (i) 제4 서브 이미지의 사분면(740 및 746)이 다른 3개의 서브 이미지의 대응 사분면보다 사분면(700 및 706)에 대해 더 높은 주파수 콘텐츠를 포함하고(예: 제1 서브 이미지의 사분면(710 및 716)), 그리고 (ii) 제2 서브 이미지의 사분면(722 및 724)이 다른 3개의 서브 이미지의 대응 사분면보다 사분면(702 및 704)에 대해 더 높은 주파수 콘텐츠를 포함한다(예: 제3 서브 이미지의 사분면(732 및 734))는 것을 도시한다.

도 7e는 DEPTH: +1에 의해 표시된 바와 같이, 사분면(700 및 702)이 피사계 심도의 제2 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되고, DEPTH: +1에 의해 표시된 바와 같이, 사분면(704 및 706)이 피사계 심도의 제1 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되는 경우, (i) 제4 서브 이미지의 사분면(740 및 746)이 다른 3개의 서브 이미지의 대응 사분면보다 사분면(700 및 706)에 대해 더 높은 주파수 콘텐츠를 포함하고(예: 제1 서브 이미지의 사분면(710 및 716)), 그리고 (ii) 제3 서브 이미지의 사분면(732 및 734)이 다른 3개의 서브 이미지의 대응 사분면보다 사분면(702 및 704)에 대해 더 높은 주파수 콘텐츠를 포함한다(예: 제2 서브 이미지의 사분면(722 및 724))는 것을 도시한다.

도 7f는 DEPTH: -1에 의해 표시된 바와 같이, 사분면(700 및 702)이 피사계 심도의 제1 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되고, DEPTH: +1에 의해 표시된 바와 같이, 사분면(704 및 706)이 피사계 심도의 제2 측에 포지셔닝되는 평면을 이미징하는데 각각 사용되는 경우, (i) 제1 서브 이미지의 사분면(710 및 716)이 다른 3개의 서브 이미지의 대응 사분면보다 사분면(700 및 706)에 대해 더 높은 주파수 콘텐츠를 포함하고(예: 제4 서브 이미지의 사분면(740 및 746)), 그리고 (ii) 제3 서브 이미지의 사분면(722 및 724)이 다른 3개의 서브 이미지의 대응 사분면보다 사분면(702 및 704)에 대해 더 높은 주파수 콘텐츠를 포함한다(예: 제3 서브 이미지의 사분면(732 및 734))는 것을 도시한다.

도 7g는 도 7a 내지 7f의 예시적인 픽셀 위치 및 픽셀 깊이 조합에 의해 예시된 관계를 요약하는 표(750)를 도시한다. 구체적으로, 장면 피처가 피사계 심도 내에 포지셔닝되는 경우(즉, Scene Depth = 0), 제1 서브 이미지, 제2 서브 이미지, 제3 서브 이미지 및 제4 서브 이미지의 주파수 콘텐츠는 실질적으로 및/또는 거의 동일하다. 따라서, 인-포커스 픽셀의 픽셀 값은 선명도를 개선하기 위해 이들 값에 동일하지 않은 가중치를 적용하지 않고, 제1 내지 제4 서브 이미지에서 대응하는 픽셀의 값을 더함으로써 획득될 수 있다.

장면 피처가 피사계 심도의 제1 측에 포지셔닝되는 경우(즉, Scene Depth = -1), 제1 서브 이미지는 쿼드 픽셀 이미지의 제1 사분면(예: 사분면(700))에 위치된 아웃-오브-포커스 픽셀에 대해 더 높은 주파수 콘텐츠를 제공하고, 제2 서브 이미지는 쿼드 픽셀 이미지의 제2 사분면(예: 사분면(702))에 위치된 아웃-오브-포커스 픽셀에 대해 더 높은 주파수 콘텐츠를 제공하고, 제3 서브 이미지는 쿼드 픽셀 이미지의 제3 사분면(예: 사분면(704))에 위치된 아웃-오브-포커스 픽셀에 대해 더 높은 주파수 콘텐츠를 제공하고, 그리고 제4 서브 이미지는 쿼드 픽셀 이미지의 제4 사분면(예: 사분면(706))에 위치된 아웃-오브-포커스 픽셀에 대해 더 높은 주파수 콘텐츠를 제공한다.

장면 피처가 피사계 심도의 제2 측에 포지셔닝되는 경우(즉, Scene Depth = +1), 제4 서브 이미지는 듀얼 픽셀 이미지의 제1 사분면(예: 사분면(700))에 위치된 아웃-오브-포커스 픽셀에 대해 더 높은 주파수 콘텐츠를 제공하고, 제3 서브 이미지는 듀얼 픽셀 이미지의 제2 사분면(예: 사분면(702))에 위치된 아웃-오브-포커스 픽셀에 대해 더 높은 주파수 콘텐츠를 제공하고, 제2 서브 이미지는 듀얼 픽셀 이미지의 제3 사분면(예: 사분면(704))에 위치된 아웃-오브-포커스 픽셀에 대해 더 높은 주파수 콘텐츠를 제공하고, 그리고 제1 서브 이미지는 듀얼 픽셀 이미지의 제4 사분면(예: 사분면(706))에 위치된 아웃-오브-포커스 픽셀에 대해 더 높은 주파수 콘텐츠를 제공한다.

도 6a - 6g 및 7a - 7g는 사분면당 레벨에서 픽셀 위치, 픽셀 깊이, 고주파수 데이터 소스 사이의 관계를 예시하지만(예시를 명확하게 하기 위해), 실제로 고주파수 픽셀 소스의 결정은 픽셀당 레벨에서 만들어진다(픽셀당 위치 및 픽셀당 깊이 기반). 따라서 특정 픽셀의 고주파수 소스는 (i) 특정 픽셀의 대응 깊이 및 (ii) 절반(듀얼 픽셀 이미지의 경우) 또는 특정 픽셀이 위치한 분할 픽셀 이미지의 사분면(쿼드 픽셀 이미지의 경우)에 기초하여 도 6a - 6g 및 7a - 7g에 도시된 관계를 사용하여 결정될 수 있다. 따라서, 도 6a 내지 6f 및 7a 내지 7f는 각각 도 6g 및 7g에 도시된 관계의 예시를 위한 픽셀 깊이의 특정 배열을 나타내지만, 픽셀 깊이의 상이한 분포 및/또는 조합이 실제로 관찰될 수 있다. 도 6g 및 도 7g에 도시된 관계는 분할 픽셀 이미지의 각 픽셀에 대해 다른 분할 픽셀 이미지에는 없을 수 있는 고주파수 정보를 포함하는 대응하는 서브 이미지를 식별하는데 사용될 수 있다.

픽셀 값 병합의 예

도 5로 돌아가면, 픽셀 값 병합기(526)는 고주파수 픽셀 소스(들)(522) 및 저주파수 픽셀 소스(들)(524)의 대응 픽셀 값을 복수의 방식으로 결합하도록 구성될 수 있다. 특히, 아웃-오브-포커스 픽셀(들)(516)에 대해, 픽셀 값 병합기(526)는 저주파수 픽셀 소스(들)(524)보다 고주파수 픽셀 소스(들)(522)를 선호하거나 더 큰 가중치를 주도록 구성될 수 있다. 일부 경우에, 모든 주파수에 대해 저주파수 픽셀 소스(들)(524)보다 고주파수 픽셀 소스(들)(522)에 더 큰 가중치가 주어질 수 있다. 다른 경우에, 임계 주파수(예를 들어, 상이한 서브 이미지의 주파수 콘텐츠를 분리하는 차단 주파수) 초과의 주파수와 관련하여 저주파수 픽셀 소스(들)(524)보다 고주파수 픽셀 소스(들)(522)에 더 큰 가중치가 주어질 수 있고, 임계 주파수 이하의 주파수에 동일한 가중치가 주어질 수 있다.

일 예에서, 픽셀 값의 조합은 공간 도메인에서 수행될 수 있다. 분할 픽셀 이미지 데이터(502)의 아웃-오브-포커스 픽셀에 대응하는 개선된 이미지(528)의 주어진 픽셀(즉, )은 으로 표현될 수 있고, 여기서 는 주어진 이미지의 픽셀 위치(즉, 좌표) 에서의 픽셀 값을 표현하며, 은 개선된 이미지(528)을 표혐하며, 은 서브 이미지(504)를 표현하며, 은 서브 이미지(506)을 표현하며, 는 픽셀 위치 에서 픽셀과 연관된 심도 값을 표현하며, 그리고 내지 는 저주파수 픽셀 소스(들)(524)보다 대응 고주파수 픽셀 소스(들)(522)를 선호하도록 구성된 가중치 함수이다. 일부 경우에, 각 픽셀 위치(i,j)에 대해 가중치의 합은 N(예: 과 같이 미리 결정된 값으로 정규화될 수 있다. 분할 픽셀 이미지 데이터(502)의 인-포커스 픽셀에 대응하는 개선된 이미지(528)의 주어진 픽셀(즉, 여기서 )은 으로 표현될 수 있고, 여기서 이다.

다른 예에서, 듀얼 픽셀 이미지 데이터의 경우, 픽셀 위치 i,j에 대해 P¹이 고주파수 픽셀 소스(따라서 P²가 저주파수 픽셀 소스임)인 경우, 이다. 즉, 분할 픽셀 이미지 데이터(502)의 주어진 아웃-오브-포커스 픽셀에 대해, 고주파수 픽셀 소스로부터의 픽셀 값은 주어진 아웃-오브-포커스 픽셀을 선명하게 하기 위해 저주파수 픽셀 소스로부터의 픽셀 값보다 더 무겁게 가중될 수 있다(즉, 더 큰 가중치가 할당될 수 있음). 다른 예에서, 듀얼 픽셀 이미지 데이터의 경우, 픽셀 위치 i,j에 대해 P¹이 고주파수 픽셀 소스(따라서 P²가 저주파수 픽셀 소스임)인 경우, 이다. 즉, 분할 픽셀 이미지 데이터(502)의 주어진 아웃-오브-포커스 픽셀에 대해, 고주파수 픽셀 소스가 픽셀 값의 배타적 소스로서 선택될 수 있고, 저주파수 픽셀 소스는 폐기될 수 있다.

가중 함수 내지 는 D_i,j의 이산 또는 연속 함수일 수 있다. 가중 함수 내지 는 다른 가능성 중에서 D_i,j의 선형 함수이거나 D_i,j의 지수 함수일 수 있다. 대응하는 가중 함수에 의해 특정 고주파수 픽셀 소스에 할당된 가중치는 고주파수 픽셀 소스가 (i) (예를 들어, 인 경우) 개선된 이미지(528)의 대응 픽셀의 신호의 50%와 (ii) (예를 들어, 인 경우) 개선된 이미지(528)의 대응 픽셀의 신호의 100% 사이에 있게 할 수 있다.

다른 예에서, 픽셀 값의 조합은 주파수 영역에서 수행될 수 있다. 예를 들어, 분할 픽셀 이미지 데이터(502)의 아웃-오브-포커스 픽셀에 대응하는 강화 이미지(528)의 주어진 픽셀(즉, 여기서 )은 로 표현될 수 있고, 여기서 는 분할 픽셀 이미지 데이터(502)에 존재할 수 있는 수평 공간 주파수 및 수직 공간 주파수를 각각 나타내고, F^ENHANCED는 주파수 영역에서 개선된 이미지(528)를 나타내고, F¹(ω)은 주파수 영역에서 서브 이미지(504)를 나타내고, F^N(ω)은 주파수 영역에서 서브 이미지(506)를 나타내고, D_i,j는 좌표 i,j에서 픽셀과 연관된 깊이 값을 나타내고, IFT()는 역 주파수 변환(예: 역 푸리에 변환, 역 코사인 변환 등)을 나타내고, 내지 는 주파수 특정 가중치 함수이고, 상기 주파수 특정 가중치 함수는 대응하는 고주파수 픽셀 소스(들)(522) 및 대응하는 저주파수 픽셀 소스(들)(524) 모두에 존재하는 저주파수에 대한 대응 고주파수 픽셀 소스(들)(522)에 존재하는 고주파수를 증폭하도록 구성된다. 일부 경우에, 주어진 픽셀의 각각의 공간 주파수 ω에 대해 가중치의 합은 N(예를 들어, ) = N)과 같이 미리 결정된 값으로 정규화될 수 있다. 분할 픽셀 이미지 데이터(502)의 인-포커스 픽셀에 대응하는 개선된 이미지(528)의 주어진 픽셀(즉, 여기서 )은 으로 표현될 수 있고, 여기서 이다.

일부 구현예에서, 가중 함수 내지 는 추가적으로 또는 대안적으로 서브 이미지 간의 주파수 콘텐츠 차이의 함수일 수 있다. 예를 들어, 임계 주파수 이상의 공간 주파수(즉, )에 대해, 이들 소스 간의 차이가 임계 차이를 초과할 때 고주파수 픽셀 소스가 저주파수 픽셀 소스보다 더 무겁게 가중될 수 있고, 두 픽셀 이러한 소스 간의 차이가 임계 차이 이하인 경우 소스는 동일하게 가중될 수 있다. 임계 주파수(즉, ) 이하의 공간 주파수에 대해, 고주파수 픽셀 소스와 저주파수 픽셀 소스는 동일하게 가중될 수 있다.

따라서 듀얼 픽셀 이미지 데이터의 맥락에서, , 인 경우 (F¹(ω)가 고주파수 픽셀 소스인 경우) , 인 경우(F²(ω)가 고주파수 픽셀 소스인 경우) , . 인 경우, 이다.

임계 주파수는 저주파수 픽셀 소스의 차단 주파수에 기초할 수 있다(예를 들어, 동일할 수 있다). 임계 차이는 상이한 주파수에서 서브 이미지에 존재할 것으로 예상되는 (예를 들어, 평균 또는 피크의 2배보다 큰) 노이즈 레벨에 기초할 수 있다. 따라서, 아웃-오브-포커스 픽셀의 경우, 고주파수 픽셀 소스(들)(522)의 고주파수 콘텐츠(저주파수 픽셀 소스에는 없음)는 분할 픽셀 이미지를 선명하게 하기 위해 증폭될 수 있고, 두 픽셀 소스(522, 524) 모두에 존재하는 저주파 콘텐츠는 이러한 주파수에서 두 소스의 콘텐츠를 보존하기 위해 동일하게 가중될 수 있다.

가중 함수 내지 는 D_i,j의 이산 또는 연속 함수일 수 있으며, 또는 다른 가능성 중에서 D_i,j의 선형 또는 지수 함수일 수 있다. 대응 가중치 함수에 의해 고주파수 픽셀 소스에 존재하는 특정 주파수에 할당된 가중치는 고주파수 픽셀 소스가 (i) 개선된 이미지(528)에서 대응 픽셀의 주파수 특정 신호의 50% (예를 들어, 일 때 및/또는 일 때) 및 (ii) 개선된 이미지(528)에서 대응 픽셀의 주파수 특정 신호의 100%(예: 및/또는 일 때) 사이에 있게 할 수 있다.

다른 예에서, 픽셀 값들의 조합은 이미지 포커스 스택을 병합하도록 구성된 하나 이상의 알고리즘을 사용하여 수행될 수 있다. 구체적으로, 이미지 포커스 스택은 복수의 이미지를 포함할 수 있고, 각각의 이미지는 대응하는 상이한 포커스에서 캡처된다(초점 심도 및/또는 피사계 심도의 상이한 포지션을 초래함). 따라서, 이미지 포커스 스택의 상이한 이미지는 상이한 인-포커스 부분 및 아웃-포커스 부분을 포함할 수 있다. 이미지 포커스 스택을 병합하도록 구성된 알고리즘은 다른 가능성 중에서 예를 들어 (i) 픽셀의 대비에 기초하고 픽셀당 가중치를 사용하여 포커스 스택의 이미지를 결합하기 위해 픽셀당 가중치를 계산하고, (ii) 초점 스택의 각 이미지에 대해 깊이 맵을 사용하여 초점 스택에서 가장 선명한 픽셀 값을 식별하기 위해 깊이 맵을 결정하고 및/또는 (iii) 가장 선명한 픽셀을 식별하기 위해 피라미드 기반 접근법을 사용하는 것을 포함할 수 있다.

비분할 픽셀 이미지 데이터의 맥락에서, 이미지 포커스 스택은 다른 시간에 캡처되는 이미지 포커스 스택의 다른 이미지로 인해 모션 블러를 포함할 수 있다. 따라서 모션이 포함된 장면의 경우 선명도가 개선된 이미지의 재구성이 어려울 수 있다.

분할 픽셀 이미지 데이터와 관련하여, 분할 픽셀 이미지 데이터의 복수의 서브 이미지는 이미지 포커스 스택을 형성하는데 사용될 수 있다. 분할 픽셀 이미지 데이터의 아웃-오브-포커스 영역에서 서브 이미지의 공간 주파수 내용의 변화는 서로 다른 초점 레벨(따라서 서로 다른 초점 심도 및 피사계 심도 포지션)을 근사할 수 있다. 서브 이미지의 공간 주파수 콘텐츠 변화는 분할 픽셀 카메라의 초점 거리를 명시적으로 조정하지 않고도 달성될 수 있으므로, 분할 픽셀 서브 이미지는 단일 노출의 일부로 캡처될 수 있고, 따라서 모션 블러를 포함하지 않을 수 있다(또는 비교 가능한 비분할 픽셀 이미지 포커스 스택보다 모션 블러가 더 적을 수 있음). 따라서, 분할-픽셀 서브 이미지는 하나 이상의 포커스 스택 알고리즘을 사용하여 병합될 수 있고, 따라서 정적 및/또는 동적 장면에 대한 개선된 이미지를 생성하는데 사용될 수 있다.

추가 예시적 동작

도 8은 개선된 선명도 및/또는 피사계 심도를 갖는 이미지 생성과 관련된 동작의 흐름도를 도시한다. 동작은 다른 가능성 중에서 컴퓨팅 디바이스(100), 컴퓨팅 시스템(200), 및/또는 시스템(500)에 의해 수행될 수 있다. 도 8의 실시예는 여기에 도시된 구성들 중 임의의 하나 이상의 구성을 제거함으로써 단순화될 수 있다. 또한, 이들 실시예는 임의의 이전 도면의 구성, 양태 및/또는 구현예와 결합되거나 본 명세서에서 달리 설명될 수 있다.

블록(800)은 분할 픽셀 카메라에 의해 캡처된 분할 픽셀 이미지 데이터를 획득하는 단계를 포함할 수 있고, 상기 분할 픽셀 이미지 데이터는 제1 서브 이미지 및 제2 서브 이미지를 포함한다.

블록(802)는 상기 분할 픽셀 이미지 데이터의 복수의 픽셀들 중 각각의 픽셀에 대해, 상기 분할 픽셀 카메라의 피사계 심도에 대한 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션을 결정하는 단계를 포함할 수 있다.

블록(804)는 상기 복수의 픽셀들 중 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션에 기초하여, 상기 복수의 픽셀들 중 하나 이상의 아웃-오브-포커스 픽셀을 식별하는 단계를 포함할 수 있고, 상기 하나 이상의 아웃-오브-포커스 픽셀은 피사계 심도 외부에 포지셔닝된다.

블록(806)은 상기 하나 이상의 아웃-오브-포커스 픽셀의 각각의 아웃-오브-포커스 픽셀에 대해, (i) 상기 피사계 심도와 관련한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션, (ii) 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치 및 (iii) 상기 제1 서브 이미지에서 대응 제1 픽셀의 제1 값 또는 상기 제2 서브 이미지에서 대응 제2 픽셀의 제2 값 중 적어도 하나에 기초하여, 대응 픽셀 값을 결정하는 단계를 포함할 수 있다.

블록(808)은 각각의 아웃-오브-포커스 픽셀에 대해 결정된 상기 대응 픽셀 값에 기초하여, 확장된 피사계 심도를 갖는 개선된 이미지를 생성하는 단계를 포함할 수 있다.

일부 실시예에서, 대응 픽셀 값을 결정하는 단계는 각각의 아웃-오브-포커스 픽셀에 대해, (i) 상기 피사계 심도와 관련한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션 및 (ii) 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치에 기초하여, 상기 각각의 아웃-오브-포커스 픽셀에 대한 소스 픽셀로서 상기 대응 제1 픽셀 또는 상기 대응 제2 픽셀 중 하나를 선택하는 단계를 포함할 수 있다. 대응 픽셀 값은 소스 픽셀의 값에 기초하여 각각의 아웃-오브-포커스 픽셀에 대해 결정될 수 있다.

일부 실시예에서, 상기 분할 픽셀 이미지 데이터의 제1 반부에 위치된 아웃-오브-포커스 픽셀에 대해: 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제1 픽셀이 상기 소스 픽셀로서 선택될 수 있고, 그리고 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제2 픽셀이 상기 소스 픽셀로서 선택될 수 있다. 상기 분할 픽셀 이미지 데이터의 제2 반부에 위치된 아웃-오브-포커스 픽셀에 대해: 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제2 픽셀이 상기 소스 픽셀로서 선택될 수 있고, 그리고 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제1 픽셀이 상기 소스 픽셀로서 선택될 수 있다.

일부 실시예에서, 각각의 아웃-오브-포커스 픽셀에 대한 소스 픽셀을 선택하는 단계는 상기 분할 픽셀 이미지 데이터의 제1 반부에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 또는 피사계 심도 앞에 포지셔닝되는지 여부를 결정하는 단계를 포함한다. 각각의 아웃-오브-포커스 픽셀에 대한 소스 픽셀을 선택하는 단계는 상기 분할 픽셀 이미지 데이터의 제1 반부에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 대응 제1 픽셀을 소스 픽셀로서 선택하는 단계, 또는 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 대응 제4 픽셀을 소스 픽셀로서 선택하는 단계를 포함할 수 있다.

각각의 아웃-오브-포커스 픽셀에 대한 소스 픽셀을 선택하는 단계는 상기 분할 픽셀 이미지 데이터의 제2 반부에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 또는 피사계 심도 앞에 포지셔닝되는지 여부를 결정하는 단계를 더 포함한다. 각각의 아웃-오브-포커스 픽셀에 대한 소스 픽셀을 선택하는 단계는 상기 분할 픽셀 이미지 데이터의 제2 반부에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 대응 제2 픽셀을 소스 픽셀로서 선택하는 단계, 또는 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 대응 제1 픽셀을 소스 픽셀로서 선택하는 단계를 포함할 수 있다.

일부 실시예에서, 대응 픽셀 값을 결정하는 단계는 각각의 아웃-오브-포커스 픽셀에 대해, (i) 상기 피사계 심도와 관련한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션 및 (ii) 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치에 기초하여, 상기 대응 제1 픽셀에 대한 제1 가중치 및 상기 대응 제2 픽셀에 대한 제2 가중치를 결정하는 단계를 포함할 수 있다. 각각의 아웃-오브-포커스 픽셀에 대해, (i) 상기 대응 제1 픽셀의 상기 제1 값과 상기 제1 가중치의 제1 곱 및 (ii) 상기 대응 제2 픽셀의 상기 제2 값과 상기 제2 가중치의 제2 곱에 기초하여 대응 픽셀 값이 결정될 수 있다.

일부 실시예에서, 상기 분할 픽셀 이미지 데이터의 제1 반부에 위치된 아웃-오브-포커스 픽셀에 대해: 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제1 픽셀에 대한 제1 가중치는 상기 대응 제2 픽셀에 대한 제2 가중치보다 클 수 있고, 그리고 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제2 픽셀에 대한 제2 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치보다 클 수 있다. 상기 분할 픽셀 이미지 데이터의 제2 반부에 위치된 아웃-오브-포커스 픽셀에 대해: 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제2 픽셀에 대한 제2 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치보다 클 수 있고, 그리고 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제1 픽셀에 대한 제1 가중치는 상기 대응 제2 픽셀에 대한 제2 가중치보다 클 수 있다.

일부 실시예들에서, 제1 가중치 및 제2 가중치를 결정하는 단계는 상기 분할 픽셀 이미지 데이터의 제1 반부에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 또는 피사계 심도 앞에 포지셔닝되는지 여부를 결정하는 단계를 포함할 수 있다. 제1 가중치 및 제2 가중치를 결정하는 단계는 상기 분할 픽셀 이미지 데이터의 제1 반부에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 상기 제1 가중치가 상기 제2 가중치보다 크다고 결정하는 단계, 또는 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 상기 제2 가중치가 상기 제1 가중치보다 크다고 결정하는 단계를 포함할 수 있다.

제1 가중치 및 제2 가중치를 결정하는 단계는 추가적으로 상기 분할 픽셀 이미지 데이터의 제2 반부에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 또는 피사계 심도 앞에 포지셔닝되는지 여부를 결정하는 단계를 포함할 수 있다. 제1 가중치 및 제2 가중치를 결정하는 단계는 추가적으로 상기 분할 픽셀 이미지 데이터의 제2 반부에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 상기 제2 가중치가 상기 제1 가중치보다 크다고 결정하는 단계, 또는 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 상기 제1 가중치가 상기 제2 가중치보다 크다고 결정하는 단계를 포함할 수 있다.

일부 실시예들에서, 제1 가중치 및 제2 가중치를 결정하는 단계는 상기 분할-픽셀 이미지 데이터 내에 존재하는 복수의 공간 주파수들 중 각각의 공간 주파수에 대해, (i) 상기 제1 서브 이미지 내 각각의 공간 주파수의 제1 크기 및 (ii) 상기 제2 서브 이미지 내 각각의 공간 주파수의 제2 크기를 결정하는 단계를 포함할 수 있다. 제1 크기와 제2 크기의 차이는 각각의 공간 주파수에 대해 결정될 수 있다. 제1 크기에 대한 제1 가중치 및 제2 크기에 대한 제2 가중치는 각각의 공간 주파수에 대해 결정될 수 있다. 임계 주파수를 초과하고 임계값을 초과하는 차이와 연관된 각각의 공간 주파수에 대해, 상기 제1 가중치는 상기 제2 가중치와 상이할 수 있고, 상기 제1 가중치 및 상기 제2 가중치는 피사계 심도에 대한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션에 기초할 수 있다. (i) 상기 임계 주파수 미만 또는 (ii) 상기 임계 주파수를 초과하고 상기 임계값을 초과하지 않는 차이와 연관된 각각의 공간 주파수에 대해, 상기 제1 가중치는 상기 제2 가중치와 동일할 수 있다. 대응 픽셀 값은 각각의 아웃-오브-포커스 픽셀에 대해 (i) 상기 대응 제1 픽셀의 제1 값에 의해 표현되는 각각의 공간 주파수에 대한 제1 크기와 제1 가중치의 제1 복수의 곱 및 (ii) 상기 대응 제2 픽셀의 제2 값에 의해 표현되는 각각의 공간 주파수에 대한 제2 크기와 제2 가중치의 제2 복수의 곱의 합에 기초하여 결정될 수 있다.

일부 실시예에서, 분할 픽셀 이미지 데이터는 제1 서브 이미지, 제2 서브 이미지, 제3 서브 이미지 및 제4 서브 이미지를 포함할 수 있다. 대응 픽셀 값을 결정하는 단계는 각각의 아웃-오브-포커스 픽셀에 대해, (i) 상기 피사계 심도와 관련한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션 및 (ii) 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치에 기초하여, 상기 각각의 아웃-오브-포커스 픽셀에 대한 소스 픽셀로서, 상기 제1 서브 이미지에서 상기 대응 제1 픽셀, 상기 제2 서브 이미지에서 상기 대응 제2 픽셀, 상기 제3 서브 이미지에서 대응 제3 픽셀 또는 상기 제4 서브 이미지에서 대응 제4 픽셀 중 하나를 선택하는 단계를 포함할 수 있다. 대응 픽셀 값은 소스 픽셀의 값에 기초하여 각각의 아웃-오브-포커스 픽셀에 대해 결정될 수 있다.

일부 실시예에서, 상기 분할 픽셀 이미지 데이터의 제1 사분면에 위치된 아웃-오브-포커스 픽셀에 대해: 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제1 픽셀이 상기 소스 픽셀로서 선택될 수 있고, 그리고 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제4 픽셀이 상기 소스 픽셀로서 선택될 수 있다. 상기 분할 픽셀 이미지 데이터의 제2 사분면에 위치된 아웃-오브-포커스 픽셀에 대해: 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제2 픽셀이 상기 소스 픽셀로서 선택될 수 있고, 그리고 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제3 픽셀이 상기 소스 픽셀로서 선택될 수 있다. 상기 분할 픽셀 이미지 데이터의 제3 사분면에 위치된 아웃-오브-포커스 픽셀에 대해: 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제3 픽셀이 상기 소스 픽셀로서 선택될 수 있고, 그리고 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제2 픽셀이 상기 소스 픽셀로서 선택될 수 있다. 상기 분할 픽셀 이미지 데이터의 제4 사분면에 위치된 아웃-오브-포커스 픽셀에 대해: 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제4 픽셀이 상기 소스 픽셀로서 선택될 수 있고, 그리고 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제1 픽셀이 상기 소스 픽셀로서 선택될 수 있다.

일부 실시예에서, 각각의 아웃-오브-포커스 픽셀에 대한 소스 픽셀을 선택하는 단계는 상기 분할 픽셀 이미지 데이터의 제1 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 또는 피사계 심도 앞에 포지셔닝되는지 여부를 결정하는 단계를 포함한다. 각각의 아웃-오브-포커스 픽셀에 대한 소스 픽셀을 선택하는 단계는 상기 분할 픽셀 이미지 데이터의 제1 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 대응 제1 픽셀을 소스 픽셀로서 선택하는 단계, 또는 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 대응 제4 픽셀을 소스 픽셀로서 선택하는 단계를 포함할 수 있다.

각각의 아웃-오브-포커스 픽셀에 대한 소스 픽셀을 선택하는 단계는 상기 분할 픽셀 이미지 데이터의 제2 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 또는 피사계 심도 앞에 포지셔닝되는지 여부를 결정하는 단계를 더 포함한다. 각각의 아웃-오브-포커스 픽셀에 대한 소스 픽셀을 선택하는 단계는 상기 분할 픽셀 이미지 데이터의 제2 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 대응 제2 픽셀을 소스 픽셀로서 선택하는 단계, 또는 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 대응 제3 픽셀을 소스 픽셀로서 선택하는 단계를 포함할 수 있다.

각각의 아웃-오브-포커스 픽셀에 대한 소스 픽셀을 선택하는 단계는 상기 분할 픽셀 이미지 데이터의 제3 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 또는 피사계 심도 앞에 포지셔닝되는지 여부를 결정하는 단계를 추가적으로 포함한다. 각각의 아웃-오브-포커스 픽셀에 대한 소스 픽셀을 선택하는 단계는 상기 분할 픽셀 이미지 데이터의 제3 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 대응 제3 픽셀을 소스 픽셀로서 선택하는 단계, 또는 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 대응 제2 픽셀을 소스 픽셀로서 선택하는 단계를 포함할 수 있다.

각각의 아웃-오브-포커스 픽셀에 대한 소스 픽셀을 선택하는 단계는 상기 분할 픽셀 이미지 데이터의 제4 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 또는 피사계 심도 앞에 포지셔닝되는지 여부를 결정하는 단계를 더 포함한다. 각각의 아웃-오브-포커스 픽셀에 대한 소스 픽셀을 선택하는 단계는 상기 분할 픽셀 이미지 데이터의 제4 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 대응 제4 픽셀을 소스 픽셀로서 선택하는 단계, 또는 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 대응 제1 픽셀을 소스 픽셀로서 선택하는 단계를 포함할 수 있다.

일부 실시예에서, 분할 픽셀 이미지 데이터는 제1 서브 이미지, 제2 서브 이미지, 제3 서브 이미지 및 제4 서브 이미지를 포함할 수 있다. 대응 픽셀 값을 결정하는 단계는 각각의 아웃-오브-포커스 픽셀에 대해, (i) 상기 피사계 심도와 관련한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션 및 (ii) 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치에 기초하여, 상기 대응 제1 픽셀에 대한 제1 가중치, 상기 대응 제2 픽셀에 대한 제2 가중치, 상기 제3 서브 이미지에서 대응 제3 픽셀에 대한 제3 가중치 및 상기 제4 서브 이미지에서 대응 제4 픽셀에 대한 제4 가중치를 결정하는 단계를 포함할 수 있다. 각각의 아웃-오브-포커스 픽셀에 대해, (i) 상기 대응 제1 픽셀의 상기 제1 값과 상기 제1 가중치의 제1 곱, (ii) 상기 대응 제2 픽셀의 상기 제2 값과 상기 제2 가중치의 제2 곱, (iii) 상기 대응 제3 픽셀의 제3 값과 상기 제3 가중치의 제3 곱 및 (ii) 상기 대응 제4 픽셀의 제4 값과 상기 제4 가중치의 제4 곱에 기초하여 상기 대응 픽셀 값이 결정될 수 있다.

일부 실시예에서, 상기 분할 픽셀 이미지 데이터의 제1 사분면에 위치된 아웃-오브-포커스 픽셀에 대해: 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제1 픽셀에 대한 제1 가중치는 상기 대응 제2 픽셀에 대한 제2 가중치, 상기 대응 제3 픽셀에 대한 제3 가중치 및 상기 대응 제4 픽셀에 대한 제4 가중치보다 클 수 있고, 그리고 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제4 픽셀에 대한 제4 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치, 상기 대응 제2 픽셀에 대한 제2 가중치 및 상기 대응 제3 픽셀에 대한 제3 가중치보다 클 수 있다. 상기 분할 픽셀 이미지 데이터의 제2 사분면에 위치된 아웃-오브-포커스 픽셀에 대해: 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제2 픽셀에 대한 제2 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치, 상기 대응 제3 픽셀에 대한 제3 가중치 및 상기 대응 제4 픽셀에 대한 제4 가중치보다 클 수 있고, 그리고 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제3 픽셀에 대한 제3 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치, 상기 대응 제2 픽셀에 대한 제2 가중치 및 상기 대응 제4 픽셀에 대한 제4 가중치보다 클 수 있다. 상기 분할 픽셀 이미지 데이터의 제3 사분면에 위치된 아웃-오브-포커스 픽셀에 대해: 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제3 픽셀에 대한 제3 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치, 상기 대응 제2 픽셀에 대한 제2 가중치 및 상기 대응 제4 픽셀에 대한 제4 가중치보다 클 수 있고, 그리고 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제2 픽셀에 대한 제2 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치, 상기 대응 제3 픽셀에 대한 제3 가중치 및 상기 대응 제4 픽셀에 대한 제4 가중치보다 클 수 있다. 상기 분할 픽셀 이미지 데이터의 제4 사분면에 위치된 아웃-오브-포커스 픽셀에 대해: 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제4 픽셀에 대한 제4 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치, 상기 대응 제2 픽셀에 대한 제2 가중치 및 상기 대응 제3 픽셀에 대한 제3 가중치보다 클 수 있고, 그리고 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제1 픽셀에 대한 제1 가중치는 상기 대응 제2 픽셀에 대한 제2 가중치, 상기 대응 제3 픽셀에 대한 제3 가중치 및 상기 대응 제4 픽셀에 대한 제4 가중치보다 클 수 있다.

일부 실시예에서, 상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치를 결정하는 단계는 상기 분할 픽셀 이미지 데이터의 제1 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 또는 피사계 심도 앞에 포지셔닝되는지 여부를 결정하는 단계를 포함할 수 있다. 상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치를 결정하는 단계는 상기 분할 픽셀 이미지 데이터의 제1 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치보다 큰 상기 제1 가중치를 결정하는 단계, 또는 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 상기 제1 가중치, 상기 제2 가중치 및 상기 제3 가중치보다 큰 상기 제4 가중치를 결정하는 단계를 포함할 수 있다.

상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치를 결정하는 단계는 상기 분할 픽셀 이미지 데이터의 제2 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 또는 피사계 심도 앞에 포지셔닝되는지 여부를 결정하는 단계를 더 포함할 수 있다. 상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치를 결정하는 단계는 상기 분할 픽셀 이미지 데이터의 제2 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 상기 제1 가중치, 상기 제3 가중치 및 상기 제4 가중치보다 큰 상기 제2 가중치를 결정하는 단계, 또는 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 상기 제1 가중치, 상기 제2 가중치 및 상기 제4 가중치보다 큰 상기 제3 가중치를 결정하는 단계를 더 포함할 수 있다.

상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치를 결정하는 단계는 상기 분할 픽셀 이미지 데이터의 제3 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 또는 피사계 심도 앞에 포지셔닝되는지 여부를 결정하는 단계를 더 포함할 수 있다. 상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치를 결정하는 단계는 상기 분할 픽셀 이미지 데이터의 제3 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 상기 제1 가중치, 상기 제2 가중치 및 상기 제4 가중치보다 큰 상기 제3 가중치를 결정하는 단계, 또는 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 상기 제1 가중치, 상기 제3 가중치 및 상기 제4 가중치보다 큰 상기 제2 가중치를 결정하는 단계를 더 포함할 수 있다.

상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치를 결정하는 단계는 상기 분할 픽셀 이미지 데이터의 제4 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 또는 피사계 심도 앞에 포지셔닝되는지 여부를 결정하는 단계를 더 포함할 수 있다. 상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치를 결정하는 단계는 상기 분할 픽셀 이미지 데이터의 제4 사분면에 위치된 아웃-오브-포커스 픽셀에 대해, 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 상기 제1 가중치, 상기 제2 가중치 및 상기 제3 가중치보다 큰 상기 제4 가중치를 결정하는 단계, 또는 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝된다는 결정에 기초하여 및/또는 그에 응답하여, 상기 제2 가중치, 상기 제3 가중치 및 상기 제4 가중치보다 큰 상기 제1 가중치를 결정하는 단계를 더 포함할 수 있다.

일부 실시예에서, 상기 분할 픽셀 이미지 데이터의 각각의 서브 이미지는 상기 분할 픽셀 카메라의 대응 포토사이트에 의한 단일 노출의 일부로서 캡처되었을 수 있다.

일부 실시예에서, 복수의 픽셀의 각각의 개별 픽셀에 의해 표현되는 장면 피처의 대응 포지션에 기초하여, 복수의 픽셀들 중 하나 이상의 인-포커스 픽셀이 식별될 수 있다. 하나 이상의 인-포커스 픽셀에 의해 표현되는 장면 피처는 피사계 심도 내에 포지셔닝될 수 있다. 상기 하나 이상의 인-포커스 픽셀의 각각의 인-포커스 픽셀에 대해, 상기 제1 서브 이미지 내에서 상기 대응 제1 픽셀의 제1 값과 상기 제2 서브 이미지에서 상기 대응 제2 픽셀의 제2 값을 가산함으로써 대응 픽셀 값을 결정할 수 있다. 상기 개선된 이미지는 각각의 인-포커스 픽셀에 대해 결정된 대응 픽셀 값에 더 기초하여 생성될 수 있다.

일부 실시예에서, 분할 픽셀 카메라의 피사계 심도에 대한 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션을 결정하는 단계는 상기 분할 픽셀 이미지 데이터의 복수의 픽셀들 중 각각의 픽셀에 대해, 제1 서브 이미지에서 대응 제1 픽셀과 상기 제2 서브 이미지에서 대응 제2 픽셀 간의 차이를 결정하는 단계, 및 상기 분할 픽셀 이미지 데이터의 복수의 픽셀들 중 각각의 픽셀에 대해, 상기 차이에 기초하여 상기 대응 포지션을 결정하는 단계를 포함할 수 있다.

결론

본 개시는 본 출원에 기술된 특정한 실시예에 의해 제한되지 않으며, 이는 다양한 양태들의 예시로서 의도되었다. 통상의 기술자에게 명백한 바와 같이, 많은 수정 및 변형이 본 발명의 범위를 벗어나지 않고 이루어질 수 있다. 본원에 설명된 것 외에, 본 개시의 범위 내의 기능적으로 균등한 방법 및 장치는 전술 한 설명으로부터 통상의 기술자에게 명백할 것이다. 이러한 수정 및 변형은 첨부된 청구항들의 범위 내에 속한다.

상기 상세한 설명은 첨부된 도면을 참조하여 개시된 시스템, 장치 및 방법의 다양한 구성 및 동작을 설명한다. 도면에서, 컨텍스트가 달리 지시하지 않는 한, 유사한 기호는 일반적으로 유사한 컴포넌트들을 나타낸다. 본 명세서에 기술된 예시적 실시예 및 도면은 제한을 의미하지 않는다. 다른 실시예들도 활용될 수 있고, 본 명세서에 제시된 주제의 범위로부터 벗어남 없이 다른 변경들이 이루어질 수 있다. 본 명세서에 일반적으로 기술되고 도면들에 도시된 것으로서 본 개시의 양태들은 광범위한 상이한 구성들로 배열, 대체, 조합, 분리 및 디자인될 수 있다.

도면에서 그리고 본 명세서에서 논의된 바와 같이 메시지 플로우 다이어그램, 시나리오 및 흐름도 중 일부 또는 전부와 관련하여, 각 단계, 블록 및/또는 통신은 예시적 실시예에 따른 정보의 프로세싱 및/또는 정보의 전송을 나타낼 수 있다. 대안적 실시예가 이들 예시적 실시예의 범위 내에 포함된다. 이러한 대안적 실시예들에서, 예를 들어, 단계들, 블록들, 전송들, 통신들, 요청들, 응답들 및/또는 메시지들로서 기술된 동작들은 관련된 기능에 따라 실질적으로 동시 또는 역순을 포함하여 도시되거나 논의된 것으로부터 순서가 불일치할 수 있다. 또한, 더 많거나 적은 블록 및/또는 동작이 본 명세서에서 논의된 임의의 메시지 플로우 다이어그램, 시나리오 및 흐름도와 함께 사용될 수 있고, 이들 메시지 플로우 다이어그램, 시나리오 및 흐름도는 부분적으로 또는 전체적으로 서로 결합될 수 있다.

정보의 프로세싱을 표현하는 단계 또는 블록은 본 명세서에 기술된 방법 또는 기법의 특정한 논리적 기능들을 수행하도록 구성될 수 있는 회로에 대응할 수 있다. 대안적으로 또는 추가적으로, 정보의 프로세싱을 표현하는 블록은(관련 데이터를 포함하는) 프로그램 코드의 모듈, 세그먼트 또는 부분에 대응할 수 있다. 프로그램 코드는 상기 방법 또는 기법의 특정한 논리적 동작들 또는 액션들을 구현하기 위한 프로세서에 의해 실행가능한 하나 이상의 명령어들을 포함할 수 있다. 프로그램 코드 및/또는 관련 데이터는 랜덤 액세스 메모리(RAM), 디스크 드라이브, 솔리드 스테이드 드라이브 또는 다른 저장 매체를 포함하는 저장 디바이스와 같은 임의의 유형의 컴퓨터 판독가능 매체에 저장될 수 있다.

또한, 컴퓨터 판독가능 매체는 레지스터 메모리, 프로세서 캐시 및 RAM 같은 단기로 데이터를 저장하는 컴퓨터 판독가능 매체와 같은 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 또한, 컴퓨터 판독가능 매체는 장기로 프로그램 코드 및/또는 데이터를 저장하는 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 따라서, 컴퓨터 판독가능 매체는 예를 들면, ROM, 광학 또는 자기 디스크, SSD, CD-ROM 같은 2차적 또는 영구적 장기 저장소를 포함할 수 있다. 또한, 컴퓨터 판독가능 매체는 임의의 기타 휘발성 또는 비휘발성 저장 시스템일 수 있다. 컴퓨터 판독가능 매체는 예를 들면 컴퓨터 판독가능 저장 매체 또는 유형적 저장 디바이스로 고려될 수 있다.

또한, 하나 이상의 정보 전송을 나타내는 단계 또는 블록은 동일한 물리적 디바이스에서 소프트웨어 및/또는 하드웨어 모듈 간의 정보 전송에 대응할 수 있다. 그러나, 다른 정보 전송은 상이한 물리적 디바이스들에서 소프트웨어 모듈 및/또는 하드웨어 모듈들 사이에서 이루어질 수 있다.

도면들에 도시된 특정 배열들은 제한으로서 보여져서는 아니된다. 다른 실시예는 해당 도면에서 도시된 각 엘리먼트보다 더 많게 또는 더 적게 포함할 수 있다는 것이 이해되어야 한다. 추가로, 도시된 엘리먼트의 일부는 조합되거나 생략될 수 있다. 추가로, 예시적 실시예는 도면들에 도시되지 않은 엘리먼트들을 포함할 수 있다.

다양한 양태들 및 실시예들이 개시되었지만, 다른 양태들 및 실시예들이 통상의 기술자에게 명백해질 것이다. 본 명세서에 개시된 다양한 양태들 및 실시예들은 후술하는 청구항들에 의해 표시된 진정한 범위와 함께 예시적이며, 제한하기 위한 것으로 의도되지 않았다.

Claims

컴퓨터로 구현되는 방법으로서,
이미지 센서를 포함하는 분할 픽셀 카메라에 의해 캡처된 분할 픽셀 이미지 데이터를 획득하는 단계, 상기 이미지 센서의 픽셀들의 각 픽셀은 제1 포토사이트(L)과 제2 포토사이트(R)을 포함하며, 상기 분할 픽셀 이미지 데이터는 상기 제1 포토사이트에 의해 생성된 이미지 데이터에 대응하는 제1 서브 이미지 및 상기 제2 포토사이트에 의해 생성된 이미지 데이터에 대응하는 제2 서브 이미지를 포함하며;
상기 분할 픽셀 이미지 데이터의 복수의 픽셀들 중 각각의 픽셀에 대해, 상기 분할 픽셀 카메라의 피사계 심도에 대한 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션을 결정하는 단계;
상기 복수의 픽셀들 중 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션에 기초하여, 상기 복수의 픽셀들 중 하나 이상의 아웃-오브-포커스 픽셀을 식별하는 단계, 상기 하나 이상의 아웃-오브-포커스 픽셀로 표현되는 장면 피처는 피사계 심도 외부에 포지셔닝되며;
상기 하나 이상의 아웃-오브-포커스 픽셀의 각각의 아웃-오브-포커스 픽셀에 대해, 상기 제1 서브 이미지에서 대응 제1 픽셀의 제1 값 및 상기 제2 서브 이미지에서 대응 제2 픽셀의 제2 값에 기초하여, 증가된 선명도를 갖는 대응 픽셀 값을 결정하는 단계, 상기 제1 및 제2 값 각각의 대응 픽셀에 대한 기여는 상기 대응 제1 및 제2 픽셀의 주파수 콘텐츠 및 (i) 상기 피사계 심도와 관련한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션 및 (ii) 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치 사이의 매핑에 기초하여 결정되며, 이들 두 픽셀들 중 보다 높은 주파수 콘텐츠를 갖는 상기 제1 또는 제2 픽셀은 보다 낮은 주파수 콘텐츠를 갖는 픽셀보다 더 많은 기여를 하며; 및
각각의 아웃-오브-포커스 픽셀에 대해 결정된 상기 대응 픽셀 값에 기초하여, 확장된 피사계 심도를 갖는 개선된 이미지를 생성하는 단계를 포함하는, 방법.
청구항 1에 있어서, 상기 대응 픽셀 값을 결정하는 단계는:
각각의 아웃-오브-포커스 픽셀에 대해, 상기 대응 제1 및 제2 픽셀의 주파수 콘텐츠 및 (i) 상기 피사계 심도와 관련한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션 및 (ii) 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치 사이의 매핑에 기초하여, 상기 각각의 아웃-오브-포커스 픽셀에 대한 배타적 소스 픽셀로서 상기 대응 제1 픽셀 또는 상기 대응 제2 픽셀 중 하나를 선택하는 단계; 및
각각의 아웃-오브-포커스 픽셀에 대해, 상기 배타적 소스 픽셀의 값에 기초하여, 대응 픽셀 값을 결정하는 단계를 포함하는, 방법.
청구항 2에 있어서,
상기 분할 픽셀 이미지 데이터의 제1 반부에 위치된 아웃-오브-포커스 픽셀에 대해:
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제1 픽셀이 상기 배타적 소스 픽셀로서 선택되고; 그리고
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제2 픽셀이 상기 배타적 소스 픽셀로서 선택되고; 그리고
상기 분할 픽셀 이미지 데이터의 제2 반부에 위치된 아웃-오브-포커스 픽셀에 대해:
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제2 픽셀이 상기 배타적 소스 픽셀로서 선택되고; 그리고
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제1 픽셀이 상기 배타적 소스 픽셀로서 선택되는, 방법.
청구항 1에 있어서, 상기 대응 픽셀 값을 결정하는 단계는:
각각의 아웃-오브-포커스 픽셀에 대해, 상기 대응 제1 및 제2 픽셀의 주파수 콘텐츠 및 (i) 상기 피사계 심도와 관련한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션 및 (ii) 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치 사이의 매핑에 기초하여, 상기 대응 제1 픽셀에 대한 제1 가중치 및 상기 대응 제2 픽셀에 대한 제2 가중치를 결정하는 단계; 및
각각의 아웃-오브-포커스 픽셀에 대해, (i) 상기 대응 제1 픽셀의 상기 제1 값과 상기 제1 가중치의 제1 곱 및 (ii) 상기 대응 제2 픽셀의 상기 제2 값과 상기 제2 가중치의 제2 곱에 기초하여 상기 대응 픽셀 값을 결정하는 단계를 포함하는, 방법.
청구항 4에 있어서,
상기 분할 픽셀 이미지 데이터의 제1 반부에 위치된 아웃-오브-포커스 픽셀에 대해:
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제1 픽셀에 대한 제1 가중치는 상기 대응 제2 픽셀에 대한 제2 가중치보다 크고; 그리고
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제2 픽셀에 대한 제2 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치보다 크고; 그리고
상기 분할 픽셀 이미지 데이터의 제2 반부에 위치된 아웃-오브-포커스 픽셀에 대해:
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제2 픽셀에 대한 제2 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치보다 크고; 그리고
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제1 픽셀에 대한 제1 가중치는 상기 대응 제2 픽셀에 대한 제2 가중치보다 큰, 방법.
청구항 4에 있어서, 상기 제1 가중치 및 상기 제2 가중치를 결정하는 단계는:
상기 분할-픽셀 이미지 데이터 내에 존재하는 복수의 공간 주파수들 중 각각의 공간 주파수에 대해, (i) 상기 제1 서브 이미지 내 각각의 공간 주파수의 제1 크기 및 (ii) 상기 제2 서브 이미지 내 각각의 공간 주파수의 제2 크기를 결정하는 단계;
각각의 공간 주파수에 대해, 상기 제1 크기와 상기 제2 크기 사이의 차이를 결정하는 단계;
각각의 공간 주파수에 대해, 상기 제1 크기에 대한 제1 가중치 및 상기 제2 크기에 대한 제2 가중치를 결정하는 단계,
임계 주파수를 초과하고 임계값을 초과하는 차이와 연관된 각각의 공간 주파수에 대해, 상기 제1 가중치는 상기 제2 가중치와 상이하고, 상기 제1 가중치 및 상기 제2 가중치는 피사계 심도에 대한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션에 기초하며,
(i) 상기 임계 주파수 미만 또는 (ii) 상기 임계 주파수를 초과하고 상기 임계값을 초과하지 않는 차이와 연관된 각각의 공간 주파수에 대해, 상기 제1 가중치는 상기 제2 가중치와 동일하며; 그리고
각각의 아웃-오브-포커스 픽셀에 대해, (i) 상기 대응 제1 픽셀의 제1 값에 의해 표현되는 각각의 공간 주파수에 대한 제1 크기와 제1 가중치의 제1 복수의 곱 및 (ii) 상기 대응 제2 픽셀의 제2 값에 의해 표현되는 각각의 공간 주파수에 대한 제2 크기와 제2 가중치의 제2 복수의 곱의 합에 기초하여 상기 대응 픽셀 값을 결정하는 단계를 포함하는, 방법.
청구항 1에 있어서, 상기 분할 픽셀 이미지 데이터는 상기 제1 서브 이미지, 상기 제2 서브 이미지, 제3 서브 이미지 및 제4 서브 이미지를 포함하고, 상기 대응 픽셀 값을 결정하는 단계는:
각각의 아웃-오브-포커스 픽셀에 대해, 상기 대응 제1 및 제2 픽셀의 주파수 콘텐츠 및 (i) 상기 피사계 심도와 관련한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션 및 (ii) 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치 사이의 매핑에 기초하여, 상기 각각의 아웃-오브-포커스 픽셀에 대한 배타적 소스 픽셀로서, 상기 제1 서브 이미지에서 상기 대응 제1 픽셀, 상기 제2 서브 이미지에서 상기 대응 제2 픽셀, 상기 제3 서브 이미지에서 대응 제3 픽셀 또는 상기 제4 서브 이미지에서 대응 제4 픽셀 중 하나를 선택하는 단계; 및
각각의 아웃-오브-포커스 픽셀에 대해, 상기 배타적 소스 픽셀의 값에 기초하여, 대응 픽셀 값을 결정하는 단계를 포함하는, 방법.
청구항 7에 있어서,
상기 분할 픽셀 이미지 데이터의 제1 사분면에 위치된 아웃-오브-포커스 픽셀에 대해:
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제1 픽셀이 상기 배타적 소스 픽셀로서 선택되고; 그리고
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제4 픽셀이 상기 배타적 소스 픽셀로서 선택되며;
상기 분할 픽셀 이미지 데이터의 제2 사분면에 위치된 아웃-오브-포커스 픽셀에 대해:
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제2 픽셀이 상기 배타적 소스 픽셀로서 선택되고; 그리고
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제3 픽셀이 상기 배타적 소스 픽셀로서 선택되며;
상기 분할 픽셀 이미지 데이터의 제3 사분면에 위치된 아웃-오브-포커스 픽셀에 대해:
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제3 픽셀이 상기 배타적 소스 픽셀로서 선택되고; 그리고
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제2 픽셀이 상기 배타적 소스 픽셀로서 선택되며; 그리고
상기 분할 픽셀 이미지 데이터의 제4 사분면에 위치된 아웃-오브-포커스 픽셀에 대해:
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제4 픽셀이 상기 배타적 소스 픽셀로서 선택되고; 그리고
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제1 픽셀이 상기 배타적 소스 픽셀로서 선택되는, 방법.
청구항 1에 있어서, 상기 분할 픽셀 이미지 데이터는 상기 제1 서브 이미지, 상기 제2 서브 이미지, 제3 서브 이미지 및 제4 서브 이미지를 포함하고, 상기 대응 픽셀 값을 결정하는 단계는:
각각의 아웃-오브-포커스 픽셀에 대해, 상기 대응 제1 및 제2 픽셀의 주파수 콘텐츠 및 (i) 상기 피사계 심도와 관련한 각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처의 대응 포지션 및 (ii) 상기 분할 픽셀 이미지 데이터 내의 각각의 아웃-오브-포커스 픽셀의 위치 사이의 매핑에 기초하여, 상기 대응 제1 픽셀에 대한 제1 가중치, 상기 대응 제2 픽셀에 대한 제2 가중치, 상기 제3 서브 이미지에서 대응 제3 픽셀에 대한 제3 가중치 및 상기 제4 서브 이미지에서 대응 제4 픽셀에 대한 제4 가중치를 결정하는 단계; 및
각각의 아웃-오브-포커스 픽셀에 대해, (i) 상기 대응 제1 픽셀의 상기 제1 값과 상기 제1 가중치의 제1 곱, (ii) 상기 대응 제2 픽셀의 상기 제2 값과 상기 제2 가중치의 제2 곱, (iii) 상기 대응 제3 픽셀의 제3 값과 상기 제3 가중치의 제3 곱 및 (ii) 상기 대응 제4 픽셀의 제4 값과 상기 제4 가중치의 제4 곱에 기초하여 상기 대응 픽셀 값을 결정하는 단계를 포함하는, 방법.
청구항 9에 있어서,
상기 분할 픽셀 이미지 데이터의 제1 사분면에 위치된 아웃-오브-포커스 픽셀에 대해:
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제1 픽셀에 대한 제1 가중치는 상기 대응 제2 픽셀에 대한 제2 가중치, 상기 대응 제3 픽셀에 대한 제3 가중치 및 상기 대응 제4 픽셀에 대한 제4 가중치보다 크고; 그리고
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제4 픽셀에 대한 제4 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치, 상기 대응 제2 픽셀에 대한 제2 가중치 및 상기 대응 제3 픽셀에 대한 제3 가중치보다 크고;
상기 분할 픽셀 이미지 데이터의 제2 사분면에 위치된 아웃-오브-포커스 픽셀에 대해:
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제2 픽셀에 대한 제2 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치, 상기 대응 제3 픽셀에 대한 제3 가중치 및 상기 대응 제4 픽셀에 대한 제4 가중치보다 크고; 그리고
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제3 픽셀에 대한 제3 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치, 상기 대응 제2 픽셀에 대한 제2 가중치 및 상기 대응 제4 픽셀에 대한 제4 가중치보다 크고;
상기 분할 픽셀 이미지 데이터의 제3 사분면에 위치된 아웃-오브-포커스 픽셀에 대해:
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제3 픽셀에 대한 제3 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치, 상기 대응 제2 픽셀에 대한 제2 가중치 및 상기 대응 제4 픽셀에 대한 제4 가중치보다 크고; 그리고
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제2 픽셀에 대한 제2 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치, 상기 대응 제3 픽셀에 대한 제3 가중치 및 상기 대응 제4 픽셀에 대한 제4 가중치보다 크고; 그리고
상기 분할 픽셀 이미지 데이터의 제4 사분면에 위치된 아웃-오브-포커스 픽셀에 대해:
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 뒤에 포지셔닝되는 경우, 상기 대응 제4 픽셀에 대한 제4 가중치는 상기 대응 제1 픽셀에 대한 제1 가중치, 상기 대응 제2 픽셀에 대한 제2 가중치 및 상기 대응 제3 픽셀에 대한 제3 가중치보다 크고; 그리고
각각의 아웃-오브-포커스 픽셀에 의해 표현되는 장면 피처가 피사계 심도 앞에 포지셔닝되는 경우, 상기 대응 제1 픽셀에 대한 제1 가중치는 상기 대응 제2 픽셀에 대한 제2 가중치, 상기 대응 제3 픽셀에 대한 제3 가중치 및 상기 대응 제4 픽셀에 대한 제4 가중치보다 큰, 방법.
청구항 1에 있어서, 상기 분할 픽셀 이미지 데이터의 각각의 서브 이미지는 상기 분할 픽셀 카메라의 이미지 센서의 복수의 픽셀들의 대응 포토사이트에 의한 단일 노출의 일부로서 캡처되었던 것인, 방법.
청구항 1에 있어서,
상기 복수의 픽셀들 중 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션에 기초하여, 상기 복수의 픽셀들 중 하나 이상의 인-포커스 픽셀을 식별하는 단계, 상기 하나 이상의 인-포커스 픽셀로 표현되는 장면 피처는 피사계 심도 내에 포지셔닝되며; 및
상기 하나 이상의 인-포커스 픽셀의 각각의 인-포커스 픽셀에 대해, 상기 제1 서브 이미지 내에서 상기 대응 제1 픽셀의 제1 값과 상기 제2 서브 이미지에서 상기 대응 제2 픽셀의 제2 값을 가산함으로써 대응 픽셀 값을 결정하는 단계를 더 포함하며, 상기 개선된 이미지는 각각의 인-포커스 픽셀에 대해 결정된 대응 픽셀 값에 더 기초하여 생성되는, 방법.
청구항 1에 있어서, 상기 분할 픽셀 카메라의 피사계 심도에 대한 각각의 픽셀에 의해 표현되는 장면 피처의 대응 포지션을 결정하는 단계는:
상기 분할 픽셀 이미지 데이터의 복수의 픽셀들 중 각각의 픽셀에 대해, 제1 서브 이미지에서 대응 제1 픽셀과 상기 제2 서브 이미지에서 대응 제2 픽셀 간의 차이를 결정하는 단계; 및
상기 분할 픽셀 이미지 데이터의 복수의 픽셀들 중 각각의 픽셀에 대해, 상기 차이에 기초하여 상기 대응 포지션을 결정하는 단계를 포함하는, 방법.
시스템으로서,
프로세서; 및
명령어가 저장된 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어는 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금 청구항 1 내지 13 중 어느 한 항의 방법을 수행하게 하도록 구성되는, 시스템.
명령어가 저장된 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어는 컴퓨팅 디바이스에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금 청구항 1 내지 13 중 어느 한 항의 방법을 수행하게 하도록 구성되는, 비일시적 컴퓨터 판독가능 매체.