KR102606209B1 - 듀얼-픽셀 이미지 데이터를 사용한 디포커스 블러 제거 및 깊이 추정 - Google Patents

Abstract

방법은 제1 서브-이미지 및 제2 서브-이미지를 포함하는 듀얼-픽셀 이미지 데이터를 획득하는 단계, 및 인-포커스 이미지, 제1 서브-이미지에 대응하는 제1 커널, 및 제2 서브-이미지에 대응하는 제2 커널을 생성하는 단계를 포함한다. 손실 값은 (i) 제1 서브-이미지와 제2 커널의 컨볼루션 및 (ii) 제2 서브-이미지와 제1 커널의 컨볼루션 간의 차이를 결정하는 손실 함수, 및/또는 (i) 제1 커널과 인-포커스 이미지의 컨볼루션과 제1 서브-이미지 간의 차이 및 (ii) 제2 커널과 인-포커스 이미지의 컨볼루션과 제2 서브-이미지 간의 차이의 합을 사용하여 결정될 수 있다. 손실 값 및 손실 함수에 기초하여, 인-포커스 이미지, 제1 커널 및/또는 제2 커널이 업데이트되어 디스플레이될 수 있다.

Description

듀얼-픽셀 이미지 데이터를 사용한 디포커스 블러 제거 및 깊이 추정

본 명세서는 듀얼-픽셀 이미지 데이터를 사용한 디포커스 블러 제거 및 깊이 추정에 관한 것이다.

해당 객체가 이미지을 촬영하는 카메라 장치의 피사계 심도 밖에 위치하여 이미지의 일부가 흐려(블러)질 수 있다. 흐림(블러링) 정도는 피사계 심도에 대한 해당 객체의 위치에 따라 달라질 수 있으며, 해당 객체가 카메라 방향 또는 카메라에서 멀어지는 방향으로 피사계 심도에서 멀어질수록 흐림 정도가 증가한다. 어떤 경우에는 이미지 블러링이 바람직하지 않으며 다양한 이미지 프로세싱 기술, 모델 및/또는 알고리즘을 사용하여 조정하거나 수정할 수 있다.

듀얼-픽셀 이미지 데이터는 듀얼-픽셀 이미지 데이터에 대응하는 인-포커스(in-focus) 이미지 및/또는 깊이 맵을 복구하는 데 사용될 수 있는 디포커스 큐(defocus cue)를 포함할 수 있다. 구체적으로, 듀얼-픽셀 이미지 데이터는 제1 서브-이미지 및 제2 서브-이미지를 포함할 수 있다. 인-포커스 이미지는 제1 블러 커널과 컨볼루션될 때 제1 서브-이미지 및/또는 그 근사치를 생성할 수 있고, 제2 블러 커널과 컨볼루션될 때, 제2 서브-이미지 및/또는 그의 근사치를 생성할 수 있다. 인-포커스 이미지, 블러 커널 및 듀얼-픽셀 이미지 데이터 간의 이러한 관계를 기반으로 손실 함수가 공식화될 수 있다. 손실 함수는 인-포커스 이미지를 생성하도록 구성된 수학적 모델 및 일부 경우에 제1 및 제2 블러 커널을 생성하도록 구성된 하나 이상의 수학적 모델을 훈련하는 데 사용될 수 있다. 블러 커널은 복수의 크기 스케일에서 인-포커스 이미지 및/또는 듀얼-픽셀 이미지 데이터에 적용되어 코스트 볼륨을 생성할 수 있다. 코스트 볼륨은 인-포커스 이미지의 각각의 픽셀에 대해, 제1 및 제2 블러 커널을 적용하고, 이에 의해 각각의 픽셀과 연관된 깊이를 나타내는 대응하는 크기 스케일을 선택하는 데 사용될 수 있다.

제1 예시적인 실시예에서, 방법은 제1 서브-이미지 및 제2 서브-이미지를 포함하는 듀얼-픽셀 이미지 데이터를 획득하는 단계를 포함할 수 있다. 방법은 또한 (i) 인-포커스 이미지, (ii) 제1 서브-이미지에 대응하는 제1 블러 커널, 및 (iii) 제2 서브-이미지에 대응하는 제2 블러 커널을 결정하는 단계를 포함할 수 있다. 방법은 (i) 제2 블러 커널과 제1 서브-이미지의 컨볼루션과 (ii) 제1 블러 커널과 제2 서브-이미지의 컨볼루션 차이를 결정하도록 구성된 등가 손실 항, 또는 (i) 제1 블러 커널과 인-포커스 이미지의 컨볼루션과 상기 제1 서브-이미지 간의 차이 및 (ii) 제2 서브-이미지와 상기 인-포커스 이미지의 컨볼루션과 제2 서브 이미지 간의 차이의 합을 결정하도록 구성된 데이터 손실 항, 중 하나 이상을 포함하는 손실 함수를 사용하여 손실 값을 결정하는 단계를 더 포함할 수 있다. 방법은, 손실 값 및 손실 함수에 기초하여, (i) 인-포커스 이미지, (ii) 제1 블러 커널, 또는 (iii) 제2 블러 커널 중 하나 이상을 업데이트하는 단계를 더 포함할 수 있다. 방법은 (i) 업데이트된 인-포커스 이미지, (ii) 업데이트된 제1 블러 커널, 또는 (iii) 업데이트된 제2 블러 커널 중 하나 이상에 기초하여 이미지 데이터를 생성하는 단계를 더 포함할 수 있다.

제2 예시적인 실시예에서, 시스템은 프로세서, 및 프로세서에 의해 실행될 때 프로세서가 동작을 수행하게 하는 명령어가 저장된 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 동작은 제1 서브-이미지 및 제2 서브-이미지를 포함하는 듀얼-픽셀 이미지 데이터를 획득하는 것을 포함할 수 있다. 동작은 또한 (i) 인-포커스 이미지, (ii) 제1 서브-이미지에 대응하는 제1 블러 커널, 및 (iii) 제2 서브-이미지에 대응하는 제2 블러 커널을 결정하는 것을 포함할 수 있다. 동작은 (i) 제2 블러 커널과 제1 서브-이미지의 컨볼루션과 (ii) 제1 블러 커널과 제2 서브-이미지의 컨볼루션 차이를 결정하도록 구성된 등가 손실 항, 또는 (i) 제1 블러 커널과 인-포커스 이미지의 컨볼루션과 상기 제1 서브-이미지 간의 차이 및 (ii) 제2 서브-이미지와 상기 인-포커스 이미지의 컨볼루션과 제2 서브 이미지 간의 차이의 합을 결정하도록 구성된 데이터 손실 항, 중 하나 이상을 포함하는 손실 함수를 사용하여 손실 값을 결정하는 것을 추가로 포함할 수 있다. 동작은 손실 값 및 손실 함수에 기초하여, (i) 인-포커스 이미지, (ii) 제1 블러 커널, 또는 (iii) 제2 블러 커널 중 하나 이상을 업데이트하는 것을 더 포함할 수 있다. 동작은 (i) 업데이트된 인-포커스 이미지, (ii) 업데이트된 제1 블러 커널, 또는 (iii) 업데이트된 제2 블러 커널 중 하나 이상에 기초하여 이미지 데이터를 생성하는 것을 더 포함할 수 있다.

제3 예시적인 실시예에서, 비일시적 컴퓨터 판독가능 매체는 컴퓨팅 장치에 의해 실행될 때 컴퓨팅 장치가 동작을 수행하게 하는 명령어를 저장할 수 있다. 동작은 제1 서브-이미지 및 제2 서브-이미지를 포함하는 듀얼-픽셀 이미지 데이터를 획득하는 것을 포함할 수 있다. 동작은 또한 (i) 인-포커스 이미지, (ii) 제1 서브-이미지에 대응하는 제1 블러 커널, 및 (iii) 제2 서브-이미지에 대응하는 제2 블러 커널을 결정하는 것을 포함할 수 있다. 동작은 (i) 제2 블러 커널과 제1 서브-이미지의 컨볼루션과 (ii) 제1 블러 커널과 제2 서브-이미지의 컨볼루션 차이를 결정하도록 구성된 등가 손실 항, 또는 (i) 제1 블러 커널과 인-포커스 이미지의 컨볼루션과 상기 제1 서브-이미지 간의 차이 및 (ii) 제2 서브-이미지와 상기 인-포커스 이미지의 컨볼루션과 제2 서브 이미지 간의 차이의 합을 결정하도록 구성된 데이터 손실 항, 중 하나 이상을 포함하는 손실 함수를 사용하여 손실 값을 결정하는 것을 추가로 포함할 수 있다. 동작은 손실 값 및 손실 함수에 기초하여, (i) 인-포커스 이미지, (ii) 제1 블러 커널, 또는 (iii) 제2 블러 커널 중 하나 이상을 업데이트하는 것을 더 포함할 수 있다. 동작은 (i) 업데이트된 인-포커스 이미지, (ii) 업데이트된 제1 블러 커널, 또는 (iii) 업데이트된 제2 블러 커널 중 하나 이상에 기초하여 이미지 데이터를 생성하는 것을 더 포함할 수 있다.

제4 예시적인 실시예에서, 시스템은 제1 서브-이미지 및 제2 서브-이미지를 포함하는 듀얼-픽셀 이미지 데이터를 획득하기 위한 수단을 포함할 수 있다. 시스템은 또한 (i) 인-포커스 이미지, (ii) 제1 서브-이미지에 대응하는 제1 블러 커널, 및 (iii) 제2 서브-이미지에 대응하는 제2 블러 커널을 결정하기 위한 수단을 포함할 수 있다. 시스템은 손실 함수를 사용하여 손실 값을 결정하기 위한 수단을 추가로 포함할 수 있으며, 이 수단은 (i) 제2 블러 커널과 제1 서브-이미지의 컨볼루션과 (ii) 제1 블러 커널과 제2 서브-이미지의 컨볼루션 차이를 결정하도록 구성된 등가 손실 항, 또는 (i) 제1 블러 커널과 인-포커스 이미지의 컨볼루션과 상기 제1 서브-이미지 간의 차이 및 (ii) 제2 서브-이미지와 상기 인-포커스 이미지의 컨볼루션과 제2 서브 이미지 간의 차이의 합을 결정하도록 구성된 데이터 손실 항, 중 하나 이상을 포함하는 손실 함수를 사용하여 손실 값을 결정할 수 있다. 시스템은 손실 값 및 손실 함수에 기초하여 (i) 인-포커스 이미지, (ii) 제1 블러 커널, 또는 (iii) 제2 블러 커널 중 하나 이상을 업데이트하는 수단을 더 포함할 수 있다. 시스템은 (i) 업데이트된 인-포커스 이미지, (ii) 업데이트된 제1 블러 커널, 또는 (iii) 업데이트된 제2 블러 커널 중 하나 이상에 기초하여 이미지 데이터를 생성하기 위한 수단을 더 포함할 수 있다.

이들 뿐만 아니라 다른 실시예, 측면, 이점 및 대안은 첨부 도면을 적절한 경우 참조하여 다음의 상세한 설명을 읽음으로써 당업자에게 명백해질 것이다. 또한, 본 명세서에 제공된 이러한 요약 및 기타 설명 및 도면은 단지 예로서 실시예를 예시하기 위한 것이며, 따라서 다양한 변형이 가능하다. 예를 들어, 구조적 요소 및 프로세스 단계는 청구된 실시예의 범위 내에서 재배열, 결합, 분배, 제거 또는 달리 변경될 수 있다.

도 1은 여기에 설명된 예에 따른 컴퓨팅 장치를 도시한다.
도 2는 여기에 설명된 예에 따른 컴퓨팅 시스템을 도시한다.
도 3은 여기에 설명된 예에 따른 듀얼-픽셀 이미지 센서를 도시한다.
도 4a, 4b 및 4c는 여기에 설명된 예에 따른 시스템의 양태를 도시한다.
도 4d는 여기에 설명된 예에 따른 코스트 볼륨을 예시한다.
도 5는 여기에 설명된 예에 따른 듀얼-픽셀 이미지, 블러 커널, 및 깊이 맵을 도시한다.
도 6은 여기에 설명된 예에 따른 인공 신경망을 도시한다.
도 7은 여기에 설명된 예에 따른 흐름도를 도시한다.

예시적인 방법, 장치 및 시스템이 여기에 설명되어 있다. "예시" 및 "예시적인"이라는 단어는 본 명세서에서 "예시, 예 또는 예시로서 제공되는"을 의미하는 것으로 이해되어야 한다. "예시", "예시적인" 및/또는 "예시적인" 것으로 본 명세서에 설명된 임의의 실시예 또는 특징은 그렇게 언급되지 않는 한 다른 실시예 또는 특징에 비해 반드시 바람직하거나 유리한 것으로 해석되어서는 안된다. 따라서, 본 명세서에 제시된 주제의 범위를 벗어나지 않으면서 다른 실시예가 이용될 수 있고 다른 변경이 이루어질 수 있다.

따라서, 본 명세서에 기술된 예시적인 실시예는 제한을 의미하지 않는다. 여기에서 일반적으로 설명되고 도면에 예시된 바와 같이, 본 개시내용의 양태는 매우 다양한 상이한 구성으로 배열, 대체, 결합, 분리 및 설계될 수 있다는 것이 쉽게 이해될 것이다.

또한, 문맥상 달리 암시되지 않는 한, 각 도면에 예시된 특징은 서로 조합하여 사용될 수 있다. 따라서, 도면은 일반적으로 하나 이상의 전체 실시예의 컴포넌트 측면으로 간주되어야 하며, 예시된 모든 특징이 각 실시예에 필요한 것은 아님을 이해해야 한다.

또한, 본 명세서 또는 청구범위에 있는 요소, 블록 또는 단계의 모든 열거는 명확성을 위한 것이다. 따라서 이러한 열거는 이러한 요소, 블록 또는 단계가 특정 배열을 준수하거나 특정 순서로 수행되는 것을 요구하거나 암시하는 것으로 해석되어서는 안된다. 달리 명시되지 않는 한 수치는 스케일에 맞게 그려지지 않았다.

I. 개요

듀얼-픽셀 이미지 센서는 각각 대응하는 독립적으로 판독 가능한 포토다이오드를 포함하는 2개의 포토사이트(photosite)로 분할되는 적어도 일부 픽셀(즉, 듀얼-픽셀)을 포함할 수 있다. 따라서, 듀얼-픽셀 이미지 센서는 각각의 듀얼-픽셀의 제1 포토사이트를 사용하여 생성된 제1 서브-이미지(예: 각 듀얼-픽셀의 왼쪽 포토사이트를 기반으로 생성된 왼쪽 듀얼-픽셀 서브-이미지) 및 각각의 듀얼-픽셀의 제2 포토사이트를 사용하여 생성된 제2 서브-이미지(예: 각 듀얼-픽셀의 오른쪽 포토사이트를 기반으로 생성된 오른쪽 듀얼-픽셀 서브-이미지)를 포함하는 듀얼-픽셀 이미지 데이터를 생성하도록 구성될 수 있다. 듀얼-픽셀 이미지 데이터는 2개의 서브-이미지을 포함하지만, 듀얼-픽셀 이미지 데이터는 스테레오스코픽 이미지 데이터와 달리 단일 조리개를 이용하여 생성된다는 점에서 모노스코픽(monoscopic)이다.

장면의 일부에서 반사된 빛이 듀얼-픽셀 이미지 센서의 해당 부분에 포커스가 맞춰지면 해당 듀얼-픽셀의 각 포토사이트는 유사하거나 실질적으로 동일한 신호를 생성할 수 있다. 장면의 일부에서 반사된 빛이 듀얼-픽셀 이미지 센서의 해당 부분과 포커스가 맞지 않는 경우 해당 듀얼-픽셀의 각 포토사이트는 서로 다른 신호를 생성할 수 있다. 따라서, 듀얼-픽셀 이미지 센서에 의해 생성된 듀얼-픽셀 이미지 데이터는 각각의 듀얼-픽셀과 연관된 디포커스의 정도를 나타내는 정보를 포함할 수 있고, 따라서 듀얼-픽셀 이미지 데이터와 연관된 명백한 블러링(blurring)의 정도를 조정하는 데 사용될 수 있다.

구체적으로, 제1 서브-이미지, 제2 서브-이미지, 인-포커스(in-focus) 이미지(예: 이미지의 모든 부분에 포커스가 맞춰진 것처럼 보이는 이미지), 제1 서브-이미지와 연관된 제1 블러 커널, 및 제2 서브-이미지와 연관된 제2 블러 커널 간의 관계는 최적화 함수(즉, 손실 함수)를 공식화하는 데 사용될 수 있다. 예를 들어, 인-포커스 이미지, 제1 블러 커널 및/또는 제2 블러 커널은 각각 대응하는 수학적 모델에 의해 표현될 수 있다. 최적화 함수는 최적화 함수를 사용하여 생성된 손실 값을 감소(예를 들어, 임계값 미만) 및/또는 최소화하기 위해 이러한 수학적 모델을 훈련하는 데 사용될 수 있다. 최적화 함수는 등가 손실 항(equivalence loss term), 데이터 손실 항(data loss term), 및/또는 하나 이상의 프라이어 손실 항(prior loss term)을 포함할 수 있으며, 이들 각각은 제1 서브-이미지, 제2 서브-이미지, 인-포커스 이미지, 제1 블러 커널, 및/또는 제2 블러 커널 사이의 관계를 표현할 수 있다.

등가 손실 항 및/또는 데이터 손실 항은 인-포커스 이미지, 듀얼-픽셀 서브-이미지, 및 대응하는 블러 커널 사이의 관계에 기초하여 유도될 수 있다. 구체적으로, 제1 서브-이미지는 인-포커스 이미지와 제1 블러 커널의 컨볼루션으로 표현될 수 있다. 유사하게, 제2 서브-이미지는 인-포커스 이미지와 제2 블러 커널의 컨볼루션으로 표현될 수 있다.

따라서, 등가 항은 (i) 제2 블러 커널과 제1 서브-이미지의 컨볼루션 및 (ii) 제1 블러 커널과 제2 서브-이미지의 컨볼루션 간의 차이를 결정하도록 구성될 수 있다. 따라서 등가 손실 항은 블러 커널과 듀얼-픽셀 서브-이미지의 컨볼루션 사이의 대칭 정도를 증가 및/또는 최대화하는 블러 커널을 생성하기 위한 최적화를 장려할 수 있다. 데이터 손실 항은 (i) 제1 블러 커널과 인-포커스 이미지의 컨볼루션과 제1 서브-이미지 간의 차이 및 (ii) 제2 블러 커널과 인-포커스 이미지의 컨볼루션과 제2 서브-이미지 간의 차이의 합을 결정하도록 구성될 수 있다. 따라서 데이터 손실 항은 컨볼루션(convolution)의 결과로서 대응하는 듀얼-픽셀 서브-이미지에 비해 손실된 정보의 양을 감소 및/또는 최소화하는 인-포커스 이미지 및/또는 블러 커널을 생성하기 위한 최적화를 장려할 수 있다.

제1 블러 커널 및 제2 블러 커널 각각은 특정 깊이와 연관된 장면의 부분을 디블러링(deblur)하도록 구성될 수 있다. 따라서, 상이한 깊이에서 피처(특징)를 디블러링하기 위해, 제1 블러 커널 및 제2 블러 커널 각각은 복수의 크기 스케일로 스케일링될 수 있고, 각각의 크기 스케일은 듀얼-픽셀 카메라 장치에 대한 특정 깊이에 대응한다. 등가 손실 항 및/또는 데이터 손실 항은 각각의 크기 스케일에서 계산될 수 있으며, 이에 의해 스택(stacked)될 때 등가 손실 코스트 볼륨(cost volume) 및/또는 데이터 손실 코스트 볼륨을 형성하는 대응하는 등가 손실 이미지 및/또는 데이터 손실 이미지를 생성할 수 있다.

코스트 볼륨은, 코스트 볼륨의 크로스-섹션(cross-section)에 의해 표현되는 각각의 픽셀에 대해, 가장 효과적으로 디블러링된 픽셀의 코스트 볼륨의 깊이를 따라 공간적으로 대응하는 복수의 픽셀로부터 해당 픽셀 값을 선택함으로써 감소될 수 있다. 경우에 따라 코스트 볼륨의 크로스-섹션이 포커스가 맞춰진 이미지와 동일한 해상도를 가질 수 있다. 따라서, 코스트 볼륨의 감소는 인-포커스 이미지의 각각의 픽셀에 대해, 각각의 픽셀과 연관된 대응하는 크기 스케일을 나타낼 수 있다. 각 크기 스케일은 특정 객체 깊이에 대응하기 때문에 코스트 볼륨의 감소는 또한 인-포커스 이미지와 연관된 깊이 맵을 생성할 수 있다. 따라서 최적화는 동시에 (i) 인-포커스 이미지를 생성하고, (ii) 해당 깊이 맵을 생성하고, (iii) 제1 및/또는 제2 블러 커널을 적용할 커널 스케일링을 선택하고, 어떤 경우에는 (iv) 제1 및 제2 블러 커널을 생성한다.

인-포커스 이미지, 제1 블러 커널, 및/또는 제2 블러 커널을 생성하는 대응하는 수학적 모델은 복수의 상이한 듀얼-픽셀 이미지에 대해 작동하도록 훈련되기보다는 이미지별로 훈련될 수 있다. 따라서, 수학적 모델의 훈련은 최적화 기능과 듀얼-픽셀 이미지 데이터가 훈련을 수행하기에 충분하고 훈련이 GT(ground-truth) 데이터에 의존하지 않는다는 점에서 자체 지도(self-supervised)된다. 사실, 훈련된 수학적 모델은 다른 기계 학습 모델을 훈련하는 데 사용할 수 있는 실제 데이터를 생성하는 데 사용될 수 있다.

어떤 경우에는 블러 커널이 장면에 독립적이기 때문에(대신 카메라 장치의 조리개 모양에 따라 다름), 제1 및 제2 블러 커널은 복수의 상이한 카메라 장치 각각에 대해 보정(calibrated)될 수 있다. 제1 및 제2 블러 커널이 보정될 때 제1 및 제2 블러 커널은 해당 모델에서 새로 생성되지 않을 수 있다. 따라서, 주어진 듀얼-픽셀 이미지를 생성하는 데 사용되는 특정 카메라 장치(예: 특정 모델)를 기반으로, 대응하는 보정된 제1 및 제2 블러 커널이 선택되어 인-포커스 이미지를 생성하도록 구성된 수학적 모델을 훈련하는 데 사용될 수 있으며, 이에 따라 최적화의 복잡성을 감소시킨다. 예를 들어, 보정된 블러 커널은 최적화 기능에 의해 고정된 것으로 처리되거나 훈련 중에 개선될 수 있다.

결과적인 인-포커스 이미지, 깊이 맵, 및/또는 제1 및 제2 블러 커널은 듀얼-픽셀 이미지 데이터에 대한 다양한 조정을 수행하는 데 사용될 수 있다. 예를 들어, 듀얼-픽셀 이미지 데이터의 다양한 부분과 연관된 블러링의 정도는 (예를 들어, 다양한 영역에서 블러링을 증가 및/또는 감소시킴으로써) 목표 레벨로 조정될 수 있다. 또한, 깊이 맵은 듀얼-픽셀 이미지 데이터에 해당하므로, 듀얼-픽셀 이미지 데이터는 다른 가능성 중에서도 깊이 인식 방식으로 듀얼-픽셀 이미지 데이터로 표현되는 장면에 시뮬레이션된 객체를 삽입하는 것과 같은 다양한 증강 현실(AR) 애플리케이션에 사용될 수 있다.

Ⅱ. 컴퓨팅 장치 및 시스템의 예

도 1은 예시적인 컴퓨팅 장치(100)를 도시한다. 컴퓨팅 장치(100)는 모바일 폰의 폼 팩터(form factor)로 도시된다. 그러나, 컴퓨팅 장치(100)는 다른 가능성들 중에서 랩탑 컴퓨터, 태블릿 컴퓨터, 또는 웨어러블 컴퓨팅 장치로서 대안적으로 구현될 수 있다. 컴퓨팅 장치(100)는 바디(102), 디스플레이(106), 및 버튼(108, 110)과 같은 다양한 요소를 포함할 수 있다. 컴퓨팅 장치(100)는 전면(전방) 카메라(104) 및 후면(후방) 카메라(112)와 같은 하나 이상의 카메라를 더 포함할 수 있으며, 이들 중 하나 이상은 듀얼-픽셀 이미지 데이터를 생성하도록 구성될 수 있다.

전면 카메라(104)는 동작하는 동안 일반적으로 사용자를 향하는 바디(102)의 측면(예를 들어, 디스플레이(106)과 동일한 측면)에 위치될 수 있다. 후면 카메라(112)는 전면 카메라(104) 반대편 바디(102)의 측면에 위치될 수 있고, 카메라를 전면 및 후면을 향하는 것으로 지칭하는 것은 임의적이며, 컴퓨팅 장치(100)는 바디(102)의 다양한 측면에 위치된 복수의 카메라를 포함할 수 있다.

디스플레이(106)는 음극선관(CRT) 디스플레이, 발광 다이오드(LED) 디스플레이, 액정(LCD) 디스플레이, 플라즈마 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 당업계에 알려져 있는 임의의 다른 유형의 디스플레이를 나타낼 수 있다. 일부 예에서, 디스플레이(106)는 전면 카메라(104) 및/또는 후면 카메라(112)에 의해 캡처되는 현재 이미지의 디지털 표현, 이들 카메라 중 하나 이상에 의해 캡처될 수 있는 이미지, 하나 이상의 카메라에 의해 최근에 캡처된 이미지, 및/또는 이러한 이미지 중 하나 이상의 수정된 버전을 디스플레이할 수 있다. 따라서, 디스플레이(106)는 카메라에 대한 뷰파인더로서 기능할 수 있다. 디스플레이(106)는 또한 컴퓨팅 장치(100)의 임의의 양태의 설정 및/또는 구성을 조정할 수 있는 터치스크린 기능을 지원할 수 있다.

전면 카메라(104)는 이미지 센서 및 렌즈와 같은 관련 광학 요소를 포함할 수 있다. 전면 카메라(104)는 줌 기능을 제공하거나 고정된 포커스 거리를 가질 수 있다. 다른 예에서, 교환 가능한 렌즈는 전면 카메라(104)와 함께 사용될 수 있다. 전면 카메라(104)는 가변 기계적 조리개 및 기계적 및/또는 전자적 셔터를 가질 수 있다. 전면 카메라(104)는 또한 스틸 이미지, 비디오 이미지, 또는 둘 다를 캡처하도록 구성될 수 있다. 또한, 전면 카메라(104)는 예를 들어 모노스코픽 카메라를 나타낼 수 있다. 후면 카메라(112)는 유사하거나 상이하게 배열될 수 있다. 추가적으로, 전면 카메라(104) 및/또는 후면 카메라(112) 중 하나 이상은 하나 이상의 카메라 어레이일 수 있다.

전면 카메라(104) 및/또는 후면 카메라(112) 중 하나 이상은 대상 객체를 조명하기 위해 라이트 필드를 제공하는 조명 컴포넌트를 포함하거나 이와 연관될 수 있다. 예를 들어, 조명 컴포넌트는 대상 객체의 플래시 또는 일정한 조명을 제공할 수 있다. 조명 컴포넌트는 또한 구조화된 광, 편광된 광, 및 특정 스펙트럼 콘텐츠를 갖는 광 중 하나 이상을 포함하는 광 필드를 제공하도록 구성될 수 있다. 객체로부터 3디멘션(3D) 모델을 복구하기 위해 알려져 있고 사용되는 다른 유형의 광 필드는 본 명세서의 예의 맥락 내에서 가능하다.

컴퓨팅 장치(100)는 또한 연속적으로 또는 때때로 카메라(104 및/또는 112)가 캡처할 수 있는 장면의 주변 밝기를 결정할 수 있는 주변 광 센서를 포함할 수 있다. 일부 구현들에서, 주변 광 센서는 디스플레이(106)의 디스플레이 밝기를 조정하기 위해 사용될 수 있다. 추가로, 주변 광 센서는 하나 이상의 카메라(104 또는 112)의 노출 길이를 결정하거나 이 결정을 돕기 위해 사용될 수 있다.

컴퓨팅 장치(100)는 디스플레이(106)와 전면 카메라(104) 및/또는 후면 카메라(112)를 사용하여 대상 객체의 이미지를 캡처하도록 구성될 수 있다. 캡처된 이미지는 복수의 정지 이미지 또는 비디오 스트림일 수 있다. 이미지 캡처는 버튼(108)을 활성화하거나 디스플레이(106)의 소프트키를 누르거나 다른 메커니즘에 의해 트리거될 수 있다. 구현에 따라, 이미지는 특정 시간 간격, 예를 들어 버튼(108)을 누를 때, 대상 객체의 적절한 조명 조건에 따라, 디지털 카메라 장치(100)를 미리 결정된 거리로 이동할 때, 또는 미리 결정된 캡처 일정에 따라 자동으로 캡처될 수 있다.

도 2는 예시적인 컴퓨팅 시스템(200)의 컴포넌트 중 일부를 보여주는 단순화된 블록도이다. 예를 들어 제한 없이, 컴퓨팅 시스템(200)은 셀룰러 이동 전화(예를 들어, 스마트폰), 컴퓨터(데스크탑, 노트북, 태블릿, 휴대용 컴퓨터 등), 홈 오토메이션 컴포넌트, 디지털 비디오 레코더(DVR), 디지털 텔레비전, 원격 제어, 웨어러블 컴퓨팅 장치, 게임 콘솔, 로봇 장치, 차량, 또는 일부 다른 유형의 장치일 수 있다. 컴퓨팅 시스템(200)은 예를 들어 컴퓨팅 장치(100)의 양태를 나타낼 수 있다.

도 2와 같이, 컴퓨팅 시스템(200)은 통신 인터페이스(202), 사용자 인터페이스(204), 프로세서(206), 데이터 저장소(208), 및 카메라 컴포넌트(224)를 포함할 수 있고, 이들 모두는 시스템 버스, 네트워크, 또는 다른 연결 메커니즘(210)에 의해 함께 통신적으로 링크될 수 있다. 컴퓨팅 시스템(200)에는 적어도 일부 이미지 캡처 및/또는 이미지 프로세싱 기능이 장착될 수 있다. 컴퓨팅 시스템(200)은 물리적 이미지 프로세싱 시스템, 이미지 감지 및 프로세싱 애플리케이션이 소프트웨어에서 작동하는 특정 물리적 하드웨어 플랫폼, 또는 이미지 캡처 및/또는 프로세싱 기능을 수행하도록 구성된 하드웨어 및 소프트웨어의 기타 조합일 수 있다.

통신 인터페이스(202)는 컴퓨팅 시스템(200)이 아날로그 또는 디지털 변조를 사용하여 다른 장치, 액세스 네트워크, 및/또는 전송 네트워크와 통신하는 것을 허용할 수 있다. 따라서, 통신 인터페이스(202)는 POTS(Plain Old Telephone Service) 통신 및/또는 인터넷 프로토콜(IP) 또는 다른 패킷화된 통신과 같은 회선 교환 및/또는 패킷 교환 통신을 용이하게 할 수 있다. 예를 들어, 통신 인터페이스(202)는 무선 액세스 네트워크 또는 액세스 포인트와의 무선 통신을 위해 배열된 칩셋 및 안테나를 포함할 수 있다. 또한, 통신 인터페이스(202)는 이더넷, USB(Universal Serial Bus), 또는 HDMI(High-Definition Multimedia Interface) 포트와 같은 유선 인터페이스의 형태를 취하거나 이를 포함할 수 있다. 통신 인터페이스(202)는 또한 Wi-Fi, BLUETOOTH®, GPS(Global Positioning System) 또는 광역 무선 인터페이스(예: WiMAX 또는 3GPP LTE(Long-Term Evolution))와 같은 무선 인터페이스의 형태를 취하거나 이를 포함할 수 있다. 그러나, 다른 형태의 물리 계층 인터페이스 및 다른 유형의 표준 또는 독점 통신 프로토콜이 통신 인터페이스(202)를 통해 사용될 수 있다. 또한, 통신 인터페이스(202)는 복수의 물리적 통신 인터페이스(예를 들어, Wi-Fi 인터페이스, BLUETOOTH® 인터페이스, 및 광역 무선 인터페이스)를 포함할 수 있다.

사용자 인터페이스(204)는 컴퓨팅 시스템(200)이 사용자로부터 입력을 수신하고 사용자에게 출력을 제공하는 것과 같이 인간 또는 비인간 사용자와 상호작용하도록 하는 기능을 할 수 있다. 따라서, 사용자 인터페이스(204)는 키패드, 키보드, 터치 감응 패널, 컴퓨터 마우스, 트랙볼, 조이스틱, 마이크로폰 등과 같은 입력 컴포넌트를 포함할 수 있다. 사용자 인터페이스(204)는 또한 예를 들어 터치 감응 패널과 결합될 수 있는 디스플레이 스크린과 같은 하나 이상의 출력 컴포넌트를 포함할 수 있다. 디스플레이 화면은 CRT, LCD 및/또는 LED 기술, 또는 현재 알려졌거나 나중에 개발될 기타 기술을 기반으로 할 수 있다. 사용자 인터페이스(204)는 또한 스피커, 스피커 잭, 오디오 출력 포트, 오디오 출력 장치, 이어폰, 및/또는 기타 유사한 장치를 통해 가청 출력(들)을 생성하도록 구성될 수 있다. 사용자 인터페이스(204)는 또한 마이크로폰 및/또는 기타 유사한 장치를 통해 가청 발언(들), 잡음(들), 및/또는 신호(들)를 수신 및/또는 캡처하도록 구성될 수 있다.

일부 예에서, 사용자 인터페이스(204)는 컴퓨팅 시스템(200)에 의해 지원되는 스틸 카메라 및/또는 비디오 카메라 기능을 위한 뷰파인더 역할을 하는 디스플레이를 포함할 수 있다. 추가적으로, 사용자 인터페이스(204)는 카메라 기능의 구성 및 포커싱 및 이미지 캡처를 용이하게 하는 하나 이상의 버튼, 스위치, 노브, 및/또는 다이얼을 포함할 수 있다. 이러한 버튼, 스위치, 노브 및/또는 다이얼 중 일부 또는 전체가 터치 감지 패널을 통해 구현될 수 있다.

프로세서(206)는 하나 이상의 범용 프로세서(예: 마이크로프로세서) 및/또는 하나 이상의 특수 목적 프로세서를 포함할 수 있으며, 이는 예를 들어 디지털 신호 프로세서(DSP), 그래픽 처리 장치(GPU), 부동 소수점 장치(FPU), 네트워크 프로세서 또는 주문형 집적 회로(ASIC)를 포함할 수 있다. 어떤 경우에는 특수 목적 프로세서가 다른 가능성 중에서 이미지 프로세싱, 이미지 정렬 및 이미지 병합이 가능할 수 있다. 데이터 저장소(208)는 자기, 광학, 플래시 또는 유기 저장소와 같은 하나 이상의 휘발성 및/또는 비휘발성 저장소 컴포넌트를 포함할 수 있고 프로세서(206)와 전체적으로 또는 부분적으로 통합될 수 있다. 데이터 저장소(208)는 착탈식 및/또는 착탈식 컴포넌트를 포함할 수 있다.

프로세서(206)는 데이터 저장소(208)에 저장된 프로그램 명령어(218)(예를 들어, 컴파일된 또는 컴파일되지 않은 프로그램 로직 및/또는 기계 코드)를 실행하여 여기에 설명된 다양한 기능을 수행할 수 있다. 따라서, 데이터 저장소(208)는 컴퓨팅 시스템(200)에 의한 실행 시에, 컴퓨팅 시스템(200)이 본 명세서 및/또는 첨부 도면에 개시된 방법, 프로세스 또는 동작 중 임의의 것을 수행하게 한다. 프로세서(206)에 의한 프로그램 명령어(218)의 실행은 데이터(212)를 사용하는 프로세서(206)를 초래할 수 있다.

예를 들어, 프로그램 명령어(명령)(218)는 운영 체제(222)(예를 들어, 운영 체제 커널, 장치 드라이버(들), 및/또는 기타 모듈) 및 컴퓨팅 시스템(200)에 설치된 하나 이상의 애플리케이션 프로그램(220)(예: 카메라 기능, 주소록, 이메일, 웹 브라우징, 소셜 네트워킹, 오디오-텍스트 기능, 텍스트 번역 기능 및/또는 게임 애플리케이션)을 포함할 수 있다. 유사하게, 데이터(212)는 운영 체제 데이터(216) 및 애플리케이션 데이터(214)를 포함할 수 있다. 운영 체제 데이터(216)는 주로 운영 체제(222)에 액세스할 수 있고, 애플리케이션 데이터(214)는 주로 하나 이상의 애플리케이션 프로그램(220)에 액세스할 수 있다. 애플리케이션 데이터(214)는 컴퓨팅 시스템(200)의 사용자에게 보이거나 숨겨진 파일 시스템에 배열될 수 있다.

애플리케이션 프로그램(220)은 하나 이상의 애플리케이션 프로그래밍 인터페이스(API)를 통해 운영 체제(222)와 통신할 수 있다. 이러한 API는, 예를 들어, 애플리케이션 데이터(214)를 판독 및/또는 기록하고, 통신 인터페이스(202)를 통해 정보를 전송 또는 수신하고, 사용자 인터페이스(204)에 대한 정보를 수신 및/또는 표시하는 등의 애플리케이션 프로그램(220)을 용이하게 할 수 있다.

경우에 따라 애플리케이션 프로그램(220)은 줄여서 "앱"이라고 할 수 있다. 추가로, 애플리케이션 프로그램(220)은 하나 이상의 온라인 애플리케이션 스토어 또는 애플리케이션 시장을 통해 컴퓨팅 시스템(200)으로 다운로드될 수 있다. 그러나, 애플리케이션 프로그램은 웹 브라우저를 통해 또는 컴퓨팅 시스템(200) 상의 물리적 인터페이스(예를 들어, USB 포트)를 통해와 같은 다른 방식으로 컴퓨팅 시스템(200)에 설치될 수도 있다.

카메라 컴포넌트(224)는 조리개, 셔터, 기록 표면(예: 사진 필름 및/또는 이미지 센서), 렌즈, 셔터 버튼, 적외선 프로젝터, 및/또는 가시광 프로젝터를 포함할 수 있지만 이에 제한되지는 않는다. 카메라 컴포넌트(224)는 가시광선 스펙트럼(예: 380~700나노미터의 파장을 갖는 전자기 복사)의 이미지를 캡처하도록 구성된 컴포넌트 및 적외선 스펙트럼(예: 701나노미터 - 1밀리미터의 파장을 갖는 전자기 복사)의 이미지를 캡처하도록 구성된 컴포넌트를 포함할 수 있다. 카메라 컴포넌트(224)는 프로세서(206)에 의해 실행되는 소프트웨어에 의해 적어도 부분적으로 제어될 수 있다.

III. 듀얼-픽셀 이미지 센서의 예

도 3은 듀얼-픽셀 이미지 데이터를 생성하도록 구성된 듀얼-픽셀 이미지 센서(300)를 도시한다. 구체적으로, 듀얼-픽셀 이미지 센서(300)는 열(302, 304, 306, 308 내지 310)(즉, 열(302 내지 310)) 및 행(312, 314, 316, 318 내지 320)(즉, 행 312 - 320)을 포함하는 그리드에 배열된 복수의 픽셀을 포함한다. 각 픽셀은 해당 해치 영역으로 표시된 제1(왼쪽) 포토사이트와 해당하는 흰색으로 채워진 영역으로 표시된 제2(오른쪽) 포토사이트로 나누어 표시된다. 따라서, 열(302), 행(312)에 위치한 픽셀의 우측 절반은 우측 포토사이트를 나타내기 위해 "R"로 라벨링되고, 좌측 포토사이트를 나타내기 위해 픽셀의 좌측 절반은 "L"로 라벨링된다. 각 픽셀의 포토사이트는 각 픽셀을 2개의 동일한 수직 절반으로 나누는 것으로 표시되지만 포토사이트는 대안적으로 각 픽셀을 다른 방식으로 나눌 수 있다. 예를 들어, 각 픽셀은 상부 포토사이트와 하부 포토사이트로 구분될 수 있다. 포토사이트의 면적이 같지 않을 수 있다.

주어진 픽셀의 각 포토사이트는 대응하는 포토다이오드를 포함할 수 있으며, 그 출력 신호는 다른 포토다이오드와 독립적으로 판독될 수 있다. 추가적으로, 듀얼-픽셀 이미지 센서(300)의 각각의 픽셀은 대응하는 컬러 필터(예를 들어, 적색, 녹색 또는 청색)와 연관될 수 있다. 컬러 이미지를 생성하기 위해 듀얼-픽셀 이미지 센서(300)의 출력에 디모자이싱(demosaicing) 알고리즘이 적용될 수 있다. 일부 경우에, 듀얼-픽셀 이미지 센서(300)의 모든 픽셀보다 적은 픽셀이 복수의 포토사이트로 분할될 수 있다. 예를 들어, 녹색 컬러 필터와 연관된 각 픽셀은 2개의 독립적인 포토사이트로 분할될 수 있는 반면, 적색 또는 청색 컬러 필터와 연관된 각 픽셀은 단일 포토사이트를 포함할 수 있다. 일부 경우에 듀얼-픽셀 이미지 센서(300)는 전면 카메라(104) 및/또는 후면 카메라(112)를 구현하는 데 사용될 수 있으며 카메라 컴포넌트(224)의 일부를 형성할 수 있다.

듀얼-픽셀 이미지 센서(300)는 듀얼-픽셀 이미지 데이터를 생성하도록 구성될 수 있다. 듀얼-픽셀 이미지 데이터는 제1 포토사이트에 의해 생성된 제1 서브-이미지(예를 들어, 좌측 포토사이트만) 및 제2 포토사이트에 의해 생성된 제2 서브-이미지(예를 들어, 우측 포토사이트만)를 포함할 수 있다. 이미지화되는 대상 또는 대상의 부분에 포커스가 맞춰지면 주어진 픽셀의 각 포토사이트에서 생성된 각각의 신호는 실질적으로 동일할 수 있다(예: 두 신호가 서로 임계값 내에 있을 수 있음). 촬영되는 객체 또는 그 일부가 포커스가 맞지 않을 때, 주어진 픽셀의 제1 포토사이트에 의해 생성된 각각의 신호는 주어진 픽셀의 제2 포토사이트에 의해 생성된 개별 신호와 다를 수 있고, 차이의 양은 디포커스(defocus)의 정도에 비례할 수 있다. 따라서, 듀얼-픽셀 이미지 센서(300)에 의해 생성된 듀얼-픽셀 이미지 데이터는 듀얼-픽셀 이미지 데이터의 다양한 부분과 연관된 포커스 레벨을 조정하는 데 사용될 수 있는 디포커스 큐를 제공할 수 있다. 주어진 픽셀의 각 포토사이트에서 생성된 신호는 단일 출력 신호로 결합되어 기존(예: RGB) 이미지 데이터를 생성할 수 있다.

IV. 인-포커스 이미지 및 해당 깊이 맵 생성을 위한 시스템 예

도 4a는 듀얼-픽셀 이미지 데이터와 연관되고 이에 기초하여 디포커스 범위(정도) 및 깊이 맵을 결정하도록 구성된 시스템(400)을 도시한다. 구체적으로, 시스템(400)은 인-포커스 이미지 모델(408), 제1 블러 커널 모델(410), 제2 블러 커널 모델(412), 블러 커널 스케일러(420), 손실 함수(426), 및 모델 파라미터 조정기(438)를 포함한다. 손실 함수(426)는 데이터 손실 항(428), 등가 손실 항(430), 및 프라이어 손실 항(들)(432)을 포함할 수 있다. 시스템(400)의 각각의 컴포넌트는 소프트웨어 명령어(예를 들어, 프로세서(206)에 의해 실행되도록 구성됨), 하드웨어 컴포넌트(예를 들어, 특수 제작된 회로), 또는 이들의 조합을 나타낼 수 있다.

듀얼-픽셀 이미지 데이터(402)는 예를 들어 듀얼-픽셀 이미지 센서(300)에 의해 생성될 수 있다. 시스템(400)은 입력으로서 듀얼-픽셀 이미지 데이터(402)를 수신하도록 구성될 수 있다. 듀얼-픽셀 이미지 데이터(402)는 듀얼-픽셀 이미지 센서(300)의 듀얼-픽셀 포토사이트(예를 들어, 좌측 포토사이트)의 제1 서브세트를 사용하여 생성된 제1 서브-이미지(404) 및 듀얼-픽셀 이미지 센서(300)의 듀얼-픽셀 포토사이트(예를 들어, 우측 포토사이트)의 제2 서브세트를 사용하여 생성된 제2 서브-이미지(406)를 포함할 수 있다. 컨텍스트에 따라, 듀얼-픽셀 이미지 데이터(402)는 (i) 제1 서브-이미지(404) 및 제2 서브-이미지(406) 또는 (ii) 제1 서브-이미지(404) 및 제2 서브-이미지(406)의 조합으로부터 생성된 이미지 데이터를 참조하기 위해 여기에서 사용될 수 있다.

인-포커스 이미지 모델(408)은 인-포커스 이미지(414)를 생성하도록 구성될 수 있으며, 이는 포커스의 범위를 개선하기 위해 조정된 적어도 일부를 갖는 듀얼-픽셀 이미지 데이터(402)의 수정된 버전을 나타낼 수 있다. 인-포커스 이미지 모델(408)이 (예를 들어, 손실 함수(426)에 의해 정량화된 바와 같이) 적어도 임계 레벨의 정확도로 트레이닝(훈련)될 때, 인-포커스 이미지(414)는 듀얼-픽셀 이미지 데이터(402)의 수정된 버전을 나타낼 수 있고 그 대부분의 부분이 포커스가 맞춰진다(즉, 디포커스 블러링의 임계값 범위 미만을 나타냄). 예를 들어, 인-포커스 이미지(414)는 듀얼-픽셀 이미지 데이터(402)의 실질적으로 모든 부분이 인-포커스인 버전을 나타낼 수 있다. 인포커스 이미지 모델(408)은 인포커스 이미지(414)의 각 픽셀에 대해 대응하는 픽셀 값을 생성하도록 구성된 대응하는 수학적 모델을 포함할 수 있다. 이 수학적 모델의 하나 이상의 파라미터는 인-포커스 이미지(414)의 정확도를 개선하기 위해 트레이닝(훈련) 동안(예를 들어, 모델 파라미터 조정기(438)를 통해) 조정될 수 있다.

제1 블러 커널 모델(410)은 제1 (컨볼루션) 블러 커널(416)을 생성하도록 구성될 수 있고, 제2 블러 커널 모델(412)은 제2 (컨볼루션) 블러 커널(418)을 생성하도록 구성될 수 있다. 일부 경우에, 단일 블러 커널 모델은 제1 블러 커널(416)(예: 블러 커널 이미지의 제1 절반(half)) 및 제2 블러 커널(418)(예: 블러 커널 이미지의 제2 절반) 모두를 나타내는 단일 블러 커널 이미지를 생성하도록 구성될 수 있다. 제1 블러 커널(416) 및 제2 블러 커널(418) 각각의 형상은 듀얼-픽셀 이미지 데이터(402)를 생성하는 데 사용되는 특정 듀얼-픽셀 카메라 장치의 조리개 형상에 기초할 수 있고, 따라서 장면 독립적일 수 있다. 따라서, 제1 블러 커널 모델(410) 및 제2 블러 커널 모델(412)은 각각의 블러 커널이 특정 듀얼-픽셀 카메라 장치에 대해 미리 결정/캘리브레이션되었는지 여부에 따라 달라질 수 있다.

일부 구현들에서, 제1 블러 커널 모델(410)은 제1 블러 커널(416)의 각각의 픽셀에 대해 대응하는 픽셀 값을 생성하도록 구성된 대응하는 수학적 모델을 포함할 수 있다. 유사하게, 제2 블러 커널 모델(412)은 제2 블러 커널(418)의 각각의 픽셀에 대해 대응하는 픽셀 값을 생성하도록 구성된 대응하는 수학적 모델을 포함할 수 있다. 이들 수학적 모델 각각의 하나 이상의 파라미터는 (예를 들어, 손실 함수(426)에 의해 정량화된 바와 같이) 제1 블러 커널(416) 및/또는 제2 블러 커널(418)의 정확도를 개선하기 위해 훈련 동안 조정될 수 있다. 제1 블러 커널 모델(410) 및/또는 제2 블러 커널 모델(412)의 이러한 구현은 예를 들어, 각각의 블러 커널이 특정 듀얼-픽셀 카메라 장치에 대해 미리 결정/보정되지 않아 손실 함수(426)를 기반으로 생성된 경우에 사용될 수 있다.

다른 구현들에서, 제1 블러 커널 모델(410)은 대응하는 하나 이상의 듀얼-픽셀 카메라 장치들에 대해 미리 결정/보정된(캘리브레이션된) 제1 블러 커널(416)의 하나 이상의 표현들을 포함할 수 있다. 따라서, 제1 블러 커널 모델(410)은 듀얼-픽셀 이미지 데이터(402)를 생성하기 위해 사용되는 특정 듀얼-픽셀 카메라 장치에 기초하여 제1 블러 커널(416)의 이러한 표현들 중 하나를 선택하도록 구성될 수 있다. 유사하게, 제2 블러 커널 모델(412)은 대응하는 하나 이상의 듀얼-픽셀 카메라 장치에 대해 미리 결정/보정된 제2 블러 커널(418)의 하나 이상의 표현을 포함할 수 있다. 따라서, 제2 블러 커널 모델(412)은 듀얼-픽셀 이미지 데이터(402)를 생성하는데 사용되는 특정 듀얼-픽셀 카메라 장치에 기초하여 제2 블러 커널(418)의 이러한 표현들 중 하나를 선택하도록 구성될 수 있다. 일부 경우에, 제1 블러 커널 모델(410) 및/또는 제2 블러 커널 모델(412)은 또한 트레이닝(훈련) 프로세스의 일부로서 제1 블러 커널(416) 및/또는 제2 블러 커널(418)의 선택된 표현을 각각 정제(refine)하도록 구성될 수 있으며, 따라서 미리 결정된/보정된 커널의 표현에 추가하여 해당 수학적 모델을 포함할 수 있다. 제1 블러 커널(416) 및 제2 블러 커널(418) 각각은 듀얼-픽셀 이미지 데이터(402)를 생성하는 데 사용되는 듀얼-픽셀 카메라 장치의 광학 컴포넌트와 연관된 대응하는 포인트 확산 함수(PSF: point spread function)를 나타낼 수 있다. 구체적으로, 제1 블러 커널(416)은 제1 블러 커널(416)이 듀얼-픽셀 이미지 센서의 제1(예를 들어, 좌측) 포토사이트와 연관된 PSF를 나타낼 수 있다는 점에서 제1 서브-이미지(404)와 연관될 수 있고, 제2 블러 커널(418)은 제2 블러 커널(418)이 듀얼-픽셀 이미지 센서의 제2(예를 들어, 우측) 포토사이트와 연관된 PSF를 나타낼 수 있다는 점에서 제2 서브-이미지(406)와 연관될 수 있다.

제1 블러 커널(416) 및 제2 블러 커널(418) 각각의 크기는 이미징되는 객체 또는 객체의 부분의 깊이에 기초할 수 있다. 따라서, 듀얼-픽셀 이미지 데이터(402)가 듀얼-픽셀 카메라 장치에 대해 다른 깊이에 위치된 객체 또는 그 부분의 표현을 포함할 때, 듀얼-픽셀 이미지 데이터(402)의 각 부분은 대응하는 깊이와 연관된 대응하는 크기로 스케일링된 제1 블러 커널(416) 및 제2 블러 커널(418)과 연관될 수 있다.

구체적으로, 인-포커스 이미지(414), 듀얼-픽셀 이미지 데이터(402), 및 제1 블러 커널(416) 사이의 관계는 로 표현될 수 있으며, 여기서 은 제1 서브-이미지(404)의 특정 픽셀을 나타내고, I(x)는 인-포커스 이미지(414)의 대응하는 픽셀을 나타내고, *는 컨볼루션 연산을 나타내고, 는 인-포커스 이미지(414)의 대응하는 픽셀에 의해 표현되는 대응하는 깊이와 연관된 반경으로 스케일링된 제1 블러 커널(416)을 나타낸다. 유사하게, 인-포커스 이미지(414), 듀얼-픽셀 이미지 데이터(402), 및 제2 블러 커널(418) 사이의 관계는 로 표현될 수 있으며, 는 제2 서브-이미지(406)의 특정 픽셀을 나타내고, I(x)는 인-포커스 이미지(414)의 대응하는 픽셀을 나타내고, *는 컨볼루션 연산을 나타내고, 는 인-포커스 이미지(414)의 대응하는 픽셀에 의해 표현되는 대응하는 깊이와 연관된 반경으로 스케일링된 제2 블러 커널(418)을 나타낸다. 경우에 따라 이러한 수학식은 예를 들어 가우스 잡음 항(Gaussian noise term)을 포함하여 잡음을 추가로 모델링할 수 있다.

따라서, 시스템(400)은 (i) 제1 블러 커널(416)에 기초한 제1 복수의 스케일링된 블러 커널(422) 및 (ii) 제2 블러 커널(418)에 기초하여 제2 복수의 스케일링된 블러 커널(424)을 생성하도록 구성된 블러 커널 스케일러(420)를 포함한다. 제1 복수의 스케일링된 블러 커널(422)은 복수의 상이한 크기 스케일(예: 1.0x, 0.8x, 0.6x, 0.4x, 0.2x, 0.001x, -0.2x, -0.4x, -0.6x, -0.8x, -1.0x)로 표현되는 제1 블러 커널(416)을 포함할 수 있다. 유사하게, 제2 복수의 스케일링된 블러 커널(424)은 복수의 상이한 크기 스케일로 표현되는 제2 블러 커널(418)을 포함할 수 있다.

시스템(400)은 제1 복수의 스케일링된 블러 커널(422) 및 제2 복수의 스케일링된 블러 커널(424)을 듀얼-픽셀 이미지 데이터(402)의 각 픽셀에 대해 대응하는 크기 스케일을 결정하기 위해 듀얼-픽셀 이미지 데이터(402) 및/또는 인-포커스 이미지(414)에 적용하도록 구성될 수 있다. 구체적으로, 듀얼-픽셀 이미지 데이터(402), 인-포커스 이미지(414), 제1 복수의 스케일링된 블러 커널(422), 및 제2 복수의 스케일링된 블러 커널(424)은 깊이 맵(434) 및 손실 값(436)을 생성하기 위해 손실 함수(426)에 의해 프로세싱될 수 있다. 손실 함수(426)는 도 4b에 더 상세히 예시된 데이터 손실 항(428), 도 4c에 더 상세히 예시된 등가 손실 항(430), 및 프라이어 손실 항(들)(432)을 포함할 수 있다. 듀얼-픽셀 이미지 데이터(402)의 각 픽셀에 대한 대응하는(해당) 크기 스케일은 손실 함수(426)의 하나 이상의 항의 출력에 기초하여 선택될 수 있다. 각각의 크기 스케일은 대응하는(해당) 깊이 값과 연관되기 때문에, 듀얼-픽셀 이미지 데이터(402)의 각 픽셀에 대한 대응하는 크기 스케일의 선택은 또한 듀얼-픽셀 이미지 데이터(402)의 각 픽셀의 깊이를 나타내는 깊이 맵(434)을 생성할 수 있다.

모델 파라미터 조정기(438)는 손실 값(436) 및 손실 함수(426)에 기초하여 파라미터 조정(440)을 생성하도록 구성될 수 있다. 구체적으로, 파라미터 조정(440)은 인-포커스 이미지 모델(408), 제1 블러 커널 모델(410), 및/또는 제2 블러 커널 모델(412)의 하나 이상의 파라미터에 대한 하나 이상의 변경을 나타낼 수 있다. 파라미터 조정(440)은 시스템(400)의 후속 프로세싱 반복으로 인한 손실 값(436)을 감소시키도록 선택될 수 있다. 예를 들어, 모델 파라미터 조정기(438)는 (i) 손실 값(436)에 해당하는 포인트에서 그리고 (ii) 인-포커스 이미지 모델(408), 제1 블러 커널 모델(410) 및/또는 제2 블러 커널 모델(412)의 파라미터와 관련하여 손실 함수(426)의 기울기에 기초하여 파라미터 조정(440)을 선택하도록 구성될 수 있다.

따라서, 모델 파라미터 조정기(438)는 연속적으로 더 낮은 손실 값(436)을 초래하는 파라미터 조정(440)을 생성할 수 있다. 시스템(400)은 듀얼-픽셀 이미지 데이터(402)의 각각의 인스턴스에 대해 인-포커스 이미지 모델(408), 제1 블러 커널 모델(410), 및/또는 제2 블러 커널 모델(412)의 상이한 인스턴스를 트레이닝(훈련)하도록 구성될 수 있다. 따라서, 인-포커스 이미지 모델(408), 제1 블러 커널 모델(410), 및/또는 제2 블러 커널 모델(412)은, 듀얼-픽셀 이미지 데이터(402)의 복수의 상이한 인스턴스를 포함하는 트레이닝(훈련) 데이터 세트에 대해 개선, 정제 및/또는 최적화되기 보다는, 듀얼-픽셀 이미지 데이터(402)의 각 인스턴스에 대해 독립적으로 개선, 정제(refined) 및/또는 최적화될 수 있다.

인포커스 이미지 모델(408), 제1 블러 커널 모델(410) 및/또는 제2 블러 커널 모델(412)의 훈련이 완료되면, 인-포커스 이미지(414), 제1 블러 커널(416), 및/또는 제2 블러 커널(418)은 듀얼-픽셀 이미지 데이터(402)의 하나 이상의 양태(aspect)를 수정하는 이미지 데이터를 생성 및/또는 디스플레이하는 데 사용될 수 있다. 일 예에서, 생성된 이미지 데이터는 조정된 부분의 블러링 정도를 갖는 듀얼-픽셀 이미지 데이터(402)를 포함할 수 있다. 일부 경우에, 듀얼-픽셀 이미지 데이터(402)의 일부 부분에서의 블러링은 감소될 수 있는 반면, 듀얼-픽셀 이미지 데이터(402)의 다른 부분에서의 블러링은 증가될 수 있다. 다른 경우에, 듀얼-픽셀 이미지 데이터(402)의 모든 부분이 포커스가 맞춰질 수 있고, 따라서 생성된 이미지 데이터는 인-포커스 이미지(414)와 동등할 수 있다. 추가 예에서, 객체의 표현은 깊이 인식 방식으로 듀얼-픽셀 이미지 데이터(402)에 추가될 수 있다.

I. 데이터 손실 항 계산의 예

도 4b는 손실 함수(426)의 데이터 손실 항(428)의 예시적인 구현을 도시한다. 제1 복수의 스케일링된 블러 커널(422)은 복수의 상이한 크기 스케일에서 제1 블러 커널(416)을 나타내는 스케일링된 블러 커널(442) 내지 스케일링된 블러 커널(444)(즉, 스케일링된 블러 커널(442-444))을 포함할 수 있고, 제2 복수의 스케일링된 블러 커널(424)은 복수의 상이한 크기 스케일에서 제2 블러 커널(418)을 나타내는 스케일링된 블러 커널(446) 내지 스케일링된 블러 커널(448)(즉, 스케일링된 블러 커널(446-448))을 포함할 수 있다.

데이터 손실 항(428)은, 복수의 크기 스케일의 각각의 크기 스케일에 대해, (i) 스케일링된 블러 커널(442-444)의 해당 스케일링된 블러 커널과 인-포커스 이미지(414)의 컨볼루션(450)과 제1 서브-이미지(404) 사이의 차이(452)의 절대값(절대값 연산자(454)에 의해 결정됨) 및 (ii) 스케일링된 블러 커널(446-448)의 해당 스케일링된 블러 커널과 인-포커스 이미지(414)의 컨볼루션(456)과 제2 서브-이미지(406) 간의 차이(458)의 절대값(절대값 연산자(460)에 의해 결정됨)의 합(462)에 기초하여 해당 합 이미지를 계산하도록 구성될 수 있다. 따라서, 데이터 손실 항(428)은 함수 를 구현할 수 있으며, 여기서 I은 인-포커스 이미지(414)를 나타내고, 은 제1 서브-이미지(404)를 나타내며, 는 제2 서브-이미지(406)를 나타내고, 은 각각의 크기 스케일과 연관된 스케일링된 블러 커널(442-444)의 스케일링된 블러 커널을 나타내고, 는 각각의 크기 스케일과 연관된 스케일링된 블러 커널(446-448)의 스케일링된 블러 커널을 나타낸다.

데이터 손실 코스트 볼륨(464)은 복수의 크기 스케일의 각각의 크기 스케일에 대응하는 합 이미지를 스택(stacking)함으로써 생성될 수 있다. 따라서, 데이터 손실 코스트 볼륨(464)은 합 이미지의 폭에 대응하는 폭 W(인-포커스 이미지 414와 동일한 해상도를 가질 수 있음), 합 이미지의 높이에 대응하는 높이 H, 및 복수의 크기 스케일에 대응하는 깊이 D를 가질 수 있다. 손실 값 계산기(466)는 데이터 손실 코스트 볼륨에 기초하여 데이터 손실 값(470) 및 데이터 손실 깊이 맵(468)을 결정하도록 구성될 수 있다. 구체적으로, 손실 값 계산기(466)는 데이터 손실 코스트 볼륨(464)의 크로스-섹션의 H 픽셀 x W 픽셀의 각각의 픽셀에 대해, 코스트 볼륨의 깊이(464)를 따라 각각의 픽셀에 공간적으로 대응하는 픽셀의 복수의 값으로부터 가장 작은 픽셀 값을 선택하도록 구성될 수 있다. 또한, 데이터 손실 값(470)은 각 픽셀에 대해 선택된 값을 합산하여 결정될 수 있다.

각각의 선택된 픽셀 값은 각각의 픽셀에 대한 대응하는 크기 스케일과 연관될 수 있다. 따라서, 손실 값 계산기(466)는 데이터 손실 코스트 볼륨(464)의 크로스-섹션의 W 픽셀 x H 픽셀의 각각의 픽셀에 대해, 각각의 픽셀을 가장 효과적으로 디블러링하는 블러 커널의 대응하는(해당) 크기 스케일을 선택하도록 구성될 수 있다. 또한, 각각의 크기 스케일은 듀얼-픽셀 이미지 데이터(402)를 캡처하는 데 사용되는 듀얼-픽셀 카메라 장치에 대한 특정 깊이에 대응할 수 있기 때문에, 각각의 픽셀에 대한 대응하는 크기 스케일의 선택은 각각의 픽셀과 연관된 깊이 값을 나타낼 수 있다. 따라서, 데이터 손실 값(470) 및 데이터 손실 깊이 맵(468)은 설명된 프로세스를 통해 공동으로(jointly) 결정될 수 있다.

VI. 등가 손실 항 계산의 예

도 4c는 손실 함수(426)의 등가 손실 항(430)의 예시적인 구현을 도시한다. 등가 손실 항(430)은, 복수의 크기 스케일의 각각의 크기 스케일에 대해, (i) 스케일링된 블러 커널(442-444)의 해당 스케일링된 블러 커널과 제2 서브-이미지(406)의 컨볼루션(472) 및 (ii) 스케일링된 블러 커널(446-448)의 해당 스케일링된 블러 커널과 제1 서브-이미지(404)의 컨볼루션(474)의 차이(476)의 절대값(절대값 연산자(478)에 의해 결정됨)에 기초한 해당 차이 이미지를 계산하도록 구성될 수 있다. 따라서, 등가 손실 항(430)은 함수 를 구현할 수 있으며, 여기서 은 제1 서브-이미지(404)를 나타내고, 는 제2 서브-이미지(406)를 나타내고, 은 각각의 크기 스케일과 연관된 스케일링된 블러 커널(442-444)의 스케일링된 블러 커널을 나타내고, 는 각각의 크기 스케일과 연관된 스케일링된 블러 커널(446-448)의 스케일링된 블러 커널을 나타낸다. 구체적으로, 이고, 이므로, 이고(컨볼루션의 교환 속성으로 인해), 따라서 이거나, 또는 동등하게 이다.

등가 손실 코스트 볼륨(480)은 복수의 크기 스케일 각각에 대응하는 차이(차분) 이미지을 스택함으로써 생성될 수 있다. 따라서, 등가 손실 코스트 볼륨(480)은 차분(차이) 이미지의 폭에 대응하는 폭(W), 차분(차이) 이미지의 높이에 대응하는 높이(H), 및 복수의 크기 스케일에 대응하는 깊이(D)를 가질 수 있다. 손실 값 계산기(482)(손실 값 계산기(466)와 동일하거나 유사할 수 있음)는 등가 손실 코스트 볼륨(480)에 기초하여 등가 손실 값(486) 및 등가 손실 깊이 맵(484)을 결정하도록 구성될 수 있다. 구체적으로, 손실 값 계산기(482)는 등가 손실 코스트 볼륨(480)의 크로스-섹션의 W 픽셀 x H 픽셀의 각각의 픽셀에 대해, 코스트 볼륨(480)의 깊이를 따라 각각의 픽셀에 공간적으로 대응하는 픽셀의 복수의 값으로부터 가장 작은 픽셀 값을 선택하도록 구성될 수 있다. 또한, 등가 손실 값(486)은 각 픽셀에 대해 선택된 값을 합산하여 결정될 수 있다.

각각의 선택된 픽셀 값은 각각의 픽셀에 대한 대응하는 크기 스케일과 연관될 수 있기 때문에, 따라서, 손실 값 계산기(482)는 등가 손실 코스트 볼륨(480)의 크로스-섹션의 W 픽셀 x H 픽셀의 각각의 픽셀에 대해, 각각의 픽셀을 가장 효과적으로 디블러링하는 블러 커널의 대응하는 크기 스케일을 선택하도록 구성될 수 있다. 또한, 각각의 크기 스케일은 듀얼-픽셀 이미지 데이터(402)를 캡처하는 데 사용되는 듀얼-픽셀 카메라 장치에 대한 특정 깊이에 대응할 수 있기 때문에, 각각의 픽셀에 대한 대응하는 크기 스케일의 선택은 각각의 픽셀과 연관된 깊이 값을 나타낼 수 있다. 따라서, 등가 손실 값(486) 및 등가 손실 깊이 맵(484)은 설명된 프로세스를 통해 공동으로 결정될 수 있다.

VII. 코스트 볼륨 감소의 예

도 4d는 (예를 들어, 손실 값 계산기(466 및/또는 482)에 의한) 코스트 볼륨 및 손실 값으로의 감소의 시각적 예시를 제공한다. 구체적으로, 코스트 볼륨(490)은 예를 들어 데이터 손실 코스트 볼륨(464) 및/또는 등가 손실 코스트 볼륨(480)을 나타낼 수 있다. D 픽셀을 포함하는 깊이 디멘션(dimension)은 제1 블러 커널(416) 및 제2 블러 커널(418) 각각이 스케일링되는 크기 스케일의 수에 대응하고 이에 기초할 수 있다. W 픽셀 및 H 픽셀을 각각 포함하는 폭 및 높이 디멘션(dimension)은 코스트 볼륨(490)을 생성하는 데 사용되는 합 이미지(데이터 손실 항 428의 경우) 또는 차이(차분) 이미지(등가 손실 항 430의 경우)에 존재하는 픽셀의 수에 대응할 수 있고 이에 기초할 수 있다.

코스트 볼륨(490)은 코스트 이미지(492)를 생성하기 위해 깊이 디멘션(D)을 따라 감소될 수 있다. 구체적으로, 코스트 볼륨(490)의 W 픽셀 x H 픽셀 크로스-섹션을 따른 각 픽셀 위치는 코스트 볼륨(490)의 깊이 디멘션을 따라 공간적으로 대응하는 D 픽셀과 연관될 수 있다. 구체적으로, 도 4d는 100개의 픽셀 위치를 포함하는 크로스-섹션을 갖는 코스트 볼륨(490)을 예시하고, 이들 각각은 깊이 디멘션을 따라 9개의 공간적으로 대응하는 픽셀과 연관되어 총 900개의 픽셀이 된다. 코스트 볼륨(490)은 코스트 볼륨(490)의 크로스-섹션의 HxW(예를 들어, 100) 픽셀 위치 각각에 대해, 깊이 디멘션을 따른 최소 픽셀 값을 선택함으로써 코스트 이미지(492)로 감소될 수 있다. 예를 들어, 가장 낮은 값의 픽셀은 코스트 볼륨(490)의 일부로서 해칭된 패턴으로 표시된 픽셀 중에서 선택될 수 있으며, 결과적으로 코스트 이미지(492)에 대한 대응하는 픽셀 값이 된다.

따라서 코스트 이미지(492)는 코스트 볼륨(490)의 HxW 크로스-섹션을 따라 각 픽셀 위치에 대한 가장 낮은 값의 픽셀을 나타낼 수 있다. 각각의 가장 낮은 값의 픽셀은 대응하는 크기 스케일와 연관되어 있으며, 이는 차례로 대응하는 깊이 값과 연관되기 때문에, 코스트 이미지(492)는 또한 깊이 맵(예를 들어, 데이터 손실 깊이 맵(468) 및/또는 등가 손실 깊이 맵(484))을 나타내고 생성하기 위해 사용될 수 있다. 경우에 따라 깊이 맵은 단위가 없는 값(unitless value)을 사용하여 각 픽셀의 상대적 깊이를 나타낼 수 있다. 주어진 크기 스케일과 연관된 특정 블러 커널이 해당 물리적 깊이에 매핑되는 경우(예: 듀얼-픽셀 카메라 장치의 광학 속성 기반), 깊이 맵은 물리적 단위(예를 들어, 미터)에 대응하는 값을 사용하여 각 픽셀의 깊이를 추가적으로 또는 대안적으로 나타낼 수 있다. 코스트 이미지(492)는 코스트 이미지(492)의 모든 픽셀 값의 합을 취함으로써 코스트 값(494)(예를 들어, 데이터 손실 값(470) 및/또는 등가 손실 값(486)을 나타냄)으로 더 감소될 수 있다.

도 4a로 돌아가서, 손실 값(436)은 예를 들어 데이터 손실 값(470), 등가 손실 값(486), 및/또는 프라이어 손실 항(들)(432)에 의해 생성된 프라이어 손실 값의 합을 나타낼 수 있다. 깊이 맵(434)은 예를 들어 데이터 손실 깊이 맵(468), 등가 손실 깊이 맵(484), 또는 이들의 조합을 나타낼 수 있다. 예를 들어, 깊이 맵(434)은 데이터 손실 깊이 맵(468) 및 등가 손실 깊이 맵(484)의 픽셀 단위 평균(pixel-wise average)을 나타낼 수 있다.

프라이어 손실 항(들)(432)은 솔루션에 대한 컨버전스(convergence)를 가속화하고 및/또는 솔루션의 정확도를 개선하기 위해 시스템(400)에 의해 해결된 최적화 문제의 양태를 추가로 정의하는 하나 이상의 수학식을 포함할 수 있다. 일례에서, 프라이어 손실 항(들)(432)은 (i) 인-포커스 이미지(414), (ii) 제1 블러 커널(416), 및/또는 (iii) 제2 블러 커널(418)의 총 변동을 결정하도록 구성된 총 변동 잡음 제거 손실(denoising) 항을 포함할 수 있다. 예를 들어, 총 변동 잡음 제거 항은 인-포커스 이미지(414), 제1 블러 커널(416), 및 제2 블러 커널(418) 각각의 총 변동의 합을 계산하도록 구성될 수 있다. 이미지 신호 y의 총 변동 값은 예를 들어 에 따라 표현될 수 있으며, 여기서 이미지 신호 y는 인-포커스 이미지(414), 제1 블러 커널(416), 및/또는 제2 블러 커널(418)을 나타낼 수 있고, 여기서 i와 j는 픽셀 좌표를 나타낸다.

제2 예에서, 프라이어 손실 항(들)(432)은 (i) 인-포커스 이미지(414), (ii) 제1 블러 커널(416), 및/또는 (iii) 하나 이상의 인공 신경망에 의한 제2 블러 커널(418)의 생성 및/또는 프로세싱 결과를 결정하도록 구성된 딥 컨벌루션 프라이어 손실 항을 포함할 수 있다. 예를 들어, 프라이어 손실 항은 (i) 인-포커스 이미지(414), (ii) 제1 블러 커널(416), 및/또는 (iii) 제2 블러 커널(418)을 하나 이상의 인공 신경망의 출력으로 파라미터화함으로써 암시적으로 포함될 수 있고, 이는 예를 들어 Dmitry Ulyanov 등이 저술한 "Deep Image Prior"라는 제목의 논문에 설명되어 있으며(따라서 deep convolutional prior는 deep image prior로 간주될 수 있음) 및/또는 Dongwei Ren 등이 저술한 "Neural Blind Deconvolution Using Deep Priors"이라는 제목의 논문에 설명되어 있다(따라서 deep convolutional prior는 blind deconvolution prior로 간주될 수 있다). 신경망에 의한 프로세싱을 기반으로 하는 다른 프라이어가 가능하다.

제3 예에서, 프라이어 손실 항(들)(432)은 (i) 깊이 맵(434)의 하나 이상의 특징을 (ii) 인-포커스 이미지(414)의 하나 이상의 대응하는 특징과 비교하도록 구성된 깊이 손실 항을 포함할 수 있다. 예를 들어, 깊이 손실 항은 깊이 맵(434) 및 인-포커스 이미지(414)에서 에지와 같은 특징의 주어진 세트의 표현의 공간적 정렬을 정량화할 수 있다. 따라서, 시스템(400)은 서로 일관(coherent)된 인-포커스 이미지(414) 및 깊이 맵(434)을 생성하도록 훈련될 수 있다.

VIII. 예제 이미지, 커널 및 깊이 맵

도 5는 시스템(400)에 의해 사용 및/또는 생성된 일부 이미지, 커널 및 깊이 맵의 시각적 예시를 제공한다. 구체적으로, 도 4는 각각 객체(500) 및 객체(502)의 각각의 표현을 포함하는 제1 서브-이미지(404) 및 제2 서브-이미지(406)를 예시한다. 이미지 캡처 동안, 객체(500)는 듀얼-픽셀 카메라 장치의 포커스 깊이 내에 위치되었을 수 있고, 따라서 제1 서브-이미지(404) 및 제2 서브-이미지(406) 모두에서 포커스가 맞춰진 것처럼 보일 수 있다. 반면에, 객체(502)는 듀얼-픽셀 카메라 장치의 포커스 심도(깊이) 밖(예, beyond)에 위치할 수 있고, 따라서 제1 서브-이미지(404) 및 제2 서브-이미지(406) 모두에서 아웃포커스(예, blurry)로 나타날 수 있다. 객체(502)의 외양의 차이는 시각적으로 과장되어 있고, 점선 참조선이 제공되어 객체(502)가 포커스가 맞지 않아(아웃포커스) 제1 서브-이미지(404)와 제2 서브-이미지(406) 사이의 불일치를 보여준다.

제1 블러 커널(416) 및 제2 블러 커널(418)은 대략 반원 형상을 갖는 것으로 도시되어 있으며, 이는 원형 조리개를 갖는 듀얼-픽셀 카메라 장치로부터 기인할 수 있다. 다른 조리개 모양은 다른 모양의 블러 커널을 생성할 수 있다. 제1 블러 커널(416) 및 제 2 블러 커널(418)은 제1 서브-이미지(404) 및 제 2 서브-이미지(406)로 스케일링되도록 그려지지 않는다. 제1 블러 커널(416) 및 제2 블러 커널(418)은 각각 반경이 5픽셀인 것으로 도시되어 있으며, 이는 전체 스케일(즉, 1.0x)에서 커널을 나타낼 수 있다. 제1 블러 커널(416) 및/또는 제2 블러 커널(418)이 예를 들어, 0.6x로 스케일링될 때, 스케일링된 제1 블러 커널(416) 및/또는 제2 블러 커널(418)은 대신 3 픽셀의 반경을 가질 수 있다.

인-포커스 이미지(414)는 인-포커스로 표현된 객체(500) 및 객체(502) 둘 다를 예시한다. 구체적으로, 객체(500)의 모양이 조정되지 않았으며, 처음에는 포커스가 맞춰져 있었지만 객체(502)의 모양은 제1 블러 커널(416) 및/또는 제2 블러 커널(418)에 기반한 적절한 크기의 블러 커널로 부분의 컨볼루션의 결과로 조정되었다. 깊이 맵(434)에서, 듀얼-픽셀 카메라 장치에 더 가까운 피처(특징)는 더 밝은 색상(최소 깊이를 나타내는 흰색)으로 표시되고, 더 멀리 떨어져 있는 피처(특징)는 더 어두운 색상(최대 깊이를 나타내낸 검정색)으로 표시된다. 따라서, 깊이 맵(434)은 객체(500)가 객체(502)보다 듀얼-픽셀 카메라 장치에 더 가깝다는 것을 나타낸다.

IX. 예시 이미지 및 커널 모델 파라미터화

도 6은 인-포커스 이미지 모델(408)의 예시적인 구현을 도시한다. 구체적으로, 도 6은 인공 신경망(ANN: artificial neural network)(600)으로 구현된 인-포커스 이미지 모델(408)을 도시하고, 이는 대안적으로 다층 퍼셉트론(MLP: multilayer perceptron)으로 지칭될 수 있다. ANN(600)은 입력층(640), 은닉층(650~660) 및 출력층(670)을 포함한다. 입력층(640)은 입력 뉴런(641, 642)을 포함한다. 은닉층(650)은 뉴런(651, 652, 653, 654, 655 내지 656)을 포함한다. 은닉층(660)은 뉴런(661, 662, 663, 664, 665 내지 666)을 포함한다. 출력층(670)은 뉴런(671, 672, 673)을 포함한다. 주어진 뉴런은 이전 계층의 뉴런 출력의 가중 합을 계산하고 이 계산된 합에 활성화 함수를 적용하여 주어진 뉴런의 출력을 생성하도록 구성될 수 있다.

ANN(600)은 인-포커스 이미지(414)의 각각의 픽셀에 대해, 대응하는 적색-녹색-청색(RGB) 픽셀 값을 생성하도록 구성될 수 있다. 구체적으로, ANN(600)은 입력층(640)에서 픽셀 좌표 세트를 수신하도록 구성될 수 있고, n번째 픽셀 의 수평 좌표는 입력 뉴런(641)에 제공되고 n번째 픽셀 의 수직 좌표는 입력 뉴런(642)에 제공된다. ANN(600)은 수평 좌표 및 수직 좌표 에 기초하여, 출력 뉴런(671)에서 대응하는 적색 픽셀 값 , 출력 뉴런(672)에서 대응하는 청색 픽셀 값 , 및 출력 뉴런(673)에서 대응하는 녹색 픽셀 값 을 생성하도록 구성될 수 있다. 따라서, 인-포커스 이미지(414)가 N개의 픽셀을 포함할 때, ANN(600)은, 인-포커스 이미지(414)를 형성하는 N개의 픽셀 중 각각의 픽셀 n에 대해, 대응하는(해당) RGB 픽셀 값을 생성하기 위해 N번 사용될 수 있다. ANN(600)을 사용하여 인-포커스 이미지(414)를 파라미터화하는 것은 ANN(600)이 그 구조로 인해 본질적으로 현실적이고 공간적으로 일관된 이미지 데이터를 생성하도록 구성될 수 있다는 점에서 유리할 수 있다.

일부 구현에서, ANN(600) 또는 그의 수정된 버전은 제1 블러 커널 모델(410) 및/또는 제2 블러 커널 모델(412)을 구현하는 데 사용될 수 있다. 구체적으로, 제1 블러 커널(416) 및/또는 제2 블러 커널(418)의 각 픽셀이 RGB 값이 아닌 단일 값과 연관되는 경우, ANN(600)은 3개의 출력 뉴런이 아닌 단일 출력 뉴런을 포함함으로써 수정될 수 있다. 따라서 수정된 ANN(600)은, 제1 블러 커널(416) 및/또는 제2 블러 커널(418)의 n번째 픽셀의 수평 좌표 및 수직 좌표 에 기초하여, 출력 뉴런(671)에서 대응하는(해당) 픽셀 값 을 생성하도록 구성될 수 있다. 따라서, 제1 블러 커널(416)(또는 제2 블러 커널(418))이 M개의 픽셀을 포함할 때, 수정된 ANN(600)은 제1 블러 커널(416)(또는 제2 블러 커널(418))을 형성하는 M개의 픽셀 중 각각의 픽셀 n에 대해, 대응하는(해당) 픽셀 값을 생성하기 위해 M번 사용될 수 있다.

대안적으로, 인-포커스 이미지(414), 제1 블러 커널(416), 및/또는 제2 블러 커널(418)은 파라미터화되고 다른 수학적 모델을 사용하여 생성될 수 있다. 일례에서, 인-포커스 이미지(414), 제1 블러 커널(416), 및/또는 제2 블러 커널(418)은 그리드 파라미터화를 사용하여 표현될 수 있고, 각 픽셀 값은 직접적으로 및/또는 명시적으로 표현된다. 따라서, 인-포커스 이미지 모델(408), 제1 블러 커널 모델(410) 및/또는 제2 블러 커널 모델(412)은, 예를 들어, 대응하는 이미지의 값을 정의 및/또는 생성하기 위해 사용될 수 있는 해당 룩업 테이블을 저장할 수 있고, 이러한 값은 모델의 훈련 동안 직접 조정될 수 있다.

X. 추가 동작 예시

도 7은 듀얼-픽셀 이미지 데이터를 사용하여 인-포커스 이미지 및/또는 블러 커널을 생성하는 것과 연관된 동작의 흐름도를 도시한다. 동작은 다른 가능성 중에서 컴퓨팅 장치(100), 컴퓨팅 시스템(200), 듀얼-픽셀 이미지 센서(300), 및/또는 시스템(400)의 출력에 의해 및/또는 이에 기초하여 수행될 수 있다. 도 7의 실시예는 여기에 도시된 특징들 중 임의의 하나 이상의 특징을 제거함으로써 단순화될 수 있다. 또한, 이들 실시예는 임의의 이전 도면의 특징, 양태 및/또는 구현과 결합되거나 본 명세서에서 달리 설명될 수 있다.

블록(700)은 제1 서브-이미지 및 제2 서브-이미지를 포함하는 듀얼-픽셀 이미지 데이터를 획득하는 것을 수반할 수 있다.

블록(702)은 (i) 인-포커스 이미지, (ii) 제1 서브-이미지에 대응하는 제1 블러 커널, 및 (iii) 제2 서브-이미지에 대응하는 제2 블러 커널을 결정하는 것을 수반할 수 있다.

블록(704)은 (i) 제2 블러 커널과 제1 서브-이미지의 컨볼루션과 (ii) 제1 블러 커널과 제2 서브-이미지의 컨볼루션 차이를 결정하도록 구성된 등가 손실 항, 또는 (i) 제1 블러 커널과 인-포커스 이미지의 컨볼루션과 상기 제1 서브-이미지 간의 차이 및 (ii) 제2 서브-이미지와 상기 인-포커스 이미지의 컨볼루션과 제2 서브 이미지 간의 차이의 합을 결정하도록 구성된 데이터 손실 항, 중 하나 이상을 포함하는 손실 함수를 사용하여 손실 값을 결정하는 것을 수반할 수 있다.

블록(706)은 손실 값 및 손실 함수에 기초하여, (i) 인-포커스 이미지, (ii) 제1 블러 커널, 또는 (iii) 제2 블러 커널 중 하나 이상을 업데이트하는 것을 수반할 수 있다.

블록(708)은 (i) 업데이트된 인-포커스 이미지, (ii) 업데이트된 제1 블러 커널, 또는 (iii) 업데이트된 제2 블러 커널 중 하나 이상에 기초하여 이미지 데이터를 생성하는 것을 수반할 수 있다.

일부 실시예에서, 손실 함수를 사용하여 손실 값을 결정하는 것은 복수의 크기 스케일에 대응하는 제1 복수의 스케일링된 블러 커널을 수신하는 것을 포함할 수 있다. 제1 복수의 스케일링된 블러 커널은 제1 블러 커널에 기초하여 생성될 수 있다. 복수의 크기 스케일에 대응하는 복수의 스케일링된 블러 커널이 수신될 수 있다. 제2 복수의 스케일링된 블러 커널은 제2 블러 커널에 기초하여 생성될 수 있다. 코스트 볼륨은 복수의 크기 스케일 각각에 대해 등가 손실 항 또는 데이터 손실 항 중 하나 이상의 각각의 결과를 결정함으로써 생성될 수 있다. 손실 값는 코스트 볼륨에 따라 결정될 수 있다.

일부 실시양태에서, 복수의 크기 스케일 각각에 대해 등가 손실 항의 각각의 결과를 결정함으로써 코스트 볼륨을 생성하는 것은 복수의 크기 스케일 각각에 대해, (i) 제2 복수의 스케일링된 블러 커널의 해당 블러 커널을 갖는 제1 서브-이미지의 컨볼루션과 (ii) 제1 복수의 스케일링된 블러 커널의 해당 블러 커널을 갖는 제2 서브-이미지의 컨볼루션 간의 차이에 기초하여 각각의 차이 이미지를 결정함으로써 등가 손실 코스트 볼륨을 생성하는 것을 포함할 수 있다. 손실 값은 등가 손실 코스트 볼륨에 기초하여 결정된 등가 손실 값을 포함할 수 있다.

일부 실시예에서, 각각의 차분(차이) 이미지은 H 픽셀의 높이 및 W 픽셀의 폭을 가질 수 있다. 복수의 크기(사이즈) 스케일은 D 크기 스케일을 포함할 수 있다. 등가 손실 코스트 볼륨의 크로스-섹션은 H 픽셀 x W 픽셀을 포함할 수 있고, 등가 손실 코스트 볼륨의 깊이는 D 픽셀을 포함할 수 있다. 상기 등가 손실 코스트 볼륨에 기초하여 등가 손실 값을 결정하는 것은, 등가 손실 코스트 볼륨의 크로스-섹션의 W 픽셀 x H 픽셀의 각각의 픽셀에 대해, 등가 손실 코스트 볼륨의 깊이를 따라 상기 각각의 픽셀에 공간적으로 대응하는 D 픽셀 값으로부터 최소 픽셀 값을 선택하고; 그리고 등가 손실 코스트 볼륨의 크로스-섹션의 W 픽셀 x H 픽셀의 각각의 픽셀에 대해 선택된 상기 최소 픽셀 값의 합에 기초하여 상기 등가 손실 값을 결정하는 것을 포함할 수 있다.

일부 실시예에서, 복수의 크기 스케일 각각에 대해 데이터 손실 항의 각각의 결과를 결정함으로써 코스트 볼륨을 생성하는 것은, 복수의 크기 스케일 각각에 대해, (i) 제1 복수의 스케일링된 블러 커널의 해당 블러 커널과 인-포커스 이미지의 컨볼루션과 제1 서브-이미지 간의 차이 및 (ii) 제2 복수의 스케일링된 블러 커널의 해당 블러 커널과 인-포커스 이미지의 컨볼루션과 제2 서브-이미지 간의 차이의 합에 기초하여 각각의 합 이미지를 결정함으로써 데이터 손실 코스트 볼륨을 생성하는 것을 포함할 수 있다. 상기 손실 값은 데이터 손실 코스트 볼륨에 기초하여 결정된 데이터 손실 값을 포함할 수 있다.

일부 실시예에서, 각각의 합 이미지는 H 픽셀의 높이 및 W 픽셀의 너비를 가질 수 있다. 복수의 크기 스케일은 D 크기 스케일을 포함할 수 있다. 데이터 손실 코스트 볼륨의 크로스-섹션은 H 픽셀 x W 픽셀을 포함할 수 있고, 데이터 손실 코스트 볼륨의 깊이는 D 픽셀을 포함할 수 있다. 데이터 손실 코스트 볼륨에 기초하여 데이터 손실 값을 결정하는 것은, 데이터 손실 코스트 볼륨의 크로스-섹션의 W 픽셀 x H 픽셀의 각각의 픽셀에 대해, 데이터 손실 코스트 볼륨의 깊이를 따라 각각의 픽셀에 공간적으로 대응하는 D 픽셀 값으로부터 최소 픽셀 값을 선택하고; 그리고 데이터 손실 코스트 볼륨의 크로스-섹션의 W 픽셀 x H 픽셀의 각각의 픽셀에 대해 선택된 최소 픽셀 값의 합에 기초하여 데이터 손실 값을 결정하는 것을 포함할 수 있다.

일부 실시예에서, 복수의 크기 스케일 각각은 대응하는(해당) 깊이와 연관될 수 있다. 스케일링된 복수의 크기 중 대응하는 크기 스케일은 인-포커스 이미지의 각각의 픽셀에 대한 코스트 볼륨에 기초하여 선택될 수 있다. 듀얼-픽셀 이미지 데이터와 연관된 깊이 맵은 인-포커스 이미지의 각 픽셀에 대해 선택된 대응하는(해당) 크기 스케일에 기초하여 생성될 수 있다.

일부 실시예에서, 손실 함수는 (i) 깊이 맵의 하나 이상의 특징(피처)을 (ii) 인-포커스 이미지의 하나 이상의 대응하는 특징과 비교하도록 구성된 깊이 손실 항을 포함할 수 있다.

일부 실시양태에서, i) 업데이트된 인-포커스 이미지, (ii) 업데이트된 제1 블러 커널, 또는 (iii) 업데이트된 제2 블러 커널 중 하나 이상에 기초하여 이미지 데이터를 생성하는 것은, 깊이 맵에 기초하여 듀얼-픽셀 이미지 데이터의 적어도 일부와 연관된 포커스의 깊이를 수정함으로써 재포커스된 이미지를 생성하고; 그리고 재포커스된 이미지를 디스플레이하는 것을 포함할 수 있다.

일부 실시양태에서, 인-포커스 이미지, 제1 블러 커널, 및 제2 블러 커널 각각은 해당 수학적 모델에 의해 파라미터화되고 그리고 해당 수학적 모델을 사용하여 생성될 수 있다. (i) 상기 인-포커스 이미지, (ii) 상기 제1 블러 커널, 또는 (iii) 상기 제2 블러 커널 중 하나 이상을 업데이트하는 것은, 손실 값에 대응하고 대응하는 수학적 모델 중 하나 이상의 파라미터에 대해 손실 함수의 기울기를 결정하는 것을 포함할 수 있다. 하나 이상의 대응하는 수학적 모델의 하나 이상의 파라미터는 손실 함수의 기울기에 기초하여 업데이트될 수 있다. 업데이트된 인-포커스 이미지는 업데이트된 해당 수학적 모델을 사용하여 생성될 수 있으며, 업데이트된 제1 블러 커널은 업데이트된 해당 수학적 모델을 사용하여 생성될 수 있고/있거나 업데이트된 제2 블러 커널은 업데이트된 해당 수학적 모델을 사용하여 생성될 수 있다.

일부 실시양태에서, 상기 인-포커스 이미지에 대응하는 수학적 모델은, 인-포커스 이미지에 대응하는 수학적 모델의 적어도 하나의 파라미터의 값이 상이한 듀얼-픽셀 이미지 데이터에 대응하는 수학적 모델의 적어도 하나의 해당 파라미터의 값과 상이하도록 듀얼-픽셀 이미지 데이터에 특정될 수 있다.

일부 실시예에서, 인포커스 이미지를 파라미터화하고 생성하도록 구성된 대응하는(해당) 수학적 모델은 제1 인공 신경망을 포함할 수 있다. 인-포커스 이미지를 생성하는 것은, 제1 인공 신경망을 통해 그리고 인-포커스 이미지의 각각의 픽셀 좌표에 대해, 인-포커스 이미지의 각각의 픽셀 좌표에 기초하여 해당 픽셀 값을 생성하는 것을 포함할 수 있다. 업데이트된 인-포커스 이미지를 생성하는 것은, 업데이트된 제1 인공 신경망을 통해 그리고 업데이트된 인-포커스 이미지의 각각의 픽셀 좌표에 대해, 업데이트된 인-포커스 이미지의 각 픽셀 좌표에 기초하여 업데이트된 해당 픽셀 값을 생성하는 것을 포함할 수 있다.

일부 실시예에서, 제1 블러 커널 및 제2 블러 커널의 특정 블러 커널을 파라미터화하고 생성하도록 구성된 대응하는(해당) 수학적 모델은 제2 인공 신경망을 포함할 수 있다. 특정 블러 커널을 생성하는 것은 제2 인공 신경망을 통해 그리고 특정 블러 커널의 각각의 픽셀 좌표에 대해, 특정 블러 커널의 각각의 픽셀 좌표에 기초하여 해당 픽셀 값을 생성하는 것을 포함할 수 있다. 특정 블러 커널을 업데이트하는 것은 업데이트된 제2 인공 신경망을 통해 그리고 업데이트된 특정 블러 커널의 각각의 픽셀 좌표에 대해, 업데이트된 특정 블러 커널의 각각의 픽셀 좌표에 기초하여 업데이트된 해당 픽셀 값을 생성하는 것을 포함할 수 있다.

일부 실시예에서, 제1 블러 커널 및 제2 블러 커널을 결정하는 것은, 듀얼-픽셀 이미지 데이터를 생성하는 데 사용된 특정 카메라 장치를 식별하고; 특정 카메라 장치에 기초하여, 특정 카메라 장치에 대해 캘리브레이션된 제1 블러 커널 및 상기 특정 카메라 장치에 대해 캘리브레이션된 제2 블러 커널을 획득하는 것을 포함할 수 있다.

일부 실시양태에서, 손실 함수는 (i) 인-포커스 이미지, (ii) 제1 블러 커널, 또는 (iii) 제2 블러 커널 중 하나 이상의 총 변화를 결정하도록 구성된 총 변화 노이즈 제거(denoising) 손실 항을 포함할 수 있다.

일부 실시양태에서, 하나 이상의 인공 신경망에 의해 (i) 인-포커스 이미지, (ii) 제1 블러 커널, 또는 (iii) 제2 블러 커널 중 하나 이상의 프로세싱 결과를 결정하도록 구성된 깊은 컨볼루션 프라이어(prior) 손실 항을 포함할 수 있다.

일부 실시양태에서, 손실 값은 손실 함수를 사용하고 그리고 (i) 업데이트된 인-포커스 이미지, (ii) 업데이트된 제1 블러 커널, 또는 (iii) 업데이트된 제2 블러 커널 중 하나 이상에 기초하여 업데이트될 수 있다. 업데이트된 손실 값은 임계 손실 값 미만이라고 결정될 수 있다. 업데이트된 손실 값이 임계 손실 값 미만이라는 결정에 기초하여, (i) 업데이트된 인-포커스 이미지, (ii) 업데이트된 제1 블러 커널, 또는 ( iii) 업데이트된 제2 블러 커널 중 하나 이상에 기초한 이미지 데이터가 생성될 수 있다.

일부 실시예에서, 제3 서브-이미지 및 제4 서브-이미지를 포함하는 제2 듀얼-픽셀 이미지 데이터가 획득될 수 있다. 제2 인-포커스 이미지, 제3 서브-이미지에 대응하는 제3 블러 커널, 및/또는 제4 서브-이미지에 대응하는 제4 블러 커널이 결정될 수 있다. 제2 손실 값은, (i) 제4 블러 커널과 제3 서브-이미지의 컨볼루션 및 (ii) 제3 블러 커널과 제4 서브-이미지의 컨볼루션 간의 차이를 결정하도록 구성된 등가 손실 항, 또는 (i) 제3 블러 커널과 제2 인-포커스 이미지의 컨볼루션과 제3 서브-이미지 간의 차이 및 (ii) 제4 블러 커널과 제2 인-포커스 이미지의 컨볼루션과 제4 서브-이미지 간의 차이의 합을 결정하도록 구성된 데이터 손실 항, 중 하나 이상을 포함하는 손실 함수를 사용하여 결정될 수 있다. 제2 손실 값과 손실 함수를 기반으로, (i) 제2 인-포커스 이미지, (ii) 제3 블러 커널, 또는 (iii) 제4 블러 커널 중 하나 이상이 업데이트될 수 있다. 제2 이미지 데이터는 (i) 업데이트된 제2 인-포커스 이미지, (ii) 업데이트된 제3 블러 커널, 또는 (iii) 업데이트된 제4 블러 커널 중 하나 이상에 기초하여 생성될 수 있다. 제2 이미지 데이터가 디스플레이될 수 있다.

XI. 결론

본 개시는 다양한 양태의 예시로서 의도된 본 출원에서 설명된 특정 실시예의 견지에서 제한되지 않는다. 당업자에게 자명한 바와 같이, 그 범위를 벗어나지 않고 많은 수정 및 변형이 이루어질 수 있다. 본 발명의 범위 내에서 기능적으로 동등한 방법 및 장치는 본 명세서에 기술된 것에 더하여 전술한 설명으로부터 당업자에게 명백할 것이다. 이러한 수정 및 변형은 첨부된 청구범위에 속하는 것으로 의도된다.

위의 상세한 설명은 첨부된 도면을 참조하여 개시된 시스템, 장치 및 방법의 다양한 특징 및 동작을 설명한다. 도면에서 유사한 기호는 문맥에서 달리 지시하지 않는 한 일반적으로 유사한 컴포넌트를 식별한다. 본 명세서 및 도면에 기술된 예시적인 실시예는 제한하려는 의도가 아니다. 본 명세서에 제시된 주제의 범위를 벗어나지 않으면서, 다른 실시예가 이용될 수 있고, 다른 변경이 이루어질 수 있다. 여기에서 일반적으로 설명되고 도면에 예시된 바와 같이, 본 개시내용의 양태는 매우 다양한 상이한 구성으로 배열, 대체, 결합, 분리 및 설계될 수 있다는 것이 쉽게 이해될 것이다.

도면의 메시지 흐름도, 시나리오 및 흐름도 중 일부 또는 전부와 관련하여 그리고 여기에서 설명된 바와 같이, 각 단계, 블록 및/또는 통신은 다음에 따른 정보의 처리 및/또는 정보의 전송을 나타낼 수 있다. 대안적인 실시예는 이러한 예시적인 실시예의 범위 내에 포함된다. 이러한 대안적인 실시예에서, 예를 들어, 단계, 블록, 전송, 통신, 요청, 응답 및/또는 메시지로 설명된 동작은 연관된 기능에 따라 실질적으로 동시에 또는 역순을 포함하여 도시되거나 설명된 순서와 다르게 실행될 수 있다. 더 나아가, 더 많거나 더 적은 수의 블록 및/또는 동작이 여기에서 설명된 메시지 흐름도, 시나리오 및 흐름도와 함께 사용될 수 있으며 이러한 메시지 흐름도, 시나리오 및 흐름도는 부분적으로 또는 전체적으로 서로 결합될 수 있다.

정보의 처리(프로세싱)를 나타내는 단계 또는 블록은 여기에 설명된 방법 또는 기술의 특정 논리 기능을 수행하도록 구성될 수 있는 회로에 대응할 수 있다. 대안으로 또는 추가적으로, 정보의 처리를 나타내는 블록은 모듈, 세그먼트, 또는 프로그램 코드(관련 데이터 포함)의 일부에 해당할 수 있다. 프로그램 코드는 방법 또는 기술에서 특정 논리 연산 또는 동작을 구현하기 위해 프로세서에 의해 실행 가능한 하나 이상의 명령어를 포함할 수 있다. 프로그램 코드 및/또는 관련 데이터는 RAM(Random Access Memory), 디스크 드라이브, 솔리드 스테이트 드라이브, 또는 다른 저장 매체를 포함하는 저장 장치와 같은 임의의 유형의 컴퓨터 판독 가능 매체에 저장될 수 있다.

컴퓨터 판독가능 매체는 또한 레지스터 메모리, 프로세서 캐시, 및 RAM과 같은 짧은 기간 동안 데이터를 저장하는 컴퓨터 판독가능 매체와 같은 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 컴퓨터 판독가능 매체는 또한 더 긴 기간 동안 프로그램 코드 및/또는 데이터를 저장하는 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 따라서, 컴퓨터 판독가능 매체는 예를 들어 판독 전용 메모리(ROM), 광학 또는 자기 디스크, 솔리드 스테이트 드라이브, 컴팩트 디스크 판독 전용 메모리(CD-ROM)와 같은 2차 또는 영구 장기 저장 장치를 포함할 수 있다. 컴퓨터 판독가능 매체는 또한 임의의 다른 휘발성 또는 비휘발성 저장 시스템일 수 있다. 컴퓨터 판독가능 매체는 예를 들어, 컴퓨터 판독가능 저장 매체, 또는 유형의 저장 장치로 간주될 수 있다.

또한, 하나 이상의 정보 전송을 나타내는 단계 또는 블록은 동일한 물리적 장치의 소프트웨어 및/또는 하드웨어 모듈 간의 정보 전송에 해당할 수 있다. 그러나 다른 정보 전송은 다른 물리적 장치의 소프트웨어 모듈 및/또는 하드웨어 모듈 간에 이루어질 수 있다.

도면에 표시된 특정 배열은 제한적인 것으로 간주되어서는 안 된다. 다른 실시예는 주어진 도면에 도시된 각각의 요소를 더 많거나 더 적게 포함할 수 있음을 이해해야 한다. 또한, 도시된 컴포넌트 중 일부는 결합되거나 생략될 수 있다. 또한, 예시적인 실시예는 도면에 도시되지 않은 요소를 포함할 수 있다.

다양한 양태 및 실시예가 본 명세서에 개시되었지만, 다른 양태 및 실시예는 당업자에게 명백할 것이다. 본 명세서에 개시된 다양한 양태 및 실시예는 예시를 위한 것이며 제한하려는 것이 아니며, 진정한 범위는 다음 청구범위에 의해 표시된다.

Claims (20)

1. 컴퓨터로 구현되는 방법으로서,
   제1 서브-이미지 및 제2 서브-이미지를 포함하는 듀얼-픽셀 이미지 데이터를 획득하는 단계;
   (i) 상기 듀얼-픽셀 이미지 데이터와 연관된 인-포커스 이미지, (ii) 상기 제1 서브-이미지에 대응하는 제1 블러 커널, 및 (iii) 상기 제2 서브-이미지에 대응하는 제2 블러 커널을 결정하는 단계;
   (i) 제2 블러 커널과 제1 서브-이미지의 컨볼루션과 (ii) 제1 블러 커널과 제2 서브-이미지의 컨볼루션 차이를 결정하도록 구성된 등가 손실 항, 또는
   (i) 제1 블러 커널과 인-포커스 이미지의 컨볼루션과 상기 제1 서브-이미지 간의 차이 및 (ii) 제2 서브-이미지와 상기 인-포커스 이미지의 컨볼루션과 제2 서브 이미지 간의 차이의 합을 결정하도록 구성된 데이터 손실 항, 중 하나 이상을 포함하는 손실 함수를 사용하여 손실 값을 결정하는 단계;
   상기 손실 값 및 손실 함수에 기초하여, (i) 인-포커스 이미지, (ii) 제1 블러 커널, 또는 (iii) 제2 블러 커널 중 하나 이상을 업데이트하는 단계; 그리고
   (i) 상기 업데이트된 인-포커스 이미지, (ii) 상기 업데이트된 제1 블러 커널, 또는 (iii) 상기 업데이트된 제2 블러 커널 중 하나 이상에 기초하여 이미지 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
2. 제1항에 있어서, 상기 손실 함수를 사용하여 손실 값을 결정하는 단계는,
   복수의 크기 스케일에 대응하는 제1 복수의 스케일링된 블러 커널을 수신하는 단계 -제1 복수의 스케일링된 블러 커널은 상기 제1 블러 커널에 기초하여 생성됨-;
   상기 복수의 크기 스케일에 대응하는 제2 복수의 스케일링된 블러 커널을 결정하는 단계 -상기 제2 복수의 스케일링된 블러 커널은 제2 블러 커널에 기초하여 생성됨-;
   복수의 크기 스케일 각각에 대해, 등가 손실 항 또는 데이터 손실 항 중 하나 이상의 각각의 결과를 결정함으로써 코스트 볼륨(cost volume)을 생성하는 단계; 그리고
   상기 코스트 볼륨에 기초하여 상기 손실 값를 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
3. 제2항에 있어서,
   복수의 크기 스케일 각각에 대해 등가 손실 항의 각각의 결과를 결정함으로써 코스트 볼륨을 생성하는 단계는,
   복수의 크기 스케일 각각에 대해, (i) 제2 복수의 스케일링된 블러 커널의 해당 블러 커널을 갖는 제1 서브-이미지의 컨볼루션과 (ii) 제1 복수의 스케일링된 블러 커널의 해당 블러 커널을 갖는 제2 서브-이미지의 컨볼루션 간의 차이에 기초하여 각각의 차이 이미지를 결정함으로써 등가 손실 코스트 볼륨을 생성하는 단계를 포함하며, 상기 손실 값은 상기 등가 손실 코스트 볼륨에 기초하여 결정된 등가 손실 값을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
4. 제3항에 있어서, 각각의 차이 이미지는 H 픽셀의 높이와 W 픽셀의 폭을 가지며, 복수의 크기 스케일은 D 크기 스케일를 포함하고, 등가 손실 코스트 볼륨의 크로스-섹션은 H 픽셀 x W 픽셀을 포함하고, 등가 손실 코스트 볼륨의 깊이는 D 픽셀을 포함하고, 상기 등가 손실 코스트 볼륨에 기초하여 등가 손실 값을 결정하는 단계는,
   등가 손실 코스트 볼륨의 크로스-섹션의 W 픽셀 x H 픽셀의 각각의 픽셀에 대해, 등가 손실 코스트 볼륨의 깊이를 따라 상기 각각의 픽셀에 공간적으로 대응하는 D 픽셀 값으로부터 최소 픽셀 값을 선택하는 단계; 그리고
   등가 손실 코스트 볼륨의 크로스-섹션의 W 픽셀 x H 픽셀의 각각의 픽셀에 대해 선택된 상기 최소 픽셀 값의 합에 기초하여 상기 등가 손실 값을 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
5. 제2항에 있어서, 복수의 크기 스케일 각각에 대해, 데이터 손실 항의 각각의 결과를 결정함으로써 코스트 볼륨을 생성하는 단계는,
   복수의 크기 스케일 각각에 대해, (i) 제1 복수의 스케일링된 블러 커널의 해당 블러 커널과 인-포커스 이미지의 컨볼루션과 제1 서브-이미지 간의 차이 및 (ii) 제2 복수의 스케일링된 블러 커널의 해당 블러 커널과 인-포커스 이미지의 컨볼루션과 제2 서브-이미지 간의 차이의 합에 기초하여 각각의 합 이미지를 결정함으로써 데이터 손실 코스트 볼륨을 생성하는 단계를 포함하며, 상기 손실 값은 데이터 손실 코스트 볼륨에 기초하여 결정된 데이터 손실 값을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
6. 제5항에 있어서, 상기 각각의 합 이미지는 H 픽셀의 높이 및 W 픽셀의 폭을 가지며, 복수의 크기 스케일은 D 크기 스케일을 포함하고, 데이터 손실 코스트 볼륨의 크로스-섹션은 H 픽셀 x W 픽셀을 포함하고, 데이터 손실 코스트 볼륨의 깊이는 D 픽셀을 포함하고, 데이터 손실 코스트 볼륨에 기초하여 데이터 손실 값을 결정하는 단계는,
   데이터 손실 코스트 볼륨의 크로스-섹션의 W 픽셀 x H 픽셀의 각각의 픽셀에 대해, 데이터 손실 코스트 볼륨의 깊이를 따라 각각의 픽셀에 공간적으로 대응하는 D 픽셀 값으로부터 최소 픽셀 값을 선택하는 단계; 그리고
   데이터 손실 코스트 볼륨의 크로스-섹션의 W 픽셀 x H 픽셀의 각각의 픽셀에 대해 선택된 최소 픽셀 값의 합에 기초하여 데이터 손실 값을 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
7. 제2항에 있어서,
   복수의 크기 스케일 각각은 해당 깊이와 연관되고, 상기 컴퓨터로 구현되는 방법은,
   인-포커스 이미지의 각각의 픽셀에 대해, 코스트 볼륨에 기초하여 스케일링된 복수의 크기의 해당 크기 스케일을 선택하는 단계; 그리고
   상기 인-포커스 이미지의 각각의 픽셀에 대해 선택된 해당 크기 스케일에 기초하여 듀얼-픽셀 이미지 데이터와 연관된 깊이 맵을 생성하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
8. 제7항에 있어서, 상기 손실 함수는 (i) 상기 깊이 맵의 하나 이상의 특징을 (ii) 상기 인-포커스 이미지의 하나 이상의 해당 특징과 비교하도록 구성된 깊이 손실 항을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
9. 제7항에 있어서, (i) 업데이트된 인-포커스 이미지, (ii) 업데이트된 제1 블러 커널, 또는 (iii) 업데이트된 제2 블러 커널 중 하나 이상에 기초하여 이미지 데이터를 생성하는 단계는,
   깊이 맵에 기초하여 듀얼-픽셀 이미지 데이터의 적어도 일부와 연관된 포커스의 깊이를 수정함으로써 재포커스된 이미지를 생성하는 단계; 그리고
   재포커스된 이미지를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
10. 제1항에 있어서,
    인-포커스 이미지, 제1 블러 커널, 및 제2 블러 커널 각각은 해당 수학적 모델에 의해 파라미터화되고 그리고 해당 수학적 모델을 사용하여 생성되고,
    (i) 상기 인-포커스 이미지, (ii) 상기 제1 블러 커널, 또는 (iii) 상기 제2 블러 커널 중 하나 이상을 업데이트하는 단계는,
    손실 값에 대응하고 해당 수학적 모델 중 하나 이상에 대한 하나 이상의 파라미터에 대한 손실 함수의 기울기를 결정하는 단계;
    손실 함수의 기울기에 기초하여 해당 수학적 모델 중 하나 이상에 대한 하나 이상의 파라미터를 업데이트하는 단계; 그리고
    (i) 해당 수학적 모델을 사용하여 업데이트된 인-포커스 이미지, (ii) 해당 수학적 모델을 사용하여 업데이트된 제1 블러 커널, 또는 (iii) 해당 수학적 모델을 사용하여 업데이트된 제2 블러 커널 중 하나 이상을 생성하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
11. 제10항에 있어서, 상기 인-포커스 이미지에 대응하는 수학적 모델은,
    인-포커스 이미지에 대응하는 수학적 모델의 적어도 하나의 파라미터의 값이 상이한 듀얼-픽셀 이미지 데이터에 대응하는 수학적 모델의 적어도 하나의 해당 파라미터의 값과 상이하도록 듀얼-픽셀 이미지 데이터에 특정되는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
12. 제10항에 있어서,
    인-포커스 이미지를 파라미터화하고 생성하도록 구성된 해당 수학적 모델은 제1 인공 신경망을 포함하고,
    인-포커스 이미지를 결정하는 단계는, 제1 인공 신경망을 통해 그리고 인-포커스 이미지의 각각의 픽셀 좌표에 대해, 인-포커스 이미지의 각각의 픽셀 좌표에 기초하여 해당 픽셀 값을 생성하는 단계; 그리고
    업데이트된 인-포커스 이미지를 생성하는 단계는, 업데이트된 제1 인공 신경망을 통해 그리고 업데이트된 인-포커스 이미지의 각각의 픽셀 좌표에 대해, 업데이트된 인-포커스 이미지의 각 픽셀 좌표에 기초하여 업데이트된 해당 픽셀 값을 생성하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
13. 제10항에 있어서,
    제2 블러 커널 및 제1 블러 커널의 특정 블러 커널을 파라미터화하고 생성하도록 구성된 해당 수학적 모델은 제2 인공 신경망을 포함하고;
    특정 블러 커널을 결정하는 단계는, 제2 인공 신경망을 통해 그리고 특정 블러 커널의 각각의 픽셀 좌표에 대해, 특정 블러 커널의 각각의 픽셀 좌표에 기초하여 해당 픽셀 값을 생성하는 단계를 포함하고; 그리고
    특정 블러 커널을 업데이트하는 단계는, 업데이트된 제2 인공 신경망을 통해 그리고 업데이트된 특정 블러 커널의 각각의 픽셀 좌표에 대해, 업데이트된 특정 블러 커널의 각각의 픽셀 좌표에 기초하여 업데이트된 해당 픽셀 값을 생성하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
14. 제1항에 있어서, 상기 제1 블러 커널 및 상기 제2 블러 커널을 결정하는 단계는,
    듀얼-픽셀 이미지 데이터를 생성하는 데 사용된 특정 카메라 장치를 식별하는 단계; 그리고
    특정 카메라 장치에 기초하여, 특정 카메라 장치에 대해 캘리브레이션된 제1 블러 커널 및 상기 특정 카메라 장치에 대해 캘리브레이션된 제2 블러 커널을 획득하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
15. 제1항에 있어서, 상기 손실 함수는 (i) 인-포커스 이미지, (ii) 제1 블러 커널, 또는 (iii) 제2 블러 커널 중 하나 이상의 총 변화를 결정하도록 구성된 총 변화 노이즈 제거(denoising) 손실 항을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
16. 제1항에 있어서, 상기 손실 함수는 하나 이상의 인공 신경망에 의해 (i) 인-포커스 이미지, (ii) 제1 블러 커널, 또는 (iii) 제2 블러 커널 중 하나 이상의 프로세싱 결과를 결정하도록 구성된 깊은 컨볼루션 프라이어(prior) 손실 항을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
17. 제1항에 있어서, 상기 방법은,
    손실 함수를 사용하고 그리고 (i) 업데이트된 인-포커스 이미지, (ii) 업데이트된 제1 블러 커널, 또는 (iii) 업데이트된 제2 블러 커널 중 하나 이상에 기초하여 손실 값을 업데이트하는 단계;
    업데이트된 손실 값이 임계 손실 값 미만이라고 결정하는 단계; 그리고
    업데이트된 손실 값이 임계 손실 값 미만이라는 결정에 기초하여, (i) 업데이트된 인-포커스 이미지, (ii) 업데이트된 제1 블러 커널, 또는 ( iii) 업데이트된 제2 블러 커널 중 하나 이상에 기초하여 이미지 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
18. 제1항에 있어서, 상기 방법은,
    제3 서브-이미지 및 제4 서브-이미지를 포함하는 제2 듀얼-픽셀 이미지 데이터를 획득하는 단계;
    (i) 제2 인-포커스 이미지, (ii) 제3 서브-이미지에 대응하는 제3 블러 커널, 및 (iii) 제4 서브-이미지에 대응하는 제4 블러 커널을 결정하는 단계;
    (i) 제4 블러 커널과 제3 서브-이미지의 컨볼루션 및 (ii) 제3 블러 커널과 제4 서브-이미지의 컨볼루션 간의 차이를 결정하도록 구성된 등가 손실 항, 또는
    (i) 제3 블러 커널과 제2 인-포커스 이미지의 컨볼루션과 제3 서브-이미지 간의 차이 및 (ii) 제4 블러 커널과 제2 인-포커스 이미지의 컨볼루션과 제4 서브-이미지 간의 차이의 합을 결정하도록 구성된 데이터 손실 항, 중 하나 이상을 포함하는 손실 함수를 사용하여 제2 손실 값을 결정하는 단계;
    제2 손실 값 및 손실 함수에 기초하여, (i) 제2 인-포커스 이미지, (ii) 제3 블러 커널, 또는 (iii) 제4 블러 커널 중 하나 이상을 업데이트하는 단계; 그리고
    (i) 업데이트된 제2 인-포커스 이미지, (ii) 업데이트된 제3 블러 커널, 또는 (iii) 업데이트된 제4 블러 커널 중 하나 이상에 기초하여 제2 이미지 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
19. 시스템으로서,
    프로세서; 그리고
    프로세서에 의해 실행될 때 프로세서로 하여금 제1항 내지 제18항 중 어느 한 항에 따른 동작을 수행하게 하는 명령어가 저장된 비일시적 컴퓨터 판독가능 매체를 포함하는 것을 특징으로 하는 시스템.
20. 컴퓨팅 장치에 의해 실행될 때 컴퓨팅 장치로 하여금 제1항 내지 제18항 중 어느 한 항에 따른 동작을 수행하게 하는 명령어가 저장된 비일시적 컴퓨터 판독 가능 매체.