KR102263924B1

KR102263924B1 - 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라

Info

Publication number: KR102263924B1
Application number: KR1020217014302A
Authority: KR
Inventors: 노이 코헨; 나답 게바; 오데드 기구신스키; 갈 샤브타이; 에스터 아슈케나지; 루씨 카츠; 에브라임 골든베르그
Original assignee: 코어포토닉스 리미티드
Priority date: 2015-08-13
Filing date: 2016-06-26
Publication date: 2021-06-11
Also published as: EP3598737A1; US11350038B2; KR20190102102A; KR102143309B1; KR102159910B1; KR20200113001A; US12022196B2; US20230127901A1; KR102214287B1; US10356332B2; US20210120184A1; US10567666B2; KR20200096672A; CN107852467A; CN112672024B; US20180184010A1; WO2017025822A1; US20220272268A1; KR20180013979A; EP3335415A4

Abstract

듀얼 애퍼처 줌 디지털 카메라는 스틸 및 비디오 모드에서 모두 작동가능하다. 카메라는 각각의 렌즈/센서 조합과 이미지 신호 프로세서를 갖는 와이드 및 텔레 이미징 섹션과, 와이드 및 텔레 이미징 섹션에 작동가능하게 결합된 카메라 제어기를 포함한다. 와이드 및 텔레 이미징 섹션은 각각의 이미지 데이터를 제공한다. 제어기는, 비스위칭 기준이 충족되었는지 여부에 따라, 낮은 줌 팩터(ZF) 값과 더 높은 ZF 값 사이의 줌-인 작동에서, 와이드 이미지 데이터만 또는 텔레 이미지 데이터만을 포함하는 줌 비디오 출력 이미지를 출력하도록 구성된다.

Description

비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라{DUAL APERTURE ZOOM CAMERA WITH VIDEO SUPPORT AND SWITCHING/NON-SWITCHING DYNAMIC CONTROL}

관련 출원에 대한 상호 참조

본원은 2015년 8월 13일자로 출원된 미국 가출원 제62/204,667호의 우선권을 주장하며, 이는 본원에 참조로서 포함된다.

여기에 개시된 실시 예는 일반적으로 디지털 카메라에 관한 것으로, 특히 비디오 기능을 갖는 줌 디지털 카메라에 관한 것이다.

디지털 카메라 모듈은 현재 다양한 호스트 장치에 통합되고 있다. 그러한 호스트 장치는 휴대전화, 개인 휴대 정보 단말기(PDA), 컴퓨터 등을 포함한다. 호스트 장치의 디지털 카메라 모듈에 대한 소비자 수요가 계속 증가하고 있다.

호스트 장치 제조업체는 전체 크기를 증가시키지 않고도 호스트 장치에 통합될 수 있도록 소형 디지털 카메라 모듈을 선호한다. 또한, 고성능의 특성을 갖는 카메라에 대한 수요가 증가하고 있다. 많은 고성능 카메라(예를 들어, 독립형 디지털 스틸 카메라)가 소유하고 있는 특성 중 하나는 이미지의 배율을 증가 또는 감소시키기 위해 카메라의 초점 거리를 변경하는 기능이다. 이런 기능은, 일반적으로 줌 렌즈로 수행되고, 광학 주밍(zooming)으로 알려져 있다. "줌"은 일반적으로 광학 시스템의 초점 거리(focal length)를 변경하여 동일한 장면(scene) 및/또는 객체의 서로 다른 배율을 제공하는 기능으로서 이해되며, 높은 배율은 높은 레벨의 줌과 관련되고 낮은 배율은 낮은 레벨의 줌과 관련된다. 광학 주밍은 전형적으로 서로에 대해 렌즈 요소를 기계적으로 이동시킴으로써 달성된다. 이러한 줌 렌즈는 일반적으로 고정 초점 거리 렌즈보다 비싸고, 크며 신뢰성이 떨어진다. 줌 효과를 근사화하기 위한 다른 방법은 디지털 주밍으로 알려진 것으로 달성된다. 렌즈의 초점 거리를 변경하는 대신에, 디지털 주밍 기능으로, 카메라의 프로세서가 확대되었지만 저해상도 이미지를 생성하도록 이미지를 크롭(Crop)하고 캡처된 이미지의 픽셀 사이를 보간(interpolate)한다.

줌 렌즈의 효과를 근사화하기 위해 멀티-애퍼처 이미징 시스템을 사용하려는 시도가 알려져 있다. 멀티-애퍼처 이미징 시스템(예를 들어, 디지털 카메라에서 구현됨)은 복수의 광학 서브 시스템("카메라"라고도 함)을 포함한다. 각각의 카메라는 수신된 전자기 복사가 광학 서브 시스템에 의해 이미징되며, 결과(resulting) 이미지가 2차원(2D) 픽셀화된(pixelated) 이미지 센서 영역을 향해 지향되도록 애퍼처를 한정하는 하나 이상의 렌즈 및/또는 다른 광학 요소를 포함한다. 이미지 센서(또는 단순히 "센서") 영역은 이미지를 수신하고 그 이미지에 기초하여 이미지 데이터의 세트를 생성하도록 구성된다. 디지털 카메라는 주어진 일련의 하나 이상의 객체를 갖는 풍경(scenery)과 관련된 전자기 복사를 수신하도록 정렬될 수 있다. 이미지 데이터의 세트는 당업계에 공지된 바와 같이 디지털 이미지 데이터로서 표현될 수 있다. 이후 본원에서, "이미지" "이미지 데이터" 및 "디지털 이미지 데이터"는 상호 교환하여 사용될 수 있다. 또한, "객체"와 "장면"은 같은 의미로 사용될 수 있다. 여기에 사용된 바와 같이, 용어 "객체"는 이미지에서의 점 또는 픽셀로 이미징된 실세계의 엔티티(entity)이다.

멀티-애퍼처 이미지 시스템 및 관련 방법은 예를 들어 미국 공개특허 제2008/0030592호, 제2010/0277619호 및 제2011/0064327호에 기재되어 있다. 미국 공개특허 제2008/0030592호에서는, 관련 렌즈를 통해 이미징된 이미지를 캡처하기 위해 2개의 센서가 동시에 작동된다. 센서 및 관련 렌즈는 렌즈/센서 조합을 형성한다. 2개의 렌즈는 서로 다른 초점 거리를 갖는다. 따라서, 각각의 렌즈/센서 조합이 동일한 방향으로 보이도록 정렬되더라도, 각각의 조합은 동일한 피사체이지만 2개의 다른 시야(FOV :fields of view)로 이미지를 캡처한다. 하나의 센서는 일반적으로 "와이드(Wide)"라고 부르고 다른 센서는 "텔레(Tele)"라고 부른다. 각각의 센서는 각각 "와이드"(또는 "W") 및 "텔레"(또는 "T") 이미지라고 하는 별도의 이미지를 제공한다. W-이미지는 넓은 FOV를 반영하고 T-이미지보다 낮은 해상도를 갖는다. 그 다음, 이미지는 합성("융합"(fusion)) 이미지를 생성하도록 스티칭(stitching)(융합) 된다. 합성 이미지에서, 중앙부는 긴 초점 거리를 갖는 렌즈/센서 조합에 의해 취해진 상대적으로 높은 해상도 이미지에 의해 형성되며, 주변부는 짧은 초점 거리를 갖는 렌즈/센서 조합에 의해 취해진 상대적으로 낮은 해상도 이미지의 주변부에 의해 형성된다. 사용자는 원하는 줌량(amount of zoom)을 선택하고, 합성 이미지는 선택된 줌량으로부터의 값을 보간하여 각각의 줌 이미지를 제공하는 데 사용된다. 미국 공개특허 제2008/0030592호에서 제공하는 솔루션은, 비디오 모드에서, 높은 프레임 레이트(frame rate) 요건들 및 높은 전력소모(두 카메라가 모두 작동하므로)에 더하여 매우 큰 프로세싱 리소스를 요구한다.

미국 공개특허 제2010/0277619호는 2개의 렌즈/센서 조합을 갖는 카메라를 개시하며, 2개의 렌즈는 서로 다른 초점 거리를 가지므로, 조합 중 하나로부터의 이미지는 다른 조합으로부터의 이미지보다 대략 2-3배 큰 FOV를 갖는다. 카메라의 사용자가 소정의 줌량을 요구할 때, 주밍된 이미지는 요구된 FOV보다 다음으로 큰 FOV를 갖는 렌즈/센서 조합으로부터 제공된다. 따라서, 요청된 FOV가 더 작은 FOV 조합보다 작다면, 필요한 경우 크롭 및 보간을 사용하여, 해당 조합에 의해 캡처된 이미지로부터 확대 이미지가 생성된다. 유사하게, 요청된 FOV가 더 작은 FOV 조합보다 큰 경우, 필요에 따라 크롭 및 보간을 사용하여, 다른 조합에 의해 캡처된 이미지로부터 확대 이미지가 생성된다. 미국 공개특허 제2010/0277619호에 의해 제공되는 솔루션은 비디오 모드에서 텔레 카메라로 이동할 때 시차 아티팩트(parallax artifacts)로 이어진다.

미국 공개특허 제2008/0030592호 및 미국 공개특허 제2010/0277619호에서, 서로 다른 초점 거리 시스템은 CMOS 센서를 사용하여 텔레 및 와이드 FOV가 서로 다른 시간에 노출되어 매칭되도록 한다. 이것은 전반적인 이미지 품질을 저하시킨다. 서로 다른 광학 F 번호("F#")는 이미지 강도 차이를 초래한다. 이러한 듀얼 센서 시스템으로의 작업은 이중 대역폭 지원, 즉 센서로부터 다음 HW 구성요소로의 추가 배선을 필요로 한다. 미국 공개특허 제2008/0030592호 또는 미국 공개특허 제2010/0277619호는 레지스트레이션(registration) 에러를 다루지 않는다.

미국 공개특허 제2011/0064327호는 이미징된 제1 및 제2 장면에 각각 대응하는 제1 및 제2 세트의 이미지 데이터를 제공하는 것을 포함하는 이미지 데이터 융합을 위한 멀티-애퍼처 이미지 시스템 및 방법을 교시한다. 장면들은 오버랩 영역에서 적어도 부분적으로 오버랩되어, 제1 세트의 이미지 데이터의 일부로서 오버랩 이미지 데이터의 제1 집합, 및 제2 세트의 이미지 데이터의 일부로서 오버랩 이미지 데이터의 제2 집합을 형성한다. 오버랩 이미지 데이터의 제2 집합은 복수의 이미지 데이터 카메라로서 표현되어, 각각의 카메라는 제2 집합의 적어도 하나의 특성에 기초하며, 각각의 카메라는 오버랩 영역에 걸쳐 있다. 융합된 이미지 데이터의 세트는 적어도 선택된 하나(하지만 전부보다 적은)의 이미지 데이터 카메라에 기초하여 오버랩 이미지 데이터의 제1 집합을 변경함으로써 이미지 프로세서에 의해 생성된다. 이 출원에 개시된 시스템 및 방법은 융합된 스틸 이미지만을 다루고 있다.

공지된 종래기술의 참조문헌은 스틸 및 비디오 이미지를 제공하기 위해 스틸 모드 및 비디오 모드 둘다에서 작동하도록 구성된, 고정된 초점 거리 렌즈를 갖는 얇은(예: 휴대폰에 피팅) 듀얼-애퍼처 줌 디지털 카메라를 제공하지 않으며, 그 카메라 구성은 비디오 모드에서 연속적이고, 부드러운 줌을 제공하기 위해 임의의 융합을 사용하지 않는다.

따라서, 일반적으로 마주치게 되는 문제 및 단점(이들 중 일부는 위에 열거되어 있음)을 겪지 않는, 비디오 및 스틸 모드 둘다에서 작동하는 광학 줌을 갖는 얇은 디지털 카메라를 갖는 것이 유리할 것이다.

본원에 개시된 실시 예들은 듀얼-애퍼처(듀얼-렌즈 또는 2-센서라고도 함) 광학 줌 디지털 카메라의 사용을 교시한다. 카메라는 와이드 카메라 및 텔레 카메라의 2개의 카메라를 포함하며, 각각의 카메라는 고정 초점 거리 렌즈, 이미지 센서 및 이미지 신호 프로세서(ISP : image signal processor)를 포함한다. 텔레 카메라는 높은 줌 카메라이고 와이드 카메라는 낮은 줌 카메라이다. 일부 실시 예들에서, 텔레 렌즈의 두께/유효 초점 거리(EFL : effective focal length)의 비율은 약 1보다 작다. 이미지 센서는 2개의 분리된 2D 픽셀화 센서 또는 적어도 2개의 영역으로 분할된 단일 픽셀화 센서를 포함할 수 있다. 디지털 카메라는 스틸 및 비디오 모드에서 둘다 작동할 수 있다. 비디오 모드에서, 광학 줌은 일부 실시 예에서 W 및 T 이미지 사이에서 스위칭하여, 계산 시간 요건들을 단축함으로써 "융합없이" 달성되며, 높은 비디오 레이트를 가능하게 한다. 비디오 모드에서의 불연속성을 방지하기 위해, 스위칭은 일부 실시 예에서 이미지 스케일링 및 시프팅을 포함하는, 추가적인 프로세싱 블록을 적용하는 것을 포함한다. 일부 실시 예들에서, 비스위칭(no-swithcing) 기준이 충족될 때, 광학 줌은 스위칭없이 비디오 모드에서 달성된다.

여기에 사용된 바와 같이, 용어 "비디오"는 모션을 정지시키는(friezes) "스틸 모드"와 대조적으로, 일련의 픽쳐(이미지)에 의해 모션을 캡처하는 모든 카메라 출력을 의미한다. 휴대폰 및 스마트폰의 "비디오"의 예로는 "비디오 모드" 또는 "프리뷰 모드"가 있다.

광학 줌 기능에 도달하기 위해, 동일한 장면의 서로 다른 확대 이미지가 각각의 카메라에서 캡처되어(그랩(grab)되어), 두 카메라 사이의 FOV 오버랩을 초래한다. 스틸 모드에서 하나의 융합된 이미지를 융합 및 출력하기 위해, 두 이미지에 프로세싱이 적용된다. 융합된 이미지는 사용자 줌 팩터(zoom factor) 요구에 따라 처리된다. 융합 절차의 일부로서, 업-샘플링이 그랩된 이미지 중 하나 또는 둘다에 적용되어, 텔레 카메라에 의해 그랩된 이미지로 또는 사용자에 의해 정의된 스케일로 스케일링될 수 있다. 융합 또는 업-샘플링은 센서의 일부 픽셀에만 적용될 수 있다. 출력 해상도가 센서 해상도보다 작은 경우, 물론 다운-샘플링이 수행될 수 있다.

여기에 개시된 카메라 및 관련 방법은 공지된 듀얼-애퍼처 광학 줌 디지털 카메라의 많은 문제점 및 단점을 다루고 보완한다. 이들은 광학, 알고리즘 프로세싱 및 시스템 하드웨어(HW)와 같은 모든 측면과 관련 있는 전체적인 줌 솔루션을 제공한다.

듀얼-애퍼처 카메라 이미지면(image plane)에서, 각각의 카메라(및 각각의 이미지 센서)에 의해 보여지는 바와 같이, 주어진 객체는 시프트되고 서로 다른 관점(형상)을 가질 것이다. 이것은 시점(POV : point-of-view)이라고 한다. 시스템 출력 이미지는 카메라 이미지의 형상 및 위치, 또는 이들 조합의 형상 또는 위치를 가질 수 있다. 출력 이미지가 와이드 이미지 형상을 유지하면, 와이드 관점(perspective) POV를 갖는다. 와이드 카메라 위치를 유지하면, 와이드 위치 POV를 갖는다. 텔레 이미지 위치 및 관점에 대해서도 동일하게 적용된다. 상세한 설명에서 사용되는 바와 같이, 관점 POV는 와이드 또는 텔레 카메라일 수 있는 반면, 위치 POV는 와이드 및 텔레 카메라 사이에서 연속적으로 시프트될 수 있다. 융합된 이미지에서, 텔레 이미지 픽셀을 와이드 이미지 픽셀 내의 매칭 픽셀 세트에 등록할 수 있으며, 이 경우에 출력 이미지는 와이드 POV("와이드 융합")를 유지할 것이다. 대안적으로, 와이드 이미지 픽셀을 텔레 이미지 픽셀 내의 매칭 픽셀 세트에 등록할 수 있으며, 이 경우에 출력 이미지는 텔레 POV("텔레 융합")를 유지할 것이다. 또한 카메라 이미지가 시프트된 후 레지스트레이션을 수행할 수도 있으며, 이 경우에 출력 이미지는 각각의 와이드 또는 텔레 관점 POV를 유지할 것이다.

예시적인 실시 예에서, 줌 디지털 카메라가 제공되는데, 상기 줌 디지털 카메라는, 와이드 시야(FOV)를 갖는 고정된 초점 거리 와이드 렌즈 및 와이드 센서를 포함하는 와이드 이미징 섹션 - 상기 와이드 이미징 섹션은 객체 또는 장면의 와이드 이미지 데이터를 제공하도록 작동함 - ; 와이드 FOV보다 좁은 텔레 FOV를 갖는 고정된 초점 거리 텔레 렌즈 및 텔레 센서를 포함하는 텔레 이미징 섹션 - 상기 텔레 이미징 섹션은 상기 객체 또는 장면의 텔레 이미지 데이터를 제공하도록 작동함 - ; 및 상기 와이드 및 텔레 이미징 섹션에 작동가능하게 결합된 카메라 제어기를 포함하며, 상기 카메라 제어기는 와이드 및 텔레 이미지 데이터 둘다로부터의 입력에 의해 결정된 비스위칭 기준을 평가하며, 상기 비스위칭 기준이 충족되면, 낮은 줌 팩터(ZF : zoom factor) 값과 높은 ZF 값 사이의 줌-인 작동에서 와이드 이미지 데이터만을 포함하는 줌 비디오 출력 이미지를 출력하도록 구성된다.

예시적인 실시 예에서, 디지털 카메라를 사용하여 객체 또는 장면의 줌 이미지를 획득하는 방법이 제공되는데, 상기 방법은 와이드 시야(FOV)를 갖는 와이드 렌즈 및 와이드 센서를 포함하는 와이드 이미징 섹션, 상기 와이드 FOV보다 좁은 텔레 FOV를 갖는 텔레 렌즈 및 텔레 센서를 포함하는 텔레 이미징 섹션, 및 상기 와이드 및 텔레 이미징 섹션에 작동가능하게 결합된 카메라 제어기를 상기 디지털 카메라에 제공하는 단계; 및 와이드 및 텔레 이미지 데이터 둘다로부터의 입력에 의해 결정된 비스위칭 기준을 평가하며, 상기 스위칭 기준이 충족되면, 낮은 줌 팩터(ZF) 값과 높은 ZF 값 사이의 줌-인(zoom-in) 작동에서 와이드 이미지 데이터만을 포함하는 줌 비디오 출력 이미지를 출력하도록 상기 카메라 제어기를 구성하는 단계를 포함한다.

일부 예시적인 실시 예에서, 상기 비스위칭 기준은 글로벌 레지스트레이션(global registration)에 의해 계산된 와이드 및 텔레 이미지 사이의 시프트가 제1 임계값보다 큰 경우를 포함한다.

일부 예시적인 실시 예들에서, 상기 비스위칭 기준은 글로벌 레지스트레이션에 의해 계산된 디스패리티(disparity) 범위가 제2 임계값보다 큰 경우를 포함한다.

일부 예시적인 실시 예에서, 상기 비스위칭 기준은 상기 텔레 이미지의 유효 해상도가 상기 와이드 이미지의 유효 해상도보다 낮은 경우를 포함한다.

일부 예시적인 실시 예들에서, 상기 비스위칭 기준은 상기 와이드 및 텔레 이미지 내의 다수의 대응 피쳐들(features)이 제3 임계값보다 작은 경우를 포함한다.

일부 예시적인 실시 예에서, 상기 비스위칭 기준은 상기 와이드 및 텔레 이미지의 오버랩 영역에 이미징된 대다수의 객체가 제1 임계 거리보다 카메라에 더 가깝도록 계산되는 경우를 포함한다.

일부 예시적인 실시 예에서, 상기 비스위칭 기준은 상기 와이드 및 텔레 이미지의 오버랩 영역에 이미징된 일부 객체가 제2 임계 거리보다 가깝게 계산되며 상기 와이드 및 텔레 이미지의 오버랩 영역에서 이미징된 다른 객체가 제3 거리 임계값보다 멀게 계산되는 경우를 포함한다.

일부 예시적인 실시 예에서, 상기 카메라 제어기는 사용자 입력을 수신하는 사용자 제어 모듈 및 상기 사용자 입력에 기초하여 상기 와이드 및 텔레 이미지 데이터를 획득하도록 각각의 센서를 구성하는 센서 제어 모듈을 포함한다.

일부 예시적인 실시 예에서, 상기 사용자 입력은 줌 팩터, 카메라 모드 및 관심 영역을 포함한다.

일부 예시적인 실시 예에서, 텔레 렌즈는 1보다 작은 총 트랙 길이(TTL : total track length)/유효 초점 거리(EFL :effective focal length)의 비율을 포함한다. TTL 및 EFL의 정의에 대해서는 예를 들어 공동 양도된 미국 공개특허 제20150244942호를 참조하라.

일부 예시적인 실시 예들에서, 비스위칭 기준이 충족되지 않으면, 카메라 제어기는 낮은 ZF 값과 높은 ZF 값 사이에서 또는 그 반대로 스위칭할 때 부드러운 전환을 갖는 비디오 출력 이미지를 출력하도록 추가로 구성되며, 낮은 ZF 값에서 출력 이미지는 와이드 센서에 의해 결정되며, 높은 ZF 값에서 출력 이미지는 텔레 센서에 의해 결정된다.

일부 예시적인 실시 예에서, 카메라 제어기는 특정 시점에서 객체 또는 장면의 융합된 출력 이미지를 제공하기 위해 와이드 및 텔레 이미지 데이터 중 적어도 일부를, 미리 정의된 범위의 ZF 값에서, 스틸 모드에서 결합하도록 추가로 구성된다.

본원에 개시된 실시 예의 비제한적인 일례가 이 문단 다음에 열거되어 있는 첨부된 도면을 참조하여 이하에서 설명된다. 하나 이상의 도면에 나타나는 동일한 구조, 요소 또는 부분은 일반적으로 이들이 나타나는 모든 도면에서 동일한 숫자로 표시되어 있다. 도면 및 설명은 본원에 개시된 실시 예를 설명하고 명료화하기 위한 것이며, 어떠한 방식으로든 제한으로 간주되어서는 안된다.
도 1a는 본원에 개시된 예시적인 듀얼-애퍼처 줌 이미징 시스템을 도시하는 블록도를 개략적으로 도시한다.
도 1b는 도 1a의 듀얼-애퍼처 줌 이미징 시스템의 기계적 개략도이다.
도 2는 와이드 센서, 텔레 센서 및 각각의 FOV의 예를 도시한다.
도 3a는 비디오/프리뷰 모드에서 줌 이미지를 획득하기 위한 본원에 개시된 예시적인 방법의 실시 예를 도시한다.
도 3b는 객체에서의 예시적인 피쳐 포인트들을 도시한다.
도 3c는 공지된 보정(Rectification) 프로세스를 개략적으로 도시한다.
도 4는 유효 해상도 줌 팩터를 도시하는 그래프이다.

정의 :

샤프니스(Sharpness) 스코어 : 이미지의 그라디언트(dx, dy)가 로우 패스 필터링된 버전의 그라디언트와 (감산을 통해) 비교된다. 차이가 클수록 더 선명한 원본 이미지를 나타낸다. 이 비교의 결과는 절대 샤프니스 스코어를 얻기 위해 원본 이미지의 평균 변화량(예를 들어, 절대 그라디언트의 합)에 대해 정규화된다.

에지 스코어 : 각각의 이미지에 대해, 에지가 발견되며(예를 들어, 캐니 에지 검출을 사용하여), 그 에지에 따른 그라디언트의 평균 강도가, 예를 들어 각각의 에지 픽셀에 대한 그라디언트(dx, dy)의 크기를 계산하고, 그 결과를 합산하며 에지 픽셀의 총 수로 나눔으로써, 계산된다. 결과는 에지 스코어이다.

유효 해상도 스코어 : 이 스코어는 관심 영역(ROI : region of interest)에서만 계산되며 이미지의 유효 해상도 레벨을 제공한다. 본원에서 사용된 "ROI"는 예시적으로 이미지 영역의 4% 이하일 수 있는 이미지의 사용자 정의된 하위 영역이다. 유효 해상도 스코어는 각각의 이미지의 샤프니스 스코어와 에지 스코어의 조합으로부터, 예를 들어 둘다를 [0, 1] 사이에서 정규화하고 평균을 취함으로써 도출될 수 있다.

도 1a는 본원에 개시되고 100의 번호가 부여된 듀얼-애퍼처 줌 이미징 시스템(또한 "듀얼-카메라"또는 "듀얼-애퍼처 카메라"라고도 함)의 예시적인 실시 예를 나타내는 블록도를 개략적으로 도시한다. 듀얼-애퍼처 카메라(100)는 와이드 렌즈 블록(102), 와이드 이미지 센서(104) 및 와이드 이미지 프로세서(106)를 포함하는 와이드 이미징 섹션("와이드 카메라")을 포함한다. 듀얼-애퍼처 카메라(100)는 텔레 렌즈 블록(108), 텔레 이미지 센서(110) 및 텔레 이미지 프로세서(112)를 포함하는 텔레 이미징 섹션("텔레 카메라")을 더 포함한다. 이미지 센서는 물리적으로 분리되거나 단일의 큰 이미지 센서의 일부일 수 있다. 와이드 센서 픽셀 크기는 텔레 센서 픽셀 크기와 같거나 다를 수 있다. 듀얼-애퍼처 카메라(100)는 센서 제어 모듈(116), 사용자 제어 모듈(118), 비디오 처리 모듈(126) 및 캡처 처리 모듈(128)을 포함하는 카메라 융합 프로세싱 코어(또한 "제어기"로도 지칭됨)를 더 포함하며, 이들은 모두 센서 제어 블록(110)에 작동가능하게 결합된다. 사용자 제어 모듈(118)은 작동 모드 기능부(120), ROI 기능부(122) 및 줌 팩터(ZF) 기능부(124)를 포함한다.

센서 제어 모듈(116)은 2개의 (와이드 및 텔레) 카메라 및 사용자 제어 모듈(118)에 연결되고, 줌 팩터에 따라, 센서 중 어느 것이 작동하는지를 선택하고 노출 메커니즘 및 센서 판독을 제어하는데 사용된다. 모드 선택 기능부(120)는 캡처/비디오 모드를 선택하는 데 사용된다. ROI 기능부(122)는 관심 영역을 선택하는 데 사용된다. ROI는 두 카메라 모두에 초점을 맞추는 영역이다. 줌 팩터 기능부(124)는 줌 팩터를 선택하는 데 사용된다. 비디오 프로세싱 모듈(126)은 모드 선택 기능부(120)에 연결되고 비디오 프로세싱을 위해 사용된다. 와이드 및 텔레 이미지 데이터의 입력에 의해 결정된 비스위칭 기준(no-switching criterion)을 평가하고 비디오 출력에 관한 결정을 내리도록 구성가능하다. 특히, 비스위칭 기준의 평가시, 비스위칭 기준이 충족되면, 모듈(126)은 낮은 줌 팩터(ZF) 값과 높은 ZF 값 사이의 줌-인 작동에서 와이드 이미지 데이터만을 포함하는 줌 비디오 출력 이미지를 출력하도록 구성가능하다. 비스위칭 기준이 충족되지 않으면, 모듈(126)은, 미리 정의된 범위의 ZF 값에서, 스틸 모드에서 와이드 및 텔레 이미지 데이터 중 적어도 일부를 결합하여, 특정 시점에서 객체 또는 장면의 융합된 출력 이미지를 제공한다. 스틸 프로세싱 모듈(128)은 모드 선택 기능부(120)에 연결되고 고화질 스틸 모드 이미지를 위해 사용된다. 비디오 처리 모듈은 사용자가 비디오 모드로 촬영하기를 원할 때 적용된다. 캡처 처리 모듈은 사용자가 스틸 사진을 촬영할 때 적용된다.

도 1b는 도 1a의 듀얼-애퍼처 줌 이미징 시스템의 기계적 개략도이다. 예시적인 치수: 와이드 렌즈 TTL = 4.2mm 및 EFL = 3.5mm; 텔레 렌즈 TTL = 6mm 및 EFL = 7mm; 와이드 및 텔레 센서 모두 1/3 인치; 와이드 및 텔레 카메라의 외형 치수: 폭(w) 및 길이(l) = 8.5mm 및 높이(h) = 6.8mm; 카메라 중심점 사이의 거리 "d"=10mm.

다음은 듀얼-애퍼처 카메라(100)의 다른 사용 방법에 대한 상세한 설명 및 실시 예들이다.

스틸 모드 작동/기능

스틸 카메라 모드에서, 획득된 이미지는 모든 줌 레벨에서 두 카메라에 의해 얻어진 정보로부터 융합된다(도 2 참조). 도 2는 와이드 센서(202)와 텔레 센서(204) 및 이들 각각의 FOV를 도시한다. 예시적으로 도시된 바와 같이, 텔레 센서 FOV는 와이드 센서 FOV의 절반이다. 스틸 카메라 모드 처리는 2단계를 포함한다. 제1 단계는 HW 세팅 및 구성을 포함하며, 여기서 제1 오브젝티브(objective)는 두 이미지들(Tele 및 Wide)에서 매칭 FOV들이 동시에 스캐닝되는 방식으로 센서들을 제어하는 것이며, 제2 오브젝티브는 렌즈 특성에 따라 상대적 노출을 제어하는 것이며, 제3 오브젝티브는 ISP를 위해 두 센서 모두에서 요구된 대역폭을 최소화하는 것이다. 제2 단계는 와이드 및 텔레 이미지를 융합하여 광학 줌을 구현하고, SNR을 향상 시키며 넓은 동적 범위를 제공하는 이미지 프로세싱을 포함한다.

도 3a는 CMOS 센서에 의해 캡처된 이미지 섹션에 대한 이미지 라인수 대 시간을 도시한다. 융합된 이미지는 각 이미지의 라인(로우) 스캔에 의해 획득된다. 두 센서의 매칭 FOV가 서로 다른 시간에 스캔되는 것을 방지하기 위해, 동일한 프레임 레이트를 유지하면서 두 이미지 센서의 카메라 컨트롤러에 의해 특정 구성이 적용된다. 센서들 사이의 FOV의 차이는 롤링 셔터 시간과 각 센서의 수직 블랭킹 시간 사이의 관계를 결정한다.

비디오 모드 작동/기능

부드러운 전환

듀얼-애퍼처 카메라가 카메라들 또는 시점들 사이에 카메라 출력을 스위칭할 때, 사용자는 일반적으로 "점프"(불연속) 이미지 변화를 보게 된다. 그러나, 동일한 카메라 및 POV에 대한 줌 팩터의 변화는 연속적인 변화로 간주된다. "부드러운 전환"(ST : smooth transition)은 점프 효과를 최소화하는 카메라 또는 POV 사이의 전환이다. 이것은 전환 전후의 출력 이미지의 위치, 스케일, 밝기 및 컬러의 매칭을 포함할 수 있다. 그러나, 시차가 객체의 거리에 따라 위치 시프트를 초래하기 때문에, 카메라 출력 사이의 전체 이미지 위치 매칭은 많은 경우에 불가능하다. 따라서, 여기에 개시된 바와 같은 부드러운 전환에서, 위칭 매칭은 ROI 영역에서만 달성되는 반면, 스케일, 밝기 및 컬러는 전체 출력 이미지 영역에 대해 매칭된다.

비디오 모드에서의 줌-인 및 줌-아웃

비디오 모드에서, 센서 오버샘플링이 사용되어 연속적이고 부드러운 줌 경험을 가능하도록 한다. 한 카메라에서 다른 카메라로 크로스오버하는 동안, 이미지의 변화를 제거하기 위한 프로세싱이 적용된다. 1에서 Z_switch로의 줌은 와이드 센서만을 사용하여 수행된다. Z_switch및 on에서는, 주로 텔레 센서에 의해 수행된다. "점프"(이미지의 조도)를 방지하기 위해, 텔레 이미지로의 스위칭은 Z_switch보다 조금 높은 줌 팩터(Z_switch + ΔZoom)를 사용하여 수행된다. ΔZoom은 시스템의 특성에 따라 결정되며, 줌-인이 적용된 경우 및 줌-아웃이 적용된 경우에 대해서 다르다(ΔZoom_in≠ΔZoom_out). 이는 특정 줌 팩터에서 잔류 점프 아티팩트(residual jumps artifact)가 표시되지 않도록 하기 위해 수행된다. 증가하는 줌 및 감소하는 줌을위한, 센서들 사이의 스위칭은 다른 줌 팩터에서 수행된다.

줌 비디오 모드 작동은 2단계, 즉 (1) 센서 제어 및 구성 및 (2) 이미지 프로세싱을 포함한다. 1에서 Z_switch까지의 범위에서, 와이드 센서만이 작동되므로, 이 센서에만 전원이 공급될 수 있다. 유사한 조건은 와이드 AF 메커니즘을 유지한다. Z_switch+ΔZoom에서 Z_max까지, 텔레 센서만이 작동되므로, 이 센서에만 전원이 공급된다. 유사하게, 텔레 센서만이 작동되며 텔레 AF 메커니즘의 경우에 이 센서에만 전원이 공급된다. 다른 옵션은 텔레 센서가 작동하고 와이드 센서가 낮은 프레임 레이트로 작동하는 것이다. Z_switch에서 Z_switch + ΔZoom까지, 두 센서가 모두 작동한다.

줌-인 : 낮은 ZF에서 ZF_T(와이드와 텔레 출력 사이에 스위칭할 수 있는 줌 팩터)보다 약간 위까지, 출력 이미지는 디지털 주밍된, 변경되지 않은 와이드 카메라 출력이다. ZF_T는 다음과 같이 정의된다.

ZF_T = Tan (FOV_Wide)/Tan (FOV_Tele)

여기서, Tan은 "탄젠트(tangent)"를 나타내며 FOV_Wide 및 FOV_Tele은 각각 와이드 및 텔레 렌즈 시야(도 단위)를 나타낸다. 여기에 사용된 바와 같이, FOV는 중심 축으로부터 센서의 코너까지(즉, 정상적인 정의의 절반 각도) 측정된다. 스위칭은 ZF_T 이하에서 수행할 수 없으며 그 이상에서 가능하다.

공동 발명되고 공동 소유된 미국특허 제9,185,291호에 개시된 바와 같이, 업-트랜스퍼(up-transfer) ZF에 대한 일부 실시 예에서, 출력은 변환된 텔레 카메라 출력이며, 여기서 변환은 글로벌 레지스트레이션(GR : global registration) 알고리즘에 의해 수행되어 부드러운 전환을 달성한다. 여기에 사용된 바와 같이, "글로벌 레지스트레이션"은 입력이 와이드 및 텔레 이미지인 작동을 나타낸다. 와이드 이미지는 텔레 이미지와 동일한 FOV를 표시하기 위해 크롭된다. 텔레 이미지는 저역 통과 필터(LPF)를 통과하고 와이드 이미지(낮은 해상도 및 동일한 픽셀 수)에 최대한 가깝도록 보이도록 크기가 조절된다. GR의 출력은 디스패리티(disparity)에 따른 이미지들 내의 대응 피쳐 포인트 쌍들, 및 이미지들 사이의 차이에 대한 파라미터, 즉 시프트 및 스케일이다. 여기에 사용된 바와 같이, "피쳐 포인트"는 도 3b의 포인트(10a-d)와 같은 포인트를 나타내며 이미지 내의 객체 상의 관심있는 포인트(픽셀)를 나타낸다. 본 명세서에 기술된 목적을 위해, 피쳐 포인트는 재현가능하고 이미지 스케일, 노이즈 및 조명의 변화에 불변해야 한다. 이러한 포인트들은 일반적으로 객체의 코너 또는 다른 고대비(high-contrast) 영역에 위치한다.

글로벌 레지스트레이션 단계

일부 예시적인 실시 예에서, 글로벌 레지스트레이션은 다음과 같이 수행될 수 있다.

1. 예시적으로, 디퍼런스 오브 가우시안 필터(Difference of Gaussians filter)로 필터링하여 각 이미지에서 관심 포인트들(피쳐들)을 개별적으로 찾고, 결과 이미지에서 국소적 극값(local extrema)을 찾는다.

2. "매칭" 프로세스에서 피쳐 일치성(공간 내의 동일한 포인트를 설명하는 두 이미지의 피쳐들)을 찾는다. 이들은 "피쳐 쌍들", "대응 쌍들" 또는 "매칭 쌍들"이라고도 한다. 이것은 하나의 (텔레 또는 와이드) 이미지(이하 "이미지 1"이라 함)로부터의 각 피쳐 포인트를 다른 (각각 와이드 또는 텔레) 이미지(이하 "이미지 2")로부터의 해당 영역의 모든 피쳐 포인트와 비교함으로써 수행된다. 이 피쳐들은 패치 정규화된 상호-상관(patch normalized cross-correlation)을 사용하여 최소값/최대값 그룹 내에서만 비교된다. 여기에 사용된 바와 같이, "패치"는 원(origin) 픽셀 주위의 이웃하는 픽셀 그룹을 나타낸다.

3. 2개의 이미지 패치(t(x, y)와 f(x, y))의 정규화된 상호-상관은

이다. 여기서, n은 두 패치의 픽셀 수이고,

는

의 평균이며,

는

의 표준 편차이다. 이미지 1로부터의 피쳐 포인트에 대한 매치는 그것의 상관 스코어가 이미지 2로부터의 차선 매칭 피쳐보다 훨씬 높은 경우(예 : x1.2)에만 확인된다.

4. x와 y 좌표값을 감산함으로써 각각의 대응 피쳐 쌍("매칭 쌍"이라고도 함) 사이의 디스패리티를 찾는다.

5. 불량 매칭 포인트 필터링:

a. 매칭 프로세스 다음에, 이미지 1로부터의 하나 이상의 피쳐와 매칭되는 이미지 2로부터의 피쳐 포인트들을 포함하는 매치는 무시된다.

b. 다른 매칭 쌍들과 불일치하는 디스패리티를 갖는 매칭 쌍들은 폐기된다. 예를 들어, 디스패리티가 다른 것보다 20 픽셀만큼 낮거나 높은 하나의 대응 쌍이 있는 경우.

6. 이미지 2로부터의 매칭된 포인트들에 대한 정위 정확도(localization accuracy)는 이미지 1로부터의 타겟 패치(현재 매칭 쌍의 현재의 픽셀 주위의 패치)와 이미지 2로부터의 이웃하는 픽셀 패치들의 상관을 계산하고, 포물선(parabola)으로서 결과를 모델링하며, 최대값을 찾음으로써 정제된다(refined).

7. 회전 및 미세 스케일 차이는 매칭 포인트들에 따라 두 이미지 사이에서 계산된다(예를 들어, 각 세트의 포인트들, 즉 와이드 또는 텔레 이미지에 속하는 매칭 포인트들의 일부에서 질량 중심을 감산하며, 최소 제곱 문제를 풀어서).

8. 이러한 차이를 보상한 후, 이미지가 보정되었기 때문에, Y축의 디스패리티가 0에 가까워야 한다. 이 기준에 맞지 않는 매칭 포인트들은 폐기된다. 공지된 보정 프로세스는 도 3c에 도시되어 있다.

9. 마지막으로, 나머지 매칭 포인트들은 참으로 간주되며 그들에 대한 디스패리티가 계산된다. 디스패리티의 가중 평균은 두 이미지 사이의 시프트로 간주된다. 디스패리티 값들 사이의 최대 차이는 디스패리티 범위로 간주된다.

10. GR 동안의 여러 단계에서, 충분한 피쳐/매칭 포인트들이 남아있지 않으면, GR은 정지되고 실패 플래그(failure flag)를 반환한다.

부가적으로, 무한대의 객체에 대해 shiftI = shift를 찾고 shiftD = shift-shiftI 및 disparity D = disparity-shiftI를 정의함으로써 보정 프로세스 동안 거리 교정(range calibration)을 구하는 것이 가능하다. 그 다음, 객체 거리 =

를 계산한다. 여기서, "baseline(기준선)"은 카메라들 사이의 거리이다.

이제 줌-인 프로세스로 돌아가서, 일부 실시 예에서, 업-트랜스퍼 ZF보다 높은 ZF에 대해, 출력은 디지털 주밍된, 변형된 텔레 카메라 출력이다. 그러나, 업-트랜스퍼 ZF보다 높은 ZF에 대한 다른 실시 예에서, 와이드 카메라 출력으로부터 텔레 카메라 출력으로의 스위칭이 없을 것이다. 즉, 출력은 디지털 주밍된, 와이드 카메라로부터 출력될 것이다. 이 "비스위칭(no switching)" 프로세스는 다음에 설명된다.

비스위칭

2개의 카메라 이미지로부터 획득된 입력을 기반으로 결정된, 특정 조건(기준)이 발생하지 않으면, 와이드 카메라 출력으로부터 변형된 텔레 카메라 출력으로의 스위칭이 실행될 것이다. 다시 말해서, 다음의 비스위칭 기준 중 하나 이상이 충족되는 경우에만 스위칭이 수행되지 않는다.

1. GR에 의해 계산된 시프트가 제1 임계값, 예를 들어 50 픽셀보다 큰 경우.

2. GR에 의해 계산된 디스패리티 범위가 제2 임계값, 예를 들어 20 픽셀보다 큰 경우. 이 경우에는 모든 객체 거리에 대한 이동/점프를 억제할 글로벌 시프트 보정이 없기 때문임(모든 객체에 대해 부드러운 전환이 불가능함).

3. 텔레 이미지의 유효 해상도 스코어가 와이드 이미지의 유효 해상도 스코어보다 낮은 경우. 이 경우에, 값(즉, 해상도)이 획득되지 않으므로 전환을 수행하는 데 아무 의미가 없다. 부드러운 전환이 가능하지만 바람직하지 않다.

4. GR이 실패한 경우, 즉 발견된 매칭 쌍들의 수가 제3 임계값, 예를 들어 20개의 매칭 쌍들보다 적은 경우.

5. 예를 들어, 오버랩 영역 상에 이미징되는 경우. 이것은 ST를 획득하기 위해 큰 이미지 시프트를 초래할 수 있기 때문에, 제1 임계 거리, 예를 들어 30cm보다 가깝게 계산된다.

6. 오버랩 영역에서 이미징된 일부 객체들(예를 들어, 2개의 객체들)이 제2 임계 거리, 예를 들어 50cm보다 가깝게 계산되고, 다른 객체들(예를 들어, 2개의 객체들)이 제3 임계 거리, 예를 들어 10ma보다 멀리 계산된다. 그 이유는 와이드 카메라와 텔레 카메라의 객체 위치 사이의 시프트가 객체 거리에 의존하기 때문이고, 여기서 객체에 가까울수록 시프트가 커지며, 따라서 상당히 가깝고 먼 객체들을 포함하는 이미지는 간단한 변환(시프트 스케일)에 의해 유사하게 매칭될 수 없으므로, 카메라들 사이에 ST를 제공한다.

줌-아웃 : 높은 ZF에서 약간 낮은 ZF_T로 다운될 때, 출력 이미지는 디지털 주밍된, 변형된 텔레 카메라 출력이다. 다운-트랜스퍼 ZF의 경우, 출력은 시프트된 와이드 카메라 출력이며, 여기서 와이드 시프트 보정은 GR 알고리즘에 의해 수행되어 ROI 영역에서의 점프없이 부드러운 전환이 달성된다. 낮은(다운-트랜스퍼보다) ZF의 경우, ZF=1에 대한 출력이 변함없는 와이드 카메라 출력일 때까지, 출력은 기본적으로 디지털 주밍되지만 점차적으로 작은 와이드 시프트 보정을 갖는 다운-트랜스퍼 ZF 출력이다.

비스위칭 기준이 충족되지 않으면 카메라는 융합 연속 줌 비디오 모드없이 객체 또는 장면의 출력 이미지를 출력할 것이며, 각 출력 이미지는 각각의 출력 해상도를 갖고, 낮은 ZF 값과 높은 ZF 값 사이에서 스위칭할 때 또는 그 반대로 스위칭할 때 비디오 출력 이미지는 부드러운 전환으로 제공되며, 낮은 ZF 값에서 출력 해상도는 와이드 센서에 의해 결정되며, 높은 ZF 값에서 출력 해상도는 텔레 센서에 의해 결정된다.

도 3a는 3개의 서로 다른 줌 팩터(ZF) 범위, 즉 (a) ZF 범위 = 1 : Z_switch; (b) ZF 범위 = Z_switch : Z_switch + ΔZoom_in ; 및 (c) 줌 팩터 범위 = Z_switch + ΔZoom_in : Z_maz에 대한 비디오/프리뷰 모드에서 줌 이미지를 획득하기위한 본원에 개시된 방법의 일 실시 예를 도시한다. 이 설명은 유효 해상도 대 줌 팩터의 그래프(도 4)를 참조하여 이루어진다. 단계 (302)에서, 센서 제어 모듈(116)은 센서(와이드, 텔레 또는 둘다)가 작동하도록 선택한다(지시한다). 구체적으로, ZF 범위가 1 : Z_switch인 경우, 모듈(116)은 와이드 센서가 작동하고 텔레 센서가 비작동하도록 지시한다. ZF 범위가 Z_switch : Z_switch + ΔZoom_in인 경우, 모듈(116)은 두 센서가 작동하도록 지시하고 줌 이미지는 와이드 센서로부터 생성된다. ZF 팩터가 Z_switch + ΔZoom_in : Z_maz인 경우, 모듈(116)은 와이드 센서가 비작동하고 텔레 센서가 작동하도록 지시한다. 단계 (302)에서 센서 선택 후, 다음의 모든 작동이 비디오 프로세싱 코어(126)에서 수행된다. 선택적으로, 단계 (304)에서, 2개의 이미지가 2개의 센서에 의해 제공되는 경우 컬러 밸런스가 계산된다. 선택적으로, 단계 (306)에서, 계산된 컬러 밸런스가 (줌 팩터에 따라) 이미지들 중 하나에 적용된다. 또한 선택적으로, 단계 (308)에서, 변환 계수를 출력하기 위해 와이드 및 텔레 이미지 사이에서 정합이 수행된다. 변환 계수는 단계 (310)에서 AF 위치를 설정하는데 사용될 수있다. 단계 (312)에서, 단계들 (302-308) 중 어느 하나의 출력은 디노이징(denoising), 디모자이킹(demosaicing), 샤프닝(sharpening), 스케일링 등을 포함할 수 있는 이미지 신호 프로세싱을 위해 (줌 팩터에 따라) 이미지들 중 하나에 적용된다. 단계 (314)에서, 처리된 이미지는 변환 계수, 요구된 ZF(줌 기능부(124)로부터 획득된) 및 출력 비디오 해상도(예를 들어, 1080p)에 따라 리샘플링된다. 전환 포인트가 동일한 ZF에서 실행되지 않도록 하기 위해, ΔZoom은 주밍-인 동안 그리고 주밍-아웃 동안 변경할 수 있다. 이것은 센서 스위칭 포인트에서 히스테리시스를 초래할 것이다.

보다 상세하게, ZF 범위 1 : Z_switch에 대해, ZF<Z_switch에 대해, 와이드 이미지 데이터는 단계 (312)에서 ISP로 전송되고 단계 (314)에서 리샘플링된다. ZF 범위 = Z_switch : Z_switch + ΔZoom_in에 대해, 둘다의 센서가 작동하며 줌 이미지가 와이드 센서로부터 생성된다. 컬러 밸런스가 주어진 ROI에 따라 두 이미지에 대해 계산된다. 또한, 주어진 ROI에 대해, 와이드 및 텔레 이미지 사이에 정합이 수행되어 변환 계수를 출력한다. 변환 계수는 AF 위치를 설정하는 데 사용된다. 변환 계수는 두 이미지의 매칭 포인트들 사이의 변환을 포함한다. 이 변환은 다수의 픽셀로 측정될 수 있다. 서로 다른 변환은 이미지들의 매칭 포인트들 사이에서 서로 다른 수의 픽셀 이동을 초래할 것이다. 이 이동은 깊이로 변환될 수 있으며 깊이는 AF 위치로 변환될 수 있다. 이것은 두 이미지(Wide 및 Tele)만 분석하여 AF 위치를 설정할 수 있게 한다. 결과는 빠른 포커싱이다.

컬러 밸런스 비율과 변환 계수는 모두 ISP 단계에서 사용된다. 동시에, 와이드 이미지는 처리된 이미지를 제공하기 위해 처리된 다음에, 리샘플링된다. ZF 범위 = Z_switch + ΔZoom_in : Z_maz의 경우 및 줌 팩터 > Z_switch + ΔZoom_in의 경우, 이전에 계산된 컬러 밸런스가 이제 텔레 이미지에 적용된다. 텔레 이미지 데이터는 단계 (312)에서 ISP에 전송되고 단계 (314)에서 리샘플링된다. 교차 아티팩트를 제거하고 텔레 이미지으로의 부드러운 전환을 가능하게 하기 위해, 처리된 텔레 이미지는 변환 계수, 요구된 ZF(줌 기능부(124)로부터 획득된) 및 출력 비디오 해상도(예를 들어, 1080p)에 따라 리샘플링된다.

도 4는 줌-인 경우 및 줌-아웃 경우에 대한 줌 팩터의 함수로서의 유효 해상도를 도시하는데, 하나가 줌인될 때 Zoom_up이 설정되고, 하나가 줌아웃될 때 ΔZoom_down이 설정된다. ΔZoom_up을 ΔZoom_down과 다르게 설정하는 것은 줌-인이 사용될 때와 줌-아웃을 사용할 때 서로 다른 줌 팩터( "히스테리시스")에서 수행될 센서들 사이의 전환을 초래할 것이다. 비디오 모드에서의 이런 히스테리시스 현상은 부드러운 연속 줌 경험을 제공한다.

결론적으로, 본원에 개시된 듀얼 애퍼처 광학 줌 디지털 카메라 및 관련 방법은 비디오 모드에서 와이드로부터 텔레로 변경할 때 처리 자원의 양을 감소시키고, 프레임 레이트 요건을 낮추고, 전력 소모를 감소시키고, 시차 아티팩트를 제거하며, 연속 포커스를 제공한다(또는 포커스 손실을 제공함). 이들은 디스패리티 범위를 극적으로 감소시키고 캡처 모드에서 오류 레지스트레이션을 방지한다. 이들은 이미지 강도 차이를 감소시키며, 공지의 카메라에서와 같이, 두 개가 아닌 단일 센서 대역폭으로 작동할 수 있다.

본 명세서에서 언급된 모든 특허 출원은 각각의 개별 특허 출원이 구체적으로 및 개별적으로 참조로 여기에 포함되는 것으로 표시된 것과 동일한 정도로 본 명세서에 전체적으로 참조로 포함된다. 또한, 본 출원에서의 임의의 참조문헌의 인용 또는 식별은 그러한 참조가 본 개시에 대한 선행 기술로서 이용가능하다는 것을 인정하는 것으로 해석되지 않아야 한다.

본 개시가 특정 실시 예 및 일반적으로 관련되는 방법으로 설명되었지만, 실시 예 및 방법의 변경 및 치환은 당업자에게 명백할 것이다. 본 개시는 여기에 설명된 특정 실시 예에 의해 제한되지 않고 첨부된 청구범위의 범주에 의해서만 이해되어야 한다.

Claims

듀얼-애퍼처 줌 디지털 카메라에 있어서,
a) 와이드 시야(FOV_w)를 갖는 고정된 초점 거리 와이드 렌즈 및 와이드 센서를 포함하는 와이드 이미징 섹션으로서, 상기 와이드 이미징 섹션은 객체 또는 장면의 와이드 이미지 데이터를 제공하도록 작동하고;
b) FOV_w보다 좁은 텔레 시야(FOV_T)를 갖는 고정된 초점 거리 텔레 렌즈 및 텔레 센서를 포함하는 텔레 이미징 섹션으로서, 상기 텔레 이미징 섹션은 상기 객체 또는 장면의 텔레 이미지 데이터를 제공하도록 작동하고; 및
c) 상기 와이드 이미지 섹션 및 텔레 이미징 섹션에 작동가능하게 결합된 카메라 제어기로서, 상기 카메라 제어기는 상기 텔레 이미지 테이터에 대한 비스위칭 기준이 낮은 줌 팩터(ZF) 값과 줌 팩터 ZF_T= 탄젠트(FOV_Wide)/탄젠트(FOV_Tele)보다 큰 ZF 값의 높은 ZF 값 사이의 줌-인 작동에서, 충족되었는지 또는 충족되지 않았는지를 평가하도록 구성되고, 상기 비스위칭 기준이 충족되면, 상기 카메라 제어기는 디지털 주밍된 와이드 이미지 데이터만을 단지 포함하는 줌 비디오 출력 이미지를 출력하도록 추가로 구성되고, 상기 비스위칭 기준이 충족되지 않으면, 상기 카메라 제어기는 변형되며 디지털 주밍된 텔레 이미지 데이터만을 단지 포함하는 줌 비디오 출력 이미지를 출력하도록 추가로 구성되고;
를 포함하고,
여기서, 상기 비스위칭 기준은 상기 텔레 이미지의 유효 해상도가 상기 와이드 이미지의 유효 해상도보다 낮은 경우, 및/또는 상기 와이드 및 텔레 이미지 내의 다수의 대응 피쳐들이 제3 임계값보다 작은 경우, 및/또는 상기 와이드 및 텔레 이미지의 오버랩 영역에 이미징된 대다수의 객체가 제1 임계 거리보다 카메라에 더 가깝게 계산되는 경우를 포함하는 것을 특징으로 하는 듀얼-애퍼처 줌 디지털 카메라.
제1항에 있어서, 상기 ZF 값은 최대 줌(Z_max)을 나타내는 듀얼-애퍼처 줌 디지털 카메라.
제1항에 있어서, 상기 비스위칭 기준은 글로벌 레지스트레이션에 의해 계산된 와이드 및 텔레 이미지 사이의 시프트가 제1 임계값보다 큰 경우를 포함하는 듀얼-애퍼처 줌 디지털 카메라.
제1항에 있어서, 상기 비스위칭 기준은 글로벌 레지스트레이션에 의해 계산된 디스패리티 범위가 제2 임계값보다 큰 경우를 포함하는 듀얼-애퍼처 줌 디지털 카메라.
제1항에 있어서, 상기 비스위칭 기준은 상기 와이드 및 텔레 이미지의 오버랩 영역에 이미징된 일부 객체가 제2 임계 거리보다 가깝게 계산되며, 상기 와이드 및 텔레 이미지의 오버랩 영역에 이미징된 다른 객체가 제3 거리 임계값보다 멀게 계산되는 경우를 포함하는 듀얼-애퍼처 줌 디지털 카메라.
제1항에 있어서, 상기 카메라 제어기는 사용자 입력을 수신하는 사용자 제어 모듈 및 상기 사용자 입력에 기초하여 상기 와이드 및 텔레 이미지 데이터를 획득하도록 각각의 센서를 구성하는 센서 제어 모듈을 포함하는 듀얼-애퍼처 줌 디지털 카메라.
제6항에 있어서, 상기 사용자 입력은 줌 팩터, 카메라 모드 및 관심 영역을 포함하는 듀얼-애퍼처 줌 디지털 카메라.
제1항에 있어서, 텔레 렌즈는 1보다 작은 총 트랙 길이(TTL)/유효 초점 거리(EFL)의 비율을 포함하는 듀얼-애퍼처 줌 디지털 카메라.
제1항에 있어서, 상기 카메라 제어기는 미리 정의된 범위의 ZF 값에서, 스틸 모드에서 와이드 및 텔레 이미지 데이터 중 적어도 일부를 결합하여, 특정 시점에서 객체 또는 장면의 융합된 출력 이미지를 제공하도록 추가적으로 구성되는 듀얼-애퍼처 줌 디지털 카메라.
와이드 시야(FOV_w)를 갖는 고정된 초점 거리 와이드 렌즈 및 와이드 센서를 포함하며 객체 또는 장면의 와이드 이미지 데이터를 제공하도록 작동하는 와이드 이미징 섹션, 및 FOV_w보다 좁은 텔레 시야(FOV_T)를 갖는 고정된 초점 거리 텔레 렌즈 및 텔레 센서를 포함하며 상기 객체 또는 장면의 텔레 이미지 데이터를 제공하도록 작동하는 텔레 이미징 섹션을 포함하는 듀얼-애퍼처 줌 디지털 카메라를 사용하여 객체 또는 장면의 줌 이미지를 획득하는 방법에 있어서, 상기 방법은,
a) 상기 텔레 이미지 테이터에 대한 비스위칭 기준이 낮은 줌 팩터(ZF) 값과 높은 ZF 값 사이의 줌-인 작동에서, 충족되었는지 또는 충족되지 않았는지를 평가하도록, 카메라 제어기를 구성하는 단계; 및
b) 상기 비스위칭 기준이 충족되면, 줌 팩터 ZF_T= 탄젠트(FOV_Wide)/탄젠트(FOV_Tele)보다 높은 ZF에서, 디지털 주밍된 와이드 이미지 데이터만을 단지 포함하는 줌 비디오 출력 이미지를 출력하도록, 상기 카메라 제어기를 구성하는 단계;
c) 상기 비스위칭 기준이 충족되지 않으면, 변형되며 디지털 주밍된 텔레 이미지 데이터만을 단지 포함하는 줌 비디오 출력 이미지를 출력하도록, 상기 카메라 제어기를 구성하는 단계를 포함하고,
여기서, 상기 비스위칭 기준은 상기 텔레 이미지의 유효 해상도가 상기 와이드 이미지의 유효 해상도보다 낮은 경우, 및/또는 상기 와이드 및 텔레 이미지 내의 다수의 대응 피쳐들이 제3 임계값보다 작은 경우, 및/또는 상기 와이드 및 텔레 이미지의 오버랩 영역에 이미징된 대다수의 객체가 제1 임계 거리보다 카메라에 더 가깝게 계산되는 경우를 포함하는 것을 특징으로 하는 방법.
제10항에 있어서, 상기 ZF 값은 최대 줌(Z_max)을 나타내는 방법.
제11항에 있어서, 상기 비스위칭 기준은 글로벌 레지스트레이션에 의해 계산된 와이드 및 텔레 이미지 사이의 시프트가 제1 임계값보다 큰 경우를 포함하는 방법.