KR20220012218A

KR20220012218A - 슈퍼 매크로 이미지를 얻기 위한 시스템 및 방법

Info

Publication number: KR20220012218A
Application number: KR1020217030034A
Authority: KR
Inventors: 노이 코헨; 갈 샤브타이; 에브라임 골든베르그; 나답 게바; 우디 야키르; 사기 하바니; 돌레브 다니노
Original assignee: 코어포토닉스 리미티드
Priority date: 2020-05-30
Filing date: 2021-05-15
Publication date: 2022-02-03
Also published as: CN117572549A; EP3966631A4; CN117518313A; CN114080565B; WO2021245488A1; US20230109370A1; US11770609B2; KR102617779B1; EP3966631A1; CN114080565A; EP3966631B1; US20230353871A1; KR20240001277A; US11962901B2; EP4191332A1

Abstract

본 발명의 시스템은 와이드/울트라-와이드 카메라, 광학 경로 폴딩 요소와 텔레 렌즈 모듈을 포함하는 폴디드 텔레 카메라, 1:5와 25:1 사이의 객체-대-이미지 배율로 3.0cm와 35cm 사이의 대물렌즈 거리에 포커싱하기 위해 상기 텔레 렌즈 모듈을 이동시키는 렌즈 액추에이터 및 애플리케이션 프로세서(AP)을 포함하고, 여기서 상기 AP는 하나의 캡처된 매크로 이미지으로부터 다른 캡처된 매크로 이미지로 포커스 평면이 약간 시프트된 매크로 이미지 시퀀스를 위한 텔레 캡처 전략을 정의하고 상기 시퀀스로부터 새로운 매크로 이미지를 생성하기 위해, UW 카메라로부터의 이미지 데이터를 분석하도록 구성되고, 새로운 매크로 이미지의 포커스 평면과 피사계 심도는 연속적으로 제어될 수 있다.

Description

슈퍼 매크로 이미지를 얻기 위한 시스템 및 방법

관련 출원에 대한 상호 참조

본 출원은 2020년 5월 30일에 출원된 미국 가특허 출원 제 63/032,576 호, 2020년 8월 26일에 출원된 제 63/070,501 호, 2020년 11월 5일에 출원된 제 63/110,057 호, 2020년 12월 1일에 출원된 제 63/119,853 호, 2021년 3월 22일에 출원된 제 63/164,187 호, 2021년 4월 11일에 출원된 제 63/173,446 호 및 2021년 4월 21일에 출원된 제 63/177,427 호에 기초하여 우선권 주장하며, 이들 모두는 그 전문이 참조로 본원에 명시적으로 포함된다.

본 명세서에 개시된 주제는 일반적으로 매크로 이미지에 관한 것으로서, 특히 이동하는 텔레포토("텔레" 또는 "T") 카메라로 이러한 이미지를 획득하기 위한 방법에 관한 것이다.

멀티-카메라(2개의 카메라를 갖는 "듀얼 카메라"가 그 예임)는 이제 휴대용 전자 모바일 장치(예컨대, 스마트폰, 태블릿 등과 같은 "모바일 장치")의 표준이다. 멀티-카메라는 일반적으로 와이드 시야(또는 "각도")의 FOVW 카메라("와이드" 또는 "W" 카메라), 및 (FOVW보다) 더 좁은 FOV(FOVT를 갖는 텔레 카메라)를 갖거나 또는 울트라-와이드 시야의 FOVUW(FOVW보다 더 넓은 "UW" 카메라)를 갖는 적어도 하나의 추가 카메라를 포함한다. W 카메라와 폴디드 T 카메라를 포함하는 공지의 듀얼 카메라가 도 10에 도시되어 있다.

"매크로-촬영" 모드는 인기 있는 차별화 요소가 되고 있다. "매크로-촬영"은 카메라에 가까이 있는 객체를 촬영하여, 이미지 센서에 기록된 이미지가 실제 촬영되는 객체와 거의 같은 크기로 촬영되는 하는 것을 의미한다. 객체 크기 대 이미지 크기의 비율은 객체-대-이미지 배율이다. 디지털 일안 반사식 카메라(DSLR)와 같은 시스템 카메라의 경우, 매크로 이미지는 약 1:1 이상, 예컨대 1:1.1의 객체-대-이미지 배율을 갖는 것으로 정의된다. 모바일 장치의 맥락에서, 이러한 정의는 완화되어, 약 10:1 또는 심지어 15:1의 객체-대-이미지 배율을 가진 이미지도 "매크로 이미지"라고 지칭된다. 공지의 모바일 장치는 일반적으로 비교적 짧은 유효 초점 거리(EFL), 예를 들어 EFL=2.5mm를 갖는 UW 카메라로 매우 가까운 포커싱(close focusing)을 가능하게 함으로써 통상 제공되는 매크로 촬영 기능을 제공한다.

UM 카메라는 매크로 촬영을 위해 필요한 근거리(예컨대, 1.5cm 내지 15cm)에 포커싱할 수 있지만, 공간 해상도가 좋지 않다. 예를 들어, EFL=2.5mm인 UW 카메라가 5cm(렌즈-객체 거리)의 객체에 포커싱되면, 대략 19:1의 객체-대-이미지 배율을 가지게 될 것이다. 이것은 다음의 얇은 렌즈 방정식을 따른다:

여기서, EFL=2.5mm, 렌즈-이미지 거리 v=2.6mm, 객체-렌즈 거리 u=50mm이다. 1.5cm만큼 가깝게 포커싱하더라도 UW 카메라의 객체-대-이미지 배율은 약 5:1일 것이다. 이러한 짧은 객체-렌즈 거리(예컨대, u=5cm 이하)로부터 객체를 매크로 이미지로 캡처하는 것은 사용자에게 매우 어렵다. 예를 들어, 그것은 이미지의 구도를 매우 어렵게 만들 수 있으며, 살아있는 객체(예컨대, 곤충)와 같은 인기 있는 매크로 객체의 이미지를 촬영하지 못하게 할 수 있으며, 그림자를 도입하고 장면의 조명을 흐리게 할 수 있다.

전용 매크로 카메라는 스마트폰의 텔레 카메라로 구현될 수 있다. 가까운 객체에 포커싱된 텔레 카메라는 매우 얕은 피사계 심도(DOF)를 갖는다. 따라서, 매크로-촬영 모드에서 매크로 이미지를 캡처하는 것은 매우 어렵다. 꽃이나 곤충과 같은 인기 있는 매크로 객체는 깊이에서 상당한 변화를 나타내므로, 단일 캡처로 올-인-포커스(all-in-focus)로 이미지화될 수 없다. (i) 더 큰 렌즈-객체 거리(예컨대, 3.0-35cm)로부터, 그리고 (ii) 더 큰 객체-대-이미지 배율(예컨대, 1:5 내지 25:1)로 매크로 이미지를 캡처하는 모바일 장치에서 멀티 카메라를 갖는 것이 유리할 것이다.

다음에서 그리고 단순화를 위해, "UW 이미지"와 "W 이미지", "UW 카메라"와 "W 카메라", "UW FOV"(또는 FOVUW)와 "W FOV"(또는 FOVW) 등의 용어는 바꿔서 사용될 수 있다. W 카메라는 텔레 카메라 또는 매크로-가능 텔레 카메라보다 더 큰 FOV를 가질 수 있고, UW 카메라는 W 카메라보다 더 큰 FOV를 가질 수 있다. 일반적으로 제한되지 않지만, FOVT는 15 내지 40도, FOVW는 60 내지 90도, FOVUW는 90 내지 130도일 수 있다. W 카메라 또는 UW 카메라는 매크로 촬영을 위해 관련되며, 예컨대 2.5 내지 15cm 범위에 있을 객체-렌즈 거리에 포커싱할 수 있다. 일부 경우에서는(예컨대, W와 UW 사이), 위에 제공된 FOV 범위가 어느 정도 겹칠 수 있다.

다양한 실시 예에서, 적어도 하나의 와이드 이미지를 제공하는 와이드 카메라; 텔레 렌즈 모듈을 포함하는 텔레 카메라; 1:5와 25:1 사이의 객체-대-이미지 배율로 3.0cm와 35cm 사이의 임의의 거리 또는 거리 세트에 포커싱하기 위해 상기 텔레 렌즈 모듈을 이동시키는 렌즈 액추에이터; 및 하나의 캡처된 매크로 이미지으로부터 다른 캡처된 매크로 이미지로 포커스 평면이 시프트된 매크로 이미지 시퀀스를 상기 텔레 카메라로 캡처하기 위한 캡처 전략을 정의하고 상기 시퀀스로부터 새로운 매크로 이미지를 생성하기 위해, 상기 와이드 카메라로부터의 이미지 데이터를 분석하도록 구성된 애플리케이션 프로세서(AP)를 포함하는 시스템이 제공된다. 새로운 매크로 이미지의 포커스 평면과 DOF는 연속적으로 제어될 수 있다. 일부 실시 예에서, 연속 제어는 캡처 후일 수 있다.

일부 실시 예에서, 텔레 카메라는 광학 경로 폴딩 요소(OPFE)를 포함하는 폴디드 텔레 카메라일 수 있다. 일부 실시 예에서, 텔레 카메라는 2개의 OPFE를 포함하는 더블-폴디드 텔레 카메라일 수 있다. 일부 실시 예에서, 텔레 카메라는 팝-아웃 렌즈를 포함하는 팝-아웃 텔레 카메라일 수 있다.

일부 실시 예에서, 포커싱은 3.0-25cm, 3.0-15cm, 또는 10-35cm의 객체-렌즈 거리에 있을 수 있다.

일부 실시 예에서, 텔레 카메라는 7-10mm, 10-20mm, 또는 20-40mm의 EFL을 가질 수 있다.

일부 실시 예에서, 텔레 캡처 전략은 캡처된 매크로 이미지로부터의 정보에 기초하여 매크로 이미지의 시퀀스를 캡처하는 동안 조정될 수 있다.

일부 실시 예에서, 캡처된 매크로 이미지로부터의 정보는 가우스 분석의 라플라시안(Laplacian of Gaussian)에 의해 처리된다.

일부 실시 예에서, UW 카메라로부터의 이미지 데이터는 위상 검출 오토-포커스(PDAF) 데이터이다.

일부 실시 예에서, 새로운 매크로 이미지의 생성은 UW 이미지를 레퍼런스 이미지로 사용할 수 있다.

일부 실시 예에서, 새로운 매크로 이미지의 생성은 UW 이미지의 비디오 스트림을 레퍼런스 이미지로 사용할 수 있다.

일부 실시 예에서, AP는 캡처된 매크로 이미지의 시퀀스에서 관심 객체(OOI)를 자동으로 검출하고, 상기 OOI가 완전히 초점 맞을 때(in-focus) 새로운 매크로 이미지를 생성하도록 구성될 수 있다.

일부 실시 예에서, AP는 UW 이미지 데이터에서 OOI를 자동으로 검출하고, 상기 OOI가 완전히 초점 맞을 때 새로운 매크로 이미지를 생성하도록 구성될 수 있다.

일부 실시 예에서, AP는 입력 매크로 이미지의 시퀀스에서 OOI를 자동으로 검출하고, 상기 OOI의 특정 이미지 세그먼트가 특정 양의 포워드 디-포커스 블러 및 특정 양의 백워드 디-포커스 블러를 가질 때, 새로운 매크로 이미지를 생성하도록 구성될 수 있다.

일부 실시 예에서, AP는 UW 이미지 데이터에서 OOI를 자동으로 검출하고, 상기 OOI의 특정 이미지 세그먼트가 특정 양의 포워드 디-포커스 블러 및 특정 양의 백워드 디-포커스 블러를 가질 때, 새로운 매크로 이미지를 생성하도록 구성될 수 있다.

일부 실시 예에서, AP는 캡처된 매크로 이미지의 시퀀스로부터 깊이 맵을 계산하고, 상기 깊이 맵을 사용하여 상기 새로운 매크로 이미지를 생성하도록 구성될 수 있다.

일부 실시 예에서, AP는 사실적인 인공 라이트닝 시나리오와 함께 새로운 매크로 이미지를 제공하도록 구성될 수 있다.

일부 실시 예에서, AP는 객체를 자동으로 선택하기 위해 상기 와이드 카메라로부터의 이미지 데이터를 분석하고, 상기 텔레 카메라로 객체를 캡처하기 위한 캡처 전략을 정의하도록 구성될 수 있다. 일부 실시 예에서, 포커스 피킹 맵은 텔레 카메라로 캡처된 객체를 선택하기 위해 사용자에게 표시될 수 있다.

일부 실시 예에서, AP는 PDAF 데이터로부터 깊이 맵을 계산하고 새로운 매크로 이미지를 생성하기 위해 깊이 맵을 사용하도록 구성될 수 있다.

일부 실시 예에서, 텔레 렌즈 모듈은 하나 이상의 D 컷 렌즈를 포함할 수 있다.

일부 실시 예에서, 시스템은 4-15cm의 객체-렌즈 거리에 포커싱하기 위해 사용되는 액체 렌즈를 더 포함할 수 있다. 일부 실시 예에서, 액체 렌즈의 배율은 0-30 디옵터 범위에서 연속적으로 변경될 수 있다. 일부 실시 예에서, 액체 렌즈는 폴디드 텔레 카메라의 OPFE의 상부에 위치될 수 있다. 일부 실시 예에서, 액체 렌즈는 폴디드 텔레 카메라의 OPFE와 텔레 렌즈 모듈 사이에 위치될 수 있다.

본 명세서에 개시된 실시 예의 비-제한적인 예는 이 단락 다음에 열거되는 여기에 첨부된 도면을 참조하여 아래에서 설명된다. 도면 및 설명은 본 명세서에 개시된 실시 예를 조명하고 명확하게 하기 위한 것이며, 어떤 식으로든 제한하는 것으로 간주되어서는 안된다. 상이한 도면에서 동일한 요소는 동일한 번호로 표시될 수 있다. 도면의 요소는 반드시 축척에 맞게 그려진 것은 아니다.
도 1a는 무한대에 초점을 맞춘 텔레 렌즈 상태에서의 폴디드 텔레 렌즈 및 센서 모듈의 실시 예의 사시도를 도시한다.
도 1b는 가까운 객체에 초점을 맞춘 매크로 렌즈 상태에서의 도 1a의 텔레 렌즈 및 센서 모듈의 사시도를 도시한다.
도 1c는 최소 줌 상태에서 본 명세서에 개시된 다른 연속 줌 텔레 렌즈 및 센서 모듈을 단면도로 도시한다.
도 1d는 중간 줌 상태에서의 도 1c의 모듈을 도시한다.
도 1e는 최대 줌 상태에서의 도 1c의 모듈을 도시한다.
도 1f는 최소 줌 상태에서 본 명세서에 개시된 또 다른 연속 줌 텔레 렌즈 및 센서 모듈을 단면도로 도시한다.
도 1g는 중간 줌 상태에서의 도 1ㄹ의 모듈을 도시한다.
도 1h는 최대 줌 상태에서의 도 1f의 모듈을 도시한다.
도 1i는 여기에 개시된 폴디드 텔레 카메라의 실시 예를 도시한다.
도 1j는 작동 또는 "팝-아웃" 상태에서의 팝-아웃 카메라를 도시한다.
도 1k는 비-작동 또는 "접힌(collapsed)" 상태에서의 도 1j의 팝-아웃 카메라를 도시한다.
도 1l은 접힌 상태에서의 단면도에서 본 명세서에 개시된 예시적인 텔레-매크로 카메라 렌즈 시스템을 도시한다.
도 1m은 제1 EFL 및 제1 줌 팩터를 갖는 제1 텔레 상태에서의 도 1l의 렌즈 시스템을 도시한다.
도 1n은 제2 EFL 및 제2 줌 팩터를 갖는 제2 텔레 상태에서의 1l의 렌즈 시스템을 도시한다.
도 1o는 제3 EFL 및 제3 줌 팩터를 갖는 텔레-매크로 상태에서의 1l의 렌즈 시스템을 도시한다.
도 1p는 팝-아웃 상태에서의 단면도에서 본 명세서에 개시된 다른 예시적인 텔레-매크로 카메라 렌즈 시스템을 개략적으로 도시한다.
도 1q는 제1 접힌 상태에서의 도 1p의 렌즈 시스템를 도시한다.
도 1r은 제2 접힌 상태에서의 도 1p의 렌즈 시스템을 도시한다.
도 1s는 팝-아웃 상태에서의 단면도에서 본 명세서에 개시된 또 다른 예시적인 텔레-매크로 카메라 렌즈 시스템을 개략적으로 도시한다.
도 1t는 접힌 상태에서의 도 1s의 렌즈 시스템을 도시한다.
도 1u는 울트라-와이드 FOV와 매크로 FOV 사이의 듀얼 카메라 출력 이미지 크기 및 비율을 개략적으로 도시한다.
도 2a는 여기에 개시된 매크로 기능을 갖는 폴디드 텔레 디지털 카메라의 실시 예를 도시한다.
도 2b는 여기에 개시된 매크로 기능을 갖는 폴디드 텔레 디지털 카메라의 다른 실시 예를 도시한다.
도 2c는 제1 줌 상태에서 본 명세서에 개시된 또 다른 연속 줌 텔레 렌즈 및 센서 모듈을 단면도로 도시한다.
도 2d는 제2 줌 상태에서의 도 2c의 모듈을 도시한다.
도 2e는 제3 줌 상태에서의 도 2c의 모듈을 도시한다.
도 3a는 마이크로 렌즈가 객체로부터의 빛을 2개의 서브-픽셀의 중심으로 투사하여 제로-디스패리티를 유발하는 상태에서의 초점이 맞춰진 포인트 객체를 도시한다.
도 3b는 초점이 맞지 않는(out of focus) 도 3a의 포인트 객체로부터의 광선을 도시한다.
도 4a는 본 명세서에 개시된 매크로 포커스 스택을 캡처하는 방법을 도시한다.
도 4b는 본 명세서에 개시된 포커스 스택을 생성하는 다른 방법을 도시한다.
도 5a는 예시적인 매크로 객체 및 매크로 객체를 캡처하기 위한 설정을 도시한다.
도 5b는 도 5a의 매크로 설정에 대한 출력 그래프를 도시한다.
도 5c는 다른 예시적인 매크로 객체 및 매크로 객체를 캡처하기 위한 설정을 도시한다.
도 5d는 도 5c의 매크로 설정에 대한 출력 그래프를 도시한다.
도 6은 포커스 스택의 복수의 이미지로부터 단일 매크로 이미지를 생성하는 방법을 도시한다.
도 7은 사용자가 출력 이미지의 외관(appearance)을 수정하기 위한 명령을 전송하기 위해 사용할 수 있는 그래픽 사용자 인터페이스(GUI)를 도시한다.
도 8a는 대칭 블러 함수를 도시한다.
도 8b는 도 8a에 기재된 바와 같은 기능을 갖는 비대칭 블러 함수를 도시한다.
도 9는 본 명세서에 개시된 방법을 수행하기 위한 시스템을 도시한다.
도 10은 예시적인 듀얼 카메라를 도시한다.

매크로-촬영 모드를 갖는 텔레 카메라는 텔레 카메라의 렌즈 내에서 이동을 수행하여 렌즈의 속성을 변경함으로써, 매크로 상태로 전환할 수 있다. 이러한 기능을 갖는 카메라는 예를 들어, 공동 소유의 국제 특허 출원 PCT/IB2020/051405 및 PCT/IB2020/058697에 설명되어 있다. 예를 들어, PCT/IB2020/051405의 도 19a 및 19b는 2 개의 폴디드 텔레 카메라 상태들(하나는 텔레 렌즈가 제1 "텔레 렌즈" 상태이고 다른 하나는 텔레 렌즈가 제2 "매크로 렌즈" 상태)을 도시한다. 텔레 카메라의 큰 EFL과 텔레 모드에서보다 매크로 모드에서 더 작은 이미지 센서의 이미지 영역 때문에, "매크로 렌즈" 상태는 아래 FOV(198)와 같은 작은 매크로 FOV와 함께 올 수 있다.

다음에서, 이미지가 다음의 두 가지 기준을 모두 충족하는 경우, "매크로 이미지"라고 지칭된다:

- 1:5-25:1의 객체-대-이미지 배율.

- 7mm-40mm 범위의 EFL을 가진 카메라로 30mm-350mm 범위의 객체-렌즈 거리에서 캡처됨.

도 1a 및 도 1b는 본 명세서에 개시되고 번호가 100인 폴디드 텔레 렌즈 및 센서 모듈의 실시 예를 개략적으로 도시한다.

도 1a는 무한대에 초점을 맞춘 텔레 렌즈 상태의 모듈(100)을 상부 사시도로 도시하고, 도 1b는 동일한 상부 사시도에서 카메라로부터 약 4cm에 있는 (가까운) 객체에 초점을 맞춘 최대 객체-대-이미지 배율(Mmax)을 갖는 매크로 렌즈 상태에서의 모듈(100)을 도시한다.

모듈(100)은 제1 렌즈 그룹(G1)(104), 제2 렌즈 그룹(G2)(106) 및 제3 렌즈 그룹(G3)(108), 모듈 하우징(102) 및 이미지 센서(110)를 더 포함한다. 이 실시 예에서, 렌즈 그룹(104, 106 및 108)은 고정 결합되어 있다. 즉, 렌즈 그룹 사이의 거리는 변경되지 않는다. 렌즈 그룹(104, 106 및 108)은 함께 EFL=13mm인 렌즈를 형성할 수 있다. 렌즈 그룹(104, 106 및 108)은 렌즈 광축(112)을 공유한다. 포커싱을 위해, 렌즈 그룹(104, 106 및 108)은 렌즈 광축(112)을 따라 VCM 메커니즘(도시되지 않음)에 의해 함께 작동된다. VCM 메커니즘(도시되지 않음)은 또한 렌즈 포커스 상태를 변경하는 데 사용된다.

도 1b 및 PCT/IB2020/051405의 표 25의 실시 예 6에 상세히 기술된 광학 설계를 참조하면, Mmax=2.3:1이 달성될 수 있다(4.2cm에 있는 객체에 대해). 이것은 EFL=13mm, 렌즈-이미지 거리 v=19mm, 객체-렌즈 거리 u=42mm인 얇은 렌즈 근사치에 따른 것이다. Mmax는 도 1b에 도시된 바와 같은 렌즈 구성으로 달성될 수 있는데, 여기서 렌즈 그룹(G1+G2+G3)은 객체를 향해 가능한 한 멀리(즉, 센서(110)로부터 멀어지게) 함께 이동된다.

더 작은 객체-대-이미지 배율(M)은 더 먼 거리에서 객체를 캡처함으로써 연속적으로 선택될 수 있다. 0의 배율(무한대에 있는 객체에 대해)은 도 1a의 렌즈 구성 및 렌즈 그룹(G1+G2+G3)이 이미지 센서(110)를 향해 가능한 한 멀리 함께 이동함으로써 얻어진다. 0과 Mmax 사이의 배율에 대해, 렌즈 그룹(G1+G2+G3)은 위에 언급된 리미트들 사이에서 함께 이동한다. 예를 들어, 배율 M=4.3:1이 바람직할 수 있다. Mmax 상태로부터 M=4.3:1로 전환하려면, 렌즈(G1+G2+G3)는 이미지 센서 쪽으로 약 3mm 함께 이동해야 한다.

다른 실시 예에서, 매크로 카메라는 25mm의 EFL을 가질 수 있고, 위에서 설명된 EFL=2.5mm를 갖는 UW 카메라와 비교될 수 있다. 두 카메라 모두는 예컨대, 4mm 활성 이미지 센서 너비를 갖는 동일한 이미지 센서를 포함할 수 있다. 5cm에 포커싱될 때, EFL=25mm를 갖는 매크로 카메라는 1:1 객체-대-이미지 배율을 가질 것이며, (센서 너비와 동일한) 4mm의 객체 너비를 캡처할 것이다. 이에 비해, 객체-대-이미지 배율이 약 19:1인 UW 카메라는 76mm의 객체 너비를 캡처할 것이다.

EFL=7-40mm인 텔레 카메라는 큰 이미지 배율을 제공할 수 있으므로, 매크로 촬영에 유용할 수 있다. 그러나, 텔레 카메라를 짧은 객체-렌즈 거리에 초점을 맞추는 것은 쉬운 일이 아니며, 렌즈와 이미지 센서 사이의 (광학 경로에 수직인 평면에 대한) 중심 이탈(de-center) 편차를 25μm 이하, 예컨대 5μm로 제한하는 것과 같은 광학장치 사양을 지원할 수 있는 큰 렌즈 스트로크를 필요로 한다. (무한대에 초점을 맞추는 것과 비교하여) EFL=25mm-10cm인 매크로 카메라의 초점을 맞추려면, 약 6.3mm의 렌즈 스트로크를 필요로 한다. 업라이트(난-폴디드) 텔레 카메라의 경우, 2mm 이상의 렌즈 스트로크는 모바일 장치(따라서 카메라) 높이 제한과 호환되지 않는다. 그러나, 폴디드 카메라 설계(도 1a-1b 및 도 2a-2b에 설명됨) 또는 "팝-아웃" 카메라 설계(도 1j-1k 및 예를 들어 공동 소유의 국제 특허 출원 PCT/IB2020/058697에 설명됨)에서, 스마트폰의 높이는 그러한 렌즈 스트로크를 제한하지 않는다.

다른 실시 예에서, 매크로 이미지를 캡처하기 위한 폴디드 또는 난-폴디드 텔레 카메라는 7-40mm의 EFL, 예를 들어 18mm의 EFL을 가질 수 있다. 매크로 기능을 위해, 폴디드 또는 난-폴디드 텔레 카메라는 예를 들어, 30-350mm의 객체-렌즈 거리를 갖는 객체에 연속적으로 포커싱할 수 있다.

도 1c-1e는 본 명세서에 개시되고 상이한 줌 상태에서 120으로 번호가 매겨진 연속 줌 텔레 렌즈 및 센서 모듈의 실시 예를 도시한다. 도 1c는 EFL=15mm를 갖는 최소 줌 상태의 모듈(120)을 도시하고, 도 1d는 EFL=22.5mm를 갖는 중간 줌 상태의 모듈(120)을 도시하고, 도 1e는 EFL=30mm를 갖는 최대 줌 상태의 모듈(120)을 도시한다.

모듈(120)은 8개의 단일 렌즈 요소(L1-L8)를 갖는 렌즈(122), 이미지 센서(124) 및 선택적으로 광학 창(126)을 포함한다. 광축은 128로 표시된다. 모듈(120)은 카메라(1000)와 같은 폴디드 텔레 카메라에 포함된다. 모듈(120)은 최소 줌 상태와 최대 줌 상태 사이에서 연속적으로 전환될 수 있는 연속 줌 범위를 갖는다. 최대 줌 상태에서의 EFL(EFLMAX) 및 최소 줌 상태에서의 EFL(EFLMIN)은 EFLMAX=2x EFLMIN을 충족한다. 렌즈(122)는 객체에 가장 가까운 그룹 1("G1"), 그룹 2("G2") 및 센서(124)에 가장 가까운 그룹 3("G3")의 3 가지 렌즈 그룹으로 나누어진다. 줌 상태를 변경하기 위해, G1 및 G3은 G2 및 센서(124)에 대해 하나의 그룹("G13" 그룹)으로 함께 이동한다. 포커싱을 위해, G1+G2+G3은 센서(124)에 대해 하나의 그룹으로 함께 이동한다.

도 1f-1h는 본 명세서에 개시되고 상이한 줌 상태에서 130으로 번호가 매겨진 연속 줌 텔레 렌즈 및 센서 모듈의 다른 실시 예를 도시한다. 도 1f는 EFL=10mm를 갖는 최소 줌 상태의 모듈(130)을 도시하고, 도 1g는 EFL=20mm를 갖는 중간 줌 상태의 모듈(130)을 도시하고, 도 1h는 EFL=30mm를 갖는 최대 줌 상태의 모듈(130)을 도시한다.

모듈(130)은 10개의 단일 렌즈 요소(L1-L10)를 갖는 렌즈(132), 이미지 센서(134) 및 선택적으로 광학 창(136)을 포함한다. 모듈(130)은 카메라(1000)와 같은 폴디드 텔레 카메라에 포함된다. 모듈(130)은 최소 줌 상태와 최대 줌 상태 사이에서 연속적으로 전환될 수 있는 연속 줌 범위를 갖는다. 최대 줌 상태의 EFL(EFLMAX) 및 최소 줌 상태의 EFL(EFLMIN)은 EFLMAX=3x EFLMIN을 충족한다. 렌즈(132)는 객체에 가장 가까운 그룹 1("G1"), 그룹 2("G2"), 그룹 3("G3") 및 센서(134)에 가장 가까운 그룹 4("G4")의 4 가지 렌즈 그룹으로 나누어진다. 줌 상태를 변경하기 위해, G1과 G3은 G2, G4 및 센서(134)에 대해 하나의 그룹("G13" 그룹)으로 함께 이동한다. 포커싱을 위해, G13+G2+G4는 센서(134)에 대해 하나의 그룹으로 함께 이동한다.

도 1i는 본 명세서에 개시되고 140으로 번호가 매겨진 폴디드 텔레 카메라의 실시 예를 도시한다. 일반적으로, 폴디드 텔레 카메라는 하나의 광학 경로 폴딩 요소(OPFE)를 기반으로 한다. 이러한 스캐닝 폴디드 텔레 카메라는 예를 들어 공동 소유의 국제 특허 출원 PCT/IB2016/057366에 설명되어 있다. 카메라(140)는 2 개의 OPFE를 기반으로 하기에, "더블-폴디드" 텔레 카메라로 지칭될 수 있다. 모듈(140)은 제1 "객체 OPFE"(142), 객체 OPFE 액추에이터(144), "이미지 OPFE"(146) 및 이미지 OPFE 액추에이터(148)를 포함한다. 렌즈(미도시)는 렌즈 배럴(150)에 포함된다. 카메라(140)는 이미지 센서(151) 및 포커싱 액츄에이터(153)를 더 포함한다.

모듈(140)은 스캐닝 폴디드 텔레 카메라이다. 객체 OPFE(142) 및 이미지 OPFE(146)의 회전 이동에 의해, 카메라(140)의 원래(native)(대각선) FOV(FOVN)는 장면을 스캔하기 위해 조향될 수 있다. FOVN은 10-40도일 수 있고, FOVN의 스캐닝 범위는 ±5도 - ±35도일 수 있다. 예를 들어, 20도 FOVN 및 ±20 FOVN 스캐닝을 갖는 스캐닝 폴디드 텔레 카메라는 60도의 텔레 FOV를 커버한다.

도 1j-1k는 예를 들어, 공동 소유의 국제 특허 출원 PCT/IB2020/058697에 설명된 팝-아웃 텔레 카메라(160)를 예시적으로 도시한다. 도 1j는 작동 또는 "팝-아웃" 상태에서의 팝-아웃 카메라(160)를 도시한다. 팝-아웃 카메라(150)는 애퍼처(152), 렌즈(도시되지 않음)를 포함하는 렌즈 배럴(154), 팝-아웃 메커니즘(156) 및 이미지 센서(158)를 포함한다. 도 1k는 비-작동 또는 "접힌" 상태에서의 팝-아웃 카메라(160)를 도시한다. 팝-아웃 메커니즘(156)에 의해, 카메라(150)는 팝-아웃 상태로부터 접힌 상태로 전환된다. 일부 듀얼 카메라의 실시 예에서, W 카메라와 T 카메라는 모두 팝-아웃 카메라일 수 있다. 다른 실시 예에서, W 또는 T 카메라 중 하나만 팝-아웃 카메라일 수 있는 반면, 다른(비-팝-아웃) 카메라는 폴디드 또는 난-폴디드(업라이트) 카메라일 수 있다.

도 1l-1o는 본 명세서에 개시된 예시적인 팝-아웃 텔레-매크로 카메라 렌즈 시스템(170)을 단면도로 개략적으로 도시한다. 렌즈 시스템(170)은 도 1j-1k에서 설명된 바와 같이 팝-아웃 카메라에 포함될 수 있다. 도 1l은 접힌 상태에서의 렌즈 시스템(170)을 도시한다. 도 1m은 제1 EFL(EFL1) 및 제1 줌 팩터(ZF1)를 갖는 제1 텔레 상태에서의 렌즈 시스템(170)을 도시한다. 도 1n은 제2 EFL(EFL2) 및 제2 줌 팩터(ZF2)를 갖는 제2 텔레 상태에서의 렌즈 시스템(170)을 도시하며, 여기서 EFL1<EFL2 및 ZF1<ZF2이다. 도 1o는 제3 EFL3 및 제3 ZF3을 갖는 텔레-매크로 상태에서의 렌즈 시스템(170)을 도시한다. 텔레-매크로 상태에서, 렌즈 시스템(170)을 포함하는 카메라는 매크로 이미지를 캡처하기 위해 객체-렌즈 거리가 <350mm인 근접 객체에 대해 초점을 맞출 수 있다.

도 1p-1r은 본 명세서에 개시된 바와 같은 또 다른 예시적인 팟-아웃 텔레-매크로 카메라 렌즈 시스템(180)을 단면도로 개략적으로 도시한다. 렌즈 시스템(180)은 렌즈(182) 및 이미지 센서(184)를 포함한다. 렌즈 시스템(180)은 도 1j-1k에 설명된 바와 같이 팟-아웃 카메라에 포함될 수 있다. 도 1p는 팟-아웃 상태에서의 렌즈 시스템(180)을 도시한다. 팟-아웃 상태에서, 렌즈 시스템(180)을 포함하는 카메라는 매크로 이미지를 캡처하기 위해 객체-렌즈 거리가 <350mm인 근접 객체에 초점을 맞출 수 있다. 도 1q는 제1 접힌 상태에서의 렌즈 시스템(180)을 도시한다. 도 1r은 제2 접힌 상태에서의 렌즈 시스템(180)을 도시한다.

도 1s-1t는 본 명세서에 개시된 다른 예시적인 팝-아웃 텔레-매크로 카메라 렌즈 시스템(190)을 단면도로 개략적으로 도시한다. 렌즈 시스템(190)은 렌즈(192) 및 이미지 센서(194)를 포함한다. 렌즈 시스템(190)은 도 1j-1k에 설명된 바와 같이 팟-아웃 카메라에 포함될 수 있다. 도 1s는 팟-아웃 상태에서의 렌즈 시템(190)을 도시한다. 팝-아웃 상태에서, 렌즈 시스템(190)을 포함하는 카메라는 매크로 이미지를 캡처하기 위해 객체-렌즈 거리가 350mm 미만인 근접 객체에 초점을 맞출 수 있다. 도 1t는 접힌 상태에서의 렌즈 시스템(190)을 도시한다.

모듈(100, 120, 130, 140, 150, 170, 180, 190 및 220) 또는 모듈(100, 120, 130, 140, 150, 170, 180, 190 및 220)을 포함하는 카메라는 매크로 카메라 모듈(910)과 같은 매크로 카메라 모듈로 매크로 이미지를 갭처하는데 사용될 수 있다.

도 1u는 울트라-와이드(UW) FOV(196), 와이드(W) FOV(197) 및 매크로 FOV(198) 사이의 예시적인 트리플 카메라 출력 이미지 크기 및 비율을 실시 예(195)로 도시한다. 예를 들어, 1m 이상의 렌즈-객체 거리에 있는 객체를 캡처하기 위해 사용되는 텔레 카메라에 대하여, 텔레 카메라 기반의 매크로 모드에서 더 큰 이미지가 이미지 센서 평면에 형성된다. 따라서, 이미지가 이미지 센서의 활성 영역보다 큰 영역을 덮을 수 있으므로, 텔레 카메라의 FOV 중 잘린(cropped) FOV만이 매크로 이미지를 캡처하는 데 사용할 수 있다. 예를 들어, 30mm의 EFL 및 4mm의 활성 이미지 센서 너비를 갖는 이미지 센서를 갖는 매크로 카메라를 고려해 보자. (렌즈-객체 거리) 5cm에서 객체에 초점을 맞출 때, 초점을 맞추는 데 v=77mm의 렌즈-이미지 거리가 필요하며, 객체-대-이미지 배율은 약 1:1.5이다. 실제 텔레 FOV의 약 43%인 매크로 FOV가 매크로 이미지를 캡처하는 데 사용될 수 있다.

다음 설명은 UW 카메라가 대신 사용될 수 있다고 가정하고 W 카메라를 참조한다.

도 2a는 200으로 번호가 매겨진 본 명세서에 개시된 매크로 기능을 갖는 폴디드 텔레 카메라의 실시 예를 도시한다. 카메라(200)는 이미지 센서(202), 광축(212)을 갖는 렌즈(204), 및 예시적으로 프리즘인 OPFE(206)를 포함한다. 카메라(200)는 광학 축(212)에 수직인 방향(214)으로 프리즘(206)의 상면(도시되지 않은 객체를 향하는 표면)에 장착된 액체 렌즈(LL)(208)를 더 포함한다. 액체 렌즈는 LL 액추에이터(210)에 의해 공급되는 전기 전압에 의해 조절될 수 있는 광학 특성을 갖는다. 이 실시 예에서, LL(208)은 0 내지 35 디옵터의 디옵터 범위를 연속적으로 제공할 수 있다. 매크로 촬영 상태에서, LL(208)과 렌즈(204)를 포함하는 전체 렌즈 시스템은 7-40mm의 EFL을 가질 수 있다. DOF는 0.01-2mm 정도로 얕을 수 있다. 이 실시 예 및 다음의 실시 예에서, 액체 렌즈는 기계적 높이(HLL) 및 광학적 높이(클리어 높이)(CH)를 갖는다. CH는 클리어 애퍼처(CA)의 각각의 높이를 정의하며, 여기서 CA는 광학 사양을 충족하는 렌즈 표면의 영역을 정의한다. 즉, CA는 유효 광학 영역이고, CH는 렌즈의 유효 높이이다. 이와 관련하여, 공동 소유 국제 특허 출원 PCT/IB2018/050988를 참조하라.

(적응형 광학 특성을 갖는 LL과 대조적으로) 고정된 광학 특성을 갖는 일반 렌즈의 경우, 클리어 높이(CH)와 렌즈 기계적 높이(H) 사이의 비율(CH/H)은 일반적으로 0.9 이상이다. 액체 렌즈의 경우, CH/H 비율은 일반적으로 0.9 이하, 예컨대 0.8 또는 0.75이다. 이 때문에, 그리고 프리즘과 렌즈를 포함하는 광학 시스템의 CH를 활용하기 위해, HLL은 프리즘 상면의 가장 작은 면보다 15% 더 크거나 20% 더 크게 설계될 수 있다. 실시 예(200)에서, LL 액추에이터(210)는 렌즈의 광축(212)을 따라, 즉 도시된 X-Y-Z 좌표계에서 -X 방향으로 위치된다. 렌즈(204)는 렌즈 높이(H)보다 큰 렌즈 폭(W)을 갖는 D 컷 렌즈일 수 있다. 일 예에서, D 컷 렌즈의 폭/높이(W/H) 비율은 1.2일 수 있다.

도 2b는 200'으로 번호가 매겨진 본 명세서에 개시된 매크로 기능을 갖는 폴디드 텔레 카메라의 또 다른 실시 예를 도시한다. 카메라(200')는 카메라(200')에서 LL(208)이 프리즘(206)과 렌즈(204) 사이에 위치한다는 점을 제외하고는 카메라(200)와 동일한 요소를 포함한다. 카메라(200)에서와 같이, 렌즈(204)는 렌즈 높이(H) 보다 큰 렌즈 폭(W)을 갖는 D 컷 렌즈일 수 있다. 일 예에서, D컷 렌즈의 폭/높이(W/H) 비율은 1.2일 수 있다. 카메라(200)에서와 같이, 매크로 촬영 상태에서, LL(208) 및 렌즈(204)를 포함하는 전체 렌즈 시스템은 7mm-40mm의 EFL을 가질 수 있고, DOF는 0.01-7.5mm만큼 얕을 수 있다.

도 2c 내지 도 2e는 상이한 줌 상태에서 본 명세서에 개시되고 220으로 번호가 매겨진 연속 줌 텔레 렌즈 및 센서 모듈의 또 다른 실시 예를 개략적으로 도시한다. 모듈(220)은 카메라(1000)와 같은 폴디드 텔레 카메라에 포함된다. 모듈(220)은 렌즈(222), (선택적인) 광학 요소(224) 및 이미지 센서(226)를 포함한다. 도 2c-2e는 각각에 대해 3개의 광선: 상부 주변(marginal) 광선, 하부 주변 광선 및 주(chief)-광선을 갖는 3개의 필드를 도시한다. 렌즈(222)는 6개의 단일 렌즈 요소(L1-L6)를 포함한다. 광축은 228로 표시된다.

도 2c는 무한대에 초점 맞춰진 모듈(220)을 도시하고, 도 2d는 100mm에 초점 맞춰진 모듈(220)을 도시하고, 도 2e는 50mm에 초점 맞춰진 모듈(220)을 도시한다.

렌즈(220)는 서로에 대해 이동하며 추가적으로 포커싱을 위해 이미지 센서에 대해 하나의 렌즈로 함께 이동하는 2 개의 렌즈 그룹 G1(렌즈 요소(L1 및 L2)를 포함함) 및 G2(L3, L4, L5 및 L6를 포함함)로 구분된다. 이러한 카메라와 함께 제공되는 매우 얕은 DOF 때문에, 포커스 스택을 캡처하고 그것으로부터 좋은 이미지를 구축하는 것은 쉬운 일이 아니다. 그러나, 아래에 설명된 방법을 사용하면 그렇게 할 수 있다.

일부 멀티 카메라는 2PD 센서와 같은 위상-검출 자동-포커스(PDAF) 센서, 즉 각각의 센서 픽셀이 2 개 이상의 서브-픽셀로 분할되며 디스패리티 계산을 통한 깊이 추정을 지원하는 센서를 갖는 매크로 기능이 있는 텔레 카메라 및 W 카메라 모두(또는, 카메라 중 하나만을) 장착하고 있다. PDAF 센서는 다중 마이크로-렌즈("ML") 또는 부분적으로 덮인 ML을 활용하여, 인포커스 및 아웃포커스(in and out of focus) 내의 픽셀을 검출한다. ML은 초점이 맞춰진 객체가 렌즈에 대해 동일한 위치에서 센서 평면에 투영되도록 캘리브레이션된다(도 3a 참조).

도 3a는 ML이 객체로부터의 광을 2개의 서브-픽셀의 중심 상으로 투영하여 제로-디스패리티를 초래하게 하는, 초점 맞춰진 포인트 객체(302)를 도시한다. 도 3b는 초점이 맞지 않는 포인트 객체(304)로부터의 광선을 도시한다. "메인 렌즈" "ML" 및 "서브-픽셀 쌍"은 도 3a 및 3b에서 모두 동일한 방식으로 도시되어 있다. 도 3b에서, 좌측 ML은 객체(304)로부터의 광을 좌측 서브-픽셀의 중심으로 투영한다. 우측 ML은 동일한 객체를 우측 서브-픽셀에 투영하여, 양의 디스패리티 값 2를 초래한다. 포커스 평면(도시되지 않음) 전후의 객체는 각 렌즈에 대해 서로 다른 위치에 투영되어, 투영들 사이에 양/음의 디스패리티를 생성한다. PDAF 디스패리티 정보는 "PDAF 깊이 맵"을 생성하는 데 사용될 수 있다. 이러한 PDAF 깊이 맵은 (매우 작은 기준선으로 인해) 조잡하고 포커스 평면에 상대적이다. 즉, 무한대에 있는 객체가 아니라 초점이 맞춰진 객체에 대해 제로-디스패리티가 검출된다. 다른 실시 예에서, 깊이 맵은 스테레오 카메라, ToF(Time-of-Flight)로부터의 이미지 데이터에 기초하여, 또는 예를 들어 움직임으로부터의 깊이와 같은 단안 깊이에 대한 당업계에 공지된 방법에 의해 생성될 수 있다.

도 4a는 본 명세서에 개시된 바와 같이 매크로 포커스 스택을 캡처하는(또는 "텔레 캡처 전략을 정의하는") 방법을 도시한다. "포커스 스택"이라는 용어는 동일한 이미징 조건에서(즉, 포커스 스택을 캡처하는 동안 카메라와 객체가 이동하지 않지만, 렌즈의 포커스는 연속적인 이미지 캡처 사이의 정의된 단계에서 이동한다) 캡처된 복수의 이미지를 지칭한다. 애플리케이션 컨트롤러(AP), 예를 들어 도 9에 도시된 AP(940)는 이러한 방법의 단계를 수행하도록 구성될 수 있다. 객체는 단계(402)에서 포커스가 맞춰진다. 일부 실시 예에서 객체 또는 영역을 포커스 맞추기 위해, 당업계에 알려진 포커스 피킹 맵이 사용자에게 디스플레이될 수 있다. 카메라(140)와 같은 스캐닝 텔레 카메라가 사용되는 경우, W 카메라 FOV에서 객체를 검출하고 이 객체를 향해 스캐닝 텔레 카메라 FOV를 자동으로 조향함으로써, 객체가 초점 맞춰질 수 있다. W 카메라 FOV 내의 객체는 알고리즘에 의해 자동으로 또는 인간 사용자에 의해 수동으로 포커싱을 위해 선택될 수 있다. 예를 들어, 알고리즘에 의한 자동 객체 선택을 위해, 당업계에 공지된 돌출(saliency) 맵을 제공하는 돌출 알고리즘이 사용될 수 있다. 사용자는 단계(404)에서 캡처 명령을 제공한다. 제1 이미지는 단계(406)에서 캡처된다. 단계(408)에서, 이미지는 아래에서 설명되고 도 5a 및 도 5b에 도시된 방법에 따라 분석된다. 일부 실시 예들에서, (전체 이미지 대신에) 이미지의 세그먼트들만이 분석될 수 있다. 분석되는 세그먼트는 매크로 카메라로부터의 이미지 데이터 또는 W 카메라의 이미지 데이터에서 실행되는 객체 검출 알고리즘에 의해 정의될 수 있다. 대안적으로, 분석되는 이미지의 세그먼트(즉, OOI)는 사용자에 의해 수동으로 표시될 수 있다. 이 분석의 결과에 따르면, 렌즈는 단계(410)에서 포워드 포커싱을 위해(즉, 포커스는 카메라로부터 한 단계 멀어지게 이동함), 또는 단계(412)에서 백워드 포커싱을 위해(즉, 포커스는 카메라를 향해 한 단계 이동함), 정의된 단계로 이동한다. 포워드 또는 백워드 포커싱은 단계(408)에서 생성된 명령에 의존할 수 있다. 백워드 포커싱 명령은 예를 들어, 도 5b(또는 도 5d)의 플래토(A(A'), plateau)가 검출될 때 트리거될 수 있다. 포워드 포커싱 명령은 예를 들어, 도 5b(또는 도 5d)의 플래토(A(A'))가 검출되지 않을 때 트리거될 수 있다. 추가 이미지는 단계(414)에서 캡처된다. 이러한 단계는 단계(408)의 분석이 백워드 포커싱을 반전시키기 위한 명령 또는 포커스 스택 캡처링을 중단시키기 위한 중단 명령을 출력할 때까지, 반복된다. 중단 명령은, 예를 들어 도 5b(또는 도 5d)의 플래토(A(A') 또는 E(E'))가 검출될 때 트리거될 수 있다. 중단 명령은 단계(416)에서 포커스 스택 캡처를 종료한다. 다른 실시 예에서, 단계(410)은 단계(412)로 대체될 수 있고, 단계(412)는 단계 410으로 대체될 수 있다. 즉, 먼저 백워드 포커싱이 수행된 다음, 포워드 포커싱이 수행될 수 있다.

카메라(140)와 같은 스캐닝 텔레 카메라가 매크로 포커스 스택을 캡처하고 텔레 캡처 전략을 정의하는 데 사용되는 경우, 원래 텔레 FOV("객체 FOV")보다 큰 FOV 세그먼트를 커버하는 객체는 객체 FOV의 상이한 FOV 세그먼트를 각각 커버하는 다수의 포커스 스택에 의해 캡처될 수 있다. 예를 들어, W 카메라 이미지 데이터는 다수의 (텔레 FOVN보다) 더 작은 FOV로 객체 FOV를 분할하는 데 사용될 수 있는데, 이는 위에서 설명한 바와 같이 포커스 스택 캡처 프로세스로 연속적으로 캡처되고, 다수의 FOV 캡처 후에 함께 스티칭된다.

카메라(120) 또는 카메라(130)와 같은 연속 줌 텔레 카메라가 예를 들어, 객체 FOV의 크기 또는 내용 또는 색상에 따라, 매크로 포커스 스택을 캡처하고 텔레 캡처 전략을 정의하는 데 사용되는 경우, 특정 줌 팩터가 선택될 수 있다. 예를 들어, W 카메라 이미지 데이터는 매크로 객체를 분석하는 데 사용될 수 있다. 이러한 분석에 기초하여, 연속 줌 텔레 카메라에 적합한 줌 팩터가 선택될 수 있다. 선택 기준은 연속 줌 텔레 카메라의 FOV가 매크로 객체를 완전히 커버하는 것일 수 있다. 다른 선택 기준은 연속 줌 텔레 카메라의 FOV가 매크로 객체를 완전히 커버할 뿐만 아니라, 예컨대 심미적 이유로 특정 양의 배경 FOV를 추가로 커버하는 것일 수 있다. 또 다른 선택 기준은 연속 줌 텔레 카메라에 의해 캡처된 이미지가 특정 DOF를 가질 수 있도록, FOV를 선택하는 것일 수 있다. 제1 예로서, 더 큰 DOF는 더 적은 수의 단일 이미지를 포함하는 포커스 스택으로 객체를 캡처하는 데 유리할 수 있다. 제2 예로서, 특정 DOF는 예컨대 매크로 이미지의 심미적 외관에서 유익할 수 있다.

도 4b는 포커스 스택을 캡처하는(또는 텔레 캡처 전략을 정의하는) 다른 방법을 도시한다. AP(예를 들어, 도 9에 도시된 AP(940))는 이러한 방법의 단계들을 수행하도록 구성될 수 있다. 단계(452)에서, PDAF 맵은 W 카메라로 캡처된다. 단계(454)에서, 깊이 맵은 당업계에 공지된 바와 같이 PDAF 맵으로부터 계산된다. 포커스 스텝(step) 크기 및 포커스 스택 브래킷과 같은 포커스 스택 파라미터는 깊이 맵으로부터 단계(456)에서 유도된다. 포커스 스택 브래킷은 포커스 스택의 상한 및 하한이다. 즉, 그것은 2 개의 평면, 즉 포커스 스택에서 객체-렌즈 거리가 가장 큰 제1 인-포커스 평면과 포커스 스택에서 객체-렌즈 거리가 가장 작은 제2 인-포커스 평면을 포함한다. 시프트된 포커스를 갖는 복수의 이미지가 이러한 2 개의 리밋 사이에서 캡처된다. 포커스 스텝 크기는 포커스 스택에서 캡처된 2 개의 연속적인 인-포커스 평면 사이의 거리를 정의한다. 포커스 평면은 DOF(중앙에 위치한 포커스 평면)에 의해 정의된 특정 깊이를 가질 수 있다. 단계(456)에서 정의된 파라미터는 카메라를 제어하는 데 사용될 수 있다. 예를 들어, 파라미터는 예를 들어, 안드로이드 스마트폰에서 제공되는 바와 같이, 포커스 스택 캡처를 위한 표준 버스트 모드 기능에 제공될 수 있다. 단계(458)에서, 포커스 스택은 파라미터에 따라 캡처된다. 다른 실시 예에서, 단계(452)에서의 PDAF 맵은 W 카메라가 아니라 매크로 가능 텔레 카메라에 의해 캡처될 수 있다. 텔레 카메라의 PDAF 맵은 바람직할 수 있는 더 높은 공간 해상도와, 바람직하거나 바람직하지 않을 수 있는 아웃-포커스 영역의 더 강한 블러링을 나타낼 수 있다. 아웃-포커스 영역의 더 강한 블러링은 얕은 깊이, 예컨대 <1mm의 깊이를 갖는 객체에 대해 바람직할 수 있다. 아웃-포커스 영역의 더 강한 블러링은 더 큰 깊이, 예컨대 >2.5mm의 깊이를 갖는 객체에 대해 바람직하지 않을 수 있다. 강한 블러링은 단계(454)에서 수행되는 깊이 계산을 불가능하게 만들 수 있다.

일부 실시 예에서, 단계(452)에서, PDAF 이미지 데이터는 예를 들어, ROI만을 위해 단지 특정 장면 세그먼트만으로부터 캡처될 수 있다. 다른 실시 예에서, 단계(452)에서, PDAF 이미지 데이터는 전체 장면으로부터 캡처될 수 있지만, 단계(454)에서의 깊이 맵 계산은 세그먼트에 대해서만 수행될 수 있다. 특정 장면 세그먼트는 UW 또는 W 또는 텔레 카메라로부터의 이미지 데이터에 대해 수행된 이미지 분석에 의해 식별될 수 있다. PDAF 맵은 단계(452)에서 단일 이미지뿐만 아니라 비디오 스트림으로부터 캡처될 수 있다.

일부 실시 예에서, 단계(454)에서 깊이 맵을 계산하는 대신, 깊이 맵 또는 깊이 맵을 계산하기 위한 이미지 데이터가 추가 카메라에 의해 제공될 수 있다.

일부 실시 예에서, 단지 하나의 (또는 단지 소수의) 포커스 위치(들)에서 전체 매크로 장면을 분석하기 위해 다른 분석 방법이 적용될 수 있다. 이러한 분석으로부터, 바람직한 포커스 스택 스텝 크기와 포커스 스택 범위를 도출할 수 있다. 그 다음, 이러한 값은 포커스 스택 캡처를 위한 표준 버스트 모드 기능에 제공된다.

일부 실시 예에서, 단계(458)에서의 포커스 스택 캡처를 위해, 화이트-밸런스 및 노출 시간에 대한 값과 같은 이미징 설정이 포커스 스택에서 캡처된 모든 이미지에 대해 일정하게 유지될 수 있다.

DOF는 포커싱 프로세스를 위한 최소 정확도 리밋을 정의하기 때문에, 얕은 DOF를 갖는 매크로 이미지를 포함하는 포커스 스택을 캡처하려면, 카메라 렌즈를 높은 정확도로 작동하는 것을 필요로 한다. 작동 정확도에 대한 요구 사항은 이미지의 DOF으로부터 유도될 수 있다. 예를 들어, DOF보다 2-15배만큼 더 큰 정확도로 포커스 평면의 위치를 제어할 수 있는 작동 정확도가 요구될 수 있다. 예를 들어, 50μm의 DOF를 갖는 매크로 이미지를 포함하는 포커스 스택을 고려하자. 즉, 포커스 평면으로부터 25μm 거리 미만에 위치하는 장면의 세그먼트들이 인-포커스된다. 따라서, 포커싱을 위한 최소 정확도는 25μm-3μm이다.

당업계에 공지된 광학 이미지 안정화(OIS)가 포커스 스택 캡처링 동안 사용될 수 있다. OIS는 카메라(910)의 렌즈 또는 이미지 센서 또는 OPFE의 작동에 기초할 수 있다. 일부 실시 예에서, 매크로 장면의 깊이 데이터가 OIS를 위해 사용될 수 있다.

도 5a는 매크로 객체(여기서는 꽃) 및 매크로 객체(축척이 아님)를 캡처하기 위한 카메라를 예시적으로 도시한다. 꽃은 ("카메라"로 표시된) 상부 위치에서 캡처된다.

도 5b는 도 4a에서 설명된 방법을 사용하여 얻어진 도 5a의 매크로 설정에 대한 예시적인 출력 그래프를 도시한다. 그래프에서의 점은 포커스 스택의 특정 이미지에 대한 분석 결과를 나타낸다. 즉, 포커스 스택의 각 이미지는 위에서 설명한 대로 포커스 스택 캡처링 중에 분석되며, 여기서 분석은 각각의 이미지에 대한 숫자(초점 맞춰진 픽셀의 합)를 제공한다. 이 숫자는 여기에 도시된 대로 표시될 수 있다. 분석은 예를 들어, 가우스의 라플라시안(Laplacian of Gaussians), 또는 브레너의 포커스 측정(Brenner's focus measure)과 같이 당업계에 알려진 함수를 사용할 수 있다. 적합한 함수의 개요는 Santos et al., "Evaluation of autofocus functions in molecule cytogenetic analysis", 1997, Journal of Microscopy, Vol. 188, Pt 3, 1997년 12월, pp. 264-272에서 찾아볼 수 있다.

분석 출력은 초점이 맞춰진 각 이미지의 픽셀 양에 대한 측정값이다. 특정 이미지에 대해 출력되는 숫자가 클수록, 이미지에서 초점이 맞춰진 전체 픽셀 수가 더 많아진다. 포커스 스택 분석의 가정은 매크로 객체의 주요 부분이 공통된 특정 피처를 특징으로 하는 분석 곡선을 나타낸다는 것이다. 곡선은 (왼쪽 이미지 측, 즉 매크로 객체보다 초점이 더 멀리있는 카메라-장면 설정으로부터 시작하여) 플래토(A)(객체보다 초점이 더 멀어서 초점이 맞는 픽셀이 거의 없고 작은 출력 숫자가 있음), 그 다음 양의 그래디언트 영역(B)(여기서는, 먼저 매크로 객체의 가장 먼 부분이 초점 맞춰진 다음 매크로 객체의 더 큰 부분이 초점 맞춰짐)이 뒤따르고, 그 다음 플래토(C)(여기서는, 예를 들어 매크로 객체의 중심과 객체의 큰 부분이 초점 맞춰짐)이 뒤따르고, 그 다음 음의 그래디언트(D)(여기서는, 초점이 매크로 객체 중심으로부터 멀어지게 이동함)이 뒤따르고, 그 다음 플래토(E)가 뒤따른다. 도 4a에 설명된 바와 같은 중단 명령은 플래토 A 또는 플래토 E를 검출함으로써 트리거된다. 포커스 스택 캡처가 시작되는 포커스 위치에 따라, 포커스 스택 캡처는 중단되거나 초점 이동 방향이 전환된다(카메라를 향하는 방향으로부터 카메라로부터 멀어지는 방향으로, 또는 그 반대로). 일반적으로, 포커스 스택 캡처는 매크로 객체의 일부 또는 포인트가 초점 맞춰지는 포커스 위치에서 시작될 수 있다. 분석은 제1 이미지에 대해 높은 숫자를 출력한다. 그 다음, 초점이 카메라로부터 멀어지게 이동하는데, 이는 분석 출력이 그래프의 그래디언트 영역(B)에 도달하고 결국 플래토 영역(A)에 도달할 때까지, 플래토(C) 상에서 (그래프 왼쪽을 향해) 이동함을 의미한다. 분석으로부터 출력된 숫자가 더 이상 증가하지 않으면, 초점이 다시 제1 위치(플래토(C)에서)로 이동하고, 초점이 카메라 쪽으로 이동한다. 위에서 설명한 것과 동일한 단계가 끝 플래토(E)에 도달할 때까지 수행된다. 여기에서 포커스 스택 캡처 프로세스가 완료된다.

도 5c는 다른 예시적인 매크로 객체(여기서는 꿀벌) 및 매크로 객체(축척이 아님)를 캡처하기 위한 다른 카메라를 도시한다. 도 5d는 도 4에서 설명된 방법을 사용하여 도 5c의 매크로 설정에 대한 다른 예시적인 출력 그래프를 도시한다. 상이한 객체 깊이 분포로 인해 세부 사항이 다르지만, 여기에서 피처들(A'-E')은 도 5b의 피처들(A-E)과 유사하다.

예를 들어, 도 4a. 도 4b 및 도 5a-5d에 설명된 방법에 따라 캡처된 포커스 스택의 텔레 이미지들은 입력 매크로 이미지들이며, 이는 예를 들어, 도 6에 설명된 방법에 따라 추가적으로 처리될 수 있다.

도 6은 포커스 스택의 복수의 이미지로부터 단일 매크로 이미지를 생성하는 방법을 도시한다. AP(940)와 같은 AP는 이 방법의 단계들을 수행하도록 구성될 수 있다. 포커스 스택의 적절한 이미지는 단계(602)에서 당업계에 알려진 분석 방법에 의해 선택된다. 이미지를 "적합한" 이미지로 부적격화할 수 있는 기준에는 이미지에서의 상당한 모션 블러(예컨대, 핸드셰이크로 인한), 캡처된 데이터의 중복성, 또는 나쁜 포커싱이 포함된다. 선택한 적합한 이미지만이 프로세스에서 추가로 사용된다. 적절한 이미지는 단계(604)에서 당업계에 알려진 방법으로 정렬된다. 정렬된 이미지에서의 적합한 이미지 영역은 단계(606)에서 선택된다. "적합한" 영역에 대한 선택 기준은 영역의 포커스 정도, 예를 들어 영역이 초점 맞거나 특정 정도의 디포커스 블러가 있는지 여부를 포함할 수 있다. 선택 기준의 선택은 사용자 또는 프로그램의 입력에 따라 다르다. 사용자는 초점이 모두 맞는 매크로 객체를 갖는 출력 이미지(즉, 매크로 객체의 깊이보다 심도가 더 큰 이미지)를 원할 수 있는데, 이는 매크로 객체의 모든 부분들이 동시에 초점 맞춰져 있음을 의미한다. 그러나, 올-인-포커스(모두 초점 맞춰진) 뷰는 일반적으로 인간 관찰자에게 가장 즐거운 이미지를 나타내지 않아(인간의 지각도는 또한 깊이에 따라 어느 정도의 블러링과 함께 오기 때문), 특정 포커스 평면과 어느 정도의 블러링된 영역을 갖는 이미지가 보다 매력적일 수 있다. "포커스 평면"은 처리되지 않은 이미지의 초점 맞춰진 모든 포인트들에 의해 형성되는 평면이다. 도 4a 및 4b에 설명된 바와 같이 생성된 포커스 스택으로부터의 이미지 및 단계(606)에서의 적합한 이미지의 선택은 출력 이미지(612)에서 임의의 초점 평면 및 임의의 블러링 양을 연속적으로 선택할 수 있게 한다. 초점이 맞지 않는 이미지 세그먼트의 블러링 정도는 장면에서의 그 위치에 따라 다를 수 있다.

포커스 평면에 대해 일정 거리(d)만큼 카메라로부터 더 멀리 있는 객체 세그먼트의 이미지 세그먼트에 대한 블러링 정도와, 동일한 거리(d)만큼 포커스 평면보다 카메라에 더 가까운 이미지 세그먼트에 대한 블러링 정도는 서로 상이할 수 있다. 포커스 평면의 위치와 새로운 매크로 이미지의 피사계 심도의 연속적인 제어는 포커스 스택을 캡처한 후에("포스트-캡처") 수행될 수 있다. 일부 실시 예에서, 포커스 평면의 위치 및 새로운 매크로 이미지의 피사계 심도의 연속적인 제어는 포커스 스택을 캡처하기 전에("프리-캡처") 수행될 수도 있고, 이는 예컨대 사용자에게 미리보기 비디오 스트림을 보여줌으로써 가능해진다. 선택된 이미지는 단계(608)에서 당업계에 공지된 방법으로 단일 이미지로 융합된다. 일부 실시 예에서 그리고 선택적으로, 단계(608)에서의 융합은 예를 들어, 당업계에 공지된 포커스로부터의 깊이 또는 디-포커스로부터의 깊이를 사용하여, 추정된 깊이 맵 정보를 사용할 수 있다. 다른 실시 예에서, PDAF로부터의 깊이 맵 정보(도 3a-3b 참조)가 사용될 수 있다. PDAF 정보는 UW 카메라의 이미지 센서 또는 W 카메라 또는 매크로 기능을 갖는 텔레 카메라로부터 제공될 수 있다. 일부 실시 예에서, PDAF 데이터는 텔레 포커스 스택 이미지를 캡처함과 동시에 텔레 카메라에 의해 캡처될 수 있다. 즉, PDAF 이미지의 스택은 포커스 스택 이미지와 동일한 포커스 조건 하에 캡처된다. 이러한 PDAF 이미지 스택으로부터 깊이 맵이 계산될 수 있다. 예를 들어, 단지 단일 PDAF 이미지만으로부터의 초점이 맞춰진 이미지 세그먼트들을 사용할 수 있는데, 그것들은 높은 정확도로 특정 깊이에 할당할 수 있기 때문이다. PDAF 이미지 스택의 모든 인-포커스 이미지 세그먼트로부터의 깊이 추정 데이터를 융합함으로써, 고품질 깊이 맵이 생성될 수 있다.

일부 실시 예에서, 텔레 이미지 데이터와 와이드 이미지 데이터 모두는 단계(608)에서 하나의 이미지로 융합될 수 있다.

다른 실시 예에서, 단계(602)에서 선택된 이미지의 서브세트만이 단계(608)에서 단일 이미지로 융합되고, 단계(612)에서 출력될 수 있다. 예를 들어, 단지 1개, 단지 2개, 단지 3개, 단지 4개 또는 단지 5개의 이미지의 서브세트가 단계(608)에서 하나의 단일 이미지로 융합되고, 단계(612)에서 출력될 수 있다. 또 다른 실시 예에서, 단계(602)에서 선택된 이미지들 중 하나만이 단계(612)에서 출력될 수 있다. 단일 출력 이미지는 결과를 마무리짓기 위해[예를 들어, 노이즈 감소] 단계(610)에서 미세 조정된다. 미세 조정은 스무스닝(smoothening) 이미지 시이밍(seam), 향상, 방사형 블러, 크로마 페이딩 등과 같은 필터를 포함할 수 있다. 이미지는 단계(612)에서 출력된다.

다른 실시 예에서, 단계(606)에서의 적합한 이미지 영역의 선택은 W 카메라로부터의 이미지에 대해 수행된 이미지 분석에 기초할 수 있다. (매크로 가능 텔레 카메라에 비해) W 카메라의 더 넓은 FOV와 더 큰 DOF 때문에, 예컨대 객체 식별 및 세그먼트화를 위해, W 이미지 데이터를 단일 매크로 이미지를 생성하기 위해 추가로 사용하는 것이 유리할 수 있다. 예를 들어, 매크로 관심 영역(ROI) 또는 관심 객체(OOI)는 매크로 가능 텔레 카메라로 포커스 스택 캡처링 이전 또는 도중에, FOVW에서 검출될 수 있다. ROI 또는 OOI는 당업계에 공지된 방법에 따라 세그먼트화될 수 있다. 세그먼트화는 ROI 또는 OOI를 포함하는 FOV 세그먼트의 좌표를 식별하는 것을 의미한다. FOVW 및 FOVT의 캘리브레이션을 통해 이러한 좌표는 FOVT 좌표로 변환된다. ROI 또는 OOI의 좌표는 단계(606)에서 적합한 이미지 영역의 선택을 위해 사용될 수 있다. 일부 실시 예에서, 세그먼트화 분석은 단일 이미지에 대해 수행될 수 있다. 다른 실시 예에서, 세그먼트화 분석은 비디오 스트림, 즉 단일 이미지의 시퀀스에 대해 수행될 수 있다.

일부 실시 예에서, W 카메라의 이미지 정보는 추가 작업에 사용될 수 있다. 하나 이상의 W 이미지가 매크로 이미지 생성 프로세스에서 지상 실측 "앵커" 또는 레퍼런스 이미지로 사용될 수 있다. 여기서, 지상 실측(Ground Truth)는 동일한 장면 세그먼트의 텔레 이미지 정보보다 훨씬 더 완전한 장면 세그먼트에 대한 W 이미지 정보를 나타낸다. 단일 W 이미지는 단일 텔레 이미지보다 매크로 객체에 대해 훨씬 더 많은 정보를 제공한다. 예를 들어, 단일 W 이미지에서는 대부분 초점이 맞고 완전히 볼 수 있지만, 단일 텔레 이미지에서는 단지 부분적으로만 보이는 ROI 또는 OOI를 생각할 수 있는데, 이는 예컨대 훨씬 더 얕은 텔레 DOF 때문이다. W 지상 실측 또는 레퍼런스 이미지는 도 6에 설명된 방법의 다음의 단계에서 지상 실측 애커로 사용될 수 있다.

● 단계(602)에서, W 이미지는 적합한 이미지의 선택을 위해 사용될 수 있다. 지상 실측은 예를 들어, 포커스 블러 또는 모션 블러의 특정 임계값을 초과하는 텔레 이미지를 식별할 수 있게 한다.

● 단계(604)에서, W 이미지는 이미지를 정렬하기 위한 레퍼런스 이미지로 사용될 수 있다. 일 예에서, 포커스 스택의 텔레 이미지는 모두 W 레퍼런스 이미지를 참조하여 정렬될 수 있다. 다른 예에서, 포커스 스택의 텔레 이미지는 먼저 W 레퍼런스 이미지를 참조하여 모두 정렬될 수 있고, 보다 상세한 정렬을 위해 텔레 이미지는 포커스 스택의 다른 텔레 이미지를 참조하여 정렬될 수 있다.

● 단계(606)에서, W 이미지는 상술한 바와 같이 적합한 이미지 영역을 정의하기 위해 사용될 수 있다.

● 단계(608)에서, W 이미지는 융합 아트팩트(artifact)의 보정을 위해 사용될 수 있다. 융합 아트팩트는 실제 장면에 존재하지 않지만 이미지 융합 프로세스의 바람직하지 않은 부산물인 시각적 피처들로 정의된다.

● 단계(610)에서, W 이미지는 바람직하지 않은 피처들을 나타내며 수정될 수 있는 융합된 이미지에서의 이미지 세그먼트를 식별하는 데 사용될 수 있다. 이러한 바람직하지 않은 피처들은 예를 들어, 이미지의 오정렬, 부자연스러운 색상 차이 또는 예를 들어 디-포커스 또는 모션에 의해 야기되는 블러링일 수 있다. 디-포커스 블러는 예를 들어, 이미지 융합 단계(608)에서 사용된 깊이 맵의 추정 오류에 의해 유도될 수 있다.

또 다른 실시 예에서, 위에서 설명된 방법은 단계(608-612)에서 설명된 것과 같은 임의의 이미지 처리를 포함하지 않을 수 있지만, 포커스 스택으로부터 단일 이미지를 선택하는 데 사용될 수 있다. 선택은 자동으로(예를 들어, 도 5a-5d에 설명된 바와 같은 방법으로 가장 샤프하며 가장 클리어하며 잘 구성된 이미지에 대한 포커스 스택을 분석함으로써) 또는 인간 사용자에 의해 수동으로 수행될 수 있다. 도 7은 사용자가 출력 이미지의 외관을 수정하기 위한 명령을 전송하는 데 사용할 수 있는 그래픽 사용자 인터페이스(GUI)를 도시한다. 예를 들어, 사용자는 더 블러링된 이미지 또는 더 큰 부분이 초점 맞춰진 이미지에 대한 명령(예컨대, "포워드 블러링" 및 "백워드 블러링")을 전송할 수 있다. "배경 블러링" 및 "포워드 블러링"은 도 8a 및 8b에서 설명된 바와 같이 블러링 옵션을 나타낸다. 일 실시 예에서, 사용자 명령이 이미지의 외관을 수정하는 것인 경우, 상기 방법은 상이한 세트의 선택 기준으로 단계(606)부터 다시 수행될 것이다. 다른 실시 예에서, 사용자 명령이 이미지의 외관을 수정하는 것인 경우, 블러링 알고리즘(인공 블러링)이 출력 이미지에 적용되어 다른 출력 이미지를 형성할 수 있다. 포커스 평면은 장치 스크린을 터치하여, 초점 맞춰져야 하는 새로운 이미지 세그먼트를 마킹함으로써, 변경될 수 있다. 블러링은 사용자의 희망에 따라 변경될 수 있다. 사용자는 예를 들어, 올-인-포커스 이미지(즉, 무한 DOF)로부터 더 얕은 DOF로, 디스플레이된 이미지의 DOF를 수정하기를 원할 수 있다. 사용자는 올-인-포커스가 아닌 이미지의 포커스 평면을 수정하기를 원할 수 있다. 사용자는 이미지를 수정할 수 있으며, 추정에 의해 생성된 미리보기 이미지는 투영된 출력 이미지가 디스플레이될 수 있음을 나타낸다. 사용자가 "적용"을 클릭하면, 도 6에서 설명한 바와 같이 전체 알고리즘이 적용될 수 있다.

도 8a는 대칭 블러 함수를 나타낸다. 도 8a에서 슬라이더를 이동함으로써(포워드/백워드 블러), 사용자는 블러가 Y 축에 표시된 대로 이미지에 적용된 상태에서, X 축 상에서 선형으로 이동할 수 있다. 도 8b는 도 8a에 기술된 바와 같은 기능을 갖는 비대칭 블러 함수를 도시한다. 블러 함수를 적용하면, 전경과 배경을 다르게 블러링할 수 있다. 예를 들어, 예술적 관점에서 포워드 블러링이 전혀 요구되지 않는 경우가 있다. 비대칭 블러는 이를 가능하게 한다.

일부 실시 예에서, 예를 들어 인공 라이트닝과 같은 추가적인 이미지 피처들이 제공될 수 있다. 인공 라이트닝은 예를 들어, 장면 내에서 광원을 인위적으로 이동함으로써, 장면의 라이트닝 시나리오가 사용자 또는 프로그램에 의해 변경될 수 있음을 의미한다. 인공 라이트닝의 경우, 깊이 맵의 존재가 유용할 수 있다.

도 9는 전술한 바와 같은 방법을 수행하기 위한 시스템(900)을 도시한다. 시스템(900)은 제1 텔레 카메라 모듈(또는 간단히 "텔레 카메라")(910)을 포함한다. 텔레 카메라(910)는 매크로 가능 폴디드 텔레 카메라, 더블-폴디드 텔레 카메라, 팝-아웃 텔레 카메라, 스캐닝 폴디드 텔레 카메라, 또는 업라이트(난-폴디드) 텔레 카메라일 수 있다. 카메라(910)가 폴디드 카메라인 경우, 광학 경로를 90도로 폴딩하기 위한 광학 경로 폴딩 요소(OPFE)(912), 렌즈 모듈(914) 및 이미지 센서(916)를 포함한다. 렌즈 액추에이터(918)는 포커싱을 위해 그리고 선택적으로 OIS를 위해, 렌즈를 다른 렌즈 상태로 가져올 수 있도록, 렌즈 모듈(914)의 이동을 수행한다. 시스템(910)은 추가적인 제2 카메라 모듈(930), 및 애플리케이션 프로세서(AP)(940)를 포함할 수 있다. 제2 카메라 모듈(930)은 W 카메라 또는 UW 카메라일 수 있다. 일부 실시 예에서, W 카메라 및 UW 카메라 모두가 포함될 수 있다. AP(940)는 이미지를 생성하기 위한 이미지 생성기(942), 및 위에서 설명된 바와 같이 이미지를 분석하기 위한 이미지 분석기(946), 및 객체 검출기(944)를 포함한다. 스마트폰 스크린과 같은 인간 기계 인터페이스(HMI)(950)는 사용자가 명령을 AP에 전송할 수 있게 한다. 메모리 요소(970)는 이미지 데이터를 저장하는데 사용될 수 있다. 카메라(910)와 제2 카메라 모듈(930) 사이의 캘리브레이션을 위한 캘리브레이션 데이터는 메모리 요소(970) 및/또는 추가 메모리 요소(미도시)에 저장될 수 있다. 추가 메모리 요소는 카메라(910) 및/또는 제2 카메라 모듈(930)에 통합될 수 있다. 추가 메모리 요소는 EEPROM(전기적으로 소거 가능한 프로그램 가능 읽기 전용 메모리)일 수 있다. 메모리 요소(970)는 예를 들어, NVM(비휘발성 메모리)일 수 있다.

도 10은 당업계에 알려져 있고 1000으로 번호가 매겨진 듀얼 카메라(이는 2 개 이상의 카메라를 갖는 멀티-카메라의 일부일 수 있음)를 도시한다. 이와 관련하여, 공동 소유 국제 특허 출원 PCT/IB2015/056004를 참조하라. 듀얼 카메라(1000)는 폴디드 텔레 카메라(1002)와 와이드 카메라(1004)를 포함한다. 텔레 카메라(1002)는 OPFE(1006), 광축(1010)을 갖는 복수의 렌즈 요소를 포함할 수 있는 렌즈(1008)(이 도면에서는 보이지 않지만, 예를 들어 도 1c-1h에서 볼 수 있음) 및 이미지 센서(1012)를 포함한다. 와이드 카메라(1004)는 광축(1016)을 갖는 렌즈(1014) 및 이미지 센서(1018)를 포함한다. OPFE(1006)는 광축(1016)에 실질적으로 평행한 제1 광 경로(1020)로부터 광축(1010)에 실질적으로 평행한 제2 광 경로로 광학 경로를 폴딩한다.

본 개시내용은 특정 실시 예 및 일반적으로 관련된 방법의 관점에서 설명되었지만, 실시 예 및 방법의 변경 및 치환은 당업자에게 명백할 것이다. 본 개시내용은 본 명세서에 기재된 특정 실시 예에 의해 제한되지 않고, 첨부된 청구범위에 의해서만 제한되는 것으로 이해되어야 한다.

또한, 명료함을 위해, "실질적으로"라는 용어는 허용 가능한 범위 내에서 값의 변동 가능성을 암시하는 데 사용된다. 일 예에 따르면, 본 명세서에서 사용된 "실질적으로"라는 용어는 임의의 특정 값의 5% 이상 또는 5% 이하 까지의 가능한 변동을 의미하는 것으로 해석되어야 한다. 다른 예에 따르면, 본 명세서에서 사용된 "실질적으로"라는 용어는 임의의 특정 값의 2.5% 이상 또는 2.5% 이하 까지의 가능한 변동을 의미하는 것으로 해석되어야 한다. 추가 예에 따르면, 본 명세서에서 사용된 "실질적으로"라는 용어는 임의의 특정 값의 1% 이상 또는 1% 이하 까지의 가능한 변동을 의미하는 것으로 해석되어야 한다.

본 명세서에 언급된 모든 참조는 각각의 개별 참조가 구체적으로 그리고 개별적으로 참조를 위해 여기에 포함되는 것으로 표시된 것과 동일한 정도로, 참조를 위해 그 전체가 본 명세서에 포함된다. 또한, 본 출원에서 임의의 참조의 인용 또는 식별은 그러한 참조가 본 출원에 대한 선행 기술로서 이용가능하다는 인정으로 해석되어서는 안된다.

Claims

시스템으로서,
적어도 하나의 와이드 이미지를 제공하는 와이드 카메라;
텔레 렌즈 모듈을 포함하는 텔레 카메라;
1:5와 25:1 사이의 객체-대-이미지 배율로 3.0cm와 35cm 사이의 임의의 거리 또는 거리 세트에 포커싱하기 위해 상기 텔레 렌즈 모듈을 이동시키는 렌즈 액추에이터; 및
하나의 캡처된 매크로 이미지으로부터 다른 캡처된 매크로 이미지로 포커스 평면이 시프트된 매크로 이미지 시퀀스를 상기 텔레 카메라로 캡처하기 위한 캡처 전략을 정의하고 상기 시퀀스로부터 새로운 매크로 이미지를 생성하기 위해, 상기 와이드 카메라로부터의 이미지 데이터를 분석하도록 구성된 애플리케이션 프로세서(AP);
를 포함하는 시스템.
제1항에 있어서, 상기 새로운 매크로 이미지의 포커스 평면 및 피사계 심도는 캡처 후 연속적으로 제어될 수 있는 시스템.
제1항에 있어서, 상기 포커싱은 3.0-25cm의 대물렌즈 거리에 대한 것인 시스템.
제1항에 있어서, 상기 포커싱은 3.0-15cm의 대물렌즈 거리에 대한 것인 시스템.
제1항에 있어서, 상기 포커싱은 10-35cm의 대물렌즈 거리에 대한 것인 시스템.
제1항에 있어서, 상기 텔레 카메라는 광학 경로 폴딩 요소를 포함하는 폴디드 텔레 카메라인 시스템.
제1항에 있어서, 상기 텔레 카메라는 2개의 광학 경로 폴딩 요소를 포함하는 더블-폴디드 텔레 카메라인 시스템.
제1항에 있어서, 상기 텔레 카메라는 팝-아웃 렌즈를 포함하는 팝-아웃 텔레 카메라인 시스템.
제1항에 있어서, 상기 텔레 캡처 전략은 캡처된 매크로 이미지로부터의 정보에 기초하여, 상기 매크로 이미지 시퀀스의 캡처 동안 조정되는 시스템.
제1항에 있어서, 상기 텔레 카메라로부터의 이미지 데이터는 상기 텔레 캡처 전략을 정의하기 위해 분석되는 시스템.
제1항에 있어서, 상기 와이드 카메라의 와이드 시야 내의 관심 영역으로부터의 이미지 데이터만이 상기 텔레 캡처 전략을 정의하기 위해 분석되는 시스템.
제9항에 있어서, 캡처된 매크로 이미지로부터의 정보는 가우스의 라플라시안 분석에 의해 처리되는 시스템.
제1항에 있어서, 상기 새로운 매크로 이미지의 생성은 와이드 이미지를 레퍼런스 이미지로 사용하는 시스템.
제1항에 있어서, 상기 새로운 매크로 이미지의 생성은 와이드 이미지의 비디오 스트림을 레퍼런스 이미지로 사용하는 시스템.
제1항에 있어서, 상기 새로운 매크로 이미지의 생성은 와이드 이미지 데이터와 텔레 이미지 데이터를 융합하는 것을 포함하는 시스템.
제1항에 있어서, 상기 AP는 캡처된 매크로 이미지의 시퀀스에서 관심 객체(OOI)를 자동으로 검출하고, 상기 OOI가 완전히 초점이 맞춰진 새로운 매크로 이미지를 생성하도록 구성되는 시스템.
제1항에 있어서, 상기 AP는 상기 와이드 이미지에서 관심 객체(OOI)를 자동으로 검출하고, 상기 OOI가 완전히 초점이 맞춰진 새로운 매크로 이미지를 생성하도록 구성되는 시스템.
제1항에 있어서, 상기 AP는 입력 매크로 이미지의 시퀀스에서 관심 객체(OOI)를 자동으로 검출하고, 상기 OOI의 특정 이미지 세그먼트가 특정 양의 포워드 디-포커스 블러 및 특정 양의 백워드 디-포커스 블러를 가질 때, 새로운 매크로 이미지를 생성하도록 구성되는 시스템.
제1항에 있어서, 상기 AP는 상기 와이드 이미지에서 관심 객체(OOI)를 자동으로 검출하고, 상기 OOI의 특정 이미지 세그먼트가 특정 양의 포워드 디-포커스 블러 및 특정 양의 백워드 디-포커스 블러를 가질 때, 새로운 매크로 이미지를 생성하도록 구성되는 시스템.
제1항에 있어서, 상기 AP는 캡처된 매크로 이미지의 시퀀스로부터 깊이 맵을 계산하고, 상기 깊이 맵을 사용하여 상기 새로운 매크로 이미지를 생성하도록 구성되는 시스템.
제1항에 있어서, 상기 AP는 사실적인 인공 라이트닝 시나리오와 함께 새로운 매크로 이미지를 제공하도록 구성되는 시스템.
제1항에 있어서, 3.0cm-35cm의 객체-렌즈 거리에 포커싱하는 데 사용되는 액체 렌즈를 더 포함하는 시스템.
제1항에 있어서, 상기 매크로 이미지의 시퀀스는 하나의 매크로 이미지만을 포함하는 시스템.
제1항에 있어서, 상기 매크로 이미지의 시퀀스는 2 내지 4개의 매크로 이미지를 포함하는 시스템.
제1항에 있어서, 상기 매크로 이미지의 시퀀스는 5개 이상의 매크로 이미지를 포함하는 시스템.
제1항에 있어서, 상기 시퀀스로부터 새로운 매크로 이미지의 생성은 상기 시퀀스의 하나의 매크로 이미지만을 사용하는 것을 포함하는 시스템.
제1항에 있어서, 상기 AP는 와이드 이미지 데이터 또는 와이드 위상 검출 오토-포커스(PDAF) 이미지 데이터로부터 깊이 맵을 계산하고, 상기 텔레 카메라로 매크로 이미지의 시퀀스를 캡처하기 위한 캡처 전략을 정의하기 위해 상기 깊이 맵을 사용하도록 구성되는 시스템.
제1항에 있어서, 상기 AP는 와이드 이미지 데이터 또는 와이드 위상 검출 오토-포커스(PDAF) 이미지 데이터로부터 깊이 맵을 계산하고, 상기 텔레 카메라로 매크로 이미지의 시퀀스를 캡처하기 위한 캡처 전략을 정의하거나 새로운 매크로 이미지를 생성하기 위해 상기 깊이 맵을 사용하도록 구성되는 시스템.
제1항에 있어서, 상기 AP는 스테레오 또는 비행시간(Time-of-Flight) 또는 텔레 이미지 데이터로부터 깊이 맵을 계산하고, 상기 텔레 카메라로 매크로 이미지의 시퀀스를 캡처하기 위한 캡처 전략를 정의하거나 새로운 매크로 이미지를 생성하기 위해 상기 깊이 맵을 사용하도록 구성되는 시스템.
제1항에 있어서, 상기 텔레 카메라는 EFL=7-10mm의 유효 초점 거리(EFL)를 갖는 시스템.
제1항에 있어서, 상기 텔레 카메라는 EFL=10-20mm의 EFL을 갖는 시스템.
제1항에 있어서, 상기 텔레 카메라는 EFL=20-40mm의 EFL을 갖는 시스템.
제1항에 있어서, 와이드 카메라 대신에, 울트라-와이드 카메라가 적어도 하나의 울트라-와이드 이미지를 제공하기 위해 사용되는 시스템.
제1항에 있어서, 포커스 피킹 맵이 상기 텔레 카메라로 캡처된 객체를 선택하기 위해 사용자에게 표시되는 시스템.
제1항에 있어서, 상기 AP는 객체를 자동으로 선택하기 위해 상기 와이드 카메라로부터의 이미지 데이터를 분석하고, 상기 텔레 카메라로 객체를 캡처하기 위한 캡처 전략을 정의하도록 구성되는 시스템.
제6항 또는 제7항에 있어서, 상기 텔레 렌즈 모듈은 하나 이상의 D 컷 렌즈를 포함하는 시스템.
제6항 또는 제7항에 있어서, 상기 텔레 카메라는 텔레 FOV로 장면을 스캔하는 스캐닝 텔레 카메라인 시스템.
제6항 내지 제8항 중 어느 한 항에 있어서, 상기 텔레 카메라는 2개 이상의 개별 줌 상태 사이에서 전환될 수 있는 시스템.
제6항 내지 제8항 중 어느 한 항에 있어서, 상기 텔레 카메라는 최소 줌 상태와 최대 줌 상태 사이에서 연속적으로 전환될 수 있는 시스템.
제22항에 있어서, 상기 액체 렌즈의 배율은 0-30 디옵터 범위에서 연속적으로 변경될 수 있는 시스템.
제22항에 있어서, 상기 텔레 카메라는 광학 경로 폴딩 요소(OPFE)를 포함하는 폴디드 텔레 카메라이고, 상기 액체 렌즈는 상기 OPFE의 상부 측에 위치되는 시스템.
제22항에 있어서, 상기 텔레 카메라는 광학 경로 폴딩 요소(OPFE)를 포함하는 폴디드 텔레 카메라이고, 상기 액체 렌즈는 상기 OPFE와 상기 텔레 렌즈 모듈 사이에 위치되는 시스템.
제37항에 있어서, 상기 AP는 상기 와이드 카메라의 FOV 내의 특정 세그먼트를 향해 스캐닝 텔레 카메라의 시야(FOV)를 조향하기 위해 상기 와이드 카메라로부터의 이미지 데이터를 분석하도록 구성되는 시스템.
제38항에 있어서, 상기 AP는 특정 배율 및 특정 시야를 갖는 매크로 이미지를 캡처하도록, 상기 텔레 카메라를 특정 줌 상태로 전환하기 위해 상기 와이드 카메라로부터의 이미지 데이터를 분석하도록 구성되는 시스템.
제38항에 있어서, 최대 줌 상태의 줌 팩터는 최소 줌 상태의 줌 팩터보다 2배 더 큰 시스템.
제38항에 있어서, 최대 줌 상태의 줌 팩터는 최소 줌 상태의 줌 팩터보다 3배 더 큰 시스템.
제43항에 있어서, 상기 와이드 카메라로부터의 이미지 데이터의 분석은 돌출 맵을 사용하는 것을 포함하는 시스템.