KR20170022998A - 시차 아티팩트들이 없는 폴드형 옵틱스를 사용하는 멀티-카메라 시스템 - Google Patents

Abstract

캡처된 이미지들에서 약간의 시차 아티팩트들을 나타내거나 어떤 시차 아티팩트들도 나타내지 않는 카메라 어레이 (310D - 310F) 로서, 어레이 카메라의 중앙 미러 표면들의 평면들은 중심점을 따라, 그리고 대응하는 카메라 위치와 가상 카메라 위치 (V) 사이의 라인에 직교하여 위치되며, 여기서 - 어레이에서의 카메라들 모두의 콘들은, 마치 미러들에 의한 폴딩 이후에 가상 카메라 위치 (V) 로부터 입력되는 것처럼 보이고 - 어레이에서의 각각의 센서는 중앙 미러 프리즘 (312D - 312F) 의 대응하는 패싯을 사용하여 이미지 장면의 일부분을 보고; - 각각의 개별 센서/미러 쌍은 전체 어레이 카메라의 서브-애퍼처를 나타낸다. 완전한 어레이 카메라는 모든 개별 애퍼처 광선들의 합에 의해 생성된 합성 애퍼처를 갖는다.

Description

시차 아티팩트들이 없는 폴드형 옵틱스를 사용하는 멀티-카메라 시스템{MULTI-CAMERA SYSTEM USING FOLDED OPTICS FREE FROM PARALLAX ARTIFACTS}

본 개시물은 멀티-카메라 어레이를 포함하는 이미징 시스템들 및 방법들에 관한 것이다. 특히, 본 개시물은 이미지 품질을 유지하거나 향상시키면서 모바일 디바이스들의 저-프로파일 이미징 시스템들을 가능하게 하는 시스템들 및 방법들에 관한 것이다.

모바일 폰들 및 태블릿 컴퓨팅 디바이스들과 같은 많은 모바일 디바이스들은 스틸 및/또는 비디오 이미지들을 캡처하기 위해 사용자에 의해 동작될 수도 있는 카메라들을 포함한다. 모바일 디바이스들은 통상적으로 상대적으로 작게 설계되기 때문에, 저-프로파일 모바일 디바이스를 유지하기 위해 가능한 한 얇게 카메라들 또는 이미징 시스템들을 설계하는 것은 중요할 수 있다. 폴드형 광학 이미지 센서 어레이들 ("어레이 카메라들") 은 초점 길이를 단축시키거나 센서 어레이의 시계에 걸쳐 이미지의 해상도를 감소시키지 않으면서 저-프로파일 이미지 캡처 디바이스들의 생성을 허용한다. 일차 및 이차 표면을 이용하여 어레이에서의 각각의 센서를 향해 광을 재지향하고 일차 표면과 이차 표면 사이에서 입사광을 포커싱하는데 이용되는 렌즈 어셈블리들을 포지셔닝함으로써, 센서 어레이는 렌즈 어셈블리들에 수직인 평면 기판 상에 포지셔닝될 수도 있다. 더 긴 초점 길이는 광학 줌과 같은 피처들을 구현하는 것 및 더 많은 광학 엘리먼트들을 추가하는 것과 같이, 종래의 모바일 카메라에 의해 공통으로 제공되는 것보다 더 많은 공간을 요구하는 더 복잡한 옵틱스를 통합하는 것을 가능하게 한다.

일부 어레이 카메라들은 타겟 이미지를 포함하는 입사광을 어레이에서의 센서들에 의한 캡처를 위해 다수의 부분들로 분할하기 위해 다수의 패싯들을 갖는 중앙 미러 또는 프리즘을 채용하며, 여기서 각각의 패싯은 타겟 이미지로부터 어레이에서의 센서 쪽으로 광의 일부를 지향한다. 분할된 광의 각각의 부분은 렌즈 어셈블리를 통과하고 직접적으로 센서의 위에 또는 아래에 포지셔닝된 추가의 표면에서 반사되어, 각각의 센서가 이미지의 일부를 캡처할 수도 있다. 센서 시계는 캡처된 부분들을 완전한 이미지로 함께 스티칭하는 것을 돕도록 오버랩할 수 있다.

본원에서 설명되는 폴드형 광학 센서 어레이들 및 이미지 캡처 기법들은, 초점 거리를 단축시키거나 센서 어레이의 시계에 걸친 이미지의 해상도를 저하시키지 않으면서 저-프로파일 이미지 캡처 디바이스들의 생성을 허용하며, 캡처된 이미지는 시차 아티팩트들이 없다 (또는 거의 그러하다). 어레이 카메라들의 도전과제는, 어레이의 상이한 카메라들로부터 보여지는 바와 같은 동일한 오브젝트의 상이한 뷰들 사이의 시차로 인한 품질 저하이다. 시차는 각각의 카메라에 의해 캡처된 이미지들의 아티팩트들이 완전히 없는 최종 이미지로의 심리스 (seamless) 스티칭을 방해한다. 카메라 뷰들은 (예컨대, 대략 20% 만큼) 부분적으로 오버랩할 수도 있다. 이미지의 장면의 심도 (예컨대, 렌즈로부터 오브젝트(들)까지의 거리) 에 의존하여, 하나의 카메라로부터의 이미지는 다른 카메라로부터의 이미지에 대하여 쉬프트될 수 있다. 결과적인 시차 및 틸트는 이미지들이 함께 스티칭되거나 융합되는 경우에 오버랩하는 시계들에 대응하는 이미지 영역에서 "이중 이미지" 고스팅 (ghosting) 을 야기할 수 있다. 센서 시계들에서 오버랩이 없도록 어레이가 구성되는 경우에도, 시차는 이미지에서 라인들 및 에지들과 같은 불연속적인 피처들을, 그러한 피처들이 센서 시계들 사이의 경계들을 넘는 경우에, 발생한다.

다른 것들 중에서, 전술된 문제들은 본원에서 설명되는 것과 같이 시차 및 틸트 아티팩트들이 없는 어레이 카메라들에 의해 다양한 실시형태들에서 다루어진다. 실시형태들 중 일부는 타겟 이미지를 포함하는 입사광을 어레이에서의 센서들에 의한 캡처 위한 다수의 부분들로 분할하기 위해, 예를 들어, 다수의 표면들 또는 패싯들을 갖는 중앙 미러 또는 프리즘을 채용할 수도 있다. 미러 표면들 및 센서들은 캡처된 이미지에서 시차 및 틸트 아티팩트들을 발생하는 것을 회피하도록 구성될 수도 있다. 예를 들어, 어레이 카메라의 중앙 미러 표면의 평면들은 중심점을 따라, 그리고 대응하는 카메라 위치와 가상 카메라 위치 사이의 라인에 직교하여 위치될 수 있다. 따라서, 어레이에서의 카메라들 모두의 투영된 FOV (field-of-view) 콘들은, 마치 미러들에 의한 입사광의 폴딩 이후에 가상 카메라 위치로부터 입력되는 것처럼 보인다.

분할된 광의 각각의 부분은 렌즈 어셈블리를 통과하고 직접적으로 센서의 위에 또는 아래에 포지셔닝된 옵션의 추가의 반사 표면에서 반사되어, 각각의 센서가 이미지의 일부를 캡처할 수도 있다. 일부 환경들에서, 어레이에서의 각각의 센서는 어레이에서의 이웃하는 센서들에 의해 캡처되는 부분들과 약간 오버랩하는 이미지의 일부분을 캡처할 수도 있고, 이들 부분들은, 예를 들어, 선형 블렌딩 또는 다른 이미지 스티칭 (stitching) 기법들에 의해 타겟 이미지로 어셈블리될 수도 있다.

하나의 혁신은 장면의 타겟 이미지를 캡처하기 위한 시스템을 포함하며, 그 시스템은 가상 투영 중심을 갖는 복수의 카메라들의 어레이를 포함하고, 복수의 카메라들의 각각은 장면의 타겟 이미지의 복수의 부분들 중 하나를 캡처하도록 구성되며, 복수의 카메라들의 각각은 이미지 센서, 적어도 하나의 렌즈를 포함하는 렌즈 어셈블리로서, 상기 렌즈 어셈블리는 투영 중심을 가지고, 상기 렌즈 어셈블리는 이미지 센서 상의 광을 포커싱하도록 포지셔닝되며, 상기 렌즈 어셈블리의 투영 중심은 가상 투영 중심을 통과하는 라인을 따라 위치되는, 상기 렌즈 어셈블리, 및 광을 렌즈 어셈블리로 제공하도록 렌즈 어셈블리에 대하여 위치된 미러로서, 상기 미러는 추가로 (때때로 본원에서 "미러 평면" 으로 지칭되는) 미러 평면 상에 (또는 내에) 포지셔닝되고, 상기 미러 평면은 가상 투영 중심을 통과하는 라인을 따르는 포인트 (예를 들면, 중간점) 를 교차하도록 포지셔닝되는, 상기 미러를 포함한다. 다양한 실시형태들은 추가의 피처들을 포함할 수도 있다.

이하 설명은 일부 피처들의 비-제한적인 예들 및 그러한 시스템들의 실시형태들이다. 예를 들어, 시스템은 장면의 타겟 이미지를 나타내는 광을 복수의 부분들로 분할하도록 구성된 복수의 일차 광 재지향 표면들을 포함하는 중앙 반사 엘리먼트 (예컨대, 피라미드형 반사 컴포넌트) 를 더 포함할 수도 있고, 복수의 카메라들의 각각의 미러는 일차 광 폴딩 표면들 중 하나를 형성한다. 중앙 반사 엘리먼트는 복수의 일차 광 재지향 표면들의 각각의 교차에 의해 형성된 정점 (apex) 을 포함할 수도 있다. 복수의 카메라들의 각각의 광축은 정점을 통과할 수도 있다. 정점 및 가상 투영 중심이 그 정점과 가상 투영 중심을 통과하는 가상 광축 상에 위치되어, 가상 광축은 복수의 카메라들의 어레이의 광축을 형성한다. 시스템은 추가로, 장면을 나타내는 애퍼처를 통해 광이 중앙 반사 엘리먼트로 통과하게 하도록 포지셔닝된 애퍼처를 가지는 적어도 상부 표면을 포함하는 카메라 하우징을 포함할 수도 있다. 상부 표면은 중앙 반사 엘리먼트의 정점에 또는 정점 위에 가상 광축에 직교하여 포지셔닝될 수도 있다. 하우징은 추가로, 상부 표면과 실질적으로 평행하여 포지셔닝되고 중앙 반사 엘리먼트의 하부 표면에 또는 하부 표면 아래에 위치된 하부 표면을 포함할 수도 다. 복수의 카메라들의 각각은 카메라 하우징의 상부 표면과 하부 표면 사이에 포지셔닝될 수도 있다. 시스템은 추가로, 복수의 카메라들의 각각으로부터 장면의 일부의 이미지를 포함하는 이미지 데이터를 수신하고 스티칭 동작을 수행하여 타겟 이미지를 생성하도록 구성된 프로세서를 포함할 수도 있다. 시스템은 추가로 (예컨대, 이미지 데이터에서 틸트 아티팩트들을 수정하기 위해), 복수의 카메라들의 각각의 렌즈 어셈블리의 가상 투영 중심과 투영 중심 간의 기하학적 관계 및 복수의 카메라들의 각각에 대하여 미러의 대응하는 미러 평면 내에서의 위치에 적어도 부분적으로 기초하여, 이미지 데이터에 투영 변환을 수행하도록 추가로 구성되는 프로세서를 포함할 수도 있다. 시스템은 추가로 복수의 카메라들의 각각과 연관된 이차 광 재지향 표면을 포함할 수도 있고, 이차 광 재지향 표면은 렌즈 어셈블리로부터 수신된 광을 이미지 센서 상으로 지향하도록 포지셔닝된다. 시스템은 추가로, 적어도 하나의 애퍼처를 갖는 기판을 포함할 수도 있고, 적어도 하나의 애퍼처는 장면을 나타내는 광이 적어도 하나의 애퍼처를 통해 복수의 카메라들의 각각의 미러로 통과하게 하도록 포지셔닝되며, 여기서 복수의 카메라들의 각각에 대한 이미지 센서는 기판 상에 또는 기판 내에 포지셔닝된다.

다른 혁신은 캡처된 이미지에서의 시차 아티팩트들이 실질적으로 없는 어레이 카메라를 제작하는 방법을 포함한다. 다양한 실시형태들에서, 그 방법은 어레이에서 복수의 카메라들을 포지셔닝하는 단계로서, 복수의 카메라들의 각각은 타겟 이미지 장면의 복수의 부분들 중 하나를 캡처하도록 구성되며, 복수의 카메라들은 각각 가상 투영 중심을 가상 카메라의 위치로부터 이미지 데이터를 캡처하도록 구성되고, 복수의 카메라들의 각각은 적어도 하나의 렌즈를 가지는 렌즈 어셈블리를 포함하며, 카메라 투영 중심은 렌즈 어셈블리의 옵틱스에 의해 적어도 부분적으로 결정된 위치를 가지고, 센서는 렌즈 어셈블리로부터 광을 수신하도록 포지셔닝된다. 그 방법은 복수의 카메라들의 각각에 대하여, 미러 평면 상에 포지셔닝된 미러를 제공하는 단계를 더 포함할 수도 있고, 미러 평면은 카메라의 투영 중심과 가상 투영 중심을 연결하는 라인을 따르는 포인트 (예컨대, 중심점) 를 교차하도록 포지셔닝된다. 미러 평면은 라인에 직교하여 포지셔닝될 수도 있다.

이하 설명은 일부 피처들의 비-제한적인 예들 및 그러한 방법의 실시형태들이다. 예를 들어, 그 방법은 중앙 반사 엘리먼트의 패싯으로서 복수의 카메라들의 각각에 대하여 미러를 제공하는 단계를 더 포함할 수도 있고, 복수의 카메라들은 중앙 반사 엘리먼트 또는 반사 컴포넌트 주위에 포지셔닝된다. 그 방법은 복수의 카메라들의 각각에 대한 미러가 중앙 반사 엘리먼트의 정점에서 교차하도록 중앙 반사 엘리먼트를 제공하는 단계를 포함할 수도 있다. 방법은 복수의 카메라들의 각각의 광축이 정점과 교차하도록 복수의 카메라들의 각각을 포지셔닝하는 단계를 포함할 수도 있다. 방법은 복수의 카메라들의 각각에 대하여 이차 광 폴딩 표면을 제공하는 단계를 포함할 수도 있다. 방법은 렌즈 어셈블리로부터 수신된 광을 센서 상으로 지향하기 위해 렌즈 어셈블리와 센서 사이에 이차 광 폴딩 표면을 포지셔닝하는 단계를 포함할 수도 있다. 그 방법은 장면을 나타내는 광이 애퍼처를 통과하여 복수의 카메라들의 각각에 대한 미러로 통과하도록 포지셔닝된 적어도 하나의 애퍼처를 갖는 기판을 제공하는 단계를 포함할 수도 있다. 방법은 모든 센서들이 동일한 평면 상에 (또는 동일한 평면 내에) 포지셔닝되도록 기판 상에 또는 기판 내에 복수의 카메라들의 각각에 대한 센서를 장착하는 단계를 포함할 수도 있다. 그 방법은 복수의 카메라들의 각각의 센서와의 전자 통신하는 프로세서를 제공하는 단계를 포함할 수도 있고, 프로세서는 타겟 이미지 장면의 복수의 부분들을 수신하여 타겟 이미지 장면의 완전한 이미지를 생성하도록 구성된다.

다른 혁신은 시차가 없는 (또는 실질적으로 없는) 이미지를 캡처하는 방법을 포함하며, 그 방법은 이미지의 장면을 나타내는 광을 복수의 미러들을 사용하여 복수의 부분들로 분할하는 단계, 복수의 부분들의 각각을 가상 투영 중심을 가지는 가상 카메라의 위치로부터 이미지 데이터를 캡처하도록 각각 포지셔닝된 복수의 카메라들 중 대응하는 카메라 쪽으로 지향하는 단계로서, 복수의 카메라들의 각각은 적어도 하나의 렌즈를 포함하는 렌즈 어셈블리를 가지고, 카메라 투영 중심은 렌즈 어셈블리의 옵틱스에 의해 적어도 부분적으로 결정된 위치를 가지고, 그리고 센서는 렌즈 어셈블리로부터 광을 수신하도록 포지셔닝되는, 상기 카메라 쪽으로 지향하는 단계, 및 복수의 부분들을 이미지 내에 어셈블리하는 단계를 포함하며, 복수의 미러들 중 각각의 미러에 대하여, 미러는 미러 평면 상에 포지셔닝된다. 미러 평면은 복수의 카메라들 중 대응하는 카메라의 카메라 투영 중심을 가상 투영 중심에 연결하는 라인을 따르는 포인트 (예컨대, 중심점) 를 교차하도록 포지셔닝된다. 미러 평면은 추가로, 라인에 직교할 수도 있다.

이하 설명은 일부 피처들의 비-제한적인 예들 및 그러한 방법의 실시형태들이다. 그 방법은 캡처된 이미지 데이터에 투영 변환을 적용하여 복수의 카메라들의 각각의 유효 틸트를 변경시키는 단계를 포함할 수도 있다. 그 방법은 복수의 카메라들의 각각에 대하여, 렌즈 어셈블리로부터 수신된 광을 이차 광 폴딩 표면을 사용하여 이미지 센서 상에 재지향하는 단계를 포함할 수도 있다.

다른 혁신은 장면의 타겟 이미지를 캡처하기 위한 장치를 포함하고, 그 장치는 가상 투영 중심을 갖는 복수의 카메라들의 어레이를 포함하고, 복수의 카메라들의 각각은 장면의 타겟 이미지의 복수의 부분들 중 하나를 캡처하도록 구성되며, 이미지를 캡처하는 수단, 가상 투영 중심을 통과하는 라인을 따라 위치된 투영 중심을 갖는 광을 포커싱하는 수단, 및 라인을 따라 중심점을 교차하도록 포지셔닝된 일차 광 폴딩 평면 내에, 그리고 라인에 직교하는 각도로 적어도 부분적으로 위치된 광을 재지향하는 수단을 포함한다.

이하 설명은 일부 피처들의 비-제한적인 예들 및 그러한 장치의 실시형태들이다. 일부 실시형태들에서, 광 재지향 수단은 일차 광 폴딩 평면 내에 포지셔닝된 반사 표면 및 일차 광 폴딩 평면 내에 포지셔닝된 패싯을 갖는 굴절 프리즘 중 하나를 포함한다. 광 포커싱 수단은 하나 이상의 렌즈들을 포함하는 렌즈 어셈블리를 포함할 수도 있다. 복수의 카메라들의 각각은 광 포커싱 수단으로부터 수신된 광을 이미지 캡처 수단 상에 지향하도록 포지셔닝된 추가의 광 폴딩 수단을 포함할 수도 있다. 장치는 복수의 부분들을 타겟 이미지 내로 결합하는 수단을 포함할 수도 있다. 장치는 타겟 이미지의 복수의 부분들 사이의 틸트 아티팩트들을 보상하는 수단을 포함할 수도 있다.

개시된 양태들은 이하, 개시된 양태들을 한정하지 않고 예시하도록 제공되는 첨부 도면들과 함께 설명될 것이며, 여기에서, 동일한 지정들은 동일한 엘리먼트들을 나타낸다.
도 1a 는 폴드형 광학 센서 어셈블리의 실시형태의 횡단 측면 뷰를 도시한다.
도 1b 는 폴드형 광학 센서 어셈블리의 실시형태의 횡단 측면 뷰를 도시한다.
도 2 는 이미지 캡처 디바이스의 일 실시형태의 블록 다이어그램을 도시한다.
도 3a 및 도 3b 는 시차 없는 어레이 카메라에서 카메라 투영 중심 및 미러 평면 위치들의 2 개의 실시형태들을 도시한다.
도 4a 내지 도 4c 는 시차 아티팩트들이 없는 어레이 카메라의 일 실시형태를 도시한다.
도 5a 는 시차 아티팩트들이 없는 어레이 카메라의 일 실시형태를 도시한다.
도 5b 는 시차 아티팩트들이 없지 않는 도 5a 의 카메라의 대안적인 실시형태를 도시한다.
도 6 은 시차 없는 어레이 카메라의 일 실시형태를 도시한다.
도 7 은 폴드형 광학 이미지 캡처 프로세스의 실시형태를 도시한다.

I. 도입

본원에 개시된 구현들은 폴드형 옵틱스를 갖는 어레이 카메라를 사용하여 시차 아티팩트들이 실질적으로 없는 이미지들을 생성하기 위한 시스템들, 방법들 및 장치를 제공한다. 본 개시물의 양태들은 캡처된 이미지들에서 약간의 시차 아티팩트들을 나타내거나 어떤 시차 아티팩트들도 나타내지 않는 어레이 카메라에 관한 것이다. 예를 들어, 어레이 카메라의 중앙 미러 표면의 평면들은 중심점을 따라, 그리고 대응하는 카메라 위치와 가상 카메라 위치 사이의 라인에 직교하여 위치될 수 있다. 따라서, 어레이에서의 카메라들 모두의 콘들은, 마치 미러들에 의한 폴딩 이후에 가상 카메라 위치로부터 입력되는 것처럼 보인다. 어레이에서의 각각의 센서는 중앙 미러 프리즘의 대응하는 패싯을 사용하여 이미지 장면의 일부분을 "보고 (see)", 그에 따라 각각의 개별 센서/미러 쌍은 전체 어레이 카메라의 오직 서브-애퍼처만을 나타낸다. 완전한 어레이 카메라는 모든 개별 애퍼처 광선들의 합에 기초하여, 즉, 서브-애퍼처들에 의해 생성된 이미지들을 함께 스티칭하는 것에 기초하여 생성된 합성 애퍼처를 갖는다.

다음의 설명에서, 예들에 대한 완전한 이해를 제공하기 위해 특정 세부사항들이 주어진다. 그러나, 예들은 이러한 특정 세부사항들 없이도 실시될 수도 있다.

Ⅱ. 폴드형 광학 어레이 카메라들의 개관

이제 도 1a 및 도 1b 를 참조하여, 본원에서 설명된 오토포커스 시스템들 및 기법들과의 이용에 적합한 폴드형 광학 멀티-센서 어셈블리 (100A, 100B) 의 예들이 지금부터 더 상세히 설명될 것이다. 용어 "폴드형 (folded)" 은 일 타입의 이미징 시스템 (예컨대, 카메라) 를 특징으로 하는데 사용되는 광범위한 용어이고, 여기서 예컨대, 이미징 시스템에 진입하는 광은, 광이 이미징 시스템 내이 센서를 조명하기 전에 적어도 한 번 재지향된다. 다시 말해서, 이미징 시스템에 진입할 때 일 방향으로 전파중인 광은, 그 후에 이미징 시스템에서 또는 적어도 (예컨대, 이미징 시스템의) 센서를 조명하기 전에 상이한 방향으로 전파하도록 재지향되거나 "폴드된"다. 도 1a 는, 기판 (150) 에 모두 장착될 수도 있는, 이미지 센서들 (105, 125), 반사 이차 광 폴딩 표면들 (110, 135), 렌즈 어셈블리들 (115, 130), 및 중앙 반사 표면 (120) 을 포함하는 폴드형 광학 멀티-센서 어셈블리 (100A) 의 일 예의 횡단 측면 뷰를 도시한다. 도 1b 는 일차 광 재지향 표면들 (122, 124) 에 대한 중앙 프리즘들 (141, 146) 과 추가의 반사 표면들, 예컨대 도시된 것과 같은 프리즘들 (111, 136) 또는 이차 광 폴딩 표면들 (135, 110) 을 형성하는 반사 표면들 (예컨대, 미러링된 표면) 을 포함하는 폴드형 광학 멀티-센서 어셈블리의 일 실시형태의 횡단 측면 뷰를 도시한다.

도 1a 를 참조하면, 이미지 센서들 (105, 125) 은, 특정 실시형태들에서, 전하-결합 디바이스 (CCD), 상보성 금속 산화물 반도체 센서 (CMOS), 또는 광을 수신하고 수신된 이미지에 응답하여 이미지 데이터를 생성하는 임의의 다른 이미지 감지 디바이스를 포함할 수도 있다. 각각의 셈서 (105, 125) 는 어레이에 배열된 복수의 센서들 (또는 센서 엘리먼트들) 을 포함할 수도 있다. 이미지 센서들 (105, 125) 은 단일 이미지의 이미지 데이터를 생성하도록 구성될 수도 있고 및/또는 복수의 이미지들의 이미지 데이터 (예컨대, 캡처된 비디오 데이터 또는 단일 이미지들의 시리즈) 를 생성하도록 구성될 수도 있다. 센서들 (105 및 125) 은 개별 센서 어레이일 수도 있거나, 각각이 센서 어레이들의 3x1 어레이와 같은, 센서들의 어레이들의 어레이를 나타낼 수도 있다. 그러나, 당업자에 의해 이해될 바와 같이, 임의의 적합한 센서들의 어레이가 개시된 구현예들에서 이용될 수도 있다.

센서들 (105, 125) 은 도 1a 에 도시된 바와 같이 기판 (150) 상에 장착될 수도 있다. 일부 실시형태들에서, 모든 센서들은 평평한 기판 (150) 에 장착됨으로써 하나의 평면 상에 있을 수도 있다. 기판 (150) 은 임의의 적합한 실질적으로 평평한 재료일 수도 있다. 중앙 반사 표면 (120) 및 렌즈 어셈블리들 (115, 130) 이 또한 기판 (150) 상에 장착될 수도 있다. 센서 어레이 또는 어레이들, 복수의 렌즈 어셈블리들, 및 복수의 일차 및 이차 반사 또는 굴절 표면들을 장착하기 위한 다수의 구성들이 가능하다.

일부 실시예들에서, 중앙 반사 표면 (120) 은 타겟 이미지 장면으로부터의 광을 센서들 (105, 125) 쪽으로 재지향하는데 이용될 수도 있다. 중앙 반사 표면 (120) 은 미러 또는 복수의 미러들일 수도 있고, 입사광을 이미지 센서들 (105, 125) 에 적절히 재지향하기 위해 필요에 따라 평평하거나 형상이 정해질 수도 있다. 예를 들어, 일부 실시예들에서, 중앙 반사 표면 (120) 은 입사 광 광선들을 렌즈 어셈블리들 (115, 130) 을 통해 센서들 (105, 125) 로 반사하도록 사이즈가 정해지거나 형상이 정해진 미러일 수도 있다. 중앙 반사 표면 (120) 은 타겟 이미지를 포함하는 광을 다수의 부분들로 분할하고, 상이한 센서에서 각각의 부분을 지향할 수도 있다. 예를 들어, (다른 실시형태들이 반사 표면보다 굴절 프리즘을 구현할 수도 있기 때문에, 일차 광 폴딩 표면으로 또한 지칭되는) 중앙 반사 표면 (120) 의 제 1 측면 (122) 은 제 1 시계 (FOV; 140) 에 대응하는 광의 일부를 좌측 센서 (105) 쪽으로 전송할 수도 있고, 제 2 측면 (124) 은 제 2 FOV (145) 에 대응하는 광의 제 2 부분을 우측 센서 (125) 쪽으로 전송한다. 이미지 센서들의 시계들 (140, 145) 은 함께 적어도 타겟 이미지를 커버한다는 것이 인식되어야 한다. 본 실시예는 2 개의 센서들을 포함하는 일 실시형태를 설명하지만, 다른 실시형태들은 2 초과의 센서들, 예컨대, 2, 3, 4, 8 또는 그 이상 (N) 의 센서들을 가질 수도 있다.

수신 센서들이 각각 복수의 센서들의 어레이인 일부 실시예들에서, 중앙 반사 표면은 센서들의 각각을 향해 타겟 이미지 장면의 상이한 부분들을 전송하기 위해 서로에 대해 각을 이루는 다수의 반사 표면들로 이루어질 수도 있다. 어레이에서의 각각의 센서는 실질적으로 상이한 시계를 가질 수도 있고, 일부 실시예들에서, 시계들은 오버랩할 수도 있다. 중앙 반사 표면의 특정 실시형태들은 렌즈 시스템을 설계할 때 자유도를 증가시키기 위해 복잡한 비-평면 표면들을 가질 수도 있다. 또한, 중앙 표면은 반사 표면인 것으로 논의되나, 다른 실시형태들에서, 중앙 표면은 굴절될 수도 있다. 예를 들어, 중앙 표면은 복수의 패싯들로 구성된 프리즘일 수도 있으며, 여기서 각각의 패싯은 장면을 포함하는 광의 일부를 센서들 중 하나를 향해 지향한다.

중앙 반사 표면 (120) 에서 반사된 후에, 입사광의 적어도 일부는 렌즈 어셈블리들 (115, 130) 의 각각을 통해서 전파할 수도 있다. 하나 이상의 렌즈 어셈블리들 (115, 130) 은 중앙 반사 표면 (120) 과, 센서들 (105, 125) 및 반사 표면들 (110, 135) 사이에 제공될 수도 있다. 렌즈 어셈블리들 (115, 130) 은 각각의 센서를 향해 지향되는 타겟 이미지의 일부를 포커싱하는데 이용될 수도 있다.

일부 실시형태들에서, 각각의 렌즈 어셈블리는 하나 이상의 렌즈들 및 하우징에 걸쳐 복수의 상이한 렌즈 포지션들 사이에서 렌즈들을 이동시키는 액추에이터를 포함할 수도 있다. 액추에이터는 예컨대, 보이스 코일 모터 (VCM), 마이크로-전자 기계 시스템 (MEMS), 또는 형상 메모리 합금 (SMA) 일 수도 있다. 렌즈 어셈블리는 액추에이터를 제어하기 위한 렌즈 드라이버를 더 포함할 수도 있다.

일부 실시형태들에서, 종래의 오토 포커스 기법들은 각각의 카메라의 렌즈들 (115, 130) 과 대응하는 센서 (105, 125) 사이의 초점 거리를 변화시킴으로써 구현될 수도 있다. 일부 실시형태들에서, 이는 렌즈통 (lens barrel) 을 이동시킴으로써 달성될 수도 있다. 다른 실시형태들은 중앙 미러를 위 또는 아래로 이동시킴으로써 또는 렌즈 어셈블리에 대한 미러의 각도를 조정함으로써 초점을 조정할 수도 있다. 특정 실시형태들은 각각의 센서에 대해 사이드 미러들을 이동시킴으로써 초점을 조정할 수도 있다. 그러한 실시예들은 어셈블리가 개별적으로 각각의 센서의 포커스를 조절하는 것을 허용할 수도 있다. 또한, 일부 실시예들은, 예를 들어 전체 어셈블리에 걸쳐 유체 렌즈와 같은 렌즈를 배치함으로써, 한 번에 전체 어셈블리의 포커스를 변화시키는 것이 가능하다. 특정 구현들에서, 카메라 어레이의 초점을 변화시키는데 이용될 수도 있다.

다수의 측면 반사 표면들, 예컨대 반사 표면들 (110 및 135) 은 센서들에 대향하여 중앙 미러 (120) 주위에 제공될 수 있다. 렌즈 어셈블리들을 통과한 후에, (다른 실시형태들이 반사 표면 보다 굴절 프리즘을 구현할 수도 있기 때문에, 이차 광 폴딩 표면으로 또한 지칭되는) 측면 반사 표면들 (110, 135) 은 센서들 (105, 125) 상으로 (도 1a 의 배향으로 도시된 바와 같은 "아래쪽으로") 광을 반사할 수 있다. 도시된 바와 같이, 센서 (105) 는 반사 표면 (110) 아래에 포지셔닝될 수도 있고, 센서 (125) 는 반사 표면 (135) 아래에 포지셔닝될 수도 있다. 그러나, 다른 실시형태들에서, 센서들은 측면 반사 표면들 (110, 135) 위에 있을 수도 있고, 측면 반사 표면들은 위쪽으로 광을 반사하도록 구성될 수도 있다 (예를 들어, 도 1b 참조). 각각의 렌즈 어셈블리로부터의 광이 센서들을 향해 재지향되는 측면 반사 표면들과 센서들의 다른 적합한 구성들이 또한 가능하다. 소정의 실시형태들은 연관된 센서의 포커스 또는 FOV 를 변화시키기 위해 측면 반사 표면들 (110, 135) 의 이동을 가능하게 할 수도 있다.

각각의 센서의 FOV (140, 145) 는 해당 센서와 연관된 중앙 미러 (120) 의 표면에 의해 오브젝트 공간으로 스티어링될 수도 있다. 각각의 카메라의 FOV 가 오브젝트 필드에서 상이한 위치들로 스티어링될 수 있도록 어레이에서 미러들을 틸팅하고/하거나 프리즘들을 이동시키기 위해 기계적 방법들이 채용될 수도 있다. 이는, 예를 들어, 카메라 시스템의 해상도를 증가시키기 위해, 또는 플레놉틱 (plenoptic) 카메라 시스템을 구현하기 위해, 높은 동적 범위 카메라를 구현하는데 이용될 수도 있다. 각각의 센서의 (또는 각각의 3x1 어레이의) FOV 는 오브젝트 공간으로 투영될 수 있고, 각각의 센서는 그 센서의 시계에 따라 타겟 장면의 일부를 포함하는 부분 이미지를 캡처할 수도 있다. 도 1a 에 도시된 것과 같이, 일부 실시형태들에서, 대향하는 센서 어레이들 (105, 125) 에 대한 시계들 (140, 145) 은 소정의 양만큼 오버랩할 수도 있다. 오버랩을 감소시키고 단일 이미지를 형성하기 위해, 2 개의 대향하는 센서 어레이들 (105, 125) 로부터의 이미지들을 결합하는데 아래에서 설명된 바와 같은 스티칭 프로세스가 이용될 수도 있다. 도 1a 에 도시된 더 많은 센서들을 갖는 실시형태들에서, 이미지들은 다수의 센서들로부터 결합될 수도 있고, 센서들은 반드시 대향해야할 필요는 없고, 예컨대 대칭적으로 또는 비대칭적으로 배열될 수도 있다. 스티칭 프로세스의 특정 실시형태들은 부분 이미지들을 함께 스티칭할 시에 공통 피처들을 식별하기 위해 오버랩 (150) 을 채용할 수도 있다. 오버랩하는 이미지들을 함께 스티칭한 후에, 스티칭된 이미지는 최종 이미지를 형성하기 위해 원하는 종횡비, 예를 들어 4:3 또는 1:1 로 크롭핑될 수도 있다. 일부 실시형태들에서, 각각의 FOV 에 대한 광학 엘리먼트들의 정렬은, 다수의 이미지들이 그 이미지들을 접합하는데 요구되는 최소의 이미지 프로세싱으로 또는 이미지 프로세싱 없이 단일 이미지로 형성되도록, 오버랩 (150) 을 최소화하도록 배열된다.

도 1b 는 폴드형 광학 어레이 카메라 (100B) 의 다른 실시형태의 횡단 측면 뷰를 도시한다. 도 1b 에 도시된 것과 같이, 센서 어셈블리 (100B) 는 기판 (150) 에 각각 장착된 이미지 센서들 (105, 125) 의 쌍, 각각 이미지 센서들 (105, 125) 에 대응하는 렌즈 어셈블리들 (115, 130), 및 각각 이미지 센서들 (105, 125) 의 커버 유리 (106, 126) 에 위에 포지셔닝된 이차 광 폴딩 표면 (110, 135) 을 포함한다. 굴절 프리즘 (141) 의 일차 광 폴딩 표면 (122) 은 렌즈 어셈블리 (115) 를 통해서 광축 (121) 을 따라 타겟 이미지 장면으로부터의 광의 일부를 지향시키고, 이차 광 폴딩 표면 (110) 에서 재지향되고, 커버 유리 (106) 를 통과하여, 센서 (105) 에 입사된다. 굴절 프리즘 (146) 의 일차 광 폴딩 표면 (124) 은 렌즈 어셈블리 (130) 를 통해서 광축 (123) 을 따라 타겟 이미지 장면으로부터의 광의 일부를 지향하고, 이차 광 폴딩 표면 (135) 에서 재지향되고, 커버 유리 (126) 를 통과하여, 센서 (125) 에 입사된다. 폴드형 광학 어레이 카메라 (100B) 는 도 1a 의 어레이 카메라 (100A) 의 반사 표면들 대신, 굴절 프리즘들을 구현하는 일 어레이 카메라 실시형태를 도시한다. 굴절 프리즘들 (141, 146) 의 각각은 일차 광 지향 표면들 (122, 124) 이 기판에 의해 형성된 평면 아래에 있고 타겟 이미지 장면을 나타내는 광을 수신하도록, 기판 (150) 에서의 애퍼처에서 제공된다.

센서들 (105, 125) 은 도 1b 에 도시된 바와 같이 기판 (150) 상에 장착될 수도 있다. 일부 실시형태들에서, 모든 센서들은 평평한 기판 (150) 에 장착됨으로써 하나의 평면 상에 있을 수도 있다. 기판 (150) 은 임의의 적합한 실질적으로 평평한 재료일 수도 있다. 기판 (150) 은 입사 광이 기판 (150) 을 통해 일차 광 폴딩 표면들 (122, 124) 로 전달되게 하도록 위에서 설명된 바와 같이 애퍼처를 포함할 수 있다. 기판 (150) 에, 센서 어레이 또는 어레이들, 뿐만 아니라 도시된 다른 카메라 컴포넌트들을 장착하기 위한 다수의 구성들이 가능하다.

일차 광 폴딩 표면들 (122, 124) 은 도시된 바와 같이 프리즘 표면들일 수도 있거나, 미러 또는 복수의 미러들일 수도 있고, 이미지 센서들 (105, 125) 에 입사광을 적절히 재지향하기 위해 필요에 따라 평평하거나 형상을 이룰 수도 있다. 일부 실시예들에서, 일차 광 폴딩 표면들 (122, 124) 은 도 1a 에 도시된 바와 같이, 중앙 반사 엘리먼트로서 형성될 수도 있다. 중앙 반사 엘리먼트는, 예컨대 복수의 미러들 또는 반사 표면들의 배열 또는 프리즘일 수도 있다. 반사 엘리먼트는 피라미드 형상일 수도 있다. 중앙 미러 반사 피라미드, 프리즘, 또는 다른 반사 표면은 타겟 이미지를 나타내는 광을 다수의 부분들로 분할하고, 각각의 부분을 상이한 센서에서 지향할 수도 있다. 예를 들어, 일차 광 폴딩 표면 (122) 은 좌측 센서 (105) 를 향해 제 1 FOV 에 대응하는 광의 일부를 전송할 수도 있고, 한편 일차 광 폴딩 표면 (124) 은 우측 센서 (125) 를 향해 제 2 FOV 에 대응하는 광의 제 2 부분을 전송한다. 수신 센서들이 각각 복수의 센서들의 어레이인 일부 실시형태들에서, 광 폴딩 표면들은 타겟 이미지 장면의 상이한 부분들을 센서들의 각각을 향해 전송하기 위해 서로에 대해 각을 이루는 다수의 반사 표면들로 이루어질 수도 있다. 함께, 카메라들의 시계들은 적어도 타겟 이미지를 커버하고, 어레이의 합성 애퍼처에 의해 캡처된 최종 이미지를 형성하기 위해 캡처 후에 함께 정렬되고 스티칭될 수 있다는 것이 이해되어야 한다. 어레이에서의 각각의 센서는 실질적으로 상이한 시계를 가질 수도 있고, 일부 실시예들에서, 시계들은 오버랩할 수도 있다.

다른 실시형태들은 도 1a 및 도 1b 에 의해 도시된 반사 및 굴절 엘리먼트들을 결합할 수도 있다. 예를 들어, 일부 실시예들에서, 일차 광 폴딩 표면은 반사형일 수도 있는 반면, 이차 광 폴딩 서비스는 굴절형이고, 그 반대도 가능하다.

도 1a 및 도 1b 에 의해 도시된 바와 같이, 각각의 어레이 카메라는 전체 높이 H 를 갖는다. 일부 실시형태들에서, 전체 높이 H 는 대략 4.5 mm 이하일 수 있다. 다른 실시형태들에서, 전체 높이 H 는 대략 4.0 mm 이하일 수 있다. 도시되지는 않았으나, 전체 어레이 카메라 (100A, 100B) 는 대략 4.5 mm 이하 또는 대략 4.0 mm 이하의 대응하는 내부 높이를 갖는 하우징에서 제공될 수도 있다.

본원에서 이용된 바와 같이, 용어 "카메라" 는 이미지 센서, 렌즈 시스템, 및 다수의 대응하는 광 폴딩 표면들, 예를 들어, 도 1 에 도시된 바와 같은, 일차 광 폴딩 표면 (124), 렌즈 어셈블리 (130), 이차 광 폴딩 표면 (135), 및 센서 (125) 를 지칭한다. "어레이" 또는 "어레이 카메라" 로 지칭되는 폴드형-광학 멀티-센서 어레이는 다수의 구성들에서 복수의 그러한 카메라들을 포함할 수 있다. 어레이 구성들의 일부 실시형태들은 2013 년 3 월 15 일에 출원되었고, 발명의 명칭이 "MULTI-CAMERA SYSTEM USING FOLDED OPTICS" 인 미국 출원 공개 제 2014/0111650 호에 개시되며, 그 개시물은 참조로서 본원에 포함된다. 본원에서 설명된 오토포커스 시스템들 및 기법들로부터 유리할 다른 어레이 카메라 구성들이 가능하다.

도 2 는 하나 이상의 카메라들 (215a 내지 215n) 에 링크된 이미지 프로세서 (220) 를 포함하는 컴포넌트들의 세트를 갖는 디바이스 (200) 의 하이-레벨 블록 다이어그램을 도시한다. 이미지 프로세서 (220) 는 또한 작업 메모리 (205), 메모리 컴포넌트 (230), 및 디바이스 프로세서 (250) 와 통신하며, 디바이스 프로세서 (250) 는 차례로 스토리지 (210) 및 전자 디스플레이 (225) 와 통신한다.

디바이스 (200) 는 셀 폰, 디지털 카메라, 태블릿 컴퓨터, 개인 휴대정보 단말기 등일 수도 있다. 본원에서 설명되는 바와 같은 감소된 두께의 이미징 시스템이 이점들을 제공할 많은 휴대용 컴퓨팅 디바이스들이 있다. 디바이스 (200) 는 또한 고정식 컴퓨팅 디바이스 또는 얇은 이미징 시스템이 유리할 임의의 디바이스일 수도 있다. 복수의 애플리케이션들이 디바이스 (200) 상에서 사용자에게 이용가능할 수도 있다. 이러한 애플리케이션들은 종래의 사진 및 비디오 애플리케이션들, 높은 동적 범위 이미징, 파노라마 사진 및 비디오, 또는 3D 이미지들이나 3D 비디오와 같은 입체 이미징을 포함할 수도 있다.

이미지 캡처 디바이스 (200) 는 외부 이미지들을 캡처하기 위한 카메라들 (215a 내지 215n) 을 포함한다. 카메라들 (215a 내지 215n) 은, 도 1 에 대해 위에서 논의된 바와 같이, 센서, 렌즈 어셈블리, 및 각각의 센서에 타겟 이미지의 일부분을 재지향하기 위한 일차 및 이차 반사 또는 굴절 표면을 각각 포함할 수도 있다. 일반적으로, N 개의 카메라들 (215a 내지 215n) 이 이용될 수도 있으며, 여기서 N ≥ 2 이다. 따라서, 타겟 이미지는 N 개의 부분들로 분할될 수도 있으며, 여기서 N 개의 카메라들의 각각의 센서는 타겟 해당 센서의 시계에 따라 이미지의 일 부분을 캡처한다. 카메라들 (215a 내지 215n) 은 본원에서 설명된 폴드형 광학 이미징 디바이스의 구현에 적합한 임의의 수의 카메라들을 포함할 수도 있다는 것이 이해될 것이다. 센서들의 개수는, 도 4 에 대해 하기에서 더 상세히 논의된 바와 같이, 시스템의 더 낮은 z-높이들을 달성하기 위해, 또는 사후-프로세싱 후에 이미지의 포커스를 조절하는 능력을 가능하게 할 수도 있는, 플레놉틱 카메라와 유사한 오버랩하는 시계를 갖는 것과 같은 다른 목적들의 요구들을 충족시키기 위해 증가될 수도 있다. 다른 실시형태들은 2 개의 동시적 이미지들 캡처하고 그 다음에 그것들을 함께 병합하는 능력을 가능하게 하는 높은 동적 범위 카메라들에 적합한 FOV 오버랩 구성을 가질 수도 있다. 카메라들 (215a 내지 215n) 은 캡처된 이미지들을 작업 메모리 (205) 로, 디바이스 프로세서 (250) 로, 전자 디스플레이 (225) 로, 및 스토리지 (메모리; 210) 로 통신하도록 이미지 프로세서 (220) 에 커플링될 수도 있다.

이미지 프로세서 (220) 는, 하기에서 더 상세히 설명될 바와 같이, 높은 품질의 스티칭된 이미지를 출력하기 위해 타겟 이미지의 N 개의 부분들을 포함하는 수신된 이미지 데이터에 대해 다양한 프로세싱 동작들을 수행하도록 구성될 수도 있다. 이미지 프로세서 (220) 는 범용 프로세싱 유닛 또는 이미징 애플리케이션들을 위해 특수 설계된 프로세서일 수도 있다. 이미지 프로세싱 동작들의 예들은 크롭핑, (예를 들어, 상이한 해상도로의) 스케일링, 이미지 스티칭, 이미지 포맷 변환, 색 보간, 색 프로세싱, 이미지 필터링 (예를 들어, 공간 이미지 필터링), 렌즈 아티팩트 또는 결함 정정 등을 포함한다. 이미지 프로세서 (220) 는, 일부 실시형태들에서, 복수의 프로세서들을 포함할 수도 있다. 특정 실시형태들은 각각의 이미지 센서에 전용된 프로세서를 가질 수도 있다. 이미지 프로세서 (220) 는 하나 이상의 전용 이미지 신호 프로세서 (ISP) 들 또는 프로세서의 소프트웨어 구현일 수도 있다.

도시된 바와 같이, 이미지 프로세서 (220) 는 메모리 (230) 및 작업 메모리 (205) 에 접속된다. 도시된 실시형태에서, 메모리 (230) 는 캡처 제어 모듈 (235), 이미지 스티칭 모듈 (240), 및 오퍼레이팅 시스템 (245) 을 저장한다. 이러한 모듈들은 다양한 이미지 프로세싱 및 디바이스 관리 태스크들을 수행하도록 디바이스 프로세서 (250) 의 이미지 프로세서 (220) 를 구성하는 명령들을 포함한다. 작업 메모리 (205) 는 메모리 (230) 의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장하도록 이미지 프로세서 (220) 에 의해 이용될 수도 있다. 대안적으로, 작업 메모리 (205) 는 또한 디바이스 (200) 의 동작 중에 생성된 동적 데이터를 저장하도록 이미지 프로세서 (220) 에 의해 이용될 수도 있다.

위에서 언급된 바와 같이, 이미지 프로세서 (220) 는 메모리들에 저장된 여러 개의 모듈들에 의해 구성된다. 캡처 제어 모듈 (235) 은 카메라들 (215a 내지 215n) 의 포커스 포지션을 조절하도록 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (235) 은 디바이스 (200) 의 전체 이미지 캡처 기능들을 제어하는 명령들을 더 포함할 수도 있다. 예를 들어, 캡처 제어 모듈 (235) 은 카메라들 (215a 내지 215n) 을 이용하여 타겟 이미지 장면의 원시 이미지 데이터를 캡처하도록 이미지 프로세서 (220) 를 구성하기 위해 서브루틴들을 호출하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (235) 은 그 후에, 카메라들 (215a 내지 215n) 에 의해 캡처된 N 개의 부분 이미지들에 대해 스티칭 기법을 수행하여 스티칭되고 크롭핑된 타겟 이미지를 이미징 프로세서 (220) 에 출력하기 위해 이미지 스티칭 모듈 (240) 을 호출할 수도 있다. 캡처 제어 모듈 (235) 은 또한 캡처될 장면의 프리뷰 이미지를 출력하도록 원시 이미지 데이터에 대해 스티칭 동작을 수행하고, 소정의 시간 간격들로 또는 원시 이미지 데이터에서의 장면이 변화하는 경우, 프리뷰 이미지를 업데이트하기 위해 이미지 스티칭 모듈 (240) 을 호출할 수도 있다.

이미지 스티칭 모듈 (240) 은 캡처 이미지 데이터에 스티칭 및 크롭핑 기법들을 수행하도록 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수도 있다. 예를 들어, N 개의 센서들 (215a 내지 215n) 의 각각은 각각의 센서의 시계에 따라 타겟 이미지의 일부를 포함하는 부분 이미지를 캡처할 수도 있다. 시계들은, 위에서 그리고 아래에서 설명된 바와 같이, 오버랩 영역들을 공유할 수도 있다. 단일 타겟 이미지를 출력하기 위해, 이미지 스티칭 모듈 (240) 은 고-해상도 타겟 이미지를 생성하기 위해 다수의 N 개의 부분 이미지들을 결합하도록 이미지 프로세서 (220) 를 구성할 수도 있다. 타겟 이미지 생성은 알려진 이미지 스티칭 기법들을 통해서 일어날 수도 있다.

예를 들어, 이미지 스티칭 모듈 (240) 은 서로에 대해 N 개의 부분 이미지들의 회전 및 정렬을 결정하기 위해 피처들을 매칭하기 위해 N 개의 부분 이미지들의 에지들에 따른 오버랩 영역들을 비교하기 위한 명령들을 포함할 수도 있다. 각각의 센서의 FOV 의 형상 및/또는 부분 이미지들의 회전으로 인해, 결합된 이미지는 불규칙적인 형상을 형성할 수도 있다. 따라서, N 개의 부분 이미지들을 정렬하고 결합한 후에, 이미지 스티칭 모듈 (240) 은 결합된 이미지를 원하는 형상 및 종횡비, 예를 들어, 4:3 직사각형 또는 1:1 정사각형으로 크롭핑하도록 이미지 프로세서 (220) 를 구성하는 서브루틴들을 호출할 수도 있다. 크롭핑된 이미지는 디스플레이 (225) 상에서의 디스플레이를 위해 또는 스토리지 (210) 에서의 저장을 위해 디바이스 프로세서 (250) 로 전송될 수도 있다.

오퍼레이팅 시스템 모듈 (245) 은 디바이스 (200) 의 작업 메모리 (205) 및 프로세싱 리소스들을 관리하도록 이미지 프로세서 (220) 를 구성한다. 예를 들어, 오퍼레이팅 시스템 모듈 (245) 은 카메라들 (215a 내지 215n) 과 같은 하드웨어 리소스들을 관리하기 위한 디바이스 드라이버들을 포함할 수도 있다. 따라서, 일부 실시형태들에서, 위에서 논의된 이미지 프로세싱 모듈들에 포함된 명령들은, 이들 하드웨어 리소스들과 직접적으로 상호작용하지 않을 수도 있고, 대신에, 오퍼레이팅 시스템 컴포넌트 (270) 에 위치된 표준 서브루틴들 또는 API들을 통해서 상호작용할 수도 있다. 오퍼레이팅 시스템 (245) 내의 명령들은 그 후에, 이들 하드웨어 컴포넌트들과 직접적으로 상호작용할 수도 있다. 오퍼레이팅 시스템 모듈 (245) 은 디바이스 프로세서 (250) 와 정보를 공유하도록 이미지 프로세서 (220) 를 더 구성할 수도 있다.

디바이스 프로세서 (250) 는 캡처된 이미지, 또는 캡처된 이미지의 프리뷰를 사용자에게 디스플레이하기 위해 디스플레이 (225) 를 제어하도록 구성될 수도 있다. 디스플레이 (225) 는 이미징 디바이스의 외부에 있을 수도 있거나, 이미징 디바이스 (200) 의 일부분일 수도 있다. 디스플레이 (225) 는 또한 이미지를 캡처하기 전에 이용하기 위해 프리뷰 이미지를 디스플레이하는 뷰 파인더를 제공하도록 구성될 수도 있거나, 또는 메모리에 저장되어 있는 또는 사용자에 의해 최근에 캡처된, 캡처된 이미지를 디스플레이하도록 구성될 수도 있다. 디스플레이 (225) 는 LCD 또는 LED 스크린을 포함할 수도 있고, 터치 감지 기술들을 구현할 수도 있다.

디바이스 프로세서 (250) 는 저장 모듈 (210) 에 데이터, 예를 들어, 캡처 이미지들을 나타내는 데이터를 기록할 수도 있다. 스토리지 모듈 (210) 이 종래의 디스크 디바이스로서 그래픽으로 표현되지만, 스토리지 모듈 (210) 은 임의의 저장 매체 디바이스로서 구성될 수도 있음을 당업자들은 이해할 것이다. 예를 들어, 스토리지 모듈 (210) 은 플로피 디스크 드라이브, 하드 디스크 드라이브, 광학 디스크 디바이스 또는 자기-광학 디스크 디바이스와 같은 디스크 드라이브, 또는 플래시 메모리, RAM, ROM, 및/또는 EEPROM 과 같은 솔리드 스테이트 메모리를 포함할 수도 있다. 스토리지 모듈 (210) 은 또한 다중 메모리 유닛들을 포함할 수 있으며, 그 메모리 유닛들 중 임의의 하나는 이미지 캡처 디바이스 (200) 내에 있도록 구성될 수도 있거나 또는 이미지 캡처 디바이스 (200) 외부에 있을 수도 있다. 예를 들어, 스토리지 모듈 (210) 은 이미지 캡처 디바이스 (200) 내에 저장된 시스템 프로그램 명령들을 포함하는 ROM 메모리를 포함할 수도 있다. 저장 모듈 (210) 은 또한, 카메라로부터 탈착가능할 수도 있는 캡처된 이미지들을 저장하도록 구성된 메모리 카드들 또는 고속 메모리들을 포함할 수도 있다.

도 2 가 프로세서, 이미징 센서, 및 메모리를 포함하는 개별적인 컴포넌트들을 갖는 디바이스를 도시하고 있지만, 이러한 개별적인 컴포넌트들이 특정 설계 목적들을 달성하기 위해 다양한 방식들로 결합될 수도 있음을 당업자는 인식할 것이다. 예를 들어, 대안적인 실시형태에서, 메모리 컴포넌트들은 비용을 절약하고 성능을 개선하기 위해 프로세서 컴포넌트들과 결합될 수도 있다.

추가로, 도 2 는 몇몇 모듈들을 포함하는 메모리 컴포넌트 (230) 와 작업 메모리를 포함하는 개별 메모리 (205) 를 포함하는 2 개의 메모리 컴포넌트들을 도시하지만, 몇몇 실시형태들은 상이한 메모리 구조들을 활용하는 것을 당업자는 인식할 것이다. 예를 들어, 설계는 메모리 컴포넌트 (230) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 사용할 수도 있다. 프로세서 명령들은 RAM 내로 로딩되어 이미지 프로세서 (220) 에 의한 실행을 용이하게 할 수도 있다. 예를 들어, 작업 메모리 (205) 는 RAM 메모리를 포함할 수도 있으며, 명령들은 프로세서 (220) 에 의한 실행 전에 작업 메모리 (205) 내에 로딩된다.

Ⅲ. 시차 및 틸트 아티팩트들이 없는 폴드형 광학 어레이 카메라들의 개관

도 3a 는 일부 실시형태들에 따라, 시차 없는 어레이 카메라 (300A) 에서 카메라 (310A, 310B, 310C) 및 미러 평면 (312A, 312B, 312C) 위치들을 도시하는 개략도이다. 어레이의 센서 및 그 대응하는 렌즈 (및 가능한 추가의 광 폴딩 표면 또는 표면들) 는 본원에서 "카메라" 로 지칭되고, 어레이에서의 모든 카메라들의 협동은 "가상 카메라" 로 지칭된다. 시차 없는 어레이 카메라 설계 원칙들의 이하 설명에서, 카메라는 투영 중심이 xyz 공간에서의 임의의 장소에 위치될 수 있는 그 연관된 렌즈 어셈블리의 투영 중심인 점으로서 모델링될 수 있다. 카메라들의 어레이는 그러한 투영 중심들의 어레이에 의해 모델링될 수도 있다.

가상 카메라는 카메라에 의해 캡처된 이미지, 예를 들어 310A 에 의해 캡처된 이미지가 어떤 광학 폴딩 (예컨대, 미러들을 사용한 반사) 도 사용되지 않았다면, 캡처된 것으로 보이는 위치이다. 다수의 폴드형 광학 카메라들에 의해 물리적으로 형성된 시차 없는 어레이에서, 모든 가상 카메라들은 도 3a 및 도 3b 에 도시된 동일한 투영 중심을 포인트 V 로서 가지는 하나의 단일 가상 카메라 내로 병합된다. 어레이의 각각의 개별 카메라는 잠재적으로 상이한 응시 방향, 즉 때대로 틸트로 지칭되는 카메라의 광축의 방향 또는 정렬을 가질 수도 있다. 시차 없는 어레이 카메라들을 형성하기 위해 본원에 설명된 공간 관계들의 주요 포인트는, 각각의 가상 카메라의 유효 틸트 (예컨대, 대응하는 이미지에서의 틸트의 외형) 이 캡처된 이미지 데이터로의 투영 변환의 적용에 의해 계산적으로 변화될 수 있다. 적절한 투영 변환들 및 크롭핑의 적용 이후에 이미지들을 함께 스티칭하는 것은, 단일 이미지 - 어레이의 다수의 카메라들로부터 수신된 데이터를 사용하는 타겟 장면의 합성 이미지를 생성한다. 이러한 단일 이미지는 마치 본원에서 가상 카메라로 지칭된, 포인트 V 에서 투영 중심을 갖는 단일 가상 카메라에 의해 캡처된 것처럼 보인다. 따라서, 본원에서 설명된 것과 같은 시차 없는 어레이들의 가상 카메라는 실제로 합성 가상 카메라 및 단일 포인트 내로 병합하는 다수의 가상 카메라들의 구성이다. 본원에서 사용된 것과 같은 가상 카메라는 또한, 어레이의 다수의 카메라들 중 하나에 의해 각각 캡처된 개별 이미지들을 변환하고, 크롭핑하고, 그리고 스티칭하는 것에 의한 컴퓨터 합성의 결과일 수 있다.

도 3a 및 도 3b 에서, 카메라들 (310B, 310C, 310E, 및 310F) 은 xyz 공간에서 그 카메라에 대한 투영 중심을 나타내는 포인트로서 각각 모델링된다. 예를 들어, 실제 카메라는 공간에서 특정 위치를 갖는 입사 동공 (entrance pupil) 을 갖는다. 동공의 중심은 본원에서, 카메라의 투영 중심으로 지칭되고, 렌즈 어셈블리의 옵틱스에 의해 적어도 부분적으로 결정된다. 투영 중심은 렌즈 어셈블리의 옵틱스로 인해 카메라의 물리적 애퍼처가 위치된 장소가 아닐 수도 있고, 광학 투영 중심이 위치되는 실제 포지션은 동공의 중심이 위치되는 장소이다. 카메라가 이 포인트 - 그 투영 중심 - 를 중심으로 회전할 때, 캡처된 이미지는 컴퓨터 투영 변환의 애플리케이션으로서 변환한다. 도 3a 및 도 3b 에 의해 도시된 개략도들은 추상화이다 : 카메라의 응시 방향 및 초점 길이는 시차 없는 이미징에 대하여 필수적인 것은 아니며, 이는 그러한 양태들이 후속 스테이지에서 (예컨대, 계산적으로) 투영 변환에 의해 정정될 수 있다. 이와 같이, 카메라들 (310B, 310C, 310E, 및 310F) 은 상기의 일반적인 처리에서 오직 투영 중심에 의해 도시된다. 카메라를 나타내기 위한 투영 중심의 사용은, 시차 없는 이미지들을 형성하기 위해 카메라들의 어레이의 설계를 가능하게 하는 목적에 맞는다. 카메라의 실제 응시 및 초점 길이는 이미징의 다른 양태들에 대하여 중요하지만, 이들 양태들의 세부사항들이 시차 없는 어레이 카메라의 다양한 실시형태들의 요구들에 따라 변화될 수 있다.

가상 카메라 V 및 카메라들 (310A, 310D) 은 각각, 가상 카메라 (V) 및 카메라들 (310A, 310D) 의 각각에 대한 투영 중심을 나타내는 포인트 상에 센터링된 블록 다이어그램으로 도시된다. 도 3a 의 실시형태에서 도시된 것과 같이, 앞서 설명된 것과 같은 얇은 카메라에 대하여, 카메라들의 어레이는 얇은 카메라의 수평 평면 (305) 에 포지셔닝된다 (또는 적어도 대략적으로 포지셔닝된다). 용어 "수평의" 는 예를 들어, 도 3a 및 도 3b 를 참조하여 이러한 논의의 목적을 위해 임의로 선택된다. 미러 평면들 (312A 내지 312E) 은 경계들과 함께 도시되지만, 평면들은 무한하게 확장하고, 실제 미러 위치들은 312A 내지 312E 로 표현된 평면들 내의 어느 곳에도 있을 수 있다. 일부 실시형태들에서, 미러화된 표면은 예컨대, 가상 카메라 (V) 의 광축 (312) 을 따른 포인트 (P) 에서 또는 그 포인트 (P) 에서 대략적으로 로케이팅된 정점을 갖는 반사 엘리먼트를 형성하기 위한 각도들로 접촉할 수 있다. 정점은 다른 예들에서 가상 카메라 (V) 의 광축 (321) 을 따르는 다른 포인트들에 위치될 수 있다. 주로 미러 평면들 및 대응하는 미러화된 표면들과 관련하여 논의되지만, 평면들 (312A, 312B, 312C) 은 또한, 일부 실시형태들에서 굴절 프리즘의 패싯들을 지향하는 광을 포지셔닝하는데 사용될 수 있다.

도 3a 는 어레이 카메라의 수평 평면 (305) 에서 3 개의 카메라들 (310A, 310B, 310C) 을 도시하고, 도 3b 는 수평 평면 (305) 에서 3 개의 카메라들 (310D, 310E, 310F) 을 도시한다. 예시된 실시형태에서 도시될 때, 도 3a 에서의 각각의 카메라 (310A, 310B, 310C) 는 카메라 (310A) 의 광축 (311A) 에 의해 도시된 것과 같은 중심 위치 P 를 향해 포인팅하도록 (또는 대략적으로 포인팅하도록) 포지셔닝될 수도 있다. 도 3b 에서, 카메라들 (310D, 310E, 및 310F) 은 중심 위치 P 를 향해 수평으로 포인팅하는 것으로 도시된다. 각각의 카메라 (310D, 310E, 310F) 는 그 카메라 (310D, 310E, 310F) 에 대응하는 미러 평면 (312D, 312E, 312F) 에 포지셔닝된 (오직 카메라 (310D) 와 미러 평면 (312D) 을 참조하여 도시된) 미러 (330) 쪽으로 (카메라 (310D) 의 광축 (311B) 에 의해 도시된 것과 같이) 대략적으로 "보고 있는 (looking)" 것으로 포지셔닝될 수 있다. 다시 말해서, 각각의 카메라 (310D, 310E, 310F) 는 미러를 향해 포지셔닝된 그 투영된 FOV 의 광축을 가질 수도 있다. 양자의 구성들 (300A, 300B) 에서, 대응하는 미러는 모든 카메라들 (310A 내지 310F) 이 평면 (305) 에 수직인, 가상 광축 (321) 을 따라 일 방향에서 (또는 실질적으로 일 방향에서) (광의 폴딩을 고려하여) 광학적으로 보도록, 각각의 카메라 (310A 내지 310F) 의 투영된 광축 및 따라서 카메라에 의해 수신된 광 (또는 광선들의 콘) 을 재지향한다 (또는 폴딩한다). 다시 말해서, 각각의 카메라 (310A 내지 310F) 는 타겟 장면으로부터 전파하는 광을 수신하기 위해 가상 광 축 (321) 을 따르는 그 투영된 FOV 의 중심 축을 가질 수도 있다.

그러나, 카메라가 보고 있는 방향 - 그 광축의 정렬 - 은 본원에 설명된 시차 없는 공간 관계들을 여전히 순응하면서 변화될 수도 있는 설계 파라미터일 수 있다. 특정 설계들에서 고려될 트레이드오프들이 존재하며, 예컨대 각각의 카메라의 응시 방향 및 각각의 카메라의 투영 중심의 위치 (예컨대, 중심점 P 로부터의 거리), 각각의 카메라의 초점 길이, 어레이에서 카메라들의 수, 및 어레이가 대칭되어야만 하는지 여부이다. 도 3a 및 도 3b 의 시차 없는 설계 원칙들의 이러한 일반화는 설계의 상당한 자유를 허용하고, 모든 종류의 어레이 카메라 구성들을 캡처한다. 따라서, 이들 시차 없는 원칙들의 특정 구현에 의존하여, 평면 (312A 내지 312F) 에 포지셔닝된 미러로부터의 광은 반드시 연관된 카메라 (310A 내지 310F) 에 입사되지 않을 수도 있지만, 이러한 설계의 장점은 시차 없는 이미지들을 제공하는 것이다.

따라서, 도 3a 의 광축 (311A) 이 포인트 P 를 "보고 있는" 것으로 또는 포인트 P 와 정렬되는 것으로 도시되지만, 카메라의 광축은 포인트 P 를 보고 있는 것이 요구되지 않는다. 다른 예들에서의 광축은 P 와 Z 사이의 라인 (321) 상의 어느 포인트도 볼 수 있거나, 다른 예들에서 일부 다른 방향을 볼 수 있다. 유사하게, 중앙 미러 (330) 를 대략적으로 포인팅하는 것으로 도시된 도 3b 의 광축 (311B) 은 다른 방향들에서, 예컨대 카메라의 다수의 미러들에 의해 형성된 미러 반사 엘리먼트의 정점에서 포인팅될 수 있다. 도시된 축 (311A) 과 함께, 포인트 P 와 함께 정렬된 광축을 가지는 어레이들 (300A) 에서의 카메라들은 예컨대 카메라로부터 원래의 이미지 데이터를 취득하는 것, 투영 변환을 적용하는 것, 및 그 후 이미지를 크롭핑하는 것에 의한 계산을 통해, 실제 카메라를 물리적으로 회전시키지 않고 라인 (321) 을 따라 포인트 P 의 약간 아래를 보도록 투영 중심을 중심으로 회전될 수 있다. 그러한 계산적인 회전은 (특정의 실제 제한, 예컨대 대략 10 도 내에서) 디지털로 용이하게 핸들링될 수 있다. 따라서, 본원에서 설명된 시차 없는 이미징을 위한 일반적인 모델은 임의의 특정 방향의 뷰가 없는 카메라를 고려하고, 예시적인 광축들 (311A 및 311B) 이 단지 예로서 제공된다.

도 3a 및 도 3b 에 도시된 것과 같은 시차 없는 설계 원칙은, 미러 평면들 (312A 내지 312C 및 312D 내지 312F) 내의 임의의 장소에 위치된 미러들로부터의 반사 이후에, 카메라들 (310A 내지 310C 및 310D 내지 310F) 의 모든 투영 중심들이 하나의 (또는 단일의) 가상 중심 V 으로부터 투영되는 것으로 보이도록 구성된다.

도 3a 의 실시형태 (300A) 에서, 가상 카메라 투영 중심 (V) 은 카메라들 (310A, 310B, 310C) 이 마치 광축 (321) 을 따라 수평 평면 (305) 위의 이미지 공간 내로 위를 보는 것처럼 이미지를 캡처하기 위해 협력하도록, 수평 평면 (305) 아래에 위치되며, 여기서 위 및 아래는 카메라들 (310A, 310B, 310C), 가상 카메라 투영 중심 V, 및 이미지 공간의 상대적인 포지션들을 지칭하도록 임의로 선택된 용어들이고, 실제 공간에서 실제 카메라의 포지셔닝 또는 배향을 구속하도록 의도되는 것은 아니다. 도 3a 에 도시된 원칙들에 따라 구성된 실제 카메라들의 일부 예들에서, 평면들 (312A, 312B, 312C) 내에 위치된 실제 미러들은 정점이 그 베이스 위에 포지셔닝되는 반사 엘리먼트를 형성하기 위해 교차할 수 있다. 예를 들면, 정점은 포인트 P 에 위치될 수 있고, 반사 엘리먼트의 베이스는 가상 카메라 V 를 향하는 광축 (321) 을 따라 임의의 장소에 위치될 수 있다.

도 3b 의 실시형태 (300B) 는 넓은 FOV 어레이 카메라를 나타낸다. 가상 카메라 투영 중심 (V) 은 카메라들 (310D, 310E, 310F) 이 마치 광축 (321) 으로부터 수평 평면 (305) 주위의 이미지 공간 내로 아래를 보는 것처럼 넓은 FOV 이미지를 캡처하기 위해 협력하도록, 수평 평면 (305) 위에 위치되며, 여기서 아래 및 위는 카메라들 (310D, 310E, 310F), 가상 카메라 투영 중심 V, 및 이미지 공간의 상대적인 포지션들을 지칭하도록 임의로 선택된 용어들이고, 실제 공간에서 실제 카메라의 포지셔닝 또는 배향을 구속하도록 의도되는 것은 아니다. 도 3b 에 도시된 원칙들에 따라 구성된 실제 카메라들의 일부 예들에서, 평면들 (312D, 312E, 312F) (예컨대, 평면 (312D) 에서 미러 (330) 내에 위치된 실제 미러들은 정점이 그 베이스 아래에 포지셔닝되는 반사 엘리먼트를 형성하기 위해 교차할 수 있다. 예를 들면, 정점은 포인트 P 에 위치될 수 있고, 반사 엘리먼트의 베이스는 가상 카메라 V 를 향하는 광축 (321) 을 따라 임의의 장소에 위치될 수 있다.

이와 같이, 넓은 FOV 실시형태 (300B) 에 대하여 반사하는 반사 엘리먼트는 실시형태 (300A) 에 대한 반사하는 반사 엘리먼트와 비교하여 반전된다. 추가로, 어레이 (300A) 가 광축 (321) 을 따라 위치된 이미지를 "보는" 동안, 어레이 (300B) 는 축 (321) 을 둘러싸도록 위치된 공간의 180도 파노라마 이미지를 "보지만", 어레이 (300A) 이 보는 중앙 이미지 장면을 보지 못한다. 일부 실시형태들에서, 설계들 (300A 및 300B) 은 온반구형 (full hemispheric) 시계를 캡처하는 카메라를 형성하도록 결합될 수 있다.

도 3a 에 도시된 시차 없는 설계 원칙을 따라 시차 없는 어레이 카메라를 설계하거나 구성하기 위해, 어레이 카메라 (300A) 의 수평 평면 (305) 아래의 임의의 장소에 포인트 V (가상 카메라에 대한 투영 중심) 을 위치시킬 수 있다. 그 후, 설계자 또는 제조업자는 카메라들 (310A, 310B, 310C) 의 위치들을 설정하거나 식별할 수 있고, 그 후 각각의 카메라의 투영 중심을 가상 카메라의 투영 중심과 연결하는 라인들 (313A, 313B, 313C) 을 정의할 수 있다. 다음으로, 설계자 또는 제조업자는 각각의 세그먼트 (313A, 313B, 313C) 의 중앙부 (314A, 314B, 314C) 을 위치시키고, 미러의 평면 (312A, 312B, 312C) 을 중앙부에 또는 실질적으로 중앙부 (314A, 314B, 314C) 에 그 세그먼트와 직교하거나 실질적으로 직교하여 위치시킬 수 있다.

도 3b 에 도시된 시차 없는 설계 원칙을 따라 시차 없는 어레이 카메라를 설계하거나 구성하기 위해, 설계자 또는 제조업자는 어레이 카메라 (300B) 의 수평 평면 (305) 위의 임의의 장소에 포인트 V (가상 카메라에 대한 투영 중심) 을 위치시킬 수 있다. 그 후, 설계자 또는 제조업자는 카메라들 (310D, 310E, 310F) 의 위치들을 설정하거나 식별할 수 있고, 그 후 각각의 카메라의 투영 중심을 가상 카메라의 투영 중심과 연결하는 라인들 (313D, 313E, 313F) 을 생성할 수 있다. 다음으로, 설계자 또는 제조업자는 각각의 세그먼트 (313D, 313E, 313F) 의 중앙부 (314D, 314E, 314F) 을 위치시키고, 미러의 평면 (312D, 312E, 312F) 을 중앙부 (314D, 314E, 314F) 에 그 세그먼트와 직교하여 위치시킬 수 있다. 도 3b 에 도시된 것과 같이, 미러 (330) 는 그 대응하는 평면 (312D) 내의 어느 장소에도 위치될 수 있다.

각각의 평면 (312A 내지 312F) 이 경계가 있는 것으로 도시되지만, 이론적으로 평면은 무한하고, 설계자는 예컨대, 오버랩하는 미러들, 카메라의 시계의 방해, 등을 방지하기 위해, 특정 카메라 구성의 요구들에 따라 대응하는 평면 내에 미러의 적절한 위치 및 사이즈를 선택할 수 있다. 이들 미러들로부터의 반사들은 (카메라들 (310A 내지 310F) 의 경우에) 각각의 투영 중심을 얇은 카메라 (300A, 300B) 의 동일한 가상 투영 중심 V 에 전송한다. 이는 카메라들의 시계들 간에 결과적인 스티칭된 이미지에서 어떤 또는 실질적으로 어떤 시차도 존재하지 않는 것을 보장한다.

일부 실시형태들에서, 평면들 (312A 내지 312C 및 312D 내지 312F) 내에 위치된 미러들은 반사 엘리먼트를 형성하도록 배열될 수 있다. 예를 들어, 평면들 (312A 내지 312C) 은 미러화된 패싯들이 아래로 및 위로 기울어지는 포인트 P 에서 또는 포인트 P 근처에서 정점을 갖는 반사 엘리먼트를 형성하기 위해 교차할 때까지, 도시된 경계들로부터 외부로 연장될 수 있다. 다른 예로서, 평면들 (312D 내지 312F) 은 미러화된 패싯들이 아래로 및 위로 기울어지는 포인트 P 에서 또는 포인트 P 근처에서 정점을 갖는 반사 엘리먼트를 형성하기 위해 교차할 때까지, 도시된 경계들로부터 외부로 연장될 수 있다. 이와 같이, 실시형태 (300B) 에 대하여 반사하는 반사 엘리먼트는 실시형태 (300A) 에 대한 반사하는 반사 엘리먼트와 비교하여 반전된다. 따라서, 미러들은 평면들 (312A 내지 312F) 에 대하여 도시된 위치들에 포지셔닝되어야하는 것은 아니고, 실제 미러들은 라인들 (313A 내지 313F) 을 따라 또는 중간점들 (314A 내지 314F) 을 포함하여 위치되어야 하는 것은 아니며, 오히려 무한대로 연장되는 평면에서 어떤 위치에도 위치될 수 있다.

도 3a 및 도 3b 에 도시된 예들은 3 개의 카메라들을 포함하지만, 시차 없는 설계 원칙은 임의의 수의 카메라들을 위해 작용한다. 개별 카메라들의 정확한 뷰잉 방향은 시차의 문제에 관련된 것이 아니라, 효율 및 틸트의 아티팩트들, 등에 관련된다. 카메라들의 상이한 뷰잉 방향으로부터 발생하는 이미지들에서의 그러한 왜곡들은 그 사실 이후에 적용된 잘 알려진 투영 변환으로 디지털로 무효화될 수 있다. 이러한 정정은 무한대로 작은 애퍼처들에 대하여 정확하고, 작은 유한의 애퍼처들, 예를 들면 모바일 디바이스 (예를 들어, 셀 폰, 태블릿들, 등등) 의 이미징 시스템에서 통상적으로 이용될 수도 있는 애퍼처들에 대하여 대략적으로 정확하다. 투영 변환 정정은 (미러 평면과 카메라의 포지셔닝을 고려하여 실질적으로 미리 정의되는) 적절한 투영 변환을 적용함으로써 모든 또는 실질적으로 모든 틸트 아티팩트들을 제거할 수 있다.

일부 얇은 카메라 구현들에서, 어레이의 모든 카메라들은 얇은 카메라 모듈 또는 카메라 하우징의 수평 평면 (또는 물리적으로 내부) 에 포지셔닝될 수도 있다. 그러나, 다른 실시형태들에서 카메라들은 수평 평면 (305) 에 포지셔닝되어야할 필요가 없다. 예를 들어, 카메라들은 구면 카메라에 대하여, 또는 자유로운 "중심들의 3D 클라우드" 카메라 배열에 대하여 수평 평면에 포지셔닝되어야할 필요는 없다. 일부 어레이 카메라 실시형태들에서, 카메라들의 배열은 대칭적이거나 실질적으로 대칭적일 수도 있으며, 따라서 모든 미러 평면들은 하나의 공통 교차 포인트를 갖는다. 그러한 포인트가 존재한다면, 도 3a 및 도 3b 에서와 같이, 도면들에서 P 로 표시된다. 복수의 미러들은 정점 P 을 갖는 반사 엘리먼트를 형성할 수 있다. 본원에서 이용되는 것과 같이, 용어 피라미드 또는 반사 엘리먼트는 정점 P 에서 만나는 일부 또는 모든 패싯들을 갖는 베이스로부터의 각도로 각각 상향 연장하는 다수의 패싯들을 갖는 임의의 3차원 형상을 지칭할 수 있다. 다른 경우들에서, 모든 미러들에 공통인 포인트는 존재하지 않을 수도 있다. 그러나, 설명된 실시형태들에서, 모든 가상 카메라들 (폴딩 이후에 실제 카메라들의 이미지) 이 배향에 관계없이, 공통의 가상 투영 중심 V 으로부터의 세계 (world) 를 보기 때문에, 설계는 시차 아티팩트들이 없다 (또는 실질적으로 없다). 본원에서 이용되는 것과 같이, 가상 투영 중심은, 카메라들 모두의 투영된 FOV (field-of-view) 콘들이, 심지어 (예를 들면, 미러들 또는 굴절 프리즘들에 의해) 입사하는 광의 재지향 또는 폴딩 이후에도 발생하는 것으로 보이는, 가상 카메라 위치의 투영 중심을 지칭한다.

대칭이 충분하지 않다면, 시차 없는 이미지들을 생성하는 동안의 어레이 카메라 설계는 여전히 부정확한 디포커스 블러 아티팩트들을 보여줄 수도 있다. 디포커스 블러 커널은, 모든 카메라 애퍼처들/미러들로부터 합성되는 공통의 애퍼처로부터, 디포커스 블러를 적어도 부분적으로 보상하기 위해 생성될 수 있다. V 의 위치로부터 뷰에서의 특정 위치들 또는 방향에 갭들 및 불규칙성들이 존재한다면, 블러가 비정상적으로 나타날 것이다. 이는 실제 개별 카메라들이 실제로 포인트들이 아니라, 3D 공간에서의 배향을 갖는 표면의 영역을 각각 나타내는 애퍼처들이라는 사실 때문이다. 그러나, 불충분한 대칭을 갖는 설계들이 거의 완전히 포커스 내에 있는 장면들의 우수한 품질 이미지들을 캡처하기 위해, 또는 어레이 카메라에 특히 인접하여, 예를 들면, 일부 구현들에서 카메라로부터 대략 20cm 부터 대략 50 cm 까지에 어떤 오브젝트들도 존재하지 않는 경우에, 여전히 사용될 수도 있다.

도 4a 내지 도 4c 는 도 3a 및 도 3b 에 도시된 시차 없는 설계 원칙에 따라 설계된 어레이 카메라 (400) 의 일 실시형태를 도시한다. 도 4a 는 2 개의 카메라들 (410A, 410B) 을 갖는 어레이를 도시한다. 카메라들 (410A, 410B) 각각은 대략 20 도의 뷰잉 각도를 가지고, 그 결과 결합된 어레이 카메라 (400) 에 대하여 대략 26 도의 효율적인 뷰잉 각도를 생성한다. 카메라들 (410A, 410B) 은 동일한 분명한 원점 (450) 으로부터 이미지 데이터를 캡처하는 것으로 보인다. 각각의 카메라 (410A, 410) 에 의해 관찰되는 뷰 (420A, 420B) 는 청색의 점선들로 하이라이트된다. 명확함을 위해, 렌즈 어셈블리들 및 이차 반사 또는 반사 표면들은 카메라들 (410A, 410B) 에 도시되지 않는다. 일부 실시형태들에서, 카메라들 (410A, 410B) 의 센서들은 초기의 반사 또는 굴절 다음의 광과 정렬될 수도 있지만, 다른 실시형태들에서, 이차 반사 또는 굴절 표면은 예컨대, 공통의 평면 내부에 또는 실질적으로 내부에 카메라들 (410A, 410B) 의 센서들을 위치시킴으로써, 어레이의 전체 높이를 감소시키는데 사용될 수도 있다.

도 4b 는 도 4a 의 카메라 (410A) 에 대한 뷰잉 각도 (420A) 와 미러 표면 (415A) 에 대한 설계 파라미터들의 일 예를 도시한다. 합성 애퍼처에 대하여 60 도의 유효 뷰잉 각도 (예컨대, 어레이 (400) 에서 카메라들 (410A, 410B) 의 모든 뷰들의 합) 을 달성하기 위해, 개별 카메라들 (410A, 410B) 각각은 적어도 대략 48 도의 뷰잉 각도 (420A, 420B) 를 갖는 FOV 를 가져야만 한다. 도 4c 는 60 도의 뷰잉 각도를 달성하기 위해 도 4a 의 카메라들 (410A, 410B) 에 대한 뷰잉 각도 (420A, 420B) 와 미러 표면들 (415A, 415B) 양자에 대한 설계 파라미터들의 일 예를 도시한다.

도 5a 및 도 5b 는 도 3a 및 도 3b 에 도시된 시차 없는 설계 원칙에 따라 설계된 4-카메라 (610A 내지 610D) 어레이 카메라 (600) 의 일 실시형태를 도시한다. 도 5a 는 2 개의 평면들에 대하여 단일 카메라의 FOV 의 미러링에 의해 생성된 4-카메라 (610A 내지 610D) 어레이 카메라 (600) 의 등축도를 도시한다. 명확함을 위해, 렌즈 어셈블리들 및 이차 반사 또는 반사 표면들은 카메라들 (610A 내지 610D) 에 도시되지 않는다. 일부 실시형태들에서, 카메라들 (610A 내지 610D) 의 센서들은 초기의 반사 또는 굴절 다음의 광과 정렬될 수도 있지만, 다른 실시형태들에서, 이차 반사 또는 굴절 표면은 예컨대, 공통의 평면 내부에 또는 실질적으로 내부에 카메라들 (610A 내지 610D) 의 센서들을 위치시킴으로써, 어레이의 전체 높이를 감소시키는데 사용될 수도 있다. 콘들 (625A 내지 625D) 은 카메라들 (610A 내지 610D) 의 렌즈가 보는 것과 같은 FOV 의 콘들이다. 콘들 (630A, 630C, 630D) (유의: 콘 (630B) 은 도면의 명확성을 위해 도시되지 않음) 은 카메라들 (610A 내지 610D) 의 센서가 보는 것과 같은 FOV 의 콘들이다.

도 3a 및 도 3b 에 대하여 앞서 설명된 시차 없는 설계 파라미터들에 의해 특정되는 것과 같은, (도 3b 에 도시되고 도 5b 에서 일반적으로 미러 평면들 (615) 로 도시된) 미러 평면들 (312D 내지 312F) 의 위치는 카메라들 (610A 내지 610D) 에 의해 캡처된 이미지들 간에 오버랩의 양 및 최종 이미지의 형상을 부분적으로 결정한다 (미러 평면들 (615) 내에 포지셔닝된 반사 표면의 각도가 또한 인자이다).

도 3a 및 도 3b 에 대하여 앞서 설명된 시차 없는 설계 파라미터들에 의해 특정되는 것과 같은, (도 3b 에 도시되고 도 5a 에서 일반적으로 미러 평면들 (615) 로 도시된) 미러 평면들 (312D 내지 312F) 의 위치는 카메라들 (610A 내지 610D) 에 의해 캡처된 이미지들 간에 오버랩의 양 및 최종 이미지의 형상을 부분적으로 결정한다 (미러 평면들 (615) 내에 포지셔닝된 반사 표면의 각도가 또한 인자이다).

도시된 것과 같이, 각각의 카메라 (610A 내지 610D) 의 FOV 의 스큐잉으로 인해, 뷰잉 영역들 (620A 내지 620D) 간에 오버랩이 존재한다. 도시된 4-카메라 어레이 카메라 (600) 는 카메라들의 FOV 간에 상당한 오버랩 없이 설계되었지만, 이는 일 실시형태에서, 카메라들의 광축이 동일한 평면에 상주할 때, 인접하는 카메라들을 그들의 광축을 회전시킴으로써 달성될 수 있다. 인접하는 카메라들에 대하여, 카메라들의 FOV 의 스큐잉으로 인해 오버랩이 부분적으로 존재한다. 이러한 오버랩은 도시된 것보다 클 수 있고, 좌측 카메라의 오버랩하는 영역이 실제로 우측 카메라의 미러 표면으로부터 반사되고 그 반대도 가능하기 때문에, 스큐잉될 수 있다.

일부 실시형태들에서, 인접하는 카메라들을 그들이 회전되지 않는 포지션으로 돌아올 때까지 가상 광축을 향해 회전시킴으로써 인접하는 카메라들 간에 오버랩이 생성될 수 있다. 그러나, 카메라들을 서로 평행하게 위치키는 것은 증가하는 오브젝트 거리로 오버랩이 증가하게 할 수도 있는 반면, 비-오버랩 영역은 증가하는 오브젝트 거리에서 증가하지 않을 것이며 (퍼센티지 오버랩이 100% 에 도달할 것임), 따라서 특정 실시형태들에서 작업중인 솔루션이 아닐 수도 있다. 약간의 오버랩을 생성하기 위해 카메라들을 중심라인 쪽으로 약간 회전시키는 것은, 각 방향에서 대략 10 도의 오버랩을 발생할 수 있다. 그러나, 각각의 카메라의 사이즈 및 상대적인 포지셔닝뿐만 아니라, 어레이의 높이 제약들에 의존하여, 2 개의 회전된 카메라들을 나란히 위치시키는데 사용가능한 공간이 충분하지 않을 수도 있다.

도 6 은 도 3a 및 도 3b 에 도시된 시차 없는 설계 원칙에 따라 설계된 어레이 카메라 (1000) 의 일 실시형태를 도시한다. 도 6 의 카메라는 4-카메라 어레이 카메라를 확장시켜 추가의 2 카메라들 및 2 개의 미러화된 표면들을 포함하게 함으로써 구성된 6-카메라 (910A 내지 910F) 어레이 카메라이다. 상기 실시형태에서 카메라들 (910A 내지 910F) 은 공간 제약들로 인해 회전될 수 있다.

Ⅳ. 예시적인 이미지 캡처 프로세스의 개관

도 7 은 폴드형 광학 이미지 캡처 프로세스의 일 실시형태를 도시한다. 프로세스 (900) 는 블록 (905) 에서 시작되며, 여기서 복수의 이미징 센서 어셈블리들이 제공된다. 이 블록은 이전 도면들에 대해 위에서 논의된 센서 어레이 구성들 중 임의의 것을 포함하고, 여기서 센서들 및 연관된 광 폴딩 표면들은 본원에 개시된 시차 없는 설계 개념들에 따라 배열된다. 센서 어셈블리들은, 전술된 것과 같이, 센서, 렌즈 시스템, 및 렌즈 시스템으로부터 센서 상으로 광을 재지향하도록 포지셔닝된 굴절 또는 반사 표면을 포함할 수도 있다. 프로세스 (900) 는 그 다음에 블록 (910) 으로 이동하며, 여기서 복수의 이미지 센서들에 근접하게 적어도 하나의 굴절 또는 반사 표면이 장착된다. 예를 들어, 이 블록은 센서 어레이들의 2 개의 로우들 사이에 중앙 미러 반사 엘리먼트를 장착하는 것을 포함할 수 있으며, 여기서 중앙 미러 반사 엘리먼트는 어레이에서의 각각의 센서와 연관된 표면을 포함한다.

그 후에, 프로세스 (900) 는 블록 (915) 으로 이동하고, 여기서 장면의 타겟 이미지를 포함하는 광이 적어도 하나의 반사 표면에서 이미징 센서들 쪽으로 반사된다. 예를 들어, 광의 일부는 복수의 센서들의 각각에서 복수의 센서들의 각각을 향해 굴절되거나 반사될 수도 있다. 이러한 블록은, 각각의 센서와 연관된 렌즈 어셈블리를 통해서 광을 통과시키는 것을 더 포함할 수도 있고, 제 2 표면에서 센서 상으로 광을 반사하는 것을 또한 포함할 수도 있다. 블록 (915) 은 추가로, 렌즈 어셈블리를 이용하여 및/또는 임의의 반사 표면의 이동을 통해서 광을 포커싱하는 것을 포함할 수도 있다.

프로세스 (900) 는 그 다음에 블록 (920) 으로 이동하며, 여기서 센서들은 타겟 이미지 장면의 복수의 이미지들을 캡처한다. 예를 들어, 각각의 센서는 센서의 시계에 대응하는 장면의 일부의 이미지를 캡처할 수도 있다. 함께, 복수의 센서들의 시계들은 적어도 오브젝트 공간에서의 타겟 이미지를 커버한다. 도시되지 않았지만, 투영 변환들은 이미지를 캡처하는데 사용된 카메라의 광축을 디지털로 회전시키기 위해, 캡처된 이미지들의 일부 또는 전부에 적용될 수 있다.

그 후에, 프로세스 (900) 는 블록 (925) 으로 천이할 수도 있으며, 여기서 복수의 이미지들로부터 단일 이미지를 생성하기 위해 이미시 스티칭 방법이 수행된다. 일부 실시예들에서, 도 2 의 이미지 스티칭 모듈 (240) 이 이 블록을 수행할 수도 있다. 이는 알려진 이미지 스티칭 기법들을 포함할 수도 있다. 또한, 시계들에서 오버랩하는 임의의 영역들이 복수의 이미지들에서 오버랩을 생성할 수도 있으며, 이는 스티칭 프로세스에서 이미지들을 정렬하는데 이용될 수도 있다. 예를 들어, 블록 (925) 은 인접하는 이미지들의 오버랩하는 영역에서 공통 피처들을 식별하고 이미지들을 정렬하기 위해 공통 피처들을 이용하는 것을 더 포함할 수도 있다.

다음으로, 프로세스 (900) 는 블록 (930) 으로 천이하며, 여기서 스티칭된 이미지는 지정된 종횡비, 예를 들어, 4:3 또는 1:1 로 크롭핑된다. 마지막으로, 프로세스는 블록 (935) 에서 크롭핑된 이미지를 저장한 후에 종료한다. 예를 들어, 이미지는 도 2 의 스토리지 (210) 에 저장될 수도 있거나, 타겟 장면의 프리뷰 이미지로서 디스플레이를 위해 도 2 의 작업 메모리 (205) 에 저장될 수도 있다.

Ⅴ. 구현하는 시스템들 및 전문용어

본원에 개시된 구현들은 시차 및 틸트 아티팩트들이 없는 다중 애퍼처 어레이 카메라들에 대한 시스템들, 방법들, 및 장치를 제공한다. 이러한 실시형태들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있음을 당업자는 인식할 것이다.

일부 실시형태들에 있어서, 상기 논의된 회로들, 프로세스들, 및 시스템들은 무선 통신 디바이스에서 활용될 수도 있다. 무선 통신 디바이스는 다른 전자 디바이스들과 무선으로 통신하는데 이용되는 일 종류의 전자 디바이스일 수도 있다. 무선 통신 디바이스들의 예들은 셀룰러 전화기들, 스마트 폰들, 개인용 휴대정보 단말기 (PDA) 들, e-리더들, 게이밍 시스템들, 음악 플레이어들, 넷북들, 무선 모뎀들, 랩탑 컴퓨터들, 태블릿 디바이스들 등을 포함한다.

무선 통신 디바이스는 하나 이상의 이미지 센서들, 2 개 이상의 이미지 신호 프로세서들, 명령들을 포함하는 메모리, 또는 위에서 논의된 프로세스들을 이행하는 모듈들을 포함할 수도 있다. 디바이스는 또한 데이터, 메모리로부터의 프로세서 로딩 명령들 및/또는 데이터, 하나 이상의 통신 인터페이스들, 하나 이상의 입력 디바이스들, 디스플레이 디바이스와 같은 하나 이상의 출력 디바이스들, 및 전원/인터페이스를 가질 수도 있다. 무선 통신 디바이스는 추가적으로 송신기 및 수신기를 포함할 수도 있다. 송신기 및 수신기는 공동으로 트랜시버라고 지칭될 수도 있다. 트랜시버는 무선 신호들을 송신 및/또는 수신하기 위해 하나 이상의 안테나들에 커플링될 수도 있다.

무선 통신 디바이스는 다른 전자 디바이스 (예를 들어, 기지국) 에 무선으로 접속할 수도 있다. 무선 통신 디바이스는 대안적으로 모바일 디바이스, 이동국, 가입자국, 사용자 기기 (UE), 원격국, 액세스 단말기, 모바일 단말기, 단말기, 사용자 단말기, 가입자 유닛 등으로 지칭될 수도 있다. 무선 통신 디바이스들의 예들은 랩탑 또는 데스크탑 컴퓨터들, 셀룰러 전화기들, 스마트 폰들, 무선 모뎀들, e-리더들, 태블릿 디바이스들, 게이밍 시스템들 등을 포함한다. 무선 통신 디바이스들은 3 세대 파트너쉽 프로젝트 (3GPP) 와 같은 하나 이상의 산업 표준들에 따라 동작할 수도 있다. 따라서, 일반적인 용어 "무선 통신 디바이스" 는 산업 표준들에 따라 가변 용어들로 설명된 무선 통신 디바이스들을 포함할 수도 있다 (예를 들어, 액세스 단말기, 사용자 장비 (UE), 원격 단말기 등).

본 명세서에서 설명된 기능들은 프로세서 판독가능 또는 컴퓨터 판독가능 매체 상에 하나 이상의 명령들로서 저장될 수도 있다. 용어 "컴퓨터 판독가능 매체" 는, 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 가용 매체를 지칭한다. 제한하지 않는 예로서, 그러한 매체는, RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 이나 다른 광학적 디스크 저장소, 자기적 디스크 저장소나 다른 자기적 저장 디바이스들, 또는 명령들이나 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 이용될 수도 있고 컴퓨터에 의해 액세스될 수도 있는 임의의 다른 매체를 포함할 수도 있다. 본 명세서에서 사용된 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 통상적으로 데이터를 자기적으로 재생하지만 디스크 (disc) 는 레이저를 이용하여 데이터를 광학적으로 재생한다. 컴퓨터-판독가능 매체는 유형이고 일시적이지 않을 수도 있음에 유의해야 한다. 용어 "컴퓨터 프로그램 제품" 은, 컴퓨팅 디바이스 또는 프로세서에 의해 실행, 프로세싱, 또는 산출될 수도 있는 코드 또는 명령들 (예를 들어, "프로그램") 과 결합한 컴퓨팅 디바이스 또는 프로세서를 지칭한다. 본 명세서에서 사용된 바와 같이, 용어 "코드" 는 컴퓨팅 디바이스 또는 프로세서에 의해 실행가능한 소프트웨어, 명령들, 코드 또는 데이터를 지칭할 수도 있다.

소프트웨어 또는 명령들은 또한 송신 매체를 통해 송신될 수도 있다. 예를 들어, 소프트웨어가 동축 케이블, 광 섬유 케이블, 연선, 디지털 가입자 회선 (digital subscriber line; DSL), 또는 적외선, 무선, 및/또는 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 송신 매체의 정의 내에 포함된다

본원에서 개시된 방법들은 상술된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구항들의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말해, 설명된 방법들의 적절한 동작을 위해 단계들 또는 액션들의 특정한 순서가 요구되지 않는 한, 특정한 단계들 및/또는 작동들의 순서 및/또는 이용은 청구항들의 범위를 벗어나지 않으면서 수정될 수도 있다.

본 명세서에서 사용된 바와 같은 용어들 "커플", "커플링", "커플링된" 또는 단어 '커플' 의 다른 변형들은 간접 접속 또는 직접 접속 중 어느 하나를 나타낼 수도 있음이 주목되어야 한다. 예를 들어, 제 1 컴포넌트가 제 2 컴포넌트에 "커플링"되면, 제 1 컴포넌트는 제 2 컴포넌트에 간접적으로 접속되거나 또는 제 2 컴포넌트에 직접적으로 접속될 수도 있다. 본 명세서에서 사용된 바와 같이, 용어 "복수의" 는 2 이상을 표기한다. 예를 들어, 복수의 컴포넌트들은 2 개 이상의 컴포넌트들을 표시한다.

용어 "결정하는 것" 은 매우 다양한 액션들을 포괄하며, 따라서, "결정하는 것" 은 계산하는 것, 산출하는 것, 프로세싱하는 것, 도출하는 것, 조사하는 것, 검색하는 것 (예를 들어, 표, 데이터베이스, 또는 다른 데이터 구조에서 검색하는 것), 확인하는 것 등을 포함할 수 있다. 또한, "결정하는 것" 은 수신하는 것 (예를 들어, 정보를 수신하는 것), 액세스하는 것 (예를 들어, 메모리 내 데이터에 액세스하는 것) 등을 포함할 수 있다. 또한, "결정하는 것" 은 해결하는 것, 선택하는 것, 선출하는 것, 확립하는 것 등을 포함할 수 있다.

어구 "~에 기초하는" 은, 달리 명백히 명시되지 않으면, "~에만 기초하는" 을 의미하지 않는다. 즉, 어구 "~에 기초하는" 은 "~에만 기초하는" 및 "~에 적어도 기초하는" 양자를 기술한다.

전술한 설명에 있어서, 특정 상세들은 예들의 철저한 이해를 제공하기 위해 주어진다. 그러나, 예들은 이러한 특정 세부사항들이 없이 실시될 수도 있음이 당업자에 의해 이해될 것이다. 예를 들어, 불필요한 세부사항으로 예들을 모호하게 하지 않기 위해, 전기 컴포넌트들/디바이스들은 블록 다이어그램들로 보여질 수도 있다. 다른 사례들에서, 이러한 컴포넌트들, 다른 구조들, 및 기법들이 예들을 추가적으로 설명하기 위해 상세히 도시될 수도 있다.

제목들은 참조를 위해 본원에 포함되고 다양한 섹션들을 위치를 찾는 것을 돕고자 한다. 이러한 제목들은 그와 관련하여 설명된 개념들의 범위를 제한하고자 하지 않는다. 이러한 개념들은 전체 명세서에 걸쳐 적용가능할 수도 있다.

예들은 프로세스로서 설명될 수도 있으며, 프로세스는 플로우차트, 플로우 다이어그램, 유한 상태 다이어그램, 구조 다이어그램, 또는 블록 다이어그램으로 도시됨에 또한 유의한다. 플로우차트가 동작들을 순차적인 프로세스로 설명할 수도 있지만, 동작들 중 다수는 병렬로, 또는 동시에 수행될 수 있고, 프로세스는 반복될 수 있다. 부가적으로, 동작들의 순서가 재배열될 수도 있다. 프로세스는 그 동작들이 완료될 경우에 종료된다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 기능에 대응하는 경우, 프로세스의 종료는 호 기능 또는 메인 기능으로의 기능의 복귀에 대응한다.

개시된 구현들의 상기 설명들은 임의의 당업자가 본 개시물을 실시하거나 이용하는 것을 가능하게 하도록 하기 위해 제공된다. 이러한 구현들에 대한 다양한 변형예들이 당업자에게는 자명할 것이고, 본원에서 정의된 일반적인 원칙들은 본 개시물의 취지와 범위를 벗어나지 않으면서 다른 구현들에 적용될 수도 있다. 따라서, 본 개시는 본 명세서에 나타낸 구현들로 한정되도록 의도되지 않으며, 본 명세서에 개시된 원리들 및 신규한 피처들과 부합하는 최광의 범위를 부여받아야 한다.

Claims (30)

1. 장면의 타겟 이미지를 캡처하기 위한 시스템으로서,
   가상 투영 중심을 갖는 복수의 카메라들의 어레이로서, 상기 복수의 카메라들의 각각은 장면의 타겟 이미지의 복수의 부분들 중 하나를 캡처하도록 구성되는, 상기 복수의 카메라들의 어레이를 포함하며; 그리고
   상기 복수의 카메라들의 각각은,
   이미지 센서;
   적어도 하나의 렌즈를 포함하는 렌즈 어셈블리로서, 상기 렌즈 어셈블리는 투영 중심을 가지고, 상기 렌즈 어셈블리는 상기 이미지 센서 상에 광을 포커싱하도록 포지셔닝되며, 상기 렌즈 어셈블리의 상기 투영 중심은 상기 가상 투영 중심을 통과하는 라인을 따라 위치되는, 상기 렌즈 어셈블리; 및
   상기 광을 상기 렌즈 어셈블리로 반사하도록 포지셔닝된 미러로서, 상기 미러는 추가로 미러 평면 상에 포지셔닝되고, 상기 미러 평면은 상기 가상 투영 중심을 통과하는 라인을 따르는 포인트를 교차하도록 포지셔닝되는, 상기 미러
   를 포함하는, 장면의 타겟 이미지를 캡처하기 위한 시스템.
2. 제 1 항에 있어서,
   상기 광을 상기 복수의 부분들로 분할하도록 구성된 복수의 일차 광 재지향 표면들을 가지는 중앙 반사 엘리먼트를 더 포함하며,
   상기 복수의 카메라들 각각의 상기 미러는 상기 일차 광 재지향 표면들 중 하나를 형성하는, 장면의 타겟 이미지를 캡처하기 위한 시스템.
3. 제 1 항에 있어서,
   상기 미러 평면은 상기 가상 투영 중심 통과하는 라인을 따르는 중간점을 교차하도록 포지셔닝되고, 상기 라인에 직교하는 각도로 포지셔닝되는, 장면의 타겟 이미지를 캡처하기 위한 시스템.
4. 제 2 항에 있어서,
   상기 중앙 반사 엘리먼트는 상기 복수의 일차 광 재지향 표면들의 각각의 교차에 의해 형성된 정점 (apex) 을 포함하고,
   상기 복수의 카메라들의 각각의 광축이 상기 정점을 통과하는, 장면의 타겟 이미지를 캡처하기 위한 시스템.
5. 제 4 항에 있어서,
   상기 정점 및 상기 가상 투영 중심이 상기 정점과 상기 가상 투영 중심을 통과하는 가상 광축 상에 위치되어, 상기 가상 광축이 상기 복수의 카메라들의 어레이의 광축을 형성하게 하는, 장면의 타겟 이미지를 캡처하기 위한 시스템.
6. 제 5 항에 있어서,
   상기 장면을 나타내는 광을 애퍼처를 통해 상기 중앙 반사 엘리먼트로 통과하게 하도록 포지셔닝된 상기 애퍼처를 가지는 상부 표면을 포함하는 카메라 하우징을 더 포함하는, 장면의 타겟 이미지를 캡처하기 위한 시스템.
7. 제 6 항에 있어서,
   상기 상부 표면은 상기 중앙 반사 엘리먼트의 상기 정점에 또는 상기 정점 위에 상기 가상 광축에 직교하여 포지셔닝되고, 상기 카메라 하우징은 상기 상부 표면에 실질적으로 평행하여 포지셔닝되고 상기 중앙 반사 엘리먼트의 하부 표면에 또는 그 아래에 포지셔닝되는 하부 표면을 더 포함하는, 장면의 타겟 이미지를 캡처하기 위한 시스템.
8. 제 7 항에 있어서,
   상기 복수의 카메라들의 각각은 상기 상부 표면과 상기 하부 표면 사이에 포지셔닝되는, 장면의 타겟 이미지를 캡처하기 위한 시스템.
9. 제 1 항에 있어서,
   상기 복수의 카메라들의 각각으로부터 상기 장면의 일부의 이미지를 포함하는 이미지 데이터를 수신하고, 스티칭 동작을 수행하여 상기 타겟 이미지를 생성하도록 구성된 프로세서를 더 포함하는, 장면의 타겟 이미지를 캡처하기 위한 시스템.
10. 제 9 항에 있어서,
    상기 프로세서는 추가로, 상기 복수의 카메라의 각각의 렌즈 어셈블리의 상기 투영 중심과 상기 가상 투영 중심 간의 기하학적 관계 및 대응하는 미러 평면 내에서 상기 복수의 카메라들의 각각에 대한 상기 미러의 위치에 적어도 부분적으로 기초하여, 상기 이미지 데이터에 투영 변환을 수행하도록 구성되는, 장면의 타겟 이미지를 캡처하기 위한 시스템.
11. 제 2 항에 있어서,
    상기 복수의 카메라들의 각각과 연관된 이차 광 재지향 표면을 더 포함하고, 상기 이차 광 재지향 표면은 상기 렌즈 어셈블리로부터의 광을 상기 이미지 센서 상으로 지향하도록 포지셔닝되는, 장면의 타겟 이미지를 캡처하기 위한 시스템.
12. 제 11 항에 있어서,
    적어도 하나의 애퍼처를 갖는 기판을 더 포함하고, 상기 적어도 하나의 애퍼처는 상기 광이 상기 적어도 하나의 애퍼처를 통해 상기 복수의 카메라들의 각각의 미러로 통과하게 하도록 포지셔닝되며,
    상기 복수의 카메라들의 각각에 대한 상기 이미지 센서는 상기 기판 상에 또는 상기 기판 내에 포지셔닝되는, 장면의 타겟 이미지를 캡처하기 위한 시스템.
13. 캡처된 이미지에서의 시차 아티팩트들이 실질적으로 없는 어레이 카메라를 제조하는 방법으로서,
    어레이에서 복수의 카메라들을 포지셔닝하는 단계로서, 상기 복수의 카메라들의 각각은 타겟 이미지 장면의 복수의 부분들 중 하나를 캡처하도록 구성되고, 상기 복수의 카메라들은 가상 투영 중심을 갖는 가상 카메라의 위치로부터 이미지 데이터를 각각 캡처하도록 포지셔닝되고, 상기 복수의 카메라들의 각각은,
    적어도 하나의 렌즈를 포함하는 렌즈 어셈블리,
    상기 렌즈 어셈블리의 옵틱스에 의해 적어도 부분적으로 결정된 위치를 가지는 카메라 투영 중심, 및
    상기 렌즈 어셈블리로부터 광을 수신하도록 포지셔닝된 센서
    를 포함하는, 상기 복수의 카메라들을 포지셔닝하는 단계; 및
    상기 복수의 카메라들의 각각에 대하여, 미러 평면 상에 포지셔닝된 미러를 제공하는 단계로서, 상기 미러 평면은 상기 가상 투영 중심을 통과하는 라인을 따르는 포인트를 교차하도록 포지셔닝되는, 상기 미러를 제공하는 단계를 포함하는, 어레이 카메라를 제조하는 방법
14. 제 13 항에 있어서,
    중앙 반사 엘리먼트의 패싯으로서 상기 복수의 카메라들의 각각에 대하여 미러를 제공하는 단계를 더 포함하고, 상기 복수의 카메라들은 상기 중앙 반사 엘리먼트 주위에 포지셔닝되는, 어레이 카메라를 제조하는 방법
15. 제 14 항에 있어서,
    상기 미러 평면은 추가로, 상기 카메라의 가상 투영 중심 통과하는 라인을 따르는 중심점을 교차하도록 포지셔닝되고 상기 라인에 직교하여 포지셔닝되는, 어레이 카메라를 제조하는 방법
16. 제 14 항에 있어서,
    상기 복수의 카메라들의 각각에 대한 상기 미러는 상기 중앙 반사 엘리먼트의 정점에서 교차하고,
    상기 방법은 상기 복수의 카메라들의 각각의 광축이 상기 정점과 교차하도록 상기 복수의 카메라들의 각각을 포지셔닝하는 단계를 더 포함하는, 어레이 카메라를 제조하는 방법
17. 제 13 항에 있어서,
    상기 복수의 카메라들의 각각에 대하여 이차 광 재지향 표면을 제공하는 단계를 더 포함하는, 어레이 카메라를 제조하는 방법
18. 제 17 항에 있어서,
    상기 렌즈 어셈블리로부터 수신된 광을 상기 센서 상으로 지향하기 위해 상기 렌즈 어셈블리와 상기 센서 사이에 상기 이차 광 재지향 표면을 포지셔닝하는 단계를 더 포함하는, 어레이 카메라를 제조하는 방법
19. 제 18 항에 있어서,
    상기 광이 애퍼처를 통해 상기 복수의 카메라들의 각각에 대한 상기 미러로 통과하도록 포지셔닝된 적어도 하나의 애퍼처를 갖는 기판을 제공하는 단계를 더 포함하는, 어레이 카메라를 제조하는 방법
20. 제 19 항에 있어서,
    모든 센서들이 동일한 평면 내에 포지셔닝되도록, 상기 기판 상에 또는 상기 기판 내에 상기 복수의 카메라들의 각각에 대하여 상기 센서를 장착하는 단계를 더 포함하는, 어레이 카메라를 제조하는 방법
21. 제 13 항에 있어서,
    상기 복수의 카메라들의 각각의 상기 센서와 전자 통신하는 프로세서를 제공하는 단계를 더 포함하고, 상기 프로세서는 타겟 이미지 장면의 복수의 부분들을 수신하여 상기 타겟 이미지 장면의 완전한 이미지를 생성하도록 구성되는, 어레이 카메라를 제조하는 방법
22. 시차에 실질적으로 자유로운 이미지를 캡처하는 방법으로서,
    상기 이미지의 장면을 나타내는 광을 복수의 미러들을 사용하여 복수의 부분들로 분할하는 단계;
    상기 복수의 부분들의 각각을 가상 투영 중심을 갖는 가상 카메라의 위치로부터 이미지 데이터를 캡처하도록 각각 포지셔닝된 복수의 카메라들 중 대응하는 카메라 쪽으로 지향하는 단계로서, 상기 복수의 카메라들의 각각은,
    적어도 하나의 렌즈를 가지는 렌즈 어셈블리,
    상기 렌즈 어셈블리의 옵틱스에 의해 적어도 부분적으로 결정된 위치를 가지는 카메라 투영 중심, 및
    상기 렌즈 어셈블리로부터 광을 수신하도록 포지셔닝된 센서
    를 포함하는, 상기 복수의 부분들의 각각을 지향하는 단계; 및
    상기 복수의 부분들을 상기 이미지 내로 어셈블리하는 단계를 포함하며,
    상기 복수의 미러들 중 각각의 미러에 대하여, 상기 미러는 미러 평면 상에 포지셔닝되고, 상기 미러 평면은 상기 가상 투영 중심을 통과하는 라인을 따르는 포인트를 교차하도록 포지셔닝되는, 시차에 실질적으로 자유로운 이미지를 캡처하는 방법.
23. 제 22 항에 있어서,
    캡처된 이미지 데이터에 투영 변환을 적용하여 상기 복수의 카메라들의 각각의 유효 틸트를 변경시키는 단계를 더 포함하는, 시차에 실질적으로 자유로운 이미지를 캡처하는 방법.
24. 제 22 항에 있어서,
    상기 복수의 카메라들의 각각에 대하여, 상기 렌즈 어셈블리로부터 수신된 상기 광을 이차 광 재지향 표면을 사용하여 상기 이미지 센서 상에 재지향하는 단계를 더 포함하는, 시차에 실질적으로 자유로운 이미지를 캡처하는 방법.
25. 장면의 타겟 이미지를 캡처하기 위한 장치로서,
    가상 투영 중심을 갖는 복수의 카메라들의 어레이로서, 상기 복수의 카메라들의 각각은 상기 장면의 타겟 이미지의 복수의 부분들 중 하나를 캡처하도록 구성되는, 상기 복수의 카메라들의 어레이; 및
    상기 복수의 카메라들의 각각에 대하여,
    이미지를 캡처하는 수단;
    상기 가상 투영 중심을 통과하는 라인을 따라 위치되는 투영 중심을 갖는 광을 포커싱하는 수단; 및
    상기 가상 투영 중심을 통과하는 라인을 따르는 포인트를 교차하도록 포지셔닝된 일차 광 재지향 평면 상에 위치된 광을 재지향하는 수단을 포함하는, 장면의 타겟 이미지를 캡처하기 위한 장치.
26. 제 25 항에 있어서,
    상기 광을 재지향하는 수단은 일차 광 폴딩 평면 내에 포지셔닝된 반사 표면 및 상기 일차 광 폴딩 평면 내에 포지셔닝된 패싯을 갖는 굴절 프리즘 중 하나를 포함하는, 장면의 타겟 이미지를 캡처하기 위한 장치.
27. 제 25 항에 있어서,
    상기 광을 포커싱하는 수단은 하나 이상의 렌즈들을 포함하는 렌즈 어셈블리를 포함하는, 장면의 타겟 이미지를 캡처하기 위한 장치.
28. 제 25 항에 있어서,
    상기 복수의 카메라들의 각각은 광 포커싱 수단으로부터 수신된 광을 이미지 캡처 수단 상으로 지향하도록 포지셔닝된 추가의 광 재지향 수단을 포함하는, 장면의 타겟 이미지를 캡처하기 위한 장치.
29. 제 25 항에 있어서,
    상기 복수의 부분들을 상기 타겟 이미지로 결합하는 수단을 더 포함하는, 장면의 타겟 이미지를 캡처하기 위한 장치.
30. 제 29 항에 있어서,
    상기 타겟 이미지의 상기 복수의 부분들 사이의 틸트 아티팩트들을 보상하는 수단을 더 포함하는, 장면의 타겟 이미지를 캡처하기 위한 장치.

Images