KR102234981B1

KR102234981B1 - 다중 카메라 파노라마식 촬상 시스템

Info

Publication number: KR102234981B1
Application number: KR1020207002743A
Authority: KR
Inventors: 자카리야 니야지
Original assignee: 자카리야 니야지
Priority date: 2014-05-06
Filing date: 2015-05-05
Publication date: 2021-04-01
Also published as: KR20200013800A; US10341559B2; US20190289209A1; IL248733A0; EP3855232A1; CN111510621B; RU2016145439A3; US11363194B2; US11743591B2; CA2953337A1; EP3140689A1; US20170085792A1; TWI708111B; KR20170005024A; US20220272261A1; AU2015256320B2; IL248733B; CA2953337C; US20200244881A1; KR102073206B1

Abstract

무시차를 가지는 다중카메라 파노라마식 촬상 시스템이 개시된다. 실시예에서, 상기 다중카메라 파노라마식 촬상 시스템은 나란한 어레이로 배치된 다수의 개별 촬상 시스템들을 포함하며, 각 개별 촬상 시스템들의 시야 영역은 각 인접하는 개별 촬상 시스템의 시야 영역과 만나며, 또한 상기 개별 촬상 시스템들 중 임의의 하나의 시스템의 시야 영역의 에지에서의 주 광선의 스텐실이 상기 개별 촬상 시스템들 중 임의의 인접하는 것들의 시야 영역의 에지에서의 주 광선의 스텐실과 실질적으로 평행하게 되어서, 상기 주 광선들의 실질적으로 평행하는 스텐실들 모두가 물체 공간으로부터 보여질 때에 공통 지점으로 수렴하게 나타난다. 무시차를 가지는 물체의 이미지를 형성하는 방법이 개시된다.

Description

다중 카메라 파노라마식 촬상 시스템 {A multicamera imaging system}

관련 출원 데이터

본원은 2014년 5월 6일에 출원된 미국 가출원 번호 61/989,136에 대한 우선권을 주장하며, 이 문헌의 논의 대상은 그 전체 내용이 본 명세서에서 참조로서 인용된다.

본 발명의 양태 및 구현예는 가장 일반적으로 광학 촬상 시스템, 이와 관련된 방법, 및 이의 용도들에 관한 것이며; 보다 구체적으로, 파노라마식 광학 촬상 시스템, 이와 관련된 방법, 및 이의 용도에 관한 것이며; 및, 가장 구체적으로, 제로 시차를 가지거나 또는 실질적으로 시차를 가지지 않는 파노라마식 광학 촬상 시스템, 이와 관련된 방법, 및 이의 용도에 관한 것이다.

시차가 없는 현 360 도 시스템은 미러의 배열을 사용하여 이미지를 스캐닝하고 초당 10 프레임(fps)의 촬상 속력에 의해서 제한된다. 구글은 Immersive Media에 의해 개발된 굴절 렌즈들을 갖는 360 도 카메라를 사용하여서 그의 Streetview 소프트웨어를 위한 사진을 캡처한다. 사진은 시차가 사후 처리되고 보정되어야 하는데, 이는 시간을 소모하며, 그의 Streetview 주도권을 확대할 구글의 능력을 감소시킨다. 피시아이 렌즈는 넓은 시야 영역 각(wide angle) 촬상을 제공하지만, 큰 왜곡을 감수해야 한다. 왜곡은 작은 편평한 이미지 평면 상에 큰 구형 물체를 맵핑하는 것의 물리적 결과이다.

일부 기업들은 파노라마식 이미지를 촬영하는 프로세스를 단순화하기 위해서 광학 시스템을 개발하였다. 다수의 샷들을 얻기 위해 카메라를 회전시키는 대신에, 모든 사진들은 해당 장면의 상이한 부분을 촬상하는 수많은 카메라들을 사용하여 동시에 캡처된다. Immersive Media 및 Greypoint Imaging은 $10,000 내지 $100,000 간의 변동하는 가격대에서 입수 가능한 단일 샷 360 도 카메라를 개발하였다. 양 기업들은 이미지에서 생성된 아티팩트(시차)를 자동으로 보정하는 소프트웨어를 개발하여 일 카메라, 예를 들어, iPhone 카메라에 의해서 캡처된 파노라마보다 양호한 솔루션을 제공한다. 그러나, 이 소프트웨어는 완벽하지 않으며 이미지 내에 여전히 수많은 아티팩트가 존재한다. 일례로, 구글은, 한 사람이 그랜드 캐년 주변을 Dodeca 360 카메라(Immersive Media에 의해 제공됨)를 가지고 다니며, 시차에 의해서 유발된 아티팩트으로 인해서 프레임별로 이미지를 보정하기 위해서 프로그래머를 채용해야 한다.

광학 시스템의 시차 및 주 광선

시차는 "예를 들어, 카메라의 뷰파인더 및 렌즈를 통해서, 상이한 위치로부터 보여질 때에 물체의 위치 또는 방향이 달리 나타나는 효과"로서 규정된다. 시차는 각각이 그 자신의 고유한 세상의 시점을 갖는, 다수의 카메라들로부터의 이미지를 함께 스티칭하는 결과로서 생성된다.

도 1을 참조하면, 광학 시스템의 주 광선은 물체의 에지에서 시작하여서, 구경 조리개에서 광학 축의 중심과 교차하며, 검출기에서 이미지의 에지에서 종료되는 자오 광선(meridional ray)이다. 이로써 주 광선은 이미지 크기를 규정한다.

주 광선은 다수의 이미지들을 함께 스티칭함으로써 생성된 시차에서 중요한 역할을 한다. 도 2는 2 개의 광학 시스템들(카메라들)을 나란히 예시한다. 상단 상의 렌즈 유닛에 대해서, 정방형, 삼각형 및 직사각형이 이미지 내의 동일한 지점으로 맵핑되는 반면, 하단 상의 렌즈 유닛에 대해서, 이들은 도시된 바와 같이 3 개의 개별 지점들로 맵핑된다. 상단 촬상 시스템에서, 이들은 동일한 주 광선에 의해서 촬상되는 반면, 하단 촬상 시스템에 대해서, 이들은 3 개의 개별 주 광선들에 의해서 촬상된다. 도 3에서 2 개의 이미지들을 결합할 때, 시차가 발생할 것이며, 도 4에 도시된 바와 같은 이미지가 생성될 것이다.

시차를 보정할 수 있는 알고리즘에 대한 연구는 수년 동안 진행 중이다. 수많은 솔루션들이 개발되었지만, 지금까지 가장 정교한 알고리즘을 사용하여도, 아티팩트는 파노라마식 이미지들 내에 여전히 남아 있다. 일부 솔루션들에 있어서, 이러한 바는 소프트웨어 엔지니어가 프레임별로 이미지를 고치기 위해서 고용될 수 있기 때문에 문제가 되지 않을 수 있다; 그러나, 일반적인 소비자의 경우에, 이와 같이 각 이미지를 보정하는 옵션은 실현 불가능하다. 이와 같은 시스템이 소비자 시장에서 입수될 수 있기 이전에 시차를 효과적으로 보정하는 보다 양호한 솔루션이 필요하다. 계산적으로 하는 대신에, 광학적으로 이미지 내의 시차를 감소시키는 문제를 해결하는 것이 바람직하다.

단일 샷 파노라마식 촬상을 위해서 생성된 현 설계는 시차를 겪는데, 그 이유는 이들이 중첩하는 시야 영역들을 갖는 촬상 시스템으로부터 생성되기 때문이다. 도 5는 미국 특허 2,696,758로부터 취해졌다. 이와 같은 도면은 시차가 오늘날 입수 가능한 360 도 촬상 시스템에서 어떻게 생성되는지를 예시한다. 시야 영역은 중첩하고, 하단 렌즈 시스템에 있어서 FOV의 에지에서 나타나는 삼각형은 상단 촬상 시스템에서 약 0.707 배의 FOV에서 나타날 것이다. 이로써, 삼각형은 각 카메라에 대해서 상이한 이미지 지점으로 맵핑된다. 하단에서, 삼각형은 전체 FOV(이미지의 에지)로 맵핑된다.

이로써, 본 발명자는 시차가 존재하지 않으며 시차가 후-프로세싱 소프트웨어에 의해서보다 광학적으로 제거되는 파노라마식 촬상 시스템 및 관련 방법의 장점 및 이점을 인식하였다. 이와 같은 시스템은 지구의 거리를 맵핑하기 위해서 스케일 가능한 방식을 제공하는 것; 도시 및 사설 기관 모두의 가상 투어 생성을 가능하게 하는 것; 고 프레임-레이트 비디오 감시; 드론 및 탱크 기술을 포함하는 군사용 용도; 큰 왜곡을 감수하여 넓은 시야 영역 각 촬상을 제공하는 피시아이 렌즈에 대한 대안을 포함하는 용도를 가질 것이다.

본 발명의 일 양태는 시차를 가지지 않는 다중카메라 파노라마식 촬상 시스템이다. 비한정적인 구현예에 따라서, 상기 다중카메라 파노라마식 촬상 시스템은 나란한 어레이로 배치된 복수의 개별 촬상 시스템들을 포함하며, 각 개별 촬상 시스템의 시야 영역은 각 인접하는 개별 촬상 시스템의 시야 영역과 만나며, 또한 상기 개별 촬상 시스템들 중 임의의 하나의 시스템의 시야 영역의 에지에서의 주 광선의 스텐실이 상기 개별 촬상 시스템들 중 임의의 인접하는 것들의 시야 영역의 에지에서의 주 광선의 스텐실과 실질적으로 평행하게 되어서, 상기 주 광선의 실질적으로 평행하는 스텐실들 모두가 물체 공간으로부터 보여질 때에 공통 지점으로 수렴하게 나타난다. 다양한 비한정적 구현예에서, 상기 다중카메라 파노라마식 촬상 시스템은 다음의 특징, 한정, 특성을 단독으로 또는 이들의 다양한 조합들로 포함하거나 더 특징으로 할 수 있다:

- 복수의 동일한 개별 촬상 시스템들을 포함하며;

- 상기 주 광선의 스텐실의 적어도 50%는 평행한 상태로부터 20 도 이하만큼 벗어나며;

- 상기 개별 촬상 시스템 각각은 이미지 센서를 포함하며, 또한 겉보기 수렴 지점이 상기 개별 촬상 시스템 각각의 상기 이미지 센서의 후방에 놓이며;

- 상기 개별 촬상 시스템 중 어느 것도 물리적으로 중첩하지 않으며;

- 상기 시스템은 12면체 기하구조를 가지며, 또한 상기 시스템은 360 도 FOV를 특징으로 하며;

- 상기 개별 촬상 시스템 각각의 전방 렌즈는 단일 연속 프리폼 광학소자(contiguous freeform optic)의 일부이며;

- 각 이미지 센서는 파면 센서(wavefront sensor)이며;

- 상기 개별 촬상 시스템 각각은 상기 촬상 시스템의 왜곡 및 펫츠발 곡률(Petzval Curvature)과 일치하도록 곡률을 갖는 이미지 평면을 가진다.

본 발명의 일 양태는 시차를 가지지 않는 물체의 이미지를 형성하는 방법이다. 비한정적 구현예에 따라서, 이 방법은 파노라마식 촬상 시스템을 제공하는 단계로서, 상기 파노라마식 촬상 시스템은 각각이 시야 영역(FOV)에 의해서 특성화되는 복수의 개별 촬상 시스템들을 포함하는, 단계; 및 상기 개별 촬상 시스템들의 매 하나의 시야 영역의 에지에서의 주 광선의 스텐실을 상기 개별 촬상 시스템들 중 바로 인접하는 것의 시야 영역의 에지에서의 주 광선들의 스텐실과 실질적으로 평행하게 되도록 제한하여, 상기 주 광선의 평행하는 스텐실들 모두가 물체 공간으로부터 보여질 때에 공통 지점으로 수렴하도록 나타나는 단계를 포함하며, 상기 촬상 시스템은 시차가 없다(parallax-free). 다양한 비한정적 구현예에서, 상기 파노라마식 촬상 방법은 다음의 특징, 한정, 특성, 단계를 단독으로 또는 이들의 다양한 조합들로 포함하거나 더 특징으로 할 수 있다:

- 상기 주 광선의 스텐실의 적어도 50%을 평행 상태로부터 20 도 이하만큼 벗어나게 제한하는 단계를 더 포함하며;

- 상기 촬상 시스템에 의해서 형성된 연속하는 360 도 이미지 내에서의 왜곡 수차를 보정하기 위한 알고리즘을 사용하는 단계를 더 포함한다.

본 발명의 일 양태는 (실질적으로) 시차가 없는, 파노라마식 촬상 시스템을 설계하는 방법이다. 비한정적인 구현예에 따라서, 이 방법은 전체 파노라마식 촬상 시스템 기하구조를 결정하는 단계로서, 상기 전체 파노라마식 촬상 시스템은 인접하는 촬상 시스템들의 시야 영역들이 만나도록 나란한 어레이로 배치된, 각각의 사야 영역들을 갖는 복수의 개별 촬상 시스템들을 포함하는, 단계; 및 상기 개별 촬상 시스템들 중 하나의 시스템의 시야 영역의 에지에서의 주 광선의 스텐실이 상기 개별 촬상 시스템들 중 인접하는 것의 시야 영역의 에지에서의 주 광선의 스텐실과 실질적으로 평행하게 되어서, 상기 주 광선들의 실질적으로 평행하는 스텐실이 물체 공간으로부터 보여질 때에 공통 지점으로 수렴하게 나타나는 상기 개별 촬상 시스템들을 설계하는 단계를 포함한다. 다양한 비한정적 구현예에서, 상기 파노라마식 촬상 방법은 다음의 특징, 한정, 특성, 단계를 단독으로 또는 이들의 다양한 조합들로 포함하거나 더 특징으로 할 수 있다:

- 상기 전체 파노라마식 촬상 시스템은 복수의 동일한 개별 촬상 시스템들을 포함하며;

- 상기 개별 촬상 시스템들을 설계할 시에, 상기 복수의 개별 촬상 시스템들 중 임의의 것들 간의 물리적 중첩이 존재하지 않는 것을 보장하며;

- 상기 개별 촬상 시스템들을 설계할 시에, 겉보기 수렴 지점이 각 개별 촬상 시스템의 각각의 이미지 센서의 후방에 놓이는 것을 보장한다.

본 발명에 의하면, 시차가 존재하지 않으며 시차가 후-프로세싱 소프트웨어에 의해서보다 광학적으로 제거되는 파노라마식 촬상 시스템 및 관련 방법이 제공되되, 이와 같은 시스템은 지구의 거리를 맵핑하기 위해서 스케일 가능한 방식을 제공하고; 도시 및 사설 기관 모두의 가상 투어 생성을 가능하게 하고; 고 프레임-레이트 비디오 감시; 드론 및 탱크 기술을 포함하는 군사용 용도; 큰 왜곡을 감수하여 넓은 시야 영역 각 촬상을 제공하는 피시아이 렌즈에 대한 대안을 포함하는 용도를 가능하게 한다.

도 1은 광학 시스템의 주 광선을 예시한다. 주 광선은 물체의 높이뿐만 아니라 이미지의 높이를 규정한다.
도 2는 다수의 굴절 촬상 시스템이 장면의 이미지를 캡처하는데 사용되는 경우 시차가 왜 발생하는지 예시한다. 상단 렌즈 유닛에서, 3 개의 물체들이 동일한 이미지 지점으로 맵핑되며; 하단 렌즈 유닛에서, 이들은 3 개의 별개의 이미지 지점들로 맵핑된다.
도 3(좌측)은 도 2에서의 상단 렌즈 유닛에 의해서 형성된 이미지를 예시하는 반면, 우측의 이미지는 하단 렌즈 유닛에 의해서 형성된 이미지이다.
도 4는 도 3에서 2 개의 이미지들을 결합하여서 생성되는 이미지를 도시한다.
도 5는 오늘날 생산된 카메라에서 시차가 어떻게 발생하는지를 예시한다. 시야 영역이 중첩하며, 하단 렌즈 시스템에서는 FOV의 에지에서 나타나는 삼각형이 상단 촬상 시스템에서는 약 0.707 배의 FOV에서 나타날 것이다. 이로써, 삼각형은 각 카메라에 대해서 상이한 이미지 지점으로 맵핑된다. 하단 카메라에서, 삼각형은 전체 FOV(이미지의 에지)로 맵핑된다.
도 6은 시차를 가지지 않는 2 개의 촬상 시스템들을 나란히 예시한다. 각 시스템의 에지에서의 주 광선은 서로 평행하게 놓이도록 제한된다. 이로써, 이와 같은 라인을 따라서 놓이는 물체는 이미지 평면 내의 동일한 지점으로 촬상된다.
도 7은 도시된 양 촬상 시스템들에 대한 (이하에서 규정된 바와 같은) 무-시차(NP) 지점의 위치를 예시한다.
도 8은 FOV의 에지에서의 주 광선이 평행하지 않으며, 이로써 NP 지점이 상이한 위치에서 놓이는 것을 도시한다.
도 9는 이미지 센서 앞에 놓인 NP 지점을 갖는 촬상 시스템을 예시한다.
도 10은 각각 FOV 에지에서의 주 광선들이 서로 평행하도록 정렬된 2 개의 촬상 시스템들을 예시한다.
도 11은 이미지 평면 후방의 NP 지점을 갖는 촬상 시스템을 도시한다.
도 12는 같은 위치에 있는 NP 지점을 갖는 다수의 유닛 촬상 시스템을 도시한다.
도 13은 각 12면체 면을 따라서 놓이도록 제한된 에지 광선을 갖는 360 도 렌즈 시스템의 3 차원 도면이다.
도 14는 렌즈가 오각형이기보다는 원형인 경우에 생성될 사각 지역(blind spots)을 예시하는 오각형 내에 내접한 원을 도시한다.
도 15는 정오각형을 외접하도록 초기에 설계된, 각 시스템의 제1 렌즈 요소를 도시한다.
도 16은 제1 렌즈 요소의 직경이 1.7013a로 제약되며, 여기서 a는 정오각형의 한 변의 길이이다.
도 17은 제1 렌즈 요소의 중심으로부터 12면체의 중심(NP 지점)까지의 거리가 1.1135a이며, 여기서 a는 정오각형의 한 변의 길이이다.
도 18은 오각형 면의 상단으로부터 NP 지점까지의 거리가 1.31a로 제한되며, 여기서 a는 정오각형의 한 변의 길이이다. 여기서, NP 지점은 12면체의 중심이다.
도 19은 12면체의 중심에 대하여 제1 렌즈 요소 상에 부여된 제한을 예시하는 도면이다. "a"는 12면체 내의 각 정오각형의 한 변의 길이이다.
도 20은 임의의 요소의 최대 길이가 12면체의 중심으로부터 발산하는 광의 31.717 도 절반 각 콘(half angle cone) 내로 피팅되게 제한된 것을 예시하는 도면이다.
도 21은 오각형 에지의 중심과 12면체의 중심 간의 각도 및 12면체의 1/12의 3 차원도이다.
도 22은 오각형 에지의 에지와 12면체의 중심 간의 각도 및 12면체의 1/12의 3 차원도이다.
도 23은 광선 1 및 광선 37로의 높이를 도시하는 오각형 형상의 렌즈 요소를 도시한다.
도 24은 모델에서 광선 1 및 37을 도시하는 현 렌즈 설계의 Zemax 도면이다.
도 25은 후방으로부터의 현 렌즈 설계의 3 차원 Zemax 도면이다.
도 26은 측면으로부터의 3 차원 Zemax 도면이다.

파노라마식 카메라가 최소 시차를 달성하기 위해서, 촬상 시스템의 시야 영역(FOV)은 중첩되지 말아야 한다. 이로써, FOV의 에지에서의 주 광선은 인접하는 광학 시스템의 에지에서의 주 광선에 대해 평행한 광학 시스템에 접근해야 한다.

도 6은 시차를 가지지 않는 2 개의 촬상 시스템들을 나란히 예시한다. 각 시스템의 에지에서의 주 광선은 서로 평행하게 놓이도록 제한된다. 이로써, 이와 같은 라인을 따라서 놓이는 물체는 이미지 평면 내의 동일한 지점으로 촬상된다. 이는 개별적인 렌즈 요소를 설계하는데 사용될 수 있는 접근법이다. 시야 영역은 서로 중첩하지 않는데 그 이유는 블렌딩(blending) 각도에서의 주 광선이 서로 평행하도록 제한되며 공통 지점으로 수렴하기 때문이다. 공통 지점은 렌즈가 매입된 기하구조에 의존할 것이다. 달리 말하면, 물체 공간으로부터 렌즈 시스템을 볼 때에 주 광선이 동일한 지점에서 광학 축을 교차하게 나타나도록 평행하게 제한된다. 실제로, 이들은 이러한 가상 지점 앞에 놓이는, 이미지 센서에서의 광학 축과 교차하지만, 물체 공간으로부터 렌즈 시스템을 볼 때에, 이들이 동일한 지점에서 교차는 것이 나타난다.

NP 지점(무시차 지점)

전술한 개념의 이해를 돕기 위해서, 용어 무시차 지점(No Parallax Point)(NP 지점)이 참조된다. NP 지점은 FOV의 에지에서의 주 광선이 서로 평행하게 놓이도록 물리적으로 될 수 있는 방식 및 이들이 어떠한 규칙을 따라야 하는지를 이해시키기 위해서 사용되는 축약용어이다. NP 지점은 시차가 없는 파노라마식 촬상 시스템에서 물체 공간으로부터 시스템을 볼 때에 인접하는 광학 시스템의 에지에서의 주 광선이 광학 축과 교차하는 지점이다.

실시된 발명에 따라서, 각 촬상 시스템에 대한 NP 지점은 동일한 위치에 놓여야 한다. 다시 말해서, 인접하는 광학 시스템의 광선은 평행해야 한다. 도 9는 촬상 센서 앞에 놓인 NP 지점을 갖는 촬상 시스템을 도시한다. 도 10은 개개의 FOV 에지에서의 주 광선이 서로 평행하도록 정렬된 2 개의 촬상 시스템들을 예시한다. 이와 같은 제한은 NP 지점이 양 시스템들에 대해서 동일한 위치에 있어야 함을 의미한다. NP 지점이 이미지 센서의 앞에 있으면, 렌즈 요소를 중첩시키지 않으면서 NP 지점을 정렬시키는 것은 불가능하다. 이와 같은 시스템은 어떠한 시차도 가지지 않을 것이지만, 구현하는 것은 물리적으로 불가능하다. 이는 광학 시스템을 설계할 때에, 어떠한 요소들도 서로 중첩하지 않도록 NP 지점이 촬상 시스템 내의 모든 요소들 후방에 놓여야 한다는 것을 나타낸다.

도 11은 이미지 평면 후방에 NP 지점이 놓이는 시스템을 도시한다. 이와 같은 경우에, 도 12에 도시된 바와 같이, 시야 영역들이 중첩하지 않도록 다수의 촬상 시스템들을 배열하는 것이 가능하다. NP 지점의 정확한 위치는 렌즈 배열 기하구조에 의해서 결정될 것이다. 이 위치를 임의적으로 선택함으로써, 다시 말하면, 주 광선이 이미지 평면 후방의 광학 축과 교차하게 나타나도록 광선 높이 및 입사각을 임의적으로 선택함으로써, 렌즈 시스템의 기하구조는 모든 360 도 이미지를 캡처하도록 수백 개의 렌즈 유닛들을 요구할 수 있다. NP 지점 위치는 렌즈에 대해서 사용하기 원할 수 있는 기하구조를 고려한 후에 결정되어야 한다.

본 발명의 구현예는 다중카메라 파노라마식 촬상 시스템에 관한 것이며, 여기서 인접하는 촬상 유닛의 영역은 수렴하여서, 도 7의 개략도에서 예시된 바와 같이, 전체 촬상 시스템의 복합 시야 영역을 형성한다. 통상적인 파노라마식 촬상 시스템은 그들의 각각의 시야 영역이 도 8의 개략도에서 예시된 바와 같이, 중첩하도록 하는 방식으로 촬상 유닛을 결합하며, 이는 이로써 생성되는 이미지에서의 시차로 이어지며, 이러한 시차를 제거하기 위해서 이미지를 함께 스티치하기 위한 보정 소프트웨어가 요구된다.

본 예시적인 구현예에서, 일 촬상 유닛의 에지에 입사되는 광선은 인접하는 촬상 유닛의 입사 광선과 평행하게 놓이도록 제한되며 이로써 양 촬상 시스템들은 에지 광선들의 동일한 세트를 공유한다. 도 13의 3 차원 모델에서 볼 수 있는 바와 같이, 일 촬상 유닛의 에지에서의 광선은 인접하는 촬상 유닛의 에지에서의 광선들과 동일하다. 이 광선은 12면체 에지의 표면을 따라서 놓이도록 제한되는 그레이(gray) 라인이다. 각 오각형 형상의 렌즈의 에지에서의 그레이 광선은 그의 이웃하는 표면에 입사되는 광선과 일치한다. 에지 광선 아래의 반경에서의 모든 광선들은, 이들 광선이 인접하는 시스템으로부터의 광선과 중첩하지 않게, 보다 작은 입사 각으로 놓인다.

실시된 파노라마식 촬상 시스템은 이미지 센서 후방의 NP 지점을 갖는 촬상 시스템을 설계하는 전술한 기술을 사용하고, 다수의 렌즈 시스템들을 12면체 기하구조로 결합하여서, 최소 시차 또는 무시차인 360 도 FOV 카메라를 생성한다.

제1 렌즈 요소는 정오각형의 표면으로 형성될 것이다. 완전한 시스템은 12 개의 개별 촬상 유닛들로 구성되며, 각 유닛은 오각형의 에지를 따르는 광선에 대한 공통 NP 지점을 가지며, 상기 시스템은 12면체의 기하구조에 의해서 특정된 기하구조를 만족하는 입사각을 갖도록 제한된다.

12면체는 12 개의 표면들을 갖는 다면체이다. 다면체는 에지에서 만나는 다각형들의 집합으로 구성된 3 차원 입체이다. 12면체의 각 측면은 정오각형(동일한 길이의 변들을 갖는 오각형)이다. 12면체는 이러한 기하구조를 사용하는 렌즈 시스템을 설계하기 위해서 이해되어야 하는 일부 중요한 기하학적 특성들을 갖는다. 이러한 특성은 제1 렌즈가 오각형의 표면으로 형성되어야만 하는 이유를 간략하게 논의한 후에 바로 다음에 논의될 것이다.

12면체 기하구조 내의 제1 요소로서 원형 에지를 갖는 렌즈를 사용함으로써, 에지 광선을 정렬시키는 현 기술을 사용하여서 360 도 시야 영역 내의 모든 정보를 캡처하는 것은 가능하지 않다. 제1 렌즈가 오각형 내에 내접되는 경우로부터의 손실 구역(도 14에서 음영 영역)은 사각 지역을 발생시킨다. 시야 영역이 중첩되지 않기 때문에, 이와 같은 정보는 절대 캡처되지 않는다. 원의 면적 및 이 원을 내접하는 오각형 간의 면적의 비는 π/5 또는 62.83%와 동일하게 계산될 수 있다. 이는 본 출원인 주변의 360 도 영역에 대해서 본 출원인이 기록할 수 있는 최대 정보량이다. 렌즈 및 오각형 간에 생성된 사각 지역은 360 도 이미지에서 대략 40%의 정보를 삭제한다.

다음 설명은 12면체의 기하구조를 예시하도록 의도된 것이며 전술한 NP 기술 및 12면체 기하구조를 사용하는 렌즈 시스템을 생성할 때 필요하지만, 본 명세서에서 실시되는 무시차 파노라마식 촬상 시스템을 생성하기 위한 목적에 있어서 본질적인 것은 아니다.

특성 1: 정오각형을 외접하는 원의 직경

12 개의 개별적인 렌즈 시스템들 각각에 대해서, 제1 렌즈가 도 15에 도시된 바와 같이 12면체의 정오각형들 각각을 외접하도록 설계될 것이다. 정오각형을 외접하는 원의 직경은 다음과 같이 된다:

D = a/sin (36°) = 1.7013a

위의 등식에서, "a"는 정오각형의 변 길이이다. 각 시스템의 제1 렌즈 요소는 각 오각형을 완전하게 외접할 것이며, 이로써 각 시스템에 대한 제1 렌즈 요소의 직경이 도 16에서 예시된 바와 같이 1.7013a으로 주어진다.

특성 2: 각 오각형의 중심을 터치하는 내접된 구(inscribed sphere)

내접된 구(12면체의 면들 각각과 접함)의 반경은 다음과 같다:

이와 같은 반경은 본 설계에서 각 렌즈에 대한 NP 지점일, 12면체의 중심과 해당 오각형을 점유하는 시스템 내의 제1 렌즈 요소의 중심(광학 축)과 일치하는 오각형의 면의 중심 간의 거리이다. 이와 같은 지점은 각 오각형 면의 중심에 있다. NP 지점 및 12면체의 중심 간의 길이는 도 17에서 예시된 바와 같이, 1.1135a로 제한되며, 여기서 a는 오각형 변들 중 한 변의 길이이다.

특성 3: 12면체의 중간-반경(mid-radius)

중간-반경은 12면체의 중심과 각 에지의 중간을 연결하는 길이이다. 이와 같은 길이는 다음과 같이 주어진다:

이와 같은 등식은 도 18에서 예시된 바와 같이, 오각형 면의 상단과 NP 지점 간의 거리를 제한한다.

제한

12면체의 기하학적 특성은 이를 실현할 12 개의 렌즈들의 설계를 제한한다. 특히, 본 출원인은 위에서 주어진 설명에 기초하여 다음과 같은 4 개의 파라미터들을 갖는다:

1. 제1 렌즈 요소의 직경: 1.7013a;

2. 제1 렌즈 요소에서 12면체의 중심까지의 거리: 1.1135a;

3. 제1 렌즈 요소의 상단으로부터 12면체의 중심까지의 거리: 1.31a;

4. FOV = 37.3777 도

처음의 3 개의 제한들 중 임의의 2 개가 주어지면, 렌즈의 광학 축과 제1 렌즈 요소의 상단 간의 각도는 37.3777 도이다(도 19 참조):

tan^-1((1.7013/2)/1.1135) - 37.377°.

본 출원인은 37.37 도의 이와 같은 각도가 렌즈의 시야 영역이 되기를 원한다. 이는 NP 지점, 즉, 블렌딩(블렌딩 각은 전체 FOV임)의 주 광선이 물체 공간 내의 광학 축과 교차하는 지점이 12면체의 중심에 놓이는 것을 보장할 것이다. 다른 제한 모두는 렌즈 요소가 NP 지점 앞에 놓이고 해당 요소가 광의 31.717 도 절반 각 콘 내에 놓이는 것을 보장할 것이다.

다른 렌즈 요소 및 센서의 직경

*위의 주어진 4 개의 제한을 사용하여, 본 출원인은 12면체 기하구조와 피팅되도록 제1 렌즈 요소 이후의 각 렌즈 요소가 가져야 하는 크기를 알았다. 선행하는 렌즈 요소가 피팅되기 위해서, 임의의 렌즈 또는 센서 요소는 12면체의 중심에서 시작하는 광의 31.717 도 콘 내측에 피팅되고 제1 렌즈 요소의 직경과 접하게 피팅되어야 한다. 제1 렌즈 요소로부터의 거리가 증가할수록, 선행하는 렌즈 요소의 직경은 비례하여 감소할 것이다(도 20 참조).

제1 렌즈 요소을 선행하는 임의의 렌즈 요소 또는 센서의 최대 직경은 (1.1135a - D)*tan(31. 716 도 )와 동일하거나 이보다 작게 기하학적으로 발견될 수 있으며, 여기서 D는 제1 렌즈 요소로부터의 해당 렌즈 요소의 거리이다.

이로써, 본 출원인은 지금 이와 같은 렌즈 시스템이 12면체의 기하구조와 일치하고 360 도 촬상을 허용하게하는 5 개의 제한을 갖는다:

1. 제1 렌즈 요소의 직경: 1.3763a;

2. 제1 렌즈 요소로부터 12면체의 중심까지의 거리: 1.1135a;

3. 제1 렌즈 요소의 상단으로부터 12면체의 중심까지의 거리: 1.31a;

4. FOV = 37.377 도;

5. φ _Li < (1.1135a - D _L1,Li )tan(31.717°),

여기서, φ _Li 는 제1 렌즈 요소로부터 거리 D _L1,Li 만큼 이격된 임의의 렌즈 요소의 직경이다. 위의 5 개의 제한이 주어지고, 모든 렌즈들이 12면체의 중심으로부터 발산하는 광의 31.717 도 콘(cone) 내에 놓이도록 설계되는 경우에, 시차 없는 렌즈 시스템을 구성하는 것이 가능하다.

시스템 설계

렌즈를 위한 기하구조가 선택된다. 플라톤 입체는 동일한 기하구조 및 용적의 수많은 입체들로 구성된다는 특성을 갖는다. 시스템 촬상 360 도의 경우에, 이는 복합 촬상 시스템이 동일한 복제된 렌즈 설계로부터 이루어지게 한다. 12면체 기하구조가 선택되었는데, 그 이유는 그것이 그의 기하구조에 있어서 대략적으로 구형이기 때문이다.

일 촬상 유닛의 에지 광선이 인접하는 유닛의 에지 광선과 평행하게 놓이도록 하기 위해서, 이 에지 광선은 동일한 각도로 입사되어야 한다. 양 촬상 유닛들에 의해서 공유되는 각도는 12면체의 에지 표면의 각도이다. 에지 표면의 중심에서, 12면체의 중심의 중심 대한 각도는 도 21에서 예시된 바와 같이 31.717 도이다. 에지 표면의 코너에서, 12면체의 중심에 대한 각도는 도 22에서 예시된 바와 같이 37.377 도이다.

이러한 광선이 인접하는 촬상을 따라서 일치하기 위해서, 촬상 유닛의 제1 렌즈는 오각형으로 절단되며, 이 오각형은 12면체의 표면과 일치한다. 에지의 중심에서, 이 표면에 입사하는 광선은 31.717 도의 입사각으로 입사한다. 에지의 코너에서, 입사하는 광선의 입사각은 37.377 도이다. 렌즈의 에지를 따르는 모든 지점들에서, 입사 광선의 입사각은 12면체 표면의 기하구조와 일치하게 된다.

오각형 렌즈의 에지를 따라서 37 개의 광선들에 대한 입사 각이, 도 21 및 22에서 도시된 바와 같이, 논의되고 있는 12면체의 중심으로부터 오각형 면의 중심까지의 거리를 알고, 12면체의 중심으로부터 해당 에지 지점까지의 거리를 알면서, 삼각법을 사용하여 계산되었다. 각 광선의 높이는 오각형 에지를 따라서 놓이도록 제한되었다. 예를 들어, 120 mm의 반경이 표면 1의 외접된 원을 설명할 경우에, 지점 1에서의 광선은 48.54 mm의 높이 및 31.717 도의 입사각을 갖는다. 지점 37에서의 광선은 60 mm의 높이 및 37.377 도의 입사각을 갖는다. 표 1은 도 23에서 지점 1 및 지점 37 간의 37 개의 지점들에 대한 광선 높이 및 입사각 값을 설명한다.

(제1 렌즈의 에지를 따라서 놓인 37개의 광선들에 대한 제한을 도시하는 데이터)

광선 제한을 예시하는 도면이 도 24에 예시된다. 광선 1은 48.54 mm의 높이 및 31.717 도의 입사각을 갖는다. 광선 1은 도 24에서 지점 1을 통과하는 광선이다. 광선 2는 60 mm의 높이 및 37.377 도의 입사각을 가지며, 도 24에서 지점 37을 통과하는 광선이다. 모든 37 개의 광선들이 위의 표에서 특정된 광선 높이 및 각도에 의해서 제한된다. 이와 같은 방식으로 제한되면, 모든 광선들은 12면체의 표면과 동일한 각도로 렌즈에 입사된다. 다른 방식으로 이들 동일한 광선을 보게 되면, 본 출원인은 광선이 도 25 및 도 26에서 예시된 바와 같은, 올바른 입사각에서 오각형 기하구조로 적합하게 제한된다.

Claims

중심을 가지는 3차원 기하학적 형상을 형성하는 나란한 어레이(side-by-side array)로 된 복수의 개별 촬상 시스템;
상기 개별 촬상 시스템의 제 1 렌즈 요소들 사이에 복수의 공통 에지를 형성하도록 개별 촬상 시스템 중 인접한 촬상 시스템이 제 1 렌즈 요소의 인접한 에지에 접하도록 각각 나란한 어레이로 된 복수의 에지를 가진 상기 제 1 렌즈 요소를 구비하는 각각의 개별 촬상 시스템으로서, 각각의 상기 에지는 3차원 기하학적 형상의 중심에 대하여 상기 에지를 따르는 지점에서 복수의 에지 표면 각을 형성하는, 각각의 개별 촬상 시스템; 및
복수의 상기 에지에 의해 형성된 상기 에지 표면 각과 동일한 입사각을 가지도록 상기 제 1 렌즈 요소의 에지를 따라 입사하는 복수의 주광선(chief rays)을 제한(constrain)하도록 된 각각의 개별 촬상 시스템으로서, 개별 촬상 시스템 중 인접한 촬상 시스템 사이의 상기 공통 에지에 입사하는 상기 주광선은 평행 또는 서로 20도 이하의 각도를 가지며, 최소한의 시차로써 또는 시차가 없이 이미지를 형성하도록 상기 공통 에지를 따라 결합된 시야 영역을 제공하는 각각의 개별 촬상 시스템;을 포함하는 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.
제 1 항에 있어서,
상기 개별 촬상 시스템 중 인접한 촬상 시스템 사이에서 상기 공통 에지를 따라 입사하는 상기 주광선은 물체측 공간에서 볼 때 공통 NP 지점으로 수렴되는 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.
제 1 항에 있어서,
상기 3차원 기하학적 형상은 다면체이며, 상기 제 1 렌즈 요소는 다각형인 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.
제 1 항에 있어서,
상기 3차원 기하학적 형상은 12면체이며, 상기 제 1 렌즈 요소는 오각형인 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.
제 4 항에 있어서,
상기 오각형의 에지는 길이 a를 가지며, 상기 오각형 형상을 외접하는 원의 직경은 a/sin(36°)= 1.7013a 이며, 상기 12면체 내에서 내접된 구의 반경은,

이며,
상기 12면체의 중심으로부터 상기 제 1 렌즈 요소의 에지 상의 중간 지점까지의 거리는,

인 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.
제 1 항에 있어서,
각각의 상기 개별 촬상 시스템의 상기 제 1 렌즈 요소는 단일의 인접한 자유형태의 광학계의 일부인 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.
제 1 항에 있어서,
상기 3차원 기하학적 형상의 표면은 각각의 상기 개별 촬상 시스템에서 상기 제 1 렌즈 요소에 의해 형성되는 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.
제 1 항에 있어서,
복수의 상기 개별 촬상 시스템은 360도 시야 영역을 제공하도록 된 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.
제 1 항에 있어서,
각각의 상기 개별 촬상 시스템은 만곡된 이미지 평면을 구비하는 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.
제 1 항에 있어서,
각각의 상기 개별 촬상 시스템은 이미지 센서를 구비하되, 상기 3차원 기하학적 형상의 중심은 상기 이미지 센서 뒤에 위치되는 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.
제 10 항에 있어서,
상기 이미지 센서는 파면 센서(wavefront sensor)인 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.
나란하게 배치되며 각각 복수의 에지를 가진 제 1 렌즈 요소를 구비하는 제 1 개별 촬상 시스템 및 제 2 개별 촬상 시스템으로서, 상기 제 1 개별 촬상 시스템의 제 1 에지는 상기 제 2 개별 촬상 시스템의 제 2 에지에 접하여 공통 에지를 형성하게 되는, 상기 제 1 개별 촬상 시스템 및 상기 제 2 개별 촬상 시스템을 포함하되,
상기 제 1 개별 촬상 시스템은 상기 공통 에지를 따라 입사하는 복수의 제 1 주광선을 제한하고, 상기 제 2 개별 촬상 시스템은 복수의 상기 제 1 주광선에 대하여 평행 또는 20도 이하의 각도를 가지며 상기 공통 에지를 따라 입사하는 복수의 제 2 주광선을 제한하여, 상기 제 1 개별 촬상 시스템 및 상기 제 2 개별 촬상 시스템은 최소한의 시차로서 또는 시차 없이 이미지를 형성하도록 상기 공통 에지를 따라 결합된 시야 영역을 제공하게 되는 것을 특징으로 하는 다중 카메라 촬상 시스템.
제 12 항에 있어서,
상기 제 1 개별 촬상 시스템 및 상기 제 2 개별 촬상 시스템 사이에서 상기 공통 에지를 따라 입사하는 상기 주광선은 물체측 공간에서 볼 때 공통 NP 지점으로 수렴하게 되는 것을 특징으로 하는 다중 카메라 촬상 시스템.
제 13 항에 있어서,
상기 제 1 개별 촬상 시스템 및 상기 제 2 개별 촬상 시스템은 이미지 센서를 각각 구비하되, 상기 공통 NP 지점은 상기 이미지 센서 뒤에 배치되는 것을 특징으로 하는 다중 카메라 촬상 시스템.
제 14 항에 있어서,
상기 이미지 센서는 파면 센서인 것을 특징으로 하는 다중 카메라 촬상 시스템.
제 12 항에 있어서,
상기 제 1 개별 촬상 시스템의 제 1 렌즈 요소와 상기 제 2 개별 촬상 시스템의 제 1 렌즈 요소는 단일의 인접한 자유형태의 광학계의 일부인 것을 특징으로 하는 다중 카메라 촬상 시스템.
제 12 항에 있어서,
상기 제 1 개별 촬상 시스템 및 상기 제 2 개별 촬상 시스템은 만곡된 이미지 평면을 각각 구비하는 것을 특징으로 하는 다중 카메라 촬상 시스템.
제 12 항에 있어서,
복수의 상기 제 1 주광선 및 복수의 상기 제 2 주광선의 50% 이상은 평행 또는 서로 20도 이하의 각도를 갖는 것을 특징으로 하는 다중 카메라 촬상 시스템.