KR20150122670A - 옴니스테레오 이미징 - Google Patents

Abstract

초광각 렌즈를 가진 최소 3 개의 카메라를 사용하여 옴니스테레오 이미지를 캡쳐하기 위한 카메라 셋업이 기술된다. 스테레오로 이것이 커버하는 시야는 돔일 수도 있다. 카메라의 쌍들 사이의 베이스라인은 시차에 기인한 임의의 수평 오정렬이 없이 이어붙이기 위하여 사용될 수 있는 에피폴을 규정한다.

Description

옴니스테레오 이미징{OMNISTEREO IMAGING}

관련 출원들에 대한 상호 참조

본 출원은 2013 년 2 월 4 일에 출원된 미국 가출원 번호 61/760,383 출원에 대한 우선권을 주장한다.

본 발명은 깊이 인식이 있는 360 도 시야를 획득하는 몰입형 이미징(immersive imaging)의 분야에 관한 것이다.

전통적인 스테레오 이미징은, 동일한 방향을 바라보는 두 개의 다소 상이한 뷰포인트를 캡쳐하기 위한, 베이스라인을 따라 분리된 두 개의 카메라를 사용한다. 그러면 스테레오 이미지 쌍은 스테레오 디스플레이 상에 투영되고 인간 뇌에 의하여 합성되어 장면 깊이에 대한 강렬한 신호를 획득할 수 있다.

옴니스테레오 이미징의 목적은 관찰자 주위에서 360 도까지에 대한 스테레오 신호(stereo cue)를 제공하는 것이다. 옴니스테레오 이미지는 머리 지향 방향을 추적할 필요가 없이 가상 환경에서 네비게이션하기 위하여 사용될 수 있다.

옴니스테레오 이미지를 캡쳐하는데 있어서의 어려운 점은, 캡쳐가 나란한 두 개의 카메라에 의하여 단순하게 이루어질 수 없다는 것이다. 이러한 캡쳐는 메디안 라인(베이스라인에 수직)에 대한 최대의 스테레오 정보를 제공하지만 베이스라인을 따라서는 스테레오 정보를 제공하지 않는다.

본 명세서에서 스테레오 몰입형(옴니스테레오) 캡쳐를 위한 카메라 셋업이 기술된다. 이미지들의 옴니스테레오(omnistereo) 쌍이 중앙 관찰자 주위에서 360 도까지 스테레오 정보를 제공한다. 옴니폴라(omnipolar) 카메라 셋업은 초광각 렌즈가 있는 최소 3 개의 카메라를 사용한다. 셋업을 둘러싸는 모든 가시 포인트는 약 180 도 시야에서, 셋업의 지향에 의존하여 약 카메라의 높이 및 카메라의 높이 이상에서 그리고 미만으로부터 적어도 두 개의 카메라에 의하여 스테레오로 캡쳐될 수도 있다.

이어붙이기 방법은 카메라 셋업의 이미지를 촬영하고 시차에 기인한 수평 오정렬이 없이 이미지의 옴니스테레오 쌍을 생성한다. 이어붙이기는 인접 카메라 이미지 내의 에피폴(epipole)을 지나가는 수직 평면에서 이루어진다. 미제약 동적 장면이 카메라가 이동하는 동안 캡쳐될 수도 있다. 캡쳐된 비디오는 옴니스테레오 돔 내에서 디스플레이되도록 포매팅된다. 등극선 이어붙이기 방법도 표준 렌즈를 사용하여 높은 해상도 단안 카메라 셋업을 설계하기 위하여 사용될 수도 있다. 이러한 셋업은 통상적인 시스템에서 보통 관찰되는 시차에 기인한 오정렬을 감소시킨다.

넓은 제 1 양태에 따르면, 옴니폴라(omnipolar) 이미징 디바이스로서, 베이스라인 높이에 있으며 원 주위에서 실질적으로 등거리에 포지셔닝된 적어도 3 개의 카메라로서, 적어도 3 개의 카메라의 각각은 동일한 방향으로 지향되고 실질적으로 360 도의 시야의 부분에 대한 이미지를 캡쳐하도록 되어 있는 광각 렌즈를 가지는, 적어도 3 개의 카메라; 및 상기 적어도 3 개의 카메라를 고정된 포지션에서 유지시키기 위한 장착(mounting) 장치를 포함하는, 옴니폴라 이미징 디바이스가 제공된다.

몇 가지 실시예들에서, 이러한 디바이스는 상기 적어도 3 개의 카메라로부터 캡쳐된 이미지를 수신하고, 실질적으로 360 도의 시야의 좌안 뷰 및 우안 뷰를 생성하도록 적어도 3 개의 카메라의 각각으로부터의 캡쳐된 이미지의 부분들을 서로 이어붙이기 위한 처리 디바이스를 더 포함한다.

몇 가지 실시예들에서, 적어도 3 개의 카메라의 각각은 동적 이미지인 이미지를 캡쳐하도록 적응된다.

몇 가지 실시예들에서, 이어붙이기 위해서 선택된 상기 적어도 3 개의 카메라의 각각으로부터의 캡쳐된 이미지의 각각의 부분은 360 도/N의 시야에 대응하고, N은 상기 적어도 3 개의 카메라의 개수가다.

몇 가지 실시예들에서, 상기 처리 디바이스는, 이어붙이기 위하여 선택되는 상기 적어도 3 개의 카메라 중 주어진 하나의 카메라에 의하여 캡쳐되는 이미지의 각각의 부분에 대한 제 1 보더 및 제 2 보더를 규정하기 위한 것이고, 상기 제 1 보더는 상기 주어진 카메라의 중심점과 상기 적어도 3 개의 카메라 중 상기 주어진 카메라에 인접하는 제 1 카메라의 중심점을 연결하는 제 1 라인에 적어도 부분적으로 대응하고, 상기 제 2 보더는 상기 주어진 카메라의 중심점과 상기 적어도 3 개의 카메라 중 상기 주어진 카메라에 인접하는 제 2 카메라의 중심점을 연결하는 제 2 라인에 적어도 부분적으로 대응한다.

몇 가지 실시예들에서, 이어붙이기 위하여 선택되는 캡쳐된 이미지의 각각의 부분에 대하여, 상기 처리 디바이스는 상기 이미지의 둘레에 도달할 때까지 상기 제 1 보더가 상기 제 1 라인에 대응하게 그리고 상기 제 2 보더가 상기 제 2 라인에 대응하게 규정하기 위한 것이다.

몇 가지 실시예들에서, 상기 처리 디바이스는, 제 1 인접 카메라의 제 1 복제본 및 제 2 인접 카메라의 제 2 복제본을 포함하는 이미지를 상기 주어진 카메라로부터 수신하는 것을 포함하여, 상기 캡쳐된 이미지를 수신하기 위한 것이고, 상기 이미지의 제 1 부분 및 상기 이미지의 제 2 부분은 이어붙이기 위하여 선택된다.

몇 가지 실시예들에서, 상기 처리 디바이스는, 상기 이미지의 제 1 및 제 2 부분의 각각에 대하여 제 1 섹션 및 제 2 섹션을 각각 포함하는 제 1 및 제 2 보더를 규정하기 위한 것이고, 상기 이미지의 제 1 부분에 대하여, 상기 제 1 보더의 제 1 섹션은 상기 제 1 라인에 대응하고, 제 2 보더의 제 1 섹션은 상기 제 2 라인에 대응하고, 상기 제 1 보더의 제 2 섹션은 상기 제 1 복제본을 상기 이미지의 제 1 부분으로부터 제거하기 위하여 상기 제 1 라인으로부터 멀어지게 연장되며, 상기 제 2 보더의 제 2 섹션은 상기 제 2 라인으로부터 멀어지게 연장되고 상기 제 1 보더의 제 2 섹션 과 동일한 형상을 가지며, 그리고 상기 이미지의 제 2 부분에 대하여, 상기 제 1 보더의 제 1 섹션은 상기 제 2 라인에 대응하고, 상기 제 2 보더의 제 1 섹션은 상기 제 1 라인에 대응하며, 상기 제 1 보더의 제 2 섹션은 상기 제 2 복제본을 상기 이미지의 제 2 부분으로부터 제거하기 위하여 상기 제 2 라인으로부터 멀어지게 연장되고, 상기 제 2 보더의 제 2 섹션은 상기 제 1 라인으로부터 멀어지게 연장되며 상기 제 1 보더의 제 2 섹션 과 동일한 형상을 가진다.

몇 가지 실시예들에서, 상기 이미지의 제 1 부분 의 제 1 보더는, 상기 제 1 복제본에 도달할 때까지 상기 제 1 라인에 대응하도록 규정되고, 상기 이미지의 제 2 부분 의 제 1 보더는, 상기 제 2 복제본에 도달할 때까지 상기 제 2 라인에 대응하도록 규정되며, 상기 이미지의 제 1 및 제 2 부분 중 임의의 부분의 제 1 보더 및 제 2 보더는 동일한 길이를 가진다.

몇 가지 실시예들에서, 상기 처리 디바이스는 좌측 및 우측 보더를 따라 이어붙이기 위하여 선택되는 상기 적어도 3 개의 카메라의 각각으로부터의 캡쳐된 이미지의 부분들을 서로 이어붙임으로써 상기 좌안 뷰 및 우안 뷰를 생성한다.

몇 가지 실시예들에서, 상기 처리 디바이스는 상기 좌안 뷰를 상기 캡쳐된 이미지의 제 1 복수 개의 부분들을 서로 이어붙임으로써, 그리고 상기 우안 뷰를 상기 캡쳐된 이미지의 제 2 복수 개의 부분들을 서로 이어붙임으로써 생성하고, 상기 캡쳐된 이미지의 제 2 복수 개의 부분은 상기 캡쳐된 이미지의 제 1 복수 개의 부분의 180 도 회전에 대응한다.

몇 가지 실시예들에서, 상기 처리 디바이스는, 상기 캡쳐된 이미지의 제 1 복수 개의 부분으로서, 원의 중심과 제 1 복수 개의 포인트 중 하나 사이의 제 1 시선으로부터 반시계방향으로 포지셔닝되는 상기 적어도 3 개의 카메라 중 제 1 제 1 카메라로부터 각각 관측되는 상기 제 1 복수 개의 포인트를 포함하는, 상기 캡쳐된 이미지의 부분들 중 제 1 부분을 선택하고; 상기 캡쳐된 이미지의 제 2 복수 개의 부분으로서, 원의 중심과 제 2 복수 개의 포인트 중 하나 사이의 제 2 시선으로부터 시계방향으로 포지셔닝되는 상기 적어도 3 개의 카메라 중 제 2 카메라로부터 각각 관측되는 제 2 복수 개의 포인트를 포함하는, 상기 캡쳐된 이미지의 부분들 중 제 2 부분을 선택하기 위한 것이다.

몇 가지 실시예들에서, 상기 적어도 3 개의 카메라의 각각은, 이미지를 대략 베이스라인 높이 이상에서 캡쳐하는 상향 방향 및 이미지를 약 베이스라인 높이 이하에서 캡쳐하는 하향 방향 중 하나의 방향으로 지향되는 광각 렌즈를 가진다.

몇 가지 실시예들에서, 적어도 3 개의 카메라의 각각은 단일 시점 어안 렌즈를 가진다.

몇 가지 실시예들에서, 상기 적어도 3 개의 카메라의 각각은 일정 간격으로 이미지를 캡쳐하도록 되어 있고, 상기 적어도 3 개의 카메라는 이미지가 임의의 주어진 시간에 상기 적어도 3 개의 카메라에 의하여 동시에 캡쳐되도록 서로 동기화된다.

몇 가지 실시예들에서, 상기 처리 디바이스는 상기 좌측 및 우안 뷰를 구형 뷰에서의 디스플레이를 위하여 포매팅하기 위한 것이다.

몇 가지 실시예들에서, 상기 처리 디바이스는 상기 좌측 및 우안 뷰를 직사각 뷰에서의 디스플레이를 위하여 포매팅하기 위한 것이다.

몇 가지 실시예들에서, 상기 처리 디바이스는 상기 좌측 및 우안 뷰를 원통형 뷰에서의 디스플레이를 위하여 포매팅하기 위한 것이다.

몇 가지 실시예들에서, 상기 처리 디바이스는 상기 좌측 및 우안 뷰를 애너글리프으로서 인코딩하기 위한 것이다.

몇 가지 실시예들에서, 상기 처리 디바이스는 상기 좌측 및 우안 뷰를 직선 헤드-탑재 디스플레이 상의 디스플레이를 위하여 포매팅하기 위한 것이다.

다른 넓은 양태에 따르면, 복수 개의 이격된 카메라로부터 촬영된 이미지로부터 실질적으로 360 도 뷰를 생성하기 위한 방법으로서, 베이스라인 높이에서 원 주위에서 실질적으로 등거리로 고정되는 복수 개의 카메라로부터 이미지를 캡쳐하는 단계; 및 상기 복수 개의 카메라 중 인접하는 카메라의 중심점을 연결하는 라인에 적어도 부분적으로 대응하는 제 1 및 제 2 보더에 따라 상기 복수 개의 카메라들의 각각의 카메라로부터의 이미지의 부분들을 서로 이어붙이는 단계를 포함하는, 360 도 뷰를 생성하기 위한 방법이 제공된다.

몇 가지 실시예들에서, 이러한 방법은 실질적으로 360 도 뷰의 좌안 뷰 및 우안 뷰를 생성하는 단계 및 깊이 인식을 생성하기 위하여 상기 좌안 뷰 및 우안 뷰를 함께 투영하는 단계를 더 포함한다.

몇 가지 실시예들에서, 이미지를 캡쳐하는 단계는 동적 이미지를 캡쳐하는 단계를 포함한다.

몇 가지 실시예들에서, 상기 복수 개의 카메라로부터 이미지를 캡쳐하는 단계는, 동일한 방향으로 지향되고 실질적으로 360 도 뷰의 부분에 대한 이미지를 캡쳐하도록 되어 있는 광각 렌즈를 각각 가지는 적어도 3 개의 카메라로부터 이미지를 캡쳐하는 단계를 포함한다.

몇 가지 실시예들에서, 상기 이미지를 캡쳐하는 단계는, 임의의 주어진 시간에 동시에 상기 복수 개의 카메라로부터 이미지를 캡쳐하는 단계를 포함한다.

몇 가지 실시예들에서, 상기 이미지의 부분들을 서로 이어붙이는 단계는, 각각 360 도/N의 시야에 대응하는 부분들을 서로 이어붙이는 단계를 포함하고, N은 상기 복수 개의 카메라의 개수이다.

몇 가지 실시예들에서, 상기 이미지를 캡쳐하는 단계는, 상기 복수 개의 카메라 중 임의의 카메라로부터, 상기 복수 개의 카메라 중 상기 카메라에 인접하는 제 1 카메라의 제 1 복제본 및 상기 복수 개의 카메라 중 상기 카메라에 인접하는 제 2 카메라의 제 2 복제본을 포함하는 이미지를 캡쳐하는 단계를 포함하고, 상기 이미지의 제 1 부분 및 상기 이미지의 제 2 부분은 이어붙이기 위하여 선택된다.

몇 가지 실시예들에서, 상기 이미지의 제 1 및 제 2 부분의 각각의 상기 제 1 및 제 2 보더는 제 1 섹션 및 제 2 섹션을 각각 포함하고, 상기 이미지의 제 1 부분에 대하여, 상기 제 1 보더의 제 1 섹션은 상기 카메라의 중심점과 제 1 인접 카메라의 중심점을 연결하는 제 1 라인에 대응하고, 제 2 보더의 제 1 섹션은 상기 카메라의 중심점과 제 2 인접 카메라의 중심점을 연결하는 제 2 라인에 대응하며, 상기 제 1 보더의 제 2 섹션은 상기 제 1 복제본을 상기 이미지의 제 1 부분으로부터 제거하기 위하여 제 1 라인으로부터 멀어지게 연장하고, 상기 제 2 보더의 제 2 섹션은 상기 제 2 라인으로부터 멀어지게 연장되고 상기 제 1 보더의 제 2 섹션 과 동일한 형상을 가지며, 그리고 상기 이미지의 제 2 부분에 대하여, 상기 제 1 보더의 제 1 섹션은 상기 제 2 라인에 대응하고, 상기 제 2 보더의 제 1 섹션은 상기 제 1 라인에 대응하며, 상기 제 1 보더의 제 2 섹션은 상기 제 2 복제본을 상기 이미지의 제 2 부분으로부터 제거하기 위하여 상기 제 2 라인으로부터 멀어지게 연장되고, 상기 제 2 보더의 제 2 섹션은 상기 제 1 라인으로부터 멀어지게 연장되며 상기 제 1 보더의 제 2 섹션 과 동일한 형상을 가진다.

몇 가지 실시예들에서, 이어붙이는 단계는 각각의 이미지에 대하여 제 1 및 제 2 보더를 따라 이어붙이는 단계를 더 포함하고, 상기 이미지의 제 1 부분 의 제 1 보더는, 상기 제 1 복제본에 도달할 때까지 상기 제 1 라인에 대응하도록 규정되고, 상기 이미지의 제 2 부분 의 제 1 보더는, 상기 제 2 복제본에 도달할 때까지 상기 제 2 라인에 대응하도록 규정되며, 상기 이미지의 제 1 및 제 2 부분 중 임의의 부분의 제 1 보더 및 제 2 보더는 동일한 길이를 가진다.

몇 가지 실시예들에서, 상기 이어붙이는 단계는, 이어붙이기 위하여 선택되는 캡쳐된 이미지의 각각의 부분에 대하여 상기 제 1 및 제 2 보더를 따라 이어붙이는 단계를 포함하고, 상기 이미지의 둘레에 도달할 때까지 상기 제 1 보더는 상기 제 1 라인에 대응하게 규정되고 상기 제 2 보더는 상기 제 2 라인에 대응하게 규정된다.

몇 가지 실시예들에서, 상기 좌안 뷰를 생성하는 단계는 상기 이미지의 제 1 부분들을 서로 이어붙이는 단계를 포함하고, 상기 우안 뷰를 생성하는 단계는 상기 이미지의 제 2 부분들을 서로 이어붙이는 단계를 포함하고, 상기 이미지의 제 2 부분들은 상기 이미지의 제 1 복수 부분들의 180 도 회전에 대응한다.

몇 가지 실시예들에서, 이러한 방법은, 상기 이미지의 제 1 부분들로서, 제 1 복수 개의 포인트를 포함하는 부분들 중 제 1 부분을 선택하는 단계로서, 상기 제 1 복수 개의 포인트 중 각각의 하나는 원의 중심과 상기 제 1 복수 개의 포인트 중 상기 하나 사이의 제 1 시선으로부터 반시계방향으로 포지셔닝되는 상기 복수 개의 카메라 중 제 1 카메라로부터 관측되는, 단계; 및 상기 이미지의 제 2 부분들로서, 제 2 복수 개의 포인트를 포함하는 부분들 중 제 2 부분을 선택하는 단계로서, 상기 제 2 복수 개의 포인트 중 각각의 하나는 원의 중심과 상기 제 2 복수 개의 포인트 중 상기 하나 사이의 제 2 시선으로부터 시계방향으로 포지셔닝되는 상기 복수 개의 카메라 중 제 1 카메라로부터 관측되는, 단계를 더 포함한다.

몇 가지 실시예들에서, 상기 방법은 상기 좌측 및 우안 뷰를 구형 뷰에서의 디스플레이를 위하여 포매팅하는 단계를 더 포함한다.

몇 가지 실시예들에서, 상기 방법은 상기 좌측 및 우안 뷰를 직사각 뷰에서의 디스플레이를 위하여 포매팅하는 단계를 더 포함한다.

몇 가지 실시예들에서, 상기 방법은 상기 좌측 및 우안 뷰를 원통형 뷰에서의 디스플레이를 위하여 포매팅하는 단계를 더 포함한다.

몇 가지 실시예들에서, 상기 포매팅하는 단계는 상기 좌측 및 우안 뷰를 애너글리프으로서 인코딩하는 단계를 포함한다.

몇 가지 실시예들에서, 상기 방법은 상기 좌측 및 우안 뷰를 헤드-탑재 디스플레이 상의 디스플레이를 위하여 포매팅하는 단계를 더 포함한다.

다른 넓은 양태에 따르면, 저장된 프로그램 코드를 가지는 컴퓨터 판독가능 매체로서, 상기 프로그램 코드는 복수 개의 이격된 카메라로부터 촬영된 이미지로부터 실질적으로 360 도 뷰를 생성하기 위하여 프로세서에 의하여 실행가능하고, 상기 프로그램 코드는, 베이스라인 높이에서 원 주위에서 실질적으로 등거리로 고정되는 복수 개의 카메라로부터 이미지를 캡쳐하는 것; 및 상기 복수 개의 카메라 중 인접하는 카메라의 중심점을 연결하는 라인에 적어도 부분적으로 대응하는 제 1 및 제 2 보더에 따라 상기 복수 개의 카메라들의 각각의 카메라로부터의 이미지의 부분들을 서로 이어붙이는 것을 위한 것인, 컴퓨터 판독가능 매체가 제공된다.

본 발명의 다른 특징 및 장점은 다음의 첨부 도면과 함께 후속하는 상세한 설명으로부터 명백해 질 것이다:
도 1 은 옴니폴라 이미징 디바이스에 대한 예시적인 실시예를 도시하는 개략도이다;
도 2 는 옴니폴라 이미징 디바이스에 의하여 캡쳐된 이미지를 처리하기 위한 예시적인 컴퓨팅 디바이스의 블록도이다;
도 3a 내지 도 3d 는 좌/우 옴니스테레오 뷰가 3 개의(3a, 3b) 그리고 4 개의(3c, 3d) 카메라를 사용하여 베이스라인을 따라 어떻게 조합되는지를 나타낸다;
도 4a 는 3 개의 카메라로 구성되는 옴니폴라 셋업에서 각각의 카메라에 대한 입력 이미지를 보여준다;
도 4b 는 도 4a 의 입력 이미지에 대응하는 좌측 및 우측 출력 이미지를 보여준다;
도 5a 는 도 4a 의 입력 이미지의 형상에서의 편차를 도시한다;
도 5b 는 도 5a 의 입력 이미지에 대응하는 좌측 및 우측 출력 이미지를 보여준다;
도 6a 및 도 6b 는 돔 디스플레이 또는 원통형 스크린(6a)에 대한 옴니스테레오 이미지의 렌더링을 위한 처리 및 스크린 상의 렌더링된 포지션에서 발생할 수도 있는 왜곡을 예시한다;
도 7 은 렌즈 차단(lens occlusion)에 기인한 각각의 어안 렌즈에 대한 실제 수직 시야를 예시한다;
도 8 은 돔 상의 그리고 수직 벽 상의 각도 고도(angular elevation)에 대한 수직 시차의 예시적인 그래픽 표현이다;
도 9a 내지 도 9f 는 3 개의(9a, 9b), 4 개의(9c, 9d), 및 5 개의(9e, 9f) 카메라를 사용하는, 눈 레벨에서의 x-z 평면의 인식 깊이 왜곡 포인트를 예시한다; 그리고
도 10 은 8 개의 카메라를 사용하는 단안 캡쳐에 대한 예시적인 옴니폴라 셋업을 예시한다.
첨부된 도면 전체에서, 유사한 피쳐는 유사한 참조 번호로써 식별된다는 것에 주의한다.

도 1 은 옴니폴라 이미징 디바이스(10)에 대한 예시적인 셋업을 도시한다. 3 개의 초광각 렌즈(1), 예컨대 어안 렌즈가 3 개의 카메라(2) 상에 장착된다. 카메라는 정적 및/또는 비디오(즉 동적) 이미지를 캡쳐하기 위하여 그 위에 초광각 렌즈가 제공될 수 있는 임의의 타입일 수도 있다. 예를 들어, 카메라는 후지논(Fujinon) C-마운트 어안 렌즈가 있는 1360x 1024 픽셀 해상도의 프로실리카(Prosilica) 1380 카메라, 또는 옵테카(Opteka) 볼텍스(Vortex) 어안 렌즈가 있는 1920x 1090 픽셀 해상도를 가진 캐논(Canon) HFS11 카메라일 수도 있다. 카메라(2)는 서포트(3) 상에 있는 원통형 부착부(4)에 단단하게 고정된다. 원통형 부착부(4) 및 서포트(3)는 다양한 형태를 가져서 각각의 카메라(2)의 알려지고 고정되는 상대 포지션을 보장한다. 단일 수단, 예컨대 3-카메라 삼각대가 사용될 수도 있다. 옴니폴라 이미징 디바이스(10)는 도시된 바와 같이 상으로 대향하고 렌즈(1)의 높이 이상으로부터 이미지를 캡쳐할 수도 있고, 또는 대략 렌즈(1)의 높이 이하에서 이미지를 캡쳐하기 위하여 하향으로 대향하는 렌즈(1)를 가지고 포지셔닝될 수도 있다. 비록 카메라(2)가 수직으로(즉 축 z의 방향을 따라 연장하는 것으로) 도시되지만, 옴니폴라 이미징 디바이스(10)는 카메라(2)가 수평으로 배치되도록(즉 축 x의 방향을 따라 연장하도록) 배치되게 포지셔닝될 수도 있다는 것이 이해되어야 한다. 다른 구성이 적용될 수도 있다. 또한, 4 개 이상의 카메라가 좀 더 상세하게 아래에서 설명될 바와 같이 사용될 수도 있다.

카메라(2)에 의하여 캡쳐된 이미지는 연결 수단(5)을 통해서 컴퓨팅 디바이스(6)로 송신된다. 컴퓨팅 디바이스(6)에서 수신되면, 캡쳐된 이미지는 예시적으로 처리되어(아래에서 더욱 논의되는 방식으로) 디스플레이(미도시) 상에서 렌더링하기 위한 출력 이미지를 생성한다. 옴니폴라 이미징 디바이스(10)에 의하여 획득되는 이미지의 처리는 장면 깊이를 추정하는 것을 포함할 수도 있다. 이미지 이어붙이기는 또한, 본 명세서에서 아래에 논의될 바와 같이 컴퓨팅 디바이스(6)를 사용하여 수행될 수도 있다. 일 실시예에서, 캡쳐된 이미지의 처리는 컴퓨팅 디바이스(6)와 함께 제공되는 적합한 입력 수단(예를 들어 마우스, 키보드, 또는 기타 등등)을 통해서 수신되는(예를 들어, 사용자로부터) 중인 하나 이상의 입력 커맨드에 응답하여 컴퓨팅 디바이스(6)에서 수행될 수도 있다. 송신은 실시간으로, 즉 캡쳐 시에, 또는 캡쳐된 이미지를 메모리 디바이스(미도시)에 저장한 이후에 추후의 시점에 발생할 수 있다. 연결 수단(5)은 도시된 바와 같이 유선일 수도 있고 또는 무선일 수도 있다. 각각의 카메라는 정규 간격에서, 예컨대 24, 30, 60 개의 이미지/초, 등에서 이미지 획득을 허용하는 내부 클록을 가질 수도 있다. 모든 카메라의 내부 클록은 서로 동기화되어 임의의 주어진 시간에 모든 카메라에 의한 동시적 이미지 캡쳐를 허용할 수도 있다. 동기화는 사용되는 카메라의 타입에 의존하여 다양한 방법들로 행해질 수도 있다. 예를 들어, 프로실리카(1380) 카메라를 사용할 경우, 동기화는 카메라를 컴퓨팅 디바이스(예를 들어 컴퓨팅 디바이스(6))로 링크시키는 네트워크 연결을 통해서 발생할 수도 있다. 캐논 HFS11 카메라를 사용할 경우, 스테레오 비디오 및 디지털 스테레오 촬영용 유선 리모트, 예컨대 LANC 쉐퍼드(Shepherd)^TM가 사용될 수도 있다. 카메라를 서로 동기화하는 다른 방법은 당업자들에 의하여 용이하게 이해될 것이다.

컴퓨팅 디바이스(6)는 원격으로 제공되고 임의의 네트워크의 타입, 예컨대 인터넷, 공용 스위치 전화기 네트워크(PSTN), 셀룰러 네트워크, 또는 당업자에게 공지된 다른 것들을 통해서 액세스가능한 하나 이상의 서버(들)에 대응할 수도 있다. 컴퓨터 네트워크 내의 디바이스가 정보를 교환하도록 하는 임의의 공지된 통신 프로토콜이 사용될 수도 있다. 프로토콜의 예는 다음: IP(Internet Protocol), UDP(User Datagram Protocol), TCP(Transmission Control Protocol), DHCP(Dynamic Host Configuration Protocol), HTTP(Hypertext Transfer Protocol), FTP(File Transfer Protocol), Telnet(Telnet Remote Protocol), SSH(Secure Shell Remote Protocol), POP3(Post Office Protocol 3), SMTP(Simple Mail Transfer Protocol), IMAP(Internet Message Access Protocol), SOAP(Simple Object Access Protocol), PPP(Point-to-Point Protocol), RFB(Remote Frame buffer) 프로토콜과 같다.

도 2 에 도시된 바와 같이, 컴퓨팅 디바이스(6)는 다른 것들 중에서 프로세서(22)에서 실행하고 있는 복수 개의 애플리케이션(24a …24n)을 포함하고, 프로세서는 메모리(20)에 커플링된다. 본 명세서에서 제공된 애플리케이션(24a …24n)이 개별적인 엔티티로서 도시되고 설명되지만, 이들이 다양한 방법으로 결합되고 분리될 수도 있다는 것이 이해되어야 한다.

프로세서(22)에 의하여 액세스가능한 메모리(20)는 데이터를 수신 및 저장한다. 메모리(20)는 메인 메모리, 예컨대 고속 랜덤 액세스 메모리(RAM), 또는 보조 스토리지 유닛, 예컨대 하드 디스크, 플래시 메모리, 또는 자기적 테이프 드라이브일 수도 있다. 메모리는 임의의 다른 메모리의 타입, 예컨대 독출전용 메모리(ROM), 소거가능 프로그래밍가능 독출전용 메모리(EPROM), 또는 비디오디스크 및 콤팩트 디스크와 같은 광학적 스토리지 미디어일 수도 있다.

프로세서(22)는 메모리(20)에 엑세스하여 데이터를 취출한다. 프로세서(22)는 데이터에 동작을 수행할 수 있는 임의의 디바이스일 수도 있다. 예들은, 중앙 처리 유닛(CPU), 프론트-엔드 프로세서, 마이크로프로세서, 그래픽 처리 유닛(GPU/VPU), 물리적 처리 유닛(physics processing unit; PPU), 디지털 신호 프로세서, 및 네트워크 프로세서이다. 애플리케이션(24a …24n)은 프로세서(22)에 커플링되고 다양한 태스크, 예컨대 아래에서 좀 더 상세하게 설명되는 바와 같이 카메라(2)로부터 수신된 입력 이미지를 처리하여 출력 이미지를 생성하는 것을 수행하도록 구성된다. 출력은 임의의 디바이스의 타입, 예를 들어 디스플레이로 송신될 수도 있다.

카메라(2)는 원 주위에 균등하게 이격된다. 어떻게 실세계의 포인트가 카메라 픽셀로 매핑되는지를 규정하는 투영 모델은 카메라(2)가 단일 뷰포인트 렌즈(1)를 사용한다고, 그리고 모든 카메라(2)가 동일한 방향을 바라본다고 가정함으로써 결정된다. (o_x, o_y)가 주점(카메라(2)의 이미지 중심)이라고 한다. 각각의 픽셀 p =(x, y)는 이미지 중심 주위의 각도 φ 및 렌즈 시야에 관련되는 각도 θ를 사용하여 단위 구로 매핑된다:

각도 θ_d는 픽셀이 직접적으로 각도에 비례하는 등거리의 투영 모델 내의 각도 θ 의 왜곡치를 나타낸다. 각도 θ는 θ_d 및 왜곡 계수 k₁의 함수로서 모델링되고, k₂ 는 다음 다항 함수에서 모델링된다:

따라서, 픽셀 값은 다음과 같이 카메라 공간 내의 광선으로 매핑될 수 있다:

여기에서 Ω_y 및 Ω_z는 각각 y-축 및 z-축에 대한 회전 행렬들이다. 더욱이, 카메라 포지션은 x-z 평면에 있는 단위원에 있도록 모델링되고, 각각의 카메라의 상향 벡터는 이러한 원에 직교하도록 모델링된다. 따라서 카메라 공간 내의 단위 광선은 후속하는 관련성을 사용하여 실세계 포인트로 매핑된다:

여기에서 R_y은 원 상의 포지션을 규정하는 y-축에 대한 회전 행렬이고, T_z는 z-축을 따른 단위 변환이며, R_xz는 x 및 z-축 각각에 대한 두 개의 회전의 조합이다. Z 파라미터는 픽셀(x, y)에서 보여지는 깊이이고, 선험적으로 알려지지 않는 값이다.

N = 3 개의 카메라를 교정하기 위하여, i ∈1, 2,..., N에 대한 카메라 i의 이미지 원의 중심(o_xi, o_yi)은 우선 수동으로 위치결정된다. 여러 파라미터, 즉, 모든 렌즈에 대하여 동일하도록 고정되는 내부 파라미터 f, k₁ 및 k₂, 및 강제로 0 이 되는 r_y1을 제외하고 회전 각도 r_xi, r_yi 및 r_zi가 여전히 교정될 필요가 있다. 이러한 파라미터는, j ∈1, 2,..., M에 대하여 약 M = 20 개의 피쳐 p_i ^j =(x_i ^j, y_i ^j)의 과제약된 시스템을 사용하여 번들 최소화에서 추정된다. 이러한 피쳐는 모든 카메라 내에서 수동으로 위치결정된다. f 파라미터는 π에 대한 픽셀 단위의 이미지 원 반경의 비율로서 초기화되고, 회전 각도 r_y2, r_y3는(2 π(i - 1)) / N으로 초기화된다. 다른 파라미터가 0 으로 초기화된다. f 추정의 안정성을 증가시키기 위하여, 하나의 에피폴 e_i ^k가 각각의 이미지 내에 위치되고, 실세계에서의 x-z 평면으로의 그들의 투영의 거리가 최소화된다. 따라서, 다음 합이 레벤버그-마콰트 방법을 사용하여 최소화된다:

여기에서 f_i()는 실세계에서의 포인트를 이미지 i 내의 픽셀 포지션으로 매핑하는 함수이고, g()는 픽셀을 취하고 이것을 Z = 1 에서 실세계로 매핑하는 함수이다. 수학식 4 및 5 를 본다. 번들 조절의 각각의 반복에서, 실세계 내의 피쳐의 위치 p ^j _w 는 다음 수학식 7의 업데이트된 카메라 파라미터를 사용하여 삼각측량법에 의하여 유클리드 공간에서 추정된다:

여기에서 I는 3x 3 항등 행렬이고, p^j _ci는 카메라 i로 매핑된 포인트 p^j _i이고, c_i는 카메라 i의 포지션이다.

도 3a 내지 도 3d 는 좌측 및 우측 옴니스테레오 뷰가 옴니폴라 이미징 디바이스(10)에 대하여, 베이스라인을 따라 어떻게 조합될 수도 있는지를 보여준다. 도 3a 는 3 개의 카메라 시스템의 좌안 뷰를 나타내고 도 3b 는 3 개의 카메라 시스템의 우안 뷰를 나타낸다. 도 3c 는 4 개의 카메라 시스템의 좌안 뷰를 나타내고 도 3d 는 4 개의 카메라 시스템의 우안 뷰를 나타낸다.

도 3a 를 참조하면, 이미지를 이어붙여서 360 도 뷰를 획득하는 것은 카메라 C1, C2, 및 C3 각각으로부터의 3 개의 별개의 시야 지역을 사용하여 수행된다. 지역(34)은 카메라 C1으로부터의 120 도 뷰에 대응하고, 지역(30)은 카메라 C2로부터의 120 도 뷰에 대응하며, 지역(32)은 카메라 C3로부터의 120 도 뷰에 대응한다. 뷰들은 3 개의 라인(36, 38, 40)을 따라서 한정된다. 라인(36)은 각각의 카메라 C1 및 C2의 중심점과 교차하고, 라인(38)은 각각의 카메라 C1 및 C3의 중심점과 교차하며, 라인(40)은 각각의 카메라 C2 및 C3의 중심점과 교차한다. 따라서, 이러한 라인(36, 38, 40)은 각각의 카메라 C1, C2, 및 C3의 등극선 포인트를 통과하여 지나가고, 이들이 카메라의 각각의 쌍에 대하여 최소 시차의 포인트를 나타내기 때문에, 각각 120 도의 3 개의 뷰에 대한 이어붙이기 위치로서 선택된다.

본 명세서에서 사용될 때 용어 "에피폴" 또는 "등극선 포인트"는 캡쳐된 이미지와 두 개의 카메라 포지션을 연결하는 베이스라인 사이의 교차점을 가리킨다. 사용되는 카메라의 개수와 무관하게, 각각의 카메라 및 원 상의 이것의 두 개의 인접 카메라를 통과하여 지나가는 두 개의 라인들이 정의된다. 따라서, 카메라를 통과하여 지나가는 두 개의 라인은 이것의 360 도 시야를 4 개의 부분으로 분할한다. 3 개의 카메라를 사용하는 경우, 두 개의 부분은 120 도 시야를 가지고 두 개의 부분은 60 도 시야를 가진다. 오직 120 도 부분들만이 예시적으로 사용되며, 하나는 좌측 뷰를 생성하고 다른 것은 우측 뷰를 생성한다. 공식적으로, 사용되는 부분들은 다음 수학식 9 에 의하여 규정된다.

도 3b 에서, 각각의 카메라에 대하여 사용되는 시야는 도 3a 에서 사용되는 시야의 180 도 회전에 대응한다. 지역(31)은 카메라 C1으로부터의 120 도 뷰에 대응하고, 지역(33)은 카메라 C2로부터의 120 도 뷰에 대응하며, 지역(35)은 카메라 C3로부터의 120 도 뷰에 대응한다. 뷰들은 여전히 3 개의 라인(36, 38, 40)에 따라서 한정되는데, 하지만 이어붙여서 360 도 뷰를 생성하도록 선택되는 각각의 카메라 C1, C2 및 C3의 시야는 3a에 도시된 바와 같은 좌안에 대한 것들과는 상이하다.

이미지들이 카메라(예를 들어(C1, C2, C3))에 의하여 캡쳐되거나 두 개의 이미지가 도 3a 및 도 3b 에서와 같은 부분들로부터 조합되면, 어떤 것이 좌안이고 어떤 것이 우안인지를 다음과 같이 결정하는 것이 가능하다. 포인트 X(스크린의 중심에 있는 이상적인 관찰자의 포지션을 나타냄)로부터 관찰되는 장면 상의 임의의 포인트는 두 개의 가능한 카메라로부터 관찰된다. 만일 장면을 관측하는 카메라가 시선(X로부터 장면 포인트까지)으로부터 반시계방향으로 위치되면, 이미지는 좌안에 대한 것이다. 만일 카메라가 시계방향으로 위치되면, 이러한 이미지는 우안에 대한 것이다. 그러므로 도 3a 및 도 3b 는 각각 좌안 및 우안에 대한 것이다.

도 3c 를 참조하면, 360° 뷰를 획득하기 위하여 이미지를 이어붙이는 것은, 카메라(C1, C2, C3), 및 C4 각각으로부터의 4 개의 별개의 시야 지역을 사용하여 수행된다. 지역(42)은 카메라 C1으로부터의 90 도 뷰에 대응하고, 지역(44)은 카메라 C2로부터의 90 도 뷰에 대응하며, 지역(46)은 카메라 C3로부터의 90 도 뷰에 대응하고, 지역(48)은 카메라 C4로부터의 90 도 뷰에 대응한다. 뷰들은 4 개의 라인(50, 52, 54, 56)을 따라서 한정된다. 라인(50)은 각각의 카메라 C1 및 C2의 중심점과 교차하고, 라인(52)은 각각의 카메라 C2 및 C3의 중심점과 교차하며, 라인(54)은 각각의 카메라 C1 및 C3의 중심점과 교차하고, 라인(56)은 각각의 카메라 C3 및 C4의 중심점과 교차한다. 따라서, 이러한 라인(50, 52, 54, 56)은 각각의 카메라(C1, C2, C3), C4의 등극선 포인트를 통과하여 지나가고, 이들이 카메라의 각각의 쌍에 대하여 최소 시차의 포인트를 나타내기 때문에, 각각 90 도의 4 개의 뷰에 대한 이어붙이기 위치로서 선택된다.

도 3d 에서, 각각의 카메라에 대하여 사용되는 시야는 도 3c 에서 사용되는 시야의 180 도 회전에 대응한다. 지역(43)은 카메라 C1으로부터의 90 도 뷰에 대응하고, 지역(45)은 카메라 C2로부터의 90 도 뷰에 대응하며, 지역(47)은 카메라 C3로부터의 90 도 뷰에 대응하고, 지역(49)은 카메라 C4로부터의 90 도 뷰에 대응한다. 뷰들은 여전히 4 개의 라인(50, 52, 54, 56)에 따라서 한정되는데, 하지만 이어붙여서 360 도 뷰를 생성하도록 선택되는 각각의 카메라(C1, C2, C3) 및 C4의 시야는 3d에 도시된 바와 같은 좌안에 대한 것들과는 상이하다. 비록 이어붙이기 패턴들이 3 개의-카메라 및 4 개의-카메라 셋업에 대하여 예시되었지만, 이러한 개념이 동일한 원리에 따르면서 5 개 이상의 카메라로 확장될 수 있다는 것이 이해되어야 한다.

도 4a 는 도 3a 및 도 3b 의 옴니폴라 셋업에서의 각각의 3 개의 카메라(예를 들어 도 3a 의 카메라 C1, C2, 및 C3)에 의하여 캡쳐된 입력 이미지(102a, 102b, 및 102c)를 도시한다. 각각의 입력 이미지(102a, 102b, 또는 102c)에 대하여, 이미지 지역(104a, 104b, 104c 및 106a, 106b, 106c)이 이어붙이기 위하여 선택되고, 각각의 지역(104a, 104b, 104c, 106a, 106b, 106c)이 약 120 도에 걸치면서 옴니스테레오 쌍을 생성하기 위하여 사용된다. 도 3a 도 3b 를 참조하여 위에서 논의된 바와 같이, 지역(104a, 104b, 104c)은 좌안에 대한 이미지를 생성하기 위하여 사용되고, 지역(106a, 106b, 106c)은 우안에 대한 이미지를 생성하기 위하여 사용된다. 그러나, 카메라(C1, C2, C3)가 넓은 수직 시야를 가지기 때문에, 주어진 카메라(C1, C2, 또는 C3)에 의하여 캡쳐된 102a, 102b, 102c에서와 같은 각각의 이미지에 대하여, 두 개의 잔여 카메라(그리고 특히 그것의 렌즈)가 캡쳐된 이미지 내에서 보여질 수 있을 수도 있다. 만일 어떤 카메라도 캡쳐된 이미지에서 보이지 않으면, 각각의 이미지 지역은 캡쳐된 이미지를 가지는 카메라의 중심점과 인접 카메라의 중심점을 연결하는 라인에 대응하는(예를 들어, 이를 따르는) 보더를 가질 수도 있다. 특히, 보더는 이러한 라인에 대응하고 캡쳐된 이미지를 가지는 카메라의 중심점으로부터 이미지의 둘레(미도시)에 도달할 때까지 연장할 수도 있다.

그렇지 않으면, 이미지의 최종 옴니스테레오 쌍이 가시 카메라의 이미지를 보유하지 않는다고 보장하기 위하여, 주어진 카메라(C1, C2, 또는 C3)에 의하여 캡쳐되는 각각의 지역(104a, 104b, 104c, 106a, 106b, 106c)은 길이에 있어서 두 개의 잔여 가시 카메라에 도달하기 이전에 중단될 수도 있다. 예를 들면, 카메라 C1에 의하여 캡쳐된 입력 이미지(102a)에 대하여, 지역(104a)은 캡쳐된 이미지(102a)의 중심(106)으로부터 캡쳐된 이미지(102a)의 보더(미도시)를 향하여 확장하는데 하지만 카메라 C1 에 의하여 캡쳐됐던 카메라 C2 의 복제본(108)에 도달하기 이전에 중단된다. 이와 유사하게, 지역(106a)은 카메라 C1 에 의하여 캡쳐됐던 카메라 C3 의 복제본(110)에 도달하기 이전에 중단된다. 따라서, 지역(104a 및 106a)은 캡쳐된 이미지(102a)의 둘레에 도달하지 않고 중심(106)으로부터 멀어지게 확장한다. 이러한 방식으로, 자기-차단, 즉 어떤 카메라가 다른 것을 차단하는 것이 회피된다. 도 4b 는 좌측 출력 이미지(109a) 및 우측 출력 이미지(109b)를 도시하는데, 이들은 도 4a 에 도시되는 입력 이미지에 대응한다. 특히, 좌측 출력 이미지(109a)는 함께 이어붙여진 이미지 지역(104a, 104b, 104c)을 포함하고, 우측 출력 이미지(109b)는 함께 이어붙여진 이미지 지역(106a, 106b, 106c)을 포함한다.

캡쳐된 이미지 내의 임의의 가시 카메라에 도달하기 이전에(즉, 그 이미지의 둘레에 도달하기 이전에) 길이에 있어서 이미지 지역을 중단하는 것은 출력 시야(예를 들어 좌측 및 우측 출력 이미지(108a, 108b)의 전체 영역)를 감소시킨다. 사실상, 가시 카메라가 보여질 수 있는, 입력 이미지(102a, 102b, 102c)의 시야의 부분은 결과적인 좌측 및 우측 출력 이미지(109a, 109b)로부터 제거된다. 출력 시야를 증가시키기 위하여, 각각의 입력 이미지(102a, 102b, 또는 102c)의 지역(104a, 104b, 104c, 106a, 106b, 및 106c)은 도 5a 에 도시된 바와 같이 대안적으로 새 지역(112a, 112b, 112c 및 114a, 114b, 114c)을 획득하도록 조절될 수도 있다. 특히, 이러한 실시예에서, 지역의 보더는 오직 부분적으로 라인에 의하여 한정되는데, 이것은 인접 카메라 쌍의 중심점과 교차한다. 사실상, 이러한 실시예에서, 이미지 지역은 카메라가 보여지는 포인트로부터 시작하는 라인으로부터 다소 벗어나게 된다. 그러므로, 이미지 지역의 보더(미도시)는 더 이상 위에서 언급된 라인을 엄격하게 따르지 않고, 108 또는 110 에서와 같이 카메라의 복제본이 102a에서와 같은 입력 이미지에서 가시적일 때까지 그것의 부분을 따를 뿐이다. 따라서 각각의 보더는, 그 이미지 지역으로부터 가시 카메라의 복제본(108, 110)에 대응하는 형상을 제거하기 위하여, 라인에 대응하는(카메라의 복제본에 도달될 때까지) 제 1 섹션(미도시) 및 라인으로부터 벗어나는(이미지의 둘레에 도달될 때까지) 제 2 섹션을 포함할 수도 있다. 편차가 예시적으로 카메라 셋업에 의존하기 때문에, 편차 프로세스는 전-처리 단계에서 한번 규정될 수도 있다.

가시 카메라를 피해서 지나가기 위하여 편차가 수행된다는 것 그리고 편차의 형상은 이에 상응하여 제거될 가시 카메라의 형상에 의존할 수도 있다는 것이 이해되어야 한다. 특히, 편차의 형상은 가시 카메라의 형상을 따를 수도 있다. 대안적으로는, 편차는 이미지 지역의 보더가 위에서 언급된 라인으로부터의 선결정된 각도 및/또는 높이 만큼 벗어나도록 수행될 수도 있다. 예를 들면, 지역(112a)의의 제 1 또는 좌측 보더(미도시)는 라인(116)(캡쳐된 이미지(102a)를 가지는 카메라 C1 의 중심점으로부터 카메라 C2의 중심점을 연결함)으로부터 벗어나서, 지역(112a)이 카메라 C2의 복제본(108)을 포함하지 않게 하고, 복제본(108)의 형상은 지역(112a)으로부터 제거된다. 지역(114a)의의 제 1 또는 좌측 보더(미도시)는 라인(118)(카메라 C1 의 중심점으로부터 카메라 C3의 중심점을 연결함)으로부터 유사하게 벗어나서, 지역(114a)이 카메라 C3의 복제본(110)을 포함하지 않게 하고, 복제본(110)의 형상은 지역(114a)으로부터 제거된다. 그러면 주어진 각도(예를 들어 20 도, 미도시)가 라인(116)과 카메라 C1의 중심점과 이미지 지역(112a)의 편차된 제 1 보더가 이미지(102a)의 둘레에 도달하는 포인트(미도시)를 연결하는 라인(117) 사이에서 형성될 수도 있다. 여전히, 주어진 라인(116, 118)으로부터의 편차의 양(예를 들어, 각도)을 최소화하는 것이 바람직하다는 것이 이해되어야 한다.

가시 카메라의 복제본의 제거를, 즉 주어진 지역의(예를 들어 좌측) 보더에서의 라인(예를 들어 라인(116, 118)으로부터의 편차를 보상하기 위하여, 편차는 그 지역의 다른(예를 들어 우측) 보더에서 역시 수행되어 문제의 지역에 그 이미지 부분으로부터 제거되는 가시 카메라의 형상에 대응하는 이미지 부분을 추가한다. 특히, 지역(112a)의 제 2 또는 우측 보더(미도시)는 라인(118)으로부터 벗어나게 되고, 반면에 지역(114a)의 제 2 또는 우측 보더(미도시)는 라인(116)으로부터 벗어나게 된다. 112a 또는 114a에서와 같은 임의의 주어진 이미지 지역에 대하여, 제 1 보더에서 수행되는 형상(예를 들어 곡률 또는 다른 기하학적 구조)은 제 2 보더에서 수행되는 편차의 형상과 동일하고, 제 1 및 제 2 보더 모두는 예시적으로 동일한 길이를 가진다는 것이 이해되어야 한다. 또한, 이미지 지역(112a)의의 양자 모두의 제 1 및 제 2 보더 모두는 예시적으로 그들의 대응하는 라인(116, 118)으로부터 동일한 각도(예를 들어 20 도)만큼 벗어난다. 결과적으로 얻어지는 좌측 및 우측 출력 이미지(120a, 120b)가 도 5b 에 도시되는데, 여기에서 좌측 출력 이미지(120a)는 함께 이어붙여지는 이미지 지역(112a, 112b, 112c)을 포함하는 반면에 우측 출력 이미지(120b)는 함께 이어붙여지는 이미지 지역(114a, 114b, 114c)을 포함한다.

도 3a 및 도 3b 의 3 개의 카메라 셋업 및 두 개의 연속 베이스라인들 사이의 각도 α₁, α₂, α₃ 를 사용하는, 포인트 'x'에 중앙이 맞춰지는 돔 또는 플래너타륨(planetarium) 디스플레이(구형 뷰) 또는 원통형 스크린(원통형 뷰)에 대하여 옴니스테레오 이미지를 렌더링하는 것은 다음과 같다. 이러한 출력 이미지의 외부 행렬들(회전 및 변환 행렬)은 항등 행렬들이도록 설정된다. 출력 왜곡 계수 k₁ 및 k₂도 역시 0 으로 설정된다.

옴니스테레오 돔 내의 좌안에 대한 이미지가 우선 고려된다. Z_s의 고정된 장면 깊이를 가정하면, 도 6a 에 도시된 바와 같이, 각각의 픽셀 j는 반경 Z_s의 구로 투영되어 추정된 실세계 포인트 포지션

을 획득한다. 이러한 투영은 Z_s, 스크린 반경, 및 눈 분리 b에 의존하는데, 이것은 평균 인간의 눈 분리, 즉 6.5cm로 고정된다.

을 고려하면, 카메라 i(또는 c_i) 내의 포인트

의 수평 각 포지션은 다음으로 주어진다:

카메라 i 내로 재투영된 포인트

의 픽셀 샘플은,

가 [γ_i-1, γ_i ] 내에 속하는 경우에만 사용되는데, γ_i는 다음으로서 정의되는 각도이다:

γ₀ = 0 은 카메라 c₁ 및 c_N을 연결하는 라인의 방향에 대응한다.

우안에 대한 이미지를 렌더링하기 위하여, 동일한 간격이 사용될 수 있지만, π의 오프셋이

값에 추가된다. 따라서, 풀 360 도 시야를 수평으로 커버하는 이미지의 옴니스테레오 쌍이 생성된다.

자기-차단이 없는 수직 시야는 거의180 도이다. 차단의 양은 도 7 에 도시된 바와 같이 베이스라인 및 렌즈 곡률에 의존한다. 높게 만곡된 렌즈에 대하여, 베이스라인은 다소 증가되어 자기-차단이 없는 더 넓은 수직 시야를 획득할 수 있다. 홀수 개의 카메라에 대하여, 이러한 차단은 그들이 좌측 및 우측 옴니스테레오 이미지 내의 동일한 이미지 지역에 위치되지 않기 때문에 비-인접 단안 지역을 생성한다.

옴니스테레오 쌍 내의 각각의 이미지는 카메라의 개수에 대응하는 다수 개의 단안 심을 가진다. 에피폴을 지나가는 수직 이어붙이기 평면(카메라 셋업의 3-차원의 기하학적 구조 공간에서)을 사용함으로써, 장면 깊이와 무관하게 시차에 의하여 유도되는 심(seam)에서의 수평 오정렬이 존재하지 않는다. 그러나, x-z 평면 외부의 포인트에 대한 수직 오정렬이 존재한다. 심에서의 이러한 수직 오정렬의 크기는 깊이 및 x-z 평면에 대한 각도 고도의 범위에 의존한다.

수직 시차가 생성되지 않는 단일 깊이, 즉 깊이 Z_s에서의 포인트를 선택할 수 있다. 그러므로 Z_s를 조심스럽게 선택하는 것이 중요하다. 예를 들면, 세트 Z_s를 카메라 위의 천장의 길이로 설정할 수 있는데, 이는 이것이 수직 시차가 악화되는 곳이기 때문이다.

수직 시차는 상이한 각도 고도 β에서 Z_s = ∞ 라고 간주함으로써 정량화된다. 특히, 장면 포인트의 두 개의 세트, 즉 돔 상의 포인트들이 고려된다:

p _w ^dome (β) = c ₁ + Ry(30°) R_x (β)(- Zr , 0, 0 )^T

그리고 벽의 포인트는 다음을 만족하는데:

p _w ^wall (β) = c ₁ + Ry(30°)(-Zr, tan(β)Zr , 0)^T

여기에서 30°는 카메라 c₁과 c₂ 사이의 심의 지향에 대응하고, Z_r은 돔의 반경 또는 벽 거리이다. 돔의 반경 및 벽 거리의 양자 모두는 2.3m로 고정되었는데, 이는 이러한 값이 원통형 스크린의 반경에 대응하기 때문이고, 윈도우 위반(window violation)을 회피하기 위하여 어떠한 장면 포인트도 이상적으로는 더 가깝지 않아야 한다. 그러면 수직 시차는 2048 × 2048 픽셀 해상도를 가지는 돔 상의 카메라 c₁ 및 c₂ 에 대한 투영들 사이의 차분을 취함으로써 계산되었다:

Parallax(p _w ^{dome , wall}) = ||f1(p _w ^{dome , wall}) - f2(p _w ^{dome , wall})||.

픽셀 내의 수직 시차가 도 8 에 도시된다. 이것은 x-z 평면에 있는 포인트에 대하여 0 이고 돔의 상단에서 약 20 개의 픽셀까지(곡선 52), 그리고 45 도 고도에서 수직 벽 상의 포인트에 대하여 약 9 개(곡선 54)로 증가한다. 따라서, 비록 수직 시차가 관심 사항이지만, 이러한 실험은 이것이 통상적으로 작으며 관측되는 장면의 종류와 함께 변동한다는 것을 보여준다.

지각(perceptual) 스테레오 왜곡이 x-z 평면에 있는 포인트에 대하여 시각적 시스템의 중심에서 계산될 수도 있다. 임의의 장면 포인트 p^j _w에 대하여, 돔 디스플레이 또는 원통형 스크린의 중심에 위치되는 관찰자가 이것을 똑바로 바라보고 있다는 것이 가정된다. 그러면 그는 이러한 포인트가 다음과 같이 인식된다고 측정할 수 있다. 눈의 위치는 R_y(α)(±b/2, 0, 0)^T에 의하여 주어지는데, 여기에서 α는 α = arctan(p^j _w[x], p^j _w[z])에 의하여 주어지는 눈 베이스라인의 지향이다. 다시 말하건대, b에 대하여 사용되는 값은 6.5cm인데, 이는 이것이 평균 인간의 눈 분리이기 때문이다. 여러 장면 포인트 p^j _w의 렌더링 포지션이 이제 두 개의 Z_s 값, 즉 ∞ 및 4m에 대하여 계산되고, 눈과 렌더링 포지션을 연결하는 광선들이 삼각측량된다. 스크린 상의 좌/우 렌더링 포지션은

을 깊이 Z_s에서

에서의 이것의 참 포지션 대신에 고려함으로써 계산될 수 있다(도 6a 및 도 6b 참조). 스크린 상의 좌/우 렌더링 포지션은 i와 대응하는 좌/우 카메라 포지션을 반경 Z_s의 원으로써 연결하는 라인을 교차하고, 이제 이러한 인터섹션을 스크린 반경으로 정규화함으로써 계산될 수 있다.

특히 그리고 도 6a 에 도시된 바와 같이, 옴니스테레오 쌍의 좌측 이미지를 스크린(121) 상에 렌더링하는 경우, 픽셀 j가 깊이 Z_s에서 투영되어 픽셀

에서 선택된 카메라 C3 에 의하여 보여지는

을 획득한다. 따라서,

에서의 이미지 컬러가 픽셀 j에서 스크린 상에 복제된다. 도 6b 에서 알 수 있는 바와 같이, 실세계 포인트

이 깊이 Z_s에 위치되지 않는 경우, 스크린(121) 상의 렌더링된 포지션(122)이, 스크린(121)의 중심(126)에 포지셔닝된 관찰자가 스크린(121)을 똑바로 바라보고 있을 때에 관찰되어야 하는 포지션(124)에 대응하지 않기 때문에 왜곡이 발생한다.

도 9a 내지 도 9f 는 어떻게 포인트가 상이한 깊이에서 왜곡되는지를 도시한다(포인트의 참 포지션은 실선으로, 왜곡된 포지션은 점선으로, 그리고 스크린 반경은 점선으로, 즉 100cm, 200cm, 400cm 및 800cm로 도시됨). 도 9a, 9c 및 9e는 3 개의(3), 4 개의(4) 및 5 개의(5) 카메라를 각각 사용하는 경우에 Z_s = ∞ 에 대한 왜곡을 보여준다. 도 9b, 9d 및 9f는 3 개의(3), 4 개의(4) 및 5 개의(5) 카메라를 각각 사용하는 경우에 Z_s = 400cm에 대한 왜곡을 보여준다. 홀수 개의 카메라를 사용하면 포인트의 원을 2N 개의 직선 또는 아크로 왜곡시키고, 짝수 개의 카메라를 사용하면 N 개의 직선 또는 아크로의 왜곡에 이른다는 것에 주의한다.

이것은 도 3a 내지 도 3d 를 살펴봄으로써 설명될 수 있다. 스크린의 중심에 위치된 관찰자가 카메라 C4의 방향으로 보고 있다고 본다. 스테레오 뷰가 카메라 C1 및 C3가 정확하게 눈의 포지션에 대응하기 때문에 이들에 의하여 캡쳐된다. 사실상, 카메라 쌍(C1, C3 및C2, C4)은 4 개의(4) 스테레오 뷰에 대한 각각 두 개의(2) 스테레오 뷰를 제공한다. 이러한 스테레오 뷰의 중심에는 스테레오 왜곡이 존재하지 않는다. 홀수 개의 카메라를 사용하는 경우, 정확하게 눈 포지션에 대응하는 카메라의 쌍이 절대 존재하지 않는다. 왜곡이 존재하지 않는데, 반면에 Z_s 뒤의 포인트는 깊이에 있어서 다소 더 근접한 나타나고, Z_s의 앞에 있는 포인트는 깊이에 있어서 더 멀리 나타난다. 그러나, 직선 또는 아크의 개수가 더 양호한 원 근사화를 위해서 증가된다. 전체 스테레오 왜곡은 5 개의(5) 카메라를 사용하는 경우에 현저하게 감소된다.

더욱이, 관찰자가 임의의 눈 지향이 있을 때에 직접적으로 상향을 바라볼 수 있기 때문에 y-축 상의 장면 포인트에 대한 인식 특이성이 존재한다. 돔에 대하여, 관찰자가 자신 주위 모두를 바라볼 수 있지만, 최대 90 도만큼만 머리를 기울일 수 있다는 것이 가정된다. 그러므로 돔의 천정에서 돔에 대한 오직 하나의 장면 깊이가 존재해야 하고, 장면 깊이는 스크린 거리에 있어야 한다(즉 제로 차이(disparity)). 비록 본 명세서에서 돔을 참조하지만(즉 구형 뷰로서의 좌측 및 우측 이미지의 디스플레이를 참조하지만), 캡쳐된 이미지가 직사각 뷰에서의, 예를 들어 모니터 디스플레이에서의, 원통형 뷰에서의, 예를 들어 비디오-영사로서의 원통형 스크린상에서의, 헤드-장착 디스플레이 상에서의, 예를 들어 오큘러스 리프트(OculusRift) 뷰에서의, 또는 당업자들에게 공지된 다른 적합한 포맷에서의 디스플레이를 위하여 포매팅될 수도 있다는 것이 이해되어야 한다. 따라서, 다양한 스크린(6a에서의 121 과 같은) 또는 디스플레이가 적용될 수도 있다. 스테레오 이미지는 애너글리프, 예컨대 적색/시안 애너글리프으로서, 또는 기타 등등(예를 들어 돔 또는 모니터 디스플레이를 사용할 경우)으로서 인코딩될 수도 있고, 또는 좌/우 이미지는 나란하게(예를 들어 헤드-장착 디스플레이를 사용할 경우) 포지셔닝될 수도 있다. 사용자는 그들의 응시의 방향을 그들의 헤드를 회전함으로써 또는 소프트웨어 제어에 의하여 선택할 수도 있다.

인접 카메라의 에피폴을 사용하는, 위에서 설명된 이어붙이기 방법은 또한 단안 카메라 시스템의 콘텍스트에서 사용되어 시차에 기인한 심 오정렬을 감소시킬 수 있다. 예를 들면, 구형 이미징 시스템인 레이디버그(Ladybug)^TM와 같은 카메라 시스템은 통상적으로 풀 360 도 뷰를 높은 해상도로 커버하기 위하여 수 개의 카메라를 사용한다. 불행하게도, 모든 카메라가 정확하게 동일한 포지션에 위치될 수 있는 것은 아니다. 따라서, 하나의 이미지로부터 이것의 인접 이미지로의 시차가 존재한다. 이것은 심에서 오정렬을 생성한다. 이러한 오정렬은 구글 스트리트 뷰^TM와 같은 시스템 내에서 관찰될 수 있다.

도 10 은 단안 이미징 시스템에 대한 8 개의 카메라 셋업의 예시적인 실시예이다(각각의 카메라는 카메라의 투영 중심을 표시하는 작은 디스크, 및 c_i라고 명명되는 삼각형을 사용하여 표현됨). 시차는 8 개의 카메라(C1-C8)를 도시된 바와 같이 지향시킴으로써 수평으로 제거될 수도 있다. 각각의 카메라는 360 도 나누기 사용되는 카메라의 개수 이상인 수평 시야(fov)를 가져야 한다. 예를 들어, 도 10 에서 8 개의 카메라가 존재하고, 각각은 적어도 45 도의 시야를 가진다. 카메라 C1-C8 은 원(직경은 중요하지 않음)을 따라 균등하게 이격되어 단일 수평 평면에 위치되고(즉 베이스라인 높이에 있음), 각각의 카메라의 시야의 수평 한계가 이것의 중심과 인접 카메라의 중심을 통과하는 라인과 일치하도록 지향된다.

이미지를 이어붙여서 360 도 뷰를 획득하는 것은 카메라 C1-C8 각각으로부터의 8 개의 별개의 시야 지역을 사용하여 수행된다. 지역(71)은 카메라 C1으로부터의 45 도 뷰에 대응하고, 지역(72)은 카메라 C2로부터의 45 도 뷰에 대응하며, 지역(73)은 카메라 C3로부터의 45 도 뷰에 대응하고, 지역(74)은 카메라 C4로부터의 45 도 뷰에 대응하며, 지역(75)은 카메라 C5로부터의 45 도 뷰에 대응하고, 지역(76)은 카메라 C6로부터의 45 도 뷰에 대응하며, 지역(77)은 카메라 C7 으로부터의 45 도 뷰에 대응하고, 지역(78)은 카메라 C8로부터의 45 도 뷰에 대응한다. 뷰들은 8 개의 라인(80, 81, 82, 83, 84, 85, 86, 및 87)을 따라서 한정된다. 라인(80)은 각각의 카메라 C2 및 C1의 중심점과 교차하고, 라인(81)은 각각의 카메라 C1 및 C8의 중심점과 교차하며, 라인(82)은 각각의 카메라 C8 및 C7의 중심점과 교차하고, 라인(83)은 각각의 카메라 C7 및 C6의 중심점과 교차하며, 라인(84)은 각각의 카메라 C6 및 C5의 중심점과 교차하고, 라인(85)은 각각의 카메라 C5 및 C4의 중심점과 교차하며, 라인(86)은 각각의 카메라 C4 및 C3의 중심점과 교차하고, 라인(87)은 각각의 카메라 C3 및 C2의 중심점과 교차한다. 따라서, 이러한 라인(80, 81, 82, 83, 84, 85, 86, 및 87)은 각각의 카메라 C1-C8의 등극선 포인트를 통과하여 지나가고, 이들이 카메라의 각각의 쌍에 대하여 최소 시차의 포인트를 나타내기 때문에, 각각 45 도의 8 개의 뷰에 대한 이어붙이기 위치로서 선택된다.

8 개(8) 보다 더 많거나 적은 카메라가 사용될 수도 있고, 도 10 의 셋업은 속성상 예시적이라는 것이 이해되어야 한다. 각각의 카메라에 대한 시야는 360 도/N에 대응하는데, 여기에서 N은 사용되는 카메라의 개수이다. 또한, 카메라가 위치하는 원의 반경에는 어떠한 제약도 없다는 것이 이해되어야 한다. 이것은 큰 카메라 장비의 사용이 실현가능하게 한다.

본 명세서에서 설명되는 시스템은 본 명세서에서 "랩(Lab)" 및 "차도(Driveway)라고 지칭되는 두 개의 장면에서 테스트되었다. 양자 모두의 장면은 약 12cm의 직경의 원 위에 놓여 있는 어안 렌즈를 가진 3 개의(3) 카메라를 사용하는 옴니폴라 셋업을 사용하여 캡쳐되었다. 양자 모두의 장면에 대하여, 카메라 셋업은 지면 위의 레일 상에 고정되어 사람이 걷는 동안에 약 1.5m의 변위를 생성하였다.

랩 장면에 대하여, 1360x 1024 픽셀 해상도 해상도를 가지며, 각각 후지온 C-장착 어안 렌즈가 있는 3 개의 프로실리카 1380 카메라로 구성되는 카메라 셋업이 테스트되었다. 약 7.5cm로부터 10.5cm까지의 렌즈 중들 사이의 거리는 변동되었다. 뷰의 옴니스테레오 필드는 카메라 렌즈가 보일 수 없도록 절단되었다. 더 작은 베이스라인을 사용하면 더 큰 베이스라인을 사용하는 것과 비교할 때 시야를 감소시킨다는 것이 관찰되었다. 수직 시차가 카메라 위의 천장이 정확하게 정렬되도록, 즉 Z_s를 약 2.4m의 거리로 설정하도록 조절되었다.

차도 장면은 1920x 1090 픽셀 해상도이며 각각 옵테카 볼텍스 어안 렌즈가 있는 3 개의(3) 캐논 HFS11 카메라로써 촬영되었다. 카메라 클록은 로직 애플리케이션 제어 버스 시스템(Logic Application Control Bus System; LANC) 프로토콜을 사용하여 동기화되었다. 렌즈 중심들 사이의 거리는 약 10.5cm 였다. 수직 시차는 전기적 배선을 카메라 위로 정렬시키도록 조절되었다(Z_s = 6m). 렌즈의 높은 곡률에 기인하여, 시야가 크게 절단되지 않는다면 큰 차단이 생산된 옴니스테레오 이미지에서 보여질 수 있다. 홀수 개수의 카메라가 사용되었기 때문에, 이러한 차단이 좌측 및 우측 이미지 내의 상이한 위치에서 단안 지역을 생성한다는 것이 관찰되었다.

본 명세서에서 설명되는 시스템에 대한 애플리케이션은 옴니스테레오 영화관으로부터 구글 스트리트 뷰^TM와 같은 시스템에 대한 스테레오 몰입을 제공하는 것의 범위를 가진다. 본 발명이 방법으로서 수행될 수 있고, 시스템, 또는 비-일시적 컴퓨터 판독가능 매체에 구현될 수 있다는 것에 주의해야 한다. 위에서 설명된 본 발명의 실시예는 오직 예시적인 것으로 의도된다. 그러므로 본 발명의 범위는 오직 첨부된 청구항들의 범위에 의해서만 한정되는 것으로 의도된다.

Claims (38)

1. 옴니폴라(omnipolar) 이미징 디바이스로서,
   베이스라인 높이에 있으며 원 주위에서 실질적으로 등거리에 포지셔닝된 적어도 3 개의 카메라로서, 적어도 3 개의 카메라의 각각은 동일한 방향으로 지향되고 실질적으로 360 도의 시야의 부분에 대한 이미지를 캡쳐하도록 되어 있는 광각 렌즈를 가지는, 적어도 3 개의 카메라; 및
   상기 적어도 3 개의 카메라를 고정된 포지션에서 유지시키기 위한 장착(mounting) 장치를 포함하는, 옴니폴라 이미징 디바이스.
2. 제 1 항에 있어서,
   상기 적어도 3 개의 카메라로부터 캡쳐된 이미지를 수신하고, 실질적으로 360 도의 시야의 좌안 뷰 및 우안 뷰를 생성하도록 상기 적어도 3 개의 카메라의 각각으로부터의 캡쳐된 이미지의 부분들을 서로 이어붙이기 위한 처리 디바이스를 더 포함하는, 옴니폴라 이미징 디바이스.
3. 제 1 항 또는 제 2 항에 있어서,
   상기 적어도 3 개의 카메라의 각각은 동적 이미지를 캡쳐하도록 되어 있는, 옴니폴라 이미징 디바이스.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   이어붙이기 위해서 선택된 상기 적어도 3 개의 카메라의 각각으로부터의 캡쳐된 이미지의 각각의 부분은 360 도/N의 시야에 대응하고, N은 상기 적어도 3 개의 카메라의 개수인, 옴니폴라 이미징 디바이스.
5. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 처리 디바이스는, 이어붙이기 위하여 선택되는 상기 적어도 3 개의 카메라 중 주어진 하나의 카메라에 의하여 캡쳐되는 이미지의 각각의 부분에 대한 제 1 보더(border) 및 제 2 보더를 규정하기 위한 것이고, 상기 제 1 보더는 상기 주어진 카메라의 중심점과 상기 적어도 3 개의 카메라 중 상기 주어진 카메라에 인접하는 제 1 카메라의 중심점을 연결하는 제 1 라인에 적어도 부분적으로 대응하고, 상기 제 2 보더는 상기 주어진 카메라의 중심점과 상기 적어도 3 개의 카메라 중 상기 주어진 카메라에 인접하는 제 2 카메라의 중심점을 연결하는 제 2 라인에 적어도 부분적으로 대응하는, 옴니폴라 이미징 디바이스.
6. 제 5 항에 있어서,
   이어붙이기 위하여 선택되는 캡쳐된 이미지의 각각의 부분에 대하여, 상기 처리 디바이스는 상기 이미지의 둘레에 도달할 때까지 상기 제 1 보더가 상기 제 1 라인에 대응하게 그리고 상기 제 2 보더가 상기 제 2 라인에 대응하게 규정하기 위한 것인, 옴니폴라 이미징 디바이스.
7. 제 5 항에 있어서,
   상기 처리 디바이스는, 제 1 인접 카메라의 제 1 복제본 및 제 2 인접 카메라의 제 2 복제본을 포함하는 이미지를 상기 주어진 카메라로부터 수신하는 것을 포함하여, 상기 캡쳐된 이미지를 수신하기 위한 것이고, 상기 이미지의 제 1 부분 및 상기 이미지의 제 2 부분은 이어붙이기 위하여 선택되는, 옴니폴라 이미징 디바이스.
8. 제 7 항에 있어서,
   상기 처리 디바이스는, 상기 이미지의 제 1 및 제 2 부분의 각각에 대하여 제 1 섹션 및 제 2 섹션을 각각 포함하는 제 1 및 제 2 보더를 규정하기 위한 것이고,
   상기 이미지의 제 1 부분에 대하여, 상기 제 1 보더의 제 1 섹션은 상기 제 1 라인에 대응하고, 제 2 보더의 제 1 섹션은 상기 제 2 라인에 대응하고, 상기 제 1 보더의 제 2 섹션은 상기 제 1 복제본을 상기 이미지의 제 1 부분으로부터 제거하기 위하여 상기 제 1 라인으로부터 멀어지게 연장되며, 상기 제 2 보더의 제 2 섹션은 상기 제 2 라인으로부터 멀어지게 연장되고 상기 제 1 보더의 제 2 섹션과 동일한 형상을 가지며, 그리고
   상기 이미지의 제 2 부분에 대하여, 상기 제 1 보더의 제 1 섹션은 상기 제 2 라인에 대응하고, 상기 제 2 보더의 제 1 섹션은 상기 제 1 라인에 대응하며, 상기 제 1 보더의 제 2 섹션은 상기 제 2 복제본을 상기 이미지의 제 2 부분으로부터 제거하기 위하여 상기 제 2 라인으로부터 멀어지게 연장되고, 상기 제 2 보더의 제 2 섹션은 상기 제 1 라인으로부터 멀어지게 연장되며 상기 제 1 보더의 제 2 섹션과 동일한 형상을 가지는, 옴니폴라 이미징 디바이스.
9. 제 8 항에 있어서,
   상기 이미지의 제 1 부분의 제 1 보더는, 상기 제 1 복제본에 도달할 때까지 상기 제 1 라인에 대응하도록 규정되고, 상기 이미지의 제 2 부분의 제 1 보더는, 상기 제 2 복제본에 도달할 때까지 상기 제 2 라인에 대응하도록 규정되며, 상기 이미지의 제 1 및 제 2 부분 중 임의의 부분의 제 1 보더 및 제 2 보더는 동일한 길이를 가지는, 옴니폴라 이미징 디바이스.
10. 제 5 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 처리 디바이스는 좌측 및 우측 보더를 따라 이어붙이기 위하여 선택되는 상기 적어도 3 개의 카메라의 각각으로부터의 캡쳐된 이미지의 부분들을 서로 이어붙임으로써 상기 좌안 뷰 및 우안 뷰를 생성하는, 옴니폴라 이미징 디바이스.
11. 제 2 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 처리 디바이스는 상기 좌안 뷰를 상기 캡쳐된 이미지의 제 1 복수 개의 부분들을 서로 이어붙임으로써, 그리고 상기 우안 뷰를 상기 캡쳐된 이미지의 제 2 복수 개의 부분들을 서로 이어붙임으로써 생성하고, 상기 캡쳐된 이미지의 제 2 복수 개의 부분은 상기 캡쳐된 이미지의 제 1 복수 개의 부분의 180 도 회전에 대응하는, 옴니폴라 이미징 디바이스.
12. 제 11 항에 있어서,
    상기 처리 디바이스는, 상기 캡쳐된 이미지의 제 1 복수 개의 부분으로서, 원의 중심과 제 1 복수 개의 포인트 중 하나 사이의 제 1 시선으로부터 반시계방향으로 포지셔닝되는 상기 적어도 3 개의 카메라 중 제 1 제 1 카메라로부터 각각 관측되는 상기 제 1 복수 개의 포인트를 포함하는, 상기 캡쳐된 이미지의 부분들 중 제 1 부분을 선택하고; 상기 캡쳐된 이미지의 제 2 복수 개의 부분으로서, 원의 중심과 제 2 복수 개의 포인트 중 하나 사이의 제 2 시선으로부터 시계방향으로 포지셔닝되는 상기 적어도 3 개의 카메라 중 제 2 카메라로부터 각각 관측되는 제 2 복수 개의 포인트를 포함하는, 상기 캡쳐된 이미지의 부분들 중 제 2 부분을 선택하기 위한 것인, 옴니폴라 이미징 디바이스.
13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 적어도 3 개의 카메라의 각각은, 이미지를 대략 베이스라인 높이 이상에서 캡쳐하는 상향 방향 및 이미지를 약 베이스라인 높이 이하에서 캡쳐하는 하향 방향 중 하나의 방향으로 지향되는 광각 렌즈를 가지는, 옴니폴라 이미징 디바이스.
14. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 적어도 3 개의 카메라의 각각은 단일 뷰포인트 어안 렌즈를 가지는, 옴니폴라 이미징 디바이스.
15. 제 1 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 적어도 3 개의 카메라의 각각은 일정 간격으로 이미지를 캡쳐하도록 되어 있고, 상기 적어도 3 개의 카메라는 이미지가 임의의 주어진 시간에 상기 적어도 3 개의 카메라에 의하여 동시에 캡쳐되도록 서로 동기화되는, 옴니폴라 이미징 디바이스.
16. 제 2 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 처리 디바이스는 상기 좌측 및 우안 뷰를 구형 뷰에서의 디스플레이를 위하여 포매팅하기 위한 것인, 옴니폴라 이미징 디바이스.
17. 제 2 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 처리 디바이스는 상기 좌측 및 우안 뷰를 직사각 뷰에서의 디스플레이를 위하여 포매팅하기 위한 것인, 옴니폴라 이미징 디바이스.
18. 제 2 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 처리 디바이스는 상기 좌측 및 우안 뷰를 원통형 뷰에서의 디스플레이를 위하여 포매팅하기 위한 것인, 옴니폴라 이미징 디바이스.
19. 제 16 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 처리 디바이스는 상기 좌측 및 우안 뷰를 애너글리프(anaglyph)으로서 인코딩하기 위한 것인, 옴니폴라 이미징 디바이스.
20. 제 2 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 처리 디바이스는 상기 좌측 및 우안 뷰를 헤드-장착 디스플레이 상의 디스플레이를 위하여 포매팅하기 위한 것인, 옴니폴라 이미징 디바이스.
21. 복수 개의 이격된 카메라로부터 촬영된 이미지로부터 실질적으로 360 도 뷰를 생성하기 위한 방법으로서,
    베이스라인 높이에서 원 주위에서 실질적으로 등거리로 고정되는 복수 개의 카메라로부터 이미지를 캡쳐하는 단계; 및
    상기 복수 개의 카메라 중 인접하는 카메라의 중심점을 연결하는 라인에 적어도 부분적으로 대응하는 제 1 및 제 2 보더에 따라 상기 복수 개의 카메라들의 각각의 카메라로부터의 이미지의 부분들을 서로 이어붙이는 단계를 포함하는, 360 도 뷰를 생성하기 위한 방법.
22. 제 21 항에 있어서,
    실질적으로 360 도 뷰의 좌안 뷰 및 우안 뷰를 생성하고 깊이 인식(depth perception)을 생성하기 위하여 상기 좌안 뷰 및 우안 뷰를 함께 투영하는 단계를 더 포함하는, 360 도 뷰를 생성하기 위한 방법.
23. 제 21 항 또는 제 22 항에 있어서,
    상기 이미지를 캡쳐하는 단계는 동적 이미지를 캡쳐하는 단계를 포함하는, 360 도 뷰를 생성하기 위한 방법.
24. 제 21 항 내지 제 23 항 중 어느 한 항에 있어서,
    상기 복수 개의 카메라로부터 이미지를 캡쳐하는 단계는, 동일한 방향으로 지향되고 캡쳐 실질적으로 360 도 뷰의 부분에 대한 이미지를 캡쳐하도록 되어 있는 광각 렌즈를 각각 가지는 적어도 3 개의 카메라로부터 이미지를 캡쳐하는 단계를 포함하는, 360 도 뷰를 생성하기 위한 방법.
25. 제 21 항 내지 제 24 항 중 어느 한 항에 있어서,
    상기 이미지를 캡쳐하는 단계는, 임의의 주어진 시간에 동시에 상기 복수 개의 카메라로부터 이미지를 캡쳐하는 단계를 포함하는, 360 도 뷰를 생성하기 위한 방법.
26. 제 21 항 내지 제 25 항 중 어느 한 항에 있어서,
    상기 이미지의 부분들을 서로 이어붙이는 단계는, 각각 360 도/N의 시야에 대응하는 부분들을 서로 이어붙이는 단계를 포함하고, N은 상기 복수 개의 카메라의 개수인, 360 도 뷰를 생성하기 위한 방법.
27. 제 26 항에 있어서,
    상기 이미지를 캡쳐하는 단계는, 상기 복수 개의 카메라 중 임의의 카메라로부터, 상기 복수 개의 카메라 중 상기 카메라에 인접하는 제 1 카메라의 제 1 복제본 및 상기 복수 개의 카메라 중 상기 카메라에 인접하는 제 2 카메라의 제 2 복제본을 포함하는 이미지를 캡쳐하는 단계를 포함하고, 상기 이미지의 제 1 부분 및 상기 이미지의 제 2 부분은 이어붙이기 위하여 선택되는, 360 도 뷰를 생성하기 위한 방법.
28. 제 27 항에 있어서,
    상기 이미지의 제 1 및 제 2 부분의 각각의 상기 제 1 및 제 2 보더는 제 1 섹션 및 제 2 섹션을 각각 포함하고,
    상기 이미지의 제 1 부분에 대하여, 상기 제 1 보더의 제 1 섹션은 상기 카메라의 중심점과 제 1 인접 카메라의 중심점을 연결하는 제 1 라인에 대응하고, 제 2 보더의 제 1 섹션은 상기 카메라의 중심점과 제 2 인접 카메라의 중심점을 연결하는 제 2 라인에 대응하며, 상기 제 1 보더의 제 2 섹션은 상기 제 1 복제본을 상기 이미지의 제 1 부분으로부터 제거하기 위하여 제 1 라인으로부터 멀어지게 연장하고, 상기 제 2 보더의 제 2 섹션은 상기 제 2 라인으로부터 멀어지게 연장되고 상기 제 1 보더의 제 2 섹션과 동일한 형상을 가지며, 그리고
    상기 이미지의 제 2 부분에 대하여, 상기 제 1 보더의 제 1 섹션은 상기 제 2 라인에 대응하고, 상기 제 2 보더의 제 1 섹션은 상기 제 1 라인에 대응하며, 상기 제 1 보더의 제 2 섹션은 상기 제 2 복제본을 상기 이미지의 제 2 부분으로부터 제거하기 위하여 상기 제 2 라인으로부터 멀어지게 연장되고, 상기 제 2 보더의 제 2 섹션은 상기 제 1 라인으로부터 멀어지게 연장되며 상기 제 1 보더의 제 2 섹션과 동일한 형상을 가지는, 360 도 뷰를 생성하기 위한 방법.
29. 제 28 항에 있어서,
    상기 이어붙이는 단계는 각각의 이미지에 대하여 제 1 및 제 2 보더를 따라 이어붙이는 단계를 더 포함하고,
    상기 이미지의 제 1 부분의 제 1 보더는, 상기 제 1 복제본에 도달할 때까지 상기 제 1 라인에 대응하도록 규정되고, 상기 이미지의 제 2 부분의 제 1 보더는, 상기 제 2 복제본에 도달할 때까지 상기 제 2 라인에 대응하도록 규정되며, 상기 이미지의 제 1 및 제 2 부분 중 임의의 부분의 제 1 보더 및 제 2 보더는 동일한 길이를 가지는, 360 도 뷰를 생성하기 위한 방법.
30. 제 28 항에 있어서,
    상기 이어붙이는 단계는, 이어붙이기 위하여 선택되는 캡쳐된 이미지의 각각의 부분에 대하여 상기 제 1 및 제 2 보더를 따라 이어붙이는 단계를 포함하고,
    상기 이미지의 둘레에 도달할 때까지 상기 제 1 보더는 상기 제 1 라인에 대응하게 규정되고 상기 제 2 보더는 상기 제 2 라인에 대응하게 규정되는, 360 도 뷰를 생성하기 위한 방법.
31. 제 21 항 내지 제 30 항 중 어느 한 항에 있어서,
    상기 좌안 뷰를 생성하는 단계는 상기 이미지의 제 1 부분들을 서로 이어붙이는 단계를 포함하고,
    상기 우안 뷰를 생성하는 단계는 상기 이미지의 제 2 부분들을 서로 이어붙이는 단계를 포함하고,
    상기 이미지의 제 2 부분들은 상기 이미지의 제 1 복수 부분들의 180 도 회전에 대응하는, 360 도 뷰를 생성하기 위한 방법.
32. 제 31 항에 있어서,
    상기 이미지의 제 1 부분들로서, 제 1 복수 개의 포인트를 포함하는 부분들 중 제 1 부분을 선택하는 단계로서, 상기 제 1 복수 개의 포인트 중 각각의 하나는 원의 중심과 상기 제 1 복수 개의 포인트 중 상기 하나 사이의 제 1 시선으로부터 반시계방향으로 포지셔닝되는 상기 복수 개의 카메라 중 제 1 카메라로부터 관측되는, 단계; 및
    상기 이미지의 제 2 부분들로서, 제 2 복수 개의 포인트를 포함하는 부분들 중 제 2 부분을 선택하는 단계로서, 상기 제 2 복수 개의 포인트 중 각각의 하나는 원의 중심과 상기 제 2 복수 개의 포인트 중 상기 하나 사이의 제 2 시선으로부터 시계방향으로 포지셔닝되는 상기 복수 개의 카메라 중 제 1 카메라로부터 관측되는, 단계를 더 포함하는, 360 도 뷰를 생성하기 위한 방법.
33. 제 22 항 내지 제 32 항 중 어느 한 항에 있어서,
    상기 좌측 및 우안 뷰를 구형 뷰에서의 디스플레이를 위하여 포매팅하는 단계를 더 포함하는, 360 도 뷰를 생성하기 위한 방법.
34. 제 22 항 내지 제 32 항 중 어느 한 항에 있어서,
    상기 좌측 및 우안 뷰를 직사각 뷰에서의 디스플레이를 위하여 포매팅하는 단계를 더 포함하는, 360 도 뷰를 생성하기 위한 방법.
35. 제 22 항 내지 제 32 항 중 어느 한 항에 있어서,
    상기 좌측 및 우안 뷰를 원통형 뷰에서의 디스플레이를 위하여 포매팅하는 단계를 더 포함하는, 360 도 뷰를 생성하기 위한 방법.
36. 제 33 항 내지 제 35 항 중 어느 한 항에 있어서,
    상기 포매팅하는 단계는, 상기 좌측 및 우안 뷰를 애너글리프으로서 인코딩하는 단계를 포함하는, 360 도 뷰를 생성하기 위한 방법.
37. 제 22 항 내지 제 32 항 중 어느 한 항에 있어서,
    상기 좌측 및 우안 뷰를 헤드-장착 디스플레이 상의 디스플레이를 위하여 포매팅하는 단계를 더 포함하는, 360 도 뷰를 생성하기 위한 방법.
38. 저장된 프로그램 코드를 가지는 컴퓨터 판독가능 매체로서, 상기 프로그램 코드는 복수 개의 이격된 카메라로부터 촬영된 이미지로부터 실질적으로 360 도 뷰를 생성하기 위하여 프로세서에 의하여 실행가능하고, 상기 프로그램 코드는,
    베이스라인 높이에서 원 주위에서 실질적으로 등거리로 고정되는 복수 개의 카메라로부터 이미지를 캡쳐하는 것; 및
    상기 복수 개의 카메라 중 인접하는 카메라의 중심점을 연결하는 라인에 적어도 부분적으로 대응하는 제 1 및 제 2 보더에 따라 상기 복수 개의 카메라들의 각각의 카메라로부터의 이미지의 부분들을 서로 이어붙이는 것을 위한 것인, 컴퓨터 판독가능 매체.

Images