KR20060015460A

KR20060015460A - 입체 파노라마 화상 캡처 디바이스

Info

Publication number: KR20060015460A
Application number: KR1020057013716A
Authority: KR
Inventors: 돈 피어스; 스티븐 헤른스타트; 트렌트 그로버; 프레드 굿
Original assignee: 미코이 코포레이션
Priority date: 2005-07-25
Filing date: 2003-01-24
Publication date: 2006-02-17

Abstract

복수의 제1 화상 캡처 디바이스들을 포함하는 촬상 시스템이 개시되어 있다. 겹치는 렉티리니어 화상들(overlapping rectilinear images)이 갭처되어 2등분되고, 좌측 절반들은 꿰매어 합쳐져서 제1 이퀴렉탱귤러 화상(equirectangular image)으로 변환되고 우측 절반들은 꿰매어 합쳐져서 제2 이퀴렉탱귤러 화상으로 변환된다. 제1 이퀴렉탱귤러 화상, 및 제2 이퀴렉탱귤러 화상은 입체적 배향으로 디스플레이되어 입체 이퀴렉탱귤러 화상을 생성한다. 이 촬상 시스템은 풀모션 입체 이퀴렉탱귤러 화상을 생성하기 위해, 복수의 순차 화상들을 캡처하는 데 이용될 수 있다.

촬상 시스템, 입체 파노라마 화상, 렉티리니어(rectilinear), 이퀴렉탱귤러(equirectangular), 페더링(feathering)

Description

입체 파노라마 화상 캡처 디바이스{STEREOSCOPIC PANORAMIC IMAGE CAPTURE DEVICE}

본 발명의 실시예들은 일반적으로 파노라마 화상 캡처 디바이스에 관한 것으로, 보다 구체적으로는, 입체 파노라마 화상을 생성하는 파노라마 화상 캡처 디바이스에 관한 것이다.

파노라마 카메라가 당업계에 공지되어 있다. 그런 카메라는 흔히 단일의 회전 가능한 카메라(single, rotatable camera)를 이용한다. 그런 디바이스들은 정지 화상에 적합하긴 하지만, 전형적으로 그러한 디바이스들은 비정지 대상(non-stationary objects)을 캡처하는 데 이용될 때 흐릿하거나 일그러진 화상(blurred or distorted images)을 생성한다. 또한 당업계에는 복수의 화상 캡처 디바이스를 구비한 화상 캡처 시스템을 이용하는 것도 공지되어 있다. 이런 식으로, 복수의 화상이 실질적으로 동시에 캡처되어, 당업계에 공지된 프로세스들을 이용하여 꿰매어 합쳐질(stitch together) 수 있다. 그런 시스템들은 움직이는 대상(objects in motion)을 캡처하는 것과 관련한 문제점을 실질적으로 제거하기는 하지만, 그런 시스템들은 입체 화상을 생성하는 수단을 제공하지 않는다.

또한 당업계에는 "어안" 렌즈(fish-eye lens)를 이용하여 파노라마 화상을 캡처하는 것도 공지되어 있다. 그러나, 그런 화상은 결과 화상에 다량의 일그러짐을 가져오고, 비교적 저품질의 화상을 캡처한다. 따라서, 보다 적은 일그러짐 및 보다 높은 품질의 파노라마 화상을 생성하는 것이 바람직할 것이다.

전형적으로, 입체 화상을 캡처하기 위하여, 2개의 촬상 시스템(imaging systems)이 서로에 이웃하여(next to one another) 배치되어 특정 화상을 캡처한다. 유감스럽게도, 이 방법은 입체 파노라마 화상을 생성하는 것에 외삽(extrapolate)될 수 없는데, 그 이유는 하나의 화상 캡처 디바이스는 필연적으로 인접한 화상 캡처 디바이스의 시야(field of view)에 속할 것이기 때문이다. 그러므로, 특정 화상의 입체 디스플레이를 위해 입체 쌍의 파노라마 화상들(a stereoscopic pair of panoramic images)을 생성하기 위해 이용될 수 있는 파노라마 화상 캡처 시스템을 제공하는 것이 바람직할 것이다.

발명의 개요

본 발명에 의해 제공되는 이점에서, 화상 캡처 시스템이 입체 쌍의 파노라마 화상들을 생성한다.

유리하게는, 본 발명은 이음매 없는(seamless) 파노라마 화상을 생성하는 화상 캡처 시스템을 제공한다.

유리하게는, 본 발명은 움직이는 입체 파노라마 화상을 생성하는 화상 캡처 시스템을 제공한다.

유리하게는, 본 발명은 최소 일그러짐의 입체 파노라마 화상을 생성한다.

유리하게는, 본 발명은 풀모션(full-motion), 실시간, 파노라마 입체 촬상을 위한 촬상 시스템을 제공한다.

유리하게는, 본 발명의 바람직한 예에서, 제1 화상 캡처 디바이스, 제2 화상 캡처 디바이스, 및 제3 화상 캡처 디바이스를 포함하는 촬상 시스템이 제공된다. 또한 상기 제1 화상 캡처 디바이스를 이용하여 캡처된 제1 화상의 제1 부분과 상기 제2 화상 캡처 디바이스를 이용하여 캡처된 제2 화상의 부분을 결합하여 제1 결합 화상을 생성하기 위한 수단이 제공된다. 또한 상기 제1 화상의 적어도 제2 부분과 상기 제3 화상 캡처 디바이스를 이용하여 캡처된 제3 화상의 적어도 일부분을 결합하여 제2 결합 화상을 생성하기 위한 수단이 제공된다.

이 바람직한 실시예에서, 복수의 화상 캡처 디바이스들이 복수의 화상을 생성하기 위해 이용되고, 이 화상들 각각의 일부분은 인접한 화상들의 일부분과 결합되어 제1 결합 파노라마 화상을 생성한다. 유사하게, 각각의 화상의 제2 부분은 인접한 화상들의 별개의 부분들과 결합되어 제2 결합 파노라마 화상을 생성한다. 바람직하게는, 상기 제1 결합 파노라마 화상, 및 제2 결합 파노라마 화상은 입체적 배향(stereoscopic orientation)으로 디스플레이되어 입체 파노라마 화상을 생성한다. 본 발명의 촬상 시스템은 풀모션 입체 파노라마 화상을 생성하기 위해 복수의 화상을 캡처하기 위해 이용될 수 있다.

이제 첨부 도면을 참조하여 예로서 본 발명을 설명한다.

도 1은 본 발명의 촬상 시스템의 정면도를 예시한다.

도 2는 본 발명의 촬상 시스템의 인접한 화상 캡처 디바이스들의 화상 캡처 영역들에 대한 그래픽 묘사를 예시한다.

도 3은 화면 상에 디스플레이된 최종 파노라마 입체 화상의 저부 사시도(bottom perspective view), 및 그 화상을 보기 위해 사용되는 편광 안경을 예시한다.

도 4A-4B는 좌측 파노라마 화상 및 우측 파노라마 화상을 예시한다.

도 5A-5B는 제1 화상 버퍼 및 제2 화상 버퍼와 관련된 화상들을 예시한다.

도 6A-6C는 촬상 디바이스들을 이용하여 캡처된 복수의 화상을 입체 파노라마 화상을 생성하기 위한 제1 파노라마 화상 및 제2 파노라마 화상으로 변환하기 위해 본 디바이스의 촬상 시스템과 관련하여 이용되는 변환 프로세스의 흐름도이다.

도 7은 도 1의 카메라를 이용하여 생성된, 360도의 탁 트인(unobstructed) 파노라마 입체 화상의 사시도를 예시한다.

도 1을 참조하면, 플라스틱 또는 다른 유사한 경량의 재료로 구성된 보디(body)(12)를 갖는 카메라(10)가 도시되어 있다. 바람직한 실시예에서, 보디(12)는 실질적으로 구형으로, 바람직하게는 약 0.001 센티미터와 약 500 센티미터 사이의 직경을 갖고, 더욱 바람직하게는, 약 10 센티미터와 약 50 센티미터 사이의 직경을 갖는다. 보디(12)의 표면에 걸쳐서 실질적으로 등간격으로 복수의 렌즈(14)가 제공된다. 이 렌즈들(14)은 바람직하게는 원형 렌즈이고, 바람직하게는 약 5 옹스트롬과 약 10 센티미터 사이의 직경을 갖고, 더욱 바람직하게는, 약 0.5 센티미터와 약 5 센티미터 사이의 직경을 갖는다. 바람직한 실시예에서, 이 렌즈들은 뉴욕주 11725, 코맥(Commack), 몰 드라이브(Mall Drive) 55에 소재하는 CBC America에 의해 제조된, 모델 번호 BCL38C 3.8 밀리미터 마이크로 렌즈이다. 도 2에 도시된 바와 같이, 이 렌즈들(14)은 각각, 당업계에 잘 알려진 것들과 같은, 전하 결합 소자(CCD) 어셈블리(16)와 관련된다. 바람직한 실시예에서는 파나소닉에 의해 제조되고 Rock2000.com으로부터 입수할 수 있는 GP-CX171/LM CCD 컬러 보드 카메라가 이용되지만, 임의의 공지된 화상 캡처 시스템이 이용될 수 있다. 따라서, 이 명세서의 목적을 위해, 렌즈들(14) 및/또는 CCD 어셈블리들(16)은 또한 "화상 캡처 유닛들"(26, 40, 및 54)로 기술될 수 있다. 도 2에 도시된 바와 같이, 화상 캡처 유닛들(26, 40, 및 54) 모두는 프로세싱 유닛(CPU)(22)에 기능적으로 연결되고, 따라서 CPU(22)는 화상 캡처 디바이스들(14 및/또는 16)로부터 화상을 수신할 수 있다. 바람직한 실시예에서, CPU(22)는 캘리포니아주 94086, 서니베일, 폰트레로(Pontrero) 480 소재의 3Dlabs에 의해 제조된 Oxygen GVX210 그래픽 카드가 구비된 900 MHz, 펜티엄®4 계열 퍼스널 컴퓨터이다. CPU는 당업계에 공지된 임의의 타입의 것일 수 있지만, 그것은 당업계에 공지된 것과 같은 방식으로 쿼드 버퍼링(quad buffering)이 가능하고 페이지 플리핑 소프트웨어(page flipping software)를 이용할 수 있는 것이 바람직하다. CPU(22)는 헤드 마운트 디스플레이(head mounted display)(24)에 연결될 수 있고, 이 헤드 마운트 디스플레이는, 바람직한 실시예에서는, 뉴욕주 14623, 로체스터, 브라이튼 헨리에타 타운라인 로드 2166에 소재하는 Interactive Imaging Systems, Inc.에 의해 제조된 VFX3D이다.

도 2에 도시된 바와 같이, 렌즈들(14)은 서로 분기하고(divergent), 보디(12)에 의해 규정된 실질적으로 아치형의 경로 또는 라인을 따라서 서로 약 20도 정도 오프셋되어 있다. 실질적으로 아치형의 경로의 방향을 따라서 약 5도 내지 약 45도일 수 있는 이 오프셋으로 인해 각각의 렌즈(14) 및/또는 화상 캡처 유닛들(26, 40, 54)은 실질적으로 유사한 초점을 갖게 된다. 각각의 렌즈(14)는 약 53도의 시야를 갖고, 이 시야는 측면으로 인접한 렌즈의 시야와 약 10 내지 약 90 퍼센트만큼, 바람직하게는, 약 50 내지 약 65 퍼센트만큼 겹친다. 도 2에 도시된 바와 같이, 제1 화상 캡처 유닛(26)은, 한쪽은 좌측면(30)과 접하고 다른 쪽은 우측면(32)과 접하는 화상을 이등분하는 광축(28)과 관련되어 있다. 화상 캡처 유닛(26)의 렌즈(14)는 좌측 화상면(36)과 우측 화상면(38)으로 분할되는 정의된 화상면(34)에 초점이 맞추어져 있다.

유사하게, 제2 화상 캡처 유닛(40)에도 광축(42), 좌측면(44), 우측면(46), 정의된 화상면(48), 좌측 화상면(50), 및 우측 화상면(52)이 제공된다. 제1 화상 캡처 유닛(26)의 우측의 제3 화상 캡처 유닛(54)에는, 광축(56), 좌측면(58), 우측면(60), 정의된 화상면(62), 좌측 화상면(64), 및 우측 화상면(66)이 제공된다.

복수의 화상 캡처 유닛들(26, 40 및 54)을 제공하고, 정의된 화상면들(34, 48 및 62)를 절반들(halves)과 같은 부분들로 분할하고, 화상 캡처 유닛들(26, 40 및 54)을 도 2에 도시된 바와 같이 배향시킴으로써, 최종 파노라마 화상과 관련된 모든 포인트(point)가 적어도 2개의 인접한 화상 캡처 유닛들(26, 40 및/또는 54)의 정의된 화상면 내에 있다. 도 5A-5B에 도시된 바와 같이, 인접한 화상 캡처 유닛들의 정의된 화상면들은 수직으로, 바람직하게는 약 1-20 퍼센트, 더욱 바람직하게는 약 5-10 퍼센트, 그리고 바람직한 실시예에서는 약 7 퍼센트 정도 겹친다. 유사하게, 인접한 화상 캡처 유닛들의 정의된 화상면들은 수평으로, 바람직하게는 약 20 퍼센트, 더욱 바람직하게는 약 5-10 퍼센트, 그리고 바람직한 실시예에서는 약 6 퍼센트 정도 겹친다. 이들 겹침은 후술되는 "꿰매기"(stitching) 프로세스에서 도움이 된다.

장면(scene)의 약 180도(예컨대, 반구)를 디스플레이할 수 있는, 본 발명의 최종 파노라마 화상(68)을 생성하기 위하여, 제1 파노라마 화상(72) 및 제2 파노라마 화상(74)이 생성된다(도 3 및 4A-4B). 파노라마 화상들(72, 74) 각각은 장면의 약 90도(예컨대, 반구의 약 절반)를 디스플레이할 수 있다. 제1 파노라마 화상(72)을 생성하기 위하여, 제1 화상 캡처 유닛(26)의 좌측 화상면(36)과 관련된 화상(76)이 제2 화상 캡처 유닛(40)의 좌측 화상면(50)과 관련된 화상(78) 및 제3 화상 캡처 유닛(54)의 좌측 화상면(64)과 관련된 화상(80)과 결합된다(도 2, 4A 및 5A). 도 2에 도시된 바와 같이, 관련 화상면들(36, 50 및 64)은, 바람직하게는 약 0.5-30 퍼센트만큼, 더욱 바람직하게는 약 10-20 퍼센트만큼, 그리고 바람직한 실시예에서는 약 13 퍼센트 정도 겹치지만, 서로 평행하지 않고, 제1 파노라마 화상(72)을 규정하는 곡선에 반드시 접하지는 않는다(도 2 및 4A). 따라서, 면들(36, 50 및 64)과 관련된 화상들(76, 78, 80, 82, 84 및 86)은, 후술하는 바와 같이 최종 파노라마 화상(68)을 형성하기 위해 꿰매어 합쳐질 수 있기 전에, 그들의 비평행 배향과 관련된 일그러짐을 제거하도록 변환(transform)되어야 한다(도 2, 3, 4A-4B 및 5A-5B).

일단 좌측 화상면들(38, 52, 66)과 관련된 화상들(76, 78 및 80), 및 우측 화상면들(36, 50 및 64)과 관련된 화상들(82, 84 및 86)이 모든 화상 캡처 유닛들(26, 40 및 54)로부터 수집되고 수신되면, 이 화상들은 하드와이어, 무선, 또는 임의의 원하는 커넥션을 통하여 CPU(22)에 송신될 수 있다. 그 후 CPU(22)는 그 화상들을 도 6A-6C에 기술된 프로세스에 따라서 변환하도록 동작할 수 있다. 블록(88)에 도시된 바와 같이, 바람직한 실시예에서는 실질적으로 렉티리니어(rectilinear) 화상들이지만, 물론 임의의 타입의 화상일 수도 있는, 원본 화상들(source images)이 CPU(22)에 의해 화상 캡처 유닛들(26, 40 및 54)로부터 획득되거나 수신된다(도 2, 4A, 4B 및 6A-6C). 블록(94)에 도시된 바와 같이, CPU(22)는 변환되지 않은 원본 화상들에 대한 레지스트레이션 픽셀 쌍들(registration pixel pairs)을 정의할 수 있다.

그 후, 블록(96)에 도시된 바와 같이, CPU(22)는 입력 파일을 생성한다. 입력 파일은 최종 파노라마 화상(68)의 높이 및 폭, 원본 정보, 및 레지스트레이션 포인트 정보를 포함한다. 원본 정보는 원본 화상의 파일명 및 경로, 픽셀로 나타낸 원본 화상의 높이 및 폭, 및 관련 화상 캡처 유닛의 소스의 편요, 피치 및 롤 각도들(yaw, pitch and roll angles)을 포함한다. 바람직하게는 약 1도와 약 80도 사이이고, 더욱 바람직하게는 약 30도와 약 60도 사이이고, 바람직한 실시예에서는 약 53도인, 화상 캡처 유닛의 수평 시야는 원본 화상의 관련 좌측면 및 우측면, X 시프트, Y 시프트 및 줌 값들에 의해 정의된다. 레지스트레이션 포인트들과 관련된 정보는 레지스트레이션 포인트의 제1 픽셀 위치와 관련된 원본 화상에 관한 정보, 제1 원본 화상 내의 수평 및 수직 픽셀 위치, 제2 픽셀 위치와 관련된 원본 화상에 관한 정보의 리스트 인덱스, 및 제2 원본 화상 내의 수평 및 수직 위치를 포함한다.

화상면들(36, 38, 50, 52, 64 및 66)과 관련된 화상들(76-86)은 실질적으로 렉티리니어, 노멀 플랫필드(flat-field) 화상들이고, 파노라마 화상들(72 및 74)은 도 4A-4B에 도시된 것과 같은 식으로 구면 상의 픽셀 매핑을 나타내는, 적어도 부분적으로 이퀴렉탱귤러(equirectangular)이다. 따라서, 일단 CPU(22)가 입력 파일을 생성하면, 블록(98)에 도시된 바와 같이, 레지스트레이션 픽셀 쌍들은 그들의 위치를 최종 파노라마 화상(68)에 배치하도록 변환될 수 있다.

임의의 원본 화상에서 시작하여, 3차원 공간 내의 주어진 레지스트레이션 픽셀 쌍의 제1 픽셀을 나타내고, 그것을 최종 파노라마 화상(68) 상에 배치하는 벡터가 정의된다. 이것은 각각의 픽셀에 다음의 행렬 변환을 적용함으로써 성취된다:

세그먼트 x 정의: 화상의 중심에 관련되도록 원본 화상 내의 픽셀의 수평 위치를 변경한다. 그 후 원본 화상의 X 시프트 및 줌 변수(zoom variables)를 보상한다.

세그먼트 y 정의: 화상의 중심에 관련되도록 원본 화상 내의 픽셀의 수직 위치를 변경한다. 그 후 원본 화상의 Y 시프트 및 줌 변수를 보상한다.

세그먼트 z 정의: 각종 원본 화상 변수들을 이용하여, 픽셀로 나타낸 화상의 크기에 의해 제공된 스케일에 대응하는 z 세그먼트를 결정한다.

소스 카메라의 회전 각도들에 대응하도록 벡터를 변환한다. 이것은 3개의 회전 행렬들 각각에 의해 벡터를 변환함으로써 계산된다.

x 축에 대한 회전:

y 축에 대한 회전:

z 축에 대한 회전:

행렬 변환 시에, 픽셀 벡터는 3차원 공간 내의 해당 포인트의 글로벌 globX, globY, 및 globZ 위치들을 나타낸다. 그 후 CPU(22)는 이들 위치들을 공간 좌표들로 변환하고 그것들을 직접 최종 파노라마 좌표들에 적용한다. 벡터의 편요 각도(yaw angle)는 그것의 수평 파노라마 위치, newX를 나타내고, 그것의 피치 각도(pitch angle)는 그것의 수직 파노라마 위치, newY를 나타낸다.

블록(100)에 도시된 바와 같이, 일단 레지스트레이션 픽셀 쌍들이 이런 식으로 최종 파노라마 화상(68)에 매핑되면, CPU(22)는 레지스트레이션 픽셀 쌍들 간의 거리를 계산한다. 초기 변환 시의 경우와 같이, 만일 주어진 원본 화상에 대한 레지스트레이션 픽셀 쌍들의 평균 거리가 아직 최소화되지 않았다면, 블록(102)에 도시된 바와 같이, 원본 화상의 편요가 약간 변경되고, 그 후 프로세스는 블록(98)으로 되돌아가서 레지스트레이션 픽셀 쌍들이 다시 최종 파노라마 화상(68) 내의 픽셀 포인트들로 변환된다. 이 프로세스는 계속되어, 원본 화상 레지스트레이션 픽셀 쌍들의 평균 거리가 최소화될 때까지 편요를 변경한다. 그 후, 관련 레지스트레이션 픽셀 쌍들의 평균 거리가 최소화될 때까지 피치, 롤, X 시프트, Y 시프트 및 줌이 변경된다. 일단, 특정 원본 화상의 피치, 롤, X 시프트, Y 시프트 및 줌이 최적화되면, 블록(104)에 도시된 바와 같이, 모든 원본 화상들에 대하여, 그것들이 모두 그렇게 최적화될 때까지, 변환 절차가 반복된다.

블록(106)에 도시된 바와 같이, 모든 원본 화상들이 그렇게 최적화되면, 모든 원본 화상 레지스트레이션 쌍들의 평균 거리가 계산되고, 만일 그것들이 아직 최소화되지 않았다면, 블록(108)에 도시된 바와 같이 원본 화상들의 편요, 피치, 롤, XShift, YShift 및 줌이 변경되고, 프로세스는 블록(98)으로 되돌아가서, 레지스트레이션 픽셀 쌍들 간의 거리가 모든 원본 화상들에 걸쳐서 최소화될 때까지, 프로세스가 계속된다.

일단 레지스트레이션 픽셀 쌍들 간의 평균 거리가 모든 원본 화상들에 걸쳐서 최소화되면, 블록(110)에 도시된 바와 같이, 제1 파노라마 화상(72)의 높이 및 폭, 각각의 특정 원본 화상에 대한 편요, 피치, 롤, XShift, YShift 및 줌을 확인해주는 출력 파일이 생성된다. 그 후, 블록(112)에 도시된 바와 같이, 주어진 원본 화상 내의 각각의 픽셀에 대하여, 위에서 설명된 벡터 변환을 이용하여, 3차원 공간에서 특정 픽셀의 위치를 나타내는 벡터가 정의된다.

일단 벡터가 정의되면, 블록(114)에 도시된 바와 같이, 출력 파일에서 정의된 바와 같이 원본 화상과 관련된 편요, 피치, 롤, XShift, YShift 및 줌을 반영하도록 벡터가 변환된다. 벡터의 변환의 완료 후에, 블록(116)에 도시된 바와 같이, 변환된 벡터는 최종 파노라마 화상(68) 내의 픽셀과 관련된다. 블록(118)에 도시된 바와 같이, 이 프로세스는 특정 원본 화상 내의 모든 픽셀들이 벡터들로 변환되고, 그들의 위치가 최종 파노라마 화상(68) 상에 배치될 때까지 반복된다.

블록(120)에 도시된 바와 같이, 일단 주어진 원본 화상의 모든 픽셀들이 최종 파노라마 화상(68) 상에 배치되면, 각각 최종 파노라마 화상(68)의 것과 거의 같은 높이 및 폭을 갖는, 2개의 화상 버퍼(90 및 92)가 생성된다(도 3, 5A-5B 및 6B). 블록(122)에 도시된 바와 같이, 일단 화상 버퍼들(90 및 92)이 생성되면, 특정 원본 화상의 4개의 인접한 픽셀들의 4변형(quadrilateral)과 관련된 벡터 변환 정보를 이용하여 적당한 화상 버퍼(90 또는 92) 상에 픽셀들의 4변형을 드로잉(draw)한다(도 5A-5B 및 6C). 만일 픽셀이 좌측 화상면들(38, 52 또는 66) 내에 있다면, 그 픽셀은 좌측 화상 버퍼(90)에 기입된다. 만일 픽셀이 우측 화상면들(36, 50 또는 64) 내에 있다면, 그 픽셀은 우측 화상 버퍼(92) 내에 있다(도 2 및 5A-5B).

블록(124)에 도시된 바와 같이, 변환은 화상 버퍼 상에 픽셀들의 4변형을 펼칠(spread out) 것 같기 때문에, 픽셀들이 그들의 렉티리니어 위치로부터 관련 화상 버퍼(90 또는 92) 내의 그들의 이퀴렉탱귤러 위치로 변환될 때 그 픽셀들 간에 아마도 갭이 있을 것이다(도 5A-5B 및 6C). 픽셀들의 4변형이 관련 화상 버퍼(90 또는 92) 상에 배치될 때, 그로 인해 생성된 갭들은, 당업계에 공지된 것과 같은 방식으로, 아마도 코너 픽셀 컬러들의 리니어 그래디언트(linear gradient)를 이용하여, 가능한 한 매끄럽게 채워진다. 공지된 리니어 그래디언트 채우기 기법들이 화상들 간의 가시적인 이음매를 감소시키기 위해서 이용될 수도 있다. 픽셀 데이터로 이미 채워진 화상 버퍼들(90 및 92)의 영역들에 대하여, 화상 버퍼들(90 및 92)에 부가적인 원본 화상 정보가 적용될 때, 새로운 겹치는 픽셀들의 알파 투명도(alpha transparency)가 선형적으로 저하되어, 후술하는 바와 같이 결과의 이음매를 매끄럽게 한다.

따라서, 관련 화상 버퍼(90 또는 92)에 4변형을 매핑할 때, CPU(22)는, 갭을 인접한 픽셀들과 비교하거나, 또는 모션 캡처 시스템에서 바로 선행하는 프레임 및 바로 후속하는 프레임을 이용하여 갭을 "화이트 복싱"(white boxing)하여 갭에 대해 가장 적당한 픽셀 값을 외삽하는 것을 포함할 수 있는, 당업계에 공지된 임의의 방법을 이용하여, 내부 픽셀 값들을 보간함으로써 갭들을 제거할 수 있다. 블록(126)에 도시된 바와 같이, 모든 원본 화상 픽셀들이 적당한 화상 버퍼(90 또는 92)에 매핑될 때까지 블록들(122 및 124)이 반복된다.

일단 모든 픽셀들이 매핑되면, 블록(128)에 도시된 바와 같이, 제1 화상 버퍼 픽셀들이 제1 파노라마 화상 픽셀들과 비교된다. 만일 제1 파노라마 화상(72)이 제1 화상 버퍼(90) 내의 픽셀과 관련된 픽셀을 갖고 있지 않다면, CPU(22)는 제1 화상 버퍼(90) 내의 픽셀을 최대 가시도(maximum visibility)로 설정한다. 만일 제1 파노라마 화상(72)이 제1 화상 버퍼(90) 내의 픽셀과 관련된 픽셀을 이미 갖고 있다면, 기존의 픽셀은 제1 화상 버퍼(90) 내의 대응하는 픽셀과 비교된다. 만일 제1 화상 버퍼(90) 내의 픽셀이 갖는 그 각각의 원본 화상의 중심까지의 거리가 기존의 픽셀이 갖는 거리보다 작다면, 제1 화상 버퍼(90) 내의 픽셀은 최대 가시도로 설정된다. 반대로 만일 제1 화상 버퍼(90) 내의 픽셀이 갖는 그 각각의 원본 화상의 중심까지의 거리가 기존의 픽셀이 갖는 거리보다 크다면, 제1 화상 버퍼(90) 내의 픽셀은 최소 가시도로 설정된다. 제2 화상 버퍼(92)의 픽셀들을 제2 파노라마 화상(74)으로 병합하기 위해 프로세스가 반복된다.

블록(130)에 도시된 바와 같이, 화상 버퍼들(90 및 92) 내의 화상의 겹치는 에지들은 겹치는 영역 위의 픽셀들의 가시도를 저하시킴으로써 페더링(feather)된다. 이 페더링(feathering)은 일단 화상 버퍼들(90 및 92)로부터 파노라마 화상들(72 및 74)로 화상이 병합되면 그 화상의 겹치는 영역들을 매끄럽게 한다. 블록(132)에 도시된 바와 같이, 일단 화상 버퍼 픽셀들이 적당한 가시도로 설정되고, 화상 버퍼들의 화상이 페더링되면, 화상 버퍼들의 화상들은 제1 및 제2 파노라마 화상들(72 및 74)로 병합된다. 블록(134)에 도시된 바와 같이, 모든 원본 화상들이 제1 및 제2 파노라마 화상들(72 및 74)로 병합될 때까지 블록들(122 내지 132)이 반복된다. 위에서 언급한 바와 같이, 화상 캡처 유닛들(26, 40 및 54)의 좌측 화상면들(36, 50 및 64)과 관련된 화상들(76, 78 및 80)은 제1 파노라마 화상(72)을 생성하기 위해 사용되고, 화상 캡처 유닛들(26, 40 및 54)의 우측 화상면들(38, 52 및 66)과 관련된 화상들(82, 84 및 86)은 제2 파노라마 화상(74)을 생성하기 위해 사용된다.

일단 최종 파노라마 화상들(72 및 74) 양쪽 모두가 생성되면, 블록(138)에 도시된 바와 같이, 파노라마 화상들(72 및 74)은 최종 파노라마 화상(68)으로서 함께 디스플레이될 수 있다(도 3, 4A 및 4B). 파노라마 화상들(72 및 74)은 도 3에 도시된 것과 같은, 표준 파노라마 화면(140) 상에 도시된 바와 같이, 역편광(reverse polarize)될 수 있고, 반전 극성(reversed polarity)의 렌즈들을 갖는 안경(142)을 이용하여 볼 수 있다. 다르게는, 파노라마 화상들(72 및 74)은 도 1에 도시된 헤드 마운트 디스플레이(24)에 전달될 수 있다. CPU(22)는 화상들을 송신하고 그 화상들을 헤드 마운트 디스플레이(24)의 좌측 및 우측 디스플레이들에 적절하게 분리하여 디스플레이하는 공지된 "페이지-플리핑"(page-flipping) 기법을 이용하여 다중 파노라마 화상들을 헤드 마운트 디스플레이(24)에 송신할 수 있다. 이 프로세스는 초당 전체 24개 프레임의 모션 픽처(motion picture)로서 디스플레이를 애니메이트(animate)하기 위해, 또는 다중 시각 화상들(multiple visual images)을 각각의 디스플레이에 디스플레이하기 위해 사용될 수 있다. 따라서, 촬상 시스템(도 2 참조)은 제1 화상(36)을 캡처하는 제1 화상 캡처 유닛(26), 제2 화상(50)을 캡처하는 제2 화상 캡처 유닛(40), 및 제3 화상(64)을 캡처하는 제3 화상 캡처 유닛(40)은 물론, 제1 화상(36)의 제1 부분과 제2 화상(50)의 부분을 결합하여 제1 결합 화상을 생성하는 수단(22), 및 제1 화상(36)의 제2 부분과 제3 화상(64)의 부분을 결합하여 제2 결합 화상을 생성하는 수단(22)을 포함할 수 있다. 제1 화상의 제1 부분은 전체 제1 화상까지 임의의 양일 수도 있고, 또는 제1 화상의 약 20 퍼센트와 80 퍼센트 사이일 수도 있다. 제2 화상의 부분은 전체 제2 화상까지 임의의 양일 수도 있고, 또는 제2 화상의 약 20 퍼센트와 80 퍼센트 사이일 수도 있다. 제1 및 제2 결합 화상들은 반복적으로 생성되고 디스플레이되어 입체 모션(stereoscopic motion)을 전달할 수 있다.

촬상 시스템은 또한 화상을 제공하는 화상 캡처 유닛(26), 상기 화상의 제1 부분을 이용하여 제1 입체 화상을 생성하는 수단(22), 및 상기 화상의 제2 부분을 이용하여 제2 입체 화상을 생성하는 수단(22)을 포함할 수 있다.

헤드 마운트 디스플레이 유닛(24)은 또한 당업계에 공지된 것들과 같은 배향 센서(144)를 구비하여 센서(144)가 움직일 때 헤드 마운트 디스플레이(24)에 제공되는 화상을 변경할 수 있다. 이런 식으로, 사용자(도시되지 않음)는 위로, 아래로, 및 어느 방향으로든 사용자의 시선의 벡터와 관련된 최종 파노라마 화상(68)의 해당 부분을 볼 수 있고, 실제로 3차원 공간 주위를 보는 감각을 가질 수 있다.

본 발명의 대안 실시예에서, 카메라(10)는 실질적으로 서로 평행하게 배향된 실질적으로 렉티리니어 캡처 시스템들을 갖는 복수의 화상 캡처 쌍들을 구비할 수 있다. 상기 쌍들은 원하는 입체 화상을 얻기 위해 소정 인수만큼 오프셋될 수 있다. 화상들은 쌍으로 캡처되기 때문에, 이 실시예와 관련된 변환 프로세스는 상술한 것과 동일하지만, 화상들을 절반으로 분할하고, 각각의 절반으로부터의 픽셀들을 별개의 화상 버퍼로 송신하는 대신, 각각의 화상 캡처 디바이스 쌍의 "좌측" 화상 캡처 디바이스들로부터의 화상들과 관련된 모든 픽셀들은 하나의 화상 버퍼로 송신되고, "우측" 화상 캡처 디바이스들로부터의 화상들과 관련된 모든 픽셀들은 다른 화상 버퍼로 송신된다.

본 발명의 다른 대안 실시예에서, 카메라(10) 및 CPU(22)는 초당 24개 이상의 프레임들을 캡처하고, 최종 입체, 파노라마 화상(68)을 실시간으로 모션 픽처로서 디스플레이하기 위해 사용될 수 있다.

본 발명의 또 다른 대안 실시예에서, 당업계에 공지된 것과 같은 방식으로 생성된, 컴퓨터 생성 그래픽 정보가 CPU(22)에서 최종 파노라마 화상들(72 및 74)과 결합되어 카메라(10)로 캡처된 실제 화상들, 및 디지털화된 가상 현실 화상들(146)의 이음매 없는 통합을 제공할 수 있다(도 3). 이 결합은 실제 및 가상 파노라마 입체 가상 화상들의 이음매 없는 디스플레이를 생성한다.

본 발명의 또 다른 대안 실시예에서, 카메라(10)로 캡처된 화상들은 이음매 없는 360도 파노라마 화상을 생성하도록 상기 변환 절차들을 이용하여 변환될 수 있다. 도 1에 도시된 바와 같이, 카메라(10)는 지지 포스트(support post)(148) 및 원격 제어차 등과 관련하여 사용되는 것들과 유사하거나 동일한 원격 제어 캐리지(remote control carriage)(150)와 같은 운송 유닛을 구비한다. 화상 캡처 유닛들의 좌측 화상면들과 관련된 화상들은 결합 화상을 생성하기 위해 사용될 수 있고 화상 캡처 유닛들의 우측 화상면들과 관련된 화상들은 상기 결합 화상을 겹쳐쓰고 채움으로써 만일 그렇지 않을 경우에는 상기 결합 화상에서 보이는(visible) 상기 지지 포스트(148), 캐리지(150) 및 임의의 다른 카메라 장비를 숨기는 데 사용될 수 있다. 전술한 변환 절차들은 그러한 겹쳐쓰기 및 채우기(overwriting and filling)를 위해 사용될 수 있다. 이런 식으로, 원치 않은 정보를 포함하지 않는 화상들만 최종 파노라마 화상(152)에 매핑되고, 이 최종 파노라마 화상은 구면 화면(spherical screen)(154) 또는 헤드 마운트 디스플레이(24)에 디스플레이될 수 있다(도 1 및 7). 캐리지(150)의 밑넓이(footprint)에 의해 커버된 영역을 반영하는 화상의 해당 부분에 대해서는, 상술한 보간 및 페더링 절차들이 캐리지(150) 아래에 있는 화상을 근사(approximate)하는 데 이용되어 완전히 탁 트인 360도 화상의 외관을 생성할 수 있다.

이상에서는 바람직한 실시예와 관련하여 본 발명을 설명하였지만, 본 발명은 그렇게 제한되어서는 안 된다는 것을 알아야 할 것이다. 왜냐하면 첨부된 청구항들에 의해 정의된 본 발명의 전체 의도된 범위 내에 있는 변경 및 변형들이 이루어질 수 있기 때문이다.

Claims

제1 화상을 캡처하는 제1 화상 캡처 유닛과;

제2 화상을 캡처하는 제2 화상 캡처 유닛과;

제3 화상을 캡처하는 제3 화상 캡처 유닛과;

상기 제1 화상의 제1 부분과 상기 제2 화상의 부분을 결합하여 제1 결합 화상을 생성하는 수단과;

상기 제1 화상의 제2부분과 상기 제3 화상의 부분을 결합하여 제2 결합 화상을 생성하는 수단

을 포함하는 촬상 시스템.
제1항에 있어서, 상기 제1 화상 캡처 유닛, 상기 제2 화상 캡처 유닛, 및 상기 제3 화상 캡처 유닛은, 서로에 대해 약 5도 내지 약 45도 정도 떨어져서 호(arc)를 따라 배치되어 있는 촬상 시스템.
제1항에 있어서, 상기 제1 화상과 관련된 화상면은 상기 제2 화상과 관련된 화상면과 약 0.5 퍼센트 내지 약 30 퍼센트만큼 겹치는 촬상 시스템.
제1항에 있어서, 상기 제1 화상과 관련된 화상면은 상기 제2 화상과 관련된 화상면과 약 1 퍼센트 내지 약 20 퍼센트만큼 수직으로 겹치는 촬상 시스템.
제1항에 있어서, 상기 제1 화상 및 상기 제2 화상은 실질적으로 렉티리니어(rectilinear)인 촬상 시스템.
제1항에 있어서, 상기 제1 결합 화상 및 상기 제2 결합 화상은 적어도 부분적으로 이퀴렉탱귤러(equirectangular)인 촬상 시스템.
제1항에 있어서, 상기 제1 및 제2 결합 화상들은 입체 화상(stereoscopic image)을 제공하도록 디스플레이될 수 있는 촬상 시스템.
제1항에 있어서, 상기 제1 결합 화상과 상기 제2 결합 화상을 입체 화상으로서 디스플레이하는 수단을 더 포함하는 촬상 시스템.
제1항에 있어서, 복수의 상기 제1 및 제2 결합 화상을 움직이는 입체 화상(moving stereoscopic image)으로서 순차적으로 디스플레이하는 수단을 더 포함하는 촬상 시스템.
제1항에 있어서,

상기 제1 결합 화상을 충분히 많은 수의 화상과 결합하여 장면(scene)의 적어도 약 90도 정도를 나타내는 제1 결합 파노라마 화상을 생성하고, 상기 제2 결합 화상을 충분히 많은 수의 다른 화상들과 결합하여 상기 장면의 약 90도 정도를 나타내는 제2 결합 파노라마 화상을 생성하는 수단과, 상기 제1 결합 파노라마 화상과 상기 제2 결합 파노라마 화상을 디스플레이하여 입체 파노라마 화상을 제공하는 수단을 더 포함하는 촬상 시스템.
제10항에 있어서, 제1 세트의 결합 파노라마 화상들과 제2 세트의 결합 파노라마 화상들을 연속적으로 디스플레이하여 움직이는 입체 파노라마 화상을 제공하는 촬상 시스템.
제1항에 있어서, 상기 제1 결합 화상과 상기 제2 결합 화상이 디지털 화상과 결합되어 상기 디지털 화상을 포함하는 입체 화상을 제공하는 촬상 시스템.
화상을 제공하는 화상 캡처 유닛과;

상기 화상의 제1 부분을 사용하여 제1 입체 화상을 제공하는 수단과;

상기 화상의 제2 부분을 사용하여 제2 입체 화상을 제공하는 수단

을 포함하는 촬상 시스템.
제13항에 있어서, 상기 제1 입체 화상과 상기 제2 입체 화상을 파노라마 입체 화상으로 결합하는 수단을 더 포함하는 촬상 시스템.
제13항에 있어서,

복수의 화상을 제공하는 복수의 화상 캡처 유닛과;

상기 복수의 화상 중에서 선택된 화상들을 상기 화상과 결합하여 결합 화상들을 생성하는 수단과;

상기 결합 화상들을 제1 파노라마 화상과 제2 파노라마 화상으로 결합하는 수단과;

상기 제1 파노라마 화상과 상기 제2 파노라마 화상을 디스플레이하여 파노라마 입체 화상을 제공하는 수단

을 더 포함하는 촬상 시스템.
제15항에 있어서, 상기 제1 파노라마 화상은 장면의 약 90도 정도를 디스플레이하는 촬상 시스템,
제15항에 있어서, 상기 파노라마 입체 화상은 장면의 약 180도 정도를 디스플레이하는 촬상 시스템.
제1 화상을 획득하는 단계와;

제2 화상을 획득하는 단계와;

제3 화상을 획득하는 단계와;

상기 제1 화상의 제1 부분과 상기 제2 화상의 부분을 결합하여 제1 결합 화 상을 생성하는 단계와;

상기 제1 화상의 제2 부분과 상기 제3 화상의 부분을 결합하여 제2 결합 화상을 생성하는 단계와;

상기 제1 결합 화상과 상기 제2 결합 화상을 입체 화상으로서 디스플레이하는 단계

를 포함하는 방법.
제18항에 있어서, 호를 따라 배치된 복수의 화상 캡처 유닛으로부터 상기 제1 화상, 상기 제2 화상 및 상기 제3 화상을 획득하는 단계를 더 포함하는 방법.
제19항에 있어서, 상기 복수의 화상 캡처 유닛은 호를 따르는 단일 방향에서 약 5도 내지 약 45도 정도 떨어져서 배치된 방법.
제18항에서, 복수의 제1 결합 화상을 순차적으로 디스플레이하고 및 복수의 제2 결합 화상을 순차적으로 디스플레이하여 움직이는 입체 화상을 제공하는 단계를 더 포함하는 방법.
제21항에 있어서, 상기 움직이는 입체 화상은 장면의 약 180도 정도를 나타내는 방법.
제18항에 있어서, 복수의 레지스트레이션 픽셀 쌍을 정의하는 단계를 더 포함하는 방법,
제23항에 있어서,

상기 복수의 레지스트레이션 픽셀 쌍을 변환하여 화상 레지스트레이션의 거리를 최소화하는 단계를 더 포함하는 방법.
제23항에 있어서,

상기 복수의 레지스트레이션 픽셀 쌍 중의 한 쌍의 픽셀를 나타내는 벡터를 정의하는 단계를 더 포함하는 방법.
제25항에 있어서,

상기 벡터를 원본 회전 각도에 대응하도록 변환된 벡터로 변환하는 단계를 더 포함하는 방법.
제26항에 있어서,

상기 변환된 벡터를 파노라마 화상 내의 픽셀과 관련시키는 단계를 더 포함하는 방법.
제27항에 있어서,

상기 파노라마 화상 내의 상기 픽셀과 관련된 거리를 화상 버퍼 내의 픽셀과 관련된 거리와 비교함으로써 상기 화상 버퍼 내의 상기 픽셀의 가시도(visibility)를 조정하는 단계를 더 포함하는 방법.
제21항에 있어서,

겹치는 영역에서의 픽셀들의 가시도를 저하(degrade)시킴으로써 화상 버퍼 내의 화상의 겹치는 에지들을 페더링(feathering)하는 단계를 더 포함하는 방법.
제1 화상을 캡처하는 제1 화상 캡처 유닛과;

제2 화상을 캡처하는 제2 화상 캡처 유닛과;

제3 화상을 캡처하는 제3 화상 캡처 유닛과;

상기 제1, 제2 및 제3 화상 캡처 유닛들 동작 가능하게 결합되어 상기 제1, 제2 및 제3 화상을 수신하는 프로세싱 유닛을 포함하고,

상기 제1 화상의 제1 부분은 상기 제2 화상의 부분과 결합되어 제1 결합 화상을 제공할 수 있고, 상기 제1 화상의 제2 부분은 상기 제3 화상의 부분과 결합되어 제2 결합 화상을 제공할 수 있고, 상기 제1 및 제2 결합 화상은 디스플레이되어 입체 화상을 제공할 수 있는

촬상 시스템.
제30항에 있어서, 상기 제1, 제2 및 제3 화상 캡처 유닛은 실질적으로 아치 형 경로를 따라 서로 대략 등거리에 배치되어 있는 촬상 시스템.
제31항에 있어서, 상기 실질적으로 아치형 경로는 실질적으로 구면 보디(spherical body)에 의해 정의되는 촬상 시스템.
제30항에 있어서, 상기 제1 및 제2 화상 캡처 유닛들은 서로에 대해 호를 따라 약 5도 내지 약 45도 정도의 각 거리만큼 떨어져 있고, 상기 제2 및 상기 제3 화상 캡처 유닛들은 서로에 대해 호를 따라 상기 각 거리만큼 떨어져 있는 촬상 시스템.
제30항에 있어서, 상기 제1 화상 캡처 유닛과 관련된 시야(field of view)는 상기 제2 화상 캡처 유닛과 관련된 시야와 겹치기 양(overlap amount)만큼 겹치고, 상기 제2 화상 캡처 유닛과 관련된 시야는 상기 제3 화상 캡처 유닛과 관련된 시야와 상기 겹치기 양만큼 겹치는 촬상 시스템.
제34항에 있어서, 상기 겹치기 양은 약 10 퍼센트 내지 약 90 퍼센트인 촬상 시스템.
제30항에 있어서, 상기 제1 화상 캡처 유닛과 관련된 정의된 화상면은 상기 제2 화상 캡처 유닛과 관련된 정의된 화상면과 약 1 퍼센트 내지 약 20 퍼센트만큼 겹치는 촬상 시스템.
제30항에 있어서, 상기 제1 화상의 상기 제1 부분은 상기 제1 화상의 약 20 퍼센트와 약 80 퍼센트 사이에 있고, 상기 제2 화상의 상기 부분은 상기 제2 화상의 약 20 퍼센트와 약 80 퍼센트 사이에 있는 촬상 시스템.
제30항에 있어서, 복수의 상기 제1 및 제2 결합 화상은 순차적으로 디스플레이되어 모션을 전달하는 촬상 시스템.
제30항에 있어서, 상기 제1 결합 화상은 충분히 많은 수의 화상과 결합되어 장면의 약 90도 정도를 나타내는 제1 결합 파노라마 화상을 생성하고, 상기 제2 결합 화상은 충분히 많은 수의 다른 화상들과 결합되어 장면의 약 90도 정도를 나타내는 제2 결합 파노라마 화상을 생성하고, 상기 제1 결합 파노라마 화상 및 상기 제2 결합 파노라마 화상이 디스플레이되어 입체 파노라마 화상을 제공하는 촬상 시스템.
제39항에 있어서, 한 세트의 제1 결합 파노라마 화상과 한 세트의 제2 결합 파노라마 화상이 순차적으로 디스플레이되어 움직이는 입체 파노라마 화상을 제공하는 촬상 시스템.
화상을 제공하는 화상 캡처 유닛과;

상기 화상 캡처 유닛에 결합되어 상기 화상의 제1 부분을 수신하여 제1 입체 화상을 제공하고 상기 화상의 제2 부분을 수신하여 제2 입체 화상을 제공하는 프로세싱 유닛

을 포함하는 촬상 시스템.
제41항에 있어서, 상기 제1 입체 화상 및 상기 제2 입체 화상은 파노라마 입체 화상으로 결합되는 촬상 시스템.
제41항에 있어서,

상기 프로세싱 유닛에 결합되어 복수의 화상을 제공하는 복수의 화상 캡처 유닛을 더 포함하고, 상기 복수의 화상 중의 선택된 화상들이 적어도 하나의 다른 화상과 결합되어 복수의 결합 화상을 생성하고, 상기 복수의 결합 화상이 결합되어 제1 파노라마 화상 및 제2 파노라마 화상을 제공하고, 상기 제1 파노라마 화상 및 상기 제2 파노라마 화상이 결합되어 파노라마 입체 화상을 제공하는 촬상 시스템.
제43항에 있어서, 상기 제1 파노라마 화상은 장면의 약 90도 정도를 디스플레이하는 촬상 시스템.
제43항에 있어서, 상기 파노라마 입체 화상은 장면의 약 180도 정도를 디스 플레이하는 촬상 시스템.
제41항에 있어서, 상기 프로세싱 유닛에 결합된 촬상 유닛을 더 포함하는 촬상 시스템.