KR102052567B1

KR102052567B1 - 가상의 3차원 비디오 생성 및 관리 시스템 및 방법

Info

Publication number: KR102052567B1
Application number: KR1020187005801A
Authority: KR
Inventors: 존 맥데빗
Original assignee: 에이치에스엔아이 엘엘씨
Priority date: 2015-07-31
Filing date: 2016-07-29
Publication date: 2019-12-05
Also published as: BR112018002047A2; US20170034501A1; CA2994239A1; WO2017023746A1; EP3326365B1; US20190342505A1; US10356338B2; KR20180069781A; EP3326365A4; KR20190136117A; EP3326365A1; US11108972B2

Abstract

시청자에게 깊이가 있는 3차원인 것으로 보이는 2차원 비디오 콘텐츠의 생성, 관리 및 배포를 위한 방법 및 시스템이 제공된다. 이 시스템은 카메라 렌즈 시스템의 조리개의 일부인 개구들의 중심에서 벗어난 회전 운동을 조정하는 각각의 다른 위치들에 다수의 카메라들을 가진 카메라 어레이를 포함한다. 어레이내 각 카메라로부터 최종 발생한 이미지들이 함께 스티치되어 더 큰 컨텐츠 필드를 생성하고 일부만이 임의의 한 순간에 디스플레이된다.

Description

가상의 3차원 비디오 생성 및 관리 시스템 및 방법

본 출원은 발명의 명칭이 "Virtual Three Dimensional Video Creation System"인 2015년 7월 31일자로 출원된 미국 가출원 제62/199,410호의 우선권을 주장하며, 그 전체 내용은 본 출원에 참조로 합체되어 있다.

본 발명은 비디오 컨텐츠가 깊이의 3차원을 갖는 것처럼 시청자에게 보이도록 2차원 비디오 컨텐츠의 생성, 관리 및 분배를 위한 방법 및 시스템에 관한 것이다. 예시적인 태양에서, 종래의 비디오 콘텐츠는 표준 비디오 디스플레이 상에서 시청자에게 나타내질 수 있고 특수 디스플레이 또는 시청장비를 사용하지 않고도 깊이가 드러내질 수 있는 방식으로 캡처되고 조작된다.

비디오 컨텐츠는 다양한 방식으로 캡처되고 관리될 수 있다. 특히, 강화된 2 차원 비디오를 사용하여 시청자에게 깊이가 있는 착시를 생성해 온 여러 가지 방법이 있다. 역사적으로, 깊이의 착시(즉, 3차원 또는 3D 비디오)를 생성하기 위한 이러한 접근법에는 다른 기술들, 즉, 투-컬러 애너그리프(Two-Color Anaglyphic) 3D, 사이드-바이-사이드(Side-by-Side) 3D, 탑-바텀(Top-Bottom) 3D, 고선명 3D, 체커보드(Checkerboard) 3D, 액티브 셔터(Active Shutter), 패시브 셔터(Passive Shutter), 원편광, 자동 입체화상 디스플레이(Auto-Stereoscopic Display), 간섭필터(Interference Filter) 기술, 및 기타 방법이 포함된다. 이러한 모든 수단들은 시청자가 비디오에서 깊이를 경험하는 특수 장비(가령, 일반적으로 특수 시청 안경 및/또는 특수 디스플레이)를 필요로 했다.

3D 비디오 경험을 생성하는 이러한 접근법은 콘텐츠 제작자, 콘텐츠 배포자, 특히 특수장비를 획득해 사용하는 것이 필요한 시청자들 모두에 복잡하다. 더욱이, 3D 착시를 유지하기 위해, 시청자는 종종 디스플레이 장치에 대해 특정한 물리적 위치를 가져야 할 필요가 있다. 추가로, 시청자가 기존 방법으로 3D 콘텐츠를 보는데서 부작용(종종 메스꺼움 또는 두통, 및 가능하게는 더 큰 신경학적 충격에 대한 우려가 있음)을 경험하는 것이 다소 일반적이다. 이러한 모든 요소가 결합되어 가정용 가전기기 시장에서 3D 기술에 대한 소비자의 채택이 매우 낮게 입증됨에 따라 현재 3D 방법론에 대한 사용자 불만족이 다소 높은 정도로 형성된다. 또한, 장비를 구매한 이들 소비자들 중 심지어 소수만 자주 사용한다. 많은 소비자들이 3D 경험을 요구하나, 이를 제공하는 현재 방법은 보통의 소비자에게 너무 결함이 많다.

종래 3D의 또 다른 결함은 한 시점의 3D, 즉, 시청자가 항상 하나의 정해진 시점에 있고, 시청자가 자신의 시점을 바꾸거나 그렇지 않으면 배경에 있는 물체를 더 명확히 보기 위해 전경에 있는 것으로 보이는 물체 "주변을 볼" 수 있는 임의의 홀로그래픽 능력 또는 준-홀로그래픽 능력이 없다는 것이다.

따라서, 필요한 것은 소비자가 특수 디스플레이 또는 시청장비를 이용할 필요가 없는 가상의 3D 경험을 제공하는 시스템 및 방법이다. 더욱이, 준-홀로그래픽의, 다시점 3D 시청 경험을 제공할 수 있는 시스템에서 추가적인 이점을 얻을 수 있다. 따라서, 본 명세서에 개시된 시스템 및 방법은 여러 대의 카메라 어레이에서 특수 제작된 비디오를 조합하여 전혀 특수 디스플레이나 시청장비 없이도 가상의 3D 경험을 생성하는 기술을 제공하며, 다시점 3D 경험을 제공할 수 있다.

예시적인 실시예로, 본 발명은 이미지들이 전반적으로 각 카메라의 이미지 중심에 초점이 더 선명해지는 카메라 세트 상에 카메라 렌즈 시스템에 있는 조리개의 일부인 중심에서 벗어난 개구의 회전운동을 조정하는 시스템과 방법을 제공한다. 중심 초점은 일반적으로 각 사람의 눈이 "작동하는" 방식으로, 시야의 중심에 초점이 더 선명하고 더 세부적이며 가장자리에는 초점이 더 소프트하다. 그런 후, 사람의 두 눈의 중심 초점은 3D의 실제 세상을 인식하게 하도록 조정된다. 따라서, 전반적으로 개인이 중심은 선명하고 가장자리는 약간 흐릿한 초점을 가진 이미지를 볼 경우, 중심에 있는 아이템은 마치 시청자에게 더 가까이 있었던 것처럼 더 튀어나와 보인다. 어레이 내 각 카메라로부터 최종 발생한 이미지는 더 큰 컨텐츠 필드를 생성하기 위해 함께 스티치(즉, 결합)되며, 그 중 일부만이 임의의 한 순간에 디스플레이되나 각 이미지는 가상의 3D 효과를 가지며 이미지 필드의 일부가 디스플레이되게 변경함으로써 다시점 가상 3D 효과를 달성할 수 있다. 상대 카메라 위치, 크기(들) 비율, 및 개구 회전방향은 시청 경험을 위한 다른 효과를 생성하도록 조정될 수 있다.

또한, 예시적인 실시예에 따르면, 소정 시간에 시청장치 상에 디스플레이되는 컨텐츠 필드의 일부(즉, 시야)는 소정 시간에 더 큰 컨텐츠 필드의 상기 시야가 내보여야 하는 시점을 나타내는 시청장치로부터 수신된 시청 데이터를 기초로 한다. 예컨대, 일태양으로, 이 시점 데이터는 시청장치의 사용자로부터 수신된 입력신호에 응답해 시청장치에 의해 생성될 수 있다. 또 다른 태양으로, 시점 데이터는 시청장치 및/또는 가속도계, 터치 센서, 자이로스코프, 자력계, 경사계, 광센서, 및 관성 트래커와 같은 상기 시청장치의 내부 센서에 대해 시청자의 위치를 감지하는 동작센서에 의해 생성될 수 있다.

상기 간략한 예시적인 태양의 요약은 본 개시에 대한 기본적인 이해를 제공한다. 이 요약은 모든 고려된 태양들의 광범위한 개요가 아니라, 모든 태양들의 핵심 요소나 중요 요소를 식별하지도 본 개시의 임의의 또는 모든 태양의 범위를 기술하기 위한 것도 아니다. 그 유일한 목적은 하기의 개시에 대한 더 상세한 설명에 대한 서문으로서 단순화한 형태로 하나 이상의 태양들을 소개하기 위한 것이다. 상술한 내용을 이행하기 위해, 본 개시의 하나 이상의 태양은 기술되고 청구의 범위에 예시적으로 지적된 특징들을 포함한다.

본 발명의 내용에 포함됨.

첨부도면은 본 명세서에 통합되어 본 명세서의 일부를 구성하며, 본원의 하나 이상의 태양을 나타내고, 상세한 설명과 함께, 이들의 원리 및 구현을 설명하는데 이용된다.
도 1은 예시적인 실시예에 따른 3D 컨텐츠 생성 및 관리를 위한 시스템의 블록도를 도시한 것이다.
도 2a 내지 도 2d는 본 발명에 따른 카메라 어레이의 다양한 예시적인 실시예의 블록도를 도시한 것이다.
도 3은 예시적인 실시예에 따른 카메라 조리개 시스템용의 시스템 블록도를 도시한 것이다.
도 4는 예시적인 실시예에 따른 콘텐츠 및 시야에 대한 시스템의 블록도를 도시한 것이다.
도 5a는 본 발명의 예시적인 실시예에 따른 시스템의 동작 동안 예시적인 카메라 어레이와 상기 어레이에 의해 생성된 해당 시청 컨텐츠 간의 관계를 도시한 것이다.
도 5b는 본 발명의 예시적인 실시예에 따른 시스템의 동작 동안 예시적인 카메라 어레이와 다양한 시야를 포함한 해당 시청 컨텐츠 간의 관계를 도시한 것이다.
도 5c는 본 발명의 예시적인 실시예에 따른 어레이, 해당 콘텐츠 및 예시적인 시야 간의 관계를 더 도시한 것이다.
도 6은 본 발명의 실시예에 따른 3DCCMS의 예시적인 부품들의 더 상세히 나타낸 블록도를 도시한 것이다.
도 7은 본 발명의 예시적인 실시예에 따른 가상 3D 컨텐츠를 생성, 관리 및 배포하기 위한 방법의 흐름도를 도시한 것이다.
도 8은 개시된 시스템 및 방법이 구현될 수 있는 범용 컴퓨터 시스템의 예를 도시한 것이다.

도면을 참조로 본 발명의 다양한 태양을 설명하며, 동일한 참조부호는 전체에 걸쳐 동일한 요소를 지칭하는데 사용된다. 특히, 하기의 상세한 설명은 예시적인 목적으로 본 명세서에 개시된 제안된 시스템 및 방법의 가능한 실시예들을 개략적으로 기술한다. 시스템 및 방법은 어떤 특정한 하드웨어 및 소프트웨어 조합에 결코 국한되지 않는다. 하기의 명세서에서, 설명을 위해, 발명의 하나 이상의 태양들에 대한 철저한 이해를 촉진하기 위해 수많은 구체적인 세부 내용들이 제시된다. 그러나, 어떤 또는 모든 경우에, 후술된 특정 설계 세부사항들을 채택하지 않고도, 후술된 임의의 태양을 실시할 수 있음이 명백할 수 있다. 다른 예로, 하나 이상의 태양들의 설명을 용이하게 하기 위해 잘 알려진 구조 및 장치가 블록도의 형태로 도시된다. 다음은 본 발명의 기본적인 이해를 제공하기 위해 본 발명의 하나 이상의 태양들의 간략한 요약을 제공한다.

후술되는 바와 같이, 본 명세서에 개시된 시스템 및 방법은 특수 시청 또는 디스플레이 장비를 사용하지 않고도 사용자가 볼 수 있는 가상의 3D 비디오 컨텐츠의 생성, 관리 및 배포에 관한 것이다("시청자" 및 "사용자"라는 용어는 본 명세서에서 서로 바꿔 사용된다). 예컨대, 가상의 3D 컨텐츠는 종래 TV, 태블릿, 스마트폰, PC 디스플레이, 대형 공공 디스플레이 스크린, 개인용 가상현실(VR) 시청기 등일 수 있고, (가령, 투-컬러, 편광 또는 셔터 글래스를 포함하나 이에 국한되지 않는 특수 3D 안경을 사용하지 않고도) 맨 눈으로 볼 수 있다. 시스템 및 방법은 (오디오, 비디오, 메타데이터, 비디오 컨텐츠 생성 및 관리를 상황인식 데이터 및 트랜잭셔널 데이터, 집합적으로, "컨텐츠"를 포함하나 이에 국한되지 않는) 비디오 컨텐츠 생성 및 관리를 제공하므로, 컨텐츠는 표준 2차원 이미지를 너머 깊이를 갖는 것처럼 (즉, 3차원, "3D"를 갖는 것으로) 보이게 된다. 개시된 시스템으로 인해 발생한 컨텐츠는 광범위하게 (일반적으로 장치 타입, 제조업체 및/또는 운영 시스템에 애그노스틱하게) 디스플레이될 수 있다. 더욱이, 한가지 예시적인 구현으로, 컨텐츠는 스테이셔너리 디스플레이 상에 디스플레이될 수 있고 준-홀로그래픽 경험을 제공할 수 있다(가령, 시청자가 그들의 시점을 바꿈에 따라 이미지가 변한다). 따라서, 배경 중간에 있는 대상이 배경에 있는 물체에 의해 가려져 있는 경우, 시청자는 그들의 시점을 바꾸거나 그렇지 않으면 배경에 있는 관심 대상을 명확히 보기 위해 배경 중간에 있는 가려진 물체 "주위"를 볼 수 있다. 대안으로, 컨텐츠는 이동식 디스플레이 상에 디스플레이될 수 있고, 컨텐츠의 시점은 디스플레이 장치의 위치의 변경과 관련해 변경될 수 있거나, 대안으로, 컨텐츠는 이동식 디스플레이 장치 상에 준-홀로그래픽 식으로 디스플레이될 수 있으며 시청자의 위치 변화 및 디스플레이 장치의 위치 변경과 관련해 변경된 컨텐츠의 시점을 제공한다. 일태양으로, 이들 3가지 예시적인 실시예는 적절한 소프트웨이와 함께 다소 특수 디스플레이 장치(가령, 태블릿 또는 스마트폰)를 필요로 할 수 있다.

도 1은 본 발명의 예시인 구현에 따른 3D 컨텐츠를 생성 및 관리하기 위한 시스템(100)의 블록도를 나타낸다. 여기서 기술한 바와 같이, 시스템(100)은 3D 컨텐츠, 생성 및 관리 시스템(즉, "3DCCMS" 또는"3DCCMS(100)")이라 하며, 다양한 배포 시스템 및 디스플레이 장치 시스템에 (상기 정의된) 컨텐츠를 생성, 관리 및 배포하기 위해 제공된다. 예시적 실시예에 따르면, 컨텐츠는 실시간으로(가령 라이브 컨텐츠), 사전 기록된 컨텐츠로서, 또는 이 둘의 조합으로 배포될 수 있다. 3DCCMS에는 하기에 자세히 기술된 바와 같은 기능을 갖는 다양한 부품들이 있다.

도시된 바와 같이, 시스템(100)은 중심에 더 선명하게 포커싱되고 가장자리에는 덜 포커싱되는 이미지를 형성하도록 세심하게 개구부가 조리개 주위로 회전하게 하는 (기계식 또는 디지털식) 특수 조리개 시스템을 갖는 (예들이 도 2에 도시되어 있는) 2 이상의 카메라 세트(가령, 카메라(101A, 101B, 101C, 101D, …, 101n번째) 등)인 카메라 어레이(101)를 포함한다(어레이(101) 및 카메라 어레이(101)라는 용어는 본 명세서에서 서로 바꿔 사용된다). 따라서, 예시적인 실시예에 따르면, (후술된) 사용자의 시야 중심과 일치시키는 동작 중에 이미지 데이터를 생성함으로써 이미지를 생성하는 어레이(101)내 한 대 또는 몇 대의 카메라들이 선명하게 포커싱된 시야 중심(가령, 시야의 중심부)을 형성하도록 (가령, 개구부의 회전을 기초로) 구성된다. 본 명세서에 기술된 바와 같이, 카메라 어레이(101)는 이미지 또는 이미지 데이터를 캡쳐하고/하거나 이미지 또는 이미지 데이터를 생성하도록 구성되는 것으로 기술되어 있다. 더욱이, 어레이(101) 내 각 카메라에 의해 캡쳐된 모든 데이터는 컨텐츠를 생성하도록 사용된다(즉, 후술된 바와 같이 함께 조합된다). 캡쳐된 데이터는, 예시적인 실시예에 따르면, 정지 이미지, 비디오 이미지, 상황인식 데이터, 메타데이터 및/또는 오디오를 포함할 수 있으나 이에 국한되지 않는다. 게다가, 카메라의 이미지 및/또는 이미지 데이터를 캡처하는 구성에 대한 설명은 각 카메라의 개구가 일예시적인 실시예에 따른 카메라 조리개 주위로 회전하도록 구성되는 점을 제외하고는 종래 기술을 이용해 각 카메라의 이미지를 캡쳐하는 능력을 의미하는 것으로 이해해야 하다.

여기서 기술된 바와 같이 "중심 섹션"은 일반적으로 중심을 의미하지만, 시야의 수학적 절대 중심으로 제한되어서는 안 되며, 예시적 실시예에 따라 수학적 중심에서 오프세트될 수 있음이 주목된다. 더욱이, 이러한 중심 카메라를 둘러싸는 추가 카메라는 (예를 들어, 개구부의 회전에 기초해) 시야의 중심부 주변 (가령, 시야의 주변부) 주위로 덜 포커싱된 또는 소프트한 (가령, 초점에서 약간 벗어난) 이미지 컨텐츠를 생성하도록 약간 다르게 구성된다. 게다가, 요청한 시야가 변경되면, 전체적인 컨텐츠에 걸쳐 중심 섹션과 주변 섹션을 포함해 시야를 매끄럽게 이동하도록 어레이(101) 내의 다른 카메라들의 구성이 조절된다. 이 이미지 기술은 개인이 자신의 눈을 움직일 때 그 개인의 시야를 자연스럽게 조절하는 것을 흉내낸다.

예시적인 구성의 설계는 더 많거나 적은 광을 허용하는 크기가 변할 수 있으나 조리개 중심에 여전히 고정된 개구부가 중심에 위치된 고정 조리개를 갖는 종래 카메라 시스템과는 다르다. 이 고정된 중심 개구부 위치는 모두 동일한 초점에 있는 컨텐츠를 생산한다(즉, 최종 발생한 이미지(들)의 중심과 가장자리가 모두 동일한 초점 선명도를 갖는다). 크기, 회전방향, 회전속도, 및 기타 모든 개구부의 측면들, 개구부의 운동, 및 카메라 프레임 레이트(가령, 리프레시 레이트 또는 스캔 레이트)와 각 카메라에 대한 및 어레이(101)의 일부인 카메라들 간에 이 소자들 중 어느 하나 및 모두에 대한 좌표가 다른 광학적 효과를 만들기 위해 모두 관리되고 변경될 수 있다.

더욱이, 예시적인 실시예에 따르면, 다양한 상술한 개구부들의 셋팅은 소정의 광학적 효과를 만들기 위해 모두 변경될 수 있다. 예컨대, 모든 콘텐츠를 하나의 큰 시야로 취급하고자 하는 경우, 어레이(101)의 중심에 있는 카메라는 거의 개구부의 움직임 없이 중심에 있게 되고 어레이(101)의 가장자리에 있는 카메라는 전체 컨텐츠가 특이하게 중심에 포커싱될 수 있도록 (중심 카메라에 대해) 상당한 개구부 이동이 있게 된다. 게다가, 각 카메라(가령, 카메라(101A, 101B, 101C, 101D, …, 101n번째) 등)는 비디오 컨텐츠 그 자체 외에 각 개개의 카메라의 셋팅에 대해 모든 데이터를 또한 캡쳐하는 캡쳐/통합/저장 시스템(102)에 의해 개별적으로 제어될 수 있다. 각각의 카메라의 조리개 시스템은 일반적으로 렌즈와 카메라 바디 사이에 위치된다. 추가로, 조리개 시스템은 광범위하게 쉽게 이용될 수 있는 카메라 시스템에 부착될 수 있고 카메라의 제조, 모델, 포맷, 선명도 수준, 운영 시스템 등에 대해 애그노스틱이다.

예시적인 실시예에 따르면, 특수 조리개 시스템이 달린 2 이상의 카메라 어레이(101)는 다양한 치수, 모양, 조직구조 및 특수 조리개가 이용되는 다양한 카메라 대수("어레이")의 평면 그리드 또는 (포물선 단면을 포함한 오목부 또는 구, 부분 구, 반구, 및 반구의 일부를 포함한 볼록부를 포함한) 비평면 그리드를 포함해 다양한 방식으로 구성될 수 있다. 또한, 어레이(101)의 초점은 상기 초점내 시야가 (포물선 단면을 포함한 오목부 또는 구, 부분 구, 반구, 및 반구의 일부를 포함한 볼록부를 포함한) 평면 또는 비평면이고 다양한 치수를 갖도록 설정될 수 있다. 더욱이, 대안적인 실시예현에 따른 어레이(101)는 컨텐츠 캡처 시간 동안 그리드의 다른 위치로 이동하는 하나 이상의 카메라를 포함할 수 있는 것으로 이해된다. 각각의 카메라 위치(또는 대안으로 추가 위치 또는 단지 몇몇의 카메라 위치)에 마이크를 추가해, 더욱더 다중 감지 및 몰입형 환경을 생성하여 3D 인상을 강화시키는 "서라운드 사운드" 타입의 오디오 경험을 비디오 컨텐츠에 추가할 수 있도록 어레이(101)를 더 향상시킬 수 있다.

또한, 대안적인 실시예로, 개구부의 움직임(가령, 중심의 선명한 초점 및 가장자리의 소프트한 초점)으로 인해 발생한 유사한 광학적 효과는 콘텐츠 이미지의 디지털 조작에 의해 또는, 대안으로, 렌즈 시스템의 다양한 기타 물리 광학적 조작을 통해 라이브 컨텐츠 환경 또는 녹화 컨텐츠 환경 중 어느 하나에서 달성될 수 있음을 알아야 한다. 예컨대, (시청 스크린 상에 디스플레이되는) 시야가 변경되면, 시스템(100)은 어레이(101) 내 하나 이상의 카메라들 중 어떤 것이 비디오 콘텐츠의 중심 초점을 제공하고 있는지 그리고 어레이(101)내 어떤 카메라가 소프트 초점을 제공하고 있는지 상시적으로 판단한다. 디지털 조작을 이용한 예시적인 실시예에 따르면, 시스템(100)은 (최종 발생한 이미지(들)의 중심과 가장자리가 모두 동일한 초점 선명도를 갖도록) 통상적으로 중앙에 조리개 개구부가 있는 카메라를 사용하는 모든 카메라를 갖게 되고 그런 후 어레이(101) 내 각각의 카메라에 의해 제공된 이미지 데이터에 있는 픽셀을 디지털적으로 조절해(가령, 픽셀 세트의 초점 선명도를 감소시켜), 컨텐츠에서 시야의 중심 픽셀들은 선명한 초점을 갖는 반면, 시야의 주변 픽셀들은 소프트한 초점을 갖게 된다. 더욱이, 시야가 바뀌고 하나 이상의 다른 카메라들로부터 캡쳐 데이터가 시야에 포함되면, 시스템(100)은 뷰, 및 특히, 이에 따라 픽셀의 디스플레이를 조절하게 된다. 여하튼, 개시된 시스템(100)은 일부는 초점이 선명하고 일부는 초점이 소프트한(또는 초점에서 벗어난) 컨텐츠 이미지를 필연적으로 포함한다.

어레이(101)는 컨텐츠를 캡쳐하는 표준 개구부 셋업을 갖는 카메라(가령, 카메라(101A, 101B, 101C, 101D, …, 101n번째) 등)로 구성될 수 있고, 그런 후 컨텐츠의 일부는 초점이 선명하고 컨텐츠의 일부는 초점이 소프트한 효과가 (가령, 라이브, 녹화 또는 라이브/녹화 하이브리드 환경에서) 디지털적으로 달성될 수 있는 반면에, 원본 컨텐츠에는 그 효과가 나타나지 않는다. 시야가 컨텐츠를 가로지르고 시야의 중심 영역이 변경될 때 표준 캡쳐 및 디지털 조작이 특히 중요하다. 가령, 카메라(101A)가 캡쳐한 컨텐츠에서 카메라(101B)가 캡쳐한 컨텐츠로 넘어갈 경우, 매끄러운 경험을 하도록 해결되어야 하는 전환 가장자리들이 두 이미지 간에 있으므로(즉, 이미지 모두 별개의 선명한 초점 중심을 갖는 소프트 초점 가장자리들이 있으므로), 시청장치에 디스플레이되는 시야가 변하더라도 초점 중심이 여전히 뚜렷히 유지된다. 이 실시예에서, 카메라 어레이(101) 내 각 카메라의 상대 위치 및 각도뿐만 아니라 각각의 이미지 캡쳐(예를 들어, 이미지 및/또는 비디오 스트림)의 타이밍 데이터가 기록되고 시스템(100)에 제공된다. 그 결과, 시스템(100)은 각 카메라로부터 이미지 데이터를 정확히 결합시켜 카메라 어레이(101)에 대한 결합된 시야를 생성할 수 있다.

또 다른 실시예에 따르면, 어레이(101)는 설정된 위치에 한 무리의 카메라들이 있을 필요가 없다. 오히려, (상업용, 개인용, 전화 또는 태블릿 카메라를 포함한) 카메라 세트로부터의 컨텐츠가 GPS 위치, CPS(Cellular Positioning System) 위치, 이미지 큐 등을 포함하나 이에 국한되지 않는 다양한 방법들로) 위치기반 정보, (비디오 이미지 동기화, 사운드 동기화, 중앙 GPS/CPS 시간 동기화 등을 포함하나 이에 국한되지 않는 다양한 기술에 의한) 컨텐츠 캡처의 타이밍 조정, 및 디지털 컨텐츠 조작 가상 3D 컨텐츠를 통해 수집될 수 있고, 또한 준-홀로그래픽 컨텐츠가 생성될 수 있다. 예를 들어, 축구 경기장에서 모든 전화 카메라들에 의해 캡처된 모든 컨텐츠가 하나의 다시점 준-홀로그래픽 컨텐츠 모음으로 수집, 조정 및 통합될 수 있다. 이 측면에서, 시스템은 카메라의 위치와 컨텐츠 캡처의 타이밍에 대한 이해를 필요로 한다.

도 1에 더 도시된 바와 같이, 3DCCMS는 캡처/통합/ 저장 시스템(102)을 포함한다. 일반적으로, 시스템(100)은 어레이(101) 내 각 카메라로부터 컨텐츠를 캡쳐하고 각 카메라로부터 다양한 개별 이미지 파일 또는 스트림을 함께 "스티치"해 라이브, 녹화, 또는 녹화를 겸한 라이브 방식 중 어느 하나로 어레이(101) 모두로부터 데이터 모두를 포함한 하나의 결합된 파일 또는 스트림(또는 관련된 서브세트)을 만드는 하나 이상의 통합 시스템일 수 있다. 예시적인 실시예에 따르면, 컨텐츠를 생성하기 위해 어레이(101)의 각 카메라에서 나온 데이터를 함께 스티칭하는 것은 하나 이상의 파일로부터 (예를 들어, 픽셀 단위로) 인접한 프레임들을 매치시켜 (가령, 여러 개의 인접한 사진들을 함께 붙임으로써 생성된 파노라마 사진들과 유사한) 하나의 더 큰 파일 만들도록 구성된 소프트웨어(예를 들어, "스티칭 소프트웨어")의 사용을 통해 달성된다.

예시적인 태양에 따르면, 캡처/통합/ 저장 시스템(102)은 상기 시스템(102)의 프로세서에 의한 실행시 스티칭 소프트웨어에 대해 본 명세서에 기술된 알고리즘을 실행하는 소프트웨어 코드(가령, 프로세서 실행가능한 명령어)를 메모리에 수록한 임의의 타입의 컴퓨팅 장치일 수 있다. 시스템(100)의 더 상세한 블록도가 도 6에 도시되어 있고, 예시적인 캡처/통합/저장 시스템(102)의 하드웨어 구성요소에 대한 예가 도 8을 참조로 설명된다.

전반적으로, 시스템(102)은 CPU 및 프로세싱을 위해 어레이(101)로부터 수신된 컨텐츠를 저장하기 위한 전자 메모리를 포함하는 것으로 알고 있다. 하기에 더 상세히 기술된 바와 같이, 전자 메모리는 데이터 스토리지를 포함한 컴퓨터 판독가능 매체일 수 있고, 비제한적인 예로써, RAM, ROM, EEPROM, CD-ROM, 플래시 메모리 또는 다른 타입의 전기, 자기 또는 광학 저장매체, 또는 임의의 다른 매체를 포함할 수 있다.

스티칭 소프트웨어는 인접한 이미지 컨텐츠를 더 많이 고려하기 때문에 종래 방법보다 더 전문화되고 정교하다. 일반적으로, (심지어 가상현실 애플리케이션에 대한) 종래 이미지/비디오 프로세싱 소프트웨어는 말 그대로의 기능을 우세하게 수행한다. 즉, 상기 소프트웨어는 겹치는 지점에서 인접한 표준 이미지들을 스티치해 원래 부분 이미지들 간에 갭 및 복제를 최소로 하여 최종의 더 큰 이미지로 하나의 더 큰 이미지를 만든다. 예시적인 실시예에 따르면, (즉, 원래 캡쳐된, 캡쳐에 이어 디지털적으로 조절된 , 또는 이 둘의 조합으로 된) 각 이미지 또는 스트림은 중심의 선명한 초점과 가장자리의 소프트한 초점을 가질 수 있고 이들 이미지들 각각을 간단히 붙임으로써 다초점에 따른 가상 경험이 조악해질 수 있다. 따라서, 스티칭 소프트웨어는 어레이(101)로의 피드백 루프를 가져 뷰가 바뀜에 따라, 또는, 대안으로, 임의의 간단한 컨텐츠 수집이 함께 결합될 수 있고 시청자에게 가상의 3D 인상을 형성하도록 선명한 초점 및 소프트한 초점 영역을 조절하게 디지털적으로 조작될 수 있는 일대일 시청 경험으로 개개의 카메라를 조절할 수 있다.

또한, 예시적인 스티칭 소프트웨어는 녹화 타이밍(가령, 프레임들의 매칭을 용이하게 하여 동기화 및 지터 이슈를 최소화하기 위해 각 카메라에 의한 이미지 캡쳐의 타이밍 데이터)과 같은 카메라 관련 메타데이터 항을 포함한 요소, 서로에 대한 각 카메라의 상대 위치 및 각도, 로컬 오디오, 광학 셋팅, 장비 사양, 프레임 레이트, 초점길이, 개구부의 크기 및 이동 성질, 각 카메라 이미지 중심, 각 카메라의 시야 등을 고려하도록 구성된다. 스티칭 소프트웨어는 각 개개의 카메라로부터 이미지를 연결 또는 결합하도록 구성되므로, 최종 발생한 컨텐츠는 시청자가 컨텐츠를 가로질러 시야를 이동시킴에 따라 어색한 전환을 최소화해 전체적으로 코히어런트 및 코히시브하다. 더욱이, 예시적인 스티칭 소프트웨어는 강건한 시청자 경험을 제공하기 위해 디스플레이 시스템이 메타데이터를 해석하고 이용할 수 있도록 이미지와 관련된 메타데이터를 컨텐츠에 포함한다. 추가로, 이 시스템은 배포될 수 있는 포맷으로 캡쳐된 데이터 및 결합된 데이터 모두를 저장한다. 더욱이, 캡쳐/통합/저장 시스템(102)은 인터넷과 같은 제 2 시스템(103) 또는 다른 시스템에 통신상 연결될 수 있고 이러한 제 2 시스템(103)으로부터의 추가 컨텐츠를 상기 컨텐츠에 통합할 수 있다.

추가로, 대안적인 실시예에서, 캡쳐/통합/저장 시스템(102)은 또한 시청자 또는 디스플레이 장치의 이동 또는 요청 시점을 기반으로 어레이(101) 내 카메라의 거동을 동적으로 변경할 수 있다. 이들 변경은 어레이(101) 내 카메라에 제어명령을 변경하거나 디지털 컨텐츠 조작에 대한 변경으로 실시간으로 발생할 수 있다. 대안으로, 변경은 컨텐츠의 디지털 조작에 의해 녹화된 컨텐츠에 발생할 수 있다.

추가 컨텐츠가 제 2 시스템(103)에 의해 제공될 수 있다. 제 2 시스템(103)은 인터넷 또는 이미지 해석 시스템, 판매 시스템, 메타데이터 시스템 등과 같이 3DCCMS에 포함되지 않은 시스템을 포함할 수 있다.

더욱이, 예시적인 실시예에 따르면, 배포 시스템(104)은 제 2 시스템(103)에서 다양한 포맷의 다양한 메커니즘에 의해 제 2 배포 시스템(105)으로 또는 직접 연결된 디스플레이 장치로 컨텐츠와 데이터를 전달하도록 구성된 시스템이다. 배포 시스템(104)은 제 2 배포 시스템(105)에 또는 유무선 통신 방법을 통해 직간접적으로 디스플레이 장치에 연결될 수 있다.

예시적인 실시예에 따르면, 예를 들어, CDN(콘텐츠 배포 네트워크), 인터넷 프로토콜 시스템, 케이블 시스템, DBS(Direct Broadcast Satellite) 시스템, 및 Telco (유무선) 시스템을 포함할 수 있어 컨텐츠를 디스플레이 장치로 전송하는 제 2 배포 시스템(105)을 포함한 다양한 방법/알고리즘을 통해 컨텐츠(및 관련 데이터) 배포가 이루어진다. 더욱이, 컨텐츠 (및 관련된 데이터)는 종래 디스플레이 장치(106) 상에 배포될 수 있고, 상기 종래의 디스플레이 장치는 다양한 수단을 통해 시청자의 시점에 따라 콘텐츠의 다른 부분을 감지하고 제공할 수 있는 고정 디스플레이 장치를 포함할 수 있는 디지털 비디오 컨텐츠 및/또는 고정 홀로그래픽 디스플레이 장치(107)를 디스플레이할 수 있는 임의의 타입의 표준 TV, 스마트폰, 태블릿 또는 비디오 디스플레이를 포함할 수 있다. 전체적으로, "디스플레이 장치(들)" 및 "시청장치(들)"이라는 용어는 본 명세서에서 서로 바꿔 사용된다.

게다가, 시청자 움직임 감지는 가령 보조 장치에 통신상 연결된 눈 움직임/초점 인식, 모션 카메라/센서, 및/또는 리포커스 명령할 수 있는 터치기반의 센서, 및 이동식 디스플레이 장치(108)를 포함한 다양한 장치들을 통해 달성될 수 있다. 이동식 디스플레이 장치(108)는 다양한 이동식 디스플레이 장치들(가령, 디스플레이 스크린이 있고 무엇보다도 이들의 각 위치, 변경 속도, 변경 방향 등을 포함한 디스플레이 스크린의 상대적인 물리적 위치 및 움직임을 측정하고 리포트하기 위한 시스템 및 센서의 모음을 포함하는 스마트폰 및 태블릿)을 포함할 수 있다. 더욱이, 이들 이동식 디스플레이 장치(108)는 또한 컨텐츠를 재생할 수 있고, 디스플레이 장치의 상대 운동을 기반으로, 컨텐츠 메타데이터 및 장치의 물리적 상태를 기초로 임의의 주어진 순간에 시야로서 컨텐츠의 어떤 부분들을 변경하는 것이 디스플레이된다. 게다가, 컨텐츠(및 관련 데이터)는 이동식 디스플레이 장치(108)와 유사한 다양한 장치들을 포함할 수 있으나, 또한 (이동 능력을 갖고 있지만) 고정 홀로그래픽 디스플레이 장치(107)의 가능을 갖고 있는 이동식 홀로그래픽 디스플레이 장치(109)에 배포될 수 있다. 이 경우, 홀로그래픽 이동식 디스플레이 장치(109)를 보는 것은 이동식 윈도우를 통해 보는 것과 같다. 즉, 시청자는 시야가 디스플레이 장치의 움직임과 관련해 변하기 때문에 컨텐츠의 다른 부분을 보는 시청장치를 "통해" 볼 수 있다. 추가로, 시청자는 시야을 더 바꿔가며 다양한 각도로 윈도우를 통해 또한 볼 수 있다.

상술한 바와 같이, 카메라 어레이(101)는 평면 그리드, 비평면 그리드 등일 수 있는 2 이상의 카메라를 포함할 수 있다. 도 2a 내지 도 2d는 본 발명에 따른 카메라 어레이(101)의 다양한 예시적인 실시예를 도시한 것이다. 예컨대, 도 2a에 도시된 카메라 어레이(101)는 한 쌍의 카메라(101A,101B)를 포함하고, 도 2b에 도시된 카메라 어레이(101)는 한 쌍의 카메라(101A-101C)를 포함하며, 도 2c에 도시된 카메라 어레이(101)는 한 쌍의 카메라(101A-101D)를 포함하고, 도 2d에 도시된 카메라 어레이(101)는 한 쌍의 카메라(101A-101X)를 포함한다. 따라서, 도 2a 내지 도 2d에 도시된 실시예에 따르면, 어레이(101)의 별개의 카메라들 각각은 어레이(101) 내 다른 카메라들에 대해 물리적으로 다른 위치에 있다. 집합적으로, 카메라는 카메라 어레이(101)의 결합된 시야를 형성하는 이미지 데이터를 캡쳐한다. 여러 상대 위치에 각 카메라를 위치시킴으로써, 각 카메라가 캡쳐한 이미지 데이터의 시야각, 축 등이 어레이(101) 내 카메라마다 달라지게 된다.

도 2a 내지 도 2d에 도시된 바와 같이, 어레이(101)는 각 카메라가 다른 카메라에 대해 다른 위치에 위치해 있기 때문에 디시점을 갖는 카메라들로 광범위한 영역의 컨텐츠를 캡쳐할 수 있다. 개개의 카메라로부터 컨텐츠가 스티치되면, 그 결과 컨텐츠가 된다. 컨텐츠는 디스플레이 장치 상에 어느 한 순간 디스플레이되는 것보다 더 큰 영역을 커버한다. 따라서, 임의의 한 순간에 디스플레이 장치는 (시청자의 시점에서) 주어진 시야만을 나타내나, 본 명세서에 기술된 다양한 시스템을 통해, 시청장치는 컨텐츠의 다른 부분들을 보여주기 위해 잠정적으로 시야를 변경할 수 있다.

컨텐츠 보기에 대한 이런 접근은 물질계에서 실제 아이템을 보는 자연스런 경험과 일치하는 것으로, 임의의 주어진 순간에 제한된 시야를 가지나, 사람은 컨텐츠의 다른 부분을 보기 위해 보기 위치를 바꿈으로써 시야에 포함되어지는 것을 변경할 수 있다. 대조적으로, 여러 대의 카메라들의 종래 구성은 다수의 카메라들이 (물리적으로 또는 디지털적으로) 이동 개구부 없이 표준 조리개를 이용하게 되는 것이며, 카메라들이 함께 꽉 결합되는 (모든 카메라들이 중심점에서 마주보는)식으로 연결되어, 단초점 보기 경험만 하게 되고, 시청자는 임의의 물체 "주위"를 결코 볼 수 없이 시야 중심에 항상 있게 되므로, 매우 제한된 단초점 3D 경험을 하게 된다.

개시된 시스템(100)은 시청자의 시점이 바뀜에 따라, 가령, 시청자의 초점이 물질계에서 바뀜에 따라, 움직일 수 있는 더 자연스런 시청 경험을 어레이(101)가 제공하는 풍부한 홀로그래픽형 3D 경험을 하도록 개개인이 (즉, 반드시 모두가 동일 출처에서 나올 필요없이) 여러 각도로 대상을 볼 수 있는 다초점 경험을 형성한다. 더욱이, 이런 접근은 통상적으로 사용되는 3D 안경 또는 뷰어를 사용하지 않고도 개개인이 이런 시각 경험을 하게 한다.

도 3은 예시적인 실시예에 따른 카메라 조리개 시스템용의 시스템 블록도를 도시한 것이다. 상술한 바와 같이, 예시적인 카메라 어레이(101) 내 각 카메라는 개구부가 조리개 주위로 회전하도록 하여 초점이 중심에 더 선명하게 맞춰지고 가장자리에서는 초점이 덜 맞춰진 이미지를 형성하는 특수 조리개 시스템(기계식 또는 디지털식)을 포함한다. 도 3에 도시된 바와 같이, 카메라(300)는 조리개(301)와 개구부(302)를 포함한다. 별개로, 각 부품은 종래 광학 구조와 유사한 방식으로 동작하도록 구성된다. 따라서, 예시적인 실시예에 따르면, 조리개(301)는 개구부(302)를 통해 광이 통과하는 것을 제외하고는 광이 통과하는 것을 막도록 구성된 불투명 구조물이다. 조리개(301)는 카메라(300) 렌즈의 광경로 놓인다. 더욱이, 개구부(302)는 카메라(300)의 렌즈를 통과하는 광랑을 조절하는 크기를 갖는 개구이다. 어레이(101) 내의 각각의 카메라에 대한 개구부(302)의 중심은 중심 초점 효과가 디지털로 생성되는 경우 상기 카메라에 대한 렌즈 시스템의 광축과 일치한다.

예시적인 실시예에서, 카메라(300)가 카메라 어레이(101)의 시야의 이미지 데이터를 캡쳐할 때 동작 중, 개구부(302)는 조리개(301)의 외주 내에 축 주위로 회전한다. 도 3에 도시된 움직임은 시계방향 운동으로 도시되어 있으나, 상술한 바와 같이, 개구부(302)의 회전방향, 크기, 회전속도 및 기타 모든 측면들은 모두 다른 광학적 효과를 생성하기 위해 관리 및 변경될 수 있다.

도 4는 예시적인 실시예에 따른 비디오 컨텐츠의 예 및 시야를 도시한 것이다. 상술한 바와 같이, 카메라 어레이(101)는 가령 서로에 대해 어레이 내 다른 위치에 배치된 복수의 카메라들(101A에서 101X)를 포함한다. 더욱이, 각 카메라는 카메라 어레이(101)의 전체 시야의 일부인 이미지 데이터를 캡쳐하도록 구성된다. 어레이(101) 내 각 카메라에 의해 캡쳐된 이미지 데이터가 캡쳐/통합/저장 시스템(102)에 제공되면, 시스템(102)은 스티칭 소프트웨어를 이용해 이 이미지 데이터를 조합해 카메라 어레이(101)의 시야의 결합된 비디오 컨텐츠를 생성한다. 도 4에 도시된 바와 같이, 결합된 비디오 컨텐츠는 결합 컨텐츠(401)로 도시되어 있다. 더욱이, 시청장치(가령, 장치(106, 107, 108, 및/또는 109))의 동작 동안, 시청장치는 시청장치 상에 디스플레이될 수 있는 컨텐츠(401)의 시점을 나타내는 시점 데이터를 생성할 수 있다. 일태양으로, 이 시점 데이터는 컨텐츠(401)의 사용자 요청 보기에 응답한다. 시점 데이터를 기초로, 캡쳐/통합/저장 시스템(102)이 결합된 비디오 컨텐츠로부터 시야(가령, 시야(402))를 생성하도록 구성되고 그런 후 이 시야가 시청장치 상에 디스플레이되게 한다. 도시된 바와 같이, 시야(402)는 뷰잉필드의 캡쳐된 이미지 데이터의 단지 일부분(즉, 해당 컨텐츠(401))만 포함한다. 더욱이, 후술된 바와 같이, 시점 데이터가 변경되거나 업데이트될 때, 시청장치 상에 디스플레이되는 해당 시야가 또한 변경되어 사용자의 경험을 향상시킬 수 있다.

도 5a는 본 발명의 예시적인 실시예에 따른 시스템(100)의 동작 중에 어레이(101)에 의해 생성된 해당 컨텐츠(501)와 어레이(101) 간의 관계를 도시한 것이다. 예로서, 카메라 어레이(101)는 평면 직사각형 그리드에 복수의 카메라(101A 내지 101X)를 포함하는 도 2d에 도시된 어레이에 해당할 수 있다. 상술한 바와 같이, 각각의 카메라는 데이터 컨텐츠를 캡쳐하도록 구성되고 각 카메라로부터 이들 개개의 피스들은 예시적인 실시예의 스티칭 소프트웨어에 의해 함께 결합되어 (즉, "스티칭"되어) 컨텐츠(501)(예를 들어, 도 4의 컨텐츠(401))로 알려진 더 큰 데이터 수집을 생성할 수 있게 한다. 즉, 각 개개의 카메라는 전체 컨텐츠의 일부를 생성한다. 가령, 컨텐츠(501A)는 카메라(101A)로부터 생성된 이미지 데이터이고, 컨텐츠(501X)는 카메라(101X)로부터 생성된 이미지 데이터이며, 이하 등등. 그런 후, 본 명세서에 개시된 스티칭 알고리즘을 기반으로, 캡쳐/통합/저장 시스템(102)에 의해 생성된 전체 컨텐츠(501)는 어레이(101) 내 각 카메라에 의해 집합적으로 캡쳐된 모든 데이터의 합이고, 또한 어레이(101) 그자체에 대해 캡쳐된 모든 데이터를 기술하는 메타데이터를 포함한다. 카메라(101A)에 의해 캡처되고 생성된 컨텐츠(501A)는 도 5a에서 사각형 박스로 도시되어 있으나, 이 모양은 단지 예시용도로만 제공되는 것을 알아야 한다. 어레이(101) 내의 각 카메라에 의해 캡쳐된 실제 이미지 데이터는 당업자에게 공지되어 있는 바와 같이 임의의 타입의 카메라에 의해 제공되는 임의의 형태, 모양 등을 가질 수 있다.

도 5b는 본 발명의 예시적인 실시예에 따른 시스템(100)의 동작 중에 시야를 변경하는 것을 포함한 어레이(101) 및 해당 컨텐츠(501) 간의 관계를 도시한 것이다. 도시된 바와 같이, 어레이(101)의 각 카메라는 고유한 시점을 가지므로, 어레이(101)로부터 데이터가 스티칭 소프트웨어에 의해 결합될 경우 다른 시점으로부터 각각, 최종 발생한 컨텐츠(501)는 준-홀로그래픽 효과를 야기하는 다른 시점으로부터 시야들을 지원할 수 있다. 바람직하기로, 시청자가 원래의 실물과 똑같은 시각 경험을 즐길 수 있는 경험처럼, 최종 발생한 효과가 상대적으로 풍부한 3D인 본 명세서에 기술된 바와 같이 다양한 메카니즘을 통해 각 시야에 대한 중심 초점 효과가 추가된다. 품질의 시청 경험임을 보장하기 위해, 컨텐츠(501)의 완만한 횡단을 지지하는데 중요하다.

예컨대, 520은 제 1 순간(즉, 시점(時點))에서의 예시적인 시야를 도시한 것이고 530은 제 1 순간에 연이은 제 2 순간에서의 예시적인 시야를 도시한 것이다. 예시적인 실시예에 따르면, 디스플레이 장치 상에 제시된 뷰는 시야가 어레이(101) 내 다수의 카메라들로부터의 데이터를 통합하더라도 유지된 시야의 중심 초점과 같은 요소들로 시야(520)로부터 시야(530)로 전환한다. 이를 위해, 일태양으로, 시스템(100)은 디지털적으로 중심 초점 효과를 생성할 수 있고 시야가 컨텐츠(501)를 교차함에 따라 반복적으로 재생성할 수 있다.

도 5b에 도시된 예시적인 실시예에 따르면, 컨텐츠(501)는 카메라 어레이(101)의 시야에 해당하는 커메라 어레이(101)에 의해 제공된 결합된 비디오/이미지 컨텐츠임을 알아야 한다. 따라서, 이 비디오/이미지 컨텐츠(501)는 카메라 어레이(101)의 시야와 일치하는 1차원을 갖는다. 더욱이, 또한 도시된 바와 같이, 각각의 시야(520 및 530)는 제 1 차원보다 작은 제 2 차원을 갖는다. 상술한 바와 같이, 시야(520 및 530)는 시청장치로부터, 및 바람직하게는 시청장치의 사용자로부터 수신된 뷰 시점 데이터를 기반으로 결정된다. 즉, 시스템이 시청장치에 대한 시청자의 뷰 시점을 결정하면, 시스템은 전체 비디오/이미지 컨텐츠(501)의 서브세트인 적절한 시야를 결정하도록 구성된다.

도 5c는 본 발명의 예시적인 실시예에 따른 어레이(101), 해당 컨텐츠(501), 및 예시적인 시야(540) 간의 관계를 더 도시한 것이다. 이 예에서, 9개의 별개의 이미지 데이터 세트를 각각 캡쳐하고 생성하는 9대의 카메라가 있다(각각 원으로, 가령(101A)로, 도시되어 있다). 예컨대, 카메라(101A)는 이미지 데이터(501A) 등을 캡쳐하고 생성한다. 이 예에서, 시야는 대시 박스(540)로 표시된다(시청장치의 스크린 상에 디스플레이 된다). 카메라(101E)가 요청된 시야(540)의 중심에 있게 될 이미지 데이터를 캡쳐하기 때문에, 카메라(101E)는 초점이 선명한 이미지 컨텐츠를 제공하는 반면, 어레이(101) 내 다른 모든 카메라들은 초점이 소프트한 컨텐츠를 제공하게 된다. 상술한 바와 같이, 선명한 초점 대 소프트한 초점의 이런 변화는 기계적으로 또는 디지털적으로 생성될 수 있다. 이 프로세스의 결과로서, 시청장치의 스크린 상에 디스플레이되는 시야(540)는 (카메라(101E)에 의해 제공된) 초점이 선명한 중심 컨텐츠(501E)와 초점이 소프트한 어레이(101) 내 다른 모든 카메라에 의해 제공된 다른 모든 컨텐츠를 갖게 된다. 즉, 예에 따르면, 도 5c에 대시선 타원은 중심의/선명한 초점은 시야(540)의 중심 섹션에 해당하는 반면, 시야(540) 내에서 중심 초점을 벗어난 다른 모든 컨텐츠는 시야의 외주 섹션에 해당하는 소프트한 초점이 될 수 있다. 중심 섹션과 외주 섹션 간에 초점(또는 콘트라스트) 정도는 중심 섹션이 외주 섹션에 대해 더 선명한 초점을 갖는 한 시스템 설계자에 따라 조절될 수 있음을 알아야 한다.

도 6은 본 발명의 실시예에 따른 3DCCMS(100)의 예시적인 부품들의 더 상세보기의 블록도를 도시한 것이다. 도시된 바와 같이, 시스템(100)은 다양한 하드웨어 부품들에 의해 카메라 어레이(101)에 결합된 별도의 전원일 수 있는(또는 대안적으로 가령 어레이(101)에 포함될 수 있는) 카메라 어레이 전원(601)을 포함할 수 있다. 일실시예에 따르면, 카메라 어레이 전원(601)은 배터리, USB, AC 전력, AC-DC 트랜스포머, HDMI, Cat-5 등을 포함할 수 있지만, 이에 한정되지 않는다.

더욱이, 도 2a 내지 2d에 도시되고 상술된 바와 같이, 어레이(101)는 캡처/통합/저장 시스템(102)의 컴퓨터 프로세싱 유닛(CPU)(603)에 의해 카메라 위치, 조리개 동작 및 컨텐츠 캡처 시간이 알려지는 한 다양한 방식으로 구성될 수 있다. 게다가, 카메라 어레이(101)의 모양은 CPU(603)에 개개의 카메라들의 이동 및/또는 위치가 제공되고 스티칭 동작 및 이에 따라 컨텐츠의 상응하는 생성을 조절하는 한 하나의 비디오 캡쳐의 경로에 걸쳐 변경될 수 있다. 바람직하기로, 어레이(101)의 다양한 카메라는 HDMI, Coax, RCA, S- 비디오, USB, Cat-5, 안테나, 무선 등을 포함하나 이에 국한되지 않는 당업자에게 공지된 다양한 하드웨어 장치를 통해 CPU (603)에 연결될 수 있다. 또한, 어레이(101)의 카메라는 MPEG2, MPEG4, HLS, h.264, h.265, HEVC, Flash, QuickTime 등을 포함하나 이에 국한되지 않는 다양한 포맷으로, SD, HD, 4K, UHD, HDRUHD 등을 포함하나 이에 국한되지 않는 다양한 해상도로 콘텐츠를 캡처할 수 있다. 어레이(101)의 다양한 카메라는 포맷, 초점 등과 관련된 다른 설정을 할 수 있다.

또한, 예시적인 실시예에 따르면, CPU(603)는 카메라 어레이(101)로부터 컨텐츠를 가져 오기 위한 게이트웨이의 관리를 포함하여, 시스템을 관리하도록 구성된 내부 컴퓨터 프로세서일 수 있다. CPU(603)는 컨텐츠를 구성하는 결합된 파일 생성하기 위해 카메라 어레이(101)로부터 입력을 조작함으로써 동작을 수행하기 위해 하나 이상의 컴퓨터 프로그램들(예를 들어, 스티칭 소프트웨어)를 수행하도록 구성된다. 더욱이, 상술한 바와 같이, 보다 견고한 컨텐츠 파일을 만들기 위해 카메라(101)에 의해 생성되고 제공되는 시야 콘텐츠 이외의 추가 콘텐츠가 제 2 시스템(103)으로부터 추가될 수 있다.

전반적으로, 본 명세서에 기술된 프로세스 및 로직 흐름은 CPU(603) 단독으로 또는 하기의 컨텐츠 코디네이터(604)와 결합해 수행될 수 있다. 예시적인 실시예에 따르면, 컨텐츠 코디네이터(604)는 어레이(101)로부터 입력 컨텐츠를 모니터하고 분석하며 (어레이(101) 및 기타 입력들로부터) 다양한 입력들을 시청 경험에 따라 컨텐츠의 적절한 디스플레이를 허용하는 관련된 메타데이터를 갖는 코디네이트 컨텐츠 파일에 함께 스티치하도록 구성된 시스템/부품이다. 컨텐츠 코디네이터(604)는 시스템(100)의 전체 내부에 있을 수 있거나, 컨텐츠 코디네이터(604)는 원래 컨텐츠에 대한 추가 데이터를 수집하기 위해 제 2 시스템, 제 2 이미지, 마이크, 제 2 데이터 파일, 카메라 등과 같은 장치를 포함할 수 있다. 예시적인 실시예에서, 컨텐츠 코디네이터(604)는 추가 컨텐츠 및 결합된 원본 및 추가 컨텐츠를 모니터하고 분석하도록 더 구성된다. 예컨대, 컨텐츠 코디네이터는 소스 컨텐츠에 있는 아이템(또는 아이템 세트)을 인식하고 하기에 더 상세히 언급된 바와 같이 상술한 아이템(들)에 대한 추가 데이터 또는 메타 데이터를 식별하는 시스템을 구현할 수 있다. 이 태양에서, 컨텐츠 코디네이터(604)는 또한 다른 제 2 시스템(103)에 또한 연결될 수 있다. 일실시예에서, CPU(603)는 컨텐츠 코디네이터(604)의 분석/처리 기능을 수행하도록 구성될 수 있음이 당업자에게 인식되어야 한다.

더욱이, 상술한 바와 같이, 캡처/통합/저장 시스템(102)은 로컬 디지털 저장 장치(605)로 간주될 수 있는 전자 메모리를 포함할 수 있다. 당업자에 이해되는 바와 같이, 로컬 저장장치(605)는, 가령, CD-ROM과 같은 디스크 형태의 매체, 자기광학 디스크, DVD-ROM, 또는 DVD-RAM, 플로피 디스크, RAM, ROM, E-PROM, EE-PROM과 같은 메모리 칩, 스마트 카드와 같은 읽기쓰기 가능한 카드형 읽기 전용 메모리, 자기 테이프, 하드 디스크, 및 내부에 프로그램 및/또는 컨텐츠 데이터를 저장하기 위한 임의의 다른 적절한 수단을 포함할 수 있다. CPU(603)는 컨텐츠 코디네이터(604)의 분석/처리 기능을 수행하도록 구성되고 일실시예에서 로컬 저장장치(605)와 결합될 수 있음이 당업자에 인식되어야 한다.

또한, 캡처/통합/저장 시스템(102)은 컨텐츠 프로세서(606)를 더 포함할 수 있다. 이 태양에서, 컨텐츠 프로세서(606)는 하나 이상의 배포 시스템(104)을 통해 디스플레이 장치(즉, 장치(106, 107, 108, 및/또는 109))로 전달될 수 있는 패키지에 (가령, 원본, 추가, 및 결합) 컨텐츠를 처리하도록 구성된 시스템/부품이다. CPU(603), 컨텐츠 코디네이터(604) 및 로컬 저장장치(605)는 일실시예에서 콘텐츠 프로세서(606)의 처리 기능을 수행하도록 구성될 수 있음이 당업자에 인식되어야 한다. 즉, CPU(603)는 디스플레이 장치(즉, 장치(106, 107, 108 및 / 또는 109))에 전달될 수 있는 패키지에 컨텐츠(예를 들어, 원본, 추가 및 결합) 컨텐츠를 처리하도록 구성될 수 있다.

캡처/통합/저장 시스템(102)은 원본/추가 컨텐츠 출력(607)을 더 포함할 수 있다. 특히, 3DCCMS(100)는 HDMI, Coax, RCA, S-Video, USB, 안테나, 무선 등을 포함하나 이에 국한되지 않는 다양한 하드웨어 장치들 중 어느 하나를 이용해 배포 시스템 및/또는 디스플레이 장치(즉, 장치(106, 107, 108 및/또는 109))에 (예를 들어, 원본, 추가 및 결합) 컨텐츠를 직접 보내도록 구성된다.

더욱이, 상술한 바와 같이, 3DCCMS(100)는 하나 이상의 파일들로부터 (예를 들어, 다수의 인접한 사진들을 함께 붙임으로써 생성된 파노라마 사진과 유사한) 하나의 더 큰 파일을 생성하도록 인접한 프레임들을 매치시키는 스티칭 소프트웨어를 실행한다. CPU(603)에 의해 실행된 하나 이상의 컴퓨터 프로그램에 따라 스티칭 소프트웨어뿐만 아니라 어레이(101)의 각 카메라를 포함하는 다양한 부품들의 조작을 제어하도록 구성된 추가 소프트웨어가 실행될 수 있다. 컴퓨터 프로그램(들)(가령, 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트, 또는 코드)은 컴파일형 또는 해석형 언어, 선언형 언어, 절차형 언어를 포함한 임의의 형태의 프로그램 언어로 작성될 수 있고, 독립형 프로그램으로서 또는 (상술한 바와 같은) 모듈로서, 구성부품, 서브루틴, 객체, 또는 컴퓨팅 환경에서 사용하기 적절한 기타 유닛을 포함한 임의의 형태로 배치될 수 있다.

본원에 따르면, "모듈"이라는 용어는 예를 들어, 주문형 집적회로(ASIC) 또는 필드 프로그래머블 게이트 어레이 (FPGA)와 같은, 또는 가령, (실행되는 동안) 마이크로프로세서 시스템을 특수용 장치로 전환시키는 모듈의 기능을 구현하기 위한 마이크로프로세서 시스템 및 명령어 세트와 같은 하드웨어 및 소프트웨어의 조합과 같은, 실제 장치, 부품, 또는 하드웨어를 이용해 구현된 부품들의 배열을 포함해 컴퓨터 상에 실행되는 소프트웨어 서비스 또는 애플리케이션을 말한다. 일태양으로, 모듈은 또한 하드웨어만으로 촉진되는 소정의 기능들 및 하드웨어 및 소프트웨어의 조합에 의해 촉진되는 다른 기능들을 갖는 상기 2가지의 조합으로 구현될 수 있다. 소정의 구현에서, 한 모듈의 적어도 일부 및 몇몇 경우 모두가 범용 컴퓨터의 프로세서 상에 실행될 수 있다. 따라서, 각 모듈은 다양한 적절한 구성으로 구현될 수 있으며, 본 명세서에 예시된 임의의 예시적인 구현에 국한되지 않아야 한다.

더욱이, 예시적인 실시예에서, 3DCCMS(100)의 캡처/통합/저장 시스템(102)은 별도의 분리된 하드웨어 피스이지만, 다른 실시예에서는 디스플레이 장치, 라우터 또는 대형 에코 시스템의 다른 부분에 통합될 수 있다.

상술한 바와 같이, 본원의 시스템 및 방법에 대한 여러 실시예들이 있다. 예컨대, 제 1 실시예는 본 명세서에 개시된 본원의 시스템의 제 1 구현을 제공한다. 이 예에서, 개개인은 종래 디스플레이 장치(106), 가령, 개인 텔레비전에 컨텐츠를 시청하는 것이다. 이 실시예에서, 가령 케이블 서비스 공급자로부터 배포 시스템(104)을 통해 TV 서비스로서 축구경기 소개 방송이 시청자에게 3D 같은 속성의 깊이 환영을 갖는 시각적 경험을 제공하는 종래 디스플레이 장치(106)에 의해 수신된다. 이 예에서, 시청자는 (예를 들어, 리모트 컨트롤 장치를 통해) 디스플레이 장치(106)가 상기 디스플레이 장치(106)의 스크린 상에 시청자용 뷰잉 시점(즉, "시야")을 조정하도록 요청하는 하나 이상의 컨트롤을 입력할 수 있다. 이 신호에 응답해, 시스템(100)은 디스플레이 장치(106)에 디스플레이되는 컨텐츠의 다른 부분들/서브세트들을 이에 따라 선택함으로써 시야를 조정할 수 있다.

제 2 실시예에 따르면, 개개인은 예를 들어 쇼핑몰의 벽에 장착된 고정 홀로그래픽 디스플레이 장치(107)에 의해 걷고 있으며, 개인의 시점이 보행할 때 변하면, 고정 홀로그픽 디스플레이 장치(107) 상의 컨텐츠도 개개인의 움직임에 응답해 변하게 되므로, 개인이 윈도우를 지나 이동함에 따라 뷰도 변해 윈도우 옆을 지나는 것과 유사한 경험을 제공한다. 이 태양에서, 홀로그픽 디스플레이 장치(107) 또는 연결된 장치는 홀로그픽 디스플레이 장치(107)의 스크린에 대해 개인의 위치를 감지하도록 구성된 다양한 다른 타입의 센서들(가령, 모션 또는 트래킹 센서 등)을 포함할 수 있다. 그 결과, 센서는 스크린에 대응하는 개인의 상대 각도(즉, 사용자의 보기 각도)를 결정할 수 있고, 따라서 스크린에 디스플레이되는 컨텐츠의 시야를 조정할 수 있다.

제 3 실시예에 따르면, 시청자는 이동식 디스플레이 장치(108)를 이동시킨다. 이 예에서, 적절한 소프트웨어 및 (가속도계, 터치센서, 자이로스코프, 자력계, 경사계, 광학 센서, 관성 트래커(inertial tracker) 등 중 하나 이상을 포함 할 수 있는) 내부 센서를 가진 태블릿이 시청자에 대해 이동되고, 시청자는 이동식 디스플레이 장치(108)가 이동할 때 상기 이동식 디스플레이 장치(108)의 위치 및/또는 이동에 대해 직접 연관된 다른 시점들로부터 표현된 대상을 컨텐츠에서 본다. 더욱이, 이 실시예는 또한 종래 가상현실 체험의 한계를 해결할 수 있다. 대부분의 가상현실 컨텐츠 생성 시스템은 모두가 중앙의 한 점에서 나오게 대면한 한 무리의 카메라들이기 때문에, 단일 시점의 경험을 생성한다. 본 명세서에 개시된 어레이(101)의 구조와 본원의 시스템의 나머지를 가정하면, 이 실시예는 가상현실 디스플레이 장치에 사용될 수 있고 시청자가 기설정된 단일 시점의 보기에 국한되지 않는다는 점에서 세미-오프(semi-off) 레일의 가상현실 체험을 제공한다.

제 4 실시예에 따르면, 개개인은 이동식 홀로그래픽 디스플레이 장치(109)를 이동시킨다. 제 2 및 제 3 실시예의 전반적인 경험이 결합되므로 이 예에서 적절한 소프트웨어 및 (가속도계, 터치센서, 자이로스코프, 자력계, 경사계, 광학 센서, 관성 트래커(inertial tracker) 등 중 하나 이상을 포함 할 수 있는) 내부 센서를 가진 태블릿이 이동되고/되거나, 시청자가 또한 움직이면, 컨텐츠가 시청자 및 장치 이동과 직접 관련해 변한다.

상기 예들 각각에 대해, 예시적인 실시예의 한 고안에 따라 하기의 예시적인 프로세스가 수행될 수 있음이 고려된다. 동시에(또는 연이어), 캡처/통합/저장 시스템(102)은 컨텐츠에 대한 정보를 2차 시스템(103)으로 보내고, 차례로 상기 2차 시스템은 컨텐츠에 있는 아이템들을 인식한다. 특히, 2차 시스템(103)은 디스플레이 장치(가령, 장치(106, 107, 108, 및/또는 109)) 상에 디스플레이되는 컨텐츠에서 가령 컨텐츠의 전체 주제(가령, 축구경기/프로그램) 또는 하나 이상의 특정 아이템(가령, 셔츠, 팀 로고, 등)을 식별할 수 있다. 제 2 시스템(103)과 결부해 캡처/통합/저장 시스템(102)은 그런 후 디스플레이 장치(106, 107, 108, 및/또는 109)의 시청자에게 개인이 구매할 수 있고 또한 관련된 제품을 구경할 수 있거나, 또는 제품에 대한 더 상세한 정보를 얻을 수 있는 축구경기와 관련된 제품의 다른 컨텐츠를 제공한다. 이 정보는 제 2 시스템(가령, 인터넷)으로부터 얻을 수 있고 제품 광고, 비디오 등을 포함할 수 있다. 소스 컨텐츠에서 아이템(또는 아이템 세트)를 인식하고 식별된 아이템(들)에 대한 추가 데이터 또는 메타데이터를 식별하는 일예시적인 시스템은 미국특허번호 제9,167,304호와 제9,344,774호 및 미국특허출원번호 제14/940,283호와 제15/132,653호이며, 상기 참조문헌 각각의 내용은 본 명세서에 참조로 합체되어 있다.

더욱이, 예시적인 실시예의 또 다른 고안으로, 3DCCMS(100)는 사용자가 하나 이상의 디스플레이 제품들을 구매할 수 있는 전자 쇼핑 애플리케이션을 자동으로 또는 사용자 제어에 응답해 띄운다. 예시적인 애플레케이션은 미국특허번호 제7,752,083호, 제7,756,758호, 제8,326,692호, 제8,423,421, 제9,117,234호, 및 제8,768,781호, 및 미국특허출원번호 제13/792,628호, 제14/731,594호 및 제15/098,705호에 개시된 전자쇼핑 시스템을 포함하고, 상기 참조문헌의 내용은 본 명세서에 참조로 합체되어 있다.

추가로, 예시적인 실시예의 또 다른 고안에 따르면, 3DCCMS(100)는 또한 컨텐츠에 포인터를 포함하도록 제 2 시스템을 이용하거나 컨텐츠내 시야 네비게이션을 보조하기 위해 관련된 포인터를 이용할 수 있다. 예시적인 애플리케이션은 미국특허번호 제8,717,289호, 제9,094,707호 및 제9,294,556호, 및 미국특허출원번호 제15/040,021호에 개시된 포인터 및 네비게이션 시스템을 포함하고, 상기 참조문헌의 내용은 본 명세서에 참조로 합체되어 있다.

도 7은 본 발명의에 예시적인 실시예에 따라 가상 3D 컨텐츠를 생성, 관리 및 배포하기 위한 방법에 대한 흐름도를 도시한 것이다. 예시적인 방법은 본 명세서에 언급된 바와 같이 도 1의 구성요소들 및 이들의 관련 기능들에 관하여 설명된다. 처음에, 단계(705)에서, 카메라 어레이(101)는 어레이(101) 그자체에 대한 설명 정보를 포함한 초기 셋팅들로 구성된다. 상술한 바와 같이, 초기 설정은, 예를 들어, 어레이(101) 내의 다른 카메라들에 대한 카메라 위치 및 각도, 각 카메라에 대한 개구 설정 등을 포함할 수 있다. 상기 개시를 기반으로 이해되어야 하는 바와 같이, 컨텐츠 생성자(가령, 시스템 관리자)는 전반적으로 컨텐츠를 소비할 때 시청자의 경험을 최적화하도록 어레이(101)의 이들 초기 셋팅을 확립한다. 다음으로, 단계(710)에서, 각 카메라 어레이(101)에 의해 획득된 데이터가 캡쳐/통합/저장 시스템(102)에 제공된다. 비디오가 어레이(101) 내 각각의 다수의 카메라로부터 캡쳐되면, 라이브, 녹화 또는 이 둘의 조합의 통합된 전체로서 컨텐츠를 생성하도록 스티칭 소프트웨어를 이용해 초기 셋팅 정보와 함께 통합될 수 있다(단계 715). 단계(720)에서, 추가 데이터는 컨텐츠 및 최종 발생한 사용자 경험을 더 체험하도록 제 2 시스템으로부터 통합될 수 있다. 단계(720)는 일실시예에 따라 선택적임을 알아야 한다. 어느 한 경우, 단계(725)에서, 컨텐츠는 현재 디스플레이 장치(즉, 장치(106, 107, 108, 및/또는 109)) 상에 플레이아웃하도록 배포될 준비가 되어 있다. 플레이아웃 디바이스 및 시청자 소비 활동에 따라, 단계(735)에서 시청자가 콘텐츠의 대체 부분을 시청장치(즉, 장치(106, 107, 108 및/또는 109))에 제공하는 시스템에 의한 이들의 시점을 조정하게 하며 밴포되는 컨텐츠를 채택하도록 처리되는 피드백 루프가 있다.

마지막으로, 도 8은 개시된 시스템 및 방법이 예시적인 태양에 따라 실행될 수 있는 (개인용 컴퓨터 또는 서버 일 수 있는) 범용 컴퓨터 시스템의 예를 도시한 것이다. 상세한 범용 컴퓨터 시스템은 가령 도 1 및 도 6을 참조로 상술한 캡쳐/통합/저장 시스템(102)에 해당할 수 있음을 알아야 한다. 더욱이, 후술된 바와 같이, 리모트 컴퓨터(들)(49)은 상술한 바와 같은 제 2 시스템(103)에 해당할 수 있다.

도 8에 도시된 바와 같이, 컴퓨터 시스템(20)은 중앙처리장치(21), 시스템 메모리(22) 및 중앙처리장치(21)와 관련된 메모리를 포함한 다양한 시스템 부품들을 연결하는 시스템 버스(23)를 포함한다. 중앙처리장치(21)는 예시적인 태양에 따르면 시스템 메모리(22)가 도 6의 로컬 저장장치(605)에 해당할 수 있는 CPU(603) 및/또는 컨텐츠 코디네이터(604)에 해당할 수 있다. 더욱이, 시스템 버스(23)는 임의의 다른 버스 아키텍처와 상호작용할 수 있는 버스 메모리 또는 버스 메모리 컨트롤러, 주변 버스 및 로컬 버스를 포함한 종래 기술에 공지된 임의의 버스 구조와 같이 구현된다. 시스템 메모리는 ROM(24) 및 RAM(25)을 포함한다. 기본 입/출력 시스템(BIOS)(26)은 ROM(24)을 이용해 운영 시스템을 로딩할 때의 절차와 같이 컴퓨터 시스템(20)의 구성요소들 간에 정보의 전송을 보장하는 기본적인 절차를 포함한다.

컴퓨터 시스템(20)은, 차례로, 데이터 읽기 및 쓰기용 하드 디스크(27), 착탈식 자기 디스크(29) 상에 읽기 및 쓰기용 자기 디스크 드라이브(28), 및 CD-ROM, DVD-ROM 및 기타 광학 정보 매체와 같이 착탈식 광학 디스크(31) 상에 읽기 및 쓰기용 광학 드라이브(30)를 포함한다. 하드 디스크(27), 자기 디스크 드라이브(28), 및 광학 드라이브(30)는 하드 디스크 인터페이스(32), 자기 디스크 인터페이스(33), 및 광학 드라이브 인터페이스(34) 양단에 각각 걸쳐 시스템 버스(23)에 연결된다. 드라이브 및 해당 컴퓨터 정보 매체는 컴퓨터 명령, 데이터 구조, 프로그램 모듈 및 컴퓨터 시스템(20)의 기타 데이터의 저장장치용의 전력과 별개의 모듈들이다.

본 개시는 하드 디스크(27), 착탈식 자기 디스크(29) 및 착탈식 광디스크(31)를 사용하는 시스템의 구현을 제공하나, 컨트롤러(55)를 통해 시스템 버스(23)에 연결된 컴퓨터(고체상태 드라이브, 플래시 메모리 카드, 디지털 디스크, RAM 등)에 의해 판독할 수 있는 형태의 데이터를 저장할 수 있는 다른 타입의 컴퓨터 정보 매체(56)를 사용하는 것이 가능하다는 것을 이해해야 한다.

컴퓨터(20)는 수록된 운영 시스템(35)이 유지되는 파일 시스템(36), 및 추가 프로그램 애플리케이션(37), 다른 프로그램 모듈(38) 및 프로그램 데이터(39)를 또한 갖는다. 사용자는 입력장치(키보드(40), 마우스(42))를 이용해 컴퓨터 시스템(20)에 명령 및 정보를 입력할 수 있다. 마이크, 조이스틱, 게임 컨트롤러, 스캐너 등의 다른 입력장치(미도시)가 사용될 수 있다. 이런 입력장치는 대개 시리얼 포트(46)를 통해 컴퓨터 시스템(20)에 꽂히며, 차례로 상기 시리얼 포트는 시스템 버스에 연결되나 다른 식으로, 가령, 패러럴 포트, 게임 포트 또는 USB의 도움으로 연결될 수 있다. 모니터(47) 또는 다른 타입의 디스플레이 장치가 또한 비디오 어댑터(48)와 같은 인터페이스를 가로질러 시스템 버스(23)에 연결된다. 모니터(47) 이외에, 컴퓨터 시스템에는 라우드스피커, 프린터기 등과 같은 기타 주변 출력장치(미도시)가 설비될 수 있다.

컴퓨터 시스템(20)은 하나 이상의 리모트 컴퓨터(49)에 네트워크 연결을 이용해 네트워크 환경 내에서 동작할 수 있다. 리모트 컴퓨터(또는 컴퓨터들)(49)는 또한 컴퓨터 시스템(20)의 속성을 기술하는데 있어 상술한 요소들 중 대부분 또는 모두를 갖는 개인용 컴퓨터 또는 서버이다. 라우터, 네트워크 스테이션, 피어 디바이스 또는 기타 네트워크 노드와 같은 다른 디바이스들이 또한 컴퓨터 네트워크에 있을 수 있다.

네트워크 연결은 유선 및/또는 무선 네트워크와 같은 근거리 통신 네트워크(LAN)(50) 및 광역 컴퓨터 네트워크(WAN)를 형성할 수 있다. 이러한 네트워크는 회사 컴퓨터 네트워크 및 내부 회사 네트워크에 사용되며 이들은 인터넷에 액세스 한다. LAN 또는 WAN 네트워크에서, 컴퓨터 시스템(20)은 근거리 통신망(50) 또는 네트워크 어댑터 또는 네트워크 인터페이스(51)에 연결된다. 네트워크가 이용되면, 컴퓨터 시스템(20)은 인터넷과 같이 광역 컴퓨터 네트워크와 통신을 제공하기 위한 모뎀(54) 또는 기타 모듈을 이용할 수 있다. 내부 또는 외부 디바이스인 모뎀(54)은 시리얼 포트(46)에 의해 버스 시스템(23)에 연결된다. 네트워크 연결은 단지 예이며 네트워크의 정확한 구성을 묘사할 필요가 없음에 유의해야 한다. 즉, 실제로, 블루투스와 같은 기술적 통신 모듈에 의해 한 컴퓨터에서 다른 컴퓨터로의 연결을 설정하는 다른 방식들이 있다.

명확히 하기 위해, 본 태양의 루틴 특징들 모두가 본 명세서에 개시되어 있지 않다. 본 개시의 임의의 실제 구현의 전개에 있어, 개발자의 고유 목적을 달성하기 위해 수많은 구현의 고유 판단들이 행해져야 하고, 이들 고유 목적은 다른 구현 및 다른 개발자에 따라 다른 것이 이해될 것이다. 이러한 개발 노력은 복잡하고 시간 소모적일 수 있으나, 본 개시의 이점을 갖는 당업자에게는 그럼에도 불구하고 일상적인 엔지니어링 작업일 것이다.

더욱이, 본 명세서의 전문 용어 또는 표현은 관련 기술분야의 당업자의 지식과 결부하여 본 명세서에 제시된 기술 및 지침에 비추어 당업자에 의해 해석될 수 있도록 본 명세서 사용된 전문 용어 또는 표현이 설명을 위한 목적이지 제한하려는 것이 아님을 이해해야 한다. 게다가, 명세서 및 청구의 범위에 있는 임의의 용어는 이와 같이 명백히 나타내지 않는 한 특이한 또는 특수한 의미를 기술하는 것으로 되어 있지 않다.

본 명세서에 개시된 다양한 태양들은 본 명세서에 예로써 언급된 공지의 모듈들에 대한 현재 및 장래 공지의 등가물을 포함한다. 더욱이, 태양 및 애플리케이션이 도시되고 기술되었으나, 본 명세서에 개시된 발명의 개념으로부터 벗어남이 없이 상술한 것보다 더 많은 변형들이 가능한 것이 본 개시의 해택을 입은 당업자들에 명백할 것이다.

Claims

서로에 대해 다른 위치에 배열되고, 각각이 카메라 어레이의 일부 시야의 이미지 데이터를 캡처하도록 구성된 복수의 카메라들을 포함하는 카메라 어레이;
카메라 어레이의 각 카메라가 캡처한 이미지 데이터 및 각 카메라가 이미지 데이터를 캡처하기 위해 각 카메라의 적어도 다른 위치와 타이밍 데이터를 나타내는 각 카메라의 셋팅 정보를 저장하도록 구성된 전자 메모리; 및
각 카메라의 상기 셋팅 정보를 이용해 각 카메라가 캡처한 이미지 데이터를 결합함으로써 카메라 어레이의 시야의 결합된 비디오 컨텐츠를 생성하고, 시청장치로부터 시점 데이터를 받으며, 시청장치에 디스플레이될 결합된 비디오 컨텐츠로부터 시야를 생성하도록 구성된 프로세서를 포함하고,
시야는 시점 데이터를 기반으로 하며 시야의 중심 부분은 초점이 선명하고 시야의 외주 부분은 초점이 소프트한 시야의 캡쳐된 이미지 데이터의 일부만을 포함하고,
상기 프로세서는 카메라 어레이에서 한 대 이상의 카메라에 의해 캡처된 이미지 데이터의 픽셀 세트 초점의 선명도를 줄임으로써 시야의 중심 부분의 선명한 초점과 시야의 외주 부분의 소프트한 초점을 조정하도록 더 구성되는 비디오 콘텐츠를 생성하기 위한 시스템.
제 1 항에 있어서,
시야의 결합된 비디오 컨텐츠는 카메라 어레이 시야의 시야에 해당하는 제 1 치수를 갖고 시청장치 상에 디스플레이되는 시야는 제 1 치수보다 작은 제 2 치수를 갖는 비디오 콘텐츠를 생성하기 위한 시스템.
제 1 항에 있어서,
복수의 카메라들 각각은 카메라가 이미지 데이터를 캡쳐할 때 조리개 주위로 시계방향 또는 반시계방향으로 회전하는 개구를 포함하는 비디오 콘텐츠를 생성하기 위한 시스템.
제 3 항에 있어서,
프로세서는 카메라 어레이에서 하나 이상의 카메라들의 회전 방향과 개구부의 회전 속도 중 적어도 하나를 조정함으로써 시야의 중심 부분의 선명한 초점과 시야의 외주 부분의 소프트한 초점을 조정하도록 더 구성되는 비디오 콘텐츠를 생성하기 위한 시스템.
삭제
제 1 항에 있어서,
시청장치의 사용자로부터 수신된 입력신호에 응답해 시청장치에 의해 시점 데이터가 생성되는 비디오 콘텐츠를 생성하기 위한 시스템.
제 1 항에 있어서,
시청장치에 대한 시청자의 위치를 감지하도록 구성된 적어도 하나의 동작센서에 의해 시점 데이터가 생성되는 비디오 콘텐츠를 생성하기 위한 시스템.
제 1 항에 있어서,
가속도계, 터치 센서, 자이로스코프, 자력계, 경사계, 광센서, 및 관성 트래커 중 적어도 하나를 포함한 시청장치의 내부 센서에 의해 시점 데이터가 생성되는 비디오 콘텐츠를 생성하기 위한 시스템.
제 1 항에 있어서,
프로세서는 캡처된 이미지 데이터와 관련된 추가 컨텐츠에 액세스하여 상기 추가 컨텐츠가 시야와 결부해 시청장치 상에 디스플레이되도록 더 구성되는 비디오 콘텐츠를 생성하기 위한 시스템.
제 1 항에 있어서,
카메라 어레이의 복수 카메라들이 평면 그리드로 배열되어 있고, 이에 따라 카메라 어레이의 시야는 평면 초점을 갖는 비디오 콘텐츠를 생성하기 위한 시스템.
제 1 항에 있어서,
카메라 어레이의 복수 카메라들이 비평면 그리드로 배열되어 있고, 이에 따라 카메라 어레이의 시야는 비평면 초점을 갖는 비디오 콘텐츠를 생성하기 위한 시스템.
제 11 항에 있어서,
비평면 그리드는 오목 형상, 볼록 형상, 구 형상 및 반구형 중 적어도 하나로 구성된 포물선형 부분을 포함하는 비디오 콘텐츠를 생성하기 위한 시스템.
제 1 항에 있어서,
복수의 카메라들이 카메라 어레이의 시야의 이미지 데이터를 캡처하는 동안, 상기 복수 카메라 중 적어도 일부는 서로 다른 위치로 이동하도록 구성되어 있는 비디오 콘텐츠를 생성하기 위한 시스템.
제 1 항에 있어서,
프로세서는 각 카메라에 의해 캡처된 이미지 데이터 및 카메라 어레이의 다른 카메라에 대해 각각의 카메라의 상대 위치와 각도를 이용해 결합된 비디오 컨텐츠를 생성하도록 더 구성되는 비디오 콘텐츠를 생성하기 위한 시스템.
제 14 항에 있어서,
프로세서는 카메라 어레이의 시야의 변화에 기초하여 복수의 카메라들 중 적어도 일부의 상대 위치와 각도를 조정하도록 더 구성되는 비디오 콘텐츠를 생성하기 위한 시스템.
제 1 항에 있어서,
복수의 카메라 위치들 중 적어도 일부의 다른 위치에서 복수의 마이크를 더 포함하고, 각각의 마이크는 생성된 시야가 시청장치 상에 디스플레이될 때 시청장치에 의해 재생될 수 있는 오디오 데이터를 캡처하도록 구성되는 비디오 콘텐츠를 생성하기 위한 시스템.
각 카메라가 서로 다른 위치에 배열된 카메라 어레이내에 복수의 카메라들 각각에 의해 시야의 각 부분들의 이미지 데이터를 캡쳐하는 단계;
전자 메모리에, 카메라 어레이의 각 카메라에 의해 캡쳐된 이미지 데이터를 저장하는 단계;
전자 메모리에, 각 카메라에 의한 이미지 데이터의 캡쳐를 위해 적어도 각 카메라의 다른 위치 및 타이밍 데이터를 나타내는 각 카메라의 셋팅 정보를 저장하는 단계;
적어도 하나의 프로세서에 의해, 각 카메라에 의해 캡쳐된 이미지 데이터를 결합하기 위해 각 카메라의 셋팅 정보를 이용해 카메라 어레이의 시야의 결합된 비디오 컨텐츠를 생성하는 단계;
시청장치로부터 시점 데이터를 수신하는 단계; 및
적어도 하나의 프로세서에 의해, 시청장치 상에 디스플레이되는 결합된 비디오 컨텐츠로부터 시야를 생성하는 단계를 포함하고,
시야는 시점 데이터를 기반으로 하며 상기 시야의 중심 부분은 초점이 선명하고 상기 시야의 외주 부분은 초점이 소프트한 시야의 캡쳐된 이미지 데이터의 일부만을 포함하고,
카메라 어레이에서 한 대 이상의 카메라에 의해 캡처된 이미지 데이터의 픽셀 세트 초점의 선명도를 줄임으로써 시야의 중심 부분의 선명한 초점과 시야의 외주 부분의 소프트한 초점을 조정하는 단계를 더 포함하는 비디오 콘텐츠를 생성하기 위한 방법.
제 17 항에 있어서,
시야의 결합된 비디오 컨텐츠에는 카메라 어레이 시야의 시야에 해당하는 제 1 치수를 갖고 시청장치 상에 디스플레이되는 시야는 제 1 치수보다 작은 제 2 치수를 갖는 비디오 콘텐츠를 생성하기 위한 방법.
제 17 항에 있어서,
카메라 어레이에서 하나 이상의 카메라들의 회전 방향과 개구부의 회전 속도 중 적어도 하나를 조정함으로써 시야의 중심 부분의 선명한 초점과 시야의 외주 부분의 소프트한 초점을 조정하는 단계를 더 포함하고, 개구는 카메라가 이미지 데이터를 캡쳐할 때 조리개 주위로 회전하는 비디오 콘텐츠를 생성하기 위한 방법.
삭제
제 17 항에 있어서,
시청장치의 사용자로부터 수신된 입력신호에 응답해 시청장치에 의해 시점 데이터를 생성하는 단계를 더 포함하는 비디오 콘텐츠를 생성하기 위한 방법.
제 17 항에 있어서,
시청장치에 대한 시청자의 위치를 감지하도록 구성된 적어도 하나의 동작센서에 의해 시점 데이터를 생성하는 단계를 더 포함하는 비디오 콘텐츠를 생성하기 위한 방법.
제 17 항에 있어서,
가속도계, 터치 센서, 자이로스코프, 자력계, 경사계, 광센서, 및 관성 트래커 중 적어도 하나를 포함한 시청장치의 내부 센서에 의해 시점 데이터를 생성하는 단계를 더 포함하는 비디오 콘텐츠를 생성하기 위한 방법.
제 17 항에 있어서,
캡쳐된 이미지 데이터에 대한 추가 컨텐츠에 액세스하는 단계; 및
시야와 결부해 시청장치 상에 추가 컨텐츠를 디스플레하는 단계를 더 포함하는 비디오 콘텐츠를 생성하기 위한 방법.
제 17 항에 있어서,
카메라 어레이의 복수 카메라들을 평면 그리드로 배열하는 단계를 더 포함하고, 이에 따라 카메라 어레이의 시야가 평면 초점을 갖는 비디오 콘텐츠를 생성하기 위한 방법.
제 17 항에 있어서,
카메라 어레이의 복수 카메라들을 비평면 그리드로 배열하는 단계를 더 포함하고, 이에 따라 카메라 어레이의 시야는 비평면 초점을 갖는 비디오 콘텐츠를 생성하기 위한 방법.
제 26 항에 있어서,
비평면 그리드는 오목 형상, 볼록 형상, 구 형상 및 반구형 중 적어도 하나로 구성된 포물선형 부분을 포함하는 비디오 콘텐츠를 생성하기 위한 방법.
제 17 항에 있어서,
복수의 카메라들이 카메라 어레이의 시야의 이미지 데이터를 캡처하는 동안, 상기 복수 카메라 중 적어도 일부를 서로 다른 위치로 이동시키는 단계를 더 함하는 비디오 콘텐츠를 생성하기 위한 방법.
제 17 항에 있어서,
각 카메라에 의해 캡처된 이미지 데이터 및 카메라 어레이의 다른 카메라에 대해 각각의 카메라의 상대 위치와 각도를 이용해 결합된 비디오 컨텐츠를 생성하는 단계를 더 포함하는 비디오 콘텐츠를 생성하기 위한 방법.
제 29 항에 있어서,
카메라 어레이의 시야의 변화에 기초하여 복수의 카메라들 중 적어도 일부의 상대 위치와 각도를 조정하는 단계를 더 포함하는 비디오 콘텐츠를 생성하기 위한 방법.
제 17 항에 있어서,
복수의 카메라 위치들 중 적어도 일부의 다른 위치에 배열된 복수의 마이크에 의해 오디오 데이터를 캡쳐하는 단계를 포함하고, 생성된 시야가 시청장치 상에 디스플레이될 때 시청장치에 의해 오디오 데이터가 재생될 수 있는 비디오 콘텐츠를 생성하기 위한 방법.