KR20190029505A - 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림 - Google Patents
레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림 Download PDFInfo
- Publication number
- KR20190029505A KR20190029505A KR1020187030134A KR20187030134A KR20190029505A KR 20190029505 A KR20190029505 A KR 20190029505A KR 1020187030134 A KR1020187030134 A KR 1020187030134A KR 20187030134 A KR20187030134 A KR 20187030134A KR 20190029505 A KR20190029505 A KR 20190029505A
- Authority
- KR
- South Korea
- Prior art keywords
- video
- stream
- immersive
- syntax element
- mapping surface
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000009877 rendering Methods 0.000 title claims description 53
- 238000013507 mapping Methods 0.000 claims description 101
- 230000015654 memory Effects 0.000 claims description 22
- 238000007654 immersion Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 25
- 238000004891 communication Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 235000019994 cava Nutrition 0.000 description 2
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G06T3/073—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
- H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
- H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Circuits (AREA)
Abstract
본 개시 내용은 역방향 호환 가능 몰입형 비디오 스트림들을 포맷하기 위한 방법들, 장치 또는 시스템들에 관한 것이다. 소스로부터 획득되는 몰입형 비디오로부터 적어도 하나의 레거시 직사각형 비디오가 캡처된다(82). 몰입형 비디오의 어느 부분들이 레거시 비디오들을 구성할지 결정하는데 카메라 제어 데이터의 세트가 사용된다(84). 이러한 부분은 몰입형 비디오로부터 제거되고(83) 준비되는 모든 비디오들은 스트림으로 패키징된다(85). 스트림으로부터의 구조는 컨테이너이다. 제거된 부분들의 위치 및 크기에 대한 정보 데이터가 스트림에서 추가될 수 있다.
Description
본 개시 내용은 예를 들어 몰입형 비디오를 나타내는 역방향 호환 가능 스트림이 클라이언트 디바이스들의 이종 세트에 분배될 때 이러한 스트림을 포맷하는 분야에 관한 것으로, 이러한 클라이언트 디바이스들 중 일부는 레거시 직사각형 비디오들을 디스플레이하도록 구성되고, 다른 일부는 몰입형 비디오들을 디스플레이하도록 구성된다.
몰입형 비디오들은 사용자들 앞의 직사각형 화면 상에 투사되는 대신에 사용자들 주위에 디스플레이된다는 점에서 레거시 비디오들과 상이하다. 일부 디바이스들은 레거시 비디오들만 렌더링하도록 구성되고(예를 들어, TV 세트들, 비디오 프로젝터들), 일부는 몰입형 비디오들만 렌더링하도록 구성되고(예를 들어, 동굴들, 지형들) 일부는 그들이 포함하는 디코더들에 따라 양자 모두의 타입들의 비디오들을 렌더링할 수 있다(예를 들어, HMD(head-mounted display devices), 태블릿들, 스마트폰들). 본 문헌에서는, 몰입형 비디오들을 렌더링하도록 구성되고 적응형 디코더들을 포함하는 디바이스들을 몰입형 비디오 렌더링 디바이스들이라 하고, 몰입형 비디오들을 렌더링하도록 구성되지 않았거나 또는 적응형 디코더들을 포함하지 않는 것들을 레거시 비디오 렌더링 디바이스들이라 한다.
비디오는 적어도 하나의 이미지의 시퀀스이다. 실제로, 이미지는 정지 비디오로서 고려될 수 있다. 비디오는 픽셀들의 2차원 어레이(즉, 컬러 정보의 엘리먼트)인 직사각형 프레임 상에 인코딩된다. 렌더링되기 위해, 프레임은, 먼저, 매핑 표면 상에 매핑되고, 다음으로, 화면 상에 투사된다. 입체 비디오는, 디바이스의 특징들에 따라 투사되도록 조합되는 2개의 매핑 표면 상에 매핑되는, 1개 또는 2개의 직사각형 프레임들 상에 인코딩된다.
레거시 비디오 렌더링 디바이스들에 대해, 매핑 표면 및 화면은 평평한 직사각형들이다. 대응하는 매핑 함수 및 투사 함수는 간단하다. 매핑 표면은 프레임과 동등하다. 화면은, 렌더링 디바이스의 선명도 및 해상도에 의존하여, 매핑 표면의 직사각형 부분에 대응한다.
몰입형 비디오 렌더링 디바이스들에 대해, 매핑 표면은 3차원 볼록 표면(예를 들어, 구체, 정육면체, 피라미드(절두형이거나 또는 아님))이다. 매핑 함수는 프레임의 각각의 픽셀을 매핑 표면의 한 지점에 연관시킨다(그리고 반대의 경우도 가능함). 투사 함수는 렌더링 디바이스의 화면에 의존한다. 화면이 3차원 볼록 표면(예를 들어, 동굴들, 지형들)이면, 투사는 매핑 표면으로부터 간단하다. 화면이 직사각형이면(예를 들어, HMD, 태블릿들, 스마트폰들), 표면의 일부만이 화면의 크기에 따라 그리고 가상 카메라의 파라미터들(매핑 표면에 관한 3차원 위치, 조준 방향 및 시야를 적어도 포함함)에 따라 디스플레이된다. 이러한 몰입형 비디오 렌더링 디바이스들은 가상 카메라 제어기(예를 들어, 관성 측정 유닛, 포지셔닝 시스템, 마우스, 조이스틱)를 갖추고 있다.
비디오 스트림은 비디오가 렌더링될 예정인 렌더링 디바이스의 타입에 따라 준비되고 포맷된다. 레거시 비디오 렌더링 디바이스들은 몰입형 비디오를 적절하게 디스플레이하지 않는데 그 이유는 이들이 3차원 볼록 매핑 표면 상에 그것을 매핑하도록 구성되지 않았기 때문이다. 호혜적으로, 몰입형 비디오 플레이어들은 레거시 비디오들을 적절하게 디스플레이하지 않는다. 레거시 및 몰입형 비디오 렌더링 디바이스들 양자 모두에 의해 적절하게 디스플레이될 수 있는 역방향 호환 가능 몰입형 비디오 스트림에 대한 포맷이 부족하다.
본 개시 내용의 목적은 레거시 및 몰입형 비디오 렌더링 디바이스들 양자 모두에 의해 적절하게 디스플레이될 수 있는 역방향 호환 가능 몰입형 비디오 스트림에 대한 포맷의 부족을 극복하는 것이다. 본 개시 내용은 몰입형 비디오로부터 스트림을 생성하는 방법에 관련되고, 이러한 방법은,
적어도 하나의 제1 비디오를 생성하는 단계- 각각의 제1 비디오는 몰입형 비디오의 일부를 나타냄 -;
상기 적어도 하나의 부분이 제거된 몰입형 비디오로부터 제2 비디오를 생성하는 단계;
적어도 하나의 제1 비디오에 관한 제1 신택스 엘리먼트 및 상기 제2 비디오에 관한 제2 신택스 엘리먼트를 함께 조합하는 것에 의해 스트림을 생성하는 단계를 포함한다.
특정 특징에 따르면, 제3 신택스 엘리먼트가 상기 스트림에 추가되고, 상기 제3 신택스 엘리먼트는 상기 적어도 하나의 부분의 설명을 나타내는 정보 데이터에 관한 것이다. 구체적인 특징에 따르면, 상기 정보 데이터는 시간에 따라 변한다.
본 개시 내용은 몰입형 비디오로부터 스트림을 생성하도록 구성되는 디바이스에 또한 관련되고, 이러한 디바이스는,
적어도 하나의 제1 비디오를 생성하는 비디오 생성기- 각각의 제1 비디오는 몰입형 비디오의 일부를 나타냄 -;
상기 적어도 하나의 부분이 제거된 몰입형 비디오로부터 제2 비디오를 생성하는 비디오 생성기;
적어도 하나의 제1 비디오에 관한 제1 신택스 엘리먼트 및 상기 제2 비디오에 관한 제2 신택스 엘리먼트를 함께 조합하는 것에 의해 스트림을 생성하는 스트림 생성기를 포함한다.
본 개시 내용은 몰입형 비디오로부터 스트림을 생성하도록 구성되는 디바이스에 또한 관련되고, 이러한 디바이스는 적어도 하나의 프로세서를 포함하고, 이는,
적어도 하나의 제1 비디오를 생성하도록- 각각의 제1 비디오는 몰입형 비디오의 일부를 나타냄 -;
상기 적어도 하나의 부분이 제거된 몰입형 비디오로부터 제2 비디오를 생성하도록;
적어도 하나의 제1 비디오에 관한 제1 신택스 엘리먼트 및 상기 제2 비디오에 관한 제2 신택스 엘리먼트를 함께 조합하는 것에 의해 스트림을 생성하도록 구성된다.
본 개시 내용은 몰입형 비디오를 나타내는 데이터를 운반하는 스트림에 또한 관련되고, 이러한 데이터는,
적어도 하나의 제1 비디오에 관한 제1 신택스 엘리먼트- 상기 적어도 하나의 제1 비디오 각각은 몰입형 비디오의 일부를 나타냄 -;
상기 적어도 하나의 부분이 제거된 몰입형 비디오로부터 생성되는 제2 비디오에 관한 제2 신택스 엘리먼트를 포함한다.
구체적인 특징에 따르면, 상기 적어도 하나의 부분의 설명을 나타내는 정보 데이터에 관한 제3 신택스 엘리먼트가 스트림에 추가된다. 유리하게는 상기 정보 데이터가 시간에 따라 변한다.
본 개시 내용은 몰입형 비디오를 나타내는 데이터를 운반하는 스트림으로부터 렌더링 디바이스에 대한 비디오를 작성하는 방법에 또한 관련되고, 이러한 방법은,
디바이스가 레거시 비디오 렌더링 디바이스일 때,
적어도 하나의 제1 비디오에 관한 스트림의 제1 신택스 엘리먼트로부터 비디오를 획득하는 단계- 상기 적어도 하나의 제1 비디오 각각은 몰입형 비디오의 일부를 나타냄 -;
디바이스가 몰입형 비디오 렌더링 디바이스일 때,
스트림의 제1 신택스 엘리먼트로부터 적어도 하나의 제1 비디오를 획득하는 단계- 상기 적어도 하나의 제1 비디오는 몰입형 비디오의 일부를 나타냄 -;
스트림의 제2 신택스 엘리먼트로부터 제2 비디오를 획득하는 단계- 상기 제2 비디오는 각각의 상기 적어도 하나의 부분이 제거된 몰입형 비디오를 나타냄 -;
상기 적어도 하나의 제1 비디오 각각을 제2 비디오 상에 오버레이하는 것에 의해 비디오를 작성하는 단계를 포함한다.
특정 특징에 따르면, 상기 스트림은 상기 적어도 하나의 부분의 설명을 나타내는 정보 데이터에 관한 제3 신택스 엘리먼트를 추가로 포함한다. 디바이스가 몰입형 비디오 렌더링 디바이스일 때, 비디오의 작성은 제2 비디오 상에 오버레이하기 위해 상기 제1 비디오와 연관된 부분의 설명에 따라 각각의 제1 비디오를 스케일링 및 변환하는 단계를 포함한다.
본 개시 내용은 렌더링 디바이스에 대한 몰입형 비디오를 나타내는 데이터를 운반하는 스트림으로부터 비디오를 작성하도록 구성되는 디바이스에 또한 관련되고, 이러한 디바이스는,
디바이스가 레거시 비디오 렌더링 디바이스일 때,
적어도 하나의 제1 비디오에 관한 스트림의 제1 신택스 엘리먼트로부터 비디오를 획득하는 수단- 상기 적어도 하나의 제1 비디오 각각은 몰입형 비디오의 일부를 나타냄 -;
디바이스가 몰입형 비디오 렌더링 디바이스일 때,
스트림의 제1 신택스 엘리먼트로부터 적어도 하나의 제1 비디오를 획득하는 수단- 상기 적어도 하나의 제1 비디오는 몰입형 비디오의 일부를 나타냄 -;
스트림의 제2 신택스 엘리먼트로부터 제2 비디오를 획득하는 수단- 상기 제2 비디오는 각각의 상기 적어도 하나의 부분이 제거된 몰입형 비디오를 나타냄 -;
상기 적어도 하나의 제1 비디오 각각을 상기 제2 비디오 상에 오버레이하는 것에 의해 상기 비디오를 작성하는 수단을 포함한다.
다음의 설명을 읽으면, 본 개시 내용이 더 잘 이해될 것이고, 다른 구체적인 특징들 및 장점들이 드러날 것이고, 이러한 설명은 첨부 도면들을 참조한다.
도 1은, 본 원리들의 구체적인 실시예에 따른, 2차원 매핑 표면 상에 매핑되는, 레거시 비디오의 렌더링의 예를 도시한다.
도 2는, 본 원리들의 구체적인 실시예에 따른, 구체형 매핑 표면- 이러한 매핑 표면은 도 1의 2차원 매핑 표면과 대조적으로 3차원에 있음 -에 대해 준비되는 몰입형 비디오의 렌더링의 예를 도시한다.
도 3은, 본 원리들의 구체적인 실시예에 따른, 도 2에서와 같은, 몰입형 비디오- 이러한 몰입형 비디오는, 도 3에서, 정육면체형 매핑 표면에 대해 준비됨 -의 렌더링의 예를 도시한다.
도 4는, 본 원리들의 구체적인 실시예에 따른, 도 2에서와 같은 구체형 매핑 표면에 대해 준비되는 몰입형 비디오로부터 레거시 비디오를 캡처하는 예를 도시한다.
도 5는, 본 원리들의 구체적인 실시예에 따른, 도 3과 같은 정육면체형 매핑 표면에 대해 준비되는 몰입형 비디오로부터 레거시 비디오를 캡처하는 예를 도시한다.
도 6은, 본 원리들의 구체적인 실시예에 따른, 도 2의 몰입형 비디오로부터 캡처되는 2개의 레거시 비디오들의 예 및 상기 2개의 레거시 비디오들에 대해 사용되는 2개의 부분들이 제거된 이러한 몰입형 비디오의 예를 도시한다.
도 7은, 본 원리들의 구체적인 실시예에 따른, 도 8 또는 9와 관련하여 설명되는 방법들을 구현하도록 구성되는 장치의 하드웨어 실시예를 도시한다.
도 8은 비-제한적인 유리한 실시예에 따른 디바이스와 같은 처리 디바이스에서 구현되는 도 6 및 도 10의 역방향 호환 가능 몰입형 비디오 스트림을 생성하는 방법의 실시예를 도해적으로 도시한다.
도 9는 비-제한적인 유리한 실시예에 따른 디바이스(70)와 같은 처리 디바이스에서 구현되는 역방향 호환 가능 몰입형 비디오 스트림으로부터 비디오를 작성하는 방법의 실시예를 도해적으로 도시한다.
도 10은, 본 원리들의 구체적인 실시예에 따른, 도 6의 역방향 호환 가능 몰입형 비디오 스트림의 예시적인 구조를 도시한다.
도 1은, 본 원리들의 구체적인 실시예에 따른, 2차원 매핑 표면 상에 매핑되는, 레거시 비디오의 렌더링의 예를 도시한다.
도 2는, 본 원리들의 구체적인 실시예에 따른, 구체형 매핑 표면- 이러한 매핑 표면은 도 1의 2차원 매핑 표면과 대조적으로 3차원에 있음 -에 대해 준비되는 몰입형 비디오의 렌더링의 예를 도시한다.
도 3은, 본 원리들의 구체적인 실시예에 따른, 도 2에서와 같은, 몰입형 비디오- 이러한 몰입형 비디오는, 도 3에서, 정육면체형 매핑 표면에 대해 준비됨 -의 렌더링의 예를 도시한다.
도 4는, 본 원리들의 구체적인 실시예에 따른, 도 2에서와 같은 구체형 매핑 표면에 대해 준비되는 몰입형 비디오로부터 레거시 비디오를 캡처하는 예를 도시한다.
도 5는, 본 원리들의 구체적인 실시예에 따른, 도 3과 같은 정육면체형 매핑 표면에 대해 준비되는 몰입형 비디오로부터 레거시 비디오를 캡처하는 예를 도시한다.
도 6은, 본 원리들의 구체적인 실시예에 따른, 도 2의 몰입형 비디오로부터 캡처되는 2개의 레거시 비디오들의 예 및 상기 2개의 레거시 비디오들에 대해 사용되는 2개의 부분들이 제거된 이러한 몰입형 비디오의 예를 도시한다.
도 7은, 본 원리들의 구체적인 실시예에 따른, 도 8 또는 9와 관련하여 설명되는 방법들을 구현하도록 구성되는 장치의 하드웨어 실시예를 도시한다.
도 8은 비-제한적인 유리한 실시예에 따른 디바이스와 같은 처리 디바이스에서 구현되는 도 6 및 도 10의 역방향 호환 가능 몰입형 비디오 스트림을 생성하는 방법의 실시예를 도해적으로 도시한다.
도 9는 비-제한적인 유리한 실시예에 따른 디바이스(70)와 같은 처리 디바이스에서 구현되는 역방향 호환 가능 몰입형 비디오 스트림으로부터 비디오를 작성하는 방법의 실시예를 도해적으로 도시한다.
도 10은, 본 원리들의 구체적인 실시예에 따른, 도 6의 역방향 호환 가능 몰입형 비디오 스트림의 예시적인 구조를 도시한다.
주제가 도면을 참조하여 이제 설명되고, 유사한 참조 번호들은 전반적으로 유사한 엘리먼트들을 지칭하는데 사용된다. 다음의 설명에서, 설명의 목적들로, 주제의 철저한 이해를 제공하기 위해 다수의 구체적인 상세 사항들이 제시된다. 주제 실시예들은 이러한 구체적인 상세 사항들 없이 실시될 수 있다는 점이 이해된다.
본 개시 내용의 비-제한적인 실시예에 따르면, 몰입형 비디오를 나타내는 역방향 호환 가능 비디오 스트림을 생성하는 방법 및 디바이스가 설명된다. 이러한 스트림의 포맷이 또한 설명된다. 본 개시 내용의 다른 비-제한적인 실시예에 따르면, 이러한 스트림을 수신할 때 비디오를 렌더링할 수 있는 렌더링 디바이스들 및 스트림의 포맷에 따라 렌더링될 비디오를 작성하기 위해 디바이스가 사용하는 방법이 제시된다.
본 개시 내용은 몰입형 비디오의 적어도 하나의 부분을 캡처하는 것을 제안한다. 이러한 적어도 하나의 부분은 스트림에 2회 포함되지 않도록 몰입형 비디오로부터 제거된다. 이러한 적어도 하나의 부분은 레거시 비디오 렌더링 디바이스에 의해 렌더링되도록 적응되는 레거시 비디오를 구성하도록 추가로 준비된다. 한편으로는 상기 적어도 하나의 파트가 없는 몰입형 비디오가, 그리고 다른 한편으로는 적어도 하나의 준비되는 레거시 비디오가 함께 스트림에 패키징된다. 렌더링 디바이스 측 상에서, 디바이스가 레거시 비디오 렌더링 디바이스 일 때는, 적어도 하나의 준비되는 레거시 비디오 중 하나가 패키징되지 않고 렌더링될 비디오로서 사용되며; 디바이스가 몰입형 비디오 렌더링 디바이스일 때는, 모든 패키징된 비디오가 사용된다. 몰입형 비디오는 패키징되지 않고 적어도 하나의 준비되는 레거시 비디오 각각은 잘라내어진 부분 상에 다시 매핑된다.
도 1은 레거시 비디오의 렌더링의 예를 도시한다. 이미지들의 시퀀스는 평평한 직사각형 매핑 표면(11) 상에 매핑될 예정인 직사각형 프레임(10) 상에 인코딩된다. 매핑 함수(12)는 간단하고 프레임(10) 및 매핑 표면(11)은 동등하다. 화면(13)은 매핑 표면(11)과 동일한 해상도 및/또는 선명도를 갖지 않을 수 있다. 결과적으로, 투사 함수(14)는 매핑 표면(11)의 측에서 블랙 바들을 리스케일(rescale) 및/또는 크롭(crop) 또는 디스플레이할 수 있다. 도 1에서, 프레임(10)과 매핑 표면(11)은 4:3의 종횡비를 갖는 반면 화면은 16:9의 종횡비를 갖는다. 이러한 예에서, 투사 함수(14)는 이미지의 중간에서 크로핑을 행하여 화면(13)에 맞는 비디오를 생성한다. 변형에서, 투사 함수(14)는 매핑 표면(11)의 좌측 및 우측에 블랙 바들을 추가하여 화면(13)에 맞는 비디오를 획득한다. 다른 실시예에서, 도 1의 비디오는 입체적이다. 이러한 변형에서, 프레임(10)은 2개의 별개의 매핑 표면들(11) 상에 매핑되는 2개의 별개의 이미지들을 포함한다. 이러한 매핑 표면들은 화면의 타입에 따라 조합되어 입체 효과를 렌더링한다.
도 2는 구체형 매핑 표면에 대해 준비되는 몰입형 비디오의 렌더링의 예를 도시한다. 이미지들의 시퀀스는 구체형 매핑 표면(21) 상에 매핑될 예정인 직사각형 프레임(20) 상에 인코딩된다. 매핑 함수(22)는 프레임(20)의 각각의 픽셀과 매핑 표면(21) 상의 지점 사이의 매핑을 수립한다(그리고 반대의 경우도 가능함). 도 2에서, 매핑 함수(22)는 정방형 투사(등거리 원통형 투사라고도 함)에 기초한다. 프레임(20) 상의 이미지는 왜곡된다. 거리들은 적도에서 준수되고 극들에서 늘어난다. 직선들은 더 이상 곧지 않고 원근이 왜곡된다. 변형들에서, 매핑 함수(22)는 예를 들어 등거리 원뿔형 투사에 기초한다. HMD(head-mounted display devices) 또는 태블릿들 또는 스마트폰들에 대해서와 같이, 화면(23)이 직사각형이면, 매핑 표면(21)의 일부가 선택된다. 투사 함수(24)는 구체의 중심에 위치되는 카메라에 의해 보여지는 바와 같이 매핑 표면(21)의 일부를 선택하는 것으로 구성되고, 카메라는 시야 및 해상도의 관점에서 화면(23)에 바로 맞는 이미지를 생성하도록 구성된다. 선택된 시야는 디스플레이 디바이스의 특징들에 의존한다. HMD에 대해, 유리하게도, 시야각은 인간의 입체 시야에 가깝고, 이는 약 120도이다. 카메라의 조준 방향은 사용자가 보고 있는 방향에 대응하며, 몰입형 비디오 렌더링 디바이스의 가상 카메라 제어기는 카메라의 조준 방향을 수정하는데 사용된다. 변형에서, 도 2의 비디오는 입체적이다. 이러한 변형에서, 프레임(20)은 2개의 별개의 매핑 표면들(21) 상에 매핑되는 2개의 별개의 이미지들을 포함한다. 이러한 매핑 표면들은 화면의 타입에 따라 조합되어 입체 효과를 렌더링한다.
볼록 매핑 표면의 중심에 배치되는 카메라로 비디오를 취득하는 것은 이러한 볼록 매핑 표면의 중심에서의 시점으로부터 캡처되는 비디오를 생성한다. 도 2에서, 구체는 볼록 매핑 표면이고 가상 카메라는 비디오가 캡처되는 이러한 볼록 매핑 표면의 중심에서의 시점을 구성한다.
도 3은 정육면체형 매핑 표면에 대해 준비되는 몰입형 비디오의 렌더링의 예를 도시한다. 이미지들의 시퀀스는 정육면체형 매핑 표면(31) 상에 매핑될 예정인 직사각형(또는 정사각형) 프레임(30) 상에 인코딩된다. 매핑 함수(32)는 프레임(30)에서의 정사각형들과 정육면체(31)의 면들 사이의 대응을 수립한다. 반대로, 매핑 함수는 정육면체(31)의 면들이 프레임(30)의 표면 내에서 어떻게 조직화되는지 결정한다. 각각의 면 상의 이미지들은 왜곡되지 않는다. 그러나, 프레임(30)의 전체 이미지에서, 선들은 구분적으로 곧고 원근은 파괴된다. 이미지는 빈 정사각형들(디폴트 또는 랜덤 컬러 정보, 도 3의 예에서는 흰색으로 채워짐)을 포함할 수 있다. 투사 함수는 도 2의 투사 함수로서 작용한다. 카메라는 정육면체(31)의 중심에 배치되고 렌더링 디바이스의 화면에 맞는 이미지를 캡처한다.
변형들에서, 다른 매핑 표면들 및/또는 매핑 함수들이 사용되어, 비디오 프레임을 예를 들어 원통 상에 또는 피라미드 상에 매핑한다.
도 2 및 도 3에 도시되는 몰입형 비디오들의 프레임들(20 및 30)은 도 1의 평평한 직사각형 매핑 표면(12) 상에 매핑될 예정이 아니다. 몰입형 비디오가 레거시 비디오 렌더링 디바이스에 전달될 때, 화면 상의 이미지가 왜곡되거나 구분적으로 디스플레이되고 인간의 시야보다 큰 시각적 콘텐츠에 대응한다. 호혜적으로, 레거시 비디오가 몰입형 비디오 렌더링 디바이스에 전달될 때, 매핑 함수가 왜곡된 이미지를 생성한다.
또한, 레거시 비디오들의 영상 문법은 몰입형 비디오들의 영상 문법과 상이하다. 예를 들어, 시나리오가 2명의 등장인물들 사이의 대화를 포함하면, 몰입형 비디오는 긴 정지 시퀀스 샷을 디스플레이할 수 있다: 시청자는 그의/그녀의 머리를 등장인물과 상대방을 향해 교대로 돌려 일부 역동성을 생성한다. 레거시 비디오는 오히려 등장인물들 중 한 명과 상대방 상의 타이트 샷들 및 와이드 샷들을 교대로 하여 시청자가 화면 앞에서 수동적인 것처럼 장면에서 일부 역동성을 도입한다. 이러한 영화 편집은 그러나 몰입형 비디오에 대해 권장되지 않는데 그 이유는 빈번한 컷들이 시청자가 그의/그녀의 자세들을 느슨하게 하고 심지어는 그를/그녀를 아프게도 할 수 있기 때문이다. 레거시 비디오는 줌 효과를 포함될 수 있는 한편 몰입형 비디오들에서의 줌 효과들은 불쾌한 전염 효과를 유도한다(즉, 사이드 뷰의 왜곡이 있는 자체-움직임의 환상).
본 원리들은 몰입형 비디오가 준비되는 매핑 표면의 중심에 가상 카메라를 배치하는 것에 의해 몰입형 비디오로부터 레거시 비디오를 캡처하는 것을 제안한다. 이러한 카메라에 대한 파라미터들을 설명하는 카메라 제어 데이터가 획득된다. 이러한 데이터는 조준 방향, 절두체의 배향 및 크기(수평 및 수직 시야 또는 시각)를 적어도 포함한다. 카메라 제어 데이터는 몰입형 비디오로부터 레거시 비디오를 캡처하는 가상 카메라를 제어하는데 사용된다. 이러한 데이터는 영화 감독에 의한 수동 편집에 의해 획득된다. 다른 실시예에서, 카메라 제어 데이터는 몰입형 비디오에서 관심의 영역의 검출의 알고리즘들에 의해 자동으로 편집된다. 이러한 알고리즘들은 예를 들어 비디오의 이미지들에서의 돌출성의 분석에 기초하거나, 또는, 다른 예를 들어, HMD로 몰입형 비디오를 볼 때 시청자들의 머리 움직임들에 관한 통계에 기초할 수 있다.
도 3에서, 정육면체는 볼록 매핑 표면이고 가상 카메라는 비디오가 캡처되는 이러한 볼록 매핑 표면의 중심에서의 시점을 구성한다.
도 4는 구체형 매핑 표면에 대해 준비되는 몰입형 비디오로부터 레거시 비디오를 캡처하는 예를 도시한다. 가상 카메라는 (도 2에 도시되는 바와 같이) 구체형 매핑 표면(21)의 중심(40)에 배치된다. 카메라 제어 데이터는 카메라를 조준 방향(41)을 향하여 지향시키고 카메라의 기준의 프레임을 배향(42a)까지 틸트시키는데 사용된다. 카메라 절두체와 구체형 매핑 표면의 교차에 의해 정의되는 몰입형 비디오의 부분(23a)은 평평하지도 않고(즉, 구체의 일부임), 또는 직사각형도 아니다(즉, 이러한 부분의 에지들은 만곡됨). 레거시 비디오로서 인코딩되기 위해, 이러한 부분(23a)의 시각적 콘텐츠는 왜곡 없이 평평한 직사각형 매핑 표면 상에 매핑 가능하도록 정류된다. 카메라 제어 데이터로부터 획득되는, 카메라의 수평 및 수직 시각은 카메라 절두체의 크기 및, 결과적으로, 부분(23a)의 크기를 결정한다. 시각 파라미터에 대한 값들은 레거시 카메라들에 대한 일반적인 값들을 따라야 한다. 와이드 샷들은 수평 시각이 약 60도로 획득된다. 60도가 넘으면, 광각 왜곡 효과들이 나타난다. 더 좁은 각도들은 줌 인에 대응한다. 작은 값에 대해, 카메라가 자신의 최대 해상도로 몰입형 비디오를 캡처함에 따라 해상도 쟁점들이 발생할 수 있다. 결과적으로, 카메라 제어 데이터의 편집은 신중히 행해져야 한다.
카메라 제어 데이터는 시간에 따라 다를 수 있다. 파라미터의 값에서의 갑작스런 변경은 레거시 비디오의 편집에서의 컷에 대응한다. 연속적인 변동은 카메라 효과에 대응한다. 예를 들어, 몰입형 비디오의 배경이 동일한 속도로 동일한 방향을 향해 회전하지 않으면 카메라의 조준 방향에서의 연속적 변동은 패닝에 대응할 수 있다. 레거시 카메라의 조준 방향에서의 이러한 연속적 변동은 몰입형 비디오에서의 패닝을 보상하고, 따라서, 정지 샷을 캡처하는데 또한 사용될 수 있다. 다른 카메라 제어 데이터는 시간에 따라 다를 수 있다. 도 4에 도시되는 바와 같이, 시각은 감소되어 부분(23a)을 부분(23b)으로 리사이즈할 수 있다. 이러한 효과는 줌 인에 대응할 수 있다. 절두체의 배향은 방향(42a)로부터 방향(42b)으로 또한 변할 수 있고, 예를 들어 카메라 틸트를 좌측으로 동작시킨다.
도 5는 정육면체형 매핑 표면에 대해 준비되는 몰입형 비디오로부터 레거시 비디오를 캡처하는 예를 도시한다. 카메라는 (도 3에 도시되는 바와 같이) 정육면체(32)의 중심(50)에 배치되고, 카메라 제어 데이터에 따라 이러한 시점으로부터 레거시 비디오를 캡처한다. 캡처되는 레거시 비디오는 매핑 표면의 일부이고, 정육면체의 면보다 더 작거나 또는 더 클 수 있고 및/또는 정육면체의 여러 면들 상에 분포될 수 있다. 변형에서, 도 5에 도시되는 바와 같이, 정육면체는 레거시 비디오의 프레임(53a)을 정육면체의 면에 맞추기 위해 조준 방향 파라미터(51a)에 따라 재배향되고 절두체 크기 파라미터에 따라 리사이즈된다. 배향 파라미터는 정육면체의 틸팅을 제어한다. 프레임(53a)이 직사각형이면, 매핑 표면은 평행 육면체로 적응된다. 이러한 동작은 해상도 관리를 조건으로 하고 그 이유는 면들의 리사이징이 매핑 표면의 면적 및 매핑 함수를 그리고, 결과적으로, 프레임에 인코딩되는 이미지들의 해상도를 수정하기 때문이다.
카메라 제어 데이터는 시간에 따라 갑자기 또는 연속적인 방식으로 변할 수 있다. 도 5는 조준 방향이 값(51a)으로부터 값(51b)로 변하고 절두체 크기가 값(53a)로부터 값(53b)으로 진행하는 예를 도시한다. 이러한 예에서, 매핑 표면의 배면은 조준 방향(53b)에 수직이 되도록 재배향된다. 절두체의 크기의 감소(줌 인 효과에 대응)는 전면의 크기를 그리고 결과적으로 측면들의 형상을 수정한다. 매핑 표면(54)은 매핑 함수(즉, 픽셀들이 몰입형 비디오의 프레임에서 조직화되는 방식)의 수정에 이르는 절두형 피라미드가 된다.
매핑 표면의 이러한 변환의 이점은 몰입형 비디오로부터 레거시 비디오에 대해 캡처되는 부분의 제거를 용이하게 하는 것이다. 이러한 기술은 컬러 정보를 인코딩하기 위해 몰입형 비디오 프레임에서 필요한 영역을 최소화하는 것을 허용한다. 다른 이점은 레거시 비디오에 대해 사용되는 매핑 표면의 면이 이미 평평하고 직사각형이라는 점이다(즉, 구분적 부분들의 작성이 요구되지 않음).
도 6은 몰입형 비디오(60)로부터 캡처되는 2개의 레거시 비디오들(61 및 63)의 예 및 상기 2개의 레거시 비디오들에 대해 사용되는 2개의 부분들이 제거된 이러한 몰입형 비디오의 예를 도시한다. 도 6의 예에서, 몰입형 비디오는 도 2에 도시되는 바와 같이 구체형 매핑 표면에 대해 준비된다. 제1 레거시 비디오(61)(제1 비디오라고도 함)는 매핑 구체의 중심에 배치되고 몰입형 비디오(60)의 부분(62)의 방향으로 조준하는 카메라에 의해 캡처된다. 캡처되는 부분(62)은 레거시 비디오(61)를 구성하기 위해 정류되고 몰입형 비디오(60)로부터 제거된다. 도 6의 예에서, 이러한 제거는 그 부분의 영역을 디폴트 컬러로 채우는 형태를 취한다. 이것은 프레임(60)의 압축된 버전을 밝게 하는 이점이 있다.
몰입형 비디오로부터 일부를 제거하는 것은 몰입형 비디오가 준비되는 매핑 표면에 따라 상이한 형태들을 취할 수 있다. 예를 들어, 평행 육면체 매핑 표면에 대해 몰입형 비디오들이 준비되면, 이러한 제거는 몰입형 비디오의 프레임의 영역을 최적화(즉, 가능한 많이 감소)시키기 위해 매핑 함수의 수정의 형태를 취할 수 있다. 도 5에 도시되는 바와 같이, 매핑 표면의 형상은 수정될 수 있다. 결과적으로, 매핑 함수가 변경되고 프레임의 크기는 새로운 매핑 함수에 대응하도록 적응된다.
하나의 몰입형 비디오로부터 상이한 카메라 제어 데이터로 여러 레거시 비디오들(즉, 제1 비디오들)을 캡처할 수 있다. 도 6에서, 제2 레거시 비디오(63)는 구체의 중심에 배치되고 상이한 카메라 제어 데이터에 의해 지향되는 레거시 카메라로부터 캡처된다. 캡처된 부분(64)은 레거시 비디오(63)를 구성하기 위해 정류되고 몰입형 비디오(60)로부터 제거된다. 구체형 매핑 표면에 의하면, 프레임 상에 캡처되는 부분의 투사는 직사각형이 아니다.
도 7은 도 8 또는 도 9와 관련하여 설명되는 방법들을 구현하도록 구성되는 장치(70)의 하드웨어 실시예를 도시한다. 이러한 예에서, 디바이스(70)는 클록 신호를 또한 전송하는 데이터 및 어드레스들의 버스(71)에 의해 서로 접속되는 다음의 엘리먼트들을 포함한다:
예를 들어, DSP(또는 Digital Signal Processor)인 마이크로프로세서(72)(또는 CPU);
ROM(Read Only Memory) 타입의 비휘발성 메모리(73);
Random Access Memory 또는 RAM(74);
애플리케이션으로부터의, 송신할 데이터의 수신을 위한 I/O 인터페이스(75); 및
랜덤 액세스 메모리의 레지스터들을 내장할 수 있는 그래픽 카드(76);
전원(77).
예에 따르면, 전원(77)은 디바이스 외부에 있다. 언급된 메모리 각각에서, 명세서에서 사용되는 "레지스터(register)"라는 단어는 작은 용량(몇몇 비트들)의 영역에 또는 매우 큰 영역(예를 들어, 전체 프로그램 또는 대량의 수신된 또는 디코딩된 데이터)에 대응할 수 있다. ROM(73)은 프로그램 및 파라미터들을 적어도 포함한다. ROM(73)은 본 원리들에 따른 기술들을 수행하는 알고리즘들 및 명령어들을 저장할 수 있다. 스위치 온 될 때, CPU(72)는 프로그램을 RAM에 업로드하고 대응하는 명령어들을 실행한다.
RAM(74)은, 레지스터 내에, 디바이스(70)의 스위치 온 이후 CPU(72)에 의해 실행되고 업로드되는 프로그램, 레지스터에서의 입력 데이터, 레지스터에서의 방법의 상이한 상태들에서의 중간 데이터, 및 레지스터에서의 방법의 실행에 대해 사용되는 다른 변수들을 포함한다.
본 명세서에서 설명되는 구현들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수 있다. 단일 형태의 구현의 정황에서만 논의되지만(예를 들어, 방법 또는 디바이스로서만 논의됨), 논의되는 특징들의 구현은 다른 형태들(예를 들어, 프로그램)로 또한 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 이러한 방법들은, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그램 가능 로직 디바이스를 포함하는, 일반적으로 처리 디바이스들을 지칭하는, 예를 들어, 프로세서와 같은, 장치에서, 예를 들어, 구현될 수 있다. 프로세서들은, 예를 들어, 컴퓨터들, 셀 폰들, PDA들(portable/personal digital assistants), 셋톱 박스들, 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은, 통신 디바이스들을 또한 포함한다.
도 8에 도시되는 바와 같이 역방향 호환 가능 몰입형 비디오 스트림을 생성하는 예에 따르면, 몰입형 비디오 및 카메라 제어 데이터는 소스로부터 획득된다. 예를 들어, 소스는 다음을 포함하는 세트에 속한다:
로컬 메모리(73, 74 또는 76), 예를 들어, 비디오 메모리 또는 RAM(또는 Random Access Memory), 플래시 메모리, ROM(또는 Read Only Memory), 하드 디스크;
스토리지 인터페이스(75), 예를 들어, 대용량 스토리지, RAM, 플래시 메모리, ROM, 광 디스크 또는 자기 서포트와의 인터페이스; 및
통신 인터페이스(75), 예를 들어, 유선 인터페이스(예를 들어 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 무선 인터페이스(예를 들어 IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스).
하나의 특정 실시예에 따르면, 역방향 호환 가능 몰입형 비디오 스트림을 생성하는 방법의 단계들을 구현하고 도 9에서 이후 설명되는 알고리즘들은 이러한 단계들을 구현하는 디바이스(70)와 연관된 그래픽 카드(76)의 메모리(GRAM)에 저장된다. 변형에 따르면, RAM(74)의 부분은 이러한 알고리즘들의 저장을 위해 CPU(72)에 의해 할당된다. 이러한 단계들은 로컬 메모리, 예를 들어, 비디오 메모리(74), RAM(74), ROM(73), 플래시 메모리(73) 또는 하드 디스크(73), 스토리지 인터페이스(75), 예를 들어, 대용량 스토리지, RAM, ROM, 플래시 메모리, 광 디스크 또는 자기 서포트와의 인터페이스를 포함하는 세트에 속하는 목적지에 전송되고/되거나 통신 인터페이스(75), 예를 들어, 지점 대 지점 링크, 버스, 지점 대 다지점 링크 또는 방송 네트워크에 대한 인터페이스로부터 수신되는 비디오 스트림의 생성에 이른다.
예들에 따르면, 도 8과 관련하여 설명되는 역방향 호환 가능 몰입형 비디오 스트림을 생성하는 방법을 구현하도록 구성되는 디바이스(70)는 다음을 포함하는 세트에 속한다:
모바일 디바이스;
통신 디바이스;
게임 디바이스;
태블릿(또는 태블릿 컴퓨터);
랩톱;
인코딩 칩;
정지 화상 서버; 및
비디오 서버(예를 들어, 방송 서버, 주문형 비디오 서버 또는 웹 서버).
역방향 호환 가능 몰입형 비디오 스트림으로부터 비디오를 작성하는 예에 따르면, 역방향 호환 가능 몰입형 비디오를 나타내는 스트림이 소스로부터 획득된다. 예시적으로, 이러한 스트림은 로컬 메모리, 예를 들어, 비디오 메모리(74), RAM(74), ROM(73), 플래시 메모리(73) 또는 하드 디스크(73)로부터 판독된다. 변형에서, 이러한 스트림은 스토리지 인터페이스(75), 예를 들어, 대용량 스토리지, RAM, ROM, 플래시 메모리, 광 디스크 또는 자기 서포트와의 인터페이스로부터 수신되고/되거나, 통신 인터페이스(75), 예를 들어, 지점 대 지점 링크, 버스, 지점 대 다지점 링크 또는 방송 네트워크에 대한 인터페이스로부터 수신된다.
하나의 특정 실시예에 따르면, 렌더링 디바이스에 대한 역방향 호환 가능 몰입형 비디오 스트림으로부터 비디오를 작성하는 방법의 단계들을 구현하고 도 9에서 이후 설명되는 알고리즘들은 이러한 단계들을 구현하는 디바이스(70)와 연관된 그래픽 카드(76)의 메모리(GRAM)에 저장된다. 변형에 따르면, RAM(74)의 부분은 이러한 알고리즘들의 저장을 위해 CPU(72)에 의해 할당된다. 이러한 단계들은 다음을 포함하는 세트에 속하는 목적지에 전송되는 비디오의 작성에 이른다:
모바일 디바이스;
통신 디바이스;
게임 디바이스;
셋-톱-박스;
TV 세트;
태블릿(또는 태블릿 컴퓨터);
랩톱;
디스플레이 및
디코딩 칩.
도 8은 비-제한적인 유리한 실시예에 따른 디바이스(70)와 같은 처리 디바이스에서 구현되는 역방향 호환 가능 몰입형 비디오 스트림을 생성하는 방법(80)의 실시예를 도해적으로 도시한다.
초기화 단계 81에서, 디바이스(70)는 소스로부터 몰입형 비디오를 획득한다. 본 문헌에서 소스로부터 정보를 획득하는 단계는 전자 디바이스의 메모리 유닛에서 이러한 정보를 판독하는 단계로서 또는 통신 수단을 통해(예를 들어, 유선 또는 무선 접속을 통해 또는 접촉 접속에 의해) 다른 전자 디바이스로부터 이러한 정보를 수신하는 단계로서 간주될 수 있다는 점이 주목되어야 한다. 디바이스(70)는 소스로부터 카메라 제어 데이터를 로드한다. 이러한 데이터의 소스는 몰입형 비디오의 소스와 동일할 수 있다. 변형에서, 이러한 2개의 소스들은 상이하다. 예를 들어, 몰입형 비디오가 비디오 서버로부터 획득되는 동안 카메라 제어 데이터가 디바이스(70)의 메모리 상에 저장될 수 있다(또는 심지어 이러한 방법을 구현하는 프로그램에 기입됨).
단계들 82 및 83은 병렬로 실행된다. 변형에서, 단계 82는 단계 83 이전에 실행된다. 다른 변형에서, 단계 83은 단계 82 이전에 실행된다. 단계 82에서, 몰입형 비디오는 그것이 준비되는 매핑 표면 상에 매핑된다. 가상 카메라는 매핑 표면의 중심에 배치된다. 카메라는 각각의 제1 레거시 비디오의 시각적 콘텐츠를 구성하는 몰입형 비디오의 부분을 결정하는 카메라 제어 데이터에 따라 지향된다. 제1 레거시 비디오들 각각에 대해, 캡처되는 부분은 레거시 비디오로서 인코딩되고 비디오 스트림으로서 준비된다. 변형에 따르면, 단계 82는 가상 카메라를 사용하지 않고 소스로부터 획득되는 몰입형 비디오 프레임의 일부를 잘라내고, 필요하다면 시각적 콘텐츠를 정류하고 계산된 프레임을 레거시 비디오로서 인코딩한다. 단계 83에서, 소스로부터 획득되는 몰입형 비디오로부터 제1 레거시 비디오들에 대해 캡처되는 부분들을 제거하는 것에 의해 제2 몰입형 비디오 프레임이 준비된다. 도 4 내지 도 6에 도시되는 바와 같이, 몰입형 비디오로부터 일부를 제거하는 것은 몰입형 비디오의 매핑 표면의 형상이 준비된 것에 따라 상이한 형태들을 취할 수 있다. 단계 83은 카메라 제어 데이터를 사용하여 제거할 부분들의 형상들을 결정한다. 단계 82에 대해서는, 이러한 단계 83을 몰입형 비디오의 프레임 상에서 직접 처리하거나 또는 매핑 표면의 중심에 배치되는 가상 카메라를 사용할 수 있고, 몰입형 비디오는 매핑 표면 상에 매핑된다. 다른 실시예에서, 단계들 82 및 83은 원격 디바이스 상에서 실행된다. 제1 및 제2 비디오들은 다른 디바이스에 의해 준비되고 매체 상에 저장되거나 디바이스(70)에 송신된다. 생성 단계들(82 및 83)은 원격 디바이스 상에서 생성되는 비디오들을 획득하는 것으로 구성된다.
제1 레거시 비디오들을 캡처하는데 사용되는 부분들의 설명을 나타내는 정보 데이터를 인코딩하는 선택적인 단계 84가 단계들 82 및 83과 병렬로 실행된다. 변형에서, 단계들 82, 83 및 84는 임의의 순서로 순차적으로 실행된다. 변형에서, 단계 84는 실행되지 않고 어떠한 데이터도 인코딩되지 않는다. 이러한 데이터는 단계 83에서 제거되는 몰입형 비디오의 부분들을 설명한다. 단계 83에서 재조직화되는 몰입형 비디오의 매핑 표면에 의존하여, 상기 데이터는 소스로부터 획득되는 몰입형 비디오를 검색하기 위해 제1 레거시 비디오들이 매핑되어야 하는 위치 및 방식에 관한 설명을 인코딩한다. 정보 데이터는 카메라 제어 데이터 및 제1 레거시 비디오들을 캡처할 때 매핑 표면이 준비된 방식에 관련된다.
단계 85에서, 역방향 호환 가능 몰입형 비디오 스트림이 생성된다. 적어도 하나의 제1 레거시 비디오가 제1 신택스 엘리먼트로서 스트림 내에 패키징된다. 제2 몰입형 비디오는 제2 신택스 엘리먼트로서 스트림에 패키징된다. 모든 비디오들은 이미지/비디오 코더, 예를 들어, JPEG, JPEG2000, MPEG2, HEVC 권장("High Efficiency Video Coding", SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.265, Telecommunication Standardization Sector of ITU, April 2013) 또는 H264/AVC 권장("Advanced video coding for generic audiovisual Services", SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.264, Telecommunication Standardization Sector of ITU, February 2014)과 같은 손실이 있는 코더로 인코딩 및 압축된다. 정보 데이터가 단계 84에서 생성되었다면, 이들은 제3 신택스 엘리먼트로서 스트림에 추가된다. 이러한 2개의 또는 3개의 신택스 엘리먼트들은 디코더가 예를 들어 AVI 또는 MPEG4와 같은 각각의 신택스 엘리먼트를 독립적으로 검색하는 것을 허용하는 스트림 컨테이너에 패키징된다.
도 9는 비-제한적인 유리한 실시예에 따른 디바이스(70)와 같은 처리 디바이스에서 구현되는 역방향 호환 가능 몰입형 비디오 스트림으로부터 비디오를 작성하는 방법(90)의 실시예를 도해적으로 도시한다.
초기화 단계 91에서, 디바이스(70)는 소스로부터 역방향 호환 가능 몰입형 비디오 스트림을 획득한다. 본 문헌에서 소스로부터 정보를 획득하는 단계는 전자 디바이스의 메모리 유닛에서 이러한 정보를 판독하는 단계로서 또는 통신 수단을 통해(예를 들어, 유선 또는 무선 접속을 통해 또는 접촉 접속에 의해) 다른 전자 디바이스로부터 이러한 정보를 수신하는 단계로서 간주될 수 있다는 점이 이해된다.
조건 단계 92가 테스트된다. 디바이스(70)가 레거시 비디오 렌더링 디바이스이거나 또는 이에 접속될 때는, 단계 93이 실행된다. 디바이스(70)가 몰입형 비디오 렌더링 디바이스이거나 또는 이에 접속될 때는, 단계 95가 실행된다. 다른 실시예에서, 디바이스(70)는, 일부는 레거시 비디오 렌더링 디바이스들이고, 다른 것들은 몰입형 비디오 렌더링 디바이스들인, 여러 렌더링 디바이스들에 접속된다. 이러한 실시예에서, 단계들 93 및 95 양자 모두가 병렬로 실행되고, 방법의 각각의 브랜치에 의해 작성되는 비디오들은 각각의 렌더링 디바이스들에 전송된다.
단계 93은 스트림으로부터 하나의 레거시 비디오를 추출하는 것으로 구성된다. 역방향 호환 가능 몰입형 비디오 스트림의 상이한 신택스 엘리먼트들은 수신기가 하나의 주어진 신택스 엘리먼트를 독립적으로 추출하는 것을 허용하는 컨테이너에 패키징된다. 컨테이너 포맷은, 예를 들어, AVI 또는 MPEG4이다. 디스플레이할 선호되는 비디오에 관한 어떠한 정보도 스트림의 헤더들에 존재하지 않으면, 디바이스(70)는 제1 신택스 엘리먼트들 중 첫째를 추출하고 있다. 이러한 컨테이너에 의해 조직화되는 스트림을 수신할 때, 정규 레거시 비디오 플레이어들은 가장 처음 신택스 엘리먼트를 렌더링하도록 구성된다. 본 개시 내용에서 설명되는 역방향 호환 가능 몰입형 비디오 스트림의 이점은 정규 레거시 비디오 플레이어들에 의해 직접 판독 가능하다는 것이다. 일단 선택된 비디오를 인코딩하는 신택스 엘리먼트가 추출되면, 단계 94가 실행된다.
단계 94에서는, 스트림으로부터 추출된 레거시 비디오가 디코딩되어 렌더링 디바이스에 전송된다. 이러한 단계는 코덱, 예를 들어 MPEG2, HEVC 또는 H264/AVC 권장을 사용하는, 압축 해제의 단계를 포함할 수 있다. 작성된 레거시 비디오는 디바이스(70)에 접속되는 렌더링 디바이스에 전송된다. 변형에서, 디바이스(70)는 레거시 비디오 렌더링 디바이스이고, 작성된 비디오는 디바이스(70)의 화면 상에 디스플레이된다.
단계 95에서, 스트림의 모든 제1 신택스 엘리먼트들 및 제2 신택스 엘리먼트가 스트림으로부터 추출되어 디코딩된다. 각각의 제1 신택스 엘리먼트는 레거시 비디오를 디코딩하는데 사용된다. 신택스의 제2 엘리먼트는 적어도 하나의 부분이 제거된 몰입형 비디오를 디코딩하는데 사용된다. 신택스의 제3 엘리먼트가 스트림에 존재하면, 단계 96이 병렬로 실행된다. 변형에서, 단계 96은 단계 95 이전에 또는 이후에 실행된다. 단계 96에서, 스트림의 제3 신택스 엘리먼트가 스트림으로부터 추출되고 정보 데이터가 디코딩된다. 이러한 정보 데이터는, 제2 신택스 엘리먼트를 생성하기 위해 몰입형 비디오로부터 제거된 부분들의 형상, 위치 및 크기를 포함하는 설명 엘리먼트들을 나타낸다.
단계 97은 단계 95에서 추출된 비디오들의 프레임들로부터 몰입형 비디오를 작성하는 것으로 구성된다. 스트림의 구조에 어떠한 제3 신택스 엘리먼트도 발견되지 않으면, 정보 데이터는 디폴트로 설정된다. 제1 레거시 비디오들의 각각의 프레임은 정보 데이터에 따라 왜곡되고, 리스케일되고 변환된다. 이러한 동작 이후에, 이러한 수정된 프레임들은 스트림이 생성되었을 때 제거된 몰입형 비디오의 부분들을 채운다. 이러한 수정된 프레임들은 제2 몰입형 비디오 프레임 상에 오버레이된다. 이러한 단계의 결과는 제거된 부분이 없는 몰입형 비디오 프레임이다. 이러한 결과적인 프레임이 몰입형 비디오의 매핑 표면 상에 매핑된다. 변형에서, 오버레이하는 것은 매핑 표면 상에서 행해진다. 다른 실시예에서, 디바이스(70)는 사용자에 의해 시청되는 몰입형 비디오의 부분을 추적할 수 있고, 대응하는 부분들이 사용자의 시야(또는 약간 더 큰 부분)에 속하는 경우에만 몰입형 비디오 상에 제1 레거시 비디오들을 오버레이할 수 있다.
도 10은 역방향 호환 가능 몰입형 비디오 스트림의 예시적인 구조(100)를 도시한다. 이러한 구조는 독립적 신택스 엘리먼트들로 스트림을 조직화하는 컨테이너로 구성된다. 이러한 구조는 스트림의 모든 신택스 엘리먼트들에 공통인 데이터의 세트인 헤더 부분(101)을 포함할 수 있다. 예를 들어, 헤더 부분은 신택스 엘리먼트들 각각의 본질과 역할을 설명하는, 신택스 엘리먼트들에 관한 메타데이터를 포함한다. 예를 들어, 헤더 부분은 레거시 비디오 플레이어들에 의해 추출될 선호되는 제1 레거시 비디오에 관한 정보를 포함할 수 있다. 역방향 호환 가능 몰입형 비디오 스트림은 몰입형 비디오의 일부를 나타내는 비디오인 제1 레거시 비디오에 관한 신택스(102)의 제1 엘리먼트를 포함한다. 이러한 제1 신택스 엘리먼트(102)는 스트림에서 필수적이고, 선호되는 레거시 비디오에 관한 어떠한 정보도 헤더 부분에 존재하지 않을 때, 이러한 제1 신택스 엘리먼트(102)는 디폴트로 선호되는 레거시 비디오로서 고려된다. 추가적인 제1 신택스 엘리먼트들(103)이 도 8에 도시되는 생성 방법에 의해 스트림에서 추가될 수 있다. 이러한 추가적인 제1 신택스 엘리먼트들 각각은 제1 레거시 비디오에 관한 것이고, 이러한 비디오는 몰입형 비디오의 일부를 나타낸다. 선호되는 레거시 비디오는 헤더 부분에서 선호되는 것으로서 지정되면 스트림의 이러한 추가적인 신택스 엘리먼트 중 하나일 수 있다. 신택스의 제2 엘리먼트(104)는 필수적이고 상기 적어도 하나의 부분이 제거된 몰입형 비디오로부터 생성되는 제2 몰입형 비디오에 관한 것이다. 이러한 제2 신택스 엘리먼트(104)는 제2 몰입형 비디오가 준비되는 매핑 표면 및 매핑 함수에 관한 정보를 포함하는 헤더 부분을 갖는다. 변형에서, 제2 신택스 엘리먼트(104)의 헤더 부분은 스트림의 헤더 부분(101)과 함께 수집된다. 다른 실시예에 따르면, 이러한 정보는 시간에 따라 변하고 제2의 몰입형 비디오와 동기화된다. 이러한 정보는 헤더 부분 대신에 제2 신택스 엘리먼트를 따라 포함될 수 있다.
상기 적어도 하나의 부분의 설명을 나타내는 정보 데이터에 관한, 선택적인 제3 신택스 엘리먼트(105)가 스트림의 구조에 포함될 수 있다. 이러한 정보 데이터는, 제2 신택스 엘리먼트를 생성하기 위해 몰입형 비디오로부터 제거된 부분들의 형상, 위치 및 크기를 포함하는 설명 엘리먼트들을 나타낸다. 변형에서, 이러한 정보 데이터는 시간에 따라 변하고 제2 신택스 엘리먼트의 제2 몰입형 비디오와 동기화된다.
물론, 본 개시 내용이 이전에 설명된 실시예들에 제한되는 것은 아니다. 특히, 본 개시 내용이 역방향 호환 가능 몰입형 비디오 스트림을 생성하는 방법 및 렌더링 디바이스에 대해 역방향 호환 가능 몰입형 비디오 스트림으로부터 비디오를 작성하는 방법에 제한되는 것은 아니다. 이러한 스트림을 생성하거나 또는 이러한 스트림으로부터 비디오를 작성하는데 필요한 계산들의 구현이 CPU에서의 구현에 제한되는 것은 아니라 임의의 프로그램 타입, 예를 들어 GPU 타입 마이크로프로세서에 의해 실행될 수 있는 프로그램들에서의 구현으로 또한 확장된다.
본 명세서에서 설명되는 구현들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호에서 구현될 수 있다. 단일 형태의 구현의 정황에서만 논의되었지만(예를 들어, 방법 또는 장치로서만 논의됨), 논의된 특징들의 구현은 다른 형태들(예를 들어, 프로그램)로 또한 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 이러한 방법들은, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그램 가능 로직 디바이스를 포함하는, 일반적으로 처리 디바이스들을 지칭하는, 예를 들어, 프로세서와 같은, 장치에서, 예를 들어, 구현될 수 있다. 프로세서들은 또한, 예를 들어, 스마트폰들, 태블릿들, 컴퓨터들, 모바일 폰들, PDA들(portable/personal digital assistants), 비디오 서버들, 셋-톱-박스들 및 다른 디바이스들과 같은, 통신 디바이스들을 또한 포함한다.
본 명세서에서 설명되는 다양한 프로세스들 및 특징들의 구현들은 다양한 상이한 장비 또는 애플리케이션들, 특히, 예를 들어, 데이터 인코딩, 데이터 디코딩, 뷰 생성, 텍스처 처리, 및 이미지들 및 관련된 텍스처 정보 및/또는 심도 정보의 다른 처리와 연관된 장비 또는 애플리케이션들에서 구현될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트-프로세서, 인코더에 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 웹 서버, 셋-톱 박스, 랩톱, 개인용 컴퓨터, 셀 폰, PDA, 및 다른 통신 디바이스들을 포함한다. 명백한 바와 같이, 이러한 장비는 모바일일 수 있고 심지어 모바일 차량에 설치될 수 있다.
추가적으로, 이러한 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 이러한 명령어들(및/또는 구현에 의해 생성되는 데이터 값들)은, 예를 들어, 집적 회로, 소프트웨어 캐리어, 또는, 예를 들어, 하드 디스크, CD(compact diskette), 광 디스크(예를 들어, 디지털 다기능 디스크 또는 디지털 비디오 디스크라고 종종 지칭되는 DVD), RAM(random access memory), 또는 ROM(read-only memory)과 같은, 다른 스토리지 디바이스와 같은 프로세서 판독 가능 매체 상에 저장될 수 있다. 이러한 명령어들은 프로세서 판독 가능 매체 상에 유형적으로 구현되는 애플리케이션 프로그램을 형성할 수 있다. 명령어들은, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합에 있을 수 있다. 명령어들은, 예를 들어, 운영 체제, 별도의 애플리케이션, 또는 이 둘의 조합에서 발견될 수 있다. 프로세서는, 따라서, 예를 들어, 프로세스를 수행하도록 구성되는 디바이스 및 프로세스를 수행하기 위한 명령어들을 갖는 (스토리지 디바이스와 같은) 프로세서 판독 가능 매체를 포함하는 디바이스 양자 모두로서 특징화될 수 있다. 추가로, 프로세서 판독 가능 매체는, 명령어들에 추가하여 또는 명령어들을 대신하여, 구현에 의해 생성되는 데이터 값들을 저장할 수 있다.
해당 분야에서의 숙련자에게 명백할 바와 같이, 구현들은, 예를 들어, 저장되거나 또는 송신될 수 있는 정보를 운반하도록 포맷되는 다양한 신호들을 생성할 수 있다. 이러한 정보는, 예를 들어, 방법을 수행하기 위한 명령어들 또는 설명되는 구현들 중 하나에 의해 생성되는 데이터를 포함할 수 있다. 예를 들어, 신호는 설명되는 실시예의 신택스를 기입 또는 판독하기 위한 규칙들을 데이터로서 운반하도록, 또는 설명되는 실시예에 의해 기입되는 실제 신택스 값들을 데이터로서 운반하도록 포맷될 수 있다. 이러한 신호는, 예를 들어, 전자기파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷될 수 있다. 포맷하는 것은, 예를 들어, 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려진 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서 판독 가능 매체 상에 저장될 수 있다.
다수의 구현들이 설명되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있다는 점이 이해될 것이다. 예를 들어, 상이한 구현들의 엘리먼트들은 조합, 보충, 수정, 또는 제거되어 다른 구현들을 생성할 수 있다. 추가적으로, 통상의 기술자는, 다른 구조들 및 프로세스들이 개시된 것들에 대체될 수 있고, 결과적인 구현들이 적어도 실질적으로 동일한 기능(들)을, 적어도 실질적으로 동일한 방식(들)로 수행하여, 개시된 구현들과 적어도 실질적으로 동일한 결과(들)을 달성할 것이라는 점을 이해할 것이다. 따라서, 이러한 그리고 다른 구현들이 본 출원에 의해 고려된다.
Claims (19)
- 볼록 매핑 표면에 대해 준비되는 비디오(20, 30)로부터 스트림(100)을 생성하는 방법(80)으로서,
상기 볼록 매핑 표면의 중심에서의 시점으로부터 캡처되는 적어도 하나의 제1 비디오(61, 63)를 생성하는 단계(82)- 각각의 제1 비디오는 몰입형 비디오(20, 30)의 일부를 나타냄 -;
상기 적어도 하나의 부분이 제거된 몰입형 비디오(20, 30)로부터 제2 비디오(60)를 생성하는 단계(83); 및
상기 적어도 하나의 제1 비디오(61, 63)에 관한 제1 신택스 엘리먼트(102, 103) 및 상기 제2 비디오(60)에 관한 제2 신택스 엘리먼트(104)를 함께 조합하는 것에 의해 상기 스트림(100)을 생성하는 단계(85)
를 포함하는 방법. - 제1항에 있어서,
상기 스트림(100)에 제3 신택스 엘리먼트(105)를 추가하는 단계- 상기 제3 신택스 엘리먼트는 상기 적어도 하나의 부분의 설명을 나타내는 정보 데이터에 관한 것임 -를 추가로 포함하는 방법. - 제2항에 있어서,
상기 정보 데이터는 시간에 따라 변하는 방법. - 제2항에 있어서,
상기 적어도 하나의 제1 비디오를 생성하는 단계(82)는 상기 (가상) 카메라에 의해 캡처되는 이미지를 정류하는 단계를 추가로 포함하는 방법. - 제2항 또는 제4항에 있어서,
상기 적어도 하나의 제1 비디오를 생성하는 단계(82)는 상기 정보 데이터에 따라 상기 매핑 표면을 재배향하는 단계를 추가로 포함하는 방법. - 볼록 매핑 표면에 대해 준비되는 비디오(20, 30)로부터 스트림(100)을 생성하도록 구성되는 디바이스로서,
상기 볼록 매핑 표면의 중심에서의 시점으로부터 캡처되는 적어도 하나의 제1 비디오(61, 63)를 생성하는(82) 비디오 생성기- 각각의 제1 비디오는 몰입형 비디오(20, 30)의 일부를 나타냄 -;
상기 적어도 하나의 부분이 제거된 몰입형 비디오(20, 30)로부터 제2 비디오를 생성하는(83) 비디오 생성기; 및
상기 적어도 하나의 제1 비디오에 관한 제1 신택스 엘리먼트(102, 103) 및 상기 제2 비디오에 관한 제2 신택스 엘리먼트(104)를 함께 조합하는 것에 의해 상기 스트림(100)을 생성하는(85) 스트림 생성기
를 포함하는 디바이스. - 제6항에 있어서,
상기 스트림 생성기는 상기 스트림(100)에 제3 신택스 엘리먼트(105)를 추가하도록 추가로 구성되는- 상기 제3 신택스 엘리먼트는 상기 적어도 하나의 부분의 설명을 나타내는 정보 데이터에 관한 것임 - 디바이스. - 제7항에 있어서,
상기 정보 데이터는 시간에 따라 변하는 디바이스. - 볼록 매핑 표면에 대해 준비되는 비디오(20, 30)를 나타내는 데이터를 운반하는 스트림(100)으로서,
상기 데이터는,
상기 볼록 매핑 표면의 중심에서의 시점으로부터 캡처되는 적어도 하나의 제1 비디오(61, 63)에 관한 제1 신택스 엘리먼트(102, 103)- 상기 적어도 하나의 제1 비디오 각각은 몰입형 비디오의 일부를 나타냄 -; 및
상기 적어도 하나의 부분이 제거된 몰입형 비디오로부터 생성되는 제2 비디오(60)에 관한 제2 신택스 엘리먼트(104)
를 포함하는 스트림. - 제9항에 있어서,
상기 적어도 하나의 부분의 설명을 나타내는 정보 데이터에 관한 제3 신택스 엘리먼트(105)를 추가로 포함하는 스트림. - 제10항에 있어서,
상기 정보 데이터는 시간에 따라 변하는 스트림. - 볼록 매핑 표면에 대해 준비되는 비디오(20, 30)를 나타내는 데이터를 운반하는 스트림(100)으로부터 렌더링 디바이스에 대한 비디오를 작성하는 방법(90)으로서,
상기 디바이스가 몰입형 비디오 렌더링 디바이스일 때:
상기 스트림의 제1 신택스 엘리먼트(102, 103)로부터 상기 볼록 매핑 표면의 중심에서의 시점으로부터 캡처되는 적어도 하나의 제1 비디오(61, 63)를 획득하는 단계- 상기 적어도 하나의 제1 비디오는 몰입형 비디오의 일부를 나타냄 -;
상기 스트림의 제2 신택스 엘리먼트로부터 제2 비디오(104)를 획득하는 단계- 상기 제2 비디오는 각각의 상기 적어도 하나의 부분이 제거된 몰입형 비디오를 나타냄 -; 및
상기 적어도 하나의 제1 비디오 각각을 상기 제2 비디오 상에 오버레이하는 것에 의해 상기 비디오를 작성하는 단계
를 포함하는 방법. - 제12항에 있어서,
상기 디바이스가 레거시 비디오 렌더링 디바이스일 때:
상기 볼록 매핑 표면의 중심에서의 시점으로부터 캡처되는 적어도 하나의 제1 비디오(61, 63)에 관한 상기 스트림의 제1 신택스 엘리먼트(102, 103)로부터 상기 비디오를 획득하는 단계- 상기 적어도 하나의 제1 비디오 각각은 상기 몰입형 비디오의 일부를 나타냄 -를 포함하는 방법. - 제12항 또는 제13항에 있어서,
상기 스트림은 상기 적어도 하나의 부분의 설명을 나타내는 정보 데이터에 관한 제3 신택스 엘리먼트(105)를 추가로 포함하는 방법. - 제14항에 있어서,
상기 디바이스가 몰입형 비디오 렌더링 디바이스이면, 상기 비디오를 작성하는 단계는 상기 제2 비디오 상에 오버레이하기 위해 상기 제1 비디오와 연관된 부분의 설명에 따라 각각의 제1 비디오를 왜곡, 스케일링 및 변환하는 단계를 포함하는 방법. - 렌더링 디바이스에 대해, 볼록 매핑 표면에 대해 준비되는 비디오(20, 30)를 나타내는 데이터를 운반하는 스트림(100)으로부터 비디오를 작성하도록 구성되는 디바이스로서,
상기 디바이스는 프로세서와 연관된 메모리를 포함하고, 상기 프로세서는,
상기 디바이스가 몰입형 비디오 렌더링 디바이스일 때,
상기 스트림의 제1 신택스 엘리먼트(102, 103)로부터 상기 볼록 매핑 표면의 중심에서의 시점으로부터 캡처되는 적어도 하나의 제1 비디오(61, 63)를 획득하도록- 상기 적어도 하나의 제1 비디오는 몰입형 비디오의 일부를 나타냄 -;
상기 스트림(104)의 제2 신택스 엘리먼트로부터 제2 비디오(60)를 획득하도록- 상기 제2 비디오는 각각의 상기 적어도 하나의 부분이 제거된 몰입형 비디오를 나타냄 -; 그리고
상기 적어도 하나의 제1 비디오 각각을 상기 제2 비디오 상에 오버레이하는 것에 의해 상기 비디오를 작성하도록
구성되는 디바이스. - 제16항에 있어서,
상기 프로세서는,
상기 디바이스가 레거시 비디오 렌더링 디바이스일 때,
상기 볼록 매핑 표면의 중심에서의 시점으로부터 캡처되는 적어도 하나의 제1 비디오(61, 63)에 관한 상기 스트림의 제1 신택스 엘리먼트(102, 103)로부터 상기 비디오를 획득하도록- 상기 적어도 하나의 제1 비디오 각각은 상기 몰입형 비디오의 일부를 나타냄 - 구성되는 디바이스. - 제16항 또는 제17항에 있어서,
상기 스트림은 상기 적어도 하나의 부분의 설명을 나타내는 정보 데이터에 관한 제3 신택스 엘리먼트(105)를 추가로 포함하는 디바이스. - 제18항에 있어서,
상기 디바이스가 몰입형 비디오 렌더링 디바이스이면, 상기 비디오를 작성하는 것은 상기 제2 비디오 상에 오버레이하기 위해 상기 제1 비디오와 연관된 부분의 설명에 따라 각각의 제1 비디오(61, 63)를 왜곡, 스케일링 및 변환하는 것을 포함하는 디바이스.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16305321.8A EP3223524A1 (en) | 2016-03-22 | 2016-03-22 | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
| EP16305321.8 | 2016-03-22 | ||
| PCT/EP2017/055952 WO2017162479A1 (en) | 2016-03-22 | 2017-03-14 | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190029505A true KR20190029505A (ko) | 2019-03-20 |
| KR102308604B1 KR102308604B1 (ko) | 2021-10-06 |
Family
ID=55646505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187030134A KR102308604B1 (ko) | 2016-03-22 | 2017-03-14 | 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US10958950B2 (ko) |
| EP (2) | EP3223524A1 (ko) |
| JP (1) | JP7177034B2 (ko) |
| KR (1) | KR102308604B1 (ko) |
| CN (1) | CN109314791B (ko) |
| BR (1) | BR112018069211A2 (ko) |
| CA (1) | CA3018600C (ko) |
| MX (1) | MX2018011498A (ko) |
| RU (1) | RU2733218C2 (ko) |
| TW (1) | TWI735552B (ko) |
| WO (1) | WO2017162479A1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019521571A (ja) | 2016-05-13 | 2019-07-25 | インターデジタル ヴイシー ホールディングス， インコーポレイテッド | 適応クリッピングを用いた映像コード化の方法および装置 |
| EP3249928A1 (en) * | 2016-05-23 | 2017-11-29 | Thomson Licensing | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
| JP7127539B2 (ja) * | 2016-08-05 | 2022-08-30 | ソニーグループ株式会社 | 画像処理装置および画像処理方法 |
| EP3297282A1 (en) | 2016-09-15 | 2018-03-21 | Thomson Licensing | Method and apparatus for video coding with adaptive clipping |
| WO2019117569A1 (en) * | 2017-12-14 | 2019-06-20 | Samsung Electronics Co., Ltd. | Method and apparatus for managing immersive data |
| CN110910485B (zh) * | 2019-12-16 | 2023-07-25 | 山东东艺数字科技有限公司 | 一种沉浸式cave影像制作方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110316963A1 (en) * | 2008-12-30 | 2011-12-29 | Huawei Device Co., Ltd. | Method and device for generating 3d panoramic video streams, and videoconference method and device |
| US20120092348A1 (en) * | 2010-10-14 | 2012-04-19 | Immersive Media Company | Semi-automatic navigation with an immersive image |
| KR20120071407A (ko) * | 2009-10-23 | 2012-07-02 | 퀄컴 인코포레이티드 | 2ｄ 비디오 데이터의 3ｄ 비디오 데이터로의 컨버전을 위한 깊이 맵 생성 기술들 |
| WO2015197818A1 (en) * | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Hevc-tiled video streaming |
| KR20160019091A (ko) * | 2013-07-15 | 2016-02-18 | 소니 주식회사 | 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7336299B2 (en) * | 2003-07-03 | 2008-02-26 | Physical Optics Corporation | Panoramic video system with real-time distortion-free imaging |
| JP2005333552A (ja) * | 2004-05-21 | 2005-12-02 | Viewplus Inc | パノラマ映像配信システム |
| WO2008047054A2 (fr) | 2006-10-18 | 2008-04-24 | France Telecom | Procedes et dispositifs pour optimiser les ressources necessaires a la presentation de contenus multimedias |
| US7982733B2 (en) * | 2007-01-05 | 2011-07-19 | Qualcomm Incorporated | Rendering 3D video images on a stereo-enabled display |
| CN101453639B (zh) | 2007-11-29 | 2012-05-30 | 展讯通信（上海）有限公司 | 支持roi区域的多路视频流的编码、解码方法和系统 |
| CN104506839B (zh) * | 2009-03-19 | 2017-04-12 | Lg电子株式会社 | 处理三维视频信号的方法和执行该方法的数字广播接收机 |
| CN102113334B (zh) | 2009-05-19 | 2013-09-11 | 松下电器产业株式会社 | 再现装置、记录方法及记录介质再现系统 |
| CN101771878B (zh) | 2010-01-14 | 2011-05-25 | 广西大学 | 面向全景视频编码的自适应选择全局运动估计方法 |
| US9491432B2 (en) * | 2010-01-27 | 2016-11-08 | Mediatek Inc. | Video processing apparatus for generating video output satisfying display capability of display device according to video input and related method thereof |
| KR101694821B1 (ko) * | 2010-01-28 | 2017-01-11 | 삼성전자주식회사 | 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치 |
| EP2602999A1 (en) | 2010-08-06 | 2013-06-12 | Panasonic Corporation | Encoding method, display device, and decoding method |
| JP2012199897A (ja) | 2011-03-04 | 2012-10-18 | Sony Corp | 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 |
| US8600194B2 (en) * | 2011-05-17 | 2013-12-03 | Apple Inc. | Positional sensor-assisted image registration for panoramic photography |
| EP2530642A1 (en) | 2011-05-31 | 2012-12-05 | Thomson Licensing | Method of cropping a 3D content |
| KR101781717B1 (ko) * | 2011-06-08 | 2017-10-23 | 코닌클리즈케 케이피엔 엔.브이. | 공간적으로-세그먼트된 콘텐츠 전달 |
| KR101282955B1 (ko) | 2011-08-31 | 2013-07-17 | 한국과학기술연구원 | 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법 |
| EP2781085A4 (en) | 2011-11-14 | 2015-07-29 | Intel Corp | ANALYTICAL VIDEO CODING |
| US20130141526A1 (en) | 2011-12-02 | 2013-06-06 | Stealth HD Corp. | Apparatus and Method for Video Image Stitching |
| WO2014005301A1 (en) | 2012-07-04 | 2014-01-09 | Intel Corporation | A region of interest based framework for 3d video coding |
| EP2824883A1 (en) | 2013-07-12 | 2015-01-14 | Alcatel Lucent | A video client and video server for panoramic video consumption |
| CN104680505A (zh) * | 2013-11-29 | 2015-06-03 | 陆婷 | 一种鱼眼镜头校正的全景视图算法 |
| US20150373341A1 (en) | 2014-06-23 | 2015-12-24 | Cisco Technology, Inc. | Techniques for Interactive Region-Based Scalability |
| US9883101B1 (en) * | 2014-07-23 | 2018-01-30 | Hoyos Integrity Corporation | Providing a real-time via a wireless communication channel associated with a panoramic video capture device |
| CN104539893B (zh) * | 2014-12-23 | 2017-12-01 | 福建星网视易信息系统有限公司 | 实现虚拟云台监控效果的方法、装置及系统 |
| US9843725B2 (en) * | 2015-12-29 | 2017-12-12 | VideoStitch Inc. | Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor |
-
2016
- 2016-03-22 EP EP16305321.8A patent/EP3223524A1/en not_active Withdrawn
-
2017
- 2017-03-14 WO PCT/EP2017/055952 patent/WO2017162479A1/en active Application Filing
- 2017-03-14 CN CN201780024150.8A patent/CN109314791B/zh active Active
- 2017-03-14 RU RU2018136879A patent/RU2733218C2/ru active
- 2017-03-14 KR KR1020187030134A patent/KR102308604B1/ko active IP Right Grant
- 2017-03-14 US US16/087,636 patent/US10958950B2/en active Active
- 2017-03-14 JP JP2019500729A patent/JP7177034B2/ja active Active
- 2017-03-14 MX MX2018011498A patent/MX2018011498A/es unknown
- 2017-03-14 BR BR112018069211A patent/BR112018069211A2/pt unknown
- 2017-03-14 CA CA3018600A patent/CA3018600C/en active Active
- 2017-03-14 EP EP17709721.9A patent/EP3434021B1/en active Active
- 2017-03-17 TW TW106108808A patent/TWI735552B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110316963A1 (en) * | 2008-12-30 | 2011-12-29 | Huawei Device Co., Ltd. | Method and device for generating 3d panoramic video streams, and videoconference method and device |
| KR20120071407A (ko) * | 2009-10-23 | 2012-07-02 | 퀄컴 인코포레이티드 | 2ｄ 비디오 데이터의 3ｄ 비디오 데이터로의 컨버전을 위한 깊이 맵 생성 기술들 |
| US20120092348A1 (en) * | 2010-10-14 | 2012-04-19 | Immersive Media Company | Semi-automatic navigation with an immersive image |
| KR20160019091A (ko) * | 2013-07-15 | 2016-02-18 | 소니 주식회사 | 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들 |
| WO2015197818A1 (en) * | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Hevc-tiled video streaming |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102308604B1 (ko) | 2021-10-06 |
| US10958950B2 (en) | 2021-03-23 |
| JP7177034B2 (ja) | 2022-11-22 |
| CN109314791A (zh) | 2019-02-05 |
| TW201803358A (zh) | 2018-01-16 |
| JP2019514313A (ja) | 2019-05-30 |
| BR112018069211A2 (pt) | 2019-01-22 |
| CA3018600A1 (en) | 2017-09-28 |
| MX2018011498A (es) | 2019-07-04 |
| RU2018136879A3 (ko) | 2020-04-22 |
| US20190104330A1 (en) | 2019-04-04 |
| EP3434021B1 (en) | 2021-05-05 |
| WO2017162479A1 (en) | 2017-09-28 |
| EP3223524A1 (en) | 2017-09-27 |
| CA3018600C (en) | 2022-07-12 |
| TWI735552B (zh) | 2021-08-11 |
| RU2018136879A (ru) | 2020-04-22 |
| CN109314791B (zh) | 2021-07-20 |
| EP3434021A1 (en) | 2019-01-30 |
| RU2733218C2 (ru) | 2020-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11700352B2 (en) | Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission | |
| US11228749B2 (en) | Systems, methods and apparatus for compressing video content | |
| US10757423B2 (en) | Apparatus and methods for compressing video content using adaptive projection selection | |
| US11109066B2 (en) | Encoding and decoding of volumetric video | |
| US11430156B2 (en) | Apparatus, a method and a computer program for volumetric video | |
| KR102308604B1 (ko) | 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림 | |
| EP3695597A1 (en) | An apparatus, a method and a computer program for volumetric video | |
| KR20170132098A (ko) | 레거시 및 몰입형 렌더링 디바이스를 위한 몰입형 비디오를 포맷팅하는 방법, 장치 및 스트림 | |
| WO2019162567A1 (en) | Encoding and decoding of volumetric video | |
| WO2023098279A1 (zh) | 视频数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品 | |
| WO2019115867A1 (en) | An apparatus, a method and a computer program for volumetric video | |
| EP3698332A1 (en) | An apparatus, a method and a computer program for volumetric video | |
| KR20200076529A (ko) | 가상 현실 비디오 스트리밍에서의 관심영역 타일 인덱싱 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |