KR102618049B1 - 비디오 스트리밍의 관심 장면 섹션 및 영역 처리 - Google Patents
비디오 스트리밍의 관심 장면 섹션 및 영역 처리 Download PDFInfo
- Publication number
- KR102618049B1 KR102618049B1 KR1020217012677A KR20217012677A KR102618049B1 KR 102618049 B1 KR102618049 B1 KR 102618049B1 KR 1020217012677 A KR1020217012677 A KR 1020217012677A KR 20217012677 A KR20217012677 A KR 20217012677A KR 102618049 B1 KR102618049 B1 KR 102618049B1
- Authority
- KR
- South Korea
- Prior art keywords
- section
- tracks
- additional
- data stream
- slices
- Prior art date
Links
- 239000000203 mixture Substances 0.000 claims abstract description 62
- 230000011664 signaling Effects 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 46
- 230000015572 biosynthetic process Effects 0.000 claims description 27
- 238000003786 synthesis reaction Methods 0.000 claims description 26
- 230000014509 gene expression Effects 0.000 claims description 16
- 230000001419 dependent effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 239000002131 composite material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000012913 prioritisation Methods 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 49
- 230000005540 biological transmission Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 7
- 102100026234 Cytokine receptor common subunit gamma Human genes 0.000 description 6
- 101001055227 Homo sapiens Cytokine receptor common subunit gamma Proteins 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000012447 hatching Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000001627 detrimental effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
- H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
파일 포맷의 사용에 의한 적합성을 유지하면서 전체 장면에 관련된 비디오 데이터 스트림을 축소시킴으로써 그리고 섹션을 형성하는 타일들의 세트의 타일들이 인코딩되는 슬라이스들을 하나 또는 그보다 많은 소스 트랙들의 세트에 통합함으로써 섹션 특정 비디오 데이터 스트림이 유도되고, 슬라이스들의 특정 부분들의 대체들을 시그널링하고 그리고 슬라이스들의 특정 부분들을 복사하도록 지시함으로써 섹션 특정 비디오 데이터 스트림의 합성을 표시하기 위해 구성 명령들을 포함하는 하나 또는 그보다 많은 수집 트랙들의 세트가 사용된다. 또한, 비디오 스트리밍 서버로부터 클라이언트로 비디오 스트림에 의해 표현되는 장면 내의 관심 영역의 위치의 표시에 관한 개념이 설명된다. 대부분의 애플리케이션들에서 프리페치 또는 다른 우선순위화 개념들을 유리하게 조종하기 위해, 비디오 스트림에는 위치가 시간적으로 변하는 식으로 관심 영역의 위치를 나타내는 정보가 수반된다.
Description
본 출원은 장면 섹션들 또는 관심 영역의 특별한 처리를 지원하는 비디오 스트리밍 개념들에 관한 것이다.
예컨대, HTTP를 통한 동적 적응형 스트리밍(DASH: dynamic adaptive streaming over HTTP)(HTTP = 하이퍼텍스트 전송 프로토콜(hypertext transfer protocol))을 사용하는 비디오 스트리밍에서, 특정 장면 섹션으로 비디오 스트리밍을 제한하거나 특정 관심 영역의 우선순위를 정할 수 있는 것이 유리할 상황들의 수가 증가한다. 예를 들어, 헤드 마운트형(head-mounted) 디스플레이 애플리케이션에서 전체 파노라마 뷰 비디오를 송신할 필요가 없다. 그보다, 단지 사용자가 보는 섹션과 관련된 장면의 섹션만이 송신될 필요가 있을 것이다. 비디오 스트림의 부분들을 중단하는 것은 유효한 비디오 데이터 스트림으로 거의 이어지지 않는다. 비디오 데이터 스트림의 특정 부분들의 제거가 허용되는 상황들은 레이어링된 비디오 스트림의 확장 레이어들의 제거와 같은 특정 상황들로 대부분 제한된다. 그러나 이러한 상황들은 대부분, 장면 섹션에 관해서보다는 비트 심도, 공간 해상도, 시간 해상도 등의 측면에서 비디오 데이터 스트림에 의해 전달되는 정보량의 확장성을 다룬다.
더욱이, 유리하게는, 예를 들어, 특정 비디오 영상들의 다른 부분들보다 선호되는 관심 영역을 미리 설정하기 위해, 비디오의 영상들 내의 그러한 관심 영역에 대한 힌트들을 스트리밍 대상, 즉 클라이언트에 제공할 수 있는 것이 유리할 것이다. 지금까지, 이러한 관심 영역 시그널링을 수행할 가능성들이 있지만, 이러한 능력들은 제한되어 있으며 서버와 클라이언트 간의 통신에 부담을 준다.
따라서 본 발명의 과제는 축소된 스트림과 원래의 스트림 사이의 적합성의 유지시 스트리밍 장면 섹션들에 특정한 축소된 데이터 스트림들을 가능하게 하는 비디오 스트리밍 개념을 제공하고 보다 효율적인 관심 영역 시그널링 방식을 가능하게 하는 비디오 스트리밍 개념을 제공하는 것이다.
이러한 과제는 독립 청구항들의 요지에 의해 달성된다.
파일 포맷의 사용에 의한 적합성을 유지하면서 전체 장면에 관련된 비디오 데이터 스트림을 축소시킴으로써 그리고 섹션을 형성하는 타일들의 세트의 타일들이 인코딩되는 슬라이스들을 하나 또는 그보다 많은 소스 트랙들의 세트에 통합함으로써 섹션 특정 비디오 데이터 스트림이 도출될 수 있고, 슬라이스들의 특정 부분들의 대체들을 시그널링하고 그리고/또는 슬라이스들의 특정 부분들을 복사하도록 지시함으로써 섹션 특정 비디오 데이터 스트림의 합성을 표시하기 위해 구성 명령들을 포함하는 하나 또는 그보다 많은 수집(gathering) 트랙들의 세트가 사용된다는 것이 본 출원의 발명자들의 결론이다. 이러한 조치에 의해, 그럼에도, 구성 명령들에 의해 지시된 바와 같이 합성을 수행함으로써, 부합하는 섹션 특정 비디오 데이터 스트림을 얻을 기회를 수신 측, 즉 클라이언트 측에 제공하는 것으로, 비디오 데이터 스트림을 특정 장면 섹션에만 관련되도록 축소시키는 것이 실현 가능하다.
본 출원의 기반이 되는 다른 결론은 비디오 스트리밍 서버로부터 클라이언트로 비디오 스트림에 의해 표현되는 장면 내의 관심 영역의 위치의 표시에 관한 것이다. 대부분의 애플리케이션들에서는 관심 영역의 고정된 위치가 프리페치 또는 다른 우선순위화 개념들을 유리하게 조종하기 위해서는 대부분 충분하지 않다는 것이 인식되었다. 이에 따라, 비디오 스트림에는 위치가 시간적으로 변하는 식으로 관심 영역의 위치를 나타내는 정보가 수반된다. 서버/클라이언트 통신을 계속 낮게 억제하기 위해, 정보는 정보가 관심 영역의 위치의 곧 있을 변화들을 스케줄링하는 식으로 스트리밍 세션의 시작시 정보의 초기 전달을 통해 그리고/또는 SAND(server and network assisted dash) 메시지들을 통해 비디오 스트림의 파일 포맷 박스들 내에서, 즉 비디오 스트림 자체 내에서 전달될 수 있다.
상기 개념들의 결합이 실현 가능하며, 이는 또한 후속하는 설명 및 종속 청구항들의 대상이다.
위에서 개요가 서술된 개념의 유리한 구현들이 종속 청구항들의 대상이다. 본 출원의 바람직한 실시예들은 다음 중의 도면들에 관해 아래에 설명된다.
도 1은 일 실시예에 따라 서버(10)가 액세스하는 비디오 데이터 스트림과 함께 그리고 서버(10)가 클라이언트에 이용 가능하게 만드는 스트림과 함께 서버를 개략적으로 도시한다.
도 2는 인바운드 스트림 및 그 클라이언트가 그에 기초하여 합성하는 섹션 특정 비디오 데이터 스트림의 개략적인 예시뿐만 아니라 섹션 특정 비디오 데이터 스트림으로부터 섹션 특정 비디오를 재구성하는, 선택적으로 존재하는 비디오 디코더(72)의 개략적인 예시와 함께 도 1의 서버에 적합한 클라이언트를 개략적으로 도시한다.
도 3은 일 실시예에 따른 특정 슬라이스에 대한 합성의 서브 프로세스의 개략도를 도시한다.
도 4는 적합성 유지를 예시하기 위해 도 1의 서버가 액세스하는 비디오 데이터 스트림뿐만 아니라, 도 2의 클라이언트에 의해 합성된 비디오 특정 비디오 데이터 스트림을 처리할 수 있는 비디오 디코더의 개략적인 예시를 도시한다.
도 5a - 도 5b는 도 5a의 경우에는 구성 명령의 타입을 나타내는 구성자 태그, 그 다음에 데이터 필드 길이 표시(DFL), 그리고 그 다음에 데이터 필드 길이의 데이터 필드로 구성됨으로써, 예를 들어, 합성된 스트림에 대체를 삽입하는 삽입 명령에 대한 일례를 나타내는 구성 명령에 대한 예들을 도시하는 한편, 도 5b는 다른 구성자 태그를 갖는 복사 명령에 대한 예를 도시하는데, 이 명령의 데이터 필드는 데이터 필드 길이 표시자로 또한 표시된 길이를 갖지만, 참조 트랙에 대한 인덱스(TRI), 명령이 참조하는 샘플 또는 영상 또는 액세스 유닛의 표시자, 즉 SO, 그리고 시작점, 데이터 오프셋 및 길이, 데이터 길이에 의해 복사될 부분의 표시를 포함한다.
도 5c는 도 5b의 명령에 대한 대안을 개략적으로 도시한다.
도 5e는 제1 실시예에 따른 구성 명령 어레이 또는 시퀀스의 개략도를 도시한다.
도 5d는 구성자 어레이에 대한 대안을 개략적으로 도시한다.
도 6은 도 1 내지 도 4와 관련하여 개요가 설명되는 스트리밍 개념에 대한 기반으로서 유리하게 기능하도록 개념화된 비디오 데이터의 개략도를 도시한다.
도 7은 장면이 4×3 타일들로 세분되며, 클라이언트에 제공되는 섹션들은 각각 3×2 타일들의 공통 크기를 갖는 일례를, 각각의 타일 소스 트랙 및 수집 트랙을 대응하는 개개의 표현에 연관시킴으로써, 결국 12개의 타일 표현들과 4개의 집합 표현들로 끝나는 것을 예시하는 것과 함께 개략적으로 도시한다.
도 8은 공통 URL 템플릿을 시그널링함으로써 매니페스트(manifest)의 크기를 축소시키는 데 사용될 수 있는 매니페스트 또는 미디어 프레젠테이션 기술(media presentation description) 파일에 대한 일례를 도시한다.
도 9는 한편으로는 소스 트랙들 그리고 다른 한편으로는 수집 트랙들에 대해 개별 표현들이 제공되는 실시예에 따라 클라이언트에 의해 개시되는 각각의 세그먼트 페치에 의해 안내되는, 서버로부터 클라이언트로의 세그먼트 트래픽을 예시하는 개략도를 도시한다.
도 10은 도 9와 비교되는 대안을 예시하는 개략도를 도시하는데, 여기서는 수집 트랙 정보가 소스 트랙들의 세그먼트들 내에서 전달된다.
도 11은 결과적인 리던던시들을 예시하기 위해 도 10에 따른 수집 트랙들을 전달하는 실시예에 따라 전달되는 수집 트랙들을 예시한다.
도 12는 도 6의 예를 기반으로서 고려할 때 결과적인 리던던시들을 예시하기 위해 대응하는 섹션의 상부 좌측 타일에 관한 소스 트랙 표현들의 세그먼트들 내에서의 수집 트랙들의 전달을 예시하는 개략도를 도시한다.
도 13은 추가 인덱스 필드(CIDX)를 포함하도록 수정된 구성 명령에 대한 일례를 예시하는 개략도를 도시하는데, CIDX는 도시된 구성 명령을 포함하는 대응하는 수집 트랙을, 구성 명령의 CIDX가 파라미터화 설정으로서 사용된 인덱스에 대응하는 경우에만 구성 명령이 실행된다는 점에서 파라미터화 가능할 수 있게 한다.
도 14는 도 13에 도시된 바와 같이 인덱싱 가능한 구성 명령을 사용하는 파라미터화 가능한 수집 트랙에 대한 일례를 개략적으로 도시하며, 여기서 도 14는 서로 다른 파라미터 설정들에서 동일한 파라미터화 가능한 수집 트랙을 도시하는데, 둥글게 둘러쌈으로써 인덱싱 가능한 구성 명령들 중에서 실제로 실행되는 구성 명령이 표시된다.
도 15는 시변 관심 영역 표시를 가능하게 하는 실시예에 따른 서버 및 클라이언트를 도시하는 개략도를 도시한다.
도 16은 클라이언트로의 섹션 특정 비디오 데이터 스트림 송신이 유리할 예시적인 사용 사례를 예시하도록 타일들로 세분된 비디오의 개략도를 도시한다.
도 1은 일 실시예에 따라 서버(10)가 액세스하는 비디오 데이터 스트림과 함께 그리고 서버(10)가 클라이언트에 이용 가능하게 만드는 스트림과 함께 서버를 개략적으로 도시한다.
도 2는 인바운드 스트림 및 그 클라이언트가 그에 기초하여 합성하는 섹션 특정 비디오 데이터 스트림의 개략적인 예시뿐만 아니라 섹션 특정 비디오 데이터 스트림으로부터 섹션 특정 비디오를 재구성하는, 선택적으로 존재하는 비디오 디코더(72)의 개략적인 예시와 함께 도 1의 서버에 적합한 클라이언트를 개략적으로 도시한다.
도 3은 일 실시예에 따른 특정 슬라이스에 대한 합성의 서브 프로세스의 개략도를 도시한다.
도 4는 적합성 유지를 예시하기 위해 도 1의 서버가 액세스하는 비디오 데이터 스트림뿐만 아니라, 도 2의 클라이언트에 의해 합성된 비디오 특정 비디오 데이터 스트림을 처리할 수 있는 비디오 디코더의 개략적인 예시를 도시한다.
도 5a - 도 5b는 도 5a의 경우에는 구성 명령의 타입을 나타내는 구성자 태그, 그 다음에 데이터 필드 길이 표시(DFL), 그리고 그 다음에 데이터 필드 길이의 데이터 필드로 구성됨으로써, 예를 들어, 합성된 스트림에 대체를 삽입하는 삽입 명령에 대한 일례를 나타내는 구성 명령에 대한 예들을 도시하는 한편, 도 5b는 다른 구성자 태그를 갖는 복사 명령에 대한 예를 도시하는데, 이 명령의 데이터 필드는 데이터 필드 길이 표시자로 또한 표시된 길이를 갖지만, 참조 트랙에 대한 인덱스(TRI), 명령이 참조하는 샘플 또는 영상 또는 액세스 유닛의 표시자, 즉 SO, 그리고 시작점, 데이터 오프셋 및 길이, 데이터 길이에 의해 복사될 부분의 표시를 포함한다.
도 5c는 도 5b의 명령에 대한 대안을 개략적으로 도시한다.
도 5e는 제1 실시예에 따른 구성 명령 어레이 또는 시퀀스의 개략도를 도시한다.
도 5d는 구성자 어레이에 대한 대안을 개략적으로 도시한다.
도 6은 도 1 내지 도 4와 관련하여 개요가 설명되는 스트리밍 개념에 대한 기반으로서 유리하게 기능하도록 개념화된 비디오 데이터의 개략도를 도시한다.
도 7은 장면이 4×3 타일들로 세분되며, 클라이언트에 제공되는 섹션들은 각각 3×2 타일들의 공통 크기를 갖는 일례를, 각각의 타일 소스 트랙 및 수집 트랙을 대응하는 개개의 표현에 연관시킴으로써, 결국 12개의 타일 표현들과 4개의 집합 표현들로 끝나는 것을 예시하는 것과 함께 개략적으로 도시한다.
도 8은 공통 URL 템플릿을 시그널링함으로써 매니페스트(manifest)의 크기를 축소시키는 데 사용될 수 있는 매니페스트 또는 미디어 프레젠테이션 기술(media presentation description) 파일에 대한 일례를 도시한다.
도 9는 한편으로는 소스 트랙들 그리고 다른 한편으로는 수집 트랙들에 대해 개별 표현들이 제공되는 실시예에 따라 클라이언트에 의해 개시되는 각각의 세그먼트 페치에 의해 안내되는, 서버로부터 클라이언트로의 세그먼트 트래픽을 예시하는 개략도를 도시한다.
도 10은 도 9와 비교되는 대안을 예시하는 개략도를 도시하는데, 여기서는 수집 트랙 정보가 소스 트랙들의 세그먼트들 내에서 전달된다.
도 11은 결과적인 리던던시들을 예시하기 위해 도 10에 따른 수집 트랙들을 전달하는 실시예에 따라 전달되는 수집 트랙들을 예시한다.
도 12는 도 6의 예를 기반으로서 고려할 때 결과적인 리던던시들을 예시하기 위해 대응하는 섹션의 상부 좌측 타일에 관한 소스 트랙 표현들의 세그먼트들 내에서의 수집 트랙들의 전달을 예시하는 개략도를 도시한다.
도 13은 추가 인덱스 필드(CIDX)를 포함하도록 수정된 구성 명령에 대한 일례를 예시하는 개략도를 도시하는데, CIDX는 도시된 구성 명령을 포함하는 대응하는 수집 트랙을, 구성 명령의 CIDX가 파라미터화 설정으로서 사용된 인덱스에 대응하는 경우에만 구성 명령이 실행된다는 점에서 파라미터화 가능할 수 있게 한다.
도 14는 도 13에 도시된 바와 같이 인덱싱 가능한 구성 명령을 사용하는 파라미터화 가능한 수집 트랙에 대한 일례를 개략적으로 도시하며, 여기서 도 14는 서로 다른 파라미터 설정들에서 동일한 파라미터화 가능한 수집 트랙을 도시하는데, 둥글게 둘러쌈으로써 인덱싱 가능한 구성 명령들 중에서 실제로 실행되는 구성 명령이 표시된다.
도 15는 시변 관심 영역 표시를 가능하게 하는 실시예에 따른 서버 및 클라이언트를 도시하는 개략도를 도시한다.
도 16은 클라이언트로의 섹션 특정 비디오 데이터 스트림 송신이 유리할 예시적인 사용 사례를 예시하도록 타일들로 세분된 비디오의 개략도를 도시한다.
도면들과 관련하여 아래에 제시된 본 출원의 실시예들의 설명은 먼저 적합성 유지시에 섹션 특정 비디오 데이터 스트림의 스트리밍을 지원하는 비디오 스트리밍에 관한 실시예들에 집중한다. 이하, ROI 위치 표시에 관한 실시예들이 설명된다. 애플리케이션들에서, 두 개념들 모두를 활용하도록 두 타입들 모두의 실시예들이 함께 사용될 수 있다.
섹션 특정 비디오 데이터 스트리밍에 관한 실시예들의 이해에 동기를 부여하고 이를 용이하게 하기 위해, 비디오 데이터 스트림에 의해 표현되는 호스트 장면의 섹션만을 스트리밍하려는 의도에 대한 소스를 예시하는 애플리케이션 시나리오에 대한 일례가 설명된다. 이 예는 기본 비디오 코덱으로서 HEVC에 관해 제공되지만, HEVC와 관련하여 예가 제공된다는 사실은 본 출원 및 후속하여 설명되는 실시예들이 HEVC로 제한될 것이라는 힌트로서 취급되지 않아야 한다. 오히려, 임의의 다른 비디오 코덱이 기반으로서 사용될 수 있다.
HEVC 비트스트림들은 (엔트로피 디코딩 종속성들을 포함하는) 영상 내 예측 종속성들을 깨는 "타일" 개념을 사용하여 생성될 수 있다. 각각의 타일은 개별적으로 처리될 수 있는데, 예컨대 하나의 프로세서/코어에 의해 처리될 수 있다. 각각의 타일이 다른 슬라이스에 포함된다면, 서로 다른 타일들 사이에 공유되는 정보가 없으며, 활성화되어 있다면 재구성된 샘플들의 루프 필터링만이 필요할 수도 있다. 타일들이 사용된다면, 전체 비디오는 N×M 타일들의 직사각형 패턴으로 구조화된다. 큰 파노라마에서 가져온 더 작은 창(일명 Rol)의 제시와 같이, 특정 용도의 경우들에는, 타일들의 서브세트만이 디코딩될 필요가 있을 것이다. 그러나 먼저 HEVC 비트스트림은 영상의 타일들이 이전 영상들의 서로 다른 타일들로부터 예측되지 않는 식으로 인터 예측(inter-prediction)이 제한되도록 인코딩되어야 한다. 이러한 제한이 충족되더라도, 타일들의 선택에 해당하는 비트스트림의 그러한 부분들이 연결되는 한편, 비트스트림의 불필요한 부분들은 제거된다면, 결과적인 비트스트림은 더는 부합하는 HEVC 비트스트림이 아닐 수 있다.
도 16에 도시된 예에서는, 선택된 Rol(도면에서 직사각형(960)의 도시된 폭)에 대해, 9개의 타일들로 구성된 타일 서브세트(HEVC 규격 면에서 타일 세트들)가 어떻게 추출되는지가 도시된다. 9개의 타일들은 도 16에서 CU 어드레스(100, 110, 120, 200, 210, 220, 300, 310, 320)가 표시된 타일들이다. 추출된 부분의 CuAddr이 0에서부터 시작하지 않고(이는 추출된 부분이 first-_slice_segment_in_pic_flag가 1인 슬라이스를 포함하지 않음을 의미함) 일부 CuAddr 및 해당 데이터가 지금 누락되어 있기 때문에, 즉 하나의 타일 행에서 다른 행으로 넘어갈 때 CU 어드레스들이 타일에서 타일까지 연속적이지 않기 때문에, 추출된 HEVC 비트스트림은 유효하지 않다. 명백하게, 이것은 어떤 타일들이 선택되는지에 좌우되는데, 예컨대, 가장 왼쪽의 최상위 타일이 생략된다면, 나머지 타일들은 부합하는 HEVC 비트스트림을 형성할 수 없다.
CU 어드레스 공간에 대한 설명된 문제 외에도, 추출된 비트스트림의 특성들(즉, 전체 HEVC 비트스트림보다 더 적은 양의 타일들을 포함하는 Rol)과 일치시키기 위해 생성될 필요가 있는 추가 파라미터들(이를테면, PPS, SPS, VPS) 또는 SEI 메시지들이 있다.
즉, 도 16에 관한 상기 설명은 섹션 특정 축소 비디오 데이터 스트림을 획득하도록 비디오 데이터 스트림의 부분들을 제거하는 경우의 적합성 유지가 간단한 작업이 아니라는 것을 분명히 했다. 이하에 설명되는 실시예들은 적합성들을 유지하면서 비디오 데이터 스트림의 섹션 특정 부분의 송신을 가능하게 한다.
도 1은 본 출원의 실시예에 따른 비디오 스트리밍 서버(10)를 도시하고, 서버(10)의 동작 모드에 대한 설명의 용이한 이해를 위해, 비디오(12), 비디오(12)가 코딩되고 서버(10)가 적어도 부분적으로 액세스하는 비디오 데이터 스트림(14)뿐만 아니라 스트림(16)을 개략적으로 예시하는데, 아래에서 보다 상세히 설명되는 합성에 의해 이들의 스트리밍으로부터 섹션 특정 비디오 데이터 스트림을 얻기 위해 서버(10)가 이러한 스트리밍을 클라이언트에 제공한다. 서버(10)를 구현할 여러 가능성들이 있다는 점이 주목된다. 예를 들어, 서버(10)는 전자 회로와 같은 하드웨어, 필드 프로그래밍 가능 어레이와 같은 펌웨어로, 또는 이를테면, 적절하게 프로그래밍된 컴퓨터의 사용에 의해 소프트웨어로 구현될 수 있다.
아래에서 보다 상세히 설명되는 바와 같이, 비디오 스트리밍 서버(10)는 스트림(16)의 스트리밍을 클라이언트에 이용 가능하게 하도록 구성된다. 후자의 스트림에 기초하여, 클라이언트는 아래에서 보다 상세히 개요가 설명되는 식으로, 섹션 특정 비디오 데이터 스트림을 합성할 수 있다. 유리하게는, 스트림(16)의 데이터의 양은 데이터 또는 비디오 데이터 스트림(14)의 양에 비해 감소된다. 원리들을 이해하기 위해, 비디오 데이터 스트림(14) 및 비디오(12)가 비디오 데이터 스트림(14)으로 코딩된 방식이 먼저 설명된다. 서버(10)는 적어도 비디오 데이터 스트림(14)의 해당 부분에 대해 비디오 데이터 스트림(14)에 액세스하는데, 그 부분은 그에 기초하여 스트림(16)을 구성하기 위해 서버(10)에 의해 제거되지 않는다.
도 1에 도시된 바와 같이, 비디오(12)는 영상들(18)의 시퀀스로 구성된다. 비디오(12) 중 예시적인 3개의 연속적인 영상들(18)이 도 1에 도시된 순차적 순서(20)는 출력 또는 프레젠테이션 시간 순서에 대응할 수 있다. 따라서 각각의 영상(18)은 장면의 공간 샘플링을 나타내는데, 즉 샘플들의 어레이로 구성되며, 이에 따라 비디오(12)는 장면의 시공간 샘플링을 나타낸다. 영상들(18) 각각은 장면을 전부 보여준다. "전부"라는 용어는 데이터 스트림(14)으로 코딩된 영상들(18) 각각이 장면을 보여주는 반면, 나중에 설명되는 바와 같이 스트림(16)에 기초하여 합성 가능한 섹션 특정 비디오 데이터 스트림으로 코딩된 영상들은 단지 장면의 섹션(22)만을 보여준다는 사실을 나타낼 것이다.
영상들은 타일들로 공간적으로 세분화된다. 타일들로의 영상들(18)의 세분은 타일들이 행들 및 열들로 규칙적으로 배열되게 하는 것일 수 있다. 예컨대, 도 1의 예에서, 영상들(18)은 타일들의 3×3 어레이로 세분되는 것으로 도시되어 있으며, 타일들은 일반적으로 참조 부호들(24)을 사용하여 표시되고, 하나의 영상(18) 내의 타일들을 A 내지 I를 사용하여 표기함으로써 서로 구별된다. 그러나 영상당 타일들의 수는 이 타일들의 수로 제한되지 않는다. 그보다, 영상들(18)은 예컨대, N×M > 2 대신 임의의 어레이인 N×M 타일들로 절단될 수 있다. 그러나 타일들(24)은 직사각형 형상들 이외의 다른 형상들을 가질 수 있다는 점이 주목되어야 한다. 더욱이, 행들 및 열들로 배열된 타일들(24)의 어레이로의 영상들(18)의 세분화는 또한 제한적인 것으로 취급되지 않아야 한다. 오히려, 다른 종류들의 타일 분할이 사용될 수 있다. 타일들(24)은 HEVC의 타일 개념과 관련하여 HEVC 표준에 표시된 "타일들"로 제한되지 않아야 한다는 점이 또한 주목된다. 여기서 도 1에 언급된 타일들(24)은 영상들(18)이 세분되는 하위 영역들 중 임의의 하위 영역을 나타낼 것이다. 도 1에 도시된 바와 같이, 영상들(18)의 타일 경계들(26)을 비교할 때 타일들 사이의 타일 경계들이 일치하도록 타일들(24)로의 영상들의 세분이 영상들(18) 사이에서 동일하다면 유리할 수 있다.
영상들(18)이 어떻게 데이터 스트림(14)으로 인코딩되는지에 관한 상세한 방법은 다양하지만, 코딩은 적어도 비디오 데이터 스트림(14)이 슬라이스들(26)의 시퀀스로 구성되는 방식으로 이루어져야 한다.
슬라이스들(26)은 예컨대, 데이터 스트림(14)이 송신될 수 있는 유닛들이다. 슬라이스들(26)은 예컨대, 데이터 스트림(14)이 개별적으로 또는 연속적인 슬라이스들의 세트들로 NAL 유닛들로 패킷화될 수 있는 유닛들을 형성할 수 있고, 또는 패킷들을 각각 변환할 수 있다. 아래에서 보다 상세히 설명되는 바와 같이, 각각의 슬라이스(26)는 슬라이스 헤더 및 페이로드 섹션으로 구성될 수 있다. 당분간, 영상들(18)은 각각의 슬라이스가 단지 하나의 타일(24)을 그에 인코딩하도록 데이터 스트림(14)의 슬라이스들(26)로 인코딩된다고 말하는 것으로 충분할 것이다. 도 1에서, 예를 들어, 각각의 타일(24)은 정확하게 하나의 슬라이스(26)로 인코딩되지만, 이것은 단지 일례일 뿐이며, 도 1의 실시예의 범위를 제한하는 것으로서 취급되지 않아야 한다. 도 1에서, 각각 슬라이스들(26)과 타일들(24) 사이의 연관을 예시하기 위해 대문자들 A 내지 I 그리고 영상들(18)에서부터 데이터 스트림(14)까지 연결된 파선들이 사용된다. 도 1에 예시된 바와 같이, 데이터 스트림(14)은 특정 영상(18)의 타일들(24)과 연관된 슬라이스들(26)이 슬라이스로 인코딩된 임의의 다른 영상의 타일인/타일을 갖는 슬라이스가 타일들 사이에 존재하지 않는 식으로 데이터 스트림(14) 내에 배열되도록 정렬되는 슬라이스들(26)을 포함할 수 있다. 즉, 서로 다른 영상들(18)의 타일들(24)을 전달하는 슬라이스들(26)은 인터리빙되지 않는다. 그러나 이는 단지 일례일 뿐이고, 추가 설명을 제한하는 것으로서 취급되지 않아야 한다. 완전성을 위해, 도 1은 또한 영상(18)의 임의의 특정 타일(24)에 기인하지 않는 데이터 스트림(14) 내에 슬라이스들(28)이 있을 수도 있음을 예시한다. 그러한 슬라이스들(28)은 예컨대, 코딩 파라미터들을 전달할 수 있는데, 그 유효성 또는 범위는 하나보다 많은 타일, 전체 영상(18) 또는 심지어 영상들(18)의 시퀀스와 관련된다. 아래에 제시된 설명은 슬라이스들(26)에 초점을 맞추고 있지만, 슬라이스들(28)은 본 실시예의 기반이 되는 긍정적인 효과들의 이점을 얻기 위해 슬라이스들(26)과 관련하여 설명된 것과 유사한 방식으로 처리될 수 있음이 명백하다.
위에서 나타낸 바와 같이, 서버(10)는 비디오 데이터 스트림(14)의 슬라이스들(26)에 액세스한다. 예컨대, 비디오 데이터 스트림(14)은 디지털 저장 매체에 그대로 저장될 수 있고, 서버(10)는 스트림(16)을 형성하기 위해 비디오 데이터 스트림(14) 또는 관련 부분들을 디지털 저장 매체로부터 판독한다. 그러나 이하에서 더 상세히 설명되는 바와 같이, 대안적인 실시예에 따르면, 서버(10)는 서버(10)가 스트림(16)을 직접 판독할 수 있는 방식으로 개념화된 사전 조정된 비디오 데이터에 직접 액세스하여 클라이언트로 스트리밍된다. 후자의 양상은 서버(10)가 클라이언트에 이용 가능하게 하는 스트림(16)에 관한 추가 세부사항들을 설명한 후에 더 명확해질 것이다.
특히, 서버(10)는 단지 장면의 섹션(22)에 관한 감소된 양의 데이터를 클라이언트에 제공하기 위해 스트림(16)을 클라이언트에 이용 가능하게 한다. 도 1의 예에서, 예컨대, 섹션(22)은 단순히 타일들(D, E, G, H)의 2×2 서브어레이를 커버하거나 이러한 서브어레이에 의해 형성되는 것으로 도시되어 있다. 따라서 타일들(A, B, C, F, I)은 섹션(22)에 속하지 않는데, 즉 섹션(22) 외부에 있으며, 이에 따라 섹션(22) 밖의 영상들(18)의 부분들로 인코딩했다. 이에 따라, 서버(10)는 스트림(16)이 슬라이스들(26)의 일부 또는 서브세트만을 그에 통합하도록 구성된다. 특히, 서버(10)는 스트림(16)이 파일 포맷으로 포맷화되고 하나 또는 그보다 많은 소스 트랙들(30d, 30e, 30g, 30H)의 세트(30) 및 하나 또는 그보다 많은 수집 트랙들의 세트(32)를 포함하도록 구성된다. 세트(30)는 섹션(22) 내의 타일들이 인코딩되는 슬라이스들(26), 즉 타일들(D, E, G, H)을 그에 통합한다. 도 1에서, 세트(30)의 각각의 소스 트랙이 섹션(22) 내의 타일들 중 하나와 연관되는 실시예가 선택되어 도시되었는데, 연관은 참조 부호(30)의 낮은 랭킹의 인덱스의 각각의 대문자의 사용으로 표시된다. 즉, 이 실시예의 경우에, 각각의 소스 트랙은 슬라이스들(26)을 통합하는데, 이러한 슬라이스들(26)로 연관된 타일들(24)이 인코딩된다. 존재한다면, 슬라이스(28)와 같은 다른 슬라이스들을 세트(30)에 분배하기 위해 미리 결정된 규칙이 사용될 수 있다. 이것이 행해지는 방식은 여기서 중요하지 않다. 더욱이, 대안적인 실시예에 따르면, 소스 트랙과 섹션(22) 내의 타일들 간의 일대일 연관은 사용되지 않는다. 오히려, 세트(30) 내에 단지 하나의 소스 트랙이 있을 수 있다.
도 1은 세트(32)가 단지 하나의 수집 트랙(321)을 포함하는 경우를 예시한다. 그러나 나중에 설명되는 바와 같이, 섹션(22)에 관련되는 수집 트랙들의 세트(32)는 하나를 초과할 수 있다. 예를 들어, 세트(32) 내의 수집 트랙들의 수는 섹션(22) 내의 타일들(24)의 수와 동일할 수 있다.
하나 또는 그보다 많은 수집 트랙들의 세트(32)는 단지 장면의 섹션(22)을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림의 앞서 언급한 합성을 지시하는 구성 명령들을 포함한다. 구성 명령들은 도 1에서 직사각형들(34)의 시퀀스로 예시된다.
도 1의 비디오 스트리밍 서버(10)와 통신하는 클라이언트에 대한 이하의 설명으로부터 명백해지는 바와 같이, 구성 명령들(34)은 소스 트랙 세트(30)에 통합된 슬라이스들(26)의 특정 부분들의 대체들을 시그널링하고 소스 트랙 세트(30) 내의 슬라이스들(26)의 특정 부분들을 복사하도록 지시함으로써 예를 들어, 클라이언트에 의해 수행되도록 섹션 특정 비디오 데이터 스트림의 합성을 지시하거나 정의한다.
도 2는 클라이언트가 비디오 스트리밍 서버(10)로부터 스트림(16)을 검색하고 구성 명령들(34)로 규정된 바와 같이 섹션 특정 비디오 데이터 스트림의 합성을 수행함으로써 비디오 관련 섹션(22)을 비디오 스트리밍 서버(10)로부터 검색하도록 구성된다. 클라이언트(50)의 동작 모드의 후속하는 설명의 이해를 용이하게 하기 위해, 도 2는 또한 클라이언트(50)가 비디오 스트리밍 서버(10)로부터 검색하는 스트림(16)뿐만 아니라, 클라이언트(50)가 명령들(34)에 의해 지시된 합성에 의해 구축하는 섹션 특정 비디오 데이터 스트림(52)을 개략적으로 도시한다.
구성 명령들(34)에 대한 예들의 세부사항들 및 이러한 명령들(34)의 시퀀스가 섹션 특정 비디오 데이터 스트림(52)의 적절한 합성을 정의할 수 있는 방식이 도 5a - 도 5e에 관해 나중에 설명되지만, 이제 간략한 설명이 제시된다. 도 1과 관련하여 앞서 설명한 바와 같이, 이는 서로 다른 영상들의 슬라이스들(26)이 서로 인터리빙되지 않는 데이터 스트림 적합성의 하나의 요건일 수 있다. 이에 따라, 명령들(34)의 시퀀스는 후속하는 명령들이 후속 영상(18)의 타일들에 관한 슬라이스들(26)의 합성을 시그널링하기 전에 하나의 영상에 속하는 타일들의 특정 부분들을 적절한 순서로 데이터 스트림(52)에 복사한다. 이에 따라, 도 2의 섹션 특정 비디오 데이터 스트림(52)에서, 합성된 슬라이스들(54)은 스트림 순서에서, 하나의 영상에 관련된 슬라이스들이 다른 영상에 관한 슬라이스들과 인터리빙되지 않도록 데이터 스트림(52)에 순서대로 존재하는 것으로 도시된다. 슬라이스들(54)은 슬라이스들(26)의 수정된 버전들을 나타낸다. 수정된 슬라이스들(54)과 섹션(22) 내의 타일들 간의 연관은 도 2에서 각각의 타일들(24)의 대문자들로 예시된다. 슬라이스들(26)에 대한 슬라이스들(54)의 이러한 종류의 "수정"을 예시하기 위해, 슬라이스(26)를 예시하는 도 3이 참조된다. 도 3에서, 슬라이스(26)는 신택스 엘리먼트 단위 코딩(syntax-element-wise coded) 섹션(56)과 그 뒤에 비-신택스 엘리먼트 단위 코딩 섹션(56)으로 구성되는 것으로 예시된다. 섹션들(56, 58) 사이의 순서는 단지 예시의 목적으로만 선택되었다는 것이 강조되어야 한다. 더욱이, 섹션(58)이 심지어 누락될 수 있는 한편, 슬라이스(26)가 섹션들(56, 58)로 2등분될 수 있는 것이 아니라, 섹션(56 및/또는 58) 중 2개 이상을 가질 수 있다. "신택스 엘리먼트 단위 코딩"이라는 용어는 데이터 스트림의 신택스 엘리먼트들(60)이 이러한 섹션(56) 내의 데이터 스트림의 각각의 비트에 대해 각각의 비트가 관련된 정확히 하나의 신택스 엘리먼트(60)가 존재하고 그 반대도 가능한 방식으로 섹션(56) 내에서 데이터 스트림으로 코딩된다는 사실을 나타낼 수 있다. 즉, 각각의 섹션(56)에 코딩된 신택스 엘리먼트들(60)의 시퀀스는 각각의 신택스 엘리먼트(60)가 섹션(56) 내의 하나 또는 그보다 많은 비트들의 대응하는 연속된 런(run)과 고유하게 연관되도록 연속적인 신택스 엘리먼트들(60) 간의 접합이 비트스트림 도메인에서 유지되는 그러한 방식으로 섹션(56)에서 코딩된다. 예를 들어, 그러한 섹션(56) 내에서, 신택스 엘리먼트(60)는 압축 없이 또는 가변 길이 코드의 사용에 의해 코딩될 수 있다. 이와 비교하여, "비-신택스 엘리먼트 단위 코딩"은 섹션(58)을 나타낼 것이며, 여기서는 섹션(58) 내의 비트들이 신택스 엘리먼트들 중 정확히 하나에 기인하지 않도록, 각각의 섹션(58)으로 코딩된 신택스 엘리먼트들의 시퀀스 사이의 접합들이 비트스트림 도메인에서 스미어-아웃(smear-out)된다. 예를 들어, 이러한 섹션(58)은 예를 들어, 산술적으로 압축된 부분일 수 있다.
예컨대, 섹션(56)은 슬라이스(26)의 슬라이스 헤더이거나 이를 포함하는 한편, 섹션(58)은 슬라이스(26)의 페이로드 섹션이거나 이를 포함하는 것이 가능하다. 예를 들어, 데이터 스트림(14)을 코딩하는 데 사용되는 비디오 코덱은 예컨대, 예측 코덱일 수 있다. 섹션(56)으로 코딩된 신택스 엘리먼트들(60)은 예컨대, 각각의 슬라이스(26)가 각각의 데이터 스트림(14)으로 코딩된 각각의 영상의 첫 번째 슬라이스인지 여부를 나타내는 플래그(60a) 및/또는 슬라이스(26)로 코딩된 영상의 슬라이스 부분의 위치 또는 슬라이스 어드레스를 나타내는 신택스 엘리먼트(60b)를 포함할 수 있다. 신택스 엘리먼트들(60)은 예컨대, 슬라이스(26)의 슬라이스 헤더로 코딩될 수 있다. 페이로드 섹션 및/또는 비-신택스 엘리먼트 단위 코딩 섹션(58)으로 코딩된 신택스 엘리먼트들은 코딩 모드들, 블록 세분 정보, 모션 벡터 성분들과 같은 예측 파라미터들, 영상 참조 인덱스들 및/또는 잔차 샘플 값들 및/또는 예측 잔차를 시그널링하는 변환 계수 레벨들과 같은 신택스 엘리먼트일 수 있다.
슬라이스(26)로부터 수정된 슬라이스(52)의 형성시, 클라이언트(50)에 의해 수행되는 합성(62)의 일부로서, 수집 트랙 세트(32) 내의 명령들(34) 중 하나 이상은 슬라이스(26) 중 특정 부분을 복사할 수 있다. 이러한 명령들(34)은 도 3에서 해칭을 사용함으로써 예시된다. 슬라이스들(26, 52) 내의 복사된 부분들(66, 70)은 또한 해칭 방식으로 예시된다. 복사는 비트스트림 도메인에서 수행되는데, 즉 트랜스코딩이 수행되지 않는다. 복사는 신택스 레벨이 아닌 압축 또는 비트 도메인에서 수행된다. 도 3에 해칭으로 도시된 복사 명령들 내에 산재되거나 인터리빙될 수도 있는 하나 또는 그보다 많은 다른 명령들(34)은 슬라이스(26)의 복사되지 않은 부분 대신에 수정된 슬라이스(52)에 삽입될 대체를 시그널링할 수 있다. 슬라이스(26)의 복사되지 않은 부분(들)은 도 3에서 비-해칭으로 예시되고, 대체는 역시 슬라이스(52) 내에서 해칭되지 않은 방식으로 도시된다. 도 3에 도시된 바와 같이, 대체된 또는 복사되지 않은 부분(64)은 신택스 엘리먼트(60)를 포함할 수 있는데, 이러한 신택스 엘리먼트들에 대한 수정된 값들은 일례가 도 3에서 해칭되지 않은 직사각형(34)으로 도시된 각각의 대체 명령으로 시그널링된다. 스트림(16)의 슬라이스(26) 내의 각각의 복사되지 않은 부분(64) 대신에 수정된 슬라이스(54) 내의 데이터 스트림(52) 내에 삽입될 대체의 내용은 명령(34)의 연산자 필드 내에서 시그널링될 수도 있고 또는 다른 어떤 수단에 의해, 이를테면 수집 트랙 세트(32) 내의 각각의 필드를 가리킴으로써 대체 연산자(34)에 의해 시그널링될 수 있다. 따라서 명령들(34)의 시퀀스는 수정된 슬라이스(54)가 되는데: 도 3의 예에서, 복사 명령(34)은 복사된 부분(66)을 복사하고, 그 결과 대체 명령은 복사되지 않은 부분(64)을 대체하는 대체(68)를 슬라이스(54)에 삽입하고, 그 결과 복사 명령(34)은 슬라이스(26)의 추가 복사 부분(70)을 슬라이스(54)에 복사한다. 이와 같이 얻어진 수정된 슬라이스(54)는 부분들(66, 64, 70)의 시퀀스에 대응하는 원래의 슬라이스(26)와 비교하여 수정되는 부분들(66, 68, 70)의 시퀀스에 관한 것이다. 그러나 도 3의 예는 예시 목적들로만 선택되었으며, 예컨대 슬라이스(26)에 대한 합성(62) 내의 수정 프로세스가 대체 명령으로 시작될 수 있다는 점이 주목되어야 한다. 이에 따라, 첫 번째 복사 명령들은 예컨대, 존재하지 않을 수 있다. 더욱이, 다음의 설명으로부터 명백해지는 바와 같이, 다른 구성 명령들의 타입들이 또한 존재할 수 있는데, 이들의 실행 또는 합성에 대한 참여는 예컨대, 일종의 파라미터화 설정으로 작용할 수 있는 "선택된" 인덱스에 대응하는 필드의 인덱스의 경우에만 각각의 명령이 실행되도록 명령의 특정 인덱스 필드에 의존할 수 있다. 따라서 결과적인 수집 트랙은 인덱스에 따라 시그널링되는 합성이 다르다. 더욱이, 도 3에 구체적으로 나타내지는 않았지만, 복사되지도 대체되지도 않는, 즉 단순히 누락/스킵되는 합성 참조 내의 부분들, 즉 소스 트랙의 슬라이스들이 있을 수 있으며, 64의 불필요한 부분들을 단순히 누락/스킵하기 위한 메커니즘이 있을 수 있다.
도 3과 관련하여 개요가 설명된 방식으로, 데이터 스트림(52) 내의 슬라이스들(54)은 데이터 스트림들(14, 16) 내의 대응하는 슬라이스들(26)과 비교하여, 신택스 엘리먼트들(60)이 섹션(22)의 원주에 정확하게 맞춰지도록, 즉 예를 들어, 영상들(18)의 상부 좌측 코너 대신에 섹션(22)의 상부 좌측 코너를 참조하는 식으로 수정될 수 있다.
따라서 이 동작 특정 비디오 데이터 스트림(52)이 도 2의 파선 박스로 예시된 바와 같이 비디오 디코더(72)에 공급된다면, 비디오 디코더가 비디오(74)를 출력하는데, 그 비디오의 영상들(76)은 단지 장면의 섹션(22)만을 보여주고 이에 따라, 단지 타일들(D, E, G, H)로만 구성된다.
도 1의 설명과 유사한 방식으로, 클라이언트(50)는 하드웨어, 펌웨어 또는 소프트웨어로 구현될 수 있다. 즉, 클라이언트(50)는 전자 회로, 필드 프로그래밍 가능 어레이일 수도 있고, 또는 적절히 프로그래밍된 프로세서를 포함할 수도 있으며, 이는 비디오 디코더(72)에 적용된다. 비디오 디코더(72)와 관련하여, 이는 클라이언트(50) 내에 포함될 수도 있고 또는 그 외부에 있을 수도 있다는 점이 주목될 수 있다.
지금까지 설명된 방식으로, 합성(62)은 데이터 스트림(14)에 대한 적합성을 유지하는 방식으로 비디오 데이터 스트림(52)을 야기했다는 점이 명백해져야 한다. 예를 들어, 앞서 설명한 바와 같이, 비디오 적합성은 예를 들어, 각각의 비디오 데이터 스트림으로 코딩된 비디오의 하나의 영상에 속하는 데이터 스트림 내의 슬라이스들이 예를 들어, 래스터 스캔 순서로, 예를 들어 행 단위로, 위에서부터 아래로 영상들의 타일들(24)을 가로지르는 특정 타일 순서를 따라 정렬될 것을 요구했을 수 있다. 비디오 데이터 스트림(14)에서, 예컨대 특정 영상에 속하는 타일들은 ABC의 순서로 A에서 I까지 가로지르게 되고, 데이터 스트림(52)에서, 수정된 슬라이스들(54)은 슬라이스들이 D, E, G, H의 순서로 비디오(74)의 하나의 영상(24)의 타일들에 속하고, 다음 영상의 타일들에 관한 슬라이스가 뒤따르는 식으로 정렬된다. 각각의 수정된 슬라이스(54) 내에서, 신택스 엘리먼트(60)와 같은 신택스 엘리먼트들은 이들의 값들에 대해 보정되었을 수도 있지만, 슬라이스들의 다른 부분들은 어떠한 보정, 즉 복사 부분(70)과 같은 복사된 부분들도 없이 데이터 스트림(52) 내에 채택되었을 수 있다. 슬라이스(28)와 같은 다른 슬라이스들이 역시 데이터 스트림(52) 내에서 수정될 수 있다. 예를 들어, 슬라이스(28)의 수정된 버전을 나타내기 위해 도 2에 슬라이스(78)가 예시적으로 도시된다. 따라서 데이터 스트림(52) 내의 슬라이스들(54)의 시퀀스는 수집 트랙들의 세트(32)에서 명령들의 대응하는 순서의 실행으로부터 발생한다. 비디오(12)를 재구성하도록 비디오 데이터 스트림(14)을 디코딩할 수 있는 비디오 디코더가 비디오 데이터 스트림(52)에 의해 대안으로 공급되는 경우를 고려함으로써 적합성 유지가 예시될 수 있다. 적합성 유지로 인해, 비디오 디코더는 비디오 데이터 스트림(52)을 디코딩한 결과로, 비디오(74)를 얻을 것이다. 예컨대, 도 4의 비디오 디코더는 도 2의 비디오 디코더(72)일 수 있고, 이에 따라, 도 4에서 동일한 참조 부호가 선택되었다는 점이 주목되어야 한다. 그러나 대안에 따라, 비디오 디코더(72)는 감소된 복잡도 레벨의 비디오 디코더(72)로 인해 원래의 비디오 데이터 스트림(14)을 디코딩하는 것이 가능하지 않을 수 있다는 점이 주목되어야 한다. 예컨대, MPEG 표준들의 용어를 사용하여, 비디오 디코더(72)는 예컨대, 원래의 비디오 데이터 스트림(14)을 디코딩하기에 충분하지는 않지만 축소된 비디오 데이터 스트림(52)을 디코딩하기에는 충분한 프로파일, 레벨 또는 계층에 따른 비디오 디코더일 수 있다. 그럼에도 불구하고, 데이터 스트림들(14, 52)은 둘 다 예컨대, HEVC와 같은 하나의 비디오 코덱에 부합하고 있다.
지금까지 설명된 실시예들을 구현하기 위한 추가 세부사항들을 제공하기 전에, 이해의 편의상 몇 가지 주목들이 제출될 것이다. 예컨대, 상기 설명은 영상들(18)의 이 장면의 하나의 특정 섹션(22)에 특정한 섹션 특정 스트림(16)을 클라이언트에 제공하는 서버(10)의 능력에 초점을 맞추었다. 당연히, 서버(10)는 대응하는 소스 트랙들의 세트(30) 및 수집 트랙들의 세트(32)를, 예시적으로 타일들(, C, E, F)을 포괄하거나 이러한 타일들로 형성되는, 도 1의 파선(80)으로 도시된 이 장면의 다른 어떤 섹션에 대한 대응하는 출력 스트림의 형태로 제공하는 것이 가능할 수 있다. 즉, 두 섹션들(22, 80)은 모두 영상들(18)의 타일들의 대응하는 n×m 서브어레이로 구성된 장면의 직사각형 섹션들이다. 소스 트랙들의 세트(30)는 다음에 타일들(B, C, E, F)에 관한 슬라이스들을 전달할 것이고, 하나 또는 그보다 많은 수집 트랙들의 세트, 즉 32는 감소된 섹션 특정 비디오 데이터 스트림의 대응하는 합성을 수행할 것이며, 감소된 섹션 특정 비디오 데이터 스트림의 디코딩은 장면 섹션(24)에 대응하는 영상들을 야기한다. "지원되는" 섹션들의 수는 심지어 2보다 더 클 수 있다. 그 외에도, 부분 스트리밍이 지원되는 임의의 섹션, 이를테면 22 및 80은 인접한 한 세트의 타일들을 커버하거나 그와 같은 폭이 되도록 제한되지 않는다. 오히려, 섹션을 형성하는 세트는 인접하지 않은 한 세트의 타일들로 구성될 수 있다. 예를 들어, 영상들(18)로 도시된 장면이 360° 파노라마 뷰였다고 상상한다. 그 경우, 의미 있는 섹션은 또한 타일들(C, A, F, D)을 커버하는 섹션과 같이 장면의 한 에지에서부터 대향 에지까지 확장하는 섹션들로 형성될 수 있다. 독립적으로 코딩된 타일들의 경우, 대응하는 수집 트랙은 대응하는 소스 트랙들을 부합하는 섹션 특정 비디오 데이터 스트림으로 합성하여, 서브 섹션(AD)과 나란히 스티치된 서브 섹션(CF)을 보여주는 섹션 특정 영상들을 야기한다. 심지어 영상들(76)의 섹션 내의 타일들을 영상들(18) 내에서의 타일들의 상대 위치들에 대해 재배열하는 것은 애플리케이션에 따라 실현 가능하고 중요할 수 있다.
더욱이, 상기 설명은 영상들이 각각 데이터 스트림들(14, 52)로 코딩되는 방식과 관련하여 다소 일반적이었다. 일례에 따르면, 영상들(18)은 타일들(24)의 타일 경계들에 걸친 코딩 상호 종속성들의 중단과 함께 비디오 데이터 스트림(14)의 슬라이스들(26)로 인코딩된다. 영상들(18)은 오히려 동일한 영상, 즉 각각의 타일을 포함하는 영상의 공간적으로 별개인 부분을 커버하는 임의의 다른 타일(24), 또는 임의의 다른 영상과 공간적으로 별개인 부분을 커버하는 임의의 다른 타일과는 독립적인 단지 하나의 타일(24)만을 각각의 슬라이스(24)가 인코딩하도록 비디오 데이터 스트림(14)의 슬라이스들(26)로 인코딩될 수 있다. 예컨대, 특정 영상의 타일(E)은 동일한 영상 내에 있는지 아니면 임의의 다른 영상 내에 있는지와 관계없이 임의의 타일(A, B, C, D, F, G, H, I)에 대한 어떠한 코딩 상호 종속성도 없이 대응하는 슬라이스(26)로 인코딩될 수 있다. 이러한 제약은 비디오(12)에 기초하여 데이터 스트림(14)을 형성하는 인코더가 모션 보상 예측을 형성하기 위해 타일(E) 이외의 타일들의 샘플들을 필요로 하는 참조 영상의 부분들을 가리키지 않도록 현재 타일의 타일 경계 근처에서 이용 가능한 모션 벡터들을 제한할 것을 요구할 수 있다. 그러나 하이브리드 비디오 코딩 코덱과 같은 예측 코덱을 사용할 의무는 없다는 점이 주목되어야 한다. 예를 들어, 대안으로, 영상들(18)은 모션 보상이 있는 또는 없는 웨이블릿 코딩, 무손실 코딩 기술 등을 사용하여 코딩될 수 있다. 더욱이, 영상들(18)의 코딩에 활용되는 공간 상호 종속성들은 대부분 비교적 작은 거리들로 제한되기 때문에, 영상(18)은 심지어 타일 경계들(25)에 걸친 코딩 상호 종속성들의 중단 없이 비디오 데이터 스트림(14)의 슬라이스들(26)로 코딩될 수 있다. 축소 비디오 데이터 스트림(52)의 재구성시, 섹션(22)을 잘라내고 그 주변들을 비디오(74)의 영상들(76) 내에 있지 않은 것으로서 처리하는 것에 의한 대응하는 정보의 손실은 재구성 왜곡들을 야기할 것이지만, 영상들(76)의 둘레를 따라 제한된 영역으로 인해, 영상들(76)의 결과적인 품질은 애플리케이션에 따라 충분할 수도 있다. 아래에 제시된 세부사항들과 관련하여, 이러한 세부사항들은 구체적으로 스트림(52)에 대한 파일 포맷에 대한 일례로서 ISO 기본 미디어 파일 포맷을 참조한다는 점이 또한 주목되어야 한다. 그러나 스트림(52)은 이 파일을 사용하여 포맷화되는 것으로 제한되지 않는다. 오히려, 임의의 다른 파일 포맷이 또한 사용될 수도 있다. 도 1에 예시된 바와 같이, 스트림(16)은 사용된 파일 포맷에 따라, 소스 트랙들의 세트(30)를 정의하는 파일 헤더(90) 및 스트림(16)으로 표현된 파일에 포함된 수집 트랙들의 세트(32)를 예컨대, 소스 트랙들의 세트(30)로부터의 수집 트랙들의 세트(32)의 종속성과 같이 트랙들(30+32) 사이의 상호 종속성들의 정의와 함께 포함할 수 있다. 더욱이, 파일 포맷에 따라, 세트들(30, 32) 내의 개개의 트랙들을 가리키기 위해 파일 헤더(90)에 포인터들이 포함될 수 있다. 이를 위해, 스트림(16)은 액세스 유닛들 또는 샘플들로 세분될 수 있는데, 이들 각각은 영상들(76)의 하나의 영상 시간 인스턴트에 대응한다.
ISO 기본 미디어 파일 포맷과 같은 파일 포맷을 사용하여, 타일들(24)의 특정 서브세트의 판독을 가능하게 하는 부가 정보를 파일(16)에 저장하고, 임의의 표준 준수 디코더(72)에 의해 디코딩될 수 있는 부합하는(예를 들어, HEVC) 비트스트림(52)을 생성하는 것이 가능하다.
이러한 디코더(72)의 출력(74)은 전체 비디오 포맷의 직사각형 서브세트(22)일 수 있다.
서로 다른 타일 서브세트들(22, 80)에 대해 서로 다른 슬라이스 헤더들을 가질 필요가 있을 수도 있다는 점이 주목되어야 한다. 슬라이스 헤더들이 각각의 타일 서브세트(22, 80)에 대해 반드시 정확한 CuAddr(60b)을 갖도록 하기 위해, 데이터의 다수 버전들이 생성될 수 있다. 따라서 정확한 NAL 유닛이 정확한 CuAddr(60b)과 함께 저장되는 파일(16)의 서로 다른 위치들을 가리키는, 각각의 타일 서브세트(22, 80)에 대한 전용 수집 트랙들(32)을 생성하는 것이 가능할 것이다. 그러나 이것은 일부 타일 서브세트 특정 조정들로 모든 비트스트림을 복제하는 것으로 이어져, 여러 가지 약점들을 야기할 것이다:
- 파일 크기가 증가될 것이다(많은 경우들에는: 배가됨)
- 다른 타일 서브세트들을 동시에 송신하는 것은 전송 데이터 레이트를 증가시킬 것이다(많은 경우들에는: 배가함)
- 서로 다른 서브세트들에 대해 동일한 타일들로서 캐싱을 수행하는 것에 대한 악영향이 서로 다른 트랙들 및 비디오 데이터에 대응할 것이다.
따라서 지금까지 설명된 실시예들은 다른 방식을 선택하였다:
1. 원래의 비트스트림의 타일들(24)의 슬라이스들(26)이 개별 트랙들(30A-I)에 저장된다. 각각의 전체 영상(18)은 파일(16)에, 이를테면 헤더(90)에 또한 저장된 일부 메타데이터로 주어진 미리 정해진 순서로 각각의 트랙(30A-I)의 하나의 샘플을 연결하는 것에 대응한다.
2. 특정 타일 서브세트(22)에 대해, 원래의 비트스트림을 형성하는 트랙 세트(30)로부터 선택된 정보를 수집하는 추가 트랙(32)이 생성된다.
3. 다수의 '수집' 트랙들, 일반적으로 타일 서브세트(22 또는 80)당 하나의 이러한 트랙이 생성될 수 있다.
4. '수집' 트랙의 각각의 샘플은 하나 또는 그보다 많은 구성자(34) 어레이들로 구성된다(도 5d 참조).
5. 각각의 구성자 어레이의 해석은 NAL 유닛 또는 슬라이스(54)가 된다.
6. 세 가지 타입들의 구성자들이 사용될 수도 있다:
- 즉시 데이터(immediate data) 구성자들, 이들은 타일 서브세트에 대해 특별히 생성된 데이터(100)를 보유한다(도 5a 참조). 이것은 예컨대, 타일 서브세트(22)에 대한 샘플에 각각의 슬라이스의 유효 slice_header를 포함시키는 데 사용될 수 있다.
- 다른 트랙을 각각 가리키는 샘플 구성자들, 이들은 그 참조된 트랙(30D…30H)의 샘플로부터 검색되는 정보를 선택한다(도 5b 참조). 이것은 유효 slice_header 또는 슬라이스 페이로드를 가리키는 데 사용될 수 있다(오프셋을 사용함으로써 페이로드에 인접한 slice_header를 스킵함). 복사된 부분의 오프셋(102) 및 길이(104)는 연산자들일 수 있다.
- 참조된 트랙의 샘플 엔트리를 각각 가리키며 (파라미터 세트와 같은) 정보를 선택하는 샘플 엔트리 구성자들, 도 5c 참조.
주: 파일 포맷 표준들로 이미 지정된 구조들과 달리, 여기에 설명된 방법은 샘플들의 임의의 부분들을 연결하고 이들을 샘플에 주어진 임의의 데이터와 연결하여 출력 샘플을 형성할 수 있다. 이전에 지정된 구조들은 다른 트랙의 데이터를 참조할 수 있지만, 이들이 설계된 목적들에 특정한 어떤 헤더 데이터, 이를테면 RTP 패킷들만을 생성할 수 있는 RTP 힌트 샘플들― 이들은 다른 트랙들로부터 데이터를 수집하지만 ―을 생성할 것이고, 임의의 데이터, 또는 하나 또는 그보다 많은 NAL 유닛들만을 생성할 수 있는 추출기 NAL 유닛들― 이는 다른 트랙으로부터 수집된 데이터 블록의 길이를 표시함으로써 절단될 수 있지만 ―을 포함할 수 있다.
새로운 신택스 엘리먼트들에 대한 지원이 필요함을 나타내는 새로운 브랜드가 지정될 수 있다.
수집 트랙의 샘플들이 레거시 판독기들(50)에 의한 파싱을 가능하게 하는 호환 가능한 신택스(도 5e 참조)를 사용하여 새로운 샘플들을 무시한다면, 그러한 '수집' 트랙들의 샘플 엔트리에 기존의 코드 포인트가 사용될 수 있다.
N×M 타일들(24)로 절단된 영상(18)의 모든 가능한 직사각형(인접한) 타일 서브세트들(22(80))의 수(C)는 식 1을 사용하여 계산된다. N ≤ 8 그리고 M ≤ 8에 대한 결과 값이 표 1에 도시된다.
식 1 :
표 1 ― N×M 배열의 가능한 인접한 직사각형 타일 서브세트들의 수
| 열들의 수(N) | |||||||||
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | ||
| 행들의 수(M) | 1 | 1 | 3 | 6 | 10 | 15 | 21 | 28 | 36 |
| 2 | 3 | 9 | 18 | 30 | 45 | 63 | 84 | 108 | |
| 3 | 6 | 18 | 36 | 60 | 90 | 126 | 168 | 216 | |
| 4 | 10 | 30 | 60 | 100 | 150 | 210 | 280 | 360 | |
| 5 | 15 | 45 | 90 | 150 | 225 | 315 | 420 | 540 | |
| 6 | 21 | 63 | 126 | 210 | 315 | 441 | 588 | 756 | |
| 7 | 28 | 84 | 168 | 280 | 420 | 588 | 784 | 1008 | |
| 8 | 36 | 108 | 216 | 360 | 540 | 756 | 1008 | 1296 | |
특정 크기인 n×m의 가능한 직사각형 타일 서브세트들(22)의 수는 식 2를 사용하여 계산된다(앞서 설명한 바와 같이, 영상 크기 N×M). 3 ≤ N ≤ 8 그리고 2 ≤ M ≤8인 경우, N×M의 영상으로부터의 3×2의 타일 서브세트에 대한 결과 값(C3,2)이 표 2에 도시된다.식 2:
표 2 ― N×M 배열의 가능한 3×2 타일 서브세트들의 수
| 열들의 수(N) | |||||||
| 3 | 4 | 5 | 6 | 7 | 8 | ||
| 행들의 수(M) | 2 | 1 | 2 | 3 | 4 | 5 | 6 |
| 3 | 2 | 4 | 6 | 8 | 10 | 12 | |
| 4 | 3 | 6 | 9 | 12 | 15 | 18 | |
| 5 | 4 | 8 | 12 | 16 | 20 | 24 | |
| 6 | 5 | 10 | 15 | 20 | 25 | 30 | |
| 7 | 6 | 12 | 18 | 24 | 30 | 36 | |
| 8 | 7 | 14 | 21 | 28 | 35 | 42 | |
도 2 내지 도 5와 관련하여 제시된 상기 설명은 가능한 구성 명령들에 관한 상세한 예들을 나타낼 뿐만 아니라, 섹션(22)이 우선 n×m 타일 폭의 어레이가 아니라 단지 하나의 타일 폭이 될 수 있고, 두 번째로는 서버(10) 및 클라이언트(50)가 앞서 개요가 서술된 방식으로 동작할 수 있을 가능성을 드러냈지만, 여러 개의 섹션들 중 하나를 선택할 가능성에 관해서는, 그 수가 하나(22) 또는 2개(22/80)로 제한되지 않는다. 서버(10)가 섹션 특정 비디오 데이터 스트림 및 이러한 섹션들의 위치들의 검색을 이용 가능하게 하는 섹션들의 크기에 따라, 타일 경계들(25) 모두가 또한 서버(10)에 의해 지원되는 섹션들 중 임의의 섹션의 둘레를 형성하는 것은 아닐 수도 있다. 이는 결국, 본 출원의 실시예에 따라, 영상들(18)이 서버(10)에 의해 지원되는 섹션들 중 임의의 섹션의 둘레에 함께 위치된 타일 경계들(25)에만 걸친 코딩 상호 종속성들의 중단과 함께 비디오 데이터 스트림(14)의 슬라이스들(26)로 인코딩될 수 있음을 의미한다. 예를 들어, 섹션들(22, 80)만을 지원하는 경우, 섹션들(22, 80)의 둘레들, 즉 단지 타일 쌍들(AD, BE, EF, HI, AB, DE, EH, FI) 사이의 타일 경계들(25)에만 함께 위치되는 코딩 상호 종속성들을 중단시킴으로써 그러한 타일 경계들(25)만이 영상들(18)을 슬라이스들(26)로 인코딩하는 것에 의해 고려될 것이다. 그러나 더 높은 밀도의 섹션들의 경우, 모든 타일 경계들(25)은 예를 들어, 일 실시예에 따라 코딩 상호 종속성 중단을 야기할 것이다. 이와 관련하여, 이전 영상들에 대한 종속성을 또한 제한하는 앞서 언급한 가능성에, 즉 섹션 둘레들 중 임의의 둘레를 가로지르는 시간 참조 영상들의 부분들에 대한 종속성이 없는 식으로 모션 예측이 제한된다는 점에서 동일한 영상들의 타일들 간의 코딩 상호 종속성 중단에 관해 방금 이루어진 것과 동일한 서술이 또한 적용될 수 있다는 점이 다시 주목된다.다음의 실시예들은 서버(10)가 특정 섹션에 관한 특정 스트림, 이를테면 섹션(22)에 관한 스트림(16)을 어떻게 이용 가능하게 하는지에 관한 가능한 세부사항들을 제공한다. 후속 세부사항들의 이해를 용이하게 하기 위해, 비디오(12) 및 대응하는 소스 트랙들(30A 내지 30I)을 다시 보여주는 도 6이 참조된다. 여기서는 도 1의 예가 선택되었는데, 이에 따라 각각의 소스 트랙이, 하나의 영상에 관한 한, 각각의 영상의 정확하게 하나의 타일에 속하는 슬라이스들과 다른 영상들의 함께 위치된 타일들의 슬라이스들을 통합한다. 따라서 소스 트랙(30A)은 영상들(18)의 타일 A에 관한 모든 슬라이스들(26)을 통합한다. 마찬가지로, 소스 트랙(30B)은 모든 영상들(18)의 타일 B에 관한 모든 슬라이스들(26)을 전달한다. 각각의 소스 트랙(30A 내지 30I)에서, 하나의 시간 인스턴트 또는 영상(18)에 속하는 슬라이스들(26)은 나중에 클라이언트에 스트리밍되는 파일 포맷 스트림에서 하나의 "샘플"을 형성한다. 샘플들(영상들)의 시퀀스, 즉 영상들의 특정 시퀀스(120)에 관한 슬라이스들의 연속적인 런들은 대응하는 URL을 통해 클라이언트에 의해 개별적으로 검색 가능한 세그먼트(122)를 형성한다. 도 6에서, 예를 들어, 영상들(18)의 시퀀스(120)의 타일 A를 안에 인코딩한 슬라이스들(26)의 시퀀스는 세그먼트(122)를 형성하고, 그 다음에 소스 트랙(30A)의 후속 세그먼트(126)를 형성하는 영상들(18)의 후속 세그먼트(124)의 타일 A를 안에 인코딩한 슬라이스들(26)이 이어지는 식이다. 동일한 방식으로, 다른 소스 트랙(30B 내지 30I)이 또한 시간상 샘플들(영상들)(120, 124) 및 세그먼트들(122, 126)로 세분된다.
다음에 기술되는 실시예들에서, 각각의 섹션에 대한 수집 트랙들의 세트(32)가 유사한 방식으로 이용 가능하게 된다. 도 6에서, 예를 들어, 서버는 장면의 4개의 서로 다른 섹션들(221 내지 224), 즉 각각이 단지 섹션(들) 위치가 서로 다른 2×2 폭인 섹션들의 검색을 이용 가능하게 하는 것이 예시된다. 이러한 섹션들(221 내지 224), 각각에 대해, 하나의 수집 트랙(321 내지 324)이 서버에서 이용 가능하게 된다. 각각의 수집 트랙(321 내지 324)이 또한 시간상 샘플들 및 세그먼트들로 구조화된다. 각각의 샘플(128)에 대해, 수집 트랙(321)과 같은 수집 트랙은 구성 명령들(34)을 포함하며, 이러한 명령들의 순차 실행은 대응하는 섹션(221)만을 보여주는 축소된 섹션 특정 비디오 데이터 스트림의 대응하는 액세스 유닛의 합성을 야기하는데, 즉 섹션(221)을 보여주는 영상을 재구성하는 대응하는 슬라이스들의 합성을 야기한다. 합성을 위해, 수집 트랙(321)은 단지 소스 트랙들(30A, 30B, 30D, 30E)을 필요로 한다. 유사한 방식으로, 수집 트랙들(322 내지 324)은 대응하는 섹션(222 내지 224)에 대해 각각의 샘플/영상(128)에 대한 구성 명령들(34)을 포함한다. 단지 소스 트랙들(30A 내지 30I)처럼, 수집 트랙들(321 내지 324)은 대응하는 수집 트랙(321 내지 324)의 샘플들(128)의 대응하는 시퀀스를 각각이 전달하는 세그먼트들(122, 126)의 단위들로 클라이언트에 의해 개별적으로 검색 가능하다. 따라서 도 6의 예에서, 클라이언트는 섹션(221)에 관한 섹션 특정 비디오 데이터 스트림을 얻기 위해, 참조된 소스 트랙들(30A, 30B, 30D, 30E)과 함께 수집 트랙(321)을 검색할 필요가 있다.
따라서 도 6의 실시예에 따르면, 클라이언트(50)는 소스 트랙들(30A 내지 30I) 및 수집 트랙들(321 내지 324) 각각을 별개의 표현들로 취급하고, 예를 들어, 클라이언트(50)로부터 서버(10)로의 대응하는 요청시, 서버(10) 상에서 이용 가능한 미디어 데이터를 기술하는 파일인 미디어 프레젠테이션 기술과 같은 매니페스트서 클라이언트에 상황을 시그널링할 것이다. 그러나 이는 서버(10)에 의해 클라이언트(50)에 제공되는 미디어 프레젠테이션 기술이 상당한 양의 정보를 포함할 필요가 있음을 의미한다. 예를 들어, 각각의 표현에 대해, 즉 30A 내지 30I 그리고 321 내지 324(13개의 표현들 다 함께) 각각에 대해, 미디어 프레젠테이션 기술은 기본 URL 또는 URL 기반의 표시, 영상 크기의 표시, 즉 소스 트랙들(30A 내지 30I)의 경우에는 타일 크기의 표시 그리고 수집 트랙들(321 내지 324)의 경우에는 섹션 크기의 표시, 기본 URL에 대한 또는 이와 결합하여 대응하는 표현의 세그먼트들의 URL들을 결정하기 위한 계산 규칙을 정의하는 세그먼트 또는 URL 템플릿 및/또는 대응하는 표현이 의존하는 표현들의 표시, 이를테면 표현(321)이 의존하는 참조 표현들로서 표현들(30A, 30B, 30D, 30E)의 표시를 포함할 수도 있다. 이것은 상당한 양의 데이터이다.
이것은 도 7과 관련하여 예시되는데, 이는 4×3 타일 분할 및 3×2 크기의 대응하는 4개의 섹션들의 예시적인 경우를 예시한다. 후속하는 설명에서, 섹션들(221 내지 224)은 간혹 관심 영역(RoI: region of interest)들로 불린다는 점이 주목된다. 또한, 수집 트랙들에 관한 표현들은 수집 표현들이라고 하는 한편, 소스 트랙들에 대응하는 표현들은 타일 표현들이라고 한다.
가능한 결합들의 수는 감소된 수의 제공된 가능한 RoI 치수들을 선택함으로써, 예컨대 2×2, 3×2 또는 3×3 타일 RoI들로만 제한함으로써 감소될 수 있지만, 미디어 프레젠테이션 기술(MPD: Media Presentation Description)에서 DASH로 기술된 추가 트랙들 또는 표현들의 수가 여전히 매우 높을 것이다. 도 7은 3×2 RoI들이 제공될 4×3 타일화된 파노라마 비디오에 대해 설명된 솔루션이 어떻게 될 것인지를 개념적으로 보여준다.
수집 표현들 각각은 @dependencyId를 사용하여 이들이 원래의 표현들인 타일 표현 Rep. Tile 1 내지 Rep. Tile 12 중에서 어떤 표현들에 의존하는지를 나타낼 것이다.
다음에 설명되는 실시예는 세그먼트 템플릿 개념을 표현들의 세트, 즉 수집 트랙들에 관한 표현들의 세트로 확장함으로써 수집 트랙들에 대해 많은 중복 정보를 담고 있는 거대한 미디어 프레젠테이션 기술들을 갖는 문제를 극복하고자 한다. 각각의 수집 표현을 개별적으로 기술하는 미디어 프레젠테이션 기술 대신에, 다음 실시예에 따른 미디어 프레젠테이션 기술은 섹션의 공간 위치에 의존하는 수집 표현들의 세그먼트들의 URL들을 결정하기 위한 계산 규칙을 정의하는 URL 템플릿에 미디어 프레젠테이션 기술 또는 매니페스트를 제공한다. 계산 규칙은 계산된 URL들이 모든 수집 트랙들(321 내지 324)의 세그먼트들 사이에서 상호 구별되게 할 것이다. 섹션들(221 내지 224)의 크기가 동일하여 매니페스트 또는 미디어 프레젠테이션 기술이 모든 수집 표현들(섹션들(221 내지 224))에 대해 각각이 공통적인 수집 표현들의 특징들을 기술할 수 있다면 이 개념이 사용될 수 있다. 예를 들어, 미디어 프레젠테이션 기술 또는 매니페스트는 모든 수집 표현들에 대한 영상 크기, 코딩 프로파일 및/또는 기본 URL을 단 한 번만 나타낼 수 있다. URL 또는 세그먼트 템플릿은 또한 수집 표현들에 대해 단 한 번만 매니페스트 또는 미디어 프레젠테이션 기술 내에서 시그널링될 것이다. 현재 검색된 수집 표현들에 대한 대응하는 소스 트랙들의 세트는 검색된 수집 표현 자체가 속하는 각각의 섹션에 의해 커버되는 타일들에 대한 지식에 기초하여 클라이언트에 의해 결정될 수 있다.
즉, 후자의 실시예는 URL들에 대한 세그먼트 템플릿들을 사용하여 수집 표현의 검색을 가능하게 한다. 이는 템플릿들을 사용하는 GatheringRepresentation의 개념으로 구성된다. 위의 도 7에 도시된 모든 수집 표현들은 영상 치수들, 영상 종횡비, 프로파일, 레벨 등과 같은 동일한 특성들을 가져야 하지만, 이러한 표현들은 고해상도 비디오의 다른 표현들과 오른쪽 최상부 위치에 대한 종속성이 다르므로, 템플릿에 기초할 그리고 원하는 수집 표현에 속하는 세그먼트 각각의 특정 URL이 도출될 수 있는 고해상도 비디오의 오른쪽 최상부 위치에 기초할 URL을 갖는 표현이 제공될 수 있다.
시그널링 측면에서의 인스턴스화는 수집 표현들에 대한 URL 템플릿에 대한 일례를 보여주는 도 8에 도시된 바와 같을 수 있다.
기술된 시그널링은 URL들을 구축하고 RoI의 위치에 기초하여 필요한 타일들을 도출하는 것을 가능하게 할 것이다. 보다 구체적으로, 이 수집 트랙 템플릿 기반 솔루션을 사용하기 위해, MPD에 서로 다른 엘리먼트들 및 속성들이 추가된다. 먼저, 타일 표현들이 서로 다른 AdaptationSets로 분리될 수 있으며 기존의 공간 관계 디스크립터(SRD: Spatial Relationship Descriptor)가 사용될 수 있다. 그런 다음 GatheringRepresentations가 임베드되는 추가 AdaptationSet가 제공될 수 있다. GatheringRepresenations이 AdaptationSet 내에 포함된다면, 다른 표현들("정상 표현들")이 동시에 제공될 수 없다. GatheringRepresentations의 존재는 @GatheringRepresentationsPresent라 불리는 새로운 속성에 의해(또는 대안으로 디스크립터, 예컨대 이 특별한 표현들의 존재를 나타낼 수 있게 하는 고유 자원명(URN: uniform resource name)을 추가함으로써 EssentialProperty 디스크립터를 사용하여) 표시될 수 있다. GatheringRepresentation들과 함께 사용되도록 다운로드될 수 있는 타일 표현들을 포함하는 AdaptationSet들은 @BaseAdaptationSetIds 속성으로 표시된다. 정상 표현들에서뿐만 아니라 GatheringRepresentations에 사용된 RepresenationBaseType의 기존 @width 및 @height 속성들이 주어진 GatheringRepresentation을 사용하는 데 필요한 타일 표현들의 수를 도출하는 데 사용될 수 있다. 추가로, @sameQualityRanking 속성이 GatheringRepresentations와 함께 서로 다른 품질들을 갖는 서로 다른 타일들의 표현들이 사용되지 않아야 함을 나타내는 데 사용될 수 있다. 템플릿 URL은 GatheringRepresentations의 세그먼트들의 URL들을 도출하는 데 사용되므로, 이러한 URL 템플릿 내에 배치될 수 있는 파라미터들을 도출하기 위한 메커니즘이 필요하다. DASH 4에서는 템플릿 URL 대체에 식별자들이 사용된다.
| $<식별자>$ | 대체 파라미터 | 포맷 |
| $$ | 이스케이프 시퀀스(escape sequence)인데, 즉 "$$"는 단일 "$"로 대체된다. | 해당 사항 없음 |
| $RepresentationID$ | 이 식별자는 포함하는 표현의 Representation@id 속성의 값으로 대체된다. | 포맷 태그는 존재하지 않을 것이다. |
| $Number$ | 이 식별자는 대응하는 세그먼트의 수로 대체된다. | 포맷 태그가 존재할 수 있다. 포맷 태그가 존재하지 않는다면, 폭 = 1인 디폴트 포맷 태그가 사용될 것이다. |
| $Bandwidth$ | 이 식별자는 표현@bandwidth 속성 값의 값으로 대체된다. | 포맷 태그가 존재할 수 있다. 포맷 태그가 존재하지 않는다면, 폭 = 1인 디폴트 포맷 태그가 사용될 것이다. |
| $Time$ | 이 식별자는 액세스되는 세그먼트에 대한 SegmentTimeline@t 속성의 값으로 대체된다. $Number$ 또는 $Time$ 중 어느 하나가 사용될 수 있지만 동시에 둘 다 사용될 수는 없다. | 포맷 태그가 존재할 수 있다. 포맷 태그가 존재하지 않는다면, 폭 = 1인 디폴트 포맷 태그가 사용될 것이다. |
$Number$ 및 $Time$가 표현 내의 주어진 세그먼트를 식별하고 그 세그먼트의 URL을 생성하는 데 사용된다. $RepresentationID$ 및 $Bandwidth$가 표현을 식별하는 데 사용될 수 있다. 첫 번째 식별자는 고유 식별자에 대응하는 한편, 두 번째 식별자는 하나보다 많은 표현 간에 공유될 수 있다. 따라서 실제 타일들을 포함하는 정상 표현들을 기초로 GatheringRepresentation의 $RepresentationID$를 도출하기 위한 규칙이 필요하다. 이는, GatheringRepresentation에 사용되는 경우의 SegmentTemplate 엘리먼트가 이 식별자를 포함해야 하고, $RepresentationID$를 생성하기 위한 메커니즘을 제공하는 새로운 구성자(또는 기존 구성자들의 확장, 예컨대 EssentialProperty 디스크립터)가 포함될 필요가 있음을 의미한다. 이는 위에서 idDerivationMechanism 엘리먼트로 도시된 XML 신택스에 추가된다. 일례는 예컨대, @schemeIdURI이 "urn:mpeg:dash:GatheringRepresentationIDderivation:2015"와 같고 폭 @value가 1과 같은 경우일 것이며, 이는 타일 표현들의 @id 속성들이 연결되어 대응하는 GatheringRepresentation $RepresentationID$를 생성함을 의미한다.설명된 방법은 템플릿 기반 표현을 사용함으로써 MPD의 크기를 줄이는 데 도움이 될 것이다. 그러나 이러한 접근 방식은 여전히 클라이언트 측으로부터 수집 표현 세그먼트에 대한 추가 HTTP GET을 발행할 것을 요구할 것이고, 서버 측으로부터 제공될 필요가 있을 많은 수의 작은 파일들로 이어질 것이며, 이는 서버들과 캐시들에 불리한 것으로 알려져 있다. 그러나 이것은 'moov' 박스에서 트랙들의 수를 낮게 유지할 것인데, 이는 Gathering Rep.만이 매번 다운로드되고 따라서 동일한 해상도를 갖는 모든 Gathering Rep.가 동일한 트랙을 가질 수 있으며, 이는 'moov' 박스를 작게 유지할 수 있게 하기 때문이다.
트랙 종속성들은 'moov' 박스에서 그리고 보다 명시적으로는 'trak' 박스에서 기술되기 때문에, moov 박스는 다음에, 모든 종속성들의 수퍼 세트를 포함해야 하며, @dependencyId는 다음에 MPEG-DASH에서 정확한 종속성들을 제공할 것이다. 이것은 모든 종속 트랙들이 매번 존재하지는 않을 'tref' 박스 내에서 시그널링되게 할 것이며, 이는 서로 다른 트랙들을 참조하는 다수의 구성자들을 갖는 명시적 재구성을 사용하는 AU 재구성만이 가능할 것이고 (원하는 RoI에 속하는) 서로 다른 트랙들로부터 서로 다른 구성자들을 수집하는 암시적 재구성은 가능하지 않을 것임을 의미할 것이다. 이 사실은 다수의 수집 트랙들 사이의 어떤 종류의 "중복된" 시그널링으로부터의 어떤 오버헤드로 이어질 것이다.
도 9는 서버 측에서 세그먼트들을 수집하기 위한 많은 수의 작은 파일들이 존재할 것임을 보여준다.
따라서 상기 설명은 별개의 표현들, 즉 타일 표현들 및 수집 표현들로서 소스 트랙들과 수집 트랙들의 별개의 처리를 가능하게 하기 위해 미디어 프레젠테이션 기술(140)(도 8)의 크기를 어떻게 감소시킬지에 대한 가능성을 제공했지만, 도 9는 표현들의 세그먼트에 대응하는 각각의 시간 간격 동안 서버(10)로부터 클라이언트(50)에 의해 검색될 세그먼트들의 수는 상당하다는 것을 밝혀냈다. 도 9는 해칭을 사용하여 수집 표현들의 세그먼트들을 보여줌으로써 한편으로는 타일 표현들 중 임의의 타일 표현의 세그먼트들 그리고 다른 한편으로는 수집 표현들의 세그먼트들을 구별한다. 도 9에 도시된 바와 같이, 클라이언트(50)는 현재 다운로드된 수집 표현의 각각의 세그먼트(142)에 대해 N개의 타일 세그먼트들(144)을 검색할 필요가 있는데, 여기서 N은 현재 다운로드된 수집 표현이 연관되는 섹션이 공간상 커버하는 타일들의 수이다. 도 6의 예에서는, 예컨대, 4개의 세그먼트들이 현재 다운로드된 비디오 섹션(221 내지 224)에 대해 클라이언트(50)에 의해 검색되어야 할 것이다. 그러나 각각의 세그먼트 검색은 클라이언트(50)로부터 서버(10)로 전송될 대응하는 요청을 필요로 하기 때문에, 특히 수집 세그먼트들(152)이 타일 세그먼트들(144)과 비교하여 다소 작다는 사실을 고려할 때, 그러한 세그먼트들의 추가 전송을 피하는 것이 유리할 수 있다.
서버들 및 CDN들에 불리한 다수의 작은 파일들의 문제를 피하기 위해, 다른 실시예는 다음에 도시된 바와 같이 각각의 표현에서 그리고 따라서 (서브)세그먼트 2 트랙들을 갖는 것으로 구성된다. 첫 번째 트랙은 다른 타일들과 독립적으로 재생될 때 각각의 타일(또는 동일한 트랙에 더 캡슐화될 때 타일들의 그룹)의 샘플들을 복구하는 방법만을 설명하는 일반적인 비디오 트랙에 대응할 것이다. 도 10을 확인하고 도 9와 상황을 비교한다.
수집 트랙의 경우, 몇 가지 옵션들이 있을 것이다.
첫 번째는 앞서 설명한 기술들의 사용으로 구성되는데, 이는 원하는 RoI의 상부 좌측 타일의 추가 트랙(수집 트랙)이 필요한 트랙 종속성들만을 나타낼 것이고 명시적 AU 재구성은 이전에 정의된 구성자들의 명령들을 따름으로써 실행될 것임을 의미할 것이다. 사용자는 어느 것이 좌측 상단 타일인지에 따라(이 도면의 예에서, 이는 처음에 trackN+1 그리고 이후에 trackM이 될 것임) 하나 또는 다른 수집 트랙을 재생할 것이다. 다운로드된 수집 트랙들을 보고 샘플당 단일 슬라이스를 가정하면, 현재 구성자들이 도 11에 도시될 것이다.
다시 도 6을 참조하여 상황을 설명하기 위해, 도 6의 예와 관련하여, 클라이언트(50)가 섹션(221)에 관심이 있을 때 시간 인스턴트/영상/샘플에 대해 검색할 4개의 세그먼트들을, 그러나 수집 트랙들에 대한 추가 표현들을 보내지 않는 개념을 사용하여 나타내는 도 12를 참조한다. 오히려, 수집 트랙들(321 내지 324)은 소스 트랙 자체의 세그먼트들 내에 "은닉" 또는 "포함"된다. 도 12는 각각의 소스 트랙(30A, 30B, 30D, 30E)에 대해 하나씩, 특정 시간 인스턴트 동안 클라이언트(50)에 의해 검색된 4개의 세그먼트들을 도시한다. 앞서 설명한 바와 같이, 수집 트랙들(321 내지 324)은 각각의 수집 트랙에 대응하는 섹션의 상부 좌측 타일을 형성하는 타일에 대응하는 그러한 소스 트랙들의 세그먼트들 내에 포함될 것이다. 예를 들어, 수집 트랙(321)은 소스 트랙(30A)의 세그먼트들 내에서 전달되고, 수집 트랙(322)은 소스 트랙(30B)의 세그먼트들 내에서 전달되며, 수집 트랙(323)은 소스 트랙(30D)의 세그먼트들 내에서 전달되고, 수집 트랙(324)은 소스 트랙(30E)의 세그먼트들 내에서 전달된다. 도 12는 소스 트랙들(30A, 30B, 30D, 30E) 중에서 수집 트랙(321)이 의존하는 소스 트랙들을 검색하기 위해 클라이언트(50)가 검색하는 하나의 샘플을 도시하는데, 이는 소스 트랙(30A)에 포함된다. 수집 트랙(321)의 샘플(128)의 구성 동작들(34)의 시퀀스는 타일들(A, B, D, E)에 대한 합성을 순차적으로 수행한다. 따라서 구성 동작들의 시퀀스는 4개의 부분들(1501 내지 1504)로 세분된다. 동일한 방식으로, 수집 트랙들(322 내지 324)의 대응하는 구성 명령들은 다른 소스 트랙들(30B, 30D, 30E) 내에 포함된다. 클라이언트는 후자의 것들을 필요로 하지 않지만, 이들은 다른 섹션들(222 내지 224) 중 임의의 것에 관심이 있는 클라이언트들을 위해 포함된다. 도 12로부터 알 수 있는 바와 같이, 구성 명령들의 부분들 사이에는, 타일(E)에 관련된 각각의 수집 트랙(321 내지 324)의 한 부분이 있다. 그러나 이러한 부분들은 예컨대, 중괄호(152)의 사용에 의해 예시된 하위 부분에 대해, 매우 유사하고 동일하다. 부분(152)으로 커버되지 않은, 타일(E)에 관련된 부분들의 나머지는 예컨대, 참조 부호들(60a, 60b)을 사용하여 도 3과 관련하여 위에서 논의한 제1 슬라이스 및 슬라이스 어드레스 표시와 관련될 수 있다. 리던던시를 제거하기 위해, 후속하여 상세히 설명되는 개념이 사용될 수 있다. 그러나 이것이 설명되기 전에, 대응하는 섹션(221)의 상부 좌측 타일에 관한 소스 트랙인 단지 소스 트랙(30A) 내에서의 수집 트랙(321)의 전달은 또한 예컨대, 부분들(151 내지 154)이 대응하는 섹션(221)으로 커버되는 타일들에 분배된다는 점에서 달라질 수도 있다는 점이 주목된다. 그 경우, 예컨대, 수집 트랙(321)은 소스 트랙들(30A, 30B, 30D, 30E)에 분배될 것이다.
도 11 및 도 12와 관련하여 이미 앞서 논의한 바와 같이, 많은 중복 정보가 있을 것이다. 추가로, 서로 다른 양의 타일들을 그룹화할 RoI에 대해 가능한 해상도가 하나보다 많이 있다면, 잠재적인 해상도당 하나씩 수집 트랙들이 더 많이 필요할 것이며, 여기서 도면에 표시된 데이터는 모든 곳에서 중복일 것이다.
추가 실시예는 중복 정보에 대해 이전에 설명한 문제점을 다룬다. 그 목적으로, 암시적 재구성이 고려되는데, 여기서 각각의 수집 트랙은 구성자 인덱스가 있는 구성자들의 어레이로 구성된다. 비디오 내의 대응하는 트랙 위치에 따라(또는 'tref' 종속성 순서에 따라) 인덱스가 결정될 것이고(i), CIDX = i인 구성자만이 실행될 것이다. 따라서 NALU 페이로드 크기와 같은 공통 정보를 공유하고 약간의 오버헤드를 절약하는 서로 다른 헤더 가능성들만을 시그널링하는 것이 허용될 것이다. 도 13에서는, 앞서 설명한 즉시 구성자에 대한 그러한 구성자의 구조가 도시된다(다른 추출기들이 유사한 방식으로 확장될 수 있다).
도 14에는, 이 기술을 사용할 때 샘플에 대한 구성자들이 도시된다.
따라서 도 14에서 볼 수 있듯이, 더 적은 중복 데이터가 필요할 것이다.
즉, 도 12와 관련하여 앞서 논의한 리던던시들을 피할 후자의 가능성은 다음과 같이 달성될 수 있는데: 대응하는 섹션(221) 내의 상부 좌측(또는 임의의 다른) 타일에 관한 소스 트랙 내에서 수집 트랙(321)과 같은 수집 트랙을 전달하는 것이 아니라, 파라미터화 가능한 수집 트랙들이 각각의 소스 트랙(30A 내지 30I) 내에서 전달된다. “파라미터화들"의 수는 각각의 소스 트랙이 관련되는 타일과 겹치는 섹션들의 수에 대응할 것이다. 예를 들어, 소스 트랙(30E)은 각각의 섹션(221 내지 224)의 멤버인 타일(E)에 관련된다. 이에 따라, 소스 트랙(30E) 내에서 전달되는 파라미터화 가능한 수집 트랙은 이용 가능한 4개의 파라미터화들을 가질 것이다. 타일들(B, F, D, H)의 소스 트랙들 내에서 전달되는 파라미터화 가능한 수집 트랙들에 대해 단지 2개의 파라미터화들만이 존재할 필요가 있을 것이며, 타일들(A, C, G, I)에 대한 소스 트랙들에 대해서는 파라미터화가 존재할 필요가 없거나 단지 하나의 파라미터화만이 필요하다. "파라미터화"는 각각의 파라미터화 가능한 수집 트랙을 실제 수집 트랙들(321 내지 324)의 각각의 부분으로 변하게 할 것이다. 예컨대, 소스 트랙(30E) 내에서 전달되는 파라미터화 가능한 수집 트랙은 제1 값을 사용하여 파라미터화된다면, 부분(1504)을 야기할 것이다. 클라이언트(50)는 이에 따라, 장면의 섹션(221)을 다운로드하기 위한 소스 트랙들(30A, 30B, 30D, 30E)을 검색하고, 각각의 영상 또는 샘플에 대해 소스 트랙(30A) 내에서 전달되는 (파라미터화된 또는 파라미터화되지 않은) 수집 트랙, 소스 트랙들(30B, 30D)의 대응하여 파라미터화된 수집 트랙들, 및 다음 샘플들 또는 영상들에 대해 소스 트랙(30E)의 적절히 파라미터화된 수집 트랙 등을 연속하여 실행할 것이다. 다른 파라미터화를 사용하여, 소스 트랙(30E)의 동일한 파라미터화 가능한 수집 트랙은 파라미터화되지 않은 수집 트랙들(322 내지 324) 중 임의의 트랙에 대한 부분(152)을 형성할 수 있다. 도 13 및 도 14와 관련하여 나타낸 바와 같이, 파라미터화 가능한 수집 트랙의 동일하지 않은 부분 또는 적응 가능한 부분을 형성하기 위해 "인덱싱 가능한 구성 명령들"이 사용될 수 있다. 적용된 인덱스에 따라, 단지 그러한 인덱싱 가능한 명령들만이 합성에 참여할 것이며, 그 인덱스 필드는 적용된 인덱스에 대응한다. 그러나 지원된 섹션들의 세트는 도 12에서 도시하는 것들에 비해 확대되어, 이것이 중요할 때, 예컨대 장면이 360° 파노라마 뷰라면, 하나의 장면 에지에서 다른 장면 에지까지 확장하는 것들을 또한 포함할 수 있다는 점이 반복된다. 대응하는 수집 트랙들을 갖는 추가 섹션들은 예를 들어, 타일 세트들 {C, A, D, F} 및 {D, F, G, I}를 커버하는 섹션들일 수 있다. 그 경우, 모든 타일들(A 내지 I)의 소스 트랙들의 세그먼트들은 파라미터화 가능한 수집 트랙을 통합할 것이며, 파라미터 설정들의 수는 트랙들(30D,E,F)의 세그먼트들에 대해서는 3 그리고 트랙들(30A,B,C,G,H,I)에 대해서는 2이다.
선택된 RoI에 대응하는 액세스 유닛들(AU)을 재구성하기 위해, 하나보다 많은 세그먼트의 이러한 수집 트랙들 중 여러 개가 사용될 필요가 있음이 명백하다. 이러한 경우, 따르게 될 필요가 있는 수집 트랙들 사이의 종속성들이 어느 것인지를 파악하는 것이 중요하다. 하나의 옵션은 다른 수집 트랙들의 종속성들을 무시하고 좌측 상단 위치에서 타일의 'tref' 종속성들을 따르는 것일 것이다.
추가로, 하나보다 많은 RoI 치수(영상당 N×M 타일들, N은 수평으로 M은 수직으로 타일들의 수임)가 허용되는 경우, 이 기술이 사용되지 않는다면 트랙들의 수가 매우 빠르게 증가할 것이다. 이것은 많은 'moov' 박스들이 다운로드되도록 요구되거나, 정의된 모든 트랙들을 갖는 매우 큰 'moov' 박스가 다운로드되는 결과를 야기할 것이다. 표현당 다수의 트랙들을 갖는 암시적 재구성은 (캐싱 및 CDN 성능에 불리한) 매우 작은 세그먼트들 다운로드할 필요를 없애는 것을 허용할 것이지만, 앞서 설명한 첫 번째 접근 방식과 비교하여 큰 'moov' 박스들의 다운로드 또는 상당한 수의 이러한 박스들을 필요할 것이며, 여기서 수집된 트랙들에 대해 개별 표현들이 제공된다.
암시적 AU 재구성을 통해, 앞서 설명한 기술은 추가 CIDX들을 추가함으로써 서로 다른 RoI 치수들에 대해 동일한 트랙들이 사용될 수 있도록 확장될 수 있다. 구성자들의 사용은 앞서 설명한 것과 동일할 것이며, 여기서는 주어진 인덱스를 갖는 구성자들만이 실행될 것이다.
그러나 이러한 경우, 서로 다른 종속성들을 기술하는 것이 가능하지 않기 때문에, 'tref' 박스를 사용하여 종속성들을 도출하는 것이 가능하지 않을 것이다. 마찬가지로, 프로파일, 레벨 등을 기술하는 샘플 엔트리들은 현재와 같이 사용될 수 없는데, 이는 서로 다른 최종 RoI 해상도들에 동일한 트랙이 사용될 것이기 때문이다.
'tref'는 수집 트랙들이 어떤 타일 트랙을 적용하는지를 나타내기 위해 수집 트랙들 각각에 의해 사용될 것이다. 주어진 ROI를 추출하기 위해 여러 개의 수집 트랙들을 연관시키는 기능을 수행하기 위한 새로운 박스가 추가될 것이다. 이 트랙은 중심이어야 하며 가능한 모든 ROI들을, 예컨대 'moov' 박스에서 어떤 종류의 대체 그룹화에 의해 기술해야 한다. 주어진 치수의 ROI를 재생하기 위한 여러 가지 대안들이 있을 것이지만, 이 대안들 각각은 파노라마 비디오의 주어진 위치에 대응할 것이다.
현재의 실시예는 가능한 동작 포인트들을 기술하고 AU 재구성을 위해 동시에 사용될 필요가 있으며, 정확한 NALU를 얻기 위해 구성자 어레이에서 사용될 필요가 있는 CIDX를 포함하는 서로 다른 트랙들을 연관시키는 것을 가능하게 하는 대체 샘플 그룹들의 정의를 포함한다.
대체 샘플 그룹들은 다음에, 프로파일, 레벨을 기술할 수 있는데, 즉 이들은 샘플 엔트리와 동일한 정보를 포함해야 한다.
실시예 2에서, 수집 트랙들은 개별 표현들로서 제공되는 것으로 간주되었다. 비-외부 표현들이 수집 트랙들을 위해 사용되는 경우(즉, 이들이 타일들 자체와 동일한 세그먼트들에 포함되는 경우), 서로 다른 타일들이 함께 디코딩될 수 있음을 MPD에 시그널링할 필요가 있다. 이는 엘리먼트를 추가하거나 기존 서브세트 엘리먼트를 수정함으로써 수행될 수 있다. 집합적으로 다운로드된 데이터의 mimeType뿐만 아니라 수집 트랙들을 사용하여 이용 가능한 ROI들의 치수들이 이러한 엘리먼트에 포함될 것이다.
따라서 적응형 스트리밍을 통해 클라이언트에 소스 및 수집 트랙들을 전달하는 것에 관한 가장 최근의 설명을 간략하게 요약하면, 다음이 명확해져야 하는데: 소스 및 수집 트랙들이 개별 세그먼트들 내에서 전달될 수 있으며, 즉 개별 URL들의 소스 트랙 표현들과 각각 연관된 개별 표현들의 세그먼트들이 이에 따라 구별될 수 있다. 결과적인 감소된 섹션 특정 비디오 데이터 스트림(52)의 특정 세그먼트에 대해, 클라이언트(50)는 이에 따라 원하는 섹션 내의 타일들 및 원하는 섹션에 관련된 수집 트랙의 대응하는 세그먼트를 전달하는 각각의 소스 트랙의 대응하는 세그먼트를 페치해야 한다. 미디어 프레젠테이션 기술 또는 매니페스트는 영상 크기, 세그먼트 템플릿 등과 같은 이러한 수집 표현들의 특성들을 개별적으로 기술하면서 수집 표현들에 대해 상호 구별되는 URL 기반의 명시적 시그널링을 포함할 수 있다. 매니페스트 파일 크기를 줄이기 위해, 모든 수집 표현들에 대해 일반적으로 매니페스트 내에서 URL 템플릿이 제출될 수 있다. 계산 규칙은 이 매니페스트 축소 개념에 따라 동일한 크기이고 단순히 장면 위치에서만 서로 다른 섹션의 공간 위치에 따라 수집 트랙들의 세그먼트들의 URL들의 계산을 정의할 것이다. 이에 따라, 매니페스트는 영상 크기 등과 같은 이러한 수집 표현들과 관련하여 일반적으로 수집 표현들의 많은 또는 모든 나머지 표현 특성들을 기술할 수 있다. 다른 실시예들에서는, 단지 소스 트랙들의 세그먼트들만이 상호 구별되는 URL들과 연관되고 따라서 대응하는 소스 트랙 표현들의 세그먼트들을 형성한다. 이 실시예에 따르면, 클라이언트는 원하는 특정 섹션에 대해, 원하는 장면 섹션 내에서 슬라이스들을 전달하는 그러한 소스 트랙 표현들의 세그먼트들을 페치하고, 이러한 세그먼트들은 원하는 섹션과 연관된 수집 트랙을 동시에 전달하거나 포함하는데, 이는 페치된 세그먼트들 내에서 전달되는 슬라이스들 중에서 섹션 특정 비디오 데이터 스트림을 합성하기 위한 구성 명령들을 포함한다. 원하는 특정 섹션에 대한 수집 트랙은 원하는 섹션 내의 타일들에 관련된 소스 트랙들 중 미리 결정된 트랙의 세그먼트들, 이를테면 원하는 섹션의 상부 좌측 타일과 같이, 원하는 섹션 내의 미리 결정된 타일 위치 내의 타일에 관한 슬라이스들을 전달하는 세그먼트들 내에서만 전달될 수 있다. 다른 실시예에서, 각각의 소스 트랙 표현은 각자의 세그먼트들 내에 소스 트랙 특정 파라미터화 가능한 수집 트랙을 포함한다. 여기서, 클라이언트는 여전히, 세그먼트들 내에서 전달된 파라미터화 가능한 수집 트랙들을 적절하게 파라미터화하고 섹션 내의 타일들 사이에 정의된 타일 순서로, 파라미터화된 수집 트랙들을 기초로 한 섹션 특정 비디오 데이터 스트림의 합성을 수행하여 원하는 섹션 내에 있는 타일들의 슬라이스들에 관련된 소스 트랙들에 속하는 그러한 세그먼트들을 단지 페치할 뿐이며: 파라미터화된 수집 트랙들의 샘플들, 즉 미리 결정된 영상에 관한 부분들은 타일 순서대로 실행되고, 다음에 파라미터화된 수집 트랙들의 다음 샘플들을 타일 순서로 실행한다. 파라미터화는 다른 인덱스를 포함하는 파라미터화 가능한 수집 트랙 내의 구성 명령들이 스킵되도록 미리 결정된 인덱스를 선택함으로써 수행될 수 있다. 그러나 앞서 설명한 바와 같이, 소스 트랙들의 세그먼트들로 수집 트랙들을 크래밍(cramming)하는 경우에도, 클라이언트에는 수집 트랙들을 개별 표현들로 취급하는 경우에 MPD 내에서 전달되는 정보와 유사한 통합된 수집 트랙들에 대한 정보가 제공될 수 있다. 예를 들어, 매니페스트 또는 MPD에는 다수의 타일들, 즉 특정 섹션이 함께 재생될 수 있다는 가능성이 즉, 대응하는 수집 트랙의 존재를 표시함으로써 제공될 수 있으며, 이 정보는 각각의 수집 트랙을 이용한 합성에 의해 야기된 섹션 특정 비디오 데이터 스트림을 디코딩하는 데 필요한 프로파일, 레벨 및 계층을 기술하는 정보와 같은 섹션 관련 정보를 추가로 포함할 수 있다. 이러한 의미에서, 매니페스트는 또한 어떤 타일 세트들이 함께 재생될 수 있는지, 즉 허용된 섹션들 중 하나를 형성할 수 있는지, 그리고 어떤 것이 그렇지 않은지에 관한 제약을 나타낼 것이다.
상기 개념 및 실시예들은 ISO 기본 미디어 파일 포맷을 상응하게 확장하기 위해 다음과 같이 구체적으로 구현될 수 있다. 여기서는 선택적으로, 독립적으로 디코딩 가능한 HEVC 타일들이 타일 트랙들이라고 불리는 서로 다른 트랙들에서 전달될 수 있다. 타일 트랙은 타일(들)이 속한 연관된 HEVC 레이어의 NAL 유닛들을 전달하는 HEVC 트랙에 대한 'tbas' 참조가 있는 비디오 트랙이다. 이러한 타일 트랙이나 샘플 설명 박스의 샘플들 어느 것도 VPS, SPS 또는 PPS NAL 유닛들을 포함하지 않을 것이다. 오히려 이러한 NAL 유닛들은 각각의 타일 트랙의 'tbas' 트랙 참조로 식별되는 연관된 레이어를 포함하는 트랙의 샘플 설명 박스에 또는 샘플들에 있을 것이다. 'tbas' 트랙 참조로 표시된 바와 같이, 타일 트랙 및 연관된 레이어를 포함하는 트랙 모두는 원하는 비트스트림이 어떻게 해석되어야 하는지를 나타내기 위해, 이하 정의되는 추출기들을 사용할 수 있다. 타일 트랙의 샘플은 하나 또는 그보다 많은 타일들에 대한 슬라이스들의 전체 세트이다. 타일 트랙들을 사용하든 아니면 전체 비디오를 포함하는 트랙을 사용하든 상관없이, 이러한 트랙은 상기에 예들이 제시된 그리고 이제 추가 예들이 설명되는 추출기들의 사용에 의해 필요에 따라 부분들이 추출되는 참조 또는 소스 트랙으로서의 역할을 할 수 있다. 특히, ISO 기본 미디어 파일 포맷의 HEVC 및 L-HEVC 트랙들에 대한 추출기들은 참조로 NAL 유닛 데이터를 추출하는 트랙들, 즉 수집 트랙들의 간편한 형성을 가능하게 할 수 있다. 추출기는 하나 또는 그보다 많은 구성자들을 포함할 수 있다:
a) 샘플 구성자는 다른 트랙의 샘플로부터 NAL 유닛 데이터를 참조로 추출한다.
b) 샘플 설명 구성자는 샘플 설명으로부터 NAL 유닛 데이터를 참조로 추출한다.
c) 인라인(in-line) 구성자는 NAL 유닛 데이터를 포함한다.
이에 따라, 이러한 추출기는 도 5e 또는 도 5d와 같이 구성될 수 있으며, 여기서 어레이 길이 표시는 제외될 수도 있다. 샘플 구성자 및 샘플 설명 구성자는 도 5a - 도 5c와 같이 구현될 수 있다.
집합자(aggregator)는 추출기들을 포함하거나 참조할 수 있다. 추출기는 집합자들을 참조할 수 있다. 추출기가 이를 필요로 하는 파일 판독기에 의해 처리될 때, 추출기는 포함된 구성자들을 이들의 출현 순서대로 해결할 때 야기되는 바이트들로 논리적으로 대체된다. 집합자 이외에 샘플 구성자가 참조하는 바이트들은 추출기를 포함하지 않을 것이며: 추출기는 다른 추출기를 직접적으로 또는 간접적으로 참조하지 않을 것이다. 당연히, 참조되는 트랙인 소스 트랙은 추출기들을 포함할 수 있지만, 추출기가 참조하는 데이터는 그렇지 않아야 한다.
추출기는 현재 트랙으로부터 또는 타입 'scal'의 트랙 참조에 의해 추출기가 상주하는 트랙에 링크된 다른 트랙으로부터 데이터를 추출하기 위한 하나 또는 그보다 많은 구성자들을 포함할 수 있다. 해결된 추출기의 바이트들은 다음 중 하나일 것이다:
a) 하나의 전체 NAL 유닛; 집합자가 참조되면, 포함된 바이트와 참조된 바이트가 모두 복사된다.
b) 하나보다 많은 전체 NAL 유닛
두 경우들 모두, 해결된 추출기의 바이트들은 유효 길이 필드 및 NAL 유닛 헤더로 시작한다.
샘플 구성자의 바이트들은 표시된 'scal' 트랙 참조를 통해 참조된 트랙에서 식별된 단일 샘플로부터만 복사된다. 정렬은 디코딩 시간에 대해서, 즉 시간-대-샘플 표만을 사용하며, 샘플 수의 카운트된 오프셋이 이어진다. 추출기들은 미디어 레벨의 개념이며, 따라서 임의의 편집 리스트가 고려되기 전에 목적지 트랙에 적용된다. 당연히, 두 트랙들의 편집 리스트들이 동일하도록 선택될 수 있다.
추출기에 대한 신택스 예는 아래와 같이 주어진다:
class aligned(8) Extractor () {
NALUnitHeader();
do {
unsigned int(8) constructor_type;
if( constructor_type == 0 )
SampleConstructor();
else if( constructor_type == 1 )
SampleDescriptionConstructor();
else if( constructor_type == 2 )
InlineConstructor();
} while( !EndOfNALUnit() )
}
위의 신택스 예의 의미에 관해서도, 동일할 수 있다:
NALUnitHeader()는 ISO/IEC 23008-2 NAL 유닛들의 처음 2 바이트를 나타낼 수 있다. nal_unit_type은 ISO/IEC 23008-2 비디오의 경우 49로 설정될 수도 있다. forbidden_zero_bit는 ISO/IEC 23008-2에 명시된 대로 설정될 수도 있다. 다른 필드들은 nuh_layer_id 및 nuh_temporal_id_plus1과 관련될 수 있으며 나중에 지정되는 대로 설정될 수도 있다. constructor_type은 다음의 구성자를 지정한다. SampleConstructor, SampleDescriptionConstructor 및 InlineConstructor는 각각 0, 1 및 2와 동일한 constructor_type에 대응한다. constructor_type의 다른 값들이 다른 구성자를 위해 확보될 수도 있고 또는 그렇지 않을 수도 있다. EndOfNALUnit()은 이 추출기에서 더 많은 데이터가 이어지는 경우에는 0(거짓)을 반환하는 함수인데; 그렇지 않으면 이는 1(참)을 반환한다.
샘플 구성자 신택스에 대해서는 다음의 예를 참조한다:
class aligned(8) SampleConstructor () {
unsigned int(8) track_ref_index;
signed int(8) sample_offset;
unsigned int((lengthSizeMinusOne+1)*8)
data_offset;
unsigned int((lengthSizeMinusOne+1)*8)
data_length;
}
상기 샘플 구성자 신택스에 대한 의미들은 다음과 같을 수 있다:
track_ref_index: 도 5b 및 도 5c의 TRI와 같은 참조된 트랙을 나타낸다.
sample_offset: 참조된 트랙, 즉 참조된 트랙 중 원하는 영상 ID에 대응하는 부분의 시작으로 "샘플"을 인덱싱한다. 즉, sample_offset은 도 5b의 SO에 대응함;
data_offset: 복사할 참조 샘플 내의 첫 번째 바이트의 오프셋. 추출이 해당 샘플에서 데이터의 첫 번째 바이트로 시작한다면, 오프셋은 0 값을 취한다. 즉, data_offset은 도 5b 및 도 5c의 데이터 오프셋에 대응함;
data_length: 복사할 바이트들의 수. 이 필드가 0 값을 취한다면, data_offset은 NAL 유닛 길이 필드의 시작을 참조할 것이고, 단일 참조 NAL 유닛 전체가 복사된다(즉, 복사할 길이는 data_offset이 참조하는 길이 필드에서 가져오고, 집합자들의 경우에는 additional_bytes 필드에 의해 증가된다). 예컨대, 도 5b와 도 5c의 데이터 길이 필드를 비교한다.
두 트랙들이 서로 다른 lengthSizeMinusOne 값들을 사용한다면, 추출된 데이터는 목적지 트랙의 길이 필드 크기에 맞게 다시 포맷화하는 것을 필요로 할 것이라는 점에 주목한다.
샘플 설명 구성자 신택스에 대해서는 다음의 예를 참조한다:
class aligned(8) SampleDescriptionConstructor () {
unsigned int(8) length;
unsigned int(8) track_ref_index;
int(8) sample_description_index;
fieldSize = (length - 2) / 2;
unsigned int(fieldSize) data_offset;
unsigned int(fieldSize) data_length;
}
상기 샘플 설명 구성자 신택스에 대한 의미들은 다음과 같을 수 있다:
length: 이 필드의 뒤의 SampleDescriptionConstructor에 속하는 바이트들의 수. length의 값은 4보다 크거나 같고 10보다 작거나 같은 짝수일 것이다. 이는 도 5b 및 도 5c의 DFL 필드에 대응한다.
track_ref_index는 'tref' 박스에 열거된 'scal' 타입의 트랙 참조들의 인덱스를 식별한다. 0 값은 이 구성자가 발견된 현재 트랙을 나타낸다. 1 값은 첫 번째 트랙 참조를 나타낸다. track_ref_index의 값은 트랙 참조들의 수를 초과하지 않을 것이다. 이것은 도 5b 및 도 5c의 TRI 필드에 대응함;
sample_description_index는 'stsd' 박스에 열거된 샘플 설명의 인덱스를 식별한다. sample_description_index의 값은 0이 아니거나 샘플 엔트리들의 수를 초과하지 않을 것이다. 이는 도 5c의 SO 필드에 대응함;
data_offset은 샘플 설명으로부터 복사될 블록의 첫 번째 데이터 바이트를 어드레싱하는 데 사용되는 부호 없는 오프셋이다. 0 값은 참조된 샘플 설명의 첫 번째 바이트로 복사가 시작됨을 의미한다. 이것은 도 5b 및 도 5c의 데이터 오프셋 필드에 대응함;
data_length는 참조된 트랙의 샘플 설명으로부터 복사될 데이터 블록의 길이를 지정한다. 0 값은 참조된 샘플 설명으로부터 바이트가 복사되지 않음을 의미한다. data_length는 참조된 샘플 설명의 크기를 초과하지 않을 것이다. 이것은 도 5b 및 도 5c의 데이터 길이 필드에 대응함;
인라인 구성자 신택스에 대해서는 다음의 예를 참조한다:
class aligned(8) InlineConstructor () {
unsigned int(8) length;
unsigned int(8) inline_data[length];
}
상기 인라인 구성자 신택스에 대한 의미들은 다음과 같을 수 있다:
length: 이 필드의 뒤의 InlineConstructor에 속하는 바이트들의 수. length의 값은 0보다 더 클 것이다. 0과 같은 길이 값이 확보된다. 이는 도 5a의 DFL 필드에 대응함;
inline_data: 인라인 구성자를 해결할 때 반환될 데이터 바이트들이다. 이는 도 5a의 데이터 필드인 필드에 대응함;
집합자들과 추출기들은 모두 ISO/IEC 23008-2에 명시된 대로 NAL 유닛 헤더를 사용할 수 있다. 추출기에 의해 추출되거나 집합자에 의해 집합된 NAL 유닛들은 모두 집합자들 또는 추출기들의 내용을 반복적으로 검사함으로써 참조되거나 포함되는 그러한 NAL 유닛들이다. nuh_layer_id 필드 및 nuh_temporal_id_plus1 필드는 다음과 같이 설정될 수 있다: nuh_layer_id는 집합된 또는 추출된 모든 NAL 유닛들에서 필드의 최저 값으로 설정될 수 있다. nuh_temporal_id_plus1은 집합된 또는 추출된 모든 NAL 유닛들에서 필드의 최저 값으로 설정될 수 있다.
즉, 비디오 데이터는 앞서 설명한 방식들 중 임의의 방식으로 장면의 공간 가변 섹션을 클라이언트에 스트리밍하기 위해 개념화될 수 있다. 비디오 데이터는 파일 포맷으로 포맷화되고, 하나 또는 그보다 많은 소스 트랙들 ― 각각의 소스 트랙은 장면 전체를 캡처하는 비디오의 영상들이 공간적으로 세분되는 타일들 중 각각의 타일과 연관되며, 소스 트랙들은 각각의 슬라이스가 단지 하나의 타일을 그에 인코딩하도록 비디오의 영상들이 코딩되는 비디오 데이터 스트림의 슬라이스들을 그에 분배함 ―; 및 각각의 수집 트랙이 타일들의 대응하는 서브세트에 의해 형성된 섹션의 복수의 위치들 중 각각의 위치와 연관되며, 각각의 위치에서 장면의 섹션을 보여주는 영상들이 코딩되는 섹션 위치 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들을 포함하는 하나 또는 그보다 많은 수집 트랙들의 세트를 포함한다. 구성 명령들은 도 5a 내지 도 5c 또는 도 5a 내지 도 5e의 예들 중에서 또는 방금 제시된 예들 중에서 선택될 수 있다.
이하의 실시예들은 클라이언트에 RoI 프리페치에 대한 힌트들을 제공하기 위한 개념에 관한 것이다.
현재, 고해상도 및 광각 비디오들이 점점 대중화되고 있다. 이들은 180° - 360° 파노라마 또는 구면 비디오들을 포함한다. 이러한 비디오들의 크기들이 증가함에 따라 전체 비디오를 고해상도로 송신하는 것은 비현실적이 되고 있다. 다른 스트리밍 접근 방식들은 예컨대, 비디오를 여러 타일들로 분할하고 사용자의 관심 영역(RoI)을 커버하는 타일들만을 송신하는 것을 활용한다. 다른 것들은 사용자에게 송신되는 비디오 비트 레이트를 최적화하기 위해 품질, 해상도 등과 같은 다양한 특성들로 인코딩될 비디오의 영역들을 송신하는 것을 수반할 수 있다.
위에서 언급한 것과 같은 이러한 접근 방식들 중 임의의 접근 방식에서는, 사용자 선호도들에 기반하여 비디오 송신 최적화가 수행되는 아이디어가 있는데, 여기서 사용자에게 보여지는 비디오 부분은 높은 품질로 다운로드되는 한편, 사용자 상호 작용으로 인해 사용자에게 보여질 수도 있는 (RoI로 간주되지 않는) 다른 어떤 부분들은 동일한 또는 다른 품질로 프리페치로서 다운로드될 수 있다.
DASH 표준은 공간 관계 디스크립터를 사용함으로써 비디오의 그러한 제공된 부분들의 공간 관계에 대한 시그널링을 가능하게 한다. 이 디스크립터는 사용자가 그들이 커버하는 비디오의 공간 영역 측면에서 제공되는 콘텐츠의 관계들을 이해할 수 있게 하지만, RoI 시그널링에 대한 갭이 있다. 사용자는 예를 들어, 비디오 내의 시공간적 활동에 대한 자세한 정보를 갖지 않는다. [1]과 같은 일부 작품들은 비디오의 RoI의 시공간 특성들을 아는 것이 훨씬 더 효율적인 송신 방식으로 이어질 수 있음을 보여주는데, 여기서 사용자들 대부분이 관심이 있는 중요한 활동을 커버하는, 비디오들의 중요한 공간 영역은 RoI 특성들을 감지하지 못하는 송신 방식과 비교하여 더 높은 품질로 다운로드될 수 있다.
또한, 실제적인 고려 사항으로서, 이러한 서비스에서의 스트리밍 세션 개시가 분석될 수 있다. 클라이언트가 실제 미디어 데이터의 다운로드에 관한 결정들을 내리기 전에 RoI 특성들에 관해 파악하는 것이 중요하다. 그러므로 VOD 세션 개시 또는 라이브 튠-인(tune-in)에서 RoI는 최적의 품질로 요청되며 실제로 사용자에게 표시되고 있다.
Role-Main 시그널링을 사용하는 MPD 기반 솔루션은 MPD 크기를 불균형적으로 증가시킨다는 단점이 있으며 라이브 스트리밍 서비스들에 대해 효율적인 방식으로 사용될 수 없는데, 이는 너무 빈번한 MPD 풀링(pulling) 또는 클라이언트에서 MPD 업데이트를 트리거하는 새로운 MPD가 요청되어야 한다는 어떤 종류의 표시로부터 발생하는 추가 지연들을 필요로 할 것이기 때문이다.
본 명세서에서 이하에 설명되는 실시예들은 하나 또는 그보다 많은 RoI들의 위치 및 그 이동, 즉 시간 경과에 따른 표현들 또는 타일들로의 매핑을 시그널링하기 위해 사용되는 메커니즘들을 제안한다.
- 'emsg' 파일 포맷 박스들을 이용한 대역 내 솔루션: VoD에 적합함. 이 박스를 전달하는 각각의 세그먼트는 다음 세그먼트에서 RoI의 공간적 위치를 나타낼 것이므로, 클라이언트가 이를 적절히, 예컨대 대응하는 표현의 프리페치를 위해 그 이용 가능한 대역폭을 더 많이 사용함으로써 사용할 수 있다. 프리페치 힌트에 적합하며 개시 ROI에는 적합하지 않다.
- SAND 메시지들을 이용한 대역 외 솔루션: 라이브 서비스들에 적합함. 이러한 환경에서, 'emsg' 박스를 추가할 수 있도록 다음 세그먼트가 처리되기를 기다릴 필요가 있을 것이므로 콘텐츠 생성 부분이 지연을 증가시킬 것이기 때문에, 'emsg'는 최상의 솔루션이 아닐 수도 있다. 추가로, 이 정보는 VoD 콘텍스트에서 재생 개시(또는 검색)에 사용될 수 있다. 프리페치 힌트 및 ROI 개시에 적합함.
- 추가 옵션은 위치(x, y) 및 치수(폭, 높이)를 선언함으로써 하나 또는 그보다 많은 RoI들이 기술되는 서로 다른 시간 간격들을 기술한, 파일 시작 부분의 박스이다.
'emsg' 사용 개념은 다음과 같을 수 있다.
DASH 이벤트 메시지 박스는 MPEG DASH에서 다음과 같이 정의된다:
aligned(8) class DASHEventMessageBox extends FullBox('emsg', version = 0, flags = 0){
string scheme_id_uri;
string value;
unsigned int(32) timescale;
unsigned int(32) presentation_time_delta;
unsigned int(32) event_duration;
unsigned int(32) id;
unsigned int(8) message_data[];
}
}
제안된 RoI 시그널링은 다음에, 메인 RoI 좌표들을 시그널링하는 scheme_id_uri를 추가할 것이다. RoI 특성들을 식별하기 위해 URN "urn:mpeg:dash:RoIchangeEvent:2016"이 정의될 수 있다. 대안으로, 기존 방식인 ""urn:mpeg:dash:event:2012"가 확장될 수 있고 새로운 값들이 추가될 수 있다.
이 스키마를 사용하는 이벤트들의 경우, 'emsg'. message_data[]' 필드는 아래에 정의된 DASHRoIchangeEvent 구조를 포함할 것이다:
aligned(8) struct DASHRoIchangeEvent
{
if ( `emsg`.vaaligned(8) struct DASHRoIchangeEvent
{
if ( `emsg`.value == 1 ) //단일 RoI
{
unsigned int(32) source_id; // Sect. H.2에서 MPD의 source_id를 참조함
unsigned int(32) x; // RoI의 수평 위치
unsigned int(32) y; // RoI의 수직 위치
unsigned int(32) width; // RoI의 폭 위치
unsigned int(32) height; // RoI의 높이 위치
}
if ( 'emsg'.value == 2 ) //다수의 RoI들
{
unsigned int(32) source_id; // Sect. H.2에서 MPD의 source_id를 참조함
unsigned int(8) num_RoIs; // 존재하는 RoI들의 수
for (i=0;i<numRoIs;i++){
unsigned int(32) x_i; // RoI의 수평 위치
unsigned int(32) y_i; // RoI의 수직 위치
unsigned int(32) width_i; // RoI의 폭 위치
unsigned int(32) height_i; // RoI의 높이 위치
}
}
}
이 정보는 다운로드될 다음 세그먼트에 관련될 것이다. 대안으로, 추가 emsg.values를 추가함으로써 하나보다 많은 세그먼트에 대한 RoI를 나타내는 추가 버전이 개발될 수 있다.
SAND 사용 개념은 다음과 같을 수 있다.
주어진 시점에 RoI를 나타내는 새로운 파라미터 개선 수신(PER(Parameters Enhancing Reception), 즉 DASH 인지 네트워크 엘리먼트(DANE: DASH Aware Network Element)로부터 DASH 클라이언트로 전송된 메시지)이 정의될 것이다. 메시지는 'emsg'의 경우 이전에 정의된 것과 유사할 것이다:
| 파라미터 | 타입 | 사상수 | 설명 | |
| Playout_time | 시간 | 1 | 다음 RoI 설명이 적용되는 세그먼트의 재생 시간. | |
| source_id | uint | 1 | RoI 위치가 적용되는, H.1에 정의된 source_id. | |
| RoISignaling | 어레이 | 1..N | RoI들의 리스트 | |
| x | uint | 1 | RoI의 수평 위치. | |
| y | uint | 1 | RoI의 수직 위치. | |
| 폭 | uint | 1 | RoI의 폭. | |
| 높이 | uint | 1 | RoI의 높이 | |
중앙 박스를 사용하는 개념, 예컨대 RoI의 시간 변화들을 기술하는 'moov'가 다음과 같이 설명될 수 있다.RoIdescriptionbox 'roid'
aligned(8) class SegmentIndexBox extends FullBox('sidx', version, 0) {
unsigned int(32) source_ID;
unsigned int(32) timescale;
if (version==0) {
unsigned int(32) earliest_presentation_time; // 박스가 RoI들을 기술하는 가장 이른 프레젠테이션 시간
}
else {
unsigned int(64) earliest_presentation_time;
}
unsigned int(16) reserved = 0;
unsigned int(16) RoIs_count;
for(i=1; i <= RoIs_count; i++) //시간으로 기술되는 RoI들의 수
{
unsigned int(32) RoI_duration;
unsigned int(32) x;
unsigned int(32) y;
unsigned int(32) width;
unsigned int(32) height;
}
}
마찬가지로, 메시지는 아래에 도시된 바와 같이 파라미터를 추가함으로써 여러 RoI들을 통합하도록 변경될 수 있다:
…
for(i=1; i <= RoIs_count; i++) //기술된 RoI들의 간격들의 수
{
unsigned int(8) RoI_count_per_interval
for(i=j; j <= RoIs_count; j++) //시간 간격들마다 기술된 RoI들의 수
{
unsigned int(32) RoI_duration;
unsigned int(32) x;
unsigned int(32) y;
unsigned int(32) width;
unsigned int(32) height;
}
}
방금 개요가 기술된 개념에 따라 실시예들을 설명하기 위해, 다음 도면들이 참조된다. 도 15는 비디오 스트리밍 서버(200) 및 클라이언트(250)를 도시한다. 단지 옵션으로서, 서버(200) 및 클라이언트(250)는 도 1 내지 도 15의 앞서 설명한 실시예들 중 임의의 실시예에 따르는 방식으로 구현될 수 있다. 어떤 경우든, 비디오 스트리밍 서버(200)는 장면을 표현하며 서버(200)로부터 클라이언트(250)로 스트리밍되는 비디오 스트림(216)을 위치가 시간적으로 변하는 식으로 관심 영역(270)의 위치를 나타내는 정보(260)와 함께 수반하도록 구성된다. 즉, 비디오 스트리밍 서버(200)는 특정 장면을 나타내는 비디오 데이터에 액세스한다. 비디오 데이터는 예컨대, 비디오(280)를 그에 인코딩했을 수 있으며, 그 각각의 영상(290)은 장면을 보여준다. 비디오(280)에 관한 비디오 데이터는 도 1 내지 도 15에 관해 앞서 개요가 기술된 방식으로 개념화될 수 있다. 즉, 서버(200)는 검색된 비디오 스트림(216)이 단지, 도 1 내지 도 15의 용어를 사용하여 섹션을 나타낼 관심 영역(270)에만 관련되는 방식으로 클라이언트(250)가 서버(200)로부터 비디오 스트림(216)을 검색하도록 허용되는 식으로 구성될 수 있다. 대안으로, 서버(200)는 단지 비디오 데이터 스트림(216)이 장면에 대한 정보를 완전히 전달하는 식으로 비디오 데이터 스트림(216)의 검색을 이용 가능하게 한다. 그러나 후자의 경우에, 클라이언트(250)는 예컨대, 서로 다른 순서들로 비디오 스트림(216)의 세그먼트들을 검색하거나 페치하도록 허용될 것이다. 예를 들어, 클라이언트(250)에는 비디오(280)의 특정 시간 영역에 관한 그리고 동일한 시간 부분의 세그먼트들을 검색하기 전에 먼저 장면의 특정 공간 영역에 관한, 그러나 다른 공간 영역에 관한 세그먼트를 페치할 기회가 제공될 수 있다. 서버(200) 및 클라이언트(250)가 도 1 및 도 2의 서버(10) 및 클라이언트(50)에 부합하는 방식으로 구현될 수 있는 가능성을 언급함으로써 명백해지듯이, 도 15의 비디오 스트림(260)은 도 1의 스트림(16)에 대응하는 스트림일 수 있다.
도 15는 정보(260)가 관심 영역(270)의 위치를 시간에 따라 변화시키는 것을 예시한다. 이러한 정보(260) 없이는, 클라이언트(250)는 현재 시간 세그먼트 내에서 이 장면의 가장 흥미로운 부분을 포함할 가능성이 가장 높은, 이 장면의 특정 현재 시간 세그먼트를 페치할 수 없다. 그러나 프리페치 목적으로 그리고 비디오 스트림(216)의 검색을 적절히 시작할 목적으로, 비디오(280)의 공간적으로 서로 다른 영역에 관련하여, 그러나 가능한 한 가능성 없이, 비디오(280)의 이미 페치된 시간 세그먼트를 참조하여, 클라이언트의 사용자에 의해 야기되는 페치 요청을 렌더링하기 위해서는 클라이언트(250)가 가능한 한 빨리 가까이에 정보(260)를 갖는 것이 유리할 것이다.
일 실시예에 따르면, 비디오 스트리밍 서버(10)는 비디오 스트림의 파일 포맷 박스 내에서 정보(260)를 전달하도록 구성된다. 즉, 비디오 스트림(216)은 파일 포맷에 따라 서버(200)로부터 클라이언트(250)로 전달될 것이고, 정보(260)는 이와 같이 포맷화된 비디오 스트림(216) 내에 임베드될 것이다. 당연히, 클라이언트(250)는 비디오 스트림(216)의 검색을 "블라인드로", 즉 관심 영역(270)의 위치에 관한 어떠한 정보도 없이 시작해야 할 것이다. 대안으로, 관심 영역(270)에 관련된, 즉 비디오의 검색을 시작할 때 관심 영역의 위치에 관련된 다른 정보가 클라이언트(250)로부터 서버(200)로의 적절한 요청시 서버(200)로부터 전송된 비디오 스트림(216)의 초기 세그먼트 또는 미디어 프레젠테이션 기술에 서버(200)에 의해 포함될 수 있다. 이러한 방식으로, 클라이언트(250)는 미디어 프레젠테이션 기술 내의 적절한 정보로부터 관심 영역(270)의 위치에 대한 첫 번째 힌트를 얻을 기회를 가질 것이고, 이후에 정보(260)를 사용하여 비디오(280)의 차후의 시간 세그먼트들의 프리페치를 스케줄링한다.
이미 또한 앞서 설명한 대안에 따르면, 비디오 스트리밍 서버(200)는 DASH 서버일 수 있고, 비디오 스트림(216)의 파일 포맷 박스 안이 아니라 SAND 메시지들을 통해 대역 외로 정보(260)를 전달하도록 구성될 수 있다. 두 개념들 모두를 사용하여, 비디오 스트리밍 서버(200)는 관심 영역(270)의 위치를 업데이트하기 위해 정보(260)를 간헐적으로 업데이트할 수 있다. 특히, 비디오 스트리밍 서버는 클라이언트 요청들로부터 독립적인 시간 인스턴스들에 정보(270)의 간헐적인 업데이트를 스케줄링할 수 있다. 즉, 클라이언트(250)는 정보(260)의 업데이트에 대한 요청들을 서버(200)에 전송할 필요가 없다. 오히려, 서버(200)는 그 자체로 정보(260)의 업데이트 또는 재전송을 개시한다.
추가로 또는 대안으로, 서버(200)는 심지어, 정보(260)가 관심 영역(270)의 위치의 앞으로의 변화들을 또한 스케줄링하는 방식으로 스트리밍의 시작에서 정보(260)를 전달하도록 구성될 수 있다. 예를 들어, 비디오(280)의 비디오 콘텐츠는 서버 측에서 알려질 수도 있고, 이에 따라 서버(200)는 예컨대, 정보(260)가 시변 방식으로, 관심 영역(270)의 위치를 나타내도록, 즉 비디오(280)의 시간 길이 동안 스케줄링된 시간 인스턴스들에서 위치가 변경되는 식으로 관심 영역(270)의 위치를 나타내도록 매니페스트 또는 미디어 프레젠테이션 기술에 정보(260)를 제공할 수도 있다. 대안으로, 서버(200)는 예컨대, MPD를 요청하고 검사한 후에 클라이언트에 의해 통상적으로 페치되는 초기 세그먼트에, 정보(260)가 시변 방식으로 관심 영역(270)의 위치를 나타내는 식으로 정보(260)를 제공할 수도 있다. 후자의 경우, 앞서 설명한 중앙 박스 또는 RoIdescriptionBox가 사용될 수 있다.
정보(260)의 존재 또는 가용성의 표시는 MPD로 클라이언트에게 지시될 수 있다. 정보(260)의 존재 또는 비디오 스트림(216)이 정보(260)를 수반한다는 사실은 클라이언트에 의한 대응하는 요청에 의존하여 렌더링될 수 있다. 따라서 서버(200)는 클라이언트에 의해 그렇게 요청되지 않는다면 수반하는 것을 스킵할 수 있다. 정보(260)가 MPD('emsg')에 또는 초기 세그먼트('roid' 변형)에 포함된 정보와 같은 대역 내 정보인 경우, 프로시저는 예를 들어, 클라이언트가 가용성의 각각의 표시를 포함하는 MPD를 요청하는 것으로 시작할 수 있으며, 클라이언트가 정보의 요청(260)과 함께 새로운 MPD를 요청하는 것이 뒤따르거나, 클라이언트가 정보(260)의 존재의 요청과 함께 초기 세그먼트를 서버로부터 요청하는 것이 뒤따를 수 있다. 유사한 방식으로, 대역 외 정보(260)의 존재는 클라이언트로부터의 대응하는 요청에 의존하게 될 수 있다. 클라이언트의 의도에 따라, 서버는 SAND 메시지를 통해 RoI 정보(260)를 클라이언트에 전송하거나 전송하지 않을 것이다.
서버(10) 및 클라이언트(50)가 하드웨어, 펌웨어 또는 소프트웨어로 구현될 수 있다는 점이 주목된 상기 설명과 마찬가지로, 서버(200) 및 클라이언트(250)는 동일한 방식으로, 즉 하드웨어, 펌웨어 또는 소프트웨어의 형태로 구현될 수 있다.
일부 양상들은 장치와 관련하여 설명되었지만, 이러한 양상들은 또한 대응하는 방법의 설명을 나타내며, 여기서 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다는 점이 명백하다. 비슷하게, 방법 단계와 관련하여 설명한 양상들은 또한 대응하는 장치의 대응하는 블록 또는 항목 또는 특징의 설명을 나타낸다. 방법 단계들의 일부 또는 전부가 예를 들어, 마이크로프로세서, 프로그래밍 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수도 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 하나 또는 그보다 많은 단계가 이러한 장치에 의해 실행될 수도 있다.
본 발명의 인코딩된 데이터 스트림 또는 신호는 디지털 저장 매체 상에 저장될 수 있고 또는 송신 매체, 예컨대 무선 송신 매체 또는 유선 송신 매체, 예컨대 인터넷을 통해 송신될 수 있다. 어떤 정보의 데이터 스트림으로의 삽입 또는 인코딩이 설명되었지만, 이 설명은 결과적인 데이터 스트림이 각각의 정보, 플래그의 신택스 엘리먼트 등을 포함한다는 개시내용으로서 동시에 이해되어야 한다.
특정 구현 요건들에 따라, 본 발명의 실시예들은 하드웨어로 또는 소프트웨어로 구현될 수 있다. 구현은 각각의 방법이 수행되도록 프로그래밍 가능 컴퓨터 시스템과 협력하는(또는 협력할 수 있는) 전자적으로 판독 가능 제어 신호들이 저장된 디지털 저장 매체, 예를 들어 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 수행될 수 있다. 따라서 디지털 저장 매체는 컴퓨터 판독 가능할 수도 있다.
본 발명에 따른 일부 실시예들은 본 명세서에서 설명한 방법들 중 하나가 수행되도록, 프로그래밍 가능 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능 제어 신호들을 갖는 데이터 반송파를 포함한다.
일반적으로, 본 발명의 실시예들은 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 방법들 중 하나를 수행하기 위해 작동하는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 프로그램 코드는 예를 들어, 기계 판독 가능 반송파 상에 저장될 수 있다.
다른 실시예들은 기계 판독 가능 반송파 상에 저장된, 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
즉, 본 발명의 방법의 한 실시예는 이에 따라, 컴퓨터 상에서 컴퓨터 프로그램이 실행될 때 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서 본 발명의 방법들의 추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하여 그 위에 기록된 데이터 반송파(또는 디지털 저장 매체, 또는 컴퓨터 판독 가능 매체)이다. 데이터 반송파, 디지털 저장 매체 또는 레코딩된 매체는 통상적으로 유형적이고 그리고/또는 비-일시적이다.
따라서 본 발명의 방법의 추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 데이터 스트림 또는 시퀀스이다. 신호들의 데이터 스트림 또는 시퀀스는 예를 들어, 데이터 통신 접속을 통해, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.
추가 실시예는 처리 수단, 예를 들어 본 명세서에서 설명한 방법들 중 하나를 수행하도록 구성 또는 적응된 컴퓨터 또는 프로그래밍 가능 로직 디바이스를 포함한다.
추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에(예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어, 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수도 있다. 장치 또는 시스템은 예를 들어, 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수도 있다.
일부 실시예들에서, 프로그래밍 가능 로직 디바이스(예를 들어, 필드 프로그래밍 가능 게이트 어레이)는 본 명세서에서 설명한 방법들의 기능들 중 일부 또는 전부를 수행하는데 사용될 수 있다. 일부 실시예들에서, 필드 프로그래밍 가능 게이트 어레이는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게 임의의 하드웨어 장치에 의해 수행된다.
본 출원의 일 실시예에서의 비디오 스트리밍 서버는 비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)에 액세스하고 그리고 상기 장면의 섹션(22)에 관한 스트림(16)의 스트리밍을 클라이언트에 이용 가능하게 하도록 구성된다. 이 때, 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 공간적으로 타일들(24)로 세분되고, 각각의 슬라이스(26)는 단지 하나의 타일을 그에 인코딩한다. 또한, 상기 스트림(16)은 파일 포맷으로 포맷화되고, 하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30), 및 상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제1 부분들에 대한 대체들을 시그널링하고, 그리고/또는 상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제2 부분들을 복사하도록 명령함으로써, 상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집(gathering) 트랙들의 세트(32)를 포함한다.
상기 비디오 스트리밍 서버에서 상기 영상들(18)은 타일 경계들(25)에 걸친 코딩 상호 종속성들의 중단과 함께 상기 비디오 데이터 스트림(14)의 슬라이스들(26)로 인코딩될 수 있다.
각각의 소스 트랙(30D, 30E, 30G, 30H)은 상기 비디오(12)의 영상들(18)이 공간적으로 세분되는 상기 타일들(26) 중 각각의 타일과 연관되고, 상기 각각의 소스 트랙과 연관된 상기 영상의 타일이 인코딩되는 슬라이스들(26)을 통합할 수 있다.
일 실시예에서, 상기 하나 또는 그보다 많은 소스 트랙들의 세트(30)의 각각의 소스 트랙 및 상기 하나 또는 그보다 많은 수집 트랙들의 세트(32)를 개별 표현들로서 취급하고 상기 하나 또는 그보다 많은 수집 트랙들의 세트를 상기 하나 또는 그보다 많은 소스 트랙들에 의존하는 것으로서 표시하는 매니페스트(manifest)(140)를 상기 클라이언트에 전송하도록 구성될 수 있다.
비디오 데이터 스트림(14) 및 섹션 위치 특정 비디오 데이터 스트림(52)이 하나의 비디오 디코더(72)에 의해 디코딩 가능하도록 구성될 수 있다.
일 실시예에서, 비디오 스트리밍 서버는, 장면의 추가 섹션(80)에 관한 추가 스트림의 스트리밍을 상기 클라이언트(50)에 이용 가능하게 하도록 구성되며, 상기 추가 스트림은 상기 파일 포맷으로 포맷화되고, 하나 또는 그보다 많은 타일들의 추가 세트가 폭이 되는 상기 추가 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 추가 세트, 및 상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제1 부분들에 대한 대체들을 시그널링하고, 그리고/또는 상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제2 부분들을 복사하도록 명령함으로써, 상기 장면의 추가 섹션을 보여주는 영상들이 인코딩되는 추가 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들을 포함하는 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 포함할 수 있다.
이 때, 상기 하나 또는 그보다 많은 소스 트랙들의 세트(30) 및 추가 세트의 각각의 소스 트랙, 상기 하나 또는 그보다 많은 수집 트랙들의 세트(32) 및 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 개별 표현들로서 취급하고, 상기 하나 또는 그보다 많은 수집 트랙들의 세트는 상기 하나 또는 그보다 많은 소스 트랙들의 세트에 의존하는 것으로 그리고 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트는 상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 의존하는 것으로 나타내는 매니페스트(140)를 상기 클라이언트에 제공하도록 구성될 수 있다.
상기 비디오 스트리밍 서버는 상기 하나 또는 그보다 많은 수집 트랙들의 세트 및 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트에 각각 관련된 표현들에 대한 상호 구별되는 URL 베이스들의 명시적 시그널링을 상기 매니페스트에 제공하도록 구성될 수 있다.
상기 섹션 및 추가 섹션은 타일들과 관련하여 동일한 크기일 수 있으며, 비디오 스트리밍 서버는 검색될 장면의 섹션의 공간 위치에 따라, 상기 하나 또는 그보다 많은 수집 트랙들의 세트 및 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트 각각에 관련된 표현들의 세그먼트들의 URL들을 결정하기 위한 계산 규칙을 정의하는 URL 템플릿(141)을 상기 매니페스트에 제공하도록 구성될 수 있다.
비디오 스트리밍 서버는 하나 또는 그보다 많은 소스 트랙들의 세트 및 추가 세트 각각을 개별 표현들로서 취급하는 매니페스트를 상기 클라이언트(50)에 제공하고, 장면의 섹션(22) 내의 타일들을 인코딩한 슬라이스들을 포함하는 소스 트랙들에 대응하는 표현들의 세그먼트들 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 세트(32)를 전달하고, 상기 추가 장면의 섹션 내의 타일들을 인코딩한 슬라이스들을 포함하는 소스 트랙들에 대응하는 표현들의 세그먼트들 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 전달하도록 구성될 수 있다. 이 때, 상기 장면의 섹션 내의 미리 결정된 타일 위치에 위치된 타일들을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 세트(32)를 전달하고, 상기 추가 장면의 섹션 내의 미리 결정된 타일 위치에 위치된 타일을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 전달하도록 구성된다.
또한, 상기 하나 또는 그보다 많은 소스 트랙들의 세트 및 상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트는 다른 소스 트랙들과 개별적인 방식으로 검색될 수 있음을 나타내는 정보를 상기 매니페스트에 제공하고, 상기 하나 또는 그보다 많은 수집 트랙들의 세트(32) 및 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 상기 수집 트랙들의 세그먼트들 내에서 전달하도록 구성될 수 있다.
비디오 스트리밍 서버에서, 상기 장면의 섹션 내에 있는 각각의 타일에 대해, 상기 각각의 타일을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들 내에서, 상기 각각의 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 세트 중 상기 섹션 위치 특정 비디오 데이터 스트림의 합성을 위해 특정된 하나의 수집 트랙을 전달하고, 상기 추가 장면의 섹션 내에 있는 각각의 타일에 대해, 상기 각각의 타일을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들 내에서, 상기 각각의 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트 중 상기 추가 섹션 위치 특정 비디오 데이터 스트림의 합성을 위해 특정된 하나의 수집 트랙을 전달하도록 구성될 수 있다.
이 때, 상기 섹션 및 상기 추가 섹션은 상기 장면의 섹션 및 상기 추가 장면의 섹션 내에 있는 미리 결정된 타일이 존재하도록 서로 겹치도록 구성된다. 또한, 상기 비디오 스트리밍 서버는, 상기 미리 결정된 타일을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들 내에서, 파라미터화 가능한 수집 트랙을 전달하도록 구성된다. 상기 파라미터화 가능한 수집 트랙은, 제1 파라미터 설정에 따라, 상기 미리 결정된 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 세트 중 상기 섹션 위치 특정 비디오 데이터 스트림의 합성에 특정된 상기 수집 트랙이 되도록, 그리고 제2 파라미터 설정에 따라, 상기 미리 결정된 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트 중 상기 추가 섹션 위치 특정 비디오 데이터 스트림의 합성에 특정된 상기 수집 트랙이 되도록 파라미터화가 가능하다.
상기 파라미터화 가능한 수집 트랙은 인덱스를 포함하는 구성 명령들을 포함하며, 상기 미리 결정된 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 세트 중 상기 섹션 위치 특정 비디오 데이터 스트림의 합성에 특정된 상기 수집 트랙은, 제1 설정과는 다른 인덱스로 구성된 상기 구성 명령들을 상기 파라미터화 가능한 수집 트랙으로부터 스킵하는 것으로 인해 발생한다. 또한, 상기 미리 결정된 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트 중 상기 추가 섹션 위치 특정 비디오 데이터 스트림의 합성에 특정된 상기 수집 트랙은, 제2 설정과는 다른 인덱스로 구성된 상기 구성 명령들을 상기 파라미터화 가능한 수집 트랙으로부터 스킵하는 것으로 인해 발생한다.
제1 부분들은 코딩된 비트 레벨과 신택스(syntax) 레벨 사이의 전환시 신택스 엘리먼트들 사이의 경계들을 유지하는 신택스 엘리먼트 단위 코딩 데이터 스트림 부분들이거나 상기 신택스 엘리먼트 단위 코딩 데이터 스트림 부분들 내에 놓인다.
상기 제2 부분들은 산술적으로 코딩된 데이터 스트림 부분들이거나 상기 산술적으로 코딩된 데이터 스트림 부분들을 포함할 수 있다. 다른 실시예에서, 구성 명령들(34)은,삽입 명령을 포함할 수 있다. 이 때, 상기 삽입 명령은, 구성자 태그, 데이터 필드 길이 표시 및 상기 하나 또는 그보다 많은 소스 트랙들의 세트(30)의 슬라이스들의 복사되지 않은 부분의 대체에 대응하는 데이터 필드 길이의 데이터 필드를 포함하며, 상기 섹션 특정 비디오 데이터 스트림에 상기 대체를 삽입하도록 명령할 수 있다.
타 실시예에서, 구성 명령들(34)은,복사 명령을 포함한다. 이 때, 상기 복사 명령은, 추가 구성자 태그, 추가 데이터 필드 길이 표시 및 상기 추가 데이터 필드 길이의 추가 데이터 필드를 포함한다. 상기 추가 데이터 필드는, 상기 하나 또는 그보다 많은 소스 트랙들의 세트(30)의 참조 트랙에 대한 인덱스, 상기 복사 명령이 참조하는 참조 트랙의 샘플 또는 영상 또는 액세스 유닛의 표시자, 및 데이터 오프셋 및 데이터 길이에 의해 상기 참조 트랙의 샘플 또는 영상 또는 액세스 유닛으로부터 복사될 부분의 표시를 포함한다. 또한, 상기 복사 명령은 상기 섹션 특정 비디오 데이터 스트림으로 복사될 부분을 복사하도록 명령한다.
상기 구성 명령들(34)은 상기 섹션 특정 비디오 데이터 스트림을 합성하기 위해 상기 하나 또는 그보다 많은 소스 트랙들의 세트(30)의 슬라이스들로부터 특정 부분들을 복사하는 복사 명령들의 시퀀스를 형성할 수 있다. 또한, 상기 복사 명령들의 시퀀스에는, 상기 섹션 특정 비디오 데이터 스트림을 합성하기 위해 연산자 필드의 콘텐츠가 삽입될 하나 또는 그보다 많은 삽입 명령들이 산재된다. 상기 구성 명령들은 트랜스코딩 없이 비트스트림 도메인에서 상기 섹션 특정 비디오 데이터 스트림의 합성을 시그널링할 수 있다.
본 명세서에서 설명한 장치는 하드웨어 장치를 사용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 결합을 사용하여 구현될 수도 있다.
본 명세서에서 설명된 장치 또는 본 명세서에서 설명된 장치의 임의의 컴포넌트들은 적어도 부분적으로는 하드웨어로 그리고/또는 소프트웨어로 구현될 수 있다.
본 명세서에서 설명한 방법들은 하드웨어 장치를 사용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 결합을 사용하여 수행될 수도 있다.
본 명세서에서 설명한 방법들 또는 본 명세서에서 설명한 장치의 임의의 컴포넌트들은 적어도 부분적으로는 하드웨어에 의해 그리고/또는 소프트웨어에 의해 수행될 수 있다.
앞서 설명한 실시예들은 단지 본 발명의 원리들에 대한 예시일 뿐이다. 본 명세서에서 설명한 배열들 및 세부사항들의 수정들 및 변형들이 다른 당업자들에게 명백할 것이라고 이해된다. 따라서 이는 본 명세서의 실시예들의 묘사 및 설명에 의해 제시된 특정 세부사항들로가 아닌, 첨부된 특허청구범위로만 한정되는 것을 취지로 한다.
*참조
[1] Mavlankar, Aditya, David Varodayan, and Bernd Girod. "Region-of-interest prediction for interactively streaming regions of high resolution video." Packet Video 2007. IEEE, 2007.
Claims (73)
- 삭제
- 비디오 스트리밍 서버로서,
비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)에 액세스하고 ― 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 상기 타일들(24)로 세분되고, 각각의 슬라이스(26)는 슬라이스 헤더 및 페이로드 섹션으로 구성됨 ―; 그리고
상기 장면의 섹션(22)에 관한 스트림(16)의 스트리밍을 클라이언트에 이용 가능하게 하도록 구성되며,
상기 스트림(16)은 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30), 및
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집(gathering) 트랙들의 세트(32)를 포함하고,
상기 비디오 스트리밍 서버는
상기 장면의 추가 섹션(80)에 관한 추가 스트림의 스트리밍을 상기 클라이언트(50)에 이용 가능하게 하도록 구성되며,
상기 추가 스트림은 상기 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 추가 세트가 폭이 되는 상기 추가 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 추가 세트, 및
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 추가 섹션을 보여주는 영상들이 인코딩되는 추가 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들을 포함하는 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 포함하도록 구성되고,
상기 영상들(18)은 타일 경계들(25)에 걸친 코딩 상호 종속성들의 중단과 함께 상기 비디오 데이터 스트림(14)의 슬라이스들(26)로 인코딩되는,
비디오 스트리밍 서버. - 비디오 스트리밍 서버로서,
비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)에 액세스하고 ― 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 상기 타일들(24)로 세분되고, 각각의 슬라이스(26)는 슬라이스 헤더 및 페이로드 섹션으로 구성됨 ―; 그리고
상기 장면의 섹션(22)에 관한 스트림(16)의 스트리밍을 클라이언트에 이용 가능하게 하도록 구성되며,
상기 스트림(16)은 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30), 및
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집(gathering) 트랙들의 세트(32)를 포함하고,
상기 비디오 스트리밍 서버는
상기 장면의 추가 섹션(80)에 관한 추가 스트림의 스트리밍을 상기 클라이언트(50)에 이용 가능하게 하도록 구성되며,
상기 추가 스트림은 상기 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 추가 세트가 폭이 되는 상기 추가 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 추가 세트, 및
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 추가 섹션을 보여주는 영상들이 인코딩되는 추가 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들을 포함하는 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 포함하도록 구성되고,
각각의 소스 트랙(30D, 30E, 30G, 30H)은 상기 비디오(12)의 영상들(18)이 공간적으로 세분되는 상기 타일들(24) 중 각각의 타일과 연관되고, 상기 각각의 소스 트랙과 연관된 상기 영상의 타일이 인코딩되는 슬라이스들(26)을 통합하는,
비디오 스트리밍 서버. - 비디오 스트리밍 서버로서,
비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)에 액세스하고 ― 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 상기 타일들(24)로 세분되고, 각각의 슬라이스(26)는 슬라이스 헤더 및 페이로드 섹션으로 구성됨 ―; 그리고
상기 장면의 섹션(22)에 관한 스트림(16)의 스트리밍을 클라이언트에 이용 가능하게 하도록 구성되며,
상기 스트림(16)은 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30), 및
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집(gathering) 트랙들의 세트(32)를 포함하고,
상기 비디오 스트리밍 서버는
상기 장면의 추가 섹션(80)에 관한 추가 스트림의 스트리밍을 상기 클라이언트(50)에 이용 가능하게 하도록 구성되며,
상기 추가 스트림은 상기 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 추가 세트가 폭이 되는 상기 추가 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 추가 세트, 및
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 추가 섹션을 보여주는 영상들이 인코딩되는 추가 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들을 포함하는 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 포함하도록 구성되고,
상기 하나 또는 그보다 많은 소스 트랙들의 세트(30)의 각각의 소스 트랙 및
상기 하나 또는 그보다 많은 수집 트랙들의 세트(32)를
개별 표현들로서 취급하고 상기 하나 또는 그보다 많은 수집 트랙들의 세트를 상기 하나 또는 그보다 많은 소스 트랙들에 의존하는 것으로서 표시하는 매니페스트(manifest)(140)를 상기 클라이언트에 전송하도록 구성되는,
비디오 스트리밍 서버. - 비디오 스트리밍 서버로서,
비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)에 액세스하고 ― 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 상기 타일들(24)로 세분되고, 각각의 슬라이스(26)는 슬라이스 헤더 및 페이로드 섹션으로 구성됨 ―; 그리고
상기 장면의 섹션(22)에 관한 스트림(16)의 스트리밍을 클라이언트에 이용 가능하게 하도록 구성되며,
상기 스트림(16)은 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30), 및
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집(gathering) 트랙들의 세트(32)를 포함하고,
상기 비디오 스트리밍 서버는
상기 장면의 추가 섹션(80)에 관한 추가 스트림의 스트리밍을 상기 클라이언트(50)에 이용 가능하게 하도록 구성되며,
상기 추가 스트림은 상기 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 추가 세트가 폭이 되는 상기 추가 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 추가 세트, 및
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 추가 섹션을 보여주는 영상들이 인코딩되는 추가 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들을 포함하는 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 포함하도록 구성되고,
상기 비디오 데이터 스트림(14) 및 상기 섹션 특정 비디오 데이터 스트림(52)이 하나의 비디오 디코더(72)에 의해 디코딩 가능하도록 구성되는,
비디오 스트리밍 서버. - 삭제
- 비디오 스트리밍 서버로서,
비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)에 액세스하고 ― 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 상기 타일들(24)로 세분되고, 각각의 슬라이스(26)는 슬라이스 헤더 및 페이로드 섹션으로 구성됨 ―; 그리고
상기 장면의 섹션(22)에 관한 스트림(16)의 스트리밍을 클라이언트에 이용 가능하게 하도록 구성되며,
상기 스트림(16)은 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30), 및
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집(gathering) 트랙들의 세트(32)를 포함하고,
상기 비디오 스트리밍 서버는
상기 장면의 추가 섹션(80)에 관한 추가 스트림의 스트리밍을 상기 클라이언트(50)에 이용 가능하게 하도록 구성되며,
상기 추가 스트림은 상기 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 추가 세트가 폭이 되는 상기 추가 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 추가 세트, 및
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 추가 섹션을 보여주는 영상들이 인코딩되는 추가 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들을 포함하는 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 포함하도록 구성되고,
상기 하나 또는 그보다 많은 소스 트랙들의 세트(30) 및 추가 세트의 각각의 소스 트랙,
상기 하나 또는 그보다 많은 수집 트랙들의 세트(32) 및
상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트를
개별 표현들로서 취급하고, 상기 하나 또는 그보다 많은 수집 트랙들의 세트는 상기 하나 또는 그보다 많은 소스 트랙들의 세트에 의존하는 것으로 그리고 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트는 상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 의존하는 것으로 나타내는 매니페스트(140)를 상기 클라이언트에 제공하도록 구성되는,
비디오 스트리밍 서버. - 제7 항에 있어서,
상기 비디오 스트리밍 서버는 상기 하나 또는 그보다 많은 수집 트랙들의 세트 및 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트에 각각 관련된 표현들에 대한 상호 구별되는 URL 베이스들의 명시적 시그널링을 상기 매니페스트에 제공하도록 구성되는,
비디오 스트리밍 서버. - 제7 항에 있어서,
상기 섹션 및 추가 섹션은 타일들과 관련하여 동일한 크기이고,
상기 비디오 스트리밍 서버는 검색될 장면의 섹션의 공간 위치에 따라, 상기 하나 또는 그보다 많은 수집 트랙들의 세트 및 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트 각각에 관련된 표현들의 세그먼트들의 URL들을 결정하기 위한 계산 규칙을 정의하는 URL 템플릿(141)을 상기 매니페스트에 제공하도록 구성되는,
비디오 스트리밍 서버. - 제7 항에 있어서,
상기 하나 또는 그보다 많은 소스 트랙들의 세트 및 추가 세트 각각을 개별 표현들로서 취급하는 매니페스트를 상기 클라이언트(50)에 제공하고, 그리고
상기 장면의 섹션(22) 내의 타일들을 인코딩한 슬라이스들을 포함하는 소스 트랙들에 대응하는 표현들의 세그먼트들 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 세트(32)를 전달하고, 상기 추가 장면의 섹션 내의 타일들을 인코딩한 슬라이스들을 포함하는 소스 트랙들에 대응하는 표현들의 세그먼트들 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 전달하도록 구성되는,
비디오 스트리밍 서버. - 제10 항에 있어서,
상기 장면의 섹션 내의 미리 결정된 타일 위치에 위치된 타일들을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 세트(32)를 전달하고, 상기 추가 장면의 섹션 내의 미리 결정된 타일 위치에 위치된 타일을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 전달하도록 구성되는,
비디오 스트리밍 서버. - 제10 항에 있어서,
상기 하나 또는 그보다 많은 소스 트랙들의 세트 및 상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트는 다른 소스 트랙들과 개별적인 방식으로 검색될 수 있음을 나타내는 정보를 상기 매니페스트에 제공하고, 상기 하나 또는 그보다 많은 수집 트랙들의 세트(32) 및 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 상기 수집 트랙들의 세그먼트들 내에서 전달하도록 구성되는,
비디오 스트리밍 서버. - 제12 항에 있어서,
상기 장면의 섹션 내에 있는 각각의 타일에 대해, 상기 각각의 타일을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들 내에서, 상기 각각의 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 세트 중 상기 섹션 특정 비디오 데이터 스트림의 합성을 위해 특정된 하나의 수집 트랙을 전달하고, 그리고
상기 추가 장면의 섹션 내에 있는 각각의 타일에 대해, 상기 각각의 타일을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들 내에서, 상기 각각의 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트 중 상기 추가 섹션 특정 비디오 데이터 스트림의 합성을 위해 특정된 하나의 수집 트랙을 전달하도록 구성되는,
비디오 스트리밍 서버. - 제13 항에 있어서,
상기 섹션 및 상기 추가 섹션은 상기 장면의 섹션 및 상기 추가 장면의 섹션 내에 있는 미리 결정된 타일이 존재하도록 서로 겹치고,
상기 비디오 스트리밍 서버는,
상기 미리 결정된 타일을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들 내에서, 파라미터화 가능한 수집 트랙을 전달하도록 구성되며,
상기 파라미터화 가능한 수집 트랙은,
제1 파라미터 설정에 따라, 상기 미리 결정된 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 세트 중 상기 섹션 특정 비디오 데이터 스트림의 합성에 특정된 상기 수집 트랙이 되도록, 그리고
제2 파라미터 설정에 따라, 상기 미리 결정된 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트 중 상기 추가 섹션 특정 비디오 데이터 스트림의 합성에 특정된 상기 수집 트랙이 되도록 파라미터화 가능한,
비디오 스트리밍 서버. - 제14 항에 있어서,
상기 파라미터화 가능한 수집 트랙은 인덱스를 포함하는 구성 명령들을 포함하며,
상기 미리 결정된 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 세트 중 상기 섹션 특정 비디오 데이터 스트림의 합성에 특정된 상기 수집 트랙은, 제1 설정과는 다른 인덱스로 구성된 상기 구성 명령들을 상기 파라미터화 가능한 수집 트랙으로부터 스킵하는 것으로 인해 발생하고,
상기 미리 결정된 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트 중 상기 추가 섹션 특정 비디오 데이터 스트림의 합성에 특정된 상기 수집 트랙은, 제2 설정과는 다른 인덱스로 구성된 상기 구성 명령들을 상기 파라미터화 가능한 수집 트랙으로부터 스킵하는 것으로 인해 발생하는,
비디오 스트리밍 서버. - 비디오 스트리밍 서버로서,
비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)에 액세스하고 ― 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 상기 타일들(24)로 세분되고, 각각의 슬라이스(26)는 슬라이스 헤더 및 페이로드 섹션으로 구성됨 ―; 그리고
상기 장면의 섹션(22)에 관한 스트림(16)의 스트리밍을 클라이언트에 이용 가능하게 하도록 구성되며,
상기 스트림(16)은 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30), 및
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집(gathering) 트랙들의 세트(32)를 포함하고,
상기 제1 데이터 스트림 부분들은 코딩된 비트 레벨과 신택스(syntax) 레벨 사이의 전환시 신택스 엘리먼트들 사이의 경계들을 유지하는 신택스 엘리먼트 단위 코딩 데이터 스트림 부분들이거나 상기 신택스 엘리먼트 단위 코딩 데이터 스트림 부분들 내에 놓이는,
비디오 스트리밍 서버. - 비디오 스트리밍 서버로서,
비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)에 액세스하고 ― 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 상기 타일들(24)로 세분되고, 각각의 슬라이스(26)는 슬라이스 헤더 및 페이로드 섹션으로 구성됨 ―; 그리고
상기 장면의 섹션(22)에 관한 스트림(16)의 스트리밍을 클라이언트에 이용 가능하게 하도록 구성되며,
상기 스트림(16)은 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30), 및
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집(gathering) 트랙들의 세트(32)를 포함하고,
상기 제2 데이터 스트림 부분들은 산술적으로 코딩된 데이터 스트림 부분들이거나 상기 산술적으로 코딩된 데이터 스트림 부분들을 포함하는,
비디오 스트리밍 서버. - 비디오 스트리밍 서버로서,
비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)에 액세스하고 ― 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 상기 타일들(24)로 세분되고, 각각의 슬라이스(26)는 슬라이스 헤더 및 페이로드 섹션으로 구성됨 ―; 그리고
상기 장면의 섹션(22)에 관한 스트림(16)의 스트리밍을 클라이언트에 이용 가능하게 하도록 구성되며,
상기 스트림(16)은 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30), 및
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집(gathering) 트랙들의 세트(32)를 포함하고,
상기 비디오 스트리밍 서버는
상기 장면의 추가 섹션(80)에 관한 추가 스트림의 스트리밍을 상기 클라이언트(50)에 이용 가능하게 하도록 구성되며,
상기 추가 스트림은 상기 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 추가 세트가 폭이 되는 상기 추가 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 추가 세트, 및
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 추가 섹션을 보여주는 영상들이 인코딩되는 추가 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들을 포함하는 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 포함하도록 구성되고,
상기 구성 명령들(34)은,
삽입 명령을 포함하고,
상기 삽입 명령은,
구성자 태그,
데이터 필드 길이 표시 및
상기 하나 또는 그보다 많은 소스 트랙들의 세트(30)의 슬라이스들의 복사되지 않은 부분의 대체에 대응하는 데이터 필드 길이의 데이터 필드를 포함하고, 그리고
상기 섹션 특정 비디오 데이터 스트림에 상기 대체를 삽입하도록 명령하는,
비디오 스트리밍 서버. - 비디오 스트리밍 서버로서,
비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)에 액세스하고 ― 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 상기 타일들(24)로 세분되고, 각각의 슬라이스(26)는 슬라이스 헤더 및 페이로드 섹션으로 구성됨 ―; 그리고
상기 장면의 섹션(22)에 관한 스트림(16)의 스트리밍을 클라이언트에 이용 가능하게 하도록 구성되며,
상기 스트림(16)은 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30), 및
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집(gathering) 트랙들의 세트(32)를 포함하고,
상기 비디오 스트리밍 서버는
상기 장면의 추가 섹션(80)에 관한 추가 스트림의 스트리밍을 상기 클라이언트(50)에 이용 가능하게 하도록 구성되며,
상기 추가 스트림은 상기 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 추가 세트가 폭이 되는 상기 추가 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 추가 세트, 및
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 추가 섹션을 보여주는 영상들이 인코딩되는 추가 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들을 포함하는 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 포함하도록 구성되고,
상기 구성 명령들(34)은,
복사 명령을 포함하며,
상기 복사 명령은,
추가 구성자 태그,
추가 데이터 필드 길이 표시 및
상기 추가 데이터 필드 길이의 추가 데이터 필드를 포함하고,
상기 추가 데이터 필드는,
상기 하나 또는 그보다 많은 소스 트랙들의 세트(30)의 참조 트랙에 대한 인덱스,
상기 복사 명령이 참조하는 참조 트랙의 샘플 또는 영상 또는 액세스 유닛의 표시자, 및
데이터 오프셋 및 데이터 길이에 의해 상기 참조 트랙의 샘플 또는 영상 또는 액세스 유닛으로부터 복사될 부분의 표시를 포함하며,
상기 복사 명령은 상기 섹션 특정 비디오 데이터 스트림으로 복사될 부분을 복사하도록 명령하는,
비디오 스트리밍 서버. - 비디오 스트리밍 서버로서,
비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)에 액세스하고 ― 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 상기 타일들(24)로 세분되고, 각각의 슬라이스(26)는 슬라이스 헤더 및 페이로드 섹션으로 구성됨 ―; 그리고
상기 장면의 섹션(22)에 관한 스트림(16)의 스트리밍을 클라이언트에 이용 가능하게 하도록 구성되며,
상기 스트림(16)은 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30), 및
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집(gathering) 트랙들의 세트(32)를 포함하고,
상기 비디오 스트리밍 서버는
상기 장면의 추가 섹션(80)에 관한 추가 스트림의 스트리밍을 상기 클라이언트(50)에 이용 가능하게 하도록 구성되며,
상기 추가 스트림은 상기 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 추가 세트가 폭이 되는 상기 추가 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 추가 세트, 및
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 추가 섹션을 보여주는 영상들이 인코딩되는 추가 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들을 포함하는 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 포함하도록 구성되고,
상기 구성 명령들(34)은 상기 섹션 특정 비디오 데이터 스트림을 합성하기 위해 상기 하나 또는 그보다 많은 소스 트랙들의 세트(30)의 슬라이스들로부터 특정 부분들을 복사하는 복사 명령들의 시퀀스를 형성하는,
비디오 스트리밍 서버. - 제20 항에 있어서,
상기 복사 명령들의 시퀀스에는, 상기 섹션 특정 비디오 데이터 스트림을 합성하기 위해 연산자 필드의 콘텐츠가 삽입될 하나 또는 그보다 많은 삽입 명령들이 산재되는,
비디오 스트리밍 서버. - 제20 항에 있어서,
상기 구성 명령들은 트랜스코딩 없이 비트스트림 도메인에서 상기 섹션 특정 비디오 데이터 스트림의 합성을 시그널링하는,
비디오 스트리밍 서버. - 장면의 섹션(22)에 관한 비디오(12)를 비디오 스트리밍 서버(10)로부터 검색하도록 구성된 클라이언트로서,
파일 포맷으로 포맷화된 스트림(16)을 상기 비디오 스트리밍 서버(10)로부터 리트리브하고 ― 상기 스트림(16)은,
슬라이스들(26)을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30) ― 상기 하나 또는 그보다 많은 소스 트랙들의 세트 내의 상기 슬라이스들(26)은 비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)의 서브세트를 형성하고, 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 타일들(24)로 세분되고, 상기 비디오 데이터 스트림(14)의 각각의 슬라이스(26) 슬라이스 헤더 및 페이로드 섹션으로 구성되고, 상기 슬라이스들의 서브세트는 하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합함 ―; 및
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림(52)의 합성(62)을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집 트랙들의 세트(32)를 포함함 ―;
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 상기 슬라이스들의 제1 데이터 스트림 부분들을 상기 구성 명령들에 의해 시그널링된 대체들(68)로 대체하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 상기 슬라이스들의 제2 데이터 스트림 부분(70)을 복사함으로써,
상기 하나 또는 그보다 많은 수집 트랙들의 세트(32) 내의 구성 명령들에 따라 상기 섹션 특정 비디오 데이터 스트림(52)을 합성(62)하고;
상기 섹션 특정 비디오 데이터 스트림(52)을 비디오 디코더(72)에 의해 디코딩되게 하도록 구성되며,
상기 하나 또는 그보다 많은 소스 트랙들 각각 그리고
상기 하나 또는 그보다 많은 수집 트랙들의 세트를
개별 표현들로서 취급하고 상기 하나 또는 그보다 많은 수집 트랙들의 세트를 상기 하나 또는 그보다 많은 소스 트랙들에 의존하는 것으로서 표시하는 매니페스트를 상기 비디오 스트리밍 서버로부터 수신하도록 구성되는,
클라이언트. - 제23 항에 있어서,
상기 영상들은 영상의 임의의 다른 타일과는 독립적인 타일을 각각의 슬라이스가 인코딩하도록 타일 경계들에 걸친 코딩 상호 종속성들의 중단과 함께 상기 비디오 데이터 스트림의 슬라이스들로 인코딩되는,
클라이언트. - 제23 항에 있어서,
각각의 소스 트랙은 상기 비디오의 영상들이 공간적으로 세분되는 상기 타일들 중 각각의 타일과 연관되고, 상기 각각의 소스 트랙과 연관된 상기 영상들의 타일이 인코딩되는 슬라이스들을 통합하는,
클라이언트. - 삭제
- 제23 항에 있어서,
상기 비디오 데이터 스트림 및 상기 섹션 특정 비디오 데이터 스트림은 둘 다 상기 비디오 디코더에 의해 디코딩 가능한,
클라이언트. - 장면의 섹션(22)에 관한 비디오(12)를 비디오 스트리밍 서버(10)로부터 검색하도록 구성된 클라이언트로서,
파일 포맷으로 포맷화된 스트림(16)을 상기 비디오 스트리밍 서버(10)로부터 리트리브하고 ― 상기 스트림(16)은,
슬라이스들(26)을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30) ― 상기 하나 또는 그보다 많은 소스 트랙들의 세트 내의 상기 슬라이스들(26)은 비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)의 서브세트를 형성하고, 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 타일들(24)로 세분되고, 상기 비디오 데이터 스트림(14)의 각각의 슬라이스(26) 슬라이스 헤더 및 페이로드 섹션으로 구성되고, 상기 슬라이스들의 서브세트는 하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합함 ―; 및
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림(52)의 합성(62)을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집 트랙들의 세트(32)를 포함함 ―;
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 상기 슬라이스들의 제1 데이터 스트림 부분들을 상기 구성 명령들에 의해 시그널링된 대체들(68)로 대체하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 상기 슬라이스들의 제2 데이터 스트림 부분(70)을 복사함으로써,
상기 하나 또는 그보다 많은 수집 트랙들의 세트(32) 내의 구성 명령들에 따라 상기 섹션 특정 비디오 데이터 스트림(52)을 합성(62)하고;
상기 섹션 특정 비디오 데이터 스트림(52)을 비디오 디코더(72)에 의해 디코딩되게 하도록 구성되며,
상기 비디오 스트리밍 서버로부터 상기 장면의 추가 섹션에 관한 추가 스트림을 검색하고 ― 상기 추가 스트림은 상기 파일 포맷으로 포맷화되고,
상기 추가 섹션을 공간적으로 형성하는 타일들의 추가 세트의 타일들이 인코딩되는 상기 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 추가 세트,
상기 장면의 추가 섹션을 보여주는 영상들이 인코딩되는 추가 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들을 포함하는 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 포함함 ―,
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 상기 슬라이스들의 제1 데이터 스트림 부분들을 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트 내의 구성 명령들에 의해 시그널링된 대체로 대체하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사함으로써,
상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트 내의 구성 명령들에 따라 상기 추가 섹션 특정 비디오 데이터 스트림을 합성하고, 그리고
상기 추가 섹션 특정 비디오 데이터 스트림을 상기 비디오 디코더에 의해 디코딩되게 하도록 구성되는,
클라이언트. - 제28 항에 있어서,
상기 하나 또는 그보다 많은 소스 트랙들의 세트 및 추가 세트의 각각의 소스 트랙,
상기 하나 또는 그보다 많은 수집 트랙들의 세트 및
하나 또는 그보다 많은 추가 수집 트랙들의 세트를
개별 표현들로서 취급하고, 상기 하나 또는 그보다 많은 수집 트랙들의 세트는 상기 하나 또는 그보다 많은 소스 트랙들의 세트에 의존하는 것으로 그리고 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트는 상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 의존하는 것으로 나타내는 매니페스트를 상기 비디오 스트리밍 서버로부터 수신하고, 그리고
상기 비디오 스트리밍 서버로부터 상기 스트림의 검색시, 상기 비디오 스트리밍 서버로부터 상기 하나 또는 그보다 많은 소스 트랙들의 세트 및 상기 하나 또는 그보다 많은 수집 트랙들의 세트와 연관된 표현들을 검색하고, 그리고 상기 비디오 스트리밍 서버로부터 상기 추가 스트림의 검색시, 상기 비디오 스트리밍 서버로부터 상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트 및 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트와 연관된 표현들을 검색하도록 구성되는,
클라이언트. - 제29 항에 있어서,
상기 클라이언트는 상기 하나 또는 그보다 많은 수집 트랙들의 세트 및 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트에 각각 관련된 표현들에 대한 상호 구별되는 URL 베이스들의 명시적 시그널링을 상기 매니페스트로부터 도출하도록 구성되는,
클라이언트. - 제29 항에 있어서,
상기 섹션 및 추가 섹션은 타일들과 관련하여 동일한 크기이고,
상기 클라이언트는 상기 비디오 스트리밍 서버로부터 상기 추가 스트림의 검색시 그리고 상기 비디오 스트리밍 서버로부터 상기 추가 스트림의 검색시,
계산 규칙을 정의하는 URL 템플릿을 상기 매니페스트로부터 도출하고,
상기 계산 규칙을 사용하여, 검색될 장면의 섹션의 공간 위치에 따라, 상기 하나 또는 그보다 많은 수집 트랙들의 세트 및 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트 각각에 관련된 표현들의 세그먼트들의 URL들을 결정하고,
상기 스트림의 검색의 경우에는 상기 하나 또는 그보다 많은 수집 트랙들의 세트를 그리고 상기 추가 스트림의 검색의 경우에는 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 전달하는 세그먼트들을, 결정된 URL들을 기초로 검색하도록 구성되는,
클라이언트. - 제29 항에 있어서,
상기 하나 또는 그보다 많은 소스 트랙들의 세트 및 추가 세트 각각을 개별 표현들로서 취급하는 매니페스트를 상기 비디오 스트리밍 서버로부터 수신하고, 그리고
상기 비디오 스트리밍 서버로부터 상기 스트림의 검색시, 상기 장면의 섹션 내의 타일들을 인코딩한 슬라이스들을 포함하는 소스 트랙들에 대응하는 표현들의 세그먼트들로부터 상기 하나 또는 그보다 많은 수집 트랙들을 판독하고, 그리고 상기 비디오 스트리밍 서버로부터 상기 추가 스트림의 검색시, 상기 추가 장면의 섹션 내의 타일들을 인코딩한 슬라이스들을 포함하는 소스 트랙들에 대응하는 표현들의 세그먼트들로부터 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 판독하도록 구성되는,
클라이언트. - 제32 항에 있어서,
상기 비디오 스트리밍 서버로부터 상기 스트림의 검색시, 상기 장면의 섹션 내의 미리 결정된 타일 위치에 위치된 타일을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들로부터 상기 하나 또는 그보다 많은 수집 트랙들의 세트를 판독하고, 그리고 상기 비디오 스트리밍 서버로부터 상기 추가 스트림의 검색시, 상기 추가 장면의 섹션 내의 상기 미리 결정된 타일 위치에 위치된 타일을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들로부터 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 판독하도록 구성되는,
클라이언트. - 제32 항에 있어서,
상기 비디오 스트리밍 서버로부터 상기 스트림의 검색시, 상기 장면의 섹션 내에 있는 각각의 타일에 대해, 상기 각각의 타일을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들로부터, 상기 각각의 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 세트 중 상기 섹션 특정 비디오 데이터 스트림의 합성을 위해 특정된 하나의 수집 트랙을 판독하고, 그리고
상기 비디오 스트리밍 서버로부터 상기 추가 스트림의 검색시, 상기 추가 장면의 섹션 내에 있는 각각의 타일에 대해, 상기 각각의 타일을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들로부터, 상기 각각의 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트 중 상기 추가 섹션 특정 비디오 데이터 스트림의 합성을 위해 특정된 하나의 수집 트랙을 판독하도록 구성되는,
클라이언트. - 제34 항에 있어서,
상기 섹션 및 상기 추가 섹션은 상기 장면의 섹션 및 상기 추가 장면의 섹션 내에 있는 미리 결정된 타일이 존재하도록 서로 겹치고,
상기 클라이언트는 상기 비디오 스트리밍 서버로부터 상기 추가 스트림의 검색시 그리고 상기 비디오 스트리밍 서버로부터 상기 추가 스트림의 검색시,
상기 미리 결정된 타일을 인코딩한 슬라이스들을 포함하는 소스 트랙에 대응하는 표현의 세그먼트들로부터, 파라미터화 가능한 수집 트랙을 판독하고,
상기 스트림의 검색의 경우, 상기 파라미터화 가능한 수집 트랙이 상기 미리 결정된 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 세트 중 상기 섹션 특정 비디오 데이터 스트림의 합성에 특정된 상기 수집 트랙이 되도록 제1 파라미터화 설정을 사용하여 상기 파라미터화 가능한 수집 트랙을 파라미터화하고, 그리고
상기 추가 스트림의 검색의 경우, 상기 파라미터화 가능한 수집 트랙이 상기 미리 결정된 타일 내에서 상기 하나 또는 그보다 많은 수집 트랙들의 추가 세트 중 상기 추가 섹션 특정 비디오 데이터 스트림의 합성에 특정된 상기 수집 트랙이 되도록 제2 파라미터화 설정을 사용하여 상기 파라미터화 가능한 수집 트랙을 파라미터화하도록 구성되는,
클라이언트. - 제35 항에 있어서,
상기 제1 파라미터화 설정을 사용하여 상기 파라미터화 가능한 수집 트랙을 파라미터화할 때, 상기 파라미터화 가능한 수집 트랙 내에서 제1 설정과 다른 인덱스를 포함하는 구성 명령들을 스킵하고, 그리고
상기 제2 파라미터화 설정을 사용하여 상기 파라미터화 가능한 수집 트랙을 파라미터화할 때, 상기 파라미터화 가능한 수집 트랙 내에서 제2 설정과 다른 인덱스를 포함하는 구성 명령들을 스킵하도록 구성되는,
클라이언트. - 장면의 섹션(22)에 관한 비디오(12)를 비디오 스트리밍 서버(10)로부터 검색하도록 구성된 클라이언트로서,
파일 포맷으로 포맷화된 스트림(16)을 상기 비디오 스트리밍 서버(10)로부터 리트리브하고 ― 상기 스트림(16)은,
슬라이스들(26)을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30) ― 상기 하나 또는 그보다 많은 소스 트랙들의 세트 내의 상기 슬라이스들(26)은 비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)의 서브세트를 형성하고, 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 타일들(24)로 세분되고, 상기 비디오 데이터 스트림(14)의 각각의 슬라이스(26) 슬라이스 헤더 및 페이로드 섹션으로 구성되고, 상기 슬라이스들의 서브세트는 하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합함 ―; 및
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림(52)의 합성(62)을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집 트랙들의 세트(32)를 포함함 ―;
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 상기 슬라이스들의 제1 데이터 스트림 부분들을 상기 구성 명령들에 의해 시그널링된 대체들(68)로 대체하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 상기 슬라이스들의 제2 데이터 스트림 부분(70)을 복사함으로써,
상기 하나 또는 그보다 많은 수집 트랙들의 세트(32) 내의 구성 명령들에 따라 상기 섹션 특정 비디오 데이터 스트림(52)을 합성(62)하고;
상기 섹션 특정 비디오 데이터 스트림(52)을 비디오 디코더(72)에 의해 디코딩되게 하도록 구성되며,
상기 제1 데이터 스트림 부분들은 코딩된 비트 레벨과 신택스 레벨 사이의 전환시 신택스 엘리먼트들 사이의 경계들을 유지하는 신택스 엘리먼트 단위 코딩 데이터 스트림 부분들이거나 상기 신택스 엘리먼트 단위 코딩 데이터 스트림 부분들 내에 놓이는,
클라이언트. - 장면의 섹션(22)에 관한 비디오(12)를 비디오 스트리밍 서버(10)로부터 검색하도록 구성된 클라이언트로서,
파일 포맷으로 포맷화된 스트림(16)을 상기 비디오 스트리밍 서버(10)로부터 리트리브하고 ― 상기 스트림(16)은,
슬라이스들(26)을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30) ― 상기 하나 또는 그보다 많은 소스 트랙들의 세트 내의 상기 슬라이스들(26)은 비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)의 서브세트를 형성하고, 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 타일들(24)로 세분되고, 상기 비디오 데이터 스트림(14)의 각각의 슬라이스(26) 슬라이스 헤더 및 페이로드 섹션으로 구성되고, 상기 슬라이스들의 서브세트는 하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합함 ―; 및
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림(52)의 합성(62)을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집 트랙들의 세트(32)를 포함함 ―;
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 상기 슬라이스들의 제1 데이터 스트림 부분들을 상기 구성 명령들에 의해 시그널링된 대체들(68)로 대체하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 상기 슬라이스들의 제2 데이터 스트림 부분(70)을 복사함으로써,
상기 하나 또는 그보다 많은 수집 트랙들의 세트(32) 내의 구성 명령들에 따라 상기 섹션 특정 비디오 데이터 스트림(52)을 합성(62)하고;
상기 섹션 특정 비디오 데이터 스트림(52)을 비디오 디코더(72)에 의해 디코딩되게 하도록 구성되며,
상기 제2 데이터 스트림 부분들은 산술적으로 코딩된 데이터 스트림 부분들이거나 상기 산술적으로 코딩된 데이터 스트림 부분들을 포함하는,
클라이언트. - 제23 항에 있어서,
상기 구성 명령들(34)은,
삽입 명령을 포함하고,
상기 삽입 명령은,
구성자 태그,
데이터 필드 길이 표시 및
상기 하나 또는 그보다 많은 소스 트랙들의 세트(30)의 슬라이스들의 복사되지 않은 부분의 대체에 대응하는 데이터 필드 길이의 데이터 필드를 포함하고,
상기 클라이언트는 상기 삽입 명령에 따라, 상기 섹션 특정 비디오 데이터 스트림에 상기 대체를 삽입하도록 구성되는,
클라이언트. - 제23 항에 있어서,
상기 구성 명령들(34)은,
복사 명령을 포함하며,
상기 복사 명령은,
추가 구성자 태그,
추가 데이터 필드 길이 표시 및
상기 추가 데이터 필드 길이의 추가 데이터 필드를 포함하고,
상기 추가 데이터 필드는,
상기 하나 또는 그보다 많은 소스 트랙들의 세트(30)의 참조 트랙에 대한 인덱스,
상기 복사 명령이 참조하는 참조 트랙의 샘플 또는 영상 또는 액세스 유닛의 표시자, 및
데이터 오프셋 및 데이터 길이에 의해 상기 참조 트랙의 샘플 또는 영상 또는 액세스 유닛으로부터 복사될 부분의 표시를 포함하며,
상기 클라이언트는 상기 복사 명령에 따라, 상기 섹션 특정 비디오 데이터 스트림으로 복사될 부분을 복사하도록 구성되는,
클라이언트. - 제23 항에 있어서,
상기 구성 명령들(34)은 복사 명령들의 시퀀스를 형성하며, 상기 클라이언트는 복사 명령들의 시퀀스에 따라, 상기 섹션 특정 비디오 데이터 스트림을 합성하기 위해 상기 하나 또는 그보다 많은 소스 트랙들의 세트(30)의 슬라이스들로부터 특정 부분들을 복사하도록 구성되는,
클라이언트. - 제41 항에 있어서,
상기 복사 명령들의 시퀀스에는 하나 또는 그보다 많은 삽입 명령들이 산재되어 있고, 상기 클라이언트는 상기 하나 또는 그보다 많은 삽입 명령들에 따라, 상기 섹션 특정 비디오 데이터 스트림을 합성하기 위해 연산자 필드의 콘텐츠가 삽입되도록 구성되는,
클라이언트. - 제41 항에 있어서,
상기 클라이언트는 상기 구성 명령들에 따라, 트랜스코딩 없이 비트스트림 도메인에서 상기 섹션 특정 비디오 데이터 스트림을 합성하도록 구성되는,
클라이언트. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 비디오 스트리밍을 위한 방법으로서,
비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)을 수신하는 단계 ― 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 공간적으로 타일들(24)로 세분되고 ―; 및
상기 장면의 섹션(22)에 관한 스트림(16)의 스트리밍을 클라이언트에 이용 가능하게 하는 단계를 포함하며,
상기 스트림(16)은 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(30), 및
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제1 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 슬라이스들의 제2 부분들을 복사하도록 명령함으로써,
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집 트랙들의 세트(32)를 포함하고,
상기 장면의 추가 섹션(80)에 관한 추가 스트림의 스트리밍을 상기 클라이언트(50)에 이용 가능하게 하는 단계를 포함하고,
상기 추가 스트림은 상기 파일 포맷으로 포맷화되고,
하나 또는 그보다 많은 타일들의 추가 세트가 폭이 되는 상기 추가 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합하는 하나 또는 그보다 많은 소스 트랙들의 추가 세트, 및
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제1 데이터 스트림 부분들에 대한 대체들을 시그널링하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들의 추가 세트에 통합된 슬라이스들의 제2 데이터 스트림 부분들을 복사하도록 명령함으로써,
상기 장면의 추가 섹션을 보여주는 영상들이 인코딩되는 추가 섹션 특정 비디오 데이터 스트림의 합성을 지시하는 구성 명령들을 포함하는 하나 또는 그보다 많은 수집 트랙들의 추가 세트를 포함하는,
비디오 스트리밍을 위한 방법. - 장면의 섹션(22)에 관한 비디오(12)를 비디오 스트리밍 서버(10)로부터 검색하기 위한 방법으로서,
파일 포맷으로 포맷화된 스트림(16)을 상기 비디오 스트리밍 서버(10)로부터 리트리브하는 단계 ― 상기 스트림(16)은,
슬라이스들(26)을 통합하는 하나 또는 그보다 많은 소스 트랙들의 세트(32) ― 상기 하나 또는 그보다 많은 소스 트랙들의 세트 내의 상기 슬라이스들(26)은 비디오(12)의 영상들(18)이 코딩되는 비디오 데이터 스트림(14)의 슬라이스들(26)의 서브세트를 형성하고, 상기 영상들(18) 각각은 장면을 보여주며, 상기 영상들(18)은 타일들(24)이 행들 및 열들로 규칙적으로 배열되도록 공간적으로 타일들(24)로 세분되고, 상기 비디오 데이터 스트림(14)의 각각의 슬라이스(26)는 슬라이스 헤더 및 페이로드 섹션으로 구성되며, 상기 슬라이스들의 서브세트는 하나 또는 그보다 많은 타일들의 세트가 폭이 되는 상기 섹션 내의 타일들이 인코딩되는 슬라이스들을 통합함 ―; 및
상기 장면의 섹션을 보여주는 영상들이 인코딩되는 섹션 특정 비디오 데이터 스트림(52)의 합성(62)을 지시하는 구성 명령들(34)을 포함하는 하나 또는 그보다 많은 수집 트랙들의 세트(32)를 포함함 ―;
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 상기 슬라이스들의 제1 부분들을 상기 구성 명령들에 의해 시그널링된 대체들(68)로 대체하고, 그리고/또는
상기 하나 또는 그보다 많은 소스 트랙들에 통합된 상기 슬라이스들의 제2 부분(70)을 복사함으로써,
상기 하나 또는 그보다 많은 수집 트랙들의 세트(32) 내의 구성 명령들에 따라 상기 섹션 특정 비디오 데이터 스트림(52)을 합성(62)하는 단계;
상기 섹션 특정 비디오 데이터 스트림(52)을 비디오 디코더(72)에 의해 디코딩되게 하는 단계를 포함하고,
상기 하나 또는 그보다 많은 소스 트랙들 각각 그리고
상기 하나 또는 그보다 많은 수집 트랙들의 세트를
개별 표현들로서 취급하고 상기 하나 또는 그보다 많은 수집 트랙들의 세트를 상기 하나 또는 그보다 많은 소스 트랙들에 의존하는 것으로서 표시하는 매니페스트를 상기 비디오 스트리밍 서버로부터 수신하는 단계를 포함하는,
장면의 섹션(22)에 관한 비디오(74)를 비디오 스트리밍 서버(10)로부터 검색하기 위한 방법. - 삭제
- 삭제
- 프로세서에 의해서 실행될 때, 제67 항 또는 제68 항에 따른 방법을 수행하도록 상기 프로세서에 지시하는 프로그램 코드를 갖는,
컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 저장 매체.
- 삭제
- 삭제
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16153929.1 | 2016-02-02 | ||
| EP16153929 | 2016-02-02 | ||
| KR1020187025388A KR102248185B1 (ko) | 2016-02-02 | 2017-02-01 | 비디오 스트리밍의 관심 장면 섹션 및 영역 처리 |
| PCT/EP2017/052159 WO2017134110A1 (en) | 2016-02-02 | 2017-02-01 | Scene section and region of interest handling in video streaming |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187025388A Division KR102248185B1 (ko) | 2016-02-02 | 2017-02-01 | 비디오 스트리밍의 관심 장면 섹션 및 영역 처리 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210049205A KR20210049205A (ko) | 2021-05-04 |
| KR102618049B1 true KR102618049B1 (ko) | 2023-12-27 |
Family
ID=55359394
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217012677A KR102618049B1 (ko) | 2016-02-02 | 2017-02-01 | 비디오 스트리밍의 관심 장면 섹션 및 영역 처리 |
| KR1020187025388A KR102248185B1 (ko) | 2016-02-02 | 2017-02-01 | 비디오 스트리밍의 관심 장면 섹션 및 영역 처리 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187025388A KR102248185B1 (ko) | 2016-02-02 | 2017-02-01 | 비디오 스트리밍의 관심 장면 섹션 및 영역 처리 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US11134282B2 (ko) |
| EP (1) | EP3412032A1 (ko) |
| JP (2) | JP6766157B2 (ko) |
| KR (2) | KR102618049B1 (ko) |
| CN (2) | CN113316023B (ko) |
| CA (1) | CA3013111C (ko) |
| TW (1) | TWI672040B (ko) |
| WO (1) | WO2017134110A1 (ko) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3412032A1 (en) | 2016-02-02 | 2018-12-12 | Fraunhofer Gesellschaft zur Förderung der Angewand | Scene section and region of interest handling in video streaming |
| CN106101847A (zh) * | 2016-07-12 | 2016-11-09 | 三星电子（中国）研发中心 | 全景视频交互传输的方法和系统 |
| CA3034585A1 (en) * | 2016-08-30 | 2018-03-08 | Sony Corporation | Distribution device, distribution method, reception device, reception method, program, and content distribution system |
| EP3750303B1 (en) * | 2018-02-05 | 2024-04-03 | Telefonaktiebolaget LM Ericsson (publ) | A method, a user equipment and a computer program product for enabling a dynamic adaptive streaming over http, dash, player to fetch media segments from a network |
| EP3759922A1 (en) | 2018-04-03 | 2021-01-06 | Huawei Technologies Co. Ltd. | Error mitigation in sub-picture bitstream based viewport dependent video coding |
| GB2575074B (en) * | 2018-06-27 | 2022-09-28 | Canon Kk | Encapsulating video content with an indication of whether a group of tracks collectively represents a full frame or a part of a frame |
| CN110798707B (zh) * | 2018-08-02 | 2023-06-16 | 华为技术有限公司 | 传输媒体数据的方法、客户端和服务器 |
| US10779014B2 (en) | 2018-10-18 | 2020-09-15 | At&T Intellectual Property I, L.P. | Tile scheduler for viewport-adaptive panoramic video streaming |
| CN111263191B (zh) * | 2018-11-30 | 2023-06-27 | 中兴通讯股份有限公司 | 视频数据的处理方法、装置、相关设备及存储介质 |
| US10897627B2 (en) | 2019-01-11 | 2021-01-19 | Western Digital Technologies, Inc. | Non-volatile memory system including a partial decoder and event detector for video streams |
| GB2587364B (en) * | 2019-09-24 | 2023-11-15 | Canon Kk | Method, device, and computer program for encapsulating media data into a media file |
| US20220345746A1 (en) * | 2019-09-27 | 2022-10-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Merging friendly file format |
| US11064194B2 (en) | 2019-10-31 | 2021-07-13 | Western Digital Technologies, Inc. | Encoding digital videos using controllers of data storage devices |
| CN111079567B (zh) * | 2019-11-28 | 2020-11-13 | 中科驭数（北京）科技有限公司 | 采样方法、模型生成方法、视频行为识别方法及装置 |
| US10979784B1 (en) | 2019-12-02 | 2021-04-13 | CodeShop, B.V. | Track format for carriage of event messages |
| US10841645B1 (en) | 2019-12-09 | 2020-11-17 | Western Digital Technologies, Inc. | Storage system and method for video frame segregation to optimize storage |
| EP4097981A1 (en) * | 2020-01-29 | 2022-12-07 | Nokia Technologies Oy | A method, an apparatus and a computer program product for video streaming |
| US11562018B2 (en) | 2020-02-04 | 2023-01-24 | Western Digital Technologies, Inc. | Storage system and method for optimized surveillance search |
| US11526435B2 (en) | 2020-02-04 | 2022-12-13 | Western Digital Technologies, Inc. | Storage system and method for automatic data phasing |
| US11328511B2 (en) | 2020-03-13 | 2022-05-10 | Western Digital Technologies, Inc. | Storage system and method for improved playback analysis |
| US11546406B2 (en) * | 2020-04-13 | 2023-01-03 | Tencent America LLC | Media systems and methods including mixed event message tracks |
| US20220109856A1 (en) * | 2020-10-06 | 2022-04-07 | Samsung Electronics Co., Ltd. | Access of essential video coding (evc) slices in a file |
| US11218784B1 (en) | 2021-04-09 | 2022-01-04 | CodeShop, B.V. | Method and system for inserting markers in a media presentation |
| CN116912385B (zh) * | 2023-09-15 | 2023-11-17 | 深圳云天畅想信息科技有限公司 | 视频帧自适应渲染处理方法、计算机装置及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015197815A1 (en) * | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
| KR102248185B1 (ko) * | 2016-02-02 | 2021-05-04 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 비디오 스트리밍의 관심 장면 섹션 및 영역 처리 |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1579694A4 (en) * | 2002-11-14 | 2009-10-28 | Opentv Inc | POSITIONING IMAGES IN A DATA TRAIN |
| US7379608B2 (en) * | 2003-12-04 | 2008-05-27 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. | Arithmetic coding for transforming video and picture data units |
| JP4185013B2 (ja) * | 2004-04-14 | 2008-11-19 | 日本電信電話株式会社 | 動画像受信表示方法，動画像送信方法，動画像受信表示装置，動画像送信装置，動画像受信表示プログラム，動画像送信プログラムおよびそれらのプログラム記録媒体 |
| DE102007049351A1 (de) | 2007-10-15 | 2009-04-16 | Siemens Ag | Verfahren und Vorrichtung zum Erstellen eines kodierten Ausgangsvideostroms aus mindestens zwei kodierten Eingangsvideoströmen, sowie Verwendung der Vorrichtung und kodierter Eingangsvideostrom |
| US20120174196A1 (en) * | 2010-12-30 | 2012-07-05 | Suresh Bhogavilli | Active validation for ddos and ssl ddos attacks |
| EP2668785A4 (en) * | 2011-01-28 | 2015-11-11 | Eye Io Llc | CODING VIDEO DATA STREAMS BASED ON A SCENE TYPE |
| US20120300048A1 (en) * | 2011-05-25 | 2012-11-29 | ISC8 Inc. | Imaging Device and Method for Video Data Transmission Optimization |
| PL3094092T3 (pl) * | 2011-09-07 | 2018-11-30 | Sun Patent Trust | Sposób dekodowania obrazów i urządzenie do dekodowania obrazów |
| US20130114694A1 (en) * | 2011-11-08 | 2013-05-09 | Qualcomm Incorporated | Parameter set groups for coded video data |
| KR102158629B1 (ko) * | 2011-12-29 | 2020-09-22 | 엘지전자 주식회사 | 비디오 인코딩 및 디코딩 방법과 이를 이용하는 장치 |
| GB2501675B (en) * | 2012-03-27 | 2014-11-19 | Microsoft Corp | Encoding and transmitting video streams |
| US9516308B2 (en) * | 2012-04-27 | 2016-12-06 | Qualcomm Incorporated | Parameter set updates in video coding |
| US8887215B2 (en) * | 2012-06-11 | 2014-11-11 | Rgb Networks, Inc. | Targeted high-value content in HTTP streaming video on demand |
| PL2866439T3 (pl) * | 2012-06-26 | 2021-05-31 | Lg Electronics Inc. | Sposób dekodowania wideo i sposób kodowania wideo |
| TWI737990B (zh) * | 2012-06-29 | 2021-09-01 | 美商Ｇｅ影像壓縮有限公司 | 視訊資料串流概念技術 |
| TWI669952B (zh) * | 2012-09-18 | 2019-08-21 | 美商Ｖｉｄ衡器股份有限公司 | 使用圖塊及圖塊組的感興趣區域視訊編碼的方法及裝置 |
| CN104904225B (zh) * | 2012-10-12 | 2019-05-07 | 佳能株式会社 | 用于对视频数据进行流传输的方法和相应装置 |
| KR102539065B1 (ko) * | 2013-01-04 | 2023-06-01 | 지이 비디오 컴프레션, 엘엘씨 | 효율적인 확장가능한 코딩 개념 |
| JP6135958B2 (ja) * | 2013-01-16 | 2017-05-31 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | ダウンロード及びストリーミングのためのコンテンツの記憶及び送信 |
| GB2509953B (en) * | 2013-01-18 | 2015-05-20 | Canon Kk | Method of displaying a region of interest in a video stream |
| KR101861979B1 (ko) * | 2013-01-18 | 2018-05-28 | 캐논 가부시끼가이샤 | 미디어 데이터 영역 및 메타 데이터 영역을 포함하는 미디어 파일의 생성 방법 및 디바이스 |
| JP6514197B2 (ja) * | 2013-07-15 | 2019-05-15 | ジーイー ビデオ コンプレッション エルエルシー | ネットワーク装置およびエラー処理の方法 |
| JP6541309B2 (ja) * | 2014-06-23 | 2019-07-10 | キヤノン株式会社 | 送信装置、送信方法、及びプログラム |
| GB2539461B (en) * | 2015-06-16 | 2020-01-08 | Canon Kk | Image data encapsulation |
| US20170105004A1 (en) * | 2015-10-07 | 2017-04-13 | Qualcomm Incorporated | Methods and systems of coding a predictive random access picture using a background picture |
| US10674185B2 (en) * | 2015-10-08 | 2020-06-02 | Koninklijke Kpn N.V. | Enhancing a region of interest in video frames of a video stream |
| TWI579540B (zh) * | 2015-12-02 | 2017-04-21 | 財團法人工業技術研究院 | 多點光譜系統 |
| US10291923B2 (en) * | 2016-05-24 | 2019-05-14 | Qualcomm Incorporated | Mapping of tile grouping and samples in HEVC and L-HEVC file formats |
-
2017
- 2017-02-01 EP EP17702626.7A patent/EP3412032A1/en active Pending
- 2017-02-01 JP JP2018540380A patent/JP6766157B2/ja active Active
- 2017-02-01 CN CN202110421344.XA patent/CN113316023B/zh active Active
- 2017-02-01 KR KR1020217012677A patent/KR102618049B1/ko active IP Right Grant
- 2017-02-01 CA CA3013111A patent/CA3013111C/en active Active
- 2017-02-01 CN CN201780022056.9A patent/CN108886639B/zh active Active
- 2017-02-01 WO PCT/EP2017/052159 patent/WO2017134110A1/en active Application Filing
- 2017-02-01 KR KR1020187025388A patent/KR102248185B1/ko active IP Right Grant
- 2017-02-02 TW TW106103456A patent/TWI672040B/zh active
-
2018
- 2018-08-01 US US16/052,132 patent/US11134282B2/en active Active
-
2020
- 2020-09-16 JP JP2020155204A patent/JP7273766B2/ja active Active
-
2021
- 2021-08-25 US US17/445,860 patent/US11917220B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015197815A1 (en) * | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
| KR102248185B1 (ko) * | 2016-02-02 | 2021-05-04 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 비디오 스트리밍의 관심 장면 섹션 및 영역 처리 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7273766B2 (ja) | 2023-05-15 |
| WO2017134110A1 (en) | 2017-08-10 |
| CN108886639A (zh) | 2018-11-23 |
| JP2019507980A (ja) | 2019-03-22 |
| CN113316023A (zh) | 2021-08-27 |
| KR20210049205A (ko) | 2021-05-04 |
| CN113316023B (zh) | 2023-10-27 |
| JP6766157B2 (ja) | 2020-10-07 |
| JP2020205632A (ja) | 2020-12-24 |
| CA3013111A1 (en) | 2017-08-10 |
| CN108886639B (zh) | 2021-05-07 |
| US20220109898A1 (en) | 2022-04-07 |
| TW201733355A (zh) | 2017-09-16 |
| KR102248185B1 (ko) | 2021-05-04 |
| US11917220B2 (en) | 2024-02-27 |
| EP3412032A1 (en) | 2018-12-12 |
| US11134282B2 (en) | 2021-09-28 |
| CN113316025A (zh) | 2021-08-27 |
| TWI672040B (zh) | 2019-09-11 |
| US20190174161A1 (en) | 2019-06-06 |
| KR20180110015A (ko) | 2018-10-08 |
| CN113316024A (zh) | 2021-08-27 |
| CA3013111C (en) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102618049B1 (ko) | 비디오 스트리밍의 관심 장면 섹션 및 영역 처리 | |
| US11128898B2 (en) | Method, device, and computer program for encapsulating scalable partitioned timed media data | |
| EP3311574B1 (en) | Method, device, and computer program for obtaining media data and metadata from encapsulated bit-streams wherein operating point descriptors can be dynamically set | |
| JP6572222B2 (ja) | メディアファイルの生成方法、生成装置、及びプログラム | |
| US20160014480A1 (en) | Method, device, and computer program for encapsulating partitioned timed media data | |
| JP2017515336A (ja) | 分割タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラム | |
| CN113316025B (zh) | 视频流传输中的场景部分和感兴趣区域处理 | |
| CN113316024B (zh) | 视频流传输中的场景部分和感兴趣区域处理 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |