KR20210118944A - Http를 통한 동적 적응 스트리밍을 위한 방법들 및 장치들 - Google Patents

Http를 통한 동적 적응 스트리밍을 위한 방법들 및 장치들 Download PDF

Info

Publication number
KR20210118944A
KR20210118944A KR1020217028527A KR20217028527A KR20210118944A KR 20210118944 A KR20210118944 A KR 20210118944A KR 1020217028527 A KR1020217028527 A KR 1020217028527A KR 20217028527 A KR20217028527 A KR 20217028527A KR 20210118944 A KR20210118944 A KR 20210118944A
Authority
KR
South Korea
Prior art keywords
metadata
event message
message box
event
presentation time
Prior art date
Application number
KR1020217028527A
Other languages
English (en)
Other versions
KR102501184B1 (ko
Inventor
이라즈 소다가르
Original Assignee
텐센트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 아메리카 엘엘씨 filed Critical 텐센트 아메리카 엘엘씨
Publication of KR20210118944A publication Critical patent/KR20210118944A/ko
Application granted granted Critical
Publication of KR102501184B1 publication Critical patent/KR102501184B1/ko

Links

Images

Classifications

    • H04L65/601—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • H04L41/026—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols using e-messaging for transporting management information, e.g. email, instant messaging or chat
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816—Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
    • H04L65/4084—
    • H04L65/608—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 개시내용의 양태들은 미디어 데이터를 수신하기 위한 방법, 장치 및 비-일시적 컴퓨터 판독가능한 저장 매체를 제공한다. 하나의 장치는 복수의 메타데이터 샘플을 포함하는 복수의 세그먼트의 시간 지정 메타데이터 트랙을 수신하는 프로세싱 회로를 포함한다. 복수의 세그먼트 각각은 복수의 메타데이터 샘플 중 하나만을 포함한다. 복수의 메타데이터 샘플 각각은 하나 이상의 이벤트 메시지 박스를 포함한다. 시간 지정 메타데이터 트랙에 대해 조각화 및 조각 모음 프로세스들이 수행된다. 프로세싱 회로는 각각의 이벤트 메시지 박스의 시작 시간 및 활성 지속시간을 결정한다. 프로세싱 회로는 각각의 이벤트 메시지 박스에 포함된 이벤트 정보를, 개별 이벤트 메시지 박스의 시작 시간 및 활성 지속시간에 기초하여 프로세싱한다.

Description

HTTP를 통한 동적 적응 스트리밍을 위한 방법들 및 장치들
참조에 의한 포함
본 출원은 2019년 9월 30일자로 출원된 미국 가출원 제62/908,238호 "내장된 이벤트 메시지 박스들을 갖는 단일-샘플 희소 시간 지정 메타데이터 DASH 세그먼트들 및 CMAF 조각들(SINGLE-SAMPLE SPARSE TIMED METADATA DASH SEGMENTS AND CMAF FRAGMENTS WITH EMBEDDED EVENT MESSAGE BOXES)"의 우선권의 이익을 주장하는, 2020년 9월 24일자로 출원된 미국 특허 출원 제17/031,227호 "HTTP를 통한 동적 적응 스트리밍을 위한 방법들 및 장치들(METHODS AND APPARATUSES FOR DYNAMIC ADAPTIVE STREAMING OVER HTTP)"의 우선권의 이익을 주장한다. 선행 출원의 전체 개시내용은 그 전체가 여기에 참조로 포함된다.
기술분야
본 개시내용은 일반적으로 하이퍼텍스트 전송 프로토콜을 통한 동적 적응 스트리밍(dynamic adaptive streaming over hypertext transfer protocol)(DASH)을 위한 방법들 및 장치들에 관련된 실시예들을 설명한다.
여기에 제공된 배경 기술 설명은 일반적으로 본 개시내용의 맥락을 제시하기 위한 것이다. 달리 출원 시 선행 기술로의 자격을 갖지 않을 수 있는 설명의 양태들뿐만 아니라, 현재 이름이 기재된 발명자의 작업은, 그 작업이 이러한 배경기술 섹션에 설명되는 한도 내에서, 명시적으로도 암시적으로도 본 개시내용에 대한 선행 기술로 인정되지 않는다.
동영상 전문가 그룹(moving picture expert group)(MPEG) 하이퍼텍스트 전송 프로토콜을 통한 동적 적응 스트리밍(dynamic adaptive streaming over hypertext transfer protocol)(DASH)는 IP 네트워크들을 통해 멀티미디어 콘텐츠를 스트리밍하기 위한 표준을 제공한다. DASH 표준은 미디어 세그먼트들 내에 이벤트 메시지 박스들을 운반하는 것을 허용한다.
본 개시내용의 양태들은 미디어 데이터를 수신하기 위한 장치들을 제공한다. 하나의 장치는 복수의 메타데이터 샘플을 포함하는 복수의 세그먼트의 시간 지정 메타데이터 트랙(timed metadata track)을 수신하는 프로세싱 회로를 포함한다. 복수의 세그먼트 각각은 복수의 메타데이터 샘플 중 하나만을 포함한다. 복수의 메타데이터 샘플 각각은 하나 이상의 이벤트 메시지 박스를 포함한다. 프로세싱 회로는 각각의 이벤트 메시지 박스의 시작 시간 및 활성 지속시간을 결정한다. 프로세싱 회로는 각각의 이벤트 메시지 박스에 포함된 이벤트 정보를, 개별 이벤트 메시지 박스의 시작 시간 및 활성 지속시간에 기초하여 프로세싱한다. 시간 지정 메타데이터 트랙에 대해 조각화(fragmentation) 및 조각 모음(defragmentation) 프로세스들이 수행된다.
실시예에서, 각각의 이벤트 메시지 박스의 타임스케일은 시간 지정 메타데이터 트랙의 타임스케일과 동일하다.
실시예에서, 복수의 메타데이터 샘플 각각의 프레젠테이션 시간 및 지속시간은 복수의 세그먼트 중 개별 메타데이터 샘플을 포함하는 것의 가장 빠른(earliest) 프레젠테이션 시간 및 지속시간과 동일하다.
실시예에서, 복수의 메타데이터 샘플 각각의 프레젠테이션 시간은 개별 메타데이터 샘플에 포함된 이벤트 메시지 박스의 프레젠테이션 시간 값 및 프레젠테이션 시간 델타 값 중 하나에 대한 앵커(anchor)이다.
실시예에서, 각각의 이벤트 메시지 박스의 시작 시간 및 활성 지속시간의 합은 시간 지정 메타데이터 트랙의 마지막 프레젠테이션 시간에 의해 제한된다.
실시예에서, 복수의 세그먼트 각각은 공통 미디어 애플리케이션 포맷(common media application format)(CMAF) 조각 및 하이퍼텍스트 전송 프로토콜을 통한 동적 적응 스트리밍(dynamic adaptive streaming over hypertext transfer protocol)(DASH) 세그먼트 중 하나이다.
실시예에서, 복수의 메타데이터 샘플 중 하나에 포함된 각각의 이벤트 메시지 박스는 상이한 스킴 식별자(scheme identifier)를 포함한다.
실시예에서, 조각화 및 조각 모음 프로세스들은 국제 표준화 기구(International Organization for Standardization)(ISO)/국제 전기 표준 회의(International Electrotechnical Commission)(IEC) 기본 미디어 파일 포맷(base media file format)(ISOBMFF) 조각화 및 조각 모음 프로세스들에 기초한다.
본 개시내용의 양태들은 미디어 데이터를 수신하기 위한 방법들을 제공한다. 하나의 방법에서, 복수의 메타데이터 샘플을 포함하는 복수의 세그먼트의 시간 지정 메타데이터 트랙이 수신된다. 복수의 세그먼트 각각은 복수의 메타데이터 샘플 중 하나만을 포함한다. 복수의 메타데이터 샘플 각각은 하나 이상의 이벤트 메시지 박스를 포함한다. 각각의 이벤트 메시지 박스의 시작 시간 및 활성 지속시간이 결정된다. 각각의 이벤트 메시지 박스에 포함된 이벤트 정보는, 개별 이벤트 메시지 박스의 시작 시간 및 활성 지속시간에 기초하여 프로세싱된다. 시간 지정 메타데이터 트랙에 대해 조각화 및 조각 모음 프로세스들이 수행된다.
본 개시내용의 양태들은 또한 미디어 데이터를 수신하기 위해 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금, 미디어 데이터를 수신하기 위한 방법들 중 어느 하나 또는 그들의 조합을 수행하게 하는 명령어들을 저장하는 비-일시적 컴퓨터 판독가능한 매체를 제공한다.
개시된 주제의 추가의 특징들, 본질 및 다양한 이점들은 이하의 상세한 설명 및 첨부 도면들로부터 더욱 명백해질 것이다.
도 1은 본 개시내용의 실시예에 따른 예시적인 하이퍼텍스트 전송 프로토콜을 통한 동적 적응 스트리밍(DASH) 시스템을 도시한다.
도 2는 본 개시내용의 실시예에 따른 예시적인 DASH 클라이언트 아키텍처를 도시한다.
도 3은 본 개시내용의 실시예에 따른 예시적인 대역 내 이벤트 타이밍 모델을 도시한다.
도 4는 본 개시내용의 실시예에 따라 콘텐츠 스트림에 포함될 수 있는 미디어 트랙들 및 시간 지정 메타데이터 트랙의 예를 도시한다.
도 5는 일부 실시예들에 따른 프로세스 예를 개략적으로 설명하는 흐름도를 도시한다.
도 6은 실시예에 따른 컴퓨터 시스템의 개략도이다.
I. 하이퍼텍스트 전송 프로토콜을 통한 동적 적응 스트리밍( DASH ) 및 미디어 프레젠테이션 디스크립션(MPD)
하이퍼텍스트 전송 프로토콜을 통한 동적 적응 스트리밍(DASH)은 웹 서버들, 콘텐츠 전송 네트워크들(content delivery networks)(CDN), 다양한 프록시들 및 캐시들, 및 그와 유사한 것과 같은 하이퍼텍스트 전송 프로토콜(HTTP) 인프라스트럭쳐를 사용하여 미디어 콘텐츠를 스트리밍할 수 있는 적응형 비트레이트 스트리밍 기술이다. DASH는 DASH 서버로부터 DASH 클라이언트로의 온-디맨드 및 라이브 스트리밍 둘 다를 지원하고, DASH 클라이언트가 스트리밍 세션을 제어하는 것을 허용하며, 그에 의해 DASH 서버는 대규모 배포에서의 스트림 적응 관리의 추가적 로드에 대처할 필요가 없게 된다. DASH는 또한 DASH 클라이언트가 다양한 DASH 서버들로부터의 스트리밍을 선택하는 것을 허용하고, 따라서 DASH 클라이언트의 이익을 위해 네트워크의 추가 로드 밸런싱을 달성한다. DASH는 예를 들어 네트워크 조건들에 적응되도록 비트레이트들을 변경함으로써 상이한 미디어 트랙들 간의 동적 전환을 제공한다.
DASH에서, 미디어 프레젠테이션 디스크립션(MPD) 파일은 DASH 클라이언트가 DASH 서버로부터 미디어 세그먼트들을 다운로드함으로써 미디어 콘텐츠를 적응적으로 스트리밍하기 위한 정보를 제공한다. 세션 스타트업 지연을 줄이기 위해, MPD 파일은 조각화되어 부분들로 전달될 수 있다. MPD 파일은 또한 스트리밍 세션 동안 업데이트될 수 있다. 일부 예들에서, MPD 파일은 콘텐츠 액세스가능성 특징들, 등급들, 및 카메라 뷰들의 표현을 지원한다. DASH는 또한 멀티-뷰 및 스케일가능한 코딩된 콘텐츠의 전송을 지원한다.
MPD 파일은 하나 이상의 주기의 시퀀스를 포함할 수 있다. 하나 이상의 주기 각각은 MPD 파일 내의 주기 요소에 의해 정의될 수 있다. MPD 파일은 MPD에 대한 availableStartTime 속성, 및 각각의 주기에 대한 시작 속성을 포함할 수 있다. (예를 들어, 라이브 서비스들을 위해 사용되는) 동적 타입을 갖는 미디어 프레젠테이션들에 대해, 미디어 세그먼트의 기간(duration) 및 MPD 속성 availableStartTime 및 주기의 시작 속성의 합계는 조정된 표준시(UTC) 포맷의 주기의 가용성 시간, 특히 대응하는 주기 내의 각각의 표현의 제1 미디어 세그먼트를 나타낼 수 있다. (예를 들어, 온-디맨드 서비스들을 위해 사용되는) 정적 타입의 미디어 프레젠테이션들에 대해, 제1 주기의 시작 속성은 0일 수 있다. 임의의 다른 주기에 대해, 시작 속성은 제1 주기의 시작 시간에 대한 대응하는 주기의 시작 시간의 시간 오프셋을 지정할 수 있다. 각각의 주기는 다음 주기의 시작까지, 또는 마지막 주기의 경우에는 미디어 프레젠테이션의 끝까지 연장될 수 있다. 주기 시작 시간들은 정확할 수 있으며, 모든 이전 주기들의 미디어 재생으로 인한 실제 타이밍을 반영할 수 있다.
각각의 주기는 하나 이상의 적응 세트를 포함할 수 있고, 적응 세트들 각각은 동일한 미디어 콘텐츠에 대한 하나 이상의 표현(representation)을 포함할 수 있다. 표현은 오디오 또는 비디오 데이터의 다수의 대안적인 인코딩 버전 중 하나일 수 있다. 표현들은 인코딩 타입들, 예를 들어 비트레이트, 해상도, 및/또는 비디오 데이터를 위한 코덱 및 비트레이트, 및/또는 오디오 데이터의 코덱에 따라 다를 수 있다. 표현이라는 용어는 멀티미디어 콘텐츠의 특정 주기에 대응하고 특정 방식으로 인코딩된, 인코딩된 오디오 또는 비디오 데이터의 섹션을 지칭하기 위해 사용될 수 있다.
MPD 파일에서 그룹 속성에 의해 표시되는 그룹에 대해, 특정 주기의 적응 세트들이 할당될 수 있다. 동일한 그룹 내의 적응 세트들은 일반적으로 서로에 대한 대안으로 고려된다. 예를 들어, 특정 주기에 대한 비디오 데이터의 각각의 적응 세트가 동일한 그룹에 할당될 수 있으며, 그에 의해, 대응하는 주기 동안 멀티미디어 콘텐츠의 비디오 데이터를 디스플레이하기 위한 디코딩을 위해, 적응 세트 중 임의의 것이 선택될 수 있다. 일부 예들에서, 하나의 주기 내의 미디어 콘텐츠는, 그룹 0으로부터의 하나의 적응 세트가 존재한다면 그것에 의해, 또는 각각의 비-제로 그룹으로부터의 최대 하나의 적응 세트의 조합에 의해 표현될 수 있다. 주기의 각각의 표현에 대한 타이밍 데이터는 주기의 시작 시간에 대해 표시될 수 있다.
표현은 하나 이상의 세그먼트를 포함할 수 있다. 각각의 표현은 초기화 세그먼트를 포함할 수 있고, 또는 표현의 각각의 세그먼트가 자체 초기화될 수 있다. 존재하는 경우, 초기화 세그먼트는 표현에 액세스하기 위한 초기화 정보를 포함할 수 있다. 일부 경우들에서, 초기화 세그먼트는 미디어 데이터를 포함하지 않는다. 세그먼트는 유니폼 리소스 로케이터(URL), 유니폼 리소스 네임(uniform resource name)(URN), 또는 유니폼 리소스 식별자(uniform resource identifier)(URI)와 같은 식별자에 의해 고유하게 참조될 수 있다. MPD 파일은 각각의 세그먼트에 대한 식별자들을 제공할 수 있다. 일부 예들에서, MPD 파일은 또한 URL, URN 또는 URI에 의해 액세스가능한 파일 내의 세그먼트에 대한 데이터에 대응할 수 있는 범위 속성(range attribute)의 형태로 바이트 범위들(byte ranges)을 제공할 수 있다.
각각의 표현은 또한 하나 이상의 미디어 컴포넌트를 포함할 수 있고, 여기서 각각의 미디어 컴포넌트는 오디오, 비디오 또는 시간이 지정된 텍스트(timed text)(예를 들어, 폐쇄 자막용)와 같은 하나의 개별 미디어 타입의 인코딩된 버전에 대응할 수 있다. 미디어 컴포넌트들은 하나의 표현 내에서 연속적인 미디어 세그먼트들의 경계들에 걸쳐 시간-연속적일 수 있다.
일부 실시예들에서, DASH 클라이언트는 DASH 서버로부터의 MPD 파일에 액세스하고 그것을 다운로드할 수 있다. 즉, DASH 클라이언트는 라이브 세션을 시작하는 데 사용할 MPD 파일을 검색할 수 있다. MPD 파일에 기초하여, 그리고 각각의 선택된 표현에 대해, DASH 클라이언트는 서버에서 이용가능한 최신 세그먼트가 무엇인지를 결정하는 것, 다음 세그먼트 및 가능하게는 장래 세그먼트의 세그먼트 가용성 시작 시간을 결정하는 것, 세그먼트의 재생을 언제, 그리고 세그먼트 내의 어느 타임라인으로부터 시작할지를 결정하는 것, 새로운 MPD 파일을 언제 가져오거나/페치할지를 결정하는 것을 포함하여, 몇몇 결정을 할 수 있다. 서비스가 실행되고 나면, 클라이언트는 검출되고 보상될 필요가 있는, 라이브 서비스와 자체 재생 사이의 드리프트를 추적할 수 있다.
Ⅱ. 이벤트 메시지 박스들
국제 표준화 기구(ISO)/국제 전기 표준 회의(IEC) 23009-1 DASH 표준은 미디어 세그먼트들과 함께 이벤트들을 운반하기 위한 이벤트 메시지 박스들을 도입했다. ISO/IEC 23000-19 공통 미디어 애플리케이션 포맷(common media application format)(CMAF)은 이벤트 메시지 박스들이 각각의 CMAF 청크의 시작에 포함되는 것을 허용한다. CMAF 희소 메타데이터 트랙(CMAF sparse metadata track)의 일부로서의 이벤트 메시지들의 운반이 논의되었다. 그러나, 그러한 트랙들이 ISO/IEC 14496-12 ISO/IEC 기본 미디어 파일 포맷(ISOBMFF) 트랙들의 조각화/조각 모음 요건들을 충족하는지에 관한 의문이 발생한다.
본 개시내용은 시간 지정 메타데이터 트랙들에 포함된 이벤트 정보와 같은 이벤트 정보의 시그널링 및 프로세싱에 관한 실시예들을 포함한다. 이벤트 정보는 미디어 프레젠테이션(예를 들어, 연속 오디오 및/또는 비디오 프레젠테이션) 내의 시점들 또는 시간 주기들에 연관된 미디어 시간 지정 이벤트들에 대응할 수 있다. 예를 들어, 이벤트 정보는 동적 콘텐츠 교체, 광고 삽입, 오디오 및/또는 비디오와 동시적인 보충 콘텐츠의 프레젠테이션, 웹 페이지에 대한 변경, 및 미디어 프레젠테이션(예를 들어, 오디오 및/또는 비디오 미디어 스트림)의 미디어 타임라인의 특정 지점들에서 트리거되는 애플리케이션 코드의 실행을 위해 사용될 수 있다. 또한, 이벤트 정보는 상이한 방법들에 의해 제공될 수 있다.
미디어 시간 지정 이벤트들은 미디어 스트림과 동기화되도록 의도된 정보를 운반하기 위해 사용될 수 있다. 예를 들어, 이벤트 정보는 프로그램이나 챕터 제목, 또는 지리적 위치 정보와 같이, 미디어 프레젠테이션의 콘텐츠를 설명하는 메타데이터(또는 시간 지정 메타데이터)를 포함할 수 있다. 또한, 이벤트 정보는 광고 삽입 큐와 같이, 미디어 프레젠테이션의 재생 동안의 특정 시간들에 연관된, 미디어 플레이어에 대한 제어 메시지들을 포함할 수 있다.
본 개시내용의 실시예들은 MPEG-DASH에서 구현될 수 있다. 시간 지정 메타데이터 트랙들은 이벤트 정보를 운반하는, 내장된 이벤트 메시지 박스들(emsg)을 포함할 수 있다. 시간 지정 메타데이터 트랙들은 위에서 설명된 MPD 이벤트들 및 대역 내 이벤트들과 유사한 정보를 운반하기 위해 사용될 수 있다. 이벤트 정보는 다른 트랙들에서 제공되는 정보와 시간 동기화되는 메타데이터를 포함할 수 있다. 이러한 동기화로 인해, 시간 지정 메타데이터 트랙들 내의 메타데이터는 불규칙적으로 또는 비-연속적으로 제공될 수 있으며, 이러한 시간 메타데이터 트랙들은 희소 시간 지정 메타데이터 트랙들로 지칭될 수 있다.
시간 지정 메타데이터 트랙이 메타데이터 샘플들의 일부로서 이벤트 메시지 박스들을 운반할 때, 각각의 이벤트 메시지 박스는 이벤트 메시지 박스를 앵커로서 포함하는 공통 미디어 애플리케이션 포맷(CMAF) 청크 또는 트랙의 가장 빠른 프레젠테이션 시간을 사용하는 자체 타이밍을 포함할 수 있다. 그러나, ISO/IEC 기본 미디어 파일 포맷(ISOBMFF)은, ISOBMFF 트랙이 임의의 조각화 및 조각 모음 프로세스를 거치는 경우 데이터의 타이밍이 보존될 것을 요구한다. 내장된 이벤트들을 운반하는 희소 시간 지정 메타데이터 트랙은 조각화 및 조각 모음 프로세스들에서 청크 또는 트랙 경계들의 손실로 인해 이러한 요건을 지원하지 못할 수 있다.
본 개시내용은 내장된 이벤트들을 운반하는 희소 시간 지정 메타데이터 트랙이 임의의 임의적(arbitrary) 조각화 및 조각 모음 프로세스들을 지원하고 따라서 유효한 ISOBMFF 트랙이 되기 위한 방법들을 제시한다.
도 1은 본 개시내용의 실시예에 따른 예시적인 DASH 시스템(100)을 도시한다. DASH 시스템(100)에서, MPD 파일은 DASH 서버(101)(예를 들어, 콘텐츠 서버)로부터 DASH 클라이언트(102)로 송신된다. DASH 클라이언트(102)는 MPD 파일에 기초하여 DASH 서버(101)로부터 미디어 세그먼트들을 수신할 수 있다. DASH 클라이언트(102)는 MPD 파일을 업데이트하기 위한 요청을 DASH 서버(101)에 송신할 수 있다. DASH 서버(101)는 1차 콘텐츠(예를 들어, 메인 프로그램) 및 하나 이상의 시간 지정 메타데이터 트랙을 포함하는 콘텐츠 스트림을 제공할 수 있다.
도 2는 본 개시내용의 실시예에 따른 예시적인 DASH 클라이언트 아키텍처를 도시한다. DASH 클라이언트(또는 DASH 플레이어)는 애플리케이션(212)과 통신하고, (i) MPD 이벤트들, (ⅱ) 대역 내 이벤트들, 및 (ⅲ) 시간 지정 메타데이터 이벤트들을 포함하는 다양한 타입의 이벤트들을 프로세싱하도록 구성될 수 있다.
매니페스트 구문분석기(manifest parser)(210)는 매니페스트(예를 들어, MPD)를 구문분석할 수 있다. 예를 들어, 매니페스트는 DASH 서버(101)에 의해 제공될 수 있다. 매니페스트 구문분석기(210)는 MPD 이벤트들, 대역 내 이벤트들, 및 시간 지정 메타데이터 트랙들에 내장된 시간 시정 메타데이터 이벤트들에 관한 이벤트 정보를 추출할 수 있다. 추출된 이벤트 정보는 DASH 로직(211)(예를 들어, DASH 플레이어 제어, 선택 및 휴리스틱 로직)에 제공될 수 있다. DASH 로직(211)은 이벤트 정보에 기초하여 매니페스트에서 시그널링된 이벤트 스킴들(event schemes)을 애플리케이션(212)에 알릴 수 있다.
이벤트 정보는 상이한 이벤트 스트림들 간을 구별하기 위한 이벤트 스킴 정보를 포함할 수 있다. 애플리케이션(212)은 관심있는 이벤트 스킴들을 구독하기 위해 이벤트 스킴 정보를 사용할 수 있다. 애플리케이션(212)은 하나 이상의 구독 애플리케이션 프로그래밍 인터페이스(API)를 통해 구독된 스킴들 각각에 대한 원하는 디스패치 모드를 더 나타낼 수 있다. 예를 들어, 애플리케이션(212)은 관심있는 하나 이상의 이벤트 스킴 및 임의의 원하는 대응하는 디스패치 모드들을 식별하는 구독 요청을 DASH 클라이언트에 송신할 수 있다.
애플리케이션(212)이 하나 이상의 시간 지정 메타데이터 트랙의 일부로서 전달되는 하나 이상의 이벤트 스킴을 구독하는 경우, 대역 내 이벤트 및 'moof' 구문분석기(203)는 하나 이상의 시간 지정 메타데이터 트랙을 시간 지정 메타데이터 트랙 구문분석기(204)에 스트리밍할 수 있다. 예를 들어, 대역 내 이벤트 및 'moof' 구문분석기(203)는 무비 조각 박스(movie fragment box)("moof")를 구문분석하고, 후속하여 DASH 로직(211)으로부터의 제어 정보에 기초하여 시간 지정 메타데이터 트랙을 구문분석한다.
시간 지정 메타데이터 트랙 구문분석기(204)는 시간 지정 메타데이터 트랙에 내장된 이벤트 메시지들을 추출할 수 있다. 추출된 이벤트 메시지들은 이벤트 및 시간 지정 메타데이터 버퍼(206)에 저장될 수 있다. 동기화기/디스패처 모듈(208)(예를 들어, 이벤트 및 시간 지정 메타데이터 동기화기 및 디스패처)은 구독된 이벤트들을 애플리케이션(212)에 디스패치(또는 송신)할 수 있다.
MPD에 기술된 MPD 이벤트들은 매니페스트 구문분석기(210)에 의해 구문분석되고 이벤트 및 시간 지정 메타데이터 버퍼(206)에 저장될 수 있다. 예를 들어, 매니페스트 구문분석기(210)는 MPD의 각각의 이벤트 스트림 요소를 구문분석하고, 각각의 이벤트 스트림 요소에 설명된 각각의 이벤트를 구문분석한다. MPD에서 시그널링되는 각각의 이벤트에 대해, 프레젠테이션 시간 및 이벤트 지속시간과 같은 이벤트 정보는 이벤트에 연관하여, 이벤트 및 시간 지정 메타데이터 버퍼(206)에 저장될 수 있다.
대역 내 이벤트 및 'moof' 구문분석기(203)는 대역 내 이벤트 메시지들을 추출하기 위해 미디어 세그먼트들을 구문분석할 수 있다. 임의의 그러한 식별된 대역 내 이벤트들, 및 연관된 프레젠테이션 시간들 및 지속시간들은 이벤트 및 시간 지정 메타데이터 버퍼(206)에 저장될 수 있다.
따라서, 이벤트 및 시간 지정 메타데이터 버퍼(206)는 그 안에 MPD 이벤트들, 대역 내 이벤트들 및/또는 시간 지정 메타데이터 이벤트들을 저장할 수 있다. 이벤트 및 시간 지정 메타데이터 버퍼(206)는 예를 들어 선입선출(First-In-First-Out)(FIFO) 버퍼일 수 있다. 이벤트 및 시간 지정 메타데이터 버퍼(206)는 미디어 버퍼(207)에 대응하여 관리될 수 있다. 예를 들어, 미디어 세그먼트가 미디어 버퍼(207)에 존재하는 한, 그 미디어 세그먼트에 대응하는 임의의 이벤트들 또는 시간 지정 메타데이터는 이벤트 및 시간 지정 메타데이터 버퍼(206)에 저장될 수 있다.
DASH 액세스 API(202)는 HTTP 프로토콜 스택(201)을 통해 미디어 콘텐츠 및 다양한 메타데이터를 포함하는 콘텐츠 스트림(또는 데이터흐름)의 페칭 및 수신을 관리할 수 있다. DASH 액세스 API(202)는 수신된 콘텐츠 스트림을 상이한 데이터흐름들로 분리할 수 있다. 대역 내 이벤트 및 'moof' 구문분석기(203)에 제공되는 데이터흐름은 미디어 세그먼트들, 하나 이상의 시간 지정 메타데이터 트랙, 및 미디어 세그먼트들에 포함된 대역 내 이벤트 시그널링을 포함할 수 있다. 실시예에서, 매니페스트 구문분석기(210)에 제공되는 데이터흐름은 MPD를 포함할 수 있다.
DASH 액세스 API(202)는 매니페스트를 매니페스트 구문분석기(210)에 포워딩할 수 있다. 이벤트들을 설명하는 것 외에도, 매니페스트는 또한 미디어 세그먼트들에 대한 정보를 DASH 로직(211)에 제공할 수 있으며, DASH 로직은 애플리케이션(212) 및 대역 내 이벤트 및 'moof' 구문분석기(203)와 통신할 수 있다. 애플리케이션(212)은 DASH 클라이언트에 의해 프로세싱된 미디어 콘텐츠에 연관될 수 있다. 애플리케이션(212), DASH 로직(211), 매니페스트 구문분석기(210), 및 DASH 액세스 API(202) 간에 교환되는 제어/동기화 신호들은 매니페스트에 제공된 미디어 세그먼트들에 관한 정보에 기초하여 HTTP 스택(201)으로부터의 미디어 세그먼트들의 페칭을 제어할 수 있다.
대역 내 이벤트 및 'moof' 구문분석기(203)는 미디어 데이터흐름을 미디어 콘텐츠, 시간 지정 메타데이터 트랙 내의 시간 지정 메타데이터, 및 미디어 세그먼트들 내의 임의의 시그널링된 대역 내 이벤트들을 포함하는 미디어 세그먼트들로 구문분석할 수 있다. 미디어 콘텐츠를 포함하는 미디어 세그먼트들은 파일 포맷 구문분석기(205)에 의해 구문분석될 수 있고 미디어 버퍼(207)에 저장될 수 있다.
이벤트 및 시간 지정 메타데이터 버퍼(206)에 저장된 이벤트들은 동기화기/디스패처(208)가 이벤트/메타데이터 API를 통해 애플리케이션(212)에 관련된 이용가능한 이벤트들(또는 관심 이벤트들)을 애플리케이션(212)에 통신하는 것을 허용할 수 있다. 애플리케이션(212)은 이용가능한 이벤트들(예를 들어, MPD 이벤트들, 대역 내 이벤트들, 또는 시간 지정 메타데이터 이벤트들)을 프로세싱하고, 동기화기/디스패처(208)에 통지함으로써 특정 이벤트들 또는 시간 지정 메타데이터를 구독하도록 구성될 수 있다. 애플리케이션(212)에는 관련이 없지만 대신 DASH 클라이언트 자체에 관련된 이벤트 및 시간 지정 메타데이터 버퍼(206)에 저장된 임의의 이벤트들은 동기화기/디스패처(208)에 의해 추가의 프로세싱을 위해 DASH 로직(211)에 포워딩될 수 있다.
애플리케이션(212)이 특정 이벤트들을 구독하는 것에 응답하여, 동기화기/디스패처(208)는 애플리케이션(212)이 구독한 이벤트 스킴들에 대응하는 이벤트 인스턴스들(또는 시간 지정 메타데이터 샘플들)을 애플리케이션(212)에 통신할 수 있다. 이벤트 인스턴스들은 (예를 들어, 특정 이벤트 스킴에 대한) 구독 요청에 의해 표시된 디스패치 모드, 또는 디폴트 디스패치 모드에 따라 표시될 수 있다. 예를 들어, 수신 시 디스패치 모드(on-receive dispatch mode)에서, 이벤트 및 시간 지정 메타데이터 버퍼(206)에서의 수신 시에 이벤트 인스턴스들이 애플리케이션(212)에 송신될 수 있다. 한편, 시작 시 디스패치 모드(on-start dispatch mode)에서, 이벤트 인스턴스들은 예를 들어 미디어 디코더(209)로부터의 타이밍 신호와 동기화하여, 그들의 연관된 프레젠테이션 시간에서 애플리케이션(212)에 송신될 수 있다.
DASH 클라이언트 아키텍처에서, 두꺼운 데이터흐름 라인들은 미디어 데이터흐름을 나타내고, 좁은 데이터흐름 라인들은 균일한 시간 지정 메타데이터 데이터흐름을 나타내며, 파선 데이터흐름 라인들은 제어 및 동기화를 나타낸다는 점에 유의한다. 추가로, CMAF 이벤트들을 위해 동일한 프로세싱 모델이 사용될 수 있다.
도 3은 본 개시내용의 실시예에 따른 이벤트 메시지 박스의 예시적인 타이밍 모델을 도시한다. 타이밍 모델에서, 각각의 이벤트 메시지 박스는 미디어 타임라인 상의 세 가지 타이밍 파라미터: (i) 이벤트 메시지 박스를 포함하는 세그먼트의 가장 빠른 프레젠테이션 시간인 이벤트 도착 시간(AT); (ⅱ) 미디어(MPD) 타임라인에서 이벤트가 활성화되는 순간인 이벤트 프레젠테이션/시작 시간(ST), 및 (ⅲ) 이벤트가 활성화되는 동안인 이벤트 지속시간(DU)에 의해 설명될 수 있다.
이벤트 메시지 박스는 미디어 세그먼트의 시작에서 삽입될 수 있다. 따라서, 이벤트 메시지 박스를 운반하는 미디어 세그먼트의 가장 빠른 프레젠테이션 시간은 미디어 타임라인 상에서의 이벤트 메시지 박스의 위치로서 고려될 수 있다. DASH 클라이언트는 이벤트 메시지 박스의 AT 전에 또는 이벤트 메시지 박스의 AT에서 미디어 세그먼트를 페칭하고 구문분석할 수 있다.
이벤트 메시지 박스의 ST는 트랙 내의 이벤트 메시지 박스를 운반하는 미디어 세그먼트(예를 들어, DASH 세그먼트 또는 CMAF 청크)의 위치로부터의 오프셋을 가질 수 있다. ST의 앵커는 이벤트 메시지 박스의 버전에 따라 다를 수 있다. 버전 0을 갖는 이벤트 메시지 박스에 대해, 앵커는 이벤트 메시지 박스를 운반하는 CMAF 조각/DASH 세그먼트의 가장 빠른 프레젠테이션 시간일 수 있다. 버전 1을 갖는 이벤트 메시지 박스에 대해, 앵커는 이벤트 메시지 박스를 운반하는 CMAF 트랙/DASH 기간의 가장 빠른 프레젠테이션 시간일 수 있다.
ISO/IEC 23000-19에 따르면, 이벤트 메시지 박스의 타임스케일은 CMAF 트랙의 MediaHeaderBox 내의 타임스케일과 동일할 수 있다. 이벤트 메시지 박스는 CMAF 청크, CMAF 조각 또는 CMAF 세그먼트의 시작에 삽입될 수 있다. CMAF 조각 내의 이벤트 메시지 박스 버전 0의 앵커는 조각의 가장 빠른 프레젠테이션 시간이다. 추가로, ISO/IEC 23009-1에 따라, 이벤트 메시지 박스는 세그먼트의 제1 'moof' 박스 앞에 배치될 수 있거나, 임의의 미디어 데이터 박스('mdat')와 'moof' 박스 사이에 배치될 수 있다. 후자의 경우, 동일한 id 값을 가진 등가의 'emsg'가 임의의 세그먼트의 제1 'moof' 박스 앞에 존재해야 한다.
Ⅲ. 조각화 /조각 모음 프로세스들
ISOBMFF의 조각화/조각 모음 프로세스들은 ISOBMFF 트랙을 임의적 크기의 조각들로 조각화 및 조각 모음할 수 있다. 어느 프로세스에서든, 결과적인 조각화되지 않거나 조각화된 트랙은 유효한 ISOBMFF 트랙이어야 한다. 이 경우, 새로운 트랙에 포함된 모든 이벤트 메시지 박스는 올바른 타이밍을 유지해야 한다.
　　본 개시내용의 양태들에 따르면, 조각화/조각 모음 프로세스들은 메타데이터 샘플들의 단위로 메타데이터 트랙에서 수행될 수 있다. 따라서, 조각화/조각 모음 프로세스들 동안, 단일 메타데이터 샘플의 정확한 타이밍이 유지될 수 있다. 그러나, 복수의 메타데이터 샘플을 포함하는 세그먼트의 경우에서, 조각화/조각 모음 프로세스들 동안 세그먼트의 올바른 타이밍이 유지되지 않을 수 있다. 추가로, 세그먼트가 버전 0을 갖는 이벤트 메시지 박스를 포함하고, 조각화/조각 모음 프로세스들에서 세그먼트의 올바른 타이밍이 유지되지 않는 경우, 버전 0을 갖는 이벤트 메시지 박스의 ST의 앵커가 세그먼트의 가장 빠른 프레젠테이션 시간이므로, 이벤트 메시지 박스의 올바른 타이밍이 유지되지 않을 수 있다.
임의의 임의적 조각화 및 조각 모음 하에서의 CMAF 조각들/DASH 세그먼트들의 존속성은 다음과 같이 분석될 수 있다.
DASH 세그먼트/CMAF 조각이 버전 0을 갖는 이벤트 메시지 박스를 포함하는 경우, 이벤트 메시지 박스의 앵커가 DASH 세그먼트/CMAF 조각의 가장 빠른 프레젠테이션 시간이고 DASH/CMAF 미디어 트랙의 조각화/조각 모음 프로세스 동안 손실될 수 있기 때문에, 조각화/조각 모음 프로세스가 실패할 수 있다.
DASH 세그먼트/CMAF 조각이 버전 1을 갖는 이벤트 메시지 박스를 포함하는 경우, 이벤트 메시지 박스의 앵커가 DASH/CMAF 미디어 트랙의 가장 빠른 프레젠테이션 시간이고 DASH/CMAF 미디어 트랙의 조각화/조각 모음 프로세스 동안 보존되므로, 조각화/조각 모음 프로세스들은 통과될 수 있다.
표 1은 조각화/조각 모음 프로세스들에 대한 DASH 및 CMAF 트랙의 상태를 요약한다.
트랙 조각화 조각 모음
emsg V0를 갖는 DASH X X
emsg V1을 갖는 DASH OK OK
emsg V0을 갖는 CMAF X X
emsg V1을 갖는 CMAF OK OK
도 4는 본 개시내용의 실시예에 따라 콘텐츠 스트림에 포함될 수 있는 미디어 트랙들 및 시간 지정 메타데이터 트랙의 예를 보여준다. 메타데이터 트랙은 이벤트 메시지 박스들을 포함할 수 있다. 이벤트 메시지 박스들은 미디어 프레젠테이션 시간에 관련된 일반 이벤트들에 대한 시그널링을 제공하기 위해 사용될 수 있다. 일부 실시예들에서, DASH 클라이언트가 MPD에 정의되지 않은 스킴을 가진 이벤트 메시지 박스를 검출하는 경우, DASH 클라이언트는 이벤트 메시지 박스를 무시한다.
이벤트 메시지 박스는 메시지 스킴 식별 정보(예를 들어, scheme_id_uri), 이벤트 메시지 박스에 포함된 이벤트에 대한 옵션 값, 타이밍 정보, 및 이벤트 데이터를 포함할 수 있다. 타이밍 정보는 기준 프레젠테이션 시간(예를 들어, 세그먼트 또는 메타데이터 샘플의 시작)으로부터의 이벤트의 미디어 프레젠테이션 시간의 미디어 프레젠테이션 시간 델타, 이벤트의 미디어 프레젠테이션 시간, 및 (예를 들어, 미디어 프레젠테이션 시간 내의) 이벤트 지속시간과 같은, 다른 시간 정보에 대한 타임스케일(예를 들어, 초당 틱 수(ticks per second)의 단위)을 나타낼 수 있다.
　　 메타데이터 트랙은 메타데이터 트랙에 포함된 메타데이터 샘플들의 일부로서 이벤트 메시지 박스들을 운반할 수 있다. 또한, 메타데이터 샘플은 하나 이상의 이벤트 메시지 박스를 포함할 수 있다. 각각의 이벤트 메시지 박스는 개별 이벤트 메시지 박스의 스킴 URI id, 및 선택사항으로서(optionally) 값에 의해 정의된 이벤트 스킴에 속할 수 있다. 복수의 스킴으로부터의 이벤트 인스턴스들이 하나 이상의 메타데이터 샘플에 포함될 수 있으므로, 스킴들이 DASH 클라이언트에 의해 발견되기 위해서는, DASH 매니페스트에서 이벤트 스킴들이 식별될 필요가 있다.
DASH는 MPD에서 이벤트 스킴들을 기술하는 데 사용될 수 있는 두 가지 요소를 포함한다. 두 가지 요소는 MPD 이벤트들을 위한 이벤트 스트림 요소(예를 들어, EventStream)와 대역 내 이벤트들을 위한 대역 내 이벤트 스트림 요소(예를 들어, InbandEventStream)이다. 이벤트 스킴들 둘 다는 동일한 구성을 사용할 수 있다.
Ⅳ. 단일-샘플 희소 시간 지정 메타데이터
본 개시내용의 양태들에 따르면, 내장된 이벤트 메시지 박스들을 포함하는 메타데이터 세그먼트/조각은 단일-샘플 DASH 세그먼트/CMAF 조각, 또는 다중-샘플 DASH 세그먼트/CMAF 조각일 수 있다. 단일-샘플 DASH 세그먼트/CMAF 조각은 하나의 메타데이터 샘플만을 포함할 수 있으며, 메타데이터 샘플의 지속시간은 DASH 세그먼트/CMAF 프래그먼트의 지속시간과 동일하다. 다중-샘플 DASH 세그먼트/CMAF 조각은 복수의 메타데이터 샘플을 포함할 수 있다.
단일-샘플 DASH 세그먼트/CMAF 조각이 버전 0을 갖는 이벤트 메시지 박스를 포함하는 경우, 조각화/조각 모음 프로세스들은 통과될 수 있다. 세그먼트/조각의 가장 빠른 프레젠테이션 시간은 세그먼트/조각에 포함된 단 하나의 메타데이터 샘플의 프레젠테이션 시간과 동일하므로, 이벤트 메시지 박스의 앵커가 이벤트 메시지 박스를 포함하는 메타데이터 샘플의 프레젠테이션 시간으로 고려되는 경우, 조각화/조각 모음 프로세스 동안 이벤트 메시지 박스의 타이밍이 보존될 수 있다.
단일 샘플 DASH 세그먼트/CMAF 조각이 버전 1을 갖는 이벤트 메시지 박스를 포함하는 경우, 트랙의 가장 빠른 프레젠테이션 시간이 이벤트 메시지 박스의 앵커이므로, 조각화/조각 모음 프로세스들이 통과될 수 있다.
다중-샘플 DASH 세그먼트/CMAF 조각이 버전 0을 갖는 이벤트 메시지 박스를 포함하는 경우, 이벤트 메시지 박스의 앵커가 세그먼트/조각의 가장 빠른 프레젠테이션 시간이고 조각화/조각 모음 프로세스들 동안 손실될 수 있으므로, 조각화/조각 모음 프로세스들이 실패할 수 있다.
다중-샘플 DASH 세그먼트/CMAF 조각이 버전 1을 갖는 이벤트 메시지 박스를 포함하는 경우, 트랙의 가장 빠른 프레젠테이션 시간이 이벤트 메시지 박스의 앵커이므로, 조각화/조각 모음 프로세스들이 통과될 수 있다.
표 2는 조각화/조각 모음 프로세스들을 위한 내장된 이벤트 메시지 박스(들)를 갖는 단일-샘플 및 다중-샘플 메타데이터 세그먼트/조각의 상태를 요약한다.
트랙 조각화 조각 모음
emsg V0을 갖는 세그먼트 당 단일-샘플 OK* OK*
emsg V1을 갖는 세그먼트 당 단일-샘플 OK OK
emsg V0을 갖는 세그먼트 당 다중-샘플 X X
emsg V1을 갖는 세그먼트 당 다중-샘플 OK OK
* 앵커 기준이 이벤트를 운반하는 샘플의 프레젠테이션 시간인 조건 하에서
본 개시내용의 양태들에 따르면, ISOBMFF 조각화/조각 모음 프로세스들을 충족시키기 위해, CMAF 희소 메타데이터 트랙들에 대해 다음과 같은 제약들이 적용될 수 있다: (i) 각각의 CMAF 조각/DASH 세그먼트는 단 하나의 메타데이터 샘플만을 포함하고(또는 하나의 메타데이터 샘플로 제한되고), 메타데이터 샘플의 지속시간은 조각/세그먼트의 지속시간이다; (ⅱ) CMAF 조각/DASH 세그먼트의 가장 빠른 프레젠테이션 시간은 메타데이터 샘플의 프레젠테이션 시간이다; (ⅲ) 조각화되지 않은 트랙들에서, 버전 0을 갖는 각각의 이벤트 메시지 박스는 개별 이벤트 메시지 박스의 프레젠테이션 시간 오프셋 파라미터(예를 들어, presentation_time_delta)에 대한 앵커로서, 개별 이벤트 메시지 박스를 포함하는 메타데이터 샘플의 프레젠테이션 시간을 사용할 수 있다; (ⅳ) 조각화되지 않은 트랙들에서, 버전 1을 갖는 각각의 이벤트 메시지 박스는 개별 이벤트 메시지 박스의 프레젠테이션 시간 파라미터(예를 들어, presentation_time)에 대한 앵커로서, 트랙의 가장 빠른 프레젠테이션 시간을 사용할 수 있다; (ⅴ) 모든 경우(예를 들어, DASH 또는 CMAF, 조각화됨 또는 조각화되지 않음)에서, 각각의 이벤트 메시지 박스의 타임스케일(예를 들어, 버전 0 또는 버전 1을 가짐)은 트랙의 타임스케일과 동일할 수 있다; (ⅵ) 이벤트 지속시간의 값이 이벤트 메시지 박스의 종료 시간이 트랙의 마지막 프레젠테이션 시간을 넘어 연장됨을 시그널링하더라도, 이벤트 메시지 박스의 종료 시간(예를 들어, 이벤트 시작 시간 + 이벤트 지속시간)은 트랙의 마지막(또는 가장 늦은) 프레젠테이션 시간을 넘어 연장되지 않는다.
제약들 (i) 및 (ⅱ)는, 임의적 조각화/조각 모음 프로세스들 동안 이벤트 메시지 박스를 운반하는 메타데이터 샘플의 프레젠테이션 시간이 변경되지 않을 것이기 때문에, 버전 0을 갖는 이벤트 메시지 박스의 타이밍을 변경하지 않고서 트랙들의 조각화/조각 모음을 허용할 수 있다.
제약들 (ⅲ) 및 (ⅳ)는 조각화되지 않은 트랙에 대한 제약들이며, 조각화/세그먼트화된 단일-샘플 희소 메타데이터 트랙들과 조각화되지 않은 트랙들 사이의 관계가 유지되는 것을 허용할 수 있다.
제약 (v)는 파일 포맷 구문분석기(205) 및 미디어 디코더(209)가 정수 산술을 사용할 때 분수 드리프트가 존재하지 않도록, 이벤트들의 타이밍이 트랙 샘플 타이밍들과 정렬될 것을 보장할 수 있다.
제약 (ⅵ)은 이벤트 지속시간을 최대 트랙 지속시간으로 제약할 수 있으며, 따라서, 특히, 애플리케이션 이벤트들은 반드시 트랙 지속시간을 갖지 않는 애플리케이션(212)에 전달되어야 하므로, 파일 포맷 구문분석기(205)에서의 동작을 단순화할 수 있다. 따라서, 각각의 이벤트 메시지 박스의 지속시간이 이벤트 메시지 박스가 트랙의 끝 전에, 또는 트랙의 끝에서 종료하도록 설정된다면, 이벤트를 애플리케이션(212)에 전달하기 전에 이벤트 지속시간이 트랙 지속시간을 넘어가는 경우, 파일 포맷 구문분석기(205)는 이벤트 지속시간을 자를(truncate) 필요가 없다.
단일-샘플 희소 시간 지정 메타데이터 트랙의 일부 이점은 다음과 같이 나열될 수 있다. 각각의 조각/세그먼트는 단 하나의 (동기) 메타데이터 샘플만을 포함하므로, 단일-샘플 희소 시간 지정 메타데이터 트랙의 구조는 단순하다. 각각의 메타데이터 샘플은 다양한 스킴들/서브스킴들을 갖는 하나 이상의 이벤트 메시지 박스를 포함할 수 있다. 조각화/조각 모음 프로세스들이 단일-샘플 조각/세그먼트 제약을 유지하는 경우, 조각화된 트랙들은 조각화/조각 모음 프로세스를 통과할 수 있다. 조각화되지 않은 트랙들 내의 이벤트 메시지 박스의 앵커에 대한 제약은 단순하고 유지가 쉽다. 이벤트 메시지 박스들의 특성은 미디어 트랙들로부터 별개인 트랙을 사용하여 전달되도록 유지될 수 있고, 따라서 전달은 임의의 특정 미디어 트랙에 의존하지 않는다.
본 개시내용의 양태들에 따르면, 각각의 세그먼트/조각이 하나의 메타데이터 샘플만을 포함하는 희소 시간 지정 메타데이터 트랙이 생성될 수 있다. 메타데이터 샘플은 하나 이상의 이벤트 메시지 박스를 포함할 수 있다. 각각의 이벤트 메시지 박스는 상이한 스킴 식별자, 및 메시지 데이터 페이로드를 운반하는 연관된 서브스킴 식별자에 대한 상이한 값을 포함할 수 있다. 이벤트 메시지 박스의 타임스케일은 트랙의 타임스케일과 동일하다. 메타데이터 샘플의 프레젠테이션 시간 및 지속시간은 메타데이터 샘플을 포함하는 세그먼트/조각의 가장 빠른 프레젠테이션 시간 및 지속시간과 동일한다. 조각 모음의 경우에서, 이벤트 메시지 박스의 프레젠테이션 시간(예를 들어, presentation_time) 및/또는 프레젠테이션 시간 오프셋(예를 들어, presentation_time_delta)에 대한 앵커는 이벤트 메시지 박스를 포함하는 메타데이터 샘플의 프레젠테이션 시간이다.
V. 흐름도
도 5는 본 개시내용의 실시예에 따른 프로세스(500)를 개략적으로 설명하는 흐름도를 도시한다. 다양한 실시예들에서, 프로세스(500)는 DASH 클라이언트(102) 내의 프로세싱 회로와 같은 프로세싱 회로에 의해 실행된다. 일부 실시예들에서, 프로세스(500)는 소프트웨어 명령어들로 구현되므로, 프로세싱 회로가 소프트웨어 명령어들을 실행할 때, 프로세싱 회로는 프로세스(500)를 수행한다. 프로세스(500)는 프로세스(500)가 복수의 메타데이터 샘플을 포함하는 복수의 세그먼트의 시간 지정 메타데이터 트랙을 수신하는 (S510)에서 시작된다. 복수의 세그먼트 각각은 복수의 메타데이터 샘플 중 하나만을 포함할 수 있다. 복수의 메타데이터 샘플 각각은 하나 이상의 이벤트 메시지 박스를 포함한다. 다음으로, 프로세스(500)는 단계(S520)로 진행한다.
단계(S520)에서, 프로세스(500)는 각각의 이벤트 메시지 박스의 시작 시간 및 활성 지속시간을 결정한다. 다음으로, 프로세스(500)는 단계(S530)로 진행한다.
단계(S530)에서, 프로세스(500)는 각각의 이벤트 메시지 박스에 포함된 이벤트 정보를, 개별 이벤트 메시지 박스의 시작 시간 및 활성 지속시간에 기초하여 프로세싱한다. 다음으로, 프로세스(500)는 종료한다.
실시예에서, 각각의 이벤트 메시지 박스의 타임스케일은 시간 지정 메타데이터 트랙의 타임스케일과 동일하다.
실시예에서, 복수의 메타데이터 샘플 각각의 프레젠테이션 시간 및 지속시간은 복수의 세그먼트 중 개별 메타데이터 샘플을 포함하는 것의 가장 빠른 프레젠테이션 시간 및 지속시간과 동일하고, 시간 지정 메타데이터 트랙에 대해 조각화 및 조각 모음 프로세스들이 수행된다.
실시예에서, 복수의 메타데이터 샘플 각각의 프레젠테이션 시간은 개별 메타데이터 샘플에 포함된 이벤트 메시지 박스의 프레젠테이션 시간 값 및 프레젠테이션 시간 델타 값 중 하나에 대한 앵커이다.
실시예에서, 각각의 이벤트 메시지 박스의 시작 시간 및 활성 지속시간의 합은 시간 지정 메타데이터 트랙의 마지막 프레젠테이션 시간에 의해 제한된다.
실시예에서, 복수의 세그먼트 각각은 CMAF 조각 및 DASH 세그먼트 중 하나이다.
실시예에서, 복수의 메타데이터 샘플 중 하나에 포함된 각각의 이벤트 메시지 박스는 상이한 스킴 식별자를 포함한다.
실시예에서, 조각화 및 조각 모음 프로세스들은 ISO/IEC ISOBMFF 조각화 및 조각 모음 프로세스들에 기초한다.
Ⅵ. 컴퓨터 시스템
위에서 설명된 기술은 컴퓨터 판독가능한 명령어들을 사용하며 하나 이상의 컴퓨터 판독가능한 매체에 물리적으로 저장되는 컴퓨터 소프트웨어로서 구현될 수 있다. 예를 들어, 도 6은 개시된 주제의 특정 실시예들을 구현하기에 적합한 컴퓨터 시스템(600)을 도시한다.
컴퓨터 소프트웨어는 하나 이상의 컴퓨터 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU) 및 그와 유사한 것에 의해 직접적으로, 또는 해석, 마이크로코드 실행 및 그와 유사한 것을 통해 실행될 수 있는 명령어들을 포함하는 코드를 생성하기 위해, 어셈블리, 컴파일, 링크 또는 유사한 메커니즘들에 종속될 수 있는, 임의의 적합한 기계 코드 또는 컴퓨터 언어를 사용하여 코딩될 수 있다.
명령어들은 예를 들어 개인용 컴퓨터, 태블릿 컴퓨터, 서버, 스마트폰, 게임 디바이스, 사물 인터넷 디바이스, 및 그와 유사한 것을 포함하는 다양한 타입의 컴퓨터들 또는 그것의 컴포넌트들에서 실행될 수 있다.
컴퓨터 시스템(600)에 대해 도 6에 도시된 컴포넌트들은 본질적으로 예시적이며, 본 개시내용의 실시예들을 구현하는 컴퓨터 소프트웨어의 사용 또는 기능의 범위에 대한 어떠한 제한도 시사하도록 의도된 것이 아니다. 또한, 컴포넌트들의 구성은 컴퓨터 시스템(600)의 예시적인 실시예에 예시된 컴포넌트들 중 어느 하나 또는 그것들의 조합에 관련된 임의의 종속성 또는 요건을 갖는 것으로 해석되어서는 안 된다.
컴퓨터 시스템(600)은 특정의 인간 인터페이스 입력 디바이스들을 포함할 수 있다. 이러한 인간 인터페이스 입력 디바이스는 예를 들어 촉각 입력(예를 들어, 키스트로크, 스와이프, 데이터 글러브 움직임), 오디오 입력(예를 들어, 음성, 박수), 시각적 입력(예를 들어, 제스처), 후각 입력(도시되지 않음)을 통한 한 명 이상의 인간 사용자에 의한 입력에 응답할 수 있다. 인간 인터페이스 디바이스들은 또한 오디오(예를 들어, 음성, 음악, 주변 음향), 이미지(예를 들어, 스캐닝된 이미지, 스틸 이미지 카메라로부터 획득된 사진 이미지), 비디오(예를 들어, 2차원 비디오, 입체 비디오를 포함한 3차원 비디오)와 같이, 반드시 인간의 의식적 입력에 직접 관련이 있는 것은 아닌 특정 미디어를 캡처하기 위해 사용될 수 있다.
입력 인간 인터페이스 디바이스들은 키보드(601), 마우스(602), 트랙패드(603), 터치 스크린(610), 데이터 글러브(도시되지 않음), 조이스틱(605), 마이크로폰(606), 스캐너(607), 및 카메라(608) 중 하나 이상을 포함할 수 있다(각각의 것은 단 하나만이 도시됨).
컴퓨터 시스템(600)은 또한 특정한 인간 인터페이스 출력 디바이스들을 포함할 수 있다. 이러한 인간 인터페이스 출력 디바이스들은 예를 들어 촉각 출력, 소리, 빛 및 냄새/맛을 통해 한 명 이상의 인간 사용자의 감각을 자극할 수 있다. 이러한 인간 인터페이스 출력 디바이스들은 촉각 출력 디바이스들(예를 들면, 터치 스크린(610), 데이터 글러브(도시되지 않음) 또는 조이스틱(605)에 의한 촉각 피드백이지만, 입력 디바이스의 역할을 하지 않는 촉각 피드백 디바이스들도 존재할 수 있음), 오디오 출력 디바이스들(예를 들어, 스피커(609), 헤드폰(도시되지 않음)), 시각적 출력 디바이스들(예를 들어, CRT 화면, LCD 화면, 플라즈마 화면, OLED 화면을 포함하는 화면(610) - 각각은 터치 스크린 입력 능력을 갖거나 갖지 않고, 각각은 촉각 피드백 능력을 갖거나 갖지 않고, 그들 중 일부는 2차원 시각적 출력 또는 스테레오그래픽 출력과 같은 수단을 통한 3차원 초과의 출력을 출력할 수 있음 - ; 가상 현실 안경(도시되지 않음), 홀로그래픽 디스플레이 및 스모크 탱크(도시되지 않음)), 및 프린터(도시되지 않음)를 포함할 수 있다. 이러한 시각적 출력 디바이스들(예를 들어, 스크린(610))은 그래픽 어댑터(650)를 통해 시스템 버스(648)에 연결될 수 있다.
컴퓨터 시스템(600)은 또한 CD/DVD 또는 유사 매체(621)를 갖는 CD/DVD ROM/RW(620)를 포함하는 광학 매체, 썸-드라이브(622), 이동식 하드 드라이브 또는 고체 상태 드라이브(623), 테이프 및 플로피 디스크와 같은 레거시 자기 매체(도시되지 않음), 보안 동글과 같은 특수화된 ROM/ASIC/PLD 기반 디바이스(도시되지 않음), 및 그와 유사한 것과 같은, 인간이 액세스할 수 있는 저장 디바이스들 및 그들의 연관된 매체를 포함할 수 있다.
본 기술분야의 통상의 기술자는 또한 현재 개시된 주제와 관련하여 사용되는 "컴퓨터 판독가능한 매체"라는 용어가 전송 매체, 반송파 또는 다른 일시적인 신호를 포괄하지 않는다는 것을 이해해야 한다.
컴퓨터 시스템(600)은 또한 하나 이상의 통신 네트워크(655)에 대한 네트워크 인터페이스(654)를 포함할 수 있다. 하나 이상의 통신 네트워크(655)는 예를 들어 무선, 유선, 광학적일 수 있다. 하나 이상의 통신 네트워크(655)는 또한 로컬, 광역, 대도시, 차량 및 산업, 실시간, 지연 허용 등일 수 있다. 하나 이상의 통신 네트워크(655)의 예들은 이더넷, 무선 LAN과 같은 근거리 통신망, GSM, 3G, 4G, 5G, LTE 및 그와 유사한 것을 포함하는 셀룰러 네트워크, 케이블 TV, 위성 TV 및 지상파 방송 TV를 포함하는 TV 유선 또는 무선 광역 디지털 네트워크, CANBus를 포함하는 차량 및 산업용 등을 포함한다. 특정 네트워크들은 일반적으로 특정 범용 데이터 포트들 또는 주변장치 버스들(649)(예컨대, 예를 들어 컴퓨터 시스템(600)의 USB 포트들)에 부착된 외부 네트워크 인터페이스 어댑터들을 필요로 하는 한편, 다른 것들은 일반적으로 아래에 설명되는 것과 같은 시스템 버스에의 부착에 의해 컴퓨터 시스템(600)의 코어에 통합된다(예를 들어, PC 컴퓨터 시스템에 대한 이더넷 인터페이스, 또는 스마트폰 컴퓨터 시스템에 대한 셀룰러 네트워크 인터페이스). 컴퓨터 시스템(600)은 이러한 네트워크들 중 임의의 것을 사용하여 다른 엔티티들과 통신할 수 있다. 이러한 통신은 단방향, 수신 전용(예를 들어, 방송 TV), 단방향 송신 전용(예를 들어, CANbus로부터 특정 CANbus 디바이스들로), 또는 예를 들어 근거리 또는 광역 디지털 네트워크를 사용하여 다른 컴퓨터 시스템들에 대해 양방향일 수 있다. 위에서 설명된 바와 같이, 이러한 네트워크들 및 네트워크 인터페이스들 각각에서 특정 프로토콜들 및 프로토콜 스택들이 사용될 수 있다.
앞에서 언급된 인간 인터페이스 디바이스들, 인간 액세스가능한 저장 디바이스들, 및 네트워크 인터페이스들은 컴퓨터 시스템(600)의 코어(640)에 부착될 수 있다.
코어(640)는 하나 이상의 중앙 처리 장치(CPU)(641), 그래픽 처리 장치(GPU)(642), 필드 프로그래밍가능한 게이트 영역들(Field Programmable Gate Area)(FPGA) 형태의 특수화된 프로그래밍가능한 프로세싱 유닛들(643), 특정 작업들을 위한 하드웨어 가속기들(644) 등을 포함할 수 있다. 이러한 디바이스들은 판독 전용 메모리(ROM)(645), 랜덤 액세스 메모리(646), 내부 비-사용자 액세스가능한 하드 드라이브, SSD 및 그와 유사한 것과 같은 내부 대용량 저장소(647)와 함께, 시스템 버스(648)를 통해 연결될 수 있다. 일부 컴퓨터 시스템들에서, 시스템 버스(648)는 추가의 CPU들, GPU 및 그와 유사한 것에 의한 확장들을 가능하게 하기 위해 하나 이상의 물리적 플러그의 형태로 액세스가능할 수 있다. 주변 디바이스들은 코어의 시스템 버스(648)에 직접, 또는 주변장치 버스(649)를 통해 부착될 수 있다. 주변장치 버스를 위한 아키텍처들은 PCI, USB, 및 그와 유사한 것을 포함한다.
CPU들(641), GPU들(642), FPGA들(643) 및 가속기들(644)은, 조합하여 앞에서 언급된 컴퓨터 코드를 구성할 수 있는 특정 명령어들을 실행할 수 있다. 그 컴퓨터 코드는 ROM(645) 또는 RAM(646)에 저장될 수 있다. 과도적 데이터가 또한 RAM(646)에 저장될 수 있는 반면, 영구적 데이터는 예를 들어 내부 대용량 저장소(647)에 저장될 수 있다. 메모리 디바이스들 중 임의의 것에 대한 빠른 저장 및 검색은 하나 이상의 CPU(641), GPU(642), 대용량 저장소(647), ROM(645), RAM(646) 및 그와 유사한 것에 밀접하게 연관될 수 있는 캐시 메모리의 사용을 통해 가능해질 수 있다.
컴퓨터 판독가능한 매체는 다양한 컴퓨터 구현 동작들을 수행하기 위한 컴퓨터 코드를 가질 수 있다. 매체 및 컴퓨터 코드는 본 개시내용의 목적을 위해 특별히 설계되고 구성된 것들일 수 있거나, 컴퓨터 소프트웨어 분야의 기술자들에게 널리 공지되어 있고 그들이 이용할 수 있는 종류의 것들일 수 있다.
제한이 아닌 예로서, 아키텍처(600) 및 특히 코어(640)를 갖는 컴퓨터 시스템은 프로세서(들)(CPU, GPU, FPGA, 가속기, 및 그와 유사한 것을 포함함)가 하나 이상의 유형의(tangible) 컴퓨터 판독가능한 매체에 구현된 소프트웨어를 실행한 것의 결과로서 기능을 제공할 수 있다. 이러한 컴퓨터 판독가능한 매체는 위에서 소개된 사용자 액세스가능한 대용량 저장소에 연관된 매체는 물론, 코어 내부 대용량 저장소(647) 또는 ROM(645)과 같은 비-일시적 특성을 갖는 코어(640)의 특정 저장소일 수 있다. 본 개시내용의 다양한 실시예들을 구현하는 소프트웨어는 이러한 디바이스들에 저장되고 코어(640)에 의해 실행될 수 있다. 컴퓨터 판독가능한 매체는 특정 요구들에 따라 하나 이상의 메모리 디바이스 또는 칩을 포함할 수 있다. 소프트웨어는, 코어(640) 및 특히 그 안의 프로세서들(CPU, GPU, FPGA, 및 그와 유사한 것을 포함함)로 하여금, RAM(646)에 저장되는 데이터 구조들을 정의하고 소프트웨어에 의해 정의된 프로세스들에 따라 이러한 데이터 구조들을 수정하는 것을 포함하여, 여기에 설명된 특정 프로세스들 또는 특정 프로세스들의 특정 부분들을 실행하게 할 수 있다. 추가적으로 또는 대안적으로, 컴퓨터 시스템은 여기에 설명된 특정 프로세스들 또는 특정 프로세스들의 특정 부분들을 실행하기 위해, 소프트웨어를 대신하여 또는 소프트웨어와 함께 동작할 수 있는, 회로(예를 들어, 가속기(644)) 내에 고정배선되거나 다르게 구현된 로직의 결과로서 기능을 제공할 수 있다. 소프트웨어에 대한 참조는 로직을 포괄할 수 있으며, 적절한 경우 그 반대도 마찬가지이다. 컴퓨터 판독가능한 매체에 대한 참조는 실행을 위한 소프트웨어를 저장하는 회로(예를 들어, 집적 회로(IC)), 실행을 위한 로직을 구현하는 회로, 또는 적절한 경우 둘 다를 포괄할 수 있다. 본 개시내용은 하드웨어 및 소프트웨어의 임의의 적절한 조합을 포괄한다.
본 개시내용은 수 개의 예시적인 실시예를 설명했지만, 본 개시내용의 범위 내에 속하는 변경, 순열, 및 다양한 대체 등가물이 존재한다. 따라서, 본 기술분야의 통상의 기술자들은 본 명세서에 명시적으로 도시되거나 설명되지는 않았지만, 본 개시내용의 원리를 구현하고 따라서 그 사상 및 범위 내에 있는 수많은 시스템들 및 방법들을 생각해낼 수 있다는 것을 이해할 것이다.

Claims (20)

  1. 미디어 데이터를 수신하기 위한 방법으로서,
    복수의 메타데이터 샘플을 포함하는 복수의 세그먼트의 시간 지정 메타데이터 트랙(timed metadata track)을 수신하는 단계 - 상기 복수의 세그먼트 각각은 상기 복수의 메타데이터 샘플 중 하나만을 포함하고, 상기 복수의 메타데이터 샘플 각각은 하나 이상의 이벤트 메시지 박스를 포함함 - ;
    각각의 이벤트 메시지 박스의 시작 시간 및 활성 지속시간을 결정하는 단계; 및
    각각의 이벤트 메시지 박스에 포함된 이벤트 정보를, 개별 이벤트 메시지 박스의 상기 시작 시간 및 상기 활성 지속시간에 기초하여 프로세싱하는 단계
    를 포함하고, 상기 시간 지정 메타데이터 트랙에 대해 조각화(fragmentation) 및 조각 모음(defragmentation) 프로세스들이 수행되는, 방법.
  2. 제1항에 있어서, 각각의 이벤트 메시지 박스의 타임스케일은 상기 시간 지정 메타데이터 트랙의 타임스케일과 동일한, 방법.
  3. 제1항에 있어서, 상기 복수의 메타데이터 샘플 각각의 프레젠테이션 시간 및 지속시간은 상기 복수의 세그먼트 중 개별 메타데이터 샘플을 포함하는 것의 가장 빠른(earliest) 프레젠테이션 시간 및 지속시간과 동일한, 방법.
  4. 제3항에 있어서, 상기 복수의 메타데이터 샘플 각각의 상기 프레젠테이션 시간은 개별 메타데이터 샘플에 포함된 이벤트 메시지 박스의 프레젠테이션 시간 값 및 프레젠테이션 시간 델타 값 중 하나에 대한 앵커(anchor)인, 방법.
  5. 제1항에 있어서, 각각의 이벤트 메시지 박스의 상기 시작 시간 및 상기 활성 지속시간의 합은 상기 시간 지정 메타데이터 트랙의 마지막 프레젠테이션 시간에 의해 제한되는, 방법.
  6. 제1항에 있어서, 상기 복수의 세그먼트 각각은 공통 미디어 애플리케이션 포맷(common media application format)(CMAF) 조각 및 하이퍼텍스트 전송 프로토콜을 통한 동적 적응 스트리밍(dynamic adaptive streaming over hypertext transfer protocol)(DASH) 세그먼트 중 하나인, 방법.
  7. 제1항에 있어서, 상기 복수의 메타데이터 샘플 중 하나에 포함된 각각의 이벤트 메시지 박스는 상이한 스킴 식별자(scheme identifier)를 포함하는, 방법.
  8. 제1항에 있어서, 상기 조각화 및 조각 모음 프로세스들은 국제 표준화 기구(International Organization for Standardization)(ISO)/국제 전기 표준 회의(International Electrotechnical Commission)(IEC) 기본 미디어 파일 포맷(base media file format)(ISOBMFF) 조각화 및 조각 모음 프로세스들에 기초하는, 방법.
  9. 미디어 데이터를 수신하기 위한 장치로서,
    프로세싱 회로를 포함하고, 상기 프로세싱 회로는:
    복수의 메타데이터 샘플을 포함하는 복수의 세그먼트의 시간 지정 메타데이터 트랙을 수신하고 - 상기 복수의 세그먼트 각각은 상기 복수의 메타데이터 샘플 중 하나만을 포함하고, 상기 복수의 메타데이터 샘플 각각은 하나 이상의 이벤트 메시지 박스를 포함함 - ;
    각각의 이벤트 메시지 박스의 시작 시간 및 활성 지속시간을 결정하고;
    각각의 이벤트 메시지 박스에 포함된 이벤트 정보를, 개별 이벤트 메시지 박스의 상기 시작 시간 및 상기 활성 지속시간에 기초하여 프로세싱하도록
    구성되고, 상기 시간 지정 메타데이터 트랙에 대해 조각화 및 조각 모음 프로세스들이 수행되는, 장치.
  10. 제9항에 있어서, 각각의 이벤트 메시지 박스의 타임스케일은 상기 시간 지정 메타데이터 트랙의 타임스케일과 동일한, 장치.
  11. 제9항에 있어서, 상기 복수의 메타데이터 샘플 각각의 프레젠테이션 시간 및 지속시간은 상기 복수의 세그먼트 중 개별 메타데이터 샘플을 포함하는 것의 가장 빠른 프레젠테이션 시간 및 지속시간과 동일한, 장치.
  12. 제11항에 있어서, 상기 복수의 메타데이터 샘플 각각의 상기 프레젠테이션 시간은 개별 메타데이터 샘플에 포함된 이벤트 메시지 박스의 프레젠테이션 시간 값 및 프레젠테이션 시간 델타 값 중 하나에 대한 앵커인, 장치.
  13. 제9항에 있어서, 각각의 이벤트 메시지 박스의 상기 시작 시간 및 상기 활성 지속시간의 합은 상기 시간 지정 메타데이터 트랙의 마지막 프레젠테이션 시간에 의해 제한되는, 장치.
  14. 제9항에 있어서, 상기 복수의 세그먼트 각각은 공통 미디어 애플리케이션 포맷(CMAF) 조각 및 하이퍼텍스트 전송 프로토콜을 통한 동적 적응 스트리밍(DASH) 세그먼트 중 하나인, 장치.
  15. 제9항에 있어서, 상기 복수의 메타데이터 샘플 중 하나에 포함된 각각의 이벤트 메시지 박스는 상이한 스킴 식별자를 포함하는, 장치.
  16. 제9항에 있어서, 상기 조각화 및 조각 모음 프로세스들은 국제 표준화 기구(ISO)/국제 전기 표준 회의(IEC) 기본 미디어 파일 포맷(ISOBMFF) 조각화 및 조각 모음 프로세스들에 기초하는, 장치.
  17. 명령어들을 저장하는 비-일시적 컴퓨터 판독가능한 저장 매체로서,
    상기 명령어들은 미디어 데이터를 수신하기 위해 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금:
    복수의 메타데이터 샘플을 포함하는 복수의 세그먼트의 시간 지정 메타데이터 트랙을 수신하는 단계 - 상기 복수의 세그먼트 각각은 상기 복수의 메타데이터 샘플 중 하나만을 포함하고, 상기 복수의 메타데이터 샘플 각각은 하나 이상의 이벤트 메시지 박스를 포함함 - ;
    각각의 이벤트 메시지 박스의 시작 시간 및 활성 지속시간을 결정하는 단계; 및
    각각의 이벤트 메시지 박스에 포함된 이벤트 정보를, 개별 이벤트 메시지 박스의 상기 시작 시간 및 상기 활성 지속시간에 기초하여 프로세싱하는 단계
    를 수행하게 하고, 상기 시간 지정 메타데이터 트랙에 대해 조각화 및 조각 모음 프로세스들이 수행되는, 비-일시적 컴퓨터 판독가능한 저장 매체.
  18. 제17항에 있어서, 각각의 이벤트 메시지 박스의 타임스케일은 상기 시간 지정 메타데이터 트랙의 타임스케일과 동일한, 비-일시적 컴퓨터 판독가능한 저장 매체.
  19. 제17항에 있어서, 상기 복수의 메타데이터 샘플 각각의 프레젠테이션 시간 및 지속시간은 상기 복수의 세그먼트 중 개별 메타데이터 샘플을 포함하는 것의 가장 빠른 프레젠테이션 시간 및 지속시간과 동일한, 비-일시적 컴퓨터 판독가능한 저장 매체.
  20. 제19항에 있어서, 상기 복수의 메타데이터 샘플 각각의 상기 프레젠테이션 시간은 개별 메타데이터 샘플에 포함된 이벤트 메시지 박스의 프레젠테이션 시간 값 및 프레젠테이션 시간 델타 값 중 하나에 대한 앵커인, 비-일시적 컴퓨터 판독가능한 저장 매체.
KR1020217028527A 2019-09-30 2020-09-28 Http를 통한 동적 적응 스트리밍을 위한 방법들 및 장치들 KR102501184B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962908238P 2019-09-30 2019-09-30
US62/908,238 2019-09-30
US17/031,227 2020-09-24
US17/031,227 US11303688B2 (en) 2019-09-30 2020-09-24 Methods and apparatuses for dynamic adaptive streaming over HTTP
PCT/US2020/053031 WO2021067171A1 (en) 2019-09-30 2020-09-28 Methods and apparatuses for dynamic adaptive streaming over http

Publications (2)

Publication Number Publication Date
KR20210118944A true KR20210118944A (ko) 2021-10-01
KR102501184B1 KR102501184B1 (ko) 2023-02-21

Family

ID=75162287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217028527A KR102501184B1 (ko) 2019-09-30 2020-09-28 Http를 통한 동적 적응 스트리밍을 위한 방법들 및 장치들

Country Status (6)

Country Link
US (2) US11303688B2 (ko)
EP (1) EP4038860A4 (ko)
JP (1) JP7246508B2 (ko)
KR (1) KR102501184B1 (ko)
CN (2) CN116346794A (ko)
WO (1) WO2021067171A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11303688B2 (en) * 2019-09-30 2022-04-12 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP
US11838341B2 (en) * 2021-04-19 2023-12-05 Tencent America LLC Signaling schemes in events message tracks
US11588870B2 (en) * 2021-04-21 2023-02-21 Tencent America LLC W3C media extensions for processing DASH and CMAF inband events along with media using process@append and process@play mode
US11750678B2 (en) * 2021-05-12 2023-09-05 Tencent America LLC Manifest based CMAF content preparation template for 5G networks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018512771A (ja) * 2015-03-04 2018-05-17 クアルコム，インコーポレイテッド Ｌｃｔに基づくｄａｓｈフォーマットを有するファイルフォーマットベースのストリーミング
JP2018527769A (ja) * 2015-06-16 2018-09-20 インテル アイピー コーポレイション 動的無線アクセスネットワーク情報を用いる適応型ビデオストリーミング
US20190281100A1 (en) * 2018-03-12 2019-09-12 Qualcomm Incorporated Processing interactivity events for streaming media data

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9986009B2 (en) * 2010-10-06 2018-05-29 Electronics And Telecommunications Research Institute Apparatus and method for providing streaming content
KR101633769B1 (ko) * 2012-04-05 2016-06-27 후아웨이 테크놀러지 컴퍼니 리미티드 Iso 베이스 미디어 파일 형식에 기초한 적응형 스트리밍을 위한 안전한 비동기 이벤트 통지 시스템 및 방법
US9722852B2 (en) * 2013-05-24 2017-08-01 Cisco Technology, Inc. On-demand encapsulating of timed metadata in a network environment
CN105230024B (zh) * 2013-07-19 2019-05-24 华为技术有限公司 一种媒体表示自适应方法、装置及计算机存储介质
JP2015023575A (ja) * 2013-07-19 2015-02-02 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
WO2016060410A1 (ko) * 2014-10-14 2016-04-21 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016140477A1 (ko) * 2015-03-01 2016-09-09 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
CN106034262B (zh) * 2015-03-13 2021-01-22 中兴通讯股份有限公司 自适应流媒体处理方法及装置
JPWO2016174960A1 (ja) * 2015-04-30 2018-02-22 ソニー株式会社 受信装置、送信装置、およびデータ処理方法
MX2018008395A (es) * 2016-01-15 2018-08-15 Sony Corp Dispositivo de recepcion, dispositivo de transmision y metodo de procesamiento de datos.
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
EP3579564A4 (en) * 2017-01-31 2020-01-15 Sony Corporation INFORMATION PROCESSING DEVICE AND METHOD
US11095907B2 (en) * 2017-03-27 2021-08-17 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10887645B2 (en) * 2017-07-13 2021-01-05 Qualcomm Incorporated Processing media data using file tracks for web content
US11310540B2 (en) * 2017-11-10 2022-04-19 Qualcomm Incorporated Interfaces between dash aware application and dash client for service interactivity support
US11321516B2 (en) * 2018-01-19 2022-05-03 Qualcomm Incorporated Processing dynamic web content of an ISO BMFF web resource track
US11303688B2 (en) * 2019-09-30 2022-04-12 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP
US10979784B1 (en) * 2019-12-02 2021-04-13 CodeShop, B.V. Track format for carriage of event messages

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018512771A (ja) * 2015-03-04 2018-05-17 クアルコム，インコーポレイテッド Ｌｃｔに基づくｄａｓｈフォーマットを有するファイルフォーマットベースのストリーミング
JP2018527769A (ja) * 2015-06-16 2018-09-20 インテル アイピー コーポレイション 動的無線アクセスネットワーク情報を用いる適応型ビデオストリーミング
US20190281100A1 (en) * 2018-03-12 2019-09-12 Qualcomm Incorporated Processing interactivity events for streaming media data

Also Published As

Publication number Publication date
WO2021067171A1 (en) 2021-04-08
EP4038860A1 (en) 2022-08-10
CN116346794A (zh) 2023-06-27
CN113661692B (zh) 2023-04-18
EP4038860A4 (en) 2023-08-02
US20220191262A1 (en) 2022-06-16
US11303688B2 (en) 2022-04-12
JP2022524073A (ja) 2022-04-27
US20210099506A1 (en) 2021-04-01
JP7246508B2 (ja) 2023-03-27
KR102501184B1 (ko) 2023-02-21
CN113661692A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
KR102501184B1 (ko) Http를 통한 동적 적응 스트리밍을 위한 방법들 및 장치들
EP4038887A1 (en) Methods and apparatuses for dynamic adaptive streaming over http
JP7252373B2 (ja) メディアコンテンツのメディアデータを受信する方法、装置、およびコンピュータプログラム
US11418561B2 (en) Remote link validity interval in media streaming
EP4111675A1 (en) Method and apparatus for media streaming
US11451602B2 (en) Methods and apparatuses for dynamic adaptive streaming over HTTP
KR20220129622A (ko) Http를 통한 동적 적응 스트리밍을 위한 방법들 및 장치들
US11520848B2 (en) Methods and apparatuses for dynamic adaptive streaming over HTTP
US11683355B2 (en) Methods and apparatuses for dynamic adaptive streaming over HTTP
US20230336602A1 (en) Addressable resource index events for cmaf and dash multimedia streaming
US20240022792A1 (en) Method for bandwidth switching by cmaf and dash clients using addressable resource index tracks and events
KR20240070610A (ko) Cmaf 및 dash 멀티미디어 스트리밍을 위한 주소 지정 가능한 리소스 인덱스 이벤트
WO2023205681A1 (en) A processing model for dash client processing model to support handling of dash event updates

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant