TW202243451A - 經由即時傳輸協定傳輸經heif格式化的圖像 - Google Patents

經由即時傳輸協定傳輸經heif格式化的圖像 Download PDF

Info

Publication number
TW202243451A
TW202243451A TW111111332A TW111111332A TW202243451A TW 202243451 A TW202243451 A TW 202243451A TW 111111332 A TW111111332 A TW 111111332A TW 111111332 A TW111111332 A TW 111111332A TW 202243451 A TW202243451 A TW 202243451A
Authority
TW
Taiwan
Prior art keywords
images
image
data
overlay
scene
Prior art date
Application number
TW111111332A
Other languages
English (en)
Inventor
依梅德 堡爾吉吉
尼古拉康拉德 梁
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/656,159 external-priority patent/US11863767B2/en
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202243451A publication Critical patent/TW202243451A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331Caching operations, e.g. of an advertisement for later insertion during playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一種用於取得媒體資料的示例性設備,該設備包括:記憶體,其被配置為儲存場景資料和圖像資料;及一或多個處理器,其在電路系統中實現並且被配置為:接收針對位元串流的資料,該資料指示位元串流包括一或多個覆加圖像,覆加圖像包括:將與場景資料一起呈現的單個靜態圖像,或者圖像序列,該單個靜態圖像在逐訊框地與場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與場景資料的訊框一起呈現時以規律的週期性進行重複;從位元串流接收一或多個覆加圖像;接收包括一或多個場景圖像的場景資料;及呈現場景圖像和覆加圖像。

Description

經由即時傳輸協定傳輸經HEIF格式化的圖像
本專利申請案主張享受於2021年3月30日提出申請的美國臨時申請案第63/168,157的權益,據此將上述申請案的全部內容經由引用的方式併入。
本案內容係關於經編碼的媒體資料的儲存和傳輸。
數位視訊能力可以被合併到各種各樣的設備中,包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型電腦或桌上型電腦、數位相機、數位記錄設備、數位媒體播放機、視訊遊戲設備、視訊遊戲控制台、蜂巢或衛星無線電電話、視訊電話會議設備等。數位視訊設備實現視訊壓縮技術(諸如在由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4(第10部分,高級視訊譯碼(AVC))、ITU-T H.265(亦被稱為高效率視訊譯碼(HEVC))以及此類標準的擴展定義的標準中描述的彼等技術),以更加高效地傳輸和接收數位視訊資訊。
在諸如視訊資料的媒體資料已經被編碼之後,可以將媒體資料封包以進行傳輸或儲存。媒體資料可以被組裝成符合各種標準(諸如國際標準組織(ISO)的基媒體檔案格式(ISOBMFF)以及其擴展(諸如AVC))中的任何一種的媒體檔案。
概括而言,本案內容描述了用於支援作為用於覆加的源的圖像的傳輸和呈現的技術。覆加或覆加圖像通常對應於在動態視訊內容之上呈現的靜態圖像。亦即,當在可以逐訊框地改變的動態視訊內容之上呈現時,靜態圖像覆加保持不變。或者,一系列圖像可以作為覆加來呈現,例如,以循環的形式。在此種情況下,覆加圖像序列可以以規律的週期性進行重複,例如,根據在覆加圖像序列中包括的圖像數量。覆加是沉浸式電話會議的重要態樣,因為覆加可以用於疊合(super-impose)場景中的各種各樣的內容。例如,覆加可以允許將幻燈片、徽標及/或資訊螢幕疊合在場景中。覆加紋理可以來自視訊串流、一或多個靜止圖像或一系列圖像。沉浸式遠端會議和遠端終端機臨場感(ITT4RT)小組正在努力支援圖像作為用於覆加的源。本案內容描述了使用高效率圖像檔案(HEIF)格式作為用於包含圖像覆加的格式。
在一個實例中,一種取得媒體資料的方法包括以下步驟:接收針對位元串流的資料,該資料指示該位元串流包括一或多個覆加圖像,該等覆加圖像包括:將與場景資料一起呈現的單個靜態圖像,或者圖像序列,該單個靜態圖像在逐訊框地與該場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與該場景資料的訊框一起呈現時以規律的週期性進行重複;從該位元串流接收該一或多個覆加圖像;接收包括一或多個場景圖像的該場景資料;及呈現該等場景圖像和該等覆加圖像。
在另一實例中,一種用於取得媒體資料的設備包括:記憶體,其被配置為儲存場景資料和圖像資料;及一或多個處理器,其在電路系統中實現並且被配置為:接收針對位元串流的資料,該資料指示該位元串流包括一或多個覆加圖像,該等覆加圖像包括:將與場景資料一起呈現的單個靜態圖像,或者圖像序列,該單個靜態圖像在逐訊框地與該場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與該場景資料的訊框一起呈現時以規律的週期性進行重複;從該位元串流接收該一或多個覆加圖像;接收包括一或多個場景圖像的該場景資料;及呈現該等場景圖像和該等覆加圖像。
在另一實例中,一種具有儲存在其上的指令的電腦可讀取儲存媒體,該等指令在被執行時使得處理器進行以下操作:接收針對位元串流的資料,該資料指示該位元串流包括一或多個覆加圖像,該等覆加圖像包括:將與場景資料一起呈現的單個靜態圖像,或者圖像序列,該單個靜態圖像在逐訊框地與該場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與該場景資料的訊框一起呈現時以規律的週期性進行重複;從該位元串流接收該一或多個覆加圖像;接收包括一或多個場景圖像的該場景資料;及呈現該等場景圖像和該等覆加圖像。
在另一實例中,一種用於接收媒體資料的設備包括:用於接收針對位元串流的資料的構件,該資料指示該位元串流包括一或多個覆加圖像,該等覆加圖像包括:將與場景資料一起呈現的單個靜態圖像,或者圖像序列,該單個靜態圖像在逐訊框地與該場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與該場景資料的訊框一起呈現時以規律的週期性進行重複;用於從該位元串流接收該一或多個覆加圖像的構件;用於接收包括一或多個場景圖像的場景資料的構件;及用於呈現該等場景圖像和該等覆加圖像的構件。
在附圖和以下描述中闡述了一或多個實例的細節。根據說明書和附圖以及根據申請專利範圍,其他特徵、目的和優點將是顯而易見的。
概括而言,本案內容描述了用於使用特定格式(諸如高效率圖像檔案(HEIF)格式)來包含圖像覆加的技術。覆加或覆加圖像通常對應於在動態視訊內容之上呈現的靜態圖像。亦即,當在可以逐訊框地改變的動態視訊內容之上呈現時,靜態圖像覆加保持不變。或者,一系列圖像可以例如以循環的形式被呈現為覆加。在此種情況下,覆加圖像序列可以以規律的週期性進行重複,例如,根據在覆加圖像序列中包括的圖像的數量。例如,若覆加圖像序列包括N個圖像,則圖像序列中的第i圖像將在每j*N+i個訊框呈現,其中j的範圍可以從零到無窮,並且i的範圍可以從零到N-1。HEIF格式是在ISO/IEC 23008-12中定義的。ISO/IEC 23008-12規定了將圖像和圖像序列及其中繼資料儲存到基於ISOBMFF的容器檔案中。HEIF定義了用於圖像的儲存的通用的、與轉碼器無關的結構,並且亦提供了基於H.265/HEVC(高效率視訊譯碼)轉碼器的例子。
在各種環境(諸如視訊電話和視訊會議通信期)中,可能期望在參與者之間共享圖像。然而,在一些視訊串流協定(諸如即時傳輸協定(RTP))中,沒有定義對圖像的攜帶。HEIF是一種允許儲存使用例如HEVC或其他視訊轉碼器而編碼的圖像集合和圖像序列的圖像格式。目前未規定經由RTP攜帶該等圖像。本案內容描述了用於經由RTP攜帶和呈現HEIF圖像集合和圖像序列的技術。該等技術描述了對用於例如HEVC的RTP有效負荷格式的擴展以及通信期描述通訊協定(SDP)中的圖像的信號傳遞。以此種方式,可以在視訊會議通信期傳輸圖像和圖像序列,對於該視訊會議通信期,可以使用RTP或其他此類協定傳輸資料。
本案內容的技術可以應用於符合根據以下各項中的任何一項封裝的媒體資料的媒體檔案(諸如視訊檔案):ISO基媒體檔案格式(ISOBMFF)、可縮放視訊譯碼(SVC)檔案格式、高級視訊譯碼(AVC)檔案格式、第三代合作夥伴計畫(3GPP)檔案格式,及/或多視圖視訊譯碼(MVC)檔案格式,或其他類似的視訊檔案格式。
圖1是圖示實現用於在網路上對媒體資料進行串流的技術的示例性系統10的方塊圖。在該實例中,系統10包括內容準備設備20、伺服器設備60和客戶端設備40。客戶端設備40和伺服器設備60經由可以包括網際網路的網路74通訊地耦合。在一些實例中,內容準備設備20和伺服器設備60亦可以經由網路74或另一網路耦合,或者可以直接通訊地耦合。在一些實例中,內容準備設備20和伺服器設備60可以包括相同的設備。
在圖1的實例中,內容準備設備20包括音訊源22和視訊源24。音訊源22可以包括例如麥克風,其產生表示被擷取的要由音訊編碼器26編碼的音訊資料的電信號。或者,音訊源22可以包括儲存先前記錄的音訊資料的儲存媒體、音訊資料產生器(諸如電腦合成器),或任何其他音訊資料來源。視訊源24可以包括產生要由視訊編碼器28編碼的視訊資料的攝像機、編碼有先前記錄的視訊資料的儲存媒體、視訊資料產生單元(諸如電腦圖形源),或任何其他視訊資料來源。在所有實例中,內容準備設備20不一定通訊地耦合到伺服器設備60,而是可以將多媒體內容儲存到由伺服器設備60讀取的單獨媒體中。
原始音訊和視訊資料可以包括類比或數位資料。類比資料可以在被音訊編碼器26及/或視訊編碼器28編碼之前被數位化。音訊源22可以在講話參與者正在講話時從講話參與者獲得音訊資料,並且視訊源24可以同時獲得講話參與者的視訊資料。在其他實例中,音訊源22可以包括包含儲存的音訊資料的電腦可讀取儲存媒體,而視訊源24可以包括包含儲存的視訊資料的電腦可讀取儲存媒體。以此種方式,在本案內容中描述的技術可以被應用於實況的、串流的、即時的音訊和視訊資料或者被存檔案的、預先記錄的音訊和視訊資料。
對應於視訊訊框的音訊訊框通常是包含音訊資料的音訊訊框,音訊資料是與由視訊源24擷取(或產生)的被包含在視訊訊框內的視訊資料同時地由音訊源22擷取(或產生)的。例如,當講話參與者通常經由講話產生音訊資料時,音訊源22擷取音訊資料,而視訊源24同時(亦即,當音訊源22擷取音訊資料時)擷取講話參與者的視訊資料。因此,音訊訊框可以在時間上對應於一或多個特定視訊訊框。相應地,對應於視訊訊框的音訊訊框通常對應於以下情形:其中音訊資料和視訊資料是同時擷取的,並且音訊訊框和視訊訊框分別包括同時擷取的音訊資料和視訊資料。
在一些實例中,音訊編碼器26可以將表示用於每個經編碼的音訊訊框的音訊資料被記錄的時間的時間戳記編碼到該經編碼的音訊訊框中,並且類似地,視訊編碼器28可以將表示用於每個經編碼的視訊訊框的視訊資料被記錄的時間的時間戳記編碼在該經編碼的視訊訊框中。在此種實例中,音訊訊框對應於視訊訊框可以包括:包括時間戳記的音訊訊框和包括相同時間戳記的視訊訊框。內容準備設備20可以包括內部時鐘,其中音訊編碼器26及/或視訊編碼器28可以根據該內部時鐘來產生時間戳記,或者音訊源22和視訊源24可以使用該內部時鐘將音訊資料和視訊資料分別與時間戳記關聯。
在一些實例中,音訊源22可以向音訊編碼器26發送與音訊資料被記錄的時間相對應的資料,而視訊源24可以向視訊編碼器28發送與視訊資料被記錄的時間相對應的資料。在一些實例中,音訊編碼器26可以將序列識別符編碼到經編碼的音訊資料中,以指示經編碼的音訊資料的相對時間順序,但是不一定指示音訊資料被記錄的絕對時間,並且類似地,視訊編碼器28亦可以使用序列識別符來指示經編碼的視訊資料的相對時間順序。類似地,在一些實例中,序列識別符可以被映射或以其他方式與時間戳記相關。
音訊編碼器26通常產生經編碼的音訊資料的串流,而視訊編碼器28產生經編碼的視訊資料的串流。每個單獨的串流(無論是音訊還是視訊)皆可以被稱為基本串流。基本串流是表示的單個經數位譯碼的(可能是被壓縮的)分量。例如,表示的經譯碼的視訊或音訊部分可以是基本串流。基本串流可以在被封裝在視訊檔案內之前,被轉換為封包化基本串流(PES)。在同一表示內,串流ID可以用於將屬於一個基本串流的PES封包與另一基本串流的PES封包區分開。基本串流的基礎資料單元是封包化基本串流(PES)封包。因此,經譯碼的視訊資料通常對應於基本視訊串流。類似地,音訊資料對應於一或多個相應的基本串流。
許多視訊譯碼標準(諸如ITU-T H.264/AVC、ITU-T H.265/高效率視訊譯碼(HEVC)和即將到來的ITU-T H.266/通用視訊譯碼(VVC)標準)定義了用於無錯誤位元串流的語法、語義和解碼程序,其中的任何一者符合某個簡介或級別。視訊譯碼標準通常不指定編碼器,但是編碼器的任務是保證所產生的位元串流對於解碼器是符合標準的。在視訊譯碼標準的背景下,「簡介」對應於適用於視訊譯碼標準的演算法、特徵,或工具和約束的子集。例如,如由H.264標準所定義的,「簡介」是由H.264標準所指定的整個位元串流語法的子集。「級別」對應於與圖片的解析度、位元速率和區塊處理率有關的解碼器資源消費的限制,例如,解碼器記憶體和計算。可以利用profile_idc(簡介指示符)值來用信號通知簡介,而可以利用level_idc(級別指示符)值來用信號通知級別。
例如,H.264標準認可的是,在給定簡介的語法所施加的界限內,仍然可能需要編碼器和解碼器的效能的大變化,此舉取決於位元串流中的語法元素所採用的值,諸如解碼圖片的指定大小。H.264標準進一步認可的是,在許多應用中,實現能夠處理特定簡介內的語法的所有假設用途的解碼器是不實用亦不經濟的。因此,H.264標準將「級別」定義為對在位元串流中的語法元素的值施加的指定約束集合。該等約束可以是對值的簡單限制。或者,該等約束可以採取對值的算術組合的約束的形式(例如,圖片寬度乘以圖片高度乘以每秒解碼的圖片數量)。H.264標準亦規定,各種實現方式可以支援針對每個支援的簡介的不同級別。
符合簡介的解碼器通常支援在簡介中定義的所有特徵。例如,作為譯碼特徵,B圖片譯碼在H.264/AVC的基準簡介中是不支援的,但是在H.264/AVC的其他簡介中是支援的。符合級別的解碼器應當能夠對不需要超出在該級別中定義的限制的資源的任何位元串流進行解碼。簡介和級別的定義可以有助於可解釋性。例如,在視訊傳輸期間,可以為整個傳輸通信期協商並且商定一對簡介和級別定義。更具體而言,在H.264/AVC中,級別可以定義對以下各項的限制:需要被處理的巨集區塊數量、解碼圖片緩衝區(DPB)大小、譯碼圖片緩衝區(CPB)大小、垂直運動向量範圍、每兩個連續MB的運動向量的最大數量,以及B區塊是否可以具有小於8x8個圖元的子巨集區塊分區。以此種方式,解碼器可以決定該解碼器是否能夠正確地解碼位元串流。
在圖1的實例中,內容準備設備20的封裝單元30從視訊編碼器28接收包括經譯碼的視訊資料的基本串流,並且從音訊編碼器26接收包括經譯碼的音訊資料的基本串流。在一些實例中,視訊編碼器28和音訊編碼器26可以分別包括用於從經編碼的資料形成PES封包的封包化器。在其他實例中,視訊編碼器28和音訊編碼器26可以分別與用於從經編碼的資料形成PES封包的相應封包化器進行對接。在其他實例中,封裝單元30可以包括用於從經編碼的音訊和視訊資料形成PES封包的封包化器。
視訊編碼器28可以以各種方式對多媒體內容的視訊資料進行編碼,以產生多媒體內容的處於各種位元速率並且具有各種特性(例如,圖元解析度、訊框速率、符合各種譯碼標準、符合用於各種譯碼標準的各個簡介及/或簡介的級別、具有一或多個視圖的表示(例如,用於二維或三維重播)或其他此類特性)的不同表示。在本案內容中使用的表示可以包括音訊資料、視訊資料、文字資料(例如,用於隱藏式字幕)或其他此種資料中的一者。表示可以包括基本串流,諸如音訊基本串流或視訊基本串流。每個PES封包可以包括識別該PES封包所屬的基本串流的stream_id。封裝單元30負責將基本串流組裝成各個表示的視訊檔案(例如,分段)。
封裝單元30從音訊編碼器26和視訊編碼器28接收用於表示的基本串流的PES封包,並且從PES封包形成對應的網路抽象層(NAL)單元。可以將經譯碼的視訊分段組織為NAL單元,該等NAL單元提供了「網路友好」的視訊表示,其解決諸如視訊電話、儲存、廣播或串流之類的應用。NAL單元可以被分類為視訊譯碼層(VCL)NAL單元和非VCL NAL單元。VCL單元可以包含核心壓縮引擎,並且可以包括區塊、巨集區塊及/或切片級資料。其他NAL單元可以是非VCL NAL單元。在一些實例中,在一個時間例子中通常被呈現為主譯碼圖片的譯碼圖片可以被包含在存取單元中,存取單元可以包括一或多個NAL單元。
除此之外,非VCL NAL單元亦可以包括參數集NAL單元和SEI NAL單元。參數集可以包含序列級標頭資訊(在序列參數集(SPS)中)和不頻繁變化的圖片級標頭資訊(在圖片參數集(PPS)中)。利用參數集(例如,PPS和SPS),不需要針對每個序列或圖片重複不頻繁變化的資訊,因此可以提高譯碼效率。此外,使用參數集可以實現對重要標頭資訊的帶外傳輸,從而避免為了錯誤恢復而對於冗餘傳輸的需求。在帶外傳輸實例中,可以在與其他NAL單元(諸如SEI NAL單元)不同的通道上傳輸參數集NAL單元。
補充增強資訊(SEI)可能包含對於從VCL NAL單元解碼譯碼圖片取樣而言不必要的資訊,但是可能有助於與解碼、顯示、錯誤恢復和其他目的有關的程序。SEI訊息可以被包含在非VCL NAL單元中。SEI訊息是一些標準規範的規範性部分,並且因此對於符合標準的解碼器實現而言並非總是強制的。SEI訊息可以是序列級SEI訊息或圖片級SEI訊息。一些序列級資訊可以被包含在SEI訊息中,諸如在SVC實例中的可伸縮性資訊SEI訊息,以及在MVC中的視圖可伸縮性資訊SEI訊息。該等示例性SEI訊息可以傳遞關於例如操作點的提取和操作點的特性的資訊。另外,封裝單元30可以形成清單檔案,諸如描述表示的特性的媒體呈現描述符(MPD)。封裝單元30可以根據可延伸標記語言(XML)來將MPD格式化。
封裝單元30可以將用於多媒體內容的一或多個表示的資料以及清單檔案(例如,MPD)一起提供給輸出介面32。輸出介面32可以包括網路介面,或用於寫入儲存媒體的介面(諸如通用序列匯流排(USB)介面、CD或DVD燒錄機或燒錄機、與磁或快閃儲存媒體的介面,或用於儲存或傳輸媒體資料的其他介面)。封裝單元30可以將多媒體內容的表示之每一者表示的資料提供給輸出介面32,輸出介面32可以經由網路傳輸或儲存媒體將資料發送給伺服器設備60。在圖1的實例中,伺服器設備60包括儲存各種多媒體內容64的儲存媒體62,每種多媒體內容包括相應的清單檔案66和一或多個表示68A-68N(表示68)。在一些實例中,輸出介面32亦可以直接向網路74發送資料。
在一些實例中,表示68可以被分成自我調整集。亦即,表示68的各個子集可以包括相應的共用特性集,諸如轉碼器、簡介和級別、解析度、視圖數量、用於分段的檔案格式、可以識別將與表示及/或要被解碼和由例如揚聲器呈現的音訊資料一起顯示的文字的語言或其他特性的文字類型資訊、可以描述針對自我調整集中的表示的場景的相機角度或現實世界視角的相機角度資訊、描述內容對於特定受眾的適合性的評級資訊等。
清單檔案66可以包括指示與特定的自我調整集相對應的表示68的子集以及用於自我調整集的共用特性的資料。清單檔案66亦可以包括表示用於自我調整集中的單獨表示的各個特性的資料,諸如位元速率。以此種方式,自我調整集可以提供簡化的網路頻寬自我調整。可以使用清單檔案66的自我調整集元素中的子元素來指示在自我調整集中的表示。
伺服器設備60包括請求處理單元70和網路介面72。在一些實例中,伺服器設備60可以包括複數個網路介面。此外,伺服器設備60的任何或所有特徵可以在內容遞送網路的其他設備上實現,諸如路由器、橋接器、代理設備、交換機或其他設備。在一些實例中,內容遞送網路的中介設備可以對多媒體內容64的資料進行快取,並且包括基本上與伺服器設備60的元件一致的元件。通常,網路介面72被配置為經由網路74發送和接收資料。
請求處理單元70被配置為從諸如客戶端設備40之類的客戶端設備接收對儲存媒體62的資料的網路請求。例如,請求處理單元70可以實現如在RFC 2616中(1999年6月,IETF,網路工作組,R. Fielding等人的「Hypertext Transfer Protocol – HTTP/1.1」)中描述的超文字傳輸協定(HTTP)版本1.1。亦即,請求處理單元70可以被配置為接收HTTP GET或部分GET請求,並且回應於該等請求而提供多媒體內容64的資料。請求可以指定表示68中的一個表示的分段(例如,使用該分段的URL)。在一些實例中,請求亦可以指定分段的一或多個位元組範圍,由此包括部分GET請求。請求處理單元70亦可以被配置為對HTTP HEAD請求進行服務以提供表示68中的一個表示的分段的標頭資料。在任何情況下,請求處理單元70可以被配置為處理該等請求以將所請求的資料提供給請求設備,諸如客戶端設備40。
另外或替代地,請求處理單元70可以被配置為經由諸如eMBMS之類的廣播或多播協定來遞送媒體資料。內容準備設備20可以以與所描述的基本相同的方式來建立DASH分段及/或子分段,但是伺服器設備60可以使用eMBMS或另一廣播或多播網路傳輸協定來遞送該等分段或子分段。例如,請求處理單元70可以被配置為從客戶端設備40接收多播群組加入請求。亦即,伺服器設備60可以向包括客戶端設備40的客戶端設備通告與多播群組相關聯的網際網路協定(IP)位址,該多播群組與特定的媒體內容(例如,實況事件的廣播)相關聯。客戶端設備40進而可以提交用於加入多播群組的請求。該請求可以在整個網路74(例如,組成網路74的路由器)中傳播,從而使路由器將去往與多播群組相關聯的IP位址的訊務導引到訂閱客戶端設備(諸如客戶端設備40)。
如在圖1的實例中所示,多媒體內容64包括清單檔案66,清單檔案66可以對應於媒體呈現描述(MPD)。清單檔案66可以包含對不同替代表示68(例如,具有不同品質的視訊服務)的描述,並且該描述可以包括例如表示68的轉碼器資訊、簡介值、級別值、位元速率和其他描述性特性。客戶端設備40可以取得媒體呈現的MPD以決定如何存取表示68的分段。
具體地,取得單元52可以取得客戶端設備40的配置資料(未圖示)以決定視訊解碼器48的解碼能力和視訊輸出44的渲染能力。配置資料亦可以包括以下各項中的任何一項或全部:由客戶端設備40的使用者選擇的語言偏好、與由客戶端設備40的使用者設置的深度偏好相對應的一或多個相機視角,及/或由客戶端設備40的使用者選擇的評級偏好。取得單元52可以包括例如被配置為提交HTTP GET和部分GET請求的網頁瀏覽器或媒體客戶端。取得單元52可以對應於由客戶端設備40的一或多個處理器或處理單元(未圖示)執行的軟體指令。在一些實例中,關於取得單元52描述的功能中的全部或部分功能可以用硬體,或者用硬體、軟體及/或韌體的組合來實現,其中可以提供必需的硬體來執行針對軟體或韌體的指令。
取得單元52可以將客戶端設備40的解碼和渲染能力與由清單檔案66的資訊所指示的表示68的特性進行比較。取得單元52可以初始地取得清單檔案66的至少一部分以決定表示68的特性。例如,取得單元52可以請求清單檔案66的描述一或多個自我調整集的特性的一部分。取得單元52可以選擇表示68的具有可以由客戶端設備40的譯碼和渲染能力滿足的特性的子集(例如,自我調整集)。取得單元52隨後可以決定用於在自我調整集中的表示的位元速率,決定當前可用的網路頻寬量,並且從表示中的一個表示中取得具有網路頻寬可以滿足的位元速率的分段。
通常,較高位元速率的表示可以產生較高品質的視訊重播,而較低位元速率的表示可以在可用網路頻寬減小時提供足夠品質的視訊重播。相應地,當可用網路頻寬是相對高的時,取得單元52可以從相對高位元速率的表示中取得資料,而當可用網路頻寬是低的時,取得單元52可以從相對低位元速率的表示中取得資料。以此種方式,客戶端設備40可以在網路74上對多媒體資料進行串流,同時亦適應於網路74的變化的網路頻寬可用性。
另外或替代地,取得單元52可以被配置為根據諸如eMBMS或IP多播之類的廣播或多播網路通訊協定來接收資料。在此種實例中,取得單元52可以提交用於加入與特定的媒體內容相關聯的多播網路群組的請求。在加入多播群組之後,取得單元52可以接收該多播群組的資料,而無需向伺服器設備60或內容準備設備20發出另外的請求。當不再需要多播群組的資料時,取得單元52可以提交用於離開該多播群組的請求,例如以停止重播或者將通道改變到不同的多播群組。
網路介面54可以接收所選擇的表示的分段的資料並且將其提供給取得單元52,取得單元52進而可以將該等分段提供給解封裝單元50。解封裝單元50可以將視訊檔案的元素解封裝為組成的PES串流,對PES串流進行解封包化以取得經編碼的資料,並且向音訊解碼器46或視訊解碼器48發送經編碼的資料,此舉取決於經編碼的資料是音訊串流還是視訊串流的一部分(例如,如該串流的PES封包標頭所指示的)。音訊解碼器46對經編碼的音訊資料進行解碼並且將經解碼的音訊資料發送到音訊輸出42,而視訊解碼器48對經編碼的視訊資料進行解碼並且將經解碼的視訊資料(其可以包括串流的複數個視圖)發送到視訊輸出44。
視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、封裝單元30、取得單元52和解封裝單元50各自可以在適用的情況下被實現為各種適當的處理電路系統中的任何一者,諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)、個別邏輯電路系統、軟體、硬體、韌體或其任何組合。視訊編碼器28和視訊解碼器48中的每一者可以被包括在一或多個編碼器或解碼器中,其中任一者可以被整合為組合視訊編碼器/解碼器(CODEC)的一部分。同樣,音訊編碼器26和音訊解碼器46中的每一者可以被包括在一或多個編碼器或解碼器中,其中任一者可以被整合為組合CODEC的一部分。包括視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、封裝單元30、取得單元52及/或解封裝單元50的裝置可以包括積體電路、微處理器及/或無線通訊設備(諸如蜂巢式電話)。
客戶端設備40、伺服器設備60及/或內容準備設備20可以被配置為根據本案內容的技術進行操作。出於實例的目的,本案內容關於客戶端設備40和伺服器設備60描述了該等技術。然而,應當理解的是,內容準備設備20可以被配置為執行該等技術,代替(或者除了)伺服器設備60。
封裝單元30可以形成NAL單元,NAL單元包括識別該NAL單元所屬的程式的標頭以及有效負荷(例如,音訊資料、視訊資料,或描述NAL單元所對應的傳輸或程式串流的資料)。例如,在H.264/AVC中,NAL單元包括1位元組的標頭和大小可變的有效負荷。在其有效負荷中包括視訊資料的NAL單元可以包括各種細微性級別的視訊資料。例如,NAL單元可以包括視訊資料區塊、複數個區塊、視訊資料的切片,或視訊資料的整個圖片。封裝單元30可以以基本串流的PES封包的形式從視訊編碼器28接收經編碼的視訊資料。封裝單元30可以將每個基本串流與對應的程式相關聯。
封裝單元30亦可以從複數個NAL單元組裝存取單元。通常,存取單元可以包括一或多個NAL單元,其用於表示視訊資料的訊框,以及與該訊框相對應的音訊資料(當此種音訊資料是可用時)。存取單元通常包括用於一個輸出時間例子的所有NAL單元,例如,用於一個時間例子的所有音訊和視訊資料。例如,若每個視圖具有20訊框每秒(fps)的訊框速率,則每個時間例子可以對應於0.05秒的時間間隔。在該時間間隔期間,可以同時渲染用於同一存取單元(同一時間例子)的所有視圖的特定訊框。在一個實例中,存取單元可以包括在一個時間例子中的譯碼圖片,其可以被呈現為主譯碼圖片。
相應地,存取單元可以包括共用時間例子的所有音訊和視訊訊框,例如,對應於時間 X的所有視圖。本案內容亦將特定視圖的編碼圖片稱為「視圖分量」。亦即,視圖分量可以包括在特定的時間處針對特定視圖的編碼圖片(或訊框)。相應地,存取單元可以被定義為包括共用時間例子的所有視圖分量。存取單元的解碼順序不一定需要與輸出或顯示順序相同。
媒體呈現可以包括媒體呈現描述(MPD),其可以包含不同替代表示(例如,具有不同品質的視訊服務)的描述,並且該描述可以包括例如轉碼器資訊、簡介值和級別值。MPD是清單檔案(例如,清單檔案66)的一個實例。客戶端設備40可以取得媒體呈現的MPD,以決定如何存取各個呈現的電影片段。電影片段可以位於視訊檔案的電影片段盒(moof盒(box))中。
清單檔案66(其可以包括例如MPD)可以通告表示68的分段的可用性。亦即,MPD可以包括指示表示68中的一個表示的第一分段變得可用的時鐘時間的資訊,以及指示表示68內的分段的持續時間的資訊。以此種方式,客戶端設備40的取得單元52可以基於在特定分段之前的分段的開始時間以及持續時間來決定每個分段何時可用。
在封裝單元30已經基於所接收的資料將NAL單元及/或存取單元組裝為視訊檔案之後,封裝單元30將視訊檔案傳遞到輸出介面32以進行輸出。在一些實例中,封裝單元30可以將視訊檔案進行本端儲存或者經由輸出介面32將視訊檔案發送給遠端伺服器,而不是將視訊檔案直接發送給客戶端設備40。輸出介面32可以包括例如傳輸器、收發機、用於將資料寫入電腦可讀取媒體的設備(諸如光學驅動器、磁性媒體驅動器(例如,軟碟機))、通用序列匯流排(USB)埠、網路介面或其他輸出介面。輸出介面32將視訊檔案輸出到電腦可讀取媒體,諸如例如,傳輸信號、磁性媒體、光學媒體、記憶體、快閃記憶體驅動器或其他電腦可讀取媒體。
網路介面54可以經由網路74接收NAL單元或存取單元,並且經由取得單元52將NAL單元或存取單元提供給解封裝單元50。解封裝單元50可以將視訊檔案的元素解封裝為組成的PES串流,將PES串流進行解封包化以取得經編碼的資料,並且向音訊解碼器46或視訊解碼器48發送經編碼的資料(取決於經編碼的資料是音訊串流還是視訊串流的一部分,例如如由串流的PES封包標頭指示的)。音訊解碼器46對經編碼的音訊資料進行解碼並且將經解碼的音訊資料發送到音訊輸出42,而視訊解碼器48對經編碼的視訊資料進行解碼並且將經解碼的視訊資料(其可以包括串流的複數個視圖)發送到視訊輸出44。
出於實例目的,圖1的實例描述了使用DASH和基於HTTP的串流。然而,應當理解,可以使用其他類型的協定來傳輸媒體資料。例如,請求處理單元70和取得單元52可以被配置為根據即時傳輸協定(RTP)、即時串流協定(RTSP)等進行操作,並且使用諸如通信期描述通訊協定(SDP)或通信期啟動協定(SIP)之類的支援協定。
圖2是更詳細地圖示圖1的取得單元52的示例性元件集合的方塊圖。在該實例中,取得單元52包括eMBMS中間軟體單元100、DASH客戶端110和媒體應用程式112。
在該實例中,eMBMS中間軟體單元100亦包括eMBMS接收單元106、快取記憶體104和代理伺服器單元102。在該實例中,eMBMS接收單元106被配置為經由eMBMS(例如,根據基於單向傳輸的檔案遞送(FLUTE))來接收資料,FLUTE是在2012年11月、RFC 6726、網路工作組、T. Paila等人的「FLUTE—經由單向傳輸的檔案遞送」中描述的,其可在tools.ietf.org/html/rfc6726獲得。亦即,eMBMS接收單元106可以經由廣播從例如伺服器設備60接收檔案,伺服器設備60可以充當廣播/多播服務中心(BM-SC)。
隨著eMBMS中間軟體單元100接收用於檔案的資料,eMBMS中間軟體單元可以將所接收的資料儲存在快取記憶體104中。快取記憶體104可以包括電腦可讀取儲存媒體,諸如快閃記憶體、硬碟、RAM或任何其他適當的儲存媒體。
代理伺服器單元102可以充當用於DASH客戶端110的伺服器。例如,代理伺服器單元102可以向DASH客戶端110提供MPD檔案或其他清單檔案。代理伺服器單元102可以在MPD檔案中通告針對分段的可用性時間以及分段可以從其中被取得的超鏈路。該等超鏈路可以包括與客戶端設備40相對應的本端主機位址首碼(例如,對於IPv4而言,為127.0.0.1)。以此種方式,DASH客戶端110可以使用HTTP GET或部分GET請求從代理伺服器單元102請求分段。例如,對於可從鏈路http://127.0.0.1/rep1/seg3得到的分段,DASH客戶端110可以構造包括針對http://127.0.0.1/rep1/seg3的請求的HTTP GET請求,並且向代理伺服器單元102提交該請求。代理伺服器單元102可以回應於此種請求來從快取記憶體104取得所請求的資料,並且將該資料提供給DASH客戶端110。
客戶端設備40表示一種用於取得媒體資料的設備的實例,包括:被配置為儲存場景資料和圖像資料的記憶體;及一或多個處理器,其在電路系統中實現並且被配置為:接收用於位元串流的資料,該資料指示位元串流包括一或多個覆加圖像,覆加圖像包括將與場景資料一起呈現的單個靜態圖像或者圖像序列,該單個靜態圖像在逐訊框地與場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與場景資料的訊框一起呈現時以規律的週期性進行重複;從位元串流接收一或多個覆加圖像;接收包括一或多個場景圖像的場景資料;及呈現場景圖像和覆加圖像。
圖3是圖示示例性多媒體內容120的元素的概念圖。多媒體內容120可以對應於多媒體內容64(圖1)或被儲存在儲存媒體62中的另一多媒體內容。在圖3的實例中,多媒體內容120包括媒體呈現描述(MPD)122和複數個表示124A-124N(表示124)。表示124A包括可選的標頭資料126和分段128A-128N(分段128),而表示124N包括可選的標頭資料130和分段132A-132N(分段132)。為了方便起見,字母N用於指定表示124之每一者表示中的最後一個電影片段。在一些實例中,在表示124之間可以存在不同數量的電影片段。
MPD 122可以包括與表示124分開的資料結構。MPD 122可以對應於圖1的清單檔案66。同樣,表示124可以對應於圖1的表示68。通常,MPD 122可以包括通常描述表示124的特性的資料,諸如譯碼和渲染特性、自我調整集、MPD 122所對應的簡介、文字類型資訊、相機角度資訊、評級資訊、軌道模式資訊(例如,指示包括時間子序列的表示的資訊),及/或用於取得遠端時段的資訊(例如,用於在重播期間將目標廣告插入到媒體內容中)。
標頭資料126(當存在時)可以描述分段128的特性,例如,隨機存取點(RAP,亦被稱為串流存取點(SAP))的時間位置、分段128中的何者包括隨機存取點、對分段128內的隨機存取點的位元組偏移、分段128的統一資源定位符(URL),或分段128的其他態樣。標頭資料130(當存在時)可以描述分段132的類似特性。另外或替代地,此種特性可以完全被包括在MPD 122內。
分段128、132包括一或多個譯碼視訊取樣,每個譯碼視訊取樣可以包括視訊資料的訊框或切片。分段128的譯碼視訊取樣中的每一者可以具有類似的特性,例如,高度、寬度和頻寬要求。儘管在圖3的實例中未圖示此種資料,但是此種特性可以由MPD 122的資料來描述。MPD 122可以包括由3GPP規範描述的特性,其中添加了在本案內容中描述的用信號發送的資訊中的任何或全部資訊。
分段128、132之每一者分段可以與唯一的統一資源定位符(URL)相關聯。因此,分段128、132之每一者分段可以是可使用諸如DASH之類的串流網路通訊協定來獨立地取得的。以此種方式,諸如客戶端設備40之類的目的地設備可以使用HTTP GET請求來取得分段128或132。在一些實例中,客戶端設備40可以使用HTTP部分GET請求來取得分段128或132的特定位元組範圍。
圖4是圖示示例性視訊檔案150的元素的方塊圖,視訊檔案150可以對應於表示的分段,諸如圖3的分段128、132中的一個分段。分段128、132之每一者分段可以包括基本上符合在圖4的實例中圖示的資料的佈置的資料。視訊檔案150可以認為是封裝分段。如前述,根據ISO基媒體檔案格式以及其擴展的視訊檔案將資料儲存在被稱為「盒(box)」的一系列物件中。在圖4的實例中,視訊檔案150包括檔案類型(FTYP)盒152、電影(MOOV)盒154、分段索引(sidx)盒162、電影片段(MOOF)盒164,以及電影片段隨機存取(MFRA)盒166。儘管圖4表示視訊檔案的實例,但是應當理解的是,其他媒體檔案可以包括根據ISO基媒體檔案格式以及其擴展而與視訊檔案150的資料類似地構造的其他類型的媒體資料(例如,音訊資料、時序文字資料等)。
檔案類型(FTYP)盒152通常描述用於視訊檔案150的檔案類型。檔案類型盒152可以包括識別描述用於視訊檔案150的最佳用途的規範的資料。檔案類型盒152可以替代地被放置在MOOV盒154、電影片段盒164及/或MFRA盒166之前。
在一些實例中,諸如視訊檔案150之類的分段可以在FTYP盒152之前包括MPD更新盒(未圖示)。MPD更新盒可以包括指示與包括視訊檔案150的表示相對應的MPD將被更新的資訊以及用於更新MPD的資訊。例如,MPD更新盒可以提供用於要用於更新MPD的資源的URI或URL。作為另一實例,MPD更新盒可以包括用於更新MPD的資料。在一些實例中,MPD更新盒可以緊跟在視訊檔案150的分段類型(STYP)盒(未圖示)之後,其中STYP盒可以定義用於視訊檔案150的分段類型。
在圖4的實例中,MOOV盒154包括電影標頭(MVHD)盒156、軌道(TRAK)盒158以及一或多個電影擴展(MVEX)盒160。通常,MVHD盒156可以描述視訊檔案150的一般特性。例如,MVHD盒156可以包括描述視訊檔案150最初何時被建立、視訊檔案150最近何時被修改、用於視訊檔案150的時間標度、用於視訊檔案150的重播的持續時間的資料,或者通常描述視訊檔案150的其他資料。
TRAK盒158可以包括用於視訊檔案150的軌道的資料。TRAK盒158可以包括描述與TRAK盒158相對應的軌道的特性的軌道標頭(TKHD)盒。在一些實例中,TRAK盒158可以包括經譯碼的視訊圖片,而在其他實例中,軌道的經譯碼的視訊圖片可以被包括在電影片段164中,電影片段164可以經由TRAK盒158及/或sidx盒162的資料來引用。
在一些實例中,視訊檔案150可以包括多於一個的軌道。因此,MOOV盒154可以包括一數量的TRAK盒,TRAK盒的數量等於視訊檔案150中的軌道的數量。TRAK盒158可以描述視訊檔案150的對應軌道的特性。例如,TRAK盒158可以描述用於對應軌道的時間及/或空間資訊。當封裝單元30(圖3)在諸如視訊檔案150之類的視訊檔案中包括參數集軌道時,類似於MOOV盒154的TRAK盒158的TRAK盒可以描述參數集軌道的特性。封裝單元30可以用信號通知在TRAK盒內的參數集軌道中描述參數集軌道的序列級SEI訊息的存在。
MVEX盒160可以描述對應的電影片段164的特性,例如,以用信號通知除了被包括在MOOV盒154內的視訊資料(若有的話)之外,視訊檔案150亦包括電影片段164。在串流視訊資料的情況下,經譯碼的視訊圖片可以被包括在電影片段164中,而不是在MOOV盒154中。因此,所有經譯碼的視訊取樣可以被包括在電影片段164中,而不是在MOOV盒154中。
MOOV盒154可以包括一數量的MVEX盒160,MVEX盒160的數量等於視訊檔案150中的電影片段164的數量。MVEX盒160中的每一者可以描述電影片段164中的相應片段的特性。例如,每個MVEX盒可以包括電影擴展標頭盒(MEHD),其描述用於電影片段164中的相應片段的持續時間。
如前述,封裝單元30可以將序列資料集儲存在不包括實際經譯碼的視訊資料的視訊取樣中。視訊取樣通常可以對應於存取單元,存取單元是在特定的時間例子處的譯碼圖片的表示。在AVC的情況下,譯碼圖片包括包含要構造存取單元的所有圖元的資訊的一或多個VCL NAL單元和其他關聯的非VCL NAL單元(諸如,SEI訊息)。相應地,封裝單元30可以在電影片段164中的一個電影片段中包括序列資料集,序列資料集可以包括序列級SEI訊息。封裝單元30亦可以在MVEX盒160中的與電影片段164中的一個電影片段相對應的MVEX盒內將序列資料集及/或序列級SEI訊息的存在用信號通知為存在於電影片段164的該電影片段中。
SIDX盒162是視訊檔案150的可選元素。亦即,符合3GPP檔案格式或其他此種檔案格式的視訊檔案不一定包括SIDX盒162。根據3GPP檔案格式的實例,SIDX盒可以用於識別分段(例如,被包含在視訊檔案150內的分段)的子分段。3GPP檔案格式將子分段定義為「具有對應媒體資料盒的一或多個連續電影片段盒的自包含集,並且包含由電影片段盒引用的資料的媒體資料盒必須跟隨在該電影片段盒之後並且在包含關於相同軌道資訊的下一電影片段盒之前。」3GPP檔案格式亦指示SIDX盒「包含對該盒所記載的(子)分段的子分段的引用的序列。所引用的子分段在呈現時間上是連續的。類似地,由分段索引盒所引用的位元組在分段內始終是連續的。所引用的大小提供了在所引用的材料中的位元組數量的計數。」
SIDX盒162通常提供表示被包括在視訊檔案150中的分段的一或多個子分段的資訊。例如,此類資訊可以包括子分段開始及/或結束的重播時間、針對子分段的位元組偏移、子分段是否包括串流存取點(SAP)(例如,從其開始)、用於SAP的類型(例如,SAP是否是即時解碼器刷新(IDR)圖片、清除隨機存取(CRA)圖片、斷鏈存取(BLA)圖片等)、SAP在子分段中的位置(依據重播時間及/或位元組偏移)等。
電影片段164可以包括一或多個經譯碼的視訊圖片。在一些實例中,電影片段164可以包括一或多個圖片群組(GOP),每個圖片群組可以包括多個經譯碼的視訊圖片,例如訊框或圖片。另外,如前述,在一些實例中,電影片段164可以包括序列資料集。電影片段164之每一者電影片段可以包括電影片段標頭盒(MFHD,在圖4中未圖示)。MFHD盒可以描述對應電影片段的特性,諸如用於該電影片段的序號。電影片段164可以按照序號的順序被包括在視訊檔案150中。
MFRA盒166可以描述在視訊檔案150的電影片段164內的隨機存取點。此舉可以輔助執行軌道模式,諸如對經由視訊檔案150封裝的分段內的特定的時間位置(亦即,重播時間)執行搜尋。MFRA盒166通常是可選的,並且在一些實例中不需要被包括在視訊檔案中。同樣,客戶端設備(諸如客戶端設備40)不一定需要引用MFRA盒166來正確地解碼和顯示視訊檔案150的視訊資料。MFRA盒166可以包括一數量的軌道片段隨機存取(TFRA)盒(未圖示),TFRA盒的數量等於視訊檔案150的軌道數量,或者在一些實例中,等於視訊檔案150的媒體軌道(例如,非提示軌道)的數量。
在一些實例中,電影片段164可以包括一或多個串流存取點(SAP),諸如IDR圖片。同樣,MFRA盒166可以提供對SAP在視訊檔案150內的位置的指示。相應地,視訊檔案150的時間子序列可以從視訊檔案150的SAP形成。時間子序列亦可以包括其他圖片,諸如依賴於SAP的P訊框及/或B訊框。可以將時間子序列的訊框及/或切片佈置在分段內,使得時間子序列的依賴於該子序列的其他訊框/切片的訊框/切片可以被正確地解碼。例如,在資料的分層佈置中,用於針對其他資料的預測的資料亦可以被包括在時間子序列中。
圖5是圖示用於在媒體檔案200中包含圖像資料的高效率圖像檔案(HEIF)格式的示例性結構的概念圖。HEIF格式是在ISO/IEC 23008-12中定義的。HEIF規定了將圖像和圖像序列以及其中繼資料儲存在基於ISOBMFF的容器檔案中。HEIF定義了用於圖像儲存的通用的、與轉碼器無關的結構,但是亦提供了基於H.265/HEVC轉碼器的例子。在一些實例中,圖4的分段128、132可以符合圖5的HEIF格式。
HEIF遵循用於媒體儲存的ISOBMFF設計規則。因此,圖像序列是以軌道來儲存的,並且靜止圖像是作為中繼資料專案來儲存的。在前者中,圖像被一起譯碼。因此,經譯碼的圖像將具有一些解碼依賴性。在後者中,圖像是彼此獨立地譯碼的。
如圖5所示,經HEIF格式化的媒體檔案200包括:FTYP盒202;MOOV盒204,其可以包括TRAK盒206,該TRAK盒206包括圖像序列208中的零個或更多個圖像;META盒214,其包括圖像位置(ILOC)盒216和專案屬性(IPRP)盒220,該ILOC盒216包括零個或更多個圖像專案218;MDAT盒210,其包括零個或更多個圖像212;及專案資料(IDAT)盒222,其包括零個或更多個圖像224。
利用HEVC編碼儲存圖像的ISOBMFF容器檔案可以對應地由「heic」或「hevc」品牌識別,其存在於ISOBMFF盒的開始處的FTYP盒202中。對於靜止圖像,該等檔案的MIME類型可以被設置為「image/heic」,或者對於圖像序列,其可以被設置為「image/heic-sequence」。
容器中的圖像可以被指派不同的角色。以下角色是可以被指派給圖像(諸如圖像212、224)的實例: -封面圖像:在顯示偏好上不存在其他資訊的情況下顯示的預設圖像。在HEIF中僅可以定義一個封面圖像。 -縮略圖圖像:與主圖像相對應的小解析度圖像。 -輔助圖像:補充主圖像的圖像,包括例如深度圖。 -主圖像:容器檔案中的全解析度的主要圖像。 -隱藏圖像:不打算顯示的圖像。 -預計算的派生圖像:已經從其他圖像派生的經譯碼圖像。 -經譯碼圖像:圖像的經譯碼的表示。 -派生圖像:必須使用一些操作和對容器檔案中的其他圖像的引用而派生的圖像。所定義的操作包括:裁剪、旋轉、鏡像和合成。
圖像序列可以承擔主圖像序列、輔助圖像序列或縮略圖圖像序列的角色。
圖像212、224可以與其自己的中繼資料一起儲存在容器檔案中。初始化資訊可以作為用於圖像序列的取樣描述盒的一部分儲存在取樣條目中。對於靜止圖像,初始化資訊可以作為IPRP容器盒220的一部分儲存為專案屬性。該中繼資料可以包含諸如圖像的尺寸、轉碼器初始化資訊等的資訊。
額外中繼資料(諸如圖元縱橫比、色彩資訊和位元深度)可以存在於專案屬性容器盒中,並且使用在專案引用盒中的「cdsc」參考類型來引用實際圖像。
對於圖像序列(諸如圖像序列208),規範定義了重播控制特徵,以描述例如以下各項中的任何或全部: -將不顯示的圖像 -幻燈片對比圖像集合 -用於幻燈片的重播定時 -幻燈片的循環 -對圖像的變換
為了促進存取圖像序列中的特定圖像,可以使用取樣分類來指示該圖像的解碼依賴性。解碼器不需要解碼圖像序列208中的所有圖像212。
用於HEVC的即時傳輸協定(RTP)有效負荷格式是在以下文件中定義的:IETF RFC 7798,RTP Payload Format for High Efficiency Video Coding (HEVC)(用於高效率視訊譯碼(HEVC)的RTP有效負荷格式)。MTSI目前支援RFC 7798以用於傳輸視訊串流。有效負荷格式定義了在攜帶HEVC有效負荷時使用RTP標頭、將經HEVC譯碼的NAL單元封包化為RTP封包、SDP描述和有效負荷標頭擴展機制。
在ITT4RT的背景下,圖像和圖像序列皆可以用作覆加。HEIF格式可以用作用於覆加的源。傳輸可以是符合HEVC的,亦即,圖像專案和圖像序列可以從HEIF源來提取,並且使用HEVC有效負荷格式來傳輸。
ITT4RT-tx客戶端可以向接收器指示以下資訊: -串流是圖像覆加串流。 -串流是否攜帶圖像序列或靜止圖像或兩者。 -靜止圖像專案的數量。 -圖像序列中的圖像數量。 -用於靜止圖像或圖像序列的傳輸模式。傳輸模式可以被設置為「耦合」以指示對傳輸和顯示的耦合,在此種情況下,顯示時間總是經由RTP時間戳記來決定的。或者,傳輸模式可以是「解耦」,以指示傳輸是獨立於呈現的,使得分別地提供呈現定時以支援諸如儲存和循環之類的用例。 -在傳輸模式被設置為「解耦」的情況下,靜止圖像集合或圖像序列中的圖像的顯示順序。 -針對圖像專案或取樣中的每一項的圖像中繼資料,包括圖像尺寸、圖像角色等。
為了支援該信號傳遞,可以使用「image」SDP屬性來識別串流攜帶一或多個覆加圖像,包括靜止圖像及/或圖像序列。「image」屬性可以具有以下增強的Backus-Naur Form(ABNF)語法: -image_attribute=「a=image:」 pt SP transmission_mode SP item_count -transmission_mode=「tmode=」 (」coupled」 / 「decoupled」 [「;」 store] [「;」 loop]) -item_count=「count=」 1*DIGIT -metadata_index=「meta=」 1*DIGIT -store=「store=」 (「0」/」1」) -loop=「loop=」 (「0」/」1」)
針對以上語法元素的語義可以定義如下:
pt:用於攜帶該圖像集合或圖像序列的有效負荷類型。在存在多個圖像序列或者存在圖像集合和圖像序列的混合的情況下,應針對不同的序列或圖像集合使用不同的有效負荷類型。
transmission_mode:耦合的傳輸模式,其指示在長達覆加將被渲染的時間內,覆加圖像將被連續地串流(重傳)。RTP時間戳記可以用於決定覆加圖像的呈現時間。不需要儲存圖像,並且亦不需要執行循環。在此種情況下,圖像可以是主圖像。在「解耦」傳輸模式的情況下,圖像的呈現可以被圖像中繼資料覆寫。RTP時間戳記可以用於決定圖像的索引。
item_count:提供在對應的圖像集合或圖像序列中的圖像數量。
store:對於解耦傳輸模式,store標誌告訴接收器是否儲存用於連續呈現的圖像。此舉允許傳輸通信期比實際呈現要短得多。具體而言,靜止圖像覆加通常被儲存以在覆加的整個生命期中呈現。
loop:對於解耦傳輸模式,loop標誌指示是否應循環圖像集合或圖像序列,或者該集合或圖像序列中的最後一個圖像專案是否將保持顯示。
使用「image-metadata」屬性來執行用於圖像集合或圖像序列中的圖像專案的中繼資料的攜帶,該「image-metadata」屬性可以定義如下: image-metadata=」a=image-metadata:」 pt SP coded-metadata
在以上實例中,coded-metadata是用於對應的圖像集合或圖像序列的經base64譯碼的圖像中繼資料。
圖像中繼資料可以具有以下格式:
image_metadata(pt,image_count) {  
  for(i=0;i<image_count;i++) {  
     image_properties()  
     display_info()  
     extension_info()  
   }  
}  
image_properties() {  
   ispe_present_flag 1
   pasp_present_flag 1
   colr_present_flag 1
   pixi_present_flag 1
   clap_present_flag 1
   irot_present_flag 1
   imir_present_flag 1
   other_properties() 1
   ImageSpatialExtentsProperty()  
   PixelAspectRatioBox()  
   PixelAspectRatioBox()  
   ColourInformationBox()  
   PixelInformationProperty()  
   CleanApertureBox()  
   ImageRotation()  
   other_properties()  
}  
display_info() {  
   order u(8)
   duration u(16)
}  
所有圖像屬性可以根據其相應的定義進行格式化,例如,如在以下文件中定義的:ISO/IEC 23008-12, MPEG systems Technologies—Part 12: Image File Format。
display_info元素可以提供關於圖像集合或序列之每一者圖像的顯示順序的資訊。順序為0意味著將不渲染圖像。此舉可能是輔助圖像或隱藏圖像的情況。Duration指示圖像將以90 kHz時鐘為單位來渲染多長時間。
中繼資料資訊可以是經base64編碼的,並且作為用於每個圖像集合或圖像序列的image-metadata屬性的一部分來獨立地提供。
耦合的傳輸模式可以適於即時覆加串流,例如,即時幻燈片呈現。解耦傳輸模式可以適於預設內容,諸如定時的幻燈片。
下表提供了用於攜帶圖像集合和圖像序列的示例性SDP資料集: . . . m=video 49170 RTP/AVP 98,99 a=rtpmap:98 H265/90000 a=fmtp:98 profile-id=1;sprop-vps=<video parameter sets data> a=image:98 tmode=coupled count=14 a=image-metadata:98 coded-metadata=<base64 coded metadata> a=rtpmap:99 H265/90000 a=fmtp:99 profile-id=1;sprop-vps=<video parameter sets data> a=image:99 tmode=decoupled;store=1;loop=1 count=6 a=image-metadata:99 coded-metadata=<base64 coded metadata> . . .
圖6是圖示根據本案內容的技術的取得媒體資料的示例性方法的流程圖。關於圖1和圖2的客戶端設備40和取得單元52解釋了圖6的方法。其他設備可以被配置為執行該方法或類似方法。
如上所論述的,位元串流可以包括用於指示位元串流包括一或多個覆加圖像的資料。具體而言,覆加圖像可以包括靜態圖像或圖像序列中的任一者或兩者。靜態圖像可以是將與場景資料(例如,視訊資料、擴展現實(XR)內容、增強現實(AR)內容、虛擬實境(VR)內容等)一起呈現的圖像,該圖像在逐訊框地與場景資料的訊框一起呈現時保持不變。另外或替代地,圖像序列可以是在逐訊框地與場景資料的訊框一起呈現時以規律的週期性進行重複的圖像的序列。
覆加圖像可以在整個視埠呈現中佔據比作為整體的場景資料要小的區域。亦即,儘管場景資料通常可以佔據整個視埠(亦即,整個螢幕、鏡頭或其他顯示設備),但是覆加圖像可以佔據視埠的相對較小的部分,並且被呈現在場景資料之上(前面),使得覆加圖像遮擋場景資料的小部分。
位元串流的資料可以包括用於指示例如有效負荷類型的SDP圖像屬性或其他資料,該有效負荷類型指示覆加圖像是否包括靜態圖像、圖像序列或兩者。資料亦可以指示傳輸模式,例如,「耦合」或「解耦」。為「耦合」的傳輸模式指示在位元串流中連續地傳輸覆加圖像。為「解耦」的傳輸模式指示不重傳覆加圖像。在一些實例中,資料亦可以指示覆加圖像是否將被儲存(緩衝),及/或覆加圖像是否將被循環播放。
因此,例如,圖1的客戶端設備40的取得單元52可以接收位元串流的資料,該資料指示在位元串流中包括一或多個覆加圖像(250)。取得單元52隨後可以使用該資料來決定覆加圖像類型(252)。例如,取得單元52可以決定覆加圖像是否包括靜態圖像及/或圖像序列。
取得單元52亦可以決定用於覆加圖像的傳輸模式(254)。例如,取得單元52可以決定覆加圖像是連續地重傳還是發送一次(或者,例如,經由單播來依須求發送,而不是廣播或多播)。因此,取得單元52可以決定何時以及如何提取覆加圖像、是否緩衝覆加圖像、如何呈現覆加圖像(例如,經由循環或作為單個呈現)等等。取得單元52可以向解封裝單元50提供用於表示對覆加圖像的提取的資料,並且向例如視訊輸出44提供覆加圖像的呈現。
取得單元52可以接收用於場景的場景資料(256),以及接收覆加圖像本身(258)。覆加圖像可以被包括在諸如圖5的媒體檔案200之類的媒體檔案中。假設所接收的資料指示將緩衝覆加圖像,取得單元52可以將覆加圖像緩衝在例如快取記憶體104(圖2)中。
隨後,取得單元52的媒體應用程式112(圖2)可以將覆加圖像與場景資料一起呈現(260)。例如,媒體應用程式112可以被配置為經由視訊輸出44逐訊框地呈現場景資料,同時在場景資料之上呈現覆加圖像。例如,媒體應用程式112可以被配置為在逐訊框地呈現的場景資料上,呈現單個的靜態覆加圖像。或者,若覆加圖像包括將被循環的圖像序列,則媒體應用程式112可以按順序重複地呈現覆加圖像。亦即,若視訊序列包括N個圖像(其中N是正整數),則對於循環j(其中j是非負整數),媒體應用程式112可以在時間j*N+i處呈現圖像i。所接收的資料可以指示用於覆加圖像的呈現時間,並且媒體應用程式112可以相應地在所指示的呈現時間處呈現覆加圖像。
DASH客戶端110可以被配置為使用單播從分別的伺服器設備取得覆加圖像,或者從代理伺服器102取得覆加圖像。具體而言,若圖像將被本端儲存在快取記憶體104中,則DASH客戶端110可以經由代理伺服器102重複地從快取記憶體104(亦即,本端記憶體)取得覆加圖像。或者,可以向媒體應用程式112分配在與快取記憶體104分別的儲存設備中的記憶體,並且在所分配的記憶體中緩衝覆加圖像。
以此種方式,圖6的方法表示一種方法的實例,該方法包括以下步驟:接收用於位元串流的資料,該資料指示位元串流包括一或多個覆加圖像,覆加圖像包括:將與場景資料一起呈現的單個靜態圖像,或者圖像序列,該單個靜態圖像在逐訊框地與場景資料的訊框一起呈現時保持不變;該圖像序列在逐訊框地與場景資料的訊框一起呈現時以規律的週期性進行重複;接收來自位元串流的一或多個覆加圖像;接收包括一或多個場景圖像的場景資料;及呈現場景圖像和覆加圖像。
在以下條款中總結了本案內容的技術的各個實例:
條款1:一種取得媒體資料的方法,該方法包括以下步驟:接收針對位元串流的資料,該資料指示該位元串流包括一或多個覆加圖像;從該位元串流接收該一或多個覆加圖像;接收包括一或多個場景圖像的場景資料;及呈現該等場景圖像和該等覆加圖像。
條款2:根據條款1之方法,亦包括以下步驟:接收針對該位元串流的、用於指示以下內容的資料:該一或多個覆加圖像是否包括一或多個圖像序列,以及該一或多個覆加圖像是否包括一或多個靜止圖像。
條款3:根據條款2之方法,亦包括以下步驟:當該資料指示該一或多個覆加圖像包括該一或多個圖像序列時,該等圖像序列之每一者圖像序列中的圖像數量。
條款4:根據條款2和3中任一項之方法,亦包括以下步驟:當該資料指示該一或多個覆加圖像包括該一或多個靜止圖像時,該等靜止圖像的數量。
條款5:根據條款2-4中任一項之方法,亦包括以下步驟:接收用於表示針對該等圖像序列和該等靜止圖像的傳輸模式的資料。
條款6:根據條款5之方法,亦包括以下步驟:當該等傳輸模式中的一種傳輸模式是「耦合」時,根據該位元串流的時間戳記資料來決定用於該等覆加圖像的顯示時間。
條款7:根據條款6之方法,其中該時間戳記資料包括即時傳輸協定(RTP)時間戳記資料。
條款8:根據條款5-7中任一項之方法,亦包括以下步驟:當該等傳輸模式中的一種傳輸模式是「解耦」時:分別接收用於表示針對該等覆加圖像的顯示時間的資料;及根據所分別接收的資料來決定針對該等覆加圖像的該等顯示時間。
條款9:根據條款1-8中任一項之方法,亦包括以下步驟:當該一或多個覆加圖像包括兩個或更多個覆加圖像時,接收用於表示該等覆加圖像的顯示順序的資料。
條款10:根據條款1-9中任一項之方法,亦包括以下步驟:從該位元串流接收用於該等覆加圖像之每一者覆加圖像的圖像中繼資料,該中繼資料指示圖像尺寸或圖像角色中的一項或多項。
條款11:根據條款10之方法,其中該圖像角色包括以下各項中的至少一項:封面圖像、縮略圖圖像、輔助圖像、主圖像、隱藏圖像、預計算的派生圖像、經譯碼圖像或派生圖像。
條款12:根據條款10和11中任一項之方法,其中該中繼資料包括以下各項中的一項或多項:image_properties()元素、display_info()元素或者extension_info()元素。
條款13:根據條款12之方法,其中該image_properties()元素包括以下各項中的一項或多項:ispe_present_flag、pasp_present_flag、colr_present_flag、pixi_present_flag、clap_present_flag、irot_present_flag、imir_present_flag、other_properties()元素、ImageSpatialExtentsProperty()元素、PixelAspectRatioBox()元素、ColourInformationBox()元素、PixelInformationProperty()元素、CleanApertureBox()元素,或者ImageRotation()元素。
條款14:根據條款12和13中任一項之方法,其中該display_info()元素包括以下各項中的一項或多項:指示該等覆加圖像的呈現的順序的順序元素,或者指示該等覆加圖像中的對應的一個覆加圖像將被顯示的時間量的持續時間元素。
條款15:根據條款1-14中任一項之方法,亦包括以下步驟:接收用於識別該位元串流的通信期描述通訊協定(SDP)圖像屬性。
條款16:根據條款15之方法,其中該SDP圖像屬性包括一或多個語法元素,該一或多個語法元素包括image_attribute、transmission_mode、item_count、metadata_index、store或者loop。
條款17:根據條款1之方法,亦包括以下步驟:接收針對該位元串流的、用於指示以下內容的資料:該一或多個覆加圖像是否包括一或多個圖像序列,以及該一或多個覆加圖像是否包括一或多個靜止圖像。
條款18:根據條款17之方法,亦包括以下步驟:當該資料指示該一或多個覆加圖像包括該一或多個圖像序列時,該等圖像序列之每一者圖像序列中的圖像數量。
條款19:根據條款18之方法,亦包括以下步驟:當該資料指示該一或多個覆加圖像包括該一或多個靜止圖像時,該等靜止圖像的數量。
條款20:根據條款18之方法,亦包括以下步驟:接收用於表示針對該等圖像序列和該等靜止圖像的傳輸模式的資料。
條款21:根據條款20之方法,亦包括以下步驟:當該等傳輸模式中的一種傳輸模式是「耦合」時,根據該位元串流的時間戳記資料來決定用於該等覆加圖像的顯示時間。
條款22:根據條款21之方法,其中該時間戳記資料包括即時傳輸協定(RTP)時間戳記資料。
條款23:根據條款20之方法,亦包括以下步驟:當該等傳輸模式中的一種傳輸模式是「解耦」時:分別接收用於表示針對該等覆加圖像的顯示時間的資料;及根據所分別接收的資料來決定針對該等覆加圖像的該等顯示時間。
條款24:根據條款1之方法,亦包括以下步驟:當該一或多個覆加圖像包括兩個或更多個覆加圖像時,接收用於表示該等覆加圖像的顯示順序的資料。
條款25:根據條款1之方法,亦包括以下步驟:從該位元串流接收用於該等覆加圖像之每一者覆加圖像的圖像中繼資料,該中繼資料指示圖像尺寸或圖像角色中的一項或多項。
條款26:根據條款25之方法,其中該圖像角色包括以下各項中的至少一項:封面圖像、縮略圖圖像、輔助圖像、主圖像、隱藏圖像、預計算的派生圖像、經譯碼圖像或派生圖像。
條款27:根據條款26之方法,其中該中繼資料包括以下各項中的一項或多項:image_properties()元素、display_info()元素或者extension_info()元素。
條款28:根據條款27之方法,其中該image_properties()元素包括以下各項中的一項或多項:ispe_present_flag、pasp_present_flag、colr_present_flag、pixi_present_flag、clap_present_flag、irot_present_flag、imir_present_flag、other_properties()元素、ImageSpatialExtentsProperty()元素、PixelAspectRatioBox()元素、ColourInformationBox()元素、PixelInformationProperty()元素、CleanApertureBox()元素,或者ImageRotation()元素。
條款29:根據條款27之方法,其中該display_info()元素包括以下各項中的一項或多項:用於指示該等覆加圖像的呈現的順序的順序元素,或者用於指示該等覆加圖像中的對應的一個覆加圖像將被顯示的時間量的持續時間元素。
條款30:根據條款1之方法,亦包括以下步驟:接收用於識別該位元串流的通信期描述通訊協定(SDP)圖像屬性。
條款31:根據條款30之方法,其中該SDP圖像屬性包括一或多個語法元素,該一或多個語法元素包括image_attribute、transmission_mode、item_count、metadata_index、store或者loop。
條款32:一種用於取得媒體資料的設備,該設備包括用於執行根據條款1-31中任一項之方法的一或多個構件。
條款33:根據條款32之設備,其中該一或多個構件包括在電路系統中實現的一或多個處理器。
條款34:根據條款32之設備,其中該設備包括以下各項中的至少一項:積體電路;微處理器;或者無線通訊設備。
條款35:一種具有儲存在其上的指令的電腦可讀取儲存媒體,該等指令在被執行時使得處理器執行根據條款1-31中任一項之方法。
條款36:一種用於接收媒體資料的設備,該設備包括:用於接收針對位元串流的資料的構件,該資料指示該位元串流包括一或多個覆加圖像;用於從該位元串流接收該一或多個覆加圖像的構件;用於接收包括一或多個場景圖像的場景資料的構件;及用於呈現該等場景圖像和該等覆加圖像的構件。
條款37:一種取得媒體資料的方法,該方法包括以下步驟:接收針對位元串流的資料,該資料指示該位元串流包括一或多個覆加圖像,該等覆加圖像包括:將與場景資料一起呈現的單個靜態圖像,或者圖像序列,該單個靜態圖像在逐訊框地與該場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與該場景資料的訊框一起呈現時以規律的週期性進行重複;從該位元串流接收該一或多個覆加圖像;接收包括一或多個場景圖像的該場景資料;及呈現該等場景圖像和該等覆加圖像。
條款38:根據條款37之方法,亦包括以下步驟:接收用於識別該位元串流的通信期描述通訊協定(SDP)圖像屬性。
條款39:根據條款38之方法,其中該SDP圖像屬性包括用於指示有效負荷類型的圖像屬性,該有效負荷類型指示該一或多個覆加圖像包括該單個靜態圖像還是該圖像序列。
條款40:根據條款39之方法,其中當該有效負荷類型指示該一或多個圖像包括該單個靜態圖像時,呈現該等場景圖像和該等覆加圖像包括:在逐圖像地呈現該等場景圖像時,重複地呈現該單個靜態圖像。
條款41:根據條款39之方法,其中當該有效負荷類型指示該一或多個圖像包括該圖像序列時,呈現該等場景圖像和該等覆加圖像包括:按順序將該圖像序列中的圖像連同該等場景圖像的對應圖像一起呈現。
條款42:根據條款38之方法,其中該SDP圖像屬性包括傳輸模式屬性,該傳輸模式屬性指示在長達該等覆加圖像將與該場景資料的訊框一起被呈現的時間內,該等覆加圖像是否被連續地重傳。
條款43:根據條款38之方法,其中該SDP圖像屬性包括用於指示該等覆加圖像是否將以循環來重複地呈現的資料。
條款44:根據條款43之方法,其中當該資料指示該等覆加圖像將以該循環來重複地呈現時,呈現該等場景圖像和該等覆加圖像包括:決定該等覆加圖像包括圖像序列中的N個圖像,N是正整數;及對於循環數j,其中j是非負整數,在時間j*N+i處呈現該等覆加圖像的該圖像序列中的圖像i,i對應於該等覆加圖像的該圖像序列的第i圖像。
條款45:根據條款38之方法,其中該SDP圖像屬性包括用於指示在接收之後該等覆加圖像是否將被本端儲存的資料。
條款46:根據條款45之方法,其中當該資料指示在接收之後該等覆加圖像將被本端儲存時,該方法亦包括以下步驟:將該等覆加圖像儲存在本端記憶體中,並且其中呈現該等場景圖像和該等覆加圖像包括:從該本端記憶體中取得該等覆加圖像;及呈現所取得的覆加圖像。
條款47:根據條款45之方法,其中當該資料指示該等覆加圖像將被重傳時,呈現該等場景圖像和該等覆加圖像包括:接收該等覆加圖像的重傳版本;及呈現該等覆加圖像的該等重傳版本。
條款48:根據條款38之方法,其中該SDP圖像屬性包括用於指示在該等覆加圖像中包括的圖像數量的資料。
條款49:根據條款37之方法,亦包括以下步驟:接收針對該位元串流的、用於指示以下內容的資料:該一或多個覆加圖像是否包括一或多個圖像序列,以及該一或多個覆加圖像是否包括一或多個靜止圖像。
條款50:根據條款49之方法,亦包括以下步驟:當該資料指示該一或多個覆加圖像包括該一或多個圖像序列時,接收針對該位元串流的、用於指示該等圖像序列之每一者圖像序列中的圖像數量的資料。
條款51:根據條款49之方法,亦包括以下步驟:當該資料指示該一或多個覆加圖像包括該一或多個靜止圖像時,接收針對該位元串流的、用於指示該等靜止圖像的數量的資料。
條款52:根據條款49之方法,亦包括以下步驟:接收用於表示針對該等圖像序列和該等靜止圖像的傳輸模式的資料。
條款53:根據條款52之方法,亦包括以下步驟:當該等傳輸模式中的一種傳輸模式是「耦合」時,根據該位元串流的時間戳記資料來決定用於該等覆加圖像的顯示時間。
條款54:根據條款53之方法,其中該時間戳記資料包括即時傳輸協定(RTP)時間戳記資料。
條款55:根據條款52之方法,亦包括以下步驟:當該等傳輸模式中的一種傳輸模式是「解耦」時:分別接收用於表示針對該等覆加圖像的顯示時間的資料;及根據所分別接收的資料來決定針對該等覆加圖像的該等顯示時間。
條款56:根據條款37之方法,亦包括以下步驟:當該一或多個覆加圖像包括兩個或更多個覆加圖像時,接收用於表示該等覆加圖像的顯示順序的資料。
條款57:根據條款37之方法,亦包括以下步驟:從該位元串流接收用於該等覆加圖像之每一者覆加圖像的圖像中繼資料,該中繼資料指示圖像尺寸或圖像角色中的一項或多項。
條款58:根據條款57之方法,其中該圖像角色包括以下各項中的至少一項:封面圖像、縮略圖圖像、輔助圖像、主圖像、隱藏圖像、預計算的派生圖像、經譯碼圖像或派生圖像。
條款59:根據條款57之方法,其中該中繼資料包括以下各項中的一項或多項:用於指示該等覆加圖像的呈現的順序的順序元素,或者用於指示該等覆加圖像中的對應的一個覆加圖像將被顯示的時間量的持續時間元素。
條款60:一種用於取得媒體資料的設備,該設備包括:記憶體,其被配置為儲存場景資料和圖像資料;及一或多個處理器,其在電路系統中實現並且被配置為:接收針對位元串流的資料,該資料指示該位元串流包括一或多個覆加圖像,該等覆加圖像包括:將與場景資料一起呈現的單個靜態圖像,或者圖像序列,該單個靜態圖像在逐訊框地與該場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與該場景資料的訊框一起呈現時以規律的週期性進行重複;從該位元串流接收該一或多個覆加圖像;接收包括一或多個場景圖像的該場景資料;及呈現該等場景圖像和該等覆加圖像。
條款61:根據條款60之設備,其中該一或多個處理器亦被配置為:接收用於識別該位元串流的通信期描述通訊協定(SDP)圖像屬性。
條款62:根據條款61之設備,其中該SDP圖像屬性包括用於指示有效負荷類型的圖像屬性,該有效負荷類型指示該一或多個覆加圖像包括該單個靜態圖像還是該圖像序列。
條款63:根據條款62之設備,其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為:當該有效負荷類型指示該一或多個圖像包括該單個靜態圖像時,在逐圖像地呈現該等場景圖像時,重複地呈現該單個靜態圖像。
條款64:根據條款62之設備,其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為:當該有效負荷類型指示該一或多個圖像包括該圖像序列時,按順序將該圖像序列中的圖像連同該等場景圖像的對應圖像一起呈現。
條款65:根據條款61之設備,其中該SDP圖像屬性包括傳輸模式屬性,該傳輸模式屬性指示在長達該等覆加圖像將與該場景資料的訊框一起被呈現的時間內,該等覆加圖像是否被連續地重傳。
條款66:根據條款61之設備,其中該SDP圖像屬性包括用於指示該等覆加圖像是否將以循環來重複地呈現的資料。
條款67:根據條款66之設備,其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為:當該資料指示該等覆加圖像將以該循環來重複地呈現時:決定該等覆加圖像包括圖像序列中的N個圖像,N是正整數;及對於循環數j,其中j是非負整數,在時間j*N+i處呈現該等覆加圖像的該圖像序列中的圖像i,i對應於該等覆加圖像的該圖像序列的第i圖像。
條款68:根據條款61之設備,其中該SDP圖像屬性包括用於指示在接收之後該等覆加圖像是否將被本端儲存的資料。
條款69:根據條款68之設備,其中該一或多個處理器亦被配置為:當該資料指示在接收之後該等覆加圖像將被本端儲存時,將該等覆加圖像儲存在該記憶體中,並且其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為:從該記憶體中取得該等覆加圖像;及呈現所取得的覆加圖像。
條款70:根據條款68之設備,其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為:當該資料指示該等覆加圖像將被重傳時:接收該等覆加圖像的重傳版本;及呈現該等覆加圖像的該等重傳版本。
條款71:一種具有儲存在其上的指令的電腦可讀取儲存媒體,該等指令在被執行時使得處理器進行以下操作:接收針對位元串流的資料,該資料指示該位元串流包括一或多個覆加圖像,該等覆加圖像包括:將與場景資料一起呈現的單個靜態圖像,或者圖像序列,該單個靜態圖像在逐訊框地與該場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與該場景資料的訊框一起呈現時以規律的週期性進行重複;從該位元串流接收該一或多個覆加圖像;接收包括一或多個場景圖像的該場景資料;及呈現該等場景圖像和該等覆加圖像。
條款72:一種用於接收媒體資料的設備,該設備包括:用於接收針對位元串流的資料的構件,該資料指示該位元串流包括一或多個覆加圖像,該等覆加圖像包括:將與場景資料一起呈現的單個靜態圖像,或者圖像序列,該單個靜態圖像在逐訊框地與該場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與該場景資料的訊框一起呈現時以規律的週期性進行重複;用於從該位元串流接收該一或多個覆加圖像的構件;用於接收包括一或多個場景圖像的場景資料的構件;及用於呈現該等場景圖像和該等覆加圖像的構件。
條款73:一種取得媒體資料的方法,該方法包括以下步驟:接收針對位元串流的資料,該資料指示該位元串流包括一或多個覆加圖像,該等覆加圖像包括:將與場景資料一起呈現的單個靜態圖像,或者圖像序列,該單個靜態圖像在逐訊框地與該場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與該場景資料的訊框一起呈現時以規律的週期性進行重複;從該位元串流接收該一或多個覆加圖像;接收包括一或多個場景圖像的該場景資料;及呈現該等場景圖像和該等覆加圖像。
條款74:根據條款73之方法,亦包括以下步驟:接收用於識別該位元串流的通信期描述通訊協定(SDP)圖像屬性。
條款75:根據條款74之方法,其中該SDP圖像屬性包括用於指示有效負荷類型的圖像屬性,該有效負荷類型指示該一或多個覆加圖像包括該單個靜態圖像還是該圖像序列。
條款76:根據條款75之方法,其中當該有效負荷類型指示該一或多個圖像包括該單個靜態圖像時,呈現該等場景圖像和該等覆加圖像包括:在逐圖像地呈現該等場景圖像時,重複地呈現該單個靜態圖像。
條款77:根據條款75之方法,其中當該有效負荷類型指示該一或多個圖像包括該圖像序列時,呈現該等場景圖像和該等覆加圖像包括:按順序將該圖像序列中的圖像連同該等場景圖像的對應圖像一起呈現。
條款78:根據條款74-77中任一項之方法,其中該SDP圖像屬性包括傳輸模式屬性,該傳輸模式屬性指示在長達該等覆加圖像將與該場景資料的訊框一起被呈現的時間內,該等覆加圖像是否被連續地重傳。
條款79:根據條款74-78中任一項之方法,其中該SDP圖像屬性包括用於指示該等覆加圖像是否將以循環來重複地呈現的資料。
條款80:根據條款79之方法,其中當該資料指示該等覆加圖像將以該循環來重複地呈現時,呈現該等場景圖像和該等覆加圖像包括:決定該等覆加圖像包括圖像序列中的N個圖像,N是正整數;及對於循環數j,其中j是非負整數,在時間j*N+i處呈現該等覆加圖像的該圖像序列中的圖像i,i對應於該等覆加圖像的該圖像序列的第i圖像。
條款81:根據條款74-80中任一項之方法,其中該SDP圖像屬性包括用於指示在接收之後該等覆加圖像是否將被本端儲存的資料。
條款82:根據條款81之方法,其中當該資料指示在接收之後該等覆加圖像將被本端儲存時,該方法亦包括以下步驟:將該等覆加圖像儲存在本端記憶體中,並且其中呈現該等場景圖像和該等覆加圖像包括:從該本端記憶體中取得該等覆加圖像;及呈現所取得的覆加圖像。
條款83:根據條款81之方法,其中當該資料指示該等覆加圖像將被重傳時,呈現該等場景圖像和該等覆加圖像包括:接收該等覆加圖像的重傳版本;及呈現該等覆加圖像的該等重傳版本。
條款84:根據條款74-83中任一項之方法,其中該SDP圖像屬性包括用於指示在該等覆加圖像中包括的圖像數量的資料。
條款85:根據條款73-84中任一項之方法,亦包括以下步驟:接收針對該位元串流的、用於指示以下內容的資料:該一或多個覆加圖像是否包括一或多個圖像序列,以及該一或多個覆加圖像是否包括一或多個靜止圖像。
條款86:根據條款85之方法,亦包括以下步驟:當該資料指示該一或多個覆加圖像包括該一或多個圖像序列時,接收針對該位元串流的、用於指示該等圖像序列之每一者圖像序列中的圖像數量的資料。
條款87:根據條款85和86中任一項之方法,亦包括以下步驟:當該資料指示該一或多個覆加圖像包括該一或多個靜止圖像時,接收針對該位元串流的、用於指示該等靜止圖像的數量的資料。
條款88:根據條款85-87中任一項之方法,亦包括以下步驟:接收用於表示針對該等圖像序列和該等靜止圖像的傳輸模式的資料。
條款89:根據條款88之方法,亦包括以下步驟:當該等傳輸模式中的一種傳輸模式是「耦合」時,根據該位元串流的時間戳記資料來決定用於該等覆加圖像的顯示時間。
條款90:根據條款89之方法,其中該時間戳記資料包括即時傳輸協定(RTP)時間戳記資料。
條款91:根據條款88之方法,亦包括以下步驟:當該等傳輸模式中的一種傳輸模式是「解耦」時:分別接收用於表示針對該等覆加圖像的顯示時間的資料;及根據所分別接收的資料來決定針對該等覆加圖像的該等顯示時間。
條款92:根據條款73-91中任一項之方法,亦包括以下步驟:當該一或多個覆加圖像包括兩個或更多個覆加圖像時,接收用於表示該等覆加圖像的顯示順序的資料。
條款93:根據條款73-92中任一項之方法,亦包括以下步驟:從該位元串流接收用於該等覆加圖像之每一者覆加圖像的圖像中繼資料,該中繼資料指示圖像尺寸或圖像角色中的一項或多項。
條款94:根據條款93之方法,其中該圖像角色包括以下各項中的至少一項:封面圖像、縮略圖圖像、輔助圖像、主圖像、隱藏圖像、預計算的派生圖像、經譯碼圖像或派生圖像。
條款95:根據條款93和94中任一項之方法,其中該中繼資料包括以下各項中的一項或多項:用於指示該等覆加圖像的呈現的順序的順序元素,或者用於指示該等覆加圖像中的對應的一個覆加圖像將被顯示的時間量的持續時間元素。
條款96:一種用於取得媒體資料的設備,該設備包括:記憶體,其被配置為儲存場景資料和圖像資料;及一或多個處理器,其在電路系統中實現並且被配置為:接收針對位元串流的資料,該資料指示該位元串流包括一或多個覆加圖像,該等覆加圖像包括:將與場景資料一起呈現的單個靜態圖像,或者圖像序列,該單個靜態圖像在逐訊框地與該場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與該場景資料的訊框一起呈現時以規律的週期性進行重複;從該位元串流接收該一或多個覆加圖像;接收包括一或多個場景圖像的該場景資料;及呈現該等場景圖像和該等覆加圖像。
條款97:根據條款96之設備,其中該一或多個處理器亦被配置為:接收用於識別該位元串流的通信期描述通訊協定(SDP)圖像屬性。
條款98:根據條款97之設備,其中該SDP圖像屬性包括用於指示有效負荷類型的圖像屬性,該有效負荷類型指示該一或多個覆加圖像包括該單個靜態圖像還是該圖像序列。
條款99:根據條款98之設備,其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為:當該有效負荷類型指示該一或多個圖像包括該單個靜態圖像時,在逐圖像地呈現該等場景圖像時,重複地呈現該單個靜態圖像。
條款100:根據條款98之設備,其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為:當該有效負荷類型指示該一或多個圖像包括該圖像序列時,按順序將該圖像序列中的圖像連同該等場景圖像的對應圖像一起呈現。
條款101:根據條款97-100中任一項之設備,其中該SDP圖像屬性包括傳輸模式屬性,該傳輸模式屬性指示在長達該等覆加圖像將與該場景資料的訊框一起被呈現的時間內,該等覆加圖像是否被連續地重傳。
條款102:根據條款101之設備,其中該SDP圖像屬性包括用於指示該等覆加圖像是否將以循環來重複地呈現的資料。
條款103:根據條款102之設備,其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為:當該資料指示該等覆加圖像將以該循環來重複地呈現時:決定該等覆加圖像包括圖像序列中的N個圖像,N是正整數;及對於循環數j,其中j是非負整數,在時間j*N+i處呈現該等覆加圖像的該圖像序列中的圖像i,i對應於該等覆加圖像的該圖像序列的第i圖像。
條款104:根據條款97-103中任一項之設備,其中該SDP圖像屬性包括用於指示在接收之後該等覆加圖像是否將被本端儲存的資料。
條款105:根據條款104之設備,其中該一或多個處理器亦被配置為:當該資料指示在接收之後該等覆加圖像將被本端儲存時,將該等覆加圖像儲存在該記憶體中,並且其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為:從該記憶體中取得該等覆加圖像;及呈現所取得的覆加圖像。
條款106:根據條款104和105中任一項之設備,其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為:當該資料指示該等覆加圖像將被重傳時:接收該等覆加圖像的重傳版本;及呈現該等覆加圖像的該等重傳版本。
在一或多個實例中,所描述的功能可以用硬體、軟體、韌體或其任何組合來實現。若用軟體來實現,則該等功能可以作為一或多個指令或代碼儲存在電腦可讀取媒體上或者經由其進行傳輸並且由基於硬體的處理單元執行。電腦可讀取媒體可以包括電腦可讀取儲存媒體,其對應於諸如資料儲存媒體之類的有形媒體或者通訊媒體,該等通訊媒體包括例如根據通訊協定來促進電腦程式從一個地方傳送到另一個地方的任何媒體。以此種方式,電腦可讀取媒體通常可以對應於(1)非暫時性的有形電腦可讀取儲存媒體,或者(2)諸如信號或載波之類的通訊媒體。資料儲存媒體可以是可以由一或多個電腦或者一或多個處理器存取以取得用於實現在本案內容中描述的技術的指令、代碼及/或資料結構的任何可用的媒體。電腦程式產品可以包括電腦可讀取媒體。
經由舉例而非限制性的方式,此種電腦可讀取媒體可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁儲存設備、快閃記憶體,或者能夠用於以指令或資料結構形式儲存期望的程式碼以及能夠由電腦存取的任何其他媒體。此外,任何連接被適當地稱為電腦可讀取媒體。例如,若使用同軸電纜、光纖光纜、雙絞線、數位用戶線路(DSL)或者無線技術(例如,紅外線、無線電和微波)從網站、伺服器或其他遠端源傳輸指令,則同軸電纜、光纖光纜、雙絞線、DSL或者無線技術(例如,紅外線、無線電和微波)被包括在媒體的定義中。然而,應當理解的是,電腦可讀取儲存媒體和資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而是替代地針對非暫時性的有形儲存媒體。如本文所使用的,磁碟和光碟包括壓縮光碟(CD)、鐳射光碟、光碟、數位多功能光碟(DVD)、軟碟和藍光光碟,其中磁碟通常磁性地複製資料,而光碟則利用鐳射來光學地複製資料。上述各項的組合亦應當被包括在電腦可讀取媒體的範疇之內。
指令可以由一或多個處理器來執行,諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、現場可程式設計邏輯陣列(FPGA),或其他等效的整合或個別邏輯電路系統。因此,如本文所使用的術語「處理器」可以代表前述結構中的任何一者或者適於實現本文描述的技術的任何其他結構。另外,在一些態樣中,本文描述的功能可以在被配置用於編碼和解碼的專用硬體及/或軟體模組內提供,或者被併入經組合的轉碼器中。此外,該等技術可以完全在一或多個電路或邏輯元件中實現。
本案內容的技術可以在多種多樣的設備或裝置中實現,包括無線手機、積體電路(IC)或一組IC(例如,晶片組)。在本案內容中描述了各種元件、模組或單元以強調被配置以執行所揭示的技術的設備的功能性態樣,但是不一定需要經由不同的硬體單元來實現。確切而言,如前述,各種單元可以被組合在轉碼器硬體單元中,或者由可交互操作的硬體單元的集合(包括如前述的一或多個處理器)結合適當的軟體及/或韌體來提供。
已經描述了各個實例。該等和其他實例在所附的請求項的範疇內。
10:系統 20:內容準備設備 22:音訊源 24:視訊源 26:音訊編碼器 28:視訊編碼器 30:封裝單元 32:輸出介面 40:客戶端設備 42:音訊輸出 44:視訊輸出 46:音訊解碼器 48:視訊解碼器 50:解封裝單元 52:取得單元 54:網路介面 60:伺服器設備 62:儲存媒體 64:多媒體內容 66:清單檔案 68A:表示 68N:表示 70:請求處理單元 72:網路介面 74:網路 100:eMBMS中間軟體單元 102:代理伺服器單元 104:快取記憶體 106:eMBMS接收單元 110:DASH客戶端 112:媒體應用程式 120:多媒體內容 122:媒體呈現描述(MPD) 124A:表示 124N:表示 126:可選的標頭資料 128A:分段 128B:分段 128N:分段 130:可選的標頭資料 132A:分段 132B:分段 132N:分段 150:視訊檔案 152:檔案類型(FTYP)盒 154:電影(MOOV)盒 156:MVHD盒 158:TRAK盒 160:MVEX盒 162:分段索引(sidx)盒 164:電影片段(MOOF)盒 166:電影片段隨機存取(MFRA)盒 200:媒體檔案 202:FTYP盒 204:MOOV盒 206:TRAK盒 208:圖像序列 210:MDAT盒 212:圖像 214:META盒 216:ILOC盒 218:圖像專案 220:IPRP容器盒 222:專案資料(IDAT)盒 224:圖像 250:步驟 252:步驟 254:步驟 256:步驟 258:步驟 260:步驟
圖1是圖示實現用於在網路上對媒體資料進行串流的技術的示例性系統的方塊圖。
圖2是更詳細地圖示圖1的取得單元52的示例性元件集合的方塊圖。
圖3是圖示示例性多媒體內容的元素的概念圖。
圖4是圖示可以對應於表示的分段的示例性視訊檔案的元素的方塊圖。
圖5是圖示用於包含圖像資料的高效率圖像檔案(HEIF)格式的示例性結構的概念圖。
圖6是圖示根據本案內容的技術的取得媒體資料的示例性方法的流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
200:媒體檔案
202:FTYP盒
204:MOOV盒
206:TRAK盒
208:圖像序列
210:MDAT盒
212:圖像
214:META盒
216:ILOC盒
218:圖像專案
220:IPRP容器盒
222:專案資料(IDAT)盒
224:圖像

Claims (36)

  1. 一種取得媒體資料的方法,該方法包括以下步驟: 接收針對一位元串流的資料,該資料指示該位元串流包括一或多個覆加圖像,該等覆加圖像包括:將與場景資料一起呈現的一單個靜態圖像,或者一圖像序列,該單個靜態圖像在逐訊框地與該場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與該場景資料的該等訊框一起呈現時以一規律的週期性進行重複; 從該位元串流接收該一或多個覆加圖像; 接收包括一或多個場景圖像的該場景資料;及 呈現該等場景圖像和該等覆加圖像。
  2. 根據請求項1之方法,亦包括以下步驟:接收用於識別該位元串流的一通信期描述通訊協定(SDP)圖像屬性。
  3. 根據請求項2之方法,其中該SDP圖像屬性包括用於指示一有效負荷類型的一圖像屬性,該有效負荷類型指示該一或多個覆加圖像包括該單個靜態圖像還是該圖像序列。
  4. 根據請求項3之方法,其中當該有效負荷類型指示該一或多個圖像包括該單個靜態圖像時,呈現該等場景圖像和該等覆加圖像之步驟包括以下步驟:在逐圖像地呈現該等場景圖像時,重複地呈現該單個靜態圖像。
  5. 根據請求項3之方法,其中當該有效負荷類型指示該一或多個圖像包括該圖像序列時,呈現該等場景圖像和該等覆加圖像之步驟包括以下步驟:按順序將該圖像序列中的圖像連同該等場景圖像的對應圖像一起呈現。
  6. 根據請求項2之方法,其中該SDP圖像屬性包括一傳輸模式屬性,該傳輸模式屬性指示在長達該等覆加圖像將與該場景資料的該等訊框一起被呈現的時間內,該等覆加圖像是否被連續地重傳。
  7. 根據請求項2之方法,其中該SDP圖像屬性包括用於指示該等覆加圖像是否將以一循環來重複地呈現的資料。
  8. 根據請求項7之方法,其中當該資料指示該等覆加圖像將以該循環來重複地呈現時,呈現該等場景圖像和該等覆加圖像之步驟包括以下步驟: 決定該等覆加圖像包括一圖像序列中的N個圖像,N是一正整數;及 對於循環數j,其中j是一非負整數,在時間j*N+i處呈現該等覆加圖像的該圖像序列中的圖像i,i對應於該等覆加圖像的該圖像序列的該第i圖像。
  9. 根據請求項2之方法,其中該SDP圖像屬性包括用於指示在接收之後該等覆加圖像是否將被本端儲存的資料。
  10. 根據請求項9之方法,其中當該資料指示在接收之後該等覆加圖像將被本端儲存時,該方法亦包括以下步驟:將該等覆加圖像儲存在本端記憶體中,並且其中呈現該等場景圖像和該等覆加圖像之步驟包括以下步驟: 從該本端記憶體中取得該等覆加圖像;及 呈現所取得的該等覆加圖像。
  11. 根據請求項9之方法,其中當該資料指示該等覆加圖像將被重傳時,呈現該等場景圖像和該等覆加圖像之步驟包括以下步驟: 接收該等覆加圖像的重傳版本;及 呈現該等覆加圖像的該等重傳版本。
  12. 根據請求項2之方法,其中該SDP圖像屬性包括用於指示在該等覆加圖像中包括的一圖像數量的資料。
  13. 根據請求項1之方法,亦包括以下步驟:接收針對該位元串流的、用於指示以下內容的資料:該一或多個覆加圖像是否包括一或多個圖像序列,以及該一或多個覆加圖像是否包括一或多個靜止圖像。
  14. 根據請求項13之方法,亦包括以下步驟:當該資料指示該一或多個覆加圖像包括該一或多個圖像序列時,接收針對該位元串流的、用於指示該等圖像序列之每一者圖像序列中的一圖像數量的資料。
  15. 根據請求項13之方法,亦包括以下步驟:當該資料指示該一或多個覆加圖像包括該一或多個靜止圖像時,接收針對該位元串流的、用於指示該等靜止圖像的一數量的資料。
  16. 根據請求項13之方法,亦包括以下步驟:接收用於表示針對該等圖像序列和該等靜止圖像的傳輸模式的資料。
  17. 根據請求項16之方法,亦包括以下步驟:當該等傳輸模式中的一種傳輸模式是「耦合」時,根據該位元串流的時間戳記資料來決定用於該等覆加圖像的顯示時間。
  18. 根據請求項17之方法,其中該時間戳記資料包括即時傳輸協定(RTP)時間戳記資料。
  19. 根據請求項16之方法,亦包括以下步驟:當該等傳輸模式中的一種傳輸模式是「解耦」時: 分別接收用於表示針對該等覆加圖像的顯示時間的資料;及 根據所分別接收的該資料來決定針對該等覆加圖像的該等顯示時間。
  20. 根據請求項1之方法,亦包括以下步驟:當該一或多個覆加圖像包括兩個或更多個覆加圖像時,接收用於表示該等覆加圖像的一顯示順序的資料。
  21. 根據請求項1之方法,亦包括以下步驟:從該位元串流接收用於該等覆加圖像之每一者覆加圖像的圖像中繼資料,該中繼資料指示圖像尺寸或一圖像角色中的一項或多項。
  22. 根據請求項21之方法,其中該圖像角色包括以下各項中的至少一項:一封面圖像、一縮略圖圖像、一輔助圖像、一主圖像、一隱藏圖像、一預計算的派生圖像、一經譯碼圖像或一派生圖像。
  23. 根據請求項21之方法,其中該中繼資料包括以下各項中的一項或多項:用於指示該等覆加圖像的呈現的一順序的一順序元素,或者用於指示該等覆加圖像中的一對應的一個覆加圖像將被顯示的一時間量的一持續時間元素。
  24. 一種用於取得媒體資料的設備,該設備包括: 一記憶體,其被配置為儲存場景資料和圖像資料;及 一或多個處理器,其在電路系統中實現並且被配置為: 接收針對一位元串流的資料,該資料指示該位元串流包括一或多個覆加圖像,該等覆加圖像包括:將與場景資料一起呈現的一單個靜態圖像,或者一圖像序列,該單個靜態圖像在逐訊框地與該場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與該場景資料的該等訊框一起呈現時以一規律的週期性進行重複; 從該位元串流接收該一或多個覆加圖像; 接收包括一或多個場景圖像的該場景資料;及 呈現該等場景圖像和該等覆加圖像。
  25. 根據請求項24之設備,其中該一或多個處理器亦被配置為:接收用於識別該位元串流的一通信期描述通訊協定(SDP)圖像屬性。
  26. 根據請求項25之設備,其中該SDP圖像屬性包括用於指示一有效負荷類型的一圖像屬性,該有效負荷類型指示該一或多個覆加圖像包括該單個靜態圖像還是該圖像序列。
  27. 根據請求項26之設備,其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為:當該有效負荷類型指示該一或多個圖像包括該單個靜態圖像時,在逐圖像地呈現該等場景圖像時,重複地呈現該單個靜態圖像。
  28. 根據請求項26之設備,其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為:當該有效負荷類型指示該一或多個圖像包括該圖像序列時,按順序將該圖像序列中的圖像連同該等場景圖像的對應圖像一起呈現。
  29. 根據請求項25之設備,其中該SDP圖像屬性包括一傳輸模式屬性,該傳輸模式屬性指示在長達該等覆加圖像將與該場景資料的該等訊框一起被呈現的時間內,該等覆加圖像是否被連續地重傳。
  30. 根據請求項25之設備,其中該SDP圖像屬性包括用於指示該等覆加圖像是否將以一循環來重複地呈現的資料。
  31. 根據請求項30之設備,其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為:當該資料指示該等覆加圖像將以該循環來重複地呈現時: 決定該等覆加圖像包括一圖像序列中的N個圖像,N是一正整數;及 對於循環數j,其中j是一非負整數,在時間j*N+i處呈現該等覆加圖像的該圖像序列中的圖像i,i對應於該等覆加圖像的該圖像序列的該第i圖像。
  32. 根據請求項25之設備,其中該SDP圖像屬性包括用於指示在接收之後該等覆加圖像是否將被本端儲存的資料。
  33. 根據請求項32之設備,其中該一或多個處理器亦被配置為:當該資料指示在接收之後該等覆加圖像將被本端儲存時,將該等覆加圖像儲存在該記憶體中,並且其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為: 從該記憶體中取得該等覆加圖像;及 呈現所取得的該等覆加圖像。
  34. 根據請求項32之設備,其中為了呈現該等場景圖像和該等覆加圖像,該一或多個處理器被配置為:當該資料指示該等覆加圖像將被重傳時: 接收該等覆加圖像的重傳版本;及 呈現該等覆加圖像的該等重傳版本。
  35. 一種具有儲存在其上的指令的電腦可讀取儲存媒體,該等指令在被執行時使得一處理器進行以下操作: 接收針對一位元串流的資料,該資料指示該位元串流包括一或多個覆加圖像,該等覆加圖像包括:將與場景資料一起呈現的一單個靜態圖像,或者一圖像序列,該單個靜態圖像在逐訊框地與該場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與該場景資料的該等訊框一起呈現時以一規律的週期性進行重複; 從該位元串流接收該一或多個覆加圖像; 接收包括一或多個場景圖像的該場景資料;及 呈現該等場景圖像和該等覆加圖像。
  36. 一種用於接收媒體資料的設備,該設備包括: 用於接收針對一位元串流的資料的構件,該資料指示該位元串流包括一或多個覆加圖像,該等覆加圖像包括:將與場景資料一起呈現的一單個靜態圖像,或者一圖像序列,該單個靜態圖像在逐訊框地與該場景資料的訊框一起呈現時保持不變,該圖像序列在逐訊框地與該場景資料的該等訊框一起呈現時以一規律的週期性進行重複; 用於從該位元串流接收該一或多個覆加圖像的構件; 用於接收包括一或多個場景圖像的場景資料的構件;及 用於呈現該等場景圖像和該等覆加圖像的構件。
TW111111332A 2021-03-30 2022-03-25 經由即時傳輸協定傳輸經heif格式化的圖像 TW202243451A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163168157P 2021-03-30 2021-03-30
US63/168,157 2021-03-30
US17/656,159 2022-03-23
US17/656,159 US11863767B2 (en) 2021-03-30 2022-03-23 Transporting HEIF-formatted images over real-time transport protocol

Publications (1)

Publication Number Publication Date
TW202243451A true TW202243451A (zh) 2022-11-01

Family

ID=81346264

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111111332A TW202243451A (zh) 2021-03-30 2022-03-25 經由即時傳輸協定傳輸經heif格式化的圖像

Country Status (7)

Country Link
US (1) US20240163461A1 (zh)
EP (1) EP4315875A1 (zh)
JP (1) JP2024511948A (zh)
KR (1) KR20230162936A (zh)
BR (1) BR112023019011A2 (zh)
TW (1) TW202243451A (zh)
WO (1) WO2022213034A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2538998A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding

Also Published As

Publication number Publication date
EP4315875A1 (en) 2024-02-07
US20240163461A1 (en) 2024-05-16
JP2024511948A (ja) 2024-03-18
KR20230162936A (ko) 2023-11-29
WO2022213034A1 (en) 2022-10-06
BR112023019011A2 (pt) 2023-10-10

Similar Documents

Publication Publication Date Title
CN110431850B (zh) 在使用mime类型参数的网络视频流式传输中发信重要视频信息
CN110089122B (zh) 用于检索媒体数据的方法、媒体装置及计算机可读存储媒体
JP2019521584A (ja) Httpを介した動的適応型ストリーミングにおけるバーチャルリアリティビデオのシグナリング
US10567734B2 (en) Processing omnidirectional media with dynamic region-wise packing
CN110832872B (zh) 使用用于文件格式方框的通用描述符处理媒体数据
CN114503599A (zh) 使用gltf2场景描述中的扩展来支持视频和音频数据
TW201711431A (zh) 超級本文傳輸協定上動態自適應串流客戶經驗品質度量之中間軟體傳遞
JP2019520741A (ja) サンプルエントリーおよびランダムアクセス
CN112771876B (zh) 检索媒体数据的方法和设备以及发送媒体数据的方法和设备
TW202127897A (zh) 用於串流傳輸媒體資料的多解碼器介面
US10587904B2 (en) Processing media data using an omnidirectional media format
KR20240023037A (ko) 실시간 증강 현실 통신 세션
US11863767B2 (en) Transporting HEIF-formatted images over real-time transport protocol
US20240163461A1 (en) Transporting heif-formatted images over real-time transport protocol
CN117099375A (zh) 通过实时传输协议传输经heif格式化的图像
TW202337225A (zh) 用於適應性流送的動態解析度改變提示
CN114430909A (zh) 用于自适应比特率组播的修复机制