TWI821111B

TWI821111B - 多媒體應用之資料結構

Info

Publication number: TWI821111B
Application number: TW112102543A
Authority: TW
Inventors: 蘇冠銘; 濤陳; 曲晟; 薩米爾Ｎ胡利亞卡
Original assignee: 美商杜拜研究特許公司
Priority date: 2022-01-20
Filing date: 2023-01-19
Publication date: 2023-11-01
Also published as: TW202331546A; WO2023140952A1

Abstract

本文中所描述之實施例提供一種用於遞送不同多媒體應用之統一的容器格式。一項實施例提供一種用於實施複數個多媒體應用之資料結構。該資料結構包含一第一後設資料層級，其包含用於執行與一位元串流中之媒體資料相關聯之操作的低層級後設資料。該資料結構包含一第二後設資料層級，其包含用於應用操作後設資料來呈現該媒體資料的中層級後設資料。該資料結構包含一第三後設資料層級，其包含用於利用該低層級後設資料及該中層級後設資料來遞送該複數個多媒體應用的高層級後設資料。該第一後設資料層級進一步包含同步後設資料，其用於將該媒體資料、該低層級後設資料、該中層級後設資料及該高層級後設資料自該複數個多媒體應用中之一第一多媒體應用轉換為該複數個多媒體應用中之一第二多媒體應用。

Description

多媒體應用之資料結構

本申請案大體而言係關於用於實施複數個多媒體應用之資料結構，且係關於一種用於實施該等資料結構的控制器。

多媒體體驗(諸如成像及視訊應用)利用允許將多個資料串流嵌入至單一檔案中的一容器格式(例如，一後設檔案、一檔案格式)。此等容器格式包含用於識別資料串流及用於詳述如何實施資料串流之功能的後設資料。容器包含：高效率影像檔案格式(HEIF)，其使用視訊編解碼器利用圖框內編碼來編碼影像；及聯合圖像專家小組(JPEG)格式(亦被稱為EXIF及JFIF)，其利用應用分段標記(APP標記)來儲存資訊。然而，愈來愈需要一種用於多種多媒體應用之高動態範圍(HDR)影像品質的容器格式。

本文中所描述之實施例提供一種用於遞送不同多媒體體驗之統一的容器格式。多媒體體驗包含例如靜止相片應用、視訊應用、實況相片應用及諸如此類。另外，不同多媒體體驗可係同一應用之不同版本(例如，一原始相片應用及一經更新相片應用)。統一的容器格式與現有格式反向相容。多個體驗係封裝在單個位元串流中。使用統一的容器格式，一播放系統可端視運算資源、裝置能力及/或使用者偏好來決定運行哪個應用。另外，在不同多媒體應用之間需有最小干擾及相依性。

在本揭露之一項例示性態樣中，提供一種用於實施複數個多媒體應用之資料結構。該資料結構包含一第一後設資料層級，其包含用於執行與一位元串流中之媒體資料相關聯之操作的低層級後設資料。該資料結構包含一第二後設資料層級，其包含用於應用該低層級後設資料來呈現該媒體資料的中層級後設資料。該資料結構包含一第三後設資料層級，其包含用於利用該低層級後設資料及該中層級後設資料來遞送該複數個多媒體應用的高層級後設資料。該第一後設資料層級進一步包含同步後設資料，其用於將該媒體資料、該低層級後設資料、該中層級後設資料及該高層級後設資料自該複數個多媒體應用中之一第一多媒體應用轉換為該複數個多媒體應用中之一第二多媒體應用。

以此方式，本揭露之各種態樣提供多媒體應用(諸如具有一高動態範圍及高解析度或一標準解析度之相片應用及視訊應用)之實施方案，及至少在影像投影、信號處理、影像顯示及諸如此類之技術領域中之效果改良。

相關申請案之交叉參考

本申請案主張對以下優先權申請案之優先權：2022年1月20日提出申請之美國臨時申請案63/301,467及2022年8月22日提出申請之美國臨時申請案63/399,871，以及2022年2月7日提出申請之歐洲申請案22155345.6。

本揭露及其態樣可體現在各種形式中，該等形式包含由電腦實施之方法、電腦程式產品、電腦系統及網路、使用者介面及應用程式開發介面以及硬體實施之方法、信號處理電路、記憶體陣列、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)及諸如此類控制的硬體、裝置或電路。前述內容僅意欲給出對本揭露之各種態樣之一大體理念並且不以任何方式限制本揭露之範疇。

此外，雖然本揭露主要集中於其中在數位投影系統中使用各種電路之實例，但應理解此等僅係實例。所揭露之系統及方法可係在顯示裝置中實施，諸如與一OLED顯示器、一LCD顯示器、一量子點顯示器或諸如此類一起實施。應進一步理解，所揭露之系統及方法可用於其中需要對光進行投影之任何裝置中，例如，電影院、消費者及其他商用投影系統，抬頭顯示器，虛擬實境顯示器及諸如此類。 三層級成像格式

圖1提供一種用於實施多媒體體驗(例如，多媒體應用)之三層級資料結構100 (例如，一後設資料架構、一容器、一檔案結構)。資料結構100包含低層級後設資料102、中層級後設資料104及高層級後設資料106。低層級後設資料102及中層級後設資料104用作由包含多媒體體驗的高層級後設資料106實施之建構區塊。

低層級後設資料102由描述如何對一位元串流中之標準媒體資料之最上層執行操作的基本後設資料組成。低層級後設資料102包含預測後設資料(PM) 110、顯示管理後設資料(DM) 112、相片後設資料(OM) 114、沉浸式後設資料(IM) 116、可交換影像檔案格式(EXIF)/國際色彩聯盟(ICC)後設資料(EM) 118、同步後設資料(SM) 120及空後設資料(NM) 122。在某些實施方案中，低層級後設資料102可包含用於實施多媒體體驗之額外後設資料。

預測後設資料110包含多項式預測、多變項複回歸(MMR)預測及張量積B樣條曲線(B-spline) (TPB)預測。顯示管理後設資料112含有介於自L0至L255之範圍內之不同層級的後設資料語法。相片後設資料114係用於新靜止影像，且可具有與顯示管理後設資料112相同之L1語法。EXIF/ICC後設資料118包含與相機影像相關之後設資料，諸如縮圖資訊。沉浸式後設資料116含有目標圖、深度圖及回應曲線。空後設資料122係預留的，且係在沒有任何額外後設資料之情況下需要基準媒體資料時使用。幾個後設資料組可含有幾個相同或類似語法。另外，在一解碼器處，一調度器組件可將一個後設資料組中之一個語法轉換為另一後設資料組之另一語法，從而再使用現有程式碼及硬體並減小程式碼大小。

同步後設資料120具有與顯示管理後設資料112類似之結構。同步後設資料120之每一層級指定源(source)體驗、匯(sink)體驗及經設計操作。下述表提供實例語法。然而，亦可使用其他語法。在某些實施方案中，使用各種使用者可存取工具來更新及編輯同步後設資料120。

有效負載標頭指示包含在同步後設資料120中之延伸區塊之數目，該有效負載標頭之一實例展示在表1中。

sm_data_payload() {	C	描述符
num_ext_blocks	0	ue(v)
if( num_ext_blocks ) {
while(!byte_aligned() )
dm_alignment_zero_bit	0	f(1)
for( i = 0; i ＜ num_ext_blocks; i ++ ) {
ext_metadata_block()	0
}
}
}

表1：實例有效負載標頭

每一延伸區塊包含一簡單標頭，該簡單標頭指示長度、層級及容器以包含其自身的有效負載，該簡單標頭之一實例展示在表2中。

ext_metadata_block() {	C	描述符
ext_block_length	0	ue(v)
ext_block_level	0	u(8)
ext_block_payload(ext_block_length,ext_block_level )	0
}

表2：實例延伸區塊標頭

有效負載格式本身之一實例提供在下文表3中。

ext_block_payload(ext_block_length,ext_block_level ) {	C	描述符
ext_block_len_bits = 8 * ext_block_length
ext_block_use_bits = 0
if( ext_block_level == xxx ) {
…
}
while( ext_block_use_bits++ ＜ ext_block_len_bits )
ext_dm_alignment_zero_bit	0	f(1)
}

if( ext_block_level == xxx ) {
source_experience_ID	0	u(8)
sink_experience_ID	0	u(8)
operation_value	0	u(32)
ext_block_use_bits += 32
}

表3：實例有效負載格式

表3中展示之source_experience_ID及sink_experience_ID可在高層級上進行定義及映射。表3中之operation_value後設資料係用於諸如以下等各種用途之一預留位置：

時間同步：當在一視訊應用中編輯一視訊時，可在一相片應用中更新一對應靜止相片。在此一例項中，operation_value後設資料可係圖框索引或時間戳記。

空間解析度：不同的多媒體體驗可在相同屬性上具有不同的比例擴縮。舉例而言，相比於視訊，靜止相片經常具有一更大解析度。operation_value後設資料可定義不同體驗之間的解析度映射。

傳播選項/強度：同步後設資料120可指示是否允許在不同的多媒體體驗之間編輯或轉譯資料，且指示體驗內或體驗之間的對應「強度」。舉例而言，operation_value後設資料可係指示是否允許自標準動態範圍(SDR)相片轉HDR視訊之工作流程的一簡單二元旗標。若允許自SDR相片轉HDR視訊之工作流程，則operation_value後設資料可定義應該使用哪種類型之SDR轉HDR轉換演算法及其對應參數。舉例而言，可指定選取哪種TPB列舉使得可指定利用一不同色彩容量進行自SDR轉HDR之反向重塑。另外，對於HDR視訊轉SDR相片，強度可指示選擇及使用哪種TPB列舉來執行正向重塑以生成SDR相片。

後設資料轉換：同步後設資料120可指示如何將後設資料自一個多媒體體驗轉換為另一多媒體體驗，諸如自一相片應用轉換為一視訊應用或反之亦然。

輔助資訊：同步後設資料120可指示執行與一多媒體體驗相關之操作所需的後設資料。

當在單一位元串流中提供多個多媒體體驗時，可利用具有相同層級之多個延伸區塊。舉例而言：

多個匯：自一第一體驗A轉換為一第二體驗B可影響一第三體驗C。在此一情境中，具有相同層級之兩個延伸區塊可指示該等操作。例如，一位元串流含有SDR相片、HDR視訊及沉浸式HDR/SDR相片。更新HDR視訊會影響SDR相片及沉浸式HDR/SDR相片兩者。

多個源：一位元串流可含有SDR相片、HDR視訊及沉浸式HDR相片。一個應用可被轉換為另一應用。例如，SDR相片可自HDR視訊轉換而來，且SDR相片可自沉浸式HDR相片轉換而來。

中層級後設資料104描述提供哪種媒體資料作為向一處理模組之輸入，且描述如何應用操作後設資料來呈現媒體資料。換言之，中層級後設資料104由媒體資料位元串流及所使用呈現所需的對應低層級後設資料102組成。媒體資料可與體驗後設資料一起封包在位元串流內，或儲存在同一位元串流之一不同位置中。在某些實施方案中，將媒體資料儲存在一不同位置中可實現格式反向相容。

每一多媒體體驗可含有零個、一個、兩個或更多個低層級後設資料102且可將不同的低層級後設資料102封裝成一rpu_type格式。在某些實施方案中，存在64個可供指派之rpu_type。在圖解說明之實例中，中層級後設資料104含有一rpu_type_2 130、一rpu_type_4 132、一rpu_type_5 134及一rpu_type_63 136。rpu_type_2 130含有媒體資料作為基礎層位元串流，且含有兩個較低層級後設資料：預測後設資料110及顯示管理後設資料112。rpu_type_4 132含有相片後設資料114。rpu_type_5 134含有沉浸式後設資料116。rpu_type_63_136可係為TPB有效負載預留。

高層級後設資料106包含利用中層級後設資料104及同步後設資料120的幾個應用，諸如一第一應用150、一第二應用152及一第三應用154，每一應用係一不同多媒體體驗(諸如一相片體驗、一視訊體驗、一SDR相片體驗、一HDR相片體驗、一SDR視訊體驗、一HDR視訊體驗、一沉浸式SDR/HDR視訊體驗或諸如此類)。多個相同類型之體驗可存在於同一位元串流中。每一體驗亦可包含指示將媒體資料與後設資料封包在一起還是定位於不同位置中之旁資訊。

播放系統根據播放運算資源、裝置能力及終端使用者偏好來判定播放什麼內容。播放運算資源指示系統可以支援哪種體驗層級。裝置能力包含終端裝置(例如，輸出裝置)是否能夠顯示HDR影像及視訊、終端裝置上可用的感測器及終端裝置是否具有一觸控螢幕。終端使用者偏好包含一使用者已要求呈現或偏向於呈現哪種體驗。

在某些實施例中，高層級後設資料106包含一預設簡報應用156 (例如，一原始應用)。另一選擇係，可由使用者選擇簡報模式(或應用)。在某些實施例中，位元串流可係封裝在具有預設簡報應用156之格式的一現有容器中。舉例而言，一相片體驗可包含一JPEG縮圖作為預設簡報而不與任何低層級後設資料102或中層級後設資料104相關聯。然而，高層級後設資料106可使用同步後設資料120描述具有預設簡報之不同應用之間的機制。在其他實施例中，位元串流係封裝在不具有預設簡報的一容器中。在此等實施例中，藉由使用者或環境輸入啟動所需應用。 媒體播放

實施資料結構100之裝置可端視該裝置可用的運算資源、顯示能力、感測器可用性及使用者偏好來播放不同體驗。舉例而言，圖2提供用於一多媒體體驗(諸如第二應用152)之一播放操作200。第二應用152可係例如一相片或影像體驗。當第二應用152係儲存在一舊有容器(諸如一JPEG容器)(例如，由JPEG標準、EXIF及JFIF檔案格式以及諸如此類定義)中且舊有容器檔案被傳遞至一終端裝置上時，僅提供JPEG SDR靜止影像。

然而，若第二應用152係提供至實施資料結構100之一終端裝置，則媒體資料可係使用實施rpu_type_4 132之相片播放204以SDR或HDR靜止影像觀看，或可係使用包含在藉由視訊播放202實施之rpu_type_2 130中之預測後設資料110及顯示管理後設資料112作為一HDR實況相片(例如視訊)觀看。媒體資料是使用視訊播放202還是相片播放204觀看係基於使用者偏好或使用者選擇。 媒體編輯

可編輯媒體資料來修改由其rpu_type定義之體驗(例如，其色彩分級、其解析度、其圖框速率或諸如此類)。圖3A圖解說明一實例體驗內編輯操作300，該體驗內編輯操作允許對每一體驗(例如，每一rpu_type)執行編輯而不影響另一體驗(例如，另一rpu_type)。圖3B圖解說明一實例體驗間編輯操作350，在該體驗間編輯操作中在一個體驗中進行編輯會傳播至其他體驗。執行體驗內編輯操作300還是體驗間編輯操作350及如何在體驗之間進行傳播係由同步後設資料120來定義。

圖3A之體驗內編輯操作300允許使用一編輯工具310在一個體驗(例如，第二應用152)中進行編輯。雖然編輯結果可能傳播至其他體驗，但媒體資料及其對應後設資料係在一單個體驗中進行編輯。圖3A之體驗內編輯操作300可基於在一個體驗中進行編輯是否自動反映至其他體驗而執行幾個不同的操作。該等操作可包含：在一個體驗中進行個別編輯而不更新另一體驗，編輯一個體驗並自動利用該等編輯更新另一體驗，及編輯一個體驗並視情況利用該等編輯更新其他體驗。編輯更新係由同步後設資料120控制。

在圖3A之實例中，第二應用152包含一rpu_type_ m315及rpu_type_ n320以及同步後設資料120。一編輯rpu_type_ m模組335對rpu_type_ m315執行任何編輯。一編輯rpu_type_ n模組330對rpu_type_ n320執行任何編輯。一更新同步後設資料模組325更新同步後設資料120。

作為體驗內編輯操作300之一實例，同步後設資料120控制編輯在一SDR靜止影像與一HDR靜止影像之間進行傳播。在某些實施例中，SDR靜止影像獨立於HDR靜止影像進行編輯而不更新HDR靜止影像。在某些實施例中，編輯HDR靜止影像會自動更新SDR靜止影像。在某些實施例中，編輯SDR靜止影像，且使用反向可逆TPB有條件地更新HDR靜止影像以將SDR升頻轉換為HDR。當對SDR靜止影像之編輯含有新內容(諸如圖形及文字)時，可使用基於物件(例如，遮罩)之旁資訊。經添加資訊可進行不同的升頻轉換且然後融合在HDR域中。

體驗間編輯操作350允許使用一編輯工具360聯合編輯幾個體驗。舉例而言，在某些實施例中，一個體驗係參考其他體驗進行編輯，且編輯結果自動更新其他體驗。在其他實施例中，一個體驗係參考其他體驗進行編輯，且編輯結果選擇性更新其他體驗。編輯更新係由同步後設資料120控制。

在圖3B之實例中，第二應用152包含一rpu_type_ m315及rpu_type_ n320以及同步後設資料120。一編輯rpu_type_ m模組375對rpu_type_ m315執行任何編輯。一更新同步後設資料模組365更新同步後設資料120。該等改變然後會傳播至更新rpu_type_ n320之一更新rpu_type_ n模組370。

作為體驗間編輯操作350之一實例，同步後設資料120控制編輯在一SDR靜止影像與HDR實況相片(例如視訊)之間進行傳播。在某些實施例中，編輯HDR實況相片且自動更新SDR靜止影像。在此一實施例中，後設資料指示對HDR視訊中之哪個圖框做出編輯。在其他實施例中，編輯SDR靜止影像且使用反向可逆TPB有條件地更新HDR實況相片。在此一實施例中，逆後設資料指示如何傳播編輯結果，諸如剪裁、重定大小及色調映射。 體驗轉譯

體驗轉譯將一個體驗轉換成另一體驗，且涉及甚至在同一體驗內在設定檔與層級之間進行內容變換。圖4A圖解說明一實例體驗內轉譯操作400。圖4B圖解說明一實例體驗間轉譯操作450。

圖4A包含一應用x 405、一應用y 410及一轉譯工具415。轉譯工具415將應用x 405轉譯為應用y 410。應用x 405及應用y 410兩者可係相同或一類似體驗之不同設定檔(或版本)，諸如自一個相片體驗轉換為另一相片體驗。體驗內轉譯操作400可包含媒體資料轉譯，其中將媒體資料(諸如一經高效率視訊編碼(HEVC)編碼之位元串流)解碼至一共同工作空間並編碼至另一工作空間以供轉換。可對不同設定進行轉換，諸如解析度、色彩空間、圖框速率、SEI及VUI。此功能係藉由rpu_type_ m類型內轉譯模組430來執行，該rpu_type_ m類型內轉譯模組將一rpu_type_ m420自應用x 405轉換為應用y 410。體驗內轉譯操作400亦可包含後設資料轉譯，在後設資料轉譯中一更新同步後設資料工具435根據轉換更新後設資料(諸如同步後設資料120)。舉例而言，可將顯示管理後設資料112轉換為新內容。

圖4B包含一應用x 455、一應用y 460及一轉譯工具465。轉譯工具465將應用x 455轉譯為應用y 460。應用x 455可係例如一視訊體驗，且應用y 460可係例如一相片體驗。體驗間轉譯操作450可包含媒體資料轉譯，其中媒體資料自一種類型之媒體轉換為另一類型之視訊。舉例而言，媒體資料可自相片轉換為視訊，或反之亦然。媒體資料轉譯可藉由自rpu_type_ m轉rpu_type_ n類型間轉譯模組480來執行，該自rpu_type_ m轉rpu_type_ n類型間轉譯模組將rpu_type_ m470轉譯為rpu_type_ n485。體驗間轉譯操作450亦可包含後設資料轉譯，在後設資料轉譯中將一種類型之後設資料轉換為另一類型之後設資料。舉例而言，相片後設資料114可轉換為視訊後設資料(包含在顯示管理後設資料112中)或反之亦然。在某些實施例中，對預測後設資料110進行轉換。更新同步後設資料區塊490可更新同步後設資料120。 容器實施方案

資料結構100可整合至現有容器(諸如HEIF或JPEG)中。作為一項實例，HEIF使用視訊編解碼器利用圖框內編碼來編碼一影像。HEIF之語法係基於ISO BMFF (基礎媒體檔案格式)。ISO BMFF使用「方塊」來將不同類別之資料結構化。每一方塊由四字元類型(4CC)引導。方塊可係嵌套式或階層式(例如，一方塊在另一方塊內)。每一方塊具有一大小，該大小係指定方塊中之位元組之數目的一整數。另外，每一方塊具有一方塊類型，諸如緊湊型。

使用兩個不同的定義來區分靜止影像與視訊。首先，靜止影像係作為項目儲存。所有影像項目係獨立地編碼且在其解碼中不相依於任何其他項目。任何數目之影像項目可包含在同一檔案中。影像序列(例如視訊)係作為播放軌(track)儲存。當影像之間存在編碼相依性或當影像之播放係定時的時，使用一影像序列播放軌。與視訊播放軌相反，影像序列播放軌之時序係諮詢性的。

HEIF位元串流含有兩個主要分量：具有4CC作為「meta」之後設資料，及具有4CC作為媒體資料方塊「mdat」或項目資料方塊「idat」之媒體資料。後設資料部分表示旁資訊(例如，多媒體應用之結構)，且媒體資料儲存多媒體資料。

資料結構100之分量可作為方塊在HEIF位元串流中實施。舉例而言，低層級後設資料102可定義為方塊「dbom」：

aligned(8) class ImagingOperationMetadata extends FullBox('dbom', version, flags) { unsigned int(32) metadata_type; bit(8) data[]; }

舉例而言，上述metadata_type可針對預測後設資料110係「prdm」，針對顯示管理後設資料112係「dipm」，針對相片後設資料114係「phom」且針對同步後設資料120係「synm」。亦可定義低層級後設資料102之額外分量。

中層級後設資料104可定義為包含低層級後設資料102之方塊「dbex」：

aligned(8) class ImagingExperienceMetadata extends FullBox('dbex', version, flags) { unsigned int(32) experience_type; unsigned int(32) operation_metadata_count; unsigned int(32) media_data_count; // consistency checking for(i = 0; i ＜ operation_metadata_count; i++) { ImagingOperationMetadata operation[]; } if(experience_type == 2 ){ // Video Experience } else if(experience_type == 4 ){ // Photo Experience } else if(experience_type == 5 ){ // Immersive Experience } else{ // not supported } }

媒體資料與每一體驗後設資料及操作後設資料之關聯可藉由包含在HEIF位元串流中之一項目性質方塊(「iprp」)來連結。對於高層級後設資料106，一「iref」方塊定義針對每一應用之所需後設資料及媒體資料。在某些實施方案中，用於同步後設資料120之方塊係儲存在最高層級處。

作為另一實例，JPEG-XT與JPEG反向相容。JPEG-XT利用一APP標記(APP11)來儲存額外延伸資訊。在JPEG中存在16個APP標記。為利用資料結構100，該格式可不受限制地延伸至APP11。由於JPEG標記(16位元0xff後續接著一16位元ID)具有指示當前標記中之位元組數目的16位元資訊，因此每一標記僅攜載2 ¹⁶= 64千位元組的資訊。若後設資料大於64 KB，則需要多個APP標記。

另外，為避免標記位元組「0xff」之錯誤偵測，針對一非標記位元組0xff，每一0xff應後續接著一位元組填充0x00。利用用於ISO BMFF中之方塊定義及方塊結構，可將標頭及媒體資料放置在JPEG中的多個APP標記中。因此，在將一原始體驗提供為一JPEG靜止影像時，其他裝置能夠提供類似體驗。 使靜止影像具 HDR 能力

所描述之方塊可進一步擴展以為靜止影像提供一HDR體驗。表4提供用於一成像體驗之實例編解碼器選項。

ID	編解碼器選擇
1	HEIF中之PQ HDR • PQ, R2020, 10 Knits • YCbCr/IPT • HEVC 10b
2	HEIF中之HLG HDR • HLG, R2020, 1 Knits • YCbCr • HEVC 10b
3	JPG + HDR (JPEG中之單一庫存) • γ, R709, 100nits; YCbCr; JPG 8bit • PQ/HLG, R2020, 10knits; YCbCr/IPT; HEVC 10b
4	SDR + HDR (兩種HEVC，作為HEIF中之單一庫存) • γ, R709, 100nits; YCbCr; HEVC 10b • PQ,/HLG R2020, 10knits; YCbCr/IPT; HEVC 10b

表4：影像體驗編解碼器實例

作為一項實例，對於一相片應用，可利用相片後設資料114來儲存一經HDR HEVC編碼的靜止影像。另一選擇係，可在經HEVC編碼的靜止影像中使用混合對數伽馬(HLG)傳遞函數，而非感知量化(PQ)傳遞函數，如在下述偽碼中所展示：

FileTypeBox 'ftyp': major-brand='heic', compatible-brands='heic, mp41' MetaBox: (container) HandlerBox 'hdlr': 'pict' PrimaryItemBox 'pitm': item_ID=1; ItemInfoBox 'iinf': entry_count=2 1) 'infe': item_type='hvc1', item_ID=1; 2) 'infe': item_type='Exif', item_ID=2; ItemLocationBox'iloc': item_count=2 item_ID=1, extent_count=1, extent_offset=X, extent_length=Y; item_ID=2, extent_count=1, extent_offset=P, extent_length=Q; ItemReferenceBox 'iref': referenceType ='cdsc', from_item_ID=2, ref_count=1, to_item_ID=1; ItemPropertiesBox 'iprp': ItemPropertyContainerBox 'ipco': 'hvcC' 'ispe' ItemPropertyAssociation 'ipma', entry_count=1: item_ID=1, association_count=2, essential=1, property_index=1; essential=0, property_index=2; MediaDataBox 'mdat': HEVC for HDR Image (at file offset X, with length Y) Exif data block (at file offset P, with length Q)

在另一實例中，對於一相片應用，可利用EXIF後設資料來儲存一經SDR JPEG編碼的靜止影像且可利用相片後設資料來儲存一經HDR HEVC編碼的靜止影像，如在下述偽碼中所展示：

FileTypeBox 'ftyp': major-brand='heic', compatible-brands='heic' MetaBox 'meta': (container) HandlerBox 'hdlr': 'pict' PrimaryItemBox 'pitm': item_ID=1; ItemInfoBox 'iinf': entry_count=3 1) 'infe': item_ID=1, item_type='jpeg'; 2) 'infe': item_ID=2, item_type='Exif'; 3) 'infe': item_ID=3, item_type='hvc1'; 4) 'infe': item_ID=3, item_type='dbex'; ItemLocationBox 'iloc': item_count=4 item_ID=1,extent_count=1, extent_offset=X1, extent_length=Y1; item_ID=2,extent_count=1, extent_offset=X2, extent_length=Y2; item_ID=3,extent_count=1, extent_offset=X3, extent_length=Y3; item_ID=4,extent_count=1, extent_offset=X4, extent_length=Y4; ItemReferenceBox 'iref': referenceType='cdsc',from_item_ID=2,ref_count=1,to_item_ID=1; referenceType='cdsc',from_item_ID=4,ref_count=1,to_item_ID=3; ItemPropertiesBox 'iprp': ItemPropertyContainerBox 'ipco': 'hvcC' 'ispe' ItemPropertyAssociation 'ipma': entry_count=2 1) item_ID=1, association_count=2 essential=1, property_index=1; essential=0, property_index=2; 2) item_ID=1, association_count=2 essential=1, property_index=3; essential=0, property_index=4; MediaDataBox 'mdat' or 'idat': JPEG SDR Image (at file offset X1, with length Y1) Exif data block (at file offset X2, with length Y2) HEVC HDR Image (at file offset X3, with length Y3) dbex data block (at file offset X4, with length Y4)

圖5繪示根據一實施例之一基礎媒體檔案格式(BMFF)之一實例。此BMFF係用於一種假設的新HDR相片格式，被稱為但不限於「杜比(Dolby)成像」或「DI」。其係基於使用APP11標記之JPEG檔案格式，儘管亦可使用任何其他APP標記。如圖5中所繪示，BMFF包含： • 一APP標記(505) (例如，APP11) (2位元組) • 有效負載長度(510) (2位元組) • 一識別字串(515) (例如，「DI」) • 一空位元組(520) • 杜比成像有效負載資料(525)，其包含HDR (例如，HEVC)影像資料(529)及rpu後設資料(527)。

上述系統及方法可提供用於多媒體體驗之資料結構。根據本揭露之系統、方法及裝置可採取下述組態中之任一或多者。

(1)一種用於實施複數個多媒體應用之資料結構，該資料結構包括：一第一後設資料層級，其包含用於執行與一位元串流中之媒體資料相關聯之操作的低層級後設資料；一第二後設資料層級，其包含用於應用該低層級後設資料來呈現該媒體資料的中層級後設資料；及一第三後設資料層級，其包含用於利用該低層級後設資料及該中層級後設資料來遞送該複數個多媒體應用的高層級後設資料，其中該第一後設資料層級進一步包含同步後設資料，其用於將該媒體資料、該低層級後設資料、該中層級後設資料及該高層級後設資料自該複數個多媒體應用中之一第一多媒體應用轉換為該複數個多媒體應用中之一第二多媒體應用。

(2)如(1)之資料結構，其中該低層級後設資料包含：預測後設資料，其含有一多項式預測、一多變項複回歸預測及一張量積B樣條曲線預測；顯示管理後設資料，其用於使用該媒體資料顯示視訊；相片後設資料，其用於使用該媒體資料顯示一影像；可交換影像檔案格式後設資料，其含有與相機影像相關之後設資料；空後設資料，其用於實施基準媒體資料；及沉浸式後設資料，其含有用於該媒體資料之一目標圖、一深度圖及回應曲線。

(3)如(1)至(2)中任一項之資料結構，其中該同步後設資料包含指示延伸區塊之數目之一有效負載標頭，每一延伸區塊包含指示其各別有效負載之一長度、層級及容器的一標頭。

(4)如(3)之資料結構，其中該有效負載標頭包含source_expierience_ID後設資料、sink_expierience_ID後設資料及operation_value後設資料。

(5)如(4)之資料結構，其中該operation_value後設資料係選自由以下各項組成之組之一種後設資料：一靜止相片之一圖框索引、一視訊圖框之一時間戳記、一解析度映射函數及指示是否准許自一標準動態範圍(SDR)相片轉一高動態範圍(HDR)視訊之工作流程的一二元旗標。

(6)如(1)至(5)中任一項之資料結構，其中該複數個多媒體應用包含一靜止相片應用及一視訊應用。

(7)如(6)之資料結構，其中，當在該靜止相片應用中操控該媒體資料時，該同步後設資料為該視訊應用更新該媒體資料、該低層級後設資料、該中層級後設資料及該高層級後設資料。

(8)如(1)至(7)中任一項之資料結構，其中該低層級後設資料及該中層級後設資料係作為方塊在一高效率影像格式(HEIF)容器內實施。

(9)如(8)之資料結構，其中該等方塊係在一聯合圖像專家小組(JPEG)容器中實施為應用分段標記(APP標記)。

(10)一種用於實施如(1)至(9)中任一項之資料結構的控制器，其中該控制器經組態以：編輯包含在該複數個多媒體應用中之一第一應用中的一視訊；且傳播該編輯至包含在該複數個多媒體應用中之一第二應用中的一對應相片，其中該同步後設資料包含用於該對應相片之一圖框索引。

(11)如(1)至(9)中任一項之資料結構，其中該同步後設資料定義該第一多媒體應用與該第二多媒體應用之間的一解析度映射。

(12)如(1)至(9)或(11)中任一項之資料結構，其中該同步後設資料包含指示是否准許自一標準動態範圍(SDR)相片應用轉一高動態範圍(HDR)視訊應用之工作流程的一二元旗標。

(13)如(12)之資料結構，其中該同步後設資料包含SDR轉HDR轉換演算法及其對應參數。

(14)一種用於實施如(1)至(9)或(11)至(13)中任一項之資料結構的控制器，其中該控制器經組態以：接收指示該複數個多媒體應用中之一者的一使用者輸入；且基於該使用者輸入將該媒體資料提供為一SDR靜止相片應用或一HDR視訊應用。

(15)一種用於實施如(1)至(9)或(11)至(13)中任一項之資料結構的控制器，其中該控制器經組態以執行一多媒體應用內編輯操作，其中在不影響一第二多媒體應用之情況下對一第一多媒體應用中之該媒體資料執行編輯。

(16)一種用於實施如(1)至(9)或(11)至(13)中任一項之資料結構的控制器，其中該控制器經組態以執行一多媒體應用間編輯操作，其中將對一第一多媒體應用中之該媒體資料進行編輯傳播至一第二多媒體應用。

(17)一種用於實施如(1)至(9)或(11)至(13)中任一項之資料結構的控制器，其中該控制器經組態以執行一多媒體應用內轉譯操作，其中將該媒體資料自一第一類型之一第一多媒體應用轉譯為該第一類型之一第二多媒體應用。

(18)一種用於實施如(1)至(9)或(11)至(13)中任一項之資料結構的控制器，其中該控制器經組態以執行一多媒體應用間轉譯操作，其中將該媒體資料自一第一類型之一第一多媒體應用轉譯為一第二類型之一第二多媒體應用。

(19)一種用於實施如(1)至(9)或(11)至(13)中任一項之資料結構的控制器，其中該控制器經組態以：根據播放運算資源、裝置能力及終端使用者偏好中之至少一者將該媒體資料提供為一SDR靜止相片應用或一HDR視訊應用。

(20)一種用於實施如(1)至(9)或(11)至(13)中任一項之資料結構的控制器，其中，為提供包含在該複數個多媒體應用中之一成像應用，該控制器經組態以包含以下中之至少一者：(a)一第一編解碼器，其包含用於一HEIF容器中之HDR的一感知量化傳遞函數；(b)一第二編解碼器，其包含用於該HEIF容器中之HDR的一混合對數伽馬傳遞函數；(c)一第三編解碼器，其包含作為一JPEG容器中之單一庫存的JPG及HDR；及(d)一第四編解碼器，其包含作為HEVC及該HEIF容器中之單一庫存兩者的SDR及HDR。

關於本文中所描述之程序、系統、方法、啟發法等等，應理解，儘管此等程序之步驟等已描述為根據一特定有序序列發生，但可在以不同於本文中所描述之次序的一次序執行所描述步驟之情況下來實踐此等程序。應進一步理解，可同時執行特定步驟，可添加其他步驟或可省略本文中所描述之特定步驟。換言之，提供對本文中之程序之說明係出於圖解說明特定實施例之目的，且絕不應被解釋為係為了限制申請專利範圍。

因此，應理解，上述說明意欲係圖解說明性的而非限制性的。在閱讀上述說明後，除所提供實例外之許多實施例及應用將即刻顯而易見。範疇不應參考上述說明來判定，而是代替地應參考隨附申請專利範圍以及此申請專利範圍被授權之等效內容之全部範疇來判定。預期及意欲未來的開發形式將在本文中所討論之技術中出現，且所揭露之系統及方法將併入至此等未來的實施例中。總之，應理解，本申請案能夠做出修改及變化形式。

申請專利範圍中所使用之所有術語意欲給出熟習本文中所描述之技術者所理解之該等術語之最廣泛合理的解釋及其普通含義，除非本文中做出對相反情形之一明確指示。特定而言，使用單數冠詞諸如「一」、「該(the)」、「該(said)」等應被解讀為陳述所指示元件中之一或多者，除非一技術方案陳述對相反情形之一明確限制。

提供本揭露之摘要以允許讀者迅速地確定本技術揭露之本質。本揭露之摘要係基於其並非將用於解釋或限制申請專利範圍之範疇或含義之理解而提交。另外，亦可看出，在前述實施方式中出於簡化本揭露之目的將各種特徵一起分組於各種實施例中。本揭露方法不應被解釋為反映以下意圖，即所主張之實施例併入比每一技術方案中所明確陳述更多之特徵。而是，如下述申請專利範圍反映：發明性標的物在於少於單一所揭露實施例之所有特徵。因此，特此將下述申請專利範圍併入至實施方式中，其中每一技術方案獨立地作為一單獨主張之標的物。

100:三層級資料結構/資料結構 102:低層級後設資料 104:中層級後設資料 106:高層級後設資料 110:預測後設資料 112:顯示管理後設資料 114:相片後設資料 116:沉浸式後設資料 118:可交換影像檔案格式/國際色彩聯盟後設資料 120:同步後設資料 122:空後設資料 130:rpu_type_2 132:rpu_type_4 134:rpu_type_5 136:rpu_type_63 150:第一應用 152:第二應用 154:第三應用 156:預設簡報應用 200:播放操作 202:視訊播放 204:相片播放 300:實例體驗內編輯操作/體驗內編輯操作 310:編輯工具 315:rpu_type_ m320:rpu_type_ n325:更新同步後設資料模組 330:編輯rpu_type_ n模組 335:編輯rpu_type_ m模組 350:實例體驗間編輯操作/體驗間編輯操作 360:編輯工具 365:更新同步後設資料模組 370:更新rpu_type_ n模組 375:編輯rpu_type_ m模組 400:實例體驗內轉譯操作/體驗內轉譯操作 405:應用x 410:應用y 415:轉譯工具 420:rpu_type_ m430:rpu_type_ m類型內轉譯模組 435:更新同步後設資料工具 450:實例體驗間轉譯操作/體驗間轉譯操作 455:應用x 460:應用y 465:轉譯工具 470:rpu_type_ m480:自rpu_type_ m轉rpu_type_ n類型間轉譯模組 485:rpu_type_ n490:更新同步後設資料區塊 505:應用分段標記 510:有效負載 515:識別字串 520:空位元組 525:杜比成像有效負載資料 527:rpu後設資料 529:高動態範圍影像資料

在下述說明中參考附圖更完全地揭露各種實施例之此等及其他更詳細及特定的特徵，附圖中：

圖1繪示用於實施多媒體體驗之一實例資料結構。

圖2繪示用於多媒體體驗之一實例播放操作。

圖3A繪示用於多媒體體驗之一實例體驗內編輯操作。

圖3B繪示用於多媒體體驗之一實例體驗間編輯操作。

圖4A繪示用於多媒體體驗之一實例體驗內轉譯操作。

圖4B繪示用於多媒體體驗之一實例體驗間轉譯操作。

圖5繪示根據本發明之一實施例之一實例基礎媒體檔案格式。

100:三層級資料結構/資料結構

102:低層級後設資料

104:中層級後設資料

106:高層級後設資料

110:預測後設資料

112:顯示管理後設資料

114:相片後設資料

116:沉浸式後設資料

118:可交換影像檔案格式/國際色彩聯盟後設資料

120:同步後設資料

122:空後設資料

130:rpu_type_2

132:rpu_type_4

134:rpu_type_5

136:rpu_type_63

150:第一應用

152:第二應用

154:第三應用

156:預設簡報應用

Claims

一種用於實施複數個多媒體應用之資料結構，該資料結構包括：一第一後設資料層級，其包含用於執行與一位元串流中之媒體資料相關聯之操作的低層級後設資料；一第二後設資料層級，其包含用於應用該低層級後設資料來呈現該媒體資料的中層級後設資料；及一第三後設資料層級，其包含用於利用該低層級後設資料及該中層級後設資料來遞送該複數個多媒體應用的高層級後設資料，其中該第一後設資料層級進一步包含同步後設資料，其用於將該媒體資料、該低層級後設資料、該中層級後設資料及該高層級後設資料自該複數個多媒體應用中之一第一多媒體應用轉換為該複數個多媒體應用中之一第二多媒體應用。
如請求項1之資料結構，其中該低層級後設資料包含：預測後設資料，其含有一多項式預測、一多變項複回歸預測及一張量積B樣條曲線預測，顯示管理後設資料，其用於使用該媒體資料顯示視訊，相片後設資料，其用於使用該媒體資料顯示一影像，可交換影像檔案格式後設資料，其含有與相機影像相關之後設資料，空後設資料，其用於實施基準媒體資料，及沉浸式後設資料，其含有用於該媒體資料之一目標圖、一深度圖及回應曲線。
如請求項1至請求項2中任一項之資料結構，其中該同步後設資料包含指示延伸區塊之一數目之一有效負載標頭，每一延伸區塊包含指示其各別有效負載之一長度、層級及容器的一標頭。
如請求項3之資料結構，其中該有效負載標頭包含source_expierience_ID後設資料、sink_expierience_ID後設資料及operation_value後設資料。
如請求項4之資料結構，其中該operation_value後設資料係選自由以下各項組成之組之一後設資料：一靜止相片之一圖框索引、一視訊圖框之一時間戳記、一解析度映射函數及指示是否准許自一標準動態範圍(SDR)相片轉一高動態範圍(HDR)視訊之工作流程的一二元旗標。
如請求項1至請求項2中任一項之資料結構，其中該複數個多媒體應用包含一靜止相片應用及一視訊應用。
如請求項6之資料結構，其中，當在該靜止相片應用中操控該媒體資料時，該同步後設資料為該視訊應用更新該媒體資料、該低層級後設資料、該中層級後設資料及該高層級後設資料。
如請求項1至請求項2中任一項之資料結構，其中該低層級後設資料及該中層級後設資料係作為方塊在一高效率影像格式(HEIF)容器內實施。
如請求項8之資料結構，其中該等方塊係在一聯合圖像專家小組(JPEG)容器中實施為應用分段標記(APP標記)。
如請求項1至請求項2中任一項之資料結構，其中該同步後設資料定義該第一多媒體應用與該第二多媒體應用之間的一解析度映射。
如請求項1至請求項2中任一項之資料結構，其中該同步後設資料包含指示是否准許自一標準動態範圍(SDR)相片應用轉一高動態範圍(HDR)視訊應用之工作流程的一二元旗標。
如請求項11之資料結構，其中該同步後設資料包含SDR轉HDR轉換演算法及其對應參數。
一種用於實施如請求項1至請求項12中任一項之資料結構的控制器，其中該控制器經組態以：編輯包含在該複數個多媒體應用中之一第一應用中的一視訊；且傳播該編輯至包含在該複數個多媒體應用中之一第二應用中的一對應相片，其中該同步後設資料包含用於該對應相片之一圖框索引。
如請求項13之控制器，其中該控制器經組態以：接收指示該複數個多媒體應用中之一者的一使用者輸入；且基於該使用者輸入將該媒體資料提供為一SDR靜止相片應用或一HDR視訊應用。
如請求項13或請求項14之控制器，其中該控制器經組態以執行一多媒體應用內編輯操作，其中在不影響一第二多媒體應用之情況下對一第一多媒體應用中之該媒體資料執行編輯。
如請求項13或請求項14之控制器，其中該控制器經組態以執行一多媒體應用間編輯操作，其中將對一第一多媒體應用中之該媒體資料進行編輯傳播至一第二多媒體應用。
如請求項13或請求項14之控制器，其中該控制器經組態以執行一多媒體應用內轉譯操作，其中將該媒體資料自一第一類型之一第一多媒體應用轉譯為該第一類型之一第二多媒體應用。
如請求項13或請求項14之控制器，其中該控制器經組態以執行一多媒體應用間轉譯操作，其中將該媒體資料自一第一類型之一第一多媒體應用轉譯為一第二類型之一第二多媒體應用。
如請求項13或請求項14之控制器，其中該控制器經組態以：根據播放運算資源、裝置能力及終端使用者偏好中之至少一者將該媒體資料提供為一SDR靜止相片應用或一HDR視訊應用。
如請求項13或請求項14之控制器，其中，為提供包含在該複數個多媒體應用中之一成像應用，該控制器經組態以包含以下中之至少一者： (a)一第一編解碼器，其包含用於一HEIF容器中之HDR的一感知量化傳遞函數； (b)一第二編解碼器，其包含用於該HEIF容器中之HDR的一混合對數伽馬傳遞函數； (c)一第三編解碼器，其包含作為一JPEG容器中之單一庫存的JPG及HDR；及 (d)一第四編解碼器，其包含作為HEVC及該HEIF容器中之單一庫存兩者的SDR及HDR。