TWI555392B - 用於產生場景穩定的元資料之系統和方法 - Google Patents

用於產生場景穩定的元資料之系統和方法 Download PDF

Info

Publication number
TWI555392B
TWI555392B TW105113276A TW105113276A TWI555392B TW I555392 B TWI555392 B TW I555392B TW 105113276 A TW105113276 A TW 105113276A TW 105113276 A TW105113276 A TW 105113276A TW I555392 B TWI555392 B TW I555392B
Authority
TW
Taiwan
Prior art keywords
scene
metadata
video
scenes
stable
Prior art date
Application number
TW105113276A
Other languages
English (en)
Other versions
TW201630429A (zh
Inventor
羅賓 艾金斯
雷蒙 楊
曲晟
Original Assignee
杜比實驗室特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杜比實驗室特許公司 filed Critical 杜比實驗室特許公司
Publication of TW201630429A publication Critical patent/TW201630429A/zh
Application granted granted Critical
Publication of TWI555392B publication Critical patent/TWI555392B/zh

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

用於產生場景穩定的元資料之系統和方法 相關申請案之對照：
本申請案聲明擁有於2013年7月30日提出申請的美國臨時專利申請案61/859,956的優先權，本申請案特此引用該申請案之完整內容以供參照。
本發明係有關視訊內容創作及呈現，且尤係有關產生用於改善視訊資料在目標顯示器上的呈現的相關聯之元資料之系統及方法。
通常為每一圖框產生或針對關鍵圖框產生一視訊檔案中之元資料。然而，在許多情形中，視訊內容的觀賞者可能察覺視訊播放有令人不愉快的人為失真(artifact)。在諸如可能有某些共同特徵的場景等的場景之間可能會察覺這些人為失真。例如，攝影機可能正在拍攝於空間及時間中正在移動的單一演員之視訊，例如，自一黑暗的房間移動到一戶外陽光照射的空間之時刻。
環境條件的此種改變可能導致觀賞者可察覺的人為失真(例如，上述演員的改變之臉部色調)。當要在可能有諸如亮度(luminance)或色域呈現等的性能限制之目標顯示器上顯示視訊內容時，尤其可能出現上述的狀況。對於內容創作者(諸如導演或後製專業人員)而言，可藉由產生基於場景的元資料，而減輕此種人為失真。
本發明揭示了用於產生且應用場景穩定的元資料於所需視訊資料流之方法及系統。提供了一些系統及/或方法，其中一視訊資料流被分為或被分割為一些場景，且可產生某一場景的視訊資料之第一組元資料。該第一組元資料可以是作為視訊內容的一所需功能(例如，亮度、色域等的功能)之任何已知的元資料。可以逐個圖框之方式產生該第一組元資料。在一實施例中，可產生可能不同於該場景的該第一組元資料之場景穩定的元資料。可監視該場景的一所需特徵而產生該場景穩定的元資料，且可使用該場景穩定的元資料，以便將該所需特徵保持在一可接受值範圍內。此種方式可於呈現該視訊資料時有助於避免可察覺的且可能令人不愉快的視覺人為失真。
在一實施例中，將場景穩定的元資料用於視訊資料流之一方法包含下列步驟：將該視訊資料流分為一組場景；產生與該組場景內之一第一場景相關聯的一第一元資料；產生場景穩定的元資料；以及使該場景穩定的元資料與該 第一場景相關聯。
在另一實施例中，將場景穩定的元資料用於視訊資料之一系統包含：一處理器；與該處理器相關聯的一記憶體，且該記憶體進一步包含處理器可讀取的指令，因而當該處理器讀取該等處理器可讀取的指令時，將使該處理器執行下列指令：接收一視訊資料流，該視訊資料流包含一組場景；為該組場景產生與該組場景相關聯的一第一元資料；產生一組場景穩定的元資料；以及對於至少一場景，使一場景穩定的元資料與該至少一場景相關聯。
在又一實施例中，一視訊處理器包含：一處理器；與該處理器相關聯的一記憶體，且該記憶體進一步包含處理器可讀取的指令，因而當該處理器讀取該等處理器可讀取的指令時，將使該處理器執行下列指令：接收一輸入視訊資料流，該視訊資料流包含一組場景；接收與至少一場景相關聯的第一組元資料；接收一場景切換(scene cut)是該輸入視訊資料流的實質上次一圖框之一指示；接收一場景穩定的元資料；以及使該場景穩定的元資料與該輸入視訊資料流的該實質上次一圖框相關聯。
下文中將以與本申請案內提供的圖式有關之方式於實施方式中提出本發明的系統之其他特徵及優點。
100,200,206‧‧‧系統
102‧‧‧視訊擷取子系統
103‧‧‧後製子系統
104‧‧‧顯示子系統
123,123-1,123-2,123-3,600‧‧‧視訊資料
111‧‧‧參考顯示器
125‧‧‧分送媒體
127A‧‧‧編碼器
127B,302‧‧‧解碼器
225‧‧‧元資料
118‧‧‧顯示器
120,226‧‧‧顯示器特徵化參數
106,108,116‧‧‧處理器
110‧‧‧儲存庫
112‧‧‧元資料定義
114‧‧‧保留字
225A‧‧‧攝影機元資料
225B‧‧‧後製元資料
225B‧‧‧參考顯示器及環境元資料
225B‧‧‧來源視訊內容特徵化元資料
225C‧‧‧觀賞環境元資料
225D‧‧‧內務處理元資料
300‧‧‧視訊管線
301‧‧‧編碼位元流
304‧‧‧剖析器
303‧‧‧中間位元流
305‧‧‧旗標
306‧‧‧顯示器管理模組
308‧‧‧目標顯示器
602a,602m‧‧‧圖框
已參照各圖式而說明了一些實施例。本發明所揭示的該等實施例及圖式將被視為例示性而非限制性。
第1圖示出根據本申請案的原理而製作的一視訊管線系統的環境及架構之一實施例。
第2A及2B圖示出可適於本申請案之目的之視訊管線流程圖的兩個實施例。
第3圖示出可在一例示目標顯示器的顯示器管理中發生的視訊處理的一高階流程圖之一實施例。
第4圖是用於視訊檔案的場景穩定的元資料的產生及相關聯之視訊處理之一實施例。
第5圖示出在一視訊管線中加入場景改變的提前通知的一流程圖之一實施例。
第6圖示出被分割為一些場景之一例示視訊檔案、以及一場景內之包含一場景改變指示之一圖框。
在本說明書的用法中，"組件"、"系統"、及"介面"等的術語將意指一種形式為硬體、軟體(例如，於執行中之軟體)、及/或韌體之與電腦有關的實體。例如，組件可以是在處理器上運行的程序、處理器、物件、可執行檔、程式、及/或電腦。舉例而言，在伺服器上運行的應用程式及該伺服器都可以是一組件。一或多個組件可常駐於一程序內，且一組件可被局限在一電腦中，且/或被分散於兩個或更多個電腦中。組件亦可意指一種形式為硬體、軟體(例如，於執行中之軟體)、及/或韌體之與通訊有關的實體，且可進一步包含足以影響通訊之有線或無線硬 體。
在下文的說明中，述及了特定的細節，以便使熟悉此項技術者能夠有更徹底的了解。然而，可能不詳細示出或說明習知的元件，以避免非必要地模糊了本發明的揭示。因此，將以一種例示而非限制之方式考慮該說明及該等圖式。
介紹
為了保證在目標顯示器上播放視訊時的時間穩定性(temporal stability)(例如，無閃爍、跳動、褪色等的現象)，且為了減輕可能討厭的視覺人為失真，可能希望與視訊資料相關聯的元資料是長時間中大致穩定的。在數個實施例中，可強制保持元資料在一場景的持續時間中之穩定性，而實現播放視訊時的時間穩定性。可容許在每一場景切換時改變此類元資料。在此種情形中，觀賞者可能不會察覺到適應內容的元資料改變。
只是舉例而言，可在顯示之前以逐個圖框之方式估計視訊/影像資料之元資料。然而，此種方式可能在一場景的中間導致該場景外觀之使人不愉快的且可察覺的改變。
在本申請案的數個實施例中，於本說明書中說明了用於產生或以其他方式創建與視訊資料有關的且/或與視訊資料相關聯的元資料之系統及方法。在本申請案的許多實施例中，如將於下文中更詳細說明的，可以逐個場景之方式產生該相關聯的元資料。可在一視訊資料流的前端或在 該視訊資料流的任何其他適當的部分上創建此種元資料。可將該視訊資料傳輸到且/或傳送到在電影院、家庭觀賞環境、視訊會議、或將觀賞及/或利用視訊資料的任何場所之該視訊資料的使用者/消費者/觀賞者。
在下列的共有專利及/或專利申請案中說明了元資料產生及/或元資料利用技術：(1)2013年3月28日公開之Messmer的美國專利申請案20130076763 "TONE AND GAMUT MAPPING METHODS AND APPARATUS"；(2)2013年6月27日公開之Messmer等人的美國專利申請案20130162666 "DATA TRANSMISSION USING OUT-OF-GAMUT COLOR COORDINATES"；(3)2013年6月6日公開之Longhurst等人的美國專利申請案20130141647 "METADATA FOR USE IN COLOR GRADING"；以及(4)2012年12月13日公開之Messmer等人的美國專利申請案20120315011 "VIDEO DELIVERY AND CONTROL BY OVERWRITING VIDEO DATA"
本申請案特此引用該等專利申請案之完整內容以供參照。
第1、2A、及2B圖示出本申請案的系統及/或方法可常駐之數個一般環境之系統(分別表示為100、200、206)。這些系統代表可諸如拍攝視訊且以逐個場景之方式提取元資料且將視訊置於用於配送的一視訊流中而且將 該視訊流傳送到目標顯示器以供觀賞之可能的端對端視訊產生/傳輸/觀賞視訊管線。
在第1圖中，系統100(或其一部分)可被配置成執行本發明所述的該等方法中之一或多種方法。可將系統100之組件實施為軟體、韌體、硬體、及/或以上各項之組合。系統100包含一視訊擷取子系統102、一後製子系統103、及一顯示子系統104。一串流的視訊資料123(更具體而言，該視訊流管線中之不同點的視訊資料123-1、123-2、123-3)被視訊擷取子系統102產生，且被傳送到後製子系統103，以供處理及編輯。在編輯視訊資料123的過程中，可在後製子系統103的一參考顯示器111上顯示且觀賞視訊影像。編輯後的視訊資料123被傳送到顯示子系統104(通過一分送媒體125且經由編碼器127A及解碼器127B)，以供進一步的處理及顯示。子系統102、103、及104(以及編碼器127A)中之每一者可被配置成將視訊資料123中之元資料225編碼。下游的各子系統可被配置成自一上游的裝置接收視訊資料123且將已被嵌入該視訊資料123中之元資料225解碼。元資料225可被各下游子系統(例如，子系統103及104)用於指導對視訊資料123之處理及/或顯示。顯示子系統104可將元資料225以及顯示器特徵化參數120用於控制且/或指導顯示子系統104的一顯示器118上之視訊播放。
如第1圖所示，子系統102、103、及104可分別包含一處理器106、108、及116、以及該等各別的處理器可 存取之一程式記憶體107、109、及117。每一處理器(此處所述的及其他段落所述的每一處理器)可包括一中央處理單元(Central Processing Unit；簡稱CPU)、一或多個微處理器、一或多個現場可程式閘陣列(Field-Programmable Gate Array；簡稱FPGA)、或以上各項的任何組合、或包含能夠以本發明所述的方式工作的硬體及/或軟體之任何其他適當的處理單元。在每一子系統中，處理器執行程式記憶體中儲存之軟體所提供的指令。該軟體可包括用於執行本發明所述的元資料產生、編碼、解碼、及處理步驟之常式，例如，可包括用於執行下列步驟之常式：(1)產生元資料225或接收用於元資料225之參數；(2)先將視訊資料123中之元資料225編碼，然後該視訊資料被傳送到一下游裝置；(3)將自一上游裝置接收的視訊資料123之元資料225解碼；(4)處理且應用元資料225於視訊資料之處理及/或顯示；(5)根據影像及/或視訊資料123而選擇用於將元資料225編碼之一方法；(6)及/或其他類似的步驟。
系統100可包含子系統102、103、及104可存取的一儲存庫110。儲存庫110可包含元資料定義112的一資 料館(例如，用以將與產生及/或讀取該元資料的方式有關之資訊通知元資料編碼器及解碼器)以及保留字114(例如，被保護的像素值或被保留的元資料字)之一列表。子系統102、103、及104於產生、編碼、及/或處理元資料時，可存取元資料定義112之該資料館。在將元資料225編碼或解碼時，可將保留字114與被編碼/被解碼的元資料位元比較，以便識別將被插入(或已被插入)該元資料流的防護位元(guard bit)序列，而避免保留字的傳送。雖然第1圖的該例示實施例中示出一共用的儲存庫110，但是在其他實施例例中，子系統102、103、及104中之每一子系統可包含該子系統可存取的一儲存媒體中儲存之一本地儲存庫110。
第2A圖是資料流過根據一特定實施例的一視訊傳送管線200之一流程圖。視訊傳送管線200包含與第1圖的視訊傳送管線100中所示的那些級類似之一些級。在視訊傳送管線200的一或多個級上，元資料225可被產生且被嵌入一串流的視訊資料123，以供用於下游級。元資料225連同視訊資料123而被傳輸通過視訊傳送管線200，以便在處理視訊資料時指導下游裝置，且/或在方塊210中指導在一顯示子系統上之視訊播放。在方塊206中，可使用適於視訊內容傳送之系統、設備、及方法(例如，經由衛星、纜線、高畫質網路的電視廣播；經由網際網路通訊協定(IP)或無線網路之串流多媒體(streaming multimedia)；自數位多功能光碟(DVD)或其他儲存媒 體之播放；其他的系統、設備、及方法依此類推)將包括被嵌入的元資料225之視訊資料123傳送到該顯示子系統。
在第2A圖之實施例中，在方塊202中，攝影機元資料225A可被產生且被嵌入視訊資料123-1中。可根據攝影機設定及視訊框擷取環境而產生攝影機元資料225A。攝影機元資料225A可包含諸如用於在視訊框擷取期間提供攝影機設定的快照之攝影機參數。此類攝影機參數可包括光圈(aperture)(光圈級數(f-stop))、鏡頭、快門速度(shutter speed)、及感光度(sensitivity)(ISO額定值)等的攝影機參數。這些攝影機參數可被用於指導視訊傳送管線200中之後續步驟，例如，可被用於指導諸如方塊204中之後製編輯期間的色彩調整(例如，配光(color timing))或方塊210中之顯示器設定。
在方塊204中，後製元資料225B被產生且被嵌入視訊資料123-2中。後製元資料225B可包括：參考顯示器及環境元資料225B1及來源視訊內容特徵化元資料225B2。後製元資料225B可被用於指導視訊傳送管線200中之後續步驟，例如，可被用於指導諸如方塊210中之顯示器設定。
參考顯示器及環境元資料225B1可描述被用於方塊204的後製編輯之參考顯示器組態及製作室或觀賞環境。例如，與在方塊204的後製編輯期間被用於顯示視訊資料123的該參考顯示器有關之參考顯示器及環境元資料 225B1可包括下列例示的參數：(1)用於描述在一詳細解析度下的該參考顯示器的色調及色域邊界(gamut boundary)之三維(3D)色域映射(color gamut mapping)；(2)用於界定該參考顯示器的色調及色域邊界之一精簡組的參數(可被用於估計3D色域映射)；(3)用於描述該參考顯示器對每一色訊道(chrominance channel)的色調響應(tone response)之系統色調響應參數；(4)螢幕尺寸；(5)及/或其他類似之參數。
參考顯示器及環境元資料225B1亦可包括用於描述在方塊204的後製編輯期間於一參考顯示器上對視訊內容執行配光或編輯的製作室環境之參數。此類參數可包括環境亮度(ambient luminance)及環境色溫(ambient color temperature)。
來源視訊內容特徵化元資料225B2可描述經過後製編輯的視訊內容，該元資料包括可識別或提供下列項目的資訊：(1)色調映射(tone mapping)(例如，可被用於指導顯示器上的色調擴張之客製化色調映射參數或曲線)；以及色域映射(例如，可被用於指導顯示器上的色域擴張(gamut expansion)之客製化色域映射參數)；(2)在場景中被認為重要的最小黑階(black level) (例如，車輛之下的陰影)之位準；(3)對應於場景的最顯著部分(例如，演員的臉)；(4)在場景中被認為重要的最大白階(white level)(例如，燈泡的中心)之位準；(5)場景中顏色最鮮豔的色彩(例如，霓虹燈等的物體)；(6)影像中之光源的位置圖、或影像中之反光或發光物體的位置圖；(7)來源視訊內容之色域；(8)影像中被故意配光到參考顯示器的色域之外的區域；(9)在顯示前處理期間不應被視訊處理器改變的或在顯示器設定期間不應被改變的受保護色彩；(10)用於根據亮度或色域而將影像的特徵化之影像直方圖(image histogram)(例如，下游裝置可將該資訊用於決定平均亮度，以便完善色調及色域映射)；(11)用於將來自先前視訊框的任何統計資訊或滯後現象已不再有效之情況向下游裝置警示之場景改變或重設旗標；(12)用於將視訊內容特徵化而識別移動物體之變動位置圖(motion map)，下游裝置可結合該光源位置圖而將該變動位置圖用於指導色調及色域映射；(13)被配光內容的來源(例如，直接來自攝影機或 後製編輯)之指示；(14)可被用於控制諸如解碼器/電視或其他顯示器等的下游裝置之導演的創作意圖設定。例如，此類設定可包括：提供將顯示器控制在一特定模式(例如，鮮艷、電影、標準、專業等的模式)中操作的能力之顯示模式控制；可被用於決定適當的色域或色調映射等的操作之內容類型(例如，動畫、戲劇、體育、遊戲等的內容類型)；(15)及/或其他類似的項目。
在方塊206中，視訊資料123-2被傳送到一顯示子系統。如第2B圖所示，傳送管線206可包括一編碼器級127A，用以驅動經由諸如衛星、纜線、高畫質網路等的一視訊分送媒體125、IP或無線網路、或DVD或其他儲存媒體等的媒體而而分送、廣播、或傳輸視訊資料123。在方塊206的顯示端上可提供一解碼器級127B，用以將經由媒體125而分送之視訊資料123解碼。可以一機上盒(例如，該顯示子系統內之一解碼器)實施解碼器級127B。在方塊206及/或208中，觀賞環境元資料225C及/或其他元資料225可被嵌入視訊資料123中。觀賞環境元資料225C可包含諸如：用於提供參考環境的參考監視器色調映射或色域曲線或環境亮度之先進視訊編碼(Advanced Video Coding；簡稱AVC)VDR編碼器資料。知道顯示器特性(例如，藉由讀取顯示器的延伸顯示識別資料(Extended Display Identification Data；簡稱EDID))及該顯示子系統的環 境之該視訊處理器可決定該資訊的至少某些部分。在某些實施例中，製作室的視訊資料的後製處理期間可決定該資訊的至少某些部分。
用於描述該顯示子系統所在的顯示器的環境之參數。此類參數可包括諸如環境亮度及/或色調或色溫。
觀賞環境元資料225C可被用於指導方塊208中之視訊資料處理及/或方塊210中之顯示器設定。
該顯示子系統包含一視訊處理器，用以在方塊208中處理輸入的視訊資料123-3。該顯示子系統之該視訊處理器可根據自視訊資料123提取的元資料225(例如，元資料225A)及/或與該顯示子系統的該顯示器相關聯之已知顯示器特性而對視訊資料123-3執行信號處理。可根據顯示器特徵化參數226及/或元資料225而針對該顯示器處理且調整視訊資料123。
可在方塊206及/或208或在視訊傳送管線200的其他級中被嵌入視訊資料123的其他元資料225包括內務處理元資料225D(用於管理分送權及其他類似的內務處理)，例如：(1)用於指示在何處產生、分送、修改等的操作視訊內容之浮水印(watermarking)資料；(2)用於提供對視訊內容的描述以供搜尋或索引用途等的用途之指紋識別資料(fingerprinting data)；(3)用於指示何人擁有該視訊內容及/或何人已接觸該視訊內容之保護資料； (4)及/或其他類似的內務處理元資料。
可至少部分地根據與該顯示子系統的該顯示器相關聯之顯示器特徵化參數226而產生觀賞環境元資料225C。在某些實施例中，可在編碼器級127A、解碼器級127B上藉由分析視訊資料123而產生或提供觀賞環境元資料225C、來源視訊內容特徵化元資料225B2、及/或內務處理元資料225D，且/或由該視訊處理器在方塊208中提供該等元資料。
在方塊210中，可對該顯示子系統的一顯示器執行顯示器設定。可根據顯示器特徵化參數226及/或元資料225諸如攝影機元資料225A、後製元資料225B(包括參考顯示器及環境元資料225B1及來源視訊內容特徵化元資料225B2)、及觀賞環境元資料225C而決定用於顯示器設定之適當參數。根據這些參數而設定該顯示器。視訊資料123被輸出到該顯示器。
在視訊資料流中傳送在方塊208中被用於對視訊資料123的處理且在方塊210中被用於顯示器設定之元資料225，因而先在該顯示子系統(包括該視訊處理器及該顯示器)中接收元資料225，然後才應用該元資料。在某些實施例中，傳送元資料225，使該顯示子系統在要應用到元資料225的視訊框之前的至少一視訊框中接收到該元資料225。在某些實施例中，提前一個視訊框傳送元資料225，且可在偵測到輸入視訊流中的一新視訊框時，觸發在方塊208及/或210中應用元資料225。
逐個場景之"穩定"元資料
如前文所述，可能希望以逐個場景之方式擷取一視訊檔案中之元資料。如本說明書所述，本申請案的數個實施例可以逐個場景之方式擷取元資料(例如，根據亮度或色域等的參數)。一實施例尤其可提供可被應用於一些相同的及/或類似的場景之一組"穩定的"元資料。
在一實施例中，可使每一場景與全域場景元資料相關聯，其中可回應一場景內之圖框相依特性(例如，每一圖框中之最低、最高、及中間亮度值)而產生該全域場景元資料。亦可強制具有類似特性的各場景分享相同的元資料，使該等場景在顯示期間保持相同的觀感。在另一實施例中，一接收器亦可接收"提前通知元資料"，例如，該提前通知元資料是用於一未來場景之元資料，因而該接收器可預先準備與DM處理有關的參數。
為了讓讀者了解"穩定的"場景元資料之觀念，將在只供解說且其用意並非限制本申請案的範圍之情形下提供下文中之說明。可能希望在機個場景的過程中使色彩及亮度穩定。在一例子中，假設一"場景"中有兩個演員，但是攝影機按照視訊框的順序切到一演員，然後切到另一演員，例如，在一布景(set)中的該等兩個演員間之長時間交談的情況。縱然此種情況在戲劇上可構成一"場景"，但是兩個不同的攝影機取景可能導致觀賞者可察覺的且不愉快的色彩及/或亮度偏移。在某些實施例中，諸如為了產生整個場景之穩定的外觀，每一取景可能有不同的元資料。
舉另一例子，考慮一"場景"有單一演員但是該演員正在移動且攝影機跟著該演員移動的情況。縱然此種情況在戲劇上可以是單一場景，但是仍然可能有觀賞者可察覺的且/或不愉快的亮度及/或色彩偏移。在又一例子中，導演可能使用一場景減低其亮度(可能降低到零)而另一場景可自低亮度(例如，零亮度)開始且在幾個圖框的期間中增加到最高亮度的"溶接"("dissolve")(或交叉淡化("cross-fade"))技術。此類溶接或交叉淡化技術可被用於表現演員在螢幕上的閃回(flashback)或其他用於其他目的。
這些現象在導演可能從事於所拍攝的視訊的後製的情形中可能會成為相關。該導演可能在一專業級的監視器(例如，高達5000尼特(nits)亮度等級的監視器)上對該視訊執行調色(color grading)、亮度映射。然而，可能在亮度低許多的家用電視機或其他目標顯示器上看電影。預先知道此種情況時，可讓導演或其他內容創作者有機會改善觀賞者對內容的體驗。
根據這幾個例子(以及本說明書中沒有提到的其他例子)，自觀賞者的觀點而論(在不是自視訊的內容創作者/導演的觀點而論之情形下)，可能希望以逐個場景之方式應用元資料，且/或希望有可決定何時將"穩定的"元資料應用於一場景或一序列的圖框(該場景或該序列的圖框可能已將不同的元資料且或許為逐個圖框不同的元資料用於現行場景/圖框)之一適當的程序。
對於家庭視訊之情況而言，經常可能出現下列的情況：顯示器管理(Display Management；簡稱DM)處理器可能試圖提供視訊資料至家用顯示器的一"最佳"(或"較佳")映射。DM通常提供一動態範圍映射，以便提供自可用視訊資料至目標顯示器的一良好亮度匹配。動態範圍映射可使用基於亮度統計資料的元資料，例如，使用提供給該映射之最高亮度、平均亮度、及/或最低亮度。
數個共有專利申請案揭示了顯示器管理(DM)系統及技術，且該等專利申請案可適用於本申請案之系統及方法：(1)2011年8月11日公開之Gish等人的美國專利申請案20110194618 "COMPATIBLE COMPRESSION OF HIGH DYNAMIC RANGE,VISUAL DYNAMIC RANGE,AND WIDE COLOR GAMUT VIDEO"；(2)2012年9月13日公開之Longhurst的美國專利申請案20120229495 "INTERPOLATION OF COLOR GAMUT FOR DISPLAY ON TARGET DISPLAY"；(3)2012年12月20日公開之Messmer的美國專利申請案20120321273 "VIDEO DISPLAY CONTROL USING EMBEDDED METADATA"；以及(4)2013年2月14日公開之Seetzen等人的美國專利申請案20130038790 "DISPLAY MANAGEMENT METHODS AND APPARATUS"；本申請案特此引用所有該等專利申請案之完整內容以 供參照。
場景穩定的元資料之一實施例
第3圖示出申請案的一高階方塊流程圖之一實施例。視訊管線300可接收可進一步包含視訊/影像資料之編碼位元流301以及元資料，該元資料可以是諸如逐個圖框或逐個場景等的某一適當的格式，且包含基於亮度統計資料的元資料或色彩映射元資料等的元資料。
一解碼器302可接收該編碼位元流301，而該解碼器302可進一步包含一剖析器304。解碼器302可將可能被以此項技術中習知的任何方式加密、壓縮、或以其他方式編碼之該輸入的位元流解碼。該輸入的位元流一旦被解碼之後，可被剖析器304剖析。剖析器304可自自該視訊/影像資料分離出該元資料。
可向前傳送該被提取的視訊/影像資料及其相關聯的元資料，作為一中間位元流303。位元流303亦可包含一或多個旗標(或某一其他指示或信號等的指示)305，如將於下文中進一步說明的，旗標305可將要應用哪一元資料等的訊息通知該一或多個下游處理器。
一顯示器管理(DM)模組306可接收該中間位元流303及/或任何旗標305。DM模組306可先施加任何所需的影像/視訊映射，最終影像/視訊資料然後才被傳送到目標顯示器308。目標顯示器308可以是可向觀賞者顯示影像及/或視訊資料之任何適當的裝置。僅作為某些例 子而言，此類目標顯示器308可以是高畫質電視、電影放映機、桌上型監視器、膝上型電腦、平板電腦、或智慧型裝置等的裝置。
如前文所述，本發明的數個實施例可能涉及逐個場景的元資料(例如，可能為一組"穩定的"場景元資料)之計算及/或推導。該管線於可將穩定的場景元資料用於(穩定的場景元資料可取代基於場景的或基於圖框的其他可用元資料)減輕觀賞者可察覺的及/或不愉快的人為失真時，可明智地採用該穩定的場景元資料。
只是作為一個例子，考慮在一黑暗洞穴的場景。影像可能顯示該洞穴的所有暗部細節(dark detail)。然而，如果攝影機移到(明亮的)洞口，則適應性映射可能相應地調整該影像，例如，因而可能降低洞壁的暗部細節，以便容納新的較亮像素。在產生且使用場景穩定的元資料之情形下，可針對整個場景而將該映射最佳化，因而在場景中間將不會有諸如可察覺的改變。
第4圖是穩定場景元資料處理的一高階流程圖400之一實施例。在步驟402中，可將視訊資料分為一組場景。可以一些方式完成將一視訊分為且/或分割為一組場景。首先，可由諸如一導演、電影剪輯師、或後製人員等的一使用者進行該分割。例如，在一實施例中，可自被用於自一些不同的鏡頭製作電影之剪輯決定表(Edit Decision List；簡稱EDL)得知該等場景切換。在一實施例中，可提取該EDL，且將該EDL用於界定場景邊界。在此種方 式下，只需要很少的額外操作，或不需要額外操作。此外，使用者可選擇覆寫該等自動決定的(或提取的)場景切換。
在替代實施例中，可由一視訊處理器藉由以逐個圖框之方式分析視訊資料作出此類決定，而自動執行對場景分割的識別。例如，如果各圖框之間有亮度資料、色彩資料、或其他影像資料度量的顯著大變化，則視訊處理器可決定該差異可標示兩個場景的邊界。可以一預看(look-ahead)或多遍(multi-pass)程序增強此種自動決定，因而可分析數個圖框，且如果出現某一影像資料度量的初始差異，且如果後續的許多圖框之該度量實質上符合該初始差異，則可估計很有可能已發生了場景改變。
在本申請案中，可以任何已知的方式識別視訊資料中之場景。在步驟404中，可以逐個場景之方式計算、量測、或以其他方式提取元資料。只是作為一個例子，如果有構成一特定場景的50個圖框，則可量測且提取整個場景的亮度資料。可計算諸如最低亮度、平均值及/或平均亮度、及最高亮度等的場景元資料。可同樣地量測且提取其他的影像/視訊度量，而形成其他基於場景的元資料。
下文是產生一視訊流內之場景穩定的元資料之一實施例：(1)計算一場景內之每一圖框的最低、中間、及最高亮度。然後結合整個場景的該等結果。
a.取一場景中之所有圖框的所有最低亮度中之 最小值作為該最低亮度；b.取一場景中之所有圖框的所有中間亮度中之中間值(平均值)作為該中間亮度；c.取一場景中之所有圖框的所有最高亮度中之最大值作為該最高亮度。
我們應可了解：可推導出諸如色域資料等的其他視訊/影像度量之類似的統計資料。在另一實施例中，可產生其他場景相依的元資料，例如，可產生諸如要將何種程度的銳化或平滑施加到一場景內之影像資料等的元資料。
在步驟406中，可計算一場景之一組"穩定的"元資料。該穩定的元資料可不同於先前計算出的基於場景的(或基於圖框的)元資料(視對該元資料的使用而定)。例如，縱然先前計算出的基於場景的元資料已被用於呈現場景以供觀賞，也可根據可能產生視訊資料中之可察覺的及/或令人不愉快的改變之某一被監視的特徵、層面、及/或度量而計算且/或產生一場景之場景穩定的元資料。例如，在空間及時間中跨越不同的背景(例如，在一取景中，自一黑暗的密閉房間來到室外陽光很亮的環境)而移動的一演員之情形中，可能在該演員的臉部或其他皮膚色調上產生色彩或色調之可察覺的及/或令人不愉快的改變。在某些實施例中，亦可以為(諸如與一第二場景不同之)一第一場景計算的元資料取代該第二場景的元資料，其中係在根據某一被監視的特徵、層面、及/或度量而可將該等兩個場景視為在感覺上類似之前提下執行該元資料 取代。該第二場景可在該第一場景之後或之前。
諸如皮膚色調、發光特徵/物件、暗部特徵/物件、及色彩特徵/物件等的其他特徵、層面、及/或度量也是可能的。可用穩定的場景元資料減輕此類改變。可計算且/或產生場景穩定的元資料，使一場景的過程中被監視的特徵、層面、及/或度量回復到且/或保持在一可接受值範圍內。在步驟408中，該程序可使該穩定的場景元資料與先前可能或可能不與該場景相關聯的任何其他元資料相關聯，且/或以該穩定的場景元資料取代該任何其他元資料。例如，如果其他元資料使此類特徵、層面、及/或度量超出一可接受範圍，則可提供穩定的場景元資料的此種相關聯及/或取代，而使此類特徵、層面、及/或度量回復到該可接受範圍內。可人工地決定(例如，由導演及/或電影剪輯師決定)或根據涉及影像處理/呈現及/或電影剪輯的某些規則及/或經驗法則而決定一特徵、層面、及/或度量之該可接受值範圍。
我們應可了解：可在該視訊/影像管線中之許多點上執行第4圖所示之處理。例如，可由人於後製時執行將視訊分割為一些場景，或該管線的一處理器於另一點上執行將視訊分割為一些場景。此外，可於後製時執行或在該管線的另一點上執行基於場景的元資料之計算及/或提取。同樣地，可於後製時執行"穩定的"場景元資料之相關聯，或者可在將最終視訊/影像資料傳送到目標顯示器以供呈現之前，於更下游(例如，由DM或其他視訊處理器)完 成"穩定的"場景元資料之相關聯。
替代實施例
在某些實施例中，該等映射操作可以是影像內容相依的，以便實線最大的效能。可由自來源內容產生的元資料控制該影像相依的映射。為了保證時間穩定性(例如，無閃爍、跳動、褪色等的現象)，可能希望該元資料隨著時間的經過是大致穩定的。在一實施例中，可在一場景的持續時間中強制保持該元資料的穩定性，而影響該時間穩定性。可容許在每一場景切換時改變該元資料。在此種情形中，觀賞者可能不會察覺到適應內容的元資料之突然改變。
在一實施例中，產生場景穩定的元資料之該等步驟可包含下列步驟：
(1)取得視訊資料中之場景切換的位置。在一實施例中，可自該剪輯決定表(EDL)得到場景切換的位置。或者，可由人以人工方式輸入場景切換的位置，或由一處理器自動偵測場景切換的位置。
(2)計算且/或產生該場景中之每一圖框的元資料：
a.在可供選擇採用之情形下降取樣(downsample)該影像。(該步驟往往會加速處理，且將一些外圍像素值的影響最小化。)
b.將影像轉換到所需的色空間(color space) (例如，IPT-PQ)。
c.計算該影像(例如，I通道)之最小值。
d.計算該影像(例如，I通道)之最大值。
e.計算該影像(例如，I通道)之平均值。
(3)將該等每一圖框的結果合併為一每一場景的結果：
a.計算每一該等圖框最小值中之最小值。
b.計算每一該等圖框最大值中之最大值。
c.計算每一該等圖框平均值中之平均值值。
(4)使該元資料與該場景相關聯，或替代地使該元資料與該場景內之每一圖框相關聯。
我們應可了解：上述該等實施例之變化是可能的，且在本申請案的範圍下已考慮到該等變化。例如，並不在步驟(2)中分析該場景的每一圖框，而是可選擇單一的代表圖框，且將該單一的代表圖框用於計算且/或產生元資料，然後使該元資料與該整個場景相關聯。
此外，可指示交叉淡化的任一端上的場景之元資料，然後對中間圖框執行內插，而支援交叉淡化。經由一餘弦或類似的函數，此種內插在兩端上可以是線性的或漸近線的。
在步驟(4)之後，可在與正確的視訊框適當地同步之情形下將該元資料插入一編碼位元流中。可規律地重複該元資料，以便容許隨機地進入該位元流。
在又一實施例中，可將某些預先計算出的值包含在該 元資料中，以便有助於將解碼視訊轉換到一所需的色空間(例如，IPT-PQ)。可能希望利用此種方式，這是因為經常在具有定點運算的處理器之裝置上執行該轉換，此種裝置可能不善於執行諸如除法及指數運算等的某些數學運算。使用預先計算出的值且將該等嵌入元資料流中可能是有利的。
場景穩定的元資料/"提前通知"元資料之解碼
在一視訊解碼器上，新的場景元資料可到達與一新場景之第一圖框相同的圖框。或者，該元資料可在該場景的該第一圖框之前到達，以便提供及時將該元資料解碼及解譯的時間，以便可將元資料用於處理視訊。為了改善位元流傳輸中之場景穩定的元資料之強健性，可能希望有該"提前通知元資料"及其他的技術。以個別改善或結合數種改善的方式之數種改善可包含下列各項：(1)在相同的子系統內之每一圖框中重複該元資料；(2)在元資料本體中加入發生在實質上次一圖框的場景切換之指示符/旗標；(3)在元資料本體中加入發生在現行圖框的場景切換之指示符/旗標；(4)加入次一圖框的元資料實質上相同於(或實質上不同於)現行圖框的元資料之指示符/旗標；及/或(5)在元資料本體中加入用於錯誤檢查的資料完整 性(data integrity)欄位(例如，CRC32)。
第5圖示出該提前通知元資料流程圖500之一實施例。在步驟502中，該系統/管線可計算且/或產生基於每一場景之元資料。在步驟504中，可使係為穩定的場景元資料或其他形式的元資料之該元資料與該視訊資料位元流中之該場景相關聯。在步驟506中，該系統/管線然後可在該新場景的實際第一圖框的所需數目(例如，一個或多個)的圖框之前預先加入即將發生的場景改變之一指示。該指示及/或旗標可包含該位元流中將被該DM(或該管線中之其他適當的處理器)注意到的一部分。在步驟508中，該系統可讓該DM(或其他適當的處理器)在該場景改變之前有時間設置參數及/或映射。該額外的時間可讓該系統有機會避免使視訊內容的觀賞者可能不愉快的任何可察覺之人為失真。
此種方法往往會有優於可能不提前接觸場景切換的位置的傳統的穩定元資料方法之改善。例如，如果無法提前知道場景切換，則可能藉由分析視訊資料而即時估計元資料，或者可隨著時間的經過而平滑地改變元資料。此種方式可能導致諸如閃爍、跳動、褪色等的影像人為失真。在另一實施例中，可藉由在來源(例如，在視訊壓縮之前)計算元資料，而減少能力較低的消費裝置所需的計算及因而付出的代價。
第6圖示出被分割為一些場景(場景1至場景N)的視訊資料600之一例子，其中場景又包含一些圖框(例 如，圖框602a)。場景1之圖框602m可具有與該圖框相關聯的一提前通知旗標，因而該DM可以有時間設定參數及/或映射，以便更佳地呈現後續的場景2。
至此已提供了對本發明的一或多個實施例以及玉於解說本發明的原理的各附圖之詳細說明。我們應可了解：係以與這些實施例有關之方式說明本發明，但是本發明不限於任何實施例。本發明之範圍只受限於申請專利範圍，且本發明包含許多替代、修改、及等效物。本說明中述及了許多特定細節，以便提供對本發明的徹底了解。係為了舉例而提供這些細節，且可在沒有這些細節的某些或全部細節之情形下根據申請專利範圍而實施本發明。為了顧及清晰，並未詳細說明與本發明有關的技術領域中習知的技術資料，以便不會非必要地模糊了本發明。

Claims (15)

  1. 一種在用於處理包含複數個場景的視訊流之視訊編碼器中用於使用場景穩定的元資料之方法，該方法包含：在該視訊流中的一組場景內產生與第一場景相關聯的第一組元資料；在該視訊流中的該組場景內產生與第二場景相關聯的第二組元資料；產生場景穩定的元資料；以及在該組場景內使該場景穩定的元資料與該第二場景相關聯。
  2. 如申請專利範圍第1項之方法，其中使用場景切換決定場景，以及場景切換是藉由包括：藉由處理器自動地、手動地、或從剪輯決定表之一或多個場景改變檢測方法所檢測。
  3. 如申請專利範圍第1項之方法，其中在該組場景內產生與第一場景相關聯的第一組元資料包含下列步驟：計算用於該場景中之每一圖框的最低、中間、及最高亮度；以及計算用於該場景之所有圖框之間的該最低、中間、及最高亮度。
  4. 如申請專利範圍第1項之方法，其中產生場景穩定的元資料進一步包含：監視場景內之特徵，以便決定用於該場景之該場景穩 定的元資料。
  5. 如申請專利範圍第1項之方法，其中該第二場景是接續在該第一場景之後。
  6. 如申請專利範圍第1項之方法，其中該第二場景是在該第一場景之前。
  7. 如申請專利範圍第1項之方法，其中使該場景穩定的元資料與該第二場景相關聯之該步驟進一步包含：在該第二場景內重複用於每一圖框的該元資料。
  8. 如申請專利範圍第1項之方法，其中使該場景穩定的元資料與該第二場景相關聯進一步包含：在該第一場景中之該次一圖框中實質地加入場景切換的指示。
  9. 如申請專利範圍第1項之方法，其中使該場景穩定的元資料與該第二場景相關聯進一步包含：在該現行圖框中加入場景切換的指示。
  10. 一種在用於處理包含複數個場景的視訊流之視訊解碼器中用於使用場景穩定的元資料之方法，該方法包含下列步驟：接收一輸入的視訊資料流，該視訊資料流包含一組場景；在現行場景中接收一組場景穩定的元資料；在該輸入的視訊資料流中接收用於第一場景的上行場景改變之進階指示；以及接收與至少一場景相關聯的第一組元資料； 在該第一場景中使該組場景穩定的元資料與視訊圖框相關聯。
  11. 如申請專利範圍第10項之方法，進一步包含下列步驟：在該輸入的視訊資料流中接收用於第二場景的上行場景改變之指示；以及在該第二場景中使該組場景穩定的元資料與視訊圖框相關聯。
  12. 如申請專利範圍第10項之方法，其中該組場景穩定的元資料包含用於場景的最低、中間、及最高亮度。
  13. 如申請專利範圍第10項之方法，其中該組場景穩定的元資料是基於保持場景內之被監視的特徵在可接受的值之範圍內。
  14. 如申請專利範圍第13項之方法，其中該被監視的特徵是一群中之一特徵，該群包含：皮膚色調、發光特徵、暗部特徵、及色彩特徵。
  15. 如申請專利範圍第10項之方法，進一步包含：在用於該第一場景的該上行場景改變之前在該第一場景中預備用於顯示圖框的顯示管理參數。
TW105113276A 2013-07-30 2014-07-28 用於產生場景穩定的元資料之系統和方法 TWI555392B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201361859956P 2013-07-30 2013-07-30

Publications (2)

Publication Number Publication Date
TW201630429A TW201630429A (zh) 2016-08-16
TWI555392B true TWI555392B (zh) 2016-10-21

Family

ID=51392348

Family Applications (2)

Application Number Title Priority Date Filing Date
TW105113276A TWI555392B (zh) 2013-07-30 2014-07-28 用於產生場景穩定的元資料之系統和方法
TW103125711A TWI542206B (zh) 2013-07-30 2014-07-28 用於產生場景穩定的元資料之系統和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW103125711A TWI542206B (zh) 2013-07-30 2014-07-28 用於產生場景穩定的元資料之系統和方法

Country Status (10)

Country Link
US (2) US9607658B2 (zh)
EP (2) EP3425899B1 (zh)
JP (2) JP6227778B2 (zh)
KR (2) KR101775938B1 (zh)
CN (2) CN108831511B (zh)
BR (1) BR122020018850B1 (zh)
HK (2) HK1259138A1 (zh)
RU (1) RU2627048C1 (zh)
TW (2) TWI555392B (zh)
WO (1) WO2015017314A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2989793B1 (en) 2013-11-13 2017-04-05 Dolby Laboratories Licensing Corporation Workflow for content creation and guided display management of enhanced dynamic range video
US10009632B2 (en) * 2014-03-05 2018-06-26 Qualcomm Incorporated Flicker detection and mitigation in video coding
JP6421504B2 (ja) * 2014-07-28 2018-11-14 ソニー株式会社 画像処理装置及び画像処理方法
WO2016056787A1 (en) * 2014-10-06 2016-04-14 Samsung Electronics Co., Ltd. Display device and method of controlling the same
CN112511833A (zh) 2014-10-10 2021-03-16 索尼公司 再现装置
WO2016129891A1 (ko) * 2015-02-11 2016-08-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10430664B2 (en) * 2015-03-16 2019-10-01 Rohan Sanil System for automatically editing video
KR101974137B1 (ko) * 2015-05-11 2019-08-23 삼성전자주식회사 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
EP3295451B1 (en) 2015-05-12 2020-07-01 Dolby Laboratories Licensing Corporation Metadata filtering for display mapping for high dynamic range images
GB201511450D0 (en) * 2015-06-30 2015-08-12 British Broadcasting Corp Audio-video content control
EP3185570A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method and apparatus for transmission-based smoothing of rendering
US10167694B2 (en) * 2016-08-31 2019-01-01 Weatherford Technology Holdings, Llc Pressure control device, and installation and retrieval of components thereof
US10847073B2 (en) * 2016-10-17 2020-11-24 Huawei Technologies Co., Ltd. Image display optimization method and apparatus
EP3316248A1 (en) * 2016-10-28 2018-05-02 Thomson Licensing Method for adapting a luminance of a multimedia content, corresponding computer program product and apparatus
US10438124B2 (en) 2017-01-25 2019-10-08 Centurylink Intellectual Property Llc Machine discovery of aberrant operating states
US10346756B2 (en) 2017-01-25 2019-07-09 Centurylink Intellectual Property Llc Machine discovery and rapid agglomeration of similar states
EP3697098A1 (en) * 2017-10-12 2020-08-19 Sony Corporation Image processing device, image processing method, transmission device, transmission method and reception device
KR102413839B1 (ko) 2017-11-15 2022-06-28 삼성전자 주식회사 컨텐츠 제공장치, 그 제어방법 및 기록매체
US10657627B2 (en) 2018-01-23 2020-05-19 Gopro, Inc. Temporal smoothing in image capture systems
US10298895B1 (en) 2018-02-15 2019-05-21 Wipro Limited Method and system for performing context-based transformation of a video
US11030728B2 (en) * 2018-05-29 2021-06-08 Apple Inc. Tone mapping techniques for increased dynamic range
KR102369148B1 (ko) 2018-06-18 2022-03-02 돌비 레버러토리즈 라이쎈싱 코오포레이션 이미지 캡처 방법 및 시스템
KR102572432B1 (ko) * 2018-07-03 2023-08-30 삼성전자주식회사 디스플레이장치 및 그 제어방법과 기록매체
GB2578625A (en) * 2018-11-01 2020-05-20 Nokia Technologies Oy Apparatus, methods and computer programs for encoding spatial metadata
US11184551B2 (en) * 2018-11-07 2021-11-23 Canon Kabushiki Kaisha Imaging apparatus and control method thereof
JP7246894B2 (ja) * 2018-11-07 2023-03-28 キヤノン株式会社 撮像装置およびその制御方法
CN109525901B (zh) * 2018-11-27 2020-08-25 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
KR102666909B1 (ko) 2019-06-19 2024-05-20 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20210083840A (ko) * 2019-12-27 2021-07-07 삼성전자주식회사 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법
EP4158897A1 (en) * 2020-05-26 2023-04-05 Dolby Laboratories Licensing Corporation Picture metadata for variable frame-rate video
US11930189B2 (en) * 2021-09-30 2024-03-12 Samsung Electronics Co., Ltd. Parallel metadata generation based on a window of overlapped frames
WO2023055736A1 (en) 2021-10-01 2023-04-06 Dolby Laboratories Licensing Corporation Encoding and decoding multiple-intent images and video using metadata
US11734806B2 (en) 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1624391A2 (en) * 2004-08-02 2006-02-08 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
CN101952892A (zh) * 2008-01-31 2011-01-19 汤姆森许可贸易公司 用于外观数据定义和传输的方法和系统
TW201304501A (zh) * 2011-03-15 2013-01-16 Dolby Lab Licensing Corp 影像資料轉換的方法與設備
US8478331B1 (en) * 2007-10-23 2013-07-02 Clearwire Ip Holdings Llc Method and system for transmitting streaming media content to wireless subscriber stations

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724456A (en) * 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
GB9705999D0 (en) * 1997-03-22 1997-05-07 Philips Electronics Nv Video signal analysis and storage
JP3825615B2 (ja) * 2000-08-11 2006-09-27 株式会社東芝 動画像符号化装置および動画像符号化方法およびプログラムを記録した媒体
JP4362265B2 (ja) * 2002-04-05 2009-11-11 ソニー株式会社 映像コンテンツ編集支援システム，記録装置，編集者端末装置，コンピュータプログラム，記録媒体，映像コンテンツ編集支援方法
JP4212290B2 (ja) * 2002-04-08 2009-01-21 オリンパス株式会社 撮像システム
KR100912984B1 (ko) 2002-04-12 2009-08-20 미쓰비시덴키 가부시키가이샤 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치, 메타데이터 배신 방법, 메타데이터 재생성 장치, 메타데이터 재생성 방법
JP4263933B2 (ja) * 2003-04-04 2009-05-13 日本放送協会 映像提示装置、映像提示方法及び映像提示プログラム
CN101032165B (zh) * 2004-08-17 2010-06-16 松下电器产业株式会社 制作装置、制作方法
JP4954901B2 (ja) * 2005-02-07 2012-06-20 トムソン ライセンシング ２４Ｈｚフレーム周波数のビデオ信号に基づくオーディオ／ビデオ・データに関係するビデオ信号および一つまたは複数のオーディオ信号を再生するための方法および装置
JP4536015B2 (ja) * 2005-02-14 2010-09-01 富士フイルム株式会社 輝度変換曲線作成装置および方法，ならび輝度変換曲線作成プログラム
JP2006331591A (ja) * 2005-05-30 2006-12-07 Sony Corp 情報処理装置および方法、並びにプログラム
US7656462B2 (en) * 2005-06-17 2010-02-02 Martin Weston Systems and methods for modifying master film for viewing at different viewing locations
JP4592652B2 (ja) * 2005-09-09 2010-12-01 株式会社東芝 電子透かし埋め込み装置及び方法、電子透かし検出装置及び方法、並びにプログラム
US7639893B2 (en) * 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping
US8458595B1 (en) * 2006-05-31 2013-06-04 Adobe Systems Incorporated Video editing including simultaneously displaying timelines and storyboards
JP4197014B2 (ja) * 2006-07-18 2008-12-17 株式会社日立製作所 映像の検索方法および装置
EP2063635A4 (en) * 2006-09-12 2009-12-09 Panasonic Corp CONTENT IMAGE FORMATION DEVICE
US20080195977A1 (en) * 2007-02-12 2008-08-14 Carroll Robert C Color management system
US20080242988A1 (en) * 2007-03-28 2008-10-02 Tetsuya Yoshida Ultrasound diagnostic apparatus, ultrasound image processing apparatus, and ultrasound image processing method
US8237864B2 (en) 2007-11-12 2012-08-07 Cyberlink Corp. Systems and methods for associating metadata with scenes in a video
ES2389458T3 (es) 2008-07-10 2012-10-26 The University Of Warwick Métodos y dispositivos para la compresión de datos de vídeo HDR
JP5004305B2 (ja) * 2008-09-04 2012-08-22 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび記録媒体
MX2010011683A (es) * 2009-02-19 2010-11-30 Panasonic Corp Medio de grabacion, dispositivo de reproduccion y circuito integrado.
BRPI1009443B1 (pt) 2009-03-13 2021-08-24 Dolby Laboratories Licensing Corporation Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada
JP5493531B2 (ja) 2009-07-17 2014-05-14 三菱電機株式会社 映像音声記録再生装置および映像音声記録再生方法
KR101428504B1 (ko) * 2010-02-22 2014-08-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 비트스트림에 임베딩된 메타데이터를 이용하는 렌더링 제어부를 갖는 비디오 디스플레이
US9226048B2 (en) 2010-02-22 2015-12-29 Dolby Laboratories Licensing Corporation Video delivery and control by overwriting video data
WO2011106247A2 (en) 2010-02-24 2011-09-01 Dolby Laboratories Licensing Corporation Display management methods and apparatus
JP2011223054A (ja) * 2010-04-02 2011-11-04 Canon Inc 画像処理装置および画像処理方法
US8928686B2 (en) 2010-06-08 2015-01-06 Dolby Laboratories Licensing Corporation Tone and gamut mapping methods and apparatus
CN103098453B (zh) 2010-09-13 2016-12-21 杜比实验室特许公司 使用色域外颜色坐标的数据传输
US9113130B2 (en) * 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
EP2498499B1 (en) 2011-03-08 2018-04-18 Dolby Laboratories Licensing Corporation Interpolation of color gamut for display on target display
HUE058712T2 (hu) * 2011-05-27 2022-09-28 Dolby Laboratories Licensing Corp Skálázható rendszerek színkezelés vezérlésére, amelyek változó szintû metaadatokat tartalmaznak
US9035965B2 (en) 2011-12-06 2015-05-19 Dolby Laboratories Licensing Corporation Metadata for use in color grading
TWI556629B (zh) 2012-01-03 2016-11-01 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
JP6236148B2 (ja) * 2013-10-02 2017-11-22 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｈｄｍｉを介したディスプレイマネジメントメタデータの送信
EP2989793B1 (en) * 2013-11-13 2017-04-05 Dolby Laboratories Licensing Corporation Workflow for content creation and guided display management of enhanced dynamic range video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1624391A2 (en) * 2004-08-02 2006-02-08 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
US8478331B1 (en) * 2007-10-23 2013-07-02 Clearwire Ip Holdings Llc Method and system for transmitting streaming media content to wireless subscriber stations
CN101952892A (zh) * 2008-01-31 2011-01-19 汤姆森许可贸易公司 用于外观数据定义和传输的方法和系统
TW201304501A (zh) * 2011-03-15 2013-01-16 Dolby Lab Licensing Corp 影像資料轉換的方法與設備

Also Published As

Publication number Publication date
TW201521435A (zh) 2015-06-01
CN105409203A (zh) 2016-03-16
BR112016001639A2 (pt) 2017-08-01
JP2018042253A (ja) 2018-03-15
KR20170021384A (ko) 2017-02-27
US9607658B2 (en) 2017-03-28
RU2627048C1 (ru) 2017-08-03
EP3028446A1 (en) 2016-06-08
CN108831511B (zh) 2020-10-23
KR20160027975A (ko) 2016-03-10
US20160254028A1 (en) 2016-09-01
KR102051798B1 (ko) 2019-12-04
HK1217068A1 (zh) 2016-12-16
US10553255B2 (en) 2020-02-04
WO2015017314A1 (en) 2015-02-05
JP2016528826A (ja) 2016-09-15
KR101775938B1 (ko) 2017-09-07
TW201630429A (zh) 2016-08-16
JP6334799B2 (ja) 2018-05-30
TWI542206B (zh) 2016-07-11
RU2016102884A (ru) 2017-08-03
HK1259138A1 (zh) 2019-11-29
EP3425899A1 (en) 2019-01-09
CN105409203B (zh) 2018-07-31
JP6227778B2 (ja) 2017-11-08
CN108831511A (zh) 2018-11-16
EP3425899B1 (en) 2019-12-25
BR122020018850B1 (pt) 2023-01-31
US20170125063A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
TWI555392B (zh) 用於產生場景穩定的元資料之系統和方法
JP5588022B2 (ja) 表示サブシステムにビデオデータを提供する方法、およびシステム
JP5577415B2 (ja) ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示
CN109219844B (zh) 在视频优先级与图形优先级之间转换
US10297086B2 (en) System and method for processing digital video
US10834158B1 (en) Encoding identifiers into customized manifest data
US11089359B1 (en) Systems and methods for persisting in-band metadata within compressed video files
KR102653767B1 (ko) 하이 다이내믹 레인지를 위한 비디오 콘텐츠 타입 메타데이터
BR112016001639B1 (pt) Sistema para gerar metadados estabilizados de cena
CN117528138A (zh) 一种基于pntr加密的虚拟制片视频母片编码系统及方法