TWI528831B - 尺寸可調視訊的層間殘相預測之方法及裝置 - Google Patents

尺寸可調視訊的層間殘相預測之方法及裝置 Download PDF

Info

Publication number
TWI528831B
TWI528831B TW097139609A TW97139609A TWI528831B TW I528831 B TWI528831 B TW I528831B TW 097139609 A TW097139609 A TW 097139609A TW 97139609 A TW97139609 A TW 97139609A TW I528831 B TWI528831 B TW I528831B
Authority
TW
Taiwan
Prior art keywords
tone mapping
block
prediction
layer
inter
Prior art date
Application number
TW097139609A
Other languages
English (en)
Other versions
TW200935914A (en
Inventor
尹平
羅堅康
高永英
吳郁文
Original Assignee
湯普生證照公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯普生證照公司 filed Critical 湯普生證照公司
Publication of TW200935914A publication Critical patent/TW200935914A/zh
Application granted granted Critical
Publication of TWI528831B publication Critical patent/TWI528831B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

尺寸可調視訊的層間殘相預測之方法及裝置
本原理一般係關於視訊編碼及解碼，且更特定言之，係關於尺寸可調視訊的層間殘相預測之方法及裝置。
此申請案主張於2007年10月15日申請的美國臨時申請案序號60/979,956之利益，該申請案係全部以引用方式併入本文中。此外，此申請案係關於非臨時申請案，其律師檔案號碼為PU080157，名稱為尺寸可調視訊的層間殘相預測之方法及裝置，該申請案亦主張於2007年10月15日申請的美國臨時申請案序號60/979,956之利益，而且係共同讓渡、以引用方式併入本文中並與本發明同時申請。
亦可替換地稱為「色彩深度」及/或「像素深度」的「位元深度」指用以保持一像素的位元之數目。位元深度決定可一次加以顯示的色彩之最大數目。近年來，具有大於八的位元深度之數位影像及/或數位視訊係更為許多應用領域所期望，該等領域包括但不限於醫療影像處理、製作及後期製作中的數位電影工作流程、家庭影院相關應用等等。
存在若干方式用以處理(例如)8位元視訊及10位元視訊之共存。在第一先前技術解決方式中，僅傳輸一10位元編碼位元流而且藉由施加色調映射方法於10位元呈現來獲得對標準8位元顯示器件的8位元表示。色調映射係已知的技術，其用以將較高位元深度轉換為較低位元深度，通常至接近具有更有限動態範圍之媒體中的高動態範圍影像之出現。
在一第二先前技術解決方式中，傳輸一聯播位元流，其包括8位元編碼表示及10位元編碼表示。在選擇哪一位元深度來解碼中，優先選擇該解碼器。例如，一10位元能動解碼器可解碼並輸出一10位元視訊，而支持僅8位元視訊的一正常解碼器僅可輸出一8位元視訊。
該第一解決方式係固有地與國際標準化組織/國際電技術委員會(ISO/IEC)動畫專家群4(MPEG-4)第10部分先進視訊編碼(AVC)標準/國際電信聯盟，電信部門(ITU-T)H.264推薦(以下稱為「MPEG-4 AVC標準」)之8位元設定檔不相容。該第二解決方式係與所有當前標準相容但是需要較多附加項。然而，位元減少與向後標準相容性之間的良好折衷可以係尺寸可調解決方式。亦瞭解為MPEG-4 AVC標準之尺寸可調擴大的尺寸可調視訊編碼(SVC)考量支持位元深度尺寸可調性。
存在位元深度尺寸可調編碼優於後處理或聯播的至少三個優點。一第一優點係，位元深度尺寸可調編碼採用MEG-4 AVC標準之高設定檔以向後相容方式致能10位元視訊。一第二優點係，位元深度尺寸可調編碼致能採用不同網路頻寬或器件能力。位元深度尺寸可調編碼之一第三優點係，其提供低複雜性、高效率以及高靈活性。
在MPEG-4 AVC標準之當前尺寸可調視訊編碼擴大中，單一迴路解碼經支持用以減小解碼複雜性。當前空間或粗粒尺寸可調(CGS)層僅需要交互編碼巨集區塊之完全解碼，包括運動補償預測及解鎖。此係藉由約束對採用內部巨集區塊編碼的較低層圖像之該些部分的層間紋理內預測來實現。為擴大對位元深度尺寸可調性的層間紋理內預測，使用反色調映射。尺寸可調視訊編碼亦支持層間殘相預測。因為一般地在像素(空間)域中使用色調映射，所以極難以在殘相域中發現對應反色調映射。在第三及第四先前技術方法中，將位元偏移用於層間殘相預測。
在稱為係用以增加用於單一迴路解碼的層間編碼效率而無需位元深度尺寸可調性之技術的平化參考預測(SRP)之第五先前技術方法中，當設定語法元素residual_prediction_flag以及base_mode_flag兩者時傳送一位元語法元素smoothed_reference_flag。當smoothed_reference_flag係等於一時，在該解碼器中採取下列步驟以獲得重建視訊區塊：
1.　使用自基礎層的增強層參考圖框以及向上取樣運動向量獲得預測區塊P ；
2.　向上取樣對應基礎層殘相區塊rb 並且將U(rb )添加至P以形成P+U(r b )；
3.　首先在水平方向上並接著在垂直方向上施加帶有分接頭[1、2、1]的平化濾波器，以獲得S(P+U(r b ))；以及
4.將增強層殘相區塊添加至(3)以獲得重建區塊R=S(P+U(r b ))+r e 。
參考圖1，一般由參考數字100指示使用平化參考預測的一解碼器之一部分。
解碼器部分100包括一運動補償器112，其具有與一組合器132之一第一非反相輸入進行信號通信的一輸出。組合器132之一輸出係與一開關142之一輸入進行信號通信連接。開關142之一第一輸出係與一組合器162之一第一非反相輸入進行信號通信連接。開關142之一第二輸出係與一濾波器152之輸入進行信號通信連接。濾波器152之一輸出係與組合器162之第一非反相輸入進行信號通信連接。
一參考圖框緩衝器122之一輸出係與運動補償器112之一第一輸入進行信號通信連接。
運動補償器112之一第二輸入可用作至解碼器部分100的一輸入，以接收增強層運動向量。運動補償器112之一第三輸入可用作至解碼器部分100的一輸入，以接收向上取樣基礎層運動向量。組合器132之一第二非反相輸入可用作解碼器部分100之一輸入，以接收一向上取樣基礎層殘相。開關142之一控制輸入可用作解碼器部分100之一輸入，以接收一smoothed_reference_flag語法元素。組合器162之一第二非反相輸入可用作解碼器部分100之一輸入，以接收一增強層殘相。組合器162之一輸出可用作解碼器部分100之一輸出，以輸出一重建區塊R。
然而，前述先前技術不利地不能直接用於位元深度尺寸可調性。
藉由關於尺寸可調視訊的層間殘相預測之方法及裝置的本原理來解決先前技術之此等及其他缺點與不利條件。
依據本原理之一態樣，提供一裝置。該裝置包括藉由施加反色調映射於用於一圖像之一區塊的層間殘相預測程序來編碼該區塊之編碼器。在像素域中實行反色調映射以支持位元深度尺寸可調性。
依據本原理之另一態樣，提供一方法。該方法包括藉由施加反色調映射於用於一圖像之一區塊的層間殘相預測程序來編碼該區塊。在像素域中實行反色調映射以支持位元深度尺寸可調性。
依據本原理之另一態樣，提供一裝置。該裝置包括藉由施加反色調映射於用於一圖像之一區塊的層間殘相預測程序來解碼該區塊之解碼器。在像素域中實行反色調映射以支持位元深度尺寸可調性。
依據本原理之另一態樣，提供一方法。該方法包括藉由施加反色調映射於用於一圖像之一區塊的層間殘相預測程序來解碼該區塊。在像素域中實行反色調映射以支持位元深度尺寸可調性。
從結合附圖閱讀的範例性具體實施例之下列詳細說明，將明白本原理之此等及其他態樣、特徵及優點。
本原理係關於尺寸可調視訊的層間殘相預測之方法及裝置。
本說明解說本原理。因此應瞭解，熟習此項技術者將能夠設計各種配置，其儘管未在本文中加以明確說明或顯示，但是體現本原理而且係包括在其精神及範疇內。
本文中敘述的所有範例及條件語言係基於教導目的預計用以協助讀者瞭解本原理及由發明者貢獻的概念以促進該技術，而且將視為不限於如此明確敘述的範例及條件。
此外，本文中敘述本原理之原理、態樣及具體實施例，以及其特定範例的所有陳述係預計包含其結構及功能等效物兩者。此外，預計此類等效物包括當前已知的等效物以及將來開發的等效物兩者，即實行同一功能而不管結構的任何開發元件。
因此，例如，熟習此項技術者應瞭解，本文中呈現的方塊圖表示體現本原理的解說性電路之概念圖。同樣地，應瞭解，明確地顯示任何流程圖表、流程圖、狀態轉變圖、虛擬碼及表示各種程序的類似物，其可實質上加以表示在電腦可讀取媒體中並由一電腦或處理器(不管是否為此電腦或處理器)如此執行。
可透過使用專用硬體以及能夠與適當軟體相關聯執行軟體之硬體來提供該等圖式中所示的各種元件之功能。當由一處理器提供時，該等功能可由一單一專用處理器、由一單一共用處理器，或由複數個個別處理器(該等處理器之某些可共用)來提供。此外，術語「處理器」或「控制器」的明確使用不應理解為專指能夠執行軟體的硬體，並可含蓄地包括但不限於數位信號處理器(「DSP」)硬體、用於儲存軟體的唯讀記憶體(「ROM」)、隨機存取記憶體(「RAM」)以及非揮發性儲存器。
亦可包括其他傳統與/或自訂的硬體。同樣地，該等圖式中所示的任何開關僅係概念上的。其功能可透過程式邏輯之操作、透過專用邏輯、透過程式控制及專用邏輯之相互作用實現，或甚至手動實現，可由實施者選擇特定技術，如從內容更明確地瞭解。
在其申請專利範圍中，任何表達為用於實施一指定功能之構件的元件係預計包含實施該功能的任何方式，其包括，例如，a)實施該功能的電路元件之組合或b)任何形式的軟體，因此包括與適當電路組合以執行該軟體來實施該功能的韌體、微碼或類似物。如由此類申請專利範圍定義的本原理在於以下事實：由各種敘述的構件提供的官能度係以申請專利範圍要求之方式加以組合並集合。因此認為可提供此等官能度的任何構件係等效於本文中所示者。
說明書中對本原理之「一項具體實施例」或「一具體實施例」的參考意指結合具體實施例說明的特定特徵、結構或特性等等係包括在本原理之至少一項具體實施例中。因此，出現在整個說明書各處的「在一項具體實施例中」或「在一具體實施例中」之出現不一定全部指同一項具體實施例。此外，片語「在另一具體實施例中」並不排除說明的具體實施例之主旨完全或部分地與另一具體實施例組合。
應瞭解使用術語「及/或」以及「其之至少一個」，例如在「A及/或B」以及「A及B之至少一個」的情況下，係預計包含僅選擇第一列舉選項(A)，或僅選擇第二列舉選項(B)，或選擇二個選項(A及B)。作為另一範例，在「A、B及/或C」以及「A、B及C之至少一個」情況下，此片語係預計包含僅選擇第一列舉選項(A)，或僅選擇第二列舉選項(B)，或僅選擇第三列舉選項(C)，或僅選擇第一及第二列舉選項(A及B)，或僅選擇第一及第三列舉選項(A及C)，或僅選擇第二及第三列舉選項(B及C)，或選擇所有三個選項(A及B及C)。此可加以擴大，如由熟習此及相關技術者針對許多列舉項目所輕易瞭解。
此外，應瞭解雖然本原理之一或多個具體實施例係在本文中相對於MPEG-4 AVC標準之尺寸可調視訊編碼擴大來說明，但是本原理並非單獨地限於此擴大及/或此標準，並因此可相對於其他視訊編碼標準、推薦及其擴大加以利用，同時維持本原理之精神。
此外，應瞭解雖然本文下列說明相對於高位元視訊之一或多個範例使用10位元視訊，但是本原理係適用於大於八之任何數目的位元，包括但不限於(例如)12位元、14位元等等。
如本文中所用，「高階語法」指階層上在巨集區塊層以上之位元流中存在的語法。例如，如本文中使用的高階語法可指但不限於片段標頭層級、補充增強資訊(SEI)層級、圖像參數集(PPS)層級、序列參數集(SPS)層級以及網路擷取層(NAL)單元標頭層級處的語法。
如以上所備註，本原理係關於尺寸可調視訊的層間殘相預測之方法及裝置。
參考圖2，一般由參考數字200指示本原理可應用的範例性視訊編碼器。
編碼器200包括具有與一變換器210之一輸入進行信號通信的一輸出之一組合器205。變換器210之一輸出係與一量化器215之一輸入進行信號通信連接。該量化器之一輸出係在與一熵編碼器220之一第一輸入以及一反量化器225之一輸入進行信號通信中連接。反量化器225之一輸出係與一反變換器230之一輸入進行信號通信連接。反變換器230之一輸出係與一組合器235之一第一非反相輸入進行信號通信連接。組合器235之一輸出係與一迴路濾波器240之一輸入進行信號通信連接。迴路濾波器240之一輸出係與一運動估計器及層間預測決定器245之一第一輸入進行信號通信連接。運動估計器或層間預測決定器245之一輸出係與熵編碼器220之一第二輸入以及一運動補償器255之一輸入進行信號通信連接。運動補償器255之一輸出係與一色調映射器260之一輸入進行信號通信連接。色調映射器260之一輸出係與一組合器270之一第一非反相輸入進行信號通信連接。組合器270之一輸出係與一平化濾波器275之一輸入進行信號通信連接。平化濾波器275之一輸出係與一反色調映射器280之一輸入進行信號通信連接。反色調映射器280之一輸出係與組合器235之一第二非反相輸入以及組合器105之一反相輸入進行信號通信連接。向上取樣器250之一輸出係與運動估計器及層間預測決定器245之一第二輸入進行信號通信連接。向上取樣器265之一輸出係與組合器270之一第二非反相輸入進行信號通信連接。
組合器205之一輸入可用作編碼器200之一輸入，以接收高位元深度圖像。向上取樣器250之一輸入可用作編碼器200之一輸入，以接收一基礎層運動向量。向上取樣器265之一輸入可用作編碼器200之一輸入，以接收一低位元深度基礎層殘相。熵編碼器220之一輸出可用作編碼器200之一輸出，以輸出一位元流。
參考圖3，一般由參考數字300指示本原理可應用的範例性解碼器。
解碼器300包括一熵解碼器305，其具有與反量化器310之一輸入進行信號通信的一第一輸出。反量化器310之一輸出係與一反變換器315之一輸入進行信號通信連接。反變換器315之一輸出係與一組合器320之一第一非反相輸入進行信號通信連接。
一熵解碼器305之一第二輸出係與一運動補償器325之一第一輸入進行信號通信連接。運動補償器器325之一輸出係與一色調映射器330之一輸入進行信號通信連接。色調映射器330之一輸出係與一組合器335之一第一非反相輸入進行信號通信連接。組合器335之一輸出係與一平化濾波器340之一第一輸入進行信號通信連接。平化濾波器340之一輸出係與一反色調映射器345之一輸入進行信號通信連接。反色調映射器345之一輸出係與一組合器320之一第二非反相輸入進行信號通信連接。
向上取樣器350之一輸出係與組合器335之一第二非反相輸入進行信號通信連接。向上取樣器355之一輸出係與運動補償器325之一第二輸入進行信號通信連接。
熵解碼器305之一輸入可用作解碼器300之一輸入，以接收一增強層位元流。運動補償器325之一第三輸入可用作解碼器300之一輸入，以接收多個增強層參考圖框。平化參考濾波器340之一第二輸入可用作至解碼器300之一輸入，以接收一平化參考旗標。向上取樣器350之一輸入可用作至解碼器300之一輸入，以接收一低位元深度基礎層殘相。向上取樣器355之一輸入可用作至解碼器300之一輸入，以接收一基礎層運動向量。組合器320之一輸出可用作解碼器300之一輸出，以輸出圖像。
位元深度尺寸可調性係潛在地可用於考量下列事實：在該圖像中的某一點處，傳統8位元深度及高位元深度數位成像系統將同時存在於市場中。
依據本原理之一或多個具體實施例，建議將新技術用於位元深度尺寸可調性(BDS)的層間殘相預測。
在位元深度尺寸可調性中，若使用單一迴路解碼，則當在增強層(較高位元深度層)中實行運動補償時，難以將反色調映射施加於層間殘相預測。因此，依據本原理，呈現新層間殘相預測技術以改良位元深度尺寸可調性之編碼效率。依據本原理之一或多個具體實施例，代替在殘相域中對層間殘相預測進行反色調映射，將反色調映射問題從殘相域轉換為像素域(空間域)以進行層間殘相預測。
基於解說目的，本文中提供一或多個範例，其僅考量位元深度以及一單一迴路解碼架構的使用。然而，應瞭解，在給定本文中提供的本原理之教示情況下，如相對於以上參考範例說明的此類原理可輕易地由熟習此及相關技術的技術者擴大為組合式尺寸可調性，包括但不限於(例如)位元深度及空間尺寸可調性等等。此外，本原理可輕易地應用於多個迴路解碼架構。當然，本原理並非限於前述應用及變化，而且因此如熟習此及相關技術的技術者所輕易決定的其他應用及變化亦可相對於本原理加以使用，同時維持本原理之精神。
因此，在一具體實施例中，若使用層間殘相預測，則在從基礎層添加色調映射運動補償預測及向上取樣殘相之後施加反色調映射。對於僅位元深度尺寸可調性，空間向上取樣因數係1。
因此，依據一具體實施例的編碼方法之一範例係如下：
1.　使用增強層參考圖框獲得預測區塊P並且將P色調映射於基礎層中，得到T(P) ；
2.　在空間上向上取樣對應基礎層殘相區塊r b 並且將U(r b )添加至P以形成T(P) +U(r b )
3.　使用一濾波器，以獲得S(T(P) +U(r b ))；
4.接著施加反色調映射，以獲得T -1 (S(T(P) +U(r b )))；以及
5.　藉由從增強層區塊O減去(4)來產生增強層殘相區塊r e ，r e =O-T -1 (S(T(P) +U(r b )))。
參考圖4，一般由參考數字400指示將層間殘相預測用於位元深度尺寸可調性來編碼的範例性方法。
方法400包括開始方塊405，其傳遞控制至決策方塊410。決策方塊410決定是否施加層間運動預測。若是，則將控制傳遞至功能方塊415。否則，將控制傳遞至功能方塊425。
功能方塊415使用一基礎層運動向量，並將控制傳遞至功能方塊420。功能方塊420向上取樣一基礎層運動向量，並將控制傳遞至功能方塊430。
功能方塊425使用一增強層運動向量，並將控制傳遞至功能方塊430。
功能方塊430得到運動補償區塊P，並將控制傳遞至功能方塊435。功能方塊435對P實行色調映射以獲得一低位元深度T(P)，並將控制傳遞至功能方塊440。功能方塊440讀取基礎層紋理殘相rb ，並將控制傳遞至功能方塊445。功能方塊445計算P'=T(P)+rb ，並將控制傳遞至決策方塊450。決策方塊450決定是否施加一平化參考。若是，則將控制傳遞至功能方塊455。否則，將控制傳遞至功能方塊460。
功能方塊455對P'施加平化濾波器，並將控制傳遞至功能方塊460。
功能方塊460對P'實行反色調映射以獲得一高位元深度預測T-1 (P')，並將控制傳遞至功能方塊465。功能方塊465從高位元深度預測T-1 (P')減去色調映射與反色調映射操作之間的誤差值，並將控制傳遞至功能方塊470。功能方塊470藉由從原始圖像減去T-1 (P')來獲得增強層殘相re ，其中re =O-T-1 (P')，O表示原始圖像，而且將控制傳遞至結束方塊499。
依據一具體實施例的解碼方法之一範例係如下：
1.　使用增強層參考圖框獲得預測區塊P並且將P色調映射於基礎層中，得到T(P) ；
2.　在空間上向上取樣對應基礎層殘相區塊r b 並且將U(r b )添加至P以形成T(P) +U(r b )；
3.　使用一濾波器，以獲得S(T(P)+U(rb ))；4.　接著施加反色調映射，以獲得T -1 (S(T(P) +U(r b )))；以及
5.　將增強層殘相區塊添加至(4)以獲得重建區塊R =T -1 (S(T(P) +U(r b )))+r e 。
參考圖5，一般由參考數字500指示將層間殘相預測用於位元深度尺寸可調性來解碼的範例性方法。
方法500包括開始方塊505，其傳遞控制至決策方塊510。決策方塊510決定是否將層間運動預測旗標設定為正確的。若是，則將控制傳遞至功能方塊515。否則，將控制傳遞至功能方塊525。
功能方塊515讀取並熵解碼一基礎層運動向量，而且將控制傳遞至功能方塊520。功能方塊520向上取樣一基礎層運動向量，並將控制傳遞至功能方塊530。
功能方塊525讀取並熵解碼一增強層運動向量，而且將控制傳遞至功能方塊530。
功能方塊530得到運動補償區塊P，並將控制傳遞至功能方塊535。功能方塊535對P實行色調映射以獲得一低位元深度T(P)，並將控制傳遞至功能方塊540。功能方塊540讀取並熵解碼基礎層紋理殘相rb ，並將控制傳遞至功能方塊545。功能方塊545計算P'=T(P)+rb ，並將控制傳遞至決策方塊550。決策方塊550決定是否將一平化參考旗標設定為正確的。若是，則將控制傳遞至功能方塊555。否則，將控制傳遞至功能方塊560。
功能方塊555對P'施加平化濾波器，並將控制傳遞至功能方塊560。
功能方塊560對P'實行反色調映射以獲得一高位元深度預測T-1 (P')，並將控制傳遞至功能方塊565。功能方塊565在色調映射與反色調映射之間添加一誤差值至高位元深度預測T-1 (P')，並將控制傳遞至功能方塊567。功能方塊567讀取並熵解碼增強層殘相re ，並將控制傳遞至功能方塊570。功能方塊570獲得重建區塊R，其中R=T-1 (P')+re ，並將控制傳遞至結束方塊599。
已在先前技術中提到，可在未使用層間運動預測情況下藉由自增強層的運動向量或在使用層間運動預測情況下採用自基礎層的向上取樣運動向量來產生運動補償區塊P。在本原理之一具體實施例中，允許將技術用於二種情況。在另一具體實施例中，僅當使用層間運動預測時才可組合技術。若未使用層間運動預測，則將位元偏移施加於殘相預測，如在以上參考第三及第四先前技術方法中一樣。
同樣地，可交換第三及第四先前技術方法之方案。即，首先可實行濾波，接著實行反色調映射。或者，首先可實行反色調映射，接著實行濾波。該濾波器可以係線性或非線性的、一維或二維的等等。在一範例中，可首先垂直地，接著水平地使用3分接濾波器[1、2、1]。該濾波器亦可以係相同的，所以不需要第三先前技術程序。
因此，依據本原理之一具體實施例，對色調映射及反色調映射兩方法進行發信。可使用一演算法計算、一查找表及/或其他方式等等來實行發信。可在序列、圖像、片段或區塊層級實行發信。因為色調映射及反色調映射並非真實可逆的，即T -1 (T )≠I ，所以可考量誤差I -T -1 (T )，其中I意指密度。在一具體實施例中，因為T -1 (T(P ))≠P ，所以可考量誤差d =P-T -1 (T(P ))。即在該編碼器中，減去d。在該解碼器中，添加d。
現在說明本發明之許多附帶優點/特徵之某些，以上已提及該等附帶優點/特徵之某些。例如，一個優點/特徵係一裝置具有藉由施加反色調映射於用於一圖像之一區塊的層間殘相預測程序來編碼該區塊之編碼器。在像素域中實行反色調映射以支持位元深度尺寸可調性。
另一優點/特徵係該裝置具有如以上說明的編碼器，其中該編碼器藉由下列方式實行層間殘相預測程序：在該圖像之一增強層中實行運動補償以獲得一增強層預測，對該增強層預測實行色調映射於該圖像之一基礎層中以獲得用於該區塊的色調映射運動補償低位元深度預測，添加自該基礎層的一空間向上取樣殘相至用於區塊的色調映射運動補償低位元深度預測以獲得一總和，以及對該總和實行反色調映射於該增強層中以獲得用於該區塊的較高位元深度預測。
另一優點/特徵係該裝置具有如以上說明的編碼器，其中該編碼器藉由在實行反色調映射之前施加一平化濾波器至該總和來進一步實行層間殘相預測程序。對經濾波的總和實行反色調映射。
另一優點/特徵係該裝置具有如以上說明的編碼器，其中一高階語法元素以及一區塊層級語法元素之至少一項係用以對色調映射及反色調映射之任一者進行發信。
此外，另一優點/特徵係該裝置具有如以上說明的編碼器，其中該高階語法元素係包含在一片段標頭、一序列參數集、一圖像參數集、一檢視參數集、一網路擷取層單元標頭以及一補充增強資訊訊息之至少一項中。
此外，另一優點/特徵係該裝置具有如以上說明的編碼器，其中該編碼器藉由從用於該區塊的較高位元深度預測減去色調映射與反色調映射之間的誤差值來進一步實行層間殘相預測程序。
根據本文之教示，熟習有關技術者可輕易明白本原理之此等以及其他特徵與優點。應瞭解，本原理之教示可在各種形式的硬體、軟體、韌體、專用處理器或其組合中加以實施。
最佳地，本原理之教示係實施為一硬體與軟體之組合。此外，該軟體可實施為有形地體現在一程式儲存單元上之應用程式。該應用程式可上傳至包含任何適當架構之機器上，並由該機器執行。最佳地，該機器係實施於一電腦平台上，該平台具有諸如一或多個中央處理單元(「CPU」)、一隨機存取記憶體(「RAM」)與一輸入/輸出(「I/O」)介面之硬體。該電腦平台亦可包括一作業系統與微指令碼。本文中說明的各種程序及功能可以係由一CPU執行的微指令碼之部分或應用程式之部分或其任何組合。此外，諸如一額外資料儲存單元及一列印單元的各種其他周邊單元可連接至該電腦平台。
應進一步瞭解，因為較佳在軟體中實施附圖中描述的組成系統組件及方法之某些，所以該等系統組件，或處理功能區塊之間的實際連接可以根據程式化本原理所採用的方式而不同。在給定本文中的教示情況下，熟習有關技術者將能預期本原理之此等及類似實施方案或組態。
儘管已參考附圖說明解說性具體實施例，但應瞭解本原理並非限於該些精確具體實施例，而且熟習有關技術者可在其中進行各種變化與修改而不脫離本原理之範疇或精神。所有此類變化及修改係預計包括在如隨附的申請專利範圍所提出的本原理之範疇內。
100．．．解碼器部分
112．．．運動補償器
122．．．參考圖框緩衝器
132．．．組合器
142．．．開關
152．．．濾波器
162．．．組合器
200．．．編碼器
205．．．組合器
210．．．變換器
215．．．量化器
220．．．熵編碼器
225．．．反量化器
230．．．反變換器
235．．．組合器
240．．．迴路濾波器
245．．．運動估計器及層間預測決定器
250．．．向上取樣器
255．．．運動補償器
260．．．色調映射器
265．．．向上取樣器
270．．．組合器
275．．．平化濾波器
280．．．反色調映射器
300．．．解碼器
305．．．熵解碼器
310．．．反量化器
315．．．反變換器
320．．．組合器
325．．．運動補償器
330．．．色調映射器
335．．．組合器
340．．．平化濾波器
345．．．反色調映射器
350．．．向上取樣器
355．．．向上取樣器
可依據下列範例性圖式而較佳地瞭解本原理，在該等圖式中：
圖1係依據先前技術使用平化參考預測的一解碼器之一部分的方塊圖；
圖2係依據本原理之一具體實施例，本原理可應用的一範例性視訊編碼器之方塊圖；
圖3係依據本原理之一具體實施例，本原理可應用的一範例性解碼器之方塊圖；
圖4係依據本原理之一具體實施例，將層間殘相預測用於位元深度尺寸可調性來編碼的一範例性方法之流程圖；以及
圖5係依據本原理之一具體實施例，將層間殘相預測用於位元深度尺寸可調性來解碼的一範例性方法之流程圖。
(無元件符號說明)

Claims (9)

  1. 一種用於層間殘相預測之裝置，其包含：一編碼器(200)，其用於藉由施加反色調映射於用於一圖像之一區塊的一層間殘相預測程序來編碼該區塊，其中在一像素域中實行該反色調映射，其中該編碼器包括：一運動補償器(255)；一色調映射器(260)，其耦合至該運動補償器；一組合器(270)，其耦合至該色調映射器；一向上取樣器(265)，其耦合至該組合器；一反色調映射器(280)，其耦合至該組合器，及其中該編碼器(200)藉由下列方式實行該層間殘相預測程序：該運動補償器(255)在該圖像之一增強層中實行運動補償以獲得一增強層預測，該色調映射器(260)對該增強層預測實行色調映射於該圖像之一基礎層中以獲得用於該區塊的色調映射運動補償低位元深度預測，該組合器(270)添加自該基礎層的一空間向上取樣殘相至用於該區塊的該色調映射運動補償低位元深度預測以獲得一總和，以及該反色調映射器(280)對該總和實行反色調映射於該增強層中以獲得用於該區塊的較高位元深度預測。
  2. 如請求項1之裝置，其進一步包含一耦合至該組合器及該反色調映射器之平化濾波器(275)，其中該編碼器(200)在實行該反色調映射之前藉由該平化濾波器施加一 平化濾波於該總和來進一步實行該層間殘相預測程序，而且其中對該經濾波的總和實行該反色調映射。
  3. 如請求項1之裝置，其中一高階語法元素以及一區塊層級語法元素之至少一項係用以對該色調映射以及該反色調映射之任一者進行發信。
  4. 如請求項1之裝置，其中該編碼器(200)藉由從用於該區塊的該較高位元深度預測減去該色調映射與該反色調映射之間的一誤差值來進一步實行該層間殘相預測程序。
  5. 一種用於層間殘相預測之方法，其包含：藉由施加反色調映射於用於一圖像之一區塊的一層間殘相預測程序來編碼該區塊，其中在一像素域中實行該反色調映射(440、460)，其中該層間殘相預測程序包含：在該圖像之一增強層中實行運動補償以獲得一增強層預測(430)；對該增強層預測實行色調映射於該圖像之一基礎層中以獲得用於該區塊的一色調映射運動補償低位元深度預測(435)；添加自該基礎層的一空間向上取樣殘相至用於該區塊的該色調映射運動補償低位元深度預測以獲得一總和(440、445)；以及對該總和實行該反色調映射於該增強層中以獲得用於該區塊的一較高位元深度預測(460)。
  6. 如請求項5之方法，其中該層間殘相預測程序進一步包含在實行該反色調映射之該步驟之前施加一平化濾波器於該總和，而且其中對該經濾波的總和實行該反色調映射(455)。
  7. 如請求項5之方法，其中一高階語法元素以及一區塊層級語法元素之至少一項係用以對該色調映射以及該反色調映射之任一者進行發信(435、460)。
  8. 如請求項5之方法，其中該層間殘相預測程序進一步包含從用於該區塊的該較高位元深度預測減去該色調映射與該反色調映射之間的一誤差值(465)。
  9. 一種具有在其上編碼的視訊資料之非過渡電腦可讀取儲存媒體，其包含：一圖像之一區塊，其係藉由一包含施加反色調映射於用於該區塊的一層間殘相預測程序之編碼程序來編碼，其中在一像素域中實行該反色調映射，及其中該層間殘相預測程序包含：在該圖像之一增強層中實行運動補償以獲得一增強層預測；對該增強層預測實行色調映射於該圖像之一基礎層中以獲得用於該區塊的一色調映射運動補償低位元深度預測；添加自該基礎層的一空間向上取樣殘相至用於該區塊的該色調映射運動補償低位元深度預測以獲得一總和；以及 對該總和實行該反色調映射於該增強層中以獲得用於該區塊的一較高位元深度預測。
TW097139609A 2007-10-15 2008-10-15 尺寸可調視訊的層間殘相預測之方法及裝置 TWI528831B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US97995607P 2007-10-15 2007-10-15
PCT/US2008/011712 WO2009051694A2 (en) 2007-10-15 2008-10-14 Methods and apparatus for inter-layer residue prediction for scalable video

Publications (2)

Publication Number Publication Date
TW200935914A TW200935914A (en) 2009-08-16
TWI528831B true TWI528831B (zh) 2016-04-01

Family

ID=40493616

Family Applications (2)

Application Number Title Priority Date Filing Date
TW097139609A TWI528831B (zh) 2007-10-15 2008-10-15 尺寸可調視訊的層間殘相預測之方法及裝置
TW097139607A TWI422231B (zh) 2007-10-15 2008-10-15 尺寸可調視訊的層間殘相預測之方法及裝置

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW097139607A TWI422231B (zh) 2007-10-15 2008-10-15 尺寸可調視訊的層間殘相預測之方法及裝置

Country Status (8)

Country Link
US (2) US8537894B2 (zh)
EP (2) EP2206350B1 (zh)
JP (2) JP5534522B2 (zh)
KR (2) KR101436671B1 (zh)
CN (2) CN101822055B (zh)
BR (2) BRPI0817769A2 (zh)
TW (2) TWI528831B (zh)
WO (2) WO2009051692A2 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184693B2 (en) 2008-04-11 2012-05-22 Intel Corporation Adaptive filtering for bit-depth scalable video codec
DK2835976T3 (en) * 2008-04-16 2016-12-05 Ge Video Compression Llc Bit depth scalability
US9681142B2 (en) * 2009-02-03 2017-06-13 Thomson Licensing Dtv Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability
CN102388611B (zh) 2009-02-11 2015-08-19 汤姆森特许公司 使用色调映射和反色调映射的比特深度可分级视频编码和解码的方法和装置
BRPI1009443B1 (pt) * 2009-03-13 2021-08-24 Dolby Laboratories Licensing Corporation Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada
JP5237212B2 (ja) * 2009-07-09 2013-07-17 キヤノン株式会社 画像処理装置、画像処理方法
US20110134315A1 (en) * 2009-12-08 2011-06-09 Avi Levy Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion
CN106878707B (zh) 2011-04-14 2018-05-08 杜比实验室特许公司 多颜色通道多元回归预测算子
US9066070B2 (en) 2011-04-25 2015-06-23 Dolby Laboratories Licensing Corporation Non-linear VDR residual quantizer
US8891863B2 (en) * 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
US9386311B2 (en) * 2011-12-01 2016-07-05 Intel Corporation Motion estimation methods for residual prediction
TWI556629B (zh) * 2012-01-03 2016-11-01 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
WO2013162450A1 (en) * 2012-04-24 2013-10-31 Telefonaktiebolaget L M Ericsson (Publ) Encoding and deriving parameters for coded multi-layer video sequences
US9219913B2 (en) 2012-06-13 2015-12-22 Qualcomm Incorporated Inferred base layer block for TEXTURE—BL mode in HEVC based single loop scalable video coding
JP6060394B2 (ja) * 2012-06-27 2017-01-18 インテル・コーポレーション クロスレイヤー・クロスチャネル残差予測
MX361767B (es) 2012-07-09 2018-12-17 Vid Scale Inc Arquitectura de códec para codificación de video de múltiples capas.
US9420289B2 (en) * 2012-07-09 2016-08-16 Qualcomm Incorporated Most probable mode order extension for difference domain intra prediction
US9516309B2 (en) 2012-07-09 2016-12-06 Qualcomm Incorporated Adaptive difference domain spatial and temporal reference reconstruction and smoothing
CA2807404C (en) * 2012-09-04 2017-04-04 Research In Motion Limited Methods and devices for inter-layer prediction in scalable video compression
US20140086319A1 (en) * 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
CN104854872B (zh) * 2012-12-13 2018-07-20 索尼公司 发送装置、传输方法、接收装置以及接收方法
EP2941891B1 (en) 2013-01-04 2020-09-16 GE Video Compression, LLC Efficient scalable coding concept
US20140192880A1 (en) * 2013-01-04 2014-07-10 Zhipin Deng Inter layer motion data inheritance
US10045041B2 (en) 2013-04-05 2018-08-07 Intel Corporation Techniques for inter-layer residual prediction
CN117956141A (zh) 2013-04-08 2024-04-30 Ge视频压缩有限责任公司 多视图解码器
BR112015029097A2 (pt) * 2013-05-23 2017-07-25 Thomson Licensing método para mapeamento de tons de uma sequência de vídeo
US9497473B2 (en) * 2013-10-03 2016-11-15 Qualcomm Incorporated High precision explicit weighted prediction for video coding
KR20150075040A (ko) 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015098562A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 画像処理装置および方法
KR20150110295A (ko) * 2014-03-24 2015-10-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US10944938B2 (en) * 2014-10-02 2021-03-09 Dolby Laboratories Licensing Corporation Dual-ended metadata for judder visibility control
EP3076669A1 (en) * 2015-04-03 2016-10-05 Thomson Licensing Method and apparatus for generating color mapping parameters for video encoding
WO2023072216A1 (en) * 2021-10-28 2023-05-04 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003278445A1 (en) * 2002-11-13 2004-06-03 Koninklijke Philips Electronics N.V. Transmission system with colour depth scalability
US7295345B2 (en) * 2003-04-29 2007-11-13 Eastman Kodak Company Method for calibration independent defect correction in an imaging system
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US7483486B2 (en) * 2004-07-02 2009-01-27 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for encoding high dynamic range video
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US8483277B2 (en) * 2005-07-15 2013-07-09 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using split update process
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding

Also Published As

Publication number Publication date
CN101822059A (zh) 2010-09-01
WO2009051692A3 (en) 2009-06-04
EP2206350B1 (en) 2015-03-04
CN101822055B (zh) 2013-03-13
TWI422231B (zh) 2014-01-01
EP2206349B1 (en) 2015-03-11
TW200935914A (en) 2009-08-16
WO2009051692A2 (en) 2009-04-23
JP5534521B2 (ja) 2014-07-02
US8537894B2 (en) 2013-09-17
WO2009051694A3 (en) 2009-06-04
JP2011501564A (ja) 2011-01-06
WO2009051694A2 (en) 2009-04-23
KR101492302B1 (ko) 2015-02-23
JP5534522B2 (ja) 2014-07-02
US20100208809A1 (en) 2010-08-19
KR20100081988A (ko) 2010-07-15
US8385412B2 (en) 2013-02-26
KR20100085106A (ko) 2010-07-28
US20100208810A1 (en) 2010-08-19
BRPI0817769A2 (pt) 2015-03-24
JP2011501563A (ja) 2011-01-06
CN101822059B (zh) 2012-11-28
KR101436671B1 (ko) 2014-09-02
TW200935913A (en) 2009-08-16
BRPI0818648A2 (pt) 2015-04-07
EP2206350A2 (en) 2010-07-14
EP2206349A2 (en) 2010-07-14
CN101822055A (zh) 2010-09-01

Similar Documents

Publication Publication Date Title
TWI528831B (zh) 尺寸可調視訊的層間殘相預測之方法及裝置
JP6214511B2 (ja) トーンマッピング及び逆トーンマッピングを利用したビット深度スケーラブル映像符号化及び復号化の方法及び装置
JP5409640B2 (ja) ビット深度スケーラビリティのためのアーティファクト除去のための方法及び装置
JP6416992B2 (ja) ビデオビットストリームをトランスコーディングする方法及び構成
JP5383674B2 (ja) ビット深さスケーラビリティのために向上層残差予測を使ってビデオ・データをエンコードおよび／またはデコードする方法および装置
JP5036826B2 (ja) ビット深度スケーラビリティのためのエンハンスメントレイヤの残差予測を使用したビデオデータを符号化及び／又は復号化する方法及び装置
JP5232796B2 (ja) 適応エンハンスメントレイヤ予測を使用したビット深度スケーラブルなビデオデータを符号化及び／又は復号化する方法及び装置
US9681142B2 (en) Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability
JP5539592B2 (ja) 多階層画像符号化及び復号装置及び方法
KR20160029134A (ko) 시각적 동적범위 부호화 동작 및 파라미터 명시
WO2008007792A1 (en) Methods and systems for combining layers in a multi-layer bitstream