TW202139699A - 動態圖像解碼裝置及動態圖像解碼方法 - Google Patents

動態圖像解碼裝置及動態圖像解碼方法 Download PDF

Info

Publication number
TW202139699A
TW202139699A TW110112251A TW110112251A TW202139699A TW 202139699 A TW202139699 A TW 202139699A TW 110112251 A TW110112251 A TW 110112251A TW 110112251 A TW110112251 A TW 110112251A TW 202139699 A TW202139699 A TW 202139699A
Authority
TW
Taiwan
Prior art keywords
prediction
unit
image
flag
list
Prior art date
Application number
TW110112251A
Other languages
English (en)
Inventor
中條健
豬飼知宏
青野友子
佐佐木瑛一
橋本知典
周天洋
八杉將伸
Original Assignee
日商夏普股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商夏普股份有限公司 filed Critical 日商夏普股份有限公司
Publication of TW202139699A publication Critical patent/TW202139699A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

問題 於B片之移動向量之編碼、解碼中,若設定為於圖像標頭中定義之將L1預測之移動向量之差分值設為零的模式,則不論參照圖像列表構造如何,都不運行對稱移動向量差分模式。當一個圖像內存在複數個片時,根據選擇之參照圖像,編碼效率會明顯變差。 解決手段 本發明之特徵在於:具有將能以圖像單位切換之雙向預測之L1預測之移動向量之差分設為零之模式,當兩個參照圖像列表內可參照之短期參照圖像全部為以前的或未來的圖像時,可應用上述模式。

Description

動態圖像解碼裝置及動態圖像解碼方法
本發明之實施例係關於一種動態圖像編碼裝置、動態圖像解碼裝置、及預測圖像生成裝置。
為了高效地傳輸或記錄動態圖像,使用藉由對動態圖像進行編碼而生成編碼資料之動態圖像編碼裝置、及藉由對該編碼資料進行解碼而生成解碼圖像之動態圖像解碼裝置。
作為具體之動態圖像編碼方式,可列舉例如H.264/AVC或H.265/HEVC(High-Efficiency Video Coding)等。
上述動態圖像編碼方式中,構成動態圖像之圖像(picture)藉由包含片、編碼樹單元(CTU: Coding Tree Unit)、編碼單位(亦有時稱為編碼單元(Coding Unit: CU))、及轉換單元(TU: Transform Unit)之階層構造進行管理,並按每一CU進行編碼/解碼,上述片係藉由對圖像進行分割而得,上述編碼樹單元係藉由對片進行分割而得,上述編碼單位係藉由對編碼樹單元進行分割而得,上述轉換單元係藉由對編碼單位進行分割而得。
此外,上述動態圖像編碼方式中,通常基於藉由對輸入圖像進行編碼/解碼而得之局部解碼圖像來生成預測圖像,對自輸入圖像(原圖像)減去該預測圖像而得之預測誤差(亦有時稱為「差分圖像」或「殘差圖像」)進行編碼。作為預測圖像之生成方法,可列舉畫面間預測(畫面間預測)、及畫面內預測(畫面內預測)。
此外,作為近年來之動態圖像編碼及解碼技術可列舉非專利文獻1。
非專利文獻1中採用如下方法:於B片之移動向量之編碼、解碼中,在圖像標頭中定義有將L1預測之移動向量之差分值設為零之模式。 先前技術文獻 非專利文獻
非專利文獻1:「Versatile Video Coding (Draft 8)」, JVET-P2001-vE, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2020-3-12
發明所欲解決之問題
然而,非專利文獻1記載之方法中,於B片之移動向量之編碼、解碼中,在圖像標頭中定義有將L1預測之移動向量之差分值設為零之模式。但是,若設定該模式,則不論參照圖像列表構造如何,都不運行對稱移動向量差分模式。因此,當一個圖像內存在複數個片時,有如下問題:根據選擇之參照圖像,編碼效率可能會明顯變差。
本發明之一態樣之動態圖像解碼裝置之特徵在於: 具有將能以圖像單位切換之雙向預測之L1預測之移動向量之差分設為零之模式, 當兩個參照圖像列表內可參照之短期參照圖像全部為以前的或者未來的圖像時,可應用將上述L1預測之移動向量差分設為零之模式。
藉由如此構成,即便一個圖像中存在複數個片,亦能高效地編碼、解碼。
本發明之一態樣之動態圖像解碼裝置之特徵在於: 具有預測部,該預測部對包含複數個參照圖像列表之參照圖像列表構造進行解碼,且以圖像單位或者片單位自上述參照圖像列表構造選擇參照圖像列表, 當上述預測部以圖像單位選擇參照圖像列表時,可以圖像單位應用將雙向預測之L1預測之移動向量之差分設為零之模式, 當上述預測部以片單位選擇參照圖像列表時,可以片單位應用將上述L1預測之移動向量之差分設為零之模式。
藉由如此構成,即便一個圖像中存在複數個片,亦能高效地編碼、解碼。 發明之效果
根據本發明之一態樣,可解決上述問題。
(第1實施例)
以下,參照附圖對本發明之實施例進行說明。
圖1係表示本實施例之圖像傳輸系統1之構成之概略圖。
圖像傳輸系統1係傳輸對解像度已轉換之不同解像度之圖像進行編碼而成之編碼串流、並對傳輸之編碼串流進行解碼而將圖像逆轉換為原來的解像度後進行顯示之系統。圖像傳輸系統1包含解像度轉換裝置(解像度轉換部)51、動態圖像編碼裝置(圖像編碼裝置)11、網路21、動態圖像解碼裝置(圖像解碼裝置)31、解像度逆轉換裝置(解像度逆轉換部)61、及動態圖像顯示裝置(圖像顯示裝置)41。
解像度轉換裝置51對動態圖像中所含之圖像T之解像度進行轉換,將包含解像度不同之圖像之可變解像度動態圖像信號供給至圖像編碼裝置11。此外,解像度轉換裝置51將表示圖像有無解像度轉換之資訊供給至動態圖像編碼裝置11。當該資訊表示解像度轉換時,動態圖像編碼裝置將下文將述之解像度轉換資訊ref_pic_resampling_enabled_flag設定為1,使其包含在編碼資料之序列參數集SPS (Sequence Parameter Set)中進行編碼。
動態圖像編碼裝置11中輸入解像度已轉換之圖像T。
網路21將動態圖像編碼裝置11生成之編碼串流Te傳輸至動態圖像解碼裝置31。網路21為網際網路(Internet)、廣域網路(WAN: Wide Area Network)、局域網路(LAN: Local Area Network)或其等之組合。網路21未必限定於雙向之通訊網,亦可為數位地面廣播、衛星廣播等傳輸廣播波之單向之通訊網。此外,網路21亦可由DVD(Digital Versatile Disc:註冊商標)、BD(Blue-ray Disc:註冊商標)等記錄編碼串流Te之記憶媒體代替。
動態圖像解碼裝置31對網路21傳輸之各編碼串流Te進行解碼,生成可變解像度解碼圖像信號並供給至解像度逆轉換裝置61。
當可變解像度解碼圖像信號中所含之解像度轉換資訊表示解像度轉換時,解像度逆轉換裝置61對經解像度轉換之圖像進行逆轉換,從而生成原始尺寸之解碼圖像信號。
動態圖像顯示裝置41上顯示由解像度逆轉換部輸入之解碼圖像信號所表示之1個或複數個解碼圖像Td之全部或一部分。動態圖像顯示裝置41具有例如液晶顯示器、有機EL (Electro-luminescence)顯示器等顯示器件。作為顯示器之形態,可列舉固定型、移動型、HMD      (Head Mounted Display,頭戴式顯示器)等。此外,於動態圖像解碼裝置31具有高處理能力時,顯示畫質高之圖像,於只具有更低處理能力時,顯示無需高處理能力、顯示能力之圖像。 <運算子>
以下記載本說明書中所使用之運算子。
>>為位元右移,<<為位元左移,&為按位元AND,|為按位元OR,|=為OR代入運算子,||表示邏輯和。
x?y:z係於x為真(0以外)之情形時取y,於x為偽(0)之情形時取z之3項運算子。
Clip3(a,b,c)係將c截取為a以上且b以下之值之函數,且係於c<a時返回a,於c>b時返回b,於其他情形時返回c之函數 (然而,a<=b)。
abs(a)係返回a之絕對值之函數。
Int(a)係返回a之整數值之函數。
floor(a)係返回a以下之最大整數之函數。
ceil(a)係返回a以上之最小整數之函數。
a/d表示以d除a之除法運算(小數點以下捨去)。
min(a,b)表示a及b中較小一方之值。 <編碼串流Te之構造>
於詳細說明本實施例之動態圖像編碼裝置11及動態圖像解碼裝置31之前,對藉由動態圖像編碼裝置11生成且藉由動態圖像解碼裝置31解碼之編碼串流Te之資料構造進行說明。
圖4係表示編碼串流Te中之資料之階層構造之圖。編碼串流Te例示性地包含序列、及構成序列之複數個圖像。圖4中,示出表示確定序列SEQ之編碼視訊序列、規定圖像PICT之編碼圖像、規定片S之編碼片、規定片資料之編碼片資料、編碼片資料中所含之編碼樹單元、編碼樹單元中所含之編碼單元之圖。 (編碼視訊序列)
編碼視訊序列中,規定有供動態圖像解碼裝置31參照之資料之集合以將處理對象之序列SEQ解碼。序列SEQ如圖4所示,包含視訊參數集VPS (Video Parameter Set)、序列參數集SPS (Sequence Parameter Set)、圖像參數集PPS (Picture Parameter Set)、Adaptation Parameter Set (APS)、圖像PICT、及、補充增強資訊SEI (Supplemental Enhancement Information)。
視訊參數集VPS於由複數個層構成之動態圖像中,規定有對複數個動態圖像共通之編碼參數之集合及動態圖像中所含之複數個層及各個層關聯之編碼參數之集合。
序列參數集SPS中,規定有供動態圖像解碼裝置31參照之編碼參數之集合以將對象序列解碼。例如規定有圖像之寬度及高度。另外,SPS亦可有複數個。該情形時,自PPS選擇複數個SPS中之任一者。 (編碼圖像)
編碼圖像中,規定有供動態圖像解碼裝置31參照之資料之集合以對處理對象之圖像PICT進行解碼。圖像PICT如圖4所示,包含圖像標頭PH、片0至片NS-1(NS為圖像PICT中所含之片之總數)。
以下,當無須區分各個片0至片NS-1時,有時會省略符號之下標而記述。此外,對於以下說明之編碼串流Te中所含之、附有下標之其他資料亦同樣。 (編碼片)
編碼片中,規定有供動態圖像解碼裝置31參照之資料之集合以對處理對象之片S進行解碼。片如圖4所示,包含片標頭、及片資料。
片標頭中,包含動態圖像解碼裝置31為了決定對象片之解碼方法而參照之編碼參數群。指定片類型之片類型指定資訊(slice_type)為片標頭中所包含之編碼參數之一例。
作為可藉由片類型指定資訊指定之片類型,可列舉(1)編碼時僅使用畫面內預測之I片、(2)編碼時使用單預測(L0預測)、或畫面內預測之P片、(3)編碼時僅使用單預測(參照圖像列表0之L0預測或僅使用參照圖像列表1之L1預測)、雙預測、或使用畫面內預測之B片等。另外,畫面間預測並不限於單預測、雙預測,亦可使用更多參照圖像生成預測圖像。以下,於稱為P、B片時,係指包含可使用畫面間預測之區塊之片。
另外,片標頭亦可包含向圖像參數集PPS之參照 (pic_parameter_set_id)。 (編碼片資料)
編碼片資料中,規定有供動態圖像解碼裝置31參照之資料之集合以對處理對象之片資料進行解碼。片資料如圖4之編碼片標頭所示,包含CTU。CTU係構成片之固定尺寸(例如64×64)之區塊,有時亦稱為最大編碼單位(LCU: Largest Coding Unit)。 (編碼樹單元)
圖4中規定有供動態圖像解碼裝置31參照之資料之集合以對處理對象之CTU進行解碼。CTU藉由遞歸性之4元樹分割(QT (Quad Tree)分割)、2元樹分割(BT (Binary Tree)分割)或者3元樹分割(TT (Ternary Tree)分割)而分割為編碼處理之基本單位即編碼單元CU。將BT分割與TT分割並稱為多元樹分割(MT (Multi Tree)分割)。將藉由遞歸性之4元樹分割而得之樹構造之節點稱為編碼節點(Coding Node)。4元樹、2元樹、及3元樹之中間節點為編碼節點,CTU自身亦被規定為最上位之編碼節點。
CT中,作為CT資訊,包含表示是否進行CT分割之CU分割標記(split_cu_flag)、表示是否進行QT分割之QT分割標記(qt_split_cu_flag)、表示MT分割之分割方向之MT分割方向(mtt_split_cu_vertical_flag)、表示MT分割之分割類型之MT分割類型(mtt_split_cu_binary_flag)。split_cu_flag、qt_split_cu_flag、mtt_split_cu_vertical_flag、mtt_split_cu_binary_flag係針對每一編碼節點而傳輸。
亮度及色差亦可使用不同之樹。樹之類型係以treeType表示。例如,當亮度(Y,cIdx=0)及色差(Cb/Cr,cIdx=1,2)使用共通之樹時,共通之單個樹係以treeType=SINGLE_TREE表示。當亮度及色差使用不同之2個樹(DUAL樹)時,亮度之樹以treeType=DUAL_TREE_LUMA表示,色差之樹以treeType=DUAL_TREE_CHROMA表示。 (編碼單元)
圖4中規定有供動態圖像解碼裝置31參照之資料之集合以對處理對象之編碼單元進行解碼。具體而言,CU包含CU標頭CUH、預測參數、轉換參數、量化轉換係數等。CU標頭中規定有預測模式等。
預測處理有以CU單位進行之情形、及以將CU進一步分割之子CU單位進行之情形。當CU與子CU之尺寸相等時,CU中之子CU為1個。當CU之尺寸大於子CU之尺寸時,CU被分割為子CU。例如當CU為8×8、子CU為4×4時,CU被分割為水平2分割、垂直2分割之4個子CU。
預測之種類(預測模式)有畫面內預測及畫面間預測該2個。畫面內預測係同一圖像內之預測,畫面間預測係指彼此不同之圖像間(例如顯示時間間、層圖像間)進行之預測處理。
轉換・量化處理係以CU單位進行,但量化轉換係數亦可以4×4等子區塊單位進行熵編碼。 (預測參數)
預測圖像係藉由隨附於區塊之預測參數導出。預測參數中有畫面內預測及畫面間預測之預測參數。
以下,將對畫面間預測之預測參數進行說明。畫面間預測參數係由預測列表利用標記predFlagL0、predFlagL1、參照圖像索引refIdxL0、refIdxL1、移動向量mvL0、mvL1構成。predFlagL0、predFlagL1係表示是否使用參照圖像列表(L0列表、L1列表)的標記,值為1時使用對應的參照圖像列表。另外,本說明書中記為「表示是否為XX的標記」時,標記非0(例如1)時視為是XX,標記為0時視為並非XX,於邏輯否定、邏輯積等中將1處理為真,將0處理為偽(以下同樣)。然而,實際之裝置及方法中,真值、偽值亦可採用其他值。
用於導出畫面間預測參數之語法元素有例如合併模式中使用之仿射標記affine_flag、合併標記merge_flag、合併索引merge_idx、MMVD標記mmvd_flag、AMVP模式中使用之用於選擇參照圖像之畫面間預測標識符inter_pred_idc、參照圖像索引refIdxLX、用於導出移動向量之預測向量索引mvp_LX_idx、差分向量mvdLX、移動向量精度模式amvr_mode。 (參照圖像列表)
參照圖像列表係包含參照圖像記憶體306中記憶之參照圖像之列表。圖5係表示參照圖像及參照圖像列表之一例之概念圖。於圖5之表示參照圖像之一例之概念圖中,矩形表示圖像,箭頭表示圖像之參照關係,橫軸表示時間,矩形中之I、P、B分別表示畫面內圖像、單預測圖像、雙預測圖像,矩形中之數字表示解碼順。如圖所示,圖像之解碼順序為I0、P1、B2、B3、B4,顯示順序為I0、B3、B2、B4、P1。圖5中表示圖像B3(對象圖像)之參照圖像列表之例。參照圖像列表係表示參照圖像之候選之列表,1個圖像(片)亦可具有1個以上之參照圖像列表。圖例中,對象圖像B3具有L0列表RefPicList0及L1列表RefPicList1之參照圖像列表。各個CU中,由refIdxLX指定實際參照參照圖像列表RefPicListX(X=0或1)中之哪個圖像。圖係refIdxL0=2、refIdxL1=0之例。另外,LX係不區分L0預測與L1預測時使用之記述方法,以後,藉由將LX替換為L0、L1來區分L0列表對應之參數與L1列表對應之參數。 (合併預測及AMVP預測)
預測參數之解碼(編碼)方法中有合併預測(merge)模式及AMVP(Advanced Motion Vector Prediction、高級運動向量預測)模式,merge_flag係用於對其等進行識別之標記。合併預測模式中,預測列表利用標記predFlagLX、參照圖像索引refIdxLX、移動向量mvLX不包含於編碼資料中,而是根據已處理之附近區塊之預測參數等導出。AMVP模式中,inter_pred_idc、refIdxLX、mvLX包含於編碼資料中。另外,mvLX係作為識別預測向量mvpLX之mvp_LX_idx及差分向量mvdLX而編碼。此外,除合併預測模式之外,還有仿射預測模式、MMVD預測模式。
inter_pred_idc係表示參照圖像之種類及數量之值,可取PRED_L0、PRED_L1、PRED_BI中之任一值。PRED_L0、PRED_L1分別表示使用L0列表、L1列表中管理之1張參照圖像之單預測。PRED_BI表示使用L0列表及L1列表中管理之2張參照圖像之雙預測。
merge_idx係表示將自處理結束之區塊導出之預測參數候選(合併候選)中之任一預測參數用作對象區塊之預測參數之索引。 (移動向量)
mvLX表示不同之2個圖像上之區塊間之移位量。mvLX相關之預測向量、差分向量分別稱為mvpLX、mvdLX。 (畫面間預測標識符inter_pred_idc及預測列表利用標記predFlagLX)
inter_pred_idc與predFlagL0、predFlagL1之關係如下所述,可相互轉換。
inter_pred_idc=(predFlagL1<<1)+predFlagL0 predFlagL0=inter_pred_idc&1 predFlagL1=inter_pred_idc>>1 另外,畫面間預測參數可使用預測列表利用標記,亦可使用畫面間預測標識符。此外,使用預測列表利用標記之判定亦可替換為使用畫面間預測標識符之判定。相反,使用畫面間預測標識符之判定亦可替換為使用預測列表利用標記之判定。 (雙預測biPred之判定)
作為是否為雙預測之標記biPred,可根據2個預測列表利用標記是否均為1而導出。例如可根據下式導出。
biPred=(predFlagL0==1&&predFlagL1==1) 或者,biPred亦可根據畫面間預測標識符是否為表示使用2個預測列表(參照圖像)之值而導出。例如可根據下式導出。
biPred=(inter_pred_idc==PRED_BI)?1:0 (動態圖像解碼裝置之構成) 將對本實施例之動態圖像解碼裝置31(圖6)之構成進行說明。
動態圖像解碼裝置31包含熵解碼部301、參數解碼部(預測圖像解碼裝置)302、迴路濾波器305、參照圖像記憶體306、預測參數記憶體307、預測圖像生成部(預測圖像生成裝置)308、逆量化・逆轉換部311、及加法部312、預測參數導出部320。另外,亦可配合後述之動態圖像編碼裝置11,而使動態圖像解碼裝置31中不包含迴路濾波器305。
參數解碼部302進而具有頭解碼部3020、CT資訊解碼部3021、及CU解碼部3022(預測模式解碼部),CU解碼部3022進而具有TU解碼部3024。亦可將其等統稱為解碼模組。標頭解碼部3020自編碼資料對VPS、SPS、PPS、APS等參數集資訊、片標頭(片資訊)進行解碼。CT資訊解碼部3021自編碼資料將CT解碼。CU解碼部3022自編碼資料對CU進行解碼。當TU含有預測誤差時,TU解碼部3024自編碼資料對QP更新資訊(量化修正值)及量化預測誤差(residual_coding)進行解碼。
當並非跳過模式(skip_mode==0)時,TU解碼部3024自編碼資料對QP更新資訊及量化預測誤差進行解碼。更具體而言,TU解碼部3024於skip_mode==0時,將表示對象區塊中是否含有量化預測誤差之標記cu_cbp解碼,當cu_cbp為1時對量化預測誤差進行解碼。當編碼資料中不存在cu_cbp時,導出為0。
TU解碼部3024自編碼資料將表示轉換基底之索引mts_idx解碼。此外,TU解碼部3024自編碼資料將表示二次轉換之利用及轉換基底之索引stIdx解碼。stIdx為0時表示不適用二次轉換,stIdx為1時表示二次轉換基底之集合(一對)中之一個轉換,stIdx為2時表示上述一對中之另一個轉換。
此外,TU解碼部3024亦可將子區塊轉換標記cu_sbt_flag解碼。cu_sbt_flag為1時,將CU分割為複數個子區塊,僅對特定之1個子區塊進行殘差解碼。進而,TU解碼部3024亦可將表示子區塊之數量是4還是2之標記cu_sbt_quad_flag、表示分割方向之cu_sbt_horizontal_flag、表示含有非零之轉換係數之子區塊之cu_sbt_pos_flag解碼。
預測圖像生成部308包含畫面間預測圖像生成部309及畫面內預測圖像生成部310。
預測參數導出部320包含畫面間預測參數導出部303及畫面內預測參數導出部304。
此外,下文記載使用CTU、CU作為處理單位之例,但並不限於此例,亦能以子CU單位進行處理。或者,亦可將CTU、CU改稱為區塊,將子CU改稱為子區塊,而成為以區塊或者子區塊為單位之處理。
熵解碼部301對自外部輸入之編碼串流Te進行熵解碼,將各個符號(語法元素)進行解碼。熵編碼中存在如下方式,即:使用根據語法元素種類或周圍狀況而自適應地選擇之上下文(概率模型)對語法元素進行可變長編碼之方式;及使用預先規定之表或計算式對語法元素進行可變長編碼之方式。前者之CABAC (Context Adaptive Binary Arithmetic Coding)將指定上下文之CABAC狀態(佔優符號之類型(0 or 1)及概率之概率狀態索引pStateIdx)儲存於記憶體中。熵解碼部301利用段(塊(tile)、CTU行、片)之開頭將所有CABAC狀態初始化。熵解碼部301將語法元素轉換為二進制串流(Bin String),將Bin String之各位元解碼。當使用上下文時,對語法元素之各位元導出上下文索引ctxInc,使用上下文將位元解碼,更新所使用之上下文之CABAC狀態。未使用上下文之位元係以等概率(EP, bypass)解碼,省略ctxInc導出及CABAC狀態。已解碼之語法元素中,存在用於生成預測圖像之預測資訊、及用於生成差分圖像之預測誤差等。
熵解碼部301將已解碼之碼輸出至參數解碼部302。已解碼之碼係指例如預測模式predMode、merge_flag、merge_idx、inter_pred_idc、refIdxLX、mvp_LX_idx、mvdLX、amvr_mode等。對哪個碼進行解碼之控制係基於參數解碼部302之指示進行。 (基本流程)
圖7係對動態圖像解碼裝置31之概略性動作進行說明之流程圖。
(S1100:參數集資訊解碼)標頭解碼部3020自編碼資料將VPS、SPS、PPS等參數集資訊解碼。
(S1200:片資訊解碼)標頭解碼部3020自編碼資料解碼片標頭(片資訊)。
以下,動態圖像解碼裝置31藉由對於對象圖像中所含之各CTU重複進行S1300至S5000之處理而導出各CTU之解碼圖像。
(S1300:CTU資訊解碼)CT資訊解碼部3021自編碼資料將CTU解碼。
(S1400:CT資訊解碼)CT資訊解碼部3021自編碼資料將CT解碼。
(S1500:CU解碼)CU解碼部3022實施S1510、S1520而自編碼資料將CU解碼。
(S1510:CU資訊解碼)CU解碼部3022自編碼資料將CU資訊、預測資訊、TU分割標記split_transform_flag、CU殘差標記cbf_cb、cbf_cr、cbf_luma等解碼。
(S1520:TU資訊解碼)TU解碼部3024於TU中包含預測誤差時,自編碼資料將QP更新資訊及量化預測誤差、轉換索引mts_idx解碼。另外,QP更新資訊係與量化參數QP之預測值即量化參數預測值qPpred之差分值。
(S2000:預測圖像生成)預測圖像生成部308對於對象CU中所含之各區塊,基於預測資訊生成預測圖像。
(S3000:逆量化・逆轉換)逆量化・逆轉換部311對於對象CU中所包含之各TU執行逆量化・逆轉換處理。
(S4000:解碼圖像生成)加法部312藉由將由預測圖像生成部308供給之預測圖像與由逆量化・逆轉換部311供給之預測誤差相加,而生成對象CU之解碼圖像。
(S5000:迴路濾波器)迴路濾波器305對解碼圖像實施解塊濾波、SAO、ALF等迴路濾波而生成解碼圖像。 (畫面間預測參數導出部之構成)
圖9係表示本實施例之畫面間預測參數導出部303之構成之概略圖。畫面間預測參數導出部303基於參數解碼部302輸入之語法元素,參照預測參數記憶體307中記憶之預測參數而導出畫面間預測參數。此外,將畫面間預測參數輸出至畫面間預測圖像生成部309、預測參數記憶體307。畫面間預測參數導出部303及作為其內部元素之AMVP預測參數導出部3032、合併預測參數導出部3036、仿射預測部30372、MMVD預測部30373、GPM預測部30377、DMVR部30537、MV加法部3038於動態圖像編碼裝置、動態圖像解碼裝置中為共通的,因此,亦可將其等統稱為移動向量導出部(移動向量導出裝置)。
縮放參數導出部30378導出參照圖像之水平方向之縮放比RefPicScale[i][j][0]、及、參照圖像之垂直方向之縮放比RefPicScale[i][j][1]、及表示參照圖像是否被縮放之RefPicIsScaled[i][j]。此處,i表示參照圖像列表是L0列表還是L1列表,j作為L0參照圖像列表或者L1參照圖像列表之值以如下方式導出。
RefPicScale[i][j][0]= ((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL RefPicScale[i][j][1]= ((fRefHeight<<14)+(PicOutputHeightL>>1))/PicOutputHeightL RefPicIsScaled[i][j]= (RefPicScale[i][j][0]!=(1<<14))||(RefPicScale[i][j][1]!=(1<<14)) 此處,變量PicOutputWidthL係當參照編碼圖像時計算水平方向之縮放比時之值,採用自編碼圖像之亮度之水平方向之像素數減去左右之偏移值所得之值。變量PicOutputHeightL係當參照編碼圖像時計算垂直方向之縮放比時之值,採用自編碼圖像之亮度之垂直方向之像素數減去上下之偏移值所得之值。變量fRefWidth作為列表i之參照圖像列表值j之參照圖像之PicOutputWidthL之值,變量fRefHight作為列表i之參照圖像列表值j之參照圖像之PicOutputHeightL之值。
當affine_flag為1、即表示仿射預測模式時,仿射預測部30372導出子區塊單位之畫面間預測參數。
當mmvd_flag為1、即表示MMVD預測模式時,MMVD預測部30373自合併預測參數導出部3036所導出之合併候選及差分向量導出畫面間預測參數。
當GPMFlag為1、即表示GPM (Geometric Partitioning Mode)預測模式時,GPM預測部30377導出GPM預測參數。
當merge_flag為1、即表示合併預測模式時,導出merge_idx,並輸出至合併預測參數導出部3036。
當merge_flag為0、即表示AMVP預測模式時,AMVP預測參數導出部3032自inter_pred_idc、refIdxLX或mvp_LX_idx導出mvpLX。 (MV加法部)
MV加法部3038中將所導出之mvpLX與mvdLX相加,導出mvLX。 (仿射預測部)
作為仿射預測部30372,1)導出對象區塊之2個控制點CP0、CP1、或者3個控制點CP0,CP1,CP2之移動向量,2)導出對象區塊之仿射預測參數,3)自仿射預測參數導出各子區塊之移動向量。
當為合併仿射預測時,自對象區塊之相鄰區塊之移動向量導出各控制點CP0,CP1,CP2之移動向量cpMvLX[]。當為畫面間仿射預測時,自各控制點CP0,CP1,CP2之預測向量與自編碼資料導出之差分向量mvdCpLX[]之和,導出各控制點之cpMvLX[]。 (合併預測)
圖10係表示本實施例之合併預測參數導出部3036之構成之概略圖。合併預測參數導出部3036具有合併候選導出部30361及合併候選選擇部30362。另外,合併候選包含預測參數(predFlagLX、mvLX、refIdxLX),且儲存於合併候選列表中。根據特定之規則對合併候選列表中儲存之合併候選分配索引。
合併候選導出部30361直接使用解碼結束之相鄰區塊之移動向量及refIdxLX而導出合併候選。除此以外,合併候選導出部30361亦可運用後述之空間合併候選導出處理、時間合併候選導出處理、成對(pairwise)合併候選導出處理、及零合併候選導出處理。
作為空間合併候選導出處理,合併候選導出部30361按照特定之規則,讀出預測參數記憶體307所記憶之預測參數,設定為合併候選。參照圖像之指定方法係例如相對於對象區塊處於預先規定之範圍內之相鄰區塊(例如,與對象區塊之左A1、右B1、右上B0、左下A0、左上B2分別相接之區塊之全部或一部分)各自相關之預測參數。各個合併候選稱為A1,B1,B0,A0,B2。此處,A1,B1,B0,A0,B2分別為自包含下述坐標之區塊導出之運動資訊。圖8之對象圖像中,合併候選之配置示為A1,B1,B0,A0,B2之位置。
A1: (xCb-1, yCb+cbHeight-1) B1: (xCb+cbWidth-1, yCb-1) B0: (xCb+cbWidth, yCb-1) A0: (xCb-1, yCb+cbHeight) B2: (xCb-1, yCb-1) 對象區塊之左上坐標設為(xCb, yCb),寬度設為cbWidth,高度設為cbHeight。
作為時間合併導出處理,合併候選導出部30361如圖8之共位圖像所示,自預測參數記憶體307中讀出對象區塊之右下CBR、或者包含中央坐標之參照圖像中之區塊C之預測參數而作為合併候選Col,儲存於合併候選列表mergeCandList[]中。
一般,優先將區塊CBR加入mergeCandList[]中,當CBR不具有移動向量(例如畫面內預測區塊)時、及CBR位於圖像外時,將區塊C之移動向量加入預測向量候選中。將運動不同之可能性高之共位區塊之移動向量作為預測候選加入,藉此,預測向量之選擇項增加,編碼效率提高。
ph_temporal_mvp_enabled_flag為0、或cbWidth*cbHeight為32以下時,將對象區塊之共位移動向量mvLXCol設定為0,將共位區塊之可利用性標記availableFlagLXCol設定為0。
除此之外之情形時(SliceTemporalMvpEnabledFlag為1),實施下述處理。
例如合併候選導出部30361亦可利用下式導出C之位置(xColCtr,yColCtr)及CBR之位置(xColCBr、yColCBr)。 xColCtr=xCb+(cbWidth>>1) yColCtr=yCb+(cbHeight>>1) xColCBr=xCb+cbWidth yColCBr=yCb+cbHeight 若CBR可利用,則利用CBR之移動向量導出合併候選COL。若CBR不可利用,則利用C導出COL。而且,將availableFlagLXCol設定為1。另外,參照圖像亦可為片標頭通知之collocated_ref_idx。
成對候選導出部自mergeCandList中已儲存結束之2個合併候選(p0Cand,p1Cand)之平均導出成對候選avgK,並儲存於mergeCandList[]中。 mvLXavgK[0]=(mvLXp0Cand[0]+mvLXp1Cand[0])/2 mvLXavgK[1]=(mvLXp0Cand[1]+mvLXp1Cand[1])/2
合併候選導出部30361導出refIdxLX為0…M、mvLX之X成分、Y成分均為0之零合併候選Z0,…,ZM並儲存於合併候選列表中。
儲存於mergeCandList[]之順序例如為空間合併候選(A1,B1,B0,A0,B2)、時間合併候選Col、成對候選avgK、零合併候選ZK。另外,不可利用之(區塊為畫面內預測等)參照區塊不儲存於合併候選列表中。 i=0 if(availableFlagA1) mergeCandList[i++]=A1 if(availableFlagB1) mergeCandList[i++]=B1 if(availableFlagB0) mergeCandList[i++]=B0 if(availableFlagA0) mergeCandList[i++]=A0 if(availableFlagB2) mergeCandList[i++]=B2 if(availableFlagCol) mergeCandList[i++]=Col if(availableFlagAvgK) mergeCandList[i++]=avgK if(i<MaxNumMergeCand) mergeCandList[i++]=ZK 合併候選選擇部30362根據下式,選擇合併候選列表中所含之合併候選中、merge_idx所示之合併候選N。
N=mergeCandList[merge_idx]
此處,N係表示合併候選之標籤,可取A1,B1,B0,A0,B2,Col,avgK,ZK等。標籤N所示之合併候選之運動資訊係以(mvLXN[0],mvLXN[0])、predFlagLXN, refIdxLXN表示。
將所選擇之(mvLXN[0], mvLXN[0])、predFlagLXN, refIdxLXN作為對象區塊之畫面間預測參數而選擇。合併候選選擇部30362將所選擇之合併候選之畫面間預測參數記憶於預測參數記憶體307中,並輸出至畫面間預測圖像生成部309。 (DMVR)
繼而,對DMVR部30375進行之DMVR (Decoder side Motion Vector Refinement)處理進行說明。DMVR部30375對於對象CU,當merge_flag為1、或跳過標記skip_flag為1時,使用參照圖像對合併預測部30374導出之該對象CU之mvLX進行修正。具體而言,當合併預測部30374導出之預測參數為雙預測時,若與2個參照圖像對應,則利用自移動向量導出之預測圖像對移動向量進行修正。修正後之mvLX供給至畫面間預測圖像生成部309。
此外,於規定是否進行DMVR處理之標記dmvrFlag之導出中,作為將dmvrFlag設定為1之複數個條件之一,包括上述之RefPicIsScaled[0][refIdxL0]之值為0、且RefPicIsScaled[1][refIdxL1]之值為0。當dmvrFlag之值設定為1時,由DMVR部30375執行DMVR處理。
此外,於規定是否進行DMVR處理之標記dmvrFlag之導出中,作為將dmvrFlag設定為1之複數個條件之一,包含ciip_flag為0、即不適用IntraInter合成處理。
此外,於規定是否進行DMVR處理之標記dmvrFlag之導出中,作為將dmvrFlag設定為1之複數個條件之一,包含表示後述之亮度之L0預測之權重預測之係數資訊是否存在之標記即luma_weight_l0_flag[i]為0、且表示亮度之L1預測之權重預測之係數資訊是否存在之標記即luma_weight_l1_flag[i]之值為0。當dmvrFlag之值設定為1時,由DMVR部30375執行DMVR處理。
另外,於規定是否進行DMVR處理之標記dmvrFlag之導出中,作為將dmvrFlag設定為1之複數個條件之一,亦可包含luma_weight_l0_flag[i]為0、且luma_weight_l1_flag[i]之值為0、且表示後述之色差之L0預測之權重預測之係數資訊是否存在之標記即chroma_weight_l0_flag[i]為0、且表示色差之L1預測之權重預測之係數資訊是否存在之標記即chroma_weight_l1_flag[i]之值為0。當dmvrFlag之值設定為1時,由DMVR部30375執行DMVR處理。 (Prof)
此外,若RefPicIsScaled[0][refIdxLX]之值為1、或RefPicIsScaled[1][refIdxLX]之值為1,則cbProfFlagLX之值設定為FALSE(=0)。此處,cbProfFlagLX係規定是否進行仿射預測之Prediction refinement (PROF)之標記。 (AMVP預測)
圖10係表示本實施例之AMVP預測參數導出部3032之構成之概略圖。AMVP預測參數導出部3032具有向量候選導出部3033及向量候選選擇部3034。向量候選導出部3033基於refIdxLX自預測參數記憶體307所記憶之解碼結束之相鄰區塊之移動向量導出預測向量候選,並儲存於預測向量候選列表mvpListLX[]中。
向量候選選擇部3034將mvpListLX[]之預測向量候選中、mvp_LX_idx表示之移動向量mvpListLX[mvp_LX_idx]作為mvpLX選擇。向量候選選擇部3034將所選擇之mvpLX輸出至MV加法部3038。 (MV加法部)
MV加法部3038將自AMVP預測參數導出部3032輸入之mvpLX與已解碼之mvdLX相加而算出mvLX。加法部3038將算出之mvLX輸出至畫面間預測圖像生成部309及預測參數記憶體307。
mvLX[0]=mvpLX[0]+mvdLX[0] mvLX[1]=mvpLX[1]+mvdLX[1] (子區塊合併之詳細分類)
將對子區塊合併相關之預測處理之種類進行總結。如上所述,大致分為合併預測及AMVP預測。
合併預測進而分為以下類別。
・  正常合併預測(基於區塊之合併預測) ・  子區塊合併預測 子區塊合併預測進一步分為以下類別。
・  子區塊預測(ATMVP) ・  仿射預測 ・  繼承仿射預測(inferred affine prediction) ・  構造仿射預測(constructed affine prediction) 另一方面,AMVP預測分為以下類別。
・  AMVP(並行) ・  MVD仿射預測 MVD仿射預測進一步分為以下類別。
・  4參數MVD仿射預測 ・  6參數MVD仿射預測 另外,MVD仿射預測係指將差分向量解碼而使用之仿射預測。
子區塊預測中,與時間合併導出處理相同,判定對象子區塊之共位子區塊COL之可利用性availableFlagSbCol,當可利用時,導出預測參數。當至少上述SliceTemporalMvpEnabledFlag為0時,availableFlagSbCol設定為0。
MMVD預測(Merge with Motion Vector Difference)可分類為合併預測,亦可分類為AMVP預測。當為前者時,若merge_flag=1則將mmvd_flag及MMVD相關語法元素解碼,當為後者時,若merge_flag=0則將mmvd_flag及MMVD相關語法元素解碼。
迴路濾波器305係設置於編碼迴路內之濾波器,且為去除區塊失真或振鈴失真而改善畫質之濾波器。迴路濾波器305對加法部312生成之CU之解碼圖像,實施解塊濾波、取樣自適應偏移(SAO)、自適應迴路濾波(ALF)等濾波。
參照圖像記憶體306將CU之解碼圖像記憶於針對每個對象圖像及每個對象CU預先規定之位置。
預測參數記憶體307將預測參數記憶於針對每個CTU或者CU預先規定之位置。具體而言,預測參數記憶體307記憶參數解碼部302解碼後之參數及預測參數導出部320所導出之參數等。
預測參數導出部320導出之參數輸入至預測圖像生成部308。此外,預測圖像生成部308自參照圖像記憶體306讀出參照圖像。預測圖像生成部308於predMode所示之預測模式下,使用參數及參照圖像(參照圖像區塊)生成區塊或者子區塊之預測圖像。此處,參照圖像區塊係指參照圖像上之像素之集合(通常為矩形,故稱為區塊),且係為了生成預測圖像而參照之區域。 (畫面間預測圖像生成部309)
當predMode表示畫面間預測模式時,畫面間預測圖像生成部309利用自畫面間預測參數導出部303輸入之畫面間預測參數及參照圖像,通過畫面間預測而生成區塊或者子區塊之預測圖像。
圖11係表示本實施例之預測圖像生成部308中所含之畫面間預測圖像生成部309之構成之概略圖。畫面間預測圖像生成部309包含運動補償部(預測圖像生成裝置)3091及合成部3095。合成部3095包含IntraInter合成部30951、GPM合成部30952、BDOF部30954、權重預測部3094。 (運動補償)
運動補償部3091(插補圖像生成部3091)基於自畫面間預測參數導出部303輸入之畫面間預測參數(predFlagLX、refIdxLX、mvLX),自參照圖像記憶體306讀出參照區塊,藉此生成插補圖像(運動補償圖像)。參照區塊係refIdxLX所指定之參照圖像RefPicLX上、相對於對象區塊之位置發生mvLX移位後之位置之區塊。此處,當mvLX並非整數精度時,實施被稱為運動補償濾波之、用於生成小數位置之像素之濾波,生成插補圖像。
運動補償部3091首先,利用下式導出與預測區塊內坐標(x,y)對應之整數位置(xInt,yInt)及位相(xFrac,yFrac)。
xInt=xPb+(mvLX[0]>>(log2(MVPREC)))+x xFrac=mvLX[0]&(MVPREC-1) yInt=yPb+(mvLX[1]>>(log2(MVPREC)))+y yFrac=mvLX[1]&(MVPREC-1) 此處,(xPb,yPb)係尺寸為bW*bH之區塊之左上坐標,x=0…bW-1,y=0…bH-1,MVPREC表示mvLX之精度(1/MVPREC像素精度)。例如為MVPREC=16。
運動補償部3091藉由對參照圖像refImg使用插補濾波進行水平插補處理,而導出臨時圖像temp[][]。以下之Σ係關於k=0..NTAP-1之k之和,shift1係對值之範圍進行調整之標準化參數,offset1=1<<(shift1-1)。
temp[x][y]=(ΣmcFilter[xFrac][k]*refImg[xInt+k-NTAP/2+1][yInt]+offset1)>>shift1 繼而,運動補償部3091藉由對臨時圖像temp[][]進行垂直插補處理而導出插補圖像Pred[][]。以下之Σ係關於k=0..NTAP-1之k之和,shift2係對值之範圍進行調整之標準化參數,offset2=1<<(shift2-1)。
Pred[x][y]=(ΣmcFilter[yFrac][k]*temp[x][y+k-NTAP/2+1]+offset2)>>shift2 另外,當為雙預測時,針對每個L0列表、L1列表導出上述之Pred[][](稱為插補圖像PredL0[][]及PredL1[][]),自PredL0[][]及PredL1[][]生成插補圖像Pred[][]。
另外,運動補償部3091具有根據縮放參數導出部30378所導出之參照圖像之水平方向之縮放比RefPicScale[i][j][0]、及參照圖像之垂直方向之縮放比RefPicScale[i][j][1]縮放插補圖像之功能。
合成部3095具有IntraInter合成部30951、GPM合成部30952、權重預測部3094、及BDOF部30954。 (interpolation filter處理)
以下,對於預測圖像生成部308執行之interpolation filter處理、且為適用上述重取樣而於單一之序列中參照圖像之尺寸發生變化時的interpolation filter處理進行說明。另外,該處理亦可例如藉由運動補償部3091執行。
預測圖像生成部308於畫面間預測參數導出部303輸入之RefPicIsScaled[i][j]之值表示參照圖像被縮放時,切換複數個濾波係數,執行interpolation filter處理。 (IntraInter合成處理)
IntraInter合成部30951藉由畫面間預測圖像與畫面內預測圖像之加權和生成預測圖像。
預測圖像之像素值predSamplesComb[x][y]於表示是否適用IntraInter合成處理之標記ciip_flag為1時,可以如下方式導出。
predSamplesComb[x][y]=(w*predSamplesIntra[x][y] +(4-w)*predSamplesInter[x][y]+2)>>2 此處,predSamplesIntra[x][y]係畫面內預測圖像,由planar預測限定。predSamplesInter[x][y]係重建之畫面間預測圖像。
權重w係以如下方式導出。
當對象編碼區塊之左鄰之最下方之區塊及對象編碼區塊之上鄰之最右之區塊該兩者為畫面內時,w設定為3。
除此之外,即,當對象編碼區塊之左鄰之最下方之區塊及對象編碼區塊之上鄰之最右之區塊該兩者並非畫面內時,w設定為1。
除此之外之情形時,w設定為2。 (GPM合成處理)
GPM合成部30952利用上述GPM預測生成預測圖像。 (BDOF預測)
繼而,對於BDOF部30954進行之BDOF預測(Bi-DirectionalOpticalFlow, BDOF處理)之細節進行說明。BDOF部30954於雙預測模式中,參照2個預測圖像(第1預測圖像及第2預測圖像)及梯度修正項生成預測圖像。 (權重預測)
權重預測部3094自插補圖像predSamplesLX生成區塊之預測圖像pbSamples。
首先,表示是否進行權重預測處理之變量weightedPredFlag係以如下方式導出。當slice_type等於P時,weightedPredFlag設定為與PPS中定義之pps_weighted_pred_flag相等。除此之外,當slice_type等於B時,weightedPredFlag設定為與PPS中定義之pps_weighted_bipred_flag&&(!dmvrFlag)相等。
以下,bcw_idx為具有以CU為單位之權重之雙預測之權重索引。當未通知bcw_idx時,設為bcw_idx=0。bcwIdx於合併預測模式中設置附近區塊之bcwIdxN,於AMVP預測模式中設置對象區塊之bcw_idx。
若變量weightedPredFlag之值等於0、或變量bcwIdx之值為0,則作為通常之預測圖像處理,預測圖像pbSamples係以如下方式導出。
當預測列表利用標記中之一者(predFlagL0或者predFlagL1)為1(單預測)之(不使用權重預測)時,進行將predSamplesLX(LX為L0或者L1)與像素位元數bitDepth相配合之下式之處理。
pbSamples[x][y]=Clip3(0,(1<<bitDepth)-1,(predSamplesLX[x][y]+offset1)>>shift1) 此處,shift1=14-bitDepth、offset1=1<<(shift1-1)。
PredLX係L0或者L1預測之插補圖像。
此外,當兩個預測列表利用標記(predFlagL0及predFlagL1)為1(雙預測PRED_BI)、且不使用權重預測時,進行將predSamplesL0、predSamplesL1平均且與像素位元數配合之下式之處理。
pbSamples[x][y]=Clip3(0,(1<<bitDepth)-1,(predSamplesL0[x][y]+predSamplesL1[x][y]+offset2)>>shift2)
此處,shift2=15-bitDepth、offset2=1<<(shift2-1)。
若變量weightedPredFlag之值等於1、且變量bcwIdx之值等於0,則作為權重預測處理,預測圖像pbSamples係以如下方式導出。
變量shift1設定為與Max(2、14-bitDepth)相等。變量log2Wd、o0、o1、w0、及w1以如下方式導出。
若cIdx為0之亮度時,適用以下方法。
log2Wd=luma_log2_weight_denom+shift1 w0=LumaWeightL0[refIdxL0] w1=LumaWeightL1[refIdxL1] o0=luma_offset_l0[refIdxL0]<<(bitDepth-8) o1=luma_offset_l1[refIdxL1]<<(bitDepth-8) 除此之外(cIdx為非0之色差),適用以下方法。
log2Wd=ChromaLog2WeightDenom+shift1 w0=ChromaWeightL0[refIdxL0][cIdx-1] w1=ChromaWeightL1[refIdxL1][cIdx-1] o0=ChromaOffsetL0[refIdxL0][cIdx-1]<<(bitDepth-8) o1=ChromaOffsetL1[refIdxL1][cIdx-1]<<(bitDepth-8) x=0..nCbW-1及y=0..nCbH-1之預測圖像之像素值pbSamples[x][y]以如下方式導出。
繼而,若predFlagL0等於1、predFlagL1等於0,則預測圖像之像素值pbSamples[x][y]係以如下方式導出。
if(log2Wd>=1) pbSamples[x][y]=Clip3(0,(1<<bitDepth)-1, ((predSamplesL0[x][y]*w0+2^(log2Wd-1))>>log2Wd)+o0) else pbSamples[x][y]=Clip3(0,(1<<bitDepth)-1,predSamplesL0[x][y]*w0+o0)
除此之外,若predFlagL0為0、predFlagL1為1,則預測圖像之像素值pbSamples[x][y]以如下方式導出。
if(log2Wd>=1) pbSamples[x][y]=Clip3(0,(1<<bitDepth)-1, ((predSamplesL1[x][y]*w1+2^(log2Wd-1))>>log2Wd)+o1) else pbSamples[x][y]=Clip3(0,(1<<bitDepth)-1、predSamplesL1[x][y]*w1+o1) 除此之外,若predFlagL0等於1、predFlagL1等於1,則預測圖像之像素值pbSamples[x][y]係以如下方式導出。
pbSamples[x][y]=Clip3(0,(1<<bitDepth)-1, (predSamplesL0[x][y]*w0+predSamplesL1[x][y]*w1+ ((o0+o1+1)<<log2Wd))>>(log2Wd+1)) (BCW預測)
BCW (Bi-prediction with CU-level Weights)預測係可切換以CU位準預先決定之權重係數之預測方法。
輸入指定目前之編碼區塊之寬度及高度之2個變量nCbW及nCbH、(nCbW)x(nCbH)之2個排列predSamplesL0及predSamplesL1、表示是否使用預測列表之標記predFlagL0及predFlagL1、參照圖像索引refIdxL0及refIdxL1、BCW預測之索引bcw_idx、指定亮度、色差成分之索引之變量cIdx,進行BCW預測處理,輸出(nCbW)x(nCbH)之排列pbSamples之預測圖像之像素值。
當表示是否以SPS位準使用該預測之sps_bcw_enabled_flag為TURE、變量weightedPredFlag為0、2個參照圖像索引refIdxL0及refIdxL1所示之參照圖像無任何權重預測係數、且編碼區塊尺寸為一定尺寸以下時,明確地通知CU位準之語法之bcw_idx,將該值代入至變量bcwIdx。當不存在bcw_idx時,將0代入至變量bcwIdx。
當變量bcwIdx為0時,預測圖像之像素值係以如下方式導出。
pbSamples[x][y]=Clip3(0,(1<<bitDepth)-1, (predSamplesL0[x][y]+predSamplesL1[x][y]+offset2)>>shift2) 除此之外之情形時(bcwIdx非0),適用以下方式。
變量w1設定為與bcwWLut[bcwIdx]相等。bcwWLut[k]={4、5、3、10、-2}。
變量w0設定為(8-w1)。此外,預測圖像之像素值係以如下方式導出。
pbSamples[x][y]=Clip3(0、(1<<bitDepth)-1、 (w0*predSamplesL0[x][y]+ w1*predSamplesL1[x][y]+offset3)>>(shift2+3)) 當AMVP預測模式中使用BCW預測時,畫面間預測參數解碼部303將bcw_idx解碼,發送給BCW部30955。此外,當合併預測模式中使用BCW預測時,畫面間預測參數解碼部303將合併索引merge_idx解碼,合併候選導出部30361導出各合併候選之bcwIdx。具體而言,合併候選導出部30361將合併候選之導出中使用之相鄰區塊之權重係數用作對象區塊中使用之合併候選之權重係數。即,合併模式中,將以前使用之權重係數繼承為對象區塊之權重係數。 (畫面內預測圖像生成部310)
當predMode表示畫面內預測模式時,畫面內預測圖像生成部310使用畫面內預測參數導出部304輸入之畫面內預測參數及自參照圖像記憶體306讀出之參照像素進行畫面內預測。
逆量化・逆轉換部311使參數解碼部302輸入之量化轉換係數逆量化而求出轉換係數。
加法部312將自預測圖像生成部308輸入之區塊之預測圖像與自逆量化・逆轉換部311輸入之預測誤差針對每一像素相加,而生成區塊之解碼圖像。加法部312將區塊之解碼圖像記憶於參照圖像記憶體306中,此外,輸出至迴路濾波器305。
逆量化・逆轉換部311使參數解碼部302輸入之量化轉換係數逆量化而求出轉換係數。
加法部312將自預測圖像生成部308輸入之區塊之預測圖像與自逆量化・逆轉換部311輸入之預測誤差針對每一像素相加,而生成區塊之解碼圖像。加法部312將區塊之解碼圖像記憶於參照圖像記憶體306中,此外,輸出至迴路濾波器305。 (動態圖像編碼裝置之構成)
其次,對本實施例之動態圖像編碼裝置11之構成進行說明。圖12係表示本實施例之動態圖像編碼裝置11之構成之方塊圖。動態圖像編碼裝置11包含預測圖像生成部101、減法部102、轉換・量化部103、逆量化・逆轉換部105、加法部106、迴路濾波器107、預測參數記憶體(預測參數記憶部、圖框記憶體)108、參照圖像記憶體(參照圖像記憶部、圖框記憶體)109、編碼參數決定部110、參數編碼部111、預測參數導出部120、熵編碼部104而構成。
預測圖像生成部101針對每個CU生成預測圖像。預測圖像生成部101包含已說明之畫面間預測圖像生成部309及畫面內預測圖像生成部310,但省略相關說明。
減法部102自圖像T之像素值中減去預測圖像生成部101輸入之區塊之預測圖像之像素值而生成預測誤差。減法部102將預測誤差輸出至轉換・量化部103。
轉換・量化部103對於減法部102輸入之預測誤差,藉由頻率轉換算出轉換係數,並藉由量化而導出量化轉換係數。轉換・量化部103將量化轉換係數輸出至參數編碼部111及逆量化・逆轉換部105。
逆量化・逆轉換部105與動態圖像解碼裝置31中之逆量化・逆轉換部311(圖6)相同,而省略說明。算出之預測誤差被輸出至加法部106。
參數編碼部111包含標頭編碼部1110、CT資訊編碼部1111、及CU編碼部1112(預測模式編碼部)。CU編碼部1112進而具有TU編碼部1114。以下,對各模組之概略動作進行說明。
標頭編碼部1110對頭資訊、分割資訊、預測資訊、量化轉換係數等參數進行編碼處理。
CT資訊編碼部1111對QT、MT (BT、TT)分割資訊等進行編碼。
CU編碼部1112對CU資訊、預測資訊、分割資訊等進行編碼。
TU編碼部1114於TU中包含預測誤差時,對QP更新資訊及量化預測誤差進行編碼。
CT資訊編碼部1111、CU編碼部1112將畫面間預測參數(predMode、merge_flag、merge_idx、inter_pred_idc、refIdxLX、mvp_LX_idx、mvdLX)、畫面內預測參數(intra_luma_mpm_flag、intra_luma_mpm_idx、intra_luma_mpm_reminder、intra_chroma_pred_mode)、量化轉換係數等語法元素供給至參數編碼部111。
由參數編碼部111將量化轉換係數及編碼參數(分割資訊、預測參數)輸入至熵編碼部104。熵編碼部104對其等進行熵編碼而生成編碼串流Te並進行輸出。
預測參數導出部120係包含畫面間預測參數編碼部112及畫面內預測參數編碼部113之部件,且自編碼參數決定部110輸入之參數導出畫面內預測參數及畫面內預測參數。導出之畫面內預測參數及畫面內預測參數輸出至參數編碼部111。 (畫面間預測參數編碼部之構成)
畫面間預測參數編碼部112如圖13所示,包含參數編碼控制部1121及畫面間預測參數導出部303。畫面間預測參數導出部303之構成與動態圖像解碼裝置之構成共通。參數編碼控制部1121包含合併索引導出部11211及向量候選索引導出部11212。
合併索引導出部11211導出合併候選等,並輸出至畫面間預測參數導出部303。向量候選索引導出部11212導出預測向量候選等,且輸出至畫面間預測參數導出部303及參數編碼部111。 (畫面內預測參數編碼部113之構成)
畫面內預測參數編碼部113如圖14所示,具有參數編碼控制部1131及畫面內預測參數導出部304。畫面內預測參數導出部304之構成與動態圖像解碼裝置之構成共通。
參數編碼控制部1131導出IntraPredModeY及IntraPredModeC。進而,參照mpmCandList[]而決定intra_luma_mpm_flag。將該等預測參數輸出至畫面內預測參數導出部304及參數編碼部111。
然而,與動態圖像解碼裝置不同的是,係由編碼參數決定部110、預測參數記憶體108對畫面間預測參數導出部303、畫面內預測參數導出部304進行輸入,並將輸入內容輸出至參數編碼部111。
加法部106針對每個像素將預測圖像生成部101輸入之預測區塊之像素值與逆量化・逆轉換部105輸入之預測誤差相加而生成解碼圖像。加法部106將所生成之解碼圖像記憶於參照圖像記憶體109中。
迴路濾波器107對加法部106生成之解碼圖像實施解塊濾波、SAO、ALF。另外,迴路濾波器107未必包含上述3種濾波器,亦可例如為僅有解塊濾波器之構成。
預測參數記憶體108將編碼參數決定部110生成之預測參數記憶於針對每個對象圖像及每個CU預先規定之位置。
參照圖像記憶體109將迴路濾波器107生成之解碼圖像記憶於針對每個對象圖像及每個CU預先規定之位置。
編碼參數決定部110選擇編碼參數之複數個集合中之1個集合。編碼參數係指上述QT、BT或者TT分割資訊、預測參數、或者與其等相關地生成之作為編碼對象之參數。預測圖像生成部101使用該等編碼參數生成預測圖像。
編碼參數決定部110針對複數個集合之各者算出資訊量之大小及表示編碼誤差之RD成本值。RD成本值例如為碼量與均方誤差誠意係數λ所得之值之和。碼量係對量化誤差與編碼參數進行熵編碼而得之編碼串流Te之資訊量。均方誤差係減法部102所算出之預測誤差之均方和。係數λ係較之預先設定之零更大之實數。編碼參數決定部110選擇算出之成本值最小之編碼參數之集合。編碼參數決定部110將所決定之編碼參數輸出至參數編碼部111及預測參數導出部120。
另外,亦可由電腦實現上述實施例中之動態圖像編碼裝置11、動態圖像解碼裝置31之一部分、例如熵解碼部301、參數解碼部302、迴路濾波器305、預測圖像生成部308、逆量化・逆轉換部311、加法部312、預測參數導出部320、預測圖像生成部101、減法部102、轉換・量化部103、熵編碼部104、逆量化・逆轉換部105、迴路濾波器107、編碼參數決定部110、參數編碼部111、預測參數導出部120。於此情形時,亦可藉由將用於實現該控制功能之程式記錄於電腦可讀取之記錄媒體,將記錄於該記錄媒體之程式讀入電腦系統並執行而實現。另外,此處所述之「電腦系統」係指內置於動態圖像編碼裝置11、動態圖像解碼裝置31之任一者之電腦系統,包含OS(Operating System,操作系統)及周邊機器等硬體。又,「電腦可讀取之記錄媒體」係指軟性磁碟、磁光碟、ROM、CD-ROM等可攜式媒體、內置於電腦系統之硬碟等記憶裝置。進而,所謂「電腦可讀取記錄媒體」亦可包含如經由網際網路等網路、電話線路等通訊線路發送程式之情形時之通訊線般、短時間、動態地保持程式者、如成為此種情形時之伺服器、客戶端之電腦系統内部之揮發性記憶體般、於一定時間保持程式者。又,上述程式可為用以實現上述功能的一部分之程式,進而亦可為能夠藉由與已記錄於電腦系統之程式進行組合而實現上述功能之程式。
此外,亦可將上述實施例之動態圖像編碼裝置11、動態圖像解碼裝置31之一部分、或全部以LSI(Large Scale Integration)等積體電路之形式實現。動態圖像編碼裝置11、動態圖像解碼裝置31之各功能區塊可個別地處理器化,亦可將一部分、或全部集成而處理器化。又,積體電路化之方法不限於LSI,亦可利用專用電路或通用處理器實現。又,於因半導體技術之進步而出現了代替LSI之積體電路化的技術之情形時,亦可使用該技術之積體電路。
以上,參照附圖對本發明之一實施例進行詳細說明,但具體構成並不限定於上述者,能夠於不脫離本發明主旨之範圍內進行各種設計變更等。 (語法)
圖15(a)表示非專利文獻1之Sequence Paramenter Set (SPS)之語法之一部分。
long_term_ref_pics_flag係表示是否使用長期圖像之標記。
inter_layer_ref_pics_present_flag係表示是否使用層間預測之標記。
sps_idr_rpl_present_flag係表示IDR圖像之片標頭是否存在參照圖像列表之語法元素之標記。
rpl1_same_as_rpl0_flag係表示是否存在用於參照圖像列表1之資訊之標記。當rpl1_same_as_rpl0_flag為1時,不存在用於參照圖像列表1之資訊,表示與num_ref_pic_lists_in_sps[0]及ref_pic_list_struct(0,rplsIdx)相同。
sps_smvd_enabled_flag表示是否將對稱移動向量差分模式(SMVD)適用於移動向量之編碼、解碼。當sps_smvd_enabled_flag為1時,表示可適用對稱移動向量差分模式。當sps_smvd_enabled_flag為0時,表示不適用對稱移動向量差分模式。
圖15(b)表示非專利文獻1中之Picture Parameter Set (PPS)之語法之一部分。
rpl_info_in_ph_flag為1係表示圖像標頭中是否存在參照圖像列表資訊之標記。rpl_info_in_ph_flag等於1時,表示圖像標頭中存在參照圖像列表資訊。rpl_info_in_ph_flag等於0時,表示圖像標頭中不存在參照圖像列表資訊,但片標頭中可能存在參照圖像列表資訊。
圖16表示非專利文獻1之圖像標頭PH之語法之一部分。
ph_inter_slice_allowed_flag係表示圖像內之片是否為畫面間之標記。ph_inter_slice_allowed_flag為0時,表示圖像內之所有片之slice_type為2 (I Slice)。ph_inter_slice_allowed_flag為1時,表示圖像中所含之至少一個以上片之slice_type為0 (B Slice)或1 (P Slice)。
mvd_l1_zero_flag係表示雙向預測之L1預測中是否適用使移動向量之差分為零之模式之標記。mvd_l1_zero_flag為1時,不調用mvd_coding(),而將表示移動向量之差分資訊之變量MvdL1[x0][y0][compIdx]及MvdCpL1[x0][y0][cpIdx][compIdx]設定為0。mvd_coding()係通知對於參照圖像列表1之移動向量之差分資訊之語法構造。mvd_l1_zero_flag為0時,調用mvd_coding,對需要之移動向量之差分資訊進行編碼、解碼。
圖17(a)表示非專利文獻1之片標頭之語法之一部分。該等語法例如藉由參數解碼部302解碼。
num_ref_idx_active_override_flag為1時,表示P及B片中存在語法元素num_ref_idx_active_minus1[0]、B片中存在語法元素num_ref_idx_active_minus1[1]。num_ref_idx_active_override_flag為0時,表示P及B片中不存在語法元素num_ref_idx_active_minus1[i]。當不存在時,推測num_ref_idx_active_override_flag之值等於1。
num_ref_idx_active_minus1[i]用於導出參照圖像列表i中實際可使用之參照圖像數。實際可使用之參照圖像數即變量NumRefIdxActive[i]可由圖17(b)所示之方法導出。num_ref_idx_active_minus1[i]之值必須為0以上14以下之值。當片為B片、且num_ref_idx_active_override_flag為1、且不存在num_ref_idx_active_minus1[i]時,推測num_ref_idx_active_minus1[i]等於0。
圖17(b)係預測參數導出部320之非專利文獻1之變量NumRefIdxActive[i]之導出方法。對參照圖像列表i(=0,1)實施以下處理。當為B片、或、P片且i=0時,若num_ref_idx_active_override_flag等於1,則將num_ref_idx_active_minus1[i]之值加上1所得之值,代入至變量NumRefIdxActive[i]。除此之外之情形時(為B片、或、P片且i=0時,num_ref_idx_active_override_flag等於0時),若num_ref_entries[i][RplsIdx[i]]之值為num_ref_idx_default_active_minus1[i]加上1所得之值以上,則將num_ref_idx_default_active_minus1[i]加上1所得之值,代入至變量NumRefIdxActive[i]。除此之外之情形時(為B片、或、P片且i=0時,num_ref_idx_active_override_flag不等於0時),將num_ref_entries[i][RplsIdx[i]]之值代入至變量NumRefIdxActive[i]。num_ref_idx_default_active_minus1[i]係PPS中定義之變量NumRefIdxActive[i]之默認值。當為I片、或為P片且i=1時,將0代入至變量NumRefIdxActive[i]。
圖18(a)表示非專利文獻1之定義參照圖像列表之ref_pic_lists()之語法。ref_pic_lists()有時存在於圖像標頭或片標頭。若rpl_sps_flag[i]為1,則表示ref_pic_lists()之參照圖像列表i基於SPS之ref_pic_list_struct(listIdx、rplsIdx)中之1個而導出。此處,listIdx等於i。
rpl_sps_flag[i]為0時,表示參照圖像列表i基於ref_pic_list_struct(listIdx、rplsIdx)導出。此處,listIdx與ref_pic_lists()中直接包含之i相等。當不存在rpl_sps_flag[i]時,適用以下方式。num_ref_pic_lists_in_sps[i]為0時,rpl_sps_flag[i]之值推測為0。除此之外之情形時(num_ref_pic_lists_in_sps[i]大於0時),若rpl1_idx_present_flag等於0、且i為1,則推測rpl_sps_flag[1]之值等於rpl_sps_flag[0]。
rpl_idx[i]表示ref_pic_list_struct(listIdx、rplsIdx)之索引。ref_pic_list_struct(listIdx、rplsIdx)用於導出參照圖像i。此處,listIdx等於i。若不存在,則推測rpl_idx[i]之值等於0。rpl_idx[i]之值處於0以上且num_ref_pic_lists_in_sps[i]-1以下之範圍內。當rpl_sps_flag[i]為1、且num_ref_pic_lists_in_sps[i]為1時,推測rpl_idx[i]之值等於0。當rpl_sps_flag[i]為1、且rpl1_idx_present_flag為0時,推測rpl_idx[1]之值等於rpl_idx[0]。變量RplsIdx[i]以如下方式導出。
RplsIdx[i]=(rpl_sps_flag[i])?rpl_idx[i]:num_ref_pic_lists_in_sps[i]
圖18(b)表示對非專利文獻1之參照圖像列表構造ref_pic_list_struct(listIdx、rplsIdx)進行定義之語法。
ref_pic_list_struct(listIdx、rplsIdx)有時存在於SPS、圖像標頭、或片標頭中。根據語法包含於SPS中、或包含於圖像標頭中、或包含於片標頭中,而適用以下方式。當存在於圖像或片標頭中時,ref_pic_list_struct(listIdx、rplsIdx)表示目前之圖像(包含片之圖像)之參照圖像列表listIdx。當存在於SPS中時,ref_pic_list_struct(listIdx、rplsIdx)表示參照圖像列表listIdx之候選。而且,目前之圖像自圖像標頭或片標頭,利用索引值參照SPS中所含之ref_pic_list_struct(listIdx、rplsIdx)之列表。
此處,num_ref_entries[listIdx][rplsIdx]表示ref_pic_list_struct(listIdx、rplsIdx)之數量。num_ref_entries[listIdx][rplsIdx]之值取0以上且MaxDpbSize+13以下之值。MaxDpbSize係以輪廓(profile)位準決定之解碼圖像之數量。
ltrp_in_header_flag[listIdx][rplsIdx]係表示ref_pic_list_struct(listIdx、rplsIdx)中是否存在長期參照圖像之標記。
inter_layer_ref_pic_flag[listIdx][rplsIdx][i]係表示ref_pic_list_struct(listIdx、rplsIdx)之參照圖像列表之第i個條目是否為層間預測之標記。
st_ref_pic_flag[listIdx][rplsIdx][i]係表示ref_pic_list_struct(listIdx、rplsIdx)之參照圖像列表之第i個條目是否為短期參照圖像之標記。
abs_delta_poc_st[listIdx][rplsIdx][i]係用於導出短期參照圖像之POC之差分絕對值之語法元素。
strp_entry_sign_flag[listIdx][rplsIdx][i]係用於導出正負符號之標記。
rpls_poc_lsb_lt[listIdx][rplsIdx][i]係用於導出ref_pic_list_struct(listIdx、rplsIdx)之參照圖像列表之第i個長期參照圖像之POC之語法元素。
ilrp_idx[listIdx][rplsIdx][i]係用於導出ref_pic_list_struct(listIdx、rplsIdx)之參照圖像列表之第i個層間預測之參照圖像之層資訊之語法元素。
圖19表示非專利文獻1之CU之語法之一部分。該等語法例如藉由參數解碼部302解碼。
如IF_SYMMVD1所示,當sps_smvd_enabled_flag為1、且mvd_l1_zero_flag為FALSE、且inter_pred_idc[x0][y0]為雙向預測(PRED_BI)、且inter_affine_flag為FALSE、且變量RefIdxSymL0大於-1、變量RefIdxSymL1大於-1時,該CU中存在sym_mvd_flag[x0][y0]。sps_smvd_enabled_flag係表示是否將對稱移動向量差分模式適用於移動向量之編碼、解碼之標記。mvd_l1_zero_flag係表示雙向預測之L1預測中是否適用使移動向量之差分為零之模式之標記。inter_pred_idc[x0][y0]為畫面間預測標識符。sym_mvd_flag[x0][y0]係表示是否適用對稱移動向量差分模式之標記。當不存在sym_mvd_flag[x0][y0]時,推斷為0。此處,排列之索引x0、y0表示以圖像之左上為基準之CU之左上之亮度之像素位置(x0,y0)。
變量RefIdxSymL0係對稱移動向量差分模式之參照圖像列表0之參照索引值,變量RefIdxSymL1係對稱移動向量差分模式之參照圖像列表1之參照索引值。
當為雙向預測、且具有兩個參照圖像夾著目前之圖像之關係時,參照圖像列表0中與目前之圖像之POC差最小之參照索引值設定為變量RefIdxSymL0,參照圖像列表1中與目前之圖像之POC差最小之參照索引值設定為變量RefIdxSymL1。若不存在符合條件之索引值,則代入-1。
inter_affine_flag[x0][y0]係表示於將P或B片解碼時,是否基於仿射模型之運動補償生成目前之CU之預測像素之標記。
繼而,若inter_pred_idc[x0][y0]並非PRED_L1、即為使用參照圖像列表0之單向預測或者雙向預測時,對用於L0預測之移動向量資訊進行編碼、解碼。除此之外之情形時,將0代入至變量MvdL0[x0][y0][0]及變量MvdL0[x0][y0][1]。於用於L0預測之移動向量之差分資訊中,變量MvdL0[x0][y0][0]表示水平方向之值,變量MvdL0[x0][y0][1]表示垂直方向之值。
當對用於L0預測之移動向量資訊進行編碼、解碼時,若NumRefIdxActive[0]大於1且sym_mvd_flag[x0][y0]為FALSE,則存在ref_idx_l0[x0][y0]。
ref_idx_l0[x0][y0]表示目前之CU之參照圖像列表0之參照圖像索引。當不存在ref_idx_l0[x0][y0]時,以如下方式推斷之sym_mvd_flag[x0][y0]為1時,ref_idx_l0[x0][y0]設定為RefIdxSymL0之值。除此之外之情形時(sym_mvd_flag[x0][y0]為0時),ref_idx_l0[x0][y0]為0。
繼而,當inter_pred_idc[x0][y0]非PRED_L0時、即為使用參照圖像列表1之單向預測或雙向預測時,對用於L1預測之移動向量資訊進行編碼、解碼。除此之外之情形時,將0代入至變量MvdL1[x0][y0][0]及變量MvdL1[x0][y0][1]。
當對用於L1預測之移動向量資訊進行編碼、解碼時,若NumRefIdxActive[1]大於1且sym_mvd_flag[x0][y0]為FALSE,則存在ref_idx_l1[x0][y0]。
ref_idx_l1[x0][y0]表示目前之CU之參照圖像列表0之參照圖像索引。當不存在ref_idx_l1[x0][y0]時,以如下方式推斷之sym_mvd_flag[x0][y0]為1時,ref_idx_l1[x0][y0]設定為RefIdxSymL1之值。除此之外之情形時(sym_mvd_flag[x0][y0]為0時),ref_idx_l1[x0][y0]為0。
變量MotionModelIdc[x0][y0]表示CU之運動補償之模型,0表示通常之區塊運動補償,1表示4參數之仿射運動補償,2表示6參數之仿射運動補償。根據MotionModelIdc[x0][y0]之值,使用函數mvd_coding(x0,y0,refList,cpIdx),對移動向量之差分資訊進行編碼、解碼。此處,引數refList提供參照圖像列表之值,引數cpIdx提供變量MotionModelIdc[x0][y0]之值。
mvp_l0_flag[x0][y0]表示參照圖像列表0之預測向量索引。當不存在mvp_l0_flag[x0][y0]時,推測為0。
如IF_SYMMVD2所示,當mvd_l1_zero_flag為1、且inter_pred_idc[x0][y0]為PRED_BI(雙向預測)時,適用使用於L1預測之移動向量之差分資訊為零之模式。該情形時,將0代入至變量MvdL1[x0][y0][0]及變量MvdL1[x0][y0][1]。此外,將0代入至用於仿射預測之6個移動向量之差分資訊MvdCpL1[x0][y0][0][0]、MvdCpL1[x0][y0][0][1]、MvdCpL1[x0][y0][1][0]、MvdCpL1[x0][y0][1][1]、MvdCpL1[x0][y0][2][0]、MvdCpL1[x0][y0][2][1]。
除此之外之情形時,進行如下處理。若sym_mvd_flag[x0][y0]為1,則將-MvdL0[x0][y0][0]代入至變量MvdL1[x0][y0][0],將-MvdL0[x0][y0][1]代入至變量MvdL1[x0][y0][1],不對L1預測之移動向量之差分資訊進行編碼、解碼。當sym_mvd_flag[x0][y0]為FALSE時,利用函數mvd_coding對用於L1預測之移動向量之差分資訊進行編碼、解碼。
繼而,根據MotionModelIdc[x0][y0]之值,利用函數mvd_coding對仿射預測中之用於L1預測之移動向量之差分資訊進行編碼、解碼。
mvp_l1_flag[x0][y0]表示參照圖像列表1之預測向量索引。當不存在mvp_l1_flag[x0][y0]時,推測為0。
作為非專利文獻1記載之方法之問題,可列舉圖像標頭中定義有mvd_l1_zero_flag。非專利文獻1中,一個圖像內可存在複數個片,各個片可選擇不同之參照圖像列表。將mvd_l1_zero_flag設為1之編碼效率依賴於參照圖像列表。因此,當一個圖像內存在複數個片時,根據選擇之參照圖像,編碼效率可能明顯變差。
因此,本實施例中,對於表示兩個參照圖像與目前之圖像為相同方向(二者均為以前的圖像、或二者均為未來的圖像)之變量IdenticalDirecitionFlag進行定義。而且,添加mvd_l1_zero_flag之編碼、解碼處理之條件之一。即,本實施例中,參照圖像列表不採用由以前及未來之兩個參照圖像夾著目前之圖像之構造。
具體而言,本實施例中,當如圖20之IF_SYMMVD2_A所示,當mvd_l1_zero_flag為1、且變量IdenticalDirecitionFlag為1、且inter_pred_idc[x0][y0]為PRED_BI(雙向預測)時,用於L1預測之移動向量之差分資訊為0。該情形時,將0代入至變量MvdL1[x0][y0][0]及變量MvdL1[x0][y0][1]。此外,將0代入至用於仿射預測之移動向量之差分資訊MvdCpL1[x0][y0][0][0]、MvdCpL1[x0][y0][0][1]、MvdCpL1[x0][y0][1][0]、MvdCpL1[x0][y0][1][1]、MvdCpL1[x0][y0][2][0]、MvdCpL1[x0][y0][2][1]。該等語法例如藉由預測參數導出部120或者參數編碼部111編碼,藉由參數解碼部302或者預測參數導出部320解碼。
變量IdenticalDirecitionFlag係於對P或B圖像之片標頭進行編碼或解碼且片之參照圖像列表作成後、且於CU之編碼或解碼之前設定。
變量IdenticalDirecitionFlag係以如下方式導出。
若目前之片之參照圖像列表0及參照圖像列表1內之所有參照圖像aPic與目前之圖像CurrPic之POC之差DiffPicOrderCnt(aPic,CurrPic)小於0時,將IdenticalDirecitionFlag設定為1。
除此之外之情形時,若CurrPic與aPic之POC之差DiffPicOrderCnt(CurrPic,aPic)小於0,則將IdenticalDirecitionFlag設定為1。
除此之外之情形時,將IdenticalDirecitionFlag設定為0。
此處,變量PicOrderCntVal係表示描述自與各圖像相關之DPB之輸出順序之POC (Picture Order Count)。PicOrderCnt(picX)係表示圖像picX之PicOrderCntVal函數,函數DiffPicOrderCnt(picA,picB)如下所示。
DiffPicOrderCnt(picA,picB)=PicOrderCnt(picA)-PicOrderCnt(picB)
若aPic與CurrPic之POC之差DiffPicOrderCnt(aPic,CurrPic)小於0,則所有短期參照圖像aPic相對於目前之圖像CurrPic成為以前之圖像。
此外,若CurrPic與aPic之POC之差DiffPicOrderCnt(CurrPic,aPic)小於0,則所有短期參照圖像aPic相對於目前之圖像CurrPic成為未來之圖像。
作為變量IdenticalDirecitionFlag之其他導出方法,亦可定義為,僅當兩個參照圖像相對於目前之圖像均為以前之圖像時,將變量IdenticalDirecitionFlag設定為1。即,參照圖像列表之構造並非由以前及未來之兩個參照圖像夾著目前之圖像。該情形時,以如下方式導出。
若目前之片之參照圖像列表0及參照圖像列表1中之所有短期參照圖像aPic與目前之圖像CurrPic之POC之差DiffPicOrderCnt(aPic,CurrPic)小於0,則將IdenticalDirecitionFlag設定為1。
除此之外之情形時,將IdenticalDirecitionFlag設定為0。
另外,該標記亦可替換為於非專利文獻1中用作變量NoBackwadPredFlag者。
此外,作為其他實施例,亦可於決定了ref_idx_l0[x0][y0]及ref_idx_l1[x0][y0]之後,設定變量IdenticalDirecitionFlag。該情形時,變量IdenticalDirecitionFlag以如下方式導出。
若參照圖像列表0之ref_idx_l0[x0][y0]及參照圖像列表1之ref_idx_l1[x0][y0]所指示之兩個短期參照圖像aPic與目前之圖像CurrPic之POC之差DiffPicOrderCnt(aPic,CurrPic)分別小於0,則將IdenticalDirecitionFlag設為1。
除此之外之情形時,若CurrPic與aPic之POC之差DiffPicOrderCnt(CurrPic,aPic)分別小於0,則將IdenticalDirecitionFlag設定為1。
除此之外之情形時,將IdenticalDirecitionFlag設定為0。
此外,作為其他實施例,變量IdenticalDirecitionFlag以如下方式導出。
若參照圖像列表0之ref_idx_l0[x0][y0]及參照圖像列表1之ref_idx_l1[x0][y0]所指示之兩個短期參照圖像aPic與目前之圖像CurrPic之POC之差DiffPicOrderCnt(aPic,CurrPic)分別小於0,則將IdenticalDirecitionFlag設定為1。
除此之外之情形時,將IdenticalDirecitionFlag設定為0。
作為非專利文獻1記載之方法之其他問題,可列舉如圖19所示,當圖像標頭中mvd_l1_zero_flag為1時,即便sps_smvd_enabled_flag為1,不論參照圖像列表構造如何,始終不運行對稱移動向量差分模式。非專利文獻1中,一個圖像內可存在複數個片,各個片可選擇不同之參照圖像列表。因此,當一個圖像內存在複數個片時,根據選擇之參照圖像,編碼效率可能明顯變差。
因此,本實施例中,如圖21之IF_SYMMVD1_A所示,自對稱移動向量差分模式之適用條件中刪除mvd_l1_zero_flag為1這一條件,變更為以下之條件。
if(sps_smvd_enabled_flag&& inter_pred_idc[x0][y0]==PRED_BI&& !inter_affine_flag[x0][y0]&& RefIdxSymL0>-1&&RefIdxSymL1>-1) 即,mvd_l1_zero_flag為0時,本實施例中,亦基於上述之條件式,由預測參數導出部120或者參數編碼部111對sym_mvd_flag[x0][y0]進行編碼。而且,由參數解碼部302或者預測參數導出部320對sym_mvd_flag[x0][y0]進行解碼。
亦可不刪除mvd_l1_zero_flag之判定,取而代之而對本實施例中如圖21之IF_SYMMVD2_A所示適用於雙向預測之L1預測中使移動向量之差分為零之模式之條件,如下所示加上變量IdenticalDirecitionFlag為1這一條件。IdenticalDirecitionFlag係表示兩個參照圖像與目前之圖像是否為相同方向(二者均為以前的圖像、或、二者均為未來的圖像)之標記。
if(mvd_l1_zero_flag&&IdenticalDirectionFlag&& inter_pred_idc[x0][y0]==PRED_BI){ 即,當兩個參照圖像與目前之圖像為相同方向(二者均為以前的圖像、或二者均為未來的圖像)(IdenticalDirectionFlag為1)時,於L1預測中,使移動向量之差分為零。該情形時,將0代入至變量MvdL1[x0][y0][0]及變量MvdL1[x0][y0][1]。此外,將0代入至用於仿射預測之6個移動向量之差分資訊MvdCpL1[x0][y0][0][0]、MvdCpL1[x0][y0][0][1]、MvdCpL1[x0][y0][1][0]、MvdCpL1[x0][y0][1][1]、MvdCpL1[x0][y0][2][0]、MvdCpL1[x0][y0][2][1]。
此外,作為適用於雙向預測之L1預測(inter_pred_idc[x0][y0]!=PRED_L0)中使移動向量之差分為零之模式之條件,亦可為以下(IF_SYMMVD2_B)所示。
if(mvd_l1_zero_flag&& inter_pred_idc[x0][y0]==PRED_BI&& !(RefIdxSymL0>-1&&RefIdxSymL1>-1)){ 藉由如此設置,能解決如下問題:當圖像標頭中mvd_l1_zero_flag設定為1時,即便sps_smvd_enabled_flag設定為1,不論參照圖像列表構造如何,均不運行對稱移動向量差分模式。
此外,作為變量IdenticalDirecitionFlag之導出方法之其他實施例,亦可使用採用對稱移動向量差分模式之參照圖像列表之參照索引值之如下之式。
IdenticalDirecitionFlag=(RefIdxSymL0>-1&&RefIdxSymL1>-1)?0:1
此處,變量RefIdxSymL0係對稱移動向量差分模式之參照圖像列表0之參照索引值,變量RefIdxSymL1係對稱移動向量差分模式之參照圖像列表1之參照索引值。
此外,作為變量IdenticalDirecitionFlag之導出方法之其他實施例,亦可為以下實施例。若目前之片之參照圖像列表0及參照圖像列表1中、激活之短期參照圖像aPic[i](i=0,1)與目前之圖像CurrPic之POC之差DiffPicOrderCnt(aPic[i],CurrPic)分別小於0,則將IdenticalDirecitionFlag設定為1。
除此之外之情形時,若DiffPicOrderCnt(CurrPic,aPic[i])分別小於0,則將IdenticalDirecitionFlag設定為1。
除此之外之情形時,將IdenticalDirecitionFlag設定為0。
aPic[i](i=0,1)係目前之片之參照圖像列表i及參照圖像列表1中、變量NumRefIdxActive[0]及NumRefIdxActive[1]所定義之實際可使用之激活之短期參照圖像。
作為變量IdenticalDirecitionFlag之其他導出方法,亦可定義為,僅當ref_idx_l0[x0][y0]及ref_idx_l1[x0][y0]所指示之兩個參照圖像相對於目前之圖像均為以前的圖像時,將變量IdenticalDirecitionFlag設定為1。
若目前之片之參照圖像列表0及參照圖像列表1中、變量NumRefIdxActive[0]及NumRefIdxActive[1]所定義之實際可使用之激活之短期參照圖像aPic與目前之圖像CurrPic之POC之差DiffPicOrderCnt(aPic,CurrPic)小於0,則將IdenticalDirecitionFlag設定為1。
除此之外之情形時,將IdenticalDirecitionFlag設定為0。
另外,該標記亦可替換為於非專利文獻1中用作變量NoBackwadPredFlag者。
圖22係對用於解決非專利文獻1記載之方法之問題之其他實施例中使用之圖像標頭PH及片標頭之語法進行說明之圖。該等語法例如藉由預測參數導出部120或者參數編碼部111編碼,藉由參數解碼部302或者預測參數導出部320解碼。
圖22(a)之圖像標頭PH中,當ph_inter_slice_allowed_flag為1、且rpl_info_in_ph_flag為1時,對mvd_l1_zero_flag進行編碼、解碼。ph_inter_slice_allowed_flag係表示圖像內之片是否為畫面間之標記。rpl_info_in_ph_flag係表示圖像標頭中是否存在參照圖像列表資訊之標記。
圖22(b)之片標頭中,當ph_inter_slice_allowed_flag為0、且slice_type為B時,對mvd_l1_zero_flag進行編碼、解碼。即,當圖像標頭PH中不存在參照圖像列表資訊、片標頭中存在參照圖像列表資訊、且為B片時,對mvd_l1_zero_flag進行編碼、解碼。
藉由如此構成,能以參照圖像列表變更之時序設定mvd_l1_zero_flag,故而能解決如下問題:即便sps_smvd_enabled_flag設定為1,不論參照圖像列表構造如何,均不運行對稱移動向量差分模式。 〔應用例〕
上述動態圖像編碼裝置11及動態圖像解碼裝置31可搭載於進行動態圖像之發送、接收、記錄、播放之各種裝置而利用。另外,動態圖像可為由相機等拍攝之自然動態圖像,亦可為由電腦等生成之人工動態圖像(包含CG及GUI)。
首先,參照圖2對可將上述動態圖像編碼裝置11及動態圖像解碼裝置31用於動態圖像之發送及接收之情況進行說明。
圖2之PROD_A係表示搭載有動態圖像編碼裝置11之發送裝置PROD_A之構成之方塊圖。如圖所示,發送裝置PROD_A具有:編碼部PROD_A1,其藉由對動態圖像進行編碼而獲得編碼資料;調變部PROD_A2,其藉由利用編碼部PROD_A1所獲得之編碼資料對載波進行調變而獲得調變信號;及發送部PROD_A3,其發送調變部PROD_A2所獲得之調變信號。上述動態圖像編碼裝置11用作該編碼部PROD_A1。
發送裝置PROD_A亦可還具備作為輸入至編碼部PROD_A1之動態圖像之供給源之拍攝動態圖像之相機PROD_A4、記錄動態圖像之記錄媒體PROD_A5、用於自外部輸入動態圖像之輸入端子PROD_A6、及生成或加工圖像之圖像處理部A7。圖中,例示出發送裝置PROD_A具有該等所有部件之構成,但亦可省略一部分。
另外,記錄媒體PROD_A5可為記錄未編碼之動態圖像者,亦可為記錄以與傳輸用之編碼方式不同之記錄用之編碼方式編碼之動態圖像。當為後者時,記錄媒體PROD_A5與編碼部PROD_A1之間,亦可介插將自記錄媒體PROD_A5讀出之編碼資料按照記錄用之編碼方式進行解碼之解碼部(未圖示)。
圖2之PROD_B係表示搭載有動態圖像解碼裝置31之接收裝置PROD_B之構成之方塊圖。如圖所示,接收裝置PROD_B具有:接收部PROD_B1,其接收調變信號;解調部PROD_B2,其藉由對接收部PROD_B1接收之調變信號進行解調而獲得編碼資料;及解碼部PROD_B3,其藉由對解調部PROD_B2獲得之編碼資料進行解碼而獲得動態圖像。上述動態圖像解碼裝置31用作該解碼部PROD_B3。
接收裝置PROD_B亦可還具有作為解碼部PROD_B3輸出之動態圖像之供給目的地之顯示動態圖像之顯示器PROD_B4、用於記錄動態圖像之記錄媒體PROD_B5、及用於將動態圖像輸出至外部之輸出端子PROD_B6。圖中,例示出接收裝置PROD_B具有該等所有部件之構成,但亦可省略一部分。
另外,記錄媒體PROD_B5可為用於記錄未編碼之動態圖像者,亦可為經與傳輸用之編碼方式不同之記錄用之編碼方式編碼者。當為後者時,解碼部PROD_B3與記錄媒體PROD_B5之間,可介插將自解碼部PROD_B3獲得之動態圖像按照記錄用之編碼方式編碼之編碼部(未圖示)。
另外,傳輸調變信號之傳輸媒體可為無線,亦可為有線。另外,傳輸調變信號之傳輸方式可為廣播(此處係指未預先特定發送目的地之發送方式),亦可為通訊(此處係指預先特定發送目的地之發送方式)。即,調變信號之傳輸可藉由無線廣播、有線廣播、無線通訊、及有線通訊之任一者實現。
例如,數位地面廣播之廣播台(廣播設備等)/接收台(電視接收器等)為以無線廣播接收發送調變信號之發送裝置PROD_A/接收裝置PROD_B之一例。此外,有線電視廣播之廣播台(廣播設備等)/接收台(電視接收器等)係以有線廣播接收發送調變信號之發送裝置PROD_A/接收裝置PROD_B之一例。
此外,使用網際網路之VOD (Video On Demand)服務或動態圖像共享服務等之伺服器(工作站等)/用戶端(電視接收器、個人電腦、智慧型手機等)係利用通訊接收發送調變信號之發送裝置PROD_A/接收裝置PROD_B之一例(通常,LAN中使用無線或有線之任一者作為傳輸媒體,WAN中使用有線作為傳輸媒體)。此處,個人電腦包含桌上型PC、膝上型PC及平板型PC。此外,智慧型手機亦包含多功能行動電話終端。
另外,動態圖像共享服務之用戶端除對自伺服器下載之編碼資料進行解碼並顯示於顯示器之功能以外,還具有將利用相機拍攝之動態圖像編碼並上載至伺服器之功能。即,動態圖像共享服務之用戶端作為發送裝置PROD_A及接收裝置PROD_B之兩者發揮功能。
繼而,參照圖3對可將上述動態圖像編碼裝置11及動態圖像解碼裝置31用於動態圖像之記錄及播放之情形進行說明。
圖3之PROD_C係表示搭載有上述動態圖像編碼裝置11之記錄裝置PROD_C之構成之方塊圖。如圖所示,記錄裝置PROD_C具有:編碼部PROD_C1,其藉由對動態圖像進行編碼而獲得編碼資料;及寫入部PROD_C2,其將編碼部PROD_C1獲得之編碼資料寫入至記錄媒體PROD_M。上述動態圖像編碼裝置11用作該編碼部PROD_C1。
另外,記錄媒體PROD_M可為(1) HDD (Hard Disk Drive)或SSD (Solid State Drive)等般內置於記錄裝置PROD_C之類型者,可為(2) SD記憶體卡或USB (Universal Serial Bus)快閃記憶體等般連接於記錄裝置PROD_C之類型者,亦可為(3) DVD(Digital Versatile Disc:註冊商標)或BD(Blu-ray Disc:註冊商標)等般裝填於記錄裝置PROD_C中內置之驅動器裝置(未圖示)者。
此外,記錄裝置PROD_C亦可還具有作為輸入至編碼部PROD_C1之動態圖像之供給源之拍攝動態圖像之相機PROD_C3、用於自外部輸入動態圖像之輸入端子PROD_C4、用於接收動態圖像之接收部PROD_C5、及生成或加工圖像之圖像處理部PROD_C6。圖中,例示出記錄裝置PROD_C具有該等所有部件之構成,但亦可省略一部分。
另外,接收部PROD_C5可為接收未編碼之動態圖像者,亦可為接收以與記錄用之編碼方式不同之傳輸用之編碼方式編碼之編碼資料者。當為後者時,接收部PROD_C5與編碼部PROD_C1之間,亦可介插將以傳輸用之編碼方式編碼之編碼資料解碼之傳輸用解碼部(未圖示)。
作為上述記錄裝置PROD_C,可列舉例如DVD記錄器、BD記錄器、HDD (Hard Disk Drive)記錄器等(該情形時,輸入端子PROD_C4或接收部PROD_C5成為動態圖像之主要供給源)。此外,攝錄影機(該情形時,相機PROD_C3成為動態圖像之主要供給源)、個人電腦(該情形時,接收部PROD_C5或圖像處理部C6成為動態圖像之主要供給源)、智慧型手機(該情形時,相機PROD_C3或接收部PROD_C5成為動態圖像之主要供給源)等亦可為上述記錄裝置PROD_C之一例。
圖3PROD_D係表示搭載有上述動態圖像解碼裝置31之播放裝置PROD_D之構成之區塊。如圖所示,播放裝置PROD_D具有:讀出部PROD_D1,其將寫入於記錄媒體PROD_M之編碼資料讀出;及解碼部PROD_D2,其藉由將讀出部PROD_D1讀出之編碼資料解碼而獲得動態圖像。上述動態圖像解碼裝置31用作該解碼部PROD_D2。
另外,記錄媒體PROD_M可為(1) HDD或SSD等般內置於播放裝置PROD_D之類型者,可為(2) SD記憶體卡或USB快閃記憶體等般連接於播放裝置PROD_D之類型者,亦可為(3) DVD或BD等般內置於播放裝置PROD_D中之驅動器裝置(未圖示)者。
此外,播放裝置PROD_D亦可還具有作為解碼部PROD_D2輸出之動態圖像之供給目的地之、顯示動態圖像之顯示器PROD_D3、用於將動態圖像輸出至外部之輸出端子PROD_D4、及發送動態圖像之發送部PROD_D5。圖中,例示出播放裝置PROD_D具有全部該等部件之構成,但亦可省略一部分。
另外,發送部PROD_D5可為發送未編碼之動態圖像者,亦可為發送以與記錄用之編碼方式不同之傳輸用之編碼方式編碼之編碼資料者。當為後者時,於解碼部PROD_D2與發送部PROD_D5之間,可介插將動態圖像以傳輸用之編碼方式編碼之編碼部(未圖示)。
作為此種播放裝置PROD_D,可列舉例如DVD播放器、BD播放器、HDD播放器等(該情形時,連接有電視接收器等之輸出端子PROD_D4成為動態圖像之主要供給目的地)。此外,電視接收器(該情形時,顯示器PROD_D3成為動態圖像之主要供給目的地)、數位標牌(亦可稱為電子看板或電子指示板等,顯示器PROD_D3或發送部PROD_D5成為動態圖像之主要供給目的地)、桌上型PC(該情形時,輸出端子PROD_D4或發送部PROD_D5成為動態圖像之主要供給目的地)、膝上型或平板型PC(該情形時,顯示器PROD_D3或發送部PROD_D5成為動態圖像之主要供給目的地)、智慧型手機(該情形時,顯示器PROD_D3或發送部PROD_D5成為動態圖像之主要供給目的地)等亦為該播放裝置PROD_D之一例。 (以硬體實現及以軟體實現)
此外,上述動態圖像解碼裝置31及動態圖像編碼裝置11之各區塊可藉由形成於積體電路(IC晶片)上之邏輯電路以硬體實現,亦可使用CPU (Central Processing Unit)以軟體實現。
當為後者時,上述各裝置具有執行實現各功能之程式之命令之CPU、儲存上述程式之ROM (Read Only Memory)、展開上述程式之RAM (Random Access Memory)、儲存上述程式及各種資料之記憶體等記憶裝置(記錄媒體)等。而且,本發明之實施例之目的,亦可藉由將以電腦可讀取地記錄有實現上述功能之軟體即上述各裝置之控製程式之程式碼(執行形式程式、中間碼程式、源程式)之記錄媒體供給至上述各裝置,由該電腦(或CPU或MPU)讀出並執行記錄媒體中記錄之程式碼而達成。
作為上述記錄媒體,可使用例如磁帶或卡式磁帶等等磁帶類、包含軟碟(註冊商標)/硬碟等磁碟或CD-ROM (Compact Disc Read-Only Memory)/MO碟 (Magneto-Optical disc)/MD (Mini Disc)/DVD(Digital Versatile Disc:註冊商標)/CD-R (CD Recordable)/藍光光碟(Blu-rayDisc:註冊商標)等光碟之碟片類、IC卡(包含記憶體卡)/光卡等卡類、光罩式ROM/EPROM (Erasable Programmable Read-Only Memory)/EEPROM(Electrically Erasable and Programmable Read-Only Memory:註冊商標)/快閃ROM等半導體記憶體類、PLD (Programmable logic device)或FPGA (Field Programmable Gate Array)等邏輯電路類等。
另外,亦可將上述各裝置構成為可與通訊網路連接,經由通訊網路而供給上述程式碼。該通訊網路只要可傳輸程式碼即可,並無特別限定。例如可使用網際網路、內部網路、商際網路、LAN (Local Area Network)、ISDN(Integrated Services Digital Network,整體服務數位網路)、VAN(Value-Added Network,加值網路)、CATV(Community Antenna television/Cable Television,社區天線電視/有線電視)通訊網、虛擬專用網路(Virtual Private Network)、電話網路、行動通訊網路、衛星通訊網路等。另外,構成該通訊網路之傳輸媒體亦只要為可傳輸程式碼之媒體即可,並不限定於特定之構成或種類。例如可利用IEEE(Institute of Electrical and Electronic Engineers,美國電機電子工程師學會)1394、USB、電力線載波、有線TV線、電話線、ADSL(Asymmetric Digital Subscriber Line,非對稱數位用戶線)線路等有線,且可利用IrDA(Infrared Data Association,紅外線數據協會)、遙控器之類的紅外線、BlueTooth(註冊商標)、IEEE802.11無線、HDR(High Data Rate,高資料率)、NFC(Near Field Communication,近場通訊)、DLNA(Digital Living Network Alliance:註冊商標)、行動電話網、衛星線路、數位地面廣播網等無線。另外,本發明之實施例亦可以利用電子傳輸使上述程式碼具體化並嵌入於載波之電腦資料信號之形態實現。
本發明之實施例並不限定於上述實施例,能夠於申請專利範圍進行各種變更。即,將於申請專利範圍內適當變更之技術手段加以組合而得之實施例亦包含於本發明之技術範圍內。 產業上之可利用性
本發明之實施例可較佳地應用於對圖像資料經編碼之編碼資料進行解碼之動態圖像解碼裝置、及生成圖像資料經編碼之編碼資料之動態圖像編碼裝置。此外,可較佳地應用於由動態圖像編碼裝置生成、且由動態圖像解碼裝置參照之編碼資料之資料構造。
11:圖像編碼裝置 31:圖像解碼裝置 101, 308:預測圖像生成部 102:減法部 103:轉換・量化部 104:熵編碼部 105, 311:逆量化・逆轉換部 106, 312:加法部 107, 305:迴路濾波器 108, 307:預測參數記憶體 109, 306:參照圖像記憶體 110:編碼參數決定部 111:參數編碼部 112:畫面間預測參數編碼部 113:畫面內預測參數編碼部 120:預測參數導出部 301:熵解碼部 302:參數解碼部 303:畫面間預測參數導出部 304:畫面內預測參數導出部 309:畫面間預測圖像生成部 310:畫面內預測圖像生成部 320:預測參數導出部
[圖1]係表示本實施例之圖像傳輸系統之構成之概略圖。 [圖2]係表示搭載有本實施例之動態圖像編碼裝置之發送裝置、及搭載有動態圖像解碼裝置之接收裝置之構成之圖。PROD_A表示搭載有動態圖像編碼裝置之發送裝置,PROD_B表示搭載有動態圖像解碼裝置之接收裝置。 [圖3]係表示搭載有本實施例之動態圖像編碼裝置之記錄裝置、及搭載有動態圖像解碼裝置之播放裝置之構成之圖。PROD_C表示搭載有動態圖像編碼裝置之記錄裝置,PROD_D表示搭載有動態圖像解碼裝置之播放裝置。 [圖4]係表示編碼串流資料之階層構造之圖。 [圖5]係表示參照圖像及參照圖像列表之一例之概念圖。 [圖6]係表示動態圖像解碼裝置之構成之概略圖。 [圖7]係說明動態圖像解碼裝置之概略性動作之流程圖。 [圖8]係說明合併候選之配置之圖。 [圖9]係表示畫面間預測參數導出部之構成之概略圖。 [圖10]係表示合併預測參數導出部、及AMVP預測參數導出部之構成之概略圖。 [圖11]係表示畫面間預測圖像生成部之構成之概略圖。 [圖12]係表示動態圖像編碼裝置之構成之方塊圖。 [圖13]係表示畫面間預測參數編碼部之構成之概略圖。 [圖14]係表示畫面內預測參數編碼部之構成之概略圖。 [圖15]係表示Sequence Paramenter Set (SPS)及Picture Parameter Set (PPS)之語法之一部分之圖。 [圖16]係表示圖像標頭PH之語法之一部分之圖。 [圖17]係表示片標頭之語法之一部分之圖。 [圖18]係表示對參照圖像列表進行定義之ref_pic_lists()及對參照圖像列表構造ref_pic_list_struct(listIdx、rplsIdx)進行定義之語法之圖。 [圖19]係表示編碼單元CU之語法之一部分之圖。 [圖20]係表示本實施例中之編碼單元CU之語法之圖。 [圖21]係表示本實施例中之編碼單元CU之語法之圖。 [圖22]係表示本實施例中之圖像標頭PH與片標頭之語法之一部分之圖。

Claims (2)

  1. 一種動態圖像解碼裝置,其包括: 解碼部,每一片解碼參照圖像列表構造;及 預測部,基於該參照圖像列表構造導出參照圖像列表;其中 該解碼部導出對稱移動向量差分參照索引; 該預測部導出共位區塊與標記; 使用包含該共位區塊的合併候選列表導出對象區塊之移動向量; 在目前之片之參照圖像列表0及參照圖像列表1內之所有參照圖像aPic與目前之圖像CurrPic之POC之差DiffPicOrderCnt(aPic,CurrPic)小於第一閾值的情況,將該標記設定為第一值,在除此以外的情況,將該標記設定為第二值。
  2. 一種動態圖像解碼方法,其中, 每一片解碼參照圖像列表構造; 基於該參照圖像列表構造導出參照圖像列表; 導出對稱移動向量差分參照索引; 使用包含共位區塊的合併候選列表導出對象區塊之移動向量; 在目前之片之參照圖像列表0及參照圖像列表1內之所有參照圖像aPic與目前之圖像CurrPic之POC之差DiffPicOrderCnt(aPic,CurrPic)小於第一閾值的情況,將標記設定為第一值,在除此以外的情況,將該標記設定為第二值。
TW110112251A 2020-04-02 2021-04-01 動態圖像解碼裝置及動態圖像解碼方法 TW202139699A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-066614 2020-04-02
JP2020066614 2020-04-02

Publications (1)

Publication Number Publication Date
TW202139699A true TW202139699A (zh) 2021-10-16

Family

ID=77928936

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110112251A TW202139699A (zh) 2020-04-02 2021-04-01 動態圖像解碼裝置及動態圖像解碼方法

Country Status (4)

Country Link
US (1) US20230147701A1 (zh)
CN (1) CN115398917A (zh)
TW (1) TW202139699A (zh)
WO (1) WO2021200658A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11917165B2 (en) * 2021-08-16 2024-02-27 Tencent America LLC MMVD signaling improvement

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018050091A (ja) * 2015-02-02 2018-03-29 シャープ株式会社 画像復号装置、画像符号化装置および予測ベクトル導出装置
CN116866561A (zh) * 2017-09-29 2023-10-10 Lx 半导体科技有限公司 图像编码/解码方法、存储介质及图像数据的传输方法
US11563954B2 (en) * 2017-10-26 2023-01-24 Electronics And Telecommunications Research Institute Method and device for image encoding/decoding on basis of asymmetric sub-block
KR20190108506A (ko) * 2018-03-14 2019-09-24 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP3817381A4 (en) * 2018-06-29 2022-04-27 Electronics and Telecommunications Research Institute IMAGE DECODING/CODING APPARATUS AND METHOD FOR PROCESSING THROUGHPUT IMPROVEMENT, AND RECORDING MEDIA STORAGE OF A BITSTREAM
CN112534810A (zh) * 2018-08-06 2021-03-19 夏普株式会社 运动图像解码装置以及运动图像编码装置
KR20240005178A (ko) * 2018-09-19 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 움직임 벡터 해상도를 가지는 어파인 모드에 대한 구문 재사용
CN117692657A (zh) * 2018-11-16 2024-03-12 夏普株式会社 用于在视频编码中导出运动矢量预测的系统和方法
KR20200078378A (ko) * 2018-12-21 2020-07-01 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN113545078A (zh) * 2019-03-08 2021-10-22 韩国电子通信研究院 图像编码/解码方法和设备以及用于存储比特流的记录介质

Also Published As

Publication number Publication date
CN115398917A (zh) 2022-11-25
US20230147701A1 (en) 2023-05-11
JPWO2021200658A1 (zh) 2021-10-07
WO2021200658A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
WO2021111962A1 (ja) 動画像復号装置
JP7448349B2 (ja) 動画像復号装置
WO2020137920A1 (ja) 予測画像生成装置、動画像復号装置、動画像符号化装置および予測画像生成方法
US20230319305A1 (en) Video decoding apparatus
JP2022007319A (ja) 動画像符号化装置、復号装置
JP2021027429A (ja) 動画像符号化装置、動画像復号装置
WO2021200658A1 (ja) 動画像復号装置及び動画像復号方法
WO2021200610A1 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法及び動画像符号化方法
JP2020096279A (ja) 予測画像生成装置、動画像復号装置および動画像符号化装置
JP2020088660A (ja) 動画像符号化装置、動画像復号装置
JP2022096879A (ja) 動画像符号化装置、復号装置
JP7465128B2 (ja) 動画像符号化装置及び動画像復号装置
WO2021235448A1 (ja) 動画像符号化装置及び動画像復号装置
JP2020170901A (ja) 予測画像生成装置、動画像復号装置および動画像符号化装置
US11825111B2 (en) Prediction image generation device, moving image decoding device, moving image encoding device, and prediction image generation method
JP2022085475A (ja) 動画像符号化装置、復号装置
JP2021175009A (ja) 動画像符号化装置及び動画像復号装置
JP2024063132A (ja) 動画像復号装置
JP2021197558A (ja) 動画像符号化装置及び動画像復号装置
JP2021125798A (ja) 動画像符号化装置、復号装置
JP2021078004A (ja) 動画像符号化装置、動画像復号装置
JP2022156140A (ja) 動画像符号化装置、復号装置
JP2021027458A (ja) 動画像符号化装置、動画像復号装置、予測画像生成方法
JP2020109919A (ja) 予測画像生成装置、動画像復号装置および動画像符号化装置
JP2020195014A (ja) 動画像復号装置および動画像符号化装置