TW201909632A - 編碼裝置、解碼裝置、編碼方法及解碼方法 - Google Patents

編碼裝置、解碼裝置、編碼方法及解碼方法 Download PDF

Info

Publication number
TW201909632A
TW201909632A TW107118740A TW107118740A TW201909632A TW 201909632 A TW201909632 A TW 201909632A TW 107118740 A TW107118740 A TW 107118740A TW 107118740 A TW107118740 A TW 107118740A TW 201909632 A TW201909632 A TW 201909632A
Authority
TW
Taiwan
Prior art keywords
inter
image
prediction
unit
block
Prior art date
Application number
TW107118740A
Other languages
English (en)
Other versions
TWI814726B (zh
Inventor
安倍清史
西孝啓
遠間正真
加納龍一
Original Assignee
美商松下電器（美國）知識產權公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商松下電器（美國）知識產權公司 filed Critical 美商松下電器（美國）知識產權公司
Publication of TW201909632A publication Critical patent/TW201909632A/zh
Application granted granted Critical
Publication of TWI814726B publication Critical patent/TWI814726B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Abstract

一種編碼裝置，其包含記憶體及電路，電路使用記憶體，在第1動作模式中，以將動態圖像所包含的圖像分割後的預測區塊為單位，導出第1移動向量(S112)，且以預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的第1移動補償處理，其中前述圖像是藉由使用了導出的第1移動向量之移動補償所產生(S113)；在第2動作模式中，以將預測區塊分割後的子區塊為單位，導出第2移動向量(S114)，且以子區塊為單位，進行不參考圖像中的亮度之空間上的梯度而產生預測圖像的第2移動補償處理，其中前述圖像是藉由使用了第2移動向量的移動補償所產生(S115)。

Description

編碼裝置、解碼裝置、編碼方法及解碼方法
發明領域 本揭示係有關於編碼裝置、解碼裝置、編碼方法及解碼方法。
發明背景 習知用以對動態圖像做編碼的規格，存在著H.265。H.265也稱為HEVC (High-Efficiency Video Coding)。
先行技術文獻 非專利文獻 非專利文獻1：H.265(ISO/IEC 23008-2 HEVC (High Efficiency Coding))
發明概要 發明欲解決之課題 在如此的編碼方法及解碼方法中，期望可減低處理量。
本揭示之目的在於提供一種可減低處理量的解碼裝置、編碼裝置、解碼方法或編碼方法。
用以解決課題之手段 本揭示一態樣之編碼裝置包含電路及記憶體，前述電路使用前述記憶體，在第1動作模式中，以將動態圖像所包含的圖像分割後的預測區塊為單位，導出第1移動向量，且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的第1移動補償處理，其中前述圖像是藉由使用了導出的前述第1移動向量之移動補償所產生；在第2動作模式中，以將前述預測區塊分割後的子區塊為單位，導出第2移動向量，且以前述子區塊為單位，進行不參考圖像中的亮度之空間上的梯度而產生預測圖像的第2移動補償處理，其中前述圖像是藉由使用了前述第2移動向量的移動補償所產生。
本揭示一態樣之解碼裝置包含電路及記憶體，前述電路使用前述記憶體，在第1動作模式中，以將動態圖像所包含的圖像分割後的預測區塊為單位，導出第1移動向量，且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的第1移動補償處理，其中前述圖像是藉由使用了導出的前述第1移動向量之移動補償所產生；在第2動作模式中，以將前述預測區塊分割後的子區塊為單位，導出第2移動向量，且以前述子區塊為單位，進行不參考圖像中的亮度之空間上的梯度而產生預測圖像的第2移動補償處理，其中前述圖像是藉由使用了前述第2移動向量的移動補償所產生。
另，該等概括性或者是具體性的態樣，可以透過系統、裝置、方法、積體電路、電腦程式、或者電腦可讀取之CD-ROM等非暫時性之記錄媒體來實現，也可以透過系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。
發明效果 本揭示可提供一種可減低處理量的解碼裝置、編碼裝置、解碼方法或編碼方法。
用以實施發明之形態 本揭示一態樣之編碼裝置包含有電路及記憶體，前述電路使用前述記憶體，以將動態圖像所包含的圖像分割後的預測區塊為單位，藉由使用彼此相異的2個圖片內的2個區域的2個再構成圖像之適合程度的第1畫面間預測方式來導出第1移動向量，並且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的第1移動補償處理，其中前述圖像是藉由使用了導出的前述第1移動向量之移動補償所產生。
藉此，該編碼裝置以預測區塊為單位，進行第1畫面間預測方式之移動向量的導出處理及第1移動補償處理，因此，例如與以子區塊為單位進行該等處理的情況比較起來，可減低處理量。又，參考亮度之空間上的梯度而產生預測圖像的第1移動補償處理，可實現以比預測區塊單位更小的單位之補正，因此可抑制不以子區塊為單位進行處理時的編碼效率之低落。故，該編碼裝置可抑制編碼效率之低落，同時減低處理量。
例如，前述電路亦可使用前述記憶體，進一步以前述預測區塊為單位，藉由使用對象預測區塊與參考圖片所包含之區域之再構成圖像的適合程度的第2畫面間預測方式來導出第2移動向量，並且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的第2移動補償處理，產生包含有用以特定出前述第2移動向量之資訊的編碼位元串流，其中前述圖像是藉由使用了前述第2移動向量的移動補償所產生。
藉此，在使用第1畫面間預測方式時以及在使用第2畫面間預測方式時，移動補償處理之處理單位可為同一個。藉此，可使移動補償處理的安裝變容易。
例如，在前述第1畫面間預測方式中的前述2個區域可為：(1)鄰接於對象預測區塊之對象圖片內的區域、以及參考圖片內的區域；或者(2) 彼此相異的2個參考圖片內的2個區域。
本揭示一態樣之解碼裝置包含有電路及記憶體，前述電路使用前述記憶體，以將動態圖像所包含的的圖像分割後的預測區塊為單位，藉由使用彼此相異的2個參考圖片內的2個區域的2個再構成圖像之適合程度的第1畫面間預測方式來導出第1移動向量，並且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的第1移動補償處理，其中前述圖像是藉由使用了導出的前述第1移動向量之移動補償所產生。
藉此，該解碼裝置以預測區塊為單位，進行第1畫面間預測方式之移動向量的導出處理及第1移動補償處理，因此，例如與以子區塊為單位進行該等處理時比較起來，可減低處理量。又，參考亮度之空間上的梯度而產生預測圖像的第1移動補償處理，可實現以比預測區塊單位更小的單位之補正，因此可抑制不以子區塊單位進行處理時的編碼效率之低落。故，該解碼裝置可抑制編碼效率之低落，同時減低處理量。
例如，前述電路也可使用前述記憶體，進一步從編碼位元串流，取得以前述預測區塊為單位特定出前述第2移動向量用的資訊，且以前述預測區塊為單位，藉由使用了前述資訊的第2畫面間預測方式來導出前述第2移動向量，並且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的第2移動補償處理，其中前述圖像是藉由使用了導出的前述第2移動向量之移動補償所產生。
藉此，在使用第1畫面間預測方式時以及在使用第2畫面間預測方式時，移動補償處理之處理單位可為同一個。藉此，可使移動補償處理的安裝變容易。
例如，在前述第1畫面間預測方式中的前述2個區域可為：(1)鄰接於對象預測區塊之對象圖片內的區域、以及參考圖片內的區域；或者(2)彼此相異的2個參考圖片內的2個區域。
本揭示一態樣之編碼方法是以將動態圖像所包含的圖像分割後的預測區塊為單位，藉由使用彼此相異的2個參考圖片內的2個區域的2個再構成圖像之適合程度的第1畫面間預測方式來導出第1移動向量，並且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的移動補償處理，其中前述圖像是藉由使用了導出的前述第1移動向量之移動補償所產生。
藉此，該編碼方法是以預測區塊為單位，進行第1畫面間預測方式之移動向量的導出處理及第1移動補償處理，因此，例如與以子區塊為單位進行該等處理時比較起來，可減低處理量。又，參考亮度之空間上的梯度來產生預測圖像的第1移動補償處理，可實現以比預測區塊單位更小的單位之補正，因此可抑制不以子區塊為單位進行處理時的編碼效率之低落。故，該編碼方法可抑制編碼效率之低落，同時減低處理量。
本揭示一態樣之解碼方法是以將動態圖像所包含的圖像分割後的預測區塊為單位，藉由使用彼此相異的2個圖片內的2個區域的2個再構成圖像之適合程度的第1畫面間預測方式來導出第1移動向量，並且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的移動補償處理，其中前述圖像是藉由使用了導出的前述第1移動向量之移動補償所產生。
藉此，該解碼方法是以預測區塊為單位，進行第1畫面間預測方式之移動向量的導出處理及第1移動補償處理，因此，例如與以子區塊為單位進行該等處理時比較起來，可減低處理量。又，參考亮度之空間上的梯度來產生預測圖像的第1移動補償處理，可實現以比預測區塊單位更小的單位之補正，因此可抑制不以子區塊為單位進行處理時的編碼效率之低落。故，該解碼方法可抑制編碼效率之低落，同時減低處理量。
本揭示一態樣之編碼裝置包含有電路及記憶體，前述電路使用前述記憶體，在第1動作模式中，以將動態圖像所包含的圖像分割後的預測區塊為單位，導出第1移動向量，且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的第1移動補償處理，其中前述圖像是藉由使用了導出的前述第1移動向量之移動補償所產生；在第2動作模式中，以將前述預測區塊分割後的子區塊為單位，導出第2移動向量，且以前述前述子區塊為單位，進行不參考圖像中的亮度之空間上的梯度而產生預測圖像的第2移動補償處理，其中前述圖像是藉由使用了前述第2移動向量的移動補償所產生。
藉此，該編碼裝置在第1動作模式中，以預測區塊為單位進行移動向量之導出處理及第1移動補償處理，因此，例如與以子區塊為單位進行該等處理時比較起來，可減低處理量。又，參考亮度之空間上的梯度來產生預測圖像的第1移動補償處理，可實現以比預測區塊單位更小的單位之補正，因此可抑制不以子區塊為單位進行處理時的編碼效率之低落。又，該編碼裝置在第2動作模式中，以子區塊為單位進行進行移動向量之導出處理及第2移動補償處理。在此，第2移動補償處理不參考亮度之空間上的梯度，所以與第1移動補償處理比起來處理量較少。再加上，該編碼裝置由於具有此2種動作模式，而可提升編碼效率。如此，該編碼裝置可抑制編碼效率之低落，同時減低處理量。
例如，前述電路也可在前述第1動作模式中，藉由第1畫面間預測方式，以前述預測區塊為單位導出前述第1移動向量，並且在前述第2動作模式中，藉由與前述第1畫面間預測方式相異的第2畫面間預測方式，以前述子區塊為單位導出前述第2移動向量。
例如，前述第2畫面間預測方式也可為使用彼此相異的2個圖片內的2個區域的2個再構成圖像之適合程度的畫面間預測方式。
藉此，可以子區塊為單位來進行藉由以子區塊為單位算出移動向量而帶來較大的編碼效率提升效果之畫面間預測方式。故，可提升編碼效率。
例如也可以是，前述第1畫面間預測方式為以下的畫面間預測方式之其中一者：(1) 第3畫面間預測方式，使用鄰接於對象預測區塊之對象圖片內的區域的再構成圖像、以及參考圖片內的區域的再構成圖像之適合程度；(2)第4畫面間預測方式，使用彼此相異的2個參考圖片內的2個區域的2個再構成圖像之適合程度；前述第2畫面間預測方式則為前述第3畫面間預測方式與前述第4畫面間預測方式之其中另一者。
例如也可以是，前述第1畫面間預測方式為前述第3畫面間預測方式，而前述第2畫面間預測方式則為前述第4畫面間預測方式。
藉此，可以子區塊為單位來進行藉由以子區塊為單位算出移動向量而帶來較大的編碼效率提升效果之畫面間預測方式。故，可提升編碼效率。
例如也可以是，前述第1畫面間預測方式為使用對象預測區塊與參考圖片所包含之區域之再構成圖像的適合程度的畫面間預測方式，且產生編碼位元串流，前述編碼位元串流包含有用以特定出導出的前述第1移動向量之資訊。
本揭示一態樣之解碼裝置包含有電路及記憶體，前述電路使用前述記憶體，在第1動作模式中，以將動態圖像所包含的圖像分割後的預測區塊為單位，導出第1移動向量，且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的第1移動補償處理，其中前述圖像是藉由使用了導出的前述第1移動向量之移動補償所產生；在第2動作模式中，以將前述預測區塊分割後的子區塊為單位，導出第2移動向量，且以前述子區塊為單位，進行不參考圖像中的亮度之空間上的梯度而產生預測圖像的第2移動補償處理，其中前述圖像是藉由使用了前述第2移動向量的移動補償所產生。
藉此，該解碼裝置在第1動作模式中，以預測區塊為單位進行移動向量之導出處理及第1移動補償處理，因此，例如與以子區塊為單位進行該等處理時比較起來，可減低處理量。又，參考亮度之空間上的梯度來產生預測圖像的第1移動補償處理，可實現以比預測區塊單位更小的單位之補正，因此可抑制不以子區塊為單位進行處理時的編碼效率之低落。又，該解碼裝置在第2動作模式中，以子區塊為單位，進行移動向量之導出處理及第2移動補償處理。在此，第2移動補償處理不參考亮度之空間上的梯度，所以與第1移動補償處理比起來處理量較少。再加上，該解碼裝置由於具有此2種動作模式，而可提升編碼效率。如此，該解碼裝置可抑制編碼效率之低落，同時減低處理量。
例如，前述電路也可在前述第1動作模式中，藉由第1畫面間預測方式，以前述預測區塊為單位導出前述第1移動向量，並且在前述第2動作模式中，藉由與前述第1畫面間預測方式相異的第2畫面間預測方式，以前述子區塊為單位導出前述第2移動向量。
例如，前述第2畫面間預測方式也可為使用彼此相異的2個圖片內的2個區域的2個再構成圖像之適合程度的畫面間預測方式。
藉此，可以子區塊為單位來進行藉由以子區塊為單位算出移動向量而帶來較大的編碼效率提升效果之畫面間預測方式。故，可提升編碼效率。
例如也可以是，前述第1畫面間預測方式為以下的畫面間預測方式之其中一者：(1) 第3畫面間預測方式，使用鄰接於對象預測區塊之對象圖片內的區域的再構成圖像、以及參考圖片內的區域的再構成圖像之適合程度；(2)第4畫面間預測方式，使用彼此相異的2個參考圖片內的2個區域的2個再構成圖像之適合程度；而前述第2畫面間預測方式則為前述第3畫面間預測方式與前述第4畫面間預測方式之其中另一者。
例如也可以是，前述第1畫面間預測方式為前述第3畫面間預測方式，而前述第2畫面間預測方式則為前述第4畫面間預測方式。
藉此，可以子區塊為單位來進行藉由以子區塊為單位算出移動向量而帶來較大的編碼效率提升效果之畫面間預測方式。故，可提升編碼效率。
例如，在前述第1畫面間預測方式中，也可從編碼位元串流取得以前述預測區塊為單位特定出前述第1移動向量用的資訊，且使用前述資訊來導出前述第1移動向量。
本揭示一態樣之編碼方法在第1動作模式中，以將動態圖像所包含的圖像分割後的預測區塊為單位，導出第1移動向量，且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度而產生預測圖像的第1移動補償處理，其中前述圖像是藉由使用了導出的前述第1移動向量之移動補償所產生；在第2動作模式中，以將前述預測區塊分割後的子區塊為單位，導出第2移動向量，且以前述子區塊為單位，進行不參考圖像中的亮度之空間上的梯度而產生預測圖像的第2移動補償處理，其中前述圖像是藉由使用了前述第2移動向量的移動補償所產生。
藉此，該編碼方法在第1動作模式中，以預測區塊為單位進行移動向量之導出處理及第1移動補償處理，因此，例如與以子區塊為單位進行該等處理時比較起來，可減低處理量。又，參考亮度之空間上的梯度來產生預測圖像的第1移動補償處理，可實現以比預測區塊單位更小的單位之補正，因此可抑制不以子區塊為單位進行處理時的編碼效率之低落。又，該編碼方法在第2動作模式中，以子區塊為單位進行進行移動向量之導出處理及第2移動補償處理。在此，第2移動補償處理不參考亮度之空間上的梯度，所以與第1移動補償處理比起來處理量較少。再加上，該編碼方法由於具有此2種動作模式，而可提升編碼效率。如此，該編碼方法可抑制編碼效率之低落，同時減低處理量。
本揭示一態樣之解碼方法在第1動作模式中，以將動態圖像所包含的圖像分割後的預測區塊為單位，導出第1移動向量，且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度而產生預測圖像的第1移動補償處理，其中前述圖像是藉由使用了導出的前述第1移動向量之移動補償所產生；在第2動作模式中，以將前述預測區塊分割後的子區塊為單位，導出第2移動向量，且以前述子區塊為單位，進行不參考圖像中的亮度之空間上的梯度而產生預測圖像的第2移動補償處理，其中前述圖像是藉由使用了前述第2移動向量的移動補償所產生。
藉此，該解碼方法在第1動作模式中，以預測區塊為單位進行移動向量之導出處理及第1移動補償處理，因此，例如與以子區塊為單位進行該等處理時比較起來，可減低處理量。又，參考亮度之空間上的梯度來產生預測圖像的第1移動補償處理，可實現以比預測區塊單位更小的單位之補正，因此可抑制不以子區塊為單位進行處理時的編碼效率之低落。又，該解碼方法在第2動作模式中，以子區塊為單位進行移動向量之導出處理及第2移動補償處理。在此，第2移動補償處理不參考亮度之空間上的梯度，所以與第1移動補償處理比起來處理量較少。再加上，該解碼方法由於具有如此的2種動作模式，而可提升編碼效率。如此，該編碼方法可抑制編碼效率之低落，同時減低處理量。
進一步，該等概括性或者是具體性的態樣，可以透過系統、裝置、方法、積體電路、電腦程式、或者電腦可讀取之CD-ROM等非暫時性之記錄媒體來實現，也可以透過系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。
以下，一邊參考附圖，一邊具體地說明實施形態。
另，在以下所說明的每一個實施形態都是顯示概括性或具體性的例子。在以下的實施形態中所示的數值、形狀、材料、構成要件、構成要件的配置位置及連接形態、步驟、步驟的順序等都只是一例，其宗旨並非限定請求的範圍。又，以下的實施形態之構成要件中，針對未記載於顯示最上位概念的獨立請求項之構成要件，是當做任意的構成要件來說明。
(實施形態1) 首先作為可適用後述的本揭示之各態樣中所說明的處理及/或構成之編碼裝置及解碼裝置的一例，說明實施形態1的概要。惟，實施形態1只不過是可適用本揭示之各態樣所說明之處理及/或構成的編碼裝置及解碼裝置之一例罷了，在本揭示所說明的處理及/或構成也可實施於與實施形態1不同的編碼裝置及解碼裝置中。
對於實施形態1適用在本揭示之各態樣所說明的處理及/或構成時，例如亦可以進行以下任一種方式。 (1)對於實施形態1之編碼裝置或者解碼裝置，在構成該編碼裝置或者解碼裝置之複數個構成要件之中，將與本揭示的各態樣中所說明的構成要件相對應的構成要件，替換成本揭示的各態樣中所說明的構成要件； (2) 對於實施形態1之編碼裝置或者解碼裝置，針對構成該編碼裝置或者解碼裝置之複數個構成要件中一部分的構成要件，先施予功能或者欲實施之處理的追加、替換、刪除等之任意的變更後，進一步將與本揭示之各態樣中所說明的構成要件相對應的構成要件，替換成本揭示之各態樣中所說明的構成要件； (3) 對於實施形態1之編碼裝置或者解碼裝置所要實施的方法，針對處理的追加、及/或該方法所含的複數個處理中一部分的處理先施予替換、刪除等之任意的變更後，進一步將與本揭示的各態樣中所說明的處理相對應的處理，替換成本揭示的各態樣中所說明的處理； (4) 將構成實施形態1之編碼裝置或者解碼裝置之複數個構成要件中一部分的構成要件，和本揭示之各態樣中所說明的構成要件、具有本揭示之各態樣中所說明的構成要件所具備的功能之一部分之構成要件、或者要實施本揭示之各態樣中所說明之構成要件所實施的處理之一部分的構成要件相組合而實施； (5)將具有構成實施形態1之編碼裝置或者解碼裝置之複數個構成要件中一部分的構成要件所具備的功能之一部分的構成要件、或者實施構成實施形態1之編碼裝置或者解碼裝置之複數個構成要件中一部分的構成要件所實施的處理之一部分的構成要件，和本揭示之各態樣中所說明之構成要件、具有在本揭示之各態樣中所說明之構成要件所具備的功能之一部分之構成要件、或者是實施本揭示之各態樣中所說明之構成要件所實施之處理之一部分的構成要件相組合來實施； (6)對於實施形態1之編碼裝置或者解碼裝置所要實施的方法，在該方法所含的複數個處理之中，將對應於本揭示之各態樣中所說明之處理的處理，替換成本揭示之各態樣中所說明的處理； (7)將實施形態1之編碼裝置或者解碼裝置所要實施的方法所含之複數個處理中的一部分處理，和本揭示之各態樣中所說明之處理相組合來實施。
另，本揭示之各態樣中所說明之處理及/或構成的實施方式並不限於上述例子。例如，也可以實施在與實施形態1中所揭示之動態圖像/圖像編碼裝置或者是動態圖像/圖像解碼裝置以不同的目的而被利用的裝置中，也可以單獨地實施已在各態樣中所說明之處理及/或構成。又，也可將已在不同的態樣中所說明的處理及/或構成進行組合來實施。
[編碼裝置的概要] 首先，說明實施形態1之編碼裝置之概要。圖1是顯示實施形態1之編碼裝置100之功能構成之方塊圖。編碼裝置100是將動態圖像/圖像以區塊單位進行編碼之動態圖像/圖像編碼裝置。
如圖1所示，編碼裝置100為將圖像以區塊單位進行編碼之裝置，包含有：分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、區塊記憶體118、迴路濾波部120、幀記憶體122、幀內預測部124、幀間預測部126、及預測控制部128。
編碼裝置100例如是藉由通用處理器及記憶體來實現。此時，當儲存在記憶體的軟體程式藉由處理器來執行時，處理器是做為分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、幀內預測部124、幀間預測部126、及預測控制部128而發揮功能。又，編碼裝置100也可做為專用的1個以上的電子電路來實現，該專用的1個以上的電子電路是對應於分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、幀內預測部124、幀間預測部126、及預測控制部128。
以下，針對編碼裝置100所含之各構成要件予以說明。
[分割部] 分割部102將輸入動態圖像所含之各圖片分割成複數個區塊，將各區塊輸出至減法部104。例如，分割部102首先將圖片分割成固定尺寸(例如128×128)之區塊。該固定尺寸的區塊有時亦被稱為編碼樹單元(CTU)。接著，分割部102根據遞迴性的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，將固定尺寸的區塊之每一個分割成可變尺寸(例如64×64以下)的區塊。這個可變尺寸的區塊有時亦被稱為編碼單元(CU)、預測單元(PU)或者轉換單元(TU)。另，在本實施形態中，CU、PU及TU沒有區別的必要，圖片內的一部分或者全部的區塊皆可成為CU、PU、TU的處理單位。
圖2是顯示實施形態1中的區塊分割一例之圖。在圖2中，實線是表示透過四元樹區塊分割所得到的區塊邊界，虛線是表示透過二元樹區塊分割所得到的區塊邊界。
在此，區塊10是128×128像素的正方形區塊(128×128區塊)。該128×128區塊10首先是被分割成4個正方形的64×64區塊(四元樹區塊分割)。
左上的64×64區塊是進一步被垂直分割成2個矩形的32×64區塊，左邊的32×64區塊是進一步被垂直分割成2個矩形的16×64區塊(二元樹區塊分割)。其結果，左上的64×64區塊是被分割成2個16×64區塊11、12、及32×64區塊13。
右上的64×64區塊是被水平分割成2個矩形的64×32區塊14、15(二元樹區塊分割)。
左下的64×64區塊是被分割成4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊之中，左上的區塊及右下的區塊被進一步進行分割。左上的32×32區塊是垂直分割成2個矩形的16×32區塊，右邊的16×32區塊是進一步被水平分割成2個16×16區塊(二元樹區塊分割)。右下的32×32區塊是被水平分割成2個32×16區塊(二元樹區塊分割)。其結果，左下的64×64區塊是被分割成16×32區塊16、2個16×16區塊17、18、2個32×32區塊19、20、及2個32×16區塊21、22。
右下的64×64區塊23不分割。
如上，在圖2中，區塊10是根據遞迴性的四元樹及二元樹區塊分割，而被分割成13個可變尺寸的區塊11至23。如此分割，有時亦被稱為QTBT(quad-tree plus binary tree)分割。
另，在圖2中，1個區塊是被分割成4個或者2個區塊(四元樹或者二元樹區塊分割)，而分割並不限於此。例如，1個區塊也可被分割成3個區塊(三元樹區塊分割)。如此包括三元樹區塊分割的分割有時亦被稱為MBT(multi type tree)分割。
[減法部] 減法部104是以由分割部102所分割的區塊為單位，從原訊號(原樣本)減去預測訊號(預測樣本)。即，減法部104是算出編碼對象區塊(以下，稱為目前區塊)的預測誤差(也稱為殘差)。接著，減法部104將算出的預測誤差輸出至轉換部106。
原訊號是編碼裝置100的輸入訊號，為表示構成動態圖像之各圖片的圖像之訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。在下面內容中，也將表示圖像的訊號稱為樣本。
[轉換部] 轉換部106是將空間區域的預測誤差轉換成頻率區域的轉換係數，且將轉換係數輸出至量化部108。具體來說，轉換部106例如對於空間區域的預測誤差，進行已事先決定的離散餘弦轉換(DCT)或者離散正弦轉換(DST)。
另，轉換部106也可從複數個轉換類型之中適應性地選擇轉換類型，使用對應於所選擇的轉換類型之轉換基底函數(transform basis function)，將預測誤差轉換成轉換係數。如此轉換有時亦被稱為EMT(explicit multiple core transform)或者AMT(adaptive multiple transform)。
複數個轉換類型例如包括有DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3是顯示對應於各轉換類型之轉換基底函數之表。在圖3中，N是顯示輸入像素的數量。來自該等複數個轉換類型中的轉換類型的選擇，例如可依據預測的種類(幀內預測及幀間預測)，也可依據幀內預測模式。
顯示是否適用如此的EMT或者AMT之資訊(例如被稱為AMT旗標)以及顯示被選擇的轉換類型之資訊是以CU等級而被訊號化。另，該等資訊的訊號化不必限定在CU等級，也可為其他等級(例如序列等級、圖片等級、切片等級、圖塊(tile)等級或者CTU等級)。
又，轉換部106也可將轉換係數(轉換結果)再轉換。如此再轉換有時亦被稱為AST(adaptive secondary transform)或者NSST(non-separable secondary transform)。例如，轉換部106是依對應於幀內預測誤差之轉換係數的區塊所含之每個子區塊(例如4×4子區塊)進行再轉換。顯示是否適用NSST之資訊及有關於使用在NSST的轉換矩陣之資訊是以CU等級進行訊號化。另，該等資訊的訊號化不必限定在CU等級，也可為其他等級(例如序列等級、圖片等級、切片等級、圖塊等級或者CTU等級)。
在此，Separable (可分離)的轉換是指以輸入的維度之數來按各個方向分離並進行數次轉換的方式，Non-Separable(不可分離)的轉換是指在輸入為多維時將2個以上的的維匯整而視為1維，再一起進行轉換的方式。
例如，以Non-Separable的轉換之1例來說，可舉例有如下者：在輸入為4×4的區塊時，將該區塊視為具有16個要件之一個陣列，對該陣列以16×16的轉換矩陣進行轉換處理。
又，同樣，將4×4的輸入區塊視為如同具有16個要件之一個陣列，之後對該陣列進行數次吉文斯旋轉(Givens rotation)之構成(Hypercube Givens Transform/超立方體吉文斯轉換)，也是Non- Separable轉換的例子。
[量化部] 量化部108是將從轉換部106所輸出的轉換係數進行量化。具體來說，量化部108是以預定的掃描順序來掃描當前區塊的轉換係數，根據對應於所掃描的轉換係數的量化參數(QP)，而將該轉換係數進行量化。然後，量化部108將當前區塊之業經量化的轉換係數(以下稱為量化係數)輸出至熵編碼部110及反量化部112。
預定的順序是轉換係數的量化/反量化用的順序。例如，預定的掃描順序是以頻率的升序(從低頻到高頻的順序)或者降序(從高頻到低頻的順序)來下定義。
量化參數係指定義量化步距(量化寬度)的參數。例如，若量化參數的值增加時，量化步距也會增加。即，若量化參數的值增加，量化誤差也會變大。
[熵編碼部] 熵編碼部110是將從量化部108輸入的量化係數進行可變長度編碼，藉此產生編碼訊號(編碼位元串流)。具體來說，熵編碼部110例如將量化係數二進位化，且將二進位訊號進行算術編碼。
[反量化部] 反量化部112是將來自量化部108的輸入之量化係數進行反量化。具體來說，反量化部112是以預定的掃描順序將當前區塊的量化係數進行反量化。然後，反量化部112是將當前區塊的業經反量化的轉換係數輸出至反轉換部114。
[反轉換部] 反轉換部114是將來自反量化部112的輸入之轉換係數進行反轉換，藉此將預測誤差進行復原。具體來說，反轉換部114是對轉換係數進行與轉換部106所進行的轉換對應之反轉換，藉此將當前區塊的預測誤差進行復原。然後，反轉換部114將業已復原的預測誤差輸出至加法部116。
另，業已復原的預測誤差是因量化而失去了資訊，因此和減法部104所算出的預測誤差不一致。即，在業已復原的預測誤差中含有量化誤差。
[加法部] 加法部116是將來自反轉換部114之輸入的預測誤差、與來自預測控制部128之輸入的預測樣本相加，藉此再構成當前區塊。然後，加法部116將業經再構成的區塊輸出至區塊記憶體118及迴路濾波部120。再構成區塊有時也被稱為局部解碼區塊。
[區塊記憶體] 區塊記憶體118是用以儲存區塊的記憶體，其中該區塊為於幀內預測被參考的區塊，且為編碼對象圖片(以下稱為當前圖片)內的區塊。具體來說，區塊記憶體118是儲存從加法部116所輸出的再構成區塊。
[迴路濾波部] 迴路濾波部120是對經由加法部116而再構成的區塊施加迴路濾波，且將業經濾波的再構成區塊輸出至幀記憶體122。迴路濾波是指在編碼迴路內所使用的濾波器(In-loop filter，迴路內濾波器)，例如包括解區塊濾波器(DF)、樣本適應性偏移(Sample Adaptive Offset，SAO)及適應性迴路濾波器(Adaptive Loop Filter，ALF)等。
在ALF中是適用用以移除編碼失真的最小平方誤差濾波器，例如按當前區塊內的2×2子區塊之每一個，根據局部性的梯度(gradient)的方向及活性度(activity)，適用從複數個濾波器之中所選擇的1個濾波器。
具體來說，首先子區塊(例如2×2子區塊)被分類成複數個類別(例如15或者25類)。子區塊的分類是根據梯度的方向及活性度來進行。例如，使用梯度的方向值D(例如0至2或者0至4)與梯度的活性值A(例如0至4)而算出分類值C(例如C=5D+A)。然後，根據分類值C，使子區塊被分類成複數個類別(例如15或者25類)。
梯度的方向值D例如是經由比較複數個方向(例如水平、垂直及2個對角方向)的梯度而導出。又，梯度的活性值A例如是將複數個方向的梯度相加，並藉由將加法結果進行量化來導出。
根據如此分類的結果，從複數個濾波器之中，決定子區塊用的濾波器。
以於ALF所使用的濾波器的形狀來說，例如利用圓對稱形狀。圖4A至圖4C是顯示在ALF所使用的濾波器的形狀的數例之圖。圖4A是顯示5×5菱形形狀濾波器，図4B是顯示7×7菱形形狀濾波器，圖4C是顯示9×9菱形形狀濾波器。顯示濾波器的資訊是以圖片等級來被訊號化。另，顯示濾波器之形狀之資訊的訊號化並不須限定在圖片等級，也可為其他等級(例如序列等級、切片等級、圖塊等級、CTU等級或者是CU等級)。
ALF的開啟/關閉，例如是以圖片等級或者CU等級來決定。例如，針對亮度，是以CU等級來決定是否適用ALF，針對色差，是以圖片等級來決定是否適用ALF。顯示ALF的開啟/關閉的資訊，是以圖片等級或者CU等級來進行訊號化。另，顯示ALF的開啟/關閉的資訊之訊號化，並無須限定在圖片等級或者CU等級，也可為其他等級(例如序列等級、切片等級、圖塊等級、或者CTU等級)。
可選擇的複數個濾波器(例如迄至15或25的濾波器)的係數組合是以圖片等級進行訊號化。另，係數組合的訊號化並無須限定在圖片等級，也可為其他等級(例如序列等級、切片等級、圖塊等級、CTU等級、CU等級或者是子區塊等級)。
[幀記憶體] 幀記憶體122是一種用以儲存被使用在幀間預測的參考圖片之記憶部，有時也被稱為幀緩衝器。具體來說，幀記憶體122是儲存已經由迴路濾波部120濾波的再構成區塊。
[幀內預測部] 幀內預測部124是參考區塊記憶體118所儲存的當前圖片內的區塊，進行當前區塊的幀內預測(也稱為畫面內預測)，以此產生預測訊號(幀內預測訊號)。具體來說，幀內預測部124是參考鄰接於當前區塊之區塊的樣本(例如亮度值、色差值)進行幀內預測，以此產生幀內預測訊號，且將幀內預測訊號輸出至預測控制部128。
例如，幀內預測部124利用已事先規定的複數個幀內預測模式之中的1個，來進行幀內預測。複數個幀內預測模式是包括1個以上的非方向性預測模式、及複數個方向性預測模式。
1個以上的非方向性預測模式包括例如以H.265/HEVC(High-Efficiency Video Coding/高效率視訊編碼)規格(非專利文獻1)所規定的Planar(平面)預測模式及DC(直流)預測模式。
複數個方向性預測模式包括例如以H.265/ HEVC規格所規定的33個方向的預測模式。另，複數個方向性預測模式除了33個方向外，也可進一步包括32個方向的預測模式(合計共65個方向性預測模式)。圖5A是顯示幀內預測中的67個幀內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭符號是表示以H.265/HEVC規格所規定的33個方向，虛線箭頭符號是表示追加的32個方向。
另，在色差區塊的幀內預測中，亮度區塊也可被參考。即，也可根據當前區塊的亮度成分，預測當前區塊的色差成分。如此之幀內預測有時也被稱為CCLM (cross- component linear model)預測。像這種參考亮度區塊之色差區塊的幀內預測模式(例如被稱為CCLM模式)，也可作為1種色差區塊的幀內預測模式而加入。
幀內預測部124也可根據水平/垂直方向的參考像素的梯度，來補正幀內預測後的像素值。像這樣伴隨著補正的幀內預測有時被稱為PDPC(position dependent intra prediction combination)。顯示有無適用PDPC之資訊(例如被稱為PDPC旗標)，例如是以CU等級而被訊號化。另，該資訊的訊號化並無須限定在CU等級，也可為其他等級(例如序列等級、圖片等級、切片等級、圖塊等級、或者CTU等級)。
[幀間預測部] 幀間預測部126是參考參考圖片，來進行當前區塊的幀間預測(也叫做畫面間預測)，以此產生預測訊號(幀間預測訊號)，其中該參考圖片是幀記憶體122所儲存的參考圖片，且為與當前圖片相異的參考圖片。幀間預測是以當前區塊或者當前區塊內的子區塊(例如4×4區塊)的單位來進行。例如，幀間預測部126是針對當前區塊或者子區塊，在參考圖片內進行移動估測(motion estimation)。接著，幀間預測部126是利用藉由移動估測而得到的移動資訊(例如移動向量)來進行移動補償，以此產生當前區塊或者子區塊的幀間預測訊號。然後，幀間預測部126是將所產生的幀間預測訊號輸出至預測控制部128。
用於移動補償的移動資訊被訊號化。於移動向量的訊號化，也可使用移動向量預測子(motion vector predictor)。即，移動向量與移動向量預測子間之差分也可被訊號化。
另，不僅使用透過移動估測所得到的當前區塊的移動資訊，也可使用鄰接區塊的移動資訊，來產生幀間預測訊號。具體來說，也可將以藉由移動估測所得到的移動資訊為基準的預測訊號、與以鄰接區塊的移動資訊為基準的預測訊號予以加權加總，藉此以當前區塊內的子區塊為單位來產生幀間預測訊號。如此之幀間預測(移動補償)有時被稱為OBMC (overlapped block motion compensation)。
在如此之OBMC模式中，顯示OBMC用的子區塊的尺寸之資訊(例如被稱為OBMC區塊尺寸)是以序列等級而被訊號化。又，顯示是否適用OBMC模式之資訊(例如被叫做OBMC旗標)是以CU等級而被訊號化。另，該等資訊的訊號化的等級並無須限定在序列等級及CU等級，也可為其他等級(例如圖片等級、切片等級、圖塊等級、CTU等級、或者子區塊等級)。
針對OBMC模式更具體地來進行說明。圖5B及圖5C是用以說明OBMC處理所進行的預測圖像補正處理的概要之流程圖及概念圖。
首先，使用被分配到編碼對象區塊之移動向量(MV)，取得依通常的移動補償所得到之預測圖像(Pred)。
其次，將已編碼完畢的左鄰接區塊的移動向量(MV_L)適用在編碼對象區塊，取得預測圖像(Pred_L)，將前述預測圖像與Pred_L加權、重疊，藉此進行預測圖像的第1次補正。
以同樣方式，將已編碼完畢之上鄰接區塊的移動向量(MV_U)適用在編碼對象區塊，取得預測圖像 (Pred_U)，將前述已進行第1次補正的預測圖像與Pred_U加權、重疊，藉此進行預測圖像的第2次補正，並將前述預測圖像作為最後的預測圖像。
另，在此說明了使用左鄰接區塊與上鄰接區塊的2階段補正的方法，但也能作成如下構成，即，使用右鄰接區塊或下鄰接區塊，進行比2階段更多次數的補正。
另，進行重疊的區域，也可僅只為區塊邊界附近之一部分的區域，而非區塊整體的像素區域。
另，在此雖是針對來自1張參考圖片的預測圖像補正處理進行說明，但是在從複數張參考圖片來補正預測圖像的情況也是同樣，在取得已從各參考圖片進行補正的預測圖像後，將所得到的預測圖像進一步重疊，以此作為最後的預測圖像。
另，前述處理對象區塊可為預測區塊單位，也可為將預測區塊進一步加以分割的子區塊單位。
作為判斷是否適用OBMC處理的方法，例如有一種使用obmc_flag之方法，前述obmc_flag是顯示是否適用OBMC處理的訊號。以一具體例來說，在編碼裝置中，判斷編碼對象區塊是否屬於移動為複雜的區域，在屬於移動為複雜的區域時，設定值1來作為obmc_flag，適用OBMC處理來進行編碼，在不屬於移動為複雜的區域時，則設定值0來作為obmc_flag，不適用OBMC處理來進行編碼。另一方面，在解碼裝置中，將記述在串流的obmc_flag解碼，藉此因應該值切換是否適用OBMC處理來進行解碼。
另，移動資訊也可在不被訊號化之狀態下，在解碼裝置側導出。例如也可採用以H.265/HEVC規格所規定的合併模式。又，例如也可於解碼裝置側進行移動估測，藉此導出移動資訊。此時，移動估測能在不使用當前區塊的像素值之狀態下進行。
在此，針對在解碼裝置側進行移動估測之模式來說明。在該解碼裝置側進行移動估測的模式有時被稱為PMMVD(pattern matched motion vector derivation)模式或者FRUC(frame rate up-conversion)模式。
FRUC處理之一例顯示在圖5D中。首先，參考空間上或時間上鄰接於當前區塊的編碼完畢區塊之移動向量，產生各自具有移動向量預測子之複數個候選清單(也可與合併清單為共通)。其次，從已登錄在候選清單的複數個候選MV之中選擇最佳候選MV。例如，算出候選清單所含之各候選的評價值，根據評價值而選擇1個候選。
接著，根據所選擇的候選移動向量，導出當前區塊用的移動向量。具體來說，例如將所選擇的候選移動向量(最佳候選MV)直接導出而作為當前區塊用的移動向量。又，例如在參考圖片內之位置的周邊區域中進行圖案(pattern)匹配，藉此也可以導出當前區塊用的移動向量，其中前述參考圖片是對應於所選擇之候選移動向量。即，亦可對於最佳候選MV之周邊的區域，以同樣的方法進行估測，且在有評價值為更好的值之MV時，將最佳候選MV更新為前述MV，將前述MV當作當前區塊之最後的MV。另，也可做成不實施該處理之構成。
在以子區塊單位進行處理時，也可構成為完全同樣的處理。
另，評價值是可透過對應於移動向量之參考圖片內的區域、與預定區域之間的圖案匹配，求出再構成圖像的差分值來算出。另，除了差分值外，也可使用除此以外的資訊來算出評價值。
作為圖案匹配，是使用第1圖案匹配或者第2圖案匹配。第1圖案匹配及第2圖案匹配，有時分別被稱為雙向匹配(bilateral matching)以及模板匹配(template matching)。
在第1圖案匹配中，是在2個區塊之間進行圖案匹配，前述2個區塊是不同的2個參考圖片內的2個區塊，且沿著當前區塊的移動軌跡(motion trajectory)。因此，在第1圖案匹配中，是使用沿著當前區塊的移動軌跡的其他參考圖片內之區域，來作為算出上述候選評價值用的預定區域。
圖6是用以說明在沿著移動軌跡的2個區塊間之圖案匹配(雙向匹配)一例之圖。如圖6所示，在第1圖案匹配下，在沿著當前區塊(Cur block)的移動軌跡之2個區塊且為不同的2個參考圖片(Ref0、Ref1)內的2個區塊之配對(pair)中，估測最為相配的配對，藉此導出2個移動向量(MV0、MV1)。具體來說，對於當前區塊，導出以候選MV所指定的第1編碼完畢參考圖片(Ref0)內的指定位置之再構成圖像、與以對稱MV所指定的第2編碼完畢參考圖片(Ref1)內的指定位置之再構成圖像間的差分，並使用所得到的差分值來算出評價值，其中前述對稱MV是將前述候選MV以顯示時間間隔進行縮放(scaling)的MV。在複數個候選MV之中，選擇評價值為最佳值的候選MV作為最後MV即可。
在假設移動軌跡是連續的情況下，指示2個參考區塊的移動向量(MV0、MV1)是相對於當前圖片(Cur Pic)與2個參考圖片(Ref0、Ref1)間之時間上的距離(TD0、TD1)成比例。例如，當前圖片在時間上位於2個參考圖片之間，且從當前圖片到2個參考圖片的時間上的距離相等時，在第1圖案匹配中，能導出鏡射對稱的雙向之移動向量。
在第2圖案匹配中，是在當前圖片內的模板(在當前圖片內鄰接於當前區塊的區塊(例如上及/或左鄰接區塊))與參考圖片內的區塊之間進行圖案匹配。因此，在第2圖案匹配中，是使用鄰接於當前圖片內之當前區塊的區塊，來作為上述候選評價值算出用的預定區域。
圖7是用以說明在當前圖片內的模板與參考圖片內的區塊之間的圖案匹配(模板匹配)一例之圖。如圖7所示，在第2圖案匹配中，是在參考圖片(Ref0)內估測與當前圖片(Cur Pic)內鄰接於當前區塊(Cur block)之區塊最匹配的區塊，藉此導出當前區塊的移動向量。具體來說，對於當前區塊，導出左鄰接及上鄰接兩邊或者任一邊的編碼完畢區域的再構成圖像、與以候選MV所指定的編碼完畢參考圖片(Ref0)內的同等位置的再構成圖像間之差分，且使用所得到的差分值算出評價值，在複數個候選MV之中選擇評價值為最佳值的候選MV，作為最佳候選MV即可。
如此之顯示是否適用FRUC模式的資訊(例如被稱為FRUC旗標)是以CU等級而被訊號化。又，在適用FRUC模式時(例如FRUC旗標為真時)，顯示圖案匹配之方法(第1圖案匹配或者第2圖案匹配)的資訊(例如被稱為FRUC模式旗標)是以CU等級而被訊號化。另，該等資訊之訊號化並不須限定於CU等級，也可為其他等級(例如序列等級、圖片等級、切片等級、圖塊等級、CTU等級或者子區塊等級)。
在此，針對根據模型來導出移動向量的模式進行說明，其中前述模型為假設為等速直線運動之模型。前述模式有時被稱為BIO (bi-directional optical flow，雙向光流)模式。
圖8是用以說明假設為等速直線運動的模型之圖。在圖8中，(vx ,vy )是表示速度向量，τ0 、τ1 各表示當前圖片 (Cur Pic)與2個參考圖片(Ref0 ,Ref1 )間的時間上的距離。(MVx0 ,MVy0 )是表示對應於參考圖片Ref0 之移動向量，(MVx1 、MVy1 )是表示對應於參考圖片Ref1 之移動向量。
此時，在速度向量(vx ,vy )為等速直線運動的假設之下，(MVx0 ,MVy0 )及(MVx1 ,MVy1 )各表示為(vx τ0 ,vy τ0 )及(-vx τ1 ,-vy τ1 )，以下的光流等式(1)成立。 (數式1)在此，I(k) 是表示移動補償後之參考圖像k(k=0,1)的亮度值。前述光流等式是表示(i)、(ii)、(iii)之和等於零，其中(i)為亮度值的時間微分、(ii)為水平方向的速度及參考圖像的空間梯度的水平成分的乘積、(iii)為垂直方向的速度及參考圖像的空間梯度的垂直成分的乘積。根據前述光流等式與赫米特內插法(Hermite interpolation)之組合，將從合併清單等所得到的區塊單位之移動向量以像素單位進行補正。
另，也可利用與根據假設等速直線運動之模型的移動向量導出方法不同的方法，在解碼裝置側導出移動向量。例如，也可根據複數個鄰接區塊的移動向量，以子區塊為單位導出移動向量。
在此，針對根據複數個鄰接區塊的移動向量而以子區塊為單位導出移動向量的模式進行說明。前述模式有被稱為仿射移動補償預測(affine motion compensation prediction)模式。
圖9A是用以說明子區塊單位的移動向量之導出之圖，該導出是根據複數個鄰接區塊的移動向量來進行。在圖9A中，當前區塊含有16個4×4子區塊。在此，根據鄰接區塊的移動向量，導出當前區塊的左上角控制點的移動向量v0 ，且根據鄰接子區塊的移動向量，導出當前區塊的右上角控制點的移動向量v1 。接著，使用2個移動向量v0 及v1 ，經由以下的式(2)，導出當前區塊內的各子區塊的移動向量(vx ,vy )。 (數式2)在此，x及y各表示子區塊的水平位置及垂直位置，w表示已事先訂定的權重係數。
在如此之仿射移動補償預測模式中，也可包括左上及右上角控制點的移動向量之導出方法為相異的幾個模式。顯示如此之仿射移動補償預測模式的資訊(例如被稱為仿射旗標)是以CU等級而被進行訊號化。另，前述顯示仿射移動補償預測模式之資訊的訊號化無須限定在CU等級，也可為其他等級(例如序列等級、圖片等級、切片等級、圖塊等級、CTU等級或者子區塊等級)。
[預測控制部] 預測控制部128是選擇幀內預測訊號及幀間預測訊號之任一種，且將所選擇的訊號作為預測訊號而輸出至減法部104及加法部116。
在此，說明經由合併模式而導出編碼對象圖片的移動向量之例。圖9B是用以說明藉由合併模式而進行之移動向量導出處理之概要之圖。
首先，產生已登錄預測MV之候選的預測MV清單。以預測MV的候選來說，包括有：空間鄰接預測MV，是空間上位於編碼對象區塊周邊的複數個編碼完畢區塊所具有之MV；時間鄰接預測MV，是投影了編碼完畢參考圖片中的編碼對象區塊的位置之附近區塊所具有的MV；結合預測MV，是組合空間鄰接預測MV及時間鄰接預測MV之MV值而產生的MV；以及零預測MV，是值為零的MV等。
其次，從已登錄在預測MV清單的複數個預測MV之中選擇1個預測MV，藉此將其決定為編碼對象區塊的MV。
進而，在可變長度編碼部中，將merge_idx記述在串流中並進行編碼，其中前述merge_idx是顯示已選擇哪一預測MV之訊號。
另，登錄在圖9B中所說明之預測MV清單的預測MV只是一個例子，也可為和圖中的個數不同的個數，或者構成為不包含圖中的預測MV之一部分的種類，或者構成為追加了圖中的預測MV之種類以外的預測MV。
另，也可使用藉由合併模式所導出之編碼對象區塊的MV，進行後述的DMVR處理，藉此來決定最後的MV。
在此，針對使用DMVR處理來決定MV之例進行說明。
圖9C是用以說明DMVR處理的概要之概念圖。
首先，以已設定於處理對象區塊的最適合的MVP作為候選MV，依照前述候選MV，從L0方向的處理完畢圖片即第1參考圖片、及L1方向之處理完畢圖片即第2參考圖片，分別取得參考像素，取各參考像素的平均，以此產生模板。
其次，使用前述模板，分別估測第1參考圖片及第2參考圖片的候選MV之周邊區域，將成本成為最小的MV決定為最後的MV。另，成本值是利用模板的各像素值與估測區域的各像素值之差分值及MV值等來算出。
另，在編碼裝置及解碼裝置中，在此所說明的處理之概要基本上是共通的。
另，就算不是在此所說明的處理內容，只要是能估測候選MV的周邊而導出最後的MV之處理，也可使用其他處理。
在此，針對使用LIC處理來產生預測圖像的模式進行說明。
圖9D是用以說明使用依LIC處理之亮度補正處理的預測圖像產生方法之概要之圖。
首先，從編碼完畢圖片即參考圖片導出用以取得與編碼對象區塊對應之參考圖像的MV。
其次，對於編碼對象區塊，利用左鄰接及上鄰接之編碼完畢周邊參考區域的亮度像素值、與位於以MV所指定的參考圖片內之同等位置的亮度像素值，擷取資訊來算出亮度補正參數，其中該資訊是顯示亮度值在參考圖片與編碼對象圖片中如何變化的資訊。
對於以MV所指定的參考圖片內之參考圖像，使用前述亮度補正參數，進行亮度補正處理，藉此產生相對於編碼對象區塊之預測圖像。
另，圖9D中的前述周邊參考區域的形狀只是其中一例而已，也可使用除此以外的形狀。
又，在此已針對從1張參考圖片來產生預測圖像的處理進行說明，但從複數張參考圖片來產生預測圖像的情況也是同樣，先對已從各個參考圖片所取得的參考圖像以同樣的方法進行亮度補正處理，之後再產生預測圖像。
以判斷是否適用LIC處理之方法來說，例如有使用lic_flag之方法，前述lic_flag是顯示是否適用LIC處理的訊號。以具體的一例來說，在編碼裝置中，判斷編碼對象區塊是否屬於發生亮度變化之區域，若屬於發生亮度變化的區域，對lic_flag設定其值為1，適用LIC處理並進行編碼，若不屬於發生亮度變化之區域，則對lic_flag設定其值為0，不適用LIC處理並進行編碼。另一方面，在解碼裝置中，將記述於串流之lic_flag進行解碼，藉此因應該值而切換是否適用LIC處理並進行解碼。
作為判斷是否適用LIC處理之另一方法，例如還有如下方法，即依照在周邊區塊是否適用過LIC處理來判斷的方法。以具體的一例來說，編碼對象區塊為合併模式時，判斷在合併模式處理中MV導出時所選擇的周邊之編碼完畢區塊是否已適用LIC處理並進行編碼，再因應該結果切換是否適用LIC處理並進行編碼。另，前述例子的情況於解碼中的處理也是完全相同。
[解碼裝置的概要] 其次，針對解碼裝置之概要進行說明，該解碼裝置可將從上述編碼裝置100所輸出的編碼訊號(編碼位元串流)進行解碼。圖10是顯示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位而將動態圖像/圖像進行解碼的動態圖像/圖像解碼裝置。
如圖10所示，解碼裝置200包含有：熵解碼部202、反量化部204、反轉換部206、加法部208、區塊記憶體210、迴路濾波部212、幀記憶體214、幀內預測部216、幀間預測部218、及預測控制部220。
解碼裝置200例如可透過通用處理器及記憶體來實現。此時，記憶體所儲存的軟體程式經由處理器來執行時，處理器是作為熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、幀內預測部216、幀間預測部218、及預測控制部220而運作。又，解碼裝置200也可作為對應於熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、幀內預測部216、幀間預測部218、及預測控制部220之專用的1個以上的電子電路而實現。
以下，針對解碼裝置200所含之各構成要件予以說明。
[熵解碼部] 熵解碼部202將編碼位元串流進行熵解碼。具體來說，熵解碼部202例如是從編碼位元串流進行算術解碼而變成二進位訊號。接著，熵解碼部202將二進位訊號進行多值化(debinarize)。藉此，熵解碼部202以區塊單位而將量化係數輸出至反量化部204。
[反量化部] 反量化部204將從熵解碼部202輸入之解碼對象區塊(以下稱為當前區塊)的量化係數進行反量化。具體來說，反量化部204是針對當前區塊的量化係數之各個，根據對應於該量化係數之量化參數，而將該量化係數進行反量化。然後，反量化部204將當前區塊的業經反量化之量化係數(即轉換係數)輸出至反轉換部206。
[反轉換部] 反轉換部206將從反量化部204輸入的轉換係數進行反轉換，藉此將預測誤差復原。
例如已從編碼位元串流解讀的資訊是顯示適用EMT或者AMT的時候(例如AMT旗標為真)，反轉換部206根據顯示所解讀的轉換類型之資訊，將當前區塊的轉換係數進行反轉換。
又，例如已從編碼位元串流解讀的資訊是顯示適用NSST的時候，反轉換部206對轉換係數適用反再轉換。
[加法部] 加法部208將預測誤差與預測樣本相加，藉此再構成當前區塊，其中該預測誤差是來自反轉換部206之輸入，該預測樣本是來自預測控制部220之輸入。然後，加法部208將業經再構成的區塊輸出至區塊記憶體210及迴路濾波部212。
[區塊記憶體] 區塊記憶體210是用以儲存在幀內預測中被參考的區塊且為解碼對象圖片(以下稱為當前圖片)內的區塊之記憶部。具體來說，區塊記憶體210是儲存從加法部208所輸出的再構成區塊。
[迴路濾波部] 迴路濾波部212是對已經由加法部208而再構成的區塊施行迴路濾波，且將業已濾波的再構成區塊輸出至幀記憶體214及顯示裝置等。
當顯示已從編碼位元串流解讀之ALF開啟/關閉的資訊是顯示ALF開啟的時候，根據一部分的梯度的方向及活性度，從複數個濾波器之中選擇1個濾波器，將所選擇的濾波器適用於再構成區塊。
[幀記憶體] 幀記憶體214是用以儲存使用在幀間預測的參考圖片之記憶部，有時候也被稱為幀緩衝器。具體來說，幀記憶體214是儲存經由迴路濾波部212所濾波的再構成區塊。
[幀內預測部] 幀內預測部216是根據已從編碼位元串流解讀的幀內預測模式，參考區塊記憶體210所儲存的當前圖片內的區塊，來進行幀內預測，藉此產生預測訊號(幀內預測訊號)。具體來說，幀內預測部216是參考鄰接於當前區塊的區塊之樣本(例如亮度值、色差值)，進行幀內預測，藉此產生幀內預測訊號，且將幀內預測訊號輸出至預測控制部220。
另，在色差區塊的幀內預測中選擇了參考亮度區塊的幀內預測模式時，幀內預測部216也可根據當前區塊的亮度成分，預測當前區塊的色差成分。
又，在已從編碼位元串流解讀的資訊顯示適用PDPC時，幀內預測部216是根據水平/垂直方向的參考像素的梯度，來補正幀內預測後的像素值。
[幀間預測部] 幀間預測部218是參考幀記憶體214所儲存的參考圖片來預測當前區塊。預測是以當前區塊或者當前區塊內的子區塊(例如4×4區塊)的單位進行。例如，幀間預測部218是使用已從編碼位元串流解讀的移動資訊(例如移動向量)來進行移動補償，藉此產生當前區塊或者子區塊的幀間預測訊號，且將幀間預測訊號輸出至預測控制部220。
另，在已從編碼位元串流解讀的資訊是顯示適用OBMC模式時，幀間預測部218不只是利用經由移動估測而得到的當前區塊的移動資訊，還利用鄰接區塊的移動資訊，產生幀間預測訊號。
又，在已從編碼位元串流解讀的資訊是顯示適用FRUC模式時，幀間預測部218是依照已從編碼串流解讀的圖案匹配的方法(雙向匹配或者模板匹配)進行移動估測，藉此導出移動資訊。然後，幀間預測部218使用導出的移動資訊來進行移動補償。
又，幀間預測部218在適用BIO模式時，是根據假設等速直線運動之模型而導出移動向量。又，在已從編碼位元串流解讀的資訊顯示適用仿射移動補償預測模式時，幀間預測部218是根據複數個鄰接區塊的移動向量，而以子區塊為單位導出移動向量。
[預測控制部] 預測控制部220選擇幀內預測訊號及幀間預測訊號之任一者，且將所選擇的訊號作為預測訊號而輸出至加法部208。
[比較例] 在針對本實施形態之畫面間預測處理做說明之前，先針對未使用本實施形態之手法的情況下的畫面間預測處理例做說明。
首先針對比較例1做說明。圖11是流程圖，顯示比較例1之動態圖像編碼方法及動態圖像解碼方法中的預測區塊單位之畫面間預測處理。圖11所示的處理，是以畫面間預測處理之處理單位，即預測區塊單位來反覆進行。另，以下主要是對包含在編碼裝置100的幀間預測部126的動作做說明，然而包含在解碼裝置200的幀間預測部218的動作也相同。
若FRUC控制資訊顯示為0時(S101中為0)，幀間預測部126會依循通常畫面間預測方式，以預測區塊為單位導出移動向量(MV) (S102)。在此，通常畫面間預測方式是未使用FRUC方式的習知方式，例如是在編碼側導出移動向量，且將顯示有導出的移動向量之資訊從編碼側傳送至解碼側的方式。
其次，幀間預測部126會使用預測區塊單位之移動向量，以預測區塊為單位進行移動補償，藉此取得畫面間預測圖像(S103)。
另一方面，若FRUC控制資訊顯示為1時(S101中為1)，幀間預測部126會依循模板FRUC方式，以預測區塊為單位導出移動向量(S104)。之後，幀間預測部126會以將預測區塊分割後的子區塊為單位，依循模板FRUC方式來導出移動向量(S105)。
另一方面，若FRUC控制資訊顯示為2時(S101中為2)，幀間預測部126會依循雙向FRUC方式，以預測區塊為單位導出移動向量(S106)。之後，幀間預測部126會以將預測區塊分割後的子區塊為單位，依循雙向FRUC方式來導出移動向量(S107)。
並且，幀間預測部126會在依循模板FRUC方式或者雙向FRUC方式來導出子區塊單位之移動向量後，使用導出的子區塊單位之移動向量，以子區塊單位來進行移動補償，藉此取得畫面間預測圖像(S108)。
如此，於FRUC處理中，以區塊為單位導出移動向量之後，以子區塊為單位進行移動向量之補正，因此可追蹤細微的移動。藉此，可實現編碼效率之提升。而在另一方面，有可能無法充分對應以像素為單位發生變形的區塊。
接下來，針對比較例2做說明。圖12是流程圖，顯示比較例2之動態圖像編碼方法及動態圖像解碼方法中的預測區塊單位之畫面間預測處理。比較例2中是使用BIO處理來作為移動補償處理。即，圖12所示的處理是對於圖11所示的處理，將步驟S103及S108變更為步驟S103A及S108A。
若FRUC控制資訊顯示為0時(S101中為0)，幀間預測部126會依循通常畫面間預測方式，以預測區塊為單位導出移動向量(S102)。其次，幀間預測部126會使用預測區塊單位之移動向量，來進行預測區塊單位之BIO處理的移動補償，藉此取得畫面間預測圖像(S103A)。
另一方面，若FRUC控制資訊顯示為1時(S101中為1)，幀間預測部126會依循模板FRUC方式，以預測區塊為單位導出移動向量(S104)。之後，幀間預測部126會以將預測區塊分割後的子區塊為單位，依循模板FRUC方式來導出移動向量(S105)。
另一方面，若FRUC控制資訊顯示為2時(S101中為2)，幀間預測部126會依循雙向FRUC方式，以預測區塊為單位導出移動向量(S106)。之後，幀間預測部126會以將預測區塊分割後的子區塊為單位，依循雙向FRUC方式來導出移動向量(S107)。
並且，幀間預測部126會在依循模板FRUC方式或者雙向FRUC方式來導出子區塊單位之移動向量後，使用導出的子區塊單位之移動向量，來進行子區塊單位之BIO處理的移動補償，藉此取得畫面間預測圖像(S108A)。
如此，比較例2中，幀間預測部126在FRUC處理之後進行BIO處理，因此可以像素為單位進行預測圖像之補正。藉此，對於發生變形的區塊，也可使編碼效率提升。
而在另一方面，因為FRUC處理與BIO處理雙方皆要進行，而有處理量增加的問題。
又，通常畫面間預測方式中，是以預測區塊為單位進行BIO處理，而在FRUC方式中，則是以子區塊為單位進行BIO處理。如此，因為在通常畫面間預測方式與FRUC方式中，BIO處理的輸入即移動向量之單位不同，所以也會有2種類的BIO處理之功能皆須安裝的問題。
[畫面間預測處理] 藉由本實施形態之幀間預測部126來針對畫面間預測處理做說明。幀間預測部126於畫面間預測處理中，可執行通常畫面間預測方式以及FRUC方式兩者之至少2種類的移動向量導出方式。在通常畫面間預測方式中，與處理對象區塊之移動向量有關的資訊會被編碼於串流中。在FRUC方式中，與處理對象區塊之移動向量有關的資訊不會被編碼於串流中，而是以在編碼側與解碼側共通的方法，使用處理完畢區域之再構成圖像以及處理完畢參考圖片來導出移動向量。
幀間預測部126會進一步進行BIO處理，前述BIO處理是對於處理完畢參考圖片，依每個預測區塊使用移動向量，進行移動補償來取得預測圖像，並且取得亮度之梯度值，藉此導出局部移動推算值，再產生已使用導出的局部移動推算值來進行補正的預測圖像。幀間預測部126在FRUC方式中，會進行預測區塊單位之處理，且導出預測區塊單位之移動向量。又，幀間預測部126在BIO處理中，無論在使用了哪一種移動向量導出方式的情況，都會一直將預測區塊單位之移動向量作為輸入，使用預測區塊單位之共通處理來產生預測圖像。
以下，針對藉由本實施形態之幀間預測部126所進行的畫面間預測處理做說明。圖13是流程圖，顯示本實施形態之動態圖像編碼方法以及動態圖像解碼方法中的預測區塊單位之畫面間預測處理。圖13所示的處理是以畫面間預測處理之處理單位，即預測區塊單位來反覆進行。另，以下主要是對包含在編碼裝置100的幀間預測部126的動作做說明，然而包含在解碼裝置200的幀間預測部218的動作也相同。
若FRUC控制資訊顯示為0時(S101中為0)，與圖12所示的處理相同，幀間預測部126會依循通常畫面間預測方式，以預測區塊為單位導出移動向量(S102)。其次，幀間預測部126會使用預測區塊單位之移動向量，來進行預測區塊單位之BIO處理的移動補償，藉此取得畫面間預測圖像(S103A)。
另一方面，若FRUC控制資訊顯示為1時(S101中為1)，幀間預測部126會依循模板FRUC方式，以預測區塊為單位導出移動向量(S104)。又，若FRUC控制資訊顯示為2時(S101中為2)，幀間預測部126會依循雙向FRUC方式，以預測區塊為單位導出移動向量(S106)。另，圖13所示的處理與圖12所示的處理相異，幀間預測部126在使用FRUC方式時，不會進行子區塊單位之移動向量的導出。
並且，幀間預測部126會在依循模板FRUC方式或者雙向FRUC方式導出預測區塊單位之移動向量之後，使用導出的預測區塊單位之移動向量，來進行預測區塊單位之BIO處理的移動補償，藉此取得畫面間預測圖像(S103A)。
如此，本實施形態中，幀間預測部126無論是在FRUC控制資訊顯示通常畫面間預測方式、模板FRUC方式及雙向FRUC方式中任一者的情況下，幀間預測部126皆會導出預測區塊單位之移動向量。並且，幀間預測部126會進行預測區塊單位之BIO處理。即，無論任何情況下，處理單位皆為預測區塊單位，處理單位為同一個。
另，上述所示的FRUC控制資訊之號碼只是其中一例，也可使用其以外的號碼。又，也可僅使用模板FRUC方式及雙向FRUC方式其中一者。又，也可在編碼時及解碼時使用共通的處理。
在此，圖12所示的比較例2中，是將以子區塊單位進行移動向量之補正的子區塊單位之FRUC處理，以及以像素單位進行預測圖像之補正的BIO處理雙方皆進行。子區塊單位之FRUC處理與BIO處理皆是以比預測區塊更細的單位進行補正的處理，具有同樣的性質，且其效果類似。圖13所示的處理中，該等處理是集中在BIO處理。又，圖13所示的處理中，不進行處理量多的子區塊單位之FRUC處理，藉此可減低處理量。又，針對使用FRUC方式時的BIO處理，也是由子區塊單位變更成預測區塊單位，可減低處理量。
如此，圖13所示的本實施形態之處理，與圖12所示的比較例2比較起來，具有抑制處理量之增加，同時對發生變形的區塊也可提升編碼效率的可能。
再加上，圖13所示的本實施形態之處理中，無論FRUC控制資訊為任何的值，皆會進行將預測區塊單位之移動向量作為輸入的BIO處理，因此與圖12所示的比較例2比較起來，不需要將子區塊單位之移動向量作為輸入的BIO處理。藉此，可將安裝簡化。
另，步驟S103A之BIO處理，在複數個移動向量導出方式中不需要完全相同。即，在使用通常畫面間預測方式的情況、使用模板FRUC方式的情況，以及使用雙向FRUC方式的情況之中，也可是其中一種情況或者各個情況中使用的BIO處理不同。
又，亦可針對複數個移動向量導出方式中至少任一者，將步驟S103A之BIO處理置換成別種處理(包含BIO處理之變形例)，前述別種處理是以像素單位或者比預測區塊更小的單位來進行預測圖像之補正，同時產生預測圖像的處理。此情況下，也可將上述具有同樣性質的2個處理集中為1個處理，因此與比較例2比較起來，具有抑制處理量之增加，同時對發生變形的區塊也可提升編碼效率的可能。
又，亦可針對複數個移動向量導出方式中至少一者，將步驟S103A之BIO處理置換成別種處理，前述別種處理是將預測區塊單位之移動向量作為輸入來進行預測圖像之補正，同時產生預測圖像的處理。此情況下，也不需要上述將子區塊單位之移動向量作為輸入的處理，可將安裝簡化。
又，也可對於是否進行BIO處理做切換。例如，幀間預測部126也可在進行BIO處理時，進行圖13所示的處理，而在不進行BIO處理時，進行圖11所示的處理。或者，幀間預測部126也可在不進行BIO處理時，仍與圖13同樣地不進行子區塊單位之移動向量導出處理。即，幀間預測部126也可進行將圖13所示的步驟S108A之處理置換成不含BIO處理的預測區塊單位之移動補償處理的處理。
[畫面間預測處理之變形例] 以下，針對本實施形態之畫面間預測處理的變形例做說明。圖14是流程圖，顯示在本實施形態之變形例的動態圖像編碼方法及動態圖像解碼方法中的畫面間預測處理。圖14所示的處理是以畫面間預測處理之處理單位即預測區塊單位來反覆進行。
若FRUC控制資訊顯示為0時(S101中為0)，同圖13所示的處理，幀間預測部126會依循通常畫面間預測方式，以預測區塊為單位導出移動向量 (S102)。其次，幀間預測部126會使用預測區塊單位之移動向量，來進行預測區塊單位之BIO處理的移動補償，藉此取得畫面間預測圖像(S103A)。
又，若FRUC控制資訊顯示為1時(S101中為1)，同圖13所示的處理，幀間預測部126會依循模板FRUC方式，以預測區塊為單位導出移動向量(S104)。其次，幀間預測部126會使用預測區塊單位之移動向量，來進行預測區塊單位之BIO處理的移動補償，藉此取得畫面間預測圖像(S103A)。
另一方面，若FRUC控制資訊顯示為2時(S101中為2)，幀間預測部126會依循雙向FRUC方式，以預測區塊為單位導出移動向量(S106)。之後，幀間預測部126會以將預測區塊分割後的子區塊為單位，依循雙向FRUC方式來導出移動向量(S107)。
其次，幀間預測部126會使用導出的子區塊單位之移動向量，以子區塊為單位進行移動補償，藉此取得畫面間預測圖像(S108)。另，此處的移動補償非BIO處理，而是通常的移動補償。
如此，幀間預測部126在使用通常畫面間預測方式的情況(S101中為0)，以及在使用模板FRUC方式的情況(S101中為1)，是使用導出的預測區塊單位之移動向量，來進行預測區塊單位之BIO處理的移動補償，藉此取得畫面間預測圖像。另一方面，在使用雙向FRUC方式的情況(S101中為2)，幀間預測部126則會進行不適用BIO處理的通常的移動補償，藉此取得畫面間預測圖像，其中前述BIO處理使用了子區塊單位的移動向量。
另， FRUC控制資訊之號碼只是其中一例，也可使用其以外的號碼。又，在包含於解碼200的幀間預測部218，也會進行與包含於編碼裝置100的幀間預測部126同樣的處理。
又，在此，幀間預測部126是在使用模板FRUC方式的情況下，以預測區塊為單位導出移動向量，來進行預測區塊單位之BIO處理，並且在使用雙向FRUC方式的情況下，以子區塊為單位導出移動向量，進行子區塊單位之通常的移動補償處理，然而也可在使用雙向FRUC方式的情況下，以預測區塊為單位導出移動向量，進行預測區塊單位之BIO處理，並且在使用模板FRUC方式的情況下，以子區塊為單位導出移動向量，進行子區塊單位之通常的移動補償處理。
另，在模板FRUC方式與雙向FRUC方式中，藉由以子區塊為單位導出移動向量而帶來的編碼效率之改善效果，則是雙向FRUC方式較大。故，如圖14所示，在雙向FRUC方式中以子區塊為單位導出移動向量較佳。
又，圖14中雖使用了模板FRUC方式及雙向FRUC方式兩者，但也可只使用任一者。此時，在使用該FRUC方式的情況下，幀間預測部126會以子區塊為單位導出移動向量，且進行通常的移動補償處理。
又，步驟S103A之BIO處理，在複數個移動向量導出方式中不需要完全相同。即，在使用通常畫面間預測方式的情況，以及使用模板FRUC方式的情況下，也可使用不同的BIO處理。
又，亦可針對複數個移動向量導出方式中至少任一者，將步驟S103A之BIO處理置換成別種處理(包含BIO處理之變形例)，前述別種處理是以像素單位或者比預測區塊更小的單位來進行補正，同時產生預測圖像的處理。
又，亦可針對複數個移動向量導出方式中至少任一者，將步驟S103A之BIO處理置換成別種處理，前述別種處理是將預測區塊單位之移動向量作為輸入來進行預測圖像之補正，同時產生預測圖像的處理。
圖14所示的處理是於FRUC方式中，僅適用子區塊單位之FRUC處理與BIO處理之其中一者，其中前述子區塊單位之FRUC處理是進行以子區塊為單位的移動向量之補正，而前述BIO處理是以像素單位進行預測圖像之補正。藉此，即使圖14所示的處理與圖13所示的處理比較起來幾乎是同等的處理量，但可使用對各FRUC方式而言相乘效果較大的方法。藉此，可提升編碼效率。
如上，編碼裝置100進行圖15所示的處理。另，在解碼裝置200中的處理也相同。編碼裝置100在第1動作模式中(在S111為第1動作模式)，藉由第1畫面間預測方式，以將動態圖像所包含的圖像分割後的預測區塊為單位，導出第1移動向量(S112)，且以預測區塊為單位，進行使用了導出的第1移動向量之第1移動補償處理(S113)。在此，第1移動補償處理例如是BIO處理，且是參考圖像中的亮度之空間上的梯度來產生預測圖像的移動補償處理，其中前述圖像是藉由使用了導出的第1移動向量之移動補償所產生。
又，編碼裝置100在第2動作模式中(在S111為第2動作模式)，藉由第2畫面間預測方式，以將預測區塊分割後的子區塊為單位，導出第2移動向量(S114)，且以子區塊為單位，進行使用了第2移動向量的第2移動補償處理(S115)。在此，第2移動補償處理例如是不適用BIO處理的移動補償處理，且是不參考圖像中的亮度之空間上的梯度來產生預測圖像的移動補償處理，其中前述圖像是藉由使用了第2移動向量的移動補償所產生。
藉此，編碼裝置100在第1動作模式中，以預測區塊為單位，進行移動向量之導出處理及第1移動補償處理，因此，例如比起以子區塊為單位進行該等處理的情況，可減低處理量。又，參考亮度之空間上的梯度來產生預測圖像的第1移動補償處理，可實現以比預測區塊單位更小的單位之補正，因此可抑制不以子區塊為單位來進行處理時的編碼效率之低落。又，編碼裝置100在第2動作模式中，以子區塊為單位，進行移動向量之導出處理及第2移動補償處理。在此，第2移動補償處理並不參考亮度之空間上的梯度，所以比起第1移動補償處理處理量較少。再加上，編碼裝置100具有如此的2個動作模式，因此可提升編碼效率。如此，編碼裝置100可抑制編碼效率之低落，同時減低處理量。
例如，第1畫面間預測方式與第2畫面間預測方式相異。具體上，第2畫面間預測方式是使用彼此相異的2個參考圖片內的2個區域的2個再構成圖像之適合程度的畫面間預測方式，例如是FRUC方式。
藉此，可以子區塊為單位來進行藉由以子區塊為單位算出移動向量而帶來較大的編碼效率提升效果之畫面間預測方式。故，可提升編碼效率。
例如，第1畫面間預測方式為以下的畫面間預測方式之其中一者：(1)第3畫面間預測方式(例如是模板FRUC方式)，使用鄰接於對象預測區塊之對象圖片內的區域的再構成圖像，以及參考圖片內的區域的再構成圖像之適合程度；(2)第4畫面間預測方式(例如是雙向FRUC方式)，使用彼此相異的2個參考圖片內的2個區域的2個再構成圖像之適合程度；而第2畫面間預測方式則為第3畫面間預測方式與第4畫面間預測方式之其中另一者。
例如，第1畫面間預測方式為第3畫面間預測方式(例如是模板FRUC方式)，而第2畫面間預測方式為第4畫面間預測方式(例如是雙向FRUC方式)。
藉此，可以子區塊為單位來進行藉由以子區塊為單位算出移動向量而帶來較大的編碼效率提升效果之畫面間預測方式。故，可提升編碼效率。
例如，第1畫面間預測方式是使用對象預測區塊與參考圖片所包含之區域之再構成圖像的適合程度的畫面間預測方式(通常畫面間預測方式)，且編碼裝置100會產生編碼位元串流，前述編碼位元串流包含有用以特定出導出的第1移動向量之資訊。又，解碼裝置200在第1畫面間預測方式中，是從編碼位元串流取得以預測區塊為單位特定出第1移動向量用的資訊，且使用該資訊來導出第1移動向量。
[模板FRUC方式及雙向FRUC方式] 以下說明依循模板FRUC方式或者雙向FRUC方式來導出移動向量的方法。導出區塊單位之移動向量的方法與導出子區塊單位之移動向量的方法基本上相同。下述說明中，會說明將區塊之移動向量導出的方法，以及將子區塊之移動向量導出的方法，來作為導出處理對象區域之移動向量的方法。
圖16是概念圖，顯示在編碼裝置100及解碼裝置200中，用來導出處理對象區域之移動向量的模板FRUC方式。模板FRUC方式中，不進行處理對象區域之移動向量的資訊之編碼及解碼，而是使用在編碼裝置100及解碼裝置200之間共通的方法來導出移動向量。
又，模板FRUC方式中，是使用鄰接於處理對象區域的區域即鄰接區域之再構成圖像，以及參考圖片中的區域即對應鄰接區域之再構成圖像，來導出移動向量。
在此，鄰接區域是相對於處理對象區域而鄰接於左方的區域以及鄰接於上方的區域之其中一者或者兩者的區域。
又，對應鄰接區域是使用處理對象區域的移動向量之候選即候選移動向量來指定的區域。具體上，對應鄰接區域是從鄰接區域藉由候選移動向量來指示的區域。又，與從處理對象區域藉由候選移動向量來指示的對應區域相對的對應鄰接區域之相對位置，等於與處理對象區域相對的鄰接區域之相對位置。
圖17是概念圖，顯示在編碼裝置100及解碼裝置200中，用來導出處理對象區域之移動向量的雙向FRUC方式。雙向FRUC方式中，與模板FRUC方式同樣，不進行處理對象區域之移動向量的資訊之編碼及解碼，而是使用在編碼裝置100及解碼裝置200之間共通的方法來導出移動向量。
又，雙向FRUC方式中，是使用2個參考圖片中的2個區域的2個再構成圖像，來導出移動向量。例如像圖17，使用第1參考圖片中的對應區域的再構成圖像，以及第2參考圖片中的對稱區域的再構成圖像，來導出移動向量。
在此，對應區域及對稱區域，分別是使用處理對象區域的移動向量之候選，即候選移動向量來指定的區域。具體上，對應區域是從處理對象區域藉由候選移動向量來指示的區域。對稱區域是從處理對象區域藉由對稱移動向量來指示的區域。對稱移動向量是構成雙向預測的候選移動向量之群組的移動向量。對稱移動向量也可為將候選移動向量縮放而導出的移動向量。
圖18是流程圖，顯示編碼裝置100之幀間預測部126依循模板FRUC方式或者雙向FRUC方式來導出移動向量的動作。解碼裝置200之幀間預測部218是與編碼裝置100之幀間預測部126同樣地動作。
首先，幀間預測部126參考相對於處理對象區域在時間上或者空間上的周邊之1個以上的處理完畢區域之個別的移動向量，來導出候選移動向量。
雙向FRUC方式中，在此，幀間預測部126會導出雙向預測的候選移動向量。即，幀間預測部126會將候選移動向量導出成一組2個移動向量。
具體上，在雙向FRUC方式中，若處理完畢區域之移動向量為雙向預測的移動向量時，幀間預測部126會將雙向預測的移動向量直接作為雙向預測的候選移動向量來導出。若處理完畢區域之移動向量為單向預測的移動向量時，幀間預測部126也可以從單向預測的移動向量，藉由縮放等來導出雙向預測的移動向量，藉此導出雙向預測的候選移動向量。
更具體而言，幀間預測部126會在雙向FRUC方式中，將參考第1參考圖片的移動向量，依循顯示時間間隔來縮放，藉此導出參考第2參考圖片的移動向量。藉此，幀間預測部126會將構成單向預測的移動向量以及經縮放的移動向量之群組的候選移動向量，作為雙向預測的候選移動向量來導出。
或者，在雙向FRUC方式中，幀間預測部126也可在處理完畢區域之移動向量為雙向預測的移動向量時，將處理完畢區域之移動向量作為候選移動向量來導出。並且，幀間預測部126也可在處理完畢區域之移動向量為單向預測的移動向量時，不將處理完畢區域之移動向量作為候選移動向量來導出。
在模板FRUC方式中，不受處理完畢區域之移動向量為雙向預測的移動向量或者單向預測的移動向量之影響，幀間預測部126會將處理完畢區域之移動向量作為候選移動向量來導出。
並且，幀間預測部126會產生由候選移動向量所構成的候選移動向量清單(S201)。在此，幀間預測部126也可在處理對象區域為子區塊時，即，在導出子區塊單位之移動向量時，將區塊單位之移動向量作為候選移動向量，並包含在候選移動向量清單。此時，幀間預測部126也可將區塊單位之移動向量作為最優先的候選移動向量，並包含在候選移動向量清單。
又，在雙向FRUC方式中，區塊單位之移動向量為單向預測的移動向量時，幀間預測部126可從單向預測的移動向量，藉由縮放等來導出雙向預測的候選移動向量。例如，幀間預測部126也可與周邊之移動向量為單向預測的移動向量時相同，從單向預測的移動向量，藉由縮放等來導出雙向預測的候選移動向量。
並且，幀間預測部126也可將從單向預測的移動向量所導出的候選移動向量，作為雙向預測的候選移動向量而包含於候選移動向量清單。
或者，在雙向FRUC方式中，幀間預測部126也可在區塊單位之移動向量為雙向預測的移動向量時，將區塊單位之移動向量作為候選移動向量，並包含在候選移動向量清單。並且，幀間預測部126也可在區塊單位之移動向量為單向預測的移動向量時，不將區塊單位之移動向量作為候選移動向量來包含在候選移動向量清單。
並且，幀間預測部126會從包含在候選移動向量清單的1個以上的候選移動向量之中，選擇最佳候選移動向量(S202)。此時，幀間預測部126會分別針對1個以上的候選移動向量，依循2個評價對象區域的2個再構成圖像之適合程度，來算出評價值。
具體上，模板FRUC方式中，2個評價對象區域是如圖16的鄰接區域及對應鄰接區域，雙向FRUC方式中，2個評價對象區域是如圖17的對應區域及對稱區域。如同上述，用於模板FRUC方式的對應鄰接區域，以及用於雙向FRUC方式的對應區域及對稱區域，是依循候選移動向量而定。
例如，2個評價對象區域之2個再構成圖像的適合程度越高，幀間預測部126會算出越佳的評價值。具體上，幀間預測部126會導出2個評價對象區域之2個再構成圖像之差分值。並且，幀間預測部126會使用差分值來算出評價值。例如，差分值越小，幀間預測部126會算出越佳的評價值。
又，評價值之算出不只是差分值，也可用其他的資訊。即，幀間預測部126也可用差分值以及其他的資訊來算出評價值。例如，也可是1個以上的候選移動向量之優先順位，以及基於優先順位的編碼量等會對評價值造成影響。
並且，幀間預測部126會從1個以上的候選移動向量之中，選擇評價值最佳的候選移動向量，來作為最佳候選移動向量。
並且，幀間預測部126會估測最佳候選移動向量之周邊，藉此導出處理對象區域之移動向量(S203)。
即，幀間預測部126會對於指示出由最佳候選移動向量所指示的區域之周邊區域的移動向量，同樣算出評價值。並且，幀間預測部126在評價值比最佳候選移動向量更佳的移動向量存在時，以評價值比最佳候選移動向量更佳的移動向量，來更新最佳候選移動向量。並且，幀間預測部126會將已更新的最佳候選移動向量，作為處理對象區域之最終的移動向量來導出。
另，幀間預測部126也可不進行估測最佳候選移動向量之周邊的處理(S203)，而將最佳候選移動向量作為處理對象區域之最終的移動向量來導出。又，最佳候選移動向量並不限於評價值最佳的候選移動向量。也可以是：評價值在基準以上的1個以上的候選移動向量之中的1個，依循預定的優先順位而被選作最佳候選移動向量。
又，在此，與處理對象區域及處理完畢區域有關聯的處理，例如是編碼或者解碼之處理。更具體而言，與處理對象區域及處理完畢區域有關聯的處理，也可以是導出移動向量的處理。或者，與處理對象區域及處理完畢區域有關聯的處理，也可以是再構成的處理。
[BIO處理] 圖19是概念圖，顯示編碼裝置100及解碼裝置200之BIO處理。BIO處理中，是參考圖像中的亮度之空間上的梯度，來產生處理對象區塊之預測圖像，其中，前述圖像是藉由使用處理對象區塊之移動向量來進行處理對象區塊之移動補償所得到。
BIO處理之前，會導出處理對象區塊的2個移動向量，即L0移動向量(MV_L0)及L1移動向量(MV_L1)。L0移動向量(MV_L0)是參考處理完畢圖片，即L0參考圖片用的移動向量，而L1移動向量(MV_L1)是參考處理完畢圖片即L1參考圖片用的移動向量。L0參考圖片及L1參考圖片是在處理對象區塊之雙預測處理中會同時參考的2個參考圖片。
也可使用通常畫面間預測模式、合併模式或者FRUC模式等，來作為用以導出L0移動向量(MV_L0)及L1移動向量(MV_L1)的方法。例如，通常畫面間預測模式中，是在編碼裝置100上使用處理對象區塊之圖像來進行移動檢測，藉此導出移動向量，且將移動向量之資訊編碼。又，通常畫面間預測模式中，是在解碼裝置200上將移動向量之資訊解碼，藉此導出移動向量。
並且，在BIO處理中，會參考L0參考圖片，且使用L0移動向量(MV_L0)來進行處理對象區塊之移動補償，藉此取得L0預測圖像。例如，也可對L0參考像素範圍之圖像適用移動補償濾波器，藉此取得L0預測圖像，其中前述L0參考像素範圍包含有藉由L0移動向量(MV_L0)從處理對象區塊在L0參考圖片中指示的區塊以及其周邊。
又，會取得L0梯度圖像，而前述L0梯度圖像顯示L0預測圖像之各像素中的亮度之空間上的梯度。例如，參考L0參考像素範圍中的各像素之亮度，來取得L0梯度圖像，其中前述L0參考像素範圍包含有藉由L0移動向量(MV_L0)從處理對象區塊在L0參考圖片中指示的區塊以及其周邊。
又，會參考L1參考圖像，且使用L1移動向量(MV_L1)來進行處理對象區塊之移動補償，藉此取得L1預測圖像。例如，也可對L1參考像素範圍的圖像適用移動補償濾波器，藉此取得L1預測圖像，其中前述L1參考像素範圍包含有藉由L1移動向量(MV_L1)從處理對象區塊在L1參考圖片中指示的區塊以及其周邊。
又，會取得L1梯度圖像，而前述L1梯度圖像顯示L1預測圖像之各像素中的亮度之空間上的梯度。例如，參考L1參考像素範圍中的各像素之亮度，來取得L1梯度圖像，其中前述L1參考像素範圍包含有藉由L1移動向量(MV_L1)從處理對象區塊在L1參考圖片中指示的區塊以及其周邊。
並且，針對處理對象區塊之各像素，會導出局部移動推算值。具體上，此時是使用L0預測圖像中對應的像素位置之像素值、L0梯度圖像中對應的像素位置之梯度值、L1預測圖像中對應的像素位置之像素值，以及L1梯度圖像中對應的像素位置之梯度值。局部移動推算值也可稱為補正移動向量(補正MV)。
並且，針對處理對象區塊之各像素，會使用L0梯度圖像中對應的像素位置之梯度值、L1梯度圖像中對應的像素位置之梯度值，以及局部移動推算值，來導出像素補正值。並且，針對處理對象區塊之各像素，會使用L0預測圖像中對應的像素位置之像素值、L1預測圖像中對應的像素位置之像素值，以及像素補正值，來導出預測像素值。藉此，會導出適用了BIO處理的預測圖像。
即，藉由L0預測圖像中對應的像素位置之像素值、以及L1預測圖像中對應的像素位置之像素值所得的預測像素值，會藉由像素補正值所補正。再換言之，藉由L0預測圖像及L1預測圖像所得的預測圖像，是使用L0預測圖像及L1預測圖像中的亮度之空間上的梯度來補正。
圖20是流程圖，顯示編碼裝置100之畫面間預測部126作為BIO處理來進行的動作。解碼裝置200之畫面間預測部218是與編碼裝置100之畫面間預測部126同樣地動作。
首先，畫面間預測部126會藉由L0移動向量(MV_L0)來參考L0參考圖片，並取得L0預測圖像(S401)。並且，畫面間預測部126會藉由L0移動向量來參考L0參考圖片，並取得L0梯度圖像(S402)。
同樣，畫面間預測部126會藉由L1移動向量(MV_L1)來參考L1參考圖片，並取得L1預測圖像(S401)。並且，畫面間預測部126會藉由L1移動向量來參考L1參考圖片，並取得L1梯度圖像(S402)。
其次，畫面間預測部126會針對處理對象區塊之各像素，來導出局部移動推算值(S411)。此時是使用L0預測圖像中對應的像素位置之像素值、L0梯度圖像中對應的像素位置之梯度值、L1預測圖像中對應的像素位置之像素值，以及L1梯度圖像中對應的像素位置之梯度值。
並且，畫面間預測部126會針對處理對象區塊之各像素，使用L0梯度圖像中對應的像素位置之梯度值、L1梯度圖像中對應的像素位置之梯度值，以及局部移動推算值，來導出像素補正值。並且，畫面間預測部126會針對處理對象區塊之各像素，使用L0預測圖像中對應的像素位置之像素值、L1預測圖像中對應的像素位置之像素值，以及像素補正值，來導出預測像素值(S412)。
藉由上述的動作，畫面間預測部126會產生適用了BIO處理的預測圖像。
另，在局部移動推算值及像素補正值的導出中，具體上也可使用以下的式(3)。 (數式3)式(3)中，Ix 0 [x, y] 是在L0梯度圖像之像素位置[x, y]的水平方向之梯度值。Ix 1 [x, y] 是在L1梯度圖像之像素位置[x, y]的水平方向之梯度值。Iy 0 [x, y] 是在L0梯度圖像之像素位置[x, y]的垂直方向之梯度值。Iy 1 [x, y] 是在L1梯度圖像之像素位置[x, y]的垂直方向之梯度值。
又，式(3)中，I0 [x, y]是L0預測圖像之像素位置[x, y]的像素值。I1 [x, y] 是L1預測圖像之像素位置[x, y]的像素值。ΔI[x, y] 是L0預測圖像之像素位置[x, y]的像素值與L1預測圖像之像素位置[x, y]的像素值之差分。
又，式(3)中，Ω例如是具有像素位置[x, y]並以其為中心的區域所包含的像素位置之集合。w[i, j]是對於像素位置[i, j]的權重係數。w[i, j]也可使用同一個值。Gx [x, y]、Gy [x, y]、Gx Gy [x, y]、sGx Gy [x, y]、sGx 2 [x, y]、sGy 2 [x, y]、sGx dI[x, y]及sGy dI[x, y]等是輔助算出值。
又，式(3)中，u[x, y]為構成像素位置[x, y]的局部移動推算值之水平方向的值。v[x, y]為構成像素位置[x, y]的局部移動推算值之垂直方向的值。b[x, y] 為像素位置[x, y]的像素補正值。p[x, y]為像素位置[x, y]的預測像素值。
又，在上述的說明中，畫面間預測部126是依每個像素導出局部移動推算值，然而也可依每個子區塊導出局部移動推算值，其中前述子區塊是比像素粗且比處理對象區塊細的圖像資料單位。
例如，上述的式(3)中，Ω也可為包含於子區塊的像素位置之集合。並且，sGx Gy [x, y]、sGx 2 [x, y]、sGy 2 [x, y]、sGx dI[x, y]、sGy dI[x, y]、u[x, y]及v[x, y]也可不依每個像素，而是依每個子區塊來算出。
又，編碼裝置100及解碼裝置200可適用共通的BIO處理。即，編碼裝置100及解碼裝置200可以同樣的方法來適用BIO處理。
[編碼裝置之安裝例] 圖21是方塊圖，顯示實施形態1之編碼裝置100的安裝例。編碼裝置100包含有電路160及記憶體162。例如，圖1及圖11所示的編碼裝置100之複數個構成要件，藉由圖21所示的電路160及記憶體162來安裝。
電路160為進行資訊處理的電路，且為可於記憶體162存取的電路。例如，電路160為將動態圖像編碼的專用或通用的電子電路。電路160也可為如CPU的處理器。又，電路160也可為複數個電子電路之集合體。又例如，電路160也可在圖1等所示的編碼裝置100的複數個構成要件之中，發揮記憶資訊用的構成要件以外的複數個構成要件之功能。
記憶體162為記憶電路160編碼動態圖像用的資訊之專用或通用的記憶體。記憶體162可為電子電路，也可連接於電路160。又，記憶體162也可包含在電路160中。又，記憶體162也可為複數個電子電路之集合體。又，記憶體162可為磁碟片或者光碟等，也可呈現為儲存器或者記錄媒體等。又，記憶體162可為非揮發性記憶體，也可為揮發性記憶體。
例如，記憶體162中，可記憶欲編碼的動態圖像，也可記憶與被編碼的動態圖像對應的位元串。又，記憶體162中也可記憶電路160用以編碼動態圖像的程式。
又例如，記憶體162也可在圖1等所示的編碼裝置100的複數個構成要件之中，發揮記憶資訊用的構成要件之功能。具體上，記憶體162也可發揮圖1所示的區塊記憶體118以及幀記憶體122之功能。更具體而言，記憶體162中也可記憶再構成完畢區塊以及再構成完畢圖片等。
另，在編碼裝置100中，可不安裝圖1等所示的複數個構成要件之全部，也可不進行上述的複數個處理之全部。圖1等所示的複數個構成要件之一部分也可包含在其他的裝置，且上述的複數個處理之一部分也可由其他的裝置來執行。並且，在編碼裝置100中，是安裝圖1等所示的複數個構成要件之中的一部分，且進行上述的複數個處理之一部分，藉此來有效率地進行移動補償。
具體上，編碼裝置100是以將動態圖像所包含的圖像分割後的預測區塊為單位，藉由使用彼此相異的2個圖片內的2個區域的2個再構成圖像之適合程度的第1畫面間預測方式，來導出第1移動向量(圖13之S104或者S106)。在此，第1畫面間預測方式例如是上述的FRUC方式。具體上，第1畫面間預測方式包含有模板FRUC方式以及雙向FRUC方式中的至少一者。即，第1畫面間預測方式中的上述2個區域為：(1)鄰接於對象預測區塊之對象圖片內的區域，以及參考圖片內的區域，或者(2)彼此相異的2個參考圖片內的2個區域。
換言之，第1畫面間預測方式是在編碼側與解碼側藉由同一個方法來導出移動向量的方式。又，第1畫面間預測方式中，顯示移動向量的資訊不會被傳訊至編碼串流，而不會從編碼側傳送到解碼側。又，第1畫面間預測方式中，編碼裝置100是使用編碼完畢的預測區塊之像素值，且不使用對象預測區塊之像素值來導出移動向量。
其次，編碼裝置100會以預測區塊為單位，進行參考圖像中的亮度之空間上的梯度而產生預測圖像的第1移動補償處理(圖13之S103A)，其中前述圖像是藉由使用了導出的第1移動向量之移動補償所產生。在此，第1移動補償處理例如是上述的BIO處理，包含使用了亮度梯度的補正。又，第1移動補償處理中，是以比預測區塊更細的單位(例如是像素單位或者區塊單位)來進行預測圖像之補正。又，第1移動補償處理中，是使用以移動向量所示的參考圖片內的區域以及該區域之周邊的像素，來產生預測圖像。
藉此，編碼裝置100以預測區塊為單位，進行第1畫面間預測方式之移動向量的導出處理及第1移動補償處理，因此，例如與以子區塊為單位進行該等處理時比較起來，可減低處理量。又，包含有使用了亮度梯度的補正之第1移動補償處理，可實現以比預測區塊單位更小的單位之補正，因此可抑制不以子區塊為單位進行處理時的編碼效率之低落。故，編碼裝置100可抑制編碼效率之低落，同時減低處理量。
又，編碼裝置100以預測區塊為單位，藉由使用對象預測區塊與參考圖片所包含之區域之再構成圖像的適合程度的第2畫面間預測方式，來導出第2移動向量(圖13之S102)。並且，編碼裝置100會產生編碼位元串流，前述編碼位元串流包含有用以特定出導出的第2移動向量之資訊。
在此，第2畫面間預測方式例如是上述的通常畫面間預測方式。換言之，第2畫面間預測方式是在編碼側與解碼側，藉由不同方法來導出移動向量的方式。具體而言，編碼裝置100是使用編碼完畢的預測區塊之像素值，以及對象預測區塊之像素值，來導出移動向量。並且，編碼裝置100會將顯示導出的移動向量的資訊傳訊至編碼串流。藉此，顯示在編碼裝置100所導出的移動向量之資訊，會從編碼裝置100傳送到解碼裝置200。解碼裝置200會使用包含於編碼串流的該資訊來導出移動向量。
其次，編碼裝置100會以預測區塊為單位，進行參考圖像中的亮度之空間上的梯度而產生預測圖像的第2移動補償處理(圖13之S103A)，其中前述圖像是藉由使用了導出的第2移動向量之移動補償所產生。在此，第2移動補償處理例如是上述的BIO處理，包含使用了亮度梯度的補正。又，第2移動補償處理中，是以比預測區塊更細的單位(例如像素單位或者區塊單位)來進行預測圖像之補正。又，第2移動補償處理中，是使用以移動向量所示的參考圖片內的區域以及該區域之周邊的像素，來產生預測圖像。
另，第2移動補償處理可為與第1移動補償處理同樣的處理，也可為一部分相異的處理。
藉此，在使用第1畫面間預測方式的情況以及在使用第2畫面間預測方式的情況下，可使移動補償處理之處理單位相同。藉此，可使移動補償處理之安裝變容易。
又，編碼裝置100在第1動作模式中(在S111的第1動作模式)，藉由第1畫面間預測方式，以將動態圖像所包含的圖像分割後的預測區塊為單位，導出第1移動向量(S112)，且以預測區塊為單位，進行使用導出的第1移動向量之第1移動補償處理(S113)。在此，第1移動補償處理例如是BIO處理，且是參考圖像中的亮度之空間上的梯度來產生預測圖像的移動補償處理，其中前述圖像是藉由使用了導出的第1移動向量之移動補償所產生。
又，編碼裝置100在第2動作模式中(在S111的第2動作模式)，藉由第2畫面間預測方式，以將預測區塊分割後的子區塊為單位，導出第2移動向量(S114)，且以子區塊為單位來進行使用了第2移動向量的第2移動補償處理。在此，第2移動補償處理例如是不適用BIO處理的移動補償處理，且是不參考圖像中的亮度之空間上的梯度來產生預測圖像的移動補償處理，其中前述圖像是藉由使用了第2移動向量的移動補償所產生。
藉此，編碼裝置100在第1動作模式中，以預測區塊為單位，進行移動向量之導出處理及第1移動補償處理，因此例如比起以子區塊為單位來進行該等處理的情況，可減低處理量。又，參考亮度之空間上的梯度來產生預測圖像的第1移動補償處理，可實現以比預測區塊單位更小的單位之補正，因此可抑制不以子區塊為單位來進行處理時的編碼效率之低落。又，編碼裝置100在第2動作模式中，是以子區塊為單位進行移動向量之導出處理及第2移動補償處理。在此，因為第2移動補償處理並不參考亮度之空間上的梯度，所以比起第1移動補償處理處理量較少。再加上，編碼裝置100具有如此的2個動作模式，因此可提升編碼效率。如此，編碼裝置100可抑制編碼效率之低落，同時減低處理量。
例如，第1畫面間預測方式與第2畫面間預測方式相異。具體上，第2畫面間預測方式是使用彼此相異的2個參考圖片內的2個區域的2個再構成圖像之適合程度的畫面間預測方式，例如是FRUC方式。
藉此，可以子區塊為單位來進行藉由以子區塊為單位算出移動向量而帶來較大的編碼效率提升效果之畫面間預測方式。故，可提升編碼效率。
例如，第1畫面間預測方式可為以下的畫面間預測方式之其中一者：(1)第3畫面間預測方式(例如是模板FRUC方式)，使用鄰接於對象預測區塊之對象圖片內的區域的再構成圖像，以及參考圖片內的區域的再構成圖像之適合程度；(2)第4畫面間預測方式(例如是雙向FRUC方式)，使用彼此相異的2個參考圖片內的2個區域的2個再構成圖像之適合程度；而第2畫面間預測方式則為第3畫面間預測方式與第4畫面間預測方式之其中另一者。
例如，第1畫面間預測方式為第3畫面間預測方式(例如是模板FRUC方式)，而第2畫面間預測方式為第4畫面間預測方式(例如是雙向FRUC方式)。
藉此，可以子區塊為單位來進行藉由以子區塊為單位算出移動向量而帶來較大的編碼效率提升效果之畫面間預測方式。故，可提升編碼效率。
例如，第1畫面間預測方式是使用對象預測區塊與參考圖片所包含之區域之再構成圖像的適合程度的畫面間預測方式(通常畫面間預測方式)，且編碼裝置100會產生編碼位元串流，前述編碼位元串流包含有用以特定出導出的第1移動向量之資訊。
[解碼裝置之安裝例] 圖22是方塊圖，顯示實施形態1之解碼裝置200的安裝例。解碼裝置200包含有電路260及記憶體262。例如圖10及圖12所示的解碼裝置200之複數個構成要件，藉由圖22所示的電路260及記憶體262來安裝。
電路260為進行資訊處理的電路，且為可於記憶體262存取的電路。例如，電路260為解碼動態圖像之專用或通用的電子電路。電路260也可為如CPU的處理器。又，電路260也可為複數個電子電路之集合體。又例如，電路260也可在圖10等所示的解碼裝置200的複數個構成要件之中，發揮記憶資訊用的構成要件以外的複數個構成要件之功能。
記憶體262為記憶電路260解碼動態圖像用的資訊之專用或通用的記憶體。記憶體262可為電子電路，也可連接於電路260。又，記憶體262也可包含在電路260中。又，記憶體262也可為複數個電子電路之集合體。又，記憶體262可為磁碟片或者光碟等，也可呈現為儲存器或記錄媒體等。又，記憶體262可為非揮發性記憶體，也可為揮發性記憶體。
例如，記憶體262可記憶與被編碼的動態圖像對應的位元串，也可記憶與被解碼的位元串對應的動態圖像。又，記憶體262中也可記憶電路260用以解碼動態圖像的程式。
又例如，記憶體262也可在圖10等所示的解碼裝置200的複數個構成要件之中，發揮記憶資訊用的構成要件之功能。具體上，記憶體262也可發揮圖10所示的區塊記憶體210以及幀記憶體214之功能。更具體而言，記憶體262也可記憶再構成完畢區塊以及再構成完畢圖片等。
另，在解碼裝置200中，可不安裝圖10等所示的複數個構成要件之全部，也可不進行上述的複數個處理之全部。圖10等所示的複數個構成要件之一部分也可包含在其他的裝置，且上述的複數個處理之一部分也可由其他的裝置來執行。並且，在解碼裝置200中，安裝圖10等所示的複數個構成要件中的一部分，且進行上述的複數個處理之一部分，藉此來有效率地進行移動補償。
具體上，解碼裝置200以將動態圖像所包含的圖像分割後的預測區塊為單位，藉由使用彼此相異的2個圖片內的2個區域的2個再構成圖像之適合程度的第1畫面間預測方式，來導出第1移動向量(圖13之S104或者S106)。在此，第1畫面間預測方式例如是上述的FRUC方式。具體上，第1畫面間預測方式包含有模板FRUC方式以及雙向FRUC方式中的至少一者。即，第1畫面間預測方式中的上述2個區域為：(1)鄰接於對象預測區塊之對象圖片內的區域、以及參考圖片內的區域，或者(2)彼此相異的2個參考圖片內的2個區域。
換言之，第1畫面間預測方式是在編碼側與解碼側，藉由同一個方法來導出移動向量的方式。又，第1畫面間預測方式中，顯示移動向量的資訊不會被傳訊至編碼串流，而不會從編碼側傳送到解碼側。又，第1畫面間預測方式中，解碼裝置200是使用解碼完畢的預測區塊之像素值，且不使用對象預測區塊之像素值，來導出移動向量。
其次，解碼裝置200會以預測區塊為單位，進行參考圖像中的亮度之空間上的梯度而產生預測圖像的第1移動補償處理(圖13之S103A)，其中前述圖像是藉由使用了導出的第1移動向量之移動補償所產生。在此，第1移動補償處理例如是上述的BIO處理，包含使用了亮度梯度的補正。又，第1移動補償處理中，是以比預測區塊更細的單位(例如像素單位或者區塊單位)來進行預測圖像之補正。又，第1移動補償處理中，是使用以移動向量所示的參考圖片內的區域以及該區域之周邊的像素，來產生預測圖像。
藉此，解碼裝置200以預測區塊為單位，進行第1畫面間預測方式之移動向量的導出處理及第1移動補償處理，因此，例如與以子區塊為單位進行該等處理時比較起來，可減低處理量。又，包含有使用了亮度梯度的補正之第1移動補償處理，可實現以比預測區塊單位更小的單位之補正，因此可抑制不以子區塊為單位進行處理時的編碼效率之低落。故，解碼裝置200可抑制編碼效率之低落，同時減低處理量。
又，解碼裝置200是從編碼位元串流取得以預測區塊為單位特定出第2移動向量用的資訊。解碼裝置200會以預測區塊為單位，藉由使用了上述資訊的第2畫面間預測方式，來導出第2移動向量(圖13之S102)。
在此，第2畫面間預測方式例如是上述的通常畫面間預測方式。換言之，第2畫面間預測方式是在編碼側與解碼側藉由不同的方法來導出移動向量的方式。具體上，編碼裝置100是使用編碼完畢的預測區塊之像素值，以及對象預測區塊之像素值來導出移動向量。並且，編碼裝置100會將顯示導出的移動向量之資訊傳訊至編碼串流。藉此，顯示在編碼裝置100所導出的移動向量之資訊，會從編碼裝置100傳送到解碼裝置200。解碼裝置200會使用包含於編碼串流的該資訊，來導出移動向量。
其次，解碼裝置200會以預測區塊為單位，進行參考圖像中的亮度之空間上的梯度而產生預測圖像的第2移動補償處理(圖13之S103A)，其中前述圖像是藉由使用了導出的第2移動向量之移動補償所產生。在此，第2移動補償處理例如是上述的BIO處理，包含使用了亮度梯度的補正。又，第2移動補償處理中，是以比預測區塊更細的單位(例如像素單位或者區塊單位)來進行預測圖像之補正。又，第2移動補償處理中，是使用以移動向量所示的參考圖片內的區域以及該區域之周邊的像素，來產生預測圖像。
另，第2移動補償處理可為與第1移動補償處理同樣的處理，也可為一部分相異的處理。
藉此，在使用第1畫面間預測方式的情況以及在使用第2畫面間預測方式的情況，可使移動補償處理之處理單位相同。藉此，可使移動補償處理之安裝變容易。
又，編碼裝置100在第1動作模式中(在S111的第1動作模式)，是藉由第1畫面間預測方式，以將動態圖像所包含的圖像分割後的預測區塊為單位，導出第1移動向量(S112)，且以預測區塊為單位，進行使用導出的第1移動向量之第1移動補償處理(S113)。在此，第1移動補償處理例如是BIO處理，且是參考圖像中的亮度之空間上的梯度來產生預測圖像的移動補償處理，其中前述圖像是藉由使用了導出的第1移動向量之移動補償所產生。
又，解碼裝置200在第2動作模式中(在S111的第2動作模式)，是藉由第2畫面間預測方式，以將預測區塊分割後的子區塊為單位，導出第2移動向量(S114)，且以子區塊為單位，進行使用了第2移動向量的第2移動補償處理(S115)。在此，第2移動補償處理例如是不適用BIO處理的移動補償處理，且是不參考圖像中的亮度之空間上的梯度來產生預測圖像的移動補償處理，其中前述圖像是藉由使用了第2移動向量的移動補償所產生。
藉此，解碼裝置200在第1動作模式中，以預測區塊為單位，進行移動向量之導出處理及第1移動補償處理，因此例如比起以子區塊為單位進行該等處理的情況，可減低處理量。又，參考亮度之空間上的梯度來產生預測圖像的第1移動補償處理，可實現以比預測區塊單位更小的單位之補正，因此可抑制不以子區塊為單位進行處理時的編碼效率之低落。又，解碼裝置200在第2動作模式中，以子區塊為單位進行移動向量之導出處理及第2移動補償處理。在此，因為第2移動補償處理並不參考亮度之空間上的梯度，所以比起第1移動補償處理處理量較少。再加上，解碼裝置200具有如此的2個動作模式，因此可提升編碼效率。如此，解碼裝置200可抑制編碼效率之低落，同時減低處理量。
例如，第1畫面間預測方式與第2畫面間預測方式相異。具體上，第2畫面間預測方式是使用彼此相異的2個圖片內的2個區域的2個再構成圖像之適合程度的畫面間預測方式，例如是FRUC方式。
藉此，可以子區塊為單位來進行藉由以子區塊為單位算出移動向量而帶來較大的編碼效率提升效果之畫面間預測方式。故，可提升編碼效率。
例如，第1畫面間預測方式是以下的畫面間預測方式之其中一者：(1)第3畫面間預測方式(例如是模板FRUC方式)，使用鄰接於對象預測區塊之對象圖片內的區域的再構成圖像，以及參考圖片內的區域的再構成圖像之適合程度；(2)第4畫面間預測方式(例如是雙向FRUC方式)，使用彼此相異的2個參考圖片內的2個區域的2個再構成圖像之適合程度；而第2畫面間預測方式則為第3畫面間預測方式與第4畫面間預測方式之其中另一者。
例如，第1畫面間預測方式為第3畫面間預測方式(例如是模板FRUC方式)，而第2畫面間預測方式為第4畫面間預測方式(例如是雙向FRUC方式)。
藉此，可以子區塊為單位來進行藉由以子區塊為單位算出移動向量而帶來較大的編碼效率提升效果之畫面間預測方式。故，可提升編碼效率。
例如，解碼裝置200在第1畫面間預測方式中，是從編碼位元串流取得以子區塊為單位特定出第2移動向量用的資訊，且使用該資訊來導出第2移動向量。
[補充] 又，本實施形態中的編碼裝置100及解碼裝置200，可分別作為圖像編碼裝置以及圖像解碼裝置來利用，也可分別作為動態圖像編碼裝置以及動態圖像解碼裝置來利用。或者，編碼裝置100及解碼裝置200可分別作為幀間預測裝置(畫面間預測裝置)來利用。
即，編碼裝置100及解碼裝置200可分別只對應幀間預測部(畫面間預測部)126以及幀間預測部(畫面間預測部)218。並且，轉換部106及反轉換部206等其他的構成要件也可包含在其他裝置。
又，在本實施形態中，各構成要件可由專用的硬體所構成，也可藉由執行適於各構成要件的軟體程式來實現。各構成要件也可藉由CPU或者處理器等程式執行部讀出並執行記錄在硬碟或者半導體記憶體等記錄媒體的軟體程式來實現。
具體上，編碼裝置100及解碼裝置200可分別包含：處理電路(Processing Circuitry)；以及記憶裝置(Storage)，電連接於該處理電路，且可從該處理電路存取。例如，處理電路對應電路160或260，而記憶裝置則對應記憶體162或262。
處理電路包含有專用的硬體及程式執行部之至少一者，且使用記憶裝置來執行處理。又，記憶裝置在處理電路包含程式執行部時，會記憶藉由該程式執行部所執行的軟體程式。
在此，實現本實施形態之編碼裝置100及解碼裝置200等的軟體是如下的程式。
又，各構成要件如上述亦可為電路。該等電路可構成為整體的1個電路，也可為分別不同的電路。又，各構成要件可以通用的處理器來實現，也可由專用的處理器來實現。
又，亦可由別的構成要件來執行特定的構成要件所執行的處理。又，執行處理的順序可變更，也可複數個處理並行執行。又，編碼解碼裝置也可包含有編碼裝置100及解碼裝置200。
以上，針對編碼裝置100及解碼裝置200之態樣，已基於實施形態來做說明，然而編碼裝置100及解碼裝置200之態樣不限定於前述實施形態。在不脫離本揭示之宗旨的情況下，該技術領域中具有通常知識者將所能想到的各種變形施於本實施形態者，或將不同實施形態中的構成要件組合建構的形態，皆可包含在編碼裝置100及解碼裝置200之態樣的範圍內。
也可將本態樣與本揭示中的其他態樣的至少一部分作組合來實施。又，也可將本態樣之流程圖記載的一部分處理、裝置之一部分構成、語法之一部分等，與其他的態樣組合來實施。
(實施形態2) 在以上之各實施形態中，每一個功能區塊通常可藉由MPU及記憶體等來實現。又，藉由每一個功能區塊所進行的處理，通常可藉由處理器等程式執行部讀出ROM等記錄媒體所記錄的軟體(程式)來執行而予以實現。該軟體可藉由下載等來分發，也可記錄在半導體記憶體等記錄媒體來分發。另，將各功能區塊透過硬體(專用電路)來實現當然也可以。
又，在各實施形態中所說明的處理可藉由使用單一裝置(系統)進行集中處理來實現，或者也可藉由使用複數個裝置進行分散處理來實現。又，執行上述程式的處理器可為單數個，也可為複數個。即，可進行集中處理，或者也可進行分散處理。
本揭示的態樣並不限於以上的實施例，可做各種變更，其等變更也包括在本揭示的態樣之範圍內。
進而在此，說明在上述各實施形態中所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例及使用其之系統。該系統之特徵在於具有使用圖像編碼方法之圖像編碼裝置、使用圖像解碼方法之圖像解碼裝置、及具有兩者之圖像編碼解碼裝置。針對系統中的其他構成，可配合情況適當地變更。
[使用例] 圖23係顯示實現內容(contents)發布服務之內容供給系統ex100之整體構成圖。將通訊服務之提供區域分割成所期望之大小，在各細胞(cell)內分別設置有為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。
在該內容供給系統ex100中，經由網際網路服務提供者ex102或通訊網ex104、及基地台ex106至ex110，而將電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、及智慧型手機ex115等各種機器連接於網際網路ex101。該內容供給系統ex100亦可構成為組合上述任意要件而連接。也可不經由為固定無線台之基地台ex106至ex110，而是使各機器經由電話線路網或者近距離無線裝置等直接或間接地互相連接。又，串流伺服器ex103是經由網際網路ex101等而與電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、及智慧型手機ex115等各機器連接。又，串流伺服器ex103是經由衛星ex116而與飛機ex117內之熱點內的終端機等連接。
另，也可利用無線存取點或熱點等，來替代基地台ex106至ex110。又，串流伺服器ex103也可以不經由網際網路ex101或者網際網路服務提供者ex102，而直接與通訊網ex104連接，也可不經由衛星ex116，而直接與飛機ex117連接。
攝像機ex113是數位相機等可進行靜止圖攝影及動圖攝影之機器。又，智慧型手機ex115一般是指對應於2G、3G、3.9G、4G、接著今後是被稱為5G之行動通訊系統的方式之智慧型話機、行動電話機、或者PHS(Personal Handyphone System)等。
家電ex118是冰箱或者家用燃料電池熱電共生系統所包含之機器等。
在內容供給系統ex100中，藉由讓具有攝影功能的終端機經由基地台ex106等而連接到串流伺服器ex103，可進行現場直播等。在現場直播中，終端機(電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、智慧型手機ex115、及飛機ex117內之終端機等)是將以如下方式所得到的資料發送到串流伺服器ex103：對於用戶使用該終端機所攝影的靜止圖或者動圖內容，進行在上述各實施形態所說明的編碼處理，且將藉由編碼所得到的影像資料、及將對應於影像的聲音編碼後的聲音資料進行多工。即，各終端機是作為本揭示一態樣的圖像編碼裝置而發揮功能。
另一方面，串流伺服器ex103對於有請求的客戶端，將被發送的內容資料進行串流發布。客戶端是指可將上述經過編碼處理的資料進行解碼之電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、智慧型手機ex115、或者飛機ex117內的終端機等。已接收到所發布的資料的各機器將所接收的資料進行解碼處理並再生。即，各機器是作為本揭示一態樣之圖像解碼裝置而發揮功能。
[分散處理] 又，串流伺服器ex103也可為複數個伺服器或者是複數個電腦，將資料分散處理或記錄並發布。例如，串流伺服器ex103也可藉CDN(Contents Delivery Network)來實現，透過連接分散在世界各地的多數邊緣伺服器(edge server)彼此之間的網路來實現內容發布。在CDN中，因應客戶端而動態地分配實體上接近的邊緣伺服器。然後，藉由內容被該邊緣伺服器快取及發布，可減少延遲的情況。又，在發生任何錯誤時或者因流量增加等而使通訊狀態改變時，可以複數個邊緣伺服器分散處理，或者將發布主體切換成其他邊緣伺服器，而繞過已發生障礙的網路部分來持續進行發布，因此可實現高速且穩定的發布。
又，不只是發布本身的分散處理，還可讓攝影的資料的編碼處理在各終端機進行，也可在伺服器側進行，也可互相分擔來進行。舉一例來說，一般在編碼處理中，會進行處理循環2次。第1次的循環會檢測以幀或場景為單位的圖像之複雜度或編碼量。又，第2次的循環會維持畫質，並進行使編碼效率提高的處理。例如，終端機進行第1次的編碼處理，已收到內容的伺服器側進行第2次的編碼處理，藉此可一邊減少在各終端機的處理負載，一邊提高內容的品質及效率。此時，若有幾乎即時接收且解碼的請求時，也可讓終端機已進行過的第一次的編碼完畢資料由其他終端機接收且再生，因此能達到更靈活的即時發布。
舉另一例來說，攝像機ex113等是從圖像進行特徵量擷取，將有關於特徵量的資料壓縮成詮釋( metadata)資料而發送到伺服器。伺服器是例如從特徵量來判斷目標的重要性而切換量化精度等，因應圖像的意義來進行壓縮。特徵量資料對於伺服器上之再次壓縮時的移動向量預測之精度及效率提升特別有效。又，也可在終端機進行VLC(可變長度編碼)等之簡易性編碼，在伺服器進行CABAC(前後文適應性二進位算術編碼方式)等處理負載大的編碼。
進而，以其他例來說，在體育場、購物商場、或者工廠等中，會有藉由複數個終端機而拍攝到幾乎相同的場景之複數個影像資料存在的情況。此時，使用進行過拍攝的複數個終端機、及因應需要而未拍攝的其他終端機及伺服器，以例如GOP(Group of Picture)單位、圖片單位、或者將圖片分割之圖塊單位等來分別分配編碼處理而進行分散處理。藉此，能減少延遲，實現更佳的即時性。
又，複數個影像資料為幾乎相同的場景，因此也可以相互參考各終端機拍攝的影像資料的方式，在伺服器進行管理及/或指示。或者，也可使伺服器接收來自各終端機的編碼完畢資料，在複數個資料之間變更參考關係，或者將圖片本身進行補正或交換，來重新進行編碼。藉此，可產生一個個資料的品質及效率都提高的串流。
又，伺服器也可先進行變更影像資料之編碼方式的轉碼，再發布影像資料。例如，伺服器可將MPEG系的編碼方式轉換成VP系，也可將H.264轉換成H.265。
如此，編碼處理可透過終端機或者是1個以上的伺服器來進行。因此，在下文中，進行處理的主體是採用「伺服器」或者是「終端機」等的記述，但也可讓伺服器所進行的處理的一部分或者全部在終端機進行，也可讓終端機所進行的處理的一部分或者全部在伺服器進行。又，有關於該等部分，針對解碼處理也是同樣。
[3D、多角度] 近年來，將彼此幾乎同步的複數個攝像機ex113及/或智慧型手機ex115等之終端機所攝影的不同場景、或者是從不同角度拍攝相同場景的圖像或影像整合來利用的情形也變多了。以各終端機所拍攝的影像是根據另外取得的終端機間之相對的位置關係、或者影像中包含之特徵點一致的區域等來整合。
伺服器不只將2維的動態圖像進行編碼，還可根據動態圖像的場景解析等，而自動或者是在用戶指定的時刻將靜止圖進行編碼，再發送到接收終端機。伺服器進而在可取得攝影終端機之間的相對位置關係時，不只根據2維的動態圖像，還可根據從不同角度對相同場景拍攝的影像，而產生該場景的3維形狀。另，伺服器可將透過點雲(point cloud)等所產生的3維資料另外進行編碼，也可根據使用3維資料而辨識或追蹤人物或目標的結果，從以複數個終端機拍攝的影像中，選擇要發送到接收終端機的影像，或者再構成並產生要發送到接收終端機的影像。
如此，用戶可任意選擇對應於各攝影終端機的各影像來觀賞場景，也可觀賞從3維資料切出任意視點之影像的內容，其中前述3維資料是使用複數個圖像或影像而再構成的資料。進而，與影像同樣，聲音也可從複數個不同角度進行收音，且伺服器配合影像將來自特定角度或空間的聲音與影像進行多工後發送。
又，近年來， Virtual Reality(VR/虛擬實境)及Augmented Reality(AR/擴增實境)等使現實世界及虛擬世界相對應的內容也漸漸普及了。在VR圖像的情況，可使伺服器分別做出左眼用及右眼用的視點圖像，透過Multi-View Coding(MVC/多視角編碼)等進行在各視點影像之間容許參考的編碼，也可不互相參考而作為不同串流來進行編碼。在解碼不同串流時，可使該等串流互相同步後再生，以因應用戶的視點而重現虛擬的3維空間。
在AR的圖像的情況，伺服器會根據3維性質的位置或者用戶視點的移動，而將虛擬空間上的虛擬物體資訊重疊在現實空間的攝像機資訊。解碼裝置也可取得或保持虛擬物體資訊及3維資料，並因應用戶視點的移動來產生2維圖像，藉由平順地連接而做成重疊資料。或者，解碼裝置也可在虛擬物體資訊的請求指令外，還將用戶視點的移動也發送到伺服器，伺服器配合接收到的視點移動而從保持在伺服器的3維資料做成重疊資料，且將重疊資料進行編碼，再發布到解碼裝置。另，也可是重疊資料除了RGB以外還具有顯示穿透度的α值，伺服器將從3維資料做成的目標以外的部分之α值設定為0等，且在該部分為穿透的狀態下進行編碼。或者，伺服器也可產生如同色度鍵(Chroma key)的資料，其將預定值之RGB值設定成背景，且將目標以外的部分設成背景色。
同樣，被發布的資料的解碼處理可在客戶端之各終端機進行，也可在伺服器側進行，或者也可相互分擔進行。以一例來說，也可是某終端機一旦將接收請求送到伺服器，便以其他終端機接收因應該請求的內容並進行解碼處理，且解碼完畢的訊號會發送到具有顯示器的裝置。藉由不依賴可通訊的終端機本身的性能，而是將處理分散並選擇適合的內容，可再生畫質佳的資料。又，以另一例來說，也可一邊以TV等接收大尺寸的圖像資料，一邊將圖片經分割後的圖塊等一部分的區域解碼而顯示在觀眾的個人終端。藉此，可共享整體圖像，並可在手邊確認本身的負責領域或者想更加詳細確認的區域。
又，今後不管是室內或室外，在可使用近距離、中距離、或者長距離之複數種無線通訊的狀況下，利用MPEG-DASH等之發布系統規格，一邊對於連線中的通訊切換適合的資料，一邊無縫地接收內容，這是可預想得到的。藉此，用戶除了本身的終端機，還可一邊自由地選擇設在室內或室外之顯示器等解碼裝置或者顯示裝置，一邊即時地切換。又，根據本身的位置資訊等，可一邊切換解碼的終端機及顯示的終端機，一邊進行解碼。藉此，可在往目的地的移動中，一邊讓埋設有可進行顯示的元件之旁邊建築物的壁面或地面的一部分顯示地圖資訊一邊移動。又，也可基於在網路上對編碼資料的存取容易性，來切換接收資料的位元率，其中對編碼資料的存取容易性諸如有編碼資料會被可在短時間內從接收終端機進行存取的伺服器快取、或者是被複製到內容發布服務(Contents Delivery Service)中的邊緣伺服器等。
[可適性編碼] 有關於內容的切換，是利用顯示於圖24之可適性串流來說明，其中前述可適性串流是應用上述各實施形態所示的動態圖像編碼方法而被壓縮編碼的串流。伺服器具有內容相同但品質不同的複數個串流來作為個別串流雖無妨，但也可構成為靈活運用時間/空間可適性串流之特徵來切換內容，其中前述時間/空間可適性串流是如圖所示藉由分層進行編碼來實現。即，解碼側因應例如性能之內在因素及通訊頻帶的狀態等之外在因素，來決定要解碼到哪一層，藉此解碼側可自由地切換低解析度的內容及高解析度的內容並進行解碼。例如想要把曾在移動中於智慧型手機ex115收看的影像的後續部分在回家後以網路TV等的機器收看時，該機器只要將相同的串流進行解碼到不同層即可，因此可減輕伺服器側的負擔。
進而，如上述，除了在每層將圖片進行編碼，且基本層的上位有加強層(enhancement layer)存在之實現可適性(scalability)之構成以外，也可為加強層包含有基於圖像的統計資訊等之詮釋資訊，且解碼側根據詮釋資訊將基本層的圖片進行超解析，藉此產生高畫質化的內容。所謂超解析也可是同一解析度下的SN比的提升、以及解析度的放大之任一者。詮釋資訊包含有用以特定出超解析處理所使用的線性或非線性濾波係數之資訊、或用以特定出超解析處理所使用的濾波處理、機械學習或最小平方運算中的參數值之資訊等。
或者，也可為如下構成，即，因應圖像內的目標(object)等的意涵，將圖片分割成圖塊等，解碼側選擇要解碼的圖塊，藉此只將一部分的區域進行解碼。又，把目標的屬性(人物、車、球等)與影像內的位置(同一圖像中的座標位置等)當作詮釋資訊來儲存，藉此，解碼側可根據詮釋資訊特定出希望的目標的位置，來決定包含該目標的圖塊。例如，如圖25所示，詮釋資訊是使用HEVC中的SEI訊息等與像素資料不同之資料儲存構造來儲存。前述詮釋資訊是顯示例如主目標的位置、尺寸、或者色彩等。
又，也可以串流、序列或者隨機存取單位等由複數個圖片所構成的單位來儲存詮釋資訊。藉此，解碼側可取得特定人物出現在影像內的時刻等，藉由配合圖片單位的資訊，便可特定出目標存在的圖片、及目標在圖片內的位置。
[網頁的最適化] 圖26是顯示電腦ex111等中之網頁(web page)的顯示畫面例之圖。圖27是顯示智慧型手機ex115等中之網頁的顯示畫面例之圖。如圖26及圖27所示，網頁有包括複數個鏈接(link)圖像的情況，其中該等鏈接圖像為前往圖像內容的鏈接，看到該等鏈接圖像的方式會依據閱覽的元件而有所不同。在畫面上看得到複數個鏈接圖像時，迄至用戶明確地選擇鏈接圖像為止，或者是迄至鏈接圖像靠近畫面的中央附近或者鏈接圖像整體進入畫面內為止，顯示裝置(解碼裝置)是顯示各內容所具有的靜止圖或I圖片來作為鏈接圖像，或以複數個靜止圖或I圖片等顯示像gif動畫般的影像，或只有接收基本層而將影像進行解碼及顯示。
在由用戶選擇了鏈接圖像時，顯示裝置會將基本層視為最優先來進行解碼。另，若在構成網頁的HTML中具有表示是可適性內容的資訊時，顯示裝置也可進行解碼迄至加強層為止。又，為了保證即時性，在被選擇之前或者通訊頻帶極窄時，顯示裝置只對參考前方的圖片(I圖片、P圖片、只參考前方的B圖片)進行解碼及顯示，藉此可減少前頭圖片的解碼時刻與顯示時刻間的延遲(從內容的解碼開始迄至顯示開始之延遲)。又，顯示裝置也可硬是忽視圖片的參考關係，而使全部的B圖片及P圖片參考前方，先粗略地進行解碼，然後經過一段時間，隨著接收的圖片增加，再進行正常的解碼。
[自動行駛] 又，為了汽車的自動行駛或者支援行駛而發送及接收2維或者3維的地圖資訊等靜止圖或者是影像資料時，接收終端機除了屬於1層以上的層之圖像資料以外，也可接收天氣或者施工的資訊等來作為詮釋資訊，並使該等資訊對應而進行解碼。另，詮釋資訊也可屬於層，也可單純地與圖像資料進行多工。
此時，含有接收終端機的汽車、空拍機或者飛機等會移動，因此接收終端機會在請求接收時，將該接收終端機的位置資訊進行發送，藉此可一邊切換基地台ex106至ex110，一邊實現無縫的接收及解碼。又，接收終端機可因應用戶的選擇、用戶的狀況或者通訊頻帶的狀態，而動態地切換將詮釋資訊接收到哪一程度，或者是將地圖資訊更新到何種程度。
如上進行，在內容供給系統ex100中，可讓客戶即時接收用戶所發送的已編碼資訊並將其解碼，且進行再生。
[個人內容的發布] 又，在內容供給系統ex100中，不只是透過影像發布業者所進行的高畫質且長時間的內容，透過個人所進行的低畫質且短時間的內容也可進行單播(unicast)或多播(multicast)發布。又，像這樣的個人內容，認為今後也會增加。為了將個人內容做成更優異的內容，伺服器也可進行編輯處理，之後再進行編碼處理。這例如可以如下的構成來實現。
伺服器即時地在攝影時或者累積到攝影後，從原圖或者編碼完畢資料中進行攝影錯誤、場景搜尋、意義的解析，以及目標檢測等辨識處理。接著，伺服器根據辨識結果而手動或者自動地進行以下編輯：補正失焦或手震等、刪除明度比其他圖片低或未對到焦距的場景等重要性低的場景、強調目標的邊緣、或者是變化色調等。伺服器根據編輯結果，而將編輯後的資料進行編碼。又，已知道攝影時間太長時，收視率會下降，伺服器也可根據圖像處理結果，不只是對如上述般重要性低的場景，亦對動作少的場景等自動地進行剪輯，以因應撮影時間而成為特定的時間範圍內的內容。或者，伺服器也可根據場景的意義解析的結果來產生摘要(digest)，且進行編碼。
另，在個人內容中，有未經處理會拍到侵害著作權、著作人格權、或者肖像權等的東西的事例，也有共享的範圍超過意圖的範圍等對個人來說不便的情況。因此，例如，伺服器也可刻意地將畫面周邊部的人臉或者是家裡等變更成不對焦的圖像再進行編碼。又，伺服器也可辨識在編碼對象圖像內是否有拍到與已事先登錄的人物不同人物的臉，若有拍到時，對臉的部分進行加上馬賽克等之處理。或者，在編碼的前處理或者後處理上，用戶也可從著作權等的觀點來對圖像指定想要加工圖像的人物或者背景區域，且伺服器將所指定的區域替換成別的影像，或者進行模糊焦點等的處理。若是人物時，可在動態圖像中一邊追蹤人物，一邊替換臉的部分的影像。
又，由於資料量小的個人內容的收看對即時性的要求高，所以雖然也會取決於頻帶寬，但解碼裝置首先是最優先地接收基本層，然後進行解碼及再生。解碼裝置也可在這期間接收加強層，且在循環再生等再生2次以上的時候，連同加強層在內將高畫質的影像再生。若是像這樣進行可適性編碼的串流，就能提供如下體驗，即，在未選擇時或者剛開始看的階段是粗糙的動圖，但串流漸漸地智能化(smart)而使圖像變好。除了可適性編碼以外，將第1次再生的粗糙串流及參考第1次動圖來編碼的第2次串流構成為1個串流，也可提供同樣的體驗。
[其他使用例] 又，該等編碼或者解碼處理，一般來說是在各終端機所具有的LSIex500中處理。LSIex500可以是單晶片，也可以是由複數個晶片所構成。另，將動態圖像編碼或者解碼用的軟體也可安裝到可以電腦ex111等讀取的某些記錄媒體(CD-ROM、軟碟、或者硬碟等)，並使用前述軟體來進行編碼或者解碼處理。進而，智慧型手機ex115附有攝像機時，也可發送以該攝像機取得的動圖資料。此時的動圖資料是已經透過智慧型手機ex115所具有的LSIex500進行編碼處理的資料。
另，LSIex500也可為下載應用軟體來起動之構成。此時，首先，終端機要判斷該終端機是否對應內容的編碼方式，或者是否具有特定服務的執行能力。在終端機未對應內容的編碼方式時，或者不具有特定服務的執行能力時，終端機要下載編解碼器(CODEC)或者應用軟體，之後進行內容的取得及再生。
又，不限於經由網際網路ex101的內容供給系統ex100，在數位式廣播用系統也可安裝上述各實施形態之動態圖像編碼裝置(圖像編碼裝置)或者動態圖像解碼裝置(圖像解碼裝置)之至少任一者。由於是利用衛星等而使廣播用的電波承載已將影像與聲音進行多工處理的多工資料來進行傳送接收，所以相對於內容供給系統ex100之易於進行單播的構成，數位式廣播用系統的不同點雖在於適合多播，但有關於編碼處理及解碼處理，仍可做同樣的應用。
[硬體構成] 圖28是顯示智慧型手機ex115的圖。又，圖29是顯示智慧型手機ex115的構成例之圖。智慧型手機ex115包含有：天線ex450，用以與基地台ex110之間收發電波；攝像機部ex465，可拍攝影像及靜止圖；以及顯示部ex458，顯示已將以攝像機部ex465所拍攝的影像、及以天線ex450所接收的影像等進行解碼之資料。智慧型手機ex115更包含有：操作部ex466，為觸控面板等；聲音輸出部ex457，為用以輸出聲音或者音響的揚聲器等；聲音輸入部ex456，為用以輸入聲音之麥克風等；記憶體部ex467，可將拍攝的影像或者靜止圖、已錄音的聲音、已接收的影像或者靜止圖、郵件等已編碼的資料或者已解碼的資料保存；及插槽部ex464，為與SIMex468之間的介面部，其中SIMex468用以特定出用戶，且對以網路為首的各種資料進行存取的認證。另，替代記憶體部ex467，也可使用外接式記憶體。
又，將顯示部ex458及操作部ex466等統合性地控制的主控制部ex460，是經由匯流排ex470來連接於電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、攝像機I/F部ex463、LCD控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、以及記憶體部ex467。
電源電路部ex461是當藉由用戶的操作而使電源開關成為開啟狀態時，從電池組(battery pack)對各部供應電力，藉此使智慧型手機ex115起動成可動作的狀態。
智慧型手機ex115是基於具有CPU、ROM及RAM等之主控制部ex460的控制，而進行通話及資料通訊等的處理。在通話時，是將以聲音輸入部ex456所收音的聲音訊號在聲音訊號處理部ex454轉換成數位聲音訊號，將該訊號在調變/解調部ex452進行展頻處理，在發送/接收部ex451實施數位類比轉換處理以及頻率轉換處理，之後再經由天線ex450進行發送。又，將接收資料放大，並實施頻率轉換處理以及類比數位轉換處理，在調變/解調部ex452進行解展頻處理，在聲音訊號處理部ex454轉換成類比聲音訊號，之後再將該訊號從聲音輸出部ex457進行輸出。在資料通訊模式時，透過本體部的操作部ex466等的操作，將正文(text)、靜止圖、或者影像資料經由操作輸入控制部ex462而送出至主控制部ex460，同樣進行收發處理。在資料通訊模式時，於發送影像、靜止圖、或者影像及聲音的情況，影像訊號處理部ex455是將記憶體部ex467所保存的影像訊號、或者從攝像機部ex465所輸入的影像訊號透過上述各實施形態所示的動態圖像編碼方法進行壓縮編碼，且將業經編碼的影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454是將在以攝像機部ex465攝影影像或者靜止圖等的同時以聲音輸入部ex456所收音的聲音訊號進行編碼，且將業經編碼的聲音資料送出至多工/分離部ex453。多工/分離部ex453是將業經編碼完畢的影像資料及業經編碼完畢的聲音資料以預定的方式進行多工，且於調變/解調部(調變/解調電路部)ex452、及發送/接收部ex451實施調變處理及轉換處理，再經由天線ex450來發送。
在接收到電子郵件或者對話(chat)所附的影像或者鏈接到網頁等的影像時，為了將經由天線ex450所接收到的多工資料進行解碼，多工/分離部ex453將多工資料進行分離，藉此把多工資料分成影像資料的位元串流及聲音資料的位元串流，經由同步匯流排ex470而將業經編碼的影像資料供給至影像訊號處理部ex455，並將業經編碼的聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455藉由對應於上述各實施形態所示的動態圖像編碼方法之動態圖像解碼方法，而將影像訊號進行解碼，且經由LCD控制部ex459而從顯示部ex458顯示被鏈接的動態圖像檔所含之影像或者靜止圖。又，聲音訊號處理部ex454是將聲音訊號進行解碼，且從聲音輸出部ex457輸出聲音。另，由於即時串流傳輸(real-time streaming)已經普及了，依用戶的狀況，亦可能發生聲音的再生就社會觀點而言不妥的情況。為此，作為初始值，聲音訊號不要再生，而只將影像資料再生的構成是較被希望的。也可以是只有在用戶進行了操作，如點選影像資料等的時候，才將聲音同步地再生。
又，在此是以智慧型手機ex115為例進行了說明，但以終端機而言也可考慮如下3種安裝形式：除了具有編碼器及解碼器兩者的收發型終端機之外，還有只具有編碼器的發送終端機、及只具有解碼器的接收終端機。進而，雖已說明在數位廣播用系統中接收或者發送影像資料上已有聲音資料等被多工處理之多工資料的情形，但多工資料上除了聲音資料以外，也可有與影像有關聯的文字資料等被多工處理，且也可接收或者發送影像資料本身，而不是多工資料。
另，雖已說明包含有CPU的主控制部ex460控制編碼或者解碼處理的情形，但終端機具備GPU的情況也居多。因此，如後述構成也可，即，藉由在CPU與GPU共通化的記憶體、或以可共通使用的方式管理位址的記憶體，靈活運用GPU的性能而將廣大區域匯整來一起處理者。藉此，可縮短編碼時間，確保即時性，可實現低延遲。尤其，不是利用CPU而是利用GPU，以圖片等的單位一次進行移動估測、解區塊濾波、SAO(Sample Adaptive Offset)、及轉換、量化的處理時就極具效率。
也可將本態樣與本揭示中的其他態樣的至少一部分組合實施。又，也可將本態樣之流程圖記載的一部分處理、裝置之一部分構成、語法之一部分等，與其他的態樣組合實施。
產業上之可利用性 本揭示是可利用在諸如電視、數位視訊錄影機、車用導航、行動電話、數位照相機、數位視訊攝影機、視訊會議系統、或者電子鏡等。
10～19、20～23‧‧‧區塊
100‧‧‧編碼裝置
102‧‧‧分割部
104‧‧‧減法部
106‧‧‧轉換部
108‧‧‧量化部
110‧‧‧熵編碼部
112、204‧‧‧反量化部
114、206‧‧‧反轉換部
116、208‧‧‧加法部
118、210‧‧‧區塊記憶體
120、212‧‧‧迴路濾波部
122、214‧‧‧幀記憶體
124、216‧‧‧幀內預測部
126、218‧‧‧幀間預測部
128、220‧‧‧預測控制部
160、260‧‧‧電路
162、262‧‧‧記憶體
200‧‧‧解碼裝置
202‧‧‧熵解碼部
ex100‧‧‧內容供給系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務提供者
ex103‧‧‧串流伺服器
ex104‧‧‧通訊網
ex106～ex110‧‧‧基地台
ex111‧‧‧電腦
ex112‧‧‧遊戲機
ex113‧‧‧攝像機
ex114‧‧‧家電
ex115‧‧‧智慧型手機
ex116‧‧‧衛星
ex117‧‧‧飛機
ex450‧‧‧天線
ex451‧‧‧發送/接收部
ex452‧‧‧調變/解調部
ex453‧‧‧多工/分離部
ex454‧‧‧聲音訊號處理部
ex455‧‧‧影像訊號處理部
ex456‧‧‧聲音輸入部
ex457‧‧‧聲音輸出部
ex458‧‧‧顯示部
ex459‧‧‧LCD控制部
ex460‧‧‧主控制部
ex461‧‧‧電源電路部
ex462‧‧‧操作輸入控制部
ex463‧‧‧攝像機I/F部
ex464‧‧‧插槽部
ex465‧‧‧攝像機部
ex466‧‧‧操作部
ex467‧‧‧記憶體部
ex468‧‧‧SIM
ex470‧‧‧匯流排
ex500‧‧‧LSI
S101～S108、S103A、S108A、S111～S115、S201～S203、S401～S402、S411～S412‧‧‧步驟
圖1是顯示實施形態1之編碼裝置之功能構成的方塊圖。
圖2是顯示實施形態1之區塊分割之一例之圖。
圖3是顯示對應於各轉換類型之轉換基底函數之表。
圖4A是顯示在ALF所使用之濾波器之形狀一例之圖。
圖4B是顯示在ALF所使用之濾波器的形狀另一例之圖。
圖4C是顯示在ALF所使用之濾波器的形狀另一例之圖。
圖5A是顯示幀內預測中之67個幀內預測模式之圖。
圖5B是流程圖，用以說明OBMC處理之預測圖像補正處理之概要。
圖5C是概念圖，用以說明OBMC處理之預測圖像補正處理之概要。
圖5D是顯示FRUC一例之圖。
圖6是用以說明在沿著移動軌跡的2個區塊之間的圖案匹配(雙向匹配)之圖。
圖7是用以說明當前圖片內的模板與參考圖片內的區塊間的圖片匹配(模板匹配)之圖。
圖8是用以說明假設等速直線運動之模型的圖。
圖9A是用以說明基於複數個鄰接區塊之移動向量的子區塊單位之移動向量的導出之圖。
圖9B是用以說明合併模式之移動向量導出處理之概要之圖。
圖9C是用以說明DMVR處理之概要之概念圖。
圖9D是用以說明使用了LIC處理之亮度補正處理的預測圖像產生方法之概要之圖。
圖10是方塊圖，顯示實施形態1之解碼裝置的功能構成。
圖11是流程圖，顯示比較例1的畫面間預測處理。
圖12是流程圖，顯示比較例2的畫面間預測處理。
圖13是流程圖，顯示實施形態1的畫面間預測處理。
圖14是流程圖，顯示實施形態1之變形例的畫面間預測處理。
圖15是流程圖，顯示實施形態1之變形例的編碼處理及解碼處理。
圖16是概念圖，顯示實施形態1之模板FRUC方式。
圖17是概念圖，顯示實施形態1之雙向FRUC方式。
圖18是流程圖，顯示以實施形態1之FRUC方式來導出移動向量的動作。
圖19是概念圖，顯示實施形態1之BIO處理。
圖20是流程圖，顯示實施形態1之BIO處理。
圖21是方塊圖，顯示實施形態1之編碼裝置的安裝例。
圖22是方塊圖，顯示實施形態1之解碼裝置的安裝例。
圖23是實現內容發布服務之內容供給系統的整體構成圖。
圖24是顯示可適性編碼時之編碼構造一例之圖。
圖25是顯示可適性編碼時之編碼構成一例之圖。
圖26是顯示網頁的顯示畫面例之圖。
圖27是顯示網頁的顯示畫面例之圖。
圖28是顯示智慧型手機一例之圖。
圖29是顯示智慧型手機的構成例之方塊圖。

Claims (14)

  1. 一種編碼裝置，其包含： 電路；及 記憶體， 前述電路使用前述記憶體， 在第1動作模式中， 以將動態圖像所包含的圖像分割後的預測區塊為單位，導出第1移動向量， 且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的第1移動補償處理，其中前述圖像是藉由使用了導出的前述第1移動向量之移動補償所產生， 在第2動作模式中， 以將前述預測區塊分割後的子區塊為單位，導出第2移動向量， 且以前述子區塊為單位，進行不參考圖像中的亮度之空間上的梯度而產生預測圖像的第2移動補償處理，其中前述圖像是藉由使用了前述第2移動向量的移動補償所產生。
  2. 如請求項1之編碼裝置，其中前述電路在前述第1動作模式中，藉由第1畫面間預測方式，以前述預測區塊為單位導出前述第1移動向量， 在前述第2動作模式中，藉由與前述第1畫面間預測方式相異的第2畫面間預測方式，以前述子區塊為單位導出前述第2移動向量。
  3. 如請求項2之編碼裝置，其中前述第2畫面間預測方式是使用彼此相異的2個圖片內的2個區域的2個再構成圖像之適合程度的畫面間預測方式。
  4. 如請求項3之編碼裝置，其中前述第1畫面間預測方式為以下的畫面間預測方式之其中一者：(1)第3畫面間預測方式，使用鄰接於對象預測區塊之對象圖片內的區域的再構成圖像、以及參考圖片內的區域的再構成圖像之適合程度；(2)第4畫面間預測方式，使用彼此相異的2個參考圖片內的2個區域的2個再構成圖像之適合程度； 前述第2畫面間預測方式為前述第3畫面間預測方式與前述第4畫面間預測方式之其中另一者。
  5. 如請求項4之編碼裝置，其中前述第1畫面間預測方式為前述第3畫面間預測方式，前述第2畫面間預測方式為前述第4畫面間預測方式。
  6. 如請求項3之編碼裝置，其中前述第1畫面間預測方式是使用對象預測區塊與參考圖片所包含之區域之再構成圖像的適合程度的畫面間預測方式，且產生編碼位元串流，前述編碼位元串流包含有用以特定出導出的前述第1移動向量之資訊。
  7. 一種解碼裝置，其包含： 電路；及 記憶體， 前述電路使用前述記憶體， 在第1動作模式中， 以將動態圖像所包含的圖像分割後的預測區塊為單位，導出第1移動向量， 且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的第1移動補償處理，其中前述圖像是藉由使用了導出的前述第1移動向量之移動補償所產生； 在第2動作模式中， 以將前述預測區塊分割後的子區塊為單位，導出第2移動向量， 且以前述子區塊為單位，進行不參考圖像中的亮度之空間上的梯度而產生預測圖像的第2移動補償處理，其中前述圖像是藉由使用了前述第2移動向量的移動補償所產生。
  8. 如請求項7之解碼裝置，其中前述電路在前述第1動作模式中，藉由第1畫面間預測方式，以前述預測區塊為單位導出前述第1移動向量； 在前述第2動作模式中，藉由與前述第1畫面間預測方式相異的第2畫面間預測方式，以前述子區塊為單位導出前述第2移動向量。
  9. 如請求項8之解碼裝置，其中前述第2畫面間預測方式是使用彼此相異的2個圖片內的2個區域的2個再構成圖像之適合程度的畫面間預測方式。
  10. 如請求項9之解碼裝置，其中前述第1畫面間預測方式為以下的畫面間預測方式之其中一者：(1) 第3畫面間預測方式，使用鄰接於對象預測區塊之對象圖片內的區域的再構成圖像，以及參考圖片內的區域的再構成圖像之適合程度；(2)第4畫面間預測方式，使用彼此相異的2個參考圖片內的2個區域的2個再構成圖像之適合程度； 前述第2畫面間預測方式為前述第3畫面間預測方式與前述第4畫面間預測方式之其中另一者。
  11. 如請求項10之解碼裝置，其中前述第1畫面間預測方式為前述第3畫面間預測方式， 前述第2畫面間預測方式為前述第4畫面間預測方式。
  12. 如請求項9之解碼裝置，其中前述第1畫面間預測方式是從編碼位元串流取得以前述預測區塊為單位特定出前述第1移動向量用的資訊，且使用前述資訊來導出前述第1移動向量。
  13. 一種編碼方法， 其在第1動作模式中， 以將動態圖像所包含的圖像分割後的預測區塊為單位，導出第1移動向量， 且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的第1移動補償處理，其中前述圖像是藉由使用了導出的前述第1移動向量之移動補償所產生； 在第2動作模式中， 以將前述預測區塊分割後的子區塊為單位，導出第2移動向量， 且以前述子區塊為單位，進行不參考圖像中的亮度之空間上的梯度而產生預測圖像的第2移動補償處理，其中前述圖像是藉由使用了前述第2移動向量的移動補償所產生。
  14. 一種解碼方法， 其在第1動作模式中， 以將動態圖像所包含的圖像分割後的預測區塊為單位，導出第1移動向量， 且以前述預測區塊為單位，進行參考圖像中的亮度之空間上的梯度來產生預測圖像的第1移動補償處理，其中前述圖像是藉由使用了導出的前述第1移動向量之移動補償所產生； 在第2動作模式中， 以將前述預測區塊分割後的子區塊為單位，導出第2移動向量， 於前述子區塊單位，不參照圖像中的亮度之空間性質上的梯度，而進行產生預測圖像的第2移動補償處理，該圖像是由使用了前述第2移動向量的移動補償所產生。
TW107118740A 2017-06-05 2018-05-31 編碼裝置及解碼裝置 TWI814726B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762515208P 2017-06-05 2017-06-05
US62/515,208 2017-06-05

Publications (2)

Publication Number Publication Date
TW201909632A true TW201909632A (zh) 2019-03-01
TWI814726B TWI814726B (zh) 2023-09-11

Family

ID=64567434

Family Applications (2)

Application Number Title Priority Date Filing Date
TW107118740A TWI814726B (zh) 2017-06-05 2018-05-31 編碼裝置及解碼裝置
TW112135452A TW202402052A (zh) 2017-06-05 2018-05-31 編碼裝置、解碼裝置及電腦可讀取之非暫時性媒體

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW112135452A TW202402052A (zh) 2017-06-05 2018-05-31 編碼裝置、解碼裝置及電腦可讀取之非暫時性媒體

Country Status (6)

Country Link
US (4) US10728543B2 (zh)
JP (4) JPWO2018225594A1 (zh)
KR (2) KR20230131285A (zh)
CN (5) CN117041563A (zh)
TW (2) TWI814726B (zh)
WO (1) WO2018225594A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116437104A (zh) 2017-05-19 2023-07-14 松下电器（美国）知识产权公司 解码方法和编码方法
WO2018212111A1 (ja) * 2017-05-19 2018-11-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN113596462B (zh) * 2019-09-23 2022-07-01 杭州海康威视数字技术股份有限公司 编解码方法、装置及设备
US11418792B2 (en) * 2020-03-27 2022-08-16 Tencent America LLC Estimating attributes for the classification of adaptive loop filtering based on projection-slice theorem

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0171147B1 (ko) * 1995-03-20 1999-03-20 배순훈 그레디언트 변화를 이용한 특징점 선정장치
US8325822B2 (en) * 2006-01-20 2012-12-04 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment
US8503536B2 (en) * 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
SG10201506682SA (en) * 2010-09-30 2015-10-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
JP2014192702A (ja) * 2013-03-27 2014-10-06 National Institute Of Information & Communication Technology 複数の入力画像をエンコーディングする方法、プログラムおよび装置
US20160191945A1 (en) * 2014-12-24 2016-06-30 Sony Corporation Method and system for processing video content
WO2017036399A1 (en) * 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
CN108541375B (zh) * 2016-02-03 2022-04-12 夏普株式会社 运动图像解码装置、运动图像编码装置、以及预测图像生成装置

Also Published As

Publication number Publication date
CN110692242A (zh) 2020-01-14
US20200107018A1 (en) 2020-04-02
US11115654B2 (en) 2021-09-07
CN110692242B (zh) 2023-10-03
US20200314417A1 (en) 2020-10-01
JP2024015159A (ja) 2024-02-01
CN117041563A (zh) 2023-11-10
WO2018225594A1 (ja) 2018-12-13
CN117097891A (zh) 2023-11-21
US11831864B2 (en) 2023-11-28
US10728543B2 (en) 2020-07-28
KR20200015518A (ko) 2020-02-12
KR102574175B1 (ko) 2023-09-04
JP2021002891A (ja) 2021-01-07
CN117097890A (zh) 2023-11-21
CN117041562A (zh) 2023-11-10
US20240048691A1 (en) 2024-02-08
JPWO2018225594A1 (ja) 2020-02-06
KR20230131285A (ko) 2023-09-12
US20210344906A1 (en) 2021-11-04
TW202402052A (zh) 2024-01-01
JP2022093625A (ja) 2022-06-23
TWI814726B (zh) 2023-09-11
JP7432653B2 (ja) 2024-02-16

Similar Documents

Publication Publication Date Title
TWI820019B (zh) 圖像解碼裝置及解碼方法
CN110495177B (zh) 解码装置、解码方法及存储介质
TW201806392A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201907710A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI782974B (zh) 解碼裝置、解碼方法及非暫時性電腦可讀取媒體
TWI826214B (zh) 編碼方法及解碼方法
TWI761551B (zh) 編碼裝置、編碼方法、解碼裝置及解碼方法
TWI790983B (zh) 解碼裝置及編碼裝置
TW201941603A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201828705A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI814726B (zh) 編碼裝置及解碼裝置
TW202002648A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201918072A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201921931A (zh) 編碼裝置、編碼方法、解碼裝置及解碼方法
TW201943271A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201911865A (zh) 編碼裝置、編碼方法、解碼裝置及解碼方法
TW201904293A (zh) 編碼裝置、編碼方法、解碼裝置及解碼方法
TW201834457A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI763959B (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201909631A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201826794A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI827605B (zh) 解碼裝置及解碼方法
WO2019049912A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
TW201830959A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201946468A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法