TW202320546A - 編碼裝置、解碼裝置及非暫時性電腦可讀取的記錄媒體 - Google Patents

編碼裝置、解碼裝置及非暫時性電腦可讀取的記錄媒體 Download PDF

Info

Publication number
TW202320546A
TW202320546A TW112101385A TW112101385A TW202320546A TW 202320546 A TW202320546 A TW 202320546A TW 112101385 A TW112101385 A TW 112101385A TW 112101385 A TW112101385 A TW 112101385A TW 202320546 A TW202320546 A TW 202320546A
Authority
TW
Taiwan
Prior art keywords
aforementioned
block
sub
pixels
current block
Prior art date
Application number
TW112101385A
Other languages
English (en)
Inventor
安倍清史
西孝啓
遠間正真
加納龍一
橋本隆
Original Assignee
美商松下電器（美國）知識產權公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商松下電器（美國）知識產權公司 filed Critical 美商松下電器（美國）知識產權公司
Publication of TW202320546A publication Critical patent/TW202320546A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

一種編碼裝置，是利用框間預測來對圖片的編碼對象區塊進行編碼，該編碼裝置具備處理器、及記憶體，處理器是利用記憶體，而利用與2個參照圖片的每一個相對應之運動向量來進行運動補償，藉此從2個參照圖片取得2個預測圖像，且從2個參照圖片取得與2個預測圖像相對應的2個梯度圖像，並以對編碼對象區塊進行分割而得到的子區塊單位，利用2個預測圖像及2個梯度圖像來導出局部運動估測值，利用2個預測圖像、2個梯度圖像、及子區塊單位的局部運動估測値，而生成編碼對象區塊的最終預測圖像。

Description

編碼裝置、解碼裝置及非暫時性電腦可讀取的記錄媒體
發明領域 本揭示是有關於一種利用了框間預測的圖像之編碼及解碼。
發明背景 一種稱為HEVC(高效率視訊編碼，High-Efficiency Video Coding)的影像編碼標準規格，已藉由JCT-VC(視訊編碼聯合工作小組，Joint Collaborative Team on Video Coding)而標準化。 先前技術文獻
非專利文獻 非專利文獻1：H.265(ISO/IEC 23008-2 HEVC(High Efficiency Video Coding，高效率視訊編碼))
發明概要 發明欲解決之課題 在這種編碼及解碼技術中，所要求的是更進一步的壓縮效率之提升及處理負荷之減輕。
於是，本揭示提供一種可以實現更進一步的壓縮效率之提升及處理負荷之減輕的編碼裝置、解碼裝置、編碼方法或解碼方法。 用以解決課題之手段
本發明的一態樣之編碼裝置，是利用框間預測來對圖片的編碼對象區塊進行編碼的編碼裝置，具備有處理器、及記憶體，前述處理器是利用前述記憶體，而利用與2個參照圖片的每一個對應之運動向量來進行運動補償，藉此從前述2個參照圖片取得2個預測圖像，且從前述2個參照圖片取得與前述2個預測圖像對應的2個梯度圖像，並以對前述編碼對象區塊進行分割而得到的子區塊單位，利用前述2個預測圖像及前述2個梯度圖像來導出局部運動估測值，利用前述2個預測圖像、前述2個梯度圖像、及前述子區塊單位的局部運動估測値，以生成前述編碼對象區塊的最終預測圖像。
再者，這些全面的或具體的態樣，可利用系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式及記錄媒體之任意的組合來實現。 發明效果
本揭示可以提供一種能夠實現更進一步的壓縮效率之提升及處理負荷之減輕的編碼裝置、解碼裝置、編碼方法或解碼方法。
用以實施發明之形態 以下，參照圖式來具體地說明實施形態。
再者，在以下所說明的實施形態都是顯示全面性的或具體的例子之實施形態。以下實施形態所示的數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的順序等，都只是一個例子，並非用來限定請求的範圍的主旨。又，以下的實施形態的構成要素之中，針對沒有記載在表示最上位概念之獨立請求項中的構成要素，是作為任意之構成要素來說明。 (實施形態1)
首先，說明實施形態1的概要，來作為可適用後述之本揭示的各態樣中說明的處理及/或構成的編碼裝置及解碼裝置之一例。但是，實施形態1只不過是可適用本揭示的各態樣中說明的處理及/或構成之編碼裝置及解碼裝置的一例，本揭示的各態樣中說明的處理及/或構成，亦可在與實施形態1不同的編碼裝置及解碼裝置中實施。
對實施形態1來適用在本揭示的各態樣中所說明的處理及/或構成的情況下，亦可進行例如以下的任一項。 (1)對於實施形態1的編碼裝置或解碼裝置，將構成該編碼裝置或解碼裝置的複數個構成要素當中，與本揭示的各態樣中說明的構成要素對應的構成要素，替換為本揭示的各態樣中所說明的構成要素。 (2)對於實施形態1的編碼裝置或解碼裝置，針對構成該編碼裝置或解碼裝置的複數個構成要素當中一部分的構成要素，可於施加了功能或實施的處理之追加、替換、刪除等任意的變更後，將與本揭示的各態樣中所說明的構成要素對應的構成要素，替換為本揭示的各態樣中所說明的構成要素。 (3)對於實施形態1的編碼裝置或解碼裝置所實施的方法，可於施加了處理的追加、及/或針對該方法所包含的複數個處理當中的一部分之處理進行替換、刪除等任意的變更後，將與本揭示的各態樣中說明的處理對應的處理，替換為本揭示的各態樣中所說明的處理。 (4)可將構成實施形態1的編碼裝置或解碼裝置之複數個構成要素當中的一部分之構成要素，與下述構成要素組合而實施：本揭示的各態樣中所說明的構成要素、具備有本揭示的各態樣中所說明的構成要素所具備的功能之一部分的構成要素、或實施本揭示的各態樣中所說明的構成要素所實施的處理之一部分的構成要素。 (5)可將具備有構成實施形態1的編碼裝置或解碼裝置之複數個構成要素當中的一部分之構成要素所具備的功能之一部分的構成要素、或實施構成實施形態1的編碼裝置或解碼裝置之複數個構成要素當中的一部分之構成要素所實施的處理之一部分的構成要素，與下述構成要素組合而實施：本揭示的各態樣中所說明的構成要素、具備有本揭示的各態樣中所說明的構成要素所具備的功能之一部分的構成要素、或實施本揭示的各態樣中所說明的構成要素所實施的處理之一部分的構成要素。 (6)對於實施形態1的編碼裝置或解碼裝置所實施的方法，可將在該方法所包含的複數個處理當中，與本揭示的各態樣中所說明的處理對應的處理，替換為本揭示的各態樣中所說明的處理。 (7)可將實施形態1的編碼裝置或解碼裝置所實施的方法所包含的複數個處理當中之一部分的處理，與本揭示的各態樣中所說明的處理組合而實施。
再者，在本揭示的各態樣中所說明的處理及/或構成的實施之方式，並不限定於上述的例子。例如，亦可在以和實施形態1中揭示的動態圖像/圖像編碼裝置或動態圖像/圖像解碼裝置不同之目的來利用的裝置中實施，亦可單獨地來實施各態樣中所說明的處理及/或構成。又，也可以將不同的態樣中說明的處理及/或構成組合來實施。 [編碼裝置之概要]
首先，說明實施形態1之編碼裝置的概要。圖1是顯示實施形態1之編碼裝置100的功能構成之方塊圖。編碼裝置100是以區塊單位對動態圖像/圖像進行編碼的動態圖像/圖像編碼裝置。
如圖1所示，編碼裝置100是以區塊單位對圖像進行編碼的裝置，並具備分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、區塊記憶體118、環路濾波部120、框記憶體122、框內預測部124、框間預測部126、及預測控制部128。
編碼裝置100可藉由例如通用處理器及記憶體來實現。在此情況下，藉由處理器執行保存在記憶體的軟體程式時，處理器是作為分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、環路濾波部120、框內預測部124、框間預測部126、及預測控制部128而發揮功能。又，編碼裝置100亦可作為對應於分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、環路濾波部120、框內預測部124、框間預測部126、及預測控制部128的1個以上之專用的電子電路來實現。
以下，針對包含在編碼裝置100的各構成要素進行說明。 [分割部]
分割部102是將包含在輸入動態圖像的各圖片分割成複數個區塊，且將各區塊輸出至減法部104。例如，分割部102首先可將圖片分割為固定尺寸(例如128×128)的區塊。此固定尺寸的區塊被稱為編碼樹單元(CTU)。並且，分割部102會根據遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，而將各個固定尺寸的區塊分割成可變尺寸(例如64×64以下)的區塊。此可變尺寸的區塊有時被稱為編碼單元(CU)、預測單元(PU)或轉換單元(TU)。再者，在本實施形態中，亦可不需要區別CU、PU及TU，而使圖片內的一部分或全部的區塊成為CU、PU、TU的處理單位。
圖2是顯示實施形態1中的區塊分割的一例之圖。在圖2中，實線是表示藉由四元樹區塊分割形成的區塊交界，虛線是表示藉由二元樹區塊分割形成的區塊交界。
在此，區塊10是128×128像素的正方形區塊(128×128區塊)。該128×128區塊10首先被分割成4個正方形的64×64區塊(四元樹區塊分割)。
左上的64×64區塊會進一步被垂直地分割成2個矩形的32×64區塊，且左邊的32×64區塊會進一步地被垂直地分割成2個矩形的16×64區塊(二元樹區塊分割)。其結果是左上的64×64區塊被分割成2個的16×64區塊11、12、以及32×64區塊13。
右上的64×64區塊被水平地分割為2個矩形的64×32區塊14、15(二元樹區塊分割)。
左下的64×64區塊被分割為4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊當中，將左上的區塊及右下的區塊進一步地分割。左上的32×32區塊被垂直地分割成2個矩形的16×32區塊，右邊的16×32區塊被進一步地水平地分割成2個16×16區塊(二元樹區塊分割)。右下的32×32區塊被水平地分割成2個32×16區塊(二元樹區塊分割)。其結果，可將左下的64×64區塊分割成：16×32區塊16、2個16×16區塊17、18、2個32×32區塊19、20、與2個32×16區塊21、22。
右下的64×64區塊23不分割。
如以上，在圖2中，區塊10是根據遞迴的四元樹及二元樹區塊分割，而被分割成13個可變尺寸的區塊11~23。這種分割被稱為QTBT(四元樹加二元樹區塊結構(quad-tree plus binary tree))分割。
再者，在圖2中，雖然是將1個區塊分割成4個或2個區塊(四元樹或二元樹區塊分割)，但分割並不限定於此。例如，亦可將1個區塊分割成3個區塊(三元樹區塊分割)。這種包含了三元樹區塊分割的分割，被稱為MBT(多類型樹(multi type tree))分割。 [減法部]
減法部104是以由分割部102所分割的區塊單位來從原訊號(原樣本)中減去預測訊號(預測樣本)。也就是說，減法部104會算出編碼對象區塊(以下，稱為當前區塊)的預測誤差(也可稱為殘差)。然後，減法部104將算出的預測誤差輸出至轉換部106。
原訊號是編碼裝置100的輸入訊號，且是表示構成動態圖像的各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。在以下，有時也會將表示圖像的訊號稱為樣本。 [轉換部]
轉換部106是將空間區域的預測誤差轉換成頻率區域的轉換係數，並將轉換係數輸出至量化部108。具體來說，轉換部106是例如對空間區域的預測誤差進行事先規定之離散餘弦轉換(DCT)或離散正弦轉換(DST)。
再者，轉換部106亦可從複數個轉換類型之中適當地選擇轉換類型，且使用與所選擇的轉換類型對應之轉換基底函數(transform basis function)，來將預測誤差轉換成轉換係數。有時將這種轉換稱為EMT(外顯性多重核心轉換(explicit multiple core transform))或AMT(適應性多重轉換(adaptive multiple transform))。
複數個轉換類型包含例如DCT-II、DCT-V、DCT-VIII、DST-I、及DST-VII。圖3是顯示對應於各轉換類型的轉換基底函數之表格。在圖3中N是表示輸入像素的數量。從這些複數個轉換類型之中的轉換類型之選擇，可依例如預測的種類(框內預測(intra-prediction)及框間預測(inter-prediction))而定，亦可依框內預測模式而定。
這種顯示是否適用EMT或AMT的資訊(可稱為例如AMT旗標(AMT flag))及顯示所選擇的轉換類型的資訊，可在CU層級被訊號化。再者，這些資訊的訊號化並不需限定於CU層級，也可以是其他的層級(例如，序列層級(sequence level)、圖片層級(picture level)、片段層級(slice level)、圖塊層級(tile level)或CTU層級)。
又，轉換部106也可以將轉換係數(轉換結果)再轉換。有時將這種再轉換稱為AST(適應性二次轉換(adaptive secondary transform))或NSST(不可分離的二次轉換(non-separable secondary transform))。例如，轉換部106會按每個子區塊(例如4×4子區塊)進行再轉換，其中該等子區塊是包含在對應於框內預測誤差的轉換係數之區塊中的子區塊。顯示是否適用NSST的資訊以及與在NSST所用的轉換矩陣相關的資訊，是在CU層級被訊號化。再者，這些資訊的訊號化並不需限定於CU層級，也可以是其他的層級(例如，序列層級(sequence level)、圖片層級(picture level)、片段層級(slice level)、圖塊層級(tile level)或CTU層級)。
在此，可分離之(Separable)轉換是指以相當於輸入的維度之數來按各個方向分離並進行複數次轉換的方式，不可分離之(Non-Separable)轉換是指當輸入為多維時將2個以上的維度匯總而視為1維，且匯總來進行轉換的方式。
可列舉例如，作為不可分離之(Non-Separable)轉換的一例，在輸入為4×4的區塊之情況下，將其視為具有16個要素的一種陣列，而對該陣列以16×16的轉換矩陣來進行轉換處理之類的轉換。
又，同樣地，於將4×4的輸入區塊視為具有16個要素的一種陣列之後，對該陣列進行複數次吉文斯旋轉(Givens rotation)之類的轉換(超立方吉文斯轉換，Hypercube Givens Transform)也是不可分離之(Non-Separable)轉換的例子。 [量化部]
量化部108是對從轉換部106輸出的轉換係數進行量化。具體來說，量化部108是以預定的掃描順序掃描當前區塊的轉換係數，且根據與所掃描的轉換係數相對應之量化參數(QP)來對該轉換係數進行量化。並且，量化部108會將當前區塊之已量化的轉換係數(以下，稱為量化係數)輸出到熵編碼部110及逆量化部112。
預定的順序是用於轉換係數的量化/逆量化之順序。例如，預定的掃描順序是以頻率的遞升順序(從低頻到高頻的順序)或遞降順序(從高頻到低頻的順序)來定義。
所謂量化參數是定義量化步距(量化寬度)的參數。例如，量化參數的值增加的話，會使量化步距也增加。也就是說，量化參數的值增加的話，會使量化誤差増大。 [熵編碼部]
熵編碼部110是藉由對從量化部108輸入之量化係數進行可變長度編碼，來生成編碼訊號(編碼位元流(bit stream))。具體來說，熵編碼部110是例如將量化係數二值化，而對二值訊號進行算術編碼。 [逆量化部]
逆量化部112是對來自量化部108的輸入即量化係數進行逆量化。具體來說，逆量化部112是以預定的掃描順序對當前區塊的量化係數進行逆量化。並且，逆量化部112會將當前區塊之已逆量化的轉換係數輸出到逆轉換部114。 [逆轉換部]
逆轉換部114是藉由對來自逆量化部112的輸入即轉換係數進行逆轉換，以復原預測誤差。具體來說，逆轉換部114是藉由對轉換係數進行與由轉換部106所進行的轉換相對應之逆轉換，來復原當前區塊的預測誤差。然後，逆轉換部114將復原的預測誤差輸出至加法部116。
再者，由於復原的預測誤差會因量化而失去資訊，因此和減法部104算出的預測誤差並不一致。亦即，復原的預測誤差中包含有量化誤差。 [加法部]
加法部116會對來自逆轉換部114的輸入即預測誤差、及來自預測控制部128的輸入即預測樣本進行加法運算，藉此再構成當前區塊。然後，加法部116將再構成的區塊輸出到區塊記憶體118及環路濾波部120。有時也將再構成區塊稱為局部解碼區塊。 [區塊記憶體]
區塊記憶體118是用於保存在框內預測中所參照的區塊且也是編碼對象圖片(以下，稱為當前圖片)內的區塊之儲存部。具體來說，區塊記憶體118會保存從加法部116輸出的再構成區塊。 [環路濾波部]
環路濾波部120會對藉由加法部116再構成的區塊施行環路濾波，且將已進行濾波的再構成區塊輸出到框記憶體122。所謂環路濾波器是在編碼環路內使用的濾波器(環內濾波器(In-loop filter))，且包含例如去區塊濾波器(Deblocking Filter，DF)、取樣自適應偏移(Sample Adaptive Offset，SAO)、及自適應環路濾波器(Adaptive Loop Filter，ALF)等。
在ALF中，可適用去除編碼失真用的最小平方誤差濾波器，例如可適用按當前區塊內的2×2子區塊的每一個，根據局部的梯度(gradient)的方向及活動性(activity)來從複數個濾波器之中選擇的1個濾波器。
具體來說，首先，可將子區塊(例如2×2子區塊)分類成複數個類別(class)(例如15個或25個類別)。子區塊的分類是根據梯度的方向及活動性來進行。例如，可利用梯度的方向值D(例如0~2或0~4)與梯度的活性值A(例如0~4)來算出分類值C(例如C=5D＋A)。然後，根據分類值C，來將子區塊分類成複數個類別(例如15個或25個類別)。
梯度的方向值D可藉由例如比較複數個方向(例如水平、垂直及2個對角方向)的梯度來導出。又，梯度的活性值A是藉由例如對複數個方向的梯度做加法運算，並對加法結果進行量化來導出。
根據這種分類的結果，即可從複數個濾波器之中決定子區塊用的濾波器。
作為在ALF中所用的濾波器之形狀，可利用的有例如圓對稱形狀。圖4A~圖4C是顯示使用於ALF的濾波器之形狀的複數個例子之圖。圖4A是顯示5×5菱形(diamond)形狀濾波器，圖4B是顯示7×7菱形形狀濾波器，圖4C是顯示9×9菱形形狀濾波器。顯示濾波器的形狀之資訊，是在圖片層級被訊號化。再者，顯示濾波器的形狀之資訊的訊號化並不需要限定於圖片層級，亦可為其他的層級(例如，序列層級、片段層級、圖塊層級、CTU層級或CU層級)。
ALF的開啟/關閉(on/off)是在例如圖片層級或CU層級決定的。例如，針對亮度是在CU層級來決定是否適用ALF，而針對色差則是在圖片層級來決定是否適用ALF。顯示ALF的開啟/關閉之資訊，可在圖片層級或CU層級被訊號化。再者，顯示ALF的開啟/關閉之資訊的訊號化並不需要限定於圖片層級或CU層級，亦可為其他的層級(例如，序列層級、片段層級、圖塊層級或CTU層級)。
可選擇的複數個濾波器(到例如15個或25個為止的濾波器)之係數組(set)，是在圖片層級被訊號化。再者，係數組的訊號化並不需要限定於圖片層級，也可以是其他的層級(例如序列層級、片段層級、圖塊層級、CTU層級、CU層級或子區塊層級)。 [框記憶體]
框記憶體122是用於保存框間預測所用的參照圖片之儲存部，有時也被稱為框緩衝器(frame buffer)。具體來說，框記憶體122會保存已藉由環路濾波部120而被濾波的再構成區塊。 [框內預測部]
框內預測部124是參照已保存於區塊記憶體118的當前圖片內之區塊來進行當前區塊的框內預測(也稱為畫面內預測)，藉此生成預測訊號(框內預測訊號)。具體來說，框內預測部124是參照與當前區塊相鄰的區塊之樣本(例如亮度值、色差值)來進行框內預測，藉此生成框內預測訊號，並將框內預測訊號輸出至預測控制部128。
例如，框內預測部124會利用事先規定的複數個框內預測模式之中的1個來進行框內預測。複數個框內預測模式包含1個以上之非方向性預測模式、以及複數個方向性預測模式。
1個以上之非方向性預測模式包含例如H.265/HEVC(高效率視訊編碼(High-Efficiency Video Coding))規格(非專利文獻1)所規定的平面(Planar)預測模式及DC預測模式。
複數個方向性預測模式包含例如H.265/HEVC規格所規定的33個方向之預測模式。再者，複數個方向性預測模式亦可除了33個方向以外，更進一步地包含32個方向的預測模式(合計65個的方向性預測模式)。圖5A是顯示框內預測中的67個框內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭是表示H.265/HEVC規格所規定的33個方向，虛線箭頭是表示追加的32個方向。
再者，在色差區塊的框內預測中，亦可參照亮度區塊。也就是說，也可以根據當前區塊的亮度成分，來預測當前區塊的色差成分。有時可將這種框內預測稱為CCLM(交叉成分線性模型，cross-component linear model)預測。這種參照亮度區塊的色差區塊之框內預測模式(例如被稱為CCLM模式)，也可以作為1個色差區塊的框內預測模式來加入。
框內預測部124亦可根據水平/垂直方向的參照像素之梯度來補正框內預測後的像素值。這種伴隨補正的框內預測有時被稱為PDPC(獨立位置框內預測組合，position dependent intra prediction combination)。顯示有無PDPC的適用之資訊(被稱為例如PDPC旗標)，是在例如CU層級被訊號化。再者，該資訊的訊號化並不需要限定於CU層級，也可以是其他的層級(例如序列層級、圖片層級、片段層級、圖塊層級、或CTU層級)。 [框間預測部]
框間預測部126會參照保存在框記憶體122的參照圖片且也是與當前圖片不同的參照圖片，來進行當前區塊的框間預測(也稱為畫面間預測)，藉此生成預測訊號(框間預測訊號)。框間預測是以當前區塊或當前區塊內的子區塊(例如4×4區塊)之單位來進行。例如，框間預測部126是針對當前區塊或子區塊而在參照圖片內進行運動搜尋(運動估計(motion estimation))。然後，框間預測部126是利用以運動搜尋所得到的運動資訊(例如運動向量)來進行運動補償，藉此生成當前區塊或子區塊的框間預測訊號。然後，框間預測部126將生成的框間預測訊號輸出至預測控制部128。
使用於運動補償的運動資訊會被訊號化。在運動向量的訊號化中，亦可使用運動向量預測子(motion vector predictor)。也就是說，亦可將運動向量與運動向量預測子之間的差分訊號化。
再者，不只是由運動搜尋得到的當前區塊之運動資訊，亦可連相鄰區塊的運動資訊也利用，來生成框間預測訊號。具體來說，藉由將根據由運動搜尋得到的運動資訊之預測訊號、以及根據相鄰區塊的運動資訊之預測訊號做加權相加，而以當前區塊內的子區塊單位來生成框間預測訊號亦可。這種框間預測(運動補償)有時被稱為OBMC(重疊區塊運動補償，overlapped block motion compensation)。
在這種OBMC模式中，顯示OBMC用的子區塊之尺寸的資訊(例如被稱為OBMC區塊尺寸)，是在序列層級被訊號化。又，顯示是否適用OBMC模式的資訊(例如被稱為OBMC旗標)，是在CU層級被訊號化。再者，這些資訊的訊號化之層級並不需要限定於序列層級及CU層級，亦可為其他的層級(例如圖片層級、片段層級、圖塊層級、CTU層級、或子區塊層級)。
針對OBMC模式來更具體地說明。圖5B及圖5C是用於說明藉由OBMC處理進行的預測圖像補正處理之概要的流程圖及概念圖。
首先，利用分配於編碼對象區塊的運動向量(MV)，來取得藉由一般的運動補償形成的預測圖像(Pred)。
接著，將編碼完成的左相鄰區塊之運動向量(MV_L)適用於編碼對象區塊來取得預測圖像(Pred_L)，且對前述預測圖像與Pred_L做加權並重疊，藉此進行預測圖像的第1次補正。
同樣地，將編碼完成的上相鄰區塊之運動向量(MV_U)適用於編碼對象區塊來取得預測圖像(Pred_U)，且對已進行前述第1次補正之預測圖像與Pred_U做加權並重疊，藉此進行預測圖像的第2次補正，並將其設為最終的預測圖像。
再者，在此雖然說明了利用了左相鄰區塊及上相鄰區塊的2階段的補正的方法，但也可以設為利用右相鄰區塊或下相鄰區塊來進行比2階段更多次數的補正之構成。
再者，進行重疊的區域不是區塊整體的像素區域，而僅是區塊交界附近的一部分之區域亦可。
再者，在此雖然針對來自1張參照圖片的預測圖像補正處理作了說明，但從複數張參照圖片來補正預測圖像的情況也是相同的，在取得已從各個參照圖片補正的預測圖像後，進一步將所得到的預測圖像重疊，藉此設為最終的預測圖像。
再者，前述處理對象區塊可以是預測區塊單位，也可以是將預測區塊進一步地分割而成的子區塊單位。
作為是否適用OBMC處理的判定之方法，有例如利用顯示是否適用OBMC處理之訊號即OBMC旗標(obmc_flag)的方法。作為具體的一例，是在編碼裝置中，判定編碼對象區塊是否屬於運動複雜的區域，在屬於運動複雜的區域之情況下，是設定數值1來作為OBMC旗標(obmc_flag)並適用OBMC處理來進行編碼，在不屬於運動複雜的區域之情況下，是設定數值0來作為OBMC旗標(obmc_flag)，且不適用OBMC處理而進行編碼。另一方面，在解碼裝置中，是對已描述於流(stream)的OBMC旗標(obmc_flag)進行解碼，藉此因應於該數值來切換是否適用OBMC處理並進行解碼。
再者，運動資訊也可以是不被訊號化，而在解碼裝置側被導出。例如，也可以使用H.265/HEVC規格所規定的合併模式(merge mode)。又例如，亦可藉由在解碼裝置側進行運動搜尋來導出運動資訊。在此情況下，可在不使用當前區塊的像素值的情形下進行運動搜尋。
在此，針對在解碼裝置側進行運動搜尋的模式進行說明。有時將在此解碼裝置側進行運動搜尋的模式稱為PMMVD(型樣匹配運動向量導出，pattern matched motion vector derivation)模式、或FRUC(提升框速轉換，frame rate up-conversion)模式。
在圖5D中顯示FRUC處理的一例。首先，可參照空間上或時間上與當前區塊相鄰之編碼完成的區塊的運動向量，而生成各自具有運動向量預測子的複數個候選之清單(與合併清單共通亦可)。接著，從登錄於候選清單的複數個候選MV之中選擇最佳候選MV。例如，算出候選清單所包含的各候選之評價值，並根據評價值來選擇1個候選。
然後，可根據所選擇的候選之運動向量，來導出當前區塊用的運動向量。具體來說，是例如將所選擇的候選之運動向量(最佳候選MV)直接導出來作為當前區塊用的運動向量。又例如，亦可在與所選擇的候選之運動向量對應的參照圖片內的位置之周邊區域中，藉由進行型樣匹配，來導出當前區塊用的運動向量。亦即，也可以對最佳候選MV的周邊之區域以同樣的方法來進行搜尋，在出現評價值為更好的數值之MV的情況下，將最佳候選MV更新為前述MV，且將其作為當前區塊的最終之MV。再者，也可設為不實施該處理的構成。
以子區塊單位來進行處理的情況下，也可以設為完全同樣的處理。
再者，評價值是藉由以與運動向量對應的參照圖片內之區域、及規定的區域之間的型樣匹配，來求出再構成圖像的差分值而算出的。再者，除了差分值之外，亦可利用其以外的資訊來算出評價值。
作為型樣匹配，可使用第1型樣匹配或第2型樣匹配。有時會將第1型樣匹配及第2型樣匹配分別稱為雙向匹配(bilateral matching)及模板匹配(template matching)。
在第1型樣匹配中，是在為不同的2個參照圖片內的2個區塊且也是沿著當前區塊的運動軌跡(motion trajectory)的2個區塊之間進行型樣匹配。從而，在第1型樣匹配中，作為上述之候選的評價值的算出用之預定的區域，所使用的是沿著當前區塊的運動軌跡之其他的參照圖片內的區域。
圖6是用於說明沿著運動軌跡的2個區塊間的型樣匹配(雙向匹配)之一例的圖。如圖6所示，在第1型樣匹配中，是在為沿著當前區塊(Cur block)的運動軌跡之2個區塊且也是不同的2個參照圖片(Ref0、Ref1)內的2個區塊的配對中，搜尋最匹配的配對，藉此導出2個運動向量(MV0、MV1)。具體來說，是對當前區塊，導出下述2種再構成圖像之差分，並利用所得到的差分值來算出評價值，前述2種再構成圖像是以候選MV所指定的第1編碼完成參照圖片(Ref0)內的指定位置中之再構成圖像、以及以表示時間間隔對前述候選MV進行定標(scaling)而得的對稱MV所指定的第2編碼完成參照圖片(Ref1)內的指定位置中之再構成圖像。在複數個候選MV中，宜將成為評價值最佳的數值之候選MV選擇作為最終MV。
在連續的運動軌跡的假設之下，會指出2個參照區塊的運動向量(MV0、MV1)是相對於當前圖片(Cur Pic)與2個參照圖片(Ref0、Ref1)之間的時間上之距離(TD0、TD1)而成比例。例如，當前圖片在時間上位於2個參照圖片之間，且從當前圖片到2個參照圖片的時間上之距離為相等的情況下，在第1型樣匹配中，會導出鏡像對稱的雙向之運動向量。
在第2型樣匹配中，是在當前圖片內的模板(在當前圖片內與當前區塊相鄰的區塊(例如上及/或左的相鄰區塊))與參照圖片內的區塊之間進行型樣匹配。從而，在第2型樣匹配中，作為上述之候選的評價值的算出用之預定的區域，所使用的是在當前圖片內之與當前區塊相鄰的區塊。
圖7是用於說明在當前圖片內的模板與參照圖片內的區塊之間的型樣匹配(模板匹配)之一例的圖。如圖7所示，在第2型樣匹配中，是藉由在參照圖片(Ref0)內搜尋與在當前圖片(Cur Pic)內相鄰於當前區塊(Cur block)的區塊最匹配的區塊，以導出當前區塊的運動向量。具體來說，宜對當前區塊，導出左相鄰及上相鄰的雙方或任一方的編碼完成區域之再構成圖像、及以候選MV所指定的編碼完成參照圖片(Ref0)內之同等位置中的再構成圖像之差分，並利用所得到的差分值來算出評價值，而將在複數個候選MV中評價值為最佳值之候選MV選擇作為最佳候選MV。
這種顯示是否適用FRUC模式的資訊(例如可稱為FRUC旗標)，是在CU層級被訊號化。又，在適用FRUC模式的情況下(例如FRUC旗標為真的情況下)，顯示型樣匹配的方法(第1型樣匹配或第2型樣匹配)之資訊(例如可稱為FRUC模式旗標)是在CU層級被訊號化。再者，這些資訊的訊號化並不需要限定於CU層級，亦可為其他的層級(例如，序列層級、圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。
在此，針對根據假設了等速直線運動的模型來導出運動向量的模式進行說明。有時將此模式稱為BIO(雙向光流，bi-directional optical flow)模式。
圖8是用於說明假設了等速直線運動的模型之圖。在圖8中，(v x，v y)表示速度向量，而τ 0、τ 1分別表示當前圖片(Cur Pic)與2個參照圖片(Ref 0，Ref 1)之間的時間上之距離。(MVx 0，MVy 0)表示對應於參照圖片Ref 0的運動向量，而(MVx 1，MVy 1)表示對應於參照圖片Ref 1的運動向量。
此時在速度向量(v x，v y)的等速直線運動之假設下，(MVx 0，MVy 0)及(MVx 1，MVy 1)是分別表示為(v xτ 0，v yτ 0)及(-v xτ 1，-v yτ 1)，且以下的光流等式(1)成立。 [數學式1]
Figure 02_image001
在此，I (k)是表示運動補償後的參照圖像k(k=0，1)之亮度值。此光流等式是表示下述的(i)、(ii)、及(iii)之和等於零：(i)亮度值的時間微分、(ii)水平方向的速度以及參照圖像的空間梯度之水平成分的積、與(iii)垂直方向的速度以及參照圖像的空間梯度之垂直成分的積。根據此光流等式與赫米內插法公式(Hermite interpolation)的組合，可將從合併清單等得到的區塊單位之運動向量以像素單位進行補正。
再者，亦可藉由與根據假設了等速直線運動的模型之運動向量的導出不同之方法，在解碼裝置側導出運動向量。例如，亦可根據複數個相鄰區塊的運動向量而以子區塊單位來導出運動向量。
在此，針對根據複數個相鄰區塊的運動向量而以子區塊單位來導出運動向量的模式進行說明。此模式被稱為仿射運動補償預測(affine motion compensation prediction)模式 。
圖9A是用於說明根據複數個相鄰區塊的運動向量之子區塊單位的運動向量之導出的圖。在圖9A中，當前區塊是包含16個的4×4子區塊。在此，是根據相鄰區塊的運動向量來導出當前區塊的左上角控制點之運動向量v 0，且根據相鄰子區塊的運動向量來導出當前區塊的右上角控制點之運動向量v 1。然後，使用2個運動向量v 0及v 1，藉由以下的式(2)，來導出當前區塊內的各子區塊之運動向量(v x，v y)。 [數學式2]
Figure 02_image003
在此，x及y各自表示子區塊的水平位置及垂直位置，且w是表示事先規定的加權係數。
在這種仿射運動補償預測模式中，左上及右上角控制點的運動向量之導出方法也可以包含幾個不同的模式。顯示這種仿射運動補償預測模式的資訊(可稱為例如仿射旗標)，是在CU層級被訊號化。再者，顯示此仿射運動補償預測模式的資訊之訊號化並不需要限定於CU層級，也可以是其他的層級(例如序列層級、圖片層級、片段層級、圖塊層級、CTU層級、或子區塊層級)。 [預測控制部]
預測控制部128會選擇框內預測訊號及框間預測訊號的任一個，且將所選擇的訊號作為預測訊號而輸出至減法部104及加法部116。
在此，說明藉由合併模式來導出編碼對象圖片的運動向量之例子。圖9B是用於說明藉由合併模式進行的運動向量導出處理之概要的圖。
首先，生成登錄有預測MV的候選之預測MV清單。作為預測MV的候選，有空間相鄰預測MV、時間相鄰預測MV、結合預測MV、以及零預測MV等，前述空間相鄰預測MV是編碼對象區塊之在空間上位於周邊的複數個編碼完成區塊所具有的MV，前述時間相鄰預測MV是將編碼完成參照圖片中的編碼對象區塊的位置投影之附近的區塊所具有的MV，前述結合預測MV是組合空間相鄰預測MV及時間相鄰預測MV的MV值而生成的MV，前述零預測MV是值為零的MV。
接著，藉由從已登錄於預測MV清單的複數個預測MV之中選擇1個預測MV，來決定作為編碼對象區塊的MV。
此外，在可變長度編碼部中，是將顯示選擇了哪一個預測MV的訊號即merge_idx於流(stream)中描述並編碼。
再者，在圖9B中所說明的登錄於預測MV清單的預測MV只是一個例子，亦可形成與圖中的個數為不同的個數、不包含圖中的預測MV之一部分的種類之構成、或為追加了圖中的預測MV的種類以外之預測MV而成的構成。
再者，亦可利用藉由合併模式而導出的編碼對象區塊的MV來進行後述之DMVR處理，藉此決定最終的MV。
在此，針對利用DMVR處理來決定MV的例子進行說明。
圖9C是用於說明DMVR處理的概要之概念圖。
首先，將設定於處理對象區塊的最適合MVP設為候選MV，且依照前述候選MV，從L0方向的處理完成圖片即第1參照圖片、及L1方向的處理完成圖片即第2參照圖片中分別取得參照像素，且藉由取各參照像素的平均來生成模板。
接著，利用前述模板，分別搜尋第1參照圖片及第2參照圖片的候選MV之周邊區域，將成本成為最小的MV決定作為最終的MV。再者，成本值是利用模板的各像素值及搜尋區域的各像素值之差分值及MV值等來算出的。
再者，在編碼裝置及解碼裝置中，在此說明的處理之概要在基本上是共通的。
再者，即使不是在此說明的處理本身，只要是可以搜尋候選MV的周邊來導出最終的MV之處理，利用其他處理亦可。
在此，針對利用LIC處理來生成預測圖像的模式進行說明。
圖9D是用於說明利用了藉由LIC處理進行的亮度補正處理之預測圖像生成方法的概要之圖。
首先，導出用於從編碼完成圖片即參照圖片中取得對應於編碼對象區塊的參照圖像之MV。
接著，對編碼對象區塊，利用左相鄰及上相鄰的編碼完成周邊參照區域的亮度像素值、及以MV所指定的參照圖片內的同等位置中之亮度像素值，提取出顯示在參照圖片與編碼對象圖片中亮度值如何變化的資訊，並計算出亮度補正參數。
對以MV所指定的參照圖片內之參照圖像，利用前述亮度補正參數來進行亮度補正處理，藉此生成相對於編碼對象區塊的預測圖像。
再者，圖9D中的前述周邊參照區域之形狀只是一個例子，也可以利用該形狀以外的形狀。
又，在此雖然針對從1張參照圖片中生成預測圖像的處理作了說明，但從複數張參照圖片中生成預測圖像的情況也是同樣的，且是在以同樣的方法對從各個參照圖片中所取得的參照圖像進行亮度補正處理後，生成預測圖像。
作為是否適用LIC處理的判定之方法，有例如利用顯示是否適用LIC處理的訊號即LIC旗標(lic_flag)的方法。作為具體的一例，是在編碼裝置中，判定編碼對象區塊是否屬於已發生亮度變化的區域，在屬於發生有亮度變化的區域之情況下，是設定數值1來作為LIC旗標(lic_flag)，並適用LIC處理來進行編碼，在不屬於發生有亮度變化的區域之情況下，是設定數值0來作為LIC旗標(lic_flag)，並且在不適用LIC處理的情形下進行編碼。另一方面，在解碼裝置中，是對已描述於流(stream)的LIC旗標(lic_flag)進行解碼，藉此因應於該數值來切換是否適用LIC處理而進行解碼。
作為是否適用LIC處理的判定之其他方法，也有例如依照在周邊區塊是否適用LIC處理來進行判定的方法。作為具體的一例，是在編碼對象區塊為合併模式的情況下，判定合併模式處理中的MV的導出之時所選擇的周邊之編碼完成區塊是否已適用LIC處理並編碼，且因應於其結果來切換是否適用LIC處理並進行編碼。再者，在此例的情況下，解碼中的處理也是完全同樣。 [解碼裝置的概要]
接著，針對可對從上述編碼裝置100輸出的編碼訊號(編碼位元流)進行解碼之解碼裝置的概要進行說明。圖10是顯示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位對動態圖像/圖像進行解碼的動態圖像/圖像解碼裝置。
如圖10所示，解碼裝置200具備熵解碼部202、逆量化部204、逆轉換部206、加法部208、區塊記憶體210、環路濾波部212、框記憶體214、框內預測部216、框間預測部218、及預測控制部220。
解碼裝置200可藉由例如通用處理器及記憶體來實現。在此情況下，藉由處理器執行保存在記憶體的軟體程式時，處理器是作為熵解碼部202、逆量化部204、逆轉換部206、加法部208、環路濾波部212、框內預測部216、框間預測部218、及預測控制部220而發揮功能。又，解碼裝置200也可以是作為對應於熵解碼部202、逆量化部204、逆轉換部206、加法部208、環路濾波部212、框內預測部216、框間預測部218、及預測控制部220的1個以上之專用的電子電路來實現。
以下，針對包含在解碼裝置200的各構成要素來進行說明。 [熵解碼部]
熵解碼部202是對編碼位元流進行熵解碼。具體來說，熵解碼部202是例如從編碼位元流對二值訊號進行算術解碼。然後，熵解碼部202會對二值訊號進行多值化(debinarize)。藉此，熵解碼部202會以區塊單位將量化係數輸出至逆量化部204。 [逆量化部]
逆量化部204是對來自熵解碼部202的輸入即解碼對象區塊(以下，稱為當前區塊)的量化係數進行逆量化。具體來說，逆量化部204是針對當前區塊的量化係數的每一個，根據對應於該量化係數的量化參數，來對該量化係數進行逆量化。並且，逆量化部204會將當前區塊之已進行逆量化的量化係數(也就是轉換係數)輸出至逆轉換部206。 [逆轉換部]
逆轉換部206是藉由對來自逆量化部204的輸入即轉換係數進行逆轉換，以復原預測誤差。
在顯示例如已從編碼位元流中解讀出的資訊為適用EMT或AMT之情形的情況下(例如AMT旗標為真)，逆轉換部206會根據顯示已解讀的轉換類型之資訊，來對當前區塊的轉換係數進行逆轉換。
又例如，在顯示已從編碼位元流中解讀出的資訊為適用NSST之情形的情況下，逆轉換部206會對轉換係數適用逆再轉換。 [加法部]
加法部208會對來自逆轉換部206的輸入即預測誤差、及來自預測控制部220的輸入即預測樣本進行加法運算，藉此再構成當前區塊。然後，加法部208會將再構成的區塊輸出到區塊記憶體210及環路濾波部212。 [區塊記憶體]
區塊記憶體210是用於保存在框內預測中所參照的區塊且也是解碼對象圖片(以下，稱為當前圖片)內的區塊之儲存部。具體來說，區塊記憶體210會保存從加法部208輸出的再構成區塊。 [環路濾波部]
環路濾波部212會對藉由加法部208再構成的區塊施行環路濾波，且將已進行濾波的再構成區塊輸出到框記憶體214及顯示裝置等。
當顯示從編碼位元流中解讀出的ALF之開啟/關閉的資訊顯示的是ALF之開啟的情況下，可根據局部的梯度之方向及活動性而從複數個濾波器之中選擇1個濾波器，且將所選擇的濾波器適用於再構成區塊。 [框記憶體]
框記憶體214是用於保存框間預測所用的參照圖片之儲存部，有時也被稱為框緩衝器(frame buffer)。具體來說，框記憶體214會保存已藉由環路濾波部212而被濾波的再構成區塊。 [框內預測部]
框內預測部216是根據已從編碼位元流中解讀出的框內預測模式，並參照保存於區塊記憶體210的當前圖片內之區塊來進行框內預測，藉此生成預測訊號(框內預測訊號)。具體來說，框內預測部216是參照與當前區塊相鄰的區塊之樣本(例如亮度值、色差值)來進行框內預測，藉此生成框內預測訊號，並將框內預測訊號輸出至預測控制部220。
再者，在色差區塊的框內預測中選擇參照亮度區塊的框內預測模式之情況下，框內預測部216也可以根據當前區塊的亮度成分，來預測當前區塊的色差成分。
又，當已從編碼位元流中解讀出的資訊顯示的是PDPC的適用之情況下，框內預測部216會根據水平/垂直方向的參照像素之梯度來補正框內預測後的像素值。 [框間預測部]
框間預測部218是參照保存於框記憶體214的參照圖片，來預測當前區塊。預測是以當前區塊或當前區塊內的子區塊(例如4×4區塊)之單位來進行。例如，框間預測部218會利用從編碼位元流中解讀出的運動資訊(例如運動向量)來進行運動補償，藉此生成當前區塊或子區塊的框間預測訊號，並將框間預測訊號輸出至預測控制部220。
再者，顯示從編碼位元流中解讀出的資訊為適用OBMC模式的情況下，框間預測部218會使用的不只有藉由運動搜尋所得到的當前區塊之運動資訊，還有相鄰區塊的運動資訊，以生成框間預測訊號。
又，顯示從編碼位元流中解讀出的資訊適用FRUC模式的情況下，框間預測部218會依照從編碼流中解讀出的型樣匹配之方法(雙向匹配或模板匹配)來進行運動搜尋，藉此導出運動資訊。然後，框間預測部218會利用已導出的運動資訊來進行運動補償。
又，在適用BIO模式的情況下，框間預測部218會根據假設了等速直線運動的模型來導出運動向量。又，在顯示從編碼位元流中解讀出的資訊適用仿射運動補償預測模式的情況下，框間預測部218會根據複數個相鄰區塊的運動向量，以子區塊單位來導出運動向量。 [預測控制部]
預測控制部220會選擇框內預測訊號及框間預測訊號的任一個，且將所選擇的訊號作為預測訊號而輸出至加法部208。 (實施形態2)
接著，針對實施形態2來說明。本實施形態是有關於所謂的BIO模式中的框間預測。在本實施形態中，區塊單位的運動向量不是以像素單位來補正，而是以子區塊單位來補正，這一點和上述實施形態1不同。以下，針對本實施形態，以和上述實施形態1不同的點為中心來說明。
再者，由於本實施形態之編碼裝置及解碼裝置的構成和實施形態1實質上是相同的，因此省略圖示及說明。 [框間預測]
圖11是顯示實施形態2中的框間預測之流程圖。圖12是用於說明實施形態2中的框間預測之概念圖。以下的處理是藉由編碼裝置100的框間預測部126或解碼裝置200的框間預測部218來進行。
如圖11所示，首先，對編碼/解碼對象圖片(當前圖片1000)內的複數個區塊進行區塊單位的環路處理(S101~S111)。在圖12中，從複數個區塊之中選擇編碼/解碼對象區塊來作為當前區塊1001。
在區塊單位的環路處理中，是對處理完成圖片即第1參照圖片1100(L0)及第2參照圖片1200(L1)以參照圖片單位來進行環路處理(S102~S106)。
在參照圖片單位的環路處理中，首先，導出用以從參照圖片取得預測圖像之區塊單位的運動向量(S103)。在圖12中，對於第1參照圖片1100而導出或取得第1運動向量1110(MV_L0)，對於第2參照圖片1200而導出或取得第2運動向量1210(MV_L1)。作為運動向量的導出方法有通常框間預測模式、合併模式、FRUC模式等。例如，在通常框間預測模式的情況下，在編碼裝置100中是藉由運動搜尋來導出運動向量，且在解碼裝置200中是從位元流來取得運動向量。
接著，利用已導出或取得的運動向量來進行運動補償，藉此從參照圖片取得預測圖像(S104)。在圖12中，是利用第1運動向量1110來進行運動補償，藉此從第1參照圖片1100取得第1預測圖像1140。又，利用第2運動向量1210來進行運動補償，藉此從第2參照圖片1200取得第2預測圖像1240。
在運動補償中，可將運動補償濾波器適用於參照圖片。運動補償濾波器是用於得到小數像素(decimal pixel)精度的預測圖像之內插濾波器。在圖12的第1參照圖片1100中，是藉由相對於第1運動向量1110所指定的第1預測區塊1120之運動補償濾波器，來參照包含第1預測區塊1120的像素及其周邊的像素之第1內插參照範圍1130的像素。又，在第2參照圖片1200中，是藉由相對於第2運動向量1210所指定的第2預測區塊1220之運動補償濾波器，來參照包含第2預測區塊1220的像素及其周邊的像素之第2內插參照範圍1230的像素。
又，第1內插參照範圍1130及第2內插參照範圍1230，在未進行使用局部運動估測値的處理之通常框間預測中，是包含在為了當前區塊1001的運動補償而參照的第1通常參照範圍及第2通常參照範圍中。第1通常參照範圍是包含在第1參照圖片1100中，第2通常參照範圍是包含在第2參照圖片1200中。在通常框間預測中，是例如藉由運動搜尋而以區塊單位來導出運動向量，並利用已導出的運動向量以區塊單位來進行運動補償，且運動補償圖像是直接被採用作為最終預測圖像。亦即，在通常框間預測中並未使用局部運動估測値。再者，第1內插參照範圍1130及第2內插參照範圍1230也可以和第1通常參照範圍及第2通常參照範圍為一致。
接著，從參照圖片取得對應於預測圖像的梯度圖像(S105)。梯度圖像的各像素具有顯示亮度或色差之空間上的斜率之梯度值。梯度值可藉由將梯度濾波器適用於參照圖片而取得。在圖12的第1參照圖片1100中，藉由第1預測區塊1120用的梯度濾波器，來參照包含第1預測區塊1120的像素及其周邊的像素之第1梯度參照範圍1135的像素。該第1梯度參照範圍1135是包含在第1內插參照範圍1130中。又，在第2參照圖片1200中，梯度濾波器是參照包含第2預測區塊1220的像素及其周邊的像素之第2梯度參照範圍1235的像素。該第2梯度參照範圍1235是包含在第2內插參照範圍1230中。
若從第1參照圖片及第2參照圖片的每一個之預測圖像及梯度圖像的取得結束的話，參照圖片單位的環路處理即結束(S106)。之後，會進行將區塊進一步分割的子區塊單位之環路處理(S107~S110)。複數個子區塊的每一個具有當前區塊以下的尺寸(例如4×4像素尺寸)。
在子區塊單位的環路處理中，首先，是利用已從第1參照圖片1100及第2參照圖片1200取得的第1預測圖像1140及第2預測圖像1240、與第1梯度圖像1150及第2梯度圖像1250，以導出子區塊的局部運動估測値1300(S108)。例如，在第1預測圖像1140及第2預測圖像1240、以及第1梯度圖像1150及第2梯度圖像1250的每一個中，參照包含於預測子區塊的像素，對於子區塊來導出1個局部運動估測値1300。預測子區塊是指與當前區塊1001內的子區塊對應之第1預測區塊1120及第2預測區塊1220內的區域。局部運動估測値有時也稱為補正運動向量。
接著，利用第1預測圖像1140及第2預測圖像1240的像素值、第1梯度圖像1150及第2梯度圖像1250的梯度值、以及局部運動估測値1300，來生成子區塊的最終預測圖像1400(S109)。若針對當前區塊所包含的子區塊的每一個，最終預測圖像的生成結束的話，則生成當前區塊的最終預測圖像，且子區塊單位的環路處理結束(S110)。
進而，若區塊單位的環路處理結束的話(S111)，則圖11的處理即結束。
再者，也可將當前區塊的區塊單位之運動向量直接分配給每一個子區塊，藉此以子區塊單位來進行預測圖像的取得及梯度圖像的取得。 [運動補償濾波器及梯度濾波器的參照範圍]
在此，說明運動補償濾波器及梯度濾波器的參照範圍。
圖13是用於說明實施形態2中的運動補償濾波器及梯度濾波器的參照範圍之一例的概念圖。
在圖13中，複數個圓形記號的每一個是表示像素。又，在圖13中是將當前區塊的尺寸設為8×8像素，且將子區塊的尺寸設為4×4像素來作為例子。
參照範圍1131是顯示適用於第1預測區塊1120的左上像素1122的運動補償濾波器之參照範圍(作為例子為8×8像素的矩形範圍)。參照範圍1231是顯示適用於第2預測區塊1220的左上像素1222的運動補償濾波器之參照範圍(作為例子為8×8像素的矩形範圍)。
又，參照範圍1132是顯示適用於第1預測區塊1120的左上像素1122的梯度濾波器之參照範圍(作為例子為6×6像素的矩形範圍)。參照範圍1232是顯示適用於第2預測區塊1220的左上像素1222的梯度濾波器之參照範圍(作為例子為6×6像素的矩形範圍)。
針對第1預測區塊1120及第2預測區塊1220內的其他像素，也是一邊參照與各像素的位置對應的位置之相同尺寸的參照範圍之像素，一邊適用運動補償濾波器及梯度濾波器。其結果，為了得到第1預測圖像1140及第2預測圖像1240，可參照第1內插參照範圍1130及第2內插參照範圍1230的像素。又，為了得到第1梯度圖像1150及第2梯度圖像1250，可參照第1梯度參照範圍1135及第2梯度參照範圍1235的像素。 [效果等]
如以上，根據本實施形態之編碼裝置及解碼裝置，能夠以子區塊單位來導出局部運動估測値。從而，可以利用子區塊單位的局部運動估測値來謀求預測誤差的減少，並且也比以像素單位來導出局部運動估測値的情況更減少處理負荷或處理時間。
又，根據本實施形態之編碼裝置及解碼裝置，能夠將內插參照範圍包含在通常參照範圍中。從而，在利用了子區塊單位的局部運動估測値之最終預測圖像的生成中，亦可不必為了運動補償而從框記憶體中讀取新的像素資料，而能夠抑制記憶體容量及記憶體頻寬的增加。
又，根據本實施形態之編碼裝置及解碼裝置，能夠將梯度參照範圍包含在內插參照範圍中。因此，亦可不必為了梯度圖像的取得而從框記憶體中讀取新的像素資料，而能夠抑制記憶體容量及記憶體頻寬的增加。
亦可將本態樣與本揭示中的其他態樣之至少一部分組合來實施。又，亦可將本態樣的流程圖所記載的一部分之處理、裝置的一部分之構成、及語法(syntax)的一部分等和其他態樣組合來實施。 (實施形態2的變形例1)
接著，一邊參照圖式一邊具體地說明運動補償濾波器及梯度濾波器的變形例。再者，在以下的變形例1中，由於有關於第2預測圖像的處理，是和有關於第1預測圖像的處理相類似，因此將說明適當地省略或簡單化。 [運動補償濾波器]
首先，說明運動補償濾波器。圖14是用於說明實施形態2的變形例1中的運動補償濾波器的參照範圍之一例的概念圖。
在此，以於水平方向上將1/4像素之運動補償濾波器以及於垂直方向上將1/2像素之運動補償濾波器適用於第1預測區塊1120的情況為例來說明。運動補償濾波器是所謂的8抽頭濾波器(tap filter)，可由以下的數學式(3)來表示。 [數學式3]
Figure 02_image005
Figure 02_image007
Figure 02_image009
在此，I k[x,y]在k為0的情況下是顯示小數像素精度的第1預測圖像之像素值，在k為1的情況下是顯示小數像素精度的第2預測圖像之像素值。像素值是指像素所具有的值，例如在預測圖像中為亮度值或色差值等。w 0.25及w 0.5是顯示1/4像素精度及1/2像素精度的加權係數。I 0 k[x,y]在k為0的情況下是顯示整數像素精度的第1預測圖像之像素值，在k為1的情況下是顯示整數像素精度的第2預測圖像之像素值。
例如，對圖14的左上像素1122適用數學式(3)的運動補償濾波器的情況下，可將在參照範圍1131A內在水平方向上排列的像素之值在各列加權並相加，且從該複數列的相加結果進一步加權並相加。
如此，在本變形例中，用於左上像素1122的運動補償濾波器是參照參照範圍1131A的像素。參照範圍1131A是從左上像素1122朝左3像素、朝右4像素、朝上3像素、及朝下4像素的矩形範圍。
可將這種運動補償濾波器對第1預測區塊1120內的全部像素來適用。從而，在用於第1預測區塊1120的運動補償濾波器中，可參照第1內插參照範圍1130A的像素。
對於第2預測區塊1220也是與第1預測區塊1120同樣地適用運動補償濾波器。亦即，可為了左上像素1222而參照參照範圍1231A的像素，且在第2預測區塊1220整體中，是參照第2內插參照範圍1230A的像素。 [梯度濾波器]
接著，說明梯度濾波器。圖15是用於說明實施形態2的變形例1中的梯度濾波器的參照範圍之一例的概念圖。
本變形例中的梯度濾波器是所謂的5抽頭(tap)濾波器，可由以下的數學式(4)及數學式(5)來表示。 [數學式4]
Figure 02_image011
[數學式5]
Figure 02_image013
Figure 02_image015
在此，I x k[x,y]在k為0的情況下是顯示第1梯度圖像的各像素之水平梯度值，在k為1的情況下是顯示第2梯度圖像的各像素之水平梯度值。I y k[x,y]在k為0的情況下是顯示第1梯度圖像的各像素之垂直梯度值，在k為1的情況下是顯示第2梯度圖像的各像素之垂直梯度值。w是顯示加權係數。
例如，對圖15的左上像素1122適用數學式(4)及數學式(5)的梯度濾波器的情況下，水平梯度值是藉由對下述之像素值進行加權相加而算出：包含左上像素1122之在水平方向上排列的5個像素的像素值且是整數像素精度的預測圖像之像素值。又，垂直梯度值是藉由對下述之像素值進行加權相加而算出：包含左上像素1122之在垂直方向上排列的5個像素的像素值且是整數像素精度的預測圖像之像素值。此時，加權係數具有以左上像素1122為對稱點而在上下或左右的像素中正負為相反之值。
如此，在本變形例中，用於左上像素1122的梯度濾波器是參照參照範圍1132A的像素。參照範圍1132A具有從左上像素1122朝上下左右延伸2個像素的十字形狀。
可將這種梯度濾波器對第1預測區塊1120內的全部像素來適用。從而，在用於第1預測區塊1120的運動補償濾波器中，可參照第1梯度參照範圍1135A的像素。
對於第2預測區塊1220也是與第1預測區塊1120同樣地適用梯度濾波器。亦即，可為了左上像素1222而參照參照範圍1232A的像素，且在第2預測區塊1220整體中，是參照第2梯度參照範圍1235A的像素。
再者，指定參照範圍的運動向量顯示有小數像素位置的情況下，亦可將梯度濾波器的參照範圍1132A及1232A的像素值轉換為小數像素精度的像素值，且對轉換後的像素值適用梯度濾波器。或者，亦可將梯度濾波器適用於整數像素精度的像素值，其中該梯度濾波器是具有下述之值作為係數值：對用於轉換為小數像素精度的係數值與用於導出梯度值的係數值進行摺積運算而得之值。在此情況下，梯度濾波器是按每個小數像素位置而不同。 [子區塊單位的局部運動估測値之導出]
接著，說明子區塊單位的局部運動估測値之導出。具體來說，是以當前區塊所包含的複數個子區塊當中的左上子區塊的局部運動估測値之導出作為一例來說明。
在本變形例中，是依據以下的數學式(6)，而導出子區塊的水平局部運動估測値u及垂直局部運動估測値v。 [數學式6]
Figure 02_image017
在此，sG xG y、sG x 2、sG y 2、sG xdI、及sG ydI是以子區塊單位來算出之值，且分別是依據以下的數學式(7)而算出。 [數學式7]
Figure 02_image019
在此，Ω是對應於預測區塊內的子區塊的區域即預測子區塊中所包含的全部像素的座標之集合。G x[i,j]是表示第1梯度圖像的水平梯度值與第2梯度圖像的水平梯度值之和，G y[i,j]是表示第1梯度圖像的垂直梯度值與第2梯度圖像的垂直梯度值之和。△I[i,j]是表示第1預測圖像與第2預測圖像的差分值。w[i,j]是表示依存於預測子區塊內的像素位置之加權係數。例如，亦可在預測子區塊內的全部像素中使用相同之值的加權係數。
具體來說，G x[i,j]、G y[i,j]、及△I[i,j]可藉由以下的數學式(8)來表示。 [數學式8]
Figure 02_image021
如以上，能以子區塊單位來算出局部運動估測値。 [最終預測圖像的生成]
接著，說明最終預測圖像的生成。最終預測圖像的各像素值p[x,y]是利用第1預測圖像的像素值I 0[x,y]及第2預測圖像的像素值I 1[x,y]，且依據以下的數學式(9)而算出。 [數學式9]
Figure 02_image023
在此，b[x,y]是表示各像素的補正值。在數學式(9)中，最終預測圖像的各像素值p[x,y]是藉由將第1預測圖像的像素值I 0[x,y]、第2預測圖像的像素值I 1[x,y]、及補正值b[x,y]之和進行1位元右位移而算出。再者，補正值b[x,y]是用以下的數學式(10)來表示。 [數學式10]
Figure 02_image025
在數學式(10)中，補正值b[x,y]是藉由將下述之結果相加而算出：對第1梯度圖像及第2梯度圖像之間的水平梯度值之差分值(I x 0[x,y]-I x 1[x,y])乘上水平局部運動估測値(u)而得之結果、以及對第1梯度圖像及第2梯度圖像之間的垂直梯度值之差分值(I y 0[x,y]-I y 1[x,y])乘上垂直局部運動估測値(v)而得之結果。
再者，利用數學式(6)至數學式(10)所說明的運算式只是一例，只要是具有同樣的效果的運算式，即使是與該運算式不同的數學式亦可。 [效果等]
如以上，利用本變形例之運動補償濾波器及梯度濾波器，也能夠以子區塊單位來導出局部運動估測値。若利用像這樣導出的子區塊單位的局部運動估測値來生成當前區塊的最終預測圖像，就能夠得到和上述實施形態2同樣的效果。
亦可將本態樣與本揭示中的其他態樣之至少一部分組合來實施。又，亦可將本態樣的流程圖所記載的一部分之處理、裝置的一部分之構成、及語法(syntax)的一部分等和其他態樣組合來實施。 (實施形態2的變形例2)
在上述實施形態2及其變形例1中，雖然在局部運動估測値的導出中，是參照對應於當前區塊內的子區塊的預測區塊內的預測子區塊所包含的全部像素，但並不限定於此。例如，亦可僅參照預測子區塊所包含的複數個像素當中的一部分的像素。
於是，在本變形例中，是針對在子區塊單位的局部運動估測値的導出中，僅參照預測子區塊所包含的複數個像素當中的一部分的像素之情況作說明。例如，在上述變形例1的數學式(7)中，是利用預測子區塊內的一部分的像素的座標之集合，來取代預測子區塊所包含的全部像素的座標之集合即Ω。作為預測子區塊內的一部分的像素的座標之集合，可以利用各種型樣。
圖16是顯示在實施形態2的變形例2中的局部運動估測値之導出中所參照的像素之型樣的例子之圖。在圖16中，預測子區塊1121或1221內之畫有陰影線的圓形記號是顯示被參照的像素，未畫有陰影線的圓形記號是顯示未被參照的像素。
圖16之(a)~(g)的7個像素型樣的每一個是顯示預測子區塊1121或1221所包含的複數個像素當中的一部分的像素。此外，7個像素型樣彼此不同。
在圖16之(a)~(c)中，是預測子區塊1121或1221所包含的16個像素當中的僅8個像素被參照。又，在圖16之(d)~(g)中，是預測子區塊1121或1221所包含的16個像素當中的僅4個像素被參照。亦即，在圖16之(a)~(c)中將16個像素當中的8個像素剔除，在圖16之(d)~(g)中將16個像素當中的12個像素剔除。
更具體來說，在圖16之(a)中，是彼此在水平/垂直方向上偏離1個像素而配置的8個像素被參照。在圖16之(b)中，是將在水平方向上排列的2個像素之左側的像素對與右側的像素對在垂直方向上交互地參照。在圖16之(c)中，是預測子區塊1121或1221內之中央的4個像素與四個角落的4個像素被參照。
又，在圖16之(d)及(e)中，是將從左邊數來第1行及第3行的像素每行參照2個像素。在圖16之(f)中，是四個角落的4個像素被參照。在圖16之(g)中，是中央的4個像素被參照。
亦可從這種事先規定的複數個像素型樣之中，依據2個預測圖像適當地選擇像素型樣。例如，亦可選擇包含與2個預測圖像的代表梯度值相對應的數量之像素的像素型樣。具體來說，亦可為在代表梯度值比閾值更小的情況下，選擇包含4個像素的像素型樣(例如(d)~(g)之任一個)，若非該情況，則選擇包含8個像素的像素型樣(例如(a)~(c)之任一個)。
在從複數個像素型樣之中選擇像素型樣的情況下，可參照所選擇的像素型樣所示的預測子區塊內的像素，來導出子區塊的局部運動估測値。
再者，亦可將顯示所選擇的像素型樣之資訊寫入位元流中。在此情況下，解碼裝置只要從位元流中取得資訊，並依據所取得的資訊來選擇像素型樣即可。可以將顯示所選擇的像素型樣之資訊寫入例如區塊、片段、圖片、或流單位的標頭。
如以上，根據本實施形態之編碼裝置及解碼裝置，可以僅參照預測子區塊所包含的複數個像素當中的一部分之像素，並以子區塊單位來導出局部運動估測値。從而，相較於參照複數個像素的全部之情況，可以更減少處理負荷或處理時間。
又，根據本實施形態之編碼裝置及解碼裝置，可以僅參照從複數個像素型樣之中選擇出的像素型樣所包含的像素，並以子區塊單位來導出局部運動估測値。從而，變得可藉由切換像素型樣來參照適合於子區塊的局部運動估測値的導出之像素，而可以謀求預測誤差的減少。
亦可將本態樣與本揭示中的其他態樣之至少一部分組合來實施。又，亦可將本態樣的流程圖所記載的一部分之處理、裝置的一部分之構成、及語法(syntax)的一部分等和其他態樣組合來實施。 (實施形態2的其他變形例)
以上，雖然就本揭示的1個或複數個態樣的編碼裝置及解碼裝置，而根據實施形態及其變形例來進行說明，但本揭示並不限定於該實施形態及其變形例。只要不脫離本揭示之主旨，將本發明所屬技術領域中具有通常知識者可想得到的各種變形施行於本實施形態或其變形例而形成之形態，也可包含於本揭示的1個或複數態樣的範圍內。
例如，雖然上述實施形態2及其變形例1中的運動補償濾波器的抽頭(tap)數為8個像素，但並非限定於此。只要內插參照範圍包含在通常參照範圍中，運動補償濾波器的抽頭(tap)數亦可為其他抽頭數。
再者，雖然在上述實施形態2及其變形例1中，梯度濾波器的抽頭(tap)數為6個像素或5個像素，但並非限定於此。只要梯度參照範圍包含在內插參照範圍中，亦可為其他抽頭數。
再者，雖然在上述實施形態2及其變形例1中，第1梯度參照範圍及第2梯度參照範圍包含在第1內插參照範圍及第2內插參照範圍中，但並非限定於此。例如，第1梯度參照範圍亦可為與第1內插參照範圍一致，第2梯度參照範圍亦可為與第2內插參照範圍一致。
再者，以子區塊單位來導出局部運動估測値之時，亦可將像素之值加權成讓預測子區塊的中央像素之值更優先被反映。亦即，亦可在局部運動估測値的導出中，在第1預測區塊及第2預測區塊的每一個中，將預測子區塊所包含的複數個像素之值加權來使用，且在該情況下，亦可為在複數個像素當中越是位於預測子區塊之中央的像素權重越大。更具體來說，亦可為例如在實施形態2的變形例1中，數學式(7)的加權係數w[i,j]是座標值越靠近預測子區塊的中心就具有越大的值。
再者，亦可為在以子區塊單位來導出局部運動估測値之時，也參照屬於相同的預測區塊之相鄰的其他預測子區塊內的像素。亦即，在第1預測區塊及第2預測區塊的每一個中，亦可除了預測子區塊所包含的複數個像素之外，還參照在該預測區塊內相鄰於預測子區塊的其他預測子區塊所包含的像素，以導出子區塊單位的局部運動估測値。
再者，上述實施形態2及其變形例1中的運動補償濾波器及梯度濾波器的參照範圍只是例示，無須限定於此。
再者，雖然在上述實施形態2的變形例2中，例示有7個像素型樣，但並非限定於此。亦可使用例如使7個像素型樣的每一個旋轉而得到的像素型樣。
再者，上述實施形態2的變形例1中的加權係數之值只是一例，並非限定於此。又，上述實施形態2及其各變形例中的區塊尺寸及子區塊尺寸只是一例，並非限定於8×8像素尺寸及4×4像素尺寸。即使是其他的尺寸，仍然可以和上述實施形態2及其各變形例同樣地進行框間預測。
亦可將本態樣與本揭示中的其他態樣之至少一部分組合來實施。又，亦可將本態樣的流程圖所記載的一部分之處理、裝置的一部分之構成、及語法(syntax)的一部分等和其他態樣組合來實施。 (實施形態3)
在以上之各實施形態中，功能方塊的每一個通常可藉由MPU及記憶體等來實現。又，藉由功能方塊的每一個所進行之處理，通常是藉由使處理器等之程式執行部將已記錄於ROM等之記錄媒體的軟體(程式)讀出並執行來實現。可將該軟體藉由下載等來發布，亦可記錄於半導體記憶體等之記錄媒體來發布。再者，當然也可以藉由硬體(專用電路)來實現各功能方塊。
又，在各實施形態中所說明的處理，亦可藉由利用單一的裝置(系統)而集中處理來實現、或者亦可藉由利用複數個裝置而分散處理來實現。又，執行上述程式的處理器可為單個，亦可為複數個。亦即，亦可進行集中處理、或者亦可進行分散處理。
本揭示的態樣不受以上之實施例所限定，可進行各種的變更，且該等變更亦包含在本揭示的態樣之範圍內。
更進一步地，在此說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)的應用例及利用其之系統。該系統之特徵在於具有利用了圖像編碼方法之圖像編碼裝置、利用了圖像解碼方法之圖像解碼裝置、及具備兩者之圖像編碼解碼裝置。針對系統中的其他構成，可以因應於情況而適當地變更。 [使用例]
圖17是顯示實現內容發送服務(content delivery service)之內容供給系統ex100之整體構成的圖。將通訊服務的提供區分割成所期望的大小，且在各格區(cell)內分別設置有固定無線電台即基地台ex106、ex107、ex108、ex109、ex110。
在此內容供給系統ex100中，可透過網際網路服務提供者ex102或通訊網ex104、及基地台ex106~ex110，將電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等之各機器連接到網際網路ex101。該內容供給系統ex100亦可設成為組合並連接上述之任一要素。亦可在不透過作為固定無線電台之基地台ex106~ex110的情況下，將各機器透過電話網或近距離無線等直接或間接地相互連接。又，串流伺服器(streaming server)ex103，是透過網際網路ex101等而與電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等之各機器相連接。又，串流伺服器ex103是透過衛星ex116而與飛機ex117內之熱點(hot spot)內的終端等連接。
再者，亦可使用無線存取點或熱點等來代替基地台ex106~ex110。又，串流伺服器ex103可在不透過網際網路ex101或網際網路服務提供者ex102的情形下直接與通訊網ex104連接，亦可在不透過衛星ex116的情形下直接與飛機ex117連接。
相機ex113是數位相機等之可進行靜態圖攝影、及動態圖攝影之機器。又，智慧型手機ex115可為對應於一般稱作2G、3G、3.9G、4G、還有今後被稱為5G的移動通訊系統之方式的智慧型電話機、便攜電話機、或者PHS(Personal Handyphone System(個人手持電話系統))等。
家電ex118可為冰箱、或包含於家庭用燃料電池汽電共生系統(cogeneration system)之機器等。
在內容供給系統ex100中，是藉由使具有攝影功能之終端通過基地台ex106等來連接到串流伺服器ex103，而使實況(live)發送等變得可行。在實況發送中，終端(電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內的終端等)，是對於使用者利用該終端所攝影之靜態圖或動態圖內容進行已在上述各實施形態所說明的編碼處理，並對已藉由編碼而得到的影像資料、及將對應於影像的聲音進行編碼而成之聲音資料進行多工化，並將所獲得的資料傳送至串流伺服器ex103。亦即，各終端是作為本揭示的一個態樣之圖像編碼裝置而發揮功能。
另一方面，串流伺服器ex103會對針對有要求之客戶端(client)所傳送之內容資料進行流(stream)發送。客戶端是指可將已經過上述編碼處理之資料解碼的電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、或飛機ex117內之終端等。已接收到所發送之資料的各機器會將所接收到之資料解碼處理並播放。亦即，各機器是作為本揭示的一個態樣之圖像解碼裝置而發揮功能。 [分散處理]
又，串流伺服器ex103亦可為複數個伺服器或複數台電腦，將資料分散並處理或記錄以進行發送者。例如，串流伺服器ex103可藉由CDN(內容傳遞網路，Contents Delivery Network)來實現，亦可藉由分散於世界中的多數個邊緣伺服器(edge server)與邊緣伺服器之間進行連接的網路來實現內容發送。在CDN上，會因應於客戶端來動態地分配在物理上相近之邊緣伺服器。並且，可以藉由將內容快取(cache)及發送至該邊緣伺服器來減少延遲。又，由於可以在發生某種錯誤時或因流量之增加等而改變通訊狀態時，以複數個邊緣伺服器將處理分散、或將發送主體切換為其他的邊緣伺服器，來繞過已發生障礙的網路的部分而持續發送，因此可以實現高速且穩定的發送。
又，不僅是發送本身的分散處理，亦可在各終端進行已攝影的資料之編碼處理，也可在伺服器側進行，亦可互相分擔來進行。作為一例，一般在編碼處理中，會進行2次處理環路。在第1次的環路中可檢測在框或場景單位下之圖像的複雜度或編碼量。又，在第2次的環路中可進行維持畫質並提升編碼效率的處理。例如，可以藉由使終端進行第1次的編碼處理，且使接收內容之伺服器側進行第2次的編碼處理，而減少在各終端之處理負荷並且使其提升內容的質與效率。此時，只要有以近乎即時的方式來進行接收並解碼的要求，也可以將終端已進行的第一次之編碼完成資料以其他終端來接收並播放，因此也可做到更靈活的即時發送。
作為其他的例子，相機ex113等是由圖像中進行特徵量提取，並將與特徵量相關之資料作為元資料(meta data)來壓縮並傳送至伺服器。伺服器會進行例如從特徵量判斷目標(object)之重要性並切換量化精度等的因應圖像之意義的壓縮。特徵量資料對於在伺服器之再度的壓縮時的運動向量預測之精度及效率提升特別有效。又，亦可在終端進行VLC(可變長度編碼)等之簡易的編碼，並在伺服器進行CABAC(上下文參考之適應性二值算術編碼方式)等處理負荷較大的編碼。
此外，作為其他的例子，在運動場、購物商場、或工廠等中，會有藉由複數個終端拍攝幾乎相同的場景之複數個影像資料存在的情況。此時，可利用已進行攝影之複數個終端、與因應需要而沒有進行攝影之其他終端及伺服器，以例如GOP(圖片群組，Group of Picture)單位、圖片單位、或已將圖片分割之圖塊(tile)單位等來各自分配編碼處理而進行分散處理。藉此，可以減少延遲，而更加能夠實現即時性(real-time)。
又，由於複數個影像資料幾乎為相同的場景，因此亦可在伺服器進行管理及/或指示，以將在各終端所攝影之影像資料互相地配合參照。或者，亦可使伺服器接收來自各終端之編碼完成資料，並在複數個資料間變更參照關係、或者補正或更換圖片本身並重新編碼。藉此，可以生成已提高一個個資料之質與效率的流(stream)。
又，伺服器亦可在進行變更影像資料之編碼方式的轉碼(transcode)後再發送影像資料。例如，伺服器亦可將MPEG類之編碼方式轉換為VP類，亦可將H.264轉換為H.265。
如此，編碼處理即可藉由終端或1個以上的伺服器來進行。因此，以下雖然使用「伺服器」或「終端」等之記載來作為進行處理之主體，但亦可在終端進行在伺服器進行之處理的一部分或全部，且亦可在伺服器進行在終端進行之處理的一部分或全部。又，有關於這些，針對解碼處理也是同樣的。 [3D、多角度]
近年來，將藉由彼此幾乎同步的複數台相機ex113及/或智慧型手機ex115等之終端而攝影到的不同場景、或者將從不同的角度去攝影相同場景之圖像或影像加以整合並利用的作法也在逐漸增加。各終端所攝影到之影像會根據另外取得的終端間之相對的位置關係、或者包含於影像之特徵點為一致的區域等而被整合。
伺服器不僅對二維的動態圖像進行編碼，亦可根據動態圖像的場景解析等而自動地、或者在使用者所指定的時刻中，對靜態圖進行編碼並傳送至接收終端。此外，伺服器在可以取得攝影終端間之相對的位置關係的情況下，不僅是二維動態圖像，還可以根據相同場景從不同的角度所攝影之影像，來生成該場景之三維形狀。再者，伺服器亦可將藉由點雲(point cloud)而生成之三維的資料另外編碼，亦可根據使用三維資料來辨識或追蹤人物或目標的結果，而從複數個終端所攝影的影像中選擇、或再構成並生成傳送至接收終端的影像。
如此進行，使用者可以任意選擇對應於各攝影終端之各影像來享受場景，也可以享受從利用複數個圖像或影像再構成之三維資料中切出任意視點的影像而成之內容。此外，與影像同樣地，聲音也可從複數個不同的角度進行收音，且伺服器亦可配合影像將來自特定之角度或空間的聲音與影像多工化並傳送。
又，近年來，Virtual Reality(虛擬實境，VR)及Augmented Reality(擴增虛擬實境，AR)等將現實世界與虛擬世界建立對應之內容也逐漸普及。在VR圖像的情形下，伺服器亦可分別製作右眼用及左眼用之視點圖像，並藉由Multi-View Coding(多視圖編碼，MVC)等在各視點影像間進行容許參照之編碼，亦可不互相參照而作為不同的流來進行編碼。在不同的流之解碼時，可使其互相同步來播放，以因應使用者之視點來重現虛擬的三維空間。
在AR圖像的情形下，伺服器會根據三維之位置或使用者之視點的移動而將虛擬空間上之虛擬物體資訊重疊於現實空間之相機資訊。解碼裝置亦可藉由取得或保持虛擬物體資訊及三維資料，並因應使用者之視點的移動而生成二維圖像並順暢地連結，以製作重疊資料。或者，亦可為解碼裝置除了虛擬物體資訊之委託之外還將使用者的視點之移動也傳送至伺服器，且伺服器配合從保持於伺服器之三維資料中所接收到的視點的移動來製作重疊資料，並將重疊資料編碼且發送至解碼裝置。再者，亦可為重疊資料除了RGB以外還具有顯示穿透度之α值，伺服器將從三維資料所製作出之目標以外的部分之α值設定為0等，並在該部分為穿透的狀態下進行編碼。或者，伺服器亦可如色度鍵(chroma key)的形式將預定之值的RGB值設定為背景，而生成目標以外之部分是形成為背景色之資料。
同樣地，被發送之資料的解碼處理可在客戶端之各終端進行，亦可在伺服器側進行，亦可互相分擔而進行。作為一例，亦可使某個終端暫時將接收要求傳送至伺服器，並以其他終端接收因應該要求之內容且進行解碼處理，再將解碼完成之訊號傳送至具有顯示器的裝置。藉由不依靠可通訊之終端本身的性能而將處理分散並選擇適當之內容之作法，可以播放畫質良好的資料。又，作為其他的例子，亦可用TV等接收大尺寸之圖像資料，並將圖片分割後之圖塊等一部分的區域解碼並顯示於鑑賞者之個人終端。藉此，可以將整體圖片共有化，並且可以就近確認自己負責的領域或想要更詳細地確認之區域。
又，今後可預想到下述情形：不論屋內外，在近距離、中距離、或長距離之無線通訊為可複數使用的狀況下，利用MPEG-DASH等之發送系統規格，一邊對連接中的通訊切換適當的資料一邊無縫地接收內容。藉此，使用者不僅對本身之終端，連設置於屋內外之顯示器等的解碼裝置或顯示裝置都可自由地選擇並且即時切換。又，可以做到根據本身的位置資訊等，一邊切換要進行解碼之終端及要進行顯示之終端並一邊進行解碼。藉此，變得也可在往目的地之移動中，一邊在已埋入有可顯示之設備的鄰近之建築物的牆面或地面的一部分顯示地圖資訊，一邊移動。又，令編碼資料快取到可以在短時間內從接收終端進行存取之伺服器、或者複製到內容傳遞伺服器(content delivery server)中的邊緣伺服器等之根據在網路上對編碼資料的存取容易性，來切換接收資料之位元率(bit-rate)的作法也是可做到的。 [可調式編碼]
關於內容之切換，將利用圖18所示之應用在上述各實施形態中所示之動態圖像編碼方法而進行壓縮編碼之可調整的流，來進行說明。雖然伺服器具有複數個內容相同而質卻不同的流來作為個別的流也無妨，但亦可為將以如圖示地分層來進行編碼之作法而實現的時間上/空間上可調整之流的特徵活用，以切換內容的構成。亦即，藉由使解碼側因應性能這種內在要因與通訊頻帶之狀態等的外在要因來決定要解碼至哪一層，解碼側可以自由地切換低解析度之內容與高解析度之內容來解碼。例如，當想在回家後以網際網路TV等機器收看於移動中以智慧型手機ex115收看之影像的後續時，該機器只要將相同的流解碼至不同的層即可，因此可以減輕伺服器側的負擔。
此外，如上述地，除了按每層將圖片都編碼，且在基本層之上位存在增強層(enhancement layer)之實現可調整性(scalability)的構成以外，亦可使增強層包含根據圖像之統計資訊等的元(meta)資訊，且使解碼側根據元資訊對基本層之圖片進行超解析，藉此來生成已高畫質化之內容。所謂超解析可以是相同解析度中的SN比之提升、以及解析度之擴大之任一種。元資訊包含：用於特定超解析處理中使用之線形或非線形的濾波係數之資訊、或者特定超解析處理中使用之濾波處理、機械學習或最小平方運算中的參數值的資訊等。
或者，亦可為下述構成：因應圖像內之目標等的含義而將圖片分割為圖塊等，且使解碼側選擇解碼之圖塊，藉此僅將一部分之區域解碼。又，藉由將目標之屬性(人物、車、球等)與影像內之位置(同一圖像中的座標位置等)作為元資訊加以保存，解碼側即可以根據元資訊來特定所期望之目標的位置，並決定包含該目標之圖塊。例如，如圖19所示，元資訊可使用HEVC中的SEI訊息等與像素資料為不同之資料儲存構造而被儲存。該元資訊是表示例如主目標之位置、尺寸、或色彩等。
又，以流、序列或隨機存取單位等，由複數個圖片構成之單位來保存元資訊亦可。藉此，解碼側可以取得特定人物出現在影像內之時刻等，且與圖片單位之資訊對照，藉此可以特定目標存在之圖片、以及目標在圖片內的位置。 [網頁之最佳化]
圖20是顯示電腦ex111等中的網頁的顯示畫面例之圖。圖21是顯示智慧型手機ex115等中的網頁的顯示畫面例之圖。如圖20及圖21所示，在網頁包含複數個屬於對圖像內容之鏈接即鏈接圖像的情況下，其外觀會依閱覽之設備而不同。在畫面上可看到複數個鏈接圖像的情況下，直至使用者明確地選擇鏈接圖像、或者鏈接圖像接近畫面之中央附近或鏈接圖像之整體進入畫面內為止，顯示裝置(解碼裝置)都是顯示具有各內容之靜態圖或I圖片(框內編碼畫面，Intra Picture/I-Picture)作為鏈接圖像、或者以複數個靜態圖或I圖片等顯示gif動畫之形式的影像、或者僅接收基本層來將影像解碼及顯示。
在已由使用者選擇出鏈接圖像的情況下，顯示裝置會將基本層設為最優先來解碼。再者，只要有在構成網頁之HTML中顯示屬於可調整之內容的資訊，顯示裝置亦可解碼至增強層。又，為了擔保即時性，在選擇之前或通訊頻帶非常吃緊的情況下，顯示裝置可以藉由僅解碼及顯示前向參照(forward reference)之圖片(I圖片、P圖片(預測畫面，Predictive Picture)、僅前向參照之B圖片(雙向預估編碼畫面，Bidirectionally Predictive Picture))，來減低開頭圖片之解碼時刻與顯示時刻之間的延遲(從內容之解碼開始到顯示開始之間的延遲)。又，顯示裝置亦可特意無視圖片之參照關係而將所有的B圖片及P圖片設成前向參照來粗略地解碼，並隨著時間經過使接收之圖片增加來進行正常的解碼。 [自動行駛]
又，在為了汽車之自動行駛或行駛支援而傳送接收二維或三維之地圖資訊等的靜態圖或影像資料的情況下，接收終端亦可除了屬於1個以上之層的圖像資料之外，也將天候或施工之資訊等也都接收作為元資訊，並對應於這些來解碼。再者，元資訊也可以屬於層，亦可單純與圖像資料進行多工化。
此時，由於包含接收終端之車、無人機(drone)或飛機等會移動，因此藉由接收終端在接收要求時會傳送該接收終端之位置資訊之作法，即可一邊切換基地台ex106~ex110一邊實現無縫的接收及解碼。又，接收終端會因應於使用者之選擇、使用者之狀況、或通訊頻帶的狀態，而變得可動態地切換要將元資訊接收到何種程度、或要將地圖資訊更新至何種程度。
如以上，在內容供給系統ex100中，客戶端可即時地接收使用者所傳送之已編碼的資訊，並進行解碼、播放。 [個人內容之發送]
又，在內容供給系統ex100中，不僅是來自影像發送業者之高畫質且長時間的內容，來自個人之低畫質且短時間的內容的單播(unicast)、或多播(multicast)發送也是可做到的。又，這種個人的內容被認為今後也會持續增加下去。為了將個人內容作成更優良之內容，伺服器亦可在進行編輯處理之後進行編碼處理。這可藉由例如以下之構成來實現。
伺服器會在攝影時即時或累積進行並於攝影後，從原圖或編碼完成資料中進行攝影錯誤、場景搜尋、意義解析、及目標檢測等之辨識處理。然後，伺服器會根據辨識結果以手動或自動方式進行下述編輯：補正失焦或手震等、刪除亮度較其他圖片低或未聚焦之場景等重要性低的場景、強調目標之邊緣、使色調變化等之編輯。伺服器會根據編輯結果來將編輯後之資料編碼。又，當攝影時刻太長時會導致收視率下降的情況也是眾所皆知的，伺服器會根據圖像處理結果而以自動的方式不僅如上述地對重要性低之場景，還有動態較少的場景等進行剪輯，以使其因應攝影時間成為特定之時間範圍內的內容。或者，伺服器亦可根據場景之意義解析的結果來生成摘要(digest)並進行編碼。
再者，在個人內容中，也有照原樣的話會有造成侵害著作權、著作人格權、或肖像權等之內容攝入的案例，也有當共享的範圍超過所欲之範圍等對個人來說不方便的情況。據此，亦可進行例如，伺服器將畫面周邊部之人的臉、或房子之中等特意變更為未聚焦之圖像並編碼。又，伺服器亦可辨識是否有與事先登錄之人物不同的人物的臉照在編碼對象圖像內，並在有照出的情況下，進行將臉的部分打上馬賽克等之處理。或者，作為編碼之前處理或後處理，而從著作權等之觀點來讓使用者對圖像指定想要加工之人物或背景區域後，令伺服器進行將所指定之區域替換為另外的影像、或者使焦點模糊等之處理的作法也是可行的。如果是人物，可以在動態圖像中一邊追蹤人物一邊替換臉之部分的影像。
又，由於資料量較小之個人內容的視聽對即時性的要求較強，因此，雖然也會取決於頻帶寬，但解碼裝置首先會最優先地接收基本層並進行解碼及播放。解碼裝置亦可在這段期間內接收增強層，且於循環播放之情形等播放2次以上的情形下，將增強層也包含在內來播放高畫質的影像。只要是像這樣可進行可調整之編碼的流，就可以提供一種雖然在未選擇時或初次看到的階段是粗略的動態圖，但流會逐漸精緻(smart)而使圖像變好的體驗。除了可調式編碼以外，即使以第1次播放之粗略的流、與參照第1次之動態圖而編碼之第2次的流作為1個流來構成也可以提供同樣的體驗。 [其他之使用例]
又，這些編碼或解碼處理一般是在各終端所具有之LSIex500中處理。LSIex500可為單晶片(one chip)，亦可為由複數個晶片形成之構成。再者，亦可將動態圖像編碼或解碼用之軟體安裝到可以在電腦ex111等讀取之某種記錄媒體(CD-ROM、軟式磁碟(flexible disk)、或硬碟等)，並使用該軟體來進行編碼或解碼處理。此外，在智慧型手機ex115為附有相機的情況下，亦可傳送以該相機取得之動態圖資料。此時的動態圖資料是以智慧型手機ex115所具有的LSIex500來編碼處理而成之資料。
再者，LSIex500亦可為將應用軟體下載並啟動(activate)之構成。此時，終端首先會判定該終端是否支援內容之編碼方式、或者是否具有特定服務之執行能力。在終端並未支援內容之編碼方式時、或者不具有特定服務之執行能力的情況下，終端會下載編碼解碼器或應用軟體，然後，取得及播放內容。
又，不限於透過網際網路ex101之內容供給系統ex100，在數位播放用系統中也可以安裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一個。由於是利用衛星等來將已使影像與聲音被多工化之多工資料乘載於播放用之電波來進行傳送接收，因此會有相對於內容供給系統ex100之容易形成單播的構成更適合多播的差別，但有關於編碼處理及解碼處理仍可為同樣之應用。 [硬體構成]
圖22是顯示智慧型手機ex115之圖。又，圖23是顯示智慧型手機ex115的構成例之圖。智慧型手機ex115具備：用於在與基地台ex110之間傳送接收電波的天線ex450、可拍攝影像及靜態圖之相機部ex465、顯示已將相機部ex465所拍攝到之影像以及在天線ex450所接收到之影像等解碼之資料的顯示部ex458。智慧型手機ex115更具備：觸控面板等即操作部ex466、用於輸出聲音或音響之揚聲器等即聲音輸出部ex457、用於輸入聲音之麥克風等即聲音輸入部ex456、可保存所攝影之影像或靜態圖、錄音之聲音、接收之影像或靜態圖、郵件等之已編碼的資料、或已解碼之資料的記憶體部ex467、及作為與SIMex468之間的介面部即插槽部ex464，該SIMex468是用於特定使用者，且以網路為首進行對各種資料的存取之認證。再者，亦可使用外接記憶體代替記憶體部ex467。
又，透過匯流排ex470而將統合地控制顯示部ex458及操作部ex466等之主控制部ex460，與電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、相機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、及記憶體部ex467相連接。
電源電路部ex461在藉由使用者之操作而將電源鍵設成開啟狀態時，會藉由從電池組(battery pack)對各部供給電力而將智慧型手機ex115起動為可運作之狀態。
智慧型手機ex115會根據具有CPU、ROM及RAM等之主控制部ex460的控制，進行通話及資料通訊等之處理。通話時，是以聲音訊號處理部ex454將以聲音輸入部ex456所收音之聲音訊號轉換為數位聲音訊號，並以調變/解調部ex452對其進行展頻處理，接著以傳送/接收部ex451施行數位類比轉換處理及頻率轉換處理後，透過天線ex450傳送。又，將接收資料放大且施行頻率轉換處理及類比數位轉換處理，並以調變/解調部ex452進行解展頻處理，接著以聲音訊號處理部ex454轉換為類比聲音訊號後，由聲音輸出部ex457將其輸出。資料通訊模式時，是藉由本體部之操作部ex466等的操作而透過操作輸入控制部ex462將正文(text)、靜態圖、或影像資料送出至主控制部ex460，而同樣地進行傳送接收處理。在資料通訊模式時傳送影像、靜態圖、或影像與聲音的情形下，影像訊號處理部ex455是藉由在上述各實施形態中所示的動態圖像編碼方法，將保存於記憶體部ex467之影像訊號或從相機部ex465輸入之影像訊號壓縮編碼，並將已編碼之影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454是在以相機部ex465拍攝影像或靜態圖等之中將以聲音輸入部ex456所收音之聲音訊號編碼，並將已編碼之聲音資料送出至多工/分離部ex453。多工/分離部ex453是以預定之方式對編碼完成影像資料與編碼完成聲音資料進行多工化，並以調變/解調部(調變/解調電路部)ex452、及傳送/接收部ex451施行調變處理及轉換處理並透過天線ex450來傳送。
在已接收附加於電子郵件或網路聊天之影像、或鏈接至網頁等之影像的情形下，為了將透過天線ex450接收之多工資料解碼，多工/分離部ex453會藉由分離多工資料，而將多工資料分成影像資料之位元流與聲音資料之位元流，再透過同步匯流排ex470將已編碼之影像資料供給至影像訊號處理部ex455，並且將已編碼之聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455是藉由對應於上述各實施形態所示之動態圖像編碼方法的動態圖像解碼方法來解碼影像訊號，並透過顯示器控制部ex459從顯示部ex458顯示被鏈接之動態圖像檔案中所含的影像或靜態圖。又，聲音訊號處理部ex454會將聲音訊號解碼，並從聲音輸出部ex457輸出聲音。再者，由於即時串流(real time streaming)已普及，因此依照使用者的狀況也可能在社會上不適合發出聲音的場所發生聲音的播放。因此，作為初始值，較理想的構成是，在不使聲音訊號播放的情形下僅播放影像資料之構成。僅在使用者進行點選影像資料等操作的情形下才將聲音同步播放亦可。
又，在此雖然以智慧型手機ex115為例進行了說明，但可作為終端而被考慮的有下述3種組裝形式：除了具有編碼器及解碼器兩者之傳送接收型終端以外，還有僅具有編碼器之傳送終端、以及僅具有解碼器之接收終端。此外，在數位播送用系統中，雖然是設成接收或傳送已在影像資料中將聲音資料等多工化之多工資料來進行說明，但在多工資料中，除了聲音資料以外亦可將與影像有關聯之文字資料等多工化，亦可接收或傳送影像資料本身而非多工資料。
再者，雖然是設為使包含CPU之主控制部ex460控制編碼或解碼處理並進行了說明，但終端大多也會具備GPU。因此，亦可為藉由在CPU與GPU已共通的記憶體、或將位址管理成可以共通地使用的記憶體，來活用GPU之性能而將較寬廣區域一併處理的構成。藉此可以縮短編碼時間，確保即時性，而可以實現低延遲。特別是對運動搜尋、解塊濾波(deblock filter)、SAO(取樣自適應偏移，Sample Adaptive Offset)、及轉換、量化之處理，當不是利用CPU，而是利用GPU並以圖片等單位來一併進行時，是有效率的。 産業上之可利用性
本揭示可在例如電視接收器、數位錄影機、汽車導航系統、行動電話、數位相機、或數位攝影機等上利用。
由上述討論，將可理解，本發明可以多種實施態樣形式體現，包含但不限於下列：
項1：一種編碼裝置，是利用框間預測來對圖片的編碼對象區塊進行編碼，該編碼裝置具備： 處理器；及 記憶體， 前述處理器是利用前述記憶體， 而利用與2個參照圖片的每一個對應之運動向量來進行運動補償，藉此從前述2個參照圖片取得2個預測圖像， 從前述2個參照圖片取得與前述2個預測圖像對應的2個梯度圖像， 並以對前述編碼對象區塊進行分割而得到的子區塊單位，利用前述2個預測圖像及前述2個梯度圖像來導出局部運動估測值， 利用前述2個預測圖像、前述2個梯度圖像及前述子區塊單位的局部運動估測値，以生成前述編碼對象區塊的最終預測圖像。
項2：如項1之編碼裝置，其中在前述2個預測圖像的取得中，是在取得小數像素精度的預測圖像之情況下，在前述2個參照圖片的每一個中參照以前述運動向量指定的預測區塊之周邊的內插參照範圍的像素，而將小數像素精度的像素內插， 前述內插參照範圍，在不進行使用前述局部運動估測値的處理之通常框間預測中，是包含在為了前述編碼對象區塊的運動補償而參照的通常參照範圍中。
項3：如項2之編碼裝置，其中前述內插參照範圍是與前述通常參照範圍一致。
項4：如項2之編碼裝置，其中在前述2個梯度圖像的取得中，是在前述2個參照圖片的每一個中參照前述預測區塊之周邊的梯度參照範圍的像素， 前述梯度參照範圍是包含在前述內插參照範圍中。
項5：如項4之編碼裝置，其中前述梯度參照範圍是與前述內插參照範圍一致。
項6：如項1之編碼裝置，其中在前述局部運動估測値的導出中，是在前述2個參照圖片的每一個中，對與前述子區塊對應的區域即預測子區塊所包含的複數個像素之值加權來使用， 在前述複數個像素當中越是位於前述區域之中央的像素權重越大。
項7：如項1之編碼裝置，其中在前述局部運動估測値的導出中，是在前述2個參照圖片的每一個中，除了與前述子區塊對應的區域即預測子區塊所包含的像素之外，還參照相鄰於前述預測子區塊的其他預測子區塊且是以前述運動向量所指定的預測區塊中所包含的其他預測子區塊所包含的像素。
項8：如項1至7中任一項之編碼裝置，其中在前述局部運動估測値的導出中，是在前述2個參照圖片的每一個中，僅參照與前述子區塊對應的區域即預測子區塊所包含的複數個像素當中的一部分之像素。
項9：如項8之編碼裝置，其中在前述局部運動估測値的導出中，是在前述2個參照圖片的每一個中， (i)從顯示前述預測子區塊中所包含的複數個像素當中的一部分之像素的複數個像素型樣，且為彼此不同的複數個像素型樣之中，選擇像素型樣， (ii)參照所選擇之前述像素型樣所示的前述預測子區塊內的像素，以導出前述子區塊的前述局部運動估測値， 前述處理器是進一步將顯示前述所選擇的像素型樣之資訊寫入位元流。
項10：如項8之編碼裝置，其中在前述局部運動估測値的導出中，是在前述2個參照圖片的每一個中， (i)從顯示前述預測子區塊中所包含的複數個像素當中的一部分之像素的複數個像素型樣且，為彼此不同的複數個像素型樣之中，依據前述2個預測圖像來適當地選擇像素型樣， (ii)參照所選擇的前述像素型樣所示的前述預測子區塊內的像素，以導出前述子區塊的前述局部運動估測値。
項11：一種編碼方法，是利用框間預測來對圖片的編碼對象區塊進行編碼，該編碼方法是進行下述處理： 利用與2個參照圖片的每一個對應之運動向量來進行運動補償，藉此從前述2個參照圖片取得2個預測圖像； 從前述2個參照圖片取得與前述2個預測圖像對應的2個梯度圖像； 以對前述編碼對象區塊進行分割而得到的子區塊單位，利用前述2個預測圖像及前述2個梯度圖像來導出局部運動估測值， 利用前述2個預測圖像、前述2個梯度圖像及前述子區塊單位的局部運動估測値，以生成前述編碼對象區塊的最終預測圖像。
項12：一種解碼裝置，是利用框間預測來對圖片的解碼對象區塊進行解碼，該解碼裝置具備： 處理器；及 記憶體， 前述處理器是利用前述記憶體， 而利用與2個參照圖片的每一個對應之運動向量來進行運動補償，藉此從前述2個參照圖片取得2個預測圖像， 從前述2個參照圖片取得與前述2個預測圖像對應的2個梯度圖像， 並以對前述解碼對象區塊進行分割而得到的子區塊單位，利用前述2個預測圖像及前述2個梯度圖像來導出局部運動估測值， 利用前述2個預測圖像、前述2個梯度圖像、及前述子區塊單位的局部運動估測値，以生成前述解碼對象區塊的最終預測圖像。
項13：如項12之解碼裝置，其中在前述2個預測圖像的取得中，是在取得小數像素精度的預測圖像之情況下，在前述2個參照圖片的每一個中參照以前述運動向量指定的預測區塊之周邊的內插參照範圍的像素，而將小數像素精度的像素內插， 前述內插參照範圍，在不進行使用前述局部運動估測値的處理之通常框間預測中，是包含在為了前述解碼對象區塊的運動補償所參照的通常參照範圍中。
項14：如項13之解碼裝置，其中前述內插參照範圍是與前述通常參照範圍一致。
項15：如項13之解碼裝置，其中在前述2個梯度圖像的取得中，是在前述2個參照圖片的每一個中參照前述預測區塊之周邊的梯度參照範圍的像素， 前述梯度參照範圍是包含在前述內插參照範圍中。
項16：如項15之解碼裝置，其中前述梯度參照範圍是與前述內插參照範圍一致。
項17：如項12之解碼裝置，其中在前述局部運動估測値的導出中，是在前述2個參照圖片的每一個中，對與前述子區塊對應的區域即預測子區塊所包含的複數個像素之值加權來使用， 在前述複數個像素當中越是位於前述區域之中央的像素權重越大。
項18：如項12之解碼裝置，其中在前述局部運動估測値的導出中，是在前述2個參照圖片的每一個中，除了與前述子區塊對應的區域即預測子區塊所包含的像素之外，還參照相鄰於前述預測子區塊的其他預測子區塊且是以前述運動向量所指定的預測區塊中所包含的其他預測子區塊所包含的像素。
項19：如項12至18中任一項之解碼裝置，其中在前述局部運動估測値的導出中，是在前述2個參照圖片的每一個中，僅參照與前述子區塊對應的區域即預測子區塊所包含的複數個像素當中的一部分之像素。
項20：如項19之解碼裝置，其中前述處理器更進一步從位元流中取得顯示像素型樣的資訊， 在前述局部運動估測値的導出中，是在前述2個參照圖片的每一個中， (i)依據已取得的前述資訊，從顯示前述預測子區塊中所包含的複數個像素當中的一部分之像素的複數個像素型樣，且為彼此不同的複數個像素型樣之中選擇像素型樣， (ii)參照所選擇的前述像素型樣所示的前述預測子區塊內的像素，以導出前述子區塊的前述局部運動估測値。
項21：如項19之解碼裝置，其中在前述局部運動估測値的導出中，是在前述2個參照圖片的每一個中， (i)從顯示前述預測子區塊中所包含的複數個像素當中的一部分之像素的複數個像素型樣且為彼此不同的複數個像素型樣之中，依據前述2個預測圖像來適當地選擇像素型樣， (ii)參照所選擇的前述像素型樣所示的前述預測子區塊內的像素，以導出前述子區塊的前述局部運動估測値。
項22：一種解碼方法，是利用框間預測來對圖片的解碼對象區塊進行解碼，該解碼方法是進行以下處理： 利用與2個參照圖片的每一個對應之運動向量來進行運動補償，藉此從前述2個參照圖片取得2個預測圖像； 從前述2個參照圖片取得與前述2個預測圖像對應的2個梯度圖像； 以對前述解碼對象區塊進行分割而得到的子區塊單位，利用前述2個預測圖像及前述2個梯度圖像來導出局部運動估測值； 利用前述2個預測圖像、前述2個梯度圖像、及前述子區塊單位的局部運動估測値，以生成前述解碼對象區塊的最終預測圖像。
10~23:區塊 100:編碼裝置 102:分割部 104:減法部 106:轉換部 108:量化部 110:熵編碼部 112,204:逆量化部 114,206:逆轉換部 116,208:加法部 118,210:區塊記憶體 120,212:環路濾波部 122,214:框記憶體 124,216:框內預測部 126,218:框間預測部 128,220:預測控制部 200:解碼裝置 202:熵解碼部 1000:當前圖片 1001:當前區塊 1100:第1參照圖片 1110:第1運動向量 1120:第1預測區塊 1121,1221:預測子區塊 1122,1222:左上像素 1130,1130A:第1內插參照範圍 1131,1131A,1132,1132A,1231,1231A,1232,1232A:參照範圍 1135,1135A:第1梯度參照範圍 1140:第1預測圖像 1150:第1梯度圖像 1200:第2參照圖片 1210:第2運動向量 1220:第2預測區塊 1230,1230A:第2內插參照範圍 1235,1235A:第2梯度參照範圍 1240:第2預測圖像 1250:第2梯度圖像 1300:局部運動估測値 1400:最終預測圖像 ex100:內容供給系統 ex101:網際網路 ex102:網際網路服務提供者 ex103:串流伺服器 ex104:通訊網 ex106,ex107ex108,ex109,ex110:基地台 ex111:電腦 ex112:遊戲機 ex113:相機 ex114:家電 ex115:智慧型手機 ex116:衛星 ex117:飛機 ex450:天線 ex451:傳送/接收部 ex452:調變/解調部 ex453:多工/分離部 ex454:聲音訊號處理部 ex455:影像訊號處理部 ex456:聲音輸入部 ex457:聲音輸出部 ex458:顯示部 ex459:顯示器控制部 ex460:主控制部 ex461:電源電路部 ex462:操作輸入控制部 ex463:相機介面部 ex464:插槽部 ex465:相機部 ex466:操作部 ex467:記憶體部 ex468:SIM ex470:匯流排 ex500:LSI MV0,MV1,MVx0,MVy0,MVx1,MVy1,v 0,v 1:運動向量 Ref0,Ref1:參照圖片 S101~S111:步驟 TD0,TD1,τ 0,τ 1:時間上之距離
圖1是顯示實施形態1之編碼裝置的功能構成之方塊圖。
圖2是顯示實施形態1中的區塊分割的一例之圖。
圖3是顯示對應於各轉換類型的轉換基底函數之表格。
圖4A是顯示在ALF中所用的濾波器之形狀的一例之圖。
圖4B是顯示在ALF中所用的濾波器之形狀的其他的一例之圖。
圖4C是顯示在ALF中所用的濾波器之形狀的其他的一例之圖。
圖5A是顯示框內預測中的67個框內預測模式之圖。
圖5B是用於說明藉由OBMC處理進行的預測圖像補正處理之概要的流程圖。
圖5C是用於說明藉由OBMC處理進行的預測圖像補正處理之概要的概念圖。
圖5D是顯示FRUC之一例的圖。
圖6是用於說明沿著運動軌跡的2個區塊間的型樣匹配(雙向匹配)之圖。
圖7是用於說明在當前圖片內的模板與參照圖片內的區塊之間的型樣匹配(模板匹配)之圖。
圖8是用於說明假設了等速直線運動的模型之圖。
圖9A是用於說明根據複數個相鄰區塊的運動向量之子區塊單位的運動向量的導出之圖。
圖9B是用於說明藉由合併模式進行的運動向量導出處理之概要的圖。
圖9C是用於說明DMVR處理的概要之概念圖。
圖9D是用於說明利用了由LIC處理進行的亮度補正處理之預測圖像生成方法的概要之圖。
圖10是顯示實施形態1之解碼裝置的功能構成之方塊圖。
圖11是顯示實施形態2中的框間預測之流程圖。
圖12是用於說明實施形態2中的框間預測之概念圖。
圖13是用於說明實施形態2中的運動補償濾波器及梯度濾波器的參照範圍之一例的概念圖。
圖14是用於說明實施形態2的變形例1中的運動補償濾波器的參照範圍之一例的概念圖。
圖15是用於說明實施形態2的變形例1中的梯度濾波器的參照範圍之一例的概念圖。
圖16是顯示實施形態2的變形例2中的局部運動估測値之導出中所參照的像素之型樣的例子之圖。
圖17是實現內容發送服務(content delivery service)的內容供給系統之整體構成圖。
圖18是顯示可調式編碼時之編碼構造的一例之圖。
圖19是顯示可調式編碼時之編碼構造的一例之圖。
圖20是顯示網頁之顯示畫面例的圖。
圖21是顯示網頁之顯示畫面例的圖。
圖22是顯示智慧型手機之一例的圖。
圖23是顯示智慧型手機之構成例的方塊圖。
S101~S111:步驟

Claims (3)

  1. 一種編碼裝置，其編碼在當前圖片的當前區塊，前述編碼裝置具備： 處理器；及 記憶體， 前述處理器利用前述記憶體， 在不使用局部運動估測值而導出第1最終預測圖像之第1框間預測模式中： 藉由參照前述當前區塊所參照的第1參照圖片中的第1通常參照範圍內的像素，以取得前述當前區塊的具有子像素精確度的第1預測圖像； 藉由參照前述當前區塊所參照的第2參照圖片中的第2通常參照範圍內的像素，以取得前述當前區塊的具有子像素精確度的第2預測圖像；且 使用前述第1預測圖像及前述第2預測圖像來產生前述當前區塊的前述第1最終預測圖像， 在使用局部運動估測值而導出第2最終預測圖像之第2框間預測模式中： 藉由參照在前述第1參照圖片中的第1內插參照範圍內的像素，以取得前述當前區塊的具有子像素精確度的第3預測圖像； 藉由參照在前述第2參照圖片中的第2內插參照範圍內的像素，以取得前述當前區塊的具有子像素精確度的第4預測圖像； 取得第1梯度圖像，前述第1梯度圖像包含前述第1參照圖片所包含的像素的第1梯度值，前述第1梯度值是基於前述第1內插參照範圍內的前述像素而產生； 取得第2梯度圖像，前述第2梯度圖像包含前述第2參照圖片所包含的像素的第2梯度值，前述第2梯度值是基於前述第2內插參照範圍內的前述像素而產生； 基於前述第3和第4預測圖像及前述第1和第2梯度圖像來導出每一個子區塊的局部運動估計值，前述子區塊是藉由分割前述當前區塊而取得；且 使用前述第3和第4預測圖像及對每一個前述子區塊導出的前述局部運動估測值來產生前述當前區塊的前述第2最終預測圖像， 前述第1和第2內插參照範圍是分別被包含在前述第1和第2通常參照範圍中，前述第2框間預測模式是使用前述第1和第2通常參照範圍的像素資料來執行，且不用讀取前述第1和第2通常參照範圍的附加像素資料，前述第1和第2通常參照範圍的前述附加像素資料比前述第1和第2通常參照範圍的前述像素資料還新。
  2. 一種解碼裝置，其解碼在當前圖片的當前區塊，前述解碼裝置具備： 處理器；及 記憶體， 前述處理器利用前述記憶體， 在不使用局部運動估測值而導出第1最終預測圖像之第1框間預測模式中： 藉由參照前述當前區塊所參照的第1參照圖片中的第1通常參照範圍內的像素，以取得前述當前區塊的具有子像素精確度的第1預測圖像； 藉由參照前述當前區塊所參照的第2參照圖片中的第2通常參照範圍內的像素，以取得前述當前區塊的具有子像素精確度的第2預測圖像；且 使用前述第1預測圖像及前述第2預測圖像來產生前述當前區塊的前述第1最終預測圖像， 在使用局部運動估測值而導出第2最終預測圖像之第2框間預測模式中： 藉由參照在前述第1參照圖片中的第1內插參照範圍內的像素，以取得前述當前區塊的具有子像素精確度的第3預測圖像； 藉由參照在前述第2參照圖片中的第2內插參照範圍內的像素，以取得前述當前區塊的具有子像素精確度的第4預測圖像； 取得第1梯度圖像，前述第1梯度圖像包含前述第1參照圖片所包含的像素的第1梯度值，前述第1梯度值是基於前述第1內插參照範圍內的前述像素而產生； 取得第2梯度圖像，前述第2梯度圖像包含前述第2參照圖片所包含的像素的第2梯度值，前述第2梯度值是基於前述第2內插參照範圍內的前述像素而產生； 基於前述第3和第4預測圖像及前述第1和第2梯度圖像來導出每一個子區塊的局部運動估計值，前述子區塊是藉由分割前述當前區塊而取得；且 使用前述第3和第4預測圖像及對每一個前述子區塊導出的前述局部運動估測值來產生前述當前區塊的前述第2最終預測圖像， 前述第1和第2內插參照範圍是分別被包含在前述第1和第2通常參照範圍中，前述第2框間預測模式是使用前述第1和第2通常參照範圍的像素資料來執行，且不用讀取前述第1和第2通常參照範圍的附加像素資料，前述第1和第2通常參照範圍的前述附加像素資料比前述第1和第2通常參照範圍的前述像素資料還新。
  3. 一種非暫時性電腦可讀取的記錄媒體，其用於電腦，前述記錄媒體記錄有電腦程式而使電腦執行： 在不使用局部運動估測值而導出第1最終預測圖像之第1框間預測模式中： 藉由參照當前區塊所參照的第1參照圖片中的第1通常參照範圍內的像素，以取得前述當前區塊的具有子像素精確度的第1預測圖像； 藉由參照前述當前區塊所參照的第2參照圖片中的第2通常參照範圍內的像素，以取得前述當前區塊的具有子像素精確度的第2預測圖像；且 使用前述第1預測圖像及前述第2預測圖像來產生前述當前區塊的前述第1最終預測圖像， 在使用局部運動估測值而導出第2最終預測圖像之第2框間預測模式中： 藉由參照在前述第1參照圖片中的第1內插參照範圍內的像素，以取得前述當前區塊的具有子像素精確度的第3預測圖像； 藉由參照在前述第2參照圖片中的第2內插參照範圍內的像素，以取得前述當前區塊的具有子像素精確度的第4預測圖像； 取得第1梯度圖像，前述第1梯度圖像包含前述第1參照圖片所包含的像素的第1梯度值，前述第1梯度值是基於前述第1內插參照範圍內的前述像素而產生； 取得第2梯度圖像，前述第2梯度圖像包含前述第2參照圖片所包含的像素的第2梯度值，前述第2梯度值是基於前述第2內插參照範圍內的前述像素而產生； 基於前述第3和第4預測圖像及前述第1和第2梯度圖像來導出每一個子區塊的局部運動估計值，前述子區塊是藉由分割前述當前區塊而取得；且 使用前述第3和第4預測圖像及對每一個前述子區塊導出的前述局部運動估測值來產生前述當前區塊的前述第2最終預測圖像， 前述第1和第2內插參照範圍是分別被包含在前述第1和第2通常參照範圍中，前述第2框間預測模式是使用前述第1和第2通常參照範圍的像素資料來執行，且不用讀取前述第1和第2通常參照範圍的附加像素資料，前述第1和第2通常參照範圍的前述附加像素資料比前述第1和第2通常參照範圍的前述像素資料還新。
TW112101385A 2017-04-27 2018-04-25 編碼裝置、解碼裝置及非暫時性電腦可讀取的記錄媒體 TW202320546A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762490872P 2017-04-27 2017-04-27
US62/490,872 2017-04-27

Publications (1)

Publication Number Publication Date
TW202320546A true TW202320546A (zh) 2023-05-16

Family

ID=63918507

Family Applications (3)

Application Number Title Priority Date Filing Date
TW111129815A TWI790983B (zh) 2017-04-27 2018-04-25 解碼裝置及編碼裝置
TW107114051A TWI774757B (zh) 2017-04-27 2018-04-25 編碼裝置、解碼裝置、電腦程式及非暫時性記憶媒體
TW112101385A TW202320546A (zh) 2017-04-27 2018-04-25 編碼裝置、解碼裝置及非暫時性電腦可讀取的記錄媒體

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW111129815A TWI790983B (zh) 2017-04-27 2018-04-25 解碼裝置及編碼裝置
TW107114051A TWI774757B (zh) 2017-04-27 2018-04-25 編碼裝置、解碼裝置、電腦程式及非暫時性記憶媒體

Country Status (7)

Country Link
US (3) US11425413B2 (zh)
EP (1) EP3618444A1 (zh)
JP (4) JP6857716B2 (zh)
KR (2) KR102649234B1 (zh)
CN (5) CN117014632A (zh)
TW (3) TWI790983B (zh)
WO (1) WO2018199050A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117014632A (zh) * 2017-04-27 2023-11-07 松下电器（美国）知识产权公司 解码装置、编码装置以及非暂时性记录介质
CN116437104A (zh) * 2017-05-19 2023-07-14 松下电器（美国）知识产权公司 解码方法和编码方法
CN117336505A (zh) 2019-02-14 2024-01-02 北京字节跳动网络技术有限公司 解码器侧细化工具的尺寸选择性应用
JP7176094B2 (ja) * 2019-03-11 2022-11-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び符号化方法
BR112021017420A2 (pt) * 2019-04-16 2022-02-01 Panasonic Ip Corp America Codificador, decodificador, método de codificação, e método de decodificação

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3277111B2 (ja) * 1995-10-18 2002-04-22 シャープ株式会社 動画像符号化装置および動画像復号化装置
US8942283B2 (en) * 2005-03-31 2015-01-27 Euclid Discoveries, Llc Feature-based hybrid video codec comparing compression efficiency of encodings
KR20110112240A (ko) * 2010-04-06 2011-10-12 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR102257542B1 (ko) * 2012-10-01 2021-05-31 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
KR20140089486A (ko) * 2013-01-04 2014-07-15 삼성전자주식회사 스케일러블 비디오의 부호화 및 복호화를 위한 움직임 보상 방법 및 장치
US10200711B2 (en) * 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
EP3340620A4 (en) * 2015-08-23 2019-04-17 LG Electronics Inc. IMAGE PROCESSING METHOD BASED ON INTER-PREDICTION MODE AND APPARATUS THEREOF
WO2017036399A1 (en) * 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
EP3364655A4 (en) * 2015-11-11 2018-10-10 Samsung Electronics Co., Ltd. Method and apparatus for decoding video, and method and apparatus for encoding video
CN108541375B (zh) * 2016-02-03 2022-04-12 夏普株式会社 运动图像解码装置、运动图像编码装置、以及预测图像生成装置
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
CN117014632A (zh) * 2017-04-27 2023-11-07 松下电器（美国）知识产权公司 解码装置、编码装置以及非暂时性记录介质

Also Published As

Publication number Publication date
TW201842777A (zh) 2018-12-01
KR20240037382A (ko) 2024-03-21
EP3618444A4 (en) 2020-03-04
JP7364752B2 (ja) 2023-10-18
TWI790983B (zh) 2023-01-21
TWI774757B (zh) 2022-08-21
KR102649234B1 (ko) 2024-03-20
CN110583020B (zh) 2023-08-25
CN117014630A (zh) 2023-11-07
EP3618444A1 (en) 2020-03-04
CN117014632A (zh) 2023-11-07
CN117014631A (zh) 2023-11-07
JP7114773B2 (ja) 2022-08-08
WO2018199050A1 (ja) 2018-11-01
JP2022140583A (ja) 2022-09-26
US11425413B2 (en) 2022-08-23
US20220303572A1 (en) 2022-09-22
CN110583020A (zh) 2019-12-17
JP2021101576A (ja) 2021-07-08
TW202247660A (zh) 2022-12-01
JPWO2018199050A1 (ja) 2019-12-26
JP2023168582A (ja) 2023-11-24
JP6857716B2 (ja) 2021-04-14
CN117014629A (zh) 2023-11-07
US20200053382A1 (en) 2020-02-13
KR20190142339A (ko) 2019-12-26
US11831903B2 (en) 2023-11-28
US20240048755A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
JP7286832B2 (ja) 符号化装置および復号装置
TWI830328B (zh) 編碼裝置、解碼裝置及電腦可讀取之非暫時性媒體
TWI790983B (zh) 解碼裝置及編碼裝置
TWI782974B (zh) 解碼裝置、解碼方法及非暫時性電腦可讀取媒體
TWI826214B (zh) 編碼方法及解碼方法
TWI794129B (zh) 編碼裝置、編碼方法、解碼裝置、解碼方法及電腦可讀取之非暫時性媒體
KR20190137806A (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
TWI812414B (zh) 編碼裝置、解碼裝置及記錄媒體
KR20210145762A (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
TWI814726B (zh) 編碼裝置及解碼裝置
TW201918066A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
JP2023126387A (ja) 符号化装置及び符号化方法
TWI831724B (zh) 非暫時性記憶媒體
TW201904293A (zh) 編碼裝置、編碼方法、解碼裝置及解碼方法
TW201808004A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI763959B (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201909631A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI827605B (zh) 解碼裝置及解碼方法
TW202011740A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI827394B (zh) 非暫時性記憶媒體