TW201924334A - 編碼裝置、解碼裝置、編碼方法及解碼方法 - Google Patents

編碼裝置、解碼裝置、編碼方法及解碼方法 Download PDF

Info

Publication number
TW201924334A
TW201924334A TW107140251A TW107140251A TW201924334A TW 201924334 A TW201924334 A TW 201924334A TW 107140251 A TW107140251 A TW 107140251A TW 107140251 A TW107140251 A TW 107140251A TW 201924334 A TW201924334 A TW 201924334A
Authority
TW
Taiwan
Prior art keywords
block
processing
unit
boundary
aforementioned
Prior art date
Application number
TW107140251A
Other languages
English (en)
Inventor
加納龍一
安倍清史
遠間正真
西孝啓
Original Assignee
美商松下電器（美國）知識產權公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商松下電器（美國）知識產權公司 filed Critical 美商松下電器（美國）知識產權公司
Publication of TW201924334A publication Critical patent/TW201924334A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

編碼裝置具備電路與記憶體，電路是使用記憶體，當用在針對對象區塊之預測圖像之亮度修正處理之第1亮度修正參數、以及、用在針對與對象區塊鄰接之鄰接區塊之亮度修正處理之第2亮度修正參數的差比事先決定之閾值大的情況下，在對象區塊與鄰接區塊的邊界適用去區塊濾波處理，當上述差比閾值小的情況下，不在對象區塊與鄰接區塊的邊界適用去區塊濾波處理。

Description

編碼裝置、解碼裝置、編碼方法及解碼方法
發明領域
本揭示是涉及編碼裝置、解碼裝置、編碼方法及解碼方法。
發明背景
習知，有H.265來作為用於將動態圖像編碼之規格。H.265亦被稱作HEVC(High Efficiency Video Coding，高效率視訊編碼)。
先行技術文獻
非專利文獻
非專利文獻1：H.265(ISO/IEC 23008-2 HEVC(High Efficiency Video Coding))
發明概要
發明欲解決之課題
如此之編碼方法及解碼方法是被期望可提升解碼圖像之畫質。
本揭示之目的是提供可提升解碼圖像之畫質之編碼裝置、解碼裝置、編碼方法或解碼方法。
用以解決課題之手段
與本揭示之一態樣相關之編碼裝置是具備電路與記憶體，前述電路是使用前述記憶體，當用在針對對象區塊之預測圖像之亮度修正處理之第1亮度修正參數、以及、用在針對與前述對象區塊鄰接之鄰接區塊之前述亮度修正處理之第2亮度修正參數的差比事先決定之閾值大的情況下，在前述對象區塊與前述鄰接區塊的邊界適用去區塊濾波處理，當前述差比前述閾值小的情況下，不在前述邊界適用前述去區塊濾波處理。
與本揭示之一態樣相關之解碼裝置是具備電路與記憶體，前述電路是使用前述記憶體，當用在針對對象區塊之預測圖像之亮度修正處理之第1亮度修正參數、以及、用在針對與前述對象區塊鄰接之鄰接區塊之前述亮度修正處理之第2亮度修正參數的差比事先決定之閾值大的情況下，在前述對象區塊與前述鄰接區塊的邊界適用去區塊濾波處理，當前述差比前述閾值小的情況下，不在前述邊界適用前述去區塊濾波處理。
另，該等總括或具體之態樣可以是藉由系統、裝置、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之非暫時性記錄媒體而實現，亦可以是藉由系統、裝置、方法、積體電路、電腦程式、及記錄媒體之任意組合而實現。
發明效果
本揭示可提供可提升解碼圖像之畫質之編碼裝置、解碼裝置、編碼方法或解碼方法。
用以實施發明之形態
與本揭示之一態樣相關之編碼裝置具備電路與記憶體，前述電路是使用前述記憶體，當用在針對對象區塊之預測圖像之亮度修正處理之第1亮度修正參數、以及、用在針對與前述對象區塊鄰接之鄰接區塊之前述亮度修正處理之第2亮度修正參數的差比事先決定之閾值大的情況下，在前述對象區塊與前述鄰接區塊的邊界適用去區塊濾波處理，當前述差比前述閾值小的情況下，不在前述邊界適用前述去區塊濾波處理。
根據此，該編碼裝置是當對象區塊之亮度修正參數與鄰接區塊之亮度修正參數的差比閾值大的情況下，進行去區塊濾波處理。藉此，由於可降低主觀上醒目之區塊雜訊，故可提升解碼圖像之畫質。又，該編碼裝置是當上述差比閾值的情況下不進行去區塊濾波處理。藉此，該編碼裝置可抑制過度進行去區塊濾波處理之情形。
例如，亦可以是：當對前述對象區塊及前述鄰接區塊之其中一者適用前述亮度修正處理、對前述對象區塊及前述鄰接區塊之另一者不適用前述亮度修正處理的情況下，在前述邊界適用前述去區塊濾波處理。
根據此，由於可降低主觀上醒目之區塊雜訊，故可提升解碼圖像之畫質。
例如，亦可以是：當對前述對象區塊與前述鄰接區塊之任一者皆不適用前述亮度修正處理的情況下，不在前述邊界適用前述去區塊濾波處理。
根據此，該編碼裝置可抑制過度進行去區塊濾波處理之情形。
例如，前述亮度修正處理亦可以是LIC(Local Illumination Compensation，局部光照補償)處理。
例如，亦可以是：當前述差比前述閾值大的情況下，藉由將表示前述邊界之邊界強度之Bs設定成0以外之值，而在前述邊界適用前述去區塊濾波處理，當前述差比前述閾值小的情況下，藉由將前述Bs設定成0，而不在前述邊界適用前述去區塊濾波處理。
例如，前述對象區塊及前述鄰接區塊亦可以是預測處理之單位區塊。
與本揭示之一態樣相關之解碼裝置具備電路與記憶體，前述電路是使用前述記憶體，當用在針對對象區塊之預測圖像之亮度修正處理之第1亮度修正參數、以及、用在針對與前述對象區塊鄰接之鄰接區塊之前述亮度修正處理之第2亮度修正參數的差比事先決定之閾值大的情況下，在前述對象區塊與前述鄰接區塊的邊界適用去區塊濾波處理，當前述差比前述閾值小的情況下，不在前述邊界適用前述去區塊濾波處理。
根據此，該解碼裝置是當對象區塊之亮度修正參數與鄰接區塊之亮度修正參數的差比閾值大的情況下，進行去區塊濾波處理。藉此，由於可降低主觀上醒目之區塊雜訊，故可提升解碼圖像之畫質。又，該解碼裝置是當上述差比閾值小的情況下不進行去區塊濾波處理。藉此，該解碼裝置可抑制過度進行去區塊濾波處理之情形。
例如，亦可以是：當對前述對象區塊及前述鄰接區塊之其中一者適用前述亮度修正處理、對前述對象區塊及前述鄰接區塊之另一者不適用前述亮度修正處理的情況下，在前述邊界適用前述去區塊濾波處理。
根據此，由於可降低主觀上醒目之區塊雜訊，故可提升解碼圖像之畫質。
例如，亦可以是：當對前述對象區塊與前述鄰接區塊之任一者皆不適用前述亮度修正處理的情況下，不在前述邊界適用前述去區塊濾波處理。
根據此，該解碼裝置可抑制過度進行去區塊濾波處理之情形。
例如，前述亮度修正處理亦可以是LIC(Local Illumination Compensation)處理。
例如，亦可以是：當前述差比前述閾值大的情況下，藉由將表示前述邊界之邊界強度之Bs設定成0以外之值，而在前述邊界適用前述去區塊濾波處理，當前述差比前述閾值小的情況下，藉由將前述Bs設定成0，而不在前述邊界適用前述去區塊濾波處理。
例如，前述對象區塊及前述鄰接區塊亦可以是預測處理之單位區塊。
與本揭示之一態樣相關之編碼方法是當用在針對對象區塊之預測圖像之亮度修正處理之第1亮度修正參數、以及、用在針對與前述對象區塊鄰接之鄰接區塊之前述亮度修正處理之第2亮度修正參數的差比事先決定之閾值大的情況下，在前述對象區塊與前述鄰接區塊的邊界適用去區塊濾波處理，當前述差比前述閾值小的情況下，不在前述邊界適用前述去區塊濾波處理。
根據此，該編碼方法是當對象區塊之亮度修正參數與鄰接區塊之亮度修正參數的差比閾值大的情況下，進行去區塊濾波處理。藉此，由於可降低主觀上醒目之區塊雜訊，故可提升解碼圖像之畫質。又，該編碼方法是當上述差比閾值小的情況下不進行去區塊濾波處理。藉此，該編碼方法可抑制過度進行去區塊濾波處理之情形。
與本揭示之一態樣相關之解碼方法是當用在針對對象區塊之預測圖像之亮度修正處理之第1亮度修正參數、以及、用在針對與前述對象區塊鄰接之鄰接區塊之前述亮度修正處理之第2亮度修正參數的差比事先決定之閾值大的情況下，在前述對象區塊與前述鄰接區塊的邊界適用去區塊濾波處理，當前述差比前述閾值小的情況下，不在前述邊界適用前述去區塊濾波處理。
根據此、該解碼方法是當對象區塊之亮度修正參數與鄰接區塊之亮度修正參數的差比閾值大的情況下，進行去區塊濾波處理。藉此，由於可降低主觀上醒目之區塊雜訊，故可提升解碼圖像之畫質。又，該解碼方法是當上述差比閾值小的情況下不進行去區塊濾波處理。藉此，該解碼方法可抑制過度進行去區塊濾波處理之情形。
再者，該等總括或具體之態樣可以是藉由系統、裝置、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等之非暫時性記錄媒體而實現，亦可以是藉由系統、裝置、方法、積體電路、電腦程式、及記錄媒體之任意組合而實現。
以下，一面參考圖式一面具體地說明實施形態。
另，以下說明之實施形態皆是顯示總括或具體之例。在以下之實施形態顯示之數值、形狀、材料、構成要件、構成要件之配置位置及連接形態、步驟、步驟之順序等只是一例，其主旨並非將申請專利之範圍限定。又，以下之實施形態之構成要件中，未記載於顯示最上位概念之獨立請求項之構成要件是作為任意之構成要件而說明。
(實施形態1)
首先，說明實施形態1之概要，來當作可將在後述之本揭示之各態樣中說明之處理及/或構成予以適用之編碼裝置及解碼裝置之一例。不過，實施形態1只不過是可將在本揭示之各態樣中說明之處理及/或構成予以適用之編碼裝置及解碼裝置之一例，在本揭示之各態樣中說明之處理及/或構成亦可在與實施形態1不同之編碼裝置及解碼裝置中實施。
對實施形態1適用在本揭示之各態樣中說明之處理及/或構成的情況，例如亦可以是進行以下之任一者。
(1)對於實施形態1之編碼裝置或解碼裝置，將構成該編碼裝置或解碼裝置之複數個構成要件中之與在本揭示之各態樣中說明之構成要件對應之構成要件，替換成在本揭示之各態樣中說明之構成要件。
(2)對於實施形態1之編碼裝置或解碼裝置，針對構成該編碼裝置或解碼裝置之複數個構成要件中之一部分之構成要件，施行功能或實施之處理之追加、替換、刪除等任意之變更，並且，將與在本揭示之各態樣中說明之構成要件對應之構成要件，替換成在本揭示之各態樣中說明之構成要件。
(3)對於實施形態1之編碼裝置或解碼裝置所實施之方法，施行處理之追加、及/或針對該方法所含有之複數個處理中之一部分之處理進行替換、刪除等任意之變更，並且，將與在本揭示之各態樣中說明之處理對應之處理，替換成在本揭示之各態樣中說明之處理。
(4)把構成實施形態1之編碼裝置或解碼裝置之複數個構成要件中之一部分之構成要件，與以下之構成要件組合而實施：在本揭示之各態樣中說明之構成要件、將在本揭示之各態樣中說明之構成要件所具備之功能之一部分含括在內之構成要件、或是將在本揭示之各態樣中說明之構成要件所實施之處理之一部分予以實施之構成要件。
(5)把將構成實施形態1之編碼裝置或解碼裝置之複數個構成要件中之一部分之構成要件所具備之功能之一部分含括在內之構成要件、或是將構成實施形態1之編碼裝置或解碼裝置之複數個構成要件中之一部分之構成要件所實施之處理之一部分予以實施之構成要件，與以下之構成要件組合而實施：在本揭示之各態樣中說明之構成要件、將在本揭示之各態樣中說明之構成要件所具備之功能之一部分含括在內之構成要件、或是將在本揭示之各態樣中說明之構成要件所實施之處理之一部分予以實施之構成要件。
(6)對於實施形態1之編碼裝置或解碼裝置所實施之方法，將該方法含有之複數個處理中之與在本揭示之各態樣中說明之處理對應之處理，替換成在本揭示之各態樣中說明之處理。
(7)把實施形態1之編碼裝置或解碼裝置所實施之方法含有之複數個處理中之一部分的處理，與在本揭示之各態樣中說明之處理組合而實施。
另，在本揭示之各態樣中說明之處理及/或構成之實施法並非限定於上述之例。例如，亦可以實施於與在實施形態1揭示之動態圖像/圖像編碼裝置或動態圖像/圖像解碼裝置以不同之目的而利用之裝置，亦可以將在各態樣中說明之處理及/或構成予以單獨實施。又，亦可以將在不同之態樣中說明之處理及/或構成予以組合而實施。
[編碼裝置之概要]
首先，說明與實施形態1相關之編碼裝置之概要。圖1是顯示與實施形態1相關之編碼裝置100之功能構成的方塊圖。編碼裝置100是將動態圖像/圖像以區塊單位編碼之動態圖像/圖像編碼裝置。
如圖1所示，編碼裝置100是將圖像以區塊單位編碼之裝置，具有分割部102、相減部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、相加部116、區塊記憶體118、迴路濾波部120、幀記憶體122、幀內預測部124、幀間預測部126、預測控制部128。
編碼裝置100例如是藉由通用處理器及記憶體而實現。此情況下，當藉由處理器而執行儲存在記憶體之軟體程式時，處理器是作為分割部102、相減部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、相加部116、迴路濾波部120、幀內預測部124、幀間預測部126及預測控制部128而發揮功能。又，編碼裝置100亦可以以對應於分割部102、相減部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、相加部116、迴路濾波部120、幀內預測部124、幀間預測部126及預測控制部128之專用之1個以上之電子電路而實現。
以下，針對編碼裝置100含有之各構成要件進行說明。
[分割部]
分割部102是將輸入動態圖像所含有之各圖片分割成複數個區塊，將各區塊朝相減部104輸出。例如，分割部102首先是將圖片分割成固定尺寸(例如128x128)之區塊。前述固定尺寸之區塊有時被稱作編碼樹單元(CTU)。然後，分割部102是基於遞迴性之四元樹(quadtree)及/或二元樹(binary tree)區塊分割而將固定尺寸之各區塊分割成可變尺寸(例如64x64以下)之區塊。前述可變尺寸之區塊有時被稱作編碼單元(CU)、預測單元(PU)或轉換單元(TU)。另，在本實施形態並不需要區分CU、PU及TU，亦可是圖片內之一部分或全部之區塊成為CU、PU、TU之處理單位。
圖2是顯示實施形態1之區塊分割之一例的圖。在圖2，實線是表示由四元樹區塊分割形成之區塊邊界，虛線是表示由二元樹區塊分割形成之區塊邊界。
在此，區塊10是128x128像素之正方形區塊(128x128區塊)。前述128x128區塊10首先是分割成4個正方形之64x64區塊(四元樹區塊分割)。
左上之64x64區塊是進一步垂直地分割成2個矩形之32x64區塊，左邊之32x64區塊是進一步垂直地分割成2個矩形之16x64區塊(二元樹區塊分割)。結果，左上之64x64區塊是分割成2個16x64區塊11、12、以及32x64區塊13。
右上之64x64區塊是水平地分割成2個矩形之64x32區塊14、15(二元樹區塊分割)。
左下之64x64區塊是分割成4個正方形之32x32區塊(四元樹區塊分割)。4個32x32區塊中，左上之區塊及右下之區塊被進一步分割。左上之32x32區塊是垂直地分割成2個矩形之16x32區塊，右邊之16x32區塊是進一步水平地分割成2個16x16區塊(二元樹區塊分割)。右下之32x32區塊是水平地分割成2個32x16區塊(二元樹區塊分割)。結果，左下之64x64區塊是分割成16x32區塊16、2個16x16區塊17、18、2個32x32區塊19、20、2個32x16區塊21、22。
右下之64x64區塊23未分割。
如以上，在圖2，區塊10是基於遞迴性之四元樹及二元樹區塊分割而分割成13個可變尺寸之區塊11~23。如此之分割有時被稱作QTBT(quad-tree plus binary tree，四元樹加二元樹)分割。
另，雖然在圖2是將1個區塊分割成4個或2個區塊(四元樹或二元樹區塊分割)，但分割並非限定於此。例如，亦可以將1個區塊分割成3個區塊(三元樹區塊分割)。如此之包含三元樹區塊分割之分割有時被稱作MBT(multi type tree，多類型樹)分割。
[相減部]
相減部104是以被分割部102分割之區塊單位而從原訊號(原樣本)減去預測訊號(預測樣本)。亦即，相減部104是算出編碼對象區塊(以下稱作當前區塊)之預測誤差(亦稱作殘差)。然後，相減部104是將算出之預測誤差朝轉換部106輸出。
原訊號是編碼裝置100之輸入訊號，且是表示構成動態圖像之各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。在以下，有時亦將表示圖像的訊號稱作樣本。
[轉換部]
轉換部106是將空間領域之預測誤差轉換成頻率領域之轉換係數，並將轉換係數朝量化部108輸出。具體而言，轉換部106例如是對空間領域之預測誤差進行事先決定之離散餘弦轉換(DCT)或離散正弦轉換(DST)。
另，轉換部106亦可以從複數個轉換類型中適應性地選擇轉換類型，並使用與選擇之轉換類型對應之轉換基底函數(transform basis function)而將預測誤差轉換成轉換係數。如此之轉換有時被稱作EMT(explicit multiple core transform，顯式多重核心轉換)或AMT(adaptive multiple transform，適應性多重轉換)。
複數個轉換類型例如是包含DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3是顯示與各轉換類型對應之轉換基底函數的表。在圖3，N是表示輸入像素之數量。從該等複數個轉換類型中之轉換類型的選擇，例如，可以取決於預測之種類(幀內預測及幀間預測)，亦可以取決於幀內預測模式。
表示是否適用如此之EMT或AMT的資訊(例如稱作AMT旗標)及表示被選擇之轉換類型的資訊是以CU層級而訊號化。另，該等資訊之訊號化並非一定要限定於CU層級，亦可以是其他層級(例如序列層級、圖片層級、片段(slice)層級、圖塊(tile)層級或CTU層級)。
又，轉換部106亦可以將轉換係數(轉換結果)再轉換。如此之再轉換有時被稱作AST(adaptive secondary transform，適應性二次轉換)或NSST(non-separable secondary transform，不可分離二次轉換)。例如，轉換部106是依照與幀內預測誤差對應之轉換係數之區塊所含有之各子區塊(例如4x4子區塊)而進行再轉換。表示是否適用NSST的資訊、以及與用於NSST之轉換矩陣相關的資訊是以CU層級而訊號化。另，該等資訊之訊號化並非一定要限定於CU層級，亦可以是其他層級(例如序列層級、圖片層級、片段層級、圖塊層級或CTU層級)。
在此，Separable之轉換是如下之方式：隨著輸入之維數，依各方向予以分離而進行複數次轉換；Non-Separable之轉換是如下之方式：當輸入為多維時，將2個以上之維度匯整視為1維而一起進行轉換。
例如，Non-Separable之轉換之1例是當輸入為4×4之區塊的情況下，將其視為具有16個元素之一陣列，以16×16之轉換矩陣對前述陣列進行轉換處理。
又，Non-Separable之轉換之例亦有如下之例：在同樣地將4×4之輸入區塊視為具有16個元素之一陣列後，對前述陣列進行複數次Givens旋轉(Hypercube Givens Transform，超立方體吉文斯轉換)。
[量化部]
量化部108是將從轉換部106輸出之轉換係數量化。具體而言，量化部108是以預定之掃描順序來掃描當前區塊之轉換係數，基於與被掃描之轉換係數對應之量化參數(QP)而將該轉換係數量化。然後，量化部108是將當前區塊之經過量化之轉換係數(以下稱作量化係數)朝熵編碼部110及反量化部112輸出。
預定之順序是用於轉換係數之量化/反量化之順序。例如，預定之掃描順序是以頻率之升序(從低頻至高頻之順序)或降序(從高頻至低頻之順序)而定義。
量化參數是定義量化步距(量化寬度)之參數。例如，若量化參數之值增加則量化步距亦增加。亦即，若量化參數之值增加則量化誤差增大。
[熵編碼部]
熵編碼部110是藉由對從量化部108輸入之量化係數進行可變長度編碼，而生成編碼訊號(編碼位元串流)。具體而言，熵編碼部110例如是將量化係數二進位化，對二進位訊號進行算術編碼。
[反量化部]
反量化部112是對從量化部108輸入之量化係數進行反量化。具體而言，反量化部112是以預定之掃描順序對當前區塊之量化係數進行反量化。然後，反量化部112是將當前區塊之經過反量化之轉換係數朝反轉換部114輸出。
[反轉換部]
反轉換部114是藉由對從反量化部112輸入之轉換係數進行反轉換，而令預測誤差復原。具體而言，反轉換部114是藉由對轉換係數進行與轉換部106之轉換對應之反轉換，而令當前區塊之預測誤差復原。然後，反轉換部114是將經過復原之預測誤差朝相加部116輸出。
另，經過復原之預測誤差因量化而失去資訊，故與相減部104所算出之預測誤差不一致。亦即，經過復原之預測誤差是含有量化誤差。
[相加部]
相加部116是藉由將從反轉換部114輸入之預測誤差與從預測控制部128輸入之預測樣本予以相加，而將當前區塊再構成。然後，相加部116是將經過再構成之區塊朝區塊記憶體118及迴路濾波部120輸出。再構成區塊有時被稱作局部解碼區塊。
[區塊記憶體]
區塊記憶體118是用於將在幀內預測被參考之區塊且為編碼對象圖片(以下稱作當前圖片)內之區塊儲存之記憶部。具體而言，區塊記憶體118是將從相加部116輸出之再構成區塊儲存。
[迴路濾波部]
迴路濾波部120是對藉由相加部116進行再構成後之區塊施加迴路濾波，將經過濾波之再構成區塊朝幀記憶體122輸出。迴路濾波是在編碼迴路內使用之濾波(迴路內濾波器，In-loop filter)，例如，包含去區塊濾波(DF)、取樣適應性偏移(SAO)及適應性迴路濾波器(ALF)等。
在ALF是適用用於將編碼失真去除之最小平方誤差濾波器，例如對當前區塊內之各個2x2子區塊，基於局部性梯度(gradient)之方向及活性度(activity)而適用從複數個濾波器中選擇之1個濾波器。
具體而言，首先，子區塊(例如2x2子區塊)是分類成複數個類別(例如15或25類別)。子區塊之分類是基於梯度之方向及活性度而進行。例如，使用梯度之方向值D(例如0~2或0~4)與梯度之活性值A(例如0~4)而算出分類值C(例如C=5D+A)。然後，基於分類值C而將子區塊分類成複數個類別(例如15或25類別)。
梯度之方向值D例如是藉由將複數個方向(例如水平、垂直及2個對角方向)之梯度進行比較而導出。又，梯度之活性值A例如是將複數個方向之梯度相加，藉由將相加結果量化而導出。
基於如此分類之結果，而從複數個濾波器中決定用在子區塊之濾波器。
做為在ALF使用之濾波器之形狀，例如利用圓對稱形狀。圖4A~圖4C是顯示在ALF使用之濾波器之形狀之複數例的圖。圖4A是顯示5x5菱形形狀濾波器，圖4B是顯示7x7菱形形狀濾波器，圖4C是顯示9x9菱形形狀濾波器。表示濾波器之形狀之資訊是以圖片層級而訊號化。另，表示濾波器之形狀之資訊的訊號化並非一定要限定於圖片層級，亦可以是其他層級(例如序列層級、片段層級、圖塊層級、CTU層級或CU層級)。
ALF之開啟/關閉例如是以圖片層級或CU層級而決定。例如，關於亮度是以CU層級而決定是否適用ALF，關於色差是以圖片層級而決定是否適用ALF。表示ALF之開啟/關閉之資訊是以圖片層級或CU層級而訊號化。另，表示ALF之開啟/關閉之資訊之訊號化並非一定要限定於圖片層級或CU層級，亦可以是其他層級(例如序列層級、片段層級、圖塊層級或CTU層級)。
可選擇之複數個濾波器(例如到15或25為止之濾波器)之係數組是以圖片層級而訊號化。另，係數組之訊號化並非一定要限定於圖片層級，亦可以是其他層級(例如序列層級、片段層級、圖塊層級、CTU層級、CU層級或子區塊層級)。
[幀記憶體]
幀記憶體122是用於將幀間預測用之參考圖片儲存之記憶部，有時被稱作幀緩衝器。具體而言，幀記憶體122是儲存被迴路濾波部120濾波後之再構成區塊。
[幀內預測部]
幀內預測部124是參考儲存在區塊記憶體118之當前圖片內之區塊而進行當前區塊之幀內預測(亦稱作畫面內預測)，藉此生成預測訊號(幀內預測訊號)。具體而言，幀內預測部124是參考與當前區塊鄰接之區塊之樣本(例如亮度值、色差值)而進行幀內預測，藉此生成幀內預測訊號，將幀內預測訊號朝預測控制部128輸出。
例如，幀內預測部124是使用事先規定之複數個幀內預測模式之其中1者來進行幀內預測。複數個幀內預測模式包含有1個以上之非方向性預測模式、以及複數個方向性預測模式。
1個以上之非方向性預測模式例如是包含H.265/HEVC(High-Efficiency Video Coding)規格(非專利文獻1)所規定之Planar(平面)預測模式及DC(直流)預測模式。
複數個方向性預測模式例如是包含H.265/HEVC規格所規定之33個方向之預測模式。另，複數個方向性預測模式亦可以是除了33個方向之外還更包含32個方向之預測模式(合計65個方向性預測模式)。圖5A是顯示幀內預測之67個幀內預測模式(2個非方向性預測模式及65個方向性預測模式)的圖。實線箭頭是表示H.265/HEVC規格所規定之33個方向，虛線箭頭是表示追加之32個方向。
另，在色差區塊之幀內預測中，亦可以參考亮度區塊。亦即，亦可以基於當前區塊之亮度成分而預測當前區塊之色差成分。如此之幀內預測有時被稱作CCLM(cross-component linear model，跨成分線性模型)預測。亦可以將如此之參考亮度區塊而進行的色差區塊之幀內預測模式(例如稱作CCLM模式)當作色差區塊之幀內預測模式之其中1者而加入。
幀內預測部124亦可基於水平/垂直方向之參考像素之梯度而將幀內預測後之像素值修正。如此之伴隨著修正的幀內預測有時被稱作PDPC(position dependent intra prediction combination，位置相關幀內預測組合)。表示有無適用PDPC之資訊(例如稱作PDPC旗標)例如是以CU層級而訊號化。另，前述資訊之訊號化並非一定要限定於CU層級，亦可以是其他層級(例如序列層級、圖片層級、片段層級、圖塊層級或CTU層級)。
[幀間預測部]
幀間預測部126是參考儲存在幀記憶體122之參考圖片且為與當前圖片不同之參考圖片，而進行當前區塊之幀間預測(亦稱作畫面間預測)，藉此生成預測訊號(幀間預測訊號)。幀間預測是以當前區塊或當前區塊內之子區塊(例如4x4區塊)之單位而進行。例如，幀間預測部126是針對當前區塊或子區塊而在參考圖片內進行運動估計(motion estimation)。然後，幀間預測部126是使用藉由運動估計而獲得之運動資訊(例如運動向量)進行運動補償，藉此生成當前區塊或子區塊之幀間預測訊號。然後，幀間預測部126是將生成之幀間預測訊號朝預測控制部128輸出。
用於運動補償之運動資訊被訊號化。運動向量之訊號化亦可以使用運動向量預測子(motion vector predictor)。亦即，亦可以讓運動向量與運動向量預測子之間之差分被訊號化。
另，不只使用藉由運動估計所獲得之當前區塊之運動資訊，亦可使用鄰接區塊之運動資訊，而生成幀間預測訊號。具體而言，亦可以對基於藉由運動估計所獲得之運動資訊而來之預測訊號、以及基於鄰接區塊之運動資訊而來之預測訊號進行加權相加，藉此，以當前區塊內之子區塊單位而生成幀間預測訊號。如此之幀間預測(運動補償)有時被稱作OBMC(overlapped block motion compensation，重疊區塊移動補償)。
在如此之OBMC模式，表示用於OBMC之子區塊的尺寸之資訊(例如稱作OBMC區塊尺寸)是以序列層級而訊號化。又，表示是否適用OBMC模式之資訊(例如稱作OBMC旗標)是以CU層級而訊號化。另，該等資訊之訊號化層級並非一定要限定於序列層級及CU層級，亦可以是其他層級(例如圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。
針對OBMC模式進行更具體之說明。圖5B及圖5C是用於說明利用OBMC處理之預測圖像修正處理之概要的流程圖及概念圖。
首先，使用分配給編碼對象區塊之運動向量(MV)而取得利用通常之運動補償得到之預測圖像(Pred)。
接著，將完成編碼之左鄰接區塊之運動向量(MV_L)適用至編碼對象區塊而取得預測圖像(Pred_L)，藉由將前述預測圖像與Pred_L加權重疊而進行預測圖像之第1次修正。
同樣地，將完成編碼之上鄰接區塊之運動向量(MV_U)適用至編碼對象區塊而取得預測圖像(Pred_U)，藉由將進行了前述第1次修正之預測圖像與Pred_U加權重疊而進行預測圖像之第2次修正，將其當作最終之預測圖像。
另，雖然在此說明的是使用左鄰接區塊與上鄰接區塊之2階段之修正方法，但亦可以是使用右鄰接區塊、下鄰接區塊而進行比2階段還多次之修正的構成。
另，進行重疊之區域亦可僅為區塊邊界附近之一部分之區域，而不是區塊整體之像素區域。
另，雖然在此說明的是針對來自1張參考圖片之預測圖像修正處理，但由複數張參考圖片將預測圖像修正的情況亦同樣，在取得由各參考圖片修正之預測圖像後，藉由將獲得之預測圖像進一步重疊而成為最終之預測圖像。
另，前述處理對象區塊可以是預測區塊單位，亦可以是將預測區塊進一步分割之子區塊單位。
作為判定是否適用OBMC處理之方法，例如有使用obmc_flag之方法，obmc_flag為表示是否適用OBMC處理之訊號。具體之一例是如下：在編碼裝置，判定編碼對象區塊是否屬於運動複雜之區域，當屬於運動複雜之區域的情況下，將obmc_flag設定成值1而適用OBMC處理來進行編碼，當不屬於運動複雜之區域的情況下，將obmc_flag設定成值0，不適用OBMC處理而進行編碼。另一方面，解碼裝置是將描述在串流之obmc_flag解碼，藉此因應其值來切換是否適用OBMC處理而進行解碼。
另，運動資訊亦可以不訊號化而是在解碼裝置側被導出。例如，亦可以使用H.265/HEVC規格所規定之合併模式。又，例如，亦可以藉由在解碼裝置側進行運動估計而導出運動資訊。此情況是不使用當前區塊之像素值而進行運動估計。
在此，針對在解碼裝置側進行運動估計之模式進行說明。此在解碼裝置側進行運動估計之模式有時被稱作PMMVD(pattern matched motion vector derivation，樣式匹配移動向量導出)模式或FRUC(frame rate up-conversion，幀率提升轉換)模式。
在圖5D顯示FRUC處理之一例。首先，參考在空間或時間上與當前區塊鄰接之完成編碼區塊之運動向量，而生成分別具有運動向量預測子之複數個候選之清單(亦可以與合併清單共通)。接著，從登記在候選清單中之複數個候選MV中選擇最佳候選MV。例如，將候選清單所含有之各候選的評價值算出，基於評價值而選擇1個候選。
然後，基於被選擇之候選之運動向量而導出用於當前區塊之運動向量。具體而言，例如，直接將被選擇之候選之運動向量(最佳候選MV)當作用於當前區塊之運動向量而導出。又，例如，亦可以藉由在與被選擇之候選之運動向量對應之參考圖片內的位置之周邊區域進行樣式匹配(pattern matching)，而導出用於當前區塊之運動向量。亦即，亦可以對最佳候選MV之周邊之區域以同樣之方法進行估計，當有評價值為更佳值之MV的情況下，將最佳候選MV更新成前述MV，將其當作當前區塊之最終之MV。另，亦可以採用不實施該處理之構成。
亦可以在以子區塊單位進行處理的情況下亦採用完全同樣之處理。
另，評價值是藉由如下而算出：利用與運動向量對應之參考圖片內之區域、以及預定之區域之間之樣式匹配，求出再構成圖像之差分值。另，亦可以是除了差分值之外還使用其他之資訊而算出評價值。
關於樣式匹配是使用第1樣式匹配或第2樣式匹配。第1樣式匹配及第2樣式匹配有時分別被稱作雙向匹配(bilateral matching)及模板匹配(template matching)。
第1樣式匹配是在既為相異之2個參考圖片內之2個區塊亦為沿著當前區塊之運動軌跡(motion trajectory)之2個區塊之間進行樣式匹配。所以，第1樣式匹配是使用沿著當前區塊之運動軌跡之其他參考圖片內的區域，來作為上述之用於算出候選之評價值的預定之區域。
圖6是用於說明在沿著運動軌跡之2個區塊間之樣式匹配(雙向匹配)之一例的圖。如圖6所示，第1樣式匹配是藉由估計既為沿著當前區塊(Cur block)之運動軌跡之2個區塊亦為相異之2個參考圖片(Ref0、Ref1)內之2個區塊的配對中最匹配的配對，而導出2個運動向量(MV0、MV1)。具體而言，對於當前區塊，導出藉由候選MV而指定之第1完成編碼參考圖片(Ref0)內的指定位置之再構成圖像、以及藉由對稱MV而指定之第2完成編碼參考圖片(Ref1)內的指定位置之再構成圖像的差分，並使用獲得之差分值而算出評價值，前述對稱MV是將前述候選MV以顯示時間間隔來縮放(scaling)而獲得的MV。選擇在複數個候選MV中評價值為最佳值之候選MV來作為最終MV即可。
假設是連續之運動軌跡，則指出2個參考區塊的運動向量(MV0、MV1)是相對於當前圖片(Cur Pic)和2個參考圖片(Ref0、Ref1)之間的時間距離(TD0、TD1)成比例。例如，若當前圖片在時間上是位於2個參考圖片之間、且從當前圖片往2個參考圖片之時間距離是相等，則第1樣式匹配會導出鏡射對稱之雙向之運動向量。
第2樣式匹配是在當前圖片內之模板(在當前圖片內與當前區塊鄰接之區塊(例如上及/或左鄰接區塊))與參考圖片內之區塊之間進行樣式匹配。所以，第2樣式匹配是使用當前圖片內之與當前區塊鄰接之區塊，來作為上述之用於算出候選之評價值的預定之區域。
圖7是用於說明在當前圖片內之模板與參考圖片內之區塊之間的樣式匹配(模板匹配)之一例的圖。如圖7所示，第2樣式匹配是藉由在參考圖片(Ref0)內估計與在當前圖片(Cur Pic)內鄰接於當前區塊(Cur block)之區塊最匹配的區塊，而導出當前區塊之運動向量。具體而言，對於當前區塊，導出左鄰接及上鄰接雙方或其中一方的完成編碼區域之再構成圖像、以及藉由候選MV而指定之完成編碼參考圖片(Ref0)內的同等位置之再構成圖像的差分，並使用獲得之差分值而算出評價值，選擇在複數個候選MV中評價值為最佳值之候選MV來作為最佳候選MV即可。
如此之表示是否適用FRUC模式的資訊(例如稱作FRUC旗標)是以CU層級而訊號化。又，當有要適用FRUC模式的情況下(例如FRUC旗標為真的情況下)，表示樣式匹配之方法(第1樣式匹配或第2樣式匹配)的資訊(例如稱作FRUC模式旗標)是以CU層級而訊號化。另，該等資訊之訊號化並非一定要限定於CU層級，亦可以是其他層級(例如序列層級、圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。
在此說明的是基於假設等速直線運動之模型而導出運動向量之模式。此模式有時被稱作BIO (bi-directional optical flow，雙向光流)模式。
圖8是用於說明假設等速直線運動之模型的圖。在圖8，(vx ,vy )是表示速度向量，τ0 、τ1 分別表示當前圖片(Cur Pic)和2個參考圖片(Ref0 ,Ref1 )之間的時間距離。(MVx0 ,MVy0 )是表示與參考圖片Ref0 對應之運動向量，(MVx1 、MVy1 )是表示與參考圖片Ref1 對應之運動向量。
此時在速度向量(vx ,vy )之等速直線運動之假設下，(MVx0 ,MVy0 )及(MVx1 ,MVy1 )分別表示成(vx τ0 ,vy τ0 )及(-vx τ1 ,-vy τ1 )，以下之光流等式(1)成立。
[式子1]
在此，I(k) 是表示運動補償後之參考圖像k(k=0,1)之亮度值。前述光流等式是表示(i)亮度值之時間微分、(ii)水平方向之速度及參考圖像之空間梯度之水平成分之積、(iii)垂直方向之速度及參考圖像之空間梯度之垂直成分之積、的和等於零。基於前述光流等式與赫米特內插(Hermite interpolation)之組合，而令由合併清單等獲得之區塊單位之運動向量以像素單位被修正。
另，亦可以是以不同於基於假設等速直線運動之模型而將運動向量導出之方法，在解碼裝置側將運動向量導出。例如，亦可以基於複數個鄰接區塊之運動向量而以子區塊單位將運動向量導出。
在此，針對基於複數個鄰接區塊之運動向量而以子區塊單位將運動向量導出之模式進行說明。前述模式有時被稱作仿射運動補償預測(affine motion compensation prediction)模式。
圖9A是用於說明基於複數個鄰接區塊之運動向量而將子區塊單位之運動向量導出的圖。在圖9A，當前區塊是含有16個4x4子區塊。在此是基於鄰接區塊之運動向量而將當前區塊之左上角控制點之運動向量v0 導出，基於鄰接子區塊之運動向量而將當前區塊之右上角控制點之運動向量v1 導出。然後，使用2個運動向量v0 及v1 ，藉由以下之式子(2)，將當前區塊內之各子區塊之運動向量(vx ,vy )導出。
[式子2]
在此，x及y分別表示子區塊之水平位置及垂直位置，w是表示事先決定之加權係數。
在如此之仿射運動補償預測模式，亦可以含有左上及右上角控制點之運動向量之導出方法不同之幾個模式。表示如此之仿射運動補償預測模式之資訊(例如稱作仿射旗標)是以CU層級被訊號化。另，此表示仿射運動補償預測模式之資訊之訊號化並非一定要限定於CU層級，亦可以是其他層級(例如序列層級、圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。
[預測控制部]
預測控制部128是選擇幀內預測訊號及幀間預測訊號之任一者，將選擇之訊號當作預測訊號而朝相減部104及相加部116輸出。
在此，說明藉由合併模式而將編碼對象圖片之運動向量導出之例。圖9B是用於說明利用合併模式之運動向量導出處理之概要的圖。
首先，將登記了預測MV之候選的預測MV清單生成。作為預測MV之候選，有空間鄰接預測MV、時間鄰接預測MV、結合預測MV、零預測MV等，空間鄰接預測MV是以空間而言位於編碼對象區塊之周邊之複數個完成編碼區塊所具有之MV，時間鄰接預測MV是完成編碼參考圖片中之將編碼對象區塊之位置投影後之近處之區塊所具有之MV，結合預測MV是將空間鄰接預測MV與時間鄰接預測MV之MV值組合而生成之MV，零預測MV是值為零之MV。
接著，從登記在預測MV清單中之複數個預測MV中選擇1個預測MV，藉此決定編碼對象區塊之MV。
再者，可變長度編碼部令merge_idx描述在串流而編碼，merge_idx是表示選擇了哪一個預測MV之訊號。
另，登記在圖9B說明之預測MV清單中之預測MV是一例，亦可以是與圖中之個數不同之個數、或者為不包含圖中之預測MV之一部分種類之構成、或者為追加圖中之預測MV的種類以外的預測MV之構成。
另，亦可以使用藉由合併模式而導出之編碼對象區塊之MV來進行後述之DMVR處理，藉此決定最終之MV。
在此，針對使用DMVR處理而決定MV之例進行說明。
圖9C是用於說明DMVR處理之概要的概念圖。
首先，將設定在處理對象區塊之最合適MVP當作候選MV，依循前述候選MV，從L0方向之完成處理圖片即第1參考圖片、及L1方向之完成處理圖片即第2參考圖片分別取得參考像素，取各參考像素之平均，藉此生成模板。
接著，使用前述模板，分別估計第1參考圖片及第2參考圖片之候選MV之周邊區域，將成本最小之MV決定為最終之MV。另，成本值是使用模板之各像素值與估計區域之各像素值的差分值及MV值等而算出。
另，在此說明之處理之概要對編碼裝置及解碼裝置而言基本上是共通。
另，即便與在此說明之處理不同，只要是可估計候選MV之周邊而將最終之MV導出之處理，則使用其他處理亦無妨。
在此，針對使用LIC處理而將預測圖像生成之模式進行說明。
圖9D是用於說明使用了利用LIC處理之亮度修正處理之預測圖像生成方法之概要的圖。
首先，將用於從完成編碼圖片即參考圖片取得與編碼對象區塊對應之參考圖像的MV導出。
接著，對於編碼對象區塊，使用左鄰接及上鄰接之完成編碼周邊參考區域之亮度像素值、以及藉由MV而指定之參考圖片內之同等位置之亮度像素值，將表示亮度值在參考圖片與編碼對象圖片是如何變化之資訊擷取而算出亮度修正參數。
對於藉由MV而指定之參考圖片內之參考圖像，使用前述亮度修正參數而進行亮度修正處理，藉此生成對應於編碼對象區塊之預測圖像。
另，圖9D之前述周邊參考區域之形狀是一例，亦可以使用其以外之形狀。
又，雖然在此說明的是由1張參考圖片來將預測圖像生成之處理，但由複數張參考圖片將預測圖像生成的情況亦同樣，在由各參考圖片取得之參考圖像以同樣之方法進行亮度修正處理後，將預測圖像生成。
作為判定是否適用LIC處理之方法，例如有使用lic_flag之方法，lic_flag為表示是否適用LIC處理之訊號。具體之一例是如下：在編碼裝置，判定編碼對象區塊是否屬於發生亮度變化之區域，當屬於發生亮度變化之區域的情況下，將lic_flag設定成值1而適用LIC處理來進行編碼，當不屬於發生亮度變化之區域的情況下，將lic_flag設定成值0，不適用LIC處理而進行編碼。另一方面，解碼裝置是將描述在串流之lic_flag解碼，藉此因應其值來切換是否適用LIC處理而進行解碼。
作為判定是否適用LIC處理之別的方法，例如，還有依循周邊區塊是否適用了LIC處理而判定之方法。具體之一例是如下：當編碼對象區塊是合併模式的情況下，判定將合併模式處理中之MV導出時所選擇的周邊之完成編碼區塊是否適用了LIC處理而編碼，並因應其結果來切換是否適用LIC處理而進行編碼。另，此例的情況下，解碼之處理亦全部同樣。
[解碼裝置之概要]
接著，說明可將從上述之編碼裝置100輸出之編碼訊號(編碼位元串流)解碼之解碼裝置之概要。圖10是顯示與實施形態1相關之解碼裝置200之功能構成的方塊圖。解碼裝置200是將動態圖像/圖像以區塊單位解碼之動態圖像/圖像解碼裝置。
如圖10所示，解碼裝置200具有熵解碼部202、反量化部204、反轉換部206、相加部208、區塊記憶體210、迴路濾波部212、幀記憶體214、幀內預測部216、幀間預測部218、預測控制部220。
解碼裝置200例如是藉由通用處理器及記憶體而實現。此情況下，當藉由處理器而執行儲存在記憶體之軟體程式時，處理器是作為熵解碼部202、反量化部204、反轉換部206、相加部208、迴路濾波部212、幀內預測部216、幀間預測部218及預測控制部220而發揮功能。又，解碼裝置200亦可以是以對應於熵解碼部202、反量化部204、反轉換部206、相加部208、迴路濾波部212、幀內預測部216、幀間預測部218及預測控制部220之專用之1個以上之電子電路而實現。
以下，針對解碼裝置200含有之各構成要件進行說明。
[熵解碼部]
熵解碼部202是對編碼位元串流進行熵解碼。具體而言，熵解碼部202例如是從編碼位元串流算術解碼成二進位訊號。然後，熵解碼部202是令二進位訊號多值化(debinarize)。藉此，熵解碼部202以區塊單位將量化係數朝反量化部204輸出。
[反量化部]
反量化部204是對從熵解碼部202輸入之解碼對象區塊(以下稱作當前區塊)之量化係數進行反量化。具體而言，反量化部204是對於各個當前區塊之量化係數，基於與該量化係數對應之量化參數而將該量化係數反量化。然後，反量化部204是將當前區塊之經過反量化之量化係數(亦即轉換係數)朝反轉換部206輸出。
[反轉換部]
反轉換部206是藉由對從反量化部204輸入之轉換係數進行反轉換，而令預測誤差復原。
例如，當從編碼位元串流解讀之資訊是表示適用EMT或AMT的情況下(例如AMT旗標為真)，反轉換部206是基於已解讀之表示轉換類型之資訊而將當前區塊之轉換係數反轉換。
又例如，當從編碼位元串流解讀之資訊是表示適用NSST的情況下，反轉換部206是對轉換係數適用反再轉換。
[相加部]
相加部208是藉由將從反轉換部206輸入之預測誤差與從預測控制部220輸入之預測樣本予以相加，而將當前區塊再構成。然後，相加部208是將經過再構成之區塊朝區塊記憶體210及迴路濾波部212輸出。
[區塊記憶體]
區塊記憶體210是用於將在幀內預測被參考之區塊且為解碼對象圖片(以下稱作當前圖片)內之區塊儲存之記憶部。具體而言，區塊記憶體210是將從相加部208輸出之再構成區塊儲存。
[迴路濾波部]
迴路濾波部212是對被相加部208進行再構成後之區塊施加迴路濾波，將經過濾波之再構成區塊朝幀記憶體214及顯示裝置等輸出。
當從編碼位元串流解讀之表示ALF之開啟/關閉之資訊是表示開啟ALF的情況下，基於局部性梯度之方向及活性度而從複數個濾波器中選擇1個濾波器，對再構成區塊適用選擇之濾波器。
[幀記憶體]
幀記憶體214是用於將幀間預測用之參考圖片儲存之記憶部，有時被稱作幀緩衝器。具體而言，幀記憶體214是儲存被迴路濾波部212濾波後之再構成區塊。
[幀內預測部]
幀內預測部216是基於從編碼位元串流解讀之幀內預測模式，參考儲存在區塊記憶體210之當前圖片內之區塊而進行幀內預測，藉此生成預測訊號(幀內預測訊號)。具體而言，幀內預測部216是參考與當前區塊鄰接之區塊之樣本(例如亮度值、色差值)而進行幀內預測，藉此生成幀內預測訊號，將幀內預測訊號朝預測控制部220輸出。
另，當在色差區塊之幀內預測中選擇參考亮度區塊之幀內預測模式的情況下，幀內預測部216亦可以基於當前區塊之亮度成分而預測當前區塊之色差成分。
又，當從編碼位元串流解讀之資訊是表示適用PDPC的情況下，幀內預測部216是基於水平/垂直方向之參考像素之梯度而修正幀內預測後之像素值。
[幀間預測部]
幀間預測部218是參考儲存在幀記憶體214之參考圖片而預測當前區塊。預測是以當前區塊或當前區塊內之子區塊(例如4x4區塊)之單位而進行。例如，幀間預測部218是使用從編碼位元串流解讀之運動資訊(例如運動向量)而進行運動補償，藉此生成當前區塊或子區塊之幀間預測訊號，將幀間預測訊號朝預測控制部220輸出。
另，當從編碼位元串流解讀之資訊是表示適用OBMC模式的情況下，幀間預測部218是除了藉由運動估計所獲得之當前區塊之運動資訊之外，還使用鄰接區塊之運動資訊，而生成幀間預測訊號。
又，當從編碼位元串流解讀之資訊是表示適用FRUC模式的情況下，幀間預測部218是依循從編碼串流解讀之樣式匹配之方法(雙向匹配或模板匹配)而進行運動估計，藉此導出運動資訊。然後，幀間預測部218是使用導出之運動資訊而進行運動補償。
又，幀間預測部218是在適用BIO模式的情況下，基於假設等速直線運動之模型而導出運動向量。又，當從編碼位元串流解讀之資訊是表示適用仿射運動補償預測模式的情況下，幀間預測部218是基於複數個鄰接區塊之運動向量而以子區塊單位將運動向量導出。
[預測控制部]
預測控制部220是選擇幀內預測訊號及幀間預測訊號之任一者，將選擇之訊號當作預測訊號而朝相加部208輸出。
[去區塊濾波處理之第1態樣]
圖11是利用編碼裝置100含有之迴路濾波部120進行之去區塊濾波處理之第1態樣的流程圖。圖11所示之處理是在每個鄰接之2個區塊之區塊邊界進行。另，雖然以下是以編碼裝置100含有之迴路濾波部120之動作為主而進行說明，但解碼裝置200含有之迴路濾波部212之動作亦同樣。
首先，迴路濾波部120是在去區塊濾波處理中，使用位於處理對象之區塊邊界即對象邊界之兩側的區塊之資訊而算出被稱作Bs之值(S201)。接著，迴路濾波部120是因應Bs之值而決定是否在對象邊界進行去區塊濾波處理(S202及S203)。
具體而言，迴路濾波部120是當Bs=2的情況下(在S202為「是」，且在S203為「是」)，對亮度及色差雙方進行去區塊濾波處理(S204及S205)。又，迴路濾波部120是當Bs=1的情況下(在S202為「是」，且在S203為「否」)，對亮度進行去區塊濾波處理(S206)，不對色差進行去區塊濾波處理。又，迴路濾波部120是當Bs=0的情況下(在S202為「否」)，不對亮度及色差之任一者進行去區塊濾波處理。
又，圖12是顯示算出Bs之方法之例的圖。HEVC之去區塊濾波處理之Bs算出是使用以下4個條件：(1)跨邊界而鄰接之2個區塊中之至少其中一方之區塊是幀內預測區塊；(2)跨邊界而鄰接之2個區塊中之至少其中一方之區塊含有優勢之DCT係數；(3)跨邊界而鄰接之2個區塊之運動向量之差分是閾值以上；(4)在跨邊界而鄰接之2個區塊中，運動向量(MV)之條數或參考圖像不同。相對於此，第1態樣是加上以下條件：(5)在跨邊界而鄰接之2個區塊中之至少其中一方之區塊進行LIC處理。另， (5)在跨邊界而鄰接之2個區塊中之至少其中一方之區塊進行LIC處理的情況下之Bs值只要不是0即可，可以是1亦可以是2。
圖13是當滿足條件(5)時設定Bs=1之情況下之Bs算出處理(S201)的流程圖。圖14是顯示此情況下之算出Bs之方法之例的圖。
首先，迴路濾波部120判定是否滿足條件(1)(S211)。當滿足條件(1)的情況下(在S211為「是」)，迴路濾波部120是設定Bs=2(S213)。
當未滿足條件(1)的情況下(在S211為「否」)，迴路濾波部120判定是否滿足條件(2)~(5)之至少其中一者(S212)。當滿足條件(2)~(5)之至少其中一者的情況下(在S212為「是」)，迴路濾波部120設定Bs=1(S214)。當未滿足條件(2)~(5)之任一者的情況下(在S212為「否」)，迴路濾波部120設定Bs=0(S215)。
圖15是當滿足條件(5)時設定Bs=2之情況下之Bs算出處理(S201)的流程圖。圖16是顯示此情況下之算出Bs之方法之例的圖。
首先，迴路濾波部120判定是否滿足條件(1)及(5)之至少其中一者(S211A)。當滿足條件(1)及(5)之至少其中一者的情況下(在S211A為「是」)，迴路濾波部120是設定Bs=2(S213)。
當未滿足條件(1)及(5)之任一者的情況下(在S211A為「否」)，迴路濾波部120判定是否滿足條件(2)~(4)之至少其中一者(S212A)。當滿足條件(2)~(4)之至少其中一者的情況下(在S212A為「是」)，迴路濾波部120是設定Bs=1(S214)。當未滿足條件(2)~(4)之任一者的情況下(在S212A為「否」)，迴路濾波部120是設定Bs=0(S215)。
[LIC處理]
雖然已經使用圖9D來針對LIC處理(亮度修正處理)進行說明，但以下是說明其詳細。
首先，幀間預測部126是將用於從完成編碼圖片即參考圖片取得與編碼對象區塊對應之參考圖像的運動向量導出。
接著，幀間預測部126是對編碼對象區塊，使用左鄰接及上鄰接之完成編碼周邊參考區域之亮度像素值、以及藉由運動向量而指定之參考圖片內之同等位置之亮度像素值，將表示亮度值在參考圖片與編碼對象圖片中如何變化之資訊擷取，而算出亮度修正參數。例如，令編碼對象圖片內之周邊參考區域內之某像素的亮度像素值為p0，令與該像素同等位置之在參考圖片內之周邊參考區域內之像素的亮度像素值為p1。幀間預測部126是對於周邊參考區域內之複數個像素，算出將A×p1+B=p0最佳化之係數A及B來作為亮度修正參數。
接著，幀間預測部126是對於藉由運動向量而指定之參考圖片內的參考圖像，使用亮度修正參數而進行亮度修正處理，藉此生成相對於編碼對象區塊的預測圖像。例如，令參考圖像內之亮度像素值為p2，令亮度修正處理後之預測圖像之亮度像素值為p3。幀間預測部126是對於參考圖像內之各像素算出A×p2+B=p3，藉此生成亮度修正處理後之預測圖像。
另，圖9D之周邊參考區域之形狀是一例，亦可以使用其他形狀。又，亦可以使用圖9D顯示之周邊參考區域之一部分。又，周邊參考區域並非限定於與對編碼對象區塊鄰接之區域，亦可以是不與編碼對象區塊鄰接之區域。又，雖然在圖9D顯示之例，參考圖片內之周邊參考區域是從編碼對象圖片內之周邊參考區域藉由編碼對象圖片之運動向量而指定之區域，但亦可以是藉由其他運動向量而指定之區域。例如，該其他運動向量亦可以是編碼對象圖片內之周邊參考區域之運動向量。
另，雖然在此是說明編碼裝置100之動作，但解碼裝置200之動作亦同樣。
[第1態樣之效果]
根據第1態樣之構成，有可降低主觀上醒目之區塊雜訊之可能性。在此，若進行LIC處理，則預測圖像之亮度值發生變化，故當使用無法將再構成圖像與原畫之殘差訊號完全傳送之lossy編碼的情況下，有主觀上區塊雜訊易於變醒目之可能性。然而，在假設進行了與HEVC同樣之Bs算出處理的情況下，有時即便進行LIC處理仍成為Bs=0，有未進行去區塊濾波處理的情況存在。藉由本態樣，抑制如此之狀況成為可能。
另，解碼裝置200含有之迴路濾波部212是實施與編碼裝置100含有之迴路濾波部120之上述去區塊濾波處理同樣之處理。
又，第1態樣所記載之全部之處理並非總是必要，亦可以實施第1態樣所記載之一部分之處理。
[去區塊濾波處理之第2態樣]
顯示第2態樣之編碼裝置100含有之迴路濾波部120之去區塊濾波處理的流程圖是與圖11所示之第1態樣之去區塊濾波處理的流程圖同樣。
在第2態樣，Bs判定處理(S201)之內容是不同於第1態樣。在第1態樣，條件(5)是在跨邊界而鄰接之2個區塊中之至少其中一方之區塊進行LIC處理，但第2態樣是考慮到區塊之位置關係。具體而言，迴路濾波部120是當在夾著對象邊界之2個區塊(當前區塊、及鄰接區塊)中之鄰接區塊進行LIC處理的情況下，設定Bs≠0。例如，如圖17所示，迴路濾波部120是當在位於左右之區塊中之左區塊(鄰接區塊)進行LIC處理的情況下，設定Bs≠0。又，如圖18所示，迴路濾波部120是當在位於上下之區塊中之上區塊(鄰接區塊)進行LIC處理的情況下，設定Bs≠0。圖19是顯示此情況下之算出Bs之方法之例的圖。另，關於(5A)在位於上下(左右)之區塊中之上(左)區塊進行LIC處理之情況下的Bs值，只要不是0即可，可以是1亦可以是2。
圖20是當滿足條件(5A)時設定Bs=1之情況下之Bs算出處理(S201)的流程圖。圖21是顯示此情況下之算出Bs之方法之例的圖。
首先，迴路濾波部120判定是否滿足條件(1)(S221)。當滿足條件(1)的情況下(在S221為「是」)，迴路濾波部120是設定Bs=2(S223)。
當未滿足條件(1)的情況下(在S221為「否」)，迴路濾波部120判定是否滿足條件(2)~(5A)之至少其中一者(S222)。當滿足條件(2)~(5A)之至少其中一者的情況下(在S222為「是」)，迴路濾波部120是設定Bs=1(S224)。當未滿足條件(2)~(5A)之任一者的情況下(在S222為「否」)，迴路濾波部120是設定Bs=0(S225)。
圖22是當滿足條件(5A)時設定Bs=2之情況下之Bs算出處理(S201)的流程圖。圖23是顯示此情況下之算出Bs之方法之例的圖。
首先，迴路濾波部120判定是否滿足條件(1)及(5A)之至少其中一者(S221A)。當滿足條件(1)及(5A)之至少其中一者的情況下(在S221A為「是」)，迴路濾波部120是設定Bs=2(S223)。
當未滿足條件(1)及(5A)之任一者的情況下(在S221A為「否」)，迴路濾波部120判定是否滿足條件(2)~(4)之至少其中一者(S222A)。當滿足條件(2)~(4)之至少其中一者的情況下(在S222A為「是」)，迴路濾波部120是設定Bs=1(S224)。當未滿足條件(2)~(4)之任一者的情況下(在S222A為「否」)，迴路濾波部120是設定Bs=0(S225)。
[第2態樣之效果]
根據第2態樣之構成，相較於第1態樣，有可降低過度之平滑化之可能性。例如，當將夾著對象邊界而鄰接之2個區塊以外之區域當作LIC亮度修正用之周邊參考區域來使用而進行LIC處理的情況下，可想到的是區塊邊界易於主觀上變醒目。此情況是在鄰接區塊進行LIC處理的情況。若除此之外的情況，例如，當將夾著對象邊界而鄰接之2個區塊內之區域當作LIC亮度修正用之周邊參考區域來使用而進行LIC處理的情況下，亦使用去區塊濾波，則有進行過度之平滑化之可能性。此時是在對象區塊進行LIC處理的情況。所以，藉由第2態樣之構成，有可解決此問題之可能性。
另，解碼裝置200含有之迴路濾波部212是實施與編碼裝置100含有之迴路濾波部120之上述去區塊濾波處理同樣之處理。
又，第2態樣所記載之全部之處理並非總是必要，亦可以執行第2態樣所記載之一部分之處理。
如以上，與本實施形態相關之編碼裝置100及解碼裝置200是進行圖24所示之處理。
編碼裝置100是對於判定用區塊，判定是否適用預測圖像之亮度修正處理(例如LIC處理)(S231)，前述判定用區塊是對象區塊、以及、與對象區塊鄰接之鄰接區塊中之至少其中一方之區塊。
編碼裝置100是當對於判定用區塊適用亮度修正處理的情況下(在S231為「是」)，在對象區塊與鄰接區塊的邊界適用去區塊濾波處理(S232)。另一方面，編碼裝置100是當對於判定用區塊不適用亮度修正處理的情況下(在S231為「否」)，不在前述邊界適用去區塊濾波處理(S233)。
在此，判定用區塊在上述第1態樣是對象區塊及鄰接區塊。亦即，編碼裝置100是當對於對象區塊與鄰接區塊之其中一方或雙方適用亮度修正處理的情況下，在前述邊界適用去區塊濾波處理。編碼裝置100是當對於對象區塊與鄰接區塊之任一者皆不適用亮度修正處理的情況下，不在前述邊界適用去區塊濾波處理。
又，判定用區塊在上述第2態樣是鄰接區塊。亦即，不論是否有對於對象區塊適用亮度修正處理，編碼裝置100是當對於鄰接區塊適用亮度修正處理的情況下，在前述邊界適用去區塊濾波處理。不論是否有對於對象區塊適用亮度修正處理，編碼裝置100是當對於鄰接區塊不適用亮度修正處理的情況下，不在前述邊界適用去區塊濾波處理。
例如，編碼裝置100是當對於判定用區塊適用亮度修正處理的情況下，藉由將表示前述邊界之邊界強度之Bs設定成0以外之值，而在前述邊界適用去區塊濾波處理。編碼裝置100是當對於判定用區塊不適用亮度修正處理的情況下，藉由將Bs設定成0，而不在前述邊界適用去區塊濾波處理。
又，與本實施形態相關之解碼裝置200是對於判定用區塊，判定是否適用預測圖像之亮度修正處理(例如LIC處理)(S231)，前述判定用區塊是對象區塊、以及、與對象區塊鄰接之鄰接區塊中之至少其中一方之區塊。
解碼裝置200是當對於判定用區塊適用亮度修正處理的情況下(在S231為「是」)，在對象區塊與鄰接區塊的邊界適用去區塊濾波處理(S232)。另一方面，解碼裝置200是當對於判定用區塊不適用亮度修正處理的情況下(在S231為「否」)，不在前述邊界適用去區塊濾波處理(S233)。
在此，判定用區塊在上述第1態樣是對象區塊及鄰接區塊。亦即，解碼裝置200是當對於對象區塊與鄰接區塊之其中一方或雙方適用亮度修正處理的情況下，在前述邊界適用去區塊濾波處理。解碼裝置200是當對於對象區塊與鄰接區塊之任一者皆不適用亮度修正處理的情況下，不在前述邊界適用去區塊濾波處理。
又，判定用區塊在上述第2態樣是鄰接區塊。亦即，不論是否有對於對象區塊適用亮度修正處理，解碼裝置200是當對於鄰接區塊適用亮度修正處理的情況下，在前述邊界適用去區塊濾波處理。不論是否有對於對象區塊適用亮度修正處理，解碼裝置200是當對於鄰接區塊不適用亮度修正處理的情況下，不在前述邊界適用去區塊濾波處理。
例如，解碼裝置200是當對於判定用區塊適用亮度修正處理的情況下，藉由將表示前述邊界之邊界強度之Bs設定成0以外之值，而在前述邊界適用去區塊濾波處理。解碼裝置200是當對於判定用區塊不適用亮度修正處理的情況下，藉由將Bs設定成0，而不在前述邊界適用去區塊濾波處理。
又，與本實施形態相關之編碼裝置100具備：分割部102，將圖像分割成複數個區塊；幀內預測部124，使用前述圖像含有之參考圖片而預測前述圖像含有之區塊；幀間預測部126，使用與前述圖像不同之其他圖像含有之參考區塊，而預測前述圖像含有之區塊；迴路濾波部120，於前述圖像含有之區塊適用濾波；轉換部106，將藉由前述幀內預測部124或前述幀間預測部126所生成之預測訊號與原訊號的預測誤差轉換，而生成轉換係數；量化部108，將前述轉換係數量化而生成量化係數；熵編碼部110，藉由對前述量化係數進行可變長度編碼，而生成編碼位元串流。迴路濾波部120是對於判定用區塊，判定是否適用預測圖像之亮度修正處理(例如LIC處理)(S231)，前述判定用區塊是對象區塊、以及、與對象區塊鄰接之鄰接區塊中之至少其中一方之區塊。迴路濾波部120是當對於判定用區塊適用亮度修正處理的情況下(在S231為「是」)，在對象區塊與鄰接區塊的邊界適用去區塊濾波處理(S232)。另一方面，迴路濾波部120是當對於判定用區塊不適用亮度修正處理的情況下(在S231為「否」)，不在前述邊界適用去區塊濾波處理(S233)。
又，與本實施形態相關之解碼裝置200具備：解碼部(熵解碼部202)，將編碼位元串流解碼而將量化係數輸出；反量化部204，將前述量化係數反量化而將轉換係數輸出；反轉換部206，將前述轉換係數反轉換而將預測誤差輸出；幀內預測部216，使用圖像含有之參考圖片而預測前述圖像含有之區塊；幀間預測部218，使用與前述圖像不同之其他圖像含有之參考區塊，而預測前述圖像含有之區塊；迴路濾波部212，於前述圖像含有之區塊適用濾波。迴路濾波部212是對於判定用區塊，判定是否適用預測圖像之亮度修正處理(例如LIC處理)(S231)，前述判定用區塊是對象區塊、以及、與對象區塊鄰接之鄰接區塊中之至少其中一方之區塊。迴路濾波部212是當對於判定用區塊適用亮度修正處理的情況下(在S231為「是」)，在對象區塊與鄰接區塊的邊界適用去區塊濾波處理(S232)。另一方面，迴路濾波部212是當對於判定用區塊不適用亮度修正處理的情況下(在S231為「否」)，不在前述邊界適用去區塊濾波處理(S233)。
[去區塊濾波處理之第3態樣]
顯示第3態樣之編碼裝置100含有之迴路濾波部120之去區塊濾波處理的流程圖是與圖11所示之第1態樣之去區塊濾波處理的流程圖同樣。
在第3態樣，Bs判定處理(S201)之內容是不同於第1態樣。在第1態樣，條件(5)是在跨邊界而鄰接之2個區塊中之至少其中一方之區塊進行LIC處理，但第3態樣是除此之外還考慮到LIC處理之亮度修正參數之內容。
具體而言，迴路濾波部120是當在夾著對象邊界之2個區塊即鄰接區塊與對象區塊之至少其中一者進行LIC處理、並且、LIC處理之亮度修正參數在鄰接區塊與對象區塊不同的情況下，設定Bs≠0。例如，迴路濾波部120是當在位於上下之區塊中之至少其中一者進行LIC處理、並且、上區塊所具有之亮度修正參數與下區塊所具有之亮度修正參數不同的情況下，設定Bs≠0。又，迴路濾波部120是當在位於左右之區塊中之至少其中一者進行LIC處理、並且、左區塊所具有之亮度修正參數與右區塊所具有之亮度修正參數不同的情況下，設定Bs≠0。另，在此，於跨區塊邊界之其中一方之區塊進行LIC處理、於另一方之區塊未進行LIC處理的情況，是判斷成LIC處理之亮度修正參數不同。
圖25顯示此情況下之算出Bs之方法之例的圖。另，在(5B)跨邊界而鄰接之2個區塊中之至少其中一方之區塊進行LIC處理、位於上下(左右)之區塊所具有之亮度修正參數不同之情況下的Bs值，只要不是0即可，可以是1亦可以是2。
在此，亮度修正參數是例如上述之係數A及B。又，2個亮度修正參數不同亦可以是指2個亮度修正參數之差比事先決定之閾值大的情況。例如，迴路濾波部120是算出2個亮度修正參數含有之係數A的差、以及、係數B的差，當算出之2個差的和比閾值大的情況下，判定成2個亮度修正參數不同。另，迴路濾波部120亦可以不是將2個差之和與閾值比較，而是將2個差予以加權相加，將獲得之值與閾值比較。又，迴路濾波部120亦可以將2個差分別與閾值比較，當至少其中一者比閾值大的情況下，判定成2個亮度修正參數不同。另，與2個差進行比較之閾值可以是相同，亦可以是相異。又，迴路濾波部120亦可以使用上述以外之方法。
圖26是當滿足條件(5B)時設定Bs=1之情況下之Bs算出處理(S201)的流程圖。圖27是顯示此情況下之算出Bs之方法之例的圖。
首先，迴路濾波部120判定是否滿足條件(1)(S241)。當滿足條件(1)的情況下(在S241為「是」)，迴路濾波部120是設定Bs=2(S243)。
當未滿足條件(1)的情況下(在S241為「否」)，迴路濾波部120判定是否滿足條件(2)~(5B)之至少其中一者(S242)。當滿足條件(2)~(5B)之至少其中一者的情況下(在S242為「是」)，迴路濾波部120是設定Bs=1(S244)。當未滿足條件(2)~(5B)之任一者的情況下(在S242為「否」)，迴路濾波部120是設定Bs=0(S245)。
圖28是當滿足條件(5B)時設定Bs=2之情況下之Bs算出處理(S201)的流程圖。圖29是顯示此情況下之算出Bs之方法之例的圖。
首先，迴路濾波部120判定是否滿足條件(1)及(5B)之至少其中一者(S241A)。當滿足條件(1)及(5B)之至少其中一者的情況下(在S241A為「是」)，迴路濾波部120是設定Bs=2(S243)。
當未滿足條件(1)及(5B)之任一者的情況下(在S241A為「否」)，迴路濾波部120判定是否滿足條件(2)~(4)之至少其中一者(S242A)。當滿足條件(2)~(4)之至少其中一者的情況下(在S242A為「是」)，迴路濾波部120是設定Bs=1(S244)。當未滿足條件(2)~(4)之任一者的情況下(在S242A為「否」)，迴路濾波部120是設定Bs=0(S245)。
[第3態樣之效果]
根據第3態樣之構成，相較於第1態樣，有可降低過度之平滑化之可能性。在此，當亮度修正參數在夾著對象邊界之2個區塊中相同之情況下，相較於亮度修正參數不同之情況，區塊邊界不易醒目。在如此之情況下進行去區塊濾波處理有進行過度之平滑化之可能性。另一方面，藉由使用第3態樣之構成，有可降低過度之平滑化之可能性。
另，解碼裝置200含有之迴路濾波部212是實施與編碼裝置100含有之迴路濾波部120之上述去區塊濾波處理同樣之處理。
又，第3態樣所記載之全部之處理並非總是必要，亦可以執行第3態樣所記載之一部分之處理。
[變形例]
迴路濾波部120亦可以是以片段單位來切換是否進行上述處理。迴路濾波部120亦可以是以圖塊單位來切換是否進行上述處理。迴路濾波部120亦可以是以CTU單位來切換是否進行上述處理。迴路濾波部120亦可以是以CU單位來切換是否進行上述處理。迴路濾波部120亦可以是因應處理對象之幀之幀種類(P幀、B幀等)來切換是否進行上述處理。
又，雖然在上述實施形態顯示LIC亮度修正用之周邊參考區域是區塊之左鄰接及上鄰接之完成編碼周邊參考區域之亮度像素值之例，但並非限定於此。例如，編碼裝置100亦可以不使用左鄰接之完成編碼周邊參考區域之亮度像素值而使用上鄰接之完成編碼周邊參考區域之亮度像素值來作為LIC亮度修正用之周邊參考區域。又，編碼裝置100亦可以因應條件而改變LIC亮度修正用之周邊參考區域。例如，編碼裝置100亦可以使用運動向量之差分小之區塊來作為用於LIC亮度修正之周邊參考區域。
又，雖然在上述實施形態顯示將Bs值設於0~2之值之例，但Bs值可取之值並非限定於此例，亦可採用其他之值。例如，亦可使用3以上之值來作為Bs值。此情況下，迴路濾波部120亦可以是當滿足上述之條件(5)或(5A)的情況下，設定3以上之值來作為Bs值。
又，關於判定在2個區塊之各區塊是否有使用LIC處理，迴路濾波部120可以是藉由參考表示是否在各區塊使用LIC處理之LIC旗標而進行，亦可以是不使用LIC旗標而進行。例如，若有決定當在周邊區塊使用LIC處理的情況下在對象區塊亦使用LIC處理、當在周邊區塊未使用LIC處理的情況下在對象區塊亦不使用LIC處理等之規則時，則迴路濾波部120亦可以使用周邊區塊之LIC使用狀況而判定在對象區塊是否使用LIC處理。
又，雖然在上述說明中說明因應是否適用LIC處理而決定是否進行去區塊濾波處理之例，但編碼裝置100亦可以因應是否適用LIC處理而改變去區塊濾波處理之濾波強度。例如，編碼裝置100亦可以令適用LIC處理之情況下的去區塊濾波處理之濾波強度比未適用LIC處理之情況還強。
又，編碼裝置100亦可以將去區塊濾波處理不只施加於區塊邊界，還施加於子區塊邊界。在此，區塊例如是正交轉換之處理單位(單位區塊)，子區塊是預測處理之處理單位(單位區塊)。
又，在第3態樣，亮度修正參數相同之情況並非限定於夾著對象邊界之兩區塊的亮度修正參數完全同值之情況，亦可以是兩區塊之參數的差分值在預定值以下之情況。
又，在第1態樣至第3態樣所舉例顯示之Bs算出處理可適宜地組合或改變。亦即，編碼裝置100只要是基於夾著邊界之2個區塊的亮度修正參數及/或有無適用LIC處理，而決定與是否適用在該邊界之去區塊濾波處理相關之參數即可。本揭示並非限定於舉例顯示之算出處理之條件或判定順序。
另，解碼裝置200含有之迴路濾波部212亦同樣。
如以上，與本實施形態相關之編碼裝置100及解碼裝置200是進行圖30顯示之處理。
編碼裝置100判定用在針對對象區塊之預測圖像之亮度修正處理(例如LIC處理)之第1亮度修正參數、以及、用在針對與前述對象區塊鄰接之鄰接區塊之亮度修正處理之第2亮度修正參數的差是否比事先決定之閾值大(S251)。
編碼裝置100是當前述差比事先決定之閾值大的情況下(在S251為「是」)，在對象區塊與鄰接區塊的邊界適用去區塊濾波處理(S252)。另一方面，編碼裝置100是當前述差比閾值小的情況下(在S252為「否」)，不在前述邊界適用去區塊濾波處理(S253)。
根據此，編碼裝置100是當對象區塊之亮度修正參數與鄰接區塊之亮度修正參數的差比閾值大的情況下進行去區塊濾波處理。藉此，由於可降低主觀上醒目之區塊雜訊，故可提升解碼圖像之畫質。又，編碼裝置100是當上述差比閾值小的情況下不進行去區塊濾波處理。藉此，編碼裝置100可抑制過度地進行去區塊濾波處理之情形。
例如，編碼裝置100是當對於對象區塊及鄰接區塊之其中一者適用亮度修正處理、對於對象區塊及鄰接區塊之另一者不適用亮度修正處理的情況下，在前述邊界適用去區塊濾波處理。
根據此，由於可降低主觀上醒目之區塊雜訊，故可提升解碼圖像之畫質。
例如，編碼裝置100是當對於對象區塊與鄰接區塊之任一者皆不適用亮度修正處理的情況下，不在前述邊界適用去區塊濾波處理。
根據此，編碼裝置100可抑制過度地進行去區塊濾波處理之情形。
例如，編碼裝置100是當前述差比閾值大的情況下，藉由將表示前述邊界之邊界強度之Bs設定成0以外之值，而在前述邊界適用去區塊濾波處理。編碼裝置100是當前述差比閾值小的情況下，藉由將Bs設定成0，而不在前述邊界適用去區塊濾波處理。
例如，對象區塊及鄰接區塊是預測處理之單位區塊。
又，解碼裝置200判定用在針對對象區塊之預測圖像之亮度修正處理(例如LIC處理)之第1亮度修正參數、以及、用在針對與前述對象區塊鄰接之鄰接區塊之亮度修正處理之第2亮度修正參數的差是否比事先決定之閾值大(S251)。
解碼裝置200是當前述差比事先決定之閾值大的情況下(在S251為「是」)，在對象區塊與鄰接區塊的邊界適用去區塊濾波處理(S252)。另一方面，解碼裝置200是當前述差比閾值小的情況下(在S251為「否」)，不在前述邊界適用去區塊濾波處理(S253)。
根據此，解碼裝置200是當對象區塊之亮度修正參數與鄰接區塊之亮度修正參數的差比閾值大的情況下進行去區塊濾波處理。藉此，由於可降低主觀上醒目之區塊雜訊，故可提升解碼圖像之畫質。又，解碼裝置200是當上述差比閾值小的情況下不進行去區塊濾波處理。藉此，解碼裝置200可抑制過度地進行去區塊濾波處理之情形。
例如，解碼裝置200是當對於對象區塊及鄰接區塊之其中一者適用亮度修正處理、對於對象區塊及鄰接區塊之另一者不適用亮度修正處理的情況下，在前述邊界適用去區塊濾波處理。
根據此，由於可降低主觀上醒目之區塊雜訊，故可提升解碼圖像之畫質。
例如，解碼裝置200是當對於對象區塊與鄰接區塊之任一者皆不適用亮度修正處理的情況下，不在前述邊界適用去區塊濾波處理。
根據此，解碼裝置200可抑制過度地進行去區塊濾波處理之情形。
例如，解碼裝置200是當前述差比閾值大的情況下，藉由將表示前述邊界之邊界強度之Bs設定成0以外之值，而在前述邊界適用去區塊濾波處理。解碼裝置200是當前述差比閾值小的情況下，藉由將Bs設定成0，而不在前述邊界適用去區塊濾波處理。
例如，對象區塊及鄰接區塊是預測處理之單位區塊。
又，與本實施形態相關之編碼裝置100具備：分割部102，將圖像分割成複數個區塊；幀內預測部124，使用前述圖像含有之參考圖片而預測前述圖像含有之區塊；幀間預測部126，使用與前述圖像不同之其他圖像含有之參考區塊，而預測前述圖像含有之區塊；迴路濾波部120，於前述圖像含有之區塊適用濾波；轉換部106，將藉由前述幀內預測部124或前述幀間預測部126所生成之預測訊號與原訊號的預測誤差轉換，而生成轉換係數；量化部108，將前述轉換係數量化而生成量化係數；熵編碼部110，藉由對前述量化係數進行可變長度編碼，而生成編碼位元串流。迴路濾波部120判定用在針對對象區塊之預測圖像之亮度修正處理(例如LIC處理)之第1亮度修正參數、以及、用在針對與前述對象區塊鄰接之鄰接區塊之亮度修正處理之第2亮度修正參數的差是否比事先決定之閾值大(S251)。迴路濾波部120是當前述差比事先決定之閾值大的情況下(在S251為「是」)，在對象區塊與鄰接區塊的邊界適用去區塊濾波處理(S252)。另一方面，迴路濾波部120是當前述差比閾值小的情況下(在S251為「否」)，不在前述邊界適用去區塊濾波處理(S253)。
又，與本實施形態相關之解碼裝置200具備：解碼部(熵解碼部202)，將編碼位元串流解碼而將量化係數輸出；反量化部204，將前述量化係數反量化而將轉換係數輸出；反轉換部206，將前述轉換係數反轉換而將預測誤差輸出；幀內預測部216，使用圖像含有之參考圖片而預測前述圖像含有之區塊；幀間預測部218，使用與前述圖像不同之其他圖像含有之參考區塊，而預測前述圖像含有之區塊；迴路濾波部212，於前述圖像含有之區塊適用濾波。迴路濾波部212判定用在針對對象區塊之預測圖像之亮度修正處理(例如LIC處理)之第1亮度修正參數、以及、用在針對與前述對象區塊鄰接之鄰接區塊之亮度修正處理之第2亮度修正參數的差是否比事先決定之閾值大(S251)。迴路濾波部212是當前述差比事先決定之閾值大的情況下(在S251為「是」)，在對象區塊與鄰接區塊的邊界適用去區塊濾波處理(S252)。另一方面，迴路濾波部212是當前述差比閾值小的情況下(在S251為「否」)，不在前述邊界適用去區塊濾波處理(S253)。
[編碼裝置之安裝例]
圖31是顯示與實施形態1相關之編碼裝置100之安裝例的方塊圖。編碼裝置100具備電路160及記憶體162。例如，在圖1顯示之編碼裝置100之複數個構成要件是藉由在圖31顯示之電路160及記憶體162而安裝。
電路160是進行資訊處理之電路，是可對記憶體162存取之電路。例如，電路160是將動態圖像編碼之專用或通用之電子電路。電路160亦可以是如CPU般之處理器。又，電路160亦可以是複數個電子電路之集合體。又，例如，電路160亦可以發揮在圖1等顯示之編碼裝置100之複數個構成要件中之除了用於記憶資訊的構成要件以外之複數個構成要件的功能。
記憶體162是將電路160用來將動態圖像編碼之資訊予以記憶之專用或通用之記憶體。記憶體162亦可以是電子電路，亦可以是與電路160連接。又，記憶體162亦可以是包含於電路160。又，記憶體162亦可以是複數個電子電路之集合體。又，記憶體162亦可以是磁碟片或光碟片等，亦可以表現為儲存器或記錄媒體等。又，記憶體162亦可以是非依電性記憶體，亦可以是依電性記憶體。
例如，記憶體162亦可以記憶被編碼之動態圖像，亦可以記憶與已編碼之動態圖像對應之位元串。又，記憶體162亦可以記憶電路160用來將動態圖像編碼之程式。
又，例如，記憶體162亦可以發揮在圖1等顯示之編碼裝置100之複數個構成要件中之用於記憶資訊之構成要件的功能。具體而言，記憶體162亦可以發揮在圖1顯示之區塊記憶體118及幀記憶體122的功能。更具體而言，記憶體162亦可以記憶完成再構成區塊及完成再構成圖片等。
另，編碼裝置100亦可以不安裝圖1等所示之複數個構成要件之全部，亦可以不進行上述之複數個處理之全部。亦可以令圖1等所示之複數個構成要件之一部分是包含於其他裝置，亦可以令上述之複數個處理之一部分是由其他裝置執行。而且，藉由在編碼裝置100安裝圖1等所示之複數個構成要件中之一部分、進行上述之複數個處理之一部分，而有效率地進行運動補償。
[解碼裝置之安裝例]
圖32是顯示與實施形態1相關之解碼裝置200之安裝例的方塊圖。解碼裝置200具備電路260及記憶體262。例如，在圖10顯示之解碼裝置200之複數個構成要件是藉由在圖32顯示之電路260及記憶體262而安裝。
電路260是進行資訊處理之電路，是可對記憶體262存取之電路。例如，電路260是將動態圖像解碼之專用或通用之電子電路。電路260亦可以是如CPU般之處理器。又，電路260亦可以是複數個電子電路之集合體。又，例如，電路260亦可以發揮在圖10等顯示之解碼裝置200之複數個構成要件中之除了用於記憶資訊之構成要件以外的複數個構成要件的作用。
記憶體262是將電路260用來將動態圖像解碼之資訊予以記憶之專用或通用之記憶體。記憶體262亦可以是電子電路，亦可以與電路260連接。又，記憶體262亦可以包含於電路260。又，記憶體262亦可以是複數個電子電路之集合體。又，記憶體262亦可以是磁碟片或光碟片等，亦可以表現為儲存器或記錄媒體等。又，記憶體262亦可以是非依電性記憶體，亦可以是依電性記憶體。
例如，記憶體262亦可以記憶與已編碼之動態圖像對應之位元串，亦可以記憶與已解碼之位元串對應之動態圖像。又，記憶體262亦可以記憶電路260用來將動態圖像解碼之程式。
又，例如，記憶體262亦可以發揮在圖10等顯示之解碼裝置200之複數個構成要件中之用於記憶資訊之構成要件的作用。具體而言，記憶體262亦可以發揮在圖10顯示之區塊記憶體210及幀記憶體214的作用。更具體而言，記憶體262亦可以記憶完成再構成區塊及完成再構成圖片等。
另，解碼裝置200亦可以不安裝圖10等所示之複數個構成要件之全部，亦可以不進行上述之複數個處理之全部。亦可以令圖10等所示之複數個構成要件之一部分是包含於其他裝置，亦可以令上述之複數個處理之一部分是由其他裝置執行。而且，藉由在解碼裝置200安裝圖10等所示之複數個構成要件中之一部分、進行上述之複數個處理之一部分，而有效率地進行運動補償。
[補充]
又，本實施形態之編碼裝置100及解碼裝置200可以分別作為圖像編碼裝置及圖像解碼裝置而利用，亦可以作為動態圖像編碼裝置及動態圖像解碼裝置而利用。或者，編碼裝置100及解碼裝置200可分別作為迴路濾波裝置而利用。
亦即，編碼裝置100及解碼裝置200亦可以分別只與迴路濾波部120及迴路濾波部212對應。然後，轉換部106及反轉換部206等其他構成要件亦可以包含於其他裝置。
又，雖然在本實施形態是藉由專用之硬體來構成各構成要件，但亦可以藉由執行適合各構成要件之軟體程式來實現。各構成要件亦可以藉由如下方式而實現：CPU或處理器等之程式執行部將記錄在硬碟或半導體記憶體等之記錄媒體的軟體程式讀取而執行。
具體而言，編碼裝置100及解碼裝置200亦可以分別具備處理電路(Processing Circuitry)、以及與該處理電路電連接之可從該處理電路存取之記憶裝置(Storage)。例如，處理電路是與電路160或260對應，記憶裝置是與記憶體162或262對應。
處理電路包含有專用之硬體及程式執行部之至少其中一者，使用記憶裝置而執行處理。又，記憶裝置是當處理電路包含有程式執行部的情況下，記憶藉由該程式執行部來執行的軟體程式。
在此，實現本實施形態之編碼裝置100或解碼裝置200等之軟體是如下之程式。
又，如上述，各構成要件亦可以是電路。該等電路可以是整體構成1個電路，亦可以分別是個別之電路。又，各構成要件可以藉由通用之處理器而實現，亦可以藉由專用之處理器而實現。
又，亦可以令特定之構成要件所執行之處理是由別的構成要件執行。又，亦可以變更處理之執行順序，亦可以並行地執行複數個處理。又，編碼解碼裝置亦可以具備編碼裝置100及解碼裝置200。
雖然以上是基於實施形態而說明編碼裝置100及解碼裝置200之態樣，但編碼裝置100及解碼裝置200之態樣並非限定於該實施形態。只要未脫離本揭示之主旨，則所屬技術領域中具有通常知識者將所能想到之各種變形施加在本實施形態而成者、或將不同實施形態之構成要件組合而建構之形態，亦可以包含於編碼裝置100及解碼裝置200之態樣之範圍內。
亦可以將本態樣與本揭示之其他態樣之至少一部分組合而實施。又，亦可以將在本態樣之流程圖記載之一部分處理、裝置之一部分構成、語法之一部分等與其他態樣組合而實施。
(實施形態2)
在以上之各實施形態，各功能區塊通常可由MPU及記憶體等而實現。又，各功能區塊之處理通常是藉由如下方式而實現：處理器等之程式執行部將記錄在ROM等之記錄媒體的軟體(程式)讀取而執行。該軟體可以藉由下載等而分發，亦可以記錄在半導體記憶體等之記錄媒體來分發。另，當然亦可藉由硬體(專用電路)來實現各功能區塊。
又，在各實施形態說明之處理可以使用單一之裝置(系統)予以集中處理而實現，或者，亦可以使用複數個裝置予以分散處理而實現。又，執行上述程式之處理器可以是單個，亦可以是複數個。亦即，可以進行集中處理，或者亦可以進行分散處理。
本揭示之態樣並非限定於以上之實施例，可進行各式各樣之變更，且這些亦包含於本揭示之態樣之範圍內。
再者，在此說明在上述各實施形態顯示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例與使用其之系統。該系統之特徵是具有：用到圖像編碼方法之圖像編碼裝置、用到圖像解碼方法之圖像解碼裝置、及具備雙方之圖像編碼解碼裝置。系統中之其他構成可因應情況而適切地變更。
[使用例]
圖33是顯示將內容發布服務實現之內容供給系統ex100之整體構成的圖。將通訊服務之提供區域分割成想要之大小，在各細胞(cell)內分別設置有固定無線台即基地台ex106、ex107、ex108、ex109、ex110。
在該內容供給系統ex100中，電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等之各機器是透過網際網路服務供應商ex102或通訊網ex104、及基地台ex106~ex110而連接於網際網路ex101。該內容供給系統ex100亦可以將上述之任一要件組合而連接。各機器亦可以不透過固定無線局即基地台ex106~ex110，而是透過電話網或近距離無線等直接或間接地相互連接。又，串流伺服器ex103是透過網際網路ex101等而與電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等之各機器連接。又，串流伺服器ex103是透過衛星ex116而與飛機ex117內之熱點內之終端等連接。
另，亦可以使用無線存取點或熱點等來取代基地台ex106~ex110。又，串流伺服器ex103亦可以不透過網際網路ex101或網際網路服務供應商ex102而直接與通訊網ex104連接，亦可以不透過衛星ex116而直接與飛機ex117連接。
相機ex113是數位相機等之可拍攝靜止圖及拍攝動態圖之機器。又，智慧型手機ex115一般而言是與2G、3G、3.9G、4G、以及今後被稱作5G之行動通訊系統之方式對應之智慧型手機、行動電話、或PHS(Personal Handyphone System，個人手持電話系統)等。
家電ex118是冰箱、或包含於家庭用燃料電池熱電共生系統之機器等。
在內容供給系統ex100，具有拍攝功能之終端是藉由通過基地台ex106等與串流伺服器ex103連接，而可進行實況發布。在實況發布，終端(電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內之終端等)是對使用者使用該終端而拍攝之靜止圖或動態圖內容，進行在上述各實施形態說明之編碼處理，將藉由編碼而獲得之影像資料、以及與影像對應的聲音經編碼後之聲音資料予以多工，將獲得之資料朝串流伺服器ex103發送。亦即，各終端是作為與本揭示之一態樣相關之圖像編碼裝置而發揮功能。
另一方面，串流伺服器ex103是對於有要求之客戶端將發送的內容資料進行串流發布。客戶端是可將經過上述編碼處理之資料解碼之電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、或飛機ex117內之終端等。接收到發布之資料的各機器是對接收到之資料進行解碼處理而予以播放。亦即，各機器是作為與本揭示之一態樣相關之圖像解碼裝置而發揮功能。
[分散處理]
又，串流伺服器ex103亦可以是複數個伺服器或複數個電腦，將資料分散地處理、記錄、或發布。例如，串流伺服器ex103亦可以是藉由CDN(Contents Delivery Network，內容傳遞網路)而實現，藉由將在世界中分散之多數個邊緣伺服器與邊緣伺服器間連繫之網路而實現內容發布。CDN是因應客戶端而動態地分配物理上較近之邊緣伺服器。於是，可藉由在該邊緣伺服器進行內容之快取及發布而令延遲減少。又，由於可在發生某些錯誤的情況下、或因為流量增加等而造成通訊狀態改變的情況下，藉由複數個邊緣伺服器而令處理分散、或將發布主體切換成其他邊緣伺服器、或繞過發生障礙之網路部分而繼續發布，故可實現高速且穩定之發布。
又，不僅止於發布本身之分散處理，拍攝之資料之編碼處理亦可以在各終端進行，亦可以在伺服器側進行，亦可以互相分擔而進行。作為一例，一般而言，編碼處理是進行2次處理循環。在第1次之循環，檢測出幀或場景單位之圖像的複雜度或編碼量。又，在第2次之循環，進行維持畫質且提升編碼效率之處理。例如，終端進行第1次之編碼處理，接收到內容之伺服器側進行第2次之編碼處理，藉此，可一面減少在各終端之處理負荷、一面提升內容之質與效率。此情況下，若有幾乎即時地接收且解碼之要求，則亦可令終端已進行之第一次之完成編碼之資料在其他終端接收而播放，故亦可更彈性地進行即時發布。
作為其他之例，相機ex113等是從圖像進行特徵量擷取，將關於特徵量之資料作為元資料(metadata)而壓縮並朝伺服器發送。伺服器是例如從特徵量來判斷物件(object)之重要性而切換量化精度等，因應圖像之意義而予以壓縮。特徵量資料對於在伺服器再次壓縮時之運動向量預測的精度及效率提升尤其有效。又，亦可以在終端進行VLC(可變長度編碼)等之簡易的編碼、在伺服器進行CABAC(上下文適應性二進位算術編碼方式)等處理負荷大之編碼。
作為更其他之例，在運動場、購物中心或工廠等有時會有如下之情況：藉由複數個終端拍攝幾乎同一場景而有複數個影像資料存在。此情況下，使用進行了拍攝之複數個終端、以及因應需要而未拍攝之其他終端及伺服器，例如以GOP(Group of Picture，圖片組)單位、圖片單位、或將圖片分割之圖塊單位等將編碼處理分別分配而進行分散處理。藉此，可減少延遲、更加實現即時性。
又，由於複數個影像資料幾乎是同一場景，故亦可以由伺服器管理及/或指示將各終端所拍攝之影像資料互相參考。或者，亦可以由伺服器接收來自各終端之完成編碼資料，且在複數個資料間變更參考關係、或者修正或抽換圖片本身並重新編碼。藉此，可生成令一個個資料之質與效率提高之串流。
又，伺服器亦可以進行將影像資料之編碼方式變更之轉碼，再發布影像資料。例如，伺服器亦可以將MPEG系之編碼方式轉換成VP系，亦可以將H.264轉換成H.265。
如此，編碼處理可藉由終端或1個以上之伺服器而進行。所以，雖然以下是使用「伺服器」或「終端」等之記載來作為進行處理之主體，但亦可以令以伺服器進行之處理之一部分或全部是在終端進行，亦可以令以終端進行之處理之一部分或全部是在伺服器進行。又，關於這些，解碼處理亦是同樣。
[3D、多角度]
近年來，將藉由幾乎互相同步之複數個相機ex113及/或智慧型手機ex115等終端所拍攝之不同場景、或者從不同角度拍攝同一場景之圖像或影像統合而利用之情形亦逐漸增加。各終端所拍攝之影像是基於另外取得之終端間的相對位置關係、或者影像含有之特徵點一致的區域等而統合。
伺服器亦可以不只將2維之動態圖像編碼，還可基於動態圖像之場景解析等而自動或在使用者指定之時刻將靜止圖編碼，朝接收終端發送。伺服器更可在可取得拍攝終端間之相對位置關係的情況下，不只2維之動態圖像，還基於從不同角度拍攝同一場景之影像，而生成該場景之3維形狀。另，伺服器可以將藉由點雲等而生成之3維之資料另外編碼，亦可以基於使用3維資料而辨識或追蹤人物或物件之結果，將要朝接收終端發送之影像從複數個終端所拍攝之影像中選擇、或者再構成而生成。
如此，使用者可任意地選擇與各拍攝終端對應之各影像而享受場景，亦可享受從使用複數圖像或影像而再構成之3維資料剪出來的任意視點之影像的內容。再者，與影像同樣，聲音亦可以從複數個不同之角度來收音，伺服器配合影像而將來自特定之角度或空間的聲音與影像多工而發送。
又，近年來，Virtual Reality(VR，虛擬實境)及Augmented Reality(AR，擴增實境)等將現實世界與假想世界加上對應關係之內容亦逐漸普及。VR圖像的情況下，伺服器可以分別製作右眼用及左眼用之視點圖像，藉由Multi-View Coding(MVC，多視角編碼)等進行容許在各視點影像間參考之編碼，亦可以互不參考地當作相異的串流來編碼。在解碼相異的串流時，因應使用者之視點，以可將假想之3維空間再現的方式互相同步而播放即可。
AR圖像的情況下，伺服器是基於3維之位置或使用者之視點之運動，而將假想空間上之假想物體資訊重疊在現實空間之相機資訊。解碼裝置亦可以取得或保持假想物體資訊及3維資料，因應使用者之視點之運動而生成2維圖像並流暢地連繫，藉此製作重疊資料。或者，亦可以是解碼裝置除了假想物體資訊之請求之外，還將使用者之視點之運動朝伺服器發送，伺服器配合接收到之視點之運動而從伺服器所保持之3維資料製作重疊資料，將重疊資料編碼而朝解碼裝置發布。另，亦可以是重疊資料除了RGB以外還具有表示透明度之α值，伺服器將從3維資料製作之物件以外的部分之α值設定成0等，以該部分為透明之狀態而編碼。或者，伺服器亦可以如色度鍵般地將預定值之RGB值設定成背景，生成令物件以外之部分是背景色之資料。
同樣地，發布之資料之解碼處理可以在身為客戶端之各終端進行，亦可以在伺服器側進行，亦可以是互相分擔而進行。作為一例，亦可以是某終端暫且朝伺服器傳送接收要求，由其他終端將與該要求對應之內容接收而進行解碼處理，將完成解碼之訊號發送至具有顯示器之裝置。可藉由將處理分散、選擇適切之內容，而無關可通訊之終端本身之性能地將畫質佳之資料播放。又，作為其他例，亦可以一面藉由TV等接收大尺寸之圖像資料，一面在觀賞者之個人終端令圖片分割後之圖塊等一部分的區域解碼而顯示。藉此，可一面令整體像共用化，一面在手邊確認自己所負責之領域或想更詳細確認之區域。
又，未來可預想的是不管室內外，當近距離、中距離、或長距離之無線通訊可使用複數種之狀況下，利用MPEG-DASH等之發布系統規格，一面對連接中之通訊切換適切之資料、一面無縫地接收內容。藉此，使用者不受限於自己之終端，可一面自由地選擇在室內外設置之顯示器等之解碼裝置或顯示裝置，一面即時地切換。又，可基於自己之位置資訊等而一面切換解碼之終端及顯示之終端、一面進行解碼。藉此，在往目的地之移動中，一面令埋有可顯示之設備的旁邊建築物之壁面或地面之一部分顯示地圖資訊、一面移動亦成為可能。又，亦可以基於編碼資料是被快取在接收終端能以短時間存取之伺服器、或者編碼資料是被複製在內容傳遞服務之邊緣伺服器、等之在網路上對編碼資料之存取容易性，而切換接收資料之位元率。
[可調式編碼]
關於內容之切換，使用在圖34顯示之應用上述各實施形態所顯示之動態圖像編碼方法而壓縮編碼的可調式串流來說明。雖然伺服器可以當作個別之串流的方式而具有內容相同、品質不同的複數個串流，但亦可以構成為活用藉由如圖示般地分層進行編碼而實現之時間/空間可調式之串流的特徵來切換內容。亦即，解碼側是因應所謂性能之內在因素與通訊頻帶狀態等之外在因素而決定要解碼到哪一層為止，藉此，解碼側可將低解析度之內容與高解析度之內容自由地切換而解碼。例如，當想要在回家後以網際網路TV等機器來收看在移動中以智慧型手機ex115收看之影像之後續的情況下，該機器只要將相同之串流解碼至不同之層即可，故可減輕伺服器側之負擔。
再者，除了如上述般依各層而編碼有圖片、將在基礎層之上位存在有增強層的可調性實現之構成外，亦可以是：增強層含有基於圖像之統計資訊等的元資訊，解碼側基於元資訊而將基礎層之圖片超高解析度成像，藉此生成高畫質化之內容。超高解析度成像可以是同一解析度之SN比之提升、及解析度之擴大之任一者。元資訊包含有以下資訊：用於特定出在超高解析度成像處理中使用之線形或非線形之濾波係數的資訊、或者特定出在超高解析度成像處理中使用之濾波處理、機械學習或最小平方演算之參數值的資訊等。
或者，亦可以是如下之構成：因應圖像內之物件等的內涵而將圖片分割成圖塊等，解碼側藉由選擇欲解碼之圖塊而只解碼一部分之區域。又，可將物件之屬性(人物、車、球等)與影像內之位置(同一圖像中之座標位置等)作為元資訊而儲存，藉此，解碼側可基於元資訊而特定出想要之物件的位置，決定含有該物件之圖塊。例如，如圖35所示，元資訊是使用HEVC之SEI訊息等與像素資料不同之資料儲存構造而被儲存。此元資訊例如是表示主物件之位置、尺寸、或色彩等。
又，亦可以是以串流、序列或隨機存取單位等由複數個圖片構成之單位而儲存元資訊。藉此，解碼側可取得特定人物在影像內出現之時刻等，可藉由配合圖片單位之資訊而特定出物件存在之圖片、及在圖片內之物件之位置。
[Web頁面之最佳化]
圖36是顯示電腦ex111等之web頁面之顯示畫面例的圖。圖37是顯示智慧型手機ex115等之web頁面之顯示畫面例的圖。如圖36及圖37所示，web頁面有時含有複數個往圖像內容的連結即連結圖像，其外貌會隨著瀏覽之設備而不同。當在畫面上看到複數個連結圖像的情況下，直到使用者明示地選擇連結圖像為止、或者直到連結圖像靠近畫面中央附近或連結圖像整體進入畫面內為止，顯示裝置(解碼裝置)是將各內容具有之靜止圖或I圖片當作連結圖像而顯示、或者藉由複數個靜止圖或I圖片等而顯示如gif動畫般之影像、或者僅接收基礎層而將影像解碼及顯示。
當由使用者選擇了連結圖像的情況下，顯示裝置是將基礎層最優先解碼。另，若在構成web頁面之HTML中有表示其為可調式內容之資訊，則顯示裝置亦可以解碼至增強層。又，為了保障即時性，當選擇前或通訊頻帶非常嚴苛的情況下，顯示裝置僅將前方參考之圖片(I圖片、P圖片、僅前方參考之B圖片)解碼及顯示，藉此，可降低前頭圖片之解碼時刻與顯示時刻之間的延遲(從內容之開始解碼至開始顯示為止之延遲)。又，顯示裝置亦可以刻意無視圖片之參考關係，令全部之B圖片及P圖片為前方參考而粗糙地解碼，隨著時間經過、接收之圖片增加，再進行正常之解碼。
[自動行駛]
又，當接收發送用於車之自動行駛或支援行駛的2維或3維之地圖資訊等之靜止圖或影像資料的情況下，接收終端亦可以是除了屬於1個以上的層之圖像資料之外，還作為元資訊而接收天候或施工之資訊等，並將這些附上對應關係而解碼。另，元資訊亦可以是屬於層，亦可以是單純與圖像資料多工。
此情況下，由於含有接收終端之車、無人機或飛機等會移動，故接收終端是將該接收終端之位置資訊在接收要求時發送，藉此，可一面切換基地台ex106~ex110、一面實現無縫之接收及解碼。又，接收終端可以因應使用者之選擇、使用者之狀況或通訊頻帶之狀態，而動態地切換將元資訊接收到何種程度、或將地圖資訊逐漸更新到何種程度。
如以上，在內容供給系統ex100，可令使用者發送之經過編碼的資訊即時地被客戶端接收而解碼、播放。
[個人內容之發布]
又，內容供給系統ex100並不僅止於影像發布業者之高畫質、長時間之內容，亦可以進行個人之低畫質、短時間之內容之單播或多播發布。又，可想到的是，如此之個人之內容以後亦會逐漸增加。為了令個人內容成為更佳之內容，伺服器亦可以在進行編輯處理後才進行編碼處理。關於此，例如，可藉由如以下之構成而實現。
在拍攝時即時或累積而於拍攝後，伺服器從原圖或完成編碼資料進行拍攝錯誤、場景搜尋、意義解析、及物件檢測等之辨識處理。然後，伺服器基於辨識結果而手動或自動地進行以下編輯：修正失焦或手晃等，將明度比其他圖片低或未對焦之場景等重要性低的場景刪除，強調物件之邊緣，令色調變化等。伺服器基於編輯結果而將編輯後之資料編碼。又，拍攝時刻過長則收視率會下降是已為人知，伺服器亦可以因應拍攝時間，以成為特定時間範圍內之內容的方式，除了如上述般之重要性低之場景之外，還將運動少之場景等基於圖像處理結果而自動地剪去。或者，伺服器亦可以基於場景之意義解析之結果而生成摘要並編碼。
另，個人內容有時會拍到維持原樣的話會侵害著作權、著作人格權或肖像權等的東西，亦可能發生共用之範圍超過意圖之範圍等對個人而言不便的情況。所以，例如，伺服器亦可以刻意將畫面之周邊部之人臉或家中等變更成不對焦之圖像而進行編碼。又，伺服器亦可以辨識在編碼對象圖像內是否有照到與事先登記之人物不同之人物的臉，當有照到的情況下，進行在臉之部分加上馬賽克等之處理。或者，亦可以作為編碼之前處理或後處理，由著作權等之觀點，讓使用者指定圖像中想加工之人物或背景區域，伺服器則進行將指定之區域換成別的影像、或令焦點模糊等之處理。若是人物，可在動態圖像中一面追蹤人物、一面將臉之部分之影像換掉。
又，由於資料量小之個人內容之收看有較強之即時性之要求，故雖然還要考慮頻帶寬，但解碼裝置首先是最優先接收基礎層而進行解碼及播放。解碼裝置亦可以在其間接收增強層，當播放為循環的情況等播放2次以上的情況下，將增強層亦包含在內而播放高畫質之影像。若是進行如此之可調式編碼之串流，則可提供如下之體驗：雖然在未選擇時或剛開始看之階段是較粗糙之動畫，但漸漸地串流變流暢、圖像變佳。除了可調式編碼之外，將第1次播放之較粗糙之串流、以及參考第1次之動態圖而編碼之第2次之串流當作1個串流而構成，亦可以提供同樣之體驗。
[其他之使用例]
又，該等編碼或解碼處理一般是在各終端所具有之LSIex500中處理。LSIex500可以是單晶片，亦可以是由複數晶片構成。另，亦可以是：將動態圖像編碼或解碼用之軟體裝進電腦ex111等可讀取之某些記錄媒體(CD-ROM、軟性磁碟、或硬碟等)中，使用該軟體進行編碼或解碼處理。再者，當智慧型手機ex115附有相機的情況下，亦可以將藉由該相機取得之動態圖資料發送。此時之動態圖資料是在智慧型手機ex115所具有之LSIex500中經過編碼處理之資料。
另，LSIex500亦可以是下載應用軟體而啟用之構成。此情況下，終端首先判定該終端是否對應於內容之編碼方式、或者是否有特定服務之執行能力。當終端未對應於內容之編碼方式的情況下、或者不具有特定服務之執行能力的情況下，終端下載編解碼器或應用軟體，之後進行內容取得及播放。
又，並非限定於透過網際網路ex101之內容供給系統ex100，數位播送用系統中亦可組裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一者。由於利用衛星等將影像與聲音經過多工之多工資料乘載在播送用之電波而發送接收，故雖然有相對於內容供給系統ex100是易於進行單播之構成，其較適合多播這樣的差異，但關於編碼處理及解碼處理可同樣地應用。
[硬體構成]
圖38是顯示智慧型手機ex115的圖。又，圖39是顯示智慧型手機ex115之構成例的圖。智慧型手機ex115具備：天線ex450，用於在與基地台ex110之間發送接收電波；相機部ex465，可拍攝影像及靜止圖；顯示部ex458，顯示相機部ex465所拍攝之影像、及藉由天線ex450接收之影像等進行解碼之資料。智慧型手機ex115更具備：操作部ex466，即觸控面板等；聲音輸出部ex457，即用於輸出聲音或音響之揚聲器等；聲音輸入部ex456，即用於輸入聲音之麥克風等；記憶體部ex467，可保存拍攝之影像或靜止圖、錄音之聲音、接收之影像或靜止圖、郵件等經過編碼之資料或經過解碼之資料；插槽部ex464，即對於SIMex468的介面部，前述SIMex468是用來特定使用者、進行以網路為首之各種資料之存取的認證。另，亦可以使用外接之記憶體來取代記憶體部ex467。
又，透過匯流排ex470而連接：主控制部ex460，將顯示部ex458及操作部ex466等總括地控制；電源電路部ex461；操作輸入控制部ex462；影像訊號處理部ex455；相機介面部ex463；顯示器控制部ex459；調變/解調部ex452；多工/分離部ex453；聲音訊號處理部ex454；插槽部ex464；及記憶體部ex467。
電源電路部ex461是當因為使用者之操作而令電源鍵成為開啟狀態時，藉由從電池組對各部供給電力，而將智慧型手機ex115啟動成可動作之狀態。
智慧型手機ex115是基於具有CPU、ROM及RAM等的主控制部ex460之控制而進行通話及資料通訊等之處理。通話時是將在聲音輸入部ex456收音之聲音訊號以聲音訊號處理部ex454轉換成數位聲音訊號，以調變/解調部ex452對其進行展頻處理，以發送/接收部ex451施加數位類比轉換處理及頻率轉換處理後透過天線ex450而發送。又，將接收資料放大而施加頻率轉換處理及類比數位轉換處理，以調變/解調部ex452進行解展頻處理，以聲音訊號處理部ex454轉換成類比聲音訊號後，將其從聲音輸出部ex457輸出。資料通訊模式時是藉由本體部之操作部ex466等之操作而令文字、靜止圖、或影像資料透過操作輸入控制部ex462朝主控制部ex460送出，同樣地進行發送接收處理。在資料通訊模式時發送影像、靜止圖、或影像與聲音的情況下，影像訊號處理部ex455是藉由在上述各實施形態顯示之動態圖像編碼方法而對保存在記憶體部ex467之影像訊號或從相機部ex465輸入之影像訊號進行壓縮編碼，將經過編碼之影像資料朝多工/分離部ex453送出。又，聲音訊號處理部ex454將藉由相機部ex465拍攝影像或靜止圖等時以聲音輸入部ex456收音之聲音訊號編碼，將經過編碼之聲音資料朝多工/分離部ex453送出。多工/分離部ex453將完成編碼影像資料與完成編碼聲音資料以預定之方式進行多工，以調變/解調部(調變/解調電路部)ex452、及發送/接收部ex451施加調變處理及轉換處理，透過天線ex450發送。
當接收到附加在電子郵件或聊天的影像、或連結於網頁等的影像的情況下，為了將透過天線ex450而接收到之多工資料解碼，多工/分離部ex453藉由分離多工資料而將多工資料分成影像資料之位元串流與聲音資料之位元串流，透過同步匯流排ex470而將經過編碼之影像資料朝影像訊號處理部ex455供給，並將經過編碼之聲音資料朝聲音訊號處理部ex454供給。影像訊號處理部ex455是藉由與在上述各實施形態顯示之動態圖像編碼方法對應之動態圖像解碼方法而將影像訊號解碼，透過顯示器控制部ex459而從顯示部ex458顯示連結之動態圖像檔案所含有之影像或靜止圖。又，聲音訊號處理部ex454將聲音訊號解碼，從聲音輸出部ex457輸出聲音。另，由於即時串流普及，故隨著使用者之狀況，亦可能發生就社會性而言播放聲音並不恰當的情況。因此，宜採用如下之構成：作為初期值，不播放聲音訊號，只播放影像資料。亦可以是只在使用者進行了點擊影像資料等操作的情況下，才將聲音同步播放。
又，雖然在此是以智慧型手機ex115來舉例說明，但關於終端，可以想到如下之3種安裝形式：除了具有編碼器及解碼器雙方之發送接收型終端之外，還有只具有編碼器之發送終端、及、只具有解碼器之接收終端。再者，雖然在數位播送用系統中說明的是接收或發送已將聲音資料等多工在影像資料之多工資料，但亦可以令多工資料是除了聲音資料之外將與影像相關之文字資料等多工，亦可以令接收或發送的是影像資料本身而非多工資料。
另，雖然說明的是含有CPU之主控制部ex460控制編碼或解碼處理，但終端常常具備GPU。所以，亦可以是如下之構成：藉由在CPU與GPU共通化之記憶體、或者、以可共通使用的方式管理位址之記憶體，活用GPU之性能而一併處理寬廣的區域。藉此，可縮短編碼時間，確保即時性，可實現低延遲。尤其，若不是藉由CPU，而是藉由GPU將運動估計、解區塊濾波、SAO(Sample Adaptive Offset，取樣自適應偏移)、及轉換/量化之處理以圖片等單位一併進行，則有效率。
亦可以將本態樣與本揭示之其他態樣之至少一部分組合而實施。又，亦可以將在本態樣之流程圖記載之一部分處理、裝置之一部分構成、語法之一部分等與其他態樣組合而實施。
產業上之可利用性
本揭示例如可用在電視機、數位視訊記錄器、汽車導航、行動電話、數位相機、數位視訊攝影機、電視會議系統、或電子鏡等。
10~23‧‧‧區塊
100‧‧‧編碼裝置
102‧‧‧分割部
104‧‧‧相減部
106‧‧‧轉換部
108‧‧‧量化部
110‧‧‧熵編碼部
112、204‧‧‧反量化部
114、206‧‧‧反轉換部
116、208‧‧‧相加部
118、210‧‧‧區塊記憶體
120、212‧‧‧迴路濾波部
122、214‧‧‧幀記憶體
124、216‧‧‧幀內預測部
126、218‧‧‧幀間預測部
128、220‧‧‧預測控制部
160、260‧‧‧電路
162、262‧‧‧記憶體
200‧‧‧解碼裝置
202‧‧‧熵解碼部
ex100‧‧‧內容供給系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務供應商
ex103‧‧‧串流伺服器
ex104‧‧‧通訊網
ex106~ex110‧‧‧基地台
ex111‧‧‧電腦
ex112‧‧‧遊戲機
ex113‧‧‧相機
ex114‧‧‧家電
ex115‧‧‧智慧型手機
ex116‧‧‧衛星
ex117‧‧‧飛機
ex450‧‧‧天線
ex451‧‧‧發送/接收部
ex452‧‧‧調變/解調部
ex453‧‧‧多工/分離部
ex454‧‧‧聲音訊號處理部
ex455‧‧‧影像訊號處理部
ex456‧‧‧聲音輸入部
ex457‧‧‧聲音輸出部
ex458‧‧‧顯示部
ex459‧‧‧LCD控制部
ex460‧‧‧主控制部
ex461‧‧‧電源電路部
ex462‧‧‧操作輸入控制部
ex463‧‧‧相機I/F部
ex464‧‧‧插槽部
ex465‧‧‧相機部
ex466‧‧‧操作部
ex467‧‧‧記憶體部
ex468‧‧‧SIM
ex470‧‧‧匯流排
ex500‧‧‧LSI
S201~S206、S211~S215、S211A~S212A、S221~S225、S221A~S222A、S231~S233、S241~S245、S241A~S242A、S251~S253‧‧‧步驟
圖1是顯示與實施形態1相關之編碼裝置之功能構成的方塊圖。
圖2是顯示實施形態1之區塊分割之一例的圖。
圖3是顯示與各轉換類型對應之轉換基底函數的表。
圖4A是顯示在ALF使用之濾波器之形狀之一例的圖。
圖4B是顯示在ALF使用之濾波器之形狀之其他之一例的圖。
圖4C是顯示在ALF使用之濾波器之形狀之其他之一例的圖。
圖5A是顯示幀內預測之67個幀內預測模式的圖。
圖5B是用於說明利用OBMC處理之預測圖像修正處理之概要的流程圖。
圖5C是用於說明利用OBMC處理之預測圖像修正處理之概要的概念圖。
圖5D是顯示FRUC之一例的圖。
圖6是用於說明在沿著運動軌跡之2個區塊間之樣式匹配(雙向匹配)的圖。
圖7是用於說明在當前圖片內之模板與參考圖片內之區塊之間之樣式匹配(模板匹配)的圖。
圖8是用於說明假設等速直線運動之模型的圖。
圖9A是用於說明基於複數個鄰接區塊之運動向量而將子區塊單位之運動向量導出的圖。
圖9B是用於說明利用合併模式之運動向量導出處理之概要的圖。
圖9C是用於說明DMVR處理之概要的概念圖。
圖9D是用於說明使用了利用LIC處理之亮度修正處理之預測圖像生成方法之概要的圖。
圖10是顯示與實施形態1相關之解碼裝置之功能構成的方塊圖。
圖11是與實施形態1相關之去區塊濾波處理之第1態樣的流程圖。
圖12是顯示與實施形態1相關之第1態樣之Bs算出方法之例的圖。
圖13是與實施形態1相關之第1態樣之Bs算出處理之第1例的流程圖。
圖14是顯示與實施形態1相關之第1態樣之Bs算出方法之第1例的圖。
圖15是與實施形態1相關之第1態樣之Bs算出處理之第2例的流程圖。
圖16是顯示與實施形態1相關之第1態樣之Bs算出方法之第2例的圖。
圖17是顯示與實施形態1相關之對象區塊及鄰接區塊之樣子的圖。
圖18是顯示與實施形態1相關之對象區塊及鄰接區塊之樣子的圖。
圖19是顯示與實施形態1相關之第2態樣之Bs算出方法之例的圖。
圖20是與實施形態1相關之第2態樣之Bs算出處理之第1例的流程圖。
圖21是顯示與實施形態1相關之第2態樣之Bs算出方法之第1例的圖。
圖22是與實施形態1相關之第2態樣之Bs算出處理之第2例的流程圖。
圖23是顯示與實施形態1相關之第2態樣之Bs算出方法之第2例的圖。
圖24是與實施形態1相關之去區塊濾波處理的流程圖。
圖25是顯示與實施形態1相關之第3態樣之Bs算出方法之例的圖。
圖26是與實施形態1相關之第3態樣之Bs算出處理之第1例的流程圖。
圖27是顯示與實施形態1相關之第3態樣之Bs算出方法之第1例的圖。
圖28是與實施形態1相關之第3態樣之Bs算出處理之第2例的流程圖。
圖29是顯示與實施形態1相關之第3態樣之Bs算出方法之第2例的圖。
圖30是與實施形態1相關之去區塊濾波處理的流程圖。
圖31是顯示編碼裝置之安裝例的方塊圖。
圖32是顯示解碼裝置之安裝例的方塊圖。
圖33是將內容發布服務實現之內容供給系統的整體構成圖。
圖34是顯示可調式(scalable)編碼時之編碼構造之一例的圖。
圖35是顯示可調式編碼時之編碼構造之一例的圖。
圖36是顯示web頁面之顯示畫面例的圖。
圖37是顯示web頁面之顯示畫面例的圖。
圖38是顯示智慧型手機之一例的圖。
圖39是顯示智慧型手機之構成例的方塊圖。

Claims (14)

  1. 一種編碼裝置，具備： 電路；及 記憶體， 前述電路是使用前述記憶體， 當第1亮度修正參數以及第2亮度修正參數的差比事先決定之閾值大的情況下，在前述對象區塊與前述鄰接區塊的邊界適用去區塊濾波處理，該第1亮度修正參數用在針對對象區塊之預測圖像之亮度修正處理，該第2亮度修正參數用在針對與前述對象區塊鄰接之鄰接區塊之前述亮度修正處理， 當前述差比前述閾值小的情況下，不在前述邊界適用前述去區塊濾波處理。
  2. 如請求項1之編碼裝置，其中當對前述對象區塊及前述鄰接區塊之其中一者適用前述亮度修正處理、對前述對象區塊及前述鄰接區塊之另一者不適用前述亮度修正處理的情況下，在前述邊界適用前述去區塊濾波處理。
  3. 如請求項2之編碼裝置，其中當對前述對象區塊與前述鄰接區塊之任一者皆不適用前述亮度修正處理的情況下，不在前述邊界適用前述去區塊濾波處理。
  4. 如請求項1至3之任一項之編碼裝置，其中前述亮度修正處理是LIC(Local Illumination Compensation，局部光照補償)處理。
  5. 如請求項1至3之任一項之編碼裝置，其中當前述差比前述閾值大的情況下，藉由將表示前述邊界之邊界強度之Bs設定成0以外之值，而在前述邊界適用前述去區塊濾波處理， 當前述差比前述閾值小的情況下，藉由將前述Bs設定成0，而不在前述邊界適用前述去區塊濾波處理。
  6. 如請求項1至3之任一項之編碼裝置，其中前述對象區塊及前述鄰接區塊是預測處理之單位區塊。
  7. 一種解碼裝置，具備： 電路；及 記憶體， 前述電路是使用前述記憶體， 當第1亮度修正參數以及第2亮度修正參數的差比事先決定之閾值大的情況下，在前述對象區塊與前述鄰接區塊的邊界適用去區塊濾波處理，該第1亮度修正參數用在針對對象區塊之預測圖像之亮度修正處理，該第2亮度修正參數用在針對與前述對象區塊鄰接之鄰接區塊之前述亮度修正處理， 當前述差比前述閾值小的情況下，不在前述邊界適用前述去區塊濾波處理。
  8. 如請求項7之解碼裝置，其中當對前述對象區塊及前述鄰接區塊之其中一者適用前述亮度修正處理、對前述對象區塊及前述鄰接區塊之另一者不適用前述亮度修正處理的情況下，在前述邊界適用前述去區塊濾波處理。
  9. 如請求項8之解碼裝置，其中當對前述對象區塊與前述鄰接區塊之任一者皆不適用前述亮度修正處理的情況下，不在前述邊界適用前述去區塊濾波處理。
  10. 如請求項7至9之任一項之解碼裝置，其中前述亮度修正處理是LIC(Local Illumination Compensation)處理。
  11. 如請求項7至9之任一項之解碼裝置，其中當前述差比前述閾值大的情況下，藉由將表示前述邊界之邊界強度之Bs設定成0以外之值，而在前述邊界適用前述去區塊濾波處理， 當前述差比前述閾值小的情況下，藉由將前述Bs設定成0，而不在前述邊界適用前述去區塊濾波處理。
  12. 如請求項7至9之任一項之解碼裝置，其中前述對象區塊及前述鄰接區塊是預測處理之單位區塊。
  13. 一種編碼方法， 當第1亮度修正參數以及第2亮度修正參數的差比事先決定之閾值大的情況下，在前述對象區塊與前述鄰接區塊的邊界適用去區塊濾波處理，該第1亮度修正參數用在針對對象區塊之預測圖像之亮度修正處理，該第2亮度修正參數用在針對與前述對象區塊鄰接之鄰接區塊之前述亮度修正處理， 當前述差比前述閾值小的情況下，不在前述邊界適用前述去區塊濾波處理。
  14. 一種解碼方法， 當第1亮度修正參數以及第2亮度修正參數的差比事先決定之閾值大的情況下，在前述對象區塊與前述鄰接區塊的邊界適用去區塊濾波處理，該第1亮度修正參數用在針對對象區塊之預測圖像之亮度修正處理，該第2亮度修正參數用在針對與前述對象區塊鄰接之鄰接區塊之前述亮度修正處理， 當前述差比前述閾值小的情況下，不在前述邊界適用前述去區塊濾波處理。
TW107140251A 2017-11-15 2018-11-13 編碼裝置、解碼裝置、編碼方法及解碼方法 TW201924334A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762586461P 2017-11-15 2017-11-15
US62/586,461 2017-11-15

Publications (1)

Publication Number Publication Date
TW201924334A true TW201924334A (zh) 2019-06-16

Family

ID=66537790

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107140251A TW201924334A (zh) 2017-11-15 2018-11-13 編碼裝置、解碼裝置、編碼方法及解碼方法

Country Status (2)

Country Link
TW (1) TW201924334A (zh)
WO (1) WO2019098092A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114556923B (zh) * 2019-10-03 2023-03-10 华为技术有限公司 编码器、解码器和使用插值滤波的对应方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012095228A (ja) * 2010-10-28 2012-05-17 Canon Inc 画像符号化装置及びその制御方法、並びにプログラム及び記憶媒体
CN103392189B (zh) * 2012-02-23 2017-10-31 史克威尔·艾尼克斯控股公司 动态图像传输服务器、动态图像播放装置以及控制方法

Also Published As

Publication number Publication date
WO2019098092A1 (ja) 2019-05-23

Similar Documents

Publication Publication Date Title
US11563969B2 (en) Image encoder and related non-transitory computer readable medium for image decoding
US11876991B2 (en) Image decoder and image decoding method capable of blending operation between partitions
US11758166B2 (en) Image encoder, image decoder, image encoding method, and image decoding method
TWI785044B (zh) 編碼裝置及解碼裝置
CN110495177B (zh) 解码装置、解码方法及存储介质
TWI830328B (zh) 編碼裝置、解碼裝置及電腦可讀取之非暫時性媒體
TWI780006B (zh) 用於保存使電腦執行解碼處理之位元流的非暫時性記憶媒體
US11563958B2 (en) Encoder, decoder, encoding method, and decoding method
TWI826214B (zh) 編碼方法及解碼方法
US20230388505A1 (en) Encoder, decoder, encoding method, and decoding method
TW202002648A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
US20240073441A1 (en) Encoder, decoder, encoding method, and decoding method
WO2018097078A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
TW201909631A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
CN112136326B (zh) 编码装置、解码装置、编码方法和解码方法
TW201924334A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201921924A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
US11716470B2 (en) Encoder, decoder, encoding method, and decoding method
WO2019088162A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2018097079A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
TW201946468A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW202418804A (zh) 編碼裝置及解碼裝置