TWI783129B - 編碼裝置、解碼裝置、編碼方法及解碼方法 - Google Patents

編碼裝置、解碼裝置、編碼方法及解碼方法 Download PDF

Info

Publication number
TWI783129B
TWI783129B TW108107282A TW108107282A TWI783129B TW I783129 B TWI783129 B TW I783129B TW 108107282 A TW108107282 A TW 108107282A TW 108107282 A TW108107282 A TW 108107282A TW I783129 B TWI783129 B TW I783129B
Authority
TW
Taiwan
Prior art keywords
block
sub
aforementioned
encoding
unit
Prior art date
Application number
TW108107282A
Other languages
English (en)
Other versions
TW201939957A (zh
Inventor
史寇敘 巴曼 夏西達
海威 孫
宗順 林
廖如伶
漢文 張
李靜雅
西孝啓
安倍清史
加納龍一
遠間正真
Original Assignee
美商松下電器（美國）知識產權公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商松下電器（美國）知識產權公司 filed Critical 美商松下電器（美國）知識產權公司
Publication of TW201939957A publication Critical patent/TW201939957A/zh
Application granted granted Critical
Publication of TWI783129B publication Critical patent/TWI783129B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Error Detection And Correction (AREA)

Abstract

將圖片中包含的編碼對象區塊加以編碼的編碼裝置具備有電路及記憶體，電路使用記憶體，將編碼對象區塊朝第1方向分割成第1子區塊、第2子區塊及第3子區塊，第2子區塊位於第1子區塊及第3子區塊之間，且禁止將第2子區塊朝第1方向分割成2個分區，並且將第1子區塊、第2子區塊及第3子區塊編碼。

Description

編碼裝置、解碼裝置、編碼方法及解碼方法
本揭示是有關於一種編碼裝置、解碼裝置、編碼方法及解碼方法。
稱作HEVC(High-Efficiency Video Coding：高效率視訊編碼)的影像編碼標準規格，是由JCT-VC(Joint Collaborative Team on Video Coding：影像編碼聯合團隊)進行標準化。
先行技術文獻
非專利文獻
非專利文獻1：H. 265(ISO/IEC 23008-2 HEVC(High Efficiency Video Coding))
發明概要
在這樣的編碼及解碼技術中，要求更進一步的改善。
因此，本揭示之目的在於提供一種可實現更進一步的改善之編碼裝置、解碼裝置、編碼方法或解碼方法。
本揭示之一個態樣的編碼裝置是將圖片中包含的編 碼對象區塊加以編碼的編碼裝置，具備有電路及記憶體，前述電路使用前述記憶體，將前述編碼對象區塊朝第1方向分割成第1子區塊、第2子區塊及第3子區塊，前述第2子區塊位於前述第1子區塊及前述第3子區塊之間，且禁止將前述第2子區塊朝前述第1方向分割成2個分區(partition)，並且將前述第1子區塊、前述第2子區塊及前述第3子區塊編碼。
本揭示之一個態樣的解碼裝置是將編碼圖片中包含的解碼對象區塊加以解碼的解碼裝置，具備有電路及記憶體，前述電路使用前述記憶體，將前述解碼對象區塊朝第1方向分割成第1子區塊、第2子區塊及第3子區塊，前述第2子區塊位於前述第1子區塊及前述第3子區塊之間，且禁止將前述第2子區塊朝前述第1方向分割成2個分區，並且將前述第1子區塊、前述第2子區塊及前述第3子區塊解碼。
再者，該等概括的或具體的態樣能夠以系統、方法、積體電路、電腦程式或電腦可讀取的CD-ROM等記錄媒體來實現，也能夠以系統、方法、積體電路、電腦程式及記錄媒體的任意組合來實現。
本揭示可提供一種可實現更進一步之改善的編碼裝置、解碼裝置、編碼方法或解碼方法。
10~23:區塊
100:編碼裝置
102:分割部
104:減算部
106:轉換部
108:量化部
110:熵編碼部
112、204:反量化部
114、206:反轉換部
116、208:加算部
118、210:區塊記憶體
120、212:迴路濾波部
122、214:幀記憶體
124、216:幀內預測部
126、218:幀間預測部
128、220:預測控制部
200:解碼裝置
202:熵解碼部
ex100:內容供給系統
ex101:網際網路
ex102:網際網路服務提供者
ex103:串流化伺服器
ex104:通訊網
ex106~ex110:基地台
ex111:電腦
ex112:遊戲機
ex113:攝影機
ex114:家電
ex115:智慧型手機
ex116:衛星
ex117:飛機
ex450:天線
ex451:發送/接收部
ex452:調變/解調部
ex453:多工/分離部
ex454:聲音訊號處理部
ex455:影像訊號處理部
ex456:聲音輸入部
ex457:聲音輸出部
ex458:顯示部
ex459:顯示器控制部
ex460:主控制部
ex461:電源電路部
ex462:操作輸入控制部
ex463:攝影機介面部
ex464:插槽部
ex465:攝影機部
ex466:操作部
ex467:記憶體部
ex468:SIM
ex470:匯流排、同步匯流排
ex500:LSI
S1001~S1006、S2001~S2006、S3001~S3006、 S4001~S4006、S5001~S5006、S6001~S6005、S7001~S7007、S8001~S8006:步驟
圖1是顯示實施形態1之編碼裝置的功能構 成的方塊圖。
圖2是顯示實施形態1之區塊分割的一例之圖。
圖3是顯示對應於各轉換類型之轉換基底函數的表。
圖4A是顯示在ALF使用的濾波器的形狀之一例的圖。
圖4B是顯示在ALF使用的濾波器的形狀之另一例的圖。
圖4C是顯示在ALF使用的濾波器的形狀之另一例的圖。
圖5A是顯示幀內預測中之67個幀內預測模式的圖。
圖5B是用以說明利用OBMC處理的預測圖像修正處理的概要的流程圖。
圖5C是用以說明利用OBMC處理的預測圖像修正處理的概要的概念圖。
圖5D是顯示FRUC之一例的圖。
圖6是用以說明在沿著移動軌道的2個區塊之間的樣式匹配(雙向匹配)的圖。
圖7是用以說明在當前圖片內的模板與參考圖片內的區塊之間的樣式匹配(模板匹配)的圖。
圖8是用以說明假設成等速直線運動的模型的圖。
圖9A是用以說明根據複數個鄰接區塊之移動向量來導出子區塊單位之移動向量的圖。
圖9B是用以說明利用合併模式的移動向量導出處理的概要的圖。
圖9C是用以說明DMVR處理的概要的概念圖。
圖9D是用以說明使用了利用LIC處理之亮度修正處理的預測圖像生成方法的概要的圖。
圖10是顯示實施形態1之解碼裝置的功能構成的方塊圖。
圖11顯示藉由第1態樣之編碼方法及編碼裝置所進行的編碼處理。
圖12顯示當判定為第1成本比全部的第2成本低時，第2區塊編碼處理會排除掉包含有起初先將區塊分割成3個較小的分區的步驟之第3區塊編碼處理。
圖13顯示具有不同的二元樹深度之第1成本的其他例。
圖14顯示藉由第2態樣之編碼方法及編碼裝置所進行的編碼處理。
圖15顯示當判定為第1成本的任一個比第2成本的全部低時，從第2區塊編碼處理集選擇區塊編碼處理的情況。
圖16顯示藉由第3態樣之編碼方法及編碼裝置所進行的編碼處理。
圖17顯示當高度比寬度大的矩形區塊之垂直梯度比水平或斜梯度大時，第2區塊編碼處理集會排除掉包含起初先將區塊朝垂直方向分割成3個較小的分區的步驟之第1區塊編碼處理的情況。
圖18顯示當寬度比高度大的矩形區塊之水平梯度比垂直或對角梯度大時，第2區塊編碼處理集會排除掉包含起初先將區塊朝水平方向分割成3個較小的分區的步驟之第1區塊編碼處理的情況。
圖19A顯示水平方向上之像素強度的變化之計算例。
圖19B顯示水平方向上之像素強度的變化之計算例。
圖20顯示藉由第4態樣之編碼方法及編碼裝置所進行的編碼處理。
圖21的(a)顯示當區塊編碼處理生成占區塊一半面積的子分區之區域、且水平梯度比垂直梯度大時，從第2區塊編碼處理集選擇區塊編碼處理的情況。圖21的(b)顯示當區塊編碼處理生成占區塊一半面積的子分區之區域、且垂直梯度比水平梯度大時，從第2區塊編碼處理集選擇區塊編碼處理的情況。
圖22顯示藉由第5態樣之編碼方法及編碼裝置所進行的編碼處理。
圖23A顯示當未安裝16×2用的轉換時，將16×8區塊朝與16×8區塊之高度平行的方向分割成3個較 小的分區之例。
圖23B顯示當未安裝16×2用的轉換時，將16×8區塊朝與16×8區塊之高度平行的方向分割成4個較小的分區之例。
圖24顯示藉由第6態樣之編碼方法及編碼裝置所進行的編碼處理。
圖25A顯示用以分割16×16區塊之分區構造的候選之例。
圖25B顯示用以分割8×8區塊之分區構造的候選之例。
圖26顯示藉由第7態樣之編碼方法及編碼裝置所進行的編碼處理。
圖27顯示起初先將32×32區塊分割成3個子區塊，之後再將最大的子區塊分割成2個分區之一例。
圖28顯示藉由第8態樣之編碼方法及編碼裝置所進行的編碼處理。
圖29顯示起初先將64×64區塊分割成3個子區塊，之後再將全部的子區塊分割成2個分區之一例。
圖30顯示用以將區塊分割成2個或3個分區的分割模式及分割方向之例。
圖31顯示位元串流內之參數的位置之例。
圖32是實現內容(contents)發布服務之內容供給系統的全體構成圖。
圖33是顯示可適性(scalable)編碼時的編碼 構造之一例的圖。
圖34是顯示可適性編碼時的編碼構造之一例的圖。
圖35是顯示網頁之顯示畫面例的圖。
圖36是顯示網頁之顯示畫面例的圖。
圖37是顯示智慧型手機之一例的圖。
圖38是顯示智慧型手機之構成例的方塊圖。
用以實施發明之形態
以下，一邊參考圖式，一邊具體地說明實施形態。
再者，以下說明的實施形態均表示概括的或具體的例子。以下實施形態所示數值、形狀、材料、構成要件、構成要件的配置位置及連接形態、步驟、步驟的順序等是一例，其主旨不在於限定申請專利範圍。又，針對以下實施形態的構成要件中未記載於表示最上位概念之獨立請求項的構成要件，則當作任意的構成要件來說明。
(實施形態1)
首先，說明實施形態1的概要，來作為可套用後述本揭示之各態樣中所說明的處理及/或構成之編碼裝置及解碼裝置的一例。但實施形態1僅為可套用本揭示之各態樣中所說明的處理及/或構成之編碼裝置及解碼裝置的一例，本揭示之各態樣中所說明的處理及/或構成，亦可實施於與實施形態1不同的編碼裝置及解碼裝置。
對實施形態1套用本揭示之各態樣中所說明 的處理及/或構成時，亦可進行例如以下任一情況：(1)對實施形態1之編碼裝置或解碼裝置，將構成該編碼裝置或解碼裝置的複數個構成要件中對應於本揭示之各態樣中所說明的構成要件之構成要件，替換成本揭示之各態樣中所說明的構成要件；(2)對實施形態1之編碼裝置或解碼裝置，針對構成該編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件，施以功能或欲實施之處理的追加、替換、刪除等任意變更後，將對應於本揭示之各態樣中所說明的構成要件之構成要件，替換成本揭示之各態樣中所說明的構成要件；(3)對實施形態1之編碼裝置或解碼裝置所實施的方法，針對處理的追加、及/或該方法所包含的複數個處理中之一部分處理，施以替換、刪除等任意變更後，將對應於本揭示之各態樣中所說明的處理之處理，替換成本揭示之各態樣中所說明的處理；(4)將構成實施形態1之編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件，與本揭示之各態樣中所說明的構成要件、具備本揭示之各態樣中所說明的構成要件所具備的一部分功能的構成要件、或實施本揭示之各態樣中所說明的構成要件所實施的一部分處理的構成要件組合並實施；(5)將具備構成實施形態1之編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件所具備的一部分功能的構成要件、或實施構成實施形態1之編碼裝置或解碼裝 置的複數個構成要件中之一部分構成要件所實施的一部分處理的構成要件，與本揭示之各態樣中所說明的構成要件、具備本揭示之各態樣中所說明的構成要件所具備的一部分功能的構成要件、或實施本揭示之各態樣中所說明的構成要件所實施的一部分處理的構成要件組合並實施；(6)對實施形態1之編碼裝置或解碼裝置所實施的方法，將該方法所包含的複數個處理中對應於本揭示之各態樣中所說明的處理之處理，替換成本揭示之各態樣中所說明的處理；(7)將實施形態1之編碼裝置或解碼裝置所實施的方法所包含之複數個處理中的一部分處理，與本揭示之各態樣中所說明的處理組合並實施。
再者，本揭示之各態樣中所說明的處理及/或構成的實施方式，不限定於上述例子。例如可實施於與實施形態1中揭示之動態圖像/圖像編碼裝置或動態圖像/圖像解碼裝置以不同目的而利用的裝置，或單獨實施各態樣中所說明的處理及/或構成。又，亦可組合不同態樣中所說明的處理及/或構成並實施。
〔編碼裝置之概要〕
首先，說明實施形態1之編碼裝置的概要。圖1是顯示實施形態1之編碼裝置100的功能構成的方塊圖。編碼裝置100是以區塊單位來編碼動態圖像/圖像的動態圖像/圖像編碼裝置。
如圖1所示，編碼裝置100是以區塊單位來編 碼圖像的裝置，具備分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加算部116、區塊記憶體118、迴路濾波部120、幀記憶體122、幀內預測部124、幀間預測部126、及預測控制部128。
可藉由例如通用處理器及記憶體來實現編碼裝置100。此情況下，由處理器執行儲存於記憶體的軟體程式時，處理器是作為分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加算部116、迴路濾波部120、幀內預測部124、幀間預測部126、及預測控制部128而發揮功能。又，亦可以專用之1個以上的電子電路來實現編碼裝置100，且前述電子電路對應於分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加算部116、迴路濾波部120、幀內預測部124、幀間預測部126、及預測控制部128。
以下說明編碼裝置100包含的各構成要件。
〔分割部〕
分割部102將輸入動態圖像所包含的各圖片分割成複數個區塊，將各區塊輸出至減算部104。例如，分割部102首先將圖片分割成固定尺寸(例如128×128)的區塊。此固定尺寸的區塊有時稱為編碼樹單元(CTU)。然後，分割部102根據遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，將固定尺寸的各個區塊分割成可變尺寸(例如64×64以下)的區塊。此可變尺寸的區塊有時稱為編 碼單元(CU)、預測單元(PU)或轉換單元(TU)。再者，於本實施形態亦可不必區分CU、PU及TU，而使圖片內的一部分或全部區塊成為CU、PU、TU的處理單位。
圖2是顯示實施形態1之區塊分割的一例的圖。於圖2，實線表示四元樹區塊分割的區塊邊界，虛線表示二元樹區塊分割的區塊邊界。
在此，區塊10為128×128像素的正方形區塊(128×128區塊)。此128×128區塊10首先分割成4個正方形的64×64區塊(四元樹區塊分割)。
左上64x64區塊進一步垂直分割成2個矩形的32×64區塊，左32×64區塊進一步垂直分割成2個矩形的16×64區塊(二元樹區塊分割)。其結果，左上64×64區塊分割成2個16×64區塊11、12，及32×64區塊13。
右上64×64區塊水平分割成2個矩形的64×32區塊14、15(二元樹區塊分割)。
左下64×64區塊分割成4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊中，左上區塊及右下區塊進一步分割。左上32×32區塊垂直分割成2個矩形的16×32區塊，右16×32區塊進一步水平分割成2個16×16區塊(二元樹區塊分割)。右下32×32區塊水平分割成2個32×16區塊(二元樹區塊分割)。其結果，左下64×64區塊分割成16×32區塊16，2個16×16區塊17、18，2個32×32區塊19、20，及2個32×16區塊21、22。
右下64×64區塊23不分割。
如以上，於圖2，區塊10根據遞迴的四元樹及二元樹區塊分割，分割成13個可變尺寸的區塊11~23。這樣的分割有時稱為QTBT(quad-tree plus binary tree：四元樹加二元樹)分割。
再者，於圖2，1個區塊雖分割成4個或2個區塊(四元樹或二元樹區塊分割)，但分割不限定於此。例如1個區塊亦可分割成3個區塊(三元樹區塊分割)。這種包含三元樹區塊在內的分割，有時稱為MBT(multi type tree：多類型樹)分割。
〔減算部〕
減算部104以藉由分割部102分割而成的區塊為單位，從原訊號(原樣本)減去預測訊號(預測樣本)。也就是說，減算部104算出編碼對象區塊(以下稱為當前區塊)的預測誤差(亦稱為殘差)。然後，減算部104將算出的預測誤差輸出至轉換部106。
原訊號為編碼裝置100的輸入訊號，且為表示構成動態圖像之各圖片的圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。以下敘述中，有時亦將表示圖像的訊號稱為樣本。
〔轉換部〕
轉換部106將空間域的預測誤差轉換成頻率域的轉換係數，將轉換係數輸出至量化部108。具體來說，轉換部106是對例如空間域的預測誤差進行事先決定的離散餘弦轉換(DCT)或離散正弦轉換(DST)。
再者，轉換部106亦可從複數種轉換類型中適應地選擇轉換類型，再使用與選擇之轉換類型相對應的轉換基底函數(transform basis function)，將預測誤差轉換成轉換係數。這樣的轉換有時稱為EMT(explicit multiple core transform：顯式多重核心轉換)或AMT(adaptive multiple transform：適應性多重轉換)。
複數種轉換類型包含例如DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3顯示對應於各轉換類型之基底函數的表。於圖3，N表示輸入像素數。從該等複數種轉換類型中選擇轉換類型時，可取決於例如預測的種類(幀內預測及幀間預測)，或取決於幀內預測模式。
這種表示是否套用EMT或AMT的資訊(例如稱為AMT旗標)、及表示已選擇之轉換類型的資訊，是以CU級別來訊號化。再者，該等資訊的訊號化不必限定在CU級別，亦可為其他級別(例如序列(sequence)級別、圖片(picture)級別、切片(slice)級別、圖塊(tile)級別或CTU級別)。
又，轉換部106亦可將轉換係數(轉換結果)進行再轉換。這樣的再轉換有時稱為AST(adaptive secondary transform：適應性二次轉換)或NSST(non-separable secondary transform：不可分離二次轉換)。例如，轉換部106將對應於幀內預測誤差的轉換係數之區塊所包含的每個子區塊(例如4×4子區塊)進行再 轉換。表示是否套用NSST的資訊、及有關於用於NSST之轉換矩陣的資訊，是以CU級別來訊號化。再者，該等資訊的訊號化不必限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別或CTU級別)。
在此，Separable(可分離)轉換是指就輸入之維度的數量而按每個方向分離來進行複數次轉換的方式，Non-Separable(不可分離)轉換是指在輸入為多維之際，將2個以上的維度統整視為1維而一次進行轉換的方式。
例如，可舉下例來作為Non-Separable轉換的1例：在輸入為4×4區塊時，將前述區塊視為具有16個要素的一個陣列，且以16×16的轉換矩陣對前述陣列進行轉換處理。
又，同樣的，將4×4輸入區塊視為具有16個要素的一個陣列後，對前述陣列進行複數次Givens旋轉(Hypercube Givens Transform：超立方體吉文斯轉換)的情況，也是Non-Separable的轉換例。
〔量化部〕
量化部108將從轉換部106輸出的轉換係數進行量化。具體來說，量化部108是以既定的掃描順序掃描當前區塊的轉換係數，根據對應於經掃描的轉換係數之量化參數(QP)來量化該轉換係數。然後，量化部108將當前區塊之經量化的轉換係數(以下稱為量化係數)輸出至熵編碼部110及反量化部112。
既定的順序是轉換係數之量化/反量化用的 順序。例如，既定的掃描順序是以頻率的升序(從低頻往高頻的順序)或降序(從高頻往低頻的順序)來定義。
量化參數是定義量化步距(量化寬度)的參數。例如，若增加量化參數之值，則量化步距亦增加。也就是說，若量化參數之值增加，則量化誤差增大。
〔熵編碼部〕
熵編碼部110將從量化部108輸入的量化係數進行可變長度編碼，藉此生成編碼訊號(編碼位元串流)。具體來說，熵編碼部110例如將量化係數二值化，並將二值訊號進行算術編碼。
〔反量化部〕
反量化部112將從量化部108輸入的量化係數反量化。具體來說，反量化部112是以既定的掃描順序來將當前區塊的量化係數反量化。然後，反量化部112將當前區塊之經反量化的轉換係數輸出至反轉換部114。
〔反轉換部〕
反轉換部114將從反量化部112輸入的轉換係數反轉換，藉此復原預測誤差。具體來說，反轉換部114是藉由對轉換係數進行與轉換部106的轉換相對應的反轉換，而復原當前區塊的預測誤差。然後，反轉換部114將經復原的預測誤差輸出至加算部116。
再者，由於經復原的預測誤差會因量化而失去資訊，因此不會與減算部104所算出的預測誤差一致。亦即，經復原的預測誤差包含有量化誤差。
〔加算部〕
加算部116藉由將從反轉換部114輸入的預測誤差與從預測控制部128輸入的預測樣本相加，來重構當前區塊。然後，加算部116將重構的區塊輸出至區塊記憶體118及迴路濾波部120。重構區塊有時亦稱為局部(local)解碼區塊。
〔區塊記憶體〕
區塊記憶體118是用以儲存以下區塊的記憶部：在幀內預測中參考的區塊並且是編碼對象圖片(以下稱為當前圖片)內的區塊。具體來說，區塊記憶體118儲存從加算部116輸出的重構區塊。
〔迴路濾波部〕
迴路濾波部120對藉由加算部116重構的區塊施以迴路濾波，將經濾波的重構區塊輸出至幀記憶體122。迴路濾波是在編碼迴路內使用的濾波器(迴路內濾波器：In-loop filter)，包含有例如去區塊濾波器(Deblocking Filter，DF)、樣本適應性偏移(Sample Adaptive Offset，SAO)、及適應性迴路濾波器(Adaptive Loop Filter，ALF)等。
在ALF中是套用用以去除編碼失真的最小平方誤差濾波器，例如對當前區塊內的每個2×2子區塊，套用根據局部梯度(gradient)之方向及活性度(activity)而從複數個濾波器中選擇的1個濾波器。
具體來說，首先將子區塊(例如2×2子區塊) 分類為複數個組別(例如15或25組)。子區塊的分類是根據梯度的方向及活性度來進行。例如，使用梯度的方向值D(例如0~2或0~4)及梯度的活性值A(例如0~4)來算出分類值C(例如C=5D+A)。然後，根據分類值C將子區塊分類為複數個組別(例如15或25組)。
梯度的方向值D是藉由例如比較複數個方向(例如水平、垂直及2個對角方向)的梯度而導出。又，梯度的活性值A是藉由例如相加複數個方向的梯度，再將加算結果進行量化而導出。
根據這樣的分類結果，從複數個濾波器中決定子區塊用的濾波器。
作為在ALF使用的濾波器形狀，可利用例如圓對稱形狀。圖4A~圖4C是顯示在ALF使用的濾波器形狀的複數個例子的圖。圖4A顯示5×5菱形形狀濾波器，圖4B顯示7×7菱形形狀濾波器，圖4C顯示9×9菱形形狀濾波器。顯示濾波器形狀的資訊是以圖片級別訊號化。再者，顯示濾波器形狀的資訊之訊號化不必限定在圖片級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別、CTU級別或CU級別)。
ALF的開啟/關閉是以例如圖片級別或CU級別來決定。例如，針對亮度是以CU級別決定是否套用ALF，針對色差是以圖片級別決定是否套用ALF。顯示ALF之開啟/關閉的資訊是以圖片級別或CU級別來訊號化。再者，表示ALF之開啟/關閉的資訊之訊號化不必限定 在圖片級別或CU級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別或CTU級別)。
可選擇的複數個濾波器(例如到15個或25個的濾波器)之係數集是以圖片級別訊號化。再者，係數集之訊號化不必限定在圖片級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別、CTU級別、CU級別或子區塊級別)。
〔幀記憶體〕
幀記憶體122是用以儲存幀間預測所用的參考圖片的記憶部，有時亦稱為幀緩衝器(frame buffer)。具體來說，幀記憶體122儲存經迴路濾波部120濾波的重構區塊。
〔幀內預測部〕
幀內預測部124參考儲存於區塊記憶體118之當前圖片內的區塊，來進行當前區塊的幀內預測(亦稱為畫面內預測)，藉此生成預測訊號(幀內預測訊號)。具體來說，幀內預測部124是參考鄰接於當前區塊的區塊之樣本(例如亮度值、色差值)來進行幀內預測，藉此生成幀內預測訊號，並將幀內預測訊號輸出至預測控制部128。
例如，幀內預測部124使用事先規定的複數個幀內預測模式中的1個來進行幀內預測。複數個幀內預測模式包含有1個以上的非方向性預測模式及複數個方向性預測模式。
1個以上的非方向性預測模式包含有例如以H.265/HEVC(High-Efficiency Video Coding)規格(非專 利文獻1)所規定的Planar(平面)預測模式及DC(直流)預測模式。
複數個方向性預測模式包含有例如以H.265/HEVC規格所規定之33個方向的預測模式。再者，複數個方向性預測模式除了33個方向以外，亦可進一步包含32個方向的預測模式(合計65個方向性預測模式)。圖5A是顯示幀內預測中之67個幀內預測模式(2個非方向性預測模式及65個方向性預測模式)的圖。實線箭頭表示以H.265/HEVC規格所規定的33個方向，虛線箭頭表示追加的32個方向。
再者，於色差區塊的幀內預測中，亦可參考亮度區塊。也就是說，亦可根據當前區塊的亮度成分來預測當前區塊的色差成分。這樣的幀內預測有時稱為CCLM(cross-component linear model：跨成分線性模型)預測。這種參考亮度區塊的色差區塊之幀內預測模式(例如稱為CCLM模式)亦可作為色差區塊之幀內預測模式的其中1個而加入。
幀內預測部124亦可根據水平/垂直方向之參考像素的梯度，來修正幀內預測後的像素值。伴隨這種修正的幀內預測有時稱為PDPC(position dependent intra prediction combination：位置相關幀內預測組合)。顯示有無套用PDPC的資訊(例如稱為PDPC旗標)是以例如CU級別來訊號化。再者，此資訊之訊號化不必限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、 圖塊級別或CTU級別)。
〔幀間預測部〕
幀間預測部126參考儲存於幀記憶體122之參考圖片並且是與當前圖片不同的參考圖片，來進行當前區塊的幀間預測(亦稱為畫面間預測)，藉此生成預測訊號(幀間預測訊號)。幀間預測是以當前區塊或當前區塊內的子區塊(例如4×4區塊)為單位進行。例如，幀間預測部126針對當前區塊或子區塊，進行參考圖片內之移動估測(motion estimation)。然後，幀間預測部126使用藉由移動估測所獲得的移動資訊(例如移動向量)來進行移動補償，藉此生成當前區塊或子區塊的幀間預測訊號。然後，幀間預測部126將生成的幀間預測訊號輸出至預測控制部128。
用於移動補償的移動資訊被訊號化。移動向量的訊號化亦可使用移動向量預測子(motion vector predictor)。也就是說，亦可將移動向量與移動向量預測子之間的差分訊號化。
再者，不僅可使用藉由移動估測所獲得的當前區塊的移動資訊，亦可使用鄰接區塊的移動資訊來生成幀間預測訊號。具體來說，亦可將以藉由移動估測所獲得的移動資訊為根據的預測訊號、與以鄰接區塊的移動資訊為根據的預測訊號進行加權相加，藉此以當前區塊內的子區塊為單位來生成幀間預測訊號。這樣的幀間預測(移動補償)有時稱為OBMC(overlapped block motion compensation：重疊區塊移動補償)。
在這樣的OBMC模式中，顯示用於OBMC的子區塊之尺寸的資訊(例如稱為OBMC區塊尺寸)是以序列級別訊號化。又，顯示是否套用OBMC模式的資訊(例如稱為OBMC旗標)是以CU級別訊號化。再者，該等資訊的訊號化之級別不必限定在序列級別及CU級別，亦可為其他級別(例如圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。
針對OBMC模式更具體地說明。圖5B及圖5C是用以說明利用OBMC處理的預測圖像修正處理的概要的流程圖及概念圖。
首先，使用分配給編碼對象區塊的移動向量(MV)來取得通常的移動補償的預測圖像(Pred)。
其次，將已完成編碼的左鄰接區塊的移動向量(MV_L)套用於編碼對象區塊，取得預測圖像(Pred_L)，將前述預測圖像與Pred_L加權重疊，藉此進行預測圖像的第1次修正。
同樣的，將已完成編碼的上鄰接區塊的移動向量(MV_U)套用於編碼對象區塊，取得預測圖像(Pred_U)，將已進行前述第1次修正的預測圖像與Pred_U加權重疊，藉此進行預測圖像的第2次修正，並將其作為最終的預測圖像。
再者，在此雖已說明使用左鄰接區塊及上鄰接區塊之2階段的修正方法，但亦可構成為使用右鄰接區塊或下鄰接區塊來進行次數多於2階段的修正。
再者，進行重疊的區域亦可不是區塊全體的像素區域，而是僅區塊邊界附近的一部分區域。
再者，在此雖已說明從1張參考圖片進行的預測圖像修正處理，但從複數張參考圖片修正預測圖像的情況亦相同，在取得從各個參考圖片修正的預測圖像後，進一步重疊獲得的預測圖像，藉此作為最終的預測圖像。
再者，前述處理對象區塊可以是預測區塊單位，也可以是將預測區塊進一步分割而成的子區塊單位。
作為判定是否套用OBMC處理的方法，例如有使用obmc_flag的方法，前述obmc_flag為表示是否套用OBMC處理的訊號。舉具體的一例而言，可在編碼裝置中判定編碼對象區塊是否屬於移動複雜的區域，若屬於移動複雜的區域，則設定obmc_flag之值為1，套用OBMC處理並進行編碼，若不屬於移動複雜的區域，則設定obmc_flag之值為0，不套用OBMC處理並進行編碼。另一方面，在解碼裝置中，是藉由將串流中所記述的obmc_flag解碼，而因應其值來切換是否套用OBMC處理並進行解碼。
再者，移動資訊亦可不訊號化並在解碼裝置側導出。例如，亦可使用以H.265/HEVC規格所規定的合併模式。又，例如亦可在解碼裝置側進行移動估測，藉此導出移動資訊。此情況下，不使用當前區塊的像素值而進行移動估測。
在此，針對在解碼裝置側進行移動估測的模 式加以說明。在解碼裝置側進行移動估測的此模式，有時稱為PMMVD(pattern matched motion vector derivation/樣式匹配移動向量導出)模式，或稱為FRUC(frame rate up-conversion/幀更新率提升轉換)模式。
於圖5D顯示FRUC處理的一例。首先，參考與當前區塊在空間上或時間上相鄰接的編碼完畢區塊的移動向量，生成分別具有移動向量預測子的複數個候選清單(亦可與合併清單共通)。其次，從登錄於候選清單的複數個候選MV之中選擇最佳候選MV。例如，算出候選清單所包含之各候選的評價值，根據評價值選擇1個候選。
然後，根據選擇的候選移動向量，導出當前區塊用的移動向量。具體來說就是例如將選擇的候選移動向量(最佳候選MV)直接導出，作為當前區塊用的移動向量。又，例如亦可在與選擇的候選移動向量對應的參考圖片內的位置的周邊區域，進行樣式匹配(pattern matching)，藉此導出當前區塊用的移動向量。亦即，亦可對最佳候選MV的周邊區域以同樣的方法進行估測，若有評價值為更佳之值的MV，將最佳候選MV更新為前述MV，並將前述MV當作當前區塊的最終MV。再者，亦可構成為不實施該處理。
以子區塊為單位進行處理時，亦可進行完全同樣的處理。
再者，評價值是藉由以下方式算出：利用對 應於移動向量之參考圖片內的區域與既定區域之間的樣式匹配，而求出重構圖像的差分值。再者，除了差分值，亦可使用差分值以外的資訊來算出評價值。
作為樣式匹配，可使用第1樣式匹配或第2樣式匹配。第1樣式匹配及第2樣式匹配有時分別稱為雙向匹配(bilateral matching)及模板匹配(template matching)。
第1樣式匹配是在以下2個區塊間進行樣式匹配：不同的2個參考圖片內的2個區塊並且是沿著當前區塊之移動軌道(motion trajectory)的2個區塊。因此，在第1樣式匹配中，作為用以算出上述候選之評價值的既定區域，使用的是沿著當前區塊之移動軌道的其他參考圖片內的區域。
圖6是用以說明在沿著移動軌道的2個區塊之間的樣式匹配(雙向匹配)之一例的圖。如圖6所示，在第1樣式匹配中，是藉由估測沿著當前區塊(Cur block)之移動軌道的2個區塊並且是不同的2個參考圖片(Ref0、Ref1)內的2個區塊之配對(pair)中最匹配的配對，來導出2個移動向量(MV0、MV1)。具體來說就是對當前區塊導出第1編碼完畢參考圖片(Ref0)內之指定位置的重構圖像、與第2編碼完畢參考圖片(Ref1)內之指定位置的重構圖像之差分，並使用獲得的差分值來算出評價值，其中前述第1編碼完畢參考圖片是被候選MV指定的圖片，前述第2編碼完畢參考圖片是被利用顯示時間間隔將前述候選MV縮放(scaling)後的對稱MV指定的圖片。在複數個候選MV之中 選擇評價值為最佳之值的候選MV來作為最終MV即可。
在連續的移動軌道的假設下，指示出2個參考區塊的移動向量(MV0、MV1)是相對於當前圖片(Cur Pic)和2個參考圖片(Ref0、Ref1)之間的時間上的距離(TD0、TD1)成比例。例如，當前圖片在時間上是位於2個參考圖片之間，且若從當前圖片往2個參考圖片的時間上的距離相等，則在第1樣式匹配中，會導出鏡射對稱之雙向的移動向量。
在第2樣式匹配中，是在當前圖片內的模板(在當前圖片內鄰接於當前區塊的區塊(例如上及/或左鄰接區塊))與參考圖片內的區塊之間進行樣式匹配。因此，在第2樣式匹配中，作為用以算出上述候選之評價值的既定區域，使用的是與當前圖片內之當前區塊鄰接的區塊。
圖7是用以說明在當前圖片內的模板與參考圖片內的區塊之間的樣式匹配(模板匹配)之一例的圖。如圖7所示，在第2樣式匹配中，是藉由在參考圖片(Ref0)內估測與當前圖片(Cur Pic)內鄰接於當前區塊(Cur block)之區塊最匹配的區塊，來導出當前區塊的移動向量。具體來說就是對當前區塊，導出左鄰接及上鄰接雙方或其中一方之編碼完畢區域的重構圖像、與被候選MV指定之編碼完畢參考圖片(Ref0)內的同等位置的重構圖像之差分，使用獲得的差分值來算出評價值，並在複數個候選MV之中選擇評價值為最佳之值的候選MV來作為最佳候選MV即可。
表示是否套用這種FRUC模式的資訊(例如稱為FRUC旗標)是以CU級別來訊號化。又，當套用FRUC模式時(例如FRUC旗標為真時)，表示樣式匹配之方法(第1樣式匹配或第2樣式匹配)的資訊(例如稱為FRUC模式旗標)是以CU級別來訊號化。再者，該等資訊的訊號化不必限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。
在此，根據假設成等速直線運動的模型來說明導出移動向量的模式。此模式有時稱為BIO(bi-directional optical flow：雙向光流)模式。
圖8是用以說明假設成等速直線運動的模型的圖。於圖8，(vx,vy)表示速度向量，τ0、τ1分別表示當前圖片(Cur Pic)與2個參考圖片(Ref0,Ref1)之間的時間上的距離。(MVx0,MVy0)表示對應於參考圖片Ref0的移動向量，(MVx1,MVy1)表示對應於參考圖片Ref1的移動向量。
此時，在速度向量(vx,vy)為等速直線運動的假設下，(MVx0,MVy0)及(MVx1,MVy1)分別表示成(vxτ0,vyτ0)及(-vxτ1,-vyτ1)，且以下的光流等式(1)成立。
Figure 108107282-A0305-02-0028-2
在此，I(k)表示移動補償後的參考圖像k(k=0,1)的亮度值。前述光流等式是表示(i)、(ii)及(iii)的和等於零，其中(i)為亮度值的時間微分，(ii)為水平方向的速度及參考圖像的空間梯度的水平成分的積，(iii)為 垂直方向的速度及參考圖像的空間梯度的垂直成分的積。根據前述光流等式與赫米特內插法(Hermite interpolation)的組合，從合併清單等獲得的區塊單位的移動向量會以像素單位進行修正。
再者，亦可利用與根據假設成等速直線運動的模型而導出移動向量的方法不同的方法，在解碼裝置側導出移動向量。例如，亦可根據複數個鄰接區塊之移動向量而以子區塊為單位來導出移動向量。
在此，針對根據複數個鄰接區塊之移動向量而以子區塊為單位來導出移動向量的模式加以說明。此模式有時稱為仿射移動補償預測(affine motion compensation prediction)模式。
圖9A是用以說明根據複數個鄰接區塊之移動向量來導出子區塊單位之移動向量的圖。於圖9A，當前區塊包含16個4×4子區塊。在此是根據鄰接區塊之移動向量，來導出當前區塊之左上角控制點的移動向量v0，並根據鄰接子區塊之移動向量，來導出當前區塊之右上角控制點的移動向量v1。然後，使用2個移動向量v0及v1，藉由下式(2)來導出當前區塊內的各子區塊的移動向量(vx,vy)。
Figure 108107282-A0305-02-0029-1
在此，x及y分別表示子區塊的水平位置及垂 直位置，w表示事先決定的加權係數。
在這樣的仿射移動補償預測模式中，亦可包含有左上及右上角控制點之移動向量的導出方法相異的數個模式。表示這樣的仿射移動補償預測模式的資訊(例如稱為仿射旗標)是以CU級別來訊號化。再者，表示此仿射移動補償預測模式的資訊之訊號化不必限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。
〔預測控制部〕
預測控制部128選擇幀內預測訊號及幀間預測訊號之任一者，將選擇的訊號作為預測訊號而輸出至減算部104及加算部116。
在此，說明藉由合併模式來導出編碼對象圖片之移動向量的例子。圖9B是用以說明利用合併模式的移動向量導出處理的概要的圖。
首先，生成登錄有預測MV之候選的預測MV清單。預測MV之候選有：空間鄰接預測MV，即空間上位於編碼對象區塊周邊的複數個編碼完畢區塊所具有的MV；時間鄰接預測MV，即編碼完畢參考圖片中投影了編碼對象區塊的位置附近的區塊所具有的MV；結合預測MV，即組合空間鄰接預測MV與時間鄰接預測MV的MV值而生成的MV；及零預測MV，即值為零的MV等。
其次，從登錄於預測MV清單的複數個預測MV中選擇1個預測MV，決定其為編碼對象區塊的MV。
進一步在可變長度編碼部中，將表示選擇了哪一個預測MV的訊號即merge_idx記述於串流並編碼。
再者，以圖9B所說明之登錄於預測MV清單的預測MV是一例，其個數亦可與圖中的個數不同，或亦可為不包含圖中的預測MV的一部分種類之構成，或亦可為追加有圖中的預測MV的種類以外的預測MV之構成。
再者，亦可使用藉由合併模式而導出的編碼對象區塊的MV，來進行後述的DMVR處理，藉此決定最終MV。
在此，針對使用DMVR處理來決定MV的例子加以說明。
圖9C是用以說明DMVR處理的概要的概念圖。
首先，將設定於處理對象區塊的最佳MVP當作候選MV，依據前述候選MV，從L0方向的處理完畢圖片即第1參考圖片、及L1方向的處理完畢圖片即第2參考圖片分別取得參考像素，並取各參考像素的平均來生成模板。
其次，使用前述模板，分別估測第1參考圖片及第2參考圖片的候選MV的周邊區域，將成本最小的MV決定成最終MV。再者，成本值是使用模板的各像素值與估測區域的各像素值之差分值及MV值等來算出。
再者，在編碼裝置及解碼裝置中，已於此處說明過的處理概要基本上是共通的。
再者，只要是可估測候選MV的周邊並導出最終MV的處理，亦可不使用已於此處說明過的處理本身而使用其他處理。
在此，針對使用LIC處理來生成預測圖像的模式加以說明。
圖9D是用以說明使用了利用LIC處理之亮度修正處理的預測圖像生成方法之概要的圖。
首先，導出用以從編碼完畢圖片即參考圖片取得對應於編碼對象區塊之參考圖像的MV。
其次，對於編碼對象區塊，使用左鄰接及上鄰接之編碼完畢周邊參考區域的亮度像素值、及被MV指定的參考圖片內之同等位置的亮度像素值，來擷取表示亮度值在參考圖片與編碼對象圖片中如何變化的資訊，算出亮度修正參數。
對被MV指定的參考圖片內的參考圖像使用前述亮度修正參數，進行亮度修正處理，藉此生成對編碼對象區塊的預測圖像。
再者，圖9D中之前述周邊參考區域的形狀是一例，亦可使用此形狀以外的形狀。
又，在此雖說明了從1張參考圖片生成預測圖像的處理，但要從複數張參考圖片生成預測圖像時，亦同樣是對從各張參考圖片取得的參考圖像，以同樣的方法進行亮度修正處理，來生成預測圖像。
作為判定是否套用LIC處理的方法，例如有 使用lic_flag的方法，前述lic_flag為表示是否套用LIC處理的訊號。舉具體的一例而言，可在編碼裝置中判定編碼對象區塊是否屬於產生亮度變化的區域，若屬於產生亮度變化的區域，則設定lic_flag之值為1，套用LIC處理並進行編碼，若不屬於產生亮度變化的區域，則設定lic_flag之值為0，不套用LIC處理並進行編碼。另一方面，在解碼裝置中，是藉由將串流中所記述的lic_flag解碼，而因應其值來切換是否套用LIC處理並進行解碼。
作為判定是否套用LIC處理的其他方法，例如還有依據周邊區塊是否套用了LIC處理來判定的方法。舉具體的一例而言，當編碼對象區塊為合併模式時，判定在合併處理中導出MV時選擇的周邊編碼完畢區塊是否套用了LIC處理並編碼，再因應其結果來切換是否套用LIC處理並進行編碼。再者，以此例的情況來說，解碼中的處理也完全相同。
〔解碼裝置之概要〕
其次，說明可解碼從上述編碼裝置100輸出之編碼訊號(編碼位元串流)的解碼裝置之概要。圖10是顯示實施形態1之解碼裝置200的功能構成的方塊圖。解碼裝置200是以區塊為單位來解碼動態圖像/圖像的動態圖像/圖像解碼裝置。
如圖10所示，解碼裝置200具備熵解碼部202、反量化部204、反轉換部206、加算部208、區塊記憶體210、迴路濾波部212、幀記憶體214、幀內預測部 216、幀間預測部218、及預測控制部220。
可藉由例如通用處理器及記憶體來實現解碼裝置200。此情況下，由處理器執行儲存於記憶體的軟體程式時，處理器是作為熵解碼部202、反量化部204、反轉換部206、加算部208、迴路濾波部212、幀內預測部216、幀間預測部218及預測控制部220而發揮功能。又，亦可以專用之1個以上的電子電路來實現解碼裝置200，且前述電子電路對應於熵解碼部202、反量化部204、反轉換部206、加算部208、迴路濾波部212、幀內預測部216、幀間預測部218、及預測控制部220。
以下說明解碼裝置200包含的各構成要件。
〔熵解碼部〕
熵解碼部202將編碼位元串流熵解碼。具體來說，熵解碼部202例如從編碼位元串流對二值訊號進行算術解碼。然後，熵解碼部202將二值訊號多值化(debinarize)。藉此，熵解碼部202以區塊為單位，將量化係數輸出至反量化部204。
〔反量化部〕
反量化部204將從熵解碼部202輸入的解碼對象區塊(以下稱為當前區塊)的量化係數反量化。具體來說，反量化部204是針對當前區塊的量化係數的各個，根據對應於該量化係數的量化參數，將該量化係數反量化。然後，反量化部204將當前區塊之經反量化的量化係數(亦即轉換係數)輸出至反轉換部206。
〔反轉換部〕
反轉換部206將從反量化部204輸入的轉換係數反轉換，藉此復原預測誤差。
例如從編碼位元串流解讀的資訊若是表示套用EMT或AMT(例如AMT旗標為真)，反轉換部206根據經解讀之表示轉換類型的資訊，將當前區塊的轉換係數反轉換。
又，例如從編碼位元串流解讀的資訊若是表示套用NSST，反轉換部206對轉換係數套用反再轉換。
〔加算部〕
加算部208藉由將從反轉換部206輸入的預測誤差與從預測控制部220輸入的預測樣本相加，來重構當前區塊。然後，加算部208將重構的區塊輸出至區塊記憶體210及迴路濾波部212。
〔區塊記憶體〕
區塊記憶體210是用以儲存以下區塊的記憶部：在幀內預測中參考的區塊並且是解碼對象圖片(以下稱為當前圖片)內的區塊。具體來說，區塊記憶體210儲存從加算部208輸出的重構區塊。
〔迴路濾波部〕
迴路濾波部212對藉由加算部208重構的區塊施以迴路濾波，將經濾波的重構區塊輸出至幀記憶體214及顯示裝置等。
從編碼位元串流解讀的表示ALF開啟/關閉 的資訊若是表示ALF開啟，根據局部梯度的方向及活性度而從複數個濾波器中選擇1個濾波器，將選擇的濾波器套用於重構區塊。
〔幀記憶體〕
幀記憶體214是用以儲存幀間預測所用的參考圖片的記憶部，有時亦稱為幀緩衝器。具體來說，幀記憶體214儲存經迴路濾波部212濾波的重構區塊。
〔幀內預測部〕
幀內預測部216根據從編碼位元串流解讀的幀內預測模式，參考儲存於區塊記憶體210之當前圖片內的區塊來進行幀內預測，藉此生成預測訊號(幀內預測訊號)。具體來說，幀內預測部216是參考鄰接於當前區塊的區塊之樣本(例如亮度值、色差值)來進行幀內預測，藉此生成幀內預測訊號，並將幀內預測訊號輸出至預測控制部220。
再者，當在色差區塊的幀內預測中選擇了參考亮度區塊的幀內預測模式時，幀內預測部216亦可根據當前區塊的亮度成分來預測當前區塊的色差成分。
又，從編碼位元串流解讀的資訊若是表示套用PDPC，幀內預測部216根據水平/垂直方向的參考像素的梯度，來修正幀內預測後的像素值。
〔幀間預測部〕
幀間預測部218參考儲存於幀記憶體214的參考圖片來預測當前區塊。預測是以當前區塊或當前區塊內的子區塊(例如4×4區塊)為單位進行。例如，幀間預測部218使用 從編碼位元串流解讀的移動資訊(例如移動向量)來進行移動補償，藉此生成當前區塊或子區塊的幀間預測訊號，並將幀間預測訊號輸出至預測控制部220。
再者，從編碼位元串流解讀的資訊若是表示套用OBMC模式，幀間預測部218不僅可使用藉由移動估測所獲得的當前區塊的移動資訊，還可使用鄰接區塊的移動資訊來生成幀間預測訊號。
又，從編碼位元串流解讀的資訊若是表示套用FRUC模式，幀間預測部218依據從編碼位元串流解讀的樣式匹配的方法(雙向匹配或模板匹配)來進行移動估測，藉此導出移動資訊。然後，幀間預測部218使用導出的移動資訊來進行移動補償。
又，若是套用BIO模式，幀間預測部218根據假設成等速直線運動的模型來導出移動向量。又，從編碼位元串流解讀的資訊若是表示套用仿射移動補償預測模式，幀間預測部218根據複數個鄰接區塊的移動向量，以子區塊為單位來導出移動向量。
〔預測控制部〕
預測控制部220選擇幀內預測訊號及幀間預測訊號之任一者，將選擇的訊號作為預測訊號輸出至加算部208。
其次，針對這樣的編碼裝置100及解碼裝置200之區塊分割的各態樣，一邊參考圖式一邊具體地說明。再者，在以下敘述中，編碼對象區塊或解碼對象區塊僅記載成區塊。
(第1態樣)
圖11顯示藉由第1態樣之編碼方法及編碼裝置所進行的編碼處理。
於步驟S1001，從第1區塊編碼處理中計算第1成本。在此，第1區塊編碼處理不包含將區塊分割成複數個分區的步驟，且成本包含失真。例如，可藉由將以下的值相加而求出成本：編碼失真所示的值、將產生之編碼量所示的值乘上拉格朗日(Lagrange)乘數的值。編碼失真可根據例如已局部解碼的圖像與原本的圖像之絕對差值和等而求出。
於步驟S1002，從第2區塊編碼處理中計算第2成本。在此，第2區塊編碼處理包含起初先將區塊分割成2個較小的分區的步驟。
於步驟S1003，判定第1成本是否比第2成本低。
於步驟S1004，當判定為第1成本比第2成本低時，從第2區塊編碼處理集選擇區塊編碼處理。在此，第2區塊編碼處理集不包含第3區塊編碼處理，且第3區塊編碼處理包含起初先將區塊分割成3個較小的分區的步驟。
圖12顯示當判定為第1成本比全部的第2成本低時，第2區塊編碼處理集會排除掉包含有起初先將區塊分割成3個較小的分區的步驟之第3區塊編碼處理的情況。第2區塊分割處理集為第1區塊分割處理集的部分集 合。
具體來說，於圖12，當判定為第1成本不比任一個第2成本低時，從包含有第3區塊編碼處理的第1區塊編碼處理集選擇區塊編碼處理。另一方面，當判定為第1成本比全部的第2成本低時，從已自第1區塊編碼處理集排除掉第3區塊編碼處理所得到的第2區塊編碼處理集選擇區塊編碼處理。
圖13顯示具有不同的二元樹深度之第1成本的其他例。於上側之例，是針對將區塊朝垂直方向分割成2個分區所得到的左分區進行成本計算。於下側之例，是針對將區塊朝水平方向分割成2個分區，之後再將上分區朝水平方向分割成2個子分區所得到的上子分區進行成本計算。於任一例皆是當判定為第1成本比全部的第2成本低時，第2區塊編碼處理集會排除掉具有起初先將區塊分割成3個較小的分區的步驟之第3區塊編碼處理。第2區塊分割處理集為第1區塊分割處理集的部分集合。
於步驟S1005，當判定為第1成本不比第2成本低時，從第1區塊編碼處理集選擇區塊編碼處理。在此，第1區塊編碼處理集至少包含第3區塊編碼處理。
於步驟S1006，使用已選擇之區塊編碼處理來編碼區塊。
〔第1態樣的效果〕
本態樣可降低編碼側之分區構造的候選之總數，而降低編碼的複雜度。
〔與其他態樣的組合〕
亦可將本態樣與本揭示中之其他態樣的至少一部分組合並實施。又，亦可將本態樣之流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等與其他態樣組合並實施。
(第2態樣)
圖14顯示藉由第2態樣之編碼方法及編碼裝置所進行的編碼處理。
於步驟S2001，從第1區塊編碼處理中計算第1成本。在此，第1區塊編碼處理包含僅將區塊分割成2個較小的分區的步驟。也就是說，於第1區塊編碼處理，區塊被分割成2個分區，且各分區不再進行分割。
於步驟S2002，從第2區塊編碼處理中計算第2成本。在此，第2區塊編碼處理包含起初先將區塊分割成2個較小的分區的步驟、及分割成3個以上的分區的後續步驟。
步驟S2003與步驟S1003相同。
步驟S2004與步驟S1004相同。
圖15顯示當判定為第1成本的任一個比第2成本的全部低時，從第2區塊編碼處理集選擇區塊編碼處理的情況。第2區塊編碼處理集會排除掉具有起初先將區塊分割成3個較小的分區的步驟之第3區塊編碼處理。
第2區塊編碼處理集為第1區塊編碼處理集的部分集合。也就是說，第2區塊編碼處理集是藉由從第1 區塊編碼處理集排除掉既定的編碼處理所得到的。此時，既定的編碼處理至少包含第3區塊編碼處理。
步驟S2005與步驟S1005相同。
步驟S2006與步驟S1006相同。
〔第2態樣的效果〕
本態樣可降低編碼側之分區構造的候選之總數，而降低編碼的複雜度。
〔與其他態樣的組合〕
亦可將本態樣與本揭示中之其他態樣的至少一部分組合並實施。又，亦可將本態樣之流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等與其他態樣組合並實施。
(第3態樣)
圖16顯示藉由第3態樣之編碼方法及編碼裝置所進行的編碼處理。
於步驟S3001，至少計算與矩形區塊的長邊平行之第1方向上的矩形區塊的第1梯度。在此，梯度之計算至少包含具有強度或顏色的方向性之變化。
於步驟S3002，至少計算第2方向上之矩形區塊的第2梯度。在此，第2方向與第1方向不同。
於步驟S3003，判定第1梯度是否比第2梯度大。
於步驟S3004，當判定為第1梯度比第2梯度大時，從第2區塊編碼處理集選擇區塊編碼處理。在此， 第2區塊編碼處理集至少不包含第1區塊編碼處理，且第1區塊編碼處理包含起初先將區塊朝第1方向分割成3個較小的分區的步驟。
第2區塊編碼處理集為第1區塊編碼處理集的部分集合。也就是說，第2區塊編碼處理集是藉由從第1區塊編碼處理集排除掉既定的編碼處理所得到的。此時，既定的編碼處理至少包含第1區塊編碼處理。
圖17顯示當高度比寬度大的矩形區塊之垂直梯度比水平或對角梯度大時，第2區塊編碼處理集會排除掉包含起初先將區塊朝垂直方向分割成3個較小的分區的步驟之第1區塊編碼處理的情況。也就是說，當垂直梯度比水平或對角梯度大時，從已排除掉第1區塊編碼處理之第2區塊編碼處理集選擇區塊編碼處理。相反的，當垂直梯度不比水平或對角梯度大時，從包含第1區塊編碼處理之第1區塊編碼處理集選擇區塊編碼處理。
圖18顯示當寬度比高度大的矩形區塊之水平梯度比垂直或對角梯度大時，第2區塊編碼處理集會排除掉包含起初先將區塊朝水平方向分割成3個較小的分區的步驟之第1區塊編碼處理的情況。也就是說，當水平梯度比垂直或對角梯度大時，從已排除掉第1區塊編碼處理之第2區塊編碼處理集選擇區塊編碼處理。相反的，當水平梯度不比垂直或對角梯度大時，從包含第1區塊編碼處理之第1區塊編碼處理集選擇區塊編碼處理。
圖19A及圖19B顯示水平方向上之像素強度 的變化之計算例。水平梯度為關於水平方向上之強度或顏色的變化之計算。同樣地，垂直梯度可根據垂直方向上之強度或顏色的變化來計算。同樣地，對角梯度可根據對角線方向上之強度或顏色的變化來計算。
具體來說，於圖19A之例，首先，計算水平方向的像素列中相鄰之2個像素間的絕對差值(absolute difference)。例如，於第1列，計算出絕對差值h1_12=abs(p1，p2)、h1_23、h1_34。然後於各像素列，計算出絕對差值平均(例如第1列的絕對差值平均H1=average(h1_12+h1_23+h1_34))。藉由計算出像這樣計算的複數個像素行之絕對差值平均的平均(average(H1+H2+H3+H4))，而計算出水平梯度。
又，於圖19B之例，首先，於水平方向的像素列中對相鄰之3個像素套用一維的濾波。例如，使用濾波係數(-1，2，-1)，計算出h1_123(=2×p2-p1-p3)及h1_234。然後於各像素列，計算出被濾波之值的平均(例如第1列是H1=average(h1_123+h1_234))。進而，藉由計算出複數個像素列之平均(average(H1+H2+H3+H4))，而計算出水平梯度。
第1梯度及第2梯度並非僅限於垂直/水平梯度。其可包含像對角線一樣的其他方向的梯度、或更進一步之其他方向的梯度。圖19A及圖19B所記載之梯度計算只是一例，亦可套用梯度計算用的其他方法。
於步驟S3005，當判定為第1梯度不比第2梯 度大時，從第1區塊編碼處理集選擇區塊編碼處理。在此，第1區塊編碼處理集包含第1區塊編碼處理。
於步驟S3006，使用已選擇之區塊編碼處理來編碼區塊。
〔第3態樣的效果〕
本態樣可降低編碼側之分區構造的候選之總數，而降低編碼的複雜度。
〔與其他態樣的組合〕
亦可將本態樣與本揭示中之其他態樣的至少一部分組合並實施。又，亦可將本態樣之流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等與其他態樣組合並實施。
(第4態樣)
圖20顯示藉由第4態樣之編碼方法及編碼裝置所進行的編碼處理。
於步驟S4001，判定在第1區塊編碼處理中分割區塊的步驟是否會生成區塊之一半尺寸的分區。
於步驟S4002，當判定為在第1區塊編碼處理中分割區塊的步驟會生成區塊之一半尺寸的分區時，至少計算區塊的梯度。
於步驟S4003，藉由至少排除掉使用梯度資訊之區塊編碼處理，而從第1區塊編碼處理集生成第2區塊編碼處理集。在此被排除的區塊編碼處理，至少包含起初先將區塊分割成3個較小的分區的步驟。
於步驟S4004，從第2區塊編碼處理集選擇區塊編碼處理。
圖21的(a)顯示當區塊編碼處理生成占區塊一半面積的子分區之區域，且水平梯度比垂直梯度大時，從第2區塊編碼處理集選擇區塊編碼處理的情況。第2編碼處理集會排除：將具有複數個分區之區塊加以編碼的處理、及起初先將區塊朝水平方向分割成3個較小的分區的步驟。
圖21的(b)顯示當區塊編碼處理生成占區塊一半面積的子分區之區域，且垂直梯度比水平梯度大時，從第2區塊編碼處理集選擇區塊編碼處理的情況。第2編碼處理集會排除：將具有複數個分區之區塊加以編碼的處理、及起初先將區塊朝垂直方向分割成3個較小的分區的步驟。
於步驟S4005，當判定為在第1區塊編碼處理中分割區塊的步驟不會生成區塊之一半尺寸的分區時，從第1區塊編碼處理集選擇區塊編碼處理。
於步驟S4006，使用已選擇之區塊編碼處理來編碼區塊。
〔第4態樣的效果〕
本態樣可降低編碼側之分區構造的候選之總數，而降低編碼的複雜度。
〔與其他態樣的組合〕
亦可將本態樣與本揭示中之其他態樣的至少一部分 組合並實施。又，亦可將本態樣之流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等與其他態樣組合並實施。
(第5態樣)
圖22顯示藉由第5態樣之編碼方法及編碼裝置所進行的編碼處理。
於步驟S5001，區塊之第1邊被辨識為2個邊當中的長邊，且區塊之第2邊被辨識為區塊之非長邊的邊。
於步驟S5002，當區塊被分割成3個以上之較小的分區時，判定與第1邊平行的方向的區塊分割是否至少生成預測處理或轉換處理中不支援的尺寸之分區。
於步驟S5003，當判定為與第1邊平行之方向的區塊分割至少會生成預測處理或轉換處理中不支援的尺寸之分區時，將區塊朝與第2邊平行的方向分割成較小的分區。圖23A顯示當未安裝16×2用的轉換時，將16×8區塊朝與16×8區塊之高度平行的方向(垂直方向)分割成3個較小的分區之例。圖23B顯示當未安裝16×2用的轉換時，將16×8區塊朝與16×8區塊之高度平行的方向(垂直方向)分割成4個較小的分區之例。在此，尺寸16×2是將區塊朝與區塊之寬度平行的方向(水平方向)分割的尺寸。也就是說，於圖23A及圖23B，不容許將區塊朝與第1邊(長邊)平行之水平方向進行3分割或4分割。
於步驟S5004，當未判定為與第1邊平行之方向的區塊分割至少生成預測處理或轉換處理中不支援的尺 寸之分區時，將分割方向參數寫入於位元串流。在此，分割方向參數會顯示區塊的分割方向，亦可顯示水平或垂直方向。分割方向參數的位置顯示於圖31。
於步驟S5005，將區塊朝由分割方向參數所示之方向分割成較小的分區。
於步驟S5006，將分區或該分區的子分區編碼。
再者，藉由編碼方法及編碼裝置所進行之編碼處理的步驟S5004中之用語「寫入」及「於(位元串流)」、步驟S5006中之用語「編碼」，亦可為了配合藉由解碼方法及圖像解碼裝置所進行之解碼處理，而替換成用語「解讀」、「從(位元串流)」及「解碼」。
〔第5態樣的效果〕
本態樣不必以數個特定的區塊尺寸來將分割方向編碼，可提升編碼效率。本揭示還降低編碼側之分割方向的候選之總數，而降低編碼的複雜度。
〔與其他態樣的組合〕
亦可將本態樣與本揭示中之其他態樣的至少一部分組合並實施。又，亦可將本態樣之流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等與其他態樣組合並實施。
(第6態樣)
圖24顯示藉由第6態樣之編碼方法及編碼裝置所進行的編碼處理。
於步驟S6001，判定在複數個方向的各個方向上分割成3個較小的分區之區塊分割，是否至少生成預測處理或轉換處理中不支援的尺寸之分區。
於步驟S6002，當判定為在複數個方向的各個方向上分割成3個較小的分區之區塊分割，至少會生成預測處理或轉換處理中不支援的尺寸之分區時，將區塊朝其中一個方向分割成2個較小的分區。
於步驟S6003，當判定為在複數個方向的至少1個方向上分割成3個較小的分區之區塊分割，至少不會生成預測處理或轉換處理中不支援的尺寸之分區時，參數會被寫入於位元串流。在此，參數顯示因分割區塊而得的小分區的數量。在此，參數亦可為分割模式參數。在此，分割模式參數亦可顯示具有用以分割區塊之事先決定的分割比的子區塊之數量。又，分割模式參數亦可至少顯示區塊的分割數。分割模式參數的位置顯示於圖31。
於步驟S6004，按照參數將區塊朝其中一個方向分割成數個分區。數量可設成2或3。
步驟S6005與步驟S5006相同。
圖25A顯示用以分割16×16區塊之分區構造的候選之例。圖25B顯示用以分割8×8區塊之分區構造的候選之例。如圖25A所示，用以分割16×16區塊之分區構造的候選為4個。另一方面，如圖25B所示，用以分割8×8之分區構造的候選為2個。於此例，在轉換處理中並不支援8×2及2×8，因此將8×8區塊沿著水平方向及垂直方向分 割成3個較小的分區的分區構造，會從分區構造的候選中被剔除。也就是說，由於轉換處理中不支援8×2及2×8尺寸，因此不容許將8×8區塊分割成3個3子區塊。
再者，藉由編碼方法及編碼裝置所進行之編碼處理的步驟S6003中之用語「寫入」及「於(位元串流)」、步驟S6005中之用語「編碼」，亦可為了配合藉由解碼方法及圖像解碼裝置所進行之解碼處理，而替換成用語「解讀」、「從(位元串流)」及「解碼」。
〔第6態樣的效果〕
本態樣不必以數個特定的區塊尺寸來將分割方向編碼，可提升編碼效率。本揭示還降低編碼側之分割方向的候選之總數，而降低編碼的複雜度。
〔與其他態樣的組合〕
亦可將本態樣與本揭示中之其他態樣的至少一部分組合並實施。又，亦可將本態樣之流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等與其他態樣組合並實施。
(第7態樣)
圖26顯示藉由第7態樣之編碼方法及編碼裝置所進行的編碼處理。
於步驟S7001，將區塊朝第1方向分割成第1~第3子區塊。於本態樣，如圖30所示，3分割之分割比為1：2：1。因此，位於第1子區塊與第3子區塊之間的第2子區塊之尺寸比第1及第3子區塊大。再者，亦可對第1~第 3子區塊依序分配0~2的索引值。
於步驟S7002，在將第2子區塊分割成複數個分區時，為了顯示分區的數量而將分割模式參數寫入於位元串流。在此，如圖30所示，分割模式參數亦可顯示具有因分割區塊而得之事先決定的分割比的子區塊之數量。又，分割模式參數亦可僅顯示子區塊的數量。又，分割模式參數亦可顯示子區塊的數量並且顯示與分割比不同的資訊。分割模式參數的位置顯示於圖31。
於步驟S7003，判定分割模式參數是否顯示分區的數量為2。
於步驟S7004，當判定為分割模式參數顯示分區的數量為2時，將第2子區塊朝與第1方向不同的第2方向分割成2個分區。也就是說，禁止將第2子區塊朝第1方向分割成2個分區。因此，分割方向參數不會被寫入於位元串流。亦即，將分割方向參數寫入於位元串流之步驟被省略(也就是跳過)。
圖27顯示32×32區塊的分割方法之例。於(a)，起初先將32×32區塊朝垂直方向分割成2個子區塊，之後，將全部的子區塊朝垂直方向分割成2個分區。於(b)，起初先將32×32區塊朝垂直方向分割成3個子區塊，之後，將最大子區塊分割成2個分區。在此，用以分割最大子區塊的分割方向是被設定成與16×32區塊的短邊平行。也就是說，於(b)，在最大子區塊中，雖容許朝水平方向分割成2個分區，但不容許朝垂直方向分割。在此，最大子區塊 相當於第2子區塊。藉此，可抑制在互相不同的(a)及(b)分割方法中產生相同的分區構造(又稱為重複分區構造)。
於步驟S7005，當未判定為分割模式參數顯示分區的數量為2時，將分割方向參數寫入於位元串流。在此，分割方向參數顯示區塊的分割方向，且如圖30所示，亦可顯示水平或垂直方向。分割方向參數的位置顯示於圖31。
於步驟S7006，將第2子區塊朝由分割方向參數所示之方向分割成3個以上的分區。
步驟S7007與步驟S5006相同。
再者，藉由編碼方法及編碼裝置所進行之編碼處理的步驟S7002及S7005中之用語「寫入」及「於(位元串流)」、步驟S7007中之用語「編碼」，亦可為了配合藉由解碼方法及圖像解碼裝置所進行之解碼處理，而替換成用語「解讀」、「從(位元串流)」及「解碼」。
再者，如上所述，步驟及步驟之順序僅為一例，並不限定於此。只要不脫離本揭示的宗旨，亦可進行所屬技術領域中具有通常知識者可思及的步驟順序之更改。例如，於圖26，亦可在分割模式參數之前將分割方向參數寫入於位元串流。也就是說，於圖31，亦可更改分割模式參數與分割方向參數在位元串流內的位置。又，於圖26，亦可更改步驟S7002與步驟S7005的次序。
此情況下，當要將第2子區塊分割成複數個分區時，首先，將分割方向參數寫入於位元串流。接著， 判定分割方向參數是否顯示第1方向。在此，當分割方向參數顯示第1方向時，將第2子區塊朝第1方向分割成3個分區。也就是說，禁止將第2區塊朝第1方向分割成2個分區。因此，分割模式參數不會被寫入於位元串流。亦即，將分割模式參數寫入於位元串流之步驟會被省略或跳過。另一方面，當分割方向參數顯示與第1方向不同的第2方向時，顯示第2子區塊之分割數的分割模式參數會被寫入於位元串流，且將第2子區塊朝第2方向分割成由分割模式參數所示的數量個分區。在此，分割方向參數為顯示第2子區塊之分割方向的第1參數之一例，分割模式參數為顯示第2子區塊之分割數的第2參數之一例。
〔第7態樣的效果〕
本態樣不必以數個特定的區塊尺寸來將分割方向或分割數編碼，可提升編碼效率。本揭示還降低編碼側之分割方向的候選之總數，而降低編碼的複雜度。
〔與其他態樣的組合〕
亦可將本態樣與本揭示中之其他態樣的至少一部分組合並實施。又，亦可將本態樣之流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等與其他態樣組合並實施。
(第8態樣)
圖28顯示藉由第8態樣之編碼方法及編碼裝置所進行的編碼處理。
於步驟S8001，將區塊朝第1方向分割成第 1~第3子區塊。
於步驟S8002，判定第1及第2子區塊之各個是否進一步朝與第1方向不同的第2方向分割成2個較小的分區。
於步驟S8003，當判定為第1及第2子區塊之各個進一步朝與第1方向不同的第2方向分割成2個較小的分區時，將第3子區塊分割成較小的分區。當將第3子區塊分割成2個分區時，是將第3子區塊朝與第1方向相同的方向分割。
於步驟S8004，當未判定為第1及第2子區塊之各個進一步朝與第1方向不同的第2方向分割成2個較小的分區時，將分割方向參數寫入於位元串流。在此，分割方向參數如圖30所示，亦可顯示水平或垂直方向。分割方向參數的位置顯示於圖31。
於步驟S8005，將第1子區塊朝由分割方向參數所示之方向分割成較小的分區。
步驟S8006與步驟S5006相同。
圖29顯示64×64區塊的分割方法之例。於(a)，起初先將64×64區塊朝垂直方向分割成2個子區塊，之後，將全部的子區塊朝水平方向分割成3個分區。於(b)，起初先將64×64區塊朝水平方向分割成3個子區塊，之後，將全部的子區塊分割成2個分區。
於(b)，用以將64×64區塊分割成第1~第3子區塊的方向為水平，用以分割前面2個子區塊(也就是第1 及第2子區塊)的方向為垂直。用以分割第3子區塊的方向是與分割64×64區塊所用的方向為相同的水平方向。也就是說，於(b)，禁止將第3子區塊朝垂直方向分割成2個分區。藉此，可抑制在互相不同的(a)及(b)分割方法中產生相同的分區構造。
於步驟S8005，將第1子區塊朝由分割方向參數所示之方向分割成2個分區。
再者，藉由編碼方法及編碼裝置所進行之編碼處理的步驟S8004中之用語「寫入」及「於(位元串流)」、步驟S8006中之用語「編碼」，亦可為了配合藉由解碼方法及圖像解碼裝置所進行之解碼處理，而替換成用語「解讀」、「從(位元串流)」及「解碼」。
〔第8態樣的效果〕
本態樣不必以數個特定的區塊尺寸來將分割方向編碼，可提升編碼效率。本揭示還降低編碼側之分割方向的候選之總數，而降低編碼的複雜度。
〔與其他態樣的組合〕
亦可將本態樣與本揭示中之其他態樣的至少一部分組合並實施。又，亦可將本態樣之流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等與其他態樣組合並實施。
(變形例)
於上述的全部態樣中，為了決定較小的分區之數量與用以分割區塊的分割方向，可使用1個或複數個閾值。可 依據圖片類型、時間層、量化參數、切片內之像素值活性度(activity)而適應地變更閾值，或可依據4元樹、2元樹及其他分割的組合等之分割樣式的組合而適應地變更閾值，或可依據像三角形分割一樣的其他編碼工具之組合而適應地變更閾值。亦可依據區塊寬度、區塊高度等的區塊尺寸，或區塊寬度與區塊高度的相乘而適應地變更閾值。亦可依據區塊形狀及/或分割深度而適應地變更閾值。
再者，分割模式參數及分割方向參數的位置並不限定於圖31的位置。也就是說，分割模式參數及分割方向參數之訊號化不必限定於CTU層級，亦可為其他層級(例如圖片層級、切片層級、圖塊群層級或圖塊層級)。
再者，顯示是否將區塊分割成2個或3個子區塊或分區之參數亦可寫入於位元串流。此情況下，當該參數顯示將區塊分割成2個或3個子區塊或分區時，亦可套用上述各態樣的編碼方法或解碼方法。
(其他態樣)
於以上之各實施形態，各個功能方塊通常可藉由MPU及記憶體等來實現。又，各個功能方塊所進行的處理，通常可藉由處理器等之程式執行部讀出並執行記錄於ROM等記錄媒體的軟體(程式)而實現。該軟體可藉由下載等而分發，也可記錄於半導體記憶體等記錄媒體並分發。再者，當然也可以藉由硬體(專用電路)來實現各功能方塊。
又，於各實施形態所說明的處理，可藉由使用單一裝置(系統)進行集中處理來實現，或，亦可藉由使 用複數個裝置進行分散處理來實現。又，執行上述程式的處理器為單數個或複數個均可。亦即，進行集中處理或進行分散處理均可。
本揭示之態樣不限定於以上實施例，可以有各種變更，該等變更亦包含於本揭示之態樣的範圍內。
進一步在此說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)的應用例及使用其之系統。該系統之特徵在於具有：使用圖像編碼方法的圖像編碼裝置、使用圖像解碼方法的圖像解碼裝置、及具備雙方的圖像編碼解碼裝置。針對系統中之其他構成，可因應情況適當地變更。
〔使用例〕
圖32是顯示實現內容發布服務之內容供給系統ex100之全體構成的圖。將通訊服務之提供區域(area)分割成期望的大小，並於各細胞(cell)內分別設置固定無線台即基地台ex106、ex107、ex108、ex109、ex110。
在此內容供給系統ex100中，電腦ex111、遊戲機ex112、攝影機ex113、家電ex114及智慧型手機ex115等各機器是透過網際網路服務提供者ex102或通訊網ex104及基地台ex106~ex110而連接到網際網路ex101。該內容供給系統ex100亦可組合上述任一要件而連接。各機器亦可不透過固定無線台即基地台ex106~ex110，而是透過電話網或近距離無線等直接地或間接地相互連接。又，串流化伺服器ex103透過網際網路ex101等而與電腦 ex111、遊戲機ex112、攝影機ex113、家電ex114及智慧型手機ex115等各機器連接。又，串流化伺服器ex103透過衛星ex116而與飛機ex117內之熱點內的終端等連接。
再者，亦可使用無線存取點或熱點等來取代基地台ex106~ex110。又，串流化伺服器ex103可不透過網際網路ex101或網際網路服務提供者ex102而直接與通訊網ex104連接，亦可不透過衛星ex116而直接與飛機ex117連接。
攝影機ex113是數位攝影機等可拍攝靜止圖及拍攝動態圖的機器。又，智慧型手機ex115為一般支援2G、3G、3.9G、4G以及今後稱為5G的移動通訊系統之方式的智慧型機、行動電話或PHS(Personal Handyphone System：個人手持電話系統)等。
家電ex118為冰箱、或家庭用燃料電池汽電共生系統所包含的機器等。
在內容供給系統ex100中，具有攝影功能的終端可透過基地台ex106等而連接於串流化伺服器ex103，藉此實現實況發布等。在實況發布中，終端(電腦ex111、遊戲機ex112、攝影機ex113、家電ex114、智慧型手機ex115及飛機ex117內的終端等)是對使用者使用該終端所拍攝的靜止圖或動態圖內容進行上述各實施形態所說明的編碼處理，並將藉由編碼所獲得的影像資料與將對應於影像的聲音編碼後的聲音資料進行多工，將獲得的資料發送至串流化伺服器ex103。亦即，各終端是作為本揭 示之一個態樣的圖像編碼裝置而發揮功能。
另一方面，串流化伺服器ex103將發送給有要求的客戶端的內容資料進行串流發布。客戶端為可將上述編碼處理後的資料解碼的電腦ex111、遊戲機ex112、攝影機ex113、家電ex114、智慧型手機ex115、或飛機ex117內的終端等。接收到已發布之資料的各機器將接收到的資料進行解碼處理並播放。亦即，各機器是作為本揭示之一個態樣的圖像解碼裝置而發揮功能。
〔分散處理〕
又，串流化伺服器ex103亦可為複數台伺服器或複數台電腦，且將資料分散處理、記錄、發布。例如，亦可藉由CDN(Contents Delivery Network：內容傳遞網路)來實現串流化伺服器ex103，藉由將分散在全世界的眾多邊緣伺服器彼此之間加以連繫的網際網路來實現內容發布。在CDN中是因應於客戶端而動態地分配物理上較接近的邊緣伺服器。且，藉由在該邊緣伺服器快取及發布內容，可減少延遲。又，在發生某種錯誤時或通訊狀態因流量增加等而改變時，由於能以複數台邊緣伺服器來分散處理、或將發布主體切換成其他邊緣伺服器、或繞過發生障礙的網路部分來持續發布，因此可實現高速且穩定的發布。
又，不僅止於發布本身的分散處理，已拍攝之資料的編碼處理可在各終端進行，亦可在伺服器側進行，亦可互相分擔進行。舉一例而言，一般在編碼處理中是進行2次處理迴路。在第1次的迴路中，檢測出以幀或場 景為單位的圖像之複雜度或編碼量。又，在第2次的迴路中，進行維持畫質並且提升編碼效率的處理。例如，終端進行第1次的編碼處理，收到內容的伺服器側進行第2次的編碼處理，藉此可減少在各終端的處理負載，並且可使內容的品質及效率提升。此情況下，若有幾乎即時接收並解碼的要求，亦可由其他終端接收並播放終端進行過第一次的編碼完畢資料，因此更靈活的即時發布也是可能的。
舉其他例而言，攝影機ex113等從圖像進行特徵量擷取，將有關特徵量的資料壓縮，作為元資料(metadata)發送至伺服器。伺服器例如從特徵量來判斷物件(object)的重要性並切換量化精度等，因應圖像的意義而進行壓縮。特徵量資料對於在伺服器再度壓縮時的移動向量預測之精度及效率提升尤其有效。又，亦可在終端進行VLC(可變長度編碼)等簡易的編碼，在伺服器進行CABAC(上下文適應型二值算術編碼方式)等處理負載大的編碼。
進一步舉其他例而言，在體育場、購物中心或工廠等，有時會有藉由複數個終端拍攝幾乎相同的場景而存在複數個影像資料的情況。此情況下，是使用進行攝影的複數個終端、因應需要未拍攝的其他終端及伺服器，以例如GOP(Group of Picture：圖片群組)單位、圖片單位或圖片分割後的圖塊單位等，將編碼處理各自分配來進行分散處理。藉此，可減少延遲，更實現即時性。
又，由於複數個影像資料是幾乎相同的場 景，因此亦可由伺服器來管理及/或指示互相參考各終端所拍攝的影像資料。或，亦可讓伺服器接收來自各終端的編碼完畢資料，在複數個資料間變更參考關係或修正、更換圖片本身後，再予以重新編碼。藉此，可生成提高一個個資料的品質及效率的串流。
又，伺服器亦可在進行變更影像資料之編碼方式的轉碼(transcode)後，再發布影像資料。例如，伺服器可將MPEG系統的編碼方式轉換成VP系統，亦可將H.264轉換成H.265。
就像這樣，可藉由終端或1個以上的伺服器來進行編碼處理。所以，以下雖使用「伺服器」或「終端」等記載來作為進行處理的主體，但由伺服器進行的處理之一部分或全部亦可由終端來進行，由終端進行的處理之一部分或全部亦可由伺服器來進行。又，關於該等處理，就解碼處理來說也是相同的。
〔3D、多角度〕
近年來，將彼此幾乎同步的複數個攝影機ex113及/或智慧型手機ex115等終端所拍攝的不同場景、或從不同角度拍攝同一場景的圖像或影像進行整合利用的情況逐漸增加。各終端所拍攝的影像是根據另外取得之終端間的相對位置關係、或影像包含之特徵點為一致的區域等來進行整合。
伺服器亦可不僅編碼2維的動態圖像，還根據動態圖像的場景分析等而自動地、或於使用者指定的時 刻編碼靜止圖，並發送至接收終端。進而，伺服器在可取得攝影終端間的相對位置關係時，不僅根據2維的動態圖像，還根據從不同角度拍攝同一場景的影像，來生成該場景的3維形狀。再者，伺服器可另外編碼藉由點雲(point cloud)等所生成的3維資料，亦可使用3維資料來辨識或追蹤人物或物件，並根據辨識或追蹤的結果，從複數個終端所拍攝的影像中選擇或重構後生成要發送至接收終端的影像。
如此，使用者可任意地選擇對應於各攝影終端的各影像來欣賞場景，亦可欣賞從使用複數個圖像或影像重構的3維資料中切出任意視點之影像的內容。進而，與影像同樣，聲音亦可從複數個相異的角度收音，且伺服器配合影像將來自特定角度或空間的聲音與影像進行多工並發送。
又，近年來Virtual Reality(VR：虛擬實境)及Augmented Reality(AR：擴增實境)等讓現實世界與虛擬世界相對應的內容亦日益普及。在VR圖像的情況下，伺服器可分別製作右眼用及左眼用的視點圖像，藉由Multi-View Coding(MVC：多視角編碼)等來進行容許在各視點影像間參考的編碼，亦可不互相參考而編碼成不同的串流。當解碼不同的串流時，以因應使用者的視點重現虛擬的3維空間的方式，讓串流互相同步並播放即可。
在AR圖像的情況下，伺服器將虛擬空間上的虛擬物體資訊，根據3維性質的位置或使用者的視點移 動而重疊到現實空間的攝影機資訊。解碼裝置亦可取得或保持虛擬物體資訊及3維資料，並因應使用者的視點移動來生成2維圖像，藉由平滑地接合該等而作成重疊資料。或，亦可是解碼裝置除了虛擬物體資訊的請求以外，還將使用者的視點移動發送至伺服器，伺服器從保持於伺服器的3維資料配合接收到的視點移動來作成重疊資料，將重疊資料編碼並發布至解碼裝置。再者，亦可是重疊資料除了RGB以外還具有表示穿透度的α值，伺服器將從3維資料作成的物件以外的部分之α值設定成0等，在該部分為穿透的狀態下編碼。或者，伺服器亦可像色度鍵(chroma key)一樣將背景設定成既定值之RGB值，並生成物件以外的部分皆設為背景色的資料。
同樣的，已發布之資料的解碼處理可在客戶端即各終端進行，亦可在伺服器側進行，亦可互相分擔進行。舉一例而言，亦可是某終端暫且對伺服器送出接收要求，再由其他終端接收因應於其要求的內容並進行解碼處理，對具有顯示器的裝置發送解碼完畢的訊號。不依賴可通訊的終端本身的性能而是將處理分散並選擇適當的內容，藉此，可播放畫質佳的資料。又，舉其他例而言，亦可由電視等接收大尺寸的圖像資料，並且在鑑賞者的個人終端將圖片經分割後的圖塊等一部分區域解碼顯示。藉此，可共享整體像，並且在手邊確認自己的負責領域或欲更詳細確認的區域。
又，預料今後會在無關屋內外而可使用複數 個近距離、中距離或長距離之無線通訊的狀況下，利用MPEG-DASH等發布系統規格，一邊對連接中的通訊切換適當的資料，一邊無縫地(seamless)接收內容。藉此，使用者不侷限於自己的終端，可一邊自由地選擇設置於屋內外的顯示器等解碼裝置或顯示裝置，一邊即時地切換。又，可根據自己的位置資訊等，一邊切換要解碼的終端及要顯示的終端一邊進行解碼。藉此，在往目的地的移動中，還可以一邊在內嵌有可顯示的器件之一旁的建築物的壁面或地面的一部分顯示地圖資訊一邊移動。又，亦可根據在網路上對編碼資料的存取容易性而切換接收資料的位元率(bit rate)，前述對編碼資料的存取容易性是指編碼資料被快取到可從接收終端短時間地存取的伺服器、或被複製到內容傳遞服務中的邊緣伺服器等。
〔可適性編碼〕
關於內容切換，使用圖33所示之應用上述各實施形態所示的動態圖像編碼方法而進行壓縮編碼的可適性串流來加以說明。伺服器若具有複數個內容相同、質不同的串流來作為個別串流雖然無妨，但亦可如圖示般構成為分層進行編碼，藉此實現時間上/空間上的可適性串流，並活用其特徵而切換內容。也就是說，解碼側因應於所謂性能之內在要因與所謂通訊頻帶狀態等之外在要因，來決定解碼到哪個層，藉此，解碼側可自由地切換低解析度的內容與高解析度的內容並解碼。例如，在移動中以智慧型手機ex115收看的影像之後續，回家後想在網際網路電視等機器上收 看時，該機器只要將相同的串流解碼到不同的層即可，因此可減輕伺服器側的負擔。
進而，除了實現如上述般將圖片依每個層編碼、且基礎層的上位存在有增強層之可適性之構成以外，亦可是增強層包含有以圖像之統計資訊等為基本的元資訊，且解碼側根據元資訊來將基礎層的圖片進行超解析，藉此生成高畫質的內容。超解析可以是同一解析度中之SN比的提升，也可以是解析度的擴大。元資訊包含有用以特定出超解析處理中使用的線性或非線性濾波係數的資訊，或特定出超解析處理中使用的濾波處理、機械學習、或最小平方運算中之參數值的資訊等。
或，亦可為如下之構成：圖片因應於圖像內的物件等的意義而被分割成圖塊等，解碼側選擇要解碼的圖塊，藉此僅解碼一部分區域。又，將物件屬性(人物、車輛、球等)及影像內的位置(同一圖像中之座標位置等)儲存成元資訊，藉此，解碼側可根據元資訊特定出期望的物件的位置，並決定包含有前述物件的圖塊。例如，如圖34所示，使用HEVC中之SEI訊息(message)等不同於像素資料的資料儲存構造來儲存元資訊。前述元資訊是表示例如主物件的位置、尺寸或色彩等。
又，以串流、序列或隨機存取單位等由複數個圖片所構成的單位來儲存元資訊亦可。藉此，解碼側可取得特定人物出現在影像內的時刻等，並可配合圖片單位的資訊來特定出物件所存在的圖片、及物件在圖片內的位 置。
〔網頁最佳化〕
圖35是表示電腦ex111等中之網頁的顯示畫面例的圖。圖36是表示智慧型手機ex115等中之網頁的顯示畫面例的圖。如圖35及圖36所示，網頁有時包含有複數個連結至圖像內容的連結(link)圖像，依瀏覽的器件，其觀看結果會不同。當畫面上可看到複數個連結圖像時，直到使用者明確地選擇連結圖像為止，或直到連結圖像靠近畫面中央附近或連結圖像整體進入畫面內為止，顯示裝置(解碼裝置)都是顯示各內容所具有的靜止圖或I圖片來作為連結圖像，或以複數個靜止圖或I圖片等來顯示像gif動畫一樣的影像，或僅接收基礎層並解碼及顯示影像。
當使用者選擇了連結圖像時，顯示裝置最優先解碼基礎層。再者，當構成網頁的HTML中有表示其為可適性內容的資訊時，顯示裝置亦可解碼至增強層。又，為了保證即時性，在被選擇前或通訊頻帶非常吃緊時，顯示裝置僅解碼及顯示參考前方的圖片(I圖片、P圖片、僅參考前方的B圖片)，藉此，可減低開頭圖片的解碼時刻與顯示時刻之間的延遲(從內容之解碼開始到顯示開始為止的延遲)。又，顯示裝置亦可刻意忽視圖片的參考關係，令全部的B圖片及P圖片參考前方並粗略地解碼，隨著時間經過且接收到的圖片增加，再進行正常的解碼。
〔自動行駛〕
又，為了車輛之自動行駛或支援行駛而發送、接收2 維或3維的地圖資訊等靜止圖或影像資料時，接收終端除了接收屬於1個以上的層之圖像資料以外，亦可接收天候或施工資訊等元資訊，使該等相對應並解碼。再者，元資訊可屬於層，亦可僅與圖像資料進行多工。
此情況下，由於包含有接收終端的車輛、無人機(drone)、或飛機等會移動，因此接收終端藉由在接收要求時發送該接收終端的位置資訊，可一邊切換基地台ex106~ex110一邊實現無縫的接收及解碼。又，接收終端可因應使用者的選擇、使用者的狀況或通訊頻帶的狀態，而動態地切換將元資訊接收到何種程度、或將地圖資訊更新到何種程度。
如以上，在內容供給系統ex100中，客戶端可即時地接收使用者所發送之已編碼的資訊，予以解碼並播放。
〔個人內容的發布〕
又，在內容供給系統ex100中，不僅是來自影像發布業者之高畫質且長時間的內容，來自個人之低畫質且短時間的內容亦可進行單播或多播發布。又，可想到這樣的個人內容今後會逐漸增加。為了將個人內容做成更優良的內容，伺服器亦可進行編輯處理後再進行編碼處理。此可由例如以下構成來實現。
伺服器在攝影時即時或累積到攝影後，從原圖或編碼完畢資料進行攝影錯誤、場景估測、意義分析及物件檢測等辨識處理。然後，伺服器根據辨識結果，手動 或自動地進行以下編輯：修正模糊或手震等、刪除亮度比其他圖片低或焦點未對準的場景等重要性低的場景、強調物件的邊緣、變化色調等。伺服器根據編輯結果來編碼編輯後的資料。又，已知若攝影時刻過長收視率會下降，伺服器亦可如上述般，除了重要性低的場景，還將動態較少的場景等根據圖像處理結果自動地剪輯，以因應攝影時間而成為特定的時間範圍內的內容。又，伺服器亦可根據場景的意義分析的結果，生成摘要(digest)並編碼。
再者，個人內容有直接播送會拍到侵害著作權、著作人格權或肖像權等物的案例，也有共享的範圍超過了意圖的範圍等對個人而言較不便的情況。所以，伺服器例如亦可將畫面周邊部的人臉或家中等刻意變更成焦點不對準的圖像再編碼。又，伺服器亦可辨識編碼對象圖像內是否顯現與事先登錄的人物不同的人物的臉，在顯現的情況下，進行對臉的部分加上馬賽克等的處理。又，作為編碼的預處理或後處理，使用者亦可基於著作權等的觀點，指定圖像中想加工的人物或背景區域，且伺服器進行將指定的區域替換成別的影像或模糊焦點等之處理。若是人物，則可在動態圖像中一邊追蹤人物，一邊替換臉的部分的影像。
又，資料量較小的個人內容之收看由於非常要求即時性，因此雖也會視頻帶寬而定，但解碼裝置首先最優先接收基礎層，進行解碼及播放。解碼裝置亦可在此期間中接收增強層，且於循環播放等播放2次以上的情況 下，包含增強層在內而播放高畫質的影像。若是像這樣進行可適性編碼的串流，可提供如下體驗：在未選擇時或開始觀看的階段雖然是粗略的動態圖，但串流慢慢地智慧化(smart)且圖像受到改善。除了可適性編碼以外，將第1次播放的粗略串流、與參考第1次動態圖來編碼的第2次串流構成為1個串流，亦可提供相同的體驗。
〔其他使用例〕
又，該等編碼或解碼處理，一般來說是在各終端所具有的LSIex500中處理。LSIex500是單晶片或由複數個晶片組成的構成均可。再者，亦可將動態圖像編碼或解碼用的軟體裝入能以電腦ex111等讀取的某種記錄媒體(CD-ROM、軟性磁碟或硬碟等)中，並使用其軟體進行編碼或解碼處理。進而，當智慧型手機ex115附帶攝影機時，亦可發送以其攝影機所取得的動態圖資料。此時的動態圖資料是在智慧型手機ex115所具有的LSIex500中進行過編碼處理的資料。
再者，LSIex500亦可構成為下載應用軟體並啟用(activate)。此情況下，終端首先判定該終端是否對應於內容的編碼方式，或是否具有特定服務的執行能力。當終端不對應內容的編碼方式時，或不具有特定服務的執行能力時，終端下載編解碼器(codec)或應用軟體，之後再取得內容及播放。
又，不僅是透過網際網路ex101的內容供給系統ex100，在數位廣播用系統中，亦可裝入上述各實施 形態的動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之至少任一者。由於是利用衛星等讓廣播用的電波承載已將影像與聲音進行多工的多工資料來進行發送、接收，因此相對於內容供給系統ex100是容易進行單播的構成，其差異在於適合多播，但關於編碼處理及解碼處理，則可進行同樣的應用。
〔硬體構成〕
圖37是顯示智慧型手機ex115的圖。又，圖38是顯示智慧型手機ex115的構成例的圖。智慧型手機ex115具備：天線ex450，用以在其與基地台ex110之間發送、接收電波；攝影機部ex465，可拍攝影像及靜止圖；及顯示部ex458，顯示由攝影機部ex465所拍攝的影像、及由天線ex450所接收的影像等經解碼後的資料。智慧型手機ex115進一步具備：操作部ex466，為觸控面板等；聲音輸出部ex457，為用以輸出聲音或音響的揚聲器等；聲音輸入部ex456，為用以輸入聲音的微音器等；記憶體部ex467，可保存拍攝的影像或靜止圖、錄音的聲音、接收到的影像或靜止圖、郵件等經編碼後的資料或經解碼後的資料；及插槽部ex464，其是與SIMex468的介面部，前述SIMex468可用來特定使用者、對以網路為首的各種資料之存取進行認證。再者，亦可使用外接記憶體來取代記憶體部ex467。
又，統籌地控制顯示部ex458及操作部ex466等的主控制部ex460、電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、攝影機介面部ex463、顯 示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、及記憶體部ex467是透過匯流排ex470而連接。
當藉由使用者之操作而使電源鍵為開啟狀態時，電源電路部ex461從電池組(battery pack)對各部供給電力，藉此將智慧型手機ex115起動成可動作的狀態。
智慧型手機ex115根據具有CPU、ROM及RAM等的主控制部ex460之控制，進行通話及資料通訊等處理。通話時，將由聲音輸入部ex456所收音的聲音訊號以聲音訊號處理部ex454轉換成數位聲音訊號，並將此訊號以調變/解調部ex452進行展頻處理，再以發送/接收部ex451施加數位類比轉換處理及頻率轉換處理後，透過天線ex450發送。又，將接收資料放大，施加頻率轉換處理及類比數位轉換處理，以調變/解調部ex452進行解展頻處理，以聲音訊號處理部ex454轉換成類比聲音訊號後，將此訊號從聲音輸出部ex457輸出。資料通訊模式時，是藉由主體部之操作部ex466等的操作，而透過操作輸入控制部ex462將文字、靜止圖或影像資料送出至主控制部ex460，同樣地進行發送、接收處理。在資料通訊模式時發送影像、靜止圖、或影像及聲音的情況下，影像訊號處理部ex455藉由上述各實施形態所示的動態圖像編碼方法，將保存於記憶體部ex467的影像訊號或從攝影機部ex465輸入的影像訊號進行壓縮編碼，並將已編碼的影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454 將以攝影機部ex465拍攝影像或靜止圖等時以聲音輸入部ex456收音到的聲音訊號進行編碼，並將已編碼的聲音資料送出至多工/分離部ex453。多工/分離部ex453將編碼完畢影像資料與編碼完畢聲音資料以既定的方式進行多工，再以調變/解調部(調變/解調電路部)ex452及發送/接收部ex451施加調變處理及轉換處理，透過天線ex450發送。
接收附加於電子郵件或聊天室的影像、或連結到網頁等的影像時，為了解碼透過天線ex450接收到的多工資料，多工/分離部ex453藉由分離多工資料，而將多工資料分成影像資料的位元串流、及聲音資料的位元串流，且透過同步匯流排ex470將經編碼的影像資料供給至影像訊號處理部ex455，並且將經編碼的聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455藉由對應於上述各實施形態所示之動態圖像編碼方法的動態圖像解碼方法來將影像訊號解碼，並透過顯示器控制部ex459，從顯示部ex458顯示連結到的動態圖像檔案所包含的影像或靜止圖。又，聲音訊號處理部ex454將聲音訊號解碼，並從聲音輸出部ex457輸出聲音。再者，由於即時串流已普及，因此依使用者的狀況，亦可能引起聲音的播放就社會觀點而言不妥的情況。因此，作為初始值，宜構成為不播放聲音訊號，僅播放影像訊號。亦可只在使用者進行點擊影像資料等操作時，才同步播放聲音。
又，在此雖以智慧型手機ex115為例加以說明，但作為終端，除了具有編碼器及解碼器雙方的發送接 收型終端以外，亦可考慮僅具有編碼器的發送終端、及僅具有解碼器的接收終端這3種安裝形式。進而，雖說明了在數位廣播用系統中接收或發送在影像資料中多工有聲音資料等的多工資料的情況，但在多工資料中，除了聲音資料以外，亦可多工有與影像相關聯的文字資料等，且亦可接收或發送影像資料本身，而不是多工資料。
再者，雖說明了包含CPU的主控制部ex460控制編碼或解碼處理的情況，但終端具備GPU的情況也很多。所以，亦可構成為：藉由在CPU與GPU間共通化的記憶體、或位址受管理以便共通使用的記憶體，來活用GPU的性能，一次性地處理廣大的區域。藉此，可縮短編碼時間，確保即時性，實現低延遲。特別是若不利用CPU而利用GPU，以圖片等的單位一次性地進行移動估測、去區塊濾波、SAO(Sample Adaptive Offset：樣本適應性偏移)、及轉換/量化的處理時，是有效率的。
產業上之可利用性
本揭示可利用於例如電視機、數位視訊錄影機、汽車導航、行動電話、數位攝影機、或數位視訊攝影機等。

Claims (4)

  1. 一種編碼裝置，是將圖片中包含的編碼對象區塊加以編碼的編碼裝置，具備有：電路；及記憶體，前述電路使用前述記憶體，將前述編碼對象區塊朝第1方向分割成第1子區塊、第2子區塊及第3子區塊，前述第2子區塊位於前述第1子區塊及前述第3子區塊之間，且禁止將前述第2子區塊朝前述第1方向分割成2個分區，並且將前述第1子區塊、前述第2子區塊及前述第3子區塊編碼，前述電路進一步在將前述第2子區塊分割成複數個分區時，將顯示前述第2子區塊之分割方向的第1參數寫入於位元串流，當前述第1參數顯示前述第1方向時，將前述第2子區塊朝前述第1方向分割成3個分區，當前述第1參數顯示與前述第1方向不同的第2方向時，將顯示前述第2子區塊之分割數的第2參數寫入於前述位元串流，且將前述第2子區塊朝前述第2方向分割成由前述第2參數所示的數量個分區。
  2. 一種編碼方法，是將圖片中包含的編碼對 象區塊加以編碼的編碼方法，其將前述編碼對象區塊朝第1方向分割成第1子區塊、第2子區塊及第3子區塊，前述第2子區塊位於前述第1子區塊及前述第3子區塊之間，且禁止將前述第2子區塊朝前述第1方向分割成2個分區，並且將前述第1子區塊、前述第2子區塊及前述第3子區塊編碼，在將前述第2子區塊分割成複數個分區時，將顯示前述第2子區塊之分割方向的第1參數寫入於位元串流，當前述第1參數顯示前述第1方向時，將前述第2子區塊朝前述第1方向分割成3個分區，當前述第1參數顯示與前述第1方向不同的第2方向時，將顯示前述第2子區塊之分割數的第2參數寫入於前述位元串流，且將前述第2子區塊朝前述第2方向分割成由前述第2參數所示的數量個分區。
  3. 一種解碼裝置，是將編碼圖片中包含的解碼對象區塊加以解碼的解碼裝置，具備有：電路；及記憶體，前述電路使用前述記憶體，將前述解碼對象區塊朝第1方向分割成第1子區塊、第2子區塊及第3子區塊，前述第2子區塊位於前述第1子區塊 及前述第3子區塊之間，且禁止將前述第2子區塊朝前述第1方向分割成2個分區，並且將前述第1子區塊、前述第2子區塊及前述第3子區塊解碼，前述電路進一步從位元串流解讀出顯示前述第2子區塊之分割方向的第1參數，當前述第1參數顯示前述第1方向時，將前述第2子區塊朝前述第1方向分割成3個分區，當前述第1參數顯示與前述第1方向不同的第2方向時，從前述位元串流解讀出顯示前述第2子區塊之分割數的第2參數，且將前述第2子區塊朝前述第2方向分割成前述第2參數所示的數量個分區。
  4. 一種解碼方法，是將編碼圖片中包含的解碼對象區塊加以解碼的解碼方法，其將前述解碼對象區塊朝第1方向分割成第1子區塊、第2子區塊及第3子區塊，前述第2子區塊位於前述第1子區塊及前述第3子區塊之間，且禁止將前述第2子區塊朝前述第1方向分割成2個分區，並且將前述第1子區塊、前述第2子區塊及前述第3子區塊解碼， 從位元串流解讀出顯示前述第2子區塊之分割方向的第1參數，當前述第1參數顯示前述第1方向時，將前述第2子區塊朝前述第1方向分割成3個分區，當前述第1參數顯示與前述第1方向不同的第2方向時，從前述位元串流解讀出顯示前述第2子區塊之分割數的第2參數，且將前述第2子區塊朝前述第2方向分割成前述第2參數所示的數量個分區。
TW108107282A 2018-03-05 2019-03-05 編碼裝置、解碼裝置、編碼方法及解碼方法 TWI783129B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862638620P 2018-03-05 2018-03-05
US62/638,620 2018-03-05

Publications (2)

Publication Number Publication Date
TW201939957A TW201939957A (zh) 2019-10-01
TWI783129B true TWI783129B (zh) 2022-11-11

Family

ID=67847292

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108107282A TWI783129B (zh) 2018-03-05 2019-03-05 編碼裝置、解碼裝置、編碼方法及解碼方法
TW111139076A TWI816578B (zh) 2018-03-05 2019-03-05 保存編碼位元串流的非暫時性記憶媒體

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW111139076A TWI816578B (zh) 2018-03-05 2019-03-05 保存編碼位元串流的非暫時性記憶媒體

Country Status (10)

Country Link
US (3) US11303895B2 (zh)
EP (2) EP4351147A3 (zh)
JP (4) JP6810827B2 (zh)
KR (2) KR102202553B1 (zh)
CN (4) CN114697652B (zh)
BR (1) BR112020016755A2 (zh)
CA (3) CA3113521C (zh)
MX (5) MX2020009109A (zh)
TW (2) TWI783129B (zh)
WO (1) WO2019172203A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735730B2 (en) * 2018-03-07 2020-08-04 Tencent America LLC Flexible tree structure

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170244964A1 (en) * 2016-02-23 2017-08-24 Mediatek Inc. Method and Apparatus of Flexible Block Partition for Video Coding
US20170347096A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method
US20170347128A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5263951B2 (ja) * 2008-11-11 2013-08-14 日本電気株式会社 Ｏｆｄｍ受信装置、リファレンスシンボルの補間方法および移動端末ならびにプログラム
EP2446629B1 (fr) 2009-06-23 2018-08-01 Orange Procédés de codage et de décodage d'images, dispositifs de codage et de décodage, et programme d'ordinateur correspondants
KR101698499B1 (ko) 2009-10-01 2017-01-23 에스케이텔레콤 주식회사 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치
WO2011121715A1 (ja) * 2010-03-30 2011-10-06 株式会社 東芝 画像復号化方法
WO2011129673A2 (ko) * 2010-04-16 2011-10-20 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
CN106851320B (zh) * 2010-11-04 2020-06-02 Ge视频压缩有限责任公司 数字存储介质、解码比特流的方法
US10425142B2 (en) * 2015-11-23 2019-09-24 Lg Electronics Inc. Method for transmitting and receiving channel state information in wireless communication system, and apparatus therefor
WO2017090967A1 (ko) 2015-11-24 2017-06-01 삼성전자 주식회사 부호화 순서 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US10779004B2 (en) * 2016-10-12 2020-09-15 Mediatek Inc. Methods and apparatuses of constrained multi-type-tree block partition for video coding
GB2557430B (en) * 2016-10-12 2020-01-15 Mediatek Inc Methods and apparatuses of constrained multi-type-tree block partition for video coding
CN116567235A (zh) * 2016-12-16 2023-08-08 夏普株式会社 图像解码装置
KR20230133414A (ko) * 2017-01-04 2023-09-19 삼성전자주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
EP3606072A4 (en) * 2017-03-31 2020-07-22 Panasonic Intellectual Property Corporation of America IMAGE CODING DEVICE, IMAGE DECODING DEVICE, IMAGE CODING METHOD AND IMAGE DECODING METHOD
CN112601085A (zh) * 2017-06-28 2021-04-02 华为技术有限公司 一种图像数据的编码、解码方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170244964A1 (en) * 2016-02-23 2017-08-24 Mediatek Inc. Method and Apparatus of Flexible Block Partition for Video Coding
US20170347096A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method
US20170347128A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet

Also Published As

Publication number Publication date
US11303895B2 (en) 2022-04-12
CA3221606A1 (en) 2019-09-12
EP3748968B1 (en) 2024-05-01
US11792396B2 (en) 2023-10-17
CN114697653B (zh) 2023-11-14
JP2023029657A (ja) 2023-03-03
EP4351147A2 (en) 2024-04-10
WO2019172203A1 (ja) 2019-09-12
TW201939957A (zh) 2019-10-01
JP2024107371A (ja) 2024-08-08
CA3093204C (en) 2022-05-24
KR20200105726A (ko) 2020-09-08
CA3113521C (en) 2024-01-16
CA3113521A1 (en) 2019-09-12
MX2022006680A (es) 2022-07-11
CN114697652A (zh) 2022-07-01
KR20210005326A (ko) 2021-01-13
CA3093204A1 (en) 2019-09-12
CN114697652B (zh) 2023-11-14
MX2022006679A (es) 2022-07-11
CN114697651A (zh) 2022-07-01
JP7213227B2 (ja) 2023-01-26
EP3748968A4 (en) 2021-02-24
CN114697653A (zh) 2022-07-01
EP3748968A1 (en) 2020-12-09
EP4351147A3 (en) 2024-04-17
US20230421762A1 (en) 2023-12-28
MX2022006678A (es) 2022-07-11
JP6810827B2 (ja) 2021-01-06
BR112020016755A2 (pt) 2020-12-15
US20200404271A1 (en) 2020-12-24
MX2022006682A (es) 2022-07-11
TWI816578B (zh) 2023-09-21
CN114697651B (zh) 2023-11-14
JPWO2019172203A1 (ja) 2020-12-03
CN111801942B (zh) 2022-04-08
MX2020009109A (es) 2022-06-03
KR102202553B1 (ko) 2021-01-13
TW202308381A (zh) 2023-02-16
JP2021044843A (ja) 2021-03-18
US20220201297A1 (en) 2022-06-23
CN111801942A (zh) 2020-10-20
TW202404353A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
TWI832512B (zh) 非暫時性記憶媒體、圖像編碼裝置及圖像解碼裝置
KR102608008B1 (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
KR102577599B1 (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
TWI803420B (zh) 編碼裝置、解碼裝置及用於保存使電腦執行解碼處理之位元流的非暫時性記憶媒體
TWI782974B (zh) 解碼裝置、解碼方法及非暫時性電腦可讀取媒體
TWI830328B (zh) 編碼裝置、解碼裝置及電腦可讀取之非暫時性媒體
TWI794129B (zh) 編碼裝置、編碼方法、解碼裝置、解碼方法及電腦可讀取之非暫時性媒體
TWI812414B (zh) 編碼裝置、解碼裝置及記錄媒體
TW202002648A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
JP7529740B2 (ja) 復号装置及び符号化装置
TW202315412A (zh) 圖像解碼裝置及解碼方法
JP2024107371A (ja) 送信装置及び送信方法
TW201909631A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI846782B (zh) 編碼裝置及解碼裝置
WO2019146718A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
TWI857780B (zh) 編碼裝置、編碼方法、解碼裝置及解碼方法
TWI852987B (zh) 編碼裝置及解碼裝置
TWI788567B (zh) 編碼裝置、解碼裝置、編碼方法、解碼方法及程式記錄媒體
TWI850920B (zh) 編碼裝置、解碼裝置及電腦可讀取之非暫時性媒體