TWI684351B - 解碼裝置、解碼方法、編碼裝置，以及編碼方法 - Google Patents

解碼裝置、解碼方法、編碼裝置，以及編碼方法 Download PDF

Info

Publication number
TWI684351B
TWI684351B TW103134265A TW103134265A TWI684351B TW I684351 B TWI684351 B TW I684351B TW 103134265 A TW103134265 A TW 103134265A TW 103134265 A TW103134265 A TW 103134265A TW I684351 B TWI684351 B TW I684351B
Authority
TW
Taiwan
Prior art keywords
transform
unit
block
image
encoding
Prior art date
Application number
TW103134265A
Other languages
English (en)
Other versions
TW201524194A (zh
Inventor
佐藤数史
Original Assignee
日商新力股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商新力股份有限公司 filed Critical 日商新力股份有限公司
Publication of TW201524194A publication Critical patent/TW201524194A/zh
Application granted granted Critical
Publication of TWI684351B publication Critical patent/TWI684351B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本揭示發明相關於一種解碼裝置，其包括經組態以解碼位元串流並產生量化值；及在施加變換略過之變換區塊的區塊尺寸大於4乘4區塊尺寸的情形中，藉由使用平坦縮放列表反量化該經產生量化值的電路。

Description

解碼裝置、解碼方法、編碼裝置，以及編碼方法
本揭示發明相關於解碼裝置及解碼方法、及編碼裝置及編碼方法，且更特別相關於解碼裝置及解碼方法、及在施加變換略過至尺寸為4乘4像素以外之區塊的情形中能改善編碼效率的編碼裝置及編碼方法。
近年來，基於諸如以正交變換，諸如，離散餘弦變換，及藉由利用對影像資訊獨特之冗餘的動作補償實施壓縮的MPEG(動畫專家群組相)之方法的裝置不僅廣泛地散佈在資訊配送上，諸如，廣播台，也廣泛地散佈在用於一般家庭的資訊接收上。
將MPEG2(ISO/IEC 13818-2)方法特別界定為通用影像編碼方法，且係涵蓋交錯式掃描影像及連續式掃描影像二者、及標準解析度影像及高解析度影像的標準。例如，MPEG2現在廣泛用於範圍廣泛的應用上，諸如，專業用途及消費用途。例如，在720乘480像素之標 準解析度的交錯式掃描影像的情形中，分配4至8Mbp的碼量(位元率)。例如，在1920乘1088像素之高解析度的交錯式掃描影像的情形中，分配18至22Mbp的碼量(位元率)。因此，能藉由使用MPEG2方法實現高壓縮率及高影像品質。
MPEG2主要針對適用於廣播的高影像品質編碼，但不支援使用比MPEG1更少之碼量(較低位元率)的編碼方法。換言之，MPEG2不支援更高壓縮率的編碼方法。隨著可攜終端變得廣泛流行，認為對此種編碼方法的需求會在未來成長，且為了回應於此種需求，已將MPEG4編碼方法標準化。於1998年十二月將關於MPEG4之影像編碼方法的該說明書接納為國際標準ISO/IEC 14496-2。
另外，近年來，已將最初用於電視會議之影像編碼的目的之稱為H.26L(ITU-T Q6/16 VCEG)的標準標準化。相較於諸如MPEG2及MPEG4的編碼方法，H.26L因為編碼及解碼處理而需要較高的計算量，但已知其實現更高編碼效率。
近年來，作為MPEG4活動的一部分，已使基於H.26L且更利用在H.26L中未受支援的功能之用於實現更高編碼效率的增強壓縮視訊編碼聯合模型標準化。此標準化已於2003年三月以H.264及MPEG-4第10部分(AVC(先進視訊編碼))的名稱成為國際標準。
另外，作為其擴展之包括色差訊號格式，諸 如，4：2：2及4：4：4、及RGB，上之工作所需的編碼工具且包括界定在MPEG2中之8乘8 DCT(離散餘弦變換)及量化矩陣的FRExt(保真度範圍擴展)在2005年二月標準化。因此，使AVC方法成為甚至能精細地表現包括在電影中之影片雜訊的編碼方法，並已使其進步以使用在範圍廣泛的應用中，諸如，BD(藍光(註冊商標)光碟)。
然而，最近，對更高壓縮率編碼處理的需求仍成長，諸如，具有約為高解析度電視影像四倍之約4000乘2000像素之影像的壓縮或在僅具有有限傳輸容量的環境，諸如，網際網路，中散佈高解析度電視影像。因此，ITU-T下的VCEG(視訊編碼專家群組)持續研究編碼效率的改善。
目前，為改善更大於AVC的編碼效率，其係ITU-T及ISO/IEC之聯合標準化組織的JCT-VC(視訊編碼聯合合作團隊)已將稱為HEVC(高效率視訊編碼)的編碼方法標準化。在2013年十月，NPL 1已發佈初稿。
然而，當TU(轉換單元)的尺寸係4乘4像素時，HEVC能使用不在所提及之TU上實施正交變換及反正交變換的變換略過功能。
更具體地說，當待編碼的影像係非自然影像時，諸如，CG(電腦圖形)影像及個人電腦的螢幕，可能將4乘4像素選擇為TU的尺寸。當正交變換未施加至非自然影像時，編碼效率可增加。因此，當TU的尺寸係 4乘4像素時，HEVC藉由容許施加變換略過而改善編碼效率。
另一方面，在NPL 2中，考慮改善色差訊號格式，諸如，4：2：2及4：4：4，的影像及螢幕內容之編碼的編碼方法。
在NPL 3中，考慮將變換略過施加至具有大於4乘4像素之尺寸的TU時的編碼效率。
另外，在NPL 4中，當TU的最小尺寸係，例如，4乘4像素以外的8乘8像素時，考慮將變換略過施加至最小尺寸的TU。
[引用列表] [非專利文獻]
[NPL 1]Benjamin Bross、Gary J. Sullivan、Ye-Kui Wang, 「HEVC第1版的編輯建議修正」，JCTVC-M0432_v3, 2013.4.18-4.26
[NPL 2]David Flynn、Joel Sole、Teruhiko Suzuki、「高效率視訊編碼(HEVC)，範圍擴展文字規格書：第4草案」，JCTVC-N1005_v1, 2013.4.18-4.26
[NPL 3]Xiulian Peng、Jizheng Xu、Liwei Guo、Joel Sole、Marta Karczewicz、「非-RCE2：大TU上的變換略過」，JCTVC-N0288_rl, 2013.7.25-8.2
[NPL 4]Kwanghyun Won、Seungha Yang、Byeungwoo Jeon、「基於最小TU尺寸的變換略過」，JCTVC-N0167, 2013.7.25-8.2
在HEVC中，在像素域中實施變換略過量化TU的期間，將平坦矩陣設定為用於具有4乘4像素的TU之縮放列表的預設值，以不在頻域中使用平坦矩陣以外的縮放列表(量化矩陣)。然而，將平坦矩陣以外的矩陣設定為用於具有4乘4像素以外之尺寸的TU之縮放列表的預設值。
因此，如NPL 3及NPL 4中所述，當將變換略過施加至具有4乘4像素以外之尺寸的TU時，在實施變換略過量化TU的期間，可使用平坦矩陣以外的縮放列表。結果，編碼效率下降。
本揭示發明有鑑於此種情況而產生，並在實施具有4乘4像素以外之尺寸的區塊之變換略過的情形中改善編碼效率。
根據本揭示發明之第一實施例的解碼裝置包括經組態以解碼位元串流並產生量化值；及在施加變換略過之變換區塊的區塊尺寸大於4乘4區塊尺寸的情形中，藉由使用平坦縮放列表反量化該量化值的電路。
根據本揭示發明之第一實施例的解碼方法對 應於根據本揭示發明之第一實施例的解碼裝置。
在本揭示發明的第一實施例中，在施加變換略過之變換區塊的區塊尺寸大於4乘4區塊尺寸的情形中，藉由解碼位元串流產生量化值，並使用平坦縮放列表將量化值反量化。
根據本揭示發明之第二實施例的編碼裝置包括：電路，經組態以在施加變換略過至大於4乘4區塊尺寸之變換區塊的情形中，藉由使用平坦縮放列表，而藉由量化施加變換略過的變換區塊來產生量化值；並編碼該經產生量化值。
根據本揭示發明之第二實施例的編碼方法對應於根據本揭示發明之第二實施例的編碼裝置。
在本揭示發明的第二實施例中，在施加變換略過至大於4乘4區塊尺寸之變換區塊的情形中，藉由使用平坦縮放列表，而藉由量化施加變換略過的變換區塊來產生量化值；並編碼該經產生量化值。
應注意第一實施例的解碼裝置及第二實施例的編碼裝置能藉由致使電腦執行程式而實現。
由電腦執行以實現第一實施例的解碼裝置及第二實施例之編碼裝置的程式能以該程式經由傳輸媒體傳輸或該程式記錄在記錄媒體的此種方式提供。
第一實施例的解碼裝置及第二實施例的編碼裝置可係無關裝置，或可係構成單一裝置的內部區塊。
根據本揭示發明的第一實施例，能實施解碼。此外，能解碼經編碼串流，已將其之將變換略過施加至4乘4像素以外之尺寸的區塊的編碼效率改善。
根據本揭示發明的第二實施例，能實施編碼。能改善在將變換略過施加至4乘4像素以外之尺寸的區塊時的編碼效率。
應注意此處描述的效果不必然受限制，並可係本揭示發明所描述之效果的任何一者。
10‧‧‧編碼裝置
11‧‧‧設定單元
12、601、602、621、622‧‧‧編碼單元
13‧‧‧傳輸單元
31‧‧‧A/D轉換單元
32、139‧‧‧螢幕排序緩衝器
33‧‧‧計算單元
34‧‧‧正交變換單元
35‧‧‧量化單元
36‧‧‧無損編碼單元
37、131‧‧‧累積緩衝器
38、133‧‧‧反量化單元
39、134‧‧‧反正交變換單元
40、135‧‧‧加法單元
41、136‧‧‧解塊濾波器
42、137‧‧‧適應偏移濾波器
43、138‧‧‧適應迴路濾波器
44、141、1405‧‧‧框記憶體
45、142、145‧‧‧交換器
46、143‧‧‧內預測單元
47‧‧‧動作預測/補償單元
48‧‧‧預測影像選擇單元
49‧‧‧速率控制單元
50、146‧‧‧略過設定單元
51、147‧‧‧列表設定單元
71‧‧‧預設設定單元
72‧‧‧平坦設定單元
73‧‧‧列表得到單元
110‧‧‧解碼裝置
111‧‧‧接收單元
112‧‧‧擷取單元
113、612、613、632、633‧‧‧解碼單元
132‧‧‧無損解碼單元
140‧‧‧D/A轉換單元
144‧‧‧動作補償單元
201‧‧‧CPU(中央處理單元)
202‧‧‧ROM(唯讀記憶體)
203‧‧‧RAM(隨機存取記憶體)
204、912、933、972‧‧‧匯流排
205‧‧‧輸入/輸出介面
206‧‧‧輸入單元
207‧‧‧輸出單元
208‧‧‧儲存單元
209、922‧‧‧通訊單元
210‧‧‧驅動
211‧‧‧可移除媒體
600‧‧‧多觀點影像編碼裝置
603、623‧‧‧多工單元
610‧‧‧多觀點影像解碼裝置
611、631‧‧‧解多工單元
620‧‧‧階層式影像編碼裝置
630‧‧‧階層式影像解碼裝置
900‧‧‧電視接收裝置
901、921‧‧‧天線
902、941‧‧‧調諧器
903‧‧‧解多工器
904、947‧‧‧解碼器
905‧‧‧視訊訊號處理單元
906、930、965‧‧‧顯示單元
907‧‧‧音訊訊號處理單元
908、924‧‧‧揚聲器
909、942、966‧‧‧外部介面單元
910、931、949、970、1511‧‧‧控制單元
911、950、971‧‧‧使用者介面單元
920‧‧‧行動電話
923‧‧‧音訊編碼解碼器
925‧‧‧麥克風
926‧‧‧照相機單元
927‧‧‧影像處理單元
928‧‧‧解多工器單元
929‧‧‧記錄/再生單元
932‧‧‧操作單元
940‧‧‧記錄/再生裝置
943‧‧‧編碼器
944‧‧‧HDD(硬碟驅動器)單元
945‧‧‧硬碟驅動器
946‧‧‧選擇器
948、969‧‧‧OSD(螢幕上顯示)單元
960、1201‧‧‧影像拍攝裝置
961‧‧‧光學區塊
962‧‧‧影像拍攝單元
963‧‧‧照相機訊號處理單元
964‧‧‧影像資料處理單元
967‧‧‧記憶體單元
968‧‧‧媒體驅動器
1000、1100‧‧‧資料傳輸系統
1001‧‧‧可縮放經編碼資料儲存單元
1002‧‧‧配送伺服器
1003、1112‧‧‧網路
1004‧‧‧個人電腦
1005‧‧‧音訊視覺裝置
1006‧‧‧平板裝置
1007‧‧‧行動電話
1011、1221‧‧‧可縮放經編碼資料(BL+EL)
1012、1121、1222‧‧‧可縮放經編碼資料(BL)
1101‧‧‧廣播台
1102‧‧‧終端裝置
1111‧‧‧地面廣播
1122‧‧‧可縮放經編碼資料(EL)
1200‧‧‧影像拍攝系統
1202‧‧‧可縮放經編碼資料記憶體裝置
1211‧‧‧主題
1300‧‧‧視訊組
1311‧‧‧視訊模組
1312‧‧‧外部記憶體
1313‧‧‧電源管理模組
1314‧‧‧前端模組
1321‧‧‧連接性
1322‧‧‧照相機
1323‧‧‧感測器
1331‧‧‧應用處理器
1332‧‧‧視訊處理器
1333‧‧‧寬頻數據機
1334‧‧‧RF模組
1341‧‧‧點虛線
1351‧‧‧天線單元
1352‧‧‧濾波器
1353‧‧‧放大單元
1361‧‧‧視訊單元
1401‧‧‧視訊輸入處理單元
1402‧‧‧第一影像放大縮小單元
1403‧‧‧第二影像放大縮小單元
1404‧‧‧視訊輸出處理單元
1406‧‧‧記憶體控制單元
1406A‧‧‧存取管理表
1407‧‧‧編碼/解碼引擎
1408A、1408B‧‧‧視訊ES(基礎串流)緩衝器
1409A、1409B‧‧‧音訊ES緩衝器
1410‧‧‧音訊編碼器
1411‧‧‧音訊解碼器
1412‧‧‧多工單元(MUX(多工器))
1413‧‧‧解多工單元(DMUX(解多工器))
1414‧‧‧串流緩衝器
1512‧‧‧顯示介面
1513‧‧‧顯示引擎
1514‧‧‧影像處理引擎
1515‧‧‧內部記憶體
1516‧‧‧編碼解碼器引擎
1517‧‧‧記憶體介面
1518‧‧‧多工/解多工單元(MUX DMUX)
1519‧‧‧網路介面
1520‧‧‧視訊介面
1531‧‧‧主CPU
1532‧‧‧次-CPU
1533‧‧‧系統控制器
1541‧‧‧MPEG-2視訊
1542‧‧‧AVC/H.264
1543‧‧‧HEVC/H.265
1544‧‧‧HEVC/H.265(可縮放)
1545‧‧‧HEVC/H.265(多視域)
1551‧‧‧MPEG-DASH
[圖1]圖1係描繪應用本揭示發明之編碼裝置的實施例之組態範例的方塊圖。
[圖2]圖2係描繪SPS之語法範例的圖。
[圖3]圖3係描繪SPS之語法範例的圖。
[圖4]圖4係描繪PPS之語法範例的圖。
[圖5]圖5係描繪PPS之語法範例的圖。
[圖6]圖6係解釋設定縮放列表的圖。
[圖7]圖7係描繪圖1之編碼單元的組態範例的方塊圖。
[圖8]圖8係解釋CU的圖。
[圖9]圖9係描繪圖7之列表設定單元的組態範例的方塊圖。
[圖10]圖10係解釋串流產生處理的流程圖。
[圖11]圖11係解釋圖10的編碼處理之細節的流程圖。
[圖12]圖12係解釋圖10的編碼處理之細節的流程圖。
[圖13]圖13係解釋圖11的縮放列表決定處理之細節的流程圖。
[圖14]圖14係描繪應用本揭示發明之解碼裝置的實施例之組態範例的方塊圖。
[圖15]圖15係描繪圖14之解碼單元的組態範例的方塊圖。
[圖16]圖16係解釋藉由圖14的解碼裝置實施之影像產生處理的流程圖。
[圖17]圖17係解釋圖16的解碼處理之細節的流程圖。
[圖18]圖18係描繪電腦之硬體的組態範例的方塊圖。
[圖19]圖19係描繪多觀點影像編碼方法之範例的圖。
[圖20]圖20係描繪應用本揭示發明之多觀點影像編碼裝置的組態範例的圖。
[圖21]圖21係描繪應用本揭示發明之多觀點影像解碼裝置的組態範例的圖。
[圖22]圖22係描繪階層式影像編碼方法之範例的 圖。
[圖23]圖23係解釋可空間縮放編碼之範例的圖。
[圖24]圖24係解釋可時間縮放編碼之範例的圖。
[圖25]圖25係解釋訊號雜訊比的可縮放編碼之範例的圖。
[圖26]圖26係描繪應用本揭示發明之階層式影像編碼裝置的組態範例的圖。
[圖27]圖27係描繪應用本揭示發明之階層式影像解碼裝置的組態範例的圖。
[圖28]圖28係描繪應用本揭示發明之電視接收裝置的概要組態之範例的圖。
[圖29]圖29係描繪應用本揭示發明之行動電話的概要組態之範例的圖。
[圖30]圖30係描繪應用本揭示發明之記錄/再生裝置的概要組態之範例的圖。
[圖31]圖31係描繪應用本揭示發明之影像拍攝裝置的概要組態之範例的圖。
[圖32]圖32係描繪可縮放編碼用途之範例的方塊圖。
[圖33]圖33係描繪可縮放編碼用途之另一範例的方塊圖。
[圖34]圖34係描繪可縮放編碼用途之另一範例的方塊圖。
[圖35]圖35描繪應用本揭示發明之視訊組的概要組 態的範例。
[圖36]圖36描繪應用本揭示發明之視訊處理器的概要組態的範例。
[圖37]圖37描繪應用本揭示發明之視訊處理器的概要組態的另一範例。
<第一實施例>
(編碼裝置之實施例的組態範例)
圖1係描繪應用本揭示發明之編碼裝置的實施例之組態範例的方塊圖。
圖1的編碼裝置10包括設定單元11、編碼單元12、及傳輸單元13，並根據基於HEVC方法的方法編碼影像。
更具體地說，編碼裝置10的設定單元11設定包括指示TU的最小尺寸之最小TU尺寸資訊的SPS(循序參數集)，TU的最小尺寸係能根據使用者命令等實施變換略過之TU(正交變換區塊)的尺寸。設定單元11也接觸包括略過許可資訊的PPS(圖片參數集)，該略過許可資訊指示是否許可將變換略過施加至最小尺寸的TU。另外，設定單元11設定VUI(視訊可用性資訊)、及SEI(補充增強資訊)等。設定單元11以參數集，諸如，已設定之SPS、PPS、VUI、SE1，提供編碼單元12。
編碼單元12以框為單位接收影像。編碼單元12參考從設定單元11提供的參數集以根據基於HEVC方法的方法編碼經接收影像。編碼單元12從參數集及產生為編碼結果的經編碼資料產生經編碼串流，並提供經編碼串流至傳輸單元13。
傳輸單元13將從編碼單元12提供的經編碼串流傳輸至稍後解釋的解碼裝置。
(SPS的語法範例)
圖2及3係描繪SPS之語法範例的圖。
如圖2所示，將最小TU尺寸資訊(log2_min_transform_block_size_minus2)設定在SPS中。例如，當指示8乘8像素時，最小TU尺寸資訊係1。
將指示是否在量化期間使用縮放列表的縮放列表使用旗標(scaling_list_enabled_flag)設定在SPS中。當在量化期間使用縮放列表時，縮放列表使用旗標係1，且當在量化期間不使用縮放列表時，縮放列表使用旗標係0。
當縮放列表使用旗標係1時，將指示縮放列表是否包括在SPS中的SPS縮放列表旗標(sps_scaling_list_data_present_flag)設定在SPS中。當縮放列表包括在SPS中時，SPS縮放列表旗標係1。當縮放列表不包括在SPS中時，SPS縮放列表旗標係0。
當SPS縮放列表旗標係1時，將縮放列表 (scaling_list_data)設定在SPS中。
(PPS的語法範例)
圖4及5係描繪PPS之語法範例的圖。
如圖4所示，將略過許可資訊(transform_skip_enabled_flag)設定在PPS中。因此，能以圖片為單位控制變換略過對最小尺寸之TU的施加。當指示允許將變換略過施加至最小尺寸的TU時，略過許可資訊係1。當指示不允許將變換略過施加至最小尺寸的TU時，略過許可資訊係0。
如圖4所示，將指示縮放列表是否包括在PPS中的PPS縮放列表旗標(pps_scaling_list_data_present_flag)設定在PPS中。當縮放列表包括在PPS中時，PPS縮放列表旗標係1。當縮放列表不包括在PPS中時，PPS縮放列表旗標係0。
如圖5所示，當PPS縮放列表旗標係1時，將縮放列表(scaling_list_data)設定在PPS中。在以下解釋中，將設定在SPS及PPS中的縮放列表稱為設定縮放列表。
(與設定縮放列表有關的解釋)
圖6係解釋設定縮放列表的圖。
如圖6所示，在HEVC中，能將4乘4像素、8乘8像素、16乘16像素、及32乘32像素選擇為 TU的尺寸。因此，為各尺寸準備縮放列表。然而，用於大TU，諸如，16乘16像素及32乘32像素，的縮放列表的資料量甚高。編碼效率因為傳輸縮放列表而下降。
因此，如圖6所示，將用於大TU，例如，16乘16像素及32乘32像素，的縮放列表降取樣為設定在SPS及PPS中並傳輸為設定縮放列表的8乘8矩陣。然而，直流電組件大幅影響影像品質，且因此，其分開傳輸。
解碼裝置以零階保持昇取樣，因此傳輸其係8乘8矩陣的設定縮放列表，且因此，恢復用於大TU，諸如，16乘16像素及32乘32像素，的縮放列表。
(編碼單元的組態範例)
圖7係描繪圖1之編碼單元12的組態範例的方塊圖。
圖7的編碼單元12包括A/D轉換單元31、螢幕排序緩衝器32、計算單元33、正交變換單元34、量化單元35、無損編碼單元36、累積緩衝器37、反量化單元38、反正交變換單元39、及加法單元40。編碼單元12包括解塊濾波器41、適應偏移濾波器42、適應迴路濾波器43、框記憶體44、交換器45、內預測單元46、動作預測/補償單元47、預測影像選擇單元48、及速率控制單元49。另外，編碼單元12包括略過設定單元50及列表設定單元51。
編碼單元12的A/D轉換單元31將以框為單位接收為編碼目標的影像從類比轉換為數位。A/D轉換單元31將其係經轉換數位訊號的影像輸出至螢幕排序緩衝器32以將影像資料儲存於其中。
螢幕排序緩衝器32以經儲存顯示次序以框為單位將影像排序為用於根據GOP結構編碼之框的次序。螢幕排序緩衝器32將經排序影像輸出至計算單元33、內預測單元46、及動作預測/補償單元47。
計算單元33將從自螢幕排序緩衝器32提供的影像減去從預測影像選擇單元48提供的預測影像並編碼該影像。計算單元33將得到為結果的影像作為殘餘資訊(差)輸出至正交變換單元34。當預測影像未從預測影像選擇單元48提供時，計算單元33將讀自螢幕排序緩衝器32的影像依原狀作為殘餘資訊輸出至正交變換單元34。
正交變換單元34以TU為單位對由計算單元33提供的殘餘資訊實施正交變換。TU的尺寸可係4乘4像素、8乘8像素、16乘16像素、及32乘32像素。正交變換法的範例包括DCT(離散餘弦變換)。
當TU具有32乘32像素時，DCT之正交變換矩陣的左半部如下：
Figure 103134265-A0202-12-0015-1
DCT之正交變換矩陣的右半部如下。
Figure 103134265-A0202-12-0016-2
DCT在TU具有4乘4像素、8乘8像素、及16乘16像素時的正交變換矩陣係藉由將用於具有32乘32像素的TU之DCT的正交變換矩陣分別跳轉為1/8、1/4、1/2而得到。因此，可將正交變換單元34提供為用於TU之所有尺寸的共同計算單元，且不必對TU之每一尺寸提供計算單元。
當最佳預測模式係內預測模式，且TU具有4乘4像素時，將DST(離散餘弦變換)使用為正交變換法。以下列運算式(1)表示DST的正交變換矩陣H。
Figure 103134265-A0202-12-0017-3
如上文所述，當最佳預測模式係內預測模式且TU具有4乘4像素，亦即，當殘餘資訊隨影像更相似於其周圍的已編碼周邊影像而顯著減少時，則將DST使用為正交變換法，且因此編碼效率改善。
正交變換單元34在從略過設定單元50提供的最小TU尺寸資訊的基礎上決定是否能施加以TU為單位的變換略過。當決定能施加變換略過時，正交變換單元34在得到為正交變換之結果的正交變換係數的基礎上，計算實施正交變換之情形中的成本函數值及計算不實施正交變換之情形中的成本函數值。
當具有正交變換的成本函數值少於不具有正交變換的成本函數值時，正交變換單元34提供正交變換係數至量化單元35。然後，正交變換單元34將指示變換略過不存在的變換略過旗標提供至無損編碼單元36及反正交變換單元39。
另一方面，當不具有正交變換的成本函數值少於具有正交變換的成本函數值時，正交變換單元34實施變換略過，並將殘餘資訊提供至量化單元35。然後， 正交變換單元34將指示變換略過存在的變換略過旗標提供至無損編碼單元36及反正交變換單元39。
應注意不僅能將變換略過施加至亮度訊號，也能施加至色差訊號。變換略過能與最佳預測模式是否係內預測模式或中間預測模式無關地實施。
在決定不能施加變換略過或未提供最小TU尺寸資訊的情形中，正交變換單元34提供正交變換係數至量化單元35。
量化單元35使用從列表設定單元51提供的縮放列表以量化從正交變換單元34提供的殘餘資訊或正交變換係數。量化單元35將得到為量化結果的量化值提供至無損編碼單元36。
無損編碼單元36得到從正交變換單元34提供的量化值。無損編碼單元36從內預測單元46得到指示最佳內預側模式的資訊(在下文稱為內預測模式資訊)。無損編碼單元36從動作預測/補償單元47得到指示最佳中間預測模式(在下文稱為中間預測模式資訊)、動作向量、及用於識別基準影像之資訊等的資訊。
無損編碼單元36也從適應偏移濾波器42得到與偏移濾波有關的偏移濾波資訊，並從適應迴路濾波器43得到濾波係數。
無損編碼單元36在從量化單元35提供的量化值上實施無損編碼，諸如，可變長度編碼(例如，CAVLC(內容適應性可變長度編碼)等)及算術編碼(例 如，CABAC(內容適應性二進位算術編碼)等)。
無損編碼單元36實施無損編碼以將內預測模式資訊或中間預測模式資訊、動作向量、用於識別基準影像的資訊、變換略過旗標、偏移濾波資訊、及濾波係數等編碼為與編碼有關的經編碼資訊。無損編碼單元36將其經無損編碼的經編碼資訊、及量化值作為經編碼資料提供至累積緩衝器37以在其中累積資料。
應注意無損編碼經編碼資訊可係與無損編碼量化值有關的標頭資訊(例如，片標頭)。將變換略過旗標(transform_skip_flag)設定在，例如，殘餘編碼中。
累積緩衝器37暫時儲存從無損編碼單元36提供的經編碼資料。累積緩衝器37將經儲存經編碼資料以及從圖1之設定單元11提供的參數集作為經編碼串流提供至傳輸單元13。
也將從量化單元35輸出的量化值輸入至反量化單元38。反量化單元38使用從列表設定單元51提供的縮放列表根據對應於量化單元35之量化方法的方法在從量化單元35提供的量化值上實施反量化。反量化單元38將得到為反量化結果的殘餘資訊或正交變換係數提供至反正交變換單元39。
反正交變換單元39在從正交變換單元34提供之變換略過旗標的基礎上以TU為單位在從反量化單元38提供之正交變換係數上實施反正交變換。反正交變換之方法的範例包括IDCT(反離散餘弦變換)及IDST(反 離散正弦變換)。反正交變換單元39將得到為反正交變換結果的殘餘資訊或從反量化單元38提供的殘餘資訊提供至加法單元40。
加法單元40藉由將由反正交變換單元39提供的殘餘資訊及由預測影像選擇單元48提供的預測影像相加而實施解碼。加法單元40將經解碼影像提供至解塊濾波器41及框記憶體44。
解塊濾波器41實施適應性解塊濾波處理以從由加法單元40提供的經解碼影像移除區塊雜訊，並將得到為結果的影像提供至適應偏移濾波器42。
適應偏移濾波器42實施適應偏移濾波(SAO(取樣適應性偏移))處理以主要從已受解塊濾波器41之適應解塊濾波處理的影像移除振鈴。
更具體地說，適應偏移濾波器42決定用於其係最大編碼單位的各LCU(最大編碼單元)之適應偏移濾波處理的種類，並取得使用在適應偏移濾波處理中的偏移。適應偏移濾波器42使用經得到偏移以實施該經決定種類的適應偏移濾波處理以濾波已受適應解塊濾波處理的影像。
適應偏移濾波器42將已受適應偏移濾波處理的影像提供至適應迴路濾波器43。適應偏移濾波器42將指示已完成之適應偏移濾波處理的偏移及種類的資訊作為偏移濾波資訊提供至無損編碼單元36。
適應迴路濾波器43係由，例如，二維文納濾 波器(Wiener Filter)構成。例如，適應迴路濾波器43在已受適應偏移濾波處理並從適應偏移濾波器42提供的影像上對各LCU實施適應迴路濾波(ALF)處理。
更具體地說，適應迴路濾波器43對各LCU計算使用在適應迴路濾波處理中的濾波係數，以產生其係從螢幕排序緩衝器32輸出之影像的原始影像及已受適應迴路濾波處理的影像之間的最小殘餘。然後，適應迴路濾波器43使用經計算濾波係數以在已受適應偏移濾波處理的影像上對各LCU實施適應迴路濾波處理。
適應迴路濾波器43將已受適應迴路濾波處理的影像提供至框記憶體44。適應迴路濾波器43將用於適應迴路濾波處理的濾波係數提供至無損編碼單元36。
在此情形中，適應迴路濾波處理係對各LCU實施，但適應迴路濾波處理的處理單位並未受限於LCU。然而，藉由在適應偏移濾波器42及適應迴路濾波器43中使用相同處理單元，處理能有效率地完成。
框記憶體44累積由適應迴路濾波器43提供的影像及由加法單元40提供的影像。在累積在框記憶體44中且尚未受濾波處理的影像之中，經由交換器45將相鄰於PU(預測單元)的影像作為周邊影像提供至內預測單元46。另一方面，經由交換器45將已受濾波處理並累積在框記憶體44中的影像作為基準影像輸出至動作預測/補償單元47。
內預測單元46使用經由交換器45已從框記 憶體44讀取的周邊影像以PU為單位以作為候選的所有內預測模式實施內預測處理。
內預測單元46在從螢幕排序緩衝器32讀取的影像及產生為內預測處理結果之預測影像的基礎上對用作為候選的所有內預測模式計算成本函數值(其細節將於稍後解釋)。然後，內預測單元46將其成本函數值最小的內預測模式決定為最佳內預測模式。
內預測單元46將以最佳內預測模式產生的預測影像及對應的成本函數值提供至預測影像選擇單元48。當預測影像選擇單元48通知選擇以最佳內預測模式產生的預測影像時，內預測單元46將內預測模式資訊提供至無損編碼單元36。
應注意成本函數值也稱為RD(信號率失真)成本，並根據如在H.264/AVC方法中係基準軟體的JM(聯合模型)中所界定地實作之高複雜模式或低複雜模式的方法計算。應注意H.264/AVC方法的基準軟體揭示在http：//iphome.hhi.de/suehring/tml/index.htm中。
更具體地說，當將高複雜模式使用為用於計算成本函數值的方法時，對所有候選預測模式暫時實施至解碼，並對各預測模式計算由下列運算式(2)所表示的成本函數值。
[數學方程式4]Cost(Mode)=D+λ．R．．．(2)
在此情形中，D代表原始影像及經解碼影像之間的差(雜訊)。R代表所產生之包括多達正交變換之係數的碼量。λ係給定為量化參數QP之函數的拉格朗未定乘數。
另一方面，當將低複雜模式使用為用於計算成本函數值的方法時，產生預測影像並針對所有候選預測模式計算經編碼資訊的碼量，並對各預測模式計算藉由下列運算式(3)表示的成本函數。
[數學方程式5]Cost(Mode)=D+QPtoQuant(QP)．Header_Bit．．．(3)
在此情形中，D代表原始影像及經解碼影像之間的差(雜訊)。Header_Bit代表經編碼資訊的碼量。QPtoQuant代表給定為量化參數QP之函數的函數。
在低複雜模式中，僅有預測影像可用所有預側模式產生，且不必產生經解碼影像。因此，相較於高複雜模式，低複雜模式能用較低的計算量實現。
動作預測/補償單元47以PU為單位實施用作為候選之所有中間預測模式的動作預測/補償處理。更具體地說，動作預測/補償單元47在從螢幕排序緩衝器32 提供之影像及經由交換器45從框記憶體44讀取之基準影像的基礎上以PU為單位偵測用作為候選之所有中間預測模式的動作向量。然後，動作預測/補償單元47在動作向量的基礎上以PU為單位在基準影像上實施補償處理，並產生預測影像。
在此之際，動作預測/補償單元47在預測影像及從螢幕排序緩衝器32提供之影像的基礎上對用作為候選的所有中間預測模式計算成本函數值，並將成本函數值最小之中間預測模式決定為最佳中間預測模式。然後，動作預測/補償單元47將最佳中間預測模式的成本函數值及對應預測影像提供至預測影像選擇單元48。當預測影像選擇單元48通知選擇以最佳中間預測模式產生的預測影像時，動作預測/補償單元47將中間預測模式資訊、對應動作向量、及用於識別基準影像的資訊等輸出至無損編碼單元36。
在從內預測單元46及動作預測/補償單元47提供之成本函數值的基礎上，預測影像選擇單元48決定最佳內預測模式及最佳中間預測模式之其對應成本函數值較小的一者係最佳預測模式。然後，預測影像選擇單元48將最佳預測模式的預測影像提供至計算單元33及加法單元40。預測影像選擇單元48將最佳預測模式之預測影像的選擇通知內預測單元46或動作預測/補償單元47。
速率控制單元49在累積在累積緩衝器37中的經編碼資料之碼量的基礎上控制量化單元35之量化操 作的速率以不導致過溢及下溢。
略過設定單元50在包括在從圖1之設定單元11提供的PPS中之略過許可資訊的基礎上將包括在從設定單元11提供的SPS中的最小TU尺寸資訊提供至正交變換單元34及列表設定單元51。
列表設定單元51在從略過設定單元50提供之最小TU尺寸資訊的基礎上將由最小TU尺寸資訊指示的最小尺寸及具有4乘4像素的TU之縮放列表的預設值(在下文稱為預設縮放列表)設定為平坦矩陣。在此情形中，將TU的最小尺寸視為與4乘4像素不同，但若TU的最小尺寸係4乘4像素，僅使具有4乘4像素之TU的預設縮放列表成為平坦矩陣。列表設定單元51也將平坦矩陣以外的矩陣設定為其尺寸大於由最小TU尺寸資訊所指示的最小尺寸之TU的預設縮放列表。
列表設定單元51得到用於包括在從設定單元11提供之SPS及PPS中的TU之各尺寸的設定縮放列表。在SPS的基礎上，列表設定單元51將用於TU之各尺寸的預設縮放列表、設定縮放列表、或其係平坦矩陣的縮放列表(在下文中稱為平坦縮放列表)供應至量化單元35及反量化單元38。
如上文所述，列表設定單元51將平坦矩陣設定為TU之最小尺寸的預設縮放列表，該最小尺寸係在變換略過係可能時的TU的尺寸。因此，此能防止使用平坦矩陣以外的縮放列表將實施變換略過時之TU的殘餘資訊 量化。更具體地說，此防止頻域中的加權係數在像素域中將殘餘資訊量化的期間使用。
(與編碼單元有關的解釋)
圖8係用於解釋其係根據HEVC方法之編碼單位的編碼單位(CU)的圖。
HEVC方法的目標針對大影像框的影像，諸如，具有4000像素乘2000像素的UHD(超高解析度)，且因此，將編碼單位的尺寸固定在16像素乘16像素並不係最好的。因此，在HEVC方法中，將CU界定為編碼單位。
CU扮演與AVC方法中的巨集區塊相同的角色。更具體地說，將CU分割為PU並分割為TU。
然而，CU的尺寸係藉由依據序列可變之二的指數的像素所指示的平方。更具體地說，CU係藉由在水平方向及垂直方向上以任何次數分割為二塊使得其係最大尺寸之CU的LCU不變為少於其係最小尺寸之CU的SCU(最小編碼單位)而設定。更具體地說，當將階層產生為使得較高階的尺寸係較低階的1/4直到LCU變為SCU時，階層的任何給定級的尺寸均係CU的尺寸。
例如，在圖8中，LCU的尺寸係128，且SCU的尺寸係8。因此，LCU的階層深度為0至4，階層深度數係5。更具體地說，對應於CU的分割數係0至4的任一者。
應注意指定LCU及SCU之尺寸的資訊包括在SPS中。另一方面，對應於CU的分割數係藉由在階層的每一級中之指示是否更產生分割的分裂旗標指定。CU的細節描述於NPL 1中。
與CU的分裂旗標相似，TU的尺寸可使用分裂變換旗標指定。在SPS中將TU在中間預測及內預測中的最大分割數分別指定為max_transform_hierarchy_depth_inter及max_transform_hierarchy_depth_intra。
在此說明書中，將CTU(編碼樹單位)視為係包括LCU之CTB(編碼樹區塊)的單位及當處理在LCU基底(級)中完成時所使用的參數。將構成CTU的CU視為係包括CB(編碼區塊)的單位及當處理在CU基底(級)中完成時所使用的參數。
(列表設定單元51的組態範例)
圖9係描繪圖7之列表設定單元51的組態範例的方塊圖。
如圖9所示，略過設定單元50得到包括在從圖1之設定單元11提供之PPS中的略過許可資訊及包括在SPS中的最小TU尺寸資訊。在略過許可資訊係1的情形中，略過設定單元50將最小TU尺寸資訊提供至圖7的正交變換單元34及列表設定單元51。
如圖9所示，列表設定單元51係由預設設定單元71、平坦設定單元72、及列表得到單元73構成。
預設設定單元71在從略過設定單元50提供之最小TU尺寸資訊的基礎上將由最小TU尺寸資訊指示的最小尺寸及4乘4像素的預設縮放列表設定成平坦矩陣。預設設定單元71將大於由最小TU尺寸資訊指示的最小尺寸之尺寸的預設縮放列表設定為平坦矩陣以外的矩陣。
預設設定單元71在包括在從設定單元11提供之PPS中的PPS縮放列表旗標或包括在SPS中的SPS縮放列表旗標的基礎上將用於TU之各尺寸的預設縮放列表提供至圖7的量化單元35及反量化單元38。
平坦設定單元72保持用於TU之各尺寸的平坦縮放列表。平坦設定單元72在包括在從設定單元11提供之SPS中的縮放列表使用旗標的基礎上將用於TU之各尺寸的預設縮放列表提供至量化單元35及反量化單元38。
列表得到單元73得到用於包括在從設定單元11提供之SPS及PPS中的TU之各尺寸的設定縮放列表。列表得到單元73將TU之尺寸係4乘4像素或8乘8像素的設定縮放列表依原狀提供至量化單元35及反量化單元38。列表得到單元73在TU的尺寸係16乘16像素或32乘32像素時昇取樣8乘8像素的設定縮放列表、產生用於16乘16像素或32乘32像素的縮放列表、並將該縮放列表提供至量化單元35及反量化單元38。
(與編碼裝置之處理有關的解釋)
圖10係用於解釋由圖1之編碼裝置10實施的串流產生處理的流程圖。
在圖10的步驟S11中，編碼裝置10的設定單元11設定參數集。設定單元11將已設定的參數集提供至編碼單元12。
在步驟S12中，編碼單元12根據基於HEVC方法的方法實施用於編碼從外側輸入之以框為單位的影像的編碼處理。此編碼處理的細節將於稍後參考稍後解釋的圖11及12解釋。
在步驟S13中，編碼單元12的累積緩衝器37(圖7)從累積於其中的經編碼資料及從設定單元11提供的參數集產生經編碼串流，並將經編碼串流提供至傳輸單元13。
在步驟S14中，傳輸單元13將從設定單元11提供的經編碼串流提供至稍後解釋的解碼裝置，並終止該處理。
圖11及12係用於解釋圖10之步驟S12的編碼處理之細節的流程圖。
在圖11的步驟S30中，編碼單元12(圖7)實施用於決定用於TU之各尺寸的縮放列表的縮放列表決定處理。縮放列表決定處理的細節將參考於稍後解釋之圖13解釋。
在步驟S31中，A/D轉換單元31實施A/D轉 換以轉換接收為編碼目標之以框為單位的影像。A/D轉換單元31將其係經轉換數位訊號的影像輸出至螢幕排序緩衝器32以將影像儲存於其中。
在步驟S32中，螢幕排序緩衝器32以經儲存顯示次序將框的影像排序為用於根據GOP結構編碼之框的次序。螢幕排序緩衝器32將其框次序已經排序的影像提供至計算單元33、內預測單元46、及動作預測/補償單元47。
在步驟S33中，內預測單元46以PU為單位以所有候選內預測模式實施內預測處理。內預測單元46在已從螢幕排序緩衝器32讀取之影像及產生為內預測處理結果之預測影像的基礎上對所有候選內預測模式計算成本函數值。然後，內預測單元46決定其成本函數值最小的內預測模式係最佳內預測模式。內預測單元46將以最佳內預測模式產生的預測影像及對應的成本函數值提供至預測影像選擇單元48。
動作預測/補償單元47以PU為單位以作為候選之所有中間預測模式實施動作預測/補償處理。動作預測/補償單元47在預測影像及從螢幕排序緩衝器32提供之影像的基礎上對用作為候選的所有中間預測模式計算成本函數值，並決定成本函數值最小的中間預測模式係最佳中間預測模式。然後，動作預測/補償單元47將最佳中間預測模式的成本函數值及對應預測影像提供至預測影像選擇單元48。
在步驟S34中，預測影像選擇單元48在藉由步驟S33中的處理從動作預測/補償單元47及內預測單元46提供之成本函數值的基礎上決定最佳內預測模式及最佳中間預測模式之成本函數值最小的一者係最佳預測模式。然後，預測影像選擇單元48將最佳預測模式的預測影像提供至計算單元33及加法單元40。
在步驟S35中，預測影像選擇單元48決定最佳預測模式是否係最佳中間預測模式。當在步驟S35中決定最佳預測模式係最佳中間預測模式時，預測影像選擇單元48將選擇以最佳中間預測模式產生預測影像通知動作預測/補償單元47。
然後，在步驟S36中，動作預測/補償單元47將中間預測模式資訊、動作向量、及用於識別基準影像的資訊提供至無損編碼單元36，且於隨後實施步驟S38中的處理。
另一方面，當在步驟S35中決定最佳預測模式不係最佳中間預測模式時，且更具體地說，當決定最佳預測模式係最佳內預測模式時，則預測影像選擇單元48將選擇以最佳內預測模式產生預測影像通知內預測單元46。然後，在步驟S37中，內預測單元46將內預測模式資訊提供至無損編碼單元36，並於隨後實施步驟S38中的處理。
在步驟S38中，計算單元33藉由從螢幕排序緩衝器32提供的影像減去從預測影像選擇單元48提供的 預測影像而實施編碼。計算單元33將得到為結果的影像作為殘餘資訊輸出至正交變換單元34。
在步驟S39中，正交變換單元34以TU為單位在由計算單元33提供的殘餘資訊上實施正交變換。
在步驟S40中，正交變換單元34決定最小TU尺寸資訊是否在步驟S30中的縮放列表決定處理中從略過設定單元50提供。
當在步驟S40中決定最小TU尺寸資訊係從略過設定單元50提供時，且更具體地說，當略過許可資訊係1時，於隨後實施步驟S41中的處理。在步驟S41中，正交變換單元34在最小TU尺寸資訊的基礎上以TU為單位決定是否能施加變換略過。
更具體地說，當決定TU的尺寸係由最小TU尺寸資訊所指示的最小尺寸時，正交變換單元34以TU為單位決定能實施變換略過。另一方面，當決定TU的尺寸不係由最小TU尺寸資訊所指示的最小尺寸時，正交變換單元34決定不能施加變換略過。
當在步驟S41中決定能施加變換略過時，正交變換單元34在得到為正交變換結果之正交變換係數的基礎上以TU為單位計算當實施正交變換時的成本函數值及不實施正交變換時的成本函數值。然後，在步驟S42中，正交變換單元34以TU為單位決定是否實施變換略過。
更具體地說，在不實施正交變換時的成本函 數值少於實施正交變換時的成本函數值的情形中，然後正交變換單元34決定實施變換略過。另一方面，在實施正交變換時的成本函數值少於不實施正交變換時的成本函數值的情形中，正交變換單元34決定不實施正交變換。
當在步驟S42中決定實施變換略過時，在步驟S43中，正交變換單元34以TU為單位將由計算單元33提供的殘餘資訊提供至量化單元35。正交變換單元34也以TU為單位將指示變換略過存在的變換略過旗標提供至無損編碼單元36及反正交變換單元39。然後，於隨後實施步驟S45中的處理。
另一方面，當在步驟S40中決定最小TU尺寸資訊不係從略過設定單元50提供時，且更具體地說，當略過許可資訊係0時，則於隨後實施步驟S44中的處理。當在步驟S41中決定不能施加變換略過時，於隨後實施步驟S44中的處理。另外，當在步驟S42中決定不實施變換略過時，於隨後實施步驟S44中的處理。
在步驟S44中，正交變換單元34以TU為單位將正交變換係數輸出至量化單元35。正交變換單元34以TU為單位將指示變換略過不存在的變換略過旗標提供至無損編碼單元36及反正交變換單元39。然後，於隨後實施步驟S45中的處理。
在步驟S45中，量化單元35使用從列表設定單元51提供之用於TU之各尺寸的縮放列表以TU為單位將殘餘資訊或由正交變換單元34提供的正交變換係數量 化。量化單元35將得到為量化結果的量化值提供至無損編碼單元36及反量化單元38。
在圖12的步驟S46中，反量化單元38使用由列表設定單元51提供之用於TU之各尺寸的縮放列表以TU為單位將由量化單元35提供的量化值反量化。反量化單元38將得到為反量化結果的殘餘資訊或正交變換係數提供至反正交變換單元39。
在步驟S47中，反正交變換單元39在從正交變換單元34提供之變換略過旗標的基礎上以TU為單位決定是否實施變換略過。
當變換略過旗標指示變換略過不存在或變換略過旗標不由正交變換單元34提供時，在步驟S47中決定不實施變換略過。然後，於隨後實施步驟S48中的處理。
在步驟S48中，反正交變換單元39以TU為單位在由反量化單元38提供的正交變換係數上實施反正交變換。反正交變換單元39將得到為結果的殘餘資訊提供至加法單元40，並於隨後實施步驟S49中的處理。
另一方面，當變換略過旗標指示變換略過的存在時，在步驟S47中決定實施變換略過。然後，反正交變換單元39將由反量化單元38提供的殘餘資訊提供至加法單元40，並於隨後實施步驟S49中的處理。
在步驟S49中，加法單元40藉由將由反正交變換單元39提供的殘餘資訊及由預測影像選擇單元48提 供的預測影像相加而實施解碼。加法單元40將經解碼影像提供至解塊濾波器41及框記憶體44。
在步驟S50中，解塊濾波器41在從加法單元40提供的經解碼影像上實施解塊濾波處理。解塊濾波器41將得到為結果的影像提供至適應偏移濾波器42。
在步驟S51中，適應偏移濾波器42在從解塊濾波器41提供的影像上對各LCU實施適應偏移濾波處理。適應偏移濾波器42將得到為結果的影像提供至適應迴路濾波器43。適應偏移濾波器42將用於各LCU之偏移濾波資訊提供至無損編碼單元36。
在步驟S52中，適應迴路濾波器43在從適應偏移濾波器42提供的影像上對各LCU實施適應迴路濾波處理。適應迴路濾波器43將得到為結果的影像提供至適應框記憶體44。適應迴路濾波器43將使用在適應迴路濾波處理中的濾波係數提供至無損編碼單元36。
在步驟S53中，框記憶體44累積由適應迴路濾波器43提供的影像及由加法單元40提供的影像。經由交換器45將累積在框記憶體44中尚未受濾波處理並相鄰於PU的影像作為周邊影像提供至內預測單元46。另一方面，經由交換器45將累積在框記憶體44中已受濾波處理的影像作為基準影像輸出至動作預測/補償單元47。
在步驟S54中，無損編碼單元36實施無損編碼以將內預測模式資訊或中間預測模式資訊、動作向量、用於識別基準影像的資訊、變換略過旗標、偏移濾波資 訊、及濾波係數等編碼為經編碼資訊。
在步驟S55中，無損編碼單元36實施無損編碼以編碼從量化單元35提供的量化值。然後，無損編碼單元36從無損編碼量化值及在步驟S54之處理中的無損編碼經編碼資訊產生經編碼資料，並將該經編碼資料提供至累積緩衝器37。
在步驟S56中，累積緩衝器37暫時累積從無損編碼單元36提供的經編碼資料。
在步驟S57中，速率控制單元49在累積在累積緩衝器37中之經編碼資料的基礎上控制量化單元35之量化操作的速率以不導致過溢及下溢。然後，隨後實施圖10之步驟S12中的處理，然後實施步驟S13中的處理。
在圖11及12的編碼處理中，為簡化解釋，一直實施內預測處理及動作預測/補償處理，但在現實中，依據圖片種類等，可僅實施內預測處理及動作預測/補償處理的任何一者。
圖13係解釋圖11之步驟S30中的縮放列表決定處理之細節的流程圖。
在圖13的步驟S71中，略過設定單元50(圖9)決定包括在從圖1之設定單元11提供之PPS中的略過許可資訊是否為1。當在步驟S71中決定略過許可資訊係1時，在步驟S72中，略過設定單元50將包括在從設定單元11提供之SPS中的最小TU尺寸資訊提供至正交變換單元34及列表設定單元51。
在步驟S73中，列表設定單元51的預設設定單元71在從略過設定單元50提供之最小TU尺寸資訊的基礎上設定用於TU之各尺寸的預設縮放列表。然後，於隨後實施步驟S75中的處理。
另一方面，當在步驟S71中決定略過許可資訊係0時，在步驟S74中，預設設定單元71設定用於TU之各尺寸的預設縮放列表。
更具體地說，預設設定單元71將平坦矩陣設定為用於具有4乘4像素之TU的預設縮放列表。預設設定單元71將平坦矩陣以外的矩陣設定為大於4乘4像素之尺寸的TU的預設縮放列表。然後，於隨後實施步驟S75中的處理。
在步驟S75中，列表得到單元73決定包括在從設定單元11提供之SPS中的縮放列表使用旗標是否係1。當在步驟S75中決定縮放列表使用旗標係1時，於隨後實施步驟S76中的處理。
在步驟S76中，列表得到單元73決定包括在從設定單元11提供之SPS中的SPS縮放列表旗標或包括在PPS中之PPS縮放列表旗標是否係1。
當在步驟S76中決定SPS縮放列表旗標或PPS縮放列表旗標係1時，於隨後實施步驟S77中的處理。在步驟S77中，列表得到單元73得到包括在SPS或PPS中之用於TU的各尺寸的設定縮放列表。
列表得到單元73將TU之尺寸係4乘4像素 或8乘8像素的設定縮放列表依原狀提供至量化單元35及反量化單元38。列表得到單元73在TU的尺寸係16乘16像素或32乘32像素時昇取樣8乘8像素的設定縮放列表、產生用於16乘16像素或32乘32像素的縮放列表、並將該縮放列表提供至量化單元35及反量化單元38。然後，隨後實施圖11之步驟S30中的處理，然後實施步驟S31中的處理。
另一方面，當在步驟S76中決定SPS縮放列表旗標及PPS縮放列表旗標均不係1時，於隨後實施步驟S78中的處理。在步驟S78中，預設設定單元71將用於TU之各尺寸的預設縮放列表提供至量化單元35及反量化單元38。然後，隨後實施圖11之步驟S30中的處理，然後實施步驟S31中的處理。
當在步驟S75中決定縮放列表使用旗標不係1時，於隨後實施步驟S79中的處理。在步驟S79中，平坦設定單元72將用於TU之各尺寸的經儲存平坦縮放列表提供至量化單元35及反量化單元38。然後，隨後實施圖11之步驟S30中的處理，然後實施步驟S31中的處理。
如上文所述，編碼裝置10將該平坦矩陣設定為用於TU之最小尺寸的預設縮放列表，該最小尺寸係能實施變換略過之與4乘4像素不同的尺寸。因此，甚至當變換略過在具有4乘4像素以外之尺寸的TU上實施時，此能在像素域中實施變換略過量化TU的期間防止使用平坦矩陣以外之頻域中的縮放列表。結果，可改善編碼效 率。
(解碼裝置之實施例的組態範例)
圖14係描繪應用本揭示發明之解碼裝置的實施例之組態範例的方塊圖，其中該解碼裝置組態成解碼從圖1之編碼裝置10傳輸的經編碼串流。
圖14的解碼裝置110包括接收單元111、擷取單元112、及解碼單元113。
解碼裝置110的接收單元111接收從圖1之編碼裝置10傳輸的經編碼串流，並將該經編碼串流提供至擷取單元112。
擷取單元112從接收單元111提供之經編碼串流擷取參數集及經編碼資料，並提供該參數集及經編碼資料至解碼單元113。
解碼單元113根據基於HEVC方法的方法解碼從擷取單元112提供的經編碼資料。在此之際，依需要，解碼單元113也參考從擷取單元112提供的參數集。解碼單元113將得到為解碼結果的影像輸出。
(解碼單元的組態範例)
圖15係描繪圖14之解碼單元113的組態範例的方塊圖。
圖15的解碼單元113包括累積緩衝器131、無損解碼單元132、反量化單元133、反正交變換單元 134、加法單元135、解塊濾波器136、適應偏移濾波器137、適應迴路濾波器138、及螢幕排序緩衝器139。解碼單元113也包括D/A轉換單元140、框記憶體141、交換器142、內預測單元143、動作補償單元144、交換器145、略過設定單元146、及列表設定單元147。
解碼單元113的累積緩衝器131從圖14的擷取單元112接收經編碼資料，並累積該經編碼資料。累積緩衝器131將經累積經編碼資料提供至無損解碼單元132。
無損解碼單元132在來自累積緩衝器131的經編碼資料上實施無損解碼，諸如，可變長度解碼及算術解碼，因此得到量化值及經編碼資訊。無損解碼單元132將量化值提供至反量化單元133。無損解碼單元132將其係經編碼資訊的內預測模式資訊等提供至內預測單元143。無損解碼單元132將動作向量、中間預測模式資訊、及用於識別基準影像的資訊等提供至動作補償單元144。
另外，無損解碼單元132將其係經編碼資訊的內預測模式資訊或中間預測模式資訊提供至交換器145。無損解碼單元132將其係經編碼資訊的偏移濾波資訊提供至適應偏移濾波器137。無損解碼單元132將其係經編碼資訊的濾波係數提供至適應迴路濾波器138。
無損解碼單元132將其係經編碼資訊的變換略過旗標提供至反正交變換單元134。
反量化單元133、反正交變換單元134、加法單元135、解塊濾波器136、適應偏移濾波器137、適應迴路濾波器138、框記憶體141、交換器142、內預測單元143、動作補償單元144、略過設定單元146、及列表設定單元147分別實施與圖7中之反量化單元38、反正交變換單元39、加法單元40、解塊濾波器41、適應偏移濾波器42、適應迴路濾波器43、框記憶體44、交換器45、內預測單元46、動作預測/補償單元47、略過設定單元50、及列表設定單元51相同的處理，因此解碼該影像。
更具體地說，反量化單元133使用從列表設定單元147提供的縮放列表根據對應於圖7的量化單元35之量化方法的方法在從無損解碼單元132提供的量化值上實施反量化。反量化單元133將得到為反量化結果的殘餘資訊或正交變換係數提供至反正交變換單元134。
反正交變換單元134在從無損解碼單元132提供之變換略過旗標的基礎上以TU為單位在從反量化單元133提供之正交變換係數上實施反正交變換。反正交變換單元134將得到為反正交變換結果的殘餘資訊或從反量化單元133提供的殘餘資訊提供至加法單元135。
加法單元135藉由將由反正交變換單元134提供的殘餘資訊及由交換器145提供的預測影像相加而實施解碼。加法單元135將經解碼影像提供至解塊濾波器136及框記憶體141。
解塊濾波器136在由加法單元135提供的影像上實施適應性解塊濾波處理，並將得到為結果的影像提供至適應偏移濾波器137。
適應偏移濾波器137使用由無損解碼單元132給定之偏移濾波資訊指示的偏移以對各LCU實施由偏移濾波資訊所指示之該種類的適應偏移濾波處理以濾波已受適應解塊濾波處理的影像。適應偏移濾波器137將已受適應偏移濾波處理的影像提供至適應迴路濾波器138。
適應迴路濾波器138使用由無損解碼單元132提供的濾波係數以在由適應偏移濾波器137提供的影像上對各LCU實施適應迴路濾波處理。適應迴路濾波器138將得到為結果的影像提供至框記憶體141及螢幕排序緩衝器139。
螢幕排序緩衝器139以框為單位儲存從適應迴路濾波器138提供的影像。螢幕排序緩衝器139以經儲存編碼次序以框為單位將影像排序為原始顯示次序，並提供經排序影像至D/A轉換單元140。
D/A轉換單元140將從螢幕排序緩衝器139提供之以框為單位的影像從數位轉換為類比並輸出該經轉換影像。
框記憶體141累積由適應迴路濾波器138提供的影像及由加法單元135提供的影像。在累積在框記憶體141中且尚未受濾波處理的影像之中，經由交換器142將相鄰於PU(預測單元)的影像作為周邊影像提供至內 預測單元143。另一方面，經由交換器142將已受濾波處理並累積在框記憶體141中的影像作為基準影像輸出至動作補償單元144。
內預測單元143使用已經由交換器142從框記憶體141讀取的周邊影像而以從無損解碼單元132提供之內預測模式資訊所指示的最佳內預測模式實施內預測處理。內預測單元143將產生為結果的預測影像提供至交換器145。
動作補償單元144經由交換器142從框記憶體141讀取由用於識別從無損解碼單元132提供之基準影像的資訊識別的基準影像。動作補償單元144使用基準影像及從無損解碼單元132提供的動作向量而以從無損解碼單元132提供之中間預測模式資訊指示的最佳中間預測模式實施動作補償處理。動作補償單元144將產生為結果的預測影像提供至交換器145。
當內預測模式資訊從無損解碼單元132提供時，交換器145將從內預測單元143提供的預測影像提供至加法單元135。另一方面，當中間預測模式資訊從無損解碼單元132提供時，交換器145將從動作補償單元144提供的預測影像提供至加法單元135。
略過設定單元146在包括在從圖14之擷取單元112提供的PPS中之略過許可資訊的基礎上將包括在從擷取單元112提供之SPS中的最小TU尺寸資訊提供至列表設定單元147。
列表設定單元147以與圖9之列表設定單元51相同的方式組態。列表設定單元147在從略過設定單元146提供之最小TU尺寸資訊的基礎上將平坦矩陣設定為具有4乘4像素及由最小TU尺寸資訊指示的最小尺寸之TU的預設縮放列表。列表設定單元147將平坦矩陣以外的矩陣設定為尺寸大於由最小TU尺寸資訊所指示的最小尺寸之TU的預設縮放列表。
列表設定單元147得到包括在從擷取單元112提供之SPS及PPS中的TU之各尺寸的設定縮放列表。列表設定單元147在SPS的基礎上將用於TU之各尺寸的預設縮放列表、設定縮放列表、及平坦縮放列表提供至反量化單元133。
(與解碼裝置之處理有關的解釋)
圖16係用於解釋由圖14之解碼裝置110實施的影像產生處理的流程圖。
在圖16的步驟S111中，解碼裝置110的接收單元111接收從圖1之編碼裝置10傳輸的經編碼串流，並將該經編碼串流提供至擷取單元112。
在步驟S112中，擷取單元112從接收單元111提供的經編碼串流擷取經編碼資料及參數集，並將經編碼資料及參數集提供至解碼單元113。
在步驟S113中，依需要，解碼單元113使用從擷取單元112提供的參數集根據基於HEVC方法的方法 實施用於解碼從擷取單元112提供之經編碼資料的解碼處理。此解碼處理的細節將參考於稍後解釋之圖17解釋。然後，處理終止。
圖17係解釋圖16步驟之S113中的解碼處理之細節的流程圖。
在圖17的步驟S131中，解碼單元113(圖15)實施與圖13相同的縮放列表決定處理。然而，僅將縮放列表提供至反量化單元133。
在步驟S132中，累積緩衝器131從圖14的擷取單元112接收以框為單位的經編碼資料，並累積經編碼資料。累積緩衝器131將經累積經編碼資料提供至無損解碼單元132。
在步驟S133中，無損解碼單元132實施無損解碼以解碼由累積緩衝器131給予的經編碼資料，並得到量化值及經編碼資訊。無損解碼單元132將量化值提供至反量化單元133。無損解碼單元132將其係經編碼資訊的變換略過旗標提供至反正交變換單元134。
無損解碼單元132將其係經編碼資訊的內預測模式資訊等提供至內預測單元143。無損解碼單元132將動作向量、中間預測模式資訊、及用於識別基準影像的資訊等提供至動作補償單元144。
另外，無損解碼單元132將其係經編碼資訊的內預測模式資訊或中間預測模式資訊提供至交換器145。無損解碼單元132將其係經編碼資訊的偏移濾波資 訊提供至適應偏移濾波器137。無損解碼單元132將濾波係數提供至適應迴路濾波器138。
在步驟S134中，反量化單元133使用用於從列表設定單元147提供之TU的各尺寸的縮放列表以TU為單位將由無損解碼單元132給予的經量化值反量化。反量化單元133將得到為結果的殘餘資訊或正交變換係數提供至反正交變換單元134。
在步驟S135中，反正交變換單元134在從無損解碼單元132提供之變換略過旗標的基礎上以TU為單位決定是否實施變換略過。
當變換略過旗標指示變換略過不存在或變換略過旗標不由無損解碼單元132提供時，在步驟S135中決定不實施變換略過。然後，於隨後實施步驟S136中的處理。
在步驟S136中，反正交變換單元134以TU為單位在由反量化單元133提供的正交變換係數上實施反正交變換。反正交變換單元134將得到為結果的殘餘資訊提供至加法單元135，並於隨後實施步驟S137中的處理。
另一方面，當變換略過旗標指示變換略過的存在時，在步驟S135中決定實施變換略過。然後，反正交變換單元134將由反量化單元133提供的殘餘資訊提供至加法單元135，並於隨後實施步驟S137中的處理。
在步驟S137中，動作補償單元144決定中間 預測模式資訊是否從無損解碼單元132提供。當在步驟S137中決定提供中間預測模式資訊時，於隨後實施步驟S138中的處理。
在步驟S138中，動作補償單元144在從無損解碼單元132提供之基準影像識別資訊的基礎上讀取基準影像，並使用動作向量及基準影像而以由中間預測模式資訊指示的最佳中間預測模式實施動作補償處理。動作補償單元144經由交換器145將產生為結果的預測影像提供至加法單元135，並於隨後實施步驟S140中的處理。
另一方面，當在步驟S137中決定不提供中間預測模式資訊時，且更具體地說，當將內預測模式資訊提供至內預測單元143時，於隨後實施步驟S139中的處理。
在步驟S139中，內預測單元143使用經由交換器142從框記憶體141讀取的周邊影像而以由內預測模式資訊指示的內預測模式實施內預測處理。內預測單元143經由交換器145將產生為內預測處理結果的預測影像提供至加法單元135，並於隨後實施步驟S140中的處理。
在步驟S140中，加法單元135藉由將由反正交變換單元134提供的殘餘資訊及由交換器145提供的預測影像相加而實施解碼。加法單元135將經解碼影像提供至解塊濾波器136及框記憶體141。
在步驟S141中，解塊濾波器136在從加法單 元135提供的影像上實施解塊濾波處理，因此移除塊雜訊。解塊濾波器136將得到為結果的影像提供至適應偏移濾波器137。
在步驟S142中，適應偏移濾波器137在從無損解碼單元132提供之偏移濾波資訊的基礎上在已藉由解塊濾波器136受解塊濾波處理的影像上對各LCU實施適應偏移濾波處理，且適應偏移濾波器137將已受適應偏移濾波處理的影像提供至適應迴路濾波器138。
在步驟S143中，適應迴路濾波器138使用由無損解碼單元132提供的濾波係數以在由適應偏移濾波器137提供的影像上對各LCU實施適應迴路濾波處理。適應迴路濾波器138將得到為結果的影像提供至框記憶體141及螢幕排序緩衝器139。
在步驟S144中，框記憶體141累積由加法單元135提供的影像及由適應迴路濾波器138提供的影像。在累積在框記憶體141中且尚未受濾波處理的影像之中，經由交換器142將相鄰於PU(預測單元)的影像作為周邊影像提供至內預測單元143。另一方面，經由交換器142將已受濾波處理並累積在框記憶體141中的影像作為基準影像提供至動作補償單元144。
在步驟S145中，螢幕排序緩衝器139以框為單位儲存從適應迴路濾波器138提供的影像，並以經儲存編碼次序以框為單位將影像排序為原始顯示次序，並將經排序影像提供至D/A轉換單元140。
在步驟S146中，D/A轉換單元140將從螢幕排序緩衝器139提供之以框為單位的影像從數位轉換為類比並輸出該經轉換影像。然後，隨後實施圖16之步驟S113中的處理，然後終止該處理。
如上文所述，與編碼裝置10相似，解碼裝置110將平坦矩陣設定為TU之最小尺寸的預測縮放列表，該最小尺寸係能實施變換略過之4乘4像素以外的尺寸。因此，在編碼裝置10實施具有4乘4像素以外之尺寸的TU之變換略過的情形中，此能解碼經編碼串流以改善編碼效率。
在第一實施例中，如NPL 4中所描述的，變換略過能在最小尺寸的TU上實施。或者，如在NPL 3中所描述的，變換略過可在所有尺寸的TU上實施。在此情形中，所有尺寸的預測縮放列表均係平坦矩陣。
又或者，變換略過可在尺寸等於或少於預定尺寸的TU上實施。在此情形中，例如，編碼裝置10代表能實施變換略過之TU的最大尺寸的略過TU資訊設定在PPS等中，並傳輸略過TU資訊至解碼裝置110。編碼裝置10及解碼裝置110在略過TU資訊的基礎上將平坦矩陣設定為等於或少於藉由能實施變換略過之略過TU資訊所指示的尺寸之尺寸的預設縮放列表。例如，當略過TU資訊指示16乘16像素時，將4乘4像素、8乘8像素、及16乘16像素之TU的預設縮放列表組態成平坦矩陣。
應注意由略過TU資訊指示的尺寸必需等於或多於由最小TU尺寸資訊所指示的TU的最小尺寸，並必需等於或少於TU的最大尺寸。TU的最大尺寸能從最小TU尺寸資訊及代表TU的最小尺寸及其最大尺寸之間的差之差資訊(log2_diff_max_min_transform_blocksize)得到。
略過TU資訊可針對受內編碼之TU及受中間編碼的TU各者分別設定。略過TU資訊可針對Y訊號的TU、Cb訊號之TU、及Cr訊號的TU各者分別設定。
應注意可以片為單位控制縮放列表的使用存在/不存在於量化期間。在此情形中，當包括在SPS中的縮放列表使用旗標係1時，將指示縮放列表是否在對應片的量化期間使用的旗標(scaling_list_enabled_flag)設定在片標頭中。因此，甚至當是否適於使用縮放列量化的片依據各片不同時，量化能以最佳方式完成。
相似的，可以CU為單位及以TU為單位控制縮放列表的使用存在/不存在於量化期間。
<第二實施例>
(與應用本揭示發明之電腦有關的解釋)
上述處理系列可藉由硬體執行，或可藉由軟體執行。當處理系列由軟體執行時，將構成該軟體的程式安裝在電腦中。此處，該電腦包括併入專用硬體中的電腦及，例如，能藉由安裝各種種類的程式執行各種種類的功能的通 用個人電腦。
圖18係描繪藉由使用程式執行上述處理系列之電腦的硬體之組態範例的方塊圖。
在電腦中，CPU(中央處理單元)201、ROM(唯讀記憶體)202、RAM(隨機存取記憶體)203經由匯流排204彼此連接。
匯流排204更與輸入/輸出介面205連接。輸入/輸出介面205與輸入單元206、輸出單元207、儲存單元208、通訊單元209、以及驅動210連接。
輸入單元206係由鍵盤、滑鼠、及麥克風等構成。輸出單元207係由顯示器、及揚聲器等構成。儲存單元208係由硬碟、及非揮發性記憶體等構成。通訊單元209係由網路介面等構成。驅動210驅動可移除媒體211，諸如，磁碟、光碟、磁光碟、及半導體記憶體。
在如上述組態的電腦中，CPU 201藉由，例如，經由輸入/輸出介面205及匯流排204將儲存在儲存單元208中的程式載入RAM 203而執行該程式以實施上述處理系列。
可將由電腦(CPU 201)執行的程式以記錄至用作為，例如，套裝媒體的可移除媒體211的方式提供。另外，程式能經由有線或無線傳輸媒體提供，諸如，區域網路、網際網路、及數位衛星廣播。
在電腦中，能藉由將可移除媒體211載入至驅動210中而經由輸入/輸出介面205將程式安裝至儲存 單元208。另外，程式能經由有線或無線傳輸媒體藉由以通訊單元209接收該程式而安裝至儲存單元208。另外，程式能預先安裝至ROM 202及儲存單元208。
應注意由電腦執行的程式可係處理係以根據此說明書中解釋之次序的時間序列實施的程式，或可係處理係以平行地或使用必要時序，例如，在呼叫時，實施的程式。
<第三實施例>
(應用至多觀點影像編碼/多觀點影像解碼)
上述處理系列能應用至多觀點影像編碼/多觀點影像解碼。圖19描繪多觀點影像編碼方法的範例。
如圖19所描繪的，多觀點影像包括用於多個觀點(視域)的影像。此多觀點影像的多個視域包括僅使用正受關注之視域的影像而不使用另一視域之任何影像編碼/解碼的基底視域、使用另一視域的任何影像編碼/解碼的非基底視域。非基底視域可使用基底視域的影像，或可使用另一非基底視域的影像。
當編碼/解碼如圖19所示的多觀點影像時，將各視域的影像編碼/解碼，但第一實施例的方法可應用各視域的編碼/解碼。藉由如此作，能改善在將變換略過施加至4乘4像素以外之尺寸的區塊時的編碼效率。
另外，在各視域的編碼/解碼中，可共用在第一實施例之方法中使用的旗標及參數。更具體地說，例 如，SPS、PPS、及殘餘編碼的語法元素等可在各視域的編碼/解碼中共用。待理解其他的必要資訊也可在各視域的編碼/解碼中共用。
藉由如此作，此能抑制冗餘資訊的傳輸，並能降低傳輸資訊量(碼量)(亦即，此能抑制編碼效率的下降)。
(多觀點影像編碼裝置)
圖20係實施多觀點影像編碼之多觀點影像編碼裝置的圖。如圖20所示，多觀點影像編碼裝置600包括編碼單元601、編碼單元602、及多工單元603。
編碼單元601編碼基底視域影像，並產生基底視域影像經編碼串流。編碼單元602編碼非基底視域影像，並產生非基底視域影像經編碼串流。多工單元603將由編碼單元601產生的基底視域經編碼串流及由編碼單元602產生的非基底視域經編碼串流多工，並產生多觀點影像經編碼串流。
編碼裝置10(圖1)能應用至多觀點影像編碼裝置600的編碼單元601及編碼單元602。在此情形中，能在各視域的編碼中改善將變換略過施加至4乘4像素以外之尺寸的區塊的編碼效率。編碼單元601及編碼單元602能使用彼此相同的旗標及參數實施編碼(例如，影像之間的處理的語法元素等)(更具體地說，旗標及參數能共用)，且因此，此能抑制編碼效率的降低。
(多觀點影像解碼裝置)
圖21係實施多觀點影像解碼之多觀點影像解碼裝置的圖。如圖21所示，多觀點影像解碼裝置610包括解多工單元611、解碼單元612、及解碼單元613。
解多工單元611將藉由多工基底視域影像經編碼串流及非基底視域影像經編碼串流得到的多觀點影像經編碼串流解多工，並擷取基底視域影像經編碼串流及非基底視域影像經編碼串流。解碼單元612解碼由解多工單元611擷取的基底視域影像經編碼串流，並得到基底視域影像。解碼單元613解碼由解多工單元611擷取的非基底視域影像經編碼串流，並得到非基底視域影像。
能將解碼裝置110(圖14)應用至此多觀點影像解碼裝置610的解碼單元612及解碼單元613。更具體地說，在各視域的解碼中，能解碼經編碼串流，已將其之將變換略過施加至4乘4像素以外之尺寸的區塊的編碼效率改善。解碼單元612及解碼單元613能使用彼此相同的旗標及參數實施解碼(例如，影像之間的處理的語法元素等)(更具體地說，旗標及參數能共用)，且因此，此能抑制編碼效率的降低。
<第四實施例>
(應用至階層式影像編碼/階層式影像解碼)
上述處理系列能應用至階層式影像編碼/階層式影像 解碼(可縮放編碼/可縮放解碼)。圖22描繪階層式影像編碼方法的範例。
階層式影像編碼(可縮放編碼)係使影像成為多層(成為階層)並編碼各層的影像資料使得提供用於預定參數的可縮放函數。階層式影像解碼(可縮放解碼)係對應於階層式影像編碼的解碼。
如圖22所示，當使影像成為階層時，在將具有可縮放功能的預定參數採用為基準的同時，將單一影像分割為多個影像(層)。使成為階層(階層式影像)的影像包括階層中之影像的多級(層)的預定參數值彼此不同。階層式影像的多層包括僅使用正受關注之層中的影像而不使用另一層中的任何影像編碼/解碼的基底層及使用另一層中的影像編碼/解碼的非基底層(也稱為增強層)。可將非基底層組態成使用基底層中的影像或可組態成使用另一非基底層中的影像。
通常，非基底層係由正受關注之影像及另一層中的影像之間的差影像(差資料)的資料構成，以降低冗餘。例如，當使單一影像成為其係基底層及非基底層(也稱為增強層)的二級階層時，能從基底層的資料得到其品質底於原始影像的影像，且能藉由組合基底層中的資料及非基底層中的資料得到原始影像(其係高品質影像)。
如上文所述，藉由使影像階層化，能依據環境輕易地得到各種品質等級的影像。例如，僅將基底層中 的影像壓縮資訊傳輸至效能甚低，以低空間-時間解析度或低影像品質再生動畫的終端，諸如，行動電話，及不僅將基底層中的影像壓縮資訊，也將增強層中的影像壓縮資訊傳輸至處理效能甚高，以高空間-時間解析度或高影像品質再生動畫的終端，諸如，電視及個人電腦。以此方式，不實施服務格式處理，影像壓縮資訊能根據終端或網路的效能從伺服器傳輸。
當編碼/解碼如圖22中之範例所示的階層式影像時，將各層中的影像編碼/解碼，但上文解釋之第一實施例的方法可應用至各層中的編碼/解碼。藉由如此作，能改善在將變換略過施加至4乘4像素以外之尺寸的區塊時的編碼效率。
另外，在各層的編碼/解碼中，使用在第一實施例之方法中的旗標及參數可共用。更具體地說，例如，SPS、PPS、及殘餘編碼的語法元素等可在各層的編碼/解碼中共用。待理解其他的必要資訊也可在各層的編碼/解碼中共用。
藉由如此作，此能抑制冗餘資訊的傳輸，並能降低傳輸資訊量(碼量)(亦即，此能抑制編碼效率的下降)。
(可縮放參數)
在此種階層式影像編碼/階層式影像解碼(可縮放編碼/可縮放解碼)中，具有可縮放功能的參數可係任何給 定參數。例如，可將圖23所示的空間解析度採用為參數(空間可縮放性)。在此空間可縮放性的情形中，影像的解析度對各層不同。更具體地說，影像的解析度對各層不同。在此情形中，如圖23所示，將各圖片分類為二級階層，其包括在空間上比原始影像更低之解析度的基底層，及當增強層與基底層組合時，其提供原始空間解析度的增強層。待理解該階層中的級數僅係範例。能產生任何給定的階層級數。
或者，例如，如圖24所示的時間解析度能施加為用於給定此種可縮放性的參數(時間可縮放性)。在時間可縮放性的情形中，框速率對各層不同。更具體地說，在此情形中，如圖24所示，將各圖片分類為二級階層，其包括比原始動畫更低之框速率的基底層，及當增強層與基底層組合時，其提供原始框速率的增強層。待理解該階層中的級數僅係範例。能產生任何給定的階層級數。
另外，例如，訊號對雜訊比(SNR)可施加為用於給定此種可縮放性的參數(SNR可縮放性)。在SNR可縮放性的基礎上，SN比率對每一層不同。更具體地說，在此情形中，如圖25所示，將各圖片分類為二級階層，其包括其SN比原始影像更低的基底層，及當增強層與基底層組合時，其提供原始SNR的增強層。待理解該階層中的級數僅係範例。能產生任何給定的階層級數。
待理解用於給定此種可縮放性的參數可與上文解釋的範例不同。例如，用於給定此種可縮放性的參數 可係位元深度(位元-深度可縮放性)。在此位元深度可縮放性的情形中，位元深度對每一層不同。在此情形中，例如，基底層係以八位元影像製造，且當將增強層加至其時，能得到十位元影像。
或者，用於給定此種可縮放性的參數可係色度格式(色度可縮放性)。在此色度可縮放性的情形中，色度格式對每一層不同。在此情形中，例如，基底層係以採用4：2：0格式的成分影像製造，且當將增強層加至其時，能得到採用4：2：2格式的成分影像。
(階層式影像編碼裝置)
圖26係描繪實施上文解釋之階層式影像編碼之階層式影像編碼裝置的圖。如圖26所示，階層式影像編碼裝置620包括編碼單元621、編碼單元622、及多工單元623。
編碼單元621編碼基底層影像，並產生基底層影像經編碼串流。編碼單元622編碼非基底層影像，並產生非基底層影像經編碼串流。多工單元623將由編碼單元621產生的基底層經編碼串流及由編碼單元622產生的非基底層經編碼串流多工，並產生階層式影像經編碼串流。
此編碼裝置10(圖1)能應用至階層式影像編碼裝置620的編碼單元621及編碼單元622。更具體地說，在各層的編碼中，能改善在將變換略過施加至4乘4 像素以外之尺寸的區塊時的編碼效率。編碼單元621及編碼單元622能，例如，使用彼此相同的旗標及參數(例如，影像之間的處理的語法元素等)(更具體地說，能共用旗標及參數)控制內預測的濾波處理，且因此，此能抑制編碼效率的降低。
(階層式影像解碼裝置)
圖27係描繪實施上文解釋之階層式影像解碼之階層式影像解碼裝置的圖。如圖27所示，階層式影像解碼裝置630包括解多工單元631、解碼單元632、及解碼單元633。
解多工單元631將藉由多工基底層影像經編碼串流及非基底層影像經編碼串流得到的階層式影像經編碼串流解多工，並擷取基底層影像經編碼串流及非基底層影像經編碼串流。解碼單元632解碼由解多工單元631擷取的基底層影像經編碼串流，並得到基底層影像。解碼單元633解碼由解多工單元631擷取的非基底層影像經編碼串流，並得到非基底層影像。
能將解碼裝置110(圖14)應用至此階層式影像解碼裝置630的解碼單元632及解碼單元633。更具體地說，在各層的解碼中，能解碼經編碼串流，已將其之將變換略過施加至4乘4像素以外之尺寸的區塊的編碼效率改善。解碼單元612及解碼單元613能使用彼此相同的旗標及參數實施解碼(例如，影像之間的處理的語法元素 等)(更具體地說，旗標及參數能共用)，且因此，此能抑制編碼效率的降低。
<第五實施例>
(電視接收裝置的組態範例)
圖28描繪應用本揭示發明之電視接收裝置的概要組態的範例。電視接收裝置900包括天線901、調諧器902、解多工器903、解碼器904、視訊訊號處理單元905、顯示單元906、音訊訊號處理單元907、揚聲器908、及外部介面單元909。另外，電視接收裝置900包括控制單元910、及使用者介面單元911等。
調諧器902從經由天線901接收的廣播訊號擷取期望頻道的訊號，並解調變經擷取訊號。然後，調諧器902將從解調變得到的經編碼位元串流輸出至解多工器903。
解多工器903從經編碼位元串流分離觀看目標節目的視訊及音訊的封包，並將經擷取封包資料輸出至解碼器904。此外，解多工器903將資料封包，諸如，EPG(電子節目表)，提供至控制單元910。應注意在經編碼位元串流受混碼的情形中，解多工器903可用解多工器等實施解擾。
解碼器904實施解碼處理以解碼封包。解碼器904將從解碼處理產生的視訊資料輸出至視訊訊號處理單元905。解碼器904將從解碼處理產生的音訊資料輸出 至音訊訊號處理單元907。
視訊訊號處理單元905根據使用者的設定實施降噪及視訊處理以處理視訊資料。視訊訊號處理單元905使用基於經由網路提供之應用程式的處理產生影像資料等，並產生待顯示在顯示單元906上之節目的視訊資料。視訊訊號處理單元905產生用於顯示選擇項目之選單螢幕等的視訊資料，並將選單螢幕的視訊資料重疊在節目的視訊資料上。視訊訊號處理單元905在如此產生之視訊資料的基礎上產生驅動訊號，並驅動顯示單元906。
顯示單元906在由視訊訊號處理單元905給定之驅動訊號的基礎上驅動顯示裝置(例如，液晶顯示元件等)，並致使顯示裝置顯示節目的視訊。
音訊訊號處理單元907實施預定處理，諸如，音訊資料上的降噪、在已受處理之音訊資料上實施D/A轉換處理及放大處理，並將資料提供至揚聲器908，使得音訊輸出。
外部介面單元909係用於與外部裝置及網路連接的介面，並傳輸及接收資料，諸如，視訊資料及音訊資料。
控制單元910連接至使用者介面單元911。使用者介面單元911係由操作開關、及搖控訊號接收單元等構成。使用者介面單元911回應於使用者的操作將操作訊號提供至控制單元910。
控制單元910係由CPU(中央處理單元)、 及記憶體等構成。記憶體儲存，例如，由CPU執行的程式、當CPU實施處理時所需要的各種種類的資料、EPG資料、及經由網路得到的資料等。當電視接收裝置900啟動時，儲存在記憶體中的程式以預定時序由CPU讀取及執行。CPU執行程式，因此控制各單元，使得電視接收裝置900根據使用者的操作實施操作。
應注意電視接收裝置900設有用於在控制單元910及調諧器902、解多工器903、視訊訊號處理單元905、音訊訊號處理單元907、及外部介面單元909之間的連接的匯流排912。
在如上文描述地組態的電視接收裝置中，解碼器904設有根據本申請案之解碼裝置的功能(解碼方法)。因此，能解碼經編碼串流，已將其之將變換略過施加至4乘4像素以外之尺寸的區塊的編碼效率改善。
<第六實施例>
(行動電話的組態範例)
圖29描繪應用本揭示發明之行動電話的概要組態的範例。行動電話920包括通訊單元922、音訊編碼解碼器923、照相機單元926、影像處理單元927、解多工器單元928、記錄/再生單元929、顯示單元930、及控制單元931。通訊單元922、音訊編碼解碼器923、照相機單元926、影像處理單元927、解多工器單元928、記錄/再生單元929、顯示單元930、及控制單元931經由匯流排 933彼此連接。
將天線921連接至通訊單元922。將揚聲器924及麥克風925連接至音訊編碼解碼器923。將操作單元932連接至控制單元931。
行動電話920實施各種種類的操作，諸如，音訊訊號的傳輸/接收、電子郵件或影像資料的傳輸/接收、拍攝影像、及以包括語音電話呼叫模式、及資料通訊模式等的各種種類的模式記錄資料。
在語音電話呼叫模式中，藉由音訊編碼解碼器923將由麥克風925產生的音訊訊號轉換為類比資料，並將該資料壓縮及提供至通訊單元922。通訊單元922實施音訊資料調變處理、及頻率轉換處理等，並產生傳輸訊號。通訊單元922將傳輸訊號提供至天線921以將傳輸訊號傳輸至未圖示的基地台。通訊單元922將經由天線921接收的無線電訊號放大，實施頻率轉換處理、及解調變處理等，並提供所得到的音訊資料至音訊編碼解碼器923。音訊編碼解碼器923擷取音訊資料，並將該資料轉換為類比音訊訊號，並輸出該類比音訊訊號至揚聲器924。
當郵件以資料通訊模式傳輸時，例如，控制單元931接收其係根據以操作單元932實施之操作而輸入的文字資料，並顯示該經輸入文字在顯示單元930上。控制單元931在由操作單元932給定之使用者命令的基礎上產生郵件資料，並提供郵件資料至通訊單元922。通訊單元922實施郵件資料的調變處理、及頻率轉換處理等，並 從天線921傳輸所得到的傳輸訊號。通訊單元922放大由天線921接收的接收訊號，並實施頻率轉換處理、及解調變處理等，因此恢復郵件資料。將郵件資料提供至顯示單元930，使得郵件內容顯示。
應注意行動電話920能使用記錄/再生單元929致使經接收郵件資料記錄至記錄媒體。記錄媒體係任何給定的可重寫記錄媒體。例如，記錄媒體可係半導體記憶體，諸如，RAM或內部快閃記憶體，並可係可移除記錄媒體，諸如，硬碟、磁碟、磁光碟、光碟、USB(通用串列匯流排)記憶體、或記憶體卡。
當影像資料以資料通訊模式傳輸時，影像資料由照相機單元926產生至影像處理單元927。影像處理單元927實施影像資料的編碼處理，並產生經編碼資料。
解多工器單元928根據預定方法將由影像處理單元927產生的經編碼資料及由音訊編碼解碼器923提供的音訊資料多工，並提供該資料至通訊單元922。通訊單元922實施經多工資料的調變處理、及頻率轉換處理等，並從天線921傳輸所得到的傳輸訊號。通訊單元922將經由天線921接收的無線電訊號放大，實施頻率轉換處理、及解調變處理等，並恢復經多工資料。將經多工資料提供至解多工器單元928。解多工器單元928分離經多工資料，並提供經編碼資料至影像處理單元927且提供音訊資料至音訊編碼解碼器923。影像處理單元927實施經編碼資料的解碼處理，並產生影像資料。將影像資料提供至 顯示單元930，並顯示經接收影像。音訊編碼解碼器923將音訊資料轉換為類比音訊訊號，並將該訊號提供至揚聲器924，使得經接收音訊輸出。
在如上文所述的組態的行動電話裝置中，影像處理單元927設有根據本申請案之編碼裝置及解碼裝置的功能(編碼方法及解碼方法)。因此，能改善在將變換略過施加至4乘4像素以外之尺寸的區塊時的編碼效率。此外，能解碼經編碼串流，已將其之將變換略過施加至4乘4像素以外之尺寸的區塊的編碼效率改善。
<第七實施例>
(記錄/再生裝置的組態範例)
圖30描繪應用本揭示發明之記錄/再生裝置的概要組態的範例。例如，記錄/再生裝置940將經接收廣播節目的音訊資料及視訊資料記錄至記錄媒體，並根據使用者命令以時序將經記錄資料提供給使用者。例如，記錄/再生裝置940能從另一裝置得到音訊資料及視訊資料，並能將彼等記錄至記錄媒體。例如，記錄/再生裝置940解碼並輸出記錄在記錄媒體上的音訊資料及視訊資料，使得影像能顯示在顯示器裝置等上，並能輸出音訊。
記錄/再生裝置940包括調諧器941、外部介面單元942、編碼器943、HDD(硬碟驅動器)單元944、硬碟驅動器945、選擇器946、解碼器947、OSD(螢幕上顯示)單元948、控制單元949、及使用者介面 單元950。
調諧器941從經由天線(未圖示)接收的廣播訊號調諧為期望頻道的訊號。調諧器941將藉由解調變期望頻道之接收訊號而得到的編碼位元串流輸出至選擇器946。
外部介面單元942係由IEEE 1394介面、網路介面單元、USB介面、及快閃記憶體介面等的至少一者構成。外部介面單元942係用於與外部裝置、網路、及記憶體卡等連接的介面。外部介面單元942接收待記錄的資料，諸如，視訊資料及音訊資料。
當從外部介面單元942提供的視訊資料及音訊資料未受編碼時，編碼器943根據預定方法實施編碼，並輸出經編碼位元串流至選擇器946。
HDD單元944將內容資料，諸如，視訊及音訊、各種種類的節目、及其他資料等，記錄至內部硬碟，並在再生期間從硬碟讀取彼等。
硬碟驅動器945將訊號記錄至經載入光碟/從經載入光碟再生訊號。光碟的範例包括DVD光碟(DVD-視訊、DVD-RAM、DVD-R、DVD-RW、DVD+R、及DVD+RW等)、及藍光(註冊商標)光碟等。
在視訊及音訊記錄期間，選擇器946從調諧器941及編碼器943的任何一者選擇經編碼位元串流，並將經編碼位元串流提供至HDD單元944及硬碟驅動器945的任何一者。在視訊及音訊的再生期間，選擇器946 將從HDD單元944或硬碟驅動器945輸出的經編碼位元串流提供至解碼器947。
解碼器947實施解碼處理以解碼經編碼位元串流。解碼器947將從解碼處理產生的視訊資料提供至OSD單元948。解碼器947輸出從解碼處理產生的音訊資料。
OSD單元948產生用於顯示選擇項目之選單顯示等的視訊資料，並將選單螢幕的視訊資料重疊及輸出在從解碼器947輸出的視訊資料上。
控制單元949與使用者介面單元950連接。使用者介面單元950係由操作開關、及搖控訊號接收單元等構成，並回應於使用者操作提供操作訊號至控制單元949。
控制單元949係由CPU、及記憶體等構成。記憶體儲存，例如，由CPU執行的程式及當CPU實施處理時所需要的各種種類的資料。當記錄/再生裝置940啟動時，儲存在記憶體中的程式以預定時序由CPU讀取及執行。CPU執行程式，因此控制各單元，使得記錄/再生裝置940根據使用者的操作實施操作。
在如上文描述地組態的記錄/再生裝置中，解碼器947設有根據本申請案之解碼裝置的功能(解碼方法)。因此，能解碼經編碼串流，已將其之將變換略過施加至4乘4像素以外之尺寸的區塊的編碼效率改善。
<第八實施例>
(影像拍攝裝置的組態範例)
圖31描繪應用本揭示發明的影像拍攝裝置。影像拍攝裝置960拍攝主題的影像，並致使主題的影像顯示在顯示單元上並致使該影像作為影像資料記錄在記錄媒體中。
影像拍攝裝置960包括光學區塊961、影像拍攝單元962、照相機訊號處理單元963、影像資料處理單元964、顯示單元965、外部介面單元966、記憶體單元967、媒體驅動器968、OSD單元969、及控制單元970。控制單元970與使用者介面單元971連接。另外，影像資料處理單元964、外部介面單元966、記憶體單元967、媒體驅動器968、OSD單元969、及控制單元970等經由匯流排972連接。
光學區塊961包括聚焦透鏡及光圈機制。光學區塊961致使主題的光學影像形成在影像拍攝單元962的影像拍攝表面上。影像拍攝單元962包括影像感測器，諸如，CCD或CMOS，並使用光電轉換產生根據光學影像的電訊號，並將該電訊號提供至照相機訊號處理單元963。
照相機訊號處理單元963在由影像拍攝單元962提供的電訊號上實施各種種類的照相機訊號處理，諸如，拐點校正、灰階校正、及彩色校正。照相機訊號處理單元963將已受照相機訊號處理的影像資料輸出至影像資料處理單元964。
影像資料處理單元964實施編碼處理以編碼從照相機訊號處理單元963接收的影像資料。影像資料處理單元964將藉由實施編碼處理產生的經編碼資料提供至外部介面單元966及媒體驅動器968。影像資料處理單元964實施解碼處理以解碼從外部介面單元966及媒體驅動器968提供的經編碼資料。影像資料處理單元964將藉由實施解碼處理產生的影像資料提供至顯示單元965。影像資料處理單元964實施處理以將從照相機訊號處理單元963提供的影像資料提供至顯示單元965，並將從OSD單元969得到的顯示資料重疊在影像資料上，並將該資料提供至顯示單元965。
OSD單元969產生顯示資料，諸如，選單螢幕及包括符號、字元、或圖式的圖像，並輸出顯示資料至影像資料處理單元964。
外部介面單元966係由，例如，USB輸入/輸出終端構成，且當列印影像時，將其連接至印表機。外部介面單元966也依需要連接至驅動器、及依需要載入的可移除媒體，諸如，磁碟、或光碟等，並依需要安裝自彼等讀取的電腦程式。另外，外部介面單元966包括連接至預定網路，諸如，LAN或網際網路，的網路介面。例如，控制單元970依據由使用者介面單元971給予的命令從媒體驅動器968讀取經編碼資料，並能從外部介面單元966將該資料提供至經由網路連接的另一裝置。控制單元970藉由外部介面單元966經由網路得到從另一裝置提供的經編 碼資料及影像資料，並能將該資料提供至影像資料處理單元964。
由媒體驅動器968驅動的記錄媒體可係可讀取及寫入的任何給定可移除媒體，諸如，磁碟、磁光碟、光碟、或半導體記憶體。記錄媒體可係任何種類的可移除媒體，並可係磁帶裝置、或硬碟、或記憶體卡。待理解可係非接觸式IC(積體電路)卡等。
可將媒體驅動器968及記錄媒體積集，且，類似內部硬碟及SSD(固態硬碟)，媒體驅動器968及記錄媒體可藉由非移動式儲存媒體組態。
控制單元970係由CPU構成。記憶體單元967儲存，例如，由控制單元970執行的程式、當以控制單元970實施處理時所需要的各種種類的資料。儲存在記憶體單元967中的程式以預定時序，諸如，在影像拍攝裝置960的啟動期間，由控制單元970讀取及執行。控制單元970執行程式，因此控制各單元以致使影像拍攝裝置960根據使用者操作操作。
在如上文所述的組態的影像拍攝裝置中，影像資料處理單元964設有根據本申請案之編碼裝置及解碼裝置的功能(編碼方法及解碼方法)。因此，能改善在將變換略過施加至4乘4像素以外之尺寸的區塊時的編碼效率。此外，能解碼經編碼串流，已將其之將變換略過施加至4乘4像素以外之尺寸的區塊的編碼效率改善。
<可縮放編碼的應用範例>
(第一系統)
隨後，將解釋使用可縮放編碼(階層式編碼)編碼的可縮放經編碼資料之用途的更具體範例。可縮放編碼用於選擇待傳輸的資料，例如，如圖32之範例所示。
在如圖32所示的資料傳輸系統1000中，配送伺服器1002讀取儲存在可縮放經編碼資料儲存單元1001中的可縮放經編碼資料，並經由網路1003將可縮放經編碼資料配送至終端裝置，諸如，個人電腦1004、音訊視覺裝置1005、平板裝置1006、及行動電話1007等。
在此之際，配送伺服器1002根據，例如，終端裝置的通訊環境及效能選擇合適品質的經編碼資料，並傳輸該經編碼資料。甚至當配送伺服器1002不必要地傳輸高品質資料時，終端裝置不必要地得到可致使延遲及溢流的高品質影像。通訊帶寬可受不必要的佔據，且終端裝置的負載可不必要的增加。相反地，甚至當配送伺服器1002不必要地傳輸低品質資料時，終端裝置不能得到足夠品質的影像。因此，配送伺服器1002根據，例如，終端裝置的通訊環境及效能依需要將儲存在可縮放經編碼資料儲存單元1001中的可縮放經編碼資料讀取為合適品質的經編碼資料，並傳輸可縮放經編碼資料。
例如，可縮放經編碼資料儲存單元1001儲存以可縮放方式編碼的可縮放經編碼資料(BL+EL)1011。可縮放經編碼資料(BL+EL)1011係包括基底層及增強層 二者的經編碼資料，且係能藉由解碼資料提供基底層中的影像及增強層中的影像二者的資料。
配送伺服器1002根據，例如，將資料傳輸至其之終端裝置的通訊環境及效能選擇最佳層，並讀取該層中的資料。例如，針對處理效能甚高的個人電腦1004及平板裝置1006，配送伺服器1002從可縮放經編碼資料儲存單元1001讀取高品質可縮放經編碼資料(BL+EL)1011，並依原狀傳輸高品質可縮放經編碼資料(BL+EL)1011。相反地，例如，針對處理效能甚低的音訊視覺裝置1005及行動電話1007，配送伺服器1002從可縮放經編碼資料(BL+EL)1011擷取基底層中的資料，並傳輸其內容與可縮放經編碼資料(BL+EL)1011相同但其品質低於可縮放經編碼資料(BL+EL)1011之資料的可縮放經編碼資料(BL)1012。
如上文所述，藉由使用可縮放經編碼資料，能輕易地調整資料量，且因此，此能抑制延遲及溢流的發生，且此能抑制通訊媒體及終端裝置之負載的不必要增加。可縮放經編碼資料(BL+EL)1011具有較少的層間冗餘，且因此，相較於使各層中的經編碼資料成為分離資料，能降低資料量。因此，可縮放經編碼資料儲存單元1001的儲存區域能更有效率的使用。
應注意終端裝置可係各種種類的裝置，諸如，個人電腦1004至行動電話1007，且因此，終端裝置之硬體的效能依據裝置而不同。此外，終端裝置執行各種 種類的應用，且因此，軟體的效能大幅變化。另外，用作為通訊媒體的網路1003也可係，例如，包括有線網路、無線網路的所有種類的通訊網路、或包括有線網路及無線網路二者的網路，諸如，網際網路及LANJ(區域網路)，且因此，其資料傳輸效能大幅變化。另外，其資料傳輸效能可由於其他通訊等而改變。
因此，配送伺服器1002可在資料傳輸開始之前與其係資料傳輸目的的終端裝置通訊，且配送伺服器1002可得到與終端裝置之效能有關的資訊，諸如，終端裝置的硬體效能、及由終端裝置執行之應用程式(軟體)的效能等，及與通訊環境有關的資訊，諸如，網路1003的可用帶寬等。然後，配送伺服器1002可在此處得到之資訊的基礎上選擇合適層。
應注意該層可由終端裝置擷取。例如，個人電腦1004解碼經傳輸的可縮放經編碼資料(BL+EL)1011，並可顯示基底層中的影像或可顯示增強層中的影像。例如，個人電腦1004可從經傳輸之可縮放經編碼資料(BL+EL)1011擷取基底層中的可縮放經編碼資料(BL)1012、可儲存可縮放經編碼資料(BL)1012、可將可縮放經編碼資料(BL)1012轉移至另一裝置、可實施解碼、並可顯示基底層中的影像。
待理解可提供任何數量的可縮放經編碼資料儲存單元1001、任何數量的配送伺服器1002、任何數量的網路1003、任何數量的終端裝置。在以上解釋中，例 如，配送伺服器1002傳輸資料至終端裝置，但用途範例並未受限於此。當資料傳輸系統1000傳輸已用可縮放方式編碼的經編碼資料至終端裝置時，只要資料傳輸系統1000係根據終端裝置之通訊環境及效能選擇合適層而將經編碼資料傳輸至終端裝置的系統，此能應用至任何給定系統。
(第二系統)
例如，如圖33所示之範例，可縮放編碼用於經由多通訊媒體的傳輸。
在圖33所示的資料傳輸系統1100中，廣播台1101經由地面廣播1111傳輸基底層中的可縮放經編碼資料(BL)1121。廣播台1101經由由包括有線網路、無線網路之通訊網路、或包括有線網路及無線網路二者之通訊網路構成的任何給定網路1112傳輸增強層中的可縮放經編碼資料(EL)1122(例如，使增強層中的可縮放經編碼資料(EL)1122成為封包，並傳輸封包)。
終端裝置1102具有其從廣播台1101傳輸之地面廣播1111的接收功能，並接收經由地面廣播1111傳輸之基底層中的可縮放經編碼資料(BL)1121。此外，終端裝置1102更包括用於經由網路1112通訊的通訊功能，並接收經由網路1112傳輸之增強層中的可縮放經編碼資料(EL)1122。
例如，終端裝置1102回應於使用者命令等解 碼經由地面廣播1111得到之基底層中的可縮放經編碼資料(BL)1121並得到基底層中的影像、儲存基底層中的可縮放經編碼資料(BL)1121、或傳輸基底層中的可縮放經編碼資料(BL)1121至另一裝置。
終端裝置1102回應於，例如，使用者命令等組合經由地面廣播1111得到之基底層中的可縮放經編碼資料(BL)1121及經由網路1112得到之增強層中的可縮放經編碼資料(EL)1122，使得終端裝置1102得到可縮放經編碼資料(BL+EL)、解碼可縮放經編碼資料(BL+EL)以得到增強層中的影像、儲存可縮放經編碼資料(BL+EL)、或傳輸可縮放經編碼資料(BL+EL)至另一裝置。
例如，如上文所述，可縮放經編碼資料可針對各層經由不同通訊媒體傳輸。因此，能分散負載，且此能抑制延遲及溢流的發生。
依據環境，用於傳輸的通訊媒體能組態成可針對各層選擇。例如，在包括相對多資料之基底層中的可縮放經編碼資料(BL)1121可經由具有寬帶寬的通訊媒體傳輸，且在包括相對少資料之增強層中的可縮放經編碼資料(EL)1122可經由具有窄帶寬的通訊媒體傳輸。或者，例如，是否將經由其傳輸增強層中之可縮放經編碼資料(EL)1122的通訊媒體組態為網路1112或地面廣播1111可根據網路1112之可用帶寬決定。待理解此也可應用於任何給定層中的資料。
藉由實施此種控制，能更大幅抑制由於資料傳輸的負載增加。
待理解層的數量並未受特別限制，且用於傳輸之通訊媒體的數量也未受特別限制。其係資料傳輸之目的的終端裝置1102的數量並未受特別限制。另外，在以上範例中，將來自廣播台1101的廣播使用為範例，但用途範例並未受限於此。只要資料傳輸系統1100係將以可縮放方式編碼之經編碼資料分割為以層為單位的多段資料並經由多個通訊線路傳輸該資料的系統，此能應用至任何給定系統。
(第三系統)
例如，如圖34所示之範例，可縮放編碼用於經編碼資料的儲存。
在如圖34所示的影像拍攝系統1200中，影像拍攝裝置1201以可縮放方式編碼藉由影像拍攝主題1211而得到的影像資料，並將該影像資料作為可縮放經編碼資料(BL+EL)1221提供至可縮放經編碼資料記憶體裝置1202。
可縮放經編碼資料記憶體裝置1202以適合環境的品質儲存由影像拍攝裝置1201提供的可縮放經編碼資料(BL+EL)1221。例如，在正常狀態中，可縮放經編碼資料記憶體裝置1202從可縮放經編碼資料(BL+EL)1221擷取基底層中的資料，並將該資料儲存為低品質並 具有較少資料量之基底層中的可縮放經編碼資料(BL)1222。相反地，例如，當給予關注時，可縮放經編碼資料記憶體裝置1202依原狀儲存高品質並具有大資料量的可縮放經編碼資料(BL+EL)1221。
藉由如此作，可縮放經編碼資料記憶體裝置1202能僅在需要時儲存具有高影像品質的影像，且因此，在抑制由影像品質退化所致使的影像值降低的同時，能抑制資料量的增加，且能改善記憶體區域的使用效率。
例如，假設影像拍攝裝置1201係監視器照相機。當監視目標(例如，侵入者)未出現在經拍攝影像中時(在正常狀態)，經拍攝影像的內容可係不重要的，且因此，將較高優先權給予資料量的降低，並以較低品質儲存影像資料(可縮放經編碼資料)。相反地，當監視目標在經拍攝影像中出現為主題1211(當給予關注時)，經拍攝影像的內容可係重要的，且因此，將較高優先權給予影像品質，並以較高品質儲存影像資料(可縮放經編碼資料)。
是否將正常或關注狀態給予其可藉由，例如，致使可縮放經編碼資料記憶體裝置1202分析影像而決定。影像拍攝裝置1201可產生決定，並可將決定結果傳輸至可縮放經編碼資料記憶體裝置1202。
用於決定是否將正常或關注狀態給予其的決定準則並未受特別陣列，且採用為決定準則的影像內容並未受特別限制。待理解可將影像內容以外的條件採用為決 定準則。例如，切換能根據所收集之音訊的振幅、及波形等完成、切換能在每一個預定時間週期完成、且切換能回應於從外側給予的命令，諸如，使用者命令，完成。
在上述解釋中，例如，在係正常狀態及給予關注狀態的二狀態切換，但狀態數可係任何給定數。例如，可在三或多個狀態切換，諸如，正常狀態、給予較少大量關注狀態、給予關注狀態、及給予大量關注狀態。然而，狀態切換的上限數取決於可縮放經編碼資料的數量。
影像拍攝裝置1201可根據狀態決定可縮放編碼的層數。例如，在正常狀態中，影像拍攝裝置1201可在低品質並具有較少資料量的基底層中產生可縮放經編碼資料(BL)1222，並可將基底層中的可縮放經編碼資料(BL)1222提供至可縮放經編碼資料記憶體裝置1202。例如，當給予關注時，影像拍攝裝置1201可在高品質並具有大資料量的基底層中產生可縮放經編碼資料(BL+EL)1221，並可將基底層中的可縮放經編碼資料(BL+EL)1221提供至可縮放經編碼資料記憶體裝置1202。
在以上解釋中，已將監視照相機作為範例解釋，但影像拍攝系統1200的目的並未受特別限制，且未受限於監視照相機。
<第九實施例>
(實施例的其他範例)
在以上解釋中，已解釋應用本揭示發明之裝置及系統 的範例，但本揭示發明並未受限於其。本揭示發明也可實行為實作在構成此種裝置或系統的裝置上之任何種類的組態，例如，用作為系統LSI(大型積體電路)的處理器、使用多處理器等的模組、使用多模組等的單元、及具有除了該單元以外的功能的組(更具體地說，裝置之一部分的組態)。
(視訊組的組態範例)
將參考圖35解釋將本揭示發明實行為組的範例。圖35描繪應用本揭示發明之視訊組的概要組態的範例。
近年來，電子裝置具有越來越多的功能，且當在發展及製造期間將組態的一部分實行為販售、及供應等，本揭示發明在許多情形中不僅實行為具有單一功能的組態也實行為具有相關功能的多個組態及具有多個功能之單組的組合。
將如圖35所示之視訊組1300組態成具有上述的許多功能，且係由具有相關於影像之編碼及解碼的功能(功能可具有編碼及解碼功能的任何一者，或功能可具有編碼及解碼功能二者)之裝置及具有相關於該功能之另一功能的裝置所產生的組合。
如圖35所示，視訊組1300包括模組群組，諸如，視訊模組1311、外部記憶體1312、電源管理模組1313、及前端模組1314等，及具有相關於連接性1321、照相機1322、及感測器1323等之功能的裝置。
該模組係藉由組合彼此相關的數個組件狀功能並產生具有相似功能的組件而產生。具體實體組態並未受特別限制，但，例如，該模組可視為藉由積體及配置具有該等功能的電子電路元件，諸如，多個處理器、電阻器、及電容器等，及其他裝置在電路板等上而產生。新模組可視為藉由將該模組與另一模組、及處理器等組合而產生。
在圖35的範例中，視訊模組1311係藉由組合具有相關於影像處理之功能的組態而產生，並包括應用處理器、視訊處理器、寬頻數據機1333、及RF模組1334。
該處理器係藉由SoC(大型積體電路)將具有預定功能的組態積集在半導體晶片上而產生，且稱為，例如，系統LSI(大型積體電路)等。具有預定功能的組態可係邏輯電路(硬體組態)，可係CPU、ROM、及RAM等，及使用CPU、ROM、及RAM等執行的程式(軟體組態)，或可係彼等二者的組合。例如，處理器可具有邏輯電路、CPU、ROM、及RAM等，且部分功能可藉由邏輯電路(硬體結構)實現，且其他功能可藉由由CPU執行的程式(軟體組態)實現。
圖35的應用處理器1331係用於執行相關於影像處理之應用程式的處理器。為實現預定功能，由應用處理器1331執行的應用程式實施算術處理，另外，由應用處理器1331執行的應用程式能依需要控制視訊模組 1311的組態進出，諸如，視訊處理器1332。
視訊處理器1332係具有相關於影像之編碼/解碼的功能的處理器(編碼及解碼的任何一者或編碼及解碼二者)。
寬頻數據機1333係用於實施與經由有線線路或無線線路(或彼等二者)的寬頻通訊相關之經由寬頻通訊線路，諸如，網際網路及公用電話網路，實施的處理的處理器(或模組)。例如，寬頻數據機1333藉由數位調變待傳輸資料(數位訊號)而將資料轉換為類比訊號，及藉由解調變經接收類比訊號而轉換經接收類比訊號以將經接收類比訊號轉換為資料(數位訊號)。例如，寬頻數據機1333能數位調變或解調變任何給定資訊，諸如，待由視訊處理器1332處理的影像資料、藉由編碼影像資料得到的串流、應用程式、及設定資料等。
RF模組1334係用於在經由天線傳輸/接收的RF(射頻)訊號上實施，例如，頻率轉換、調變/解調變、放大、濾波處理的模組。例如，RF模組1334藉由在由寬頻數據機1333產生的基帶訊號上實施頻率轉換等而產生RF訊號。例如，RF模組1334在經由前端模組1314接收的RF訊號上實施頻率轉換，因此產生基帶訊號。
如圖35中之點虛線1341所指示的，可積集應用處理器1331及視訊處理器1332以組態為單一處理器。
外部記憶體1312係設置在視訊模組1311外 側的模組，且外部記憶體1312具有由視訊模組1311使用的記憶體裝置。外部記憶體1312的記憶體裝置可藉由任何實體組態實現，但通常，外部記憶體1312的記憶體裝置常用於儲存大量資料，諸如，以框為單位的影像資料，且因此，外部記憶體1312的記憶體裝置以相對不昂貴的大容量半導體記憶體，諸如，DRAM(動態隨機存取記憶體)，實現為佳。
電源管理模組1313管理及控制至視訊模組1311(視訊模組1311中的各元件)的電源供應。
前端模組1314係用於提供前端功能至RF模組1334的模組(在天線側之傳輸/接收端的電路)。如圖35所示，前端模組1314包括，例如，天線單元1351、濾波器1352、及放大單元1353。
天線單元1351具有用於傳輸及接收無線電訊號及其組態的天線。天線單元1351傳輸從放大單元1353提供之作為無線電訊號的訊號，並將經接收無線電訊號作為電訊號提供至濾波器1352(RF訊號)。濾波器1352在經由天線單元1351接收的RF訊號上實施濾波處理等，並將經處理RF訊號提供至RF模組1334。放大單元1353放大從RF模組1334提供的RF訊號，並將RF訊號提供至天線單元1351。
連接性1321係具有與外側的連接相關之功能的模組。連接性1321的實體組態未受特別限制。例如，連接性1321具有與由寬頻數據機1333、及外部輸入/輸出 終端所支援的通訊規格不同之通訊功能的組態。
例如，連接性1321可具有基於無線電通訊規格，諸如，藍牙(註冊商標)、IEEE 802.11(例如，Wi-Fi(無線保真度，註冊商標))、NFC(近場通訊)、及IrDA(紅外線資料協會)等，之通訊功能的模組，及基於該標準用於傳輸及接收訊號的天線。例如，連接性1321可具有基於有線通訊規格，諸如，USB(通用串列匯流排)、及HDMI(註冊商標)(高解析多媒體介面)等，之通訊功能的模組，及基於該標準的終端。另外，例如，連接性1321可具有其他資料(訊號)傳輸功能，諸如，類比輸入/輸出終端等。
應注意連接性1321可包括在資料(訊號)之傳輸目的的裝置。例如，連接性1321可具有用於從記錄媒體，諸如，磁碟、光碟、磁光碟、或半導體記憶體(不僅包括用於可移除媒體，也包括硬碟、SSD(固態硬碟)、及NAS(網路附接儲存器)等的驅動器)，讀取資料/將資料寫至記錄媒體的驅動器。連接性1321可具有用於影像及音訊的輸出裝置(監視器、及揚聲器等)。
照相機1322係具有影像拍攝主題及得到主題的影像資料之功能的模組。將由照相機1322拍攝的影像資料提供至，例如，視訊處理器1332，並編碼影像資料。
感測器1323係，例如，具有任何給定感測器功能，諸如，音訊感測器、超音波感測器、光學感測器、 照明感測器、紅外線感測器、影像感測器、旋轉感測器、角度感測器、角速度感測器、速度感測器、加速度感測器、傾斜感測器、磁性識別感測器、振動感測器、溫度感測器，的模組。將藉由感測器1323偵測的資料，例如，提供至應用處理器1331、且該資料由應用程式等使用。
可將在以上解釋中解釋為模組的組態實現為處理器。相反的，可將在以上解釋中解釋為處理器的組態實現為模組。
在如上文所述的組態的視訊組1300中，能如下文解釋的將本揭示發明應用至視訊處理器1332。因此，能將視訊組1300實行為應用本揭示發明的該組。
(視訊處理器的組態範例)
圖36描繪應用本揭示發明之視訊處理器1332(圖35)的概要組態的範例。
在圖36的範例中，視訊處理器1332具有接收視訊訊號及音訊訊號之輸入，及根據預定方法編碼訊號的功能，及解碼經編碼視訊資料及音訊資料並再生及輸出視訊訊號及音訊訊號的功能。
如圖36所示，視訊處理器1332包括視訊輸入處理單元1401、第一影像放大縮小單元1402、第二影像放大縮小單元1403、視訊輸出處理單元1404、框記憶體1405、及記憶體控制單元1406。視訊處理器1332包括編碼/解碼引擎1407、視訊ES(基礎串流)緩衝器1408A 及1408B、及音訊ES緩衝器1409A及1409B。另外，視訊處理器1332包括音訊編碼器1410、音訊解碼器1411、多工單元(MUX(多工器))1412、解多工單元(DMUX(解多工器))1413、及串流緩衝器1414。
視訊輸入處理單元1401接收從，例如，連接性1321(圖35)等輸入的視訊訊號，並將該視訊訊號轉換為數位影像資料。第一影像放大縮小單元1402能實施，例如，影像資料的格式轉換、及影像的放大縮小處理等。針對影像資料，第二影像放大縮小單元1403根據經由視訊輸出處理單元1404在輸出目的的格式實施影像的放大縮小處理、並實施影像資料的放大縮小處理格式轉換、影像的放大縮小處理等，如同第一影像放大縮小單元1402。視訊輸出處理單元1404在影像資料上實施，例如，格式轉換、轉換為類比訊號、及將類比訊號作為再生視訊訊號輸出至，例如，連接性1321(圖35)等。
框記憶體1405係由視訊輸入處理單元1401、第一影像放大縮小單元1402、第二影像放大縮小單元1403、視訊輸出處理單元1404、及編碼/解碼引擎1407共用的影像資料記憶體。將框記憶體1405實現為，例如，半導體記憶體，諸如，DRAM。
記憶體控制單元1406從編碼/解碼引擎1407接收同步訊號、並根據寫入存取管理表1406A中之用於框記憶體的存取排程控制寫入至框記憶體1405/自框記憶體的讀取。存取管理表1406A係根據由編碼/解碼引擎 1407、第一影像放大縮小單元1402、及第二影像放大縮小單元1403等執行的處理由記憶體控制單元1406更新。
編碼/解碼引擎1407實施影像資料的編碼處理及其係藉由編碼影像資料而得到之資料的視訊串流的解碼處理。例如，編碼/解碼引擎1407編碼從框記憶體1405讀取的影像資料，並將影像資料作為視訊串流依序寫至視訊ES緩衝器1408A中。例如，視訊串流依序從視訊ES緩衝器1408B讀取，並將視訊串流解碼，並將視訊串流作為影像資料依序寫至框記憶體1405。編碼/解碼引擎1407在其編碼及解碼時將框記憶體1405使用為工作區。編碼/解碼引擎1407在，例如，當處理對巨集區塊開始時的時間點將同步訊號輸出至記憶體控制單元1406。
視訊ES緩衝器1408A緩衝由編碼/解碼引擎1407產生的視訊串流，並提供視訊串流至多工單元(MUX)1412。視訊ES緩衝器1408B緩衝由解多工單元(DMUX)1413提供的視訊串流，並將視訊串流提供至編碼/解碼引擎1407。
音訊ES緩衝器1409A緩衝由音訊編碼器1410產生的音訊串流，並提供音訊串流至多工單元(MUX)1412。音訊ES緩衝器1409B緩衝由解多工單元(DMUX)1413提供的音訊串流，並將音訊串流提供至音訊解碼器1411。
例如，音訊編碼器1410數位轉換從，例如，連接性1321(圖35)等輸入的音訊訊號，並根據預定方 法，諸如，MPEG音訊方法及AC3(杜比數位音效)方法，編碼音訊訊號。音訊編碼器1410將其係藉由編碼音訊訊號而得到的資料的音訊串流依序寫至音訊ES緩衝器1409A。音訊解碼器1411解碼從音訊ES緩衝器1409B提供的音訊串流，並實施，例如，至類比訊號的轉換，並將其作為再生音訊訊號提供至，例如，連接性1321(圖35)等。
多工單元(MUX)1412多工視訊串流及音訊串流。此多工方法(更具體地說，藉由多工產生之位元串流的格式)並未受特別限制。在此多工期間，多工單元(MUX)1412可將預定標頭資訊等加至位元串流。因此，多工單元(MUX)1412能藉由多工轉換串流的格式。例如，多工單元(MUX)1412多工視訊串流及音訊串流，因此以用於傳遞的格式將其轉換為其係位元串流的傳輸串流。例如，多工單元(MUX)1412多工視訊串流及音訊串流，因此以用於記錄的檔案格式將彼等轉換為資料(檔案資料)。
解多工單元(DMUX)1413根據對應於藉由多工單元(MUX)1412多工的方法解多工藉由多工視訊串流及音訊串流而得到的位元串流。更具體地說，解多工單元(DMUX)1413從串流緩衝器1414讀出的位元串流擷取視訊串流及音訊串流(將視訊串流及音訊串流彼此分開)。更具體地說，解多工單元(DMUX)1413能藉由解多工轉換串流的格式(藉由多工單元(MUX)1412之轉 換的反轉換)。例如，解多工單元(DMUX)1413得到從連接性1321、及寬頻數據機1333等(彼等二者顯示於圖35中)經由串流緩衝器1414提供的傳輸串流，並解多工傳輸串流，因此能將傳輸串流轉換為視訊串流及音訊串流。例如，解多工單元(DMUX)1413得到藉由，例如，連接性1321(圖35)經由串流緩衝器1414從各種種類的記錄媒體讀取的檔案資料，並解多工檔案資料，因此能將檔案資料轉換為視訊串流及音訊串流。
串流緩衝器1414緩衝位元串流。例如，串流緩衝器1414緩衝由多工單元(MUX)1412提供的傳輸串流，且在預定時間點或回應於從外側給予的請求等，串流緩衝器1414將傳輸串流提供至，例如，連接性1321及寬頻數據機1333(彼等二者顯示於圖35中)等。
例如，串流緩衝器1414緩衝從多工單元(MUX)1412提供的檔案資料，且在預定時間點或回應於從外側給予的請求等，串流緩衝器1414將檔案資料提供至，例如，連接性1321(圖35)，並將檔案資料記錄至各種種類的記錄媒體。
另外，串流緩衝器1414緩衝經由，例如，連接性1321及寬頻數據機1333(彼等二者顯示於圖35中)得到的傳輸串流，且在預定時間點或回應於從外側給予的請求等，串流緩衝器1414將傳輸串流提供至解多工單元(DMUX)1413。
串流緩衝器1414緩衝藉由，例如，連接性 1321(圖35)，從各種種類的記錄媒體讀取的檔案資料，且在預定時間點或回應於從外側給予的請求等，串流緩衝器1414將檔案資料提供至解多工單元(DMUX)1413。
隨後，將解釋採用此種組態之視訊處理器1332的操作範例。例如，藉由視訊輸入處理單元1401以預定方法，諸如，4：2：2 Y/Cb/Cr方法等，將從連接性1321(圖35)等輸入至視訊處理器1332的視訊訊號轉換為數位影像資料，並將數位影像資料依序寫至框記憶體1405。數位影像資料由以預定方法，諸如，4：2：0 Y/Cb/Cr方法等，實施格式轉換，並實施放大縮小處理的第一影像放大縮小單元1402或第二影像放大縮小單元1403讀取，並將數位影像資料再度寫回至框記憶體1405。影像資料藉由編碼/解碼引擎1407編碼，並作為視訊串流寫至視訊ES緩衝器1408A。
藉由音訊編碼器1410將從連接性1321(圖35)等輸入至視訊處理器1332的音訊訊號編碼，並作為音訊串流寫至音訊ES緩衝器1409A中。
藉由多工單元(MUX)1412讀取視訊ES緩衝器1408A的視訊串流及音訊ES緩衝器1409A的音訊串流，並多工以轉換為傳輸串流、或檔案資料等。將由多工單元(MUX)1412產生的傳輸串流緩衝至串流緩衝器1414，且之後，例如，經由連接性1321、及寬頻數據機1333等(彼等二者顯示於圖35中)將傳輸串流輸出至外 部網路。將由多工單元(MUX)1412產生的檔案資料緩衝至串流緩衝器1414，且之後，例如，將檔案資料輸出至連接性1321(圖35)等，並將檔案資料記錄至各種種類的記錄媒體。
例如，從外部網路經由連接性1321、及寬頻數據機1333(彼等二者顯示於圖35中)等輸入至視訊處理器1332的傳輸串流在串流緩衝器1414中受緩衝，且之後，藉由解多工單元(DMUX)1413解多工。藉由，例如，連接性1321(圖35)等從各種種類的記錄媒體讀取並輸入至視訊處理器1332的檔案資料在串流緩衝器1414中受緩衝，且之後，藉由解多工單元(DMUX)1413解多工。更具體地說，藉由解多工單元(DMUX)1413將輸入至視訊處理器1332的傳輸串流及檔案資料分開為視訊串流及音訊串流。
經由音訊ES緩衝器1409B將音訊串流提供至音訊解碼器1411，並解碼音訊串流及再生該音訊訊號。將視訊串流寫至視訊ES緩衝器1408B，且之後，藉由編碼/解碼引擎1407依序讀取及解碼視訊串流，並寫至框記憶體1405。經解碼影像資料藉由第二影像放大縮小單元1403受放大縮小處理，並寫至框記憶體1405。然後，經解碼影像資料藉由視訊輸出處理單元1404讀取，並以預定方法，諸如，4：2：2 Y/Cb/Cr方法，轉換其格式，並另外轉換為類比訊號，從而再生及輸出該視訊訊號。
當將本揭示發明應用至如上文所述的組態的 視訊處理器1332時，根據上述各實施例的本揭示發明可應用至編碼/解碼引擎1407。更具體地說，例如，編碼/解碼引擎1407可具有根據第一實施例之編碼裝置及解碼裝置的功能。藉由如此作，視訊處理器1332能實現與參考圖1至17於上文解釋之影響相同的效果。
在編碼/解碼引擎1407中，本揭示發明(更具體地說，根據上述各實施例之影像編碼裝置及影像解碼裝置的功能)可藉由硬體，諸如，邏輯電路，實現、可藉由軟體，諸如，經併入程式，實現、或可藉由彼等二者實現。
(視訊處理器的另一組態範例)
圖37描繪應用本揭示發明之視訊處理器1332(圖35)的概要組態的另一範例。在圖37的範例中，視訊處理器1332具有根據預定方法編碼/解碼視訊資料的功能。
更具體地說，如圖37所示，視訊處理器1332包括控制單元1511、顯示介面1512、顯示引擎1513、影像處理引擎1514、及內部記憶體1515。視訊處理器1332包括編碼解碼器引擎1516、記憶體介面1517、多工/解多工單元(MUX DMUX)1518、網路介面1519、及視訊介面1520。
控制單元1511控制視訊處理器1332中的各處理單元的操作，諸如，顯示介面1512、顯示引擎1513、影像處理引擎1514、及編碼解碼器引擎1516。
如圖37所示，控制單元1511包括，例如，主CPU 1531、次-CPU 1532、及系統控制器1533。主CPU 1531執行用於控制視訊處理器1332中之各處理單元的操作的程式等。主CPU 1531根據程式等產生控制訊號，並提供控制訊號至各處理單元(更具體地說，主CPU 1531控制各處理單元的操作)。次-CPU 1532扮演主CPU 1531的輔助角色。例如，次-CPU 1532執行由主CPU 1531執行之程式等的子行程、及次常式等。系統控制器1533控制主CPU 1531及次-CPU 1532的操作，諸如，指定由主CPU 1531及次-CPU 1532執行的程式。
顯示介面1512在控制單元1511的控制下將影像資料輸出至，例如，連接性1321(圖35)等。例如，顯示介面1512將數位資料的影像資料轉換成類比訊號，並作為再生視訊訊號或仍作為數位資料的影像資料輸出至連接性1321(圖35)的監視裝置等。
顯示引擎1513在控制單元1511的控制下在影像資料上實施各種種類的變換處理，諸如，格式轉換、尺寸轉換、及色域轉換等，以遵守顯示影像之監視裝置等的硬體規格。
影像處理引擎1514在控制單元1511的控制下在影像資料上實施預定影像處理，諸如，用於影像品質改善的濾波處理。
內部記憶體1515係由顯示引擎1513、影像處理引擎1514、及編碼解碼器引擎1516共用並設置在視訊 處理器1332內側的記憶體。內部記憶體1515用於在，例如，顯示引擎1513、影像處理引擎1514、及編碼解碼器引擎1516之間交換資料。例如，內部記憶體1515儲存從顯示引擎1513、影像處理引擎1514、或編碼解碼器引擎1516提供的資料，且依需要(例如，回應於請求)，將資料提供至顯示引擎1513、影像處理引擎1514、或編碼解碼器引擎1516。此內部記憶體1515可藉由任何記憶體裝置實現，但通常，內部記憶體1515常用於儲存小資料量，諸如，參數及以區塊為單位的影像資料，且因此，內部記憶體1515藉由容量相對較小但反應速度相對較快的半導體記憶體(相較於，例如，外部記憶體1312)，諸如，SRAM(靜態隨機存取記憶體)，實現為佳。
編碼解碼器引擎1516實施用於影像資料之編碼及解碼的處理。由編碼解碼器引擎1516支援的編碼/解碼方法可係任何方法。方法的數量可係1、或可係二或以上。例如，編碼解碼器引擎1516可具有用於多個編碼/解碼方法的編碼解碼器功能，並可根據從彼等選擇之方法的一者編碼影像資料或解碼經編碼資料。
在圖37所示的範例中，編碼解碼器引擎1516包括用作為與編碼解碼器有關的處理之功能區塊的，例如，MPEG-2視訊1541、AVC/H.264 1542、HEVC/H.265 1543、HEVC/H.265(可縮放)1544、HEVC/H.265(多視域)1545、及MPEG-DASH 1551。
MPEG-2視訊1541係根據MPEG-2方法編碼 及解碼影像資料的功能區塊。AVC/H.264 1542係根據AVC方法編碼及解碼影像資料的功能區塊。HEVC/H.265 1543係根據HEVC方法編碼及解碼影像資料的功能區塊。HEVC/H.265(可縮放)1544係根據HEVC方法以可縮放方式編碼及解碼影像資料的功能區塊。HEVC/H.265(多視域)1545係根據HEVC方法多觀點編碼及多觀點解碼影像資料的功能區塊。
MPEG-DASH 1551係根據MPEG-DASH(MPEG-透過HTTP的動態調適串流)傳輸及接收影像資料的功能區塊。MPEG-DASH係使用HTTP(超文件傳送協定)串流視訊的技術，且其特徵係以段為單位選擇其預先準備之其解析度等彼此不同之多段經編碼資料的合適段，並傳輸該經編碼資料段。例如，MPEG-DASH 1551基於標準產生串流，並實施串流的傳輸控制，並將上文解釋的MPEG-2視訊1541至HEVC/H.265(多視域)1545使用在影像資料的編碼/解碼中。
記憶體介面1517係用於外部記憶體1312的介面。經由記憶體介面1517將從影像處理引擎1514及編碼解碼器引擎1516提供的資料提供至外部記憶體1312。經由記憶體介面1517將從外部記憶體1312讀取的資料提供至視訊處理器1332(影像處理引擎1514或編碼解碼器引擎1516)。
多工/解多工單元(MUX DMUX)1518實施各種種類之影像資料的多工及解多工，諸如，經編碼資料 的位元串流、影像資料、及視訊訊號。多工/解多工的方法並未受特別限制。例如，在多工期間，多工/解多工單元(MUX DMUX)1518能將多段資料組合為一段，此外，多工/解多工單元(MUX DMUX)1518也能將預定標頭資訊等加至資料。在解多工期間，多工/解多工單元(MUX DMUX)1518能將一段資料分割為多段，此外，多工/解多工單元(MUX DMUX)1518也能將預定標頭等加至各經分割資料段。更具體地說，多工/解多工單元(MUX DMUX)1518能藉由多工/解多工轉換資料的格式。例如，多工/解多工單元(MUX DMUX)1518多工位元串流，使得能將其以轉送格式轉換為係位元串流的傳輸串流及依用於記錄的檔案格式轉換為資料(檔案資料)。待理解彼等能藉由解多工反轉換。
網路介面1519係，例如，用於寬頻數據機1333、及連接性1321(彼等二者顯示於圖35中)等的介面。視訊介面1520係，例如，用於連接性1321、及照相機1322(彼等二者顯示於圖35中)等的介面。
隨後，將解釋視訊處理器1332的操作範例。例如，當視訊處理器1332經由，諸如，連接性1321、及寬頻數據機1333(彼等二者顯示於圖35中)等從外部網路接收傳輸串流時，經由網路介面1519將傳輸串流供應至多工/解多工單元(MUX DMUX)1518並解多工，並藉由編碼解碼器引擎1516解碼。藉由編碼解碼器引擎1516解碼而得到的影像資料受，例如，藉由影像處理引擎 1514的預定影像處理，及藉由顯示引擎1513的預定轉換，並經由顯示介面1512將影像資料提供至，例如，連接性1321(圖35)等，並將該影像顯示在監視器上。例如，藉由編碼解碼器引擎1516解碼而得到的影像資料再度藉由編碼解碼器引擎1516編碼，並藉由多工/解多工單元(MUX DMUX)1518多工並轉換為檔案資料，並經由視訊介面1520輸出至，例如，連接性1321(圖35)等，並記錄至各種種類的記錄媒體。
另外，例如，經由視訊介面1520將未顯示之藉由連接性1321(圖35)等從記錄媒體讀取之藉由編碼影像資料而得到之經編資料的檔案資料提供至多工/解多工單元(MUX DMUX)1518並解多工，並藉由編碼解碼器引擎1516解碼。藉由編碼解碼器引擎1516解碼而得到的影像資料受藉由影像處理引擎1514的預定影像處理，及藉由顯示引擎1513的預定轉換，並經由顯示介面1512提供至，例如，連接性1321(圖35)等，並將該影像顯示在監視器上。例如，藉由編碼解碼器引擎1516解碼而得到的影像資料再度藉由編碼解碼器引擎1516編碼，並藉由多工/解多工單元(MUX DMUX)1518多工以轉換為經由網路介面1519提供至，例如，連接性1321、及寬頻數據機1333(彼等二者顯示於圖35中)等的傳輸串流，並傳輸至未顯示的另一裝置。
應注意在視訊處理器1332中的各處理器單元之間的影像資料及其他資料係使用，例如，內部記憶體 1515及外部記憶體1312交換。電源管理模組1313控制對，例如，控制單元1511的電源供應。
當將本揭示發明應用至如上文所述的組態的視訊處理器1332時，根據上述各實施例的本揭示發明可應用至編碼解碼器引擎1516。更具體地說，例如，編碼解碼器引擎1516可具有用於實現根據第一實施例之編碼裝置及解碼裝置的功能區塊。另外，例如，編碼解碼器引擎1516以此方式實施，使得視訊處理器1332能實現與參考圖1至17於上文解釋之影響相同的效果。
在編碼解碼器引擎1516中，本揭示發明(更具體地說，根據上述各實施例之影像編碼裝置及影像解碼裝置的功能)可藉由硬體，諸如，邏輯電路，實現、可藉由軟體，諸如，經併入程式，實現、或可藉由彼等二者實現。
在以上解釋中，已顯示視訊處理器1332的二組態範例，但視訊處理器1332的組態並未受特別限制，並可係上述二範例以外的組態。此視訊處理器1332可組態為單半導體晶片，但可組態為多半導體晶片。例如，可係將多個半導體堆疊於其中的三維堆疊LSI。或者，其可藉由多個LSI實現。
(應用至裝置的範例)
視訊組1300能併入用於處理影像資料的各種種類的裝置。例如，視訊組1300能併入電視接收裝置 900(圖28)、行動電話920(圖29)、記錄/再生裝置940(圖30)、及影像拍攝裝置960(圖31)中。當將視訊組1300併入其時，裝置能實現與參考圖1至17於上文解釋之影響相同的效果。
視訊組1300能併入，例如，終端裝置，諸如，圖32之資料傳輸系統1000中的個人電腦1004、音訊視覺裝置1005、平板裝置1006、及行動電話1007等、圖33之資料傳輸系統1100中的廣播台1101、及終端裝置1102等、及圖34中之影像拍攝系統1200中的影像拍攝裝置1201、及可縮放經編碼資料記憶體裝置1202等。當將視訊組1300併入其時，裝置能實現與參考圖1至17於上文解釋之影響相同的效果。
即使將上文解釋之視訊組1300之各組態的一部分併入，只要其能包括視訊處理器1332，能將其實行為將本揭示發明應用至其的組態。例如，可僅將視訊處理器1332實行為將本揭示發明應用至其的視訊處理器。例如，如上文所解釋的，能將視訊模組1311、及由點虛線1341指示的處理器等實行為將本揭示發明應用至其的處理器、及模組等。另外，例如，可組合視訊模組1311、外部記憶體1312、電源管理模組1313、及前端模組1314，並可實行將本揭示發明應用至其的視訊單元1361。採用任何組態，該裝置能實現與參考圖1至17於上文解釋之影響相同的效果。
更具體地說，與視訊組1300的情形相似，只 要包括視訊處理器1332，能將任何組態併入各種種類的影像資料處理裝置中。例如，視訊模組1311、視訊單元1361、或由點虛線1341指示的處理器、或視訊處理器1332能併入，例如，電視接收裝置900(圖28)、行動電話920(圖29)、記錄/再生裝置940(圖30)、影像拍攝裝置960(圖31)、終端裝置，諸如，圖32之資料傳輸系統1000中的個人電腦1004、音訊視覺裝置1005、平板裝置1006、及行動電話1007等、圖33之資料傳輸系統1100中的廣播台1101、及終端裝置1102等、及圖34中的影像拍攝系統1200中的影像拍攝裝置1201、及可縮放經編碼資料記憶體裝置1202等。當將應用本揭示發明的任何組態併入至其時，裝置能實現與參考圖1至17於上文解釋之影響相同的效果，與視訊組1300的情形相似。
在此說明書中，例如，將各種種類的資訊，諸如，最小TU尺寸資訊及略過TU資訊，多工至經編碼資料，並從編碼側傳輸至解碼側。然而，用於傳輸該資訊的方法並未受限於本範例。例如，該資訊不會多工為經編碼資料，並可傳輸或記錄為與經編碼資料關聯的分離資料。在此情形中，術語「關聯」意指當解碼時，容許在包括在位元串流(其可係影像的一部分，諸如，片或區塊)中的影像及對應於該影像的資訊之間的連結。更具體地說，該資訊可經由與經編碼資料不同的傳輸路徑傳輸。該資訊可記錄至與經編碼資料不同的記錄媒體(或相同記錄 媒體的另一記錄區域)。另外，例如，該資訊及經編碼資料可用任何給定單位彼此關聯，諸如，多重框、單框、或框的一部分。
在此說明書中，系統意指多個構成元件(裝置、及模組(組件)等)的組，且與所有構成元件是否設置在相同外殼中無關。因此，收容在分離外殼並經由網路連接的多個裝置及包括收容在單一外殼中的多個模組的單一裝置均係系統。
描述於此說明書中的效果僅係範例，且未受限於其。可有其他效果。
本揭示發明的實施例並未受限於上述實施例。本揭示發明的實施例能以各種方式改變而不偏離本揭示發明的要點。
例如，本揭示發明也能應用至容許變換略過之HEVC方法以外之編碼方法的編碼裝置及解碼裝置。
本揭示發明也能應用至當經編碼串流經由網路媒體，諸如，衛星廣播、有線TV、網際網路、及行動電話等，接收，或在記憶體媒體上，諸如，光碟、磁碟、或快閃記憶體，實施處理時所使用的編碼裝置及解碼裝置。
另外，本揭示發明可組態為雲端計算，其中單一功能係以藉由多個設備以合作方式經由網路分配其的此種方式受處理。
在以上流程圖中解釋的各步驟可藉由單一設 備執行，或可藉由多個設備以分配方式執行。
另外，在將多段處理包括在單一步驟中的情形中，包括在該步驟中的多段處理可藉由單一設備執行，或可藉由多個設備以分配方式執行。
應注意能將本技術組態如下。
(1)一種解碼裝置，包括：電路，經組態以解碼位元串流並產生量化值；及在施加變換略過之變換區塊的區塊尺寸大於4乘4區塊尺寸的情形中，藉由使用平坦縮放列表反量化該經產生量化值。
(2)如上文之(1)的解碼裝置，其中該平坦縮放列表對應於施加該變換略過之該變換區塊的該區塊尺寸。
(3)如上文之(1)或(2)的解碼裝置，其中當施加該變換略過之該變換區塊的該區塊尺寸係8乘8區塊尺寸時，藉由使用8乘8區塊尺寸的平坦縮放列表反量化該經產生量化值。
(4)如上文之(1)至(3)之任一者的解碼裝置，其中當施加該變換略過之該變換區塊的該區塊尺寸係16乘16區塊尺寸時，藉由使用16乘16區塊尺寸的平坦縮放列表反量化該經產生量化值。
(5)如上文之(1)至(4)之任一者的解碼裝置，其中當施加該變換略過之該變換區塊的該區塊尺寸係32乘32區塊尺寸時，藉由使用32乘32區塊尺寸的平坦縮放列表反量化該經產生量化值。
(6)如上文之(1)至(5)之任一者的解碼裝置，其中該電路更組態成決定該變換區塊的該區塊尺寸是否大於4乘4區塊尺寸且該變換略過是否施加至該變換區塊，其中在已決定該變換區塊的該區塊尺寸大於4乘4區塊尺寸且已決定該變換略過已施加至該變換區塊的情形中，藉由使用對應於該變換區塊之該區塊尺寸的該平坦縮放列表反量化該經產生量化值。
(7)如上文之(6)的解碼裝置，其中該電路更組態成藉由使用指示該變換略過是否施加至該變換區塊的transform_skip_flag決定該變換略過是否施加至該變換區塊。
(8)如上文之(1)至(7)之任一者的解碼裝置，其中該位元串流包括藉由編碼影像及該影像之預測影像之間的殘餘而得到的殘餘資料，且該電路更組態成解碼該殘餘資料並產生該經量化值。
(9)如上文之(1)至(8)之任一者的解碼裝置，其中該變換區塊係藉由以遞迴方式除編碼區塊四次而得到。
(10)如上文之(1)至(9)之任一者的解碼裝置，其中該經產生量化值係藉由使用設定為該平坦縮放列表的平坦矩陣反量化。
(11)如上文之(1)至(10)之任一者的解碼裝置，其中該平坦矩陣具有設定為16之值的量化縮放因子。
(12)如上文之(1)至(11)之任一者的解碼裝置，其中在施加該變換略過的情形中，該經產生量化值係藉由使用該平坦縮放列表反量化，且在未施加該變換略過的情形中，該經產生量化值係藉由使用預設縮放列表反量化。
(13)一種解碼方法，其中解碼裝置經由處理器實施下列步驟：解碼步驟，解碼位元串流並產生量化值；及反量化步驟，在施加變換略過之變換區塊的區塊尺寸大於4乘4區塊尺寸的情形中，藉由使用平坦縮放列表反量化該經產生量化值。
(14)一種編碼裝置，包括：電路，經組態以在施加變換略過至大於4乘4區塊尺寸之變換區塊的情形中，藉由使用平坦縮放列表，而藉由量化施加變換略過的該變換區塊來產生量化值；及編碼該經產生量化值。
(15)如上文之(14)的編碼裝置，其中該平坦縮放列表對應於施加該變換略過之該變換區塊的該區塊尺寸。
(16)如上文之(14)或(15)的編碼裝置，其中在施加該變換略過之該變換區塊的該區塊尺寸係8乘8區塊尺寸的情形中，該量化值係藉由使用8乘8區塊尺寸的該平坦縮放列表量化施加該變換略過的該變換區塊而產生。
(17)如上文之(14)至(16)之任一者的編碼裝 置，其中在施加該變換略過之該變換區塊的該區塊尺寸係16乘16區塊尺寸的情形中，該量化值係藉由使用16乘16區塊尺寸的該平坦縮放列表量化施加該變換略過的該變換區塊而產生。
(18)如上文之(14)至(17)之任一者的編碼裝置，其中在施加該變換略過之該變換區塊的該區塊尺寸係32乘32區塊尺寸的情形中，該量化值係藉由使用32乘32區塊尺寸的該平坦縮放列表量化施加該變換略過的該變換區塊而產生。
(19)如上文之(14)至(18)之任一者的編碼裝置，其中該電路更組態成決定該變換區塊的該區塊尺寸是否大於4乘4區塊尺寸且該變換略過是否施加至該變換區塊，其中在已決定該變換區塊的該區塊尺寸大於4乘4區塊尺寸且已決定該變換略過已施加至該變換區塊的情形中，該量化值係藉由使用對應於該變換區塊之該區塊尺寸的該平坦縮放列表而藉由量化該變換區塊來產生。
(20)如上文之(19)的編碼裝置，其中該電路更組態成設定指示該變換略過是否施加至該變換區塊的transform_skip_flag。
(21)如上文之(14)至(20)之任一者的編碼裝置，其中該量化值係藉由量化該變換區塊之影像及該影像的預測影像之間的殘餘而產生。
(22)如上文之(14)至(21)之任一者的編碼裝 置，其中該變換區塊係藉由以遞迴方式除編碼區塊四次而得到。
(23)如上文之(14)至(22)之任一者的編碼裝置，其中該量化值係藉由使用設定為該平坦縮放列表的平坦矩陣而藉由量化施加該變換略過的該變換區塊來產生。
(24)如上文之(14)至(23)之任一者的編碼裝置，其中該平坦矩陣具有設定為16之值的量化縮放因子。
(25)如上文之(14)至(24)之任一者的編碼裝置，其中該變換略過係基於transform_skip_flag施加或不施加至該變換區塊。
(26)如上文之(14)至(25)之任一者的編碼裝置，其中在施加該變換略過的情形中，該量化值係藉由使用該平坦縮放列表而藉由量化該變換區塊來產生，且在未施加該變換略過的情形中，該量化值係藉由使用該預設縮放列表而藉由量化該變換區塊來產生。
(27)如上文之(14)至(26)之任一者的編碼裝置，其中在施加該變換略過之該變換區塊的該區塊尺寸大於4乘4區塊尺寸且與略過在該變換區塊上該變換之實施關聯的成本函數值少於與不略過在該變換區塊上該變換之實施關聯的成本函數值的情形中，該量化值係藉由使用該平坦縮放列表而藉由量化該變換區塊來產生。
(28)一種編碼方法，其中編碼裝置經由處理器實施下列步驟： 量化步驟，在施加變換略過至大於4乘4區塊尺寸之變換區塊的情形中，藉由使用平坦縮放列表而藉由量化施加變換略過的該變換區塊來產生量化值；及編碼步驟，編碼該經產生量化值。
113‧‧‧解碼單元
131‧‧‧累積緩衝器
132‧‧‧無損解碼單元
133‧‧‧反量化單元
134‧‧‧反正交變換單元
135‧‧‧加法單元
136‧‧‧解塊濾波器
137‧‧‧適應偏移濾波器
138‧‧‧適應迴路濾波器
139‧‧‧螢幕排序緩衝器
140‧‧‧D/A轉換單元
141‧‧‧框記憶體
142、145‧‧‧交換器
143‧‧‧內預測單元
144‧‧‧動作補償單元
146‧‧‧略過設定單元
147‧‧‧列表設定單元

Claims (24)

  1. 一種解碼裝置，包含：電路，經組態以解碼位元串流並產生量化值；在施加變換略過之變換區塊的區塊尺寸大於4乘4區塊尺寸的情形中，藉由使用平坦縮放列表反量化該經產生量化值；及決定該變換區塊的該區塊尺寸是否大於4乘4區塊尺寸且該變換略過是否施加至該變換區塊，其中該平坦縮放列表對應於施加該變換略過之該變換區塊的該區塊尺寸，且其中在已決定該變換區塊的該區塊尺寸大於4乘4區塊尺寸且已決定該變換略過已施加至該變換區塊的情形中，藉由使用對應於該變換區塊之該區塊尺寸的該平坦縮放列表反量化該經產生量化值。
  2. 如申請專利範圍第1項的解碼裝置，其中當施加該變換略過之該變換區塊的該區塊尺寸係8乘8區塊尺寸時，藉由使用8乘8區塊尺寸的平坦縮放列表反量化該經產生量化值。
  3. 如申請專利範圍第1項的解碼裝置，其中當施加該變換略過之該變換區塊的該區塊尺寸係16乘16區塊尺寸時，藉由使用16乘16區塊尺寸的平坦縮放列表反量化該經產生量化值。
  4. 如申請專利範圍第1項的解碼裝置，其中當施加該 變換略過之該變換區塊的該區塊尺寸係32乘32區塊尺寸時，藉由使用32乘32區塊尺寸的平坦縮放列表反量化該經產生量化值。
  5. 如申請專利範圍第1項的解碼裝置，其中該電路更組態成藉由使用指示該變換略過是否施加至該變換區塊的transform_skip_flag決定該變換略過是否施加至該變換區塊。
  6. 如申請專利範圍第1項的解碼裝置，其中該位元串流包括藉由編碼影像及該影像之預測影像之間的殘餘而得到的殘餘資料，且該電路更組態成解碼該殘餘資料並產生該經量化值。
  7. 如申請專利範圍第1項的解碼裝置，其中該變換區塊係藉由以遞迴方式除編碼區塊四次而得到。
  8. 如申請專利範圍第1項的解碼裝置，其中該經產生量化值係藉由使用設定為該平坦縮放列表的平坦矩陣反量化。
  9. 如申請專利範圍第8項的解碼裝置，其中該平坦矩陣具有設定為16之值的量化縮放因子。
  10. 如申請專利範圍第1項的解碼裝置，其中在施加該變換略過的情形中，該經產生量化值係藉由使用該平坦縮放列表反量化，且在未施加該變換略過的情形中，該經產生量化值係藉由使用預設縮放列表反量化。
  11. 一種解碼方法，其中解碼裝置經由處理器實施下 列步驟：解碼步驟，解碼位元串流並產生量化值；反量化步驟，在施加變換略過之變換區塊的區塊尺寸大於4乘4區塊尺寸的情形中，藉由使用平坦縮放列表反量化該經產生量化值；及決定步驟，決定該變換區塊的該區塊尺寸是否大於4乘4區塊尺寸且該變換略過是否施加至該變換區塊，其中該平坦縮放列表對應於施加該變換略過之該變換區塊的該區塊尺寸，且其中在已決定該變換區塊的該區塊尺寸大於4乘4區塊尺寸且已決定該變換略過已施加至該變換區塊的情形中，藉由使用對應於該變換區塊之該區塊尺寸的該平坦縮放列表反量化該經產生量化值。
  12. 一種編碼裝置，包含：電路，經組態以在施加變換略過至大於4乘4區塊尺寸之變換區塊的情形中，藉由使用平坦縮放列表，而藉由量化施加變換略過的該變換區塊來產生量化值；編碼該經產生量化值；及決定該變換區塊的該區塊尺寸是否大於4乘4區塊尺寸且該變換略過是否施加至該變換區塊，其中該平坦縮放列表對應於施加該變換略過之該變換區塊的該區塊尺寸，且其中在已決定該變換區塊的該區塊尺寸大於4乘4區 塊尺寸且已決定該變換略過已施加至該變換區塊的情形中，該量化值係藉由使用對應於該變換區塊之該區塊尺寸的該平坦縮放列表而藉由量化該變換區塊來產生。
  13. 如申請專利範圍第12項的編碼裝置，其中在施加該變換略過之該變換區塊的該區塊尺寸係8乘8區塊尺寸的情形中，該量化值係藉由使用8乘8區塊尺寸的該平坦縮放列表量化施加該變換略過的該變換區塊而產生。
  14. 如申請專利範圍第12項的編碼裝置，其中在施加該變換略過之該變換區塊的該區塊尺寸係16乘16區塊尺寸的情形中，該量化值係藉由使用16乘16區塊尺寸的該平坦縮放列表量化施加該變換略過的該變換區塊而產生。
  15. 如申請專利範圍第12項的編碼裝置，其中在施加該變換略過之該變換區塊的該區塊尺寸係32乘32區塊尺寸的情形中，該量化值係藉由使用32乘32區塊尺寸的該平坦縮放列表量化施加該變換略過的該變換區塊而產生。
  16. 如申請專利範圍第12項的編碼裝置，其中該電路更組態成設定指示該變換略過是否施加至該變換區塊的transform_skip_flag。
  17. 如申請專利範圍第12項的編碼裝置，其中該量化值係藉由量化該變換區塊之影像及該影像的預測影像之間的殘餘而產生。
  18. 如申請專利範圍第12項的編碼裝置，其中該變換區塊係藉由以遞迴方式除編碼區塊四次而得到。
  19. 如申請專利範圍第12項的編碼裝置，其中該量化 值係藉由使用設定為該平坦縮放列表的平坦矩陣而藉由量化施加該變換略過的該變換區塊來產生。
  20. 如申請專利範圍第19項的編碼裝置，其中該平坦矩陣具有設定為16之值的量化縮放因子。
  21. 如申請專利範圍第12項的編碼裝置，其中該變換略過係基於transform_skip_flag施加或不施加至該變換區塊。
  22. 如申請專利範圍第12項的編碼裝置，其中在施加該變換略過的情形中，該量化值係藉由使用該平坦縮放列表而藉由量化該變換區塊來產生，且在未施加該變換略過的情形中，該量化值係藉由使用該預設縮放列表而藉由量化該變換區塊來產生。
  23. 如申請專利範圍第12項的編碼裝置，其中在施加該變換略過之該變換區塊的該區塊尺寸大於4乘4區塊尺寸且與略過對該變換區塊執行該變換之關聯成本函數值低於不略過對該變換區塊執行該變換之關聯成本函數值的情形中，該量化值係藉由使用該平坦縮放列表而藉由量化該變換區塊來產生。
  24. 一種編碼方法，其中編碼裝置經由處理器實施下列步驟：量化步驟，在施加變換略過至大於4乘4區塊尺寸之變換區塊的情形中，藉由使用平坦縮放列表而藉由量化施加變換略過的該變換區塊來產生量化值；編碼步驟，編碼該經產生量化值；及 決定步驟，決定該變換區塊的該區塊尺寸是否大於4乘4區塊尺寸且該變換略過是否施加至該變換區塊，其中該平坦縮放列表對應於施加該變換略過之該變換區塊的該區塊尺寸，且其中在已決定該變換區塊的該區塊尺寸大於4乘4區塊尺寸且已決定該變換略過已施加至該變換區塊的情形中，該量化值係藉由使用對應於該變換區塊之該區塊尺寸的該平坦縮放列表而藉由量化該變換區塊來產生。
TW103134265A 2013-10-11 2014-10-01 解碼裝置、解碼方法、編碼裝置，以及編碼方法 TWI684351B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013214118A JP6287035B2 (ja) 2013-10-11 2013-10-11 復号装置および復号方法
JP2013-214118 2013-10-11

Publications (2)

Publication Number Publication Date
TW201524194A TW201524194A (zh) 2015-06-16
TWI684351B true TWI684351B (zh) 2020-02-01

Family

ID=51868273

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103134265A TWI684351B (zh) 2013-10-11 2014-10-01 解碼裝置、解碼方法、編碼裝置，以及編碼方法

Country Status (7)

Country Link
US (3) US10687060B2 (zh)
EP (1) EP3039869B1 (zh)
JP (1) JP6287035B2 (zh)
KR (2) KR102242722B1 (zh)
CN (1) CN105900424B (zh)
TW (1) TWI684351B (zh)
WO (1) WO2015052898A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6287035B2 (ja) * 2013-10-11 2018-03-07 ソニー株式会社 復号装置および復号方法
US9807398B2 (en) * 2014-09-30 2017-10-31 Avago Technologies General Ip (Singapore) Pte. Ltd. Mode complexity based coding strategy selection
EP3451667A4 (en) * 2016-04-29 2020-01-22 Intellectual Discovery Co., Ltd. VIDEO SIGNAL ENCODING / DECODING METHOD AND APPARATUS
WO2018088026A1 (ja) * 2016-11-11 2018-05-17 ソニー株式会社 送信装置、送信方法およびコンテンツ配信システム
EP3349455A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and device for coding a block of video data, method and device for decoding a block of video data
US11202073B2 (en) 2018-09-19 2021-12-14 Mediatek Inc. Methods and apparatuses of quantization scaling of transform coefficients in video coding system
CN109151505B (zh) * 2018-11-07 2021-02-26 深圳市网心科技有限公司 一种视频转码方法、系统、装置及计算机可读存储介质
CN111277840B (zh) * 2018-12-04 2022-02-08 华为技术有限公司 变换方法、反变换方法以及视频编码器和视频解码器
US12034929B2 (en) * 2018-12-26 2024-07-09 Electronics And Telecommunications Research Institute Quantization matrix encoding/decoding method and device, and recording medium in which bitstream is stored
WO2020249762A1 (en) * 2019-06-14 2020-12-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder, methods and computer programs with an improved transform based scaling
AU2020203330B2 (en) * 2020-05-21 2022-12-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a block of video samples
CN113542798A (zh) * 2021-05-31 2021-10-22 浙江大华技术股份有限公司 视频流的传输方法、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2492333A (en) * 2011-06-27 2013-01-02 British Broadcasting Corp Video coding using spatial transform skip modes
TW201336315A (zh) * 2012-02-29 2013-09-01 新力股份有限公司 影像處理裝置及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101542586B1 (ko) 2011-10-19 2015-08-06 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
US9426466B2 (en) * 2012-06-22 2016-08-23 Qualcomm Incorporated Transform skip mode
GB2503875B (en) * 2012-06-29 2015-06-10 Canon Kk Method and device for encoding or decoding an image
CN115065823A (zh) * 2012-07-02 2022-09-16 韩国电子通信研究院 视频编码/解码方法和非暂时性计算机可读记录介质
AU2013311185B2 (en) * 2012-09-06 2017-06-22 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, image coding and decoding apparatus
JP6210368B2 (ja) * 2012-09-18 2017-10-11 サン パテント トラスト 画像復号方法および画像復号装置
US9253483B2 (en) * 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list
CN104662901B (zh) * 2012-09-28 2018-06-22 索尼公司 图像处理装置及方法
WO2014084903A1 (en) * 2012-11-28 2014-06-05 General Instrument Corporation Devices and methods for modifications of syntax related to transform skip for high efficiency video coding (hevc)
JP6287035B2 (ja) * 2013-10-11 2018-03-07 ソニー株式会社 復号装置および復号方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2492333A (en) * 2011-06-27 2013-01-02 British Broadcasting Corp Video coding using spatial transform skip modes
TW201336315A (zh) * 2012-02-29 2013-09-01 新力股份有限公司 影像處理裝置及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
David F. et al., "Transform Skipping in the presence of Scaling Lists," Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 10th Meeting: Stockholm, SE, 11–20 July 2012 (JCTVC-J0092).
Yoshitaka M. et al., "On Transform Skip," Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 10th Meeting: Stockholm, SE, 11–20 July 2012 (JCTVC-J0184).
Yoshitaka M. et al., "On Transform Skip," Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 10th Meeting: Stockholm, SE, 11–20 July 2012 (JCTVC-J0184). David F. et al., "Transform Skipping in the presence of Scaling Lists," Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 10th Meeting: Stockholm, SE, 11–20 July 2012 (JCTVC-J0092). *

Also Published As

Publication number Publication date
US20210250585A1 (en) 2021-08-12
EP3039869A1 (en) 2016-07-06
KR102242722B1 (ko) 2021-04-22
WO2015052898A1 (en) 2015-04-16
US20200221090A1 (en) 2020-07-09
TW201524194A (zh) 2015-06-16
US11546594B2 (en) 2023-01-03
JP6287035B2 (ja) 2018-03-07
KR20160071364A (ko) 2016-06-21
KR102338523B1 (ko) 2021-12-14
JP2015076859A (ja) 2015-04-20
CN105900424A (zh) 2016-08-24
US20160255346A1 (en) 2016-09-01
KR20210043750A (ko) 2021-04-21
US10687060B2 (en) 2020-06-16
CN105900424B (zh) 2019-05-28
EP3039869B1 (en) 2021-12-01

Similar Documents

Publication Publication Date Title
JP6780761B2 (ja) 画像符号化装置および方法
TWI684351B (zh) 解碼裝置、解碼方法、編碼裝置，以及編碼方法
JP6741126B2 (ja) 画像復号装置および方法
WO2015053115A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2014002896A1 (ja) 符号化装置および符号化方法、復号装置および復号方法
WO2015137145A1 (ja) 画像符号化装置および方法、並びに画像復号装置および方法
WO2015053116A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2015098561A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
US10893269B2 (en) Image processing device and method
JP6477930B2 (ja) 符号化装置および符号化方法
JP6150134B2 (ja) 画像符号化装置および方法、画像復号装置および方法、プログラム、並びに記録媒体
JPWO2014002900A1 (ja) 画像処理装置および画像処理方法
JP6402802B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2015050738A (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法