TWI620433B - Image processing device and method - Google Patents

Abstract

本揭露係有關於，能夠抑制量化矩陣的編碼量之增加的影像處理裝置及方法。

本揭露之影像處理裝置，係具備：擴增轉換部，係將已被限制成傳輸之際所能容許之最大尺寸亦即傳輸尺寸以下的量化矩陣，擴增轉換成，與從前記傳輸尺寸進行量化或逆量化之處理單位亦即區塊尺寸相同的尺寸。本揭露係可適用於例如處理影像資料的影像處理裝置。

Description

影像處理裝置及方法

本揭露係有關於影像處理裝置及方法。

在映像編碼方式的標準規格之1的H.264/AVC(Advanced Video Coding)中，在High Profile以上的設定檔下，進行影像資料的量化之際，可對正交轉換係數的每一成分，使用不同的量化步階。正交轉換係數之每一成分的量化步驟，係可基於以與正交轉換單位相同尺寸而被定義的量化矩陣(亦稱作比例縮放清單)及基準的步階值，而被設定。

例如，針對畫面內預測模式中轉換單位之尺寸為4×4的情況、畫面間預測模式中轉換單位之尺寸為4×4的情況、畫面內預測模式中轉換單位之尺寸為8×8的情況、及畫面間預測模式中轉換單位之尺寸為8×8的情況的每一者，量化矩陣的既定值是已被決定。又，使用者係可在序列參數集或圖像參數集裡，指定與既定值不同的自訂之量化矩陣。若量化矩陣未被使用時，則量化之際所使用的量化步階，係針對所有成分皆為相等的值。

作為H.264/AVC之後繼的次世代映像編碼方式而正朝標準化邁進的HEVC(High Efficiency Video Coding)中，作為相當於先前之巨集區塊的編碼單位而導入了CU(Coding Unit)之概念(例如參照非專利文獻1)。編碼單位的尺寸之範圍，係於序列參數集裡，由LCU(LargestCoding Unit)及SCU(Smallest Coding Unit)這類2的次方數的值的組合來指定。然後，使用split_flag，在LCU及SCU所指定的範圍內，特定出具體的編碼單位之尺寸。

在HEVC中，1個編碼單位係可分割成1個以上的正交轉換之單位，亦即1個以上的轉換單位(TU(Transform Unit))。作為轉換單位的尺寸，係可利用4×4、8×8、16×16及32×32之任一種。因此，量化矩陣也是可以針對這些轉換單位之候補的每一種尺寸，來做指定。

順便一提，在H.264/AVC中，在1圖像內針對1個轉換單位之尺寸，係可僅指定1個量化矩陣。相對於此，在1圖像內針對1個轉換單位之尺寸而指定複數個量化矩陣之候補，在RD(Rate-Distortion)之最佳化的觀點上，針對每一區塊而適應性地選擇量化矩陣，係被提議(例如參照非專利文獻2)。

〔先前技術文獻〕 〔非專利文獻〕

〔非專利文獻1〕 JCTVC-B205, "Test Model under Consideration", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010

〔非專利文獻2〕VCEG-AD06, "Adaptive Quantization Matrix Selection on KTA Software", ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) 30th Meeting: Hangzhou, China, 23 - 24 October, 2006

然而，若轉換單位的尺寸變大，則對應之量化矩陣的尺寸也會變大，所傳輸之量化矩陣的編碼量也會變大。再者，若轉換單位的尺寸變大，則負擔(overhead)會變大，量化矩陣的切換在壓縮效率的觀點上會造成問題。

本揭露係有鑑於此種狀況而提出，其目的在於，可抑制量化矩陣的編碼量之增加。

本揭露之一側面，係為一種影像處理裝置，其係具備：收取部，係收取影像進行編碼處理而成的編碼資料、和被限制成傳輸之際所能容許之最大尺寸亦即傳輸尺寸以下的量化矩陣；和解碼部，係將前記收取部所收取到的編碼資料，進行解碼處理，以生成量化資料；和擴增轉換 部，係將前記收取部所收取到的量化矩陣，進行擴增轉換，成為與從前記傳輸尺寸進行逆量化之際之處理單位的區塊尺寸相同之尺寸；和逆量化部，係使用已被前記擴增轉換部進行擴增轉換後的量化矩陣，而將前記解碼部所生成之量化資料，予以逆量化。

可設計成，前記收取部所收取到的量化矩陣，其前記傳輸尺寸係和預設量化矩陣尺寸相同之尺寸。

可設計成，前記收取部所收取到的量化矩陣，其前記傳輸尺寸係和預設量化矩陣的最大尺寸相同之尺寸。

可設計成，前記傳輸尺寸係為8×8；前記收取部所收取到的量化矩陣，係為8×8尺寸。

可設計成，前記擴增轉換部，係藉由對前記收取部所收取到的量化矩陣之矩陣元素進行內插處理，以將被限制成前記傳輸尺寸以下的量化矩陣，進行擴增轉換。

可設計成，前記擴增轉換部，係藉由對前記收取部所收取到的量化矩陣之矩陣元素進行最近鄰內插處理，以將被限制成前記傳輸尺寸以下的量化矩陣，進行擴增轉換。

可設計成，前記傳輸尺寸係為8×8；前記擴增轉換部，係藉由對8×8尺寸的量化矩陣之矩陣元素進行前記最近鄰內插處理，以擴增轉換成16×16尺寸的量化矩陣。

可設計成，前記擴增轉換部，係藉由對8×8尺寸的量化矩陣之矩陣元素進行前記最近鄰內插處理，以擴增轉換成32×32尺寸的量化矩陣。

可設計成，前記擴增轉換部，係藉由對被限制成前記 傳輸尺寸以下的正方之量化矩陣之矩陣元素進行內插處理，以擴增轉換成非正方之量化矩陣。

可設計成，前記傳輸尺寸係為8×8；前記擴增轉換部，係藉由對8×8尺寸的量化矩陣之矩陣元素進行前記內插處理，以擴增轉換成8×32尺寸的量化矩陣或32×8尺寸的量化矩陣。

可設計成，前記傳輸尺寸係為8×8；前記擴增轉換部，係藉由對4×4尺寸的量化矩陣之矩陣元素進行前記內插處理，以擴增轉換成4×16尺寸的量化矩陣或16×4尺寸的量化矩陣。

可設計成，前記傳輸尺寸係為8×8；前記擴增轉換部，係藉由對8×8尺寸的量化矩陣之矩陣元素進行前記內插處理，以擴增轉換成2×32尺寸的量化矩陣、32×2尺寸的量化矩陣、1×16尺寸的量化矩陣、或16×1尺寸的量化矩陣。

可設計成，解碼處理之際的處理單位亦即編碼單元與轉換處理之際的處理單位亦即轉換單位是具有階層構造；前記解碼部係將前記編碼資料，以具有階層構造之單位來進行解碼處理；前記擴增轉換部，係將前記收取部所收取到的量化矩陣予以擴增轉換成，從前記傳輸尺寸進行逆量化之處理單位亦即轉換單位的尺寸。

可設計成，前記量化矩陣係被設定成為，矩陣元素是隨著進行逆量化之際的處理單位亦即區塊尺寸而有所不同的量化矩陣；前記收取部，係將矩陣元素是隨著進行逆量 化之際的處理單位亦即區塊尺寸而有所不同的量化矩陣，予以收取；前記擴增轉換部，係使用矩陣元素是隨著進行逆量化之際的處理單位亦即區塊尺寸而有所不同的量化矩陣，來將前記收取部所收取到的量化矩陣，進行擴增轉換。

可設計成，前記傳輸尺寸係為8×8；前記擴增轉換部，係當進行逆量化之際的處理單位亦即區塊尺寸是16×16的情況下，則將第1量化矩陣予以擴增轉換，當進行逆量化之際的處理單位亦即區塊尺寸是32×32的情況下，則將矩陣元素是與前記第1量化矩陣不同的第2量化矩陣予以擴增轉換。

本揭露之一側面，係亦為一種影像處理方法，係屬於影像處理裝置的影像處理方法，其特徵為，由前記影像處理裝置，收取影像進行編碼處理而成的編碼資料、和被限制成傳輸之際所能容許之最大尺寸亦即傳輸尺寸以下的量化矩陣；將所收取到的編碼資料進行解碼處理以生成量化資料；將所收取到的量化矩陣，進行擴增轉換，成為與從前記傳輸尺寸進行逆量化之際之處理單位的區塊尺寸相同之尺寸；使用已被擴增轉換後的量化矩陣，而將已被生成之量化資料，予以逆量化。

本揭露之另一側面，係為一種影像處理裝置，其係具備：設定部，係設定量化矩陣，該量化矩陣係用於，從傳輸之際所能容許之最大尺寸亦即傳輸尺寸，擴增轉換成與將影像進行量化而成之量化資料予以逆量化之際之處理單 位的區塊尺寸相同之尺寸時；和量化部，係使用前記設定部所設定的量化矩陣，來將前記影像予以量化而生成量化資料；和編碼部，係將前記量化部所生成的量化資料，進行編碼處理，以生成編碼資料；和傳輸部，係將前記編碼部所生成之編碼資料、和前記設定部所設定的被限制成前記傳輸尺寸以下的量化矩陣，予以傳輸。

可設計成，前記傳輸尺寸係為8×8；被前記設定部所設定的量化矩陣，係為8×8。

可設計成，前記量化矩陣，係為從8×8尺寸進行擴增轉換成16×16尺寸或32×32尺寸之際所使用的量化矩陣。

本揭露之另一側面，係亦為一種影像處理方法，係屬於影像處理裝置的影像處理方法，其特徵為，由前記影像處理裝置，設定量化矩陣，該量化矩陣係用於，從傳輸之際所能容許之最大尺寸亦即傳輸尺寸，擴增轉換成與將影像進行量化而成之量化資料予以逆量化之際之處理單位的區塊尺寸相同之尺寸時；使用已被設定的量化矩陣，來將前記影像予以量化而生成量化資料；將已被生成的量化資料，進行編碼處理，以生成編碼資料；將已被生成之編碼資料、和已被設定並被限制成前記傳輸尺寸以下的量化矩陣，予以傳輸。

於本揭露之一側面中，影像進行編碼處理而成的編碼資料、和被限制成傳輸之際所能容許之最大尺寸亦即傳輸尺寸以下的量化矩陣，會被收取；所收取到的編碼資料會被進行解碼處理而生成量化資料；所收取到的量化矩陣會 被進行擴增轉換，成為與從傳輸尺寸進行逆量化之際之處理單位的區塊尺寸相同之尺寸；已被擴增轉換後的量化矩陣會被使用，而將已被生成之量化資料予以逆量化。

於本揭露之另一側面中，量化矩陣會被設定，該量化矩陣係用於，從傳輸之際所能容許之最大尺寸亦即傳輸尺寸，擴增轉換成與將影像進行量化而成之量化資料予以逆量化之際之處理單位的區塊尺寸相同之尺寸時；已被設定之量化矩陣會被使用，影像會被量化而生成量化資料；已被生成的量化資料會被進行編碼處理，生成編碼資料；已被生成之編碼資料、和已被設定並被限制成傳輸尺寸以下的量化矩陣，會被傳輸。

若依據本揭露，則可將影像進行處理。尤其是，可抑制量化矩陣的編碼量之增加。

10‧‧‧影像編碼裝置

11‧‧‧A/D轉換部

12‧‧‧排序緩衝區

13‧‧‧減算部

14‧‧‧正交轉換‧量化部

16‧‧‧可逆編碼部

17‧‧‧積存緩衝區

18‧‧‧速率控制部

21‧‧‧逆量化部

22‧‧‧逆正交轉換部

23‧‧‧加算部

24‧‧‧去區塊濾波器

25‧‧‧畫格記憶體

26‧‧‧選擇器

30‧‧‧畫面內預測部

40‧‧‧運動探索部

50‧‧‧模式選擇部

110‧‧‧選擇部

120‧‧‧正交轉換部

130‧‧‧量化部

140‧‧‧量化矩陣緩衝區

150‧‧‧矩陣處理部

152‧‧‧預測部

154‧‧‧差分演算部

161‧‧‧預測部

162‧‧‧差分矩陣生成部

163‧‧‧差分矩陣尺寸轉換部

164‧‧‧熵編碼部

165‧‧‧解碼部

166‧‧‧輸出部

171‧‧‧複製部

172‧‧‧預測矩陣生成部

181‧‧‧預測矩陣尺寸轉換部

182‧‧‧演算部

183‧‧‧量化部

191‧‧‧重複判定部

192‧‧‧DPCM部

193‧‧‧expG部

201‧‧‧量化矩陣復原部

202‧‧‧記憶部

300‧‧‧影像解碼裝置

311‧‧‧積存緩衝區

312‧‧‧可逆解碼部

313‧‧‧逆量化‧逆正交轉換部

315‧‧‧加算部

316‧‧‧去區塊濾波器

317‧‧‧排序緩衝區

318‧‧‧D/A(Digital to Analogue)轉換部

319‧‧‧畫格記憶體

320、321‧‧‧選擇器

330‧‧‧畫面內預測部

340‧‧‧運動補償部

410‧‧‧矩陣生成部

430‧‧‧選擇部

440‧‧‧逆量化部

450‧‧‧逆正交轉換部

512‧‧‧基礎矩陣取得部

514‧‧‧差分取得部

516‧‧‧預測部

518‧‧‧重建部

520‧‧‧量化矩陣緩衝區

531‧‧‧參數解析部

532‧‧‧預測部

533‧‧‧熵解碼部

534‧‧‧量化矩陣復原部

535‧‧‧輸出部

536‧‧‧記憶部

541‧‧‧複製部

542‧‧‧預測矩陣生成部

551‧‧‧expG部

552‧‧‧逆DPCM部

553‧‧‧逆重複判定部

561‧‧‧預測矩陣尺寸轉換部

562‧‧‧差分矩陣尺寸轉換部

563‧‧‧逆量化部

564‧‧‧演算部

600‧‧‧多視點影像編碼裝置

601‧‧‧量化矩陣尺寸轉換部

602‧‧‧編碼部

603‧‧‧多工部

610‧‧‧多視點影像解碼裝置

611‧‧‧逆多工部

612‧‧‧解碼部

613‧‧‧解碼部

620‧‧‧階層影像編碼裝置

621‧‧‧量化矩陣尺寸轉換部

622‧‧‧編碼部

623‧‧‧多工部

630‧‧‧階層影像解碼裝置

631‧‧‧逆多工部

632‧‧‧解碼部

633‧‧‧解碼部

800‧‧‧電腦

801‧‧‧CPU

802‧‧‧ROM

803‧‧‧RAM

804‧‧‧匯流排

810‧‧‧輸出入介面

811‧‧‧輸入部

812‧‧‧輸出部

813‧‧‧記憶部

814‧‧‧通訊部

815‧‧‧驅動機

821‧‧‧可移除式媒體

900‧‧‧電視裝置

901‧‧‧天線

902‧‧‧選台器

903‧‧‧解多工器

904‧‧‧解碼器

905‧‧‧映像訊號處理部

906‧‧‧顯示部

907‧‧‧聲音訊號處理部

908‧‧‧揚聲器

909‧‧‧外部介面

910‧‧‧控制部

911‧‧‧使用者介面

912‧‧‧匯流排

920‧‧‧行動電話機

921‧‧‧天線

922‧‧‧通訊部

923‧‧‧聲音編解碼器

924‧‧‧揚聲器

925‧‧‧麥克風

926‧‧‧攝影機部

927‧‧‧影像處理部

928‧‧‧多工分離部

929‧‧‧記錄再生部

930‧‧‧顯示部

931‧‧‧控制部

932‧‧‧操作部

933‧‧‧匯流排

940‧‧‧記錄再生裝置

941‧‧‧選台器

942‧‧‧外部介面

943‧‧‧編碼器

944‧‧‧HDD

945‧‧‧碟片驅動機

946‧‧‧選擇器

947‧‧‧解碼器

948‧‧‧OSD

949‧‧‧控制部

950‧‧‧使用者介面

960‧‧‧攝像裝置

961‧‧‧光學區塊

962‧‧‧攝像部

963‧‧‧訊號處理部

964‧‧‧影像處理部

965‧‧‧顯示部

966‧‧‧外部介面

967‧‧‧記憶體

968‧‧‧媒體驅動機

969‧‧‧OSD

970‧‧‧控制部

971‧‧‧使用者介面

972‧‧‧匯流排

1000‧‧‧資料傳輸系統

1001‧‧‧可調式編碼資料記憶部

1002‧‧‧配訊伺服器

1003‧‧‧網路

1004‧‧‧個人電腦

1005‧‧‧AV機器

1006‧‧‧平板裝置

1007‧‧‧行動電話機

1011‧‧‧可調式編碼資料(BL+EL)

1012‧‧‧可調式編碼資料(BL)

1100‧‧‧資料傳輸系統

1101‧‧‧播送台

1102‧‧‧終端裝置

1111‧‧‧地表波播送

1112‧‧‧網路

1121‧‧‧可調式編碼資料(BL)

1122‧‧‧可調式編碼資料(EL)

1200‧‧‧攝像系統

1201‧‧‧攝像裝置

1202‧‧‧可調式編碼資料記憶裝置

1211‧‧‧被攝體

1221‧‧‧可調式編碼資料(BL+EL)

1222‧‧‧可調式編碼資料(BL)

〔圖1〕影像編碼裝置的主要構成例的區塊圖。

〔圖2〕正交轉換‧量化部的主要構成例的區塊圖。

〔圖3〕矩陣處理部的主要構成例的區塊圖。

〔圖4〕矩陣處理部的主要構成例的區塊圖。

〔圖5〕縮減取樣之例子的說明圖。

〔圖6〕重複部分的刪除樣子之例子的說明圖。

〔圖7〕量化矩陣編碼處理之流程例的說明用流程 圖。

〔圖8〕語法之例子的圖示。

〔圖9〕語法之例子的圖示。

〔圖10〕語法之例子的圖示。

〔圖11〕語法之例子的圖示。

〔圖12〕語法之例子的圖示。

〔圖13〕語法之例子的圖示。

〔圖14〕量化尺度設定領域之例子的圖示。

〔圖15〕量化尺度設定領域之例子的圖示。

〔圖16〕影像解碼裝置的主要構成例的區塊圖。

〔圖17〕逆量化‧逆正交轉換部的主要構成例的區塊圖。

〔圖18〕矩陣生成部的主要構成例的區塊圖。

〔圖19〕矩陣生成部的主要構成例的區塊圖。

〔圖20〕最近鄰內插處理之例子的說明圖。

〔圖21〕矩陣生成處理之流程例的說明用流程圖。

〔圖22〕矩陣處理部之其他構成例的區塊圖。

〔圖23〕量化矩陣編碼處理之流程之另一例的說明用流程圖。

〔圖24〕矩陣生成部之其他構成例的區塊圖。

〔圖25〕差分矩陣傳輸之樣子之例子的說明圖。

〔圖26〕擴增轉換之樣子之例子的說明圖。

〔圖27〕擴增轉換之樣子之例子的說明圖。

〔圖28〕多視點影像編碼方式之例子的圖示。

〔圖29〕適用了本技術的多視點影像編碼裝置的主要構成例之區塊圖。

〔圖30〕適用了本技術的多視點影像解碼裝置的主要構成例之區塊圖。

〔圖31〕階層影像編碼方式之例子的圖示。

〔圖32〕適用了本技術的階層影像編碼裝置的主要構成例之區塊圖。

〔圖33〕適用了本技術的階層影像解碼裝置的主要構成例之區塊圖。

〔圖34〕電腦的主要構成例的區塊圖。

〔圖35〕電視裝置的主要構成例的區塊圖。

〔圖36〕行動終端器的主要構成例的區塊圖。

〔圖37〕記錄再生部的主要構成例的區塊圖。

〔圖38〕攝像裝置的主要構成例的區塊圖。

〔圖39〕可調式編碼利用之一例的區塊圖。

〔圖40〕可調式編碼利用之另一例的區塊圖。

〔圖41〕可調式編碼利用之再另一例的區塊圖。

以下，說明用以實施本揭露的形態(以下稱作實施形態)。此外，說明係用以下順序來進行。

1.第1實施形態(影像編碼裝置、影像解碼裝置)

2.第2實施形態(影像編碼裝置、影像解碼裝置)

3.第3實施形態(擴增轉換)

4.第4實施：形態(多視點影像編碼．多視點影像解碼裝置)

5.第5實施形態(階層影像編碼．階層影像解碼裝置)

6.第6實施形態(電腦)

7.第7實施形態(電視受像機)

8.第8實施形態(行動電話機)

9.第9實施形態(記錄再生裝置)

10.第10實施形態(攝像裝置)

11.可調式編碼的應用例

<1.第1實施形態> [1-1.影像編碼裝置]

圖1係本揭露之一實施形態所述之影像編碼裝置10之構成之一例的區塊圖。圖1所示的影像編碼裝置10，係將已被輸入之影像資料予以編碼，將所得到之編碼資料予以輸出，是適用了本技術的影像處理裝置。參照圖1，影像編碼裝置10係具備：A/D(Analogue to Digital)轉換部11(A/D)、排序緩衝區12、減算部13、正交轉換‧量化部14、可逆編碼部16、積存緩衝區17、速率控制部18、逆量化部21、逆正交轉換部22、加算部23、去區塊濾波器24、畫格記憶體25、選擇器26、畫面內預測部30、運動探索部40、及模式選擇部50。

A/D轉換部11，係將以類比形式輸入的影像訊號，轉換成數位形式的影像資料，將一連串的數位影像資料，輸 出至排序緩衝區12。

排序緩衝區12，係將從A/D轉換部11所輸入的一連串影像資料中所含之影像，予以排序。排序緩衝區12，隨應於編碼處理所涉及之GOP(Group of Pictures)結構而將影像予以排序後，將排序後的影像資料，輸出至減算部13、畫面內預測部30、及運動探索部40。

對減算部13係供給著，從排序緩衝區12所輸入的影像資料、及從之後所說明的模式選擇部50所選擇的預測影像資料。減算部13，係算出從排序緩衝區12所輸入之影像資料與從模式選擇部50所輸入之預測影像資料的差分亦即預測誤差資料，將所算出的預測誤差資料，輸出至正交轉換‧量化部14。

正交轉換‧量化部14，係針對從減算部13所輸入之預測誤差資料，進行正交轉換及量化，將已被量化之轉換係數資料(以下稱作量化資料)，輸出至可逆編碼部16及逆量化部21。從正交轉換‧量化部14所輸出的量化資料的位元速率，係基於來自速率控制部18的速率控制訊號，而被控制。正交轉換‧量化部14的詳細構成，在之後還會說明。

對可逆編碼部16係供給著，從正交轉換‧量化部14所輸入的量化資料、用來在解碼側上生成量化矩陣所需的資訊、以及被模式選擇部50所選擇之畫面內預測或畫面間預測之相關資訊。畫面內預測之相關資訊，係例如，可含有表示每一區塊之最佳畫面內預測模式的預測模式資 訊。又，畫面間預測之相關資訊，係可含有例如，每一區塊的運動向量之預測所需之預測模式資訊、差分運動向量資訊、及參照影像資訊等。甚至，用來在解碼側上生成量化矩陣所需的資訊中，係還可含有表示所傳輸之量化矩陣(或是量化矩陣和其預測矩陣之差分矩陣)之最大尺寸的識別資訊。

可逆編碼部16，係藉由針對量化資料進行可逆編碼處理，以生成編碼串流。可逆編碼部16所做的可逆編碼係可為，例如，可變長度編碼或算術編碼等。又，可逆編碼部16，係將後面詳細說明的用來生成量化矩陣所需的資訊，多工化至編碼串流(例如序列參數集、圖像參數集、切片標頭等)內。然後，可逆編碼部16係將上述畫面內預測或畫面間預測之相關資訊，多工化至編碼串流內。然後，可逆編碼部16係將已生成之編碼串流，輸出至積存緩衝區17。

積存緩衝區17，係將從可逆編碼部16所輸入之編碼串流，使用半導體記憶體等之記憶媒體而予以暫時積存。然後，積存緩衝區17係將所積存的編碼串流，以相應於傳輸路(或來自影像編碼裝置10的輸出線)之頻寬的速率，進行輸出。

速率控制部18，係監視著積存緩衝區17的剩餘容量。然後，速率控制部18係隨應於積存緩衝區17的剩餘容量而生成速率控制訊號，將所生成之速率控制訊號，輸出至正交轉換‧量化部14。例如，速率控制部18係當積 存緩衝區17之剩餘容量較少時，則生成用來降低量化資料之位元速率用的速率控制訊號。又，例如，速率控制部18係當積存緩衝區17之剩餘容量夠大時，則生成用來提高量化資料之位元速率用的速率控制訊號。

逆量化部21，係針對從正交轉換‧量化部14所輸入之量化資料，進行逆量化處理。然後，逆量化部21係將藉由逆量化處理而被取得的轉換係數資料，輸出至逆正交轉換部22。

逆正交轉換部22，係針對從逆量化部21所輸入之轉換係數資料，進行逆正交轉換處理，以復原預測誤差資料。然後，逆正交轉換部22係將已復原之預測誤差資料，輸出至加算部23。

加算部23，係藉由將從逆正交轉換部22所輸入之已被復原之預測誤差資料與從模式選擇部50所輸入之預測影像資料，進行加算，以生成解碼影像資料。然後，加算部23係將已生成之解碼影像資料，輸出至去區塊濾波器24及畫格記憶體25。

去區塊濾鏡24係進行用來減少影像編碼時所產生之區塊失真所需的濾波處理。去區塊濾波器24，係藉由將從加算部23所輸入之解碼影像資料進行過濾以去除區塊失真，將過濾後的解碼影像資料，輸出至畫格記憶體25。

畫格記憶體25，係將從加算部23所輸入之解碼影像資料、及從去區塊濾波器24所輸入之過濾後的解碼影像 資料，使用記憶媒體而加以記憶。

選擇器26，係將為了畫面內預測而被使用之過濾前的解碼影像資料，從畫格記憶體25予以讀出，將已讀出之解碼影像資料當作參照影像資料而供給至畫面內預測部30。又，選擇器26，係將為了畫面間預測而被使用之過濾後的解碼影像資料，從畫格記憶體25予以讀出，將已讀出之解碼影像資料當作參照影像資料而供給至運動探索部40。

畫面內預測部30係基於從排序緩衝區12所輸入之編碼對象之影像資料、及透過選擇器26所供給之解碼影像資料(亦即參照影像資料)，而進行各畫面內預測模式的畫面內預測處理。例如，畫面內預測部30，係將各畫面內預測模式所致之預測結果，使用所定之成本函數來進行評價。然後，畫面內預測部30，係將成本函數值呈最小的畫面內預測模式，亦即壓縮率會是最高的畫面內預測模式，選擇成為最佳的畫面內預測模式。然後，畫面內預測部30係將已選擇的畫面內預測模式之預測影像資料，連同表示該當最佳畫面內預測模式的預測模式資訊或成本函數值等之畫面內預測之相關資訊，一起輸出至模式選擇部50。

運動探索部40，係基於從排序緩衝區12所輸入之編碼對象之影像資料、及透過選擇器26所供給之解碼影像資料，而進行畫面間預測處理(畫格間預測處理)。例如，運動探索部40係將各預測模式所致之預測結果，使用所 定之成本函數來進行評價。接著，運動探索部40係將成本函數值呈最小的預測模式，亦即壓縮率會是最高的預測模式，選擇成為最佳的預測模式。又，運動探索部40係將已選擇的畫面間預測模式之預測影像資料，連同表示該當最佳畫面間預測模式的預測模式資訊或成本函數值等之畫面間預測之相關資訊，一起輸出至模式選擇部50。

模式選擇部50，係將從畫面內預測部30所輸入的關於畫面內預測的成本函數值、和從運動探索部40所輸入的關於畫面間預測的成本函數值，進行比較。然後，模式選擇部50係在畫面內預測及畫面間預測當中，選擇出成本函數值較少的預測手法。模式選擇部50係當已選擇了畫面內預測時，則將畫面內預測之相關資訊，輸出至可逆編碼部16，並且，將預測影像資料輸出至減算部13及加算部23。又，模式選擇部50係當已選擇了畫面間預測時，則將畫面間預測之相關資訊，輸出至可逆編碼部16，並且，將預測影像資料輸出至減算部13及加算部23。

[1-2.正交轉換‧量化部的構成例]

圖2係圖1所示的影像編碼裝置10的正交轉換‧量化部14的詳細構成之一例的區塊圖。參照圖2，正交轉換‧量化部14係具有：選擇部110、正交轉換部120、量化部130、量化矩陣緩衝區140、及矩陣處理部150。

(1)選擇部

選擇部110，係從尺寸不同的複數轉換單位，選擇出為了所被編碼之影像資料的正交轉換而需要使用的轉換單位(TU)。可被選擇部110所選擇的轉換單位的尺寸之候補，係例如，在H.264/AVC(Advanced Video Coding)中係包含有4×4及8×8，在HEVC(High Efficiency Video Coding)中係包含有4×4、8×8、16×16及32×32。選擇部110係可隨著例如所被編碼之影像的尺寸或是畫質、或裝置之性能等，而選擇出任一轉換單位。選擇部110所做的轉換單位之選擇，係亦可藉由開發裝置的使用者來手動調整。然後，選擇部110係將用來指定已選擇之轉換單位之尺寸的資訊，輸出至正交轉換部120、量化部130、可逆編碼部16、及逆量化部21。

(2)正交轉換部

正交轉換部120，係以被選擇部110所選擇之轉換單位，將從減算部13所供給之影像資料(亦即預測誤差資料)，進行正交轉換。正交轉換部120所執行的正交轉換，係可為例如離散餘弦轉換(DCT(Discrete Cosine Transform))或卡忽南-拉維轉換等。然後，正交轉換部120係將藉由正交轉換處理而被取得的轉換係數資料，輸出至量化部130。

(3)量化部

量化部130係使用已被選擇部110所選擇之轉換單位所對應的量化矩陣，將正交轉換部120所生成的轉換係數資料，予以量化。又，量化部130係藉由基於來自速率控 制部18的速率控制訊號來切換量化步階，以改變所被輸出之量化資料的位元速率。

又，量化部130係令可被選擇部110所選擇之複數轉換單位所分別對應的量化矩陣的集合，記憶在量化矩陣緩衝區140中。例如，像是HEVC這樣有4×4、8×8、16×16及32×32這4種尺寸之轉換單位之候補存在的情況下，這4種尺寸所分別對應的4種量化矩陣之集合，係可被量化矩陣緩衝區140所記憶。此外，針對某尺寸而使用既定之量化矩陣的情況下，亦可僅將用來表示既定量化矩陣會被使用之事實(不使用由使用者所定義之量化矩陣)的旗標，與該當尺寸建立關連，而被量化矩陣緩衝區140所記憶。

有可能被量化部130所使用的量化矩陣之集合，典型而言，係可針對編碼串流的每一序列而被設定。又，量化部130係亦可將對每一序列所設定的量化矩陣之集合，對每一圖像做更新。用來控制此種量化矩陣之集合之設定及更新所需的資訊，係可被插入在，例如，序列參數集及圖像參數集裡。

(4)量化矩陣緩衝區

量化矩陣緩衝區140，係使用半導體記憶體等之記憶媒體，將可被選擇部110所選擇之複數轉換單位所分別對應的量化矩陣的集合，予以暫時記憶。被量化矩陣緩衝區140所記憶的量化矩陣之集合，係在以下說明的矩陣處理部150所進行之處理中，會被參照。

(5)矩陣處理部

矩陣處理部150，係對編碼串流的每一序列及每一圖像，參照量化矩陣緩衝區140中所記憶的量化矩陣之集合，生成一資訊，其係用來從某1尺寸之轉換單位所對應之量化矩陣生成其他1種以上之尺寸之轉換單位所對應之量化矩陣。作為量化矩陣之生成基礎的轉換單位之尺寸，典型而言，係為複數轉換單位之尺寸當中最小之尺寸即可。亦即，像是HEVC這樣有4×4、8×8、16×16及32×32這4種尺寸之轉換單位之候補存在的情況下，可以生成，例如，從4×4之量化矩陣生成其他尺寸之量化矩陣所需的資訊。被矩陣處理部150所生成的資訊，係可含有例如後面說明的基礎矩陣資訊及差分矩陣資訊。然後，已被矩陣處理部150所生成的資訊，係被輸出至可逆編碼部16，可被插入在編碼串流的標頭內。

此外，在本說明書中，主要針對從最小尺寸之量化矩陣來生成較大尺寸之量化矩陣的例子，進行說明。然而，並不限定於所述例子，亦可設計成，從非最小之尺寸的量化矩陣，生成較小尺寸之量化矩陣、及較大尺寸之量化矩陣當中的至少一方。

[1-3.矩陣處理部的詳細構成例]

圖3係圖2所示的正交轉換‧量化部14的矩陣處理部150的更詳細構成之一例的區塊圖。參照圖3，矩陣處理部150係含有預測部152及差分演算部154。

(1)預測部

預測部152係取得量化矩陣緩衝區140中所記憶的量化矩陣之集合，從已取得之集合中所含之第1量化矩陣，來預測較大尺寸的第2量化矩陣(生成預測矩陣(亦稱作預測量化矩陣))。

預測部152係一旦從4×4的量化矩陣SL1生成了預測矩陣PSL2，則將已生成之預測矩陣PSL2，輸出至差分演算部154。又，預測部152係例如，從量化矩陣之集合中所含之8×8的量化矩陣SL2，來預測16×16的預測矩陣PSL3，將預測矩陣PSL3，輸出至差分演算部154。再者，預測部152係從量化矩陣之集合中所含之16×16的量化矩陣SL3，來預測32×32的預測矩陣PSL4，將預測矩陣PSL4，輸出至差分演算部154。又，預測部152係將用來特定上述預測矩陣PSL2、PSL3、及PSL4之生成基礎的4×4之量化矩陣SL1的基礎矩陣資訊，輸出至可逆編碼部16。

(2)差分演算部

差分演算部154係算出，將從預測部152所輸入之預測矩陣PSL2、PSL3、及PSL4與對應之量化矩陣SL2、SL3、及SL4的差分(亦稱作殘差)加以表示的差分矩陣(亦稱作殘差矩陣)DSL2、DSL3、及DSL4。

然後，差分演算部154，係將表示這些差分矩陣DSL2、DSL3、及DSL4的差分矩陣資訊，輸出至可逆編碼部16。

此外，矩陣處理部150，係針對某尺寸而使用既定之 量化矩陣的情況下，不執行該當尺寸之量化矩陣的預測與差分演算，僅將用來表示使用既定量化矩陣的旗標，與對應之尺寸建立關連而輸出至可逆編碼部16。又，差分演算部154係當預測矩陣與量化矩陣的差分為零時，可不輸出差分矩陣資訊，而僅將表示沒有差分存在的旗標，輸出至可逆編碼部16。又，矩陣處理部150，係在圖像之切換時序上，量化矩陣未被更新的情況下，則可僅將表示量化矩陣未被更新之事實的旗標，輸出至可逆編碼部16。

[1-4.矩陣處理部的詳細構成例]

圖4係表示矩陣處理部150的更詳細構成之一例的區塊圖。參照圖4，矩陣處理部150係具有：預測部161、差分矩陣生成部162、差分矩陣尺寸轉換部163、熵編碼部164、解碼部165、及輸出部166。

本技術的重點係為，於編碼側上，對於尺寸較大(例如32×32)的量化矩陣，生成、傳輸較小尺寸(例如16×16)的殘差矩陣(殘差訊號)，於解碼側上，將較小尺寸的殘差矩陣予以放大(擴增取樣)然後加算至預測量化矩陣。

作為方針係可考慮如下。

方針1：將作為閾值的最大量化矩陣予以傳輸，若為其以上的大小的情況下則進行擴增取樣的手法。若採用該手法，則能夠規定解碼器所保持之最大的量化矩陣，因此可削減使用記憶體。此時亦可將表示最大尺寸的識別資訊，從編碼 器側進行傳輸，在解碼器側上做利用。又，亦可隨應於規格的等級或設定檔來規定最大尺寸(例如，設定檔等級越高則尺寸規定成越大)。

方針2：針對每一量化矩陣，將表示是否進行擴增取樣的識別資訊、進行擴增取樣的階層，予以傳輸。若採用此手法，則當不進行擴增取樣時，解碼器係必須要支援最大尺寸的量化矩陣，但可當作壓縮的應用例來適用。

預測部161，係生成預測矩陣。如圖4所示，預測部161係具有複製部171及預測矩陣生成部172。

在複製模式的情況下，複製部171係將過去曾傳輸之量化矩陣予以複製，將其當成預測矩陣(預測出處理對象之正交轉換單位的量化矩陣)。更具體而言，複製部171係將過去曾傳輸之量化矩陣的尺寸與清單ID(ListID)，從解碼部165的記憶部202加以取得。尺寸係為表示量化矩陣之大小(例如4×4乃至32×32等)的資訊。清單ID，係為表示作為量化對象之預測誤差資料之種類的資訊。

例如，清單ID係含有用來表示其量化對象是否為：使用已被畫面內預測而成之預測影像所生成的亮度成分之預測誤差資料(IntraLuma)、使用已被畫面內預測而成之預測影像所生成的色差成分(Cr)之預測誤差資料(IntraCr)、使用已被畫面內預測而成之預測影像所生成的色差成分(Cb)之預測誤差資料(IntraCb)、或是使用已被畫面間預測而成之預測影像所生成的亮度成分之預測誤差資料 (InterLuma)的識別資訊。

複製部171，係將與已被輸入至矩陣處理部150之量化矩陣(處理對象之正交轉換單位的量化矩陣)相同尺寸的過去曾傳輸之量化矩陣，選擇成為複製對象，將該複製對象的量化矩陣的清單ID，供給至輸出部166，令其輸出至矩陣處理部150的外部(可逆編碼部16或逆量化部21)。亦即，此情況下，作為表示複製過去曾傳輸之量化矩陣而生成之預測矩陣的資訊，只有ListID會被傳輸至解碼側(被包含在編碼資料中)，因此影像編碼裝置10係可抑制量化矩陣的編碼量之增加。

又，通常的情況下，預測矩陣生成部172係從解碼部165的記憶部202取得過去曾傳輸之量化矩陣，使用該量化矩陣來生成預測矩陣(預測出處理對象之正交轉換單位的量化矩陣)。預測矩陣生成部172，係將已生成之預測矩陣，供給至差分矩陣生成部162。

差分矩陣生成部162係生成，從預測部161(預測矩陣生成部172)所供給之預測矩陣、與被輸入至矩陣處理部150之量化矩陣的差分亦即差分矩陣(殘差矩陣)。如圖4所示，差分矩陣生成部162係具有：預測矩陣尺寸轉換部181、演算部182、及量化部183。

預測矩陣尺寸轉換部181，係將從預測矩陣生成部172所供給之預測矩陣的尺寸，配合被輸入至矩陣處理部150的量化矩陣之尺寸，進行轉換(以下亦稱作convert)。

例如，當預測矩陣的尺寸大於量化矩陣的尺寸時，預 測矩陣尺寸轉換部181係將預測矩陣進行縮小轉換(以下亦稱作縮減轉換)。更具體而言，例如，若預測矩陣為16×16，量化矩陣為8×8的情況下，則預測矩陣尺寸轉換部181係將預測矩陣予以縮減轉換成8×8。此外，此縮減轉換之方法係為任意。例如，亦可設計成，預測矩陣尺寸轉換部181係使用濾波器(藉由演算)來減少預測矩陣的元素數量(以下亦稱作縮減取樣)。又，亦可設計成，例如圖5所示，預測矩陣尺寸轉換部181係不使用濾波器，藉由將一部分的元素(例如僅將2維元素的偶數部分(圖5的塗黑部分)予以抽略，以減少預測矩陣的元素數(以下亦稱作次取樣)。

又，例如，當預測矩陣的尺寸小於量化矩陣的尺寸時，預測矩陣尺寸轉換部181係將預測矩陣進行放大轉換(以下亦稱作擴增轉換)。更具體而言，例如，若預測矩陣為8×8，量化矩陣為16×16的情況下，則預測矩陣尺寸轉換部181係將預測矩陣予以擴增轉換成16×16。此外，此擴增轉換之方法係為任意。例如，亦可設計成，預測矩陣尺寸轉換部181係使用濾波器(藉由演算)來增加預測矩陣的元素數量(以下亦稱作擴增取樣)。又，亦可設計成，例如，預測矩陣尺寸轉換部181係不使用濾波器，藉由複製預測矩陣的各元素，來增加預測矩陣的元素數(以下亦稱作逆次取樣)。

預測矩陣尺寸轉換部181，係尺寸符合於量化矩陣的預測矩陣，供給至演算部182。

演算部182，係從預測矩陣尺寸轉換部181所供給的預測矩陣，減去被輸入至矩陣處理部150的量化矩陣，生成差分矩陣(殘差矩陣)。演算部182，係將所算出的差分矩陣，供給至量化部183。

量化部183，係將從演算部182所供給之差分矩陣，進行量化。量化部183，係將該差分矩陣的量化結果，供給至差分矩陣尺寸轉換部163。又，量化部183係將該量化中所使用的量化參數等之資訊，供給至輸出部166，令其輸出至矩陣處理部150的外部(可逆編碼部16或逆量化部21)。此外，亦可省略量化部183(亦即不進行差分矩陣的量化)。

差分矩陣尺寸轉換部163，係將從差分矩陣生成部162(量化部183)所供給之差分矩陣(量化資料)的尺寸，因應需要，轉換成傳輸之際所能容許之最大尺寸(以下亦稱作傳輸尺寸)。該最大尺寸係為任意，例如為8×8。

從影像編碼裝置10所輸出的編碼資料，係例如，透過傳輸路或記憶媒體，被傳輸至對應於影像編碼裝置10的影像解碼裝置，被該影像解碼裝置所解碼。在影像編碼裝置10中係被設定了，該傳輸上、亦即從影像編碼裝置10所輸出之編碼資料的，差分矩陣(量化資料)的尺寸上限(最大尺寸)。

差分矩陣尺寸轉換部163，係當差分矩陣的尺寸是大於該最大尺寸時，則將差分矩陣予以縮減轉換，使其變成最大尺寸以下。

此外，此縮減轉換之方法，係和上述的預測矩陣的縮減轉換同樣地，可為任意。例如，可以是使用濾波器等的縮減取樣，也可以是將元素進行抽略的次取樣。

又，縮減轉換後的差分矩陣的尺寸，係只要小於最大尺寸即可，可為任意尺寸。只不過，一般而言，轉換前後的尺寸差異越大則誤差會越大，因此縮減轉換成最大尺寸，較為理想。

差分矩陣尺寸轉換部163，係將縮減轉換後的差分矩陣，供給至熵編碼部164。此外，當差分矩陣的尺寸是小於最大尺寸時，則不需要該縮減轉換，因此差分矩陣尺寸轉換部163，係將已被輸入之差分矩陣，直接供給至熵編碼部164(亦即，縮減轉換係被省略)。

熵編碼部164，係將從差分矩陣尺寸轉換部163所供給之差分矩陣(量化資料)，以所定的方法進行編碼。如圖4所示，熵編碼部164係具有：重複判定部(135degree部)191、DPCM(Differential Pulse Code Modulation)部192、及expG部193。

重複判定部191係判定從差分矩陣尺寸轉換部163所供給之差分矩陣的對稱性，若為殘差是135度之對象矩陣，則例如圖6所示，將重複的資料亦即對稱部分的資料(矩陣元素)予以刪除。若非殘差為135度之對象矩陣，則重複判定部191係省略該資料(矩陣元素)的刪除。重複判定部191，係將因應需要而刪除了對稱部分的差分矩陣的資料，供給至DPCM部192。

DPCM部192，係將從重複判定部191所供給的、因應需要而刪除了對稱部分的差分矩陣的資料，進行DPCM編碼，生成DPCM資料。DPCM部192，係將已生成之DPCM資料，供給至expG部193。

expG部193係對從DPCM部192所供給之DPCM資料，進行帶符號、不帶符號的exponential golmb編碼(以下亦稱作擴充格倫布編碼)。expG部193，係將該編碼結果，供給至解碼部165及輸出部166。

解碼部165，係從expG部193所供給之資料，復原出量化矩陣。解碼部165，係將已復原之量化矩陣的相關資訊，當作過去曾傳輸之量化矩陣，供給至預測部161。

如圖4所示，解碼部165係具有量化矩陣復原部201及記憶部202。

量化矩陣復原部201係將從熵編碼部164(expG部193)所供給之擴充格倫布碼予以解碼，將被輸入至矩陣處理部150的量化矩陣，予以復原。例如，量化矩陣復原部201係將擴充格倫布碼以對應於熵編碼部164之編碼方法的方法，進行解碼，以差分矩陣尺寸轉換部163進行尺寸轉換的逆轉換，以量化部183進行對應於量化的逆量化，將所得到的差分矩陣，從預測矩陣予以扣除，藉此以復原出量化矩陣。

量化矩陣復原部201，係將已復原之量化矩陣，供給至記憶部202，將其尺寸與清單ID建立關連而記憶。

記憶部202，係將從量化矩陣復原部201所供給之量 化矩陣的相關資訊，予以記憶。該記憶部202中所記憶的量化矩陣的相關資訊，係在時間上較後處理之其他正交轉換單位的預測矩陣生成時，會被利用。亦即，記憶部202，係將所記憶的量化矩陣的相關資訊，當作過去曾傳輸之量化矩陣的相關資訊，而供給至預測部161。

此外，記憶部202係亦可不如此記憶已被復原之量化矩陣的相關資訊，改成將被輸入至矩陣處理部150的量化矩陣，和其尺寸或清單ID建立關連而記憶。此時，可以省略量化矩陣復原部201。

輸出部166，係將所被供給之各種資訊，輸出至矩陣處理部150的外部。例如，若為複製模式，則輸出部166係將從複製部171所供給的預測矩陣的清單ID，供給至可逆編碼部16及逆量化部21。又，例如，若為通常的情況，則輸出部166係將從expG部193所供給的擴充格倫布碼、及從量化部183所供給的量化參數，供給至可逆編碼部16及逆量化部21。

又，輸出部166，係將量化矩陣(量化矩陣和與該預測矩陣之差分矩陣)的傳輸之際所能容許之最大尺寸(傳輸尺寸)予以表示的識別資訊，當作用來在解碼側上生成量化矩陣所需的資訊，而供給至可逆編碼部16。可逆編碼部16，係如上述，將用來生成該量化矩陣所需的資訊，包含在編碼串流中，提供至解碼側。此外，亦可將表示該傳輸尺寸的識別資訊，隨著等級或設定檔等而預先規定好。此時，該傳輸尺寸的相關資訊，係事前就被編碼側的裝置與 解碼側的裝置所共用，因此可以省略上述的識別資訊之傳輸。

如以上，矩陣處理部150係將所傳輸的量化矩陣(差分矩陣)的尺寸，縮減轉換成傳輸大小以下，因此，影像編碼裝置10係可抑制量化矩陣的編碼量之增加。

[1-5.量化矩陣編碼處理的流程]

其次，參照圖7的流程圖，說明圖4之矩陣處理部150所執行的量化矩陣編碼處理之流程例。

一旦量化矩陣編碼處理開始，則於步驟S101中，預測部161係以處理對象之正交轉換單位，取得目前領域(亦稱注目領域)的量化矩陣。

步驟S102中，預測部161係判定是否為複製模式。若判定為非複製模式，則預測部161係使處理前進至步驟S103。

於步驟S103中，預測矩陣生成部172係將過去曾被傳輸之量化矩陣，從記憶部202加以取得，使用該量化矩陣，來生成預測矩陣。

於步驟S104中，預測矩陣尺寸轉換部181係判定，於步驟S103中所生成的預測矩陣之尺寸，是否與步驟S101中所取得之目前領域(注目領域)的量化矩陣不同。若判定為尺寸不同，則預測矩陣尺寸轉換部181係使處理前進至步驟S105。

於步驟S105中，預測矩陣尺寸轉換部181係將步驟 S103中所生成的預測矩陣之尺寸，轉換成步驟S101中所取得之目前領域的量化矩陣之尺寸。

一旦步驟S105的處理結束，則預測矩陣尺寸轉換部181係使處理前進至步驟S106。又，於步驟S104中，當判定為預測矩陣之尺寸與量化矩陣之尺寸是同一時，則預測矩陣尺寸轉換部181係省略步驟S105之處理(不進行步驟S105之處理)，使處理前進至步驟S106。

於步驟S106中，演算部182係從預測矩陣減去量化矩陣，算出預測矩陣與量化矩陣的差分矩陣。

於步驟S107中，量化部183係將步驟S106中所生成之差分矩陣，予以量化。此外，該處理亦可省略。

於步驟S108中，差分矩陣尺寸轉換部163係判定，已被量化的差分矩陣的尺寸，是否大於傳輸尺寸(傳輸之際所能容許之最大尺寸)。若判定為大於傳輸尺寸，則差分矩陣尺寸轉換部163，係使處理前進至步驟S109，將差分矩陣縮減轉換成傳輸大小以下。

一旦結束步驟S109的處理，則差分矩陣尺寸轉換部163係使處理前進至步驟S110。又，於步驟S108中，當判定為已被量化之差分矩陣的尺寸是傳輸大小以下時，則差分矩陣尺寸轉換部163係省略步驟S109之處理(不進行步驟S109之處理)，使處理前進至步驟S110。

於步驟S110中，重複判定部191係判定已被量化之差分矩陣，是否具有135度之對稱性。若判定為具有135度之對稱性，則重複判定部191係使處理前進至步驟 S111。

於步驟S111中，重複判定部191係將已被量化之差分矩陣的重複部分(重複資料)予以刪除。一旦刪除了重複資料，則重複判定部191係使處理前進至步驟S112。

又，於步驟S110中，若判定為已被量化之差分矩陣不具有135度之對稱性，則重複判定部191係省略步驟S111之處理(不進行步驟S111之處理)，使處理前進至步驟S112。

於步驟S112中，DPCM部192係適宜地將重複部分刪除後的差分矩陣，進行DPCM編碼。

於步驟S113中，expG部193係判定，步驟S112中所生成的DPCM資料，是否存在表示正負的符號。若判定為有符號存在，則expG部193係使處理前進至步驟S114。

於步驟S114中，expG部193係對DPCM資料，進行帶符號的擴充格倫布編碼。輸出部166，係將已被生成之擴充格倫布碼，輸出至可逆編碼部16及逆量化部21。一旦步驟S114的處理結束，則expG部193係使處理前進至步驟S116。

又，於步驟S113中，若判定為沒有符號存在，則expG部193係使處理前進至步驟S115。

於步驟S115中，expG部193係對DPCM資料，進行不帶符號的擴充格倫布編碼。輸出部166，係將已被生成之擴充格倫布碼，輸出至可逆編碼部16及逆量化部21。 一旦步驟S115的處理結束，則expG部193係使處理前進至步驟S116。

又，於步驟S102中，若判定為是複製模式，則複製部171，係將過去曾被傳輸之量化矩陣予以複製，將其當作預測矩陣。輸出部166，係將該預測矩陣所對應之清單ID，當作表示預測矩陣的資訊，而輸出至可逆編碼部16及逆量化部21。然後，複製部171係令處理前進至步驟S116。

於步驟S116中，量化矩陣復原部201係將量化矩陣予以復原。於步驟S117中，記憶部202係將步驟S116中所復原之量化矩陣，加以記憶。

一旦步驟S117的處理結束，則矩陣處理部150係結束量化矩陣編碼處理。

矩陣處理部150，係藉由如上進行處理，影像編碼裝置10就可抑制量化矩陣的編碼量之增加。

[1-6.語法]

圖8乃至圖13係為適用本技術時的語法的例子的圖示。如圖8乃至圖13所示，關於量化矩陣的各種參數或旗標，係例如被附加至編碼資料中而傳輸至解碼側。此外，附加這些資訊的編碼資料之位置，係為任意。又，亦可將這些資訊，獨立於編碼資料而另行傳輸至解碼側。

[1-7.量化尺度]

此處說明圖12所記載之第1量化尺度乃至第4量化尺度。4種類的量化尺度(Qscale0乃至Qscale3)，會被特定。這些量化尺度，係為了將量化矩陣之各元素的值予以量化以使編碼量變得較少，而能採用的參數。

更具體而言，例如，對8×8的量化矩陣，定義如圖14及圖15所示的4個量化尺度設定領域A1乃至A4。量化尺度設定領域A1，係為對應於含DC成分之低頻訊號的元素群所需的領域。

量化尺度設定領域A2及A3，係分別為對應於中頻訊號的元素群所需的領域。量化尺度設定領域A4，係為對應於高頻訊號的元素群所需的領域。針對此種每一領域，可以設定用來將量化矩陣之要素的值予以量化所需的量化尺度。

例如，若參照圖15，則針對量化尺度設定領域A1的第1量化尺度(Qscale0)係為"1"。這意味著，針對對應於低頻訊號之元素群，量化矩陣之值係不被量化。

相對於此，針對量化尺度設定領域A2的第2量化尺度(Qscale1)係為"2"。針對量化尺度設定領域A3的第3量化尺度(Qscale2)係為"3"。針對量化尺度設定領域A4的第4量化尺度(Qscale3)係為"4"。量化尺度越大，則量化所產生的誤差會越增加。

然而，一般而言，針對高頻訊號，係可容許某種程度的誤差。因此，當希望達成高編碼效率時，藉由量化矩陣之量化所需的此種量化尺度之設定，就可不使畫質大幅劣 化，就能有效削減量化矩陣之定義所需的編碼量。

此外，圖14及圖15所示的量化尺度設定領域之配置，係僅為一例。例如，亦可對量化矩陣的每一尺寸定義不同數量的量化尺度設定領域(例如尺寸越大則可定義越多的量化尺度設定領域)。

又，量化尺度設定領域的邊界之位置也不限定於圖14的例子。通常，將量化矩陣予以一維化之際的掃描模態，係為曲折掃描。因此，採用如圖14所示般地從右上往左下的斜向之領域交界，較為理想。

然而，亦可隨著量化矩陣的元素間的相關，或是所使用的掃描模態等，而採用沿著縱方向或橫方向的領域交界。亦即，領域交界的傾斜角度係為任意，亦可從複數候補之中，選擇出所望之角度的傾斜模態。甚至，量化尺度設定領域的配置(領域之數目及邊界之位置或傾斜等)，係亦可就編碼效率的觀點而做適應性選擇。例如，亦可為，當定義了接近平坦的量化矩陣時，則選擇較為少數的量化尺度設定領域。

接著說明，本揭露的一實施形態所述之影像解碼裝置的構成例。

[1-8.影像解碼裝置的全體構成例]

圖16係本揭露之一實施形態所述之影像解碼裝置300之構成之一例的區塊圖。圖16所示的影像解碼裝置300，係將影像編碼裝置10所生成之編碼資料予以解碼， 是適用了本技術的影像處理裝置。參照圖16，影像解碼裝置300係具有：積存緩衝區311、可逆解碼部312、逆量化‧逆正交轉換部313、加算部315、去區塊濾波器316、排序緩衝區317、D/A(Digital to Analogue)轉換部318、畫格記憶體319、選擇器320及321、畫面內預測部330、以及運動補償部340。

積存緩衝區311，係將透過傳輸路所輸入之編碼串流，使用記憶媒體而予以暫時積存。

可逆解碼部312，係將從積存緩衝區311所輸入之編碼串流，依照編碼之際所使用過的編碼方式來進行解碼。又，可逆解碼部312係將被多工化在編碼串流的標頭領域中的資訊，予以解碼。所謂被多工化至編碼串流之標頭領域的資訊係可包含有，例如，上述的為了生成量化矩陣所需的基礎矩陣資訊及差分矩陣資訊、以及區塊標頭內的畫面內預測之相關資訊及畫面間預測之相關資訊。可逆解碼部312，係將用來生成解碼後之量化資料及量化矩陣所需的資訊，輸出至逆量化‧逆正交轉換部313。又，可逆解碼部312係將畫面內預測之相關資訊，輸出至畫面內預測部330。又，可逆解碼部312係將畫面間預測之相關資訊，輸出至運動補償部340。

逆量化‧逆正交轉換部313，係藉由針對從可逆解碼部312所輸入之量化資料，進行逆量化及逆正交轉換，以生成預測誤差資料。然後，逆量化‧逆正交轉換部313係將已生成之預測誤差資料，輸出至加算部315。

加算部315，係藉由將從逆量化‧逆正交轉換部313所輸入之預測誤差資料、與從選擇器321所輸入之預測影像資料，進行加算，以生成解碼影像資料。然後，加算部315係將已生成之解碼影像資料，輸出至去區塊濾波器316及畫格記憶體319。

去區塊濾波器316，係藉由將從加算部315所輸入之解碼影像資料進行過濾以去除區塊失真，將過濾後的解碼影像資料，輸出至排序緩衝區317及畫格記憶體319。

排序緩衝區317，係從去區塊濾波器316所輸入之影像予以排序，藉此以生成時間序列的一連串之影像資料。然後，排序緩衝區317係將已生成之影像資料，輸出至D/A轉換部318。

D/A轉換部318，係將從排序緩衝區317所輸入之數位形式的影像資料，轉換成類比形式的影像訊號。然後，D/A轉換部318係例如藉由對與影像解碼裝置300連接之顯示器(未圖示)輸出類比影像訊號，以顯示影像。

畫格記憶體319，係將從加算部315所輸入之過濾前的解碼影像資料、及從去區塊濾波器316所輸入之過濾後的解碼影像資料，使用記憶媒體而加以記憶。

選擇器320，係隨應於由可逆解碼部312所取得的模式資訊，對影像內的每一區塊，將來自畫格記憶體319的影像資料的輸出目標，在畫面內預測部330與運動補償部340之間做切換。例如，選擇器320係當畫面內預測模式已被指定時，則將從畫格記憶體319所供給之過濾前的解 碼影像資料，當作參照影像資料而輸出至畫面內預測部330。又，選擇器320係當畫面間預測模式已被指定時，則將從畫格記憶體319所供給之過濾後的解碼影像資料，當作參照影像資料而輸出至運動補償部340。

選擇器321，係隨應於由可逆解碼部312所取得的模式資訊，對影像內的每一區塊，將應該供給至加算部315的預測影像資料之輸出來源，在畫面內預測部330與運動補償部340之間做切換。例如，選擇器321係當畫面內預測模式已被指定時，則將從畫面內預測部330所輸出之預測影像資料，供給至加算部315。選擇器321係當畫面間預測模式已被指定時，則將從運動補償部340所輸出之預測影像資料，供給至加算部315。

畫面內預測部330，係基於從可逆解碼部312所輸入之畫面內預測之相關資訊和來自畫格記憶體319的參照影像資料而進行像素值的畫面內預測，生成預測影像資料。然後，畫面內預測部330係將已生成之預測影像資料，輸出至選擇器321。

運動補償部340，係基於從可逆解碼部312所輸入之畫面間預測之相關資訊和來自畫格記憶體319的參照影像資料而進行運動補償處理，生成預測影像資料。然後，運動補償部340係將已生成之預測影像資料，輸出至選擇器321。

[1-9.逆量化‧逆正交轉換部的構成例]

圖17係圖16所示的影像解碼裝置300的逆量化‧逆正交轉換部313的主要構成之一例的區塊圖。參照圖17，逆量化‧逆正交轉換部313係具有：矩陣生成部410、選擇部430、逆量化部440、及逆正交轉換部450。

(1)矩陣生成部

矩陣生成部410係對編碼串流的每一序列及每一圖像，從某1尺寸之轉換單位所對應之量化矩陣，生成其他1種以上之尺寸之轉換單位所對應之量化矩陣。作為量化矩陣之生成基礎的轉換單位之尺寸，典型而言，係為複數轉換單位之尺寸當中最小之尺寸即可。在本實施形態中，矩陣生成部410係從最小尺寸的4×4的量化矩陣陣，使用針對較大尺寸的差分矩陣資訊，生成8×8、16×16及32×32的量化矩陣。

(2)選擇部

選擇部430，係從尺寸不同的複數轉換單位，選擇出為了所被解碼之影像資料的逆正交轉換而需要使用的轉換單位(TU)。可被選擇部430所選擇的轉換單位的尺寸之候補，係例如，在H.264/AVC中係包含有4×4及8×8，在HEVC中係包含有4×4、8×8、16×16及32×32。選擇部430係可例如基於編碼串流的標頭內所含之LCU、SCU、及split_flag，來選擇轉換單位。然後，選擇部430係將用來指定已選擇之轉換單位之尺寸的資訊，輸出至逆量化部440及逆正交轉換部450。

(3)逆量化部

逆量化部440係使用已被選擇部430所選擇之轉換單位所對應的量化矩陣，在影像編碼之際將已被量化之轉換係數資料予以逆量化。此處逆量化處理所需使用的量化矩陣，係含有矩陣生成部410所生成的矩陣。亦即，例如當被選擇部430選擇了8×8、16×16、或32×32的轉換單位時，作為已被選擇之轉換單位所對應的量化矩陣，可使用被矩陣生成部410從4×4之量化矩陣所生成的量化矩陣。然後，逆量化部440係將逆量化後的轉換係數資料，輸出至逆正交轉換部450。

(4)逆正交轉換部

逆正交轉換部450係依照編碼之際所使用的正交轉換方式，將已被逆量化部440所逆量化的轉換係數資料，以上記所選擇的轉換單位，進行逆正交轉換，藉此以生成預測誤差資料。然後，逆正交轉換部450係將已生成之預測誤差資料，輸出至加算部315。

[1-10.矩陣生成部的構成例]

圖18係圖17所示的逆量化‧逆正交轉換部313的矩陣生成部410的更詳細構成之一例的區塊圖。參照圖18，矩陣生成部410係具有：基礎矩陣取得部512、差分取得部514、預測部516、重建部518、及量化矩陣緩衝區520。

(1)基礎矩陣取得部

基礎矩陣取得部512係取得從可逆解碼部312所輸入 的基礎矩陣資訊。於本實施形態中，基礎矩陣資訊係如上述，例如是將最小的尺寸亦即4×4(或8×8)之量化矩陣SL1予以特定的資訊。然後，基礎矩陣取得部512係將從已取得之基礎矩陣資訊所特定的4×4的量化矩陣SL1，記憶在量化矩陣緩衝區520中。此外，基礎矩陣取得部512，係若每序列或每圖像所取得之矩陣種別旗標為「0」，則不會取得基礎矩陣資訊，將既定的4×4之量化矩陣，記憶在量化矩陣緩衝區520中。又，基礎矩陣取得部512係若每圖像所取得之更新旗標是「0」，則不更新藉由以前處理而被記憶在量化矩陣緩衝區520中的量化矩陣SL1。又，基礎矩陣取得部512係將4×4的量化矩陣SL1，輸出至預測部516。

(2)差分取得部

差分取得部514，係將從可逆解碼部312所輸入的差分矩陣資訊(殘差矩陣資訊)，加以取得。在本實施形態中，差分矩陣資訊係如上述，是一資訊用來特定出，將從4×4之量化矩陣SL1所被預測的預測矩陣PSL2、PSL3、及PSL4與量化矩陣SL2、SL3、及SL4之差分加以表示的差分矩陣DSL2、DSL3、及DSL4。差分取得部514，係將被差分矩陣資訊所特定之差分矩陣DSL2、DSL3、及DSL4，輸出至重建部518。此外，差分取得部514，係若每序列或每圖像所取得之矩陣種別旗標為「0」、或差分旗標為「0」，則不取得差分矩陣資訊，將對應尺寸的差分矩陣，視為零矩陣。又，差分取得部514，係若每圖像 所取得之更新旗標是「0」，則針對對應之尺寸，不輸出差分矩陣。

(3)預測部

預測部516係從基礎矩陣取得部512所輸入之基礎矩陣、亦即本實施形態中係從4×4的量化矩陣SL1，算出較大尺寸的8×8之預測矩陣PSL2。又，預測部516係從使用已被算出之8×8的預測矩陣PSL2而被重建部518所重建之量化矩陣SL2，算出16×16的預測矩陣PSL3。然後，預測部516係從使用已被算出之16×16的預測矩陣PSL3而被重建部518所重建之量化矩陣SL3，算出32×32的預測矩陣PSL4。預測部516，係將預測矩陣PSL2、PSL3、及PSL4，分別輸出至重建部518。此外，預測部516，係針對矩陣種別旗標為「0」的尺寸則不生成預測矩陣，為了算出較大尺寸的預測矩陣，而會使用既定的量化矩陣。又，基礎矩陣取得部512係針對更新旗標為「0」的尺寸也不生成預測矩陣，為了算出較大尺寸的預測矩陣，而會使用以前處理所生成的量化矩陣。

(4)重建部

重建部518係藉由將從預測部516所輸入之預測矩陣PSL2、PSL3、及PSL4與從差分取得部514所輸入之差分矩陣DSL2、DSL3、及DSL4進行加算，以分別重建量化矩陣SL2、SL3、及SL4。

然後，重建部518係將已重建之8×8、16×16、及32×32的量化矩陣SL2、SL3、及SL4，記憶在量化矩陣緩 衝區520中。此外，重建部518，係若每序列或每圖像所取得之矩陣種別旗標為「0」，則將既定的量化矩陣，記憶在量化矩陣緩衝區520中，作為對應尺寸之量化矩陣。又，基礎矩陣取得部512係若每圖像所取得之更新旗標是「0」，則不更新藉由以前處理而被記憶在量化矩陣緩衝區520中的對應尺寸之量化矩陣SL2、SL3、或SL4。

(5)量化矩陣緩衝區

量化矩陣緩衝區520，係將藉由基礎矩陣取得部512而被特定的量化矩陣SL1、以及藉由重建部518而被重建的量化矩陣SL2、SL3、及SL4，予以暫時記憶。被量化矩陣緩衝區520所記憶的這些量化矩陣SL1、SL2、SL3、及SL4，係被使用於已被量化之轉換係數資料的藉由逆量化部440所致之逆量化處理。

[1-11.矩陣生成部的詳細構成例]

圖19係圖18所示的矩陣生成部410的更詳細構成之一例的區塊圖。參照圖19，矩陣生成部410係具有：參數解析部531、預測部532、熵解碼部533、量化矩陣復原部534、輸出部535、及記憶部536。

參數解析部531，係將從可逆解碼部312所供給之關於量化矩陣的各種旗標或參數，加以解析。又，參數解析部531係按照該解析結果，而將從可逆解碼部312所供給的差分矩陣之編碼資料等各種資訊，供給至預測部532或熵解碼部533。

例如，參數解析部531係若pred_mode為0，則判斷是複製模式，將pred_matrix_id_delta供給至複製部541。又，例如，參數解析部531係若pred_mode為1，則判斷是全掃描模式(通常情形)，將pred_matrix_id_delta及pred_size_id_delta，供給至預測矩陣生成部542。

又，參數解析部531係當例如residual_flag是true時，則將從可逆解碼部312所供給之量化矩陣的編碼資料(擴充格倫布碼)，供給至熵解碼部533的expG部551。然後，參數解析部531係將residual_symmetry_flag，供給至expG部551。

然後，參數解析部531係將residual_down_sampling_flag，供給至量化矩陣復原部534的差分矩陣尺寸轉換部562。

預測部532，係依照參數解析部531的控制，而生成預測矩陣。如圖19所示，預測部532係具有複製部541及預測矩陣生成部542。

複製部541，係當複製模式的時候，則將過去曾被傳輸之量化矩陣予以複製，將其當作預測矩陣。更具體而言，複製部541，係將對應於pred_matrix_id_delta的、與目前領域之量化矩陣同一尺寸的過去曾被傳輸之量化矩陣，從記憶部536中讀出，將該量化矩陣視為預測影像，將其預測影像，供給至輸出部535。

預測矩陣生成部542，係在通常情況下，則是使用過去曾被傳輸之量化矩陣來生成(預測)出預測矩陣。更具體 而言，預測矩陣生成部542係將pred_matrix_id_delta及pred_size_id_delta所對應的過去曾被傳輸之量化矩陣，從記憶部536中讀出，使用其來生成預測矩陣。亦即，預測矩陣生成部542係生成，與影像編碼裝置10之預測矩陣生成部172(圖4)所生成之預測矩陣同樣的預測矩陣。預測矩陣生成部542，係將已生成之預測矩陣，供給至量化矩陣復原部534的預測矩陣尺寸轉換部561。

熵解碼部533，係從參數解析部531所供給之擴充格倫布碼，復原出差分矩陣。如圖19所示，熵解碼部533係具有：expG部551、逆DPCM部552、及逆重複判定部553。

expG部551，係進行帶符號或不帶符號的exponential golmb解碼(以下亦稱作擴充格倫布解碼)，將DPCM資料予以復原。expG部551係將已復原之DPCM資料，連同residual_symmetry_flag，一起供給至逆DPCM部552。

逆DPCM部552，係對已被刪除重複部分的資料，進行DPCM解碼，從DPCM資料生成出殘差資料。逆DPCM部552，係將已生成之殘差資料，連同residual_symmetry_flag，一起供給至逆重複判定部553。

逆重複判定部553，係當residual_symmetry_flag為true時，亦即殘差資料是已被刪除了135度之對象矩陣的重複之對稱部分的資料(矩陣元素)時，則將該對稱部分的資料予以復原。亦即，135度之對象矩陣的差分矩陣，會 被復原。此外，若residual_symmetry_flag並非true，亦即殘差資料並非135度之對象矩陣之矩陣時，則逆重複判定部553係不進行對稱部分資料之復原，將該殘差資料視為差分矩陣。逆重複判定部553，係將如此所復原之差分矩陣，供給至量化矩陣復原部534(差分矩陣尺寸轉換部562)。

量化矩陣復原部534，係將量化矩陣予以復原。如圖19所示，量化矩陣復原部534係具有：預測矩陣尺寸轉換部561、差分矩陣尺寸轉換部562、逆量化部563、及演算部564。

預測矩陣尺寸轉換部561，係若從預測部532(預測矩陣生成部542)所供給之預測矩陣的尺寸，是與所被復原之目前領域的量化矩陣的尺寸不同，則將該預測矩陣之尺寸進行轉換。

例如，當預測矩陣的尺寸大於量化矩陣的尺寸時，則預測矩陣尺寸轉換部561係將預測矩陣進行縮減轉換。又例如，當預測矩陣的尺寸小於量化矩陣的尺寸時，則預測矩陣尺寸轉換部561係將預測矩陣進行擴增轉換。轉換之方法，係選擇與影像編碼裝置10之預測矩陣尺寸轉換部181(圖4)相同的方法。

預測矩陣尺寸轉換部561，係尺寸符合於量化矩陣的預測矩陣，供給至演算部564。

差分矩陣尺寸轉換部562，係若residual_down_sampling_flag為true，亦即，被傳輸之差分矩陣的尺寸係 小於進行逆量化之目前領域的尺寸時，則將該差分矩陣的尺寸擴增轉換成相應於進行逆量化之目前領域的尺寸。擴增轉換之方法係為任意。例如，亦可對應於，影像編碼裝置10的差分矩陣尺寸轉換部163(圖4)所進行之縮減轉換的方法。

例如，亦可為，當差分矩陣尺寸轉換部163將差分矩陣進行縮減取樣時，則差分矩陣尺寸轉換部562係將該差分矩陣進行擴增取樣。又，亦可為，當差分矩陣尺寸轉換部163將差分矩陣進行次取樣時，則差分矩陣尺寸轉換部562係將該差分矩陣進行逆次取樣。

例如，亦可為，差分矩陣尺寸轉換部562係不是進行一般的線性內插，而是如圖20所示，是以最近鄰內插處理(nearest neighbor)來進行內插。藉由使用該最近鄰內插處理，就可減少進行保持的記憶體。

藉此，即使不傳輸尺寸較大的量化矩陣，從尺寸較小的量化矩陣進行擴增取樣之際，仍不需要保持擴增取樣後的資料，在儲存進行擴增取樣之際的演算所伴隨之資料時，也不需要中間緩衝區等。

此外，若residual_down_sampling_flag非true，亦即，差分矩陣是以被量化處理時的尺寸而進行傳輸時，則差分矩陣尺寸轉換部562，係省略差分矩陣的擴增轉換(或是亦可進行1倍之擴增轉換)。

差分矩陣尺寸轉換部562，係將如此因應需要而被擴增轉換過的差分矩陣，供給至逆量化部563。

逆量化部563，係以對應於影像編碼裝置10之量化部183(圖4)之量化的方法，將所被供給之差分矩陣(量化資料)進行逆量化，將已被逆量化之差分矩陣，供給至演算部564。此外，當量化部183被省略時，亦即從差分矩陣尺寸轉換部562所供給之差分矩陣並非量化資料時，則亦可省略該逆量化部563。

演算部564，係將從預測矩陣尺寸轉換部561所供給的預測矩陣，和從逆量化部563所供給之差分矩陣，進行加算，將目前領域的量化矩陣予以復原。演算部564係將已復原之量化矩陣，供給至輸出部535及記憶部536。

輸出部535，係將所被供給之資訊，輸出至矩陣生成部410的外部。例如，若為複製模式，則輸出部535係將從複製部541所供給的預測矩陣，當作目前領域的量化矩陣，供給至逆量化部440。又，例如，若為通常情形，則輸出部535係將從量化矩陣復原部534(演算部564)所供給之目前領域的量化矩陣，供給至逆量化部440。

記憶部536，係將從量化矩陣復原部534(演算部564)所供給之量化矩陣，連同其尺寸或清單ID，一併加以記憶。該記憶部536中所記憶的量化矩陣的相關資訊，係在時間上較後處理之其他正交轉換單位的預測矩陣生成時，會被利用。亦即，記憶部536，係將所記憶的量化矩陣的相關資訊，當作過去曾被傳輸之量化矩陣的相關資訊，而供給至預測部532。

如以上，矩陣生成部410係將傳輸大小以下之尺寸的 量化矩陣(差分矩陣)予以擴增轉換成為進行逆量化的目前領域所相應之尺寸，因此影像解碼裝置300係可抑制量化矩陣的編碼量之增加。

[1-12.量化矩陣解碼處理的流程]

參照圖21的流程圖，說明被如以上之矩陣生成部410所執行的量化矩陣解碼處理的流程例。

一旦量化矩陣解碼處理開始，則於步驟S301中，參數解析部531係讀取領域0乃至領域3的量化值(Qscale0乃至Qscale3)。

參數解析部531，係於步驟S302中，讀取pred_mode，於步驟S303中，判定pred_mode是否為0。若判定pred_mode為0，則參數解析部531係判定為複製模式，使處理前進至步驟S304。

於步驟S304中，參數解析部531係讀取pred_matrix_id_delta。於步驟S305中，複製部541係將已經傳輸之量化矩陣予以複製，當作預測矩陣。若為複製模式時，則該預測矩陣係被當成目前領域的量化矩陣而輸出。一旦步驟S305的處理結束，則複製部541係結束量化矩陣編碼處理。

又，於步驟S303中，若判定為pred_mode非0，則參數解析部531係判定為全掃描模式(通常的情形)，使處理前進至步驟S306。

於步驟S306中，參數解析部531係讀取pred_ matrix_id_delta、pred_size_id_delta、及residual_flag。於步驟S307中，預測矩陣生成部542係從已經傳輸之量化矩陣，生成出預測矩陣。

步驟S308中，參數解析部531係判定residual_flag是否為true。若判定為residual_flag非true，則由於殘差矩陣不存在，因此於步驟S307中所生成之預測矩陣，係被當成目前領域的量化矩陣而輸出。因此，此時，參數解析部531係結束量化矩陣編碼處理。

又，於步驟S308中，若對定為residual_flag是true，則參數解析部531係使處理前進至步驟S309。

於步驟S309中，參數解析部531係讀取residal_down_sampling_flag及residual_symmetry_flag。

於步驟S310中，expG部551及逆DPCM部552係將殘差矩陣的擴充格倫布碼予以解碼，生成殘差資料。

步驟S311中，逆重複判定部553係判定residual_symmetry_flag是否為true。若判定為residual_symmetry_flag是true，則逆重複判定部553係使處理前進至步驟S312，將該殘差資料的已被刪除之重複部分，予以復原(進行inverse symmetry處理)。一旦如此生成135度之對象矩陣的差分矩陣，則逆重複判定部553係使處理前進至步驟S313。

又，於步驟S311中，若判定為residual_symmetry_flag非true(殘差資料並非135度之對象矩陣的差分矩陣時)，則逆重複判定部553係省略步驟S312之處理(不進 行inverse symmetry處理)，使處理前進至步驟S313。

步驟S313中，差分矩陣尺寸轉換部562係判定residal_down_sampling_flag是否為true。若判定為residal_down_sampling_flag是true，則差分矩陣尺寸轉換部562，係使處理前進至步驟S314，將差分矩陣予以擴增轉換成，相應於進行逆量化之目前領域的尺寸。一旦將差分矩陣予以擴增轉換，則差分矩陣尺寸轉換部562係使處理前進至步驟S315。

又，於步驟S313中，若判定為residal_down_sampling_flag非true，則差分矩陣尺寸轉換部562，係省略步驟S312之處理(不將差分矩陣進行擴增轉換)，使處理前進至步驟S315。

於步驟S315中，演算部564係對預測矩陣加算差分矩陣，生成目前領域的量化矩陣。一旦步驟S315的處理結束，則量化矩陣編碼處理就會結束。

如以上所述，藉由進行量化矩陣解碼處理，影像解碼裝置300係可抑制量化矩陣的編碼量之增加。

<2.第2實施形態> [2-1.矩陣處理部的其他例]

圖22係適用了本技術的矩陣處理部150的另一構成例之區塊圖。

在圖22之例子的情形，矩陣處理部150係省略了圖4之構成的差分矩陣尺寸轉換部163。亦即，量化部183 的輸出，係被供給至熵編碼部164的重複判定部191。

又，圖22的矩陣處理部150係具有量化矩陣尺寸轉換部601。

量化矩陣尺寸轉換部601係將被輸入至矩陣處理部150的量化係數的尺寸，轉換成傳輸之際的最大尺寸(傳輸尺寸)以下的所定尺寸。該轉換後的尺寸係只要是傳輸大小以下即可為任意，但藉由設成可能範圍之最小尺寸，就能儘可能地減少量化矩陣的編碼量，並且可將量化矩陣尺寸轉換部601或預測矩陣尺寸轉換部181的處理設計成只有縮減轉換，可將量化矩陣尺寸轉換部601或預測矩陣尺寸轉換部181的處理予以簡化(容易化)。

此時，預測矩陣尺寸轉換部181係將預測矩陣，轉換成該量化矩陣的縮減轉換後的尺寸。

此外，與第1實施形態的情況同樣地，這些轉換(縮減轉換)的方法係為任意，亦可為縮減取樣、也可為次取樣。

亦即，此情況下，與量化矩陣尺寸轉換部601所做的轉換後的量化矩陣相同尺寸的差分矩陣，係被編碼而傳輸。

因此，此情況下影像編碼裝置10係也和第1實施形態的情況同樣地，可抑制量化矩陣的編碼量之增加。

[2-2.量化矩陣編碼處理之流程的其他例]

此時的量化矩陣編碼處理之流程，係如圖23所示的 流程圖。

亦即，一旦量化矩陣編碼處理開始，則量化矩陣尺寸轉換部601係於步驟S601中，一旦取得目前領域的量化矩陣，則於步驟S602中，將該量化矩陣，縮減轉換成預先決定之所定尺寸。

步驟S603乃至步驟S608之各處理，是和圖7的步驟S102乃至步驟S107之各處理同樣地執行。對應於圖7之步驟S107及步驟S108的處理係不被進行(被省略)，步驟S609乃至步驟S616之各處理，係和圖7的步驟S110乃至步驟S117之各處理同樣地被執行。

矩陣處理部150，係如以上般地進行量化矩陣編碼處理，因此影像編碼裝置10係和第1實施形態的情況同樣地，可抑制量化矩陣的編碼量之增加。

[2-3.矩陣生成部的其他例]

圖24係影像解碼裝置300的矩陣生成部410之其他構成例的區塊圖。如圖24所示的矩陣生成部410，係為對應於圖22的矩陣處理部150的處理部。亦即，圖24所示的矩陣生成部410，係將圖22的矩陣處理部150所生成之量化矩陣的相關之編碼資料(各種旗標或參數、以及從差分矩陣所生成之擴充格倫布碼等)，予以解碼，將目前領域的量化矩陣予以復原。

此情況下也是，矩陣生成部410係基本上具有和圖19之例子同樣的構成，但與圖19不同地，差分矩陣尺寸 轉換部562係被省略。因此，從逆重複判定部553所輸出的差分矩陣，係被供給至逆量化部563。

又，在圖24之例子的情況下，矩陣生成部410係與圖19之例子不同，具有量化矩陣尺寸轉換部621。

該量化矩陣尺寸轉換部621，係對應於圖22的量化矩陣尺寸轉換部601，是進行量化矩陣尺寸轉換部601之處理的逆處理的處理部。亦即，量化矩陣尺寸轉換部621係將比傳輸之際所能容許之最大尺寸(傳輸尺寸)還小的量化矩陣，擴增轉換成相應於進行逆量化之目前領域的尺寸。

量化矩陣尺寸轉換部621，係取得演算部564對差分矩陣加算預測矩陣而生成之量化矩陣。該量化矩陣的尺寸，係為被量化矩陣尺寸轉換部601進行縮減轉換後的尺寸。量化矩陣尺寸轉換部621，係將該量化矩陣的尺寸，擴增轉換成相應於進行逆量化之目前領域的尺寸。量化矩陣尺寸轉換部621，係將已擴增轉換的量化矩陣，供給至輸出部535，或供給至逆量化部440，或供給至記憶部536而記憶。

因此，此情況下也是，矩陣生成部410係將被縮減轉換成傳輸大小以下而傳輸的量化矩陣，擴增轉換成相應於進行逆量化之目前領域的尺寸，因此影像解碼裝置300係可抑制量化矩陣的編碼量之增加。

此時的量化矩陣解碼處理的流程，基本上係和參照圖21之流程圖所說明的相同。只不過，於步驟S314中不將 殘差矩陣予以擴增轉換，改成由量化矩陣尺寸轉換部621，將步驟S315之處理所生成之量化矩陣，進行擴增轉換。

矩陣生成部410，係如以上般地進行量化矩陣解碼處理，因此影像解碼裝置300係和第1實施形態的情況同樣地，可抑制量化矩陣的編碼量之增加。

<3.第3實施形態> [擴增轉換]

圖25係差分矩陣傳輸之樣子的例子的說明圖。從影像編碼裝置10(圖1)往影像解碼裝置300(圖16)傳輸之際的量化矩陣(量化矩陣與其預測矩陣的差分矩陣)的尺寸，係被限制成預先決定之所定最大尺寸(傳輸尺寸)以下的尺寸。例如，從影像編碼裝置10往影像解碼裝置300傳輸的量化矩陣的尺寸，係係被限制成與預先準備之基礎矩陣(亦稱作預設量化矩陣)的尺寸(亦稱作預設量化矩陣尺寸)相同的尺寸。亦即，此情況下，傳輸尺寸係為預設量化矩陣尺寸的最大值。例如，若作為預設量化矩陣是設定了4×4之量化矩陣與8×8之量化矩陣，則傳輸尺寸係為8×8。

亦即，影像編碼裝置10係當量化處理中所使用之量化矩陣是大於該傳輸尺寸時，將量化矩陣或預測矩陣予以縮減轉換成該傳輸大小以下，或是藉由將已求出之差分矩陣予以縮減轉換成傳輸大小以下，以生成該傳輸大小以下 的差分矩陣。此縮減轉換係例如，在差分矩陣尺寸轉換部163、預測矩陣尺寸轉換部181、及量化矩陣尺寸轉換部601等中進行。

影像解碼裝置300係將已被傳輸之差分矩陣、或從該差分矩陣所求出的量化矩陣，擴增轉換成相應於進行逆量化之目前領域的尺寸，在逆量化處理中使用之。亦即，當傳輸尺寸是預設量化矩陣尺寸的最大值時，則影像解碼裝置300係收取與預設量化矩陣尺寸相同尺寸的量化矩陣。例如，影像解碼裝置300係收取與預設量化矩陣之最大尺寸相同尺寸的量化矩陣。影像解碼裝置300，係使用所收取到的量化矩陣，或是使用將該量化矩陣進行擴增轉換所得到之量化矩陣，來進行逆量化處理。此外，該擴增轉換係例如，在差分矩陣尺寸轉換部562、預測矩陣尺寸轉換部561、及量化矩陣尺寸轉換部621等中進行。

此外，影像編碼裝置10係亦可將有別於量化處理中所使用過之量化矩陣(差分矩陣)的，另一尺寸小於傳輸之際所能容許之最大尺寸(傳輸尺寸)的量化矩陣(差分矩陣)，傳輸至影像解碼裝置300。例如，影像編碼裝置10係準備彼此尺寸互異的複數個量化矩陣(差分矩陣)，將從其中選擇出來的量化矩陣，用於量化處理。此情況下，影像編碼裝置10係當使用所準備的矩陣群中的比傳輸尺寸還大之尺寸的量化矩陣來進行量化處理時，亦可不將該量化矩陣進行縮減轉換，改成將該矩陣群中的比傳輸尺寸還小之尺寸的量化矩陣(差分矩陣)，予以傳輸。亦即，此情 況下，影像編碼裝置10中的尺寸轉換(縮減轉換)，係被省略。順便一提，影像編碼裝置10係亦可將比傳輸尺寸還小之尺寸的量化矩陣(差分矩陣)，進行擴增轉換，然後進行量化處理。此情況下也同樣地，影像編碼裝置10中的尺寸轉換(縮減轉換)，係被省略。

無論如何，無論實際是否進行尺寸轉換(縮減轉換)，都只有傳輸大小以下之尺寸的量化矩陣(差分矩陣)會被傳輸。亦即，影像解碼裝置300係無論影像編碼裝置10中是否實際是否進行尺寸轉換(縮減轉換)，都將曾被傳輸之量化矩陣，進行尺寸轉換(擴增轉換)成相應於進行逆量化之目前領域(例如CU或TU等)的尺寸。

只有當量化處理中所被使用之際的尺寸、與傳輸時的尺寸為相同的情況下，影像解碼裝置300係省略量化矩陣(差分矩陣)的尺寸轉換(擴增轉換)(亦可進行1倍之尺寸轉換)。

例如，將傳輸尺寸設成8×8。此情況下，例如，差分矩陣係被設成8×8之正方矩陣或4×4之正方矩陣而傳輸。例如，如圖25的上段所示，當設成8×8之正方矩陣而被傳輸時，差分矩陣係於影像解碼裝置300中，被擴增轉換成16×16之正方矩陣、或32×32之正方矩陣等、相應於進行逆量化之目前領域的尺寸。又，例如，如圖25的下段所示，當設成4×4之正方矩陣而被傳輸時，差分矩陣係被擴增轉換成8×8之正方矩陣等、相應於進行逆量化之目前領域的尺寸。

當然，該差分矩陣係也有可能擴增轉換成圖25所示例子以外的尺寸(例如64×64的正方矩陣)。

此外，若進行逆量化之目前領域的尺寸是和所被傳輸之量化矩陣的尺寸相等，則該擴增轉換係被省略(或是進行1倍之尺寸轉換)，8×8的差分矩陣係當作8×8的正方矩陣而被直接利用。同樣地，4×4的差分矩陣係當作4×4的正方矩陣而被直接利用。

例如，影像編碼裝置10係使用4×4的量化矩陣來進行針對4×4區塊之量化，使用8×8的量化矩陣來進行針對8×8區塊之量化，將8×8的量化矩陣進行擴增轉換而生成16×16的量化矩陣，使用該16×16的量化矩陣來進行針對16×16區塊之量化，將8×8的量化矩陣進行擴增轉換而生成32×32的量化矩陣，使用該32×32的量化矩陣來進行針對32×32區塊之量化，將4×4的量化矩陣與8×8的量化矩陣，傳輸至影像解碼裝置300。此情況下也是，影像解碼裝置300係與影像編碼裝置10同樣地，使用所收取到的4×4的量化矩陣來進行針對4×4區塊之量化，使用所收取到的8×8的量化矩陣來進行針對8×8區塊之量化。又，影像解碼裝置300係與影像編碼裝置10同樣地，將所收取到的8×8的量化矩陣進行擴增轉換而生成16×16的量化矩陣，使用該16×16的量化矩陣來進行針對16×16區塊之量化，將所收取到的8×8的量化矩陣進行擴增轉換而生成32×32的量化矩陣，使用該32×32的量化矩陣來進行針對32×32區塊之量化。

接著說明，影像解碼裝置300中的尺寸轉換(擴增轉換)的樣子。圖26中係圖示了擴增轉換之樣子的例子。以下就以差分矩陣尺寸轉換部562(圖19)所進行之處理為例來說明。

擴增轉換之具體方法係為任意。例如以最近鄰內插處理(nearest neighbor)來實現。最近鄰內插處理，係藉由複製內插前的矩陣之各元素，以將該元素附近的元素進行內插的處理。所謂附近的元素，係為內插前的矩陣之元素的相鄰之元素，或是內插前的矩陣之元素的鄰近位置的元素。

例如，將元素數在縱方向及橫方向上分別放大2倍的最近鄰內插(×2最近鄰內插)處理，係為從內插前的矩陣之各元素生成2×2之正方矩陣的處理。亦即，使用內插前的矩陣之各元素來將附近的3元素進行內插。所謂附近的3元素，係為例如內插前的矩陣之元素的右方相鄰之元素、下方相鄰之元素、及右下相鄰之元素。藉由針對內插前的矩陣之各元素進行如此處理，正方矩陣的縱方向及橫方向之元素數就被分別轉換成2倍。

圖20的例子中，4×4的正方矩陣係被最近鄰內插，生成8×8的正方矩陣。圖20所示的矩陣中，灰色四方形係為內插前的矩陣之元素。各元素係被複製，其各自附近的元素(圖20中所示之矩陣的白色四方形)會被內插。

當然，亦可將這以外之位置的元素(例如上方相鄰之元素或左方相鄰之元素等)，當作附近的3元素。以隨應 於處理順序之方向來進行內插，較為理想。又，雖然是說明在內插之際將原本的元素進行複製，但亦可藉由所定之演算來決定要進行內插之元素的值。只不過，藉由如上述般地進行複製，可以降低內插處理的負荷(可較容易地進行內插)。

回到圖26，所被傳輸之差分矩陣，係可擴增轉換成複數種尺寸。例如，如圖26所示，8×8的差分矩陣係可擴增轉換成16×16的正方矩陣或32×32的正方矩陣。

例如，8×8的差分矩陣係藉由進行×2最近鄰內插處理，而被擴增轉換成16×16的差分矩陣。然後，藉由對該16×16的差分矩陣進行×2最近鄰內插處理，就被擴增轉換成32×32的差分矩陣。當然，藉由再次重複×2最近鄰內插處理，也可以擴增轉換成64×64以上的正方矩陣。亦即，藉由重複進行×2最近鄰內插處理，就可擴增轉換成相應於其重複次數之尺寸的正方矩陣。

此外，最近鄰內插處理所致之矩陣的放大比係為任意，不限於上述的2倍。例如，亦可實現將元素數在縱方向及橫方向分別放大4倍的最近鄰內插(×4最近鄰內插)處理。×4最近鄰內插處理，也只是放大比不同，基本上是和×2最近鄰內插處理相同。亦即，在×4最近鄰內插處理的情況下，是從內插前的矩陣之各元素，生成以該元素為左上的4×4之正方矩陣。亦即，從內插前的矩陣的1元素，來將其附近的15元素進行內插。藉由針對內插前的矩陣之各元素進行如此處理，正方矩陣的縱方向及橫方向 之元素數就被分別轉換成4倍。

如圖26中以虛線箭頭所示，藉由對8×8的差分矩陣，進行此×4最近鄰內插處理，也可擴增轉換成32×32的差分矩陣。亦即，具體而言，亦可為，1個8×8的量化矩陣(或是差分矩陣)係被擴增轉換，生成16×16的量化矩陣(或是差分矩陣)與32×32的量化矩陣(或是差分矩陣)之雙方；亦可為，16×16的量化矩陣(或是差分矩陣)與32×32的量化矩陣(或是差分矩陣)，是藉由將彼此不同的8×8的量化矩陣(或是差分矩陣)進行擴增轉換而被生成。前者的情況下，4×4的量化矩陣(或是差分矩陣)與8×8的量化矩陣(或是差分矩陣)係只要從影像編碼裝置10被傳輸至影像解碼裝置300即可。又，後者的情況下，係只要4×4的量化矩陣(或是差分矩陣)、可擴增轉換成16×16的8×8之量化矩陣(或是差分矩陣)、及可擴增轉換成32×32的8×8之量化矩陣(或是差分矩陣)，是從影像編碼裝置10被傳輸至影像解碼裝置300即可。

藉由使用如以上的最近鄰內插，差分矩陣尺寸轉換部562就可容易地進行差分矩陣的尺寸轉換。

甚至，此種最近鄰內插處理，係亦可適用於對非正方矩陣的擴增轉換。

例如，8×8的差分矩陣，係藉由進行×2最近鄰內插處理，而被轉換成16×16的正方矩陣，然後，藉由將該正方矩陣的所定線的元素予以抽略，而被轉換成縱4×橫16的非正方矩陣。

此時，只要能從16線抽出4線即可，抽略的線係為任意。例如，亦可每4線就抽出任意1線。又，例如，亦可將上面數來的第1條線、第5條線、第9條線、第13條線，予以抽出。甚至，例如，亦可將上面數來的第3條線、第7條線、第11條線、第15條線，予以抽出。所被抽出的線係亦可預先決定，也可以所定的方法，從16線中選擇任意4線(或是每4線選1線)。

又，例如，8×8的差分矩陣，係藉由進行×2最近鄰內插處理2次，或是藉由進行×4最近鄰內插處理，而被轉換成32×32的正方矩陣，然後，藉由將該正方矩陣的所定線的元素予以抽略，而被轉換成縱8×橫32的非正方矩陣。

此時，和上述的縱4×橫16的非正方矩陣的情況同樣地，只要從32線中抽出8線即可，抽略的線係為任意。又，例如，亦可將上面數來的第1條線、第5條線、第9條線、第13條線、第17條線、第21條線、第25條線、第29條線，予以抽出。所被抽出的線係亦可預先決定，也可以所定的方法，從32線中選擇任意8線(或是每4線選1線)。

於以上說明中，雖然說明了轉換成縱：橫=1：4之非正方矩陣的情形，但轉換後之矩陣的縱橫比係為任意。例如，亦可將正方矩陣的元素，不做每線的抽略，而是和線的情況同樣地做每列的抽略，藉此就可尺寸轉換成縱：橫=4：1之非正方矩陣。

又，例如，在“CE6.b1 Report on Short Distance Intra Prediction Method”(JCTVC-E278,2011年3月)中，提出了使用小尺寸非正方形的預測單位來提升編碼效率的短距離畫面內預測法(Short Distance Intra Prediction Method)。在短距離畫面內預測法中，係例如1×4像素、2×8像素、4×16像素、4×1像素、8×2像素、16×4像素等各種尺寸的預測單位，係可被設定在影像內。此時，預測單位的垂直方向之尺寸及水平方向之尺寸當中的哪一尺寸會較大，是依存於預測單位的設定。

藉由調整線或列的抽略量，就可尺寸轉換成為這類各式各樣之縱橫比的非正方矩陣。例如，藉由從16×16的正方矩陣，抽出1線，就可實現往縱：橫=1：16的非正方矩陣的尺寸轉換。同樣地，藉由從32×32的正方矩陣，抽出任意2線，就可實現往縱：橫=2：32的非正方矩陣的尺寸轉換。

藉由使用如以上的最近鄰內插，差分矩陣尺寸轉換部562就亦可容易地進行差分矩陣往非正方矩陣的尺寸轉換。

於以上說明中，雖然說明了藉由併用最近鄰內插處理與線(或列)的抽略，來實現往非正方矩陣的尺寸轉換，但不限於此，例如，亦可僅藉由最近鄰內插處理，來實現往非正方矩陣的尺寸轉換。

例如，如圖27的A所示，可藉由將4×4正方矩陣僅在橫方向上進行4倍(×4水平方向最近鄰內插)，就可實現 往4×16之非正方矩陣的尺寸轉換。×4水平方向最近鄰內插，係為從內插前的矩陣之各元素生成1×4之非正方矩陣的處理。亦即，使用內插前的矩陣之各元素來將附近的3元素進行內插。所謂附近的3元素，係為例如內插前的矩陣之元素的右方相鄰而橫方向排列的3元素。藉由針對內插前的矩陣之各元素進行如此處理，就可僅將正方矩陣的橫方向的元素數，變成4倍。

又例如，如圖27的A所示，可藉由將4×4正方矩陣僅在縱方向變成4倍(×4垂直方向最近鄰內插)，就可實現往16×4之非正方矩陣的尺寸轉換。×4垂直方向最近鄰內插，係為從內插前的矩陣之各元素生成4×1之非正方矩陣的處理。亦即，使用內插前的矩陣之各元素來將附近的3元素進行內插。所謂附近的3元素，係為例如內插前的矩陣之元素的下方相鄰而縱方向排列的3元素。藉由針對內插前的矩陣之各元素進行如此處理，就可僅將正方矩陣的縱方向的元素數，變成4倍。

8×8的正方矩陣也可同樣地進行尺寸轉換。例如，如圖27的B所示，可藉由對8×8正方矩陣進行×4水平方向最近鄰內插處理，就可實現往8×32之非正方矩陣的尺寸轉換。又，例如，如圖27的B所示，可藉由對8×8正方矩陣進行×4垂直方向最近鄰內插處理，就可實現往32×8之非正方矩陣的尺寸轉換。

藉由使用如以上的最近鄰內插，差分矩陣尺寸轉換部562就亦可容易地進行差分矩陣往非正方矩陣的尺寸轉 換。

此外，如上述的使用最近鄰內插之尺寸轉換，係可對任意尺寸之矩陣來進行。又，將量化矩陣或預測矩陣進行尺寸轉換時也是，和上述差分矩陣的情形同樣地，可使用最近鄰內插來進行尺寸轉換。亦即，量化矩陣尺寸轉換部621也同樣地，可使用最近鄰內插而容易地進行量化矩陣的尺寸轉換。預測矩陣尺寸轉換部561也同樣如此。

又，於以上說明中，雖然針對量化矩陣、預測矩陣、或它們的差分矩陣的尺寸轉換處理來做說明，但該尺寸轉換處理係只要是實際上生成尺寸經過轉換之矩陣的處理即可，亦可為不會實際生成矩陣之資料，而是設定矩陣之各元素從記憶體的讀出方式的處理(矩陣資料的讀出控制)。

在上述的尺寸轉換處理的情況下，尺寸轉換後的矩陣之各元素，係由尺寸轉換前的矩陣之任一元素所構成。亦即，例如，只要藉由僅讀出一部分的元素，或是將1個元素讀出複數次等等的所定方法，將記憶體中所儲存之尺寸轉換前的矩陣之元素予以讀出，就可生成尺寸轉換後的矩陣。換言之，藉由定義該各元素的讀出方法(進行矩陣資料的讀出控制)，上述的尺寸轉換就會被實質地實現。藉由使用此種方法，就不需要將尺寸轉換後的矩陣資料寫入記憶體等處理。又，尺寸轉換後的矩陣資料的讀出方式，基本上是由最近鄰內插的方法等所決定，因此只需要從事前準備的複數選項中選擇出適切者，只需這種程度的較低負荷之處理，就可實現之。因此，藉由採用此種方法，就 可降低尺寸轉換的負荷。

亦即，以上所說明的尺寸轉換處理，雖然也包含實際產生尺寸轉換後的矩陣之資料的生成處理，但也包含此種矩陣資料的讀出控制。

於以上說明中，雖然說明了差分矩陣被縮減轉換而傳輸，或將從已被縮減轉換之量化矩陣所生成之差分矩陣予以傳輸，但本技術係只要能降低量化矩陣之相關資訊的編碼量即可。因此，不限於這些例子，例如，亦可省略預測處理，取代差分矩陣，改成把目前領域的量化矩陣予以縮減轉換然後傳輸。此情況下，在解碼側上，只需將已被傳輸之量化矩陣，擴增轉換成相應於進行逆量化之目前領域的尺寸即可。此情況下，對所傳輸之量化矩陣，無論是否進行第1實施形態至第3實施形態中所上述的使用DPCM編碼、解碼之編碼處理、解碼處理皆可。當然，該對所傳輸之量化矩陣的編碼處理、解碼處理，係無論何種方式皆可，不限於上述例子。

又，亦可為，例如，量化矩陣的尺寸或清單ID等的量化矩陣之相關參數或旗標等資訊，也求取例如與前次傳輸資訊的差分，而將該差分予以傳輸等等，以降低其編碼量。

<4.第4實施形態> [對多視點影像編碼．多視點影像解碼之適用]

上述一連串處理，係可適用於多視點影像編碼．多視 點影像解碼。圖28係圖示多視點影像編碼方式之一例。

如圖28所示，多視點影像，係含有複數視點之影像，該複數視點當中的所定1個視點之影像，係被指定成基礎視點的影像。基礎視點之影像以外的各視點之影像，係被當成非基礎視點之影像。

在將如圖28所示之多視點影像進行編碼‧解碼時，係將各視點之影像進行編碼‧解碼，但對於該各視點的編碼‧解碼，亦可適用第1實施形態乃至第3實施形態中所上述之方法。藉由如此設計，就可抑制量化矩陣的編碼量之增加。

甚至，於各視點的編碼‧解碼時，亦可將第1實施形態乃至第3實施形態中所上述之方法中所被使用的旗標或參數，予以共用。例如，亦可將量化矩陣，於各視點的編碼‧解碼時做共用。當然，亦可將這些以外的必要資訊，於各視點的編碼‧解碼時做共用。

例如，將量化矩陣放在序列參數集(SPS(Sequence Parameter Set))或圖像參數集(PPS(Picture Parameter Set))中進行而傳輸的情況下，若這些(SPS或PPS)在視點間被共用，則量化矩陣本身也會被共用。藉由如此設計，就可抑制量化矩陣的編碼量之增加。

又，亦可將基礎視點的量化矩陣之矩陣元素，隨應於視點間的視差值來做變更。甚至，亦可將基礎視點的量化矩陣之矩陣元素的相關之非基礎視點矩陣元素進行調整所需的偏置值，予以傳輸。藉由這些設計，就可抑制量化矩 陣的編碼量之增加。

例如，亦可將每一視點的量化矩陣，事前以別的途徑做傳輸。對每一視點來變更量化矩陣的情況下，則只需將表示與該預先傳輸之量化矩陣的差分的資訊加以傳輸即可。該表示差分之資訊，係為任意。例如，可為4×4或8×8單位的資訊，也可為矩陣彼此之差分。

此外，雖然是在視點間共用SPS或PPS，但當共用量化矩陣時，係亦可參照其他視點的SPS或PPS(亦即，可利用其他視點的量化矩陣)。

又，將此種多視點影像，表現成為以YUV之各影像、和視點間之視差量所對應之縱深影像(Depth)分別作為分量的影像時，亦可使用對各分量(Y,U,V,Depth)之影像彼此獨立的量化矩陣。

例如，由於縱深影像(Depth)係為邊緣之影像，因此不需要量化矩陣。因此，即使在SPS或PPS中有指定量化矩陣之利用的情況下，對於縱深影像(Depth)，係仍可不適用量化矩陣(或是適用矩陣元素全部相同(FLAT)的量化矩陣)。

[多視點影像編碼裝置]

圖29係上述進行多視點影像編碼的多視點影像編碼裝置的圖示。如圖29所示，多視點影像編碼裝置600係具有：編碼部601、編碼部602、及多工部603。

編碼部601，係將基礎視點影像予以編碼，生成基礎 視點影像編碼串流。編碼部602，係將非基礎視點影像予以編碼，生成非基礎視點影像編碼串流。多工部603，係將編碼部601中所生成之基礎視點影像編碼串流，和編碼部602中所生成之非基礎視點影像編碼串流，進行多工化，生成多視點影像編碼串流。

對該多視點影像編碼裝置600的編碼部601及編碼部602，可適用影像編碼裝置10(圖1)。亦即，例如，如上述，編碼部601及編碼部602係可使用彼此相同之量化矩陣，來進行量化處理等。藉由如此設計，就可抑制量化矩陣的編碼量之增加。

[多視點影像解碼裝置]

圖30係上述進行多視點影像解碼的多視點影像解碼裝置的圖示。如圖30所示，多視點影像解碼裝置610係具有：逆多工部611、解碼部612、及解碼部613。

逆多工部611，係將基礎視點影像編碼串流與非基礎視點影像編碼串流所多工化而成的多視點影像編碼串流，進行逆多工化，抽出基礎視點影像編碼串流、和非基礎視點影像編碼串流。解碼部612，係將已被逆多工部611所抽出的基礎視點影像編碼串流予以解碼，獲得基礎視點影像。解碼部613，係將已被逆多工部611所抽出的非基礎視點影像編碼串流予以解碼，獲得非基礎視點影像。

對該多視點影像解碼裝置610的解碼部612及解碼部 613，可適用影像解碼裝置300(圖16)。亦即，例如，如上述，解碼部612及解碼部613係可使用彼此相同之量化矩陣，來進行逆量化處理等。藉由如此設計，就可抑制量化矩陣的編碼量之增加。

<5.第5實施形態> [階層影像編碼．階層影像解碼之適用]

上述一連串處理，係可適用於階層影像編碼．階層影像解碼。圖31係圖示多視點影像編碼方式之一例。

如圖31所示，階層影像，係含有複數階層之影像，該複數階層之中的所定1個階層的影像，係被指定成基礎圖層之影像。基礎圖層影像以外的各階層之影像，係被當成非基礎圖層(亦稱作增強圖層)之影像。

在將如圖31所示之階層影像進行編碼‧解碼時，係將各階層之影像進行編碼‧解碼，但對於該各階層的編碼‧解碼，亦可適用上述方法。藉由如此設計，就可抑制量化矩陣的編碼量之增加。

甚至，於各階層的編碼‧解碼時，亦可將第1實施形態乃至第3實施形態中所上述之方法中所被使用的旗標或參數，予以共用。例如，亦可將量化矩陣，於各階層的編碼‧解碼時做共用。當然，亦可將這些以外的必要資訊，於各階層的編碼‧解碼時做共用。

作為此種階層影像之例子，係有藉由空間解析度而被階層化者(亦稱作空間解析度可調性)(spatial scalability)。 具有空間解析度可調性的階層影像的情況下，每一階層的影像的解析度係為不同。例如，將空間上最低解析度之影像的階層視為基礎圖層，將比基礎圖層高解析度之影像的階層視為非基礎圖層(增強圖層)。

非基礎圖層(增強圖層)的影像資料，係視為從其他階層獨立開來的資料，與基礎圖層的情況同樣地，僅藉由該影像資料就可獲得該階層的解析度之影像，但一般係設計成，該階層之影像與其他階層(例如下1個階層)之影像的差分影像所對應之資料。此情況下，基礎圖層之階層之解析度的影像，係可僅根據該基礎圖層的影像資料來獲得，但非基礎圖層(增強圖層)之階層之解析度的影像，係藉由將該階層之影像資料、與其他階層(例如下1個階層)的影像資料進行合成而獲得。藉由如此設計，就可抑制階層間之影像資料的冗長性。

此種具有空間解析度可調性的階層影像，係每一階層的影像的解析度係為不同，因此各階層的編碼‧解碼的處理單位的解析度也彼此互異。因此，各階層的編碼‧解碼中共用著量化矩陣的情況下，亦可將量化矩陣，隨應於各階層之解析度比而進行擴增轉換。

例如，假設基礎圖層之影像的解析度為2K(例如1920×1080)，假設非基礎圖層(增強圖層)之影像的解析度為4K(例如3840×2160)。此時，例如，基礎圖層之影像(2K影像)的16×16，係相當於非基礎圖層之影像(4K影像)的32×32。量化矩陣也隨著此種解析度比而適宜進行擴增 轉換。

例如，基礎圖層的量化．逆量化中所使用的4×4之量化矩陣，係於非基礎圖層的量化．逆量化中被擴增轉換成8×8然後被使用。同樣地，基礎圖層的8×8之量化矩陣，係在非基礎圖層中被擴增轉換成16×16。同樣地，於基礎圖層中被擴增轉換成16×16而使用的量化矩陣，係於非基礎圖層中被擴增轉換成32×32。

此外，具有可調性之參數，係不限於空間解析度，可為例如時間解析度(temporal scalability)。具有時間解析度可調性的階層影像的情況下，每一階層的影像的畫格速率係為不同。又，除此以外還有，例如，每一階層的影像資料之位元深度為不同的位元深度可調性(bit-depth scalability)、或每一階層的分量的格式不同的色度可調性(chroma scalability)等。

又，除此以外還有，例如，每一階層的影像之訊噪比(SNR(Signal to Noise ratio))為不同的SNR可調性(SNR scalability)。

為了提升畫質，訊噪比越低的影像，其量化誤差越小越好。因此，在SNR可調性的情況下，在各階層的量化．逆量化中，係隨著訊噪比而使用彼此不同的量化矩陣(非共通之量化矩陣)，較為理想。因此，如上述般地在階層間共用量化矩陣的情況下，關於基礎圖層的量化矩陣之矩陣元素，將用來調整增強圖層之矩陣元素所需的偏置值加以傳輸即可。更具體而言，將表示該共通之量化矩陣、 與實際使用之量化矩陣的差分的資訊，對每階層進行傳輸即可。例如，亦可在各階層的序列參數集(SPS(Sequence Parameter Set))或圖像參數集(PPS(Picture Parameter Set))中，傳輸該表示差分的資訊。該表示差分之資訊，係為任意。例如，亦可為將兩量化矩陣之每一元素的差分值當作元素的矩陣，或可為表示差分的函數。

[階層影像編碼裝置]

圖32係上述進行階層影像編碼的階層影像編碼裝置的圖示。如圖32所示，階層影像編碼裝置620係具有：編碼部621、編碼部622、及多工部623。

編碼部621，係將基礎圖層影像予以編碼，生成基礎圖層影像編碼串流。編碼部622，係將非基礎圖層影像予以編碼，生成非基礎圖層影像編碼串流。多工部623，係將編碼部621中所生成之基礎圖層影像編碼串流，和編碼部622中所生成之非基礎圖層影像編碼串流，進行多工化，生成階層影像編碼串流。

對該階層影像編碼裝置620的編碼部621及編碼部622，可適用影像編碼裝置10(圖1)。亦即，例如，如上述，編碼部621及編碼部622係可使用彼此相同之量化矩陣，來進行量化處理等。藉由如此設計，就可抑制量化矩陣的編碼量之增加。

[階層影像解碼裝置]

圖33係上述進行階層影像解碼的階層影像解碼裝置的圖示。如圖33所示，階層影像解碼裝置630係具有：逆多工部631、解碼部632、及解碼部633。

逆多工部631，係將基礎圖層影像編碼串流與非基礎圖層影像編碼串流所多工化而成的階層影像編碼串流，進行逆多工化，抽出基礎圖層影像編碼串流、和非基礎圖層影像編碼串流。解碼部632，係將已被逆多工部631所抽出的基礎圖層影像編碼串流予以解碼，獲得基礎圖層影像。解碼部633，係將已被逆多工部631所抽出的非基礎圖層影像編碼串流予以解碼，獲得非基礎圖層影像。

對該階層影像解碼裝置630的解碼部632及解碼部633，可適用影像解碼裝置300(圖16)。亦即，例如，如上述，解碼部632及解碼部633係可使用彼此相同之量化矩陣，來進行量化處理等。藉由如此設計，就可抑制量化矩陣的編碼量之增加。

<6.第6實施形態> [電腦]

上述之一連串之處理，係可藉由硬體來執行，亦可藉由軟體來執行。此情況下，例如，亦可構成為如圖34所示的電腦。

於圖34中，電腦800的CPU(Central Processing Unit)801，係依照ROM(Read Only Memory)802中所記憶之程式，或從記憶部813載入至RAM(Random Access Memory)803中的程式，來執行各種處理。RAM803中，還適宜地記憶著CPU801在執行各種處理時所必需的資料等。

CPU801、ROM802、及RAM803，係透過匯流排804而彼此連接。該匯流排804，係還連接著輸出入介面810。

輸出入介面810上係連接有：由鍵盤、滑鼠、觸控面板、及輸入端子等所成之輸入部811、由CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、及OELD(Organic ElectroLuminescence Display)等所成之顯示器、以及由揚聲器等之任意輸出裝置或輸出端子等所成之輸出部812、由硬碟或快閃記憶體等任意之記憶媒體或控制該記憶媒體之輸出入的控制部等所構成之記憶部813、由數據機、LAN介面、USB(Universal Serial Bus)、以及Bluetooth(註冊商標)等有線或無線之任意通訊裝置所構成的通訊部814。通訊部814，係透過例如包含網際網路的網路而與其他通訊裝置，進行通訊處理。

輸出入介面810上係還因應需要而連接有驅動機815。該驅動機815中係可適宜裝著有：磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體821。驅動機815，係例如依照CPU801的控制，從被裝著在自身的可移除式媒體821，讀出電腦程式或資料等。該所被讀出之資料或電腦程式，係被供給至例如RAM803。又，從可移除式媒體821所讀出之電腦程式，是可依照需要而被安裝 至記憶部813中。

在以軟體來執行上述一連串之處理時，構成該軟體的程式，係可從網路或記錄媒體來安裝。

該記錄媒體，係如圖34所示，係不僅限於和裝置本體分開之用來配送程式給使用者而發佈的記錄有程式之磁碟(包含軟碟)、光碟(包含CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc))、光磁碟(包含MD(Mini-Disc))，或甚至是半導體記憶體等所成之可移除式媒體821而構成者，尚還包括已經預先組裝在裝置本體內之狀態而配送給使用者的、記錄有程式之ROM802、或記憶部813中所包含之硬碟等來構成。

此外，電腦所執行的程式，係可為依照本說明書所說明之順序而在時間序列上進行處理的程式，也可平行地、或呼叫進行時等必要之時序上進行處理的程式。

此外，在本說明書中，雖然記述記錄媒體中所記錄之程式的步驟，是按照記載的順序而在時間序列上順序進行之處理，但當然並不一定要是時間序列上的處理，亦包含平行或個別執行之處理。

又，於本說明書中，所謂的系統，係指由複數設備(裝置)所構成之裝置全體。

又，於以上說明中，亦可將以1個裝置(或處理部)做說明的構成加以分割，成為複數裝置(或處理部)而構成之。反之，亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又，對各 裝置(或各處理部)之構成，當然亦可附加上述以外之構成。再者，若系統全體的構成或動作是實質上相同，則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。亦即，本技術的實施形態係不限定於上述實施形態，在不脫離本技術主旨的範圍內可做各種變更。

上述實施形態所述之影像編碼裝置10(圖1)及影像解碼裝置300(圖16)，係可應用於衛星播送、有線TV等之有線播送、網際網路上的配送、及藉由蜂巢基地台通訊而對終端之配送等的送訊機或是收訊機，在光碟、磁碟及快閃記憶體等之媒體中記錄影像的記錄裝置、或從這些記憶媒體中再生出影像的再生裝置等各式各樣的電子機器。以下說明4個應用例。

<7.第7實施形態> [電視裝置]

圖35係圖示了適用上述實施形態的電視裝置的概略構成之一例。電視裝置900係具備：天線901、選台器902、解多工器903、解碼器904、映像訊號處理部905、顯示部906、聲音訊號處理部907、揚聲器908、外部介面部909、控制部910、使用者介面911、及匯流排912。

選台器902，係從透過天線901所接收之播送訊號中，抽出所望頻道之訊號，並將所抽出之訊號予以解調。然後，選台器902係將解調所得到之編碼位元串流，輸出 至解多工器903。亦即，選台器902係將影像所被編碼而成的編碼串流予以接收，具有電視裝置900中的傳輸部之功能。

解多工器903係從編碼位元串流中分離出視聽對象之節目的映像串流及聲音串流，將所分離之各串流，輸出至解碼器904。又，解多工器903，係從編碼位元串流中抽出EPG(Electronic Program Guide)等輔助性資料，將所抽出的資料，供給至控制部910。此外，解多工器903係當編碼位元串流是有被擾頻時，則亦可進行去擾頻。

解碼器904，係將從解多工器903所輸入的映像串流及聲音串流，予以解碼。然後，解碼器904係將解碼處理所生成之映像資料，輸出至映像訊號處理部905。又，解碼器904係將解碼處理所生成之聲音資料，輸出至聲音訊號處理部907。

映像訊號處理部905，係將從解碼器904所輸入之映像資料予以再生，在顯示部906上顯示出映像。又，映像訊號處理部905，係亦可將透過網路而供給之應用程式畫面，顯示在顯示部906。又，映像訊號處理部905，係亦可針對映像資料，隨應於設定，而進行例如雜訊去除等之追加的處理。甚至，映像訊號處理部905係亦可生成例如選單、按鈕或游標等之GUI(Graphical User Interface)的影像，將所生成之影像重疊至輸出影像。

顯示部906，係受從映像訊號處理部905所供給之驅動訊號所驅動，在顯示裝置(例如液晶顯示器、電漿顯示 器或OELD(Organic ElectroLuminescence Display)(有機EL顯示器)等)之映像面上，顯示出映像或影像。

聲音訊號處理部907，係針對從解碼器904所輸入的聲音資料，進行D/A轉換及增幅等之再生處理，使聲音從揚聲器908輸出。又，聲音訊號處理部907，係亦可針對聲音資料，進行雜訊去除等之追加的處理。

外部介面909，係為用來連接電視裝置900與外部機器或網路所需的介面。例如，透過外部介面909所接收之映像串流或聲音串流，係亦可被解碼器904所解碼。亦即，外部介面909係亦為將影像所被編碼而成的編碼串流予以接收，具有電視裝置900中的傳輸部之功能。

控制部910係具有CPU等之處理器、以及RAM及ROM等之記憶體。記憶體係記憶著，被CPU所執行之程式、程式資料、EPG資料、及透過網路所取得之資料等。被記憶體所記憶的程式，係例如在電視裝置900啟動時被CPU讀取、執行。CPU係藉由執行程式，而隨應於從例如使用者介面911所輸入的操作訊號，來控制電視裝置900的動作。

使用者介面911，係和控制部910連接。使用者介面911係具有例如，用來讓使用者操作電視裝置900所需的按鈕及開關、以及遙控訊號的收訊部等。使用者介面911，係偵測透過這些構成要素而由使用者所做之操作，生成操作訊號，將所生成之操作訊號，輸出至控制部910。

匯流排912，係將選台器902、解多工器903、解碼器904、映像訊號處理部905、聲音訊號處理部907、外部介面909及控制部910，彼此連接。

在如此構成的電視裝置900中，解碼器904係具有上述實施形態所述之影像解碼裝置300(圖16)的機能。因此，電視裝置900係可抑制量化矩陣的編碼量之增加。

<8.第8實施形態> [行動電話機]

圖36係圖示了適用上述實施形態的行動電話機的概略構成之一例。行動電話機920係具備：天線921、通訊部922、聲音編解碼器923、揚聲器924、麥克風925、攝影機部926、影像處理部927、多工分離部928、記錄再生部929、顯示部930、控制部931、操作部932、及匯流排933。

天線921係被連接至通訊部922。揚聲器924及麥克風925係被連接至聲音編解碼器923。操作部932，係被連接至控制部931。匯流排933係將通訊部922、聲音編解碼器923、攝影機部926、影像處理部927、多工分離部928、記錄再生部929、顯示部930、及控制部931，彼此連接。

行動電話機920，係在包含語音通話模式、資料通訊模式、攝影模式及電視電話模式的各種動作模式下，進行聲音訊號之收送訊、電子郵件或影像資料之收送訊、影像 之攝影、及資料之記錄等動作。

於語音通話模式中，由麥克風925所生成的類比聲音訊號，係被供給至聲音編解碼器923。聲音編解碼器923，係將類比聲音訊號轉換成聲音資料，將已被轉換之聲音資料，進行A/D轉換並壓縮。然後，聲音編解碼器923係將壓縮後的聲音資料，輸出至通訊部922。通訊部922，係將聲音資料進行編碼及調變，生成送訊訊號。然後，通訊部922係將已生成之送訊訊號，透過天線921而發送至基地台(未圖示)。又，通訊部922係將透過天線921所接收之無線訊號進行增幅及頻率轉換，取得收訊訊號。然後，通訊部922，係將收訊訊號進行解調及解碼而生成聲音資料，將已生成之聲音資料，輸出至聲音編解碼器923。聲音編解碼器923，係將聲音資料進行解壓縮及D/A轉換，生成類比聲音訊號。然後，聲音編解碼器923係將已生成之聲音訊號，供給至揚聲器924而輸出聲音。

又，在資料通訊模式下，例如，控制部931係隨應於使用者透過操作部932所做的操作，來生成構成電子郵件的文字資料。又，控制部931係將文字顯示在顯示部930。又，控制部931，係隨應於透過操作部932而從使用者下達的送訊指示而生成電子郵件資料，將已生成之電子郵件資料，輸出至通訊部922。通訊部922，係將電子郵件資料進行編碼及調變，生成送訊訊號。然後，通訊部922係將已生成之送訊訊號，透過天線921而發送至基地台(未圖示)。又，通訊部922係將透過天線921所接收之 無線訊號進行增幅及頻率轉換，取得收訊訊號。然後，通訊部922係將收訊訊號進行解調及解碼以復原出電子郵件資料，將已復原之電子郵件資料，輸出至控制部931。控制部931，係令顯示部930顯示出電子郵件的內容，同時，令電子郵件資料被記憶至記錄再生部929的記憶媒體。

記錄再生部929，係具有可任意讀寫的記憶媒體。例如，記憶媒體係可為RAM或快閃記憶體等之內建型的記憶媒體，亦可為硬碟、磁碟、光磁碟、光碟、USB記憶體、或記憶卡等之外部裝著型的記憶媒體。

又，於攝影模式中，例如，攝影機部926係拍攝被攝體而生成影像資料，將已生成之影像資料，輸出至影像處理部927。影像處理部927，係將從攝影機部926所輸入之影像資料予以編碼，使編碼串流被記憶至記錄再生部929的記憶媒體中。

又，於電視電話模式中，例如，多工分離部928係將已被影像處理部927所編碼之映像串流、和從聲音編解碼器923所輸入之聲音串流，進行多工化，將已多工化之串流，輸出至通訊部922。通訊部922，係將串流進行編碼及調變，生成送訊訊號。然後，通訊部922係將已生成之送訊訊號，透過天線921而發送至基地台(未圖示)。又，通訊部922係將透過天線921所接收之無線訊號進行增幅及頻率轉換，取得收訊訊號。這些送訊訊號及收訊訊號中係可含有編碼位元串流。然後，通訊部922係將收訊訊號 進行解調及解碼以復原出串流，將已復原之串流，輸出至多工分離部928。多工分離部928係從所被輸入之串流中，分離出映像串流及聲音串流，將映像串流輸出至影像處理部927、將聲音串流輸出至聲音編解碼器923。影像處理部927，係將映像串流予以解碼，生成映像資料。映像資料係被供給至顯示部930，藉由顯示部930而顯示出一連串之影像。聲音編解碼器923，係將聲音串流進行解壓縮及D/A轉換，生成類比聲音訊號。然後，聲音編解碼器923係將已生成之聲音訊號，供給至揚聲器924而輸出聲音。

在如此構成的行動電話機920中，影像處理部927係具有上述實施形態所述之影像編碼裝置10(圖1)之機能、及影像解碼裝置300(圖16)之機能。因此，行動電話機920係可抑制量化矩陣的編碼量之增加。

又，以上雖然以行動電話機920為例來說明，但例如PDA(Personal Digital Assistants)、智慧型手機、UMPC(Ultra Mobile Personal Computer)、電子書、筆記型個人電腦等，只要是具有和該行動電話機920同樣之攝像機能或通訊機能的裝置，則無論何種裝置均可和行動電話機920的情況相同地，將適用本技術之影像編碼裝置及影像解碼裝置來做適用。

<9.第9實施形態> [記錄再生裝置]

圖37係圖示了適用上述實施形態的記錄再生裝置的概略構成之一例。記錄再生裝置940係例如，將所接收之播送節目的聲音資料及映像資料進行編碼，而記錄至記錄媒體。又，記錄再生裝置940係亦可，例如，將從其他裝置所取得之聲音資料及映像資料進行編碼，而記錄至記錄媒體。又，記錄再生裝置940係例如，隨應於使用者之指示，將記錄媒體中所記錄之資料，在監視器及揚聲器上進行再生。此時，記錄再生裝置940，係將聲音資料及映像資料予以解碼。

記錄再生裝置940係具備：選台器941、外部介面942、編碼器943、HDD(Hard Disk Drive)944、碟片驅動機945、選擇器946、解碼器947、OSD(On-Screen Display)948、控制部949、及使用者介面950。

選台器941，係從透過天線(未圖示)所接收之播送訊號中，抽出所望頻道之訊號，並將所抽出之訊號予以解調。然後，選台器941係將解調所得到之編碼位元串流，輸出至選擇器946。亦即，選台器941係具有記錄再生裝置940中的傳輸部之功能。

外部介面942，係為用來連接記錄再生裝置940與外部機器或網路所需的介面。外部介面942係可為例如IEEE1394介面、網路介面、USB介面、或快閃記憶體介面等。例如，透過外部介面942所接收之映像資料及聲音資料，係被輸入至編碼器943。亦即，外部介面942係具有記錄再生裝置940中的傳輸部之功能。

編碼器943，係當從外部介面942所輸入之映像資料及聲音資料是未被編碼的情況下，則將映像資料及聲音資料予以編碼。然後，編碼器943係將編碼位元串流，輸出至選擇器946。

HDD944，係將映像及聲音等之內容資料所被壓縮而成的編碼位元串流、各種程式及其他資料，記錄在內部的硬碟裡。又，HDD944係在映像及聲音之再生時，將這些資料從硬碟中讀出。

碟片驅動機945，係對所裝著之記錄媒體，進行資料記錄及讀出。被裝著在碟片驅動機945的記錄媒體，係可為例如DVD碟片(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或Blu-ray(註冊商標)碟片等。

選擇器946，係在映像及聲音之記錄時，係選擇從選台器941或編碼器943所輸入的編碼位元串流，將已選擇之編碼位元串流，輸出至HDD944或碟片驅動機945。又，選擇器946，係在映像及聲音之再生時，將從HDD944或碟片驅動機945所輸入之編碼位元串流，輸出至解碼器947。

解碼器947，係將編碼位元串流予以解碼，生成映像資料及聲音資料。然後，解碼器947係將已生成之映像資料，輸出至OSD948。又，解碼器904係將已生成之聲音資料，輸出至外部的揚聲器。

OSD948，係將從解碼器947所輸入之映像資料予以 再生，顯示出映像。又，OSD948係亦可對所顯示之映像，重疊上例如選單、按鈕或游標等之GUI的影像。

控制部949係具有CPU等之處理器、以及RAM及ROM等之記憶體。記憶體係記憶著CPU所執行的程式、及程式資料等。被記憶體所記憶的程式，係例如在記錄再生裝置940啟動時被CPU讀取、執行。CPU係藉由執行程式，而隨應於從例如使用者介面950所輸入的操作訊號，來控制記錄再生裝置940的動作。

使用者介面950，係和控制部949連接。使用者介面950係具有例如，用來讓使用者操作記錄再生裝置940所需的按鈕及開關、以及透控訊號的收訊部等。使用者介面950，係偵測透過這些構成要素而由使用者所做之操作，生成操作訊號，將所生成之操作訊號，輸出至控制部949。

在如此構成的記錄再生裝置940中，編碼器943係具有上述實施形態所述之影像編碼裝置10(圖1)的機能。又，解碼器947係具有上述實施形態所述之影像解碼裝置300(圖16)的機能。因此，記錄再生裝置940係可抑制量化矩陣的編碼量之增加。

<10.第10實施形態> [攝像裝置]

圖38係圖示了適用上述實施形態的攝像裝置的概略構成之一例。攝像裝置960係拍攝被攝體而生成影像，將 影像資料進行編碼，而記錄至記錄媒體。

攝像裝置960係具備：光學區塊961、攝像部962、訊號處理部963、影像處理部964、顯示部965、外部介面966、記憶體967、媒體驅動機968、OSD969、控制部970、使用者介面971、及匯流排972。

光學區塊961係被連接至攝像部962。攝像部962係被連接至訊號處理部963。顯示部965係被連接至影像處理部964。使用者介面971係被連接至控制部970。匯流排972係將影像處理部964、外部介面966、記憶體967、媒體驅動機968、OSD969、及控制部970，彼此連接。

光學區塊961，係具有對焦透鏡及光圈機構等。光學區塊961，係使被攝體的光學像，成像在攝像部962的攝像面。攝像部962，係具有CCD或CMOS等之影像感測器，將成像在攝像面的光學像，藉由光電轉換而轉換成電氣訊號的影像訊號。然後，攝像部962係將影像訊號，輸出至訊號處理部963。

訊號處理部963，係對從攝像部962所輸入的影像訊號進行KNEE補正、γ補正、色彩補正等各種相機訊號處理。訊號處理部963，係將攝影機訊號處理後的影像資料，輸出至影像處理部964。

影像處理部964，係將從訊號處理部963所輸入的影像資料予以編碼，生成編碼資料。然後，影像處理部964，係將已生成之編碼資料，輸出至外部介面966或媒 體驅動機968。又，影像處理部964，係將從外部介面966或媒體驅動機968所輸入之編碼資料予以解碼，生成影像資料。然後，影像處理部964係將已生成之影像資料，輸出至顯示部965。又，影像處理部964，係亦可將從訊號處理部963所輸入的影像資料，輸出至顯示部965而顯示出影像。又，影像處理部964，係亦可將從OSD969所取得之顯示用資料，重疊至對顯示部965輸出的影像上。

OSD969係生成例如選單、按鈕或游標等之GUI的影像，將所生成之影像，輸出至影像處理部964。

外部介面966，係被構成為例如USB輸出入端子。外部介面966，係例如在影像的列印時，將攝像裝置960與印表機做連接。又，外部介面966上係因應需要而連接有驅動機。驅動機上係裝著有例如磁碟或光碟等之可移除式媒體，從可移除式媒體所讀出的程式，係可被安裝至攝像裝置960。甚至，外部介面966係還可被構成為連接LAN或網際網路等之網路的網路介面。亦即，外部介面966係具有攝像裝置960中的傳輸部之功能。

被裝著至媒體驅動機968的記錄媒體，係可為例如磁碟、光磁碟、光碟、或半導體記憶體等之可任意讀寫之可移除式媒體。又，亦可被構成為，記錄媒體是對媒體驅動機968固定裝著，例如，內建型硬碟機或SSD(Solid State Drive)這類非可移除式的記憶部。

控制部970係具有CPU等之處理器、以及RAM及 ROM等之記憶體。記憶體係記憶著CPU所執行的程式、及程式資料等。被記憶體所記憶的程式，係例如在攝像裝置960啟動時被CPU讀取、執行。CPU係藉由執行程式，而隨應於從例如使用者介面971所輸入的操作訊號，來控制攝像裝置960的動作。

使用者介面971，係和控制部970連接。使用者介面971係具有例如，用來讓使用者操作攝像裝置960所需的按鈕及開關。使用者介面971，係偵測透過這些構成要素而由使用者所做之操作，生成操作訊號，將所生成之操作訊號，輸出至控制部970。

在如此構成的攝像裝置960中，影像處理部964係具有上述實施形態所述之影像編碼裝置10(圖1)之機能、及影像解碼裝置300(圖16)之機能。因此，攝像裝置960係可抑制量化矩陣的編碼量之增加。

當然，適用本技術的影像編碼裝置及影像解碼裝置，係除了上述裝置以外的裝置或系統，也能適用。

<11.可調式編碼的應用例> [第1系統]

接著說明，被可調式編碼(階層編碼化)的可調式編碼資料的具體利用例。可調式編碼，係例如圖39所示的例子，被利用於傳輸資料之選擇。

於圖39所示的資料傳輸系統1000中，配訊伺服器1002，係將可調式編碼資料記憶部1001中所記憶的可調 式編碼資料，予以讀出，透過網路1003，配送給個人電腦1004、AV機器1005、平板裝置1006、及行動電話機1007等之終端裝置。

此時，配訊伺服器1002，係隨著終端裝置的能力或通訊環境等，來選擇適切品質的編碼資料，進行傳輸。就算配訊伺服器1002多餘地傳輸高品質的資料，在終端裝置上也不一定會獲得高畫質的影像，反而會成為造成延遲或是溢位的主因。又，也恐怕會導致佔用多餘的通訊頻寬，增大終端裝置的負荷等等。反之，即是配訊伺服器1002多餘地傳輸低品質的資料，在終端裝置則恐怕無法獲得充分畫質之影像。因此，配訊伺服器1002，係將可調式編碼資料記憶部1001中所記憶之可調式編碼資料，適宜地針對終端裝置的能力或通訊環境等，讀出適切品質之編碼資料而傳輸之。

例如，假設可調式編碼資料記憶部1001係將已被可調性編碼的可調式編碼資料(BL+EL)1011，加以記憶。該可調式編碼資料(BL+EL)1011，係為含有基礎圖層與增強圖層雙方的編碼資料，藉由將該資料進行解碼，就可獲得基礎圖層之影像及增強圖層之影像雙方。

配訊伺服器1002，係隨應於傳輸資料之終端裝置的能力或通訊環境等，來選擇適切的圖層，將該圖層之資料予以讀出。例如，配訊伺服器1002，係對處理能力高的個人電腦1004或平板裝置1006，係將高品質之可調式編碼資料(BL+EL)1011，從可調式編碼資料記憶部1001中予 以讀出，直接傳輸。相對於此，例如，配訊伺服器1002，係對處理能力低的AV機器1005或行動電話機1007，係從可調式編碼資料(BL+EL)1011中抽出基礎圖層之資料，雖然是與可調式編碼資料(BL+EL)1011相同內容的資料，但是以比可調式編碼資料(BL+EL)1011低品質的可調式編碼資料(BL)1012，進行傳輸。

藉由如此使用可調式編碼資料，就可容易地調整資料量，因此可抑制延遲或是溢位的發生，或是抑制終端裝置或通訊媒體的無謂之負荷增大。又，可調式編碼資料(BL+EL)1011，係由於降低了圖層間的冗長性，因此相較於將各圖層的編碼資料當作個別之資料時，可更加降低其資料量。因此，可更有效率地使用可調式編碼資料記憶部1001的記憶領域。

此外，像是個人電腦1004乃至行動電話機1007這樣，可在終端裝置上適用各種各樣的裝置，因此終端裝置的硬體性能，係隨裝置而不同。又，終端裝置所執行的應用程式也是相當多樣，因此該軟體的能力也相當多樣。甚至，作為通訊媒體的網路1003也是，例如網際網路或LAN(Local Area Network)等、有線或是無線、或是包含兩者的任何通訊線路網都會適用，其資料傳輸能力也是各式各樣。甚至，還可能隨著其他的通訊而變化。

於是，配訊伺服器1002係亦可在資料傳輸開始之前，先和資料傳輸目標之終端裝置進行通訊，獲得終端裝置的硬體性能、終端裝置所執行的應用程式(軟體)之性能 等這些終端裝置的能力相關資訊，以及網路1003的可用頻寬等之通訊環境相關資訊。然後，配訊伺服器1002係亦可基於該所得到的資訊，來選擇適切的圖層。

此外，圖層的抽出，係亦可於終端裝置中進行。例如，個人電腦1004，係將所被傳輸來的可調式編碼資料(BL+EL)1011，予以解碼，可以顯示基礎圖層的影像，也可顯示增強圖層的影像。又，例如，個人電腦1004，係從所被傳輸來的可調式編碼資料(BL+EL)1011中，將基礎圖層的可調式編碼資料(BL)1012予以抽出、記憶，或傳輸至其他裝置等等，或可進行解碼而顯示基礎圖層的影像等等。

當然，可調式編碼資料記憶部1001、配訊伺服器1002、網路1003、及終端裝置的數目均為任意。又，以上雖然說明了，配訊伺服器1002將資料傳輸給終端裝置的例子，但利用例並非限定於此。資料傳輸系統1000係為，將已被可調式編碼之編碼資料予以傳輸至終端裝置之際，只要會隨著終端裝置的能力或通訊環境等，來選擇適切圖層而進行傳輸的系統即可，可以適用任意之系統。

然後，如以上的圖39之資料傳輸系統1000中也是，藉由和參照圖31乃至圖33而上述過之對階層編碼．階層解碼之適用同樣地來適用本技術，就獲得和參照圖31乃至圖33而上述過之效果同樣的效果。

[第2系統]

又，可調式編碼，係例如圖40所示的例子，被利用於透過複數通訊媒體的傳輸。

於圖40所示的資料傳輸系統1100中，播送台1101係藉由地表波播送1111，而將基礎圖層的可調式編碼資料(BL)1121予以傳輸。又，播送台1101係透過由有線或無線或其雙方之通訊網所成的任意網路1112，而將增強圖層的可調式編碼資料(EL)1122，予以傳輸(例如封包化而傳輸)。

終端裝置1102係具有播送台1101所播送之地表波播送1111的收訊機能，會收取透過該地表波播送1111而被傳輸之基礎圖層的可調式編碼資料(BL)1121。又，終端裝置1102係還具有透過網路1112進行通訊的通訊機能，會收取透過該網路1112而被傳輸之增強圖層的可調式編碼資料(EL)1122。

終端裝置1102係隨應於例如使用者指示等，將透過地表波播送1111所取得之基礎圖層的可調式編碼資料(BL)1121，進行解碼而獲得基礎圖層的影像，或是加以記憶，或是傳輸至其他裝置等等。

又，終端裝置1102係隨應於例如使用者指示等，將透過地表波播送1111所取得之基礎圖層的可調式編碼資料(BL)1121、和透過網路1112所取得之增強圖層的可調式編碼資料(EL)1122，進行合成，獲得可調式編碼資料(BL+EL)，或是將其進行解碼而獲得增強圖層的影像，或是加以記憶，或是傳輸至其他裝置等等。

如以上，可調式編碼資料，係可例如每圖層地透過不同通訊媒體而被傳輸。因此，可分散負荷，抑制延遲或是溢位的發生。

又，亦可因應狀況，將傳輸時所使用的通訊媒體，按照每一圖層來做選擇。例如，亦可為，將資料量比較多的基礎圖層的可調式編碼資料(BL)1121透過頻寬較廣的通訊媒體來傳輸，將資料量比較少的增強圖層的可調式編碼資料(EL)1122透過頻寬較窄的通訊媒體來傳輸。又，亦可為，例如，將增強圖層的可調式編碼資料(EL)1122予以傳輸的通訊媒體，係為網路1112、還是地表波播送1111，是可隨著網路1112的可用頻寬來做切換。當然，針對任意圖層的資料也是同樣如此。

藉由如此控制，就可更為抑制資料傳輸時的負荷增大。

當然，圖層數係為任意，利用於傳輸之通訊媒體的數目也為任意。又，資料配送目標的終端裝置1102的數目也為任意。甚至，以上雖然是以從播送台1101之播送為例來說明，但利用例並非限定於此。資料傳輸系統1100係為，將已被可調式編碼之編碼資料，以圖層為單位而分割成複數，透過複數線路來加以傳輸的系統即可，可以適用任意之系統。

然後，如以上的圖40之資料傳輸系統1100中也是，藉由和參照圖31乃至圖33而上述過之對階層編碼．階層解碼之適用同樣地來適用本技術，就獲得和參照圖31乃 至圖33而上述過之效果同樣的效果。

[第3系統]

又，可調式編碼，係例如圖41所示的例子，被利用於編碼資料的記憶。

於圖41所示的攝像系統1200中，攝像裝置1201係將拍攝被攝體1211所得之影像資料，進行可調式編碼，成為可調式編碼資料(BL+EL)1221，供給至可調式編碼資料記憶裝置1202。

可調式編碼資料記憶裝置1202，係將從攝像裝置1201所供給之可調式編碼資料(BL+EL)1221，以符合狀況的品質而加以記憶。例如，在通常時，可調式編碼資料記憶裝置1202係從可調式編碼資料(BL+EL)1221抽出基礎圖層的資料，成為低品質且資料量少的基礎圖層的可調式編碼資料(BL)1222而加以記憶。相對於此，例如，在注目時，可調式編碼資料記憶裝置1202係直接將高品質且資料量多的可調式編碼資料(BL+EL)1221，加以記憶。

藉由如此設計，可調式編碼資料記憶裝置1202係可僅在必要時，將影像以高畫質來加以保存，因此可抑制畫質劣化所致之影像價值的降低，同時，可抑制資料量的增大，可提升記憶領域的利用效率。

例如，假設攝像裝置1201係為監視攝影機。當攝像影像中沒有映出監視對象(例如入侵者)時(通常的情形)，由於攝像影像的內容不重要的可能性較高，因此以資料量 的削減為優先，該影像資料(可調式編碼資料)係以低品質而被記憶。相對於此，當攝像影像中有監視對象被映出成為被攝體1211時(注目時的情形)，由於該攝像影像的內容係為重要的可能性較高，因此以畫質優先，該影像資料(可調式編碼資料)係以高品質而被記憶。

此外，亦可為，在通常時還是注目時，例如，是由可調式編碼資料記憶裝置1202藉由解析影像來進行判斷。又，亦可由攝像裝置1201來做判定，將其判定結果傳輸至可調式編碼資料記憶裝置1202。

此外，通常時還是注目時的判定基準係為任意，作為判定基準之影像的內容係為任意。當然，亦可將影像內容以外的條件，當成判定基準。例如，亦可隨著收錄聲音的大小或波形等來切換，亦可每隔所定時間就切換，亦可隨著使用者指示等來自外部之指示而切換。

又，以上雖然說明了通常時和注目時的2個狀態的切換例子，但狀態的數目係為任意，例如，亦可為通常時、稍微注目時、注目時、非常注目時這樣，切換3種以上之狀態。只不過，可切換狀態的上限數，係依存於可調式編碼資料的圖層數。

又，亦可由攝像裝置1201，隨著狀態來決定可調式編碼的圖層數。亦可為例如，在通常時的情況下，攝像裝置1201係生成低品質且資料量少的基礎圖層之可調式編碼資料(BL)1222，供給至可調式編碼資料記憶裝置1202。又，亦可為例如，在注目時的情況下，攝像裝置 1201係生成高品質且資料量多的基礎圖層之可調式編碼資料(BL+EL)1221，供給至可調式編碼資料記憶裝置1202。

以上雖然以監視攝影機為例子來說明，但本攝像系統1200的用途係為任意，並不限定於監視攝影機。

然後，如以上的圖41之攝像系統1200中也是，藉由和參照圖31乃至圖33而上述過之對階層編碼．階層解碼之適用同樣地來適用本技術，就獲得和參照圖31乃至圖33而上述過之效果同樣的效果。

此外，本技術係亦可適用於，從事先準備的解析度等彼此不同之複數編碼資料之中以區段單位選擇出適切者而加以使用的，例如MPEG DASH等這類HTTP串流上。亦即，亦可在此種複數編碼資料間，共用有關編碼或解碼之資訊。

此外，在本說明書中係說明了，量化矩陣及量化矩陣所關連之參數，是從編碼列被傳輸至解碼側的例子。量化矩陣及量化矩陣所關連之參數的傳輸手法，係亦可不是被多工化在編碼位元串流中，而是以與編碼位元串流建立關連之個別資料的方式而被傳輸或記錄。此處，「建立關連」之用語係意味著，位元串流中所含之影像(切片或區塊等，亦可為影像之一部分)和該當影像所對應之資訊進行解碼時使其能夠彼此連結的意思。亦即，資訊係可有別於影像(或位元串流)而在另外的傳輸路上進行傳輸。又，資訊係亦可有別於影像(或位元串流)而被記錄在另外的記 錄媒體(或是同一記錄媒體的其他記錄區域)。甚至，資訊和影像(或位元串流)，係亦可以例如複數畫格、1畫格、或畫格內之一部分等之任意單位，而彼此關連。

以上雖然一面參照添附圖面一面詳細說明了本揭露的理想實施形態，但本揭露之技術範圍並非限定於所述例子。只要是本揭露之技術領域中具有通常知識者，自然可於申請專利範圍中所記載之技術思想的範疇內，想到各種變更例或修正例，而這些當然也都屬於本揭露的技術範圍。

此外，本技術係亦可採取如下之構成。

(1)一種影像處理裝置，其特徵為，具備：收取部，係收取影像進行編碼處理而成的編碼資料、和被限制成傳輸之際所能容許之最大尺寸亦即傳輸尺寸以下的量化矩陣；和解碼部，係將前記收取部所收取到的編碼資料，進行解碼處理，以生成量化資料；和擴增轉換部，係將前記收取部所收取到的量化矩陣，進行擴增轉換，成為與從前記傳輸尺寸進行逆量化之際之處理單位的區塊尺寸相同之尺寸；和逆量化部，係使用已被前記擴增轉換部進行擴增轉換後的量化矩陣，而將前記解碼部所生成之量化資料，予以逆量化。

(2)如(1)以及(3)乃至(19)之任一項所記載之影像處理裝置，其中， 前記收取部所收取到的量化矩陣，其前記傳輸尺寸係和預設量化矩陣尺寸相同之尺寸。

(3)如(1)、(2)、以及(4)乃至(19)之任一項所記載之影像處理裝置，其中，前記收取部所收取到的量化矩陣，其前記傳輸尺寸係和預設量化矩陣的最大尺寸相同之尺寸。

(4)如(1)乃至(3)以及(5)乃至(19)之任一項所記載之影像處理裝置，其中，前記傳輸尺寸係為8×8；前記收取部所收取到的量化矩陣，係為8×8尺寸。

(5)如(1)乃至(4)以及(6)乃至(19)之任一項所記載之影像處理裝置，其中，前記擴增轉換部，係藉由對前記收取部所收取到的量化矩陣之矩陣元素進行內插處理，以將被限制成前記傳輸尺寸以下的量化矩陣，進行擴增轉換。

(6)如(1)乃至(5)以及(7)乃至(19)之任一項所記載之影像處理裝置，其中，前記擴增轉換部，係藉由對前記收取部所收取到的量化矩陣之矩陣元素進行最近鄰內插處理，以將被限制成前記傳輸尺寸以下的量化矩陣，進行擴增轉換。

(7)如(1)乃至(6)以及(8)乃至(19)之任一項所記載之影像處理裝置，其中，前記傳輸尺寸係為8×8；前記擴增轉換部，係藉由對8×8尺寸的量化矩陣之矩 陣元素進行前記最近鄰內插處理，以擴增轉換成16×16尺寸的量化矩陣。

(8)如(1)乃至(7)以及(9)乃至(19)之任一項所記載之影像處理裝置，其中，前記擴增轉換部，係藉由對8×8尺寸的量化矩陣之矩陣元素進行前記最近鄰內插處理，以擴增轉換成32×32尺寸的量化矩陣。

(9)如(1)乃至(8)以及(10)乃至(19)之任一項所記載之影像處理裝置，其中，前記擴增轉換部，係藉由對被限制成前記傳輸尺寸以下的正方之量化矩陣之矩陣元素進行內插處理，以擴增轉換成非正方之量化矩陣。

(10)如(1)乃至(9)以及(11)乃至(19)之任一項所記載之影像處理裝置，其中，前記傳輸尺寸係為8×8；前記擴增轉換部，係藉由對8×8尺寸的量化矩陣之矩陣元素進行前記內插處理，以擴增轉換成8×32尺寸的量化矩陣或32×8尺寸的量化矩陣。

(11)如(1)乃至(10)以及(12)乃至(19)之任一項所記載之影像處理裝置，其中，前記傳輸尺寸係為8×8；前記擴增轉換部，係藉由對4×4尺寸的量化矩陣之矩陣元素進行前記內插處理，以擴增轉換成4×16尺寸的量化矩陣或16×4尺寸的量化矩陣。

(12)如(1)乃至(11)以及(13)乃至(19)之任一項所記載之影像處理裝置，其中，前記傳輸尺寸係為8×8；前記擴增轉換部，係藉由對8×8尺寸的量化矩陣之矩陣元素進行前記內插處理，以擴增轉換成2×32尺寸的量化矩陣、32×2尺寸的量化矩陣、1×16尺寸的量化矩陣、或16×1尺寸的量化矩陣。

(13)如(1)乃至(12)以及(14)乃至(19)之任一項所記載之影像處理裝置，其中，解碼處理之際的處理單位亦即編碼單元與轉換處理之際的處理單位亦即轉換單位是具有階層構造；前記解碼部係將前記編碼資料，以具有階層構造之單位來進行解碼處理；前記擴增轉換部，係將前記收取部所收取到的量化矩陣予以擴增轉換成，從前記傳輸尺寸進行逆量化之處理單位亦即轉換單位的尺寸。

(14)如(1)乃至(13)以及(15)乃至(19)之任一項所記載之影像處理裝置，其中，前記量化矩陣係被設定成為，矩陣元素是隨著進行逆量化之際的處理單位亦即區塊尺寸而有所不同的量化矩陣；前記收取部，係將矩陣元素是隨著進行逆量化之際的處理單位亦即區塊尺寸而有所不同的量化矩陣，予以收取； 前記擴增轉換部，係使用矩陣元素是隨著進行逆量化之際的處理單位亦即區塊尺寸而有所不同的量化矩陣，來將前記收取部所收取到的量化矩陣，進行擴增轉換。

(15)如(1)乃至(14)以及(16)乃至(19)之任一項所記載之影像處理裝置，其中，前記傳輸尺寸係為8×8；前記擴增轉換部，係當進行逆量化之際的處理單位亦即區塊尺寸是16×16的情況下，則將第1量化矩陣予以擴增轉換，當進行逆量化之際的處理單位亦即區塊尺寸是32×32的情況下，則將矩陣元素是與前記第1量化矩陣不同的第2量化矩陣予以擴增轉換。

(16)如(1)乃至(15)以及(17)乃至(19)之任一項所記載之影像處理裝置，其中，前記收取部，係將隨著進行擴增轉換之尺寸而有所不同的量化矩陣，予以收取；前記擴增轉換部，使用符合進行擴增轉換之尺寸的量化矩陣，來進行擴增轉換。

(17)如(1)乃至(16)、(18)、以及(19)之任一項所記載之影像處理裝置，其中，前記收取部，係將擴增轉換成第1尺寸之際所使用的第1量化矩陣和擴增轉換成大於第1尺寸的第2尺寸之際所使用的第2量化矩陣，予以收取；前記擴增轉換部，係在轉換單位為第1尺寸時，將前記收取部所收取到的前記第1量化矩陣，進行擴增轉換。

(18)如(1)乃至(17)以及(19)之任一項所記載之影像處理裝置，其中，前記擴增轉換部，係在轉換單位為第2尺寸時，將前記收取部所收取到的前記第2量化矩陣，進行擴增轉換。

(19)如(1)乃至(18)之任一項所記載之影像處理裝置，其中，前記第1尺寸係為16×16，前記第2尺寸係為32×32。

(20)一種影像處理方法，係屬於影像處理裝置的影像處理方法，其特徵為，由前記影像處理裝置，收取影像進行編碼處理而成的編碼資料、和被限制成傳輸之際所能容許之最大尺寸亦即傳輸尺寸以下的量化矩陣；將所收取到的編碼資料進行解碼處理以生成量化資料；將所收取到的量化矩陣，進行擴增轉換，成為與從前記傳輸尺寸進行逆量化之際之處理單位的區塊尺寸相同之尺寸；使用已被擴增轉換後的量化矩陣，而將已被生成之量化資料，予以逆量化。

(21)一種影像處理裝置，其特徵為，具備：設定部，係設定量化矩陣，該量化矩陣係用於，從傳輸之際所能容許之最大尺寸亦即傳輸尺寸，擴增轉換成與 將影像進行量化而成之量化資料予以逆量化之際之處理單位的區塊尺寸相同之尺寸時；和量化部，係使用前記設定部所設定的量化矩陣，來將前記影像予以量化而生成量化資料；和編碼部，係將前記量化部所生成的量化資料，進行編碼處理，以生成編碼資料；和傳輸部，係將前記編碼部所生成之編碼資料、和前記設定部所設定的被限制成前記傳輸尺寸以下的量化矩陣，予以傳輸。

(22)如(21)以及(23)乃至(25)之任一項所記載之影像處理裝置，其中，前記傳輸尺寸係為8×8；被前記設定部所設定的量化矩陣，係為8×8。

(23)如(21)、(22)、(24)、及(25)之任一項所記載之影像處理裝置，其中，前記量化矩陣，係為從8×8尺寸進行擴增轉換成16×16尺寸或32×32尺寸之際所使用的量化矩陣。

(24)如(21)乃至(23)、以及(25)之任一項所記載之影像處理裝置，其中，前記量化矩陣，係為擴增轉換成32×32尺寸之際所使用的擴增轉換。

(25)如(21)乃至(24)之任一項所記載之影像處理裝置，其中，編碼單位之際的處理單位亦即編碼單元與轉換處理之 際的處理單位亦即轉換單位是具有階層構造；前記編碼部係將前記編碼資料，以具有階層構造之單位來進行編碼處理。

(26)一種影像處理方法，係屬於影像處理裝置的影像處理方法，其特徵為，由前記影像處理裝置，設定量化矩陣，該量化矩陣係用於，從傳輸之際所能容許之最大尺寸亦即傳輸尺寸，擴增轉換成與將影像進行量化而成之量化資料予以逆量化之際之處理單位的區塊尺寸相同之尺寸時；使用已被設定的量化矩陣，來將前記影像予以量化而生成量化資料；將已被生成的量化資料，進行編碼處理，以生成編碼資料；將已被生成之編碼資料、和已被設定並被限制成前記傳輸尺寸以下的量化矩陣，予以傳輸。

Claims (12)

1. 一種影像處理裝置，係具備：解碼部，係將含有第1尺寸之第1量化矩陣的要素所被抽略而成的第2尺寸之第2量化矩陣的位元串流，予以解碼，以生成量化資料；和設定部，係將已被前記解碼部所生成之量化資料進行逆量化而成的轉換係數資料，以第1尺寸之轉換單位進行逆正交轉換時，藉由對第2尺寸之前記第2量化矩陣的各要素進行最近鄰內插處理，以設定第1尺寸之前記第1量化矩陣；和逆量化部，係使用已被前記設定部所設定的第1尺寸之前記第1量化矩陣，而將已被前記解碼部所生成之量化資料予以逆量化。
2. 如請求項1所記載之影像處理裝置，其中，第2尺寸之前記第2量化矩陣，係被包含在前記位元串流的圖像參數集之中。
3. 如請求項2所記載之影像處理裝置，其中，還具備：逆正交轉換部，係將已被前記解碼部所生成之量化資料進行逆量化而成的轉換係數資料，以第1尺寸之轉換單位進行逆正交轉換。
4. 一種影像處理方法，係具備：解碼步驟，係將含有第1尺寸之第1量化矩陣的要素所被抽略而成的第2尺寸之第2量化矩陣的位元串流，予以解碼，以生成量化資料；和設定步驟，係將已被前記解碼步驟所生成之量化資料進行逆量化而成的轉換係數資料，以第1尺寸之轉換單位進行逆正交轉換時，藉由對第2尺寸之前記第2量化矩陣的各要素進行最近鄰內插處理，以設定第1尺寸之前記第1量化矩陣；和逆量化步驟，係使用已被前記設定步驟所設定的第1尺寸之前記第1量化矩陣，而將已被前記解碼步驟所生成之量化資料予以逆量化。
5. 如請求項4所記載之影像處理方法，其中，第2尺寸之前記第2量化矩陣，係被包含在前記位元串流的圖像參數集之中。
6. 如請求項5所記載之影像處理方法，其中，還具備：逆正交轉換步驟，係將已被前記解碼步驟所生成之量化資料進行逆量化而成的轉換係數資料，以第1尺寸之轉換單位進行逆正交轉換。
7. 一種影像處理裝置，係具備：設定部，係藉由對第1尺寸之第1量化矩陣的各要素進行最近鄰內插處理，以設定第2尺寸之轉換單位所對應的第2尺寸之第2量化矩陣；和量化部，係將以第2尺寸之轉換單位而將前記影像資料進行正交轉換所生成之轉換係數資料，使用已被前記設定部所設定的第2尺寸之前記第2量化矩陣來進行量化以生成量化資料；和編碼部，係將已被前記量化部所生成之量化資料予以編碼，以生成位元串流，其中含有：對已被前記設定部所設定的第2尺寸之前記第2量化矩陣的各要素，將重複的要素予以抽略而成的第1尺寸之前記第1量化矩陣。
8. 如請求項7所記載之影像處理裝置，其中，前記編碼部，係將第1尺寸之前記第1量化矩陣，設定作為前記位元串流的圖像參數集。
9. 如請求項7所記載之影像處理裝置，其中，還具備：正交轉換部，係以第2尺寸之轉換單位而將前記影像資料進行正交轉換，以生成前記轉換係數資料。
10. 一種影像處理方法，係具備：設定步驟，係藉由對第1尺寸之第1量化矩陣的各要素進行最近鄰內插處理，以設定第2尺寸之轉換單位所對應的第2尺寸之第2量化矩陣；和量化步驟，係將以第2尺寸之轉換單位而將前記影像資料進行正交轉換所生成之轉換係數資料，使用已被前記設定步驟所設定的第2尺寸之前記第2量化矩陣來進行量化以生成量化資料；和編碼步驟，係將已被前記量化步驟所生成之量化資料予以編碼，以生成位元串流，其中含有：對已被前記設定步驟所設定的第2尺寸之前記第2量化矩陣的各要素，將重複的要素予以抽略而成的第1尺寸之前記第1量化矩陣。
11. 如請求項10所記載之影像處理方法，其中，前記編碼步驟，係將第1尺寸之前記第1量化矩陣，設定作為前記位元串流的圖像參數集。
12. 如請求項10所記載之影像處理方法，其中，還具備：正交轉換步驟，係以第2尺寸之轉換單位而將前記影像資料進行正交轉換，以生成前記轉換係數資料。