TWI547149B

TWI547149B - An image decoding method, and an image decoding apparatus

Info

Publication number: TWI547149B
Application number: TW101146880A
Authority: TW
Inventors: Youji Shibahara; Takahiro Nishi; Toshiyasu Sugio; Kyoko Tanikawa; Toru Matsunobu; Hisao Sasai; Kengo Terada
Original assignee: Tagivan Ii Llc
Priority date: 2011-12-15
Filing date: 2012-12-12
Publication date: 2016-08-21
Also published as: EP3598754A1; PL3614670T3; KR102013460B1; AU2018203522A1; US20130177072A1; MX2013009066A; ES2864427T3; TW201707455A; WO2013088687A1; HUE054730T2; ES2863625T3; EP3614670B1; EP2793468A4; JP6305591B2; LT3598753T; EP3599766B1; RU2016144679A3; JP5325360B1; PL3598754T3; CN103348680A

Description

圖像解碼方法、圖像解碼裝置

發明領域

本發明係關於一種圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼解碼裝置。

發明背景

為了壓縮聲音資料及動態圖像資料，已開發有複數種聲音編碼規格及動態圖像編碼規格。動態圖像編碼規格例可舉出稱為H.26x之ITU-T規格及稱為MPEG-x之ISO/IEC規格(參考例如非專利文獻1)。最新的動態圖像編碼規格係稱為H.264/MPEG-4AVC之規格。又，近年來正在研究一種稱為HEVC(High Efficiency Video Coding：高效能視訊編碼)之下一代編碼規格。

先行技術文獻非專利文獻

[非專利文獻1]ISO/IEC 14496-10「MPEG-4 Part10 Advanced Video Coding」

發明概要

於該類圖像編碼方法及圖像解碼方法，期望減低用以暫時儲存編碼或解碼用資料之記憶體之容量。

因此，本發明之目的在於提供一種圖像編碼方法及圖像解碼方法，係可減低用以暫時儲存編碼或解碼用資料之記憶體之容量者。

為了達成上述目的，本發明之一態樣之圖像解碼裝置包含：減法步驟，係將輸入圖像訊號分割為複數個編碼單位，就各前述編碼單位，從前述輸入圖像訊號減去預測訊號，藉此生成預測誤差訊號者；轉換量化步驟，係將前述編碼單位分割為複數個轉換單位，就各前述轉換單位，將前述預測誤差訊號予以正交轉換及量化，藉此生成量化係數者；及編碼步驟，係以一樹狀結構來編碼表示前述複數個轉換單位之構成之管理資訊及前述量化係數者；前述複數個轉換單位之各者係對應於前述樹狀結構之各個葉節點，於前述編碼步驟中，就各前述葉節點，編碼對應於該葉節點之前述管理資訊及前述量化係數，生成經編碼之管理資訊及經編碼之量化係數被集中配置之編碼訊號。

再者，該等之全面性或具體的態樣係以系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體來實現，或以系統、方法、積體電路、電腦程式及記錄媒體之任意組合來實現均可。

本發明可提供一種圖像編碼方法及圖像解碼方法，係可減低用以暫時儲存編碼或解碼用資料之記憶體之容量者。

100‧‧‧圖像編碼裝置

120‧‧‧轉換部

101‧‧‧輸入圖像訊號

121‧‧‧轉換輸出訊號

110‧‧‧減法部

130‧‧‧量化部

111‧‧‧預測誤差訊號

131、231‧‧‧量化係數

140、240‧‧‧反量化部

141、241‧‧‧解碼轉換輸出訊號

150、250‧‧‧反轉換部

151、251‧‧‧解碼轉換輸入訊號

160、260‧‧‧加法部

161、261‧‧‧解碼訊號

170、270‧‧‧記憶體

180、280‧‧‧預測部

181、281‧‧‧預測訊號

190‧‧‧熵編碼部

191‧‧‧編碼訊號

200‧‧‧圖像解碼裝置

290、290A、290B‧‧‧熵解碼部

291‧‧‧預測方法

311‧‧‧分支部

312‧‧‧分割資訊樹解碼部

313‧‧‧TUS記憶體

314‧‧‧CBF記憶體

315‧‧‧轉換係數樹解碼部

316‧‧‧轉換係數解碼部

317‧‧‧轉換統一樹解碼部

321‧‧‧編碼管理資訊

322‧‧‧轉換係數

BlockCoeff‧‧‧轉換係數

Cb、Cr‧‧‧色差

chroma‧‧‧色差訊號

CU‧‧‧編碼單位

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex103‧‧‧串流化伺服器

ex104‧‧‧電話網

ex106~ex110‧‧‧基地局

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113‧‧‧攝影機

ex114‧‧‧行動電話

ex115‧‧‧遊戲機

ex116‧‧‧相機

ex200‧‧‧數位播放用系統

ex201‧‧‧播放台

ex202‧‧‧衛星

ex203‧‧‧纜線

ex204、ex205、ex350‧‧‧天線

ex210‧‧‧車

ex211‧‧‧車用導航器

ex215、ex216‧‧‧記錄媒體

ex217‧‧‧機上盒

ex218‧‧‧讀取機/燒錄機

ex219‧‧‧監視器

ex230‧‧‧資訊磁軌

ex232‧‧‧內周區域

ex233‧‧‧資料記錄區域

ex234‧‧‧外周區域

ex235‧‧‧視訊串流

ex236、ex239、ex242、ex245‧‧‧PES封包串

ex237、ex240、ex243、ex246‧‧‧TS封包

ex238‧‧‧音訊串流

ex241‧‧‧簡報圖形串流

ex244‧‧‧互動圖形

ex247‧‧‧多工資料

ex300‧‧‧電視

ex301‧‧‧調諧器

ex302‧‧‧調變/解調部

ex303‧‧‧多工/分離部

ex304‧‧‧聲音訊號處理部

ex305‧‧‧影像訊號處理部

ex306‧‧‧訊號處理部

ex307‧‧‧揚聲器

ex308、ex358‧‧‧顯示部

ex309‧‧‧輸出部

ex310‧‧‧控制部

ex311‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex313‧‧‧橋接器

ex314‧‧‧插槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318~ex321‧‧‧緩衝器

ex351‧‧‧收發部

ex352‧‧‧調變/解調部

ex353‧‧‧多工/分離部

ex354‧‧‧聲音訊號處理部

ex355‧‧‧影像訊號處理部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex359‧‧‧LCD控制部

ex360‧‧‧主控制部

ex361‧‧‧電源電路部

ex362‧‧‧操作輸入控制部

ex363‧‧‧相機介面部

ex364‧‧‧插槽部

ex365‧‧‧相機部

ex366‧‧‧操作鍵部

ex367‧‧‧記憶體部

ex370‧‧‧匯流排

ex400‧‧‧資訊再生/記錄部

ex401‧‧‧光學頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex404‧‧‧緩衝器

ex405‧‧‧碟片馬達

ex406‧‧‧伺服控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex505‧‧‧電源電路部

ex506‧‧‧串流I/O

ex507‧‧‧訊號處理部

ex508‧‧‧緩衝器

ex509‧‧‧AV I/O

ex510‧‧‧匯流排

ex511‧‧‧外部記憶體

ex512‧‧‧驅動頻率控制部

ex800、ex900、ex1000‧‧‧方塊

ex801‧‧‧解碼處理部

ex802、ex901、ex902、ex1001、ex1002、ex1003‧‧‧解碼處理部

ex803‧‧‧驅動頻率切換部

exS100~exS103、exS200~exS203、S101~S106、S111、S112、S121~S127、S123A、S123B、S125A、S125B、S129、S131~S136、S134A、S134B、S135A、S135B、S141、S151~S154、S161、S171‧‧‧步驟

luma‧‧‧亮度訊號

TU‧‧‧轉換單位

TUS‧‧‧分割資訊

yy1、yy2、yy3、yy4‧‧‧箭頭

圖1係比較例之編碼處理之流程圖。

圖2係實施形態1之圖像編碼裝置之方塊圖。

圖3係實施形態1之圖像解碼裝置之方塊圖。

圖4A係表示實施形態1之TU之一例之圖。

圖4B係表示實施形態1之TU之一例之圖。

圖5係表示實施形態1之樹狀結構之一例之圖。

圖6係實施形態1之編碼處理之流程圖。

圖7係實施形態1之分割資訊樹之編碼處理之流程圖。

圖8係實施形態1之轉換係數樹之編碼處理之流程圖。

圖9係實施形態1之熵編碼部之方塊圖。

圖10A係實施形態1之編碼訊號之一例之圖。

圖10B係實施形態2之編碼訊號之一例之圖。

圖11係實施形態2之編碼處理之流程圖。

圖12A係表示實施形態2之編碼處理之一部分之流程圖。

圖12B係表示實施形態2之編碼處理之一部分之流程圖。

圖13係實施形態2之熵解碼部之方塊圖。

圖14A係用以說明實施形態2之cbf之編碼之圖。

圖14B係用以說明實施形態2之cbf之編碼之圖。

圖14C係用以說明實施形態2之cbf之編碼之圖。

圖14D係用以說明實施形態2之cbf之編碼之圖。

圖15係實施形態3之編碼處理之流程圖。

圖16係實施形態4之編碼處理之流程圖。

圖17係實施形態4之其他例之編碼處理之流程圖。

圖18A係實施形態5之cbf及轉換係數之編碼順序之一例之圖。

圖18B係實施形態5之cbf及轉換係數之編碼順序之一例之圖。

圖18C係實施形態5之cbf及轉換係數之編碼順序之一例之圖。

圖19A係實施形態5之cbf及轉換係數之編碼順序之一例之圖。

圖19B係實施形態5之cbf及轉換係數之編碼順序之一例之圖。

圖20係實施形態5之編碼處理之流程圖。

圖21A係實施形態5之cbf及轉換係數之編碼順序之一例之圖。

圖21B係實施形態5之cbf及轉換係數之編碼順序之一例之圖。

圖22A係實施形態6之編碼處理之流程圖。

圖22B係實施形態6之編碼處理之流程圖。

圖23係實施形態6之語法之一例之圖。

圖24A係實施形態6之語法之一例之圖。

圖24B係實施形態6之語法之一例之圖。

圖24C係實施形態6之語法之一例之圖。

圖25A係實施形態7之編碼處理之流程圖。

圖25B係實施形態7之統一轉換處理之流程圖。

圖26係實現內容配送服務之內容供給系統之全體構成圖。

圖27係數位播放用系統之全體構成圖。

圖28係表示電視構成例之方塊圖。

圖29係表示於記錄媒體-光碟片進行資訊讀寫之資訊再生記錄部之構成例之方塊圖。

圖30係表示記錄媒體-光碟片之構造例之圖。

圖31A係表示行動電話之一例之圖。

圖31B係表示行動電話之構成例之方塊圖。

圖32係表示多工資料之構成圖。

圖33係模式性地表示各串流在多工資料中如何受到多工之圖。

圖34係更詳細表示視訊串流如何儲存於PES封包串之圖。

圖35係表示多工資料中之TS封包及來源封包之構造圖。

圖36係表示PMT之資料構成圖。

圖37係表示多工資料資訊之內部構成圖。

圖38係表示串流屬性資訊之內部構成圖。

圖39係表示識別影像資料之步驟之圖。

圖40係表示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路之構成例之方塊圖。

圖41係表示切換驅動頻率之構成圖。

圖42係表示識別影像資料而切換驅動頻率之步驟之圖。

圖43係係表示將影像資料之規格與驅動頻率建立對應之查找表之一例之圖。

圖44A係表示將訊號處理部之模組予以共有化之構成之一例之圖。

圖44B係表示將訊號處理部之模組予以共有化之構成之其他一例之圖。

用以實施發明之形態 (作為本發明基礎之酌見)

本發明人係發現習知技術產生了以下問題。

以下說明有關本發明之比較例之編碼方法及解碼方法。

圖1係比較例之編碼方法之流程圖。

圖片或訊框係分割為16×16之相同大小之巨集塊。複數個巨集塊係依例如光柵掃描順序受到編碼。圖1係表示對於1個巨集塊之編碼處理。

首先，對於處理對象之巨集塊，選擇複數種轉換尺寸中之某一尺寸作為正交轉換尺寸之轉換尺寸。該轉換尺寸係小於巨集塊，例如為4×4或8×8。以下將該轉換單位稱為Transform Unit(TU)。然後，表示所選擇的轉換尺寸之資訊受到編碼(S101)。表示該轉換尺寸之旗標為例如transform_size_flag。

接著，編碼cbf(S102)。在此，cbf係表示TU之轉換係數(量化係數)之有無之旗標資訊。

接著，選擇TU。例如依Z掃描順序，依次選擇複數個TU，對於所選擇的TU進行以下處理。

cbf為真時(於S104為是(Yes))，處理對象之TU之轉換係數受到編碼(S105)。另，cbf為偽時(於S104為否(No))，處理對象之TU之轉換係數未受到編碼。又，該S103~S105之處理係對於巨集塊所含之所有TU執行(S106)。

再者，於解碼處理時，亦採用與圖1同樣的順序進行處理。總言之，於解碼處理時，將上述說明之「編碼」置換為「解碼」即可。

在此，為了效率良好地編碼圖片，靈活地選擇轉換尺寸甚為重要。然而，本發明人發現在提升該轉換尺寸之選擇自由度時，表示該轉換尺寸之資訊之資料量會增加。

為了解決該類問題，本發明之一態樣之圖像編碼方法包含：減法步驟，係將輸入圖像訊號分割為複數個編碼單位，就各前述編碼單位，從前述輸入圖像訊號減去預測訊號，藉此生成預測誤差訊號者；轉換量化步驟，係將前述編碼單位分割為複數個轉換單位，就各前述轉換單位，將前述預測誤差訊號予以正交轉換及量化，藉此生成量化係數者；及編碼步驟，係以一樹狀結構來編碼表示前述複數個轉換單位之構成之管理資訊及前述量化係數者；前述複數個轉換單位之各者係對應於前述樹狀結構之各個葉節點；於前述編碼步驟中，就各前述葉節點，編碼對應於該葉節點之前述管理資訊及前述量化係數，生成經編碼之管理資訊及經編碼之量化係數被集中配置之編碼訊號。

若依據此，各轉換單位之管理資訊及量化係數係集中受到編碼。藉此，於圖像編碼裝置及圖像解碼裝置，無須預先於記憶體保有其他轉換單位之管理資訊。如此，該圖像編碼方法可減低用以暫時儲存編碼或解碼用資料之記憶體之容量。

例如前述管理資訊亦可包含分割資訊，係對應於前述樹狀結構之各節點，且表示是否進一步分割對應於該節點之轉換單位者。

例如前述管理資訊亦可包含第1旗標，係對應於前述樹狀結構之至少1個節點，且表示對應於該節點之量化係數之有無者。

例如於前述編碼步驟，亦可利用高位層次之第1旗標、及同一層次之其他節點之第1旗標之至少1個旗標，判斷是否可一對一地決定處理對象節點之第1旗標值，可一對一地決定前述處理對象節點之前述第1旗標值時，不編碼該第1旗標。

若依據此，該圖像編碼方法可刪減編碼訊號之碼量。

例如於前述編碼步驟，亦可在前述樹狀結構之葉節點編碼差分量化階距，於前述編碼訊號之對應於該葉節點之位置，配置經編碼之差分量化階距；前述差分量化階距亦可表示前述轉換量化步驟中，前一轉換單位所用之量化階距與處理對象之轉換單位所用之量化階距之差分。

若依據此，該圖像編碼方法可使得編碼訊號中，差分量化階距與轉換係數所配置的位置靠近。藉此，該圖像編碼方法可減低圖像解碼裝置中，用以暫時儲存資料之記憶體之容量。

例如於前述編碼步驟，亦可在前述樹狀結構之根編碼差分量化階距，於前述編碼訊號之對應於該根之位置，配置經編碼之差分量化階距；前述差分量化階距亦可表示前述轉換量化步驟中，前一轉換單位所用之差分量化階距與處理對象之轉換單位所用之差分量化階距之差分。

若依據此，該圖像編碼方法可刪減編碼訊號之碼量。

例如前述量化係數亦可包含亮度之量化係數及色差之量化係數；前述第1旗標亦可包含：第2旗標，係表示前述亮度之量化係數之有無者；及第3旗標，係表示前述色差之量化係數之有無者；於前述編碼步驟，在前述至少1個葉節點之各者，較前述第3旗標後編碼前述第2旗標，生成經編碼之第2旗標配置於經編碼之第3旗標之後之前述編碼訊號亦可。

例如前述量化係數亦可包含亮度、色差Cb及色差Cr之量化係數；前述第1旗標亦可包含：第2旗標，係表示前述亮度之量化係數之有無者；第3旗標，係表示前述色差Cb之量化係數之有無者；及第4旗標，係表示前述色差Cr之量化係數之有無者；於前述編碼步驟，在前述至少1個葉節點之各者，依序編碼前述第3旗標、前述第4旗標、前述第2旗標、前述亮度之量化係數、前述色差Cb之量化係數及前述色差Cr之量化係數，生成依序配置了經編碼之第3旗標、經編碼之第4旗標、經編碼之第2旗標、經編碼之亮度之量化係數、經編碼之色差Cb之量化係數及經編碼之色差Cr之量化係數之前述編碼訊號亦可。

又，本發明之一態樣之圖像解碼方法包含：解碼步驟，係將編碼訊號解碼，藉此生成複數個轉換單位各者之量化係數、及表示前述複數個轉換單位之構成之管理資訊者；反量化反轉換步驟，係就各前述轉換單位，將前述量化係數予以反量化及反轉換，藉此生成預測誤差訊號者；及加法步驟，係對包含複數個轉換單位之各編碼單位，加上前述預測誤差訊號及預測訊號，藉此生成解碼訊號者；前述管理資訊及前述量化係數具有一樹狀結構；前述複數個轉換單位之各者係對應於前述樹狀結構之葉節點之各個節點；於前述解碼步驟，將前述編碼訊號中，就各前述葉節點集中配置且經編碼之管理資訊及經編碼之量化係數，就各該葉節點予以解碼。

若依據此，由於各轉換單位之管理資訊及量化係數係集中受到編碼，因此於圖像解碼裝置，無須預先於記憶體保有其他轉換單位之管理資訊。如此，該圖像解碼方法可減低用以暫時儲存解碼用資料之記憶體之容量。

例如於前述解碼步驟，亦可利用高位層次之第1 旗標、及同一層次之其他節點之第1旗標之至少1個旗標，判斷是否可一對一地決定處理對象節點之第1旗標值，可一對一地決定前述處理對象節點之前述第1旗標值時，不藉由編碼生成該第1旗標。

若依據此，會刪減編碼訊號之碼量。

例如於前述解碼步驟，亦可將配置在前述編碼訊號之對應於前述樹狀結構之葉節點位置且經編碼之差分量化階距，於前述葉節點予以解碼；前述差分量化階距亦可表示前述反量化反轉換步驟中，前一轉換單位所用之量化階距與處理對象之轉換單位所用之量化階距之差分。

若依據此，於編碼訊號中，差分量化階距與轉換係數係靠近配置。藉此，該圖像編碼解碼係可減低圖像解碼裝置中，用以暫時儲存資料之記憶體之容量。

例如於前述解碼步驟，亦可將配置在前述編碼訊號之對應於前述樹狀結構之根位置且經編碼之差分量化階距，於前述根予以解碼；前述差分量化階距亦可表示前述反量化反轉換步驟中，前一轉換單位所用之量化階距與處理對象之轉換單位所用之量化階距之差分。

若依據此，會刪減編碼訊號之碼量。

例如前述量化係數亦可包含亮度之量化係數及色差之量化係數；前述第1旗標亦可包含：第2旗標，係表示前述亮度之量化係數之有無者；及第3旗標，係表示前述色差之量化係數之有無者；於前述編碼訊號，經編碼之第2旗標配置於經編碼之第3旗標之後亦可；於前述解碼步驟，在前述至少1個葉節點之各者，較前述經編碼之第3旗標後解碼前述經編碼之第2旗標亦可。

例如前述量化係數亦可包含亮度、色差Cb及色差Cr之量化係數；前述第1旗標亦可包含：第2旗標，係表示前述亮度之量化係數之有無者；第3旗標，係表示前述色差Cb之量化係數之有無者；及第4旗標，係表示前述色差Cr之量化係數之有無者；於前述編碼步驟，依序配置了經編碼之第3旗標、經編碼之第4旗標、經編碼之第2旗標、經編碼之亮度之量化係數、經編碼之色差Cb之量化係數及經編碼之色差Cr之量化係數亦可；於前述解碼步驟，於前述至少1個節點之各者，依序解碼前述經編碼之第3旗標、前述經編碼之第4旗標、前述經編碼之第2旗標、前述經編碼之亮度之量化係數、前述經編碼之色差Cb之量化係數及前述經編碼之色差Cr之量化係數亦可。

又，本發明之一態樣之圖像編碼裝置具備：減法部，係將輸入圖像訊號分割為複數個編碼單位，就各前述編碼單位，從前述輸入圖像訊號減去預測訊號，藉此生成預測誤差訊號者；轉換量化部，係將前述編碼單位分割為複數個轉換單位，就各前述轉換單位，將前述預測誤差訊號予以正交轉換及量化，藉此生成量化係數者；及編碼部，係以一樹狀結構來編碼表示前述複數個轉換單位之構成之管理資訊及前述量化係數者；前述複數個轉換單位之各者係對應於前述樹狀結構之葉節點之各個節點；前述編碼部係就各前述葉節點，編碼對應於該葉節點之前述管理資訊及前述量化係數，生成經編碼之管理資訊及經編碼之量化係數被集中配置之編碼訊號。

若依據此，各轉換單位之管理資訊及量化係數係集中受到編碼。藉此，於圖像編碼裝置及圖像解碼裝置，無須預先於記憶體保有其他轉換單位之管理資訊。如此，該圖像編碼裝置可減低用以暫時儲存編碼或解碼用資料之記憶體之容量。

又，本發明之一態樣之圖像解碼裝置包含：解碼部，係將編碼訊號解碼，藉此生成複數個轉換單位各者之量化係數、及表示前述複數個轉換單位之構成之管理資訊者；反量化反轉換部，係就各前述轉換單位，將前述量化係數予以反量化及反轉換，藉此生成預測誤差訊號者；及加法部，係對包含複數個轉換單位之各編碼單位，加上前述預測誤差訊號及預測訊號，藉此生成解碼訊號者；前述管理資訊及前述量化係數具有樹狀結構；前述複數個轉換單位之各者係對應於前述樹狀結構之葉節點之各個節點；前述解碼部係將前述編碼訊號中，就各前述葉節點集中配置之前述管理資訊及前述量化係數，就各該葉節點予以解碼。

若依據此，由於各轉換單位之管理資訊及量化係數係集中受到編碼，因此於圖像解碼裝置，無須預先於記憶體保有其他轉換單位之管理資訊。如此，該圖像解碼裝置可減低用以暫時儲存解碼用資料之記憶體之容量。

又，本發明之一態樣之圖像編碼解碼裝置具備前述圖像編碼裝置及前述圖像解碼裝置。

以下一面參考圖式，一面說明有關本發明之實施形態。

再者，以下所說明的實施形態均表示本發明之一具體例。以下實施形態所示之數值、形狀、材料、構成要素、構成要素之配置位置及連接形態、步驟、步驟之順序等係一例，其主旨非在於限定本發明。又，以下實施形態之構成要素中，關於未記載於表示最高位概念之獨立申請專利範圍之構成要素，則作為任意之構成要素來說明。

(實施形態1)

本實施形態之圖像編碼裝置係將編碼單位之區塊，階層式地分割為複數個轉換單位，並且以樹狀結構來編碼表示該複數個轉換單位之構成之管理資訊、及轉換係數。藉此，該圖像編碼裝置可抑制表示複數個轉換單位之構成之資訊增加，同時可提升選擇轉換尺寸之自由度。

首先，說明圖像編碼裝置及圖像解碼裝置之構成。

圖2係本實施形態之圖像編碼裝置100之方塊圖。該圖像編碼裝置100係例如以低位元率來編碼聲音資料及動態圖像資料。

圖2所示之圖像編碼裝置100係藉由編碼輸入圖像訊號101來生成編碼訊號191。該圖像編碼裝置100具備減法部110、轉換部120、量化部130、反量化部140、反轉換部150、加法部160、記憶體170、預測部180及熵編碼部190。

在此，1個圖片或訊框係分割為編碼的單位，即複數個編碼單位(CU：Coding Unit)，就每一CU受到編碼。又，1個CU係分割為1個以上之轉換單位(TU)。

減法部110係將輸入圖像訊號101分割為複數個CU。然後，減法部110係就各CU，從輸入圖像訊號101減去預測訊號181，藉此生成預測誤差訊號111(轉換輸入訊號)，將所生成的預測誤差訊號111輸出至轉換部120。

轉換部120係將CU分割為1個以上之TU。然後，轉換部120係就各TU，將預測誤差訊號111予以頻率轉換，藉此生成轉換輸出訊號121。具體而言，轉換部120係將預測誤差訊號111或對預測誤差訊號111施加某些處理後之轉換輸入訊號，從時空域轉換為頻率域，藉此生成相關已減輕之轉換輸出訊號121。

量化部130係就各TU，將轉換輸出訊號121予以量化，藉此生成總資料量少的量化係數131。

熵編碼部190係利用熵編碼運算法來編碼量化係數131，藉此生成進一步壓縮了冗餘之編碼訊號191。

反量化部140係就各TU，將量化係數131予以反量化，藉此生成解碼轉換輸出訊號141。反轉換部150係就各TU，將解碼轉換輸出訊號141予以反轉換，藉此生成解碼轉換輸入訊號151。

加法部160係就各CU，加上解碼轉換輸入訊號 151及預測訊號181，藉此生成解碼訊號161。記憶體170儲存解碼訊號161。

預測部180係就各CU，根據框內預測或框間預測等預測方法，從記憶體170取得預定訊號，根據該預測方法，以預定方法生成預測訊號181。具體而言，預測部180係決定編碼效率最大的預測方法，利用所決定的預測方法來生成預測訊號181。又，表示該預測方法之資訊係因應需要而在熵編碼部190受到熵編碼。

在此，反量化部140、反轉換部150、加法部160、記憶體170及預測部180係於圖像解碼裝置亦備有之構成，解碼訊號161係相當於圖像解碼裝置所獲得的再生圖像訊號(解碼訊號261)。

圖3係表示圖像解碼裝置之方塊圖。圖3所示之圖像解碼裝置200係藉由解碼編碼訊號191來生成解碼訊號261。該圖像解碼裝置200具備反量化部240、反轉換部250、加法部260、記憶體270、預測部280及熵解碼部290。

熵解碼部290係將編碼訊號191予以熵解碼，藉此生成量化係數231及預測方法291。

反量化部240係就各TU，將量化係數231予以反量化，藉此生成解碼轉換輸出訊號241。反轉換部250係將解碼轉換輸出訊號241予以反轉換，藉此生成解碼轉換輸入訊號251。

加法部260係就各CU，加上解碼轉換輸入訊號 251及預測訊號281，藉此生成解碼訊號261。該解碼訊號261係於圖像解碼裝置200獲得之再生圖像，作為圖像解碼裝置200之輸出訊號而輸出，並且儲存於記憶體270。

預測部280係就各CU，根據預測方法291從記憶體270取得預定訊號，根據預測方法291，以預定方法生成預測訊號281。

再者，量化係數131及231亦稱為轉換係數(區塊轉換係數)。

於本實施形態，為了可涵蓋大轉換尺寸到小轉換尺寸進行靈活的選擇，以樹狀結構來表現轉換單位(TU)之分割。於樹狀結構中，為了涵蓋末端的節點(葉節點)予以定義而編碼是否進行TU分割之旗標，即轉換單位分割資訊(TUS：split_transform_flag)。

圖4A及圖4B係表示TU之一例之圖。例如圖4A所示，1個CU(TU0)可分割為4個TU1~4。又，各TU1~4可進一步分割為4個TU。例如於圖4B之例中，圖4A所示之TU1分割為4個TU5~8。如此，階層式地執行TU分割。

圖5係表示圖4B所示之TU之樹狀結構圖。如圖5 所示，樹狀結構之起點(根)對應於CU(TU0)。又，樹狀結構末端之節點對應於各個分割後之最終的TU。

樹狀結構之各節點包含分割資訊(TUS)。總言之，TUS對應於樹狀結構之各節點，且表示對應於該節點之TU是否進一步受到分割。TUS為「1」時，對應於該節點之TU進一步受到分割。TUS為「0」時，對應於該節點之TU未受到分割。

又，TUS為「0」之末端之節點進一步包含表示是否存在有對應於該節點之轉換係數(coeff)之cbf。cbf為「1」時，於該節點存在轉換係數，cbf為「0」時，於該節點不存在轉換係數。再者，細節將於後面敘述，cbf亦可包含於末端以外之節點。總言之，cbf係對應於樹狀結構之至少1個節點，且表示對應於該節點之量化係數131之有無之第1旗標。

圖6係表示本實施形態之圖像編碼方法之流程圖。圖6係表示對於1個CU之編碼處理。

首先，圖像編碼裝置100(熵編碼部190)係編碼 TUS之樹狀結構(分割資訊樹：transform_split_tree)作為表示對於CU採用何種尺寸之轉換之資訊(S111)。具體而言，圖像編碼裝置100係以樹狀結構來編碼表示複數個轉換單位之構成之管理資訊(TUS及cbf)。

接著，圖像編碼裝置100係按照分割資訊樹所表現的轉換尺寸、位置資訊及cbf，編碼轉換係數之轉換係數之樹狀結構(轉換係數樹：transform coeff tree)，其包含各TU之轉換係數(S112)。該一連串處理係就每一CU進行。

藉由利用該類樹狀結構之表現，可於CU中就空間上或部分地設定轉換尺寸的大小，以便因應圖像特徵等使得編碼效率成為最大。再者，亦可不於S111而於S112編碼cbf。

以下說明有關分割資訊樹之編碼處理(S111)。圖7 係表示分割資訊樹之編碼處理(S111)之詳細動作之流程圖。

分割資訊樹之編碼處理係被遞迴地定義。該樹狀結構之遞迴層次(階層)稱為TransformDepth(TrD)。

首先，圖像編碼裝置100係於某TrD編碼 TUS(S121)。接著，圖像編碼裝置100係因應預測訊號之生成方法切換動作(S122)。例如採用框間預測(圖片間預測)時，色差訊號之轉換係數之資料量傾向為零。故，圖像編碼裝置100係於採用框間預測時(於S122為是)，編碼表示有無色差訊號之區塊之轉換係數之第3旗標cbf_chroma(S123)。

再者，亦可置換TUS與cbf_chroma之編碼順序。若較TUS早編碼cbf_chroma，則圖像解碼裝置200係從編碼串流(編碼訊號191)獲得TUS，可參考該TUS，使得進行是否進行下一分割之判斷(S124)之等待時間最小化。藉此，若將TUS儲存於高速之快閃記憶體等，則可實現刪減記憶體量及提升處理速度。

繼續說明圖7。接著，圖像編碼裝置100係參考 TUS，判斷是否進一步分割該TU(S124)。分割TU時(於S124為是)，圖像編碼裝置100係就空間上將TU分割為四，對於各個區域遞迴地進行分割資訊樹之編碼處理(S129)。總言之，圖像編碼裝置100係對於分割後之4個TU，分別進行圖 7所示之處理(S111)。

另，不分割TU時(於S124為否)，圖像編碼裝置100 係編碼表示有無該TU之亮度訊號之轉換係數之第2旗標cbf_luma(S125)。

接著，圖像編碼裝置100判斷對於TU(CU)所用之預測方法是否為框間預測(S126)。採用了框間預測時(於S126為是)，圖像編碼裝置100結束該節點之分割資訊樹之編碼處理(S111)。另，未採用框間預測時(採用了例如框內預測(面內預測)時)(於S126為否)，圖像編碼裝置100編碼cbf_chroma(S127)，結束該節點之分割資訊樹之編碼處理(S111)。再者，上述處理為低位層次之遞迴處理時，處理轉移到遞迴呼叫之高位(樹狀結構之處理對象節點之父節點)。

然後，當針對CU內所有區域表現了轉換尺寸及 cbf等時，分割資訊樹之編碼處理(S111)完畢。

接著，說明有關轉換係數樹之編碼處理(S112)。圖8係轉換係數樹之編碼處理(S112)之流程圖。

轉換係數樹之編碼處理係被遞迴地定義。某遞迴層次之轉換係數樹之編碼處理動作係依預先經編碼之TUS之真偽而改變(S131)。TUS為真時(於S131為是)，圖像編碼裝置100係就空間上將TU分割為四，針對各個區域，遞迴地進行轉換係數樹之編碼處理(S136)。

另，不分割TU時(於S131為否)，動作係依預先經編碼之cbf_luma之真偽而改變(S132)。cbf_luma為真時(於S132為是)，圖像編碼裝置100編碼該TU之亮度訊號之轉換係數(S133)。另，cbf_luma為偽時(於S132為否)，圖像編碼裝置100不編碼該TU之亮度訊號之轉換係數。

接著，動作係依預先經編碼之cbf_chroma之真偽而改變(S134)。cbf_chroma為真時(於S134為是)，圖像編碼裝置100編碼該TU之色差訊號之轉換係數(S135)。另，cbf_chroma為偽時(於S134為否)，圖像編碼裝置100不編碼該TU之色差訊號之轉換係數。

藉由以上，某末端之處理結束。再者，上述處理為低位階層之遞迴處理時，處理轉移到遞迴呼叫之高位(樹狀結構之處理對象節點之父節點)。

然後，針對CU內所有區域，當TUS之樹狀結構之遍歷(搜尋或巡迴)結束，cbf為真之TU之轉換係數之編碼結束時，轉換係數樹之編碼處理(S112)完畢。

再者，圖6、圖7及圖8所說明的動作流程中，藉由將編碼改稱為解碼，即可獲得由圖像解碼裝置200(熵解碼部290)所進行的解碼處理之動作流程。

又，上述處理程序不僅表示編碼及解碼處理之程序，還表示編碼訊號191中之資料排列順序。總言之，於編碼訊號191，與上述處理程序採相同順序配置了經編碼之資料(TUS、cbf及轉換係數)。再者，於以下實施形態，此亦同理。

圖9係圖像解碼裝置200所含之熵解碼部290之一例之熵解碼部290A之方塊圖。熵解碼部290A具備分支部311、分割資訊樹解碼部312、TUS記憶體313、CBF記憶體 314、轉換係數樹解碼部315及轉換係數解碼部316。

分支部311(DeMux部)係因應編碼訊號191的種類而選擇性地輸出訊號。具體而言，分支部311係將編碼訊號191所含之編碼管理資訊321輸出至分割資訊樹解碼部312。該編碼管理資訊321包含經編碼之TUS及經編碼之cbf。

分割資訊樹解碼部312係藉由解碼編碼管理資訊 321來生成TUS及cbf。TUS儲存於作為暫時記憶體之TUS記憶體313。具體而言，處理對象之一之CU內所有TUS係暫時儲存於TUS記憶體313。又，cbf儲存於作為暫時記憶體之CBF記憶體314。具體而言，處理對象之一之CU內所有cbf係暫時儲存於CBF記憶體314。

當TUS及CBF之解碼完畢時，分支部311接著將編碼訊號191所含經編碼之轉換係數322輸出至轉換係數樹解碼部315。

轉換係數樹解碼部315係從TUS記憶體313讀出 TUS，按照TUS搜尋樹狀結構之節點。然後，轉換係數樹解碼部315係從CBF記憶體314讀出相對應之節點之cbf，將經編碼之轉換係數與cbf為真之轉換單位建立對應。

轉換係數解碼部316係就各TU，將經編碼之轉換係數322予以熵解碼，藉此生成轉換係數(量化係數231)。

依據以上，本實施形態之圖像編碼裝置100及圖像解碼裝置200可藉由利用具有樹狀結構之管理資訊，來刪減該管理資訊之重疊。總言之，圖像編碼裝置100及圖像解碼裝置200可抑制表示複數個轉換單位之構成之資訊增加，同時可提升選擇轉換尺寸之自由度。

進而言之，該圖像編碼裝置100及圖像解碼裝置 200係利用分割資訊樹及轉換係數樹二樹狀結構。藉此，可對於各個樹狀結構，個別進行動作速度之最佳化等。

(實施形態2)

於上述實施形態1，敘述了利用二樹狀結構之例子。於本實施形態，說明利用一樹狀結構來編碼管理結構及轉換係數之例子。

以下利用圖10A及圖10B來說明上述實施形態1與本實施形態之差異。圖10A係表示實施形態1之編碼訊號191所含經編碼之管理資訊及經編碼之轉換係數之排列順序圖。圖10B係表示實施形態2之編碼訊號191所含經編碼之管理資訊及經編碼之轉換係數之排列順序圖。又，圖10A及圖10B所示之資料係對應於圖5所示之樹狀結構。

如圖10A所示，於實施形態1，分割資訊樹所含之複數種管理資訊係集中配置，轉換係數樹所含之複數種轉換資訊係集中配置。總言之，某TU之管理資訊及轉換係數係配置於分開的位置。因此，先解碼之管理資訊須預先暫時儲存於記憶體。

另，於本實施形態，藉由利用單一樹狀結構，管理資訊及轉換係數係就樹狀結構末端之各節點集中配置。藉此，可刪減預先暫時儲存於記憶體之資訊量。

以下說明本實施形態之編碼方法。再者，以下主要說明與實施形態1之相異點，省略重複說明。又，於各圖，對同一要素或處理附上同一符號。

圖11係由本實施形態之圖像編碼裝置100所進行的編碼處理之流程圖。圖像編碼裝置100係利用一轉換統一樹來編碼管理資訊(TUS及cbf)及轉換係數。

首先，圖像編碼裝置100係於某TrD編碼 TUS(S121)。接著，動作係依TUS而改變(S131)。TUS為真時(於S131為是)，圖像編碼裝置100係就空間上將TU分割為四，針對各個區域，遞迴地進行轉換統一樹之編碼處理(S141)。

另，TUS為偽時(於S131為否)，圖像編碼裝置100 不進行該TU內之分割。總言之，該節點為末端節點。此時，動作係依轉換統一樹內經編碼之cbf_luma之真偽而改變(S132)。

cbf_luma為真時(於S132為是)，圖像編碼裝置100 編碼該TU之亮度訊號之轉換係數(S133)。另，cbf_luma為偽時(於S132為否)，圖像編碼裝置100不編碼該TU之亮度訊號之轉換係數。

接著，動作係依轉換統一樹內經編碼之 cbf_chroma之真偽而改變(S134)。cbf_chroma為真時(於S134為是)，圖像編碼裝置100編碼該TU之色差訊號之轉換係數(S135)。另，cbf_chroma為偽時(於S134為否)，圖像編碼裝置100不編碼該TU之色差訊號之轉換係數。

然後，針對CU內所有區域，當表現了轉換尺寸及cbf等，並且轉換係數受到編碼時，轉換統一樹之編碼處理完畢。

與實施形態1之差異點在於樹狀結構係於其末端包含管理係數與轉換係數。於實施形態1，樹狀結構須耗費兩種處理，即分割資訊樹及轉換係數樹二樹狀結構之編碼、及樹狀結構之遍歷。另，於本實施形態之編碼方法，樹狀結構所耗費的動作為一種動作。藉此，可減少圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法所含之處理步驟。

如以上，於本實施形態，圖像編碼裝置100係以一樹狀結構來編碼表示複數個TU之構成之管理資訊及量化係數131。在此，複數個TU之各者對應於樹狀結構之各個葉節點。又，圖像編碼裝置100係就各葉節點，編碼對應於該葉節點之管理資訊及量化係數131，生成經編碼之管理資訊及經編碼之量化係數被集中配置之編碼訊號191。

又，圖像解碼裝置200係解碼編碼訊號191，藉此生成複數個TU各個之量化係數231及表示複數個TU之構成之管理資訊(TUS及cbf)。在此，管理資訊及量化係數231具有一樹狀結構。又，複數個TU之各者對應於樹狀結構之葉節點之各個節點。然後，圖像解碼裝置200係將編碼訊號191中，就各葉節點集中配置且經編碼之管理資訊及經編碼之量化係數，就各該葉節點予以解碼。

圖12A及圖12B係對於色差訊號之cbf及轉換係數之處理之流程圖。再者，圖12A及圖12B所示之處理包含於圖11所示之流程圖。

圖像編碼裝置100係於轉換統一樹內之某處編碼 cbf_chroma(S123)。其後，cbf_chroma為真時(於S134為是)，圖像編碼裝置100編碼該TU之色差之轉換係數(S135)。

再者，於圖12A，為了簡化說明，不區別色差之 Cb與Cr。實際上，如圖12B所示區別Cb與Cr。

如圖12B所示，圖像編碼裝置100係於轉換統一樹之某處，編碼表示有無色差Cb之轉換係數之第3旗標之cbf_cb(S123A)。又，圖像編碼裝置100係於轉換統一樹之某處，編碼表示有無色差Cr之轉換係數之第4旗標之cbf_cr(S123B)。其後，cbf_cb為真時(於S134A為是)，圖像編碼裝置100編碼該TU之色差Cb之轉換係數(S135A)。又，cbf_cr為真時(於S134B為是)，圖像編碼裝置100編碼該TU之色差Cr之轉換係數(S135B)。

圖13係實施形態2之圖像解碼裝置200所含之熵解碼部290之一例之熵解碼部290B之方塊圖。熵解碼部290B具備轉換統一樹解碼部317及轉換係數解碼部316。

編碼訊號191中，經編碼之TUS、cbf及轉換係數，亦即轉換統一樹所含之編碼訊號輸出至轉換統一樹解碼部317。轉換統一樹解碼部317按照TU樹狀結構來解碼TU轉換單位之尺寸及位置。又，轉換統一樹解碼部317適當地解碼cbf，對於cbf為真之TU，輸出經編碼之轉換係數。

轉換係數解碼部316係將從轉換統一樹解碼部 317輸出且經編碼之轉換係數予以熵解碼，藉此生成轉換係數(量化係數231)。

圖13所示之熵解碼部290B係與圖9所示之熵解碼部290A不同，不需要TUS記憶體313及CBF記憶體314。如此，本實施形態之圖像解碼裝置200可減輕記憶體尺寸。

再者，圖像編碼裝置100亦可於某條件下，省略cbf_chroma、cbf_luma、cbf_cb、cbf_cr等旗標之編碼。藉此，可刪減編碼訊號191之資料量。以下利用圖14A~圖14D來說明該動作。

圖14A係表示對於某個被分割為四之區域，cbf旗標分別受到編碼之一般情況之圖。圖14B係表示省略編碼的情況之一例之圖。在此，可知該4區塊之某一區塊具有轉換係數。此時，若左上、右上、左下之cbf全為「0」，則最後右下區塊係cbf須為「1」。此事項即便不參考右下之cbf旗標仍可得知，因此可省略右下之cbf旗標之編碼。

圖14C係表示其他例之圖，表示某TrD=d之4個區塊及其高位之TrD=d-1之區塊。於高位之TrD=d-1，當cbf為「1」時，分割了該區塊之低位之TrD=d之某一區塊具有轉換係數。總言之，該情況下，低位之TrD=d之某一區塊為cbf=1。此時，與先前相同，若TrD=d之左上、右上、左下區塊之cbf為「0」，則可知右下區塊之cbf為「1」。故，可省略右下區塊之cbf之編碼。

同樣地，圖14D係表示先編碼cbf_chroma，令 cbf_luma取決於其之例子之圖。關於TrD=d之4個區塊之cbf_luma，左上、右上、左下之cbf_luma為「0」，且高位之2個cbf_chroma(cbf_cb及cbf_cr)均為「0」時，可知最後區塊之cbf_luma為「1」。故，可省略該區塊之cbf_luma之編碼。

此時，有時可省略cbf旗標。於本實施形態，進行 cbf旗標之編碼或解碼時，亦可組合該類附加條件之省略。

如此，圖像編碼裝置100係利用高位層次之cbf 旗標、及同一層次之其他節點之cbf旗標之至少1個cbf旗標，來判斷是否可一對一地決定處理對象節點之cbf旗標值，可一對一地決定處理對象節點之cbf旗標值時，不編碼cbf旗標。又，圖像解碼裝置200係利用高位層次之cbf、及同一層次之其他節點之cbf之至少1個cbf，來判斷是否可一對一地決定處理對象節點之cbf值，可一對一地決定處理對象節點之cbf值時，不藉由解碼來生成該cbf。

依據以上，本實施形態之圖像編碼裝置100係以單一樹狀結構來編碼表示轉換單位之尺寸及位置等之管理資訊、及轉換係數。藉此，圖像編碼裝置100及圖像解碼裝置200可刪減所使用的記憶體容量及處理步驟。

再者，就圖11、圖12A及圖12B所說明之動作流程，藉由將編碼改稱為解碼，可獲得由圖像解碼裝置200(熵解碼部290B)所進行的解碼處理之動作流程。

(實施形態3)

於本實施形態，說明上述實施形態2之變形例。

圖15係本實施形態之編碼處理之流程圖。再者，對與圖11相同的處理附上同一符號，以下主要說明與圖11之相異點。

步驟S121之後，圖像編碼裝置100係因應預測訊號之生成方法切換動作(S122)。具體而言，採用框間預測時(於S122為是)，圖像編碼裝置100編碼cbf_chroma(S123)。

接著，圖像編碼裝置100係參考TUS，判斷是否進一步分割該TU(S124)。分割TU時(於S124為是)，圖像編碼裝置100係就空間上將TU分割為四，對於各區域遞迴地進行轉換統一樹之編碼處理(S141)。

另，不分割TU時(於S124為否)，圖像編碼裝置100 係編碼cbf_luma(S125)。接著，圖像編碼裝置100判斷對於TU(CU)所用之預測方法是否為框間預測(S126)。未採用框間預測時(例如採用框內預測時)(於S126為否)，圖像編碼裝置100編碼cbf_chroma(S127)。再者，步驟S132以後之處理係與圖11相同。

如以上，於本實施形態之圖像編碼方法，在對於 CU採用了框間預測時，於最高位階層編碼cbf_chroma，未採用框間預測時，於末端節點編碼cbf_chroma。

在此，框間預測傾向不產生轉換係數，尤其傾向不產生色差訊號之轉換係數。故，採用了框間預測時，相較起在TU之分割後，於末端編碼cbf_chroma，在TU之分割前進行編碼係效率較佳。另，框內預測傾向容易產生轉換係數，因此即便於TU之分割前進行編碼，仍只是些微改善編碼效率。故，圖像編碼裝置100係於TU之分割後之末端編碼cbf_chroma。

如此，本實施形態之圖像編碼裝置100可減輕cbf 之資料量。

再者，就圖15所說明之動作流程，藉由將編碼改稱為解碼，可獲得由圖像解碼裝置200所進行的解碼處理之動作流程。

(實施形態4)

於本實施形態，說明上述實施形態3之變形例。

圖16係本實施形態之編碼處理之流程圖。再者，對與圖15相同的處理附上同一符號，以下主要說明與圖15之相異點。

如實施形態3所說明，轉換係數之有無等傾向係因預測方法為框間預測亦或非框間預測(框內預測)而大為不同。又，尤其是採用了框內預測時，由於須多次以小區塊進行框內預測及轉換，故框內預測時之處理步驟的刪減特別重要。因此，於本實施形態，藉由因應採用框間預測亦或框內預測(非框間預測)，於高位進行動作切換，來分離框間預測時與框內預測時之處理。藉此，容易進行實作之最佳化。

具體而言係如圖16所示。於末端，判斷是框間預測亦或非框間預測(S126)之後，編碼cbf_luma。更具體而言，未採用框間預測時(於S126為否)，圖像編碼裝置100編碼cbf_luma(S125B)，並編碼cbf_chroma(S127)。另，採用了框間預測時(於S127為是)，圖像編碼裝置100編碼 cbf_luma(S125A)。再者，步驟S132以後之動作係與實施形態3相同。

若包含省略旗標時之動作在內，則關於cbf之處理傾向變得複雜。對於此，如上述，藉由於框間預測與框內預測切換關於cbf之處理，尤其可獲得上述效果。

再者，如圖17所示，於採用了框內預測時(於S126 為否)，圖像編碼裝置100亦可於編碼cbf_chroma(S127)之後再編碼cbf_luma(S125B)。藉此，cbf_chroma及cbf_luma之編碼順序係於採用了框間預測的情況(S123、S125A)與採用了框間預測的情況(S127、S125B)下相同。如此，處理順序被共通化，可刪減動作程式之資料量。

再者，就圖16及圖17所說明之動作流程，藉由將編碼改稱為解碼，可獲得由圖像解碼裝置200所進行的解碼處理之動作流程。

(實施形態5)

於本實施形態，說明cbf及轉換係數之編碼順序。

圖18A~圖18C係表示cbf及轉換係數(BlockCoeff)之編碼順序圖。換言之，圖18A~圖18C係表示編碼訊號191之cbf及轉換係數之排列順序圖。再者，於圖18A~圖18C，數值表示編碼順序。又，於圖18A~圖18C，luma(亮度訊號)之轉換區塊個數與chroma(色差訊號)之轉換區塊個數相同。

圖18A所示之編碼順序為例如實施形態1之編碼順序之一例。於圖18A，依序編碼cbf_luma(Blk=0)、 cbf_cb(Blk=0)、cbf_cr(Blk=0)，接著編碼cbf_luma(Blk=1)、cbf_cb(Blk=1)、cbf_cr(Blk=1)、cbf_luma(Blk=2)、cbf_cb(Blk=2)、cbf_cr(Blk=2)、cbf_luma(Blk=3)、cbf_cb(Blk=3)、cbf_cr(Blk=3)。在此，Blk之數值係依Z軸順序表示區塊之空間位置。Blk=0表示左上區塊，Blk=1表示右上區塊，Blk=2表示左下區塊，Blk=3表示右下區塊。

接續於所有cbf之編碼，依序編碼 BlockCoeff(luma、Blk=0)、BlockCoeff(cb、Blk=0)、BlockCoeff(cr、Blk=0)。接著，依序編碼BlockCoeff(luma、Blk=1)、BlockCoeff(cb、Blk=1)、BlockCoeff(cr、Blk=1)。

圖18B所示之編碼順序為例如實施形態2~4之編碼順序之一例。由於cbf及轉換係數係於同一樹狀結構受到編碼，因此某位置之轉換係數係於相對應之cbf之後，且較快地受到編碼。

例如依序編碼cbf_luma(blk=0)、cbf_cb(blk=0)、 cbf_cr(blk=0)之後，依序編碼對應於該3區塊之BlockCoeff(luma、Blk=0)、BlockCoeff(cb、Blk=0)、BlockCoeff(cr、Blk=0)。藉此，圖像解碼裝置200可刪減暫時儲存cbf旗標之記憶體尺寸。又，於圖像編碼裝置100，若未確定所有區塊之cbf，則無法順利儲存BlockCoeff。因此，發生用以依區塊順序儲存前方所有BlockCoeff之記憶體尺寸變大的課題。藉由採用圖18B所示之處理順序，可減輕該課題。

於圖18C，於cbf旗標之後，立即編碼相對應之轉換係數。於該例，可較圖18B所示之情況，進一步減輕用以暫時儲存cbf及轉換係數之記憶體尺寸。具體而言，依序編碼cbf_luma(blk=0)、BlockCoeff(luma、Blk=0)、cbf_cb(blk=0)、BlockCoeff(cb、Blk=0)、cbf_cr(blk=0)、BlockCoeff(cr、Blk=0)、…。

接著，說明chroma之轉換區塊個數少於luma之轉換區塊個數時之編碼順序。圖19A及圖19B係表示該情況下之編碼順序之一例之圖。

例如就4：2：0格式而言，色差訊號之像素數為亮度訊號之像素數之高及寬的一半。轉換及反轉換之尺寸(TransformSize)定義有最小尺寸(MinTrafoSize)。總言之，就最小尺寸(TransformSize=MinTrafoSize)而言，luma可使用4個TU，但chroma僅可使用1個TU。

於圖19A，於cbf之後立即編碼轉換係數。又，依序編碼BlkIdx較新的區塊。該編碼順序的優點係由於cbf與轉換係數之編碼位置接近，因此可減輕暫時記憶體之尺寸。

於圖19B，於編碼luma之cbf及轉換係數之後，編碼chroma之cbf及轉換係數。該編碼方法之優點係可使得luma與chroma之間之處理及資料輸出入指標之切換維持在最小限度。於luma及chroma，預測處理及資料之儲存去處有時大為不同，因此luma之處理與chroma之處理較宜分別持續進行。再者，在此，chroma係於所有luma之編碼後受到編碼，但chroma在所有luma之編碼前受到編碼，亦可獲得同樣的效果。

於圖19B，依序編碼cbf_luma左上、 BlockCoeff_luma左上、cbf_luma右上、BlockCoeff_luma右上、cbf_luma左下、BlockCoeff_luma左下、cbf_luma右下、BlockCoeff_luma右下、cbf_cb、BlockCoeff_cb、cbf_cr、BlockCoeff_cr。

圖20係本實施形態之編碼處理之流程圖。再者，圖20僅表示該編碼處理之一部分之有關cbf及轉換係數之處理。又，經分割之4個區塊係依Z軸順序而與BlkIdx建立對應。

圖20所示之步驟S125~S152係有關cbf之編碼之處理。又，步驟S125~S123B之處理係對於經分割之4個區塊之各者執行。

於某區塊，圖像編碼裝置100編碼cbf_luma(S125)。接著，圖像編碼裝置100判斷亮度及色差之區塊數是否相同。又，圖像編碼裝置100判斷是否Blkidx=3(S151)。總言之，判斷是否為處理對象之TU被分割為四之TU中，編碼順序上最後的TU。亮度及色差之區塊相同，或Blkidx=3時(於S151為是)，圖像編碼裝置100編碼cbf_cb及cbf_cr(S123A及S123B)。例如現在的TrD之luma的尺寸、即TrafoSize未達到最小尺寸MinTrafoSize(TrafoSize>MinTrafoSize)時，可判斷亮度及色差之區塊數相同。再者，圖像編碼裝置100亦可採其他方法來判斷亮度及色差之區塊數是否相同。

又，chroma之區塊少於luma之區塊時，圖像編碼裝置100仍舊於所有cbf_luma之編碼後進行cbf_chroma之編碼。總言之，分割為四時，4個區塊之cbf_luma之編碼結束時係Blkidx=3之時。故，圖像編碼裝置100係判斷Blkidx=3時進行cbf_chroma之編碼。

彙整來說，圖像編碼裝置100係於 (TrafoSize>MinTrafoSize)∥(Blkidx=3)時，於cbf_luma之後編碼cbf_chroma。

又，非Blkidx=3時(於S152為否)，選擇下一區塊，執行步驟S125以後之處理。

圖20所示之步驟S132~S154之處理係有關轉換係數編碼之處理。又，步驟S132~S135B之處理係與cbf之編碼處理同樣對於被分割為四之區塊之各者進行。

圖像編碼裝置100判斷cbf_luma是否為真 (S132)。cbf_luma為真時(於S132為是)，圖像編碼裝置100編碼該TU之亮度之轉換係數(S133)。接著，圖像編碼裝置100係進行與步驟S141同樣的判斷(S153)。

該判斷為真時(於S153為是)，圖像編碼裝置100 判斷cbf_cb是否為真(S134A)。圖像編碼裝置100係於cbf_cb為真時(於S134A為是)，色差Cb之轉換係數(S135A)。又，圖像編碼裝置100判斷cbf_cr是否為真(S134B)。圖像編碼裝置100係於cbf_cr為真時(於S134B為是)，編碼色差Cr之轉換係數(S135B)。

再者，就圖20所說明之動作流程，藉由將編碼改稱為解碼，可獲得由圖像解碼裝置200所進行的解碼處理之動作流程。又，圖18A~圖18C、圖19A及圖19B所說明之編碼順序係藉由將編碼改稱為解碼，可獲得編碼資料之解碼順序。

圖21A及圖21B係表示較luma之cbf及轉換係數先編碼chroma之cbf及轉換係數之例子之圖。如上述，框間預測時，cbf_chroma有時會較cbf_luma先受到編碼。故，藉由先處理cbf_chroma，可使得cbf_chroma與cbf_luma之處理順序在框間預測時與框內預測時為同一順序，因此可簡化圖像編碼裝置100及圖像解碼裝置200之動作流程。

(實施形態6)

於本實施形態，說明上述實施形態3之變形例。於本實施形態之圖像編碼方法，進一步編碼差分量化參數(△QP)。△QP係表示前一量化處理所用之量化階距、與處理對象之轉換單位之量化處理所用之量化階距之差分。

圖22A及圖22B係本實施形態之編碼處理之流程圖。再者，以下主要說明與圖15所示之處理之相異點。

△QP係於所有cbf之編碼後受到編碼。具體而言，圖像編碼裝置100係於cbf_chroma之編碼(S123或S127)及cbf_luma之編碼(S125)之後，且於轉換係數之編碼(S133及S135)之前編碼△QP(S161)。

如此，圖像編碼裝置100係於樹狀結構之葉節點編碼△QP，將經編碼之△QP，配置於編碼訊號191之對應於該葉節點之位置。又，圖像解碼裝置200係將配置於編碼訊號191之樹狀構造之葉節點位置且經編碼之△QP，於該葉節點解碼。

再者，於圖像解碼裝置200，亦可解碼轉換係數同時進行管線平行等，藉此立即進行反量化。於該情況下，以上述編碼順序來編碼用以決定量化參數之△QP，係對於不帶來多餘的延遲及記憶體增加甚為有效。

再者，△QP係於某編碼單位CU，就cbf_luma、 cbf_chroma最初為真之TU僅編碼一次即足夠。若以超過此的頻繁度更新，則碼量會過度增加。

圖22B係於TU之樹狀結構開頭(根)編碼△QP時之編碼方法之流程圖。如圖22B所示，圖像編碼裝置100係於TU之樹狀結構開頭進行編碼(S161)。

如此，圖像編碼裝置100係於樹狀結構之根編碼 △QP，將經編碼之差分量化階距，配置於編碼訊號191之對應於該根之位置。又，圖像解碼裝置200係將配置於編碼訊號191之對應於樹狀結構之根之位置且經編碼之差分量化階距，於該根解碼。

該情況下，由於圖像解碼裝置200可及早決定反量化部240所需要的量化參數，因此可有餘裕地進行反量化部240之起動處理。又，圖像編碼裝置100並非始終編碼△QP，只有在編碼單位CU，當no_reisidual_data為真時編碼△QP，藉此可減輕資料量。no_reisidual_data係意味該CU內不存在任何轉換係數之旗標。該No_reisidual_data係較該CU內最初之TUS先受到編碼。

再者，就圖22A及圖22B所說明之動作流程，藉由將編碼改稱為解碼，可獲得由圖像解碼裝置200所進行的解碼處理之動作流程。

又，於圖23及圖24A~圖24C，表示相當於實施形態6之HEVC之語法(Syntax)例。

(實施形態7)

本實施形態說明上述實施形態3之變形例。

圖25A及圖25B係本實施形態之圖像編碼裝置100所進行的編碼處理之流程圖。

於圖25A及圖25B所示之編碼處理，擷取圖15之轉換係數之編碼處理(S132~S135)作為1個次常式之統一轉換處理(transform_unified_unit)(S171)。該情況亦與上述實施形態相同，可獲得減輕暫時保持cbf及TUS之資訊之記憶體量、簡化處理步驟、及減少遍歷次數的效果。再者，步驟S125~S127之處理包含於統一轉換處理亦可。該情況下，該次常式對應於TU之樹狀結構末端之處理。又，△QP亦可於統一轉換處理中受到編碼。藉由該次常式化，實質上可獲得相同效果，同時可期待處理經分離所帶來的設計省力化、及測試工數減輕。

以上說明了本發明之實施形態之圖像編碼裝置及圖像解碼裝置，但本發明不限定於該實施形態。

又，上述實施形態之圖像編碼裝置及圖像解碼裝置所含之各處理部典型上係作為積體電路之LSI而實現。該等係個別被單晶片化，或包含一部分或全部而被單晶片化均可。

又，積體電路不限於LSI，亦可採專用電路或通用處理器來實現。亦可利用於LSI製造後可程式化之FPGA(Field Programmable Gate Array：現場可程式化閘極陣列)，或可再構成LSI內部之電路胞(cell)之連接或設定之可重構處理器。

於上述各實施形態，各構成要素係以專用硬體來構成，或藉由執行適合各構成要素之軟體程式來實現均可。藉由CPU或處理器等程式執行部來讀出記錄於硬碟或半導體記憶體等記錄媒體之軟體程式而執行，藉此來實現各構成要素亦可。

進而言之，本發明為上述軟體程式、或記錄有上述程式之非暫時性電腦可讀取之記錄媒體均可。又，上述程式當然可經由網際網路等傳送媒體來流通。

又，上述所用數字均是為了具體說明本發明而例示，本發明不受限於所例示的數字。

又，方塊圖之功能方塊之分割僅為一例，將複數個功能方塊作為1個功能方塊來實現，亦或將1個功能方塊分割為複數個，亦或將一部分功能移到其他功能方塊均可。又，單一硬體或軟體亦可平行或分時處理具有類似功能之複數個功能方塊之功能。

又，上述圖像編碼方法或圖像解碼方法所含步驟之執行順序係為了具體說明本發明而例示，採上述以外之順序亦可。又，上述步驟之一部分亦可與其他步驟同時(平行)執行。

以上根據實施形態，說明了本發明之一種或複數種態樣之圖像編碼裝置及圖像解碼裝置，但本發明不限定於該實施形態。只要不脫離本發明之旨趣，熟悉該技藝人士所想到的各種變形施行於本實施形態或組合不同實施形態之構成要素予以建構之形態，亦可包含於本發明之一種或複數種態樣之範圍內。

(實施形態8)

藉由於記憶媒體，記錄用以實現上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成之程式，可於獨立的電腦系統，簡單地實施上述各實施形態所示之處理。記憶媒體若是磁性碟片、光碟片、光磁性碟片、IC卡、半導體記憶體等可記錄程式之物即可。

進一步在此說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例、與利用其之系統。該系統之特徵在於具有利用了圖像編碼方法之圖像編碼裝置、及利用了圖像解碼方法之圖像解碼裝置。關於系統之其他構成，可因應情況適當地變更。

第26圖係表示實現內容配送服務之內容供給系統ex100之全體構成圖。將通訊服務之提供區分割為所需大小，於各蜂巢(cell)內分別設置固定無線台即基地局ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100係經由網際網路服務提供者ex102及電話網ex104、及基地台ex106至ex110，於網際網路ex101連接電腦ex111、PDA(Personal Digital Assistant：個人數位助理)ex112、攝影機ex113、行動電話ex114、遊戲機ex115等各機器。

然而，內容供給系統ex100不限定於如第26圖之構成，組合某些要素而連接亦可。又，各機器不經由固定無線台即基地台ex106至ex110而直接連接於電話網ex104亦可。又，各機器經由近距離無線等而直接相互連接亦可。

攝影機ex113係數位攝影機等可進行動畫攝影的機器，相機ex116係數位相機等可進行靜止圖攝影、動畫攝影的機器。又，行動電話ex114係GSM(註冊商標)(Global System for Mobile Communications：全球移動通訊系統)方式、CDMA(Code Division Multiple Access：分碼多工存取)方式、W-CDMA(Wideband-Code Division Multiple Access：寬頻分碼多工存取)方式或LTE(Long Term Evolution：長程演進)方式、HSPA(High Speed Packet Access：高速封包存取)之行動電話機，或為PHS(Personal Handyphone System：個人手持式電話系統)等，任一者均無妨。

於內容供給系統ex100，攝影機ex113等透過基地台ex109、電話網ex104而連接於串流化伺服器ex103，藉此可進行實況配送等。於實況配送，對於使用者利用攝影機ex113所拍攝的內容(例如音樂實況的影像等)，如上述各實施形態所說明般進行編碼處理(亦即，作為本發明之一態樣之圖像編碼裝置而發揮功能)，並發送至串流化伺服器ex103。另，串流化伺服器ex103係將對於有需求的客戶所發送的內容資料，進行串流配送。客戶包括可解碼上述經編碼處理之資料之電腦ex111、PDAex112、攝影機ex113、行動電話ex114、遊戲機ex115等。於接收到被配送的資料之各機器，將接收到的資料進行解碼處理而再生(亦即，作為本發明之一態樣之圖像解碼裝置而發揮功能)。

再者，攝影資料之編碼處理由攝影機ex113進行，或由將資料發送處理之串流化伺服器ex103進行均可，相互分擔進行亦可。同樣地，所配送資料之解碼處理由客戶進行，或由串流化伺服器ex103進行均可，相互分擔進行亦可。又，不限於攝影機ex113，將相機ex116所拍攝的靜止圖像及/或動態圖像資料，經由電腦ex111傳送至串流化伺服器ex103亦可。該情況下之編碼處理由相機ex116、電腦ex111或串流化伺服器ex103之任一者進行，或相互分擔進行均可。

又，該等編碼‧解碼處理一般在電腦ex111及具有各機器之LSIex500處理。LSIex500為單晶片或由複數個晶片所組成的構成均可。再者，將圖像編碼‧解碼用之軟體，嵌入於電腦ex111等可讀取之某種記錄媒體(CD-ROM、軟碟、硬碟等)，利用該軟體進行編碼‧解碼處理亦可。進而言之，行動電話ex114附有相機時，發送由該相機所取得的動畫資料亦可。此時的動畫資料係由行動電話ex114所具有的LSIax500進行編碼處理後之資料。

又，串流化伺服器ex103亦可為複數台伺服器或複數台電腦，將資料分散處理、記錄亦或配送。

如以上，於內容供給系統ex100，客戶可接收已編碼的資料並予以再生。如此，於內容供給系統ex100，客戶可即時接收使用者所發送的資料並予以解碼、再生，即便是不具有特別權利或設備之使用者，仍可實現個人播放。

再者，不限於內容供給系統ex100之例子，如圖27所示，亦可於數位播放用系統ex200，嵌入上述各實施形態之動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之至少任一者。具體而言，於播放台ex201，影像資料中被多工有聲音資料等經多工之多工資料係經由電波通訊或傳送至衛星ex202。該影像資料係藉由上述實施形態所說明的動態圖像編碼方法編碼之資料(亦即，藉由本發明之一態樣之圖像編碼裝置編碼之資料)。收到該資料之播放衛星ex202係發出播放用電波，由可接收衛星播放之家庭的天線ex204接收該電波。接收到之多工資料係由電視(接收機)ex300或機上盒(STB)ex217等裝置予以解碼而再生(亦即，作為本發明之一態樣之圖像解碼裝置而發揮功能)。

又，於讀取機/燒錄機ex218亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置，而前述讀取機/燒錄機ex218係讀取記錄於DVD、BD等記錄媒體ex215之多工資料，並予以解碼，進而視情況與音樂訊號進行多工而寫入。此情況下，所再生的影像訊號係顯示於監視器ex219，藉由記錄有多工資料之記錄媒體ex215，可於其他裝置或系統再生影像訊號。又，亦可考慮在連接於有線電視用之纜線ex203或衛星/地波播放之天線ex204之機上盒ex217內，安裝圖像解碼裝置，於電視的監視器ex219顯示。此時，不採用機上盒而於電視內嵌入圖像解碼裝置亦可。

第28圖係表示利用上述各實施形態所說明的動態圖像解碼方法及動態圖像編碼方法之電視(接收機)ex300之圖。電視ex300具備：調諧器ex301，係經由接收上述播放之天線ex204或纜線ex203等，取得影像資料中多工有聲音資料之多工資料者；調變/解調部ex302，係用以解調所接收的多工資料，或對發送至外部之多工資料進行調變者；及多工/分離部ex303，係將已解調之多工資料分離為影像資料與聲音資料，或將訊號處理部ex306所編碼的影像資料、聲音資料予以多工者。

又，電視ex300具有訊號處理部ex306及輸出部ex309。前述訊號處理部ex306具有聲音訊號處理部ex304及影像訊號處理部ex305，係分別解碼聲音資料、影像資料，或編碼各個資料者(作為本發明之一態樣之圖像編碼裝置或圖像解碼裝置而發揮功能)。前述輸出部ex309具有：揚聲器ex307，係輸出經解碼之聲音訊號者；及顯示部ex308，係顯示經解碼之影像訊號之顯示器等。進而言之，電視ex300具有介面部ex317，係具有受理使用者操作之輸入之操作輸入部ex312等者。進而言之，電視ex300具有：控制部ex310，係統籌控制各部者；及電源電路部ex311，係對各部供給電力者。介面部ex317係除了操作輸入部ex312以外，亦可具有與讀取機/燒錄機ex218等外部機器連接之橋接器ex313、可裝載SD卡等記錄媒體ex216之插槽部ex314、用以與硬碟等外部記錄媒體連接之驅動器ex315、與電話網連接之數據機ex316等。再者，記錄媒體ex216係可藉由儲存之非揮發性/揮發性半導體記憶體元件，電子式地記錄資訊。電視ex300之各部係經由同步匯流排而相互連接。

首先，說明關於電視ex300解碼藉由天線ex204 等而從外部取得之多工資料，並予以再生之構成。電視ex300係接受來自遙控器ex220等之使用者操作，根據具有CPU等之控制部ex310之控制，以多工/分離部ex303，將調變/解調部ex302所解調的多工資料分離。進而言之，電視ex300係以聲音訊號處理部ex304，解碼已分離的聲音資料，以影像訊號處理部ex305，利用上述實施形態所說明的解碼方法，解碼已分離的影像資料。已解碼的聲音訊號、影像訊號分別從輸出部ex309向外部輸出。輸出時，為了讓聲音訊號與影像訊號同步再生，亦可暫且於緩衝器ex318、ex319等積存該等訊號。又，電視ex300不僅可從播放等，亦可從磁性/光碟片、SD卡等記憶媒體ex215、ex216，讀出多工資料。接著，說明電視ex300編碼聲音訊號或影像訊號，發送至外部或寫入於記錄媒體等之構成。電視ex300係接受來自遙控器ex220等之使用者操作，根據控制部ex310之控制，以聲音訊號處理部ex304編碼聲音訊號，以影像訊號處理部ex305，利用上述各實施形態所說明的編碼方法編碼影像訊號。已編碼的聲音訊號、影像訊號係由多工/分離部ex303予以多工並輸出至外部。進行多工時，為了讓聲音訊號與影像訊號同步，亦可暫且於緩衝器ex320、ex321等積存該等訊號。再者，如圖示具備複數個緩衝器ex318、ex319、ex320、ex321，或共用1個以上之緩衝器之構成均可。進而言之，除了圖示以外，例如於調變/解調部ex302與多工/分離部ex303之間等，作為避免系統溢位及虧位之緩衝材料，而於緩衝器積存資料亦可。

又，電視ex300除了從播放等或記錄媒體等，取得聲音資料、影像資料以外，亦可具備微音器及受理相機之AV輸入之構成，對於從其等所取得的資料進行編碼處理亦可。再者，在此，電視ex300係說明作為可進行上述編碼處理、多工及外部輸出之構成，但未能進行該等所有處理，僅可進行上述接收、解碼處理及外部輸出之構成亦可。

又，於讀取機/燒錄機ex218，從記錄媒體讀出多工資料或寫入時，上述解碼處理或編碼處理在電視ex300、讀取機/燒錄機ex218中之某一者進行，或電視ex300與讀取機/燒錄機ex218相互分擔進行均可。

作為一例，於第29圖表示從光碟片進行資料之載入或寫入時之資訊再生/記錄部ex400之構成。資訊再生/記錄部ex400具備以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光學頭ex401係於記錄媒體ex215-光碟片之記錄面，照射雷射點而寫入資料，檢測來自記錄媒體ex215之記錄面之反射光而載入資料。調變記錄部ex402係電驅動內建於光學頭ex401之半導體雷射，因應記錄資料而進行雷射光的調變。再生解調部ex403係放大藉由內建於光學頭ex401之光偵測器電性地檢測到之來自記錄面之反射光，分離並解調記錄於記錄媒體ex215之訊號成分，再生所需要的資訊。緩衝器ex404暫時保持用以記錄於記錄媒體ex215之資訊及從記錄媒體ex215再生之資訊。碟片馬達ex405係使記錄媒體ex215旋轉。伺服控制部ex406一面控制碟片馬達ex405之旋轉驅動，一面令光學頭ex401移動至預定的資訊磁軌，進行雷射點的追隨處理。系統控制部ex407進行資訊再生/記錄部ex400全體的控制。上述讀出及寫入處理係藉由系統控制部ex407利用保持於緩衝器ex404之各種資訊，或因應需要進行新資訊之生成‧追加，並且一面令調變記錄部ex402、再生解調部ex403、伺服控制部ex406進行協調動作，一面透過光學頭ex401進行資訊之記錄再生而實現。系統控制部407係以例如微處理器所構成，藉由執行讀出寫入之程式來執行其等處理。

以上係說明光學頭ex401照射雷射點，但亦可為利用近場光進行更高密度記錄之構成。

於第30圖表示記錄媒體ex215-光碟片之模式圖。於記錄媒體ex215之記錄面，導引溝(溝槽)形成為螺旋狀，於資訊磁軌ex230，預先藉由溝槽的形狀變化，記錄有表示碟片上之絕對位置之門牌資訊。該門牌資訊包含用以特定記錄資料之單位，即記錄區塊ex231的位置之資訊，進行記錄及再生之裝置可藉由再生資訊磁軌ex230，讀取門牌資訊而特定出記錄區塊。又，記錄媒體ex215包含：資料記錄區域ex233、內周區域ex232及外周區域ex234。用以記錄使用者資料之區域為資料記錄區域ex233；配置於資料記錄區域ex233之內周或外周之內周區域ex232與外周區域ex234，係用於使用者資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於該類記錄媒體ex215之資料記錄區域ex233，進行已編碼的聲音資料、影像資料或其等資料經多工後之編碼資料之讀寫。

以上舉出1層的DVD、BD等光碟片為例來說明，但不限於該等，亦可為多層構造、表面以外亦可記錄之光碟片。又，於碟片之相同處，利用各種不同波長之色光記錄資訊，亦或從各種角度記錄不同資訊的層等，進行多次元記錄/再生之構造之光碟片亦可。

又，於數位播放用系統ex200，亦可在具有天線 ex205之車ex210，從衛星ex202等接收資料，於車ex210所具有的車用導航器ex211等之顯示裝置再生動畫。再者，車用導航器ex211的構成可考慮例如在第28圖所示構成中，加上GPS接收部的構成，於電腦ex111及行動電話ex114亦可考慮同樣地構成。

第31A圖係表示利用上述實施形態所說明之動態圖像編碼方法及動態圖像解碼方法之行動電話ex114之圖。行動電話ex114具有：天線ex350，係用以與基地台ex110之間收發電波者；相機部ex365，係可拍攝影像、靜止圖者；及液晶顯示器等顯示部ex358，係顯示由相機部ex365所拍攝的影像、由天線ex350所接收的影像等經解碼後之資料者。行動電話ex114進一步具備：主體部，係具有操作鍵部ex366者；揚聲器等聲音輸出部ex357，係用以輸出聲音者；微音器等聲音輸入部ex356，係用以進行聲音輸入者；記憶體部ex367，係用以保存所拍攝的影像、靜止圖、錄音的聲音、或所接收的影像、靜止圖、郵件等經編碼的資料或經解碼的資料者；及插槽部ex364，係與同為保持資料之記錄媒體間之介面部。

進一步利用第31B圖來說明關於行動電話ex114 之構成例。行動電話ex114係對於統籌控制具備顯示部ex358及操作鍵部ex366之主體部各部之主控制部ex360，經由匯流排ex370而相互連接有電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、LCD(Liquid Crystal Display：液晶顯示器)控制部ex359、調變/解調部ex352、多工/分離部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367。

若藉由使用者操作而終止通話及電源鍵成為開啟狀態時，電源電路部ex361係從電池包對於各部供給電力，將行動電話ex114啟動為可動作的狀態。

行動電話ex114係根據由CPU、ROM及RAM等所組成的主控制部ex360之控制，以聲音訊號處理部ex354，將聲音通話模式時由聲音輸入部ex356所收音的聲音訊號，轉換為數位聲音訊號，以調變/解調部ex352，將其進行頻譜擴散處理，以收發部ex351施行數位類比轉換處理及頻率轉換處理後，經由天線ex350發送。又，行動電話ex114係放大在聲音通話模式時經由天線ex350所接收的接收資料，施行頻率轉換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜反擴散處理，藉由聲音訊號處理部ex354轉換為類比聲音資料後，經由聲音輸出部ex357將其輸出。

進而言之，於資料通訊模式時發送電子郵件時，藉由主體部之操作鍵部ex366等之操作所輸入的電子郵件之文本資料，係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係於調變/解調部ex352，將文本資料予以頻譜擴散處理，於收發部ex351施行數位類比轉換處理及頻率轉換處理後，經由天線ex350發送至基地台ex110。接收電子郵件時，對於接收到的資料進行大致與此相反的處理，並輸出至顯示部ex358。

於資料通訊模式時發送影像、靜止圖、或影像及聲音時，影像訊號處理部ex355係將相機部ex365所供給的影像訊號，藉由上述各實施形態所示之動態圖像編碼方法予以壓縮編碼(亦即，作為本發明之一態樣之圖像編碼裝置而發揮功能)，將經編碼之影像資料送出至多工/分離部ex353。又，聲音訊號處理部ex354係將相機部ex365在影像、靜止圖等拍攝中，由聲音輸入部ex356收音之聲音訊號予以編碼，將經編碼之聲音資料送出至多工/分離部ex353。

多工/分離部ex353係以預定方式，將從影像訊號處理部ex355供給之經編碼之影像資料、及從聲音訊號處理部ex354供給之經編碼之聲音資料予以多工，以調變/解調部 (調變/解調電路部)ex352將其結果所獲得的多工資料予以頻譜擴散處理，以收發部ex351施行數位類比轉換處理及頻率轉換處理後，經由天線ex350發送。

於資料通訊模式時，在接收被鏈結於網頁等之動態圖像檔案之資料的情況下，或附有影像及/或聲音之電子郵件的情況下，為了編碼經由天線ex350所接收到之多工資料，多工/分離部ex353係藉由分離多工資料來分成影像資料之位元串流與聲音資料之位元串流，經由同步匯流排ex370，將經編碼之影像資料供給至影像訊號處理部ex355，並且將經編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係利用對應於上述各實施形態所示之動態圖像編碼方法之動態圖像解碼方法來編碼，藉此編碼影像資料(亦即，作為本發明之一態樣之圖像解碼裝置而發揮功能)，經由LCD控制部ex359，從顯示部ex358顯示例如鏈結於網頁之動態圖像所含之影像、靜止圖。又，聲音訊號處理部ex354係解碼聲音訊號，從聲音輸出部ex357輸出聲音。

又，與電視ex300相同，上述行動電話ex114等終端裝置係除了具有編碼器‧解碼器雙方之收發型終端裝置以外，還可考慮僅有編碼器之發送終端裝置、僅有解碼器之接收終端裝置等3種安裝形式。進而言之，就數位播送用系統ex200而言，雖說明了接收、發送影像資料中多工有音樂資料等經多工之多工資料，但聲音資料以外與影像相關聯之文字資料等經多工之資料，或非多工資料而為影像資料本身均可。

如此，上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法可利用於上述任一機器‧系統，藉由如此，可獲得上述各實施形態所說明的效果。

又，本發明不限定於上述實施形態，可不脫離本發明範圍而予以各種變形或修正。

(實施形態9)

亦可依需要適當切換上述各實施形態所示之動態圖像編碼方法或裝置、與依循MPEG-2、MPEG4-AVC、VC-1等不同規格之動態圖像編碼方法或裝置，來生成影像資料。

在此，生成依循各不相同的規格之複數種影像資料時，解碼時須選擇支援各規格之解碼方法。然而，由於無法識別所解碼的影像資料依循何種規格，因此發生無法選擇適當解碼方法的課題。

為了解決該課題，於影像資料中多工有聲音資料等之多工資料係包含表示影像資料依循何種規格之識別資訊而構成。以下說明包含上述各實施形態所示之動態圖像編碼方法或裝置所生成的影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸串流形式之數位串流。

圖32係表示多工資料之構成圖。如圖32所示，多工資料係將視訊串流、音訊串流、簡報圖形串流(PG)、互動圖形串流中之1個以上之串流予以多工而獲得。分別來說，視訊串流表示電影之主影像及副影像，音訊串流(IG) 表示電影之主聲音部分及與該主聲音混音之副聲音，簡報串流表示電影字幕。在此，主影像係表示顯示於畫面之一般影像，副影像係表示於主影像中以小畫面顯示之影像。又，互動圖形串流係表示於畫面上，藉由配置GUI元件而製作之對話畫面。影像串流係藉由上述各實施形態所示之動態圖像編碼方法或裝置、依循習知的MPEG-2、MPEG4-AVC、VC-1等規格之動態圖像編碼方法或裝置所編碼。音訊串流係採用杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、線性PCM等方式編碼。

多工資料所含之各串流係藉由PID來識別。分別而言，例如對利用於電影影像之視訊串流分派0x1100，對音訊串流分派0x1100至1x111F，對簡報圖形串流分派0x1200至0x121F，對互動圖形串流分派0x1400至0x141F，對利用於電影副影像之視訊串流分派0x1B00至0x1B1F，對利用於主聲音及混音之副聲音之音訊串流分派0x1A00至0x1A1F。

圖33係模式性地表示多工資料如何受到多工之圖。首先，由複數個視訊訊框所組成的視訊串流ex235、由複數個音訊訊框所組成的音訊串流ex238，分別轉換為PES封包串ex236及ex239，並轉換為TS封包ex237及ex240。同樣地，簡報圖形串流ex241及互動圖形ex244之資料，分別轉換為PES封包串ex242及ex245，進而轉換為TS封包ex243及ex246。多工資料ex247係藉由將該等TS封包予以多工為1個串流而構成。

圖34係進一步詳細表示視訊串流如何儲存於 PES封包。圖34之第1層係表示視訊串流之視訊訊框串。第2層係表示PES封包串。如圖34之箭頭yy1、yy2、yy3、yy4所示，視訊串流之複數個視訊簡報單元，即I圖片、B圖片、P圖片係每一圖片而分割，並儲存於PES封包之承載區。各PES封包具有PES標頭，於PES標頭儲存有圖片之顯示時刻即PTS(Presentation Time-Stamp：簡報時戳)或圖片之解碼時刻即DTS(Decoding Time-Stamp：解碼時戳)。

圖35係表示於多工資料最後寫入之TS封包之形式。TS封包係188位元組固定長之封包，由儲存識別串流之PID等資訊之4位元組之TS標頭及資料之184位元組之TS承載區所構成；上述PES封包受到分割並儲存於TS承載區。BD-ROM的情況下，對TS封包賦予4位元組之TP_Extra_Header(TP額外標頭)，構成192位元組之來源封包而寫入於多工資料。於TP額外標頭記載有ATS(Arrival_Time_Stamp：到達時戳)等資訊。ATS係表示該TS封包之解碼器對PID濾波器之傳輸開始時刻。於多工資料，如圖35下層所示排有來源封包，從多工資料開頭遞增之號碼稱為SPN(來源封包號碼)。

又，於多工資料所含之TS封包除了影像、聲音、字幕等各串流以外，還包括PAT(Program Association Table：節目關連表)、PMT(Program Map Table：節目對應表)、PCR(Program Clock Reference：節目時鐘參考)等。PAT係表示多工資料中所利用的PMT之PID為何，PAT本身之 PID登錄為0。PMT具有多工資料中所含之影像‧聲音‧字幕等各串流之PID、及對應於各PID之串流之屬性資訊，或具有關於多工資料之各種描述符。於描述符包括指示許可‧不許可多工資料之複製之複製控制資訊等。PCR係為了取得ATS之時間軸即ATC(Arrival Time Clock：到達時間時鐘)與PTS‧DTS之時間軸即STC(System Time Clock：系統時間時鐘)之同步，具有與其PCR封包傳輸至解碼器之ATS相對應之STC時間之資訊。

圖36係詳細說明PMT之資料構造之圖。於PMT 之開頭，配置記有該PMT所含之資料長度等PMT標頭。於其後配置複數個關於多工資料之描述符。上述複製控制資訊等係記載作描述符。於描述符之後，配置複數個關於多工資料所含之各串流之串流資訊。串流資訊係由記載有為了識別串流之壓縮代碼等之串流類型、串流之PID、串流之屬性資訊(訊框率、縱橫比等)之串流描述符所構成。串流描述符僅以存在於多工資料之串流數而存在。

記錄於記錄媒體等時，上述多工資料係與多工資料資訊檔一同記錄。

多工資料資訊檔係如圖37所示為多工資料之管理資訊，與多工資料1對1地對應，由多工資料資訊、串流屬性資訊及分錄圖所構成。

如圖37所示，多工資料資訊係由系統率、再生開始時刻、再生結束時刻所構成。系統率係表示多工資料對後述之系統目標解碼器之PID濾波器之最大傳輸率。多工資料中所含之ATS之間隔設定為系統率以下。再生開始時刻為多工資料開頭之視訊訊框之PTS，設定再生結束時刻為多工資料尾端之視訊訊框之PTS，加上1訊框份之再生間隔。

如圖38所示，串流屬性資訊係就各PID，登錄有關多工資料所含之各串流之屬性資訊。屬性資訊係依各視訊串流、音訊串流、簡報圖形串流、互動圖形串流而具有不同資訊。視訊串流屬性資訊具有該視訊串流以何種壓縮代碼壓縮、構成視訊串流之各個圖片資料之解像度多高、縱橫比多少、訊框比多少等資訊。音訊串流屬性資訊具有該音訊串流以何種壓縮代碼壓縮、該音訊串流所含之通道數、對應何種語言、取樣頻率多少等資訊。該等資訊係利用於播放器再生前之解碼器之初始化等。

於本實施形態，利用上述多工資料中包含於PMT 之串流類型。又，於記錄媒體記錄有多工資料時，利用多工資料資訊所含之視訊串流屬性資訊。具體而言，於上述各實施形態所示之動態圖像編碼方法或裝置，設置對於PMT所含之串流類型、或視訊串流屬性資訊，設定表示藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成的影像資料之固有資訊之步驟或機構。藉由該構成，可識別藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成的影像資料、與依循其他規格之影像資料。

又，於圖39表示本實施形態之動態圖像解碼方法之步驟。於步驟exS100，從多工資料取得PMT所含之串流類型、或多工資料資訊所含之視訊串流屬性資訊。接著，於步驟exS101，判斷串流類型或視訊串流屬性資訊是否為上述各實施形態所示之動態圖像編碼方法或裝置所生成的多工資料。然後，判斷串流類型或視訊串流屬性資訊為上述各實施形態所示之動態圖像編碼方法或裝置所生成時，於步驟exS102，藉由上述各實施形態所示之動態圖像解碼方法來進行解碼。又，表示串流類型或視訊串流屬性資訊為依循習知的MPEG-2、MPEG4-AVC、VC-1等規格時，於步驟exS103，藉由依循習知規格之動態圖像解碼方法來進行解碼。

如此，藉由於串流類型或視訊串流屬性資訊設定新的固有值，可於解碼時，判斷是否能夠以上述各實施形態所示之動態圖像解碼方法或裝置來解碼。因此，即便輸入有依循不同規格之多工資料時，仍可選擇適當的解碼方法或裝置，可不產生錯誤而解碼。又，本實施形態所示之動態圖像編碼方法或裝置、或動態圖像解碼方法或裝置亦可用於上述任一機器‧系統。

(實施形態10)

上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可由積體電路之LSI來實現。作為一例而於圖40表示單晶片化之LSIex500之構成。LSIex500具備以下所說明的要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素經由匯流排ex510連接。電源電路部ex505係於電源為開啟狀態時，對於各部供給電力，起動為可動作的狀態。

例如於進行編碼處理時，LSIex500係根據具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉由AV I/Oex509，從微音器ex117或攝影機ex113等輸入AV訊號。輸入之AV訊號暫且積存於SDRAM等外部記憶體ex511。根據控制部ex501之控制，積存資料系因應處理量或處理速度，適當分為複數次等而送到訊號處理部ex507，於訊號處理部ex507，進行聲音訊號之編碼及/或影像訊號之編碼。在此，影像訊號之編碼處理係上述各實施形態所說明的編碼處理。於訊號處理部ex507，進一步視情況進行將經編碼之聲音資料及經編碼之影像資料予以多工等處理，並從串流I/Oex506輸出至外部。該輸出之多工資料係發送往基地台ex107，亦或寫入於記錄媒體ex215。再者，多工時，為了同步亦可暫且於緩衝器ex508積存資料。

再者，上述將記憶體ex511說明作為LSIex500之外部構成，但包含於LSIex500之內部而構成亦可。緩衝器ex508亦不限於1個，具備複數個緩衝器亦可。又，LSIex500被單晶片化或複數晶片化均可。

又，於上述，控制部ex501具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，但控制部ex501之構成不限於此。例如訊號處理部ex507進一步具有PU而構成亦可。藉由於訊號處理部ex507之內部設置CPU，可更提升處理速度。又，作為其他例，CPUex502具有訊號處理部ex507、或訊號處理部ex507之一部分之例如聲音訊號處理部而構成亦可。於該情況下，控制部ex501具備訊號處理部ex507、或具有其一部分之CPUex502而構成。

再者，在此雖稱LSI，但視積體程度差異，有時亦稱為IC、系統LSI、特大型LSI、超大型LSI。

又，積體電路化的手法不限於LSI，以專用電路或通用處理器來實現亦可。亦可利用於LSI製造後可程式化之FPGA(Field Programmable Gate Array：現場可程式化閘極陣列)，或可再構成LSI內部之電路胞(cell)之連接或設定之可重構處理器。

進而言之，若由於半導體技術進步或所衍生的其他技術，出現取代LSI之積體電路化技術時，當然亦可利用該技術來進行功能區塊之積體化。其可能性可包括生化技術之適用等。

(實施形態11)

解碼藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成的影像資料時，相較於解碼依循習知的MPEG-2、MPEG4-AVC、VC-1等規格之影像資料的情況，據判其處理量會增加。因此，於LSIex500，驅動頻率須設定高於較解碼依循習知規格之影像資料時之CPUex502之驅動頻率。然而，若提高驅動頻率，會發生消耗電力變高的課題。

為了解決該課題，電視ex300、LSIex500等動態圖像解碼裝置係識別影像資料依循何種規格，因應規格來切換驅動頻率而構成。圖41係表示本實施形態之構成 ex800。驅動頻率切換部ex803係於影像資料是藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成時，設定較高驅動頻率。然後，對於執行上述各實施形態所示之動態圖像編碼方法之解碼處理部ex801，指示解碼影像資料。另，影像資料為依循習知規格之影像資料時，相較於影像資料是藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成的情況，設定較低驅動頻率。然後，對於依循習知規格之解碼處理部ex802，指示解碼影像資料。

更具體而言，驅動頻率切換部ex803係由圖40之CPUex502及驅動頻率控制部ex512所構成。又，執行上述各實施形態所示之動態圖像編碼方法之解碼處理部ex801及依循習知規格之解碼處理部ex802，係相當於圖40之訊號處理部ex507。CPUex502識別影像資料依循何種規格。然後，根據來自CPUex502之訊號，驅動頻率控制部ex512設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507進行影像資料解碼。在此，影像資料之識別可考慮利用例如實施形態9所記載的識別資訊。關於識別資訊，不限於實施形態9所記載的資訊，若可識別影像資料依循何種規格之資訊均可。例如可根據識別影像資料利用於電視亦或利用於碟片等之外部訊號，來識別影像資料依循何種規格時，亦可根據該類外部訊號來識別。又，CPUex502之驅動頻率選擇可考慮例如根據如圖43之影像資料之規格、與驅動頻率建立有對應之查找表來進行。預先於緩衝器ex508或LSI之內部記憶體儲存查找表，CPUex502可藉由參考該查找表來選擇驅動頻率。

圖42係表示實施本實施形態之方法之步驟。首先，於步驟exS200，在訊號處理部ex507從多工資料取得識別資訊。接著，於步驟exS201，在CPUex502，根據識別資訊判斷影像資料是否藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成。影像資料是藉由上述各實施形態所示之動態圖像編碼方法或裝置生成時，於步驟exS202，CPUex502將設定較高驅動頻率之訊號送至驅動頻率控制部ex512。然後，於驅動頻率控制部ex512，設定較高驅動頻率。另，表示是依循習知的MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，於步驟exS203，CPUex502將設定較低驅動頻率之訊號送至驅動頻率控制部ex512。然後，於驅動頻率控制部ex512，相較於影像資料是藉由上述各實施形態所示之動態圖像編碼方法或裝置生成的情況，設定較低驅動頻率。

進而言之，與驅動頻率之切換連動變更給予LSIex500或包含LSIex500之裝置之電壓，藉此可更提高省電效果。例如設定較低驅動頻率時，伴隨於此，可考慮相較於設定較高驅動頻率的情況，較低設定給予LSIex500或包含LSIex500之裝置之電壓。

又，驅動頻率之設定方法係於解碼時之處理量大時，設定較高驅動頻率，於解碼時之處理量小時，設定較低驅動頻率即可，不限於上述設定方法。例如解碼依循MPEG4-AVC規格之影像資料之處理量，大於解碼藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料之處理量時，可考慮與上述情況相反設定驅動頻率。

進而言之，驅動頻率之設定方法不限於降低驅動頻率之構成。例如識別資訊表示藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成的影像資料時，較高設定給予LSIex500或包含LSIex500之裝置之電壓，表示依循習知的MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，亦可考慮較低設定給予LSIex500或包含LSIex500之裝置之電壓。又，作為其他例，可考慮識別資訊表示藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成的影像資料時，不停止CPUex502之驅動，表示依循習知的MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，由於在處理上有餘裕，因此暫時停止CPUex502之驅動。即便為識別資訊表示藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成的影像資料時，若在處理上有餘裕，亦可考慮暫時停止CPUex502之驅動。該情況下，相較於表示依循習知的MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，可考慮設定較短停止時間。

如此，藉由因應影像資料所依循的規格來切換驅動頻率，可謀求省電化。又，於利用電池驅動LSIex500或包含LSIex500之裝置時，伴隨著省電化而可增長電池使用壽命。

(實施形態12)

於電視、行動電話等上述機器‧系統，有時會輸入依循不同規格之複數種影像資料。如此，為了於輸入有依循不同規格之複數種影像資料時亦可解碼，LSIex500之訊號處理部ex507須支援複數種規格。然而，若個別利用支援各個規格之訊號處理部ex507，則LSIex500之電路規模變大，而且會發生成本增加的課題。

為了解決該課題，將用以執行上述各實施形態所示之動態圖像編碼方法之解碼處理部、與依循習知的MPEG-2、MPEG4-AVC、VC-1等規格之解碼處理部一部分予以共有化而構成。於圖44A之ex900表示該構成例。例如上述各實施形態所示之動態圖像解碼方法、與依循MPEG4-AVC規格之動態圖像解碼方法，係就熵編碼、反量化、去區塊濾波器、運動補償等處理上，其處理內容有一部分共通。關於共通之處理內容，可考慮共有支援MPEG4-AVC規格之解碼處理部ex902，針對不支援MPEG4-AVC規格、本發明之一態樣所特有的其他處理內容，則採用專用之解碼處理部ex901。尤其本發明之一態樣所具有的特徵為熵解碼，因此例如針對熵解碼採用專用之解碼處理部ex901，關於其以外之反量化、去區塊濾波器、運動補償之任一者或所有處理，則共有解碼處理部。就解碼處理部之共有化來說，關於共通的處理內容係共有用以執行上述各實施形態所示之動態圖像編碼方法之解碼處理部，針對MPEG4-AVC規格所特有的處理內容採用專用之解碼處理部而構成亦可。

又，於圖44B之ex1000表示將處理一部分共有化之其他例。於該例，其構成利用了以下處理部，即專用之解碼處理部ex1001，係支援本發明之一態樣所特有的處理內容者；專用之解碼處理部ex1002，係支援其他習知規格所特有的處理內容者；及共有之解碼處理部ex1003，係支援本發明之一態樣之動態圖像解碼方法與其他習知規格之動態圖像解碼方法所共通的處理內容者。在此，專用之解碼處理部ex1001、ex1002未必須為了本發明之一態樣或其他習知規格所特有的處理內容而專用化，能夠執行其他通用處理亦可。又，本實施形態之構成亦能夠以LSIex500來實作。

如此，針對本發明之一態樣之動態圖像解碼方法與其他習知規格之動態圖像解碼方法所共通的處理內容，共有解碼處理部，藉此可縮小LSI之電路規模，且可減低成本。

產業上之可利用性

本發明可適用於圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置。又，本發明可利用於具備圖像編碼裝置之電視、數位錄影機、車用導航器、行動電話、數位相機及數位攝影機等高解像度之資訊顯示機器或攝像機器。

Claims

一種圖像解碼方法，包含：解碼步驟，係藉由編碼訊號解碼生成複數個轉換單位各自的量化係數與表示前述複數個轉換單位之構成的管理資訊者；反量化反轉換步驟，係就各前述轉換單位，藉由前述量化係數進行反量化及反轉換，生成預測誤差訊號者；及加法步驟，係對包含複數個轉換單位之各編碼單位，藉由加上前述預測誤差訊號及預測訊號，生成解碼訊號者；前述管理資訊及前述量化係數具有一樹狀結構；前述複數個轉換單位之各者係對應於前述樹狀結構之葉節點之各個節點；於前述解碼步驟，將前述編碼訊號中，就各前述葉節點集中配置的經編碼之管理資訊及經編碼之量化係數，就各該葉節點予以解碼。
如申請專利範圍第1項之圖像解碼方法，其中前述管理資訊包含分割資訊，係對應於前述樹狀結構之各節點，且表示是否進一步分割對應於該節點之轉換單位者。
如申請專利範圍第2項之圖像解碼方法，其中前述管理資訊包含第1旗標，係對應於前述樹狀結構之至少1個節點，且表示對應於該節點之量化係數之有無者。
如申請專利範圍第3項之圖像解碼方法，其中於前述解碼步驟，利用高位層次之第1旗標、及同一層次之其他節點之第1旗標之至少1個旗標，判斷是否可一對一地決定處理對象節點之第1旗標值，可一對一地決定前述處理對象節點之前述第1旗標值時，不藉由解碼生成該第1旗標。
如申請專利範圍第3項之圖像解碼方法，其中於前述解碼步驟，將配置在前述編碼訊號之對應於前述樹狀結構之葉節點位置且經編碼之差分量化階距，於前述葉節點予以解碼；前述差分量化階距係表示前述反量化反轉換步驟中，前一轉換單位所用之量化階距與處理對象之轉換單位所用之量化階距之差分。
如申請專利範圍第3項之圖像解碼方法，其中於前述解碼步驟，將配置在前述編碼訊號之對應於前述樹狀結構之根位置且經編碼之差分量化階距，於前述根予以解碼；前述差分量化階距係表示前述反量化反轉換步驟中，前一轉換單位所用之量化階距與處理對象之轉換單位所用之量化階距之差分。
如申請專利範圍第3項之圖像解碼方法，其中前述量化係數包含亮度之量化係數及色差之量化係數；前述第1旗標包含：第2旗標，係表示前述亮度之量化係數之有無者；及第3旗標，係表示前述色差之量化係數之有無者；於前述編碼訊號，經編碼之第2旗標係配置於經編碼之第3旗標之後；於前述解碼步驟，在前述至少1個節點之各者，較前述經編碼之第3旗標之後解碼前述經編碼之第2旗標。
如申請專利範圍第3項之圖像解碼方法，其中前述量化係數包含亮度、色差Cb及色差Cr之量化係數；前述第1旗標包含：第2旗標，係表示前述亮度之量化係數之有無者；第3旗標，係表示前述色差Cb之量化係數之有無者；及第4旗標，係表示前述色差Cr之量化係數之有無者；於前述編碼訊號，依序配置了經編碼之第3旗標、經編碼之第4旗標、經編碼之第2旗標、經編碼之亮度之量化係數、經編碼之色差Cb之量化係數及經編碼之色差Cr之量化係數；於前述解碼步驟，於前述至少1個節點之各者，依序解碼前述經編碼之第3旗標、前述經編碼之第4旗標、前述經編碼之第2旗標、前述經編碼之亮度之量化係數、前述經編碼之色差Cb之量化係數及前述經編碼之色差Cr之量化係數。
一種圖像解碼裝置，包含：解碼部，係藉由編碼訊號解碼生成複數個轉換單位各自的量化係數與表示前述複數個轉換單位之構成的管理資訊者；反量化反轉換部，係就各前述轉換單位，藉由前述量化係數進行反量化及反轉換，生成預測誤差訊號者；及加法部，係對包含複數個轉換單位之各編碼單位，藉由加上前述預測誤差訊號及預測訊號，生成解碼訊號者；前述管理資訊及前述量化係數具有一樹狀結構；前述複數個轉換單位之各者係對應於前述樹狀結構之葉節點之各個節點；前述解碼部係將前述編碼訊號中，就各前述葉節點集中配置之前述管理資訊及前述量化係數，就各該葉節點予以解碼。