TW201338551A

TW201338551A - 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、及圖像編碼解碼裝置

Info

Publication number: TW201338551A
Application number: TW101142625A
Authority: TW
Inventors: Toru Matsunobu; Takahiro Nishi; Youji Shibahara; Hisao Sasai; Kyoko Tanikawa; Toshiyasu Sugio; Kengo Terada
Original assignee: Panasonic Corp
Priority date: 2011-11-15
Filing date: 2012-11-15
Publication date: 2013-09-16
Also published as: US20130136173A1; WO2013073184A1

Abstract

圖像編碼裝置之偏移部具有：頻帶設定部，係在可取得解碼圖像之像素值之灰階分割為預定之灰階區分的複數頻帶中，按照每一區塊來可變地設定進行偏移處理之至少1個頻帶；頻帶偏移像素分類部，係根據解碼圖像之處理對象區塊所含之各像素是否包含於頻帶設定部所設定之頻帶，將處理對象區塊所含之各像素分類為複數級中的1個級；頻帶偏移值算出部，係按照每一級來算出代表輸入圖像之像素值與解碼圖像之像素值之平均誤差的偏移值；及，頻帶偏移處理部，係按照每一級來對解碼圖像之像素值加上偏移值。

Description

圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、及圖像編碼解碼裝置

技術領域

本發明係有關於一種圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置，特別是關於進行使用了量化矩陣之量化或反量化之圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置。

背景技術

近年來，已提供透過網際網路之視訊會議、數位影像廣播及包含影像內容之串流的例如視訊隨選類型之服務。用於上述視訊隨選類型之服務之應用程式數量逐漸增加，這些應用程式仰賴於影像資料之傳送。傳送或記錄影像資料時，大量的資料會透過受限之頻帶範圍之習知傳送路徑來傳送，或記憶於受限之資料容量之習知記憶媒體。為了於習知傳送通道及記憶媒體傳送及記憶影像資料，壓縮或減少數位資料量是不可或缺的。

故，為了壓縮影像資料，開發了複數影像編碼規格。上述影像編碼規格有例如稱為H.26x之ITU-T(國際電信聯合會-電信組)規格、及稱為MPEG-x之ISO/IEC規格。目前，最新且最先進之影像編碼規格為以H.264/AVC、或MPEG-4AVC顯示之規格(參考非專利文獻1及非專利文獻2)。

又，代表次世代圖像編碼標準規格之HEVC(High Efficiency Video Coding)規格，已進行各種檢討來提高編碼效率(非專利文獻3)。

先行技術文獻非專利文獻

【非專利文獻1】ISO/IEC 14496-10 「MPEG-4 Part10 Advanced Video Coding」

【非專利文獻2】Thomas Wiegand et al、“Overview of the H.264/AVC Video Coding Standard”、IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY、JULY 2003、PP.1-1

【非專利文獻3】Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting:Geneva,CH,-6-23 March,2011 JCTVC-E603 Title:WD3:Working Draft 3 of High-Efficiency Video Coding ver.7 http://phenix.int-evry.fr/jct/doc_end_user/documents/5_Geneva/wg11/JCTVC-E603-v7.zip

發明概要

惟，上述習知技術中，期望在圖像編碼及解碼中使編碼效率提高。

故，本發明可提供一種可使編碼效率提高之圖像編碼方法及圖像解碼方法等。

本發明其中一態樣之圖像編碼方法，係以區塊單位將輸入圖像編碼者，包含有：取得步驟，係於編碼前述輸入圖像後，取得已將已編碼之編碼圖像解碼之解碼圖像；頻帶設定步驟，係在複數頻帶中，按照每一區塊來可變地設定進行偏移處理之至少1個頻帶，前述複數頻帶係已將可取得前述解碼圖像之像素值之灰階分割為預定之灰階區分；頻帶偏移像素分類步驟，係根據前述解碼圖像之處理對象區塊所含之各像素是否包含於前述頻帶設定步驟所設定之頻帶，將前述處理對象區塊所含之各像素分類為複數級中的1個級；頻帶偏移值算出步驟，係按照每一前述級，針對已分類為前述級之前述像素來算出偏移值，該偏移值為前述輸入圖像之像素值與前述解碼圖像之像素值之平均誤差；及，頻帶偏移處理步驟，係按照每一前述級，針對已分類為前述級之前述像素，對前述解碼圖像之像素值加上前述偏移值。

又，本發明其中一態樣之圖像解碼方法，係將編碼串流解碼為區塊單位者，包含有：偏移資訊取得步驟，係解碼前述編碼串流，並取得已解碼之解碼圖像、及前述編碼串流所含之用於偏移處理之資訊；頻帶設定步驟，係在已將可取得前述解碼圖像之像素值之灰階分割為預定之灰階區分之複數頻帶中，按照每一區塊來可變地設定進行偏移處理之至少1個頻帶；頻帶偏移像素分類步驟，係根據前述解碼圖像之處理對象區塊所含之各像素是否包含於前述頻帶設定步驟所設定之頻帶，將前述處理對象區塊所含之各像素分類為複數級中之1個級；頻帶偏移處理步驟，係按照每一前述級來對前述解碼圖像之像素值加上偏移值，該偏移值係包含於前述偏移資訊取得步驟所取得之用於偏移處理之資訊；及，偏移圖像輸出步驟，係輸出已加上前述偏移值之偏移完成圖像。

而，這些整體性或具體之態樣，可用系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體來實現，亦可組合系統、方法、積體電路、電腦程式及記錄媒體之任意組合來實現。

依據本發明，可使編碼效率提高。

100‧‧‧圖像編碼裝置

110‧‧‧控制部

120‧‧‧編碼部

121‧‧‧減法部

122‧‧‧頻率轉換部

123‧‧‧量化部

124‧‧‧熵編碼部

125‧‧‧反量化部

126‧‧‧逆頻率轉換部

127‧‧‧加法部

128‧‧‧內嵌式迴路濾波器處理部

129‧‧‧記憶部

130‧‧‧面內預測部

131‧‧‧移動補償部

132‧‧‧移動檢測部

133‧‧‧開關

134‧‧‧解塊濾波器部

135‧‧‧偏移部

136‧‧‧適應迴路濾波器部

141‧‧‧圖像

142‧‧‧編碼串流

151‧‧‧取得部

152‧‧‧邊緣偏移像素分類部

153‧‧‧邊緣偏移值算出部

154‧‧‧邊緣偏移處理部

155‧‧‧邊緣偏移成本算出部

156‧‧‧頻帶偏移像素分類部

157‧‧‧頻帶偏移值算出部

158‧‧‧頻帶偏移處理部

159‧‧‧頻帶偏移成本算出部

160‧‧‧分類方法決定部

161‧‧‧偏移資訊輸出部

200‧‧‧圖像解碼裝置

210‧‧‧控制部

220‧‧‧解碼部

224‧‧‧熵解碼部

225‧‧‧反量化部

226‧‧‧逆頻率轉換部

227‧‧‧加法部

228‧‧‧內嵌式迴路濾波器處理部

229‧‧‧記憶部

230‧‧‧面內預測部

231‧‧‧移動補償部

233‧‧‧開關

234‧‧‧解塊濾波器部

235‧‧‧偏移部

236‧‧‧適應迴路濾波器部

241‧‧‧圖像

242‧‧‧編碼串流

251‧‧‧偏移資訊取得部

252‧‧‧像素分類部

253‧‧‧偏移處理部

254‧‧‧偏移處理完成圖像輸出部

300‧‧‧偏移部

301‧‧‧取得部

302‧‧‧邊緣偏移像素分類部

303‧‧‧邊緣偏移值算出部

304‧‧‧邊緣偏移處理部

305‧‧‧邊緣偏移成本算出部

306‧‧‧最大值最小值算出部

307‧‧‧頻帶設定部

308‧‧‧頻帶偏移像素分類部

309‧‧‧頻帶偏移值算出部

310‧‧‧頻帶偏移處理部

311‧‧‧頻帶偏移成本算出部

312‧‧‧分類方法決定部

313‧‧‧偏移資訊輸出部

400‧‧‧偏移部

401‧‧‧偏移資訊取得部

402‧‧‧頻帶偏移控制部

403‧‧‧最大值最小值算出部

404‧‧‧頻帶設定部

405‧‧‧像素分類部

406‧‧‧偏移處理部

407‧‧‧偏移處理完成圖像輸出部

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex103‧‧‧串流伺服器

ex104‧‧‧電話網

ex106、ex107、ex108、ex109、ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113‧‧‧攝像機

ex114‧‧‧行動電話

ex115‧‧‧遊戲機

ex116‧‧‧攝像機

ex500‧‧‧LSI

ex200‧‧‧數位廣播用系統

ex201‧‧‧廣播台

ex202‧‧‧衛星

ex203‧‧‧纜線

ex204、ex205‧‧‧天線

ex210‧‧‧汽車

ex211‧‧‧汽車導航

ex212‧‧‧再生裝置

ex213‧‧‧螢幕

ex215‧‧‧記錄媒體(光碟等)

ex216‧‧‧記錄媒體(SD卡等)

ex217‧‧‧機上盒(STB)

ex218‧‧‧讀取器/記錄器

ex219‧‧‧螢幕

ex230‧‧‧資訊軌

ex231‧‧‧記錄塊

ex232‧‧‧內周區域

ex233‧‧‧資料記錄區域

ex234‧‧‧外周區域

ex300‧‧‧電視(接收機)

ex301‧‧‧調諧器

ex302‧‧‧調變/解調部

ex303‧‧‧多工/解多工部

ex304‧‧‧聲音訊號處理部

ex305‧‧‧影像訊號處理部

ex306‧‧‧訊號處理部

ex307‧‧‧揚聲器

ex308‧‧‧顯示部

ex309‧‧‧輸出部

ex310‧‧‧控制部

ex311‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex313‧‧‧橋接器

ex314‧‧‧插槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318、ex319、ex320、ex321‧‧‧緩衝器

ex350‧‧‧天線

ex351‧‧‧傳送/接收部

ex352‧‧‧調變/解調部

ex353‧‧‧多工/解多工部

ex354‧‧‧聲音訊號處理部

ex355‧‧‧影像訊號處理部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex358‧‧‧顯示部

ex359‧‧‧LCD控制部

ex360‧‧‧主控制部

ex361‧‧‧電源電路部

ex362‧‧‧操作輸入控制部

ex363‧‧‧攝像機介面部

ex364‧‧‧插槽部

ex365‧‧‧攝像機部

ex366‧‧‧操作鍵部

ex370‧‧‧匯流排

ex400‧‧‧資訊再生/記錄部

ex401‧‧‧光學頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex404‧‧‧緩衝器

ex405‧‧‧碟片馬達

ex406‧‧‧伺服控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex505‧‧‧電源電路部

ex506‧‧‧串流I/O

ex507‧‧‧訊號處理部

ex508‧‧‧緩衝器

ex509‧‧‧AV I/O

ex510‧‧‧匯流排

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex800‧‧‧實施形態5之構成

ex801‧‧‧本發明之解碼處理部

ex802‧‧‧依據習知規格之解碼處理部

ex803‧‧‧驅動頻率切換部

ex901‧‧‧本發明專用之解碼處理部

ex 902‧‧‧本發明及習知規格共有之解碼處理部

ex 1001‧‧‧本發明專用之解碼處理部

ex 1002‧‧‧習知規格專用之解碼處理部

ex 1003‧‧‧本發明及習知規格共有之解碼處理

圖1係顯示圖像編碼裝置之構成例之方塊圖。

圖2係顯示圖像編碼裝置之內嵌式迴路濾波器處理部之構成例之方塊圖。

圖3係顯示圖像解碼裝置之構成例之方塊圖。

圖4係顯示圖像解碼裝置之內嵌式迴路濾波器處理部之構成例之方塊圖。

圖5係顯示圖像編碼裝置之邊緣偏移例之示意圖。

圖6係顯示圖像編碼裝置之邊緣偏移例之示意圖。

圖7A係顯示圖像編碼裝置之邊緣偏移例之示意圖。

圖7B係顯示圖像編碼裝置之邊緣偏移例之示意圖。

圖7C係顯示圖像編碼裝置之邊緣偏移例之示意圖。

圖7D係顯示圖像編碼裝置之邊緣偏移例之示意圖。

圖7E係顯示圖像編碼裝置之邊緣偏移例之示意圖。

圖7F係顯示圖像編碼裝置之邊緣偏移例之示意圖。

圖8係顯示圖像編碼裝置之頻帶偏移例之示意圖。

圖9係顯示圖像編碼裝置之頻帶偏移例之示意圖。

圖10係顯示圖像編碼裝置之頻帶偏移例之示意圖。

圖11係顯示圖像編碼裝置之偏移部構成例之方塊圖。

圖12係顯示圖像解碼裝置之偏移部構成例之方塊圖。

圖13係顯示圖像編碼裝置之偏移部動作例之流程圖。

圖14係顯示圖像解碼裝置之偏移部動作例之流程圖。

圖15係顯示實施形態1之圖像編碼裝置之偏移部構成例之方塊圖。

圖16係顯示實施形態1之圖像解碼裝置之偏移部構成例之方塊圖。

圖17係顯示實施形態1之圖像編碼裝置之偏移部動作例之流程圖。

圖18係顯示實施形態1之圖像解碼裝置之偏移部動作例之流程圖。

圖19A係顯示固定頻帶之頻帶設定例之示意圖。

圖191B係顯示實施形態1之SAO之頻帶偏移分類方法之頻帶設定例之示意圖。

圖19C係顯示實施形態1之SAO之頻帶偏移分類方法之頻帶設定例之示意圖。

圖19D係顯示實施形態1之SAO之頻帶偏移分類方法之頻帶設定例之示意圖。

圖19E係顯示實施形態1之SAO之頻帶偏移分類方法之頻帶設定例之示意圖。

圖20A係顯示固定頻帶之頻帶設定例之示意圖。

圖20B係顯示實施形態1之SAO之頻帶偏移分類方法之頻帶設定例之示意圖。

圖20C係顯示實施形態1之SAO之頻帶偏移分類方法之頻帶設定例之示意圖。

圖20D係顯示實施形態1之SAO之頻帶偏移分類方法之頻帶設定例之示意圖。

圖20E係顯示實施形態1之SAO之頻帶偏移分類方法之頻帶設定例之示意圖。

圖21A係顯示固定頻帶之頻帶設定例之示意圖。

圖21B係顯示實施形態1之SAO之頻帶偏移分類方法之頻帶設定例之示意圖。

圖22係顯示實施形態1之SAO之頻帶偏移分類方法之頻帶設定例之示意圖。

圖23係實現內容配送服務之內容供給系統之全體構成圖。

圖24係數位廣播用系統之全體構成圖。

圖25係顯示電視構成例的方塊圖。

圖26係顯示對光碟之記錄媒體進行資訊讀寫之資訊再生/記錄部之構成例的方塊圖。

圖27係顯示光碟之記錄媒體之構造例的圖。

圖28A係顯示行動電話例之圖。

圖28B係顯示行動電話之構成例之方塊圖。

圖29係顯示多工資料構成之圖。

圖30係顯示各串流在多工資料如何多工之示意圖。

圖31係更詳細顯示PES封包列如何儲存視訊流之圖。

圖32係顯示多工資料之TS封包與源封包之構造之圖。

圖33係顯示PMT之資料構成之圖。

圖34係顯示多工資料資訊之內部構成之圖。

圖35係顯示串流屬性資訊之內部構成之圖。

圖36係顯示識別影像資料之步驟之圖。

圖37係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路構成例之方塊圖。

圖38係顯示切換驅動頻率之構成之圖。

圖39係顯示識別影像資料並切換驅動頻率之步驟之圖。

圖40係顯示使影像資料規格與驅動頻率對應之查找表之例子之圖。

圖41A係顯示共有訊號處理部之模組之構成例之圖。

圖41B係顯示共有訊號處理部之模組的其他構成例之圖。

用以實施發明之形態

(作為本發明基礎之見解)

圖1係顯示HEVC規格之圖像編碼裝置之構成之圖。

圖1所示之圖像編碼裝置100具有控制部110及編碼部120。編碼部120具有減法部121、頻率轉換部122、量化部123、熵編碼部124、反量化部125、逆頻率轉換部126、加法部127、內嵌式迴路濾波器處理部128、記憶部129、面內預測部130、移動補償部131、移動檢測部132、及開關133。

如圖1所示，編碼部120按照每一區塊將輸入之圖像(輸入圖像)141編碼來生成編碼串流142。此時，編碼部120之減法部121會從由圖像141之複數像素值構成之像素區塊，減去由預測圖像之複數像素值構成之像素區塊。頻率轉換部122將藉由減法所獲得之像素區塊轉換為由複數頻率係數構成之係數區塊。量化部123將頻率轉換部122所獲得之係數區塊量化。

另一方面，移動檢測部132會用圖像141之像素區塊來檢測移動向量。移動補償部131用記憶部129之參考圖像、及移動檢測部132所檢測出之移動向量來進行面間預測(間預測)，生成預測圖像。面內預測部130依照面內預測模式，用加法部127所獲得之像素區塊來進行面內預測(內預測)，生成預測圖像。開關133將面內預測部130或移動補償部131所生成之預測圖像之像素區塊輸出至減法部121及加法部127。

接著，熵編碼部124對區塊之分割資訊、預測類別、移動向量、預測模式(面內預測模式)、量化參數、及已量化之係數區塊等施以熵編碼，藉此生成編碼串流142。

又，反量化部125將已量化之係數區塊反量化。接著，逆頻率轉換部126將已反量化之係數區塊轉換為像素區塊。接著，加法部127對逆頻率轉換部126所獲得之像素區塊加上預測圖像之像素區塊。內嵌式迴路濾波器處理部128從加法部127所獲得之像素區塊去除區塊雜訊，並實施與輸入圖像之誤差補正，將像素區塊作為參考圖像儲存於記憶部129。

又，控制部110控制編碼部120。

圖像編碼裝置100根據上述動作來將圖像141編碼。接著，圖像編碼裝置100藉由頻率轉換、量化、面內預測、面間預測、熵編碼及內嵌式迴路濾波器處理等各種處理來使編碼串流142之資料量降低。

圖2係顯示圖1所示之圖像編碼裝置100之內嵌式迴路濾波器處理部128之構成之圖。

如圖2所示，內嵌式迴路濾波器處理部128具有解塊濾波器部134、偏移部135、適應迴路濾波器部136。

解塊濾波器部134針對加法部127所獲得之像素區塊(解碼圖像)，對區塊境界之像素進行低通濾波處理，以去除因以區塊單位進行編碼處理而產生之區塊境界雜訊(區塊雜訊)。接著，偏移部135將解塊濾波器部134已進行低通濾波處理之處理對象區塊內之像素分類為複數級，並按照各級加上用以修正與輸入圖像之誤差之偏移值。接著，適應迴路濾波器部136針對偏移部135已加上偏移值之處理對象區塊，進行使用了已適應處理對象像素之特徴之低通濾波器的濾波處理，以去除因編碼所產生之雜訊。

圖3係顯示與圖1所示之圖像編碼裝置100對應之圖像解碼裝置之構成之圖。

圖3所示之圖像解碼裝置200具有控制部210及解碼部220。解碼部220具有熵解碼部224、反量化部225、逆頻率轉換部226、加法部227、內嵌式迴路濾波器處理部228、記憶部229、面內預測部230、移動補償部231及開關233。

如圖3所示，解碼部220按照每一區塊將編碼串流242所含之圖像241解碼。此時，解碼部220之熵解碼部224對編碼串流242施以熵解碼，藉此取得區塊之分割資訊、預測之類別、移動向量、面內預測模式、量化參數、已量化之係數區塊、偏移(SAO：Sample Adaptive Offset(取樣適應偏移))時之像素分類方法及偏移值等。

接著，控制部210控制解碼部220之動作。

解碼部220之反量化部225將已量化之係數區塊反量化。逆頻率轉換部226將已反量化之係數區塊轉換為像素區塊。

加法部227對逆頻率轉換部226所獲得之像素區塊加上預測圖像之像素區塊。內嵌式迴路濾波器處理部228從加法部227所獲得之像素區塊去除區塊雜訊，並進行與編碼時之輸入圖像之誤差修正等。之後，內嵌式迴路濾波器處理部228將已處理之像素區塊作為參考圖像儲存於記憶部229。又，內嵌式迴路濾波器處理部228輸出由像素區塊構成之圖像241。

面內預測部230在預測之類別為面內預測時，依據面內預測模式，用加法部227所獲得之像素區塊來進行面內預測，生成預測圖像。移動補償部231在預測類別為面間預測時，用移動向量及記憶部229之參考圖像來進行面間預測，生成預測圖像。開關233會將面內預測部230或移動補償部231所生成之預測圖像之像素區塊輸出至加法部227。

如上所述，圖像解碼裝置200根據對應於圖像編碼裝置100之動作，依照每一區塊來將編碼串流242所含之圖像241解碼。

圖4係顯示圖3所示之圖像解碼裝置200之內嵌式迴路濾波器處理部228之構成之圖。

如圖4所示，內嵌式迴路濾波器處理部228具有解塊濾波器部234、偏移部235、及適應迴路濾波器部236。解塊濾波器部234針對加法部227所獲得之像素區塊(解碼圖像)，對區塊境界之像素進行低通濾波處理，以去除因以區塊單位進行編碼處理而產生之區塊境界之雜訊(區塊雜訊)。接著，偏移部235將解塊濾波器部234已進行低通濾波處理之處理對象區塊內之像素分類為複數級，並按照各級加上用以修正與輸入圖像之誤差之偏移值。接著，適應迴路濾波器部236針對偏移部235已加上偏移值之處理對象區塊，進行使用了已適應處理對象像素之特徴之低通濾波器之濾波處理，已去除因編碼所產生之雜訊。

在此，代表HEVC規格等之圖像編碼方式中，針對內嵌式迴路濾波器處理中的SAO(Sample Adaptive Offset(取樣適應偏移))處理來更詳細地說明。

SAO處理係將解塊濾波處理完成之處理對象區塊內所含之像素分類為複數級。又，按照每一級，將代表輸入圖像與解塊濾波處理完成圖像之差分平均值的偏移值編碼，並對解塊濾波處理完成圖像加上偏移值，藉此修正與輸入圖像之誤差。

SAO處理之像素分類大致可分為邊緣偏移(Edge Offset)與頻帶偏移(Band Offset)這2個方法來進行。邊緣偏移主要是針對包含較多邊緣部之處理對象區塊來提高編碼效率。另一方面，頻帶偏移主要是針對包含較多平坦部之處理對象區塊來提高編碼效率。

圖5係顯示邊緣偏移之像素分類方法例之示意圖。在邊緣偏移中，係藉由處理對象像素c與其左右之鄰接像素c1、c2之大小關係來實施分類。圖6係顯示以邊緣偏移來將處理對象區塊分類為5個級之例之示意圖。例如，當處理對象像素c之像素值大於鄰接像素c1之像素值，與鄰接像素c2之像素值相等時，處理對象像素會分類為級3，並加上分配於級3之偏移值Offset[3]。又，在邊緣偏移中，與處理對象像素比較之鄰接像素，除了與圖5相同之圖7A所示之左右鄰接像素(EO(0))以外，尚有圖7B所示之上下鄰接像素(EO(1))、圖7C及圖7D所示之斜向鄰接像素(EO(2)或EO(3))、或圖7E及圖7F所示之該等之組合(EO(4)或EO(5))等情形。

圖8係顯示頻帶偏移之像素分類方法例之示意圖。在頻帶偏移中，首先將解塊濾波處理完成之處理對象像素根據其像素值來加以分類。如圖8所示，將處理對象像素之像素值可取得之灰階均等地M分割。M為例如16。將分割之灰階區分之單位稱為頻帶。處理對象像素會分類為與包含其像素值之頻帶對應之級。圖9係顯示藉由頻帶偏移將包含於處理對象區塊之各像素分類為16級時之級条件之例子的示意圖。例如，處理對象像素c之像素值為R9以上不滿R10時，處理對象像素會分類為級10。且，對處理對象像素c之像素值加上分配於級10之偏移值Offset[109]。又，藉由限制頻帶偏移處理對象之灰階，可排除將不含於處理對象區塊之灰階之偏移值編碼的冗餘性。舉例言之，在非專利文獻3之HEVC測試模型中，如圖10所示，以10位元精度實施SAO處理時，將「0」至「1023」均等地分割為32頻帶。換言之，1個頻帶為32灰階。有只將中央灰階之16頻帶作為對象之分類方法(BO(0))、或將去除中央灰階之両端各8頻帶之合計16頻帶作為對象之分類方法(BO(1))。

又，代表HEVC規格等之圖像編碼方法中，係用例如邊緣偏移之EO(0)~EO(3)、及BO(0)~BO(1)之6種類分類方法來分別將處理對象像素分類，並實施偏移處理。針對用這6種類分類方法來分別實施偏移處理之結果，進行使用了評價畫質與位元量之成本函數的RD最佳化。接著，將顯示6種類分類方法中成本函數值最小的分類方法之資訊、及其偏移值加以編碼。

圖11係顯示HEVC規格之圖像編碼裝置之偏移部135的構成例之方塊圖。

偏移部135具有取得部151、邊緣偏移像素分類部152、邊緣偏移值算出部153、邊緣偏移處理部154、邊緣偏移成本算出部155、頻帶偏移像素分類部156、頻帶偏移值算出部157、頻帶偏移處理部158、頻帶偏移成本算出部159、分類方法決定部160、及偏移資訊輸出部161。

取得部151從圖2所示之解塊濾波器部134取得解塊濾波處理完成圖像。邊緣偏移像素分類部152根據經指定之分類方法，比較處理對象像素與其鄰接像素之大小關係，將處理對象像素分類為複數級中的1個級。邊緣偏移值算出部153按照已將處理對象區塊之各像素分類之每一級，算出輸入圖像之像素值與解塊濾波處理完成圖像之像素值的誤差平均。該誤差平均為偏移值。換言之，偏移值係按照處理對象區塊之每一級來算出。邊緣偏移處理部154按照每一級來對解塊濾波處理完成圖像之像素值加上偏移值。邊緣偏移成本算出部155用輸入圖像與偏移處理完成圖像之誤差、及偏移資訊(像素分類方法及偏移值)之位元量構成之成本函數，算出邊緣偏移之偏移處理之成本。頻帶偏移像素分類部156根據經指定之分類方法，對應處理對象像素之像素值，將處理對象像素分類為複數級中的1個級。頻帶偏移值算出部157按照已將處理對象區塊之各像素分類的每一級，算出輸入圖像之像素值與解塊濾波處理完成圖像之像素值的誤差平均。該誤差平均為偏移值。在此，偏移值也是按照處理對象區塊之每一級來算出。頻帶偏移處理部158按照每一級對解塊濾波處理完成圖像之像素值加上偏移值。頻帶偏移成本算出部159用輸入圖像與偏移處理完成圖像之誤差、及偏移資訊(像素分類方法及偏移值)之位元量構成之成本函數，算出頻帶偏移之偏移處理之成本。分類方法決定部160比較藉由邊緣偏移及頻帶偏移之各分類方法所算出之成本，並將成本最低的分類方法決定最佳分類方法。偏移資訊輸出部161將最佳分類方法及藉由最佳分類方法所求出之偏移值，輸出至圖1所示之熵編碼部124。又，偏移資訊輸出部161會將偏移處理完成圖像輸出至圖2所示之適應迴路濾波器部136。

圖12係顯示與圖11所示之HEVC規格之圖像編碼裝置對應的圖像解碼裝置之偏移部235之構成例的方塊圖。

偏移部235具有偏移資訊取得部251、像素分類部252、偏移處理部253、及偏移處理完成圖像輸出部254。偏移資訊取得部251從圖4所示之解塊濾波器部234取得解塊濾波處理完成圖像、及從圖3所示之熵解碼部224取得偏移資訊(像素分類方法及偏移值)。像素分類部252根據所取得之偏移資訊之像素分類方法，將處理對象區塊之各像素分別分類為複數級中的1個級。偏移處理部253按照每一級來對解塊濾波處理完成圖像之像素值分別加上偏移值。偏移處理完成圖像輸出部254將處理對象區塊之偏移處理完成圖像輸出至圖4所示之適應迴路濾波器部236。

圖13係顯示圖11所示之圖像編碼裝置100之偏移部13動作之流程圖。

首先，取得部151從解塊濾波器部134取得解塊濾波處理完成圖像取得(S151)。

接著，邊緣偏移像素分類部152根據複數邊緣偏移分類方法中經指定之分類方法，算出處理對象像素與其鄰接像素之大小關係，將處理對象像素分類為複數級中的1個級。接著，對處理對象區塊內之各像素進行該分類，將處理對象區塊內之各像素分別分類為級(S152)。

接著，邊緣偏移值算出部153按照每一級來算出輸入圖像之像素值與解塊濾波處理完成圖像之像素值的誤差平均(S153)。該等誤差平均就是各級之偏移值。

接著，邊緣偏移處理部154按照每一級來對解塊濾波處理完成圖像之像素值加上偏移值(S154)。

接著，邊緣偏移成本算出部155用輸入圖像與偏移處理完成圖像之誤差、及偏移資訊之位元量構成之成本函數，算出經指定之分類方法之成本(S155)。在此，偏移資訊為顯示經指定之分類方法之索引編號及各級之偏移值。位元量為將偏移資訊編碼時產生之位元量。

接著，分類方法決定部160判定經指定之分類方法之成本是否低於至今所處理之分類方法中成本最低的暫定最佳分類方法之成本(S156)。該判定結果在經指定之分類方法之成本未低於暫定最佳分類方法之成本時(S156中No)，什麼都不實施。

另一方面，當經指定之分類方法之成本低於暫定最佳分類方法之成本時(S156中Yes)，分類方法決定部160會將暫定最佳分類方法之偏移資訊更新為經指定之分類方法之偏移資訊(S157)。

接著，分類方法決定部160判定是否已實施所有邊緣偏移之分類方法之偏移處理(S158)。該判定結果為尚未實施所有邊緣偏移之分類方法之偏移處理時(S158中No)，重複分類處理(S152)~更新處理(S157)。

另一方面，當已實施所有邊緣偏移之分類方法之偏移處理時(S158中Yes)，頻帶偏移像素分類部156會根據複數頻帶偏移分類方法中經指定之分類方法，算出包含處理對象像素之像素值的頻帶，將處理對象像素分類為複數級中的1個級。且，針對處理對象區塊內之各像素進行該分類，將處理對象區塊內之各像素分別分類為級(S159)。

接著，頻帶偏移值算出部157按照每一級來算出輸入圖像之像素值與解塊濾波處理完成圖像之像素值的誤差平均(S160)。該誤差平均為各級之偏移值。

接著，頻帶偏移處理部158按照每一級對解塊濾波處理完成圖像之像素值加上偏移值(S161)。

接著，頻帶偏移成本算出部159用輸入圖像與偏移處理完成圖像之誤差、及偏移資訊之位元量構成的成本函數，算出經指定之分類方法之成本(S162)。在此，偏移資訊為顯示經指定之分類方法的索引編號及各級之偏移值。位元量為編碼偏移資訊時產生之位元量。

接著，分類方法決定部160判定經指定之分類方法之成本是否低於至今所處理之分類方法中成本最低之暫定最佳分類方法之成本(S163)。該判定結果為經指定之分類方法之成本並未低於暫定最佳分類方法之成本時(S163中No)，什麼都不實施。

另一方面，當經指定之分類方法之成本低於暫定最佳分類方法之成本時(S163中Yes)，分類方法決定部160會將暫定最佳分類方法之偏移資訊更新為經指定之分類方法之偏移資訊(S164)。

接著，分類方法決定部160判定是否已實施所有頻帶偏移之分類方法之偏移處理(S165)。該判定結果為尚未實施所有頻帶偏移之分類方法之偏移處理時(S165中No)，重複分類處理(S159)~更新處理(S164)。

另一方面，當已實施所有頻帶偏移之分類方法之偏移處理時(S165中Yes)，偏移資訊輸出部161會將最佳分類方法之偏移資訊輸出至熵編碼部124(S166)。

圖14係顯示圖12所示之圖像解碼裝置200之偏移部235動作之流程圖。

首先，偏移資訊取得部251從解塊濾波器部134取得解塊濾波處理完成圖像(S251)。

接著，偏移資訊取得部251取得熵解碼部224所解碼之偏移資訊(S252)。在此，偏移資訊是由像素分類方法及各級之偏移值構成。

接著，像素分類部252根據所取得之偏移分類方法，將處理對象像素分類為複數級中的1個級(S253)。

接著，偏移處理部253將已分類處理對象像素之級所具有之偏移值加到處理對象像素之像素值(S254)。

接著，偏移處理部253判定是否已處理了處理對象區塊內之所有像素(S256)。該判定結果為尚未處理處理對象區塊內之所有像素時(S256中No)，重複分類處理(S254)~加法處理(S255)。

另一方面，當已處理了處理對象區塊內之所有像素時(S256中Yes)，偏移處理完成圖像輸出部254會將處理對象區塊之偏移處理完成圖像輸出至適應迴路濾波器部236。

藉由以上，可抑制位元量之增大，並生成接近輸入圖像之解碼圖像。

惟，上述技術在頻帶偏移中，頻帶之數量與範圍通常是固定的。故，特別是在色差訊號中所常見的處理對象區塊內之像素值偏差大時，有時會無法充分獲得編碼效率。

為了達上述目的，本發明其中一態樣之圖像編碼方法，係將輸入圖像以區塊單位來編碼之圖像編碼方法，包含有：取得步驟，係於編碼前述輸入圖像後，取得已將已編碼之編碼圖像解碼之解碼圖像；頻帶設定步驟，係在複數頻帶中，按照每一區塊來可變地設定進行偏移處理之至少1個頻帶，前述複數頻帶係已將可取得前述解碼圖像之像素值之灰階分割為預定之灰階區分；頻帶偏移像素分類步驟，係根據前述解碼圖像之處理對象區塊所含之各像素是否包含於前述頻帶設定步驟所設定之頻帶，將前述處理對象區塊所含之各像素分類為複數級中的1個級；頻帶偏移值算出步驟，係按照每一前述級，針對已分類為前述級之前述像素來算出偏移值，該偏移值為前述輸入圖像之像素值與前述解碼圖像之像素值之平均誤差；及，頻帶偏移處理步驟，係按照每一前述級，針對已分類為前述級之前述像素，對前述解碼圖像之像素值加上前述偏移值。

藉此，可適應地切換適用頻帶偏移之頻帶，藉此對於沒有像素值、或像素值只有非常少數之頻帶，可不進行偏移值之編碼，因此可減少對於冗餘之偏移值之位元量。換言之，可使適用頻帶偏移時之編碼效率提高。

又，前述圖像編碼方法可更包含：偏移資訊輸出步驟，係輸出已進行前述頻帶偏移處理步驟中加上前述偏移值之前述偏移處理之偏移處理完成圖像、及用於前述偏移處理之資訊。

又，前述圖像編碼方法可更包含有：最大值最小值算出步驟，係算出前述解碼圖像之像素值之最大值及最小值，且前述頻帶設定步驟中，可根據前述最大值最小值算出步驟所算出之前述最大值及前述最小值，按照每一區塊來可變地設定前述頻帶。

又，前述最大值最小值算出步驟中，可算出處理對象區塊、處理對象區塊之上鄰接區塊、處理對象區塊之左鄰接區塊、處理對象區塊之上及左鄰接區塊、前一個切片、前一個訊框、前一個I訊框、或用於畫面間預測之參考區塊所含之像素值之前述最大值及前述最小值。

又，前述頻帶設定步驟中，可進而根據前述最大值最小值算出步驟中所算出之前述最大值及前述最小值，按照每一區塊來可變地設定前述頻帶之數量及範圍的至少1者。

又，前述圖像編碼方法可更包含有：直方圖算出步驟，係算出處理對象區塊、處理對象區塊之上鄰接區塊、處理對象區塊之左鄰接區塊、處理對象區塊之上及左鄰接區塊、前一個切片、前一個訊框、前一個I訊框、或用於畫面間預測之參考區塊所含的像素值之直方圖，且前述頻帶設定步驟中，可根據前述直方圖，按照每一區塊來可變地設定前述頻帶。

又，前述頻帶設定步驟中，可進而根據前述直方圖，按照每一區塊來可變地設定前述頻帶之數量及範圍的至少1者。

又，前述圖像編碼方法可更包含有：邊緣偏移像素分類步驟，係根據邊緣偏移像素分類方法，將前述解碼圖像之像素分類為複數級中的1個級；邊緣偏移值算出步驟，係按照每一前述級來算出偏移值，該偏移值為輸入圖像之像素值與前述解碼圖像之像素值之平均誤差；邊緣偏移處理步驟，係按照每一前述級對前述解碼圖像之像素值加上前述偏移值；邊緣偏移成本算出步驟，係用前述輸入圖像與偏移處理完成圖像之誤差、及偏移處理所需之資訊的碼量，算出邊緣偏移像素分類方法之成本；頻帶偏移成本算出步驟，係用前述輸入圖像與偏移處理完成圖像之誤差、及偏移處理所需之資訊的碼量，算出頻帶偏移像素分類方法之成本；分類方法決定步驟，係從複數邊緣偏移像素分類方法之成本及複數頻帶偏移像素分類方法之成本來判定最小之成本，決定最佳像素分類方法；及，偏移資訊輸出步驟，係輸出已藉由前述最佳像素分類方法進行偏移處理之偏移處理完成圖像、及用於偏移處理之資訊。

藉此，可適應地切換適用頻帶偏移之頻帶，藉此對於沒有像素值、或像素值只有非常少數之頻帶，可不進行偏移值之編碼，因此可減少對於冗餘之偏移值之位元量。

又，前述頻帶設定步驟中，可根據前述偏移資訊取得步驟所取得之用於偏移處理之資訊，按照每一區塊來可變地設定前述頻帶。

又，前述圖像解碼方法更包含有：最大值最小值算出步驟，係算出前述解碼圖像之像素值之最大值及最小值，且前述頻帶設定步驟中，可根據前述最大值最小值算出步驟所算出之前述最大值及前述最小值，按照每一區塊來可變地設定前述頻帶。

又，前述頻帶設定步驟中，可進而根據前述最大值最小值算出步驟所算出之前述最大值及前述最小值，按照每一區塊來可變地設定前述頻帶之數量及範圍的至少1個。

又，前述圖像解碼方法可更包含有：直方圖算出步驟，係算出處理對象區塊、處理對象區塊之上鄰接區塊、處理對象區塊之左鄰接區塊、處理對象區塊之上及左鄰接區塊、前一個切片、前一個訊框、前一個I訊框、或用於畫面間預測之參考區塊所含的像素值之直方圖，且前述頻帶設定步驟中，可根據前述直方圖，按照每一區塊來可變地設定前述頻帶。

而，這些整體性或具體之態樣，可用系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體來實現，亦可組合、方法、積體電路、電腦程式及記錄媒體之任意組合來實現。

以下，以圖式來詳細說明本發明之實施形態。

而，以下說明之實施形態皆是顯示整體性或具體的例子。以下實施形態所示之數值、形狀、材料、構成要件、構成要件之配置位置及連接形態、步驟、步驟順序等都是一個例子，用意並非限定本發明。又，以下實施形態之構成要件中，對於未記載於表示最上位概念之獨立請求項的構成要件，係作為任意之構成要件來說明。

(實施形態1)

說明本實施形態之圖像編碼裝置之內嵌式迴路濾波器處理的偏移部300構成。圖15係顯示本實施形態之圖像編碼裝置之偏移部300之構成例的方塊圖。而，如後所述，本發明實施形態1之偏移部300係相當於將圖像訊號壓縮編碼，並輸出編碼圖像資料之圖像編碼裝置100的一部分。

偏移部300具有取得部301、邊緣偏移像素分類部302、邊緣偏移值算出部303、邊緣偏移處理部304、邊緣偏移成本算出部305、最大值最小值算出部306、頻帶設定部307、頻帶偏移像素分類部308、頻帶偏移值算出部309、頻帶偏移處理部310、頻帶偏移成本算出部311、分類方法決定部312、及偏移資訊輸出部313。其中，最大值最小值算出部306及頻帶設定部307可包含於例如例如圖1之控制部110。

取得部301從圖2所示之解塊濾波器部134取得解塊濾波處理完成圖像。邊緣偏移像素分類部302根據經指定之分類方法，將處理對象像素與其鄰接像素之大小關係加以比較，並將處理對象像素分類為複數級中的1個級。邊緣偏移值算出部303按照已分類處理對象區塊之各像素的每一級，算出輸入圖像之像素值與解塊濾波處理完成圖像之像素值的誤差平均。該誤差平均為偏移值。換言之，偏移值是按照處理對象區塊的每一級來算出。邊緣偏移處理部304按照每一級對解塊濾波處理完成圖像之像素值加上偏移值。邊緣偏移成本算出部305用輸入圖像與偏移處理完成圖像之誤差、及偏移資訊(像素分類方法及偏移值)之位元量構成的成本函數，算出邊緣偏移之偏移處理之成本。

最大值最小值算出部306算出取得部301所取得之處理對象區塊之解塊濾波處理完成圖像之像素值的最大值及最小值。頻帶設定部307根據最大值最小值算出部306所算出之最大值與最小值來設定頻帶之數量及範圍。頻帶偏移像素分類部308根據經指定之分類方法，因應處理對象像素之像素值來將處理對象像素分類為複數級中的1個級。頻帶偏移值算出部309按照已分類處理對象區塊之各像素之每一級，算出輸入圖像之像素值與解塊濾波處理完成圖像之像素值的誤差平均。該誤差平均為偏移值。在此，偏移值也是按照處理對象區塊每一級來算出。頻帶偏移處理部310按照每一級對解塊濾波處理完成圖像之像素值加上偏移值。頻帶偏移成本算出部311用輸入圖像與偏移處理完成圖像之誤差、及偏移資訊(像素分類方法及偏移值)之位元量構成的成本函數，算出頻帶偏移之偏移處理之成本。

分類方法決定部312比較藉由邊緣偏移及頻帶偏移之各分類方法所算出之成本，將成本最低之分類方法決定為最佳分類方法。偏移資訊輸出部313將藉由最佳分類方法及最佳分類方法所求出之偏移值輸出至圖1所示之熵編碼部124。又，偏移資訊輸出部161會將偏移處理完成圖像輸出至圖2所示之適應迴路濾波器部136。

以上之偏移部300在具有最大值最小值算出部306及頻帶設定部307這一點，與圖11所示之偏移部135之構成不同。

圖16係顯示與本實施形態之圖像編碼裝置對應之圖像解碼裝置之偏移部400之構成例的方塊圖。而，如後所述，本發明實施形態1之偏移部400相當於將編碼訊號解碼、並輸出解碼圖像資料之圖像解碼裝置200的一部分。

偏移部400具有偏移資訊取得部401、頻帶偏移控制部402、最大值最小值算出部403、頻帶設定部404、像素分類部405、偏移處理部406、及偏移處理完成圖像輸出部407。其中，頻帶偏移控制部402、最大值最小值算出部403、及頻帶設定部404可包含於例如圖3之控制部210。

偏移資訊取得部401從圖4所示之解塊濾波器部234取得解塊濾波處理完成圖像，並從圖3所示之熵解碼部224取得偏移資訊(像素分類方法及偏移值)。頻帶偏移控制部402從偏移資訊取得部401所取得之偏移資訊中參考像素分類方法，判定是否進行頻帶偏移。最大值最小值算出部403會算出偏移資訊取得部401所取得之處理對象區塊之解塊濾波處理完成圖像之像素值的最大值及最小值。頻帶設定部404根據最大值最小值算出部402所算出之最小值與最大值來設定頻帶之數量及範圍。像素分類部405根據偏移資訊取得部401所取得之偏移資訊之像素分類方法，將處理對象區塊之各像素分別分類為複數級中的1個級。偏移處理部406按照每一級對解塊濾波處理完成圖像之像素值分別加上偏移值。偏移處理完成圖像輸出部407將處理對象區塊之偏移處理完成圖像輸出至圖4所示之適應迴路濾波器部236。

以上之偏移部400在具有頻帶偏移控制部402、最大值最小值算出部403及頻帶設定部404這一點，與圖12所示之偏移部235之構成習知例不同。

圖17係顯示圖15所示之圖像編碼裝置之偏移部300動作之流程圖。

首先，取得部301從解塊濾波器部134取得解塊濾波處理完成圖像(S301)。

接著，邊緣偏移像素分類部302根據複數邊緣偏移分類方法中，經指定之分類方法，算出處理對象像素與其鄰接像素之大小關係，將處理對象像素分類為複數級中的1個級。接著，針對處理對象區塊內之各像素進行該分類，將處理對象區塊內之各像素分別分類為級(S302)。

接著，邊緣偏移值算出部303按照每一級來算出輸入圖像之像素值與解塊濾波處理完成圖像之像素值的誤差平均(S303)。該誤差平均為各級之偏移值。

接著，邊緣偏移處理部304按照每一級對解塊濾波處理完成圖像之像素值加上偏移值(S304)。

接著，邊緣偏移成本算出部305用輸入圖像與偏移處理完成圖像之誤差、及偏移資訊之位元量構成的成本函數，算出經指定之分類方法之成本(S305)。在此，偏移資訊為顯示經指定之分類方法之索引編號及各級之偏移值。位元量為將偏移資訊編碼時產生的位元量。

接著，分類方法決定部312判定經指定之分類方法之成本，是否低於至今所處理之分類方法中成本最低之暫定最佳分類方法之成本(S306)。該判定結果為經指定之分類方法之成本未低於暫定最佳分類方法之成本時(S306中No)，什麼都不實施。

另一方面，當經指定之分類方法之成本低於暫定最佳分類方法之成本時(S306中Yes)，分類方法決定部312會將暫定最佳分類方法之偏移資訊更新為經指定之分類方法之偏移資訊(S307)。

接著，分類方法決定部312判定是否已實施所有邊緣偏移之分類方法之偏移處理(S308)。該判定結果為尚未實施所有邊緣偏移之分類方法之偏移處理時(S308中No)，重複分類處理(S302)~更新處理(S307)。

另一方面，當已實施所有邊緣偏移之分類方法之偏移處理時(S308中Yes)，最大值最小值算出部306會算出處理對象區塊之解塊濾波處理完成圖像之像素值的最大值及最小值(S309)。

接著，頻帶設定部307根據最大值最小值算出部306所算出之最大值與最小值來設定頻帶之數量及範圍(S310)。

接著，頻帶偏移像素分類部308根據複數頻帶偏移分類方法中、經指定之分類方法，算出包含處理對象像素之像素值之頻帶，將處理對象像素分類為複數級中的1個級。接著，針對處理對象區塊內之各像素進行該分類，將處理對象區塊內之各像素分別分類為級(S311)。

接著，頻帶偏移值算出部309按照每一級來算出輸入圖像之像素值與解塊濾波處理完成圖像之像素值的誤差平均(S312)。該誤差平均為各級之偏移值。

接著，頻帶偏移處理部310按照每一級來對解塊濾波處理完成圖像之像素值加上偏移值(S313)。

接著，頻帶偏移成本算出部311用輸入圖像與偏移處理完成圖像之誤差、及偏移資訊之位元量構成的成本函數，算出經指定之分類方法之成本(S314)。在此，偏移資訊為顯示經指定之分類方法之索引編號及各級之偏移值。位元量為將偏移資訊編碼時產生的位元量。

接著，分類方法決定部312判定經指定之分類方法之成本，是否低於至今所處理之分類方法中成本最低之暫定最佳分類方法之成本(S315)。該判定結果為經指定之分類方法之成本未低於暫定最佳分類方法之成本時(S315中No)，什麼都不實施。

另一方面，當經指定之分類方法之成本低於暫定最佳分類方法之成本時(S315中Yes)，分類方法決定部312會將暫定最佳分類方法之偏移資訊更新為經指定之分類方法之偏移資訊(S316)。

接著，分類方法決定部312判定是否已實施所有頻帶偏移之分類方法之偏移處理(S317)。該判定結果為尚未實施所有頻帶偏移之分類方法之偏移處理時(S317中No)，重複分類處理(S311)~更新處理(S316)。

另一方面，當已實施所有頻帶偏移之分類方法之偏移處理時(S317中Yes)，偏移資訊輸出部313會將最佳分類方法之偏移資訊輸出至熵編碼部124(S318)。

藉此，因應處理對象區塊內之像素值之偏差來適切地切換頻帶偏移之頻帶之數量及範圍，藉此對於沒有像素值、或像素值只有非常少數之頻帶可不進行偏移值之編碼，因此可減少冗餘之偏移值的位元量。又，不需將新的資訊插入位元流，便可切換頻帶之數量及範圍。換言之，偏移部300可使適用頻帶偏移時之編碼效率提高。

圖18係顯示圖16所示之圖像解碼裝置之偏移部400動作的流程圖。

首先，偏移資訊取得部401從解塊濾波器部234取得解塊濾波處理完成圖像(S401)。

接著，偏移資訊取得部401取得熵解碼部224所解碼之偏移資訊(S402)。在此，偏移資訊是由像素分類方法及各級之偏移值構成。

接著，頻帶偏移控制部402從偏移資訊取得部401所取得之偏移資訊中參考像素分類方法，判定像素分類方法是否為頻帶偏移(S403)。該判定結果為像素分類方法是頻帶偏移時(S403為Yes)，最大值最小值算出部403會算出處理對象區塊之解塊濾波處理完成圖像之像素值的最大值及最小值(S404)。

接著，頻帶設定部404根據最大值最小值算出部403所算出之最大值與最小值來設定頻帶之數量及範圍(S405)。

接著，像素分類部405根據偏移資訊取得部401所取得之偏移分類方法，將處理對象像素分類為複數級中的1個級(S406)。

接著，偏移處理部406將已分類處理對象像素之級所具有的偏移值加到處理對象像素之像素值(S407)。

接著，偏移處理部406判定是否已處理了處理對象區塊內之所有像素(S408)。該判定結果為尚未處理處理對象區塊內之所有像素時(S408中No)，重複分類處理(S406)~加法處理(S407)。

另一方面，當已處理了處理對象區塊內之所有像素時(S408中Yes)，偏移處理完成圖像輸出部407會將處理對象區塊之偏移處理完成圖像輸出至適應迴路濾波器部236(S409)。

藉此，因應處理對象區塊內之像素值之偏差來適切地切換頻帶偏移之頻帶之數量及範圍，藉此對於沒有像素值、或像素值只有非常少數之頻帶，可不進行偏移值之編碼，因此可減少冗餘之偏移值的位元量。又，不需從位元流取得新的資訊，便可切換頻帶之數量及範圍。換言之，偏移部400與偏移部300相同地，可使適用頻帶偏移之編碼效率提高。

在此，詳細說明頻帶設定部307及頻帶設定部404之頻帶數量及範圍之設定。

本實施形態中，使用處理對象區塊之解塊濾波處理完成圖像之像素值的最大值MAX及最小值MIN來設定頻帶之數量及範圍，該最大值MAX及最小值MIN係最大值最小值算出部306、或最大值最小值算出部403所算出。

首先，說明頻帶數量與上述相同固定為32之例。亦即，頻帶之範圍Range是可變的。圖19A係顯示固定頻帶之示意圖。圖19B、圖19C及圖19D係顯示本實施形態之頻帶範圍為可變之例的示意圖。由於頻帶之數量及範圍皆取整數值，因此無法單純地將MIN至MAX作32分割。如圖19B 所示，集中於MIN至MAX是很少的。有像圖19C般，MIN至MAX之範圍外設定為頻帶的情形，也有像圖19D般，設定無法網羅MIN至MAX之範圍之頻帶的情形。

故，頻帶之範圍Range可用式(1)來算出。

Range=((MAX-MIN+1)>>5)+1...(1)

接著，作為處理對象之灰階之中央值MID可用式(2)來算出。

MID=MAX+MIN>>2...(2)

接著，如圖19B~圖19D般，以中央值MID為中心，將範圍Range之頻帶左右分別設定16個。

藉此，相較於圖19A，可省去實施處理對象區塊之解塊濾波處理完成圖像中沒有像素值之頻帶之偏移處理的冗餘性。

而，如圖19E所示，亦可設定頻帶來使分類方法為1個。藉此，偏移部300可減少用於分類方法BO(1)之記憶體。

接著，說明頻帶範圍與上述固定於同樣32之例子。即，頻帶數量NumBand為可變。圖20A係顯示固定頻帶之示意圖。圖20B、圖20C及圖20D係顯示本實施形態之頻帶數量為可變之例子之示意圖。與固定頻帶量數之情形相同，由於頻帶之數量及範圍皆取整數值，因此無法將MIN至MAX單純地以8來分割。如圖20B般，集中於MIN至MAX是很少的。有像圖20C般，MIN至MAX之範圍外設定為頻帶的情形，也有像圖20D般，設定無法網羅MIN至MAX之範圍之頻帶的情形。

故，頻帶數量NumBand可用式(3)來算出。

NumBand=((((MAX-MIN+1)>>3)>>2)+1)<<2...(3)

接著，作為處理對象之灰階之中央值MID2可用式(4)來算出。

MID2=MAX+MIN>>2...(4)

接著，如圖20B~圖20D般，以中央值MID2為中心來將範圍32之頻帶設定為左右NumBand各2個。

藉此，相較於圖20A，可省去實施處理對象區塊之解塊濾波處理完成圖像中沒有像素值之頻帶之偏移處理的冗餘性。

而，如圖20E所示，亦可設定頻帶來使分類方法為1個。藉此，偏移部300可減少用於分類方法BO(1)之記憶體

又，亦可將頻帶之數量及範圍皆設為可變。圖21A係顯示固定頻帶之示意圖。圖21B係顯示將本實施形態之頻帶數量及範圍皆設為可變之例子之示意圖。

此時，頻帶數量NumBand及範圍Range無法用式(1)及式(3)來算出，因此使用顯示最大值MAX、最小值MIN、頻帶數量NumBand、及範圍Range之關係之表。

藉此，可對處理對象區塊之解塊濾波處理完成圖像之像素值，更有效率地進行頻帶設定。

而，亦可按照每一頻帶設定不同範圍。圖22係顯示本實施形態中按照每一頻帶設定不同範圍之例子之示意圖。

首先，作為處理對象之灰階之中央值MID3可用式(5)來算出。

MID3=MAX+MIN>>2...(5)

接著，將第X個頻帶之中央值設為MIDBAND〔X〕(0≦X≦15)，使用任意臨界值Th1及Th2，如式(6)般來縮小頻帶之範圍。

if(|MIDBAND[X]-MID|≦Th1)Range=R ElsE if(|MIDBAND[X]-MID|≦Th2)Range=R<<1 ElsE Range=R<<2...(6)

而，在此雖顯示針對頻帶範圍用2個臨界值來進行3段階切換之例子，但不限於此。

又，設定於頻帶之數量及範圍之數值雖以2次方為佳，但不限於此。

又，用於頻帶設定之最大值MAX及最小值MIN係從處理對象區塊之解塊濾波處理完成圖像之像素值算出，但亦可從處理對象區塊之上區塊、處理對象區塊之左區塊、處理對象區塊之上及左區塊、前一個切片、前一個訊框、前一個I訊框、或畫面間預測時之參考訊框算出。

藉此，對於處理對象區塊內之所有像素，不需等待大小比較之處理，因此可解除像素分類之處理延遲。

又，除了最大值MAX及最小值MIN外，亦可使用處理對象像素值之直方圖。

藉此，對於度數較大的灰階將頻帶範圍設定地較細，對於度數較小的灰階則將頻帶範圍設定地較大，藉此可更有效率地設定頻帶。

又，亦可用固定了頻帶之頻帶偏移分類方法、及本實施形態之將頻帶設為可變之頻帶偏移分類方法兩者來進行像素分類，並決定最佳像素分類方法。

藉此，可使頻帶偏移之編碼效率更為提高。

又，如上所述，可不使頻帶數量、頻帶範圍、頻帶之數量及範圍可變，而將頻帶之數量及範圍固定，且將頻帶之位置設為可變。換言之，適用頻帶偏移之頻帶為可變。此時，頻帶設定部307及頻帶設定部404不需根據最大值最小值算出部306或最大值最小值算出部402所算出之最大值與最小值來設定頻帶之數量及範圍。例如，頻帶設定部307及頻帶設定部404用預先設好之頻帶數量及範圍來設定頻帶之位置。又，頻帶設定部307及頻帶設定部404亦可根據例如最大值最小值算出部306或最大值最小值算出部402所算出之最大值與最小值來設定頻帶之位置。又，頻帶設定部307及頻帶設定部404亦可藉由例如算出成本等來設定頻帶之位置。又，不使用最大值與最小值時，偏移部300 不需設置最大值最小值算出部306，且偏移部400不需設置最大值最小值算出部402。

又，本實施形態中，偏移資訊輸出部313係將偏移資訊(像素分類方法及偏移值)作為用於偏移處理之資訊來輸出至熵編碼部124，但不限於此。例如，偏移資訊輸出部313亦可將顯示適用頻帶偏移之頻帶位置之資訊作為用於偏移處理之資訊而輸出至熵編碼部124。

以上，已根據複數實施形態說明了本發明之圖像編碼裝置及圖像解碼裝置，但本發明不限於該等實施形態。對實施形態施以熟悉此項技藝者可思及之變形所得之形態、及將實施形態之構成要件任意地組合所實現之其他形態也包含於本發明。

例如，亦可將特定處理部所執行之處理由其他處理部來執行。又，執行處理之順序可變更，或並行地執行複數處理。又，用以記憶各種資訊之專用或共用記憶部亦可追加於構成。

又，本發明不僅可作為圖像編碼裝置或圖像解碼裝置實現，亦可作為將構成圖像編碼裝置或圖像解碼裝置之處理機構步驟化之方法來實現。例如，該等步驟可藉由電腦來執行。且，本發明可作為使電腦執行該等方法所含之步驟的程式來實現。再者，本發明可作為記錄有該程式之CD-ROM等非暫時性電腦可讀取之記錄媒體來實現。

又，圖像編碼裝置及圖像解碼裝置所含之複數構成要件可作為積體電路之LSI(Large Scale Integration)來實現。這些構成要件可個別地單晶片化，或單晶片化成包含一部份或全部。例如，記憶部以外之構成要件可單晶片化。在此，在此雖為LSI，但根據積體度之差異，有時亦可稱為IC(Integrated Circuit)、系統LSI、超級LSI或終極LSI。

又，積體電路化之手法不限於LSI，亦可用專用電路或通用處理器來實現。亦可利用可在LSI製造後編程之FPGA(Field Programmable Gate Array)、或可再構築LSI內部之電路元件之連接及設定的可重組態處理器。

再者，若因半導體技術之進步或衍生之其他技術而出現可替代LSI之積體電路化技術，當然亦可用該技術來進行圖像編碼裝置及圖像解碼裝置所含之構成要件之積體電路化。

(實施形態2)

藉由將用以實現上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成的程式記錄於記憶媒體，可在獨立之電腦系統上輕易地上述各實施形態所示之處理。記憶媒體只要是磁碟、光碟、光磁碟、IC卡、半導體記憶體等可記錄程式者即可。

接著在此，說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例及使用其之系統。該系統之特徵在於具有由使用了圖像編碼方法之圖像編碼裝置、及使用了圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置。系統之其他構成可視情形適當地變更。

圖23為顯實現示內容配送服務之內容供給系統ex100之全體構成的圖。將通訊服務之提供區域分割為期望之大小，並於各細胞(cell)內分別設有代表固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100係於網際網路ex101連接網際網路服務提供者ex102及電話網ex104、並透過基地台ex106至ex110連接電腦ex111、PDA(Personal Digital Assistant)ex112、攝像機ex113、行動電話ex114、遊戲機ex115等各機器。

惟，ex100不限於圖23之構成，亦可組合其中的要素來連接。又，亦可不透過代表固定無線台之基地台ex106至ex110，而將各機器直接連接於電話網ex104。又，各機器亦可透過近距離無線等直接相互連接。

攝像機ex113為數位攝影機等可進行動態影像撮影之機器，攝像機ex116為數位相機等可進行靜止圖像撮影、動態影像撮影之機器。又，行動電話ex114為GSM(登錄商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或是PHS(Personal Handy phone System)等皆可。

在內容供給系統ex100，攝像機ex113等透過基地台ex109、電話網ex104連接於串流伺服器ex103，藉此可進行實況發送等。實況發送中，對使用者以攝像機ex113拍攝之內容(例如，音樂實況之影像等)，如上述各實施形態所說明地進行編碼處理(即，作為本發明其中一態樣之圖像編碼裝置)，並傳送至串流伺服器ex103。另一方面，串流伺服器ex103串流發送對有要求之用戶端傳送之內容資料。用戶端有可將上述編碼處理之資料解碼的電腦ex111、PDAex112、攝像機ex113、行動電話ex114、遊戲機ex115等。收到所發送之資料的各機器會將收到的資料進行解碼處理並再生(即，作為本發明其中一態樣之圖像解碼裝置)。

而，所拍攝之資料的編碼處理可在攝像機ex113進行，亦可在傳送處理資料之串流伺服器ex103進行，亦可互相分擔進行。同樣地，所發送之資料的解碼處理可在用戶端進行，亦可在串流伺服器ex103進行，亦可互相分擔進行。又，不限於攝像機ex113，攝像機ex116所拍攝之静止圖像及/或動態圖像資料亦可透過電腦ex111傳送至串流伺服器ex103。此時之編碼處理可在攝像機ex116、電腦ex111、串流伺服器ex103的其中一者進行，亦可互相分擔進行。

又，這些編碼/解碼處理一般是在電腦ex111或各機器所具有的LSIex500處理。LSIex500可為由單晶片或複數晶片組成之構成。而，亦可將動態圖像編碼/解碼用之軟體組入電腦ex111等可讀取之其中一記錄媒體(CD-ROM、軟碟、硬碟等)，並以該軟體進行編碼/解碼處理。再者，行動電話ex114具有攝像機時，亦可傳送該攝像機所取得之動態影像資料。此時之動態影像資料為以行動電話ex114所具有的LSIex500進行編碼處理之資料。

又，串流伺服器ex103可為複數伺服器或複數電腦，而將資料分散處理、記錄或發送。

如此一來，內容供給系統ex100可由用戶端接收經編碼之資料並再生。如此，內容供給系統ex100中，用戶端可即時地接收使用者所傳送之資訊並加以解碼、再生，即使是不具特別權力或設備之使用者亦可實現個人廣播。

而，不限於內容供給系統ex100的例子，如圖24所示，數位廣播用系統ex200亦可組入上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)的其中一者。具體而言，廣播台ex201透過電波將已於影像資料多工音樂資料等的多工資料傳送至通訊或衛星ex202。該影像資料為已藉由上述各實施形態所說明之動態圖像編碼方法編碼之資料(即，本發明其中一態樣之圖像編碼裝置所編碼之資料)。收到資料之廣播衛星ex202會發出廣播用電波，並由可接收衛星廣播之家庭之天線ex204來接收該電波。收到的多工資料會由電視(接收機)ex300或機上盒(STB)ex217等裝置解碼並再生(即，作為本發明其中一態樣之圖像解碼裝置)。

又，讀取並解碼DVD、BD等記錄媒體ex215所記錄之多工資料、或於記錄媒體ex215編碼影像訊號、甚至視情形與音樂訊號多工並寫入的讀取器/記錄器ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，再生之影像訊號會顯示於螢幕ex219，可藉由記錄有多工資料之記錄媒體ex215於其他裝置或系統中再生影像訊號。又，亦可於與有線電視用之纜線ex203或衛星/地面廣播之天線ex204連接之機上盒ex217內安裝動態圖像解碼裝置，並將此以電視之螢幕ex219來顯示。此時亦可不於機上盒，而是於電視內組入動態圖像解碼裝置。

圖25為顯示使用了上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視(接收機)ex300之圖。電視ex300具有：調諧器ex301，透過接收上述廣播之天線ex204或纜線ex203等來取得或輸出已於影像資料多工有聲音資料之多工資料；調變/解調部ex302，將收到之多工資料解調、或調變成傳送至外部之多工資料；以及多工/解多工部ex303，將解調之多工資料解多工為影像資料與聲音資料、或將訊號處理部ex306所編碼之影像資料、聲音資料多工。

又，電視ex300包含：訊號處理部ex306，具有將聲音資料、影像資料分別解碼或將各資訊編碼的聲音訊號處理部ex304與影像訊號處理部ex305(作為本發明其中一態樣之圖像編碼裝置或圖像解碼裝置)；以及輸出部ex309，係具有輸出已解碼之聲音訊號的揚聲器ex307，及顯示已解碼之影像訊號的顯示器等顯示部ex308。再者，電視ex300具有介面部ex317，該介面部ex317具有接受使用者操作輸入之操作輸入部ex312等。再者，電視ex300具有可整合控制各部之控制部ex310、及對各部供給電力之電源電路部 ex311。介面部ex317除了操作輸入部ex312以外，亦可具有與讀取器/記錄器ex218等外部機器連接的橋接器ex313、用以安裝SD卡等記錄媒體ex216的插槽部ex314、用以連接硬碟等外部記錄媒體的驅動器ex315、以及與電話網連接的數據機ex316等。而，記錄媒體ex216為可藉由收容之非依電性/依電性半導體記憶體元件來電性進行資訊記錄者。電視ex300之各部透過同步匯流排相互連接。

首先，說明電視ex300將藉由天線ex204等從外部取得的多工資料解碼並再生的構成。電視ex300接受來自遙控器ex220等之使用者操作，根據具有CPU等的控制部ex310之控制，將調變/解調部ex302所解調之多工資料以多工/解多工部ex303解多工。再者，電視ex300用聲音訊號處理部ex304將已解多工之聲音資料解碼，並用影像訊號處理部ex305將已解多工之影像資料用上述各實施形態所說明之解碼方法來解碼。解碼之聲音訊號、影像訊號會分別從輸出部ex309輸出至外部。輸出時，可將這些訊號暫時儲存於緩衝器ex318、ex319等，以使聲音訊號與影像訊號同步再生。又，電視ex300亦可不是從廣播等，而是從磁/光碟、SD卡等記錄媒體ex215、ex216讀出多工資料。接著，說明電視ex300將聲音訊號或影像訊號編碼，並傳送至外部或寫入至記錄媒體等之構成。電視ex300接受來自遙控器ex220等之使用者操作，根據控制部ex310之控制，以聲音訊號處理部ex304將聲音訊號編碼，並以影像訊號處理部ex305將影像訊號用上述各實施形態所說明之編碼方法編碼。經編碼之聲音訊號、影像訊號會在多工/解多工部ex303多工並輸出至外部。多工時，可將這些訊號暫時儲存於緩衝器ex320、ex321等，以使聲音訊號與影像訊號同步。而，緩衝器ex318、ex319、ex320、ex321可如圖所示具有複數個、亦可為共有1個以上緩衝器之構成。再者，如圖所示外，例如調變/解調部ex302或多工/解多工部ex303之間等，亦可於緩衝器儲存資料來作為避免系統溢位(over flow)、虧位(under flow)之緩衝方式。

又，電視ex300除了從廣播等或記錄媒體等取得聲音資料、影像資料外，亦可具有接受麥克風或攝像機之AV輸入的構成，而對從該等取得之資料進行編碼處理。而，在此雖說明了電視ex300可進行上述編碼處理、多工、及外部輸出之構成，但亦可為無法進行這些處理，而僅可進行上述接收、解碼處理、外部輸出之構成。

又，以讀取器/記錄器ex218從記錄媒體取出或寫入多工資料時，上述解碼處理或編碼處理可在電視ex300或讀取器/記錄器ex218的其中一者進行，亦可由電視ex300與讀取器/記錄器ex218互相分擔進行。

舉例言之，圖26顯示從光碟讀取或寫入資料時之資訊再生/記錄部ex400的構成。資訊再生/記錄部ex400具有以下說明之要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光學頭ex401對代表光碟之記錄媒體ex215的記錄面照射雷射光點來寫入資訊，並檢測來自記錄媒體ex215之記錄面的反射光來讀取資訊。調變記錄部ex402電性驅動光學頭ex401所內藏之半導體雷射而根據記錄資料進行雷射光之調變。再生解調部ex403將藉由光學頭ex401所內藏之光檢測器而電性檢測出來自記錄面之反射光的再生訊號加以放大，並將記錄於記錄媒體ex215之訊號分量分離、解調，以再生必要之資訊。緩衝器ex404暫時保存用以記錄於記錄媒體ex215之資訊及從記錄媒體ex215再生之資訊。碟片馬達ex405使記錄媒體ex215旋轉。伺服控制部ex406一面控制碟片馬達ex405之旋轉驅動一面使光學頭ex401移動至預定之資訊軌，進行雷射光點之追蹤處理。系統控制部ex407進行資訊再生/記錄部ex400全體之控制。上述讀取或寫入處理係藉由系統控制部ex407利用緩衝器ex404所保存之各種資訊，或視需要進行新的資訊的生成/追加，使調變記錄部ex402、再生解調部ex403、伺服控制部ex406進行協調動作，並透過光學頭ex401進行資訊之記錄再生而實現。系統控制部ex407係以例如微處理器構成，並執行讀取寫入之程式來執行這些處理。

以上說明了光學頭ex401照射雷射光點，但亦可為用近接場光來進行高密度之記錄的構成。

圖27顯示代表光碟之記錄媒體ex215的示意圖。記錄媒體ex215之記錄面螺旋狀地形成有引導溝(凹溝)，資訊軌ex230藉由凹溝形狀之變化而預先記錄有顯示光碟上之絶對位置的位址資訊。該位址資訊包含用以特定代表記錄資料之單位之記錄塊ex231的位置資訊，可在進行記錄或再生之裝置再生資訊軌ex230並讀取位址資訊來特定記錄塊。又，記錄媒體ex215包含資料記錄區域ex233、內周區域ex232、外周區域ex234。用於記錄使用者資料之區域為資料記錄區域ex233，配置於資料記錄區域ex233內周或外周的內周區域ex232與外周區域ex234則用於使用者資料之記錄以外的特定用途。資訊再生/記錄部ex400對上述記錄媒體ex215之資料記錄區域ex233，進行已編碼之聲音資料、影像資料或已將該等資料多工之多工資料的讀取。

以上係以1層的DVD、BD等光碟為例來說明，但不限於此，亦可為多層構造而表面以外亦可記錄之光碟。又，亦可為於光碟之相同處以各自不同波長之顏色的光來記錄資訊、或從各個角度記錄不同資訊之層等，進行多維記錄/再生之構造的光碟。

又，數位廣播用系統ex200中，亦可在具有天線ex205之汽車ex210從衛星ex202等接收資料，並於汽車ex210所具有之汽車導航ex211等顯示裝置再生動態影像。而，汽車導航ex211之構成可例如於圖25所示之構成中，加上GPS接收部之構成，而在電腦ex111或行動電話ex114等亦可考慮相同作法。

圖28A為顯示使用了上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法的行動電話ex114之圖。行動電話ex114具有用以在與基地台ex110之間傳送接收電波之天線ex350、可拍攝影像、靜止圖像之攝像機部ex365、以及顯示攝像機部ex365所拍攝之影像與天線ex350所接收之影像等已解碼資料之液晶顯示器等的顯示部 ex358。行動電話ex114更包含具有操作鍵部ex366之本體部、代表用以輸出聲音之揚聲器等的聲音輸出部ex357、代表用以輸入聲音之麥克風等的聲音輸入部ex356、保存所拍攝之影像、靜止圖像、所錄音之聲音或收到的影像、靜止圖像、郵件等已編碼資料或已解碼資料的記憶體部ex367、或代表與同樣地保存資料之記錄媒體間的介面部的插槽部ex364。

接著，以圖28B說明行動電話ex114之構成例。行動電話ex114係於整合地控制具有顯示部ex358及操作鍵部ex366之本體部各部的主控制部ex360，透過匯流排ex370互相連接有電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、攝像機介面部ex363、LCD(Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/解多工部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367。

當藉由使用者之操作來結束通話及使電源鍵呈開啟狀態，電源電路部ex361會從電池組對各部供給電力來將行動電話ex114啟動至可動作狀態。

行動電話ex114根據具有CPU、ROM、RAM等之主控制部ex360的控制，以聲音訊號處理部ex354將聲音通話模式時聲音輸入部ex356所收音之聲音訊號轉換為數位聲音訊號，將該數位聲音訊號以調變/解調部ex352進行頻譜擴散處理，並於施以數位類比轉換處理及頻率轉換處理後以傳送/接收部ex351透過天線ex350加以傳送。又，行動電話ex114將聲音通話模式時透過天線ex350接收之接收資料放大並施以頻率轉換處理及類比數位轉換處理，且於以調變/解調部ex352進行頻譜反擴散處理、以聲音訊號處理部ex354轉換為類比聲音訊號後，將該類比聲音訊號從聲音輸出部ex357加以輸出。

接著在資料通訊模式時傳送電子郵件時，藉由本體部之操作鍵部ex366等操作所輸入之電子郵件的本文資料會透過操作輸入控制部ex362送出到主控制部ex360。主控制部ex360將本文資料以調變/解調部ex352進行頻譜擴散處理，並以傳送/接收部ex351施以數位類比轉換處理及頻率轉換處理後，透過天線ex350傳送至基地台ex110。接收電子郵件時，則對收到的資料進行大致相反的處理，並輸出至顯示部ex358。

在資料通訊模式時傳送影像、靜止圖像、或影像與聲音時，影像訊號處理部ex355將從攝像機部ex365供給之影像訊號以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，作為本發明其中一態樣之圖像編碼裝置)，並將經編碼之影像資料送出至多工/解多工部ex353。又，聲音訊號處理部ex354將以攝像機部ex365拍攝影像、靜止圖像時聲音輸入部ex356所收音之聲音訊號編碼，並將經編碼之聲音資料送出至多工/解多工部ex353。

多工/解多工部ex353將從影像訊號處理部ex355供給之經編碼影像資料與從聲音訊號處理部ex354供給之經編碼聲音資料以預定方式加以多工，並將結果所得之多工資料以調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在以傳送/接收部ex351施以數位類比轉換處理及頻率轉換處理後透過天線ex350加以傳送。

在資料通訊模式時接收連結於首頁等之動態圖像檔案之資料時、或接收附加有影像及/或聲音之電子郵件時，為了將透過天線ex350接收之多工資料解碼，多工/解多工部ex353會將多工資料解多工來分為影像資料之位元流與聲音資料之位元流，並透過同步匯流排ex370將經編碼之影像資料供給至影像訊號處理部ex355，且將經編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355利用與上述各實施形態所示之動態圖像編碼方法對應的動態圖像解碼方法解碼來將影像訊號解碼(即，作為本發明其中一態樣之圖像解碼裝置)，並透過LCD控制部ex359從顯示部ex358顯示例如連結於首頁之動態圖像檔案所含的影像、靜止圖像。又，聲音訊號處理部ex354會將聲音訊號解碼，並從聲音輸出部ex357輸出聲音。

又，上述行動電話ex114等終端與電視ex300相同地，除了具有編碼器/解碼器兩者之傳送接收型終端外，還有只有編碼器之傳送終端、只有解碼器之接收終端等3種安裝形式。再者，數位廣播用系統ex200已說明了接收、傳送影像資料中多工有音樂資料等的多工資料，但除了聲音資料外多工有與影像相關之文字資料等的資料亦可，且不是多工資料而是影像資料本身亦可。

如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法用於上述任一機器/系統，如此一來，可獲得上述各實施形態所說明之效果。

又，本發明不限於上述實施形態，在不脫離本發明範圍下可進行各種變形或修正。

(實施形態3)

藉由將上述各實施形態所示之動態圖像編碼方法或裝置、與依據MPEG-2、MPEG4-AVC、VC-1等不同規格之動態圖像編碼方法或裝置視需要來加以適當切換，亦可生成影像資料。

在此，生成各自依據不同規格之複數影像資料時，在解碼時，必須選擇對應各個規格之解碼方法。惟，由於無法識別解碼之影像資料是依據哪個規格，因此會產生無法選擇適當之解碼方法的課題。

為了解決該課題，乃將影像資料中多工有聲音資料等的多工資料構造成包含一顯示影像資料是依據哪個規格的識別資訊。以下說明包含藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料的多工資料之具體構成。多工資料為MPEG-2傳輸串流形式之數位串流。

圖29為顯示多工資料之構成的圖。如圖29所示，多工資料可藉由從視訊流、音訊流、演示圖形流(PG)、互動圖形流中多工1個以上而獲得。視訊流表示電影之主影像及副影像，音訊流(IG)表示電影之主聲音部分及與該主聲音混合之副聲音，演示圖形流表示電影之字幕。在此，主影像表示顯示於畫面之一般影像，副影像表示在主影像中以小畫面顯示之影像。又，互動圖形流表示於畫面上配置GUI零件而作成之對話畫面。視訊流係以上述各實施形態所示之動態圖像編碼方法或裝置、或依據習知MPEG-2、MPEG4-AVC、VC-1等規格之動態圖像編碼方法或裝置來編碼。音訊流係以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或LPCM等方式來編碼。

多工資料所含的各串流係以PID來識別。例如，用於電影之影像的視訊流分配有0x1011，音訊流分配有0x1100至0x111F，演示圖形分配有0x1200至0x121F，互動圖形流分配有0x1400至0x141F，用於電影之副影像的視訊流分配有0x1B00至0x1B1F，用於與主聲音混合之副聲音的音訊流分配有0x1A00至0x1A1F。

圖30為顯示多工資料是如何多工之示意圖。首先，將由複數視訊框構成之視訊流ex235、由複數音訊框構成之音訊流ex238分別轉換為PES封包列ex236及ex239，並轉換為TS封包ex237及ex240。同樣地將演示圖形流ex241及互動圖形ex244之資料分別轉換為PES封包列ex242及ex245，再轉換為TS封包ex243及ex246。多工資料ex247係將這些TS封包多工為1條串流而構成。

圖31更詳細地顯示PES封包列中是如何儲存視訊流。圖31之第1段顯示視訊流之視訊框列。第2段顯示PES封包列。如圖31之箭頭yy1、yy2、yy3、yy4所示，代表視訊流之複數Video Presentation Unit的I圖片、B圖片、P圖片會依照每一圖片分割，並儲存於PES封包之酬載。各PES封包具有PES標頭，PES標頭可儲存代表圖片顯示時刻之PTS(Presentation Time-Stamp)或代表圖片解碼時刻之DTS(Decoding Time-Stamp)。

圖32顯示最後寫入多工資料之TS封包的形式。TS封包為188Byte固定長之封包，由具有識別串流之PID等資訊的4Byte之TS標頭、及儲存資料的184Byte之TS酬載構成，上述PES封包會分割並儲存於TS酬載。以BD-ROM而言，TS封包會附加4Byte之TP_Extra_Header，構成192Byte之源封包而寫入至多工資料。TP_Extra_Header可記載ATS(Arrival_Time_Stamp)等資訊。ATS顯示該TS封包對解碼器之PID過濾器的傳送開始時刻。多工資料係如圖32下段所示排列源封包，從多工資料之前頭遞增之編號稱為SPN(源封包號碼)。

又，多工資料所含的TS封包中，除了影像/聲音/字幕等各串流以外，尚有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT顯示用於多工資料中之PMT的PID為何，PAT本身之PID係登錄為0。PMT具有多工資料中所含的影像/聲音/字幕等各串流之PID及與各PID對應之串流的屬性資訊，且具有與多工資料相關之各種描述符。描述符中有指示許可/不許可多工資料之複製的複製控制資訊等。PCR為了取得代表ATS之時間軸的ATC(Arrival Time Clock)與代表PTS/DTS之時間軸的STC(System Time Clock)之同步，具有與將PCR封包傳送至解碼器之ATS對應的STC時間之資訊。

圖33為詳細說明PMT之資料構造之圖。於PMT之前頭配置記載了包含於該PMT之資料長度等的PMT標頭。在PMT標頭之後，配置複數與多工資料相關之描述符。上述複製控制資訊等係作為描述符記載。於描述符之後配置複數與包含於多工資料之各串流相關的串流資訊。串流資訊由記載了串流類型、串流之PID、串流之屬性資訊(畫面更新率、寬高比等)之串流描述符構成，以識別串流之壓縮編解碼器等。串流描述符的數量與存在於多工資料之串流的數量相當。

記錄於記錄媒體等時，上述多工資料會與多工資料資訊檔案一起記錄。

如圖34所示，多工資料資訊檔案為多工資料之管理資訊，與多工資料1對1地對應，由多工資料資訊、串流屬性資訊與登錄圖構成。

如圖34所示，多工資料資訊由系統率、再生開始時刻、再生結束時刻構成。系統率顯示多工資料之傳送到後述系統目標解碼器之PID過濾器的最大傳送率。包含於多工資料中的ATS之間隔係設定為低於系統率。再生開始時刻為多工資料前頭之視訊框的PTS，再生結束時刻可設定為將多工資料末端之視訊框的PTS加上1訊框分的再生間隔。

如圖35所示，串流屬性資訊係將關於多工資料所含的各串流之屬性資訊登錄於每一PID。屬性資訊按照每一視訊流、音訊流、演示圖形流、互動圖形流而具有不同資訊。視訊流屬性資訊具有視訊流是以何種壓縮編解碼器壓縮、構成視訊流之各個圖片資料的解析度為何、寬高比為何、畫面更新率為何等資訊。音訊流屬性資訊具有音訊流是以何種壓縮編解碼器壓縮、音訊流所含的頻道數為何、對應於什麼語言、取樣頻率為何等資訊。這些資訊可用於播放器再生前之解碼器的初始化等。

本實施形態係利用上述多工資料中，包含於PMT之串流類型。又，記錄媒體記錄有多工資料時，則利用包含於多工資料資訊之視訊流屬性資訊。具體而言，上述各實施形態所示之動態圖像編碼方法或裝置中，係設置一對包含於PMT之串流類型、或視訊流屬性資訊設定固有資訊之步驟或機構，該固有資訊係顯示表示是由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料。藉由該構成，可識別由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料及依據其他規格之影像資料。

又，圖36顯示本實施形態之動態圖像解碼方法的步驟。步驟exS100中，從多工資料取得包含於PMT之串流類型、或包含於多工資料資訊之視訊流屬性資訊。接著，步驟exS101中，判斷是否顯示串流類型或視訊流屬性資訊為上述各實施形態所示之動態圖像編碼方法或裝置所生成之多工資料。接著，當判斷串流類型或視訊流屬性資訊為上述各實施形態所示之動態圖像編碼方法或裝置所生成者時，在步驟exS102中，利用上述各實施形態所示之動態圖像解碼方法來進行解碼。又，當顯示串流類型或視訊流屬性資訊為依據習知MPEG-2、MPEG4-AVC、VC-1等規格時，在步驟exS103中，利用依據習知規格之動態圖像解碼方法來進行解碼。

如此，藉由於串流類型或視訊流屬性資訊設定新的固有值，在解碼時，便可判斷是否可用上述各實施形態所示之動態圖像解碼方法或裝置來解碼。故，即使輸入了依據不同規格之多工資料時，亦可選擇適當之解碼方法或裝置，因此可在不產生錯誤下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置、或是動態圖像解碼方法或裝置，用於上述任一機器/系統。

(實施形態4)

上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可以積體電路之LSI來實現。舉例言之，圖37顯示單晶片化之LSIex500的構成。LSIex500具有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素透過匯流排ex510連接。電源電路部ex505在電源為開啟狀態時，對各部供給電力而啟動至可動作之狀態。

進行例如編碼處理時，LSIex500根據具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等的控制部ex501之控制，藉由AV I/Oex509從麥克風ex117或攝像機ex113等輸入AV訊號。輸入之AV訊號會暫時儲存於SDRAM等外部記憶體ex511。根據控制部ex501之控制，已儲存之資料會依照處理量或處理速度適當地分為複數次並送到訊號處理部ex507，在訊號處理部ex507進行聲音訊號之編碼及/或影像訊號之編碼。在此，影像訊號之編碼處理為上述各實施形態所說明之編碼處理。在訊號處理部ex507，進而視情況進行將已編碼之聲音資料與已編碼之影像資料多工之處理，從串流I/Oex506輸出至外部。該輸出之多工資料會傳送至基地台ex107，或寫入至記錄媒體ex215。而，多工時可暫時於緩衝器ex508儲存資料以進行同步。

而，上述已說明記憶體ex511為LSIex500之外部構成，但亦可為包含於LSIex500內部之構成。緩衝器ex508也不限於1個，亦可具有複數緩衝器。又，LSIex500可單晶片化，亦可複數晶片化。

又，上述中，控制部ex501具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為更具有CPU之構成。藉由於訊號處理部ex507之內部也設置CPU，可更提高處理速度。又，其他例子可為CPUex502具有訊號處理部ex507、或訊號處理部ex507之一部份的例如聲音訊號處理部之構成。此時，控制部ex501之構成為包含訊號處理部ex507、或具有其一部分之CPUex502。

而，在此雖為LSI，但根據積體度之差異，有時亦可稱為IC、系統LSI、超級LSI、終極LSI。

又，積體電路化之手法不限於LSI，亦可用專用電路或通用處理器來實現。亦可利用可在LSI製造後編程之FPGA(Field Programmable Gate Array)、或可再構築LSI內部之電路元件之連接或設定的可重組態處理器。

再者，若因半導體技術之進步或衍生之其他技術而出現替換LSI之積體電路技術，當然亦可利用該技術來進行功能塊之積體化。也有生物技術之應用等的可能性。

(實施形態5)

將上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料解碼時，相較於依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料解碼時，處理量會增加。故，在LSIex500，必須設定為較將依據習知規格之影像資料解碼時的CPUex502之驅動頻率高的驅動頻率。惟，若提高驅動頻率，會產生消耗電力增加的課題。

為了解決該課題，電視ex300、LSIex500等動態圖像解碼裝置係構造成識別影像資料是依據何種規格，並依據規格來切換驅動頻率。圖38顯示本實施形態之構成ex800。驅動頻率切換部ex803在影像資料是由上述各實施形態所示之動態圖像編碼方法或裝置所生成者時，會將驅動頻率設定的較高。且，對執行上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801，指示將影像資料解碼。另一方面，當影像資料為依據習知規格之影像資料時，相較於影像資料為上述各實施形態所示之動態圖像編碼方法或裝置所生成者時，會將驅動頻率設定的較低。且，對依據習知規格之解碼處理部ex802，指示將影像資料解碼。

更具體而言，驅動頻率切換部ex803係由圖37之CPUex502與驅動頻率控制部ex512構成。又，執行上述各實施形態所示之動態圖像解碼方法的解碼處理部ex801、及依據習知規格的解碼處理部ex802，相當於圖37之訊號處理部ex507。CPUex502可識別影像資料是依據何種規格。且，驅動頻率控制部ex512根據來自CPUex502之訊號來設定驅動頻率。又，訊號處理部ex507根據來自CPUex502之訊號來進行影像資料之解碼。在此，影像資料之識別可利用例如實施形態3所記載之識別資訊。識別資訊不限於實施形態3所記載者，只要是可識別影像資料是依據何種規格之資訊即可。例如，當可根據可識別影像資料是用於電視者、或是用於光碟者等之外部訊號來識別影像資料是依據何種規格時，亦可根據該外部訊號來進行識別。又，CPUex502之驅動頻率選擇可根據例如圖40之影像資料規格與驅動頻率對應之查找表來進行。將查找表預先儲存於緩衝器ex508或LSI之內部記憶體，並由CPUex502參考該查找表，藉此可選擇驅動頻率。

圖39顯示實施形態本實施形態之方法的步驟。首先，在步驟exS200，訊號處理部ex507從多工資料取得識別資訊。接著，在步驟exS201，CPUex502根據識別資訊來識別影像資料是否為上述各實施形態所示之編碼方法或裝置所生成者。影像資料為上述各實施形態所示之編碼方法或裝置所生成者時，在步驟exS202，CPUex502會將驅動頻率設定的較高的訊號送到驅動頻率控制部ex512。且，於驅動頻率控制部ex512，設定為較高的驅動頻率。另一方面，當顯示是依據習知MPEG-2、MPEG4-AVC、VC-1等規格的影像資料時，在步驟exS203，CPUex502會將驅動頻率設定的較低的訊號送到驅動頻率控制部ex512。且，於驅動頻率控制部ex512，設定為相較於影像資料為上述各實施形態所示之編碼方法或裝置所生成者時較低的驅動頻率。

再者，藉由與驅動頻率之切換連動地來變更施加於LSIex500或包含LSIex500之裝置的電壓，可更提高省電效果。例如，將驅動頻率設定的較低時，相較於將驅動頻率設定的較高的情形，可將施於LSIex500或包含LSIex500之裝置的電壓設定的較低。

又，驅動頻率之設定方法在解碼時之處理量大的情況下，可將驅動頻率設定的較高，而在解碼時之處理量小的情況下，則可將驅動頻率設定的較低，並不限於上述設定方法。例如，若將依據MPEG4-AVC規格之影像資料解碼的處理量，大於將上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料解碼的處理量時，可使驅動頻率之設定與上述情況相反。

再者，驅動頻率之設定方法不限於將驅動頻率設定的較低之構成。例如，識別資訊顯示是上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可將施加於LSIex500或包含LSIex500之裝置的電壓設定的較高，而當顯示是依據習知MPEG-2、MPEG4-AVC、VC-1 等規格之影像資料時，則將施於LSIex500或包含LSIex500之裝置的電壓設定的較低。又，舉例言之，當識別資訊顯示是上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，不使CPUex502之驅動停止，而當顯示是依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，由於處理上有餘裕，因此可使CPUex502之驅動暫時停止。即使當識別資訊顯示是上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，若處理上有餘裕，亦可使CPUex502之驅動暫時停止。此時，相較於顯示是依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，可將停止時間設定的較短。

如此，藉由按照影像資料所依據之規格來切換驅動頻率，可謀求省電化。又，以電池來驅動LSIex500或包含LSIex500之裝置時，隨著省電化，可增長電池之壽命。

(實施形態6)

有時會對電視或行動電話等上述機器/系統輸入依據不同規格之複數影像資料。如此，為了在輸入了依據不同規格之複數影像資料時亦可解碼，LSIex500之訊號處理部ex507必須對應複數規格。惟，若個別地使用對應各個規格之訊號處理部ex507，會產生LSIex500之電路規模變大，且成本增加之課題。

為了解決該課題，可構造成將用以執行上述各實施形態所示之動態圖像解碼方法的解碼處理部、與依據習知MPEG-2、MPEG4-AVC、VC-1等規格的解碼處理部一部份共有化。將該構成例顯示於圖41A之ex900。例如，上述各實施形態所示之動態圖像解碼方法、與依據MPEG4-AVC規格之動態圖像解碼方法在熵編碼、反量化、解塊/過濾、動態補償等處理上，處理內容為一部份共通。共通之處理內容可共有對應MPEG4-AVC規格之解碼處理部ex902，而不對應MPEG4-AVC規格之本發明其中一態樣所特有的其他處理內容則使用專用的解碼處理部ex901。解碼處理部之共有化亦可構造成共通之處理內容是共有用以執行上述各實施形態所示之動態圖像解碼方法的解碼處理部，而MPEG4-AVC規格所特有的處理內容則使用專用的解碼處理部。

又，將處理一部份共有化之其他例子顯示於圖41B之ex1000。該例中，構造成使用與本發明其中一態樣所特有的處理內容對應的專用解碼處理部ex1001、與其他習知規格所特有的處理內容對應的專用解碼處理部ex1002、以及與本發明其中一態樣之動態圖像解碼方法和其他習知規格之動態圖像解碼方法共通的處理內容對應的共用解碼處理部ex1003。在此，專用解碼處理部ex1001、ex1002不一定是特別針對本發明其中一態樣或其他習知規格所特有的處理內容者，而是可執行其他通用處理者亦可。又，本實施形態之構成亦可用LSIex500安裝。

如此，藉由對於本發明其中一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法上共通之處理內容共有解碼處理部，可縮小LSI之電路規模，且可降低成本。

產業上之可利用性

本發明可達到防止畫質劣化並使編碼效率充分提高之效果，可利用於例如儲存、傳送、通訊等各種用途。本發明可利用於電視、數位錄影機、車用導航、行動電話、數位相機、數位攝影機等高解析度之資訊顯示機器或攝像機器，利用價值極高。