TWI573437B - An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus - Google Patents

Description

圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置

本發明是有關於一種使用算術編碼之圖像編碼方法。

背景技術

關於使用算術編碼之圖像編碼方法，有非專利文獻1及非專利文獻2記載之技術。

先行技術文獻

【非專利文獻】

【非專利文獻1】ISO/IEC 14496-10 「MPEG-4 Part 10 Advanced Video Coding」

【非專利文獻2】Frank Bossen, 「Common test conditions and software reference configurations」 , JCTVC-H1100, Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th Meeting, San Jose, CA, USA, 1-10 February, 2012, http://phenix.it-sudparis.eu/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1100-v1.zip

發明概要

惟，當編碼之處理效率低時，便難以抑制編碼所產生之處理延遲。

故，本發明提供一種可用高處理效率來進行編碼之圖像編碼方法。

本發明其中一態樣之圖像編碼方法，包含有：上下文算術編碼步驟，藉由上下文算術編碼，將(i)第1資訊及(ii)第2資訊連續地編碼，前述上下文算術編碼為使用可變機率之算術編碼，(i)前述第1資訊顯示是否對圖像之第1區域進行表示像素值之偏移處理的SAO(樣本適應偏移)處理，(ii)前述第2資訊顯示是否於對前述第1區域之SAO處理，使用對與前述第1區域不同之區域之SAO處理之資訊；及，旁路算術編碼步驟，在前述第1資訊及前述第2資訊編碼後，藉由旁路算術編碼將其它資訊編碼，前述旁路算術編碼為使用固定機率之算術編碼，前述其它資訊為對前述第1區域之SAO處理之資訊、且與前述第1資訊、前述第2資訊皆不同之資訊。

而，這些整體性或具體之態樣，可用系統、裝置、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體來實現，亦可用系統、方法、積體電路、電腦程式及記錄媒體之任意組合來實現。

本發明之圖像編碼方法可用高處理效率來進行編碼。

100‧‧‧圖像編碼裝置

110‧‧‧控制部

120‧‧‧編碼部

121‧‧‧減法部

122‧‧‧頻率轉換部

123‧‧‧量化部

124‧‧‧熵編碼部

125‧‧‧反量化部

126‧‧‧逆頻率轉換部

127‧‧‧加法部

128‧‧‧環路過濾部

129‧‧‧記憶部

130‧‧‧面內預測部

131‧‧‧移動補償部

132‧‧‧移動檢測部

133‧‧‧切換器

141‧‧‧圖像

142‧‧‧編碼串流

151‧‧‧訊號取得部

152‧‧‧偏移資訊算出部

153‧‧‧偏移處理部

154‧‧‧偏移資訊編碼部

155‧‧‧訊號輸出部

200‧‧‧圖像解碼裝置

210‧‧‧控制部

220‧‧‧解碼部

224‧‧‧包含熵解碼部

225‧‧‧反量化部

226‧‧‧逆頻率轉換部

227‧‧‧加法部

228‧‧‧環路過濾部

229‧‧‧記憶部

230‧‧‧面內預測部

231‧‧‧移動補償部

233‧‧‧切換器

241‧‧‧圖像

242‧‧‧編碼串流

251‧‧‧訊號取得部

252‧‧‧偏移資訊解碼部

253‧‧‧偏移處理部

254‧‧‧訊號輸出部

300‧‧‧環路過濾部

301‧‧‧訊號取得部

302‧‧‧偏移資訊算出部

303‧‧‧偏移處理部

304‧‧‧訊號輸出部

305‧‧‧偏移資訊編碼部

306‧‧‧控制部

307‧‧‧偏移資訊編碼部

3071‧‧‧算術編碼控制部

3072‧‧‧上下文算術編碼部

3073‧‧‧旁路算術編碼部

400‧‧‧環路過濾部

401‧‧‧訊號取得部

402‧‧‧偏移資訊解碼部

403‧‧‧偏移處理部

404‧‧‧訊號輸出部

405‧‧‧控制部

406‧‧‧偏移資訊解碼部

4061‧‧‧算術解碼控制部

4062‧‧‧上下文算術解碼部

4063‧‧‧旁路算術解碼部

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex103‧‧‧串流伺服器

ex104‧‧‧電話網

ex106、ex107、ex108、ex109、ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113‧‧‧攝像機

ex114‧‧‧行動電話

ex115‧‧‧遊戲機

ex116‧‧‧攝像機

ex500‧‧‧LSI

ex200‧‧‧數位廣播用系統

ex201‧‧‧廣播台

ex202‧‧‧衛星

ex203‧‧‧纜線

ex204、ex205‧‧‧天線

ex210‧‧‧汽車

ex211‧‧‧汽車導航

ex212‧‧‧再生裝置

ex213‧‧‧螢幕

ex215‧‧‧記錄媒體(光碟等)

ex216‧‧‧記錄媒體(SD卡等)

ex217‧‧‧機上盒(STB)

ex218‧‧‧讀取器/記錄器

ex219‧‧‧螢幕

ex230‧‧‧資訊軌

ex231‧‧‧記錄塊

ex232‧‧‧內周區域

ex233‧‧‧資料記錄區域

ex234‧‧‧外周區域

ex300‧‧‧電視(接收機)

ex301‧‧‧調諧器

ex302‧‧‧調變/解調部

ex303‧‧‧多工/解多工部

ex304‧‧‧聲音訊號處理部

ex305‧‧‧影像訊號處理部

ex306‧‧‧訊號處理部

ex307‧‧‧揚聲器

ex308‧‧‧顯示部

ex309‧‧‧輸出部

ex310‧‧‧控制部

ex311‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex313‧‧‧橋接器

ex314‧‧‧插槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318、ex319、ex320、ex321‧‧‧緩衝器

ex350‧‧‧天線

ex351‧‧‧傳送/接收部

ex352‧‧‧調變/解調部

ex353‧‧‧多工/解多工部

ex354‧‧‧聲音訊號處理部

ex355‧‧‧影像訊號處理部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex358‧‧‧顯示部

ex359‧‧‧LCD控制部

ex360‧‧‧主控制部

ex361‧‧‧電源電路部

ex362‧‧‧操作輸入控制部

ex363‧‧‧攝像機介面部

ex364‧‧‧插槽部

ex365‧‧‧攝像機部

ex366‧‧‧操作鍵部

ex370‧‧‧匯流排

ex400‧‧‧資訊再生/記錄部

ex401‧‧‧光學頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex404‧‧‧緩衝器

ex405‧‧‧碟片馬達

ex406‧‧‧伺服控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex505‧‧‧電源電路部

ex506‧‧‧串流I/O

ex507‧‧‧訊號處理部

ex508‧‧‧緩衝器

ex509‧‧‧AV I/O

ex510‧‧‧匯流排

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex800‧‧‧實施形態7之構成

ex801‧‧‧本發明之解碼處理部

ex802‧‧‧依據習知規格之解碼處理部

ex803‧‧‧驅動頻率切換部

ex901‧‧‧本發明專用之解碼處理部

ex 902‧‧‧本發明及習知規格共有之解碼處理部

ex 1001‧‧‧本發明專用之解碼處理部

ex 1002‧‧‧習知規格專用之解碼處理部

ex 1003‧‧‧本發明及習知規格共有之解碼處理

圖1為顯示實施形態1之圖像編碼裝置之構成例的方塊圖。

圖2為顯示實施形態1之圖像解碼裝置之構成例的方塊圖。

圖3為顯示實施形態1之邊緣偏移例的示意圖。

圖4為顯示實施形態1之邊緣偏移類別的示意圖。

圖5為顯示實施形態1之邊緣偏移種類的示意圖。

圖6為顯示實施形態1之能帶偏移例的示意圖。

圖7為顯示實施形態1之能帶偏移類別的示意圖。

圖8為顯示實施形態1之能帶偏移之編碼對象資訊的示意圖。

圖9A為顯示實施形態1之區域分割順序例的示意圖。

圖9B為顯示實施形態1之區域分割結果例的示意圖。

圖10為顯示實施形態1之圖像編碼裝置中，環路過濾部之構成例的方塊圖。

圖11為顯示實施形態1之圖像解碼裝置中，環路過濾部之構成例的方塊圖。

圖12為顯示實施形態1之圖像編碼裝置中，環路過濾部之動作例的流程圖。

圖13為顯示實施形態1之圖像解碼裝置中，環路過濾 部之動作例的流程圖。

圖14為顯示對表示實施形態1之像素分類方法的索引號分配位元之分配例的示意圖。

圖15為顯示實施形態1之編碼串流例的示意圖。

圖16A為顯示實施形態1之APS內之語法(aps_sao_param)例的示意圖。

圖16B為顯示實施形態1之APS內之語法(sao_unit_vlc)例的示意圖。

圖16C為顯示實施形態1之APS內之語法(sao_offset_vlc)例的示意圖。

圖17A為顯示實施形態1之切片資料內之語法(slice_data)例的示意圖。

圖17B為顯示實施形態1之切片資料內之語法(sao_unit_cabac)例的示意圖。

圖17C為顯示實施形態1之切片資料內之語法(sao_offset_cabac)例的示意圖。

圖18為顯示共用實施形態1之偏移資訊之區域例的示意圖。

圖19為顯示實施形態1中，表示像素分類方法之索引號之編碼例的流程圖。

圖20為顯示實施形態1中，表示像素分類方法之索引號之解碼例的流程圖。

圖21為顯示實施形態2之圖像編碼裝置中，環路過濾部之構成例的方塊圖。

圖22為顯示實施形態2之圖像解碼裝置中，環路過濾部之構成例的方塊圖。

圖23為顯示實施形態2之圖像編碼裝置中，環路過濾部之動作例的流程圖。

圖24為顯示實施形態2之圖像解碼裝置中，環路過濾部之動作例的流程圖。

圖25為顯示實施形態2中，對表示像素分類方法之索引號分配位元之分配例的示意圖。

圖26為顯示實施形態2中，對表示像素分類方法之索引號分配位元之另一分配例的示意圖。

圖27A為顯示實施形態2之APS內之語法(sao_unit_vlc)例的示意圖。

圖27B為顯示實施形態2之APS內之語法(sao_offset_vlc)例的示意圖。

圖27C為顯示實施形態2中，對APS內之偏移資訊分配上下文索引之分配例的示意圖。

圖27D為顯示實施形態2中，APS內之偏移資訊之編碼例的流程圖。

圖27E為顯示實施形態2中，APS內之偏移資訊之解碼例的流程圖。

圖28A為顯示實施形態2之切片資料內之語法(sao_unit_cabac)例的示意圖。

圖28B為顯示實施形態2之切片資料內之語法(sao_offset_cabac)例的示意圖。

圖28C為顯示實施形態2中，對切片資料內之偏移資訊分配上下文索引之分配例的示意圖。

圖28D為顯示實施形態2中，切片資料內之偏移資訊之編碼例的流程圖。

圖28E為顯示實施形態2中，切片資料內之偏移資訊之解碼例的流程圖。

圖29為顯示實施形態2中，表示像素分類方法之索引號之編碼例的流程圖。

圖30為顯示實施形態2中，表示像素分類方法之索引號之解碼例的流程圖。

圖31A為顯示實施形態3中，對偏移資訊分配上下文索引之分配例的示意圖。

圖31B為顯示實施形態3之圖像編碼裝置及圖像解碼裝置之客觀性能之圖。

圖32為顯示實施形態3之偏移資訊編碼部之構成例的方塊圖。

圖33為顯示實施形態3之偏移資訊解碼部之構成例的方塊圖。

圖34為顯示實施形態3之偏移資訊編碼部之動作例的流程圖。

圖35為顯示實施形態3之偏移資訊解碼部之動作例的流程圖。

圖36為顯示實施形態3之編碼特徵之例子的流程圖。

圖37為顯示實施形態3之解碼特徵之例子的流程圖。

圖38係實現內容發佈服務之內容供給系統之全體構成圖。

圖39係數位廣播用系統之全體構成圖。

圖40係顯示電視構成例的方塊圖。

圖41係顯示對光碟之記錄媒體進行資訊讀寫之資訊再生/記錄部之構成例的方塊圖。

圖42係顯示光碟之記錄媒體之構造例的圖。

圖43A係顯示行動電話例之圖。

圖43B係顯示行動電話之構成例之方塊圖。

圖44係顯示多工資料構成之圖。

圖45係顯示各串流在多工資料如何多工之示意圖。

圖46係更詳細顯示PES封包列如何儲存視訊流之圖。

圖47係顯示多工資料之TS封包與源封包之構造之圖。

圖48係顯示PMT之資料構成之圖。

圖49係顯示多工資料資訊之內部構成之圖。

圖50係顯示串流屬性資訊之內部構成之圖。

圖51係顯示識別影像資料之步驟之圖。

圖52係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路構成例之方塊圖。

圖53係顯示切換驅動頻率之構成之圖。

圖54係顯示識別影像資料並切換驅動頻率之步驟之圖。

圖55係顯示使影像資料規格與驅動頻率對應之查找表之例子之圖。

圖56A係顯示共有訊號處理部之模組之構成例之圖。

圖56B係顯示共有訊號處理部之模組的其它構成例之圖。

用以實施發明之形態

(作為本發明基礎之見解)

本發明者對於「背景技術」欄所記載之使用算術編碼之圖像編碼方法發現了一課題。以下將具體說明。

與代表稱為H.26x之ITU-T規格、及稱為MPEG-x之ISO/IEC規格之圖像編碼方式相關之圖像編碼裝置，是將圖片分割為預定之單位，並以該單位進行編碼。舉例言之，H.264/MPEG-4 AVC方式(參考非專利文獻1)之圖像編碼裝置是以水平16像素及垂直16像素之稱為巨集區塊之單位來進行處理。

圖像編碼裝置在進行移動補償時，將巨集區塊分割為子區塊(最小為水平4像素及垂直4像素)。接著，圖像編碼裝置可使用每一子區塊不同之移動向量來進行移動補償，將原訊號與預測訊號之差分訊號加以頻率轉換，將差分訊號之資訊聚集於低頻率區域並量化，藉此壓縮資訊。

使用將差分訊號之資訊聚集於低頻率區域之DCT等正交轉換而以區塊單位將圖片編碼之方法中，已知區塊之邊界會看到所謂區塊變形之格子狀變形。圖像編碼裝置藉由解塊過濾處理，可減少區塊變形。

惟，如上述解塊過濾般只處理區塊邊界之方式， 很難減少區塊變形以外之編碼劣化。

故，本發明其中一態樣之圖像編碼方法可包含有：上下文算術編碼步驟，藉由上下文算術編碼，將(i)第1資訊及(ii)第2資訊連續地編碼，前述上下文算術編碼為使用可變機率之算術編碼，前述第1資訊顯示是否對圖像之第1區域進行表示像素值之偏移處理的SAO(樣本適應偏移)處理，前述第2資訊顯示是否於對前述第1區域之SAO處理使用對與前述第1區域不同之區域之SAO處理之資訊；及，旁路算術編碼步驟，在前述第1資訊及前述第2資訊編碼後，藉由旁路算術編碼將其它資訊編碼，前述旁路算術編碼為使用固定機率之算術編碼，前述其它資訊為對前述第1區域之SAO處理之資訊、且與前述第1資訊、前述第2資訊皆不同之資訊。

藉此，對於用以使畫質提高之SAO處理之資訊，連續地進行上下文算術編碼。換言之，可抑制上下文算術編碼及旁路算術編碼之頻繁切換，連續地進行同一種處理。故，處理效率會提高。

例如，前述旁路算術編碼步驟中，可將包含第3資訊與第4資訊之前述其它資訊編碼，前述第3資訊顯示對前述第1區域之SAO處理是依據邊緣進行之邊緣偏移處理或是依據像素值進行之能帶偏移處理，前述第4資訊顯示偏移值之絕對值。

藉此，在上下文算術編碼後，可用旁路算術編碼將各種資訊編碼。換言之，可集中進行同一種處理。故， 處理效率會提高。

又，例如，前述旁路算術編碼步驟中，可在對前述第1區域之SAO處理為能帶偏移處理時，將包含第5資訊與第6資訊之前述其它資訊編碼，前述第5資訊顯示前述偏移值之正負，前述第6資訊顯示前述偏移值之適用範圍。

藉此，在上下文算術編碼後，可視狀況進一步用旁路算術編碼將各種資訊編碼。故，處理效率會提高。

又，例如，前述上下文算術編碼步驟中，可將至少包含以下資訊其中一者之前述第2資訊編碼，即：顯示是否於對前述第1區域之SAO處理使用對與前述第1區域之右側鄰接之右區域的SAO處理之資訊，以及顯示是否於對前述第1區域之SAO處理使用對與前述第1區域之上側鄰接之上區域的SAO處理之資訊。

藉此，在連續地進行之上下文算術編碼中，可將顯示來自上或左之挪用的資訊適切地編碼。

又，本發明其中一態樣之圖像解碼方法可包含有：上下文算術解碼步驟，藉由上下文算術解碼，將(i)第1資訊及(ii)第2資訊連續地解碼，前述上下文算術解碼為使用可變機率之算術解碼，前述第1資訊顯示是否對圖像之第1區域進行表示像素值之偏移處理的SAO(樣本適應偏移)處理，前述第2資訊顯示是否於對前述第1區域之SAO處理使用對與前述第1區域不同之區域之SAO處理之資訊；及，旁路算術解碼步驟，在前述第1資訊及前述第2資訊解碼後，藉由旁路算術解碼將其它資訊解碼，前述旁路算術解碼為 使用固定機率之算術解碼，前述其它資訊為對前述第1區域之SAO處理的資訊、且與前述第1資訊和前述第2資訊皆不同的資訊。

藉此，對於用以使畫質提高之SAO處理之資訊，連續地進行上下文算術解碼。換言之，可抑制上下文算術解碼及旁路算術解碼之頻繁切換，連續地進行同一種處理。故，處理效率會提高。

例如，前述旁路算術解碼步驟中，可將包含第3資訊與第4資訊之前述其它資訊解碼，前述第3資訊顯示對前述第1區域之SAO處理是依據邊緣進行之邊緣偏移處理或是依據像素值進行之能帶偏移處理，前述第4資訊顯示偏移值之絕對值。

藉此，在上下文算術編碼後，可用旁路算術解碼將各種資訊解碼。換言之，可集中進行同一種處理。故，處理效率會提高。

又，例如，前述旁路算術解碼步驟中，可在對前述第1區域之SAO處理為能帶偏移處理時，將包含第5資訊與第6資訊之前述其它資訊解碼，前述第5資訊顯示前述偏移值之正負，前述第6資訊顯示前述偏移值之適用範圍。

藉此，在上下文算術解碼後，可視狀況進一步用旁路算術解碼將各種資訊解碼。故，處理效率會提高。

又，例如，前述上下文算術解碼步驟中，可將至少包含以下資訊其中一者之前述第2資訊解碼，即：顯示是否於對前述第1區域之SAO處理，使用對與前述第1區域之 右側鄰接之右區域的SAO處理之資訊，以及顯示是否於對前述第1區域之SAO處理，使用對與前述第1區域之上側鄰接之上區域的SAO處理之資訊。

藉此，在連續地進行之上下文算術解碼中，可將顯示來自上或左之挪用的資訊適切地解碼。

又，該等概括性或具體之態樣可用系統、裝置、積體電路、電腦程式或電腦可讀取之CD-ROM等非暫時性記錄媒體來實現，亦可用系統、裝置、方法、積體電路、電腦程式或記錄媒體之任意組合來實現。

以下，用圖式來詳細說明實施形態。而，以下說明之實施形態皆為顯示概括性或具體之例。以下實施形態所示之數值、形狀、材料、構成要件、構成要件之配置位置及連結形態、步驟、步驟之順序等皆為例子，用意並非限定本發明。又，以下實施形態之構成要件中，對於未記載於表示最上位概念之獨立請求項的構成要件，會以任意之構成要件來說明。

又，以下記載中，coding也有當做encoding之意思來使用之情形。

(實施形態1)

圖1顯示本實施形態之圖像編碼裝置之構成。圖1所示之圖像編碼裝置100具有控制部110及編碼部120。編碼部120包含減法部121、頻率轉換部122、量化部123、熵編碼部124、反量化部125、逆頻率轉換部126、加法部127、環路過濾部128、記憶部129、面內預測部130、移動補償部 131、移動檢測部132及切換器133。

編碼部120按照每一將圖像141編碼，生成編碼串流142。此時，編碼部120之減法部121從由圖像141之複數像素值構成之像素區塊，減去由預測圖像之複數像素值構成之像素區塊。頻率轉換部122將藉由減法所獲得之像素區塊轉換成由複數頻率係數構成之係數區塊。量化部123將藉由頻率轉換部122所獲得之係數區塊量化。

另一方面，移動檢測部132使用圖像141之像素區塊來檢測移動向量。移動補償部131使用記憶部129之參考圖像、及藉由移動檢測部132所檢測出之移動向量來進行面間預測(間預測)。面內預測部130依照面內預測模式，使用加法部127所獲得之像素區塊來進行面內預測(內預測)。切換器133將藉由面內預測或面間預測所獲得之預測圖像之像素區塊輸入減法部121及加法部127。

接著，熵編碼部124對區塊之分割資訊，預測之種類、移動向量、預測模式(面內預測模式)、量化參數、及量化之係數區塊等施以熵編碼，藉此生成編碼串流142。

又，反量化部125將已量化之係數區塊反量化。接著，逆頻率轉換部126將已反量化之係數區塊轉換為像素區塊。接著，加法部127於藉由逆頻率轉換部126所獲得之像素區塊，加上預測圖像之像素區塊。環路過濾部128根據加法部127所得之像素區塊來抑制變形，並將像素區塊作為參考圖像儲存於記憶部129。

又，控制部110控制編碼部120。

圖像編碼裝置100藉由上述動作將圖像141編碼。接著，圖像編碼裝置100藉由頻率轉換、量化、面內預測、面間預測、熵編碼及環路過濾等各種處理，使編碼串流142之資料量減少。

圖2顯示與圖1所示之圖像編碼裝置100對應之圖像解碼裝置200之構成。圖2所示之圖像解碼裝置200具有控制部210及解碼部220。解碼部220包含熵解碼部224、反量化部225、逆頻率轉換部226、加法部227、環路過濾部228、記憶部229、面內預測部230、移動補償部231及切換器233。

解碼部220將包含於編碼串流242之圖像241按照每一區塊解碼。此時，解碼部220之熵解碼部224對編碼串流242施以熵解碼，藉此取得區塊之分割資訊、預測種類、移動向量、面內預測模式、量化參數、及已量化之係數區塊等。

且，控制部210控制解碼部220之動作。

解碼部220之反量化部225將已量化之係數區塊反量化。逆頻率轉換部226將已反量化之係數區塊轉換為像素區塊。

加法部227於藉由逆頻率轉換部226所獲得之像素區塊，加上預測圖像之像素區塊。環路過濾部228根據加法部227所獲得之像素區塊來抑制變形。接著，環路過濾部228將由像素區塊構成之參考圖像儲存於記憶部229。又，環路過濾部228輸出由像素區塊構成之圖像241。

當預測種類為面內預測時，面內預測部230依照 面內預測模式，使用加法部227所獲得之像素區塊來進行面內預測。當預測種類為面間預測時，移動補償部231使用移動向量及記憶部229之參考圖像來進行面間預測。切換器233將面內預測或面間預測所獲得之預測圖像之像素區塊輸入加法部227。

圖像解碼裝置200如上述般藉由與圖像編碼裝置100對應之動作，將包含於編碼串流242之圖像241按照每一區塊解碼。

在此，更詳細地說明環路過濾處理。環路過濾處理是用以降低重組訊號之編碼劣化的處理，在H.264/MPEG-4 AVC方式(參考非專利文獻1)中，會進行減少在巨集區塊邊界發生之區塊狀變形的解塊過濾處理。

惟，對於巨集區塊內產生之編碼劣化，解塊過濾處理並無法解決。故，在本實施形態，會進行用以降低編碼劣化之偏移處理。偏移處理藉由於重組訊號之處理對象區塊內所含的像素加上偏移值，可減輕相對於原訊號之變形。

又，偏移處理將處理對象區塊內之像素分類於複數類別，並於每一類別使用共通之偏移值。像素分類方法有邊緣偏移之像素分類方法與能帶偏移之像素分類方法，邊緣偏移之像素分類方法是藉由分類對象像素與其鄰接像素之比較而進行，能帶偏移之像素分類方法則是藉由分類對象像素之像素值而進行。邊緣偏移為依照邊緣進行之偏移，能帶偏移是依照像素值進行之偏移。

以下，有時將使用邊緣偏移之像素分類方法記載為像素分類方法是邊緣偏移，或是於像素分類方法使用邊緣偏移。又，同樣地，有時將使用能帶偏移之像素分類方法記載為像素分類方法是能帶偏移，或是於像素分類方法使用能帶偏移。

圖3為顯示邊緣偏移之像素分類方法例的示意圖。在邊緣偏移，藉由分類對象像素c與其左右之鄰接像素c1，c2之大小關係來進行分類。

圖4為顯示藉由邊緣偏移將處理對象區塊分類為5個類別之例子的示意圖。例如，當c的像素值大於c1的像素值，而與c2的像素值相等時，對象像素會分類為類別3，加上分配於類別3之偏移值Offset[3]。

又，如圖5所示，在邊緣偏移，與分類對象像素比較之像素為左右鄰接像素(EO(0))、上下鄰接像素(EO(1))、斜向鄰接像素(EO(2)或EO(3))、或是該等之組合(EO(4)或EO(5))等。

圖6為顯示能帶偏移之像素分類方法例的示意圖。在此，處理對象像素值之可取得灰階是均等地M分割。M為例如32。分割之灰階區別會成為類別。處理對象像素會分類為包含其像素值之類別。

圖7為顯示藉由能帶偏移將處理對象區塊分類為16級之例子的示意圖。例如，當c的像素值為大於R9未滿R10時，處理對象像素會分類為類別9，加上分配於類別9之偏移值Offset[9]。

又，不需要對全部的類別分配偏移值，如圖8所示，圖像編碼裝置100可只將偏移效果高的類別的偏移值編碼。此時，圖像編碼裝置100也會將表示已編碼之偏移值之類別的類別索引號一起編碼。

又，如圖9A所示，SAO(樣本適應偏移：Sample Adaptive Offset)是對藉由階層地分割區塊所得的處理對象區域單位決定最佳像素分類方法及偏移值。分割模式的例子顯示於圖9B。

圖10為顯示本實施形態中，圖像編碼裝置100之環路過濾部128之構成例的方塊圖。

環路過濾部128包含訊號取得部151、偏移資訊算出部152、偏移處理部153、偏移資訊編碼部154、及訊號輸出部155。

訊號取得部151取得已重組之處理對象區域之像素訊號。

偏移資訊算出部152算出用於偏移處理之分割模式、像素分類方法及偏移值等偏移資訊。

偏移處理部153使用偏移資訊將處理對象區域內之像素分類為類別，並按照每一類別進行偏移處理。

偏移資訊編碼部154將偏移資訊輸出至圖1所示之熵編碼部124。而，偏移資訊編碼部154亦可將偏移資訊編碼。又，偏移資訊編碼部154可包含於熵編碼部124。

訊號輸出部155輸出已進行偏移處理之處理對象區域之像素訊號。

圖11為顯示本實施形態中，圖像解碼裝置200之環路過濾部228之構成例的方塊圖。

環路過濾部228包含訊號取得部251、偏移資訊解碼部252、偏移處理部253、及訊號輸出部254。

訊號取得部251取得已重組之處理對象區域之像素訊號。

偏移資訊解碼部252取得用於偏移處理之分割模式、像素分類方法及偏移值等偏移資訊。而，偏移資訊解碼部252亦可將偏移資訊解碼。又，偏移資訊解碼部252亦可包含於熵解碼部224。

偏移處理部253使用偏移資訊將處理對象區域內之像素分類為類別，並按照每一類別進行偏移處理。

訊號輸出部254輸出已進行偏移處理之處理對象區域之像素訊號。

圖12為主要顯示圖1所示之圖像編碼裝置100中，圖10所示之環路過濾部128之動作的流程圖。

首先，訊號取得部151從加法部127取得已重組之處理對象區域之像素訊號(S151)。接著，偏移資訊算出部152算出用於偏移處理之分割模式、像素分類方法及偏移值等偏移資訊(S152)。接著，偏移處理部153根據偏移資訊將區域分割，將分割區域之像素分類為類別，並按照每一類別加上偏移值(S153)。

接著，偏移資訊編碼部154將分割模式、像素分類方法、類別索引號及偏移值等偏移資訊輸出至熵編碼部 124。熵編碼部124將偏移資訊編碼，並將所編碼之偏移資訊插入於編碼串流(S154)。而，偏移資訊編碼部154可將偏移資訊編碼，並將所編碼之偏移資訊插入於編碼串流。

接著，訊號輸出部155將已偏移之處理對象區域之像素訊號輸出至記憶部129(S155)。

圖13為主要顯示圖2所示之圖像解碼裝置200中，圖11所示之環路過濾部228之動作的流程圖。

首先，訊號取得部251從加法部227取得已重組之處理對象區域之像素訊號(S251)。

接著，熵解碼部224從編碼串流將分割模式、像素分類方法、類別索引號及偏移值等偏移資訊解碼，偏移資訊解碼部252取得已解碼之偏移資訊(S252)。而，偏移資訊解碼部252亦可從編碼串流解碼偏移資訊。

接著，偏移處理部253根據偏移資訊將區域分割，將分割區域之像素分類於類別，並按照每一類別加上偏移值(S253)。接著，訊號輸出部254將已偏移之處理對象區域之像素訊號輸出至記憶部229(S254)。

在此，更詳細地說明偏移資訊編碼部154及偏移資訊解碼部252之偏移資訊編碼及解碼。舉例言之，偏移處理之像素分類方法中，有邊緣偏移之EO(0)、EO(1)、EO(2)及EO(3)、能帶偏移之BO(0)等5種類。

將表示上述各像素分類方法之索引號之分割例顯示於圖14。圖14中，將索引號二值化，以使小的值為小的位元長，大的值為大的位元長，且最大位元長指定為5位 元。惟，分配方法不限於此。例如，亦可不指定最大位元長，而分配位元使全部的索引號最後端為0。

又，表示對處理對象區塊不進行偏移處理之資訊是分配於索引號之0號。

實施形態1之圖像編碼裝置100藉由將動態圖像編碼來生成編碼串流。如圖15所示，編碼串流包含SPS(Sequence Parameter Set(序列參數組))及PPS(Picture Parameter Set(圖片參數組))等標頭部分、以及代表已編碼之圖像資料的圖片資料。

圖片資料更包含切片標頭(SH)與切片資料。切片資料包含切片所含的已編碼之圖像資料。切片資料更包含區塊標頭(BH)與區塊資料。區塊資料包含區塊所含的已編碼之圖像資料。

又，編碼串流包含APS(Adaptation Parameter Set(適應參數組))，APS儲存了與上述不同的1個或複數個切片使用之參數。APS分配有索引號aps_idx，圖像編碼裝置100可將用於叫出要使用之APS的索引號aps_idx插入切片標頭。

偏移資訊在偏移資訊編碼部154(或熵編碼部124)被編碼，並插入於SPS、PPS、SH、切片資料、BH、區塊資料及APS的其中之一。又，偏移資訊在偏移資訊解碼部252(或熵解碼部224)，從SPS、PPS、SH、切片資料、BH、區塊資料及APS的其中之一被取得並解碼。

圖16A、圖16B及圖16C顯示將偏移資訊插入於 APS的例子。圖像編碼裝置100可將切片內的所有區塊之偏移資訊一次插入於APS，圖像解碼裝置200可從APS一次取得偏移資訊。

又，圖17A、圖17B及圖17C顯示將偏移資訊插入於切片資料的例子。圖像編碼裝置100可將偏移資訊插入於切片資料之區塊單位，圖像解碼裝置200可於切片資料之區塊單位取得偏移資訊。

本實施形態中，如圖18所示，圖像編碼裝置100(圖像解碼裝置200)可在複數處理對象區域共用偏移資訊。圖18之實線為偏移處理之處理對象區域劃分之邊界，虛線為使用共通之偏移資訊之區域劃分之邊界。在此，圖像編碼裝置100藉由不對編碼串流插入表示偏移值等的偏移資訊，而是插入表示共用偏移值等的資訊，可抑制因偏移處理造成之位元量增加。

例如，圖像編碼裝置100可將如圖16A之sao_one_luma_unit_flag、sao_one_cr_unit_flag及sao_one_cb_unit_flag般表示在切片內的所有區塊共用偏移資訊之旗標編碼。又，圖像編碼裝置100亦可將如圖16A之sao_repeat_row_flag般表示從上一條線複製1線分之偏移資訊之旗標編碼。

又，圖像編碼裝置100亦可將如圖16B之saoRun及sao_run_diff般表示偏移資訊之處理對象區域數量的參數編碼。又，圖像編碼裝置100亦可將如圖16B及圖17B般表示從左側或上側區域複製偏移資訊之sao_merge_left_flag 或sao_merge_up_flag編碼。

圖19為顯示偏移資訊編碼部154將偏移資訊中表示像素分類方法之索引號編碼之動作的流程圖。

首先，偏移資訊編碼部154判定是否已進行偏移處理(S1541)。偏移資訊算出部152算出分割模式、像素分類方法、類別索引號及偏移值等偏移資訊。偏移資訊算出部152在偏移資訊所需之位元量大時，判定對於編碼劣化之補正量，不進行偏移處理。此時，偏移處理部153不進行偏移處理。

在此，偏移資訊編碼部154從偏移資訊算出部152或偏移處理部153取得與是否已進行偏移處理有關之資訊。未進行偏移處理時(S1541為No)，偏移資訊編碼部154將表示像素分類方法之索引號編碼為0(S1542)。

已進行偏移處理時(S1541為Yes)，偏移資訊編碼部154判定像素分類方法是否為邊緣偏移EO(0)(S1543)。像素分類方法為邊緣偏移EO(0)時(S1543為Yes)，偏移資訊編碼部154將表示像素分類方法之索引號編碼為1(S1544)。

像素分類方法不是邊緣偏移EO(0)時(S1543為No)，偏移資訊編碼部154判定像素分類方法是否為邊緣偏移EO(1)(S1545)。像素分類方法為邊緣偏移EO(1)時(S1545為Yes)，偏移資訊編碼部154將表示像素分類方法之索引號編碼為2(S1546)。

像素分類方法不是邊緣偏移EO(1)時(S1545為No)，偏移資訊編碼部154判定像素分類方法是否為邊緣偏 移EO(2)(S1547)。像素分類方法為邊緣偏移EO(2)時(S1547為Yes)，偏移資訊編碼部154將表示像素分類方法之索引號編碼為3(S1548)。

像素分類方法不是邊緣偏移EO(2)時(S1547為No)，偏移資訊編碼部154判定像素分類方法是否為邊緣偏移EO(3)(S1549)。像素分類方法為邊緣偏移EO(3)時(S1549為Yes)，偏移資訊編碼部154將表示像素分類方法之索引號編碼為4(S1550)。

像素分類方法不是邊緣偏移EO(3)時(S1549為No)，偏移資訊編碼部154將表示像素分類方法之索引號編碼為5(S1551)。

圖20為顯示偏移資訊解碼部252將偏移資訊中表示像素分類方法之索引號解碼之動作、及移處理部253進行偏移處理之動作的流程圖。

首先，偏移處理部253判定偏移資訊解碼部252所解碼之索引號是否為0(S2521)。索引號為0時(S2521為Yes)，偏移處理部253不進行偏移處理(S2522)。

索引號不是0時(S2521為No)，偏移處理部253判定偏移資訊解碼部252所解碼之索引號是否為1(S2523)。索引號為1時(S2523為Yes)，偏移處理部253進行邊緣偏移EO(0)(S2524)。

索引號不是1時(S2523為No)，偏移處理部253判定偏移資訊解碼部252所解碼之索引號是否為2(S2525)。索引號為2時(S2525為Yes)，偏移處理部253進行邊緣偏移 EO(1)(S2526)。

索引號不是2時(S2525為No)，偏移處理部253判定偏移資訊解碼部252所解碼之索引號是否為3(S2527)。索引號為3時(S2527為Yes)，偏移處理部253進行邊緣偏移EO(2)(S2528)。

索引號不是3時(S2527為No)，偏移處理部253判定偏移資訊解碼部252所解碼之索引號是否為4(S2529)。索引號為4時(S2529為Yes)，偏移處理部253進行邊緣偏移EO(3)(S2530)。

索引號不是4時(S2529為No)，偏移處理部253進行能帶偏移BO(0)(S2531)。

藉由以上步驟，圖像編碼裝置100及圖像解碼裝置200於已重組之圖像訊號加上用於補正原訊號與已重組之圖像訊號之差的偏移值。藉此，可生成接近原訊號之重組訊號。

(實施形態2)

在實施形態1，可在複數區域共用偏移資訊。惟，考慮到低處理延遲或低記憶體量，共用對象區域會限定於附近區域。例如，若將共用對象區域限定於只有與左側和上側鄰接之區域，可降低處理延遲。又，若將共用對象區域限定於只有與左側鄰接之區域，便可抑制用於儲存已處理區域之偏移資訊的記憶體量。

另一方面，因共用對象區域之限定，會難以在大區域共用偏移資訊。故，偏移資訊本身之編碼頻率會提高， 使位元量增加。在此，如圖16C或圖17C所示，能帶偏移是將能帶偏移編碼開始類別sao_band_position編碼來作為參數。故，位元量較邊緣偏移大。故，從位元量增加之觀點來看，使用邊緣偏移會較有利。

因此，本實施形態之圖像編碼裝置為了改善能帶偏移相對於邊緣偏移之不利，會將能帶偏移使用時所需的位元量減少。而，能帶偏移編碼開始類別sao_band_position為表示偏移值之適用範圍的資訊例。

以下，說明本實施形態之圖像編碼裝置、以及與圖像編碼裝置對應之圖像解碼裝置。

圖21為顯示本實施形態之圖像編碼裝置之環路過濾部構成的方塊圖。本實施形態之圖像編碼裝置的其它構成與圖1所示之圖像編碼裝置100之構成相同。圖22為顯示本實施形態之圖像解碼裝置之環路過濾部構成的方塊圖。本實施形態之圖像解碼裝置的其它構成與圖2所示之圖像解碼裝置200之構成相同。

圖23為顯示圖21所示之環路過濾部300(圖像編碼裝置之環路過濾部)之動作的流程圖。圖24為顯示圖22所示之環路過濾部400(圖像解碼裝置之環路過濾部)之動作的流程圖。

首先，說明圖21所示之環路過濾部300(圖像編碼裝置之環路過濾部)之構成及動作。環路過濾部300具有訊號取得部301、偏移資訊算出部302、偏移處理部303、訊號輸出部304、偏移資訊編碼部305及控制部306。省略與實施 形態1重複之部分的說明，針對不同點，也就是圖21之控制部306、圖21之偏移資訊編碼部305、及圖23之步驟S304進行說明。

控制部306在像素分類方法為能帶偏移時，控制偏移資訊編碼部305，使能帶偏移之偏移資訊之位元量變小。

偏移資訊編碼部305進行編碼，使表示像素分類方法為能帶偏移之索引號的數值變小。

圖23之步驟S304中，偏移資訊編碼部305對像素分類方法分配索引號，將偏移資訊編碼。此時，偏移資訊編碼部305會分配索引號，使表示能帶偏移BO(0)之索引號小於4個邊緣偏移EO(0)、EO(1)、EO(2)及EO(3)。接著，偏移資訊編碼部305將已編碼之偏移資訊插入於編碼串流。

接著，說明圖22所示之環路過濾部400(圖像解碼裝置之環路過濾部)之構成及動作。環路過濾部400具有訊號取得部401、偏移資訊解碼部402、偏移處理部403、訊號輸出部404及控制部405。省略與實施形態1重複之部分的說明，針對不同點，也就是圖22之控制部405、圖22之偏移資訊解碼部402、及圖24之步驟S402進行說明。

控制部405在像素分類方法為能帶偏移時，控制偏移資訊解碼部402，用小位元量將能帶偏移之偏移資訊解碼。

偏移資訊解碼部402將數值小的索引號解碼為表示像素分類方法為能帶偏移之索引號。

圖24之步驟S402中，偏移資訊解碼部402對像素分類方法分配索引號，將偏移資訊解碼。此時，偏移資訊解碼部402分配索引號，使表示能帶偏移BO(0)之索引號小於4個邊緣偏移EO(0)、EO(1)、EO(2)及EO(3)。

在此，針對偏移資訊編碼部305及偏移資訊解碼部402之偏移資訊之編碼及解碼更詳細地說明。偏移處理之像素分類方法與實施形態1相同地，可採用邊緣偏移EO(0)、EO(1)、EO(2)與EO(3)、以及能帶偏移BO(0)。此時，與表示像素分類方法之索引號對應的最小位元量與最大位元量之差，除了不進行偏移處理時的索引號0外，為3位元。

在實施形態1，如圖14所示，對能帶偏移分配最大位元量。能帶偏移之類別數為32時，包含sao_band_position最大為8位元及最小為5位元之差，會在能帶偏移與邊緣偏移之間產生。

因此，在本實施形態，如圖25所示對表示能帶偏移之索引號，分配小於邊緣偏移之位元。藉此，能帶偏移與邊緣偏移之位元量之差，最大為4位元且最小為2位元，可改善能帶偏移相對於邊緣偏移之不利。

而，如圖26所示，偏移處理ON/OFF旗標(偏移處理旗標)亦可作為sao_on_flag，從表示像素分類方法之索引號sao_type_idx獨立。

圖26中，將能帶偏移分配於索引號之0號。且，將索引號二值化，使小的值為小的位元長，大的值為大的位元長，最大位元長指定為4位元。惟，分配方法不限於此。 例如，亦可不指定最大位元長而分配位元使全部的索引號最後端為0。以下，以圖26之位元分配為前提進行說明。

圖27A及圖27B顯示將偏移資訊插入於APS之例子。從表示像素分類方法之索引獨立的偏移處理ON/OFF旗標sao_on_flag，是新設於圖27A之sao_unit_vlc內。又，在圖27B之sao_offset_vlc內的sao_type_idx，對能帶偏移分配最小位元。

圖27C為顯示APS內之偏移資訊之上下文例的圖。圖27D為顯示APS內之偏移資訊之編碼例的流程圖。圖27E為顯示APS內之偏移資訊之解碼例的流程圖。

又，圖28A及圖28B顯示將偏移資訊插入於切片資料之例子。圖28A之sao_unit_cabac內新設有偏移處理ON/OFF旗標sao_on_flag。又，在圖28B之sao_offset_cabac內之sao_type_idx，對能帶偏移分配最小位元。

圖28C為顯示切片資料內之偏移資訊之上下文例的示意圖。圖28D為顯示切片資料內之偏移資訊之編碼例的流程圖。圖28E為顯示切片資料內之偏移資訊之解碼例的流程圖。

圖29為顯示偏移資訊編碼部305將偏移資訊中表示像素分類方法之索引號編碼之動作的流程圖。

首先，偏移資訊編碼部305判定是否已進行偏移處理(S3051)。偏移資訊算出部302算出分割模式、像素分類方法、類別索引號及偏移值等偏移資訊。偏移資訊算出部302在偏移資訊所需之位元量變大時，判斷對於編碼劣化 之補正量，不進行偏移處理。此時，偏移處理部303不進行偏移處理。

在此，偏移資訊編碼部305從偏移資訊算出部302或偏移處理部303取得與是否已進行偏移處理相關的資訊。當未進行偏移處理時(S3051為No)，偏移資訊編碼部305將偏移處理ON/OFF旗標編碼為0(S3052)。

已進行偏移處理時(S3051為Yes)，偏移資訊編碼部305將偏移處理ON/OFF旗標編碼為1(S3053)。接著，偏移資訊編碼部305判定像素分類方法是否為能帶偏移BO(0)(S3054)。

像素分類方法為能帶偏移BO(0)時(S3054為Yes)，偏移資訊編碼部305將表示像素分類方法之索引號編碼為0(S3055)。像素分類方法不是能帶偏移BO(0)時(S3054為No)，偏移資訊編碼部305判定像素分類方法是否為邊緣偏移EO(0)(S3056)。

像素分類方法為邊緣偏移EO(0)時(S3056為Yes)，偏移資訊編碼部305將表示像素分類方法之索引號編碼為1(S3057)。像素分類方法不是邊緣偏移EO(0)時(S3056為No)，偏移資訊編碼部305判定像素分類方法是否為邊緣偏移EO(1)(S3058)。

像素分類方法為邊緣偏移EO(1)時(S3058為Yes)，偏移資訊編碼部305將表示像素分類方法之索引編碼為2(S3059)。像素分類方法不是邊緣偏移EO(1)時(S3058為No)，偏移資訊編碼部305判定像素分類方法是否為邊緣偏移 EO(2)(S3060)。

像素分類方法為邊緣偏移EO(2)時(S3060為Yes)，偏移資訊編碼部305將表示像素分類方法之索引號編碼為3(S3061)。像素分類方法不是邊緣偏移EO(2)時(S3060為No)，偏移資訊編碼部305將表示像素分類方法之索引號編碼為4(S3062)。

圖30為顯示偏移資訊解碼部402將偏移資訊中表示像素分類方法之索引號解碼之動作、及偏移處理部403進行偏移處理之動作的流程圖。

首先，偏移處理部403判定偏移資訊解碼部402所解碼之偏移處理ON/OFF旗標是否為0(S4021)。偏移處理ON/OFF旗標為0時(S4021為Yes)，偏移處理部403不進行偏移處理(S4022)。

偏移處理ON/OFF旗標不是0時(S4021為No)，偏移資訊解碼部402將索引號解碼(S4023)。接著，偏移處理部403判定偏移資訊解碼部402所解碼之索引號是否為0(S4024)。

索引號為0時(S4024為Yes)，偏移處理部403進行能帶偏移BO(0)(S4025)。索引號不是0時(S4024為No)，偏移處理部403判定偏移資訊解碼部402所解碼之索引號是否為1(S4026)。

索引號為1時(S4026為Yes)，偏移處理部403進行邊緣偏移EO(0)(S4027)。索引號不是1時(S4026為No)，偏移處理部403判定偏移資訊解碼部402所解碼之索引號是否為 2(S4028)。

索引號為2時(S4028為Yes)，偏移處理部403進行邊緣偏移EO(1)(S4029)。索引號不是2時(S4028為No)，偏移處理部403判定偏移資訊解碼部402所解碼之索引號是否為3(S4030)。

索引號為3時(S4030為Yes)，偏移處理部403進行邊緣偏移EO(2)(S4031)。索引號不是3時(S4030為No)，偏移處理部403進行邊緣偏移EO(3)(S4032)。

藉由以上步驟，圖像編碼裝置及圖像解碼裝置可將能帶偏移與邊緣偏移之偏移資訊之編碼所需的位元量之差分減少。藉此，圖像編碼裝置及圖像解碼裝置可對每一處理對象區域進行適切之偏移處理。故，編碼效率及主觀畫質會提高。

而，圖像編碼裝置及圖像解碼裝置對亮度訊號進行偏移處理時，亦可對邊緣偏移之索引號分配小的位元量。且，圖像編碼裝置及圖像解碼裝置對色差訊號進行偏移處理時，亦可對能帶偏移之索引號分配小的位元量。藉此，容易使用適合處理之訊號之特徵的像素分類方法。故，編碼效率及主觀畫質會進一步提高。

又，圖像編碼裝置及圖像解碼裝置可參考頻率轉換係數，在低頻成分小的處理對象區域，對邊緣偏移之索引號分配小的位元量。且，圖像編碼裝置及圖像解碼裝置可在低頻成分大的處理對象區域，對能帶偏移之索引號分配小的位元量。藉此，容易使用適合處理之訊號之特徵的 像素分類方法。故，編碼效率及主觀畫質會進一步提高。

又，上述低頻成分多寡之判定可使用臨界值，亦可將該臨界值編碼。

在此，偏移資訊編碼部305及偏移資訊解碼部402中，進行偏移資訊之編碼及解碼的方法是針對算術編碼進行說明。在算術編碼，圖像編碼裝置首先將編碼對象訊號從多值訊號轉換為二值訊號(bin、0或1之訊號)(二值化)，並將二值訊號算術編碼來生成碼列。算術編碼中，有使用適應性符號產生機率來算術編碼之上下文算術編碼(上下文適應算術編碼)。

上下文算術編碼中，圖像編碼裝置按照每一編碼對象之訊號選擇上下文，並對應上下文來特定出符號產生機率。具體而言，上下文算術編碼中，圖像編碼裝置先載入上下文，並根據與該上下文對應之符號產生機率來進行對象訊號之算術編碼。且，圖像編碼裝置依據所編碼之對象訊號之值將與上下文對應之符號產生機率加以更新。

在亮度訊號、色差訊號Cb及色差訊號Cr，偏移處理ON/OFF旗標sao_on_flag之編碼可使用共通之上下文，亦可如圖27C或圖28C般在各個訊號切換上下文。

圖28D為顯示偏移資訊編碼部305將偏移處理ON/OFF旗標sao_on_flag編碼並插入於切片資料時使用3個上下文之例子的流程圖。

首先，偏移資訊編碼部305判定處理對象訊號是否為亮度訊號(S3041)。偏移資訊編碼部305在亮度訊號之判 定使用圖28A所示之cIdx。在此，當cIdx=0時，處理對象訊號為亮度訊號。

處理對象訊號為亮度訊號時(S3041為Yes)，偏移資訊編碼部305選擇上下文1並載入(S3042)。處理對象訊號不是亮度訊號時(S3041為No)，偏移資訊編碼部305判定處理對象訊號是否為色差訊號Cb(S3043)。偏移資訊編碼部305在色差訊號Cb之判定與亮度訊號之判定(S3041)同樣地，使用cIdx。在此，當cIdx=1時，處理對象訊號為色差訊號Cb。

處理對象訊號為色差訊號Cb時(S3043為Yes)，偏移資訊編碼部305選擇上下文2並載入(S3044)。處理對象訊號不是色差訊號Cb時(S3043為No)，偏移資訊編碼部305選擇上下文3並載入(S3045)。

接著，偏移資訊編碼部305使用所選擇並載入之上下文，將偏移處理ON/OFF旗標sao_on_flag編碼(S3046)。

而，圖27D之流程圖雖顯示了將偏移處理ON/OFF旗標sao_on_flag編碼並插入於APS時的例子，但由於與上述圖28D相同，因此省略說明。

圖28E為顯示偏移資訊解碼部402將插入於切片資料之偏移處理ON/OFF旗標sao_on_flag解碼時使用3個上下文之例子的流程圖。

首先，偏移資訊解碼部402判定處理對象訊號是否為亮度訊號(S4021)。偏移資訊解碼部402在亮度訊號之判定使用圖28A所示之cIdx。在此，當cIdx=0時，處理對象訊 號為亮度訊號。

處理對象訊號為亮度訊號時(S4021為Yes)，偏移資訊解碼部402選擇上下文1並載入(S4022)。處理對象訊號不是亮度訊號時(S4021為No)，偏移資訊解碼部402判定處理對象訊號是否為色差訊號Cb(S4023)。偏移資訊解碼部402在色差訊號Cb之判定與亮度訊號之判定(S4021)同樣地，使用cIdx。在此，當cIdx=1時，處理對象訊號為色差訊號Cb。

處理對象訊號為色差訊號Cb時(S4023為Yes)，偏移資訊解碼部402選擇上下文2並載入(S4024)。處理對象訊號不是色差訊號Cb時(S4023為No)，偏移資訊解碼部402選擇上下文3並載入(S4025)。

接著，偏移資訊解碼部402使用所選擇並載入之上下文，將偏移處理ON/OFF旗標sao_on_flag解碼(S4026)。

而，圖27E之流程圖雖顯示了將插入於APS之偏移處理ON/OFF旗標sao_on_flag解碼時的例子，但由於與上述圖28E相同，因此省略說明。

藉由以上步驟，圖像編碼裝置及圖像解碼裝置可在亮度訊號、色差訊號Cb及色差訊號Cr使用分別不同的上下文，藉此依據各訊號之特徵來分配符號產生機率。故，圖像編碼裝置及圖像解碼裝置可抑制偏移處理ON/OFF旗標sao_on_flag之碼量。

而，圖像編碼裝置及圖像解碼裝置可只有色差訊號Cb及Cr共用上下文，而使編碼及解碼之上下文數量為2 個(亮度訊號及色差訊號)。

(實施形態3)

在實施形態2，圖像編碼裝置將表示是否於每一處理對象區域進行偏移處理之資訊作為偏移處理ON/OFF旗標sao_on_flag，從像素分類方法sao_type_idx獨立而在偏移資訊之前端編碼。且，圖像編碼裝置不進行偏移處理時，不進行表示是否從左側或上側區域複製偏移資訊之sao_merge_left_flag或sao_merge_up_flag之編碼。

藉此，可抑制位元量。本實施形態之圖像編碼裝置藉由進一步進行對各偏移資訊之算術編碼統一化或簡化，可改善通量(throughput)。

算術編碼中，除了實施形態2所說明之上下文算術編碼外，有旁路算術編碼。上下文算術編碼是使用適應性之符號產生機率。另一方面，旁路算術編碼是將符號產生機率設為50%來進行算術編碼。藉此，圖像編碼裝置在旁路算術編碼，可不進行上下文之載入及更新，因此處理可高速化。

圖31A為偏移資訊之各語法要素所使用之算術編碼之種類的組合例。

在此，關於偏移資訊之編碼及解碼之語法，與圖28A及圖28B所示之實施形態2之語法相同。又，對偏移處理ON/OFF旗標sao_on_flag及像素分類方法sao_type_idx之位元分配，與圖26所示之實施形態2的分配相同。惟，語法及位元之分配不限於此。

例如，圖28B中，為了抑制if文之條件分岐數，是將偏移值±碼sao_offset_sign及能帶偏移編碼開始類別sao_band_position連續地編碼(解碼)。惟，編碼(解碼)之順序不限於此。又，關於對圖26所示之像素分類方法sao_type_idx之位元分配，可對能帶偏移分配最大位元量。

偏移處理ON/OFF旗標sao_on_flag、左側偏移資訊複製旗標sao_merge_left_flag、及上側偏移資訊複製旗標sao_merge_up_flag之符號產生機率的偏差大。故，使用上下文算術編碼。

另一方面，像素分類方法sao_type_idx、偏移絶對值sao_offset、偏移值±碼sao_offset_sign、及能帶偏移編碼開始類別sao_band_position之符號產生機率的偏差小。故，使用旁路算術編碼。

而，實施形態2之圖像編碼裝置對於偏移處理ON/OFF旗標sao_on_flag、及左側偏移資訊複製旗標sao_merge_left_flag，在亮度訊號、色差訊號Cb及色差訊號Cr使用分別不同之上下文。藉此，圖像編碼裝置可使編碼效率提高。

另一方面，對於上述偏移資訊，本實施形態之圖像編碼裝置與上側偏移資訊複製旗標sao_merge_up_flag同樣地，可在亮度訊號、色差訊號Cb及色差訊號Cr分別共用上下文。藉此，可減少上下文之數量及記憶體尺寸。

圖31B為顯示本實施形態之圖像編碼裝置及圖像解碼裝置之客觀性能之表。圖31B為根據非專利文獻2之 指標，顯示客觀性能之劣化少。客觀性能將於後述。

在本實施形態，相較於實施形態2所說明之圖像編碼裝置及圖像解碼裝置，偏移資訊編碼部305及偏移資訊解碼部402之動作不同。其它與實施形態2相同。以下，針對差異進行說明。

圖32顯示本實施形態之圖像編碼裝置中進行偏移資訊之編碼的偏移資訊編碼部307之構成。偏移資訊編碼部307包含算術編碼控制部3071、上下文算術編碼部3072及旁路算術編碼部3073。

算術編碼控制部3071依據偏移資訊，切換要使用上下文算術編碼及旁路算術編碼之何者。而，算術編碼控制部3071亦可包含於圖1所示之圖像編碼裝置100之控制部110。上下文算術編碼部3072依據偏移資訊載入上下文並進行編碼。旁路算術編碼部3073於符號產生機率使用50%來進行編碼。

圖33顯示本實施形態之圖像解碼裝置中進行偏移資訊之解碼的偏移資訊解碼部406之構成。偏移資訊解碼部406包含算術解碼控制部4061、上下文算術解碼部4062及旁路算術解碼部4063。

算術解碼控制部4061依據偏移資訊，切換要使用上下文算術解碼(上下文適應算術解碼)及旁路算術解碼之何者。而，算術解碼控制部4061可包含於圖2所示之圖像解碼裝置200之控制部210。上下文算術解碼部4062依據偏移資訊載入上下文並進行解碼。旁路算術解碼部4063於符號 產生機率使用50%來進行解碼。

圖34為顯示偏移資訊編碼部307以算術編碼將偏移資訊編碼之例子的流程圖。

首先，在偏移資訊編碼部307開始處理之時間點，算術編碼控制部3071將上下文算術編碼設定為編碼方法(S3070)。

接著，上下文算術編碼部3072載入偏移處理ON/OFF旗標sao_on_flag用之上下文，並使用該上下文將偏移處理ON/OFF旗標sao_on_flag編碼(S3071)。

接著，算術編碼控制部3071判定偏移處理ON/OFF旗標sao_on_flag是否為1(S3072)。在此，sao_on_flag為0，表示不進行處理對象區域之偏移處理，sao_on_flag為1，表示進行處理對象區域之偏移處理。

偏移處理ON/OFF旗標sao_on_flag為1時(S3072為Yes)，算術編碼控制部3071判定處理對象區域是否為切片或塊片(tile)的左端(S3073)。偏移資訊之複製，只會從相同切片且相同塊片之區域。故，在左側偏移資訊複製旗標sao_merge_left_flag之編碼前，會進行上述判定。

處理對象區域不是左端時(S3073為No)，上下文算術編碼部3072會載入左側偏移資訊複製旗標sao_merge_left_flag用的上下文。接著，上下文算術編碼部3072將左側偏移資訊複製旗標sao_merge_left_flag編碼(S3074)。

處理對象區域為左端時(S3073為Yes)，或是在 sao_merge_left_flag之編碼(S3074)後，算術編碼控制部3071判定sao_merge_left_flag是否為0(S3075)。在此，sao_merge_left_flag為0，表示不從左側區域複製偏移資訊，sao_merge_left_flag為1，表示從左側區域複製偏移資訊。

而，不進行sao_merge_left_flag之編碼(S3074)時，不存在sao_merge_left_flag之值。此時，sao_merge_left_flag之值作為0處理。又，偏移資訊編碼部307亦可在開始處理之時間點，確保sao_merge_left_flag用之記憶體，設定初期值0。

接著，sao_merge_left_flag為0時(S3075為Yes)，算術編碼控制部3071判定處理對象區域是否為切片或塊片之上端(S3076)。與左端之判定(S3073)同樣地，偏移資訊之複製，只會從相同切片且相同塊片之區域，因此在上側偏移資訊複製旗標sao_merge_up_flag之編碼前，會進行上述判定。

處理對象區域不是上端時(S3076為No)，上下文算術編碼部3072載入上側偏移資訊複製旗標sao_merge_up_flag用之上下文。接著，上下文算術編碼部3072將上側偏移資訊複製旗標sao_merge_up_flag編碼(S3077)。

處理對象區域為上端時(S3076為Yes)，或是在sao_merge_up_flag之編碼(S3077)後，算術編碼控制部3071判定sao_merge_up_flag是否為0(S3078)。在此，sao_merge_up_flag為0，表示從上側區域複製偏移資訊， sao_merge_up_flag為1，表示從上側區域複製偏移資訊。

而，不進行sao_merge_up_flag之編碼(S3077)時，不存在sao_merge_up_flag之值。此時，sao_merge_up_flag之值是作為0處理。又，偏移資訊編碼部307亦可在開始處理之時間點，確保sao_merge_up_flag用之記憶體，設定初期值0。

接著，sao_merge_up_flag為0時(S3078為Yes)，算術編碼控制部3071將編碼方法切換為旁路算術編碼(S3079)。藉此，以後的編碼步驟會全部使用旁路算術編碼來進行。

接著，旁路算術編碼部3073將像素分類方法sao_type_idx、及偏移絶對值sao_offset編碼(S3080)。在此，本實施形態中，複數之偏移絶對值sao_offset的個數在任一像素分類方法都同樣為4。惟，旁路算術編碼部3073亦可將每個像素分類方法不同個數之偏移絶對值編碼。

接著，算術編碼控制部3071判定像素分類方法是否為能帶偏移(S3081)。在此，算術編碼控制部3071於判定使用像素分類方法sao_type_idx。

在本實施形態，sao_type_idx之值是對能帶偏移分配0。故，算術編碼控制部3071在sao_type_idx為0時，判定像素分類方法為能帶偏移，sao_type_idx為0以外時，判定像素分類方法不是能帶偏移。

像素分類方法為能帶偏移時(S3081為Yes)，旁路算術編碼部3073將偏移值±碼sao_offset_sign、及能帶偏移 編碼開始類別sao_band_position編碼(S3082)。

而，本實施形態中，只有在能帶偏移時，旁路算術編碼部3073將偏移值±碼sao_offset_sign編碼。惟，也可在邊緣偏移時，旁路算術編碼部3073也將偏移值±碼sao_offset_sign編碼。此時，偏移值±碼sao_offset_sign會在步驟S3080編碼。

又，此時，在步驟S3080，可統合偏移絶對值sao_offset與偏移值±碼sao_offset_sign作為偏移值來編碼。

圖35為顯示偏移資訊解碼部406以算術解碼將偏移資訊解碼之例子的流程圖。

首先，在偏移資訊解碼部406開始處理之時間點，算術解碼控制部4061設定上下文算術解碼作為解碼方法(S4060)。

接著，上下文算術解碼部4062載入偏移處理ON/OFF旗標sao_on_flag用的上下文，並使用該上下文來將偏移處理ON/OFF旗標sao_on_flag解碼(S4061)。

接著，算術解碼控制部4061判定偏移處理ON/OFF旗標sao_on_flag是否為1(S4062)。在此，sao_on_flag為0，表示不進行處理對象區域之偏移處理，sao_on_flag為1，表示進行處理對象區域之偏移處理。

接著，當sao_on_flag為1時(S4062為Yes)，算術解碼控制部4061判定處理對象區域是否為切片或塊片之左端(S4063)。偏移資訊之複製，只會從相同切片且相同塊片之區域。故，在左側偏移資訊複製旗標sao_merge_left_flag 之解碼前，會進行上述判定。

處理對象區域不是左端時(S4063為No)，上下文算術解碼部4062載入左側偏移資訊複製旗標sao_merge_left_flag用的上下文。接著，上下文算術解碼部4062將左側偏移資訊複製旗標sao_merge_left_flag解碼(S4064)。

處理對象區域是左端時(S4063為Yes)，或是在sao_merge_left_flag之解碼(S4064)後，算術解碼控制部4061判定sao_merge_left_flag是否為0(S4065)。在此，sao_merge_left_flag為0，表示不從左側區域複製偏移資訊，sao_merge_left_flag為1，表示從左側區域複製偏移資訊。

而，不進行sao_merge_left_flag之解碼(S4064)時，不存在sao_merge_left_flag之值。此時，sao_merge_left_flag之值是作為0處理。又，偏移資訊解碼部406亦可在開始處理之時間點，確保sao_merge_left_flag用之記憶體，設定初期值0。

接著，sao_merge_left_flag為0時(S4065為Yes)，算術解碼控制部4061判定處理對象區域是否為切片或塊片之上端(S4066)。與左端之判定(S4063)同樣地，偏移資訊之複製，只會從相同切片且相同塊片之區域，因此在上側偏移資訊複製旗標sao_merge_up_flag之解碼前，會進行上述判定。

處理對象區域不是上端時(S4066為No)，上下文算術解碼部4062載入上側偏移資訊複製旗標 sao_merge_up_flag用的上下文。接著，上下文算術解碼部4062將上側偏移資訊複製旗標sao_merge_up_flag解碼(S4067)。

處理對象區域是上端時(S4066為Yes)，或是在sao_merge_up_flag之解碼(S4067)後，算術解碼控制部4061判定sao_merge_up_flag是否為0(S4068)。在此，sao_merge_up_flag為0，表示不從上側區域複製偏移資訊，sao_merge_up_flag為1，表示從上側區域複製偏移資訊。

而，不進行sao_merge_up_flag之解碼(S4067)時，不存在sao_merge_up_flag之值。此時，sao_merge_up_flag之值是作為0處理。又，偏移資訊解碼部406亦可在開始處理之時間點，確保sao_merge_up_flag用之記憶體，設定初期值0。

接著，當sao_merge_up_flag為0時(S4068為Yes)，算術解碼控制部4061將解碼方法切換為旁路算術解碼(S4069)。藉此，以後的解碼步驟會全部使用旁路算術解碼來進行。

接著，旁路算術解碼部4063將像素分類方法sao_type_idx、及偏移絶對值sao_offset解碼(S4070)。在此，本實施形態中，複數之偏移絶對值sao_offset的個數在任一像素分類方法皆同樣為4。惟，旁路算術解碼部4063亦可將每個像素分類方法不同個數的偏移絶對值解碼。

接著，算術解碼控制部4061判定像素分類方法是否為能帶偏移(S4071)。在此，算術解碼控制部4061於判定 使用像素分類方法sao_type_idx。

本實施形態中，sao_type_idx之值是對能帶偏移分配0。故，算術解碼控制部4061在sao_type_idx為0時，判定像素分類方法為能帶偏移，在sao_type_idx為0以外時，判定像素分類方法不是能帶偏移。

像素分類方法為能帶偏移時(S4071為Yes)，旁路算術解碼部4063將偏移值±碼sao_offset_sign及能帶偏移編碼開始類別sao_band_position解碼(S4072)。

而，本實施形態中，只有在能帶偏移時，旁路算術解碼部4063將偏移值±碼sao_offset_sign解碼。惟，也可在邊緣偏移時，旁路算術解碼部4063也將偏移值±碼sao_offset_sign解碼。此時，偏移值±碼sao_offset_sign會在步驟S4070解碼。

又，此時，在步驟S4070，亦可統合偏移絶對值sao_offset與偏移值±碼sao_offset_sign作為偏移值來解碼。

如上所述，可於偏移處理ON/OFF旗標sao_on_flag、左側偏移資訊複製旗標sao_merge_left_flag、及上側偏移資訊複製旗標sao_merge_up_flag之前端3個參數後的所有參數之編碼及解碼使用旁路算術編碼及旁路算術解碼。藉此，圖像編碼裝置及圖像解碼裝置不經常進行上下文之載入及更新亦可。故，可改善通量。

圖36為顯示上述編碼特徵之例子的流程圖。首先，上下文算術編碼部3072以上下文算術編碼將第1資訊及第2資訊連續地編碼(S511)。上下文算術編碼是使用可變機率之 算術編碼。第1資訊表示使否對圖像之第1區域進行代表像素值之偏移處理的SAO(樣本適應偏移)處理。第2資訊表示是否於對第1區域之SAO處理，使用對與第1區域不同之區域之SAO處理的資訊。

接著，旁路算術編碼部3073在第1資訊及第2資訊編碼後，以旁路算術編碼將其它資訊編碼(S512)。旁路算術編碼是使用固定機率之算術編碼。其它資訊是對第1區域之SAO處理的資訊、且與第1資訊和第2資訊不同的資訊。

圖37為顯示上述解碼特徵之例子的流程圖。首先，上下文算術解碼部4062以上下文算術解碼將第1資訊及第2資訊連續地解碼(S521)。上下文算術解碼是使用可變機率之算術解碼。第1資訊表示是否對圖像之第1區域進行代表像素值之偏移處理的SAO(樣本適應偏移)處理。第2資訊表示是否於對第1區域之SAO處理，使用對與第1區域不同之區域之SAO處理的資訊。

接著，旁路算術解碼部4063在第1資訊及第2資訊解碼後，以旁路算術解碼將其它資訊解碼(S522)。旁路算術解碼是使用固定機率之算術解碼。其它資訊是對第1區域之SAO處理的資訊、且與第1資訊和第2資訊不同的資訊。

而，第1資訊及第2資訊中哪一個先編碼皆可。同樣地，第1資訊及第2資訊中哪一個先解碼亦可。

又，編碼之順序是對編碼串流寫入資訊作為碼(code)之順序，解碼之順序是從編碼串流讀取碼(code)作為資訊之順序。換言之，以複數圖式為例記載如上之編碼及 解碼之順序會與編碼串流內之資訊之順序對應。又，使用複數圖式於上述舉例之語法要素之順序會與編碼串流內之資訊之順序對應，且與編碼及解碼之順序對應。

又，圖像編碼裝置可為只進行圖36所示之處理的裝置。同樣地，圖像解碼裝置可為只進行圖37所示之處理的裝置。其它裝置亦可進行其它處理。

圖31B是將基於以HEVC規格制定之測試條件(參考非專利文獻2)的結果顯示為本實施形態之客觀性能。

圖31B之Configuration是編碼之參數設定條件。BD-rate表示從重組圖像之PSNR(Peak Signal-to-Noise Ratio(峰值訊號雜訊比))及編碼串流之碼量算出的客觀指標。負的BD-rate表示客觀性能之改善，正的BD-rate表示客觀性能之劣化。而，圖31B之BD-rate根據與實施形態1之比較，表示本實施形態之客觀性能之改善或劣化。

如圖31B所示，BD-rate位於±0.1之範圍內。這表示本實施形態之客觀性能與實施形態1大致相同。換言之，本實施形態中，沒有客觀性能之劣化，通量已改善。

如上所述，本實施形態之圖像編碼裝置可用高處理效率來將圖像編碼。又，本實施形態之圖像解碼裝置可用高處理效率來將圖像解碼。

而，上述各實施形態中，各構成要件可用專用的硬體構成，亦可執行適於各構成要件之軟體程式而實現。各構成要件亦可藉由CPU或處理器等程式執行部讀取並執行硬碟或半導體記憶體等記錄媒體所記錄之軟體程式而實 現。

換言之，圖像編碼裝置及圖像解碼裝置具有控制電路(control circuitry)、與該控制電路電連接之(可從該控制電路存取之)記憶裝置(storage)。控制電路包含專用硬體及程式執行部的至少其中一者。又，當控制電路包含程式執行部時，記憶裝置可記憶該程式執行部所執行之軟體程式。

在此，實現上述各實施形態之圖像編碼裝置等的軟體是以下程式。

換言之，該程式可使電腦執行圖像編碼方法，該方法包含：上下文算術編碼步驟，藉由上下文算術編碼，將(i)第1資訊及(ii)第2資訊連續地編碼，前述上下文算術編碼為使用可變機率之算術編碼，(i)前述第1資訊顯示是否對圖像之第1區域進行表示像素值之偏移處理的SAO(樣本適應偏移)處理，(ii)前述第2資訊顯示是否於對前述第1區域之SAO處理，使用對與前述第1區域不同之區域之SAO處理之資訊；及，旁路算術編碼步驟，在前述第1資訊及前述第2資訊編碼後，藉由旁路算術編碼將其它資訊編碼，前述旁路算術編碼為使用固定機率之算術編碼，前述其它資訊為對前述第1區域之SAO處理之資訊、且與前述第1資訊、前述第2資訊皆不同之資訊。

又，該程式可使電腦執行圖像解碼方法，該方法包含：上下文算術解碼步驟，藉由上下文算術解碼，將(i)第1資訊及(ii)第2資訊連續地解碼，前述上下文算術解碼為 使用可變機率之算術解碼，(i)前述第1資訊顯示是否對圖像之第1區域進行表示像素值之偏移處理的SAO(樣本適應偏移)處理，(ii)前述第2資訊顯示是否於對前述第1區域之SAO處理，使用對與前述第1區域不同之區域之SAO處理之資訊；及，旁路算術解碼步驟，在前述第1資訊及前述第2資訊解碼後，藉由旁路算術解碼將其它資訊解碼，前述旁路算術解碼為使用固定機率之算術解碼，前述其它資訊為對前述第1區域之SAO處理的資訊、且與前述第1資訊和前述第2資訊皆不同的資訊。

又，各構成要件可為電路。該等電路可全體構成1個電路，亦可分別為不同電路。又，各構成要件可用通用之處理器實現，亦可用專用之處理器實現。

以上，已根據實施形態說明了一個或複數態樣之圖像編碼裝置等，但本發明不限定於該實施形態。在不脫離本發明要旨之情況下，將熟悉此項技藝者可思及之各種變形施加於本實施形態者、或是組合不同實施形態之構成要件而構築之形態亦可包含於1個或複數態樣之範圍內。

例如，圖像編碼解碼裝置可具有圖像編碼裝置及圖像解碼裝置。又，可由其它處理部來執行特定之處理部所執行之處理。又，執行處理之順序亦可變更，亦可並行地執行複數處理。又，亦可將用於記憶各種資訊之專用或共用的記憶部追加於構成中。

(實施形態4)

藉由將用以實現上述各實施形態所示之動態圖 像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成的程式記錄於記憶媒體，可在獨立之電腦系統上輕易地上述各實施形態所示之處理。記憶媒體只要是磁碟、光碟、光磁碟、IC卡、半導體記憶體等可記錄程式者即可。

接著在此，說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例及使用其之系統。該系統之特徵在於具有由使用了圖像編碼方法之圖像編碼裝置、及使用了圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置。系統之其它構成可視情形適當地變更。

圖38為顯示實現內容發佈服務之內容供給系統ex100之全體構成的圖。將通訊服務之提供區域分割為期望之大小，並於各細胞(cell)內分別設有代表固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100是透過網際網路服務提供者ex102及電話網ex104、基地台ex106至ex110，將電腦ex111、PDA(Personal Digital Assistant)ex112、攝像機ex113、行動電話ex114、遊戲機ex115等各機器連接於網際網路ex101。

惟，ex100不限於圖38之構成，亦可組合其中的元件來連接。又，亦可不透過代表固定無線台之基地台ex106至ex110，而將各機器直接連接於電話網ex104。又，各機器亦可透過近距離無線等直接相互連接。

攝像機ex113為數位攝影機等可進行動態影像撮 影之機器，攝像機ex116為數位相機等可進行靜止圖像撮影、動態影像撮影之機器。又，行動電話ex114為GSM(登錄商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或是PHS(Personal Handyphone System)等皆可。

在內容供給系統ex100，攝像機ex113等透過基地台ex109、電話網ex104連接於串流伺服器ex103，藉此可進行實況發佈等。在實況發佈中，對使用者以攝像機ex113拍攝之內容(例如，音樂實況之影像等)，如上述各實施形態所說明地進行編碼處理(即，作為本發明其中一態樣之圖像編碼裝置)，並傳送至串流伺服器ex103。另一方面，串流伺服器ex103串流發佈對有要求之用戶端傳送之內容資料。用戶端有可將上述編碼處理之資料解碼的電腦ex111、PDAex112、攝像機ex113、行動電話ex114、遊戲機ex115等。收到所發佈之資料的各機器會將收到的資料進行解碼處理並再生(即，作為本發明其中一態樣之圖像解碼裝置)。

而，所拍攝之資料的編碼處理可在攝像機ex113進行，亦可在傳送處理資料之串流伺服器ex103進行，亦可互相分擔進行。同樣地，所發送之資料的解碼處理可在用戶端進行，亦可在串流伺服器ex103進行，亦可互相分擔進行。又，不限於攝像機ex113，攝像機ex116所拍攝之静止 圖像及/或動態圖像資料亦可透過電腦ex111傳送至串流伺服器ex103。此時之編碼處理可在攝像機ex116、電腦ex111、串流伺服器ex103的其中一者進行，亦可互相分擔進行。

又，這些編碼/解碼處理一般是在電腦ex111或各機器所具有的LSIex500處理。LSIex500可為由單晶片或複數晶片組成之構成。而，亦可將動態圖像編碼/解碼用之軟體組入電腦ex111等可讀取之其中一記錄媒體(CD-ROM、軟碟、硬碟等)，並以該軟體進行編碼/解碼處理。再者，行動電話ex114具有攝像機時，亦可傳送該攝像機所取得之動態影像資料。此時之動態影像資料為以行動電話ex114所具有的LSIex500進行編碼處理之資料。

又，串流伺服器ex103可為複數伺服器或複數電腦，而將資料分散處理、記錄或發佈。

如此一來，內容供給系統ex100可由用戶端接收經編碼之資料並再生。如此，內容供給系統ex100中，用戶端可即時地接收使用者所傳送之資訊並加以解碼、再生，即使是不具特別權利或設備之使用者亦可實現個人廣播。

而，不限於內容供給系統ex100的例子，如圖39所示，數位廣播用系統ex200亦可組入上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)的其中一者。具體而言，廣播台ex201透過電波將已於影像資料多工音樂資料等的多工資料傳送至通訊或衛星ex202。該影像資料為已藉由上述各實施形態所說明之動態圖像編碼方法編碼之資料(即，本發明其中一態樣 之圖像編碼裝置所編碼之資料)。收到資料之廣播衛星ex202會發出廣播用電波，並由可接收衛星廣播之家庭之天線ex204來接收該電波。收到的多工資料會由電視(接收機)ex300或機上盒(STB)ex217等裝置解碼並再生(即，作為本發明其中一態樣之圖像解碼裝置)。

又，讀取並解碼DVD、BD等記錄媒體ex215所記錄之多工資料、或於記錄媒體ex215編碼影像訊號、甚至視情形與音樂訊號多工並寫入的讀取器/記錄器ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，再生之影像訊號會顯示於螢幕ex219，可藉由記錄有多工資料之記錄媒體ex215於其它裝置或系統中再生影像訊號。又，亦可於與有線電視用之纜線ex203或衛星/地面廣播之天線ex204連接之機上盒ex217內安裝動態圖像解碼裝置，並將此以電視之螢幕ex219來顯示。此時亦可不於機上盒，而是於電視內組入動態圖像解碼裝置。

圖40為顯示使用了上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視(接收機)ex300之圖。電視ex300具有：調諧器ex301，透過接收上述廣播之天線ex204或纜線ex203等來取得或輸出已於影像資料多工有聲音資料之多工資料；調變/解調部ex302，將收到之多工資料解調、或調變成傳送至外部之多工資料；以及多工/解多工部ex303，將解調之多工資料解多工為影像資料與聲音資料、或將訊號處理部ex306所編碼之影像資料、聲音資料多工。

又，電視ex300包含：訊號處理部ex306，具有將聲音資料、影像資料分別解碼或將各資訊編碼的聲音訊號處理部ex304與影像訊號處理部ex305(作為本發明其中一態樣之圖像編碼裝置或圖像解碼裝置)；以及輸出部ex309，具有輸出已解碼之聲音訊號的揚聲器ex307，及顯示已解碼之影像訊號的顯示器等顯示部ex308。再者，電視ex300具有介面部ex317，該介面部ex317具有接受使用者操作輸入之操作輸入部ex312等。再者，電視ex300具有可整合控制各部之控制部ex310、及對各部供給電力之電源電路部ex311。介面部ex317除了操作輸入部ex312以外，亦可具有與讀取器/記錄器ex218等外部機器連接的橋接器ex313、用以安裝SD卡等記錄媒體ex216的插槽部ex314、用以連接硬碟等外部記錄媒體的驅動器ex315、以及與電話網連接的數據機ex316等。而，記錄媒體ex216為可藉由收容之非依電性/依電性半導體記憶體元件來電性進行資訊記錄者。電視ex300之各部透過同步匯流排相互連接。

首先，說明電視ex300將藉由天線ex204等從外部取得的多工資料解碼並再生的構成。電視ex300接受來自遙控器ex220等之使用者操作，根據具有CPU等的控制部ex310之控制，將調變/解調部ex302所解調之多工資料以多工/解多工部ex303解多工。再者，電視ex300用聲音訊號處理部ex304將已解多工之聲音資料解碼，並用影像訊號處理部ex305將已解多工之影像資料用上述各實施形態所說明之解碼方法來解碼。解碼之聲音訊號、影像訊號會分別從 輸出部ex309輸出至外部。輸出時，可將這些訊號暫時儲存於緩衝器ex318、ex319等，以使聲音訊號與影像訊號同步再生。又，電視ex300亦可不是從廣播等，而是從磁/光碟、SD卡等記錄媒體ex215、ex216讀出多工資料。接著，說明電視ex300將聲音訊號或影像訊號編碼，並傳送至外部或寫入至記錄媒體等之構成。電視ex300接受來自遙控器ex220等之使用者操作，根據控制部ex310之控制，以聲音訊號處理部ex304將聲音訊號編碼，並以影像訊號處理部ex305將影像訊號用上述各實施形態所說明之編碼方法編碼。經編碼之聲音訊號、影像訊號會在多工/解多工部ex303多工並輸出至外部。多工時，可將這些訊號暫時儲存於緩衝器ex320、ex321等，以使聲音訊號與影像訊號同步。而，緩衝器ex318、ex319、ex320、ex321可如圖所示具有複數個、亦可為共有1個以上緩衝器之構成。再者，如圖所示外，例如調變/解調部ex302或多工/解多工部ex303之間等，亦可於緩衝器儲存資料來作為避免系統溢位(over flow)、虧位(under flow)之緩衝方式。

又，電視ex300除了從廣播等或記錄媒體等取得聲音資料、影像資料外，亦可具有接受麥克風或攝像機之AV輸入的構成，而對從該等取得之資料進行編碼處理。而，在此雖說明了電視ex300可進行上述編碼處理、多工、及外部輸出之構成，但亦可為無法進行這些處理，而僅可進行上述接收、解碼處理、外部輸出之構成。

又，以讀取器/記錄器ex218從記錄媒體取出或寫 入多工資料時，上述解碼處理或編碼處理可在電視ex300或讀取器/記錄器ex218的其中一者進行，亦可由電視ex300與讀取器/記錄器ex218互相分擔進行。

舉例言之，圖41顯示從光碟讀取或寫入資料時之資訊再生/記錄部ex400的構成。資訊再生/記錄部ex400具有以下說明之元件ex401、ex402、ex403、ex404、ex405、ex406、ex407。光學頭ex401對代表光碟之記錄媒體ex215的記錄面照射雷射光點來寫入資訊，並檢測來自記錄媒體ex215之記錄面的反射光來讀取資訊。調變記錄部ex402電性驅動光學頭ex401所內藏之半導體雷射而根據記錄資料進行雷射光之調變。再生解調部ex403將藉由光學頭ex401所內藏之光檢測器而電性檢測出來自記錄面之反射光的再生訊號加以放大，並將記錄於記錄媒體ex215之訊號分量分離、解調，以再生必要之資訊。緩衝器ex404暫時保存用以記錄於記錄媒體ex215之資訊及從記錄媒體ex215再生之資訊。碟片馬達ex405使記錄媒體ex215旋轉。伺服控制部ex406一面控制碟片馬達ex405之旋轉驅動一面使光學頭ex401移動至預定之資訊軌，進行雷射光點之追蹤處理。系統控制部ex407進行資訊再生/記錄部ex400全體之控制。上述讀取或寫入處理係藉由系統控制部ex407利用緩衝器ex404所保存之各種資訊，或視需要進行新的資訊的生成/追加，使調變記錄部ex402、再生解調部ex403、伺服控制部ex406進行協調動作，並透過光學頭ex401進行資訊之記錄再生而實現。系統控制部ex407係以例如微處理器構成，並執行讀取寫入之程式來 執行這些處理。

以上說明了光學頭ex401照射雷射光點，但亦可為用近接場光來進行高密度之記錄的構成。

圖42顯示代表光碟之記錄媒體ex215的示意圖。記錄媒體ex215之記錄面螺旋狀地形成有引導溝(凹溝)，資訊軌ex230藉由凹溝形狀之變化而預先記錄有顯示光碟上之絶對位置的位址資訊。該位址資訊包含用以特定代表記錄資料之單位之記錄塊ex231的位置資訊，可在進行記錄或再生之裝置再生資訊軌ex230並讀取位址資訊來特定記錄塊。又，記錄媒體ex215包含資料記錄區域ex233、內周區域ex232、外周區域ex234。用於記錄使用者資料之區域為資料記錄區域ex233，配置於資料記錄區域ex233內周或外周的內周區域ex232與外周區域ex234則用於使用者資料之記錄以外的特定用途。資訊再生/記錄部ex400對上述記錄媒體ex215之資料記錄區域ex233，進行已編碼之聲音資料、影像資料或已將該等資料多工之多工資料的讀取。

以上係以1層的DVD、BD等光碟為例來說明，但不限於此，亦可為多層構造而表面以外亦可記錄之光碟。又，亦可為於光碟之相同處以各自不同波長之顏色的光來記錄資訊、或從各個角度記錄不同資訊之層等，進行多維記錄/再生之構造的光碟。

又，數位廣播用系統ex200中，亦可在具有天線ex205之汽車ex210從衛星ex202等接收資料，並於汽車ex210所具有之汽車導航ex211等顯示裝置再生動態影像。 而，汽車導航ex211之構成可例如於圖40所示之構成中，加上GPS接收部之構成，而在電腦ex111或行動電話ex114等亦可考慮相同作法。

圖43A為顯示使用了上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法的行動電話ex114之圖。行動電話ex114具有用以在與基地台ex110之間傳送接收電波之天線ex350、可拍攝影像、靜止圖像之攝像機部ex365、以及顯示攝像機部ex365所拍攝之影像與天線ex350所接收之影像等已解碼資料之液晶顯示器等的顯示部ex358。行動電話ex114更包含具有操作鍵部ex366之本體部、代表用以輸出聲音之揚聲器等的聲音輸出部ex357、代表用以輸入聲音之麥克風等的聲音輸入部ex356、保存所拍攝之影像、靜止圖像、所錄音之聲音或收到的影像、靜止圖像、郵件等已編碼資料或已解碼資料的記憶體部ex367、或代表與同樣地保存資料之記錄媒體間的介面部的插槽部ex364。

接著，以圖43B說明行動電話ex114之構成例。行動電話ex114是透過匯流排ex370，於整合地控制具有顯示部ex358及操作鍵部ex366之本體部各部的主控制部ex360，互相連接電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、攝像機介面部ex363、LCD(Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/解多工部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367。

當藉由使用者之操作來結束通話及使電源鍵呈開啟狀態時，電源電路部ex361會從電池組對各部供給電力來將行動電話ex114啟動至可動作狀態。

行動電話ex114根據具有CPU、ROM、RAM等之主控制部ex360的控制，以聲音訊號處理部ex354將聲音通話模式時聲音輸入部ex356所收音之聲音訊號轉換為數位聲音訊號，將該數位聲音訊號以調變/解調部ex352進行頻譜擴散處理，並於施以數位類比轉換處理及頻率轉換處理後以傳送/接收部ex351透過天線ex350加以傳送。又，行動電話ex114將聲音通話模式時透過天線ex350接收之接收資料放大並施以頻率轉換處理及類比數位轉換處理，且於以調變/解調部ex352進行頻譜反擴散處理、以聲音訊號處理部ex354轉換為類比聲音訊號後，將該類比聲音訊號從聲音輸出部ex357加以輸出。

又，在資料通訊模式下傳送電子郵件時，藉由本體部之操作鍵部ex366等操作所輸入之電子郵件的本文資料，會透過操作輸入控制部ex362送出到主控制部ex360。主控制部ex360將本文資料以調變/解調部ex352進行頻譜擴散處理，並以傳送/接收部ex351施以數位類比轉換處理及頻率轉換處理後，透過天線ex350傳送至基地台ex110。接收電子郵件時，則對收到的資料進行大致相反的處理，並輸出至顯示部ex358。

在資料通訊模式下傳送影像、靜止圖像、或影像與聲音時，影像訊號處理部ex355將從攝像機部ex365供給 之影像訊號以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，作為本發明其中一態樣之圖像編碼裝置)，並將經編碼之影像資料送出至多工/解多工部ex353。又，聲音訊號處理部ex354將以攝像機部ex365拍攝影像、靜止圖像時聲音輸入部ex356所收音之聲音訊號編碼，並將經編碼之聲音資料送出至多工/解多工部ex353。

多工/解多工部ex353將從影像訊號處理部ex355供給之經編碼影像資料與從聲音訊號處理部ex354供給之經編碼聲音資料以預定方式加以多工，並將結果所得之多工資料以調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在以傳送/接收部ex351施以數位類比轉換處理及頻率轉換處理後透過天線ex350加以傳送。

在資料通訊模式下接收連結於首頁等之動態圖像檔案之資料時、或接收附加有影像及/或聲音之電子郵件時，為了將透過天線ex350接收之多工資料解碼，多工/解多工部ex353會將多工資料解多工來分為影像資料之位元流與聲音資料之位元流，並透過同步匯流排ex370將經編碼之影像資料供給至影像訊號處理部ex355，且將經編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355利用與上述各實施形態所示之動態圖像編碼方法對應的動態圖像解碼方法解碼來將影像訊號解碼(即，作為本發明其中一態樣之圖像解碼裝置)，並透過LCD控制部ex359從顯示部ex358顯示例如連結於首頁之動態圖像檔案所含的影像、靜止圖像。又，聲音訊號處理部ex354會將聲音訊號解碼， 並從聲音輸出部ex357輸出聲音。

又，上述行動電話ex114等終端與電視ex300相同地，除了具有編碼器/解碼器兩者之傳送接收型終端外，還有只有編碼器之傳送終端、只有解碼器之接收終端等3種安裝形式。再者，數位廣播用系統ex200已說明了接收、傳送影像資料中多工有音樂資料等的多工資料，但除了聲音資料外多工有與影像相關之文字資料等的資料亦可，且不是多工資料而是影像資料本身亦可。

如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法用於上述任一機器/系統，藉此，可獲得上述各實施形態所說明之效果。

又，本發明不限於上述實施形態，在不脫離本發明範圍下可進行各種變形或修正。

(實施形態5)

亦可視需要將上述各實施形態所示之動態圖像編碼方法或裝置、與依據MPEG-2、MPEG4-AVC、VC-1等不同規格之動態圖像編碼方法或裝置適當地切換，藉此生成影像資料。

在此，生成各個分別依據不同規格之複數影像資料時，在解碼之際，必須選擇對應各個規格之解碼方法。惟，由於無法識別解碼之影像資料是依據哪個規格，因此會產生無法選擇適當之解碼方法的課題。

為了解決該課題，可將影像資料中多工有聲音資料等的多工資料構造成包含一顯示影像資料是依據哪個規 格的識別資訊。以下說明包含藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料的多工資料之具體構成。多工資料為MPEG-2傳輸串流形式之數位串流。

圖44為顯示多工資料之構成的圖。如圖44所示，多工資料可藉由從視訊流、音訊流、演示圖形流(PG)、互動圖形流中多工1個以上而獲得。視訊流表示電影之主影像及副影像，音訊流(IG)表示電影之主聲音部分及與該主聲音混合之副聲音，演示圖形流表示電影之字幕。在此，主影像表示顯示於畫面之一般影像，副影像表示在主影像中以小畫面顯示之影像。又，互動圖形流表示於畫面上配置GUI零件而作成之對話畫面。視訊流係以上述各實施形態所示之動態圖像編碼方法或裝置、或依據習知MPEG-2、MPEG4-AVC、VC-1等規格之動態圖像編碼方法或裝置來編碼。音訊流係以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或LPCM等方式來編碼。

多工資料所含的各串流係以PID來識別。例如，用於電影之影像的視訊流分配有0x1011，音訊流分配有0x1100至0x111F，演示圖形分配有0x1200至0x121F，互動圖形流分配有0x1400至0x141F，用於電影之副影像的視訊流分配有0x1B00至0x1B1F，用於與主聲音混合之副聲音的音訊流分配有0x1A00至0x1A1F。

圖45為顯示多工資料是如何多工之示意圖。首先，將由複數視訊框構成之視訊流ex235、由複數音訊框構成之音訊流ex238分別轉換為PES封包列ex236及ex239，並轉換 為TS封包ex237及ex240。同樣地將演示圖形流ex241及互動圖形ex244之資料分別轉換為PES封包列ex242及ex245，再轉換為TS封包ex243及ex246。多工資料ex247是將這些TS封包多工為1條串流而構成。

圖46更詳細地顯示PES封包列中是如何儲存視訊流。圖46之第1段顯示視訊流之視訊框列。第2段顯示PES封包列。如圖46之箭頭yy1、yy2、yy3、yy4所示，代表視訊流之複數Video Presentation Unit的I圖片、B圖片、P圖片會依照每一圖片分割，並儲存於PES封包之酬載。各PES封包具有PES標頭，PES標頭可儲存代表圖片顯示時刻之PTS(Presentation Time-Stamp)或代表圖片解碼時刻之DTS(Decoding Time-Stamp)。

圖47顯示最後寫入多工資料之TS封包的形式。TS封包為188Byte固定長之封包，由具有識別串流之PID等資訊的4Byte之TS標頭、及儲存資料的184Byte之TS酬載構成，上述PES封包會分割並儲存於TS酬載。以BD-ROM而言，TS封包會附加4Byte之TP_Extra_Header，構成192Byte之源封包而寫入至多工資料。TP_Extra_Header可記載ATS(Arrival_Time_Stamp)等資訊。ATS顯示該TS封包對解碼器之PID過濾器的傳送開始時刻。多工資料係如圖47下段所示排列源封包，從多工資料之前頭遞增之編號稱為SPN(源封包號碼)。

又，多工資料所含的TS封包中，除了影像/聲音/字幕等各串流以外，尚有PAT(Program Association Table)、 PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT顯示用於多工資料中之PMT的PID為何，PAT本身之PID係登錄為0。PMT具有多工資料中所含的影像/聲音/字幕等各串流之PID及與各PID對應之串流的屬性資訊，且具有與多工資料相關之各種描述符。描述符中有指示許可/不許可多工資料之複製的複製控制資訊等。PCR為了取得代表ATS之時間軸的ATC(Arrival Time Clock)與代表PTS/DTS之時間軸的STC(System Time Clock)之同步，具有與將PCR封包傳送至解碼器之ATS對應的STC時間之資訊。

圖48為詳細說明PMT之資料構造之圖。於PMT之前頭配置記載了包含於該PMT之資料長度等的PMT標頭。在PMT標頭之後，配置複數與多工資料相關之描述符。上述複製控制資訊等係作為描述符記載。於描述符之後配置複數與包含於多工資料之各串流相關的串流資訊。串流資訊由記載了串流類型、串流之PID、串流之屬性資訊(畫面更新率、寬高比等)之串流描述符構成，以識別串流之壓縮編解碼器等。串流描述符的數量與存在於多工資料之串流的數量相當。

記錄於記錄媒體等時，上述多工資料會與多工資料資訊檔案一起記錄。

如圖49所示，多工資料資訊檔案為多工資料之管理資訊，與多工資料1對1地對應，由多工資料資訊、串流屬性資訊與登錄圖構成。

如圖49所示，多工資料資訊由系統率、再生開始時刻、再生結束時刻構成。系統率顯示多工資料之傳送到後述系統目標解碼器之PID過濾器的最大傳送率。包含於多工資料中的ATS之間隔係設定為低於系統率。再生開始時刻為多工資料前頭之視訊框的PTS，再生結束時刻可設定為將多工資料末端之視訊框的PTS加上1訊框分的再生間隔。

如圖50所示，串流屬性資訊是將關於多工資料所含的各串流之屬性資訊登錄於每一PID。屬性資訊按照每一視訊流、音訊流、演示圖形流、互動圖形流而具有不同資訊。視訊流屬性資訊具有視訊流是以何種壓縮編解碼器壓縮、構成視訊流之各個圖片資料的解析度為何、寬高比為何、畫面更新率為何等資訊。音訊流屬性資訊具有音訊流是以何種壓縮編解碼器壓縮、音訊流所含的頻道數為何、對應於什麼語言、取樣頻率為何等資訊。這些資訊可用於播放器再生前之解碼器的初始化等。

本實施形態是利用上述多工資料中，包含於PMT之串流類型。又，記錄媒體記錄有多工資料時，則利用包含於多工資料資訊之視訊流屬性資訊。具體而言，上述各實施形態所示之動態圖像編碼方法或裝置中，是設置一對包含於PMT之串流類型、或視訊流屬性資訊設定固有資訊之步驟或機構，該固有資訊表示是藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料。藉由該構成，可識別藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料及依據其它規格之影像資料。

又，圖51顯示本實施形態之動態圖像解碼方法的步驟。步驟exS100中，從多工資料取得包含於PMT之串流類型、或包含於多工資料資訊之視訊流屬性資訊。接著，步驟exS101中，判斷是否顯示串流類型或視訊流屬性資訊為上述各實施形態所示之動態圖像編碼方法或裝置所生成之多工資料。接著，當判斷串流類型或視訊流屬性資訊是上述各實施形態所示之動態圖像編碼方法或裝置所生成的時，在步驟exS102中，利用上述各實施形態所示之動態圖像解碼方法來進行解碼。又，當顯示串流類型或視訊流屬性資訊為依據習知MPEG-2、MPEG4-AVC、VC-1等規格時，在步驟exS103中，利用依據習知規格之動態圖像解碼方法來進行解碼。

如此，藉由於串流類型或視訊流屬性資訊設定新的固有值，在解碼時，便可判斷是否可用上述各實施形態所示之動態圖像解碼方法或裝置來解碼。故，即使輸入了依據不同規格之多工資料時，亦可選擇適當之解碼方法或裝置，因此可在不產生錯誤下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置、或是動態圖像解碼方法或裝置，用於上述任一機器/系統。

(實施形態6)

上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置在典型上可用積體電路之LSI來實現。舉例言之，圖52顯示單晶片化之LSIex500的構成。LSIex500具有以下說明之元件ex501、ex502、ex503、ex504、 ex505、ex506、ex507、ex508、ex509，各元件透過匯流排ex510連接。電源電路部ex505在電源為開啟狀態時，對各部供給電力而啟動至可動作之狀態。

進行例如編碼處理時，LSIex500根據具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等的控制部ex501之控制，藉由AV I/Oex509從麥克風ex117或攝像機ex113等輸入AV訊號。輸入之AV訊號會暫時儲存於SDRAM等外部記憶體ex511。根據控制部ex501之控制，已儲存之資料會依照處理量或處理速度適當地分為複數次並送到訊號處理部ex507，在訊號處理部ex507進行聲音訊號之編碼及/或影像訊號之編碼。在此，影像訊號之編碼處理為上述各實施形態所說明之編碼處理。在訊號處理部ex507，進而視情況進行將已編碼之聲音資料與已編碼之影像資料多工之處理，從串流I/Oex506輸出至外部。該輸出之多工資料會傳送至基地台ex107，或寫入至記錄媒體ex215。而，多工時可暫時於緩衝器ex508儲存資料以進行同步。

而，上述已說明記憶體ex511為LSIex500之外部構成，但亦可為包含於LSIex500內部之構成。緩衝器ex508也不限於1個，亦可具有複數緩衝器。又，LSIex500可單晶片化，亦可複數晶片化。

又，上述中，控制部ex501具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，但控制部ex501之構成不限於該構成。例如，訊號處理 部ex507亦可為更具有CPU之構成。藉由於訊號處理部ex507之內部也設置CPU，可更提高處理速度。又，其它例子可為CPUex502具有訊號處理部ex507、或訊號處理部ex507之一部份的例如聲音訊號處理部之構成。此時，控制部ex501之構成為包含訊號處理部ex507、或具有其一部分之CPUex502。

而，在此雖為LSI，但根據積體度之差異，有時亦可稱為IC、系統LSI、Super LSI、Ultra LSI。

又，積體電路化之手法不限於LSI，亦可用專用電路或通用處理器來實現。亦可利用可在LSI製造後編程之FPGA(Field Programmable Gate Array(現場可編程閘級陣列))、或可再構築LSI內部之電路元件之連接或設定的可重組態處理器。上述可編程邏輯元件典型上可載入構成軟體或韌體之程式或從記憶體等讀取，藉此執行上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法。

再者，若因半導體技術之進步或衍生之其它技術而出現替代LSI之積體電路技術，當然亦可利用該技術來進行功能區塊之積體化。也有生物技術之應用等的可能性。

(實施形態7)

將上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料解碼時，相較於依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料解碼時，處理量會增加。故，在LSIex500，必須設定為較將依據習知規格之影像資料解碼時的CPUex502之驅動頻率高的驅動頻率。惟， 若提高驅動頻率，會產生消耗電力增加的課題。

為了解決該課題，電視ex300、LSIex500等動態圖像解碼裝置會構造成識別影像資料是依據何種規格，並依據規格來切換驅動頻率。圖53顯示本實施形態之構成ex800。驅動頻率切換部ex803在影像資料是由上述各實施形態所示之動態圖像編碼方法或裝置所生成者時，會將驅動頻率設定的較高。且，對執行上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801，指示將影像資料解碼。另一方面，當影像資料為依據習知規格之影像資料時，相較於影像資料為上述各實施形態所示之動態圖像編碼方法或裝置所生成者時，會將驅動頻率設定的較低。且，對依據習知規格之解碼處理部ex802，指示將影像資料解碼。

更具體而言，驅動頻率切換部ex803係由圖52之CPUex502與驅動頻率控制部ex512構成。又，執行上述各實施形態所示之動態圖像解碼方法的解碼處理部ex801、及依據習知規格的解碼處理部ex802，相當於圖52之訊號處理部ex507。CPUex502可識別影像資料是依據何種規格。且，驅動頻率控制部ex512根據來自CPUex502之訊號來設定驅動頻率。又，訊號處理部ex507根據來自CPUex502之訊號來進行影像資料之解碼。在此，影像資料之識別可利用例如實施形態5所記載之識別資訊。識別資訊不限於實施形態5所記載者，只要是可識別影像資料是依據何種規格之資訊即可。例如，當可根據可識別影像資料是用於電視、或是用於光碟等的外部訊號來識別影像資料是依據何種規格時， 亦可根據該外部訊號來進行識別。又，CPUex502之驅動頻率選擇可根據例如圖55之影像資料規格與驅動頻率對應之查找表來進行。將查找表預先儲存於緩衝器ex508或LSI之內部記憶體，並由CPUex502參考該查找表，藉此可選擇驅動頻率。

圖54顯示實施本實施形態之方法的步驟。首先，在步驟exS200，訊號處理部ex507從多工資料取得識別資訊。接著，在步驟exS201，CPUex502根據識別資訊來識別影像資料是否為上述各實施形態所示之編碼方法或裝置所生成者。影像資料為上述各實施形態所示之編碼方法或裝置所生成者時，在步驟exS202，CPUex502會將驅動頻率設定的較高的訊號送到驅動頻率控制部ex512。且，於驅動頻率控制部ex512，設定為較高的驅動頻率。另一方面，當顯示是依據習知MPEG-2、MPEG4-AVC、VC-1等規格的影像資料時，在步驟exS203，CPUex502會將驅動頻率設定的較低的訊號送到驅動頻率控制部ex512。且，於驅動頻率控制部ex512，設定為相較於影像資料為上述各實施形態所示之編碼方法或裝置所生成者時較低的驅動頻率。

再者，藉由與驅動頻率之切換連動地來變更施加於LSIex500或包含LSIex500之裝置的電壓，可更提高省電效果。例如，將驅動頻率設定的較低時，相較於將驅動頻率設定的較高的情形，可將施於LSIex500或包含LSIex500之裝置的電壓設定的較低。

又，驅動頻率之設定方法在解碼時之處理量大的 情況下，可將驅動頻率設定的較高，而在解碼時之處理量小的情況下，則可將驅動頻率設定的較低，並不限於上述設定方法。例如，若將依據MPEG4-AVC規格之影像資料解碼的處理量，大於將上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料解碼的處理量時，可使驅動頻率之設定與上述情況相反。

再者，驅動頻率之設定方法不限於將驅動頻率設定的較低之構成。例如，識別資訊顯示是上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可將施加於LSIex500或包含LSIex500之裝置的電壓設定的較高，而當顯示是依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，則將施於LSIex500或包含LSIex500之裝置的電壓設定的較低。又，舉例言之，當識別資訊顯示是上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，不使CPUex502之驅動停止，而當顯示是依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，由於處理上有游刃有餘，因此可使CPUex502之驅動暫時停止。即使當識別資訊顯示是上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，若處理上游刃有餘，亦可使CPUex502之驅動暫時停止。此時，相較於顯示是依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，可將停止時間設定的較短。

如此，藉由按照影像資料所依據之規格來切換驅動頻率，可謀求省電化。又，以電池來驅動LSIex500或包 含LSIex500之裝置時，隨著省電化，可增長電池之壽命。

(實施形態8)

有時對於電視或行動電話等上述機器/系統會輸入依據不同規格之複數影像資料。如此，為了在輸入了依據不同規格之複數影像資料時亦可解碼，LSIex500之訊號處理部ex507必須對應複數規格。惟，若個別地使用對應各個規格之訊號處理部ex507，會產生LSIex500之電路規模變大，且成本增加之課題。

為了解決該課題，可構造成將用以執行上述各實施形態所示之動態圖像解碼方法的解碼處理部、與依據習知MPEG-2、MPEG4-AVC、VC-1等規格的解碼處理部一部份共有化。將該構成例顯示於圖56A之ex900。例如，上述各實施形態所示之動態圖像解碼方法與依據MPEG4-AVC規格之動態圖像解碼方法，在熵編碼、反量化、解塊/過濾、動態補償等處理上，處理內容為一部份共通。共通之處理內容可共有對應MPEG4-AVC規格之解碼處理部ex902，而不對應MPEG4-AVC規格之本發明其中一態樣所特有的其它處理內容則使用專用的解碼處理部ex901。特別是，本發明其中一態樣係於熵解碼具有特徵，因此對於熵解碼使用專用之解碼處理部ex901，而此外之反量化、解塊/過濾、動態補償等的其一或所有處理則共有解碼處理部。解碼處理部之共有化亦可構造成共通之處理內容是共有用以執行上述各實施形態所示之動態圖像解碼方法的解碼處理部，而MPEG4-AVC規格所特有的處理內容則使用專用的解碼處 理部。

又，將處理一部份共有化之其它例子顯示於圖56B之ex1000。該例中，構造成使用與本發明其中一態樣所特有的處理內容對應的專用解碼處理部ex1001、與其它習知規格所特有的處理內容對應的專用解碼處理部ex1002、以及與本發明其中一態樣之動態圖像解碼方法和其它習知規格之動態圖像解碼方法共通的處理內容對應的共用解碼處理部ex1003。在此，專用解碼處理部ex1001、ex1002不一定是特別針對本發明其中一態樣或其它習知規格所特有的處理內容者，而是可執行其它通用處理者亦可。又，本實施形態之構成亦可用LSIex500安裝。

如此，對於在本發明其中一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法上共通之處理內容共有解碼處理部，藉此可縮小LSI之電路規模，且可降低成本。

產業上之可利用性

本發明之圖像編碼方法及圖像解碼方法可達到防止畫質劣化並使處理效率提高之效果，可利用於例如圖像之儲存、傳送及通訊等各種用途。舉例言之，本發明之圖像編碼方法及圖像解碼方法可用於例如電視、數位錄放影機、汽車衛星導航、行動電話、數位相機及數位攝影機等高解析度之資訊顯示機器及拍攝機器，利用價值高。

S‧‧‧步驟

Claims (11)

1. 一種圖像編碼方法，包含有：上下文算術編碼步驟，藉由上下文算術編碼，將(i)第1資訊及(ii)第2資訊連續地編碼，前述上下文算術編碼為使用可變機率之算術編碼，(i)前述第1資訊顯示是否對圖像之第1區域進行表示像素值之偏移處理的SAO(樣本適應偏移)處理，(ii)前述第2資訊顯示是否於對前述第1區域之SAO處理，使用對與前述第1區域不同之區域之SAO處理之資訊；及旁路算術編碼步驟，在前述第1資訊及前述第2資訊編碼後，藉由旁路算術編碼將其它資訊編碼，前述旁路算術編碼為使用固定機率之算術編碼，前述其它資訊為對前述第1區域之SAO處理之資訊、且與前述第1資訊、前述第2資訊皆不同之資訊，前述旁路算術編碼步驟中，將包含第3資訊與第4資訊之前述其它資訊編碼，前述第3資訊顯示對前述第1區域之SAO處理是依據邊緣進行之邊緣偏移處理或是依據像素值進行之能帶偏移處理，前述第4資訊顯示偏移值之絕對值。
2. 如請求項1之圖像編碼方法，其中前述旁路算術編碼步驟中，在對前述第1區域之SAO處理為能帶偏移處理時，將包含第5資訊與第6資訊之前述其它資訊編碼，前述第5資訊顯示前述偏移值之正負，前述第6資訊顯示前述偏 移值之適用範圍。
3. 如請求項1或2之圖像編碼方法，其中前述上下文算術編碼步驟中，將至少包含以下資訊其中一者之前述第2資訊編碼，即：顯示是否於對前述第1區域之SAO處理使用對與前述第1區域之左側鄰接之左區域的SAO處理之資訊，以及顯示是否於對前述第1區域之SAO處理使用對與前述第1區域之上側鄰接之上區域的SAO處理之資訊。
4. 一種圖像解碼方法，包含有：上下文算術解碼步驟，藉由上下文算術解碼，將(i)第1資訊及(ii)第2資訊連續地解碼，前述上下文算術解碼為使用可變機率之算術解碼，(i)前述第1資訊顯示是否對圖像之第1區域進行表示像素值之偏移處理的SAO(樣本適應偏移)處理，(ii)前述第2資訊顯示是否於對前述第1區域之SAO處理，使用對與前述第1區域不同之區域之SAO處理之資訊；及旁路算術解碼步驟，在前述第1資訊及前述第2資訊解碼後，藉由旁路算術解碼將其它資訊解碼，前述旁路算術解碼為使用固定機率之算術解碼，前述其它資訊為對前述第1區域之SAO處理的資訊、且與前述第1資訊和前述第2資訊皆不同的資訊，前述旁路算術解碼步驟中，將包含第3資訊與第4資訊之前述其它資訊解碼，前述第3資訊顯示對前述第1區域之SAO處理是依據邊緣進行之邊緣偏移處理或是 依據像素值進行之能帶偏移處理，前述第4資訊顯示偏移值之絕對值。
5. 如請求項4之圖像解碼方法，其中前述旁路算術解碼步驟中，在對前述第1區域之SAO處理為能帶偏移處理時，將包含第5資訊與第6資訊之前述其它資訊解碼，前述第5資訊顯示前述偏移值之正負，前述第6資訊顯示前述偏移值之適用範圍。
6. 如請求項4或5之圖像解碼方法，其中前述上下文算術解碼步驟中，將至少包含以下資訊其中一者之前述第2資訊解碼，即：顯示是否於對前述第1區域之SAO處理，使用對與前述第1區域之左側鄰接之左區域的SAO處理之資訊，以及顯示是否於對前述第1區域之SAO處理，使用對與前述第1區域之上側鄰接之上區域的SAO處理之資訊。
7. 一種圖像編碼裝置，包含有：控制電路；及記憶裝置，電連接於前述控制電路，前述控制電路可執行：上下文算術編碼步驟，藉由上下文算術編碼，將(i)第1資訊及(ii)第2資訊連續地編碼，前述上下文算術編碼為使用可變機率之算術編碼，(i)前述第1資訊顯示是否對圖像之第1區域進行表示像素值之偏移處理的SAO(樣本適應偏移)處理，(ii)前述第2資訊顯示是否於對前述第1區域之SAO處理，使用對與前述第1區域不同之 區域之SAO處理之資訊；及旁路算術編碼步驟，在前述第1資訊及前述第2資訊編碼後，藉由旁路算術編碼將其它資訊編碼，前述旁路算術編碼為使用固定機率之算術編碼，前述其它資訊為對前述第1區域之SAO處理之資訊、且與前述第1資訊、前述第2資訊皆不同之資訊，前述旁路算術編碼步驟中，將包含第3資訊與第4資訊之前述其它資訊編碼，前述第3資訊顯示對前述第1區域之SAO處理是依據邊緣進行之邊緣偏移處理或是依據像素值進行之能帶偏移處理，前述第4資訊顯示偏移值之絕對值。
8. 一種圖像解碼裝置，包含有：控制電路；及記憶裝置，電連接於前述控制電路，前述控制電路可執行：上下文算術解碼步驟，藉由上下文算術解碼，將(i)第1資訊及(ii)第2資訊連續地解碼，前述上下文算術解碼為使用可變機率之算術解碼，(i)前述第1資訊顯示是否對圖像之第1區域進行表示像素值之偏移處理的SAO(樣本適應偏移)處理，(ii)前述第2資訊顯示是否於對前述第1區域之SAO處理，使用對與前述第1區域不同之區域之SAO處理之資訊；及旁路算術解碼步驟，在前述第1資訊及前述第2資訊解碼後，藉由旁路算術解碼將其它資訊解碼，前述旁路 算術解碼為使用固定機率之算術解碼，前述其它資訊為對前述第1區域之SAO處理之資訊、且與前述第1資訊、前述第2資訊皆不同之資訊，前述旁路算術解碼步驟中，將包含第3資訊與第4資訊之前述其它資訊解碼，前述第3資訊顯示對前述第1區域之SAO處理是依據邊緣進行之邊緣偏移處理或是依據像素值進行之能帶偏移處理，前述第4資訊顯示偏移值之絕對值。
9. 一種圖像編碼解碼裝置，包含有：請求項7所記載之圖像編碼裝置；及請求項8所記載之圖像解碼裝置。
10. 一種程式產品，用以使電腦執行請求項1之圖像編碼方法。
11. 一種程式產品，用以使電腦執行請求項4之圖像解碼方法。