TWI580255B - An image decoding method, an image coding method, an image decoding apparatus, an image coding apparatus, and an image coding / decoding apparatus - Google Patents

Description

圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置 技術領域

本發明有關於一種圖像編碼方法及圖像解碼方法。

背景技術

現在標準之影像編碼演算法之大半以混合式影像編碼為基準。混合式影像編碼方法為達成所需之壓縮增益，而採用幾種不同之可逆壓縮方式與不可逆壓縮方式。混合式影像編碼與ISO/IEC標準規格(MPEG-1、MPEG-2及MPEG-4等之MPEG-X標準規格)相同，乃ITU-T標準規格(H.261及H.263等之H.26x標準規格)之基礎。

最新之影像編碼標準規格稱為H.264/MPEG-4 Advanced Video Coding(AVC)。該規格已由JVT(Joint CoVedeo Team)與ITU-T及ISO/IEC MPEG組織之聯合影像協會加以標準化。

又，以改善高解析度之影像編碼之效率為目的，稱為HEVC(High-Efficiency Video Coding)之影像編碼標準規格已由JCT-VC(Joint Collaborative Team on Video Coding) 進行檢討中。

【前置技術文獻】

【非專利文獻】

【非專利文獻1】“Wavefront Parallel Processing for HEVC Encoding and Decoding”by C.Gordon et al., no. JCTVC-F274-v2, from the Meeting in Torino, July 2011

【非專利文獻2】“Tiles”by A.Fuldseth et al., no. JCTVC-F355-v1, from the Meeting in Torino, July 2011

【非專利文獻3】JCTVC-J1003_d7, “High efficiency video coding (HEVC) text specification draft 8”of July 2012

發明概要

上述圖像編碼方法及圖像解碼方法宜可提昇同時利用平行格塊(tile)處理及相依片段(slice)之狀況下之效率性。

因此，本發明之目的在提供可改善同時利用並行格塊處理及相依片段時之效率性之圖像編碼方法或圖像解碼方法。

本發明一態樣之圖像解碼方法用於解碼包含圖像分割成複數格塊並分割成複數片段而經編碼後之編碼訊號之位元流，包含解碼前述編碼訊號之解碼步驟，前述複數片段個別為將前述片段之片段標頭中包含之資訊使用於 其它片段之通常片段，以及就解碼使用其它片段之片段標頭中包含之資訊之相依片段之任一種，通常片段始自第1格塊之始端以外時，接續前述第1格塊而業經編碼之第2格塊則不始自相依片段。

另，其等之全部或具體之態樣亦可藉系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體而實現，或藉系統、方法、積體電路、電腦程式及記錄媒體之任意組合而實現。

本發明提供可改善同時利用並行格塊處理及相依片段時之效率性之圖像編碼方法或圖像解碼方法。

1~2‧‧‧格塊

1~4‧‧‧片段

(1)‧‧‧通常片段

(2)‧‧‧通常片段

(3)‧‧‧相依片段

(4)‧‧‧相依片段

100‧‧‧圖像編碼裝置

101‧‧‧輸入圖像訊號

105‧‧‧減法器

106‧‧‧餘數訊號

110‧‧‧轉換部

111‧‧‧轉換係數

120‧‧‧量化部

121‧‧‧量化係數

130‧‧‧逆轉換部

131‧‧‧餘數訊號

140‧‧‧加法器

141‧‧‧解碼圖像訊號

150‧‧‧解塊濾波器

151‧‧‧解碼圖像訊號

160‧‧‧適應性迴路濾波器

161‧‧‧解碼圖像訊號

170‧‧‧參考訊框緩衝區

171‧‧‧解碼圖像訊號

180‧‧‧預測部

181‧‧‧預測訊號

190‧‧‧熵編碼部

191‧‧‧編碼訊號

200‧‧‧圖像解碼裝置

201‧‧‧編碼訊號

230‧‧‧逆轉換部

231‧‧‧餘數訊號

240‧‧‧加法器

241‧‧‧解碼圖像訊號

250‧‧‧解塊濾波器

251‧‧‧解碼圖像訊號

260‧‧‧適應性迴路濾波器

261‧‧‧解碼圖像訊號

270‧‧‧參考訊框緩衝區

271‧‧‧解碼圖像訊號

280‧‧‧預測部

281‧‧‧預測訊號

290‧‧‧熵解碼部

291‧‧‧量化係數

300‧‧‧畫面

301‧‧‧行(Wavefront1)

302‧‧‧行(Wavefront2)

310‧‧‧畫面

311~314‧‧‧行

311‧‧‧行(Wavefront1)

312‧‧‧行(Wavefront2)

313‧‧‧行(Wavefront3)

320‧‧‧片段標頭

321‧‧‧行

330‧‧‧畫面

331~333‧‧‧片段

340‧‧‧畫面

341~343‧‧‧片段

344‧‧‧片段

350‧‧‧畫面

351‧‧‧片段

354‧‧‧片段

360‧‧‧畫面

361~365‧‧‧片段

370‧‧‧畫面

371~374‧‧‧片段

380‧‧‧片段標頭

381‧‧‧行

390、400、410、420、500‧‧‧畫面

391~394、401~404、411~415、421~424、521~524‧‧‧片段

501、502、511、512‧‧‧格塊

513‧‧‧邊界

A、B‧‧‧片段

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex103‧‧‧串流伺服器

ex104‧‧‧電話網路

ex106~ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113‧‧‧相機

ex114‧‧‧手機

ex115‧‧‧遊戲機

ex116‧‧‧相機

ex117‧‧‧麥克風

ex200‧‧‧數位廣播用系統

ex201‧‧‧廣播電台

ex202‧‧‧衛星

ex203‧‧‧纜線

ex204‧‧‧天線

ex205‧‧‧天線

ex210‧‧‧汽車

ex211‧‧‧汽車導航

ex215‧‧‧記錄媒體

ex216‧‧‧記錄媒體

ex217‧‧‧機上盒(STB)

ex218‧‧‧讀取器/記錄器

ex219‧‧‧監視器

ex220‧‧‧遠程控制器

ex230‧‧‧資訊磁軌

ex231‧‧‧記錄區塊

ex232‧‧‧內周領域

ex233‧‧‧資料記錄領域

ex234‧‧‧外周領域

ex235‧‧‧視訊串流

ex236、ex239‧‧‧PES封包序列

ex237、ex240‧‧‧TS封包

ex238‧‧‧音訊串流

ex241‧‧‧演示圖形串流

ex242、ex245‧‧‧PES封包序列

ex243、ex246‧‧‧TS封包

ex244‧‧‧交談式圖形

ex247‧‧‧多工資料

ex300‧‧‧電視(接收機)

ex301‧‧‧調諧器

ex302‧‧‧調變/解調部

ex303‧‧‧多工/分離部

ex304‧‧‧聲音訊號處理部

ex305‧‧‧影像訊號處理部

ex306‧‧‧訊號處理部

ex307‧‧‧揚聲器

ex308‧‧‧顯示部

ex309‧‧‧輸出部

ex310‧‧‧控制部

ex311‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex313‧‧‧橋接器

ex314‧‧‧插槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318~ex321‧‧‧緩衝區

ex350‧‧‧天線

ex351‧‧‧發送/接收部

ex352‧‧‧調變/解調部

ex353‧‧‧多工/分離部

ex354‧‧‧聲音訊號處理部

ex355‧‧‧影像訊號處理部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex358‧‧‧顯示部

ex359‧‧‧LCD控制部

ex360‧‧‧主控制部

ex361‧‧‧電源電路部

ex362‧‧‧操作輸入控制部

ex363‧‧‧相機介面部

ex364‧‧‧插槽部

ex365‧‧‧相機部

ex366‧‧‧操作按鍵部

ex367‧‧‧記憶體部

ex370‧‧‧同步匯流排

ex400‧‧‧資訊播放/記錄部

ex401~ex407‧‧‧組成部分

ex401‧‧‧光照頭

ex402‧‧‧調變記錄部

ex403‧‧‧播放解調部

ex404‧‧‧緩衝區

ex405‧‧‧碟片馬達

ex406‧‧‧伺服控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501~ex509‧‧‧組成部分

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex505‧‧‧電源電路部

I/Oex506‧‧‧串流

ex507‧‧‧訊號處理部

ex508‧‧‧緩衝區

ex509‧‧‧AVI/O

ex510‧‧‧匯流排

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex800‧‧‧構造

ex801‧‧‧解碼處理部

ex802‧‧‧解碼處理部

ex803‧‧‧驅動頻率切換部

ex901、ex902、ex1001~ex1003‧‧‧解碼處理部

exS100~exS103、exS200~exS203‧‧‧流程步驟

i‧‧‧片段

S101~S108、S111~S114‧‧‧流程步驟

yy1、yy2、yy3、yy4‧‧‧箭號

圖1為實施形態之圖像編碼裝置之功能區圖。

圖2為實施形態之圖像解碼裝置之功能區圖。

圖3A為說明實施形態之WPP之概略圖。

圖3B為說明實施形態之WPP中之相依片段之概略圖。

圖4A為說明不採用實施形態之WPP時之相依片段之概略圖。

圖4B為說明採用實施形態之WPP時之相依片段之概略圖。

圖5顯示實施形態之熵片段或相依片段之片段標頭。

圖6例示實施形態之採用WPP時之不獲認可之片段構造。

圖7例示實施形態之採用WPP時之可獲認可之片段構 造。

圖8為顯示實施形態之CABAC之初始化處理之概略圖。

圖9為實施形態之對應始端片段之特徵之相依片段之CABAC初始化方法之決定處理之流程圖。

圖10例示實施形態之片段構造。

圖11例示實施形態之片段構造。

圖12例示第1實施形態之片段標頭之語法。

圖13為第1實施形態之相依片段之CABAC初始化方法之決定處理之流程圖。

圖14例示第2實施形態之已分割成片段之畫面。

圖15例示第2實施形態之CABAC初始化方法之決定處理之流程圖。

圖16例示第2實施形態之已分割成片段之畫面。

圖17例示第2實施形態之已分割成片段之畫面。

圖18例示第3實施形態之已分割成片段之畫面。

圖19顯示第4實施形態之片段標頭。

圖20例示第4實施形態之已分割成格塊之畫面。

圖21A顯示第4實施形態之掃描順序。

圖21B顯示第4實施形態之掃描順序。

圖22A顯示第4實施形態之格塊與片段之關係。

圖22B顯示第4實施形態之格塊與片段之關係。

圖22C顯示第4實施形態之格塊與片段之關係。

圖23顯示將畫面分割成第4實施形態之格塊及片段之例。

圖24顯示已分割成第4實施形態之格塊之畫面之解碼順序。

圖25A例示第4實施形態之不獲認可之片段構造。

圖25B例示第4實施形態之可獲認可之片段構造。

圖25C例示第4實施形態之可獲認可之片段構造。

圖26A例示第4實施形態之不獲認可之片段構造。

圖26B例示第4實施形態之可獲認可之片段構造。

圖27A例示第4實施形態之不獲認可之片段構造。

圖27B例示第4實施形態之可獲認可之片段構造。

圖28為實現內容發佈服務之內容供給系統之整體構造圖。

圖29為數位廣播用系統之整體構造圖。

圖30為顯示電視之構造例之功能區圖。

圖31為顯示對作為光碟之記錄媒體進行資訊之讀寫之資訊播放/記錄部之構造例之功能區圖。

圖32顯示作為光碟之記錄媒體之構造例。

圖33A例示手機。

圖33B為顯示手機之構造例之功能區圖。

圖34顯示多工資料之構造。

圖35模式地顯示在多工資料中如何就各串流進行多工化。

圖36進而詳細顯示視訊串流如何儲存於PES封包列中。

圖37顯示多工資料中之TS封包與資源封包之構造。

圖38顯示PMT之資料構造。

圖39顯示多工資料資訊之內部構造。

圖40顯示串流屬性情報之內部構造。

圖41顯示識別影像資料之步驟。

圖42為顯示實現各實施形態之動態影像編碼方法及動態影像解碼方法之積體電路之構造例之功能區圖。

圖43顯示用於切換驅動頻率之構造。

圖44顯示識別影像資料並切換驅動頻率之步驟。

圖45例示影像資料之規格與驅動頻率已成對應關係之查找表。

圖46A顯示共用訊號處理部之模組之構造之一例。

圖46B顯示共用訊號處理部之模組之構造之另一例。

用以實施發明之形態

(作為本發明之基礎之發現)

本發明人關於「技術背景」欄所揭露之圖像編碼方法及圖像解碼方法已發現將導致以下問題。

首先，就HEVC之圖像編碼裝置及圖像解碼裝置加以說明。

輸入圖像編碼裝置之影像訊號分別包含稱為訊框(畫面)之複數圖像。各訊框包含配置成二維陣列狀之複數像素。以混合影像編碼為基礎之上述所有標準規格下，各個影像訊框將分割成分別包含複數像素之複數區塊。上述區塊之尺寸可諸如視圖像之內容而改變。且，可就各區塊採用不同之編碼方法。舉例言之，在HEVC下，上述區塊之 最大尺寸為64×64像素。上述最大尺寸稱為最大編碼單位(LCU)。LCU則可歸納地分割成4個編碼單位(CU)。

H.264/MPEG-4 AVC下，可依巨塊(通常為16×16像素之區塊)單位進行編碼。上述巨塊亦可能分割成子塊。

典型而言，混合影像編碼時之編碼步驟中包括空間及/或時間預測。亦即，使用在空間上鄰接之區塊或時間上鄰接之區塊，即，使用業經編碼之影像訊框，而可預測各編碼對象區塊。接著，算出編碼對象區塊與預測結果之差分之剩餘區塊。然後，剩餘區塊則自空間(像素)領域轉換為頻率領域。上述轉換之目的則在降低輸入區塊之相關性。

其次，量化轉換而得之轉換係數。上述量化乃不可逆壓縮。且，所得之量化係數可藉熵編碼而進行可逆壓縮。又，為重組編碼影像訊號，將編碼必要之輔助資訊，並與編碼影像訊號一同加以輸出。上述資訊乃諸如空間預測、時間預測或/及量化之相關資訊。

圖1例示以H.264/MPEG-4 AVC及/或HEVC為標準之圖像編碼裝置100。

減法器105可算出輸入圖像訊號101之編碼對象區塊與對應之預測訊號181(預測區塊)之差分之餘數訊號106(剩餘區塊)。上述預測訊號181則藉預測部180之時間預測或空間預測而生成。預測所採用之預測類型可能就各訊框或各區塊而改變。採用時間預測而預測之區塊及/或訊框稱為業經幀間編碼，採用空間預測而預測之區塊及/或訊框則稱為業經幀內編碼。

採用時間預測之預測訊號乃使用記憶體中儲存之業經編碼及解碼之圖像而導出。採用空間預測之預測訊號則使用記憶體中儲存之業經編碼及解碼之鄰接區塊之邊界像素值而導出。且，幀內預測方向之數量對應編碼單位之尺寸而決定。

餘數訊號106亦稱為預測誤差或殘餘預測。轉換部110則可轉換上述餘數訊號106而生成轉換係數111。量化部120可量化轉換係數111而生成量化係數121。熵編碼部190則可就量化係數121進行熵編碼以進而減少儲存之資料量，且可逆地加以發送。舉例言之，熵編碼乃可變長度編碼。且，碼字之長度乃基於發生機率而決定。

藉以上之處理即可生成編碼訊號191(編碼位元流)。

又，圖像編碼裝置100包含可取得解碼圖像訊號(重組圖像訊號)之解碼部。具體而言，逆轉換部130可就量化係數121進行逆量化及逆轉換而生成餘數訊號131。上述餘數訊號131則因亦稱為量化雜訊之量化誤差之影響，嚴格來說與原本之餘數訊號106並不相同。

其次，加法器140可加算餘數訊號131與預測訊號181而生成解碼圖像訊號141。如此，為保有圖像編碼裝置與圖像解碼裝置之相容性，而於圖像編碼裝置與圖像解碼裝置之雙方使用業經編碼、解碼之圖像訊號以生成預測訊號181。

又，可藉量化而對解碼圖像訊號141重疊量化雜 訊。由於進行區塊單位之編碼，故所重疊之雜訊多就各區塊而不同。藉此，尤其進行較強之量化時，解碼圖像訊號之區塊邊界將較為明顯。上述之方塊雜訊就人類視覺辨識將造成畫質劣化之觀感。為減少上述方塊雜訊，解塊濾波器150將對解碼圖像訊號141進行解塊濾波處理。

舉例言之，H.264/MPEG-4 AVC之解塊濾波處理時，將就各領域選擇適用於該領域之濾波處理。諸如方塊雜訊較大時，則使用較強(窄頻域)之低通濾波器，方塊雜訊較小時，則使用較弱(寬頻域)之低通濾波器。上述低通濾波器之強度則對應預測訊號181及餘數訊號131而決定。藉上述解塊濾波處理即可使區塊之邊緣平滑化。藉此，而可改善解碼圖像訊號之主觀視覺畫質。且，濾波處理後之圖像則可使用於次一圖像之動態補償預測。故而，可藉上述濾波處理而亦減少預測誤差，故可改善編碼效率。

適應性迴路濾波器160可對解塊濾波處理後之解碼圖像訊號151進行取樣自適應偏移處理及/或適應性迴路濾波處理而生成解碼圖像訊號161。如上所述，解塊濾波處理可改善主觀視覺畫質。另，取樣自適應偏移(Sample Adaptive Offset：SAO)處理及適應性迴路濾波(Adaptive loop filter：ALF)處理之目的則在改善像素單位之可靠度(客觀品質)。

SAO為對應鄰近像素而對像素附加偏移值之處理。ALF則用於補償因壓縮而發生之圖像之變形。舉例言之，ALF為設有已決定成使解碼圖像訊號151與輸入圖像訊 號101之均方誤差(MSE)最小化之濾波器係數之溫尼濾波器。舉例言之，將依訊框單位而算出及發送ALF之係數。且，ALF亦可應用於訊框整體(圖像)或局部領域(區塊)。且，代表進行濾波處理之領域之輔助資訊亦可依區塊單位、訊框單位或四元樹單位而進行發送。

幀間編碼區塊之解碼必須將業經編碼、解碼之圖像之一部分預先儲存於參考訊框緩衝區170中。參考訊框緩衝區170將保持解碼圖像訊號161作為解碼圖像訊號171。預測部180則採用動態補償預測而進行幀間預測。具體而言，首先，動態估測器將搜尋編碼及解碼後之影像訊框中包含之區塊中與對象區塊最為類似之區塊。上述類似區塊則使用作為預測訊號181。對象區塊與類似區塊之間之相對之偏移(移動)則送至圖像解碼裝置作為移動資料。上述移動資料乃諸如與編碼影像資料一同提供之輔助資訊中包含之三次元之移動向量。在此，所謂三次元包含空間二次元及時間一次元。

另，為使預測精度最佳化，亦可使用1/2像素解析度或1/4像素解析度等之空間次像素解析度之移動向量。空間次像素解析度之移動向量代表不存在現存之像素值之解碼訊框內之空間位置即次像素之位置。故而，為進行動態補償預測，而須進行像素值之空間插補。上述插補處理可藉諸如插補濾波器(設於圖1所示之預測部180中)而實現。

幀內編碼模式及幀間編碼模式之雙方情況下，輸 入圖像訊號101與預測訊號181之差分之餘數訊號106可經轉換及量化而生成量化係數121。一般而言，轉換部110就上述轉換採用二維離散餘弦轉換(DCT)或其整數版等之正交轉換。藉此而可有效率地降低自然影像之相關。且，一般而言，低頻成分對畫質而言較高頻成分更重要，故就低頻成分使用較高頻成分更多之位元。

熵編碼部190可將二維陣列之量化係數121轉換為一維陣列。典型而言，乃採用所謂鋸齒形掃描。鋸齒形掃描時，則自位在二維陣列之左上角之DC係數依預定之順序掃描二維陣列至位在右下角之AC係數。通常，能量將集中於相當於低頻之二維陣列之係數之左上部分，故一旦進行鋸齒形掃描，將發生後半之值為零之傾向。藉此，而可採用行程長度編碼作為熵編碼之一部分或其前置處理，以實現有效率之編碼。

H.264/MPEG-4 AVC及HEVC採用複數種類之熵編碼。語法元素中雖亦存在依固定長而編碼之元素，但大部分之語法元素則為可變長度編碼之元素。尤其，可就殘餘預測之編碼使用內容適應性可變長度碼，並就其它語法元素之編碼使用其它各種整數碼。且，亦可能採用內容適應性算術編碼(CABAC)。

藉可變長度碼，即可就編碼後之位元流進行可逆壓縮。然而，由於碼字為可變長度，故必須連續解碼碼字。亦即，無法不重新執行(初始化)熵編碼，或不個別顯示解碼時之起始之碼字(起始點)之位置，即於先前之碼字之編碼或 解碼前，編碼或解碼後續之碼字。

藉基於預定之機率模型之算術編碼而將位元序列編碼成單一碼字。預定之機率模型則對應CABAC之情形之影像序列之內容而決定。故而，編碼對象之位元流之長度愈長，愈可有效率地進行算術編碼及CABAC。即，應用於位元序列之CABAC可謂在較大之區塊中更有效率。於各序列之始端將重新執行CABAC。亦即，將於各影像序列之始端以既定值或預定值進行機率模型之初始化。

H.264/MPEG-4、H.264/MPEG-4 AVC及HEVC包含視訊編碼層(VCL)及網路抽象化層(NAL)之2個功能層。視訊編碼層可提供編碼功能。NAL則可對應跨頻道之發送及對記憶裝置之儲存等用途，而對稱為NAL單元之標準單位進行資訊元素之封裝。上述資訊元素乃諸如編碼預測誤差訊號及影像訊號之解碼所需之資訊。影像訊號之解碼所需之資訊則為預測類型、量化參數及移動向量等。

NAL單元則包括內含壓縮影像資料與相關資訊之VCL NAL單元、可封裝與影像序列整體相關之參數集等追加資料之non-VCL單元、提供可用於改善解碼精度之追加資訊之附加延伸資訊(SEI)。

舉例言之，non-VCL單元內含參數集。參數集則為一定之影像序列之編碼及解碼之相關之複數參數之集合。舉例言之，參數集中存在包含影像序列(畫面序列)整體之編碼及解碼之相關之參數之序列參數集(SPS)。

序列參數集具有包含語法元素之語法構造。藉各 片段標頭中包含之語法元素之pic_parameter_set_id則可指定參照對象之圖像參數集(PPS)。且，藉PPS中包含之語法元素之seq_parameter_set_id而可指定參照對象之SPS。如此，而可對編碼影像序列整體應用SPS中包含之語法元素。

PPS為定義應用於影像序列中包含之1個畫面之編碼及解碼之參數之參數集。PPS具有包含語法元素之語法構造。藉各片段標頭中包含之語法元素之pic_parameter_set_id而可指定參照對象之圖像參數集(PPS)。如此，而可對編碼畫面整體應用SPS所包含之語法元素。

故而，較之PPS，持續進行SPS之追踪較為容易。此則因PPS相對於各畫面而改變，相對於此，SPS則相對於可能長達數分鐘或數小時之影像序列整體而為一定之故。

VPS為最上位階層之參數，包含複數之影像序列之相關資訊。VPS中包含之資訊則為位元率及影像序列之temporal_layering構造等。且，VPS包含層間之相依性(不同影像序列間之相依性)之相關資訊。故而，可將VPS視為複數之影像序列之相關資訊，可藉VPS而了解各影像序列之概況。

圖2為例示以H.264/MPEG-4 AVC或HEVC影像編碼規格為標準之圖像解碼裝置200之功能區圖。

輸入圖像解碼裝置200之編碼訊號201(位元流)將送往熵解碼部290。熵解碼部290則解碼編碼訊號201而取得量化係數與移動資料及預測模式等解碼所需之資訊元 素。且，熵解碼部290將依取得二維陣列之目的而反向掃描所得之量化係數而生成量化係數291，並朝逆轉換部230輸出量化係數291。

逆轉換部230可就量化係數291進行逆量化及逆轉換而生成餘數訊號231。餘數訊號231則無量化雜訊，並相當於由已輸入未發生誤差之圖像編碼裝置之輸入圖像訊號減去預測訊號所得之差分。

預測部280可採用時間預測或空間預測而生成預測訊號281。通常，解碼後資訊元素進而包含幀內預測時之預測類型等之預測或動態補償預測時之移動資料等之預測所需之資訊。

加法器240可加算空間領域之餘數訊號231與藉預測部280而生成之預測訊號281，而生成解碼圖像訊號241。解塊濾波器250可對解碼圖像訊號241進行解塊濾波處理而生成解碼圖像訊號251。適應性迴路濾波器260可對解碼圖像訊號251進行取樣自適應偏移處理及適應性迴路濾波處理而生成解碼圖像訊號261。上述解碼圖像訊號261可輸出作為顯示圖像，並可儲存於參考訊框緩衝區270中作為解碼圖像訊號271。解碼圖像訊號271則可使用於後續之區塊或者圖像之時間或空間預測。

與H.264/MPEG-4 AVC相較，HEVC具有可輔助編碼及解碼較高度之並行處理之功能。與H.264/MPEG-4 AVC相同，HEVC可將訊框分割成複數片段。在此，各片段則包含依掃描順序而連續之複數ICU。H.264/MPEG-4 AVC 中，片段可分別各自進行解碼，而不進行跨片段之空間預測。故而，可依片段單位而進行並行處理。

然而，片段包含相當大型之標頭，且，片段間不存在相依性，故壓縮效率較低。且，在較小之資料區塊中進行CABAC編碼時，效率性將降低。

相對於此，已提案有波前並行處理(WPP)以實現更有效率之並行處理。WPP則採用前行之第2個LCU之處理後之機率模型作為畫面之各LCU行(以下亦簡稱為「行」)之第1個LCU(始端之LCU)之重設所使用之CABAC機率模型。藉此，而可維持區塊間之相依性。故而，可實現複數之LCU行之並行解碼。且，各行之處理將相對於前行而延遲LCU2個之量。

且，使代表LCU行之解碼之起始位置之起始點之資訊內含於片段標頭中而進行訊號傳輸。另，WPP之詳情已揭露於非專利文獻1中。

用於並行化改善之其它方法尚有使用格塊之方法。將訊框(畫面)分割成複數格塊。各格塊呈長方形而包含複數LCU。格塊間之邊界則設成可將畫面分割成矩陣形。且，複數之格塊將依循序掃描順序而進行處理。

又，各格塊之邊界上全部之相依性將歸於消滅。CABAC等之熵編碼亦於各格塊之始端進行重設。另，僅有解塊濾波處理與取樣自適應偏移處理可跨格塊間之邊界而進行應用。故而，可並行地編碼或解碼複數之格塊。另，格塊之詳情則揭露於非專利文獻2及非專利文獻3中。

且，為使片段之概念較H.264/MPEG-4 AVC之片段之本來之目的之抗錯性更適用於並行化，而已提案相依片段及熵片段之概念。即，HEVC可使用通常片段、相依片段及熵片段之3種片段。

通常片段乃因H.264/MPEG-4 AVC而已知之片段。通常片段間無法進行空間預測。即，無法進行跨片段間之邊界之預測。換言之，無須參照其它片段，即可編碼通常片段。CABAC則可於各片段之始端重新執行而個別進行上述片段之解碼。

又，訊框之始端使用通常片段。即，各訊框必須始自通常片段。通常片段設有包含片段資料之解碼所需之參數之標頭。

熵片段乃可於母片段與熵片段之間進行空間預測之片段。在此，母片段意指諸如熵片段之前之通常片段。母片段及熵片段之解析可獨立進行。

又，片段資料之解析除片段標頭之語法元素以外，可就母片段與熵片段獨立進行。即，熵片段之CABAC解碼處理時，需要母片段之片段標頭中包含之語法元素。舉例言之，上述語法元素包含代表片段資料是否包含濾波器參數之切換資訊。片段資料中存在濾波器參數時，CABAC解碼部將擷取該資訊。不存在時，CABAC解碼部則不假設濾波器資料。亦即，通常片段之片段標頭之解析後，CABAC解碼部可並行處理母片段與熵片段。

然而，母片段亦可為諸如通常片段，而為熵片段 之像素值之重組所必需。且，亦可於片段之始端重新執行CABAC以獨立解析熵片段。

熵片段可使用較通常片段之片段標頭更短之片段標頭。片段標頭中包含通常片段之標頭內與發送之資訊相關之編碼參數子集。熵片段之標頭中不包含之資訊則由母片段之標頭複製而來。

相依片段則與不重新執行CABAC之熵片段類似。CABAC之重新執行包含將內容表單(機率表單)初始化為內定值之處理，以及算術編碼處理或算術解碼處理之終止處理(結束處理)。

母片段之標頭使用於相依片段之解析及/或解碼。故而，無母片段則無法解析相依片段，因此未取得母片段時，將無法解碼相依片段。母片段通常依編碼順序而為相依片段之前置片段，乃包含完整之片段標頭之片段。熵片段之母片段則亦同。

一般而言，熵片段可視為相依於其它片段之標頭參數，故相依片段及熵片段之雙方均可應用本發明。

如上所述，相依片段及熵片段可使用片段之編碼順序在前之片段之片段標頭(相依片段之標頭中未包含之資訊)。上述規則可歸納地加以應用。對象相依片段所相依之母片段則被辨識為可加以參照。參照則包含片段間之空間預測及共同CABAC狀態等之利用。相依片段可使用前一片段之末端生成之CABAC內容表單。如此，相依片段即不致將CABAC表單初始化為內定值，而可持續利用已作成之 表單。且，關於熵片段及相依片段則已揭露於非專利文獻3中(參照諸如第73頁之「dependent_slice_flag」等)。

採用WPP時，若相依片段始自LCU行之始端，且包含前述始端之LCU之右上之LCU之片段顯示為可加以參照，則相依片段可使用右上之LCU之CABAC內容表單。

HEVC可提交若干設定檔。設定檔則包含適用於特定之應用程式之圖像編碼裝置及圖像解碼裝置之設定。舉例言之，「主要設定檔」僅包含通常片段及相依片段，而不包含熵片段。

如上所述，編碼片段將封裝於NAL單元中，進而封裝於諸如即時協定(RTP)中，最後再封裝於網際網路協定(IP)封包中。藉上述協定堆疊或其它協定堆疊，即可在網際網路或私有網路等封包導向網路中進行編碼影像之發送。

典型而言，網路包含至少1個以上之路由器，路由器則由可超高速動作之專用硬體所構成。路由器可接收IP封包而解析IP封包之標頭，並具有可朝各目的端傳輸適當之IP封包之功能。路由器必須處理來自眾多來源之通訊，故控制邏輯操作之封包必須儘可能精簡。路由器至少可決定傳輸IP封包之路徑，故必須確認IP標頭中包含之目的端位址欄位。由於進而對服務品質(QoS)提供支援，故智慧型(媒體察知)路由器將追加確認IP標頭、RTP標頭及NALU標頭等之網路．協定標頭中之專用欄位。

關於影像編碼之上述揭露可知，相依片段及熵片段等為並行處理而定義之不同類型之片段對於資料缺漏時 之畫質降低之重要性不同。若無母片段則無法解析及解碼相依片段。此則因熵編碼部或熵解碼部將無法於相依片段之始端重新執行之故。故而，可謂重組圖像或影像後，母片段將更為重要。

HEVC下，相依片段及熵片段採用片段間之相依性(訊框之相依性)作為相依性之次要補充。上述相依性並非訊框內之唯一相依性。

又，就各格塊進行片段之並行處理，故算術編碼部及算術解碼處理之內容可藉預設之設定或基於編碼後或解碼後片段而決定。然而，標頭之相依性與算術編碼初始化之相依性不同，故與並行處理及相依片段之構因之目的相反，可能發生延遲或提高複雜度。

相依片段可與WPP或格塊等並行處理工具同時使用。且，使用相依片段，即可生成可減少傳播延遲之波前(子串流)而不致造成編碼損失。

又，相依片段中不重新執行CABAC，故可使用相依片段作為CABAC子串流之起始點。且，為顯示獨立解析之起始點，亦可於位元流中包含代表前述起始點之資訊而加以傳送。尤其，將2個以上之CABAC子串流封裝於通常片段或相依片段中時，使用各子串流之位元組數而明確地藉訊號傳送起始點。在此，子串流代表可藉起始點而分別進行解析之串流之一部分。進而，各相依片段需要NAL單元之標頭，故可使用相依片段作為起始點之「標誌」。即，可進行對上述標誌之起始點之訊號傳輸。

可同時使用明確地藉訊號而通知起始點之方法與藉相依片段而標示起始點之方法。在此，須可確定各NAL單元之起始點(各NAL標頭之始端)。另，關於確定方法則可採用任意方法。舉例言之，可採用以下2種方法。

第一種方法乃朝各NAL標頭插入諸如3位元組之起始碼之方法。第2種方法乃將各NAL單元封包於個別之封包中之方法。且，片段具相依性，故亦可縮小片段標頭之大小。

藉該等方法，即可對熵片段進行並行CABAC解析。此則因CABAC必於熵片段之始端重新執行之故。CABAC之並行處理時，可藉連續之像素建構處理之後之並行CABAC解析而克服障礙。具體而言，可藉WPP並行化工具而以單一之處理器核心實現各LCU行之解碼處理。另，對各核心之LCU行之指配亦可不同。舉例言之，亦可對單一核心指配2行，或對2個核心指配1行。

圖3A顯示已分割成複數行之畫面300。各行包含複數之最大編碼單位(LCU)。行301(Wavefront1)及行302(Wavefront2)則為並行處理之對象。如圖3A之CABAC狀態(CABAC states)之箭號所示，在行301中起始之2個LCU解碼後，將開始行302之處理。且，行301之起始之2個LCU之編碼或解碼後之CABAC狀態將使用於行302之CABAC初始化。故而，行302之處理可在行301之起始之2個LCU之處理結束後開始進行。即，在2個處理器核心之間存在LCU2個量之延遲。

圖3B顯示採用WPP之相依片段之用例。圖3B所示之畫面310包含行311~314。在此，行311(Wavefront1)、行312(Wavefront2)及行313(Wavefront3)由不同之核心加以處理。

相依片段可實現可改善延遲之WPP。相依片段中不存在完整之片段標頭。且，若已知起始點(或由上述之規則而得知之相依片段之起始點)，則可與其它片段分離而獨立解碼相依片段。且，相依片段可實現亦適用於低延遲應用程式之WPP而不致發生編碼損失。

將子串流(LCU行)封裝於片段中之通常情況下，為確實地並行進行熵編碼及解碼，必須將明確之起始點插入片段標頭中。因此，須完全編碼片段之最後之子串流，乃可開始準備片段之傳送。且，片段中之全部子串流之編碼結束後乃完成片段標頭。即，在片段整體之處理結束前，無法藉RTP/IP層之封包分段而開始傳送片段之始端。

然而，使用相依片段時，可利用相依片段作為起始點標誌，故無須明確地藉訊號通知起始點。因此，可將通常片段分割成多數相依片段而不發生編碼損失。且，業經封裝之子串流之編碼一旦結束即(或，封包分段時則在此之前)可傳送相依片段。

又，將不減弱相依片段之空間預測之相依性。進而，亦不減弱相依片段之解析相依性。此則因對象相依片段之解析通常需要前置片段之CABAC狀態之故。

未許可使用相依片段時，則可以各LCU行作為片 段。上述構造雖可改善傳播延遲，但同時將如上述般發生較大之編碼損失。

假設將訊框(畫面)整體封裝於1個片段中。此時，為可進行並行解析，而須朝片段標頭藉訊號傳輸子串流(LCU行)之起始點。藉此，而將在訊框位準下發生傳播延遲。即，編碼訊框整體後，須修正標頭。將畫面整體封裝於1個片段中本身並不致造成傳播延遲之惡化。舉例言之，在編碼完全結束前，亦可開始進行片段之一部分之傳送。然而，採用WPP時，為記錄起始點而須稍後修正片段標頭。因此，須使片段整體之傳播延遲。

如上所述，使用相依片段，即可減少延遲。如圖3B所示，畫面310可分割成通常片段之行311、相依片段之行312、313及314。各行為1個相依片段時，則可使1行之傳播延遲而不致發生編碼損失。此則因不減弱相依片段之空間相依性，且不重新執行CABAC引擎之故。

圖4A及圖4B顯示CABAC初始化之另一例。圖4A顯示不採用WPP時之CABAC之初始化。且，未採用WPP及格塊之雙方。又，同時使用通常片段及相依片段則獲認可。

相依片段(3)將自通常片段(2)複製標頭。即，通常片段(2)為相依片段(3)之母片段。相依片段(3)並使用通常片段(2)之末端生成之內容表單。相依片段(3)並不相依於通常片段(1)而相依於通常片段(2)。即，通常片段(1)與相依片段(3)之間不存在空間預測。

圖4B顯示採用WPP時之CABAC之初始化。同時 使用通常片段、相依片段及WPP則已獲認可。

相依片段(3)將複製通常片段(2)之標頭。可預期相依片段(3)使用通常片段(1)之第2個LCU之末端生成之內容表單。然而，通常片段(2)為通常片段，故顯示無法參照通常片段(1)之第2個LCU。即，通常片段(1)在編碼順序下並非相依片段之前之前置片段，故無法加以參照。

然而，通常片段(2)可使用作為相依片段(3)及(4)之參考片段。即，相依片段(3)之解碼開始時，CABAC狀態須初始化為內定值(圖4B中以點線之箭號代表之)。相依片段(4)則使用依循上述WPP之條件之右上之第2LCU後之CABAC狀態(實線之箭號)。

圖5例示以現在之HEVC參照模型(HM8.0)為標準之片段標頭之語法。片段標頭320則包含代表對象片段為相依片段或通常片段之語法元素dependent_slice_flag。

由圖5之行321可知，dependent_slice_flag等於0時，標頭包含片段標頭資訊。即，片段包含完整之標頭。若非如此，則標頭不包含片段標頭資訊。即，如上所述，相依片段及熵片段不包含完整之片段標頭，而將參照前置之通常片段之標頭。

為支援並行處理，後續將藉訊號告知起始點。熵編碼部或熵解碼部不重新執行時，亦可使用上述起始點而對起始點間之影像串流(子串流)之一部分獨立進行並行解碼。如上所述，亦將對相依片段、通常片段及熵片段標示起始點。

HEVC採用若干並行處理工具。如上所述，上述工具乃WPP、相依片段、熵片段及格塊。然而，該等工具亦有不相容之情形，故其等之組合利用有其限制。一般而言，同時使用格塊與片段可獲認可。

但，主要設定檔中，有限制必須將1個片段分割成1個以上之整數個格塊，且，須將1個格塊分割成1個以上之整數個片段。典型而言，上述限制適用於特定之設定檔(或設定檔之特定之位準)。上述限制之目的則在減少硬體執行之複雜度。

PPS之entropy_coding_sync_enabled_flag等於1(即，採用WPP)，片段中包含之第1個編碼區塊並非格塊之編碼樹區塊所構成之行之第1個編碼樹區塊之第1個編碼區塊時，位元流符合規格之條件則為片段最後之編碼區塊附屬於與片段之第1個編碼區塊同一編碼樹區塊行。編碼樹代表將LCU之構造及分別進而將LCU歸納地分割成4區塊。即，可採用WPP時，以及，片段不始自對象LCU行之始端時，片段必須結束在對象LCU行之末端或其前。且，不僅並行處理機構，有關HEVC語法之詳情均揭露於非專利文獻3中。

上述限制則參照圖6加以說明。圖6所示之畫面330包含通常片段之片段331、332及333。片段331及332內含於1個LCU行中。片段333則跨越複數LCU行(本例中為3行)，故為不獲認可之片段。依循上述限制，片段333必須結束在第1LCU行之末端。

圖7顯示採用WPP之具有可獲認可之片段構造之畫面340。畫面340包含通常片段之片段341、342及343、相依片段之片段344。該等片段341、342及343內含於第1行之LCU行中。片段344則包含後續之2行。

片段344為相依片段，故對片段344進行之CABAC初始化將相依於其它片段341、342及/或343。片段342及343之任一如圖7所示般而為通常片段時，片段344將初始化為預設之CABAC狀態。若非如此，則可使用WPP表單。即，對象行上之LCU行之第2個LCU之處理後之CABAC狀態將使用於初始化。

本例中，如圖4B及上述CABAC初始化之相關揭露中所述，對片段344進行之CABAC將使用預定之預設之CABAC狀態而進行初始化。

如上所述，CABAC初始化乃基於複數之前置片段而進行。故而，對象片段之處理尤其解析將相依於複數之其它片段。具體而言，乃對應對象片段之前置片段之種類，而決定依內定值及WPP值之CABAC內容之任一進行初始化。如上所述，將確認可否利用前置片段，而決定適用於對象片段之初始化方法。即，需要相當複雜之順序之處理。以下，即加以詳細說明。

第1片段341至少包含2個LCU，故可參照起始之2個LCU之編碼或解碼後之CABAC狀態。

又，片段342或343遺失後，則無法正確解碼片段344。此則因無法得知片段342或343之種類，而無法進行 CABAC初始化之故。即，僅缺漏2個前置片段之相關資訊，而無法正確取得片段344時，亦無法對片段344進行CABAC之初始化，故將捨棄已正確取得之片段344之資料。故而，必須對片段344進行錯誤隱藏。如此，可能因不完全之錯誤隱藏所致之變形而造成畫質降低。

在此，片段標頭中，須對訊框中包含之全部片段決定語法元素之大部分(其等主要為特定之濾波操作等之控制之切換)。且，其中雖亦存在可就各片段而變更之語法元素，但圖像編碼裝置所進行之大部分處理將完全維持已對訊框整體決定之控制參數。故而，可採用以下之方法作為錯誤隱藏方法。該方法僅需要已遺失之片段為相依片段或通常片段之資訊。

又，順序錯亂而送達封包時，解碼延遲將惡化。即，預期封包之排整時，解碼延遲可能惡化。此則與WPP之基本目的之藉相依片段提供超低延遲相矛盾。

圖8顯示CABAC初始化處理之另一例。圖8中，已假設圖7所示之片段之構造。圖8所示之畫面350包含片段351與片段354。片段351為通常片段，並為訊框中之第1個片段，且包含4個LCU。訊框之始端上即片段351之始端上，CABAC將初始化為預設狀態值(零狀態)。另，亦可存在複複之預設狀態，此時，則由複數之預設狀態中選出一種預設狀態。另，預設狀態值意指算術碼之機率模型之預定值。

即便取得附屬於片段354之資料，因缺漏或錯誤而不存在片段342及343(參照圖7)之資料時，亦不可能解碼 片段354。此則因如上所述，若無片段342及343之資訊，則無法進行CABAC引擎之初始化之故。

圖9為取得相依片段354後所進行之初始化方法之決定處理之流程圖。換言之，該流程圖顯示CABAC初始化相依於2個以上之片段之過程。

假設對相依片段(4)(片段354)設定以下之條件。可採用WPP。SPS之dependent_slice_enabled_flag設為1，相依片段(4)之位置則滿足(式1)。

slice_address % numLCUinRow=0…(式1)

在此，「%」為模數運算(整數除法之餘數)。參數numLCUinRow代表畫面350之各行之LCU之數量。故而，(式1)之條件可以行之始端滿足之。參數numLCUinRow則可由SPS之設定加以導出。

首先，判定片段(4)是否為相依片段(S101)。若片段(4)並非相依片段(S101為否)，則進行預設之初始化。

如圖8所示，片段(4)為相依片段時(S101為是)，則將i設為3(S102)。即，將片段(4)之前之片段(3)設為片段i。

其次，判定片段i是否始自片段(4)之1行上(S103)。在此，由於i設為3，故片段i為處理對象之相依片段(片段(4))之前之片段(3)。

片段i未始自片段(4)之1行上時(S103為否)，將進行WPP之初始化(使用WPP表單之初始化)(S107)。

另，片段i若始自片段(4)之1行上(S103為是)，亦即為圖8所示之情形時，將判定片段i是否相依片段(S104)。

若片段i並非相依片段(S104為否)，接著將分析片段i之起始位置。具體而言，乃判定slice_address % numLCUinRow是否小於2(S106)。即，將判定片段i之起始位置是否在行始端或第2個LCU上。

slice_address % numLCUinRow小於2時(S106為是)，將進行WPP之初始化(S107)。而，slice_address % numLCUinRow為2以上時(S106為否)，則進行預設之初始化(S108)。

又，片段i為相依片段時(S104為是)，則分析片段i之起始位置。具體而言，乃判定slice_address % numLCUinRow是否小於3(S105)。即，將判定片段i之起始位置是否在行始端、第2個或第3個LCU上。

slice_address % numLCUinRow小於3時(S105為是)，則進行WPP之初始化(S107)。而，slice_address % numLCUinRow若為3以上(S105為否)，則不進行初始化，並使索引i減少1(S109)。即，本例中，將對象片段(片段(4))往前第二個之片段(2)設為片段i。其次，對片段(2)進行步驟S103以後之處理。且，對片段(2)亦進行了相同之判定時，則接續將片段(1)設為片段i。

圖10顯示畫面360。畫面360包含5個片段361~365。片段361為通常片段，並包含第1行整體。片段362為相依片段，並包含第2行整體。第3行則包含片段363及片段364。片段365為相依片段，並包含第4行整體。

以下，將就遺失片段364時或片段364已延遲時， 若片段364為相依片段及片段364為通常片段時之各種情形加以檢討。且，在此，片段363包含至少2個LCU。

遺失片段364後，圖像解碼裝置無法判定片段364之種類。遺失之片段364為相依片段時，重組處理中可在少量之誤差下持續進行片段365及其後之片段之解碼。此則因圖8及圖9之說明般，片段365使用片段363之第2個LCU之CABAC狀態之故。故而，CABAC初始化處理時將不致發生錯誤。然而，片段365使用來自片段364之空間預測，故像素重組處理時仍有可能發生錯誤。

另，遺失之片段364為通常片段時，將無法解碼片段365。此則因語法元素中，可能存在使用遺失之片段364之片段標頭之資訊之元素之故。即，片段364為片段365之母片段，片段365之解析及解碼需要母片段之資訊之故。

為避免遺失之片段364之片段之種類不明時，遺失之片段364若為通常片段而可能發生之錯誤解碼，圖像解碼裝置將捨棄可解碼之片段365。如此即便已正確取得片段365之資料亦將捨棄片段365，而不具效率。進而，接續片段365之相依片段亦須全部捨棄。

片段364為通常片段時，為進行片段365之解碼，CABAC引擎將初始化為預設之CABAC值(參照圖9之S101為否時)。故而，片段365將不相依於片段363。且，片段363與片段365之間將不進行空間預測。如上所述，由於CABAC於片段365之起始位置上初始化為內定值，故片段365類似通常片段。

然而，通常片段包含完整之片段標頭。而，片段365僅包含較短之片段標頭，並相依於藉前置之通常片段之片段標頭而設定之參數。即，片段365為相依片段時，雖具備可減小標頭大小之優點，但該優點並不突出。另，片段365為通常片段時，則可解碼片段365。如上所述，可推論上述情形下，與其將片段365設為相依片段，莫如加以設為通常片段將較具實益。

然而，WPP中，相依片段之目的並不在於對損失具備確實之穩健性，其目的乃在實現超低延遲下之WPP操作。而，若為即時之應用程式等跨網路之超低延遲應用程式，則可預期封包損失及封包之排整。上述情形下，最終若可取得片段364，則可解碼片段365。然而，至少將導致延遲之惡化及封包之損失。故而，在損失較大之環境中，將在並非最佳之狀態下進行WPP。

11顯示採用WPP時之CABAC初始化之相關之其它問題，並顯示畫面370。畫面370包含4個片段371~374。

片段371為通常片段，片段372則為相依片段。在此，片段371包含至少2個LCU。畫面370之第1行包含片段371及372。畫面370之第2行則包含相依片段之片段373及374。

此時，則假設圖像編碼裝置利用至少2個處理器核心。即，採用WPP時，圖像編碼裝置將並行地編碼及解析2個LCU行。故而，早在可利用片段372之前，即可利用片段373。

然而，對片段373之CABAC初始化相依於片段372，故無法開始進行片段373之解碼。因此，無法使行間之編碼或解碼之開始延遲小於1個LCU行整體。此則與將延遲減小至2個LCU之WPP之目的相矛盾。

以下說明圖11所示之片段之編碼及傳送之並行處理。處理器核心或處理器等之2個處理部可同時編碼各行之第1個片段(片段371及片段373)。一旦結束編碼，編碼後之片段371及 373將封裝於封包編號(packet_id)分別為0與4之封包中。在此，為就片段372及可能的話其它NALU確保較小之編號，將選擇封包編號4。

一旦結束片段372之編碼，則將封裝片段372於封包編號1之封包中並加以傳送。且，缺漏封包編號2及3則未判定為封包之缺漏，而生成包含對應之封包編號2與3及虛擬(虛擬)資料之2個NAL單元。

HEVC下，可藉使用filler_data SEI訊息或已確保將用於填充符資料之預定之NAL單元類型而實現之。如上所述，封包ID須就各NAL單元逐一增加時，填充符類型NALU將用於填補其差。

對象行之初始化相依於其上之行之第2個LCU。且，於第2個LCU之後插入片段後，將對CABAC初始化之決定造成影響，而成問題。基於上述分析及問題，本發明則提供可導出WPP及相依片段之利用之更有效率之關係之方法。為維持WPP之效率性而使對1行之CABAC初始化相依於他行之狀況應予以避免。

又，與上述相同之問題亦發生於使用格塊取代WPP之情形。

本發明一態樣之圖像解碼方法用於解碼包含將圖像分割成複數格塊並分割成複數片段而編碼後之編碼訊號之位元流，其包含解碼前述編碼訊號之解碼步驟，前述複數片段個別為將前述片段之片段標頭中包含之資訊使用於其它片段之通常片段，以及就解碼使用其它片段之片段標頭中包含之資訊之相依片段之任一種，通常片段始自第1格塊之始端以外時，接續前述第1格塊而編碼之第2格塊則不始自相依片段。

據此，可排除第2格塊之始端之片段參照第1格塊之始端以外之片段之情形發生，故可改善同時利用並行格塊處理及相依片段時之效率性。

舉例言之，前述解碼步驟中，並行解碼前述第1格塊及前述第2格塊，且開始進行前述第2格塊之解碼時，亦可不參照代表前述第1格塊之片段構造之分割資訊即進行前述第2格塊之解碼。

舉例言之，第3格塊之始端為前述相依片段時，前述相依片段亦可包含前述第3格塊整體。

舉例言之，前述第1格塊包含始自前述第1格塊之始端以外之片段時，前述第2格塊亦可不始自相依片段。

舉例言之，前述圖像解碼方法亦可進而包含自片段標頭取得代表片段為通常片段或相依片段之資訊之步驟。

舉例言之，亦可使前述圖像之始端片段為通常片段，並使其它全部之片段為相依片段。

舉例言之，前述圖像解碼方法亦可進而包含自前述位元流取得代表畫面之分割已受限之限制指標之步驟。

舉例言之，前述圖像解碼方法亦可進而包含自前述位元流取得代表就前述相依片段使用片段標頭之母片段是否始自格塊始端之指標之步驟。

又，本發明一態樣之圖像編碼方法用於將圖像分割成複數格塊並分割成複數片段再加以編碼而生成位元流，包含以下步驟：分割步驟，將前述圖像分割成複數格塊並分割成複數片段；及，編碼步驟，就已分割之複數格塊及複數片段加以編碼；前述複數片段個別為將前述片段之片段標頭中包含之資訊使用於其它片段之通常片段，以及就解碼使用其它片段之片段標頭中包含之資訊之相依片段之任一種，前述分割步驟中，將前述圖像分割成複數格塊並分割成複數片段，以於通常片段始自第1格塊之始端以外時，使接續前述第1格塊而編碼之第2格塊不始自相依片段。

據此，即可排除第2格塊之始端之片段參照第1格塊之始端以外之片段之情形發生，故可改善同時利用並行格塊處理及相依片段時之效率性。

舉例言之，前述分割步驟中，於圖像解碼裝置中並行解碼前述第1格塊及前述第2格塊時，當前述圖像解碼裝置開始進行前述第2格塊之解碼，亦可不參照代表前述第 1格塊之片段構造之分割資訊，即將前述圖像分割成前述複數格塊及前述複數片段以解碼前述第2格塊。

舉例言之，前述分割步驟中，第3格塊之始端為前述相依片段時，亦可將前述圖像分割成複數格塊並分割成複數片段，以使前述相依片段包含前述第3格塊整體。

舉例言之，前述分割步驟中，前述第1格塊包含始自前述第1格塊之始端以外之片段時，亦可將前述圖像分割成複數格塊並分割成複數片段，以使前述第2格塊不始自相依片段。

舉例言之，前述圖像編碼方法亦可進而包含將代表片段為通常片段或相依片段之資訊嵌入片段標頭中之步驟。

舉例言之，亦可使前述圖像之始端片段為通常片段，並使其它全部之片段為相依片段。

舉例言之，前述圖像編碼方法亦可進而包含將代表畫面之分割已受限之限制指標嵌入前述位元流之步驟。

舉例言之，前述圖像編碼方法亦可進而包含將代表就前述相依片段使用片段標頭之母片段是否始自格塊始端之指標嵌入前述位元流中之步驟。

又，本發明一態樣之圖像解碼裝置用於解碼包含將圖像分割成複數格塊並分割成複數片段再加以編碼而成之編碼訊號之位元流，其包含用於解碼前述編碼訊號之解碼部，前述複數片段個別為將前述片段之片段標頭中包含之資訊使用於其它片段之通常片段，以及就解碼使用其它 片段之片段標頭中包含之資訊之相依片段之任一種，通常片段始自第1格塊之始端以外時，接續前述第1格塊而編碼之第2格塊則不始自相依片段。

據此，可排除第2格塊之始端之片段參照第1格塊之始端以外之片段之情形發生，故可改善同時利用並行格塊處理及相依片段時之效率性。

又，本發明一態樣之圖像編碼裝置用於將圖像分割成複數格塊並分割成複數片段再加以編碼而生成位元流，包含有：分割部，可將前述圖像分割成複數格塊並分割成複數片段；及，編碼部，可就已分割之複數格塊及複數片段加以編碼；前述複數片段個別為將前述片段之片段標頭中包含之資訊使用於其它片段之通常片段，以及就解碼使用其它片段之片段標頭中包含之資訊之相依片段之任一種，前述分割部則在通常片段始自第1格塊之始端以外時，將前述圖像分割成複數格塊並分割成複數片段，以使接續前述第1格塊而編碼之第2格塊不始自相依片段。

據此，即可排除第2格塊之始端之片段參照第1格塊之始端以外之片段之情形發生，故可改善同時利用並行格塊處理及相依片段時之效率性。

又，本發明一態樣之圖像編碼解碼裝置包含前述圖像編碼裝置及前述圖像解碼裝置。

另，以下所說明之實施形態均說明本發明之一具體例。以下之實施形態所說明之數值、形狀、材料、構成要素、構成要素之配置位置及連接形態、步驟、步驟之順 序等均屬例示，意義不在限定本發明。且，以下之實施形態之構成要素中，代表最上位概念之獨立請求項所未揭露之構成要素將予以說明為任意之構成要素。

(第1實施形態)

本第1實施形態之圖像編碼方法及圖像解碼方法中，將追加用於明示CABAC初始化之指標。

圖12顯示第1實施形態之片段標頭之語法。片段標頭380包含含有新的語法元素「entropy_default_initialization_flag」之新行381。

上述entropy_default_initialization_flag乃代表已設為預定值時，片段之CABAC依CABAC預設(預定)值而初始化之指標。上述旗標乃包含代表片段依預設CABAC值而初始化之「1」等第1值及代表依其它方法進行初始化之「0」等第2值之1位元之指標。另，「1」及「0」之值之指配亦可互換。

初始化決定之「其它方法」亦可為基於前置片段之值之初始化等預定之方法。然而，「其它方法」亦可包含與圖9所示之流程類似之其它決定流程，藉此，亦可能導出使用預設CABAC值之初始化方法。

本實施形態之圖像解碼裝置可解碼包含至少已一部分藉算術碼而編碼之圖像片段之編碼影像序列之位元流。前述圖像解碼裝置包含：可自前述片段之位元流資料中擷取代表片段之算術解碼之機率模型是否依預定值而初始化之初始化指標之解析部、可依據前述初始化指標而控 制是否依前述預定值而進行算術解碼用之前述機率模型之初始化之控制部、可進行算術解碼以解碼前述片段之算術解碼部。

舉例言之，算術碼亦可為HEVC所定義之內容適應性算術碼。然而，本發明不受此限。

預定值意指圖像編碼裝置及圖像解碼裝置中已知之內定值，將不因業經編碼之內容而改變。

上述初始化指標宜意指1位元旗標，「1」位元旗標中，「1」代表算術解碼之機率模型依預定值而初始化，「0」則代表算術解碼之機率模型依其它方法而初始化。

上述指標僅在對象片段為相依片段時乃有存在之必要。此則因若為通常片段，初始化將使用CABAC內定值(參照圖9之S101為否時)。故而，確認條件dependent_slice_flag==1，即可先分析對象片段是否相依片段。

又，初始化指標(旗標)在進行片段與其片段之並行處理時較具實益。舉例言之，並行處理亦可為WPP。故而，僅在條件之entropy_coding_sync_enabled_flag==1為真時，圖12所示之片段標頭之語法乃包含初始化指標entropy_default_initialization_flag。

又，初始化指標僅在片段始自LCU行之始端時乃適用。此則因僅有此時乃可能進行並行處理，故須進行CABAC之即時之初始化之故。其在圖12所示之語法中由條件slice_address % PicWidthInCtbsY==0代表之。

如上所述，語法元素「slice_address」藉位元流中包含之偏移而代表片段之起始。「PicWidthInCtbsY」則以編碼樹區塊之單位(LCU)之數量代表訊框之寬度。

如行381所示，上述3條件之邏輯積將使用於判定。即，僅在以下之(式2)為真時，將為明確藉訊號告知初始化方法，而傳送entropy_default_initialization_flag。

dependent_slice_flag==1 && entropy_coding_sync_enabled_flag==1 && slice_address % PicWidthInCtbsY==0…(式2)

(式2)非為真時，則基於通常之方法，即，基於WPP規則而進行初始化。

即，本實施形態之圖像編碼方法及圖像解碼方法可將圖像之片段分割成圖像之像素區塊所對應之編碼單位，解析部則僅在片段為相依片段時乃擷取標頭資料中包含之初始化指標。相依片段之算術解碼部將基於各相依片段所對應之母片段之算術解碼部之內容而進行初始化。

又，僅在可進行依編碼單位而構成之行之並行解碼時，解析部亦可擷取標頭資料之初始化指標。

即，依據本實施形態，將圖像之片段分割成圖像之像素區塊所對應之編碼單位，解析部僅於片段始自圖像之編碼單位區塊所構成之行之始端時，乃擷取標頭資料之初始化指標。

圖13為本實施形態之片段之CABAC初始化之決定方法之流程圖。圖13已假設圖8所示之畫面350之情形。 若假設為片段(4)(片段354)與片段(1)(片段351)之並行解析，則將進行以下之決定。

首先，判定片段(4)是否為相依片段(S111)。片段(4)為相依片段，且，其它條件(已進行行之並行處理，且片段始自LCU行之始端)已滿足時(S111為是)，為決定初始化之執行方法，將確認初始化指標「entropy_default_initialization_flag」(S112)。

依據entropy_default_initialization_flag，而顯示應用預設之初始化時(S112為否)，將應用預設之初始化(S114)。另，依據entropy_default_initialization_flag而未顯示應用預設之初始化時(S112為是)，則應用參照前置片段之WPP之初始化(S113)。

另，本實施形態不限於在片段標頭內進行初始化指標之訊號傳輸。亦可對其它資料構造諸如附加延伸資訊訊息中嵌入相同之指標。

(第2實施形態)

依據第1實施形態，可實現WPP及相依片段等之並行LCU行處理之有效率之處理。另，可將新語法元素加入片段標頭中。相對於此，為避免新語法元素之追加，亦可修正初始化規則，而實現對並行處理中之片段之CABAC初始化之獨立性。

本實施形態中，將修正相依片段之定義以及圖像編碼裝置及圖像解碼裝置對相依片段之動作。此則可藉對位元流之規格追加限制而實現。

即，本實施形態之圖像解碼裝置可解碼包含已分割成複數之編碼單位並至少一部分可藉算術碼而編碼之複數圖像片段之編碼影像序列之位元流。前述圖像解碼裝置包含可自位元流擷取依編碼單位而構成之第1行及第2行之解析部，第2行之第2片段之對應之算術解碼部之初始化時，亦可不參照第1行之第1片段之分割資訊，即可對片段指配第1行及第2行之編碼單位。第1行之第1片段之起始位置在第2行之第2片段之後之預定之編碼單位數之處。前述圖像解碼裝置進而包含可就前述第1片段及前述第2片段之至少一部分進行並行算術解碼，而解碼前述各片段之算術解碼部。

圖14顯示本實施形態之功能，並顯示已分割成複數片段之畫面390。畫面390包含4個片段之通常片段391、通常片段392、相依片段393、通常片段394。

3個片段391、392及393包含於編碼單位(LCU)所構成之第1行中。片段394則包含第2行及第3行整體。

片段化及行單位之並行處理之使用所適用之限制之第1例為「entropy_code_sync_enabled_flag等於1，dependent_slice_enabled_flag等於1時，通常片段亦可僅始自編碼樹區塊行之始端」。且，entropy_code_sync_enabled_flag及dependent_slice_enabled_flag之雙方之旗標包含於圖像參數集中。另，編碼樹區塊(CTB)及最大編碼單位(LCU)乃相同之單位。標準文本(參照非專利文獻3)已使用CTB。且， 標準文本之先前版本雖使用LCU，但目前使用CTB。

通常片段僅始自編碼單位行(LCU行)之始端時，接續他行之前述通常片段之相依片段亦可經常參照通常片段之CABAC狀態。在此，CABAC狀態意指藉WPP而執行之起始之LCU或起始之2個LCU之處理後之CABAC狀態。且，相依片段之標頭相依於其等之前之通常片段之標頭，故遺失通常片段394後，必須捨棄相依片段。

上述第1例之限制無須嚴格加以限制。為可應用WPP之初始化，使相依片段可利用前行之通常片段之至少1個或2個LCU即可。

或，亦可應用第2例作為其它限制(規則)。第2例中，通常片段不始自編碼樹區塊行之第2個編碼樹區塊之後。通常片段必須始自LCU行之始端，故舉例言之，如圖14所示，將第2個片段392設為通常片段將不獲認可。

另，上述第1片段意指起始位置在第1行之第2個編碼單位之前即可。又，第1片段為通常片段，第2片段亦可為使用通常片段之片段標頭之相依片段。又，第1片段之起始位置亦可為第1行之始端。

圖15為設有上述規則時之CABAC初始化方法之決定處理之流程圖。在此，則使用圖8所示之例進行說明。

首先，判定片段(4)是否相依片段(S111)。片段(4)為相依片段時(S111為是)，將進行WPP之初始化(S113)。另，片段(4)不為相依片段時(S111為否)，則進行預設之初始化(S114)。

如上所述，本實施形態之圖像編碼方法使用內容適應性熵編碼部。前述圖像編碼方法適用於分割成至少2部分之畫面訊框。至少2部分意指可個別進行至少一部分之並行編碼及解碼之第1部分及第2部分。

依據本實施形態，子串流之第1部分分割成片段時，串流之第2部分之內容表單之初始化將藉不相依於第1部分之分割之方法而決定。舉例言之，就各行(各LCU行)而進行WPP，故亦可使串流之一部分與LCU行對應。

另，本發明並不受限於以上所例示之限制。或，亦可藉不同之方法將上述限制公式化。以下，即說明限制之他例。

通常片段滿足以下之(式3)之條件時，始自後續LCU行之始端之片段則不為相依片段。

slice_adress % PicWidthInCtbsY>1…(式3)

為求簡化，上述條件亦可藉以下之(式4)代表之。

slice_adress % PicWidthInCtbsY！=0…(式4)

在此，「！=」代表並不等於。entropy_coding_sync_enabled_flag等於1時，即，可進行LCU行之並行處理時，即可應用該等限制。且，「slice_adress」代表始自位元流內之片段之位置，參數「PicWidthInCtbsY」則代表LCU(編碼樹區塊)之畫面(訊框)之寬度。

即，通常片段不始自行之始端時，始自其所接續之行之片段則不為相依片段(第3例)。依據該條件，即無須等到第1行之某位置之通常片段之解析(解碼)時乃進行第2 行之片段之解碼。

上述第3例之限制所造成之影響則參照圖16加以說明。圖16所示之畫面400內含第1行中包含之3個片段401~403。該等3個片段中起始之2個片段401及402為通常片段，第3個片段403則為相依片段。

依據上述條件，則無法將第4個片段404設為相依片段。圖16中，於片段404上設有X記號以代表之。

故而，位元流亦可包含通常片段及相依片段，其等之解碼則基於通常片段之片段標頭中藉訊號傳輸之參數而進行。通常片段始自LCU行之始端之後之位置時，接續之LCU行則不始自相依片段。

參照圖17以說明第4例之限制。entropy_coding_sync_enabled_flag等於1，且，dependent_slice_enabled_flag等於1時，訊框中之起始之片段以外之通常片段將不獲認可(第4例)。

即，可進行並行處理且相依片段有效時，通常片段僅可獲認可作為訊框中之起始片段。即，除起始片段以外，訊框中之全部片段均為相依片段。

圖17所示之畫面410包含5個片段411~415。片段411、412及415為通常片段，片段413及414則為相依片段。依循上述第4例之限制，除第1個通常片段411以外之通常片段412及415均不獲認可。即，片段412及415須為相依片段。

另，採用上述第4例之限制時，則有關於相對於封包損失之穩健性之缺點存在。為減少相依性，且，為減 少損失較多之環境中之錯誤擴散，一般將使用通常片段。且，僅有第1個片段為通常片段之訊框中，無法解碼第1個片段時，將面臨無法解碼全部之片段之風險。

又，亦可採用以下之限制作為其它限制。片段(通常或相依片段)始自LCU行之正中央(即，與行之起始位置不同之位置)時，接續之編碼單位行將不始自相依片段(第5例)。

另，前述技術領域之從業人員自當明白，可任意組合此所揭露之複數限制。即，亦可組合上述第1例~第5例而加以應用。

進而，以下就其它限制加以舉例。entropy_coding_sync_enabled_flag等於1時，無法將1個LCU行分割成片段(第6例)。應用該限制時，在圖17所示之片段構造中，片段412及413將不獲認可。即，可進行編碼單位行之並行處理時，片段僅可獲認可包含1個編碼單位行整體或複數之編碼單位行整體。

如上所述，位元流包含通常片段及相依片段。通常片段及相依片段之解碼則基於在通常片段之片段標頭中藉訊號傳輸之參數而進行，僅以圖像中第1個片段作為通常片段，並使其餘片段均為相依片段後，再將圖像分割成片段。

又，各片段包含m行之編碼單位行之全部。在此，m為1以上之整數。

又，相依片段有效而WPP及格塊之任一有效時， 亦可將代表上述限制之指標嵌入位元流中，以附加於上述限制之應用或加以取代。舉例言之，可將上述指標嵌入SPS或PPS中。另，亦可將上述指標嵌入SEI訊息等其它訊息或任意之視訊可用資訊(VUI)訊息中。

基於上述指標，圖像解碼裝置即可掌握所應用之限制。舉例言之，上述限制乃僅認可LCU行(WPP)之始端或格塊之始端之通常片段之限制。而，其純屬限制之一例，亦可應用上述任一限制或該等限制之組合或未明確地揭露之追加限制。

舉例言之，上述指標亦可為就預定之限制顯示是否適用上述限制之1位元之旗標。且，亦可存在可選擇之複數限制，代表選出之限制之資訊則包含於位元流中而藉訊號傳輸至圖像解碼裝置。即，亦可如上述之例所示，並非明確地限制使用，而對圖像解碼裝置通知圖像編碼裝置使用上述之限制。因此，亦可應用關於限制之上述任一例。

另，亦可不對應WPP或格塊是否有效化而決定指標之追加與否。

如上所述，本發明可在並行處理時，藉已考量前置片段之CABAC初始化而避免相依片段處理延遲2個以上或3個以上之編碼單位量。藉此，而可有效率地並行處理行之編碼、解碼及解析。

另，本發明不受限於限制片段化之方法之實施形態。且，上述限制亦不與可取得CABAC內容之片段有關。

(第3實施形態)

本實施形態中，將變更對WPP處理時之相依片段之CABAC初始化方法。具體而言，乃變更母片段對相依片段之指配規則。

舉例言之，可不拘對片段之LCU行之分割(及/或後續片段之種類)，而設定可使相依片段維持自同一片段取得片段標頭及CABAC內容之規則。

圖18所示之畫面420包含片段421~424。現在之HEVC下，相依片段424之母片段為片段422。即，相依片段424之片段標頭自前置之最近之通常片段之片段422取得而來。

如已參照圖9之說明，相依片段亦可能使用位在前置之LCU行之始端之通常片段而進行CABAC初始化。然而，遺失片段422後，雖可進行相依片段424之CABAC之初始化，但因片段標頭資訊缺漏，故無法解碼相依片段424。

相對於此，本實施形態中，相依片段包含始自與包含相依片段之行同一行或其前行之最近之通常片段作為母片段。依循上述規則，本實施形態中，如圖19所示，將相依片段424之母片段設為片段421。其次，相依片段424即可使用片段421之片段標頭，並使用片段421之CABAC狀態而進行CABAC初始化。

又，各相依片段之算術解碼部可設定片段之相依性，以基於母片段之算術解碼部之內容而進行初始化。

另，代表使用於片段之初始化之CABAC內容表單之資訊亦可在SEI訊息中明確地藉訊號而進行傳輸。即， 亦可明確地在SEI訊息內藉訊號傳輸被認為使用於CABAC引擎之初始化之全部初始值。

(第4實施形態)

本實施形態中，將說明採用格塊而非WPP之情形。

使用格塊而非WPP時，亦將發生已就WPP說明之上述問題。然而，CABAC內容表單之初始化意指將CABAC內容表單設為預設初始值或先前已記憶之值之任一種。使用格塊時，(即便格塊始自相依片段)CABAC內容表單將維持在格塊之始端初始化為內定值。

然而，通常片段出現於格塊之正中央時，可能修正上述片段標頭中包含之若干語法元素。上述語法元素意指諸如代表取樣自適應偏移處理之斷續之旗標。上述旗標為「續」時，CABAC引擎將解析片段資料，同時就參數進行濾波。如上所述，此與CABAC引擎之狀態控制相關。以下則將加以詳細說明。

圖19顯示本實施形態之片段標頭之語法。上述片段標頭包含有關相依性之指標之dependent_slice_flag。

圖20顯示已分割成2個格塊501及502之畫面500。如圖20所示，格塊依垂直線而分割畫面，則與片段不同。一般而言，可將畫面分割成複數格塊。格塊之分割資訊則包含於畫面相關之圖像參數集(PPS)中而藉訊號傳輸之。

如上所述，格塊為可實現並行處理之工具之一種。即，亦可並行解碼複數格塊。另，格塊之重組後，最 後可於格塊邊界上進行一般之迴路濾波處理。

圖像參數集包含幀內之格塊數量及位置之相關資訊。就格塊間之空間預測不獲認可方面，格塊則與片段類似。在此，「空間預測」乃幀內預測、移動向量預測或參數之參照。在此，參數意指取樣自適應偏移參數、畫面相關之其它參數或其它格塊之相關參數。

熵編碼部及熵解碼部將於各格塊之始端重新執行。

圖21A顯示編碼樹區塊或最大編碼單位等編碼單位之處理順序。上述順序亦稱為鋸齒形掃描(Z-scan)或循序掃描。圖21A顯示格塊並非有效之情形。換言之，乃就1畫面設定1格塊之情形。另，亦可使WPP為有效。

圖21B顯示包含藉邊界513而分割之2個格塊511及512之訊框。訊框內存在2個以上之格塊時之處理順序則決定如下。

首先，就LCU依據上述通常之循序掃描順序而決定全部之格塊之順序。此為圖21B中始自格塊511而終於格塊512之順序。

其次，採用圖21B之箭號所示之通常之循序掃描順序，而決定各格塊內之LCU之順序。最後，則使各格塊最後之LCU與後續格塊之起始之LCU連結。藉此，即可決定圖21B所示之順序。另，處理順序之細節則揭露於諸如非專利文獻3中。

片段中則採用LCU掃描順序。因此，編碼順序中 片段A在片段B之前時，意指片段A之全部LCU在片段B之全部LCU之前。

另，使用格塊時，將依與僅使用片段時(未使用格塊時)所適用之順序不同之順序掃描編碼單位。具體而言，僅使用片段時，將藉所謂鋸齒形掃描而掃描幀內之編碼單位。鋸齒形掃描一旦始自幀內之左上之編碼單位，將朝右方掃描第1行，並掃描至第1行之右端而結束，再自第2行之左端之編碼單位掃描至第2行之右端之編碼單位。依上述順序而掃描至最後一行之最後之編碼單位。

片段構成鋸齒形掃描順序下之連續數之編碼單位時，其效率甚高。然而，使用格塊時，編碼單位之編碼或解碼順序則與上述順序不同。具體而言，乃在各格塊內依鋸齒形掃描順序而進行掃描。即，鋸齒形掃描順序之掃描將不跨越格塊而進行。故而，格塊中包含之編碼單位之編碼或解碼將始自格塊之左上之編碼單位，並結束於該格塊之右下之編碼單位。且，幀內之格塊亦將如上述般依鋸齒形掃描順序而排序。

現在之HEVC標準化已設有組合格塊與片段而加以使用之相關限制。具體而言，片段僅可獲認可包含整數之完整之格塊。且，格塊僅可獲認可包含整數之完整之片段。

語法元素tiles_enabled_flag包含於作為序列參數集(SPS)之一部分之位元流之語法內。將上述語法元素設為邏輯值「1」，即可使用格塊。

使用格塊時，則無法採用WPP。故而，使用格塊時，用於控制WPP之採用之SPS之語法元素entropy_coding_sync_enabled_flag將設為邏輯值「0」。

圖22A~22C說明同時使用格塊與片段時之限制。如圖22A所示，片段分割成2個格塊可獲認可。本例中，片段(1)包含畫面整體，並分割成大小相同之2個格塊。

圖22B所示之例中，畫面已分割成2個格塊。且，各格塊已分割成2個片段。具體而言，畫面乃先分割成格塊1及格塊2。格塊1與格塊2分別包含畫面之左半部與右半部。格塊1則分割成片段1及片段2之2個片段，而格塊2分割成片段3及片段4之2個片段。

圖22C顯示不獲認可之片段及格塊構造。本例中，片段1包含於格塊1及格塊2之雙方內。另，片段2僅存在格塊2內。故而，格塊1與格塊2均不包含整數之完整之格塊。同樣地，片段1與片段2均不包含整數之完整之格塊。

片段與格塊之同時使用時，可應用上述之規則。然而，該等規則並未就使用於不同種類之片段之情形進行具體之檢討。即，並未檢討片段為通常片段或相依片段。

圖23即例示將畫面分割成格塊及片段。該分割依循上述限制而已獲認可。上述分割相當於圖22B之例。且，格塊1中包含之片段521及522為通常片段。格塊2中包含之片段523及524則為相依片段。

圖24顯示就幀內之編碼單位之處理，尤其就編碼單位之解碼或編碼，使用單核心時之掃描順序。如圖24所 示，未採用格塊分割時，單核心將依鋸齒形掃描順序而解碼編碼單位。

然而，CABAC引擎將依據格塊之定義即格塊邊界而進行重新初始化。即，為進行後續之初始化，須預先記憶格塊之邊界之CABAC狀態。如上所述，單核心解碼步驟須於位元流中跳越。此則因格塊分割將改變編碼單位之編碼順序之故。

又，相依片段有效時，單核心解碼將更為複雜。圖23所示之已分割之畫面之解碼即例示如下。

第1步驟中，將解碼片段521之編碼單位行第1行。第2步驟中，則解碼片段522之片段位址。片段位址包含於片段標頭中而藉訊號進行傳輸。片段位址由LCU數代表之，並顯示片段所起始之位元流內之位置。且，片段位址與格塊2中包含之第一個編碼單位不同。

第3步驟中，將解碼片段523。片段位址雖正確，但該片段為相依片段。故而，片段523將使用格塊1中包含之片段522之片段標頭。因此，解碼處理將跳越至片段522而返回並解碼其標頭。其次，解碼處理將返回片段523之解碼，故將跳越而繼續進行。然後，將開始片段523之解碼。

由上述之簡例可知，圖像解碼裝置須於位元流內跳越而返回後部或往前，格塊2之解碼開始時，須進行追加之確認。此則因使用相依片段而於格塊間發生相依性之故。

相對於此，本實施形態則可實現使相依片段及格塊之有效應用成真之方法。具體而言，就畫面加以分割成 片段及格塊之作業設有限制，即可在通常之順序下確實進行適當之編碼及解碼。

本實施形態之圖像解碼裝置可解碼包含分別內含複數圖像片段及圖像格塊之複數訊框之編碼影像序列之位元流。各圖像片段及各圖像格塊則包含複數編碼單位。前述圖像解碼裝置包含可自位元流擷取(解析)格塊1及接續格塊1而編碼之格塊2之解析部。藉算術解碼部而進行格塊2之解碼時，不須使用格塊1之分割資訊，即可將訊框分割成片段及格塊。

前述圖像解碼裝置進而包含可藉至少一部分之格塊1及格塊2之並行算術解碼，而解碼片段之算術解碼部。

又，本實施形態之圖像編碼裝置可至少一部分使用算術碼，而將包含已分割成複數編碼單位之複數圖像片段之影像編碼於位元流中。

前述圖像編碼裝置包含可朝前述位元流嵌入第1格塊及接續前述第1格塊而編碼之第2格塊之位元流生成部，以及在藉算術解碼部而解碼前述第2格塊時，不須使用前述第1格塊之分割資訊即可將前述各訊框分割成前述片段及前述格塊，並就前述第1格塊及前述第2格塊之至少一部分進行並行算術編碼，而編碼前述各片段之算術編碼部。

本實施形態之第1例中，若格塊為有效，同時可利用相依片段，則通常片段僅始自格塊之始端。即，tiles_enabled_flag等於1，且同時dependent_slice_enabled_flag等於1時，各通常片段必須始 自格塊之起始位置。

在此，tiles_enabled_flag及dependent_slice_enabled_flag之雙方包含於圖像參數集中。

另，dependent_slice_enabled_flag等於0時，將僅使用通常片段。藉此，即可避免上述之問題。此則對應圖22B所示之畫面中，全部片段均為通常片段之情形。

如上所述，第1例中，就其它片段使用標頭之片段(通常片段)將維持始自格塊之始端。換言之，圖像之始端片段為通常片段，其它片段則為相依片段。即，通常片段僅可獲認可作為圖像之始端片段。且，始端以外之片段則維持為相依片段。舉例言之，圖25C所示之畫面雖可獲認可，但圖25B所示之畫面則不獲認可。

本實施形態之第2例中，若格塊為有效，而通常片段始自格塊之起始位置以外之位置，則接續而編碼之格塊將不始自相依片段。即，tiles_enabled_flag等於1，而slice_address等於格塊之起始位址時，接續之格塊將不始自相依片段。

藉此，而如參照圖23之說明般，在解碼片段523時，將不發生跳越而返回片段522之片段標頭之處理。即，片段523將不獲認可作為相依片段。此則因片段522始自格塊內而非格塊之起始位置之故。

故而，本實施形態中，就其它片段使用標頭之片段(通常片段)不始自格塊之始端時，接續該格塊而編碼之格塊將不始自就解碼使用其它片段之標頭之片段(相依片段)。

如上所述，第2例中，通常片段始自第1格塊之始端以外時，接續前述第1格塊而編碼之第2格塊將不始自相依片段。即，第1格塊之第2個或其後之片段中至少一個為通常片段時，第2格塊之始端片段則為通常片段。

舉例言之，如圖25A所示，格塊1中包含之通常片段(3)存在時，無法將格塊2之始端片段(4)設為相依片段。且，片段(2)及片段(3)之至少一方為通常片段時，無法將片段(4)設為相依片段。故而，如圖25B所示，須將片段(4)設為通常片段。且，第2例中，亦認可圖25C所示之畫面。

本實施形態之第3例中，格塊始自相依片段時，完整之格塊即包含於相依片段中。即，格塊始自就解碼使用其它片段之標頭之片段時，格塊整體即包含於前述片段內。

如上所述，第3例中，第3格塊之始端為相依片段時，前述相依片段包含第3格塊整體。換言之，第3格塊僅包含一個相依片段。舉例言之，如圖26A所示，格塊2始自相依片段(4)時，將不認可格塊2包含複數片段。故而，如圖26B所示，格塊2須僅包含一個相依片段(4)。

本實施形態之第4例中，tiles_enabled_flag等於1，片段(通常片段或相依片段)始自格塊之正中央時，接續而編碼之格塊將不始自相依片段。另，在此，「格塊之正中央」並非實際之正中央，而意指片段之第一個CTB並非格塊之第一個CTB。即，「格塊之正中央」意指格塊內。

即，片段不始自格塊之始端時，接續而編碼之格 塊將不始自使用其它片段之標頭之片段。換言之，第1格塊包含始自第1格塊之始端以外之片段時(第1格塊包含複數片段時)，第2格塊將不始自相依片段。舉例言之，如圖27A所示，格塊1包含複數格塊時，則不認可將格塊2之始端片段(4)設為相依片段。故而，如圖27B所示，須將格塊2之始端片段(4)設為通常片段。

另，亦可組合有關格塊之本實施形態及其它實施形態，並組合特定之規則及限制。

又，本實施形態之他例則在tiles_enabled_flag等於1時，不許可相依片段。即，雖認可同時使用相依片段與WPP，但其與格塊同時使用則不獲認可。藉此，而可避免使用格塊時之其他問題。即，使用格塊時，片段將不就解碼使用其它片段之標頭。

又，亦可於相依片段為有效且WPP及格塊任一為有效時，將代表上述限制之指標嵌入位元流中，而附加於上述限制之應用以外或加以取代。舉例言之，可將上述指標嵌入SPS或PPS中。另，上述指標亦可嵌入SEI訊息等其它訊息或任意之視訊可用資訊(VUI)訊息中。

基於上述指標，圖像解碼裝置則可掌握所應用之限制。舉例言之，上述限制乃通常片段亦可僅始自格塊之始端(或者，若為WPP時，則始自LCU行之始端)之限制。另，其純屬限制之一例，亦可應用上述任一限制或該等限制之組合或未明確地揭露之追加之限制。

舉例言之，上述指標亦可為代表就預定之限制顯 示是否應用上述限制之1位元之旗標。且，亦可存在可選擇之複數限制，代表選出之限制之資訊則包含於位元流中而藉訊號傳輸至圖像解碼裝置。即，亦可非如上述之例般明確地限制使用，而對圖像解碼裝置通知圖像編碼裝置使用上述之限制。因此，亦可應用關於限制之上述任一例。

如上所述，本發明一態樣之圖像解碼方法包含自位元流取得代表畫面之分割已受限之限制指標之步驟。且，本發明之一態樣之圖像編碼方法包含可將代表畫面之分割已受限之限制指標嵌入位元流中之步驟。

另，是否追加指標，亦可不視WPP或格塊是否有效化而決定。且，追加指標時，相依片段亦可未有效化。即，亦可不拘相依片段之利用之有效及無效，即追加指標。

又，亦可對位元流追加代表對象片段之母片段始自格塊之始端之指標。即，本發明一態樣之圖像解碼方法包含自位元流取得代表就相依片段使用片段標頭之母片段是否始自格塊始端之指標之步驟。且，本發明一態樣之圖像編碼方法包含將代表就相依片段使用片段標頭之母片段是否始自格塊始端之指標嵌入位元流之步驟。

又，亦可對位元流追加代表畫面中包含之全部片段使用相同之片段標頭之指標。即，上述指標代表存在於通常片段之標頭中且不存在相依片段之標頭中之語法元素之全部相對於畫面中包含之全部片段而為同一。

如上所述，亦可使位元流中包含代表畫面之分割已因預定之規則而受限之限制指標。

又，代表對象片段之母片段是否始自格塊之始端之指標亦可嵌入位元流中。在此，母片段之標頭則使用於對象片段。

又，本發明一態樣之圖像解碼方法用於解碼包含已將圖像分割成複數格塊並分割成複數片段再加以編碼後之編碼訊號之位元流，其包含解碼前述編碼訊號之解碼步驟。且，本發明一態樣之圖像編碼方法可將圖像分割成複數格塊並分割成複數片段再加以編碼而生成位元流，其包含將圖像分割成複數格塊並分割成複數片段之分割步驟，以及就已分割之複數格塊及複數片段加以編碼之編碼步驟。

又，複數片段個別為通常片段與相依片段之任一種。通常片段為可能將前述片段之片段標頭中包含之資訊使用於其它片段之片段。相依片段為就解碼使用其它片段之片段標頭中包含之資訊之片段。在此，其它片段意指諸如位在相依片段之前且最近之通常片段。

又，分割步驟中，則將圖像分割成複數格塊並分割成複數片段，以滿足上述之1種或複數之限制。

又，解碼步驟中，亦可並行解碼第1格塊及第2格塊，並於第2格塊之解碼開始時，不參照代表第1格塊之片段構造之分割資訊，即解碼第2格塊。且，分割步驟中，亦可於圖像解碼裝置中進行第1格塊及第2格塊之並行解碼時，當前述圖像解碼裝置開始進行第2格塊之解碼，即將圖像分割成複數格塊並分割成複數片段，以解碼第2格塊而不 參照代表第1格塊之片段構造之分割資訊。

在此，分割資訊意指諸如代表片段位置(始端位置)或片段標頭之位置之資訊。圖像解碼裝置則可參照上述分割資訊而進行跳越上述處理對象之格塊之處理。

又，如上所述，片段標頭中包含代表前述片段為通常片段或相依片段之資訊(dependent_slice_flag)。即，圖像解碼方法包含自片段標頭取得代表片段為通常片段或相依片段之資訊之步驟。且，圖像編碼方法包含將代表片段為通常片段或相依片段之資訊嵌入片段標頭之步驟。

又，採用WPP時，格塊亦將發生與以上檢討相同之問題。故而，上述解決法亦可適用於格塊。格塊有效化而取代WPP時，並行處理之部分則為LCU所構成之格塊而非LCU行。即，上述解決法將LCU行替換為格塊，而可直接利用格塊。

如上所述，位元流亦可包含通常片段及相依片段，其等之解碼則基於通常片段之片段標頭中藉訊號傳輸之參數而進行。

本發明一態樣中，通常片段不始自格塊之起始位置時，相依於通常片段之相依片段可應用不可接續前述通常片段之限制。

又，本發明一態樣中，可應用將圖像分割成片段之限制，以僅使圖像中包含之第1個片段為通常片段，其餘之片段則為相依片段。

又，各相依片段之算術解碼部使用母片段之片段 標頭，將發生片段之相依性。

又，本發明一態樣中，可應用相依片段時，將朝位元流嵌入限制指標。前述相依片段則為包含編碼圖像資料，並使用其它片段之標頭之參數之片段。

又，限制亦可為上述任一限制、上述限制之組合或以上例示之限制以外之限制。

又，本發明一態樣之裝置可解碼包含至少一部分已藉算術碼而編碼之複數圖像片段及複數之圖像格塊之編碼影像序列之位元流，其包含有：解析部，可自前述位元流之前述片段用之資料擷取代表片段之算術解碼之機率模型是否依預定值而初始化之初始化指標；控制部，可控制是否依循前述初始化指標並依前述預定值而進行算術解碼用之前述機率模型之初始化；及，算術解碼部，可進行算術解碼以解碼前述片段。

又，本發明一態樣之裝置可就包含複數圖像片段之影像序列之至少一部分藉算術編碼加以編碼而生成位元流，其包含有：位元流生成部，可將代表片段之算術解碼之機率模型是否依預定值而初始化之初始化指標嵌入前述位元流資料之前述片段用之資料中；控制部，可控制是否依循前述初始化指標並依前述預定值而進行算術編碼用之前述機率模型之初始化；及，算術解碼部，可進行算術編碼以編碼前述片段。

舉例言之，前述初始化指標可嵌入前述片段之標頭資料中。

舉例言之，前述初始化指標為1位元旗標。前述1位元旗標中，「1」代表依預定值初始化算術解碼之機率模型，「0」則代表依其它方法初始化算術解碼之機率模型。

舉例言之，亦可將圖像之片段分割成圖像之像素區塊對應之編碼單位，亦可僅在片段為使用其它片段之標頭之參數之片段之相依片段時，解析部乃擷取標頭資料中之初始化指標。

舉例言之，亦可僅在可進行格塊之並行解碼時，解析部乃擷取標頭資料之初始化指標。或者，亦可僅在片段始自格塊始端時，解析部乃擷取標頭資料之初始化指標。

舉例言之，初始化指標可嵌入片段標頭之外之SEI訊息中。

另，以上說明所使用之「片段(通常片段或相依片段)」亦稱為片段區段(通常片段區段或相依片段區段)。此時，包含1個以上之連續之片段區段之單位稱為「片段」。具體而言，一個片段包含一個通常片段區段及前述通常片段區段之後之連續之1個以上之相依片段區段。即，某個通常片段區段之後為通常片段區段時，片段僅包含前述通常片段區段。且，某通常片段區段之後存在連續之1個以上之相依片段時，片段則包含前述通常片段區段及前述1個以上之相依片段區段。即，自通常片段區段至接續之通常片段區段之前之相依片段區段均包含於一個片段中。

又，採用上述定義時，則可謂上述格塊與片段之限制對應以下之定義。

必須滿足以下二個條件中至少一方。(1)某片段中包含之全部之編碼樹單位附屬於同一格塊。(2)某格塊中包含之全部之編碼樹單位附屬於同一片段。

在此，編碼樹單位意義與上述LCU及編碼樹區塊相同。

又，必須滿足以下二個條件中至少一方。(1)某片段區段中包含之全部編碼樹單位附屬於同一格塊。(2)某格塊中包含之全部之編碼樹單位附屬於同一片段區段。

以上，已說明實施形態之圖像編碼方法及圖像解碼方法，但本發明並不受限於該等實施形態。

上述圖像編碼方法及圖像解碼方法可藉圖像編碼裝置及圖像解碼裝置而實現。且，圖像編碼裝置及圖像解碼裝置之構造與諸如圖1及圖2所示之構造相同，上述圖像編碼方法及圖像解碼方法所包含之特徵之步驟可藉圖1及圖2所圖示之任一處理部或未圖示之處理部而執行之。

又，上述實施形態之圖像編碼裝置及圖像解碼裝置中包含之各處理部可典型地實現為積體電路之LSI。其等亦可個別進行單晶片化，或者涵蓋一部份或全部而進行單晶片化。

又，積體電路化不限於LSI，亦可藉專用電路或泛用處理器而實現之。亦可利用LSI製造後可進行編程之FPGA(Field Programmable Gate Array)或可復原LSI內部之電路元件之連接及設定之可重組處理器。

上述各實施形態中，各構成要素雖由專用之硬體 所構成，但亦可藉執行適用於各構成要素之軟體程式而實現之。各構成要素亦可由CPU或處理器等程式執行部讀取而執行硬碟或半導體記憶體等記錄媒體中記錄之軟體程式而實現。

換言之，圖像編碼裝置及圖像解碼裝置包含控制電路(control circuitry)及與前述控制電路電性連接(可自前述控制電路進行存取)之記憶裝置(storage)。控制電路則包含專用之硬體及程式執行部之至少一方。且，記憶裝置在控制電路包含程式執行部時，將記憶可藉前述程式執行部而執行之軟體程式。

進而，本發明亦可為上述軟體程式，或記錄有上述程式之非暫時性之電腦可讀取之記錄媒體。且，上述程式可藉網際網路等傳輸媒介而流通，則不待言。

又，以上所採用之數字全屬用於具體說明本發明之例示，本發明則不受限於所例示之數字。

又，功能區圖之功能區塊之分割純屬一例，亦可以單一之功能區塊實現複數之功能區塊，或將單一功能區塊分割成複數個，或者將一部分功能轉移至其它功能區塊。且，亦可藉單一之硬體或軟體並行或分時地進行具備類似功能之複數功能區塊之功能之處理。

又，上述圖像編碼方法或圖像解碼方法中包含之步驟之執行順序乃用於具體說明本發明之例示，亦可為上述以外之順序。且，上述步驟之一部分亦可與其它步驟同時(並行)執行。

以上，雖已基於實施形態而說明本發明之一種或複數態樣之圖像編碼裝置及圖像解碼裝置，但本發明不受限於上述實施形態。在未逸脫本發明之內容之限度內，將本技術領域之從業人員所構思之各種變形附加於本實施形態而成之形態及組合不同實施形態之構成要素而構成之形態，亦可包含於本發明之一種或複數態樣之範圍內。

(第5實施形態)

將實現上述各實施形態所示之動態影像編碼方法(圖像編碼方法)或動態影像解碼方法(圖像解碼方法)之構成所需之程式記錄於儲存媒體中，即可於獨立之電腦系統中簡易地實施上述各實施形態所示之處理。儲存媒體則可為磁碟、光碟、磁光碟、IC卡、半導體記憶體等可記錄程式者。

進而，以下說明上述各實施形態所示之動態影像編碼方法(圖像編碼方法)及動態影像解碼方法(圖像解碼方法)之應用例及採用該等方法之系統。前述系統之特徵在包含採用圖像編碼方法之圖像編碼裝置及採用圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置。系統之其它構造則可視情況而適當加以變更。

圖28顯示可實現內容發佈服務之內容供給系統ex100之整體構造。將通訊服務之提供區域分割成所需之大小，並於各服務區內分別設有固定式無線電台之基地台ex106、ex107、ex108、ex109、ex110。

上述內容供給系統ex100可對網際網路ex101經網際網路服務提供者ex102及電話網路ex104，以及自基地 台ex106經ex110而連接電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、手機ex114、遊戲機ex115等各設備。

然而，內容供給系統ex100不受限於圖28之構造，亦可組合任何組成部分而進行連接。且，亦可不經固定式無線電台之基地台ex106至ex110即對電話網路ex104直接連接各設備。又，各設備亦可藉短距離無線等方式而直接相互連接。

相機ex113乃可進行數位攝影機等之動態影像攝影之設備，相機ex116乃可進行數位相機等之靜態影像攝影、動態影像攝影之設備。又，手機ex114可為GSM(登錄商標)(Global System for Mobile Communications)模式、CDMA(Code Division Multiple Access)模式、W-CDMA(Wideband-Code Division Multiple Access)模式或LTE(Long Term Evolution)模式、HSPA(High Speed Packet Access)之手機或PHS(Personal Handyphone System)等，任一種均無妨。

內容供給系統ex100中，相機ex113等經基地台ex109、電話網路ex104而連接串流伺服器ex103，即可進行即時發佈等。即時發佈則對使用者使用相機ex113而攝影之內容(諸如音樂表演之影像等)如上述各實施形態之說明般進行編碼處理(即本發明一態樣之圖像編碼裝置之功能)，再朝串流伺服器ex103加以發送。另，串流伺服器ex103則對發出要求後之用戶端進行已發送之內容資料之串流發佈。 用戶端則為可解碼業經上述編碼處理之資料之電腦ex111、PDAex112、相機ex113、手機ex114、遊戲機ex115等。接收已發佈之資料後之各設備可就所接收之資料進行解碼處理而予以播放(即本發明一態樣之圖像解碼裝置之功能)。

另，攝影所得之資料之編碼處理亦可於相機ex113中進行，或於可進行資料之發送處理之串流伺服器ex103中進行，或者彼此分擔進行之。同樣地，已發佈之資料之解碼處理亦可由用戶端進行之，或於串流伺服器ex103中進行之，或者彼此分擔進行之。且，不限於相機ex113，相機ex116所攝影而得之靜像及/或動態影像資料亦可經電腦ex111而發送至串流伺服器ex103。此時之編碼處理亦可於相機ex116、電腦ex111、串流伺服器ex103之任一中進行之，或彼此分擔而進行之。

又，該等編碼、解碼處理一般乃於電腦ex111及各設備中所設之LSIex500中進行處理。LSIex500亦可為單晶片或由多晶片所構成。另，亦可將動態影像編碼、解碼用之軟體內建於可藉電腦ex111等而讀取之某些記錄媒體(CD-ROM、軟碟、硬碟等)中，並使用上述軟體而進行編碼、解碼處理。進而，手機ex114設有相機時，亦可發送藉上述相機而取得之動態影像資料。此時之動態影像資料則為業經設於手機ex114內部之LSIex500之編碼處理之資料。

又，串流伺服器ex103亦可為複數伺服器或複數電腦，而可分散處理資料或加以記錄並發佈。

如上，內容供給系統ex100中，用戶端可接收業經編碼之資料並予以播放。如上所述，內容供給系統ex100中，使用者所發送之資訊可即時為用戶端所接收並加以解碼而播放之，且即便未擁有特別權利及設備之使用者亦可實現個人廣播。

另，不限於內容供給系統ex100之例，如圖29所示，數位廣播用系統ex200中亦可內建上述各實施形態之至少動態影像編碼裝置(圖像編碼裝置)或動態影像解碼裝置(圖像解碼裝置)之任一。具體而言，廣播電台ex201中，影像資料中已多工化有音樂資料等而成之多工資料可藉電波而進行通訊或加以傳送至衛星ex202。上述影像資料乃已藉上述各實施形態已說明之動態影像編碼方法而編碼之資料(即，已藉本發明一態樣之圖像編碼裝置而編碼之資料)。加以接收後之廣播衛星ex202將發送廣播用之電波，可接收衛星廣播之家庭之天線ex204則接收上述電波。已接收之多工資料則由電視(接收機)ex300或機上盒(STB)ex217等裝置加以解碼而播放之(即，本發明一態樣之圖像解碼裝置之功能)。

又，亦可於可讀取而解碼DVD、BD等記錄媒體ex215中記錄之多工資料或將影像訊號編碼至記錄媒體ex215中，進而視情況而使其與音樂訊號多工化而加以寫入之讀取器/記錄器ex218中，安裝上述各實施形態所示之動態影像解碼裝置或動態影像編碼裝置。此時，已播放之影像訊號則顯示於監視器ex219上，並可藉記錄有多工資料之記 錄媒體ex215而於其它裝置及系統上播放影像訊號。又，亦可於有線電視用之纜線ex203或衛星/無線電視廣播之天線ex204所連接之機上盒ex217內安裝動態影像解碼裝置，並加以顯示於電視之監視器ex219上。此時，亦可於電視內安裝動態影像解碼裝置而非機上盒。

圖30顯示採用上述各實施形態已說明之動態影像解碼方法及動態影像編碼方法之電視(接收機)ex300。電視ex300則包含：經由可接收上述廣播之天線ex204或纜線ex203等而取得或輸出已對影像資料多工化聲音資料而成之多工資料之調諧器ex301；可解調所接收之多工資料或加以調變為用以朝外部發送之多工資料之調變/解調部ex302；可將業經解調之多工資料分離成影像資料與聲音資料或就已藉訊號處理部ex306而編碼之影像資料、聲音資料進行多工化之多工/分離部ex303。

且，電視ex300包含：設有可分別解碼聲音資料、影像資料或編碼個別之資訊之聲音訊號處理部ex304、影像訊號處理部ex305(本發明一態樣之圖像編碼裝置或圖像解碼裝置之功能)之訊號處理部ex306；設有可輸出已解碼之聲音訊號之揚聲器ex307、可顯示已解碼之影像訊號之顯示器等之顯示部ex308之輸出部ex309。進而，電視ex300並包含設有可受理使用者操作之輸入之操作輸入部ex312等之介面部ex317。進而，電視ex300亦包含可統籌控制各部之控制部ex310、可朝各部供給電力之電源電路部ex311。介面部ex317可在操作輸入部ex312以外，亦包含連接讀取器/ 記錄器ex218等外部設備之橋接器ex313、可供裝設SD卡等記錄媒體ex216之插槽部ex314、連接硬體等外部記錄媒體之驅動器ex315、連接電話網路之數據機ex316等。另，記錄媒體ex216可藉其包含之非依電性/依電性之半導體記憶體元件而電記錄資訊。電視ex300之各部並藉同步匯流排而相互連接。

首先，說明電視ex300解碼藉天線ex204等而自外部取得多工資料並予以播放之構造。電視ex300可受理來自遠程控制器ex220等之使用者操作，並基於設有CPU等之控制部ex310之控制，而藉多工/分離部ex303分離已藉調變/解調部ex302而解調之多工資料。進而，電視ex300將藉聲音訊號處理部ex304解碼已分離之聲音資料，並藉影像訊號處理部ex305且採用上述各實施形態已說明之解碼方法而解碼已分離之影像資料。再分別自輸出部ex309朝外部輸出已解碼之聲音訊號、影像訊號。輸出時，可於緩衝區ex318、ex319等中暫時儲存該等訊號，以同步而播放聲音訊號與影像訊號。且，電視ex300亦可不由廣播中等讀取多工資料，而由磁/光碟、SD卡等記錄媒體ex215、ex216中讀取多工資料。其次，說明電視ex300編碼聲音訊號及影像訊號，並朝外部加以發送或加以寫入記錄媒體中等之構造。電視ex300可受理來自遠程控制器ex220等之使用者操作，並基於控制部ex310之控制而藉聲音訊號處理部ex304編碼聲音訊號，且藉影像訊號處理部ex305並採用上述各實施形態已說明之編碼方法而編碼影像訊號。已編碼之聲音訊號、影像訊 號再藉多工/分離部ex303經多工化而輸出至外部。多工化時，可暫時儲存該等訊號於緩衝區ex320、ex321等中，以使聲音訊號與影像訊號同步。另，緩衝區ex318、ex319、ex320、ex321亦可如圖示般設有複數個，或構成共用1個以上之緩衝區。進而，除圖示以外，亦可於諸如調變/解調部ex302及多工/分離部ex303之間等處將資料儲存於緩衝區作為避免系統之溢位、欠位之緩衝部。

又，電視ex300除自廣播中等及記錄媒體等取得聲音資料、影像資料以外，亦可設有受理麥克風及相機之AV輸入之構造，而對自其等取得之資料進行編碼處理。另，在此，雖已說明電視ex300構成可進行上述之編碼處理、多工化及外部輸出，但其亦可構成無法進行該等處理，而僅可進行上述接收、解碼處理、外部輸出。

又，藉讀取器/記錄器ex218而對記錄媒體讀取多工資料或加以寫入時，上述解碼處理或編碼處理亦可藉電視ex300、讀取器/記錄器ex218之任一而進行，或由電視ex300與讀取器/記錄器ex218彼此分擔而進行之。

對光碟進行資料之讀取或寫入時之資訊播放/記錄部ex400之構造顯示於圖31作為一例，。資訊播放/記錄部ex400包含以下說明之組成部分ex401、ex402、ex403、ex404、ex405、ex406、ex407。光照頭ex401可朝作為光碟之記錄媒體ex215之記錄面照射雷射光點而寫入資訊，並檢測來自記錄媒體ex215之記錄面之反射光而讀取資訊。調變記錄部ex402可電驅動光照頭ex401中內建之半導體雷射並 對應記錄資料而進行雷射光之調變。播放解調部ex403可放大已藉光照頭ex401中內建之測光器而電檢測所得之來自記錄面之反射光之播放訊號，並分離而解調記錄媒體ex215中記錄之訊號成分，以播放必要之資訊，緩衝區ex404則暫時保持用於記錄在記錄媒體ex215中之資訊及已自記錄媒體ex215播放之資訊。碟片馬達ex405則使記錄媒體ex215旋轉。伺服控制部ex406則控制碟片馬達ex405之旋轉驅動同時使光照頭ex401移至預定之資訊磁軌，以進行雷射光點之追踪處理。系統控制部ex407則進行資訊播放/記錄部ex400整體之控制。上述讀取及寫入之處理則藉由系統控制部ex407利用緩衝區ex404所保持之各種資訊，且視需要而進行新資訊之生成、追加，並使調變記錄部ex402、播放解調部ex403、伺服控制部ex406進行協調動作，同時藉光照頭ex401進行資訊之記錄播放而實現。系統控制部ex407則由諸如微處理器所構成，可執行讀取寫入之程式而執行該等處理。

以上，雖已說明由光照頭ex401照射雷射光點，但亦可採用可較使用近場光更可進行高密度之記錄之構造。

圖32為顯示作為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面上形成有螺旋狀之導引槽(溝槽)，資訊磁軌ex230中則預先記錄有以溝槽之形狀變化代表光碟上之絕對位置之位址資訊。上述位址資訊包含用於確定作為記錄資料之單位之記錄區塊ex231之位置之資 訊，於可進行記錄及播放之裝置中播放資訊磁軌ex230並讀取位址資訊即可確定記錄區塊。且，記錄媒體ex215包含資料記錄領域ex233、內周領域ex232、外周領域ex234。用於記錄使用者資料之領域為資料記錄領域ex233，較資料記錄領域ex233更偏內周或外周而配置之內周領域ex232及外周領域ex234則使用於使用者資料之記錄以外之特定用途。資訊播放/記錄部ex400則對上述記錄媒體ex215之資料記錄領域ex233進行業經編碼之聲音資料、影像資料或其等資料業經多工化而得之多工資料之讀寫。

以上，雖已例舉說明1層之DVD、BD等光碟，但不限於其等，亦可為多層構造而亦可於表面以外部分進行記錄之光碟。且，亦可為可於光碟之相同位置上利用各種不同波長之色光而記錄資訊，或由各種角度進行不同資訊層之記錄等，而進行多次元之記錄/播放之構造之光碟。

又，數位廣播用系統ex200中，設有天線ex205之汽車ex210亦可自衛星ex202等接收資料，並將動態影像播放於設於汽車ex210上之汽車導航ex211等之顯示裝置上。另，汽車導航ex211之構造可考量採用就諸如圖30所示之構造追加有GPS接收部之構造，電腦ex111及手機ex114亦可能具備相同之構造。

圖33A顯示上述實施形態已說明之動態影像編碼方法及採用動態影像編碼方法之手機ex114。手機ex114則包含：可在與基地台ex110之間進行電波之收發之天線ex350；可拍攝影像、靜態影像之相機部ex365；可顯示相 機部ex365所攝影之影像、天線ex350所接收之影像等經解碼後之資料之液晶顯示器等之顯示部ex358。手機ex114進而包含：設有操作按鍵部ex366之本體部；可輸出聲音之揚聲器等之聲音輸出部ex357；可輸入聲音之麥克風等之聲音輸入部ex356；可保存已攝影之影像、靜態影像、已錄音之聲音或已接收之影像、靜態影像、郵件等業經編碼之資料或業經解碼之資料之記憶體部ex367：或，作為與同樣可保存資料之記錄媒體之間之介面部之插槽部ex364。

進而，參照圖33B說明手機ex114之構造例。手機ex114中，相對於統籌控制設有顯示部ex358及操作按鍵部ex366之本體部之各部之主控制部ex360，電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、LCD(Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/分離部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367則經匯流排ex370而相互連接。

電源電路部ex361一旦因使用者之操作而空線並為電源按鍵之開啟狀態，則自電池組對各部供給電力而將手機ex114起動為可動作之狀態。

手機ex114可基於設有CPU、ROM、RAM等之主控制部ex360之控制，而藉聲音訊號處理部ex354將聲音通話模式時由聲音輸入部ex356收音之聲音訊號轉換為數位聲音訊號，並藉調變/解調部ex352加以進行展頻處理，再藉發送/接收部ex351實施數位類比轉換處理及頻率轉換處理 後，藉天線ex350加以發送。且，手機ex114可放大聲音通話模式時經天線ex350而接收之接收資料而實施頻率轉換處理及數位類比轉換處理，並藉調變/解調部ex352而加以進行解展頻處理，且藉聲音訊號處理部ex354加以轉換為類比聲音訊號後，再自聲音輸出部ex357加以輸出。

進而，資料通訊模式時若發送電子郵件，藉本體部之操作按鍵部ex366等之操作而輸入之電子郵件之本文資料將經操作輸入控制部ex362而朝主控制部ex360送出。主控制部ex360則藉調變/解調部ex352就本文資料進行展頻處理，並藉發送/接收部ex351實施數位類比轉換處理及頻率轉換處理後，再經天線ex350而朝基地台ex110加以發送。接收電子郵件時，則對接收之資料進行與上述大致相反之處理，並加以輸出至顯示部ex358。

資料通訊模式時若發送影像、靜態影像或影像與聲音，影像訊號處理部ex355將藉上述各實施形態所說明之動態影像編碼方法而壓縮編碼(即，本發明一態樣之圖像編碼裝置之功能)相機部ex365所供入之影像訊號，並朝多工/分離部ex353送出已編碼之影像資料。且，聲音訊號處理部ex354可編碼以相機部ex365拍攝影像、靜態影像等時由聲音輸入部ex356收音之聲音訊號，再朝多工/分離部ex353送出已編碼之聲音資料。

多工/分離部ex353可依預定之方式而多工化影像訊號處理部ex355所供入之已編碼之影像資料與聲音訊號處理部ex354所供入之已編碼之聲音資料，再藉調變/解調 部(調變/解調電路部)ex352就其結果所得之多工資料進行展頻處理，然後藉發送/接收部ex351實施數位類比轉換處理及頻率轉換處理後，經天線ex350加以發送。

資料通訊模式時，若接收與首頁等鏈結之動態影像檔案之資料，或接收附加有影像及或聲音之電子郵件，則為解碼經天線ex350而接收之多工資料，多工/分離部ex353將分離多工資料而加以分成影像資料之位元流與聲音資料之位元流，再經同步匯流排ex370而朝影像訊號處理部ex355供給已編碼之影像資料，並朝聲音訊號處理部ex354供給已編碼之聲音資料。影像訊號處理部ex355則藉上述各實施形態已說明之動態影像編碼方法所對應之動態影像解碼方法而進行解碼以解碼影像訊號(即本發明一態樣之圖像解碼裝置之功能)，再經LCD控制部ex359而由顯示部ex358顯示諸如與首頁鏈結之動態影像檔案中包含之影像、靜態影像。且，聲音訊號處理部ex354將解碼聲音訊號並自聲音輸出部ex357輸出聲音。

又，上述手機ex114等終端與電視ex300相同，亦可考量除兼為編碼器、解碼器雙方之收發型終端以外，尚有僅為編碼器之發送終端、僅為解碼器之接收終端之3種安裝形式。進而，數位廣播用系統ex200中，雖已說明於影像資料中多工化有音樂資料等而成之多工資料之接收、發送，但亦可為聲音資料以外與影像有關之本文資料等經多工化而成之資料，或非多工資料而為影像資料本身。

如上所述，上述各實施形態已說明之動態影像編 碼方法或動態影像解碼方法可應用於上述任一種設備、系統，如此即可實現上述各實施形態已說明之效果。

又，本發明不受限於上述實施形態，可在未逸脫本發明之範圍內進行各種變形或修正實施。

(第6實施形態)

亦可視需要而適當切換上述各實施形態已說明之動態影像編碼方法或裝置，以及以MPEG-2、MPEG4-AVC、VC-1等不同規格為標準之動態影像編碼方法或裝置，而生成影像資料。

在此，生成、解碼以個別不同之規格為標準之複數影像資料時，須選用對應個別規格之解碼方法。然而，無法識別欲解碼之影像資料以何種規格為標準，而將發生無法選用適當之解碼方法之問題。

為解決上述問題，而將影像資料中多工化有聲音資料等而成之多工資料構成包含代表影像資料以何種規格為標準之識別資訊。包含藉上述各實施形態已說明之動態影像編碼方法或裝置而生成之影像資料之多工資料之具體構造則說明如下。多工資料乃MPEG-2傳輸串流形式之數位串流。

圖34顯示多工資料之構造。如圖34所示，多工資料乃藉多工化視訊串流、音訊串流、演示圖形串流(PG)、交談式圖形串流中之1種以上而生成。視訊串流、音訊串流(IG)、演示圖形串流分別代表電影之主影像及副影像、電影之主聲音部分及與其主聲音混合之副聲音、電影之字幕。 在此，主影像意指顯示於畫面上之通常影像、副影像則為顯示於主影像中之較小畫面上之影像。且，交談式圖形串流代表於畫面上配置GUI元件而作成之對話畫面。視訊串流已藉上述各實施形態已說明之動態影像編碼方法或裝置、習知之以MPEG-2、MPEG4-AVC、VC-1等規格為標準之動態影像編碼方法或裝置而編碼。音訊串流則已藉杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或線性PCM等格式而編碼。

可藉PID而識別多工資料中包含之各串流。舉例言之，電影之影像所利用之視訊串流為0x1011，音訊串流則為0x1100至0x111F，演示圖形串流為0x1200至0x121F，交談式圖形串流則為0x1400至0x141F，電影之副影像所利用之視訊串流為0x1B00至0x1B1F，與主聲音混合之副聲音所利用之音訊串流則為0x1A00至0x1A1F，而分別指配有PID。

圖35模式地顯示如何進行多工資料之多工化。首先，將複數視訊訊框所構成之視訊串流ex235、複數音訊訊框所構成之音訊串流ex238分別轉換為PES封包序列ex236及ex239，再轉換為TS封包ex237及ex240。同樣地，將演示圖形串流ex241及交談式圖形ex244之資料分別轉換為PES封包序列ex242及ex245，進而轉換為TS封包ex243及ex246。多工資料ex247則藉將該等TS封包多工化於1串流中而構成。

圖36進而詳細顯示PES封包序列中如何儲存視 訊串流。圖36之第1段代表視訊串流之視訊訊框序列。第2段代表PES封包序列。如圖36之箭號yy1、yy2、yy3、yy4所示，視訊串流中之複數之Video Presentation Unit之I畫面、B畫面、P畫面將分割至各畫面，並儲存於PES封包之資訊欄中。各PES封包包含PES標頭，PES標頭中則儲存畫面之顯示時刻之PTS(Presentation Time-Stamp)及畫面之解碼時刻之DTS(Decoding Time-Stamp)。

圖37顯示最後寫入多工資料中之TS封包之形式。TS封包乃由用於儲存包含用於識別串流之PID等資訊之4Byte之TS標頭與資料之184Byte之TS資訊欄所構成之188Byte固定長之封包，上述PES封包將分割而儲存於TS資訊欄中。若使用BD-ROM，則TS封包中將附有4Byte之TP_Extra_Header，而構成192Byte之資源封包，並寫入於多工資料中。TP_Extra_Header中則記載ATs(Arrival_Time_Stamp)等資訊。ATS代表前述TS封包自解碼器朝PID濾波器之傳輸開始時刻。多工資料中則如圖37下段所示，排列有資源封包，自多工資料之始端進行遞增之編號則稱為SPN(資源封包編號)。

又，多工資料中包含之TS封包中，除影像、聲音、字幕等各串流以外，亦存在PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT代表多工資料中所利用之PMT之PID為何，PAT本身之PID登錄為0。PMT則包含多工資料中包含之影像、聲音、字幕等各串流之PID及各PID所對應之串流 之屬性資訊，且包含有關多工資料之各種描述符。描述符中存在用於指示多工資料之複製之許可、不許可之複製控制資訊等。PCR則包含為使ATS之時間軸之ATC(Arrival Time Clock)與PTS．DTS之時間軸之STC(System Time Clock)同步，而朝解碼器傳輸上述PCR封包之ATS所對應之STC時間之資訊。

圖38則詳細說明PMT之資料構造。PMT之始端配置有已記錄該PMT中包含之資料長度等之PMT標頭。其後則配置有關多工資料之複數描述符。上述複製控制資訊等則記載作為描述符。描述符之後並配置有關多工資料中包含之各串流之複數串流資訊。串流資訊則構成包含已記載用於識別串流之壓縮編解碼器等之串流類型、串流之PID、串流之屬性資訊(訊框率、縱橫比等)之串流描述符。串流描述符則僅存在有多工資料中存在之串流數之量。

對記錄媒體等進行記錄時，上述多工資料將與多工資料資訊檔案一同進行記錄。

多工資料資訊檔案一如圖39所示而為多工資料之管理資訊，與多工資料成1對1之對應關係，並由多工資料資訊、串流屬性資訊及項目對應所構成。

多工資料資訊一如圖39所示，由系統效能、播放開始時刻、播放結束時刻所構成。系統效能代表多工資料朝後述之系統標的解碼器之PID濾波器之最大傳輸率。多工資料中包含之ATS之間隔則設為系統效能以下。播放開始時刻設為多工資料之始端之視訊訊框之PTS，播放結束時刻則 設為對多工資料之末端之視訊訊框之PTS加上1訊框量之播放間隔。

串流屬性資訊一如圖40所示，乃有關多工資料中包含之各串流之屬性資訊，並就各PID加以登錄。屬性資訊包含就視訊串流、音訊串流、演示圖形串流、交談式圖形串流個別而不同之資訊。視訊串流屬性資訊包含該視訊串流藉何種壓縮編解碼器而壓縮、構成視訊串流之各個畫面資料之解析度如何、縱橫比如何、訊框率如何等資訊。音訊串流屬性資訊則包含該音訊串流藉何種壓縮編解碼器而壓縮、該音訊串流中包含之聲道數量為何、對應何種語言、取樣頻率如何等資訊。該等資訊則可利用於播放器進行播放前之解碼器之初始化等。

本實施形態乃利用上述多工資料中包含於PMT中之串流類型。且，記錄媒體中已記錄多工資料時，將利用多工資料資訊中包含之視訊串流屬性資訊。具體而言，乃於上述各實施形態已說明之動態影像編碼方法或裝置中，設置用於對PMT中包含之串流類型或視訊串流屬性資訊，設定代表其乃藉上述各實施形態已說明之動態影像編碼方法或裝置而生成之影像資料之特有之資訊之步驟或機構。依據上述構造，即可識別藉上述各實施形態已說明之動態影像編碼方法或裝置而生成之影像資料，以及以其它規格為標準之影像資料。

又，本實施形態之動態影像編碼方法之步驟顯示於圖41。步驟exS100中，將自多工資料取得PMT中包含之 串流類型或多工資料資訊中包含之視訊串流屬性資訊。其次，於步驟exS101中，判斷串流類型或視訊串流屬性資訊是否代表其乃藉上述各實施形態已說明之動態影像編碼方法或裝置而生成之多工資料。接著，若判斷串流類型或視訊串流屬性資訊代表其藉上述各實施形態已說明之動態影像編碼方法或裝置而生成，則於步驟exS102中，藉上述各實施形態已說明之動態影像解碼方法進行解碼。又，若串流類型或視訊串流屬性資訊代表其以習知之MPEG-2、MPEG4-AVC、VC-1等規格為標準，則於步驟exS103中，藉以習知之規格為標準之動態影像解碼方法進行解碼。

如上所述，對串流類型或視訊串流屬性資訊設定新的特徵值，即可於解碼時，判斷是否可藉上述各實施形態已說明之動態影像編碼方法或裝置進行解碼。因此，即便輸入以不同規格為標準之多工資料，亦可選擇適當之解碼方法或裝置，故可進行解碼而不致發生錯誤。又，本實施形態所說明之動態影像編碼方法或裝置，或者動態影像解碼方法或裝置，亦可應用於上述任一設備、系統。

(第7實施形態)

上述各實施形態已說明之動態影像編碼方法或裝置、動態影像解碼方法或裝置典型地可藉積體電路之LSI而實現。圖42顯示單晶片化後之LSIex500之構造即為其一例。LSIex500包含以下說明之組成部分ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各組成部分則經匯流排ex510而連接。電源電路部ex505可在電源為開 啟狀態時對各部供給電力而加以起動為可動作之狀態。

舉例言之，進行編碼處理時，LSIex500將基於包含CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，而藉AV I/Oex509自麥克風ex117或相機ex113等輸入AV訊號。已輸入之AV訊號則暫時儲存於SDRAM等外部之記憶體ex511。基於控制部ex501之控制，可對應處理量及處理速度而適當將已儲存之資料分成數次等並加以送至訊號處理部ex507，再於訊號處理部ex507中進行聲音訊號之編碼及/或影像訊號之編碼。在此，影像訊號之編碼處理乃上述各實施形態已說明之編碼處理。訊號處理部ex507中將進而視情形而進行已編碼之聲音資料與已編碼之影像資料之多工化等處理，並自串流I/Oex506加以朝外部輸出。上述已輸出之多工資料將發送至基地台ex107或寫入至記錄媒體ex215中。另，可將資料暫時儲存於緩衝區ex508以於多工化時進行同步。

另，以上雖已說明記憶體ex511乃LSIex500之外部之構造，但其亦可為包含於LSIex500之內部中之構造。緩衝區ex508亦不限為1個，亦可設有複數之緩衝區。且，LSIex500亦可單晶片化，或多晶片化。

又，以上雖使控制部ex501包含CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，但控制部ex501之構造不受限於上述構造。舉例言之，訊號處理部ex507亦可進而構成包含CPU。訊號處理部 ex507之內部亦設置CPU，即可進而提高處理速度。且，CPUex502亦可構成包含訊號處理部ex507或作為訊號處理部ex507之一部分之諸如聲音訊號處理部作為他例。此時，控制部ex501則構成包含訊號處理部ex507或內含其一部分之CPUex502。

另，在此，雖說明為LSI，但依聚積度之不同，亦稱為IC、系統LSI、特大型LSI、極大型LSI。

又，積體電路化之方法不受限於LSI，亦可藉專用電路或泛用處理器而實現之。亦可利用可在LSI製造後進行編程之FPGA(Field Programmable Gate Array)或可復原LSI內部之電路元件之連接及設定之可重組處理器。上述可程式邏輯裝置典型地可載入或自記憶體等讀取構成軟體或韌體之程式，而執行上述各實施形態已說明之動態影像編碼方法或動態影像解碼方法。

進而，若因半導體技術之進步或衍生之其它技術而開發可替代LSI之積體電路化之技術，當然亦可採用上述技術而進行功能區之積體化。亦可能應用生物技術等。

(第8實施形態)

藉上述各實施形態已說明之動態影像編碼方法或裝置而生成之影像資料之解碼時，與以習知之MPEG-2、MPEG4-AVC、VC-1等規格為標準之影像資料之解碼時相較，可推論處理量之增加。因此，LSIex500中，必須設定較以習知之規格為標準之影像資料之解碼時之CPUex502之驅動頻率更高之驅動頻率。然而，一旦提高驅動頻率， 將發生耗電增加之問題。

為解決上述問題，而將電視ex300、LSIex500等之動態影像解碼裝置構成可識別影像資料以何種規格為標準，並對應規格而切換驅動頻率。圖43即顯示本發明之構造ex800。驅動頻率切換部ex803在影像資料乃藉上述各實施形態已說明之動態影像編碼方法或裝置而生成時，將驅動頻率設成較高。接著，則對執行上述各實施形態已說明之動態影像解碼方法之解碼處理部ex801指示進行影像資料之解碼。另，影像資料為以習知之規格為標準之影像資料時，則與影像資料乃藉上述各實施形態已說明之動態影像編碼方法或裝置而生成之情形相較，而將驅動頻率設為較低。接著，則對以習知之規格為標準之解碼處理部ex802指示進行影像資料之解碼。

更具體而言，驅動頻率切換部ex803由圖42之CPUex502及驅動頻率控制部ex512所構成。且，執行上述各實施形態已說明之動態影像解碼方法之解碼處理部ex801及以習知之規格為標準之解碼處理部ex802則相當於圖42之訊號處理部ex507。CPUex502可識別影像資料以何種規格為標準。接著，基於來自CPUex502之訊號，驅動頻率控制部ex512將設定驅動頻率。且，基於來自CPUex502之訊號，訊號處理部ex507將進行影像資料之解碼。在此，影像資料之識別時可考量諸如第6實施形態中揭露之識別資訊之利用。關於識別資訊則不受限於第6實施形態之揭露，凡可用於識別影像資料以何種規格為標準之資訊即 可。舉例言之，若可基於用以識別影像資料利用於電視或利用於磁碟等之外部訊號，而識別影像資料以何種規格為標準，則亦可基於上述之外部訊號而進行識別。亦可考量基於諸如圖45之影像資料之規格及驅動頻率已成對應關係之查找表而進行CPUex502之驅動頻率之選擇。查找表已預先儲存於緩衝區ex508及LSI之內部記憶體中，由CPUex502參照上述查找表，即可選擇驅動頻率。

圖44顯示本實施形態之方法之實施步驟。首先，步驟exS200中，於訊號處理部ex507中自多工資料取得識別資訊。接著，步驟exS201中，於CPUex502中基於識別資訊而識別影像資料是否藉上述各實施形態已說明之編碼方法或裝置而生成。若影像資料乃藉上述各實施形態已說明之解碼方法或裝置而生成，則於步驟exS202中由CPUex502朝驅動頻率控制部ex512送出將驅動頻率設成較高之訊號。然後，於驅動頻率控制部ex512中設定較高之驅動頻率。另，若為以習知之MPEG-2、MPEG4-AVC、VC-1等規格為標準之影像資料，則於步驟exS203中，由CPUex502朝驅動頻率控制部ex512送出將驅動頻率設成較低之訊號。接著，於驅動頻率控制部ex512中，設定較影像資料乃藉上述各實施形態已說明之編碼方法或裝置而生成時更低之驅動頻率。

進而，與驅動頻率之切換連鎖而改變對LSIex500或包含LSIex500之裝置施加之電壓，則可更為提高省電效果。舉例言之，可考量在驅動頻率設成較低時，則隨之將對LSIex500或包含LSIex500之裝置施加之電壓設成低於驅 動頻率之較高設定時。

又，驅動頻率之設定方法可在解碼時之處理量較大時，將驅動頻率設成較高，解碼時之處理量較少時，驅動頻率則設為較低，而不受限於上述之設定方法。舉例言之，可考量在以MPEG4-AVC規格為標準之影像資料之解碼之處理量大於藉上述各實施形態已說明之動態影像編碼方法或裝置而生成之影像資料之解碼之處理量時，使驅動頻率之設定與上述情形相反。

進而，驅動頻率之設定方法不受限於降低驅動頻率。舉例言之，亦可考量在識別資訊代表其乃藉上述各實施形態已說明之動態影像編碼方法或裝置而生成之影像資料時，將對LSIex500或包含LSIex500之裝置施加之電壓設成較高，而於其乃以習知之MPEG-2、MPEG4-AVC、VC-1等規格為標準之影像資料時，將對LSIex500或包含LSIex500之裝置施加之電壓設成較低。且，亦可考量在識別資訊代表其乃藉上述各實施形態已說明之動態影像編碼方法或裝置而生成之影像資料時，不停止CPUex502之驅動，並在其乃以習知之MPEG-2、MPEG4-AVC、VC-1等規格為標準之影像資料時，因處理尚有餘裕而暫時停止CPUex502之驅動，以作為他例。即便識別資訊代表其乃藉上述各實施形態已說明之動態影像編碼方法或裝置而生成之影像資料，若處理尚有餘裕，亦可考量暫時停止CPUex502之驅動。此時，可考量將停止時間設成短於其乃以習知之MPEG-2、MPEG4-AVC、VC-1等規格為標準之影 像資料時。

如上所述，對應影像資料所由來之規格，而切換驅動頻率，即可實現省電。且，使用電池驅動LSIex500或包含LSIex500之裝置時，電池之壽命亦將伴隨省電而延長。

(第9實施形態)

以不同規格為標準之複數影像資料可能輸入電視、手機等上述設備、系統中。如上所述，為在輸入以不同規格為標準之複數影像資料後亦可加以解碼，LSIex500之訊號處理部ex507必須對應複數之規格。然而，若分別使用對應各種規格之訊號處理部ex507，將增大LSIex500之電路規模，而導致成本提高之問題。

為解決上述問題，而構成部分共用執行上述各實施形態已說明之動態影像解碼方法之解碼處理部及以習知之MPEG-2、MPEG4-AVC、VC-1等規格為標準之解碼處理部。該構造例則顯示為圖46A之ex900。舉例言之，上述各實施形態已說明之動態影像解碼方法與以MPEG4-AVC規格為標準之動態影像解碼方法就熵編碼、逆量化、解塊濾波、動態補償等處理部分共通其處理內容。而可考量構成就共通之處理內容共用對應MPEG4-AVC規格之解碼處理部ex902，不對應MPEG4-AVC規格之本發明一態樣中專有之其它處理內容則使用專用之解碼處理部ex901。尤其，本發明一態樣之特徵在畫面之分割處理，故可考量就諸如畫面之分割處理使用專用之解碼處理部ex901，就此外之逆量化、熵解碼、解塊濾波、動態補償之任一或全部之處理則 共用解碼處理部。關於解碼處理部之共用，亦可構成就共通之處理內容共用可執行上述各實施形態已說明之動態影像解碼方法之解碼處理部，而就MPEG4-AVC規格專有之處理內容使用專用之解碼處理部。

又，部分共用處理之他例則顯示為圖46B之ex1000。本例構成可使用對應本發明一態樣所專有之處理內容之專用之解碼處理部ex1001、對應其它習知規格所專有之處理內容之專用之解碼處理部ex1002、對應與本發明一態樣之動態影像解碼方法及其它習知規格之動態影像解碼方法所共通之處理內容之共用之解碼處理部ex1003。在此，專用之解碼處理部ex1001、ex1002亦可為可執行其它泛用處理者，不必非為本發明一態樣或其它習知規格所專有之處理內容而特化。且，本實施形態之構造亦可藉LSIex500而進行安裝。

如上所述，就本發明一態樣之動態影像解碼方法及習知規格之動態影像解碼方法所共通之處理內容共用解碼處理部，即可縮小LSI之電路規模，且降低成本。

產業上之可利用性

本發明可應用於圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置。且，本發明可利用於包含圖像編碼裝置之電視、數位錄影機、汽車導航、手機、數位相機及數位攝影機等高解析度之資訊顯示設備或攝影設備。

1~2‧‧‧格塊

(1)‧‧‧通常片段

(2)‧‧‧相依片段

(3)‧‧‧通常片段

(4)~(6)‧‧‧相依片段

Claims (10)

1. 一種圖像解碼方法，係解碼包含編碼訊號之位元流，該編碼訊號為圖像分割成複數格塊並分割成複數片段而經編碼者，該圖像解碼方法包含：解碼前述編碼訊號之解碼步驟；及自前述位元流取得限制指標的取得步驟，該限制指標係表示前述圖像之分割已受限，前述複數片段各自為通常片段與相依片段之任一者，其中該通常片段係將該片段之片段標頭中所包含之資訊使用於其它片段，該相依片段係於解碼使用其它片段之片段標頭中所包含之資訊，通常片段始自第1格塊之始端以外時，接續該第1格塊而業經編碼之第2格塊則不始自相依片段。
2. 如請求項1之圖像解碼方法，前述解碼步驟中，並行解碼前述第1格塊及前述第2格塊，開始前述第2格塊之解碼時，不參照表示前述第1格塊之片段構造的分割資訊，解碼前述第2格塊。
3. 如請求項1或2之圖像解碼方法，第3格塊之始端為前述相依片段時，該相依片段包含前述第3格塊整體。
4. 如請求項1或2之圖像解碼方法，前述圖像之始端片段為通常片段，其它全部之片段則為相依片段。
5. 一種圖像編碼方法，係藉由將圖像分割成複數格塊並分割成複數片段而加以編碼來生成位元流，包含以下步 驟：分割步驟，將前述圖像分割成複數格塊並分割成複數片段；編碼步驟，編碼已分割之複數格塊及複數片段；及將限制指標嵌入前述位元流之步驟，該限制指標係表示前述圖像之分割已受限，前述複數片段各自為通常片段與相依片段之任一者，其中該通常片段係將該片段之片段標頭中所包含之資訊使用於其它片段，該相依片段係於解碼使用其它片段之片段標頭中所包含之資訊，前述分割步驟中，通常片段若始自第1格塊之始端以外，則將前述圖像分割成複數格塊並分割成複數片段，以使接續該第1格塊而業經編碼之第2格塊不始自相依片段。
6. 如請求項5之圖像編碼方法，前述分割步驟中，於圖像解碼裝置中並行解碼前述第1格塊及前述第2格塊時，將前述圖像分割成前述複數格塊及前述複數片段，而可在該圖像解碼裝置開始前述第2格塊之解碼時，不參照顯示前述第1格塊之片段構造之分割資訊，即解碼前述第2格塊。
7. 如請求項5或6之圖像編碼方法，前述分割步驟中，若第3格塊之始端為前述相依片段，則將前述圖像分割成複數格塊並分割成複數片段，以使該相依片段包含前述第3格塊整體。
8. 如請求項5或6之圖像編碼方法，前述圖像之始端片段為通常片段，其它全部之片段則為相依片段。
9. 一種圖像解碼裝置，係解碼包含編碼訊號之位元流，該編碼訊號為圖像分割成複數格塊並分割成複數片段而經編碼者，該圖像解碼裝置包含：解碼部，解碼前述編碼訊號；及取得部，自前述位元流取得限制指標，該限制指標係表示前述圖像之分割已受限，前述複數片段各自為通常片段與相依片段之任一者，其中該通常片段係將該片段之片段標頭中所包含之資訊使用於其它片段，該相依片段係於解碼使用其它片段之片段標頭中所包含之資訊，通常片段始自第1格塊之始端以外時，接續該第1格塊而業經編碼之第2格塊則不始自相依片段。
10. 一種圖像編碼裝置，係藉由將圖像分割成複數格塊並分割成複數片段而加以編碼來生成位元流，包含有：分割部，將前述圖像分割成複數格塊並分割成複數片段；編碼部，編碼已分割之複數格塊及複數片段；及嵌入部，將限制指標嵌入前述位元流，該限制指標係表示前述圖像之分割已受限，前述複數片段各自為通常片段與相依片段之任一者，其中該通常片段係將該片段之片段標頭中所包含之資訊使用於其它片段，該相依片段係於解碼使用其它片 段之片段標頭中所包含之資訊，前述分割部在通常片段始自第1格塊之始端以外時，將前述圖像分割成複數格塊並分割成複數片段，以使接續該第1格塊而業經編碼之第2格塊不始自相依片段。