TWI581618B - An image decoding method, an image coding method, an image decoding apparatus, an image coding apparatus, and an image coding / decoding apparatus - Google Patents

Description

圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置、及圖像編碼解碼裝置

本發明是有關於圖像編碼方法及圖像解碼方法。

背景技術

目前的標準影像編碼算法大都是根據混合影像編碼。混合影像編碼方法中，為了達成期望的壓縮增益，可使用幾個不同的可逆壓縮方式與不可逆壓縮方式。混合影像編碼與ISO/IEC標準規格(MPEG-1、MPEG-2及MPEG-4等MPEG-X標準規格)相同地，是ITU-T標準規格(H.261及H.263等H.26x標準規格)之基礎。

最新的影像編碼標準規格稱為H.264/MPEG-4 Advanced Video Coding(AVC)。該規格是由JVT(Joint CoVedeo Team)、ITU-T及ISO/IEC MPEG群的合作團隊所標準化。

又，以改善高解析度之影像編碼效率為目的，稱為HEVC(High-Efficiency Video Coding)之影像編碼標準規格是依據JCT-VC(Joint Collaborative Team on Video Coding)來檢討。

先行技術文獻 【非專利文獻】

【非專利文獻1】“Wavefront Parallel Processing for HEVC Encoding and Decoding” by C.Gordon et al., no. JCTVC-F274-v2, from the Meeting in Torino, July 2011

【非專利文獻2】“Tiles” by A.Fuldseth et al., no. JCTVC-F355-v1, from the Meeting in Torino, July 2011

【非專利文獻3】JCTVC-J1003_d7, “High efficiency video coding (HEVC) text specification draft 8” of July 2012

發明概要

上述圖像編碼方法及圖像解碼方法中，在同時利用並行處理及依附切片之狀況下，期望可提高效率性。

故，本發明之目的在於提供一種可改善將並行處理及依附切片一起利用時之效率性的圖像編碼方法或圖像解碼方法。

本發明是一種圖像解碼方法，可將包含編碼訊號之位元流解碼，前述編碼訊號是已將圖像分割為分別包含複數編碼單位之複數切片並編碼，前述圖像解碼方法包含將前述編碼訊號解碼的解碼步驟，前述複數切片分別是通常切片及依附切片的其中之一，通常切片是該切片之切片 標頭所含的資訊會用於其它切片，依附切片則是解碼會使用其它切片之切片標頭所含的資訊，前述圖像包含分別具有複數編碼單位的複數列，當通常切片是從第1列之開頭以外開始時，該第1列之後的第2列不會從依附切片開始。

而，這些概括性或具體之態樣，可用系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體來實現，亦可用系統、方法、積體電路、電腦程式及記錄媒體之任意組合來實現。

本發明可提供一種可改善將並行處理及依附切片一起利用時之效率性的圖像編碼方法或圖像解碼方法。

100‧‧‧圖像編碼裝置

101‧‧‧輸入圖像訊號

105‧‧‧減算器

106‧‧‧殘差訊號

110‧‧‧轉換部

111‧‧‧轉換係數

141、151、161、171、241、251、261、271‧‧‧解碼圖像訊號

150、250‧‧‧解塊濾波器

160、260‧‧‧適應性環路濾波器

170、270‧‧‧參考資訊框緩衝器

180、280‧‧‧預測部

181、281‧‧‧預測訊號

120‧‧‧量化部

121、291‧‧‧量化係數

130、230‧‧‧反轉換部

131、231‧‧‧殘差訊號

140、240‧‧‧加法器

190‧‧‧熵編碼部

191、201‧‧‧編碼訊號

200‧‧‧圖像解碼裝置

290‧‧‧熵解碼部

300、310、330、340、350、360、370、390、400、410、420‧‧‧圖片

301、302、311、312、313、314、321、381‧‧‧列

320、380‧‧‧切片標頭

331、332、333、341、342、343、344、351、354、361、362、363、364、365、371、372、373、374、391、392、393、394、401、402、403、404、411、412、413、414、415、421、422、423、424‧‧‧切片

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex103‧‧‧串流伺服器

ex104‧‧‧電話網

ex106~ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113‧‧‧攝像機

ex114‧‧‧行動電話

ex115‧‧‧遊戲機

ex116‧‧‧攝像機

ex500‧‧‧LSI

ex200‧‧‧數位廣播用系統

ex201‧‧‧廣播台

ex202‧‧‧衛星

ex203‧‧‧纜線

ex204、ex205‧‧‧天線

ex210‧‧‧汽車

ex211‧‧‧汽車導航

ex212‧‧‧再生裝置

ex213‧‧‧螢幕

ex215‧‧‧記錄媒體(光碟等)

ex216‧‧‧記錄媒體(SD卡等)

ex217‧‧‧機上盒(STB)

ex218‧‧‧讀取器/記錄器

ex219‧‧‧螢幕

ex230‧‧‧資訊軌

ex231‧‧‧記錄塊

ex232‧‧‧內周區域

ex233‧‧‧資料記錄區域

ex234‧‧‧外周區域

ex300‧‧‧電視(接收機)

ex301‧‧‧調諧器

ex302‧‧‧調變/解調部

ex303‧‧‧多工/解多工部

ex304‧‧‧聲音訊號處理部

ex305‧‧‧影像訊號處理部

ex306‧‧‧訊號處理部

ex307‧‧‧揚聲器

ex308‧‧‧顯示部

ex309‧‧‧輸出部

ex310‧‧‧控制部

ex311‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex313‧‧‧橋接器

ex314‧‧‧插槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318、ex319、ex320、ex321‧‧‧緩衝器

ex350‧‧‧天線

ex351‧‧‧傳送/接收部

ex352‧‧‧調變/解調部

ex353‧‧‧多工/解多工部

ex354‧‧‧聲音訊號處理部

ex355‧‧‧影像訊號處理部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex358‧‧‧顯示部

ex359‧‧‧LCD控制部

ex360‧‧‧主控制部

ex361‧‧‧電源電路部

ex362‧‧‧操作輸入控制部

ex363‧‧‧攝像機介面部

ex364‧‧‧插槽部

ex365‧‧‧攝像機部

ex366‧‧‧操作鍵部

ex370‧‧‧匯流排

ex400‧‧‧資訊再生/記錄部

ex401‧‧‧光學頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex404‧‧‧緩衝器

ex405‧‧‧碟片馬達

ex406‧‧‧伺服控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex505‧‧‧電源電路部

ex506‧‧‧串流I/O

ex507‧‧‧訊號處理部

ex508‧‧‧緩衝器

ex509‧‧‧AV I/O

ex510‧‧‧匯流排

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex800‧‧‧實施形態7之構成

ex801‧‧‧本發明之解碼處理部

ex802‧‧‧依據習知規格之解碼處理部

ex803‧‧‧驅動頻率切換部

ex901‧‧‧本發明專用之解碼處理部

ex 902‧‧‧本發明及習知規格共有之解碼處理部

ex 1001‧‧‧本發明專用之解碼處理部

ex 1002‧‧‧習知規格專用之解碼處理部

ex 1003‧‧‧本發明及習知規格共有之解碼處理

圖1是實施形態之圖像編碼裝置的方塊圖。

圖2是實施形態之圖像解碼裝置的方塊圖。

圖3A是用以說明實施形態之WPP的概略圖。

圖3B是用以說明實施形態之WPP內之依附切片的概略圖。

圖4A是用以說明不使用實施形態之WPP時之依附切片的概略圖。

圖4B是說明使用實施形態之WPP時之依附切片的概略圖。

圖5是顯示實施形態之熵切片或依附切片之切片標頭的圖。

圖6是顯示實施形態中，使用WPP時之未許可之切片構 造例的圖。

圖7是顯示實施形態中，使用WPP時之許可之切片構造例的圖。

圖8是顯示實施形態之CABAC之初始化程序的概略圖。

圖9是實施形態中，與先前切片之特徵對應的依附切片之CABAC初始化方法之決定處理流程圖。

圖10是顯示實施形態之切片構造例的圖。

圖11是顯示實施形態之切片構造例的圖。

圖12是顯示實施形態1之切片標頭之語法例的圖。

圖13是實施形態1中，依附切片之CABAC初始化方法之決定處理流程圖。

圖14是顯示實施形態2中，分割為切片之圖片例的圖。

圖15是實施形態2中，CABAC初始化方法之決定處理流程圖。

圖16是顯示實施形態2中，分割為切片之圖片例的圖。

圖17A是顯示實施形態2中，許可之切片構造例的圖。

圖17B是顯示實施形態2中，許可之切片構造例的圖。

圖17C是顯示實施形態2中，許可之切片構造例的圖。

圖17D是顯示實施形態2中，許可之切片構造例的圖。

圖18是顯示實施形態2中，分割為切片之圖片例的圖。

圖19是顯示實施形態3中，分割為切片之圖片例的圖。

圖20是實現內容發佈服務之內容供給系統之全體構成圖。

圖21是數位廣播用系統之全體構成圖。

圖22是顯示電視構成例的方塊圖。

圖23是顯示對光碟之記錄媒體進行資訊讀寫之資訊再生/記錄部之構成例的方塊圖。

圖24是顯示光碟之記錄媒體之構造例的圖。

圖25A是顯示行動電話例之圖。

圖25B是顯示行動電話之構成例之方塊圖。

圖26是顯示多工資料構成之圖。

圖27是顯示各串流在多工資料如何多工之示意圖。

圖28是更詳細顯示PES封包列如何儲存視訊流之圖。

圖29是顯示多工資料之TS封包與源封包之構造之圖。

圖30是顯示PMT之資料構成之圖。

圖31是顯示多工資料資訊之內部構成之圖。

圖32是顯示串流屬性資訊之內部構成之圖。

圖33是顯示識別影像資料之步驟之圖。

圖34是顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路構成例之方塊圖。

圖35是顯示切換驅動頻率之構成之圖。

圖36是顯示識別影像資料並切換驅動頻率之步驟之圖。

圖37是顯示使影像資料規格與驅動頻率對應之查找表之例子之圖。

圖38A是顯示共有訊號處理部之模組之構成例之圖。

圖38B是顯示共有訊號處理部之模組的其他構成例之 圖。

用以實施發明之形態

(作為本發明基礎之見解)

本發明人發現，「背景技術」欄所記載之圖像編碼方法或圖像解碼方法會產生以下問題。

首先，說明HEVC之圖像編碼裝置及圖像解碼裝置。

輸入圖像編碼裝置之影像訊號分別包含稱為資訊框(圖片)之複數圖像。各資訊框(frame)包含配置成二維行列狀之複數像素。根據混合影像編碼之上述全部標準規格中，各個影像資訊框會分割為分別包含複數像素之複數區塊。該區塊之大小是根據例如圖像內容而改變。又，可對各個區塊使用不同的編碼方法。例如，在HEVC，該區塊之最大大小為64×64像素。該最大大小稱為最大編碼單位(LCU)。LCU結論上可分割為4個編碼單位(CU)。

H.264/MPEG-4 AVC中，是以巨集區塊(通常為16×16像素之區塊)單位來進行編碼。該巨集區塊有時會分割為子區塊。

典型來說，混合影像編碼之編碼步驟中包含空間及/或時間預測。換言之，使用空間上鄰接之區塊或時間上鄰接之區塊，也就是使用已編碼之影像資訊框來預測各編碼對象區塊。接著，算出代表編碼對象區塊與預測結果之差分的殘差區塊。接著，殘差區塊會從空間(像素)範圍轉換 為頻率範圍。該轉換之目的是要使輸入區塊之相關性降低。

接著，將轉換所得到的轉換係數加以量化。該量化是不可逆壓縮。又，得到的量化係數可藉由熵編碼可逆壓縮。又，將重組編碼影像訊號所需的輔助資訊編碼，並與編碼影像訊號一起輸出。該資訊是例如與空間預測、時間預測、或/及量化相關的資訊。

圖1是顯示依據H.264/MPEG-4 AVC及/或HEVC之圖像編碼裝置100例的圖。

減法器105可算出作為輸入圖像訊號101之編碼對象區塊與對應之預測訊號181(預測區塊)之差分的殘差訊號106(殘差區塊)。該預測訊號181可藉由預測部180之時間預測或空間預測來生成。預測所用的預測類型可按照每一資訊框或每一區塊來變更。使用時間預測所預測之區塊及/或資訊框稱為間(inter)編碼，使用空間預測所預測之區塊及/或資訊框稱為內(intra)編碼。

使用時間預測之預測訊號可使用記憶體所儲存之已編碼及已解碼之圖像來導出。使用空間預測之預測訊號可使用記憶體所儲存之已編碼及已解碼之鄰接區塊的邊界像素值來導出。又，內預測方向之數量是根據編碼單位之大小來決定。

殘差訊號106也稱為預測誤差或預測殘差。轉換部110將該殘差訊號106轉換來生成轉換係數111。量化部120將轉換係數111量化來生成量化係數121。熵編碼部190將量化係數121熵編碼，以進一步減少儲存之資料量且可逆 的進行傳送。舉例言之，熵編碼為可變長度編碼。又，編碼語之長度是根據產生機率而決定。

藉由以上處理，可生成編碼訊號191(編碼位元流)。

又，圖像編碼裝置100具有用以獲得解碼圖像訊號(重組圖像訊號)的解碼部。具體而言，反轉換部130是將量化係數121進行反量化及反轉換來生成殘差訊號131。該殘差訊號131受到也稱為量化雜訊之量化誤差的影響，嚴格來說會與原殘差訊號106不同。

接著，加法器140將殘差訊號131與預測訊號181相加來生成解碼圖像訊號141。如此，由於可確保圖像編碼裝置與圖像解碼裝置之互換性，因此圖像編碼裝置與圖像解碼裝置兩者可使用已編碼、解碼之圖像訊號來生成預測訊號181。

又，根據量化，解碼圖像訊號141會重疊量化雜訊。由於是以區塊單位進行編碼，因此重疊之雜訊在各區塊常會不同。因此，當進行特別強的量化時，解碼圖像訊號之區塊邊界會變得明顯。上述編塊雜訊在人的視覺認識上會看成畫質劣化。為了減少該編塊雜訊，解塊濾波器150會對解碼圖像訊號141進行解塊濾波器處理。

例如，在H.264/MPEG-4 AVC之解塊濾波器處理，是對各區域選擇適合該區域的濾波器處理。例如，編塊雜訊大的時候，使用強的(窄頻帶)低通濾波器，編塊雜訊小的時候，則使用弱的(寬頻帶)低通濾波器。該低通濾波器之強 度是依照預測訊號181及殘差訊號131來決定。藉由該解塊濾波器處理，可將區塊之邊緣平滑化。藉此，可改善解碼圖像訊號之主觀畫質。又，已濾波器處理之圖像可用於下一個圖像之動作補償預測。故，也可藉由該濾波器處理來減少預測誤差，因此可改善編碼效率。

適應性環路濾波器160是對解塊濾波器處理後的解碼圖像訊號151進行樣本適應偏移處理、及/或適應性環路濾波器處理來生成解碼圖像訊號161。如上所述，解塊濾波器處理可改善主觀畫質。另一方面，樣本適應偏移(Sample Adaptive Offset：SAO)處理及適應性環路濾波器(Adaptive loop filter：ALF)處理是以改善像素單位之可靠性(客觀品質)為目的。

SAO是依據鄰近像素來對像素加上偏移值的處理。ALF可用於補償因壓縮所產生的圖像變形。舉例言之，ALF是維納濾波器(Wiener filter)，其具有解碼圖像訊號151與輸入圖像訊號101之平均平方誤差(MSE)定為最小化之濾波器係數。例如，ALF之係數是以資訊框單位來算出及傳送。又，ALF亦可適用於資訊框全體(圖像)或局部區域(區塊)。又，顯示進行濾波器處理之區域的輔助資訊亦可用區塊單位、資訊框單位、或四元樹單位傳送。

為了將間編碼區塊解碼，必須將編碼解碼之圖像的一部份預先儲存於參考資訊框緩衝器170。參考資訊框緩衝器170是將解碼圖像訊號161作為解碼圖像訊號171來保存。預測部180是使用動作補償預測來進行間預測。具體而 言，首先，動作估計器(motion estimator)會在已編碼及解碼之影像資訊框所含的區塊中，探索與對象區塊最類似的區塊。該類似區塊可作為預測訊號181來使用。對象區塊與類似區塊間的相對位移(動作)會作為動作資料送到圖像解碼裝置。該動作資料是例如與編碼影像資料一起提供的輔助資訊所含的三維移動向量。在此，所謂三維是包含空間二維與時間一維。

而，為了將預測精度最佳化，亦可使用1/2像素解析度或1/4像素解析度等空間子像素解析度之移動向量。空間子像素解析度的移動向量是顯示沒有實際存在之像素值的解碼資訊框內的空間位置，亦即子像素的位置。故，為了進行動作補償預測，需要像素值之空間補償。該補償處理可藉由例如補償濾波器(包含於圖1所示之預測部180)來達成。

在內編碼模式及間編碼模式兩者，代表輸入圖像訊號101與預測訊號181之差分的殘差訊號106可藉由轉換及量化來生成量化係數121。一般而言，轉換部110在該轉換是使用二維離散餘弦轉換(DCT)或其整數版等正交轉換。藉此，可有效地減少自然影像之相關。又，一般對畫質而言低頻成分較高頻成分重要，因此低頻成分會較高頻成分使用較多的位元。

熵編碼部190會將二維配列之量化係數121轉換為一維配列。典型而言，可使用所謂鋸齒掃描。在鋸齒掃描，是以預定之順序從位於二維配列左上角的DC係數到位 於右下角的AC係數來掃描二維配列。通常能量會集中於相當於低頻的二維行列係數的左上部分，因此若進行鋸齒掃描，後半之值會有變成0的傾向。藉此，熵編碼之一部份或其前置處理可藉由使用執行長度編碼來實現有效的編碼。

H.264/MPEG-4 AVC及HEVC可使用複數種類的熵編碼。語法(syntax)要素中雖有以固定長度來編碼的，但大部分的語法要素是可變長度編碼。特別是，預測殘差之編碼使用上下文適應可變長度編碼，其它語法要素之編碼則使用其它各種整數編碼。又，有時也使用上下文適應算術編碼(CABAC)。

藉由可變長度編碼，可將已編碼之位元流進行可逆壓縮。惟，由於編碼語是可變長度，因此必須將編碼語連續地解碼。亦即，不將熵編碼再啟動(初始化)、或不個別地顯示解碼時之最初編碼語(開始點)的位置，而在將先前的編碼語編碼或解碼前，無法將之後的編碼語編碼或解碼。

根據基於預定機率模型之算術編碼，將位元列編碼為1個編碼語。預定機率模型是依據CABAC時的影像序列內容而決定。故，編碼對象之位元流長度越長，算術編碼及CABAC便可越有效率地進行。換言之，使用於位元列之CABAC在較大的區塊中可說較有效率。CABAC在各序列之開頭會再啟動(restart)。也就是，在各影像序列之開頭，用既定值或預定值來將機率模型初始化。

H.264/MPEG-4、H.264/MPEG-4 AVC、及HEVC具有視訊編碼層(VCL)及網路抽象化層(NAL)的2個功能層。 利用視訊編碼層可提供編碼功能。NAL會依照超過通道之傳送及對記憶裝置之儲存等用途，將資訊要素封裝為稱作NAL單元之標準單位。該資訊要素是例如編碼預測誤差訊號、及影像訊號之解碼所需的資訊。影像訊號之解碼所需的資訊是指預測類型、量化參數及移動向量等。

NAL單元有包含壓縮影像資料與關連資訊之VCL NAL單元、將與影像序列全體相關的參數組等追加資料封裝的non-VCL單元、以及用以提供可用於改善解碼精度之追加資訊的附加擴充資訊(SEI)。

例如，non-VCL單元包含參數組。參數組是指與固定的影像序列之編碼及解碼相關的複數參數之組。舉例言之，參數組有包含與影像序列(圖片序列)全體之編碼及解碼相關的參數的序列參數組(SPS)。

序列參數組具有包含語法要素的語法構造。藉由代表各切片標頭所含的語法要素的pic_parameter_set_id，可指定參考對象之圖片參數組(PPS)。又，藉由代表PPS所含的語法要素的seq_parameter_set_id，可指定參考對象的SPS。如此，SPS所含的語法要素可使用於編碼影像序列全體。

PPS是參數組，其定義了用於影像序列所含的1張圖片之編碼及解碼的參數。PPS具有包含語法要素的語法構造。藉由代表各切片標頭所含的語法要素的pic_parameter_set_id，可指定參考對象的圖片參數組(PPS)。如此，SPS所含的語法要素便可使用於編碼圖片全體。

故，持續追蹤SPS會較PPS容易。這是因為，PPS 是相對各圖片改變，但SPS相對於可能長達數分鐘或數小時的影像序列全體是固定的。

VPS是最上位階層的參數，包含與複數影像序列相關的資訊。VPS所含的資訊是位元率及影像序列之時間層(temporal_layering)構造等。又，VPS包含與層間之依附性(不同影像序列間的依附性)相關的資訊。故，VPS可視為與複數影像序列相關的資訊，藉由VPS，可得知各影像序列之概要。

圖2是顯示依據H.264/MPEG-4 AVC或HEVC影像編碼規格之圖像解碼裝置200例的方塊圖。

輸入圖像解碼裝置200的編碼訊號201(位元流)會送到熵解碼部290。熵解碼部290將編碼訊號201解碼，藉此取得量化係數、動作資料及預測模式等解碼所需的資訊要素。又，為了獲得二維行列，熵解碼部290會將得到的量化係數逆掃描來生成量化係數291，並將量化係數291輸出到反轉換部230。

反轉換部230將量化係數291反量化及反轉換來生成殘差訊號231。殘差訊號231沒有量化雜訊，相當於從輸入到未產生誤差之圖像編碼裝置的輸入圖像訊號減去預測訊號所得到的差分。

預測部280使用時間預測或空間預測來生成預測訊號281。通常，已解碼之資訊要素在內預測時更包含預測類型等資訊，而在動作補償預測時則更包含動作資料等預測所需的資訊。

加法器240將空間範圍之殘差訊號231與預測部280所生成之預測訊號281相加來生成解碼圖像訊號241。解塊濾波器250對解碼圖像訊號241進行解塊濾波器處理來生成解碼圖像訊號251。適應性環路濾波器260對解碼圖像訊號251進行樣本適應偏移處理及適應性環路濾波器處理來生成解碼圖像訊號261。該解碼圖像訊號261會作為顯示圖像輸出，並作為解碼圖像訊號271儲存於參考資訊框緩衝器270。解碼圖像訊號271可用於後續之區塊或圖像之時間或空間預測。

相較於H.264/MPEG-4 AVC，HEVC具有輔助編碼及解碼之高度並行處理的功能。與H.264/MPEG-4 AVC相同地，HEVC可將資訊框分割為複數切片。在此，各切片包含在掃描順序上連續的複數LCU。在H.264/MPEG-4 AVC，切片分別可各自解碼，而不進行跨切片之空間預測。故，可用切片單位進行並行處理。

惟，切片具有相當大的標頭，又，由於切片間沒有依附性，因此壓縮效率會降低。又，CABAC編碼在對小資料區塊進行時會影響效率性。

就此，為了進行更有效率的並行處理，乃提案了波面並行處理(WPP)。在WPP，圖片之各LCU列(以下有時僅稱「列」)的第1個LCU(開頭LCU)之重置所用的CABAC機率模型是使用前列第2個LCU之處理後的機率模型。藉此，可維持區塊間之依附性。故，可進行複數LCU列之並行解碼。又，各列之處理會相對前列延遲2個LCU。

又，代表開始LCU列之解碼位置的開始點的資訊是包含於切片標頭而進行訊號傳達。而，WPP之細節已記載於非專利文獻1。

用以改善並行化之其它方法有使用磚(tile)的方法。將資訊框(圖片)分割為複數磚。各磚是長方形，包含複數LCU。磚之間的邊界是設定成將圖片分割為行列狀。又，複數磚是以柵狀掃描(raster scan)順序來處理。

又，在各磚之邊界會失去所有依附性。CABAC等熵編碼也會在各磚的開頭重置。而，只有解塊濾波器處理與樣本適應偏移處理會跨磚間的邊界來使用。故，可將複數磚並行地編碼或解碼。而，磚之細節已記載於非專利文獻2及非專利文獻3。

又，相較於H.264/MPEG-4 AVC之切片的原本目的為錯誤復原，為了使切片之概念變成更適於並行化之概念，乃提案有依附切片及熵切片之概念。換言之，在HEVC，可使用通常切片、依附切片、及熵切片的3個切片。

通常切片是指依據H.264/MPEG-4 AVC而已知的切片。通常切片間不進行空間預測。亦即，無法進行跨切片間之邊界的預測。換言之，通常切片是不參考其它切片而編碼。為了可分別進行上述切片之解碼，CABAC會在各切片之開頭再啟動。

又，資訊框之開頭是使用通常切片。換言之，各資訊框必須從通常切片開始。通常切片具有包含切片資料之解碼所需的參數的標頭。

熵切片是指可在母切片與熵切片間進行空間預測的切片。在此，母切片是指例如在緊接於熵切片之前的通常切片。母切片及熵切片之解析是獨立地進行。

又，切片資料之解析除了切片標頭之語法要素外，母切片與熵切片是獨立地進行。換言之，熵切片之CABAC解碼處理必須有母切片之切片標頭所含的語法要素。舉例言之，該語法要素包含顯示切片資料是否含有濾波參數的切換資訊。當切片資料存在濾波參數時，CABAC解碼部會抽出該資訊。當不存在時，CABAC解碼部不會假定濾波資料。換言之，在解析通常切片之切片標頭後，CABAC解碼部可並行地處理母切片與熵切片。

惟，母切片可為例如通常切片，對熵切片之像素值之重組是必要的。又，可在切片之開頭再啟動CABAC，以獨立解析熵切片。

熵切片可使用較通常切片之切片標頭短的切片標頭。切片標頭包含與可在通常切片之標頭內傳送的資訊相關的編碼參數子組。不含於熵切片之標頭的資訊可從母切片之標頭複製。

依附切片與不會再啟動CABAC的熵切片類似。所謂CABAC之再啟動，是指包含將上下文表(機率表)初始化為預設值的處理、及算術編碼處理或算術解碼處理之終端處理。

母切片之標頭是用於依附切片之解析及/或解碼。故，沒有母切片便無法解析依附切片，因此當沒有取得母 切片時，會無法將依附切片解碼。母切片通常在編碼順序上是依附切片之開頭切片，是包含完全的切片標頭的切片。這在熵切片之母切片也是相同。

一般而言，熵切片可視為依附於其它切片之標頭參數，因此依附切片及熵切片兩者都可適用本發明。

如上所述，依附切片及熵切片是使用切片編碼順序上緊接於前的切片的切片標頭(未含於依附切片之標頭的資訊)。此規則可歸納地使用。對象依附切片依附之母切片會辨識為是可參考的。參考是包含切片間之空間預測及共通CABAC狀態等的利用。依附切片是使用在前一個切片之末端生成的CABAC上下文表。如此，依附切片不將CABAC表初始化為預設值，可繼續利用已作成之表。又，熵切片及依附切片已記載於非專利文獻3(參考例如第73頁之「dependent_slice_flag」等)。

使用WPP時，若依附切片在LCU列之開頭開始，且包含該開頭LCU之右上LCU的切片顯示為可參考，依附切片會使用右上LCU之CABAC上下文表。

HEVC提示幾個設定檔。設定檔包含適於特定應用程式的圖像編碼裝置及圖像解碼裝置之設定。舉例言之，「主要設定檔」只包含通常切片及依附切片，不含熵切片。

如上所述，編碼切片會封裝為NAL單元，再封裝為例如即時通訊協定(RTP)，最後封裝為網際網路通訊協定(IP)封包。藉由該通訊協定堆疊或其它通訊協定堆疊，在網際網路或固有網路等封包指向型網路中，可進行編碼影像 之傳送。

典型而言，網路包含至少1個以上的路由器，路由器是由超高速動作之專用硬體構成。路由器具有接收IP封包而將IP封包之標頭解析，並適當地將IP封包傳送至各個傳送對象的功能。由於路由器必須處理來自大量來源之通訊，因此控制邏輯之封包必須盡量簡單。由於路由器要至少決定傳送IP封包之路徑，因此必須確認IP標頭所含的傳送對象位址欄。為了進一步提供對服務品質(QoS)的支援，智慧(媒體知覺(media aware))路由器會追加地確認IP標頭、RTP標頭、及NALU標頭等網路通訊協定標頭之專用區域。

由關於影像編碼之上述記載可知，依附切片及熵切片等為了並行處理所定義的不同類型的切片，對於資料欠缺時的畫質降低的重要性不同。沒有母切片，便無法將依附切片解析及解碼。這是因為，用依附切片的開頭，無法將熵編碼部或熵解碼部再啟動。故，在重組圖像或影像上，母切片可說更重要。

HEVC中，依附切片及熵切片在依附性之補充方式上，會加入切片間之依附性(資訊框內之依附性)。該依附性並非資訊框內的唯一依附性。

又，為了對每一磚進行切片之並行處理，算術編碼部及算術解碼部之上下文會依據預設之設定、或是已編碼或已解碼之切片來決定。惟，標頭之依附性與算術編碼初始化之依附性不同，因此有可能違反並行處理及依附切片的機制目的，產生延遲或使複雜度增加。

依附切片也可與WPP或磚等並行處理工具同時使用。又，藉由使用依附切片，可在不引起編碼損失的情形下生成可減少傳送延遲的波前(Wavefront)(子串流)。

又，依附切片中，不會再啟動CABAC，因此可將依附切片作為CABAC子串流(Substream)之開始點來使用。又，為了顯示獨立之解析的開始點，亦可將顯示該開始點之資訊包含於位元流來傳達。特別是，將2個以上CABAC子串流封裝為通常切片或依附切片時，會使用每一子串流的位元組數來明白地將開始點加以訊號傳達。在此，子串流是顯示可依據開始點而分別解析之串流的一部分。又，由於各依附切片需要NAL單元之標頭，因此可使用依附切片來作為開始點之「標記」。換言之，可將對上述標記之開始點加以訊號傳達。

以訊號明確地通知開始點之方法，可與透過依附切片來標記開始點之方法同時地使用。在此，必須可特定出各NAL單元之開始點(各NAL標頭之開頭)。而，特定方法可使用任意方法。例如，可使用以下2個方法。

第一個方法，是在各NAL標頭的開頭插入例如3位元組的開始碼的方法。第二個方法，是將各NAL單元封包化為各個封包的方法。又，為了切片之依附性，亦可縮小切片標頭的大小。

藉由這些方法，可對熵切片進行並行CABAC解析。這是因為，用熵切片的開頭一定可再啟動CABAC。CABAC之並行處理中，可藉由連續的像素重組處理後的並 行CABAC解析來克服障礙。具體而言，藉由WPP並行化工具，可將各LCU列之解碼處理以1個處理核心來實現。而，對各核心的LCU列之分配可不同。例如，可對1個核心分配2列，亦可對2個核心分配1列。

圖3A是顯示分割為複數列之圖片300的圖。各列包含複數最大編碼單位(LCU)。列301(Wavefront1)及列302(Wavefront2)是並行處理的對象。如圖3A之CABAC狀態(CABAC states)之箭頭所示，在列301中最初的2個LCU解碼後，開始列302之處理。又，將列301最初的2個LCU編碼或解碼後的CABAC狀態，可用於列302之CABAC初始化時。故，列302之處理可在列301最初的2個LCU之處理結束後開始。換言之，在2個處理核心間會延遲2個LCU。

圖3B是使用了WPP之依附切片的使用例的圖。圖3B所示之圖片310包含列311~314。在此，列311(Wavefront1)、列312(Wavefront2)、及列313(Wavefront3)是用不同核心處理。

依附切片會形成可改善延遲的WPP。依附切片中沒有完全的切片標頭。又，若知道開始點(或可由上述規則得知的依附切片之開始點)，便可與獨立於其它切片而將依附切片解碼。又，依附切片不會產生編碼損失，可形成也適於低延遲應用程式之WPP。

在將子串流(LCU列)封裝為切片之一般情形中，為了確實地並行進行熵編碼及解碼，必須將明確的開始點插入切片標頭。故，唯有在切片之最後的子串流完全編碼 後，方可準備切片之傳送。又，唯有在切片中的全部子串流的編碼完畢後，切片標頭才完成。換言之，在切片全體之處理結束前，無法透過RTP/IP層之封包片段(packet fragmentation)來開始切片開頭之傳送。

惟，使用依附切片時，可將依附切片作為開始點標記來利用，因此不需要開始點之明確訊號之通知。故，可在無編碼損失下將通常切片分割為較多的依附切片。又，當封裝之子串流的編碼一結束，便可立刻(或者，若是封包片段時可更快地)傳送依附切片。

又，依附切片不會減弱空間預測之依附性。且，依附切片也不會減弱解析依附性。這是因為，對象依附切片之解析一般會需要先前切片之CABAC狀態。

不許可依附切片時，可將各LCU列作為切片。上述構成雖可改善傳送延遲，但同時也會如上述般產生較大的編碼損失。

假設將資訊框(圖片)全體封裝為1個切片之情形。此時，由於可進行並行解析，因此必須利用訊號來對切片標頭傳達子串流(LCU列)之開始點。因此，在資訊框層級會發生傳送延遲。換言之，在將資訊框全體編碼後，必須修正標頭。將圖片全體封裝為1個切片本身不會使傳送延遲惡化。舉例言之，可在編碼完全結束前，開始傳送切片的一部份。惟，使用WPP時，為了記錄開始點，必須在之後修正切片標頭。故，必須使切片全體之傳送延遲。

如此，藉由使用依附切片，可減少延遲。如圖3B 所示，圖片310是分割為代表通常切片之列311、與代表依附切片的列312、313及314。各列為1個依附切片時，可在無編碼損失下使1個列的傳送延遲。這是因為，依附切片不會減弱空間依附，且不會將CABAC引擎再啟動。

圖4A及圖4B是顯示CABAC初始化之另一例的圖。圖4A顯示不使用WPP時的CABAC初始化。又，WPP及磚兩者都不使用。又，允許同時使用通常切片及依附切片。

依附切片(3)會從通常切片(2)複製標頭。換言之，通常切片(2)是依附切片(3)的母切片。依附切片(3)是使用通常切片(2)之末端所生成的上下文表。依附切片(3)不是通常切片(1)，會依附於通常切片(2)。換言之，通常切片(1)與依附切片(3)間不存在空間預測。

圖4B是顯示使用WPP時的CABAC初始化的圖。同時使用通常切片、依附切片及WPP是被允許的。

依附切片(3)會複製通常切片(2)的標頭。預想依附切片(3)會使用通常切片(1)的第2個LCU之末端所生成的上下文表。惟，由於切片(2)是通常切片，因此表示不會參考切片(1)的第2個LCU。換言之，由於切片(1)在編碼順序中不是緊接於依附切片之前的先前切片，因此不會被參考。

惟，切片(2)會作為切片(3)及(4)的參考切片使用。換言之，開始切片(3)之解碼時，CABAC狀態必須初始化為預設值(圖4B中以虛線之箭頭表示)。依附切片(4)是使用依 據上述WPP之條件的右上第2LCU後的CABAC狀態(實線箭頭)。

圖5是顯示依據現在的HEVC參考模型(HM8.0)之切片標頭的語法例的圖。切片標頭320包含顯示對象切片是依附切片或是通常切片的語法要素dependent_slice_flag。

由圖5之列321可知，在dependent_slice_flag與0相同之情形，標頭包含切片標頭資訊。亦即，切片具有完全的標頭。若非如此，則標頭不含切片標頭資訊。換言之，如上所述，依附切片及熵切片不具有完全的切片標頭，會參考先前的通常切片的標頭。

為了支援並行處理，開始點會在之後用訊號傳送。即使在熵編碼部或熵解碼部不會再啟動的情形下，亦可使用該開始點，對開始點間的影像串流(子串流)的一部份獨立地進行並行解碼。如上所述，對依附切片、通常切片及熵切片也標記開始點。

HEVC中，有幾個並行處理工具。如上所述，該工具是WPP、依附切片、熵切片及磚。惟，這些工具沒有互換性，因此在將這些工具組合之利用上會有限制。一般而言，磚與切片同時使用是被允許的。

惟，在主要設定檔中，有必須將1個切片分割為1以上的整數個磚、或將1個磚分割為1以上的整數個切片的限制。典型上，該限制會使用於特定設定檔(或設定檔的特定層級)。該限制之目的是為了降低硬體執行之複雜度。

PPS之entropy_coding_sync_enabled_flag與1相同 (亦即使用WPP)，且切片所含的第1個編碼區塊不是由磚的編碼樹區塊所構成之列的第1個編碼樹區塊的第1個編碼區塊時，位元流符合規格的條件，是切片的最後編碼區塊屬於與切片的第1個編碼區塊相同的編碼樹區塊列。編碼樹表示LCU構造、及將LCU分別進一步歸納地分割為4區塊。換言之，可進行WPP、且切片不從對象LCU列之開頭開始時，切片必須在對象LCU列之末端或之前結束。又，除了並行處理機構，與HEVC語法相關的細節也已記載於非專利文獻3。

用圖6來說明該限制。圖6所示之圖片330包含代表通常切片的切片331、332及333。切片331及332是包含於1個LCU列。由於切片333是跨複數LCU列(該例中為3列)，因此是不被許可的切片。依據上述限制，切片333必須在第1LCU列的末端結束。

圖7是顯示使用WPP時，具有許可之切片構造的圖片340的圖。圖片340包含代表通常切片的切片341、342與343、以及代表依附切片的切片344。這些切片341、342及343會包含於第1列LCU列。切片344包含其次的2列。

由於切片344是依附切片，因此對切片344的CABAC初始化會依附於其它切片341、342及/或343。當切片342及343的任一者如圖7所示為通常切片時，切片344會初始化為預設的CABAC狀態。若不是時，會使用WPP表。換言之，對象列上之LCU列的第2個LCU處理後的CABAC狀態會用於初始化。

該例中，如圖4B及上述CABAC初始化之相關記載所述，對依附切片344的CABAC是使用預先設定的預設CABAC狀態來初始化。

如此，CABAC初始化會根據複數的先前切片。故，對象切片之處理，特別是針對解析，會依附於複數的其它切片。具體而言，依照對象切片之先前切片種類，決定CABAC上下文要用預設值及WPP值的何者來初始化。如此，確認是否可利用先前切片，而決定用於對象切片之初始化方法。換言之，需要順序相當複雜的處理。以下，將就此詳細說明。

由於第1切片341至少具有2個LCU，因此可參考將最初的2個LCU編碼或解碼後的CABAC狀態。

又，失去切片342或切片343時，便無法將切片344正確地解碼。這是因為不知道切片342或切片343的種類，因此無法進行CABAC初始化。換言之，只要欠缺與2個先前切片相關的資訊，即使可正確地取得切片344，仍舊無法進行對切片344的CABAC初始化，因此會將可正確地取得之切片344的資料捨棄。故，對切片344必須進行錯誤消除。因此，不完全的錯誤消除所造成的變形有可能會致使畫質降低。

在此，切片標頭中，語法要素大部分(這些主要是特定濾波操作等控制的切換)必須對資訊框所含的全部切片決定。又，其中，雖然有可按照各切片變更的語法要素，但在圖像編碼裝置進行的大部分處理中，會維持針對 資訊框全體所決定的控制參數。故，錯誤消除之方法可使用以下方法。該方法中，只需要失去的切片是依附切片或是通常切片的資訊。

又，當封包順序混亂地到達時，解碼延遲會惡化。換言之，預想重排封包時，會有解碼延遲惡化的可能。這與利用依附切片來提供超低延遲之WPP基本目的相矛盾。

圖8是顯示CABAC初始化處理之其它例的圖。圖8中，假設圖7所示之切片構造。圖8所示之圖片350包含切片351與切片354。切片351為通常切片，是資訊框中的第1個切片，包含4個LCU。在資訊框之開頭，也就是切片351之開頭，CABAC會初始化為預設狀態值(0狀態)。而，亦可存在複數預設狀態，此時，可從複數預設狀態中選擇一個預設狀態。而，預設狀態是指算術編碼之機率模型的預定定值。

即使取得屬於依附切片354的資料，在因欠缺或錯誤而沒有切片342及切片343(參考圖7)之資料時，仍舊無法將切片354解碼。這是因為，如上所述，在沒有切片342及343之資訊的情形下，無法將CABAC引擎初始化。

圖9是已取得依附切片354時進行的初始化方法之決定處理的流程圖。換言之，該流程圖是顯示CABAC初始化之對2個以上切片的依附方式。

假設對切片(4)(依附切片354)設定以下條件。可進行WPP。SPS之dependent_slice_enabled_flag設定為1。切片(4)之位置滿足(式1)。

slice_address% numLCUinRow=0．．．(式1)

在此，「%」是模數運算(整數除法的餘數)。參數numLCUinRow表示圖片350的每1列的LCU數。故，(式1)之條件會在列的開頭滿足。參數numLCUinRow可從SPS的設定導出。

首先，判定切片(4)是否為依附切片(S101)。切片(4)不是依附切片時(S101為No)，進行預設之初始化。

如圖8所示，切片(4)是依附切片時(S101為Yes)，i設定為3(S102)。換言之，緊接於切片(4)之前的切片(3)會設定為切片i。

接著，判定切片i是否是從切片(4)的上1列開始的(S103)。在此，由於i設定為3，因此切片i是緊接於處理對象之依附切片(切片(4))之前的切片(3)。

切片i不是從切片(4)的上1列開始時(S103為No)，進行WPP之初始化(使用WPP表的初始化)(S107)。

另一方面，切片i是從切片(4)的上1列開始時(S103為Yes)，也就是圖8所示之情形時，判定切片i是否為依附切片(S104)。

切片i不是依附切片時(S104No)，接著，分析切片i的開始位置。具體而言，判定slice_address% numLCUinRow是否小於2(S106)。亦即，判定切片i的開始位置是否為列開頭或第2個LCU。

slice_address% numLCUinRow小於2時(S106為Yes)，進行WPP之初始化(S107)。另一方面，slice_address% numLCUinRow為2以上時(S106為No)，進行預設之初始化(S108)。

又，切片i是依附切片時(S104為Yes)，分析切片i的開始位置。具體而言，判定slice_address% numLCUinRow是否小於3(S105)。亦即，判定切片i的開始位置是列開頭、第2、或第3個LCU。

slice_address% numLCUinRow小於3時(S105為Yes)，進行WPP之初始化(S107)。另一方面，slice_address% numLCUinRow為3以上時(S105為No)，不進行初始化，索引i減少1(S109)。換言之，該例中，將對象切片(切片(4))之2個以前的切片(2)設定為切片i。接著，對切片(2)進行步驟S103以後的處理。又，對切片(2)也已進行相同判定時，接著，將切片(1)設定為切片i。

圖10是顯示圖片360的圖。圖片360包含5個切片361~365。切片361是通常切片，包含第1列全體。切片362是依附切片，包含第2列全體。第3列包含依附切片363及切片364。切片365是依附切片，包含第4列全體。

以下，將針對在失去切片364時、或切片364延遲時，切片364是依附切片的情形及切片364是通常切片的情形等各情況來檢討。又，在此，切片363至少具有2個LCU。

失去切片364時，圖像解碼裝置無法判別切片364之種類。失去的切片364是依附切片時，在重組處理中，些許的誤差仍可繼續切片365及之後切片的解碼。這是因為，如用圖8及9所說明，切片365是使用切片363的第2個LCU的 CABAC狀態。故，CABAC初始化處理不會產生錯誤。惟，切片365是使用來自切片364之空間預測，在像素重組處理有可能發生錯誤。

另一方面，失去的切片364是通常切片時，無法將切片365解碼。這是因為，語法要素中或許有使用了失去的切片364之切片標頭的資訊者。換言之，這是因為通常切片364是依附切片365的母切片，依附切片365的解析及解碼需要母切片的資訊。

當不知道失去的切片364的切片種類時，為了避免失去的切片364是通常切片時可能產生的錯誤解碼，圖像解碼裝置會將可解碼的切片365捨棄。這在即使可正確地取得切片365的資料時仍會捨棄切片365，因此沒有效率。且，切片365後續的依附切片也必須全部捨棄。

切片364是通常切片時，為了切片365之解碼，會將CABAC引擎初始化為預設的CABAC值(參考圖9之S101為No時)。故，切片365不依附於切片363。又，切片363與切片365間的空間預測也不會進行。如此，由於在切片365之開始位置會將CABAC初始化為預設值，因此依附切片365與通常切片類似。

惟，通常切片具有完全的切片標頭。另一方面，切片365只有短的切片標頭，會依附於藉由先前的通常切片的切片標頭所設定的參數。換言之，當切片365是依附切片時，雖然有可縮小標頭大小的優點，但該優點並不太大。另一方面，當切片365是通常切片時，可將切片365解碼。 如此，可知在上述情況中，相較於將切片365設定為依附切片，設定為通常切片的優點較大。

惟，在WPP，依附切片之目的並非在於使對損失之穩健性(robust)確實，而是可在超低延遲下進行WPP操作。另一方面，在即時的應用程式等跨越網路的超低延遲應用程式時，可預想封包損失及封包之重排。此時，只要最終可取得切片364，便可將切片365解碼。惟，至少會引起延遲之惡化及封包之損失。故，在損失多的環境下，WPP會在非最佳狀態下進行。

圖11是用以顯示使用WPP時，與CABAC初始化相關的其它課題，而顯示圖片370的圖。圖片370包含4個切片371~374。

切片371是通常切片，切片372是依附切片。在此，切片371至少具有2個LCU。圖片370的第1列包含切片371及372。圖片370的第2列包含代表依附切片的切片373及374。

此時，假設圖像編碼裝置是利用至少2個處理器核心。換言之，使用WPP時，圖像編碼裝置會將2個LCU列並行地編碼及解析。故，早在可利用切片372之前，便可利用切片373。

惟，對切片373之CABAC初始化是依附於切片372，因此無法開始切片373之解碼。故，無法使列間的編碼或解碼的開始延遲小於1個LCU列全體。這與將延遲縮小到2個LCU的WPP之目的相矛盾。

以下說明圖11所示之切片編碼及傳送的並行處 理。處理器核心或處理器等2個處理部將各列的第1個切片(切片371及切片373)同時編碼。編碼結束後，已編碼之切片371及373會將封包編號(packet_id)分別封裝為0與4的封包。在此，為了切片372及可能的話其它的NALU，是選擇封包編號4，以確保小的編碼。

切片372之編碼完畢時，切片372會封裝為封包編號1的封包並傳送。又，生成具有對應之封包編號2與3、及虛擬(填充)資料的2個NAL單元，以使欠缺封包編號2及3不會被判定為封包之欠缺。

在HEVC中，這可藉由使用filler_data SEI訊息、或已確保為填充資料用的預定NAL單元類型而達成。如此，當封包ID必須隨著每一NAL單元1個1個增加時，填料類型NALU可用於填補其差。

對象列之初始化會依附於其上之列的第2個LCU。又，在第2個LCU之後插入切片時，會對CABAC初始化之決定造成影響而產生問題。根據該分析及問題，本發明可提供用以導出WPP及依附切片之利用更有效率的關係的方法。為了維持WPP之效率性，應避免對1列的CABAC初始化依附於其它列的狀況。

本發明其中一態樣的圖像解碼方法，可將包含編碼訊號之位元流解碼，前述編碼訊號是已將圖像分割為分別包含複數編碼單位之複數切片並編碼，前述圖像解碼方法包含將前述編碼訊號解碼的解碼步驟，前述複數切片分別是通常切片及依附切片的其中之一，前述通常切片是該 切片之切片標頭所含的資訊會用於其它切片，前述依附切片則是解碼會使用其它切片之切片標頭所含的資訊，前述圖像包含分別具有複數編碼單位的複數列，當通常切片是從第1列之開頭以外開始時，該第1列之後的第2列不會從依附切片開始。

藉此，可排除第2列開頭的切片參考第1列開頭以外的切片的情況發生，而可改善同時利用並行處理及依附切片時的效率性。

例如，在前述解碼步驟，將前述第1列及前述第2列並行解碼，當開始前述第2列之解碼時，可不參考顯示前述第1列之切片構造的分割資訊，將前述第2列解碼。

例如，在前述解碼步驟，前述第2列之算術解碼可使用前述第1列第2個編碼單位已算術解碼後的上下文來進行初始化。

例如，前述圖像解碼方法可更包含從切片標頭取得顯示切片是通常切片或是依附切片之資訊的步驟。

例如，前述圖像之開頭切片可為通常切片，其它全部切片則為依附切片。

例如，各切片可包含1以上之列的全部。

例如，前述依附切片之算術解碼可使用切片標頭用於前述依附切片之母切片的上下文來進行初始化。

例如，前述圖像解碼方法前述圖像解碼方法可更包含以下步驟，即：當前述依附切片為有效時，從前述位元流取得顯示圖片分割已受限制之限制指標。

又，本發明其中一態樣之圖像編碼方法，是將圖像分割為分別包含複數編碼單位之複數切片來編碼，藉此生成位元流，包含有：分割步驟，將前述圖像分割為複數切片；及，編碼步驟，將已分割之複數切片編碼；前述複數切片分別是通常切片及依附切片的其中之一，前述通常切片是該切片之切片標頭所含的資訊會用於其它切片，前述依附切片則是解碼會使用其它切片之切片標頭所含的資訊，前述圖像包含分別具有複數編碼單位的複數列，前述分割步驟中，將前述圖像分割為複數切片，以使通常切片是從第1列之開頭以外開始時，該第1列之後的第2列不會從依附切片開始。

藉此，可排除第2列開頭的切片參考第1列開頭以外的切片的情況發生，而可改善同時利用並行處理及依附切片時的效率性。

例如，可在前述分割步驟，當圖像解碼裝置將前述第1列及前述第2列並行解碼時，將前述圖像分割為前述複數切片，以於該圖像解碼裝置開始前述第2列之解碼時，可不參考顯示前述第1列之切片構造的分割資訊，將前述第2列解碼。

例如，在前述編碼步驟，前述第2列之算術編碼可使用前述第1列第2個編碼單位已算術編碼後的上下文來進行初始化。

例如，前述圖像編碼方法可更包含將顯示切片是通常切片或是依附切片之資訊埋入切片標頭的步驟。

例如，前述圖像之開頭切片可為通常切片，其它全部切片則為依附切片。

例如，各切片可包含1以上之列的全部。

例如，前述依附切片之算術編碼可使用切片標頭用於前述依附切片之母切片的上下文來進行初始化。

例如，前述圖像編碼方法可更包含以下步驟，即：在前述依附切片為有效時，將顯示圖片之分割已受限制之限制指標埋入前述位元流。

又，本發明其中一態樣之圖像解碼裝置，可將包含編碼訊號之位元流解碼，前述編碼訊號是已將圖像分割為分別包含複數編碼單位之複數切片並編碼，前述圖像解碼裝置具有將前述編碼訊號解碼的解碼部，前述複數切片分別是通常切片及依附切片的其中之一，前述通常切片是該切片之切片標頭所含的資訊會用於其它切片，前述依附切片則是解碼會使用其它切片之切片標頭所含的資訊，前述圖像包含分別具有複數編碼單位的複數列，當通常切片是從第1列之開頭以外開始時，該第1列之後的第2列不會從依附切片開始。

藉此，可排除第2列開頭的切片參考第1列開頭以外的切片的情況發生，而可改善同時利用並行處理及依附切片時的效率性。

又，本發明其中一態樣之圖像編碼裝置，是將圖像分割為分別包含複數編碼單位之複數切片來編碼，藉此生成位元流，包含有：分割部，將前述圖像分割為複數切 片；及，編碼部，將已分割之複數切片編碼；前述複數切片分別是通常切片及依附切片的其中之一，前述通常切片是該切片之切片標頭所含的資訊會用於其它切片，前述依附切片則是解碼會使用其它切片之切片標頭所含的資訊，前述圖像包含分別具有複數編碼單位的複數列，前述分割部會將前述圖像分割為複數切片，以使通常切片是從第1列之開頭以外開始時，該第1列之後編碼的第2列不會從依附切片開始。

藉此，可排除第2列開頭的切片參考第1列開頭以外的切片的情況發生，而可改善同時利用並行處理及依附切片時的效率性。

又，本發明其中一態樣之圖像編碼解碼裝置具有前述圖像編碼裝置與前述圖像解碼裝置。

而，以下說明之實施形態皆是顯示本發明之一具體例。以下實施形態所示之數值、形狀、材料、構成要件、構成要件之配置位置及連結形態、步驟、步驟之順序等皆為例子，用意並非限定本發明。又，以下實施形態之構成要件中，對於未記載於表示最上位概念之獨立請求項的構成要件，會作為任意之構成要件來說明。

(實施形態1)

本實施形態1之圖像編碼方法及圖像解碼方法中，追加可明示CABAC初始化的指標。

圖12是顯示實施形態1之切片標頭語法的圖。切片標頭380包含新的列381，該列381具有新的語法要素 「entropy_default_initialization_flag」。

該entropy_default_initialization_flag是顯示在設定為預定值時，切片之CABAC會以CABAC預設(預定)值來初始化的指標。此旗標是1位元的指標，具有表示切片是以預設CABAC值來初始化的「1」等第1值、及表示以其它方法進行初始化的「0」等第2值。而，「1」及「0」之值的分配亦可交換。

初始化決定之「其它方法」可為根據先前切片之值來初始化等預定方法。惟，「其它方法」亦可包含與圖9所示之流程類似的其它決定流程，藉此，也有可能導入預設CABAC值之初始化方法。

本實施形態之圖像解碼裝置可將包含至少部分以算術編碼來編碼之圖像切片的編碼影像序列之位元流解碼。該圖像解碼裝置具有：解析部，從前述切片之位元流資料抽出初始化指標，該初始化指標是顯示是否以預定值來將切片之算術解碼之機率模型初始化；控制部，依照前述初始化指標，控制是否以前述預定值來將算術解碼用之前述機率模型初始化；及，算術解碼部，藉由進行算術解碼來將前述切片解碼。

舉例言之，算術編碼可為用HEVC定義的上下文適應算術編碼。惟，本發明不限於此。

預定值是指圖像編碼裝置及圖像解碼裝置所告知的預設值，不會因編碼之內容而改變。

該初始化指標以1位元旗標為佳，在1位元旗標， 「1」表示以預定值將算術解碼之機率模型初始化，「0」表示用其它方法將算術解碼之機率模型初始化。

只有在對象切片為依附切片時，需要該指標之存在。這是因為，在通常切片時，CABAC預設值會用於初始化(參考圖9之S101為No的情形)。故，藉由確認條件dependent_slice_flag==1，可先分析對象切片是否為依附切片。

又，進行切片與其它切片之並行處理時，初始化指標(旗標)是有利的。舉例言之，並行處理可為WPP。故，只有在條件之entropy_coding_sync_enabled_flag==1為真時，圖12所示之切片標頭的語法會包含初始化指標entropy_default_initialization_flag。

又，只有當切片是在LCU列之開頭開始時，初始化指標是適當的。這是因為，只有在這個時候，為了進行並行處理，需要CABAC之即時初始化。這在圖12所示之語法中，是利用條件slice_address% PicWidthInCtbsY==0來表示。

如上所述，語法要素「slice_address」是利用位元流所含的偏移來顯示切片之開始。「PicWidthInCtbsY」是用編碼樹區塊之單位(LCU)數來表示資訊框的寬度。

如列381所示，上述3個條件的邏輯和會用於判定。亦即，只在以下(式2)為真時，傳達entropy_default_initialization_flag，以明確地用訊號來傳達初始化方法。

dependent_slice_flag==1 && entropy_ coding_sync_enabled_flag==1 && slice_address% PicWidthInCtbsY==0．．．(式2)

(式2)不是真時，會根據通常方法，亦即WPP規則來進行初始化。

換言之，本實施形態之圖像編碼方法及圖像解碼方法，是將圖像之切片分割為與圖像之像素區塊對應的編碼單位，解析部只有在切片為依附切片時，抽出標頭資料所含的初始化指標。依附切片之算術解碼部會根據與各依附切片對應的母切片之算術解碼部的上下文來進行初始化。

又，亦可只有在可進行由編碼單位構成之列的並行解碼時，解析部抽出標頭資料之初始化指標。

換言之，依據本實施形態，將圖像之切片分割為與圖像之像素區塊對應的編碼單位，解析部只有在切片是從由圖像之編碼單位區塊構成之列的開頭開始時，抽出標頭資料之初始化指標。

圖13是本實施形態中，切片之CABAC初始化之決定方法的流程圖。圖13是假設圖8所示之圖片350的情形。假設切片(4)(切片354)是與切片(1)(切片351)並行地解析，而進行以下決定。

首先，判定切片(4)是否為依附切片(S111)。當切片(4)為依附切片、且滿足其它條件(進行列的並行處理，且切片是在LCU列的開頭開始)時(S111為Yes)時，確認初始化指標「entropy_default_initialization_flag」，以決定初始化 之執行方法(S112)。

依據entropy_default_initialization_flag，顯示使用預設初始化時(S112為No)，使用預設初始化(S114)。另一方面，依據entropy_default_initialization_flag，未顯示使用預設初始化時(S112為Yes)，使用參考先前切片之WPP初始化(S113)。

而，本實施形態不限於在切片標頭內將初始化指標以訊號傳達。其它資料構造可為例如對附加擴充資訊訊息埋入同一指標。

(實施形態2)

依據實施形態1，可實現WPP及依附切片等並行LCU列處理之有效率處理。另一方面，將新的語法要素加入切片標頭。相對於此，為了避免追加新的語法要素，可藉由修正初始化規則來達成CABAC初始化對並行處理中之切片的獨立性。

本實施形態中，會修正依附切片之定義、及圖像編碼裝置及圖像解碼裝置對依附切片之動作。這可藉由對位元流之規格加上限制來實現。

換言之，本實施形態之圖像解碼裝置是將包含複數圖像切片之編碼影像序列之位元流解碼，前述複數圖像切片是分割為複數編碼單位，且至少一部分已用算術編碼來編碼。該圖像解碼裝置具有從位元流抽出由編碼單位構成的第1列及第2列的解析部，將第1列及第2列之編碼單位分配於切片，藉此，在將對第2列之第2切片的算術解碼部 初始化時，可不參考第1列之第1切片的分割資訊。第1列之第1切片的開始位置是在較第2列之第2切片多預定編碼單位數後。該圖像解碼裝置更具有算術解碼部，可藉由將前述第1切片及前述第2切片的至少一部分並行地算術解碼來將前述各切片解碼。

圖14是用以顯示本實施形態功能的圖，顯示已分割為複數切片之圖片390。圖片390包含4個切片，通常切片391、通常切片392、依附切片393、及通常切片394。

3個切片391、392及393是包含於由編碼單位(LCU)構成的第1列。切片394包含第2列及第3列全體。

可用於切片化、及列單位之並行處理之使用的限制，第1例為「entropy_code_sync_enabled_flag與1相同、且dependent_slice_enabled_flag與1相同時，通常切片可只在編碼樹區塊列之開頭開始」。又，entropy_code_sync_enabled_flag及dependent_slice_enabled_flag之兩旗標是包含於圖片參數組。而，編碼樹區塊(CTB)、及最大編碼單位(LCU)是同一單位。標準本文(參考非專利文獻3)是使用CTB。又，在標準本文之前個版本雖是使用LCU，但目前是使用CTB。

當通常切片只在編碼單位列(LCU列)之開頭開始時，接續於其它列的該通常切片的依附切片可一直參考通常切片之CABAC狀態。在此，CABAC狀態是指可藉由WPP執行的最初LCU或最初2個LCU之處理後的CABAC狀態。又，依附切片之標頭會依附於該等之前的通常切片之 標頭，因此若失去通常切片394時，必須捨棄依附切片。

如此，在第1例之限制，通常切片經常是在LCU列之開頭開始。換言之，LCU列之開頭切片為通常切片，其它切片為依附切片。亦即，通常切片只允許作為LCU之開頭切片。又，LCU列之開頭以外的切片經常是依附切片。

上述第1例之限制不需嚴密。為了可使用WPP初始化，只要依附切片可利用前列之通常切片的至少1個或2個LCU即可。

或者，其它限制(規則)可使用第2例。第2例中，在編碼樹區塊列之第2個編碼樹區塊後，不開始通常切片。由於通常切片必須在LCU列之開頭開始，因此例如圖14所示，將第2個切片392設定為通常切片是不允許的。

而，上述第1切片只要是開始位置到第1列第2個編碼單位即可。又，也可第1切片為通常切片，而第2切片為使用通常切片之切片標頭的依附切片。又，第1切片之開始位置可為第1列之開頭。

圖15是設置上述規則時的CABAC初始化方法之決定處理的流程圖。在此，用圖8所示之例來說明。

首先，判定切片(4)是否為依附切片(S111)。切片(4)為依附切片時(S111為Yes)，進行WPP初始化(S113)。另一方面，切片(4)不是依附切片時(S111為No)，進行預設初始化(S114)。

如此，本實施形態之圖像編碼方法會使用上下文適應熵編碼部。該圖像編碼方法可用於至少分割為2個部分 的圖片資訊框。至少2個部分是指分別至少一部分可並行地編碼及解碼的第1部分及第2部分。

依據本實施形態，將子串流之第1部分分割為切片時，是用串流之第2部分的上下文表之初始化不依附於第1部分之分割的方法來決定。舉例言之，由於WPP是按照每一列(每一LCU列)進行，因此串流之一部分可對應於LCU列。

而，本發明不限於以上舉例的限制。或者，可用不同方法將上述限制公式化。以下，說明限制的其它例。

通常切片滿足以下(式3)之條件時，在後續LCU列之開頭開始的切片不是依附切片。

slice_adress% PicWidthInCtbsY>1．．．(式3)

為了簡化，可用以下(式4)來表現上述條件。

slice_adress% PicWidthInCtbsY！=0．．．(式4)

在此，「！=」表示非相同。當entropy_coding_sync_enabled_flag與1相同時，亦即可進行LCU列之並行處理時，可使用這些限制。又，「slice_adress」表示在位元流內開始之切片的位置，參數「PicWidthInCtbsY」表示LCU(編碼樹區塊)之圖片(資訊框)的寬度。

換言之，當通常切片不在列的開頭開始時，在其下一列開始的切片不會是依附切片(第3例)。依據該條件，第2列之切片的解碼不需等到將第1列某位置之通常切片解析(解碼)後。

也就是，當通常切片是從第1列之開頭以外開始 時，該第1列之後的第2列不會從依附切片開始。換言之，當第1列第2個或之後的切片中至少1個是通常切片時，第2列之開頭切片會是通常切片。

用圖16來說明上述第3例之限制產生的影響。圖16所示之圖片400具有包含於第1列的3個切片401~403。這3個切片中，最初的2個切片401及402是通常切片，第3個切片403是依附切片。

依據上述條件，無法將第4個切片404設定為依附切片。圖16中，將切片404加上X記號來表示。

故，位元流可包含通常切片及依附切片，該等之解碼是根據通常切片之切片標頭中進行訊號傳達的參數。當通常切片在LCU列之開頭後的位置開始時，下一個LCU列不會以依附切片開始。

又，用圖17A~圖17D來說明具體例。例如圖17A所示，第1列有通常切片(3)時，無法將第2列的開頭切片(4)設定為依附切片。又，當切片(2)及切片(3)的至少一者是通常切片時，無法將切片(4)設定為依附切片。故，如圖17B所示，必須將切片(4)設定為通常切片。又，第3例中，也允許圖17C及圖17D所示之圖片。

而，上述第1例中，圖17A、圖17B及圖17D所示之圖片雖不允許，但圖17C所示之圖片是允許的。又，第2例中，圖17A及圖17B所示之圖片雖不允許，但圖17C及圖17D所示之圖片是允許的。

用圖18來說明第4例之限制。當entropy_coding_ sync_enabled_flag與1相同、且dependent_slice_enabled_flag與1相同時，資訊框中的最初切片以外不允許通常切片(第4例)。

也就是，當可進行並行處理、且依附切片為有效時，通常切片只有作為資訊框中的最初切片是允許的。亦即，除了最初切片外，資訊框中的全部切片都是依附切片。換言之，圖像的開頭切片是通常切片，其它全部切片都是依附切片。

圖18所示之圖片410包含5個切片411~415。切片411、412及415是通常切片，切片413及414是依附切片。依照上述第4例之限制，除了第1個通常切片411，通常切片412及415是不允許的。亦即，切片412及415一定是依附切片。又，在第4例，圖17A~圖17D所示之圖片中，只有圖17D所示之圖片是允許的。

而，當該使用了第4例之限制時，在關於對封包損失之穩健性上會有缺點。為了降低依附性，或是為了降低在損失多的環境下的錯誤傳播，一般會使用通常切片。又，在只有第1個切片是通常切片的資訊框，需要承擔當無法將第1個切片解碼時，全部切片便無法解碼之風險。

又，其它限制亦可使用以下限制。當切片(通常或依附切片)在LCU列正中央(亦即與列的開始位置不同的位置)開始時，下一個編碼單位列不使用依附切片開始(第5例)。

而，如該技術領域之熟悉此項技藝者所知，在此 記載的複數限制可任意地組合。換言之，可組合上述第1例~第5例來使用。

又，以下將舉限制之其它例。當entropy_coding_sync_enabled_flag與1相同時，無法將1個LCU列分割為切片(第6例)。使用該限制時，在圖18所示之切片構造中，切片412及413是不允許的。換言之，當可進行編碼單位列之並行處理時，切片只允許是1個編碼單位列全體、或包含複數編碼單位列全體。

如此，位元流包含通常切片及依附切片。通常切片及依附切片之解碼是根據在通常切片之切片標頭進行訊號傳達的參數。只將圖像中之第1個切片作為通常切片，並將其餘切片作為依附切片後，將圖像分割為切片。

又，各切片包含m列的全部編碼單位列。在此，m為1以上的整數。亦即，各切片包含1以上之列的全部。

又，除了使用上述限制，或者將其替代地，可在依附切片為有效且WPP及磚的任一者為有效時，將表示上述限制之指標埋入於位元流。舉例言之，該指標可埋入SPS或PPS。而，該指標亦可埋入於SEI訊息等其它訊息或任意的視訊可用性資訊(VUI：Video Usability Information)訊息。

根據該指標，圖像解碼裝置可掌握使用的限制。例如，該限制是只在LCU列(WPP)之開頭、或磚之開頭，允許通常切片。而，這只是限制的一例，亦可使用上述限制之任一或該等限制之組合、或者未明確記載的追加限制。

舉例言之，該指標可為表示是否對預定限制使用該限制的1位元旗標。又，即使有可選擇之複數限制，表示選擇之限制的資訊可包含於位元流而訊號傳達至圖像解碼裝置。換言之，可不是如上述例般明確地限制使用，而是將圖像編碼裝置使用上述限制之情形通知圖像解碼裝置。故，可使用任一個與限制相關的上述例。

如此，本發明其中一態樣之圖像解碼方法包含以下步驟，即，在依附切片為有效時，從位元流取得顯示圖片之分割已受限制的限制指標。又，本發明其中一態樣之圖像編碼方法包含以下步驟，即，在依附切片為有效時，將顯示圖片之分割已受限的限制指標埋入位元流。

而，是否追加指標，可不依據WPP、磚、或依附切片是否有效來決定。

又，本發明其中一態樣之圖像解碼方法是將包含編碼訊號之位元流解碼，該編碼訊號是將圖像分割為分別包含複數編碼單位(LCU)之複數切片來編碼，前述圖像解碼方法包含將前述編碼訊號解碼的解碼步驟。又，本發明其中一態樣之圖像編碼方法是將圖像分割為分別包含複數編碼單位(LCU)之複數切片來編碼，藉此生成位元流，前述圖像編碼方法包含將圖像分割為複數切片的分割步驟、及將已分割之複數切片編碼的編碼步驟。

又，複數切片分別為通常切片及依附切片的其中一者。通常切片是該切片之切片標頭所含的資訊可用於其它切片的切片。依附切片是解碼會使用其它切片之切片標 頭所含的資訊的切片。在此，其它切片是指例如位於依附切片之前且最接近的通常切片。

又，解碼步驟中，依附切片之算術解碼是使用切片標頭用於該依附切片之母切片的上下文來初始化。又，編碼步驟中，依附切片之算術編碼是使用切片標頭用於該依附切片之母切片的上下文來初始化。

又，圖像具有分別包含複數編碼單位的複數列。

又，分割步驟中，將圖像分割為複數磚並分割為複數切片，以滿足1個或複數的上述限制。

又，解碼步驟中，當將第1列及第2列並行解碼，開始第2列之解碼時，可不參考顯示第1列之切片構造的分割資訊，將第2列解碼。又，分割步驟中，在圖像解碼裝置將第1列及第2列並行解碼時，將圖像分割為複數切片，以於該圖像解碼裝置開始第2列之解碼時，可不參考顯示第1列之切片構造的分割資訊，將第2列解碼。

在此，分割資訊是例如顯示切片位置(開頭位置)或切片標頭之位置的資訊。圖像解碼裝置藉由參考該分割資訊，進行決定上述CABAC初始化方法之處理。

又，並行解碼是指例如上述WPP。換言之，解碼步驟中，第2列之算術解碼是使用第1列之第2個編碼單位已算術解碼後的上下文來初始化。又，編碼步驟中，第2列之算術編碼是使用第1列之第2個編碼單位已算術編碼後的上下文來初始化。

又，如上所述，切片標頭中包含顯示該切片是通 常切片或是依附切片的資訊(dependent_slice_flag)。換言之，圖像解碼方法可更包含從切片標頭取得顯示切片是通常切片或是依附切片之資訊的步驟。又，圖像編碼方法可更包含將顯示切片是通常切片或是依附切片之資訊埋入切片標頭的步驟。

如上所述，本實施形態藉由在並行處理進行考慮先前切片之CABAC初始化，可防止依附切片處理延遲2以上或3以上編碼單位。藉此，可效率地並行處理列的編碼、解碼、及解析。

而，本發明不限於限制切片化方法之實施形態。又，上述限制可與可獲得CABAC上下文之切片相關。

(實施形態3)

本實施形態中，是將對WPP處理時之依附切片的CABAC初始化方法加以變更。具體而言，可變更母切片對依附切片之分配規則。

例如，制定一無關於LCU列對切片之分割(及/或後續切片之種別)，依附切片經常從同一切片取得切片標頭及CABAC上下文的規則。

圖19所示之圖片420包含切片421~424。在目前的HEVC，依附切片424之母切片是切片422。換言之，依附切片424之切片標頭是從切片422(先前最近的通常切片)取得。

如用圖9所說明，依附切片有時會用位於先前LCU列之開頭的通常切片來進行CABAC初始化。惟，當失 去了切片422時，雖可進行切片424之CABAC初始化，但由於欠缺切片標頭資訊，因此無法解碼切片424。

相對於此，本實施形態中，依附切片具有從與包含依附切片之列相同或前列開始的最近的通常切片來作為母切片。依據該規則，本實施形態中，如圖19所示，切片424之母切片是設定為切片421。且，依附切片424使用切片421之切片標頭，並使用切片421之CABAC狀態來進行CABAC初始化。

又，各依附切片之算術解碼部會設定切片之依附性，而根據母切片之算術解碼部之上下文來初始化。

而，表示用於切片初始化之CABAC上下文表的資訊可在SEI訊息內明確地訊號傳達。換言之，可將用於CABAC引擎之初始化的全部初期值明確地在SEI訊息內訊號傳達。

而，上述說明中所使用的「切片(通常切片或依附切片)」有時也會稱為「切片段(通常切片段或依附切片段)」。此時，將包含1以上之連續切片段的單位稱為「切片」。具體而言，一個切片包含一個通常切片段、與緊接在該通常切片段之後的連續1以上依附切片段。換言之，緊接於某通常切片段之後的是通常切片段時，切片會只包含該通常切片段。又，在緊接於某通常切片段之後連續1以上的依附切片段時，切片會包含該通常切片段、與該1以上的依附切片段。亦即，從通常切片段到緊接於下一個通常切片段之前的依附切片段，是包含於一個切片。

又，使用上述定義時，上述LCU列與切片之限制的第3例可對應於以下定義。

為了符合位元流之規格，會要求當entropy_coding_sync_enabled_flag與1相同、且切片所含的最初編碼樹區塊(LCU)不是編碼樹區塊列的最初編碼樹區塊時，上述切片所含的最後編碼樹區塊屬於與該切片所含的最初編碼樹區塊相同的編碼樹區塊列。

在此，所謂切片所含的最初編碼樹區塊不是編碼樹區塊列的最初編碼樹區塊時，是指通常切片段從編碼樹區塊列之開頭以外開始之情形。又，所謂上述切片所含的最後編碼樹區塊屬於與該切片所含的最初編碼樹區塊相同的編碼樹區塊列，是對應於下一列不從依附切片開始。

例如，圖17B所示之例中，由切片段(1)及(2)(圖17B中記載為切片(1)及切片(2)。以下使用相同記載)構成一個切片，由切片段(3)構成一個切片，並由切片段(4)及(5)構成一個切片。其中，切片之最初編碼樹區塊不是編碼樹區塊列之最初編碼樹區塊的切片，只有由切片段(3)構成之切片。該切片之最後編碼樹區塊是屬於與該切片之最初編碼樹區塊相同的編碼樹區塊列(第1列)。故，允許圖17B所示之構成。

另一方面，圖17A所示之例中，由切片段(3)~(5)構成一個切片。該切片之最初編碼樹區塊(切片段(3)之最初編碼樹區塊)與該切片之最後編碼樹區塊(切片段(5)之最後編碼樹區塊)，是屬於不同的編碼樹區塊列。故，不允許圖 17A所示的構成。

又，圖17C中，由切片段(1)~(3)構成一個切片，並由切片段(4)~(5)構成一個切片。又，圖17D中，由切片段(1)~(5)構成一個切片。換言之，圖17C及圖17D中，切片之最初編碼樹區塊不是編碼樹區塊列之最初編碼樹區塊的切片，亦即從列的中途開始的切片並不存在。故，允許圖17C及圖17D所示之構成。

又，為了符合位元流之規格，會要求當entropy_coding_sync_enabled_flag等於1、且切片段所含的最初編碼樹區塊(LCU)不是編碼樹區塊列之最初編碼樹區塊時，上述切片段所含的最後編碼樹區塊屬於與該切片段所含的最初編碼樹區塊相同的編碼樹區塊列。

以上，已說明實施形態之圖像編碼方法及圖像解碼方法，但本發明未受限於該實施形態。

上述圖像編碼方法及圖像解碼方法可藉由圖像編碼裝置及圖像解碼裝置實現。又，圖像編碼裝置及圖像解碼裝置之構成與例如圖1及圖2所示之構成相同，上述圖像編碼方法及圖像解碼方法所含的特徵性步驟可藉由圖1及圖2所示之任一處理部、或未圖示之處理部執行。

又，上述實施形態之圖像編碼裝置及圖像解碼裝置所含的各處理部典型上可作為積體電路之LSI來實現。該等可個別地單晶片化，亦可單晶片化成包含一部份或全部。

又，積體電路化不限於LSI，亦可用專用電路或 通用處理器來實現。亦可利用可在LSI製造後編程之FPGA(Field Programmable Gate Array(現場可編程閘級陣列))、或可再構築LSI內部之電路元件之連接或設定的可重組態處理器。

上述各實施形態中，各構成要件是由專用的硬體來構成，但亦可藉由執行適於各構成要件之軟體程式來實現。各構成要件亦可藉由CPU或處理器等程式執行部讀取並執行硬碟或半導體記憶體等記錄媒體所記錄之軟體程式來實現。

換言之，圖像編碼裝置及圖像解碼裝置具有控制電路(control circuitry)與電連接於該控制電路之(可從該控制電路存取之)記憶裝置(storage)。控制電路包含專用的硬體及程式執行部的至少一者。又，記憶裝置在控制電路包含程式執行部時，會記憶該程式執行部可執行之軟體程式。

又，本發明可為上述軟體程式，亦可為記錄有上述程式之非暫時性的電腦可讀取記錄媒體。又，上述程式當然也可透過網際網路等傳送媒體來散佈。

又，上述所使用之數字都只是為了具體說明本發明所舉例者，本發明不受限於所舉例的數字。

又，方塊圖之功能區塊分割只是一個例子，可將複數功能區塊作為一個功能區塊來實現、或將一個功能區塊分割為複數、或將一部分功能移到其它功能區塊。又，可由單一硬體或軟體並行地或時間分割地處理具有類似功 能之複數功能區塊的功能。

又，執行上述圖像編碼方法或圖像解碼方法所含的步驟的順序是為了具體說明本發明而舉例的，亦可為上述以外的順序。又，上述步驟的一部份亦可與其它步驟同時(並行)執行。

以上，已根據實施形態說明了本發明一個或複數態樣之圖像編碼裝置及圖像解碼裝置，但本發明不限定於該實施形態。在不脫離本發明要旨之情形下，將熟悉此項技藝者可思及的各種變形施於本實施形態之形態、或將不同實施形態之構成要件組合構成之形態也可包含於本發明一個或複數態樣之範圍內。

(實施形態4)

藉由將用以實現上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成的程式記錄於記憶媒體，可在獨立之電腦系統上輕易地實施上述各實施形態所示之處理。記憶媒體只要是磁碟、光碟、光磁碟、IC卡、半導體記憶體等可記錄程式者即可。

接著在此，說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例及使用其之系統。該系統之特徵在於具有由使用了圖像編碼方法之圖像編碼裝置、及使用了圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置。系統之其它構成可視情形適當地變更。

圖20為顯示實現內容發佈服務之內容供給系統ex100之全體構成的圖。將通訊服務之提供區域分割為期望之大小，並於各細胞(cell)內分別設有代表固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100是透過網際網路服務提供者ex102、電話網ex104、及基地台ex106至ex110，於網際網路ex101連接電腦ex111、PDA(Personal Digital Assistant)ex112、攝像機ex113、行動電話ex114、遊戲機ex115等各機器。

惟，ex100不限於圖20之構成，亦可組合其中的元件來連接。又，亦可不透過代表固定無線台之基地台ex106至ex110，而將各機器直接連接於電話網ex104。又，各機器亦可透過近距離無線等直接相互連接。

攝像機ex113為數位攝影機等可進行動態影像撮影之機器，攝像機ex116為數位相機等可進行靜止圖像撮影、動態影像撮影之機器。又，行動電話ex114為GSM(登錄商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或是PHS(Personal Handyphone System)等皆可。

在內容供給系統ex100，攝像機ex113等透過基地台ex109、電話網ex104連接於串流伺服器ex103，藉此可進 行實況發佈等。在實況發佈中，對使用者以攝像機ex113拍攝之內容(例如，音樂實況之影像等)，如上述各實施形態所說明地進行編碼處理(即，作為本發明其中一態樣之圖像編碼裝置)，並傳送至串流伺服器ex103。另一方面，串流伺服器ex103串流發佈對有要求之用戶端傳送之內容資料。用戶端有可將上述編碼處理之資料解碼的電腦ex111、PDAex112、攝像機ex113、行動電話ex114、遊戲機ex115等。收到所發佈之資料的各機器會將收到的資料進行解碼處理並再生(即，作為本發明其中一態樣之圖像解碼裝置)。

而，所拍攝之資料的編碼處理可在攝像機ex113進行，亦可在傳送處理資料之串流伺服器ex103進行，亦可互相分擔進行。同樣地，所發送之資料的解碼處理可在用戶端進行，亦可在串流伺服器ex103進行，亦可互相分擔進行。又，不限於攝像機ex113，攝像機ex116所拍攝之靜止圖像及/或動態圖像資料亦可透過電腦ex111傳送至串流伺服器ex103。此時之編碼處理可在攝像機ex116、電腦ex111、串流伺服器ex103的其中一者進行，亦可互相分擔進行。

又，這些編碼/解碼處理一般是在電腦ex111個或各機器所具有的LSIex500處理。LSIex500可為由單晶片或複數晶片組成之構成。而，亦可將動態圖像編碼/解碼用之軟體組入電腦ex111等可讀取之其中一記錄媒體(CD-ROM、軟碟、硬碟等)，並以該軟體進行編碼/解碼處理。再者，行動電話ex114具有攝像機時，亦可傳送該攝像機所取得之動態影像資料。此時之動態影像資料為以行動電話ex114所具 有的LSIex500進行編碼處理之資料。

又，串流伺服器ex103可為複數伺服器或複數電腦，而將資料分散處理、記錄或發佈。

如此一來，內容供給系統ex100可由用戶端接收經編碼之資料並再生。如此，內容供給系統ex100中，用戶端可即時地接收使用者所傳送之資訊並加以解碼、再生，即使是不具特別權利或設備之使用者亦可實現個人廣播。

而，不限於內容供給系統ex100的例子，如圖21所示，數位廣播用系統ex200亦可組入上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)的其中一者。具體而言，廣播台ex201透過電波將已於影像資料多工音樂資料等的多工資料傳送至通訊或衛星ex202。該影像資料為已藉由上述各實施形態所說明之動態圖像編碼方法編碼之資料(即，本發明其中一態樣之圖像編碼裝置所編碼之資料)。收到資料之廣播衛星ex202會發出廣播用電波，並由可接收衛星廣播之家庭之天線ex204來接收該電波。收到的多工資料會由電視(接收機)ex300或機上盒(STB)ex217等裝置解碼並再生(即，作為本發明其中一態樣之圖像解碼裝置)。

又，讀取並解碼DVD、BD等記錄媒體ex215所記錄之多工資料、或於記錄媒體ex215編碼影像訊號、甚至視情形與音樂訊號多工並寫入的讀取器/記錄器ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，再生之影像訊號會顯示於螢幕ex219，可藉 由記錄有多工資料之記錄媒體ex215於其它裝置或系統中再生影像訊號。又，亦可於與有線電視用之纜線ex203或衛星/地面廣播之天線ex204連接之機上盒ex217內安裝動態圖像解碼裝置，並將此以電視之螢幕ex219來顯示。此時亦可不於機上盒，而是於電視內組入動態圖像解碼裝置。

圖22為顯示使用了上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視(接收機)ex300之圖。電視ex300具有：調諧器ex301，透過接收上述廣播之天線ex204或纜線ex203等來取得或輸出已於影像資料多工有聲音資料之多工資料；調變/解調部ex302，將收到之多工資料解調、或調變成傳送至外部之多工資料；以及多工/解多工部ex303，將解調之多工資料解多工為影像資料與聲音資料、或將訊號處理部ex306所編碼之影像資料、聲音資料多工。

又，電視ex300包含：訊號處理部ex306，具有將聲音資料、影像資料分別解碼或將各資訊編碼的聲音訊號處理部ex304與影像訊號處理部ex305(作為本發明其中一態樣之圖像編碼裝置或圖像解碼裝置)；以及輸出部ex309，具有輸出已解碼之聲音訊號的揚聲器ex307，及顯示已解碼之影像訊號的顯示器等顯示部ex308。再者，電視ex300具有介面部ex317，該介面部ex317具有接受使用者操作輸入之操作輸入部ex312等。再者，電視ex300具有可整合控制各部之控制部ex310、及對各部供給電力之電源電路部ex311。介面部ex317除了操作輸入部ex312以外，亦可具有 與讀取器/記錄器ex218等外部機器連接的橋接器ex313、用以安裝SD卡等記錄媒體ex216的插槽部ex314、用以連接硬碟等外部記錄媒體的驅動器ex315、以及與電話網連接的數據機ex316等。而，記錄媒體ex216為可藉由收容之非依電性/依電性半導體記憶體元件來電性進行資訊記錄者。電視ex300之各部透過同步匯流排相互連接。

首先，說明電視ex300將藉由天線ex204等從外部取得的多工資料解碼並再生的構成。電視ex300接受來自遙控器ex220等之使用者操作，根據具有CPU等的控制部ex310之控制，將調變/解調部ex302所解調之多工資料以多工/解多工部ex303解多工。再者，電視ex300用聲音訊號處理部ex304將已解多工之聲音資料解碼，並用影像訊號處理部ex305將已解多工之影像資料用上述各實施形態所說明之解碼方法來解碼。解碼之聲音訊號、影像訊號會分別從輸出部ex309輸出至外部。輸出時，可將這些訊號暫時儲存於緩衝器ex318、ex319等，以使聲音訊號與影像訊號同步再生。又，電視ex300亦可不是從廣播等，而是從磁/光碟、SD卡等記錄媒體ex215、ex216讀出多工資料。接著，說明電視ex300將聲音訊號或影像訊號編碼，並傳送至外部或寫入至記錄媒體等之構成。電視ex300接受來自遙控器ex220等之使用者操作，根據控制部ex310之控制，以聲音訊號處理部ex304將聲音訊號編碼，並以影像訊號處理部ex305將影像訊號用上述各實施形態所說明之編碼方法編碼。經編碼之聲音訊號、影像訊號會在多工/解多工部ex303多工並輸 出至外部。多工時，可將這些訊號暫時儲存於緩衝器ex320、ex321等，以使聲音訊號與影像訊號同步。而，緩衝器ex318、ex319、ex320、ex321可如圖所示具有複數、亦可為共有1個以上緩衝器之構成。再者，如圖所示外，例如調變/解調部ex302或多工/解多工部ex303之間等，亦可於緩衝器儲存資料來作為避免系統溢位(over flow)、虧位(under flow)之緩衝方式。

又，電視ex300除了從廣播等或記錄媒體等取得聲音資料、影像資料外，亦可具有接受麥克風或攝像機之AV輸入的構成，而對從該等取得之資料進行編碼處理。而，在此雖說明了電視ex300可進行上述編碼處理、多工、及外部輸出之構成，但亦可為無法進行這些處理，而僅可進行上述接收、解碼處理、外部輸出之構成。

又，以讀取器/記錄器ex218從記錄媒體取出或寫入多工資料時，上述解碼處理或編碼處理可在電視ex300或讀取器/記錄器ex218的其中一者進行，亦可由電視ex300與讀取器/記錄器ex218互相分擔進行。

舉例言之，圖23顯示從光碟讀取或寫入資料時之資訊再生/記錄部ex400的構成。資訊再生/記錄部ex400具有以下說明之元件ex401、ex402、ex403、ex404、ex405、ex406、ex407。光學頭ex401對代表光碟之記錄媒體ex215的記錄面照射雷射光點來寫入資訊，並檢測來自記錄媒體ex215之記錄面的反射光來讀取資訊。調變記錄部ex402電性驅動光學頭ex401所內藏之半導體雷射而根據記錄資料進行雷射光 之調變。再生解調部ex403將藉由光學頭ex401所內藏之光檢測器而電性檢測出來自記錄面之反射光的再生訊號加以放大，並將記錄於記錄媒體ex215之訊號分量分離、解調，以再生必要之資訊。緩衝器ex404暫時保存用以記錄於記錄媒體ex215之資訊及從記錄媒體ex215再生之資訊。碟片馬達ex405使記錄媒體ex215旋轉。伺服控制部ex406一面控制碟片馬達ex405之旋轉驅動一面使光學頭ex401移動至預定之資訊軌，進行雷射光點之追蹤處理。系統控制部ex407進行資訊再生/記錄部ex400全體之控制。上述讀取或寫入處理是藉由系統控制部ex407利用緩衝器ex404所保存之各種資訊，或視需要進行新的資訊的生成/追加，使調變記錄部ex402、再生解調部ex403、伺服控制部ex406進行協調動作，並透過光學頭ex401進行資訊之記錄再生而實現。系統控制部ex407是以例如微處理器構成，並執行讀取寫入之程式來執行這些處理。

以上說明了光學頭ex401照射雷射光點，但亦可為用近接場光來進行高密度之記錄的構成。

圖24顯示代表光碟之記錄媒體ex215的示意圖。記錄媒體ex215之記錄面螺旋狀地形成有引導溝(凹溝)，資訊軌ex230藉由凹溝形狀之變化而預先記錄有顯示光碟上之絕對位置的位址資訊。該位址資訊包含用以特定代表記錄資料之單位之記錄塊ex231的位置資訊，可在進行記錄或再生之裝置再生資訊軌ex230並讀取位址資訊來特定記錄塊。又，記錄媒體ex215包含資料記錄區域ex233、內周區 域ex232、外周區域ex234。用於記錄使用者資料之區域為資料記錄區域ex233，配置於資料記錄區域ex233內周或外周的內周區域ex232與外周區域ex234則用於使用者資料之記錄以外的特定用途。資訊再生/記錄部ex400對上述記錄媒體ex215之資料記錄區域ex233，進行已編碼之聲音資料、影像資料或已將該等資料多工之多工資料的讀取。

以上是以1層的DVD、BD等光碟為例來說明，但不限於此，亦可為多層構造而表面以外亦可記錄之光碟。又，亦可為於光碟之相同處以各自不同波長之顏色的光來記錄資訊、或從各個角度記錄不同資訊之層等，進行多維記錄/再生之構造的光碟。

又，數位廣播用系統ex200中，亦可在具有天線ex205之汽車ex210從衛星ex202等接收資料，並於汽車ex210所具有之汽車導航ex211等顯示裝置再生動態影像。而，汽車導航ex211之構成可例如於圖22所示之構成中，加上GPS接收部之構成，而在電腦ex111個或行動電話ex114等亦可考慮相同作法。

圖25A為顯示使用了上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法的行動電話ex114之圖。行動電話ex114具有用以在與基地台ex110之間傳送接收電波之天線ex350、可拍攝影像、靜止圖像之攝像機部ex365、以及顯示攝像機部ex365所拍攝之影像與天線ex350所接收之影像等已解碼資料之液晶顯示器等的顯示部ex358。行動電話ex114更包含具有操作鍵部ex366之本體部、 代表用以輸出聲音之揚聲器等的聲音輸出部ex357、代表用以輸入聲音之麥克風等的聲音輸入部ex356、保存所拍攝之影像、靜止圖像、所錄音之聲音或收到的影像、靜止圖像、郵件等已編碼資料或已解碼資料的記憶體部ex367、或代表與同樣地保存資料之記錄媒體間的介面部的插槽部ex364。

接著，以圖25B說明行動電話ex114之構成例。行動電話ex114是透過匯流排ex370，於整合地控制具有顯示部ex358及操作鍵部ex366之本體部各部的主控制部ex360，互相連接電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、攝像機介面部ex363、LCD(Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/解多工部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367。

當藉由使用者之操作來結束通話及使電源鍵呈開啟狀態時，電源電路部ex361會從電池組對各部供給電力來將行動電話ex114啟動至可動作狀態。

行動電話ex114根據具有CPU、ROM、RAM等之主控制部ex360的控制，以聲音訊號處理部ex354將聲音通話模式時聲音輸入部ex356所收音之聲音訊號轉換為數位聲音訊號，將該數位聲音訊號以調變/解調部ex352進行頻譜擴散處理，並於施以數位類比轉換處理及頻率轉換處理後以傳送/接收部ex351透過天線ex350加以傳送。又，行動電話ex114將聲音通話模式時透過天線ex350接收之接收資料 放大並施以頻率轉換處理及類比數位轉換處理，且於以調變/解調部ex352進行頻譜反擴散處理、以聲音訊號處理部ex354轉換為類比聲音訊號後，將該類比聲音訊號從聲音輸出部ex357加以輸出。

又，在資料通訊模式下傳送電子郵件時，藉由本體部之操作鍵部ex366等操作所輸入之電子郵件的本文資料，會透過操作輸入控制部ex362送出到主控制部ex360。主控制部ex360將本文資料以調變/解調部ex352進行頻譜擴散處理，並以傳送/接收部ex351施以數位類比轉換處理及頻率轉換處理後，透過天線ex350傳送至基地台ex110。接收電子郵件時，則對收到的資料進行大致相反的處理，並輸出至顯示部ex358。

在資料通訊模式下傳送影像、靜止圖像、或影像與聲音時，影像訊號處理部ex355將從攝像機部ex365供給之影像訊號以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，作為本發明其中一態樣之圖像編碼裝置)，並將經編碼之影像資料送出至多工/解多工部ex353。又，聲音訊號處理部ex354將以攝像機部ex365拍攝影像、靜止圖像時聲音輸入部ex356所收音之聲音訊號編碼，並將經編碼之聲音資料送出至多工/解多工部ex353。

多工/解多工部ex353將從影像訊號處理部ex355供給之經編碼影像資料與從聲音訊號處理部ex354供給之經編碼聲音資料以預定方式加以多工，並將結果所得之多工資料以調變/解調部(調變/解調電路部)ex352進行頻譜擴 散處理，在以傳送/接收部ex351施以數位類比轉換處理及頻率轉換處理後透過天線ex350加以傳送。

在資料通訊模式下接收連結於首頁等之動態圖像檔案之資料時、或接收附加有影像及/或聲音之電子郵件時，為了將透過天線ex350接收之多工資料解碼，多工/解多工部ex353會將多工資料解多工來分為影像資料之位元流與聲音資料之位元流，並透過同步匯流排ex370將經編碼之影像資料供給至影像訊號處理部ex355，且將經編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355利用與上述各實施形態所示之動態圖像編碼方法對應的動態圖像解碼方法解碼來將影像訊號解碼(即，作為本發明其中一態樣之圖像解碼裝置)，並透過LCD控制部ex359從顯示部ex358顯示例如連結於首頁之動態圖像檔案所含的影像、靜止圖像。又，聲音訊號處理部ex354會將聲音訊號解碼，並從聲音輸出部ex357輸出聲音。

又，上述行動電話ex114等終端與電視ex300相同地，除了具有編碼器/解碼器兩者之傳送接收型終端外，還有只有編碼器之傳送終端、只有解碼器之接收終端等3種安裝形式。再者，數位廣播用系統ex200已說明了接收、傳送影像資料中多工有音樂資料等的多工資料，但除了聲音資料外多工有與影像相關之文字資料等的資料亦可，且不是多工資料而是影像資料本身亦可。

如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法用於上述任一機器/系統，藉此， 可獲得上述各實施形態所說明之效果。

又，本發明不限於上述實施形態，在不脫離本發明範圍下可進行各種變形或修正。

(實施形態5)

亦可視需要將上述各實施形態所示之動態圖像編碼方法或裝置、與依據MPEG-2、MPEG4-AVC、VC-1等不同規格之動態圖像編碼方法或裝置適當地切換，藉此生成影像資料。

在此，生成各個分別依據不同規格之複數影像資料時，在解碼之際，必須選擇對應各個規格之解碼方法。惟，由於無法識別解碼之影像資料是依據哪個規格，因此會產生無法選擇適當之解碼方法的課題。

為了解決該課題，可將影像資料中多工有聲音資料等的多工資料構造成包含一顯示影像資料是依據哪個規格的識別資訊。以下說明包含藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料的多工資料之具體構成。多工資料為MPEG-2傳輸串流形式之數位串流。

圖26為顯示多工資料之構成的圖。如圖26所示，多工資料可藉由從視訊流、音訊流、演示圖形流(PG)、互動圖形流中多工1個以上而獲得。視訊流表示電影之主影像及副影像，音訊流(IG)表示電影之主聲音部分及與該主聲音混合之副聲音，演示圖形流表示電影之字幕。在此，主影像表示顯示於畫面之一般影像，副影像表示在主影像中以小畫面顯示之影像。又，互動圖形流表示於畫面上配置GUI 零件而作成之對話畫面。視訊流是以上述各實施形態所示之動態圖像編碼方法或裝置、或依據習知MPEG-2、MPEG4-AVC、VC-1等規格之動態圖像編碼方法或裝置來編碼。音訊流是以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或LPCM等方式來編碼。

多工資料所含的各串流是以PID來識別。例如，用於電影之影像的視訊流分配有0x1011，音訊流分配有0x1100至0x111F，演示圖形分配有0x1200至0x121F，互動圖形流分配有0x1400至0x141F，用於電影之副影像的視訊流分配有0x1B00至0x1B1F，用於與主聲音混合之副聲音的音訊流分配有0x1A00至0x1A1F。

圖27為顯示多工資料是如何多工之示意圖。首先，將由複數視訊框構成之視訊流ex235、由複數音訊框構成之音訊流ex238分別轉換為PES封包列ex236及ex239，並轉換為TS封包ex237及ex240。同樣地將演示圖形流ex241及互動圖形ex244之資料分別轉換為PES封包列ex242及ex245，再轉換為TS封包ex243及ex246。多工資料ex247是將這些TS封包多工為1條串流而構成。

圖28更詳細地顯示PES封包列中是如何儲存視訊流。圖28之第1段顯示視訊流之視訊框列。第2段顯示PES封包列。如圖28之箭頭yy1、yy2、yy3、yy4所示，代表視訊流之複數Video Presentation Unit的I圖片、B圖片、P圖片會依照每一圖片分割，並儲存於PES封包之酬載。各PES封包具有PES標頭，PES標頭可儲存代表圖片顯示時刻之 PTS(Presentation Time-Stamp)或代表圖片解碼時刻之DTS(Decoding Time-Stamp)。

圖29顯示最後寫入多工資料之TS封包的形式。TS封包為188Byte固定長之封包，由具有識別串流之PID等資訊的4Byte之TS標頭、及儲存資料的184Byte之TS酬載構成，上述PES封包會分割並儲存於TS酬載。以BD-ROM而言，TS封包會附加4Byte之TP_Extra_Header，構成192Byte之源封包而寫入至多工資料。TP_Extra_Header可記載ATS(Arrival_Time_Stamp)等資訊。ATS顯示該TS封包對解碼器之PID過濾器的傳送開始時刻。多工資料是如圖29下段所示排列源封包，從多工資料之開頭遞增之編號稱為SPN(源封包號碼)。

又，多工資料所含的TS封包中，除了影像/聲音/字幕等各串流以外，尚有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT顯示用於多工資料中之PMT的PID為何，PAT本身之PID是登錄為0。PMT具有多工資料中所含的影像/聲音/字幕等各串流之PID及與各PID對應之串流的屬性資訊，且具有與多工資料相關之各種描述符。描述符中有指示許可/不許可多工資料之複製的複製控制資訊等。PCR為了取得代表ATS之時間軸的ATC(Arrival Time Clock)與代表PTS/DTS之時間軸的STC(System Time Clock)之同步，具有與將PCR封包傳送至解碼器之ATS對應的STC時間之資訊。

圖30為詳細說明PMT之資料構造之圖。於PMT之開頭配置記載了包含於該PMT之資料長度等的PMT標頭。在PMT標頭之後，配置複數與多工資料相關之描述符。上述複製控制資訊等是作為描述符記載。於描述符之後配置複數與包含於多工資料之各串流相關的串流資訊。串流資訊由記載了串流類型、串流之PID、串流之屬性資訊(畫面更新率、寬高比等)之串流描述符構成，以識別串流之壓縮編解碼器等。串流描述符的數量與存在於多工資料之串流的數量相當。

記錄於記錄媒體等時，上述多工資料會與多工資料資訊檔案一起記錄。

如圖31所示，多工資料資訊檔案為多工資料之管理資訊，與多工資料1對1地對應，由多工資料資訊、串流屬性資訊與登錄圖構成。

如圖31所示，多工資料資訊由系統率、再生開始時刻、再生結束時刻構成。系統率顯示多工資料之傳送到後述系統目標解碼器之PID過濾器的最大傳送率。包含於多工資料中的ATS之間隔是設定為低於系統率。再生開始時刻為多工資料開頭之視訊框的PTS，再生結束時刻可設定為將多工資料末端之視訊框的PTS加上1訊框分的再生間隔。

如圖32所示，串流屬性資訊是將關於多工資料所含的各串流之屬性資訊登錄於每一PID。屬性資訊按照每一視訊流、音訊流、演示圖形流、互動圖形流而具有不同資訊。視訊流屬性資訊具有視訊流是以何種壓縮編解碼器壓 縮、構成視訊流之各個圖片資料的解析度為何、寬高比為何、畫面更新率為何等資訊。音訊流屬性資訊具有音訊流是以何種壓縮編解碼器壓縮、音訊流所含的頻道數為何、對應於什麼語言、取樣頻率為何等資訊。這些資訊可用於播放器再生前之解碼器的初始化等。

本實施形態是利用上述多工資料中，包含於PMT之串流類型。又，記錄媒體記錄有多工資料時，則利用包含於多工資料資訊之視訊流屬性資訊。具體而言，上述各實施形態所示之動態圖像編碼方法或裝置中，是設置一對包含於PMT之串流類型、或視訊流屬性資訊設定固有資訊之步驟或機構，該固有資訊表示是藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料。藉由該構成，可識別藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料及依據其它規格之影像資料。

又，圖33顯示本實施形態之動態圖像解碼方法的步驟。步驟exS100中，從多工資料取得包含於PMT之串流類型、或包含於多工資料資訊之視訊流屬性資訊。接著，步驟exS101中，判斷是否顯示串流類型或視訊流屬性資訊為上述各實施形態所示之動態圖像編碼方法或裝置所生成之多工資料。接著，當判斷串流類型或視訊流屬性資訊是上述各實施形態所示之動態圖像編碼方法或裝置所生成的時，在步驟exS102中，利用上述各實施形態所示之動態圖像解碼方法來進行解碼。又，當顯示串流類型或視訊流屬性資訊為依據習知MPEG-2、MPEG4-AVC、VC-1等規格時， 在步驟exS103中，利用依據習知規格之動態圖像解碼方法來進行解碼。

如此，藉由於串流類型或視訊流屬性資訊設定新的固有值，在解碼時，便可判斷是否可用上述各實施形態所示之動態圖像解碼方法或裝置來解碼。故，即使輸入了依據不同規格之多工資料時，亦可選擇適當之解碼方法或裝置，因此可在不產生錯誤下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置、或是動態圖像解碼方法或裝置，用於上述任一機器/系統。

(實施形態6)

上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置在典型上可用積體電路之LSI來實現。舉例言之，圖34顯示單晶片化之LSIex500的構成。LSIex500具有以下說明之元件ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各元件透過匯流排ex510連接。電源電路部ex505在電源為開啟狀態時，對各部供給電力而啟動至可動作之狀態。

進行例如編碼處理時，LSIex500根據具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等的控制部ex501之控制，藉由AV I/Oex509從麥克風ex117或攝像機ex113等輸入AV訊號。輸入之AV訊號會暫時儲存於SDRAM等外部記憶體ex511。根據控制部ex501之控制，已儲存之資料會依照處理量或處理速度適當地分為複數次並送到訊號處理部ex507，在訊號處 理部ex507進行聲音訊號之編碼及/或影像訊號之編碼。在此，影像訊號之編碼處理為上述各實施形態所說明之編碼處理。在訊號處理部ex507，進而視情況進行將已編碼之聲音資料與已編碼之影像資料多工之處理，從串流I/Oex506輸出至外部。該輸出之多工資料會傳送至基地台ex107，或寫入至記錄媒體ex215。而，多工時可暫時於緩衝器ex508儲存資料以進行同步。

而，上述已說明記憶體ex511為LSIex500之外部構成，但亦可為包含於LSIex500內部之構成。緩衝器ex508也不限於1個，亦可具有複數緩衝器。又，LSIex500可單晶片化，亦可複數晶片化。

又，上述中，控制部ex501具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為更具有CPU之構成。藉由於訊號處理部ex507之內部也設置CPU，可更提高處理速度。又，其它例子可為CPUex502具有訊號處理部ex507、或訊號處理部ex507之一部份的例如聲音訊號處理部之構成。此時，控制部ex501之構成為包含訊號處理部ex507、或具有其一部分之CPUex502。

而，在此雖為LSI，但根據積體度之差異，有時亦可稱為IC、System LSI、Super LSI、Ultra LSI。

又，積體電路化之手法不限於LSI，亦可用專用電路或通用處理器來實現。亦可利用可在LSI製造後編程之 FPGA(Field Programmable Gate Array(現場可編程閘級陣列))、或可再構築LSI內部之電路元件之連接或設定的可重組態處理器。上述可編程邏輯元件典型上可載入構成軟體或韌體之程式或從記憶體等讀取，藉此執行上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法。

再者，若因半導體技術之進步或衍生之其它技術而出現替代LSI之積體電路技術，當然亦可利用該技術來進行功能區塊之積體化。也有生物技術之應用等的可能性。

(實施形態7)

將上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料解碼時，相較於依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料解碼時，處理量會增加。故，在LSIex500，必須設定為較將依據習知規格之影像資料解碼時的CPUex502之驅動頻率高的驅動頻率。惟，若提高驅動頻率，會產生消耗電力增加的課題。

為了解決該課題，電視ex300、LSIex500等動態圖像解碼裝置會構造成識別影像資料是依據何種規格，並依據規格來切換驅動頻率。圖35顯示本實施形態之構成ex800。驅動頻率切換部ex803在影像資料是由上述各實施形態所示之動態圖像編碼方法或裝置所生成者時，會將驅動頻率設定的較高。且，對執行上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801，指示將影像資料解碼。另一方面，當影像資料為依據習知規格之影像資料時，相較於影像資料為上述各實施形態所示之動態圖像編碼方法 或裝置所生成者時，會將驅動頻率設定的較低。且，對依據習知規格之解碼處理部ex802，指示將影像資料解碼。

更具體而言，驅動頻率切換部ex803是由圖34之CPUex502與驅動頻率控制部ex512構成。又，執行上述各實施形態所示之動態圖像解碼方法的解碼處理部ex801、及依據習知規格的解碼處理部ex802，相當於圖34之訊號處理部ex507。CPUex502可識別影像資料是依據何種規格。且，驅動頻率控制部ex512根據來自CPUex502之訊號來設定驅動頻率。又，訊號處理部ex507根據來自CPUex502之訊號來進行影像資料之解碼。在此，影像資料之識別可利用例如實施形態5所記載之識別資訊。識別資訊不限於實施形態5所記載者，只要是可識別影像資料是依據何種規格之資訊即可。例如，當可根據可識別影像資料是用於電視、或是用於光碟等的外部訊號來識別影像資料是依據何種規格時，亦可根據該外部訊號來進行識別。又，CPUex502之驅動頻率選擇可根據例如圖37之影像資料規格與驅動頻率對應之查找表來進行。將查找表預先儲存於緩衝器ex508或LSI之內部記憶體，並由CPUex502參考該查找表，藉此可選擇驅動頻率。

圖36顯示實施本實施形態之方法的步驟。首先，在步驟exS200，訊號處理部ex507從多工資料取得識別資訊。接著，在步驟exS201，CPUex502根據識別資訊來識別影像資料是否為上述各實施形態所示之編碼方法或裝置所生成者。影像資料為上述各實施形態所示之編碼方法或裝置所 生成者時，在步驟exS202，CPUex502會將驅動頻率設定的較高的訊號送到驅動頻率控制部ex512。且，於驅動頻率控制部ex512，設定為較高的驅動頻率。另一方面，當顯示是依據習知MPEG-2、MPEG4-AVC、VC-1等規格的影像資料時，在步驟exS203，CPUex502會將驅動頻率設定的較低的訊號送到驅動頻率控制部ex512。且，於驅動頻率控制部ex512，設定為相較於影像資料為上述各實施形態所示之編碼方法或裝置所生成者時較低的驅動頻率。

再者，藉由與驅動頻率之切換連動地來變更施加於LSIex500或包含LSIex500之裝置的電壓，可更提高省電效果。例如，將驅動頻率設定的較低時，相較於將驅動頻率設定的較高的情形，可將施於LSIex500或包含LSIex500之裝置的電壓設定的較低。

又，驅動頻率之設定方法在解碼時之處理量大的情況下，可將驅動頻率設定的較高，而在解碼時之處理量小的情況下，則可將驅動頻率設定的較低，並不限於上述設定方法。例如，若將依據MPEG4-AVC規格之影像資料解碼的處理量，大於將上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料解碼的處理量時，可使驅動頻率之設定與上述情況相反。

再者，驅動頻率之設定方法不限於將驅動頻率設定的較低之構成。例如，識別資訊顯示是上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可將施加於LSIex500或包含LSIex500之裝置的電壓設定的 較高，而當顯示是依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，則將施加於LSIex500或包含LSIex500之裝置的電壓設定的較低。又，舉例言之，當識別資訊顯示是上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，不使CPUex502之驅動停止，而當顯示是依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，由於處理上有餘力，因此亦可考慮使CPUex502之驅動暫時停止。即使當識別資訊顯示是上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，若處理上有餘力，亦可使CPUex502之驅動暫時停止。此時，相較於顯示是依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，可將停止時間設定的較短。

如此，藉由按照影像資料所依據之規格來切換驅動頻率，可謀求省電化。又，以電池來驅動LSIex500或包含LSIex500之裝置時，隨著省電化，可增長電池之壽命。

(實施形態8)

有時對於電視或行動電話等上述機器/系統會輸入依據不同規格之複數影像資料。如此，為了在輸入了依據不同規格之複數影像資料時亦可解碼，LSIex500之訊號處理部ex507必須對應複數規格。惟，若個別地使用對應各個規格之訊號處理部ex507，會產生LSIex500之電路規模變大，且成本增加之課題。

為了解決該課題，可構造成將用以執行上述各實施形態所示之動態圖像解碼方法的解碼處理部、與依據習 知MPEG-2、MPEG4-AVC、VC-1等規格的解碼處理部一部份共有化。將該構成例顯示於圖38A之ex900。例如，上述各實施形態所示之動態圖像解碼方法與依據MPEG4-AVC規格之動態圖像解碼方法，在熵編碼、反量化、解塊/過濾、動態補償等處理上，處理內容為一部份共通。共通之處理內容可共有對應MPEG4-AVC規格之解碼處理部ex902，而不對應MPEG4-AVC規格之本發明其中一態樣所特有的其它處理內容則使用專用的解碼處理部ex901。特別是，本發明其中一態樣在圖片之分割處理上具有特徵，因此可考慮例如在圖片之分割處理使用專用的解碼處理部ex901，而此外的反量化、熵解碼、解塊濾波器、動態補償等其中之一或全部處理則共有解碼處理部。解碼處理部之共有化亦可構造成共通之處理內容是共有用以執行上述各實施形態所示之動態圖像解碼方法的解碼處理部，而MPEG4-AVC規格所特有的處理內容則使用專用的解碼處理部。

又，將處理一部份共有化之其它例子顯示於圖38B之ex1000。該例中，構造成使用與本發明其中一態樣所特有的處理內容對應的專用解碼處理部ex1001、與其它習知規格所特有的處理內容對應的專用解碼處理部ex1002、以及與本發明其中一態樣之動態圖像解碼方法和其它習知規格之動態圖像解碼方法共通的處理內容對應的共用解碼處理部ex1003。在此，專用解碼處理部ex1001、ex1002不一定是特別針對本發明其中一態樣或其它習知規格所特有的處理內容者，而是可執行其它通用處理者亦可。又，本 實施形態之構成亦可用LSIex500安裝。

如此，對於在本發明其中一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法上共通之處理內容共有解碼處理部，藉此可縮小LSI之電路規模，且可降低成本。

產業上之可利用性

本発明可運用於圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置。又，本発明可用於具有圖像編碼裝置之電視、數位錄影機、汽車衛星導航、行動電話、數位相機及數位攝影機等高解析度之資訊顯示機器或攝影機器。

Claims (17)

1. 一種圖像解碼方法，可將包含編碼訊號之位元流解碼，前述編碼訊號是已將圖像分割為各自包含有複數個編碼單位之複數個切片並編碼，前述圖像解碼方法包含將前述編碼訊號解碼的解碼步驟，前述複數個切片各自是通常切片及依附切片的任一者，前述通常切片是該切片之切片標頭所含的資訊會用於其它切片，前述依附切片則是解碼上會使用其它切片之切片標頭所含的資訊，前述圖像包含各自具有複數個編碼單位的複數列，於前述解碼步驟中，當在第1列之開頭以外的位置已解碼了通常切片時，在該第1列之後的第2列之開頭不會解碼通常切片。
2. 如請求項1之圖像解碼方法，其中在前述解碼步驟，將前述第1列及前述第2列並行解碼，開始前述第2列之解碼時，不參考顯示前述第1列之切片構造的分割資訊，將前述第2列解碼。
3. 如請求項1或2之圖像解碼方法，其中在前述解碼步驟，前述第2列之算術解碼是使用前述第1列第2個編碼單位已被算術解碼後的上下文來進行初始化。
4. 如請求項1或2之圖像解碼方法，其中前述圖像解碼方法 更包含從切片標頭取得顯示切片是通常切片或是依附切片之資訊的步驟。
5. 如請求項1或2之圖像解碼方法，其中各切片包含1以上之列的全部。
6. 如請求項1或2之圖像解碼方法，其中前述依附切片之算術解碼是使用母切片的上下文來進行初始化，該母切片為切片標頭用於前述依附切片者。
7. 如請求項1或2之圖像解碼方法，其中前述圖像解碼方法更包含以下步驟，即：當前述依附切片為有效時，從前述位元流取得顯示圖片分割已受限制之限制指標。
8. 一種圖像編碼方法，是將圖像分割為各自包含有複數個編碼單位之複數個切片來編碼，藉此生成位元流，包含有：分割步驟，將前述圖像分割為複數個切片；及編碼步驟，將已分割之複數個切片編碼；前述複數個切片各自是通常切片及依附切片的任一者，前述通常切片是該切片之切片標頭所含的資訊會用於其它切片，前述依附切片則是解碼上會使用其它切片之切片標頭所含的資訊，前述圖像包含各自具有複數個編碼單位的複數列，前述編碼步驟中，，當在第1列之開頭以外的位置已編碼了通常切片時，在該第1列之後的第2列之開頭不 會編碼通常切片。
9. 如請求項8之圖像編碼方法，其中在前述分割步驟，當在圖像解碼裝置並行解碼前述第1列及前述第2列時，將前述圖像分割為前述複數個切片，以於該圖像解碼裝置開始前述第2列之解碼時，可不參考顯示前述第1列之切片構造的分割資訊，將前述第2列解碼。
10. 如請求項8或9之圖像編碼方法，其中在前述編碼步驟，前述第2列之算術編碼是使用前述第1列第2個編碼單位已被算術編碼後的上下文來進行初始化。
11. 如請求項8或9之圖像編碼方法，其中前述圖像編碼方法更包含將顯示切片是通常切片或是依附切片之資訊埋入切片標頭的步驟。
12. 如請求項8或9之圖像編碼方法，其中各切片包含1以上之列的全部。
13. 如請求項8或9之圖像編碼方法，其中前述依附切片之算術編碼是使用母切片的上下文來進行初始化，該母切片為切片標頭用於前述依附切片者。
14. 如請求項8或9之圖像編碼方法，其中前述圖像編碼方法更包含以下步驟，即：在前述依附切片為有效時，將顯示圖片之分割已受限制之限制指標埋入前述位元流。
15. 一種圖像解碼裝置，可將包含編碼訊號之位元流解碼，前述編碼訊號是已將圖像分割為各自包含有複數個編碼單位之複數個切片並編碼， 前述圖像解碼裝置具有將前述編碼訊號解碼的解碼部，前述複數個切片各自是通常切片及依附切片的任一者，前述通常切片是該切片之切片標頭所含的資訊會用於其它切片，前述依附切片則是解碼上會使用其它切片之切片標頭所含的資訊，前述圖像包含各自具有複數個編碼單位的複數列，前述解碼部當在第1列之開頭以外的位置已解碼了通常切片時，在該第1列之後的第2列之開頭不會解碼通常切片。
16. 一種圖像編碼裝置，是將圖像分割為各自包含有複數個編碼單位之複數個切片來編碼，藉此生成位元流，包含有：分割部，將前述圖像分割為複數個切片；及編碼部，將已分割之複數個切片編碼；前述複數個切片各自是通常切片及依附切片的任一者，前述通常切片是該切片之切片標頭所含的資訊會用於其它切片，前述依附切片則是解碼上會使用其它切片之切片標頭所含的資訊，前述圖像包含各自具有複數個編碼單位的複數列，前述編碼部當在第1列之開頭以外的位置已編碼了通常切片時，在該第1列之後的第2列之開頭不會編碼通 常切片。
17. 一種圖像編碼解碼裝置，包含有：請求項16之圖像編碼裝置；及請求項15之圖像解碼裝置。