TWI556609B - A reproducing method, a moving picture encoding method, a reproducing apparatus, a moving picture coding apparatus, and a moving picture encoding and decoding apparatus - Google Patents

Description

再生方法、動態圖像編碼方法、再生裝置、動態圖像編碼裝置、及動態圖像編碼解碼裝置 技術領域

本發明係有關於一種動態圖像編碼方法、動態圖像解碼方法、動態圖像編碼裝置、動態圖像解碼裝置及動態圖像編碼解碼裝置，尤其是有關於一種使用畫面內預測之動態圖像編碼方法及動態圖像解碼方法。

背景技術

H.263、MPEG-4AVC/H.264、及下一代之高效率視訊編碼(HEVC,High-Efficiency Video Coding)等最先進的動態圖像編碼方式是使用畫面內預測及畫面間預測者。在畫面內預測(以下稱為內預測(intra-prediction))，編碼對象單位之樣本值係由相同圖片內之既已編碼之樣本進行預測者。另一方面，在畫面間預測(以下稱為間預測(inter-prediction))，圖片內中之編碼對象單位之樣本值係由既已編碼之其他圖片之樣本進行預測者。

在此，在動態圖像之解碼處理中，因為傳送時之損失或執行未整合之解碼等各種主要原因而發生錯誤。當使用間預測時，該錯誤亦傳播到後續之圖片，且該錯誤亦會隨著時間經過而累積。又，內預測會容易影響到參考樣本的品質。藉此，在內預測中，將具有錯誤之樣本值作為參考樣本使用時，畫質將大為降低。

在用以解決起因於含有錯誤之內預測所造成之如此品質降低之先行技術包括在H.264中所使用之具約束之內預測方式。該方式係於只將業經內預測之樣本使用在內預測之參考樣本，而參考樣本不做內預測時，是禁止使用特定之內預測方法者(參考非專利文獻1)。

先行技術文獻 [非專利文獻]

[非專利文獻1] ISO/IEC 14496-10「MPEG-4 Part 10 Advanced Video Coding」

在此，在下一代的HEVC動態圖像編碼方式，使用多種尺寸的可變長度編碼單位。在該方式中要如何使用內預測或間預測是對於各編碼單位可分別設定。藉此，HEVC可提昇編碼效率。

惟，先行技術中之具約束之內預測方式有未先假設使用如此可變長度編碼單位之情況，因此在使用如此可變長度編碼單位之情況下，編碼效率可能會有不足。

在此，本發明之目的係於提供一種可提高編碼效率之動態圖像編碼方法、動態圖像解碼方法、動態圖像編碼裝置、動態圖像解碼裝置及動態圖像編碼解碼裝置。

為達成上述目的，本發明其中一種形態之動態圖像解碼方法係包含有：解析步驟，係藉解析編碼動態圖像位元流，取得2種以上尺寸的多數區塊中對象區塊之殘餘資料者；內預測步驟，係對前述對象區塊進行內預測，算出前述對象區塊之預測樣本值者；及再構築樣本算出步驟，係將前述殘餘資料與前述預測樣本值相加，算出前述對象區塊之再構築樣本者；在前述內預測步驟中，判斷位於前述對象區塊正上方及正左方中之一方之多數參考樣本每一者的有效性，且於前述多數參考樣本同時包括有效的參考樣本及無效的參考樣本時，使用該有效的參考樣本進行前述內預測，將業經內預測之參考樣本判斷為有效的參考樣本，且將業經間預測之參考樣本判斷為無效的參考樣本。

依此，本發明一形態之動態圖像解碼方法係於位於對象區塊正上方及正左方中之一方的多數參考樣本同時包括有效的參考樣本及無效的參考樣本時，可使用該有效的參考樣本進行內預測。藉此，該動態圖像解碼方法可利用更多有效的參考樣本，因此可提昇編碼效率。

又，亦可為，在前述解析步驟中，進而解析前述編碼動態圖像位元流，取得內預測方法，前述內預測步驟更含有：參考樣本算出步驟，係使用一個以上之前述有效的參考樣本算出補完樣本，該補完樣本係位於無效的參考樣本之位置的參考樣本；及，預測樣本算出步驟，係依照前述內預測方法，使用前述有效的參考樣本及前述補完樣本，算出前述對象區塊之前述預測樣本者。

依此，本發明一形態之動態圖像解碼方法可使用有效的參考樣本，產生無效的參考樣本位置之樣本。藉此，該動態圖像解碼方法可利用更多的參考樣本，因此可提高編碼效率。

又，前述參考樣本算出步驟亦可含有：選擇一個前述有效的參考樣本作為選擇樣本之樣本選擇步驟者；及將前述選擇樣本之值當做為前述補完樣本之值之步驟。

又，前述樣本選擇步驟亦可具有以下步驟，即：識別以全部的參考樣本位置中從左下方參考樣本位置開始而在右上方參考樣本位置結束之方向的探索所找到之最初的有效的參考樣本之位置，作為開始參考樣本位置者；在與前述探索相同之樣本順序中，判斷前述無效的參考樣本之位置是位於前述開始參考樣本位置之前或之後者；當前述無效的參考樣本之位置位於前述開始樣本位置之前時，選擇前述開始參考樣本位置之樣本作為前述選擇樣本者；及，當前述無效的參考樣本之位置位於前述開始樣本位置之後時，依照與前述探索相同之樣本順序，選擇位於前述無效的參考樣本位置之前且最接近該無效的參考樣本位置之有效的參考樣本，作為前述選擇樣本者。

又，前述參考樣本算出步驟亦可具有以下步驟，即：選擇多數前述有效的參考樣本，作為多數選擇樣本者；對前述多數選擇樣本之值乘上事先決定之定標係數，算出多數標度值者；算出第1總和值，該第1總和值為前述多數標度值之總和者；算出第2總和值，該第2總和值為前述第1總和值與事先決定之偏移值之和者；及，以事先訂定之移階值而將前述第2總和值下移，算出前述補完樣本之值者。

又，前述內預測亦可為內DC預測。

依此，本發明一形態之動態圖像解碼方法可在內DC預測中利用更多有效的參考樣本，因此可提昇編碼效率。

又，前述內預測步驟亦可含有以下步驟，即：選擇1個以上之前述有效的參考樣本，作為選擇樣本；界定前述選擇樣本之數量；利用查找表，且按照前述選擇樣本的數量，選擇定標係數、偏移值及移階值；算出第1總和值，該第1總和值為前述選擇樣本之值的總和者；對前述第1總和值乘上前述所選擇之定標係數，算出標度值；算出第2總和值，該第2總和值為前述所選擇之偏移值與前述標度值之和；及，以前述所選擇之移階值而將前述第2總和值下移，產生前述對象區塊全部之預測樣本值。

又，在前述內預測步驟中亦可更包括將事前決定之值作為前述對象區塊全部之預測樣本值之情況。

又，在前述解析步驟中，亦可進而取得業已編碼在前述編碼動態圖像位元流之標頭內之選擇資訊，前述選擇資訊係顯示(1)具約束之內預測方式及(2)非具約束之內預測方式中之一者，前述具約束之內預測方式為前述內預測者，前述非具約束之內預測方式係不判斷前述多數參考樣本之有效性，使用全部參考樣本進行內預測者，在前述內預測步驟中，使用前述選擇資訊所示之前述具約束之內預測方式及前述非具約束之內預測方式中之一種內預測方式進行內預測。

藉此，本發明一形態之動態圖像解碼方法可根據選擇資訊，掌握是否已使用具約束之內預測方式及非具約束之內預測方式中之一者。

又，在前述內預測步驟中，亦可將對象圖片外之參考樣本判斷為無效的參考樣本。

又，在前述內予測步驟中，亦可將不含在與前述對象區塊相同之圖片分割單位之參考樣本判斷為無效的參考樣本。

又，前述圖片分割單位亦可為切片(slice)。

又，前述圖片分割單位亦可為輕質切片(light weight slice)。

又，前述圖片分割單位亦可為方塊(tile)。

又，前述圖片分割單位亦可為WPP(Wavefront Parallel Processing unit：波前平行處理單元)。

又，本發明一形態之動態圖像編碼方法包含有：分割步驟，係將原圖像分割成2種以上尺寸之多數區塊者；內預測步驟，係對前述多數區塊中對象區塊進行內預測，算出預測樣本值者；殘餘資料算出步驟，係算出殘餘資料，該殘餘資料為前述對象區塊之原圖像與前述預測樣本值間之差值者；及編碼步驟，係將前述殘餘資料編碼，產生編碼動態圖像位元流者；在前述內預測步驟中，判斷位於前述對象區塊正上方及正左方中一方之多數參考樣本每一者之有效性，且於前述多數參考樣本同時包括有效的參考樣本及無效的參考樣本時，使用該有效的參考樣本進行前述內預測，將業經內預測之參考樣本判斷為有效的參考樣本，且將業經間預測之參考樣本判斷為無效的參考樣本。

依此，本發明一形態之動態圖像編碼方法係於位於對象區塊正上方及正左方中一方之多數參考樣本同時包括有有效的參考樣本及無效的參考樣本時，可使用該有效的參考樣本進行內預測。藉此，該動態圖像編碼方法能更加利用有效的參考樣本，因此可提昇編碼效率。

此外，本發明不僅作為如此動態圖像編碼方法及動態圖像解碼方法予以實現，亦可作為以動態圖像編碼方法或動態圖像解碼方法所含之具特徵的步驟作為途徑之動態圖像編碼裝置或動態圖像解碼裝置而予以實現。又，本發明亦可作為含有如此動態圖像編碼裝置及動態圖像解碼裝置之動態圖像編碼解碼裝置而予以實現。

又，本發明亦可例如作為將動態圖像編碼方法或動態圖像解碼方法所含之具特徵的步驟讓電腦執行之程式而予以實現。接著，如此程式亦可經由CD-ROM等之記錄媒體及網際網路等之傳送媒體而流通者，亦無須贅言。

進而，本發明亦可例如作為實現局部或全部之如此動態圖像編碼裝置或動態圖像解碼裝置之機能之半導體積體電路(LSI)而予以實現，或作為具備如此動態圖像編碼裝置或動態圖像解碼裝置之各種裝置或系統而予以實現。

藉此，本發明可提供一種可提昇編碼效率之動態圖像編碼方法、動態圖像解碼方法、動態圖像編碼裝置、動態圖像解碼裝置及動態圖像編碼解碼裝置。

圖式簡單說明

第1圖係顯示來自區塊尺寸相同時之鄰接參考樣本之內預測之例之圖。

第2圖係顯示來自區塊尺寸不同時之鄰接參考樣本之內預測之例之圖。

第3圖係顯示本發明實施形態1之動態圖像編碼處理之流程圖。

第4A圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態1之壓縮動態圖像流中非具約束之內預測方式或具約束之內預測方式之選擇結果。

第4B圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態1之壓縮動態圖像流中非具約束之內預測方式或具約束之內預測方式之選擇結果。

第4C圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態1之壓縮動態圖像流中非具約束之內預測方式或具約束之內預測方式之選擇結果。

第4D圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態1之壓縮動態圖像流中非具約束之內預測方式或具約束之內預測方式之選擇結果。

第5圖係顯示本發明實施形態1中使用具約束之內預測方式之動態圖像編碼處理之流程圖。

第6圖係顯示本發明實施形態1中使用具約束之內預測方式之動態圖像編碼處理之流程圖。

第7圖係顯示本發明實施形態1中之動態圖像解碼處理之流程圖。

第8圖係顯示本發明實施形態1中使用具約束之內預測方式之動態圖像解碼處理之流程圖。

第9圖係顯示本發明實施形態1中使用具約束之內預測方式之動態圖像解碼處理之流程圖。

第10圖係顯示本發明實施形態1中之動態圖像編碼裝置之一例之方塊圖。

第11圖係顯示本發明實施形態1中使用具約束之內預測方式之第1編碼部之一例之方塊圖。

第12圖係顯示本發明實施形態1中之動態圖像解碼裝置之一例之方塊圖。

第13圖係顯示本發明實施形態1中使用具約束之內預測方式之第1解碼部之一例之方塊圖。

第14圖係顯示本發明實施形態2中之動畫編碼處理之流程圖。

第15A圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態2之壓縮動態圖像流中非選擇性內DC預測方式或選擇性內DC預測方式之選擇結果。

第15B圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態2之壓縮動態圖像流中非選擇性內DC預測方式或選擇性內DC預測方式之選擇結果。

第15C圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態2之壓縮動態圖像流中非選擇性內DC預測方式或選擇性內DC預測方式之選擇結果。

第15D圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態2之壓縮動態圖像流中非選擇性內DC預測方式或選擇性內DC預測方式之選擇結果。

第16圖係顯示本發明實施形態2中使用選擇性內DC預測方式之動態圖像編碼處理之流程圖。

第17圖係顯示本發明實施形態2之動態圖像解碼處理之流程圖。

第18圖係顯示本發明實施形態2之使用選擇性內DC預測方式之動態圖像解碼處理之流程圖。

第19圖係顯示本發明實施形態2之動態圖像編碼裝置之一例之方塊圖。

第20圖係顯示本發明實施形態2之使用選擇性內DC預測方式之第1編碼部之一例之方塊圖。

第21圖係顯示本發明實施形態2之動態圖像解碼裝置之一例之方塊圖。

第22圖係顯示本發明實施形態2之使用選擇性內DC預測方式之第1解碼部之一例之方塊圖。

第23圖係顯示實現內容傳送服務之內容供給系統之整體構成圖。

第24圖係數位廣播用系統之整體構成圖。

第25圖係顯示電視機之構成圖之方塊圖。

第26圖係顯示在光碟之記錄媒體進行資訊讀寫之資訊再生/記錄部之構成例之方塊圖。

第27圖係顯示光碟之記錄媒體之構造例之圖。

第28A圖係顯示行動電話機之一例之圖。

第28B圖係顯示行動電話機之構成例之方塊圖。

第29圖係顯示多工資料之構成之圖。

第30圖係模式地顯示各串流在多工資料中如何被多工之圖。

第31圖係更詳細地顯示視訊流如何儲存在PES封包列之圖。

第32圖係顯示多工資料中之TS封包及原始封包之構造之圖。

第33圖係顯示PMT之資料構成之圖。

第34圖係顯示多工資料資訊之內部構成之圖。

第35圖係顯示串流屬性資訊之內部構成之圖。

第36圖係顯示識別影像資料之步驟之圖。

第37圖係顯示實現各實施形態之動態圖像編碼方式及動態圖像解碼方法之積體電路之構成例之方塊圖。

第38圖係顯示切換驅動頻率之構成之圖。

第39圖係顯示識別影像資料且切換驅動頻率之步驟之圖。

第40圖係顯示影像資料之規格與驅動頻率相對應之查找表之一例之圖。

第41A圖係顯示使訊號處理部之模組共有之構成之一例之圖。

第41B圖係顯示使訊號處理部之模組共有之構成之另一例之圖。

用以實施發明之形態

首先，使用多種尺寸之可變長度編碼單位，說明依具約束之預測方式之處理時之問題點。

第1圖係顯示可變長度編碼單位相同時之對於8×8之編碼對象區塊之具約束之內預測方式之處理之一例。在同圖中，在業已間預測之區塊附上斜線。即，上方及右上方之鄰接區塊使用間預測而被編碼，左方及左上方之鄰接區塊使用內預測而被編碼。為了執行內預測所使用之參考樣本係以小方形表示。

對於本例使用具約束之內預測方式時，在對於8×8之內預測而所想到的總共9種的內預測方法中(在H.264規格中是稱為內預測模式)可使用3種內預測方法，即，Intra_8×8_Horizontal、Intra_8×8_DC、及Intra_8×8_Horizontal_Up，其他5種方向之內預測方法則不能使用。

又，下一世代之HEVC動態圖像編碼方式是使用4×4、8×8、16×16、32×32及64×64之二次元編碼對象區塊等多數可變長度編碼單位。以該方式時，要使用內預測或間預測是可個別對於各編碼單位予以設定。藉此，可提升HEVC之編碼效率。又，按此能依情況分割編碼單位，在文獻中記載著與習知技術相比，較有效果者。

在此，在使用有業經內預測及間預測之參考樣本混合存在之可變長度編碼單位之動態圖像編碼方式適用具約束之內預測方式時，乃有編碼效率不足之課題存在。

第2圖係顯示使用有不同尺寸之可變長度編碼單位時之具約束之內預測方式所進行之處理之一例之圖。在該例中，編碼對象區塊為16×16區塊。又，右上方鄰接區塊A及B為已進行內預測者，上方鄰接區塊C為已進行間預測者，上方鄰接區塊D及E是已進行內預測者，左上方鄰接區塊F是已進行間預測者，左方鄰接區塊G是已進行內預測者，左下方鄰接區塊J已進行內預測者，左下方鄰接區塊H及I是已進行間預測者。

即，如第1圖所示，區塊尺寸為固定時，於對象區塊之一方向(左下方、左方、上方或右上方)相鄰接之區塊必為1個。另一方面，如第2圖所示，區塊尺寸為可變時，則有使於對象區塊之一方向相鄰接之區塊變多之情況。進而，會發生在該多數區塊所使用之預測型式相異之情況。如此，在於一方向相鄰接之區塊之至少一個是已進行間預測時，在具約束之內預測方式時，不能使用利用該一方向之參考樣本之內預測方法。藉此，就算有業經內預測之有效的參考樣本存在，亦會發生不能使用該有效的參考樣本之情況。

具體來說，HEVC中之多數方向上之內預測係對應於使用1個以上之鄰接的參考樣本(在同一圖中以小方形表示)之各式各樣的內預測方法之選擇。在此，在使用作為先行技術之H.264之具約束之內預測方式時，從區塊C是已經進行間預測之情事來看，使用上方及右上方之參考樣本而進行之內預測方法，除了一種方法外其餘全部都不能使用。

又，內DC預測方法雖然可藉H.264之具約束之內預測方式進行，但來自上方鄰接區塊之參考樣本是有業經內預測之參考樣本及業經間預測之參考樣本混合存在，因此全部不能使用。即，內DC預測樣本值能使用只來自左方鄰接區塊之參考樣本而所算出者。因此，在用以解決起因於含有錯誤在內之內預測而所造成之品質降低之先行技術中，在有業經內預測及業經間預測之參考樣本混合存在時，不能得到最適合的編碼效率。

對此，在本實施形態中，提出進行約束內(constrained-intra)預測之新方法之提案。本實施形態係構成為在進行內預測之際可在最大限度下利用可靠性高之參考樣本者。又，下一世代之HEVC動態圖像編碼等之最新的動態圖像編碼方式係利用多數方向之內預測方式與可變長度編碼單位之組合。本實施形態係於如上述之動態圖像編碼方式中，針對進行提昇錯誤更正能力之內預測之手法予以說明。

本實施形態之動態圖像編碼方法係於得到錯誤更正能力之效果外，亦將運算的複雜性維持在相同的等級，並以最適當的效率進行約束內預測者。藉此，該動態圖像編碼方法就可將編碼效率提昇。

以下，利用附圖，詳細說明本發明之實施形態。此外，以下所說明之實施形態每一個都是顯示本發明之較佳的一具體例。在以下的實施形態所示之數值、形狀、材料、構成要素、構成要素之配置位置及連接形態、步驟、步驟的順序等只是舉例罷了，並不是限定本發明之主旨所在。本發明只藉申請專利範圍所限定。因此，在以下的實施形態中之構成要素中，對於未記載於顯示本發明之最上位概念之獨立申請項之構成要素雖然不是為了達成本發明課題時所必要之要素，不過作為構成較佳之形態之要素而予以說明。

在本發明之實施形態中，說明利用使用只業經內預測之樣本而進行畫面內預測之具約束之內預測之動態圖像編碼方法及動態圖像解碼方法。

此外，涵蓋本說明書整體，可予以利用之樣本位置之用語意指圖像樣本實體性存在之情形。在本發明所想到的一實施形態中，圖像樣本是位於圖片之邊緣之外時，該樣本就判斷為不能利用，如果不是時，該樣本則判斷為可利用者。

又，在本發明所想到之另一實施形態中，圖像樣本是位於圖片之邊緣之外或者是位於與對象之圖片分割單位相異之圖片分割單位時，該圖像樣本就判斷為不能利用，如果不是時，該樣本則判斷為可利用者。對象之圖片分割單位之用語意指包含編碼或解碼之處理對象之區塊或樣本之圖片分割單位。

又，圖片分割單位係指諸如切片。此外，該圖片分割單位亦可為HEVC中之熵切片(entropy slice)被用來衡量一個隨機變數出現的期望值。它代表了在被接收之前，訊號傳輸過程中損失的資訊量，又被稱為資訊熵)或輕質切片(lightweight slice)、方塊(tile)、或者是波前平行處理單元(WPP,Wavefront Parallel Processing unit)。

熵切片或輕質切片係指削減了由習知之切片更新之資訊之切片。具體來說，對於習知之切片，有必要對每一切片更新被稱為切片標頭之標頭資訊全部。另一方面，對於輕質切片，重視銷除與前一個業已處理完畢之區塊結果間之相依關係，削減更新之資訊。

方塊(tile)係顯示編碼順序之對象之區域之單位。藉於該單位內已事前訂定之處理順序(例如逐線掃描,raster scan)而按每一編碼單位(LCU)進行處理。

WPP係指顯示變更編碼順序之相依關係之對象之單位。例如可在以前有賴於剛處理完畢之區塊結果之處理變成使用只有右上方之處理完畢之區塊之處理結果之方法。藉此，可實現並列處理。

(實施形態1)

在本發明實施形態1中，說明利用參考樣本值而進行內預測處理之具約束之內預測方式。在該方式中，首先判斷各參考樣本位置之有效性。接著，利用該有效的參考樣本位置之參考樣本值，算出成為無效的參考樣本位置之參考樣本值之補完樣本值。在這之後，利用有效的參考樣本值及補完樣本值進行內預測處理。在本發明之一實施形態中，參考樣本係於未進行內預測時，被判斷為無效，如果不是時，則判斷為有效。又，在本發明之一實施形態中，參考樣本係於未進行內預測或不是能利用時，就被判斷為無效，如果不是時，參考樣本就被判斷為有效。

此外，以下將有效的參考樣本記成有效樣本，該值記為有效樣本值，且將該位置記為有效樣本位置。同樣，亦將無效的參考樣本記為無效樣本，該值記為無效樣本值，且將該位置記為無效樣本位置。

與具約束之內預測方式相比，一種在一開始不判斷可利用之參考樣本位置之有效性，而是使用可利用之參考樣本位置之參考樣本值之先行技術之內預測方式時，在本說明書中，採用稱為非具約束之內預測方式之用語。即，非具約束之內預測方式係指：不管是參考樣本為有效(已進行內預測)或無效(進行非內預測)，能使用全部的可利用之參考樣本位置之參考樣本值而進行內預測之方式。

第3圖係顯示說明本發明實施形態1之動態圖像編碼處理之流程。

首先，在步驟S101中，對於內預測方式，選擇具約束之內預測方式及非具約束之內預測方式中之一者。

其次，在步驟S102中，將對象之原圖像分割成1個以上之編碼區塊。編碼區塊之一例為含有32×32之原圖像樣本之二次元區塊。又，在該步驟S102中，將原圖像分割成2種以上尺寸之多數編碼區塊。

其次，在步驟S103中，對所得到之編碼區塊編碼，產生編碼動畫圖像位元流。又，在步驟S103中，使用內預測型式而將對象區塊編碼時，是使用在步驟S101中所選擇之內預測方式。

其次，在步驟S104中，將在步驟S101中所選擇之具約束之內預測方式及非具約束之內預測方式中之一的選擇結果編碼至編碼動態圖像流之標頭內。

第4A~4D圖係顯示於藉上述動態圖像編碼方法所產生之編碼動態圖像位元流900中之配置有選擇資訊950之位置之圖。該選擇資訊950係顯示使用具約束之內預測方式及非具約束之內預測方式中之一者作為內預測方式之資訊。

如第4A~4D圖所示，編碼動態圖像位元流900包含有順序標頭901及圖片單位之多數資料902。圖片單位之各資料902含有圖片標頭911及圖片資料912。進而，圖片資料912含有切片單位之多數資料913。又，切片單位之各資料913含有切片標頭921及切片資料922。

例如第4A圖所示，選擇資訊950包含在順序標頭901。如第4B圖所示，選擇資訊950亦可包含在圖片標頭911中。如第4C圖所示，選擇資訊950亦可包含在切片標頭921中。例如，該選擇資訊950係選擇性地顯示表示非具約束之內預測方式之值「0」與表示具約束之內預測方式之值「1」之二進制旗標。

又，在第4D圖所示之例中，選擇資訊950係以順序標頭901所含之輪廓參數951及等級參數952之一者或兩者所顯示者。具體來說，使用輪廓參數951及等級參數952之一者或兩者與查找表，能一意地決定選擇資訊950。

如此，在本實施形態之動態圖像編碼方法中，將顯示使用有具約束之內預測方式及非具約束之內預測方式之哪一者作為內預測方式之選擇資訊950編碼至編碼動態圖像位元流900之標頭內。藉此，解碼裝置係使用該標頭內之選擇資訊950，就能界定所使用之內預測方式。

以下，利用第5圖及第6圖之流程，說明使用具約束之內預測方式之各區塊之編碼處理。

首先，在步驟S201中，選擇在對象區塊所使用之預測型式。在所考慮的預測型式中包括內預測型式及非內預測型式。非內預測型式之一例為業經動作補償之畫面間預測型式(間預測型式)。然後，在步驟S202中，判斷已選擇了內預測型式及非內預測型式哪一種作為在對象區塊所使用之預測型式。

在已選擇內預測時(在S202中，是(Yes))，則前進至步驟S203。在步驟S203中，在所分割之多數區塊中於對象區塊進行內預測，算出預測樣本值。具體來說，判斷可利用之參考樣本是有效(業經內預測)或無效(業經非內預測)，使用有效的樣本進行內預測，來算出預測樣本值。更具體地說，判斷至少位於對象區塊之正上方及正左方中一方之多數參考樣本每一者的有效性，即使在該多數參考樣本同時包括有效樣本及無效樣本時，亦使用該有效樣本進行內預測。此外，對於該處理容後詳述。

接著，在步驟S204中，使用所得到之預測樣本值，算出內殘餘資料。具體來說是算出作為對象區塊之原圖像與預測樣本值之差值之殘餘資料。

另一方面，在步驟S202中判斷已選擇非內預測型式時(在S202中，否(No))，則前進至步驟S206。在步驟S206中，藉進行非內預測，算出非內殘餘資料與預測資訊。

在步驟S204或步驟S206之後，在步驟S205中將殘餘資料及預測資訊編碼，產生編碼動態圖像位元流。在此，預測資訊含有顯示所選擇之預測型式之訊號。在使用了內預測型式時，預測資訊更含有顯示所選擇之內預測方法之訊號(選擇資訊950)。又，在使用了業經動作補償之間預測等之非內預測型式時，預測資訊亦可更含有顯示動作向量、參考圖片指標及動作向量分解能之訊號。

以下，利用第6圖，詳細說明上述步驟S203之處理。第5圖所示之步驟S203係含有第6圖所示之步驟S203A~S203D。

在步驟S203A中，判斷參考樣本位置之有效性。即，判斷各參考樣本是已進行內預測(有效)或非內預測(無效)。

其次，在步驟S203B中，使用1個以上之有效樣本值，算出作為無效樣本位置中之參考樣本值之補完樣本值。

以下詳細說明算出該補完樣本值之處理。

在本發明一實施形態中，藉以下的處理算出補完樣本值。首先，選擇1個以上之有效樣本值，將預定的定標係數乘到所選擇之有效樣本值每一者，算出標度值。其次，求出藉算出所得到之多數標度值之總和之第1總和值，在所求得之第1總和值加上預定之偏移值，算出第2總和值。進而，藉以預定之移階(shift step)值而將藉此所得到之第2總和值下移，求得補完樣本值。

在此，預定之定標係數、偏移值及移位步驟值亦可根據有效樣本及無效樣本之數量及位置等之係數，利用查找表來求得者。

以下以第2圖所示之型態為例，顯示補完樣本值之運算之一例。第2圖所示之無效樣本位置(12,-1)、(13,-1)、(14,-1)及(15,-1)之參考樣本值係將有效樣本位置(11,-1)及(16,-1)之參考樣本值取平均而所算出者。即，算出將無效樣本位置夾在其中，且最接近於該無效樣本位置之2個有效樣本位置之有效樣本值之平均值作為相對於該無效樣本位置之補完樣本值。

又，取得2個參考樣本值之平均係如下進行，即，設定預定之定標係數為1，偏移值為1，且將移階值設定為1，再藉以下的(式1)所示之運算進行。

r(12,-1)=r(13,-1)=r(14,-1)=r(15,-1)=(r(11,-1)+r(16,-1)+1)＞＞1　(式1)

又，對於另一方法，選擇一個有效樣本值，算出所選擇之有效樣本值作為補完樣本值。例如對於第2圖所示之無效樣本位置(12,-1)、(13,-1)、(14,-1)及(15,-1)之參考樣本值，可複製有效樣本位置(11,-1)之有效樣本值。即，亦可算出最接近於無效樣本位置之位置之有效樣本值，作為相對於該無效樣本位置之補完樣本值。

具體來說，例如可藉以下的處理選擇成為複製來源之有效樣本。

首先，全部的參考樣本位置中，識別由左下方參考樣本位置開始而在右上方參考樣本位置結束之方向之探索所找到之最初的有效樣本位置當作為開始參考樣本位置。其次，在與上述探索相同之樣本順序中，判斷無效樣本位置是位於開始參考樣本位置之前或之後。

在無效樣本位置位於開始樣本位置之前時，選擇開始參考樣本位置之樣本作為複製來源之有效樣本。另一方面，在無效樣本之位置位於開始樣本位置之後時，依照與上述探索相同之樣本順序，選擇位於該無效樣本位置之前且最接近於該無效樣本位置之有效樣本，作為複製來源之有效樣本。

進而，以另一方法而言，亦可單純附與預定之值作為補完樣本值。該預定之值例如為128。

再次參考第6圖進行說明。

在於步驟S203B中算出補完樣本值之後，在步驟S203C中，使用有效樣本值及補完樣本值，由多數內預測方法選擇1個內預測方法。在內預測方法之例包括垂直方向及水平方向等之各種內預測方向。

其次，在步驟S203D中，使用有效樣本值及補完樣本值且依照在步驟S203C所選擇之內預測方法，算出預測樣本值。因應所選擇之內預測方法，亦可使用不同的參考樣本位置，使用不同的運算處理。

又，在本發明一實施形態中，算出預測樣本值之步驟S203D含有：將參考樣本值進行前置濾波之步驟；及使用業經前置濾波之參考樣本值，算出預測樣本值之步驟。在此，前置濾波係指對於鄰接之多數參考樣本值進行濾波之處理。

由上，本發明之實施形態1之動態圖像編碼方法係於至少位於對象區塊之正上方及正左方中之一方之多數參考樣本同時包括有效樣本及無效樣本時，可使用該有效樣本進行具約束之內預測。藉此，該動態圖像編碼方法可利用更多的有效樣本，因此可提昇編碼效率。

如此，本實施形態之動態圖像編碼方法能得到錯誤更正能力之效果，且將運算的複雜性維持在相同的等級，並且以最適當的效率進行約束內預測。藉此，該動態圖像編碼方法可提昇編碼效率。

以下，針對藉將上述動態圖像編碼方法所產生之編碼動態圖像位元流解碼之動態圖像解碼方法進行說明。

第7圖係顯示本發明實施形態1之動態圖像解碼處理之流程。

首先，在步驟S301中，對編碼動態圖像位元流之標頭解析，取得具約束之內預測方式或非具約束之內預測方式之選擇結果。

其次，在步驟S302中，將圖像中之編碼區塊解碼。此時，業經內預測之編碼區塊係使用藉步驟S301所取得之選擇結果所示之內預測方式予以解碼。

以下，利用第9圖之流程，詳細說明使用具約束之內預測方式之各區塊之解碼處理。

首先，在步驟S401中，藉解析編碼動態圖像位元流，取得處理對象之編碼區塊(以下稱為對象區塊)之預測型式(內預測或非內預測)。

其次，在步驟S402中，判斷在步驟S401所取得之預測型式是顯示內預測型式及非內預測型式中之哪一者。

在使用了內預測型式時(在S402時，是(Yes))，前進至步驟S403。

在步驟S403中，於對象區塊進行內預測，算出對象區塊之預測樣本值。具體來說，判斷可利用之参考樣本位置為有效(業經內預測)或無效(業經非內預測)，利用業經內預測之參考樣本位置進行內預測，算出預測樣本值。更具體地說，判斷至少位於對象區塊之正上方及正左方中之一方之多數參考樣本每一者之有效性，即使該多數參考樣本同時包括有效樣本及無效樣本時，亦使用該有效樣本進行內預測。又，該處理之內容容後詳述。

接著，在步驟S404中，使用所算出之預測樣本值及內殘餘資料，算出業經再構築之內預測樣本值。

另一方面，在步驟S402中判斷有使用非內預測型式時(在S402中，否(No))，前進至步驟S405。在步驟S405中，藉非內預測之進行，算出再構築樣本值。

以下，利用第9圖詳細說明上述步驟S403及S405之處理。第8圖所示之步驟S403含有第9圖所示之步驟S403A~S403D。第8圖所示之步驟S405含有第9圖所示之步驟S405A及S405B。

在步驟S403A中，藉解析編碼動態圖像位元流，而取得對象區塊之內殘餘資料及內預測方法。

其次，在步驟S403B中，依照步驟S403A所取得之內預測方法，判斷為了進行內預測處理時所需之參考樣本位置之有效性。

其次，在步驟S403C中，使用有效樣本值，算出無效樣本位置中之參考樣本值(補完樣本值)。

其次，步驟S403D係使用有效樣本值位置及補完樣本值，算出預測樣本值。

又，在步驟S402中判斷為使用有非內預測型式時(在S402中，否(No))，前進至步驟S405A。在步驟S405A中，藉解析已編碼之動態圖像位元流，得到非內殘餘資料及預測資訊。接著，在步驟S405B中，使用業經解析之非內殘餘資料及預測資料，算出非內再構築樣本值。

由上，本發明實施形態1之動態圖像解碼方法可從藉上述動態圖像編碼方法所產生之動態圖像編碼位元流，產生再構築資料。

以下，針對使用上述動態圖像編碼方法及動態圖像解碼方法之動態圖像編碼裝置及動態圖像解碼裝置進行說明。

首先，針對使用有上述動態圖像編碼方法之動態圖像編碼裝置予以說明。

第10圖係顯示本發明實施形態1之動態圖像編碼裝置100之一例之方塊圖。該動態圖像編碼裝置100包含有分割部101、選擇部102、切換部103、第1編碼部104、第2編碼部105、標頭編碼部106、閘部107、及位元流產生部108。

分割部101係取得原圖像D101，將該原圖像D101分割成可變長度編碼區塊D103。

第1選擇部601係選擇具約束之內預測方式及非具約束之內預測方式中之一者，輸出顯示該選擇結果之選擇資訊D102。

切換部103係使用該選擇資訊D102，將可變長度編碼區塊D103送往第1編碼部104或第2編碼部105。具體來說，切換部103係於藉選擇資訊D102顯示了已選擇具約束之內預測方式時，將可變長度編碼區塊D103作為可變長度編碼區塊D104，輸出至第1編碼部104。又，切換部103係於藉選擇資訊D102顯示選擇了非具約束之內預測方式時，將可變長度編碼區塊D103作為可變長度編碼區塊D105，輸出至第2編碼部105。

第1編碼部104係使用具約束之內預測或非內預測而將可變長度編碼區塊D104編碼，產生編碼位元流D106。

第2編碼部105係使用非具約束之內預測或非內預測而將可變長度編碼區塊D105編碼，產生編碼位元流D107。

閘部107按照第1編碼部104所產生之編碼位元流D106及第2編碼部105所產生之編碼位元流D107之中有哪一個資料存在，將存在的資料作為編碼位元流D108引導至位元流產生部108。

標頭編碼部106係將選擇資訊D102編碼，產生編碼位元流D109。

位元流產生部108係將編碼位元流D108與編碼位元流D109混合，產生編碼動態圖像位元流D110。

第11圖係顯示在本發明實施形態1之動態圖像編碼裝置100中使用具約束之內預測方式之第1編碼部104之一例之方塊圖。該第1編碼部104包含有第1選擇部201、切換部202、內預測部220、殘餘資料算出部207、閘部208、編碼部209、再構築部210、記憶體部211、及非內預測部212。

第1選擇部201係取得樣本區塊D201(可變長度編碼區塊D104)，根據該樣本區塊D201，選擇內預測型式及非內預測型式中之一者，將顯示選擇結果之預測型式D202輸出。或，第1選擇部201亦可取得相對於業已編碼之樣本而所儲存之編碼資訊D215，根據所取得之編碼資訊D215，選擇內預測型式及非內預測型式中之一者。編碼資訊D215係諸如預測型式、量化參數及區塊之次元等。該預測型式D202係用以於控制切換部103。

已選擇內預測型式時，切換部202係將樣本區塊D201作為樣本區塊D203而送至有效性判斷部203。

內預測部220係對業經分割之多數區塊中對象區塊進行內預測，算出預測樣本值。又，內預測部220係判斷至少位於對象區塊之正上方及正左方中之一方之多數參考樣本每一者之有效性，即使多數參考樣本同時包括有效樣本及無效樣本時，亦可使用該有效樣本進行內預測。該內預測部220包含有有效性判斷部203、參考樣本算出部204、第2選擇部205及預測樣本算出部206。

有效性判斷部203係使用樣本區塊D203及相對於參考樣本位置所儲存之預測型式D214，判斷參考樣本位置之有效性。接著，有效性判斷部203係將含有原有的樣本區塊D203及參考樣本位置之有效性之資料D204輸出至參考樣本算出部204。

參考樣本算出部204係使用資料D204及有效樣本值D213，算出成為無效樣本位置中之參考樣本值之補完樣本值。參考樣本算出部204係將含有原有的樣本區塊及補完樣本值之資料D205輸出至第2選擇部205。

第2選擇部205係使用資料D205，由多數內預測方法之中選擇內預測方法D206。或，第2選擇部205係相對於業經編碼之樣本，使用所儲存之編碼資訊D215，選擇內預測方法D206。

預測樣本算出部206係根據所選擇之內預測方法D206，使用輸入參考樣本值(有效樣本值及補完樣本值)，算出預測樣本值。又，預測樣本算出部206係將含有原有的樣本區塊、所選擇之內預測方法及所算出之預測樣本值之資料D207輸出至殘餘資料算出部207。

殘餘資料算出部207係使用預測樣本值及原有的樣本區塊，算出內殘餘資料，輸出含有所選擇之內預測方法及所算出之內殘餘資料之資料D208。

另一方面，當選擇了非內預測型式時，切換部202係將原有的樣本區塊D201作為樣本區塊D216，送至非內預測部212。

非內預測部212係使用原有的樣本區塊D216及針對之前已編碼之樣本所儲存之編碼資訊D215進行非內預測，產生含有非內殘餘資料及非內預測資訊之資料D217。

閘部208係因應資料D208及資料D217中哪一資料可利用者，將可利用之資料作資料D209送往編碼部209。

編碼部209係處理資料D209所含有之殘餘資料，並對輸入資料進行熵編碼，而產生編碼動態圖像位元流D210(編碼位元流D106)。在殘餘資料之處理之例中包括變換處理及定標處理等。又，編碼部209係將含有預測資訊及所處理之殘餘資料之資料D211輸出至再構築部210。在此，預測資訊含有業經選擇之預測型式，在內預測時，亦含有該業已選擇之內預測方法。

再構築部210係使用資料D211及業已儲存之編碼資訊D215，算出再構築樣本值，且將含有再構築樣本值與預測資訊之資料D212儲存至記憶體部211。

其次，針對使用有上述動態圖像解碼方法之動態圖像解碼裝置予以說明。

第12圖係顯示本發明實施形態1之動態圖像解碼裝置300之一例之方塊圖。該動態圖像解碼裝置300包含有解析部301、切換部302、第1解碼部303、第2解碼部304、閘部305、及圖像產生部306。

解析部301係解析編碼動態圖像位元流D301之標頭，取得顯示具約束之內預測方式或非具約束之內預測方式之選擇結果之選擇資訊D302。

切換部302係根據以選擇資訊D302顯示之所選擇之內預測方式，將編碼動態圖像位元流D301送至第1解碼部303或第2解碼部304。具體來說，切換部302係於藉選擇資訊D302顯示具約束之內預測方式時，將編碼動態圖像位元流D301作為位元流D303而輸出至第1解碼部303。另一方面，切換部302係於藉選擇資訊D302顯示非具約束之內預測方式時，則將編碼動態圖像位元流D301作為位元流D304而輸出至第2解碼部304。

第1解碼部303係使用具約束之內預測及非內預測而將位元流D303解碼，產生區塊單位之再構築樣本值D305。第2解碼部304係使用非具約束之內預測及非內預測，將位元流D304解碼，而產生區塊單位之再構築樣本值D306。

閘部305係因應有再構築樣本值D305及D306之哪一訊號存在，將所存在之訊號作為再構築樣本值D307而送往圖像產生部306。

圖像產生部306係將該區塊之再構築樣本值D307寫入至再構築圖像內之各位置，產生再構築圖像D308。

第13圖係顯示使用本發明實施形態1之具約束之內預測方式之第1解碼部303之一例之方塊圖。該第1解碼部303包含有：第1解析部401、切換部402、第2解析部403、內預測部420、再構築樣本算出部407、第1閘部408、第2閘部409、記憶體部410、及非內再構築部411。

第1解析部401係藉解析編碼動態圖像位元流D401，取得顯示內預測型式或非內預測型式之選擇結果之選擇資訊D402。

在所解析之選擇結果顯示為內預測型式時，切換部402係將編碼動態圖像位元流D401作為位元流D403而送往第2解析部403。

第2解析部403係藉解析位元流D403，取得殘餘資料及內預測方法。接著，第2解析部403係輸出含有業經解析之殘餘資料及業經解析之內預測方法之解析資料D404。

內預測部420係對於對象區塊進行內預測，算出該對象區塊之預測樣本值。又，內預測部420係判斷至少位於對象區塊之正上方及正左方中之一方之多數參考樣本每一者之有效性，就算多數參考樣本同時包括有效樣本及無效樣本時，亦使用該有效樣本進行內預測。該內預測部420包含有有效性判斷部404、參考樣本算出部405、及預測樣本算出部406。

有效性判斷部404係取得解析資料D404及相對於參考樣本位置而所儲存之預測型式D416作為輸入，判斷對業經解析之內預測方法所需之各參考樣本位置之有效性。有效性判斷部404係將含有業經解析之殘餘資料、業經解析之內預測方法及參考樣本位置之有效性之資料D405輸出至參考樣本算出部405。

參考樣本算出部405係使用該輸入資料D405及有效樣本值D415，算出無效樣本位置中之參考樣本值(補完樣本值)。接著，參考樣本算出部405係將含有業經解析之殘餘資料、業經解析之內預測方法及參考樣本位置之有效性之資料D406輸出至預測樣本算出部406。

預測樣本算出部406係使用該資料D406且依照所解析之內預測方法，算出預測樣本值。接著，預測樣本算出部406係將含有業經解析之殘餘資料、業經解析之內預測方法及預測樣本值之資料D407輸出至再構築樣本算出部407。

再構築樣本算出部407係使用資料D407，算出對應於編碼對象區塊之內再構築樣本值D408。又，再構築樣本算出部407係輸出含有內再構築樣本值、業經解析之內預測型式及業經解析之內預測方法之資料D410。

另一方面，在業經解析之選擇結果顯示為非內預測型式時，切換部402則將編碼動態圖像位元流D401作為位元流D411而送至非內再構築部411。

非內再構築部411係使用位元流D411及相對於業已編碼之樣本而所儲存之編碼資訊D417，且依照業經解析之非內預測型式，算出再構築樣本值D412。又，非內再構築部411係輸出含有非內再構築樣本值及所解析之非內預測資訊之資料D413。

第1閘部408送出再構築樣本值D408及D412之中可予以利用之資料，作為輸出區塊之再構築樣本D409。同樣，第2閘部409係將資料D410及資料D413之中可予以利用之資料作為資料D414，而儲存在記憶體部410。

(實施形態2)

在本發明之實施形態2中，針對於上述具約束之內預測方式是使用選擇性內DC預測方式之型態予以說明。

具體來說，選擇性內DC預測方式係由鄰接群(cluster)之多數參考樣本位置，使用只業經內預測之參考樣本位置之參考樣本值。即，該方式係執行將鄰接群是否含有非內預測參考樣本考慮在內之內DC預測處理。

在本說明書整體上，內DC預測方式係指對於編碼對象區塊中之全部的預測樣本是使用1個預測樣本值之內圖像預測方式者。鄰接群之參考樣本係指：相對於對象區塊，鄰接且配置於相同方向之樣本群者。相對於對象區塊有4個鄰接群，將其等稱為上方鄰接群、右上方鄰接群、左方鄰接群、及左下方鄰接群。在第2圖所示之例中，隸屬於A及B區塊之參考樣本(16,-1)至(31,-1)為右上方鄰接群之參考樣本。同樣，隸屬於C、D及E區塊之參考樣本(0,-1)至(15,-1)為上方鄰接群之參考樣本。隸屬於G區塊之參考樣本(-1,0)至(-1,15)為左鄰接群之參考樣本。隸屬於J、H及I區塊之參考樣本(-1,16)至(-1,31)為左下方鄰接群之參考樣本。

又，在本說明書中，將相對於本發明之選擇性內DC預測方式是進行使用業經內預測之參考樣本值及業經非內預測之參考樣本值兩者之內DC預測處理之先行技術之內DC預測方式，稱為非選擇性內DC預測方式。

第14圖係顯示本發明實施形態2之動態圖像解碼處理之流程。

首先，在步驟S501中，選擇非選擇性內DC預測方式及選擇性內DC預測方式中之一者，作為內DC預測方式。

其次，在步驟S502中，將對象之原圖像分割成1個以上的編碼對象區塊。編碼對象區塊之一例是含有32×32之原圖像樣本之2次元區塊。

其次，在步驟S503中，將所得到之編碼對象區塊編碼，產生編碼動態圖像位元流。又，在步驟S503中，使用內DC預測方法而將對象區塊編碼時，使用在步驟S501所選擇之內DC預測方式。

最後在步驟S504中，將在步驟S501所選擇之非選擇性內DC預測方式及選擇性內DC預測方式中之一之選擇結果編碼在編碼動態圖像位元流之標頭內。

在第15A~15D圖係顯示於藉上述動態圖像編碼方法所產生之編碼動態圖像位元流900中選擇資訊所配置之位置。該選擇資訊960係顯示是使用非選擇性內DC預測方式及選擇性內DC預測方式之哪一者作為內DC預測方式之資訊。

又，第15A~15D圖所示之資料構成係與第4A~4D圖所示之構成同樣。

例如，如第15A圖所示，選擇資訊960包含在順序標頭901。如第15B圖所示，選擇資訊960亦可包含在圖片標頭911。如第15C圖所示，選擇資訊960亦可包含在切片標頭921。例如，該選擇資訊960係選擇性地顯示表示非選擇性內DC預測方式之值「0」及表示選擇性內DC預測方式之值「1」之二進制旗標。

又，在第15D圖所示之例中，選擇資訊960係以順序標頭901所含之輪廓參數961及等級參數962之一者或兩者所示者。具體來說，使用輪廓參數961及等級參數962之一者或兩者與查找表，就可一意地決定選擇資訊960。

如此，在本實施形態之動態圖像編碼方法中，將顯示是使用選擇性內DC預測方式及非選擇性內DC預測方式之哪一者作為內DC預測方式之選擇資訊960編碼在編碼動態圖像位元流900之標頭內。藉此，解碼裝置係使用該標頭內之選擇資訊960，就可界定所使用之內預測方式。

以下，使用第16圖所示之流程，說明使用有選擇性內DC預測方式之各區塊之編碼處理。

首先，在步驟S601中，選擇在對象區塊所使用之預測方法。在所考慮之預測方法含有內DC預測方法及非內DC預測方法。進而，在非內DC預測方法包含有除內DC以外之其他的內預測方法及各種畫面間預測方法。接著，在步驟S602中，判斷已選擇了內DC預測方法或非內DC預測方法中哪一者。

在已選擇內DC預測方式時(在S602中，是(Yes))，前進至步驟S603。在步驟S603中，選擇幾個業經內預測之參考樣本位置。

其次，在步驟S604中，使用所選擇之參考樣本位置，算出內DC預測樣本值。接著，在步驟S605中，使用內DC預測樣本值，算出殘餘資料。

在本發明之選擇性內DC預測方式之一實施形態中，為算出內DC預測樣本值，從全部的鄰接群之參考樣本值之中選擇業經內預測之參考樣本值全部。在第2圖之例所示之例中，使用(16,-1)至(31,-1)、(0,-1)至(11,-1)及(-1,0)至(-1,23)之52個參考樣本，算出內DC預測樣本值。

此外，在選擇性內DC預測方式之另一實施形態中，在由上方參考樣本及左方參考樣本選擇了業經內預測之參考樣本值之後，算出內DC預測樣本值。在相同第2圖之例中，使用(0,-1)至(11,-1)及(-1,0)至(-1,15)之28個參考樣本全部，算出內DC預測樣本。

在本發明之一實施形態中，預測樣本值係藉以下的處理所算出者。

首先，選擇1個以上的有效樣本作為選擇樣本。其次，界定選擇樣本之數量。接著使用查找表，依照選擇樣本之數量，選擇定標係數、偏移值及移階值。其次，算出成為選擇樣本之值的總和之第1總和值。接著，將上述所選擇之定標係數乘上第1總和值，算出標度值。其次，算出上述所選擇之偏移值及標度值之和之第2總和值。最後，將第2總和值以上述所選擇之移階值下移，產生對象區塊之全部的預測樣本值。

又，在選擇性內DC預測方式之另一實施形態中，將一個參考樣本位置中之參考樣本值，例如第2圖所示之(0,-1)般之參考樣本值作為對象區塊之全部的內DC預測樣本值。

又，在選擇性內DC預測方式之另一實施形態中，將預定一定值(如128)作為對象區塊全部的內DC樣本值。

另一方面，在於步驟S602判斷為已選擇非內DC預測方法時(在S602中，否(No))，前進步驟S607。在步驟S607中，藉進行非內DC預測處理，得到非內殘餘資料及預測資訊。

最後在步驟S606中，將步驟S605或S607所產生之殘餘資料與預測資訊編碼至編碼動態圖像位元流。在此，預測資訊含有顯示所選擇之預測方法之訊號。

由上，本發明實施形態2之動態圖像編碼方法係於至少位於對象區塊之正上方及正左方中之一方之多數參考樣本同時包括有效樣本及無效樣本時，可使用該有效樣本進行選擇性內DC預測。藉此，該動態圖像編碼方法能利用更多有效樣本，可提昇編碼效率。

如此，本實施形態之動態圖像編碼方法可得到錯誤更正能力(error resiliency)之效果，且將運算複雜性維持在相同等級，並可以最適當的效率進行約束內預測。藉此，該動態圖像編碼方法可將編碼效率提昇。

以下，將藉上述動態圖像編碼方法所產生之編碼動態圖像位元流解碼之動態圖像解碼方法予以說明。

第17圖係說明本發明實施形態2之動態圖像解碼處理之流程。

首先，在步驟S701中，藉解析編碼動態圖像位元流之標頭，取得非選擇性內DC預測方式及選擇性內DC預測方式中任一選擇結果。其次，在步驟S702中，將圖像中之編碼區塊解碼。此時，業經內DC預測之編碼區塊係使用藉於步驟S701所取得之選擇結果所示之內DC預測方式進行解碼。

以下，使用第18圖所示之流程，說明使用有選擇性內DC預測方式之各區塊之解碼處理。

首先，在步驟S801中，藉解析編碼動態圖像位元流，取得編碼對象區塊之預測方法。接著在步驟S802中，判斷所解析之預測方式是顯示內DC預測方法或非內DC預測方法哪一者。

在使用了內DC預測方法時(在S802中，是(Yes))，就前進步驟S803。在步驟S803中，藉解析編碼動態圖像位元流，取得對象編碼區塊之內DC殘餘資料。其次，在步驟S804中，選擇幾個業經內預測之參考樣本位置。

其次，在步驟S805中，使用所選擇之參考樣本位置，算出內DC預測樣本值。接著，在步驟S806中，使用內DC預測樣本值及業經解析之殘餘資料，算出再構築樣本值。

另一方面，在使用了非內DC預測方法時(在S802中，否(No))，前進步驟S807。在步驟S807中，藉解析編碼動態圖像位元流，取得非內DC殘餘資料及預測資訊。接著，在步驟S808中，使用所解析之非內DC殘餘資料及預測資訊，算出再構築樣本值。

由上，本發明實施形態2之動態圖像解碼方法係可由藉上述動態圖像編碼方法所產生之動態圖像編碼位元流，產生再構築資料。

以下，針對上述動態圖像編碼方法及使用動態圖像解碼方法之動態圖像編碼裝置及動態圖像解碼裝置予以說明。

首先，針對使用有上述動態圖像編碼方法之動態圖像編碼裝置予以說明。

第19圖係顯示本發明實施形態2之動態圖像編碼裝置500之一例之方塊圖。該動態圖像編碼裝置500包含有分割部501、選擇部502、切換部503、第1編碼部504、第2編碼部505、標頭編碼部506、閘部507、及位元流產生部508。

分割部501係取得原圖像D501，將所取得之原圖像D501分割成可變長度編碼區塊D503。

選擇部502係選擇非選擇性內DC預測方式及選擇性內DC預測方式中之任一者，輸出顯示其選擇結果之選擇資訊D502。

切換部503係使用該選擇資訊D502，將可變長度編碼區塊D503送至第1編碼部504或第2編碼部505。具體來說，切換部503係於藉選擇資訊D502顯示選擇了選擇性內DC預測方式時，將可變長度編碼區塊D503作為可變長度編碼區塊D504而輸出至第1編碼部504。又，切換部503係於藉選擇資訊D502顯示已選擇非選擇性內DC預測方式時，將可變長度編碼區塊D503作為可變長度編碼區塊D505而輸出至第2編碼部505。

第1編碼部504係使用選擇性內DC預測或非內DC預測而將可變長度編碼區塊D504編碼，產生編碼位元流D506。

第2編碼部505係使用非選擇性內DC預測或非內DC預測而將可變長度編碼區塊D505編碼，產生編碼位元流D507。

閘部507係依照第1編碼部504所產生之編碼位元流D506及第2編碼部505所產生之編碼位元流D507之中有哪一個資料存在，將所存在之資料作為編碼位元流D508引導至位元流產生部508。

標頭編碼部506係將選擇資訊D502編碼，產生編碼位元流D509。

位元流產生部508係將編碼位元流D509與編碼位元流D508混合，而產生編碼動態圖像位元流D510。

第20圖係顯示本發明實施形態2之動態圖像編碼裝置500中之第1編碼部504之一例之方塊圖。該第1編碼部504包含有第1選擇部601、切換部602、內DC預測部620、殘餘資料算出部607、閘部608、編碼部609、再構築部610、記憶體部611、及非內DC預測部612。

第1選擇部601係取得樣本區塊D601(可變長度編碼區塊D504)，根據該樣本區塊D601，選擇內DC預測方法及非內DC預測方法中之一者，輸出顯示選擇結果之預測型式D602。或，第1選擇部601亦可相對於業已編碼之樣本，取得所儲存之編碼資訊D615，根據所取得之編碼資訊D615，選擇內DC預測方法及非內DC預測方法中之一者。編碼資訊D615為諸如預測方法、量化參數及區塊之次元等。該預測型式D602係用以於控制切換部602者。

在已選擇內預測方法時，切換部602係將原有的樣本區塊D601作為樣本區塊D603而送至第2選擇部605。

內DC預測部620係對所分割之多數區塊中對象區塊進行內DC預測，算出預測樣本值。又，內DC預測部620係判斷至少位於對象區塊之正上方及正左方中之一方之多數參考樣本每一者之有效性，即使在多數參考樣本同時包括有效樣本及無效樣本時，使用該有效樣本進行內DC預測。該內DC預測部620包含有第2選擇部605及預測樣本算出部606。

第2選擇部605係使用相對於參考樣本位置而所儲存之預測型式D614，選擇幾個業經內預測之有效樣本位置。預測型式D614係指內預測型式及非內預測型式中之任一種選擇結果者。接著，第2選擇部605係將含有原有的樣本區塊及業經選擇之有效樣本位置之資料D606輸出至預測樣本算出部606。

預測樣本算出部606係使用輸入資料D606及業經選擇之有效樣本位置中之有效樣本值D613，算出內DC預測樣本值。接著，預測樣本算出部606係將含有原有的樣本區塊及內DC預測樣本值之資料D607輸出至殘餘資料算出部607。

殘餘資料算出部607係使用內DC預測樣本值及原來的樣本區塊，算出含有內DC殘餘資料之資料D608。

另一方面，在選擇了非內DC預測方法時，切換部602係將原來的樣本區塊D601作為樣本區塊D616，送至非內DC預測部612。

非內DC預測部612係使用原來的樣本區塊D616及針對既已編碼之樣本而所儲存之編碼資訊D615，產生含有非內DC殘餘資料及非內DC預測資訊之資料D617。

閘部608係因應資料D608及資料D617中可利用任一種資料，將可利用之資料作為資料D609而送至編碼部609。

編碼部609係處理資料D609所含之殘餘資料，並對於輸入資料進行熵編碼，產生編碼動態圖像位元流D610(編碼位元流D506)。殘餘資料之處理之例中包括變換處理及定標處理等。又，編碼部609係將含有預測資訊及業已處理之殘餘資料之資料D611輸出至再構築部610。在此，預測資訊包括對象區塊之預測型式。

再構築部610係使用資料D611及所儲存之編碼資訊D615，算出再構築樣本值，將含有再構築樣本值及預測資訊之資料D612儲存在記憶體部611。

其次，說明使用上述動態圖像解碼方法之動態圖像解碼裝置。

第21圖係顯示本發明實施形態2之動態圖像解碼裝置700之一例之方塊圖。該動態圖像解碼裝置700包含有解析部701、切換部702、第1解碼部703、第2解碼部704、閘部705、及圖像產生部706。

解析部701係解析編碼動態圖像位元流D701之標頭，取得顯示選擇非選擇式內DC預測方式及選擇式內DC預測方式之其中一種選擇結果之選擇資訊D702。

切換部702係根據所選擇之內DC預測方式，將編碼動態圖像位元流D701傳送至第1解碼部703或第2解碼部704。具體來說，切換部702係於藉選擇資訊D702而顯示選擇性內DC預測方式時，將編碼動態圖像位元流D701作為位元流D703，輸出至第1解碼部703。另一方面，切換部702係於藉選擇資訊D702而顯示非選擇性內DC預測方式時，將編碼動態圖像位元流D701作為位元流D704，輸出至第2解碼部704。

第1解碼部703係使用選擇性內DC預測及非內DC預測，而將位元流D703解碼，產生區塊單位之再構築樣本值D705。第2解碼部704係使用非選擇性內DC預測及非內DC預測，將位元流D704解碼，而產生區塊單位之再構築樣本值D706。

閘部705係因應有再構築樣本值D705及D706之任一訊號存在，將所存在之訊號作為再構築樣本值D707而送至圖像產生部706。

圖像產生部706係將該區塊之再構築樣本值D707寫入再構築圖像內之各位置，產生再構築圖像D708。

第22圖係顯示本發明實施形態2中之選擇性內DC預測方式之第1解碼部703之一例之方塊圖。該第1解碼部703包含有第1解析部801、切換部802、第2解析部803、內DC預測部820、再構築樣本算出部807、第1閘部808、第2閘部809、記憶體部810及非內DC再構築部811。

第1解析部801係解析編碼動態圖像位元流D801，取得顯示內DC預測方法及非內DC預測方法中之一者之選擇結果之選擇資訊D802。

在所解析之選擇結果顯示內DC預測方法時，切換部802係將編碼動態圖像位元流D801作為位元流D803，送至第2解析部803。

第2解析部803係解析位元流D803，取得相對於編碼對象區塊之內DC殘餘資料D804。

內DC預測部820係對所分割之多數區塊中對象區塊進行內DC預測，算出預測樣本值。又，內DC預測部820係判斷至少位於對象區塊之正上方及正左方中之一方之多數參考樣本每一者之有效性，即使在多數參考樣本同時包括有效樣本及無效樣本時，亦使用該有效樣本進行內DC預測。該內DC預測部820具有選擇部804及預測樣本算出部806。

選擇部804係使用相對於參考樣本位置而所儲存之預測型式D816，選擇幾個業經內預測之有效樣本位置。在此，預測型式D816係指內預測型式或非內預測型式之任一種選擇結果。接著，選擇部804係將含有業經解析之殘餘資料D804及業已選擇之有效樣本位置之資料D805輸出至預測樣本算出部806。

預測樣本算出部806係使用輸入資料D805及業經選擇之有效樣本位置中之有效樣本值D815，算出內DC預測樣本值。接著，預測樣本算出部806係將含有業經解析之殘餘資料及內DC預測樣本值之資料D807輸出至再構築樣本算出部807。

再構築樣本算出部807係使用資料D807，算出相對於編碼對象區塊之內DC再構築樣本值D808。又，再構築樣本算出部807係輸出含有內再構築樣本值及業經解析之預測方法之資料D810。

另一方面，在業經解析之選擇結果係顯示非內DC預測方法時，切換部802係將編碼動態圖像位元流D801作為位元流D811而送至非內DC再構築部811。

非內DC再構築部811係使用位元流D811及相對於既已編碼之樣本而儲存之編碼資訊D817，依照所解析之非內DC預測方法，算出再構築樣本值D812。又，非內DC再構築部811係輸出含有非內DC再構築樣本值及業經解析之非內DC預測資訊之資料D813。

第1閘部808係傳送再構築樣本值D808或D812之中可利用之資料，作為輸出區塊之再構築樣本D809。同樣，第2閘部809係將資料D810或資料D813之中可利用之資料作為資料D814，而儲存於記憶體部810。

以上是針對本發明實施形態之動態圖像編碼方法、動態圖像解碼方法、動態圖像編碼裝置及動態圖像解碼裝置予以說明，但本發明係不限於該實施形態者。

例如，本發明係可作為含有上述動態圖像編碼裝置及上述動態圖像解碼裝置之動態圖像編碼解碼裝置予以實現。

又，亦可將上述各實施形態之動態圖像編碼方法、動態圖像解碼方法、動態圖像編碼裝置及動態圖像解碼裝置以及其等變形例之功能中至少一部組合者。

又，方塊圖中之功能方塊之分割方式只是其中一例，亦可將多數功能區塊作成一個功能區塊予以實現，亦可將一個功能區塊分割成多個，或將部分功能移到其他功能方塊。又，亦可對於具有類似的功能之多數功能方塊之功能，由單一硬體或軟體並行或時間分割地處理者。

又，執行上述步驟之順序係為了具體說明本發明用而舉例顯示者，亦可為上述以外之順序。又，上述步驟的一部分亦可與其他步驟同時(並行)地執行。

(實施形態3)

藉將用以實現為執行在上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成之程式記錄在記憶媒體，在將上述各實施形態所示之處理獨立存在之電腦系統中可簡單地實施者。記憶媒體只要是磁碟、光碟、光學磁碟、IC卡、半導體記憶體等可記錄程式之物時即可。

進而，在此，說明在上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例與使用該例之系統。該系統係以具有由使用有圖像編碼方法之圖像編碼裝置、及使用有圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置為特徵所在。針對系統中之其他構成，可因應情況而適當地變更。

第23圖係顯示實現內容傳送服務之內容供給系統ex100之整體構成之圖。將通訊服務之提供領域分割成所期望之大小，在各胞元分別設置作為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100係於網際網路ex101，經由網際網路服務提供者ex102、電話線路網ex104及基地台ex106至ex110，而連接電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話機ex114、遊戲機ex115等各機器。

惟，內容供給系統ex100係不限於如第23圖之構成，亦可組合任一種要素連接者。又，亦可不經由固定無線台之基地台ex106至ex110，將各機器直接連接於電話線路網ex104。又，各機器亦可經由近距離無線等而直接連接者。

相機ex113係數位攝影機(digital video camera)等之可進行動態圖像攝影之機器，相機ex116係數位相機等之可進行靜態圖像攝影、動態圖像攝影之機器。又，行動電話機ex114係指GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或者是LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或PHS(Personal Handyphone System)等，哪一種都無妨。

在內容供給系統ex100，相機ex113等透過基地台ex109、電話線路網ex104而連接於串流伺服器ex103，就可做即時傳送者。在即時傳送上，用戶係相對於使用相機ex113攝影之內容(例如音樂演唱會之影像等)，如上述各實施形態之說明，進行編碼處理(即，作為本發明之圖像編碼裝置而展現功能)，傳送至串流伺服器ex103。另一方面，串流伺服器ex103係對於有請求之客戶，串流傳送所傳送之內容資料。客戶係指可將業經上述編碼處理之資料解碼之電腦ex111、PDAex112、相機ex113、行動電話機ex114、遊戲機ex115等。在接收有所傳送之資料之各機器上，將所接收之資料進行解碼處理而再生(即，作為本發明之圖像解碼裝置而展現功能)。

此外，所攝影之資料之編碼處理亦可以相機ex113進行，亦可以進行資料之傳送處理之串流伺服器ex103進行，亦可相互分擔進行。同樣，所傳送之資料之解碼處理亦可在客戶端進行，亦可在串流伺服器ex103進行，亦可相互分擔進行。又，不限於相機ex113，亦可經由電腦ex111而將以相機ex116所攝影之靜態圖像及/或動態圖像資料傳送至串流伺服器ex103。此時之編碼處理亦可由相機ex116、電腦ex111、串流伺服器ex103之任一者進行，亦可相互分擔進行。

又，其等編碼處理及解碼處理一般是在電腦ex111或具有各機器之LSIex500予以處理。LSIex500可為單一晶片，亦可為由多數晶片構成之構成者。此外，動態圖像編碼暨解碼用之軟體亦可內建於電腦ex111等可讀取之任一種記錄媒體(CD-ROM、軟碟、硬碟等)，使用該軟體來進行編碼暨解碼處理。進而，在行動電話機ex114為附有相機時，亦可傳送以該相機所取得之動畫資料。此時之動態圖像資料為藉行動電話機ex114所具有之LSIex500所編碼處理之資料。

又，串流伺服器ex103係多數伺服器或多數電腦，亦可為將資料分散處理或記錄而傳送者。

按如上執行，在內容供給系統ex100中，可讓客戶接收業已編碼之資料後進行再生者。如此，在內容供給系統ex100中，客戶可實時接收用戶所傳送之資訊再予以解碼並再生，就算沒有特別的權利或設備之用戶，亦可實現個人廣播。

又，不限於內容供給系統ex100之例，如第24圖所示，在數位式廣播用系統ex200中亦可組裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一者。具體來說，在廣播台ex201中，可透過電波而將在影像資料多工有音樂資料等之多工資料進行通訊或傳送至衛星ex202。該影像資料係指藉上述各實施形態所說明之動態圖像編碼方法所編碼之資料(即，藉本發明之圖像編碼裝置所編碼之資料)。接收該資料之廣播衛星ex202係傳送廣播用之電波，讓可進行衛星廣播接收之家庭之天線ex204接收該電波。電視機(接收機)ex300或機上盒(STB)ex217等之裝置將所接收之多工資料解碼後再生(即，作為本發明之圖像解碼裝置而展現功能)。

又，讀取暨解碼記錄在DVD、BD等之記錄媒體ex215之多工資料、或在記錄媒體ex215將影像訊號編碼，進而依情況而多工有音樂訊號而寫入之讀取器(reader)/記錄器(recorder)ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，所再生之影像訊號顯示在監視器ex219，藉記錄有多工資料之記錄媒體ex215可在其他裝置或系統將影像訊號再生。又，在連接於有線電視機用之電纜線ex203或衛星/地上波廣播之天線ex204之機上盒ex217內亦可安裝動態圖像解碼裝置，將此在電視機之監視器ex219顯示者。此時，亦可不要安裝在機上盒，而是在電視機內安裝動態圖像解碼裝置。

第25圖係顯示使用有上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視機(接收機)ex300之圖。電視機ex300包含有：調諧器ex301，係經由接收上述廣播之天線ex204或電纜線ex203等，而取得或輸出影像資料上多工有聲音資料之多工資料者；調變/解調部ex302，係將所接收之多工資料解調或將傳送至外部之多工資料調變；及多工/分離部ex303，係將具有已解調之多工資料分離成影像資料與聲音資料，或將以訊號處理部ex306所編碼之影像資料、聲音資料多工者。

又，電視機ex300包含有：具有各將聲音資料、影像資料解碼或將各自的資訊編碼之聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明之圖像編碼裝置或圖像解碼裝置發揮功能)之訊號處理部ex306、及具有將業經解碼之聲音訊號輸出之揚聲器ex307、顯示所解碼之影像訊號之顯示器等之顯示部ex308之輸出部ex309。進而，電視機ex300具有介面部ex317，該介面部ex317具有受理用戶操作之操作輸入部ex312等。進而，電視機ex300包含有統籌地控制各部之控制部ex310、供電至各部之電源電路部ex311。介面部ex317，除了操作輸入部ex312外，還有與讀取器/記錄器ex218等之外部機器連接之橋接器ex313、可裝設SD卡等之記錄媒體ex216用之插槽部ex314、與硬碟等之外部記錄媒體連接用之驅動器ex315、及與電話線路網ex104連接之數據機ex316等。此外，記錄媒體ex216是可藉所儲存之非依電性(non-volatile)/依電性之半導體記憶體元件進行電性資訊記錄者。電視機ex300之各部係經由同步匯流排而相互連接。

首先，針對電視機ex300將藉天線ex204等而由外部取得之多工資料解碼並再生之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據具有CPU等之控制部ex310之控制，在多工/分離部ex303將調變/解調部ex302所解調之多工資料分離。進而，電視機ex300係於聲音訊號處理部ex304將所分離之聲音資料解碼，且將所分離之影像資料在影像訊號處理部ex305使用在上述各實施形態所說明解碼方法予以解碼。已解碼之聲音訊號、影像訊號各由輸出部ex309而向外部輸出。又在輸出之時，為了使聲音訊號與影像訊號同步再生，只要先暫時將其等訊號儲存在緩衝器ex318、ex319等即可。又，電視機ex300，亦可不由廣播等，亦可由磁碟/光碟、SD卡等之記錄媒體ex215、ex216將多工資料讀出。其次，針對電視機ex300將聲音訊號或影像訊號編碼後傳送至外部或寫入至記錄媒體等之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據控制部ex310之控制，在聲音訊號處理部ex304將聲音訊號編碼，在影像訊號處理部ex305，使用在上述各實施形態所說明之編碼方法進行編碼。業經編碼之聲音訊號、影像訊號係於多工/分離部ex303多工，而輸出至外部。在多工之時，為了使聲音訊號與影像訊號同步，只要先暫時將其等訊號儲存在緩衝器ex320、ex321等即可。此外，緩衝器ex318、ex319、ex320、ex321係如圖所示，可具有多數，亦可為共有一個以上之緩衝器之構成。進而，除圖示之外，例如調變/解調部ex302或多工/分離部ex303之間等亦可先將資料儲存在避免系統的溢位(overflow)、下溢(underflow)之緩衝件之緩衝器。

又，電視機ex300除了由廣播等或記錄媒體等取得聲音資料、影像資料外，亦可具有受理麥克風或相機之AV輸入之構成，對於由其等取得之資料進行編碼處理。此外，在此電視機ex300係以可進行上述之編碼處理、多工處理及外部輸出之構成進行說明，但不能進行其等處理，但亦可為只做上述接收、解碼處理、外部輸出之構成。

又，在讀取器/記錄器ex218由記錄媒體讀出多工資料或將多工資料寫入記錄媒體時，上述解碼處理或編碼處理亦可由電視機ex300、讀取器/記錄器ex218之任一者進行，亦可使電視機ex300與讀取器/記錄器ex218相互分擔進行。

以一例而言，將由光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之構成顯示在第26圖。資訊再生/記錄部ex400包含有以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、及ex407。光學磁頭ex401係於作為光碟之記錄媒體ex215之記錄面照射雷射光點寫入資訊，檢測來自記錄媒體ex215之記錄面之反射光來讀入資訊。調變記錄部ex402係電驅動內建在光學磁頭ex401之半導體雷射，因應記錄資料進行雷射光之調變。再生解調部ex403係將內建在光學磁頭ex401之光學探測器電檢測來自記錄面之反射光之再生訊號放大，將記錄媒體ex215所記錄之訊號成分分離且解調，將所需的資訊再生。緩衝器ex404係將由用以記錄在記錄媒體ex215之資訊及記錄媒體ex215再生之資訊暫時固持。光碟馬達ex405係將記錄媒體ex215旋轉。伺服器控制部ex406係控制光碟馬達ex405之旋轉驅動，且將光學磁頭ex401移動在預定之資訊軌道，進行雷射光點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400整體之控制。上述之讀出或寫入之處理係使系統控制部ex407利用緩衝器ex404所固持之各種資訊，又因應必要進行新的資訊的產生及追加，並一邊使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406協調作動，一邊透過光學磁頭ex401，進行資訊之記錄再生而予以實現。系統控制部ex407係以例如微處理部構成，執行讀出寫入之程式，而執行其等之處理。

在以上的說明中，光學磁頭ex401係照射雷射光點來進行說明，亦可為利用接近場光而進行更高密度之記錄之構成。

第27圖係顯示成為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面形成螺旋狀的導槽(溝槽groove)，在資訊軌道ex230上事先記錄有溝槽的形狀變化而顯示光碟上的絕對位置之地點資訊。該地點資訊含有用以界定記錄區塊ex231之位置之資訊，該記錄區塊ex231係記錄資料之單位，在進行記錄或再生之裝置中將資訊軌道ex230再生，讀取地點資訊，以界定記錄區塊。又，記錄媒體ex215係含有資料記錄區ex233、內周區ex232、及外周區ex234。為記錄用戶資料所用之區域為資料記錄區ex233，配置在資料記錄區ex233內周或外周之內周區ex232及外周區ex234係用於用戶資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於如此記錄媒體ex215之資料記錄區ex233，進行將業已編碼之聲音資料、影像資料或其等資料多工之多工資料之讀寫。

在以上說明中，是以一層的DVD、BD等之光碟為例進行說明，但不限於其等，亦可為多層構造且在表面以外亦可記錄之光碟。又，亦可為在光碟之相同地方利用各種不同波長之顏色之光記錄資訊，或由各種角度記錄不同資訊之層等進行多次元之記錄/再生之構造之光碟。

又，亦可在數位廣播用系統ex200中，在具有天線ex205之車輛ex210由衛星ex202等接收資料，在車輛ex210所具有之車用導航系統ex211等之顯示裝置將動畫再生。此外，車用導航系統ex211之構成可考慮如第25圖所示之構成中加上GPS接收部之構成，同樣的事情亦可考慮在電腦ex111或行動電話機ex114等實現。

第28A圖係顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話機ex114之圖。行動電話機ex114包含有用以於基地台ex110之間接送電波之天線ex350、可攝影影像、靜態圖像之相機部ex365、及顯示使以相機部ex365所攝影之影像、天線ex350所接收之影像解碼之資料之液晶顯示器等之顯示部ex358。行動電話機ex114更包含有具有操作鍵部ex366之本體部、諸如用以輸出聲音之麥克風等之聲音輸入部ex356、及保存所攝影之影像、靜態圖像、所錄音之聲音或所接收之影像、靜態圖像、郵件等之業已編碼之資料或者是業已解碼之資料之記憶體部ex367、或同樣，在與作為保存資料之記錄媒體之間之介面部之插槽(slot)部ex364。

進而，針對行動電話機ex114之構成例，使用第28B圖予以說明。行動電話機ex114係相對於統籌地控制具有顯示部ex358及操作鍵部ex366之本體部之各部之主控制部ex360，經由匯流排ex370而使電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面(I/F)部ex363、液晶顯示器(LCD,Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/分離部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367相互連接。

電源電路部ex361係一藉用戶之操作而將結束對話及電源鍵呈開啟狀態時，由電池組對著各部供電，將行動電話機ex114起動為可作動之狀態。

行動電話機ex114係根據具有CPU、ROM、RAM等之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354而將以聲音輸入部ex356收音之聲音訊號轉換成數位聲音訊號，以調變/解調部ex352對此進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送。又，行動電話機ex114係於聲音通話模式時，將經由天線ex350所接收之接收資料放大，施行頻率變換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜逆擴散處理，以聲音訊號處理部ex354轉換成類比聲音訊號之後，且由聲音輸出部ex357予以輸出。

進而，在於資料通訊模式時傳送電子郵件時，藉本體部之操作鍵部ex366等之操作所輸入之電子郵件之正文資料係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係以調變/解調部ex352而將正文資料進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送至基地台ex110。在接收電子郵件時，對於所接收之資料進行與前述處理幾乎相反之處理，輸出至顯示部ex358。

在於資料通訊模式時傳送影像、靜態圖像或影像與聲音時，影像訊號處理部ex355係將由相機部ex365所供給之影像訊號，藉以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，當作本發明之圖像編碼裝置發揮功能)，將業經編碼之影像資料送出至多工/分離部ex353。又，聲音訊號處理部ex354係在以相機部ex365將影像、靜態圖像等攝影之中將聲音輸入部ex356所收音之聲音訊號編碼，將業已編碼之聲音資料送出至多工/分離部ex353。

多工/分離部ex353係以預定方式將由影像訊號處理部ex355所供給且業已編碼之影像資料及由聲音訊號處理部ex354所供給且業已編碼之聲音資料多工，將其結果所得到之多工資料在調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在於傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送者。

為了在資料通訊模式時、在接收連到網頁等之動態圖像檔案之資料時、或在接收附有影像或聲音之電子郵件時，將經由天線ex350而所接收之多工資料解碼，多工/分離部ex353將多工資料分離，分成影像資料之位元流與聲音資料之位元流，經由同步匯流排ex370而將業已編碼之影像資料供給至影像訊號處理部ex355，並將業已編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法解碼，而將影像訊號解碼(即，作為本發明之圖像解碼裝置發揮功能)，經由LCD控制部ex359，由顯示部ex358顯示例如連到網路之動態圖像檔案所含之影像、靜態圖像。又，聲音訊號處理部ex354係將聲音訊號解碼，且由聲音輸出部ex357輸出聲音。

又，上述行動電話機ex114等之終端機係與電視機ex300同樣，可考慮到除了具有編碼器及解碼器兩者之收發型終端機之外，只有編碼器之傳送終端機、只有解碼器之接收終端機等三種安裝方式。進而，在數位廣播用系統ex200中，是說明接收、傳送在影像資料多工有音樂資料等之多工資料，但除了聲音資料外，亦可為有與影像有關連之文字資料等多工之資料，亦可為影像資料本身而非多工資料。

如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法運用在上述之任一種機器或系統，藉此，可得到在上述各實施形態所說明之效果。

又，本發明不限於上述實施形態者，可在不脫離本發明範圍下可做各種變形或修正。

(實施形態4)

亦可因應情況適當地切換上述各實施形態所示之動態圖像編碼方法或裝置、與以MPEG-2、MPEG4-AVC、VC-1等相異之規格為準之動態圖像編碼方法或裝置，產生影像資料者。

在此，在產生有以各為不同之規格為準之多數影像資料時，在解碼時，必須選擇與各規格對應之解碼方法。惟，由於不能識別欲解碼之影像資料是已哪一規格為準，因此衍生有不能選擇適當的解碼方法之課題。

為了解決該課題，將聲音資料等多工至影像資料之多工資料係構建為含有顯示影像資料是以哪一規格為準者之識別資訊之構成。如下說明含有藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸流形式之數位流。

第29圖係顯示多工資料之構成圖。如第29圖所示，多工資料係將視訊流、聲訊流、表達圖形流(PG)、交互圖形流之中將一個以上多工而所得到者。視訊流表示電影之主影像及副影像、聲訊流(IG)表示電影之主聲音部分及與該主聲音混合之副聲音部分，表達圖形流表示電影之字幕。在此，主影像係指顯示在畫面之通常影像，副影像係指以小畫面顯示在主影像中之影像者。又，交互圖形流係指於畫面上配置GUI零件所作成之對話畫面。視訊流係指藉以上述各實施形態所示之動態圖像編碼方法或裝置、以習知之MPEG-2、MPEG4-AVC、VC-1等規格為準之動態圖像編碼方法或裝置所編碼者。聲訊流係以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或、線性PCM等方式所編碼者。

多工資料所含之各串流係藉PID所識別。例如在於電影之影像所利用之視訊流劃分有0×1011，音訊流劃分有0×1100至0×111F，表達圖形流劃分有0×1200至0×121F，交互圖形流劃分有0×1400至0×141F，在於電影之副影像所利用之視訊流劃分有0×1B00至0×1B1F，與主聲音混合之副聲音所利用之音訊流劃分有0×1A00至0×1A1F。

第30圖係模式地顯示多工資料是如何被多工之圖。首先，將由多數視訊框所構成之視訊流ex235、由多數聲訊流所構成之聲訊流ex238各變換成PES封包列ex236及ex239、TS封包ex237及ex240。同樣將表達圖形流ex241及交互圖形流ex244之資料各變換成PES封包列ex242及ex245，進行變換成TS封包ex243及ex246。多工資料ex247係將其等TS封包多工成一條串流來構成者。

第31圖係進一步詳細顯示在PES封包列中如何儲存視訊流。第31圖中之第1段係顯示視訊流之視訊框列。第2段係顯示PES封包列。如第31圖之箭頭符號yy1、yy2、yy3、yy4所示，視訊流中之多數視訊表達單元(Video Presentation Unit)之I圖片、B圖片、P圖片係按每一圖片分割，且儲存在PES封包之酬載。各PES封包係具有PES標頭，PES標頭儲存有成為圖片之顯示時刻之表達時間戳記(PTS,Presentation Time-Stamp)或圖片之解碼時刻之解碼時間戳記(DTS,Decoding Time-Stamp)。

第32圖係顯示最終寫入於多工資料之TS封包之形式。TS封包係188位元組(Byte)固定長度之封包，由具有識別串流之PID等之資訊之4位元組之TS標頭及儲存資料之184位元組之TS酬載所構成，上述PES封包被分割而儲存在TS酬載。在BD-ROM時，TS封包被附與有4位元組之TP_Extra_Header，構成192位元組之原始封包，寫入至多工資料。TP_Extra_Header記載有ATS(Arrival_Time_Stamp)等之資訊。ATS係顯示該TS封包轉送記錄器之PID濾波器之轉送開始時間。多工資料中，如第32圖下段所示，構成有原始封包排列者，由多工資料之前頭開始增加之號碼被稱為原始封包號碼(SPN；source packet number)。

又，多工資料所含之TS封包，除了影像、聲音、字幕等之各串流外，更有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示多工資料中所利用之PMT之PID為何者，PAT本身之PID係登錄為0。PMT係具有多工資料中所含之影像‧音声‧字幕等之各串流之PID及與各PID對應之串流之屬性資訊，又具有與多工資料有關之各種描述符。描述符具有指示允許及不允許多工資料之複製之複製控制資訊等。PCR係為了取得作為ATS之時軸之到達時間時鐘(ATC,Arrival Time Clock)與成為PTS‧DTS之時軸之系統時間時鐘(STC,System Time Clock)之同步，而具有與該PCR封包轉送至記錄器之ATS對應之STC時間之資訊。

第33圖係詳細說明PMT之資料構造之圖。PMT之前頭配置有記著該PMT所含之資料的長度等之PMT標頭。在其之後面配置有多數與多工資料有關之描述符。上述複製控制資訊等係記載為描述符。描述符之後配置有多數與多工資料所含之各串流有關之串流資訊。串流資訊係為於識別串流之壓縮編解碼器等，而由記載有串流型式、串流之PID、串流之屬性資訊(框速率、長寬比等)之串流描述符所構成。串流描述符有存在於多工資料之串流數這樣多。

在記錄在記錄媒體等的時候，上述多工資料係與多工資料資訊檔案一起記錄。

多工資料資訊檔案，如第34圖所示，為多工資料之管理資訊，與多工資料呈一對一之對應關係，由多資料資訊、串流屬性資訊及登錄圖(entry map)所構成者。

多工資料資訊，如第34圖所示，由系統速率、再生開始時刻、再生結束時刻所構成者。系統速率表示多工資料轉送至後述的系統指標解碼器之PID濾波器之最大轉送速率。多工資料中所含之ATS之間隔係設定為系統速率以下。再生開始時刻係多工資料之前頭之視訊框之PTS，再生結束時刻係於於多工資料之末端之視訊框之PTS加上一框量之再生間隔者。

串流屬性資訊，如第35圖所示，針對多工資料所含之各串流之屬性資訊係登錄於每PID。屬性資訊具有視訊流、聲訊流、表達圖形流、交互圖形流各為不同之資訊。視訊流屬性資訊具有該視訊流是以何種壓縮編解碼器所壓縮、構成視訊流之每個圖片資料之影像解析度有多少、長寬比有多少、框速率有多少等之資訊。聲訊流屬性資訊具有該聲訊流是以哪種壓縮編解碼器所壓縮、該聲訊流所含之頻道數是什麼、是對應哪一語言、抽樣頻率有多少等之資訊。其等資訊是利用在於播放器再生前之記錄器之初始化等。

在本實施形態中，利用上述多工資料中PMT所含之串流型式。又，記錄媒體記錄有多工資料時，利用包含在多工資料資訊之視訊流屬性資訊。具體來說，在於上述各實施形態所示之動態圖像編碼方法或裝置中，設置設定固有資訊之步驟或手法，固有資訊係相對於PMT所含之串流型式或視訊流屬性資訊，顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料者。藉該構成，可識別藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料與以其他規格為準之影像資料。

又，將本實施形態中之動態圖像解碼方法之步驟顯示在第36圖。在步驟exS100中，由多工資料取得PMT所含之串流型式或多工資料資訊所含之視訊流屬性資訊。其次，在步驟exS101中，判斷串流型式或視訊流屬性資訊是否顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之多工資料。接著，在串流型式或視訊流屬性資料被判斷為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者之時，在步驟exS102中，藉上述各實施形態所示之動態圖像解碼方法進行解碼。又，在串流型式或視訊流屬性資訊被判斷為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格者之時，在步驟exS103中，藉以習知之規格為準之動態圖像解碼方法進行解碼。

如此，藉於串流型式或視訊流屬性資訊設定新的固有值，在解碼時，能判斷是否可以上述各實施形態所示之動態圖像解碼方法或裝置解碼者。因此，即使在輸入有以不同的規格為準之多工資料時，亦可選擇適當的解碼方法或裝置，因此可在不產生錯誤之狀態下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置或者是動態圖像解碼方法或裝置運用在上述任一機器及系統。

(實施形態5)

上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可以積體電路之LSI實現。以一例來說，在第37圖顯示構成為單一晶片之LSIex500之構成。LSIex500包含有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係經由匯流排ex510而連接者。電源電路部ex505係於電源為開啟狀態時，對於各部供電，而在可作動之狀態下起動。

例如在進行編碼處理時，LSIex500係根據包含有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉AV I/O ex509，由麥克風ex117或相機ex113等輸入AV訊號。所輸入之AV訊號暫時先儲存在SDRAM等外部之記憶體ex511。根據控制部ex501之控制，所儲存之資料係按處理量或處理速度，例如適當地分成數次等，而送至訊號處理部ex507，在訊號處理部ex507中，進行聲音訊號之編碼及/或影像訊號之編碼。在此影像訊號之編碼處理是上述各實施形態所說明之編碼處理。在訊號處理部ex507中，依情況進而進行業已編碼之聲音資料及業已編碼之影像資料多工等之處理，由串流I/Oex506輸出至外部。該所輸出之多工資料係朝基地台ex107傳送，或寫入至記錄媒體ex215。此外，在多工處理時，為了同步，只要先將資料暫時儲存在緩衝器ex508即可。

此外，在上述說明中，說明了記憶體ex511為LSIex500之外部構成，亦可為包含在LSIex500之內部之構成。緩衝器ex508亦可不限於一個，亦可為具有多數緩衝器者。又，LSIex500可為單一晶片，亦可多數晶片化。

又，在上述說明中，控制部ex501係構成為具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等者，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為更具有CPU之構成。在訊號處理部ex507之內部亦設置CPU，就可更加提昇處理速度。又，以另一例而言，CPUex502亦可為具有訊號處理部ex507或具有訊號處理部ex507之一部例如聲音處理部之構成。在如此形態下，控制部ex501成為具有訊號處理部ex507或具有該一部分之CPUex502之構成。

此外，在此是構成為LSI，但依積體度的不同，亦可被稱為IC、系統LSI、SUPER LSI、ULTRA LSI。

又，實現積體電路之手法不限於LSI，但亦可以專用電路或萬用處理器實現。在LSI製造之後，亦可利用可程式化之FPGA(Field Programmable Gate Array)或可再構成LSI內部之電路胞元之連接或設定之可重組態處理器。

進而，在藉半導體技術之進步或衍生之其他技術來讓替換成LSI之積體電路化之技術上場時，當然亦可使用該技術來進行功能區塊之積體化。生技的運用等對於可能性亦存在。

(實施形態6)

在與對藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料進行解碼時，與對以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料的時候相比，考慮將處理量增加者。為此，在LSIex500，必須設定在比將以習知規格為準之影像資料解碼時之CPU ex502之驅動頻率更高之驅動頻率。惟，會產生一提高驅動頻率就使耗電高之課題。

為解決該課題，採用電視機ex300、LSIex500等之動態圖像解碼裝置係識別影像資料是以哪一規格為準者，因應規格而切換驅動頻率之構成。第38圖係顯示本實施形態中之構成ex800。驅動頻率切換部ex803係於影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生時，將驅動頻率提高設定。接著，對於執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801發出指示，來對影像資料解碼者。另一方面，在影像資料為以習知規格為準之影像資料時，與影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之時候相比，將驅動頻率降低設定。接著對於以習知規格為準之解碼處理部ex802發出指示，來將影像資料解碼者。

更具體地說，驅動頻率切換部ex803係由第37圖之CPUex502與驅動頻率控制部ex512所構成者。又，執行上述各實施形態中所示之動態圖像解碼方法之解碼處理部ex801及以習知規格為準之解碼處理部ex802係相當於第37圖之訊號處理部ex507。CPUex502係識別影像資料是以哪一規格為準者。接著，根據來自CPUex502之訊號，驅動頻率控制部ex512係設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507係進行影像資料之解碼。在此，影像資料之識別上，例如可考慮利用實施形態4所記述之識別資訊。有關於識別資訊，不限於實施形態4所記載者，只要是可識別影像資料是以哪一規格為準之資訊即可。例如，根據識別影像資料是利用在電視者或者是利用在光碟者之外部訊號，在可識別出影像資料是以哪一規格為準者的時候，亦可根據如此之外部訊號進行識別。又，CPUex502中之驅動頻率選擇，可考慮根據具有第40圖所示之影像資料的規格及驅動頻率之對應關係之查找表進行者。先將查找表儲存在緩衝器ex508或LSI之內部記憶體，CPUex502係參考該查找表，就可選擇驅動頻率。

第39圖係顯示實施本實施形態之方法之步驟。首先，在步驟exS200中，於訊號處理部ex507上由多工資料取得識別資訊。其次，在步驟exS201中，於CPUex502上，根據識別資訊，識別影像資料是否為藉由上述各實施形態所示之編碼方法或裝置所產生者。在影像資料為藉由上述各實施形態所示之編碼方法或裝置所產生時，在步驟exS202中，CPUex502係將驅動頻率提高設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，設定高驅動頻率。另一方面，在顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，在步驟exS203中，CPUex502係將驅動頻率降低設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512上，和影像資料經由上述各實施形態所示之編碼方法或裝置所產生之時候相比，設定較低的驅動頻率。

進而，與驅動頻率之切換連動而變更提供給含有LSIex500或LSIex500之裝置之電壓，就更能提高省電效果。例如，將驅動頻率降低設定時，隨此，與將驅動頻率提高設定的時候相比，可考慮將提供至含有LSIex500或LSIex500之裝置之電壓降低設定者。

又，驅動頻率之設定方法係於欲解碼時之處理量很大時，只要將驅動頻率提高設定，而於欲解碼時之處理量很小時，則將驅動頻率降低設定，即可採用，不限於上述之設定方法。例如，將以MPEG4-AVC規格為準之影像資料解碼之處理量比經由上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼之處理量大時，可考慮與上述時候相反地執行驅動頻率之設定者。

進而，驅動頻率的設定方法不限於將驅動頻率降低之構成。例如在識別資訊係顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，亦可考慮提高設定供應至含有LSIex500或LSIex500之裝置之電壓，在顯示為以習知MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，可考慮降低設定提供至含有LSIex500或LSIex500之裝置之電壓。又，以另一例來說，識別資訊係於顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，亦可考慮不使CPUex502之驅動停止，在顯示以習知MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，因為處理能充裕進行，因此可考慮暫時將CPUex502之驅動停止。即使在識別資訊於顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，只要處理能充裕進行時，亦可考慮暫時停止CPUex502之驅動。此時，與顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料的時候相比，可考慮將停止時間縮短設定者。

如此，因應影像資料所依據之規格來切換驅動頻率，可謀求省電。又，在使用電池以驅動含有LSIex500或LSIex500之裝置時，隨著省電，可延長電池的壽命。

(實施形態7)

在電視機或行動電話機等上述之機器及系統有以不同規格為準之多數影像資料輸入之狀況。像這樣為了做到能在輸入有以不同規格為準之多數影像資料時也能解碼者，LSIex500之訊號處理部ex507必須能對應於多數規格。惟，如果分別使用對應於各規格之訊號處理部ex507時，將使LSIex500之電路規模變得龐大，又會衍生有增加成本之課題。

為解決該課題，採用將用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部及以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之解碼處理部局部共有之構成。將該構成例顯示於第41A圖之ex900。例如，以上述各實施形態所示之動態圖像解碼方法與以MPEG4-AVC規格為準之動畫解碼方法係於熵編碼、逆量化、解塊(deblocking)濾波器、動作補償等之處理上有處理內容部分共通者。可考慮採用一種針對共通之處理內容，共有對應於MPEG4-AVC規格之解碼處理部ex902，而針對不對應於MPEG4-AVC規格之本發明特有之其他處理內容，則可考慮使用專用的解碼處理部ex901之構成。特別是本發明係在內預測處理具有特徵，因此可以考慮針對內預測處理使用專用的解碼處理部ex901，針對除此以外之熵編碼、逆量化、解塊濾波器、動作補償之任一者或者是全部處理為共有解碼處理部。有關於解碼處理部之共有化，是針對共通的處理內容共有用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部，對於MPEG4-AVC規格所特有之處理內容，亦可為使用專用的解碼處理部之構成。

又，將使部分處理共有之另一例顯示在第41B圖之ex1000。在該例中，係構成為對應於本發明特有之處理內容之專用的解碼處理部ex1001、對應於其他習知規格特有之處理內容之專用的解碼處理部ex1002、對應於本發明動態圖像解碼方法與其他習知規格之動態圖像解碼方法所共通之處理內容之共用的解碼處理部ex1003之構成。在此，專用的解碼處理部ex1001、ex1002未必為特地在其他特殊規格所特有之處理內容特殊化，亦可為可執行其他萬用處理者。又，亦可以LSIex500安裝本實施形態之構成者。

如此，本發明之動態圖像解碼方法與習知規格之動態圖像解碼方法共通之處理內容係共有解碼處理部，因此可將LSI的電路規模縮小，且可降低成本。

產業之可利用性

本發明係發揮能足將編碼效率提昇之效果，可利用在諸如儲存、傳送、通訊等各種用途。例如可利用在電視機、數位式錄影記錄器、車輛導航系統、行動電話機、數位相機、數位式攝影機等之高影像解析度之資訊顯示機器或攝影機器，利用價值高。

100、500．．．動態圖像編碼裝置

101、501．．．分割部

102、502、804．．．選擇部

103、202、302、402、503、602、702、802．．．切換部

104、504．．．第1編碼部

105、505．．．第2編碼部

106、506．．．標頭編碼部

107、208、305、507、608、705．．．閘部

108、508．．．位元流產生部

201、601．．．第1選擇部

203、404．．．有效性判斷部

204、405．．．參考樣本算出部

205、605．．．第2選擇部

206、406、606、806．．．預測樣本算出部

207、607．．．殘餘資料算出部

209、609．．．編碼部

210、610．．．再構築部

211、410、611、810．．．記憶體部

212．．．非內預測部

220、420．．．內預測部

300、700．．．動態圖像解碼裝置

301、701．．．解析部

303、703．．．第1解碼部

304、704．．．第2解碼部

306、706．．．圖像產生部

401、801．．．第1解析部

403、803．．．第2解析部

407、807．．．再構築樣本算出部

408、808．．．第1閘部

409、809．．．第2閘部

411．．．非內再構築部

612．．．非內DC預測部

620、820．．．內DC預測部

811．．．非內DC再構築部

900．．．編碼動態圖像位元流

901．．．順序標頭

902、913．．．資料

911．．．圖片標頭

912．．．圖片資料

921．．．切片標頭

922．．．切片資料

950、960．．．選擇資訊

951、961．．．輪廓參數

952、962．．．等級參數

D101、D501．．．原圖像

D102、D302、D402、D502、D702、D802．．．選擇資訊

D103、D104、D105、D503、D504、D505．．．可變長度編碼區塊

D106~D109、D506~D509．．．編碼位元流

D110、D210、D301、D401、D510、D610、D701、D801．．．編碼動態圖像位元流

D201、D203、D216、D601、D603、D616．．．樣本區塊

D202、D214、D416、D602、D614、D816．．．預測型式

D204~D209、D211、D212、D217、D405~D407、D410、D413、D414、D606~D609、D611、D612、D617、D805、D807、D810、D813、D814．．．資料

D206．．．內預測方法

D213、D415、D613、D815．．．有效樣本值

D215、D417、D615、D817．．．編碼資訊

D303、D304、D403、D411、D703、D704、D803、D811．．．位元流

D305~D307、D408、D412、D705~D707、D808、D812．．．再構築樣本值

D308、D708．．．再構築影像

D404．．．解析資料

D409、D809．．．再構築樣本

D804．．．殘餘資料

ex100．．．內容供給系統

ex101．．．網際網路

ex102．．．網際網路服務提供者

ex104．．．電話線路網

ex106~ex110．．．基地台

ex107．．．基地台

ex111．．．電腦

ex112．．．PDA

ex113．．．相機

ex114．．．行動電話機

ex115．．．遊戲機

ex117．．．麥克風

ex201．．．廣播台

ex202．．．衛星

ex203．．．電纜線

ex204．．．天線

ex210．．．車輛

ex211．．．車用導航系統

ex215、ex216．．．記錄媒體

ex217．．．機上盒(STB)

ex218．．．讀取器/記錄器

ex219．．．監視器

ex220．．．遙控器

ex230．．．資訊軌道

ex231．．．記錄區塊

ex232．．．內周區

ex233．．．資料記錄區

ex234．．．外周區

ex235．．．視訊流

ex238．．．聲訊流

ex236,ex239,ex242,ex245．．．PES封包列

ex237,ex240,ex243,ex246．．．TS封包

ex241．．．表達圖形流

ex244．．．交互圖形流

ex247．．．多工資料

ex300．．．電視機

ex301．．．調諧器

ex302．．．調變/解調部

ex303．．．多工/分離部

ex304．．．聲音訊號處理部

ex305．．．影像訊號處理部

ex306．．．訊號處理部

ex307．．．揚聲器

ex308．．．顯示部

ex309．．．輸出部

ex310．．．控制部

ex311．．．電源電路部

ex312．．．操作輸入部

ex313．．．橋接器

ex314．．．插槽部

ex315．．．驅動器

ex316．．．數據機

ex317．．．介面部

ex318、ex319．．．緩衝器

ex350．．．天線

ex351．．．傳送/接收部

ex352．．．調變/解調部

ex353．．．多工/分離部

ex354．．．聲音訊號處理部

ex355．．．影像訊號處理部

ex356．．．聲音輸入部

ex357．．．聲音輸出部

ex358．．．顯示部

ex359．．．LCD控制部

ex360．．．主控制部

ex361．．．電源電路部

ex362．．．操作輸入控制部

ex363．．．相機介面部

ex364．．．插槽部

ex365．．．相機部

ex366．．．操作鍵部

ex367．．．記憶體部

ex400．．．資訊再生/記錄部

ex401．．．光學磁頭

ex402．．．調變記錄部

ex403．．．再生解調部

ex404．．．緩衝器

ex405．．．光碟馬達

ex406．．．伺服器控制部

ex407．．．系統控制部

ex500．．．LSI

ex501．．．控制部

ex502．．．CPU

ex503．．．記憶體控制器

ex504．．．串流控制器

ex505．．．電源電路部

ex506．．．串流I/O

ex507．．．訊號處理部

ex508．．．緩衝器

ex509．．．AV I/O

ex510．．．匯流排

ex511．．．記憶體

ex512．．．驅動頻率控制部

ex801,ex802．．．解碼處理部

ex803．．．驅動頻率切換部

ex900．．．構成

ex901,ex902,ex1001~ex1003．．．解碼處理部

第1圖係顯示來自區塊尺寸相同時之鄰接參考樣本之內預測之例之圖。

第2圖係顯示來自區塊尺寸不同時之鄰接參考樣本之內預測之例之圖。

第3圖係顯示本發明實施形態1之動態圖像編碼處理之流程圖。

第4A圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態1之壓縮動態圖像流中非具約束之內預測方式或具約束之內預測方式之選擇結果。

第4B圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態1之壓縮動態圖像流中非具約束之內預測方式或具約束之內預測方式之選擇結果。

第4C圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態1之壓縮動態圖像流中非具約束之內預測方式或具約束之內預測方式之選擇結果。

第4D圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態1之壓縮動態圖像流中非具約束之內預測方式或具約束之內預測方式之選擇結果。

第5圖係顯示本發明實施形態1中使用具約束之內預測方式之動態圖像編碼處理之流程圖。

第6圖係顯示本發明實施形態1中使用具約束之內預測方式之動態圖像編碼處理之流程圖。

第7圖係顯示本發明實施形態1中之動態圖像解碼處理之流程圖。

第8圖係顯示本發明實施形態1中使用具約束之內預測方式之動態圖像解碼處理之流程圖。

第9圖係顯示本發明實施形態1中使用具約束之內預測方式之動態圖像解碼處理之流程圖。

第10圖係顯示本發明實施形態1中之動態圖像編碼裝置之一例之方塊圖。

第11圖係顯示本發明實施形態1中使用具約束之內預測方式之第1編碼部之一例之方塊圖。

第12圖係顯示本發明實施形態1中之動態圖像解碼裝置之一例之方塊圖。

第13圖係顯示本發明實施形態1中使用具約束之內預測方式之第1解碼部之一例之方塊圖。

第14圖係顯示本發明實施形態2中之動畫編碼處理之流程圖。

第15A圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態2之壓縮動態圖像流中非選擇性內DC預測方式或選擇性內DC預測方式之選擇結果。

第15B圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態2之壓縮動態圖像流中非選擇性內DC預測方式或選擇性內DC預測方式之選擇結果。

第15C圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態2之壓縮動態圖像流中非選擇性內DC預測方式或選擇性內DC預測方式之選擇結果。

第15D圖係顯示一訊號之位置之例之圖，該訊號係顯示本發明實施形態2之壓縮動態圖像流中非選擇性內DC預測方式或選擇性內DC預測方式之選擇結果。

第16圖係顯示本發明實施形態2中使用選擇性內DC預測方式之動態圖像編碼處理之流程圖。

第17圖係顯示本發明實施形態2之動態圖像解碼處理之流程圖。

第18圖係顯示本發明實施形態2之使用選擇性內DC預測方式之動態圖像解碼處理之流程圖。

第19圖係顯示本發明實施形態2之動態圖像編碼裝置之一例之方塊圖。

第20圖係顯示本發明實施形態2之使用選擇性內DC預測方式之第1編碼部之一例之方塊圖。

第21圖係顯示本發明實施形態2之動態圖像解碼裝置之一例之方塊圖。

第22圖係顯示本發明實施形態2之使用選擇性內DC預測方式之第1解碼部之一例之方塊圖。

第23圖係顯示實現內容傳送服務之內容供給系統之整體構成圖。

第24圖係數位廣播用系統之整體構成圖。

第25圖係顯示電視機之構成圖之方塊圖。

第26圖係顯示在光碟之記錄媒體進行資訊讀寫之資訊再生/記錄部之構成例之方塊圖。

第27圖係顯示光碟之記錄媒體之構造例之圖。

第28A圖係顯示行動電話機之一例之圖。

第28B圖係顯示行動電話機之構成例之方塊圖。

第29圖係顯示多工資料之構成之圖。

第30圖係模式地顯示各串流在多工資料中如何被多工之圖。

第31圖係更詳細地顯示視訊流如何儲存在PES封包列之圖。

第32圖係顯示多工資料中之TS封包及原始封包之構造之圖。

第33圖係顯示PMT之資料構成之圖。

第34圖係顯示多工資料資訊之內部構成之圖。

第35圖係顯示串流屬性資訊之內部構成之圖。

第36圖係顯示識別影像資料之步驟之圖。

第37圖係顯示實現各實施形態之動態圖像編碼方式及動態圖像解碼方法之積體電路之構成例之方塊圖。

第38圖係顯示切換驅動頻率之構成之圖。

第39圖係顯示識別影像資料且切換驅動頻率之步驟之圖。

第40圖係顯示影像資料之規格與驅動頻率相對應之查找表之一例之圖。

第41A圖係顯示使訊號處理部之模組共有之構成之一例之圖。

第41B圖係顯示使訊號處理部之模組共有之構成之另一例之圖。

S401~S405‧‧‧步驟

Claims (19)

1. 一種再生方法，是用以再生多工資料，該多工資料已被調變且包含有聲音資料與影像資料，該再生方法具有以下步驟：接收步驟，係接收前述已被調變的多工資料；解調步驟，係解調前述已被調變的多工資料；多工分離步驟，藉由多工分離已被調變的多工資料來取得編碼動態圖像位元流；解析步驟，係藉解析前述編碼動態圖像位元流，取得2種以上尺寸之多數區塊中對象區塊之殘餘資料者；內預測步驟，係對前述對象區塊進行內預測，算出前述對象區塊之預測樣本值者；及再構築樣本算出步驟，係將前述殘餘資料與前述預測樣本值相加，算出前述對象區塊之再構築樣本者；在前述內預測步驟中，判斷位於前述對象區塊之正上方及正左方中之一方的多數參考樣本每一者之有效性，且於前述多數參考樣本同時包括有效的參考樣本及無效的參考樣本時，使用該有效的參考樣本進行前述內預測，將業經內預測之參考樣本判斷為有效的參考樣本，且將業經間預測之參考樣本判斷為無效的參考樣本。
2. 如申請專利範圍第1項之再生方法，其中在前述解析步驟中，進而藉解析前述編碼動態圖像位元流，來決定內預測方法， 前述內預測步驟更含有：參考樣本算出步驟，係使用一個以上之前述有效的參考樣本，算出補完樣本，該補完樣本為位於無效的參考樣本之位置之參考樣本；及預測樣本算出步驟，係按照前述內預測方法，使用前述有效的參考樣本及前述補完樣本，算出前述對象區塊之前述預測樣本者。
3. 如申請專利範圍第2項之再生方法，其中前述參考樣本算出步驟含有：選擇一個前述有效的參考樣本作為選擇樣本之樣本選擇步驟；及將前述選擇樣本之值作為前述補完樣本之值之步驟。
4. 如申請專利範圍第3項之再生方法，其中前述樣本選擇步驟含有以下步驟，即：識別在全部的參考樣本位置中從左下方參考樣本位置開始到右上方參考樣本位置為止之方向的探索所找到之最初的有效的參考樣本之位置，作為開始參考樣本位置；在與前述探索相同之樣本順序中，判斷前述無效的參考樣本之位置位於前述開始參考樣本位置之前或之後者；當前述無效的參考樣本之位置位於前述開始參考樣本位置之前時，選擇前述開始參考樣本位置之樣本作為 前述選擇樣本；及當前述無效的參考樣本之位置位於前述開始參考樣本位置之後時，按照與前述探索相同之樣本順序，選擇位於前述無效的參考樣本位置之前且最接近該無效的參考樣本位置之有效的參考樣本作為前述選擇樣本。
5. 如申請專利範圍第2項之再生方法，其中前述參考樣本算出步驟含有以下步驟，即：選擇多數前述有效的參考樣本作為多數選擇樣本；對前述多數選擇樣本之值乘上事前訂定之定標係數，算出多數標度值；算出第1總和值，該第1總和值為前述多數標度值之總和；算出第2總和值，該第2總和值為前述第1總合值與事前訂定之偏移值之和；及將前述第2總和值以事前訂定之移階值下移，算出前述補完樣本之值。
6. 如申請專利範圍第1項之再生方法，其中前述內預測為內DC預測。
7. 如申請專利範圍第6項之再生方法，其中前述內預測步驟含有以下步驟，即：選擇一個以上之前述有效的參考樣本作為選擇樣本；界定前述選擇樣本之數量；利用查找表，且按照前述選擇樣本的數量，選擇定 標係數、偏移值及移階值；算出第1總和值，該第1總和值為前述選擇樣本之值的總和；對前述第1總和值乘上前述所選擇之定標係數，算出標度值；算出第2總和值，該第2總和值為前述所選擇之偏移值與前述標度值之和；及以前述所選擇之移階值而將前述第2總和值下移，產生前述對象區塊全部之預測樣本值。
8. 如申請專利範圍第6項之再生方法，其中在前述內預測步驟中，更包括將事前訂定之值作為前述對象區塊全部之預測樣本值之情況。
9. 如申請專利範圍第1項之再生方法，其中在前述解析步驟中，更取得業已編碼在前述編碼動態圖像位元流之標頭內之選擇資訊，前述選擇資訊係顯示(1)具約束之內預測方式及(2)非具約束之內預測方式中之一者，前述具約束之內預測方式為前述內預測者，前述非具約束之內預測方式為不判斷前述多數參考樣本之有效性，利用全部的參考樣本，進行內預測者，在前述內預測步驟中，利用以前述選擇資訊所示之前述具約束之內預測方式及前述非具約束之內預測方式中之一者進行內預測。
10. 如申請專利範圍第1項之再生方法，其中在前述內預測步驟中，將對象圖片以外之參考樣本判斷為無效的之參 考樣本。
11. 如申請專利範圍第1項之再生方法，其中在前述內預測步驟中，將不包括在與前述對象區塊相同之圖片分割單位之參考樣本判斷為無效的參考樣本。
12. 如申請專利範圍第11項之再生方法，其中前述圖片分割單位為切片。
13. 如申請專利範圍第11項之再生方法，其中前述圖片分割單位為輕型切片。
14. 如申請專利範圍第11項之再生方法，其中前述圖片分割單位為方塊(tile)。
15. 如申請專利範圍第11項之再生方法，其中前述圖片分割單位為波前平行處理單元(WPP；Wavefront Parallel Processing unit)。
16. 一種動態圖像編碼方法，其包含有：分割步驟，係將原圖像分割成2種以上尺寸之多數區塊者；內預測步驟，係對前述多數區塊中對象區塊進行內預測，算出預測樣本值；殘餘資料算出步驟，係算出作為前述對象區塊之原圖像與前述預測樣本值之差值之殘餘資料者；編碼步驟，係將前述殘餘資料編碼，產生編碼動態圖像位元流者；及多工步驟，多工前述編碼動態圖像位元流與聲音流而取得多工資料； 調變步驟，調變前述多工資料；及輸出步驟，輸出前述已被調變的多工資料，且，在前述內預測步驟中，判斷位於前述對象區塊之正上方及正左方中之一方之多數參考樣本每一者之有效性，且於前述多數參考樣本同時包括有效的參考樣本及無效的參考樣本時，使用該有效的參考樣本進行前述內預測，將業經內預測之參考樣本判斷為有效的參考樣本，且將業經間預測之參考樣本判斷為無效的參考樣本。
17. 一種再生裝置，是用以再生多工資料，該多工資料已被調變且包含聲音資料與影像資料，該再生裝置具有：接收部，係接收前述已被調變的多工資料；解調部，係解調前述已被調變的多工資料；多工分離部，藉由多工分離已被解調的多工資料，取得編碼動態圖像位元流；解析部，係藉解析前述編碼動態圖像位元流，在2種以上尺寸之多數區塊中取得對象區塊之殘餘資料者；內預測部，係對前述對象區塊進行內預測，算出前述對象區塊之預測樣本值者；及再構築樣本算出部，係將前述殘餘資料與前述預測樣本值相加，算出前述對象區塊之再構築樣本者；前述內預測部係，判斷位於前述對象區塊之正上方及正左方中之一方的多數參考樣本每一者之有效性，且於前述多數參考樣 本同時包括有效的參考樣本及無效的參考樣本時，使用該有效的參考樣本進行前述內預測，將業經內預測之參考樣本判斷為有效的參考樣本，且將業經間預測之參考樣本判斷為無效的參考樣本。
18. 一種動態圖像編碼裝置，其特徵係於包含有：分割部，係將原圖像分割成2種以上尺寸之多數區塊者；內預測部，係對前述多數區塊中對象區塊進行內預測，算出預測樣本值者；殘餘資料算出部，係算出殘餘資料者，該殘餘資料為前述對象區塊之原圖像與前述預測樣本值之差值；編碼部，係將前述殘餘資料編碼，產生編碼動態圖像位元流者；及多工部，多工前述編碼動態圖像位元流與聲音流而得到多工資料；調變部，調變前述多工資料；及輸出部，輸出已被調變的多工資料，前述內預測部係，判斷位於前述對象區塊之正上方及正左方中之一方之多數參考樣本每一者之有效性，且於前述多數參考樣本同時包括有效的參考樣本及無效的參考樣本時，使用該有效的參考樣本進行前述內預測，將業經內預測之參考樣本判斷為有效的參考樣本，且將業經間預測之參考樣本判斷為無效的參考樣本。
19. 一種動態圖像編碼解碼裝置，其特徵係於包含有如申請專利範圍第18項之動態圖像編碼裝置、及如申請專利範圍第17項之再生裝置。