TWI569628B

TWI569628B - A decoding method, a coding method, a decoding device, an encoding device, a program product and an integrated circuit

Info

Publication number: TWI569628B
Application number: TW100135258A
Authority: TW
Inventors: Hisao Sasai; Takahiro Nishi; Youji Shibahara; Chong Soon Lim; Viktor Wahadaniah; Xuan Jing; Sue Mon Thet Naing
Original assignee: Sun Patent Trust
Priority date: 2010-09-30
Filing date: 2011-09-29
Publication date: 2017-02-01
Also published as: EP3125562B1; US10616579B2; WO2012042890A1; BR112013004112A2; US10038905B2; JPWO2012042890A1; KR20190026984A; JP2019030023A; JP2022097644A; EP2624560B1; EP2624560A1; CN103125117B; US20200195928A1; US20180309993A1; US20170295371A1; KR102073304B1; CN107071429A; KR101959091B1; US20220201303A1; JP2021132407A

Description

解碼方法、編碼方法、解碼裝置、編碼裝置、程式產品及積體電路

發明領域

本發明係關於將多媒體資料所包含的圖像或動態圖像進行編碼的圖像編碼方法、及將經編碼的圖像或動態圖像進行解碼的圖像解碼方法等。

發明背景

在MPEG-1、MPEG-2、MPEG-4或MPEG-4 AVC等動態圖像壓縮規格中，通常經壓縮的圖片係被分割為被稱為巨集區塊的矩形單位。巨集區塊通常被定義為屬於複數個圖像試樣的二次元區塊。該複數個圖像試樣係相對亮度試樣，由寬幅16像素及高度16像素所構成。巨集區塊的壓縮率係在巨集區塊的各個中，藉由量化尺度參數進行控制。該量化尺度參數係決定對所有頻率係數所適用的量化的等級。該量化尺度參數通常依編碼順序作為與瞬前的巨集區塊的量化尺度參數的差分值進行編碼，而被儲存在經壓縮的巨集區塊的標頭。

例如在藉由MPEG規格團體所致之高效率動態圖像編碼(HEVC)規格等開發中的新穎動態圖像規格中，係藉由將圖片分割為較大的單位，可提升壓縮動態圖像的編碼效率已被提出(參照例如非專利文獻1)。亦即，可將圖片分割為編碼單位(CU：Coding Unit)，且可將該編碼單位形成為大於巨集區塊的尺寸。例如編碼單位係相對亮度試樣由128×128像素所構成，比巨集區塊大64倍。

此外，為達成編碼效率的提升，可將較大的編碼單位分割為更小的單位(子編碼單位)。編碼單位或子編碼單位係具有3個主成分。該等主成分為編碼單位標頭、預測單位(PU：Prediction Unit)及轉換單位(TU：Transform Unit)。

第1圖係顯示具有編碼單位之經壓縮的圖片的構成圖。

如該第1圖所示，圖片D100係由標頭(以下稱為圖片標頭)與主體所構成。圖片標頭係包含圖片相關參數(圖片參數)，主體係包含圖片的複數個壓縮試樣。此外，主體係由編碼單位D102、D104等複數個編碼單位所構成，該等編碼單位之中的幾個係被分割為子編碼單位。例如，編碼單位D102係被分割為複數個子編碼單位D106，此外，子編碼單位D106係被分割為更小的複數個子編碼單位D108。編碼單位D104或子編碼單位D108係具有3個主成分。具體而言，編碼單位D104係具有編碼單位標頭D116、預測單位D118及轉換單位D120作為3個主成分。子編碼單位D108係具有子編碼單位標頭D110、預測單位D112及轉換單位D114作為3個主成分。如第1圖所示，轉換單位D120係被分割為複數個較小的子轉換單位D122，子轉換單位D122係被分割為複數個更小的子轉換單位D124。最小的轉換單位(子轉換單位)D114、D124係具有區塊經量化的係數，在該等經量化的係數的反量化，係必須要有量化尺度參數。

先前技術文獻非專利文獻

非專利文獻1“Test Model under Consideration”Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,2nd Meeting: Geneva,CH,21-28 July,2010,Document: JCTVC-B205

但是，在上述非專利文獻1之圖像解碼方法及圖像編碼方法中，係有無法達成兼顧畫質提升及編碼效率提升的問題。亦即，解碼或解碼化所需之量化尺度參數等參數係被儲存在圖片標頭，俾以對圖片D100之主體全體適用該參數。結果，無法按照子編碼單位、預測單位、子預測單位、轉換單位、或子轉換單位等每個較小的處理單位調整畫質。此外，若以經常按照每個最小處理單位適用參數的方式在各處理單位儲存參數，則碼量會變多。

因此，本發明係鑑於該問題而研創者，目的在提供可兼顧畫質提升及編碼效率提升的圖像解碼方法及圖像編碼方法。

為達成上述目的，本發明之一態樣之圖像解碼方法係將藉由編碼動態圖像所生成之包含複數個處理單位、及對前述複數個處理單位的標頭的編碼串流進行解碼者，其中前述複數個處理單位之中至少1個處理單位係階層化以分割為複數個更小的處理單位，前述圖像解碼方法係藉由解析儲存在前述標頭的階層深度資訊，來特定具有儲存有解碼所需參數的處理單位的階層，並使用儲存在位於所被特定的階層的前述處理單位的前述參數，將前述處理單位進行解碼。

藉此，若使處理單位階層化，而在位於下位的階層的較小的處理單位儲存有參數時，可適用依每個較小處理單位而異的參數而將該等處理單位進行解碼。結果，可使畫質提升。此外，藉由將階層深度資訊進行解析來特定具有儲存有解碼所需參數的處理單位的階層，因此該階層並非侷限於最下位的階層，而可設定為任意階層。因此，相較於按每個位於最下位的階層的最小處理單位儲存有參數的情形，可抑制編碼串流所包含的所有參數的碼量，而可提升編碼效率。藉此，可達成兼顧畫質提升及編碼效率提升。此外，藉由將階層深度資訊進行解析，由於特定具有儲存有參數的處理單位的階層，因此可減輕檢索儲存有參數的處理單位的處理負擔。

此外，亦可前述編碼串流係藉由伴隨正交轉換及量化的編碼所生成，前述處理單位係以處理單位由上位朝向下位變得更小的方式進行階層化，在最上位的階層係有編碼單位作為最大的處理單位，在比前述最上位的階層為更深的下位的階層係有轉換單位作為比前述編碼單位為更小的處理單位，前述參數係被適用在前述轉換單位的量化參數，前述階層深度資訊係表示比前述最上位的階層為更深的下位的階層，當特定具有儲存有前述量化參數的處理單位的階層時，特定藉由前述階層深度資訊所示之階層、或比該階層更為上位的階層且為前述最上位的階層以外的階層。

藉此，可達成兼顧藉由量化參數所為之量化中的畫質的提升、及量化參數中的編碼效率的提升。

此外，亦可前述標頭係對由前述複數個處理單位所構成的圖片的圖片標頭，前述階層深度資訊係被儲存在前述圖片標頭。

藉此，可將具有儲存有解碼所需參數的處理單位的階層對圖片全體特定為共通階層。

此外，亦可當將前述處理單位進行解碼時，在前述處理單位內，使用被配置在藉由前述正交轉換及量化所生成的轉換係數之後的前述量化參數。

藉此，由於僅在具有轉換係數的情形下儲存有量化參數，因此在未具有轉換係數時，並未儲存有量化參數，可達成編碼效率提升。

此外，為達成上述目的，本發明之一態樣之圖像編碼方法係藉由將動態圖像進行編碼，生成包含複數個處理單位、及對前述複數個處理單位的標頭的編碼串流的圖像編碼方法，其中前述複數個處理單位之中至少1個處理單位係以被分割為複數個更小的處理單位的方式進行階層化，前述圖像編碼方法係將前述動態圖像進行編碼，將用以特定具有儲存有解碼所需參數的處理單位的階層的階層深度資訊寫入在前述標頭，在位於藉由前述階層深度資訊所特定的階層的前述處理單位寫入前述參數。

藉此，在處理單位進行階層化時，可寫入依每個位於下位的階層的較小處理單位而異的參數。結果，在圖像解碼裝置中，係可適用依每個較小的處理單位而異的參數而將該等處理單位進行解碼，結果可使畫質提升。此外，用以特定具有儲存有解碼所需參數的處理單位的階層的階層深度資訊被寫入在標頭，藉此可對圖像解碼裝置通知該階層。因此，無須將該階層限定為最下位的階層，而可設定為任意階層。因此，相較於按每個位於最下位的階層的最小處理單位儲存有參數的情形，可抑制編碼串流所包含的所有參數的碼量，而可提升編碼效率。藉此，可達成兼顧畫質提升及編碼效率提升。

此外，亦可在將前述動態圖像進行編碼時，對前述動態圖像進行正交轉換及量化，前述處理單位係以處理單位由上位朝向下位變得更小的方式進行階層化，在最上位的階層係有編碼單位作為最大的處理單位，在比前述最上位的階層為更深的下位的階層係有轉換單位作為比前述編碼單位為更小的處理單位，前述參數係被適用在前述轉換單位的量化參數，前述階層深度資訊係表示比前述最上位的階層為更為下位的階層，在寫入前述量化參數時，在位於藉由前述階層深度資訊所示之階層、或比該階層為更為上位的階層且為前述最上位的階層以外的階層的處理單位寫入前述參數。

此外，亦可前述標頭係對由前述複數個處理單位所構成的圖片的圖片標頭，在寫入前述階層深度資訊時，係將前述階層深度資訊寫入在前述圖片標頭。

藉此，可將具有儲存有解碼所需參數的處理單位的階層對圖片全體共通設定。

此外，亦可在寫入前述量化參數時，係在前述處理單位內，在藉由前述正交轉換及量化所生成的變化係數之後寫入前述量化參數。

藉此，可僅在具有轉換係數的情形下寫入量化參數，可達成編碼效率提升。

其中，本發明不僅可實現為如上所示之圖像解碼方法及圖像編碼方法，亦可實現為藉由該等方法將圖像進行解碼或編碼的裝置、積體電路、藉由該等方法將圖像進行解碼或編碼的程式、儲存該程式的記錄媒體。

本發明之圖像解碼方法及圖像編碼方法係可達成兼顧畫質提升及編碼效率提升。

圖式簡單說明

第1圖係顯示習知的編碼串流的構成圖。

第2圖係顯示本發明之實施形態1中的圖像編碼裝置的構成的區塊圖。

第3圖係顯示本發明之實施形態1中的圖像解碼裝置的構成的區塊圖。

第4圖係用以說明多階層區塊構造的說明圖。

第5圖係顯示藉由TMuC的軟體所生成的編碼串流的構成圖。

第6A圖係顯示本發明之實施形態1中的編碼串流的構成圖。

第6B圖係顯示本發明之實施形態1中的編碼串流的構成圖。

第6C圖係顯示本發明之實施形態1中的編碼串流的構成圖。

第7圖係顯示本發明之實施形態1中的其他編碼串流的構成圖。

第8A圖係顯示本發明之實施形態1中的另外其他編碼串流的構成圖。

第8B圖係顯示本發明之實施形態1中的另外其他編碼串流的構成圖。

第9A圖係顯示本發明之實施形態1中的Max_quantization_unit_hierarchy_depth的儲存位置的圖。

第9B圖係顯示本發明之實施形態1中的Max_quantization_unit_hierarchy_depth的儲存位置的圖。

第10A圖係顯示本發明之實施形態1中的Δ量化尺度參數的圖。

第10B圖係顯示本發明之實施形態1中的量化死區偏移參數的圖。

第10C圖係顯示本發明之實施形態1中的指數的圖。

第10D圖係顯示本發明之實施形態1中的量化偏移參數的圖。

第11圖係顯示藉由本發明之實施形態1中的圖像解碼裝置所為之ΔQP之解碼的流程圖。

第12圖係顯示藉由本發明之實施形態1中的圖像解碼裝置所為之QP之算出的流程圖。

第13圖係顯示本發明之實施形態1中的第1變形例之圖像解碼裝置所為之解碼的流程圖。

第14圖係顯示本發明之實施形態1中的第1變形例之圖像編碼裝置所為之編碼的流程圖。

第15A圖係顯示本發明之實施形態1中的第2變形例之圖像解碼裝置所為之解碼的流程圖。

第15B圖係顯示本發明之實施形態1中的第2變形例之圖像解碼裝置所為之解碼的流程圖。

第16A圖係顯示本發明之實施形態1中的第2變形例之圖像編碼裝置所為之編碼的流程圖。

第16B圖係顯示本發明之實施形態1中的第2變形例之圖像編碼裝置所為之編碼的流程圖。

第17A圖係顯示本發明之圖像解碼方法的流程圖。

第17B圖係顯示本發明之圖像編碼方法的流程圖。

第18A圖係顯示本發明之實施形態1中的序列標頭的語法的圖。

第18B圖係顯示本發明之實施形態1中的圖片標頭的語法的圖。

第18C圖係顯示本發明之實施形態1中的切片標頭的語法的圖。

第19A圖係顯示本發明之實施形態1中的編碼單位(CU)的語法的圖。

第19B圖係顯示本發明之實施形態1中的預測單位(PU)的語法的圖。

第19C圖係顯示本發明之實施形態1中的轉換單位(TU)的語法的圖。

第20圖係顯示實現內容配訊服務的內容供給系統的全體構成圖。

第21圖係顯示數位廣播用系統的全體構成圖。

第22圖係顯示電視的構成例的區塊圖。

第23圖係顯示在光碟之記錄媒體進行資訊讀寫的資訊再生/記錄部的構成例的區塊圖。

第24圖係顯示光碟的記錄媒體的構造例圖。

第25A圖係顯示行動電話之一例圖。

第25B圖係顯示行動電話的構成例的區塊圖。

第26圖係顯示多工化資料的構成圖。

第27圖係以模式顯示各串流在多工化資料中如何被多工化的圖。

第28圖係更加詳細顯示在PES封包列如何儲存視訊串流的圖。

第29圖係顯示多工化資料中的TS封包與來源封包的構造圖。

第30圖係顯示PMT的資料構成圖。

第31圖係顯示多工化資料資訊的內部構成圖。

第32圖係顯示串流屬性資訊的內部構成圖。

第33圖係顯示識別影像資料的步驟的圖。

第34圖係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法的積體電路的構成例的區塊圖。

第35圖係顯示切換驅動頻率的構成圖。

第36圖係顯示識別影像資料來切換驅動頻率的步驟圖。

第37圖係顯示使影像資料的規格與驅動頻率產生對應的查對表之一例圖。

第38A圖係顯示將訊號處理部之模組共有化的構成之一例圖。

第38B圖係顯示將訊號處理部之模組共有化的構成之其他例圖。

用以實施發明之形態

以下使用圖示，說明本發明之實施形態。

(實施形態1)

第2圖係顯示本實施形態中的圖像編碼裝置的構成的區塊圖。

圖像編碼裝置1000係具備有編碼處理部1100、及編碼控制部1200。

編碼處理部1100係藉由按每個區塊將動態圖像進行編碼而生成編碼串流。如上所示之編碼處理部1100係具備有：減算器1101、正交轉換部1102、量化部1103、熵編碼部1104、反量化部1105、反正交轉換部1106、加算器1107、解塊濾波器1108、記憶體1109、面內預測部1110、動態補償部1111、動態檢測部1112、及開關1113。

減算器1101係取得動態圖像，並且由開關1113取得預測圖像。接著，減算器1101係藉由由該動態圖像所包含的編碼對象區塊減算預測圖像來生成差分圖像。

正交轉換部1102係對藉由減算器1101所生成的差分圖像進行例如離散餘弦轉換等正交轉換，藉此將該差分圖像轉換成由複數個頻率係數所構成的係數區塊。量化部1103係藉由將該係數區塊所包含的各頻率係數進行量化，而生成經量化的係數區塊。

熵編碼部1104係藉由將藉由量化部1103所被量化的係數區塊、及藉由動態檢測部1112所被檢測到的動態向量進行熵編碼(可變長度編碼)而生成編碼串流。

反量化部1105係將藉由量化部1103所被量化的係數區塊進行反量化。反正交轉換部1106係對該經反量化的係數區塊所包含的各頻率係數進行反離散餘弦轉換等反正交轉換而生成解碼差分圖像。

加算器1107係由開關1113取得預測圖像，藉由將該預測圖像、及藉由反正交轉換部1106所生成的解碼差分圖像進行加算而生成局部解碼圖像。

解塊濾波器1108係將藉由加算器1107所生成的局部解碼圖像的區塊失真去除，且將該局部解碼圖像儲存在記憶體1109。

面內預測部1110係使用藉由加算器1107所生成的局部解碼圖像，對編碼對象區塊進行面內預測，藉此生成預測圖像。

動態檢測部1112係對動態圖像所包含的編碼對象區塊檢測動態向量，將該經檢測到的動態向量輸出至動態補償部1111與熵編碼部1104。

動態補償部1111係將被儲存在記憶體1109的圖像作為參照圖像而進行參照，並且使用藉由動態檢測部1112所檢測到的動態向量，藉此對編碼對象區塊進行動態補償。動態補償部1111係藉由如上所示之動態補償，生成對編碼對象區塊的預測圖像。

開關1113係當編碼對象區塊進行面內預測編碼時，將藉由面內預測部1110所生成的預測圖像輸出至減算器1101及加算器1107。另一方面，開關1113係當編碼對象區塊進行畫面間預測編碼時，將藉由動態補償部1111所生成的預測圖像輸出至減算器1101及加算器1107。

編碼控制部1200係控制編碼處理部1100。具體而言，編碼控制部1200係決定供儲存量化參數的處理單位、及用以特定具有該處理單位之場所的階層深度資訊。量化參數係藉由量化部1103所為之量化及藉由反量化部1105所為之反量化所使用的參數。本實施形態中的處理單位被階層化，任何階層的處理單位相當於上述區塊。階層深度資訊係用以特定例如具有儲存有量化參數的處理單位的階層的參數。編碼控制部1200係對熵編碼部1104，以將量化參數儲存在上述所決定的處理單位的方式進行指示，並且以將階層深度資訊儲存在編碼串流之標頭(例如序列標頭或圖片標頭)的方式進行指示。

第3圖係顯示本實施形態中的圖像解碼裝置的構成的區塊圖。

圖像解碼裝置2000係具備有：解碼處理部2100、及解碼控制部2200。

解碼處理部2100係藉由按每個區塊將編碼串流進行解碼，而生成解碼圖像。如上所示之解碼處理部2100係具備有：熵解碼部2101、反量化部2102、反正交轉換部2103、加算器2104、解塊濾波器2105、記憶體2106、面內預測部2107、動態補償部2108、及開關2109。

熵解碼部2101係取得編碼串流，且將該編碼串流進行熵解碼(可變長度解碼)。

反量化部2102係將藉由熵解碼部2101所為之熵解碼所生成之經量化的係數區塊進行反量化。反正交轉換部2103係對該經反量化的係數區塊所包含的各頻率係數進行反離散餘弦轉換等反正交轉換，藉此生成解碼差分圖像。

加算器2104係由開關2109取得預測圖像，藉由將該預測圖像、及藉由反正交轉換部2103所生成的解碼差分圖像進行加算而生成解碼圖像。

解塊濾波器2105係將藉由加算器2104所生成的解碼圖像的區塊失真去除，且將該解碼圖像儲存在記憶體2106，並且輸出該解碼圖像。

面內預測部1110係使用藉由加算器2104所生成的解碼圖像，對解碼對象區塊進行面內預測，藉此生成預測圖像。

動態補償部2108係將被儲存在記憶體2106的圖像作為參照圖像而進行參照，並且使用藉由熵解碼部2101所為之熵解碼所生成的動態向量，藉此對解碼對象區塊進行動態補償。動態補償部2108係藉由如上所示之動態補償而生成對解碼對象區塊的預測圖像。

開關2109係當解碼對象區塊進行面內預測編碼時，將藉由面內預測部2107所生成的預測圖像輸出至加算器2104。另一方面，開關2109係當解碼對象區塊進行畫面間預測編碼時，將藉由動態補償部2108所生成的預測圖像輸出至加算器2104。

解碼控制部2200係控制解碼處理部2100。具體而言，解碼控制部2200係根據藉由熵解碼部2101所為之熵解碼的結果，將被儲存在編碼串流之標頭(例如序列標頭或圖片標頭)的階層深度資訊進行解析。接著，解碼控制部2200係根據該階層深度資訊，特定儲存有量化參數的處理單位的階層，將位於該階層的處理單位所包含的量化參數進行解析。解碼控制部2200係對反量化部2102指示使用該經解析的量化參數的反量化。

第4圖係用以說明經階層化的處理單位(多階層區塊構造)的說明圖。

編碼處理部1100係按每個處理單位將動態圖像進行編碼，解碼處理部2100係按每個處理單位將編碼串流進行解碼。該處理單位係以被分割為複數個較小的處理單位，該較小的處理單位被分割為複數個更小的處理單位的方式進行階層化。其中，處理單位愈小，具有該處理單位的階層愈深，愈位於下位，表示該階層的值愈大。相反地，處理單位愈大，具有該處理單位的階層愈淺，愈位於上位，表示該階層的值愈小。

在處理單位係有編碼單位(CU)與預測單位(PU)與轉換單位(TU)。CU係由最大128×128像素所構成的區塊，相當於習知的巨集區塊的單位。PU為畫面間預測的基本單位。TU係正交轉換的基本單位，該TU的尺寸係與PU相同，或比PU小一階層的尺寸。CU係被分割為例如4個子CU，其中的1個子CU係包含與該子CU為相同尺寸的PU及TU(此時，PU與TU係處於彼此相重疊的狀態)。例如，該PU係更加被分割為4個子PU，TU亦更加被分割為4個子TU。其中，若處理單位被分割為複數個較小的處理單位時，將該較小的處理單位稱為子處理單位。例如，若處理單位為CU時，子處理單位為子CU，若處理單位為PU時，子處理單位為子PU，若處理單位為TU時，子處理單位為子TU。

具體而言，如以下所示。

圖片係被分割為切片(slice)。切片為最大編碼單位的序列。最大編碼單位的位置係藉由最大編碼單位位址1cuAddr來表示。

包含最大編碼單位的各自的編碼單位係被分割為4個編碼單位。結果，構成編碼單位的大小的四分樹分割。編碼單位的位置係藉由以最大編碼單位的左上端的試樣(像素或係數)為起點的編碼單位指數cuIdx來表示。

在編碼單位的分割未被許可時，該編碼單位係作為預測單位來處理。與編碼單位同樣地，預測單位的位置係藉由以最大編碼單位的左上端的試樣為起點的預測單位指數puIdx來表示。

預測單位亦可包含複數個區間(partition)(預測單位區間或子PU)。預測單位區間係藉由以預測單位的左上端的試樣為起點的預測單位區間指數puPartIdx來表示。

預測單位亦可包含複數個轉換單位。與編碼單位同樣地，轉換單位亦可被分割為4個較小尺寸的轉換單位(子轉換單位)。此係許可殘差訊號的四分樹分割。轉換單位的位置係藉由以預測單位的左上端的試樣為起點的轉換單位指數tuIdx來表示。

在此，各處理單位的定義如以下所示。

CTB(coding tree block)：用以特定正方形區域的四分樹分割的基本單位。CTB係具有正方形的多樣尺寸。

LCTB(largest coding tree block)：在切片中所被許可的最大尺寸的CTB。切片係由不會重複的複數個LCTB所構成。

SCTB(smallest coding tree block)：在切片中所被許可的最小尺寸的CTB。將SCTB分割為更小的CTB並未被許可。

PU(prediction unit)：用以特定預測處理的基本單位。PU的尺寸係與未許可分割的CU的尺寸相同。在CU中，將CU分割為4個正方形區域為被許可，相對於此，在PU中，係可將PU分割為任意形狀的複數個區間。

TU(transform unit)：用以特定轉換及量化的基本單位。

CU(coding unit)：與CTB相同。

LCU(largest coding unit)：與最大的CTB相同。

SCU(smallest coding unit)：與最小的CTB相同。

此外，量化參數係包含Δ量化尺度參數(delta QP或QP delta)、量化偏移參數、指數(Qmatrix select idc)及量化死區偏移參數之中的至少1個。其中，指數係用以由複數個量化尺度矩陣中選擇1個者。

Δ量化尺度參數(delta QP or QP delta)係應適用於轉換係數的量化尺度參數、與以序列標頭或切片標頭所指定的量化尺度參數(或者以Z掃描順序為瞬前的量化尺度參數)的差分。

量化偏移參數亦被稱為量化偏移，係進行量化時的訊號的修整方式的調整值(偏移值)。因此，圖像編碼裝置1000係在進行量化時，將該量化偏移進行編碼，圖像解碼裝置2000係將該經編碼的量化偏移進行解碼。接著，圖像解碼裝置2000係當將轉換係數進行反量化時，進行使用該量化偏移的補正。

指數(Qmatrix select idc)亦被稱為適應量化矩陣，係表示由複數個量化縮放(scaling)矩陣使用哪個量化縮放矩陣的指數。此外，Qmatrix select idc係在僅有1個量化縮放矩陣時，表示是否使用該量化縮放矩陣。其中，適應用量化矩陣係可以區塊單位(處理單位)來進行控制。

量化死區偏移參數亦被稱為適應死區，係用以按照每個區塊來將死區作適應性變更的控制資訊。死區係頻率係數藉由量化而成為0的寬幅(在量化後成為+1或-1之瞬前的寬幅)。

第5圖係顯示藉由TMuC的軟體所生成的編碼串流的構成圖。

在藉由Test Model Under Consideration(TMuC)的軟體所生成的編碼串流中，ΔQP係被儲存在LCU。亦即，在該編碼串流中，對於屬於較大處理單位的LCU所包含的所有係數，適用ΔQP等相同的量化參數。結果，無法對圖像細部調整量化參數，畫質會降低。

因此，在藉由本實施形態之圖像編碼裝置1000所生成，且藉由圖像解碼裝置2000進行解碼的編碼串流中，係在位於比LCU為更深之下位階層的處理單位儲存量化參數。

第6A圖、第6B圖及第6C圖係顯示本實施形態中的編碼串流的構成圖。

如第6A圖所示，在本實施形態中的編碼串流中，LCU被分割為4個子CU，按每個子CU，適用於該子CU的ΔQP被儲存在該子CU。亦即，若LCU為第1階層，在離LCU為第2階層的下位的CU儲存ΔQP。此外，在子CU內，ΔQP係被配置在該子CU所包含的所有轉換係數之後。

此外，在本實施形態中的編碼串流中，表示儲存有ΔQP的最下位的處理單位的階層的階層深度資訊(Max_quantization_unit_hierarchy_depth)被儲存在序列標頭。例如Max_quantization_unit_hierarchy_depth=2。

圖像編碼裝置1000係生成如上所示之編碼串流且進行輸出。另一方面，圖像解碼裝置2000係藉由將被儲存在編碼串流之序列標頭的階層深度資訊(Max_quantization_unit_hierarchy_depth)進行解析，特定儲存有ΔQP的處理單位(位於第2階層的子CU)，將被儲存在該處理單位的ΔQP進行解析。接著，圖像解碼裝置2000係將該ΔQP適用在儲存有該ΔQP的子CU的各轉換係數，藉此進行反量化。

此外，如第6B圖所示，亦可儲存Qmatrix select idc來取代ΔQP。此外，如第6C圖所示，亦可儲存包含ΔQP及Qmatrix select idc等的量化參數。

第7圖係顯示本實施形態中的其他編碼串流的構成圖。

在第6A圖～第6C圖所示之編碼串流中，量化參數係被儲存在位於第2階層的子CU，但是如第7圖所示，亦可在位於更深的第3階層(Max_quantization_unit_hierarchy_depth=3)的子CU或子TU儲存量化參數。

第8A圖及第8B圖係顯示本實施形態中的另外其他編碼串流的構成圖。

在第8A圖所示之編碼串流中，在TU或子TU儲存適用於該TU或子TU的ΔQP。此外，在TU或子TU內，ΔQP係被配置在該TU或子TU所包含的所有轉換係數之後。

此外，如第8B圖所示，ΔQP以外的量化參數、或包含ΔQP及Qmatrix select idc等的量化參數亦可被儲存為量化單元。

第9A圖及第9B圖係顯示Max_quantization_unit_hierarchy_depth的儲存位置圖。

如第9A圖所示，Max_quantization_unit_hierarchy_depth D300係被儲存於序列標頭。或者如第9B圖所示，Max_quantization_unit_hierarchy_depth D302係被儲存於圖片標頭。亦即，圖像編碼裝置1000係將階層深度資訊寫入在相對由複數個處理單位所構成的圖片的圖片標頭。結果，在該圖片標頭儲存階層深度資訊。

第10A圖～第10D圖係用以說明量化參數之種類的說明圖。

如第10A圖～第10D圖所示，在量化參數或量化單元D600係包含有：Δ量化尺度參數D602、量化死區偏移參數D604、指數D606、及量化偏移參數D608之中的至少1個。其中，Δ量化尺度參數D602為ΔQP，指數D606為Qmatrix Select idc(適應量化矩陣)。

第11圖係顯示藉由圖像解碼裝置2000所為之ΔQP之解碼的流程圖。

首先，圖像解碼裝置2000係將被儲存在標頭的階層深度資訊(Max_quantization_unit_hierarchy_depth)進行解碼(步驟S1)，且決定最小量化的處理單位(minimum quantization unit)的尺寸(步驟S2)。接著，圖像解碼裝置2000係判別解碼對象的CU是否為該尺寸(步驟S3)。在此，若判別出解碼對象的CU為minimum quantization unit的尺寸時(步驟S3的Yes)，圖像解碼裝置2000係將被儲存在該CU的ΔQP進行解碼(步驟S4)。另一方面，若判別出解碼對象的CU非為minimum quantization unit的尺寸時(步驟S3的No)，圖像解碼裝置2000係另外判別解碼對象的CU的旗標(split_coding_unit flag)是否為0，而且解碼對象的CU的尺寸是否大於mimimum quantization unit的尺寸(步驟S5)。其中，若上述split_coding_unit flag為0，該旗標表示無法將CU另外進行分割，若split_coding_unit flag為1，該旗標表示可將CU另外進行分割。亦即，圖像解碼裝置2000係在步驟S5中判別是否無法將該解碼對象的CU另外進行分割，而且解碼對象的CU是否位於比藉由階層深度資訊所顯示的階層更為上位。在此，若判別出旗標為0且解碼對象的CU尺寸較大時(步驟S5的Yes)，圖像解碼裝置2000係將被儲存在該解碼對象之CU的ΔQP進行解碼(步驟S6)。

第12圖係顯示藉由圖像解碼裝置2000所為之QP(量化尺度參數)之計算的流程圖。

首先，圖像解碼裝置2000係藉由將經4分割的處理單位中的各TU的coded_block_flag(CBF)相加，來決定對解碼對象的CU所包含的亮度與色差的TU是否被編碼(步驟S11及S12)。其中，在各TU儲存有屬於表示是否有轉換係數的旗標的上述coded_block_flag。在此，若判別出被編碼時(步驟S12的Yes)，圖像解碼裝置2000係將TU所包含的ΔQP進行解碼(步驟S14)。另一方面，若判別出未被編碼時(步驟S12的No)，圖像解碼裝置2000係將ΔQP設定為0(步驟S13)。此外，圖像解碼裝置2000係以Z掃描順序決定瞬前的CU的QP(步驟S15)，而計算出解碼對象的CU的QP(步驟S16)。

如上所示在本實施形態中的圖像編碼裝置1000中，若處理單位被階層化時，可寫入依每個位於下位階層的較小處理單位而異的參數(例如量化參數)。結果，在圖像解碼裝置2000中，可適用依每個較小處理單位而異的參數而將該等處理單位進行解碼，結果，可提升畫質。此外，藉由將用以特定具有儲存有解碼所需參數的處理單位的階層的階層深度資訊寫入在標頭，可對圖像解碼裝置2000通知該階層。因此，可設定為任意階層，而無須將該階層限定為最下位的階層。因此，相較於按每個位於最下位階層的最小處理單位儲存有參數的情形，可抑制編碼串流所包含的所有參數的碼量，而可提升編碼效率。藉此，可達成兼顧畫質提升及編碼效率提升。此外，圖像解碼裝置2000係藉由將階層深度資訊進行解析，來特定具有儲存有參數之處理單位的階層，因此可減輕檢索儲存有參數之處理單位的處理負擔，而且可將藉由圖像編碼裝置1000所生成的編碼串流進行適當解碼。其中，在本實施形態中，係列舉量化參數作為參數之一例，但是參數亦可為任意者。

(變形例1)

第13圖係顯示藉由本實施形態中的第1變形例的圖像解碼裝置2000所為之解碼的流程圖。

圖像解碼裝置2000係首先將被儲存在圖片標頭的階層深度資訊(Max_quantization_unit_hierarchy_depth)進行解析(步驟S700)，且將CU的旗標進行解析(步驟S702)。接著，圖像解碼裝置2000係根據該經解析的旗標，將CU分割為更小的複數個子CU(步驟S704)。接著，圖像解碼裝置2000係決定該子CU的階層(步驟S706)，判別該所決定的階層是否與藉由Max_qantization_unit_hierarchy_depth所表示的階層相一致(步驟S708)。

在此，若判別為相一致時(步驟S708的Yes)，圖像解碼裝置2000係藉由將被儲存在該子CU的量化參數進行解析(步驟S710)，且進行藉由該經解析的量化參數所為之反量化，來對該子CU進行解碼(步驟S712)。

另一方面，若在步驟S708中判別為不相一致時(步驟S708的No)，圖像解碼裝置2000係可根據上述經解析的旗標來判別是否無法將該子CU更加分割為4個更小的子CU(步驟S714)。在此，若判別為無法時(步驟S714的Yes)，圖像解碼裝置2000係對該子CU執行上述步驟S710及S712的處理。另一方面，若判別為可以時(步驟S714的No)，圖像解碼裝置2000係由該等4個更小的子CU之中選擇任1個子CU(步驟S716)，且對該所被選擇的子CU執行步驟S706之後的處理。

第14圖係顯示藉由本實施形態中的第1變形例的圖像編碼裝置1000所為的編碼的流程圖。

圖像編碼裝置1000係首先將階層深度資訊(Max_quantization_unit_hierarchy_depth)寫入在圖片標頭(步驟S800)，決定用以分割CU的最適尺寸(步驟S802)。接著，圖像編碼裝置1000係將用以在該所決定的尺寸的處理單位分割CU的旗標寫入在該CU(步驟S804)。接著，圖像編碼裝置1000係決定編碼對象的處理單位(CU或子CU)的階層(步驟S806)，判別該所決定的階層是否與藉由之前所被寫入的Max_quantization_unit_hierarchy_depth所表示的階層相一致(步驟S808)。

在此，若判別為相一致時(步驟S808的Yes)，圖像編碼裝置1000係將量化參數寫入在該處理單位(CU或子CU)(步驟S810)，進行藉由該所被寫入的量化參數所為之量化，藉此將該處理單位進行編碼(步驟S812)。此外，圖像編碼裝置1000係進行藉由該所被寫入的量化參數所為之反量化，藉此將該經編碼的處理單位進行解碼(步驟S814)。

另一方面，若在步驟S808中判別為不相一致時(步驟S808的No)，圖像編碼裝置1000係根據上述旗標來判別是否無法將該處理單位另外分割為4個更小的子CU(步驟S816)。在此，若判別為無法時(步驟S816的Yes)，圖像編碼裝置1000係對該處理單位執行上述步驟S810之後的處理。另一方面，若判別為可以時(步驟S816的No)，圖像編碼裝置1000係由該等4個更小的子CU之中選擇任1個子CU(步驟S818)，對該經選擇的子CU執行步驟S806之後的處理。

(變形例2)

第15A圖及第15B圖係顯示藉由本實施形態中的第2變形例的圖像解碼裝置2000所為之解碼的流程圖。

圖像解碼裝置2000係首先將被儲存在圖片標頭的階層深度資訊(Max_quantization_unit_hierarchy_depth)進行解析(步驟S900)，且將CU的旗標進行解析(步驟S902)。接著，圖像解碼裝置2000係根據該所被解析的旗標，將CU分割為更小的複數個子CU(步驟S904)。接著，圖像解碼裝置2000係決定該子CU的階層(步驟S906)，判別該所決定的階層是否與藉由Max_quantization_unit_hierarchy_depth所表示的階層為相一致(步驟S908)。

在此，若判別為相一致時(步驟S908的Yes)，圖像解碼裝置2000係將被儲存在該子CU(處理單位)的量化參數進行解析(步驟S910)，進行藉由該所被解析的量化參數所為之反量化，藉此將該子CU(處理單位)進行解碼(步驟S912)。

另一方面，若在步驟S908中判別為不相一致時(步驟S908的No)，圖像解碼裝置2000係根據上述所被解析的旗標，來判別是否無法將該子CU另外分割為4個更小的子CU(步驟S914)。在此若判別為可以時(步驟S914的No)，圖像解碼裝置2000係由該等4個更小的子CU之中選擇任1個子CU(步驟S928)，對該所被選擇的子CU執行步驟S906之後的處理。

另一方面，若在步驟S914中判別為無法時(步驟S914的Yes)，圖像解碼裝置2000係將位於子CU內之TU的轉換分割旗標進行解析(步驟S916)，根據該所被解析的轉換分割旗標，將TU分割為屬於更小處理單位的複數個子TU(步驟S918)。此外，圖像解碼裝置2000係對該子TU決定LCU之後的階層(步驟S920)，判別該所被決定的階層是否與藉由Max_quantization_unit_hierarchy_depth所表示的階層為相一致(步驟S922)。

在此，若判別為相一致時(步驟S922的Yes)，圖像解碼裝置2000係對該子TU執行步驟S910之後的處理。另一方面，若在步驟S922中判別為不相一致時(步驟S922的No)，圖像解碼裝置2000係根據上述所解析的轉換分割旗標，來判別是否無法將該子TU更加分割為4個更小的子TU(步驟S926)。在此若判別為可以時(步驟S926的No)，圖像解碼裝置2000係由該等4個更小的子TU之中選擇任1個子TU(步驟S924)，對該所被選擇的子TU，執行步驟S920之後的處理。另一方面，若判別為無法時(步驟S926的Yes)，圖像解碼裝置2000係執行步驟S910之後的處理。

第16A圖及第16B圖係顯示藉由本實施形態中的第2變形例的圖像編碼裝置1000所為的編碼的流程圖。

圖像編碼裝置1000首先將階層深度資訊(Max_quantization_unit_hierarchy_depth)寫入至圖片標頭(步驟S1000)，以決定用以分割CU的最適尺寸(步驟S1002)。接著，圖像編碼裝置1000係將用以在該所被決定的尺寸的處理單位分割CU的旗標寫入在該CU(步驟S1004)。接著，圖像編碼裝置1000係決定編碼對象的處理單位(CU或子CU)的階層(步驟S1006)，判別該所被決定的階層是否與藉由之前所被寫入的Max_quantization_unit_hierarchy_depth所表示的階層相一致(步驟S1008)。

在此，若判別為相一致時(步驟S1008的Yes)，圖像編碼裝置1000係在該處理單位(CU或子CU)寫入量化參數(步驟S1010)，進行藉由該所被寫入的量化參數所為之量化，藉此將該處理單位進行編碼(步驟S1030)。此外，圖像編碼裝置1000係進行藉由該所被寫入的量化參數所為之反量化，藉此將該經編碼的處理單位進行解碼(步驟S1012)。

另一方面，若在步驟S1008判別為不相一致時(步驟S1008的No)，圖像編碼裝置1000係根據上述旗標來判別是否無法將該處理單位另外分割為4個更小的子CU(步驟S1014)。在此若判別為可以時(步驟S1014的No)，圖像編碼裝置1000係由該等4個更小的子CU之中選擇任1個子CU(步驟S1028)，對該所被選擇的子CU執行步驟S1006之後的處理。

另一方面，若在步驟S1014中判別為無法時(步驟S1014的Yes)，圖像編碼裝置1000係決定用以分割處理單位(CU或子CU)內之TU的最適尺寸(步驟S1016)，將用以在該所被決定的尺寸的處理單位分割TU的旗標(轉換分割旗標)寫入在該TU(步驟S1018)。接著，圖像編碼裝置1000係對編碼對象的處理單位(TU或子TU)決定LCU之後的階層(步驟S1020)，判別該所被決定的階層是否與藉由之前所被寫入的Max_quantization_unit_hierarchy_depth所表示的階層為相一致(步驟S1022)。

在此，若判別為相一致時(步驟S1022的Yes)，圖像編碼裝置1000係對該處理單位(TU或子TU)執行步驟S1010之後的處理(步驟S1010)。另一方面，若在步驟S1022中判別為不相一致時(步驟S1022的No)，圖像編碼裝置1000係根據上述轉換分割旗標來判別是否無法將該處理單位(TU或子TU)另外分割為4個更小的子TU(步驟S1026)。在此若判別為可以時(步驟S1026的No)，圖像編碼裝置1000係由該等4個更小的子TU之中選擇任1個子TU(步驟S1024)，對該所被選擇的子TU執行步驟S1020之後的處理。另一方面，若在步驟S1026中判別為無法時(步驟S1026的Yes)，圖像編碼裝置1000係執行步驟S1010之後的處理。亦即，圖像編碼裝置1000係在該處理單位(TU或子TU)寫入量化參數(步驟S1010)，進行藉由該所被寫入的量化參數所為之量化，藉此將該處理單位進行編碼(步驟S1030)。此外，圖像編碼裝置1000係進行藉由該所被寫入的量化參數所為之反量化，藉此將該經編碼的處理單位進行解碼(步驟S1012)。

在此，本發明中的課題及解決手段亦可如以下所示。

亦即，藉由將圖片分割為較大的編碼單位，可提升編碼效率。但是，若對較大的編碼單位設定量化參數時，由於該編碼單位為較大的尺寸，因此在圖像編碼裝置中，會失去調整圖片尺寸的靈活性。量化參數係包含量化尺度參數、量化偏移參數、及指數之中的至少1個。其中，指數係用以由複數個量化尺度矩陣之中選擇1個量化尺度矩陣者。

例如，在電視會議或防止犯罪攝影機等要求低延遲的視訊機器中，可調整1個圖片的最大尺寸係動態圖像的編碼及解碼化所被要求的重要特徵。藉此，必須以圖片的最小單位調整量化參數。另一方面，在其他視訊機器中，如上所述之特徵並未被要求，藉由減低用以傳送該等量化參數的負擔，可達成編碼效率提升。

在此，編碼單位、預測單位及轉換單位係HEVC規格的基本單位。屬於量化尺度參數的QP係被使用在用以進行差分值(Δ值)之逆縮放處理的參數，以編碼單位的等級進行傳送。在HEVC的TMuC(Test Model Under Consideration)規格中，該Δ量化尺度參數並未被傳送。但是，在軟體中，Δ量化尺度參數係在最大編碼單位的量化的最後被傳送。但是，若屬於預測單位的PU被跳過(skip)時，屬於編碼單位的CU的深度為0，Y區塊、U區塊及V區塊並未被編碼。

亦即，有如以下所示之2個課題(課題1及2)。

課題1：編碼Δ量化尺度參數僅被限制為最大編碼單位的等級。在低延遲或定位元率的視訊機器，或許不易按照每個編碼單位來調整位元。換言之，在TMuC規格及軟體中，對資訊的儲存位置的限制嚴謹，僅可以最大CU單位來傳送量化參數。結果，無法以更小的單位(處理單位)來控制量化參數。

課題2：當屬於轉換單位的TU未被編碼時，並不需要量化參數。但是，以現在的技術來說，僅檢查TU與PU被跳過的情形。由於TU與PU予以分離，因此QPΔ的傳送僅取決於TU。此外，即使在沒有轉換係數(空間區域的圖像予以正交轉換及量化所生成的係數)的情形下，亦必須對該轉換係數傳送不需要的量化參數。結果，表示經編碼的圖像的編碼串流會變得冗長。

為解決上述課題，提供一種按照每個最大編碼單位來傳送量化參數的新穎方法。在該傳送方法中，係在圖像編碼裝置中，為了兼顧區塊較細的速率控制功能性、及較高的編碼效率，可選擇在編碼單位包含量化參數所被傳送的等級。

本發明的新穎之處在於為了資料率的更佳控制，而決定圖片之最大編碼單位中的量化參數的位置之圖像編碼裝置中的更高靈活性或功能性。該功能性係藉由在習知技術中所沒有之使用最大編碼單位及量化參數並加以組合，而可達成編碼動態圖像的畫質提升。本發明之新穎之處在於編碼單位中的量化參數的位置。尤其，在習知技術中係在例如巨集區塊等編碼單位的標頭包含量化參數。但是，在本發明中，量化參數係在關於區塊的預測及差分資訊被編碼之後，在編碼單位的最後予以編碼。

亦即，對上述課題1及課題2，考慮有以下所示之解決手段(解決手段1及解決手段2)。

解決手段1：為了以較小的CU等級傳送ΔQP，在標頭(序列參數集合/圖片參數集合/切片標頭)插入階層深度資訊。亦即，圖像編碼裝置係在位於比最大CU為更深的階層的較小單位(處理單位)儲存量化參數，將用以特定具有該處理單位之階層(階層的深度)的階層深度資訊儲存於序列標頭或圖片標頭等標頭。圖像解碼裝置係將位於該標頭的階層深度資訊進行解析而特定階層(階層的深度)，且將被儲存在位於該所被特定的階層的處理單位的量化參數進行解析。在此，階層深度資訊亦可顯示儲存有量化參數的處理單位得以存在之最深(位於最下位的)的階層。此時，圖像解碼裝置係特定藉由該階層深度資訊所表示的最下位階層、或屬於比該階層更為上位的階層且為最上位階層以外的階層。此外，階層深度資訊亦可為表示是否在預先設定之階層的CU(例如位於最下位階層的CU)儲存有量化參數的旗標。

解決手段2：為了跳過ΔQP的傳送，導入檢查TU編碼區塊旗標或樣式(pattern)的新條件。此外，圖像編碼裝置係在傳送量化參數時，在TU內的最後配置量化參數。藉此，圖像解碼裝置係可判斷不需要量化參數的情形(例如沒有轉換係數的情形)。結果，圖像編碼裝置並不需要傳送不需要的量化參數，可刪減碼量。

以上針對本發明之圖像解碼方法及圖像編碼方法，使用上述實施形態及其變形例加以說明，惟本發明並非限定於該等。

例如，在上述實施形態1及其變形例中的圖像解碼方法中，係包含第11圖之步驟S3及S5等處理，惟即使本發明未進行該等處理，亦可達成上述效果。

第17A圖係顯示本發明之圖像解碼方法的流程圖。

本發明之圖像解碼方法係對將藉由將動態圖像進行編碼所生成的包含複數個處理單位、及對該複數個處理單位的標頭的編碼串流進行解碼的圖像解碼方法。在此，該複數個處理單位之中至少1個處理單位係階層化以分割為複數個更小的處理單位。在該圖像解碼方法中，首先藉由對被儲存在標頭的階層深度資訊進行解析，來特定具有儲存有解碼所需參數的處理單位的階層(步驟S101)。接著，使用被儲存在位於所被特定的階層的處理單位的參數，將該處理單位進行解碼(步驟S102)。

藉由進行如上所示之步驟S101及S102的處理，可達成與實施形態1相同的效果，其他處理在本發明中並非為必要的處理。此外，本發明之圖像解碼裝置係藉由具備執行步驟S101及S102之各個處理的構成要素，而可達成與實施形態1相同的效果，其他構成要素在本發明中並非為必要的構成要素。其中，在實施形態1之圖像解碼裝置2000中，解碼控制部2200執行步驟S101的處理，解碼處理部2100執行步驟S102的處理。

此外，在上述實施形態1及其變形例中的圖像編碼方法中，係包含第14圖之步驟S804等處理，惟本發明即使未進行如上所示之處理，亦可達成上述效果。

第17B圖係顯示本發明之圖像編碼方法的流程圖。

本發明之圖像編碼方法係藉由將動態圖像進行編碼，而生成包含複數個處理單位、及對該複數個處理單位的標頭的編碼串流的圖像編碼方法。在此，該複數個處理單位之中至少1個處理單位係以被分割為複數個更小的處理單位的方式予以階層化。在圖像編碼方法中，首先將動態圖片進行編碼(步驟S111)。接著，將用以特定具有儲存有解碼所需參數的處理單位的階層的階層深度資訊寫入在該標頭(步驟S112)。此外，在位於藉由階層深度資訊所被特定的階層的處理單位寫入該參數(步驟S113)。

藉由進行如上所示之步驟S111～S113之處理，可達成與實施形態1相同的效果，其他處理在本發明中並非為必要的處理。此外，本發明之圖像編碼裝置係藉由具備執行步驟S111～S113之各個處理的構成要素，而可達成與實施形態1相同的效果，其他構成要素在本發明中並非為必要的構成要素。其中，在實施形態1的圖像編碼裝置1000中，係根據藉由編碼控制部1200所為之控制，由熵編碼部1104執行步驟S111～S113的處理。

其中，與本發明相關連的標頭的語法係如第18A圖～第18C圖所示，與本發明相關連的處理單位(CU、PU及TU)的語法係如第19A圖～第19C圖所示。

第18A圖係顯示序列標頭的語法的圖。在該序列標頭中係規定有例如可參照的最大參照訊框數(max_num_ref_frames)、及圖片的尺寸(pic_widht_in_luma_samples,pic_height_in_luma_samples)等。

第18B圖係顯示圖片標頭的語法的圖。在該圖片標頭中，如語法的一部分d1所示，規定有可按照每個參照方向(前方向及後方向)來保持參照指數的數量，並且規定有初期QP(由初期QP減掉26的數量)。

第18C圖係顯示切片標頭的語法的圖。該切片標頭係如語法的一部分d2所示，以按每個切片來改寫上述參照指數可保持的數量的方式所構成。此外，在該切片標頭，如語法的其他部分d3所示，規定有由上述圖片標頭所規定的初期QP的QP的差分值。

第19A圖係顯示CU的語法圖。在該CU中，如語法之一部分d4及d5所示，規定有對該CU的PU及TU。

第19B圖係顯示PU的語法圖。該PU係如語法的一部分d6及d8所示，按照每個參照方向具有參照指數，此外，如語法的其他部分d7及d9所示，按照每個參照方向具有適應動態向量解析度切換旗標(mvres)。

第19C圖係顯示TU的語法圖。該TU係如語法的一部分d10所示，具有差分圖像進行正交轉換而被量化的係數(轉換係數)。

(實施形態2)

藉由將用以實現上述各實施形態中所示之圖像編碼方法或圖像解碼方法的構成的程式記錄在記憶媒體，可在獨立進行上述各實施形態中所示處理的電腦系統中簡單實施。記憶媒體若為磁碟、光碟、磁光磁碟、IC卡、半導體記憶體等可記錄程式者即可。

此外，在此說明上述各實施形態中所示之圖像編碼方法或圖像解碼方法的應用例、及使用其之系統。

第20圖係顯示實現內容配訊服務之內容供給系統ex100的全體構成圖。將通訊服務提供區分割為所希望的大小，在各單元內分別設置有屬於固定無線台的基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100係透過網際網路服務提供者ex102及電話網路ex104、及基地台ex106至ex110，將電腦ex111、PDA(Personal Digital Assistant)ex112、攝影機ex113、行動電話ex114、遊戲機ex115等各機器與網際網路ex101相連接。

但是，內容供給系統ex100並非限定為如第20圖般的構成，亦可將任何要素加以組合而相連接。此外，亦可未透過屬於固定無線台的基地台ex106至ex110而使各機器與電話網路ex104直接相連接。此外，各機器亦可透過近距離無線等而直接相互連接。

攝影機ex113係數位視訊攝影機等可進行動態圖片錄影的機器，攝影機ex116係數位攝影機等可進行靜止圖片攝影、動態圖片攝影的機器。此外，行動電話ex114係GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的行動電話機、或PHS(Personal Handyphone System)等，可為任意者。

在內容供給系統ex100中，攝影機ex113等透過基地台ex109、電話網路ex104而與串流伺服器ex103相連接，藉此可進行實況配訊等。在實況配訊中，係對使用者使用攝影機ex113所攝影的內容(例如音樂實況影像等)以在上述各實施形態中之說明所示進行編碼處理，且傳送至串流伺服器ex103。另一方面，串流伺服器ex103係將對有要求的用戶端所傳送的內容資料進行串流配訊。以用戶端而言，係有可將上述經編碼處理的資料進行解碼的電腦ex111、PDAex112、攝影機ex113、行動電話ex114、遊戲機ex115等。在接收到所被配訊的資料的各機器中，係將所接收到的資料進行解碼處理而再生。

其中，所拍攝到的資料的編碼處理可在攝影機ex113進行，亦可在進行資料傳送處理的串流伺服器ex103進行，亦可彼此分擔進行。同樣地所配訊的資料的解碼處理係可在用戶端進行，亦可在串流伺服器ex103進行，亦可彼此分擔進行。此外，亦可未侷限於攝影機ex113，而將以攝影機ex116所攝影到的靜止圖像及/或動態圖像資料透過電腦ex111而傳送至串流伺服器ex103。此時的編碼處理係可由攝影機ex116、電腦ex111、串流伺服器ex103的任一者進行，亦可彼此分擔進行。

此外，該等編碼/解碼處理一般而言係在電腦ex111或各機器所具有的LSIex500中進行處理。LSIex500可為單晶片，亦可為由複數晶片所成之構成。其中，亦可將動態圖像編碼/解碼用的軟體組入至可在電腦ex111等進行讀取的任何記錄媒體(CD-ROM、軟碟、硬碟等)，使用該軟體來進行編碼/解碼處理。此外，若行動電話ex114附有攝影機時，亦可傳送以該攝影機所取得的動態圖片資料。此時的動態圖片資料係由行動電話ex114所具有的LSIex500來進行編碼處理的資料。

此外，串流伺服器ex103係複數個伺服器或複數個電腦，亦可為將資料分散處理、或記錄而進行配訊者。

如以上所示，在內容供給系統ex100中，可由用戶端接收經編碼的資料且予以再生。如上所示在內容供給系統ex100中，可由用戶端即時接收使用者所傳送的資訊且進行解碼、再生，即使為未具有特別權利或設備的使用者，亦可實現個人廣播。

其中，並非侷限於內容供給系統ex100之例，如第21圖所示，在數位廣播用系統ex200亦可組入上述各實施形態之至少圖像編碼裝置或圖像解碼裝置的任一者。具體而言，在廣播站ex201中係將在影像資料將音樂資料等多工化後的多工化資料，透過電波而傳送至通訊或衛星ex202。該影像資料係藉由在上述各實施形態中所說明的圖像編碼方法進行編碼的資料。接受到該資料的廣播衛星ex202係發出廣播用電波，由可進行衛星廣播收訊的家庭天線ex204接收該電波。由電視(接收機)ex300或機上接收盒(STB)ex217等裝置，將所接收到的多工化資料進行解碼而再生。

此外，讀取記錄在DVD、BD等記錄媒體ex215的多工化資料且進行解碼、或在記錄媒體ex215將影像訊號進行編碼，另外亦可視情形而在與音樂訊號多工化所寫入的讀取機/記錄機ex218亦安裝上述各實施形態中所示之圖像解碼裝置或圖像編碼裝置。此時，所再生的影像訊號係顯示於監視器ex219，可藉由記錄有多工化資料的記錄媒體ex215而在其他裝置或系統中將影像訊號進行再生。此外，亦可在與有線電視用的電纜ex203或衛星/地面電波廣播的天線ex204相連接的機上接收盒ex217內安裝圖像解碼裝置，而將其在電視的監視器ex219進行顯示。此時並非為機上接收盒，而亦可在電視內組入圖像解碼裝置。

第22圖係顯示使用在上述各實施形態中所說明的圖像解碼方法及圖像編碼方法的電視(接收機)ex300的圖。電視ex300係具備有：透過接收上述廣播的天線ex204或電纜ex203等來取得或輸出在影像資料將聲音資料多工化的多工化資料的調諧器ex301；將所接收到的多工化資料進行解調、或調變成傳送至外部的多工化資料的調變/解調部ex302；及將經解調的多工化資料分離成影像資料及聲音資料、或將以訊號處理部ex306所編碼的影像資料、聲音資料進行多工化的多工/分離部ex303。

此外，電視ex300係具有：具有將聲音資料、影像資料各個進行解碼、或將各個資訊進行編碼的聲音訊號處理部ex304、影像訊號處理部ex305的訊號處理部ex306；及具有輸出經解碼的聲音訊號的揚聲器ex307、顯示經解碼之影像訊號的顯示器等顯示部ex308的輸出部ex309。此外，電視ex300係具有界面部ex317，其具有受理使用者操作輸入的操作輸入部ex312等。此外，電視ex300係具有統括控制各部的控制部ex310、對各部供給電力的電源電路部ex311。界面部ex317係除了操作輸入部ex312以外，亦可具有：與讀取機/記錄機ex218等外部機器相連接的電橋ex313；用以可裝設SD卡等記錄媒體ex216的插槽部ex314；用以與硬碟等外部記錄媒體相連接的驅動器ex315；及與電話網路相連接的數據機ex316等。其中記錄媒體ex216係可藉由所儲存的非揮發性/揮發性的半導體記憶體元件而以電性進行資訊記錄。電視ex300的各部係透過同步匯流排而彼此相連接。

首先，說明將電視ex300藉由天線ex204等而由外部取得的多工化資料進行解碼、再生的構成。電視ex300係接受來自遙控器ex220等的使用者操作，根據具有CPU等的控制部ex310的控制，將在調變/解調部ex302所解調的多工化資料在多工/分離部ex303進行分離。此外，電視ex300係將經分離的聲音資料在聲音訊號處理部ex304進行解碼，將經分離的影像資料在影像訊號處理部ex305使用在上述各實施形態中所說明的解碼方法進行解碼。經解碼的聲音訊號、影像訊號係分別由輸出部ex309朝向外部進行輸出。在輸出時，亦可以聲音訊號與影像訊號同步再生的方式，在緩衝器ex318、ex319等暫時蓄積該等訊號。此外，電視ex300亦可由磁性/光碟、SD卡等記錄媒體ex215、ex216讀出多工化資料，而非由廣播等。接著，說明電視ex300將聲音訊號或影像訊號進行編碼，且傳送至外部或寫入在記錄媒體等的構成。電視ex300係接收來自遙控器ex220等的使用者操作，根據控制部ex310的控制，在聲音訊號處理部ex304將聲音訊號進行編碼，在影像訊號處理部ex305，將影像訊號使用在上述各實施形態中所說明的編碼方法來進行編碼。經編碼的聲音訊號、影像訊號係在多工/分離部ex303被多工化而輸出至外部。在多工化時，如聲音訊號與影像訊號呈同步的方式，在緩衝器ex320、ex321等暫時蓄積該等訊號即可。其中，緩衝器ex318、ex319、ex320、ex321係如圖示般可具備複數個，亦可為共有1個以上的緩衝器的構成。此外，除了圖示以外，例如在調變/解調部ex302或多工/分離部ex303之間等亦可在緩衝器蓄積資料來作為避免系統之溢位(overflow)、欠位(underflow)的緩衝材。

此外，電視ex300係除了由廣播等或記錄媒體等取得聲音資料、影像資料以外，亦可具備有受理麥克風或攝影機之AV輸入的構成，對由該等所取得的資料進行編碼處理。其中，在此，電視ex300係形成為可進行上述編碼處理、多工化、及外部輸出的構成加以說明，但是亦可為並無法進行該等處理，而僅可進行上述收訊、解碼處理、外部輸出的構成。

此外，若以讀取機/記錄機ex218由記錄媒體讀出或寫入多工化資料時，上述解碼處理或編碼處理係可由電視ex300、讀取機/記錄機ex218的任一者進行，亦可由電視ex300與讀取機/記錄機ex218彼此分擔進行。

以一例而言，將由光碟讀入或寫入資料時的資訊再生/記錄部ex400的構成顯示於第23圖。資訊再生/記錄部ex400係具備有：以下說明的要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光學頭ex401係對光碟之記錄媒體ex215的記錄面照射雷射光點而寫入資訊，檢測來自記錄媒體ex215之記錄面的反射光而讀入資訊。調變記錄部ex402係將內置於光學頭ex401的半導體雷射作電性驅動而按照記錄資料來進行雷射光的調變。再生解調部ex403係藉由內置於光學頭ex401的光偵測器，放大將來自記錄面的反射光作電性檢測後的再生訊號，將記錄在記錄媒體ex215的訊號成分分離進行解調，而再生所需資訊。緩衝器ex404係暫時保持用以記錄在記錄媒體ex215的資訊及由記錄媒體ex215再生的資訊。碟片馬達ex405係使記錄媒體ex215旋轉。伺服控制部ex406係一面控制碟片馬達ex405的旋轉驅動，一面使光學頭ex401移動至預定的資訊磁軌，來進行雷射光點的追隨處理。系統控制部ex407係進行資訊再生/記錄部ex400全體的控制。上述讀出或寫入處理係藉由由系統控制部ex407利用被保持在緩衝器ex404的各種資訊，而且視需要進行新資訊的生成/追加，並且一面使調變記錄部ex402、再生解調部ex403、伺服控制部ex406進行協調動作，一面通過光學頭ex401來進行資訊的記錄再生來實現。系統控制部ex407係由例如微處理器所構成，藉由執行讀出寫入的程式來執行該等處理。

以上係說明光學頭ex401照射雷射光點，但是亦可為使用近接場光來進行更高密度的記錄的構成。

在第24圖中顯示光碟之記錄媒體ex215的模式圖。在記錄媒體ex215的記錄面以螺旋狀形成有導引溝槽(groove)，在資訊磁軌ex230係預先藉由溝槽形狀的變化來記錄表示碟片上之絕對位置的位址資訊。該位址資訊係包含用以特定作為記錄資料之單位的記錄區塊ex231的位置的資訊，在進行記錄或再生的裝置中，將資訊磁軌ex230再生來讀取位址資訊，藉此可特定記錄區塊。此外，記錄媒體ex215係包含有資料記錄區域ex233、內周區域ex232、外周區域ex234。用以記錄使用者資料所使用的區域為資料記錄區域ex233，被配置在比資料記錄區域ex233更為內周或外周的內周區域ex232與外周區域ex234係被使用在使用者資料的記錄以外的特定用途。資訊再生/記錄部ex400係對如上所示之記錄媒體ex215的資料記錄區域ex233，進行將經編碼的聲音資料、影像資料或該等資料多工化的多工化資料的讀寫。

以上係以1層DVD、BD等光碟為例加以說明，但是並非侷限於該等，亦可為多層構造且在表面以外亦可記錄的光碟。此外，亦可為在碟片的相同場所使用各種不同波長的顏色的光來記錄資訊，或由各種角度來記錄不同的資訊的層等進行多次元記錄/再生的構造的光碟。

此外，亦可在數位廣播用系統ex200中，由具有天線ex205的車ex210從衛星ex202等接收資料，在車ex210所具有的汽車導航系統ex211等的顯示裝置將動態圖片再生。其中，汽車導航系統ex211的構成係在例如第22圖所示構成之中，考慮加上GPS收訊部的構成，在電腦ex111或行動電話ex114等亦考慮到同樣的情形。

第25A圖係顯示使用在上述實施形態中所說明的圖像解碼方法及圖像編碼方法的行動電話ex114的圖。行動電話ex114係具備有：用以在與基地台ex110之間接收傳送電波的天線ex350；可拍攝影像、靜止圖片的攝影機部ex365；及將由攝影機部ex365所拍攝到的影像、由天線ex350所接收到的影像等被解碼後的資料進行顯示的液晶顯示器等顯示部ex358。行動電話ex114係另外具備有：具有操作鍵部ex366的本體部；用以輸出聲音的揚聲器等的聲音輸出部ex357；用以輸入聲音的麥克風等的聲音輸入部ex356；將所拍攝到的影像、靜止圖片、所錄音的聲音、或接收到的影像、靜止圖片、郵件等經編碼的資料或經解碼的資料加以保存的記憶體部ex367；或同樣地屬於與保存資料的記錄媒體的界面部的插槽部ex364。

此外，針對行動電話ex114的構成例，使用第25B圖加以說明。行動電話ex114係對統括控制具備有顯示部ex358及操作鍵部ex366的本體部的各部的主控制部ex360，將電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、攝影機界面部ex363、LCD(Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/分離部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367，透過匯流排ex370而彼此相連接。

電源電路部ex361係若藉由使用者的操作而使終話及電源鍵呈ON狀態時，藉由由電池包對各部供給電力而將行動電話ex114起動為可動作的狀態。

行動電話ex114係根據具有CPU、ROM、RAM等的主控制部ex360的控制，將為聲音通話模式時由聲音輸入部ex356所收音到的聲音訊號，以聲音訊號處理部ex354轉換成數位聲音訊號，將其以調變/解調部ex352進行頻譜擴散處理，在送訊/收訊部ex351施行數位類比轉換處理及頻率轉換處理之後透過天線ex350進行傳送。而且，行動電話ex114係將在聲音通話模式時透過天線ex350所接收到的收訊資料放大而施行頻率轉換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜逆擴散處理，在聲音訊號處理部ex354轉換成類比聲音訊號之後，將其由聲音輸出部ex357輸出。

此外若在資料通訊模式時傳送電子郵件，藉由本體部的操作鍵部ex366等的操作所被輸入的電子郵件的本文資料係透過操作輸入控制部ex362而被送出至主控制部ex360。主控制部ex360係將本文資料在調變/解調部ex352進行頻譜擴散處理，在送訊/收訊部ex351施行數位類比轉換處理及頻率轉換處理之後，透過天線ex350而傳送至基地台ex110。在接收電子郵件時，係對所接收到的資料，進行該大致相反的處理，而被輸出至顯示部ex358。

若在資料通訊模式時傳送影像、靜止圖片、或影像與聲音，影像訊號處理部ex355係將由攝影機部ex365所被供給的影像訊號，藉由在上述各實施形態中所示之圖像編碼方法進行壓縮編碼，將經編碼的影像資料送出至多工/分離部ex353。此外，聲音訊號處理部ex354係將影像、靜止圖片等在攝影機部ex365攝像中將由聲音輸入部ex356所收音到的聲音訊號進行編碼，將經編碼的聲音資料送出至多工/分離部ex353。

多工/分離部ex353係以預定的方式將由影像訊號處理部ex355所被供給之經編碼的影像資料與由聲音訊號處理部ex354所被供給之經編碼的聲音資料多工化，將結果所得的多工化資料在調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在送訊/收訊部ex351施行數位類比轉換處理及頻率轉換處理之後，透過天線ex350進行傳送。

若在資料通訊模式時接收連結於網頁等的動態圖像檔案的資料、或接收附加影像及或聲音的電子郵件時，由於將透過天線ex350所接收到的多工化資料進行解碼，因此多工/分離部ex353係藉由將多工化資料分離而分為影像資料的位元串流與聲音資料的位元串流，透過同步匯流排ex370而將經編碼的影像資料供給至影像訊號處理部ex355，並且將經編碼的聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與在上述各實施形態中所示圖像編碼方法相對應的圖像解碼方法進行解碼，藉此將影像訊號解碼，透過LCD控制部ex359而由顯示部ex358顯示例如連結於網頁之動態圖像檔案所包含的影像、靜止圖片。而且聲音訊號處理部ex354係將聲音訊號進行解碼，由聲音輸出部ex357輸出聲音。

此外，上述行動電話ex114等終端機係與電視ex300同樣地，除了雙方具有編碼器/解碼器的收送訊型終端機以外，考慮有僅有編碼器的送訊終端機、僅有解碼器的收訊終端機等3種安裝形式。此外，在數位廣播用系統ex200中，係說明將在影像資料多工化有音樂資料等的多工化資料收訊、送訊，但是亦可為除了聲音資料以外而將與影像相關連的文字資料等多工化的資料，亦可為影像資料本身，而非為多工化資料。

如上所示，可將上述各實施形態所示之圖像編碼方法或圖像解碼方法使用在上述任何機器/系統，藉此可得在上述各實施形態中所說明的效果。

此外，本發明並非限定於上述實施形態，在未脫離本發明之範圍的情形下可為各種變形或修正。

(實施形態3)

亦可將上述各實施形態所示之圖像編碼方法或裝置、及依據MPEG-2、MPEG4-AVC、VC-1等不同規格的動態圖像編碼方法或裝置，視需要作適當切換，藉此生成影像資料。

在此，若生成分別依據不同規格的複數個影像資料時，在進行解碼時，必須選擇與各個規格相對應的解碼方法。但是，由於無法識別進行解碼的影像資料係依據什麼規格，因此會產生無法選擇適當解碼方法的課題。

為解決該課題，在影像資料多工化有聲音資料等的多工化資料係形成為包含表示影像資料為依據什麼規格者的識別資訊的構成。將包含藉由在上述各實施形態中所示之圖像編碼方法或裝置所生成的影像資料的多工化資料的具體構成說明如下。多工化資料係MPEG-2傳輸串流形式的數位串流。

第26圖係顯示多工化資料的構成圖。如第26圖所示，多工化資料係藉由在視訊串流、音訊串流、演示圖形串流(PG)、交互圖形串流之中將1個以上進行多工化而得。分別為視訊串流係表示電影的主影像及副影像，音訊串流(IG)係表示電影的主聲音部分及與該主聲音進行混頻的副聲音，演示圖形串流係表示電影的字幕。在此，主影像係指顯示於畫面的平常的影像，副影像係指在主影像之中以較小的畫面所顯示的影像。此外，交互圖形串流係表示藉由在畫面上配置GUI零件所作成的對話畫面。視訊串流係藉由在上述各實施形態中所示之圖像編碼方法或裝置、依據習知的MPEG-2、MPEG4-AVC、VC-1等規格的動態圖像編碼方法或裝置進行編碼。音訊串流係以杜比系統AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或線性PCM等方式進行編碼。

多工化資料所包含的各串流係藉由PID予以識別。例如，分別在電影影像所利用的視訊串流分配有0x1011，在音訊串流分配有0x1100至0x111F，在演示圖形分配有0x1200至0x121F，在交互圖形串流分配有0x1400至0x141F，在電影副影像所利用的視訊串流分配有0x1B00至0x1B1F，在與主聲音進行混頻的副聲音所利用的音訊串流分配有0x1A00至0x1A1F。

第27圖係以模式顯示多工化資料如何被多工化的圖。首先，將由複數個視訊訊框所構成的視訊串流ex235、由複數個音訊訊框所構成的音訊串流ex238分別轉換成PES封包列ex236及ex239，且轉換成TS封包ex237及ex240。同樣地將演示圖形串流ex241及交互圖形ex244的資料分別轉換成PES封包列ex242及ex245，另外轉換成TS封包ex243及ex246。多工化資料ex247係藉由將該等TS封包在1條串流進行多工化所構成。

第28圖係更加詳細顯示在PES封包列如何儲存視訊串流。第28圖中的第1段係顯示視訊串流的視訊訊框列。第2段係顯示PES封包列。如第28圖的箭號yy1、yy2、yy3、yy4所示，屬於視訊串流中的複數個Video Presentation Unit的I圖片、B圖片、P圖片係按每個圖片進行分割，且被儲存在PES封包的承載(Payload)。各PES封包係具有PES標頭，在PES標頭係儲存有屬於圖片顯示時刻的PTS(Presentation Time-Stamp)或屬於圖片解碼時刻的DTS(Decoding Time-Stamp)。

第29圖係顯示最終被寫入在多工化資料的TS封包的形式。TS封包係由具有識別串流的PID等資訊的4Byte的TS標頭與儲存資料的184Byte的TS承載所構成的188Byte固定長度的封包，上述PES封包係被分割而被儲存在TS承載。若為BD-ROM，在TS封包係賦予4Byte的TP_Extra_Header，構成192Byte的來源封包，而寫入在多工化資料。在TP_Extra_Header係記載有ATS(Arrival_Time_Stamp)等資訊。ATS係表示該TS封包對解碼器的PID濾波器的轉送開始時刻。在多工化資料係如第29圖下段所示排列有來源封包，由多工化資料的前頭所增額的編號被稱為SPN(來源封包編號)。

此外，在多工化資料所包含的TS封包，係除了影像/聲音/字幕等各串流以外，亦有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT係表示在多工化資料中所被利用的PMT的PID為何，PAT本身的PID係以0進行登錄。PMT係具有多工化資料中所包含的影像/聲音/字幕等各串流的PID和與各PID相對應的串流的屬性資訊，而且具有關於多工化資料的各種描述符號。在描述符號係有指示許可/不許可多工化資料之複製的複製控制資訊等。PCR係為了取得屬於ATS的時間軸的ATC(Arrival Time Clock)與屬於PTS/DTS的時間軸的STC(System Time Clock)的同步，具有與該PCR封包被轉送至解碼器的ATS相對應的STC時間的資訊。

第30圖係詳加說明PMT的資料構造圖。在PMT的前頭係配置有記載有該PMT所包含的資料長度等的PMT標頭。在其後方配置有複數個關於多工化資料的描述符號。上述複製控制資訊等係被記載為描述符號。在描述符號之後係配置有複數個關於多工化資料所包含的各串流的串流資訊。串流資訊係為了識別串流的壓縮編解碼器等，而由記載有串流類型、串流的PID、串流的屬性資訊(訊框率、縱橫比等)的串流描述符號所構成。串流描述符號係存在有存在於多工化資料的串流數量。

若記錄在記錄媒體等時，上述多工化資料係連同多工化資料資訊檔案一起進行記錄。

多工化資料資訊檔案如第31圖所示為多工化資料的管理資訊，與多工化資料1對1對應，由多工化資料資訊、串流屬性資訊與登錄圖(entry map)所構成。

多工化資料資訊如第31圖所示由系統率、再生開始時刻、再生結束時刻所構成。系統率係表示多工化資料之對後述系統目標解碼器的PID濾波器的最大轉送率。多工化資料中所包含的ATS的間隔係被設定為系統率以下。再生開始時刻係多工化資料之前頭的視訊訊框的PTS，再生結束時刻係設定有在多工化資料的終端的視訊訊框的PTS加上1訊框份的再生間隔者。

串流屬性資訊係如第32圖所示，關於多工化資料所包含的各串流的屬性資訊係按每個PID進行登錄。屬性資訊係具有依每個視訊串流、音訊串流、演示圖形串流、交互圖形串流而異的資訊。視訊串流屬性資訊係具有：該視訊串流由什麼樣的壓縮編解碼器所壓縮、構成視訊串流的各個圖片資料的解析度為多少、縱橫比為多少、訊框率為多少等資訊。音訊串流屬性資訊係具有：該音訊串流由什麼樣的壓縮編解碼器所壓縮、該音訊串流所包含的通道數為何、與什麼語言相對應、取樣頻率為多少等資訊。該等資訊係被利用在播放者進行再生前的解碼器的初期化等。

在本實施形態中，在上述多工化資料之中，利用PMT所包含的串流類型。此外，若在記錄媒體記錄有多工化資料時，利用多工化資料資訊所包含的視訊串流屬性資訊。具體而言，在上述各實施形態中所示之圖像編碼方法或裝置中，對PMT所包含的串流類型、或視訊串流屬性資訊，設置設定表示為藉由在上述各實施形態中所示之圖像編碼方法或裝置所生成的影像資料的固有資訊的步驟或手段。藉由該構成，可識別藉由在上述各實施形態中所示之圖像編碼方法或裝置所生成的影像資料、及依據其他規格的影像資料。

此外，將本實施形態中的圖像解碼方法的步驟顯示於第33圖。在步驟exS100中，由多工化資料取得PMT所包含的串流類型、或多工化資料資訊所包含的視訊串流屬性資訊。接著，在步驟exS101中，判斷是否顯示串流類型、或視訊串流屬性資訊為藉由在上述各實施形態中所示之圖像編碼方法或裝置所生成的多工化資料。接著，若判斷出串流類型、或視訊串流屬性資訊為藉由在上述各實施形態中所示之圖像編碼方法或裝置所生成者時，在步驟exS102中，藉由在上述各實施形態中所示之圖像解碼方法來進行解碼。此外，若顯示串流類型、或視訊串流屬性資訊為依據習知的MPEG-2、MPEG4-AVC、VC-1等規格者時，係在步驟exS103中，藉由依據習知的規格的動態圖像解碼方法來進行解碼。

如上所示，藉由在串流類型、或視訊串流屬性資訊設定新的固有值，當進行解碼時，可判斷是否可利用上述各實施形態中所示之圖像解碼方法或裝置來進行解碼。因此，即使在被輸入依據不同規格的多工化資料的情形下，亦可選擇適當的解碼方法或裝置，因此可不會產生錯誤地進行解碼。此外，亦可將在本實施形態中所示之圖像編碼方法或裝置、或圖像解碼方法或裝置使用在上述任何機器/系統。

(實施形態4)

上述各實施形態中所示之圖像編碼方法及裝置、圖像解碼方法及裝置典型而言係由屬於積體電路的LSI予以實現。以一例而言，在第34圖中顯示經1晶片化的LS1ex500的構成。LSIex500係具備有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係透過匯流排ex510而相連接。電源電路部ex505係在電源為ON狀態時對各部供給電力，藉此起動為可進行動作的狀態。

例如在進行編碼處理時，LSIex500係根據具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等的控制部ex501的控制，藉由AVI/Oex509，由麥克風ex117或攝影機ex113等輸入AV訊號。所被輸入的AV訊號係暫時被蓄積在SDRAM等外部的記憶體ex511。根據控制部ex501的控制，所蓄積的資料係按照處理量或處理速度而適當分為複數次等而被送至訊號處理部ex507，在訊號處理部ex507中進行聲音訊號的編碼及/或影像訊號的編碼。在此影像訊號的編碼處理係在上述各實施形態中所說明的編碼處理。在訊號處理部ex507中係另外視情形進行將經編碼的聲音資料與經編碼的影像資料多工化等處理，由串流I/Oex506輸出至外部。該所被輸出的多工化資料係朝向基地台ex107被傳送，或被寫入記錄媒體ex215。其中，若以在多工化時進行同步的方式，暫時在緩衝器ex508蓄積資料即可。

其中，在上述中係說明記憶體ex511形成為LSIex500的外部的構成，但是亦可為LSIex500的內部所包含的構成。緩衝器ex508亦非侷限於1個，亦可具備有複數個緩衝器。此外，LSIex500係可單一晶片化，亦可複數晶片化。

此外，在上述中，控制部ex501具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，但是控制部ex501的構成並非侷限於該構成。例如亦可為訊號處理部ex507另外具備有CPU的構成。藉由在訊號處理部ex507的內部亦設置CPU，可使處理速度更加提升。此外，以其他例而言，亦可為CPUex502具備有屬於訊號處理部ex507、或訊號處理部ex507之一部分的例如聲音訊號處理部的構成。若為如上所示之情形，控制部ex501係成為具備有訊號處理部ex507、或具有其一部分的CPUex502的構成。

其中，在此係形成為LSI，但是亦有依積體度的不同，而有被稱為IC、系統LSI、超級LSI、超大型LSI的情形。

此外，積體電路化的手法並非侷限於LSI，亦可由專用電路或通用處理器來實現。在LSI製造後，亦可利用可程式的FPGA(Field Programmable Gate Array)、或可再構成LSI內部之電路元件之連接或設定的可重組態處理器。

再者，若藉由半導體技術的進歩或所衍生的其他技術而出現置換LSI的積體電路化的技術，當然亦可使用該技術來進行功能區塊的積體化。生化技術的適應等亦有可能性。

(實施形態5)

若將藉由上述各實施形態中所示之圖像編碼方法或裝置所生成的影像資料進行解碼時，與將依據習知的MPEG-2、MPEG4-AVC、VC-1等規格的影像資料進行解碼的情形相比，處理量會增加。因此，在LSIex500中，必須設定為比將依據習知規格的影像資料進行解碼時的CPUex502的驅動頻率為更高的驅動頻率。但是，若提高驅動頻率時，會有消耗電力變高的課題產生。

為解決該課題，電視ex300、LSIex500等動態圖像解碼裝置係形成為識別影像資料為依據什麼規格者，按照規格來切換驅動頻率的構成。第35圖係顯示本實施形態中的構成ex800。驅動頻率切換部ex803係若影像資料為藉由在上述各實施形態中所示之圖像編碼方法或裝置所生成者時，係將驅動頻率設定為較高。接著，對執行在上述各實施形態中所示之圖像解碼方法的解碼處理部ex801，指示將影像資料進行解碼。另一方面，若影像資料為依據習知規格的影像資料時，與影像資料係藉由在上述各實施形態中所示之圖像編碼方法或裝置所生成者的情形相比，將驅動頻率設定為較低。接著，對依據習知規格的解碼處理部ex802指示將影像資料進行解碼。

更具體而言，驅動頻率切換部ex803係由第34圖的CPUex502與驅動頻率控制部ex512所構成。此外，上述執行各實施形態中所示之圖像解碼方法的解碼處理部ex801、及依據習知規格的解碼處理部ex802係相當於第34圖的訊號處理部ex507。CPUex502係識別影像資料為依據什麼規格者。接著，根據來自CPUex502的訊號，驅動頻率控制部ex512係設定驅動頻率。此外，根據來自CPUex502的訊號，訊號處理部ex507係進行影像資料的解碼。在此，在影像資料的識別時，考慮利用例如在實施形態3中所記載的識別資訊。關於識別資訊，並非侷限於實施形態3中所記載者，若為可識別影像資料為依據什麼規格的資訊即可。例如，根據識別影像資料被利用在電視、或是被利用在碟片等的外部訊號，若可識別影像資料為依據什麼規格者時，亦可根據如上所示之外部訊號來識別。此外，CPUex502中的驅動頻率的選擇係考慮根據例如使第37圖所示之影像資料的規格與驅動頻率產生對應的查對表來進行。將查對表儲存在緩衝器ex508或LSI的內部記憶體，由CPUex502參照該查對表，藉此可選擇驅動頻率。

第36圖係顯示實施本實施形態之方法的步驟。首先，在步驟exS200中，係在訊號處理部ex507中，由多工化資料取得識別資訊。接著，在步驟exS201中，在CPUex502中，根據識別資訊，識別影像資料是否為藉由上述各實施形態中所示之編碼方法或裝置所生成者。若影像資料為藉由上述各實施形態中所示之編碼方法或裝置所生成者時，在步驟exS202中，將設定驅動頻率為較高的訊號由CPUex502傳送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，設定為較高的驅動頻率。另一方面，若顯示為依據習知的MPEG-2、MPEG4-AVC、VC-1等規格的影像資料時，係在步驟exS203中，將設定驅動頻率為較低的訊號由CPUex502傳送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，與影像資料為藉由上述各實施形態中所示之編碼方法或裝置所生成的情形相比，設定為較低的驅動頻率。

此外，與驅動頻率的切換連動，變更供予至LSIex500或包含LSIex500的裝置的電壓，藉此可更加提高省電效果。例如，若將驅動頻率設定為較低時，伴隨此，與將驅動頻率設定為較高的情形相比，考慮將供予至LSIex500或包含LSIex500的裝置的電壓設定為較低。

此外，驅動頻率的設定方法係若進行解碼時的處理量較大，則將驅動頻率設定為較高，若進行解碼時的處理量較小，則將驅動頻率設定為較低即可，而非侷限於上述設定方法。例如，若將依據MPEG4-AVC規格的影像資料進行解碼的處理量大於藉由在上述各實施形態中所示之圖像編碼方法或裝置所生成的影像資料進行解碼的處理量時，考慮將驅動頻率的設定形成為上述情形的相反情形。

此外，驅動頻率的設定方法並非侷限於降低驅動頻率的構成。例如亦考慮若顯示識別資訊為藉由在上述各實施形態中所示之圖像編碼方法或裝置所生成的影像資料時，將供予至LSIex500或包含LSIex500的裝置的電壓設定為較高，若顯示為依據習知的MPEG-2、MPEG4-AVC、VC-1等規格的影像資料時，則將供予至LSIex500或包含LSIex500的裝置的電壓設定為較低。此外，以其他例而言，亦考慮若顯示識別資訊為藉由在上述各實施形態中所示之圖像編碼方法或裝置所生成的影像資料時，並無須使CPUex502的驅動停止，若顯示為依據習知的MPEG-2、MPEG4-AVC、VC-1等規格的映像資料時，由於在處理時具有餘裕，因此使CPUex502的驅動暫時停止。即使在顯示識別資訊為藉由在上述各實施形態中所示之圖像編碼方法或裝置所生成之影像資料的情形下，若在處理時有餘裕，即亦考慮使CPUex502的驅動暫時停止。此時與顯示為依據習知的MPEG-2、MPEG4-AVC、VC-1等規格的影像資料的情形相比，考慮將停止時間設定為較短。

如上所示，影像資料按照所依據的規格，藉由切換驅動頻率，可達成省電化。此外，若使用電池來驅動LSIex500或包含LSIex500的裝置時，係可伴隨省電化而延長電池壽命。

(實施形態6)

在電視或行動電話等上述機器/系統，係有被輸入依據不同規格的複數個影像資料的情形。如上所示，由於在被輸入依據不同規格的複數個影像資料時亦可進行解碼，因此必須使LSIex500的訊號處理部ex507與複數個規格相對應。但是，若個別使用與各個規格相對應的訊號處理部ex507時，會產生LSIex500的電路規模變大，而且成本增加的課題。

為解決該課題，形成為將用以執行上述各實施形態中所示之圖像解碼方法的解碼處理部、-與依據習知的MPEG-2、MPEG4-AVC、VC-1等規格的解碼處理部一部分共有化的構成。將該構成例顯示於第38A圖的ex900。例如，在上述各實施形態中所示之圖像解碼方法、及依據MPEG4-AVC規格的動態圖像解碼方法係在熵編碼、反量化、解塊濾波器、動態補償等處理中，處理內容為一部分共通。關於共通的處理內容，共有與MPEG4-AVC規格相對應的解碼處理部ex902，關於與MPEG4-AVC規格未相對應之本發明特有的其他處理內容，考慮一種使用專用解碼處理部ex901的構成。關於解碼處理部的共有化，針對共通的處理內容，係共有用以執行在上述各實施形態中所示之圖像解碼方法的解碼處理部，關於MPEG4-AVC規格所特有的處理內容，亦可為使用專用解碼處理部的構成。

此外，將處理一部分共有化的其他例顯示於第38B圖的ex1000。在該例中，係形成為使用與本發明所特有之處理內容相對應的專用解碼處理部ex1001、與其他習知規格所特有的處理內容相對應的專用解碼處理部ex1002、及本發明之圖像解碼方法與其他習知規格的動態圖像解碼方法所共通的處理內容相對應的共用解碼處理部ex1003的構成。在此，專用解碼處理部ex1001、ex1002並非一定為特化成本發明、或其他習知規格所特有的處理內容者，亦可為可執行其他通用處理者。此外，亦可以LSIex500來安裝本實施形態的構成。

如上所示，關於本發明之圖像解碼方法、與習知規格的動態圖像解碼方法為共通的處理內容，可藉由共有解碼處理部，來減小LSI的電路規模，且減低成本。

產業上之可利用性

本發明之圖像解碼方法及圖像編碼方法係可達成兼顧畫質提升及編碼效率提升的效果，可適用在例如視訊攝影機、具有動態圖片攝影及再生功能的行動電話、個人電腦、或錄影再生裝置等。

1000．．．圖像編碼裝置

1100．．．編碼處理部

1101．．．減算器

1102．．．正交轉換部

1103．．．量化部

1104．．．熵編碼部

1105．．．反量化部

1106．．．反正交轉換部

1107．．．加算器

1108．．．解塊濾波器

1109．．．記憶體

1110．．．面內預測部

1111．．．動態補償部

1112．．．動態檢測部

1113．．．開關

1200．．．編碼控制部

2000．．．圖像解碼裝置

2100．．．解碼處理部

2101．．．熵解碼部

2102．．．反量化部

2103．．．反正交轉換部

2104．．．加算器

2105．．．解塊濾波器

2106．．．記憶體

2107．．．面內預測部

2108．．．動態補償部

2109．．．開關

2200．．．解碼控制部

D100．．．圖片

D102、D104．．．編碼單位

D106．．．子編碼單位

D108．．．子編碼單位

D110．．．子編碼單位標頭

D112．．．預測單位

D114．．．轉換單位

D116．．．編碼單位標頭

D118．．．預測單位

D120．．．轉換單位

D122．．．子轉換單位

D124．．．子轉換單位

D126．．．量化尺度參數

D600．．．量化參數或量化單元

D602．．．Δ量化尺度參數

D604．．．量化死區偏移參數

D606．．．指數

D608．．．量化偏移參數

ex100．．．內容供給系統

ex101．．．網際網路

ex102．．．網際網路服務提供者

ex103．．．串流伺服器

ex104．．．電話網路

ex106～ex110．．．基地台

ex111．．．電腦

ex112．．．PDA

ex113．．．攝影機

ex114．．．行動電話

ex115．．．遊戲機

ex116．．．攝影機

ex117．．．麥克風

ex200．．．數位廣播用系統

ex201．．．廣播站

ex202．．．衛星

ex203．．．電纜

ex204、ex205．．．天線

ex210．．．車

ex211．．．汽車導航系統

ex212．．．再生裝置

ex213、ex219．．．監視器

ex214、ex215、ex216．．．記錄媒體

ex217．．．機上接收盒(STB)

ex218．．．讀取機/記錄機

ex219．．．監視器

ex220．．．遙控器

ex230．．．資訊磁軌

ex231．．．記錄區塊

ex232．．．內周區域

ex233．．．資料記錄區域

ex234．．．外周區域

ex235．．．視訊串流

ex236、ex239．．．PES封包列

ex237、ex240．．．TS封包

ex238．．．音訊串流

ex241．．．演示圖形串流

ex242、ex245．．．PES封包列

ex243、ex246．．．TS封包

ex244．．．交互圖形

ex247．．．多工化資料

ex300．．．電視(接收機)

ex301．．．調諧器

ex302．．．調變/解調部

ex303．．．多工/分離部

ex304．．．聲音訊號處理部

ex305．．．影像訊號處理部

ex306．．．訊號處理部

ex307．．．揚聲器

ex308．．．顯示部

ex309．．．輸出部

ex310．．．控制部

ex311．．．電源電路部

ex312．．．操作輸入部

ex313．．．電橋

ex314．．．插槽部

ex315．．．驅動器

ex316．．．數據機

ex317．．．界面部

ex318、ex319、ex320、ex321．．．緩衝器

ex350．．．天線

ex351．．．送訊/收訊部

ex352．．．調變/解調部

ex353．．．多工/分離部

ex354．．．聲音訊號處理部

ex355．．．影像訊號處理部

ex356．．．聲音輸入部

ex357．．．聲音輸出部

ex358．．．顯示部

ex359．．．LCD控制部

ex360．．．主控制部

ex361．．．電源電路部

ex362．．．操作輸入控制部

ex363．．．攝影機界面部

ex364．．．插槽部

ex365．．．攝影機部

ex366．．．操作鍵部

ex367‧‧‧記憶體部

ex370‧‧‧匯流排

ex400‧‧‧資訊再生/記錄部

ex401‧‧‧光學頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex404‧‧‧緩衝器

ex405‧‧‧碟片馬達

ex406‧‧‧伺服控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex505‧‧‧電源電路部

ex506‧‧‧串流I/O

ex507‧‧‧訊號處理部

ex508‧‧‧緩衝器

ex509‧‧‧AV I/O

ex510‧‧‧匯流排

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex801‧‧‧解碼處理部

ex802‧‧‧依據習知規格的解碼處理部

ex803‧‧‧驅動頻率切換部

ex901‧‧‧本發明專用的解碼處理部

ex902‧‧‧本發明及習知規格共有的解碼處理部

ex1001‧‧‧本發明專用的解碼處理部

ex1002‧‧‧習知規格專用的解碼處理部

ex1003‧‧‧本發明及習知規格共有的解碼處理部

S1-S6、S11-S16、S700-S712、S800-S814、S900-S912、S914-S928、S1000-S1012、S1014-S1028、S101-S102、S111-S113、exS100-exS103、exS203‧‧‧步驟

第1圖係顯示習知的編碼串流的構成圖。

第4圖係用以說明多階層區塊構造的說明圖。

第5圖係顯示藉由TMuC的軟體所生成的編碼串流的構成圖。

第6A圖係顯示本發明之實施形態1中的編碼串流的構成圖。

第6B圖係顯示本發明之實施形態1中的編碼串流的構成圖。

第6C圖係顯示本發明之實施形態1中的編碼串流的構成圖。

第10A圖係顯示本發明之實施形態1中的Δ量化尺度參數的圖。

第10C圖係顯示本發明之實施形態1中的指數的圖。

第10D圖係顯示本發明之實施形態1中的量化偏移參數的圖。

第17A圖係顯示本發明之圖像解碼方法的流程圖。

第17B圖係顯示本發明之圖像編碼方法的流程圖。

第18A圖係顯示本發明之實施形態1中的序列標頭的語法的圖。

第18B圖係顯示本發明之實施形態1中的圖片標頭的語法的圖。

第18C圖係顯示本發明之實施形態1中的切片標頭的語法的圖。

第21圖係顯示數位廣播用系統的全體構成圖。

第22圖係顯示電視的構成例的區塊圖。

第24圖係顯示光碟的記錄媒體的構造例圖。

第25A圖係顯示行動電話之一例圖。

第25B圖係顯示行動電話的構成例的區塊圖。

第26圖係顯示多工化資料的構成圖。

第28圖係更加詳細顯示在PES封包列如何儲存視訊串流的圖。

第29圖係顯示多工化資料中的TS封包與來源封包的構造圖。

第30圖係顯示PMT的資料構成圖。

第31圖係顯示多工化資料資訊的內部構成圖。

第32圖係顯示串流屬性資訊的內部構成圖。

第33圖係顯示識別影像資料的步驟的圖。

第35圖係顯示切換驅動頻率的構成圖。

第36圖係顯示識別影像資料來切換驅動頻率的步驟圖。

第38A圖係顯示將訊號處理部之模組共有化的構成之一例圖。

S101、S102‧‧‧步驟

Claims

一種解碼方法，是將圖像以區塊單位從位元串流解碼之解碼方法，前述圖像所包含之對象區塊是階層化成1個以上之階層，該1個以上之階層分別包含尺寸小於前述對象區塊的複數個子區塊，且前述解碼方法包含：對外部系統要求前述位元串流的步驟，從前述外部系統接收前述位元串流的步驟，從已接收之前述位元串流的標頭將特定第1子區塊所屬階層深度之深度資訊解碼的步驟，該第1子區塊是傳送量化參數之單位，根據前述深度資訊，將於前述第1子區塊編碼之前述量化參數解碼的步驟，及使用前述量化參數，將屬於第1階層、或比前述第1階層深之第2階層的第2子區塊解碼的步驟。
如申請專利範圍第1項之解碼方法，其中，前述位元串流之標頭是與包含複數個區塊之圖片對應的圖片標頭。
如申請專利範圍第1項之解碼方法，其中，當解碼前述第2子區塊時，在前述位元串流，使用配置在前述第2子區塊的係數之後的前述量化參數。
一種編碼方法，是藉由將圖像以區塊單位進行編碼而生成位元串流的編碼方法，前述圖像所包含之對象區塊是階層化成1個以上之階層，該1個以上之階層分別包含尺寸小於前述對象區塊的複數個子區塊，且前述編碼方法包含：於前述位元串流之標頭寫入特定第1子區塊所屬階層深度之深度資訊的步驟，該第1子區塊是傳送量化參數之單位，及根據前述深度資訊，於前述第1子區塊寫入前述量化參數的步驟，前述量化參數是用以將屬於第1階層、或比前述第1階層深之第2階層的第2子區塊解碼所需之參數。
如申請專利範圍第4項之編碼方法，其中，前述位元串流之標頭是與包含複數個區塊的圖片對應的圖片標頭。
如申請專利範圍第4項之編碼方法，其中，在寫入前述量化參數時，係在前述位元串流，在前述第2子區塊之係數之後寫入前述量化參數。
一種解碼裝置，係藉由如申請專利範圍第1項之解碼方法將編碼串流進行解碼者。
一種編碼裝置，係藉由如申請專利範圍第4項之編碼方法將動態圖像進行編碼者。
一種程式產品，係藉由如申請專利範圍第1項之解碼方法於電腦將編碼串流進行解碼者。
一種程式產品，係藉由如申請專利範圍第4項之編碼方法於電腦將動態圖像進行編碼者。
一種積體電路，係藉由如申請專利範圍第1項之解碼方法將編碼串流進行解碼者。
一種積體電路，係藉由如申請專利範圍第4項之編碼方法將動態圖像進行編碼者。