TW201347550A - 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置 - Google Patents

圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置 Download PDF

Info

Publication number
TW201347550A
TW201347550A TW102104606A TW102104606A TW201347550A TW 201347550 A TW201347550 A TW 201347550A TW 102104606 A TW102104606 A TW 102104606A TW 102104606 A TW102104606 A TW 102104606A TW 201347550 A TW201347550 A TW 201347550A
Authority
TW
Taiwan
Prior art keywords
node
image
processing
image block
unit
Prior art date
Application number
TW102104606A
Other languages
English (en)
Inventor
Youji Shibahara
Takahiro Nishi
Toshiyasu Sugio
Kyoko Tanikawa
Toru Matsunobu
Hisao Sasai
Kengo Terada
Yasuhiro Mamiya
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of TW201347550A publication Critical patent/TW201347550A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

圖像編碼方法包含有：進行節點處理之步驟，係對樹狀結構之節點進行節點處理；及進行編碼處理之步驟，係將與樹狀結構之葉節點對應之圖像區塊或者是與葉節點之上代節點對應之圖像區塊之頻率係數編碼；在進行節點處理之步驟中，在已對具有子節點之上代節點進行節點處理時，將與子節點對應之圖像區塊之位置、及與上代節點對應之圖像區塊之位置提供至節點處理之引數，對子節點遞迴呼叫節點處理，在已對葉節點進行節點處理時，將與葉節點對應之圖像區塊之位置、及與葉節點之上代節點對應之圖像區塊之位置提供至編碼處理之引數，呼叫編碼處理。

Description

圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置 發明領域
本發明係有關於一種將圖像編碼之圖像編碼方法。
發明背景
迄今對於將圖像編碼之圖像編碼方法諸如有記載於非專利文獻1之圖像編碼方法。
先行技術文獻 非專利文獻
非專利文獻1：ITU-T Recommendation H.264「Advanced video coding for generic audiovisual services」、2010年3月
發明概要
惟，性能低之圖像解碼裝置要執行運算量大之圖像編碼方法乃有所困難。
在此，本發明係提供一種可刪減圖像編碼中之運 算量之圖像編碼方法。
本發明一態樣之圖像編碼方法包含有：對樹狀結構之節點進行節點處理之步驟，該樹狀結構具有分割與上代節點對應之圖像區塊而所得到之多數圖像區塊各對應於子節點之關係；及進行編碼處理之步驟，將與前述樹狀結構之葉節點對應之圖像區塊、或者是與前述葉節點之上代節點對應之圖像區塊之頻率係數編碼；在前述進行節點處理之步驟中，在已對具有子節點之上代節點進行前述節點處理時，將與前述子節點對應之圖像區塊之位置、及與前述上代節點對應之圖像區塊之位置提供至前述節點處理之引數，對前述子節點遞迴呼叫前述節點處理，在已對葉節點進行前述節點處理時，將與前述葉節點對應之圖像區塊之位置、及與前述葉節點之上代節點對應之圖像區塊之位置提供至前述編碼處理之引數，呼叫前述編碼處理。
此外，該等一般或具體的態樣亦可以系統、裝置、積體電路、電腦程式或電腦可讀取之CD-ROM等非暫時性的記錄媒體予以實現，亦可以系統、裝置、積體電路、電腦程式及記錄媒體之任一組合附諸實現。
本發明一態樣之圖像編碼方法係可刪減圖像編碼中之運算量。
110‧‧‧減法部
120‧‧‧變換部
130‧‧‧量化部
140‧‧‧反量化部(iQ)
150‧‧‧反變換部(iT)
160‧‧‧加法部
170‧‧‧記憶體
180‧‧‧預測部
190‧‧‧熵編碼部
200‧‧‧熵解碼部
311‧‧‧分叉部
312‧‧‧變換分割樹解碼部
313‧‧‧TUS記憶體
314‧‧‧cbf記憶體
315‧‧‧變換係數樹解碼部
316‧‧‧區塊變換係數解碼部
320‧‧‧變換統一樹解碼部
500‧‧‧圖像編碼裝置
501,601‧‧‧節點處理部
502‧‧‧編碼處理部
503‧‧‧產生部
600‧‧‧圖像解碼裝置
602‧‧‧解碼處理部
603‧‧‧再構成部
ex100‧‧‧內容供給系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務提供者
ex104‧‧‧電話線路網
ex106~ex110‧‧‧基地台
ex107‧‧‧基地台
ex111‧‧‧電腦
ex112‧‧‧PDA
ex113‧‧‧相機
ex114‧‧‧行動電話機
ex115‧‧‧遊戲機
ex117‧‧‧麥克風
ex201‧‧‧廣播台
ex202‧‧‧衛星
ex203‧‧‧電纜線
ex204‧‧‧天線
ex210‧‧‧車
ex211‧‧‧車用導航系統
ex215、ex216‧‧‧記錄媒體
ex217‧‧‧機上盒(STB)
ex218‧‧‧讀取器/記錄器
ex219‧‧‧監視器
ex220‧‧‧遙控器
ex230‧‧‧資訊軌道
ex231‧‧‧記錄區塊
ex232‧‧‧內周區
ex233‧‧‧資料記錄區
ex234‧‧‧外周區
ex235‧‧‧視訊流
ex238‧‧‧聲訊流
ex236,ex239,ex242,ex245‧‧‧PES封包列
ex237,ex240,ex243,ex246‧‧‧TS封包
ex241‧‧‧表達圖形流
ex244‧‧‧交互圖形流
ex247‧‧‧多工資料
ex300‧‧‧電視機
ex301‧‧‧調諧器
ex302‧‧‧調變/解調部
ex303‧‧‧多工/分離部
ex304‧‧‧聲音訊號處理部
ex305‧‧‧影像訊號處理部
ex306‧‧‧訊號處理部
ex307‧‧‧揚聲器
ex308‧‧‧顯示部
ex309‧‧‧輸出部
ex310‧‧‧控制部
ex311‧‧‧電源電路部
ex312‧‧‧操作輸入部
ex313‧‧‧橋接器
ex314‧‧‧插槽部
ex315‧‧‧驅動器
ex316‧‧‧數據機
ex317‧‧‧介面部
ex318、ex319‧‧‧緩衝器
ex350‧‧‧天線
ex351‧‧‧傳送/接收部
ex352‧‧‧調變/解調部
ex353‧‧‧多工/分離部
ex354‧‧‧聲音訊號處理部
ex355‧‧‧影像訊號處理部
ex356‧‧‧聲音輸入部
ex357‧‧‧聲音輸出部
ex358‧‧‧顯示部
ex359‧‧‧LCD控制部
ex360‧‧‧主控制部
ex361‧‧‧電源電路部
ex362‧‧‧操作輸入控制部
ex363‧‧‧相機I/F部
ex364‧‧‧插槽部
ex365‧‧‧相機部
ex366‧‧‧操作鍵部
ex367‧‧‧記憶體部
ex400‧‧‧資訊再生/記錄部
ex401‧‧‧光學磁頭
ex402‧‧‧調變記錄部
ex403‧‧‧再生解調部
ex404‧‧‧緩衝器
ex405‧‧‧光碟馬達
ex406‧‧‧伺服器控制部
ex407‧‧‧系統控制部
ex500‧‧‧LSI
ex501‧‧‧控制部
ex502‧‧‧CPU
ex503‧‧‧記憶體控制器
ex504‧‧‧串流控制器
ex505‧‧‧電源電路部
ex506‧‧‧串流I/O
ex507‧‧‧訊號處理部
ex508‧‧‧緩衝器
ex509‧‧‧AV I/O
ex510‧‧‧匯流排
ex511‧‧‧記憶體
ex512‧‧‧驅動頻率控制部
ex801,ex802‧‧‧解碼處理部
ex803‧‧‧驅動頻率切換部
ex900,ex1000‧‧‧構成
ex901,ex902,ex1001~ex1003‧‧‧解碼處理部
圖1係顯示參考例之圖像編碼方法之動作順序 圖。
圖2係實施形態1之圖像編碼裝置之方塊圖。
圖3係實施形態1之圖像解碼裝置之方塊圖。
圖4係顯示將實施形態1之變換單位之樹狀結構編碼之動作圖。
圖5係顯示將實施形態1之變換單位之樹狀結構之前半部分編碼之動作圖。
圖6係顯示將實施形態1之變換單位之樹狀結構之後半部分編碼之動作圖。
圖7係顯示實施形態1之圖像解碼裝置之局部詳細方塊圖。
圖8係顯示將實施形態2之變換單位之樹狀結構編碼之動作圖。
圖9A係顯示實施形態2之變換單位之樹狀結構之中將色差訊號編碼之動作圖。
圖9B係顯示實施形態2之變換單位之樹狀結構中將色差之2個成分編碼之動作圖。
圖10係顯示實施形態2之圖像解碼裝置之局部詳細方塊圖。
圖11A係顯示實施形態2之cbf之編碼之圖。
圖11B係顯示實施形態2之編碼省略之第1例之圖。
圖11C係顯示實施形態2之編碼省略之第2例之圖。
圖11D係顯示實施形態2之編碼省略之第3例之圖。
圖12係顯示將實施形態3之變換單位之樹狀結構編碼 之動作圖。
圖13A係顯示實施形態4之cbf與變換係數之編碼順序之第1例之圖。
圖13B係顯示實施形態4之cbf與變換係數之編碼順序之第2例之圖。
圖13C係顯示實施形態4之cbf與變換係數之編碼順序之第3例之圖。
圖13D係顯示實施形態4之cbf與變換係數之編碼順序之第4例之圖。
圖14係顯示將實施形態4之變換單位之樹狀結構編碼之動作圖。
圖15A係顯示實施形態4之cbf與變換係數之編碼順序之第5例之圖。
圖15B係顯示實施形態4之cbf與變換係數之編碼順序之第6例之圖。
圖16A係顯示將實施形態5之變換單位之樹狀結構編碼之動作之第1例之圖。
圖16B係顯示將實施形態5之變換單位之樹狀結構編碼之動作之第2例之圖。
圖17A係顯示實施形態6之主常式之圖。
圖17B係顯示實施形態6之子常式之圖。
圖18A係顯示實施形態6之主常式之具體例之圖。
圖18B係顯示實施形態6之子常式之具體例之圖。
圖19A係顯示實施形態6之編碼單位之語法之圖。
圖19B係顯示實施形態6之編碼單位之語法之圖。
圖20A係顯示實施形態6之變換單位之樹狀結構之語法之圖。
圖20B係顯示實施形態6之變換單位之樹狀結構之語法之圖。
圖20C係顯示實施形態6之變換單位之樹狀結構之語法之圖。
圖21係顯示實施形態6之變換單位之語法之圖。
圖22係顯示實施形態7之圖像編碼裝置之圖。
圖23係顯示實施形態7之圖像編碼裝置之動作圖。
圖24係顯示實施形態7之圖像解碼裝置之圖。
圖25係顯示實施形態7之圖像解碼裝置之動作圖。
圖26係實現內容發送服務之內容供給系統之整體構成圖。
圖27係數位播放用系統之整體構成圖。
圖28係顯示電視機之構成例之方塊圖。
圖29係顯示在光碟之記錄媒體進行資訊讀寫之資訊再生/記錄部之構成例之方塊圖。
圖30係顯示光碟之記錄媒體之構成例之圖。
圖31A係顯示行動電話機一例之圖。
圖31B係顯示行動電話機之構成例之方塊圖。
圖32係顯示多工資料之構成圖。
圖33係模式地顯示各串流如何在多工資料進行多工處理之圖。
圖34係更進一步詳細顯示在PES封包列如何儲存視訊流之圖。
圖35係顯示多工資料中之TS封包及原始封包之構造圖。
圖36係顯示PMT之資料構成圖。
圖37係顯示多工資料資訊之內部構成圖。
圖38係顯示串流屬性資訊之內部構成圖。
圖39係顯示識別影像資料之步驟圖。
圖40係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路之構成例之方塊圖。
圖41係顯示將驅動頻率進行切換之構成圖。
圖42係顯示識別影像資料且切換驅動頻率之步驟圖。
圖43係顯示將影像資料之規格與驅動頻率對應之查找表一例之圖。
圖44A係顯示共有訊號處理部之模組之一構成例之圖。
圖44B係顯示共有訊號處理部之模組之另一構成例之圖。
較佳實施例之詳細說明 (成為本發明之基礎之知見)
本發明人係發現有關於將圖像編碼之圖像編碼方法之課題。以下具體說明之。
為壓縮聲音資料及動態圖像資料，而開發了多種聲音編碼規格及動態圖像編碼規格。動態圖像編碼格之例 舉例有被稱為H.26x之ITU-T規格、及被稱為MPEG-x之ISO/IEC規格。最新的動態圖像編碼規格為被稱為H.264/MPEG-4AVC之規格。又，近年來檢討著被稱為HEVC(High Efficiency Video Coding)之下一世代之編碼規格。
圖1係顯示將變換單位之分割資訊、顯示有無變換係數之旗標(cbf)、及變換單位之變換係數等編碼之方法之流程圖。
另，變換係數有時會以與後面記載之量化係數及頻率係數相同意思使用，又，有時會記載成如區塊變換係數、BlockCoeff或block_coeff等。又，變換單位有時會記載成TU或Transform Unit(變換單位)。又，變換單位之分割資訊有時會記載成TUS或者是分割變換旗標(split_transform_flag)。具體來說，變換單位之分割資訊係顯示是否分割變換單位之旗標。
處理對象之圖片或訊框係以16×16之相同大小的巨方塊且按光柵掃描順序編碼。圖像編碼裝置係於處理對象之巨方塊中(S101)，可選擇4×4大之正交變換(頻率變換)或者是8×8大之正交變換(S102)。顯示轉換的尺寸之旗標例如表現為變換尺寸旗標(transform_size_flag)。
變換尺寸較巨方塊來得小，因此圖像編碼裝置係按Z字形掃描順序依序將區塊變換(S103)。在此，將變換用的單位稱為變換單位(TU：Transform Unit)。對巨方塊，使cbf編碼(S104)。依cbf之真偽，改變處理(S105)。在cbf為真時，使變換單位之變換係數編碼(S106)。在cbf為偽時，變 換係數未被編碼。圖像編碼裝置係以變換單位之個數部分重複該處理。
為提昇編碼效率，變換單位之尺寸與對應於巨方塊之編碼單位之尺寸為可適應地變更者佳。惟，按該等尺寸之適應性的變更，有時會增加運算量。
在此，本發明一態樣之圖像編碼方法包含有：對樹狀結構之節點進行節點處理，該樹狀結構具有分割與上代節點對應之圖像區塊而所得到之多數圖像區塊各對應於子節點之關係；及進行編碼處理，將與前述樹狀結構之葉節點對應之圖像區塊、或者是與前述葉節點之上代節點對應之圖像區塊之頻率係數編碼；在前述進行節點處理之步驟中，在已對具有子節點之上代節點進行前述節點處理時，將與前述子節點對應之圖像區塊之位置、及與前述上代節點對應之圖像區塊之位置提供至前述節點處理之引數，且對前述子節點遞迴呼叫前述節點處理；在已對葉節點進行前述節點處理時，將與前述葉節點對應之圖像區塊之位置、及與前述葉節點之上代節點對應之圖像區塊之位置提供至前述編碼處理之引數，呼叫前述編碼處理。
藉此，即使在上代節點之圖像區塊之頻率係數編碼時，亦能省略算出圖像區塊之位置。因此可刪減圖像之編碼中的運算量。
例如，前述圖像編碼方法亦可更含有下列步驟：對與前述樹狀結構之葉節點對應之圖像區塊、或者是與前述葉節點之上代節點對應之圖像區塊之像素值、與預測像 素值間之預測誤差進行頻率變換及量化，藉此產生前述頻率係數；在前述進行編碼處理之步驟中，將所產生之前述頻率係數編碼。
藉此可使對應於預測誤差之頻率係數編碼。因此使編碼效率提昇。
又，例如，亦可在前述進行編碼處理之步驟中，在與前述葉節點對應之圖像區塊為已事先訂定之最小尺寸時，且與前述葉節點對應之圖像區塊之色差值之資料值較亮度值之資料量少時，使用已提供至前述編碼處理之引數之與前述葉節點之上代節點對應之圖像區塊之位置，界定與前述上代節點對應之圖像區塊，且將與前述上代節點對應之圖像區塊之色差值之前述頻率係數編碼。
藉此，在滿足預定條件時，能使上代節點之圖像區塊之頻率係數編碼。在如此情況時，亦可省略圖像區塊之位置之算出。因此，可刪減圖像之編碼中之運算量。
又，例如，在前述進行節點處理之步驟，對具有與圖像之前述編碼單位對應之根節點、及與前述編碼單位之亮度值之變換單位對應之葉節點之前述樹狀結構之節點進行前述節點處理。
藉此，能根據圖像所含之編碼單位及編碼單位所含之變換單位，適當地進行處理。
又，本發明一態樣之圖像解碼方法包含有：對樹狀結構之節點進行節點處理之步驟，該樹狀結構具有分割與上代節點對應之圖像區塊而所得到之多數圖像區塊各對 應於子節點之關係；及進行解碼處理之步驟，係將與前述樹狀結構之葉節點對應之圖像區塊或者是與前述葉節點之上代節點對應之圖像區塊之頻率係數解碼；在前述進行節點處理之步驟中，在已對具有子節點之上代節點進行前述節點處理時，將與前述子節點對應之圖像區塊之位置及與前述上代節點對應之圖像區塊之位置提供至前述節點處理之引數，對前述子節點遞迴呼叫前述節點處理；在已對葉節點進行前述節點處理時，將與前述葉節點對應之圖像區塊之位置及與前述葉節點之上代節點對應之圖像區塊之位置提供至前述解碼處理之引數，呼叫前述解碼處理。
藉此，在使上代節點之圖像區塊之頻率係數解碼時，亦能省略圖像區塊之位置之算出。因此可刪減圖像之解碼中之運算量。
例如，前述圖像解碼方法亦可更含有下列步驟，即，對已解碼之前述頻率係數進行反量化及反頻率變換而所得到之預測誤差與預測像素值相加，藉此再構成與前述樹狀結構之葉節點對應之圖像區塊或者是與前述葉節點之上代節點對應之圖像區塊之像素值。
藉此，經由反量化、反頻率變換及預測等，可由已解碼之頻率係數適當地再構成像素值。
又，例如，在前述進行解碼處理之步驟中，在與前述葉節點對應之圖像區塊為已事先訂定之最小尺寸時，且，與前述葉節點對應之圖像區塊之色差值之資料量較亮度值之資料量少時，使用已提供至前述解碼處理之引數之 與前述葉節點之上代節點對應之圖像區塊之位置，界定與前述上代節點對應之圖像區塊，且將與前述上代節點對應之圖像區塊之色差值之前述頻率係數解碼。
藉此，在滿足預定條件時，能使上代節點之圖像區塊之頻率係數解碼。在如此情況時，亦可省略圖像區塊之位置之算出。因此，可刪減圖像之解碼中之運算量。
又，例如亦可在前述進行節點處理之步驟中，對具有與圖像之編碼單位對應之根節點及與前述編碼單位之亮度值之變換單位對應之葉節點之前述樹狀結構之節點進行前述節點處理。
藉此，根據圖像所含之編碼單位及編碼單位所含之變換單位，可適當地進行處理。
進而，該等概括性或具體的態樣亦可藉系統、裝置、積體電路、電腦程式或電腦可讀取之CD-ROM等之非暫時性的記錄媒體實現，亦可藉系統、裝置、積體電路、電腦程式及記錄媒體之任意的組合實現。
以下，一邊參考附圖，一邊說明本發明之實施形態。此外，以下說明之實施形態每一者是顯示概括性或具體的例子。在以下的實施形態所示之數值、形狀、材料、構成要素、構成要素之配置位置及連接形態、步驟、步驟的順序等只是例子罷了，並非是限定本發明之主旨者。又，以下的實施形態中之構成要素中，針對未記載於顯示最上位概念之獨立請求項之構成要素，乃作為任意的構成要素來說明。
又，對同樣的構成要素或者是同樣的步驟，在附圖中分配相同的符號，藉此省略重複的說明。
又，在此，主要記載著編碼的處理，但將編碼改讀成解碼，藉此解碼的處理亦與編碼之處理同樣實現。即，可將編碼改讀成解碼。反之，亦可將解碼改讀成編碼。
(實施形態1)
圖2係顯示本實施形態之圖像編碼裝置之方塊圖。減法部110係產生輸入訊號與預測訊號之差值訊號之預測誤差訊號(變換輸入訊號)，且輸出至變換部120。變換輸入訊號係於變換部120進行頻率變換，作為變換輸出訊號輸出。變換部120係將顯示各種資訊之輸入訊號或者是對輸入訊號施有某處理之變換輸入訊號由空間域轉換成頻率域，輸出減輕相關之變換輸出訊號。
量化部130係將由變換部120所輸出之變換輸出訊號量化，輸出總資料量少之量化係數。熵編碼部190係使用熵編碼演算法而將由量化部130所輸出之量化係數編碼，輸出使冗長性更為壓縮之編碼訊號。反量化部(iQ)140係將量化係數反量化，且輸出解碼變換輸出訊號，反變換部(iT)150係將解碼變換輸出訊號反變換，產生解碼變換輸入訊號。
解碼變換輸入訊號係於加法部160，而與預測訊號相加，得到一解碼訊號。解碼訊號係儲存至記憶體170。預測部180係根據預測方法而由記憶體170取得預定的訊號，且根據預測方法產生預測訊號。圖像編碼裝置係於預 測部180，決定最大的編碼效率之預測方法，且輸出預測方向資訊。預測方法資訊有必要時可在熵編碼部190中進行熵編碼。
反量化部140、反變換部150、加法部160、記憶體170、及預測部180是在圖像解碼裝置也有設置之構成。解碼訊號亦被稱為再生圖像訊號。
圖3係顯示本實施形態之圖像解碼裝置之方塊圖。熵解碼部200係對所輸入之編碼訊號進行熵解碼，且輸出量化係數及預測方法(包括面內預測模式等)。量化係數係藉反量化部140進行反量化，作為解碼變換輸出訊號，而輸入至反變換部150。反變換部150係將解碼變換輸出訊號進行反變換，產生解碼變換輸入訊號。解碼變換輸入訊號係藉加法部160，而與預測訊號相加。藉此得到解碼訊號。
解碼訊號為在圖像解碼裝置所得到之再生圖像訊號，由圖像解碼裝置輸出並儲存至記憶體170。預測部180係根據預測方法而由記憶體170取得預定訊號，且根據預測方法產生預測訊號。
圖4係顯示有無本實施形態之變換單位之分割資訊、變換係數之旗標(cbf)、及顯示將變換單位之變換係數等編碼之方法之資料順序。該編碼係藉諸如圖像編碼裝置之熵編碼部190所進行。
因應變換尺寸之軟選擇，以樹狀結構表現變換單位之分割。該樹狀結構係具有變換單位之分割資訊(TUS)，作為節點。分割資訊例如為顯示是否進行分割之旗標。
圖像編碼裝置係將於藉分割圖片或訊框而所得到之編碼單位(CU：Coding Unit)中(S111)，以TUS之樹狀結構，將變換尺寸等之資訊編碼(S112)。又，圖像編碼裝置係於TUS之樹狀結構之編碼中，將顯示有無變換單位之變換係數之cbf編碼。以下有將該處理記載為變換分割樹(transform_split_tree)的時候。
其次，依照以TUS之數狀結果所表現之變換尺寸、變換單位之位置資訊及前述之cbf，而將變換係數編碼(S113)。以下有將該處理記載為變換係數樹(transform_coeff_tree)的時候。
圖像編碼裝置係對圖片內之編碼單位重複該等之處理(S114)。圖像編碼裝置係藉樹狀結構之表現，可因應圖像之特徵等，柔軟地變更編碼單位所含之變換單位之尺寸。另，cbf亦可在s113進行編碼，而不是在S112。
圖5係顯示將前述之TUS之樹狀結構編碼之動作(S112：transform_split_tree)。變換分割樹(transform_split_tree)之動作被遞迴定義(S121)。將樹狀結構之遞迴等級叫做變換深度(TransformDepth)或者是TrD。
圖像編碼裝置係於處理對象之TrD中，將TUS(分割變換旗標；split_transform_flag)編碼(S122)。其次，色差的變換係數之資料量有變成零之傾向，因此圖像編碼裝置係對分割前之區塊，將顯示有無色差之變換係數之旗標(cbf_chroma)編碼(S124)。
另，亦可使TUS與cbf_chroma之編碼順序對調。 圖像編碼裝置係較TUS先對cbf_chroma編碼，可使迄至得到TUS之後再進行是否參考TUS進行下一次的分割之判斷(S125)為止之等待時間縮短。為此，能將TUS儲存在高速之快取記憶體等。因此，可刪減容量大之記憶體以及能達成速度之提昇。
又，較TUS先對cbf_chroma編碼之事係指在進行分割之前先將變換單位之變換係數之有無編碼之意，指以更大的尺寸將變換單位之變換係數之有無編碼者。色差是較亮度更難出現變換係數，利用較大的尺寸，有使編碼效率提高之趨勢。為此，圖像編碼裝置係以較大的尺寸傳送cbf_chroma(較TUS之前編碼)。藉此，有使編碼效率提昇之可能性。
繼續圖5之說明。圖像編碼裝置係進行參考TUS而判斷是否進一步將處理對象之變換單位分割之判斷(S125)。圖像編碼裝置係於更進一步進行分割時，將變換單位空間性地做四分割，對各區域，遞迴進行變換分割樹(transform_split_tree)之處理(S129)。反之，圖像編碼裝置係於對處理對象之變換單位不再分割處理對象之變換單位時，針對亮度，將顯示有無變換單位之變換係數之旗標(cbf_luma)編碼(S126)。
以上在此結束末端之處理(S130)，將處理轉移至遞迴性呼叫之上位(樹狀結構之末端節點之上代節點)。針對編碼單位內之全部的區域，俟變換尺寸及cbf等被編碼之後，結束變換分割樹(transform_split_tree)之動作。
圖6係顯示根據前述之TUS及cbf而將變換係數編碼之動作(S113：變換係數樹(transform_coeff_tree))之圖。
變換係數樹(transform_coeff_tree)之動作被遞迴定義(S131)。以已事先編碼之TUS之真偽，使遞迴等級之變換係數樹(transform_coeff_tree)之動作改變(S132)。
在TUS為真時，圖像編碼裝置係將變換單位空間性地做四分割，針對各區域，遞迴性地進行變換係數樹(transform_coeff_tree)的處理(S137)。
反之，在不分割處理處理對象之變換單位時，藉已事先得到之cbf_luma，使動作改變。在cbf_luma為真時，將亮度的變換係數編碼(S134)。其次，藉已事先得到之cbf_chroma，使動作改變。在cbf_chroma為真時，使色差的變換係數編碼(S136)。
以上在此結束末端的處理(S138)，將處理轉移至遞迴性呼叫之上位(樹狀結構之末端節點之上代節點)。針對編碼單位內之全部的區域，在TUS之樹狀結構之橫移(traverse)(搜尋或循環)結束之後，在變換係數之編碼結束時，完成變換係數樹之動作。
此外，在圖4、圖5及圖6之動作流程之說明中，編碼亦可改讀成解碼。藉此，可得到藉圖像解碼裝置所進行之圖像解碼方法之動作流程。
圖7係顯示本實施形態之圖像解碼裝置之局部詳細方塊圖。因並編碼訊號之種類，可選擇性地切換處理。已編碼之TUS及已編碼之cbf係於分叉部311(DeMux部等) 中被選擇，輸出至變換分割樹(transform_split_tree)解碼部312。變換分割樹(transform_split_tree)解碼部312係遞迴性地將樹狀結構循環，並輸出TUS及cbf。
TUS係儲存在暫時記憶體之TUS記憶體313。TUS記憶體313中儲存有編碼單位內之全部的TUS。又，cbf係儲存至另一暫時記憶體之cbf記憶體314。cbf記憶體314中儲存有編碼單位內之全部的cbf。
在完成編碼單位之TUS及cbf之解碼之後，其次，分叉部311係將已編碼之變換係數輸出至變換係數樹(transform_coeff_tree)解碼部315。變換係數樹解碼部315係由前述之TUS記憶體313讀出TUS，按TUS橫移，由前之cbf記憶體314讀出cbf。然後，變換係數樹(transform_coeff_tree)解碼部315係對已編碼之變換係數與cbf為之變換單位付予關係。
已編碼之變換係數係由變換係數樹(transform_coeff_tree)解碼部315輸出至區塊變換係數解碼部316，並進行熵解碼。藉此，輸出變換係數。變換係數係藉反量化部140進行反量化。接著，輸出解碼變換輸出訊號。解碼變換輸出訊號係藉反變換部150進行反變換。然後輸出解碼變換輸入訊號。
本實施形態之圖像編碼裝置係使用樹狀結構，可將花在變換單位之變換係數等之編碼之負擔(overhead)減少。又，對變換分割樹(transform_split_tree)及變換係數樹(transform_coeff_tree)，能分別個自進行動作速度之最適化 等。
(實施形態2)
圖8係顯示將顯示有無本實施形態之變換單位之分割資訊、變換係數等編碼之方法之資料順序。
圖像編碼裝置係於圖片及訊框之編碼之單位之CU(Coding Unit)中，以TUS之樹狀結構而將變換單位之尺寸編碼。又，圖像編碼裝置係於TUS之樹狀結構之編碼中，將顯示有無變換單位之變換係數之cbf編碼。在TUS之樹狀結構之末端中，當變換單位之cbf為真時，使變換係數編碼。
該等資訊之編碼係根據與處理對象之變換深度(TransformDepth)中之動作對應之變換統一樹(transform_unified_tree)說明(S141)。
首先，在處理對象之變換深度(TransformDepth)中，使顯示是否分割區塊之TUS(split_transform_flag；分割變換旗標)編碼(S122)。其次，根據TUS，使動作改變(S125)。在TUS為真時，圖像編碼裝置係將變換單位進一步空間性地分割成4個區域，對各區域，分別遞迴呼叫變換統一樹(transform_unified_tree)。在TUS為偽時，圖像編碼裝置不進行分割，且進行樹狀結構之末端之處理。
此時，藉於變換統一樹(transform_unified_tree)內之已編碼之cbf_luma之真偽，使動作改變(S133)。只在cbf_luma為真時，圖像編碼裝置係將亮度之變換係數編碼(S134)。其次，以變換統一樹(transform_unified_tree)內已編碼之cbf_chroma之真偽，使動作改變(S135)。只有在 cbf_chroma為真之時，圖像編碼裝置係將色差的變換係數編碼(S136)。
以上在此結束末端的處理(S149)，使處理轉移至遞迴呼叫之上位(樹狀結構之末端節點之上代節點)。俟於針對編碼單位內之全部的區域表現了變換尺寸及cbf等之時，變換統一樹(transform_unified_tree)之動作完了。
與實施形態1之動作順序不同處在於TUS之樹狀結構除了cbf外，還在該末端將變換係數編碼。在實施形態1之方法中，進行變換分割樹(transform_split_tree)及變換係數樹(transform_coeff_tree)之2種樹狀結構之編碼及2種樹狀結構之切移。在本實施形態2之方法中，只對1個樹狀結構進行動作。為此，能減輕裝置及方法中之處理量。
圖9A及圖9B係顯示與色差之cbf及變換係數有關之動作之局部省略圖。圖9A係對應於圖8。以變換統一樹(transform_unified_tree)內之某一處的時序，將cbf_chroma編碼(S124)。之後，或許進行幾個步驟，但只有在cbf_chroma為真的時候(在S135，是)，使變換單位之色差之變換係數編碼(S136)。
在圖9A中，為簡化說明，並沒有區別色差之Cb成分及色差之Cr成分。實際上，該等成分，是像圖9B所示予以區別。在變換統一樹(transform_unified_tree)內之某處，將顯示有無色差之Cb成分之變換係數之旗標(cbf_cb)編碼(S128cb)，又，將變換統一樹(transform_unified_tree)內之某處，將顯示有無色差之Cr成分之變換係數之旗標 (cbf_cr)編碼(S128cr)。
之後，或許進行幾個步驟，但只有在cbf_cb為真的時候(在S135cb，是)，將色差之Cb成分之變換係數編碼(S136cb)。然後，只有在cbf_cr為真的時候(在S135cr，是)，將色差之Cr成分之變換係數編碼(S136cr)。
圖10係實施形態2之圖像解碼裝置之方塊圖。已編碼之TUS、cbf及變換係數，即，變換統一樹(transform_unified_tree)之編碼訊號係輸出至變換統一樹(transform_unified_tree)解碼部320。
變換統一樹(transform_unified_tree)解碼部320係依照TUS之樹狀結構，將變換單位之尺寸及位置解碼，又，適當地將cbf解碼。其次，變換統一樹(transform_unified_tree)解碼部320係輸出針對cbf為真之變換單位而編碼之變換係數。所輸出之變換係數係藉區塊變換係數解碼部316進行熵解碼。然後，使所解碼之變換係數輸出。
圖7之構成與圖10之構成之不同處在於圖10之構成中，未使用有TUS記憶體313及cbf記憶體314者。即，在圖10之構成中，能達成記憶體之刪減。
此外，cbf_chroma、cbf_luma、cbf_cb及cbf_cr等之旗標之編碼係於預定之條件下亦可省略。藉此，可刪減資料量。
圖11A係顯示在4分割之區域使cbf旗標分別被編碼之通常情況。其次，圖11B係顯示編碼之省略一例。在該4區塊之其中一者具有變換係數時，且，在左上、右下及左 下的cbf全部為0時，最後的右下的區塊之cbf為1。此時，右下的cbf即使不被編碼，亦能界定右下的cbf。因此，能省略右下之cbf之編碼。
以另一例來說，圖11C係顯示處理對象之變換深度(TransformDepth)=d之4個區塊之cbf及該上位之變換深度(TransformDepth)=d-1之區塊之cbf。在上位之TrD=d-1之區塊之cbf為1時，該區塊之分割後之下位之TrD=d之4個區塊之至少其中一者具有變換係數。即，任一者之cbf為1。
此時，與圖11B同樣，TrD=d中之左上、右上及左下之區塊之cbf為0時，右下之區塊之cbf就被界定為1。因此，能省略右下之區塊之cbf之編碼。
同樣，圖11D係顯示較cbf_luma而cbf_chroma先被編碼，依附於cbf_luma之例。在TrD=d之4個區塊之cbf_luma之中，在左上、右上及左下的cbf_luma為0時，且上位之2個cbf_chroma為0時，右下之區塊之cbf_luma就被界定為0。因此，能省略右下之區塊之cbf_luma之編碼。
如此有能對cbf省略之情況。在進行cbf之編碼之際，亦可將附有如此條件之省略予以組合。
在本實施形態中，以1個樹狀結構而將顯示變換單位之尺寸、位置及變換係數等之資訊編碼。因此，能刪減記憶體及處理步驟。
此外，在圖8、圖9A及圖9B之動作順序之說明中，編碼亦可改讀成解碼。藉此，能得到圖像解碼裝置及圖像解碼方法之動作順序。
(實施形態3)
圖12係顯示將本實施形態之變換單位之分割資訊、顯示變換係數之有無之旗標(cbf)、及變換單位之變換係數等編碼之方法之資料流程圖。在處理對象之變換深度(TransformDepth)中之動作係藉變換統一樹(transform_unified_tree)顯示(S141)。
在處理對象之變換深度(TransformDepth)中，使顯示是否分割區塊之TUS(split_transform_flag；分割變換旗標)編碼(S122)。其次，圖像編碼裝置係將cbf_chroma編碼(S124)。接著，根據TUS，使動作改變(S125)。
在TUS為真時，圖像編碼裝置係將變換單位更進一步空間性地分割成4個區域，對各區域遞迴呼叫變換統一樹(transform_unified_tree)。在TUS為偽時，不進行變換單位之分割。即，此時，變換單位為末端節點。
其次，圖像編碼裝置係將cbf_luma編碼(S126)。接著，只有在cbf_luma為真的時候(S133)，圖像編碼裝置係將亮度之變換係數編碼(S134)。再者，只有在cbf_chroma為時(S135)，圖像編碼裝置將色差之變換係數編碼(S136)。
以上，結束末端之處理(S149)，使處理轉移至遞迴性的呼叫之上位(樹狀結構之末端節點之上代節點)。在針對編碼單位內之全部區域已使變換尺寸及cbf等編碼時，變換統一樹(transform_unified_tree)之動作完了。
由於色差之變換係數有不發生之趨勢，與chroma對應之cbf係於區塊之分割(S125)之後，比起在末端被編 碼，在區塊之分割(S125)之前編碼較有效率。分割後之cbf之編碼亦可省略。藉此，可減輕cbf之資訊量。
此外，圖12之動作順序係於說明中，將編碼改讀成解碼，可得到圖像解碼裝置及圖像解碼方法之動作順序。
(實施形態4)
圖13A係顯示處理對象之變換深度(TransformDepth)(TrD)中之cbf與變換係數之編碼順序之圖。圖13A中之數據表示編碼順序。圖13A顯示luma之變換區塊之個數與chroma之變換區塊之個數相同時之例。圖13A之例係對應於實施形態1所示之例。將實線的4個正方形連結的單位係藉TUS進行4分割。圖像編碼裝置係於分割前將色差之cbf編碼。為此，分割前之cbf是以虛線的一個正方形顯示。
圖像編碼裝置係以上位等級(TrD-1)而將色差之cbf編碼。為此，圖像編碼裝置首先將cbf_cb(TrD-1、Blk=0)及cbf_cr(TrD-1、Blk=0)編碼。接著，圖像編碼裝置係針對處理對象之TrD中之左上區塊，以cbf_cb(TrD、Blk=0)、cbf_cr(TrD、Blk=0)、cbf_luma(TrD、Blk=0)的順序而將該等編碼。接著，圖像編碼裝置係將右上、左下及右下之區塊之cbf編碼。
此時，具體上，圖像編碼裝置係以cbf_cb(TrD、Blk=1)、cbf_cr(TrD、Blk=1)、cbf_luma(TrD、Blk=1)、cbf_cb(TrD、Blk=2)、cbf_cr(TrD、Blk=2)、cbf_luma(TrD、Blk=2)、cbf_cb(TrD、Blk=3)、cbf_cr(TrD、Blk=3)、cbf_luma(TrD、Blk=3)之順序將該等編碼。
上述之Blk之數字表示區塊之空間性的位置，以Z字順序決定。左上之區塊為Blk=0，右上之區塊為Blk=1，左下之區塊為Blk=2，右下之區塊為Blk=3。在全部的cbf之編碼之後，接連著使變換係數(block_coeff)編碼。
具體來說，圖像編碼裝置係以block_coeff(luma、Blk=0)、block_coeff(cb、Blk=0)、block_coeff(cr、Blk=0)、block_coeff(luma、Blk=1)、block_coeff(cb、Blk=1)、block_coeff(cr、Blk=1)、．．．、block_coeff(cr、Blk=3)之順序將該等編碼。
圖像編碼裝置係較色差之變換係數而優先地將亮度之變換係數編碼。這是因為預測模式中有根據亮度訊號之解碼結果而產生預測參數後進行色差訊號之預測之模式(LM模式)之緣故。藉較色差之變換係數還早將亮度之變換係數編碼，可使變換係數之編碼順序與LM模式中之處理順序一致。因此，能獲得可將用以對調順序之追加的記憶體等省略之好處。
此外，再任一遞迴等級(TrD)，順序都同樣。為此，在上述，針對變換係數，省略了遞迴等級之具體記載。
圖13B係顯示亮度之變換區塊之個數與色差之變換區塊之個數相同時之編碼順序之圖，對應於實施形態2以降之例。cbf與變換係數在相同的樹狀結構中被編碼，因此在cbf之後，與該cbf對應之變換係數較能馬上被編碼。
例如，在cbf_luma(Blk=0)、cbf_cb(Blk=0)、cbf_cr(Blk=0)之後，對應該3個區塊之block_coeff(luma、 Blk=0)、block_coeff(cb、Blk=0)、block_coeff(cr、Blk=0)被編碼。此事意指在圖像解碼裝置中，可將暫時儲存cbf之記憶體尺寸縮小者。
又，在圖13A之例中，圖像編碼裝置若不確定全部之區塊之cbf時，不能將變換係數儲存在串流。為此，或許有必要用以儲存在編碼單位中較前面的被處理之變換單位之變換係數之大尺寸的記憶體。如此之課題係於圖13B之例中可予以解決。
圖13C係顯示亮度之變換區塊之個數與色差之變換區塊之個數相同時之編碼順序之圖，在cbf之後馬上將與該cbf對應之變換係數編碼時之編碼順序之例。在該例中，cbf或變換係數用之暫時性記憶體之尺寸亦可更小於圖13B之例。
具體來說，圖像編碼裝置係以cbf_cb(TrD、Blk=0)、block_coeff(cb、Blk=0)、cbf_cr(TrD、Blk=0)、block_coeff(cr、Blk=0)、cbf_luma(TrD、Blk=0)、block_coeff(luma、Blk=0)、．．．、block_coeff(luma、Blk=3)之順序將該等編碼。
圖13D係顯示色差之變換區塊之個數較亮度之變換區塊之個數少時之編碼順序之圖。例如，在4：2：0格式中，色差訊號之像素值係於縱向及橫向為亮度訊號之像素值之一半。在正交變換部及反正交變換部中，最小的尺寸限制在一定的尺寸。為此，在變換單位為最小的尺寸時(在變換尺寸(TransformSize)為MinTrafoSize時)，對於亮度之4個變換單位有相當於對於色差之1個變換單位之可能性 存在。
圖13D係顯示在上述狀況下之編碼順序。圖像編碼裝置一開始先將上位等級之色差(色差值)之cbf編碼，接著以Z字形順序將亮度(亮度值)之4個區塊編碼。此時，圖像編碼裝置針對4個區塊分別在cbf之後馬上將變換係數編碼。最後，圖像編碼裝置將色差的1個區塊之變換係數編碼。
該編碼順序之優點在於針對亮度，cbf之編碼與變換係數之編碼之間隔小，因此可將暫時性記憶體之尺寸縮小。針對色差，cbf之編碼與變換係數之編碼之間隔稍大，但色差之資訊量有較亮度之資訊量少之可能性，能期待影響小之情況。又，圖13D之編碼順序係於如LM模式般使用亮度而預測色差時亦有效。
圖14係顯示本實施形態之變換單位之分割資訊、變換係數之有無之旗標(cbf)、及將變換單位之變換係數等編碼之方法之資料流程圖。處理對象之變換深度(TransformDepth)中之動作係藉圖8或者是圖12之變換統一樹(transform_unified_tree)顯示。圖14係顯示在變換統一樹(transform_unified_tree)之中與cbf及變換係數有關之部份。
處理對象之TrD中之cbf之編碼(S151)係針對藉分割所得到之4個變換單位分別進行(S152)。對4個變換單位，以Z字形順序對應有Blkidx。首先，圖像編碼裝置係將cbf_luma編碼(S126)。接著，圖像編碼裝置判斷cbf_chroma(cbf_cb及cbf_cr)是否編碼。
若亮度之變換單位之個數與色差之變換單位之 個數相同時，圖像編碼裝置係將cbf_chroma編碼。該條件亦可在比起最小尺寸(MinTrafoSize)，現在的TrD中之亮度之變換尺寸(TrafoSize)是否較大(TrafoSize>MinTrafoSize)，亦可判斷。該條件亦可與其他結果性等價的條件下判斷。
又，在色差之變換單位之個數少的時候，圖像編碼裝置亦於亮度之編碼之後將色差編碼。在4分割時，以Blkidx=3，結束4個變換單位之cbf_luma之編碼。因此，在Blkidx=3時，圖像編碼裝置判斷進行cbf_chroma之編碼。總而言之，在(Trafosize>MinTrafoSize)∥(Blkidx==3)時，圖像編碼裝置判斷在亮度編碼之後將色差編碼者(S153)。
圖像編碼裝置只在已判斷將色差編碼時(在S153，是)，將cbf_cb編碼(S128cb)，將cbf_cr編碼(S128cr)。然後，圖像編碼裝置係對4個區塊全部進行處理(S154)。
在cbf之編碼後，亦可進行一些處理。之後，圖像編碼裝置係將變換係數編碼(S155)。與cbf時同樣，圖像編碼裝置係按順序處理4個區塊(S156)。只在cbf_luma為真時(S133)，圖像編碼裝置係將亮度之變換係數編碼(S134)。
其次，圖像編碼裝置係進行與S153同樣之判斷，判斷是否將色差之變換係數編碼(S157)。在上述之判斷為真時(在S157，是)，且只在cbf_cb為真時(在S135cb，是)，圖像編碼裝置係將色差之Cb成分之變換係數編碼。又，圖像編碼裝置係於上述之判斷為真時(在S157，是)，且只在cbf_cr為真時(在S135cr，是)，將色差之Cr成分之變換係數 編碼。
在本實施形態中，使cbf之編碼簡化。此外，在圖14之動作順序之說明中將編碼改讀成解碼，便得到圖像解碼裝置及圖像解碼方法之動作順序。又，將圖13A、13B、13C及13D之編碼順序之說明中之編碼改讀成解碼，就能得到解碼順序。又，編碼順序及解碼順序係對應於編碼資料中之配置順序。
又，圖15A及圖15B係顯示比起亮度而先將色差之cbf及變換係數編碼之例。為使cbf之編碼省略，而在間預測中，chroma_cbf有比luma_cbf之前編碼之情況。使圖15A及圖15B所示之順序整合至此時之順序。為此，可使圖像編碼裝置及圖像解碼裝置之動作簡化。
(實施形態5)
圖16A係顯示與差值量化參數之delta_QP之編碼有關之動作順序。圖16A之動作順序大致與圖12之動作順序相同。以下只說明不同點。
圖像編碼裝置係於全部的cbf之編碼後再將delta_QP編碼。具體來說，圖像編碼裝置係於cbf_chroma及cbf_luma之編碼(S124及S126)之後，且，在變換係數之編碼(S134及S136)之前將delta_QP編碼(S154)。
例如，圖像解碼裝置亦可在變換係數之解碼之後馬上使用管線處理，進行反量化。此時，以上述之編碼順序將用以決定量化參數之delta_QP編碼不會造成無謂的延遲及記憶體的增加，因此妥當。
此外，delta_QP亦可在編碼單位所含之多數變換單位之中，只在使cbf_luma或者是cbf_chroma最初成為真之變換單位時進行編碼。這是因為在以在這以上之次數將delta_QP編碼時，會使編碼量增加太多之緣故。藉減少delta_QP之編碼之次數，而使編碼減少。
圖16B係顯示以變換樹(transform_tree)之前頭，將delta_QP編碼之例。此時，圖像解碼裝置能早期決定在反量化部所使用之量化參數，且可早期進行反量化部之起動處理。delta_QP亦可不始終編碼。例如，在編碼單位中，亦可只在no_residual_data為真時，使delta_QP編碼。藉此，可使資料量刪減。
在此，no_residual_data意指在編碼單位內完全沒有變換係數存在之旗標。no_residual_data係較編碼單位內之最初之分割變換旗標(split_transform_flag)之前編碼。
此外，在圖16A及圖16B之動作順序之說明中，將編碼改讀成解碼，能得到圖像解碼裝置及圖像解碼方法之動作順序。
(實施形態6)
圖17A及圖17B係顯示本實施形態中之變換單位之分割資訊、變換係數之有無之旗標(cbf)、及、將變換單位之變換係數等編碼之方法之資料流程圖。在圖17A中，處理對象之變換深度(TransformDepth)(遞迴等級)中之動作當作為變換統一樹(transform_unified_tree)顯示(S141)。
與上述之實施形態主要不同之處在於變換係數 之編碼之處理(S133、S134、S135及S136)為子常式(統一變換單位處理：transform_unified_unit)而分離者。由圖17A所示之主常式呼叫圖17B所示之子常式(S178)。
在該情況時，亦與上述實施形態同樣，可獲得將cbf及TUS之資訊暫時地儲存之記憶體尺寸之縮減、處理步驟之簡化、及橫移之次數的刪減等之效果。即，能獲得與上述實質上相同之效果。
此外，S126之處理亦可移動到變換統一樹(transform_unified_unit)。即，樹狀結構之末端節點之處理全部亦可以子常式下定義。又，亦可使delta_QP在變換統一樹(transform_unified_unit)之中編碼。藉使用子常式，可獲得實質上相同之效果，並藉處理之分離，可期待設計上的省力化、及測試工時之減輕等。
圖18A及圖18B係顯示分割資訊、cbf及變換係數之編碼之動作流程圖。進而，在圖18A及圖18B顯示有圖像區塊之空間性位置之資訊。圖像區塊之空間性位置之資訊係使用在於管線處理中用以界定處理對象之資料者。為此，如圖18A，在處理之引數提供位置之資訊。
尤其是在遞迴等級(變換深度(TransformDepth))已達到預定之遞迴等級(MinTrafoDepth)時，色差之區塊之變換係數有4次只能輸出1次之可能性。又，使用在色差之變換係數之編碼之區塊之空間性位置不是4分割後之區塊之位置，有可能是4分割前之區塊之位置。在此，對變換統一樹(transform_unified_tree)及變換統一單元(transform_ unified_unit)分別提供2個位置之資訊。
具體來說，2個位置之中，第1位置係將區塊4分割而所得到之4個區塊之中之處理對象之區塊的位置。第2位置係藉將區塊4分割而所得到之4個區塊之中以Z字形順序最初之區塊之位置。此外，在此，區塊之位置為區塊之左上之位置。因此，第2位置係與分割前之區塊之位置相同。
以下，CurrBlk表示處理對象之區塊之位置。Blk0表示4分割後之第1個區塊之位置，Blk1表示4分割後之第2個區塊之位置，Blk2表示4分割後之第3個區塊之位置，Blk3表示4分割後之第4個區塊之位置。Blk0等於4分割前之區塊之位置。
首先從編碼單位之處理呼叫變換統一樹(transform_unified_tree)。此時，作為引數而對變換統一樹(transform_unified_tree)提供之2個位置之初期值各為編碼單位之位置。即，將CurrBlk=CU及Blk0=CU使用在引數，能呼叫變換統一樹(transform_unified_tree)。
關於cbf，其動作到目前為止不變，因此省略說明。在不進行分割時(在S125，否)，對變換統一樹(transform_unified_unit)傳遞CurrBlk與Blk0作為引數(S178)。
另一方面，在進行分割時(在S125，是)，圖像編碼裝置係將處理對象之區塊做4分割而所得到之4個區塊每個再次呼叫變換統一樹(transform_unified_tree)。此時，圖像編碼裝置係將2個位置之資訊使用在引數，呼叫變換統一樹(transform_unified_tree)。
引數所含之第1位置為4分割後之4個區塊之各位置(Blk0、Blk1、Blk2、Blk3)。第1位置係於4次的遞迴呼叫中依序改變。第2位置係4分割後之4個區塊之中之第1個區塊之位置(Blk0)。第2位置係於4次的遞迴呼叫中不改變，始終遞交第1個區塊之位置。
變換統一樹單元(transform_unified_tree_unit)亦同樣接收與2個位置有關之資訊。第1位置為處理對象區塊之位置(CurrBlk)，第2位置為4分割後之第1個區塊之位置(Blk0)(S161)。
只在cbf_luma為真的時候(S133)，圖像編碼裝置將處理對象區塊之亮度之變換係數編碼(S134)。
其次，圖像編碼裝置係判斷處理對象區塊之亮度之變換尺寸(TrafoSize)是否大於亮度之最小變換尺寸(MinTrafoSize)(S171)。即，圖像編碼裝置係判斷是否對1個處理對象區塊進行色差之變換。
在此，例如亦可事先定義好色差之最小變換尺寸(MinChromaTrafoSize)。然後，圖像編碼裝置亦可算出處理對象區塊之色差之變換尺寸(ChromaTrafoSize)，在比較所算出之變換尺寸與事先定義好之最小變換尺寸。不管怎樣，處理對象區塊為色差之變換所使用之單位，且為亮度之變換所使用之單位時，S171之判斷為真。
其次，在與處理對象區塊之色差對應之cbf為真時(S173)，圖像編碼裝置係將處理對象區塊之色差之變換係數編碼。此時，圖像編碼裝置係使用處理對象區塊之位置 (CurrBlk)。
又，在處理對象區塊之亮度之變換尺寸(TrafoSize)不大於亮度之最小變換尺寸(MinTrafoSize)時(在S171，否)，亮度之4個區塊相當於色差之1個區塊。此時，圖像編碼裝置係於亮度之4個區塊之變換係數被編碼之後，將色差之1個區塊之變換係數編碼。因此，圖像編碼裝置判斷處理對象區塊是否為最後的區塊(第4個區塊)(S172)。
若判斷結果為真時(在S172，是)，圖像編碼裝置判斷處理對象區塊之色差之cbf是否為真(S174)。是真的時候(在S174，是)，圖像編碼裝置係將色差之變換係數編碼(S176)。此時，圖像編碼裝置係將4分割前之區塊之色差之變換係數編碼。為此，圖像編碼裝置不是使用處理對象區塊之位置(CurrBlk)，而是使用第1個區塊之位置(Blk0)。
此外，在圖17A、圖17B、圖18A及圖18B之動作順序之說明中，將編碼改讀成解碼，可得到圖像解碼裝置及圖像解碼方法之動作順序。
在本實施形態中，將4分割前及4分割後之2個位置之資訊利用在變換統一樹(transform_unified_tree)及變換統一單元(transform_unified_unit)之引數。然後，根據區塊是不是最小尺寸(MinTrafoSize)，來切換2個位置。藉此，便能適當地管理變換用之像素之位置。
例如，在不能提供2個位置作為引數時，分割前之區塊之位置可從分割後之區塊之位置算出。惟，此時會 使運算量增加。在本實施形態中，由於提供2個位置作為引數，因此可迴避運算量之增加。
此外，圖19A、圖19B、圖20A、圖20B、圖20C、及圖21係有關於圖像解碼裝置之語法。尤其針對與本實施形態有關之2個位置之資訊劃有底線。引數之x0及y0係對應於處理對象區塊之位置(CurrBlk)，引數之xC及yC係對應於第1個區塊之位置(Blk0)。
圖19A及圖19B之語法(編碼單元(coding_unit))係對應於編碼單位之處理。圖20A、圖20B及圖20C之語法(變換樹(transform_tree))係對應於變換統一樹(transform_unified_tree)。圖21之語法(變換單元(transform_unit))係對應於變換統一單元(transform_unified_unit)。
(實施形態7)
本實施形態係確認性地顯示上述多個實施形態所示之特徵式構成及順序。
圖22係顯示本實施形態之圖像編碼裝置。如圖22所示，圖像編碼裝置500包含有節點處理部501及編碼處理部502。又，圖像編碼裝置500亦可更具有產生部503。產生部503亦可不包括在圖像編碼裝置500。
例如，節點處理部501係對應於上述多個實施形態所示之熵編碼部190、及可作為變換統一樹編碼部改讀之變換統一樹解碼部320等。編碼處理部502係對應於熵編碼部190及可作為區塊變換係數編碼部改讀之區塊變換係數解碼部316。產生部503係對應於預測部180、減算部110、 變換部120及量化部130等。
以下具體說明圖像編碼裝置500之各構成要素。首先節點處理部501係對樹狀結構之節點進行節點處理。在此，樹狀結構具有各對應於圖像區塊之多數節點。樹狀結構具有分割與上代節點對應之圖像區塊而所得到之多數圖像區塊各對應於子節點之關係。更具體來說，例如樹狀結構具有與圖像之編碼單位對應之根節點、及與該編碼單位之亮度值之變換單位對應之葉節點。
又，在節點處理中，節點處理之遞迴呼叫、或者是編碼處理之呼叫是因應節點進行。節點處理係對應於上述之多數實施形態所示之變換統一樹(transform_unified_tree)及變換樹(transform_tree)等。編碼處理係對應於變換統一單元(transform_unified_unit)及變換單元(transform_unit)等。
例如，在已對具有子節點之上代節點進行節點處理時，節點處理部501係遞迴呼叫節點處理。此時，節點處理部501係將與子節點對應之圖像區塊之位置及與上代節點對應之圖像區塊之位置提供至節點處理之引數，而對子節點遞迴呼叫節點處理。
又，在已對葉節點進行節點處理時，節點處理部501將與葉節點對應之圖像區塊之位置及與葉節點之上代節點對應之圖像區塊之位置提供至編碼處理之引數，呼叫編碼處理。
在遞迴呼叫節點處理，藉此對葉節點進行節點處 理時，節點處理部501係可將已提供至節點處理之引數之位置提供給編碼處理之引數。因此，節點處理部501係亦可不必從與葉節點對應之圖像區塊之位置算出與葉節點之上代節點對應之圖像區塊之位置。
編碼處理部502係進行將圖像區塊之頻率係數編碼之編碼處理。在編碼處理中，使與葉節點對應之圖像區塊、或者是與葉節點之上代節點對應之圖像區塊之頻率係數編碼。該等圖像區塊係藉提供至編碼處理之引數之位置所界定。
例如，在編碼處理中，在滿足下列2個條件時，使與上代節點對應之圖像區塊之色差值之頻率係數編碼。2個條件係指與葉節點對應之圖像區塊為已事先訂定之最小尺寸者、及與葉節點對應之圖像區塊之色差值之資料量較亮度值之資料量少者。上述條件只是其中一例，亦可使用同樣的條件。
產生部503係將對於與葉節點對應之圖像區塊、或者是與葉節點之上代節點對應之圖像區塊之像素值與預測像素值之預測誤差進行頻率變換及量化，而產生頻率係數。例如在編碼處理中，使在產生部503所產生之頻率係數編碼。
圖23係顯示圖22所示之圖像編碼裝置500之動作。首先，節點處理部501係對樹狀結構之節點進行節點處理(S501)。在已對上代節點進行節點處理時，對子節點遞迴呼叫節點處理。在已對葉節點進行節點處理時，呼叫編碼 處理。另一方面，產生部503係產生頻率係數(S502)。之後，編碼處理部502係進行將頻率係數編碼之編碼處理(S503)。
頻率係數之產生亦可藉另外的裝置或者是另外的方法產生。為此，頻率係數之產生(S502)係於本實施形態中亦可省略。
如上，圖像編碼裝置500係將與子節點對應之圖像區塊之位置及與上代節點對應之圖像區塊之位置兩者作為引數使用。藉此，能刪減用以算出圖像區塊之位置之運算值。
圖24係顯示本實施形態之圖像解碼裝置。如圖24所示，圖像解碼裝置600包含有節點處理部601及節點處理部602。又，圖像解碼裝置600亦可更包含有再構成部603。再構成部603亦可不包括在圖像解碼裝置600。
節點處理部601係對應於上述多數實施形態中所示之熵解碼部200、及變換統一樹解碼部320等。解碼處理部602係對應於熵解碼部200及區塊變換係數解碼部316。再構成部603係對應於反量化部140、反變換部150、預測部180及加法部160等。
以下，具體說明圖像解碼裝置600之各構成要素。首先，節點處理部601係對樹狀結構之節點進行節點處理。在此，樹狀結構係與圖像編碼裝置500所使用過的樹狀結構同樣。
又，在節點處理中，節點處理之遞迴呼叫、或者是解碼處理之呼叫係因應節點而進行。節點處理係與上述 同樣，對應於變換統一樹(transform_unified_tree)及變換樹(transform_tree)等。解碼處理係對應於變換統一單元(transform_unified_unit)及變換單元(transform_unit)等。
例如，在已對具有子節點之上代節點進行節點處理時，節點處理部601係遞迴呼叫節點處理。此時，節點處理部601係將與子節點對應之圖像區塊之位置及與上代節點對應之圖像區塊之位置提供至節點處理之引數，而對子節點遞迴呼叫節點處理。
又，在已對葉節點進行節點處理時，節點處理部601將與葉節點對應之圖像區塊之位置及與葉節點之上代節點對應之圖像區塊之位置提供至解碼處理之引數，呼叫解碼處理。
在遞迴呼叫節點處理，藉此對葉節點進行節點處理時，節點處理部601係可將已提供至節點處理之引數之位置提供給解碼處理之引數。因此，節點處理部601係亦可不必從與葉節點對應之圖像區塊之位置算出與葉節點之上代節點對應之圖像區塊之位置。
解碼處理部602係進行將圖像區塊之頻率係數解碼之解碼處理。在解碼處理中，使與葉節點對應之圖像區塊、或者是與葉節點之上代節點對應之圖像區塊之頻率係數解碼。該等圖像區塊係藉提供至解碼處理之引數之位置所界定。
例如，在解碼處理中，在滿足下列2個條件時，使與上代節點對應之圖像區塊之色差值之頻率係數解碼。2 個條件係指與葉節點對應之圖像區塊為已事先訂定之最小尺寸者、及與葉節點對應之圖像區塊之色差值之資料量較亮度值之資料量少者。上述條件只是其中一例，亦可使用同樣的條件。
再構成部603係將對於已解碼之頻率係數進行反量化及反頻率變換而所得到之預測誤差及預測像素值相加。藉此，再構成部603係將與葉節點對應之圖像區塊、或者是與葉節點之上代節點對應之圖像區塊之像素值再構成。
圖25係顯示圖24所示之圖像解碼裝置600之動作。首先，節點處理部601係對樹狀結構之節點進行節點處理(S601)。在已對上代節點進行節點處理時，對子節點遞迴呼叫節點處理。在已對葉節點進行節點處理時，呼叫解碼處理。其次，解碼處理部602係進行將頻率係數解碼之解碼處理(S602)。然後，再構成部603係使用所解碼之頻率係數，將像素值再構成(S603)。
像素值之再構成亦可藉另外的裝置或者是另外的方法產生。為此，像素值之再構成(S603)係於本實施形態亦可省略。
如上，圖像解碼裝置600係將與子節點對應之圖像區塊之位置及與上代節點對應之圖像區塊之位置兩者作為引數使用。藉此，能刪減算出圖像區塊之位置之運算值。
此外，在上述各實施形態中，各構成要素可以專用的硬體構成，亦可藉實行適於各構成要素之軟體程式實 現。各構成要素係使CPU或處理器等之程式實行部藉讀出記錄在硬碟或半導體記憶體等之記錄媒體之軟體程式執行而實現。在此，實現上述各實施形態之圖像編碼裝置等之軟體係如下之程式。
即，該程式亦可使於電腦執行圖像編碼方法，該圖像編碼方法包含有：對樹狀結構之節點進行節點處理之步驟，該樹狀結構具有分割與上代節點對應之圖像區塊而所得到之多數圖像區塊各對應於子節點之關係；及進行編碼處理，將與前述樹狀結構之葉節點對應之圖像區塊、或者是與前述葉節點之上代節點對應之圖像區塊之頻率係數編碼；在前述進行節點處理之步驟中，在已對具有子節點之上代節點進行前述節點處理時，將與前述子節點對應之圖像區塊之位置、及與前述上代節點對應之圖像區塊之位置提供至前述節點處理之引數，且對前述子節點遞迴呼叫前述節點處理；在已對葉節點進行前述節點處理時，將與前述葉節點對應之圖像區塊之位置、及與前述葉節點之上代節點對應之圖像區塊之位置提供至前述編碼處理之引數，呼叫前述編碼處理。
又，該程式亦可使於電腦執行圖像解碼方法，該圖像解碼方法包含有：對樹狀結構之節點進行節點處理之步驟，該樹狀結構具有分割與上代節點對應之圖像區塊而所得到之多數圖像區塊各對應於子節點之關係；及進行解碼處理之步驟，係將與前述樹狀結構之葉節點對應之圖像區塊或者是與前述葉節點之上代節點對應之圖像區塊之頻 率係數解碼；在前述進行節點處理之步驟中，在已對具有子節點之上代節點進行前述節點處理時，將與前述子節點對應之圖像區塊之位置及與前述上代節點對應之圖像區塊之位置提供至前述節點處理之引數，對前述子節點遞迴呼叫前述節點處理；在已對葉節點進行前述節點處理時，將與前述葉節點對應之圖像區塊之位置及與前述葉節點之上代節點對應之圖像區塊之位置提供至前述解碼處理之引數，呼叫前述解碼處理。
又，各構成要素亦可為電路。該等電路整體上可構成為1個電路，亦可分別為不同的電路。又，各構成要素可以萬用的處理器實現，亦可以專用的處理器實現。
以上針對一個或多個態樣之圖像編碼裝置等已根據實施形態予以說明，但本發明並不限於該實施形態者。只要不脫離本發明之旨趣，熟悉此項技藝之人士可思及之各種變形亦可實施在本實施形態者、或將不同實施形態中之構成要素組合而構築之形態亦涵蓋在一個或多個態樣之範疇內者。
例如，圖像編碼解碼裝置亦可包含有圖像編碼裝置及圖像解碼裝置。又，亦可使特定的處理部執行之處理讓另一處理部執行者。又，亦可變更執行處理之順序，亦可使多數處理並行執行。
(實施形態8)
藉將用以實現上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之 構成之程式記錄在記憶媒體，就可在獨立的電腦系統上簡單實施上述各實施形態所示之處理。記憶媒體只要是磁碟、光碟、光學磁碟、IC卡、半導體記憶體等可記錄程式者即可。
進而在此，說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例與使用該應用例之系統。該系統係以具有使用圖像編碼方法之圖像編碼裝置、及使用圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置者為特徵所在。針對系統中之其他構成，能因應情況而做適當的變更。
圖26係顯示實現內容發送服務之內容供給系統ex100之整體構成圖。將通訊服務之提供領域分割成所期望之大小，在各胞元內各設置有為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。
該內容供給系統ex100係於網際網路ex101，由網際網路服務提供者ex102及電話線路網ex104、及經由基地台ex106至ex110，而連接有電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話機ex114、遊戲機ex115等各種機器。
惟，內容供給系統ex100不限定於如圖26之構成，亦可連接組合任一種要素構成者。又，亦可使各機器直接連接於電話線路網ex104，而不經過固定無線台之基地台ex106至ex110連接者。又，各機器亦可經由近距離無線等而直接相連接者。
相機ex113係數位錄放影機等可進行動畫攝影之機器，相機ex116係數位相機等可進行靜態圖像攝影、動畫攝影之機器。又，行動電話機ex114諸如為GSM(註冊商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或者是LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或PHS(Personal Handyphone System)等，不管那一個都無妨。
在內容供給系統ex100上，相機ex113等透過基地台ex109、電話線路網ex104而連接於串流伺服器ex103，即可實現即時發送等。在即時發送上，對於用戶利用相機ex113所攝影之內容(例如音樂演唱會之影像等)，如上述各實施形態中所說明的，進行編碼處理(即，作為本發明一態樣之圖像編碼裝置而發揮功能)，且傳送至串流伺服器ex103。另一方面，串流伺服器ex103係將對有要求之客戶而將所傳送之內容資料進行串流發送。對於客戶，有諸如可將業經上述編碼處理之資料進行解碼之電腦ex111、PDAex112、相機ex113、行動電話機ex114、遊戲機ex115等。在接收有所發送之資料之各機器中，將所接收之資料解碼處理後予以再生(即，作為本發明一態樣之圖像解碼裝置而發揮功能者)。
此外，所攝影之資料之編碼處理可以相機ex113進行，亦可在進行資料之傳送處理之串流伺服器ex103進 行，亦可相互分擔進行。同樣，對於所發送之資料之解碼處理可在客戶端進行，亦可在串流伺服器ex103進行，亦可相互分擔進行。又，不限於要使用相機ex113，亦可將以相機ex116所攝影之靜態圖像及/或動態圖像資料經由電腦ex111而傳送至串流伺服器ex103。此時之編碼處理可在相機ex116、電腦ex111、串流伺服器ex103任一者進行，亦可相互分擔進行。
又，其等編碼解碼處理一般是在電腦ex111或各機器所具有之LSIex500中進行處理。LSIex500可為單一晶片，亦可為由多數晶片所構成之構造。此外，亦可將動態圖像編碼解碼用之軟體內建於電腦ex111等可讀取之任一記錄媒體(CD-ROM、可撓性磁片、硬碟等)，且使用該軟體進行編碼解碼處理。進而，在行動電話機ex114為附有相機時，亦可將以該相機所取得之動畫資料傳送者。此時之動畫資料係以行動電話機ex114所具有之LSIex500進行編碼處理之資料。
又，串流伺服器ex103亦可為多數伺服器或多數電腦，且為將資料分散處理、記錄、發送者。
按如上執行，在內容供給系統ex100中，可讓客戶接收業已編碼之資料後進行再生者。如此，在內容供給系統ex100中，客戶可實時接收用戶所傳送之資訊再予以解碼並再生，就算沒有特別的權利或設備之用戶，亦可實現個人播放。
又，不限於內容供給系統ex100之例，如圖27所 示，在數位式廣播用系統ex200中亦可組裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一者。具體來說，在廣播台ex201中，可透過電波而將在影像資料多工有音樂資料等之多工資料進行通訊或傳送至衛星ex202。該影像資料係指藉上述各實施形態所說明之動態圖像編碼方法所編碼之資料(即，藉本發明一態樣之圖像編碼裝置而編碼之資料)。接收該資料之廣播衛星ex202係傳送廣播用之電波，讓可進行衛星廣播接收之家庭之天線ex204接收該電波。電視機(接收機)ex300或機上盒(STB)ex217等之裝置將所接收之多工資料解碼後再生(即，作為本發明一態樣之圖像解碼裝置而發揮功能)。
又，讀取暨解碼記錄在DVD、BD等之記錄媒體ex215之多工資料、或將影像訊號編碼至記錄媒體ex215，進而依情況而多工有音樂訊號而寫入之讀取器(reader)/記錄器(recorder)ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，所再生之影像訊號顯示在監視器ex219，藉記錄有多工資料之記錄媒體ex215可在其他裝置或系統將影像訊號再生。又，在連接於有線電視機用之電纜線ex203或衛星/地上波廣播之天線ex204之機上盒ex217內亦可安裝動態圖像解碼裝置，將此在電視機之監視器ex219顯示者。此時，亦可在電視機內安裝動態圖像解碼裝置而不是在機上盒安裝者。
圖28係顯示使用有上述各實施形態所說明之動 態圖像解碼方法及動態圖像編碼方法之電視機(接收機)ex300之圖。電視機ex300包含有：調諧器ex301，係經由接收上述廣播之天線ex204或電纜線ex203等，而取得或輸出影像資料上多工有聲音資料之多工資料者；調變/解調部ex302，係將所接收之多工資料解調或將傳送至外部之多工資料調變者；及多工/分離部ex303，係將具有已解調之多工資料分離成影像資料與聲音資料，或將以訊號處理部ex306所編碼之影像資料、聲音資料多工者。
又，電視機ex300包含有：具有各將聲音資料、影像資料進行解碼或將各自的資訊進行編碼之聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明一態樣之圖像編碼裝置或圖像解碼裝置發揮功能)之訊號處理部ex306、及具有將業經解碼之聲音訊號輸出之揚聲器ex307、顯示所解碼之影像訊號之顯示器等之顯示部ex308之輸出部ex309。進而，電視機ex300具有介面部ex317，該介面部ex317具有受理用戶操作之操作輸入部ex312等。進而，電視機ex300包含有統籌地控制各部之控制部ex310、供電至各部之電源電路部ex311。介面部ex317，除了操作輸入部ex312之外，還有與讀取器/記錄器ex218等之外部機器連接之橋接器ex313、可裝設SD卡等之記錄媒體ex216用之插槽部ex314、與硬碟等之外部記錄媒體連接用之驅動器ex315、及與電話線路網連接之數據機ex316等。此外，記錄媒體ex216是可藉所儲存之非依電性(non-volatile)/依電性之半導體記憶體元件進行電性資訊記錄者。電視機ex300 之各部係經由同步匯流排而相互連接。
首先，針對電視機ex300將藉天線ex204等而由外部取得之多工資料解碼並再生之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據具有CPU等之控制部ex310之控制，在多工/分離部ex303將調變/解調部ex302所解調之多工資料分離。進而，電視機ex300係於聲音訊號處理部ex304將所分離之聲音資料解碼，且將所分離之影像資料在影像訊號處理部ex305使用在上述各實施形態所說明之解碼方法而解碼。已解碼之聲音訊號、影像訊號各由輸出部ex309而向外部輸出。又在輸出之時，為了使聲音訊號與影像訊號同步再生，只要先暫時將其等訊號儲存在緩衝器ex318、ex319等即可。又，電視機ex300，亦可不由廣播等，亦可由磁碟/光碟、SD卡等之記錄媒體ex215、ex216將多工資料讀出。其次，針對電視機ex300將聲音訊號或影像訊號進行編碼後傳送至外部或寫入至記錄媒體等之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據控制部ex310之控制，在聲音訊號處理部ex304將聲音訊號進行編碼，在影像訊號處理部ex305，使用在上述各實施形態所說明之編碼方法而將影像訊號進行編碼。業經編碼之聲音訊號、影像訊號係於多工/分離部ex303進行多工處理，並輸出至外部。在多工之時，為了使聲音訊號與影像訊號同步，只要先暫時將其等訊號儲存在緩衝器ex320、ex321等即可。此外，緩衝器ex318、ex319、ex320、ex321係如圖所示，可具有多數，亦可為共 有一個以上之緩衝器之構成。進而，除圖示之外，例如調變/解調部ex302或多工/分離部ex303之間等亦可先將資料儲存在避免系統的溢位(overflow)、下溢(underflow)之緩衝件之緩衝器。
又，電視機ex300除了由廣播等或記錄媒體等取得聲音資料、影像資料之外，亦可具有受理麥克風或相機之AV輸入之構成，對於由其等取得之資料進行編碼處理。此外，在此電視機ex300係以可進行上述之編碼處理、多工處理及外部輸出之構成進行說明，但不限於進行其等處理，但亦可為只做上述接收、解碼處理、外部輸出之構成。
又，在讀取器/記錄器ex218由記錄媒體讀出多工資料或將多工資料寫入記錄媒體時，上述解碼處理或編碼處理亦可由電視機ex300、讀取器/記錄器ex218之任一者進行，亦可使電視機ex300與讀取器/記錄器ex218相互分擔進行。
以一例而言，將由光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之構成顯示在圖29。資訊再生/記錄部ex400包含有以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、及ex407。光學磁頭ex401係於作為光碟之記錄媒體ex215之記錄面照射雷射光點寫入資訊，檢測來自記錄媒體ex215之記錄面之反射光來讀取資訊。調變記錄部ex402係電驅動內建在光學磁頭ex401之半導體雷射，因應記錄資料進行雷射光之調變。再生解調部ex403係將藉內建在光學磁頭ex401之光學探測器電檢測來自記錄 面之反射光之再生訊號放大，將記錄媒體ex215所記錄之訊號成分分離且解調，將所需的資訊再生。緩衝器ex404係將由用以記錄在記錄媒體ex215之資訊及記錄媒體ex215再生之資訊暫時固持。光碟馬達ex405係將記錄媒體ex215旋轉。伺服器控制部ex406係控制光碟馬達ex405之旋轉驅動，且將光學磁頭ex401移動在預定之資訊軌道，進行雷射光點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400整體之控制。上述之讀出或寫入之處理係使系統控制部ex407利用緩衝器ex404所固持之各種資訊，又因應必要進行新的資訊的產生及追加，並一邊使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406協調作動，一邊透過光學磁頭ex401，進行資訊之記錄再生而予以實現。系統控制部ex407係以例如微處理部構成，執行讀出寫入之程式，而執行其等之處理。
在以上的說明中，光學磁頭ex401係照射雷射光點來進行說明，亦可為利用接近場光而進行更高密度之記錄之構成。
圖30係顯示成為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面形成螺旋狀的導槽(溝槽groove)，在資訊軌道ex230上事先記錄有溝槽的形狀變化而顯示光碟上的絕對位置之地點資訊。該地點資訊含有用以界定記錄區塊ex231之位置之資訊，該記錄區塊ex231係記錄資料之單位，在進行記錄或再生之裝置中將資訊軌道ex230再生，讀取地點資訊，以界定記錄區塊。又，記錄媒 體ex215係含有資料記錄區ex233、內周區ex232、及外周區ex234。為記錄用戶資料所用之區域為資料記錄區ex233，配置在較資料記錄區ex233內周或外周之內周區ex232及外周區ex234係用於用戶資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於如此記錄媒體ex215之資料記錄區ex233，進行將業已編碼之聲音資料、影像資料或其等資料多工之多工資料之讀寫。
在以上說明中，是以一層的DVD、BD等之光碟為例進行說明，但不限於其等，亦可為多層構造且在表面以外亦可記錄之光碟。又，亦可為在光碟之相同地方利用各種不同波長之顏色之光記錄資訊，或由各種角度記錄不同資訊之層等進行多次元之記錄/再生之構造之光碟。
又，亦可在數位廣播用系統ex200中，在具有天線ex205之車輛ex210由衛星ex202等接收資料，在車輛ex210所具有之車用導航系統ex211等之顯示裝置將動畫再生。此外，車用導航系統ex211之構成可考慮如圖28所示之構成中加上GPS接收部之構成，同樣的事情亦可考慮在電腦ex111或行動電話機ex114等實現。
圖31A係顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話機ex114之圖。行動電話機ex114包含有用以於與基地台ex110之間接送電波之天線ex350、可攝影影像、靜態圖像之相機部ex365、及顯示以相機部ex365所攝影之影像、將天線ex350所接收之影像解碼之資料之液晶顯示器等之顯示部 ex358。行動電話機ex114更包含有：具有操作鍵部ex366之本體部、諸如用以輸出聲音之揚聲器等之聲音輸出部ex357、用以輸入聲音之麥克風等之聲音輸入部ex356、及保存所攝影之影像、靜態影像、所錄音之聲音或所接收之影像、靜態圖像、郵件等之業已編碼之資料或者是業已解碼之資料之記憶體部ex367、或同樣，在與作為保存資料之記錄媒體之間之介面部之插槽(slot)部ex364。
進而，針對行動電話機ex114之構成例，使用圖31B予以說明。行動電話機ex114係相對於統籌地控制具有顯示部ex358及操作鍵部ex366之本體部之各部之主控制部ex360，經由匯流排ex370而使電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、液晶顯示器(LCD,Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/分離部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367相互連接。
電源電路部ex361係一藉用戶之操作而將結束對話及電源鍵呈開啟狀態時，由電池組對著各部供電，將行動電話機ex114起動為可作動之狀態。
行動電話機ex114係根據具有CPU、ROM、RAM等之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354而將以聲音輸入部ex356收音之聲音訊號轉換成數位聲音訊號，以調變/解調部ex352對此進行頻譜擴散處理，以傳送/接收部ex351施行數位類比變換處理及頻率變換處理之後，經由天線ex350而傳送。又，行動電話機ex114 係於聲音通話模式時，將經由天線ex350所接收之接收資料放大，施行頻率變換處理及類比數位變換處理，以調變/解調部ex352進行頻譜反擴散處理，以聲音訊號處理部ex354轉換成類比聲音訊號之後，且由聲音輸出部ex357予以輸出。
進而，在於資料通訊模式時傳送電子郵件時，藉本體部之操作鍵部ex366等之操作所輸入之電子郵件之正文資料係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係以調變/解調部ex352而將正文資料進行頻譜擴散處理，以傳送/接收部ex351施行數位類比變換處理及頻率變換處理之後，經由天線ex350而傳送至基地台ex110。在接收電子郵件時，對於所接收之資料進行與前述處理幾乎相反之處理，輸出至顯示部ex358。
在於資料通訊模式時傳送影像、靜態圖像或影像與聲音時，影像訊號處理部ex355係將由相機部ex365所供給之影像訊號，藉以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，當作本發明一態樣之圖像編碼裝置發揮功能)，而將業經編碼之影像資料送出至多工/分離部ex353。又，聲音訊號處理部ex354係在以相機部ex365將影像、靜態圖像等攝影之中將聲音輸入部ex356所收音之聲音訊號進行編碼，將業已編碼之聲音資料送出至多工/分離部ex353。
多工/分離部ex353係以預定方式將由影像訊號處理部ex355所供給且業已編碼之影像資料及由聲音訊號 處理部ex354所供給且業已編碼之聲音資料進行多工處理，將其結果所得到之多工資料在調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在於傳送/接收部ex351施行數位類比變換處理及頻率變換處理之後，經由天線ex350而傳送者。
在於資料通訊模式時接收連到網頁等之動態圖像檔案之資料時，或在接收附有影像或聲音之電子郵件時，為了將經由天線ex350而所接收之多工資料進行解碼，多工/分離部ex353將多工資料分離，分成影像資料之位元流與聲音資料之位元流，經由同步匯流排ex370，而將業已編碼之影像資料供給至影像訊號處理部ex355，並將業已編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法解碼，將影像訊號進行解碼(即，作為本發明一態樣之圖像解碼裝置發揮功能)，經由LCD控制部ex359，由顯示部ex358顯示例如連到網頁之動態圖像檔案所含之影像、靜態圖像。又，聲音訊號處理部ex354係將聲音訊號進行解碼，且由聲音輸出部ex357輸出聲音。
又，上述行動電話機ex114等之終端機係與電視機ex300同樣，可考慮到除了具有編碼器及解碼器兩者之收發型終端機之外，還有只具編碼器之傳送終端機、只有解碼器之接收終端機等共三種安裝方式。進而，在數位廣播用系統ex200中，是說明接收、傳送在影像資料多工有音樂資料等之多工資料，但除了聲音資料之外，亦可為有與影 像有關連之文字資料等多工之資料，亦可為影像資料本身而非多工資料。
如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法運用在上述之任一種機器或系統，藉此，可得到在上述各實施形態所說明之效果。
又，本發明不限於上述實施形態者，可在不脫離本發明範圍下可做各種變形或修正。
(實施形態9)
亦可因應情況適當地切換上述各實施形態所示之動態圖像編碼方法或裝置、與依據MPEG-2、MPEG4-AVC、VC-1等相異規格之動態圖像編碼方法或裝置，產生影像資料者。
在此，在產生有依據各自不同規格之多數影像資料時，在解碼時，必須選擇與各規格對應之解碼方法。惟，由於不能識別欲解碼之影像資料是依據哪一規格，因此衍生有不能選擇適當的解碼方法之課題。
為了解決該課題，將聲音資料等多工至影像資料之多工資料係構建為含有顯示影像資料是依據哪一規格者之識別資訊之構成。如下說明含有藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸流形式之數位流。
圖32係顯示多工資料之構成圖。如圖32所示，多工資料係將視訊流、聲訊流、表達圖形流(PG)、交互圖形流之中將一個以上多工而所得到者。視訊流表示電影之主影像及副影像，聲訊流(IG)表示電影之主聲音部分及與該主 聲音混合之副聲音部分，表達圖形流表示電影之字幕。在此，主影像係指顯示在畫面之通常影像，副影像係指以小畫面顯示在主影像中之影像者。又，交互圖形流係指於畫面上配置GUI零件所作成之對話畫面。視訊流係指藉以上述各實施形態所示之動態圖像編碼方法或裝置、依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之動態圖像編碼方法或裝置所編碼者。聲訊流係以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或、線性PCM等方式所編碼者。
多工資料所含之各串流係藉PID所識別。例如在於電影之影像所利用之視訊流分配有0×1011，聲訊流分配有0×1100至0×111F，表達圖形流分配有0×1200至0×121F，交互圖形流分配有0×1400至0×141F，在於電影之副影像所利用之視訊流分配有0×1B00至0×1B1F，與主聲音混合之副聲音所利用之聲訊流分配有0×1A00至0×1A1F。
圖33係模式地顯示多工資料是如何被多工之圖。首先，將由多數視訊框所構成之視訊流ex235、由多數聲訊框所構成之聲訊流ex238各變換成PES封包列ex236及ex239、TS封包ex237及ex240。同樣將表達圖形流ex241及交互圖形流ex244之資料各變換成PES封包列ex242及ex245，進而變換成TS封包ex243及ex246。多工資料ex247係將其等TS封包多工成一條串流來構成者。
圖34係進一步詳細顯示在PES封包列中如何儲存視訊流。圖34中之第1段係顯示視訊流之視訊框列。第2段係顯示PES封包列。如圖34之箭頭符號yy1、yy2、yy3、 yy4所示，視訊流中之多數視訊表達單元(Video Presentation Unit)之I圖片、B圖片、P圖片係按每圖片分割，且儲存在PES封包之酬載。各PES封包係具有PES標頭，PES標頭儲存有成為圖片之顯示時刻之表達時間戳記(PTS,Presentation Time-Stamp)或圖片之解碼時刻之解碼時間戳記(DTS,Decoding Time-Stamp)。
圖35係顯示最後寫入於多工資料之TS封包之形式。TS封包係188位元組(Byte)固定長度之封包，由具有識別串流之PID等資訊之4位元組之TS標頭及儲存資料之184位元組之TS酬載所構成，上述PES封包被分割而儲存在TS酬載。在BD-ROM時，TS封包被付予有4位元組之TP額外標頭(TP_Extra_Header)，構成192位元組之原始封包，寫入至多工資料。TP額外標頭(TP_Extra_Header)記載有ATS(到達時間戳記，Arrival_Time_Stamp)等之資訊。ATS係顯示該TS封包轉送至解碼器之PID濾波器之轉送開始時間。多工資料中，如圖35下段所示，構成有原始封包排列者，由多工資料之前頭開始增加之號碼被稱為原始封包號碼(SPN；source packet number)。
又，多工資料所含之TS封包，除了影像、聲音、字幕等之各串流之外，更有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示多工資料中所利用之PMT之PID為何者，PAT本身之PID係登錄為0。PMT係具有多工資料中所含之影像．聲音．字幕等之各串流之PID及與各PID對應 之串流之屬性資訊，又具有與多工資料有關之各種描述符。描述符具有指示允許及不允許多工資料之複製之複製控制資訊等。PCR係為了取得作為ATS之時軸之到達時間時鐘(ATC,Arrival Time Clock)與成為PTS．DTS之時軸之系統時間時鐘(STC,System Time Clock)之同步，而具有與該PCR封包轉送至解碼器之ATS對應之STC時間之資訊。
圖36詳細說明PMT之資料構造之圖。PMT之前頭係配置著記有該PMT所含之資料之長度等之PMT標頭。在其後方配置有多數與多工資料有關之描述符。上述複製控制資訊等記載為描述符。描述符之後配置有多數與多工資料所含之各串流有關之串流資訊。串流資訊係為識別串流之壓縮編碼解碼器等，而由記載有串流型式、串流之PID、串流之屬性資訊(框速率、長寬比等)之串流描述符所構成。串流描述符有於多工資料所存在之串流數這樣多。
在記錄在記錄媒體等的時候，上述多工資料係與多工資料資訊檔案一起記錄。
多工資料資訊檔案，如圖37所示，為多工資料之管理資訊，與多工資料呈一對一之對應關係，由多工資料資訊、串流屬性資訊及登錄圖(entry map)所構成者。
多工資料資訊，如圖37所示，由系統速率、再生開始時刻、再生結束時刻所構成者。系統速率表示多工資料轉送至後述的系統指標解碼器之PID濾波器之最大轉送速率。多工資料中所含之ATS之間隔係設定為系統速率以下。再生開始時刻係多工資料之前頭之視訊框之PTS，再生 結束時刻係於多工資料末端之視訊框之PTS加上一框量之再生間隔者。
串流屬性資訊，如圖38所示，針對多工資料所含之各串流之屬性資訊係登錄於每PID。屬性資訊具有視訊流、聲訊流、表達圖形流、交互圖形流各為不同之資訊。視訊流屬性資訊具有該視訊流是以何種壓縮編碼解碼器所壓縮、構成視訊流之每個圖片資料之影像解析度有多少、長寬比有多少、框速率有多少等之資訊。聲訊流屬性資訊具有該聲訊流是以哪種壓縮編碼解碼器所壓縮、該聲訊流所含之頻道數是什麼、是對應哪一語言、抽樣頻率有多少等之資訊。其等資訊是利用在於播放器再生前之解碼器之初始化等。
在本實施形態中，利用上述多工資料中PMT所含之串流型式。又，記錄媒體記錄有多工資料時，利用包含在多工資料資訊之視訊流屬性資訊。具體來說，在於上述各實施形態所示之動態圖像編碼方法或裝置中設置相對於PMT所含之串流型式或視訊流屬性資訊，設定固有資訊之步驟或手法，固有資訊係顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料者。藉該構成，可識別藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料與依據其他規格之影像資料。
又，將本實施形態中之動態圖像解碼方法之步驟顯示在圖39。在步驟exS100中，由多工資料取得PMT所含之串流型式或多工資料資訊所含之視訊流屬性資訊。其 次，在步驟exS101中，判斷串流型式或視訊流屬性資訊是否顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之多工資料。接著，在串流型式或視訊流屬性資料被判斷是藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者之時，在步驟exS102中，藉上述各實施形態所示之動態圖像解碼方法進行解碼。又，在串流型式或視訊流屬性資訊被判斷是依據習知之MPEG-2、MPEG4-AVC、VC-1等規格者之時，在步驟exS103中，藉依據習知規格之動態圖像解碼方法進行解碼。
如此，藉於串流型式或視訊流屬性資訊設定新的固有值，在解碼時，能判斷是否可以上述各實施形態所示之動態圖像解碼方法或裝置解碼者。因此，即使在輸入有依據不同規格之多工資料時，亦可選擇適當的解碼方法或裝置，因此可在不產生錯誤之狀態下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置或者是動態圖像解碼方法或裝置運用在上述任一機器及系統。
(實施形態10)
上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可以積體電路之LSI實現。以一例來說，在圖40顯示構成為單一晶片之LSIex500之構成。LSIex500包含有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係經由匯流排ex510而連接者。電源電路部ex505係於電源為開啟狀態時，對於各部供電，而在可作動之狀態下起動。
例如在進行編碼處理時，LSIex500係根據具有CPU ex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉AV I/Oex509而由麥克風ex117或相機ex113等輸入AV訊號。所輸入之AV訊號係暫時儲存在SDRAM等之外部記憶體ex511。根據控制部ex501之控制，所儲存之資料因應處理量或處理速度而適當地分成多次等，傳送至訊號處理部ex507，且在訊號處理部ex507中進行聲音訊號之編碼及/或影像訊號之編碼。在此，影像訊號之編碼處理係於上述各實施形態所說明之編碼處理。在訊號處理部ex507中，更依情況之不同對所編碼之聲音資料及所編碼之影像資料進行多工等之處理，由串流I/Oex506輸出至外部。該所輸出之多工資料係朝基地台ex107傳送，或寫入記錄媒體ex215。在進行多工之時，為了要同步，可將資料暫時儲存在緩衝器ex508即可。
此外，在上述中說明記憶體ex511為LSIex500之外部構成，亦可為包含在LSIex500之內部之構成。緩衝器ex508亦不限於一個，亦可具備多數緩衝器。又，LSIex500亦可單一晶片構成，亦可多晶片構成。
又，在上述中，控制部ex501係具有CPUex502、記憶體控制器ex503、串流控制部ex504、驅動頻率控制部ex512等，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為具有CPU之構成。在訊號處理部ex507之內部亦設有CPU，可將處理速度進一步提昇。又，對於另一例，CPUex502亦可為具有訊號處理部ex507或訊 號處理部ex507之局部例如聲音訊號處理部之構成。在如此情況下，控制部ex501係具備訊號處理部ex507或具有該一部分之CPUex502之構成者。
另外，在此，是以LSI予以表現，但依積體度的不同，也有被稱為IC(積體電路：Integrated Circuit)、系統LSI、超級(Super)LSI、超(Ultra)LSI。
又，積體電路化的手法不僅限於LSI者，亦可以專用電路或萬用處理器予以實現。又，亦可利用能在製造LSI後再程式化之現場可程式化邏輯閘陣列(FPGA：Field Programmable Gate Array)、能將LSI內部之電路胞元(cell)之連接或設定再構成之重組態處理器(ReConfigurable Processor)。
進而，透過半導體技術的進步或衍生之其他技術，如有可替補LSI之積體電路技術問世時，當然亦可使用該技術將功能方塊積體化。對於可能性而言生物科學技術亦有可能適用等。
(實施形態11)
在將藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼時能考慮到的是，與將依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料解碼之情況相比，處理量更為增加者。為此，在LSIex500中，有必要設定在比將依據習知規格之影像資料解碼時之CPUex502之驅動頻率更高之驅動頻率。惟，一提高驅動頻率時，則衍生有消費電力變高之課題。
為解決該課題，電視機ex300、LSIex500等之動態圖像解碼裝置係識別影像資料是依據哪一規格者，因應規格來切換驅動頻率之構成。圖41係顯示本實施形態中之構成ex800。驅動頻率切換部ex803係於影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者時，將驅動頻率提高設定。接著，對執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801，指示要將影像資料解碼者。另一方面，在影像資料為依據習知規格之影像資料時，與影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者時相比，要將驅動頻率降低設定。接著，對依據習知規格之解碼處理部ex802，指示要將影像資料解碼者。
更具體來說，驅動頻率切換部ex803係由圖40之CPUex502與驅動頻率控制部ex512所構成者。又，執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801及依據習知規格之解碼處理部ex802係相當於圖40之訊號處理部ex507。CPUex502係識別影像資料依據哪一規格者。接著，根據來自CPUex502之訊號，驅動頻率控制部ex512係設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507係進行影像資料之解碼。在此，在影像資料之識別上，考慮到例如利用實施形態9所記載之識別資訊者。有關於識別資訊，不限於實施形態9所記載者，只要能識別影像資料是依據哪一規格之資訊即可。例如，在根據識別影像資料是被利用在電視機者、或被利用在磁碟者等 之外部訊號，能識別影像資料是依據哪一規格時，亦可根據如此之外部訊號予以識別。又，在CPUex502中之驅動頻率之選擇，考慮到利用例如根據如圖43所示之影像資料之規格與驅動頻率對應之查找表進行者。將查找表先儲放在緩衝器ex508或LSI之內部記憶體，CPUex502參考該查找表，即可選擇驅動頻率者。
圖42係顯示實施本實施形態之方法之步驟。首先在步驟exS200中，於訊號處理部ex507中由多工資料取得識別資訊。其次，在步驟exS201中，於CPUex502中，根據識別資訊，識別影像資料是否為藉以上述各實施形態所示之編碼方法或裝置所產生者。在影像資料為藉以上述各實施形態所示之編碼方法或裝置所產生者時，在步驟exS202中，CPUex502係將驅動頻率提高設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，設定在高驅動頻率。另一方面，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，在步驟exS203中，CPUex502係將驅動頻率降低設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，與影像資料是藉以上述各實施形態所示之編碼方法或裝置所產生之形態相比，設定在低驅動頻率。
進而，連動於驅動頻率之切換，變更供給至LSIex500或含有LSIex500之裝置之電壓，就能更提高省電效果。例如在將驅動頻率降低設定時，隨此，與將驅動頻率提高設定之情況相比，可考慮將供應至LSIex500或含有 LSIex500之裝置之電壓降低設定者。
又，驅動頻率之設定方法只要在解碼時之處理量大時，將驅動頻率提高設定，而在解碼時之處理量小時，將驅動頻率降低設定即可，不限於上述之設定方法。例如將依據MPEG4-AVC規格之影像資料解碼之處理量係於大於以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼之處理量時，可考慮將驅動頻率之設定作成與上述情況相反者。
進而，驅動頻率之設定方法不限於降低驅動頻率之構成。例如，在識別資訊顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資訊時，將供給至LSIex500或含有LSIex500之裝置之電壓提高設定，在顯示為依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，亦可降低設定提供至LSIex500或含有LSIex500之裝置之電壓。又，以另一例而言，在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，無須將CPUex502之驅動停止，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，由於在處理上有餘裕，因此亦可考慮將CPUex502之驅動暫時停止者。在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，如果處理上有餘裕時，亦可考慮將CPUex502之驅動暫時停止者。該情況係與顯示為依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料之情況相比，可考慮將停止時間縮 短設定者。
如此，因應影像資料所依據之規格而切換驅動頻率，就可謀求省電之實現。又，在使用電池而將LSIex500或含有LSIex500之裝置驅動時，就能隨著省電而延長電池的壽命。
(實施形態12)
在電視機或行動電話機等上述機器暨系統上輸入有依據不同規格之多數影像資料之情況。如此，為於有依據不同規格之多數影像資料輸入之情況下亦能解碼，有必要使LSIex500之訊號處理部ex507對應於多數規格。惟，一個別使用與各規格對應之訊號處理部ex507，就有造成LSIex500之電路規模變大，又，成本增加之課題衍生。
為解決該課題，構建成將用以執行以上述各實施形態所示之動態圖像解碼方法用之解碼處理部、與依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之解碼處理部局部共有之構成。將該構成例顯示在圖44A之ex900。例如在上述各實施形態所示之動態圖像解碼方法與依據MPEG4-AVC規格之動態圖像解碼方法係於熵編碼、反量化、解塊濾波器、移動補償等之處理中，處理內容有局部共通者。考慮一種構成，其針對共通之處理內容係共有與MPEG4-AVC規格對應之解碼處理部ex902，針對不對應MPEG4-AVC規格之本發明一態樣所特有之其他處理內容則使用專用之解碼處理部ex901之構成。尤其是本發明係於熵解碼有特徵，所以例如針對熵解碼，使用專用之解碼處理器 ex901，針對除此之外之反量化、解塊濾波器、移動補償任一者或全部的處理，則考慮共有解碼處理部。有關於解碼處理部之共有，亦可針對共通之處理內容，共有用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部，而對於MPEG4-AVC規格特有之處理內容，則使用專用之解碼處理部之構成。
又，將處理局部共有之另一例顯示在圖44B之ex1000。在該例中，使用與本發明一態樣所特有之處理內容對應之專用之解碼處理部ex1001、與另一習知規格特有之處理內容對應之專用的解碼處理部ex1002、與本發明一態樣之動態圖像解碼方法與另一習知規格之動態圖像解碼方法共通之處理內容對應之共用的解碼處理部ex1003之構成。在此，專用的解碼處理部ex1001、ex1002未必為針對本發明一態樣或其他習知規格特有之處理內容特殊設計者，亦可為可執行其他萬用處理者。又，本實施形態之構成亦可以LSIex500安裝者。
如此，針對本發明一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法上共通之處理內容共有解碼處理部，藉此便能將LSI之電路規模縮小、且降低成本者。
產業利用性
本發明可利用在諸如電視機、數位錄放影機、車用導航系統、行動電話機、數位相機、或數位錄影相機等。
S501~S503‧‧‧步驟

Claims (11)

  1. 一種圖像編碼方法，包含有：對樹狀結構之節點進行節點處理之步驟，該樹狀結構具有分割與上代節點對應之圖像區塊而所得到之多數圖像區塊各對應於子節點之關係；及進行編碼處理之步驟，將與前述樹狀結構之葉節點對應之圖像區塊、或者是與前述葉節點之上代節點對應之圖像區塊之頻率係數編碼；在前述進行節點處理之步驟中，在已對具有子節點之上代節點進行前述節點處理時，將與前述子節點對應之圖像區塊之位置、及與前述上代節點對應之圖像區塊之位置提供至前述節點處理之引數，對前述子節點遞迴呼叫前述節點處理；在已對葉節點進行前述節點處理時，將與前述葉節點對應之圖像區塊之位置、及與前述葉節點之上代節點對應之圖像區塊之位置提供至前述編碼處理之引數，呼叫前述編碼處理。
  2. 如申請專利範圍第1項之圖像編碼方法，更含有下列步驟：對與前述樹狀結構之葉節點對應之圖像區塊、或者是與前述葉節點之上代節點對應之圖像區塊之像素值、與預測像素值之預測誤差進行頻率變換及量化，藉此產生前述頻率係數；在前述進行編碼處理之步驟中，將所產生之前述頻 率係數編碼。
  3. 如申請專利範圍第1或2項之圖像編碼方法，在前述進行編碼處理之步驟中，在與前述葉節點對應之圖像區塊為已事先訂定之最小尺寸時，且，與前述葉節點對應之圖像區塊之色差值之資料量較亮度值之資料量少時，使用已提供至前述編碼處理之引數之與前述葉節點之上代節點對應之圖像區塊之位置，界定與前述上代節點對應之圖像區塊，且將與前述上代節點對應之圖像區塊之色差值之前述頻率係數編碼。
  4. 如申請專利範圍第1或2項之圖像編碼方法，在前述進行節點處理之步驟中，對具有與圖像之編碼單位對應之根節點、及與前述編碼單位之亮度值之變換單位對應之葉節點之前述樹狀結構之節點進行前述節點處理。
  5. 一種圖像解碼方法，包含有：對樹狀結構之節點進行節點處理之步驟，該樹狀結構具有分割與上代節點對應之圖像區塊而所得到之多數圖像區塊各對應於子節點之關係；及進行解碼處理之步驟，係將與前述樹狀結構之葉節點對應之圖像區塊或者是與前述葉節點之上代節點對應之圖像區塊之頻率係數解碼；在前述進行節點處理之步驟中，在已對具有子節點之上代節點進行前述節點處理時，將與前述子節點對應之圖像區塊之位置、及與前述上代節點對應之圖像區塊之位置提供至前述節點處理 之引數，對前述子節點遞迴呼叫前述節點處理；在已對葉節點進行前述節點處理時，將與前述葉節點對應之圖像區塊之位置、及與前述葉節點之上代節點對應之圖像區塊之位置提供至前述解碼處理之引數，呼叫前述解碼處理。
  6. 如申請專利範圍第5項之圖像解碼方法，其中前述圖像解碼方法更含有下列步驟，即，對已解碼之前述頻率係數進行反量化及反頻率變換而所得到之預測誤差與預測像素值相加，藉此再構成與前述樹狀結構之葉節點對應之圖像區塊或者是與前述葉節點之上代節點對應之圖像區塊之像素值。
  7. 如申請專利範圍第5或6項之圖像解碼方法，在前述進行解碼處理之步驟中，在與前述葉節點對應之圖像區塊為已事先訂定之最小尺寸時，且，與前述葉節點對應之圖像區塊之色差值之資料量較亮度值之資料量少時，使用已提供至前述解碼處理之引數之與前述葉節點之上代節點對應之圖像區塊之位置，界定與前述上代節點對應之圖像區塊，且將與前述上代節點對應之圖像區塊之色差值之前述頻率係數解碼。
  8. 如申請專利範圍第5或6項之圖像解碼方法，在前述進行節點處理之步驟中，對具有與圖像之編碼單位對應之根節點、及與前述編碼單位之亮度值之變換單位對應之葉節點之前述樹狀結構之節點進行前述節點處理。
  9. 一種圖像編碼裝置，包含有： 節點處理部，係對樹狀結構之節點進行節點處理者，該樹狀結構具有分割與上代節點對應之圖像區塊而所得到之多數圖像區塊各對應於子節點之關係；及編碼處理部，係進行編碼處理者，係將與前述樹狀結之葉節點對應之圖像區塊、或者是與前述葉節點之上代節點對應之圖像區塊之頻率係數編碼；前述節點處理部在已對具有子節點之上代節點進行前述節點處理時，將與前述子節點對應之圖像區塊之位置、及與前述上代節點對應之圖像區塊之位置提供至前述節點處理之引數，對前述子節點遞迴呼叫前述節點處理，在已對葉節點進行前述節點處理時，將與前述葉節點對應之圖像區塊之位置、及與前述葉節點之上代節點對應之圖像區塊之位置提供至前述編碼處理之引數，呼叫前述編碼處理。
  10. 一種圖像解碼裝置，包含有：節點處理部，係對樹狀結構之節點進行節點處理者，該樹狀結構具有分割與上代節點對應之圖像區塊而所得到之多數圖像區塊各對應於子節點之關係；及解碼處理部，係進行解碼處理，將與前述樹狀結構之葉節點對應之圖像區塊或者是與前述葉節點之上代節點對應之圖像區塊之頻率係數解碼；前述節點處理部在已對具有子節點之上代節點進行前述節點處理時，將與前述子節點對應之圖像區塊之位 置、及與前述上代節點對應之圖像區塊之位置提供至前述節點處理之引數，對前述子節點遞迴呼叫前述節點處理，在已對葉節點進行前述節點處理時，將與前述葉節點對應之圖像區塊之位置、及與前述葉節點之上代節點對應之圖像區塊之位置提供至前述解碼處理之引數，呼叫前述解碼處理。
  11. 一種圖像編碼解碼裝置，包含有：如申請專利範圍第9項之圖像編碼裝置；及如申請專利範圍第10項之圖像解碼裝置。
TW102104606A 2012-02-08 2013-02-06 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置 TW201347550A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261596566P 2012-02-08 2012-02-08

Publications (1)

Publication Number Publication Date
TW201347550A true TW201347550A (zh) 2013-11-16

Family

ID=48947256

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102104606A TW201347550A (zh) 2012-02-08 2013-02-06 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置

Country Status (3)

Country Link
US (1) US20130223518A1 (zh)
TW (1) TW201347550A (zh)
WO (1) WO2013118485A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5850214B2 (ja) 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US9667994B2 (en) 2012-10-01 2017-05-30 Qualcomm Incorporated Intra-coding for 4:2:2 sample format in video coding
US10440365B2 (en) * 2013-06-28 2019-10-08 Velos Media, Llc Methods and devices for emulating low-fidelity coding in a high-fidelity coder
KR102601268B1 (ko) * 2017-02-24 2023-11-10 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10523966B2 (en) 2017-03-31 2019-12-31 Mediatek Inc. Coding transform blocks
EP3429211A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding the colors of a colored point cloud whose geometry is represented by an octree-based structure
PH12019000380A1 (en) * 2018-12-17 2020-09-28 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Also Published As

Publication number Publication date
US20130223518A1 (en) 2013-08-29
WO2013118485A1 (ja) 2013-08-15

Similar Documents

Publication Publication Date Title
JP6305590B2 (ja) 画像復号方法及び画像復号装置
TWI556609B (zh) A reproducing method, a moving picture encoding method, a reproducing apparatus, a moving picture coding apparatus, and a moving picture encoding and decoding apparatus
TWI587707B (zh) An image decoding method, an image coding method, an image decoding apparatus, an image coding apparatus, and an image coding / decoding apparatus
TWI602421B (zh) Image decoding method and image decoding apparatus
TWI580247B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus
TWI559752B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus
TWI580265B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus
AU2012206251B2 (en) Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
RU2627109C2 (ru) Способ кодирования, способ декодирования, устройство кодирования, устройство декодирования и устройство кодирования и декодирования
TWI559738B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, an image coding / decoding apparatus, and a program
TW201334563A (zh) 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、及圖像編碼解碼裝置
KR20150056533A (ko) 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 화상 복호화 장치, 및 화상 부호화 복호화 장치
TWI546778B (zh) An image coding method, an image decoding method, an image coding apparatus, and an image decoding apparatus
TW201347550A (zh) 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置
JP6483028B2 (ja) 画像符号化方法及び画像符号化装置
RU2799562C1 (ru) Способ кодирования изображений, устройство кодирования изображений, способ декодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений
WO2013046616A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法