TWI559737B - An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus - Google Patents

An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus Download PDF

Info

Publication number
TWI559737B
TWI559737B TW102113766A TW102113766A TWI559737B TW I559737 B TWI559737 B TW I559737B TW 102113766 A TW102113766 A TW 102113766A TW 102113766 A TW102113766 A TW 102113766A TW I559737 B TWI559737 B TW I559737B
Authority
TW
Taiwan
Prior art keywords
unit
flag
interval
decoding
image
Prior art date
Application number
TW102113766A
Other languages
English (en)
Other versions
TW201349874A (zh
Inventor
Tadamasa Toma
Takahiro Nishi
Youji Shibahara
Hisao Sasai
Toshiyasu Sugio
Kyoko Tanikawa
Toru Matsunobu
Kengo Terada
Original Assignee
Sun Patent Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust filed Critical Sun Patent Trust
Publication of TW201349874A publication Critical patent/TW201349874A/zh
Application granted granted Critical
Publication of TWI559737B publication Critical patent/TWI559737B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、及圖像編碼解碼裝置 發明領域
本發明是有關於圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、及圖像編碼解碼裝置。
發明背景
為壓縮聲音資料或動態圖像資料，至今已開發出多種聲音編碼規格及動態圖像編碼規格。對於動態圖像編碼規格之例子來說，可舉例有被稱為H.26x之ITU-T規格及被稱為MPEG-x之ISO/IEC規格(例如參考非專利文獻1)。最新的動態圖像編碼規格為被稱為H.264/MPEG-4AVC之規格。又，近年來檢討著被稱為HEVC(High Efficiency Video Coding)之下一世代之編碼規格(例如參考非專利文獻2)。
先行技術文獻 非專利文獻
非專利文獻1：ISO/IEC 14496-10「MPEG-4 Part10 Advanced Video Coding」
非專利文獻2：Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/ WG11 8th Meeting: San José, CA, USA,-1-10 February, 2012, JCTVC-H1003, “High Efficiency Video Coding (HEVC) text specification draft6”, http：//phenix.int-evry.fr/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1003-v22.zip
發明概要
對如此之圖像編碼方法及圖像解碼方法，希望能減少處理量。
在此，本發明之目的在於提供一種能減少處理量之圖像編碼方法或圖像解碼方法。
為達成上述目的，本發明一態樣之圖像編碼方法是將圖片所含之1個以上之單元編碼之圖像編碼方法，包含有：第1旗標產生步驟，使虛擬解碼器產生第1旗標，該第1旗標顯示由用以儲存編碼資料之緩衝器讀出前述編碼資料之時刻是否是以前述單元單位設定；第2旗標產生步驟，於前述時刻是以前述單元單位設定時，產生第2旗標，第2旗標顯示多數前述單元之讀出時刻之間隔為固定或者是任意；及位元流產生步驟，產生包括前述編碼資料、前述第1旗標及前述第2旗標之位元流。
此外，該等一般或具體的態樣亦可以系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等之記 錄媒體予以實現，亦可以系統、方法、積體電路、電腦程式及記錄媒體之任一組合附諸實現。
本發明可提供能減少處理量之圖像編碼方法及圖像解碼方法。
100、403‧‧‧編碼部
101‧‧‧輸入圖像訊號
110‧‧‧減法部
111‧‧‧預測誤差訊號
120‧‧‧變換部
121‧‧‧變換輸出訊號
130‧‧‧量化部
131、231‧‧‧量化係數
140、240‧‧‧反量化部
141、241‧‧‧解碼變換輸出訊號
150、250‧‧‧反變換部
151、251‧‧‧解碼變換輸入訊號
160、260‧‧‧加法部
161、261‧‧‧解碼訊號
170、270‧‧‧記憶體
180、280‧‧‧預測部
181、281‧‧‧預測訊號
190‧‧‧熵編碼部
191‧‧‧編碼訊號
200、303、505‧‧‧解碼部
290‧‧‧熵解碼部
291‧‧‧預測方法
300‧‧‧圖像解碼裝置
301‧‧‧CPB
302、402‧‧‧抽取時刻決定部
304、507‧‧‧DPB
311‧‧‧抽取單位判斷部
312、412‧‧‧存取單元抽取時刻決定部
313‧‧‧模式判斷部
314、414、506‧‧‧解碼單元抽取時刻決定部
315‧‧‧抽取時刻通知部
400‧‧‧圖像編碼裝置
411‧‧‧抽取單位決定部
413‧‧‧模式決定部
500‧‧‧STD
501‧‧‧TS解多工器
502‧‧‧TB
503‧‧‧MB
504‧‧‧EB
ex100‧‧‧內容供給系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務提供者
ex104‧‧‧電話線路網
ex106~ex110‧‧‧基地台
ex107‧‧‧基地台
ex111‧‧‧電腦
ex112‧‧‧PDA
ex113‧‧‧相機
ex114‧‧‧行動電話機
ex115‧‧‧遊戲機
ex117‧‧‧麥克風
ex201‧‧‧廣播台
ex202‧‧‧衛星
ex203‧‧‧電纜線
ex204‧‧‧天線
ex210‧‧‧車
ex211‧‧‧車用導航系統
ex215,ex216‧‧‧記錄媒體
ex217‧‧‧機上盒(STB)
ex218‧‧‧讀取器/記錄器
ex219‧‧‧監視器
ex220‧‧‧遙控器
ex230‧‧‧資訊軌道
ex231‧‧‧記錄區塊
ex232‧‧‧內周區
ex233‧‧‧資料記錄區
ex234‧‧‧外周區
ex235‧‧‧視訊流
ex238‧‧‧聲訊流
ex236,ex239,ex242,ex245‧‧‧PES封包列
ex237,ex240,ex243,ex246‧‧‧TS封包
ex241‧‧‧表達圖形流
ex244‧‧‧互動圖形流
ex247‧‧‧多工資料
ex300‧‧‧電視機
ex301‧‧‧調諧器
ex302‧‧‧調變/解調部
ex303‧‧‧多工/分離部
ex304‧‧‧聲音訊號處理部
ex305‧‧‧影像訊號處理部
ex306‧‧‧訊號處理部
ex307‧‧‧揚聲器
ex308‧‧‧顯示部
ex309‧‧‧輸出部
ex310‧‧‧控制部
ex311‧‧‧電源電路部
ex312‧‧‧操作輸入部
ex313‧‧‧橋接器
ex314‧‧‧插槽部
ex315‧‧‧驅動器
ex316‧‧‧數據機
ex317‧‧‧介面部
ex318、ex319‧‧‧緩衝器
ex350‧‧‧天線
ex351‧‧‧傳送/接收部
ex352‧‧‧調變/解調部
ex353‧‧‧多工/分離部
ex354‧‧‧聲音訊號處理部
ex355‧‧‧影像訊號處理部
ex356‧‧‧聲音輸入部
ex357‧‧‧聲音輸出部
ex358‧‧‧顯示部
ex359‧‧‧LCD控制部
ex360‧‧‧主控制部
ex361‧‧‧電源電路部
ex362‧‧‧操作輸入控制部
ex363‧‧‧相機I/F部
ex364‧‧‧插槽部
ex365‧‧‧相機部
ex366‧‧‧操作鍵部
ex367‧‧‧記憶體部
ex400‧‧‧資訊再生/記錄部
ex401‧‧‧光學磁頭
ex402‧‧‧調變記錄部
ex403‧‧‧再生解調部
ex404‧‧‧緩衝器
ex405‧‧‧光碟馬達
ex406‧‧‧伺服器控制部
ex407‧‧‧系統控制部
ex500‧‧‧LSI
ex501‧‧‧控制部
ex502‧‧‧CPU
ex503‧‧‧記憶體控制器
ex504‧‧‧串流控制器
ex505‧‧‧電源電路部
ex506‧‧‧串流I/O
ex507‧‧‧訊號處理部
ex508‧‧‧緩衝器
ex509‧‧‧AV I/O
ex510‧‧‧匯流排
ex511‧‧‧記憶體
ex512‧‧‧驅動頻率控制部
ex801,ex802‧‧‧解碼處理部
ex803‧‧‧驅動頻率切換部
ex900,ex1000‧‧‧構成
ex901,ex902,ex1001~ex1003‧‧‧解碼處理部
圖1是顯示實施形態1之VUI之語法一例之圖。
圖2是顯示實施形態1之Picture Timing SEI之語法一例之圖。
圖3是顯示實施形態1之VUI之語法一例之圖。
圖4是顯示實施形態1之Buffering period SEI之語法一例之圖。
圖5是顯示實施形態1之Picture Timing SEI之語法一例之圖。
圖6A是顯示實施形態1之圖像解碼方法之流程圖。
圖6B是顯示實施形態1之圖像編碼方法之流程圖。
圖7A是顯示實施形態1之圖像解碼裝置之方塊圖。
圖7B是顯示實施形態1之圖像解碼裝置所具備之抽取時刻決定部之方塊圖。
圖8A是實施形態1之圖像編碼裝置之方塊圖。
圖8B是實施形態1之圖像編碼裝置所具備之抽取時刻決定部之方塊圖。
圖9是顯示實施形態1之Decoding Unit CPB delay SEI之語法一例之圖。
圖10是顯示實施形態1之編碼位元流之構成例之圖。
圖11是顯示實施形態1之編碼位元流之構成例之圖。
圖12是顯示實施形態1之描述符一例之圖。
圖13是顯示實施形態1之圖像解碼裝置(STD)之方塊圖。
圖14A是顯示實施形態1之以存取單元單位進行抽取時之緩衝器佔有量一例之圖。
圖14B是顯示實施形態1之以解碼單元單位進行抽取時之緩衝器佔有量一例之圖。
圖15是顯示實施形態1之圖像解碼方法之流程圖。
圖16是顯示實施形態1之圖像編碼方法之流程圖。
圖17是實施形態1之編碼部之方塊圖。
圖18是實施形態1之解碼部之方塊圖。
圖19是實現內容發送服務之內容供給系統之整體構成圖。
圖20是數位播放用系統之整體構成圖。
圖21是顯示電視機之構成例之方塊圖。
圖22是顯示在光碟之記錄媒體進行資訊讀寫之資訊再生/記錄部之構成例之方塊圖。
圖23是顯示光碟之記錄媒體之構成例之圖。
圖24A是顯示行動電話機一例之圖。
圖24B是顯示行動電話機之構成例之方塊圖。
圖25是顯示多工資料之構成圖。
圖26是模式地顯示各串流如何在多工資料進行多工處 理之圖。
圖27是更進一步詳細顯示在PES封包列如何儲存視訊流之圖。
圖28是顯示多工資料中之TS封包及原始封包之構造圖。
圖29是顯示PMT之資料構成圖。
圖30是顯示多工資料資訊之內部構成圖。
圖31是顯示串流屬性資訊之內部構成圖。
圖32是顯示識別影像資料之步驟圖。
圖33是顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路之構成例之方塊圖。
圖34是顯示將驅動頻率進行切換之構成圖。
圖35是顯示識別影像資料且切換驅動頻率之步驟圖。
圖36是顯示將影像資料之規格與驅動頻率對應之查找表一例之圖。
圖37A是顯示共有訊號處理部之模組之一構成例之圖。
圖37B是顯示共有訊號處理部之模組之另一構成例之圖。
較佳實施例之詳細說明
(成為本發明之基礎之知見)
本發明人在習知技術中發現到衍生有下列問題。
以下針對本發明之比較例之圖像解碼裝置予以說明。
視訊之存取單元(Access Unit：例如相當於圖片)被分割成多數解碼單元(Decoding Unit)。又，每解碼單元，圖像解碼裝置設定有抽取時刻，該抽取時刻為由編碼圖片緩衝器(CPB/Coded Picture Buffer)抽取該解碼單元之編碼資料之時刻。藉此，圖像解碼裝置在解碼單元之編碼資料齊備時，就能依序將該編碼資料解碼。藉此，圖像解碼裝置無須等待存取單元之全部資料接收完畢，因此能減少延遲時間。
用以決定來自該解碼單元各個之CPB之抽取時刻之參數例如全部都記述在Picture Timing SEI。藉此，圖像解碼裝置，為了取得解碼單元之抽取時刻，有必要每次解析存取單元內之Picture Timing SEI。因此本發明人發現會有圖像解碼裝置之負擔增加之問題衍生。
又，對於將解碼單元之抽取時刻由圖像編碼裝置而傳遞至圖像解碼裝置之方法，可想到將多數解碼單元之各抽取時刻之資訊包含在編碼位元流之方法。惟，若有在多數解碼單元之間必須使用各不相同之抽取時刻之間隔的時候，也就有相同間隔亦可行的時候。本發明人發現到在使用相同的間隔時，如上述，將多數解碼單元之各抽取時刻之資訊包含在編碼位元流之情況變成使冗長的資訊包含在編碼位元流。
本發明一態樣之圖像編碼方法是一種將圖片所含之1個以上的單元編碼之圖像編碼方法，包含有：第1旗標產生步驟，由虛擬解碼器產生第1旗標，該第1旗標顯示 由用以儲存編碼資料之緩衝器讀出前述編碼資料之時刻是否是以前述單元單位設定；第2旗標產生步驟，在前述時刻是以前述單元單位設定時，產生第2旗標，該第2旗標顯示多數前述單元單位之讀出時刻之間隔為固定或者是任意；及位元流產生步驟，產生包括前述編碼資料、前述第1旗標及前述第2旗標之編碼位元流。
依此，該圖像編碼方法可令圖像解碼裝置由緩衝器讀出單元單位之編碼資料之時間間隔為固定。藉此，例如可降低圖像解碼裝置之處理量。
例如，在前述位元流產生步驟中，亦可在包含在前述編碼位元流，且按每含有1個以上之圖片之圖片群設置之圖片群的控制資訊中含有第2旗標。
例如，前述圖像編碼方法亦可更含有固定間隔資訊產生步驟，於前述第2旗標顯示前述間隔為固定時，產生顯示該間隔之固定間隔資訊；在前述位元流產生步驟中，在包含在前述編碼位元流，且按每1圖片單位設置之1圖片單位之控制資訊中含有前述固定間隔資訊。
例如，前述固定間隔資訊亦可含有包含在1個圖片之前述多數單元之數量及圖片之時間間隔。
例如，前述圖像編碼方法亦可更含有可變間隔資訊產生步驟，於前述第2旗標顯示前述間隔為任意時，產生按每前述單元顯示前述間隔之可變間隔資訊；在前述位元流產生步驟中，在前述1圖片單位之控制資訊含有前述可變間隔資訊。
例如，前述圖像編碼方法亦可更含有可變間隔資訊產生步驟，於前述第2旗標顯示前述間隔為任意時，產生按每前述單元顯示前述間隔之可變間隔資訊；在前述位元流產生步驟中，在包含在前述編碼位元流，且按每1單元單位設置之1單元單位之控制資訊含有前述可變間隔資訊。
例如，前述編碼位元流亦可含有傳輸流及描述符，在前述位元流產生步驟中，在前述描述符含有前述第2旗標。
又，本發明一態樣之圖像解碼方法是將編碼資料按圖片所含之1個以上之單元個別解碼之方法，包含有：第1旗標取得步驟，由含有前述編碼資料之編碼位元流取得第1旗標，該第1旗標顯示由用以儲存前述編碼資料之緩衝器讀出前述編碼資料之時刻是否是以前述單元單位設定；第2旗標取得步驟，在前述時刻是以前述單元單位設定時，由前述編碼位元流取得第2旗標，該第2旗標顯示多數前述單元之讀出時刻之間隔為固定或者是任意；讀出步驟，依照前述第2旗標，且以固定間隔或者是任意間隔，由前述緩衝器按每前述單元讀出編碼資料；及解碼步驟，將所讀出之前述編碼資料解碼。
依此，該圖像解碼方法可減少處理量。
例如，亦可在前述第2旗標取得步驟中，由包含在前述編碼位元流，且按每含有1個以上之圖片之圖片群設置之圖片群之控制資料取得前述第2旗標。
例如，前述圖像解碼方法亦可更包含有固定間隔 資訊取得步驟，在前述第2旗標顯示前述間隔為固定時，由包含在前述編碼位元流，且按每1圖片單位設置之1圖片單位之控制資訊取得顯示該間隔之固定間隔資訊；在前述讀出步驟中，在前述第2旗標顯示前述間隔為固定時，以前述固定間隔資訊所示之前述間隔，由前述緩衝器按每前述單元讀出編碼資料。
例如，前述固定間隔資訊是顯示1個圖片所含之前述多數單元之數量及圖片之時間間隔，在前述讀出步驟中，使用前述多數單元之數量及前述圖片之時間間隔，算出前述間隔，以所算出之間隔，由前述緩衝器按每前述單元而讀出編碼資料，亦可。
例如，前述圖像解碼方法亦可更包含有可變間隔資訊取得步驟，於前述第2旗標顯示前述間隔為任意時，由前述1圖片單位之控制資訊取得顯示前述多數單元之各前述間隔之可變間隔資訊；在前述讀出步驟中，在前述第2旗標顯示前述間隔為任意時，以前述可變間隔資訊所示之前述間隔，由前述緩衝器按每前述單元讀出編碼資料。
例如，前述圖像解碼方法亦可更包含有可變間隔資訊取得步驟，於前述第2旗標顯示前述間隔為任意時，由包含在前述編碼位元流，且按每1單元單位設置之1單元單位之控制資訊取得顯示前述多數單元之各前述間隔之可變間隔資訊；在前述讀出步驟中，在前述第2旗標顯示前述間隔為任意時，以前述可變間隔資訊所示之前述間隔，由前述緩衝器按每前述單元讀出編碼資料。
例如，前述編碼位元流含有傳輸流及描述符，在前述第2旗標取得步驟中，由前述描述符取得前述第2旗標，亦可。
又，本發明一態樣之圖像編碼裝置是包含有控制電路、及電連接於前述控制電路之記憶裝置，且將圖片所含之1個以上之單元編碼之裝置；前述控制電路執行：第1旗標產生步驟，使虛擬解碼器產生第1旗標，該第1旗標顯示由用以儲存編碼資料之緩衝器讀出前述編碼資料之時刻是否是以前述單元單位設定；第2旗標產生步驟，於前述時刻是以前述單元單位設定時，產生第2旗標，該第2旗標顯示多數前述單元之讀出時刻之間隔為固定或者是任意；及位元流產生步驟，產生包括前述編碼資料、前述第1旗標及前述第2旗標之編碼位元流。
依此，該圖像編碼裝置可使圖像解碼裝置由緩衝器讀出單元單位之編碼資料之時間間隔為固定。藉此，例如可減少圖像解碼裝置中之處理量。
又，本發明一態樣之圖像解碼裝置是包含有：控制電路及電連接於前述控制電路之記憶裝置，且按圖片所含之1個以上之單元分別將編碼資料解碼之裝置，前述控制電路執行：第1旗標取得步驟，由含有前述編碼資料之編碼位元流取得第1旗標，該第1旗標顯示由用以儲存前述編碼資料之緩衝器讀出前述編碼資料之時刻是否是以前述單元單位設定；第2旗標取得步驟，於前述時刻是以前述單元單位設定時，由前述編碼位元流取得第2旗標，該第2旗標顯 示多數前述單元之讀出時刻之間隔是固定或者是任意；讀出步驟，依照前述第2旗標，以固定間隔或者是任意間隔，由前述緩衝器按每前述單元而讀出編碼資料；及解碼步驟，將所讀出之前述編碼資料解碼。
依此，該圖像解碼裝置可減少處理量。
又，本發明一態樣之圖像編碼解碼裝置包含有前述圖像編碼裝置及前述圖像解碼裝置。
此外，該等一般或具體的態樣亦可以系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等之記錄媒體予以實現，亦可以系統、方法、積體電路、電腦程式及記錄媒體之任一組合附諸實現。
以下，一邊參考附圖，一邊具體地說明實施之形態。
此外，以下說明之實施形態每一種都只是顯示本發明之一具體例。在以下說明的實施形態所示之數值、形狀、材料、構成要素、構成要素之配置位置及連接形態、步驟、步驟的順序等只是一例罷了，並非是限定本發明之旨趣。又，以下的實施形態中之構成要素中，針對未記載於顯示最上位概念之獨立請求項之構成要素，乃作為任意的構成要素來說明。
(實施形態1)
本實施形態之圖像編碼裝置及圖像解碼裝置是使用存取單元中之解碼單元間，來自CPB之抽取時刻之間隔使用(1)固定之模式(間隔固定模式)；(2)任意之模式(間隔可變模式) 之2種模式。然後，圖像編碼裝置假設資訊之發送對象之圖像解碼裝置，作為虛擬參考解碼器，按每模式切換抽取時刻資訊之產生及發送方法。
舉一例來說，圖像編碼裝置及圖像解碼裝置基本上是使用間隔固定模式。又，圖像編碼裝置及圖像解碼裝置對於存取單元內編碼量按每區域有明顯變動般之影像，使用間隔可變模式。
又，圖像編碼裝置在間隔固定模式中，不是存取單元單位，而是較SPS(Sequence Parameter Set)等之存取單元單位上位之單位(例如多數圖片單位)中含有顯示抽取時刻之間隔之資訊，亦可。藉此，圖像解碼裝置無須進行以存取單元單位之解析。
圖像解碼裝置對較SPS(更具體來說，SPS內之VUI(Video Usability Information))等之存取單元單位上位之單位解析，藉此判斷模式為間隔固定模式及間隔可變模式中之哪一種，因應所判斷之模式，切換抽取時刻資訊之取得方法。
又，在只對應間隔固定模式之圖像解碼裝置中，亦可在判斷為間隔可變模式時，以存取單元單位開始解碼，而不進行以解碼單元單位開始解碼。
編碼流，一般來說，可藉MPEG-2 TS(Transport Stream)、MP4、或者是RTP(Real-time Transport Protocol)等多工後傳送。藉此，圖像編碼裝置亦可以多工層傳送上述模式之識別資訊、及間隔固定模式中之抽取時刻之間隔等 之順序單位(多數圖片單位)固定的資訊。
以下說明本實施形態之第1語法例。
圖1是顯示SPS所含之VUI之語法例之圖。圖2是顯示每存取單元附加之Picture timing SEI之語法例。
在存取單元之解碼單元中，間隔可變旗標(variable_sub_pic_removal_period_flag)是儲存在VUI，該間隔可變旗標是顯示來自CPB之抽取時刻之間隔是間隔固定模式及間隔可變模式其中一種之資訊。又，圖像解碼裝置在間隔固定模式時，使用VUI內之參數決定抽取時刻之間隔，在間隔可變模式時，則使用Picture timing SEI所含之參數決定抽取時刻之間隔。
例如，在間隔可變旗標(variable_sub_pic_removal_period_flag)之值為0時，在存取單元內之解碼單元間，來自CPB之抽取時刻之間隔為固定(間隔固定模式)。又，抽取時刻之間隔是藉VUI內之後續語法所定義。
另一方面，在間隔可變旗標之值為1時，在存取單元之解碼單元間，來自CPB之抽取時刻之間隔為任意(間隔可變模式)。又，抽取時刻之間隔是藉附加在每存取單元之Picture timing SEI所含之資訊所定義。
又，VUI所含之解碼單位旗標(sub_pic_cpb_flag)是顯示解碼處理(來自CPB之編碼資料之抽取)之設定以存取單元(圖片)單位、或者是解碼單元單位其中一種進行。在解碼單位旗標之值為0時，顯示為存取單元單位，在解碼單位旗標之值為1時，顯示為解碼單元單位。
此外，其他語法之定義例如和非專利文獻2同樣。
在解碼單位旗標(sub_pic_cpb_flag)與間隔可變旗標(variable_sub_pic_removal_period_flag)同為1時，在Picture timing SEI內有num_decoding_units_minus1及cpb_removal_delay存在。存取單元內之解碼單元數量為num_decoding_units_minus1+1。cpb_removal_delay是規定來自每解碼單元之CPB之抽取時刻。
其他情況，則是在Picture timing SEI內沒有num_decoding_units_minus1存在，該值視為0。
又，在解碼單位旗標(sub_pic_cpb_flag)之值為0時，來自CPB之抽取是以存取單元單位進行，抽取時刻是根據cpb_removal_delay所決定。
又，在解碼單位旗標之值為1，且，間隔可變旗標之值為0時(sub_pic_cpb_flag=1 & & variable_sub_pic_removal_period_flag=0)，來自CPB之抽取是以解碼單元單位進行，抽取時刻是根據VUI內之參數所決定。
以下，說明本實施形態之第2語法例。
圖3是顯示SPS所含之VUI之語法例之圖。圖4是顯示SPS所含之Buffering period SEI之語法例之圖。圖5是顯示附加在每存取單元之Picture timing SEI之語法例之圖。
在該語法例中，間隔可變旗標(variable_sub_pic_removal_period_flag)是儲存在Buffering period SEI，該間隔可變旗標是顯示存取單元中之解碼單元間之抽取時刻之間隔為間隔固定模式或者是間隔可變模式其中一種之資訊。 在此，該Buffering period SEI與VUI同樣，例如包含在SPS。換言之，Buffering period SEI是按每多數圖片單位產生。
又，圖像解碼裝置在間隔固定模式時，使用VUI內之參數決定抽取時刻之間隔，而在間隔可變模式時，使用Picture timing SEI內之參數決定抽取時刻之間隔。
即，圖像編碼裝置是將間隔可變旗標(variable_sub_pic_removal_period_flag)定義成Buffering period SEI。
另，在解碼單位旗標(sub_pic_cpb_flag)之值為1時，圖像編碼裝置亦可將在VUI內之hrd_parameters()中所定義之removal_time_offset儲存在Buffering period SEI。
又，圖像編碼裝置亦可將用以決定來自間隔固定模式中之解碼單元之CPB之抽取時刻之參數(num_ctbs_in_subpicture_minus1及picture_interval)儲存在Buffering period SEI。
其次，說明本實施形態之圖像解碼裝置之圖像解碼方法之順序。
圖6A是本實施形態之圖像解碼方法之流程圖。
首先，圖像解碼裝置是根據VUI所含之解碼單位旗標(sub_pic_cpb_flag)之值，決定來自CPB之編碼資料之抽取為存取單元單位或者是解碼單元單位(S101)。
在來自CPB之抽取為解碼單元單位時(在S102中，是)，圖像解碼裝置是根據VUI所含之間隔可變旗標(variable_sub_pic_removal_period_flag)之值，決定模式為間隔固定模式及間隔可變模式其中一種(S103)。
在為間隔固定模式時(在S104，是)，圖像解碼裝置是根據VUI所含之參數(num_ctbs_in_subpicture_minus1及picture_interval)，決定解碼單元之抽取時刻(S105)。
另一方面，在為間隔可變模式時(在S104，否)，圖像解碼裝置是根據Picture timing SEI所含之參數(cpb_removal_delay)，決定解碼單元之抽取時刻(S106)。
又，在來自CPB之抽取為存取單元單位時(在S102，否)，圖像解碼裝置是根據Picture timing SEI所含之參數，決定存取單元之抽取時刻(S107)。
其次，說明依本實施形態之圖像編碼裝置之圖像編碼方法之流程。
圖6B是本實施形態之圖像編碼方法之流程圖。
首先，圖像編碼裝置是決定來自CPB之編碼資料之抽取為存取單元單位或者是解碼單元單位。然後，圖像編碼裝置是將顯示決定結果之解碼單位旗標(sub_pic_cpb_flag)儲存於VUI(S201)。
在來自CPB之抽取為解碼單元單位時(S202，是)，圖像編碼裝置決定模式為間隔固定模式及間隔可變模式之其中一種，將顯示決定結果之間隔可變旗標(variable_sub_pic_removal_period_flag)儲存於VUI(S203)。
在間隔固定模式時(S204，是)，圖像編碼裝置決定解碼單元之抽取時刻，將顯示決定結果之參數(num_ctbs_in_subpicture_minus2及picture_interval)儲存於VUI(S205)。
另一方面，在間隔可變模式時(S204，否)，圖像 編碼裝置將用以決定解碼單元之抽取時刻之參數(cpb_removal_delay)儲存於Picture timing SEI(S206)。
又，在來自CPB之抽取為存取單元單位時(S202，否)，圖像編碼裝置將用以決定存取單元之抽取時刻之參數儲存於Picture timing SEI(S207)。
此外，圖像編碼裝置，例如按來自外部之指示，進行來自CPB之編碼資料之抽取單位(存取單元單位或解碼單元單位)之選擇、間隔固定模式或間隔可變模式之選擇、解碼單元之決定、及存取單元之決定。此外，圖像編碼裝置亦可因應來自外部之資訊及輸入圖像之特性等，進行該等之選擇或決定。
在此，在使用有間隔固定模式時，圖像編碼裝置調整編碼處理，以使各解碼單元之資料量在某範圍內。藉此，可降低因某解碼單位之資料大而造成圖像解碼裝置中之解碼處理之延遲。即，間隔固定模式對要求實時(real time)性之情況有用。另一方面，在間隔可變模式中，圖像編碼裝置可因應必要而將解碼單元之資料量適應地變更。藉此，例如為了確保某程度之畫質，能在成為需要大資料的解碼單元分配大資料。即，間隔可變模式對以畫質為優先之情況有用。
其次，說明本實施形態之圖像解碼裝置之構成。
圖7A為本實施形態之圖像解碼裝置之方塊圖。如圖7A所示，圖像解碼裝置300包含有：CPB(編碼圖片緩衝器)301、抽取時刻決定部302、解碼部303及DPB(解碼圖 片緩衝器)304。
CPB301是用以暫時儲存編碼流之緩衝器(記憶體)。
抽取時刻決定部302是決定來自以存取單元單位之CPB301之抽取時刻、及來自以解碼單元單位之CPB301之抽取時刻。
解碼部303在已藉抽取時刻決定部302決定之抽取時刻，由CPB301取得存取單元單位或者是解碼單元單位之編碼資料，且將所取得之編碼資料解碼，並將解碼後之解碼資料儲存在DPB304。
DPB304是用以暫時儲存解碼資料之緩衝器(記憶體)。
圖7B是抽取時刻決定部302之方塊圖。如圖7B所示，抽取時刻決定部302包含有抽取單位判斷部311、存取單元抽取時刻決定部312、模式判斷部313、解碼單元抽取時刻決定部314及抽取時刻通知部315。
抽取單位判斷部311是判斷來自CPB301之編碼資料之抽取為存取單元單位及解碼單元單位哪一種。
存取單元抽取時刻決定部312在編碼資料之抽取為存取單元單位時，決定來自存取單元之CPB301之抽取時刻。
模式判斷部313在編碼資料之抽取為解碼單元單位時，判斷模式為間隔固定模式及間隔可變模式哪一種。
解碼單元抽取時刻決定部314是使用模式判斷部 313之判斷結果，決定來自構成存取單元之多數解碼單元各個CPB301之抽取時刻。
抽取時刻通知部315是將以存取單元抽取時刻決定部312所決定之存取單元之抽取時刻、或者是以解碼單元抽取時刻決定部314所決定之解碼單元之抽取時刻通知解碼部303。
圖8A是本實施形態之圖像編碼裝置之方塊圖。如圖8A所示，圖像編碼裝置400包含有：抽取時刻決定部402、及編碼部403。
抽取時刻決定部402是決定圖像解碼裝置中之來自以存取單元單位之CPB之抽取時刻、及來自以解碼單元單位之CPB之抽取時刻。
編碼部403是將輸入圖像編碼。又，編碼部403是將顯示在抽取時刻決定部402之決定結果之資訊編碼。然後，編碼部403是產生含有已編碼之輸入圖像、及已編碼之資訊之編碼位元流。
圖8B是抽取時刻決定部402之方塊圖。如圖8B所示，抽取時刻決定部402包含有：抽取單位決定部411、存取單元抽取時刻決定部412、模式決定部413、及解碼單元抽取時刻決定部414。
抽取單位決定部411是決定圖像解碼裝置中之來自CPB之編碼資料之抽取為存取單元單位、及解碼單元單位哪一種。
存取單元抽取時刻決定部412在編碼資料之抽取 為存取單元單位時，決定來自存取單元之CPB之抽取時刻。
模式決定部413在編碼資料之抽取為解碼單元單位時，決定模式為間隔固定模式及間隔可變模式哪一種。
解碼單元抽取時刻決定部414是使用模式決定部413之決定結果，決定來自構成存取單元之多數解碼單元各自的編碼資料之CPB之抽取時刻。
以上述各處理部所決定之結果是藉編碼部403所編碼。
其次，針對顯示解碼單位之CPB抽取時刻之SEI予以說明。
在間隔可變模式時，在上述說明中，圖像編碼裝置已在Picture Timing SEI中儲存構成存取單元之解碼單元各自的CPB抽取時刻。
惟，在本構成中，由於編碼量於每解碼單元有所變動，因此圖像編碼裝置是於存取單元內之全部的解碼單元之編碼結束之前，不能決定各解碼單元之CPB抽取時刻。因此，圖像編碼裝置在於存取單元內之最終解碼單元之編碼完了之前不能決定Picture Timing SEI之資料。又，Picture Timing SEI在於存取單元內之前頭之解碼單元中被傳送。結果，圖像編碼裝置不等各解碼單元之編碼完了，就不能依序送出解碼單元。這是因為在以實時傳送內容時，會造成發送側之延遲的增加之緣故。在此，定義儲存各解碼單元之CPB抽取時刻之SEI。圖像編碼裝置將該SEI付加在各解碼單元內，以等到解碼單元之編碼完了時，就 能送出解碼單元之資料。
圖9是顯示成為儲存解碼單元單位之CPB抽取時刻之SEI之Decoding Unit CPB Delay SEI之語法例之圖。
本SEI是於來自CPB之抽取動作為解碼單元單位，且間隔可變模式時成為有效。又，本SEI是顯示包括本SEI與切片資料(儲存於VCL NAL Unit)之解碼單元之CPB抽取時刻。
具體來說，本SEI包括du_cpb_removal_delay。du_cpb_removal_delay是顯示解碼單元之CPB抽取時刻。
又，在使用Decoding Unit CPB delay SEI時，Picture Timing SEI是顯示存取單元單位之CPB抽取時刻與DPB抽取時刻。即，解碼單元單位之CPB抽取時刻是藉Decoding Unit CPB delay SEI所管理。
圖10及圖11是顯示存取單元之構成例之圖。
如圖10所示，各解碼單元含有Decoding Unit CPB delay SEI及切片資料。又，前頭之解碼單元更含有存取單元定界符(Access Unit Delimiter)及Picture Timing SEI。存取單元定界符(Access Unit Delimiter)是顯示存取單元之開始。
另，如圖11所示，與存取單元定界符(Access Unit Delimiter)同樣，亦可引進顯示解碼單元之開始之NAL單元(解碼單元定界符，Decoding Unit Delimiter)。又，針對存取單元內之前頭的解碼單元，亦可藉存取單元定界符(Access Unit Delimiter)顯示開始位置。
以下針對本實施形態之圖像編碼方法及圖像解 碼方法之變形例予以說明。
在圖1及圖2所示之例中，圖像編碼裝置在間隔固定模式時，在VUI內儲存有顯示每解碼單元之CPB抽取時刻之間隔之資訊，但亦可不在VUI內儲存顯示抽取時刻之間隔之資訊，而是根據已事先訂定之固定的間隔，在Picture Timing SEI內設定CPB抽取時刻之資訊。此時，由於相同的順序內解碼單元間之CPB抽取時刻為固定，Picture Timing SEI內之CPB抽取時刻之資訊亦成為固定。因此，在間隔固定模式時，圖像解碼裝置解析順序的前頭存取單元中之CPB抽取時刻之資訊，在以後的存取單元中可使用在前頭存取單元中所取得之CPB抽取時刻之資訊。
又，在圖10及圖11之例中，藉解碼單元定界符(Decoding Unit Delimiter)顯示解碼單元之邊界，但在構成解碼單元之切片資料之NAL單元為固定量時，亦可不使用解碼單元定界符(Decoding Unit Delimiter)。此時，圖像解碼裝置亦可根據切割資料之NAL單元來判斷解碼單元之邊界。例如，圖像編碼裝置在於解碼單元所含之切片資料之NAL單元為1個時，設定存取單元之前頭解碼單元從存取單元定界符(Access Unit Delimiter)開始，且設定從第2個以後之解碼單元分別從第2個以後之切片資料之NAL單元開始。藉此，圖像解碼裝置可判斷解碼單元之邊界。
其次，對MPEG-2 TS之封包多工方法。
顯示來自編碼資料之CPB之抽取單位為存取單元單位或者是解碼單元單位中之其中一種之資訊會影響到 解碼及顯示等之系統動作，因此希望可在解碼之前藉不同於編碼流之其他方式通知。又，在抽取單位為解碼單元單位時，顯示間隔固定模式與間隔可變模式之判斷之資訊亦同樣。
例如，藉使用描述符，可將該等資訊作為局部的程式資訊，從圖像編碼裝置傳送至圖像解碼裝置。此外，除使用描述符之方法外，亦可對抽取單對使用存取單元單位之形態及使用解碼單元單位之形態使用相異的stream_id或者是program_id，從圖像編碼裝置通知抽取單位給圖像解碼裝置。
將該描述符之一例顯示在圖12。圖12所示之sub_pic_cpb_removal_flag是顯示來自編碼資料之CPB之抽取單位為存取單元單位或者是解碼單元單位之旗標。在該旗標之值為1時，抽取單位為解碼單元單位，在旗標之值為0時，抽取單位為存取單元單位。
variable_sub_pic_removal_period_flag是顯示來自解碼單元之CPB之抽取為間隔固定模式或者是間隔可變模式其中一種之旗標。在該旗標之值為1時，模式為間隔可變模式，在旗標之值為0時，模式為間隔固定模式。
sub_pic_removal_period只有在間隔固定模式時有效。該sub_pic_removal_period是顯示來自連續的解碼單元中之CPB之抽取時刻之差值(解碼單元間之抽取時刻之間隔)。
另，圖像編碼裝置亦可不將直接顯示抽取時刻之 差值之資訊送到圖像解碼裝置，而是把以解碼順序連續之存取單元間之解碼時間之間隔與構成存取單元之解碼單元之數量送至圖像解碼裝置。此時，圖像解碼裝置使用可該等資訊，藉計算取得差值。
又，圖像編碼裝置亦可將CPB抽取時刻之差值包含在藉PES封包所傳送之編碼資料(SPS、或者是Picture Timing SEI等)，而代替包含在描述符。此時，圖像解碼裝置是由SPS或者是Picture Timing SEI等取得CPB抽取時刻之差值。
又，圖像編碼裝置亦可將顯示構成存取單元之解碼單元之數量是否為固定之資訊送至圖像解碼裝置。進而，圖像編碼裝置在構成存取單元之解碼單元之數量為固定時，亦可將顯示構成存取單元之解碼單元之數量之資訊送至圖像解碼裝置。按此，圖像解碼裝置例如可識別存取單元所含之最後的解碼單元。
又，若訊框速率為固定時，圖像解碼裝置以解碼單元之數量除訊框之解碼時刻之間隔，可決定各解碼單元之CPB抽取時刻。藉此，圖像解碼裝置在由PES封包之標頭取得了存取單元之解碼時刻之階段，可決定該存取單元之各解碼單元之CPB抽取時刻。
在此，在MPEG-2 TS中之PES封包，可附加解碼時刻(DTS：Decoding Time Stamp)之最小單位為存取單元。因此，圖像解碼裝置由圖12所示之描述符內或者是編碼流內之資訊取得解碼單元之解碼時刻，且通知解碼部。
圖13是用以通知解碼單元之解碼時刻之STD(System Target Decoder)之方塊圖。
該STD500是本實施形態之圖像解碼裝置一例，包含有：TS解多工器501、TB(Transport Buffer)502、MB(Multiplexing Buffer)503、EB(Elementary stream Buffer)504、解碼部505、解碼單元抽取時刻決定部506及DPB(Decoded Pictre Buffer)507。
因應抽取單位為存取單元或者是解碼單元，切換抽取單位與抽取時刻之決定方法。
STD500在以存取單元單位作動時，根據PES封包之DTS作動，在以解碼單元單位作動時，按照另外取得之解碼單元之抽取時刻作動。
STD500在抽取單位為解碼單位時，將存取單元中之前頭之解碼單元之抽取時刻作為PES封包之DTS使用。
TS解多工器501根據PID而將輸入流所含之資料濾波，而進行分類。具體來說，TS解多工器501將輸入流所含之描述符等之程式資訊輸出至解碼單元抽取時刻決定部506。又，TS解多工器501將含有HEVC之編碼資料之TS封包輸出至TB502。該編碼資料是經由MB503及EB504而輸入至解碼部505及解碼單元抽取時刻決定部506。
解碼單元抽取時刻決定部506根據包含在描述符等之資訊，判斷STD500之動作單位為解碼單元單位或者是存取單元單位。進而，解碼單元抽取時刻決定部506在動作單位為解碼單元單位時，取得解碼單元之解碼時刻，且將 該解碼時刻通知解碼部505。
具體來說，在模式為間隔固定模式，且於描述符中顯示解碼單元之CPB抽取時刻之間隔T時，解碼單元抽取時刻決定部506根據由PES封包標頭取得之存取單元之解碼時刻(DTS)與間隔T，決定解碼單元之解碼時刻。
另一方面，在模式為間隔可變模式時，解碼單元抽取時刻決定部506解析Picture Timing SEI或Decoding Unit CPB delay SEI等，決定解碼單元之解碼時刻。
又，在STD500之動作單位為存取單元單位時，如同習知，STD500根據PES封包之DTS等，以存取單元單位作動。
解碼部505依照由解碼單元抽取時刻決定部506所通知之解碼單元之抽取時刻，由EB504抽出解碼單元所含之編碼資料。
又，解碼部505根據解碼單元定界符(Decoding Unit Delimiter)或者是儲存切片資料之NAL單元之開始位置決定解碼單元之邊界。
此外，解碼單元抽取時刻決定部506亦可檢測出解碼單元之邊界，將解碼單元之資料資料尺寸通知解碼部505。此時，解碼部505由EB504抽取所通知之資料尺寸量之資料。
DPB507儲存藉解碼部505所產生之解碼資料。
此外，圖像編碼裝置之動作除了各種資訊之儲存處變更為描述符之點以外，其餘與上述之說明同樣。
以下說明PES封包之DTS設定方法之變形例。
在圖像解碼裝置使用PES封包之DTS作為前頭解碼單元之CPB抽取時刻(=解碼時刻)時，不能確保不對應於以解碼單元單位之動作之接收機之互換性。因此，圖像解碼裝置使用PES封包之DTS，如同習知，作為存取單元之解碼時刻。又，圖像編碼裝置亦可將解碼單元之解碼時刻資訊儲存在PES封包標頭之擴張區域，圖像解碼裝置使用該解碼時刻資訊。
例如，圖像編碼裝置亦可在上述擴張區域，按解碼順序列舉構成存取單元之各解碼單元之解碼時刻，亦可儲存顯示各解碼單元之解碼時刻與PES封包之DTS之差值之資訊。
又，圖像編碼裝置亦可在上述擴張區域，於間隔固定模式時，只儲存顯示存取單元內之前頭之解碼單元之解碼時刻之資訊。
又，圖像解碼裝置亦可使用PES封包所含之DTS作為存取單元之DTS，解析編碼流，以取得解碼單元之DTS。
又，在抽取單位為解碼單元單位時，圖像編碼裝置亦可於PES封包中，以解碼單元單位附與DTS。此時，解碼單元抽取時刻決定部506參考PES封包之標頭所儲存之DTS，可以決定解碼單元之DTS。
以下說明在以解碼單元單位進行來自CPB之抽取時之效果。
圖14A是顯示以存取單元單位進行抽取時之 EB504中之編碼資料之緩衝器佔有量之遷移之圖。圖14B是顯示在以解碼單元單位進行抽取時之EB504中之編碼資料之緩衝器佔有量之遷移之圖。
如圖14B所示，在以解碼單元單位進行抽取時，依序取出解碼單元之編碼資料，以如圖14A所示之存取單元單位進行抽取之形態相比，可減少EB504之緩衝器佔有量。藉此，在以解碼單元單位進行來自CPB之抽取時，與存取單元單位相比，可減少EB504之尺寸。
此外，圖像編碼裝置亦可將顯示於進行以解碼單元單位之抽取時所需之EB尺寸之資訊包含在描述符等，再傳送至圖像解碼裝置。藉此，圖像解碼裝置可根據該EB尺寸，確保EB504。
以下，說明在圖像解碼裝置中算出來自解碼單元之CPB之抽取時刻之間隔之方法。
圖像解碼裝置將以解碼順序連續之2個存取單元之解碼時刻之間隔(picture_interval)以構成存取單元之解碼單元之個數(num_ctbs_in_subpicture_minus1)相除之值，作為間隔固定模式中之抽取時刻之間隔使用。
例如，在存取單元之解碼時刻之間隔為50msec，構成存取單元之解碼單元為5個時，解碼單元之抽取時刻之間隔為50/5=10msec。
另，在存取單元之訊框速率為固定時，圖像解碼裝置根據訊框速率與解碼單元數，可決定解碼單元之抽取時刻之間隔。因此，圖像編碼裝置在此時，不傳送抽取時 刻之間隔，圖像解碼裝置亦可藉計算而取得抽取時刻之間隔。
惟，在訊框速率為可變時，由訊框速率，不能一意地決定抽取時刻之間隔。因此，圖像編碼裝置將顯示抽取時刻之間隔之資訊包含在MPEG-2 TS或者是編碼流內後再傳送。
以下針對MPEG-2 TS以外之多工方式適用本實施形態之形態說明。
以多工方式來說，除了MPEG-2 TS以外，還有在下載發送上以一般性的MP4、及在串流廣泛地使用之RTP(Real-time Transport Protocol)等，本實施形態之編碼流亦可適用其等多工方式。
首先，說明對MP4適用本實施形態之編碼流之形態。
圖像編碼裝置將MPEG-2 TS中記述於描述符之資訊儲存於在MP4中所定義之構造之Box內。具體來說，圖像編碼裝置在儲存在將編碼資料解碼時之初始化資訊之Box等儲存上述資訊。又，在來自CPB之抽取為解碼單元單位時，圖像編碼裝置亦可將顯示每解碼單元之解碼時刻之資訊儲存在Box。
又，在MP4，使用有被稱為與存取單元對應之樣本之單位。圖像編碼裝置亦可將用以對樣本所含之解碼單元存取之位址資訊加在樣本單位之位址資訊後再儲存。
其次，說明對RTP適用本實施形態之編碼流之形 態。
圖像編碼裝置將在MPEG-2 TS中記述於描述符之資訊，記述在RTP封包之酬載標頭，或者是將處理與RTP通訊有關之輔助資訊記述在對話描述協定(SDP/Session Description Protocol)或是對話啟動協定(SIP/Session Initiation Protocol)等。
另，圖像編碼裝置亦可因應來自CPB之抽取單位為存取單元單位及解碼單元單位其中一種，切換封包化之單位。例如，圖像編碼裝置在抽取單位為解碼單元單位時，將1個解碼單元作為1個RTP封包傳送。進而，圖像編碼裝置藉SDP等之輔助資訊，而將顯示封包化之單位之資訊通知圖像解碼裝置。
進而，圖像編碼裝置亦可因應來自CPB之抽取單位，切換記述於RTP封包之酬載標頭之解碼時刻之儲存方法。例如，圖像編碼裝置在抽取單位為存取單元單位時，以存取單元單位附加解碼時刻，在抽取單位為解碼單元單位時，以解碼單元單位附加解碼時刻。
又，圖像編碼裝置亦可於抽取單位為解碼單元單位，且為間隔固定模式時，只顯示存取單元所含之前頭解碼單元之解碼時刻。此時，圖像解碼裝置對後續的解碼單元，例如使用預設(default)之間隔。藉此，可減少解碼時刻之傳送所需之編碼量。
如上，本實施形態之圖像解碼方法按每圖片(存取單元)所含之1個以上之單元(解碼單元)而對編碼資料解 碼。如圖15所示，圖像解碼裝置由含有編碼資料之編碼位元流，取得第1旗標(解碼單位旗標)，第1旗標顯示由用以儲存編碼資料之緩衝器(CPB)讀出編碼資料之時刻是否以單元單位設定(S121)。
其次，圖像解碼裝置在讀出編碼資料之時刻是以單元單位設定時，由編碼位元流取得顯示多數單元之讀出時刻之間隔為固定或者是任意之第2旗標(間隔可變旗標)(S122)。
其次，圖像解碼裝置依照第2旗標，按每解碼單元且以固定的間隔或者是任意的間隔，而由緩衝器讀出編碼資料(S124及S125)。具體來說，圖像解碼裝置在第2旗標顯示間隔為任意(在S123，是)時，以可變間隔，讀出解碼單元之編碼資料(S124)。又，圖像解碼裝置在第2旗標顯示間隔為固定時(在S123，否)，以固定間隔，讀出解碼單元之編碼資料(S125)。
然後，圖像解碼裝置對於步驟S124或S125所讀出之解碼單元之編碼資料解碼(S126)。
藉此，圖像解碼裝置，例如在間隔為固定時，根據一個固定之間隔，可決定多數解碼單元之時間間隔。因此可減少圖像解碼裝置之處理量。
又，本發明之實施形態之圖像編碼方法將圖片(存取單元)所含之1個以上之單元(解碼單元)編碼。如圖16所示，圖像編碼裝置使虛擬參考解碼器產生第1旗標(解碼單位旗標)，該第1旗標顯示由用以儲存編碼資料之緩衝器 (CPB)讀出編碼資料之時刻顯示是否以單元單位設定(S221)。其次，圖像編碼裝置產生顯示讀出編碼資料之時刻之間隔是固定或是任意之第2旗標(間隔可變旗標)(S222)。其次，圖像編碼裝置產生含有編碼資料、第1旗標及第2旗標之編碼位元流(S223)。
又，如上述，圖像編碼裝置按每含有1個以上之圖片之圖片群(圖片組)產生第2旗標。又，圖像編碼裝置在包含在編碼位元流且按每圖片群設置之圖片群的控制資訊(標頭)含有第2旗標。即，圖像解碼裝置由圖片群之控制資訊取得第2旗標。
在此，圖片群例如為多數圖片(順序)單位。又，圖片群的控制資訊是指SPS，更具體來說，SPS所含之VUI。此外，圖片群的控制資訊亦可為MPEG-2 TS中之描述符。
又，圖像編碼裝置在第2旗標顯示間隔為固定(間隔固定模式)時，產生顯示為該固定之間隔之固定間隔資訊。在此，固定間隔資訊，例如顯示在1個圖片(存取單元)所含之多數解碼單元之數量(num_ctbs_in_subpicture_minus1)與圖片之時間間隔(picture_interval)。圖像解碼裝置使用該等之多數解碼單元之數量與圖片之時間間隔，算出為固定之間隔，以所算出之間隔，由緩衝器按每解碼單元讀出編碼資料。
又，圖像編碼裝置，與第2旗標相同，將固定間隔資訊包含在圖片群之控制資訊(例如VUI)。即，圖像解碼裝置在第2旗標顯示間隔為固定(間隔固定模式)時，由圖片 群之控制資訊取得顯示該間隔之固定間隔資訊。又，圖像解碼裝置在第2旗標顯示間隔為固定(間隔固定模式)時，以固定間隔資訊所示之間隔，由緩衝器，按每解碼單元讀出編碼資料。另，圖像編碼裝置亦可將固定間隔資訊包含在按每1圖片單位設置之1圖片單位之控制資訊(例如Picture timing SEI)。即，圖像解碼裝置在第2旗標顯示間隔為固定(間隔固定模式)時，由1圖片單位之控制資訊取得顯示該間隔之固定間隔資訊。
又，在第2旗標顯示時間間隔為任意(間隔可變模式)時，圖像編碼裝置產生顯示多數解碼單元各讀出時刻之間隔之可變間隔資訊(cpb_removal_delay)。又，圖像編碼裝置在包含在編碼位元流且按每1個圖片單位設置之1圖片單位之控制資訊(例如Picture timing SEI)含有該可變間隔資訊。即，圖像解碼裝置在第2旗標顯示間隔為任意(間隔可變模式)時，由1圖片單位之控制資訊取得可變間隔資訊。然後，圖像解碼裝置以可變間隔資訊所示之間隔，而由緩衝器按每解碼單元讀出編碼資料。
另，圖像編碼裝置亦可於包含在編碼位元流且按每1解碼單元單位設置之1單元單位之控制資訊(例如Decoding Unit CPB delay SEI)含有該可變間隔資訊。即，圖像解碼裝置亦可由1解碼單元單位之控制資訊取得可變間隔資訊。
又，編碼位元流包括傳輸流(TS)及描述符，圖像編碼裝置將第2旗標包含於描述符，亦可。即，圖像解碼裝 置亦可由描述符取得第2旗標。
以下，說明圖像編碼裝置所具備之編碼部403及圖像解碼裝置所具備之解碼部303或505之基本構成。
圖17是編碼部403一例之編碼部100之方塊圖。該編碼部100，例如以低位元速率而將聲音資料及動態圖像資料編碼。
圖17所示之編碼部100將輸入圖像訊號101編碼，而產生編碼訊號191。該編碼部100包含有：減法部110、變換部120、量化部130、反量化部140、反變換部150、加法部160、記憶體170、預測部180、及熵編碼部190。
減法部110由輸入圖像訊號101減去預測訊號181，而產生預測誤差訊號111(變換輸入訊號)，且將所產生之預測誤差訊號111輸出至變換部120。
變換部120將預測誤差訊號111進行頻率轉換，而產生變換輸出訊號121。具體來說，變換部120對於預測誤差訊號111或者是預測誤差訊號111施加某些處理後之變換輸入訊號，由時間空域變換成頻域，產生使相關減輕之變換輸出訊號121。
量化部130將變換輸出訊號121量化，而產生總資料量少之量化係數131。
熵編碼部190使用熵編碼機制而將量化係數131編碼，而產生進一步將冗長性壓縮之編碼訊號191。
反量化部140對量化係數131進行反量化，而產產生解碼變換輸出訊號141。反變換部150將解碼變換輸出訊 號141反變換，而產生解碼變換輸入訊號151。
加法部160將解碼變換輸入訊號151及預測訊號181相加，而產生解碼訊號161。記憶體170儲存解碼訊號161。
預測部180根據內預測或間預測等之預測方法，而由記憶體170取得預定之訊號，且根據該預測方法，以預定之方法產生預測訊號181。具體來說，預測部180決定編碼效率成為最大之預測方法，使用所決定之預測方法，產生預測訊號181。又，顯示該預測方法之資訊因應所需，會在熵編碼部190被熵編碼。
在此，反量化部140、反變換部150、加法部160、記憶體170及預測部180是在圖像解碼裝置也有設置之構成，解碼訊號161是相當於在圖像解碼裝置中所得到之再生圖像訊號(解碼訊號261)。
圖18是解碼部303及505之一例之解碼部200之方塊圖。圖18所示之解碼部200將編碼訊號191解碼，而產生解碼訊號261。該解碼部200包含有：反量化部240、反變換部250、加法部260、記憶體270、預測部280、及熵解碼部290。
熵解碼部290將編碼訊號191進行熵解碼，而產生量化係數231及預測方法291。
反量化部240將量化係數231進行反量化，而產生解碼變換輸出訊號241。反變換部250將解碼變換輸出訊號241進行反變換，而產生解碼變換輸入訊號251。
加法部260，將解碼變換訊號251與預測訊號281相加，而產生解碼訊號261。該解碼訊號261為在解碼部200所得到之再生圖像，作為解碼部200之輸出訊號輸出，並儲存在記憶體270。
預測部280根據預測方法291，而由記憶體270取得預定的訊號，且根據預測方法291，以預定的方法產生預測訊號281。
以上已針對實施形態之圖像編碼裝置及圖像解碼裝置進行說明，但本發明並不限定於該實施形態。
又，上述實施形態之圖像編碼裝置及圖像解碼裝置所含之各處理部，典型上是作為積體電路之LSI來實現。該等可個別地單一晶片化，亦可含有局部或全部之狀態下單一晶片化。
又，積體電路化不限於LSI，亦可藉專用電路或萬用處理器來實現。亦可利用在經過LSI製造後可程式化之FPGA(Field Programmable Gate Array)、或者是將LSI內部之電路胞元之連接或設定可再構成之可重組態處理器。
在上述各實施形態中，各構成要素亦可以專用的映體構成，或藉執行適用各構成要素之軟體程式而實現。各構成要素是由CPU或者是處理器等之程式執行部讀出而記錄在硬碟或半導體記憶體等之記錄媒體之軟體程式實行的，藉此亦可實現。
換言之，圖像編碼裝置及圖像解碼裝置包含有控制電路(control circuitry)及電連接於該控制電路(由該控制 電路可存取之)之記憶裝置(storage)。控制電路含有專用之硬體及程式執行部之至少一種。又，記憶裝置是於控制電路含有程式執行部時，記憶藉該程式執行部之執行之軟體程式。
進而，本發明可為上述軟體程式，亦可文記錄有上述程式之非暫時性的電腦可讀取記錄媒體。又，上述程式當然也是可經由網際網路等之傳送媒體而流通。
又，上述中所使用之數字全部只是為了具體說明而舉例說明，本發明並不是限定於上述舉例顯示之數字。
又，方塊圖中之功能方塊之劃分方式只是一例，亦可將多數功能方塊當作為一個功能方塊實現，亦可將一個功能方塊分割成多數，或者是將局部的功能移到其他的功能方塊。又，具有類似的功能之多數功能方塊之功能可藉單一硬體或軟體並行或時間分割來處理。
又，執行上述之圖像編碼方法或圖像解碼方法所包含之步驟之順序是為具體說明本發明而舉例說明，亦可為上述之外之順序。又，上述步驟之一部分亦可與其他步驟同時(並行)執行。
以上，已根據實施形態，說明本發明一個或多個態樣之圖片編碼裝置及圖像解碼裝置，但本發明並不是限定於該實施形態。只要不脫離本發明之旨趣，可使熟悉此項技術之人士可思及之各種變形實施在本實施形態，或者是將不同的實施形態中之構成要素組合而構建成之形態亦涵蓋在本發明一個或多個態樣之範圍內。
(實施形態2)
藉將用以實現上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成之程式記錄在記憶媒體，能在獨立進行上述各實施形態所示之處理之電腦系統中簡單實施。記憶媒體只要是磁碟、光碟、光學磁碟、IC卡、半導體記憶體等可記錄程式者即可。
進而在此，說明在上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例及使用該應用例之系統。該系統是以具有使用圖像編碼方法之圖像編碼裝置及使用圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置為特徵所在。針對系統中之其他構成可因應情況而適當地變更。
圖19是顯示實現內容發送服務之內容供給系統ex100之整體構成圖。將通訊服務之提供領域分割成所期望之大小，在各胞元內各設置有為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。
該內容供給系統ex100在網際網路ex101，由網際網路服務提供者ex102及電話線路網ex104、及經由基地台ex106至ex110，而連接有電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話機ex114、遊戲機ex115等各種機器。
惟，內容供給系統ex100不限定於如圖19之構成，亦可組合連接任一種要素構成。又，亦可使各機器直 接連接於電話線路網ex104，而不經過固定無線台之基地台ex106至ex110連接。又，各機器亦可經由近距離無線等直接相互連接。
相機ex113是數位錄放影機等可進行動畫攝影之機器，相機ex116是數位相機等可進行靜態圖像攝影、動態圖攝影之機器。又，行動電話機ex114諸如為GSM(註冊商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或者是LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或PHS(Personal Handyphone System)等，不管那一個都無妨。
在內容供給系統ex100上，相機ex113等透過基地台ex109、電話線路網ex104而連接於串流伺服器ex103，即可實現即時發送等等。在即時發送上，對於用戶利用相機ex113所攝影之內容(例如音樂演唱會之影像等)，如上述各實施形態中所說明的，進行編碼處理(即，作為本發明之圖像編碼裝置而發揮功能)，且傳送至串流伺服器ex103。另一方面，串流伺服器ex103將對有要求之客戶所傳送之內容資料進行串流發送。對於客戶來說，諸如有可將業經上述編碼處理之資料解碼之電腦ex111、PDAex112、相機ex113、行動電話機ex114、遊戲機ex115等。在接收有所發送之資料之各機器中，將所接收之資料進行解碼處理後予以再生(即，作為本發明之圖像解碼裝置而發揮功能)。
此外，所攝影之資料之編碼處理可以相機ex113進行，亦可在進行資料之傳送處理之串流伺服器ex103進行，亦可相互分擔進行。同樣，對於所發送之資料之解碼處理可在客戶端進行，亦可在串流伺服器ex103進行，亦可相互分擔進行。又，不限於要使用相機ex113，亦可將以相機ex116所攝影之靜態圖像及/或動態圖像資料經由電腦ex111而傳送至串流伺服器ex103。此時之編碼處理可在相機ex116、電腦ex111、串流伺服器ex103任一種進行，亦可相互分擔進行。
又，其等編碼解碼處理一般是在電腦ex111或各機器所具有之LSIex500中進行處理。LSIex500可為單一晶片，亦可為由多數晶片所構成之構造。此外，亦可將動態圖像編碼解碼用之軟體內建於電腦ex111等可讀取之任一記錄媒體(CD-ROM、可撓性磁片、硬碟等)，且使用該軟體進行編碼解碼處理。進而，在行動電話機ex114為附有相機時，亦可傳送以該相機所取得之動態圖像資料。此時之動態圖像資料是以行動電話機ex114所具有之LSIex500進行有編碼處理之資料。
又，串流伺服器ex103亦可為多數伺服器或多數電腦，且為將資料分散處理、記錄、發送者。
按如上執行，在內容供給系統ex100中，可讓客戶接收業已編碼之資料後進行再生。如此，在內容供給系統ex100中，客戶可實時接收用戶所傳送之資訊再予以解碼並再生，就算沒有特別的權利或設備之用戶，亦可實現個 人廣播。
又，不限於內容供給系統ex100之例，如圖20所示，在數位式廣播用系統ex200中亦可組裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一種。具體來說，在廣播台ex201中，可透過電波而將在影像資料多工有音樂資料等之多工資料進行通訊或傳送至衛星ex202。該影像資料是指藉上述各實施形態所說明之動態圖像編碼方法所編碼之資料(即，藉本發明之圖像編碼裝置進行編碼之資料)。接收該資料之廣播衛星ex202傳送廣播用之電波，讓可進行衛星廣播接收之家庭之天線ex204接收該電波。電視機(接收機)ex300或機上盒(STB)ex217等之裝置將所接收之多工資料解碼後再生(即，作為本發明之圖像解碼裝置而展現功能)。
又，讀取記錄在DVD、BD等之記錄媒體ex215之多工資料並予以解碼、或將影像訊號編碼至記錄媒體ex215，進而依情況而多工有音樂訊號而寫入之讀取器(reader)/記錄器(recorder)ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，所再生之影像訊號顯示在監視器ex219，藉記錄有多工資料之記錄媒體ex215可在其他裝置或系統將影像訊號再生。又，在連接於有線電視機用之電纜線ex203或衛星/地上波廣播之天線ex204之機上盒ex217內亦可安裝動態圖像解碼裝置，將此在電視機之監視器ex219顯示。此時，亦可不是在機上盒，而是在電視機內安裝動態圖像解碼裝置。
圖21是顯示使用有上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視機(接收機)ex300之圖。電視機ex300包含有：調諧器ex301，經由接收上述廣播之天線ex204或電纜線ex203等，而取得或輸出影像資料上多工有聲音資料之多工資料；調變/解調部ex302，將所接收之多工資料解調或將傳送至外部之多工資料調變；及多工/分離部ex303，將具有已解調之多工資料分離成影像資料與聲音資料，或將以訊號處理部ex306所編碼之影像資料、聲音資料進行多工處理。
又，電視機ex300包含有：具有各將聲音資料、影像資料進行解碼或將各自的資訊進行編碼之聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明之圖像編碼裝置或圖像解碼裝置而發揮功能)之訊號處理部ex306、及具有將業經解碼之聲音訊號輸出之揚聲器ex307、顯示已解碼之影像訊號之顯示器等之顯示部ex308之輸出部ex309。進而，電視機ex300具有介面部ex317，該介面部ex317具有受理用戶操作之操作輸入部ex312等。進而，電視機ex300包含有統籌地控制各部之控制部ex310、供電至各部之電源電路部ex311。介面部ex317，除了操作輸入部ex312外，還有與讀取器/記錄器ex218等之外部機器連接之橋接器ex313、可裝設SD卡等之記錄媒體ex216用之插槽部ex314、與硬碟等之外部記錄媒體連接用之驅動器ex315、及與電話線路網連接之數據機ex316等。此外，記錄媒體ex216可藉所儲存之非依電性(non-volatile)/依電性之半導體記憶體元 件進行電性資訊記錄。電視機ex300之各部是經由同步匯流排而相互連接。
首先，針對電視機ex300將藉天線ex204等而由外部取得之多工資料進行解碼並再生之構成予以說明。電視機ex300接受來自遙控器ex220等之用戶操作，根據具有CPU等之控制部ex310之控制，在多工/分離部ex303將調變/解調部ex302所解調之多工資料分離。進而，電視機ex300在聲音訊號處理部ex304將所分離之聲音資料解碼，且將所分離之影像資料在影像訊號處理部ex305使用在上述各實施形態所說明之解碼方法予以解碼。已解碼之聲音訊號、影像訊號各由輸出部ex309而向外部輸出。在輸出之時，為了使聲音訊號與影像訊號同步再生，只要先暫時將其等訊號儲存在緩衝器ex318、ex319等即可。又，電視機ex300，亦可不由廣播等，亦可由磁碟/光碟、SD卡等之記錄媒體ex215、ex216將多工資料讀出。其次，針對電視機ex300將聲音訊號或影像訊號進行編碼後傳送至外部或寫入至記錄媒體等之構成予以說明。電視機ex300接受來自遙控器ex220等之用戶操作，根據控制部ex310之控制，在聲音訊號處理部ex304將聲音訊號進行編碼，在影像訊號處理部ex305，使用在上述各實施形態所說明之編碼方法而將影像訊號進行編碼。業經編碼之聲音訊號、影像訊號是在多工/分離部ex303多工，而輸出至外部。在多工之時，為了使聲音訊號與影像訊號同步，只要先暫時將其等訊號儲存在緩衝器ex320、ex321等即可。此外，緩衝器ex318、ex319、 ex320、ex321，如圖所示，可具有多數，亦可為共有一個以上之緩衝器之構成。進而，除圖示之外，例如調變/解調部ex302或多工/分離部ex303之間等亦可先將資料儲存在作為避免系統的溢位(overflow)、下溢(underflow)之緩衝件之緩衝器。
又，電視機ex300除了由廣播等或記錄媒體等取得聲音資料、影像資料外，亦可具有受理麥克風或相機之AV輸入之構成，對於由其等取得之資料進行編碼處理。此外，在此電視機ex300以可進行上述之編碼處理、多工處理及外部輸出之構成進行說明，但亦可為不能進行其等處理而只做上述接收、解碼處理、外部輸出之構成。
又，在讀取器/記錄器ex218由記錄媒體讀出多工資料或將多工資料寫入記錄媒體時，上述解碼處理或編碼處理亦可由電視機ex300、讀取器/記錄器ex218之任一種進行，亦可使電視機ex300與讀取器/記錄器ex218相互分擔進行。
以一例而言，將由光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之構成顯示在圖22。資訊再生/記錄部ex400包含有以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、及ex407。光學磁頭ex401對於作為光碟之記錄媒體ex215之記錄面照射雷射光點寫入資訊，檢測來自記錄媒體ex215之記錄面之反射光來讀入資訊。調變記錄部ex402電性驅動內建在光學磁頭ex401之半導體雷射，因應記錄資料進行雷射光之調變。再生解調部ex403將 內建在光學磁頭ex401之光學探測器電檢測來自記錄面之反射光之再生訊號放大，且將記錄媒體ex215所記錄之訊號成分分離且解調，將所需的資訊再生。緩衝器ex404暫時固持由用以記錄在記錄媒體ex215之資訊及記錄媒體ex215再生之資訊。光碟馬達ex405將記錄媒體ex215旋轉。伺服器控制部ex406控制光碟馬達ex405之旋轉驅動，且將光學磁頭ex401移動在預定之資訊軌道，進行雷射光點之追蹤處理。系統控制部ex407進行資訊再生/記錄部ex400整體之控制。上述之讀出或寫入之處理，令系統控制部ex407利用緩衝器ex404所固持之各種資訊，又因應必要進行新的資訊的產生及追加，並一邊使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406協調作動，一邊透過光學磁頭ex401，進行資訊之記錄再生而予以實現。系統控制部ex407以例如微處理部構成，執行讀出寫入之程式，而執行其等之處理。
在以上的說明中，光學磁頭ex401是以照射雷射光點之構成來進行說明，亦可為利用接近場光而進行更高密度之記錄之構成。
圖23是顯示成為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面形成螺旋狀的導槽(溝槽groove)，在資訊軌道ex230上事先記錄有溝槽的形狀變化而顯示光碟上的絕對位置之地點資訊。該地點資訊含有用以界定記錄區塊ex231之位置之資訊，該記錄區塊ex231是記錄資料之單位，在進行記錄或再生之裝置中將資訊軌道 ex230再生，讀取地點資訊，以界定記錄區塊。又，記錄媒體ex215是含有資料記錄區ex233、內周區ex232及外周區ex234。為記錄用戶資料所用之區域為資料記錄區ex233，配置在較資料記錄區ex233之內周或外周之內周區ex232及外周區ex234是用於用戶資料之記錄以外之特定用途。資訊再生/記錄部ex400對於如此記錄媒體ex215之資料記錄區ex233，進行將業已編碼之聲音資料、影像資料或其等資料多工之多工資料之讀寫。
在以上說明中，是以一層的DVD、BD等之光碟為例進行說明，但不限於其等，亦可為多層構造且在表面以外亦可記錄之光碟。又，亦可為在光碟之相同地方利用各種不同波長之顏色之光記錄資訊，或由各種角度記錄不同資訊之層等進行多次元之記錄/再生之構造之光碟。
又，亦可在數位廣播用系統ex200中，在具有天線ex205之車ex210由衛星ex202等接收資料，在車ex210所具有之導航系統ex211等之顯示裝置將動態圖像再生。此外，導航系統ex211之構成可考慮如圖21所示之構成中加上GPS接收部之構成，同樣的事情亦可考慮在電腦ex111或行動電話機ex114等實現。
圖24A是顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話機ex114之圖。行動電話機ex114包含有用以於基地台ex110之間接送電波之天線ex350、可攝影影像、靜態影像之相機部ex365、及顯示使以相機部ex365所攝影之影像、天線ex350所接收 之影像解碼之資料之液晶顯示器等之顯示部ex358。行動電話機ex114更包含有具有操作鍵部ex366之本體部、諸如用以輸出聲音之麥克風等之聲音輸入部ex356、及將所攝影之影像、靜態圖像、所錄音之聲音或所接收之影像、靜態圖像、郵件等之業已編碼之資料或者是業已解碼之資料保存之記憶體部ex367、以及在與同樣作為保存資料之記錄媒體之間之介面部之插槽(slot)部ex364。
進而，針對行動電話機ex114之構成例，使用圖24B予以說明。行動電話機ex114相對於統籌地控制具有顯示部ex358及操作鍵部ex366之本體部之各部之主控制部ex360，經由匯流排ex370而使電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、液晶顯示器(LCD,Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/分離部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367相互連接。
電源電路部ex361在一藉用戶之操作而處於結束通話及電源鍵處於開啟狀態時，由電池組對著各部供電，將行動電話機ex114起動為可作動之狀態。
行動電話機ex114根據具有CPU、ROM、RAM等之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354而將以聲音輸入部ex356收音之聲音訊號轉換成數位聲音訊號，以調變/解調部ex352對此進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送之。又，行動電話機ex114 在聲音通話模式時，將經由天線ex350所接收之接收資料放大，施行頻率變換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜反擴散處理，以聲音訊號處理部ex354轉換成類比聲音訊號之後，且由聲音輸出部ex357予以輸出。
進而，在於資料通訊模式時傳送電子郵件時，藉本體部之操作鍵部ex366等之操作所輸入之電子郵件之正文資料經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360以調變/解調部ex352而將正文資料進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送至基地台ex110。在接收電子郵件時，對於所接收之資料進行與前述處理幾乎相反之處理，輸出至顯示部ex358。
在於資料通訊模式時傳送影像、靜態圖像或影像與聲音時，影像訊號處理部ex355將由相機部ex365所供給之影像訊號，藉以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，當作本發明之圖像編碼裝置發揮功能)，而將業經編碼之影像資料送出至多工/分離部ex353。又，聲音訊號處理部ex354藉相機部ex365在於影像、靜態圖像等攝影之中將聲音輸入部ex356所收音之聲音訊號進行編碼，將所編碼之聲音資料送出至多工/分離部ex353。
多工/分離部ex353以預定方式將由影像訊號處理部ex355所供給且業已編碼之影像資料及由聲音訊號處理部ex354所供給且業已編碼之聲音資料進行多工處理，將其結果所得到之多工資料在調變/解調部(調變/解調電路部) ex352進行頻譜擴散處理，在於傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送。
為了在資料通訊模式時在接收連到網頁等之動態圖像檔案之資料時、或在接收附有影像或聲音之電子郵件時，將經由天線ex350而所接收之多工資料進行解碼，多工/分離部ex353將多工資料分離，分成影像資料之位元流與聲音資料之位元流，經由同步匯流排ex370而將所編碼之影像資料供給至影像訊號處理部ex355，並將所編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355藉由與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法進行解碼，將影像訊號進行解碼(即，作為本發明之圖像解碼裝置發揮功能)，經由LCD控制部ex359，由顯示部ex358顯示例如連到網路之動態圖像檔所含之影像、靜態圖像。又，聲音訊號處理部ex354對聲音訊號進行解碼，且由聲音輸出部ex357輸出聲音。
又，上述行動電話機ex114等之終端機，與電視機ex300同樣，可考慮到除了具有編碼器及解碼器兩者之收發型終端機之外，另包括只有編碼器之傳送終端機、只有解碼器之接收終端機等三種安裝方式。進而，在數位廣播用系統ex200中，是說明接收、傳送在影像資料多工有音樂資料等之多工資料，但除了聲音資料外，亦可為有與影像有關連之文字資料等多工之資料，亦可為影像資料本身而非多工資料。
如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法運用在上述之任一種機器或系統，藉此，可得到在上述各實施形態所說明之效果。
又，本發明不限於上述實施形態，可在不脫離本發明範圍下可做各種變形或修正。
(實施形態3)
亦可因應情況適當地切換上述各實施形態所示之動態圖像編碼方法或裝置、與依據MPEG-2、MPEG4-AVC、VC-1等相異之規格之動態圖像編碼方法或裝置，產生影像資料。
在此，在產生有依據各為不同之規格之多數影像資料時，在解碼時，必須選擇與各規格對應之解碼方法。惟，由於不能識別欲解碼之影像資料是依據哪一規格，因此衍生有不能選擇適當的解碼方法之課題。
為了解決該課題，將聲音資料等多工至影像資料之多工資料構建成含有顯示影像資料是依據哪一規格之識別資訊之構成。如下說明含有藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸流形式之數位流。
圖25是顯示多工資料之構成圖。如圖25所示，多工資料是將視訊流、聲訊流、表達圖形流(PG)、互動圖形流(IG)之中將一個以上多工而所得到之資料。視訊流表示電影之主影像及副影像、聲訊流表示電影之主聲音部分及與該主聲音混合之副聲音部分，表達圖形流表示電影之字幕。在此，主影像是指顯示在畫面之通常影像，副影像是 指以小畫面顯示在主影像中之影像。又，互動圖形流是指於畫面上配置GUI零件所作成之對話畫面。視訊流是指藉以上述各實施形態所示之動態圖像編碼方法或裝置、依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之動態圖像編碼方法或裝置所編碼者。聲訊流是以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或、線性PCM等方式所編碼者。
多工資料所含之各串流是藉PID所識別。例如在於電影之影像所利用之視訊流分配有0×1011，聲訊流分配有0×1100至0×111F，表達圖形流分配有0×1200至0×121F，互動圖形流分配有0×1400至0×141F，在於電影之副影像所利用之視訊流分配有0×1B00至0×1B1F，與主聲音混合之副聲音所利用之聲訊流分配有0×1A00至0×1A1F。
圖26是模式地顯示多工資料是如何被多工之圖。首先，將由多數視訊框所構成之視訊流ex235、由多數聲訊框所構成之聲訊流ex238各變換成PES封包列ex236及ex239、TS封包ex237及ex240。同樣將表達圖形流ex241及互動圖形流ex244之資料各變換成PES封包列ex242及ex245，進行變換成TS封包ex243及ex246。多工資料ex247是將其等TS封包多工成一條串流來構成者。
圖27是進一步詳細顯示在PES封包列中如何儲存視訊流。圖27中之第1段是顯示視訊流之視訊框列。第2段是顯示PES封包列。如圖27之箭頭符號yy1、yy2、yy3、yy4所示，視訊流中之多數視訊表達單元(Video Presentation Unit)之I圖片、B圖片、P圖片是按每一圖片分割，且儲存在 PES封包之酬載。各PES封包是具有PES標頭，PES標頭儲存有成為圖片之顯示時刻之表達時間戳記(PTS,Presentation Time-Stamp)或圖片之解碼時刻之解碼時間戳記(DTS,Decoding Time-Stamp)。
圖28是顯示最後寫入於多工資料之TS封包之形式。TS封包是188位元組(Byte)固定長度之封包，由具有識別串流之PID等之資訊之4位元組之TS標頭及儲存資料之184位元組之TS酬載所構成，上述PES封包被分割而儲存在TS酬載。在BD-ROM時，TS封包被附與有4位元組之TP額外標頭(TP_Extra_Header)，構成192位元組之原始封包，寫入至多工資料。TP額外標頭(TP_Extra_Header)記載有ATS(到達時間戳記，Arrival_Time_Stamp)等之資訊。ATS是顯示該TS封包轉送記錄器之PID濾波器之轉送開始時間。多工資料中，如圖28下段所示，構成有原始封包排列者，由多工資料之前頭開始增加之號碼被稱為原始封包號碼(SPN；source packet number)。
又，多工資料所含之TS封包，除了影像、聲音、字幕等之各串流外，更有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示多工資料中所利用之PMT之PID為何者，PAT本身之PID是登錄為0。PMT具有多工資料中所含之影像、聲音、字幕等之各串流之PID及與各PID對應之串流之屬性資訊，又具有與多工資料有關之各種描述符。描述符具有指示允許及不允許多工資料之複製之複製控制資訊等。 PCR為了取得作為ATS之時軸之到達時間時鐘(ATC,Arrival Time Clock)與成為PTS．DTS之時軸之系統時間時鐘(STC,System Time Clock)之同步，而具有與該PCR封包轉送至解碼器之ATS對應之STC時間之資訊。
圖29是詳細說明PMT之資料構造之圖。PMT之前頭配置有記有該PMT所含之資料之長度等之PMT標頭。在其之後方配置有多數與多工資料有關之描述符。上述複製控制資訊等記載為描述符。描述符之後配置有多數與多工資料所含之各串流有關之串流資訊。串流資訊為了識別串流之壓縮編碼解碼器等，而由記載有串流型式、串流之PID、串流之屬性資訊(框速率、長寬比等)之串流描述符所構成。串流描述符存在有像多工資料所存在之串流數這樣多。
在記錄在記錄媒體等的時候，上述多工資料是與多工資料資訊檔一起記錄。
多工資料資訊檔(剪輯資訊檔)，如圖30所示，為多工資料之管理資訊，與多工資料呈一對一之對應關係，由多工資料資訊、串流屬性資訊及登錄圖(entry map)所構成。
多工資料資訊，如圖30所示，由系統速率、再生開始時刻、再生結束時刻所構成。系統速率表示多工資料轉送至後述的系統指標解碼器之PID濾波器之最大轉送速率。多工資料中所含之ATS之間隔是設定為系統速率以下。再生開始時刻是多工資料之前頭之視訊框之PTS，再生 結束時刻是在多工資料之末端之視訊框之PTS加上一框量之再生間隔的時刻。
串流屬性資訊，如圖31所示，針對多工資料所含之各串流之屬性資訊是登錄於每PID。屬性資訊具有視訊流、聲訊流、表達圖形流、互動圖形流各為不同之資訊。視訊流屬性資訊具有該視訊流是以何種壓縮編碼解碼器所壓縮、構成視訊流之每個圖片資料之影像解析度有多少、長寬比有多少、框速率有多少等之資訊。聲訊流屬性資訊具有該聲訊流是以哪種壓縮編碼解碼器所壓縮、該聲訊流所含之頻道數是什麼、對應哪一語言、抽樣頻率有多少等之資訊。其等資訊是利用在於播放器再生前之解碼器之初始化等。
在本實施形態中，利用上述多工資料中PMT所含之串流型式。又，記錄媒體記錄有多工資料時，利用包含在多工資料資訊之視訊流屬性資訊。具體來說，在於上述各實施形態所示之動態圖像編碼方法或裝置中，設置設定固有資訊之步驟或手法，固有資訊是相對於PMT所含之串流型式或視訊流屬性資訊，顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料。藉該構成，可識別藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料與依據其他規格之影像資料。
又，將本實施形態中之動態圖像解碼方法之步驟顯示在圖32。在步驟exS100中，由多工資料取得PMT所含之串流型式或多工資料資訊所含之視訊流屬性資訊。其 次，在步驟exS101中，判斷串流型式或視訊流屬性資訊是否顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之多工資料。接著，在串流型式或視訊流屬性資料被判斷為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之時，在步驟exS102中，藉上述各實施形態所示之動態圖像解碼方法進行解碼。又，在串流型式或視訊流屬性資訊被判斷為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格者之時，在步驟exS103中，藉依據習知規格之動態圖像解碼方法進行解碼。
如此，藉於串流型式或視訊流屬性資訊設定新的固有值，在解碼時，能判斷是否可以上述各實施形態所示之動態圖像解碼方法或裝置解碼。因此，即使在輸入有依據不同規格之多工資料時，亦可選擇適當的解碼方法或裝置，因此可在不產生錯誤之狀態下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置或者是動態圖像解碼方法或裝置運用在上述任一機器及系統。
(實施形態4)
上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可以積體電路之LSI實現。以一例來說，在圖33顯示構成為單一晶片之LSIex500之構成。LSIex500包含有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素是經由匯流排ex510而連接。電源電路部ex505在於電源為開啟狀態時，對於各部供電，而在可作動之狀態下起動。
例如在進行編碼處理時，LSIex500根據具有CPU ex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉AV I/Oex509而由麥克風ex117或相機ex113等輸入AV訊號。所輸入之AV訊號是暫時儲存在SDRAM等之外部記憶體ex511。根據控制部ex501之控制，所儲存之資料因應處理量或處理速度而進行適當地分成多次等之處理，傳送至訊號處理部ex507，且在訊號處理部ex507中進行聲音訊號之編碼及/或影像訊號之編碼。在此，影像訊號之編碼處理是上述各實施形態所說明之編碼處理。訊號處理部ex507中，更依情況之不同對所編碼之聲音資料及所編碼之影像資料進行多工等之處理，由串流I/O ex506輸出至外部。該所輸出之多工資料朝基地台ex107傳送，或寫入記錄媒體ex215。在多工之時，為了要同步，可將資料暫時儲存在緩衝器ex508，即可。
此外，在上述中說明記憶體ex511為LSIex500之外部構成，亦可為包含在LSIex500之內部之構成。緩衝器ex508亦不限於1個，亦可具備多數緩衝器。又，LSIex500亦可單一晶片構成，亦可多晶片構成。
又，在上述中，控制部ex501具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為具有CPU之構成。在訊號處理部ex507之內部亦設有CPU，可將處理速度進一步提昇。又，對於另一例，CPUex502亦可為具有訊號處理部ex507或訊 號處理部ex507之局部例如聲音訊號處理部之構成。在如此情況下，控制部ex501具備訊號處理部ex507或具有該一部分之CPU ex502之構成。
另外，在此，是以LSI予以表現，但依積體度的不同，也有被稱為IC(積體電路：Integrated Circuit)、系統LSI、超級(Super)LSI、超(Ultra)LSI。
又，積體電路化的手法不僅限於LSI，亦可以專用電路或萬用處理器予以實現。又，亦可利用能在製造LSI後再程式化之現場可程式化邏輯閘陣列(FPGA：Field Programmable Gate Array)、能將LSI內部之電路胞元(cell)之連接或設定再構成之重組態處理器(ReConfigurable Processor)。
進而，透過半導體技術的進步或衍生之其他技術，如有可替補LSI之積體電路技術問世時，當然亦可使用該技術將功能方塊積體化。對於可能性而言生物科學技術亦有可能適用等。
(實施形態5)
在將藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼時能考慮到的是，與將依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料進行解碼之情況相比，更造成處理量增加者。為此，在LSIex500中，有必要設定在比將依據習知規格之影像資料解碼時之CPUex502之驅動頻率更高之驅動頻率。惟，一提高驅動頻率時，則衍生有消費電力變高之課題。
為解決該課題，電視機ex300、LSIex500等之動態圖像解碼裝置是識別影像資料是依據哪一規格，因應規格來切換驅動頻率之構成。圖34是顯示本實施形態中之構成ex800。驅動頻率切換部ex803於影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生時，將驅動頻率提高設定。接著，對執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801，指示要將影像資料解碼。另一方面，在影像資料為依據習知規格之影像資料時，與影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者時相比，要將驅動頻率降低設定。接著，對依據習知規格之解碼處理部ex802，指示要將影像資料進行解碼。
更具體來說，驅動頻率切換部ex803是由圖33之CPUex502與驅動頻率控制部ex512所構成。又，執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801及依據習知規格之解碼處理部ex802是相當於圖33之訊號處理部ex507。CPUex502是識別影像資料依據哪一規格。接著，根據來自CPUex502之訊號，驅動頻率控制部ex512設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507是進行影像資料之解碼。在此，在影像資料之識別上，考慮到例如利用實施形態3所記載之識別資訊。有關於識別資訊，不限於實施形態3所記載者，只要能識別影像資料是依據哪一規格之資訊即可。例如，在根據識別影像資料是被利用在電視機、或被利用在磁碟等之外部訊 號，能識別影像資料是依據哪一規格時，亦可根據如此之外部訊號予以識別。又，在CPUex502中之驅動頻率之選擇，能考慮到例如根據如圖36所示之影像資料之規格與驅動頻率對應之查找表。將查找表先儲放在緩衝器ex508或LSI之內部記憶體，CPUex502參照該查找表，即可選擇驅動頻率。
圖35是顯示實施本實施形態之方法之步驟。首先在步驟exS200中，於訊號處理部ex507中由多工資料取得識別資訊。其次，在步驟exS201中，於CPUex502中，根據識別資訊，識別影像資料是否為藉以上述各實施形態所示之編碼方法或裝置所產生。在影像資料為藉以上述各實施形態所示之編碼方法或裝置所產生時，在步驟exS202中，CPUex502將驅動頻率提高設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，設定在高驅動頻率。另一方面，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，在步驟exS203中，CPUex502將驅動頻率降低設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，與影像資料是藉以上述各實施形態所示之編碼方法或裝置所產生之形態相比，設定在低驅動頻率。
進而，連動於驅動頻率之切換，變更供給至LSIex500或含有LSIex500之裝置之電壓，就能更提高省電效果。例如在將驅動頻率降低設定時，隨此，與將驅動頻率提高設定之情況相比，可考慮將供應至LSIex500或含有 LSIex500之裝置之電壓降低設定。
又，驅動頻率之設定方法只要在解碼時之處理量大時，將驅動頻率提高設定，而在解碼時之處理量小時，將驅動頻率降低設定即可，但不限於上述之設定方法。例如將依據MPEG4-AVC規格之影像資料解碼之處理量在於大於藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼之處理量時，可考慮將驅動頻率之設定作成與上述情況相反。
進而，驅動頻率之設定方法不限於降低驅動頻率之構成。例如，在識別資訊顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資訊時，將供給至LSIex500或含有LSIex500之裝置之電壓提高設定，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，亦可降低設定提供至LSIex500或含有LSIex500之裝置之電壓。又，以另一例而言，在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，無須將CPUex502之驅動停止，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，在處理上有餘裕，因此亦可將CPUex502之驅動暫時停止。在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，如果處理上有餘裕時，亦可考慮將CPUex502之驅動暫時停止。即使在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資訊時，處理上有餘裕時，亦可考慮 將CPUex502之驅動暫時停止。此時，與顯示為依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料之情況相比，可考慮將停止時間縮短設定。
如此，因應影像資料所依據之規格而切換驅動頻率，就可謀求省電之實現。又，在使用電池而將LSIex500或含有LSIex500之裝置驅動時，就能隨著省電而延長電池的壽命。
(實施形態6)
在電視機或行動電話機等上述機器暨系統上有依據不同規格之多數影像資料輸入之情況。如此，為於有依據不同規格之多數影像資料輸入之情況亦能進行解碼時，乃有必要使LSIex500之訊號處理部ex507能對應於多數規格。惟，一個別使用與各規格對應之訊號處理部ex507，就衍生有LSIex500之電路規模變大，又，成本增加之課題。
為解決該課題，構建成將用以執行以上述各實施形態所示之動態圖像解碼方法用之解碼處理部與依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之解碼處理部局部共有之構成。將該構成例顯示在圖37A之ex900。例如在上述各實施形態所示之動態圖像解碼方法與依據MPEG4-AVC規格之動態圖像解碼方法在於熵編碼、反量化、解塊濾波器、移動補償等之處理中，處理內容有局部共通者。針對共通之處理內容考慮共有與MPEG4-AVC規格對應之解碼處理部ex902，針對不對應MPEG4-AVC規格之本發明特有之其他處理內容則使用專用之解碼處理部ex901之構 成。尤其考慮到本發明在於來自緩衝器之編碼資料抽取上具有特徵，例如針對該編碼資料之抽取，能使用專用之解碼處理部ex901，而對於除此以外之熵解碼、反量化、解塊濾波器、移動補償任一種或全部的處理，則共有解碼處理部。有關於解碼處理部之共有，亦可針對共通之處理內容，共有用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部，而對於MPEG4-AVC規格特有之處理內容，則使用專用之解碼處理部之構成。
又，將處理局部共有之另一例顯示在圖37B之ex1000。在該例中，使用與本發明特有之處理內容對應之專用之解碼處理部ex1001、與另一習知規格特有之處理內容對應之專用的解碼處理部ex1002、及與本發明動態圖像解碼方法和另一習知規格之動態圖像解碼方法共通之處理內容對應之共用的解碼處理部ex1003之構成。在此，專用的解碼處理部ex1001、ex1002未必為對本發明或其他習知規格特有之處理內容所特地準備的，亦可為執行其他萬用處理。又，本實施形態之構成亦可以LSIex500安裝者。
如此，針對本發明一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法上共通之處理內容共有解碼處理部，便能將LSI之電路規模縮小、降低成本。
產業利用性
本發明是適用於圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置。又，本發明能利用在具備圖像編碼裝置之電視機、數位攝影機、車用導航系統、行 動電話機、數位相機、及數位攝影相機等高影像解析度之資訊顯示機器及攝影機器。
S221~S223‧‧‧步驟

Claims (21)

  1. 一種圖像編碼方法，是將圖片所含之1個以上之單元編碼之方法，包含有：第1旗標產生步驟，使虛擬解碼器產生第1旗標，該第1旗標顯示由用以儲存編碼資料之緩衝器讀出前述編碼資料之時刻是否是以前述單元單位設定；第2旗標產生步驟，在前述時刻是以前述單元單位設定時，產生第2旗標，該第2旗標顯示多數前述單元之讀出時刻之間隔為固定或者是任意；及位元流產生步驟，產生包括前述編碼資料、前述第1旗標及前述第2旗標之編碼位元流。
  2. 如申請專利範圍第1項之圖像編碼方法，在前述位元流產生步驟中，在包含在前述編碼位元流且按每含有1個以上之圖片之圖片群設置之圖片群之控制資訊含有前述第2旗標。
  3. 如申請專利範圍第2項之圖像編碼方法，其中前述圖像編碼方法更包含有固定間隔資訊產生步驟，在前述第2旗標顯示前述間隔為固定時，產生顯示該間隔之固定間隔資訊；在前述位元流產生步驟中，在包含在前述編碼位元流且按每1圖片單位設置之1圖片單位之控制資訊含有前述固定間隔資訊。
  4. 如申請專利範圍第3項之圖像編碼方法，其中前述固定間 隔資訊包括包含在1個圖片之前述多數單元之數量及圖片之時間間隔。
  5. 如申請專利範圍第3項之圖像編碼方法，其中前述圖像編碼方法更包含有可變間隔資訊產生步驟，在前述第2旗標顯示前述間隔為任意時，產生按每前述單元顯示前述間隔之可變間隔資訊；在前述位元流產生步驟中，於前述1圖片單位之控制資訊含有前述可變間隔資訊。
  6. 如申請專利範圍第2項之圖像編碼方法，其中前述圖像編碼方法更包含有可變間隔資訊產生步驟，在前述第2旗標顯示前述間隔為任意時，產生按每前述單元顯示前述間隔之可變間隔資訊；在前述位元流產生步驟中，在包含在前述編碼位元流且按每1單元單位設置之1單元單位之控制資訊含有前述可變間隔資訊。
  7. 如申請專利範圍第1項之圖像編碼方法，其中前述編碼位元流含有傳輸流及描述符；在前述位元流產生步驟中，於前述描述符含有前述第2旗標。
  8. 一種圖像解碼方法，是按每一包含在圖片之1個以上之單元，將編碼資料解碼之方法，包含有：第1旗標取得步驟，由含有前述編碼資料之編碼位元流取得第1旗標，該第1旗標顯示由用以儲存前述編碼資料之緩衝器讀出前述編碼資料之時刻是否是以前述單元 單位設定；第2旗標取得步驟，在前述時刻是以前述單元單位設定時，由前述編碼位元流取得第2旗標，該第2旗標顯示多數前述單元之讀出時刻之間隔是固定或者是任意；讀出步驟，按照前述第2旗標，且以固定的間隔或者是任意的間隔，由前述緩衝器按每前述單元而讀出編碼資料；及解碼步驟，將所讀出之前述編碼資料解碼。
  9. 如申請專利範圍第8項之圖像解碼方法，其中前述第2旗標取得步驟由包含在前述編碼位元流且按每含有1個以上之圖片之圖片群設置之圖片群的控制資訊，取得前述第2旗標。
  10. 如申請專利範圍第9項之圖像解碼方法，其中前述圖像解碼方法更含有固定間隔資訊取得步驟，在前述第2旗標顯示前述間隔為固定時，由包含在前述編碼位元流且按每1圖片單位設置之1圖片單位之控制資訊，取得顯示該間隔之固定間隔資訊；在前述讀出步驟中，在前述第2旗標顯示前述間隔為固定時，以前述固定間隔資訊所示之前述間隔，由前述緩衝器按每前述單元讀出編碼資料。
  11. 如申請專利範圍第10項之圖像解碼方法，其中前述固定間隔資訊顯示1個圖片所含之前述多數單元的數與圖片之時間間隔，在前述讀出步驟中，利用前述多數單元之數及前述圖 片之時間間隔，算出前述間隔，且以所算出之間隔，由前述緩衝器按每前述單元讀出編碼資料。
  12. 如申請專利範圍第10項之圖像解碼方法，其中前述圖像解碼方法更含有固定間隔資訊取得步驟，在前述第2旗標顯示前述間隔為任意時，由前述1圖片單位之控制資訊取得可變間隔資訊，該可變間隔資訊顯示前述多數單元之各前述間隔；在前述讀出步驟中，在前述第2旗標顯示前述間隔為任意時，以前述可變間隔資訊所示之前述間隔，由前述緩衝器按每前述單元讀出編碼資料。
  13. 如申請專利範圍第9項之圖像解碼方法，其中前述圖像解碼方法更含有可變間隔資訊取得步驟，在前述第2旗標顯示前述間隔為任意時，由包含在前述編碼位元流且按每1單元單位設置之1單元單位之控制資訊取得可變間隔資訊，該可變間隔資訊顯示前述多數之單元之各前述間隔；在前述讀出步驟中，在前述第2旗標顯示前述間隔為任意時，以前述可變間隔資訊所示之前述間隔，由前述緩衝器按每前述單元讀出編碼資料。
  14. 如申請專利範圍第8項之圖像解碼方法，其中前述編碼位元流包括傳送流及描述符，在前述第2旗標取得步驟中，由前述描述符取得前述第2旗標。
  15. 一種圖像編碼裝置，是包含有控制電路及與前述控制電 路電性連接之記憶裝置，且將圖片所含之1個以上之單元編碼之裝置；前述控制電路執行：第1旗標產生步驟，使虛擬解碼器產生第1旗標，該第1旗標顯示由用以儲存編碼資料之緩衝器讀出前述編碼資料之時刻是否是以前述單元單元設定；第2旗標產生步驟，在前述時刻是以前述單元單位設定時，產生第2旗標，該第2旗標顯示多數之前述單元之讀出時刻之間隔為固定或者是任意；及位元流產生步驟，產生包括前述編碼資料、前述第1旗標及前述第2旗標之編碼位元流。
  16. 一種圖像解碼裝置，是包含有控制電路及與前述控制電路電性連接之記憶裝置，且按每圖片所含之1個以上之單元，將編碼資料解碼之裝置；前述控制電路執行：第1旗標取得步驟，由含有前述編碼資料之編碼位元流取得第1旗標，該第1旗標顯示由用以儲存前述編碼資料之緩衝器讀出前述編碼資料之時刻是否是以前述單元單位設定；第2旗標取得步驟，在前述時刻是以前述單元單位設定時，由前述編碼位元流取得第2旗標，該第2旗標顯示多數之前述單元之讀出時刻之間隔是固定或者是任意；讀出步驟，按照前述第2旗標，以固定的間隔或者是任意的間隔，由前述緩衝器按每前述單元讀出編碼資 料；及解碼步驟，將所讀出之前述編碼資料解碼。
  17. 一種圖像編碼解碼裝置，包含有：如申請專利範圍第15項之圖像編碼裝置、及如申請專利範圍第16項之圖像解碼裝置。
  18. 一種圖像編碼方法，是將圖片所含之1個以上之單元編碼之方法，包含有：第1旗標產生步驟，使虛擬解碼器產生第1旗標，該第1旗標顯示由用以儲存編碼資料之緩衝器讀出前述編碼資料之時刻是否是以前述單元單位設定；第2旗標產生步驟，在前述時刻是以前述單元單位設定時，產生第2旗標，該第2旗標顯示多數前述單元之讀出時刻之間隔為固定或者是任意；固定間隔資訊產生步驟，在前述第2旗標顯示前述間隔為固定時，產生顯示該間隔之固定間隔資訊；及位元流產生步驟，產生包括前述編碼資料、前述第1旗標及前述第2旗標之編碼位元流，在前述位元流產生步驟中，在包含在前述編碼位元流且按每1圖片單位設置之1圖片單位之控制資訊含有前述固定間隔資訊。
  19. 一種圖像解碼方法，是按每一包含在圖片之1個以上之單元，將編碼資料解碼之方法，包含有：第1旗標取得步驟，由含有前述編碼資料之編碼位元流取得第1旗標，該第1旗標顯示由用以儲存前述編碼資 料之緩衝器讀出前述編碼資料之時刻是否是以前述單元單位設定；第2旗標取得步驟，在前述時刻是以前述單元單位設定時，由前述編碼位元流取得第2旗標，該第2旗標顯示多數前述單元之讀出時刻之間隔是固定或者是任意；固定間隔資訊取得步驟，在前述第2旗標顯示前述間隔為固定時，由包含在前述編碼位元流且按每1圖片單位設置之1圖片單位之控制資訊，取得顯示該間隔之固定間隔資訊；讀出步驟，按照前述第2旗標，且以固定的間隔或者是任意的間隔，由前述緩衝器按每前述單元而讀出編碼資料；及解碼步驟，將所讀出之前述編碼資料解碼，在前述讀出步驟中，在前述第2旗標顯示前述間隔為固定時，以前述固定間隔資訊所示之前述間隔，由前述緩衝器按每前述單元讀出編碼資料。
  20. 一種圖像編碼裝置，是包含有控制電路及與前述控制電路電性連接之記憶裝置，且將圖片所含之1個以上之單元編碼之裝置；前述控制電路執行：第1旗標產生步驟，使虛擬解碼器產生第1旗標，該第1旗標顯示由用以儲存編碼資料之緩衝器讀出前述編碼資料之時刻是否是以前述單元單位設定；第2旗標產生步驟，在前述時刻是以前述單元單位設 定時，產生第2旗標，該第2旗標顯示多數前述單元之讀出時刻之間隔為固定或者是任意；固定間隔資訊產生步驟，在前述第2旗標顯示前述間隔為固定時，產生顯示該間隔之固定間隔資訊；及位元流產生步驟，產生包括前述編碼資料、前述第1旗標及前述第2旗標之編碼位元流，在前述位元流產生步驟中，在包含在前述編碼位元流且按每1圖片單位設置之1圖片單位之控制資訊含有前述固定間隔資訊。
  21. 一種圖像解碼裝置，是包含有控制電路及與前述控制電路電性連接之記憶裝置，且按每圖片所含之1個以上之單元，將編碼資料解碼之裝置；前述控制電路執行：第1旗標取得步驟，由含有前述編碼資料之編碼位元流取得第1旗標，該第1旗標顯示由用以儲存前述編碼資料之緩衝器讀出前述編碼資料之時刻是否是以前述單元單位設定；第2旗標取得步驟，在前述時刻是以前述單元單位設定時，由前述編碼位元流取得第2旗標，該第2旗標顯示多數前述單元之讀出時刻之間隔是固定或者是任意；固定間隔資訊取得步驟，在前述第2旗標顯示前述間隔為固定時，由包含在前述編碼位元流且按每1圖片單位設置之1圖片單位之控制資訊，取得顯示該間隔之固定間隔資訊； 讀出步驟，按照前述第2旗標，且以固定的間隔或者是任意的間隔，由前述緩衝器按每前述單元而讀出編碼資料；及解碼步驟，將所讀出之前述編碼資料解碼，在前述讀出步驟中，在前述第2旗標顯示前述間隔為固定時，以前述固定間隔資訊所示之前述間隔，由前述緩衝器按每前述單元讀出編碼資料。
TW102113766A 2012-04-23 2013-04-18 An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus TWI559737B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261636913P 2012-04-23 2012-04-23
US201261658957P 2012-06-13 2012-06-13

Publications (2)

Publication Number Publication Date
TW201349874A TW201349874A (zh) 2013-12-01
TWI559737B true TWI559737B (zh) 2016-11-21

Family

ID=49380104

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102113766A TWI559737B (zh) 2012-04-23 2013-04-18 An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus

Country Status (16)

Country Link
US (7) US8885731B2 (zh)
EP (1) EP2843945B1 (zh)
JP (4) JP6041273B2 (zh)
KR (1) KR102030211B1 (zh)
CN (4) CN107801030B (zh)
AR (1) AR090815A1 (zh)
AU (1) AU2013254214C1 (zh)
BR (1) BR112014026177B1 (zh)
CA (1) CA2870989C (zh)
ES (1) ES2782227T3 (zh)
MX (1) MX341068B (zh)
PL (1) PL2843945T3 (zh)
RU (2) RU2713854C2 (zh)
SG (1) SG11201406829YA (zh)
TW (1) TWI559737B (zh)
WO (1) WO2013161203A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102096566B1 (ko) 2012-04-13 2020-04-02 지이 비디오 컴프레션, 엘엘씨 저지연 화상 코딩
RU2635251C2 (ru) * 2012-06-29 2017-11-09 ДжиИ Видео Компрешн, ЭлЭлСи Концепция потока видеоданных
US9648352B2 (en) * 2012-09-24 2017-05-09 Qualcomm Incorporated Expanded decoding unit definition
US9628344B2 (en) * 2012-12-13 2017-04-18 Level 3 Communications, Llc Framework supporting content delivery with reducer services network
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
JP5886341B2 (ja) 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10063867B2 (en) * 2014-06-18 2018-08-28 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions
US10091532B2 (en) * 2014-06-26 2018-10-02 Qualcomm Incorporated Bitstream conformance constraints in scalable video coding
CN110114803B (zh) * 2016-12-28 2023-06-27 松下电器（美国）知识产权公司 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置
MX2020012178A (es) * 2018-05-22 2022-05-03 Panasonic Ip Corp America Codificador, decodificador, método de codificación, método de decodificación, y programa de compresión de representaciones visuales.
WO2021136783A1 (en) * 2019-12-31 2021-07-08 Koninklijke Kpn N.V. Partial output of a decoded picture buffer in video coding
CN115699765A (zh) 2020-05-22 2023-02-03 字节跳动有限公司 访问单元中图片信息的信令

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050175098A1 (en) * 2004-01-16 2005-08-11 General Instruments Corporation Method, protocol, and apparatus for transporting advanced video coding content
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US20090168900A1 (en) * 2007-12-27 2009-07-02 Shimoyama Hiroyasu Encoding apparatus, encoding method, and program
US20090190666A1 (en) * 2002-07-02 2009-07-30 Conexant Systems, Inc. Hypothetical reference decoder with low start-up delays for compressed image and video
CN102047673A (zh) * 2009-04-08 2011-05-04 索尼公司 记录设备、记录方法、回放设备、回放方法、记录介质和程序
TW201127018A (en) * 2009-04-08 2011-08-01 Sony Corp Recording device, recording method,playback device, playback method, program, and recording medium
TW201127019A (en) * 2009-04-08 2011-08-01 Sony Corp Information processing device, information processing method, playback device, playback method, and recording medium
CN102282858A (zh) * 2009-04-08 2011-12-14 索尼公司 回放设备、回放方法和程序

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11340938A (ja) * 1998-05-28 1999-12-10 Sony Corp データ多重化装置及び方法
JP4142180B2 (ja) 1998-10-29 2008-08-27 富士通株式会社 動きベクトル符号化装置および復号装置
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
AU2004214313B2 (en) * 2003-02-18 2010-05-20 Nokia Technologies Oy Picture coding method
CN100568964C (zh) * 2003-02-18 2009-12-09 诺基亚有限公司 图像解码方法
US7266147B2 (en) * 2003-03-31 2007-09-04 Sharp Laboratories Of America, Inc. Hypothetical reference decoder
US20040218669A1 (en) * 2003-04-30 2004-11-04 Nokia Corporation Picture coding method
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
CN100539672C (zh) * 2004-08-17 2009-09-09 松下电器产业株式会社 图像编码装置和方法
US8615038B2 (en) * 2004-12-06 2013-12-24 Nokia Corporation Video coding, decoding and hypothetical reference decoder
EP1869891A4 (en) * 2005-04-13 2014-06-11 CODING, STORAGE AND SIGNALING OF SCALABILITY INFORMATION
JP4311570B2 (ja) * 2005-07-01 2009-08-12 株式会社ソニー・コンピュータエンタテインメント 再生装置、ビデオ復号装置および同期再生方法
RU2368095C1 (ru) * 2005-07-22 2009-09-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
RU2395174C1 (ru) * 2006-03-30 2010-07-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для декодирования/кодирования сигнала видео
WO2008018626A2 (en) * 2006-08-10 2008-02-14 Canon Kabushiki Kaisha Image decoding apparatus
US8180029B2 (en) * 2007-06-28 2012-05-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
JPWO2010095181A1 (ja) * 2009-02-23 2012-08-16 パナソニック株式会社 可変長復号化装置
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
JP2010252151A (ja) * 2009-04-17 2010-11-04 Renesas Electronics Corp 再生装置、及び同期再生方法
US20110274162A1 (en) 2010-05-04 2011-11-10 Minhua Zhou Coding Unit Quantization Parameters in Video Coding
US9992456B2 (en) * 2010-02-24 2018-06-05 Thomson Licensing Dtv Method and apparatus for hypothetical reference decoder conformance error detection
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US9565431B2 (en) 2012-04-04 2017-02-07 Qualcomm Incorporated Low-delay video buffering in video coding
US9402082B2 (en) * 2012-04-13 2016-07-26 Sharp Kabushiki Kaisha Electronic devices for sending a message and buffering a bitstream
US20140301477A1 (en) * 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190666A1 (en) * 2002-07-02 2009-07-30 Conexant Systems, Inc. Hypothetical reference decoder with low start-up delays for compressed image and video
US20050175098A1 (en) * 2004-01-16 2005-08-11 General Instruments Corporation Method, protocol, and apparatus for transporting advanced video coding content
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US20090168900A1 (en) * 2007-12-27 2009-07-02 Shimoyama Hiroyasu Encoding apparatus, encoding method, and program
CN102047673A (zh) * 2009-04-08 2011-05-04 索尼公司 记录设备、记录方法、回放设备、回放方法、记录介质和程序
TW201127018A (en) * 2009-04-08 2011-08-01 Sony Corp Recording device, recording method,playback device, playback method, program, and recording medium
TW201127019A (en) * 2009-04-08 2011-08-01 Sony Corp Information processing device, information processing method, playback device, playback method, and recording medium
CN102282858A (zh) * 2009-04-08 2011-12-14 索尼公司 回放设备、回放方法和程序

Also Published As

Publication number Publication date
BR112014026177A2 (pt) 2017-06-27
US20130301943A1 (en) 2013-11-14
JP6041273B2 (ja) 2016-12-07
US20130279600A1 (en) 2013-10-24
US20190075300A1 (en) 2019-03-07
RU2627109C2 (ru) 2017-08-03
JP6044915B2 (ja) 2016-12-14
US20170150154A1 (en) 2017-05-25
US8804847B2 (en) 2014-08-12
CN107801030A (zh) 2018-03-13
AU2013254214B2 (en) 2016-11-24
KR102030211B1 (ko) 2019-10-08
AU2013254214A2 (en) 2014-11-13
CN107770556A (zh) 2018-03-06
JP6213753B2 (ja) 2017-10-18
JP2016105657A (ja) 2016-06-09
EP2843945B1 (en) 2020-03-11
JP6504478B2 (ja) 2019-04-24
AU2013254214A1 (en) 2014-11-20
US20140247886A1 (en) 2014-09-04
CN104429080B (zh) 2017-12-12
SG11201406829YA (en) 2014-11-27
JPWO2013161203A1 (ja) 2015-12-21
EP2843945A1 (en) 2015-03-04
RU2017123542A (ru) 2019-01-30
RU2017123542A3 (zh) 2019-12-20
JP2017063456A (ja) 2017-03-30
US10158860B2 (en) 2018-12-18
EP2843945A4 (en) 2016-01-06
AR090815A1 (es) 2014-12-10
US20180103256A1 (en) 2018-04-12
CA2870989C (en) 2018-11-20
WO2013161203A1 (ja) 2013-10-31
MX2014012269A (es) 2014-12-05
AU2013254214C1 (en) 2017-03-02
US10750187B2 (en) 2020-08-18
RU2713854C2 (ru) 2020-02-07
US9883189B2 (en) 2018-01-30
US9602823B2 (en) 2017-03-21
KR20150013456A (ko) 2015-02-05
CN107801029B (zh) 2020-06-05
JP2018011332A (ja) 2018-01-18
US8885731B2 (en) 2014-11-11
US9491470B2 (en) 2016-11-08
CN107770556B (zh) 2020-05-19
US20140362929A1 (en) 2014-12-11
MX341068B (es) 2016-08-05
CN107801029A (zh) 2018-03-13
CA2870989A1 (en) 2013-10-31
TW201349874A (zh) 2013-12-01
BR112014026177B1 (pt) 2023-01-17
CN107801030B (zh) 2020-10-09
CN104429080A (zh) 2015-03-18
ES2782227T3 (es) 2020-09-11
RU2014142031A (ru) 2016-05-10
PL2843945T3 (pl) 2020-07-27

Similar Documents

Publication Publication Date Title
TWI556609B (zh) A reproducing method, a moving picture encoding method, a reproducing apparatus, a moving picture coding apparatus, and a moving picture encoding and decoding apparatus
JP6504478B2 (ja) 符号化復号方法
AU2012221588B2 (en) Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CA2845548C (en) Methods and apparatuses for encoding and decoding video using periodic buffer description
EP3059975B1 (en) Image coding method, image decoding method, image coding device, and image decoding device
TWI559752B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus
TWI580265B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus
TWI559738B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, an image coding / decoding apparatus, and a program
AU2013300958A1 (en) Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
TW201347550A (zh) 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置
JP6483028B2 (ja) 画像符号化方法及び画像符号化装置
CA2807780C (en) Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
KR20140042763A (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 및 동화상 부호화 복호 장치