TWI593274B - Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding / decoding device - Google Patents

Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding / decoding device Download PDF

Info

Publication number
TWI593274B
TWI593274B TW102134121A TW102134121A TWI593274B TW I593274 B TWI593274 B TW I593274B TW 102134121 A TW102134121 A TW 102134121A TW 102134121 A TW102134121 A TW 102134121A TW I593274 B TWI593274 B TW I593274B
Authority
TW
Taiwan
Prior art keywords
slice
dependent
header
image
processing
Prior art date
Application number
TW102134121A
Other languages
English (en)
Other versions
TW201429253A (zh
Inventor
西彌 艾森力克
梅瑟思 納羅史查克
湯瑪斯 韋迪
Original Assignee
太陽專利信託
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=50385285&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TWI593274(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 太陽專利信託 filed Critical 太陽專利信託
Publication of TW201429253A publication Critical patent/TW201429253A/zh
Application granted granted Critical
Publication of TWI593274B publication Critical patent/TWI593274B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、及圖像編碼解碼裝置 發明領域
本發明是一種有關於將圖像編碼的圖像編碼方法、及將圖像解碼的圖像解碼方法等。
發明背景
現在標準的影像編碼演算法大部分是基於混合影像編碼。在混合影像編碼方法中，為了達成所需的壓縮增益，使用幾個不同的無損壓縮(lossless compression)方式與有損壓縮(lossy compression)方式。混合影像編碼與ISO/IEC標準規格(MPEG-1、MPEG-2及MPEG-4等之MPEG-X標準規格)一樣，是ITU-T標準規格(H.261及H.263等之H.26x標準規格)的基礎。
最新的影像編碼標準規格稱為H.264/MPEG-4 Advanced Video Coding(AVC)。此規格是藉由JVT(Joint CoVedeo Team)、ITU-T及ISO/IEC MPEG群之聯合小組來標準化。
又，以改善高解析度之影像編碼的效率為目的，把稱為HEVC(High-Efficiency Video Coding)的影像編碼 標準規格，藉由JCT-VC(Joint Collaborative Team on Video Coding)來進行檢視。
先前技術文獻 非專利文獻
【非專利文獻1】C. Gordon等，“Wavefront Parallel Processing for HEVC Encoding and Decoding”, JCTVC-F274-v2, from the Meeting in Torino, July 2011，網際網路<URL: http: //phenix.int-evry.fr>
【非專利文獻2】A. Fuldseth等，“Tiles”, JCTVC-F355-v1, from the Meeting in Torino, July 2011，網際網路<URL: http: //phenix.int-evry.fr>
【非專利文獻3】JCTVC-J1003_d7, “High efficiency video coding (HEVC) text specification draft 8”, July 2012，第73頁「dependent_slice_flag」，網際網路<URL: http: //phenix.IT-sudparis.eu/jct/>
發明概要
然而，在習知技術之圖像編碼方法及圖像解碼(解碼化)方法等中，有處理效率不夠充分的問題。
因此，本發明提供一種可提升處理效率的圖像編碼方法及圖像解碼方法等。
本發明一態樣之圖像編碼方法，是將圖片分割成 複數個切片而執行編碼處理的圖像編碼方法，包含有如下步驟：把包含有如下之依存切片有效化旗標、切片位址、及依存性指示(indication)的位元流發送，而前述依存切片有效化旗標是顯示：依存於對於處理對象之切片以外的其他切片的前述編碼處理之結果來進行前述編碼處理的依存切片，是否被包含在前述圖片；前述切片位址是顯示：前述處理對象之切片的開始位置；而前述依存性指示則是顯示：前述處理對象之切片是否為前述依存切片，且前述依存切片有效化旗標是配置於前述複數個切片共通的參數集內，前述切片位址是配置於前述處理對象之切片的切片標頭(header)內，而前述依存性指示則是配置於前述切片標頭內、在前述切片位址之前、且在識別前述參數集的語法元件之後。
又，本發明一態樣之圖像解碼方法，是將圖片分割成複數個切片而執行解碼處理的圖像解碼方法，包含有如下步驟：從經編碼之位元流抽出如下之依存切片有效化旗標、切片位址、及依存性指示，而前述依存切片有效化旗標是顯示：依存於對於處理對象之切片以外的其他切片的前述解碼處理之結果來進行前述解碼處理的依存切片，是否被包含在前述圖片；前述切片位址是顯示：前述處理對象之切片的開始位置；而前述依存性指示則是顯示：前述處理對象之切片是否為前述依存切片，且前述依存切片有效化旗標是配置於前述複數個切片共通的參數集內，前述切片位址是配置於前述處理對象之切片的切片標頭內， 而前述依存性指示則是配置於前述切片標頭內、在前述切片位址之前、且在識別前述參數集的語法元件之後。
另外，該等之全般的或具體的態樣可由系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體來實現，亦可由系統、方法、積體電路、電腦程式及記錄媒體的任意組合來實現。
本發明之圖像編碼方法及圖像解碼方法可提升編碼效率。
31、32、3i、41、42‧‧‧LCU行
100‧‧‧編碼器
105‧‧‧減算器
110‧‧‧轉換部
120‧‧‧量化部
130、230‧‧‧逆轉換部
140、240‧‧‧加算器
150、250‧‧‧解塊濾波器
160、260‧‧‧適應性迴路濾波器
170、270‧‧‧訊框記憶體
180、280‧‧‧預測部
190‧‧‧熵編碼部
200‧‧‧解碼器
290‧‧‧熵解碼部
300、400、710、720、730‧‧‧圖片
311、312、3i1、321‧‧‧LCU
500‧‧‧封包標頭
510‧‧‧IP標頭
520、550‧‧‧擴充欄位
530‧‧‧UDP標頭
540‧‧‧RTP標頭
560‧‧‧標頭
570‧‧‧NAL標頭
600‧‧‧語法
601‧‧‧語法元件dependent_slice_flag
602‧‧‧資訊元件num_entry _points_offsets
603‧‧‧語法元件entry_points_offsets〔i〕
810、820、830‧‧‧訊框
910、1010、1210、1410、1510、1610‧‧‧NAL單元標頭
920、1020、1220、1520‧‧‧切片標頭
930‧‧‧SPS
931‧‧‧pic_width_in_luma_samples
932‧‧‧pic_height_in_luma_samples
933‧‧‧log2_min_coding_block_size_minus3
934‧‧‧log2_diff_max_min_coding_block_size
935、945‧‧‧點
e、e’‧‧‧預測誤差訊號
ex100‧‧‧內容供給系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務提供者
ex104‧‧‧電話線路網
ex106~ex110‧‧‧基地台
ex107‧‧‧基地台
ex111‧‧‧電腦
ex112‧‧‧PDA
ex113‧‧‧相機
ex114‧‧‧行動電話
ex115‧‧‧遊戲機
ex117‧‧‧麥克風
ex201‧‧‧廣播台
ex202‧‧‧衛星
ex203‧‧‧電纜線
ex204‧‧‧天線
ex210‧‧‧車輛
ex211‧‧‧車輛導航系統
ex215、ex216‧‧‧記錄媒體
ex217‧‧‧機上盒(STB)
ex218‧‧‧讀取器/記錄器
ex219‧‧‧監視器
ex220‧‧‧遙控器
ex230‧‧‧資訊軌道
ex231‧‧‧記錄區塊
ex232‧‧‧內周區
ex233‧‧‧資料記錄區
ex234‧‧‧外周區
ex235‧‧‧視訊流
ex238‧‧‧聲訊流
ex236、ex239、ex242、ex245‧‧‧PES封包列
ex237、ex240、ex243、ex246‧‧‧TS封包
ex241‧‧‧表達圖形流
ex244‧‧‧交互圖形流
ex247‧‧‧多工資料
ex300‧‧‧電視機
ex301‧‧‧調諧器
ex302‧‧‧調變/解調部
ex303‧‧‧多工/解多工部
ex304‧‧‧聲音訊號處理部
ex305‧‧‧影像訊號處理部
ex306‧‧‧訊號處理部
ex307‧‧‧揚聲器
ex308‧‧‧顯示部
ex309‧‧‧輸出部
ex310‧‧‧控制部
ex311‧‧‧電源電路部
ex312‧‧‧操作輸入部
ex313‧‧‧橋接器
ex314‧‧‧插槽部
ex315‧‧‧驅動器
ex316‧‧‧數據機
ex317‧‧‧介面部
ex318、ex319‧‧‧緩衝器
ex350‧‧‧天線
ex351‧‧‧傳送/接收部
ex352‧‧‧調變/解調部
ex353‧‧‧多工/解多工部
ex354‧‧‧聲音訊號處理部
ex355‧‧‧影像訊號處理部
ex356‧‧‧聲音輸入部
ex357‧‧‧聲音輸出部
ex358‧‧‧顯示部
ex359‧‧‧LCD控制部
ex360‧‧‧主控制部
ex361‧‧‧電源電路部
ex362‧‧‧操作輸入控制部
ex363‧‧‧相機I/F部
ex364‧‧‧插槽部
ex365‧‧‧相機部
ex366‧‧‧操作鍵部
ex367‧‧‧記憶體部
ex400‧‧‧資訊再生/記錄部
ex401‧‧‧光學磁頭
ex402‧‧‧調變記錄部
ex403‧‧‧再生解調部
ex404‧‧‧緩衝器
ex405‧‧‧光碟馬達
ex406‧‧‧伺服器控制部
ex407‧‧‧系統控制部
ex500‧‧‧LSI
ex501‧‧‧控制部
ex502‧‧‧CPU
ex503‧‧‧記憶體控制器
ex504‧‧‧串流控制器
ex505‧‧‧電源電路部
ex506‧‧‧串流I/O
ex507‧‧‧訊號處理部
ex508‧‧‧緩衝器
ex509‧‧‧AV I/O
ex510‧‧‧匯流排
ex511‧‧‧記憶體
ex512‧‧‧驅動頻率控制部
ex801、ex802‧‧‧解碼處理部
ex803‧‧‧驅動頻率切換部
ex900‧‧‧構成
ex901、ex902、ex1001~ex1003‧‧‧解碼處理部
s1‧‧‧輸入訊號
s2‧‧‧預測訊號
s’、s”、s3‧‧‧重建訊號
【圖1】圖1是顯示依HEVC為準的編碼器之一例的方塊圖。
【圖2】圖2是顯示依HEVC為準的解碼器之一例的方塊圖。
【圖3】圖3是顯示波面平行處理(WPP)中圖像構成之一例的圖。
【圖4】圖4是顯示波面平行處理中通常切片與依存切片間的關係之一例的圖。
【圖5】圖5是顯示封包標頭之一例的圖。
【圖6】圖6是顯示熵切片或依存切片的切片標頭之一例的圖。
【圖7】圖7是顯示使用通常切片時之依存性與其信號傳輸的圖。
【圖8】圖8是顯示使用依存切片及熵切片時之依存性 與其信號傳輸的概略圖。
【圖9A】圖9A是顯示在HM8.0中的層間之依存性、時間性的依存性、及切片間之依存性的語法之例的圖。
【圖9B】圖9B是用來說明為了分析在HM8.0中的層間之依存性而執行之分析步驟的圖。
【圖9C】圖9C是用來說明為了分析在HM8.0中的層間之依存性而執行之分析步驟的圖。
【圖10】圖10是顯示dependent_slice_flag之位置之一例的圖。
【圖11】圖11是顯示把圖10中之關於dependent_slice_enabled_flag的分析條件刪除的情況之語法之例的圖。
【圖12】圖12是顯示使dependent_slice_flag移動至first_slice_in_pic_flag之前的情況之語法之例的圖。
【圖13】圖13是顯示使dependent_slice_flag移動至slice_address之前的情況之語法之例的圖。
【圖14】圖14是顯示使dependent_slice_flag移動至NAL標頭內的情況之語法之例的圖。
【圖15】圖15是顯示於NAL單元類型追加新的類型的情況下依存切片之切片標頭的語法之例的圖。
【圖16】圖16是顯示假設對於特定的NAL單元類型將dependent_slice_flag設定為1的情況下的切片標頭及NAL單元標頭的語法之例的圖。
【圖17】圖17是實現內容配送服務之內容供給系統的全體構成圖。
【圖18】圖18是數位放送用系統的全體構成圖。
【圖19】圖19是顯示電視之構成例的方塊圖。
【圖20】圖20是顯示對記錄媒體(光碟)寫入資訊之資訊再生/記錄部之構成例的方塊圖。
【圖21】圖21是顯示記錄媒體(光碟)之構造例的圖。
【圖22A】圖22A是顯示行動電話之一例的圖。
【圖22B】圖22B是顯示行動電話之構成例的方塊圖。
【圖23】圖23是顯示多工資料之構成的圖。
【圖24】圖24是模式性地顯示各串流在多工資料中是如何被多工的圖。
【圖25】圖25是更詳細地顯示視訊流是如何被儲存於PES封包列的圖。
【圖26】圖26是顯示多工資料中之TS封包與資源封包之構造的圖。
【圖27】圖27是顯示PMT之資料構成的圖。
【圖28】圖28是顯示多工資料資訊之內部構成的圖。
【圖29】圖29是顯示串流屬性資訊之內部構成的圖。
【圖30】圖30是顯示識別影像資料之步驟的圖。
【圖31】圖31是顯示可實現各實施形態之動態圖像編碼方法及動態圖像解碼方法的積體電路之構成例的方塊圖。
【圖32】圖32是顯示切換驅動頻率之構成的圖。
【圖33】圖33是顯示識別影像資料而切換驅動頻率之步驟的圖。
【圖34】圖34是顯示影像資料之規格與驅動頻率相對應之查找表之一例的圖。
【圖35A】圖35A是顯示將信號處理部之模組共有化之構成之一例的圖。
【圖35B】圖35B是顯示將信號處理部之模組共有化之構成之其他例的圖。
用以實施發明之形態
(成為本發明基礎的知識)
本發明者發現了在關於「發明背景」之欄所記載之圖像編碼方法及圖像解碼方法中會產生以下問題。
首先，說明HEVC中之圖像編碼裝置及圖像解碼裝置。
輸入至圖像編碼裝置的影像訊號，分別包含稱為訊框(圖片)的複數張圖像。各訊框包含配置成二維行列狀的複數個像素。在根據混合影像編碼的上述所有標準規格中，各個影像訊框分別分割成包含複數個像素的複數個區塊。此區塊的尺寸例如因圖像的內容而變更。又，可使用因區塊而異的編碼方法。例如，在HEVC中，此區塊的最大尺寸為64×64像素。此最大尺寸稱為最大編碼單元(LCU)。歸納性地來說，LCU可分割成4個編碼單元(CU)。
在H.264/MPEG-4 AVC中，以巨集塊(通常為16×16像素的區塊)為單位來進行編碼。此巨集塊有時也會分割成次區塊(subblock)。編碼方法所含之編碼步驟及/或解碼 方法所含之解碼步驟，是以次區塊為單位來執行。
〔1-1.混合影像編碼〕
以下，簡單地說明混合編碼。
典型而言，在混合影像編碼中之編碼步驟，包含有空間性預測(空間預測)及/或時間性預測(時間預測)。也就是說，使用空間性地鄰接的區塊或時間性地鄰接的區塊，亦即，使用編碼完成的影像訊框，來預測各編碼對象區塊。接著，算出編碼對象區塊、與預測結果間的差分、也就是殘差區塊。接著，殘差區塊從空間(像素)域轉換至頻率域。此轉換的目的是要使輸入區塊的相關性降低。
接著，將藉由轉換所得到的轉換係數量化。此量化是有損壓縮。又，將所得到的量化係數藉由熵編碼來進行無損壓縮。又，將用以重建編碼影像訊號所需的輔助資訊編碼，並與編碼影像訊號一起輸出。此資訊是例如與空間性預測、時間性預測、或/及量化有關的資訊。
〔1-2.圖像編碼裝置的構成〕
圖1是顯示依H.264/MPEG-4 AVC及/或HEVC為準的圖像編碼裝置(編碼器100)之一例的圖。
如圖1所示，編碼器100具備有：減算器105、轉換部110、量化部120、逆轉換部130、加算器140、解塊濾波器150、適應性迴路濾波器160、訊框記憶體170、預測部180、熵編碼部190。
預測部180藉由時間性預測或空間性預測，來導出預測訊號s2。預測部180中所使用之預測的類型，也可依 每個訊框或每個區塊而不同。時間性預測稱為畫面間預測，而空間性預測則稱為畫面內預測。又，使用了時間性預測之預測訊號s2的編碼稱為畫面間編碼，而使用了空間性預測之預測訊號s2的編碼則稱為畫面內編碼。在使用了時間性預測的預測訊號之導出中，使用儲存於記憶體的編碼完成之圖像。而在使用了空間性預測的預測訊號之導出中，則使用已儲存在記憶體的編碼或解碼完成的鄰接區塊之邊界像素值。畫面內預測中預測方向之數，是由編碼單元(CU，Coding Unit)的尺寸來決定。另外，關於預測的詳細，容後再述。
減算器105將輸入圖像之編碼對象區塊(=輸入訊號s1)與所對應的預測區塊(=預測訊號s2)間的差分(=預測誤差訊號e)導出。該差分使用於編碼對象區塊的預測。另外，預測誤差訊號e也稱為預測殘差訊號。
轉換部110將預測誤差訊號e轉換成係數。一般而言，在轉換部110中，使用二維離散餘弦轉換(DCT)或其整數版等之正交轉換。藉由正交轉換，可有效率地削減輸入訊號s1(編碼前的影像訊號)之相關。又，一般來說，比起高頻分量，低頻分量對畫質而言較為重要，所以比起高頻分量，低頻分量會使用較多的位元。
量化部120將係數量化而導出量化係數。
熵編碼部190對於量化係數進行熵編碼。藉由熵編碼，將量化係數可逆性地壓縮。此外，藉由進行熵編碼，可更削減儲存於記憶體的資料之資料量及所發送的資料 (位元流)之資料量。熵編碼主要是藉由以下而達成的：適用使用了可變長度之碼字的編碼處理。此碼字的長度是基於發生機率而選擇的。
熵編碼部190將二維配列的量化係數轉換為一維配列。熵編碼部190典型而言是藉由所謂的鋸齒狀掃描來進行轉換。在鋸齒狀掃描中，是從位於二維配列左上角的DC係數到位於右下角的AC係數，以預定的順序來掃描二維配列。通常，在二維配列的量化係數中，能量會集中於左上部分。一般而言，越是位在左上側的係數，越是低頻分量的係數，而越是位在右下的係數，越是高頻分量的係數。因此，若進行鋸齒狀掃描，則最後會成為1或複數的零連續的一維配列。藉此，作為實際之熵編碼的一部分，或作為其前處理，可成為使用遊程碼的高效率的編碼。
在H.264/MPEG-4 AVC及HEVC中，使用複數種類的熵編碼。在語法元件之中也有以固定長度來進行編碼的語法元件，不過大部分的語法元件是進行可變長度編碼。特別是在語法之中，對於預測誤差訊號(預測殘差訊號)的編碼，使用上下文適應可變長度編碼(CABAC)。對於其他語法元件的編碼，一般而言，是使用與上下文適應可變長度編碼有別的各種整數編碼，不過亦可使用上下文適應算術編碼。
藉由可變長度編碼，可將編碼完成的位元流可逆性地壓縮。然而，由於碼字為可變長度，所以必須將碼字連續地解碼。也就是說，不使熵編碼再啟動(初始化)、或者 不個別地顯示最初解碼的碼字(開始點)的位置，就無法在把先行的碼字編碼或解碼之前，將碼字編碼或解碼。
藉由基於預定之機率模型的算術編碼，來將位元列編碼成1個碼字。預定之機率模型是因應CABAC的情況下的影像序列之內容而決定。因此，編碼對象之位元流的長度越長，則會越有效率地進行算術編碼及CABAC。也就是可以說：適用於位元列的CABAC，在較大的區塊中會較有效率。在各序列的表頭(head,heading)再啟動CABAC。亦即，在各影像序列的表頭將機率模型以既定值或預定值初始化。
熵編碼部190把包含有經過編碼之量化係數(經過編碼之影像訊號)與經過編碼之輔助資訊的位元流，發送至解碼器側。
H.264/MPEG-4、H.264/MPEG-4 AVC、及HEVC，具有視訊編碼層(VCL)與網路抽象化層(NAL)2個機能層。如上所述，VCL提供編碼機能。而NAL則因應使用了頻道之發送、或者對記憶裝置之儲存等用途，以稱為NAL單元(unit)的標準單位來將資訊(資訊元件)封裝。在藉由NAL所封裝的資訊元件，包含有例如：(1)經過編碼的預測誤差訊號(壓縮影像資料)，以及(2)預測類型、量化參數及移動向量等影像訊號解碼所需的輔助資訊(關聯資訊)。在輔助資訊中，包含有：封裝有與影像序列全體相關聯之參數集等追加資料的non-VCL單元、以及提供可使用於改善解碼效率之追加資訊的補充增強資訊(SEI)。
在non-VCL單元中，包含有例如參數集。參數集指的是與一定的影像序列之編碼及解碼有關之複數個參數的集合。在參數集中，有例如包含與圖片序列全體之編碼及解碼相關聯之參數的序列參數集(SPS)。特別是，序列參數集具有：包含語法元件的語法構造。語法元件適用於由seq_parameter_set_id之內容所決定的零以上之編碼影像序列全體。seq_parameter_set_id是包含在藉由pic_parameter_set_id來參考(以下會進行說明)之圖片參數集中的語法元件。pic_parameter_set_id則是包含在各切片標頭的語法元件
圖片參數集(PPS)是把適用於圖片序列(影像序列)之圖片編碼及解碼之參數定義的參數集。特別是，PPS具有：包含語法元件的語法構造。語法元件可適用於由各切片標頭所含之語法元件、即pic_parameter_set_id所決定的零以上之編碼圖片全體。
因此，比起PPS，較容易持續追蹤SPS。這是因為：相對於PPS會相對於各圖片產生變化，SPS則是對可能長達數分鐘或者數小時的影像序列全體為一定。
在編碼器100，為了將重建訊號(所謂的解碼訊號)s3導出，組成有重建部(所謂的解碼部)。藉由重建部，生成把編碼完成之圖像重建(解碼)的重建圖像，且記憶於訊框記憶體170。
重建部包含有：逆轉換部130、加算器140、解塊濾波器150、適應性迴路濾波器160。
逆轉換部130依照上述之編碼步驟，執行逆量化及逆轉換。另外，由逆轉換部130所導出的預測誤差訊號e’，因為也被稱為量化雜訊之量化誤差的緣故，與預測誤差訊號e不同。
加算器140把由逆轉換部130所重建好的預測誤差訊號e’，加至預測訊號s2，藉此來導出重建訊號s’。
解塊濾波器150執行把因量化而產生且重疊於重建訊號s’之量化雜訊削減的解塊濾波處理。在此，由於以區塊單位來進行上述之編碼步驟，有時因為雜訊重疊，區塊境界會很明顯(雜訊的區塊特性)。重疊的雜訊稱為區塊雜訊。特別是在量化部120中進行強度高的量化時，重建圖像(解碼圖像)的區塊境界會變得更加明顯。這樣的區塊雜訊在人類的視覺認知中，看起來像是畫質變差。為了削減此區塊雜訊，解塊濾波器150對於重建訊號s’(重建區塊)執行解塊濾波處理。
例如，在H.264/MPEG-4 AVC中的解塊濾波處理中，是依每一區域來選擇適於該區域的濾波處理。例如，當區塊雜訊較大時，使用較強的(窄頻帶)低通濾波器，而當區塊雜訊較小時，則使用較弱的(寬頻帶)低通濾波器。此低通濾波器的強度，是因應預測訊號s2及預測誤差訊號e’而決定。藉由此解塊濾波處理，使區塊的邊緣平滑化。藉此，改善解碼圖像訊號之主觀性的畫質。又，濾波處理完成的圖像會使用於下個圖像的移動補償預測。因此，由於藉由此濾波處理也會削減預測誤差，所已可改善編碼效率。
適應性迴路濾波器160對於解塊濾波器150中經過解塊濾波處理後的重建訊號s”，適用取樣適應偏移(Sample adaptive offset，SAO)處理及/或適應性迴路濾波(Adaptive Loop Filter，ALF)處理，藉此來導出重建訊號(解碼訊號)s3。
在此，解塊濾波器150中之解塊濾波處理，是以改善主觀性的品質為目的。另一方面，適應性迴路濾波器160中之ALF處理及SAO處理，則是以改善像素單位的可信賴性(客觀性的品質)為目的。SAO處理是使用附近像素的像素值，把偏移值追加於各像素之像素值的處理。而ALF處理則是使用於把因壓縮而產生的圖像失真進行補償的處理。通常，ALF處理所使用的濾波器，是具有將重建訊號s’與輸入訊號s1的均方誤差(MSE)決定為最小化之濾波係數的文納濾波器。ALF處理的濾波係數是例如以訊框單位來算出及發送。ALF處理可適用於訊框全體(圖像)，也可適用於局部區域(區塊)。又，顯示進行濾波之區域的輔助資訊，也可以區塊單位、訊框單位、或四元樹單位來進行發送。
訊框記憶體(訊框緩衝區)170儲存經編碼且經重建(解碼)的重建圖像(重建訊號s3)之一部分。被儲存的重建圖像是使用於把經畫面間編碼的區塊解碼。
在預測部180中，為了保持編碼器側與解碼器側的互換性，使用可在編碼器側及解碼器側兩方利用的(同樣的)訊號來導出預測訊號s2。可在編碼器側及解碼器側兩方利用的訊號，在編碼器側，是經編碼且經重建(解碼)的重建 訊號s3(適應性迴路濾波器160之濾波處理後的影像訊號)，而在解碼器側，則是從位元流解碼的解碼訊號s4(圖2之適應性迴路濾波器260之濾波處理後的影像訊號)。
預測部180在藉由畫面間編碼來生成預測訊號s2的情況下，進行移動補償預測之預測。預測部180之移動推定器(未圖示)從之前已編碼而重建影像訊框所含的區塊，找到最適合編碼對象區塊的最適合區塊。此最適合區塊成為預測訊號。又，編碼對象區塊與最適合區塊間的相對性的偏離(移動)，是以三維之移動向量的形式作為輔助資訊所含的移動資料而藉由訊號來傳達。該訊號是與編碼影像資料一起發送。三維的移動向量包含空間的二維移動向量、與時間的一維移動向量。為了使預測精度最適當化，也可以1/2像素解析度或者1/4像素解析度等空間性的次像素解析度來求出移動向量。空間性的次像素解析度之移動向量，也可顯示沒有實存像素值的重建訊框內之空間性的位置，也就是次像素的位置。因此，為了進行移動補償預測，必須進行像這樣的像素值之空間性的內插。這可由內插濾波器(在圖1中統合為預測部180)來達成。
〔1-3.圖像解碼裝置的構成〕
關於解碼器(圖像解碼裝置)的構成，根據圖2來進行說明。
圖2是顯示依H.264/MPEG-4 AVC或HEVC影像編碼規格為準的解碼器200之一例的方塊圖。
如圖2所示，解碼器200具備有：熵解碼部290、 逆轉換部230、加算器240、解塊濾波器250、適應性迴路濾波器260、訊框記憶體270、預測部280。
被輸入至解碼器200的位元流(經編碼的影像訊號)，首先被送至熵解碼部290。
熵解碼部290從位元流抽出經編碼之量化係數、與經編碼之輔助資訊，將經編碼之量化係數與經編碼之輔助資訊解碼。輔助資訊如上所述，是移動資料(移動向量)及預測模式(預測類型)等之解碼所需的資訊。
熵解碼部290把經解碼之量化係數，藉由逆掃描，從一維配列轉換成二維配列。熵解碼部290把轉換成二維配列之後的量化係數，輸入至逆轉換部230。
逆轉換部230對於經轉換成二維配列的量化係數，執行逆量化及逆轉換，導出預測誤差訊號e’。預測誤差訊號e’相當於：由在沒有量化雜訊、沒有產生誤差的情況下輸入至編碼器的訊號減去預測訊號而求出的差分。
預測部280藉由時間性預測或空間性預測來導出預測訊號s2。在畫面內預測(空間性預測)的情況下，是利用輔助資訊所含之預測類型等資訊。又，在移動補償預測(畫面間預測、時間性預測)的情況下，則是利用輔助資訊所含之移動資料等資訊。
加算器240把從逆轉換部230所取得之預測誤差訊號e’和從預測部280所取得之預測訊號s2進行加算，來導出重建訊號s’。
解塊濾波器250對於重建訊號s’，適用解塊濾波 處理。適應性迴路濾波器260對於已藉由解塊濾波器250適用了解塊濾波處理的重建訊號s”，適用SAO處理及ALF處理。在適應性迴路濾波器260中已適用了SAO處理及ALF處理，結果所得之解碼訊號S4，是儲存於訊框記憶體270。已儲存於訊框記憶體270的解碼訊號S4，在預測部280中，是使用於下個解碼對象區塊或者解碼對象圖像的預測。
〔1-4.處理效率〕
在編碼處理及解碼處理中提升處理效率的方法，一般而言是考慮處理之平行化。
與H.264/MPEG-4 AVC相比較，HEVC具有輔助編碼處理及解碼處理之進階平行處理(平行化處理)的機能。與H.264/MPEG-4 AVC一樣，在HEVC中，可將訊框分割成複數個切片。在此，各切片包含依掃描順序而連續的複數個LCU。在H.264/MPEG-4 AVC中，切片可分別各個地進行解碼，而不進行跨切片的空間性預測。因此，可以切片單位來進行平行處理。
然而，由於切片具有很大的標頭，又，在切片間沒有依存性，所以壓縮的效率會變差。又，在較小的資料區塊進行CABAC編碼的情況下會有損效率性。
相對於此，為了可以達成更有效率的平行處理，提出了波前平行處理(WPP)。在WPP中，非如上述之平行處理般以切片單位完全地獨立處理，而是使之具有一定的依存性。
在以下的說明中，是以如下情況為例來進行說 明：以配置成行列狀的複數個LCU來構成圖片，而各LCU行(row)構成1個切片(參考圖3)。在WPP中，在構成處理對象之LCU行32的LCU之中，利用對於前個LCU行31第2個LCU之處理結束後的CABAC機率模型，來作為用以使第1個LCU(表頭之LCU)的CABAC狀態重設的CABAC機率模型。藉此，可維持區塊間的依存性。又，使複數個LCU行之解碼處理可以平行化。但是，各LCU行之處理開始時點，相對於前個LCU行，會慢2個LCU的份。在切片之標頭，包含有用以使LCU行之解碼開始的開始點之資訊。關於WPP的詳細，記載於非專利文獻1。
用以改善平行化的別的手法有：使用磚瓦(tile)的方法。訊框(圖片)分割成複數個磚瓦。各磚瓦為長方形，包含複數個LCU。磚瓦間的境界是設定為將圖片分割成行列狀。又，複數個磚瓦是依光柵掃描順序進行處理。
又，在各磚瓦的境界中會失去所有的依存性。CABAC等之熵編碼也會在各磚瓦的表頭重設。另外，只有解塊濾波處理與取樣適應偏移處理，可以跨越磚瓦間之境界而適用。因此，可將複數個磚瓦平行地編碼或解碼。另外，關於磚瓦的詳細，記載於非專利文獻2及非專利文獻3。
又，為了使切片的概念，比起作為H.264/MPEG-4 AVC中切片之本來目的的抗錯性，更是適於平行化的概念，所以提出了依存切片及熵切片的概念。
也就是說，在HEVC中，使用(1)通常切片、(2)熵切片、及(3)依存切片這3個切片。
(1)通常切片是藉由H.264/MPEG-4 AVC而為已知的切片。在通常切片間無法進行空間性預測。也就是說，無法進行跨越切片間之境界的預測。換言之，不會參考別的切片，而將通常切片進行編碼。CABAC在各切片的表頭再啟動，以使如上述般切片的解碼可以各別地進行。
在處理對象之切片為通常切片的情況下，在CABAC的再啟動中，包含有：在先行切片終端的算術編碼處理或算術解碼處理的終端處理(終止處理)；以及在該通常切片之表頭中，將上下文表(機率表)初始化為預設值的處理。
又，在訊框的表頭，是使用通常切片。也就是說，各訊框必須從通常切片開始。通常切片具有：包含切片資料解碼所需之參數的標頭。
(2)熵切片是在母切片與熵切片之間可進行空間性預測的切片。母切片及熵切片的分析是獨立地進行。
另外，母切片是例如熵切片之前的通常切片。熵切片之像素值重建需要母切片。又，在切片的表頭也再啟動CABAC，以使熵切片可獨立分析。在熵切片的切片標頭，可使用比通常切片之切片標頭短的切片標頭。在熵切片的切片標頭，包含有與通常切片之切片標頭所含的資訊有關的編碼參數子集。熵切片之切片標頭中的缺漏元件，是從母切片之切片標頭複製的。
當處理對象之切片為熵切片時，在CABAC的再啟動中，與通常切片同樣地，包含有：在先行切片終端的 終端處理(終止處理)；以及在現行切片表頭中，使上下文表初始化為預設值的處理。
(3)依存切片與熵切片相類似，不過在CABAC之再啟動的一部份處理上不相同。
當處理對象之切片為依存切片且WPP不為有效的情況下，在CABAC的再啟動中，包含有：先行切片終端的終端處理(終止處理)、以及在現行切片的表頭中將上下文表初始化為先行切片終端之狀態值的處理。當處理對象之切片為依存切片且WPP為有效的情況下，在CABAC的再啟動中，包含有：在先行切片終端的終端處理(終止處理)；以及在現行切片的表頭中，將上下文表初始化為屬於先行切片、從左端開始第2個LCU處理後之狀態值的處理。
如上所述，在CABAC的再啟動中，總是包含有終止處理。相對於此，在CABAC的再啟動之中，CABAC的狀態，有時會被續用。
依存切片沒有母切片的話無法進行分析。因此，在沒有取得母切片的情況下，無法將依存切片解碼。母切片通常是在編碼順序中依存切片的先行切片，是包含完整的切片標頭的切片。這件事在熵切片的母切片中也一樣。
如以上，依存切片及熵切片使用：在切片之編碼順序中之前的切片之切片標頭(沒有被包含在依存切片之標頭的資訊)。且歸納性地適用此規則。已認知為：對象依存切片所依存的母切片是可以參考的。在參考的過程之中，包含有切片間之空間性預測以及共通CABAC狀態等之 利用。依存切片使用在之前的切片之終端所生成的CABAC上下文表。如此，依存切片不將CABAC之上下文表初始化為預設值，而是繼續利用已作成完畢的上下文表。又，關於熵切片及依存切片，記載於非專利文獻3。
HEVC提示出幾個設定檔。設定檔包含有：適於特定之應用程式的圖像編碼裝置及圖像解碼裝置之設定。例如，「主要設定檔」只包含通常切片及依存切片，不含熵切片。
如上所述，編碼切片封裝為NAL單元，此外，例如更封裝為即時傳送通信協定(RTP)，最後封裝為網際網路協定(IP)封包。藉由此協定疊或別的協定疊，在網際網路或固有網路等之封包指向型網路中，可以發送編碼影像。
典型而言，網路包含至少1個以上的路由器，路由器則是由以超高速動作的專用硬體所構成。路由器具有如下之機能：接收IP封包而分析IP封包的標頭，適當地將IP封包轉送至個別的目的地。由於路由器須要處理來自於許多訊號源的通信，所以控制邏輯的封包必須盡可能地簡單。因為路由器至少要決定轉送IP封包的路徑，所以須要確認IP標頭所含的目的地位址欄位。且由於更提供對於服務品質(QoS)的支援，所以智慧型(媒體感知)路由器追加地確認IP標頭、RTP標頭、及NALU標頭等之網路‧協定標頭中的專用欄位。
從關於影像編碼的上述記載可知：依存切片及熵切片等，為了平行處理而被定義的不同類型的切片，對於 資料缺漏的情況下之畫質低下的重要性並不相同。沒有母切片，無法將依存切片分析及解碼。這是因為：在依存切片的表頭，無法將熵編碼部或熵解碼部再啟動之故。因此，在將圖像或影像重建上，母切片可說是更為重要。
在HEVC中，依存切片及熵切片在補足依存性之面，採用了切片間的依存性(訊框內的依存性)。此種依存性因為路由器而不被考慮。
也就是說，上述之依存性，特別是畫面間編碼中的切片間之依存性，在網路層級上不會被考慮。然而，為了對於服務品質提供更好的支援，期待在網路層級中，考慮上述之依存性。企求能考慮各切片之依存性，改善網路層級中對封包之處理的柔軟性。
(詳細課題)
〔1-5.WPP及依存切片〕
依存切片可與WPP或磚瓦等平行處理工具一起使用。又，藉由使用依存切片，可以生成可不引起編碼損失而削減傳送延遲的波前(子串流)。
又，由於在依存切片未再啟動CABAC，所以可將依存切片使用為CABAC子串流的開始點。又，為了顯示獨立的分析之開始點，也可將顯示該開始點的資訊包含在位元流而進行傳達。特別是當把2個以上的CABAC子串流封裝為通常切片或依存切片時，使用每一子串流的位元組數來明確地將開始點進行信號傳輸。在此，子串流表示可藉由開始點而各別地分析的串流之一部分。此外，由於各 依存切片需要NAL單元的標頭，所以可使用依存切片來作為開始點的「標誌」。也就是說，可將對於如此之標誌的開始點進行信號傳輸。
可以同時使用藉由訊號來明確地通知開始點的方法、以及透過依存切片來標記開始點的方法。
在此，須要可以特定各NAL單元的開始點(各NAL標頭的表頭)。另外，關於進行特定的方法，可使用任意的方法。例如，可使用以下的2個方法。
第一個方法，是在各NAL標頭的表頭，例如插入3位元組之起始碼的方法。第二個方法，是將各NAL單元封包化為個別之封包的方法。又，為了切片的依存性，也可把切片標頭的尺寸縮小。
藉由該等方法，可以對於熵切片進行平行CABAC分析。這是因為在熵切片的表頭一定會再啟動CABAC之故。在CABAC的平行處理中，藉由連續的像素建構處理之後的平行CABAC分析，可克服損害。具體而言，藉由WPP平行化工具，可藉著1個核心(IP核心(intellectual property core)，機能區塊)來實現各LCU行的解碼處理。另外，LCU行對各核心的分配可以不同。例如，可以對1個核心分配2行，也可以對2個核心分配1行。
圖3是顯示圖片300的構成之一例的圖。在圖3中，圖片300被分割成複數個LCU行31~3m(m是LCU的行(row)數)。各LCU行3i(i=1~m)是由配置成一行的複數個LCU3i1~3in(n是LCU的列(column)數)所構成。LCU行3i與 「波前i」對應。波前們可進行平行處理。圖3之「CABAC狀態」的箭號表示：參考CABAC狀態的LCU與其參考對象間的關係。
具體而言，在圖3中，首先，在LCU行31所含的LCU之中，開始對於表頭之LCU311的處理(編碼或解碼)。對於LCU的處理，是依LCU311~31n的順序執行。在LCU行31中最初的2個LCU311、312已處理好之後，開始LCU行32的處理。在LCU行32最初的LCU321之處理中，如圖3之「CABAC狀態」的箭號所示，把第1行之LCU行31中對於LCU312之處理結束之後的CABAC狀態，使用作為CABAC狀態的初期狀態。也就是說，在2個平行處理之間，存在有相當於LCU2個份之處理時間的延遲。
圖4是顯示使用了WPP的依存切片之使用例的圖。LCU行41~43與「波前1」、「波前2」、及「波前3」相對應。LCU行41~43是分別以獨立的核心進行處理。在圖4中，LCU行41是通常切片，而LCU行42~4m則是依存切片。
依存切片形成可改善延遲的WPP。在依存切片沒有完整的切片標頭。又，若已知開始點(或者由如上述之規則所知的依存切片之開始點)，則可與其他的切片獨立地將依存切片解碼。又，依存切片不會產生編碼損失，而可形成也適於低延遲應用程式的WPP。
在將子串流(LCU行)封裝成切片的通常案例中，為了確實地使熵編碼及解碼平行地進行，必須將明確的開始點插入切片標頭。因此，切片最後的子串流被完全 地編碼後，才完成傳送切片的準備。又，切片中所有的子串流的編碼完了後才完成切片標頭。也就是說，直到切片全體的處理結束為止，都無法透過RTP/IP層的封包片段來開始切片表頭的傳送。
然而，在使用依存切片的情況下，由於可利用依存切片來作為開始點標誌，所以不須要以開始點之明確的訊號來進行通知。因此，可以不產生編碼損失而可將通常切片分割至較多的依存切片。又，當經封裝之子串流的編碼完了，則可立刻(或者在封包片段的情況下，是較之更早地)傳送依存切片。
又，依存切片不會減弱空間性預測的依存性。此外，依存切片也不會減弱分析依存性。這是因為在分析對象依存切片時，通常需要先行切片的CABAC狀態的緣故。
當依存切片不被許可時，可使各LCU行作為切片。這樣的構成會改善傳送延遲，但同時會如上所述般產生較大的編碼損失。
假設將訊框(圖片)全體封裝成1個切片的情況。此時，由於使平行分析為可能，所以必須藉由訊號來將子串流(LCU行)的開始點傳達給切片標頭。因為這樣，會在訊框層級產生傳送延遲。也就是說，在將訊框全體編碼之後，必須修正標頭。將圖片全體封裝成1個切片這件事本身不會使傳送延遲惡化。例如，也可在編碼完全結束之前，開始傳送切片之一部份。然而，在使用WPP的情況下，為了記錄開始點而必須在之後修正切片標頭。因此，必須使切片 全體的傳送延遲。
如此，藉由使用依存切片，可削減延遲。如圖4所示，圖片400分割成：是通常切片的LCU行41、是依存切片的LCU行42~4m。當各LCU行為1個依存切片時，不會有編碼損失，而可使1個LCU行的傳送延遲。這是因為依存切片不會減弱空間依存，並且不會使CABAC引擎再啟動之故。
〔1-6.封包的構成〕
如上所述，網路路由器為了使服務品質的提供為可能，必須分析封包的標頭。服務品質會因為應用程式的種類、及/或服務的優先度、及/或對於因封包遺失而引起之失真的封包關聯性優先度而異。
圖5是顯示位元流之封裝(封包化)之一例的圖。
在此，一般而言，在封包化時是使用即時傳送通信協定(RTP)。RTP通常是使用於即時的媒體發送。又，使用於封包化的各協定之標頭的長度，基本上是被固定的。各協定之標頭具有擴充欄位。藉由此擴充欄位，可將標頭的長度擴充4位元組。例如，IP標頭可擴充至20位元組。又，IP標頭、使用者資料包協定(UDP)標頭、及RTP標頭所含的語法元件的長度是被固定的。
圖5顯示IP封包所含的封包標頭500。在如圖5所示之封包標頭500，包含有：IP標頭510、UDP標頭530、RTP標頭540、RTP H264酬載標頭560、及NAL標頭570。IP標頭510是具有4位元組之擴充欄位520的20位元組長之 標頭。IP封包之酬載是UDP封包。UDP封包包含8位元組長的UDP標頭530、及UDP酬載。UDP酬載是由RTP封包所形成。RTP封包具有表頭之12位元組長之RTP標頭540、及4位元組之擴充欄位550。RTP封包藉由擴充欄位，可選擇性地擴充。RTP封包之酬載包含0~3位元組長之特別的RTP H264酬載標頭560、及接續於此之2位元組長的HEVC之NAL標頭570。包含經編碼之影像封包的NALU之酬載(在圖5中未圖示)，接續於封包標頭500之後。
可提供改良後之服務品質的路由器，稱為媒體感知網路元件(Media Aware Network Elements，MANE)。媒體感知網路元件，把構成如圖5所示之封包標頭500的欄位中的幾個進行分析。MANE例如為了將收訊封包內容之遺失及提示順序檢測出，可將稱為”temporal_id”、NAL標頭570所含的語法元件，或是RTP標頭540所含的解碼順序號碼進行分析。路由器(網路元件)為了使網路的通量更高，儘可能快速地處理封包。如此之路由器的邏輯電路為了將網路元件處理的複雜性抑制地較低，必須很迅速且簡單地存取於封包標頭內之欄位。
NALU被封裝於封包標頭500內。NALU在存在有切片標頭的情況下，也可包含切片資料。
圖6是顯示切片標頭的語法600之一例的圖。dependent_slice_flag601是顯示切片是否為依存切片的語法元件。此語法元件可使用於識別切片間之依存性。然而，切片標頭是NALU的內容。為了在dependent_slice_ flag601之前分析語法元件，需要很複雜的邏輯電路。如下述所示，這會是在通常的路由器中無法有效率地考慮的層級。
如上所述，NALU如參數集般，包含有複數個切片共通的資訊，或者，直接包含有如下之經編碼的切片：具有被包含在切片標頭之解碼所需之資訊的切片。在圖6，顯示了使用於熵切片或依存切片的切片標頭之語法之一例。圖6是顯示切片標頭構造的表。當語法元件”dependent_slice_flag”設定為1時，需要在解碼順序中到先行於對象切片的最初之通常切片(非熵切片、也非依存切片的切片)為止的所有切片。當該等切片沒被解碼時，一般而言，對象依存切片無法解碼。但是，在特別的情況下，例如，當可以利用信號傳輸或經導出之其他輔助資訊時，有時可將依存切片解碼。語法元件dependent_slice_flag601，被包含在切片標頭中央的適當位置。此外，切片標頭包含有：由資訊元件num_entry_points_offsets602所示之對象切片內的CABAC子串流之數、以及由語法元件entry_points_offsets〔i〕603所示之子串流的位元組數。在此，資訊元件num_entry_points_offsets602與登錄點之數相對應。i是整數，是顯示特定的登錄點(登錄點之偏移)的索引。藉著由entry_point_offset〔i〕603所示之子串流的位元組數，可使在位元流內的導航變得簡單。
〔1-7.圖片的依存性〕
如上所述，在HEVC的編碼中，使用複數種類的依存性。
圖7是顯示僅使用不是依存切片、也不是熵切片的通常切片時的依存性(依存度)與其信號傳輸的圖。在圖7中，顯示了3個圖片710、720、及730。
圖片710是被保持在VCL NAL Unit1及VCL NAL Unit2這2個VCL NALU的基本層圖片。POC表示描繪圖片的順序。在VCL NALU，包含有：分別顯示圖片屬於基本層或是屬於增強層的語法元件、以及語法元件temporal_id。顯示某圖片是屬於基本層或是屬於增強層的語法元件，是以被包含在圖5所示之封包標頭500的NAL標頭570內的狀態來進行發送。又，關於語法元件temporal_id，也是以被包含在NAL標頭570內的狀態進行發送。語法元件temporal_id表示其他圖片的依存性。例如，temporal_id=0的經編碼之圖片或切片，可與具較高的temporal_id的其他圖片或切片獨立地進行解碼。在HEVC中，temporal_id是包含在NAL標頭而作為nuh_temporal_id_plus1來進行訊號發送(參考圖9A)。另外，在該等之例所使用的temporal_id、與語法元件nuh_temporal_id_plus1之間，成立以下之式1的關係。
【數1】temporal_id=nuh_temporal_id_plus1-1...(式1)
temporal_id=1之切片，依存於temporal_id之值較低的切片。也就是說，此時之temporal_id的值為0。另外，temporal_id指的是圖片的預測構造。一般而言，例 如，temporal_id具有特定之值的切片，僅依存於temporal_id之值較低的切片或temporal_id之值相同的切片。
因此，圖7中之圖片710，可以最先解碼。
圖片720是相對於圖片710之基本層的增強層。因此，有如下之依存性：須使圖片720在圖片710之解碼後進行解碼。圖片720具有VCL NAL Unit3及VCL NAL Unit4這2個NALU。圖片710及720的POC之值都是0。這表示：圖片710、720屬於同時一起顯示的相同圖像。該圖像具備有基本層與增強層。
圖片730是包含VCL NAL Unit5及VCL NAL Unit6這2個NALU的基本層。圖片730的POC之值為1。這指的是：圖片(部分)730是在圖片720及710之後顯示的圖片。此外，圖片730的temporal_id之值為1。這指的是：圖片730暫時地依存於temporal_id=0的圖片。因此，根據被包含在NAL標頭內而進行了訊號發送的依存性，圖片730依存於圖片710。
圖8是顯示使用依存切片與熵切片時的依存性(依存度)與其信號傳輸的圖。在圖8中，顯示了3個圖片810、820、及830。圖8在追加了被包含在切片標頭內而進行了訊號發送的依存切片及熵切片之依存性此點上，與上述圖7不同。
在此，在圖7中，使用圖片710及720之例來顯示層間的依存性。此外，更使用圖片710及730之例來顯示時間性的依存性。該等依存性都被包含在NAL標頭內而進行 訊號發送。
相對於此，圖8所示之切片間的依存性，是依存切片及熵切片固有的依存性。特別是，基本層之訊框810及增強層之訊框820都具有2個切片。2個切片中之1為母切片(通常切片)，另1個為子切片(依存切片)。在訊框810中，VCL NAL Unit1之切片，是VCL NAL Unit2之母切片。在訊框820中，VCL NAL Unit3之切片，是VCL NAL Unit4之母切片。如上所述，依存切片之「母切片」指的是：該依存切片之依存對象切片，也就是，其切片標頭資訊被該依存切片所使用的切片。這是依照了如下之規則：最初的切片是具有完整的標頭的先行切片。具有完整的標頭的切片指的是：例如，不是其他的依存切片，而是通常切片。
關於現在的HEVC，特別是與在HM8.0中所採用的NAL單元標頭及切片標頭對應的語法，使用圖9A來進行說明。
圖9A是顯示NAL單元標頭910之語法及切片標頭920之語法的圖。另外，(在最新的標準化中)計畫為：層間之依存性是使用語法元件nuh_reserved_zero_6bits，且被包含在NAL單元標頭內而進行訊號發送。時間性的依存性是使用語法元件nuh_temporal_id_plusl來進行訊號發送。切片標頭920包含有顯示切片間依存性之指示元(indicator)的訊號。切片間依存性之指示元，是由語法元件dependent_slice_flag來表示。也就是說，切片間的依存性(例如，時間性的依存性)，是包含在切片標頭內的某 位置來進行訊號發送。
為了分析此語法元件，與分析先行於dependent_slice_flag的切片標頭之語法元件時所需的參數集之語法元件一樣，必須分析先行於dependent_slice_flag的所有語法元件。
〔1-8.路由器中的處理〕
如上所述，在訊務量形成的決定中，除了包含在NAL標頭內而進行訊號發送的依存性，還宜考慮由依存切片及熵切片所導入的依存性。例如，可使用路由器來作為媒體感知行動基地台。下行鏈路的頻帶非常有限，需要很注意地來進行管理。假設以下之例。假設封包在上游(upstream)中被一般的路由器隨機地刪除的情況。在此情況下，媒體感知網路元件(MAME)藉由確認封包號碼，可確認封包遺失。在封包遺失確認後，把依存於被刪除了的封包後續的全部封包刪除。這是媒體感知網路元件需要的特徵。這樣做的話，可更加智能地將封包刪除。路由器一決定刪除NAL單元，則立刻推定後續之依存切片也須要刪除。在圖9A中經導入之對象語法中，在對dependent_slice_flag的存取，需要很大量的資訊分析。這在路由器中之封包選路或訊務量形成處理中之任一者皆非必須。用來得到層間及時間間之關係所需的所有資訊，在影像參數集之中。影像參數集是在參數集階層中最高階層的參數集。
因此，上述之資訊是包含在NAL標頭570內而進行訊號發送。然而，在圖9A所示之NAL標頭及切片標頭的 情況下，要存取於顯示切片依存性的資訊，必須追蹤記錄PPS及SPS等追加性的參數集之經過。另一方面，這會再利用媒體感知閘道或路由器的能力。從圖9A可知，切片標頭920必須被分析至dependent_slice_flag為止，而被分析出的參數卻無法對網路動作派上用場。
為了可以分析先行於dependent_slice_flag的切片位址，在圖9B所示的SPS930所含的語法元件中，需要如下之語法元件。圖9B是顯示SPS所含的語法之例的圖。
‧pic_width_in_luma_samples(圖9B的符號931)
‧pic_height_in_luma_samples(圖9B的符號932)
‧log2_min_coding_block_size_minus3(圖9B的符號933)
‧log2_diff_max_min_coding_block_size(圖9B的符號934)
該等參數顯示於圖9B右邊的表，在取得slice_address之參數時是必要的。語法元件slice_adress進行可變長度編碼(參考圖9A的slice_address、切片標頭920之第2欄(右欄)、描述符”v”的長度)。為了知道經可變長度編碼後的slice_address之參數的長度，需要包含在SPS的該等語法元件。但是，為了分析dependent_slice_flag，不需要語法元件slice_address的實際之值。為了繼續分析處理，只要知道可變長度之語法元件的長度即可。
因此，在圖9B所示之SPS930所含的語法元件之中，必須分析至點935之語法元件為止。須要儲存4個語法元件。該等之後會使用於計算語法元件slice_address長度的公式。
此外，為了存取於先行於dependent_slice_flag的dependent_slice_enabled_flag，在圖9C所示之PPS所含的語法元件之中，必須分析至點945之語法元件為止。圖9C是顯示PPS所含的語法之例的圖。另外，已參考圖9A~9C說明了分析方法的切片標頭、SPS及PPS內的語法元件，在通常之路由器動作中並非必要。此外，由於語法元件的幾個是以可變長度碼來進行編碼，所以無法單純地跳過。也就是說，即使在位元流內跳越預定量份的位元，也無法跳越至dependent_slice_enabled_flag。
簡要來說，為了讀取出dependent_slice_flag(依存性指示(indication))，MANE必須使切片標頭(參考切片標頭920)的複雜分析更進一步。
具體而言，必須分析first_slice_in_pic_flag。first_slice_in_pic_flag是顯示切片是否為圖片內最初之切片的旗標。
然後，必須分析：已被制約於NALU類型的no_output_of_prior_pics_flag。
此外，必須將被可變長度編碼後之pic_parameter_set_id解碼。pic_parameter_set_id是顯示在複數個參數集之中，使用哪個參數集的語法元件(識別參 數集的語法元件)。藉由分析pic_parameter_set_id，可將所利用的參數集特定出來。
最後，需要slice_address。slice_address是顯示切片之開始位置的語法元件。此語法元件更是需要追加的計算、與PPS及SPS之分析。
最後，為了知道dependent_slice_flag是否存在於位元流內，必須從PPS取得dependent_slice_enabled_flag(依存切片有效化旗標)之值。dependent_slice_enabled_flag=0意味的是：由於依存切片不為有效，所以對象切片為通常切片。為了取得dependent_slice_enabled_flag之值，必須把PPS分析至正中央左右為止。
可惜的是，與資料位置已事先定好的RTP標頭及NAL標頭之資料的情況不同，無法跳過位在dependent_slice_flag之前的語法元件，而必須進行分析。這是因為切片標頭內之語法元件已進行可變長度編碼之故。因此，關於所有的VCL NAL單元，必須計算元件之存在及長度。除此之外，因為之後會需要(參考PPS及SPS)，所以必須儲存追加性的對話(session)資料。另外，也會有如下的語法元件：語法元件之存在，是依存於假定被包含在其他參數構造的其他語法元件之存在或其值的語法元件(其語法元件是有附帶條件地進行編碼)。
在現在的標準化中，有如下的提案：把記述了在位元流內包含有幾個層的視訊參數集(VPS)內之視訊序列依存性構成、以及顯示各種層間之依存性的依存性指示 元，進行訊號發送。VPS在最初的SPS之前，被包含在影像之表頭而進行訊號發送。複數個SPS可參考1個VPS。這指的是：1個VPS保持有對於複數個視訊序列有效的資訊。VPS的主要目的是：將包含如以下般資訊的影像內容，通知給路由器或解碼器。包含有幾個視訊序列，其等又是如何相互地關係著。SPS僅在視訊序列內為有效，而VPS則保持有與複數個視訊序列相關的資訊。
此外，被保持在VPS的資訊之特徴，特別對於路由器為有益。例如，由於VPS之設計未被最終化，所以也可保持有在設定串流對話時所需的資訊。路由器分析VPS內的資訊。此外，路由器不需要其他的參數集(只看NAL標頭)，可決定將哪個資料封包發送至解碼器、將哪個封包刪除。
然而，為了發現現在有效的VPS，必須以下面的順序來執行以下的步驟。
分析切片標頭內之PPS_id的步驟、把由PPS_id所決定的有效PPS內之SPS_id進行分析的步驟、把由SPS_id所決定的有效SPS內之VPS_id進行分析的步驟。
為了解決上述問題，本發明一態樣之圖像編碼方法，是將圖片分割成複數個切片而執行編碼處理的圖像編碼方法，包含有如下步驟：把包含有如下之依存切片有效化旗標(dependent_slice_enabled_flag)、切片位址、 及依存性指示(dependent_slice_flag)的位元流發送，而前述依存切片有效化旗標是顯示：依存於對於處理對象之切片以外的其他切片的前述編碼處理之結果來進行前述編碼處理的依存切片，是否被包含在前述圖片；前述切片位址是顯示：前述處理對象之切片的開始位置；而前述依存性指示則是顯示：前述處理對象之切片是否為前述依存切片，且前述依存切片有效化旗標是配置於前述複數個切片共通的參數集內，前述切片位址是配置於前述處理對象之切片的切片標頭內，而前述依存性指示則是配置於前述切片標頭內、在前述切片位址之前、且在識別前述參數集的語法元件(pic_parameter_set_id)之後。
在上述構成之圖像編碼方法中，與切片間依存性相關的依存性指示，是配置在適於路由器所行之分析的位置上。藉此，使依存性指示與其他語法元件獨立，也就是說，可以無條件地進行編碼。
例如，前述依存性指示，在前述依存切片有效化旗標顯示含有前述依存切片時，也可被包含在前述位元流。
例如，前述依存切片有效化旗標也可配置於前述參數集之表頭。
例如，也可為：前述複數個切片分別包含有複數個巨集塊，在前1個處理對象之切片所含的複數個巨集塊之中，對於2個巨集塊執行前述編碼處理之後，開始執行對於前述處理對象之切片的前述編碼處理。
例如，前述依存性指示，在前述複數個切片之中，也可不被包含在前述圖片最初被處理的切片之切片標頭。
為了解決如上述之問題，本發明一態樣之圖像解碼方法，是將圖片分割成複數個切片而執行解碼處理的圖像解碼方法，包含有如下步驟：從經編碼之位元流抽出如下之依存切片有效化旗標、切片位址、及依存性指示，而前述依存切片有效化旗標是顯示：依存於對於處理對象之切片以外的其他切片的前述解碼處理之結果來進行前述解碼處理的依存切片，是否被包含在前述圖片；前述切片位址是顯示：前述處理對象之切片的開始位置；而前述依存性指示則是顯示：前述處理對象之切片是否為前述依存切片，且前述依存切片有效化旗標是配置於前述複數個切片共通的參數集內，前述切片位址是配置於前述處理對象之切片的切片標頭內，而前述依存性指示則是配置於前述切片標頭內、在前述切片位址之前、且在識別前述參數集的語法元件之後。
例如，前述依存性指示，在前述依存切片有效化旗標顯示含有前述依存切片時，也可被包含在前述位元流。
例如，前述依存切片有效化旗標也可配置於前述參數集之表頭。
例如，也可為：前述複數個切片分別包含有複數個巨集塊，在前1個處理對象之切片所含的複數個巨集 塊之中，對於2個巨集塊執行前述解碼處理之後，開始執行對於前述處理對象之切片的前述解碼處理。
例如，前述依存性指示，在前述複數個切片之中，也可不被包含在前述圖片最初被處理的切片之切片標頭。
為了解決如上述之問題，本發明一態樣之圖像編碼裝置，是將圖片分割成複數個切片而執行編碼處理的圖像編碼裝置，包含有如下之編碼部：把包含有如下之依存切片有效化旗標、切片位址、及依存性指示的位元流發送，而前述依存切片有效化旗標是顯示：依存於對於處理對象之切片以外的其他切片的前述編碼處理之結果來進行前述編碼處理的依存切片，是否被包含在前述圖片；前述切片位址是顯示：前述處理對象之切片的開始位置；前述依存性指示則是顯示：前述處理對象之切片是否為前述依存切片，且前述依存切片有效化旗標是配置於前述複數個切片共通的參數集內，前述切片位址是配置於前述處理對象之切片的切片標頭內，而前述依存性指示則是配置於前述切片標頭內、在前述切片位址之前、且在識別前述參數集的語法元件之後。
為了解決如上述之問題，本發明一態樣之圖像解碼裝置，是將圖片分割成複數個切片而執行解碼處理的圖像解碼裝置，包含有如下之解碼部：從經編碼之位元流抽出如下之依存切片有效化旗標、切片位址、及依存性指示，而前述依存切片有效化旗標是顯示：依存於對於處理 對象之切片以外的其他切片的前述解碼處理之結果來進行前述解碼處理的依存切片，是否被包含在前述圖片；前述切片位址是顯示：前述處理對象之切片的開始位置；前述依存性指示則是顯示：前述處理對象之切片是否為前述依存切片，且前述依存切片有效化旗標是配置於前述複數個切片共通的參數集內，前述切片位址是配置於前述處理對象之切片的切片標頭內，而前述依存性指示則是配置於前述切片標頭內、在前述切片位址之前、且在識別前述參數集的語法元件之後。
為了解決如上述之問題，本發明一態樣之圖像編碼解碼裝置具備有上述之圖像編碼裝置、及上述之圖像解碼裝置。
根據上述構成之圖像編碼方法及圖像解碼方法等，切片間的依存性指示是獨立地配置於與切片相關聯的位元流之語法內。依存性指示是與其他元件分離地配置於如下的位置：不用對其他元件進行不必要的分析，而可從串流進行分析的位置。在上述HEVC之例中，顯示切片間依存性的指示元dependent_slice_flag，是在與網路動作無關之語法元件不用進行分析的位置，藉由訊號來進行傳達。
具體而言，提供一種裝置，把至少部分地使用可變長度碼來進行編碼後的圖像中的影像序列之位元流進行分析，並且包含有搬運影像序列經編碼之切片的資料單元。此裝置具備有把依存性指示從位元流抽出的剖析器， 且前述之依存性指示是：顯示切片之可變長度解碼或分析是否依存於其他切片的語法元件；並且，不須要提前抽出其他語法元件，而是與其他語法元件獨立地從位元流抽出依存性指示。
這樣的裝置例如也可包含於圖2的熵解碼器290內。來自於位元流的抽出指示，在抽出、以及需要該抽出時，包含熵解碼。熵編碼是可變長度編碼，例如CABAC這樣的算術編碼。這適用於在HEVC中圖像資料的編碼。在此，資料單元是指：例如NAL單元或存取單元。「不須要抽出其他語法元件」指的是如下之狀況：先行於依存性指示的複數個元件中之任一者，都是存在且長度已知的元件、或處於已經分析完畢狀態的元件、或有條件地全未被編碼的元件。
此外，提供一種裝置，生成至少部分地以可變長度碼進行編碼後的視訊序列之位元流，且含有保持視訊圖像之編碼切片的資料單元。此裝置具備有把依存性指示元嵌入前述位元流的位元流產生器，且前述依存性指示元是：顯示切片之可變長度解碼是否依存於其他切片的語法元件；並且不須要提前嵌入其他語法元件，而是與前述其他語法元件獨立地把前述依存性指示元嵌入前述位元流。
這樣的裝置例如也可包含於圖1的熵編碼部190內。
根據上述構成之圖像編碼方法及圖像解碼方法等，位元流包含有經編碼之切片資料以及與該切片有關的 標頭資料，而依存性指示元是位於位元流內之切片標頭的表頭。這個意思是：切片標頭是以顯示切片依存性的語法元件開始的。
另外，依存性指示不須位於切片標頭的表頭。不過，在切片標頭內，有附帶其他條件地進行了編碼的語法元件、及/或經可變長度編碼的語法元件，不包含在先行於依存性指示元之語法元件的情況較為有益。
例如，也可把上述之先前技術中的dependent_slice_flag的現在位置，變更為位在切片標頭之表頭。藉由此變更，可削減須要進行分析的語法元件的量。此外，可避免可變長度解碼、或是追加計算及/或用來在之後使用的追加參數的儲存及/或分析其他參數集所需的資訊分析等等路由器的複雜分析處理。此外，可削減追蹤記錄所需的參數集之數。
以下，一面參考圖示，一面具體地說明實施形態。另外，以下所說明之實施形態，皆是顯示包括的或具體的例子。以下之實施形態所示之數值、形狀、材料、構成要素、構成要素之配置位置及接續形態、步驟、步驟之順序等，皆為一例，並非限定申請專利範圍之主旨。又，在以下之實施形態中的構成要素中，關於顯示最上位概念的獨立請求項中未記載的構成要素，係作為任意之構成要素來進行說明。
(實施形態1)
圖10是顯示本實施形態中的位元流之語法例的圖。圖 10所示之NAL標頭1010，與圖9A所示之NAL標頭910相同。也就是說，沒有變更。
然而，切片標頭1020之語法構造，與圖9A的切片標頭920之語法構造不同。在切片標頭1020中，特別是在切片標頭內把dependent_slice_flag移動到上方，以使dependent_slice_flag前面沒有語法元件。dependent_slice_flag是有附加條件地進行編碼，或者藉由可變長度碼來進行編碼，或者是進行需要追加計算的分析。
語法元件first_slice_in_pic_flag及dependent_slice_flag，一起實質地決定空間性的依存性。其等語法元件在NAL標頭之後立刻被編碼，以使其他語法元件的分析為不需要。又，為了保持與切片間依存性相關聯的資訊，first_slice_in_pic_flag也可先行於dependent_slice_flag。語法元件first_slice_in_pic_flag是因為所有的訊框必須以通常切片開始這樣的規則而被設定出的旗標。也就是說，當設定first_slice_in_pic_flag旗標時，意思是：切片是通常切片、是獨立的。因此，在dependent_slice_flag及first_slice_in_pic_flag兩方，可看成是切片間依存性的指示元。
換言之，依存性指示元可定義為：包含有顯示切片是否為圖片最初之切片的第1切片指示、以及顯示切片之可變長度解碼是否依存於其他切片的依存切片旗標。圖片最初之切片是始終在可變長度解碼中不會依存於其他切片的切片。
有利的是：在位元流，包含有依存切片有效化旗標，該依存切片有效化旗標顯示：是否有該位元流包含有依存切片的可能性。僅在依存切片有效化旗標顯示：有位元流包含有依存切片的可能性之時，位元流才會含有依存性指示。依存切片有效化旗標在位元流中，位在複數個切片共通的參數集內、且位在該參數集之表頭。參數集也可為例如：將使用於單一圖片的複數個參數保持的圖片參數集。或者，依存切片有效化旗標也可位於保持有使用於圖像(影像)序列全體之複數個參數的序列參數集內。
然而，在本實施形態中，是不把語法元件dependent_slice_enabled_flag(依存切片有效化旗標)作為必要條件地來將dependent_slice_flag(依存性指示)編碼。在本實施形態中，由於圖片參數集id是配置於依存性指示之後，所以有利於避免在切片標頭內藉由訊號來傳達圖片參數集id時可能產生的分析錯誤。
又，此變更可看做是：以削減用來決定切片間依存性而有進行分析需要的語法元件量為目的，而在參數集或標頭中之其他所需語法元件的位置變更；以及/或者也可藉由變更來進行內插。
例如，在HM8.0的現在的語法之切片標頭中的語法元件dependent_slice_flag，語法元件”dependent_slice_enabled_flag”之值，只有在顯示位元流內之依存切片使用為有效時，才會存在。藉由使依存切片為有效，語法元件”dependent_slice_enabled_flag”也如圖9C所示，包含 在PPS中。因此，PPS內的語法元件”dependent_slice_enabled_flag”，為了使分析dependent_slice_flag所需的本身的分析單純化，在PPS的語法內會被移動到上方(例如，移動到參數集之表頭)。這在dependent_slice_flag於pic_parameter_set_id(識別參數集的語法元件)之後進行編碼時也可派上用場。這是因為藉著這麼做，即使在依存切片有效化旗標需要依存性指示存在的情況下，也可迴避分析錯誤的緣故。
也可將”dependent_slice_enabled_flag”從PPS移動至SPS及/或VPS，來代替在PPS內使”dependent_slice_enabled_flag”移動到上方，以使追蹤記錄階層較低的參數集的需要消失。
也就是說，根據本實施形態，必需的語法元件之位置，會因為削減有追蹤記錄需要之參數集量的目的而進行變更。這也會削減分析的複雜度。在此文脈中，「必需的參數」指的是：用來決定切片是否為相互依存切片時有用的參數。可直接適用於HEVC的第1可能性，是在依存切片之切片標頭的表頭，附加如下之依存性指示：不以被包含在與切片標頭不同的參數集中之依存切片有效化旗標作為必要條件的依存性指示。可直接適用於HEVC的第2可能性，是將依存切片標頭中之依存性指示，提供於識別含有依存切片有效化旗標之參數集的語法元件之指示之後。依存性指示也可把依存切片有效化旗標作為必要條件。在PPS內使依存切片有效化旗標移動到上方、或是使依存切 片有效化旗標移動至SPS內，對於上述該等可能性中之任一者皆為有益。特別是依存切片有效化旗標在關於分析依存性指示時為必需的第2可能性上是有益的。
從圖10可知，NAL單元標頭和切片標頭相關聯的部分合起來，具有18位元(NALU標頭14位元、切片標頭2位元)。根據此例，媒體感知網路元件也可對於對象切片封包動作如下。若刪除先行的通常切片、熵切片、或依存切片，則網路元件檢查(check)對象切片標頭之一開始的2位元、也就是first_slice_in_pic_flag及(當位元流允許依存切片時)dependent_slice_flag。
若NAL單元類型是VCL NAL單元類型、被檢查的18位元最後的2位元是”01”，則那個NAL單元會被刪除。特別是，如果切片標頭之表頭的位元是”1”，那個切片是(根據規則)非圖片表頭之依存切片的切片。若切片標頭之表頭的位元為”0”、下一個位元也是”0”，那個切片是獨立的。因此，只有切片標頭之表頭的2位元為”01”時，那個切片才是依存著的。此外，當該切片的母切片已被刪除時，由於無法解碼，所以該切片必須被刪除。因此，first_slice_in_pic_flag及dependent_slice_flag即使屬於切片標頭語法，也可看成是NAL標頭的擴充。
在本實施形態中，更提供一種將網路封包接收、分析、且轉送至目的地的網路路由器。此路由器具備有：接收部，將包含有封包目的地位址、及具有編碼視訊資料之位元流部分的網路封包進行接收；剖析器，為了判 定來自於其他封包的前述編碼視訊資料之依存性，包含有上述或後述之實施形態中所記載的將編碼視訊序列之位元流進行分析的前述裝置；以及封包分析器，分析前述已接收的封包之目的地位址、及所判定出之依存性，來判斷前述網路封包的處理方式。
(實施形態2)
根據本實施形態2，從PPS刪除dependent_slice_enabled_flag。另外，也可不刪除dependent_slice_enabled_flag，而是使之移動至SPS。
圖11是顯示在存取於first_slice_in_pic_flag及dependent_slice_flag之前，無須分析dependent_slice_enabled_flag之例的圖。
在此例中，由於不將依存性指示的存在作為必要條件，所以不使用dependent_slice_enabled_flag。此例不會引起因無法識別對象PPS組而導致的分析上的問題，可提供把依存性指示配置於切片標頭之表頭的可能性。
(實施形態2的效果等)
在實施形態1中，為了分析dependent_slice_flag，必須分析dependent_slice_enabled_flag。dependent_slice_enabled_flag會包含在PPS內而藉由訊號來進行傳達。這如上所述，在dependent_slice_enabled_flag位於與PPS的開頭距離較遠的位置，且將先行的語法元件有附加條件地進行編碼的情況下，會有帶來分析之負擔(overhead)的可能 性。
此外，在PPS中若在分析語法元件pic_parameter_set_id之前藉由訊號來傳達語法元件dependent_slice_flag，則可能產生如下之分析錯誤。dependent_slice_flag的存在，是依存於包含在PPS內而藉由訊號來傳達的dependent_slice_enabled_flag。然而，現在有效的PPS之id是在dependent_slice_flag之後藉由訊號而傳達。因此，無法在存取於先行的元件之前分析dependent_slice_flag。
在本實施形態中，由於除去把dependent_slice_enabled_flag當作必要條件的分析，所以較為有益。若適用以下的限制，會更為有益。亦即，若PPS內的dependent_slice_enabled_flag為零，則dependent_slice_flag會變成零。
然而，該等有利的實施形態並不是在限定本發明的範圍。
(實施形態1及2的變形例1)
除了除去dependent_slice_enabled_flag之外，也可再加上使dependent_slice_enabled_flag從PPS移動至SPS及/或VPS中之任一者；或者是使後者來代替前者。
此外，也可把dependent_slice_enabled_flag複製到SPS，來代替只使dependent_slice_enabled_flag移動。此時，也可強制地使SPS及PPS內的指示元為相同值。或者是，PPS也可許可SPS內的指示元重寫。
例如，若sps_dependent_slice_enabled_flag 為1，則pps_dependent_slice_enabled_flag有可能是0或1。sps_dependent_slice_enabled_flag是顯示如下內容的指示：包含在SPS內而藉由訊號所傳達且使用於圖片之序列的依存切片之有效化；而pps_dependent_slice_enabled_flag則是顯示如下內容的指示：包含在PPS內而藉由訊號所傳達且使用於圖片的依存切片之有效化。然而，如果dependent_slice_enabled_flag之值可在PPS內變化，這指的是，依然需要PPS的分析，而會妨礙PPS之追蹤記錄及分析之頻度變低的效果。
該等之變形例可達成VPS及SPS保持依存構造的效果。藉著VPS及SPS保持依存構造，網路元件可形成位元流，也就是說可以刪除怎麼也無法解碼的依存封包，或是可以決定把非獨立切片的依存切片刪除。因此，VPS內的dependent_slice_enabled_flag，會成為路由器追加地確認或者不確認切片標頭的觸發(trigger)。
該等之變形例在適用於圖10及11之例中之時，並無法更加減低分析時的複雜度。然而，這可以提供用來保持依存性構造為更有益的語法構造。簡要而言，根據此例，顯示依存切片對於位元流是否有效的指示元，是包含在影像參數集內而藉由訊號進行傳達。在此，影像參數集是複數個圖片中適用於複數個切片的參數集。
當在VPS及/或SPS中藉由訊號來傳達dependent_slice_enabled_flag時，會有2個效果。在只將旗標移動或複製的情況下，無須分析PPS，結果，可削減分析的負 擔。另一個優點是可以將影像序列之預測構造通知給路由器。這個效果一直都會在。通常，路由器為了知道將要接收什麼，也可以確認VPS/SPS的內容。
VPS是在階層中最上位的參數。相對於SPS及PPS分別與1個影像序列及1個圖片相對應，VPS可以包含與複數個影像序列有關的資訊。VPS所含的資訊，是位元率或影像序列之temporal_layering構造等。又，包含有與層間之依存性(不同的影像序列間之依存性)有關的資訊。因此，可將VPS看做是複數個影像序列的容器，藉由VPS，可以曉得各序列的概要。
在HEVC的最新版中，訊框中切片間之依存性，是由dependent_slice_flag及first_slice_in_pic_flag兩方所規定。根據最新的規格說明書，網路實體無法不適用非常複雜的分析而來利用切片間之依存性。單純的解決法是在因為封包號碼的缺漏而發現封包遺失時，直到發現值為1的first_slice_in_pic_flag為止，把所有的封包刪除。這是因為圖片之表頭的切片，都是通常切片的緣故。
然而，這個解決法會導致編碼效率降低。因此，如上所述，也可採用使切片間依存性之訊號所進行的傳達為有效的有效率分析。這可藉由以下而達成：在NAL標頭正後面的切片標頭內中，藉由訊號來傳達dependent_slice_flag及first_slice_in_pic_flag。
取而代之地，或是除上述之外，更把與切片間依存性相關聯的語法元件無條件地獨立編碼，也就是說， 使之與位於切片標頭或PPS內的其他語法元件獨立地編碼。
(實施形態1及2的變形例2)
圖12是顯示代替上述變形例1之其他的變形例2的圖。具體而言，NAL單元標頭1210與圖10所示之NAL單元標頭(圖9A所示之NAL單元標頭910)相同。不過，切片標頭1220與圖10所示之切片標頭1020，在語法元件dependent_slice_flag及first_slice_in_pic_flag的順序上是相反的。特別是，切片標頭1220包含dependent_slice_flag來作為最初的語法元件，且以dependent_slice_flag的存在作為必要條件，包含語法元件first_slice_in_pic_flag，作為第2個語法元件。
從此例可知，顯示切片是否為圖片中表頭之切片的第1切片指示，被包含在語法內。圖片中表頭之切片，一直都是在可變長度解碼中不一存於其他切片的切片。此外，依存切片旗標在位元流中，是被包含在第1切片指示之前。第1切片指示只在依存切片旗標沒有顯示出是依存切片這件事的時候，才會被包含在位元流。此配置會帶來和制約相同的效果。也就是說，依存性旗標把第1切片指示作為必要條件。如同從圖12可知的，可把兩方的元件理解為依存性指示，包含在切片標頭之表頭。
(實施形態3)
在本實施形態3中，與實施形態1及實施形態2相比較，為了減少不必要的語法元件分析，變更了語法元件的 配置方法。
在上述實施形態中，已說明了把dependent_slice_flag的存在作為必要條件而包含有first_slice_in_pic_flag的情況，不過first_slice_in_pic_flag及dependent_slice_flag也可一起不把彼此的存在作為必要條件地被包含在位元流。例如，在上述變形例之1中，為了從語法元件dependent_slice_enabled_flag獨立，變更dependent_slice_flag的編碼方法。
圖13是顯示本實施形態之切片標頭之一例的圖。在圖13所示之例中，顯示了如下之情況：依然含有關於依存切片有效化旗標的依存性指示之制約。
具體而言，在本實施形態中切片標頭中，與圖6所示之習知切片標頭相比較，dependent_slice_flag是配置於slice_address之前。此外，在本實施形態之切片標頭中，與圖10~圖12所示之例相比較，dependent_slice_flag是配置在pic_parameter_set_id之後。
在本實施形態中，由於dependent_slice_flag是配置在slice_address之前，所以要分析dependent_slice_flag，至少沒有分析SPS的必要。如上所述，slice_address是顯示切片之開始的語法元件。此外，slice_address只有藉由包含在SPS內而藉著訊號來進行傳達之語法元件(pic_parameter_set_id)的幫助，才可進行分析。
取而代之地，或者是除上述之外，更使dependent_slice_enabled_flag在PPS內移動至上方、或 是移動至SPS及/或VPS；。當有效化旗標位於VPS及/或SPS內之時，也可不需要分析還有PPS及SPS的追蹤記錄。
(實施形態3的變形例、效果等)
(1)在分析如下的視訊序列之位元流的裝置中，也可構成為可以分析具有如圖13所示之切片標頭的位元流，而前述視訊序列之位元流是：至少部分地以可變長度碼進行了編碼的視訊序列，且包含有保持視訊圖像之編碼切片的資料單元的視訊序列之位元流。此時，使該裝置構成為：具備有從位元流抽出以下之語法元件的剖析器。
-顯示切片之可變長度解碼是否依存於其他切片，且是切片標頭內之語法元件的依存性指示；-包含在使用於複數個切片的參數集內，且顯示依存切片是否被包含在位元流內的依存切片有效化旗標；以及-顯示位元流內之切片開始的位置的切片位址。
(2)又，在本實施形態中，依存性指示是在切片位址之前、且在識別前述參數集的語法元件之後，被包含在切片標頭內而藉由訊號進行傳達。
因此，在本實施形態中，只有在依存切片有效化旗標顯示：可以將依存切片包含在位元流這樣的情況下，才可以不引起分析錯誤，而構成為依存性指示被包含於位元流。
(3)此外，在本實施形態中，依存切片有效化旗標是配置在：位元流內的、形成同一圖片訊框之複數個切片共通的參數集(PPS)內，並且在前述參數集的表頭，但 並不限於此。
也可取而代之地(或是除上述之外再加上)，使依存切片有效化旗標位於：位元流內的、形成同一圖片序列之複數個切片共通的參數集(SPS)內。更可取而代之(或是除上述之外再加上)，使依存切片有效化旗標位於：位元流內的、形成複數個圖片訊框序列之複數個切片共通的參數集(VPS)內。
(4)又，本實施形態中，也可構成為：使VPS_id及SPS_id包含在SEI訊息內而明確地藉由訊號來進行傳達。當dependent_slice_enabled_flag被包含在SPS內而藉由訊號進行傳達場合時，dependent_slice_flag依然必須接在pic_parameter_set_id後面。
若不這樣，則因為SPS_id是被包含在PPS內而藉由訊號進行傳達，所以在分析中會導入依存性。藉著訊號來傳達保持dependent_slice_enabled_flag的對象SPS或VPS之識別，藉此，由於不須要分析其後之圖片參數集，所以也可將依存性指示包含在pic_parameter_set_id之前。此外，保持VPS_id或SPS_id的SEI訊息，由於其等之ID也是藉由分析PPS而決定的，所以在解碼處理上並不需要。因此，SEI訊息在被網路元件使用之後，不會影響到解碼處理而可進行刪除。
(實施形態4)
在本實施形態4中，切片間依存性的資訊，(作為包含在切片標頭及/或參數集內而藉由訊號進行傳達的資訊之 補足)會被複製於如SEI訊息般的其他NAL單元。
例如，也可將傳達所有的存取單元內的、或各依存切片之前的切片間依存性資訊的SEI訊息進行定義。「存取單元」這個用語，指的是由NAL單元的組(set)所形成的資料單元。存取單元包含有複數個編碼圖片切片、也就是複數個VCL NALU。特別是，存取單元可以定義使用於隨機存取的點，也可以包含單一圖片的複數個NALU。不過，存取單元並不一定得是隨機存取點。
在最新的HEVC規格說明書中，存取單元是被定義為依解碼順序連續的NAL單元之組，且剛好地包含1個編碼圖片。除了編碼圖片之編碼切片NAL單元之外，存取單元也可包含有不含編碼圖片之切片的其他NAL單元。存取單元的解碼，總是會帶來解碼圖片。然而，在HEVC將來的擴充中(如多重視野編碼(MVC)或可調整影像編碼(SVC)般)，也可放寬/修正存取單元的定義。根據最新的規格說明書，存取單元是由存取單元定界符、SEI訊息、及VCL NALU所形成。
因此，根據本實施形態，依存性指示在位元流中，是位於依存性指示相關的切片之標頭之外。此外，若依存性指示在位元流中，是位於依存切片之前或是依每一存取單元而含在位元流內的SEI訊息內，也許會有益處。
(實施形態5)
根據本實施形態5，切片間依存性資訊，是作為旗標，或者暗示性地作為相關的NAL單元類型，被包含在 NAL標頭內而藉由訊號進行傳達。
就規則而言，NAL標頭中之語法元件分析，並未依存於任何其他語法元件。所有的NAL單元標頭可獨立地分析。NAL標頭通常是藉由訊號來傳達依存性資訊的地方。因此，根據本實施形態，切片間依存性也包含在NAL標頭而進行訊號發送。
換言之，分析裝置也可被路由器或解碼器所採用。分析裝置更包含有網路適應層、用來把NAL標頭追加於編碼影像資料之切片及該切片之標頭的網路適應層單元(unit)。有利的點是：依存性指示在位元流中，位於NAL標頭內，並與其他語法元件獨立地進行編碼。
由於最新的HEVC規格說明書中之NAL標頭，已假設有使用於其之預備的位元，所以依存性指示也可位於NAL標頭內。由依存性指示之訊號所進行的傳達，以單一的位元來進行，應該就已足夠。
或者，依存性指示是由NAL單元類型所示，事先定義好的NAL單元類型則是為了保持依存性資訊而被保存。
(實施形態6)
為了可以有效率地分析網路元件中之依存性資訊，也可任意地組合上述5個實施形態。該等之使用即使有重複，該等重複的實施形態也可進行組合。因此，即使是依存性指示包含在切片標頭之表頭而藉由訊號進行傳達的情況，也可適用依存性指示之複製。
圖14是顯示將圖9A所示之NAL單元標頭910修正後的NAL單元標頭1410之例的圖。NAL單元標頭1410包含有dependent_slice_flag。
此外，為了使dependent_slice_flag移動至NAL標頭，且因為向下相容性而繼續固定NAL標頭的尺寸，從NAL單元標頭之語法元件nuh_reserved_zero_6bits取得dependent_slice_flag所需的1位元。因此，語法元件nuh_reserved_zero_6bits現在只有5位元。語法元件nuh_reserved_zero_6bits，為了使位元減少不會產生問題、且不需要進行更進一步的修正，具有用來在之後使用的預備的位元。
一般而言，對象VCL NAL單元是依存於具有同一temporal_layer_id的先行的VCL NAL單元。當dependent_slice_flag包含在NAL標頭內而藉由訊號進行傳達時，由於圖片切片或參數集等所有的資料單元具有相同的NAL標頭，所以在VCL及非VCL NAL單元兩方會浪費1位元。因此，dependent_slice_flag也會如使用於參數集或SEI訊息般地藉由訊號進行傳達，但這並非必要。此外，即使依存切片在序列參數集內為無效，dependent_slice_flag也會一直需要以訊號進行傳達。這會導致不必要的負擔。
在上述全部的實施形態中，依存性指示也可為1位元的旗標。
(實施形態7)
根據本實施形態7，依存性指示是由NAL單元類型所示，事先定義好的NAL單元類型則是為了保持依存性資訊而被保存。
因此，新的(別的)VCL NAL類型是如既存的VCL NAL單元般，以類似的記號論來進行定義。例如，若NAL_unit_type之值等於15(或其他事先定義好的類型、或是其他沒有為了特定類型之NALU而被保存的NALU)，則對象VCL NAL單元依存於有同樣temporal_layer_id的先行VCL NAL單元。其依存性如上所述，與對象切片對於先行切片之切片標頭的依存性、也就是在分析中之依存性有關。
在該等情形中，若在追加的NAL單元類型中包含NAL標頭內之位元，則應為有益。這可用來顯示對象切片是否為依存切片。
在依存性資訊除了被包含在NAL標頭內的藉由訊號所行之傳達之外，還可能被包含在切片標頭內而藉由訊號進行傳達的情況下，被包含在NAL標頭內的藉由訊號所行之傳達，會藉由選項(option)而被選擇。具體而言，如果NAL標頭內之NAL_unit_type欄位被構成為：藉由訊號來傳達對象切片是依存切片這件事，就無法藉由訊號來傳達其他「類型」的資訊。例如，有時，傳達對象切片是「序列中表頭之圖片」(等於10或11的NAL_unit_type)這樣的資訊會較為有益。若(藉著複製到切片標頭內)可藉由NAL標頭中之切片間依存性資訊選項來進行選擇，也可 選擇：藉由訊號來傳達較有價值的資訊。
此外，追加(使用於分析的)「依存切片RAP圖片」或「依存切片非RAP圖片」等2個以上的VCL NAL單元類型，應為有益。”RAP”這個用語，是表示隨機存取圖片。由於隨機存取圖片是與其他圖片(關於預測)獨立地進行了編碼的圖片，所以可使用為編碼及解碼的開始點。藉此，適合作為隨機存取點。
在依存切片標頭中，語法元件RapPicFlag是使用於分析處理。具體而言，語法元件RapPicFlag是顯示對象圖片是否為隨機存取圖片的指示。
RAPPicFlag之值如以下之式2般，依存於NAL單元類型。
【數2】RapPicFlag=(nal_unit_type 7 && nal_unit_type 12)...(式2)
也就是說，在圖15所示之例中，隨機存取圖片是由NALU類型從7至12的NALU所保持。在本實施形態中，為了可以進行正確的分析、並且提供對於隨機存取圖片的切片依存性之可能性，以保證切片標頭之正確分析為目的，來定義2個不同的NAL單元類型。
就全面性的規則而言，即使定義了新的VCL NAL單元類型，依然可以沒有問題地進行切片標頭的分析。將複數個NAL類型中任一者如上述般進行定義，或者是，以分析不會產生問題的方法來變更依存切片標頭。
當新VCL NAL單元類型顯示為是依存切片時， 切片標頭之語法構造如下述般變更。
上述例之NAL單元類型”DS_NUT”，是使用於用來顯示處理對象VCLnal單元是依存切片這件事。與非專利文獻3所記載的最新的切片標頭之語法構造相比較，在本實施形態中，可導出下述2個變更。
(1)no_output_of_prior_pics_flag不被包含在依存切片。換言之，no_output_of_prior_pics_flag在處理對象切片不是依存切片時才存在。(當處理對象切片不是依存切片時，no_output_of_prior_pics_flag存在於切片標頭。)
(2)因應nal_unit_type之值而含有first_slice_in_pic_flag。當nal_unit_type之值顯示處理對象切片是依存切片時，明確地不含有語法元件first_slice_in_pic_flag，推測為0。這可以相同品質來維持位元率。
根據上述之例，當處理對象切片為依存切片時，不含有no_output_of_prior_pics_flag。RapPicFlag之值在處理對象切片為依存切片時，為了進行評價而不被需要。因此，依存切片之切片標頭可以沒有問題地進行評價。此外，依存切片之切片標頭，更可不參考先行的nal單元標頭之NAL單元標頭地進行分析。當先行的nal單元標頭在解碼時不存在的情況下，會產生問題。
接著，根據NAL_unit_type之值而包含有first_slice_in_pic_flag。此變更與圖12所示之例相同。在圖12中，first_slice_in_pic_flag只有在處理對象切片不是 依存切片(由dependent_slice_flag所示)時，才被包含在切片標頭。同樣地，只有在意味著處理對象切片不是依存切片的”DS_NUT”與nal_unit_type不相等時，才會包含有上述之例的first_slice_in_pic_flag。
上述2個變更，沒有同時進行的必要。又，也可在切片標頭中，只進行其中一個變更。各變更的優點，與切片是否是依存切片的檢查成本有關。但是，當同時執行了2個變更時，在2個語法元件first_slice_in_pic_flag及no_output_of_prior_pics_flag連續地進行寫碼(編碼)的情況下，2個變更的優點，與個別地進行了變更時的各個優點相同。因此，在組合了2個變更、及2個語法元件之連續的寫碼(coding)的應用程式中，比個別地進行各個變更的應用程式更具優點。
在實施形態的所有說明中，在沒有將依存切片之指標有附加條件地進行編碼的情況下，可能會從位元流刪除dependent_slice_enabled_flag。換言之，如果把新NAL單元類型用來顯示處理對象切片是依存切片這件事，可以從位元流刪除dependent_slice_enabled_flag。
圖15是顯示與圖9A所示之NAL單元標頭910同樣的NAL單元標頭1510、以及把圖9A所示之切片標頭920進行變更之後的切片標頭1520之例的圖。切片標頭1520隨著NALU之類型而包含有dependent_slice_flag值之終端。特別是，具有15及16之值的NAL_unit_type語法元件，會定義依存切片。當NAL_unit_type等於15時，切 片的類型是隨機存取圖片之依存切片。另一方面，若NAL_unit_type等於16，則該切片是非隨機存取圖片之依存切片。因此，以下之式3的關係會成立。
另外，值15及16，只是選擇為一例。如熟悉此技術者所明瞭，也可採用其他未被使用的事先定義好之任意號碼。具體而言，NALU的第1類型是被定義為用來識別隨機存取圖片之依存切片的內容，而NALU的第2類型則是被定義為用來識別非隨機存取圖片之依存切片的內容。
此外，依存切片也可適用於如下限制：僅使用於RAP，或是僅使用於非RAP。此時，新的NALU類型只需要1個。
(實施形態8)
圖16是顯示代替的解決法之圖。NAL單元標頭1610與NAL單元標頭910相同。在切片標頭1620中，假設NAL_unit_type具有將如上述般依存切片定義的值15及16。
然而，NAL_unit_type在依存切片旗標的分析中不會被使用。藉此，可以使編碼器對NAL_unit_type之使用成為一個選項。因此，本實施形態的效果只有在編碼器決定採用新的NALU類型時才會達成。
然後，路由器只要檢驗NALU類型即可。不過，若編碼器不使用上述之新的NALU類型，路由器應可 依技術水準來處理依存切片。
簡要而言，依存性指示也可由NAL單元類型來表示。又，事先定義好的NAL單元類型，也可保存為用來保持：切片標頭依存於先行切片之切片標頭的經編碼的切片。有利的點是：對於隨機存取圖片及非隨機存取圖片，提供顯示依存性的別個NAL單元類型。
簡言之，上述實施形態與保持編碼影像序列的位元流之語法有關。特別是，上述實施形態與以下語法有關，該語法是與切片標頭依存於先行切片之切片標頭的依存切片及熵切片相關聯的語法。媒體感知網路元件為了可使其複雜性及因分析而產生的延遲實質上不增加地來考慮此種依存性，將依存性之指示包含在封包之表頭、也就是分析對象之標頭或參數的附近而藉由訊號來進行傳達。這是例如由以下方法來達成：藉由把依存性指示包含在切片標頭之表頭(圖10~圖12)，可以的話，包含在識別參數集的語法之後，並且在切片位址之前(圖10、圖11)；或者，藉由使用別個訊息，來把依存性指示提供至NALU標頭(圖14)，或者是使用使用於保持依存切片之NALU的特別的NALU類型(圖15、圖16)。
(上述實施形態1~8的變形例、效果等)
本發明不限定於以上之實施例，可進行各種變更，該其等變更當然也包含在本發明之範圍內。
另外，在上述各實施形態中，各構成要素可由專用的硬體(處理電路)來構成，或者亦可藉由執行適於各 構成要素之軟體程式來實現。亦可藉由CPU或處理器等之程式執行部，讀出記錄在硬碟或半導體記憶體等記録媒體的軟體程式並執行來實現各構成要素。
另外，在上述實施形態1~8中，是以wavefront(波前)為前提來進行說明，但並不限於此。
但是，在wavefront的情況下，無法使所有的子串流同時開始。如上所述，關於表頭之子串流以外的各子串流，處理(編碼或解碼)的開始，會比先行的子串流慢LCU2個份。因此，在wavefront中，會更加要求處理的減縮。在本實施形態中，把依存性指示(dependent_slice_flag)，配置在識別PPS的語法之後、切片位址之前，藉此，可減少要分析的語法元件之數，可以縮短處理。
又，在上述實施形態1~8中，把依存性指示配置在切片標頭內的較為上方(特別是配置在表頭)，藉此，例如，可以在圖片處理的較早階段，確認各切片是否為依存切片。
也就是說，在對於圖片的處理(編碼處理或解碼處理)開始時，關於複數個切片之各切片，若執行確認是否為依存切片的步驟，則在對於圖片的處理開始時，可以抽出平行處理的開始點。也就是說，當圖片包含有複數個通常切片時，可在對於圖片的處理開始時(或者，在處理的較早階段)將平行處理的開始點抽出。
在此，在如習知般，把依存性指示配置於切片位址之後的情況下，直到該切片位址的分析結束為止，都 無法確認切片是依存切片還是通常切片。此時，位於圖片途中的通常切片之處理的開始，會比位於圖片表頭的通常切片之處理開始遲上許多。
相對於此，在上述實施形態1~8中，由於可在圖片處理的較早階段，確認各切片是否為依存切片，所以可以使位在圖片途中的通常切片之處理開始較為提早。換言之，可以使位在圖片途中的通常切片之處理，與位於圖片表頭的通常切片幾乎同時開始。
(實施形態9)
藉由將用以實現為執行在上述各實施形態所示之動畫圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成的程式記錄在記憶媒體，可在將上述各實施形態所示之處理獨立存在之電腦系統中簡單地實施。記憶媒體只要是磁碟、光碟、光學磁碟、IC卡、半導體記憶體等可記錄程式者即可。
進而，在此，說明在上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例與使用該例之系統。該系統係以具有由使用了圖像編碼方法之圖像編碼裝置、及使用了圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置為特徵。針對系統中之其他構成，可因應情況而適當地變更。
圖17係顯示實現內容傳送服務之內容供給系統ex100之整體構成之圖。將通訊服務之提供範圍分割成所期望之尺寸，在各胞元內分別設置作為固定無線台之基地 台ex106、ex107、ex108、ex109、ex110。
該內容供給系統ex100係於網際網路ex101，經由網際網路服務提供者ex102、電話線路網ex104及基地台ex106至ex110，而連接電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話ex114、遊戲機ex115等各機器。
但是，內容供給系統ex100不限於如圖17之構成，亦可組合任何要素而連接。又，亦可不經由作為固定無線台之基地台ex106至ex110，將各機器直接連接於電話線路網ex104。又，各機器亦可經由近距離無線等而直接相互連接。
相機ex113係數位攝影機(digital video camera)等之可進行動態圖像攝影之機器，相機ex116係數位相機等之可進行靜態圖像攝影、動態圖像攝影之機器。又，行動電話ex114係指GSM(登錄商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或者是LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或PHS(Personal Handyphone System)等，不管是哪一種皆可。
在內容供給系統ex100，相機ex113等透過基地台ex109、電話線路網ex104而連接於串流伺服器ex103，就可做即時傳送者。在即時傳送上，對於用戶使用相機 ex113攝影之內容(例如音樂演唱會之影像等)，如上述各實施形態之說明，進行編碼處理(即，作為本發明之一態樣之圖像編碼裝置而展現功能)，傳送至串流伺服器ex103。另一方面，串流伺服器ex103係對於有請求之客戶，串流傳送所傳送之內容資料。客戶係指可將業經上述編碼處理之資料解碼的電腦ex111、PDAex112、相機ex113、行動電話ex114、遊戲機ex115等。在接收了所傳送之資料之各機器上，將所接收之資料進行解碼處理而再生(即，作為本發明之一態樣之圖像解碼裝置而展現功能)。
此外，所攝影之資料之編碼處理亦可以相機ex113進行，亦可以進行資料之傳送處理之串流伺服器ex103進行，亦可相互分擔進行。同樣，所傳送之資料之解碼處理亦可在客戶端進行，亦可在串流伺服器ex103進行，亦可相互分擔進行。又，不限於相機ex113，亦可經由電腦ex111而將以相機ex116所攝影之靜態圖像及/或動態圖像資料傳送至串流伺服器ex103。此時之編碼處理亦可由相機ex116、電腦ex111、串流伺服器ex103之任一者進行，亦可相互分擔進行。
又，其等編碼處理及解碼處理一般是在電腦ex111或具有各機器之LSIex500予以處理。LSIex500可為單一晶片，亦可為由複數晶片構成之構成者。此外，動態圖像編碼、解碼用之軟體亦可內建於電腦ex111等可讀取之任一種記錄媒體(CD-ROM、軟碟、硬碟等)，使用該軟體來進行編碼、解碼處理。進而，在行動電話ex114為附 有相機時，亦可傳送以該相機所取得之動畫資料。此時之動態圖像資料為藉行動電話ex114所具有之LSIex500所編碼處理之資料。
又，串流伺服器ex103係複數之伺服器或複數之電腦，亦可為將資料分散處理或記錄而傳送者。
按如上執行，在內容供給系統ex100中，可讓客戶接收業已編碼之資料後進行再生者。如此，在內容供給系統ex100中，客戶可實時接收用戶所傳送之資訊再予以解碼並再生，就算沒有特別的權利或設備之用戶，亦可實現個人廣播。
又，不限於內容供給系統ex100之例，如圖18所示，在數位式廣播用系統ex200中亦可組裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一者。具體來說，在廣播台ex201中，可透過電波而將在圖像資料多工有音樂資料等之多工資料進行通訊或傳送至衛星ex202。該圖像資料係指藉上述各實施形態所說明之動態圖像編碼方法所編碼之資料(即，藉本發明之一態樣之圖像編碼裝置編碼之資料)。接收該資料之廣播衛星ex202係傳送廣播用之電波，讓可進行衛星廣播接收之家庭之天線ex204接收該電波。電視機(接收機)ex300或機上盒(STB)ex217等之裝置將所接收之多工資料解碼後再生(即，作為本發明之一態樣之圖像解碼裝置而展現功能)。
又，讀取暨解碼記錄在DVD、BD等之記錄媒體 ex215之多工資料、或將影像訊號編碼至記錄媒體ex215，進而依情況而多工有音樂訊號而寫入之讀取器(reader)/記錄器(recorder)ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，所再生之影像訊號顯示在顯示器ex219，藉記錄有多工資料之記錄媒體ex215可在其他裝置或系統將影像訊號再生。又，在連接於電纜線電視機用之電纜線ex203或衛星/地上波廣播之天線ex204之機上盒ex217內亦可安裝動態圖像解碼裝置，以電視機之顯示器ex219來顯示之。此時，亦可在電視機內安裝動態圖像解碼裝置，而非機上盒。
圖19係顯示使用有上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視機(接收機)ex300之圖。電視機ex300包含有：調諧器ex301，經由接收上述廣播之天線ex204或電纜線ex203等，而取得或輸出圖像資料上多工有聲音資料之多工資料；調變/解調部ex302，將所接收之多工資料解調或將傳送至外部之多工資料調變；及多工/解多工部ex303，將具有已解調之多工資料解多工成圖像資料與聲音資料，或將以訊號處理部ex306所編碼之圖像資料、聲音資料多工。
又，電視機ex300包含有：具有各將聲音資料、圖像資料解碼或將各自的資訊編碼之聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明之一態樣之圖像編碼裝置或圖像解碼裝置發揮功能)之訊號處理部ex306、及具有將業經解碼之聲音訊號輸出之揚聲器ex307、顯示 所解碼之圖像訊號之顯示器等之顯示部ex308之輸出部ex309。進而，電視機ex300具有介面部ex317，該介面部ex317具有受理用戶操作之操作輸入部ex312等。進而，電視機ex300包含有統籌地控制各部之控制部ex310、供電至各部之電源電路部ex311。介面部ex317，除了操作輸入部ex312外，還有與讀取器/記錄器ex218等之外部機器連接之橋接器ex313、可裝設SD卡等之記錄媒體ex216用之插槽部ex314、與硬碟等之外部記錄媒體連接用之驅動器ex315、及與電話線路網連接之數據機ex316等。此外，記錄媒體ex216是可藉所儲存之非依電性(non-volatile)/依電性之半導體記憶體元件進行電性資訊記錄者。電視機ex300之各部係經由同步匯流排而相互連接。
首先，針對電視機ex300將藉天線ex204等而由外部取得之多工資料解碼並再生之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據具有CPU等之控制部ex310之控制，在多工/解多工部ex303將調變/解調部ex302所解調之多工資料解多工。進而，電視機ex300係於聲音訊號處理部ex304將所解多工之聲音資料解碼，且將所解多工之圖像資料在影像訊號處理部ex305使用在上述各實施形態所說明解碼方法予以解碼。已解碼之聲音訊號、圖像訊號各由輸出部ex309而向外部輸出。又在輸出之時，為了使聲音訊號與圖像訊號同步再生，只要先暫時將其等訊號儲存在緩衝器ex318、ex319等即可。又，電視機ex300，亦可不由廣播等，亦可由磁碟/光碟、 SD卡等之記錄媒體ex215、ex216將多工資料讀出。其次，針對電視機ex300將聲音訊號或圖像訊號編碼後傳送至外部或寫入至記錄媒體等之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據控制部ex310之控制，在聲音訊號處理部ex304將聲音訊號編碼，在影像訊號處理部ex305，使用在上述各實施形態所說明之編碼方法進行編碼。業經編碼之聲音訊號、圖像訊號係於多工/解多工部ex303多工，而輸出至外部。在多工之時，為了使聲音訊號與圖像訊號同步，只要先暫時將其等訊號儲存在緩衝器ex320、ex321等即可。此外，緩衝器ex318、ex319、ex320、ex321係如圖所示，可具有複數，亦可為共有一個以上之緩衝器之構成。進而，除圖示之外，例如調變/解調部ex302或多工/解多工部ex303之間等亦可先將資料儲存在避免系統的溢位(overflow)、下溢(underflow)之緩衝件之緩衝器。
又，電視機ex300除了由廣播等或記錄媒體等取得聲音資料、圖像資料外，亦可具有受理麥克風或相機之AV輸入之構成，對於由其等取得之資料進行編碼處理。此外，在此電視機ex300係以可進行上述之編碼處理、多工處理及外部輸出之構成進行說明，但不能進行其等處理，但亦可為只做上述接收、解碼處理、外部輸出之構成。
又，在讀取器/記錄器ex218由記錄媒體讀出多工資料或將多工資料寫入記錄媒體時，上述解碼處理或編 碼處理亦可由電視機ex300、讀取器/記錄器ex218之任一者進行，亦可使電視機ex300與讀取器/記錄器ex218相互分擔進行。
以一例而言，將由光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之構成顯示在圖20。資訊再生/記錄部ex400包含有以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、及ex407。光學磁頭ex401係於作為光碟之記錄媒體ex215之記錄面照射雷射光點寫入資訊，檢測來自記錄媒體ex215之記錄面之反射光來讀入資訊。調變記錄部ex402係電驅動內建在光學磁頭ex401之半導體雷射，因應記錄資料進行雷射光之調變。再生解調部ex403係將內建在光學磁頭ex401之光學探測器電檢測來自記錄面之反射光之再生訊號放大，將記錄媒體ex215所記錄之訊號成分分離且解調，將所需的資訊再生。緩衝器ex404係將由用以記錄在記錄媒體ex215之資訊及記錄媒體ex215再生之資訊暫時固持。光碟馬達ex405係將記錄媒體ex215旋轉。伺服器控制部ex406係控制光碟馬達ex405之旋轉驅動，且將光學磁頭ex401移動在預定之資訊軌道，進行雷射光點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400整體之控制。上述之讀出或寫入之處理係使系統控制部ex407利用緩衝器ex404所固持之各種資訊，又因應必要進行新的資訊的生成及追加，並一邊使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406協調作動，一邊透過光學磁頭ex401，進行資訊之記 錄再生而予以實現。系統控制部ex407係以例如微處理部構成，執行讀出寫入之程式，而執行其等之處理。
在以上的說明中，光學磁頭ex401係照射雷射光點來進行說明，亦可為利用接近場光而進行更高密度之記錄之構成。
圖21係顯示成為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面形成螺旋狀的導槽(溝槽groove)，在資訊軌道ex230上事先記錄有溝槽的形狀變化而顯示光碟上的絕對位置之地點資訊。該地點資訊含有用以界定記錄區塊ex231之位置之資訊，該記錄區塊ex231係記錄資料之單位，在進行記錄或再生之裝置中將資訊軌道ex230再生，讀取地點資訊，以界定記錄區塊。又，記錄媒體ex215係含有資料記錄區ex233、內周區ex232、及外周區ex234。為記錄用戶資料所用之區域為資料記錄區ex233，配置在資料記錄區ex233內周或外周之內周區ex232及外周區ex234係用於用戶資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於如此記錄媒體ex215之資料記錄區ex233，進行將業已編碼之聲音資料、影像資料或其等資料多工之多工資料之讀寫。
在以上說明中，是以一層的DVD、BD等之光碟為例進行說明，但不限於其等，亦可為多層構造且在表面以外亦可記錄之光碟。又，亦可為在光碟之相同地方利用各種不同波長之顏色之光記錄資訊，或由各種角度記錄不同資訊之層等進行多次元之記錄/再生之構造之光碟。
又，亦可在數位廣播用系統ex200中，在具有天線ex205之車輛ex210由衛星ex202等接收資料，在車輛ex210所具有之車輛導航系統ex211等之顯示裝置將動畫再生。此外，車輛導航系統ex211之構成可考慮如圖19所示之構成中加上GPS接收部之構成，同樣的事情亦可考慮在電腦ex111或行動電話ex114等實現。
圖22A係顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話ex114之圖。行動電話ex114包含有用以於基地台ex110之間接送電波之天線ex350、可攝影圖像、靜態圖像之相機部ex365、及顯示使以相機部ex365所攝影之圖像、天線ex350所接收之圖像解碼之資料之液晶顯示器等之顯示部ex358。行動電話ex114更包含有具有操作鍵部ex366之本體部、諸如用以輸出聲音之揚聲器等之聲音輸出部ex357、用以輸入聲音之麥克風等之聲音輸入部ex356、及保存所攝影之影像、靜態圖像、所錄音之聲音或所接收之影像、靜態圖像、郵件等之業已編碼之資料或者是業已解碼之資料之記憶體部ex367、或同樣，在與作為保存資料之記錄媒體之間之介面部之插槽(slot)部ex364。
進而，針對行動電話ex114之構成例，使用圖22B予以說明。行動電話ex114係相對於統籌地控制具有顯示部ex358及操作鍵部ex366之本體部之各部之主控制部ex360，經由匯流排ex370而使電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部 ex363、液晶顯示器(LCD,Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/解多工部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367相互連接。
電源電路部ex361係一藉用戶之操作而將結束對話及電源鍵呈開啟狀態時，由電池組對著各部供電，將行動電話ex114起動為可作動之狀態。
行動電話ex114係根據具有CPU、ROM、RAM等之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354而將以聲音輸入部ex356收音之聲音訊號轉換成數位聲音訊號，以調變/解調部ex352對此進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率轉換處理之後，經由天線ex350而傳送。又，行動電話ex114係於聲音通話模式時，將經由天線ex350所接收之接收資料放大，施行頻率轉換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜逆擴散處理，以聲音訊號處理部ex354轉換成類比聲音訊號之後，且由聲音輸出部ex357予以輸出。
進而，在於資料通訊模式時傳送電子郵件時，藉本體部之操作鍵部ex366等之操作所輸入之電子郵件之正文資料係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係以調變/解調部ex352而將正文資料進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率轉換處理之後，經由天線ex350而傳送至 基地台ex110。在接收電子郵件時，對於所接收之資料進行與前述處理幾乎相反之處理，輸出至顯示部ex358。
在於資料通訊模式時傳送影像、靜態圖像或影像與聲音時，影像訊號處理部ex355係將由相機部ex365所供給之影像訊號，藉以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，當作本發明之一態樣之圖像編碼裝置發揮功能)，將業經編碼之影像資料送出至多工/解多工部ex353。又，聲音訊號處理部ex354係在以相機部ex365將影像、靜態圖像等攝影之中將聲音輸入部ex356所收音之聲音訊號編碼，將業已編碼之聲音資料送出至多工/解多工部ex353。
多工/解多工部ex353係以預定方式將由影像訊號處理部ex355所供給且業已編碼之影像資料及由聲音訊號處理部ex354所供給且業已編碼之聲音資料多工，將其結果所得到之多工資料在調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在於傳送/接收部ex351施行數位類比轉換處理及頻率轉換處理之後，經由天線ex350而傳送者。
為了在資料通訊模式時、在接收連到網頁等之動態圖像檔案之資料時、或在接收附有影像或聲音之電子郵件時，將經由天線ex350而所接收之多工資料解碼，多工/解多工部ex353將多工資料解多工，分成影像資料之位元流與聲音資料之位元流，經由同步匯流排ex370而將業已編碼之影像資料供給至影像訊號處理部ex355，並將業 已編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法解碼，將圖像訊號解碼(即，作為本發明之一態樣之圖像解碼裝置發揮)，經由LCD控制部ex359，由顯示部ex358顯示例如連到網路之動態圖像檔案所含之影像、靜態圖像。又，聲音訊號處理部ex354係將聲音訊號解碼，且由聲音輸出部ex357輸出聲音。
又，上述行動電話ex114等之終端機係與電視機ex300同樣，可考慮到除了具有編碼器及解碼器兩者之收發型終端機之外，只有編碼器之傳送終端機、只有解碼器之接收終端機等三種安裝方式。進而，在數位廣播用系統ex200中，是說明接收、傳送在影像資料多工有音樂資料等之多工資料，但除了聲音資料外，亦可為有與影像有關聯之文字資料等多工之資料，亦可為影像資料本身而非多工資料。
如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法運用在上述之任一種機器或系統，藉此，可得到在上述各實施形態所說明之效果。
又，本發明不限於上述實施形態者，可在不脫離本發明範圍下可做各種變形或修正。
(實施形態10)
亦可因應情況適當地切換上述各實施形態所示之動態圖像編碼方法或裝置、與以MPEG-2、MPEG4-AVC、VC-1 等相異之規格為準之動態圖像編碼方法或裝置，生成影像資料者。
在此，在生成有以各為不同之規格為準之複數影像資料時，在解碼時，必須選擇與各規格對應之解碼方法。惟，由於不能識別欲解碼之影像資料是以哪一規格為準，因此衍生有不能選擇適當的解碼方法之課題。
為了解決該課題，將聲音資料等多工至影像資料之多工資料係構建為含有顯示影像資料是以哪一規格為準者之識別資訊之構成。如下說明含有藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸流形式之數位流。
圖23係顯示多工資料之構成圖。如圖23所示，多工資料係將視訊流、聲訊流、演示圖形流(PG)、交互圖形流之中將一個以上多工而所得到者。視訊流表示電影之主圖像及副圖像、聲訊流(IG)表示電影之主聲音部分及與該主聲音混合之副聲音部分，演示圖形流表示電影之字幕。在此，主圖像係指顯示在畫面之通常圖像，副圖像係指以小畫面顯示在主圖像中之圖像者。又，交互圖形流係指於畫面上配置GUI零件所作成之對話畫面。視訊流指的是藉以上述各實施形態所示之動態圖像編碼方法或裝置、以習知之MPEG-2、MPEG4-AVC、VC-1等規格為準之動態圖像編碼方法或裝置所編碼。聲訊流是以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或、線性PCM等 方式所編碼。
多工資料所含之各串流係藉PID所識別。例如在於電影之圖像所利用之視訊流劃分有0×1011，音訊流劃分有0×1100至0×111F，演示圖形流劃分有0×1200至0×121F，交互圖形流劃分有0×1400至0×141F，在於電影之副圖像所利用之視訊流劃分有0×1B00至0×1B1F，與主聲音混合之副聲音所利用之音訊流劃分有0×1A00至0×1A1F。
圖24係模式地顯示多工資料是如何被多工之圖。首先，將由複數視訊框所構成之視訊流ex235、由複數聲訊流所構成之聲訊流ex238各轉換成PES封包列ex236及ex239、TS封包ex237及ex240。同樣將演示圖形流ex241及交互圖形流ex244之資料各轉換成PES封包列ex242及ex245，進行轉換成TS封包ex243及ex246。多工資料ex247係將其等TS封包多工成一條串流來構成者。
圖25係進一步詳細顯示在PES封包列中如何儲存視訊流。圖25中之第1段係顯示視訊流之視訊框列。第2段係顯示PES封包列。如圖25之箭頭符號yy1、yy2、yy3、yy4所示，視訊流中之複數視訊表達單元(Video Presentation Unit)之I圖片、B圖片、P圖片係按每一圖片分割，且儲存在PES封包之酬載。各PES封包係具有PES標頭，PES標頭儲存有成為圖片之顯示時刻之表達時間戳記(PTS,Presentation Time-Stamp)或圖片之解碼時刻之解碼時間戳記(DTS,Decoding Time-Stamp)。
圖26係顯示最終寫入於多工資料之TS封包之形 式。TS封包係188位元組(Byte)固定長度之封包，由具有識別串流之PID等之資訊之4位元組之TS標頭及儲存資料之184位元組之TS酬載所構成，上述PES封包被分割而儲存在TS酬載。在BD-ROM時，TS封包被附與有4位元組之TP_Extra_Header，構成192位元組之原始封包，寫入至多工資料。TP_Extra_Header記載有ATS(Arrival_Time_Stamp)等之資訊。ATS係顯示該TS封包轉送記錄器之PID濾波器之轉送開始時間。多工資料中，如圖26下段所示，構成有原始封包排列者，由多工資料之前頭開始增加之號碼被稱為原始封包號碼(SPN；source packet number)。
又，多工資料所含之TS封包，除了圖像、聲音、字幕等之各串流外，更有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示多工資料中所利用之PMT之PID為何者，PAT本身之PID係登錄為0。PMT係具有多工資料中所含之影像‧聲音‧字幕等之各串流之PID及與各PID對應之串流之屬性資訊，又具有與多工資料有關之各種描述符。描述符具有指示允許及不允許多工資料之複製的複製控制資訊等。PCR係為了取得作為ATS之時軸之到達時間時鐘(ATC,Arrival Time Clock)與成為PTS．DTS之時軸之系統時間時鐘(STC,System Time Clock)之同步，而具有與該PCR封包轉送至記錄器之ATS對應之STC時間之資訊。
圖27係詳細說明PMT之資料構造之圖。PMT之前頭配置有記著該PMT所含之資料的長度等之PMT標頭。 在其之後面配置有複數與多工資料有關之描述符。上述複製控制資訊等係記載為描述符。描述符之後配置有複數與多工資料所含之各串流有關之串流資訊。串流資訊係為於識別串流之壓縮編解碼器等，而由記載有串流形式、串流之PID、串流之屬性資訊(框速率、長寬比等)之串流描述符所構成。串流描述符之數有存在於多工資料之串流數這麼多。
在記錄於記錄媒體等的時候，上述多工資料係與多工資料資訊檔案一起記錄。
多工資料資訊檔案，如圖28所示，為多工資料之管理資訊，與多工資料呈一對一之對應關係，由多工資料資訊、串流屬性資訊及登錄圖(entry map)所構成者。
多工資料資訊，如圖28所示，由系統速率、再生開始時刻、再生結束時刻所構成者。系統速率表示多工資料轉送至後述的系統指標解碼器之PID濾波器之最大轉送速率。多工資料中所含之ATS之間隔係設定為系統速率以下。再生開始時刻係多工資料之前頭之視訊框之PTS，再生結束時刻係於在多工資料之末端之視訊框之PTS加上一框量之再生間隔者。
串流屬性資訊，如圖29所示，針對多工資料所含之各串流之屬性資訊係登錄於每PID。屬性資訊具有視訊流、聲訊流、演示圖形流、交互圖形流各為不同之資訊。視訊流屬性資訊具有該視訊流是以何種壓縮編碼解碼器所壓縮、構成視訊流之每個圖片資料之圖像解析度有多 少、長寬比有多少、框速率有多少等之資訊。聲訊流屬性資訊具有該聲訊流是以哪種壓縮編碼解碼器所壓縮、該聲訊流所含之頻道數為何、是對應何種語言、抽樣頻率有多少等之資訊。其等資訊是利用在於播放器再生前之記錄器之初始化等。
在本實施形態中，利用上述多工資料中PMT所含之串流形式。又，記錄媒體記錄有多工資料時，利用包含在多工資料資訊之視訊流屬性資訊。具體來說，在於上述各實施形態所示之動態圖像編碼方法或裝置中，設置設定固有資訊之步驟或手法，固有資訊係相對於PMT所含之串流形式或視訊流屬性資訊，顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料者。藉該構成，可識別藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料與以其他規格為準之影像資料。
又，將本實施形態中之動態圖像解碼方法之步驟顯示在圖30。在步驟exS100中，由多工資料取得PMT所含之串流形式或多工資料資訊所含之視訊流屬性資訊。其次，在步驟exS101中，判斷串流形式或視訊流屬性資訊是否顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之多工資料。接著，在串流形式或視訊流屬性資料被判斷為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成者之時，在步驟exS102中，藉上述各實施形態所示之動態圖像解碼方法，來進行解碼。又，在串流 形式或視訊流屬性資訊被判斷為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格者之時，在步驟exS103中，藉以習知之規格為準之動態圖像解碼方法進行解碼。
如此，藉於串流形式或視訊流屬性資訊設定新的固有值，在解碼時，能判斷是否可以上述各實施形態所示之動態圖像解碼方法或裝置解碼者。因此，即使在輸入有以不同的規格為準之多工資料時，亦可選擇適當的解碼方法或裝置，因此可在不產生錯誤之狀態下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置或者是動態圖像解碼方法或裝置運用在上述任一機器及系統。
(實施形態11)
上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可以積體電路之LSI實現。以一例來說，在圖31顯示構成為單一晶片之LSIex500之構成。LSIex500包含有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係經由匯流排ex510而連接者。電源電路部ex505係於電源為開啟狀態時，對於各部供電，而在可作動之狀態下起動。
例如在進行編碼處理時，LSIex500係根據包含有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉AV I/Oex509，由麥克風ex117或相機ex113等輸入AV訊號。所 輸入之AV訊號暫時先儲存在SDRAM等外部之記憶體ex511。根據控制部ex501之控制，所儲存之資料係按處理量或處理速度，例如適當地分成數次等，而送至訊號處理部ex507，在訊號處理部ex507中，進行聲音訊號之編碼及/或圖像訊號之編碼。在此圖像訊號之編碼處理是上述各實施形態所說明之編碼處理。在訊號處理部ex507中，依情況進而進行業已編碼之聲音資料及業已編碼之影像資料多工等之處理，由串流I/Oex506輸出至外部。該所輸出之多工資料係朝基地台ex107傳送，或寫入至記錄媒體ex215。此外，在多工處理時，為了同步，只要先將資料暫時儲存在緩衝器ex508即可。
此外，在上述說明中，說明了記憶體ex511為LSIex500之外部構成，亦可為包含在LSIex500之內部之構成。緩衝器ex508亦可不限於一個，亦可為具有複數緩衝器者。又，LSIex500可為單一晶片，亦可複數晶片化。
又，在上述說明中，控制部ex501係構成為具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等者，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為更具有CPU之構成。在訊號處理部ex507之內部亦設置CPU，就可更加提昇處理速度。又，以另一例而言，CPUex502亦可為具有訊號處理部ex507或具有訊號處理部ex507之一部例如聲音處理部之構成。在如此形態下，控制部ex501成為具有訊號處理部ex507或具有該一部分之CPUex502之構成。
此外，在此是構成為LSI，但依積體度的不同，亦可被稱為IC、系統LSI、SUPER LSI、ULTRA LSI。
又，實現積體電路之手法不限於LSI，但亦可以專用電路或萬用處理器實現。在LSI製造之後，亦可利用可程式化之FPGA(Field Programmable Gate Array)或可再構成LSI內部之電路胞元之連接或設定之可重組態處理器。如此之可程式性邏輯裝置，典型來說，可將構成軟體或韌體的程式，藉由負載或是從記憶體等讀入，而可執行上述各實施形態所示之動態圖像編碼方法、或動態圖像解碼方法。
進而，在藉半導體技術之進步或衍生之其他技術來讓替換成LSI之積體電路化之技術上場時，當然亦可使用該技術來進行功能區塊之積體化。生技的運用等亦存在著可能性。
(實施形態12)
在與對藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料進行解碼時，與對以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之圖像資料的時候相比，考慮將處理量增加者。為此，在LSIex500，必須設定在比將以習知規格為準之影像資料解碼時之CPUex502之驅動頻率更高之驅動頻率。惟，會產生一提高驅動頻率就使耗電高之課題。
為解決該課題，採用電視機ex300、LSIex500等之動態圖像解碼裝置係識別影像資料是以哪一規格為準 者，因應規格而切換驅動頻率之構成。圖32係顯示本實施形態中之構成ex800。驅動頻率切換部ex803係於影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成時，將驅動頻率提高設定。接著，對於執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801發出指示，來對影像資料解碼者。另一方面，在影像資料為以習知規格為準之圖像資料時，與影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之時候相比，將驅動頻率降低設定。接著對於以習知規格為準之解碼處理部ex802發出指示，來將影像資料解碼者。
更具體地說，驅動頻率切換部ex803係由圖31之CPUex502與驅動頻率控制部ex512所構成者。又，執行上述各實施形態中所示之動態圖像解碼方法之解碼處理部ex801及以習知規格為準之解碼處理部ex802係相當於圖31之訊號處理部ex507。CPUex502係識別影像資料是以哪一規格為準者。接著，根據來自CPUex502之訊號，驅動頻率控制部ex512係設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507係進行影像資料之解碼。在此，影像資料之識別上，例如可考慮利用實施形態10所記述之識別資訊。有關於識別資訊，不限於實施形態10所記載者，只要是可識別影像資料是以哪一規格為準之資訊即可。例如，根據識別影像資料是利用在電視者或者是利用在光碟者之外部訊號，在可識別出影像資料是以哪一規格為準者的時候，亦可根據如此之外部訊號進行識別。又， CPUex502中之驅動頻率選擇，可考慮根據具有圖34所示之影像資料的規格及驅動頻率之對應關係之查找表進行者。先將查找表儲存在緩衝器ex508或LSI之內部記憶體，CPUex502係參考該查找表，就可選擇驅動頻率。
圖33是顯示實施本實施形態之方法之步驟。首先，在步驟exS200中，於訊號處理部ex507上由多工資料取得識別資訊。其次，在步驟exS201中，於CPUex502上，根據識別資訊，識別影像資料是否為藉由上述各實施形態所示之編碼方法或裝置所生成者。在影像資料為藉由上述各實施形態所示之編碼方法或裝置所生成之時，在步驟exS202中，CPUex502係將驅動頻率提高設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，設定高驅動頻率。另一方面，在顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，在步驟exS203中，CPUex502係將驅動頻率降低設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512上，和影像資料經由上述各實施形態所示之編碼方法或裝置所生成之時候相比，設定較低的驅動頻率。
進而，與驅動頻率之切換連動而變更提供給含有LSIex500或LSIex500之裝置之電壓，就更能提高省電效果。例如，將驅動頻率降低設定時，隨此，與將驅動頻率提高設定的時候相比，可考慮將提供至含有LSIex500或LSIex500之裝置之電壓降低設定者。
又，驅動頻率之設定方法係於欲解碼時之處理 量很大時，只要將驅動頻率提高設定，而於欲解碼時之處理量很小時，則將驅動頻率降低設定，即可採用，不限於上述之設定方法。例如，將以MPEG4-AVC規格為準之影像資料解碼之處理量比經由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料解碼之處理量大時，可考慮與上述時候相反地執行驅動頻率之設定者。
進而，驅動頻率的設定方法不限於將驅動頻率降低之構成。例如在識別資訊係顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可考慮提高設定供應至含有LSIex500或LSIex500之裝置之電壓，在顯示為以習知MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，可考慮降低設定提供至含有LSIex500或LSIex500之裝置之電壓。又，以另一例來說，識別資訊係於顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可考慮不使CPUex502之驅動停止，在顯示以習知MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，因為處理能充裕進行，因此可考慮暫時將CPUex502之驅動停止。即使在識別資訊於顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，只要處理能充裕進行時，亦可考慮暫時停止CPUex502之驅動。此時，與顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料的時候相比，可考慮將停止時間縮短設定者。
如此，因應影像資料所依據之規格來切換驅動頻率，可謀求省電。又，在使用電池以驅動含有LSIex500或LSIex500之裝置時，隨著省電，可延長電池的壽命。
(實施形態13)
在電視機或行動電話等上述之機器及系統有以不同規格為準之複數影像資料輸入之狀況。像這樣為了做到能在輸入有以不同規格為準之複數影像資料時也能解碼者，LSIex500之訊號處理部ex507必須能對應於複數規格。惟，如果分別使用對應於各規格之訊號處理部ex507時，將使LSIex500之電路規模變得龐大，又會衍生有增加成本之課題。
為解決該課題，採用將用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部及以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之解碼處理部局部共有之構成。將該構成例顯示於圖35A之ex900。例如，以上述各實施形態所示之動態圖像解碼方法與以MPEG4-AVC規格為準之動畫解碼方法，於熵編碼、逆量化、解塊(deblocking)濾波、動態補償等之處理上有處理內容部分共通。可考慮採用一種針對共通之處理內容，共有對應於MPEG4-AVC規格之解碼處理部ex902，而針對不對應於MPEG4-AVC規格之本發明之一態樣特有之其他處理內容，則可考慮使用專用的解碼處理部ex901之構成。有關於解碼處理部之共有化，是針對共通的處理內容共有用以執行上述各實施形態所示之動態圖像解碼方法之解碼處 理部，對於MPEG4-AVC規格所特有之處理內容，亦可為使用專用的解碼處理部之構成。
又，將使部分處理共有之另一例顯示在圖35B之ex1000。在該例中，係構成為對應於本發明之一態樣特有之處理內容之專用的解碼處理部ex1001、對應於其他習知規格特有之處理內容之專用的解碼處理部ex1002、對應於本發明之一態樣之動態圖像解碼方法與其他習知規格之動態圖像解碼方法所共通之處理內容之共用的解碼處理部ex1003之構成。在此，專用的解碼處理部ex1001、ex1002未必為本發明之一態樣、或其他特殊規格所特有之處理內容特殊化者，亦可為可執行其他萬用處理者。又，本實施形態之構成亦可以LSIex500來進行安裝。
如此，本發明之一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法共通之處理內容係共有解碼處理部，因此可將LSI的電路規模縮小，且可降低成本。
【產業上之利用可能性】
本發明之圖像編碼方法及圖像解碼方法，可適用於所有的多重媒體資料。本發明之圖像編碼方法及圖像解碼方法，在例如使用了行動電話、DVD裝置、及個人電腦等的蓄積、傳送、通信等之圖像編碼方法及圖像解碼方法上為有用的。
1310‧‧‧切片標頭

Claims (10)

  1. 一種圖像編碼方法，是將圖片分割成複數個切片而執行編碼處理的圖像編碼方法，包含有位元流發送步驟，該位元流包含有依存切片有效化旗標(dependent_slice_enabled_flag)、切片位址、及依存性指示(indication)(dependent_slice_flag)，其中該依存切片有效化旗標是顯示：依存於對於處理對象之切片以外的其他切片的前述編碼處理之結果來進行前述編碼處理的依存切片，是否被包含在前述圖片；該切片位址是顯示：前述處理對象之切片的開始位置；而該依存性指示則是顯示：前述處理對象之切片是否為前述依存切片，且前述依存切片有效化旗標是配置於前述複數個切片共通的參數集內，前述切片位址是配置於前述處理對象之切片的切片標頭內，而前述依存性指示則是配置於前述切片標頭內、在前述切片位址之前、且在識別前述參數集的語法元件(pic_parameter_set_id)之後，其中前述複數個切片分別包含有複數個巨集塊，在前1個處理對象之切片所含的複數個巨集塊之中，對於2個巨集塊執行前述編碼處理之後，開始執行對於前述處理對象之切片的前述編碼處理。
  2. 如請求項1之圖像編碼方法，其中前述依存性指示，在前述依存切片有效化旗標顯示含有前述依存切片時，會被包含在前述位元流。
  3. 如請求項1或2之圖像編碼方法，其中前述依存切片有效化旗標是配置於前述參數集之表頭。
  4. 如請求項1或2之圖像編碼方法，在前述複數個切片之中，前述圖片最初被處理的切片之切片標頭不含有前述依存性指示。
  5. 一種圖像解碼方法，是將圖片分割成複數個切片而執行解碼處理的圖像解碼方法，包含有從經編碼之位元流抽出依存切片有效化旗標、切片位址、及依存性指示之步驟，其中該依存切片有效化旗標是顯示：依存於對於處理對象之切片以外的其他切片的前述解碼處理之結果來進行前述解碼處理的依存切片，是否被包含在前述圖片；該切片位址是顯示：前述處理對象之切片的開始位置；而該依存性指示則是顯示：前述處理對象之切片是否為前述依存切片，且前述依存切片有效化旗標是配置於前述複數個切片共通的參數集內，前述切片位址是配置於前述處理對象之切片的切片標頭內，而前述依存性指示則是配置於前述切片標頭內、在前述切片位址之前、且在識別前述參數集的語法元件之後， 其中前述複數個切片分別包含有複數個巨集塊，在前1個處理對象之切片所含的複數個巨集塊之中，對於2個巨集塊執行前述解碼處理之後，開始執行對於前述處理對象之切片的前述解碼處理。
  6. 如請求項5之圖像解碼方法，其中前述依存性指示在前述依存切片有效化旗標顯示含有前述依存切片時，會從前述位元流抽出。
  7. 如請求項5或6之圖像解碼方法，其中前述依存切片有效化旗標是配置於前述參數集之表頭。
  8. 如請求項5或6之圖像解碼方法，在前述複數個切片之中，前述圖片最初被處理的切片之切片標頭不含有前述依存性指示。
  9. 一種圖像編碼裝置，是將圖片分割成複數個切片而執行編碼處理的圖像編碼裝置，包含有編碼部，該編碼部發送包含有依存切片有效化旗標、切片位址、及依存性指示的位元流，其中該依存切片有效化旗標是顯示：依存於對於處理對象之切片以外的其他切片的前述編碼處理之結果來進行前述編碼處理的依存切片，是否被包含在前述圖片；該切片位址是顯示：前述處理對象之切片的開始位置；該依存性指示則是顯示：前述處理對象之切片是否為前述依存切片，且前述依存切片有效化旗標是配置於前述複數個切片共通的參數集內， 前述切片位址是配置於前述處理對象之切片的切片標頭內，而前述依存性指示則是配置於前述切片標頭內、在前述切片位址之前、且在識別前述參數集的語法元件之後，其中前述複數個切片分別包含有複數個巨集塊，在前1個處理對象之切片所含的複數個巨集塊之中，對於2個巨集塊執行前述編碼處理之後，開始執行對於前述處理對象之切片的前述編碼處理。
  10. 一種圖像解碼裝置，是將圖片分割成複數個切片而執行解碼處理的圖像解碼裝置，包含有解碼部，該解碼部從經編碼之位元流抽出依存切片有效化旗標、切片位址、及依存性指示，其中該依存切片有效化旗標是顯示：依存於對於處理對象之切片以外的其他切片的前述解碼處理之結果來進行前述解碼處理的依存切片，是否被包含在前述圖片；該切片位址是顯示：前述處理對象之切片的開始位置；該依存性指示則是顯示：前述處理對象之切片是否為前述依存切片，且前述依存切片有效化旗標是配置於前述複數個切片共通的參數集內，前述切片位址是配置於前述處理對象之切片的切片標頭內，而前述依存性指示則是配置於前述切片標頭內、在 前述切片位址之前、且在識別前述參數集的語法元件之後，其中前述複數個切片分別包含有複數個巨集塊，在前1個處理對象之切片所含的複數個巨集塊之中，對於2個巨集塊執行前述解碼處理之後，開始執行對於前述處理對象之切片的前述解碼處理。
TW102134121A 2012-09-26 2013-09-23 Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding / decoding device TWI593274B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261705846P 2012-09-26 2012-09-26
US201261711892P 2012-10-10 2012-10-10

Publications (2)

Publication Number Publication Date
TW201429253A TW201429253A (zh) 2014-07-16
TWI593274B true TWI593274B (zh) 2017-07-21

Family

ID=50385285

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102134121A TWI593274B (zh) 2012-09-26 2013-09-23 Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding / decoding device

Country Status (21)

Country Link
US (8) US9014494B2 (zh)
EP (7) EP3876536B1 (zh)
JP (4) JP6172535B2 (zh)
KR (2) KR102169058B1 (zh)
CN (2) CN108282655B (zh)
AU (1) AU2013322008B2 (zh)
BR (1) BR112015004140A8 (zh)
CA (1) CA2881221C (zh)
DK (1) DK3122048T3 (zh)
ES (4) ES2664361T3 (zh)
HK (1) HK1253286A1 (zh)
MX (1) MX339463B (zh)
MY (1) MY176984A (zh)
PH (3) PH12017501838A1 (zh)
PL (3) PL3876536T3 (zh)
PT (1) PT3122048T (zh)
RU (2) RU2653236C2 (zh)
SG (1) SG11201500846TA (zh)
TR (1) TR201802584T4 (zh)
TW (1) TWI593274B (zh)
WO (1) WO2014050038A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120251012A1 (en) * 2009-12-18 2012-10-04 Tomohiro Ikai Image filter, encoding device, decoding device, and data structure
CA2878807C (en) * 2012-07-09 2018-06-12 Vid Scale, Inc. Codec architecture for multiple layer video coding
RU2653236C2 (ru) * 2012-09-26 2018-05-07 Вилос Медиа Интернэшнл Лимитед Способ кодирования изображения, способ декодирования изображения, устройство кодирования изображения, устройство декодирования изображения и устройство кодирования и декодирования изображения
WO2014087860A1 (ja) * 2012-12-06 2014-06-12 ソニー株式会社 復号装置、復号方法、およびプログラム
RU2608353C1 (ru) * 2013-01-04 2017-01-18 Самсунг Электроникс Ко., Лтд. Способ энтропийного кодирования сегмента слайса и устройство для него, и способ энтропийного декодирования сегмента слайса и устройство для него
US9628792B2 (en) 2013-07-15 2017-04-18 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
US10178397B2 (en) 2014-03-24 2019-01-08 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
WO2015174894A1 (en) * 2014-05-13 2015-11-19 Telefonaktiebolaget L M Ericsson (Publ) Methods, source device, target device and analyser for managing video coding
US10038915B2 (en) * 2014-05-22 2018-07-31 Qualcomm Incorporated Escape sample coding in palette-based video coding
KR102276854B1 (ko) * 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
EP3134995B1 (en) 2014-08-07 2021-12-22 DivX, LLC Systems and methods for protecting elementary bitstreams incorporating independently encoded tiles
JP6365102B2 (ja) * 2014-08-14 2018-08-01 富士ゼロックス株式会社 データ処理装置およびプログラム
CN105874800B (zh) * 2014-09-17 2019-05-10 联发科技股份有限公司 句法解析装置和句法解析方法
US10212445B2 (en) * 2014-10-09 2019-02-19 Qualcomm Incorporated Intra block copy prediction restrictions for parallel processing
US10334248B2 (en) 2015-05-29 2019-06-25 Qualcomm Incorporated Coding data using an enhanced context-adaptive binary arithmetic coding (CABAC) design
US20170105010A1 (en) * 2015-10-09 2017-04-13 Microsoft Technology Licensing, Llc Receiver-side modifications for reduced video latency
US10827186B2 (en) * 2016-08-25 2020-11-03 Intel Corporation Method and system of video coding with context decoding and reconstruction bypass
US10805611B2 (en) * 2016-10-18 2020-10-13 Mediatek Inc. Method and apparatus of constrained sequence header
CN106534137B (zh) * 2016-11-18 2020-01-14 浙江宇视科技有限公司 媒体流传输方法及装置
US10469876B2 (en) * 2016-12-22 2019-11-05 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
EP3603074A2 (en) * 2017-03-20 2020-02-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Advanced video data stream extraction and multi-resolution video transmission
WO2018194040A1 (ja) * 2017-04-17 2018-10-25 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、記録装置および記録方法
US10291936B2 (en) * 2017-08-15 2019-05-14 Electronic Arts Inc. Overcoming lost or corrupted slices in video streaming
CN115115720A (zh) * 2018-04-25 2022-09-27 杭州海康威视数字技术股份有限公司 一种图像解码、编码方法、装置及其设备
US11216923B2 (en) * 2018-05-23 2022-01-04 Samsung Electronics Co., Ltd. Apparatus and method for successive multi-frame image denoising
JP7384902B2 (ja) 2018-09-14 2023-11-21 華為技術有限公司 映像符号化におけるスライシング及びタイリング
US11140403B2 (en) 2018-12-20 2021-10-05 Tencent America LLC Identifying tile from network abstraction unit header
JP7368477B2 (ja) * 2018-12-31 2023-10-24 華為技術有限公司 ビデオエンコーダ、ビデオデコーダ、及び対応する方法
KR20240042149A (ko) * 2018-12-31 2024-04-01 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코더, 비디오 디코더 및 상응하는 방법들
US20220256194A1 (en) * 2019-06-20 2022-08-11 Sony Semiconductor Solutions Corporation Image processing apparatus and method
KR102540022B1 (ko) 2019-06-24 2023-06-02 텔레폰악티에볼라겟엘엠에릭슨(펍) 인코딩된 비디오 비트스트림에 포함된 데이터의 양을 줄이기 위한 파라미터 세트의 시그널링 파라미터 값 정보
WO2020263133A1 (en) * 2019-06-28 2020-12-30 Huawei Technologies Co., Ltd. Method and apparatus for still picture and video coding
WO2020263132A1 (en) * 2019-06-28 2020-12-30 Huawei Technologies Co., Ltd. Method and apparatus for lossless still picture and video coding
JP7144775B2 (ja) 2019-07-17 2022-09-30 信越化学工業株式会社 紫外線硬化型オルガノポリシロキサン組成物
EP4008109A4 (en) 2019-09-02 2022-09-14 Beijing Bytedance Network Technology Co., Ltd. ENCODING MODE DETERMINATION BASED ON COLOR FORMAT
WO2021045765A1 (en) * 2019-09-05 2021-03-11 Huawei Technologies Co., Ltd. Efficient adaptive loop filter parameter signaling in video coding
US11758193B2 (en) * 2019-11-04 2023-09-12 Hfi Innovation Inc. Signaling high-level information in video and image coding
JP7470795B2 (ja) * 2020-01-03 2024-04-18 華為技術有限公司 柔軟なプロファイル構成のエンコーダ、デコーダ及び対応する方法
KR20220143943A (ko) 2020-02-28 2022-10-25 후아웨이 테크놀러지 컴퍼니 리미티드 슬라이스 헤더 신택스 엘리먼트의 시그널링을 단순화하는 인코더, 디코더, 및 대응하는 방법
KR20220164549A (ko) * 2020-04-02 2022-12-13 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 효율적인 관심영역, 스트림 액세스 및 파라미터 세트 처리를 허용하는 파일 포맷 체계
CN112822514B (zh) * 2020-12-30 2022-06-28 北京大学 基于依赖关系的视频流分组传输方法、系统、终端及介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7903742B2 (en) * 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
EP1753242A2 (en) * 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
US8634462B2 (en) * 2007-03-13 2014-01-21 Matthias Narroschke Quantization for hybrid video coding
WO2008126059A2 (en) * 2007-04-17 2008-10-23 Nokia Corporation Feedback based scalable video coding
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
CN101389021B (zh) * 2007-09-14 2010-12-22 华为技术有限公司 视频编解码方法及装置
US8938009B2 (en) * 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
RU2010120518A (ru) * 2007-10-15 2011-11-27 Нокиа Корпорейшн (Fi) Пропуск информации движения и одноцикловое кодирование для многоракурсного видеоконтента
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
KR101375668B1 (ko) * 2008-03-17 2014-03-18 삼성전자주식회사 변환 계수의 부호화, 복호화 방법 및 장치
EP2286595A1 (en) * 2008-06-16 2011-02-23 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
CN101939994B (zh) * 2008-12-08 2013-07-17 松下电器产业株式会社 图像解码装置及图像解码方法
US8705879B2 (en) * 2009-04-01 2014-04-22 Microsoft Corporation Image compression acceleration using multiple processors
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
JP4957831B2 (ja) * 2009-08-18 2012-06-20 ソニー株式会社 再生装置および再生方法、並びに記録装置および記録方法
ES2554237T3 (es) * 2009-10-01 2015-12-17 Sk Telecom. Co., Ltd. Método y aparato para codificar/decodificar imagen usando una capa dividida
KR101504887B1 (ko) * 2009-10-23 2015-03-24 삼성전자 주식회사 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
GB2488159B (en) * 2011-02-18 2017-08-16 Advanced Risc Mach Ltd Parallel video decoding
US9338465B2 (en) * 2011-06-30 2016-05-10 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
JP5918903B2 (ja) * 2012-04-12 2016-05-18 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 拡張データの処理
KR102096566B1 (ko) * 2012-04-13 2020-04-02 지이 비디오 컴프레션, 엘엘씨 저지연 화상 코딩
US20130343465A1 (en) * 2012-06-26 2013-12-26 Qualcomm Incorporated Header parameter sets for video coding
US20140056356A1 (en) * 2012-08-21 2014-02-27 Motorola Mobility Llc Method and apparatus for efficient signaling of weighted prediction in advanced coding schemes
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
RU2653236C2 (ru) * 2012-09-26 2018-05-07 Вилос Медиа Интернэшнл Лимитед Способ кодирования изображения, способ декодирования изображения, устройство кодирования изображения, устройство декодирования изображения и устройство кодирования и декодирования изображения
CN104584555B (zh) * 2012-09-26 2018-07-17 太阳专利托管公司 图像解码方法、图像解码装置
US9491457B2 (en) * 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US20140092978A1 (en) * 2012-10-01 2014-04-03 Nokia Corporation Method and apparatus for video coding
GB2521606A (en) * 2013-12-20 2015-07-01 Canon Kk Method and apparatus for transition encoding in video coding and decoding
GB2531005A (en) * 2014-10-06 2016-04-13 Canon Kk Improved encoding process using a palette mode
KR102349788B1 (ko) * 2015-01-13 2022-01-11 인텔렉추얼디스커버리 주식회사 영상의 부호화/복호화 방법 및 장치
EP4346211A3 (en) * 2018-09-03 2024-06-19 Huawei Technologies Co., Ltd. Method and apparatus for intra prediction
AU2019344400C1 (en) * 2018-09-18 2023-12-21 Huawei Technologies Co., Ltd. A video encoder, a video decoder and corresponding methods

Also Published As

Publication number Publication date
ES2953336T3 (es) 2023-11-10
JP6558784B2 (ja) 2019-08-14
US20140093180A1 (en) 2014-04-03
US20200195975A1 (en) 2020-06-18
US20180084282A1 (en) 2018-03-22
US9014494B2 (en) 2015-04-21
EP2903267A4 (en) 2015-09-09
AU2013322008A1 (en) 2015-02-26
US9872043B2 (en) 2018-01-16
EP3876536B1 (en) 2023-06-14
RU2653236C2 (ru) 2018-05-07
EP3654649B1 (en) 2021-05-26
JP6172535B2 (ja) 2017-08-02
US20160241879A1 (en) 2016-08-18
EP4351137A3 (en) 2024-05-15
BR112015004140A2 (pt) 2019-10-29
US11632572B2 (en) 2023-04-18
CN108282655A (zh) 2018-07-13
EP4351137A2 (en) 2024-04-10
PH12017501838B1 (en) 2018-07-02
RU2018111944A3 (zh) 2021-03-31
US9503755B2 (en) 2016-11-22
EP3301923A1 (en) 2018-04-04
EP4221217A1 (en) 2023-08-02
ES2630359T3 (es) 2017-08-21
PH12015500365B1 (en) 2015-04-20
DK3122048T3 (en) 2018-03-12
EP3122048A1 (en) 2017-01-25
MX339463B (es) 2016-05-27
US20170034534A1 (en) 2017-02-02
PL2903267T3 (pl) 2017-09-29
RU2015103543A (ru) 2016-11-20
JPWO2014050038A1 (ja) 2016-08-22
EP3876536A1 (en) 2021-09-08
US20240196020A1 (en) 2024-06-13
US10616605B2 (en) 2020-04-07
EP2903267B1 (en) 2017-04-05
SG11201500846TA (en) 2015-05-28
PH12019501972A1 (en) 2021-02-08
KR102169058B1 (ko) 2020-10-23
RU2756093C2 (ru) 2021-09-28
CN104737541A (zh) 2015-06-24
EP3654649A1 (en) 2020-05-20
KR102072832B1 (ko) 2020-02-03
MY176984A (en) 2020-08-31
JP6317015B2 (ja) 2018-04-25
EP3301923B1 (en) 2020-01-08
TR201802584T4 (tr) 2018-03-21
AU2013322008A2 (en) 2015-03-05
PH12017501838A1 (en) 2018-07-02
RU2018111944A (ru) 2019-02-28
PL3122048T3 (pl) 2018-07-31
WO2014050038A1 (ja) 2014-04-03
JP6758456B2 (ja) 2020-09-23
US11943484B2 (en) 2024-03-26
EP3122048B1 (en) 2018-01-17
KR20150063356A (ko) 2015-06-09
TW201429253A (zh) 2014-07-16
PT3122048T (pt) 2018-04-20
PH12015500365A1 (en) 2015-04-20
CA2881221C (en) 2021-04-27
MX2015002889A (es) 2015-07-06
JP2017192144A (ja) 2017-10-19
AU2013322008B2 (en) 2016-10-27
ES2664361T3 (es) 2018-04-19
EP2903267A1 (en) 2015-08-05
CA2881221A1 (en) 2014-04-03
BR112015004140A8 (pt) 2023-01-24
US20150131738A1 (en) 2015-05-14
US9357234B2 (en) 2016-05-31
ES2780006T3 (es) 2020-08-21
JP2019205183A (ja) 2019-11-28
US20230209095A1 (en) 2023-06-29
KR20200013098A (ko) 2020-02-05
PL3876536T3 (pl) 2023-11-06
JP2018125881A (ja) 2018-08-09
CN104737541B (zh) 2018-04-10
CN108282655B (zh) 2021-09-10
HK1253286A1 (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
JP6758456B2 (ja) 画像復号方法、画像復号装置、およびコンピュータ読取可能な媒体
KR101918808B1 (ko) 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
KR102063239B1 (ko) 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
RU2627109C2 (ru) Способ кодирования, способ декодирования, устройство кодирования, устройство декодирования и устройство кодирования и декодирования