TW201340720A - 動態圖像編碼方法、動態圖像編碼裝置、動態圖像解碼方法、動態圖像解碼裝置、及動態圖像編碼解碼裝置 - Google Patents

動態圖像編碼方法、動態圖像編碼裝置、動態圖像解碼方法、動態圖像解碼裝置、及動態圖像編碼解碼裝置 Download PDF

Info

Publication number
TW201340720A
TW201340720A TW101146859A TW101146859A TW201340720A TW 201340720 A TW201340720 A TW 201340720A TW 101146859 A TW101146859 A TW 101146859A TW 101146859 A TW101146859 A TW 101146859A TW 201340720 A TW201340720 A TW 201340720A
Authority
TW
Taiwan
Prior art keywords
motion vector
decoding
block
list
encoding
Prior art date
Application number
TW101146859A
Other languages
English (en)
Other versions
TWI581619B (zh
Inventor
Toshiyasu Sugio
Takahiro Nishi
Youji Shibahara
Kyoko Tanikawa
Hisao Sasai
Toru Matsunobu
Kengo Terada
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=48612172&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TW201340720(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of TW201340720A publication Critical patent/TW201340720A/zh
Application granted granted Critical
Publication of TWI581619B publication Critical patent/TWI581619B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明之動態圖像編碼裝置具備框內‧框間預測部,係針對與編碼對象圖片所含之編碼對象區塊在空間上相鄰接,或與不同於編碼對象圖片之圖片所含在時間上相鄰接之1以上之對應區塊之各個,於列表選擇性地追加對應區塊之運動向量時,將在時間上相鄰接之對應區塊之第1運動向量予以定標處理,藉此算出第2運動向量,判斷第2運動向量是否包含在預定大小之範圍,若第2運動向量包含在預定大小之範圍內,則於列表追加第2運動向量者。

Description

動態圖像編碼方法、動態圖像編碼裝置、動態圖像解碼方法、動態圖像解碼裝置、及動態圖像編碼解碼裝置 發明領域
本發明係關於一種就每一區塊編碼複數個圖片之動態圖像編碼方法、及就每一區塊解碼複數個圖片之動態圖像解碼方法。
發明背景
於H.264之框間預測解碼中,B片段等所含之雙向參考區塊係藉由參考與解碼對象區塊所含圖片不同圖片之2個圖像資料,來將解碼對象區塊之圖像資料予以預測解碼。
而於H.264存在有稱為直接模式之用以製作預測圖像之運動向量導出模式(非專利文獻1之8.4.1.2.1節、3.45節等)。
H.264之直接模式包括以下(S)及(T)兩種模式。
(T)以預定比率,將(時間上雖不同)在空間上位於相同位置之同位區塊(Col_Blk)之運動向量mcCol予以定標處理而利用之時間直接模式(temporal mode)。
(S)利用有關(在時間上顯示時刻雖相同之圖片)在空間上位置不同的區塊之運動向量之資料(motion data: 運動資料)之空間直接模式(special direct mode)。
先行技術文獻 非專利文獻
[非專利文獻1]ITU-T H.264 03/2010
[非專利文獻2]WD4:Working Draft 4 of High-Efficiency Video Coding
Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting:Torino,IT,14-22 July,2011、Document:JCTVC-F803_d2
發明概要
然而,於上述時間直接模式,定標處理時需要乘法計算。因此,定標處理後,編碼側或解碼側所處理的運動向量之位元精度範圍可能變大,故編碼側或解碼側之負載增加。
因此,本發明係提供一種可刪減處理負載,同時維持編碼效率之動態圖像編碼方法及動態圖像解碼方法。
本發明之一態樣之動態圖像編碼方法係就每一區塊編碼複數個圖片者,且包含:追加步驟,係針對與編碼對象圖片所含之編碼對象區塊在空間上相鄰接,或與不同於前述編碼對象圖片之圖片所含在時間上相鄰接之1以 上之對應區塊之各個,於列表選擇性地追加前述對應區塊之運動向量者;選擇步驟,係從前述列表,選擇為了前述編碼對象區塊之編碼所用之運動向量者;及編碼步驟,係利用前述選擇步驟中所選擇的前述運動向量,編碼前述編碼對象區塊者;於前述追加步驟,將前述在時間上相鄰接之對應區塊之第1運動向量予以定標處理,藉此算出第2運動向量,判斷所算出的第2運動向量是否包含在預定大小之範圍,若前述第2運動向量包含在前述預定大小之範圍內,則於前述列表追加前述第2運動向量作為前述對應區塊之運動向量。
又,本發明之一態樣之動態圖像解碼方法係就每一區塊解碼複數個圖片者,且包含:追加步驟,係針對與解碼對象圖片所含之解碼對象區塊在空間上相鄰接,或與不同於前述解碼對象圖片之圖片所含在時間上相鄰接之1以上之對應區塊之各個,於列表選擇性地追加前述對應區塊之運動向量者;選擇步驟,係從前述列表,選擇為了前述解碼對象區塊之解碼所用之運動向量者;及解碼步驟,係利用前述選擇步驟中所選擇的前述運動向量,解碼前述解碼對象區塊者;於前述追加步驟,將前述在時間上相鄰接之對應區塊之第1運動向量予以定標處理,藉此算出第2運動向量,判斷所算出的第2運動向量是否包含在預定大小之範圍,若前述第2運動向量包含在前述預定大小之範圍內,則於前述列表追加前述第2運動向量作為前述對應區塊之運動向量。
再者,該等之全面性或具體的態樣係以系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體來實現,或以系統、方法、積體電路、電腦程式及記錄媒體之任意組合來實現均可。
若依據本發明,可刪減處理負載,同時維持編碼效率。
100‧‧‧動態圖像編碼裝置
101‧‧‧差分部
102‧‧‧轉換部
103‧‧‧量化部
104、202‧‧‧反量化部
105、203‧‧‧反轉換部
106、204‧‧‧加法部
107、205‧‧‧框內‧框間預測部
108‧‧‧編碼控制部
109、207‧‧‧記憶體
110‧‧‧熵編碼部
200‧‧‧動態圖像解碼裝置
201‧‧‧熵解碼部
206‧‧‧解碼控制部
300~304‧‧‧圖片號碼
DTS‧‧‧解碼時戳
ex100‧‧‧內容供給系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務提供者
ex103‧‧‧串流化伺服器
ex106~ex110‧‧‧基地局
ex111‧‧‧電腦
ex112‧‧‧PDA
ex113‧‧‧攝影機
ex114‧‧‧行動電話
ex115‧‧‧遊戲機
ex116‧‧‧相機
ex200‧‧‧數位播放用系統
ex201‧‧‧播放台
ex202‧‧‧衛星
ex203‧‧‧纜線
ex204、ex205、ex350‧‧‧天線
ex210‧‧‧車
ex211‧‧‧車用導航器
ex215、ex216‧‧‧記錄媒體
ex217‧‧‧機上盒(STB)
ex218‧‧‧讀取機/燒錄機
ex219‧‧‧監視器
ex220‧‧‧遙控器
ex230‧‧‧資訊磁軌
ex232‧‧‧內周區域
ex233‧‧‧資料記錄區域
ex234‧‧‧外周區域
ex235‧‧‧視訊串流
ex236、ex239、ex242、ex245‧‧‧PES封包串
ex237、ex240、ex243、ex246‧‧‧TS封包
ex238‧‧‧音訊串流
ex241‧‧‧簡報圖形串流
ex244‧‧‧互動圖形
ex247‧‧‧多工資料
ex300‧‧‧電視(接收機)
ex301‧‧‧調諧器
ex302‧‧‧調變/解調部
ex303‧‧‧多工/分離部
ex304‧‧‧聲音訊號處理部
ex305‧‧‧影像訊號處理部
ex306‧‧‧訊號處理部
ex307‧‧‧揚聲器
ex308、ex358‧‧‧顯示部
ex309‧‧‧輸出部
ex310‧‧‧控制部
ex311‧‧‧電源電路部
ex312‧‧‧操作輸入部
ex313‧‧‧橋接器
ex314‧‧‧插槽部
ex315‧‧‧驅動器
ex316‧‧‧數據機
ex317‧‧‧介面部
ex318~ex321‧‧‧緩衝器
ex351‧‧‧收發部
ex352‧‧‧調變/解調部
ex353‧‧‧多工/分離部
ex354‧‧‧聲音訊號處理部
ex355‧‧‧影像訊號處理部
ex356‧‧‧聲音輸入部
ex357‧‧‧聲音輸出部
ex359‧‧‧LCD控制部
ex360‧‧‧主控制部
ex361‧‧‧電源電路部
ex362‧‧‧操作輸入控制部
ex363‧‧‧相機介面部
ex364‧‧‧插槽部
ex365‧‧‧相機部
ex366‧‧‧操作鍵部
ex367‧‧‧記憶體部
ex370‧‧‧匯流排
ex400‧‧‧資訊再生/記錄部
ex401‧‧‧光學頭
ex402‧‧‧調變記錄部
ex403‧‧‧再生解調部
ex404‧‧‧緩衝器
ex405‧‧‧碟片馬達
ex406‧‧‧伺服控制部
ex407‧‧‧系統控制部
ex500‧‧‧LSI
ex501‧‧‧控制部
ex502‧‧‧CPU
ex503‧‧‧記憶體控制器
ex504‧‧‧串流控制器
ex505‧‧‧電源電路部
ex506‧‧‧串流I/O
ex507‧‧‧訊號處理部
ex508‧‧‧緩衝器
ex509‧‧‧AV I/O
ex510‧‧‧匯流排
ex511‧‧‧外部記憶體
ex512‧‧‧驅動頻率控制部
ex800、ex900、ex1000‧‧‧方塊
ex801‧‧‧解碼處理部
ex802、ex901、ex902、ex1001、ex1002、ex1003‧‧‧解碼處理部
ex803‧‧‧驅動頻率切換部
PTS‧‧‧簡報時戳
exS100~exS103、exS200~exS203、S101~S112、S201~S203、S301~S305、S401、S501~S509、STEP1~STEP3‧‧‧步驟
TU‧‧‧轉換單位
TUS‧‧‧分割資訊
yy1、yy2、yy3、yy4‧‧‧箭頭
luma‧‧‧亮度訊號
TU‧‧‧轉換單位
TUS‧‧‧分割資訊
圖1係說明解碼對象區塊(Curr_Blk)之解碼中所參考的2張圖片之圖。
圖2A係說明參考圖片列表(RefPicList0)之圖。
圖2B係說明參考圖片列表(RefPicList1)之圖。
圖3係針對CurrBlk之參考圖片列表RefPicList0及RefPicList1說明picNum之圖。
圖4係說明(T)之時間直接模式(temporal mode)中所利用的資訊之圖。
圖5A係用以說明時間直接模式(temporal mode)中之定標處理之圖,其係簡化同位區塊、運動向量mvL0Col而說明之圖。
圖5B係用以說明時間直接模式(temporal mode)中之定標處理之圖,其係說明定標處理之概念之圖。
圖6係以與非專利文獻1記載之導出式之關係來表示STEP(步驟)1~3之圖。
圖7係說明有關(S)之空間直接模式(special direct mode) 之圖。
圖8係表示實施形態1之動態圖像編碼裝置之構成之方塊圖。
圖9係表示實施形態1之動態圖像編碼裝置之動作之流程圖。
圖10係說明框內‧框間預測部所設定的合併候補區塊[1…6]之圖。
圖11係說明合併候補列表(mergeCandList)之概念之圖。
圖12係表示於框內‧框間預測部所進行的重複判斷中判斷為重複之例子之圖。
圖13係說明取得合併候補區塊[i]之運動資料之處理之流程圖。
圖14係說明框內‧框間預測部所進行的定標處理之一例之流程圖。
圖15係說明框內‧框間預測部所進行的定標處理之其他例之流程圖。
圖16係表示實施形態1之動態圖像解碼裝置之構成之方塊圖。
圖17係說明實施形態1之動態圖像解碼裝置之動作之流程圖。
圖18係用以說明合併候補列表(mergeCandList)之更新處理之圖,(a)係表示初始化生成之合併候補列表(mergeCandList)之圖,(b)係表示更新處理後之合併候補列 表(mergeCandList)之圖。
圖19A係說明有關HEVC之運動預測向量mvpLX之圖。
圖19B係說明運動預測向量mvpLX之候補列表mvpListLX(mvpListL0及mvpListL1)之圖。
圖20係說明預測候補區塊群或預測候補區塊之圖。
圖21係實現內容配送服務之內容供給系統之全體構成圖。
圖22係數位播放用系統之全體構成圖。
圖23係表示電視構成例之方塊圖。
圖24係表示於記錄媒體-光碟片進行資訊讀寫之資訊再生/記錄部之構成例之方塊圖。
圖25係表示記錄媒體-光碟片之構造例之圖。
圖26A係表示行動電話之一例之圖。
圖26B係表示行動電話之構成例之方塊圖。
圖27係表示多工資料之構成圖。
圖28係模式性地表示各串流在多工資料中如何受到多工之圖。
圖29係更詳細表示視訊串流如何儲存於PES封包串之圖。
圖30係表示多工資料中之TS封包及來源封包之構造圖。
圖31係表示PMT之資料構成圖。
圖32係表示多工資料資訊之內部構成圖。
圖33係表示串流屬性資訊之內部構成之圖。
圖34係表示識別影像資料之步驟之圖。
圖35係表示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路之構成例之方塊圖。
圖36係表示切換驅動頻率之構成圖。
圖37係表示識別影像資料而切換驅動頻率之步驟之圖。
圖38係係表示將影像資料之規格與驅動頻率建立對應之查找表之一例之圖。
圖39A係表示將訊號處理部之模組予以共有化之構成之一例之圖。
圖39B係表示將訊號處理部之模組予以共有化之構成之其他一例之圖。
用以實施發明之形態 (作為本發明基礎之酌見)
圖1係說明解碼對象區塊(Curr_Blk)之解碼中所參考的2張圖片之圖。圖中,「300」至「304」為圖片號碼(PicNum),解碼對象區塊係包含於圖片號碼302(CurrPic)之區塊。於該例,解碼對象區塊係參考存在於顯示順序前方之PicNum301之圖片及存在於顯示順序後方之PicNum304之圖片之圖像資料。以下,箭號凡例係如該例,箭號起始為參考側(解碼對象側)之圖片,箭號去向係表示被利用於解碼(被參考)側之圖片。
以下,於說明書及圖式,以塗黑區塊表示解碼對 象區塊,省略標示為Curr_Blk。又,箭號凡例係如該例,箭號起始為參考側(解碼對象側)之圖片,箭號去向係表示被利用於解碼(被參考)側之圖片。又,picNum302之圖片係包含解碼對象區塊之圖片(解碼對象區塊)。
圖2A及圖2B係說明2個參考圖片列表(RefPicList0及RefPicList1)之圖。
用以特定第1個參考圖片之列表係圖2A所示之參考圖片列表0(RefPicList0)。用以特定第2個參考圖片之列表係圖2B所示之參考圖片列表1(RefPicList1)。參考圖片列表並非以「302」等數值大之picNum來表示解碼對象區塊所參考的參考圖片,該列表係能夠僅以「0」或「1」等小索引值(refIdxL0及refIdxL1)來表示。由該列表中之索引值,來賦予剪輯中之各個區塊即解碼對象區塊(Curr_Blk)所參考的圖片。
於包含解碼對象區塊之B剪輯之解碼時,列表被初始化(生成)。
參考圖片列表RefPicList0及RefPicList1係以索引的較小號碼(索引值小的號碼)所示之圖片號碼picNum不同的方式重排。參考圖片列表分別以解碼對象圖片之picNum302作為區隔而分為前半部與後半部,於參考圖片列表1之前半部係採升序(303、304、…)來分派。
例如若依據碼串,對於參考圖片列表0及參考圖片列表1分別賦予最小的索引值「0」,則針對圖片30決定了以下2個參考圖片。
作為第1個參考圖片,決定RefPicList[0]之值之上一個圖片301。作為第2個參考圖片,決定RefPicList[0]之值之下一個圖片303。
於圖1所示之例子,第1個索引為refIdxL0=0,參考圖片301,第2個索引為refIdxL1=1,參考圖片304。
圖3係針對圖片302所含之CurrBlk之參考圖片列表RefPicList0及RefPicList1,說明令refIdxL0及refIdxL1之值從「0」增加時所示之picNum之圖。從解碼對象圖片(picNum302)來看,各列表之索引值(refIdxL0之值及refIdxL1之值)越增加,由索引值所特定的圖片越遠離解碼對象圖片。
尤其就第2個表示參考之RefPicList1,於列表之索引之較小值,部分在CurrPic圖片302之後(greater than PictureOrderCnt(CurrPic)之圖片(解碼完畢,由記憶體所保有)以降序設定之規則保有索引(此稱為規則1)。按照該規則1,由RefPicList1[0]所特定的圖片係圖中以虛線圓圈所示之picNum303。
如上述,於說明書及圖式,若未特別註明,第1個參考圖片列表簡稱為RefPicList0,該列表中之索引簡稱為refIdxL0。第2個參考圖片列表簡稱為RefPicList1,該列表中之索引簡稱為refIdxL1(細節參考圖中說明、以及非專利文獻8.2.4.2.3節、8.2.4Decoding process for reference picture lists construction)。
接著,依序說明有關H.264之(T)時間直接模式 (temporal mode)及(S)空間直接模式(special direct mode)。
圖4係說明(T)之時間直接模式(temporal mode)中利用之資訊之圖。
圖中以影線所示之區塊係「(在時間上雖不同)在空間上位於相同位置之同位區塊(Col_Blk)」。時間位置係由圖3所說明之第2個參考列表1RefPicList1之索引值「0」所特定的圖片303。於根據前述規則1受到初始化之RefPicList1列表中,除了參考記憶體中在時間上不存在後方圖片等特殊情況以外,索引值「0」所示之圖片(RefPicList1[0]之值)成為存在於參考記憶體中之顯示時間上最接近之後方圖片。
接著,時間直接模式係利用影線所示之Col_Blk之「運動資料」,來導出塗黑表示之Col_Blk之運動向量mvL0、mvL1。運動資料包含如下。
(i)Col_Blk所參考的參考圖片refIdxL0[refidx]。
Col_Blk係作為參考圖片而參考了圖片picNum301(RefPicList0[1]之值)。
(ii)關於參考圖片之運動向量mvL0Col。
圖中,圖片picNum301中之虛線箭頭係Col_Blk之解碼時所用之第1個運動向量mvL0Col。
以下,於說明書、圖式中,虛線箭頭表示運動向量。運動向量mvL0Col係表示對於Col_Blk之解碼時所用之col_Blk而言之預測圖像之運動向量。
圖5A及圖5B係說明時間直接模式(temporal mode)之定標處理之圖。
定標處理係以到參考圖片之距離差之比,來將運 動向量mvL0Col之值予以定標,藉此導出解碼對象區塊Curr_Blk之運動向量mvL0及運動向量mvL1之處理。
圖5A係簡化圖1~4之參考構造、同位區塊、運動向量mvL0Col而說明之圖。
圖5B係說明定標處理之概念之圖。
簡單來說,定標處理若構想如圖5B之三角形DEF與三角形ABC之相似即可理解。
三角性DEF係針對Col_Blk之三角形。
點D為Col_Blk之位置。點E係Col_Blk所參考的圖片之位置。點F係以點E為基點之運動向量mvL0Col所示去向之座標。
三角形ABC係針對Curr_Blk之三角形。
點A係作為解碼對象之區塊Curr_Blk之位置。點B係該區塊Curr_Blk所參考的圖片之位置。點C係接下來要導出之向量所指出的去向之座標。
首先,於STEP1(步驟1),導出ScaleFactor(標度因子),係(1)相對於Curr_Blk到Curr_Blk所參考的圖片之相對距離(tb)之(2)Col_Blk到Col_Blk所參考的圖片之相對距離(tx)之比。例如於該圖中,ScaleFactor係相對於tb=302-301=1之tx=303-301=2之比(tb/tx),0.5(1/2)為標度比(相似比為1:2)。此係相當於三角形ABC與三角形DEF之相似比為1/2。
ScaleFactor=tb/tx=(302-301)/(303-301)=1/2…(STEP1)
於STEP2,以所獲得的標度比乘以將原本被賦予之邊EF作為長度之向量EF,獲得向量BC。該向量BC為第1個向量(mvL0)。
mvL0=ScaleFactor×mvL0Col…(STEP2)
於STEP3,利用去向與STEP2所導出之mvL0相反之mvL0Col,導出作為導出對象之另一向量mvL1。
mvL1=mvL0-mvL0Col…(STEP3)
圖6係以與非專利文獻1之8.4.1.2.3節Derivation process for temporal direct luma motion vector and reference index prediction mode所記載的導出式之關係,來表示步驟STEP1~3。
圖7係說明有關兩種直接模式中另一(S)之空間直接模式(special direct mode)之圖。
於該模式,針對與包含解碼對象區塊(Curr_Blk)之運動補償單位區塊相鄰接之區塊N(例如鄰接區塊A、鄰接區塊B、鄰接區塊C),取得關於前述運動向量之資料(運動資料)(指(運動向量mvLXN、參考索引refIdxLXN)之值的組配。以下同理)。
直接利用關於運動向量之資料(以下亦稱為運動資料)中,具有參考索引(refIdxLXN)值最小、包含「0」之自然數(minPositive值)之區塊之運動資料(refIdxL0、L1及對於其之mvL0、mvL1)(非專利文獻8-186、187式)。具體而言,藉由以下計算各自導出refIdxL0及L1。
refIdxL0=minPositive(refIdxL0A,minPositive(refIdxL0B,refIdxL0C))(8-186)
refIdxL1=minPositive(refIdxL1A,minPositive(refIdxL1B,refIdxL1C))(8-187)
於該空間直接模式,為了針對運動向量mvL0或mvL1,配對利用包含了相同圖片到參考圖片之距離(refIdxL0,L1)在內之“運動資料”,參考鄰接區塊所利用的參考圖片即可,原則上無須如時間直接模式一般,將mvL0或mvL1予以定標。
如以上,關於(T)時間直接模式,為了導出利用了ScaleFactor(DistScaleFactor)之運動向量mvL0,需要ScaleFactor與mvL0Col之乘法計算。因此,例如將解碼側所處理的運動向量大小之範圍,限制在能夠以某位元精度表現的範圍時,於編碼側,須控制運動向量之生成,使得時間直接之乘算後之運動向量大小會進入上述範圍內,編碼側之處理負載增加。
又,習知的H.264係以片段為單位,僅可進行1次使用(T)時間直接模式或使用(S)空間直接之切換。
於HEVC檢討一種稱為合併模式之模式,其係相較於H.264中以片段為單位之空間直接模式及時間直接模式,謀求指定更為重要、靈活之運動向量之導出方法。藉由與該嶄新的HEVC之合併模式搭配組合,以期刪減限制上述運動向量大小之範圍時之處理負載,同時保持編碼效率之適當均衡。
因此,本發明之一態樣之動態圖像編碼方法係就每一區塊編碼複數個圖片者,且包含:追加步驟,係針對與編碼對象圖片所含之編碼對象區塊在空間上相鄰接,或與不同於前述編碼對象圖片之圖片所含在時間上相鄰接之1以上之對應區塊之各個,於列表選擇性地追加前述對應區塊之運動向量者;選擇步驟,係從前述列表,選擇為了前述編碼對象區塊之編碼所用之運動向量者;及編碼步驟,係利用前述選擇步驟中所選擇的前述運動向量,編碼前述編碼對象區塊者;於前述追加步驟,將前述在時間上相鄰接之對應區塊之第1運動向量予以定標處理,藉此算出第2運動向量,判斷所算出的前述第2運動向量是否包含在預定大小之範圍,若前述第2運動向量包含在前述預定大小之範圍內,則於前述列表追加前述第2運動向量作為前述對應區塊之運動向量。
藉此,可使得編碼側及解碼側所處理的運動向量大小之範圍,始終進入能夠以某位元精度表現之範圍。
又,於前述追加步驟,若前述第2運動向量未包含於前述預定大小之範圍內,則剪輯前述第2運動向量以使其進入前述預定大小之範圍內,於前述列表追加剪輯後之運動向量作為前述對應區塊之運動向量亦可。
又,於前述追加步驟,若前述第2運動向量不包含於前述預定大小之範圍內,則不於前述列表追加前述第2運動向量亦可。
又,前述列表係合併候補列表,具有前述對應區 塊之前述運動向量、及用以特定在前述對應區塊所參考的圖片之特定資訊;於前述追加步驟,除了前述對應區塊之前述運動向量以外,還追加前述特定資訊於前述合併候補列表;於前述選擇步驟,從前述合併候補列表,選擇為了前述編碼區塊之編碼所用之運動向量及特定資訊;於前述編碼步驟,利用前述選擇步驟中所選擇的前述運動向量及前述特定資訊來生成前述編碼對象區塊之預測圖像,藉此編碼前述編碼對象區塊亦可。
又,前述列表係預測運動向量候補列表;於前述追加步驟,進一步將前述在空間上相鄰接之對應區塊之第3運動向量予以定標處理,藉此算出第4運動向量,判斷前述第4運動向量是否包含在預定大小之範圍,若前述第4運動向量包含在前述預定大小之範圍內,則於前述預測運動向量候補列表追加前述第4運動向量作為預測運動向量之候補;於前述選擇步驟,從前述預測運動向量候補列表,選擇為了前述編碼對象區塊之編碼所用之預測運動向量;於前述編碼步驟,進行前述編碼對象區塊之編碼,其包含利用前述選擇步驟中所選擇的前述預測運動向量,來編碼前述編碼對象區塊之運動向量亦可。
又,於前述追加步驟,若前述第4運動向量未包含於前述預定大小之範圍內,則剪輯前述第4運動向量以使其進入前述預定大小之範圍內,於前述預測運動向量候補列表追加剪輯後之運動向量作為前述預測運動向量之候補亦可。
又,前述預定大小之範圍係以運動向量之位元精度來決定;前述位元精度係利用由類型(profile)或級別(level)所規定的值、或附加於標頭的值亦可。
又,本發明之一態樣之動態圖像解碼方法係就每一區塊解碼複數個圖片者,且包含:追加步驟,係針對與解碼對象圖片所含之解碼對象區塊在空間上相鄰接,或與不同於前述解碼對象圖片之圖片所含在時間上相鄰接之1以上之對應區塊之各個,於列表選擇性地追加前述對應區塊之運動向量者;選擇步驟,係從前述列表,選擇為了前述解碼對象區塊之解碼所用之運動向量者;及解碼步驟,係利用前述選擇步驟中所選擇的前述運動向量,解碼前述解碼對象區塊者;於前述追加步驟,將前述在時間上相鄰接之對應區塊之第1運動向量予以定標處理,藉此算出第2運動向量,判斷所算出的前述第2運動向量是否包含在預定大小之範圍,若前述第2運動向量包含在前述預定大小之範圍內,則於前述列表追加前述第2運動向量作為前述對應區塊之運動向量。
藉此,可使得編碼側及解碼側所處理的運動向量大小之範圍,始終進入能夠以某位元精度表現之範圍
又,於前述追加步驟,若前述第2運動向量未包含於前述預定大小之範圍內,則剪輯前述第2運動向量以使其進入前述預定大小之範圍內,於前述列表追加剪輯後之運動向量亦可。
又,於前述追加步驟,若前述第2運動向量不包 含於前述預定大小之範圍內,則不於前述列表追加前述第2運動向量亦可。
又,前述列表係合併候補列表,具有前述對應區塊之前述運動向量、及用以特定在前述對應區塊所參考的圖片之特定資訊;於前述追加步驟,除了前述對應區塊之前述運動向量以外,還追加前述特定資訊於前述合併候補列表;於前述選擇步驟,從前述合併候補列表,選擇為了前述解碼區塊之解碼所用之運動向量及特定資訊;於前述解碼步驟,利用前述選擇步驟中所選擇的前述運動向量及前述特定資訊來生成前述解碼對象區塊之預測圖像,藉此編碼前述解碼對象區塊亦可。
又,前述列表係預測運動向量候補列表;於前述追加步驟,進一步將前述在空間上相鄰接之對應區塊之第3運動向量予以定標處理,藉此算出第4運動向量,判斷前述第4運動向量是否包含在預定大小之範圍,若前述第4運動向量包含在前述預定大小之範圍內,則於前述預測運動向量候補列表追加前述第4運動向量作為預測運動向量之候補;於前述選擇步驟,從前述預測運動向量候補列表,選擇為了前述解碼對象區塊之解碼所用之預測運動向量;於前述解碼步驟,進行前述解碼對象區塊之解碼,其包含利用前述選擇步驟中所選擇的前述預測運動向量,來編碼前述編碼對象區塊之運動向量亦可。
又,於前述追加步驟,若前述第4運動向量未包含於前述預定大小之範圍內,則剪輯前述第4運動向量以使 其進入前述預定大小之範圍內,於前述預測運動向量候補列表追加剪輯後之運動向量作為前述預測運動向量之候補亦可。
又,前述預定大小之範圍係以運動向量之位元精度來決定;前述位元精度係利用由類型(profile)或級別(level)所規定的值、或附加於標頭的值亦可。
再者,該等之全面性或具體的態樣係以系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體來實現,或以系統、方法、積體電路、電腦程式及記錄媒體之任意組合來實現均可。
以下一面參考圖式,一面說明有關本發明之實施形態。
再者,以下所說明的實施形態均表示本發明之一具體例。以下實施形態所示之數值、形狀、材料、構成要素、構成要素之配置位置及連接形態、步驟、步驟之順序等係一例,其主旨非在於限定本發明。又,以下實施形態之構成要素中,關於未記載於表示最高位概念之獨立申請專利範圍之構成要素,則作為任意之構成要素來說明。
(實施形態1)
圖8係表示實施形態1之動態圖像編碼裝置之構成之方塊圖。
動態圖像編碼裝置100係如圖8所示,主要具備差分部101、轉換部102、量化部103、熵編碼部110、反量化部104、反轉換部105、加法部106、記憶體109、框內‧框 間預測部107及編碼控制部108。
差分部101係輸出輸入圖像訊號與預測圖像訊號之差分,即殘差訊號。
轉換部102係對於殘差訊號,進行從圖像區域對頻率區域之轉換。量化部103係對於轉換為頻率區域之殘差訊號進行量化處理,輸出量化完畢殘差訊號。
熵編碼部110係將量化完畢殘差訊號及解碼控制訊號予以熵編碼,輸出編碼完畢位元串流。
反量化部104係對於量化完畢殘差訊號進行反量化處理。反轉換部105係對於經反量化處理之殘差訊號,進行從頻率區域對圖像區域之轉換,輸出復原完畢殘差訊號。
加法部106係將復原完畢殘差訊號與預測圖像訊號相加而成解碼圖像訊號。
框內‧框間預測部107係以訊框或區塊等預定單位,將解碼圖像訊號積存於記憶體109,並且接受編碼控制部108之指示,生成給予差分部101及加法部106之預測圖像訊號(根據解碼圖像訊號及運動向量而導出之像素值)並輸出。
又,框內‧框間預測部107係導出於編碼‧解碼過程中,由合併模式所利用的運動向量之候補列表之合併候補列表(mergeCandList)。此時,框內‧框間預測部107係針對與編碼對象圖片所含之編碼對象區塊在空間上相鄰接,或與不同於前述編碼對象圖片之圖片所含在時間上相鄰接之1以上之對應區塊之各個,於合併候補列表選擇性地 追加對應區塊之運動向量。又,框內‧框間預測部107係將在時間上相鄰接之對應區塊之第1運動向量予以定標處理,藉此算出第2運動向量,判斷所算出的第2運動向量是否包含在預定大小之範圍,若第2運動向量包含在預定大小之範圍內,則於合併候補列表追加第2運動向量作為對應區塊之運動向量。又,框內‧框間預測部107係從合併候補列表,選擇為了編碼對象區塊之編碼所用之運動向量。亦即,本實施形態之定標處理主要在框內‧框間預測部107執行。再者,於本實施形態之動態圖像編碼裝置100,追加部及選擇部相當於框內‧框間預測部107。又,於本實施形態之動態圖像編碼裝置100,編碼部相當於差分部101、轉換部102、量化部103及熵編碼部110等。
編碼控制部108係試行後決定圖中之各處理部、以及採何種控制參數編碼圖片(該控制參數對應於解碼控制訊號),尤其對框內‧框間預測部107賦予。試行係以例如目的在於縮短圖中虛線所示之編碼完畢位元串流之位元長之函數等來進行,決定某圖像資料之編碼用之控制參數(例如框間預測、框內預測之區別等)並輸出。輸出訊號中,關於運動向量索引係於後面敘述。
編碼控制部108係於前述試行結果良好時,作為數值表示利用了本實施形態之定標處理而決定後述之合併索引(merge_Idx),使其包含於解碼控制訊號而輸出。又,該情況下之量化完畢殘差訊號係藉由利用本實施形態之定標方法而生成之預測圖像訊號所導出的值。
圖9係說明實施形態1之動態圖像編碼裝置之動作之流程圖。
在此,說明有關編碼控制部108係將編碼對象區塊予以(1)框間編碼(MODE_INTER),且(2)判斷利用合併模式(MergeMODE)(或獲得已利用時之結果)時之合併模式編碼動作。
HEVC之合併模式在觀念上等同於H.264所導入的直接模式。關於運動向量之導出,不與H.264之直接模式同樣利用碼串而是在空間上(S)或時間上(T)利用其他區塊之運動向量。
其與H.264之直接模式之主要差異如下。
(a)處理單位:可藉由較片段單位細小的預測單元(PredictionUnit)(PU)為單位之merge_flag,來切換是否利用合併模式。
(b)選擇單位:非採二選一,可從更多的候補值,藉由merge_idx來指定利用(S)空間直接或利用(T)時間直接。具體而言,於編碼‧解碼過程中,導出合併模式所利用的運動向量之候補列表之合併候補列表(mergeCandList)。藉由從該列表中之碼串指定之索引值(merge_idx值),特定出要利用的運動向量。
當有關合併模式之處理開始時,編碼控制部108係將merge_idx值及i值設為「0」(步驟S101)。在此,i係為了方便區別候補之候補號碼。
框內‧框間預測部107係於候補區塊[1…N]設定 以下兩種類型之區塊(步驟S102)。在此,N=6。
(s)候補區塊[1…(N-1)]係空間直接用之1以上之候補,依候補區塊之場所而區別[1…5]。
候補區塊[N]係時間直接用之候補。於空間直接追加(append)時之分錄值[6]相當於同位區塊之索引。在後面會利用圖10來敘述。
步驟S103以後係遞增編碼控制部108特定候補之號碼i(步驟S103),同時決定其輸出會符合精度良好的目標函數之運動向量導出模式之迴圈。
框內‧框間預測部107判斷候補區塊[i]是否可於記憶體上利用(可用(available))(步驟S104)。例如關於在位置上位於編碼對象區塊下方之區塊等尚未編碼(解碼)完畢之區塊(未由記憶體保有之區塊),判斷為無法利用。
判斷的結果為無法利用時(於步驟S104為否:不可用(not available)),則將merge_ids值維持在現在值,同時移到下一候補i(返回步驟S103)。
判斷的結果為可利用時(於步驟S104為是:可用),則前進到下一步驟。
框內‧框間預測部107判斷候補區塊[i]之運動資料(mvL0、mvL1、refIdxL0、refIdxL1組,以下同)是否與針對過去之候補區塊[1…(i-1)]試行完畢之運動資料(mvL0、refIdxL0、mvL1、refIdxL1)重複(步驟S105)。關於該判斷係於後面利用圖12來敘述。
判斷的結果為重複時(於步驟S105為是: duplicated),則將merge_ids值維持在現在值,同時移到下一候補i(返回步驟S103)。
判斷的結果為不重複,亦即為新運動資料時(於步驟S105為否:not duplicated),前進到下一步驟。再者,藉由是否可利用之判斷處理(步驟S104)及是否重複之判斷處理(步驟S105),完成關於運動向量之合併候補列表(mergeCandLis),於後面利用圖11來敘述。
接著,框內‧框間預測部107取得或導出候補區塊[i]之運動資料(mvL0、refIdxL0、mvL1、refIdxL1)(步驟S106)。在此,候補區塊[i]是以時間直接作為前提之同位區塊時,進行利用圖14在後面敘述之定標處理。
再者,於本實施形態,於步驟S106,候補區塊[i]是以時間直接作為前提之同位區塊時,進行利用圖14在後面敘述之定標處理,但未必限於此。例如可考慮於步驟S102,於候補區塊追加同位區塊時,預先取得經施行利用圖14在後面敘述之定標處理之運動資料(mvL0、refIdxL0、mvL1、refIdxL1),於步驟S105,於候補區塊不追加與過去的候補區塊重複之運動資料(圖17)。藉此,可從候補區塊省去更多重複的運動資料,可達到處理用刪減及改善編碼效率。
利用所決定的運動資料,於編碼控制部108之控制下,利用編碼裝置全體來試行框間編碼(步驟S107)。編碼控制部108係例如獲得熵編碼部110之輸出結果之位元串流[i]。
編碼控制部108係因應力如位元串流長(壓縮效 率)或處理延遲等觀點之目的,判斷現在的候補[i]之結果是否較過去的候補[i…(i-1)]之結果良好(是否顯示出預定目標函數之最大值(或最小值))(步驟S108)。
該判斷的結果,當過去的候補[i…(i-1)]之結果較良好時(於步驟108為是:better candidate),則保有現時點之merge_idx值作為實際上預定用於編碼‧解碼之merge_idx號碼(步驟S109)。簡而言之係於dummy_merge_idx之變數,預先記憶輸出了更符合目標之結果時之有效分錄號碼merge_idx之處理。
框內‧框間預測部107係將本次之候補i視為有效分錄號碼,為了移到下一分錄而遞增merge_idx值(步驟S110)。
編碼控制部108判斷是否已對所有候補區塊進行試行(步驟S111)。
判斷的結果表示有關所有區塊之處理已完畢(已進行在步驟S102設定之最後候補區塊[N],即(t)時間直接用之同位區塊之試行)時(步驟S111為是),則前進到下一步驟。
判斷的結果尚有剩餘候補區塊時(步驟S111為否),增加候補號碼i同時針對下一候補進行試行。
將輸出了預定之目標函數之最大值(或最小值)之dummy_merge_idx,決定為實際上輸出至編碼串之索引號碼即合併索引(merge_idx)(步驟S112)。
以上係利用了合併模式時之編碼動作。
圖10係說明框內‧框間預測部107在步驟S102所 設定的合併候補區塊[1…6]之圖。
候補區塊包含:(s)空間上相鄰接之1以上之區塊(圖中(s)鄰接空間區塊[1…(N-1)]);及(t)時間上相鄰接之1個區塊(圖中(t)同位區塊[N])。
合併候補列表中merge_idx之索引值較小,換言之最早被列舉之候補分錄(或複數個分錄),係空間上鄰接之區塊。空間上鄰接係指在圖中(S1)水平方向或(S2)垂直方向之任一方向相鄰接。
再者,設想鄰接的單位係適用相同運動向量之運動資料之單位PU。亦即,是否與包含編碼對象單位Curr_Blk之現PU相鄰接之PU。圖中區塊B0~B2係垂直方向相鄰接之區塊例,包含各個區塊之PU為相鄰接之PU,利用其運動資料(mvL0、refIdxL0、mvL1、refIdxL1)。圖中區塊A0、A1…係水平方向相鄰接之區塊例。
於合併候補列表之結尾,merge_idx之索引值最大,換言之最後列入的候補分錄為時間上相鄰接之區塊。於該圖係存在於由現區塊之參考圖片列表L1(無L1時為L0)之索引值0所指定圖片之同位區塊。
圖11係說明步驟S103以後之處理中所生成的合併候補列表(mergeCandList)之概念之圖。圖中左側之i(1…6)相當於步驟S103等之候補號碼i。
i=[1…5]之分錄相當於(s)空間上相鄰接之1以上之區塊(圖10之A0…B2)。i=6之分錄對應於(t)時間上相鄰接之1個區塊(圖10(t)同位區塊[N])。
候補1…6中有效的分錄號碼為merge_idx。圖中,i=3、5係表示重複運動向量。此係表示於步驟S105,框內‧框間預測部107判斷候補區塊[i]之運動資料(mvL0、mvL1、refIdxL0、refIdxL1組,以下同)、與針對過去之候補區塊[i…(i-1)]試行完畢之運動資料(mvL0、refIdxL0、mvL1、refIdxL1)重複之分錄。
圖12係表示於步驟S105之重複判斷中判斷為重複之例子之圖。該圖係說明運動資料較候補位於上方之分錄值重複之運動資料的情況。
對於現PU於上方B1位置相鄰接之區塊之運動資料係於實際上對於包含B0及BN之1個PU定義了1個時,對應於候補號碼3或5之B0及BN區塊之運動資料值成為重複的運動資料,並從列表刪除分錄。因此,如圖11,合併候補列表可成為將merge_idx之最大值壓縮為「2」之列表。
圖13係說明於步驟S106執行之取得合併候補區塊[i]之運動資料(mvL0、refIdxL0、mvL1、refIdxL1)之處理之流程圖。
當處理開始,編碼控制部108判斷鄰接區塊[i]之鄰接方向(步驟S201)。
判斷的結果,鄰接方向為空間方向(於圖11之表中,i為1…5之值)時,直接決定候補區塊[i]所含PU之運動資料作為編碼對象區塊之運動資料(步驟S202)。
判斷的結果,鄰接方向為時間方向(於圖11之表中,i為6)時,藉由利用加法之時間直接定標處理,來將候 補區塊[6]之同位區塊(Col_Blk)之mvL0Col予以定標(步驟S203)。
利用圖14來說明該定標處理。
圖14係說明步驟S203之定標處理之流程圖。
首先,框內‧框間預測部107係如圖6之STEP1之數式所示,利用編碼對象圖片currPicOrField、編碼對象區塊所參考的參考圖片pic0、同位區塊所含之圖片pic1及同位區塊所參考的參考圖片pic0之顯示順序之值,來算出DistScaleFactor(分布標度因子)(步驟S301)。然後,框內‧框間預測部107係如圖6之STEP2之數式所示,藉由對同位區塊之運動向量mvCol乘以DistScaleFactor(分布標度因子),算出運動向量mvL0(步驟S302)。接著,框內‧框間預測部107判斷所算出的運動向量mvL0之水平成分及垂直成分之大小,是否進入能夠以某位元精度表現的大小之範圍內(步驟S303)。該判斷的結果若進入範圍內時(於步驟S303為是),則框內‧框間預測部107係於合併候補列表mergeCandList,追加所算出的運動向量mvL0(步驟S304)。另,未進入範圍內時(於步驟S303為否),框內‧框間預測部107係將從同位區塊算出之合併區塊候補視為不可用,不追加於合併候補列表mergeCandList(步驟S305)。
如此,定標處理後之運動向量值超過能夠以某位元精度表現之值之範圍是,於合併候補列表不追加具有該運動向量之合併區塊候補,藉此可使得編碼側及解碼側所處理的運動向量大小之範圍,始終進入能夠以某精度表現 之範圍。例如某精度假定為16位元時,定標處理後之運動向量mvL0之水平成分或垂直成分值不符合-32768以上+32767以下時,不於合併候補列表追加具有運動向量mvL0之合併區塊候補。藉此,於編碼側及解碼側所處理的運動向量大小之範圍,可始終進入能夠以16位元精度表現之範圍。
再者,本實施形態雖表示運動向量之水平成分、垂直成分均進入16位元精度之例子,未必須限於此。例如欲使水平成分進入16位元精度、垂直成分進入14位元精度時,判斷定標處理後之運動向量mvL0之水平成分值是否為-32768以上+32767以下,運動向量mvL0之垂直成分值是否為-8192以上+8191以下,未符合任一者時,不於合併候補列表追加具有運動向量mvL0之合併區塊候補亦無妨。藉此,可使運動向量大小之範圍分別就水平成分與垂直成分進入一定範圍以內。
又,於本實施形態,作為藉由定標計算所算出的運動向量例,表示利用了參考圖片列表L0之運動向量mvL0之例子,但未必須限於此,亦可適用於算出參考圖片列表L1之運動向量mvL1的情況。
又,於本實施形態,於步驟S302,對同位區塊之運動向量mvCol乘以DistScaleFactor(分布標度因子)而算出mvL0,於mvL0之水平成分或垂直成分之任一者超過能夠以某位元精度表現之範圍時,不於合併候補列表追加從同位區塊算出之合併區塊候補,但未必須限於此,例如於同位區塊為雙向預測的情況等,藉由於mvCol設定同位區塊所具 有的另一運動向量,進行步驟S302至步驟S305之處理,來算出合併區塊候補亦無妨。藉此,可抑制從同位區塊算出之合併區塊候補減少,可提升編碼效率。
又,於本實施形態,於步驟S305,於運動向量mvL0之水平成分或垂直成分之任一者超過能夠以某位元精度表現之範圍時,不於合併候補列表追加從同位區塊算出之合併區塊候補,但未必須限於此。例如圖15之步驟S401所示,將運動向量mvL0之水平成分或垂直成分值剪輯成能夠以某位元精度表現之大小,於合併候補列表追加作為具有剪輯後之運動向量之合併區塊候補亦無妨。例如某精度假定為16位元時,定標處理後之運動向量之水平成分值超過+32767時,利用+32767作為剪輯後之運動向量之水平成分來算出合併區塊候補亦無妨。又,定標處理後之運動向量之水平成分值低於-32768時,利用-32768作為剪輯後之運動向量之水平成分來算出合併區塊候補亦無妨。
又,於本實施形態,表示了固定於某位元精度而限制運動向量大小之例子,但未必須限於此。例如於序列參數集合(SPS)、圖片參數集合(PPS)及片段標頭等標頭部,附加限制運動向量大小之旗標及其位元精度,以序列、圖片及片段為單位來切換運動向量之限制值亦無妨。又,以類型(profile)或級別(level)等來設定運動向量之位元精度,因應類型或級別來切換運動向量之限制值亦無妨。
接著,說明有關從本實施形態1之動態圖像編碼裝置所編碼的位元串流,來復原動態圖像之動態圖像解碼 裝置。
圖16係表示本實施形態1之動態圖像解碼裝置之構成之方塊圖。
動態圖像解碼裝置200係解碼輸入之編碼完畢位元串流,於預定時序依顯示順序輸出在記憶體(解碼圖片記憶體)受到緩衝之解碼完畢圖像訊號。
動態圖像解碼裝置200係如圖16所示,主要具備熵解碼部201、反量化部202、反轉換部203、加法部204、記憶體207、框內‧框間預測部205及解碼控制部206。同一名稱之各部功能對應於圖8所示之動態圖像編碼裝置內之各處理部。
熵解碼部201係對於輸入之編碼完畢位元串流進行熵解碼處理,輸出量化完畢殘差訊號及解碼控制訊號等。
反量化部202係對於藉由熵解碼處理所獲得的量化完畢殘差訊號,進行反量化處理。反轉換部203係對於經反量化處理之殘差訊號,進行從頻率區域對圖像區域之轉換,輸出復原完畢殘差訊號。
加法部204係將復原完畢殘差訊號與預測圖像訊號相加而成解碼圖像訊號。
框內‧框間預測部205係以訊框或區塊等預定單位,將解碼圖像訊號積存於記憶體207,並且接受解碼控制部206之指示,生成給予加法部204之預測圖像訊號(根據解碼圖像訊號及運動向量而導出之像素值)並輸出。
與動態圖像編碼裝置100相同,本實施形態之定 標處理係於框內‧框間預測部205執行。再者,於本實施形態之動態圖像解碼裝置200,追加部及選擇部相當於框內‧框間預測部205。又,於本實施形態之動態圖像解碼裝置200,解碼部相當於熵解碼部201、反量化部202、反轉換部203及加法部204。
解碼控制部206係從熵解碼部201所解析的解碼控制資訊,獲得以何種控制參數解碼圖中之各處理部及圖片。於編碼位元串流中之解碼控制訊號,包含圖9之步驟S112所決定的合併索引(merge_idx)。
圖17係說明實施形態1之動態圖像解碼裝置之動作之流程圖。
在此,說明有關解碼控制部206係從解碼控制訊號之資訊,判斷「解碼對象區塊(Curr_Blk)(或解碼對象區塊所含之預測單位PU區塊)係經框間編碼(MODE_INTER)且利用MergeMODE」時之動作。
首先,框內‧框間預測部205係局部地生成圖11所說明的合併候補列表(mergeCandList)。局部係意味框內‧框間預測部205採用與動態圖像編碼裝置100之動作相同的方法,不依據來自編碼位元串流之資訊而生成該列表。
圖中之i=1…6係與圖11之定義相同。
框內‧框間預測部205係針對候補區塊號碼i=1…6,分別進行步驟S501~步驟S505之處理。框內‧框間預測部205判斷候補區塊號碼i(步驟S501)。候補區塊號碼i=1…5時,框內‧框間預測部205針對空間鄰接區塊取得運動向量 (步驟S502)。
候補區塊號碼i=6時,框內‧框間預測部205係利用同位區塊之運動資料,採用與圖13之步驟S203相同的方法進行定標處理(步驟S503)。
接著,框內‧框間預測部205判斷以步驟S502或步驟S504所獲得的運動資料,是否其資料值與mergeCandList中高位分錄之資料重複(步驟S504)。
判斷的結果為重複時(於步驟S504為是),前進到下一候補區塊號碼i。
判斷的結果為不重複時(於步驟S504為否),框內‧框間預測部205係於合併候補列表(mergeCandList)之結尾追加運動資料(步驟S505)。
如此,藉由步驟S501~步驟S505,將合併候補列表(mergeCandList)予以初始化生成。
接著,框內‧框間預測部205係於符合預定條件時,進行合併候補列表(mergeCandList)之更新處理(步驟S506)。例如更新處理係如圖18所示,按照與編碼側隱含性地(implicit)共有之規則。圖18(a)係表示經初始化生成之合併候補列表(mergeCandList)之圖。於圖18(b)所示之例中,搭配組合合併索引(merge_idx)值為「0」之候補(mvL0_A,ref0)與「1」之候補(mvL1_B,ref0),生成合併索引(merge_idx)值為「2」之候補(mvL0_A,ref0,mvL1_B,ref0)。
以下利用該列表來進行運動向量mvL0、mvL1之合併選擇處理。
由熵解碼部201將merge_Idx予以熵解碼,解碼控制部206接收該merge_Idx值(步驟S507)。
框內‧框間預測部205係從合併候補列表,選擇1個在merge_Idx值所特定的模式下利用之運動資料motion data(步驟S508)。
最後,取得所選擇的運動資料(mvL0、refIdxL0、mvL1、refIdxL1)之運動向量mvL0、mvL1所示位置之像素資料(pixelsL0及pixe1sL1),利用該等像素資料導出預測圖像訊號(步驟S509)。
如此,定標處理後之運動向量值超過能夠以某位元精度表現之值之範圍時,不於合併候補列表追加具有該運動向量之合併區塊候補,藉此可使編碼側及解碼側所處理的運動向量大小之範圍,始終進入能夠以某位元精度表現之範圍。
再者,於本實施形態,於圖14之步驟S302之定標處理後,判斷所算出的運動向量是否在能夠以某位元精度表現之大小之範圍內,但未必須限於此。例如於圖17之步驟S508,判斷以merge_idx選擇之運動向量mvL0是否在能夠以某位元精度表現之範圍,若在該範圍外,予以剪輯以使其進入範圍內亦無妨。
又,於本實施形態,表示利用非專利文獻2所研究的HEVC之合併模式,使定標處理後之運動向量大小之範圍,進入能夠以某位元精度表現之範圍之例子,但同樣地亦可對於非專利文獻2所研究的HEVC之AMVP之預測運動 向量候補之算出方式來適用。
圖19A係說明有關非專利文獻2之HEVC之運動預測向量mvpLX之圖,圖19B係說明運動預測向量mvpLX之候補列表mvpListLX(mvpListL0及mvpListL1)之圖。
運動預測向量mvpLX係為了如圖19A求出與藉由運動檢測而導出之運動預測向量mvpLX之差分,即運動差分向量mvdLX而利用。然後,該運動差分向量mvdLX受到編碼。圖19B中,mvp_idx_10之值對應於受到編碼(於解碼側擷取)之mvp_idx_1X之值。由該索引值(0,1,2)所決定的mvpListLXN[mvp_idx_1X]之運動資料為運動預測向量mvp(predictor(預測子))。圖中N係表示就空間上‧或就時間上,將何位置之區塊之運動向量值作為運動向量之預測值來利用。
圖20係說明藉由圖19B所示之N值(A、B、Col)之預測候補區塊群、或預測候補區塊之圖。圖中塗黑之區塊為編碼(解碼)對象區塊CurrBlk。其為圖片號碼picNum302中之區塊。圖中影線區塊係位於大致與解碼對象區塊Curr_Blk(或該區塊所含之預測單位PU區塊)相同的空間座標位置(x,y),但存在於picNum不同(時間上不同)的圖片,即所謂共位區塊(Col_Blk)。於該例,Col_Blk位在與picNum302不同的picNum303。於HEVC,藉由以稱為DistScaleFactor之比率,乘以該等位置A、B、Col之位置之區塊N_Blk(A_Blk、B_Blk、Col_Blk)之運動向量mvL0A、mvL0B、mvL0Col或(mvL1A、mvL1B、mvL1Col),來作為 運動預測向量mvpL0、mvpL1而利用於預測候補。
於本實施形態,屆時,判斷藉由乘法所算出的預測運動向量是否進入能夠以某位元精度表現之範圍,若不進入該範圍內,則不追加於預測運動向量候補之列表。藉此,可使預測運動向量、或從編碼對象區塊之運動區塊與預測運動向量所算出的差分運動向量之大小之範圍,可進入能夠以某位元精度表現之範圍。再者,若藉由乘法所算出的預測運動向量未進入能夠以某位元精度表現之範圍內,則於預測運動向量候補之列表,追加經剪輯而進入該範圍內之預測運動向量亦無妨。
以上根據實施形態,說明了本發明之一種或複數種態樣之圖像編碼裝置及圖像解碼裝置,但本發明不限定於該實施形態。只要不脫離本發明之旨趣,熟悉該技藝人士所想到的各種變形施行於本實施形態或組合不同實施形態之構成要素予以建構之形態,亦可包含於本發明之一種或複數種態樣之範圍內。
再者,於上述各實施形態中,各構成要素係以專用硬體來構成,或藉由執行適合各構成要素之軟體程式來實現均可。藉由CPU或處理器等程式執行部來讀出記錄於硬碟或半導體記憶體等記錄媒體之軟體程式而執行,藉此來實現各構成要素亦可。在此,實現上述各實施形態之動態圖像編碼裝置或動態圖像解碼裝置等之軟體係如下之程式。
亦即,該程式係令電腦執行一種動態圖像編碼方法,係就每一區塊編碼複數個圖片者,且包含:追加步驟, 係針對與編碼對象圖片所含之編碼對象區塊在空間上相鄰接,或與不同於前述編碼對象圖片之圖片所含在時間上相鄰接之1以上之對應區塊之各個,於列表選擇性地追加前述對應區塊之運動向量者;選擇步驟,係從前述列表,選擇為了前述編碼對象區塊之編碼所用之運動向量者;及編碼步驟,係利用前述選擇步驟中所選擇的前述運動向量,編碼前述編碼對象區塊者;於前述追加步驟,將前述在時間上相鄰接之對應區塊之第1運動向量予以定標處理,藉此算出第2運動向量,判斷所算出的第2運動向量是否包含在預定大小之範圍,若前述第2運動向量包含在前述預定大小之範圍內,則於前述列表追加前述第2運動向量作為前述對應區塊之運動向量。
或者,該程式係令電腦執行一種動態圖像解碼方法,係就每一區塊解碼複數個圖片者,且包含:追加步驟,係針對與解碼對象圖片所含之解碼對象區塊在空間上相鄰接,或與不同於前述解碼對象圖片之圖片所含在時間上相鄰接之1以上之對應區塊之各個,於列表選擇性地追加前述對應區塊之運動向量者;選擇步驟,係從前述列表,選擇為了前述解碼對象區塊之解碼所用之運動向量者;及解碼步驟,係利用前述選擇步驟中所選擇的前述運動向量,解碼前述解碼對象區塊者;於前述追加步驟,將前述在時間上相鄰接之對應區塊之第1運動向量予以定標處理,藉此算出第2運動向量,判斷所算出的第2運動向量是否包含在預定大小之範圍,若前述第2運動向量包含在前述預定大小之 範圍內,則於前述列表追加前述第2運動向量作為前述對應區塊之運動向量。
(實施形態2)
藉由於記憶媒體,記錄用以實現上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成之程式,可於獨立的電腦系統,簡單地實施上述各實施形態所示之處理。記憶媒體若是磁性碟片、光碟片、光磁性碟片、IC卡、半導體記憶體等可記錄程式之物即可。
進一步在此說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例、與利用其之系統。該系統之特徵在於具有利用了圖像編碼方法之圖像編碼裝置、及利用了圖像解碼方法之圖像解碼裝置。關於系統之其他構成,可因應情況適當地變更。
第21圖係表示實現內容配送服務之內容供給系統ex100之全體構成圖。將通訊服務之提供區分割為所需大小,於各蜂巢(cell)內分別設置固定無線台即基地局ex106、ex107、ex108、ex109、ex110。
該內容供給系統ex100係經由網際網路服務提供者ex102及電話網ex104、及基地台ex106至ex110,於網際網路ex101連接電腦ex111、PDA(Personal Digital Assistant:個人數位助理)ex112、攝影機ex113、行動電話ex114、遊戲機ex115等各機器。
然而,內容供給系統ex100不限定於如第21圖之構成,組合某些要素而連接亦可。又,各機器不經由固定無線台即基地台ex106至ex110而直接連接於電話網ex104亦可。又,各機器經由近距離無線等而直接相互連接亦可。
攝影機ex113係數位攝影機等可進行動畫攝影的機器,相機ex116係數位相機等可進行靜止圖攝影、動畫攝影的機器。又,行動電話ex114係GSM(註冊商標)(Global System for Mobile Communications:全球移動通訊系統)方式、CDMA(Code Division Multiple Access:分碼多工存取)方式、W-CDMA(Wideband-Code Division Multiple Access:寬頻分碼多工存取)方式或LTE(Long Term Evolution:長程演進)方式、HSPA(High Speed Packet Access:高速封包存取)之行動電話機,或為PHS(Personal Handyphone System:個人手持式電話系統)等,任一者均無妨。
於內容供給系統ex100,攝影機ex113等透過基地台ex109、電話網ex104而連接於串流化伺服器ex103,藉此可進行實況配送等。於實況配送,對於使用者利用攝影機ex113所拍攝的內容(例如音樂實況的影像等),如上述各實施形態所說明般進行編碼處理(亦即,作為本發明之一態樣之圖像編碼裝置而發揮功能),並發送至串流化伺服器ex103。另,串流化伺服器ex103係將對於有需求的客戶所發送的內容資料,進行串流配送。客戶包括可解碼上述經編碼處理之資料之電腦ex111、PDAex112、攝影機ex113、 行動電話ex114、遊戲機ex115等。於接收到被配送的資料之各機器,將接收到的資料進行解碼處理而再生(亦即,作為本發明之一態樣之圖像解碼裝置而發揮功能)。
再者,攝影資料之編碼處理由攝影機ex113進行,或由將資料發送處理之串流化伺服器ex103進行均可,相互分擔進行亦可。同樣地,所配送資料之解碼處理由客戶進行,或由串流化伺服器ex103進行均可,相互分擔進行亦可。又,不限於攝影機ex113,將相機ex116所拍攝的靜止圖像及/或動態圖像資料,經由電腦ex111傳送至串流化伺服器ex103亦可。該情況下之編碼處理由相機ex116、電腦ex111或串流化伺服器ex103之任一者進行,或相互分擔進行均可。
又,該等編碼‧解碼處理一般在電腦ex111及具有各機器之LSIex500處理。LSIex500為單晶片或由複數個晶片所組成的構成均可。再者,將圖像編碼‧解碼用之軟體,嵌入於電腦ex111等可讀取之某種記錄媒體(CD-ROM、軟碟、硬碟等),利用該軟體進行編碼‧解碼處理亦可。進而言之,行動電話ex114附有相機時,發送由該相機所取得的動畫資料亦可。此時的動畫資料係由行動電話ex114所具有的LSIex500進行編碼處理後之資料。
又,串流化伺服器ex103亦可為複數台伺服器或複數台電腦,將資料分散處理、記錄亦或配送。
如以上,於內容供給系統ex100,客戶可接收已編碼的資料並予以再生。如此,於內容供給系統ex100,客 戶可即時接收使用者所發送的資料並予以解碼、再生,即便是不具有特別權利或設備之使用者,仍可實現個人播放。
再者,不限於內容供給系統ex100之例子,如圖22所示,亦可於數位播放用系統ex200,嵌入上述各實施形態之動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之至少任一者。具體而言,於播放台ex201,影像資料中被多工有聲音資料等經多工之多工資料係經由電波通訊或傳送至衛星ex202。該影像資料係藉由上述實施形態所說明的動態圖像編碼方法編碼之資料(亦即,藉由本發明之一態樣之圖像編碼裝置編碼之資料)。收到該資料之播放衛星ex202係發出播放用電波,由可接收衛星播放之家庭的天線ex204接收該電波。接收到之多工資料係由電視(接收機)ex300或機上盒(STB)ex217等裝置予以解碼而再生(亦即,作為本發明之一態樣之圖像解碼裝置而發揮功能)。
又,於讀取機/燒錄機ex218亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置,而前述讀取機/燒錄機ex218係讀取記錄於DVD、BD等記錄媒體ex215之多工資料,並予以解碼,進而視情況與音樂訊號進行多工而寫入。此情況下,所再生的影像訊號係顯示於監視器ex219,藉由記錄有多工資料之記錄媒體ex215,可於其他裝置或系統再生影像訊號。又,亦可考慮在連接於有線電視用之纜線ex203或衛星/地波播放之天線ex204之機上盒ex217內,安裝圖像解碼裝置,於電視的監視器ex219顯 示。此時,不採用機上盒而於電視內嵌入圖像解碼裝置亦可。
圖23係表示利用上述各實施形態所說明的動態圖像解碼方法及動態圖像編碼方法之電視(接收機)ex300之圖。電視ex300具備:調諧器ex301,係經由接收上述播放之天線ex204或纜線ex203等,取得影像資料中多工有聲音資料之多工資料者;調變/解調部ex302,係用以解調所接收的多工資料,或對發送至外部之多工資料進行調變者;及多工/分離部ex303,係將已解調之多工資料分離為影像資料與聲音資料,或將訊號處理部ex306所編碼的影像資料、聲音資料予以多工者。
又,電視ex300具有訊號處理部ex306及輸出部ex309。前述訊號處理部ex306具有聲音訊號處理部ex304及影像訊號處理部ex305,係分別解碼聲音資料、影像資料,或編碼各個資料者(作為本發明之一態樣之圖像編碼裝置或圖像解碼裝置而發揮功能)。前述輸出部ex309具有:揚聲器ex307,係輸出經解碼之聲音訊號者;及顯示部ex308,係顯示經解碼之影像訊號之顯示器等。進而言之,電視ex300具有介面部ex317,係具有受理使用者操作之輸入之操作輸入部ex312等者。進而言之,電視ex300具有:控制部ex310,係統籌控制各部者;及電源電路部ex311,係對各部供給電力者。介面部ex317係除了操作輸入部ex312以外,亦可具有與讀取機/燒錄機ex218等外部機器連接之橋接器ex313、可裝載SD卡等記錄媒體ex216之插槽部ex314、用以與硬碟等外部記錄媒體連接之驅動器ex315、與電話網連 接之數據機ex316等。再者,記錄媒體ex216係可藉由儲存之非揮發性/揮發性半導體記憶體元件,電子式地記錄資訊。電視ex300之各部係經由同步匯流排而相互連接。
首先,說明關於電視ex300解碼藉由天線ex204等而從外部取得之多工資料,並予以再生之構成。電視ex300係接受來自遙控器ex220等之使用者操作,根據具有CPU等之控制部ex310之控制,以多工/分離部ex303,將調變/解調部ex302所解調的多工資料分離。進而言之,電視ex300係以聲音訊號處理部ex304,解碼已分離的聲音資料,以影像訊號處理部ex305,利用上述實施形態所說明的解碼方法,解碼已分離的影像資料。已解碼的聲音訊號、影像訊號分別從輸出部ex309向外部輸出。輸出時,為了讓聲音訊號與影像訊號同步再生,亦可暫且於緩衝器ex318、ex319等積存該等訊號。又,電視ex300不僅可從播放等,亦可從磁性/光碟片、SD卡等記憶媒體ex215、ex216,讀出多工資料。接著,說明電視ex300編碼聲音訊號或影像訊號,發送至外部或寫入於記錄媒體等之構成。電視ex300係接受來自遙控器ex220等之使用者操作,根據控制部ex310之控制,以聲音訊號處理部ex304編碼聲音訊號,以影像訊號處理部ex305,利用上述各實施形態所說明的編碼方法編碼影像訊號。已編碼的聲音訊號、影像訊號係由多工/分離部ex303予以多工並輸出至外部。進行多工時,為了讓聲音訊號與影像訊號同步,亦可暫且於緩衝器ex320、ex321等積存該等訊號。再者,如圖示具備複數個緩衝器ex318、 ex319、ex320、ex321,或共用1個以上之緩衝器之構成均可。進而言之,除了圖示以外,例如於調變/解調部ex302與多工/分離部ex303之間等,作為避免系統溢位及虧位之緩衝材料,而於緩衝器積存資料亦可。
又,電視ex300除了從播放等或記錄媒體等,取得聲音資料、影像資料以外,亦可具備微音器及受理相機之AV輸入之構成,對於從其等所取得的資料進行編碼處理亦可。再者,在此,電視ex300係說明作為可進行上述編碼處理、多工及外部輸出之構成,但未能進行該等所有處理,僅可進行上述接收、解碼處理及外部輸出之構成亦可。
又,於讀取機/燒錄機ex218,從記錄媒體讀出多工資料或寫入時,上述解碼處理或編碼處理在電視ex300、讀取機/燒錄機ex218中之某一者進行,或電視ex300與讀取機/燒錄機ex218相互分擔進行均可。
作為一例,於圖24表示從光碟片進行資料之載入或寫入時之資訊再生/記錄部ex400之構成。資訊再生/記錄部ex400具備以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光學頭ex401係於記錄媒體ex215-光碟片之記錄面,照射雷射點而寫入資料,檢測來自記錄媒體ex215之記錄面之反射光而載入資料。調變記錄部ex402係電驅動內建於光學頭ex401之半導體雷射,因應記錄資料而進行雷射光的調變。再生解調部ex403係放大藉由內建於光學頭ex401之光偵測器電性地檢測到之來自記錄面之反射光,分離並解調記錄於記錄媒體ex215之訊號成 分,再生所需要的資訊。緩衝器ex404暫時保持用以記錄於記錄媒體ex215之資訊及從記錄媒體ex215再生之資訊。碟片馬達ex405係使記錄媒體ex215旋轉。伺服控制部ex406一面控制碟片馬達ex405之旋轉驅動,一面令光學頭ex401移動至預定的資訊磁軌,進行雷射點的追隨處理。系統控制部ex407進行資訊再生/記錄部ex400全體的控制。上述讀出及寫入處理係藉由系統控制部ex407利用保持於緩衝器ex404之各種資訊,或因應需要進行新資訊之生成‧追加,並且一面令調變記錄部ex402、再生解調部ex403、伺服控制部ex406進行協調動作,一面透過光學頭ex401進行資訊之記錄再生而實現。系統控制部407係以例如微處理器所構成,藉由執行讀出寫入之程式來執行其等處理。
以上係說明光學頭ex401照射雷射點,但亦可為利用近場光進行更高密度記錄之構成。
於圖25表示記錄媒體ex215-光碟片之模式圖。於記錄媒體ex215之記錄面,導引溝(溝槽)形成為螺旋狀,於資訊磁軌ex230,預先藉由溝槽的形狀變化,記錄有表示碟片上之絕對位置之門牌資訊。該門牌資訊包含用以特定記錄資料之單位,即記錄區塊ex231的位置之資訊,進行記錄及再生之裝置可藉由再生資訊磁軌ex230,讀取門牌資訊而特定出記錄區塊。又,記錄媒體ex215包含:資料記錄區域ex233、內周區域ex232及外周區域ex234。用以記錄使用者資料之區域為資料記錄區域ex233;配置於資料記錄區域ex233之內周或外周之內周區域ex232與外周區域ex234,係 用於使用者資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於該類記錄媒體ex215之資料記錄區域ex233,進行已編碼的聲音資料、影像資料或其等資料經多工後之編碼資料之讀寫。
以上舉出1層的DVD、BD等光碟片為例來說明,但不限於該等,亦可為多層構造、表面以外亦可記錄之光碟片。又,於碟片之相同處,利用各種不同波長之色光記錄資訊,亦或從各種角度記錄不同資訊的層等,進行多次元記錄/再生之構造之光碟片亦可。
又,於數位播放用系統ex200,亦可在具有天線ex205之車ex210,從衛星ex202等接收資料,於車ex210所具有的車用導航器ex211等之顯示裝置再生動畫。再者,車用導航器ex211的構成可考慮例如在圖23所示構成中,加上GPS接收部的構成,於電腦ex111及行動電話ex114亦可考慮同樣地構成。
圖26A係表示利用上述實施形態所說明之動態圖像編碼方法及動態圖像解碼方法之行動電話ex114之圖。行動電話ex114具有:天線ex350,係用以與基地台ex110之間收發電波者;相機部ex365,係可拍攝影像、靜止圖者;及液晶顯示器等顯示部ex358,係顯示由相機部ex365所拍攝的影像、由天線ex350所接收的影像等經解碼後之資料者。行動電話ex114進一步具備:主體部,係具有操作鍵部ex366者;揚聲器等聲音輸出部ex357,係用以輸出聲音者;微音器等聲音輸入部ex356,係用以進行聲音輸入者;記憶 體部ex367,係用以保存所拍攝的影像、靜止圖、錄音的聲音、或所接收的影像、靜止圖、郵件等經編碼的資料或經解碼的資料者;及插槽部ex364,係與同為保持資料之記錄媒體間之介面部。
進一步利用圖26B來說明關於行動電話ex114之構成例。行動電話ex114係對於統籌控制具備顯示部ex358及操作鍵部ex366之主體部各部之主控制部ex360,經由匯流排ex370而相互連接有電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、LCD(Liquid Crystal Display:液晶顯示器)控制部ex359、調變/解調部ex352、多工/分離部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367。
若藉由使用者操作而終止通話及電源鍵成為開啟狀態時,電源電路部ex361係從電池包對於各部供給電力,將行動電話ex114啟動為可動作的狀態。
行動電話ex114係根據由CPU、ROM及RAM等所組成的主控制部ex360之控制,以聲音訊號處理部ex354,將聲音通話模式時由聲音輸入部ex356所收音的聲音訊號,轉換為數位聲音訊號,以調變/解調部ex352,將其進行頻譜擴散處理,以收發部ex351施行數位類比轉換處理及頻率轉換處理後,經由天線ex350發送。又,行動電話ex114係放大在聲音通話模式時經由天線ex350所接收的接收資料,施行頻率轉換處理及類比數位轉換處理,以調變/解調部ex352進行頻譜反擴散處理,藉由聲音訊號處理部ex354 轉換為類比聲音資料後,經由聲音輸出部ex357將其輸出。
進而言之,於資料通訊模式時發送電子郵件時,藉由主體部之操作鍵部ex366等之操作所輸入的電子郵件之文本資料,係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係於調變/解調部ex352,將文本資料予以頻譜擴散處理,於收發部ex351施行數位類比轉換處理及頻率轉換處理後,經由天線ex350發送至基地台ex110。接收電子郵件時,對於接收到的資料進行大致與此相反的處理,並輸出至顯示部ex358。
於資料通訊模式時發送影像、靜止圖、或影像及聲音時,影像訊號處理部ex355係將相機部ex365所供給的影像訊號,藉由上述各實施形態所示之動態圖像編碼方法予以壓縮編碼(亦即,作為本發明之一態樣之圖像編碼裝置而發揮功能),將經編碼之影像資料送出至多工/分離部ex353。又,聲音訊號處理部ex354係將相機部ex365在影像、靜止圖等拍攝中,由聲音輸入部ex356收音之聲音訊號予以編碼,將經編碼之聲音資料送出至多工/分離部ex353。
多工/分離部ex353係以預定方式,將從影像訊號處理部ex355供給之經編碼之影像資料、及從聲音訊號處理部ex354供給之經編碼之聲音資料予以多工,以調變/解調部(調變/解調電路部)ex352將其結果所獲得的多工資料予以頻譜擴散處理,以收發部ex351施行數位類比轉換處理及頻率轉換處理後,經由天線ex350發送。
於資料通訊模式時,在接收被鏈結於網頁等之動 態圖像檔案之資料的情況下,或附有影像及/或聲音之電子郵件的情況下,為了編碼經由天線ex350所接收到之多工資料,多工/分離部ex353係藉由分離多工資料來分成影像資料之位元串流與聲音資料之位元串流,經由同步匯流排ex370,將經編碼之影像資料供給至影像訊號處理部ex355,並且將經編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係利用對應於上述各實施形態所示之動態圖像編碼方法之動態圖像解碼方法來編碼,藉此編碼影像資料(亦即,作為本發明之一態樣之圖像解碼裝置而發揮功能),經由LCD控制部ex359,從顯示部ex358顯示例如鏈結於網頁之動態圖像所含之影像、靜止圖。又,聲音訊號處理部ex354係解碼聲音訊號,從聲音輸出部ex357輸出聲音。
又,與電視ex300相同,上述行動電話ex114等終端裝置係除了具有編碼器‧解碼器雙方之收發型終端裝置以外,還可考慮僅有編碼器之發送終端裝置、僅有解碼器之接收終端裝置等3種安裝形式。進而言之,就數位播送用系統ex200而言,雖說明了接收、發送影像資料中多工有音樂資料等經多工之多工資料,但聲音資料以外與影像相關聯之文字資料等經多工之資料,或非多工資料而為影像資料本身均可。
如此,上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法可利用於上述任一機器‧系統,藉由如此,可獲得上述各實施形態所說明的效果。
又,本發明不限定於上述實施形態,可不脫離本發明範圍而予以各種變形或修正。
(實施形態3)
亦可依需要適當切換上述各實施形態所示之動態圖像編碼方法或裝置、與依循MPEG-2、MPEG4-AVC、VC-1等不同規格之動態圖像編碼方法或裝置,來生成影像資料。
在此,生成依循各不相同的規格之複數種影像資料時,解碼時須選擇支援各規格之解碼方法。然而,由於無法識別所解碼的影像資料依循何種規格,因此發生無法選擇適當解碼方法的課題。
為了解決該課題,於影像資料中多工有聲音資料等之多工資料係包含表示影像資料依循何種規格之識別資訊而構成。以下說明包含上述各實施形態所示之動態圖像編碼方法或裝置所生成的影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸串流形式之數位串流。
圖27係表示多工資料之構成圖。如圖27所示,多工資料係將視訊串流、音訊串流、簡報圖形串流(PG)、互動圖形串流中之1個以上之串流予以多工而獲得。分別來說,視訊串流表示電影之主影像及副影像,音訊串流(IG)表示電影之主聲音部分及與該主聲音混音之副聲音,簡報串流表示電影字幕。在此,主影像係表示顯示於畫面之一般影像,副影像係表示於主影像中以小畫面顯示之影像。又,互動圖形串流係表示於畫面上,藉由配置GUI元件而製 作之對話畫面。影像串流係藉由上述各實施形態所示之動態圖像編碼方法或裝置、依循習知的MPEG-2、MPEG4-AVC、VC-1等規格之動態圖像編碼方法或裝置所編碼。音訊串流係採用杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、線性PCM等方式編碼。
多工資料所含之各串流係藉由PID來識別。分別而言,例如對利用於電影影像之視訊串流分派0x1100,對音訊串流分派0x1100至1x111F,對簡報圖形串流分派0x1200至0x121F,對互動圖形串流分派0x1400至0x141F,對利用於電影副影像之視訊串流分派0x1B00至0x1B1F,對利用於主聲音及混音之副聲音之音訊串流分派0x1A00至0x1A1F。
圖28係模式性地表示多工資料如何受到多工之圖。首先,由複數個視訊訊框所組成的視訊串流ex235、由複數個音訊訊框所組成的音訊串流ex238,分別轉換為PES封包串ex236及ex239,並轉換為TS封包ex237及ex240。同樣地,簡報圖形串流ex241及互動圖形ex244之資料,分別轉換為PES封包串ex242及ex245,進而轉換為TS封包ex243及ex246。多工資料ex247係藉由將該等TS封包予以多工為1個串流而構成。
圖29係進一步詳細表示視訊串流如何儲存於PES封包。圖29之第1層係表示視訊串流之視訊訊框串。第2層係表示PES封包串。如圖29之箭頭yy1、yy2、yy3、yy4所示,視訊串流之複數個視訊簡報單元,即I圖片、B圖片、 P圖片係每一圖片而分割,並儲存於PES封包之承載區。各PES封包具有PES標頭,於PES標頭儲存有圖片之顯示時刻即PTS(Presentation Time-Stamp:簡報時戳)或圖片之解碼時刻即DTS(Decoding Time-Stamp:解碼時戳)。
圖30係表示於多工資料最後寫入之TS封包之形式。TS封包係188位元組固定長之封包,由儲存識別串流之PID等資訊之4位元組之TS標頭及資料之184位元組之TS承載區所構成;上述PES封包受到分割並儲存於TS承載區。BD-ROM的情況下,對TS封包賦予4位元組之TP_Extra_Header(TP額外標頭),構成192位元組之來源封包而寫入於多工資料。於TP額外標頭記載有ATS(Arrival_Time_Stamp:到達時戳)等資訊。ATS係表示該TS封包之解碼器對PID濾波器之傳輸開始時刻。於多工資料,如圖30下層所示排有來源封包,從多工資料開頭遞增之號碼稱為SPN(來源封包號碼)。
又,於多工資料所含之TS封包除了影像、聲音、字幕等各串流以外,還包括PAT(Program Association Table:節目關連表)、PMT(Program Map Table:節目對應表)、PCR(Program Clock Reference:節目時鐘參考)等。PAT係表示多工資料中所利用的PMT之PID為何,PAT本身之PID登錄為0。PMT具有多工資料中所含之影像‧聲音‧字幕等各串流之PID、及對應於各PID之串流之屬性資訊,或具有關於多工資料之各種描述符。於描述符包括指示許可‧不許可多工資料之複製之複製控制資訊等。PCR係為 了取得ATS之時間軸即ATC(Arrival Time Clock:到達時間時鐘)與PTS‧DTS之時間軸即STC(System Time Clock:系統時間時鐘)之同步,具有與其PCR封包傳輸至解碼器之ATS相對應之STC時間之資訊。
圖31係詳細說明PMT之資料構造之圖。於PMT之開頭,配置記有該PMT所含之資料長度等PMT標頭。於其後配置複數個關於多工資料之描述符。上述複製控制資訊等係記載作描述符。於描述符之後,配置複數個關於多工資料所含之各串流之串流資訊。串流資訊係由記載有為了識別串流之壓縮代碼等之串流類型、串流之PID、串流之屬性資訊(訊框率、縱橫比等)之串流描述符所構成。串流描述符僅以存在於多工資料之串流數而存在。
記錄於記錄媒體等時,上述多工資料係與多工資料資訊檔一同記錄。
多工資料資訊檔係如圖32所示為多工資料之管理資訊,與多工資料1對1地對應,由多工資料資訊、串流屬性資訊及分錄圖所構成。
如圖32所示,多工資料資訊係由系統率、再生開始時刻、再生結束時刻所構成。系統率係表示多工資料對後述之系統目標解碼器之PID濾波器之最大傳輸率。多工資料中所含之ATS之間隔設定為系統率以下。再生開始時刻為多工資料開頭之視訊訊框之PTS,設定再生結束時刻為多工資料尾端之視訊訊框之PTS,加上1訊框份之再生間隔。
如圖33所示,串流屬性資訊係就各PID,登錄有 關多工資料所含之各串流之屬性資訊。屬性資訊係依各視訊串流、音訊串流、簡報圖形串流、互動圖形串流而具有不同資訊。視訊串流屬性資訊具有該視訊串流以何種壓縮代碼壓縮、構成視訊串流之各個圖片資料之解像度多高、縱橫比多少、訊框比多少等資訊。音訊串流屬性資訊具有該音訊串流以何種壓縮代碼壓縮、該音訊串流所含之通道數、對應何種語言、取樣頻率多少等資訊。該等資訊係利用於播放器再生前之解碼器之初始化等。
於本實施形態,利用上述多工資料中包含於PMT之串流類型。又,於記錄媒體記錄有多工資料時,利用多工資料資訊所含之視訊串流屬性資訊。具體而言,於上述各實施形態所示之動態圖像編碼方法或裝置,設置對於PMT所含之串流類型、或視訊串流屬性資訊,設定表示藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成的影像資料之固有資訊之步驟或機構。藉由該構成,可識別藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成的影像資料、與依循其他規格之影像資料。
又,於圖34表示本實施形態之動態圖像解碼方法之步驟。於步驟ex100,從多工資料取得PMT所含之串流類型、或多工資料資訊所含之視訊串流屬性資訊。接著,於步驟ex101,判斷串流類型或視訊串流屬性資訊是否為上述各實施形態所示之動態圖像編碼方法或裝置所生成的多工資料。然後,判斷串流類型或視訊串流屬性資訊為上述各實施形態所示之動態圖像編碼方法或裝置所生成時,於步 驟ex102,藉由上述各實施形態所示之動態圖像解碼方法來進行解碼。又,表示串流類型或視訊串流屬性資訊為依循習知的MPEG-2、MPEG4-AVC、VC-1等規格時,於步驟ex103,藉由依循習知規格之動態圖像解碼方法來進行解碼。
如此,藉由於串流類型或視訊串流屬性資訊設定新的固有值,可於解碼時,判斷是否能夠以上述各實施形態所示之動態圖像解碼方法或裝置來解碼。因此,即便輸入有依循不同規格之多工資料時,仍可選擇適當的解碼方法或裝置,可不產生錯誤而解碼。又,本實施形態所示之動態圖像編碼方法或裝置、或動態圖像解碼方法或裝置亦可用於上述任一機器‧系統。
(實施形態4)
上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可由積體電路之LSI來實現。作為一例而於圖35表示單晶片化之LSIex500之構成。LSIex500具備以下所說明的要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509,各要素經由匯流排ex510連接。電源電路部ex505係於電源為開啟狀態時,對於各部供給電力,起動為可動作的狀態。
例如於進行編碼時,LSIex500係根據具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制,藉由AV I/Oex509,從微音器ex117或攝影機ex113等輸入AV訊號。 輸入之AV訊號暫且積存於SDRAM等外部記憶體ex511。根據控制部ex501之控制,積存資料系因應處理量或處理速度,適當分為複數次等而送到訊號處理部ex507,於訊號處理部ex507,進行聲音訊號之編碼及/或影像訊號之編碼。在此,影像訊號之編碼處理係上述各實施形態所說明的編碼處理。於訊號處理部ex507,進一步視情況進行將經編碼之聲音資料及經編碼之影像資料予以多工等處理,並從串流I/Oex506輸出至外部。該輸出之多工資料係發送往基地台ex107,亦或寫入於記錄媒體ex215。再者,多工時,為了同步亦可暫且於緩衝器ex508積存資料。
再者,上述將記憶體ex511說明作為LSIex500之外部構成,但包含於LSIex500之內部而構成亦可。緩衝器ex508亦不限於1個,具備複數個緩衝器亦可。又,LSIex500被單晶片化或複數晶片化均可。
又,於上述,控制部ex501具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等,但控制部ex501之構成不限於此。例如訊號處理部ex507進一步具有PU而構成亦可。藉由於訊號處理部ex507之內部設置CPU,可更提升處理速度。又,作為其他例,CPUex502具有訊號處理部ex507、或訊號處理部ex507之一部分之例如聲音訊號處理部而構成亦可。於該情況下,控制部ex501具備訊號處理部ex507、或具有其一部分之CPUex502而構成。
再者,在此雖稱LSI,但視積體程度差異,有時亦稱為IC、系統LSI、特大型LSI、超大型LSI。
又,積體電路化的手法不限於LSI,以專用電路或通用處理器來實現亦可。亦可利用於LSI製造後可程式化之FPGA(Field Programmable Gate Array:現場可程式化閘極陣列),或可再構成LSI內部之電路胞(cell)之連接或設定之可重構處理器。
進而言之,若由於半導體技術進步或所衍生的其他技術,出現取代LSI之積體電路化技術時,當然亦可利用該技術來進行功能區塊之積體化。其可能性可包括生化技術之適用等。
(實施形態5)
解碼藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成的影像資料時,相較於解碼依循習知的MPEG-2、MPEG4-AVC、VC-1等規格之影像資料的情況,據判其處理量會增加。因此,於LSIex500,驅動頻率須設定高於較解碼依循習知規格之影像資料時之CPUex502之驅動頻率。然而,若提高驅動頻率,會發生消耗電力變高的課題。
為了解決該課題,電視ex300、LSIex500等動態圖像解碼裝置係識別影像資料依循何種規格,因應規格來切換驅動頻率而構成。圖36係表示本實施形態之構成ex800。驅動頻率切換部ex803係於影像資料是藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成時,設定較高驅動頻率。然後,對於執行上述各實施形態所示之動態圖像編碼方法之解碼處理部ex801,指示解碼影像資料。 另,影像資料為依循習知規格之影像資料時,相較於影像資料是藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成的情況,設定較低驅動頻率。然後,對於依循習知規格之解碼處理部ex802,指示解碼影像資料。
更具體而言,驅動頻率切換部ex803係由圖35之CPUex502及驅動頻率控制部ex512所構成。又,執行上述各實施形態所示之動態圖像編碼方法之解碼處理部ex801及依循習知規格之解碼處理部ex802,係相當於圖35之訊號處理部ex507。CPUex502識別影像資料依循何種規格。然後,根據來自CPUex502之訊號,驅動頻率控制部ex512設定驅動頻率。又,根據來自CPUex502之訊號,訊號處理部ex507進行影像資料解碼。在此,影像資料之識別可考慮利用例如實施形態3所記載的識別資訊。關於識別資訊,不限於實施形態3所記載的資訊,若可識別影像資料依循何種規格之資訊均可。例如可根據識別影像資料利用於電視亦或利用於碟片等之外部訊號,來識別影像資料依循何種規格時,亦可根據該類外部訊號來識別。又,CPUex502之驅動頻率選擇可考慮例如根據如圖38之影像資料之規格、與驅動頻率建立有對應之查找表來進行。預先於緩衝器ex508或LSI之內部記憶體儲存查找表,CPUex502可藉由參考該查找表來選擇驅動頻率。
圖37係表示實施本實施形態之方法之步驟。首先,於步驟exS200,在訊號處理部ex507從多工資料取得識別資訊。接著,於步驟exS201,在CPUex502,根據識別資 訊判斷影像資料是否藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成。影像資料是藉由上述各實施形態所示之動態圖像編碼方法或裝置生成時,於步驟exS202,CPUex502將設定較高驅動頻率之訊號送至驅動頻率控制部ex512。然後,於驅動頻率控制部ex512,設定較高驅動頻率。另,表示是依循習知的MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時,於步驟exS203,CPUex502將設定較低驅動頻率之訊號送至驅動頻率控制部ex512。然後,於驅動頻率控制部ex512,相較於影像資料是藉由上述各實施形態所示之動態圖像編碼方法或裝置生成的情況,設定較低驅動頻率。
進而言之,與驅動頻率之切換連動變更給予LSIex500或包含LSIex500之裝置之電壓,藉此可更提高省電效果。例如設定較低驅動頻率時,伴隨於此,可考慮相較於設定較高驅動頻率的情況,較低設定給予LSIex500或包含LSIex500之裝置之電壓。
又,驅動頻率之設定方法係於解碼時之處理量大時,設定較高驅動頻率,於解碼時之處理量小時,設定較低驅動頻率即可,不限於上述設定方法。例如解碼依循MPEG4-AVC規格之影像資料之處理量,大於解碼藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料之處理量時,可考慮與上述情況相反設定驅動頻率。
進而言之,驅動頻率之設定方法不限於降低驅動頻率之構成。例如識別資訊表示藉由上述各實施形態所示 之動態圖像編碼方法或裝置所生成的影像資料時,較高設定給予LSIex500或包含LSIex500之裝置之電壓,表示依循習知的MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時,亦可考慮較低設定給予LSIex500或包含LSIex500之裝置之電壓。又,作為其他例,可考慮識別資訊表示藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成的影像資料時,不停止CPUex502之驅動,表示依循習知的MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時,由於在處理上有餘裕,因此暫時停止CPUex502之驅動。即便為識別資訊表示藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成的影像資料時,若在處理上有餘裕,亦可考慮暫時停止CPUex502之驅動。該情況下,相較於表示依循習知的MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時,可考慮設定較短停止時間。
如此,藉由因應影像資料所依循的規格來切換驅動頻率,可謀求省電化。又,於利用電池驅動CPUex502或包含CPUex502之裝置時,伴隨著省電化而可增長電池使用壽命。
(實施形態6)
於電視、行動電話等上述機器‧系統,有時會輸入依循不同規格之複數種影像資料。如此,為了於輸入有依循不同規格之複數種影像資料時亦可解碼,LSIex500之訊號處理部ex507須支援複數種規格。然而,若個別利用支援各個規格之訊號處理部ex507,則LSIex500之電路規模變 大,而且會發生成本增加的課題。
為了解決該課題,將用以執行上述各實施形態所示之動態圖像編碼方法之解碼處理部、與依循習知的MPEG-2、MPEG4-AVC、VC-1等規格之解碼處理部一部分予以共有化而構成。於圖39A之ex900表示該構成例。例如上述各實施形態所示之動態圖像解碼方法、與依循MPEG4-AVC規格之動態圖像解碼方法,係就熵編碼、反量化、去區塊濾波器、動態補償等處理上,其處理內容有一部分共通。關於共通之處理內容,可考慮共有支援MPEG4-AVC規格之解碼處理部ex902,針對不支援MPEG4-AVC規格、本發明之一態樣所特有的其他處理內容,則採用專用之解碼處理部ex901。尤其本發明之一態樣所具有的特徵為熵解碼,因此例如針對熵解碼採用專用之解碼處理部ex901,關於其以外之反量化、去區塊濾波器、動態補償之任一者或所有處理,則共有解碼處理部。就解碼處理部之共有化來說,關於共通的處理內容係共有用以執行上述各實施形態所示之動態圖像編碼方法之解碼處理部,針對MPEG4-AVC規格所特有的處理內容採用專用之解碼處理部而構成亦可。
又,於圖39B之ex1000表示將處理一部分共有化之其他例。於該例,其構成利用了以下處理部,即專用之解碼處理部ex1001,係支援本發明之一態樣所特有的處理內容者;專用之解碼處理部ex1002,係支援其他習知規格所特有的處理內容者;及共有之解碼處理部ex1003,係支 援本發明之一態樣之動態圖像解碼方法與其他習知規格之動態圖像解碼方法所共通的處理內容者。在此,專用之解碼處理部ex1001、ex1001未必須為了本發明之一態樣或其他習知規格所特有的處理內容而專用化,能夠執行其他通用處理亦可。又,本實施形態之構成亦能夠以LSIex500來實作。
如此,針對本發明之一態樣之動態圖像解碼方法與其他習知規格之動態圖像解碼方法所共通的處理內容,共有解碼處理部,藉此可縮小LSI之電路規模,且可減低成本。
產業上之可利用性
本發明之動態圖像編碼方法及動態圖像解碼方法可適用於各種多媒體資料,可刪減限制運動向量大小之範圍時之處理負載,同時可保持編碼效率,作為用到行動電話、DVD裝置及個人電腦等之積存、傳送、通訊等之動態圖像編碼方法及動態圖像解碼方法甚為有用。
100‧‧‧動態圖像編碼裝置
101‧‧‧差分部
102‧‧‧轉換部
103‧‧‧量化部
104‧‧‧反量化部
105‧‧‧反轉換部
106‧‧‧加法部
107‧‧‧框內‧框間預測部
108‧‧‧編碼控制部
109‧‧‧記憶體
110‧‧‧熵編碼部

Claims (17)

  1. 一種動態圖像編碼方法,係將複數個圖片就每一區塊編碼,且包含:追加步驟,係針對與編碼對象圖片所含之編碼對象區塊在空間上相鄰接,或與不同於前述編碼對象圖片之圖片所含在時間上相鄰接之1以上之對應區塊之各個,於列表選擇性地追加前述對應區塊之運動向量者;選擇步驟,係從前述列表,選擇為了前述編碼對象區塊之編碼所用之運動向量者;及編碼步驟,係利用前述選擇步驟中所選擇的前述運動向量,編碼前述編碼對象區塊者;於前述追加步驟,將前述在時間上相鄰接之對應區塊之第1運動向量予以定標處理,藉此算出第2運動向量,判斷所算出的前述第2運動向量是否包含在預定大小之範圍,若前述第2運動向量包含在前述預定大小之範圍內,則於前述列表追加前述第2運動向量作為前述對應區塊之運動向量。
  2. 如申請專利範圍第1項之動態圖像編碼方法,其中於前述追加步驟,若前述第2運動向量未包含於前述預定大小之範圍內,則剪輯前述第2運動向量以使其進入前述預定大小之範圍內,於前述列表追加剪輯後之運動向量作為前述對應區塊之運動向量。
  3. 如申請專利範圍第1項之動態圖像編碼方法,其中 於前述追加步驟,若前述第2運動向量不包含於前述預定大小之範圍內,則不於前述列表追加前述第2運動向量。
  4. 如申請專利範圍第1至3項中任一項之動態圖像編碼方法,其中前述列表係合併候補列表,具有前述對應區塊之前述運動向量、及用以特定在前述對應區塊所參考的圖片之特定資訊;於前述追加步驟,除了前述對應區塊之前述運動向量以外,還追加前述特定資訊於前述合併候補列表;於前述選擇步驟,從前述合併候補列表,選擇為了前述編碼區塊之編碼所用之運動向量及特定資訊;於前述編碼步驟,利用前述選擇步驟中所選擇的前述運動向量及前述特定資訊來生成前述編碼對象區塊之預測圖像,藉此編碼前述編碼對象區塊。
  5. 如申請專利範圍第1至3項中任一項之動態圖像編碼方法,其中前述列表係預測運動向量候補列表;於前述追加步驟,進一步將前述在空間上相鄰接之對應區塊之第3運動向量予以定標處理,藉此算出第4運動向量,判斷前述第4運動向量是否包含在預定大小之範圍,若前述第4運動向量包含在前述預定大小之範圍內,則於前述預測運動向量候補列表追加前述第4運動向量作為預測運動向量之候補; 於前述選擇步驟,從前述預測運動向量候補列表,選擇為了前述編碼對象區塊之編碼所用之預測運動向量;於前述編碼步驟,進行前述編碼對象區塊之編碼,其包含利用前述選擇步驟中所選擇的前述預測運動向量,來編碼前述編碼對象區塊之運動向量。
  6. 如申請專利範圍第5項之動態圖像編碼方法,其中於前述追加步驟,若前述第4運動向量未包含於前述預定大小之範圍內,則剪輯前述第4運動向量以使其進入前述預定大小之範圍內,於前述預測運動向量候補列表追加剪輯後之運動向量作為前述預測運動向量之候補。
  7. 如申請專利範圍第1項之動態圖像編碼方法,其中前述預定大小之範圍係以運動向量之位元精度來決定;前述位元精度係利用由類型(profile)或級別(level)所規定的值、或附加於標頭的值。
  8. 一種動態圖像解碼方法,係將複數個圖片就每一區塊解碼,且包含:追加步驟,係針對與解碼對象圖片所含之解碼對象區塊在空間上相鄰接,或與不同於前述解碼對象圖片之圖片所含在時間上相鄰接之1以上之對應區塊之各個,於列表選擇性地追加前述對應區塊之運動向量者;選擇步驟,係從前述列表,選擇為了前述解碼對象 區塊之解碼所用之運動向量者;及解碼步驟,係利用前述選擇步驟中所選擇的前述運動向量,解碼前述解碼對象區塊者;於前述追加步驟,將前述在時間上相鄰接之對應區塊之第1運動向量予以定標處理,藉此算出第2運動向量,判斷所算出的前述第2運動向量是否包含在預定大小之範圍,若前述第2運動向量包含在前述預定大小之範圍內,則於前述列表追加前述第2運動向量作為前述對應區塊之運動向量。
  9. 如申請專利範圍第8項之動態圖像解碼方法,其中於前述追加步驟,若前述第2運動向量未包含於前述預定大小之範圍內,則剪輯前述第2運動向量以使其進入前述預定大小之範圍內,於前述列表追加剪輯後之運動向量。
  10. 如申請專利範圍第8項之動態圖像解碼方法,其中於前述追加步驟,若前述第2運動向量不包含於前述預定大小之範圍內,則不於前述列表追加前述第2運動向量。
  11. 如申請專利範圍第8至10項中任一項之動態圖像解碼方法,其中前述列表係合併候補列表,具有前述對應區塊之前述運動向量、及用以特定在前述對應區塊所參考的圖片之特定資訊;於前述追加步驟,除了前述對應區塊之前述運動向 量以外,還追加前述特定資訊於前述合併候補列表;於前述選擇步驟,從前述合併候補列表,選擇為了前述解碼區塊之解碼所用之運動向量及特定資訊;於前述解碼步驟,利用前述選擇步驟中所選擇的前述運動向量及前述特定資訊來生成前述解碼對象區塊之預測圖像,藉此編碼前述解碼對象區塊。
  12. 如申請專利範圍第8至10項中任一項之動態圖像解碼方法,其中前述列表係預測運動向量候補列表;於前述追加步驟,進一步將前述在空間上相鄰接之對應區塊之第3運動向量予以定標處理,藉此算出第4運動向量,判斷前述第4運動向量是否包含在預定大小之範圍,若前述第4運動向量包含在前述預定大小之範圍內,則於前述預測運動向量候補列表追加前述第4運動向量作為預測運動向量之候補;於前述選擇步驟,從前述預測運動向量候補列表,選擇為了前述解碼對象區塊之解碼所用之預測運動向量;於前述解碼步驟,進行前述解碼對象區塊之解碼,其包含利用前述選擇步驟中所選擇的前述預測運動向量,來編碼前述編碼對象區塊之運動向量。
  13. 如申請專利範圍第12項之動態圖像解碼方法,其中於前述追加步驟,若前述第4運動向量未包含於前述預定大小之範圍內,則剪輯前述第4運動向量以使其 進入前述預定大小之範圍內,於前述預測運動向量候補列表追加剪輯後之運動向量作為前述預測運動向量之候補。
  14. 如申請專利範圍第8項之動態圖像解碼方法,其中前述預定大小之範圍係以運動向量之位元精度來決定;前述位元精度係利用由類型(profile)或級別(level)所規定的值、或附加於標頭的值。
  15. 一種動態圖像編碼裝置,係將複數個圖片就每一區塊編碼,且具備:追加部,係針對與編碼對象圖片所含之編碼對象區塊在空間上相鄰接,或與不同於前述編碼對象圖片之圖片所含在時間上相鄰接之1以上之對應區塊之各個,於列表選擇性地追加前述對應區塊之運動向量者;選擇部,係從前述列表,選擇為了前述編碼對象區塊之編碼所用之運動向量者;及編碼部,係利用前述選擇部所選擇的前述運動向量,編碼前述編碼對象區塊者;於前述追加部,將前述在時間上相鄰接之對應區塊之第1運動向量予以定標處理,藉此算出第2運動向量,判斷所算出的第2運動向量是否包含在預定大小之範圍,若前述第2運動向量包含在前述預定大小之範圍內,則於前述列表追加前述第2運動向量作為前述對應區塊之運動向量。
  16. 一種動態圖像解碼裝置,係將複數個圖片就每一區塊解碼,且具備:追加部,係針對與解碼對象圖片所含之解碼對象區塊在空間上相鄰接,或與不同於前述解碼對象圖片之圖片所含在時間上相鄰接之1以上之對應區塊之各個,於列表選擇性地追加前述對應區塊之運動向量者;選擇部,係從前述列表,選擇為了前述解碼對象區塊之解碼所用之運動向量者;及解碼部,係利用前述選擇部所選擇的前述運動向量,解碼前述解碼對象區塊者;於前述追加部,將前述在時間上相鄰接之對應區塊之第1運動向量予以定標處理,藉此算出第2運動向量,判斷所算出的第2運動向量是否包含在預定大小之範圍,若前述第2運動向量包含在前述預定大小之範圍內,則於前述列表追加前述第2運動向量作為前述對應區塊之運動向量。
  17. 一種動態圖像編碼解碼裝置,具備:如申請專利範圍第15項之動態圖像編碼裝置;及如申請專利範圍第16項之動態圖像解碼裝置。
TW101146859A 2011-12-16 2012-12-12 A coding method, an encoding device, a decoding method, a decoding device, and a coding / decoding device TWI581619B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201161576501P 2011-12-16 2011-12-16

Publications (2)

Publication Number Publication Date
TW201340720A true TW201340720A (zh) 2013-10-01
TWI581619B TWI581619B (zh) 2017-05-01

Family

ID=48612172

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101146859A TWI581619B (zh) 2011-12-16 2012-12-12 A coding method, an encoding device, a decoding method, a decoding device, and a coding / decoding device

Country Status (10)

Country Link
US (10) US8867620B2 (zh)
EP (1) EP2793466A4 (zh)
JP (4) JP5364219B1 (zh)
KR (2) KR102211673B1 (zh)
CN (1) CN103650507B (zh)
CA (1) CA2841058C (zh)
MX (2) MX340433B (zh)
RU (1) RU2628226C2 (zh)
TW (1) TWI581619B (zh)
WO (1) WO2013088697A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762904B2 (en) * 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
US9800869B2 (en) * 2012-06-15 2017-10-24 Google Technology Holdings LLC Method and apparatus for efficient slice header processing
US9392268B2 (en) * 2012-09-28 2016-07-12 Qualcomm Incorporated Using base layer motion information
PL2946556T3 (pl) * 2013-01-16 2017-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Koder i dekoder oraz metoda kodowania sekwencji filmowej
JP5983430B2 (ja) * 2013-01-25 2016-08-31 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
US10003818B2 (en) 2013-10-11 2018-06-19 Sony Corporation Video coding system with intra prediction mechanism and method of operation thereof
US10009629B2 (en) 2013-10-11 2018-06-26 Sony Corporation Video coding system with search range and method of operation thereof
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
CN105874789B (zh) * 2014-01-29 2019-10-29 联发科技股份有限公司 利用自适应运动向量精度的方法
EP3160141A4 (en) * 2014-06-18 2018-01-17 Samsung Electronics Co., Ltd Inter-layer video encoding method for compensating for luminance difference and device therefor, and video decoding method and device therefor
KR20180085714A (ko) * 2015-12-17 2018-07-27 삼성전자주식회사 머지 후보 리스트를 이용한 비디오 복호화 방법 및 비디오 복호화 장치
CN115334315A (zh) 2016-02-01 2022-11-11 Oppo广东移动通信有限公司 预测图像生成装置、运动图像解码装置、以及运动图像编码装置
CN116567217A (zh) * 2016-08-11 2023-08-08 Lx 半导体科技有限公司 图像编码/解码方法以及图像数据的发送方法
US11700391B2 (en) 2017-05-18 2023-07-11 Hfi Innovation Inc. Method and apparatus of motion vector constraint for video coding
US11272207B2 (en) * 2017-06-12 2022-03-08 Futurewei Technologies, Inc. Selection and signaling of motion vector (MV) precisions
WO2020060351A1 (ko) * 2018-09-21 2020-03-26 엘지전자 주식회사 움직임 벡터를 도출하는 방법 및 그 장치
CN111083491A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 细化运动矢量的利用
WO2020098643A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
CN113273205A (zh) 2018-12-21 2021-08-17 北京字节跳动网络技术有限公司 使用更高比特深度精度的运动矢量推导
WO2020130020A1 (ja) * 2018-12-21 2020-06-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
EP3905685B1 (en) 2018-12-28 2024-03-20 JVCKenwood Corporation Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method, and image decoding program
BR112021012479A2 (pt) 2018-12-28 2021-09-08 Jvckenwood Corporation Dispositivo de codificação de imagem em movimento, método de codificação de imagem em movimento, programa de codificação de imagem em movimento, dispositivo de decodificação de imagem em movimento, método de decodificação de imagem em movimento e programa de decodificação de imagem em movimento
US11089325B2 (en) * 2019-02-08 2021-08-10 Qualcomm Incorporated Constrained affine motion inheritance for video coding
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
CA3119653A1 (en) * 2019-03-08 2020-09-17 Jvckenwood Corporation Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program
AR118250A1 (es) * 2019-03-08 2021-09-22 Jvckenwood Corp Dispositivos, métodos y programas de codificación y decodificación de imágenes en movimiento

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2914448B2 (ja) * 1997-06-25 1999-06-28 日本電信電話株式会社 動きベクトル予測符号化方法および動きベクトル復号方法、予測符号化装置および復号装置、並びに、動きベクトルの予測符号化プログラムおよび復号プログラムを記録した記録媒体
US7206346B2 (en) * 1997-06-25 2007-04-17 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
US6539059B1 (en) * 2000-03-02 2003-03-25 Sun Microsystems, Inc. Apparatus and method for efficiently scalable digital video decoding
US6965645B2 (en) * 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
CA2574127A1 (en) * 2002-01-18 2003-07-31 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
RU2368095C1 (ru) * 2005-07-22 2009-09-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
US9113194B2 (en) * 2007-12-19 2015-08-18 Arris Technology, Inc. Method and system for interleaving video and data for transmission over a network at a selected bit rate
KR20110091748A (ko) * 2008-11-07 2011-08-12 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치 및 동화상 복호 장치
US8885728B2 (en) * 2009-10-13 2014-11-11 General Instrument Corporation Decoding apparatus for a set-top box
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
US9485517B2 (en) * 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
US9762904B2 (en) * 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding

Also Published As

Publication number Publication date
KR102072831B1 (ko) 2020-02-03
US10321133B2 (en) 2019-06-11
US20140341295A1 (en) 2014-11-20
JP6025061B2 (ja) 2016-11-16
CN103650507B (zh) 2018-01-02
JP2017063424A (ja) 2017-03-30
US10757418B2 (en) 2020-08-25
US8867620B2 (en) 2014-10-21
KR20200015798A (ko) 2020-02-12
RU2628226C2 (ru) 2017-08-15
US11356669B2 (en) 2022-06-07
EP2793466A4 (en) 2015-07-01
US20170054985A1 (en) 2017-02-23
US11711521B2 (en) 2023-07-25
JP5364219B1 (ja) 2013-12-11
CA2841058A1 (en) 2013-06-20
RU2013158874A (ru) 2016-02-10
JP2014003704A (ja) 2014-01-09
US20220377348A1 (en) 2022-11-24
US20150003534A1 (en) 2015-01-01
US20200389652A1 (en) 2020-12-10
WO2013088697A1 (ja) 2013-06-20
JP6210423B2 (ja) 2017-10-11
CA2841058C (en) 2021-03-23
JP5432410B2 (ja) 2014-03-05
KR102211673B1 (ko) 2021-02-03
MX340433B (es) 2016-07-08
US20150271519A1 (en) 2015-09-24
US9094682B2 (en) 2015-07-28
JP2014017845A (ja) 2014-01-30
US20230328254A1 (en) 2023-10-12
TWI581619B (zh) 2017-05-01
JPWO2013088697A1 (ja) 2015-04-27
US20190253715A1 (en) 2019-08-15
MX2013014733A (es) 2014-02-19
EP2793466A1 (en) 2014-10-22
US8917773B2 (en) 2014-12-23
US8885722B2 (en) 2014-11-11
CN103650507A (zh) 2014-03-19
US20140044188A1 (en) 2014-02-13
KR20140110831A (ko) 2014-09-17
US20130177082A1 (en) 2013-07-11

Similar Documents

Publication Publication Date Title
US20230105128A1 (en) Video encoding method, video encoding apparatus, video decoding method, video decoding apparatus, and video encoding/decoding apparatus
TWI581619B (zh) A coding method, an encoding device, a decoding method, a decoding device, and a coding / decoding device
JP6788809B2 (ja) 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
KR101935620B1 (ko) 동화상 부호화 방법, 동화상 부호화 장치, 동화상 복호화 방법, 동화상 복호화 장치, 및 동화상 부호화 복호화 장치
EP2675167B1 (en) Moving picture encoding method, moving picture encoding device, moving picture decoding method, moving picture decoding device, and moving picture encoding decoding device
KR101913086B1 (ko) 동화상 부호화 방법 및 동화상 복호화 방법
JP2021180499A (ja) 動画像復号方法及び動画像符号化方法
CN108040259B (zh) 图像编码方法以及图像编码装置
KR101878008B1 (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 동화상 부호화 복호 장치
KR20140043730A (ko) 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치, 및, 화상 부호화 복호 장치
JP6643655B2 (ja) 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
CA2836243A1 (en) Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
JP6108309B2 (ja) 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
JPWO2012114712A1 (ja) 画像符号化方法および画像復号化方法