TWI324889B - Decoding method, decoding device and data recording medium - Google Patents

Decoding method, decoding device and data recording medium Download PDF

Info

Publication number
TWI324889B
TWI324889B TW095107763A TW95107763A TWI324889B TW I324889 B TWI324889 B TW I324889B TW 095107763 A TW095107763 A TW 095107763A TW 95107763 A TW95107763 A TW 95107763A TW I324889 B TWI324889 B TW I324889B
Authority
TW
Taiwan
Prior art keywords
image
decoding
motion vector
block
unit
Prior art date
Application number
TW095107763A
Other languages
English (en)
Other versions
TW200635385A (en
Inventor
Kondo Satoshi
Kadono Shinya
Hagai Makoto
Abe Kiyofumi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed filed Critical
Publication of TW200635385A publication Critical patent/TW200635385A/zh
Application granted granted Critical
Publication of TWI324889B publication Critical patent/TWI324889B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127Prioritisation of hardware or computational resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Processing Or Creating Images (AREA)

Description

1324889 九、發明說明: I:發明戶斤屬之技術領域:! 發明領域 本發明係關於一種動畫影像編碼方法及動畫影像解碼 5 方法,特別有關於對處理目標影像採用已處理完畢之影像 做為參考影像的影像間預測編碼處理及影像間預測解碼處 理。 t先前标3 發明背景 10 在動晝影像編碼處理中,通常係利用動晝影像所具有 的空間方向及時間方向之冗餘性以實施資料量之壓縮。此 處,一般利用空間方向之冗長性的方法係採用對頻率區域 的變換,而利用時間方向孓冗餘性的方法則是採用影像間 預測編碼處理。在影像間預測編碼處理中,於編碼某一影 15 像時,對於成為編碼處理的目標之編碼目標影像,係以顯 示時間順序上在前方或者後方之已完成編碼處理的影像, 做為對應編碼目標影像之參考影像。因此,檢測出編碼目 標影像對該參考影像之變化量,再取以該變化量為基礎進 行動作補償處理所獲得之影像資料與編碼目標影像之影像 20 資料的差分,藉以除去時間方向的冗餘性。'進一步利用相 對於該差分值而除去空間方向的冗餘度之方式,實施對編 碼目標影像之資料量的壓縮。 在目前標準化中稱為H. 264的動化影像編碼方式中,並 未貫施影1象間預測編码處理’亦即福呼貫施影像内編碼處 1324889
理之影像為i影像。另,參考就顯示時間順序而言在編碼目 標影像的前方或後方之已完成處理的1個影像,以實施影像 間預測編碼之影像稱為P影像,而參考就顯示時間而言在編 碼目標影像的前方或後方之已完成處理的2個影像,以實施 5 影像間預測編碼之影像則稱為B影像(例如,參見ISO/IEC 14496-2「Information technology-Coding of audio-visual objects-Part 2: Visual」pp. 218-219)。 第1 (a)圖即上述動畫影像編碼方式中之各影像與對應 的參考影像之關係示意圖;第1(b)圖則為依據編碼所生成之 10 編碼列順序的示意圖。 影像I 1為I影像,影像P5、P9、P13為P影像,影像B2、 B3、B4、B6、B7、B8、B1:0、Bll、B12為B影像。也就是 說,P影像P5、.P9 ' P13係如箭頭所示,各自用J影像工i、p 影像P5、P影像P9做參考影像以施行影像間預測編碼。 15
而,B影像B2、B3 ' B4分別如箭頭所示,用1影像^厂、 P影像P5做參考影像以施行影像間預測編碼,B影像、 B7'B8分別如箭頭所示,以P影像P5及p影像p9^泉考影像 以施行影像間預測編碼,而B影像BIO ' Bll、Bl2八別士气 20 頭所示,各自用P影像P9及P影像P13做參考影像以 間預測編碼。 施行影像 於以上之編碼時,做為參考影像所採用的影像比來考 其影像之影像更先行被編碼。因此,以上述編石馬户斤生成 編碼列會形成如第](b)圖所示之順序。 而 以H. 264方式之動晝影像編碼方式 2 馬中了以選擇稱做直接模式(direct mode)之編碼模式。第2 圖為直接模式中之動作向量的示意說明圖’表示以直接模 式為碼影像B6之區塊a的情形。此時,利用編碼位於和影像 B6的後方之參考影像,即影像p9中之區塊&相同位置之區塊 吋所使用的動作向量c。動作向量c為區塊b被編碼時所使 用的動作向3:,係參考影像P5。區塊3使用和動作向量〇平 仃之動作向量’從前方向參考影像,即參考影像p5,和後 方向參考影像,即影像P9取得參考區塊,並實施2方向預測 而破編碼。亦即,於編碼區塊_所使用的動作向量, 於衫像P5為動作向4d,相對於影像p9則為動作向量d。 y…、而’如上所述’當對B影像施行參考I影像和P影億 影像間預測編碼處理時,舍 、’ 間的時間距離變長之情形,在這樣的情形下就 象之 效率降低。尤其B影像之插 S蝙碼
影像之間,或者在位置最靠^’亦咖鄰的1影像和P
影像之數目多_ ==㈣像之間所配置的N 、編碼效率的降低就會變得辟 因此,本發明即是為解決上述問題而完成者目者。 於提供-種即㈣像和P影像之間,紐影二的在 =像之張數多’依然可以避《影像之編碼效;:入 動畫影像編碼方法及動絲像解碼方法。另外,本^化的 影像编碼方法及動畫影=:式中之編碼效率的動畫 【發·明内容j 發明概要 1324889 為達成上述目的,本發明之動晝影像編碼方法係一種 將對應構成動晝影像的各影像之影像資料予以編碼而生成 編碼列之動晝影像編碼方法,其包含以,僅具有實施影像 内編碼的區塊之I影像、具有貫施依據使用已完成編碼的影 5 像做為第1參考影像之1方向參考的區塊之P影像、具有實施 依據使用已完成編碼的影像做為第1參考影像及第2參考影 像的2方向參考之影像間預測編碼的區塊之B影像中的任一 者為編碼目標之目標影像,而進行編碼之編碼步驟,特徵 在於前述編碼步驟包含依據和顯示時間順序不同之順序來 10 決定夹在前述I影像或P影像間的複數個連續的前述B影像 之編碼順序的控制步驟。 藉此:,在編碼B影像時,因為可以用在顯示時間順序上 更近傍的影像做為參考影像,所以可以提高動作補償時.乏 預測效率.,並提高編碼效率。 ; 15 另,本發明之動晝影像編碼方法係一種將對應構成動 晝影像的各影像之影像資料予以編碼而生成編碼列之動畫 影像編碼方法,其包含以至少具有實施依據採用已完成編 碼之影像做為第1參考影像及第2參考影像的2方向參考之 影像間預測編碼的區塊之B影像為編碼目標之目標影像而 20 進行編碼的編碼步驟’特徵在於纟1j述編碼步驟中’將編碼 目標,即B影像之編碼目標區塊’當做以具有已完成編碼之 區塊的動作向量為基礎之,依據前述編碼目標區塊的動作 向量進行動作補償之直接模式而予以編碼時,在編碼與前 述編碼目標區塊在同一位置之前述第2參考影像内的區塊
S 1324889 記錄載體和網路等傳送媒介而配信。 圖式簡單說明 第1圖為示意習知之動晝影像編碼方法中之影像的預 測關係及順序之模式圖;(a)係與對應各影像的參考影像之 5 關係,(b)為利用編碼所生成之編碼列的順序之示意圖。 第2圖係示意在習知之動晝影像編碼方法的直接模式 中之動作向量的模式圖。 第3圖係示意使用本發明之動晝影像編碼方法的動晝 影像編碼裝置之一貫施態樣的構成之方塊圖。 10 第4(a) ' (b)圖為本發明之實施態樣中之影像編號與相 對索引(index)之說明圖。 第5圖為依據本發明實施態.樣中之動晝影像編碼裝置 的影像編碼信號格式(format)之概念圖。 第6圖為示.意本發明之實施態樣的列更替用記憶體中 15 之影像的順序之模式圖;(a)為被輸入的順序,(b)為列更替 順序的示意圖。 第7圖係顯示在本發明之實施態樣的直接模式中之動 作向量模式圖;(a)目標區塊為影像B7的情形,(b)目標區塊 a為影像B6時之第一及第二例,(c)目標區塊a為影像B6時之 20 第三例,(d)目標區塊a為影像B6時之第四例的示意圖。 第8圖係顯示在本發明之實施態樣的直接模式中之動 作向量模式圖;(a)目標區塊a為影像B6時之第五例,(b)目 標區塊a為影像B6時之第六例,(c)目標區塊a為影像B6時之 第七例:(d)目標區塊a為影像B8的情形之示意圖。 14 1324889 第9圖為本發明實施態樣中之影像的預測關係及順序 示意模式圖,(a)係以顯示時間順序表示之各影像的預測關 係,(b)係依編碼順序(編碼列順序)進行列更替之影像順序 的示意圖。 5 第10圖為本發明實施態樣中之影像的預測關係及順序 示意模式圖,(a)係以顯示時間順序表示之各影像的預測關 係,(b)係依編碼順序(編碼列順序)進行列更替之影像順序 的示意圖。 第11圖為本發明實施態樣中之影像的預測關係及順序 10 示意模式圖,(a)係以顯示時間順序表示之各影像的預測關 係,(b)係依編碼順序(編碼列順序)進行列更替之影像順序 的示意圖。 .第12圖係將本發明實施態樣之第6圖所示的影像;預..測 構造階層地顯示出來之模式圖。 15 第1.3圖係將本發明實施態樣之第9圖所示的影像預測 構造階層地顯示出來之模式圖。 第14圖係將本發明實施態樣之第10圖所示的影像預測 構造階層地顯示出來之模式圖。 ‘ 第15圖係將本發明實施態樣之第11圖所示的影像預測 20 構造階層地顯示出來之模式圖。 第16圖為採用本發明之動畫影像編碼方法的動晝影像 編碼裝置之一實施態樣的構成示意方塊圖。 第]7圖係關於供容納用以透過電腦系統實現實施態樣 ]之動畫影像編碼方法及動畫影像解碼方法的裎式之記錄 15 1324889 媒體的說明圖;(a)記錄媒體本體,即軟碟(flexible disc)之 物理格式例的示意說明圖,(b)軟碟從正面看的外觀、斷面 構造,及顯示軟碟的說明圖,(c)用以實施軟碟FD上記錄的 程式之記錄再生構造的示意說明圖。 5 第18圖為實現儲存信息發送作業之儲存信息供給系統 的整體構造方塊示意圖。 第19圖為行動電話之一例的示意概略圖。 第20圖為行動電話之内部構造的示意方塊圖。 第21圖為數位播放用系統的整體構造示意方塊圖。 10 【方&方式〕 較佳實施例之詳細說明 . 實施發明之最佳態樣 關於本發明之實施態樣將,邊參照圖式進行說明。 (實施態樣1) 15 第3圖為採用本發明之動畫影像編碼方法的動畫影像 編碼裝置之一實施態樣的構造示意方塊圖。 動畫影像編碼裝置如第3圖所示,具備串列交換用記憶 體101 '差分運算部102、預測誤差編碼部103、編碼列生成 部104、預測誤差解碼部105、加算運算部106、參考影像用 20 記憶體107、動作向量檢測部108、模式選擇部109、編碼控 制部110、開關1]1〜115,及動作向量記憶部116。 串列交換用記憶體101依顯示時間順序容納以影像單 位所輸入之動畫影像。編碼控制部]]〇將被容納在串列交換 用記憶體]0]内之各影像依編碼進行的順序實施串列交 ]6 1324889 換。另外,編碼控制部110控制送到動作向量記憶部116之 動作向量的記憶動作。 動作向量檢測部108採用已完成編碼的解碼影像資料 做為參考影像,在其影像内之探索區域執行顯示最適合被 5 預測的位置之動作向量的檢測。模式選擇部1 〇 9使用在動作 向量檢測部108所檢測出之動作向量,決定巨集區塊之編碼 模式,再以該編碼模式做基礎而生成預測影像資料。差分 運算部102運算從串列交換用記憶體101所讀出的影像資 料,和從模式選擇部109所輸入之淨測影像資料的差分,生 10 成預測誤差影像資料。 ' -、 預測誤差編碼部10 3對所輸入之預測誤差影像資料進 行頻率變換和量子化等的編碼處理,生成編碼資料。.编碼: 列生成部104對所輸入之編碼資料進行可變長編碼等,再透 過附加從模式選擇部109所輸入之動作向量的資料、編碼模 15 式的資:料,及其他相關資料等的方式,生成編碼列。 預測誤差解碼部10 5對所輸入之編碼資料進行逆量子 化和逆頻率變換等的解碼處理,生成解碼差分影像資料。 加算運算部106將從預測誤差解碼部105所輸入之解碼差分 影像資料,和從模式選擇部109所輸入之預測影像資料進行 20 加算,生成解碼影像資料。參考影像用記憶體107容納所生 成之解碼影像資料。 第4圖為影像與相對索引的說明圖。相對索引係用以專 門識別被容納於參考影像用記憶體107之參考影像,如第4 圖所示,為對應各影像的編號。此外,相對索引被使用以 17 1324889 指示依據影像間預測編碼區塊時所使用的參考影像。 第5圖為依據動畫影像編碼裝置之動晝影像編碼信號 格式的概念圖。一個影像分之編碼信號Picture係由被包含 在影像先頭的標頭編碼信號Header、根據直接模式之區塊 5 的編碼信號Block 1、根據直接模式以外之影像間預測的區 塊之編碼信號Block 2等所構成。而,根據直接模式以外之 影像間預測的區塊之編碼信號Block 2以如后之順序具有, 用以顯示在影像間預測中所使用的2個參考影像之第1相對 索引RIdxl及第2相對索引Ridx2、第1動作向量MV1、第2動 10 作向量MV2。另一方面,根據直接模式之區塊的編碼信號 Block 1則不具有第1相對索引Rldxl .、第2相對索引Ridx2、 第1動作向量MV1、第2動作向量MV2。要使用第1相對索引 RIdxl、第2相對索引Ridx2之何者,可依預測類別PredType 做判斷。而,第1相對索引RIdxl表示第1參考影像,第2相 15 對索引Ridx2表示第2參考影像。亦即;是第1參考影像或是 第2參考影像,係以編碼列中之資料位置來決定。 再者,執行依採用顯示時間順序上位於前或後之任一 者的已完成編碼之影像做為第1參考影像的1方向參考之執 行影像間預測編碼的影像為P影像,執行依採用顯示時間順 20 序上位於前或後之任一者的已完成編碼之影像做為第1參 考影像及第2參考影像的2方向參考之影像間預測編碼的影 像為B影像,在本實施態樣係以第1參考影像為前方向參考 影像,以第2參考影像為後方向參考影像而進行說明。另, 將分別對於第I參考影像及第2參考影像的動作向量之第j
IS 1324889 動作向量 '第2動作向量,分別當做前方向動作向量、後方 向動作向量而進行說明。 接著,用第4(a)圖就賦與第1相對索引、第2相對索引的 方法做說明。 5 就第1相對索引之值,首先,在表示顯示順序的資料 中,對比編碼目標影像更前面的參考影像,由接近編碼目 標影像的順序起分配成從〇開始的數值。一旦對比編碼目標 更前面的參考影像全部被分配成從〇開始的數值,接著就對 比編碼目標更後面的參考影像,從接近編碼目標影像的順 10 序起分配成接續的數值。 ·" 就第2相對索引之值,首先,在表示顯示順序的資料 中,對比編碼目標影像更後面的參考影像,由接近編碼目.. 標影像的順序起分配成從〇開始的數值。一旦對比編碼目標 更後面的參考影像全部被分配成從〇開始的數值,接著:就對' 15 比編碼目標更前面的參考影像,從接近編碼目標影像的順 序起分配成接續的數值。 例如第4(a)圖中,當第1相對索引Ridxl為0,且第2相對 索引Ridx2為1時,前方向參考影像為影像編號6之B影像, 後方參考影像為影像編號9之P影像。此處之影像編號表示 20 顯示順序的編號。 區塊中之相對索引係以可變長編碼語加以表現,數值 越小的被分配成越短的編碼長之編碼。通常,因為會選擇 最接近編碼目標影像的影像做為影像間預測的參考影像, 所以如上述般:如果以接近編碼目標影像的順序分配相對 19 1324889 索引值,則編碼效率增高。 另一方面,透過應用編碼信號中之缓衝控制信號(示於 第5圖之Header内的RPSL)而明示地指示之方式,可以任意 地變更對相對索引之參考影像的分配。藉該分配之變更, 5 也可以將第2相對索引為0之參考影像當做參考影像用記憶 體107内之任意的參考影像,例如,如第4(b)圖所示般,可 以變更對影像之相對索引的分配。 接著,將就如上所述般地構成之動晝影像編碼裝置的 動作加以說明。 10 第6圖為表示串列交換用記憶體1.01中之影像順序的說 明圖,(a)表示輸入順序Jb)表示被串列交換的順序。此處, 縱線表示影像,各影像右下方所示之'記號代表影像編號, 第1個字母表示影像類型(I、P或B),第2個字以後的數字表 示順序。 15 輸入影像係如第6(a)圖所示,依顯示時間順序,以影像 單位被輸入串列交換用記憶體10卜當影像被輸入串列交換 用記憶體101時,編碼控制部110在串列交換用記憶體101内 將被輸入之各影像依編碼進行的順序串列交換。對該編碼 順序的串列交換係以,依影像間預測編碼中之參考關係為 20 基礎而實施以做為參考影像使用之影像,比用做為參考影 像之影像更早被編碼的方式進行串列交換。 此處,P影像係參考1個在顯示時間順序上位於前方或 後方之近傍的已完成編碼之]或P影像。而,B影像則是參考 2個在顯示時間順序上位於前方或後方之近傍的已完成編 20 碼之影像。 影像之編碼川員序係從位於2個P影像之間的B影像(以第 6(a)圖為例有3張)當中,從位在中央的影像開始進行編碼, 然後再將接近p影像的B影像加以編碼。例如,影像b6〜b9 5係依影像P9、B7、B6、B8的順序進行編碼。 此種情形中,影像B6〜B9之各影像間,示於第6(勾圖的 前頭終點之影像係以箭頭起點的影像做為參考。亦即,影 像B7參考影像P5、P9,影像B6參考影像P5、B7,影像B8 參考影像B7、P9。而且此時編碼控制部11〇會如第6(b)圖所 10示’依編碼進行的順序將各影像予以串列交換。 接著’已進行過串列交換的各個影像在串列交換用記 憶體被以動作補償的單位讀出來。此處,稱動作補償的單 位為巨集區塊(macroblock);巨集區塊為水平16><垂直16的 像素大小。以下將就第6(a)圖所示之影像p9、B7、B6、B8 15 的編碼處理依序做說明。 〈影像P9之編碼處理〉 影像P9因為是P影像,所以是參考顯示時間順序上位在 前方或後方之已完成處理的1張影像以實施影像間預測編 碼。如上所述,在影像P9的編碼中係將影像p5當做參考影 2〇 像。影像P5已結束編碼’解碼影像被儲存在參考影像用記 憶體〗0 7 ^在P影像的編碼中,編碼控制部丨丨〇將各個開關控 制成開關1】3、114、]15為ON的狀態。藉此,從串列交換 用記憶體10]被讀出來的影像P9之巨集區塊首先被輪入動 作向量檢測部]08、模式選擇部]09,及差分運算部】。 ⑧ 21 的景測部108採用術參考影像用記憶體107 塊進行動作4影”料做為參考影像,對雜P9之集區 Ή屮I的檢'則。然後,動作向量檢測部108會將檢 ,,出的動作向量對模式選擇部109輸出。 桓^擇部1Q9採用在動作向量檢測部⑽被檢測出之 動作向里來決疋影像卩9的巨集區塊之編碑模式。此處,編 碼模式表示以何種方法編碼巨集區塊ip影像的情形中’ 例如,從影像内編碼、用動作向量之影像間預測編碼、不 用動作向里(以動作為〇做處理)之影像間預測編碼當中選 H)用任-種方法來決定是否進行編碼。在決定編碼模式時, 通常會選擇在少量的位it量下編%誤差較小的方法。 模式選擇部1:09對編碼列生成部1〇4輸出所決定的編碼 模式。此時,由模式選擇部109所決定之編碼模式,.在影像 間預測編碼的情形中,將其在影像間預測編碼所採用的動 15作向量對編碼列生成部104輪出,並且記憶在動作向量記憶 部116中。 另外,模式選擇部109以所決定之編碼模式為基礎而生 成預測像資料’並將該預測影像資料輸出到差分運算部丨〇 2 和加算運算部106。但疋’當選擇影像内編^馬時,模式選擇 20部109不會輸出預測像寅料。而,模式選擇部1〇9在選擇影 像内編瑪的情形中’係控制成將開關111連接於a側,將開 關112連接於c側;在選擇影像間預測編碼的情形中則控制 成將開關】】】連接於b側’將開關】】2連接於d側。以下將就 以模式選擇部】]0來選擇像間預測編碼的情形做說明。 1324889 在差分運算部】02中,從串列交換用記憶體101所讀出 之影像P9的巨集區塊之影像資料,和從模式選擇部109所輸 出之預測影像資料被輸入。差分運算部102運算影像P9之巨 集區塊的影像資料和預測影像資料的差分,生成預測誤差 5 影像資料,並輸出到預測誤差編碼部1〇3。 預測誤差編碼部1 〇 3對所輸入之預測誤差影像資料實 施頻率變換和量子化等的編碼處理’籍以生成編碼資料並 輸出到編碼列生成部104及預測誤差解碼部105。此處,頻 率變換和量子化之處理係以,例如水平8χ垂直8像素,或水 10 平4χ垂直4像素的單位'進行者。 編碼列生成部104對所輸入之編碼資料實施可變長編 碼,再以附加動作向量和編碼模式等的資料或編碼標頭資 料的方式生成編碼列,.並將之輸出。 另一方面,.預測誤差:解碼部105對所輸入之編碼資料實 15 施逆量子化和逆頻率變換等之解碼處理,生成解碼差分影 像資料並輸出到加算運算部106。加算運算部106將解碼差 分影像資料和從模式選擇部1 〇 9所輸入之預測影像資料予 以加算,藉而生成解碼影像資料,儲存到參考影像用記憶 體 107。 20 透過以上的處理,即完成影像Ρ9之1個巨集區塊的處 理。利用相同的處理,也可以對影像Ρ9的殘餘巨集區塊進 行編碼處理。然後,當對影像Ρ9之所有的巨集區塊都完成 處理時,即接著進行影像Β7之編碼處理。 <影傢Β7之編碼處理> 23 1324889 影像B7之參考影像以影像P5為前方參考影像,以P9為 後方參考影像。由於影像B7於其他影像之編碼時被當做參 考像使用,所以編碼控制部110將各個開關控制成開關 113、114、115為ON的狀態。因此,從串列交換用記憶體 5 101所讀出之影像B7的巨集區塊,被輸入到動作向量檢測部 108、模式選擇部109及差分運算部102。 動作向量檢測部108以儲存在參考影像用記憶體107之 影像P5的解碼影像資料做為前方向參考影像,以影像P9之 解碼影像資料做為後方向參考影像,對影像B7之巨集區塊 10 執行前方向動作向量和後方向動作向量的檢測。然後,動 作向量檢測部10 8會對模式選擇部10 9輸出所檢測出的動作 '向量。: :模式選擇部109用動作向量檢出部108所檢測出之動作 .向量來決定影像B7的巨集區塊之編碼模式。此處;,B影像 ]5 的編碼模式可以從,例如影像内編碼、採用前方向動作向 量之影像間預測編碼、採用後方向動作向量之影像間預測 編碼、採用2方向動作向量之影像間預測編碼、直接模式來 做選擇。 此處,有關以直接模式進行編碼時的動作將用第7(a) 20 圖來做說明。第7(a)圖為直接模式中之動作向量的示意說明 圖,所示為將影像B7之區塊a以直接模式加以編碼的情形。 此時係利用編碼位於影像B7的後方之參考影像,即影像P9 中之,與區塊a位在相同位置的區塊b時所使用的動作向量 c。動作向量c被記憶在動作向量記憶部Π 6。區塊a採用利 24 1324889 用動作向量C而求得之動作向量,從前方向參考像為影像 P5,和後方向參考影像為影像p9來執行2方向預測。例如, 利用動作向量C的方法有生成平行於動作向量C之動作向 量的方法。將這種情形之區塊a予以編碼時所使用的動作向 5 量,對影像P5而言為動作向量d,對影像P9而言為動作向量
10 15
此時,如果前方向動作向量,即動作向量d的大小為 MVF,後方向動作向量,即動作向量e的大小動作 向量c的大小為MV,目前的影像(影像B7)之後方向參考影 像(影像P9)與其後方向參考影像的區塊所參考之影像(影像 P5)的時間距離為TRD,目前的影像(影像B7)與前方向表考 影像(影像P5)的時間距離為TRF,則動作向量d的大小 MVF'動作向量e的大小Μνβ,可分別以(式υ、(式2)求得。 再者’關於各祕間之時間卿,.可以例如顯示附註於各 影像之顯示順序(位置)的資料,.或其資料之^為基礎來決 定。 、. 、
m v r = jvl v ^ i i\r /1 xku M VB=(TRF-TRD) x M V/TRX) 式 2 此處,MVF'MVB表現動作向量=水平成分' 成分,正負符號表示動作向量的方向。 再者,在編碼模式的選擇中 揮甲通常選擇在少的也 下編碼誤差會變得較小的方法。垵 误式璉擇部109對編石| 成部104輸出已決定的編碼模式。 此捋,在以模式選摆. 所決定之編碼模式為影像間預測塢碼的情形中.
25 ^生成部1〇4輸出被該影像間預測蝙碼所使用的動作向 並且記憶在動作向量記憶部116。而,在選擇了直接模 t的情形中’則是將依據(式1)、(式2)所計算求出之為直接 5 :式所採用的動作向量記憶於動作向量記憶部116。 另,模式選擇部109係以所決定之編碼模式為基礎而生 成預測影像資料,並將該預測影像資料輪出到差分運算部 2和加异運算部1〇6。但是,在選擇了影像内編碼模式的 情形t,模式選擇部109並不輸出預測影像資料。而且,在 選擇了影像内編碼的情形中,模式選擇部1〇9係控制成將開 1〇關^11連接在以則,將開關H2連接在c側的狀態;而在選擇 了影像間預測編碼和直接模式的情形中,則是控制成開關 U1連接在b側,將開關112連接在d側的狀態。以下將就模 式選擇部109所選擇的是影像間預測編碼和直接模‘:式的:情 形做說明。 ·.,. 15 在差分運算部1〇2中’從串列交換用記憶體1〇1所讀出 之影像B7的巨集區塊之影像資料,和從模式選擇部1〇9所輸 出之預測影像資料被輸入。差分運算部1〇2對影像B7之巨集 區塊的影像資料和預測影像資料之差分進行運算,生成預 測誤差影像資料後再輸出到預測誤差編碼部1〇3。 20 預測誤差編碼部1 〇 3對所輸入之預測誤差影像資料施 以頻率變換和量子化等的编碼處理,藉以生成編碼資料再 輸出到編碼列生成部104及預測誤差解碼部丨〇5。 編碼列生成部104對所輸入之編碼資料實施可變長編 碼,再透過附加動作向量和編碼模式等資料的方式生成編 碼列,並將之輪出。 另方面預,則誤差解碼部105對所輸入之編碼資料施 ^里子化# 1頻率變換等之解碼處理,生賴碼差分影 像資料再輸出到加算運算部H加算運算部解碼差 刀景/1象資Γ和由杈式選擇部1 〇 9所輸入之預測影像資料予 r llx生成解竭影像資料,並健存在參考影像用記 憶體107。 藉乂上處理即疋成影像B7之1個巨集區塊的處理。利用 .相同的處理可以對影像B7之殘餘的巨集區塊執行編碼處 10,。然後’當對影像幻之所有巨集區塊的處理完成時,接 著即進行影像B6之編碼處理。.. 〈影像B6之編碼處理〉 因办像B6為B影像,故參考顯示時間順序上位在前方 或後方之已完成處理的2張影像以執行影像間預測編碼。如 】5上所述,該影細之參考影像.的前方向參考影像為影像 P5,後方向參考影像為料^.影肺6錢行其他影像之 編碼時並不會被當做參考影像使用。因此,編碼控制部ιι〇 可以控制各個開關成為開關113為ON ,開關114、115為〇FF 的狀態。藉此,從串列交換用記憶體1〇1所讀出之影像B6 20的巨集區塊被輸入到動作向量檢測部108、模式選擇部 109 ’及差分運算部1〇2。 動作向篁檢測部108將儲存在參考像用記憶體】的影 像P 5之%碼影像資科當做剷方向參考影像,將影像b 7的解 碼影像資料當做後方向參考影像使用,對影像86的巨集區 塊執行前方向動作向量和後方向動作向量的檢測。然後, 動作向量檢測部10 8會將所檢測出之動作向量對模式遂擇 部109輸出。 模式選擇部1 〇 9用動作向量檢測部1 〇 8所檢測出之動作 向量來決定影像B6的巨集區塊之編碼模式。 此處,將就對影像B6的巨集區塊採用直接模式時的動 作,以第7(b)圖來說明第一例。第7(b)圖所示為直接模式中 之動作向里的說明圖,顯示以直接模式編碼影像B6的區塊a 之情形。此時,利用編碼位在影像B6的後方之參考影像, 中之’與區塊&位於相同位置的區如時所採用的 而此處’區塊^依前方向參考,或依2方向.參考: 而被編竭.,並以盆二 曰…Λ 動作向量為動作向量C。該動作向. ! C被圮憶在、動竹& β ^ C而生成之動作==憶部心區如採叫用動作向量々 和後方向㈣據前方向參考影像,即雜5 p衫像B7,進行2方向預測。例如,若:- 和上述影像B7的情 之動作Θ旦“則地私用生成千订於動作向量C:V 之動作向⑼方法,冑核桃制 影料動作向量d,對於影侧為動料2里對於 廣此料向4,⑽大小為 向細大小為_董,即動作向量㈣大小為咖,動作 像⑽像寧宜後方目前的影像(影像B6)之後方向參考影 P5)的時間距離為丁 ^辦影像的區塊所參考之影像(影像 影像(影像心目前的細脚6)與前方向參考 ·-叫距離為TRF,則動作向量d的大小 1324889 MVF、動作向量e的大小MVB,可分別以上述(式1)、(式2) 求得。再者,關於各影像間之時間距離,可以例如顯示附 註於各影像之顯示順序的資料,或其資料之差為基礎來決 定。
5 如此,在直接模式中,透過對後方向參考影像,即B 影像之前方向動作向量進行篩檢,不僅不需要傳送動作向 量的資料,而且可以提高動作預測效率。藉此可以使編碼 效率提高。此外,透過使用可利用的範圍内之顯示時間順 序上最近傍的參考影像的方式,可以提昇編碼效率。 10 接著將用第7(b)圖說明採用直接模式的情況之第二 例。此時,係利用於編碼位於影像B 6後方的參考影像,即 影像B7中之與區塊a位於相同位置的區塊b時所使用之動作 向量。此處,區塊b被以直接模式進行編碼,而以當時所實 質用到之前方向動作向量為動作向量c。亦即,動作向量c 15 係透過影像B7在後方向參考的影像P9内,將編碼和區.塊b 位於同一位置之區塊i時所使用之動作向量加以篩檢而獲 得之動作向量。該動作向量c或使用記憶於動作向量記憶部 116的資料,或將以直接模式編碼區塊b時所使用之影像P9 内之區塊i的動作向量從動作向量記憶部116讀出來再計算 20 求得。再者,模式選擇部109,當將以直接模式編碼影像B7 之區塊b時藉篩檢處理所求得之動作向量記憶於動作向量 記憶部116時,僅須記憶前方向動作向量即可。區塊a採用 利用動作向量c而生成之動作向量’從前方向參考影像5即 影像P5,和後方向參考影像B7來進行2方向預測。例如,和 29 ⑧ 1324889 再者,模式選擇部109對編碼列生成部104輸出所決定 的編碼模式。另,模式選擇部109會以所決定之編碼模式為 基礎而生成預測影像資料,並將該預測影像資料輸出到差 分運算部102。但是,當選擇了影像内編碼時,模式選擇部 5 109並不輸出預測影像資料。而且,當選擇了影像内編碼 時,模式選擇部109係控制成將開關111連接到a側,將開關 112連接到c側的狀態;選擇了影像間預測編碼和直接模式 時,則是控制成將開關111連接到b側,將開關112連到d側 的狀態。另,當所決定之編碼模式為影像間預測編碼時, ]〇 模式選擇部109會對編碼列生成部104輸出其影像間預測編 瑪所使用的動作向量。此處,因為影像B6在其他影像的編 碼時並不會被當做參考影像使用,所以沒有必要將影像間 預測編碼所使用之動作向量儲存到動作向量記憶部116。以 下將就模式選擇部1 〇 9選擇的是影像間預測編碼和直接模 15 式的情形做說明。 . 從串列交換用記憶體101所讀出之影像B6的巨集區塊 之影像資料,和從模式選擇部109所輸出之預測影像資料被 輸入到差分運算部102。差分運算部102運算影像B6的巨集 區塊之影像資料和預測影像資料之間的差分,生成預測誤 20 差影像資料,並輸出到預測誤差編碼部103。預測誤差編碼 部10 3對所輪入之預測誤差影像資料施以頻率變換和量子 化等之編碼處理,藉以生成編碼資料並輸出到編碼列生成 部】04。 編碼列生成部]04對所輸入之編碼資料施以可變長編 36 碼等處理’並進一步利用附加動作向量和編碼模式等的資 料而生成編碼列,再將之輸出。 藉以上處理’對影像B6的1個巨集區塊所做的編碼處理 即告完成。對影像B6之其餘巨集區塊的處理也是同樣地進 打,待其完成後即進行影像B8之編碼處理。 <影像B 8之編碼處理> 因為影像B8為β影像,所以參考在顯示時間順序上位 於前方或後方之已處理完畢的2張影像以進行影像間.預測 編碼。 認影像Β8之參考影像係如上所述,前方向參考影像為· 影像Β7 ’後方向參考影像為ρ9,為影像Β8在進行其他影 像之..扁碼㈠不ώ被备做*考影像使用所以編碼控制部㈣ 將各開關控成開關丨丨3為⑽,開_丨i 4、丨15為qff的狀 心'藉此攸串列父換用記憶體1〇1被讀出之影像的巨集 區塊被輸人到動作向量檢測部⑽、模式選擇部⑽,及差 分運算部102。 動作向量4欢剥部1〇8以儲存在參考影像用記憶體撕的 影像B7之解碼影像資料做為前方向參考影像,並且用影像 P9的解碼影像資料做為後方向參考影像對影像b8之巨集 區塊進行前方向動作向量和後方向動作向量的檢測。然 後’動作向量檢測部⑽對模式選擇部H)9輸出所檢測出之 動作向量。 ’吴式l擇。P ] 0 9用在動作向量檢測邹⑽所檢測出之動 作向量來決定影像B8之巨集區塊的編碼糢式。 1324889 而且可以提高預測效率。此外,藉使用可利用的範圍内之 顯示時間順序上為最近傍的參考影像做為前方向及後方向 參考影像的方式,可以使編碼效率提高。 在以上的直接模式中,不僅是頁框之間的時間間隔固 5 定的場合,對於可變頁框間隔的場合也可以適用。 再者,模式選擇部109將所決定之編碼模式對編碼列生 成部104輸出。且,模式選擇部109會以所決定之編碼模式 為基礎而生成預測影像資料,並將該預測影像資料輸出到 差分運算部102。但是,當模式選擇部109選擇了影像内編 10 碼時,不會輸出影像資料。而且,當模式選擇部109選擇了 影像内編碼時,會控制成開關111連接到a側,開關112連接 至1k側的狀態;當選擇了影像間預測編碼和直接模式時,則; 是控制成開關111連接到b側,開關112連接到d側的狀態。 而,當所決定的編碼模式為影像間預測編碼時,模式選擇 15 部10 9會對編碼列生’成部104輸出在該影像間預測編碼中所·. 使用的動作向量。此,因為影像B8在其他影像的編碼時不 會被當做參考影像使用,所以在影像間預測編碼中所使用 的動作向量不需要儲存到動作向量記憶部116。以下將就模 式選擇部109選擇了影像間預測編碼和直接模式的情形做 20 說明。 從串列交換用記憶體101所讀出之影像B8的巨集區塊 之影像資料,和從模式選擇部109所輸出之預測影像資料被 翰入差分運算部]02。差分運算部]02運算影像B8之巨集區 塊的影像資料與預測影像資料之差分,生成預測誤差影像 39 1324889 資料並將之輸出到預測誤差編碼部103。預測誤差編碼部 103對所輸入之預測誤差影像資料施以頻率變換和量子化 等之編碼處理,藉以生成編碼資料並輸出到編碼列生成部 104 ° 5 編碼列生成部104對所輸入之編碼資料施以可變長編 碼等處理,進一步附加動作向量和編碼模式等之資料,藉 以生成編碼列並輸出。 藉以上處理即完成了對影像B8之1個巨集區塊的編碼 處理。對影像B8之剩餘巨集區塊的處理亦是同樣地進行。 10 以下,各影像之編碼處理係以對應各影像之影像類型 及影像之顯示時間順序的位置之編碼方法,依據和影像 P9、B7、B6、B8相同的方法實施。· : 以上實施態樣中,係採用示於第6(a)圖之影像預測構造 的情形為例,說明本方明之動畫影像編碼方法的動作。第 15 12圖為階層地顯示該情形之影像預測構造的說明圖。第12 圖中,箭頭所示為預測關係,顯示位於箭頭終點的影像係 參考位於起點的影像。在第6(a)圖所示之影像預測構造中, 以顯示時間順序做考量時,如第12圖所示,以自已完成編 碼的影像起距離最遠的影像為優先來決定編碼順序。例 20 如,從I或P影像起,距離最遠的影像為位於連續的B影像之 中央的影像。因此。以影像P5、P9為已完成編碼的狀態為 例,影像B7即為下一個編碼目標影像。而,在影像P5、B7、 P9為已完成編碼的狀態中,影像B6、BS即為下一個編碼目 標影像。 40 1324889 另,即使在具有不同於第6圖、第12圖所示之影像預測 構造的情形中,依然可以採用和本發明之動晝影像編碼方 法相同的方法,並且造成本發明之效果。其他影像預測構 造之例示於第9圖〜第11圖。 5 第9圖所示為夾在I或P影像間之B影像的數目為3張,而 且從距已完成編碼的影像最近的影像做選擇當做編碼B影 像的順序而進行編碼的情形。第9(a)圖為以顯示時間順序表 示之各影像的預測關係之示意圖;第9(b)圖為依編碼順序 (編碼列順序)做串列交換之影像順序的示意圖。另,第13 10 圖為對應第9(a)圖的影像預測構造之階層圖。在示於第9(a) 圖的影像預測搆造中,當以顯示時間順序做考量時,如第 13圖所示,從距離已完成編碼的影像最近的影像開始依序 進行編碼。例如,在影像P5、P9為已完成編碼的狀態中, 影像B6、B8成為下一個編碼目標影像。而,在影像P5、B6、 15 B8、P9為已完成編碼的狀態中,影像B7即為下一個編碼目. 標影像。 第10圖所示為夹在I或P影像間之B影像的數目為5 張,以距離已完成編碼的影像最遠之影像為優先而對B影像 進行編碼的情形。第10(a)圖係以顯示時間順序表示之各影 20 像的預測關係示意圖;第10(b)圖為依據編碼順序(編碼列順 序)做串列交換的影像順序示意圖。另,第14圖為對應第10(a) 圖的影像預測構造之階層圖。在示於第10(a)圖的影像預測 構中,當以顯示時間順序考量時=如第]4圖所示:以距離 已完成編碼的影像最遠之影像為優先來決定編碼順序。例 4! 1324889 如距離I或P影像最遠的影像為位於連續的B影像之中央的 影像。因此,例如在影像P7、P13已完成編碼的狀態中,影 像N10即為下一個編碼目標影像。而,在影像P7、BIO、P13 已完成編碼的狀態中,影像B8、B9、Bll、B12為下一個編 5 碼目標影像。 第11圖所示為夾在I或P影像間之B影像的數目為5張 時,以最接近已完成編碼的影像之影像為優先而編碼B影像 的情形。第11(a)圖係以顯示時間順序表示之各影像的預測 關係示意圖;第11(b)圖為依據編碼順序(編碼列順序)進行 10 串列交換的影像順序示意圖。而,第15圖為對應第11(a)圖 之影像預測構造的階層圖。示於第11 (a)圖中之影像預測構 造中,當以顯示時間順序考量時,如第15圖所示,從最接 近已完成編碼的影像開始依序進行編碼。例如,在影像P5、 P9已完成編碼的狀態中,影像B8、B12成為下一假編碼目 15 .標影像。而,在影像P5、B8、B12、P9已完成編碼的.狀態 中,影像B9、B11成為下一個編碼目標影像。此外,在影 像P5、B8、B9、Bll、B12、P9已完成編石馬的狀態中,影像 B10成為下一個編碼目標影像。 如上所述,在本發明之動畫影像編碼方法中,在編碼 20 採用2方向預測而實施影像間預測編碼處理的B影像時,以 不同於顯示時間順序的順序來編碼夾在I或P影像間之複數 個B影像。此時,用可能的範圍内在顯示時間順序上位於近 傍的影像做為前方向及後方向的參考影像。該參考影像在 可以利用B影像的情形中也可以闬13影像。另=以不同於顯 1324889 可將顯示時間順序上位於前方或後方的複數個已完成編碼 的I或P影像當做參考影像的候補,而為B影像時,亦可參考 顯示時間順序上位在前方或後方的近傍之複數個已完成編 碼的影像,以實施編碼。 5 另,在模式選擇部109將動作向量記憶到動作向量記憶 部116時,目標區塊被以2方向預測或直接模式加以編碼的 情形中,記憶前方向及後方向雙方的動作向量亦可,僅記 憶前方向動作向量亦可。如果僅記憶前方向動作向量,則 可以削減動作向量記憶部116的記憶量。 10 (實施態樣2) 第16圖為使用本發明之動畫影像解碼方法的動畫影像 解碼裝置之一實施態樣的構造示意方塊圖。 動畫影像解碼裝置係如第16圖所示,具備編碼列解析 部1401、預測誤差解碼部1402、模式解碼部1403、頁框記 15 憶體控制部1404、動作補償解碼部1405、動作向量記憶部 1406、頁框記憶體1407、加算運算部1408,及開關1409、 1410。 編碼列解析部1401從所輸入的編碼列執行編碼模式的 責料及動作向量的資料等之各種資料的抽出。預測誤差解 20 碼部1402執行從編碼列解析部1401輸入之預測誤差編碼資 料的解碼,生成預測誤差影像資料。模式解碼部1403參考 從編碼列被抽出來的編碼模式之資料,執行開關1409、1410 之控制。 頁框記憶控制部】404以表示從編碼列解析部]4 0 ]所輸 47 ===:基礎,___ 馬〜像㈣當做輸出影像輪出。 =補償解碼部剛執行參考騎魏㈣作向量之 二=理,以已解碼的參考影像編號和動作向量為 ::二頁框記憶體1407取得動作補償影像資料。動作向 里》己隐。p 1406記憶動作向量。 =運算部14_從_誤差解碼部剛所輸入之預 ^、碼㈣,和從__解料M05以之動作補 乜衫像肓料做加算,生成解 收容所生成之解碼影像資料。像_。頁框讀、體而 接料就如上所述般地構成之動畫影像解碼裝置的動 。以次明。此處m職動畫f彡像編料置所生成 ^編碼列輪入動絲像解碼u。料,此處p影像係袁考 =不時間順序上位於前方或後方近傍之已完成處理的順 =影像骑得者。另’碎彡㈣參切科間财上位於 】方或後方之2個已元成蝙碼的近傍的影像而獲得者。 此情形中之編碼列中的影像會形成如第6⑻圊所示的 傾序。以下將崎像.?9、^則、_料處理依序做說 明。 〈影像P9之解碼處理〉 影像P9的編碼列被輪入編碼列解析部剛。編碼列解 析部從所輸入的編碼列執行各種資料之抽出。此處所謂的 :種資壯曰核式4擇的資料和動作向量資料等。對模式 解碼部圖輸出所μ之模式選擇資料。[對動作補償 解碼部14G5輸出所拙出之動作向量資料。此外,對預測誤 差解碼部1402輸硫預測誤差編碼資料。 10 再者’在模式解碼部H〇3亦對動作補償解碼部测輸 ^編碼模式選擇㈣料。以τ將朗麵式為影像間預測 ‘竭的情形做說明。預職差解碼部贈執行所輸入之預 測誤f編碼f料的解碼,生成_誤差縣_。然後, =誤差解㈣m_p剛輸出射叙_誤差影 15 二資料此處’因為開關14〇9被連接到匕側,所以對加算運 算部1408輸出預測誤差影像資料。 ^ "乍補^解碼部14〇5以所輸人之動作向量的資料做基 礎伙頁框記憶體1407取得動作補償影像資料。影像朽係 參考影像Μ被編碼,料P5e被解碼並減 體1407中。爯去 I从 ' 20 模式解碼部!4 〇3參考從編碼列所抽出之編碼模式選擇 =資料’執行開關觸' 141G的控制。在編補式選擇為 象内編碼的情形中,模式解碼部14〇3係控制成將開關 _連接到♦將開關14⑽接到_。另,在編碼模式 選擇為影像間預測編碼的情形中,模式解碼部 成將開關⑽9連接到b側,將軸41〇連接糊/、』 丹有,動作補償解碼部14〇5以動作向量的資料 土楚從保持在頁框記憶體刚7之影像P5的影像 資料取得 ^補侦影像資料。對加算運算部剛輸出如此處理而生 成之動作補償影像資料。 另乂動作補償解碼部!4 〇 5在執行p影像之解碼的情形 中作向置的資料記憶於動作向量記憶部】4 06。 ⑧ 49 加算運算部咖將所輸人之預測誤轉像資料和動作 ㈣予心算,生柄觸歸料。賴生成之 馬衫像貧料透過開關】41〇對頁框記憶體刚7輸出。 斤述地處理,完成影像P9之1個巨集區塊的處理。 ^用相_處理’殘餘的巨集區塊也依序地被解碼。一旦 4P9的巨集區塊全部被解妈,即進行影像π之解碼。 <景> 像B7之解碼處理〉 因為在,-扁碼列解析部14〇1、模式解碼部1403,及預測 誤差解碼部1402 +之直到生成·m差影像 資料為止的動 作’和影像P.9之解碼處理時相同,故省略其說明。 動作補^解碼部14〇5以所輸入之動作向量的資料等為. 基礎,生成動作補償影像資料。影像B7參考影像P5做為前 方向參考影像,參考?9做為後方向參考影像而被編瑪,該... 等影像已經被解碼並且保持在頁框記憶體剛。 在模式選擇為2方向預測之影像間預測編碼的情形 中,動作補償解碼部14〇5以前方向動作向量的情報為基 礎,從頁框記憶體14〇7取得前方向參考影像資料。然後, 動作補償解碼部1405將前方向參考影像資料和後方向參考 影像資料予以加算平均,藉而生成動作補償影像資料。 另,當模式選擇為直接模式時,動作補償解碼部;14〇5 取知被圯憶在動作向量記憶部1406的影像P9之動作向量。 然後,動作補償解碼部】4〇5用該動作向量,從頁框記憶體 1407取得前方向參考影像資料和後方向參考影像資料。然 佼·動作補償解碼部]4〇5將前方向參考影像資料和後方向 參考影像撕㈣平均 進-步用第酬式選擇為直接模做 s月。此處,將影像B7之區境a解碼,並 同位置之影像P9的區塊為區塊b。而區”塊^於相 作向量c,其係參考影像P5者。此時,用利用^乍向量祕 =之參考影像。5的動作向量㈣前方向動作= 向動作向量則是用利用動作向量〇而 , 動作向量e。例如,利用動作向量,方:係像P9的 :向量c之動作向量的方法,此等動作:= 二前方向參考影像資料和後方向參考資料予二; 仔之影像資料,當做動作補償影像資料。 : 咖此2如果前方向動作向量,㈣作向量⑽大小為 向量^ 作向量’㈣作向細大小為咖,動作 的大小為MV’目前的影像(影像 像(影像P9)盥直後方向夫老*你 俊方向麥考衫 ㈣的時_:二==:參考_(影 削的衫像(影像B7)與前方向參 衫(影像P5)的時間距離為TRF,則動作向量^的大小 M:、動作向量e的大小MVB,可分別以(式υ、(式2)求得。 ^處,MVF、MVB分別表現動作向量之水平成分、垂直成 分。再者’關於各影像間之時間轉,可以依據例如顯示 附加於影像之顯示順序(位置)的資料,或其_之差來決 定。 ' 對加真運算部剛輪年如此處理而生成之動作補償影 像貧料°另:動作補償解碼部】術將動作向量的資料記憶 在動作向量記憶部1406。 加算運算部1概對所輸入之預測誤差影像資料和動作 補償影像資料進行加算,生成解碼影像㈣。射成之解 喝影像資料係透過開關141G而對頁框記憶體訓輸出。 如此為之即完成影像B7之1個巨集區塊的處理。藉同樣 的皮理亦可將殘餘的巨集區塊依序解碼。當影像^之巨集 區塊全部被解碼後,即進行影像]56之解碼。 <影像B6之解碼處理> 因為在編碼列解析部1401 '模式解碼部14〇3,及預測 誤差解碼部!402巾之朗生成㈣彡像資料為止的動 乍和衫像P9之解碼處理時相同,故省略其說明。 動作補償解碼部1405以所輸入之動作向量的資料等為 土礎而生成動作補你影像資料。影像參考影像^做為前 T向參考影像,參考B7做為後方向參考影像而被編碼,此 等影像已被解碼後即保持在頁框記憶體丨4 〇 7。 當模式選擇為2方向預測之影像間預測編碼時,動作補 償解碼部1405以前方向動作向量的資料為基礎而從頁框記 憶體1407取得前方向參考影像資料。另,以後方向動作向 里的資料為基礎而從頁框記憶體1407取得後方向參考影像 資料。然後,動作補償解碼部14〇5將前方向參考影像資料 和後方向參考影像資料予以加算平均,藉而生成補償影像 資料。 另,當模式選擇為直接模式時,動作補償解碼部14〇5 取得被記憶在動作向量記憶部! 4〇6的影像B 7之動作向量c 07 動作補償解碼部】4〇5用兮& & θ . , . . ^ 乍向量,從頁框記憶體1407取 付刖方向薈考影像資料和 作補償解碼物5將前方=參考影像資料。然後,動 像資料予以加算平均,影像㈣和後方向參考影 ^ S而生成動作補償影像資料。 用弟7(b)圖說明該槿氣古』 、式為直接模式時之第一例。此處, 將影像B6之區塊a予以解 匕施 像B7之區塊為區塊场區塊&位於相同位置的影 …)後,區塊b被施以依據前方向參考 之影像間預測編碼,忐 ^ 戍依據2方向參考之影像間預測編碼, 0 、區鬼b之月』方向動作向量為動作向量。。該動作向量〇係參 考影像P5。此時,採用參考利用動作向量c而生成之影像P5 的動料量d’做為龍如之前方向動作向量;後方向動 作向^則是採用參考利用動作向量c而生成之影像B7的動 作=里e。例如’利用動作向量―方法有生成平行於動作 向:C之動作向量的方法。將㈣㈣作向量為基礎而取得 之前方向參考影像資料和後方向參考影像㈣,經過加算 平均所知之影像資料當做動作補償影像資料。 此時,如杲前方向動作向量,即動作向量0的大小為 後方向動作向量,即動作肖量e的大小為MVB,動作 向里c的大小為MV,目前的影像(影像B6)之後方向參考影 像(办像B7)與其後方向參考影像之區塊^所參考的影像(影 ,的時間距離為TRD,目前的影像(影綱與前方向: 考影像(影像P5)的時間距離為TRF,則動作向量d的大二 =γ、動作向量e的大小MVB,可分別以(式】)、(式2)求得。 』方、各杉泉間之時間距離:可以依據例如表示阳 接者㈣7⑷圖說明模式選擇為直接模式時之第三例β 此處,影細的區塊a已解瑪,以和區塊繪於相同位 置之影細的區塊為區塊b。_被施以後方向农考預測 編碼,將區塊b之後方向動作向量當做動作向量卜該動作 向量^考影像P9。此時,對區塊a之前方向動作向量係採 用茶考利用動作向量f而求得之影像p5的動作向量g,而後 方向動作向里係採用參考利用動作向量f而求得之影像Μ 的動作向量h。例如’利用動作向㈣方法有生成五行於 乍向里f之方法。將根據此等動作向量而求得之前方向參 考影像資料㈣方向參切像_料加算平均而得之影 像貢料當做動作補償影像資料。 此時,如果前方向動作向量,即動作向量g的大小為 MvF ’後方向動作向量,即動作向量㈣大小為mvb,動 作向里f的大小為MV’目前的影像(影像B6)之後方向參考影 像U;像B7)與其後方向参考影像之區塊所參考的影像(影像 P9)的時間距離為TRD,目前的影像(影像B6)與前方向參考 影像(影像P5)的時間距離為TRF,目前的影像(影像B6)與後 方向荃考影像(影像B7)之時間距離為TRB,則動作向量g的 大小MVF、動作向量h的大小MVB,可分別以(式3)、(式4) 求得。 接著用第7(d)圖說明模式選擇為直接模式時之第四例。 此處’將影像B6之區塊a解碼,將和區塊a位於相同位 置之影像B7的區塊當做區塊b。區塊b和第三例同樣地被施 以极方向參考預測編碼,將區塊b之後方向動作向量當做動 1324889 作向量f。該動作向量f參考影像P9。此時,對區塊a之前方 向動作向量係採用參考利用動作向量f所求得之影像P9的 動作向量f,而後方向動作向量係採用參考利用動作向量f 所求得之影像B7的動作向量h。例如,利用動作向量f的方 5 法有生成平行於動作向量f之動作向量的方法。將根據此等 動作向量所取得之前方向參考影像資料和後方向參考影像 資料予以加算平均獲得之影像資料當做動作補償影像資 料。 此時,如杲前方向動作向量,即動作向量g的大小為 ]〇 MVF,後方向動作向量,即動作向量h的大小為MVB,動 作向量f的大小為MV,目前的影像(影像B6)之後方向參考影 像(影像B7)與其後方向參考影像之區塊所參考的影像(影像 P9)的時間距離為TRD,目前的影像(影像B6)與後方向參考 影像(影像B7)的區塊所參考之影像(影像P9)的時間距離為 】5 TRF,則動作向量g的大小MVF、動作向量h的大小MVB, 可分別以(式1)、(式2)求得。. 另,用第8(a)圖說明模式選擇為直接模式時之第五例。 此處,利用直接模式將影像B6的區塊a予以解碼。此時,將 動作向量的大小設為0 ’用影像P 5做4方向爹考影像’用景;> 20 像B7做後方向參考影像,藉實施2方向參考的方式進行動作 補償。 接著,用第8(b)圖說明模式選擇為直接模式時之第六 例。此處,以直接模式將影像B6之區塊a予以解碼。此時, 利η解.碼和位於影像B6後方的P影像,即影像P9中之與區塊 ^24889 -r尸;r便用之動作向 破記憶於動作向量記憶物6。 作向量g g而求得之動作向量 4用利用動作向量 並根據則方向參考影推 和後方向參考, g ~像,即影像P5, 上述第-例的:二同:執行 〕料同樣地,如果採用生 之動作向量的方法,則為取得f^成千仃於動作向量g 使用的動作向量即二二塊a之動作補償影像資料而 為動作向量Γ 對影像P5為動作向量h,對影物 10 15 此時’如果前方向動作向量,即動大 MVF,後方向動作向量,即動作向量〗 :大小為 向量g的大小為MV,位;^目· ,動作 巧 方;目則的影像(影像B6)後方之卩乓偟 3摩,㈣錢之影像齡_參考之職(影祕) ^間㈣為TRD,目前㈣像(影像B6)與前方向參考影 (影像P5) 6刚距離為TRF,目麵影像(影像岡與後方 向麥考影像(影像B7)之時間雜為咖,則動作向量h的大 小贿、動作向量】的大小则,可分別以(式】)、 得。 接著用第8⑷圖說明模式選擇為直接模式時之第七 例此處以直接模式將影像B6的區塊a予以解碼。此例係, 2〇實施對上述所說明之影像編號的相對索引之分配的變更重 整(remappmg),後方向參考影像變成影像p9的情形。此時, 利用編碼影像B6之後方參考影像,即影像卯中之與區塊a 位於相同位置的區塊f時所使用的動作向量名。動作向量g被 記憶在動作向量記憶部丨4〇6 c區塊a採用利周動作向量呈而 Φ 57 後方向來考再根據前方向參考影像,即影像P5,和 第-例的情=影像P9進行2方向預測。例如,和上述 作向量同地’如果採用生成平行於動作向量g之動 之動作向量,對Γ取㈣塊a之動作補償影像資料所使用 向量】。以料P5為動作向量h,對於f彡像P9為動作 前方向動作向量,即動作向量h的大小為 向量g的大向量,即動作向量1的大小為謂,動作 像(影物)^^=_6)_向參考影 之區塊所參考的影像(影像 与後1/距離為TRD’目前的影像(影像β6)與前方向參考 ("像Ρ5)的時間距離為TRF,則動作向量h的大小 贿、動作向量丨的大小鹏,可分別以则⑽求得。 將如此處理而生成之動作補償影像資料對加算運算部 8輸出。加异運算部14〇8將所輸入之預測誤差影像資料 和動作補化影像資料予以加算,生成解碼影像資料。所生 成之解碼影像資料被透過開關141 〇而對頁框記憶體14 〇 7輪 出0 如此處理即完成影像B6之1個巨集區塊的處理。殘餘的 20巨集區塊亦可藉同樣的處理而被依序解碼。一旦影像B6的 巨集區塊全部被解碼了,即進行影像38之解碼。 <影像B8之解碼處理> 因為在編碼列解析部]40]、模式解碼部】4〇3,及預測 誤差解碼部】402中之直到生成預測誤差影像資料為止的動 58 作’和影像P9之解碼處理時相同故省略其說明。 動作補償解石馬部1405以所輸入之動作向量的資料等為 基礎而生肋作補償影像資料。影像BS參考影像Μ做為前 方向參考影像,參麵做為後方向參考影“被編碼,此 寻影像已簡碼後㈣持在頁框記憶體咖。 當模式選擇為2方向預測之影像間預測編嫣時,動作補 償解碼部以前方向動作向量的資料為基礎而從頁框記 M14G7取㈣方向參考料㈣m方向動作向 :的寅料為基礎而從頁框記憶體·取得後方向參考影像 資料。錄,動作補償解碼部刪將前方向參考影像資料 矛後方·向夢考〜像資料丨以加算平均’藉而生成補償影像 資料。 :: 另^模式k擇為直接模式時,動作補償解碼部1405 , 取得被記憶在動作向量記憶部14〇6的影像p9之動作向量^ , 動作補償解碼部1405用該動作向量,從頁框記憶體14〇7取:.. 得别方向參考影像資料和後方向參考影像資料。然後,動.. 作補償解碼部14 0 5將前方向參考影像資料和後方向參考影 像資料予以加算平均,藉而生成動作補償影像資料。 用第8(d)圖說明模式為直接模式時之例。此處,將影像 B8之區塊a予以解碼,以和後方向參考影像,即影像p9中之 與區塊a位於相同位置的為區塊b。然後,以區塊13之前方向 動作向量為動作向量c。該動作向量c會參考影像P5。此時, 對區塊a之前方向動作向量係採用參考利用動作向量^而生 成之影像B 7的動作向量d :後方向動作向量則是採用參考利 1324889 用動作向量c而生成之影像P9的動作向量e。例如,利用動 作向量c的方法有生成平行於動作向量c之動作向量的方 法。將以該等動作向量為基礎而取得之前方向參考影像資 料和後方向參考影像資料,經過加算平均所得之影像資料 5 當做動作補償影像資料。 此時,如果前方向動作向量,即動作向量d的大小為 MVF,後方向動作向量,即動作向量e的大小為MVB,動作 向量c的大小為MV,目前的影像(影像B8)之後方向參考影 像(影像P9)與其後方向參考影像之區塊b所參考的影像(影 10 像P5)的時間距離為TRD,目前的影像(影像B8)與前方向參 考影像(影像B7)的時間距離為TRF,目前的影像(影像B8) 與後方向參考影像(影像P 9)的時間距離為T RB,則動作向量 d的大小MVF、動作向量e的大小MVB,可分別以(式1)、(式 5)求得。 15 將如此處理而生成之動作補償影像資料對加算運算部 1408輸出。加算運算部1408將所輸入之預測誤差影像資料 和動作補償影像資料予以加算,生成解碼影像資料。所生 成之解碼影像資料被透過開關1410而對頁框記憶體1407輪 出。 20 如此處理即完成影像B8之1個巨集區塊的處理。殘餘的 巨集區塊亦可藉同樣的處理而被依序解碼。以下,各影像 係依對應影像類型之相同處理而被解碼。 接著,頁框記憶控制部】404將如上所述地被保持在頁 框記憶體]407之各影像的影像資料:如第6(3)圖所示般依時 όϋ (s) 1324889 間順序實施串列變更再當做輸出影像輸出。 像這樣,在本發明之動畫影像解碼方法中,將採用2 方向預測進行影像間預測編碼處理之B影像予以解碼時,係 採用已完成解碼之在顯示時間上位於近傍的影像做為前方 5 向參考及後方向參考使用的影像而進行解碼。 另,以B影像選擇直接模式做編碼模式的情形中,透過 參考保持於動作向量記憶部1406之已成解碼的後方向參考 影像之動作向量的方式,從已完成解碼之影像資料取得參 考影像資料,獲得動作補償影像資料。 10 利用像這樣的動作,在將用2方向預測而實施影像間預 測編碼處理的B影像予以編碼時,將用顯示時間上位.於近 傍之影像做為前方向參考及後方向參考所使用之影像,經 過編碼而生成.之編碼列予以解碼時,可以正確地執行解碼 處理。. 15 再者,本實.施態.樣在直接模式中,雖以七個例子做說 明,惟其等亦可採用,例如以後方向參考影像之同一位置 的區塊之解碼方法等,每次專注於決定巨集區塊或區塊的 一個方法,或者亦可採用在區塊和巨集區塊單位切換複數 個方法的方式。當採用複數個方法時,係採用顯示記述在 20 編碼列中之用了那一個直接模式的資料來執行解碼。此 時,動作補償解碼部1405的動作會因其資料而改變。例如, 當該資料係以動作補償的區塊單位被附加上去時,在模式 解碼部1403會決定那一種直接模式會被採用並被編碼,再 將其傳送至動作補償解碼部1405 »然後,動作補償解碼部 61 1324889 1405會依據被採用的是那一種直接模式,而用本實施態樣 所說明之解碼方法來執行解碼處理。 另,在本施態樣中,雖就I或P影像間夾了 3張B影像的 影像構造之情形做說明,惟該B影像之張數亦可為其他數 5 值,例如4張或5張亦可。 又,在本實施態樣中,雖就針對P影像係參考1個在顯 示時間上位於前方或後方之已完成編碼的I或P影像而被編 碼,B影像係參考2個在顯示時間上位於前方或後方的近傍 之已完成編碼的影像而被編碼之編碼列進行解碼的情形做 10 說明,惟其等於P影像的情形中係,以顯示時間上位於前方 或後方之複數個已完成編碼的.1或P影像為參考影像之候 補,並參考在各區塊中之最大的Η固影像而執行編碼,而於 Β影像的情形中係,以顯示時間上位於前方或後方之近傍的 複數個已完成編碼之影像為爹考影像的候補,並爹考在各 15 區塊中之最大的2個影像而執行編碼所得的編瑪列亦佳。 另,動作補償解碼部1405在將動作向量記憶到動作向 量記憶部1406時,在目標區塊係以2方向預測或直接模式而 被編碼的情形中,亦可將前方向及後方向雙方的動作向量 都記憶起來,亦可僅將前方向動作向量記憶起來。如果僅 20 記憶前方向動作向量,則可以削減動作向量記憶部1406的 記憶量。 (實施態樣3) 此外,藉由將為了實現上述各實施態樣所示之動畫影 像編碼方法或動畫影像解碼方法的構成所用之程式記錄到 62 1324889 第18圖所示為實現内容配信服務之内容供給系統ex 100的整體構造方塊圖。將提供通信服務的區域分割成所期 望的大小,在各cell内分別設置固定無線局,即基地台ex 107〜ex 110 〇 5 該内容供給系統ex 100係透過例如,網際網路服務供 應商ex 102、及電話網ex 1〇4及基地台ex 1〇7〜11〇,而將電 月®ex 111、pda (personal digital assistant) ex 112 ' 相機ex 113、行動電話以114、附相機之行動電話ex 115等的各種 機器連接到網際網路ex Γ〇1。 、 10 但是,内容供給系統ex 100並不限於第18圖所示之組 合’將任一者組合連接起來都可以。而,各機器不透過固 疋無線局’即基地台ex l〇7〜ex 11〇,直接連接到電話網 亦可。 「 相機ex 113為數位相機等之可以拍攝動畫影像的機 15 器。另外,行動電話不管是PDC (Personal Digital Communications)方式、CDMA (Code Division Multiple Access)方式、W-CDMA (Wideband-Code Division Multiple Access) _方式、或者 GSM (Global System for Mobile Communications)方式之行動電話,或 PHS (Personal 2〇 Handyphone System)等,任可一種都可以。 另,資料流祠服器(streaming servo) ex 103從相機ex 113接通基地台ex l〇9、電話網ex 104,即可以根據使用者 用相機ex 1】3送信之經過編碼處理的資料而進行實況(】ive) 傳?I:。相聶到的育料之編碼處理可以用相機e X丨】3,也可以 64 1324889 用執行資料之送信處理的伺服器等來實施。另,以相機ex 116所拍攝到之動晝資料亦可透過電腦ex 111而被送信至資 料流伺服器ex 103。相機ex 116為數位相機等可以拍攝靜 止晝面或拍攝動晝的機器。此時,動晝資料的編碼可以在 5 相機ex 116進行,也可以在電腦ex 111進行,那一個都可 以。另,編碼處理係在電腦ex 111和相機ex 116所具有之LSI ex 117中進行處理。再者,亦可將動晝影像編碼·解碼用的 軟體編入可以用電腦ex 111等讀取之記錄媒體的任何儲存 媒體(CD-ROM、軟碟、硬碟等)。此外,也可以用附有相機 10 之行動電話ex 115來傳送動晝.資料。此時之動晝資料即是被 行動電話ex 115所具有的LSI編碼處理過之資料。 利用該内容供給系統ex 100,使用者以相機ex 113、相 機ex 116等所拍攝之内容(例如,拍攝音樂實況的影像等)係 和上述實施態樣同樣地加以編碼處理,再傳送到資料流伺 15 服器ex 103,另一方面,資料流伺服器ex 103則對符合要求 的客戶端配送上述内容資料。客戶端有可以將上述編碼處 理過之資料加以解碼的電腦ex 111、PDA ex 112、相機ex 113、行動電話ex 114等。内容供給系統ex 110利用這樣的 處理即可以在客戶端接收經過編碼的資料並且再生,進一 20 步在客戶端即時(real time)接收並解碼、再生,從而成為也 可以實現個人廣播的系統。 關於構成此系統之各機器的編碼、解碼,只要採用上 述各實施態樣所示之動畫影像編碼裝置或動畫影像解碼裝 置即可。 65 1324889 就其中一例之行動電話加以說明。 第19圖所示為採用上述實施態樣所說明之動晝影像編 碼方法和動畫影像解碼方法的行動電話ex 1]5。行動電話U 115具有用以在其與基地台以11〇之間收發電波之天線以 5 20卜可以拍攝CDC相機等之影像、靜止畫面的相機部ex 203,將以相機部ex203所拍攝的影像、由天線以2〇1所接收 的影像等解碼而得的資料顯示出來之液晶顯示器等的顯示 部ex 202,由操作鍵以204所構成之本體部,用以輸出聲音 之揚聲器(speeker)等之聲音輸出部以2〇8,用以輸入聲音之 傳聲器(micr〇Phone)等的聲音輪入部ex2〇5,用以保存拍攝 的動晝或靜止畫面資料 '所接收的都件之資料、...動晝資料.. 或靜止畫面的資料等經過編碼或解碼的資料等之記錄媒體 ex 207 ’在行動電話ex 115内可用來裝設記錄媒體以.2〇7的 插槽部ex 206。記錄媒體ex 207為SD卡等之塑膠殼體内.可電 15氣性地寫入和刪除之非揮發性記憶體:即 EEPR〇M(Electrically Erasable and Programmable Read Only M e m o r y ’電抹式可程式唯讀記憶體)的一種可收容快閃記憶 體元件的記錄媒體。 此外,用第20圖說明行動電話ex 115。行動電話ex 115 20 對被設成統括性地控制具備顯示部ex 202及操作鍵ex 204 之本體部的各部分之主控制部ex 311,將電源電路部ex 31〇、操作輸入控制部ex 304 '影像編碼部ex 312、相機介 面部 ex 3〇3、LCD(Liquid Crystal Display,液晶顯示器)控制 邹ex 302、影像解碼部ex 309、多工分離部ex 308 '記錄再 66 (S) 生部以307、變復調電路部以3〇6及聲音處理部以3〇5,透 過同步匯流排(synchronous bus,同期a 7 )ex 3} 3而被互相 連接。 電源電路部ex 310如果因使用者的操作被設在通話完 畢及電源鍵為ON的狀態,就會從電池組對各部供給電力, 從而將附有相機之數位行動電話exll5起動成可動作的狀 態。 行動電話ex 115根據以CPU、R〇M及RAM等構成之主 控制部ex 311的控制,利用聲音處理部ex3〇5將聲音通話模 式時為聲音輸入部ex 2〇5所集音之聲音信號變換成數位聲 音資料,再以變復調電路路部以3〇6將其施以頻譜擴散處 理,以收發信電路部ex 301實施數位類比變換處理及頻率變 換處理後,透過天線以20〗送_信.。另行動電話^丨5於聲音 通話模式時,將以天線e X 2 01所接收之收信資料予以增幅並 施以頻率變換處理及類比數位變換處理,並以變復調電路 部ex 306做頻谱逆擴散處理,以,聲音處理部3〇5變換成類 比聲音資料後,透過聲音輸出部ex2〇8將之輸出。 此外,於資料通信模式時發送電子郵件的情形中依 本體部之操作鍵ex 204的操作而被輪入之電子郵件的文書 資料透過操作輸入控制部ex 304而被送出至主控制部 311。主控制部ex 311在變復調電路部以3〇6將文書資料施 以頻譜擴散處理’並在收發信電路部以3〇1實施數位類比變 換處理及頻率變換處理後’經由天線ex 2〇]而送往基地 1324889 於資料通信模式時送出影像資料的情形中,將以相機 部ex 203所拍攝之影像資料經由相機介面部ex 3〇3供給到 影像編碼部ex312。另,在不送出影像資料的情形中以相 機部ex 203所拍攝之影像料也可以經由相機介面部以3〇3 5及LCD控制部ex 302而在顯示部ex 2〇2直接顯示出來。 影像編碼部ex M2為具備本發明所說明之動畫影像編 碼裝置的構造’將由相機部ex2Q3所供給之影像資料,藉使 用上述實施態樣所示之動晝影像編碼裝置的編碼方法加以 壓縮編碼,藉以變換成編碼影像資料,再將之送到多工分 10離部eX 308。而,與此同時,行動電話ex 115將以相機部ex 203攝影的當中,在聲音輸入部以2〇5所集音的聲音透過聲 音處理部ex j〇5當做數位的聲音資料送至多工分離^ ex 308 。.. 多工分離部ex 308將由影像編碼部以321供給之編瑪 15影像資料,·和由聲音處理部e X 3 0 5供給之聲音資料以預定方 式予以多工化’在變復調電路部ex 3〇6將該結果所獲得之多 工化資料施以頻譜擴散處理,在收發信電路部ex 3〇1實施數 位類比變換處理及頻率變換處理後,經由天線ex2〇1發信。 於資料通信模式時接收被連結到首頁的動畫影像檔案 20資料之情形中’將經由天線ex 201再從基地台ex 110接收到 的收信資料’在變復調電路部以3〇6施以頻譜逆擴散處理’ 其結果所獲得之多工化資料則送到多工分離部ex 3〇8。 另’當要將經由天線ex 2〇】所接收到之多工化資料予 以解碼時’多工分離部以3〇8藉分離多工化資料而分出影像 68 牛位7stream)和聲音資料之位元串流,並透 ^ 仙排ex 313將該編碼影像資料供給到影像解碼部 "30二㈣將該聲音像供給到聲音處理部ex3。5。 纪、人知像解碼部以309係具-備本發明所說明之動畫 :像:碼裝置的構造,將影像資料的位元串流以對應上述 貝施g巾所不之編媽方法的解碼方法加以解碼,藉以生 f再生動畫影像資料,並將之透過LCD控制部ex 3G2供給到 ^不4ex 202 ’藉此,例如包含在被連結到首頁的動晝影像 t木中之動晝資料得以被顯示出來。與此同時,聲音處理 :eX3〇5將聲音資料轉換成類比聲音資料後,將其供給到聲 S知出。卩ex 208 ’藉此,例如被包含在連結到首頁的聲音資 料得以再生。 · 、 再者’不限於上述系統例,最近,利用衛星' 地上波 讀位廣播已成為話題,如第_所示,也可以將上述實 加.“、彳’X之至;>、動畫影像編碼裝置或動畫影像解碼裝置中之 任一者編入數位廣播用系統中。具體而言,在廣播台ex 409 中,影像資料之位元串流係透過電波而被傳送到通信或廣 播衛星ex 410 〇接收該位元串流的廣播衛星以41〇發出廣播 用電波’用持有衛星廣播接收設備的家庭之天線以傷接收 該電波,利周電視(接收機)ex 401或視訊轉換器(機上盒, STB)ex 407等之裝置將位元串流加以解碼並再生。另也 可以在讀取記錄於記錄媒體,即CD和DVD等之儲存媒體ex 402的位元串流,並予以解碼之再生裝置ex 4〇3上安裝上 述實施態樣所示之動畫影像解碼裝置◦此時;再生出來的 1324889 影像信號顯示於螢幕ex 404。另,亦可考慮將動晝影像解碼 裝置安裝在和有線電視用之線纜e X 4 0 5或衛星/地上波廣播 的天線ex 406相連接之視訊轉換器ex 407内,並以電視機的 螢幕將其再生的構造。此時不將動畫影像解碼裝置組到視 5 訊轉換器内,而是組到電視機内亦可。另外,也可以用配 備有天線ex 411的汽車ex 412,從衛星ex 410或基地台以 107等接收信號,並將動晝再生於汽車ex412所具有的導航 器ex413等之顯示裝置。 此外’也可以用上述實施態樣所示之動畫影像編碼裝 10 置來編碼影像信號’並記錄於記錄媒體上^具.體而t,有 將影像彳§號δ己錄於D.VD光碟ex 421之DVD記錄器.,和記錄 於硬碟上之光碟記錄器等的記錄器ex 420。此外,色可以記 錄到SD卡ex 422。記錄器以420只要配備上述實施態樣所示」 之動晝影像解碼裝置,即可以將記錄在Dvd光碟以421和. 15 SD卡ex 422之影像信號予以再生,並顯示在螢幕以4〇8。‘ 再者,導航器ex413之構造係如示於第2〇的構造當中, 除了相機部ex 203和相機介面部ex 303、影像編碼部ex 312 的構成;同樣的亦可考慮電腦ex lu和電視機(收信機)ex 401 等。 另,上述行動電話ex 114等的端末除具有編碼器解碼 器二者的收發信型端末,其他可考慮僅有編碼器的發信端 末,僅有解碼器的收信端末三種安裝型式。 像這樣,可以將上述實施態樣所示之動畫影像編碼方 法或動畫影像解碼方法録上述的任.系統中; 70 ⑧ 1324889 第4(a)、(b)圖為本發明之實施態樣中之影像編號與相 對索引(index)之說明圖。 第5圖為依據本發明實施態樣中之動畫影像編碼裝置 的影像編碼信號格式(format)之概念圖。 5 第6圖為示意本發明之實施態樣的列更替用記憶體中 之影像的順序之模式圖;(a)為被輸入的順序,(b)為列更替 順序的示意圖。 第7圖係顯示在本發明之實施態樣的直接模式中之動 作向量模式圖;(a)目標區塊為影像B7的情形,(b)目標區塊 10 a為影像B6時之第一及第二例,(c)目標區塊a為影像B6時之 第三例,(d)目標區塊a為影像B6時之第四例的示意圖。 第8圖係顯示在本發明之實施態樣的直接模式中之動 作向量模式圖;(a)目標區塊a為影像B6時之第五例,(b)目 標區塊a為影像B6時之第六例,(c)目標區塊a為影像B6時之 15 第七例,(d)目標區塊a為影像B8的情形之示意圖。。. 第9圖為本發明實施態樣中之影像的預測關係及順序 示意模式圖,(a)係以顯示時間順序表示之各影像的預測關 係,(b)係依編碼順序(編碼列順序)進行列更替之影像順序 的示意圖。 20 第1 〇圖為本發明實施態樣中之影像的預測關係及順序 示意模式圖,(a)係以顯示時間順序表示之各影像的預測關 係,(b)係依編碼順序(編碼列順序)進行列更替之影像順序 的示意圖。 第】】圖為本發明實施態樣中之影像的預測關係及順序 73 1324889 示意模式圖,(a)係以顯示時間順序表示之各影像的預測關 係,(b)係依編碼順序(編碼列順序)進行列更替之影像順序 的示意圖。 第12圖係將本發明實施態樣之第6圖所示的影像預測 5 構造階層地顯示出來之模式圖。 第13圖係將本發明實施態樣之第9圖所示的影像預測 構造階層地顯示出來之模式圖。 第14圖係將本發明實施態樣之第10圖所示的影像預測 構造階層地顯示出來之模式圖。 10 第15圖係將本發明實施態樣之第11圖所示的影像預測 構造階層地顯示出來之模式圖。 第16圖為採用本發明之動晝影像編碼方法的動晝影像 編碼裝置之一貫施悲樣的構成示意方塊圖。 第17圖係關於供容納用以透過電腦系統實現實施態樣 15 1之動畫影像編碼方法及動晝影像解碼方法的程式之記錄 媒體的說明圖;(a)記錄媒體本體,即軟碟(flexible disc)之 物理格式例的示意說明圖,(b)軟碟從正面看的外觀、斷面 構造,及顯示軟碟的說明圖,⑷用以實施軟碟FD上記錄的 程式之記錄再生構造的示意說明圖。 20 第18圖為實現儲存信息發送作業之儲存信息供給系統 的整體辑造方塊示意圖。 第]9圖為行動電話之一例的示意概略圖。 第20圖為行動電話之内部構造的示意方塊圖。 第21圖為數位播放用系統的整體搆造示意方塊圖。 74 1324889
【主要元件符號說明】 101...串列交換用記憶體 ex 101 102...差分運算部 ex 102 103...預測誤差編碼部 ex 103 104...編碼列生成部 ex 104 105...預測誤差解碼部 ex 107' 106...加算運算部 ex 111. 107...參考影像用記憶體 ex 112. 108...動作向量檢測部 ex 113. 109...模式選擇部 ex 114. 110...編碼控制部 ex 115. 111〜115…開關 ex 116. 116......動作向量記憶部 ex 117. 1401...編碼列解析部 ex 201. 1402...預測誤差解碼部 ex 202. 1403...模式解碼部 ex 203. 1404...頁框記憶體控制部 ex 204. 1405…動作補償解碼部 ex 205. 1406...動作向量記憶部 ex 206. 1407...頁框記憶體 ex 207. 1408…加算運算部 ex 208. 1409...開關 ex 301., ]4]0...開關 ex 302.. ex ]00...内容供給系統 ex 303.. ..網際網路 • •網際網路丨衫务供應商 …資料流伺服器 ..電話網 -ex 110...基地台 ..電腦 ..PDA ..相機 ..行動電話 • •附相機之行動電話 .·相機
..LSI ..天線 . ..顯示部 ..相機部 .操作鍵 .聲音輸入部 .插槽部 .記錄媒體 .聲音輸出部 .收發信電路部 丄CD控制部 .相機介面部 1324889
ex 304...操作輸入控制部 ex 403...再生裝置 ex 305...聲音處理部 ex 404...螢幕 ex 306...變復調電路部 ex 405··.線缓 ex 307...記錄再生部 ex 406...天線 ex 308…多工分離部 ex 407…視訊轉換器 ex 309...影像解碼部 ex 408…螢幕 ex 310...電源電路部 ex 409.·.廣播台 ex311...主控制部 ex 410...廣播衛星 ex 312...影像編碼部 ex 411…天線 ex 313...同步匯流排 ex 412...汽車 ex 401...電視 ex 413...導航器 ex402...儲存媒體
76

Claims (1)

  1. 十、申請專利範圍: 一 丨.—種解碼方法’係㈣隸糾所生狀編碼列予以解 碼之解碼方法,其特徵在於該解碼方法包含·· * 於將解碼目標區塊予以解碼之際,依據在已完成解 5 碼’即影像内的區塊,且係、在與前述解碎目標區塊同一 位置之區塊’即同—位置區塊的動作向量’蚊前述解 " 碼目標區塊之動作向量, 且利用前述解碼目標區塊之動作向量與對應前述 • 解碼目標區塊之動作向量之參考影像,而以直接模式將 10 冑述解碼目標區料以動作補償並予以解碼之解碼步 2.如申請專利範圍第1項之解碼方法,其中, 前述解碼步驟中, 15
    前述同-位置區塊利用-個動作向量與對應該_個 動作向量之一個後方參考影像而解碼時, 利用表示影像顯示順序之資訊之差,而對將前述同 一位置區塊予以解碼之際利用之前述一個動作向量實 施比例化,藉此對前述解碼目標區塊產生用以將前述解 瑪目標區塊以直接模式予以動作補償並解碼的:個動 20 =用前述已產生之二個動作向量與分別對應前 述已屋生之二個動作向量之二個參考影像, ^ 瑪目標區塊以直接模式料動作補償並解媽而將則述解 3.如申請專利範圍第2項之解碼方法, 其中分別對應前述解 77 1324889 年月曰if後)正替換頁 QR R. 2 5 碼目標區塊之二個動作向量之二個參考影像中,第1參考 影像係包含前述同一位置區塊之影像, 第2參考影像係將前述同一位置區塊予以解碼之際 使用之一個後方參考影像,且係對應於在產生前述解碼 5 目標區塊之二個動作向量之際成為比例化目標之動作向 量的參考影像。 4.如申請專利範圍第3項之解碼方法,其中表示影像顯示順 序之前述資訊係表示包含前述解碼目標區塊之影像顯示 順序的第1資訊、表示前述解碼目標區塊之前述第2參考 10 影像顯示順序的第2資訊、及表示既是包含前述同一位置 區塊之影像,亦是前述解碼目標區塊之前述第1參考影 像,即影像之顯示順序的第3資訊, 且前述資訊之差係第1資訊與第2資訊之差、第1資訊 與第3資訊之差、及第2資訊與第3資訊之差。 15 5. —種解碼裝置,係將影像經編碼所生成之編碼列予以解 碼之解碼裝置,其特徵在於該解碼裝置包含: 於將解碼目標區塊予以解碼之際,依據在已完成解 碼,即影像内的區塊且係在與前述解碼目標區塊同一位 置之區塊,即同一位置區塊的動作向量,決定前述解碼 20 目標區塊之動作向量, 且利用前述解碼目標區塊之動作向量與對應前述 解碼目標區塊之動作向量之參考影像,而將前述解碼目 標區塊以直接模式予以動作補償並予以解碼之解碼機 構, 78 1324889 _—_ - 年月更)正替換頁 . ^ S. 2 b _ . 且前述解碼機構於, 前述同一位置區塊利用一個動作向量與對應該一 " 個動作向量之一個後方參考影像而解碼時, " 利用表示影像顯示順序之資訊之差,而對將前述同 5 一位置區塊予以解碼時利用之前述一個動作向量實施 . 比例化,藉此對前述解碼目標區塊產生用以將前述解碼 . 目標區塊以直接模式予以動作補償並解碼的二個動作 向量, • 且利用前述已產生之二個動作向量與分別對應前 10 述已產生之二個動作向量之二個參考影像,而將前述解 碼目標區塊以直接模式予以動作補償並解碼。 6. —種資料記錄媒體,係儲存著可進行將對應影像之編碼 列予以解碼之解碼處理之程式的記錄媒體,其特徵在於: 前述程式可使電腦依申請專利範圍第1至4項中任 15 一項之解碼方法執行前述解碼處理。 79
TW095107763A 2002-03-04 2003-03-03 Decoding method, decoding device and data recording medium TWI324889B (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002056919 2002-03-04
JP2002118598 2002-04-19
JP2002193027 2002-07-02

Publications (2)

Publication Number Publication Date
TW200635385A TW200635385A (en) 2006-10-01
TWI324889B true TWI324889B (en) 2010-05-11

Family

ID=27792038

Family Applications (2)

Application Number Title Priority Date Filing Date
TW095107763A TWI324889B (en) 2002-03-04 2003-03-03 Decoding method, decoding device and data recording medium
TW092104416A TWI325281B (en) 2002-03-04 2003-03-03 Video coding method, video decoding method, video coding device, video decoding device and recording medium

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW092104416A TWI325281B (en) 2002-03-04 2003-03-03 Video coding method, video decoding method, video coding device, video decoding device and recording medium

Country Status (18)

Country Link
US (5) US7664180B2 (zh)
EP (9) EP3051814B1 (zh)
JP (1) JP2004088722A (zh)
KR (2) KR100923380B1 (zh)
CN (1) CN100474933C (zh)
AU (1) AU2003211717C1 (zh)
BR (2) BR0303342A (zh)
CA (3) CA2762075C (zh)
CY (3) CY1115427T1 (zh)
DK (6) DK3051814T3 (zh)
ES (9) ES2723725T3 (zh)
HU (6) HUE024411T2 (zh)
MX (1) MXPA03007628A (zh)
MY (1) MY139955A (zh)
PT (6) PT1406450E (zh)
SI (3) SI1406450T1 (zh)
TW (2) TWI324889B (zh)
WO (1) WO2003075580A1 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2721514T3 (es) * 2001-11-06 2019-08-01 Panasonic Ip Corp America Procedimiento de codificación de imágenes en movimiento y procedimiento de decodificación de imágenes en movimiento
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
ES2745044T3 (es) 2002-04-19 2020-02-27 Panasonic Ip Corp America Método de cálculo de vectores de movimiento
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
KR100693669B1 (ko) * 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
US20060013305A1 (en) * 2004-07-14 2006-01-19 Sharp Laboratories Of America, Inc. Temporal scalable coding using AVC coding tools
KR100584603B1 (ko) 2004-08-03 2006-05-30 학교법인 대양학원 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
FR2874292B1 (fr) * 2004-08-10 2007-01-26 Thales Sa Procede de mise en forme de trames d'une sequence video
CN101980540B (zh) 2004-11-26 2012-04-25 松下电器产业株式会社 解码电路、解码装置及解码系统
WO2006112139A1 (ja) * 2005-04-13 2006-10-26 Sharp Kabushiki Kaisha 動画像再生装置
JP4702943B2 (ja) * 2005-10-19 2011-06-15 キヤノン株式会社 画像処理装置及びその方法
US8270492B2 (en) 2006-05-12 2012-09-18 Panasonic Corporation Moving picture decoding device
JP4712643B2 (ja) * 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 フレーム間予測処理装置、フレーム間予測方法、画像符号化装置及び画像復号装置
JP2008177907A (ja) * 2007-01-19 2008-07-31 Fujitsu Ltd 動画データ復号装置、情報機器、動画データ復号方法および動画データ復号プログラム
JP5100311B2 (ja) * 2007-10-29 2012-12-19 キヤノン株式会社 動画像データ送信方法、通信装置、及びプログラム
JP5332773B2 (ja) 2009-03-18 2013-11-06 ソニー株式会社 画像処理装置および方法
WO2010131422A1 (ja) * 2009-05-13 2010-11-18 パナソニック株式会社 画像復号装置、集積回路、画像復号方法及び画像復号システム
KR20110068792A (ko) 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
US9036692B2 (en) * 2010-01-18 2015-05-19 Mediatek Inc. Motion prediction method
JP2013517733A (ja) * 2010-01-19 2013-05-16 サムスン エレクトロニクス カンパニー リミテッド 以前ブロックの動きベクトルを現在ブロックの動きベクトルとして用いる映像符号化/復号化方法及び装置
CN102835111B (zh) 2010-01-19 2015-08-12 三星电子株式会社 使用先前块的运动矢量作为当前块的运动矢量来对图像进行编码/解码的方法和设备
KR20120009861A (ko) * 2010-07-22 2012-02-02 에스케이 텔레콤주식회사 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
KR102013093B1 (ko) * 2010-09-30 2019-08-21 미쓰비시덴키 가부시키가이샤 동화상 복호 장치, 동화상 복호 방법, 동화상 부호화 장치, 동화상 부호화 방법 및 기록 매체
WO2012070235A1 (ja) 2010-11-24 2012-05-31 パナソニック株式会社 動きベクトル算出方法、画像符号化方法、画像復号方法、動きベクトル算出装置および画像符号化復号装置
US9083981B2 (en) 2011-01-12 2015-07-14 Panasonic Intellectual Property Corporation Of America Moving picture coding method and moving picture decoding method using a determination whether or not a reference block has two reference motion vectors that refer forward in display order with respect to a current picture
WO2012102045A1 (ja) 2011-01-28 2012-08-02 パナソニック株式会社 画像符号化方法および画像復号化方法
WO2012114694A1 (ja) * 2011-02-22 2012-08-30 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
JP5358746B2 (ja) * 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
BR112013023478B8 (pt) 2011-04-12 2022-09-13 Panassonic Corp Método de codificação de imagem em movimento, aparelho de codificação de imagem em movimento, método de decodificação de imagem em movimento, aparelho de decodificação de imagem em movimento e aparelho de codificação e decodificação de imagem em movimento
JP5869564B2 (ja) 2011-05-24 2016-02-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
CA2834123C (en) 2011-05-27 2020-02-11 Panasonic Corporation Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
US8989271B2 (en) 2011-05-31 2015-03-24 Panasonic Intellectual Property Corporation Of America Decoding method and apparatus with candidate motion vectors
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
JP5807402B2 (ja) * 2011-06-15 2015-11-10 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
JP5786478B2 (ja) * 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
RU2602672C2 (ru) 2011-06-23 2016-11-20 Сан Пэтент Траст Способ декодирования изображения, способ кодирования изображения, устройство декодирования изображения, устройство кодирования изображения и устройство кодирования и декодирования изображения
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
WO2012176464A1 (ja) 2011-06-24 2012-12-27 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
RU2603552C2 (ru) * 2011-06-24 2016-11-27 Сан Пэтент Траст Способ декодирования изображения, способ кодирования изображения, устройство декодирования изображения, устройство кодирования изображения и устройство кодирования и декодирования изображения
MX2013013483A (es) 2011-06-27 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
MX2013012980A (es) 2011-06-28 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodififcacion de imagenes.
TWI552583B (zh) 2011-06-28 2016-10-01 三星電子股份有限公司 用於畫面內預測編碼的方法及裝置以及用於畫面內預測解碼的方法及裝置
WO2013001767A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
WO2013001748A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
AU2012277219A1 (en) 2011-06-30 2013-09-19 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
CN103535039B (zh) 2011-06-30 2018-08-28 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置以及图像编解码装置
CN102256124B (zh) * 2011-06-30 2013-05-15 杭州海康威视数字技术股份有限公司 一种图像分层编码方法和装置
WO2013001770A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
CN103765885B (zh) 2011-07-11 2017-04-12 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置
WO2013009104A2 (ko) 2011-07-12 2013-01-17 한국전자통신연구원 인터 예측 방법 및 그 장치
CN103718558B (zh) 2011-08-03 2017-04-19 太阳专利托管公司 运动图像编码方法及装置、解码方法及装置和编解码装置
JP6308495B2 (ja) 2011-10-19 2018-04-11 サン パテント トラスト 画像復号方法、および、画像復号装置
US20130177084A1 (en) * 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
US10390041B2 (en) * 2012-03-30 2019-08-20 Sun Patent Trust Predictive image coding and decoding using two reference pictures
US9819965B2 (en) 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
US9442904B2 (en) 2012-12-21 2016-09-13 Vmware, Inc. Systems and methods for applying a residual error image
EP2951999A4 (en) 2013-01-30 2016-07-20 Intel Corp CONTENT PARAMETRIC TRANSFORMATIONS FOR CODING VIDEOS OF THE NEXT GENERATION
JP6156489B2 (ja) * 2013-04-23 2017-07-05 富士通株式会社 画像符号化装置、画像符号化方法、及び撮像装置
KR101789954B1 (ko) * 2013-12-27 2017-10-25 인텔 코포레이션 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측
US10587880B2 (en) 2017-03-30 2020-03-10 Qualcomm Incorporated Zero block detection using adaptive rate model

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0420088A (ja) * 1990-05-14 1992-01-23 Victor Co Of Japan Ltd フレーム間符号化装置
JP3031638B2 (ja) 1991-01-30 2000-04-10 富士通株式会社 蓄積用動画像符号化方式における補間フレームのベクトル探索方法
JPH05137131A (ja) 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
JPH0662391A (ja) * 1992-08-10 1994-03-04 Nippon Telegr & Teleph Corp <Ntt> 動画像予測符号化方法
US5329365A (en) 1993-07-07 1994-07-12 Rca Thomson Licensing Corporation Method and apparatus for providing compressed non-interlaced scanned video signal
JP3513277B2 (ja) 1995-08-29 2004-03-31 シャープ株式会社 映像符号化装置及び映像復号化装置
US5809173A (en) 1995-04-18 1998-09-15 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression using previous frame DCT coefficients
US5724446A (en) 1995-04-18 1998-03-03 Advanced Micro Devices, Inc. Video decoder apparatus using non-reference frame as an additional prediction source and method therefor
EP1274254B1 (en) 1995-08-29 2011-07-06 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
JP2001224036A (ja) 1995-10-18 2001-08-17 Sharp Corp 動画像符号化装置
JP3344577B2 (ja) 1996-09-09 2002-11-11 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録方法
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
JPH10126787A (ja) 1996-10-14 1998-05-15 Nec Eng Ltd Pピクチャの予測ベクトルをオフセットベクトルとした双方向予測ベクトル検出回路
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
JP3776735B2 (ja) 1997-04-09 2006-05-17 松下電器産業株式会社 画像予測復号化方法,画像予測復号化装置,画像予測符号化方法,画像予測符号化装置,及びデータ記憶媒体
US6370276B2 (en) 1997-04-09 2002-04-09 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media
DE69841029D1 (de) 1997-06-25 2009-09-10 Nippon Telegraph & Telephone Bewegungsprädiktive Bildkodierungs- und Bilddekodierungsvorrichtung
JPH1169356A (ja) 1997-08-25 1999-03-09 Mitsubishi Electric Corp 動画像符号化方式及び動画像復号方式
US6249318B1 (en) 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
US6807231B1 (en) 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
US6396874B1 (en) 1997-11-12 2002-05-28 Sony Corporation Decoding method and apparatus and recording method and apparatus for moving picture data
JP3523481B2 (ja) 1998-02-23 2004-04-26 シャープ株式会社 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法
JP3329768B2 (ja) 1999-07-05 2002-09-30 日本電信電話株式会社 画像符号化データの再符号化方法およびそのプログラム記録媒体
JP2001045475A (ja) 1999-07-27 2001-02-16 Matsushita Electric Ind Co Ltd 映像信号階層化符号化装置と映像信号階層化復号化装置及びプログラム記録媒体
JP3757088B2 (ja) 1999-10-26 2006-03-22 日本電気株式会社 動画像符号化装置および方法
GB2362532B (en) 2000-05-15 2004-05-05 Nokia Mobile Phones Ltd Video coding
EP1168342A3 (en) 2000-06-26 2004-10-06 Matsushita Electric Industrial Co., Ltd. Editing apparatus for an optical disk, computer-readable storage medium, and computer program
JP4245790B2 (ja) 2000-08-29 2009-04-02 オリンパス株式会社 超音波処置具
AUPR208000A0 (en) * 2000-12-15 2001-01-11 80-20 Software Pty Limited Method of document searching
EP1399846B1 (en) * 2001-06-26 2013-02-13 Sealedmedia Limited Search engine and digital rights management
EP1421518A1 (en) * 2001-08-08 2004-05-26 Quiver, Inc. Document categorization engine
WO2003032122A2 (en) * 2001-10-09 2003-04-17 Steven Schiff System and method for conducting a financial transaction using a communication device
US6738980B2 (en) 2001-11-15 2004-05-18 Industrial Technology Research Institute Methods and systems for video streaming with VCR functionality
KR101033398B1 (ko) 2001-11-21 2011-05-09 제너럴 인스트루먼트 코포레이션 디지털 비디오 콘텐트를 위한 매크로블록 레벨 적응성프레임/필드 코딩
CN101715137B (zh) * 2001-11-21 2016-01-27 摩托罗拉移动有限责任公司 对具有多个图像的图像序列进行编码的方法及设备
US6980596B2 (en) 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
JP5137131B2 (ja) 2008-08-08 2013-02-06 東芝キヤリア株式会社 給湯装置

Also Published As

Publication number Publication date
EP3253057B1 (en) 2019-01-30
TW200304753A (en) 2003-10-01
KR20080006629A (ko) 2008-01-16
KR20040091521A (ko) 2004-10-28
DK3051814T3 (da) 2017-11-13
HUE036491T2 (hu) 2018-07-30
JP2004088722A (ja) 2004-03-18
CA2443848C (en) 2012-09-25
ES2829621T3 (es) 2021-06-01
US20080063061A1 (en) 2008-03-13
EP1406450B1 (en) 2014-05-28
EP2271108A3 (en) 2011-08-10
PT1406450E (pt) 2014-07-28
CA2762149C (en) 2014-09-30
US20080069231A1 (en) 2008-03-20
KR100923380B1 (ko) 2009-10-23
DK3054679T3 (da) 2017-11-06
PT3054679T (pt) 2017-09-28
TWI325281B (en) 2010-05-21
US7801219B2 (en) 2010-09-21
DK1406450T3 (da) 2014-07-14
ES2723725T3 (es) 2019-08-30
US7856060B2 (en) 2010-12-21
EP1406450A1 (en) 2004-04-07
HUE044024T2 (hu) 2019-09-30
MY139955A (en) 2009-11-30
EP3054679A1 (en) 2016-08-10
DK2271107T3 (da) 2014-08-25
CN100474933C (zh) 2009-04-01
EP2271107A2 (en) 2011-01-05
ES2719216T3 (es) 2019-07-09
AU2003211717A1 (en) 2003-09-16
CA2762149A1 (en) 2003-09-12
EP2271108B1 (en) 2016-05-25
EP3490254B1 (en) 2020-09-09
SI3051814T1 (sl) 2017-10-30
CY1115427T1 (el) 2017-01-04
EP3253056B1 (en) 2019-01-09
EP3490254A1 (en) 2019-05-29
DK2271108T3 (en) 2016-09-12
US20040086044A1 (en) 2004-05-06
CA2762075A1 (en) 2003-09-12
EP2271107A3 (en) 2011-08-10
SI2271107T1 (sl) 2014-09-30
US7664180B2 (en) 2010-02-16
HUE052192T2 (hu) 2021-04-28
CN1640148A (zh) 2005-07-13
US8718141B2 (en) 2014-05-06
CY1119479T1 (el) 2018-03-07
WO2003075580A1 (fr) 2003-09-12
EP2271108A2 (en) 2011-01-05
HUE024411T2 (en) 2016-01-28
AU2003211717C1 (en) 2009-04-23
PT2271109E (pt) 2014-07-28
BRPI0303342B1 (pt) 2019-07-02
US20080063060A1 (en) 2008-03-13
EP2271109A3 (en) 2011-08-10
ES2644448T3 (es) 2017-11-29
US7742526B2 (en) 2010-06-22
AU2003211717B2 (en) 2007-09-06
US20080069232A1 (en) 2008-03-20
EP1406450A4 (en) 2006-06-21
EP3054679B1 (en) 2017-07-19
PT2271108T (pt) 2016-08-17
EP3253056A1 (en) 2017-12-06
HUE042956T2 (hu) 2019-07-29
EP3051814A1 (en) 2016-08-03
MXPA03007628A (es) 2003-12-15
TW200635385A (en) 2006-10-01
EP2271109B1 (en) 2014-05-28
EP3253057A1 (en) 2017-12-06
CY1115440T1 (el) 2017-01-04
KR100948714B1 (ko) 2010-03-22
ES2491094T3 (es) 2014-09-05
DK2271109T3 (da) 2014-08-25
CA2762075C (en) 2014-04-08
EP2271107B1 (en) 2014-05-28
EP2271109A2 (en) 2011-01-05
CA2443848A1 (en) 2003-09-12
EP3051814B1 (en) 2017-07-26
ES2489490T3 (es) 2014-09-02
BR0303342A (pt) 2004-08-10
ES2588179T3 (es) 2016-10-31
ES2491095T3 (es) 2014-09-05
ES2644048T3 (es) 2017-11-27
PT2271107E (pt) 2014-07-28
PT3051814T (pt) 2017-10-04
SI1406450T1 (sl) 2014-09-30
HUE024412T2 (en) 2016-01-28
AU2003211717B9 (en) 2008-03-13

Similar Documents

Publication Publication Date Title
TWI324889B (en) Decoding method, decoding device and data recording medium
JP4130783B2 (ja) 動きベクトル符号化方法および動きベクトル復号化方法
JP4114859B2 (ja) 動きベクトル符号化方法および動きベクトル復号化方法
TWI551123B (zh) A motion picture predictive coding apparatus, a motion picture prediction decoding apparatus, a motion picture prediction coding method, a motion picture prediction decoding method, a motion picture prediction coding program, and a motion picture prediction decoding program
CN102396227B (zh) 图像处理设备和方法
CN102318347B (zh) 图像处理设备和方法
WO2003098939A1 (en) Moving image encoding method, moving image decoding method, and data recording medium
EP3422715A1 (en) Image processing device and method
JP4585047B1 (ja) 動きベクトル復号化方法
TW200415914A (en) Moving picture coding method and moving picture decoding method
WO2004012459A1 (ja) 動画像符号化方法、動画像復号化方法および記録媒体
TW201129099A (en) Image processing device and method
JP2003199112A (ja) 動画像符号化方法および動画像復号化方法
TW201230820A (en) Predictive image coding device, predictive image coding method, predictive image coding program, predictive image decoding device, predictive image decoding method, and predictive image decoding program
TW201146021A (en) Image processing device and method
JP4519676B2 (ja) 動き検出方法および動画像符号化方法
JP2004040512A (ja) 画像符号化方法および画像復号方法

Legal Events

Date Code Title Description
MK4A Expiration of patent term of an invention patent