TW201820865A - 動畫預測解碼方法及動畫預測解碼裝置 - Google Patents

動畫預測解碼方法及動畫預測解碼裝置 Download PDF

Info

Publication number
TW201820865A
TW201820865A TW107104188A TW107104188A TW201820865A TW 201820865 A TW201820865 A TW 201820865A TW 107104188 A TW107104188 A TW 107104188A TW 107104188 A TW107104188 A TW 107104188A TW 201820865 A TW201820865 A TW 201820865A
Authority
TW
Taiwan
Prior art keywords
image
display order
order information
encoding
preamble
Prior art date
Application number
TW107104188A
Other languages
English (en)
Other versions
TWI650002B (zh
Inventor
文仲丞
鈴木芳典
藤林曉
陳朝慶
Original Assignee
日商Ｎｔｔ都科摩股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商Ｎｔｔ都科摩股份有限公司 filed Critical 日商Ｎｔｔ都科摩股份有限公司
Publication of TW201820865A publication Critical patent/TW201820865A/zh
Application granted granted Critical
Publication of TWI650002B publication Critical patent/TWI650002B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

動畫預測編碼裝置，係具備：編碼手段，係將已被輸入之影像加以編碼，生成含有隨機存取影像之壓縮影像資料，並且將關於影像之顯示順序資訊的資料，加以編碼；和復原手段，係將壓縮影像資料進行解碼，以復原出再生影像；和影像儲存手段，係將再生影像當作參照影像而儲存；和記憶體管理手段，係控制影像儲存手段；記憶體管理手段，係在生成隨機存取影像的編碼處理結束之後，在剛把最初的顯示順序資訊是比隨機存取影像之顯示順序資訊還大之影像進行編碼的之前或之後，在影像儲存手段內的參照影像當中，針對隨機存取影像除外的參照影像，設定成丟棄，藉此以更新影像儲存手段。

Description

動畫預測解碼方法及動畫預測解碼裝置
本發明係有關於動畫預測解碼裝置、方法、及程式的發明。
為了有效率地進行動畫資料的傳送，採用了壓縮編碼技術。在動畫的情況下，廣泛地採用MPEG1~4或H.261~H.264之方式。
在這些編碼方式中，是將身為編碼對象的影像，分割成複數區塊，對各區塊進行編碼、解碼處理。為了提高編碼效率，採用如下記之預測編碼方法。在畫面內的預測編碼時，是使用位於與對象區塊相同畫面內的相鄰之已再生的影像訊號(將過去已被編碼之影像資料加以復原而成者)來生成預測訊號，將預測訊號，從對象區塊之訊號中加以扣除而得到的差分訊號，進行編碼。在畫面間的預測編碼時，是參照位於與對象區塊不同畫面內的已再生的影像訊號來檢索出訊號的位移，將該位移份量予以補償而生成預測訊號，將該預測訊號從對象區塊之訊號中加以扣除而得的差分訊號，進行編碼。此時為了進行運動之搜尋、補償 而被參照的已再生之影像，稱作參照影像。
又，在雙向畫面間預測中，不只是在顯示時間順序上在對象影像之前所被顯示的過去之影像，在對象影像之後所被顯示的未來之影像有時候也會參照(只不過，未來之影像必須要比對象影像更早編碼、預先進行再生)。然後，藉由將從過去之影像所取得之預測訊號與從未來之影像所取得之預測訊號雙方加以平均化，對於被隱藏而新出現之物體的訊號預測是有效的，同時，具有減輕雙方預測訊號中所含之雜訊的效果。
然後，在H.264的畫面間預測編碼中，針對對象區塊之預測訊號，係參照過去被編碼而再生之複數參照影像，一面進行運動搜尋一面將誤差最少之影像訊號選擇成為最佳的預測訊號。然後，求取對象區塊之像素訊號與該最佳預測訊號的差分，對差分實施離散餘弦轉換及量化之後，進行熵編碼。同時，關於是從哪個參照影像取得針對對象區塊之最佳預測訊號的資訊(參照索引)、及關於是從參照畫面內的哪個領域取得最佳預測訊號的資訊(運動向量)也會一併編碼。在H.264中，已被再生之4至5張影像是被當成參照影像而儲存至畫格記憶體中。此外，在本說明書中，畫格記憶體係包含所謂的再生影像緩衝區(decoded picture buffer)。
畫面間預測編碼，係可活用像素間之相關而高效率地進行壓縮編碼，但為了電視頻道的切換而可中途收看映像節目，必須要打斷畫面間的依存性。在動畫的壓縮位元串 流之中，不存在畫面間之依存性的地點，以下稱作「隨機存取點」。除了頻道切換以外，在編輯動畫時及將不同動畫的壓縮資料予以連接起來的情況下，隨機存取點也是必需的。在H.264中係指定IDR圖像，將所被指定之IDR圖像以上述影像內預測編碼方法進行編碼的同時，將畫格記憶體內所儲存的再生影像設定成丟棄，藉由設定成不可參照該當再生影像，就可實質性地釋放(更新、refresh)畫格記憶體。此種處理係稱作「記憶體更新」，又隨著情況不同也會稱作「畫格記憶體更新」或「緩衝區更新」。
圖11(A)係含有IDR圖像之動畫的預測構造的模式圖。該圖11(A)所示的複數影像901、902、...、909，係為構成動畫的影像群之一部分，各影像又稱作「圖像」或「畫格」。各箭頭係表示預測的方向。例如，影像902係為，將朝向影像902的2個箭頭之起點的影像903、905，當作參照影像而取得預測訊號。此外，圖11(A)的影像901，係是參照圖11(A)中未表示之過去之影像而被編碼。接著將影像902、903、904予以編碼，但此時為了提高壓縮率，而使用上述的雙向預測編碼方法。亦即，先將影像905予以編碼、再生，接著，參照已被再生之影像901與905而將影像903予以編碼(圖11(A)中係省略了從影像901起始的箭頭)。然後，影像902、904係分別把已被再生之3個影像901、905、903當作參照影像而進行編碼(圖11(A)中係省略了從影像901起始的箭頭)。同樣地，影像906、907、908係參照影像905與909而進行編 碼。然後，如此被編碼(壓縮)成的各影像之壓縮資料，係以如圖11(B)之順序而被傳輸或積存。圖11(B)的壓縮資料與圖11(A)的影像，係藉由P1、IDR5、B3等之共通的符號來表示對應關係。例如，壓縮資料910係為標示相同符號P1之影像901的壓縮資料，壓縮資料911係為標示相同符號IDR5之影像905的壓縮資料。
再來，考慮隨機存取，探討將影像905指定成IDR圖像來進行畫面內預測編碼的情形。此情況下，若依據H.264中的IDR之規則，則藉由壓縮資料911的解碼，影像905的剛再生之後(或亦可為壓縮資料911的解碼剛要開始之前)，必須要將畫格記憶體中所儲存的所有參照影像(亦即包含影像901的過去之再生影像)全部設定成丟棄而變成不可參照才行。其結果為，圖11(A)的影像901係為不可參照，在影像902、903、904的編碼中，就無法從影像901作參照。此種IDR圖像所涉及之處理，係記載於例如下記非專利文獻1。
[先前技術文獻] [專利文獻]
[專利文獻1]國際公開公報WO2005/006763A1
[非專利文獻]
[非專利文獻1]Iain E.G. Richardson, "H.264 and MPEG-4 Video Compression", John Wiley & Sons, 2003, section6.4.2.
藉由IDR圖像之導入，上述預測中所使用的參照影像會被限制，因此在影像的顯示順序上比IDR圖像還前面的影像(圖11(A)的影像902、903、904)就無法高效率地進行編碼。為了解決此點，上記專利文獻1中係揭露，將畫格記憶體的更新之時序(亦即將畫格記憶體內的參照影像設定成丟棄的時序)，延遲到在IDR圖像之後被編碼之影像的編碼執行時的此一方法。藉由延遲畫格記憶體的更新之時序，在圖11(A)的影像902、903、904之編碼執行時，影像901係會殘留在畫格記憶體中，因此在影像902、903、904之編碼時就變成可以參照影像901，可高效率地進行編碼。
若依據專利文獻1，則作為使記憶體更新的時序被延遲的方法，係揭露有以下之方法。
方法1：對IDR圖像，附加上有關於要延遲之影像之張數的資訊。
方法2：對於記憶體更新實施時序所對應之影像的壓縮資料，附加上用來指示記憶體更新執行用的訊號(旗標)。
方法3：將IDR圖像之後出現的最初之P圖像(單向預測影像)，當作更新的時序。
可是，上記方法係有下記缺點。
缺點1：在上記方法1中，在編輯動畫之際，由於會進行把複數影像當中的一部分影像加以捨棄而連接到別的影 像，或是插入別的影像等等，所以已被附加至IDR圖像的「關於要延遲之影像之張數的資訊」會變成不適切，會導致錯誤動作之不良情形。
缺點2：在上記方法2中，即使同樣都是使用旗標的情形，隨著動畫之編輯，對應之影像的壓縮資料若被刪除，則已被刪除之壓縮資料上所被附加的旗標也會跟著不見，會導致錯誤動作之不良情形。
缺點3：在上記方法3中，記憶體更新的時機(時序)係會被限定在P圖像，因此導致無法用其他方法來編碼之不良情形。例如，在場景改變的時候，就無法以畫面內預測(I圖像)來進行編碼。
此外，此處所謂的「錯誤動作」係起因於記憶體更新未在適切時序上進行，導致後續資料解碼之際所必須之參照影像未被保存在畫格記憶體之狀態，其結果造成後續影像無法正確再生之意思。
本發明之目的在於解決上記課題，使隨機存取地點的影像前後之影像能高效率地進行壓縮編碼，同時解決先前技術之缺點所帶來的不良情形。
為了達成上記目的，本發明之一實施形態所述之動畫預測編碼裝置，其特徵為，具備：輸入手段，係將構成動畫的複數影像，進行輸入；和編碼手段，係將已被輸入之前記影像以畫面內預測或畫面間預測之任一方法來進行編 碼，以生成壓縮影像資料其中含有會成為隨機存取之影像的隨機存取影像，並且，將關於前記影像之顯示順序資訊的資料，加以編碼；和復原手段，係將已被生成之前記壓縮影像資料進行解碼，以復原出再生影像；和影像儲存手段，係將已被復原之前記再生影像，當作後續影像進行編碼所需使用之參照影像而加以儲存；和記憶體管理手段，係控制著前記影像儲存手段；前記記憶體管理手段，係在生成前記隨機存取影像的編碼處理結束之後，在剛把最初的顯示順序資訊是比前記隨機存取影像之顯示順序資訊還大之影像進行編碼的之前或之後，在前記影像儲存手段所儲存的參照影像當中，針對前記隨機存取影像除外的參照影像，設定成丟棄，藉此以更新前記影像儲存手段。
上記的編碼手段係亦可為，將前記編碼對象影像之顯示順序資訊與前記隨機存取影像之顯示順序資訊的差分值加以編碼，以作為關於編碼對象影像之顯示順序資訊的資料，該編碼對象影像係含有1個以上的：顯示順序資訊大於前記隨機存取影像之顯示順序資訊且生成前記隨機存取影像的編碼處理結束後最初要作為編碼對象之影像。
又，上記的編碼手段，係亦可針對從隨機存取影像的下個要作為編碼對象之影像起，至顯示順序資訊大於前記隨機存取影像之顯示順序資訊且生成前記隨機存取影像之編碼處理結束後最初要作為編碼對象之影像為止的各影像，係將該當各影像的顯示順序資訊與前記隨機存取影像的顯示順序資訊之差分值加以編碼，以作為關於各影像之 顯示順序資訊的資料。
本發明之一實施形態所述之動畫預測解碼裝置，其特徵為，具備：輸入手段，係將構成動畫的複數影像以畫面內預測或畫面間預測之任一方法來進行編碼所得到的，含有會成為隨機存取之影像之隨機存取影像的壓縮影像資料，及將關於前記影像之顯示順序資訊的資料予以編碼所得到的顯示順序編碼資料，進行輸入；和復原手段，係將前記壓縮影像資料進行解碼以復原出再生影像，並且將前記顯示順序編碼資料進行解碼以復原出顯示順序資訊；和影像儲存手段，係將已被復原之前記再生影像，當作後續影像進行解碼所需使用之參照影像而加以儲存；和記憶體管理手段，係控制著前記影像儲存手段；前記記憶體管理手段，係在解碼前記隨機存取影像的解碼處理結束之後，在把最初的顯示順序資訊是比前記隨機存取影像之顯示順序資訊還大之影像進行解碼的之前或之後，在前記影像儲存手段所儲存的參照影像當中，針對前記隨機存取影像除外的參照影像，設定成丟棄，藉此以更新前記影像儲存手段。
上記的復原手段，係亦可針對解碼對象影像之顯示順序資訊，該解碼對象影像含有1個以上的、顯示順序資訊大於前記隨機存取影像之顯示順序資訊且解碼前記隨機存取影像之解碼處理結束後最初要作為解碼對象之影像；將該當解碼對象影像之顯示順序編碼資料進行解碼所得到的該當解碼對象影像之顯示順序資訊與前記隨機存取影像之 顯示順序資訊的差分值、與前記隨機存取影像之顯示順序資訊，進行加算，藉此而復原出該當解碼對象影像的顯示順序資訊。
又，上記的復原手段，係亦可針對從隨機存取影像的下個要作為解碼對象之影像起，至顯示順序資訊大於前記隨機存取影像之顯示順序資訊且生成前記隨機存取影像之解碼處理結束後最初要作為解碼對象之影像為止的各影像的顯示順序資訊，係將該當各影像之顯示順序編碼資料進行解碼所得到的該當各影像之顯示順序資訊與前記隨機存取影像之顯示順序資訊的差分值、與前記隨機存取影像之顯示順序資訊，進行加算，藉此而復原出該當各影像的顯示順序資訊。
本發明之一實施形態所述之動畫預測編碼方法，係屬於被具備有用來將後續影像編碼所使用之參照影像加以儲存所需之影像儲存手段的動畫預測編碼裝置所執行的動畫預測編碼方法，其特徵為，具備：輸入步驟，係將構成動畫的複數影像，進行輸入；和編碼步驟，係將已被輸入之前記影像以畫面內預測或畫面間預測之任一方法來進行編碼，以生成壓縮影像資料其中含有會成為隨機存取之影像的隨機存取影像，並且，將關於前記影像之顯示順序資訊的資料，加以編碼；和復原步驟，係將已被生成之前記壓縮影像資料進行解碼，以復原出再生影像；和影像儲存步驟，係將已被復原之前記再生影像，當作後續影像進行編碼所需使用之參照影像，而儲存在前記影像儲存手段中； 和記憶體管理步驟，係控制著前記影像儲存手段；在前記記憶體管理步驟中，前記動畫預測編碼裝置，係在生成前記隨機存取影像的編碼處理結束之後，在剛把最初的顯示順序資訊是比前記隨機存取影像之顯示順序資訊還大之影像進行編碼的之前或之後，在前記影像儲存手段所儲存的參照影像當中，針對前記隨機存取影像除外的參照影像，設定成丟棄，藉此以更新前記影像儲存手段。
在上記的編碼步驟中，前記動畫預測編碼裝置係亦可為，將前記編碼對象影像之顯示順序資訊與前記隨機存取影像之顯示順序資訊的差分值加以編碼，以作為關於編碼對象影像之顯示順序資訊的資料，該編碼對象影像係含有1個以上的：顯示順序資訊大於前記隨機存取影像之顯示順序資訊且生成前記隨機存取影像的編碼處理結束後最初要作為編碼對象之影像。
又，在上記的編碼步驟中，前記動畫預測編碼裝置係亦可針對從隨機存取影像的下個要作為編碼對象之影像起，至顯示順序資訊大於前記隨機存取影像之顯示順序資訊且生成前記隨機存取影像之編碼處理結束後最初要作為編碼對象之影像為止的各影像，係將該當各影像的顯示順序資訊與前記隨機存取影像的顯示順序資訊之差分值加以編碼，以作為關於各影像之顯示順序資訊的資料。
本發明之一實施形態所述之動畫預測解碼方法，係屬於被具備有用來將後續影像解碼所使用之參照影像加以儲存所需之影像儲存手段的動畫預測解碼裝置所執行的動畫 預測解碼方法，其特徵為，具備：輸入步驟，係將構成動畫的複數影像以畫面內預測或畫面間預測之任一方法來進行編碼所得到的，含有會成為隨機存取之影像之隨機存取影像的壓縮影像資料，及將關於前記影像之顯示順序資訊的資料予以編碼所得到的顯示順序編碼資料，進行輸入；和復原步驟，係將前記壓縮影像資料進行解碼以復原出再生影像，並且將前記顯示順序編碼資料進行解碼以復原出顯示順序資訊；和影像儲存步驟，係將已被復原之前記再生影像，當作後續影像進行解碼所需使用之參照影像，而儲存在前記影像儲存手段中；和記憶體管理步驟，係控制著前記影像儲存手段；在前記記憶體管理步驟中，前記動畫預測解碼裝置，係在解碼前記隨機存取影像的解碼處理結束之後，在把最初的顯示順序資訊是比前記隨機存取影像之顯示順序資訊還大之影像進行解碼的之前或之後，在前記影像儲存手段所儲存的參照影像當中，針對前記隨機存取影像除外的參照影像，設定成丟棄，藉此以更新前記影像儲存手段。
在上記的復原步驟中，前記動畫預測解碼裝置係亦可針對解碼對象影像之顯示順序資訊，該解碼對象影像含有1個以上的、顯示順序資訊大於前記隨機存取影像之顯示順序資訊且解碼前記隨機存取影像之解碼處理結束後最初要作為解碼對象之影像；將該當解碼對象影像之顯示順序編碼資料進行解碼所得到的該當解碼對象影像之顯示順序資訊與前記隨機存取影像之顯示順序資訊的差分值、與前 記隨機存取影像之顯示順序資訊，進行加算，藉此而復原出該當解碼對象影像的顯示順序資訊。
又，上記的復原步驟中，前記動畫預測解碼裝置係亦可針對從隨機存取影像的下個要作為解碼對象之影像起，至顯示順序資訊大於前記隨機存取影像之顯示順序資訊且生成前記隨機存取影像之解碼處理結束後最初要作為解碼對象之影像為止的各影像的顯示順序資訊，係將該當各影像之顯示順序編碼資料進行解碼所得到的該當各影像之顯示順序資訊與前記隨機存取影像之顯示順序資訊的差分值、與前記隨機存取影像之顯示順序資訊，進行加算，藉此而復原出該當各影像的顯示順序資訊。
本發明之一實施形態所述之動畫預測編碼程式，其特徵為，係使電腦作動成為：輸入手段，係將構成動畫的複數影像，進行輸入；和編碼手段，係將已被輸入之前記影像以畫面內預測或畫面間預測之任一方法來進行編碼，以生成壓縮影像資料其中含有會成為隨機存取之影像的隨機存取影像，並且，將關於前記影像之顯示順序資訊的資料，加以編碼；和復原手段，係將已被生成之前記壓縮影像資料進行解碼，以復原出再生影像；和影像儲存手段，係將已被復原之前記再生影像，當作後續影像進行編碼所需使用之參照影像而加以儲存；和記憶體管理手段，係控制著前記影像儲存手段；前記記憶體管理手段，係在生成前記隨機存取影像的編碼處理結束之後，在剛把最初的顯示順序資訊是比前記隨機存取影像之顯示順序資訊還大之 影像進行編碼的之前或之後，在前記影像儲存手段所儲存的參照影像當中，針對前記隨機存取影像除外的參照影像，設定成丟棄，藉此以更新前記影像儲存手段。
本發明之一實施形態所述之動畫預測解碼程式，其特徵為，係使電腦作動成為：輸入手段，係將構成動畫的複數影像以畫面內預測或畫面間預測之任一方法來進行編碼所得到的，含有會成為隨機存取之影像之隨機存取影像的壓縮影像資料，及將關於前記影像之顯示順序資訊的資料予以編碼所得到的顯示順序編碼資料，進行輸入；和復原手段，係將前記壓縮影像資料進行解碼以復原出再生影像，並且將前記顯示順序編碼資料進行解碼以復原出顯示順序資訊；和影像儲存手段，係將已被復原之前記再生影像，當作後續影像進行解碼所需使用之參照影像而加以儲存；和記憶體管理手段，係控制著前記影像儲存手段；前記記憶體管理手段，係在解碼前記隨機存取影像的解碼處理結束之後，在把最初的顯示順序資訊是比前記隨機存取影像之顯示順序資訊還大之影像進行解碼的之前或之後，在前記影像儲存手段所儲存的參照影像當中，針對前記隨機存取影像除外的參照影像，設定成丟棄，藉此以更新前記影像儲存手段。
藉由如以上之本發明，隨機存取地點的影像前後之影像能高效率地進行壓縮編碼，同時解決先前技術之缺點所帶來的不良情形。
在本發明中，係利用構成動畫的各影像或已被壓縮編碼之影像資料中所被附隨的表示顯示順序之資訊(以下稱作「顯示順序資訊」(相當於先前技術中的顯示時間、時間參照資訊、暫時參照等))，設定了會在隨機存取之地點的畫面內預測影像(Intra Frame)之後才進行的記憶體更新之時序，將在顯示順序上位於隨機存取影像之前後的複數影像高效率地進行壓縮編碼，同時，可將先前技術之缺點所帶來的不良情形，解決如下。
亦即，顯示順序資訊，係必定會附隨於各影像，因此不須發送新的資訊(旗標)，可解決先前技術的缺點2。
又，在進行動畫之編輯(例如將一部分影像捨棄，連接到別的影像等)時也是，由於構成動畫之各影像的顯示順序資訊係被適切設定，因此不會引起錯誤動作，可解決先前技術的缺點1。
然後，本發明所設計的記憶體更新之時序，係不限定於P圖像，且不依存於影像的編碼類型(I圖像、P圖像、B圖像)，因此無論是否需要記憶體之更新，都可以用編碼效率最佳的編碼類型來進行處理，可解決先前技術的缺點3。
10‧‧‧記錄媒體
12‧‧‧讀取裝置
14‧‧‧作業用記憶體
16‧‧‧記憶體
18‧‧‧顯示器
20‧‧‧滑鼠
22‧‧‧鍵盤
24‧‧‧通訊裝置
26‧‧‧CPU
30‧‧‧電腦
100‧‧‧動畫預測編碼裝置
101‧‧‧輸入端子
102‧‧‧區塊分割器
103‧‧‧預測訊號生成器
104‧‧‧畫格記憶體
105‧‧‧減算器
106‧‧‧轉換器
107‧‧‧量化器
108‧‧‧逆量化器
109‧‧‧逆轉換器
110‧‧‧加算器
111‧‧‧熵編碼器
112‧‧‧輸出端子
113‧‧‧輸入端子
114‧‧‧畫格記憶體管理器
200‧‧‧動畫預測解碼裝置
201‧‧‧輸入端子
202‧‧‧資料解析器
203‧‧‧逆量化器
204‧‧‧逆轉換器
205‧‧‧加算器
206‧‧‧輸出端子
207‧‧‧畫格記憶體
208‧‧‧預測訊號生成器
209‧‧‧畫格記憶體管理器
P100‧‧‧動畫預測編碼程式
P101‧‧‧輸入模組
P102‧‧‧編碼模組
P103‧‧‧復原模組
P104‧‧‧影像儲存模組
P105‧‧‧記憶體管理模組
P200‧‧‧動畫預測解碼程式
P201‧‧‧輸入模組
P202‧‧‧復原模組
P203‧‧‧影像儲存模組
P204‧‧‧記憶體管理模組
[圖1]本發明的實施形態所述之動畫預測編碼裝置之構成的機能區塊圖。
[圖2]本發明的實施形態所述之動畫預測解碼裝置之構成的機能區塊圖。
[圖3]本發明的實施形態所述之動畫預測編碼‧解碼方法的流程圖。
[圖4]本發明的實施形態所述之動畫預測編碼‧解碼方法的說明用模式圖。
[圖5]本發明的實施形態之變形例所述之動畫預測編碼‧解碼方法的流程圖。
[圖6]本發明的實施形態之變形例所述之動畫預測編碼‧解碼方法的說明用模式圖。
[圖7]將記錄媒體中所記錄之程式加以執行所需之電腦的硬體構成之圖示。
[圖8]將記錄媒體中所記憶之程式加以執行所需之電腦的概觀圖。
[圖9]動畫預測編碼程式之構成例的區塊圖。
[圖10]動畫預測解碼程式之構成例的區塊圖。
[圖11]先前之動畫預測編碼‧解碼方法的預測構造的模式圖。
以下，針對本發明的實施形態，使用圖1~圖10來說明。
[關於動畫預測編碼裝置]
圖1係本發明的實施形態所述之動畫預測編碼裝置100之構成的機能區塊圖。如圖1所示，動畫預測編碼裝置100，作為其功能性構成，係具備：輸入端子101、區塊分割器102、預測訊號生成器103、畫格記憶體104、減算器105、轉換器106、量化器107、逆量化器108、逆轉換器109、加算器110、熵編碼器111、輸出端子112、輸入端子113、及畫格記憶體管理器114。各功能區塊的動作，係在後述的動畫預測編碼裝置100之動作中說明。
以下，說明動畫預測編碼裝置100之動作。編碼對象之對象的複數張影像所成之動畫訊號，係被輸入至輸入端子101，各影像係被區塊分割器102，分割成複數領域。在本實施形態中，各影像係被分割成8×8之像素所成的複數區塊，但亦可分割成除此以外的區塊大小或區塊形狀。接著，以編碼處理對象之區塊(以下稱作「對象區塊」)為對象，藉由後述的預測方法而生成預測訊號。在本實施形態中，作為預測方法，係可利用畫面間預測與畫面內預測之2種預測方法，在畫面間預測中是也可以利用先前技術裡所說明過的雙向畫面間預測。以下，概述畫面間預測與畫面內預測各自的基本動作。
在畫面間預測下，將過去曾被編碼之後被復原的再生影像當作參照影像而使用，從該參照影像求出能夠對於對象區塊給予最小誤差之預測訊號的運動資訊(例如運動向量)。該處理係被稱作「運動偵測」。又，因應情況，亦可將對象區塊作再分割，以已被再分割之小領域為對象， 而決定畫面間預測方法。此情況下，從各種分割方法之中，決定出對對象區塊全體為最佳效率的小領域之分割方法及各小領域的運動資訊。在本實施形態中，畫面間預測，是由預測訊號生成器103所進行，對象區塊係經由訊號線L102，參照影像係經由訊號線L104，分別被輸入至預測訊號生成器103。作為參照影像，係將過去曾被編碼而被復原過的複數影像，當作參照影像而使用。其細節係和先前技術的MPEG-2、MPEG-4、H.264之任一方法相同。又，在複數參照影像之中，預測訊號是從哪個參照影像所取得的相關資訊(參考索引)，也是從預測訊號生成器103經由訊號線L112而被送往熵編碼器111，被熵編碼器111進行編碼後，其編碼資料係經由訊號線L111而從輸出端子112送出。已被決定的小領域之分割方法資訊及各小領域的運動資訊，係從預測訊號生成器103經由訊號線L112而被送往熵編碼器111，被熵編碼器111進行編碼後，其編碼資料係經由訊號線L111而從輸出端子112送出。此外，在本實施形態中，作為一例，是將4張至5張的再生影像，儲存在畫格記憶體104，當作參照影像來使用。預測訊號生成器103，係基於小領域之分割方法、及關於各小領域的參照影像與運動資訊，從畫格記憶體104取得參照影像，從參照影像及運動資訊，生成出預測訊號(就以畫面間預測所獲得之預測訊號的意義而言，稱之為「畫面間預測訊號」)。如此所被生成的畫面間預測訊號，係經由訊號線L103而被送至減算器105及後述處理 所涉及之加算器110。
另一方面，在畫面內預測時，在對象區塊中使用空間上相鄰的已再生之像素值，來生成畫面內預測訊號。具體而言，預測訊號生成器103係從畫格記憶體104取得位於同一畫面內的已再生之像素訊號，藉由將已再生之像素訊號進行外插而生成預測訊號(就以畫面內預測所得到之預測訊號的意義而言，稱之為「畫面內預測訊號」)。已被生成之畫面內預測訊號，係從預測訊號生成器103經由訊號線L103而被送至減算器105。預測訊號生成器103中的畫面內預測方法之生成方法，係和先前技術的H.264的方法相同。此外，畫面內預測中的關於外插方法的資訊，係從預測訊號生成器103經由訊號線L112而被送往熵編碼器111，被熵編碼器111進行編碼後，編碼資料係從輸出端子112送出。
以上就概述了畫面間預測與畫面內預測各自的基本動作。實際上，再每一對象區塊，如上述所求出的畫面間預測訊號和畫面內預測訊號當中，誤差最小者會被選擇，從預測訊號生成器103經由訊號線L103而送往減算器105。
順便一提，針對被編碼的第一張影像，由於沒有比其更前面的影像，因此該當第一張影像內的所有對象區塊，係以畫面內預測來處理。又，為了電視頻道之切換，作為隨機存取點，是將某影像內的所有對象區塊，以畫面內預測而定期地處理。此種影像係稱作Intra Frame，在H.264 中稱作IDR圖像。
減算器105，係從經由訊號線L102所收取的對象區塊之訊號，減去經由訊號線L103所收取之預測訊號，以生成殘差訊號。該殘差訊號係於轉換器106中進行離散餘弦轉換，其各轉換係數係於量化器107中被量化。最後，已被量化之轉換係數係被熵編碼器111所編碼，所得到的編碼資料，係連同關於預測方法之資訊，一起經由訊號線L111而由輸出端子112送出。
另一方面，為了對後續之對象區塊進行畫面內預測或畫面間預測，上記已被量化之轉換係數(對象區塊之編碼資料)，係在逆量化器108中被逆量化後，在逆轉換器109中進行逆離散餘弦轉換，藉此，殘差訊號係被復原。然後，藉由加算器110，已被復原的殘差訊號與從訊號線L103所送來的預測訊號會被加算，藉此，對象區塊之訊號就被再生，所得到之再生訊號係被儲存至畫格記憶體104。此外，在本實施形態中雖然使用了轉換器106與逆轉換器109，但亦可取代這些而改用其他的轉換處理。又，因應情況，亦可沒有轉換器106和逆轉換器109。
順便一提，畫格記憶體104係為有限，要儲存所有的再生影像，實際上是不可能的。因此，只有後述的影像編碼所用的再生影像，會被儲存在畫格記憶體104中。控制該畫格記憶體104的係為畫格記憶體管理器114。畫格記憶體管理器114，係可從畫格記憶體104所儲存的N張(例如N=4)的再生影像之中，刪除最舊的再生影像，將作 為參照影像所使用的最近之再生影像，儲存至畫格記憶體104，進行如此控制。實際上，對畫格記憶體管理器114係由輸入端子113而輸入著各影像之顯示順序資訊及影像編碼的類型資訊(畫面內預測編碼、畫面間預測編碼、雙向預測編碼)，畫格記憶體管理器114係基於這些資訊而作動。此時，各影像的顯示順序資訊，係從畫格記憶體管理器114經由訊號線L114而被送往熵編碼器111，被熵編碼器111所編碼，該已被編碼之顯示順序資訊，係連同已被編碼之影像資料，一起經由訊號線L111而由輸出端子112送出。此外，顯示順序資訊係附隨於各影像，係可為表示影像順序的資訊，或表示影像顯示時刻之資訊(例如影像的顯示參照時間(暫時參照))。在本實施形態中，例如，是將顯示順序資訊直接以二值編碼而進行編碼。又，畫格記憶體管理器114所做的控制方法將於後述。
[關於動畫預測解碼裝置]
接著，說明本發明所述之動畫預測解碼裝置。圖2係本發明的實施形態所述之動畫預測解碼裝置200之構成的機能區塊圖。如圖2所示，動畫預測解碼裝置200，作為其功能性構成，係具備：輸入端子201、資料解析器202、逆量化器203、逆轉換器204、加算器205、預測訊號生成器208、畫格記憶體207、輸出端子206、及畫格記憶體管理器209。各功能區塊的動作，係在後述的動畫預測解碼裝置200之動作中說明。此外，作為涉及解碼的 手段，係不限定於逆量化器203及逆轉換器204，亦可使用這些以外者。又，涉及解碼的手段，亦可沒有逆轉換器204而僅以逆量化器203來構成。
以下，說明動畫預測解碼裝置200之動作。以上述編碼方法所得到之壓縮資料，係從輸入端子201輸入。該壓縮資料裡係含有：對象區塊的殘差訊號、關於預測訊號之生成的資訊、量化參數、影像的顯示順序資訊、關於影像之編碼類型的資訊。其中，作為關於預測訊號之生成的資訊，係例如若是畫面間預測的情況下，則含有關於區塊分割之資訊(小領域之分割方法資訊(例如區塊的尺寸等))、各小領域的運動資訊、及參照索引，在畫面內預測的情況下則含有關於外插方法的資訊。
資料解析器202，係從已被輸入之壓縮資料，抽出對象區塊的殘差訊號、關於預測訊號之生成的資訊、量化參數、影像之顯示順序資訊、及關於影像之編碼類型的資訊。這些當中，對象區塊的殘差訊號及量化參數，係經由訊號線L202而被送往逆量化器203，逆量化器203係根據量化參數而將對象區塊的殘差訊號予以逆量化，然後，逆轉換器204係將逆量化的結果進行逆離散餘弦轉換。如此所被復原的殘差訊號，係經由訊號線L204而被送往加算器205。
另一方面，關於已被抽出預測訊號之生成的資訊，係經由訊號線L206b而被送出至預測訊號生成器208。預測訊號生成器208，係根據關於預測訊號之生成的資訊，從 畫格記憶體207內的複數參照影像取得適當的參照影像，根據該當適當的參照影像而生成預測訊號。已被生成之預測訊號，係經由訊號線L208而被送往加算器205，藉由加算器205而被加算至上記已被復原的殘差訊號，其結果為，對象區塊之訊號就被再生。已被再生之對象區塊的訊號，係經由訊號線L205而從輸出端子206輸出，同時當作再生影像而儲存至畫格記憶體207。
在畫格記憶體207中係儲存有，後續之影像的解碼或再生時所使用的再生影像。畫格記憶體管理器209，係可從畫格記憶體207所儲存的N張(此處作為一例係為N=4，但亦可為預先決定之整數)的再生影像中，刪除最舊的再生影像，將作為參照影像所使用的最近之再生影像，儲存至畫格記憶體207，進行如此控制。此畫格記憶體管理器209，係基於經由訊號線L206a所輸入之對象影像的顯示順序資訊與關於影像之編碼類型的資訊而動作。至於畫格記憶體管理器209所進行的控制方法，將於後述。
此外，關於作為隨機存取點的Intra Frame(畫面內預測影像)，在H.264中係稱作IDR圖像(instantaneous decoder refresh)，此名稱的由來是，將IDR圖像進行編碼或解碼後就立刻(instantaneous)將畫格記憶體(decoder buffer)予以更新。相對於此，若依據本發明，則作為隨機存取點的Intra Frame進行編碼或解碼後(或是正要進行編碼或解碼之前)不會立刻執行畫格記憶體的更新，而是先一時性地等待(或是延遲)然後才執行畫格記憶體的更新， 因此在本發明中則是將該影像稱作DDR圖像(deferred decoder refresh或delayed decoder refresh)。如以下詳細說明，畫格記憶體的更新之時序，係將DDR圖像的顯示順序資訊、與處理(編碼或解碼)對象之影像(以下稱作「處理對象影像」)的顯示順序資訊進行比較而決定。
[動畫預測編碼方法及動畫預測解碼方法的特徵之處理動作]
接著使用圖3和圖4，說明本發明所述之動畫預測編碼方法及動畫預測解碼方法的動作。圖3係本實施形態所述之動畫預測編碼‧解碼方法的流程圖，以下係將圖3以動畫的編碼方法來說明。只不過，圖3係亦可適用於動畫的解碼方法。
首先說明圖3中所使用的變數之意思。TR係表示顯示順序資訊的狀態變數、TR_DDR係表示DDR影像之顯示順序資訊的狀態變數、TR_CUR係表示該當時點的處理對象影像之顯示順序資訊的狀態變數、RP係表示畫格記憶體104的更新是否為待機中的狀態變數。RP=1的時候係表示，DDR圖像會變成處理對象，其後尚未執行畫格記憶體104之更新的狀態(亦即畫格記憶體更新是待機中的狀態)，RP=0的時候係表示，畫格記憶體104的更新是已執行完畢的狀態或沒有更新處理之必要的狀態。
在圖3中，當動畫的編碼開始時，首先，將TR_DDR與RP初期化成0(步驟301)。在步驟302中，確認是否 RP=1且TR_CUR是否大於TR_DDR。若滿足該條件，則意味著畫格記憶體更新係處於待機中且處理對象之影像是顯示順序比DDR圖像還後面的影像，因此執行畫格記憶體104的更新處理(亦即將畫格記憶體104中所儲存之參照影像設定成丟棄之處理)(步驟303)。只不過，此處，設定成丟棄的參照影像，係只有顯示順序資訊TR是小於最近之DDR圖像的顯示順序資訊(TR_DDR)的參照影像。又，最近之DDR圖像(或影像內預測編碼影像)，係不設定成丟棄。如以上之更新處理一旦結束，則將狀態變數RP設定成RP=0。
另一方面，在步驟302中若不滿足上記條件，則前進至步驟304，確認該當時點的處理對象影像是否為DDR圖像。此外，在動畫預測編碼裝置100中，關於影像之編碼類型(DDR，畫面間預測編碼或雙向預測編碼)的資訊，係經由圖1的輸入端子113，從未圖示的控制裝置所給予。步驟304中，該當時點的處理對象影像是DDR圖像時，則步驟305中將該當時點的處理對象影像的顯示順序資訊TR_CUR設定成TR_DDR，將狀態變數RP設定成RP=1之後，前進至步驟306。另一方面，步驟304中若不滿足條件時，則前進至步驟306。
在步驟306中，獲得相當於處理對象影像的再生影像。此處，在圖1所說明的編碼方法中，將處理對象影像加以編碼而獲得壓縮資料，然後將壓縮資料予以解碼而獲得再生影像(相當於處理對象影像的再生影像)。此外，編 碼所得到的壓縮資料，係被送出至動畫預測編碼裝置100的外部。又，壓縮資料係亦可積存在動畫預測編碼裝置100內的未圖示之記憶體中。在之後的步驟307中係判斷，相當於處理對象影像之再生影像是否要在後續的處理中被當作參照影像來使用。該判斷係基於該當影像的編碼類型來進行。此外，在本實施形態中，DDR圖像、單向預測編碼影像、及特定之雙向預測編碼方法，係全部稱作參照影像。但是並不限於該方法。
步驟307中判斷再生影像不被當成參照影像使用時，則不將再生影像保存至畫格記憶體104而前進至步驟309。另一方面，步驟307中判斷再生影像是被當成參照影像使用時，則步驟308中先將再生影像儲存至畫格記憶體104之後，前進至步驟309。
在步驟309中會判斷是否還有下個影像(未處理之影像)，若還有下個影像，則返回至步驟302，對下個影像重複步驟302~308之處理。如此一來，重複步驟302~308之處理直到最後的影像為止，一旦所有影像的處理都結束，則結束圖3之處理。
藉由上述圖3的處理，隨機存取影像(此處係最近之DDR圖像)的處理完成後，第一次處理到顯示順序資訊TR大於TR_DDR的影像時(實際上係為步驟306正要處理前的步驟303中)，畫格記憶體會被更新。此外，畫格記憶體的更新之時序，係可以在隨機存取影像(此處係為最近之DDR圖像)的處理完成後，第一次處理到顯示順序資訊 TR大於TR_DDR的影像時，也可以在步驟306的剛處理之後。
上述的圖3之處理，雖然該當於圖1的動畫預測編碼裝置100全體之處理，但尤其是步驟302~305之處理，是由畫格記憶體管理器114所進行。
此外，圖3雖然以動畫的編碼方法來說明，但亦可適用於動畫解碼方法之處理。在進行解碼處理時，在步驟301中，還會輸入已被壓縮編碼之影像的資料(位元串流)。從該當資料抽出對象影像的顯示順序資訊或編碼類型，然後以和上述相同的方法，進行步驟302~305之控制。在步驟306中，將對象影像的已被壓縮之資料予以解碼，進行復原影像的處理。步驟307以後的處理係和上述相同。此種處理，係該當於圖2的動畫預測解碼裝置200全體之處理，但尤其是步驟302~305之處理，是由畫格記憶體管理器209所進行。
圖4係本實施形態所述之動畫預測編碼‧解碼方法之處理的說明用模式圖。圖4所示的影像401~409，係為構成動畫的影像群之一部分，係圖示影像401之前已經有n張影像的樣子。因此，如圖4的領域418所示，影像401的顯示順序資訊TR係表示為(n+1)。又，在本實施形態中為了進行包含雙向預測的編碼‧解碼處理，而圖示先處理了TR=(n+5)之影像402之後，才去處理顯示順序上比影像402還早的影像403、404、405的樣子。同樣的理由，顯示順序為(n+3)之影像403，係早於顯示順序為(n+2) 之影像404就被處理。此種順序係和圖11(B)相同。此外，以下所謂「將影像加以處理」，係意味著「將影像進行編碼或解碼」。
圖4的影像401~409的框內所寫的英文字，其意思係如以下。亦即，P係意味著以單向預測而被編碼之影像，DDR係意味著被當成DDR圖像而編碼之影像，B與b係意味著以雙向預測而被編碼之影像。又，小寫b所示的影像以外(亦即大寫的B、P、DDR所示之影像)，係全部被當作參照影像而使用。圖4的領域420所示的對各影像的RP之值、及領域419所示的TR_DDR之值，係對各影像之處理剛完成後的值，並非對各影像之處理開始時(亦即進入圖3的步驟302時)的值。例如，對影像402之處理開始時係為RP=0，但對影像402之處理剛完成後係為RP=1。
在影像401之處理中，由於影像401並非DDR圖像，因此RP=0。對應於影像401的TR_DDR係亦可取任意的值，但被設定了藉由先行之處理而被儲存的值。又，大寫P1所示的影像401係作為參照影像來使用，因此被儲存在畫格記憶體中。
接著，一面參照圖3，一面說明影像402之處理。此時，如圖4最下段的領域410所示，畫格記憶體中係儲存著已被再生的影像P1。在影像402的處理開始時點上，由於RP=0，因此步驟302中係被否定判定，前進至步驟304。影像402係為DDR圖像，因此步驟304中係被肯定 判定，步驟305中會設定成RP=1、TR_DDR=n+5。又，由於影像402是被當成參照影像使用，因此被儲存在畫格記憶體中。
接著在影像403之處理開始時點上，如圖4的領域411所示，在畫格記憶體中係儲存有影像P1與DDR5。此時雖然RP=1，但影像403的顯示順序TR(n+3)係小於TR_DDR(n+5)且影像403並非DDR圖像，因此步驟302、304中會被否定判定，直接進行編碼或解碼(步驟306)。又，由於影像403是被當成參照影像使用，因此被儲存在畫格記憶體中。
影像404與405處理之際也同樣地，處畫格記憶體之更新係保持在待機狀態(RP=1)。又，影像404與405係不作為參照影像，因此如圖4的領域412、413所示，在畫格記憶體中不會儲存影像404與405，只儲存了影像P1、DDR5、B3。
在影像406的處理開始時點上雖然是RP=1，但影像406的顯示順序資訊TR(n+9)係大於TR_DDR(n+5)，因此步驟302中會是肯定判定，步驟303中藉由將參照影像設定成丟棄而將畫格記憶體予以更新，設定成RP=0。此時設定成丟棄的參照影像，係只有最近之DDR圖像402以外，顯示順序資訊TR小於最近之DDR圖像402的參照影像。因此，如圖4的領域414所示，在畫格記憶體中，影像P1與影像B3的記憶領域係被釋放，僅儲存著影像DDR5。影像406，係如圖4的領域415所示，在該當影 像406的處理完成後被儲存至畫格記憶體中，其以後就和上記同樣地進行畫格記憶體的更新控制。
如此，在DDR圖像402的剛處理之後或之前，位於畫格記憶體的參照影像(圖4中係為影像P1)未設定成丟棄，因此在DDR圖像402之後所被處理的影像403、404、405之處理中可參照影像P1，因此可期待編碼效率之提升。又，在DDR圖像402的處理之後，執行畫格記憶體更新之際，未將最近之DDR圖像402(影像DDR5)設定成丟棄，因此在後續的影像407、408、409之處理中，可將最近之DDR圖像402(影像DDR5)當作參照影像而使用。
如此，本實施形態係利用附隨於影像的顯示順序資訊，將在隨機存取之地點的畫面內預測影像(DDR圖像)之處理後才進行的記憶體更新之時序，藉由顯示順序資訊而加以設定，就可將隨機存取影像前後的影像，高效率地進行壓縮編碼。又，可將先前技術之缺點所帶來的不良情形，解決如下。
亦即，顯示順序資訊，係必定會附隨於各影像，因此不須發送新的資訊(旗標)，可解決先前技術的缺點2。又，在進行動畫之編輯(例如將一部分影像捨棄，連接到別的影像等)時也是，由於構成動畫之各影像的顯示順序資訊係被適切設定，因此不會引起錯誤動作，可解決先前技術的缺點1。然後，本發明所設計的記憶體更新之時序，係不限定於P圖像，且不依存於影像的編碼類型(I圖 像、P圖像、B圖像)，因此無論是否需要記憶體之更新，都可以用編碼效率最佳的編碼類型來進行處理，可解決先前技術的缺點3。
[有關變形例]
在上述的實施形態中，雖然說明了影像的顯示順序資訊是以「絕對值」的方式而被編碼時的處理，但為了提高編碼效率，也有把影像的顯示順序資訊以「差分值」的方式加以編碼的實施形態。以下作為變形例，說明顯示順序資訊是以「差分值」的方式而被編碼的實施形態。
圖5係圖示動畫預測編碼‧解碼方法的變形例知流程圖。在變形例中，影像的顯示順序資訊，係如以下般地被編碼。亦即，畫格記憶體的更新的待機中，針對已經是處理對象的影像，將其顯示順序資訊與DDR圖像的顯示順序資訊之間的差分值，加以編碼。另一方面，上記以外的影像，係將其顯示順序資訊以任意方法加以編碼。例如，亦可將與DDR圖像的顯示順序資訊之間的差分加以編碼，也可將與編碼順序為前一個之影像的顯示順序資訊之間的差分加以編碼。
在以下的變形例中，雖然將圖5以動畫之解碼方法來說明，但當然圖5係亦可適用於動畫的編碼方法。在圖5的步驟501中，對動畫預測解碼裝置200係輸入著已被壓縮編碼之影像的資料，從該當資料抽出對象影像之顯示順序資訊之差分值(delta_TR)及關於影像之編碼類型的資 訊。同時，將TR_DDR與RP初期化成0。
在接著步驟502中，會確認是否RP=1。若滿足該條件，則意味著畫格記憶體更新正在待機中，因此前進至步驟503。在步驟503中，將該當時點的處理對象影像的顯示順序資訊TR_CUR，設定成TR_DDR與delta_TR的和(加算後的值)。
接著，在步驟504中，確認TR_CUR是否大於TR_DDR。若滿足該條件，則意味著畫格記憶體更新係處於待機中且處理對象之影像是顯示順序比DDR圖像還後面的影像，因此執行畫格記憶體207的更新處理(亦即將畫格記憶體207中所儲存之參照影像設定成丟棄之處理)(步驟505)。只不過，此處，設定成丟棄的參照影像，係只有顯示順序資訊TR是小於最近之DDR圖像的顯示順序資訊(TR_DDR)的參照影像。又，最近之DDR圖像(或影像內預測編碼影像)，係不設定成丟棄。如以上之更新處理一旦結束，則將狀態變數RP設定成RP=0。其後，前進至後述之步驟507。又，前述的步驟504中被否定判定時也前進至步驟507。
另一方面，步驟502中被否定判定時係前進至步驟506，將TR_CUR設定成之前被處理過之影像的顯示順序資訊TR_PREV與delta_TR的和(加算後的值)，前進至步驟507。
在步驟507中，確認該當時點的處理對象影像是否為DDR圖像。此外，動畫預測解碼裝置200係可將關於影 像之編碼類型(DDR，畫面間預測編碼或雙向預測編碼)的資訊，從外部所輸入之壓縮編碼資料而取得之。
步驟507中，該當時點的處理對象影像是DDR圖像時，則步驟508中將該當時點的處理對象影像的顯示順序資訊TR_CUR設定成TR_DDR，將狀態變數RP設定成RP=1之後，前進至步驟509。另一方面，步驟507中若不滿足條件時，則前進至步驟509。
在步驟509中，獲得相當於處理對象影像的再生影像。此處，在圖2所說明的解碼方法中，將處理對象影像之壓縮資料予以解碼，以獲得相當於處理對象影像之再生影像。此外，此處所得之再生影像，係例如往動畫預測解碼裝置200的外部送出。在之後的步驟510中係判斷，相當於處理對象影像之再生影像是否要在後續的處理中被當作參照影像來使用。該判斷係基於該當影像的編碼類型來進行。此外，此處，DDR圖像、單向預測編碼影像、及特定之雙向預測編碼方法，係全部稱作參照影像。但是並不限於該方法。
步驟510中判斷再生影像不被當成參照影像使用時，則不將再生影像保存至畫格記憶體207而前進至步驟512。另一方面，步驟510中判斷再生影像是被當成參照影像使用時，則步驟511中先將再生影像儲存至畫格記憶體207之後，前進至步驟512。
在步驟512中，為了後續的步驟506之處理，將TR_CUR設定成TR_PREV，前進至步驟513。在步驟513 中會判斷是否還有下個影像(未處理之影像)，若還有下個影像，則返回至步驟502，對下個影像重複步驟502~512之處理。如此一來，重複步驟502~512之處理直到最後的影像為止，一旦所有影像的處理都結束，則結束圖5之處理。
藉由上述圖5的處理，隨機存取影像(此處係最近之DDR圖像)的處理完成後，第一次處理到顯示順序資訊TR大於TR_DDR的影像時(實際上係為步驟509正要處理前的步驟505中)，畫格記憶體會被更新。此外，畫格記憶體的更新之時序，係可以在隨機存取影像(此處係為最近之DDR圖像)的處理完成後，第一次處理到顯示順序資訊TR大於TR_DDR的影像時，也可以在步驟509的剛處理之後。
上述的圖5之處理，雖然該當於圖2的動畫預測解碼裝置200全體之處理，但尤其是步驟502~508，是由畫格記憶體管理器209所進行。
此外，圖5雖然以動畫的解碼方法來說明，但亦可適用於動畫邊碼方法之處理。在進行編碼處理時，在步驟503中係將delta_TR根據TR_CUR與TR_DDR之差分而加以求出，在步驟506中係將delta_TR根據TR_CUR與TR_PREV之差分而加以求出之後，進行熵編碼。又，在步驟509中，係將對象影像先編碼再解碼。此種處理，係該當於圖1的動畫預測編碼裝置100全體之處理，但尤其是步驟502~508之處理，是由畫格記憶體管理器114所 進行。
圖6係變形例所述之動畫預測編碼‧解碼方法之處理的說明用模式圖。圖6所示的影像601~609，係為構成動畫的影像群之一部分，係圖示了和圖4所說明過的影像401~409相同的處理。只不過，在圖6中，對圖4追加了領域621所示的delta_TR。由該領域621可知，隨著對象影像的編碼處理開始時的RP之值(前一影像的RP值)，delta_TR的求出方法係不同。亦即，影像603~606的編碼處理中，delta_TR係以各影像之TR與TR_DDR的差分值的方式而被求出。在影像607以後的編碼處理中，delta_TR係以各影像之TR與其前一個影像之TR的差分值的方式而被求出。另一方面，影像603~606之各影像的解碼處理中，從差分值delta_TR復原出顯示順序資訊TR時，藉由將差分值的壓縮資料予以解碼所得到的差分值delta_TR與TR_DDR進行加算，以復原顯示順序資訊TR。其以後係和圖4同樣地處理，因此省略說明。
在圖6中，即使影像603~605是因為編輯而缺損，影像606的顯示順序資訊TR，係從TR_DDR而求出，因此可以TR=delta_TR+TR_DDR=4+(n+5)=n+9的方式重現，可無錯誤動作地控制將畫格記憶體之更新。假設若所有的影像的delta_TR，都是以解碼順序上以該當影像之顯示順序資訊與前一個影像之顯示順序資訊的差分值的方式而被求出，則當影像603缺損時，就無法正確地再生出顯示順序資訊，影像605的時序上就會執行畫格記憶體的更 新(原本應該是影像606的時序才是正確的時序)。
將圖6適用於動畫編碼處理時，在隨機存取影像(此處係為最近之DDR圖像)之處理完成後，將畫格記憶體更新處於待機中的影像(影像603~606)的顯示順序資訊加以編碼之際，藉由不是把該當影像的顯示順序資訊TR本身，而是把該當影像之顯示順序資訊TR與DDR圖像之顯示順序資訊TR_DDR的差分值delta_TR加以編碼，就可正確地復原出畫格記憶體更新的時序。因此，即使畫格記憶體更新處於待機中的影像係缺少，仍可避免錯誤動作，具有容錯性強的效果。
作為又再另一例，亦可為，將差分值delta_TR當作編碼的對象，係在隨機存取影像(此處係為最近之DDR圖像)之後的，將第一個顯示順序資訊TR會大於TR_DDR之影像(圖6中係為影像606)含有1個以上的影像。亦即，在隨機存取影像(此處係為最近之DDR圖像)之後的，將第一個顯示順序資訊TR會大於TR_DDR之影像(圖6中係為影像606)含有1個以上的影像，將其顯示順序資訊加以編碼之際，亦可不是把該當影像的顯示順序資訊TR本身，而是把該當影像之顯示順序資訊TR與DDR圖像之顯示順序資訊TR_DDR的差分值delta_TR加以編碼。
[關於動畫預測編碼程式、動畫預測解碼程式]
涉及動畫預測編碼裝置之發明，係可視為涉及令電腦 成為動畫預測編碼裝置而發揮機能的動畫預測編碼程式之發明。同樣地，涉及動畫預測解碼裝置之發明，係可視為涉及令電腦成為動畫預測解碼裝置而發揮機能的動畫預測解碼程式之發明。
動畫預測編碼程式及動畫預測解碼程式，係例如被儲存在記錄媒體中來提供。此外，作為記錄媒體則例如有，軟碟片、CD-ROM、DVD等記錄媒體，或是ROM等之記錄媒體，或是半導體記憶體等。
圖9中係圖示了，用來使電腦成為動畫預測編碼裝置而發揮機能所需的動畫預測編碼程式之模組。如圖9所示，動畫預測編碼程式P100，係具備：輸入模組P101、編碼模組P102、復原模組P103、影像儲存模組P104、及記憶體管理模組P105。
又，圖10中係圖示了，用來使電腦成為動畫預測解碼裝置而發揮機能所需的動畫預測解碼程式之模組。如圖10所示，動畫預測解碼程式P200，係具備：輸入模組P201、復原模組P202、影像儲存模組P203、及記憶體管理模組P204。
如上記所被構成的動畫預測編碼程式P100及動畫預測解碼程式P200，係可記憶在圖8所示的記錄媒體10中，被後述的電腦30所執行。
圖7係將記錄媒體中所記錄之程式加以執行所需之電腦的硬體構成之圖示，圖8係將記錄媒體中所記憶之程式加以執行所需之電腦的概觀圖。作為電腦，亦包含具備 CPU而可進行軟體所致之處理或控制的DVD播放器、機上盒、行動電話等。
如圖7所示，電腦30係具備：軟碟片驅動裝置、CD-ROM驅動裝置、DVD驅動裝置等之讀取裝置12、讓作業系統常駐的作業用記憶體(RAM)14、用來記憶記錄媒體10中所記憶之程式的記憶體16、顯示器這類顯示裝置18、屬於輸入裝置的滑鼠20及鍵盤22、進行資料等之收送訊用的通訊裝置24、控制著程式之執行的CPU26。電腦30，係一旦記錄媒體10被插入至讀取裝置12，則可從讀取裝置12存取記錄媒體10中所儲存的動畫預測編碼程式，藉由該當動畫預測編碼程式，就可成為本發明所述之動畫預測編碼裝置而作動。同樣地，電腦30，係一旦記錄媒體10被插入至讀取裝置12，則可從讀取裝置12存取記錄媒體10中所儲存的動畫預測解碼程式，藉由該當動畫預測解碼程式，就可成為本發明所述之動畫預測解碼裝置而作動。
如圖8所示，動畫預測編碼程式或動畫預測解碼程式，係可以被重疊於載波之電腦資料訊號40的方式，透過網路而提供。此時，電腦30，係可將通訊裝置24所接收到的動畫預測編碼程式或動畫預測解碼程式，儲存在記憶體16中而執行。

Claims (2)

  1. 一種動畫預測解碼方法，係屬於被具備有用來將後續影像解碼所使用之參照影像加以儲存所需之影像儲存手段的動畫預測解碼裝置所執行的動畫預測解碼方法，其特徵為，具備：輸入步驟，係將構成動畫的複數影像以畫面內預測或畫面間預測之任一方法來進行編碼所得到的，含有會成為隨機存取之影像之隨機存取影像的壓縮影像資料，及將關於前記影像之顯示順序資訊的資料予以編碼所得到的顯示順序編碼資料，進行輸入；和復原步驟，係將前記壓縮影像資料進行解碼以復原出再生影像，並且將前記顯示順序編碼資料進行解碼以復原顯示順序資訊；和影像儲存步驟，係將已被復原之前記再生影像，當作後續影像進行解碼所需使用之參照影像，而儲存在前記影像儲存手段中；和記憶體管理步驟，係用以控制前記影像儲存手段；於前記記憶體管理步驟中，前記動畫預測解碼裝置，係在解碼前記隨機存取影像的解碼處理結束之後，在顯示順序資訊是比前記隨機存取影像之顯示順序資訊還大之影像正要進行解碼之前，在前記影像儲存手段所儲存的參照影像當中，針對前記隨機存取影像除外的參照影像，設定成丟棄，藉此以更新前記影像儲存手段； 前記顯示順序資訊是比前記隨機存取影像之顯示順序資訊還大之影像，係不依存於影像的編碼類型；在前記復原步驟中，前記動畫預測解碼裝置係基於：已復原的所定之基準像素的顯示順序資訊、和將前記顯示順序編碼資料進行解碼所得的，該當所定之基準像素之顯示順序資訊與前記影像之顯示順序資訊的差分值，而復原出該當影像的顯示順序資訊。
  2. 一種動畫預測解碼裝置，其特徵為，具備：輸入手段，係將構成動畫的複數影像以畫面內預測或畫面間預測之任一方法來進行編碼所得到的，含有會成為隨機存取之影像之隨機存取影像的壓縮影像資料，及將關於前記影像之顯示順序資訊的資料予以編碼所得到的顯示順序編碼資料，進行輸入；和復原手段，係將前記壓縮影像資料進行解碼以復原出再生影像，並且將前記顯示順序編碼資料進行解碼以復原顯示順序資訊；和影像儲存手段，係將已被復原之前記再生影像，當作後續影像進行解碼所需使用之參照影像而加以儲存；和記憶體管理手段，係控制著前記影像儲存手段；前記記憶體管理手段，係在解碼前記隨機存取影像的解碼處理結束之後，在顯示順序資訊是比前記隨機存取影像之顯示順序資訊還大之影像正要進行解碼之前，在前記 影像儲存手段所儲存的參照影像當中，針對前記隨機存取影像除外的參照影像，設定成丟棄，藉此以更新前記影像儲存手段；前記顯示順序資訊是比前記隨機存取影像之顯示順序資訊還大之影像，係不依存於影像的編碼類型；前記復原手段係基於：已復原的所定之基準像素的顯示順序資訊、和將前記顯示順序編碼資料進行解碼所得的，該當所定之基準像素之顯示順序資訊與前記影像之顯示順序資訊的差分值，而復原出該當影像的顯示順序資訊。
TW107104188A 2010-03-17 2011-03-17 Animation prediction decoding method and animation prediction decoding device TWI650002B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010061337A JP2011199396A (ja) 2010-03-17 2010-03-17 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP2010-061337 2010-03-17

Publications (2)

Publication Number Publication Date
TW201820865A true TW201820865A (zh) 2018-06-01
TWI650002B TWI650002B (zh) 2019-02-01

Family

ID=44649138

Family Applications (7)

Application Number Title Priority Date Filing Date
TW108133969A TWI691198B (zh) 2010-03-17 2011-03-17 動態影像預測編碼裝置、動態影像預測解碼裝置、動態影像預測編碼方法、動態影像預測解碼方法、及電腦可讀取之非暫時性記錄媒體
TW107140720A TWI670965B (zh) 2010-03-17 2011-03-17 動態影像預測編碼裝置及動態影像預測編碼方法
TW106136961A TWI619373B (zh) 2010-03-17 2011-03-17 Animation prediction decoding method and animation prediction decoding device
TW107104188A TWI650002B (zh) 2010-03-17 2011-03-17 Animation prediction decoding method and animation prediction decoding device
TW100109131A TWI479895B (zh) 2010-03-17 2011-03-17 An animation predictive coding apparatus, an animation prediction coding method, an animation prediction coding program, an animation prediction decoding apparatus, an animation prediction decoding method, and an animation prediction decoding program
TW108121288A TWI678913B (zh) 2010-03-17 2011-03-17 動態影像預測編碼裝置、動態影像預測解碼裝置、動態影像預測編碼方法、及動態影像預測解碼方法
TW104100275A TWI611686B (zh) 2010-03-17 2011-03-17 動畫預測解碼裝置、動畫預測解碼方法、及動畫預測解碼程式

Family Applications Before (3)

Application Number Title Priority Date Filing Date
TW108133969A TWI691198B (zh) 2010-03-17 2011-03-17 動態影像預測編碼裝置、動態影像預測解碼裝置、動態影像預測編碼方法、動態影像預測解碼方法、及電腦可讀取之非暫時性記錄媒體
TW107140720A TWI670965B (zh) 2010-03-17 2011-03-17 動態影像預測編碼裝置及動態影像預測編碼方法
TW106136961A TWI619373B (zh) 2010-03-17 2011-03-17 Animation prediction decoding method and animation prediction decoding device

Family Applications After (3)

Application Number Title Priority Date Filing Date
TW100109131A TWI479895B (zh) 2010-03-17 2011-03-17 An animation predictive coding apparatus, an animation prediction coding method, an animation prediction coding program, an animation prediction decoding apparatus, an animation prediction decoding method, and an animation prediction decoding program
TW108121288A TWI678913B (zh) 2010-03-17 2011-03-17 動態影像預測編碼裝置、動態影像預測解碼裝置、動態影像預測編碼方法、及動態影像預測解碼方法
TW104100275A TWI611686B (zh) 2010-03-17 2011-03-17 動畫預測解碼裝置、動畫預測解碼方法、及動畫預測解碼程式

Country Status (17)

Country Link
US (6) US9113171B2 (zh)
EP (3) EP3300369A1 (zh)
JP (1) JP2011199396A (zh)
KR (3) KR101747195B1 (zh)
CN (3) CN105187842B (zh)
AU (9) AU2011228218B2 (zh)
BR (1) BR112012023322B1 (zh)
CA (8) CA3169174A1 (zh)
ES (2) ES2655919T3 (zh)
MX (1) MX2012010614A (zh)
NO (2) NO2549758T3 (zh)
PL (2) PL2549758T3 (zh)
PT (2) PT2549758T (zh)
RU (6) RU2601134C2 (zh)
SG (2) SG184079A1 (zh)
TW (7) TWI691198B (zh)
WO (1) WO2011115045A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199396A (ja) 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101457895B1 (ko) * 2011-07-02 2014-11-04 삼성전자주식회사 비디오 복호화 방법 및 장치
US9106927B2 (en) 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US9432694B2 (en) 2012-03-06 2016-08-30 Apple Inc. Signal shaping techniques for video data that is susceptible to banding artifacts
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
MX342499B (es) * 2012-06-29 2016-10-03 Sony Corp Dispositivo de descodificación y método de descodificación.
GB2516425B (en) * 2013-07-17 2015-12-30 Gurulogic Microsystems Oy Encoder and decoder, and method of operation
KR102133978B1 (ko) 2013-11-13 2020-07-14 삼성전자주식회사 압축 데이터를 이용하여 패널 셀프 리프레쉬를 수행할 수 있는 타이밍 컨트롤러, 이의 동작 방법, 및 상기 타이밍 컨트롤러를 포함하는 데이터 처리 시스템
EP3371974B1 (en) * 2015-11-06 2024-05-01 Microsoft Technology Licensing, LLC Flexible reference picture management for video encoding
JP6641344B2 (ja) * 2017-12-05 2020-02-05 三菱電機株式会社 符号化装置
GB2620500B (en) * 2019-03-20 2024-05-15 V Nova Int Ltd Low complexity enhancement video coding
CN111124337B (zh) * 2019-12-17 2023-08-01 西安万像电子科技有限公司 图像显示方法及系统
EP4118835A4 (en) * 2020-03-31 2023-05-10 Beijing Dajia Internet Information Technology Co., Ltd. HIGH LEVEL SYNTAX METHODS AND DEVICES IN VIDEO CODING
WO2021203039A1 (en) * 2020-04-03 2021-10-07 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for high-level syntax in video coding

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2161377C2 (ru) * 1992-12-04 2000-12-27 Сони Корпорейшн Устройство и способ подготовки к записи на носителе информации кодируемого с переменным параметром сигнала, устройство и способ последовательного сигнала, способ воспроизведения шаблонов с носителя информации
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
EP1850600A3 (en) * 2001-10-17 2008-05-14 Matsushita Electric Industrial Co., Ltd. Moving picture encoding method and moving picture encoding apparatus
CN100562112C (zh) * 2001-11-06 2009-11-18 松下电器产业株式会社 运动图像编码方法
JP4355156B2 (ja) * 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
KR100961037B1 (ko) * 2002-07-11 2010-06-01 파나소닉 주식회사 화상 복호화 방법 및 화상 복호화 장치
EP3177020B1 (en) * 2002-07-16 2023-04-19 Nokia Technologies Oy A method for random access and gradual picture refresh in video coding
TWI249356B (en) * 2002-11-06 2006-02-11 Nokia Corp Picture buffering for prediction references and display
WO2004066636A1 (ja) * 2003-01-20 2004-08-05 Matsushita Electric Industrial Co., Ltd. 画像符号化方法
KR100711635B1 (ko) * 2003-02-18 2007-04-25 노키아 코포레이션 화상 부호화 방법
JP2004260236A (ja) 2003-02-24 2004-09-16 Matsushita Electric Ind Co Ltd 動画像の符号化方法および復号化方法
US8223833B2 (en) * 2003-03-03 2012-07-17 Panasonic Corporation Picture coding method and picture decoding method
EP1496707A1 (en) * 2003-07-09 2005-01-12 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images with delayed reference picture refresh
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
RU2370909C2 (ru) * 2004-07-01 2009-10-20 Квэлкомм Инкорпорейтед Способ и устройство для использования способов преобразования кадров с повышением частоты кадров при кодировании масштабируемого видео
US8155186B2 (en) * 2004-08-11 2012-04-10 Hitachi, Ltd. Bit stream recording medium, video encoder, and video decoder
RU2287909C2 (ru) * 2004-12-15 2006-11-20 Московский технический университет связи и информатики Способ преобразования цифрового сигнала изображения и устройство для его реализации
WO2006075635A1 (ja) * 2005-01-17 2006-07-20 Matsushita Electric Industrial Co., Ltd. 画像復号化方法
JP2008527945A (ja) * 2005-01-19 2008-07-24 トムソン ライセンシング リアルタイム並列符号化の方法及び装置
WO2006084366A1 (en) * 2005-02-09 2006-08-17 March Networks Corporation Method and system for low-subband content discrimination
JP2006246277A (ja) * 2005-03-07 2006-09-14 Pioneer Electronic Corp 再符号化装置、再符号化方法、および再符号化用プログラム
US8036281B2 (en) * 2005-06-01 2011-10-11 Canon Kabushiki Kaisha Image coding apparatus and image coding method
RU2368095C1 (ru) * 2005-07-22 2009-09-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
BRPI0619193A2 (pt) * 2005-11-30 2011-09-20 Toshiba Kk Toshiba Corp método de codificação de imagem / decodificação de imagem, aparelho de codificação de imagem / decodificação de imagem
US8155185B2 (en) * 2005-12-05 2012-04-10 Canon Kabushiki Kaisha Image coding apparatus and method
CA2845591C (en) * 2006-01-05 2015-12-08 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
TW200806040A (en) * 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
WO2007080223A1 (en) * 2006-01-10 2007-07-19 Nokia Corporation Buffering of decoded reference pictures
US20080165860A1 (en) * 2006-08-31 2008-07-10 Zohair Sahraoui H.264 Data processing
BRPI0717321A2 (pt) * 2006-10-13 2013-10-22 Thomson Licensing Método para gerenciamento de imagens de referência envolvendo codificação de vídeo com mútiplas visualizações
WO2008074857A2 (fr) * 2006-12-21 2008-06-26 Thomson Licensing Procede de decodage d'un bloc d'une image video
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5023739B2 (ja) * 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
JP5188875B2 (ja) * 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US8699808B2 (en) * 2007-10-15 2014-04-15 Chih-Ta Star Sung Method and apparatus of temporary image frame compression
FR2924296B1 (fr) * 2007-11-28 2010-05-28 Canon Kk Procede et dispositif de traitement d'un flux de donnees multimedia hierarchique transmis sur un reseau avec perte
JP5056560B2 (ja) * 2008-03-17 2012-10-24 富士通株式会社 符号化装置、復号化装置、符号化方法および復号化方法
JP4935746B2 (ja) * 2008-04-07 2012-05-23 富士通株式会社 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法
JP2009296078A (ja) 2008-06-03 2009-12-17 Victor Co Of Japan Ltd 符号化データ再生装置、符号化データ再生方法、および符号化データ再生プログラム
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
JP2010245970A (ja) * 2009-04-08 2010-10-28 Sony Corp 再生装置、再生方法、およびプログラム
US8976871B2 (en) * 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
JP2011199396A (ja) 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101750495B1 (ko) * 2010-04-16 2017-06-27 에스케이텔레콤 주식회사 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법
US9516379B2 (en) * 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
EP2732626A1 (en) * 2011-07-15 2014-05-21 Telefonaktiebolaget L M Ericsson (PUBL) An encoder and method thereof for assigning a lowest layer identity to clean random access pictures
US9654802B2 (en) 2012-09-24 2017-05-16 Qualcomm Incorporated Sequence level flag for sub-picture level coded picture buffer parameters
WO2015105399A1 (ko) * 2014-01-13 2015-07-16 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치.

Also Published As

Publication number Publication date
US9113171B2 (en) 2015-08-18
US10715829B2 (en) 2020-07-14
BR112012023322B1 (pt) 2018-09-25
AU2019280003A1 (en) 2020-01-16
SG10201501390XA (en) 2015-04-29
TWI678913B (zh) 2019-12-01
US20190238885A1 (en) 2019-08-01
EP2549758A4 (en) 2015-11-25
CN105187842A (zh) 2015-12-23
US10178407B2 (en) 2019-01-08
KR101747195B1 (ko) 2017-06-14
RU2012144029A (ru) 2014-05-10
CA2935201C (en) 2019-07-02
JP2011199396A (ja) 2011-10-06
RU2628260C1 (ru) 2017-08-15
CA3094540A1 (en) 2011-09-22
NO2942965T3 (zh) 2018-05-12
PT2549758T (pt) 2018-01-15
AU2019280009B2 (en) 2021-03-04
CN105187842B (zh) 2018-06-29
CA2793168A1 (en) 2011-09-22
WO2011115045A1 (ja) 2011-09-22
CA2793168C (en) 2016-09-20
AU2021200759A1 (en) 2021-03-04
US10298953B2 (en) 2019-05-21
CA3081303C (en) 2022-06-28
AU2018202171A1 (en) 2018-04-26
US20190110069A1 (en) 2019-04-11
TW202005374A (zh) 2020-01-16
TW201941607A (zh) 2019-10-16
CA3081303A1 (en) 2011-09-22
KR101867461B1 (ko) 2018-06-14
CA3009695A1 (en) 2011-09-22
TWI691198B (zh) 2020-04-11
US10390042B2 (en) 2019-08-20
RU2601134C2 (ru) 2016-10-27
CA3094540C (en) 2022-09-20
TW201914301A (zh) 2019-04-01
TWI479895B (zh) 2015-04-01
AU2018202169B2 (en) 2019-09-12
AU2016200188B2 (en) 2018-01-04
CN104768020B (zh) 2018-01-16
AU2019280003B2 (en) 2021-01-21
CN102792696A (zh) 2012-11-21
US20150350644A1 (en) 2015-12-03
CA3041891A1 (en) 2011-09-22
TW201515441A (zh) 2015-04-16
KR101640872B1 (ko) 2016-07-19
NO2549758T3 (zh) 2018-05-05
US10567794B2 (en) 2020-02-18
TWI619373B (zh) 2018-03-21
TW201808005A (zh) 2018-03-01
TWI650002B (zh) 2019-02-01
CA3041891C (en) 2020-11-10
RU2015122410A (ru) 2015-10-27
RU2568310C2 (ru) 2015-11-20
PT2942965T (pt) 2018-02-09
US20190327488A1 (en) 2019-10-24
AU2018202171B2 (en) 2019-09-12
AU2021266226A1 (en) 2021-12-02
CA3094541C (en) 2022-10-25
AU2011228218A1 (en) 2012-10-18
CN102792696B (zh) 2015-10-21
MX2012010614A (es) 2013-02-26
KR20130016289A (ko) 2013-02-14
CA3009695C (en) 2020-07-14
EP2942965A2 (en) 2015-11-11
EP3300369A1 (en) 2018-03-28
AU2018202170A1 (en) 2018-04-26
CA3169174A1 (en) 2011-09-22
TWI670965B (zh) 2019-09-01
CA2935201A1 (en) 2011-09-22
ES2655919T3 (es) 2018-02-22
RU2676408C1 (ru) 2018-12-28
BR112012023322A2 (pt) 2016-05-24
US20130044813A1 (en) 2013-02-21
TW201206202A (en) 2012-02-01
AU2011228218B2 (en) 2016-03-31
AU2021266226B2 (en) 2023-01-12
CN104768020A (zh) 2015-07-08
RU2652438C1 (ru) 2018-04-26
EP2942965A3 (en) 2016-03-09
RU2690220C1 (ru) 2019-05-31
ES2655416T3 (es) 2018-02-20
AU2021200759B2 (en) 2021-09-09
EP2549758A1 (en) 2013-01-23
AU2019280009A1 (en) 2020-01-16
PL2942965T3 (pl) 2018-05-30
CA3094541A1 (en) 2011-09-22
KR20170066709A (ko) 2017-06-14
KR20160058977A (ko) 2016-05-25
EP2549758B1 (en) 2017-12-06
SG184079A1 (en) 2012-10-30
AU2018202169A1 (en) 2018-04-26
AU2018202170B2 (en) 2019-08-29
TWI611686B (zh) 2018-01-11
EP2942965B1 (en) 2017-12-13
AU2016200188A1 (en) 2016-02-04
US20190116378A1 (en) 2019-04-18
PL2549758T3 (pl) 2018-03-30

Similar Documents

Publication Publication Date Title
TWI650002B (zh) Animation prediction decoding method and animation prediction decoding device
TWI691201B (zh) 動態影像預測解碼方法
JP5753595B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP6229023B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP5977852B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP2018026872A (ja) 動画像予測復号方法及び動画像予測復号装置