TWI517673B - Dynamic image predictive coding device, dynamic image predictive coding method, dynamic image predictive coding program, dynamic image prediction decoding device, dynamic image prediction decoding method and dynamic image prediction decoding program - Google Patents

Dynamic image predictive coding device, dynamic image predictive coding method, dynamic image predictive coding program, dynamic image prediction decoding device, dynamic image prediction decoding method and dynamic image prediction decoding program Download PDF

Info

Publication number
TWI517673B
TWI517673B TW102116526A TW102116526A TWI517673B TW I517673 B TWI517673 B TW I517673B TW 102116526 A TW102116526 A TW 102116526A TW 102116526 A TW102116526 A TW 102116526A TW I517673 B TWI517673 B TW I517673B
Authority
TW
Taiwan
Prior art keywords
image
size
frame
stored
maximum
Prior art date
Application number
TW102116526A
Other languages
English (en)
Other versions
TW201404167A (zh
Inventor
Akira Fujibayashi
Choong Seng Boon
Thiow Keng Tan
Original Assignee
Ntt Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ntt Docomo Inc filed Critical Ntt Docomo Inc
Publication of TW201404167A publication Critical patent/TW201404167A/zh
Application granted granted Critical
Publication of TWI517673B publication Critical patent/TWI517673B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

動態影像預測編碼裝置、動態影像預測編碼方法、動態影像預測編碼程式、動態影像預測解碼裝置、動態影像預測解碼方法及動態影像預測解碼程式
本發明係有關於動態影像預測編碼．解碼裝置、方法及程式，尤其是有關於，管理解碼影像緩衝區中所能儲存之再生影像的最大張數的裝置、方法及程式。
為了有效率地進行動態影像資料的傳輸及積存，採用了壓縮編碼技術。在動態影像的情況下，廣泛地採用MPEG1~4及H.261~H.264之方式。
在這些編碼方式中，是將身為編碼對象的影像，分割成複數區塊，然後才進行編碼、解碼處理。為了提高編碼效率，採用如下記之預測編碼方法。在畫面內的預測編碼時，是使用位於與對象區塊相同畫面內的相鄰之已再生的影像訊號(過去已被壓縮之影像資料所復原而成者)來生成預測訊號，然後將其從對象區塊之訊號中加以扣除而成的差分訊號，進行編碼。在畫面間的預測編碼時，係參照位於與對象區塊不同畫面內的已再生之影像訊 號，檢索出訊號的位移，將該移動量加以補償而生成預測訊號，將其從對象區塊之訊號中扣除後的差分訊號，進行編碼。為了進行運動之檢索、補償而被參照的已再生之影像，稱作參照影像。
又，在雙向畫面間預測中，不只顯示時間順 序位於過去的影像，有時候就連對象影像之後所被顯示的未來之影像也會參照(該未來影像必須比對象影像更早編碼、預先進行再生)。藉由將從過去之影像與未來之影像所取得之預測訊號進行平均化，對於被隱藏而新出現之物體的訊號預測是有效的，同時，具有減輕雙預測訊號中所含之雜訊的效果。
甚至，在H.264的畫面間預測編碼中，針對 對象區塊之預測訊號，係參照過去先被編碼而再生之複數參照影像，一面進行運動檢索一面將誤差最少之影像訊號選擇成為最佳的預測訊號。求取對象區塊之像素訊號與該最佳預測訊號的差分，實施離散餘弦轉換及量化之後，進行熵編碼。同時，關於是從哪個參照影像的哪個領域取得針對對象區塊之最佳預測訊號的資訊(分別稱作參照索引與運動向量)也會一起進行編碼。
尤其是，在H.264中，係可參照複數再生影 像。這些再生影像係作為預測時所用的參照影像而被保存在影像緩衝記憶體亦即解碼影像緩衝區(DPB：Decoded picture buffer)中。解碼影像緩衝區(DPB)的大小係由設定檔(profile)及等級(level)所定義，不是以參照影 像的張數，而是以位元量而被定義。亦即，即使是相同的設定檔、等級，張數仍會隨著影像的畫格尺寸而改變。例如主要(Main)設定檔、等級3.2的情況下，用來儲存預測時所用之參照影像所需的影像緩衝區的最大尺寸(MaxDPBSize：Maximum Decoded Picture Buffer size)係被定義成7680.0×1024[bytes]，1280×720 4：2：0的情況下，解碼影像緩衝區(DPB)中所能保存的再生影像係為5張，1280×1024 4：2：0的情況下，解碼影像緩衝區(DPB)中所能保存的再生影像的最大張數係為4張。圖1中係圖示了，隨著影像之畫格尺寸而能保存的再生影像之最大張數是4張(圖1(a))、5張(圖1(b))及6張(圖1(c))時的解碼影像緩衝區的影像配置。如此，事前準備之影像緩衝記憶體是會隨著再生影像之畫格尺寸，而將記憶體指標做可變配置，藉此，就可將記憶體配置做巧妙安排而利用。
[先前技術文獻] [非專利文獻]
[非專利文獻1]“H.264：Advanced video coding for generic audiovisual services,”Joint Video Team of ITU-T VCEG and ISO/IEC MPEG,ITU-T Rec.H.264 and ISO/IEC 14496-10(MPEG4-Part 10),November 2007
此處，在此種定義下，H.264的解碼裝置係該解碼裝置所支援之範圍的設定檔及等級所定義的所有畫格尺寸的影像都必須要能夠解碼，影像緩衝記憶體中儲存再生影像之際所使用的記憶體要如何配置來進行儲存，並沒有辦法固定。因此，表示各再生影像所被儲存之記憶體位置的記憶體指標，必須要隨著進行解碼之影像之畫格尺寸而變動，因此記憶體控制及實作會變得複雜。
作為對此的解決方案，想到不隨著實際的解碼影像之畫格尺寸將影像緩衝記憶體所能儲存之再生影像的最大張數(max_dec_pic_buffering)加以固定的手法。藉由此解決方案，解碼影像緩衝區(DPB)的記憶體配置係如圖2(a)所示般地是由最大畫格尺寸而統一決定，因此記憶體指標也能固定。亦即，相較於變動的記憶體指標之控制，記憶體控制會變得較為容易。可是，在此解決方案中，解碼影像的畫格尺寸是小於最大畫格尺寸的情況下，以及像是交錯式影像之圖場影像這種影像的縱寬是畫格影像的一半的情況下，會如圖2(b)所示般地發生未使用之記憶體領域，存在著記憶體未被有效活用之課題。甚至，因為儲存更多的再生影像，導致參照影像張數增加而喪失編碼效率提升之可能性。
本發明係為了解決上記課題，目的在於提供一種，隨著再生影像之畫格尺寸，決定影像緩衝記憶體中所能儲存之再生影像的最大張數，藉此而可有效利用影像 緩衝記憶體，能夠更加提升編碼效率的編碼．解碼方法．裝置及程式。
為了達成上記目的，本發明之一側面所述之動態影像預測編碼裝置，係具備：輸入手段，係用以將構成動態影像的複數影像，進行輸入；和編碼手段，係用以將影像，以畫面內預測或畫面間預測之任一方法來進行編碼，並且生成含有對象影像畫格尺寸、可儲存再生影像之最大張數及作為編碼設定的最大畫格尺寸之相關資訊的壓縮影像資料，連同關於對象影像畫格尺寸、可儲存再生影像之最大張數及最大畫格尺寸之相關資訊的編碼資料一起予以編碼；和解碼手段，係用以將壓縮影像資料進行解碼，以復原出再生影像；和影像儲存手段，係用以將再生影像，當作後續影像進行編碼所需使用之參照影像而儲存1個以上；和記憶體控制手段，係用以在影像儲存手段中控制影像緩衝記憶體；記憶體控制手段，係當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2L(L係1以上之整數)以下時，則將畫格記憶體內所能儲存之再生影像的最大張數，決定成2L倍。
在此動態影像預測編碼裝置中，係基於構成動態影像之各影像或被壓縮編碼而成之影像資料中所附隨的畫格尺寸與編碼設定所定義之最大畫格尺寸之關係，而決定影像緩衝記憶體中所能儲存之再生影像的最大張數。 更具體而言，例如，若輸入影像的畫格尺寸是比編碼設定所定義之最大畫格尺寸的1/2L(L係1以上之整數)倍還大時，則可將再生影像最多儲存N張(N係1以上之整數)，若輸入影像的畫格尺寸是最大畫格尺寸的1/2L倍以下時，則控制再生影像之儲存時所能利用的記憶體緩衝區量，而可將再生影像最多儲存2LxN張。因此，若已被解碼之再生影像之畫格尺寸是編碼設定所定義之最大畫格尺寸的1/2L倍以下時，則可增加能夠儲存之再生影像的最大張數，藉由參照影像增加而可提升編碼效率。
又，本發明之一側面所述之動態影像預測編 碼裝置中的記憶體控制手段係在決定畫格記憶體內所能儲存之再生影像的最大張數之際，將表示再生影像在記憶體內之儲存位置的記憶體指標，予以固定。
在此動態影像預測編碼裝置中，係表示各再 生影像之儲存位置的記憶體指標，係例如，可以固定在最大畫格尺寸和其1/2L倍的位置上，因此不需要隨畫格尺寸來做可變的記憶體指標控制，可較簡易地實作有效率之記憶體控制。又，記憶體指標的位置算出之際，也是被限定成例如1/2L倍之變化，因此可藉由移位演算來執行之，演算成本較少。
本發明之一側面所述之動態影像預測解碼裝 置，係具備：輸入手段，係用以輸入編碼資料，其對構成動態影像之複數影像，藉由畫面內預測或畫面間預測之任一者所被編碼而成，且表示含有對象影像畫格尺寸、可儲 存再生影像之最大張數及作為編碼設定的最大畫格尺寸之相關資訊的壓縮影像資料；和解碼手段，係用以將壓縮影像資料與表示對象影像畫格尺寸、可儲存再生影像之最大張數及最大畫格尺寸之相關資訊的壓縮影像資料，予以解碼，復原成再生影像、和對象影像畫格尺寸、可儲存再生影像之最大張數及最大畫格尺寸之相關資訊；和影像儲存手段，係用以將再生影像，當作後續影像進行解碼所需使用之參照影像而儲存1個以上；和記憶體控制手段，係用以控制影像儲存手段；記憶體控制手段，係當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2L(L係1以上之整數)倍以下時，則將畫格記憶體內所能儲存之再生影像的最大張數，決定成2L倍。
在此動態影像預測解碼裝置中，係基於構成 動態影像之各影像或被壓縮編碼而成之影像資料中所附隨的畫格尺寸與編碼設定所定義之最大畫格尺寸之關係，而決定影像緩衝記憶體中所能儲存之再生影像的最大張數。 更具體而言，例如，若輸入影像的畫格尺寸是比編碼設定所定義之最大畫格尺寸的1/2L(L係1以上之整數)倍還大時，則可將再生影像最多儲存N張(N係1以上之整數)，若輸入影像的畫格尺寸是最大畫格尺寸的1/2L倍以下時，則可將再生影像最多儲存2LN張。因此，若已被解碼之再生影像之畫格尺寸是編碼設定所定義之最大畫格尺寸的1/2L倍以下時，則可增加能夠儲存之再生影像的最大張數，藉由參照影像增加而可提升編碼效率。
又，本發明之一側面所述之動態影像預測解 碼裝置中的記憶體控制手段係在決定畫格記憶體內所能儲存之再生影像的最大張數之際，將表示再生影像在畫格記憶體中之儲存位置的記憶體指標，予以固定。
在此動態影像預測解碼裝置中，係表示各再 生影像之儲存位置的記憶體指標，係例如，可以固定在最大畫格尺寸和其1/2L倍的位置上，因此不需要隨畫格尺寸來做可變的記憶體指標控制，可較簡易地實作有效率之記憶體控制。又，記憶體指標的位置算出之際，也是被限定成例如1/2L倍之變化，因此可藉由移位演算來執行之，演算成本較少。
又，本發明之一側面所述之動態影像預測編 碼方法，係屬於被動態影像預測編碼裝置所執行的動態影像預測編碼方法，其特徵為，具備：輸入步驟，係用以將構成動態影像的複數影像，進行輸入；和編碼步驟，係用以將影像，以畫面內預測或畫面間預測之任一方法來進行編碼，並且生成含有對象影像畫格尺寸、可儲存再生影像之最大張數及作為編碼設定的最大畫格尺寸之相關資訊的壓縮影像資料，連同關於對象影像畫格尺寸、可儲存再生影像之最大張數及最大畫格尺寸之相關資訊的編碼資料一起予以編碼；和解碼步驟，係用以將壓縮影像資料進行解碼，以復原出再生影像；和影像儲存步驟，係用以將再生影像，當作後續影像進行編碼所需使用之參照影像，而藉由影像儲存手段儲存1個以上；和記憶體控制步驟，係用 以在影像儲存步驟中控制影像緩衝記憶體；記憶體控制步驟，係當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2L(L係1以上之整數)以下時，則將畫格記憶體內所能儲存之再生影像的最大張數，決定成2L倍。
又，本發明之一側面所述之動態影像預測編 碼程式，係具備：輸入模組，係用以將構成動態影像的複數影像，進行輸入；和編碼模組，係用以將影像，以畫面內預測或畫面間預測之任一方法來進行編碼，並且生成含有對象影像畫格尺寸、可儲存再生影像之最大張數及作為編碼設定的最大畫格尺寸之相關資訊的壓縮影像資料，連同關於對象影像畫格尺寸、可儲存再生影像之最大張數及最大畫格尺寸之相關資訊的編碼資料一起予以編碼；和解碼模組，係用以將壓縮影像資料進行解碼，以復原出再生影像；和影像儲存模組，係用以將再生影像，當作後續影像進行編碼所需使用之參照影像而儲存1個以上；和記憶體控制模組，係用以在影像儲存模組中控制影像緩衝記憶體；記憶體控制模組，係當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2L(L係1以上之整數)以下時，則將畫格記憶體內所能儲存之再生影像的最大張數，決定成2L倍。
該當動態影像預測編碼方法及動態影像預測 編碼程式，係可發揮與上述動態影像預測編碼裝置同樣的效果。
又，本發明之一側面所述之動態影像預測解 碼方法，係屬於被動態影像預測解碼裝置所執行的動態影像預測解碼方法，其特徵為，具備：輸入步驟，係用以輸入編碼資料，其對構成動態影像之複數影像，藉由畫面內預測或畫面間預測之任一者所被編碼而成，且表示含有對象影像畫格尺寸、可儲存再生影像之最大張數及作為編碼設定的最大畫格尺寸之相關資訊的壓縮影像資料；和解碼步驟，係用以將壓縮影像資料與表示對象影像畫格尺寸、可儲存再生影像之最大張數及最大畫格尺寸之相關資訊的壓縮影像資料，予以解碼，復原成再生影像、和對象影像畫格尺寸、可儲存再生影像之最大張數及最大畫格尺寸之相關資訊；和影像儲存步驟，係用以將再生影像，當作後續影像進行解碼所需使用之參照影像，而藉由影像儲存手段儲存1個以上；和記憶體控制步驟，係用以控制影像儲存手段；記憶體控制步驟，係當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2L(L係1以上之整數)倍以下時，則將畫格記憶體內所能儲存之再生影像的最大張數，決定成2L倍。
又，本發明之一側面所述之動態影像預測解 碼程式，係具備：輸入模組，係用以輸入編碼資料，其對構成動態影像之複數影像，藉由畫面內預測或畫面間預測之任一者所被編碼而成，且表示含有對象影像畫格尺寸、可儲存再生影像之最大張數及作為編碼設定的最大畫格尺寸之相關資訊的壓縮影像資料；和解碼模組，係用以將壓縮影像資料與表示對象影像畫格尺寸、可儲存再生影像之 最大張數及最大畫格尺寸之相關資訊的壓縮影像資料，予以解碼，復原成再生影像、和對象影像畫格尺寸、可儲存再生影像之最大張數及最大畫格尺寸之相關資訊；和影像儲存模組，係用以將再生影像，當作後續影像進行解碼所需使用之參照影像而儲存1個以上；和記憶體控制模組，係用以控制影像儲存模組；記憶體控制模組，係當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2L(L係1以上之整數)倍以下時，則將畫格記憶體內所能儲存之再生影像的最大張數，決定成2L倍。
該當動態影像預測解碼方法及動態影像預測 解碼程式，係可發揮與上述動態影像預測解碼裝置同樣的效果。
若依據本發明所述之動態影像預測編碼．解碼裝置、方法及程式，則會隨著再生影像之畫格尺寸，來決定影像緩衝記憶體中所能儲存之再生影像的最大張數，藉此而可有效利用影像緩衝記憶體，能夠更加提升編碼效率。
12‧‧‧讀取裝置
14‧‧‧作業用記憶體
16‧‧‧記憶體
18‧‧‧顯示器
20‧‧‧滑鼠
22‧‧‧鍵盤
24‧‧‧通訊裝置
26‧‧‧CPU
30‧‧‧電腦
301‧‧‧輸入端子
302‧‧‧區塊分割器
303‧‧‧預測訊號生成器
304‧‧‧畫格記憶體
305‧‧‧減算器
306‧‧‧轉換器
307‧‧‧量化器
308‧‧‧逆量化器
309‧‧‧逆轉換器
310‧‧‧加算器
311‧‧‧熵編碼器
312‧‧‧輸出端子
313‧‧‧輸入端子
314‧‧‧畫格記憶體管理器
401‧‧‧輸入端子
402‧‧‧資料解析器
403‧‧‧逆量化器
404‧‧‧逆轉換器
405‧‧‧加算器
406‧‧‧輸出端子
407‧‧‧畫格記憶體
408‧‧‧預測訊號生成器
409‧‧‧畫格記憶體管理器
[圖1]影像緩衝記憶體與儲存影像張數、可變記憶體指標位置的圖示。
[圖2]影像緩衝記憶體中，固定記憶體指標之課題的圖示。
[圖3]本發明之實施形態所述之動態影像預測編碼裝置的區塊圖。
[圖4]本發明之實施形態所述之動態影像預測解碼裝置的區塊圖。
[圖5]本發明的實施形態的第1動態影像預測編碼．解碼方法的流程圖。
[圖6]本發明的實施形態的第1動態影像預測編碼．解碼方法之處理的說明用模式圖。
[圖7]將記錄媒體中所記錄之程式加以執行所需之電腦的硬體構成之圖示。
[圖8]將記錄媒體中所記憶之程式加以執行所需之電腦的斜視圖。
以下，針對本發明的實施形態，使用圖3至圖8來說明。
圖3係本發明之實施形態所述之動態影像預測編碼裝置的區塊圖。301係為輸入端子，302係為區塊分割器，303係為預測訊號生成器，304係為畫格記憶體，305係為減算器，306係為轉換器，307係為量化器，308係為逆量化器，309係為逆轉換器，310係為加算器，311係為熵編碼器，312係為輸出端子，314係為 畫格記憶體管理器(或亦稱作緩衝區管理器)。輸入端子301係對應於輸入手段。預測訊號生成器303、減算器305、轉換器306、量化器307、熵編碼器311係對應於編碼手段。逆量化器308、逆轉換器309及加算器310係對應於解碼手段。畫格記憶體304係對應於影像儲存手段。畫格記憶體管理器314係對應於記憶體控制手段。
關於如以上所構成的動態影像預測編碼裝置，以下說明其動作。由複數張影像所成之動態影像的訊號，係被輸入至輸入端子301。編碼對象之影像，係於區塊分割器302中，被分割成複數領域。在本發明的實施形態中，雖然是被分割成8x8像素所成的區塊，但亦可分割成其以外之區塊大小或形狀。接著，對於編碼處理對象之領域(以下稱作對象區塊)，生成預測訊號。在本發明所述之實施形態中，係使用2種預測方法。亦即，係為畫面間預測和畫面內預測。
在畫面間預測時，係將過去曾被編碼之後又被復原的再生影像當作參照影像，從該參照影像，求出能夠對於對象區塊給予最小誤差之預測訊號的運動資訊。該處理係被稱作運動偵測。又，因應情況，亦可將對象區塊作再分割，對已被再分割之小領域，決定畫面間預測方法。此情況下，從各種分割方法之中，決定出對對象區塊全體為效率最佳的分割方法及各自的運動資訊。在本發明所述的實施形態中，是於預測訊號生成器303中進行之，對象區塊係經由線L302，參照影像係經由L304而輸入。 作為參照影像，係將過去曾被編碼而被復原過的複數影像，當作參照影像而使用。細節是和先前技術的MPEG-2、4、H.264之任一方法相同。如此所被決定的運動資訊及小領域之分割方法，係經由線L312而被送往熵編碼器311而被編碼後，從輸出端子312送出。又，在複數參照影像之中，關於預測訊號是從哪個參照影像所取得的資訊(參照索引)，也是經由線L312而被送往熵編碼器311。此外，在本發明所述之實施形態中，係將M張(M係1個以上之整數)的再生影像儲存在畫格記憶體304中，當作參照影像來使用。在預測訊號生成器303中，根據小領域之分割方法及各個小領域所對應之參照影像與運動資訊，而從畫格記憶體304中取得參照影像訊號，生成預測訊號。如此所被生成的畫面間預測訊號，係經由線L303而被送至減算器305。
在畫面內預測時，在對象區塊中使用空間上 相鄰的已再生之像素值，來生成畫面內預測訊號。具體而言，在預測訊號生成器303中，係從畫格記憶體304取得位在相同畫面內的已再生之像素訊號，將這些訊號進行外插以生成畫面內預測訊號。關於外插之方法的資訊，係經由線L312而被送往熵編碼器311而被編碼後，從輸出端子312送出。如此所被生成的畫面內預測訊號，係被送至減算器305。預測訊號生成器303中的畫面內之預測訊號生成方法，係和先前技術的H.264的方法相同。對於如上述所求出的畫面間預測訊號和畫面內預測訊號，選擇出誤 差最小者，送往減算器305。
關於第一張影像，由於沒有比其還前面的影 像，因此全部的對象區塊係用畫面內預測而處理之。
在減算器305中，從對象區塊的訊號(經由 線L302)中扣除預測訊號(經由線L303)，生成殘差訊號。該殘差訊號係於轉換器306中進行離散餘弦轉換，其各係數係於量化器307中被量化。最後於熵編碼器311中將已被量化之轉換係數加以編碼，連同關於預測方法之資訊一起被輸出端子312送出。
為了進行後續的對於對象區塊的畫面內預測 或是畫面間預測，壓縮過的對象區塊的訊號，係被逆處理而復原。亦即，已被量化之轉換係數，係於逆量化器308中被逆量化之後，於逆轉換器309中被進行逆離散餘弦轉換，將殘差訊號予以復原。於加算器310中，將已被復原的殘差訊號與從線L303所送來的預測訊號進行加算，再生出對象區塊的訊號，儲存至畫格記憶體304。在本實施形態中雖然是使用轉換器306與逆轉換器309，但亦可不使用這些轉換器而改用其他的轉換處理。亦可因應情況，而沒有轉換器306和逆轉換器309。
畫格記憶體304係為有限，要儲存所有的再 生影像是不可能的。只有後述的影像編碼所用的再生影像，會被儲存在畫格記憶體304中。控制該畫格記憶體304的係為畫格記憶體管理器314。畫格記憶體管理器314係進行控制，從畫格記憶體304中所存在的M張(此 處M係為整數)的再生影像之中，刪除最舊的再生影像，而可儲存被當成參照影像所使用的最近之再生影像。 由輸入端子313輸入各影像的畫格尺寸及被編碼設定(設定檔、等級)所定義之最大畫格尺寸，基於該資訊而決定畫格記憶體內所能儲存之再生影像的最大張數，畫格記憶體管理器314會以不超過最大張數的方式進行儲存而動作。同時，各影像的畫格尺寸及藉由編碼設定而被定義之最大畫格尺寸、畫格記憶體內所能儲存之再生影像的最大張數的資訊，係經由線L314而被送往熵編碼器311，被編碼後連同已被壓縮之影像資料一起被輸出。畫格尺寸及藉由編碼設定而被定義之最大畫格尺寸、畫格記憶體內所能儲存之再生影像的最大張數，係附隨於各影像，可為直接表示影像之畫格尺寸，或是將畫格尺寸以指數或冪乘的形式來表現者。又，若以設定檔及等級資訊而事先設定了最大畫格尺寸時，則亦可利用這些資訊來輸入最大畫格尺寸。在本實施形態中係假設，畫格尺寸之值係被直接轉換成二值編碼，最大畫格尺寸係以等級資訊而被定義。至於畫格記憶體管理器314的控制方法，將於後述。
接著說明動態影像預測解碼方法。圖4係本 發明之實施形態所述之影像預測解碼裝置的區塊圖。401係為輸入端子，402係為資料解析器，403係為逆量化器，404係為逆轉換器，405係為加算器，408係為預測訊號生成器，407係為畫格記憶體，406係為輸出端子，409係為畫格記憶體管理器。輸入端子401係對應於輸入 手段。逆量化器403與逆轉換器404係對應於解碼手段。 亦可利用其他來作為解碼手段。畫格記憶體407係對應於影像儲存手段。畫格記憶體管理器409係對應於記憶體控制手段。又亦可沒有逆轉換器404。
關於如以上所構成的動態影像預測解碼裝 置，以下說明其動作。已經被上述方法所壓縮編碼過的壓縮資料，係從輸入端子401輸入。該壓縮資料中係含有，將影像分割成複數區塊而成的對象區塊進行了預測編碼而成的殘差訊號及預測訊號之生成等的關連之資訊。作為預測訊號之生成的關連資訊，係若為畫面間預測時則是包含有關於區塊分割之資訊(區塊的尺寸)、及運動資訊和上述的參照索引，若為畫面內預測時則是包含有關於從周邊之已再生之像素進行之外插方法的資訊。
藉由資料解析器402，從壓縮資料抽出對象區 塊的殘差訊號、預測訊號之生成的關連資訊、量化參數、影像之畫格尺寸及藉由編碼設定而被定義之最大畫格尺寸、畫格記憶體內所能儲存之再生影像的最大張數。對象區塊的殘差訊號係在逆量化器403中根據量化參數(經由線L402)而被逆量化。其結果係於逆轉換器404中進行逆離散餘弦轉換。
接著，經由線L406b，預測訊號之生成的關連 資訊係被送往預測訊號生成器408。在預測訊號生成器408中，係根據預測訊號之生成的關連資訊，向畫格記憶體407進行存取，從複數參照影像之中取得參照訊號以生 成預測訊號。此預測訊號係經由線L408而被送往加算器405，被加算至已被復原的殘差訊號，再生出對象區塊訊號，經由線L405而輸出的同時，被儲存至畫格記憶體407中。
在畫格記憶體407中係儲存有，後續之影像 的解碼、再生時所使用的再生影像。畫格記憶體管理器409係控制著畫格記憶體407。畫格記憶體407係被控制成，從所儲存的M張(此處M係為整數)的再生影像之中，刪除最舊的再生影像，並可儲存被當成參照影像所使用的最近之再生影像。畫格記憶體管理器409係基於經由線L406a而被送來的對象影像之畫格尺寸及藉由編碼設定而被定義之最大畫格尺寸、畫格記憶體內所能儲存之再生影像的最大張數之資訊而動作。至於畫格記憶體管理器409的控制方法，將於後述。
接著使用圖5和圖6，說明動態影像預測編碼 方法及動態影像預測解碼方法的動作。圖5係本發明的實施形態的動態影像預測編碼．解碼方法的流程圖。說明該圖中所使用的變數之意義。pic_width係為再生影像之橫寬的亮度像素數，pic_height係為再生影像之縱寬的亮度像素數，MaxLumaFS係為藉由等級資訊而被定義的最大影像尺寸，MFSBuffer係以作為等級資訊而被定義的解碼影像緩衝區(DPB)中所能儲存之再生影像的最大張數所表現的記憶體緩衝區量，maxDPBsize係以解碼影像緩衝區(DPB)中所能儲存之再生影像的最大張數所表現的記 憶體緩衝區量，max_dec_ pic_buffering係解碼時所被利用之再生影像的最大儲存數(記憶體緩衝區量)，DPBpointer係將解碼影像緩衝區中表示再生影像儲存位置的指標予以表示的變數。
於圖5中，再生影像之橫寬的像素數 pic_width及再生影像之縱寬的像素數pic_height及以編碼設定而被定義之最大畫格尺寸MaxLumaFS及以解碼影像緩衝區(DPB)中所能儲存之再生影像的最大張數所表現的記憶體緩衝區量MFSBuffer，會被輸入。接著會進行所被輸入之再生影像之橫寬的像素數pic_width與再生影像之縱寬的像素數pic_height的積算值、和以編碼設定而被定義之最大影像尺寸MaxLumaFS之一半的值(MaxLumaFS/2)之比較(步驟S502)。此處，若不滿足條件(pic_width與pic_height的積算值是大於MaxLumaFS/2之值的情況)，則設定成maxDPBsize=MFSBuffer(步驟S503)。又若滿足條件(pic_width與pic_height的積算值是MaxLumaFS/2之值以下的情況)，則設定成maxDPBsize=2*MFSBuffer(步驟S504)。
(數式)
maxDPBsize=2*MFSBuffer(pic_width*pic_height≦(MaxLumaFS>>1)之時)
maxDPBsize=MFSBuffer(上述以外的情形)
此外，上記數式中的“>>”係表示右移位演算，是與MaxLumaFS/2的意思相同。
然後會設定成，解碼時所利用之以再生影像 的最大儲存數所表現的記憶體緩衝區量max_dec_pic_buffering會是maxDPBsize以下。
(數式)
max_dec_pic_buffering≦maxDPBsize
又，若maxDPBsize=MFSBuffer則如圖6(a)所示般地在影像記憶體緩衝區之開頭設定DPBpointer=1，DPBpointer=2,3,4係被設定成從DPBpointer=1之位置起前進了最大畫格尺寸的2倍、3倍、4倍份的記憶體指標之位置而得到的位置。
又，若maxDPBsize=2*MFSBuffer則如圖6(b)所示，除了已經設定的DPBpointer1~4外，還被設定成從DPBpointer=1之位置起前進了最大畫格尺寸份的1/2倍、3/2倍、5/2倍、7/2倍份的記憶體指標之位置而得到的位置。(步驟S505)。
已被設定之max_dec_pic_buffering及DPBpointer係被利用於後述的步驟S508的畫格記憶體之控制。亦即解碼時，再生影像係會在畫格記憶體中儲存最多到max_dec_pic_buffering張為止，在儲存時係基於所被設定之DPBpointer來控制儲存。在編碼方法中，含有再生影像之橫寬的亮度像素數pic_width、再生影像之縱寬的亮度像素數pic_height的相關資訊、最大影像尺寸MaxLumaFS、以解碼影像緩衝區(DPB)中所能儲存之再生影像的最大張數所表現的記憶體緩衝區量MFSBuffer的 等級資訊，係從外部而被給予。在圖3中係經由輸入端子313，而從未圖示之控制裝置來給予。
另一方面，步驟S506中係以圖3所說明之方 法，來將處理對象之影像進行編碼後再予以解碼。已編碼之影像的資料，係被送出至外部，或是被積存。在步驟S507中，係判斷對象影像是否在後續的處理中被當作參照影像來使用。該判斷係隨著影像之編碼類型(畫面內預測編碼、畫面間預測編碼、雙向預測編碼)而決定。未被當作參照影像來使用時則前進至步驟S510。被當作參照影像來使用時則前進至步驟S508，DPBpointer係被控制在圖6所記載之位置上，將步驟S509中所被解碼、再生之影像予以儲存至畫格記憶體後，前進至步驟S511。步驟S511中，若有下個影像則前進至S506，若無下個影像則結束處理。如此執行編碼處理直到最後的影像為止。
上述之處理，係該當於圖3的動態影像編碼 方法全體之處理，但尤其是步驟S502、S503、S504、S505與S508係在畫格記憶體管理器314內被進行。
此外，圖5雖然以動態影像的編碼方法來說 明，但亦可適用於動態影像解碼方法之處理。在進行解碼處理時，在步驟S501中係輸入已被壓縮編碼之影像的資料(位元串流)。從該當資料抽出再生影像之橫寬的像素數pic_width及再生影像之縱寬的像素數pic_height及以編碼設定而被定義之最大畫格尺寸MaxLumaFS及以解碼影像緩衝區(DPB)中所能儲存之再生影像的最大張數所 表現的記憶體緩衝區量MFSBuffer、解碼時所被利用之再生影像的最大儲存數(記憶體緩衝區量)max_dec_pic_buffering，以和上述相同之方法，進行步驟S502~S505、S508之控制。此外，在解碼側中，會確認步驟S505中所被復原之max_dec_pic_buffering，是否為maxDPBsize以下。在步驟S506中，將對象影像的已被壓縮之資料予以解碼，進行復原影像的處理。步驟S507以後的處理係和上述相同。此處理係該當於圖4的動態影像解碼裝置之處理，但尤其是步驟S502、S503、S504、S505與S508係在動態影像解碼裝置的畫格記憶體管理器409內被進行。
圖6係本發明的實施形態的動態影像預測編 碼.解碼方法中的畫格記憶體的記憶體指標之位置的說明用模式圖。由圖6(a)與(b)的比較可知，記憶體指標號碼1至4的位置，係被固定。又，當步驟S503中滿足條件時，則被控制成新的記憶體指標5至8。亦即，記憶體指標的位置係不會隨著步驟S503之判定而會被固定。
(記憶體指標之位置)
此外，本實施形態的記憶體指標號碼1至4與5至8雖然是交互設定，但亦可將記憶體指標號碼以從1至8之順序來指派。
(記憶體分割數)
此外，在本實施形態中雖然進行再生影像之橫寬的像素數pic_width及再生影像之縱寬的像素數pic_height與以編碼設定而被定義之最大畫格尺寸MaxLumaFS之一半的值(MaxLumaFS/2)的比較，但亦可進行再生影像之橫寬的像素數pic_width及再生影像之縱寬的像素數pic_height與以編碼設定而被定義之最大畫格尺寸MaxLumaFS/2L(L係為2以上之整數)的比較。此時，表示再生影像之儲存位置的記憶體指標之位置，係如圖6所示，是將已經配置的指標固定不變而在MaxLumaFS的1/2L之位置上配置記憶體指標即可。
(畫格尺寸之定義)
此外，在本實施形態中，雖然是以再生影像之橫寬的像素數pic_width及再生影像之縱寬的像素數pic_height來表現畫格尺寸，但亦可利用事前積算而成的表示畫格尺寸的值。又，亦可用其他方法來算出畫格尺寸。
此外，在本實施形態中，最大影像尺寸 MaxLumaFS、以解碼影像緩衝區(DPB)中所能儲存的大小為MaxLumaFS的再生影像的最大張數所表現的記憶體緩衝區量MFSBuffer，係以等級資訊的方式而被定義，但並不限定於只能以等級資訊的方式而被發送。亦可加入等級資訊以外的其他資訊。
此外，在本實施形態中，雖然FSBuffer及 maxDPBsize係以所能儲存之再生影像的最大張數來表 現，但亦可用實際的記憶體量的方式來表現。此時，再生影像的張數，係只要藉由將記憶體量除以畫格尺寸而予以算出即可。
尤其是，基於影像之畫格尺寸和以編碼條件而被定義之最大畫格尺寸的關係，來決定影像緩衝記憶體中所能儲存之再生影像的最大張數，藉此，在實際的畫格尺寸是小於最大畫格尺寸的情況下，具有確保可減輕畫格記憶體浪費、可更為提升編碼效率的參照影像用記憶體領域之效果。
令電腦成為上述的動態影像預測編碼裝置及 動態影像預測解碼裝置而發揮機能所需的動態影像預測編碼程式及動態影像預測解碼程式，係可儲存在記錄媒體中作為程式而提供。作為記錄媒體則例如有，Floppy(註冊商標)碟片、CD-ROM、DVD、或ROM等記錄媒體，或是半導體記憶體等。
具體而言，該動態影像預測編碼程式係為， 一種動態影像預測編碼程式係具備：輸入模組，係用以將構成動態影像的複數影像，進行輸入；和編碼模組，係用以將影像，以畫面內預測或畫面間預測之任一方法來進行編碼，並且生成含有對象影像畫格尺寸、可儲存再生影像之最大張數及作為編碼設定的最大畫格尺寸之相關資訊的壓縮影像資料，連同關於對象影像畫格尺寸、可儲存再生影像之最大張數及最大畫格尺寸之相關資訊的編碼資料一起予以編碼；和解碼模組，係用以將壓縮影像資料進行解 碼，以復原出再生影像；和影像儲存模組，係用以將再生影像，當作後續影像進行編碼所需使用之參照影像而儲存1個以上；和記憶體控制模組，係用以在影像儲存模組中控制影像緩衝記憶體；記憶體控制模組，係當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2L(L係1以上之整數)以下時，則將畫格記憶體內所能儲存之再生影像的最大張數，決定成2L倍。
同樣地，該動態影像預測解碼程式係為，一 種動態影像預測解碼程式係具備：輸入模組，係用以輸入編碼資料，其對構成動態影像之複數影像，藉由畫面內預測或畫面間預測之任一者所被編碼而成，且表示含有對象影像畫格尺寸、可儲存再生影像之最大張數及作為編碼設定的最大畫格尺寸之相關資訊的壓縮影像資料；和解碼模組，係用以將壓縮影像資料與表示對象影像畫格尺寸、可儲存再生影像之最大張數及最大畫格尺寸之相關資訊的壓縮影像資料，予以解碼，復原成再生影像、和對象影像畫格尺寸、可儲存再生影像之最大張數及最大畫格尺寸之相關資訊；和影像儲存模組，係用以將再生影像，當作後續影像進行解碼所需使用之參照影像而儲存1個以上；和記憶體控制模組，係用以控制影像儲存模組；記憶體控制模組，係當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2L(L係1以上之整數)倍以下時，則將畫格記憶體內所能儲存之再生影像的最大張數，決定成2L倍。
圖7係將記錄媒體中所記錄之程式加以執行 所需之電腦的硬體構成之圖示，圖8係將記錄媒體中所記憶之程式加以執行所需之電腦的斜視圖。作為電腦，亦包含具備CPU而可進行軟體所致之處理及控制的DVD播放器、機上盒、行動電話等。
如圖7所示，電腦30，係具備：軟碟驅動裝 置(Floppy為註冊商標)、CD-ROM驅動裝置、DVD驅動裝置等讀取裝置12、讓作業系統常駐的作業用記憶體(RAM)14、用來記憶記錄媒體10中所記憶之程式的記憶體16、顯示器這類顯示裝置18、屬於輸入裝置的滑鼠20及鍵盤22、進行資料收送用的通訊裝置24、控制著程式之執行的CPU26。電腦30，係一旦把記錄媒體10插入至讀取裝置12，則從讀取裝置12就可向記錄媒體10中所儲存的動態影像預測編碼．解碼程式進行存取，藉由該當動態影像預測編碼．解碼程式，就可成為本發明所述之動態影像編碼．解碼裝置而動作。
如圖8所示，動態影像預測編碼程式或是動 態影像解碼程式，係可以被重疊於載波之電腦資料40的方式，透過網路而提供。此時，電腦30，係將通訊裝置24所接收到的動態影像預測編碼程式或動態影像解碼程式，記憶在記憶體16，就可執行該當動態影像預測編碼程式或動態影像預測解碼程式。
301‧‧‧輸入端子
302‧‧‧區塊分割器
303‧‧‧預測訊號生成器
304‧‧‧畫格記憶體
305‧‧‧減算器
306‧‧‧轉換器
307‧‧‧量化器
308‧‧‧逆量化器
309‧‧‧逆轉換器
310‧‧‧加算器
311‧‧‧熵編碼器
312‧‧‧輸出端子
313‧‧‧輸入端子
314‧‧‧畫格記憶體管理器
L301~L314‧‧‧訊號線

Claims (16)

  1. 一種動態影像預測解碼方法，係屬於被動態影像預測解碼裝置所執行的動態影像預測解碼方法，其特徵為，具備：輸入步驟，係用以輸入編碼資料，其對構成動態影像之複數影像，藉由畫面內預測或畫面間預測之任一者所被編碼而成，且表示含有對象影像畫格尺寸、可儲存再生影像之最大張數及作為編碼設定的最大畫格尺寸之相關資訊的壓縮影像資料；和解碼步驟，係用以將前記壓縮影像資料與表示前記對象影像畫格尺寸、可儲存再生影像之最大張數及前記最大畫格尺寸之相關資訊的壓縮影像資料，予以解碼，復原成再生影像、和前記對象影像畫格尺寸、可儲存再生影像之最大張數及前記最大畫格尺寸之相關資訊；和影像儲存步驟，係用以將前記再生影像，當作後續影像進行解碼所需使用之參照影像，而藉由影像儲存手段儲存1個以上；當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2倍以下時，則將畫格記憶體內所能儲存之再生影像的最大張數，決定成2倍。
  2. 如請求項1所記載之動態影像預測解碼方法，其中，當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸 而為1/4倍以下時，則將畫格記憶體內所能儲存之再生影像的最大張數，決定成4倍。
  3. 如請求項1所記載之動態影像預測解碼方法，其中，當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2L(L係1以上之整數)倍以下時，則於前記解碼步驟中，將畫格記憶體內所能儲存之再生影像的最大張數，設成所定張數的2L倍。
  4. 如請求項1所記載之動態影像預測解碼方法，其中，當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2倍以下時，則於前記解碼步驟中，將畫格記憶體內所能儲存之再生影像的最大張數設成2倍；當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為大於1/2倍時，則於前記解碼步驟中，不改變畫格記憶體內所能儲存之再生影像的最大張數。
  5. 如請求項1所記載之動態影像預測解碼方法，其中，在決定畫格記憶體內所能儲存之再生影像的最大張數之際，將表示再生影像在記憶體內之儲存位置的記憶體指標，予以固定。
  6. 一種動態影像預測解碼裝置，其特徵為，具備：輸入手段，係用以輸入編碼資料，其對構成動態影像 之複數影像，藉由畫面內預測或畫面間預測之任一者所被編碼而成，且表示含有對象影像畫格尺寸、可儲存再生影像之最大張數及作為編碼設定的最大畫格尺寸之相關資訊的壓縮影像資料；和解碼手段，係用以將前記壓縮影像資料與表示前記對象影像畫格尺寸、可儲存再生影像之最大張數及前記最大畫格尺寸之相關資訊的壓縮影像資料，予以解碼，復原成再生影像、和前記對象影像畫格尺寸、可儲存再生影像之最大張數及前記最大畫格尺寸之相關資訊；和影像儲存手段，係用以將前記再生影像，當作後續影像進行解碼所需使用之參照影像而儲存1個以上；當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2倍以下時，則將畫格記憶體內所能儲存之再生影像的最大張數，決定成2倍。
  7. 如請求項6所記載之動態影像預測解碼裝置，其中，當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/4倍以下時，則將畫格記憶體內所能儲存之再生影像的最大張數，決定成4倍。
  8. 如請求項6所記載之動態影像預測解碼裝置，其中，當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2L(L係1以上之整數)倍以下時，則在前記解碼手段所進行的解碼之際，將畫格記憶體內所能儲存之再生 影像的最大張數，設成所定張數的2L倍。
  9. 如請求項6所記載之動態影像預測解碼裝置，其中，當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2倍以下時，則在前記解碼手段所進行的解碼之際，將畫格記憶體內所能儲存之再生影像的最大張數設成2倍；當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為大於1/2倍時，則在前記解碼手段所進行的解碼之際，不改變畫格記憶體內所能儲存之再生影像的最大張數。
  10. 如請求項6所記載之動態影像預測解碼裝置，其中，在決定畫格記憶體內所能儲存之再生影像的最大張數之際，將表示再生影像在記憶體內之儲存位置的記憶體指標，予以固定。
  11. 一種動態影像預測編碼方法，係屬於被動態影像預測編碼裝置所執行的動態影像預測編碼方法，其特徵為，具備：輸入步驟，係用以將構成動態影像的複數影像，進行輸入；和編碼步驟，係用以將前記影像，以畫面內預測或畫面間預測之任一方法來進行編碼，並且生成含有對象影像畫 格尺寸、可儲存再生影像之最大張數及作為編碼設定的最大畫格尺寸之相關資訊的壓縮影像資料，連同關於前記對象影像畫格尺寸、可儲存再生影像之最大張數及前記最大畫格尺寸之相關資訊的編碼資料一起予以編碼；和解碼步驟，係用以將前記壓縮影像資料進行解碼，以復原出再生影像；和影像儲存步驟，係用以將前記再生影像，當作後續影像進行編碼所需使用之參照影像，而藉由影像儲存手段儲存1個以上；當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2倍以下時，則將畫格記憶體內所能儲存之再生影像的最大張數，決定成2倍。
  12. 如請求項11所記載之動態影像預測編碼方法，其中，當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2L(L係1以上之整數)倍以下時，則於前記解碼步驟中，將畫格記憶體內所能儲存之再生影像的最大張數，設成所定張數的2L倍。
  13. 如請求項11所記載之動態影像預測編碼方法，其中，當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2倍以下時，則於前記解碼步驟中，將畫格記憶體內所能儲存之再生影像的最大張數設成2倍；當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸 而為大於1/2倍時，則於前記解碼步驟中，不改變畫格記憶體內所能儲存之再生影像的最大張數。
  14. 一種動態影像預測編碼裝置，其特徵為，具備：輸入手段，係用以將構成動態影像的複數影像，進行輸入；和編碼手段，係用以將前記影像，以畫面內預測或畫面間預測之任一方法來進行編碼，並且生成含有對象影像畫格尺寸、可儲存再生影像之最大張數及作為編碼設定的最大畫格尺寸之相關資訊的壓縮影像資料，連同關於前記對象影像畫格尺寸、可儲存再生影像之最大張數及前記最大畫格尺寸之相關資訊的編碼資料一起予以編碼；和解碼手段，係用以將前記壓縮影像資料進行解碼，以復原出再生影像；和影像儲存手段，係用以將前記再生影像，當作後續影像進行編碼所需使用之參照影像而儲存1個以上；當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2倍以下時，則將畫格記憶體內所能儲存之再生影像的最大張數，決定成2倍。
  15. 如請求項14所記載之動態影像預測編碼裝置，其中，當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2L(L係1以上之整數)倍以下時，則在前記解碼手段所進行的解碼之際，將畫格記憶體內所能儲存之再生 影像的最大張數，設成所定張數的2L倍。
  16. 如請求項14所記載之動態影像預測編碼裝置，其中，當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為1/2倍以下時，則在前記解碼手段所進行的解碼之際，將畫格記憶體內所能儲存之再生影像的最大張數設成2倍；當輸入影像的畫格尺寸是相對於影像的最大畫格尺寸而為大於1/2倍時，則在前記解碼手段所進行的解碼之際，不改變畫格記憶體內所能儲存之再生影像的最大張數。
TW102116526A 2012-07-02 2013-05-09 Dynamic image predictive coding device, dynamic image predictive coding method, dynamic image predictive coding program, dynamic image prediction decoding device, dynamic image prediction decoding method and dynamic image prediction decoding program TWI517673B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012148310A JP5972687B2 (ja) 2012-07-02 2012-07-02 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム

Publications (2)

Publication Number Publication Date
TW201404167A TW201404167A (zh) 2014-01-16
TWI517673B true TWI517673B (zh) 2016-01-11

Family

ID=49881724

Family Applications (3)

Application Number Title Priority Date Filing Date
TW102116526A TWI517673B (zh) 2012-07-02 2013-05-09 Dynamic image predictive coding device, dynamic image predictive coding method, dynamic image predictive coding program, dynamic image prediction decoding device, dynamic image prediction decoding method and dynamic image prediction decoding program
TW105120992A TWI602423B (zh) 2012-07-02 2013-05-09 Moving picture predictive decoding method, and dynamic picture predictive decoding apparatus
TW104134677A TWI551120B (zh) 2012-07-02 2013-05-09 A motion picture prediction decoding method, and a motion picture prediction decoding apparatus

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW105120992A TWI602423B (zh) 2012-07-02 2013-05-09 Moving picture predictive decoding method, and dynamic picture predictive decoding apparatus
TW104134677A TWI551120B (zh) 2012-07-02 2013-05-09 A motion picture prediction decoding method, and a motion picture prediction decoding apparatus

Country Status (15)

Country Link
US (3) US9942562B2 (zh)
EP (3) EP4325847A1 (zh)
JP (1) JP5972687B2 (zh)
KR (3) KR20160088951A (zh)
CN (3) CN107181945B (zh)
AU (7) AU2013284789B2 (zh)
BR (1) BR112014031469B1 (zh)
CA (6) CA3124545C (zh)
MX (2) MX371010B (zh)
MY (2) MY184674A (zh)
PH (1) PH12014502851B1 (zh)
RU (5) RU2602980C2 (zh)
SG (1) SG11201408757YA (zh)
TW (3) TWI517673B (zh)
WO (1) WO2014006959A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9883194B2 (en) 2015-06-15 2018-01-30 Microsoft Technology Licensing, Llc Multiple bit rate video decoding
US9832476B2 (en) 2015-06-15 2017-11-28 Microsoft Technology Licensing, Llc Multiple bit rate video decoding
CN111464810A (zh) * 2020-04-09 2020-07-28 上海眼控科技股份有限公司 视频预测方法、装置、计算机设备和计算机可读存储介质

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5603012A (en) * 1992-06-30 1997-02-11 Discovision Associates Start code detector
CN1059771C (zh) * 1995-01-12 2000-12-20 华邦电子股份有限公司 数字图像解码装置及方法
JP3776735B2 (ja) * 1997-04-09 2006-05-17 松下電器産業株式会社 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体
JP2000175199A (ja) * 1998-12-04 2000-06-23 Sony Corp 画像処理装置及び方法、並びに提供媒体
US6836273B1 (en) * 1999-11-11 2004-12-28 Matsushita Electric Industrial Co., Ltd. Memory management method, image coding method, image decoding method, image display method, memory management apparatus, and memory management program storage medium
JP2001223987A (ja) * 1999-11-11 2001-08-17 Matsushita Electric Ind Co Ltd メモリ管理方法、画像符号化方法、画像復号化方法、画像表示方法、メモリ管理装置、メモリ管理プログラム記録媒体
JP2002218472A (ja) * 2001-01-23 2002-08-02 Victor Co Of Japan Ltd 可変画像レート復号化装置及び可変画像レート復号化方法
JP2002252852A (ja) * 2001-02-23 2002-09-06 Nec Microsystems Ltd 符号供給装置および半導体集積回路
KR100945546B1 (ko) * 2002-01-14 2010-03-08 노키아 코포레이션 동적 필터 부호화
JP4003945B2 (ja) 2002-08-26 2007-11-07 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記憶媒体
MY134659A (en) * 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
JP2004274734A (ja) * 2003-02-19 2004-09-30 Matsushita Electric Ind Co Ltd 画像復号化装置、画像符号化装置及びその方法
WO2004079916A2 (en) * 2003-03-03 2004-09-16 Mobilygen Corporation Array arrangement for memory words and combination of video prediction data for an effective memory access
US6940909B2 (en) * 2003-07-29 2005-09-06 Lsi Logic Corporation Video decoding during I-frame decode at resolution change
JP2005234687A (ja) * 2004-02-17 2005-09-02 Sony Corp メモリ管理方法、画像処理装置およびメモリ管理プログラム
KR100621137B1 (ko) * 2004-02-27 2006-09-13 세이코 엡슨 가부시키가이샤 동화상 부호화 장치 및 동화상 처리장치
JP4442392B2 (ja) * 2004-11-05 2010-03-31 カシオ計算機株式会社 画像処理装置及び画像処理方法
KR20080000579A (ko) * 2005-03-07 2008-01-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 스트림 데이터의 버퍼링
CN100356405C (zh) * 2005-03-28 2007-12-19 北京中星微电子有限公司 一种改变数字图像尺寸的方法及装置
US20070153093A1 (en) * 2005-12-30 2007-07-05 Mediatek Incorporation Apparatus and method for image capturing with an image scaling unit to scale a portion of an image
CN100493193C (zh) * 2006-12-08 2009-05-27 北京中星微电子有限公司 对实时数码视频影流进行缓存控制的方法和装置
US20080285652A1 (en) * 2007-05-14 2008-11-20 Horizon Semiconductors Ltd. Apparatus and methods for optimization of image and motion picture memory access
JP4609457B2 (ja) * 2007-06-14 2011-01-12 ソニー株式会社 画像処理装置、及び、画像処理方法
CN102106149A (zh) * 2008-08-08 2011-06-22 夏普株式会社 动态图像编码装置以及动态图像解码装置
CN101389033B (zh) * 2008-10-30 2011-09-28 四川长虹电器股份有限公司 帧场自适应解码模式下解码器缓存控制方法
TWI383688B (zh) * 2009-03-11 2013-01-21 Quanta Comp Inc 視訊壓縮電路與其方法
TW201130311A (en) * 2009-06-10 2011-09-01 Panasonic Corp Image encoding method, image decoding method, and devices therefor
JP5120366B2 (ja) * 2009-11-30 2013-01-16 ブラザー工業株式会社 画像処理装置及び画像処理プログラム
JP2011166592A (ja) * 2010-02-12 2011-08-25 Mitsubishi Electric Corp 画像符号化装置及び画像復号装置
US8233534B2 (en) * 2010-04-09 2012-07-31 Newport Media, Inc. Frame buffer compression and memory allocation in a video decoder
FI3661210T3 (fi) * 2010-07-20 2023-08-31 Ntt Docomo Inc Kuvanennustusdekoodausmenetelmä
SI3125553T1 (en) * 2010-08-17 2018-07-31 M&K Holdings Inc. Procedure for coding the internal predictive mode
JP5478740B2 (ja) * 2011-01-12 2014-04-23 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
EP2871838B1 (en) * 2012-07-09 2019-03-06 Sun Patent Trust Image encoding method, image encoding device
US10230970B2 (en) * 2012-07-10 2019-03-12 Cisco Technology, Inc. Decoded picture buffer size management
US9602817B2 (en) * 2012-07-12 2017-03-21 Cisco Technology, Inc. Management of decoded picture buffer at picture format transitions

Also Published As

Publication number Publication date
AU2020201376B2 (en) 2021-06-10
MX2014010046A (es) 2015-04-08
CA3050641C (en) 2022-06-21
CA2878178A1 (en) 2014-01-09
BR112014031469B1 (pt) 2018-07-03
CA3050665A1 (en) 2014-01-09
TW201640897A (zh) 2016-11-16
CA3000382A1 (en) 2014-01-09
PH12014502851A1 (en) 2015-02-09
PH12014502851B1 (en) 2015-02-09
EP2869562A1 (en) 2015-05-06
AU2020201379B2 (en) 2021-06-24
AU2020201376A1 (en) 2020-03-12
TWI551120B (zh) 2016-09-21
KR20160087933A (ko) 2016-07-22
AU2018208737A1 (en) 2018-08-16
MY184674A (en) 2021-04-15
CN104380736A (zh) 2015-02-25
AU2013284789B2 (en) 2016-06-23
AU2020201377A1 (en) 2020-03-12
MX345539B (es) 2017-02-03
AU2013284789A1 (en) 2015-02-19
WO2014006959A1 (ja) 2014-01-09
RU2643477C1 (ru) 2018-02-01
TW201605229A (zh) 2016-02-01
JP2014011714A (ja) 2014-01-20
AU2020201377B2 (en) 2021-07-01
AU2020201379A1 (en) 2020-03-12
US10116956B2 (en) 2018-10-30
TWI602423B (zh) 2017-10-11
RU2715519C1 (ru) 2020-02-28
CA2878178C (en) 2018-05-22
CA3050641A1 (en) 2014-01-09
RU2017146149A3 (zh) 2019-07-17
EP2869562A4 (en) 2016-02-10
CN107181945A (zh) 2017-09-19
TW201404167A (zh) 2014-01-16
CA3124501C (en) 2023-07-11
RU2695512C2 (ru) 2019-07-23
CN104380736B (zh) 2017-12-26
RU2734616C1 (ru) 2020-10-21
US20150117529A1 (en) 2015-04-30
SG11201408757YA (en) 2015-02-27
JP5972687B2 (ja) 2016-08-17
US10560711B2 (en) 2020-02-11
AU2016210706A1 (en) 2016-08-25
AU2016210706B2 (en) 2018-08-02
AU2018208737B2 (en) 2019-12-19
EP4228257A1 (en) 2023-08-16
US9942562B2 (en) 2018-04-10
CA3124545C (en) 2023-07-11
BR112014031469A2 (pt) 2017-05-09
US20190028730A1 (en) 2019-01-24
CN107257459B (zh) 2020-01-21
AU2018256547A1 (en) 2018-11-22
CN107257459A (zh) 2017-10-17
RU2015103130A (ru) 2016-08-20
MX371010B (es) 2020-01-13
KR20150028832A (ko) 2015-03-16
MY186030A (en) 2021-06-15
RU2017146149A (ru) 2019-06-28
AU2018256547B2 (en) 2020-06-25
CA3124545A1 (en) 2014-01-09
US20180048906A1 (en) 2018-02-15
KR20160088951A (ko) 2016-07-26
CA3000382C (en) 2019-09-10
CN107181945B (zh) 2020-01-21
CA3124501A1 (en) 2014-01-09
CA3050665C (en) 2021-10-12
EP4325847A1 (en) 2024-02-21
RU2602980C2 (ru) 2016-11-20

Similar Documents

Publication Publication Date Title
TWI521949B (zh) Image predictive coding apparatus, method and program, image predictive decoding apparatus, method and program, and coding decoding system and method
RU2734616C1 (ru) Способ декодирования видео с предсказанием и устройство декодирования видео с предсказанием
JP6426648B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP2012175332A (ja) 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム
KR101664202B1 (ko) 동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램
JP6875566B2 (ja) 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム
JP6646125B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP2005184525A (ja) 画像処理装置
JP6253564B2 (ja) 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム