TWI387347B - 圖像解碼器，參考圖資訊溝通介面以及參考圖控制方法 - Google Patents

圖像解碼器，參考圖資訊溝通介面以及參考圖控制方法 Download PDF

Info

Publication number
TWI387347B
TWI387347B TW098105177A TW98105177A TWI387347B TW I387347 B TWI387347 B TW I387347B TW 098105177 A TW098105177 A TW 098105177A TW 98105177 A TW98105177 A TW 98105177A TW I387347 B TWI387347 B TW I387347B
Authority
TW
Taiwan
Prior art keywords
image
state
decoding
decoder
reconstructed
Prior art date
Application number
TW098105177A
Other languages
English (en)
Other versions
TW201032595A (en
Inventor
Ying Hung Lu
Yan Tsung Peng
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to TW098105177A priority Critical patent/TWI387347B/zh
Priority to US12/485,893 priority patent/US8223849B2/en
Publication of TW201032595A publication Critical patent/TW201032595A/zh
Application granted granted Critical
Publication of TWI387347B publication Critical patent/TWI387347B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

圖像解碼器，參考圖資訊溝通介面以及參考圖控制方法
本發明是有關於一種影像解碼技術，且特別是關於一種H.264壓縮規範(protocol)的參考影像解碼影像控制方法。
MPEG的影像壓縮格式是數位影像所普遍採用的壓縮格式，其中更使用於壓縮動畫的資料。圖1繪示傳統經壓縮過的影像碼流(Video Stream)，其位元碼流解碼順序(Bitstream Decoding Order)100以及影像播放順序(Video Display Order)102示意圖。在位元碼流解碼順序100，圖像的順序是1~7，其中有I/P/B三種不同編碼方式的圖。對於屬於I圖的方式，解碼時並不會參考任何其他的圖。在每張P編碼方式的圖中，解碼時可以參考前一張I或者P的圖，以增加壓縮率。B圖則是會同時參考影像播放順序中的前一張圖(Forward Prediction)以及後一張圖(Backward Prediction)，而且B圖形的結果並不能讓別張圖參考。當解壓縮後的圖像，其依照影像播放順序播放，其順序例如是1、3、4、2、6、7、5。
依照上述播放順序，各圖形的參考方式如圖2所示。圖2繪示傳統解碼過程中，被參考的圖的儲存示意圖。在傳統解碼過程中，被參考的圖要存在於記憶體中直到此圖不再被需要才被移除，如此解碼過程才能順利地繼續下去。箭頭表示被參考的關係。例如I(1)的圖像會被後續要解碼的圖像B(3)，B(4)以及P(2)所參考。
但是由於記憶體空間有限，解碼器不能將所有解過的圖存下來，所以此時一個有效的記憶體管理是必需的。當一張圖已經播出或者是不再被參考的時候，其所佔據的記憶體空間就必須要釋放給下一張已解圖(Decode Picture)存放。
表一是描述被參考的圖的暫存狀態。當圖像I(1)解碼完成後，由於會被後續要解碼的圖像參考，因此要暫存圖像I(1)。
接著，圖像P(2)被解碼完成後，其會被後續要解碼的圖像參考，因此圖像P(2)也要被暫存，而圖像I(1)仍被後續需要，因此仍被暫存。圖像B(3)被解碼完成後，由於圖像B(3)尚未被顯示，因此仍需保留。圖像I(1)與P(2)，仍被後續需要因此仍需保留。圖像B(3)被解碼完成後，圖像I(1)已不需要，因此被移除。圖像B(4)尚未被顯示，因此仍需保留。依此類推，可以列出圖像的參考狀態。
在上述的例子中可以知道，在先前的影像編碼標準中，只要知道現在正在解碼的圖是I或P或B以及此影像序列中是否有B，就可以很準確地規劃及釋放所需的記憶體空間。
另外一種已被廣泛使用的壓縮技術是H.264/AVC，其是由兩大視訊壓縮標準組織，ISO/IEC的動態影像專家小組(Moving Picture Experts Group，簡稱MPEG)與ITU-T的視訊編碼專家小組(Video Coding Experts Group，簡稱VCEG)所組成的聯合視頻小隊(Joint Video Team，簡稱JVT)所共同制定的最新一代影像編碼標準(Video Coding Standard)。由於H.264/AVC具有強大的壓縮能力，其已經成為數位影音視訊產品必備的標準功能。
然而此H.264/AVC的壓縮規範中，I、P、B的定義不再像先前一樣。又在H.264中，其更允許最多有16張可參考圖，因此不能再用如MPEG機制的簡單決策方式來規劃及釋放記憶體空間。
本發明提供一種圖像解碼器，可以有效管理參考圖的暫存狀態，使即時釋放不再需要被參考的圖像的暫存空間。
本發明提供一種參考圖資訊溝通介面，以利於有效管理參考圖的暫存狀態，使即時釋放不再需要被參考的圖像的暫存空間。
本發明提供一種參考圖控制方法，有效管理參考圖的暫存狀態，使即時釋放不再需要被參考的圖像的暫存空間。
本發明提出一種圖像解碼器，用以與編/解碼用的一主控器耦接。圖像解碼器包括一解圖緩衝儲存控制器、一圖像儲存器、一參考狀態暫存器、一重建圖位址暫存器、以及一解碼器。圖像儲存器有多個參考圖像儲存空間以及一重建圖像空間，其中該些參考圖像儲存空間有一排列狀態。參考狀態暫存器與解圖緩衝儲存控制器耦接，儲存該些參考圖像儲存空間的一使用狀態，其中在該些參考圖像儲存空間中屬於不再被使用的空間被釋放。重建圖位址暫存器與該解圖緩衝儲存控制器耦接。解碼器與該主控器、該參考狀態暫存器、該重建圖位址暫存器及該圖像儲存器耦接。其中，主控器解出一輸入圖像的一標頭資訊後，得知該輸入圖像是否會被後續參考且啟動該解圖緩衝儲存控制器。解圖緩衝儲存控制器決定一待解圖像的一重建位址，將該重建位址儲存於該重建圖位址暫存器中。主控器得知該解圖緩衝儲存控制器完成後啟動該解碼器以執行一影像解碼，該解碼器完成該影像解碼後，根據該重建圖位址將一重建資訊填到在該重建圖像空間中，以及更新該參考狀態暫存器的該使用狀態。主控器得知該解碼器完成解碼後，繼續下一個圖像的解碼。
本發明提出一種參考圖資訊溝通介面，設置在使用H.264壓縮規範的一影像編/解碼器中，以供一解圖緩衝儲存控制器使用。參考圖資訊介面包括一組參考狀態暫存器與一個重建圖位址暫存器。參考狀態暫存器有N位元，其中N代表該編/解碼器最多支援的參考圖的數量。參考狀態暫存器是硬體，用來告知該解圖緩衝儲存控制器目前的一參考圖存在狀態。重建圖位址暫存器提供一資訊，用來告知該影像編/解碼器目前正在解碼的一張圖像，其所得到的一重建影像資訊在一記憶體空間中的一儲存位址。
本發明提出參考圖控制方法，用於一硬體解碼系統中進行一影像圖像的解碼。此方法包括藉由一主控器對輸入的一影像圖像取得一標頭資訊，得知該影像圖像是否會被後續解碼中參考。藉由一解碼器對該影像圖像進行解碼以得到一重建影像資訊，其中使用於解碼中的一參考圖存在狀態被更新。藉由一參考狀態暫存器記錄該參考圖存在狀態。根據該參考圖存在狀態，釋放不再被使用的至少一個參考圖像的儲存空間。
為讓本發明上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
在H.264/AVC中，規範了一個叫做已解圖緩衝儲存控制器(Decoded Picture Buffer,簡稱DPB)來存取所有的解碼及播放時所需的參考圖及已解圖。對於DPB的控制而言，最重要的就是要知道已經存在記憶體空間中的參考圖，何時不再被參考，只要知道了此資訊，DPB的控制器就可以根據播放順序及一些其他的資訊，來決定此不再被參考的圖形何時釋放記憶體空間。一個典型的H.264/AVC中參考圖的使用方式，其在決定使用參考圖的數量時，不再以圖形屬性為單位，而是以切片(Slice)的屬性來決定能用幾張參考圖。I切片(I Slice)在解碼時不會參考其他的圖，P切片(P Slice)則可以從參考表0(RefList0)中選擇一張參考圖來使用，B切片(B Slice)則可以從參考表0(RefList0)及參考表1(RefList1)中各選一張或只選一個表中的一張參考圖來使用。在每一個切片中，最小例如是每一個8x8方塊(8x8 Block)都可以重新選擇不同的參考圖，不過可以選擇的表及張數已經受到切片屬性的限制了。此外，在每一張圖解碼完成後，解碼器會根據切片標頭(Slice Header)中的資訊，來決定那一張參考圖不再需要被使用(Unused for reference)，此程序有可能決定留下所有現有的參考圖，或者丟掉一張以上的參考圖，甚至丟掉全部的參考圖。
已經丟掉的參考圖，在下一張解碼時，就會從參考表中移除。當然，除了移除參考圖外，也會增加參考圖。解碼時會依據網路抽象層(NAL)的標頭中的資訊，決定正在解碼的這張圖是否可拿來參考(Used for reference)，若是可以拿來參考的圖，就會將此圖加入到參考表中給其後的圖參考，反之則否。不過要注意的是，由於程序上是先移除參考圖再增加本張圖到參考表中，故移除的指令並不能移除本張參考圖，除非本張圖本身就是不能拿來被參考的。由以上的說明可以知道，在每一張圖解碼完成後，參考表有可能會有以下的狀態：
1.先移除0張到所有的參考圖；
2.再增加0或1張的參考圖。
此程序相對於先前如圖1-2的標準作法，因為有了很多的彈性，但作法上也複雜了許多。若在一個傳統的軟硬體共同解碼的架構底下，由硬體去加速解碼包含切片(Slice)以下資訊的網路抽象層單元(NAL Unit)，由軟體去解碼其他的網路抽象層單元以及控制DPB的動作。由於圖形參考的資訊是編碼在切片標頭裡，這是由硬體解碼的。在此作法下，硬體必須要傳輸所有增加及移除的參考圖的資訊給軟體，以便能控制DPB的動作。由於DPB是由軟體控制，軟體也必須提供給硬體所有的參考圖在記憶體空間中的儲存位置以及待解圖所將要儲存的記憶體空間位址傳輸給硬體。由於H.264/AVC中所規定最多可以有十六張參考圖，在傳統的介面底下，每張圖的資訊都必需在軟硬體其間溝通，這樣的介面將會是相當複雜且浪費硬體成本。本發明提出一個可應用於軟硬體共同設計H.264/AVC的解碼器所用來溝通參考圖資訊的介面，此介面設計簡單，且不浪費成本。
因此本發明進一步提出參考圖資訊的介面，以有效管理參考圖的存放，因此能即時釋放不必要的參考圖暫存空間。
就一般性而言，本發明的一實施例提出一組溝通參考圖資訊的介面，其設置在軟硬體共同設計的H.264/AVC編/解碼器架構底下。圖3繪示依據本發明一實施例，在H.264/AVC下的圖像碼器架構示意圖。
圖像解碼器，用以與編/解碼用的一主控器耦接。圖像解碼器包括一解圖緩衝儲存控制器、一圖像儲存器、一參考狀態暫存器、一重建圖位址暫存器、以及一解碼器。圖像儲存器有多個參考圖像儲存空間以及一重建圖像空間，其中該些參考圖像儲存空間有一排列狀態。參考狀態暫存器與解圖緩衝儲存控制器耦接，儲存該些參考圖像儲存空間的一使用狀態，其中在該些參考圖像儲存空間中屬於目前不被使用的空間被釋放。重建圖位址暫存器與該解圖緩衝儲存控制器耦接。解碼器與該主控器、該參考狀態暫存器、該重建圖位址暫存器及該圖像儲存器耦接。其中，主控器解出一輸入圖像的一標頭資訊後，得知該輸入圖像是否會被後續參考且啟動該解圖緩衝儲存控制器。解圖緩衝儲存控制器決定一待解圖像的一重建位址，將該重建位址儲存於該重建圖位址暫存器中。主控器得知該解圖緩衝儲存控制器完成後啟動該解碼器以執行一影像解碼，該解碼器完成該影像解碼後，根據該重建圖位址將一重建資訊填到在該重建圖像空間中，以及更新該參考狀態暫存器的該使用狀態。主控器得知該解碼器完成解碼後，繼續下一個圖像的解碼。
參閱圖3，圖像解碼器用以與編/解碼用的一主控器200耦接。圖像解碼器包括一解圖緩衝儲存(DPB)控制器202、一圖像儲存器210、一參考狀態暫存器(Reference Status Register，RSR)206、一重建圖位址暫存器(Reconstruct Address Register，RAR)208、以及一解碼器204。(DPB)控制器202是軟體的控制器，依照H.264的規定進行管理參考圖像。圖像儲存器210有多個參考圖像儲存空間210a~210e以及一重建圖像空間212。重建圖像空間212又稱為重建區域212。於此，參考圖像儲存空間210a~210e以及重建圖像空間212的位址是一實際操作來決定，並非固定的位址，其中重建圖像空間212更例如是由RAR 208指定，可為圖像儲存器210中的任意可用的空間，無需有固定的位址。這些參考圖像儲存空間210a~210e有一排列狀態。參考狀態暫存器206與解圖緩衝儲存控制器202耦接，儲存該些參考圖像儲存空間210a~210e的一使用狀態。在該些參考圖像儲存空間210a~210e中屬於不再被使用的空間被釋放。
重建圖位址暫存器(RAR)208與解圖緩衝儲存(DPB)控制器202耦接。解碼器204與主控器200、參考狀態暫存器(RSR)206、重建圖位址暫存器(RAR)208及該圖像儲存器210耦接。其中，主控器200解出一輸入圖像的一標頭資訊後，得知該輸入圖像是否會被後續參考，且啟動解圖緩衝儲存控制器202。解圖緩衝儲存控制器202決定一待解圖像的一重建位址，將該重建位址儲存於該重建圖位址暫存器(RAR)208中。主控器得知解圖緩衝儲存控制器202完成後啟動該解碼器以執行一影像解碼。解碼器204完成該影像解碼後，根據該重建圖位址將一重建資訊填到在該重建圖像空間212中，以及更新該參考狀態暫存器的該使用狀態。主控器200得知該解碼器完成解碼後，繼續下一個圖像的解碼。
換句話說，其解碼流程如下。主控器200會對H.264圖像的標頭(Header)資訊解碼，並將必要的資訊傳送給DPB控制器202，然後拉起Dpb_st的訊號，令DPB控制器202開始行動。
DPB控制器202收到Dpb_st的訊號後，會根據主控器200所傳輸過來的標頭資訊以及目前DPB控制器202的記憶體空間的排列狀況及參考狀態暫存器(RSR)206的狀態，決定出下一張要解的圖其重建位址(Reconstruct Address)，並將此位址填到重建圖位址暫存器(RAR)208中，然後發出Dpb_fsh訊號通知主控器200，結束DPB控制器202的動作。
主控器200收到Dpb_fsh後，會發出Decode_st訊號，令硬體的解碼器(Hardware Decoder)204開始解碼，解碼器204解完一整張圖後，會根據RAR 208的指示，將重建圖資料(Reconstruct Data)，填到所指定的記憶體空間，即是重建圖像空間212中，並更新RSR 206的狀態。如前述，重建圖像空間212是暫時的位置，不是固定的位址。完成這些事情後，解碼器204會發出Decode_fsh訊號通知主控器200，並結束這張圖的解碼。
收到Decode_fsh後，主控器200又開始重新解下一張圖所需要的標頭資訊，然後就重覆上述步驟的動作，直到整個影像串流解碼完成。
根據圖3的架構，換句話說，一個溝通參考圖資訊的介面，包括了一組N位元(N bit)的RSR 206。N代表這個編/解碼器最多支援的參考圖(Reference Picture)的個數，例如0<N≦16。此RSR 206是硬體用來告知軟體的DPB控制器202目前參考圖存在的資訊。一個RAR 208是軟體用來告知硬體解碼器204，目前正在解碼的這張圖，其重建資訊必須存到記憶體空間中的位址。
此軟硬體共同設計的H.264/AVC編/解碼器架構分工如下。一組硬體解碼器204，其基本功能包含加速解碼網路層抽象單元種類(Nal_unit_type)1、2、3、4、5等切片資料(Slice Data)層級以下的碼流。且此硬體解碼器204能根據這些資料，經由既定的解碼流程，重建已解碼的重建圖並放在軟體所指定的記憶體空間其中。
一組軟體的DPB控制器202，用來控制已解圖緩衝儲(DPB)器，其是圖像儲存器210。
一組主控器200，用來控制硬體解碼器204及軟體DPB控制器202其間的動作，並提供解碼所需的資訊予此兩個模組。
以下更舉一較具體的實施例來說明本發明的機制。本實施例說明RSR 206的狀態以及在圖像儲存器210中所有參考圖的狀態及DPB控制器202其間的關係。表二中所示為本實施例中，所有待解圖的性質。由於在H.264中I/P/B不再與是否被參考有絕對的關係，因此在此實例中，只提供這張圖是否有被拿來參考以及其號碼。圖框號代表一個要處理的影像的號碼，其對應影像資料串上一個固定長度的一段資料。
在表三中，其所表示的是在解碼過程中，參考表和已解圖緩衝暫存器(DPB)中的狀態，還有RAR所填的值。圖4繪示依據本發明一實施例，對應表三的解碼過程中，RSR所相對應的狀態示意圖。參閱圖4，以下根據表三中的解碼狀態的順序，來說明本發明的動作流程。圖4中的S代表圖框開始解碼，F代表圖框解碼結束。MSB代表與LSB代表16位元空間的兩端位元。
在初始狀態時，假設一開始在DPB的圖像儲存器210中有五張圖大小的自由空間可以運用，其例如包括參考圖像儲存空間210a~210e以及重建圖像區域212等以處理五張圖的自由空間。此時主控器200啟動DPB控制器202後，DPB控制器202由主控器200的資訊了解目前解碼的狀態，並由ABCDE的五個自由空間選擇了“A”，填到RAR中當作圖框0的重建圖在記憶體空間中的位址，此時“A”即為重建圖像空間。此時在圖4中的RSR值為初始狀態，故其16位元皆為0。
圖框0S表示圖框0開始解碼，但未解碼完成的狀態。此時，在圖像儲存器210中，由於A已經被圖框0所使用，故其自由空間只剩BCDE。此時RSR亦保持初始的狀態，為0。
圖框0F表示圖框0已經解碼完成，解碼器204已經將圖框0的重建圖資料填到圖像儲存器210中的A位址。由於在表二中的資料顯示，圖框0是可以被參考的，故圖框0會加到參考表中，留給下一張圖參考。於硬體解碼完成後，會如圖3的運作，通知主控器200。主控器200再通知DPB控制器202。DPB控制器202會將“B”填到RAR中當作圖框1的重建圖位址，然後再通知主控器啟動硬體解碼器。此時RSR的狀態還不會有任何改變。
圖框1S表示圖框1開始解碼，如箭頭250，但未解碼完成的狀態。此時，由於上一張圖框0已經進到參考表中，RSR會在此時將最接近LSB位元且其值為0的位元填成1，如箭頭250，表示上一張圖已經進到參考表中，其後這個位元就表示著圖框0這張圖在參考表中的存續。如果此位元一但被改變為0，則表示圖框0已經不再存在於參考表中，其所佔的記憶體空間可以釋放。由於DPB控制器202也會從主控器200中收到如表二中的資訊，因此在DPB控制器202中也會模擬一個RSR的動作，將位元0改變成1。
圖框1F和圖框0F類似，會將圖框1加進到參考表中，並通知DPB控制器202將“C”填到RAR中並結束本張圖的解碼。
圖框2S和圖框1S類似，如箭頭252，會將RSR的16個位元填成0000_0000_0000_0011，表示圖框1也加到參考表中。同時DPB控制器202也會模擬此動作。
圖框2F類似於圖框1F，不再贅述。
圖框3S類似於圖框1S，如箭頭254，加入圖框3，不再贅述。
在圖框3F中，如箭頭256，在圖框3的解碼過程中，硬體解碼器從切片標頭(Slice Header)中的資訊得知，圖框1及圖框2被移出參考表中，將不再用來被參考。因此，在此時，硬體解碼器會將RSR中對應到圖框1及圖框2的兩個位元變成0然後結束本張圖的解碼。此時RSR的狀態為0000_0000_0000_0001。然後主控器會通知DPB控制器開始DPB的控制，此時由先前的描述，DPB中所模擬的RSR狀態應為0000_0000_0000_0111。由於此狀態跟真正的RSR狀態不同，因此DPB會根據所模擬的RSR的狀態以及真正RSR的狀態比較所發現，位元1跟位元2都被變成0，表示圖框1及圖框2在解碼過程已經被移出參考表。此時DPB控制器會先將內部所模擬的RSR狀態跟真正的RSR狀態同步，記錄真正的RSR狀態。再將圖框1及圖框7原本所佔的記憶體空間B及C再度指定為自由空間，然後從現有的自由空間BCE中，選擇”B”填到RAR中，此時所剩的自由空間只有CE。其後再繼續下一張圖的解碼。
圖框4S的狀態和圖框1S類似，如箭頭258，但是要注意的是，此時DPB控制器202所模擬的RSR暫存器狀態是由前一張硬體所傳回的值為基礎，然後再加上圖框3的位元。此時RSR暫存器中，位元0所表示的為圖框0，位元1所表示的為圖框3。
在圖框4F的狀態，由表二中可以知道，圖框4不能被參考，因此圖框4不會寫進到參考表中。參考表的狀態和前一張一樣如表三所示。由於圖框4剛解完且尚未播出，因此圖框4所佔的記憶體空間尚不能被指定為自由空間。此時DPB控制器202從自由空間CE中選擇“C”填到RAR中，繼續下一張的解碼。
在圖框5S的狀態，如箭頭260，由於圖框4不會進到參考表中，因此此時RSR的狀態也不會更新，維持跟上一張圖解碼時一樣的狀況。其餘的狀態類似於先前所述。
在圖框5F的狀態，於本例子中，假設圖框4於圖框5解碼時播出，因此此時圖框4所佔的記憶體空間B已經可以被使用了。此圖框5解碼結束後，DPB控制器會將自由空間增加為BE然後再將”B”填到RAR中給下一張圖使用，此時自由空間只剩E如TABLE3所示。由於沒有任何的圖被移出參考表中，因此DPB控制器202繼續使用目前模擬的RSR狀態來控制DPB的圖像儲存器210的存取。
如以上述的實施例所描述，在本發明中，利用軟體的DPB控制器告知硬體的解碼器將重建圖填到正確的記憶體空間。硬體解碼器在解碼切片標頭的時候，將移出參考表的圖利用RSR的狀態，在一張圖解碼結束後告知軟體的DPB控制器。其步驟簡述如下。
一張圖開始解碼後，硬體解碼器會根據前一張圖的狀態來更新RSR。其規則如下：
若前一張圖是不可被參考的圖，則不更新；
若前一張圖是可被參考的圖，則將RSR中最接近LSB的位元的且值為0的位元更新成1，其後此圖在參考表中的存續就依據此位元的值；以及
硬體開始解碼後，軟體DPB控制器亦會依據主控器所傳輸的資訊以及最新的RSR狀態，模擬跟硬體解碼器一樣的動作。
若一張圖解碼結束，硬體解碼器會依據切片標頭(Slice Header)中的資訊，決定那些圖要被移出參考表。其規則如下：
若沒有圖被移出參考表，則不更新RSR；
若有圖被移出參考表，則將此圖在RSR中所對應的位元設為0；
硬體解碼器會將重建圖資訊填到RAR所指定的位址的記憶體空間中並通知主控器結束硬體解碼並開啟DPB控制器；以及
此時DPB控制器會去偵測，那些位元會從1變成0。只要有這樣從1變成0的位元，代表此位元對應的記憶體空間已經不再被需要且可以釋放成自由空間。然後再由自由空間中選擇一位址填到RAR中，決定下一張待解圖的重建圖資訊所放置的記憶體空間位址。
由以上的兩個步驟，便可以使用RSR及RAR兩個簡單的暫存器介面，在軟硬體間溝通參考表的資訊。
本發明提供多個實施例來說明，然而本發明不受限於所舉實施例。且多個實施例其間可以適當相互結合。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100．．．位元碼流解碼順序
102．．．影像播放順序
200．．．主控器
202．．．解圖緩衝儲存(DPB)控制器
204．．．解碼器
206．．．參考狀態暫存器
208．．．重建圖位址暫存器
210．．．圖像儲存器
210a~210e．．．參考圖像儲存空間
212．．．重建圖像空間
250~260．．．箭頭
圖1繪示傳統經壓縮過的影像碼流，其位元碼流解碼順序以及影像播放順序示意圖。
圖2繪示傳統解碼過程中，被參考的圖的儲存示意圖。
圖3繪示依據本發明一實施例，在H.264/AVC下的圖像碼器架構示意圖。
圖4繪示依據本發明一實施例，對應表三的解碼過程中，RSR所相對應的狀態示意圖。
200．．．主控器
202．．．解圖緩衝儲存(DPB)控制器
204．．．解碼器
206．．．參考狀態暫存器
208．．．重建圖位址暫存器
210．．．圖像儲存器
210a~210e．．．參考圖像儲存空間
212．．．重建圖像空間

Claims (13)

  1. 一種圖像解碼器，用以與根據H.264壓縮規範編/解碼用的一主控器耦接，該圖像解碼器包括：一解圖緩衝儲存控制器，用來存取在解碼及播放時所需的參考圖及已解圖；一圖像儲存器，有多個參考圖像儲存空間，以及一重建圖像空間，其中該些參考圖像儲存空間有一排列狀態；一參考狀態暫存器，與該解圖緩衝儲存控制器耦接，儲存該些參考圖像儲存空間的一使用狀態，其中在該些參考圖像儲存空間中屬於不再被使用的空間被釋放；一重建圖位址暫存器，與該解圖緩衝儲存控制器耦接；以及一解碼器，與該主控器，該參考狀態暫存器，該重建圖位址暫存器及該圖像儲存器耦接，其中該主控器解出一輸入圖像的一標頭資訊後，得知該輸入圖像是否會被後續參考且啟動該解圖緩衝儲存控制器，該解圖緩衝儲存控制器決定一待解圖像的一重建位址，將該重建位址儲存於該重建圖位址暫存器中，其中該主控器得知該解圖緩衝儲存控制器完成後啟動該解碼器以執行一影像解碼，該解碼器完成該影像解碼後，根據該重建圖位址將一重建資訊填到在該重建圖像空間中，以及更新該參考狀態暫存器的該使用狀態，其中該解碼器更新該參考狀態暫存器關於目前被參考的該些參考圖像，該解圖緩衝儲存控制器也模擬該參考狀態暫存器得 到一模擬狀態，其中在該主控器通知該解圖緩衝儲存控制器啟動控制功能後，該解圖緩衝儲存控制器比較該模擬狀態與該參考狀態暫存器以得到之間的差異位元，該差異位元標示該些參考圖像中目前被移除的部分，其中該解圖緩衝儲存控制器根據該參考狀態暫存器更新該模擬狀態以及更新在該重建圖位址暫存器的該些參考圖像儲存空間的該使用狀態以釋放在該些參考圖像儲存空間中屬於該些參考圖像目前被移除的部分，其中該主控器得知該解碼器完成解碼後，繼續下一個圖像的解碼。
  2. 如申請專利範圍第1項所述之圖像解碼器，其中該解圖緩衝儲存控制器是以軟體方式建立。
  3. 如申請專利範圍第1項所述之圖像解碼器，其中主控器包括對以H.264壓縮的圖像做屬於一標頭資料的解碼。
  4. 如申請專利範圍第1項所述之圖像解碼器，其中該參考狀態暫存器包括多個位元，每個位元對應該些參考圖像儲存空間的一個，以標示該些參考圖像儲存空間的該使用狀態。
  5. 如申請專利範圍第1項所述之圖像解碼器，其中更新該參考狀態暫存器的該使用狀態後，將在該些參考圖像中不再被使用儲存空間釋放。
  6. 一種參考圖資訊溝通介面，設置在使用H.264壓縮規範的一影像編/解碼器中，以供一解圖緩衝儲存控制器使 用，該參考圖資訊介面包括：一組參考狀態暫存器，有N位元，其中N代表該編/解碼器最多支援的參考圖的數量，該組參考狀態暫存器是硬體，用來告知該解圖緩衝儲存控制器目前的一參考圖存在狀態，其中該解圖緩衝儲存控制器也模擬該組參考狀態暫存器得到一模擬狀態以與儲存在該組參考狀態暫存器的狀態比較而找出該些參考圖中的哪些是目前被移除不再被使用的；以及一個重建圖位址暫存器，耦接到該解圖緩衝儲存控制器以得知該些參考圖中目前被移除的部分以及提供一資訊，用來告知該影像編/解碼器目前正在解碼的一張圖像，其所得到的一重建影像資訊在一記憶體空間中的一儲存位址，其中該記憶體空間中被目前已被移除的該些參考圖所佔用部分被釋放。
  7. 如申請專利範圍第6項所述之參考圖資訊溝通介面，其中N的數值是0<N≦16。
  8. 如申請專利範圍第6項所述之參考圖資訊溝通介面，其中該參考狀態暫存器是一硬體形式。
  9. 如申請專利範圍第6項所述之參考圖資訊溝通介面，其中該重建圖位址暫存器是一硬體形式。
  10. 一種參考圖控制方法，用於一硬體解碼系統中根據H.264壓縮規範進行一影像圖像的解碼，該方法包括：藉由一主控器對輸入的一影像圖像取得一標頭資訊，得知該影像圖像是否會被後續解碼中參考； 藉由一解碼器對該影像圖像進行解碼以得到一重建影像資訊，其中使用於解碼中的一參考圖存在狀態被更新；藉由一參考狀態暫存器記錄該參考圖存在狀態，其是藉由對該影像圖像解碼所提供；以及根據記錄於該參考狀態暫存器的該參考圖存在狀態，釋放不再被使用的至少一個參考圖像的儲存空間。
  11. 如申請專利範圍第10項所述之參考圖控制方法，其中該影像圖像是使用H.264壓縮規範被壓縮。
  12. 如申請專利範圍第10項所述之參考圖控制方法，其中該主控器解出該影像圖像是否會被後續參考。
  13. 如申請專利範圍第10項所述之參考圖控制方法，包括使用解圖緩衝儲存控制器，進行更新該參考圖存在狀態以及定該重建影像資訊所要儲存的一儲存位址。
TW098105177A 2009-02-18 2009-02-18 圖像解碼器，參考圖資訊溝通介面以及參考圖控制方法 TWI387347B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098105177A TWI387347B (zh) 2009-02-18 2009-02-18 圖像解碼器，參考圖資訊溝通介面以及參考圖控制方法
US12/485,893 US8223849B2 (en) 2009-02-18 2009-06-16 Picture decoder, reference picture information communication interface, and reference picture control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098105177A TWI387347B (zh) 2009-02-18 2009-02-18 圖像解碼器，參考圖資訊溝通介面以及參考圖控制方法

Publications (2)

Publication Number Publication Date
TW201032595A TW201032595A (en) 2010-09-01
TWI387347B true TWI387347B (zh) 2013-02-21

Family

ID=42559900

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098105177A TWI387347B (zh) 2009-02-18 2009-02-18 圖像解碼器，參考圖資訊溝通介面以及參考圖控制方法

Country Status (2)

Country Link
US (1) US8223849B2 (zh)
TW (1) TWI387347B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008176B2 (en) 2011-01-22 2015-04-14 Qualcomm Incorporated Combined reference picture list construction for video coding
US9792363B2 (en) * 2011-02-01 2017-10-17 Vdopia, INC. Video display method
US8934552B2 (en) 2011-03-31 2015-01-13 Qualcomm Incorporated Combined reference picture list construction and mapping
WO2013002701A1 (en) * 2011-06-30 2013-01-03 Telefonaktiebolaget L M Ericsson (Publ) Absolute or explicit reference picture signaling
CN103797797B (zh) 2011-06-30 2016-07-13 瑞典爱立信有限公司 参考画面信号通知
JP6480185B2 (ja) * 2012-01-19 2019-03-06 ヴィド スケール インコーポレイテッド 映像符号化参照ピクチャリストをシグナリングおよび構築する方法および装置
US10958915B2 (en) 2012-01-30 2021-03-23 Qualcomm Incorporated Method of coding video and storing video content
US9179144B2 (en) 2012-11-28 2015-11-03 Cisco Technology, Inc. Fast switching hybrid video decoder
JP6365924B2 (ja) * 2013-05-09 2018-08-01 サン パテント トラスト 画像復号方法及び画像復号装置
WO2016192594A1 (en) * 2015-05-29 2016-12-08 Hfi Innovation Inc. Method of decoded picture buffer management for intra block copy mode
US10003813B2 (en) 2015-06-25 2018-06-19 Samsung Electronics Co., Ltd. Method and system for decoding by enabling optimal picture buffer management
US20170026648A1 (en) * 2015-07-24 2017-01-26 Mediatek Inc. Hybrid video decoder and associated hybrid video decoding method
KR102476207B1 (ko) * 2015-11-12 2022-12-08 삼성전자주식회사 반도체 장치의 동작 방법 및 반도체 시스템
US10819951B2 (en) 2016-11-30 2020-10-27 Microsoft Technology Licensing, Llc Recording video from a bitstream
US11290983B2 (en) 2018-04-05 2022-03-29 Telefonaktiebolaget Lm Ericsson (Publ) Multi-stage sidelink control information
CN111372085B (zh) * 2018-12-25 2021-07-09 厦门星宸科技有限公司 影像解码装置与方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5752266A (en) * 1995-03-13 1998-05-12 Fujitsu Limited Method controlling memory access operations by changing respective priorities thereof, based on a situation of the memory, and a system and an integrated circuit implementing the method
US6366289B1 (en) * 1998-07-17 2002-04-02 Microsoft Corporation Method and system for managing a display image in compressed and uncompressed blocks
US7218676B2 (en) * 1999-12-28 2007-05-15 Fujitsu Limited Method and a decoder for decoding MPEG video
US20090016437A1 (en) * 2007-02-06 2009-01-15 Hiroki Takahashi Information processing apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7434223B2 (en) * 2003-05-22 2008-10-07 Agere Systems Inc. System and method for allowing a current context to change an event sensitivity of a future context
US7711990B1 (en) * 2005-12-13 2010-05-04 Nvidia Corporation Apparatus and method for debugging a graphics processing unit in response to a debug instruction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5752266A (en) * 1995-03-13 1998-05-12 Fujitsu Limited Method controlling memory access operations by changing respective priorities thereof, based on a situation of the memory, and a system and an integrated circuit implementing the method
US6366289B1 (en) * 1998-07-17 2002-04-02 Microsoft Corporation Method and system for managing a display image in compressed and uncompressed blocks
US7218676B2 (en) * 1999-12-28 2007-05-15 Fujitsu Limited Method and a decoder for decoding MPEG video
US20090016437A1 (en) * 2007-02-06 2009-01-15 Hiroki Takahashi Information processing apparatus

Also Published As

Publication number Publication date
TW201032595A (en) 2010-09-01
US20100208828A1 (en) 2010-08-19
US8223849B2 (en) 2012-07-17

Similar Documents

Publication Publication Date Title
TWI387347B (zh) 圖像解碼器，參考圖資訊溝通介面以及參考圖控制方法
KR101353193B1 (ko) 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치
JP4950059B2 (ja) 映像システムにおけるビットアキュレートシミュレーションのためのフィルムグレインｓｅｉメッセージ挿入
CN102780883B (zh) 用于包含多视点视频编码的参考图像管理的方法
KR101639495B1 (ko) 참조영상 마킹
CN100508585C (zh) 用于控制数字视频比特流逆向播放的装置和方法
KR20140120302A (ko) 참조영상 리스트 처리
JP5475855B2 (ja) マルチビュー・ビデオ符号化のための仮想参照デコーダ
JP2009543521A (ja) バーチャルリファレンスピクチャを使用した方法及び装置
JP2010219983A (ja) 画像処理装置および方法
JP2000078584A (ja) Ｍｐｅｇストリ―ムの切換方法
JP2824425B2 (ja) 複数経路を介してｍｐｅｇビデオビットストリームを復号化する装置
RU2265879C2 (ru) Устройство и способ для извлечения данных из буфера и загрузки их в буфер
JP2015526021A (ja) 参照ピクチャセットを含む動画シーケンスの符号化及び復号
US7218676B2 (en) Method and a decoder for decoding MPEG video
US8300701B2 (en) Offspeed playback in a video editing system of video data compressed using long groups of pictures
TWI382766B (zh) 一種用於超高解析度之顯示框壓縮系統及方法
JP2008271546A (ja) 復号装置および復号方法、情報処理装置および情報処理方法
JP3209361B2 (ja) 画像表示方法及び装置
CN114339338B (zh) 一种基于车载视频的图像自定义渲染方法及存储介质
JP2012138840A (ja) ビデオサーバ及びシームレス再生方法
TWI246861B (en) Video coding/decoding apparatus and method
CN101820539A (zh) 图像解码器、参考图信息沟通接口以及参考图控制方法
AU2005201165B2 (en) Rendering Images Containing Video
WO2013048316A1 (en) Decoder and encoder for picture outputting and methods thereof

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees