TWI382764B - 用於儲存中間迴路過濾資料之暫存記憶體（ｓｃｒａｔｃｈ ｐａｄ） - Google Patents

用於儲存中間迴路過濾資料之暫存記憶體（ｓｃｒａｔｃｈ ｐａｄ） Download PDF

Info

Publication number
TWI382764B
TWI382764B TW095102018A TW95102018A TWI382764B TW I382764 B TWI382764 B TW I382764B TW 095102018 A TW095102018 A TW 095102018A TW 95102018 A TW95102018 A TW 95102018A TW I382764 B TWI382764 B TW I382764B
Authority
TW
Taiwan
Prior art keywords
block
smoothing
video
filter
deblocking
Prior art date
Application number
TW095102018A
Other languages
English (en)
Other versions
TW200701795A (en
Inventor
Bill Kwan
Erik Schlanger
Raquel Rozas
Casey King
Original Assignee
Globalfoundries Us Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Globalfoundries Us Inc filed Critical Globalfoundries Us Inc
Publication of TW200701795A publication Critical patent/TW200701795A/zh
Application granted granted Critical
Publication of TWI382764B publication Critical patent/TWI382764B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

用於儲存中間迴路過濾資料之暫存記憶體(Scratch Pad)
本發明係關於視訊處理技術。在一個態樣中，本發明係關於數位視頻資訊的解壓縮。
因為視頻資訊需要大量的儲存空間，故視頻資訊通常被壓縮。因此，為了顯示例如儲存在CD－ROM或DVD之經壓縮之視頻資訊，該經壓縮之視訊資訊必須被解壓縮以提供解壓縮之視頻資訊。解壓縮之視頻資訊接著以位元流方式提供於顯示器。視頻資訊的解壓縮位元流通常以對應於顯示器之像素位置之位元映像(bit map)而儲存於記憶體位置中。在顯示器上呈現單一螢幕資訊所需之視頻資訊稱之為圖框(frame)。許多視訊系統之目標為快速且有效地解碼經壓縮之視頻資訊，以便藉由顯示一序列的圖框而提供動作視訊。
錄影媒體、裝置及資料處理(譬如視訊壓縮)的多種態樣的標準化，係為此技術持續成長及其應用所高度需要。已發展或正在發展數種(解)壓縮標準用以壓縮及解壓縮視頻資訊，如用於視訊編碼及解碼之動作圖形專家小組(Moving Pictures Expert Group,MPEG)標準(例如MPEG－1、MPEG－2、MPEG－3、MPEG－4、MPEG－7、MPEG－21)或視窗媒體視訊(Windows Media Video)壓縮標準(如WMV9)。在此提出之每種MPEG及WMV標準整體併入本文中作為參考。
通常，視訊壓縮技術包括圖框內(intraframe)壓縮及圖框間(interframe)壓縮，該等壓縮技術藉由減少在視訊圖框中出現之空間及時間上之冗餘而操作以壓縮視頻資訊。圖框內壓縮技術僅使用圖框內含之資訊來壓縮圖框，其稱之為I－圖框(I－frame)。圖框間壓縮技術參考之前及/或之後之圖框(通常稱之為預測圖框、P－圖框(P－frame)或B－圖框(B－frame))而壓縮圖框。圖框內及圖框間壓縮技術通常使用以空間或區塊為基礎之編碼，藉此視訊圖框分為用於編碼之多個區塊(亦稱為區塊轉換處理)。例如，一I－圖框分為8x8區塊。使用離散餘弦轉換(discrete cosine transform,DCT)編碼方式將該等區塊編碼，而該編碼方式將係數編碼為特定餘弦基函數之振幅，或用一些其他轉換(例如整數(integer)轉換)來編碼區塊。轉換之係數接著被量化(quatize)，其產生具有非0振幅位準之係數以及0振幅位準係數的束(runs)(或子序列(subsequences))。量化之係數接著被束位準編碼(或束長度編碼)以壓縮0係數的長束。結果為一致性編碼(entropy coded)於可變長度編碼器(VLC)，該VLC使用統計編碼技術，該技術分配碼字元(codewords)至欲編碼之值，或使用一些其他一致性編碼技術，如基於上下文之自適應二進制算術編碼(Context－based Adaptive Binary Arithmetic Coding,CABAC)、上下文之自適應可變長度編碼(Context Adaptive Variable Length Coding,CAVLC)等。將出現頻率高之值指定給短碼字元，而那些不常出現之值指定給長碼字元。平均而言，較常出現之較短碼字元佔了大部分，因此碼字串(code string)比原始資料短。因此，以空間或區塊為基礎之編碼技術壓縮關於單一圖框之數位資訊。為了壓縮關聯於一序列圖框之數位資訊，視訊壓縮技術使用P－圖框及/或B－圖框以利用連續圖框間具有時間上相關性的事實。圖框間壓縮技術將識別不同圖框間的差異性，然後DCT、量化法、束長度和一致性編碼技術來空間地編碼不同的資訊，雖然不同的實施可使用不同的區塊配置。例如，P－圖框可分為16x16巨集區塊(macroblock)(例如，四個8x8亮度區塊(luminance block)及二個8x8色度區塊(chrominance block))，並壓縮巨集區塊。無論使用圖框內或圖框間壓縮技術，使用以空間或區塊為基礎之編碼技術來編碼視訊資料係指已對壓縮之視訊資料進行可變長度編碼，不然已使用如上述之以區塊為基礎的壓縮技術壓縮。
在接收器或播放裝置，反轉壓縮步驟以解碼已用區塊轉換處理之視訊資料。第1圖繪示用於解壓縮視頻資訊之習知系統30，其包括輸入位元流解碼部分35、動作解碼器38、加法器39、圖框緩衝器40和顯示器41。輸入位元流解碼器35在輸入緩衝器31接收壓縮視頻資訊之位元流，在VLC解碼器32執行可變長度解碼，在反向量化器33反向鋸齒狀掃描(zig－zag)及量化，在IDCT 34反向DCT轉換，並將靜態解壓縮視頻資訊之區塊提供至加法器39。在動作解碼部分38中，動作補償單元37從VLC解碼器32接收動作資訊及先前圖像資料(其儲存於先前圖像儲存緩衝器36)的副本，且提供動作補償像素至加法器39。加法器39接收動作解壓縮視頻資訊和動作補償像素，並提供解壓縮像素至圖框緩衝器40，該圖框緩衝器40接著提供該訊息至顯示器41。
在傳統視訊編碼器及解碼器設計下，可能由以區塊為基礎的轉換、動作補償、量化及/或其他有損的(lossy)處理步驟，而將區塊化贗像(blocking artifact)(可察覺的區塊間之不連續)導入圖框。先前已使用重疊平滑化(overlap smoothing)或去區塊化過濾(迴路內或後處理)以藉由平滑化區塊間邊界而處理圖框，來試圖降低區塊化贗像。例如，WMV9標準中，指定對整個圖像進行重疊平滑化及迴路內去區塊化處理，以降低區塊化贗像。當啟動WMP9解碼，重疊平滑化只在8X8區塊邊界進行，起始為在垂直方向平滑化整個圖框，接著重疊平滑化在整個圖框的水平方向進行。接著，迴路內去區塊化，當啟動時以此順序進行：(i)圖框內所有8x8區塊水平邊界線從頂部線開始過濾；(ii)在圖框中所有8x4次區塊水平邊界線從頂部線開始過濾；(iii)所有8x8區塊垂直邊界線從最左邊線開始過濾；以及(iv)所有4x8次區塊垂直邊界線從最左邊線開始過濾。先前的方法對整個圖框使用二階段處理(two passes)，其中第一次處理是要執行重疊平滑化，而第二步驟係用於迴路內去區塊化。雖然在決定是否要進行個別步驟的處理時可能有也適用的其他要求(例如，涉及參數PQUANT及區塊類型的要求)，但是這些處理的目標都是要平滑化16x16巨集區塊、8x8區塊、或4x4次區塊的邊緣，因而去除二維轉換及量化時所導入的區塊效應(blockiness)之贗像。
以處理器為基礎之方法來處理視訊解壓縮，其他平滑化或去區塊化功能的加入為計算密集過濾流程。此處理順序可在軟體完成且具有大記憶體緩衝器保留圖框(例如640x480像素之VGA尺寸，相當於307k位元組)。另一方面，以硬體為基礎之方法用於解碼並未同時實施平滑化及去區塊化，且已在圖框整體執行去區塊化，其需要大局部記憶體，負擔顯著匯流排頻寬需求及犧牲記憶體存取時間。結果，關於減低解壓縮方法相關之處理需求及改良尤其包括重疊平滑化及/或去區塊化過濾操作之解壓縮操作存在顯著的需求。對熟習該項技術者而言，在參考下述圖式及詳細說明閱讀本說明書後，習知系統之進一步限制及缺點會變得顯而易見。
藉由使用結合軟體及硬體以執行視訊解壓縮，提供彈性(flexible)解壓縮系統可適於快速且有效處理多種不同視訊壓縮方法。彈性解壓縮系統包括執行前端解壓縮步驟之處理器，及執行後端解壓縮步驟之視訊加速器。為了降低對視訊圖框資料執行重疊平滑化及迴路內去區塊化過濾操作之視訊加速器中之記憶體頻寬需求，迴路內過濾器耦合至暫存記憶體(scratch pad)或儲存器裝置其加速以巨集區塊為基礎之方式實行重疊平滑化及迴路內去區塊化的分段處理。使用暫存記憶體以巨集區塊為基礎之方式執行過濾操作之分段處理與以圖框為基礎之方法相比為更有效率。由於暫存記憶體之尺寸和圖框之寬度相關，因此晶片上記憶體(on－chip memory)的數量降低。例如，暫存記憶體的尺寸可夠大以保持不會多過來自視訊資料之圖框之部分過濾區塊之一列(row)。
根據本發明之一個或多個實施例，提供了視訊處理系統、裝置及方法，藉此處理器及視訊解碼電路解碼已用區塊轉換處理成複數個巨集區塊視訊資料。與解碼操作相關連，設在一個或多個積體電路上之迴路內過濾器及暫存記憶體，用來藉由平滑化及去區塊化在第一巨集圖塊之選擇之像素資料而執行分段處理，以產生一個或多個完成區塊及一個或多個部分過濾區塊，其中至少一個部分過濾區塊包含儲存於暫存記憶體中之控制資料和像素資料。結果，任何鄰接先前處理之巨集區塊之區塊可完全過濾用於重疊平滑化及去區塊化，且接著在第一過濾操作期間輸出為完成區塊，同時鄰接後續處理之巨集區塊之區塊可部分過濾用於重疊平滑化及去區塊化且接著以部分過濾區塊儲存在暫存記憶體中。由迴路內過濾器使用暫存記憶體以提供用於平滑化及去區塊化在第一巨集區塊中之像素資料之部分過濾區塊，其中該取得之部分過濾區塊為先前在處理先前巨集區塊期間產生。藉由依序處理在視訊圖框之巨集區塊的每一列以一次重疊平滑化及去區塊化一個巨集區塊，該迴路內過濾器及暫存記憶體可用來依序地以管線方式(pipelined fahion)執行平滑化及去區塊化複數個巨集區塊。
本發明之目的、優點及其他新穎特徵在熟習該項技術者閱讀下列詳細說明並閱讀所附申請專利範圍和圖式之後，會變為容易理解。
以下說明本發明之實施範例，應瞭解可不需要這些特定詳細說明而實施本發明，且在此之敘述對本發明可有多種特定履行方式決定以達到設計者之特定目標，例如符合系統相關或商業相關限制，而其可從一種履行方式到其他方式而有變化。此等發展努力也許複雜或耗費時間，然而對熟習該項技術者而言乃為例行工作，仍能從本發明獲得效益。例如，選擇之態樣係以方塊圖形式顯示，而非詳細顯示，以避免模糊了本發明。該等敘述和表現可由熟習該項技術者使用，且傳遞其工作之主旨至其他熟習該項技術者。本發明現在參考圖式詳細說明如後。
參考第2圖，提供根據本發明之代表例示視訊解壓縮系統100之方塊圖。如繪示者，視訊解壓縮系統100可使用於任何視訊播放裝置，如桌上型或膝上型電腦、無線或移動裝置、個人數位助理、行動或蜂巢式電話及其他任何包括視訊成像特徵之視訊播放裝置。如第2圖所示，視訊解壓縮系統100使用作為主機或應用處理單元，該單元包括匯流排95耦合至一個或多個處理器或處理單元50及視訊或媒體加速硬體單元101。此外，視訊解壓縮系統100包括主記憶體系統，該主記憶體系統包括大型DDR SDRAM 62、64，其經由DDR控制器60存取。此外或可變換地，影像解壓縮系統100包括一個或多個記憶體(如IDE 72、快閃記憶體單元74、ROM 76等)為經由靜態記憶體控制器70存取。DDR SDRAM或其他記憶體之兩者或其一可整合至或外接至視訊解壓縮系統100。當然，其他週邊及顯示器裝置(82、84、86、92)可經由個別控制器80、90存取。為了清楚及容易明瞭，並沒詳細描述所有製造視訊解碼系統100之元件。該等細節為熟悉該項技術者所知悉，且根據特定電腦供應商及處理器類型而有所不同。再者，根據實施需求，視訊解壓縮系統100可包括其他匯流排、裝置、及/或子系統。例如視訊解壓縮系統100可包括快取記憶體、數據機、平行或串接介面、SCSI介面、網路介面卡等。在描述實施例中，CPU 50執行儲存於快閃記憶體74及/或SDRAM 62、64之軟體。
在繪示於第2圖中之視訊解壓縮系統100，當媒體加速硬體單元101對解碼資料執行反向量化104、反向轉換106、動作補償108、迴路內過濾110、顏色空間轉換112、改變尺寸(scaling)114及過濾116時，CPU 50如指示為在VLD區塊52執行起始可變長度解碼功能。所得解碼資料在顯示在顯示器92之前可暫時儲存在輸出緩衝器118及/或圖框緩衝器(未圖示)。藉由分配解碼處理功能在處理器50與媒體加速硬體101之間，前端解碼步驟(例如可變長度解碼)可在軟體執行，以容納不同的壓縮方法(例如MPEG－1、MPEG－2、MPEG－3、MPEG－4、MPEG－7、MPEG－21、WMV9等)。經由前端產生之解碼資料提供至媒體加速硬體101其進一步解碼以巨集圖塊為基礎之於巨集圖塊上之解碼資料以提供像素值至輸出緩衝器118或圖框緩衝器直到圖框完成為止。
操作中，視訊解壓縮系統100從視訊訊號源如CD ROM、DVD或其他儲存裝置接收解壓縮視訊訊號。壓縮視訊訊號提供為壓縮視訊訊號之位元流至處理器50，該處理器執行指令以解碼壓縮訊號之可變長度編碼部分，以提供可變長度解碼資料(VLD資料)訊號。一旦使用軟體輔助執行可變長度解碼後，即直接或使用資料壓縮技術，更詳盡說明於美國專利申請第＿＿＿＿號(標題為“輸入資料之輕量壓縮(Lightweight Compression of Input Data)”)，將該VLD資料(其包括標頭(header)、矩陣加權、動作向量、轉換殘餘係數及偶數差分動作向量(even differential motion vector))傳遞至媒體加速硬體單元101。在媒體加速硬體單元101，一旦接收到VLD資料，資料即提供至反向鋸齒狀掃描及量化器電路104，該電路104解碼VLD資料訊號以提供鋸齒狀掃描解碼訊號。反向鋸齒狀掃描及量化補償係基於下列事實：當壓縮之視訊訊號以鋸齒狀掃描束長度編碼(Zig－Zag run－length code)方式壓縮時，該鋸齒狀掃描解碼訊號係提供至反向DCT電路106作為序列區塊之資訊。因此，此鋸齒狀掃描解碼訊號提供了按照在顯示器92上進行光柵掃描(raster scanning)所需順序之區塊。此鋸齒狀解碼訊號然後提供於以區塊接著區塊方式於鋸齒狀解碼視訊訊號施行反向離散餘弦轉換之反向轉換電路106(例如，IDCT或反向整數轉換)，以提供靜態解壓縮像素值或解壓縮錯誤項目。靜態解壓縮像素值經由行動補償單元108以區塊接著區塊方式處理，該行動補償單元108提供圖框內、預測的及雙向(bidirectional)行動補償，包括支援一個、兩個及四個行動向量(16x16、16x8及8x8區塊)。根據WMV9壓縮標準，藉由使用暫存記憶體111儲存部分完成的巨集區塊過濾資料，如下列更詳細描述者，迴路內過濾器10執行重疊平滑化及/或去區塊化以降低或消除區塊化贗像。顏色空間轉換器112轉換一個或多個輸入資料格式(例如YCbCr4：2：0)為一個或多個輸出格式(如RGB)，結果在過濾器116過濾及/或調整大小。
如在此所揭示的，平滑化及去區塊化迴路內過濾器110在第一次處理時藉由部分過濾或處理每一列的巨集區塊以移除鄰近區塊間的邊界不連續，接著在處理下一列巨集區塊時完成部分處理區塊的處理。以此技術，小型暫存記憶體111可有效地用於將部分處理之區塊儲存在暫存記憶體中，相反於發生在傳統去區塊化處理，其使用大型記憶體儲存整個圖框影像來過濾。在以列接續列方式完成每一區塊的重疊平滑化及去區塊化處理後，完成區塊可從過濾器110在傳輸至CSC 112之前先輸出至FIFO緩衝器(未圖示)。
第3圖繪示根據本發明之選擇性實施例，簡化例示巨集區塊為基礎之迴路內過濾處理，其使用暫存記憶體以有效處理重疊平滑化及去區塊化。在過濾處理中，迴路內過濾器的每一次通過處理(pass)係經由一列巨集區塊產生完全完成區塊(已完全過濾為平滑化及去區塊化之區塊)及部分完成區塊(儲存在暫存記憶體以後續使用於下一列巨集區塊之平滑化及去區塊化)。如繪示，每個單一巨集區塊(例如，巨集區塊4或“mb4”包括四個亮度區塊mb4y0、mb4y1、mb4y2及mb4y3)在迴路內過濾流程經過下列順序之處理：(i)完全完成平滑化及去區塊化之8x8區塊(如區塊mb4y0、mb4y1)鄰接先前巨集區塊(如巨集區塊1)及部分完成平滑化及去區塊化之8x8區塊(如區塊mb4y2、mb4y3)鄰接下一個巨集區塊(如巨集區塊7)；(ii)輸出完全完成之8x8區塊(如區塊mb4y0、mb4y1)及儲存部分完成之8x8區塊(如區塊mb4y2、mb4y3)在暫存記憶體；(iii)當下一個巨集區塊(如巨集區塊7)處理時，從暫存記憶體提取部分完成之8x8區塊(如區塊mb4y2、mb4y3)，並完成提取之8x8區塊(如區塊mb4y2、mb4y3)的處理；以及(iv)輸出完成之8x8區塊(如區塊mb4y2、mb4y3)及下一個區集區塊所完成的8x8區塊(如區塊mb7y0、mb7y1)。
雖然實施之詳細情形可根據應用而改變，然而第3圖繪示了例示的實施例，其中影像圖框150由迴路內過濾器110處理，該影像圖框150由巨集區塊(如巨集區塊mb0、mb1、mb2、mb3、mb4、mb5、mb6、mb7、mb8等)構成且以複數列(如第一列151由mb0、mb1及mb2構成)配置。如第3圖之3A部分所示，迴路內過濾器110已完成第一次處理(first pass)巨集區塊的第一列151。由於對第一列151的該第一次處理，已對上區塊(mb0y0、mb0y1、mb1y0、mb1y1、mb2y0及mb2y1)完全經重疊平滑化及去區塊化處理(如由交叉影線(cross－hatching)所示)，而下區塊(mb0y2、mb0y3、mb1y2、mb1y3、mb2y2及mb2y3)為只有部分經重疊平滑化及去區塊化處理。為了在對巨集區塊之下一次處理期間完成該第一列151之該等部分處理的區塊，係將該第一列151之該等部分處理的區塊儲存於暫存記憶體111中(如點圖樣所指示者)。
如其他繪示於第3圖之3A部分，迴路內過濾器110已開始處理巨集區塊的第二列152，其會完成第一列151的部分處理區塊。結果，mb0y2、mb3y0區塊已完全經平滑化及去區塊化處理，且mb3y2區塊只有部分處理(且儲存於暫存記憶體)。如在第3圖之3A部分被過濾器110處理的各區塊(如覆以斜線所指示之已過濾區塊154)，mb0y3、mb3y1及mb3y3區塊已被部分經平滑化及去區塊化處理(且留置於過濾器110)，mb1y2區塊為部分完成區塊且自暫存記憶體提取，而剩餘區塊(mb4y0及mb4y2)得自目前區塊(例如巨集區塊4)。當迴路內過濾器110處理過濾區塊154時，平滑化及去區塊化在一個或多個部分處理區塊(如mb0y3及mb3y1)完成，而剩餘區塊(mb1y2、mb4y0、mb4y2及mb3y3)為只有部分完成。
在處理已過濾區塊154後，迴路內過濾器110移至新資料。此以第3圖之3B部分繪示圖框155，其顯示過濾器110取得過濾區塊156係經由輸出任何完成區塊(如mb0y3、mb3y1)，經由儲存一個或多個部分完成區塊(如mb3y3)在暫存記憶體，經由移動剩餘部分完成區塊(如mb1y2、mb4y0及mb4y2)於過濾器中一個區塊位置，經由從先前巨集區塊之列提取部分完成區塊(如mb1y3)，及從目前巨集區塊載入新區塊(如mb4y1、mb4y3)。當迴路內過濾器110處理已過濾之區塊156時，在一個或多個部分處理區塊(如mb1y2、mb4y0)完成平滑化及去區塊化，而剩餘區塊(mb1y3、mb4y1、mb4y3及mb4y2)僅為部分完成。
在處理已過濾區塊156之後，迴路內過濾器110再度移至新資料如第3圖之3C部分所繪示之圖框157。特別是過濾器110取得過濾區塊158係經由輸出任何完成區塊(如mb1y2、mb4y0)，經由儲存一個或多個部分完成區塊(如mb4y2)在暫存記憶體，經由移動剩餘部分完成區塊(如mb1y3、mb4y1及mb4y3)於過濾器中一個區塊位置，經由從先前巨集區塊之列提取部分完成區塊(如mb2y2)，及從目前巨集區塊載入新區塊(如mb5y0、mb5y2)。當迴路內過濾器110處理已過濾區塊158時，在一個或多個部分處理區塊(如mb1y3、mb4y1)完成平滑化及去區塊化，而剩餘區塊(mb2y2、mb5y0、mb5y2及mb4y3)僅為部分完成。此時，巨集區塊4中之上區塊(mb4y0、mb4y1)已完全經重疊平滑化及去區塊化完成，但下區塊(mb4y2、mb4y3)為只有部分完成。經由儲存該部分儲存之下區塊於暫存記憶體，過濾器操作可在過濾器110處理下一列巨集區塊時完成。
本發明之選擇性實施例的其他細節顯示於第4圖中，其顯示技術200在視訊編碼器或解碼器使用平滑化及去區塊化過濾器用於降低在解碼圖框之區塊效應(區塊瑕疪；blockiness)。將瞭解到，繪示技術可用於處理亮度或色度區塊，雖然在每一圖框的週緣會有特別角落情況，熟習該項技術者會依照需要調整而應用本發明。然而，為了簡化之故，本發明的揭示主要將重點放在迴路內過濾步驟，其施行於每一圖框之巨集區塊內部。
參考第4圖，一旦視訊編碼器/解碼器產生用於圖框之至少第一巨集區塊(201)，則迴路內過濾器處理巨集區塊的上方列，一次一個巨集區塊以過濾每一區塊與其鄰近區塊的邊界。如可瞭解的，因為沒有在圖框周圍執行平滑化或去區塊化，因此沒有在圖框外之部分完成區塊使用在過濾處理中。然而，當過濾巨集區塊的第一行時，暫存記憶體以部分完成區塊填滿。從第一巨集區塊開始(201)，編碼器/解碼器載入所需區塊及從暫存記憶體提取來自上方的任何部分完成鄰近區塊(除了巨集區塊之第一列外)。巨集區塊包括四個亮度區塊(y0、y1、y2、y3)及兩個色度區塊(Cb、Cr)，區塊以下述順序進入編碼器/解碼器硬體：y0、y1、y2、y3、Cb、Cr。
接著，視訊編碼器/解碼器過濾載入過濾器之區塊與鄰接區塊或次區塊的預定邊界(步驟210)。在選擇之實施例中，可使用分段處理技術以在過濾器中部分處理每一區塊。例如，在以亮度或色度計劃解碼8x8區塊之後，所有或部分的左及/或右(垂直)邊緣施以平滑化過濾處理(步驟211)。除此之外或可選擇地，所有或部分之區塊之上及/或下(水平)邊緣施以平滑化過濾處理(步驟212)。除了重疊平滑化外，去區塊化過濾處理可施於所有或部分8x8區塊之選擇之水平邊界線(步驟213)，及/或所有或部分8x4次區塊之選擇之水平邊界線(步驟214)。除此之外或可選擇地去區塊化過濾處理於所有或部分8x8區塊之選擇之垂直邊界線(步驟215)，及/或所有或部分4x8次區塊之選擇之垂直邊界線(步驟216)。
一旦過濾器中之區塊已分段處理，則所得結果儲存或移至過濾器中以進行其他處理。特別地，為了讓過濾器處理新資料，任何在過濾器中完成區塊從過濾器輸出(步驟217)。此外，不會與新區塊一起處理之任何部分完成區塊儲存於暫存記憶體(步驟219)以後續使用並與下一巨集區塊列另外處理，除非巨集區塊之最後一列已被處理(判定步驟218為否定結果)，在此情況暫存記憶體儲存步驟(219)可予略過。
經由儲存選擇之區塊(步驟217、219)在過濾器內製造出空間，過濾器因此現在可以處理新資料。特別地，如果在圖框中有額外的區塊(判定步驟220為肯定結果)，則過濾器中剩餘之部分過濾區塊移至左方(步驟222)。對於在頂部列下方之列(判定步驟224為否定結果)，過濾器內可用空間由從暫存記憶體提取之下一個部分完成區塊填滿(步驟226)，及過濾器中任何剩餘空間由新區塊填滿(步驟228)。一旦過濾器載入新資料，則區塊過濾處理(步驟210)重複於新一組過濾區塊。藉由重複此序列操作，圖框中每一巨集區塊依序過濾以從暫存記憶體提取部分完成區塊，該部分完成區塊由先前巨集區塊之列處理時產生，且儲存部分過濾區塊在暫存記憶體以為後續在處理巨集區塊之下一列時使用。另一方面，若沒有將要過濾的剩餘區塊(判定步驟222為否定結果)，則完成了目前圖框的平滑化及去區塊化處理。此時，提取下一圖框(步驟230)，並從新圖框的第一巨集區塊開始重複過濾處理。
參考第5A至5K圖，本發明之例示實施例繪示如何以WMV9平滑化及去區塊化過程可以用分段處理技術施行於巨集區塊4(或“mb4”)中之亮度區塊。該過濾處理的起始步驟繪示於第5A圖，其中過濾器320已載入部分已平滑化(見，如橢圓形指示322)及去區塊化(見，如線指示323)處理之區塊(例如mb0y3、mb3y1、mb3y3)。
過濾器320接著以其他區塊填滿，如第5B圖所示。特別是部分完成區塊(如mb1y2)從暫存記憶體提取且載入過濾器。此外，從目前巨集區塊(如mb4)之選擇區塊(如mb4y0、mb4y2)載入編碼器/解碼器，雖然巨集區塊載入序列(例如mb4y0、mb4y1、mb4y2、mb4y3)要求於此時至少其中一個區塊將要被載入但不移入過濾器320，如321所指示。
一旦過濾區塊被載入，則過濾器320實行分段重疊平滑化，如第5C圖所示。特別情況是，垂直重疊平滑化(V)執行在選擇之內部垂直邊緣301、302。接著，水平重疊平滑化(H)執行在選擇之內部水平邊緣(如303、304、305、306)。
在過濾區塊已部分平滑化後，過濾器320執行分段去區塊化，如第5D圖所示。第一，執行水平迴路內去區塊化(HD)在選擇之8x8區塊邊界(如307、308、309、310)，接著在選擇之次區塊邊界執行水平迴路內去區塊化(HDH)(如311、312、313、314)。接著，過濾器在選擇之8x8區塊邊界(如315、316)執行垂直迴路內去區塊化(VD)，接著在選擇之次區塊邊界執行垂直迴路內去區塊化(VDH)(如317、318)。
在上述每一平滑化及去區塊化步驟中，邊界片段(boundary piece)被過濾的順序並不重要，因為邊界片段之間並無相依性。除了第5C及5D圖中所繪示之分段處理之特定順序外，其他順序及/或過濾步驟亦可根據本發明施行。例如，不同順序之邊界邊緣片段可予過濾。此外，可有多於一種類型之平滑化或去區塊化模式可實施，且過濾操作可影響在邊界的每一邊上多至三個或更多個像素，依據過濾方法而定。例如MPEG－4標準使用兩種去區塊化模式，於一個模式中施以短過濾器於區塊邊緣的任一邊之一個像素，以及於第二模式中施以長過濾器於區塊邊緣的任一邊之兩個像素。於其他施行方式中，可調適過濾器定義、不同過濾器數目及/或適用過濾器情形，以符合特定需求。
一旦平滑化及去區塊化過濾操作結束，儲存且移動經處理之過濾區塊，如第5E圖所示。特別地，任何完成之區塊(如mb0y3、mb3y1)然後可予輸出，由於它們已完成。此外，一個或多個部分完成區塊(如mb3y3)可移至暫存記憶體以在當處理下方鄰近巨集區塊(見，如第3圖中相關mb3y3之巨集區塊6)時之後續使用。然後可將過濾器中任何剩餘部分完成區塊(如mb1y2、mb4y0、mb4y2)在該過濾器中移動以讓出空間給新資料。輸出的結果、儲存及移動步驟係如第5F圖所示。
過濾器320現在可用新資料區塊填滿，如第5G圖所示。特別地，部分完成區塊(如mb1y3)係自暫存記憶體提取且載入過濾器。此外，自目前巨集區塊(如mb4)之剩餘區塊(如mb4y1、mb4y3)載入過濾器320。
一旦載入過濾區塊，過濾器320執行分段重疊平滑化，如第5H圖所示。此外，垂直重疊平滑化(V1、V2)在所選擇內部垂直邊緣執行。接著，水平重疊平滑化(H1、H2、H3、H4)在所選擇內部水平邊緣執行。
在過濾區塊部分平滑化後，過濾器320執行分段去區塊化，如第5I圖所示。首先，水平迴路內去區塊化(HD1、HD2、HD3、HD4)執行於選擇之8x8區塊邊界上，接著在選擇之次區塊邊界(HDH1、HDH2、HDH3、HDH4)執行水平迴路內去區塊化。下一步，濾波器於選擇之8x8區塊邊界上執行垂直迴路內去區塊化(VD1、VD2)，接著在選擇之次區塊邊界執行垂直迴路內去區塊化(VDH1、VDH2)。
一旦平滑化及去區塊化過濾操作結束，經處理之過濾區塊儲存且移動，如第5J圖所示。特別地，可輸出任何完成之過濾區塊(如mb1y2、mb4y0)，由於它們已完成。此外，一個或多個部分完成區塊(如mb4y2)可移至暫存記憶體以在當處理下方鄰接巨集區塊時之後續使用。然後可將該過濾器中任何剩餘之部分完成區塊(如mb1y3、mb4y1、mb4y4)在該過濾器中移動以讓出空間給新資料。輸出的結果、儲存及移動步驟係如第5K圖所示，其正對應於第5A圖所繪示之初始過濾器狀態。結果，第5A至5K圖繪示之序列步驟可重複持續過濾該等過濾區塊，包括下一個巨集區塊(如巨集區塊5或mb5)。
參考第6A至6F圖，繪示本發明之例示實施例，顯示如何以WMV9平滑化及去區塊化流程可以分段處理技術施行於巨集區塊中之Cb或Cr區塊。由於Cb與Cr巨集區塊相類似，故實施例以參考確認指示標籤為Cb(x,y)之目前Cb巨集區塊而提供。過濾處理的起始點繪示於第6A圖，其中過濾器420已載入已經重疊平滑化(如橢圓形指示422)及去區塊化(見，如線指示423)之部分處理之區塊(如Cb(x－1,y－1)和Cb(x－1,y))。
過濾器420接著以其他區塊填滿，如第6B圖所示。特別是部分完成區塊(如Cb(x,y－1))從暫存記憶體提取且載入過濾器。此外，來自目前巨集區塊之區塊(如Cb(x,y))載入過濾器420。一旦載入過濾器區塊，過濾器420實行分段重疊平滑化，如第6C圖所示。特別地，垂直重疊平滑化(V)執行在選擇之內部垂直邊緣。接著，水平重疊平滑化(H1、H2)執行在選擇之內部水平邊緣。
在過濾區塊已部分平滑化之後，過濾器420執行分段去區塊化，如第6D圖所示。首先，在選擇之8x8區塊邊界執行水平迴路內去區塊化(HD1、HD2)，接著在選擇之次區塊邊界執行水平迴路內去區塊化(HDH1、HDH2)。接著，過濾器在選擇之8x8區塊邊界執行垂直迴路內去區塊化(VD)，接著在選擇之次區塊邊界執行垂直迴路內去區塊化(VDH)。
一旦平滑化及去區塊化過濾操作結束，則經處理之過濾區塊予以儲存且移動，如第6E圖所示。特別地，可輸出完成之過濾區塊(如Cb(x－1,y－1))，由於其已完成。此外，部分完成區塊(如Cb(x－1,y))可移至暫存記憶體以在當處理下方鄰接巨集區塊時之後續使用。然後可將該過濾器中任何剩餘之部分完成區塊(如Cb(x,y－1)、Cb(x,y))在該過濾器中移動以讓出空間給新資料。輸出的結果儲存及移動步驟係如第6F圖所示，其正對應於第6A圖所繪示之初始過濾器狀態。結果，第6A至6F圖繪示之序列步驟可以重複以過濾下一個巨集區塊。
從前述可知，藉由提供小型暫存記憶體在硬體解碼器單元中，迴路內過濾器可暫時儲存來自現用巨集區塊(標示為MB(x,y))之亮度及色度區塊的任何部分完成過濾結果在暫存記憶體中。儲存之過濾結果可接著用於處理下一列之鄰接巨集區塊之諸區塊。特別地，當過濾器處理緊鄰下方之巨集區塊，即MB(x,y＋1)時，對於MB(x,y)之儲存資料自暫存記憶體提取且用於處理MB(x,y＋1)。
雖然儲存於暫存記憶體中之部分完成過路結果應該包括至少8x8像素資料，但是在選擇之實施例中，暫存記憶體亦儲存控制資料以判定區塊是否需要邊界過濾。例如，控制資料可包括在目前巨集區塊中之對六個區塊之每一個區塊的一組標頭，包括1mv或4mv之選擇碼、區塊位址、圖框中區塊位置、mb模式、轉換大小、係數(0或非0)及動作向量(兩個用於向前之x及y方向，及兩個用於向後之x及y方向)。資料可以允許有效使用叢發大小(burst size)的方式封裝(pack)。
因為暫存記憶體的小尺寸，因此記憶體可和視訊加速器設在同一晶片上，雖然對於一般圖框尺寸，暫存記憶體可位於不同晶片上，如DDR記憶體或其他外部記憶體。然而，藉由讓暫存記憶體位於視訊加速硬體單元101上，而得到增進記憶體存取性能。藉由最小化暫存記憶體的尺寸，相較於包括大型記憶體緩衝器用於儲存整個圖框資料區塊者，媒體加速硬體單元的製造成本降低。例如，用於儲存部分完成過濾結果之暫存記憶體，包括控制資料及像素資料，可計算如下：暫存記憶體之尺寸＝(576位元組)x(圖框水平方向巨集區塊之數目)。
如前所述，當圖框尺寸在垂直方向較大時，暫存記憶體的尺寸相對較小。換句話說，暫存記憶體的尺寸相依於水平方向之圖框尺寸。可瞭解在此描述之分段處理技術可有利地用於保持整個圖框之大記憶體，此時只要在將整個圖框解碼前，先開始對第一巨集區塊過濾，即可改善過濾作業的速度。然而，使用暫存記憶體提供成本及速度優點，而使用大型記憶體以儲存整個圖框為高成本且增加存取耗用時間。使用暫存記憶體亦非常符合在過濾演算法中之管線方式處理。
上述之特定實施例僅為描述性且不用於限制本發明，本發明可以不同但均等方式修飾及實施，且熟習該項技術者可瞭解此技術之優點。因此，前面敘述並非用於限制本發明於特定形式，相反地，其係用於涵蓋可包括於本發明精神與範圍之該些變化、修飾及均等物，如所附申請專利範圍所定義，因此熟習該項技術者應瞭解他們可進行多種變化、取代及替換而不超過本發明最廣泛形式之精神與範圍。
30．．．習知解壓縮視訊資訊系統
31．．．輸入緩衝器
32．．．可變長度編碼(VLC)解碼器
33．．．反向量化器
34．．．反離散餘弦轉換器(IDCT)
35．．．輸入位元流解碼部分
36．．．先前圖像儲存緩衝器
37．．．動作補償單元
38．．．動作解碼器
39．．．加法器
40．．．圖框緩衝器
41．．．顯示器
50．．．處理器(CPU)
52．．．VLD區塊
54．．．輕量壓縮
60．．．DDR控制器
62、64．．．DDR SDRAM
70．．．靜態記憶體控制器
72．．．IDE
74．．．快閃記憶體單元
76．．．ROM
80．．．輸入控制器
82、84、86、92．．．週邊及顯示器裝置
90．．．LCD控制器
92．．．顯示器
95．．．匯流排
100．．．視訊解壓縮系統
101．．．媒體加速硬體單元
104．．．反向鉅齒狀掃描及量化器電路
106．．．反向轉換電路
108．．．動作補償單元
110．．．迴路內過濾器
112．．．顏色空間轉換器
111．．．暫存記憶體
114．．．改變尺寸
116．．．過濾器
118．．．輸出緩衝器
150、155、157．．．圖框
151、152、153．．．巨集區塊列
154、156、158．．．被過濾的區塊
200．．．方法
201、210、211、212、213、214、215、216、217、218、219、220、222、224、226、228、230．．．步驟
320．．．過濾器
322．．．橢圓形指示
323．．．線指示
301、302．．．內部垂直邊緣
303、304、305、306．．．內部水平邊緣
307、308、309、310、315、316．．．區塊邊界
311、312、313、314、317、318．．．次區塊邊界
420．．．過濾器
422．．．橢圓形指示
423．．．線指示
第1圖為方塊圖，代表用於解壓縮視頻資訊之系統；第2圖為方塊圖，代表依據本發明建構之例示視訊解壓縮系統；第3圖係根據本發明之選擇之實施例，繪示迴路內過濾處理之簡單圖示，其使用暫存記憶體以在硬體中有效處理重疊平滑化及迴路內去區塊化；第4圖繪示用於降低在解碼圖框中之區塊效應(blockiness)之例示技術，係在視訊編碼器或解碼器中使用平滑化及去區塊化過濾器；第5A至5K圖顯示如何可使用分段處理對亮度區塊執行平滑化及去區塊化過程；以及第6A至6F圖顯示如何可使用分段處理對色度區塊執行平滑化及去區塊化過程。
50．．．處理器(CPU)
52．．．VLD區塊
54．．．輕量壓縮
60．．．DDR控制器
62、64．．．DDR SDRAM
70．．．靜態記憶體控制器
72．．．IDE
74．．．快閃記憶體單元
76．．．ROM
80．．．輸入控制器
82、84、86、92．．．週邊及顯示器裝置
90．．．LCD控制器
92．．．顯示器
95．．．匯流排
100．．．視訊解壓縮系統
101．．．媒體加速硬體單元
104．．．反向鉅齒狀掃描及量化器電路
106．．．反向轉換電路
108．．．動作補償單元
110．．．迴路內過濾器
112．．．顏色空間轉換器
111．．．暫存記憶體
114．．．改變尺寸
116．．．過濾器
118．．．輸出緩衝器

Claims (19)

  1. 一種適於執行以區塊轉換處理之視訊資料之硬體解碼之視訊加速器，該視訊加速器包括：迴路內過濾器，用於平滑化及去區塊化在第一巨集區塊中之選擇之像素資料，以產生至少一個第一部份過濾區塊及至少一個第一完成區塊；以及暫存記憶體，用於儲存該第一部份過濾區塊，以用於第二巨集區塊中之選擇之像素的平滑化及去區塊化。
  2. 如申請專利範圍第1項之視訊加速器，其中，該視訊加速器包括反向量化器及反向轉換器。
  3. 如申請專利範圍第1項之視訊加速器，其中，該迴路內過濾器自該暫存記憶體提取第二部份過濾區塊以用於平滑化及去區塊化在該第一巨集區塊中之像素資料，該第二部份過濾區塊已於先前在處理先前巨集區塊期間產生。
  4. 如申請專利範圍第1項之視訊加速器，其中，該暫存記憶體係夠大以維持不多於來自視訊資料之一圖框之部分過濾區塊之一列。
  5. 如申請專利範圍第1項之視訊加速器，其中，儲存於該暫存記憶體之每一個部份過濾區塊包括像素資料及控制資料。
  6. 如申請專利範圍第1項之視訊加速器，其中，該迴路內過濾器以管線方式(pipelined fashion)依序執行平滑化及去區塊化複數個巨集區塊。
  7. 如申請專利範圍第1項之視訊加速器，其中該視訊加速器係形成於單一積體電路上。
  8. 如申請專利範圍第1項之視訊加速器，其中，該暫存記憶體及視訊加速器係形成在不同積體電路上。
  9. 如申請專利範圍第1項之視訊加速器，其中，該迴路內過濾器完全地過濾鄰接於先前處理之巨集區塊之至少第一區塊，以重疊平滑化及去區塊化；且部分地過濾鄰接於後續處理之巨集區塊之至少第二區塊，以重疊平滑化及去區塊化。
  10. 一種對以區塊轉換處理成複數個巨集區塊之視訊資料解碼的方法，包括：平滑化及去區塊化在第一巨集區塊中選擇之像素資料，以產生至少一個第一部份過濾區塊及至少一個第一完成區塊；以及儲存該第一部份過濾區塊於暫存記憶體以用於平滑化及去區塊化在第二巨集區塊中之選擇之像素資料。
  11. 如申請專利範圍第10項之方法，復包括從該暫存記憶體提取第二部分過濾區塊以用於該平滑化及去區塊化步驟，該第二部分過濾區塊已在先前處理先前巨集區塊期間產生。
  12. 如申請專利範圍第10項之方法，其中，由迴路內過濾器執行該平滑化及去區塊化步驟。
  13. 如申請專利範圍第12項之方法，其中，該迴路內過濾器依序處理在視訊圖框中巨集區塊的每一列，以一次重 疊平滑化及去區塊化一個巨集區塊。
  14. 如申請專利範圍第12項之方法，其中，該迴路內過濾器以管線方式依序執行平滑化及去區塊化複數個巨集區塊。
  15. 如申請專利範圍第10項之方法，包括：平滑化及去區塊化在巨集區塊之第一列中之選擇之像素資料，以產生複數個部分過濾區塊；以及儲存該複數個部分過濾區塊在該暫存記憶體中。
  16. 如申請專利範圍第15項之方法，復包括：當平滑化及去區塊化在巨集區塊之第二列中之選擇之像素資料時，從該暫存記憶體提取第一部份過濾區塊；以及平滑化及去區塊化在該第一部份過濾區塊中之選擇之像素資料，以完成在該第一部份過濾區塊之平滑化及去區塊化處理，藉此產生完成區塊。
  17. 如申請專利範圍第10項之方法，其中，該平滑化及去區塊化步驟包括在每一巨集區塊內之至少第一區塊上分段重疊平滑化及去區塊化，以便該第一區塊在第一過濾操作中被部分處理、儲存在該暫存記憶體中、以及後續在第二過濾操作中完全地處理。
  18. 一種在視訊處理系統中用於從壓縮之視訊資料流解碼視訊資訊之裝置，該裝置包括：部分解碼該壓縮之視訊資料流之處理器，以產生部分解碼視訊資料；以及 解碼該部分解碼視訊資料之視訊解碼電路，以產生視訊圖框，該視訊解碼電路包括暫存記憶體及迴路內過濾器，用以依序在該視訊圖框中複數個巨集區塊執行重疊平滑化及迴路內去區塊化之分段處理其中，該視訊解碼電路包括：用於平滑化及去區塊化在第一巨集區塊中之選擇之像素資料之機構，以產生至少一個第一部份過濾區塊及至少一個第一完成區塊；以及用於儲存該第一部份過濾區塊以用於第二巨集區塊中之選擇之像素的平滑化及去區塊化之機構。
  19. 如申請專利範圍第18項之裝置，其中，該暫存記憶體儲存來自巨集區塊之第一列之部分過濾區塊，使得每一個部份過濾區塊可由該迴路內過濾器在重疊平滑化及去區塊化巨集區塊之第二列期間被提取。
TW095102018A 2005-01-25 2006-01-19 用於儲存中間迴路過濾資料之暫存記憶體（ｓｃｒａｔｃｈ ｐａｄ） TWI382764B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/042,218 US7792385B2 (en) 2005-01-25 2005-01-25 Scratch pad for storing intermediate loop filter data

Publications (2)

Publication Number Publication Date
TW200701795A TW200701795A (en) 2007-01-01
TWI382764B true TWI382764B (zh) 2013-01-11

Family

ID=36282836

Family Applications (1)

Application Number Title Priority Date Filing Date
TW095102018A TWI382764B (zh) 2005-01-25 2006-01-19 用於儲存中間迴路過濾資料之暫存記憶體（ｓｃｒａｔｃｈ ｐａｄ）

Country Status (8)

Country Link
US (1) US7792385B2 (zh)
JP (1) JP2008529412A (zh)
KR (1) KR20070111467A (zh)
CN (1) CN101160971B (zh)
DE (1) DE112006000270T5 (zh)
GB (1) GB2435788B (zh)
TW (1) TWI382764B (zh)
WO (1) WO2006081098A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4997817B2 (ja) * 2006-04-19 2012-08-08 セイコーエプソン株式会社 画像処理装置
JP4797853B2 (ja) * 2006-07-19 2011-10-19 ソニー株式会社 映像信号処理装置及び方法、並びに映像信号復号装置
JP4830691B2 (ja) * 2006-07-26 2011-12-07 ソニー株式会社 映像信号処理方法及び装置、並びに映像信号復号方法
JP4848892B2 (ja) * 2006-08-25 2011-12-28 ソニー株式会社 映像信号処理装置及び方法、並びに映像信号復号装置
KR101437195B1 (ko) * 2006-12-28 2014-09-03 톰슨 라이센싱 코딩된 화상 및 영상에서 블록 아티팩트 검출
WO2009018845A1 (en) * 2007-08-09 2009-02-12 Micronas Gmbh Method for deblocking image data and device providing an image processing deblocking filter
TWI468015B (zh) * 2007-10-26 2015-01-01 Ind Tech Res Inst 視訊解碼的平行處理裝置及方法
US8462841B2 (en) * 2007-12-31 2013-06-11 Netlogic Microsystems, Inc. System, method and device to encode and decode video data having multiple video data formats
US8923384B2 (en) * 2007-12-31 2014-12-30 Netlogic Microsystems, Inc. System, method and device for processing macroblock video data
GB0807804D0 (en) * 2008-04-29 2008-06-04 Imagination Tech Ltd Interlaced video edge filtering
NO329837B1 (no) * 2008-07-09 2011-01-03 Tandberg Telecom As Fremgangsmate for prosessor-effektivt deblokkingsfiltrering
US8872856B1 (en) * 2008-08-14 2014-10-28 Zenverge, Inc. Macroblock based scaling of images using reduced memory bandwidth
US20100053181A1 (en) * 2008-08-31 2010-03-04 Raza Microelectronics, Inc. Method and device of processing video
US20100111166A1 (en) * 2008-10-31 2010-05-06 Rmi Corporation Device for decoding a video stream and method thereof
US9110849B2 (en) * 2009-04-15 2015-08-18 Qualcomm Incorporated Computing even-sized discrete cosine transforms
US8762441B2 (en) * 2009-06-05 2014-06-24 Qualcomm Incorporated 4X4 transform for media coding
US9069713B2 (en) * 2009-06-05 2015-06-30 Qualcomm Incorporated 4X4 transform for media coding
US9075757B2 (en) * 2009-06-24 2015-07-07 Qualcomm Incorporated 16-point transform for media data coding
US8451904B2 (en) 2009-06-24 2013-05-28 Qualcomm Incorporated 8-point transform for media data coding
US9081733B2 (en) * 2009-06-24 2015-07-14 Qualcomm Incorporated 16-point transform for media data coding
US9118898B2 (en) 2009-06-24 2015-08-25 Qualcomm Incorporated 8-point transform for media data coding
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
TWI424372B (zh) * 2010-03-24 2014-01-21 Altek Corp Selectable image line path means
WO2012064083A2 (ko) * 2010-11-08 2012-05-18 엘지전자 주식회사 디블록킹 필터링 방법 및 장치
EP3748964A1 (en) * 2010-12-07 2020-12-09 Sony Corporation Image processing device and image processing method
PH12018501811A1 (en) 2010-12-07 2019-02-18 Sony Corp Image processing device and image processing method
US9824066B2 (en) 2011-01-10 2017-11-21 Qualcomm Incorporated 32-point transform for media data coding
US20120194564A1 (en) 2011-01-31 2012-08-02 White Christopher J Display with secure decompression of image signals
US9432700B2 (en) * 2011-09-27 2016-08-30 Broadcom Corporation Adaptive loop filtering in accordance with video coding
CN103260023A (zh) * 2012-02-21 2013-08-21 联咏科技股份有限公司 图像编码/解码系统与其方法
KR102257542B1 (ko) * 2012-10-01 2021-05-31 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6360024B1 (en) * 1997-02-07 2002-03-19 Matsushita Electric Industrial Co., Ltd. Method and apparatus for removing noise in still and moving pictures
KR20030056455A (ko) * 2001-12-28 2003-07-04 주식회사 하이닉스반도체 파이프라인 구조를 사용하는 디블록킹 필터
EP1351513A2 (en) * 2002-04-01 2003-10-08 Broadcom Corporation Method of operating a video decoding system

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4631750A (en) * 1980-04-11 1986-12-23 Ampex Corporation Method and system for spacially transforming images
US5097518A (en) * 1990-02-27 1992-03-17 Eastman Kodak Company Technique for performing digital image scaling by logically combining or replicating pixels in blocks of differing groupsizes
EP0525513B1 (en) * 1991-07-16 2002-01-16 Yozan Inc. Method for detecting inclination of an image of characters
US5903313A (en) * 1995-04-18 1999-05-11 Advanced Micro Devices, Inc. Method and apparatus for adaptively performing motion compensation in a video processing apparatus
US5872866A (en) * 1995-04-18 1999-02-16 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by predetermination of IDCT results based on image characteristics
US6075918A (en) * 1995-10-26 2000-06-13 Advanced Micro Devices, Inc. Generation of an intermediate video bitstream from a compressed video bitstream to enhance playback performance
DE69712676T2 (de) * 1996-07-08 2003-01-02 Hyundai Curitel Inc Verfahren zur Videokodierung
US5923782A (en) * 1996-08-01 1999-07-13 Nynex Science & Technology, Inc. System for detecting and identifying substantially linear horizontal and vertical lines of engineering drawings
US5859651A (en) * 1996-08-19 1999-01-12 International Business Machines Corporation Method and apparatus for block data transfer to reduce on-chip storage for interpolative video resizing
KR100213089B1 (ko) * 1997-01-29 1999-08-02 윤종용 루프필터링 방법 및 루프필터
US6259734B1 (en) * 1998-04-03 2001-07-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data storage media
US6570579B1 (en) * 1998-11-09 2003-05-27 Broadcom Corporation Graphics display system
US6614930B1 (en) * 1999-01-28 2003-09-02 Koninklijke Philips Electronics N.V. Video stream classifiable symbol isolation method and system
US6441754B1 (en) * 1999-08-17 2002-08-27 General Instrument Corporation Apparatus and methods for transcoder-based adaptive quantization
KR100335055B1 (ko) * 1999-12-08 2002-05-02 구자홍 압축 영상신호의 블럭현상 및 링현상 제거방법
JP2001285863A (ja) * 2000-03-30 2001-10-12 Sony Corp 画像情報変換装置及び方法
DE10048438A1 (de) * 2000-09-29 2002-04-18 Siemens Ag Referenzbilddrehung
US6819803B2 (en) * 2001-07-02 2004-11-16 International Business Machines Corporation Faster lossless rotation of JPEG images
GB0124882D0 (en) * 2001-10-17 2001-12-05 Koninkl Philips Electronics Nv Improved variable length decoder
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
TW563343B (en) * 2002-03-15 2003-11-21 Via Tech Inc Image frame scaling method
US6907079B2 (en) * 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
AU2003246987A1 (en) * 2002-07-09 2004-01-23 Nokia Corporation Method and system for selecting interpolation filter type in video coding
US7379496B2 (en) * 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
JP3680845B2 (ja) * 2003-05-28 2005-08-10 セイコーエプソン株式会社 圧縮動画像の伸張装置及びそれを用いた画像表示装置
US20050013494A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation In-loop deblocking filter
US7254272B2 (en) * 2003-08-21 2007-08-07 International Business Machines Corporation Browsing JPEG images using MPEG hardware chips
ES2767933T3 (es) * 2003-09-07 2020-06-19 Microsoft Technology Licensing Llc Capa de sectores en códec de vídeo
CN1285214C (zh) * 2004-01-14 2006-11-15 华中科技大学 一种环路滤波方法和环路滤波器
CN1233171C (zh) * 2004-01-16 2005-12-21 北京工业大学 一种用于视频编码的简单化环路滤波方法
US7590059B2 (en) * 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
US7680351B2 (en) * 2004-05-21 2010-03-16 Broadcom Corporation Video deblocking method and apparatus
US20050281339A1 (en) * 2004-06-22 2005-12-22 Samsung Electronics Co., Ltd. Filtering method of audio-visual codec and filtering apparatus
US8576924B2 (en) * 2005-01-25 2013-11-05 Advanced Micro Devices, Inc. Piecewise processing of overlap smoothing and in-loop deblocking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6360024B1 (en) * 1997-02-07 2002-03-19 Matsushita Electric Industrial Co., Ltd. Method and apparatus for removing noise in still and moving pictures
KR20030056455A (ko) * 2001-12-28 2003-07-04 주식회사 하이닉스반도체 파이프라인 구조를 사용하는 디블록킹 필터
EP1351513A2 (en) * 2002-04-01 2003-10-08 Broadcom Corporation Method of operating a video decoding system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Bin Sheng; Wen Gao; Di Wu; "A platform-based architecture of loop filter for AVS," Proc. 7th International Conference on Signal Processing, Vol. 1, pp. 571 - 574, 31 Aug.-4 Sept. 2004. *

Also Published As

Publication number Publication date
GB0712488D0 (en) 2007-08-08
CN101160971A (zh) 2008-04-09
JP2008529412A (ja) 2008-07-31
US20060165164A1 (en) 2006-07-27
TW200701795A (en) 2007-01-01
US7792385B2 (en) 2010-09-07
KR20070111467A (ko) 2007-11-21
GB2435788B (en) 2010-08-25
WO2006081098A1 (en) 2006-08-03
DE112006000270T5 (de) 2007-12-13
CN101160971B (zh) 2012-03-07
GB2435788A (en) 2007-09-05

Similar Documents

Publication Publication Date Title
TWI382764B (zh) 用於儲存中間迴路過濾資料之暫存記憶體（ｓｃｒａｔｃｈ ｐａｄ）
TWI461065B (zh) 重疊平滑與迴路內（ｉｎ-ｌｏｏｐ）去區塊（ｄｅｂｌｏｃｋｉｎｇ）之分段處理
US8009740B2 (en) Method and system for a parametrized multi-standard deblocking filter for video compression systems
JP4577048B2 (ja) 画像符号化方法、画像符号化装置および画像符号化プログラム
US20060115002A1 (en) Pipelined deblocking filter
JP4393875B2 (ja) 複雑さの軽減された復号化に適したシングルレイヤビデオ符号化されたビットストリームを供給するシステム及び方法
US20060133504A1 (en) Deblocking filters for performing horizontal and vertical filtering of video data simultaneously and methods of operating the same
JP2005510150A (ja) より大きな画素グリッド動き補償を利用した複雑さが減少されたビデオ復号化
US10986373B2 (en) Moving image encoding method, moving image decoding method, moving image encoding device, and moving image decoding device
JP6242139B2 (ja) 動画像復号処理装置およびその動作方法
JP2006157925A (ja) パイプラインデブロッキングフィルタ
JP2007013298A (ja) 画像符号化装置
JP5496047B2 (ja) 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム
US20140105306A1 (en) Image processing apparatus and image processing method
JP2007258882A (ja) 画像復号装置
KR20050121627A (ko) 동영상 코덱의 필터링 방법 및 필터링 장치
JP7359653B2 (ja) 動画像符号化装置
KR100636911B1 (ko) 색도 신호의 인터리빙 기반 동영상 복호화 방법 및 그 장치
KR100556341B1 (ko) 메모리 대역폭이 감소된 비디오 디코더 시스템
KR101063421B1 (ko) 영상 디코더 및 영상 디코딩 방법
KR101063423B1 (ko) 디블록 필터링 방법 및 장치
Shoham et al. Introduction to video compression
JP2007295333A (ja) 画像復号処理回路及び方法及びプログラム、並びに半導体集積回路

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees