TWI519171B - 視訊處理裝置及方法 - Google Patents

視訊處理裝置及方法 Download PDF

Info

Publication number
TWI519171B
TWI519171B TW097144884A TW97144884A TWI519171B TW I519171 B TWI519171 B TW I519171B TW 097144884 A TW097144884 A TW 097144884A TW 97144884 A TW97144884 A TW 97144884A TW I519171 B TWI519171 B TW I519171B
Authority
TW
Taiwan
Prior art keywords
motion
module
motion vectors
video processing
video stream
Prior art date
Application number
TW097144884A
Other languages
English (en)
Other versions
TW201002075A (en
Inventor
張德浩
呂忠晏
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41431261&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TWI519171(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201002075A publication Critical patent/TW201002075A/zh
Application granted granted Critical
Publication of TWI519171B publication Critical patent/TWI519171B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Description

視訊處理裝置及方法
本發明係有關於一種用於訊框率變換(frame rate conversion)及視訊壓縮(video compression)之聯合系統(joint system)，尤指一種可於訊框率變換及視訊壓縮間共享運動估測模組及運動補償模組之處理(processes)的系統。
請參考第1圖，其係為先前技術中運動估測/補償(Motion Estimation/Compensation,ME/MC)之訊框率變換電路100之方塊圖。訊框率變換電路100將取樣率(sample rate)為24-30赫茲之電影或動畫來源(animated source)變換為取樣率為50-60赫茲或100-120赫茲之播放視訊串流(video stream)，其包括運動估測電路110、運動補償電路120以及儲存單元130，其中儲存單元130可係為動態隨機存取記憶體(Dynamic Random Access Memory,DRAM)。儲存單元130暫時儲存輸入訊框，運動估測電路110從儲存單元130中擷取兩個訊框(一個當前訊框和一個先前訊框)，並比較上述兩個訊框以產生用以指示一個像素之運動的運動向量(motion vector)，而該像素之運動係對應於從先前訊框至當前訊框之該像素的位置移動。運動補償電路120亦從儲存單元130擷取上述兩個訊框，上述兩個訊框可與從運動估測電路110接收之運動向量一並處理，以產生插值於當前訊框與先前訊框之間的一個訊框。
上述操作統稱為具影像抖動消除(Movie Judder Cancellation,MJC)之訊框率變換。執行上述操作之後，輸出視訊具有較輸入視訊更高之訊框率，且減少了抖動假影(judder artifact)。因此，即使訊框中的物體與背景處於運動中，訊框率變換電路100仍可準確插值中間訊框(intermediate frame)。
如第2圖所示，視訊編碼中亦利用了運動估測及運動補償。視訊編碼器200被用來藉由移除輸入訊框之冗餘(redundancy)來壓縮輸入視訊串流，換言之，傳送至接收端(receiving end)的視訊編碼器200之輸出的壓縮串流僅包括兩個相鄰訊框間的差異。隨後，接收端藉由補償該差異來重建初始訊框串流。
因此，視訊編碼器200包括儲存單元230(可係為DRAM)，以暫時儲存輸入訊框；亦包括運動估測電路210，以從儲存單元230擷取兩個訊框，亦即一個訊框內編碼訊框(intra-coded frame,I frame)及一個預測編碼訊框(predicted frame,P frame)，並將兩個訊框進行比較以產生一個殘餘(residue)及一個用以指示上述兩個訊框間的差異之運動向量。上述殘餘隨後被區塊編碼電路240編碼，並被發送至位元串流產生器260以產生壓縮位元串流。區塊解碼電路250及運動補償電路220模擬接收端所採取之操作以重建初始訊框：區塊解碼電路250解碼編碼的殘餘，接著，依據區塊解碼電路250產生之殘餘以及運動估測電路210產生之運動 向量，運動補償電路220產生重建訊框(reconstructed frame)。重建訊框將作為P frame於下一編碼週期中得到利用。於被運動估測電路210擷取之前，重建訊框係儲存於儲存單元230。
然而，資料壓縮及訊框率變換操作經常係為獨立執行，此種做法相當浪費資源，其亦需要很大的晶片面積以複製運動估測電路及運動補償電路。
為減少資源浪費並減小所需晶片面積，特提供以下技術方案：本發明提供一種視訊處理裝置，用於對輸入視訊串流執行視訊編碼及訊框率變換，上述視訊處理裝置包括：儲存模組、視訊編碼模組、運動補償模組以及運動估測模組。儲存模組用於儲存包括多個訊框之輸入視訊串流；運動估測模組用於從儲存模組中擷取輸入視訊串流，以及依據輸入視訊串流產生多個運動向量；視訊編碼模組用於編碼輸入視訊串流，以及依據多個運動向量產生壓縮位元串流；運動補償模組耦接至儲存模組及視訊編碼模組，於變換模式下，運動補償模組依據輸入視訊串流及多個運動向量對該輸入視訊串流執行影像抖動消除，以產生輸出視訊串流，於編碼模式下，運動補償模組依據輸入視訊串流及多個運動向量產生重建訊框，並將重建訊框儲存至儲存模組。
本發明另提供一種視訊處理方法，用於對輸入視訊串流執行 視訊編碼及訊框率變換，上述視訊處理方法包括：(a)儲存包括多個訊框之輸入視訊串流至儲存模組；(b)從儲存模組中擷取輸入視訊串流，並依據輸入視訊串流產生多個運動向量；(c)依據多個運動向量對輸入視訊串流進行編碼，以產生壓縮位元串流；(d)於一變換模式下，依據輸入視訊串流及多個運動向量對輸入視訊串流執行影像抖動消除，以產生輸出視訊串流；以及(e)於一編碼模式下，依據輸入視訊串流及多個運動向量產生重建訊框，並將重建訊框儲存至儲存模組。
以上所述的視訊處理裝置及方法，能夠於訊框率變換與視訊壓縮間共享運動估測模組與運動補償模組之資訊及硬體，從而減少所需資源並減小晶片面積。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，硬體製造商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的「包括」係為一開放式的用語，故應解釋成「包括但不限定於」。另外，「耦接」一詞在此係包括任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表該第一裝置可直接電氣連接於該第二裝置，或透過其 他裝置或連接手段間接地電氣連接至該第二裝置。
請參考第3圖，第3圖係依本發明之一實施例的視訊處理裝置300的方塊圖。第1圖及第2圖中先前技術之系統，每一個系統都需要一個運動估測模組、一個運動補償模組以及一個儲存模組來分別執行訊框率變換以及視訊編碼，而視訊處理裝置300則與之不同，視訊處理裝置300可同時提供訊框率變換功能及視訊編碼功能，而僅需要一個運動估測模組310、一個運動補償模組320、一個視訊編碼模組335以及一個儲存模組330。
儲存模組330可係為DRAM，其儲存包括多個訊框之輸入視訊串流。於一實施例中，運動估測模組310僅包括一個運動估測單元，運動補償模組320亦僅包括一個運動補償單元，而視訊處理裝置300則包括兩個模式，即變換模式與編碼模式。
當視訊處理裝置300切換至變換模式時，控制視訊編碼模組335以使其禁能，而運動估測模組310與運動補償模組320則被配置以產生輸出視訊串流，上述視訊串流之訊框率不同於輸入視訊串流之訊框率。舉例而言，運動估測模組310從儲存模組330擷取一個目標訊框(target frame)及一個參考訊框(reference frame)，隨後依據上述目標訊框及參考訊框產生一個運動向量。上述運動向量被傳送至運動補償模組320，而運動補償模組320亦從儲存模組330擷取上述目標訊框及參考訊框，並依據上述目標訊框、上 述參考訊框以及上述運動向量來產生插值訊框(interpolated frame)。於運動補償模組320將訊框插值入輸入視訊串流之後，輸出視訊串流亦產生。
然而，當視訊處理裝置300處於編碼模式時，視訊編碼模組335被致能，而運動估測模組310與運動補償模組320則被配置以執行資料壓縮程序。運動估測模組310從儲存模組330擷取一個目標訊框及一個參考訊框，依據上述目標訊框及參考訊框，運動估測模組310產生傳送至運動補償模組320的一個運動向量以及傳送至視訊編碼模組335的一個殘餘。視訊編碼模組335中之區塊編碼電路340隨後編碼上述殘餘以產生編碼的殘餘，並將編碼的殘餘傳送至視訊編碼模組335中之位元串流產生器360以及區塊解碼電路350。位元串流產生器360依據運動向量及上述編碼的殘餘產生輸出的壓縮位元串流。此外，於編碼的殘餘被區塊解碼電路350解碼之後，處理後殘餘、運動向量以及參考訊框被一並處理以產生重建訊框，上述重建訊框被運動補償模組320回存至儲存模組330。
本實施例中，由於運動估測模組310僅包括一個運動估測單元，運動補償模組320僅包括一個運動補償單元，而其又被一個控制信號控制而可選地處於變換模式或編碼模式，因此視訊處理裝置300可於不同時間執行訊框率變換及視訊編碼(視訊處理裝置300每次僅能依據一種模式執行相關操作)。然而，於變換模式 及編碼模式下，運動估測模組310之運動估測方法可有所不同，以得到最佳解決方法。對於訊框率變換，可採用第一運動估測方法，例如三維遞迴搜尋(3D Recursive Search,3DRS)；而對於視訊編碼，則可採用第二運動估測方法，例如完全搜尋(full search)。
第4圖係依本發明之另一實施例的視訊處理裝置400的方塊圖，視訊處理裝置400可同時啟動訊框率變換功能及視訊編碼功能。相較於上一實施例，視訊處理裝置400之運動補償模組420包括第一運動補償單元422及第二運動補償單元424兩個運動補償單元，且每一運動補償單元負責一種功能。舉例而言，第一運動補償單元422負責訊框率變換功能，因此，第一運動補償單元422從儲存模組430擷取目標訊框及參考訊框，接收運動估測模組410產生的運動向量，並依據上述訊框及運動向量產生輸出視訊串流，其中輸出視訊串流之訊框率不同於輸入視訊串流之訊框率。同時，第二運動補償單元424負責視訊編碼，因此，第二運動補償單元424依據從視訊編碼模組435(包括區塊編碼電路440、區塊解碼電路450以及位元串流產生器460)處接收的處理後殘餘、參考訊框以及從運動估測模組410處接收的運動向量來產生重建訊框，並將重建訊框儲存至儲存模組430。
由於訊框率變換功能及視訊編碼功能係分別由各自專屬的運動補償單元完成，視訊處理裝置400不需要兩種模式，因此，其可能不需要於兩種不同模式間進行功能性切換。藉由共享運動估 測及儲存介面，兩種功能可被同時執行。相較於需要兩個運動估測單元與兩個運動補償單元來實現訊框率變換及視訊編碼的先前技術之系統，儲存模組430(例如DRAM)之頻寬可大大減少。此外，於本實施例種，由於兩種功能同時執行，不管運動向量係用於訊框率變換或用於視訊編碼，運動估測模組410皆依據單一的運動估測方法來產生運動向量。舉例而言，運動估測模組410可採取3DRS方法，因為對於訊框率變換而言，3DRS方法較佳。
考慮到視訊處理裝置400實現的其它功能，例如數位視訊系統具有的立即重播(instant replay)與回播(rewind)，改進的視訊處理裝置500如第5圖所示。視訊處理裝置500可對當前視訊串流執行視訊編碼，並對先前視訊串流執行訊框率變換，從而使播放裝置(例如數位視訊系統中的電視機)可立即重播或回播先前接收的節目。
於本實施例中，第一運動補償單元422及第二運動補償單元424利用不同的訊框來分別執行訊框率變換及視訊編碼。因此，運動估測模組410並不直接提供運動向量至第一運動補償單元422，而是將運動向量儲存至一個儲存空間(於第5圖中，上述儲存空間位於儲存模組430內，然而，其亦可位於其它儲存裝置內)，第一運動補償單元422進一步從上述儲存空間擷取適合的運動向量。藉由上述方法，當立即重播/回播功能被致能時，第一運動補償單元422可從上述儲存空間得到先前輸入視訊串流之運動向 量，以產生具有先前接收的節目的輸出視訊串流，而第二運動補償單元424與視訊編碼模組435仍產生代表當前輸入視訊串流之輸出的壓縮位元串流。
第6圖所示係為支援立即重播與回播功能的視訊處理裝置的實施例。視訊處理裝置600更包括耦接至位元串流產生器460及第一運動補償單元422之解碼器670。位元串流產生器460將接收自運動估測模組410的運動向量打包至輸出的壓縮位元串流中，並將輸出的壓縮位元串流傳送至接收端(未繪示)與解碼器670。於解碼器670將運動向量從輸出的壓縮位元串流中解碼之後，運動向量可被用於由第一運動補償單元422執行的下一影像抖動消除。
下文將揭露依本發明另一實施例的視訊處理裝置。第7圖所示之視訊處理裝置700包括兩個運動估測單元(第一運動估測單元712與第二運動估測單元714)與兩個運動補償單元(第一運動補償單元722與第二運動補償單元724)，其中第一運動補償單元722負責訊框率變換之影像抖動消除，第二運動補償單元724負責視訊解碼，上述運動補償單元大體與前面所揭露之運動補償單元422、424相同。因此，視訊處理裝置700亦可同時啟動訊框率變換及視訊壓縮。
第一運動估測單元712產生傳送至第一運動補償單元722之 運動向量；第二運動估測單元714產生傳送至第二運動補償單元714之運動向量，並產生傳送至視訊編碼模組735之殘餘。然而，第一運動補償單元722與第二運動補償單元724可相互共享必要資訊(例如運動向量)，因此，可減少計算量，並進一步提升運動估測之性能。
舉例而言，一個運動估測單元(例如第二運動估測單元714)接收另一運動估測單元(例如第一運動估測單元712)產生之運動向量，而不是自己產生運動向量，亦即，一個運動估測單元可以採用由另一運動估測單元產生之運動向量直接作為自己產生之運動向量或是作為自己產生運動向量之參考。因此，可以得到例如計算量減少、收斂快速(faster convergence)以及壓縮率提升(improved compression efficiency)等優勢。從第一運動估測單元712接收到運動向量之後，第二運動估測單元714可依據與第一運動估測單元712中使用之運動估測方法不同之運動估測方法來淨化上述運動向量，以提升效率及性能。舉例而言，第一運動估測單元712依據3DRS方法產生初始運動向量，第二運動估測單元714進一步依據具有較小搜尋範圍之完全搜尋方法淨化從第一運動估測單元712接收之運動向量，從而減少計算量。
應注意，第一運動補償單元722與第二運動補償單元724間共享之資訊並不限於運動向量，且初始運動向量亦可由第二運動估測單元714產生，並由第一運動估測單元712淨化。
類似地，視訊處理裝置700可被改進以支援例如立即重播及回播之功能。請參考第8圖及第9圖，其分別繪示了改進的視訊處理裝置800與900。視訊處理裝置800將運動估測模組710(例如第一運動估測單元712)產生之運動向量儲存至一個儲存空間或儲存模組730，然後第一運動補償單元722從上述儲存空間或儲存模組730擷取適合的運動向量。於第9圖中，額外提供解碼器970以解碼輸出的壓縮位元串流中的運動向量，並將上述運動向量提供至第一運動補償單元722。由於上述實施例已於上文揭露，為簡化說明，省略其進一步之描述。
簡言之，於上述實施例中，運動估測模組可於訊框率變換與視訊解碼操作間共享資訊，例如運動向量，或共享硬體，例如從儲存模組擷取訊框之資料地址產生器、區塊匹配(例如絕對誤差和計算)單元、用於快取區塊匹配之搜尋範圍的片上靜態隨機存取記憶體、運動向量產生器及儲存器、或精度為1/4之像素插值器，上述像素插值器可於運動向量為非整數時使運動向量更精確。運動補償模組可於訊框率變換及視訊編碼間共享硬體，例如資料地址產生器、用於運動補償之片上靜態隨機存取記憶體、或精度為1/4之像素插值器。此外，儲存模組之共享輸入/輸出介面以及先進先出(First-In-First-Out,FIFO)存取，例如DRAM，亦有益於視訊處理裝置。
當以上所述之視訊處理裝置實現於電視機產品時，由於藉由儲存運動向量至儲存模組或其它儲存裝置而減少DRAM之頻寬，其可以以低耗費支援訊框率變換、立即重播應用以及時間平移應用。運動向量之資料率僅係為視訊串流之資料率的1%，因此不會導致干擾或性能減退。當電視機處於正常模式(normal mode)時，第一運動補償單元執行影像抖動消除以擷取當前運動向量；然而，當電視機處於延遲重放模式(delayed playback mode)時，第一運動補償單元被控制以擷取儲存的運動向量。
更進一步，本發明所建議之共享之概念可擴充至與其它功能相結合，例如解交錯(de-interlacing)、編碼、視訊降噪(Noise Reduction,NR)、超解析度(super resolution)以及其它需要運動估測與運動補償所產生之運動資訊的功能。系統所需之資源亦因此而減少。
以上所述僅為本發明之較佳實施例，舉凡熟悉本案之人士援依本發明之精神所做之等效變化與修飾，皆應涵蓋於後附之申請專利範圍內。
100‧‧‧訊框率變換電路
110、210‧‧‧運動估測電路
120、220‧‧‧運動補償電路
130、230‧‧‧儲存單元
200‧‧‧視訊編碼器
240‧‧‧區塊編碼電路
250‧‧‧區塊解碼電路
260‧‧‧位元串流產生器
300、400、500、600、700、800、900‧‧‧視訊處理裝置
310、410、710‧‧‧運動估測模組
320、420、720‧‧‧運動補償模組
330、430、730‧‧‧儲存模組
335、435、735‧‧‧視訊編碼模組
340、440、740‧‧‧區塊編碼電路
350、450、750‧‧‧區塊解碼電路
360、460、760‧‧‧位元串流產生器
422、722‧‧‧第一運動補償單元
424、724‧‧‧第二運動補償單元
670、970‧‧‧解碼器
712‧‧‧第一運動估測單元
714‧‧‧第二運動估測單元
第1圖係先前技術之訊框率變換電路的方塊圖。
第2圖係先前技術之視訊解碼器的方塊圖。
第3圖係依本發明之第一實施例的視訊處理裝置的方塊圖。
第4圖係依本發明之第二實施例的視訊處理裝置的方塊圖。
第5圖係依本發明之第三實施例的視訊處理裝置的方塊圖。
第6圖係依本發明之第四實施例的視訊處理裝置的方塊圖。
第7圖係依本發明之第五實施例的視訊處理裝置的方塊圖。
第8圖係依本發明之第六實施例的視訊處理裝置的方塊圖。
第9圖係依本發明之第七實施例的視訊處理裝置的方塊圖。
300‧‧‧視訊處理裝置
310‧‧‧運動估測模組
320‧‧‧運動補償模組
330‧‧‧儲存模組
335‧‧‧視訊編碼模組
340‧‧‧區塊編碼電路
350‧‧‧區塊解碼電路
360‧‧‧位元串流產生器

Claims (24)

  1. 一種視訊處理裝置，用於對一輸入視訊串流執行一視訊編碼及一訊框率變換，該視訊處理裝置包括：一儲存模組，用於儲存包括多個訊框之該輸入視訊串流；一運動估測模組，用於從該儲存模組中擷取該輸入視訊串流，以及依據該輸入視訊串流產生多個運動向量；一視訊編碼模組，用於編碼該輸入視訊串流，以及依據該多個運動向量產生一壓縮位元串流；以及一運動補償模組，耦接至該儲存模組及該視訊編碼模組，於一變換模式下，該運動補償模組依據該輸入視訊串流及該多個運動向量對該輸入視訊串流執行影像抖動消除，以產生一輸出視訊串流，於一編碼模式下，該運動補償模組依據該輸入視訊串流及該多個運動向量產生一重建訊框，並將該重建訊框儲存至該儲存模組。
  2. 如申請專利範圍第1項所述之視訊處理裝置，其中該運動補償模組僅包括一運動補償單元，且該運動補償單元由一控制信號控制，以於該變換模式及該編碼模式間切換。
  3. 如申請專利範圍第1項所述之視訊處理裝置，其中當該運動補償模組處於該切換模式時，該運動估測模組依據一第一運動估測方法產生該多個運動向量；當該運動補償模組處於該編碼模式時，該運動估測模組依據不同於該第一運動估測方法之一第二運 動估測方法產生該多個運動向量。
  4. 如申請專利範圍第1項所述之視訊處理裝置，其中該運動補償模組包括：一第一運動補償單元，耦接至該儲存模組及該運動估測模組，用於從該儲存模組擷取該輸入視訊串流，依據該輸入視訊串流及該多個運動向量對該輸入視訊串流執行影像抖動消除，以產生該輸出視訊串流；以及一第二運動補償單元，耦接至該儲存模組、該運動估測模組及該視訊編碼模組，依據該輸入視訊串流及接收自該運動估測模組之該多個運動向量，該第二運動補償單元從該儲存模組擷取該輸入視訊串流，以產生該重建訊框。
  5. 如申請專利範圍第4項所述之視訊處理裝置，其中該第一運動補償單元及該第二運動補償單元同時運作。
  6. 如申請專利範圍第4項所述之視訊處理裝置，其中該運動估測模組依據一單一運動估測方法產生該多個運動向量。
  7. 如申請專利範圍第4項所述之視訊處理裝置，其中該第一運動補償單元直接從該運動估測模組接收該多個運動向量。
  8. 如申請專利範圍第4項所述之視訊處理裝置，其中該運動估測 模組將該多個運動向量儲存至一儲存空間，且該第一運動補償單元從該儲存空間擷取該多個運動向量。
  9. 如申請專利範圍第8項所述之視訊處理裝置，其中該儲存空間位於該儲存模組中。
  10. 如申請專利範圍第4項所述之視訊處理裝置，更包括一解碼器，耦接至該視訊編碼模組及該第一運動補償單元，用於解碼該壓縮位元串流以獲取該壓縮位元串流中的該多個運動向量，以及將該多個運動向量傳送至該第一運動補償單元。
  11. 如申請專利範圍第1項所述之視訊處理裝置，其中該運動估測模組包括：一第一運動估測單元，用於產生多個第一運動向量；以及一第二運動估測單元，用於根據該多個第一運動向量及該輸入視訊串流提供多個第二運動向量；其中，該多個第一運動向量和該多個第二運動向量中之一種運動向量被提供至該運動補償模組以於該變換模式下進行影像抖動消除，該多個第一運動向量和該多個第二運動向量中之另一種運動向量被提供至該運動補償模組以於該編碼模式下產生該重建訊框。
  12. 如申請專利範圍第11項所述之視訊處理裝置，其中該第一運 動估測單元依據一第一運動估測方法產生該多個第一運動向量，該第二運動估測單元依據不同於該第一運動估測方法之一第二運動估測方法產生該多個第二運動向量。
  13. 如申請專利範圍第11項所述之視訊處理裝置，其中該第一運動估測單元更將產生的該多個第一運動向量儲存至一儲存空間，以及該第二運動估測單元從該儲存空間擷取該多個第一運動向量。
  14. 如申請專利範圍第13項所述之視訊處理裝置，其中該儲存空間位於該儲存模組中。
  15. 如申請專利範圍第11項所述之視訊處理裝置，其中該第二運動估測單元耦接至該儲存模組及該運動補償模組，該第一運動估測單元耦接至該儲存模組、該視訊編碼模組及該運動補償模組，以及該視訊處理裝置更包括：一解碼器，耦接至該視訊編碼模組及該第二運動估測單元，用於解碼該壓縮位元串流以獲取該壓縮位元串流中的該多個運動向量，以及將該多個運動向量傳送至該第二運動估測單元。
  16. 如申請專利範圍第11項所述之視訊處理裝置，其中該第二運動估測單元以該多個第一運動向量作為該多個第二運動向量。
  17. 一種視訊處理方法，用於對一輸入視訊串流執行一視訊編碼及一訊框率變換，該視訊處理方法包括：(a)儲存包括多個訊框之該輸入視訊串流至一儲存模組；(b)從該儲存模組中擷取該輸入視訊串流，並依據該輸入視訊串流產生多個運動向量；(c)依據該多個運動向量對該輸入視訊串流進行編碼，以產生一壓縮位元串流；(d)於一變換模式下，依據該輸入視訊串流及該多個運動向量對該輸入視訊串流執行影像抖動消除，以產生一輸出視訊串流；以及(e)於一編碼模式下，依據該輸入視訊串流及該多個運動向量產生一重建訊框，並將該重建訊框儲存至該儲存模組。
  18. 如申請專利範圍第17項所述之視訊處理方法，其中步驟(b)中該依據該輸入視訊串流產生多個運動向量之步驟更包括：將該多個運動向量儲存至一儲存空間，步驟(d)更包括：從該儲存空間擷取該多個運動向量。
  19. 如申請專利範圍第18項所述之視訊處理方法，其中該儲存空間位於該儲存模組中。
  20. 如申請專利範圍第17項所述之視訊處理方法，其中步驟(d)更包括：解碼該壓縮位元串流，以獲取該壓縮位元串流中的該多個 運動向量，以用於產生該輸出視訊串流。
  21. 如申請專利範圍第17項所述之視訊處理方法，其中步驟(d)更包括：依據該輸入視訊串流及步驟(b)中產生的該多個運動向量產生多個運動向量，以用於產生該壓縮位元串流。
  22. 如申請專利範圍第21項所述之視訊處理方法，其中步驟(b)中之該多個運動向量係依據一第一運動估測方法產生，步驟(d)中之該多個運動向量係依據不同於該第一運動估測方法之一第二運動估測方法產生。
  23. 如申請專利範圍第17項所述之視訊處理方法，其中步驟(e)更包括：依據該輸入視訊串流及步驟(b)中產生的該多個運動向量產生多個運動向量，以用於產生該重建訊框。
  24. 如申請專利範圍第23項所述之視訊處理方法，其中步驟(b)中之該多個運動向量係依據一第一運動估測方法產生，步驟(e)中之該多個運動向量係依據不同於該第一運動估測方法之一第二運動估測方法產生。
TW097144884A 2008-06-23 2008-11-20 視訊處理裝置及方法 TWI519171B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/143,854 US8284839B2 (en) 2008-06-23 2008-06-23 Joint system for frame rate conversion and video compression

Publications (2)

Publication Number Publication Date
TW201002075A TW201002075A (en) 2010-01-01
TWI519171B true TWI519171B (zh) 2016-01-21

Family

ID=41431261

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097144884A TWI519171B (zh) 2008-06-23 2008-11-20 視訊處理裝置及方法

Country Status (5)

Country Link
US (1) US8284839B2 (zh)
EP (1) EP2304931B1 (zh)
CN (1) CN102067583B (zh)
TW (1) TWI519171B (zh)
WO (1) WO2009155759A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284839B2 (en) 2008-06-23 2012-10-09 Mediatek Inc. Joint system for frame rate conversion and video compression
US8494058B2 (en) 2008-06-23 2013-07-23 Mediatek Inc. Video/image processing apparatus with motion estimation sharing, and related method and machine readable medium
WO2010128640A1 (ja) * 2009-05-07 2010-11-11 コニカミノルタホールディングス株式会社 ステレオ画像取得装置
US9270926B2 (en) * 2010-06-22 2016-02-23 Newblue, Inc. System and method for distributed media personalization
CN102647559B (zh) * 2012-04-26 2016-04-13 广州盈可视电子科技有限公司 一种云台跟踪录制的方法和装置
US8681270B2 (en) * 2012-07-25 2014-03-25 Vixs Systems, Inc. Motion adaptive deinterlacer and methods for use therewith
US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
RU2656785C1 (ru) * 2017-08-03 2018-06-06 Самсунг Электроникс Ко., Лтд. Оценка движения путем трехмерного рекурсивного поиска (3drs) в реальном времени для преобразования частоты кадров (frc)
US11722635B2 (en) 2021-06-22 2023-08-08 Samsung Electronics Co., Ltd. Processing device, electronic device, and method of outputting video

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247355A (en) * 1992-06-11 1993-09-21 Northwest Starscan Limited Partnership Gridlocked method and system for video motion compensation
DE19618351A1 (de) 1996-05-08 1997-11-13 Thomson Brandt Gmbh Verfahren und Schaltungsanordnung zum speicheroptimierten Verarbeiten eines FBAS-Signals
US6519287B1 (en) * 1998-07-13 2003-02-11 Motorola, Inc. Method and apparatus for encoding and decoding video signals by using storage and retrieval of motion vectors
DE69942157D1 (de) * 1999-05-13 2010-04-29 St Microelectronics Asia Adaptiver bewegungsschätzer
KR100683849B1 (ko) * 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
US20040179599A1 (en) * 2003-03-13 2004-09-16 Motorola, Inc. Programmable video motion accelerator method and apparatus
US20070121724A1 (en) * 2004-01-27 2007-05-31 Koninklijke Philips Electronics, N.V. Image motion compensation arrangement and method therefor
BRPI0512816A (pt) * 2004-07-01 2008-04-08 Qualcomm Inc método e equipamento para utilizar técnicas de conversão ascendente de taxa de quadro em codificação de vìdeo escalonável
CN101189882B (zh) * 2004-07-20 2012-08-01 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
KR100644629B1 (ko) * 2004-09-18 2006-11-10 삼성전자주식회사 하이브리드 블록 매칭 기반의 움직임 추정 방법 및 그를적용한 프레임 레이트 변환 장치
US7778476B2 (en) * 2005-10-21 2010-08-17 Maxim Integrated Products, Inc. System and method for transform coding randomization
US7705885B2 (en) * 2006-06-15 2010-04-27 Freescale Semiconductor, Inc. Image and video motion stabilization system
CN101554053A (zh) 2006-08-30 2009-10-07 Ati技术有限公司 视频处理所共享的帧缓存
US20110211637A1 (en) * 2007-11-20 2011-09-01 Ub Stream Ltd. Method and system for compressing digital video streams
US8284839B2 (en) 2008-06-23 2012-10-09 Mediatek Inc. Joint system for frame rate conversion and video compression

Also Published As

Publication number Publication date
EP2304931B1 (en) 2015-10-28
TW201002075A (en) 2010-01-01
WO2009155759A1 (en) 2009-12-30
EP2304931A4 (en) 2013-01-02
CN102067583A (zh) 2011-05-18
CN102067583B (zh) 2012-10-17
US20090316785A1 (en) 2009-12-24
EP2304931A1 (en) 2011-04-06
US8284839B2 (en) 2012-10-09

Similar Documents

Publication Publication Date Title
TWI519171B (zh) 視訊處理裝置及方法
US8494058B2 (en) Video/image processing apparatus with motion estimation sharing, and related method and machine readable medium
US8902966B2 (en) Video decoding device
KR100542146B1 (ko) Ｍｐｅｇ 코딩된 이미지 표현 데이터의 디지털 데이터스트림을 처리하는 방법 및 시스템
NO342829B1 (no) Datamaskinlesbart lagringsmedium og apparat for koding av et flertall av videobilder ved bruk av en rekkefølgeverdi
US20070074117A1 (en) Multimedia coding techniques for transitional effects
US7113644B2 (en) Image coding apparatus and image coding method
JP2004336451A (ja) 画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法
US7330595B2 (en) System and method for video data compression
JPH0723389A (ja) 画像処理装置
US9591319B2 (en) Video encoder
KR100203281B1 (ko) 강제적 한방향 운동보상에 근거한 동화상 복호화장치
US20110122952A1 (en) Motion estimation device
CN101637027A (zh) 解码方法、解码器以及解码装置
JPH1175198A (ja) 画像信号圧縮装置及び方法、並びに記録媒体
JP2007166022A (ja) 映像表示システム及び映像表示装置
JP2000287213A (ja) 動画像符号化装置
JP4894793B2 (ja) デコード方法、デコーダ及びデコード装置
JP2007020123A (ja) 動き検出装置、および動き検出方法
KR20060043120A (ko) 영상 신호의 인코딩 및 디코딩 방법
KR0129576B1 (ko) 영상 복호기에 있어서의 반픽셀 움직임 보상회로
JP2001016589A (ja) 画像情報変換装置、画像情報伝達システム及び画像情報変換方法
JP2009111797A (ja) エンコーダ、及び記録装置
JPH0738899A (ja) 画像符号化装置
JP2005229423A (ja) 逆直交変換装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees