TWI486061B - 視頻資料處理方法和系統 - Google Patents

視頻資料處理方法和系統 Download PDF

Info

Publication number
TWI486061B
TWI486061B TW097142030A TW97142030A TWI486061B TW I486061 B TWI486061 B TW I486061B TW 097142030 A TW097142030 A TW 097142030A TW 97142030 A TW97142030 A TW 97142030A TW I486061 B TWI486061 B TW I486061B
Authority
TW
Taiwan
Prior art keywords
video
image
motion vector
data
engine
Prior art date
Application number
TW097142030A
Other languages
English (en)
Other versions
TW200939785A (en
Inventor
Sherman Xuemin Chen
Brian Heng
Original Assignee
Broadcom Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Broadcom Corp filed Critical Broadcom Corp
Publication of TW200939785A publication Critical patent/TW200939785A/zh
Application granted granted Critical
Publication of TWI486061B publication Critical patent/TWI486061B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

視頻資料處理方法和系統
本發明涉及數位視頻處理，更具體地說，涉及一種利用從壓縮視頻流中提取的資訊進行運動補償圖像率提升(picture rate up-conversion，縮寫為PRUC)的方法和系統。
視頻顯示技術正在經歷變革，基於液晶顯示器(LCD)或者等離子顯示平板(PDP)的平面螢幕顯示器正在取代統治顯示領域大半個世紀的陰極射線管(CRT)技術。現有新技術的顯著特點是圖像以較高的圖像率通過逐行掃描(progressive scanning)顯示在平板顯示幕上。此項新的顯示技術還可促進從標清電視(SDTV)向高清電視(HDTV)的快速轉換。然而，傳統的老式視頻壓縮系統仍然使用低圖像率的格式，並不能在現代的新顯示幕上最優地顯示老式視頻。
通道容量的限制可能會對低圖像率的圖像的顯示造成影響。例如，一個30Hz的視頻序列通過移動網路進行廣播，那麼移動終端例如移動電話就會從伺服器接收到一個編碼後的視頻序列。然而，基於帶寬的限制，只能傳送低位元流的視頻序列。因此，解碼器將會移除待傳送的每三個圖像中的兩個圖像，從而最後的視頻序列的圖像率僅為10Hz。終端雖然能夠顯示30Hz的視頻，但由於其接收到的視頻僅為10Hz，因此該終端在顯示過程中需要進行圖像率轉換。
比較本發明後續將要結合附圖介紹的系統，現有技術的其他 局限性和弊端對於本領域的普通技術人員來說是顯而易見的。
本發明提供了利用從壓縮視頻流中提取的資訊進行運動補償圖像率提升(PRUC)的系統和/或方法，結合至少一幅附圖進行了充分的展現和描述，並在權利要求中得到了更完整的闡述。
根據本發明的一個方面，本發明提供了一種視頻資料處理方法，所述方法包括：從接收到的壓縮視頻資料中提取出圖像率提升(PRUC)資料；基於所述提取出的PRUC資料生成多個插補圖像。
優選地，所述提取出的PRUC資料包括塊運動向量、塊編碼模式、量化等級、量化殘留資料和/或解碼圖像中的一項或多項。
優選地，所述方法包括：基於對所述接收到的壓縮資料進行的解壓縮來生成所述解碼圖像。
優選地，所述方法包括：對所述解碼圖像進行濾波以減小雜訊。
優選地，所述方法包括：基於所述塊運動向量生成一個或多個運動向量。
優選地，所述生成的一個或多個運動向量包括下面兩者中至少一者：一個或多個局部運動向量和/或一全局運動向量。
優選地，所述方法包括：對多個所述塊運動向量進行累加以生成所述全局運動向量。
優選地，所述方法包括：對所述生成的一個或多個運動向量進行比例調整。
優選地，所述方法包括基於所述量化殘留資料生成以下兩者中至少一者：所述生成的一個或多個運動向量的置信度值和/或一致度值。
優選地，所述方法包括：對所述生成的多個插補圖像進行運動補償。
優選地，所述方法包括：對所述運動補償過的多個插補圖像進行非線性過濾。
優選地，所述從接收到的壓縮視頻資料中提取圖像率提升(PRUC)資料發生在所述接收到的壓縮視頻資料進行解壓縮時。
根據本發明的一個方面，本發明提供了一種視頻資料處理系統，所述系統包括：一個或多個用於從接收到的壓縮視頻資料中提取出圖像率提升(PRUC)資料的電路；所述一個或多個電路基於所述提取出的PRUC資料生成多個插補圖像。
優選地，所述提取出的PRUC資料包括塊運動向量、塊編碼模式、量化等級、量化殘留資料和/或解碼圖像中的一項或多項。
優選地，所述一個或多個電路基於對所述接收到的壓縮資料進行的解壓縮來生成所述解碼圖像。
優選地，所述一個或多個電路對所述解碼圖像進行濾波以減小雜訊。
優選地，所述一個或多個電路基於所述塊運動向量生成一個或多個運動向量。
優選地，所述生成的一個或多個運動向量包括下面兩者中至少一者：一個或多個局部運動向量和/或一全局運動向量。
優選地，所述一個或多個電路對多個所述塊運動向量進行累加以生成所述全局運動向量。
優選地，所述一個或多個電路基於對所述生成的一個或多個運動向量進行比例調整來生成一個或多個圖元運動向量。
優選地，所述一個或多個電路基於所述量化殘留資料生成以下兩者中至少一者：所述生成的一個或多個運動向量的置信度值和/或一致度值。
優選地，所述一個或多個電路對所述生成的多個插補影響進 行運動補償。
優選地，所述一個或多個電路對所述運動補償過的多個插補圖像進行非線性過濾。
優選地，所述從接收到的壓縮視頻資料中提取圖像率提升(PRUC)資料發生在所述接收到的壓縮視頻資料進行解壓縮時。
本發明的各種優點、各個方面和創新特徵，以及其中所示例的實施例的細節，將在以下的描述和附圖中進行詳細介紹。
102‧‧‧視頻處理單元
104‧‧‧處理器
106‧‧‧記憶體
108‧‧‧資料/控制匯流排
110‧‧‧寄存器
112‧‧‧輸入緩存
114‧‧‧輸出緩存
116‧‧‧濾波器
118‧‧‧編碼器
200‧‧‧視頻解碼系統
202‧‧‧解壓引擎
204‧‧‧圖像率提升(PRUC)引擎
206‧‧‧熵解碼器
208‧‧‧逆量化模組
210‧‧‧逆變換模組
212‧‧‧累加器
214‧‧‧運動補償預測模組
216‧‧‧圖元運動向量生成模組
218‧‧‧塊運動向量細化模組
220‧‧‧縮放模組
222‧‧‧運動向量置信度及一致性量度(MVCCM)模組
224‧‧‧運動補償插補模組
226‧‧‧減噪濾波器
228‧‧‧非線性濾波模組
302、304‧‧‧編碼圖像
306‧‧‧插補圖像
352、354‧‧‧編碼圖像
356‧‧‧插補圖像
358‧‧‧運動向量
360‧‧‧運動向量
362、364‧‧‧運動向量
圖1是本發明一實施例中視頻處理系統的結構示意圖；圖2是本發明一實施例中圖像率提升系統的結構示意圖；圖3a是本發明一實施例中在兩個圖像之間進行圖像插補的示意圖；圖3b是本發明一實施例中一個插補圖像的運動向量示意圖；圖4是本發明一實施例中利用從壓縮視頻流中提取出的資訊進行運動補償圖像率提升的步驟流程圖。
本發明的一些實施例涉及利用從壓縮視頻流中提取出的資訊進行運動補償圖像率提升(PRUC)的系統和/或方法。該方法包括從在壓縮視頻資料流程正在由視頻解壓引擎進行解壓縮時從該壓縮視頻資料流程中提取出PRUC資料。所述PRUC資料包括例如塊運動向量、塊編碼模式、量化等級、量化殘留資料和/或解碼圖像。儘管如此，所述提取出的PRUC資料並不僅限於上述內容。此外，所述方法還包括基於提取出的PRUC資料生成多個插補圖像。
圖1是本發明一實施例中視頻處理系統的結構示意圖。如圖1所示，所述系統包括視頻處理單元102、處理器104、記憶體106、編碼器118以及資料/控制匯流排108。視頻處理單元102包括寄存器110以及濾波器116。在某些情況下，視頻處理單元102還可包括輸入緩存112和/或輸出緩存114。視頻處理單元102可包含 適當的邏輯器件、電路和/或代碼，用於對視頻圖像或者來自視頻輸入流的視頻圖像的圖元進行濾波處理以減小雜訊。例如，視頻幀圖像可用使用逐行視頻信號的視頻系統，而視頻場圖像(video field picture)用於使用隔行視頻信號的視頻系統。視頻場會在頂場與底場之間進行奇偶變換。隔行系統中的頂場與底場可通過去交錯以及組合來生成視頻幀。
視頻處理單元102可用於接收視頻輸入流，並且，在某些情況下可在輸入緩存112中對至少接收到的視頻輸入中的一部分進行緩衝。因此，輸入緩存112可包括適當的邏輯器件、電路和/或代碼以用於對接收到的視頻輸入流的至少一部分進行存儲。類似地，視頻處理單元102可生成經濾波的視頻輸出流給視頻解碼器，並且在某些情況下，視頻處理單元102會在輸出緩存114中對所述經濾波的視頻輸出流的至少一部分進行緩衝。因此，輸出緩存114可包括適當的邏輯器件、電路和/或代碼以用於將所述經濾波的視頻輸出流的至少一部分進行存儲。
視頻處理單元102中的濾波器116包括適當的邏輯器件、電路和/或代碼，用於對當前圖元進行濾波操作以減小雜訊。因此，濾波器116可具有多種濾波模式，每種濾波模式對應一種支援的濾波操作。濾波器116可利用視頻內容、濾波係數、閾值電平、和/或常數來根據選擇的濾波模式生成相應的經濾波的視頻輸出流。因此，視頻處理單元102可根據選擇的適當濾波模式生成相應的均化係數(blending factor)。視頻處理單元102中的寄存器110可包括適當的邏輯器件、電路和/或代碼以用於將與濾波係數、閾值電平、和/或常數相對應的資訊進行存儲。此外，寄存器110還可存儲與所選濾波模式相關的資訊。
處理器104可包括適當的邏輯器件、電路和/或代碼，用於處理資料和/或執行系統控制操作。處理器104可用於對視頻處理單元102中的至少一部分操作進行控制。例如，處理器104可生成 至少一個信號來控制視頻處理單元102中濾波模式的選擇。此外，處理器104可對寄存器110中至少一部分的濾波係數、閾值電平、和/或常數進行編程、更新和/或修改。例如，處理器104可生成至少一個信號以獲取存儲於記憶體106中的濾波係數、閾值電平和/或常數，並且通過資料/控制匯流排108將獲取的資訊傳送到寄存器110中。
記憶體106可包括適當的邏輯器件、電路和/或代碼，用於存儲視頻處理單元102在對視頻輸入流進行雜訊濾波時所利用到的資訊。記憶體106可用於存儲視頻處理單元102利用到的濾波係數、閾值電平和/或常數。
編碼器118可用於對來自處理器104和視頻處理單元102的多個統計輸入進行接收及處理。編碼器118還可通過對經濾波的視頻輸出流進行編碼來生成編碼壓縮視頻流。
在運行中，處理器104可選擇一種濾波模式並且可將所選濾波模式編程入視頻處理單元102中的寄存器110內。此外，處理器104還可根據所選擇濾波模式將適當的濾波係數、閾值電平和/或常數寫入寄存器110內。視頻處理單元102接收輸入視頻流並且根據所選濾波模式對視頻圖像中的圖元進行濾波處理。在一些情況下，視頻輸入流在被處理之前通常會被存儲在輸入緩存112中。視頻處理單元102會生成合適的均化係數用來執行處理器104所選擇的減噪濾波操作。視頻處理單元102在執行完減噪濾波操作之後會生成經濾波的視頻輸出流。在某些情況下，所述經濾波的視頻輸出流在從視頻處理單元102內傳輸出去之前將會被存儲在輸出緩存114中。
處理器104決定視頻處理單元102各部分的運行模式。例如，處理器104會對視頻處理單元102中的資料寄存器進行配置以便將視頻資料通過DMA傳送至記憶體106。處理器104還會傳送指令給圖像感測器以啟動圖像捕捉。記憶體106可用於存儲通過處 理器104進行處理以及傳送的圖像資料。記憶體106還可用於存儲處理器104使用的代碼和/或資料。記憶體106同樣還可對視頻處理單元102的其他功能性資料進行存儲。例如，記憶體106可存儲語音通訊相關的資料。處理器104可包括一狀態機用於判斷視頻資料類型是隔行型還是逐行型。
圖2是本發明一實施例中圖像率提升系統的結構示意圖。圖2所示的視頻解碼系統200包括解壓引擎202以及圖像率提升(PRUC)引擎204。解壓引擎202包括熵解碼器206、逆量化模組208、逆變換模組210、累加器212以及運動補償預測模組214。
PRUC引擎204進一步包括：圖元運動向量生成模組216、運動向量置信度及一致性量度(MVCCM)模組222、運動補償插補模組224、減噪濾波器226以及非線性濾波模組228。其中圖元運動向量生成模組216包括塊運動向量細化模組218以及縮放模組220。
解壓引擎202可以是與特定視頻標準相關的視頻解碼器，比如，MPEG-2、H.264/MPEG-4 AVC、VC1以及VP6。熵解碼器206可包括適當的邏輯器件、電路和/或代碼，用於接收來自視頻編碼器例如編碼器118的壓縮視頻流。熵解碼器206可根據特定的視頻標準，比如，MPEG-2、H.264/MPEG-4 AVC、VC1以及VP6，對接收到的壓縮視頻流進行解碼操作。熵解碼器206還可基於對接收到的壓縮視頻流進行解碼，生成塊運動向量。
逆量化模組208可包括適當的邏輯器件、電路和/或代碼，用於生成量化殘留資料。逆變換模組210包括適當的邏輯器件、電路和/或代碼，用於生成重組殘留圖元並將所生成的重組殘留圖元傳送至累加器212。
運動補償預測模組214包括適當的邏輯器件、電路和/或代碼，用於接收來自熵解碼器206的一個或多個運動向量以生成運動補償圖元塊。累加器212可用於將所述運動補償圖元塊疊加到 所述重組殘留圖元上以生成一個或多個解碼圖像。所述一個或多個解碼圖像被反饋給運動補償預測模組214。該運動補償預測模組214可用於依據參照圖像或前一輸出圖像生成運動補償圖元塊，該操作是基於接收到的一個或多個來自熵解碼器206的運動向量來完成的。
PRUC引擎204可用于從視頻解壓引擎202中提取出運動向量、圖像、巨集塊編碼類型以及量化殘留資料等資訊。
減噪濾波器226可包括適當的邏輯器件、電路和/或代碼，用於接收來自解壓引擎202的多個解碼圖像。該雜訊濾波器226可對所述接收到的解碼圖像進行解塊(de-blocking)、解環(de-ringing)或者其他減噪濾波操作。減噪濾波器226可生成經濾波的輸出給圖元運動向量生成模組216、運動補償插補模組224以及非線性濾波模組228。
由量化器帶來的塊變換域的分佈或頻譜的變形會導致拼接偽像(blockiness artifact)的產生。所述拼接偽像通常與量化產生的低頻譜系數或者頻率失真相關。拼接偽像在塊邊界上是可見的，例如，對於MEPG1、2以及4，拼接偽像為8x8圖元，對於MPEG4 part10 AVC，拼接偽像既可為4x4圖元也可為8x8圖元。所述拼接偽像可在給定圖像或視頻中的平面結構區域內被觀察到。
同樣，由量化器帶來的塊變換域的分佈或頻譜的變形會導致環狀編碼偽像，也稱作蚊音偽像。所述環狀編碼偽像通常與量化產生的高頻譜系數或者頻率失真相關。所述環狀編碼偽像可在平面結構區域的邊沿或者文本邊界上被觀察到。
圖元運動向量生成模組216可包括適當的邏輯器件、電路和/或代碼，用於接收來自熵解碼器206的提取出來的塊運動向量以及編碼模式。圖元運動向量生成模組216用於確定局部塊運動向量以及全局塊運動向量並且對插補以及濾波模式進行確定。圖元運動向量生成模組216還可通過對多個塊運動向量進行累計以估 算出一個全局運動向量(GMV)。圖元運動向量生成模組216可將運動向量通過直方圖進行分類並生成全局運動向量(GMV)。
塊運動向量細化模組218可包括適當的邏輯器件、電路和/或代碼，用於對從壓縮視頻流中提取出的運動向量進行細化並且將塊運動向量分解為圖元運動向量。塊運動向量細化模組218可進行局部細化搜索並且所述運動向量能夠被細化成亞圖元精度。
縮放模組220可包括適當的邏輯器件、電路和/或代碼，用於調整生成的運動向量以用於插補的或插入的圖像。圖元運動向量生成模組216可利用局部自適應非線性濾波生成圖元運動向量。此外，圖元運動向量生成模組216還可測量局部運動向量的一致性。
運動向量置信度及一致性量度(MVCCM)模組222可包括適當的邏輯器件、電路和/或代碼，用於對提取出來的量化殘留資料以及量化等級進行衡量。MVCCM模組222還可通過比較相鄰塊運動向量以及運動補償塊邊界圖元差值來生成運動向量一致性值。例如，較低量化等級以及較少的殘留資料會導致較高的運動向量置信度，而較高量化等級以及較多的殘留資料則會導致較低的運動向量置信度。MVCCM模組222將會把生成的運動向量置信度值以及運動向量一致性值傳送至非線性濾波模組228。
運動補償插補模組224可包括適當的邏輯器件、電路和/或代碼，通過利用經縮放的本地及全局運動向量連同減噪後的解碼圖像來生成插補或插入圖像。運動補償插補模組224將生成的插補圖像傳送到非線性濾波模組228。
非線性濾波模組228包括適當的邏輯器件、電路和/或代碼，對接收到的插補圖像進行濾波處理以減小最後輸出插補圖像中的偽像。非線性濾波模組228可利用運動向量置信度以及一致性衡量值來判斷運動補償插補是否會失敗。如果非線性濾波模組228判斷結果顯示運動補償插補會失敗，那麼PRUC引擎204會在場 景變換的過程中關閉圖像插補操作並且重復前面的圖像。
在運行中，解壓引擎202可接收包含低圖像率的壓縮視頻流並對所述接收到的壓縮視頻流進行解壓操作。PRUC引擎204利用從所述壓縮視頻流中提取出來的運動向量以及其他編碼資訊進行圖像率提升(PRUC)操作。PRUC引擎204能夠在逐行掃描中生成高圖像率的插補圖像並在現代視頻顯示器上進行顯示，例如，LCD屏或PDP屏。
數位視頻壓縮演算法，例如，MPEG-2、MPEG-4、VC1以及VP6，可進行前向預測、後向預測以及雙向預測編碼，從而分別生成P圖和B圖。運動補償預測編碼可發掘出連續圖像之間的即時聯繫。視頻壓縮編碼器118可在允許的暫態視窗內生成圖像之間的運動向量(MV)。這些運動向量將會被用於視頻壓縮編碼及解碼操作中的運動補償。在所述壓縮視頻流中，運動補償資訊，例如巨集塊，可包括編碼的運動向量資料以及轉換的殘留資料。
當視頻流的圖像率較低時便會出現一種被稱為運動震顫(motion judder)的偽像。出現這種運動震顫的原因在於即時採樣率低於場景中的實際運動速度。運動補償插補模組224可用來減小該運動震顫。運動補償插補模組224可改變圖像率轉換器的處理操作以使得所述轉換器能夠在對運動物體的捕捉上與入眼保持一致。因此，消除了運動震顫的圖像會變得清晰以及輪廓分明。PRUC引擎204可對輸入圖像流進行辨別以判斷場景中的每個物體是如何運動的。PRUC引擎204還可在不同時間點對多個物體的位置進行插補以生成輸出圖像。
PRUC引擎204還可在編碼圖像之間插補附加的中間圖像以替代原先採用的重復早前編碼圖像。運動補償插補類似於預測圖像例如視頻壓縮過程中的P圖以及B圖的生成。根據本發明的一實施例，PRUC引擎204在生成一個或多個插補圖像的過程中並不需要對運動向量以及殘留資料進行傳輸。一個或多個顯示設備可 在接收到解碼圖像時根據壓縮視頻流執行他們自己的PRUC，不需要其他額外資訊。
對於沒有運動向量的相互獨立的宏塊，例如，內宏塊，可採用多個插補運動向量。根據本發明一實施例，PRUC引擎204可在場景變化過程中關閉幀插補並重復之前的幀。非線性濾波模組228可採用運動自適應加權中值濾波，以在I圖與前一個P圖之間生成插補圖像。
圖3a是本發明一實施例中在兩個圖像之間進行圖像插補的示意圖。如圖3a所示，圖中示出了多個編碼圖像，例如，P1 302、P2 304以及插補圖像304的位置。例如，插補圖像304插入到距離編碼圖像P1 302k個時間單位的地方。
圖3b是本發明一實施例中一個插補圖像的運動向量示意圖。如圖3b所示，圖中示出了多個編碼圖像，例如，P1 352、P2 354以及插補圖像356。例如，插補圖像356被插入到距離編碼圖像P1 352k個時間單位的地方。
運動向量358從前一圖像P1 352中的某個區域指向下一圖像P2 354中的某一區域，從而運動向量358能夠捕捉兩個原始圖像P1 352以及P2 354之間發生的運動。運動向量360是運動向量358的一種移位形式。運動向量360被移位元以與插補圖像356對齊。
運動向量360可分成兩個運動向量，例如，MV1 362以及MV2 364。每個估算出的運動向量，例如，運動向量360，可進行拆分和縮放以用於運動補償插補。兩個縮放後的運動向量例如MV1 362以及MV2 364的方向是相反的。縮放後的運動向量的長度，例如，MV1 362的長度，與插補圖像356和原始圖像P1 352之間的時間差呈正比。縮放後的運動向量的長度，例如，MV2 364的長度，與插補圖像356和原始圖像P2 354之間的時間差呈正比。
圖4是本發明一實施例中利用從壓縮視頻流中提取的資訊進行運動補償圖像率提升(PRUC)的步驟流程圖。如圖4所示，流程 開始於步驟402。在步驟404中，解壓引擎202接收來自編碼器118的壓縮視頻資料。在步驟406中，PRUC引擎204在所述壓縮視頻資料正在由解壓引擎202進行解壓的同時將PRUC資料從所述壓縮視頻資料中提取出來。所述PRUC資料包括局部塊運動向量、塊編碼模式、量化等級、量化殘留資料以及解碼圖像，儘管如此，所述提取出來的PRUC資料並不僅限於此。在步驟408中，減噪濾波器226對所述提取的解碼圖像進行數位化減噪濾波操作。
在步驟410中，圖元運動向量生成模組216從視頻解壓引擎202處接收到多個塊運動向量，並且基於對所接收到的多個塊運動向量進行的細化和縮放來生成圖元運動向量。在步驟412中，MVCCM模組222生成運動向量置信度以及一致性衡量值。在步驟414中，運動補償插補模組224通過執行運動補償插補操作來生成插補圖像。在步驟416中，非線性濾波模組228對場景的變化進行檢測並對所述插補圖像進行濾波操作以減小最後輸出插補圖像中的偽像。流程在步驟418中結束。
本發明的各實施例包括一種利用從壓縮視頻流中提取的資訊進行運動補償圖像率提升(PRUC)的方法和系統，所述系統包括用於在壓縮視頻流正由視頻解壓引擎202進行解壓操作時從該壓縮視頻資料流程中提取出PRUC資料的PRUC引擎204。所述PRUC資料包括，例如，局部塊運動向量、塊編碼模式、量化等級、量化殘留資料以及解碼圖像。所述提取出來的PRUC資料並不僅限於此。PRUC引擎可基於所述提取出來的PRUC資料生成多個插補圖像。
解壓引擎202可基於對所述壓縮視頻資料流程進行的解壓操作生成解碼圖像。PRUC引擎204可包括圖元運動向量生成模組216、運動向量置信度及一致性衡量(MVCCM)模組222、運動補償插補模組224、減噪濾波器226以及非線性濾波模組228。其中圖元運動向量生成模組216包括塊運動向量細化模組218以及縮放 模組220。
減噪濾波器226可對所述提取出來的解碼圖像進行數位減噪濾波操作以減小雜訊。圖元運動向量生成模組216可基於接收到的塊運動向量生成一個或多個運動向量。所述生成的運動向量可包括一個或多個局部運動向量以及全局運動向量。圖元運動向量生成模組216可通過對多個塊運動向量進行累加來生成全局運動向量。
縮放模組220用於對所述生成的運動向量進行縮放調整。圖元運動向量生成模組216可基於對所述運動向量進行的縮放調整來生成圖元運送向量。MVCCM模組222基於所述從視頻解壓引擎202中提取出來的量化殘留資料生成所述運動向量的置信度值以及一致性值中的至少一個衡量值。
運動補償插補模組224用於生成運動補償插補圖像。非線性濾波模組228對所述生成的插補圖像進行濾波操作以減小輸出插補圖像中的偽像。
本發明的另一實施例包括了一種機器可讀記憶體，其上存儲有電腦程式。該程式至少包含一段利用從壓縮視頻流中提取的資訊進行運動補償圖像率提升的代碼，所述至少一段代碼由機器執行使得該機器能夠執行本申請中所述的方法步驟。
因此，本發明可應用於硬體、軟體、固件或其各種組合。本發明可以在至少一個電腦系統的集中模式下實現，或者在分散式模式下實現，在所述分散式模式下，不同元件分佈在幾個互聯的電腦系統中。採用任何適用于執行本發明介紹的方法的電腦系統或者其他設備都是合適的。一種硬體、軟體和固件的典型組合是具有電腦程式的通用電腦系統，當程式被載入和執行時，控制所述電腦系統以使其執行本申請描述的方法。
本發明還可以嵌入到電腦程式產品內，所述電腦程式包含能夠實現本發明方法的全部特徵，當其安裝到電腦系統中時，通過 運行，可以實現本發明的方法。本文件中的電腦程式所指的是：可以採用任何程式語言、代碼或符號編寫的一組指令的任何運算式，該指令組使系統具有資訊處理能力，以直接實現特定功能，或在進行下述一個或兩個步驟之後實現特定功能：a)轉換成其他語言、編碼或符號；b)以不同的格式再現。然而，本領域技術人員能夠理解的電腦程式的其他含義也被本發明所包含。
雖然本發明是通過幾個具體實施例進行說明的，本領域技術人員應當明白，在不脫離本發明範圍的情況下，還可以對本發明進行各種變換及等同替代。另外，針對特定情形或具體情況，可以對本發明做各種修改，而不脫離本發明的範圍。因此，本發明不局限於所公開的具體實施例，而應當包括落入本發明申請專利範圍內的全部實施方式。
102‧‧‧視頻處理單元
104‧‧‧處理器
106‧‧‧記憶體
108‧‧‧資料/控制匯流排
110‧‧‧寄存器
112‧‧‧輸入緩存
114‧‧‧輸出緩存
116‧‧‧濾波器
118‧‧‧編碼器

Claims (10)

  1. 一種視頻資料處理方法，其特徵在於，所述方法包括：利用包含一視頻解壓引擎(video decompression engine)與一圖像率提升(picture rate up-conversion,PRUC)引擎之一解碼器，由該視頻解壓引擎接收包含多個輸入圖像的一壓縮視頻資料；當所接收到的該壓縮視頻資料由該視頻解壓引擎解壓縮時，由該PRUC引擎從接收到的該壓縮視頻資料中提取出一圖像率提升資料，其中該壓縮視頻資料來自於一壓縮之輸入視頻資料流；以及利用該PRUC引擎基於該圖像率提升資料生成多個插補圖像。
  2. 如申請專利範圍第1項所述的方法，其中，所述提取出的圖像率提升資料包括塊運動向量、塊編碼模式、量化等級、量化殘留資料和/或解碼圖像中的一項或多項。
  3. 如申請專利範圍第2項所述的方法，其中，所述方法包括：基於對所述接收到的壓縮資料進行的解壓縮來生成所述解碼圖像。
  4. 如申請專利範圍第2項所述的方法，其中，所述方法包括：對所述解碼圖像進行濾波以減小雜訊。
  5. 如申請專利範圍第2項所述的方法，其中，所述方法包括：基於所述塊運動向量生成一個或多個運動向量。
  6. 如申請專利範圍第5項所述的方法，其中，所述生成的一個或多個運動向量包括下面兩者中至少一者：一個或多個局部運動向量和/或一全局運動向量。
  7. 一種視頻資料處理系統，其特徵在於，所述系統包括：一解碼器，係包括一視頻解壓引擎(video decompression engine)與一圖像率提升(picture rate up-conversion,PRUC)引擎；其中該視頻解壓引擎包括一個或多個用於當壓縮視頻資料被解壓縮時從接收到的該壓縮視頻資料中提取出一圖像率提升資料的電路，且該壓縮視頻資料包括多個輸入圖像，其中該壓縮視頻資料來自於壓縮之一視頻資料流；其中該圖像率提升引擎包括一個或多個從接收到的該壓縮視頻資料中提取出該圖像率提升資料的電路，且該圖像率提升資料的電路基於所述提取出的圖像率提升資料生成多個插補圖像。
  8. 如申請專利範圍第7項所述的系統，其中，所述提取出的圖像率提升資料包括塊運動向量、塊編碼模式、量化等級、量化殘留資料和/或解碼圖像中的一項或多項。
  9. 如申請專利範圍第8項所述的系統，其中，所述一個或多個電路基於對所述接收到的壓縮資料進行的解壓縮來生成所述解碼圖像。
  10. 如申請專利範圍第8項所述的系統，其中，所述一個或多個電路對所述解碼圖像進行濾波以減小雜訊。
TW097142030A 2007-10-31 2008-10-31 視頻資料處理方法和系統 TWI486061B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/931,942 US8767831B2 (en) 2007-10-31 2007-10-31 Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream

Publications (2)

Publication Number Publication Date
TW200939785A TW200939785A (en) 2009-09-16
TWI486061B true TWI486061B (zh) 2015-05-21

Family

ID=40547740

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097142030A TWI486061B (zh) 2007-10-31 2008-10-31 視頻資料處理方法和系統

Country Status (6)

Country Link
US (1) US8767831B2 (zh)
EP (1) EP2063637A3 (zh)
KR (1) KR100975155B1 (zh)
CN (1) CN101437161B (zh)
HK (1) HK1132117A1 (zh)
TW (1) TWI486061B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI724092B (zh) * 2017-01-19 2021-04-11 香港商斑馬智行網絡（香港）有限公司 確定融合係數的方法和裝置
US11363274B2 (en) 2017-12-12 2022-06-14 Huawei Technologies Co., Ltd. Video data inter prediction method and apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026596A1 (en) * 2009-07-28 2011-02-03 Wei Hong Method and System for Block-Based Motion Estimation for Motion-Compensated Frame Rate Conversion
FR2958824A1 (fr) * 2010-04-09 2011-10-14 Thomson Licensing Procede de traitement d'images stereoscopiques et dispositif correspondant

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0637889A2 (en) * 1993-08-06 1995-02-08 Goldstar Co. Ltd. Device for converting image frame format
US20040119887A1 (en) * 2001-01-09 2004-06-24 Franzen Ortwin Ludger Method and device for converting video signals
WO2005109899A1 (en) * 2004-05-04 2005-11-17 Qualcomm Incorporated Method and apparatus for motion compensated frame rate up conversion
US20060017843A1 (en) * 2004-07-20 2006-01-26 Fang Shi Method and apparatus for frame rate up conversion with multiple reference frames and variable block sizes
WO2006012384A2 (en) * 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression
CN1981536A (zh) * 2004-05-04 2007-06-13 高通股份有限公司 运动补偿帧速率上调方法和设备
US20070211801A1 (en) * 2006-03-09 2007-09-13 Kei Matsubayashi Frame rate conversion system, method of converting frame rate, transmitter, and receiver

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192079B1 (en) 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
JP4198550B2 (ja) * 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置
US7974342B2 (en) * 2003-07-08 2011-07-05 Trident Microsystems (Far East) Ltd. Motion-compensated image signal interpolation using a weighted median filter
KR100913260B1 (ko) * 2004-07-01 2009-08-21 콸콤 인코포레이티드 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치
JP4567733B2 (ja) * 2004-07-20 2010-10-20 クゥアルコム・インコーポレイテッド 動きベクトル処理のための方法及び装置
US20060233253A1 (en) 2005-03-10 2006-10-19 Qualcomm Incorporated Interpolated frame deblocking operation for frame rate up conversion applications
US8588513B2 (en) * 2005-07-18 2013-11-19 Broadcom Corporation Method and system for motion compensation
US9258519B2 (en) * 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
US20070076796A1 (en) * 2005-09-27 2007-04-05 Fang Shi Frame interpolation using more accurate motion information
JP4983317B2 (ja) 2006-03-09 2012-07-25 ソニー株式会社 フレームレート変換システム，フレームレート変換方法，受信装置
US8634463B2 (en) * 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8582660B2 (en) * 2006-04-13 2013-11-12 Qualcomm Incorporated Selective video frame rate upconversion
US7916791B2 (en) * 2006-06-16 2011-03-29 International Business Machines Corporation Method and system for non-linear motion estimation
US20080025390A1 (en) * 2006-07-25 2008-01-31 Fang Shi Adaptive video frame interpolation
US8437397B2 (en) * 2007-01-04 2013-05-07 Qualcomm Incorporated Block information adjustment techniques to reduce artifacts in interpolated video frames
KR100809354B1 (ko) * 2007-02-02 2008-03-05 삼성전자주식회사 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0637889A2 (en) * 1993-08-06 1995-02-08 Goldstar Co. Ltd. Device for converting image frame format
US20040119887A1 (en) * 2001-01-09 2004-06-24 Franzen Ortwin Ludger Method and device for converting video signals
WO2005109899A1 (en) * 2004-05-04 2005-11-17 Qualcomm Incorporated Method and apparatus for motion compensated frame rate up conversion
US20050265451A1 (en) * 2004-05-04 2005-12-01 Fang Shi Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
CN1981536A (zh) * 2004-05-04 2007-06-13 高通股份有限公司 运动补偿帧速率上调方法和设备
US20060017843A1 (en) * 2004-07-20 2006-01-26 Fang Shi Method and apparatus for frame rate up conversion with multiple reference frames and variable block sizes
WO2006012384A2 (en) * 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression
US20060165176A1 (en) * 2004-07-20 2006-07-27 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
CN101023677A (zh) * 2004-07-20 2007-08-22 高通股份有限公司 以多个参考帧以及可变块尺寸的帧速率上变换方法和装置
US20070211801A1 (en) * 2006-03-09 2007-09-13 Kei Matsubayashi Frame rate conversion system, method of converting frame rate, transmitter, and receiver

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI724092B (zh) * 2017-01-19 2021-04-11 香港商斑馬智行網絡（香港）有限公司 確定融合係數的方法和裝置
US11363274B2 (en) 2017-12-12 2022-06-14 Huawei Technologies Co., Ltd. Video data inter prediction method and apparatus
TWI786790B (zh) * 2017-12-12 2022-12-11 大陸商華為技術有限公司 視頻資料的幀間預測方法和裝置

Also Published As

Publication number Publication date
HK1132117A1 (en) 2010-02-12
EP2063637A3 (en) 2014-01-22
US20090110074A1 (en) 2009-04-30
CN101437161A (zh) 2009-05-20
KR100975155B1 (ko) 2010-08-11
EP2063637A2 (en) 2009-05-27
KR20090045078A (ko) 2009-05-07
TW200939785A (en) 2009-09-16
CN101437161B (zh) 2011-04-13
US8767831B2 (en) 2014-07-01

Similar Documents

Publication Publication Date Title
US8718143B2 (en) Optical flow based motion vector estimation systems and methods
US9247250B2 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
KR101056096B1 (ko) 압축 및 압축복원 비디오 비트스트림 모두에 대한 움직임 보상 프레임 레이트 상향 변환을 위한 방법 및 시스템
US9462296B2 (en) Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
CN102017615B (zh) 视频单元内的边界伪影校正
US8630347B2 (en) Video decoding apparatus and video decoding method
US7944502B2 (en) Pipelining techniques for deinterlacing video information
JP4518111B2 (ja) 映像処理装置、映像処理方法、及びプログラム
JPH07303254A (ja) 改善された後処理方法を用いるイメージ信号復号化方法
US8704932B2 (en) Method and system for noise reduction for 3D video content
JP2014168150A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び画像符号化復号システム
JP5137687B2 (ja) 復号装置及び復号方法、プログラム
TWI486061B (zh) 視頻資料處理方法和系統
Kim et al. Improvement of implicit residual DPCM for HEVC
US8848793B2 (en) Method and system for video compression with integrated picture rate up-conversion
Kanimozhi et al. Efficient Lossless Compression Using H. 264/AVC Intra Coding and PWSIP Prediction
JP2001285882A (ja) ノイズ低減装置および方法
US9326007B2 (en) Motion compensated de-blocking
JPWO2014122708A1 (ja) 画面符号化装置、画面復号装置、画面符号化伝送システム
JP2005312072A (ja) 映像信号復号化装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees