TWI392374B - 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置 - Google Patents

於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置 Download PDF

Info

Publication number
TWI392374B
TWI392374B TW094122411A TW94122411A TWI392374B TW I392374 B TWI392374 B TW I392374B TW 094122411 A TW094122411 A TW 094122411A TW 94122411 A TW94122411 A TW 94122411A TW I392374 B TWI392374 B TW I392374B
Authority
TW
Taiwan
Prior art keywords
frame
fruc
cost
macroblock
frames
Prior art date
Application number
TW094122411A
Other languages
English (en)
Other versions
TW200625963A (en
Inventor
Vijayalakshmi R Raveendran
Gordon Kent Walker
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW200625963A publication Critical patent/TW200625963A/zh
Application granted granted Critical
Publication of TWI392374B publication Critical patent/TWI392374B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置
本發明大體而言係關於視訊壓縮，且更特定言之，本發明係關於一種於可調節視訊編碼中用以使用訊框率上升轉換(FRUC)技術的方法與裝置。
視訊及音訊壓縮中之比率調適通常已藉由可調節性(SNR，空間，時間)技術來達成，即在以各種位元率及多個位元率模式編碼之位元流之間進行切換，其中編碼器以可變之頻寬將內容作為各種媒體流而傳遞給伺服器。伺服器接著基於網路狀況及/或目標觀殼而傳遞適當流。
由於低位元率視訊應用中可用之頻寬較為有限，故一些編碼器應用時間取樣技術(又稱為跳框(frame skipping))來滿足所需之壓縮比例。在此情況下，自編碼過程週期性地丟棄輸入序列中之訊框，且因此不對該等訊框進行傳輸。因此，取代接收整個輸入序列，解碼器於時間方向僅接收部分資訊。因此，於接收側引入諸如運動跳動之時間假像。於解碼器處使用訊框率上升轉換(FRUC)以再生經跳躍之訊框，從而減少時間假像。已提出各種用於FRUC之技術。通常，運動補償式內插(MCI)技術在時間FRUC應用中提供最佳解決方法。然而，需要將FRUC技術在解碼器上之建構最佳化，同時最小化視訊流之位元率。
本文描述用以於可調節視訊編碼中使用FRUC技術之各種方法，且具體言之，使得能夠在編碼器側整合FRUC壓縮技術，亦稱為編碼器輔助FRUC(EA－FRUC)。
在一實施例中，用以對視訊流編碼之方法包括以下步驟：將該視訊流分割成一具有複數個主層訊框之主層，及一具有複數個內插層訊框之內插層；內插一FRUC訊框；及借助於該內插FRUC訊框對該主層中之該等複數個主層訊框進行編碼。
在另一實施例中，EA－FRUC係建構為儲存有指令之電腦可讀媒體，當藉由一處理器執行所儲存指令時，該等所儲存指令使得該處理器執行用以對視訊流編碼的方法。該方法包括以下步驟：將該視訊流分割為一具有複數個主層訊框之主層及一具有複數個內插層訊框之內插層；內插一訊框率上升轉換(FRUC)訊框；及借助於該內插FRUC訊框對該主層中之該等複數個主層訊框進行編碼。
在又一實施例中，該系統係建構為一接收視訊流之視訊編碼器處理器。該視訊編碼器處理器包含：一訊框率上升轉換(FRUC)模組，該FRUC模組自所接收之視訊流產生複數個FRUC訊框；一耦接至該FRUC模組之比率失真成本(RD成本)計算模組，該RD成本計算模組接收該等複數個FRUC訊框，並基於該等複數個FRUC訊框中之一者中的一巨集區塊來計算一F訊框巨集區塊RD成本；及一耦接至該RD成本計算模組的模式決定模組，該模式決定模組經組態以將基於該等複數個FRUC訊框中之一者中的巨集區塊之FRUC訊框巨集區塊RD成本與一相應B訊框中之相應巨集區塊的B訊框巨集區塊RD成本進行比較。
熟習此項技術者將自以下詳細描述明顯看出本發明之其他目標、特徵及優點。然而，應瞭解，儘管該詳細描述及特定實例指示了本發明之實施例，但其僅以說明之方式給出，且並非作為任何限制。可在不偏離本描述之精神的情況下進行屬於本描述範疇內的許多變化及修改，且本發明包含所有此等修改。
儘管FRUC技術通常用於解碼器側，但其可延伸至編碼器側。具體言之，其適用於利用FRUC訊框作為用於運動補償式訊框的額外模式。藉由為內部預測訊框添加一額外預測模式，可達成位元率之節省。換言之，可改良相同重建視覺品質之壓縮率。
對於基於標準之視訊編碼而言，由於引入了額外FRUC模式，故必須增加位元流語法。然而，如同在國際電信聯盟電信標準部門(International Telecommunications Union,Telecommunications Standardization Sector)(ITU－T)所頒佈的H.264視訊編碼標準中一般，藉由在使用者資料領域或補充增強資訊(SEI)領域中減少FRUC在預測訊框中之使用來保持對標準語法的符合。此特徵在其中藉由解碼器來執行FRUC功能之視訊傳輸系統中尤為有利。另外，封閉式系統(其中不可對視訊解碼器進行修改)在傳輸頻寬及壓縮效率方面顯著有益。
在解碼器側，一旦接收到所傳輸之位元流及經重建之內部圖片(I)/預測圖片(P)(I/P)訊框，便利用與編碼器側採用之技術相同的技術內插FRUC訊框。隨後，基於經重建之I/P訊框與相同時間實例之FRUC訊框而重建內部訊框。只要解碼器側與編碼器側利用相同技術，便不會存在任何錯誤或偏差問題。
該系統之一替代應用係在可調節視訊編碼中。當採用時間可調性時，一些預測式訊框(尤其雙向預測/內插圖片訊框)便於增強層中傳輸；且I及P訊框於基礎層中傳輸。在此情況中，若未接收或請求增強層，則解碼器處經重建視訊之框率低於源框率。於基礎層中發送FRUC訊框與B訊框之間的差異使得能夠藉由解碼器處之FRUC重建該B訊框的相當接近之近似值。結果顯示，該差異(以位元計)之成本顯著較小，且因此不會影響基礎層視訊之位元率。藉由定限(或量化)可將該差異計算為FRUC及真B訊框之純殘值，以將資訊限制於重要區域(例如，不能藉由FRUC重建的孔)，或計算為對已知FRUC方法(例如，真運動向量資料或量化真運動向量資料)之改進。再次地，可將此差異資訊載運入標準語法之"使用者資料"領域或如H.264標準中之SEI領域。
基於解碼器資源之可用性，可基於FRUC技術之計算複雜程度來選擇不同FRUC技術。需要注意的一點在於，FRUC所耗費之計算週期通常小於對一B訊框解碼之計算週期，此係因為相比於對B訊框之所有巨集區塊進行雙向運動補償(MC)(有時一個以上運動補償(MC)/巨集區塊(MB))而言，FRUC僅涉及在相對較小搜尋空間中對較小百分比之訊框進行3子取樣或5子取樣濾波及運動評估(ME)。FRUC在基於犧牲少量視覺品質來重建中間訊框時所採用之改進程度的複雜性程度中提供了粒度。
通常，就計算而言，B訊框比P訊框更為昂貴，且I訊框在此三個訊框中最為便宜。就此方面而言，該系統之一額外優點及其於可調節視訊編碼之延伸在於節省了計算週期，且因此節省了掌上型設備的有價值之電力(其轉化為此等設備中之更長的待機及通話時間)。此省電與是否接收到一B訊框無關，解碼器可基於可用週期來選擇解碼B訊框，或藉由FRUC來重建一內插訊框，且應用來自差異資料之改進。
可基於漸增之計算複雜程度對基於區塊之FRUC演算法進行分類：1.非運動補償演算法，諸如訊框重複及訊框平均；2.無需MV處理之雙線線運動補償內插(MCI)；3.具有MV處理之MCI；及4.具有MV處理之接種ME輔助之MCI。
以上FRUC輔助編碼技術中之任一者可與分層編碼技術相整合。可藉由分層編碼實現傳輸通道之比率調適。壓縮位元流之基礎層通常包含較多重要資料，且增強層含有較少重要資料，其遭受更大傳輸錯誤率。
在一實施例中，較佳為，基礎層位元流符合標準，且當傳輸頻寬降低至低於某一臨限值時，容許丟棄增強層位元流。在此情況下，需要：1.將傳入訊框序列分割成基礎層訊框及增強層訊框，分割方式使得每一增強訊框及每一潛在FRUC訊框之間存在一對一之對應關係；2.符合標準而對基礎層訊框編碼；3.在與待編碼之增強訊框相同的時間實例內插一FRUC訊框；且4.基於所內插之FRUC訊框對增強訊框進行編碼。
此方法具有雙重益處。首先，藉由為增強層訊框引入一額外預測模式，該增強層之壓縮率將提高。因此，對於固定傳輸頻寬而言，因為增強層位元流變得更可能超出傳輸率臨限值(增強層於該臨限值處將被丟棄)，故降低了丟棄該增強層位元流之可能性。第二，然而，即使在降級傳輸條件下必須丟棄增強層位元流，但歸因於分割基礎層及增強層訊框之方式(如本文中所闡述的)，解碼器仍可藉由以內插FRUC訊框代替丟失的增強層訊框來重新產生該等丟失的增強層訊框。
圖1說明了視訊序列106之習知兩層編碼方案，其包括基礎層104及增強層102。由於諸如P訊框112及114之I及P訊框對正確重建視訊序列106較為重要，故將其分割至基礎層104，同時諸如B訊框110之較不重要之B訊框位於增強層102中。在此先前技術之方法中，於增強層102中重建增強訊框僅取決於基礎層104中之經重建基礎層訊框，而不取決於增強層102中的經重建訊框。具體言之，儘管B訊框可用以預測將來之B訊框，但增強層102中之B訊框並未用作時間預測基礎層104中之訊框的參考。
圖2說明了根據一編碼方案實施例進行編碼之視訊序列206，其中I訊框212為標準內部訊框(不經受時間預測之訊框)，且P訊框220為標準預測訊框。如自圖中可見的，藉由使用內插層204對主層202中之訊框進行編碼。
PF訊框216為P訊框，其中將FRUC內插訊框用作多個參考圖片中的一個。舉例而言，FRUC FRM 224為用於PF FRM 216之參考圖片。相反地，標準方法將I FRM 212用作P訊框之唯一參考圖片。因此，在一實施例中，將FRUC FRM用作用於內插訊框之主層解碼的參考圖片。
BF訊框為具有FRUC內插訊框作為多個參考圖片中之一個的B訊框。因此，在一實施例中，用於BF訊框之參考圖片可包含I、B、P、PF或BF訊框中的一或多者。舉例而言，BF訊框214為具有FRUC內插訊框222作為多個參考圖片中之一個的B訊框；且BF訊框218為具有FRUC內插訊框226作為多個參考圖片中之一個的B訊框。相反地，即使標準B(雙向)預測訊框可具有多個參考圖片，此等參考圖片亦僅包含I、B或P訊框。
如本文中所提及的，術語"F訊框"係指作為具有FRUC內插訊框用作參考圖片之預測訊框的訊框。因此，PF訊框與BF訊框皆為F訊框。在一實施例中，將多個參考訊框用於預測F訊框。此外，FRUC內插訊框可為用以預測F訊框之唯一參考圖片。另外，本文所述之架構包含一其中將一部分FRUC內插訊框用作參考之方法，諸如僅使用來自FRUC內插訊框之特定巨集區塊(其可為任何大小或形狀的區塊)。
圖3說明了用於上文於圖2中所述之位元流之例示性FRUC編碼過程的流程圖。在步驟302中，將傳入媒體(視訊)序列分割成F訊框及非F訊框，其中F訊框為PF及BF訊框(如上文所述)，且非F訊框為I、B或P訊框。在一實施例中，每一F訊框及每一潛在FRUC訊框之間存在一一對應關係。在其他實施例中，增強層與潛在FRUC訊框之比並不一定具有一一對應關係。一旦已將該視訊序列分割，操作便進行至步驟304，在該步驟中基於所用至標準編碼方案對非F訊框編碼。舉例而言，可將如H.264標準中所頒佈之編碼標準用於此等非F訊框。隨後，在步驟306中，在與待編碼之增強訊框相同的時間實例插入一FRUC訊框。在一實施例中，該FRUC訊框可取決於經重建之當前訊框與所儲存之先前訊框。其他實施例可使用上述其他FRUC演算法。在步驟308中，借助於內插之FRUC訊框對增強層中之訊框進行編碼，如圖4之說明中詳細描述的。因此，歸因於該FRUC訊框之可用性，可為主層中之預測訊框選擇一額外預測模式(FRUC模式)。
圖4說明了根據一實施例進行組態之編碼器方塊圖。首先，P訊框偵測器402判定一新訊框是否為F訊框。若不是，則P或B訊框編碼器404對該訊框進行編碼，且可變長度編碼(VLC)編碼器406為已編碼之P或B訊框產生一最終位元流，以輸出一輸出位元流440。P或B訊框之運動向量係儲存於運動向量(MV)緩衝器408中，同時經重建之訊框緩衝器410儲存一經重建P或B訊框。FRUC單元412耦接至MV緩衝器408及經重建之訊框緩衝器410，以執行FRUC演算法並產生一FRUC訊框，該FRUC訊框係儲存於FRUC訊框緩衝器414中。如上文所述，該等FRUC訊框係用以產生各種F(例如，BF或PF)訊框。
若F訊框偵測器402判定一新訊框係F訊框，則F訊框編碼單元428藉由對該新F訊框進行巨集區塊編碼而執行一巨集區塊。經編碼之F訊框巨集區塊係發送至區塊434，該區塊判定用於B訊框傳輸所需之位元數，其包含傳輸運動向量所需之位元。接著在B區塊RD成本計算器436中計算B訊框巨集區塊之RD成本。另外，基於B訊框編碼，比較器430將(1)自相應B訊框巨集區塊(SAD_b)中減去基於擷取自FRUC訊框緩衝器414之FRUC訊框之F訊框巨集區塊(SAD_f)的絕對差值總和(SAD)與(2)一預定臨限值(TH)進行比較。若該減法之結果大於或等於該臨限值，則品質降級將過大，且因此編碼器需要發送編碼器輔助之FRUC訊框資訊。在一實施例中，該臨限值為所用之區塊大小(例如，區塊大小為16×16)的六倍。應注意，儘管本文中使用了術語"巨集區塊"(其通常係指16×16像素元素之標準區塊大小)，但可使用任何大小之區塊。此外，區塊可具有任何形狀。
若B訊框巨集區塊之SAD與F訊框巨集區塊之SAD之間的差值小於臨限值，則編碼器將指示，該F訊框巨集區塊應用於模組432中，及將指示F模式之位元置放入輸出位元流440中。若該差值不小於臨限值，則在模組416中計算源(原始)巨集區塊與所配置之FRUC訊框區塊的殘值，其結果於離散餘弦變換(DCT)/量化/VLC模組418中進行量化。在F區塊位元模組420中判定傳輸FRUC訊框資訊所必需之FRUC訊框區塊位元數，且基於該計算在F區塊RD成本模組422中判定FRUC訊框巨集區塊之RD成本。本文中參看圖5來描述該RD成本計算。
基於所計算出之B訊框巨集區塊RD成本及F訊框巨集區塊RD成本，比較器模組424判定將哪些位元置放入輸出位元流440中。在一實施例中，若B訊框巨集區塊RD成本小於F訊框巨集區塊RD成本，則將用於該B訊框巨集區塊之位元(包含所產生之運動向量)置放入輸出位元流440中。否則，則將用於F訊框巨集區塊之位元置放入輸出位元流440中。
圖5說明了根據一實施例而實施之演算法，其用於在增強層中之訊框編碼期間增強層B訊框巨集區塊之模式選擇過程。在步驟502中，為B訊框巨集區塊獲得前向及後向運動向量。在一實施例中，該等向量係藉執行習知雙向運動評估而獲得。因此，未使用來自FRUC訊框之任何資訊。接著，在步驟504中判定用於B訊框巨集區塊之最佳模式。在一實施例中，自以下三各模式選擇該最佳模式：前向預測模式、後向預測模式，及雙線性預測模式。另外，在不涉及FRUC訊框的情況下執行最佳模式選擇。
在步驟506中，自基於所選最佳模式之B訊框巨集區塊與來自源訊框(意即，待編碼之源訊框)的原始巨集區塊之間獲得一錯誤殘值。接著，在步驟508中獲得原始巨集區塊與FRUC訊框巨集區塊之間的錯誤殘值資訊。在一實施例中，藉由自B訊框巨集區塊或FRUC訊框巨集區塊中減去原始巨集區塊來分別獲得B訊框巨集區塊或FRUC訊框巨集區塊之錯誤殘值。此外，藉由以下公式為B訊框巨集區塊(B_RD成本)與FRUC訊框巨集區塊(FRUC－RD成本)計算一稱為比率失真成本(RD成本)之變數：RD成本＝失真度＋λ*比率在一實施例中，該"比率"係用以對某一區塊進行編碼之總位元(其使用個別巨集區塊之錯誤殘值)，該失真度為失真量度，且λ為取決於巨集區塊量化之預定加權因子。在一實施例中，失真度係藉由絕對差值總和(SAD)計算來判定。在其他實施例中，可使用不同失真量度。另外，在一實施例中，λ為一取決於量化參數之經驗公式。
如上文所述，選擇FRUC框架還是B框架編碼模式係基於絕對差值總和(SAD)值(其為有效的失真量測)及對殘值進行編碼所需之位元數。將此等兩個值相加(其中一者藉由λ加權)，且基於何者將結果最小化來決定"最佳"模式。使用失真度與位元率相加係因為編碼器可在影像品質與位元率之間進行折衷。因此，(例如)若編碼器遇到高度複雜之巨集區塊(若編碼器使用與先前相同之量化參數，則該巨集區塊會遭受大量失真)，則其可降低量化值以允許進行失真折衷，即使其將需要更多位元進行編碼。
一旦已判定錯誤殘值並因此已判定B－RD成本(B訊框巨集區塊之RD成本)，且已判定該錯誤殘值並因此已判定FRUC_RD成本(FRUC訊框巨集區塊的RD成本)，步驟510便對該等成本進行比較，並判定FRUC－RD成本是否小於B－RD成本。若如此，則於步驟512中選擇FRUC模式。否則，於步驟514中選擇在步驟504中所判定之最佳模式。
圖6說明了根據一實施例之編碼方案進行編碼的視訊序列606，其中層決策區塊608將媒體資料分割成兩層，包含基礎層604及增強層602。由於對正確重建視訊序列606較為重要，故將諸如P訊框612及614之I及P訊框分割至基礎層604；同時諸如B訊框610之較不重要之B框架則位於增強層602中。如圖中所說明的，FRUC訊框616亦可存在於基礎層604中。
圖7說明了根據一實施例之FRUC編碼過程的流程圖，如上文所述。在步驟702中，將傳入媒體(視訊)序列分割成基礎層訊框及增強層訊框。在一實施例中，每一增強訊框與每一潛在FRUC訊框之間存在一一對應關係。在其他實施例中，增強訊框與潛在FRUC訊框之比並不一定一一對應。一旦已分割該視訊序列，操作便繼續執行步驟704，於該步驟中，基於所用之標準編碼方案對基礎層中之訊框進行編碼。舉例而言，可使用如H.264標準中所頒佈的編碼標準。接著，在步驟706中，在與待編碼之增強訊框相同之時間實例插入一FRUC訊框。在一實施例中，該FRUC訊框可取決於經重建之當前訊框與所儲存之先前訊框。其他實施例可使用上述其他FRUC演算法。在步驟708中，借助於內插之FRUC訊框對增強層中之訊框進行編碼。
應注意，可在各種硬體/軟體實施例中建構本文所提及之模組及處理區塊。因此，普通熟習此項技術者將瞭解，(例如)相同處理器可執行FRUC操作以及SAD計算。另外，可結合通用處理器而使用數位訊號處理器(DSP)或其他專門處理器，來實施本文所述之功能。不應將對執行一特定功能或多個功能之模組或單元的提及侷限於包含一用以執行該功能或該等功能之特定電路，而可能(再次地)包含一經組態以執行該功能或該等功能的處理器。
本發明基於上述模式選擇方法而僅以非常少乃至無任何視覺品質損害為代價，節省了所傳輸之位元流。舉例而言，藉由增大標準(H.26X/MPEG－X)位元流語法而在相同品質程度上減少了位元率/頻寬。此將降低丟棄增強位元流之可能性，且因此改良經重建之視訊品質。在一實施例中，因為可藉由簡單的內插功能於解碼器處恢復/計算運動向量資訊，故無需在對增強層進行編碼之過程中傳輸該運動向量資訊。因此可實現所有的位元率節省。
此外，可藉由基於接收器之硬體資源之最佳用法適應性地選擇一適當FRUC演算法來達成計算可調性。舉例而言，若解碼器具有內建式運動估算加速器，則可選擇具MV處理之接種ME輔助MCI型FRUC演算法。由於視訊將藉由使用FRUC特徵而回放全部框率(其中僅在接收到基礎層位元流時插入FRUC訊框)，故可達成更佳時間可調性。在FRUC輔助之視訊流重建比完全B訊框重建所需之週期更少時，可在解碼器處獲得電力節省(光其於掌上型設備中)。
據預測，當使用IBP圖片群(GOP)結構時，B訊框佔用了高達30%之總位元率。因此，藉由減少配置用於傳輸B訊框之資料，本發明可降低總體位元率。舉例而言，對於IBP GOP結構而言，當將基礎層與增強層置於一起時，可降低高達15%之位元率。在使用IBBP GOP或IBBBP GOP結構時，此百分比會上升，此係因為此等結構利用更多B訊框。對於I與P之間具有更多數目之B訊框的彼等結構而言，此百分比將更高。
圖8展示無線系統中之存取終端機802x及存取點804x的方塊圖。如本文所述之"存取終端機"係指向使用者提供聲音及/或資料連通性的設備。該存取終端機可連接至諸如膝上型電腦或桌上型電腦之計算設備，或其可為諸如個人數位助理之獨立設備。該存取終端機亦可稱為用戶單元、行動台、行動裝置、遠端台、遠程終端機、使用者終端機、使用者代理或使用者設備。該存取終端機可為用戶台、無線設備、行動電話、PCS電話、無繩電話、會話初始協定(SIP)電話、無線區域迴路(WLL)台、個人數位助理(PDA)、具有無線連接能力之掌上型設備，或連接至無線數據機之其他處理設備。如本文所述之"存取點"係指存取網路中於無線介面上經由一或多個區段而與存取終端機進行通信之設備。存取點藉由將所接收之無線介面訊框轉換成IP封包而於存取終端機與存取網路(其可包含IP網路)之剩餘部分之間充當路由器。存取點亦協調對無線介面之屬性的管理。
對於反向連結而言，於存取終端機802x處，傳輸(TX)資料處理器814自資料緩衝器812接收通信量資料，基於所選之編碼及調變方案對每一資料封包進行處理(例如，編碼、交錯及符號映射)，並提供資料符號。資料符號係用於資料之調變符號，且向導符號係用於向導(已知其為"先驗")之調變符號。調變器816接收資料符號、向導符號，及可能之指示該反向連結之訊號，執行(例如，OFDM)調變及/或系統所指定之其他處理，並提供一輸出晶片流。傳輸器單元(TMTR)818對該輸出晶片流進行處理(例如，轉換成類比、濾波、放大及增頻轉換)，並產生一經調變之訊號，此訊號自天線820而傳輸。
在存取點804x處，藉由天線852接收存取終端機802x及與存取點804x進行通信之其他終端機所傳輸的經調變訊號。接收器單元(RCVR)854對來自天線852之所接收信號進行處理(例如，調節及數位轉換)並提供所接收之樣品。解調器(Demod)856對所接收之樣品進行處理(例如，解調及偵測)，並提供所偵測之資料符號，該等資料符號係對藉由終端機傳輸至存取點804x之資料符號的雜訊評估。接收(RX)資料處理器858處理(例如，符號逆映射、解交錯及解碼)每一終端機之所偵測資料符號，並為該終端機提供經解碼之資料。
對於前向連結而言，在存取點804x處，藉由TX資料處理器860處理通信資料以產生資料符號。調變器862接收資料符號、向導符號及指示該前向連結之訊號，執行(例如，OFDM)調變及/或其他相關處理，並提供一輸出晶片流，該晶片流進一步藉由傳輸器單元864加以調節且自天線852而傳輸。前向連結訊號可包含藉由控制器870為所有終端機產生之功率控制指令，該等指令於該反向連結上傳輸至存取點804x。在存取終端機802x處，藉由天線820接收存取點804x所傳輸之經調變訊號，藉由接收器單元822對其進行調節及數位化，並藉由解調器824對其進行處理，以獲得所偵測之資料符號。RX資料處理器826對所偵測之資料符號進行處理，並為終端機及前向連結訊號提供經解碼之資料。控制器830接收功率控制指令並控制資料傳輸，且將反向連結上之功率傳輸至存取點804x。控制器830及870分別指導存取終端機802x及存取點804x之操作。記憶體單元832及872分別儲存控制器830及870所用之程式碼及資料。
所揭示之實施例可應用於以下技術中之任一者或其組合：劃碼多向近接(CDMA)系統、多載波CDMA(MC－CDMA)、寬頻CDMA(W－CDMA)、高速下行封包近接(HSDPA)、劃時多向近接(TDMA)系統、頻分多向近接(FDMA)系統，及正交頻分多向近接(OFDMA)系統。
應注意，可在熟習此項技術者已知之多種通信硬體、處理器及系統上實施本文所述之方法。舉例而言，用戶端如本文所述一般運作之一般要求在於該用戶端需具有：一顯示器，用以顯示內容及資訊；一處理器，用以控制用戶端之操作；及一記憶體，用以儲存與該用戶端操作相關之資料及程式。在一實施例中，用戶端為行動電話。在另一實施例中，用戶端為具有通信能力之掌上型電腦。在又一實施例中，用戶端為具有通信能力之個人電腦。此外，若需要，可將諸如GPS接收器之硬體併入用戶端中，以建構各種實施例。結合本文所揭示之實施例而描述的各種說明性邏輯、邏輯區塊、模組及電路可與以下設備一同建構或執行：通用處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘極陣列(FPGA)或其他可程式化邏輯設備、離散閘或電晶體邏輯、離散硬體組件，或其經設計以執行本文所述功能之任何組合。通用處理器可為微處理器，但或者該處理器可為任何習知處理器、控制器、微控制器或狀態機。亦可將處理器建構為計算設備之組合(例如DSP與微處理器之組合)、複數個微處理器、一或多個微處理器與DSP核心相結合，或其他任何此構型。
所揭示之實施例可應用於以下技術中之任一者或其組合：劃碼多向近接(CDMA)系統、多載波CDMA(MC－CDMA)、寬頻CDMA(W－CDMA)、高速下行封包近接(HSDPA)、劃時多向近接(TDMA)系統、頻分多向近接(FDMA)系統，及正交頻分多向近接(OFDMA)系統。
應注意，可於熟習此項技術者已知的多種通信硬體、處理器及系統上實施本文所述之方法。舉例而言，用戶端如本文所述一般運作之一般要求在於該用戶端具有：一顯示器，用以顯示內容及資訊；一處理器，用以控制用戶端之操作；及一記憶體，用以儲存與該用戶端操作相關之資料及程式。在一實施例中，用戶端為行動電話。在另一實施例中，用戶端為具有通信能力之掌上型電腦。在又一實施例中，用戶端為具有通信能力之個人電腦。
結合本文所揭示之實施例進行描述的各種說明性邏輯、邏輯區塊、模組及電路可與以下設備一同被建構或執行：通用處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式化閘極陣列(FPGA)或其他可程式化邏輯設備、離散閘或電晶體邏輯、離散硬體組件，或其經設計以執行本文所述功能之任何組合。通用處理器可為微處理器，但或者該處理器可為任何習知處理器、控制器、微控制器或狀態機。亦可將處理器建構為計算設備之組合(例如DSP與微處理器之組合)、複數個微處理器、一或多個微處理器與DSP核心相結合，或其他任何此構型。
可直接在硬體中、在藉由處理器執行之軟體模組中，或其兩者之組合中實施結合本文所揭示之實施例而描述的方法或演算法之步驟。軟體模組可位於RAM記憶體、快閃記憶體、ROM記憶體、EPROM記憶體、EEPROM記憶體、暫存器、硬碟、可移除式光碟、CD－ROM，或此項技術已知之其他任何形式儲存媒體中。一例示性儲存媒體耦接至處理器，以致該處理器可自該儲存媒體讀取資訊並將資訊寫入至該儲存媒體。或者，儲存媒體可整合至處理器。處理器及儲存媒體可位於ASIC中。ASIC可位於使用者終端機中。或者，處理器及儲存媒體可作為離散組件而位於使用者終端機中。
提供對所揭示之實施例的說明，以使任何熟習此項技術者能夠製造或使用本發明。熟習此項技術者易於瞭解對此等實施例之各種修改，且可在不偏離所述實施例之精神或範疇的情況下將本文中所界定之一般原理應用於其他實施例，例如應用於即時通訊服務或任何一般無線資料通信應用程式。因此，本描述之範疇並非用以侷限於本文所示之實施例，而是與本文所揭示之原理及新穎特徵最廣泛地一致。本文排他地使用字"例示性"來意味著"充當一實例、例子或說明。"不必要將本文中描述為"例示性"之任何實施例理解為優於其他實施例。
102．．．增強層
104．．．基礎層
106．．．視訊序列
110．．．B訊框
112、114．．．P訊框
202．．．主層
204．．．內插層
206．．．視訊序列
212．．．I訊框
214、218．．．BF訊框
216．．．PF訊框
220．．．P訊框
222、226．．．FRUC內插訊框
224．．．FRUC FRM
402．．．F訊框偵測器
404．．．P或B訊框編碼器
406．．．可變長度編碼(VLC)編碼器
408．．．運動向量(MV)緩衝器
410．．．經重建訊框緩衝器
412．．．FRUC單元
414．．．FRUC訊框緩衝器
416．．．模組
418．．．離散餘弦變換(DCT)/量化/VLC模組
420．．．F區塊位元模組
422．．．F區塊RD成本模組
424．．．比較器模組
428．．．F訊框編碼單元
430．．．比較器
432．．．模組
434．．．區塊
436．．．B區塊RD成本計算器
440．．．輸出位元流
602．．．增強層
604．．．基礎層
606．．．視訊序列
608．．．層決策區塊
610．．．B訊框
612、614．．．P訊框
616．．．FRUC訊框
802x．．．存取終端機
804x．．．存取點
812．．．資料緩衝器
814、860．．．傳輸(TX)資料處理器
816、862．．．調變器
818、864．．．傳輸器單元
820、852．．．天線
822、854．．．接收器單元
824、856．．．解調器
826、858．．．接收(RX)資料處理器
830、870．．．控制器
832、872．．．記憶體單元
圖1為說明具有一基礎層及一增強層之習知兩層編碼的圖；圖2為說明根據一實施例組態之編碼方案的圖，其中已借助於FRUC訊框對一主層進行編碼；圖3為根據一實施例用以借助於FRUC訊框對基礎層進行編碼之方法的流程圖；圖4為根據一實施例組態之編碼系統的方塊圖；圖5為根據一實施例用於編碼模式選擇之方法的流程圖；圖6為說明根據一實施例組態之兩層編碼方案之圖，其中已借助於FRUC訊框對一增強層進行編碼；圖7為根據一實施例用以將媒體資料分割成兩層並借助於FRUC訊框對增強層編碼之方法的流程圖；及圖8為無線系統之存取終端機及存取點之方塊圖。
在所有圖式中，相似序號指相似元件。

Claims (23)

  1. 一種用於對一視訊流進行編碼之方法，該方法包括：將該視訊流分割成一具有複數個主層訊框之主層，及一具有複數個內插層訊框之內插層；參照該等主層訊框之一第一訊框內插一訊框率上升轉換(FRUC)訊框；及參照該內插之FRUC訊框對該主層中該等主層訊框之至少一第二訊框進行編碼。
  2. 如請求項1之方法，其中在每一主層訊框與每一潛在FRUC訊框之間存在一個一對一之對應關係。
  3. 如請求項1之方法，其中該FRUC訊框取決於一經重建之當前訊框及一經儲存之先前訊框。
  4. 如請求項1之方法，其中內插該FRUC訊框之該步驟包括在與該待編碼之主層訊框的相同時間情況而內插該FRUC訊框。
  5. 如請求項1之方法，其中該參照該內插之FRUC訊框對該主層中該等主層訊框之至少一第二訊框進行編碼包括對該等複數個內插層訊框中之一內插層訊框的一巨集區塊執行一模式選擇過程。
  6. 一種儲存有指令之電腦可讀媒體，當該等指令藉由一處理器加以執行時，會使該處理器執行一用以對一視訊流進行編碼之方法，該方法包括：將該視訊流分割成一具有複數個主層訊框之主層，及一具有複數個內插層訊框之內插層； 參照該等主層訊框之一第一訊框內插一訊框率上升轉換(FRUC)訊框；及參照該內插之FRUC訊框對該主層中該等主層訊框之至少一第二訊框進行編碼。
  7. 如請求項6之電腦可讀媒體，其中在每一主層訊框與每一潛在FRUC訊框之間存在一個一對一之對應關係。
  8. 如請求項6之電腦可讀媒體，其中該FRUC訊框取決於一經重建之當前訊框及一經儲存之先前訊框。
  9. 如請求項6之電腦可讀媒體，其中內插該FRUC訊框之該步驟包括在與該待編碼之主層訊框的相同時間情況而內插該FRUC訊框。
  10. 如請求項6之電腦可讀媒體，其中該參照該內插之FRUC訊框對該主層中該等主層訊框之至少一第二訊框進行編碼包括對該等複數個內插層訊框中之一內插層訊框的一巨集區塊執行一模式選擇過程。
  11. 一種用以對一視訊流進行編碼之裝置，包括：用以將該視訊流分割成一具有複數個主層訊框之主層的構件，及一具有複數個內插層訊框之內插層；用以參照該等主層訊框之一第一訊框內插一訊框率上升轉換(FRUC)訊框之構件；及用以參照該內插之FRUC訊框對該主層中該等主層訊框之至少一第二訊框進行編碼的構件。
  12. 如請求項11之裝置，其中在每一主層訊框與每一潛在FRUC訊框之間存在一個一對一之對應關係。
  13. 如請求項11之裝置，其中該FRUC訊框取決於一經重建之當前訊框及一經儲存之先前訊框。
  14. 如請求項11之裝置，其中一用以內插該FRUC訊框之構件包括用以在與該待編碼之主層訊框的相同時間情況而內插該FRUC訊框的構件。
  15. 如請求項11之裝置，其中該用以參照該內插之FRUC訊框對該主層中該等主層訊框之至少一第二訊框進行編碼之構件包括用以對該等複數個內插層訊框中之一內插層訊框的一巨集區塊執行一模式選擇過程的構件。
  16. 一種用於編碼一包含複數個訊框之視訊流之視訊編碼器處理器，該視訊編碼處理器包括：一訊框率上升轉換(FRUC)模組，該FRUC模組參照該視訊流之一第一訊框產生一FRUC訊框；一耦接至該FRUC模組之比率失真成本(RD成本)計算模組，該RD成本計算模組經組態以：接收該FRUC訊框並基於該FRUC訊框的一巨集區塊來計算一第一成本，其中該第一成本包含一預測來自該FRUC訊框之該巨集區塊的該視訊流之一後續訊框之一巨集區塊的成本；及接收該第一訊框並基於該第一訊框的一巨集區塊來計算一第二成本，其中該第二成本包含一預測來自該第一訊框之該巨集區塊的該視訊流之該後續訊框之一巨集區塊的成本；及一耦接至該RD成本計算模組之模式決策模組，該模式決策模組經組態以： 比較該第一成本與該第二成本；若該第一成本小於該第二成本，則對使用該FRUC訊框之該巨集區塊的該後續訊框之該巨集區塊進行編碼；及若該第一成本大於該第二成本，則對使用該第一訊框之該巨集區塊的該後續訊框之該巨集區塊進行編碼。
  17. 如請求項16之視訊編碼器處理器，其中該模式選擇模組經進一步組態以當該第一成本低於在一相應B訊框中之一相應巨集區塊的一B訊框巨集區塊RD成本時，為視訊流之該後續訊框選擇一F訊框編碼模式。
  18. 如請求項17之視訊編碼器處理器，進一步包括一B訊框編碼器，該B訊框編碼器產生該相應B訊框。
  19. 如請求項16之視訊編碼器處理器，進一步包括一耦接至該FRUC模組之絕對差值總和(SAD)計算模組，該SAD計算模組經組態以計算基於該等複數個FRUC訊框之一者中的該巨集區塊之一SAD值，及該相應第一訊框中之該相應巨集區塊的一SAD值。
  20. 如請求項19之編碼器處理器，其中該SAD計算模組經組態以計算基於該等複數個FRUC訊框之一者中之該巨集區塊的一SAD值與該相應第一訊框中之該相應巨集區塊的一SAD值之間的一差值，並將該差值與一預定臨限值進行比較，該SAD計算模組產生一單一位元，以在該差值低於該預定臨限值時指示一F訊框模式。
  21. 一種用於對一包含複數個訊框之視訊流進行編碼之方 法，該方法包括：參照該視訊流之一第一訊框產生一訊框率上升轉換(FRUC)訊框；基於該FRUC訊框的一巨集區塊來計算一第一成本，其作為一F訊框巨集區塊RD成本，其中該第一成本包含一預測來自該FRUC訊框中之該巨集區塊的該視訊流之一後續訊框之一巨集區塊的成本；計算一第二成本，其作為一用於在一相應第一訊框中之一相應巨集區塊的RD成本；比較該第一成本與該第二成本；基於該比較之結果選擇一用於該視訊流之該後續訊框的編碼方案；若該第一成本大於該第二成本，則對使用該相應第一訊框中之該巨集區塊的該視訊流之該後續訊框之該巨集區塊進行編碼；及若該第一成本小於該第二成本，則對使用該FRUC訊框中之該巨集區塊的該視訊流之該後續訊框之該巨集區塊進行編碼。
  22. 一種用於對一包含複數個訊框之視訊流進行編碼之裝置，包括：用於參照該視訊流之一第一訊框產生一訊框率上升轉換(FRUC)訊框之構件；用於基於該FRUC訊框的一巨集區塊來計算一第一成本，其作為一F訊框巨集區塊RD成本之構件，其中該第 一成本包含一預測來自該FRUC訊框中之該巨集區塊的該視訊流之一後續訊框之一巨集區塊的成本；用於計算一第二成本，其作為一用於在一相應第一訊框中之一相應巨集區塊的RD成本之構件；用於比較該第一成本與該第二成本之構件；用於基於該比較之結果選擇一用於該視訊流之該後續訊框的編碼方案之構件；用於若該第一成本大於該第二成本，則對使用該相應第一訊框中之該巨集區塊的該視訊流之該後續訊框之該巨集區塊進行編碼之構件；及用於若該第一成本小於該第二成本，則對使用該FRUC訊框中之該巨集區塊的該視訊流之該後續訊框之該巨集區塊進行編碼之構件。
  23. 一種儲存有指令之電腦可讀媒體，當該等所儲存指令藉由一處理器加以執行時，會使該處理器執行一用以對一包含複數個訊框之視訊流編碼之方法，該方法包括：參照該視訊流之一第一訊框產生一訊框率上升轉換(FRUC)訊框；基於該FRUC訊框的一巨集區塊來計算一第一成本，其作為一F訊框巨集區塊RD成本，其中該第一成本包含一預測來自該FRUC訊框中之該巨集區塊的該視訊流之一後續訊框之一巨集區塊的成本；計算一第二成本，其作為一用於在一相應第一訊框中之一相應巨集區塊的RD成本； 比較該第一成本與該第二成本；基於該比較之結果選擇一用於該視訊流之該後續訊框的編碼方案；若該第一成本大於該第二成本，則對使用該相應第一訊框中之該巨集區塊的該視訊流之該後續訊框之該巨集區塊進行編碼；及若該第一成本小於該第二成本，則對使用該FRUC訊框中之該巨集區塊的該視訊流之該後續訊框之該巨集區塊進行編碼。
TW094122411A 2004-07-01 2005-07-01 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置 TWI392374B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US58515404P 2004-07-01 2004-07-01
US66581605P 2005-03-22 2005-03-22

Publications (2)

Publication Number Publication Date
TW200625963A TW200625963A (en) 2006-07-16
TWI392374B true TWI392374B (zh) 2013-04-01

Family

ID=35116155

Family Applications (1)

Application Number Title Priority Date Filing Date
TW094122411A TWI392374B (zh) 2004-07-01 2005-07-01 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置

Country Status (15)

Country Link
US (1) US8948262B2 (zh)
EP (1) EP1774779A2 (zh)
JP (2) JP5038134B2 (zh)
KR (2) KR100913260B1 (zh)
CN (1) CN101010964B (zh)
AR (1) AR049454A1 (zh)
AU (1) AU2005262409A1 (zh)
BR (1) BRPI0512816A (zh)
CA (1) CA2572605C (zh)
IL (1) IL180444A0 (zh)
MX (1) MX2007000254A (zh)
PE (1) PE20060536A1 (zh)
RU (1) RU2370909C2 (zh)
TW (1) TWI392374B (zh)
WO (1) WO2006007527A2 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369405B2 (en) 2004-05-04 2013-02-05 Qualcomm Incorporated Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
US8948262B2 (en) 2004-07-01 2015-02-03 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
WO2006012384A2 (en) 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression
US8553776B2 (en) * 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US9258519B2 (en) * 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
US20070076796A1 (en) * 2005-09-27 2007-04-05 Fang Shi Frame interpolation using more accurate motion information
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) * 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8582660B2 (en) 2006-04-13 2013-11-12 Qualcomm Incorporated Selective video frame rate upconversion
US8565217B2 (en) * 2006-06-07 2013-10-22 Qualcomm Incorporated Methods and apparatus for supporting tunneling related to wireless downlink signaling flows
US8565216B2 (en) * 2006-06-07 2013-10-22 Qualcomm Incorporated Methods and apparatus for supporting tunneling related to wireless uplink signaling flows
EP2036302A2 (en) * 2006-06-07 2009-03-18 QUALCOMM Incorporated Methods and apparatus for using control values to control communications processing
CN100584006C (zh) * 2006-06-20 2010-01-20 中兴通讯股份有限公司 一种基于时间分辨率变换的视频转换处理方法
US10084627B2 (en) 2006-07-10 2018-09-25 Qualcomm Incorporated Frequency hopping in an SC-FDMA environment
US8457221B2 (en) 2006-09-08 2013-06-04 Qualcomm Incorporated Signaling transmission with localized spreading for wireless communication
KR101150105B1 (ko) 2006-11-06 2012-06-08 콸콤 인코포레이티드 서브밴드 로드 종속적 전송 전력 제어 방법
EP1944875B1 (en) 2007-01-09 2018-11-14 Samsung Electronics Co., Ltd. Apparatus and method for allocating resources in a single carrier-frequency division multiple access system
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US8848793B2 (en) * 2007-10-31 2014-09-30 Broadcom Corporation Method and system for video compression with integrated picture rate up-conversion
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8767831B2 (en) * 2007-10-31 2014-07-01 Broadcom Corporation Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
JP4296218B1 (ja) * 2008-02-21 2009-07-15 シャープ株式会社 映像表示装置
US8284839B2 (en) 2008-06-23 2012-10-09 Mediatek Inc. Joint system for frame rate conversion and video compression
US8494058B2 (en) 2008-06-23 2013-07-23 Mediatek Inc. Video/image processing apparatus with motion estimation sharing, and related method and machine readable medium
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
US20100149301A1 (en) * 2008-12-15 2010-06-17 Microsoft Corporation Video Conferencing Subscription Using Multiple Bit Rate Streams
US8009567B2 (en) * 2009-02-05 2011-08-30 Cisco Technology, Inc. System and method for improved data transmission reliability over a network
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP5551308B2 (ja) * 2010-05-26 2014-07-16 クゥアルコム・インコーポレイテッド カメラパラメータ支援型のビデオフレームレート・アップコンバージョン
US8947492B2 (en) * 2010-06-18 2015-02-03 Microsoft Corporation Combining multiple bit rate and scalable video coding
KR101750047B1 (ko) 2010-10-11 2017-06-22 삼성전자주식회사 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
RU2446471C1 (ru) * 2010-12-23 2012-03-27 Государственное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ГОУ ВПО ТГТУ Способ обнаружения движущихся объектов и определения их параметров
JP5950541B2 (ja) * 2011-11-07 2016-07-13 キヤノン株式会社 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
US8661491B1 (en) * 2012-08-02 2014-02-25 Ericsson Television Inc. Methods using base content and additive content and related client devices and network server devices
US10230956B2 (en) * 2012-09-26 2019-03-12 Integrated Device Technology, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements
CN103152566B (zh) * 2013-02-22 2016-03-09 华中科技大学 一种视频帧率提升方法
JP6156489B2 (ja) * 2013-04-23 2017-07-05 富士通株式会社 画像符号化装置、画像符号化方法、及び撮像装置
CN103929648B (zh) * 2014-03-27 2017-04-19 华为技术有限公司 一种帧率上采样中的运动估计方法和装置
US10432946B2 (en) * 2014-12-23 2019-10-01 Apple Inc. De-juddering techniques for coded video
US10055807B2 (en) 2016-03-02 2018-08-21 Samsung Electronics Co., Ltd. Hardware architecture for acceleration of computer vision and imaging processing
CN107770511A (zh) * 2016-08-15 2018-03-06 中国移动通信集团山东有限公司 一种多视点视频的编解码方法、装置和相关设备
JP2022008719A (ja) * 2016-11-23 2022-01-14 セルヴァス エーアイ インコーポレイテッド 疾患発症予測方法及び装置
US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
US11483565B2 (en) * 2018-08-10 2022-10-25 Saturn Licensing Llc Receiving apparatus, receiving method, transmitting apparatus, and transmitting method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6229570B1 (en) * 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
TW480885B (en) * 1999-07-06 2002-03-21 Ind Tech Res Inst Fast motion-compensated video frame interpolator
US20040017852A1 (en) * 2002-05-29 2004-01-29 Diego Garrido Predictive interpolation of a video signal
US6728317B1 (en) * 1996-01-30 2004-04-27 Dolby Laboratories Licensing Corporation Moving image compression quality enhancement using displacement filters with negative lobes

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3670096A (en) * 1970-06-15 1972-06-13 Bell Telephone Labor Inc Redundancy reduction video encoding with cropping of picture edges
EP0018856B1 (en) 1979-05-08 1990-08-16 British Broadcasting Corporation Television display system
JPH0317883A (ja) * 1989-06-15 1991-01-25 Sony Corp 時間情報発生装置
JP3159365B2 (ja) 1989-09-27 2001-04-23 ソニー株式会社 映像信号伝送方法及び映像信号伝送装置
GB2247587B (en) * 1990-08-31 1994-07-20 Sony Broadcast & Communication Movie film and video production
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
FR2675002B1 (fr) * 1991-04-05 1993-06-18 Thomson Csf Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification.
US5784107A (en) * 1991-06-17 1998-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for picture coding and method and apparatus for picture decoding
KR0151410B1 (ko) * 1992-07-03 1998-10-15 강진구 영상신호의 운동벡터 검출방법
US5844616A (en) * 1993-06-01 1998-12-01 Thomson Multimedia S.A. Method and apparatus for motion compensated interpolation
JP2900983B2 (ja) * 1994-12-20 1999-06-02 日本ビクター株式会社 動画像帯域制限方法
JP3604752B2 (ja) 1995-01-09 2004-12-22 沖電気工業株式会社 動きベクトル検出装置および方法
JP3577354B2 (ja) 1995-02-08 2004-10-13 富士写真フイルム株式会社 補間画像データ生成装置および方法
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
JPH09182083A (ja) 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
JP2000512091A (ja) 1996-05-24 2000-09-12 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動作ベクトル処理
EP0840982B1 (en) 1996-05-24 2002-02-13 Koninklijke Philips Electronics N.V. Motion estimation
JP3363036B2 (ja) 1996-08-23 2003-01-07 ケイディーディーアイ株式会社 動画像符号化ビットストリーム変換装置
CN1167047C (zh) * 1996-11-07 2004-09-15 松下电器产业株式会社 声源矢量生成装置及方法
US6043846A (en) * 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
US6008865A (en) * 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
FR2764156B1 (fr) 1997-05-27 1999-11-05 Thomson Broadcast Systems Dispositif de pretraitement pour codage mpeg ii
EP0883298A3 (en) 1997-06-04 2000-03-29 Hitachi, Ltd. Conversion apparatus for image signals and TV receiver
JP4092778B2 (ja) 1997-06-04 2008-05-28 株式会社日立製作所 画像信号の方式変換装置及びテレビジョン受像機
JP4083266B2 (ja) 1997-10-07 2008-04-30 株式会社日立製作所 動きベクトルの生成方法および装置
WO1999022525A1 (en) 1997-10-23 1999-05-06 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6560371B1 (en) * 1997-12-31 2003-05-06 Sarnoff Corporation Apparatus and method for employing M-ary pyramids with N-scale tiling
US6404901B1 (en) * 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
JP4004653B2 (ja) * 1998-08-03 2007-11-07 カスタム・テクノロジー株式会社 動きベクトル検出方法および装置、記録媒体
JP2000134585A (ja) 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US6625333B1 (en) * 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis
US7003038B2 (en) * 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
US6704357B1 (en) * 1999-09-28 2004-03-09 3Com Corporation Method and apparatus for reconstruction of low frame rate video conferencing data
EP1142343A1 (en) 1999-10-29 2001-10-10 Koninklijke Philips Electronics N.V. Video encoding method
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
CN100504925C (zh) 2000-05-18 2009-06-24 Nxp股份有限公司 用于检测图像间的运动的方法和装置以及图像显示装置
AU2000257047A1 (en) 2000-06-28 2002-01-08 Mitsubishi Denki Kabushiki Kaisha Image encoder and image encoding method
RU2182727C2 (ru) 2000-07-20 2002-05-20 Дворкович Александр Викторович Способ поиска векторов движения деталей в динамических изображениях
US7042941B1 (en) * 2001-07-17 2006-05-09 Vixs, Inc. Method and apparatus for controlling amount of quantization processing in an encoder
EP1467569A4 (en) * 2002-01-18 2007-11-14 Toshiba Kk METHOD AND APPARATUS FOR ENCODING IMAGES IN MOTION, DECODING METHOD AND APPARATUS
JP2005519498A (ja) 2002-02-28 2005-06-30 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ フィールドレートをアップコンバージョンするための方法及び装置
KR100850705B1 (ko) 2002-03-09 2008-08-06 삼성전자주식회사 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
US6975359B2 (en) 2002-04-25 2005-12-13 Trident Microsystems, Inc. Method and system for motion and edge-adaptive signal frame rate up-conversion
US20030215011A1 (en) 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
KR100850706B1 (ko) * 2002-05-22 2008-08-06 삼성전자주식회사 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP4318019B2 (ja) 2002-05-28 2009-08-19 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
DE10232372B3 (de) 2002-07-17 2004-01-22 Micronas Gmbh Verfahren zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes
CN1682540A (zh) 2002-09-11 2005-10-12 皇家飞利浦电子股份有限公司 视频编码方法及装置
JP3910510B2 (ja) 2002-09-17 2007-04-25 株式会社東芝 フレーム補間システム及びフレーム補間方法
JP4007594B2 (ja) 2002-09-26 2007-11-14 株式会社東芝 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
KR100517504B1 (ko) * 2003-07-01 2005-09-28 삼성전자주식회사 Ｂ-픽처의 움직임 보상 모드 결정방법 및 장치
FR2857205B1 (fr) * 2003-07-04 2005-09-23 Nextream France Dispositif et procede de codage de donnees video
US7366462B2 (en) 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US8369405B2 (en) * 2004-05-04 2013-02-05 Qualcomm Incorporated Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
US8948262B2 (en) 2004-07-01 2015-02-03 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
WO2006012384A2 (en) * 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US8649436B2 (en) 2004-08-20 2014-02-11 Sigma Designs Inc. Methods for efficient implementation of skip/direct modes in digital video compression algorithms
US20060133495A1 (en) 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
KR100703744B1 (ko) * 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
JP4764273B2 (ja) * 2006-06-30 2011-08-31 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
US8045783B2 (en) * 2006-11-09 2011-10-25 Drvision Technologies Llc Method for moving cell detection from temporal image sequence model estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728317B1 (en) * 1996-01-30 2004-04-27 Dolby Laboratories Licensing Corporation Moving image compression quality enhancement using displacement filters with negative lobes
US6229570B1 (en) * 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
TW480885B (en) * 1999-07-06 2002-03-21 Ind Tech Res Inst Fast motion-compensated video frame interpolator
US6618439B1 (en) * 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
US20040017852A1 (en) * 2002-05-29 2004-01-29 Diego Garrido Predictive interpolation of a video signal

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M. Flierl and B. Girod, Generalized B pictures and the draft H.264/AVC video compression standard", IEEE Trans. ircuits Syst. Video Technol., vol. 13, no. 7, pp.587 - 597 , 2003. *

Also Published As

Publication number Publication date
CA2572605C (en) 2013-04-02
JP2008505555A (ja) 2008-02-21
MX2007000254A (es) 2007-04-09
TW200625963A (en) 2006-07-16
JP5038134B2 (ja) 2012-10-03
CN101010964B (zh) 2012-01-04
CN101010964A (zh) 2007-08-01
AR049454A1 (es) 2006-08-02
CA2572605A1 (en) 2006-01-19
RU2007103812A (ru) 2008-08-10
WO2006007527A3 (en) 2006-08-17
KR100913260B1 (ko) 2009-08-21
RU2370909C2 (ru) 2009-10-20
JP2011182408A (ja) 2011-09-15
KR20080112369A (ko) 2008-12-24
EP1774779A2 (en) 2007-04-18
US8948262B2 (en) 2015-02-03
US20060002465A1 (en) 2006-01-05
BRPI0512816A (pt) 2008-04-08
WO2006007527A2 (en) 2006-01-19
AU2005262409A1 (en) 2006-01-19
IL180444A0 (en) 2007-06-03
PE20060536A1 (es) 2006-06-28
JP5175370B2 (ja) 2013-04-03
KR20070053212A (ko) 2007-05-23

Similar Documents

Publication Publication Date Title
TWI392374B (zh) 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置
JP5563042B2 (ja) 適応性のあるビデオフレーム補間
JP5069099B2 (ja) 時間スケーラビリティを可能にするハイブリッド映像圧縮におけるフレーム予測のための方法および装置
KR100907847B1 (ko) 순간적 비디오 압축으로 이동 벡터 예측을 위한 방법 및장치
JP5118127B2 (ja) 適応符号器支援フレーム・レート・アップコンバージョン
EP2250813B1 (en) Method and apparatus for predictive frame selection supporting enhanced efficiency and subjective quality
WO2005027520A1 (en) Bi-directional predicting method for video coding/decoding
JP2004048552A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
TW201008291A (en) Video encoding by filter selection
JP2009524364A (ja) 誤り隠蔽に関連する歪み値に基づいてエンコード方法を決定する方法および装置
Tagliasacchi et al. Intra mode decision based on spatio-temporal cues in pixel domain Wyner-Ziv video coding
Van et al. HEVC backward compatible scalability: A low encoding complexity distributed video coding based approach
Ye et al. Improved side information generation with iterative decoding and frame interpolation for distributed video coding
Li et al. Motion information exploitation in H. 264 frame skipping transcoding
Goh et al. Real-time software MPEG-2 TO H. 264 video transcoding
Andrews et al. Test model 11 Purpose: Information
Andrews et al. Test model 12/Appendix II of H. 263 Version 3 Purpose: Information

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees