TW201134224A - Low-cost video encoder - Google Patents

Low-cost video encoder Download PDF

Info

Publication number
TW201134224A
TW201134224A TW099135303A TW99135303A TW201134224A TW 201134224 A TW201134224 A TW 201134224A TW 099135303 A TW099135303 A TW 099135303A TW 99135303 A TW99135303 A TW 99135303A TW 201134224 A TW201134224 A TW 201134224A
Authority
TW
Taiwan
Prior art keywords
frame
block
video data
video
new unit
Prior art date
Application number
TW099135303A
Other languages
English (en)
Inventor
yu-guo Ye
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW201134224A publication Critical patent/TW201134224A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Description

201134224 六、發明說明: 【發明所屬之技術領域】 特別是關於一種低成 、本發明係關於一種視訊編碼器 本視sfL編碼器。 【先前技術】 數位視訊編碼技術可以 訊序列組成之可視資料。隨著國==量以數位視 展,數位視訊現已廣泛地運用〜碼^準的發 於數位電視、移動視訊及網路視訊串 ⑽與刀子。數位視訊編碼標準提供互用性與靈活性需求, 以刺激數位視頻應用全球化的成長。 目前負責發展及實施數位視訊編碼標準有二國際组 織:視訊編碼專家團體(video codlng Experts Group,V=G)
及動晝專家團體(Moving pictures Experts Gr〇up,MPE VCEG已開發出H.26x視訊編碼標準家族(例如H 26l、 H.263),而MPEG則開發出MPEG_X視訊編碼標準家族(例 如MPEG-卜MPEG-4)。H.26x標準主要設計用於即時視訊 通訊應用,例如視訊會議及視訊電話;而mpeg標準則設 计用以滿足視儲存、視訊廣播及視訊流應用的需求。 國際電信聯盟電信標準部門(InternatiQnal
Telecommunication Union Telecommunication
Standardization Sector,ITU-T)及國際標準化組織 (International Standards Organization)/ 國際電工委員會 201134224 (International Electrotechnical Commission) (ISO/IEC)亦同 樣投入於發展高效能、高品質視訊編碼標準,包含早期 Η·262(或 MPEG-2)及近期 h.264(或 MPEG-4 第 10 部/AVC) 標準。H.264視訊編碼標準於2〇〇3年通過,其可利用實質 上低於先前視訊編碼標準的位元率,來提供高品質的視 讯。H.264標準提供足夠的靈活性,以適用於各種各樣的 應用,包含低、高位元率應用,以及低、高解析度應用。 H.264編碼器將數位視訊序列之每一視訊框架分割為 f個16X16的畫素區塊,稱為「巨集區塊」(職n>bl0CL)。 母一巨集區塊可以是一種「框内編碼」(intra_c〇ded)或是一 種「内部編瑪」(inter-coc|ecj)。 巧利用位於巨集區塊内 —.V工i j儿節 Μ得換、重κ 及熵(例如可變長度)編碼,而壓縮這些框内編碼巨集厘 塊。為了進一步增加編碼效率,可藉由框内預測而能夠驾 用框内編碼巨集區塊與其相鄰的巨集區塊間的空間相關 性’其中5從相鄰的巨集區塊來預測所述的框内編碼巨集 區塊’接者僅編碼其和所預測之巨集區塊之間的差異。” 另一方面,内部編碼巨集區塊可運用時間冗餘 的相似性。在典型的視訊序列、芊 通Η皮此相似’框架間僅有少數的晝素 ^ :物:2或::的運動所致。因此對於所有内部二:;〔由 塊,Η.264編碼器進行運動 旦集£ 期™編碼器搜尋另一框架中 議塊’以下將此框架簡稱為「參考框架」。在實際^ 201134224 =、,上述搜尋通常僅在一封閉「搜尋視窗」中進行’此搜 :視窗位於當前巨集區塊位置上。在運動補償階段,從當 前巨集區塊減去獲得的最佳匹配16χ16晝素區塊以製造一 殘餘區塊,然後將其與-「運動向量」—起編碼及傳輸, 此運動向量描述最佳匹配區塊的相對位置。應注意的是, 依據H.264標準,Η·264編碼器得選擇將16^6内部編碼 巨集區塊分割為各種不同大小之分區,例如制、8χΐ6、 ^⑽⑽及心且對每個分區獨立進行運動估計、 運動補償並與各自的運動向量一起編碼。然而,為了簡單 ^及不限制―般性,本說明書所描述之實施例僅提及單 一为區之内部編碼巨集區塊。 如同許多其他視訊編碼標準, 主要類型的框架:1_框架、ρ_框架及2二 含框内編碼巨集區塊。ρ_框芊 * 1框木僅包 i 框内編碼巨集區塊及/ 經移動補償所得之内部編碼巨集區 :來rt 框内編碼巨集區塊及/或從-過去框竿、- 者線性結合經移動補償所得之内部編碼巨华 參考框架,有著不同的限制。舉例而:作框架之 標準中,僅有最接近的過去或未來M PEG-4,訊 當前框架之參考框架。H.264標準對此去王木可被選定為 較遠的框架作為當前框架之參考框架。限定,且容許 之示ί圖圖: = 碼器系統_之示範實施例 將田則框架105以—巨集區塊m為單位進 201134224 行處理(以箭頭表示)。根據一預測模式119的指示(以箭頭 表示)以框内(intra)或内部(inter)模式其中之一來編碼巨集 區鬼110且針對每一巨集區塊形成一預測區塊丨2 5 (以箭 頭表示)。於框内模式中,利用一框内預測模組18〇根據儲 存於框内預測緩衝區165之鄰近巨集區塊資料166(以箭頭 表示),來形成一框内預測區塊118(以箭頭表示)。於内部 模式中,- ME/MC模組115執行運動估計及輸出一運動 補償預測區塊117(以箭财^)。㈣隨著制模式ιΐ9 ,不同’夕工12〇會通過框内預測區塊118或運動補償 區塊117,接著從巨集區塊11〇減去所得到的一結果預測 區塊125從巨集區塊11〇減去。利用一 d〇模组⑴ 轉換及量化-殘餘區塊13G(以箭頭表示刚—町/(?模 ==㈣及1化’以產生__量化區塊⑽(以箭頭表示), 後將其以利用熵編碼器編碼上述量化區塊14〇,且並將 ”傳送至比特位元流緩衝區15()以供傳輸及/或儲存。 仍」> 考第目’除了編碼及傳送一巨集區 解碼(重構)所述之巨集區塊,以供未來框内(或内部) 員:請:參考。利用一 IDCT/InvQ模組155將量化區塊“ο 料轉換及逆量化’且將其加回至預測區塊125,以形 =,160(以箭頭表示)。接著,於-框内預測緩衝 重構區塊16。,以供未來巨集區塊的框内預 少不塊160亦通過一解塊爐、波器17〇,其可減 二縮失真,且最後儲存於其於-未壓縮參考框 之對應位置。當可想見,由於在H.264標準 201134224 中可任意選用解塊濾波器,一些系統可能不包含解塊濾波 裔170,而直接將重構區塊16〇儲存於未壓縮參考框架緩 衝區175中。 ί' 【發明内容】 實施例中,一種視訊資料之新單位的編碼方法,其包 含:(1)依光柵順序將位於經編碼參考視訊資料之一單位的 搜尋視窗内的區塊增量地解碼至一參考視窗緩衝區中;及 (2)依據上述參考視窗緩衝區之經解碼區塊,依光栅順序將 視訊資料之新單位的每一區塊編碼。 實施例中,-種視訊資料之新單位的編碼系統,其包 含:-參考視窗緩衝區、-編碼子系統,及—編碼子系統。 所述編碼子系統係設置用以一光栅順序將位於經編碼參考 視訊資料之單位的搜尋視窗内的區塊增量地解碼至一 視窗緩衝區中。所述編碼子系統係設置用以依據參考視窗 緩衝區之經解魏塊,依光柵順序編碼視訊資料 的每一區塊。 【實施方式】 本發明將以較佳實施例及觀點加以 解釋本發明之結構、工具及方法步驟,僅用以說明而 ί限制本發明之申請專利範圍。因此,除說明書中之較佳 貫施例’此外本發明亦可廣泛實行於其他實施例中。 Η.264編碼器設計的—重要特徵係為記憶體尺寸及其 201134224 所需之記憶體頻官。筮_同& — Λ , ^ 覓第圖所不之典型H.264編碼器系統 ,舄要至^以下s己憶體緩衝區:框内預測緩衝區165、 當前框架緩衝區105,及未I縮參考框架緩衝區175。由於 僅少數幾個相鄰的巨集區塊必要框内預測緩衝區165,因 此框内預測緩衝區為相對地小。當前框架105不需完全儲 存二例而σ,右使用“乒乓”緩衝區,僅需要兩行巨集區 二新二:在處理其中一行巨集區塊時,第二行巨集區塊填 充新的像素資料,一旦第一行完全處理後,則第一行及第 二塊切換角色。甚至可利用實施更多先進記憶體 g理技術郎省記憶體。 仍然參考第一圖,對照上述兩種記憶體緩衝區,未壓 、土 '考忙木、‘爰衝區175包含完整非編碼(未壓縮)框架。一 二壓^框架可能需要多達魏B之記憶 老’友衝區通常包含至少兩個未壓縮框架:一個用以參 及—個用以編碼、重構、保存未來參考。此外,若使 需暫時儲存且未厂w—b,架,直到其未 考私木進仃編碼及重構。記憶體的過度需求轉化為增 加糸統成本:以主括p· » 曰 恃轉办寺.264編碼器,系統需提供足夠的記 Γ己憶體頻寬。後者為一個重要的因素,由於即 路^'已具有非必要的記憶冑’往往需要額外的電 ’ ’’.、了保證記憶體接收速度足夠快以適應H 264編碼器 體呆作於其最大資料傳輸速率)及所有其他客戶分享記憶 。己隐體空間與頻寬特別限於小型可攜應用,例如手 201134224 機、攝衫機或數位相機,由於這些物品的電力消耗具有高 度敏感,|電力消耗隨其記憶體接收速度成長。目I,: 多不需要其他外部記憶體晶片的單晶片應用,也被迫包含 一個外部記憶體晶僅為了支援H.264編碼器。這不僅 會影響整體成本’更提高應用程式的使㈣,—些 應用製造者盡量改善此類問題。 因此,最好可以提供一 H 264編碼器系統與方法,其 可大巾田減J所需s己憶體數量,從而避免外部記憶體晶片的 需求,改善整體系統性能及降低成本。 如則所述,H.264標準是非常靈活於分配不同框架 型(例如I-框架、Ρ·框架或B_框架)於不同框架,並於p' 架或框架之類型中,可選擇各自參考框架。、-忙 —第二圖係描述一實施例中類型分配及參考方案200。 母一框架被分配為[框架或p•框架且無Β·框架。每一 p 框力木係參考顯示序列於前之框架。例如,Ρ_框架22〇、 =240、及250使用l框架21〇作為其參考框架,且^ ί:Γ〇、280及290使用1_框架260作為其參考框架。由 此圖應可明白,二遠鋒τ去广Α 連π 1_框架之間的Ρ-框架為任意數量, 且该數Μ需要維持不變於整個視訊流。 缩灸::二把例,Η.264編碼器無法儲存或完全依靠未壓 縮參考框架。相反的 ^/2t· 由逐步解碼相%計與補償所需的參考資料藉 (壓縮)於位_泣」/_ 1-框架獲得,所述L框架儲存編碼 灸考視衝區。例如’某些實施例中,只有編碼 貝料(例如編碼參考框架’如參考框架)的搜尋 201134224 視窗内的區塊(例如巨集區塊)被解碼。 第三圖為本實施例之H.264編碼器系統300範例。於 巨集區塊310之單位(以箭頭表示)處理當前框架3〇5。巨集 區塊310藉由預測模式319(以箭頭表示)於框内或内部模 式作指不,且每一巨集區塊形成一預測區塊325(以箭頭表 示)。於框内模式中,一框内預測區塊318(以箭頭表示)藉 由一框内預測模組38〇形成,所述框内預測模組38〇係根 據儲存於框内預測緩衝區365之相鄰巨集區塊資料366(以 箭頭表不)。於内部模式中,一 ME/MC模組315執行運動 估計及輸出一運動補償預測區塊317(以箭頭表示)。根據預 ,模式319 ’ -多工32〇通過框内預測區塊318或運動補 償區塊3 17,接著—結果預測區塊325從巨集區塊3 1〇減 去。一殘餘區塊330(以箭頭表示)利用一 DCT/Q模組335 轉換及量化’以產生-量化區塊340(以箭頭表示),然後將 其以熵編碼器345編碼,且傳送至位元流緩衝區35〇以傳 輸及/或儲存。 因此ME/MC模組3 15、框内預測模組380、多工320、 DCT/Q t组335及網編碼器⑷彳認為共同形成一編碼子 系統。本實施例之編碼器1統被預期將有不同編碼子 糸統配置。例如’於—實施财,⑽碼ϋ 345被替換為 不同類型之編碼器。 仍 > 考第一圖,除了編碼與傳送巨集區塊之外,Η 264 編碼器系統30G解碼(重構)所述之巨集區塊,用以提供未 來框内(或内部)預測一參考區塊。量化區i鬼340利用一 201134224 IDCT/InvQ模組355進行逆轉換及逆量化,且力口回至予員測 區塊325,以形成一重構區塊360(以箭頭表示)。接著,於 一框内預測緩衝區365寫入一重構區塊36〇,用以作為框 内預測之未來巨集區塊。 仍參考第三圖,利用巨集區塊381(以箭頭表示)單位從 位元流緩衝區350讀取編碼I-框架,獲得參考^框架資料。 每一巨集區塊381以熵解碼器382解碼,以IDCT/InvQ模 組383逆轉換及逆量化,且加入框内預測模組384之輸出。 接著,其通過一解塊濾波器387過濾,以減少不必要的壓 縮失真,最後儲存於一未壓縮參考視窗緩衝區388之相對 位置。因此’熵解碼器382、IDCT/InvQ模組如、框 ,模組剔’及解塊濾'波器387可認為共同形成一解碼子 系統’其配置可依照不同編碼器系統3〇〇而改變。此應可 明白’由於H.264標準可選擇性解㈣波,—些實施例 選擇省略解塊濾波器387。 巧『間漯的目的 ,隹此將簡化且減少框内解, 二#内預測電路於框内預測模组384,圖中省略把 石預測回饋迴路。此亦將指出,應用程序包含h.264' =及Η.264解碼器於相同晶片或基版上 : 可重複使^些Η.264解碼器之電路 · \扁碼£ 碼路徑。因此,可預期草此 刖述之框内角 器系統氣组成將為上^例中’-些或全部之解 ⑨將為Μ共同集成電路晶片。 除了部份相對於搜尋視窗 存全部參考!_框_參考 ^ ^外’不需制 友衝區388。所述搜尋視窗 12 201134224 係以H.264編碼器系統3〇〇定義,最佳匹配參考區塊將被 搜,於ME/MC核組315内之唯一區域。因為在大多數實 際貫把巾’搜尋視窗設置僅為整個框架的」、部分,參考視 =緩衝區388通常為相對小且可被儲存於内部,並於同一 曰曰片上。因此,在某些實施例中,參考視窗緩衝區388較 小於參考I-框架。 第四圖係顯不本實施例之參考框架如何逐步解碼。在 此範例中,當前框架440之巨集區塊寬為45,及搜尋視窗 42〇被定義為44χ3巨集區塊,其中心對準正在處理之巨集 區塊。意即處理内部編碼巨集區塊於當前編碼框架44〇, 參考I-框帛之 44Χ3 £集區塊視窗需被快速解碼,並提供 於參考視窗緩衝區。舉例而言,編碼第一巨集區塊 41〇(Ρ-框架)需要巨集區塊ΜΒ〇_ΜΒ22及μΒ45 μβ66(參考 I-框架)的支持。同樣地,編碼ΜΒ67 43〇(ρ_框架)需要 ΜΒ1-ΜΒ44 之支持,膽46_则89 及 ΜΒ91_μβι34(參考 ^ 框架)。應可理解,如果處理之巨集區塊的位置為支持視窗 超出框架邊界’即過多的部份顯然地不能也無需進行解碼。 第五圖提供一時間示意圖500,係顯示本實施例之同 步Ρ-框架編碼與參考I-框架解碼。首先,於參考視窗緩衝 區解碼及儲存參考I-框架之巨集區塊ΜΒ〇至ΜΒ66。此提 供足夠參考資料以支持Ρ_框架之第一巨集區塊5ig 叫 編碼。當Ρ-框架之第一巨集區塊510ΜΒ0編碼完成後,參 考I-框架520之ΜΒ67已解碼且儲存至所述之參考視窗緩 衝區。接著,Ρ_框架之ΜΒ1進行編碼,且參考丨·框架之 13 201134224 MB68進行解碼且儲存,且此一處理程序依據光栅順序, 直到P-框架内之最後一個巨集區塊編碼完成⑴框架解碼 結束較早,當其最後一個完成解碼)。因此,參考L框架解 碼起始與結束較早於P_框架編碼。 關於記憶體使用效率,新解碼之框架巨集區塊可覆 寫於“較早” I-框架巨集區塊於參考視窗緩衝區,其將不 再被用作參考。例如,第四圖之實施例中,MB135可以代 替MBO、MB136之後可以覆寫MB1,等等。這種機制可 被實施通過循環緩衝區管理。因此,在一些實施例中,將 搜尋視窗内不具有相對編碼區塊之巨集區塊從參考視窗緩 衝區388丟棄。 、上述範例中,參考視由緩衝區之尺寸些微地超出搜尋 視囪之尺寸。這疋由於解碼巨集區塊依據光柵順序進行處 理’ k疋设今最簡單的p框架解碼方法 '然而,此應明白 有更多複雜的解碼序列可以把參考窗口緩衝區尺寸減小至 搜哥視窗尺寸。 另一實施例,H.264視訊編碼器僅使用框架及?_框 力二-些P-框架(以下簡稱p,_框架),將提供其他"匡架 ,。其他P-框架將參考在前之較近的p,_框架或卜框架。 之一範例係顯示於第六圖。此應可明白,二連 二1框架(!>,或D之間的P姻與1框架間的p,_框架可 2讀量’ ^'此些數量不需要維持不變於整個視訊流。 此::明自,框架不需遵循p,框架,其可以但不必遵循 一或多個P-框架。 201134224 第—六圖係顯示另一實施例中類型分配及參考方案 。母一框架被分配為工,架或"匡架且 二 些P-框架(在此簡稱p,_框力 …、 架 考。其他框架將參考二:=其他P-框架作為參 架。在第六圖的範例中,依箭^又近的p’-框架或框 估田Η厂加从 前頭才日不,Ρ,_框架620及630 Γ63 =::而:她”,_框架6^ 細.二:t下—框架組’參考方案可與上述範例些 U不同.P-框架651* 652使用【姻 架,及P-框架⑹及662使用 匡 架。此應可明白,二連續參考框:660作為其參考框 1框架間的p,-框架可為任意數量,且此此=的p_框架與 不變於整個視訊流。此亦可明白〜/力二數置不需要維持 其可以但不必遵循一或; 在此實施例中,Η 264 ia & «: 夫愿r…加 碼器不儲存或完全依靠 相反地’運動估計與補償所需的參考資 4猎由逐步解碼參考框架㈣架或 框架或P,-框架儲存編碼 于所这1 架為參考框架,為了、… 4衝區。當π 為j框加)竹'碼’ρ’-框架的參考框架(必須 為1-汇木)必須先進行部份解碼。S這 及工-框架係逐步解碼以提供參考資料給解碼^ 巨隼2 r本發明實施例之Η.264編碼器系統彻。於 鬼0之單位(以箭頭表示)處理當前框竿705。巨隼 错由亀式719(以箭頭表示)於框内或内部模 201134224 式作指不,且每一巨集區塊形成一預測區塊725(以箭頭表 示)。於框内模式中,一框内預測區塊718(以箭頭表示)藉 由一框内預測模组78〇形成,所述框内預測模組7⑽係根 ,儲存於框内預測緩衝區765之相鄰巨集區塊資料766(以 箭碩表示)。於内部模式中,一 ME/MC模組715執行運動 估:及輸出一運動補償預測區塊717(以箭頭表示)。根據預 j模式719,一多工720通過框内預測區塊718或運動補 仏區塊717,接著一結果預測區塊725從巨集區塊7ι〇減 去。一殘餘區塊730(以箭頭表示)利用一 dct/q模組 轉換及量化’以產生—量化區塊·(以箭頭表示),然後將 其以熵編碼器745編碼,且傳送至位元流緩衝區75〇以傳 ,及/或儲存。因此,ME/MC模組715、框内預測模組⑽、 多=720、DCT/Q模組735及熵編碼器745可認為共同形 成一編碼子系統。本實施例之編碼器系統7〇〇被預期將有 不同編碼子系統配置。例如,於一實施例中,網編碼器川 被替換為不同類型之編碼器。 仍參考第七圖,除了編碼與傳送巨集區塊之外,Η%* 編碼器系統700解碼(重構)所述之巨集區塊,用以提供未 來框内或内部預測一參考區塊。量化區塊74〇利用一 mcT/InvQ模組755進行逆轉換及逆量化,且加回至預測 區塊725,以形成一重構區塊76〇(以箭頭表示)。接著,於 -框内預測緩衝區765寫入-重構區塊76〇,用以作為框 内預測之未來巨集區塊。 仍參考第七圖,當前框架705可使用L框架或p,·框架 16 201134224 為參考。在兩種情況下,利用巨集區塊781 (以箭頭表示) 單位攸位7L流緩衝區75〇讀取編碼框架先獲得參考^框 架資料。每一巨集區塊781以熵解碼器782解碼,以 CT/InvQ模組783逆轉換及逆量化,且加入框架預測模 組784之輸出。接著,其通過一解塊濾波器π?過濾,以 j v不必要的壓縮失真,最後儲存於其於一未壓縮參考视 窗,衝區788之相對位置。如先前所述’㊉了部份相對於 搜尋視窗之參考[框架7〇〇之外’不需要儲存整體參考。 框架於1_參考視窗緩衝區7 8 8。 請再參考第七圖,t ί.框架作為當前㈣7〇5之參 考1參考視窗緩衝區788内之有用資料可簡單通過多工 =9至ME/MC板組715。然^,# ρ,-框架作為當前框架 5 I參考視窗緩衝區788内之資料使用於解碼來考ρ, 框架,其通職職c模組795,用則吏用於當解碼參考ρ,_- 框架之内部編碼巨集區塊,詳細敘述於以下段落。 當前框架705參考ρ,_ # # η, 1 4 _ _忙架時,ρ -框架編碼資料從巨 . 内之位兀流緩衝區750獲得。每一巨隼 以滴解碼器792解碼,以IDC 丁/了;;:巨集£塊791 以1DCT/InvQ模、组793逆轉換及逆 罝化,且加入多工796之^山 廿, .Λ/ίϋ/Λ/Γ^ 之輸出,其經過框内預測模組794 或ME/MC模組795之輪屮τ a & m 出(從1_參考視窗緩衝區788得到 其參考資料),依據當前解碼 ^ 模式。巨隼卩掄in、 τ木巨集區塊791之編碼 集塊接者以—解塊濾、波器797過濟,最後絲在 於其於-未壓縮P,.參考視^取後儲存 A ^ 視自緩衝區798内之相對位置。p, 參考視窗緩衝區798通過多工7Q〇 s ί位置P_ 夕799至ME/MC模組715,可 17 201134224 用於編碼當前巨集區塊710。因此,網解碼器782及792、 IDCT/InVQ模組783及793、框内預測模組784及794、解 =波器78:及797,即圖廳模組795可被認為共同形 、一解碼子系統’其配置可依照不同編碼器系統彻而改 ^二,應可明白’由於H 264標準可選擇性解塊遽波,一 :貫二:可選擇省略解塊遽波器m及/或解塊遽波器 ★可明白,為了簡潔的目的,在此簡化且減少二框 内解碼路徑内之框内預測電路於框内預測模組794及 m圖中省略標準框内預測回饋迴路。可預期地,某些實
2例中’-些或全部之解碼器系統雇組成將 集成電路晶片。 I W U 广採^Γ264編碼器系統700範例,參考卜框架之編碼 二序,、時間示意圖係與Η.264編碼器系統300範例相 全部描述於第四圖與第五圖。II於參考Ρ,_框架之 編碼處理程序與時間示意圖將描述於第八圖及第九圖。 第八,圖係顯示本實施例之參考ρ,_框架如何逐步解 石I °在此範例中’當前框帛840之巨集區塊寬為45,及搜 巨隼㈣^對準正在處理之 集鬼。弟一搜尋視窗820係指出P,_框架來考 前框架84〇之M_〇進行編碎所需之參考 為Μ祕860 2序’第一搜尋視窗820的最後巨集區塊 ’’、、 >考ρ’-框架)。反之,解碼巨集區塊需要第 =視窗⑽内部的,框架之支持,其以參考忿= ‘”考。依據先柵順序’第二搜尋搜尋視窗850之最後巨 18 201134224 集區塊為_33(以參考p,_框架 第九圖提供一時間示意圓_,俘^ 步p-框架編碼、參考p、框 :頌不本實施例之同 首先’於I-參考視窗緩 及儲;:考I’架解碼。 區塊MBO至MB66。參考I-框架之巨集 之第一巨集區塊910_)編碼。°因==以支持广框架 循m框架持續進行解碼時’ 一巨集區塊 連地依據光柵順序進行解碼。—旦 f巨集區塊開始接 至_6經解碼㈣❹p,__ 巨集區塊函 行編碼當前p_框竿笛 ,友衝區,用以開始進 已經足夠。木之第-巨集區塊_⑽。)的參考資料 持續進行處理程序,同步 當前p-框架,直刭杏义 I木ρ·框架及編碼 碼及L框架解媽較二束Γ全部編碼完成㈣^ 比。姻編碼較=:=bI_框架及。,·框架之解碼 *二:::窗:::憶體使用效率,1_參考視窗緩衝區 雜的解碼可實施循環緩衝區管理,以及更複 :序列可使得參考視窗緩衝區尺寸減小。 準,在此揭露描述之範例係關於H.264視訊編碼標 r鬥施#領域具有習知技藝之人依據說明書與申請專利 加…可理解,本發明可適用於其他採用相同彈性參考框 c S之視1R編碼標準’例& VCM標準’正式名稱為 為M^TE421M視訊編碼標準。另外,雖然本說明書之範例 .、、、妾針對各種視訊編碼器的硬體實施,然而本發明之敘 19 201134224 述與申請專利範圍亦可適用於單純軟體實施或結合軟體與 硬體元件以建構視訊編碼之實施。 另外,雖然本發明之方法與系統普遍說明視訊框架與 巨集區塊,然而該系統與方法可適用於使用其他視訊資料 單位,例如視訊場、“視訊切割(video slices)’’,及/或部分 巨集區塊。應注意的是,上述說明或附圖所示之事項應可 被理解為解釋本發明之内容,而非用以限制專利範圍。 第十圖顯示一種視訊資料之新單位的編碼方法1000。方法 1000開始於步驟1002,係依據光柵順序,將位於經編碼參考 視訊資料之一單位的搜尋視窗内的區塊增量地解碼至一參考 視窗緩衝區中。步驟1002之範例為將參考I-框架搜尋視窗 内之巨集區塊於位元流緩衝區350,解碼至參考視窗緩衝 區388,其使用熵解碼器382、IDCT/InvQ模組383,及框内 預測模組384進行解碼(第三圖)。步驟1002之另一範例為將參考 P’-框架之搜尋視窗内的巨集區塊於位元流緩衝區750,解碼至參 考視窗緩衝區798,其使用熵解碼器782及792、IDCT/InvQ 模組783及793、框内預測模組784,及ME/MC模組795進行解 碼(第七圖)。方法1000之步驟1004,依據參考視窗緩衝區之經 解碼區塊,依光栅順序將視訊資料之新單位的每一區塊進行編 碼。步驟1004之範例為使用ME/MC模組315、多工320、DCT/Q 模組335,及熵解碼器345,依據解碼巨集區塊於參考視窗 緩衝區388,對巨集區塊310進行編碼(第三圖)。步驟1004之 另一範例係使用ME/MC模組715、多工720、DCT/Q模組735, 及熵解碼器745,依據解碼巨集區塊於參考視窗緩衝區 20 201134224 798,對巨集區塊7l〇進行編碼(第七圖)。 上述敘述係為本發明之較佳實 應得以領會其係用以說明本發明而非用:?域之技藝者 張之專利權利範圍。其專利仵f範以限疋本發明所主 ^ 』保°隻辄圍當視後附之申枝轰 圍及其等同領域而^。凡熟悉此領域之技蔽者,:不脫 離本專利精神或範圍内,所作之更 不脫 明所揭示精神下所完成之等效改: :屬於本發 述之申請專利範圍内。 4以,且應包含在下 【圖式簡單說明】 第-圖係顯示先前技術Η _ 2 6 4視訊編碼器系統之區塊圖, 第二圖係顯示實施例之框架參考方案之區塊圖; 第三圖係顯示實施例之Η 264視訊編媽器系統之區塊圖. =圖係顯示實施例之參考㈣之部分解碼處理程序之區 雪五圖係、進-步顯Μ四圖之部分解碼程序之時間示意 第六圖係顯示實施例之另—框架參考方案之區塊圖; |,圖係顯示實施例之另一 Η 264視訊編碼器系統之區塊 示實施例之另一參考框架之部分解碼處理程序 p圖進_步顯示第八圖之部分解碼程序之時間示意 21 201134224 第十圖係顯示實施例之視訊資料之新單位之解碼方法之流 程圖。 【主要元件符號說明】 100 典型的H.264編碼器系統 105 當前框架 110 巨集區塊 115 ME/MC模組 117 運動補償區塊 118 框内預測區塊 119 預測模式 120 多工 125 結果預測區塊 130 殘餘區塊 135 DCT/Q模組 140 量化區塊 145 烟編碼 150 位元流緩衝區 155 IDCT/InvQ 模組 160 重構區塊 165 框内預測緩衝區 166 巨集區塊資料 170 解塊濾波器 175 未壓縮參考框架緩衝區 180 框内預測模組 200 類型分配及參考方案 210 I-框架 220 > 230 > 240、250 P-框架 260 I-框架 270 ' 280 、 290 P-框架 22 201134224 300 本發明之Η.264編碼器系統 305 當前框架 310 巨集區塊 315 ME/MC模組 317 運動補償預測區塊 318 框内預測區塊 319 預測模式 320 多工 325 預測區塊 330 殘餘區塊 335 DCT/Q模組 340 量化區塊 345 贿編碼 350 位元流緩衝區 355 IDCT/InvQ 模組 360 重構區塊 365 框内預測緩衝區 366 巨集區塊資料 380 框内預測模組 381 巨集區塊 382 熵解碼器 383 IDCT/InvQ 模組 384 框内預測模組 387 解塊濾波器 388 參考視窗緩衝區 440 當前框架 420 搜尋視窗 410 第一巨集區塊 MB0-MB134 巨集區塊 500 時間示意圖 23 201134224 510 第一巨集區塊 520 參考I-框架 600 類型分配及參考方案 610 I-框架 620 ' 630 P’-框架 621 ' 622 ' 623、631、632、633 P-框架 650 I-框架 651 ' 652 P-框架 660 P’-框架 661 > 662 P-框架 700 本實施例之H.264編碼器系統 705 當前框架 710 巨集區塊 715 ME/MC模組 717 運動補償預測區塊 718 框内預測區塊 719 預測模式 720 多工 725 預測區塊 730 殘餘區塊 735 DCT/Q模組 740 量化區塊 745 烟編碼器 750 位元流緩衝區 755 IDCT/InvQ 模組 760 重構區塊 765 框内預測緩衝區 766 巨集區塊資料 780 框内預測模組 781 巨集區塊 24 201134224 782 熵解碼器 783 784 787 788 791 792 793 794 795 796 797 798 799 810 820 840 850 860 900 910 920 1000 1002-1004 IDCT/InvQ 模組 框内預測模組 解塊濾波器 參考視窗緩衝區 巨集區塊 熵解碼器 IDCT/InvQ 模組 框内預測模組 ME/MC模組 多工 解塊濾波器 P’-參考視窗緩衝區 多工 ΜΒ0 第一搜尋視窗 當前框架 第二搜尋視窗 MB66 時間示意圖 P’-框架之第一巨集區塊 P-框架之第一巨集區塊 視訊資料之新單位的編碼方法 視訊資料之新單位的編碼方法之步驟 25

Claims (1)

  1. 201134224 七 申請專利範圍·· -:: 見訊資料之新單位之編碼方法, ,錢順序,將-經編碼參考視訊資料單 窗内的區塊增量地解碼至-參考視窗緩衝區中.,視 依據該參考祸窗蜂疮π ^ 』匕t ’及 解碼區塊,依光柵順序編 碼,亥視矾貧料新單位的每一區塊。 汁、届 2. 如申請專利範圍第i項所述之視訊資料之新單位之編 碼方法,其中該參考視窗緩衝區小於該經編 資料的單位。 /可优Λ 3. 如申請專利範圍第2項所述之視訊資料之新單位之編 馬方法,其中編碼該視訊資料之新單位的步驟開始於解 碼忒經編碼參考視訊資料單位的步驟之後,且編碼該視 訊資料之新單位的步驟結束於解碼該經編碼參考視訊 資料單位的步驟之後。 4. 如申請專利範圍第3項所述之視訊資料之新單位之編 碼方法,其中: s玄視訊資料之新單位為一視訊資料之新框架;及 該經編碼參考視訊資料單位為該視訊資料之一經編碼 參考框架。 26 201134224 5·如申請專利範圍第4項所述之視訊資料之新單 1辽之 碼方法,其中每一該區塊為一巨集區塊。 6. 如申請專利範圍第1項所述之視訊資料之新單位之矣 碼方法’其中該參考視窗緩衝區為循環。 7. 如申凊專利範圍第1項所述之視訊資料之新單位之会 碼方法,其中該搜尋視窗的位置係依據經編碼 = 資料之新單位之區塊。 見讯 8.如申請專利範圍帛7項所述之視訊資料之新單位之蝙 碼:法,其中該搜尋視窗的中心位置對應於經編碼之 視訊資料之新單位之區塊的位置。 9. 如申請專利範圍第7項所述之視訊資料之新單位之蝙 碼方法,進—步包含將該搜尋視窗内未具有相對席智 碼區塊之經解碼區塊從該參考視窗緩衝區拋棄。 10. 如申請專利範圍第1項所述之視訊資料之 碼方法,其中該搜尋《小於賴蝙碼參考視訊資= 27 201134224 11.如申請專利範圍第1項所述之視訊資料之新單位之編 碼方法,其中該編碼步驟係依據H264視訊編碼標準實 施0 12’如申%專利範圍第Π項所述之視訊資料之新單位之編 碼方法,其中該經編碼參考視訊資料之該搜尋視窗内的 區塊包含一框内編碼區塊。 13.如申明專利範圍第12項所述之視訊資料之新單位之編 碼方法,其中該框内編碼區塊屬於該經編碼參考視讯次 料之I-框架。 / 〇貝 14.如申味專利範圍第12項所述之視訊資料之新單位之編 碼方法’其中該經編碼參考視訊資料之該搜尋視窗内的 區塊進一步包含内部編碼區塊。 、 ’Π專:範圍第14項所述之視訊資料之新單位之編 碼方法’其中解碼步驟包含: 將該框内編碼區塊解碼為複數個第-區塊.及 使用該複數個第-區塊,將該内部編碼區塊解碼為 碼區塊於該參考視窗緩衝區。 16.如申請專利範圍笫1 s 踽古冰“ 視訊資料之新單位之編 *’、’ / ’、该框内編碼區塊屬於該經編碼參考視訊資 28 201134224 料之i-框架;及該内部編碼區塊屬於該經編,來考、▲ 資料之P-框架,該p框架參考該經編碼參考視气次° 之I-框架。 °貝料 17. —種視訊資料之新單位之編碼系統,其包含·· 一參考視窗緩衝區; 一解碼子系統,其設置用以依光柵順序將位於經編碼參 考視訊資料之單位的搜尋視窗内的區塊增量地解碼至 一參考視窗緩衝區中;及 一編碼子系統’其設置用以依據該參考視窗緩衝區之經 解碼區塊,依光柵順序編碼該視訊資料之新單位的每一 18. 如申Μ專利範圍第i 7項所述之視訊資料之新單位之編 碼系統,其中該參考視窗緩衝區小於該經編碼參考視訊 資料單位。 19. 如申請專利範圍第18項所述之視訊資料之新單位之編 ^系統’其巾該編碼子线係設置用以將該視訊資料之 新早位之各區塊依據H.264視訊編碼標準編碼。 申。月專利圍第17項所述之視訊資料之新單位之編 =糸統\其中該參考視窗緩衝區、該解碼子系統,及該 、’.碼子系統為一部分共同集成電路晶片。 29
TW099135303A 2009-10-15 2010-10-15 Low-cost video encoder TW201134224A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US25185709P 2009-10-15 2009-10-15

Publications (1)

Publication Number Publication Date
TW201134224A true TW201134224A (en) 2011-10-01

Family

ID=43876911

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099135303A TW201134224A (en) 2009-10-15 2010-10-15 Low-cost video encoder

Country Status (6)

Country Link
US (1) US20110090968A1 (zh)
EP (1) EP2489192A4 (zh)
KR (1) KR20120087918A (zh)
CN (1) CN102714717A (zh)
TW (1) TW201134224A (zh)
WO (1) WO2011047330A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6049017B2 (ja) * 2010-04-07 2016-12-21 リグオリ,ヴィンチェンツォLIGUORI,Vincenzo メモリ要求低減ビデオ送信システム
US9584832B2 (en) * 2011-12-16 2017-02-28 Apple Inc. High quality seamless playback for video decoder clients
CN104219521A (zh) * 2013-06-03 2014-12-17 系统电子工业股份有限公司 降低内存需求的影像压缩架构及方法
US10419512B2 (en) 2015-07-27 2019-09-17 Samsung Display Co., Ltd. System and method of transmitting display data
CN112040232B (zh) * 2020-11-04 2021-06-22 北京金山云网络技术有限公司 实时通信的传输方法和装置、实时通信的处理方法和装置
CN113873255B (zh) * 2021-12-06 2022-02-18 苏州浪潮智能科技有限公司 一种视频数据传输方法、视频数据解码方法及相关装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5448310A (en) * 1993-04-27 1995-09-05 Array Microsystems, Inc. Motion estimation coprocessor
DE19524688C1 (de) * 1995-07-06 1997-01-23 Siemens Ag Verfahren zur Dekodierung und Kodierung eines komprimierten Videodatenstroms mit reduziertem Speicherbedarf
US7813431B2 (en) * 2002-05-20 2010-10-12 Broadcom Corporation System, method, and apparatus for decoding flexibility ordered macroblocks
US6917310B2 (en) * 2003-06-25 2005-07-12 Lsi Logic Corporation Video decoder and encoder transcoder to and from re-orderable format
US8019000B2 (en) * 2005-02-24 2011-09-13 Sanyo Electric Co., Ltd. Motion vector detecting device
US7924925B2 (en) * 2006-02-24 2011-04-12 Freescale Semiconductor, Inc. Flexible macroblock ordering with reduced data traffic and power consumption
US8320450B2 (en) * 2006-03-29 2012-11-27 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
JP4182442B2 (ja) * 2006-04-27 2008-11-19 ソニー株式会社 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
US20080137741A1 (en) * 2006-12-05 2008-06-12 Hari Kalva Video transcoding

Also Published As

Publication number Publication date
WO2011047330A3 (en) 2011-10-13
EP2489192A2 (en) 2012-08-22
WO2011047330A2 (en) 2011-04-21
EP2489192A4 (en) 2014-07-23
CN102714717A (zh) 2012-10-03
KR20120087918A (ko) 2012-08-07
US20110090968A1 (en) 2011-04-21

Similar Documents

Publication Publication Date Title
EP2132939B1 (en) Intra-macroblock video processing
JP4927207B2 (ja) 符号化方法、復号化方法及び装置
Chen et al. Dictionary learning-based distributed compressive video sensing
TW201134224A (en) Low-cost video encoder
TW201028010A (en) Video coding with large macroblocks
US20140241435A1 (en) Method for managing memory, and device for decoding video using same
KR20150090178A (ko) 차세대 비디오용 코딩된/코딩되지 않은 데이터의 콘텐츠 적응적 엔트로피 코딩
TW201031217A (en) Video coding with large macroblocks
US20130136180A1 (en) Unified Partitioning Structures and Signaling Methods for High Efficiency Video Coding
US20120269262A1 (en) High frequency emphasis in coding signals
US7961788B2 (en) Method and apparatus for video encoding and decoding, and recording medium having recorded thereon a program for implementing the method
WO2008025300A1 (en) A method for encoding/decoding, the corresponding apparatus for encoding/decoding and a method or apparatus for searching optimum matching block
KR20170062464A (ko) 비디오 코딩을 위한 파이프라인식 인트라 예측 하드웨어 아키텍처
TW201141239A (en) Temporal and spatial video block reordering in a decoder to improve cache hits
CN104519367B (zh) 视频解码处理装置及其操作方法
US20190141350A1 (en) System and method for non-uniform video coding
TW201244493A (en) A method for decoding video
JP2017537491A (ja) 改善された転置バッファを有するスケーラブルな変換ハードウェアアーキテクチャ
KR20140109770A (ko) 영상 부호화/복호화 방법 및 장치
Li et al. A 61MHz 72K gates 1280× 720 30fps H. 264 intra encoder
WO2006057182A1 (ja) 復号化回路、復号化装置、及び復号化システム
He et al. Intra prediction architecture for H. 264/AVC QFHD encoder
JP2002374531A (ja) 復号装置
JP6234770B2 (ja) 動画像復号処理装置、動画像符号化処理装置およびその動作方法
KR20060084951A (ko) H.264 기반 동영상 복호화 방법