TW201002082A - Boundary artifact correction within video units - Google Patents

Boundary artifact correction within video units Download PDF

Info

Publication number
TW201002082A
TW201002082A TW098113545A TW98113545A TW201002082A TW 201002082 A TW201002082 A TW 201002082A TW 098113545 A TW098113545 A TW 098113545A TW 98113545 A TW98113545 A TW 98113545A TW 201002082 A TW201002082 A TW 201002082A
Authority
TW
Taiwan
Prior art keywords
edge
frame
unit
video unit
block
Prior art date
Application number
TW098113545A
Other languages
English (en)
Inventor
Gokce Dane
Chia-Yuan Teng
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201002082A publication Critical patent/TW201002082A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

201002082 六、發明說明: 【發明所屬之技術領域】 本揭示案係關於數位視訊寫碼,且更特定言之,係關於 用於改良數位視訊資料内之假影之技術。 本申请案主張2008年4月23曰申請之美國臨時申請案第 61/〇47,381號之權利,該案之全部内容以引用之方式併入 本文中。 【先前技術】 為了編碼數位視訊序列,已開發了許多視訊編碼技術。 例如’動畫專家小組(MPEG)已開發了若干技術,包括 MPEG 2及MPEG-4。其他實例包括國際電信聯 H·263標準以及1TU-T H.264標準及其對應物、 MPEG-1、
盟(ITU)-T (亦即,高級視訊寫碼 以麼縮方式對資料進行編 壓縮減少了需要傳輸之資 ISO/IEC MPEG-4 之第 10 部分 (AVC))。此等視訊寫碼標準藉由 碼而支援視訊序列之有效傳輸。 料之總量。 視訊壓縮可涉及空間及/或時間預測以減少視訊序列中 固有之几餘。圖框内寫瑪使用空間預測以減少同—視訊圖 框内之視訊區塊之間的处 ^ Π的二間几餘。圖框間寫碼使用時間預 測以減少連續視訊圖框中之視訊區塊之間的時間冗餘。對 於圖框間寫碼’視訊編碼器執行運動估計以產生指示視訊 區塊相對於-或多個參考圖框中之對應㈣視訊區塊之位 移之運動向!。視訊編碼器執行運動補償以自參考圖框產 生預測視Λ區Α ’且藉由自正經寫碼之原始視訊區塊減去 140007.doc 201002082 預測視訊區塊而形成殘餘視訊區塊。 為了滿足低頻寬要求,— 、 二視sfl應用可以減小的圖框速 率編碼視訊及/或跳過—此 ^ 些圖框之編碼。不幸地,低圖框 速率視sfL可產生呈運動各紅/ +. . μ動(motion jerkiness)形式之時間 假影。可在解碼器側使用网士任& 4本.七M上 J 1尤用圖框内插或外插以近似得出由編 碼器跳過之圖框或超出由& w田編碼斋產生之基本圖框速率之圖
框之内容。圖框内插或外插通常可稱為圖框代入。可有效 地使用圖框代人以向上轉換實際圖框速率以提供較平滑運 動之感覺。圖框插人或代人可用於支援常常稱作圖框速率 向上轉換(FRUC)之過程。FRUC可用於轉換不同視訊圖框 格式,例如,自一個圖框速率轉換至另一圖框速率。儘管 FRUC可藉由代入圖框(例如使用内插或外插)增強時間品 貝但疋些圖框之代入可引入不合需要的空間假影,其 破壞視覺品質。 【發明内容】 本揭示案4田述用於校正沿一代入圖框中之邊緣出現之視 覺假影之技術。該代入圖框中之該邊緣可沿該視訊圖框之 一頂部、底部及/或一或多個側出現。替代性或額外地, 諸如在支援子母畫面(picture in picture)模式之視訊圖框之 情況下,該代入圖框中之該邊緣可位於該圖框内。根據本 揭示案之該等技術’圖框代入單元可識別代入圖框内之對 應於邊緣假影之位置且校正該等邊緣假影。在一個態樣 中,該圖框代入單元可基於邊緣假影之類型而不同地處置 該代入視訊圖框内之邊緣假影。 140007.doc 201002082 D亥圖框代入單元可識別至少兩種類型之邊緣假影。在一 们只例中’该圖框代人單元可識別該代人圖框内之與一存 在於用於產生該代入圖框之參考圖框内且應存在於該代 ::框内之邊緣對應之第一位置。此等第一位置可稱為 1實際邊緣位置」,因為該等位置對應於實際上存在於該 麥考視讯圖框内之邊緣。諸如當邊緣未歸因於運動補償預 、j而在。亥代入圖框中延伸得足夠遠時,實際邊緣位置可盘 邊緣假影對應。 該圖框代入單元亦可識別該代入圖框内之與一存在於該 代入視訊圖框内但不存在於用於產生該代人圖框之該參考 圖框内之邊緣對應之第二位置。此等第二位置可稱為「假 邊、彖位置」,因為該等位置對應於實際上不存在於該參考 視λ圖框内但擴散至代入圖框中(例如,歸因於運動補償 内插)之匕緣。诸如當運動補償預測使邊緣在該代入圖框 内比在該參考圖框内延伸得更遠時,假邊緣位置可與邊緣 假影對應。 该圖框代入單元可使用一第一邊緣假影校正技術校正在 貫際邊緣位置處之邊緣假影,且使用一第二邊緣假影校正 技術杈正在假邊緣位置處之邊緣假影。該第一邊緣假影校 正技術及D玄第—邊緣假影校正技術可在像素域内(例如, 在内插或外插該代入圖框之像素值之後)或在壓縮域内(例 如,在内插或外插該代入圖框之像素值之前)發生。 在一個態樣中,一方法包括:識別一代入視訊單元内之 與一存在於一參考視訊單元内之邊緣對應之第一位置,及 140007.doc 201002082 識別該代入視訊單元内之與一存在於該代入視訊單元内且 不存在於該參考視訊單元内之邊緣對應之第二位置。該方 法亦包括使用一第一邊緣假影校正技術校正該代入視訊單 元之該等第一位置中之邊緣假影及使用一第二邊緣假影校 正技術校正該代入視訊單元之該等第二位置中之邊緣假 影。 ‘ 在另一態樣中,一種設備包含:一邊緣假影識別單元, 其識別一代入視訊單元内之與一存在於一參考視訊單元内 4 之邊緣對應之第一位置,且識別該代入視訊單元内之與一 存在於該代入視訊單元内且不存在於該參考視訊單元内之 邊緣對應之第二位置;及一邊緣假影校正單元,其使用一 第一邊緣假影校正技術校正該代入視訊單元之該等第一位 置中之邊緣假影,且使用一第二邊緣假影校正技術校正該 代入視訊單元之該等第二位置中之邊緣假影。 在另一態樣中,一種裝置包含:識別構件,其識別一代 # ; 入視訊單元内之與一存在於一參考視訊單元内之邊緣對應 之第一位置,且識別該代入視訊單元内之與一存在於該代 入視訊單元内且不存在於該參考視訊單元内之邊緣對應之 第二位置;及校正構件,其使用一第一邊緣假影校正技術 1 校正該代入視訊單元之該等第一位置中之邊緣假影,且使 用一第二邊緣假影校正技術校正該代入視訊單元之該等第 二位置中之邊緣假影。 本揭示案中描述之技術可以硬體、軟體、韌體或其組合 實施。若以軟體實施,則可由一或多個處理器執行軟體。 140007.doc 201002082 該軟體最初可儲存於電腦可讀媒體中且由處理器載入以用 於執灯。因此,本揭示案涵蓋包含用以使-或多個處理器 執打如本揭不案中所描述之技術之指令之電腦可讀媒體。 舉例而言,在—此能择由 二態枚中,本揭不案提供一電腦可讀媒 體,其包含使一或多個處理器執行以下操作之指 一代入視訊單元内之與-存在於—參考視訊單元内之邊緣 對應之第Γ位置,識別該代人視訊單元内之與-存在於該 代々視I凡内且不存在於該參考視訊單元内之邊緣對應 之=位置’使用—第—邊緣假影校正技術校正該代入視 訊單凡之該等第一位置中之邊緣假影,及使用一第二邊緣 假影校正技術校正該代入視訊單元之該等第二位置中之邊 緣假影。 在隨附圖式及以下描述中闡述所揭示之技術之—或多個 態樣的細節。其他特徵、目標及優點將自描述及圖式以及 申請專利範圍而顯而易見。 【實施方式】 圖1為說明根據本揭示案中所描述之技術之校正在視訊 單元代人期間產生之邊緣假影之實例視訊編碼及解碼系統 10之方塊®。可包括視訊單元内插或外插之視訊單元代入 通常涉及對由編碼器跳過之視訊單元'超出由編碼器產主 之基本視訊單元寫碼速率之視訊單元或在經由通信頻道傳 輸期間丟失或被破壞之視訊單元之内容之近似。視訊單元 代入可用於支援常常稱作圖框速率向上轉換(FRUqI過 程。儘管本揭示案之技術可應用於各種類型之視訊單元, 140007.doc 201002082 諸如視訊圖框、片、區塊或子區塊,但是為了說明之目 的’本揭示案大體上描述將該等技術應用於視訊圖框。 士圖1中所展不’系統1G可包括視訊編碼器12及視訊解 碼器14,其每—者大體上可稱作視訊寫碼IKvideo coder), 且在一戶'例中,其可形成於組合的編碼器_解碼器c編解 碼器)中。在圖1之實例中,視訊編碼器12接收輸入視訊圖 框I 6且編碼輸入視訊圖框丨6以產生經編碼之視訊圖框1 8。 視訊編碼器12可經由通信頻道19傳輸經編碼之視訊圖框“ 至視訊解碼器14。 詳a之,視訊編碼器1 2可獲得由輸入視訊圖框丨6之序列 組成之視訊流。視訊流可為即時或接近即時視訊、預記錄 之視訊、電腦產生之視訊或其組合。舉例而言,視訊編碼 器12可獲得來自攝像機、含有先前捕獲之視訊之視訊檔案 (例如,記憶體)、來自視訊内容提供者之視訊饋入及/或產 生電腦產生之視訊之視訊圖形處理器之視訊流之輸入視訊 圖框1 6。 視§fl編碼器12可在熵編碼視訊資料之前使用圖框内或圖 框間預測來壓縮視訊流之視訊資料。使用圖框内或圖框間 預測壓縮視訊資料可減少必須在視訊編碼器12與視訊解碼 器14之間傳輸之資料量。圖框内預測透過藉由使用給定視 讯圖框内之一或多個相鄰區塊產生—預測區塊而減少或移 除同一視訊圖框内之視訊區塊之間的空間冗餘來壓縮視訊 貧料。圖框間寫碼壓縮視訊資料’從而減少或移除視訊序 列之連續視訊圖框之視訊區塊之間的時間冗餘。對於圖框 140007.doc 201002082 間寫碼,視訊編碼器12可執行運動估計以追蹤在兩個或兩 個以上鄰近圖框之間的匹配視訊區塊之移動。運動估計產 生運動向量,其指示視訊區塊相對於一或多個參考圖框中 之對應預測視訊區塊之位移。運動補償使用運動向量以自 參考圖框探尋並產生預測視訊區塊。 在預測視訊區塊之圖框内或圖框間預測之後,視訊編碼 器u藉由自待寫碼之原始視訊區塊減去預測視訊區塊而產 生殘餘資訊之區m,殘餘資訊量化預測視訊區塊與 正經寫碼之視訊區塊之間的差異’使得在識別預測視訊區 塊及殘餘資訊之後,可在視訊解碼器14處重新建構經寫碼 之視訊區塊。視訊解碼器】4可以與上文關於視訊編碼哭12 描述之方式相同之方式產生預測區塊。舉例而纟,視訊解 碼益14可接收規定使關框間預測還是圖㈣㈣、❹ 圖,内制之圖框内預龍式、料圖㈣制中之運動 向里或其類似物之標頭資訊。 為了進一步減少必須在視 优I編碼益12與視訊解碼器14之 間傳輸之資料量,視訊編碼哭 々甘丄 ^ 12可在小於源圖框寫碼速率 之基本圖框寫碼速率下操作。 可丨# 俠Q之,基本圖框寫碼速率 σ小於所要圖框寫碼速率。@ % μ 、 連代性或額外地,在一些情況 下 視讯編碼器12可在給定岡^ — 、 疋圖框寫碼速率下操作,但禎产 況匕括或選擇性地啟動跳過單元2〇,該跳 、月 編碼器12跳過一些圖框之編 、。兀〇使視吼 編碼。舉例而言,視訊跳過單元 2 0可!組態以使視訊編喝号 ..L 2故意跳過一些圖框之编踩 精此(例如)相對於源圖框寫 、,馬 芍連率而減小視訊編碼器12之 140007.doc -10. 201002082 有效圖框寫碼速率。圖框跳過或減小的圖框速率寫碼可允 許編碼器12符合頻道19之減小的傳輸速率要求。 在圖框跳過之情況下,可由圖框跳過單元2〇以固定速率 跳過圖框,使得跳過在交替圖框處或每^^個圖框處發生。 或者,可(例如)基於智慧圖框跳過準則以變化之速率跳過 圖框。X ’視訊編石馬器12可固定地以給定圖框寫碼速率來 編碼圖框,或適應性地編碼圖框使得圖框寫碼速率 如頻道條件或其他要求之考量而變化。在任一情況下,可 由解碼器14使用圖域人而有效地向上轉換圖框寫碼速 率以產生所要的增加的圖框寫碼速率(例如,自3〇印3至 60 fps或 120 fps)。 輸入視訊圖框16(標記為Ft_2、Fti、Ft、Ft+i及Pm)表示 視訊序列之圖框之一部分。圖框匕表示歸因於由可選圖框 跳過單元2 0進行之圖框跳過或歸因於由視訊編碼器丨2產生 之基本圖框速率而在時間1未經寫碼之圖框。圖框Ft 〗及κ 1 表不在時間上位於圖框匕之前的過去圖框,且圖框及 Ft+2表示在時間上位於圖框匕之後的將來圖框。視訊序列 可包括在圖框Ft之前及之後的眾多圖框。然而,為了易於 說明,圖1中僅展示在Ft之前的兩個圖框及在匕之後的兩個 圖框。 視訊編碼器12編碼圖框Ft-2、Ft_】、Ft+]及Ft+2以產生經編 碼之圖框18。在圖丨中所說明之實例中,在時間1;處未經寫 碼之圖框(例如,圖框Ft)經說明為經編碼圖框18中之陰影 圖框,而實際上由視訊編碼器12編碼之圖框(例如,圖框 140007.doc 201002082 經說明為非陰影圖框。換言之,律 官被說明於經編碼之圖框丨8中 " 編碼之圖框。 _ ’但是圖畔實際上不是經 視訊編碼器12經由傳輸頻道19傳輪經編碼之圖框18至視 訊解碼器U。再次,由視訊 8至視 18包括HFw及F, 2傳輪之經編碼之圖框 1+2但不包括圖框Ft,因為圖框 Ft由於被可選跳過單元2〇跳 4締因於視吼編碼器12利用 之基本圖框速率而未經視訊編 πσ 2冩碼。傳輸頻道1 9可 马月b夠在位元流内僖谈讳κ ⑽达視讯圖框之有線或無 :了可支援雙向或單向視訊傳輸。在雙向視訊傳輸 M ,視㈣碼Μ傳輸經編碼之視訊至視訊解碼琴 =且視訊解碼器“接收經編瑪之视訊。在單向視訊傳輸 :視訊編碼器12可僅傳輸經編碼之視訊資料至視訊解碼 心,且不自視訊解碼器14接收經編碼之視訊資料。 =訊解碼HH經由傳輸頻道19接收圖框^所接收之圖 框可大體與視訊編碼器12傳輸之經編碼圖框Μ相同,歸 因於傳輸頻道19之特性而經受圖框、片或區塊丢失。舉例 而言,當無頻道丟失發生時,所接收之圖心可為由視气 編碼Μ傳輸之經編碼圖框18之相同集合。在—此^ ^所接收之圖框24可(例如)歸因於經編碼之位元流經受 二傳:頻道〗9之特性引起之丢失而稍微不同於由視訊編碼 =傳輸之經編碼圖框18之集合。換言之,實際上由視訊 、,扁碼器】2寫碼及傳輸之圖框(例如,圖框卩…f"、f…及 W中之-或多者(或圖框之部分)可在經由傳輸頻道:專 140007.doc -12- 201002082 輸期間丢失。為了說明之目的,將假定所接收之圖框24與 經編碼之圖框18相同,亦即,傳輸期間無圖框丟失。然 而,應理解,本揭示案之技術可用於針對除了或替代歸因 於故意的圖框跳過或歸因於基本圖框速率而未經編石馬之圖 框的在傳輸期間丟失之圖框執行圖框代入。 視訊解碼器14可應用標準解碼技術(例如,根據μρεμ、 ^PEG-2、MPEG_4、H 263、圧264 或鹏g_4 之㈣部分 拓準中之一者)來解碼所接收之圖框24(Ft.2、Ft ,、:Ft+1、 t+2)中之每一者。如上文所描述,視訊解碼器Μ可執行熵 解碼以將圓框解碼成I缩格式或域,例如,解碼成仍使用 圖框内或圖框間預測塵縮之圖框。視訊解碼器邮執行圖 框内或圖框間預測以將圖框解壓縮至像素域,例如包含與 每一像素位置相關聯之像素值之圖框。 /、 碼益14進—步包括FRUC單元22,其可使用運動補償 圖框代入(例如,運動補償圖框内插或外插)產生至少一個 額外圖框(諸如圖i之圖框FtV儘管 ^未甲在運動補 人之上下文中加m,但是該等技術可與具有 有運動補償之其他類型之圖框代入(例如,圖框平 句化)起利用。因此’本揭示案之技術應不限於 補償圖框代人期間之邊緣假影 二運動 入之上下古士』 隹逯勤補償圖框代 下文中描述技術僅為了說明之的。 碼之視訊圖框及經代入之視訊圖框表示為二1將經解 。相μ * U々衣不荷輸出視訊圖框 〇碼态14可輸出視訊圖框26以驅動顯示5| 置 (圖1中未展示)。 益衣置 140007.doc •13- 201002082 :畔為未由視訊編碼器12編碼或在經由頻道i9傳輸期 間丢失之圖框Ft之近似。以此方式,視訊解碼器14可將每 際圖框速率(或圖框寫碼速率)轉換為增加的圖框速率。二 過程有時稱作圖框速率向上轉換實際上,解碼器 14可產生額外視訊單元以將由視訊編碼器產生之實際圖 框速率增加至經向上轉換之圖框速率。作為一實例,若由 :訊編碼器12(利用或不利用圖框跳過)產生之實際圖框速 率為30 fps,則解碼器14可經組態以(例如)藉由内插或外 插代入額外圖框以將有效圖框速率自3〇如增加至6〇如或 120 fps。實際上,用額外圖框代入已跳過之圖框或在視訊 編碼器U之基本圖框寫碼速率較大的情況下可能已被包括 之圖框。如上文所描述,由視訊編碼器以生之圖框速率 可歸因於小於源視訊速率之基本圖框速率(作為頻道此 ❹㈣結果)及/或(例如)藉由可選跳過單元 進仃之一些圖框之可選跳過而小於所要圖框速率。 田、:由内插產生代入圖框Ft,時,視訊解碼器丄何使用可 用作茶考圖框之至少一個先前圖框及至少一個將來圖框來 產生圖框匕•。當經由外插(而非内插)產生額外圖框Ft.時, 視訊解碼器14使用在時間上位於圖框F/之後的一或多個參 考圖框或在時間上位於圖框匕,之前的—或多個參考圖框來 產生圖框。。在任-情況下,由解碼器14利用之圖框代入 近似得出所跳過的圖框或其他未包括之圖框的内容。 興在-些情形中’圖框代入可在經解碼之視訊流中產生視 覺假影。舉例而言’若視訊序列之圖框包括沿視訊圖框之 140007.doc 14 201002082
頂部、底部及/或至少一側之邊緣,則圖框代入可在邊緣 處引入擺動、閃爍及/或濃淡不均(blockiness)。視訊序列 之圖框可包括繞圖框之周邊之至少一部分延伸之單色(例 如黑色)邊緣。可在視訊流之格式轉換(例如,自mpeg— 1視 訊流轉換至H.264視訊流)期間產生該邊緣。舉例而言,在 邊緣轉換期間’可改變影像大小。若使影像大小變小,則 可將一些黑色或其他顏色像素添加至圖框以調整圖框之大 小以適合特定影像大小。該等黑色或其他顏色像素可作為 單一條紋添加於圖框之一側上或對稱地添加於圖框之所有 側上,因此在圖框内產生「邊緣」。 在運動補償圖框代入之情況下,使用運動向量之内插或 外插可在代入圖框中產生視覺假影。若(例如)邊緣存在於 -或多個參考®框巾,則使用根據-❹個參考圖框中之 運動向量產生之運動向量來產生代入圖框中之邊緣。在一 些情形中,經内插或外插之運動向量可針對包括邊緣之像 素區塊(區塊)之每一者具有不同量值及/或方向。因為不針 對代入圖框傳輸殘餘資料,所以代人圖框内之邊緣可不盘 -或多個參考圖框内之邊緣相同。替代地,代入圖框中之 邊緣可具有比-或多個參考圖框中之邊緣厚的寬度,比一 或多個參考圖框中之邊 兴仞而- 「,或厚度沿邊緣變化。 舉例而S,區塊之每一者 中之邊绫卜此置可使得代入圓框 、 二位置處(例如’代入圖框之―,上區塊内)在 代入圖框内延伸較遠 -L鬼内)在 其他區塊)處在代入圖杧“、 (例如,代入圖框之 代入圖框中未延伸得足夠遠。結果,在視 140007.doc 201002082 Λ播放期間,邊緣看起來好像在擺動,此可導致較不合意 之觀看體驗。儘管運動補償内插可產生邊緣假影,但是其 他内插/外插技術亦可引入邊緣假影。舉例而纟,在時間 θ王平句化之情況下,若參考圖框具有具十個像素寬度之 ^緣’且當前圖框具有具12個像素寬度之寬度的邊緣。則 插之圖框可旎具有一些問題。此並非由運動補償產 生’而是由時間平均化產生。 本揭示案描述用於不管邊緣位置是沿圖框之邊沿還是在 圖框内而校正在代入圖框之邊緣處發生之假影之技術。根 據本揭示案之技術,視訊解碼器14可識別代入圖框内對應 ;k、’彖饭衫之位置且校正該等邊緣假影。在一個態樣中, 視Λ解碼器1 4可基於邊緣假影之類型而不同地處置代入視 訊圖框内之邊緣假影。 為了進行此,FRUC單元22可識別至少兩種不同類型之 邊緣假影。在一個實例中,FRUC單元22可識別代入圖框 内的與存在於用於產生代入圖框之參考圖框内之邊緣對應 之第一位置。此等第一位置可稱為「實際邊緣位置」,因 為該等位置對應於實際上存在於參考視訊圖框内之邊緣。 诸如當邊緣未歸因於運動補償預測而在代入圖框中延伸得 足夠遠時,實際邊緣位置可與邊緣假影對應。換言之,實 際邊緣位置中之邊緣假影對應於存在於參考圖框中而不存 在於代入圖框中之邊緣。 FRUC單元22亦可識別代入圖框内之與存在於代入視訊 圖框内但不存在於用於產生代入圖框之參考視訊圖框内之 140007.doc -16- 201002082 邊緣對應之第:位置。此等第:位置可稱為「假邊緣位 置」’因為該等位置對應於不存在於參考視訊圖框内但擴 散至代入圖框中(例如’歸因於運動補償内插)之邊緣。諸 如田運動補&預測使邊緣在代人圖框内比在參考圖框内延 伸較遠時,假邊緣位置可與邊緣假影對應。換言之,假邊 緣位置巾之邊緣假料應於衫在於參考® Μ但存在於 代入圖框令之邊緣。 FRUC單元22可使用第—邊緣假影校正技術來校正實際 邊緣位置處之邊緣假影,且使用第二邊緣假影校正技術: 校正假邊緣位置處之邊緣假影。因為實際邊緣位置對應於 邊緣之據推測存在於之位置(因為邊緣存在於一或多個參 考視訊圖框中),所以FRUC單元22可用參考圖框中之至少 二者内之對應位置替換代人圖框之實際邊緣位置。舉例而 言,FRUC單元22可設定實際邊緣位置内之像素之像素值 等於參考圖框中之—者内之對應位置處之像素之像素值。 以此方式’ FRUC單元22(例如)在内插或外插代入圖框之像 素值之後在像素域中執行邊緣假影校正。作為另一實例, FRUC單元22可設定與位於實際邊緣位置内之代人圖框之 區塊相關聯之運動向量等於零,且(例如)藉由複製參考圖 框内之對應&置處之區塊而在使用運動補償解壓縮 正邊緣假影。同樣地1 —邊緣假影校正技術可替代地 (例如)在内插或外插代入圖框之像素值之前在壓縮域中發 生0 FRUC單元22可使用 第二邊緣假影校正技術來校正假邊 140007.doc 201002082 緣位置。第二邊緣假影校正技術可在像素域或壓縮域中執 ^在像素域中,刚c單元22可使用—或多個參考圖框 内之-或多個像素或自經内插之圖框内之已經内插 判定假邊緣位置内之像素中之每—者之#換像素值。舉例 而言,刪c單元22可藉由平均化參考圖框中之—者中兩 個像素之像素值來計算代人圖框之假邊緣位置内之像素之 每-者之替換像素值,該兩個像素位於與在代人圖框中婉 替換之像素相同之列中且緊鄰參考圖框中之邊緣。在壓縮
域(例如,在内插或外插代入圖框之像素值之前)中,FRUC 單元22可藉由選擇性地選擇圖框内預測模式及使用選定圖 框内預測模式内插代入圖框來校正代入圖框之假邊緣位置 内之邊緣假影。 儘管本揭示案之技術將在沿視訊圖框之頂部、底部及/ 或側出現之邊緣之上下文中加以描述,但是本揭示案之技 術可用於校正位於視訊圖框内之邊緣之邊緣假影。可(例 如)使用各種視訊編輯技術組合兩個或兩個以上的視訊序 列真使得邊緣可存在於視訊圖框内,而非沿視訊圖框之外 周邊。在子母畫面之情況了,例士口,邊緣可為位於圖框内 之正方形邊緣’例如在圖框之右上角。 在圖1之實例中,FRUC單元22經展示於視訊解碼器14 内。在其他實施中,FRUC單元22可形成視訊後處理模組 (圖中未展示)之部分。視訊後處理模組可處理視訊解碼器 14之輪出’且可執行各種處理操作,諸如平滑化、銳化、 受度控制’及/或對比度增強’以及上文關於FRUC單元22 140007.doc -18- 201002082 描述之FRUC操作。作為另一替代例,FRUC單元22可形成 視訊頦不器處理器或行動顯示器處理器(MDp)裝置(例如, 用於行動多媒體裝置)之部分。因此,FRUC單元22在視訊 解馬器14内之貫施係為了說明之目的而在圖1及其他圖中 加以描繪,且不應認為限制本揭示案中廣泛描述之技術。 系統10可經組態以用於視訊電話、視訊串流、視訊廣播 或其類似物。可在頻道19之相反端上提供互逆的編碼、解 碼、多工(MUX)及解多工(DEMUX)組件。在一些實施中, 視訊編碼器U及視訊解碼器14可提供於諸如無線行動終端 機之視通仏破置内,該等視訊通信裝置經配備用於視訊 串流、視訊廣播接收,及/或視訊電話(諸如, 視訊電話或相機電話)。 、該等無線通信裝置包括用以支援無線通信、音訊寫碼、 純之各種組件°舉例而言,無線 、七衣置可包括一或多個處理
C 哭(編鏟满时、 日訊/視訊編碼器/解碼 -(、'扁解碼咨)、記憶體、一或多個數 (TX/RX)電路(諸如,放大 專輸接收 似物)。另外,益mm 遽波器及其類 置、景括影像及音訊捕獲裝 置知像及曰讀出裝置、相關聯驅動器 體及其類似物。 文用者輸入媒 視訊編碼器12、視訊解碼器14或該兩 所描沭之益蜱十士 & 1开^ b _L文 ==有線通信裝置中。又,視訊編碼器、視 讀碼心或_者可實施為積 路晶片或晶片組,啫如積體電 訪有線通信裝置中或支 140007.doc 19- 201002082 援數位視訊應用之另一類型之裝置(諸如數位媒體播放 器、個人數位助理(PDA)、數位電視或其類似物)中。 系統10可根據會期起始協定(SIP)、ITU-T H.323標準、 ITU-T H.324標準或其他標準而支援視訊電話。視訊編碼
器 12可根據諸如 MPEG-2、MPEG-4、ITU-T H 263、ITU-T H.264或MPEG-4第1 0部分之視訊壓縮標準而產生經編碼之 視訊資料。儘管圖1中未展示’但視訊編碼器12及視訊解 碼器14可分別與音訊編碼器及解碼器整合,且包括適當硬 體及軟體組件以處置資料流之音訊及視訊部分。 再次,儘管參考視sfl圖框描述本揭示案之技術,但是該 等技術可應用於各種其他類型之視訊單元,諸如片、區塊 或子區塊。然而,本揭示案將為了說明之目的而大體描述 將該等技術應用於視訊圖框,但不限制本揭示案中廣泛描 述之該等技術之態樣。 圖2A為說明用於在視訊解碼器14中内插額外圖框之技術 之實例之圖。圖框中之每一者可包括複數個像素區塊,有 時稱為巨集區塊。一般而言,為了將經内插之圖框F/中之 巨集區塊(MB)28内插於選定先前圖框Ft N與選定將來圖框 Ft+M之間,視訊解碼器14可依賴於在先前圖框中之MB 3〇與將來圖框Ft+M中之對應MB 32之間延伸之運動向量 vNM。在此實例中,時間t指示時間位置’亦即,待内插之 額外圖框將出現於視訊序列中之時間。圖框Ft^Ft+M分 別為在時間上領先於需要内插之額外圖框帥-n)及落後於 額外圖框⑽,之圖才匡。在圖2八之實例中,圖框^及 140007.doc -20- 201002082
Ft+M用作用於内插額外圖框Ft’之參考圖框。 N及Μ指示相對於時間1之時間偏移,且可彼此相等或不 相等。舉例而言,若N=1且Μ=2,則圖框Ft N可為直接在經 内插之圖框之前的圖框,且圖框匕 + M可為在經内插之圖框 之後的第二圖框。在N=1且M=1之簡單實例中,對於内 插,在圖框Ft-N與圖框Ft+M之間延伸之向量VNM可除以2(對 於1:2圖框速率轉換)以產生運動向量vW2及_Vmn/2且識別
待内插之圖框Ft,中之對應MB 28。因此,在此簡化之實例 中,MB 28之位置為運動向量之函數,其中 為了此實例之目的,N=1且M=1。自Ft+mJ_Ft之運動向量不 必為-vnm/2,其可為VNM之經處理之型式,亦即,-Vnm,/2d MB 28可經#派對應於·戰⑽32之—組像素值,或 MB 30及32之像素值之平均值,或MB 3()及32之像素值之 經線性或非線性遽波之型式。對於較高或較低圖框向上轉 換,例如,1:X轉換,運動向量將被相應地按比例調整。 對於其他情況(例如,NAM中之至少—者不等於_),可使 用經由運動估計及運動向量處理獲得之*同運動向量。 另外,對於一些類型之内插,FRUC單元22可依賴於多 個參考圖框,諸如兩個或兩個以上的先前圖框及兩個或兩 個以上的將來圖框。一般而言,參考圖框指單獨地或與一 或夕個其他麥考圖框組合使用以内插圖框(諸如跳過之圖 T之圖框。在内插過程中,與存在於一或多個參考圖框 =巨集區塊_叙料值可詩㈣❹插之額 框中之對應巨集區塊中之像素值,例如,如圖2a 140007.doc 201002082 示。像素值可包括亮度及/或色度像素值。 作為一個實例,經内插 中塊可包括等於先前圖框 甲之巨木&塊中之像素值、將决 圖框中之巨集區塊中之像 ,、 或先岫及將來圖框中之對pF Λ 平泊# > 集£塊中之像素值之 千句值之像素值。經内插圖框中 心 視訊圖框中之對庫木£塊了相對於茶考 、/紅塊而經運動補償,如圖2A中所展示。 J籍由在先前圖框盘將炎圓 、將來圖框之間延伸之運動向量識別巨 本122塊,如圖2A中所展 + D isi〇A丄 、乂、 ® 中所展示之内插之說明 =一:實例,且不應認為限制本揭示案中廣泛描述之技 t 種社㈣技術可料根據本揭示案之圖框 代入。 1 圖2B為說明在視訊解碼器14中外插額外圖框之技術之實 =圖。在圖四之實例中,將兩個先前參考圖框^及% 用於外插額外圖框Ft.以支援圖框代入。一般而言,為了將 圖框Ft,中之则31外插於選定先前圖框IN及選定先前圖 框%之後,視訊解碼器14可依賴於在先前圖框心令之對 應⑽33與先前圖框^巾之對應MB 35之岐伸之向量 V。在此實例中,(指示時間位置,亦即,待外插之額外圖 框將出現於視訊序列中之時間。圖框心及^分別為在時 間上領先於需要外插之額外圖框,及(卜M)之圖框。 在圖2B之實例中,弈俞央土阳,。 、 无別參考圖框FtN及f(+m用作用於外插 額外圖框Ft’之參考圖框。然而,兩個以上之先前參考圖框 或一或多個將來參考圖框可用於外插額外圖框I,。換言 之,可分別❹先前圖框或將來圖框向前或向後外插㈣ H0007.doc •22- 201002082 圖框。 與圖2A之實例中一樣,圖2B令之指示相對於時間t 之時間偏移,且可彼此相等或不相等。舉例而言,若㈣ 且Μ-1,則圖框Ft M可為直接在經外插之圖框之前的圖 . 框,且圖框ha可為在經外插之圖框之前兩個圖框之圖 • 框。MB 31可經指派對應於MB 33或MB 35之—組像素值, 或MB 3 3及3 5之像素值之平均值。與内插之情況一樣,對 ()☆外插’參考圖框可指單獨地或與-或多個其他參考圖框 組合使用以外插待添加至經解碼視訊圖框之額外圖框之 框。 。 外插可藉由外插自參考圖框中之對應區塊之運動向量ν 而經運動補償,如圖2Β中所展示。在外插過程中,與存在 於一或多個參考圖框中之ΜΒ相關聯之像素值可用於外插 在待外插之額外圖框中之對應ΜΒ中之像素值。圖2β中所 展示之外插之說明為一個實例,且不應認為限制本揭示案 U 中廣泛描述之技術。廣泛種類之不同外插技術可用於根據 本揭示案之圖框代入。 圖3 Α及圖3 Β為說明包括邊緣之實例視訊圖框之圖。詳 言之,圖3 A說明實例參考視訊圖框4〇,其包括沿參考圖框 40之左側之邊緣44,且圖3B說明使用參考圖框4〇、使用運 動補償圖框代入(例如,運動補償内插或外插)而產生之實 例代入圖框42。 視訊圖框40、42可經分割成複數個像素區塊,有時稱為 巨集區塊或區塊。在圖3 A及圖3B中所說明之實例中,視 140007.doc -23- 201002082 訊圖框40 ' 42經分割成像素區塊之八列及八行。因而,視 Λ圖框4 0、4 2中之母一者包括六十四個像素區塊。視訊圖 框40、42可包括更多或更少之像素區塊。像素區塊通常表 示視訊圖框内之像素之連續部分。舉例而言,區塊可表示 圖框之8像素乘8像素(8 X 8 )區域。然而,區魂可對應於其他 尺寸之區域,諸如 4x4、4x8、8x4、8x16、16x8、16x16 或 其他尺寸。儘管在圖3 A及圖3B中所說明之實例圖框4〇、 42中,所有區塊具有相同大小(例如,8χ8區塊),但是圖框 40、42之區塊可具有變化之區塊大小。 圖3 Α之參考視訊圖框4〇包括沿圖框4〇之左側之至少一部 分延伸之邊緣44。在圖3 A中所說明之實例中,邊緣44沿圖 框40之整個左側(亦即,自頂部至底部)延伸。然而,在其 他實例中,邊緣44可僅沿圖框4〇之左側之一部分(例如, 上半部分或下半部分)延伸。亦可沿圖框4〇之頂部、底部 及右側之至少一部分提供邊緣,但在圖3Λ中為了易於說明 而未展示該等邊緣。邊緣44可為單色邊緣,諸如黑色邊 緣。換言之,在邊緣44内之像素可全部具有大體相同之像 素值以產生單色邊緣。邊緣44具有一長度及一寬度。在圖 3A中所呪明之實例中,邊緣44具有一等於圖框之整個側之 長度及一等於第一行之區塊之區塊寬度之大致四分之一之 見度。對於具有8χ8尺寸之區塊,例如,邊緣44之長度等 於,、十四個像素,且邊緣44之寬度等於兩個像素。參考圖 框40之邊緣44之寬度大體沿邊緣之整個長度相同。然而, 邊緣44可具有任何長度或寬度。 140007.doc -24- 201002082 賞圖框代入使用運動補償(例如,運 為了產生代入圖框42,例如,可根據在先 内插實例中所向量(例如’如圖2A之 )或根據在兩個或兩個以上先前圖框之 K伸之運動向$ (例如,如圖2B之外插實例中所說明)為 4入圖框42之區塊產生運動向量。在—些情形中,為代入 圖框42產生之運動向量可具有不同量值及/或方向,其在
用於内插或外插巾時產生代人圖框42内之邊⑽,該邊緣 46之厚度沿邊緣變化,如圖3β中所說明。 如圖3B中所展示,代入圖框42中之邊緣46可在代入圖框 42内在一些位置處比在其他位置處延伸更遠,因此產生具 有變化厚度之邊緣。沿代入圖框42之區塊之第一行,例 如,在第一、第三及第五列中之區塊内之邊緣仏之部分具 有與參考圖框4〇之邊緣斗4相同之邊緣寬度,例如,大致為 區塊寬度之四分之一。然而,與參考圖框4〇之邊緣44之寬 度相比較’代入圖框42之第一行區塊中之其他區塊具有較 厚邊緣寬度或較薄邊緣寬度。舉例而言,代入圖框42之第 一行之第四列之區塊根本不具有任何邊緣,在參考圖框4〇 中卻並非如此。作為另一實例,代入圖框42之第一行之第 二及第六列區塊内之邊緣46之部分具有等於區塊之大致二 分之一之邊緣寬度,且代入圖框42之第一行之第七列區塊 内之邊緣之部分具有為區塊之大致四分之三之邊緣寬度, 其分別為參考圖框40中之對應區塊之邊緣寬度之大約兩倍 及三倍。代入圖框42之第一行之第八列區塊内之邊緣46之 140007.doc -25- 201002082 部分具有大於第八列區塊之邊緣寬度。換言之,代入圖框 42之第一行之第八列區塊之全部像素為邊緣像素以及代入 圖框42之第二行及第八列中之區塊之像素之大約八分之 '—— 〇 當圖框40、42被顯示為圖框序列時,在視訊播放期間歸 因於麥考圖框40之邊緣44自代入圖框42之邊緣46顯著變 化,邊緣看起來好像在擺動。該結果可為較不合意之觀看 體驗。本揭示案中所描述之邊緣假影校正技術可減少(若 不消除)代入圖框42内之邊緣假影。事實上,在大多數情 況下,邊緣假影可被完全校正。換言之,邊緣假影校正技 術校正邊緣假影,使得代入圖框4 2内之邊緣大體與參考圖 框4〇之邊緣44類似。 儘管在圖3A及圖3B中所說明之實例中,邊緣44沿圖框 40、42之左側延伸,但是圖框4〇、42内之邊緣44可另外或 替代地存在於圖框40、42之其他位置中,如上文所提及。 舉例而έ ’邊緣可沿圖框40、42之頂部,圖框40、42之底 部,圖框40、42之右側或其組合而存在。此外,諸如在子 母晝面或兩個視訊序列之視訊編輯之情況下,邊緣可存在 於圖框40、42内。 圖4為更詳細地說明圖丨之視訊解碼器14之實例之方框 圖在圖4之貫例中,視訊解碼器14包括解碼單元5 〇、圖 框代入單元52及輸出圖框緩衝器54。圖框代入單元52根據 本揭示案枝正代入圖框内之邊緣假影。圖框代入單元5 2可 形成視訊解碼器14之1?义1;(::單元22之部分。在圖4之實例 140007.doc -26- 201002082 中’圖框代入單元52駐留於視訊解碼器以内。缺而,在立 他實施中,圖框代入單元52可駐留於視訊解碼器⑽,例 士在視afl後處理盗模組或視訊顯示器處理器或襄置 内。 視訊解碼器14(例如)自圖框緩衝器(圖4中未展示)獲得自 傳輸頻道19接收之圖框。解碼單元5〇使用可應用之寫碼過 釭解碼所接收之圖框,且將經解碼之圖框置於輸出圖框緩 衝器54中。在圖4中所說明之實例中,視訊解碼器50包括 摘解碼單元58、反量化單元6〇、反變換單元62、預測單元 64及加法器66。 Ο 熵解碼早几58獲得經編碼之視訊圖框(例如,所接收之 圖框24(圖1)),且熵解碼所接收之視訊圖框μ以獲得每一 圖框(或每-圖框之部分,例如,片)之複數個區塊之殘餘 貝訊及標頭資訊。熵解石馬單元5 8可使用一或多個網寫碼技 術(諸如’可變長度寫碼、算術寫碼、上下文適應性可變 長度寫碼(CAVLC)、上下文適應性二進位s術寫碼 (CABAC) ’或其他熵寫碼技術)來解碼所接收之圖框“。 ^上文所為逑’可呈一或多個量化殘餘係數之形式之殘餘 貝。fi里化了預測視訊區塊與由視訊編碼器編碼之原始視 ^區塊之間的差異。標頭資訊可包括產生預測視訊區塊必 而之貝Λ 5者如使用圖框間預測還是圖框内預測、用於圖 框内預測之圖框内預測模式、用於圖框間預測之—或多個 運動向量,或其類似物。 解碼早兀5G藉由產生並組合預測視訊區塊及殘餘視訊區 140007.doc -27* 201002082 塊而重新建構視訊區塊之每—者。對於每一經圖框間預測 之區塊,預測單元64自網解碼單元58獲得一或多個運動向 量及(例如)自輸出圖框緩衝器54獲得一或多個經重新建構 之視几圖忙且產生經運動補償預測區塊。對於每一經圖 框内預測之區《’預測單元64獲得圖框内預龍式及同一 圖框之一或多個經重新建構之視訊區塊作為經圖框内預測 之區塊,且根據圖框内預測模式產生預測區塊。 解碼單元5G可藉由將殘餘f訊提供至反量化單元6〇以反 夏化(亦即,解量化)經量化之殘餘係數及提供至反變換單 兀62以應用反變化(例如,反DCT或反4χ4或8χ8整數變換) 而產生殘餘區塊。加法器66將由預測單元料產生之預測區 塊只由反:換單兀62輸出之殘餘區塊相加以形成經重新建 構之視訊區塊。經重新建構之視訊區塊儲存於輸出圖框緩 衝器5 4中。 所接收之圖框24可不包括待内插或外插之各種圖框。該 ㈣框可包括由視訊編碼gl2跳過之圖框、不由視訊編碼 2之基本圖框速率支援之圖框,及/或在跨越頻道η滴 :輸期間丢失之圖框或圖框之部分。為了提昇空間時間品 質’圖框代人單元52可經組態以(例如)經由内插或外插產 生—或多個額外視訊圖框。 圖框代入單it 5 2將代人圖框添加至視訊輸出圖框緩衝器 54以增強經重新建構之視訊之空間時間。口口冑。圖框代入單 心可自解碼單元5〇接收圖框以在(例如)經由内插或外插 執行圖框代人中用作參考圖框。圖框代人單元W使用自 14〇〇〇7.d〇c •28- 201002082 解碼单7G 50接收之參考圖框來產生用於(例如)經由運動補 償内插或外插之圖框代入之額外圖框。作為一說明,圖框 代入單元52可使用在先前圖框與將來圖框之間延伸之運動 向量來内插待添加之代入圖框中之區塊,例如,如圖2八中 所展示。作為另-說明,圖框代入單元52可使用在兩個或 兩個以上先前圖框之間延伸之運動向量來外插待添加之代 入圖框中之區塊,例如,如圖2B中所展示。 r
L 如上文所描述,圖框代人及特定地運動補償圖框代入可 在代入圖框中引入邊緣假影,其導致沿視訊序列中之邊緣 :視覺假影’諸如邊緣擺動、閃爍或濃淡不均。舉例而 § ’運動補償内插或外插可使得代入圖框之周邊(或周邊 之部分)周m卜❹個參考龍t之周邊周圍之 邊緣厚或薄’或代入圖框中之邊緣的厚度可沿邊緣變化, 例如,如上文關於圖3A及圖3B所描述。換言之,代入圖 框内之邊緣與-或多個參考圖框内之邊緣不相同。 士為了改良視5fl之視覺品質’當邊緣存在於參考圖框中 邊圖才[代入早兀52可校正代入圖框内之邊緣假影 邊緣存在於來老圖 …、 緣假 /、中’則’ ®框代人單元52可不執行邊 ::::又。替代地,圖框代入單元52可使用習知圖框代 術(例如内播或外插)產生額外圖才匡。因此,在一些产 例’邊緣假影校正可僅在於參考圖框中發現邊緣的情: (例如,沿炎去国 n ^ 些 之頂部、底部、左彻]或右側,或在— ,在參考圖框内(並非沿參考圖框之周邊))下執 】40007.doc -29- 201002082 圖框代入單元5 2可外3丨丨处 。戠別代入圖框内之對應於邊緣假奢 位置且校正經識別之位置内之邊緣假影。圖框代入單元52 可包括識別包括邊績彳p旦/ > 瓊、、朵饭衫之位置之邊緣假影識別單元68。 邊緣假影識別單元6 8 ip丨, 々 了識別代入圖框内之稱為實際邊緣位 第位置其對應於邊緣存在於參考視訊圖框内且應 存在於代人圖框内之位置。在—些情形中,實際邊緣位= :包括由運動補償圖框代人產生之邊緣假影。舉例而言, 只際邊緣位置可包括邊緣歸因於運動補償預測而經移除或 在代入®框巾未延伸得足夠遠之邊緣假影,例如,如圖扣 中之區塊之第四列及第一行之區塊中所說明。 之第一行之第 邊緣假影識別單元68亦可識別在代人圖框内之稱為假邊 緣位置之第:位置,其對應於邊緣存在於代人圖框中但不 存在於參考圖框巾之位置。假邊緣位置包括由運動補償内 插產生之邊緣饭影’諸如在代入圖框中比在參考圖框中之 對應邊緣位置延伸得更遠之邊緣,例如,如在圖紐中區塊 第八列之區塊中所說明 第六、第七列及區塊之第一及第二行之 邊緣假影識別單以8可使用與代人圖框之區塊相關聯之 運動向量及/或存在於參考圖框内之邊緣之寬度來識別實 際邊緣位置及假邊緣位置。如關於圖2A及圖⑶詳細地描 述,可使用一或多個參考圖框内插或外插代入圖框。詳言 之,圖框代人單元52可根據與—或多個參考圖框相關聯之 運動向量而計算代入圖框之區塊之運動向量,且使用經計 算之運動向量來產生代入圖框。舉例而言,在使用在時間 I40007.doc • 30- 201002082 上位於代人圖框之前的第-參考圖框及在時間上位於代入 圖框之後的第二參考圖框進行内插之情況τ,圖框代入單 元52可產生等於在第—參考圖框與第二參考圖框之間延伸 之運動向量之二分之一的用於代入圖框之區塊之運動向 量° 為了識別貫際及假邊緣位置,邊緣假影識別單元Μ分析 沿邊緣之像素區塊。舉例而言’在邊緣沿圖框之左周邊或 右周邊定位的情況下,邊緣假影識別單元68可分別分析沿 圖框之左側上之行或沿圖框之右手側上之行之像素。另一 方面,在邊緣沿頂部或底部周邊定位之情況下,邊緣假影 識別單元68可分別分析沿圖框之頂部上之列或沿圖框之底 部上之列之像素。 邊緣假影識別單元68可(例如)分析與區塊相關聯之運動 向量以判定任何邊緣假影是否存在於區塊内。為了識別圖 框之區塊中之邊緣假影,邊緣假影識別單元68針對與左邊 、、彖或右邊緣對應的區塊之每一者分析與區塊相關聯之運動 向量之X分量,且針對與頂部邊緣或底部邊緣對應的區塊 之每一者分析與區塊相關聯之運動向量之y分量。 對於沿左邊緣或右邊緣之區塊,若區塊之運動向量具有 等於零之X分量,則邊緣假影識別單元68判定不存在邊緣 假影。同樣,對於沿頂部或底部邊緣之區塊,若區塊之運 動向里具有等於零之y分量,則邊緣假影識別單元68判定 不存在邊緣假影。此係因為邊緣將不會經由運動補償在區 塊内擴散得更遠。替代地,代入圖框之區塊將為來自參考 140007.doc 201002082 圖框之對應區塊之複本。 若區曰塊之運動向量之各別分量(例左邊緣及右邊緣 之刀里,及頂部及底部邊緣之丫分量)具有非零量值,則 邊緣假影識別單元68識別區塊内之實際及/或假邊緣位 置。在一個態樣中,邊緣假影識別單元68可將區塊之第一 部分識別為實際邊緣位置且將區塊之第二部分識別為假邊 緣位置。 一(例如)對於沿圖框之左側定位之邊緣,邊緣假影識別單 兀68可將區塊之像素之前錢制為實際邊緣位置,其中 W等於參考圖㈣之邊緣之寬度(以像素計)。若(例如)區 塊之運動向量之乂分量具有正量值,則邊緣假影識別單元 68可將等於正量值且鄰近實際邊緣位置之區塊之像素之許 多订識別為假邊緣位置。在此情;兄下,正量值運動向量指 向參考圖框中之位於負乂方向中之區塊。若(例如)邊緣為: 邊緣且運動向量之乂分量等於ΜΥχ,則邊緣假影識別單2 68可將第%+1至%+]^1行識別為假邊緣位置。若(例如)邊 緣為左邊緣且區塊之運動向量之χ分量具有負量值,則邊 緣假影識別單元68可不將區塊内之任何像素識別為屬於= 邊緣位置。此係因為邊緣將不會歸因於運動補償在圖框内 擴散得更遠。儘管在上文所描述之實例中,運動向旦 分里之正$值經描述為與朝向視訊圖框之右側之運動對 應,且運動向量之乂分量之負量值經描述為與朝向視訊圖 框之左側之運動對應,但是可使用不同運動向量量值(正 負號)慣例。舉例而言,將運動向量之乂分量之正量值描述 140007.doc •32· 201002082 為與朝向視訊圖框之左側之運動對應,且將運動向量之x 分量之負量值描述為與朝向視訊圖框之右側之運動對應。 對於沿圖框之右侧定位之邊緣,邊緣假影識別單元_ 析不同區塊且不同地使用相關聯之運動向量之χ分量。邊 緣假影識別單元68可將代人圖框之像素之最後 第Ν至N_W行)識別為實際邊緣位置,其中w等於參考圖框 之邊緣之寬度(以像素計㈣等於像素之行之總數目。若 區塊之運動向里之χ分夏具有負量值,則邊緣假影識別單 元68可將等於負量值且鄰近實際邊緣位置之像素之許多行 識別為假邊緣位置。若(例如)邊緣為右邊緣且運動向量之X 分量等於·Μνχ,則邊緣假影識別單元68可將第n_w_un_ W-MVX行識別為假邊緣位置。若邊緣為右邊緣且區塊之運 動向量之X分量具有正量值,則邊緣假影識別單元68可不 將區塊内之任何像素識別為屬於假邊緣位置。此係因為邊 、矣將不會#因於運動補償在圖框内擴散得更遠。邊緣假影 識別單元68可以類似方式使用與區塊相關聯之運動向量之 y分量識別沿頂部及底部邊緣之實際及假邊緣位置。 、在八他〜、樣中,邊緣假影識別單元6 8可將整個區塊識別 為實際邊緣位置或假邊緣位置,而非如上文所描述將區塊 P刀識另丨為只際邊緣位置或假邊緣位置。若區塊包括對 α 考圖框之邊緣位置之任何像素,則邊緣假影識別單 疋68可將該區塊分類為實際邊緣位置。舉例而言,若邊緣 為八有W们像素之寬度的左邊、緣,則邊 '緣假影識別單元μ w將〇括如W行像素♦之任何像素之區塊識別為實際邊緣 140007.doc -33- 201002082 位置。若w等於七,日门, 且代入圖框之區塊為4χ4區塊,則邊 緣假影:別單元68將前兩行4χ4區塊識別為實際邊緣位 置η換口之,W每捨入至用於運動補償之基本單元之大小 之最近倍數,例如,對於ΝχΝ之基本單元或區塊大小,寬 度驟捨入至N之最近倍數。在上文之㈣區塊大小實例 值、捨入至八,使得兩行區塊經識別為實際 邊緣位置。視運動補償之基本單元之大小而定’可發生不 同的捨入。舉例而+,朴 平例而S ,右運動補償之基本單元 則邊緣之寬度_捨入至二之最近倍數。在= ft ’W仍然經捨人至人,但結果為四行 X區塊經硪別為實際邊 運動補償單元為㈣,為值2為另一 ^列,若基本 區塊娘^丨P 捨人至8,使得單行8χ8 (_塊、.工識別為貫際邊緣位 則捨入可不為必要的…:又任何視訊架構限制, 補償模組,捨入取決於視訊處 :之運動 償單元。 為/解碼為之基本運動補 因此’若邊緣之至少—個德 之位置,則甚至包括此…-於參考圖"之邊緣 彳甚至包括一些不對應於參考圖框 素之區塊亦可能經分類為實際邊緣位置。邊緣二象 兀68可使用上限函數判定經識別為實際邊緣位置…早 行數目,如關於圖5更詳細地描述/、際邊、、表位置之區塊之 在-些情形中’邊緣假影識別 圖框中之邊緣對應之任何像素之區塊特考 置。若參考圖框令之邊緣之 際邊緣位 攻緣是度為區塊大小之倍數, 140007.doc -34- 201002082 則邊緣假影識別單元68可將鄰近區塊識別為實際邊緣位 置。此可為(例如)使用圖框内預測校正假邊緣假影所必要 的如下文详細地描述。舉例而言,例如,在4x4區塊之 情況下’即使邊緣僅延伸經過三行區塊,具有12個像素寬 . 度之左邊緣或右邊緣亦可導致四行區塊經識別為實際邊緣 位置。 當與區塊相關聯之運動向量使得邊緣擴散至不包括對應 ( 於參考圖框中之邊緣位置的任何像素之區塊中時,邊緣假 影識別單元68可將區塊識別為假邊緣位置。用於識別對應 於假影之假邊緣位置(在此情況中為區塊)之實例可闡釋如 下。對於視訊單元之左邊緣,邊緣假影識別單元68自視訊 單元之左側開始按列處理每一區塊。假定κ表示一列中經 为析之區塊之數目(亦即,區塊丨至Κ經分析),且R為區塊 之列之總數目。對於區塊丨至尺中之每一者,邊緣假影識別 單元68獲得與區塊相關聯之運動向量。邊緣假影識別單元 U 68計算將自參考圖框取得之區塊(例如,在使用與代入圖 框之區塊相關聯之運動向量進行運動補償期間獲得之區 塊)之左角之水平像素座標。若水平像素座標小於左邊緣 寬度,則邊緣假影識別單元68將此區塊識別為假邊緣位 置。換言之,邊緣假影識別單元68將區塊識別為需要(例 如)經由圖框内預測或其他像素替換方法而進行之假影校 正之位置。另外,邊緣假影識別單元68可在假影位置圖中 (例如)用「1」標記區塊之對應位置,指示對應於圖上之該 位置之區塊而要邊緣假影校正。邊緣假影識別單元Μ可移 140007.doc -35· 201002082 動至同一列中之下一區塊且重複相同過程,直至該列之全 π κ個區塊已經分析。在分析第一列之κ個區塊之後,邊 '彖假办識別單元68可分析下—列中之κ個區塊,直至全部 列已I刀析。在全部列已經分析之後,邊緣假影識別單元 68可移動至右邊緣(若右邊緣存在)。 對於右邊緣,邊緣假影識別單元68遵循類似程序。邊緣 假影識別單元6 8可處理一列中處於視訊單元之右邊緣中之 最後p個區塊。對於每一區塊,邊緣假影識別單元68首先 獲知區塊之運動向量。邊緣假影識別單元68接著計算將在 運動補償期間自參考圖框取得之區塊之右角之水平像素座 標。若水平像素座標大於右邊緣之開始座標(例如,右邊 緣之最左座標)’則邊緣假影識別單元68將區塊識別為需 要假影校正之區域且在位置圖中用「丨」標記區塊之對應 位置。邊緣假影識別單元68可移動至同一列中之先前區塊 且針對P個區塊重複該分析。在分析第一列之p個區塊之 後’邊緣假影識別單元68可分析下一列中之P個區塊,直 至全部R列已經分析。在全部列已經分析之後,邊緣假影 識別單元68可移動至北部(或頂部)邊緣(若北部(或頂部)邊 緣存在)。 對於北部邊緣,邊緣假影識別單元68遵循類似程序。邊 緣假影識別單元68可開始處理一行中處於視訊單元之北側 中之每一區塊。假設T表示一行_經分析之區塊之數目, 且C為區塊之行之總數目。邊緣假影識別單元68處理—行 中處於視讯單元之北部邊緣中之前τ個區塊。對於每—區 140007.doc -36- 201002082 塊,邊緣假影識別單元68可首先獲得區塊之運動向量。邊 緣假影識別早7L 68可計算將在運動補償期間自參考圖框取 得之區塊之底部之垂直像素座標。若垂直像素座標大於頂 部邊緣之最底部或最南部邊緣座#,則邊緣假影識別單元 68將該區塊識別為需要假影校正之區域且在位置圖中用 「1」標記區塊之對應位置。邊緣假影識別單元68可移動 至同一打中之下一區塊且重複相同過程,直至該行之τ個 區塊已經分析。在全部〇行之τ個區塊經分析之後,邊緣假 影識別單元68可移動至南部邊緣(若南部邊緣存在)。 。類似地:在南部邊緣中’對於每一區塊,邊緣假影識別 單元68可首先獲得區塊之運動向量。邊緣假影識別單元μ 可計算將在運動補償期間自參考圖框取得之區塊之北部 (頂部)之垂直像素座標。若垂直像素座標小於南部邊緣之 最頂部或最北部邊緣座標,則邊緣假影識別單元68可將該 區塊識別為需要假影校正之區域且在位置圖中用「1」標 記區塊之對應位置。邊緣假影識別單元68可移動至同一行 中之下-區塊且重複相同過程,直至該行之B個區塊已經 分析。 上文所描述之過程為可如何識別假邊緣位置之一個實 例。不應認為該過程限制本文所描述之技術。舉例而言,' 假邊緣識別不取決於識別假影之次序。換言之,該過^可 以南部邊緣、北部邊緣、左邊緣或右邊緣開始。可使用其 他假邊緣位置識別技術。舉例而言,邊緣假影識別單元Μ 可基於與區塊相關聯之運動向量(替代像素座標或除像素 140007.doc -37· 201002082 座標外)來識別邊緣位置。若邊緣為左邊緣(例如)且運動向 里之X分量等於正MVx ’則當MVx大於用於識別實際邊緣位 之上限函數之輸出乘以區塊大小之結果時,邊緣假影識 別單70 68可將鄰近正經分析之當前區塊之區塊識別為假邊 緣位置。 Θ +[代入單元5 2使用本揭示案之技術校正經識別之位置 以產生大體類似於參考圖框之邊緣之在代入圖框内之邊 緣,精此保持邊緣之時間連續性且移除邊緣之擺動。圖框 代入單兀52包括校正代入圖框内之邊緣假影之邊緣假影校 正單元73。邊緣假影校正單元73包括分別校正實際邊緣位 置及假邊緣位置中之邊緣假影之實際邊緣校正單元7〇及假 邊緣杈正單元72。在_些情形中,邊緣校正單元7〇、72可 在像素域中杈正經識別之位置中之邊緣假影。換言之,邊 緣才又正單元7〇、72可逐像素地調整經識別之位置内之像素 值。 +例而a ’為了校正代入圖框中之實際邊緣位置(亦 ?人存在於用於產生代入圖框之參考圖框内且應存在於 代入圖框内之邊緣對應之位置)中之假影,實際邊緣校正 早凡7〇可用來自參考圖框中之對應位置之像素值替換代入 圖框中之貫際邊緣位置内之像素值之每一者。實際上,實 際邊緣奴正單元70將參考圖框之邊緣複製至代入圖框之邊 彖中作為另一貫例,實際邊緣校正單元70可設定實際邊 4置之像素值之每一者等於與參考圖框中之邊緣之顏色 相關聯之像素值。 140007.doc -38- 201002082 為了在像素域中校正假邊緣位置,假邊緣校正單元72可 使用一或多個參考圖框之一或多個像素值計算假邊緣位置 (亦即,與存在於代入視訊圖框内且不存在於用於產生代 入圖框之參考視訊圖框内之邊緣對應之位置)内之像素之 每一者之替換像素值。在一些情形中,假邊緣校正單元72 將假邊緣位置内之像素之每一者之替換像素值計算為參考 圖框中之兩個像素之像素值之平均值,該兩個像素位於與
代入圖框之正經替換之像素列對應的列中且緊鄰參考圖框 中之邊緣。 二舉例而言,對於具有四個像素之寬度之左邊緣,假邊緣 校正單元72可藉由對與參考圖框之第一列之第五及第六像 素(其緊鄰邊緣)相關聯 <像素值求平均而計算代入圖框之 第—列之第五像素之替換像素值。同樣’假邊緣校正單元 72可藉由對與參考圖框之第二列之第五及第六像素相關聯 之像素值求平均而計算代入圖框之第二列之第五像素之替 =像素值,等等。假邊緣校正單元72可藉由使用來自束考 圖框之更多或更少之像素值、使用來自像素圖框内之不同 例如’不同列或行)之像素值或使用來自參考圖框之 像素值與代入圖框之先前經 才夂像素值之組合,來計算 換像素。以此方式,圖框代入單元52可使 術校正實際邊緣位置中之邊 又技 正假邊緣位置中之邊二Γ用第二校正技術校 考圖框中之邊緣相同之邊緣。戈入圖框中產生大體與參 在其他情形中,圖框代 代入早凡52可(例如)在為代入圖框 I40007.doc 39- 201002082 產生像素值之前在麼縮域中校正經 描述,在壓縮域中 位置。如上文所 非區塊之像素之部分。對於代入圖框中4=區塊,而 位置之區塊(例如包括 、、二識別為實際邊緣 j又匕枯經判定而對應 至少-個像素之區塊),,、㈣,考圖框之邊緣之 區塊相關聯之運動:丄設;正單元7。可藉由將與 塊相關聯之運動向量設定:::=緣假影。將與區 製參考圖框中之對應區塊以使 _^早兀52藉由複 區塊而產生代入圖框中之區塊吏=,產生額外圖框之 構額外圖框之後,代入0丄口而,在使用運動補償建 交代入圖桓中對應於實邊 將具有與參考圖框之邊緣相同之邊緣。區塊 =壓縮域中校正假邊緣位置(例如,包括對 ::圖框内且不存在於參考圖框中之邊緣之區塊之至少一 個像素但不包括對應於參考 塊),假邊緣校正單元72可料由、_表之任何像素之區 精由、擇圖框内預測模式及使 二二圖框内預測模式判定區塊之像素值來校正假影。舉 而。在4x4區塊之情況下,假邊緣校正單元”可選擇 可用於寫碼技術中之圖框内預測模式中之一者。例如對於 4 &邊緣&正早a 72可選擇如下九個圖框内預測模 式中之一者:垂直模式、水平模式、dc模式、右下對角 拉式' 左下對角模式、垂直右模式、水平下模式、垂直左 模式及水平上模式。以卜卜古— 、 、八以此方式,視訊解碼器14可識別至少 兩種不同類型之邊緣假影且以不同方式校正邊緣假影。 在-些態樣中,邊緣假影預測單元56可能夠在像素域或 I40007.doc •40· 201002082 壓縮域中校正邊緣假影。 像素域還疋在i缩域中校正邊緣假 衫,例如,以在品質-功率之間取得最佳平衡 中校正邊緣假影可比在I缩 旦 象素或 品質。然而,在I缩域中校正邊產生更好的 辛資料曰τ奴正邊緣叙影不需要存取特定像 •、/可使用較少功率消耗及MIPS來執行。作 實例,邊緣假影校正單元73 ’’ 之因果性像素(eausal pi ^ ^於圖框内預測 正,且在因果性像辛可用㈣^中執行邊緣假影校 邊緣假影校正。 於圖框内預測時在_域中執行 視訊輸出圖框緩衝器54中之經解碼之圖框及代入圖框可 用於驅動諸如顯示器之視訊輸出裝置(圖4中未 一實例,視訊解碼器14可形成包括數位視訊能力之各種裝 置中之任-者之部分,該各種裝置包括諸如行動無 話之無線通信裝置、數位媒體播放器、個人數位助理 (PDA)、數位電視及其類似物。或者,輸出圖框緩衝琴54 中之圖框可傳輸至—或多個其他裝置以用於存檔或顯 ,任一情況下’由圖框代入單元52產生之代入圖框補充由 解碼早心解碼之圖框,例如,以增強視μ段 覺品質。 自了优 圖5為s兄明根據本揭示案之技術之圖框代入單元w校正 代入圖框中之邊緣假影之實例操作之流程圖。圖框代 兀52可判定邊緣存在於參考圖框中⑽邊緣可存在於炎 考圖框之周邊之至少一部分周圍(例如,沿圖框之頂二 140007.doc 201002082 底部、左側及/或右側)。替代性或額外地,邊緣可存在於 麥考圖框内的別處,例如,不沿周邊,如在包括經編輯於 起之一個以上之視訊序列之圖框的情況或子母畫面情形 中〇 在識別參考圖框内之邊緣之後,邊緣假影識別單元68識 別代入圖框内之稱為實際邊緣位置之第一位置,其對應於 邊緣存在於參考視訊圖框内且應存在於代入圖框内之位置 (82)。實際邊緣位置可包括由運動補償圖框代入產生之假 衫。舉例而言,實際邊緣位置可包括邊緣歸因於運動補償 預測而經移除或在代入圖框中未延伸得足夠遠之邊緣假 例如,如圖3B中之區塊之第四列及第一行之區塊中所 說明。 邊緣識別單元6 8可基於參考圖框内之邊緣之寬度識別代 入圖框内之實際邊緣位置。在一個態樣中,邊緣識別單元 68可分析每一區塊且基於參考圖框内之邊緣之寬度將區塊 之部分識別為實際邊緣位置。作為一實例,若參考圖框中 之邊緣沿參考圖框之左側定位,則邊緣假影識別單元⑽可 ^代入圖框巾之區塊之第—行之區塊之前w行像素識別為 只際邊、、彖位置’其中w等於參考圖框内之邊緣之寬度(以像 素計)。在另-態樣中,邊緣識別單元68可將整個區塊識 別為實際邊緣位置,即使該區塊包括不對應於參考圖框内 之邊緣之像素。舉例而言,若參考圖框中之邊緣為左邊 緣,則邊緣假影識別單元68可使用上限函數(例如,上限 (x,y))計算代入圖框中之處於實際邊緣位置之區塊的行之 140007.doc -42- 201002082 上限函數之輸出將x除以y之結果捨入至下一最大整 數值。舉例而t , ° (,)之上限等於2。因此,例如,在4χ4 區塊之情沉ΠΓ,曰厂 ^ 具有七個像素之邊緣寬度之左邊緣或右邊 緣使传兩行區塊經識別為實際邊緣位置。 在—凊形中,邊緣假影識別單元68可將不具有與參考 圖忙中之&緣對應之任何像素之區塊特徵化為實際邊緣位 置。若參考圖框中之邊緣之邊緣寬度為區塊大小之倍數, 則邊緣假衫識別單元68可將鄰近區塊識別為實際邊緣位 置此可為(例如)使用圖框内預測校正假邊緣假影所必要 的,如下文詳細地描述。舉例而言,例如,在4χ4區塊之 f月況下即使邊緣僅延伸經過三行區塊,具有丨2個像素寬 度之左邊緣或右邊緣亦可導致四行區塊經識別為實際邊緣 位置。 邊緣假影識別單元6 8亦可識別代入圖框内之稱為假邊緣 位置之第二位置,其對應於邊緣存在於代入圖框中但不存 在於參考圖框中之位置(84)。假邊緣位置包括由運動補償 内插產生之邊緣假影,諸如在代入圖框中比在參考圖框中 之對應邊緣位置延伸得更遠之邊緣,例如,如在圖3β中區 塊之第一行之第二、第六、第七列及第八列之區塊中所說 明。 邊緣假影識別單元6 8可基於參考圖框内之邊緣之寬产及 與區塊相關聯之經估計、經内插或經處理之運動向量來識 別代入圖框内之假邊緣位置。在一個態樣中,邊緣假影識 別單元68可分析每一區塊且基於參考圖框内之邊緣之宽产 140007.doc -43 - 201002082 及各別區塊之運動向 « 0 A 來將£塊之—部分識別為假邊緣位 置。右(例如域緣為左邊緣且運動 ^ 則邊緣假影識別單元68叮脸_ 刀里寻於MVX, 象也ψ ^ , 可將弟W+1至W+MVX行識別為假邊 、:位置’其中W為參考圖框中之邊緣之寬度 ^ 中,邊緣假影墦s,丨-_ 心樣 置。各盘巴…早兀68可將整個區塊識別為假邊緣位 置田興&塊相關聯之運叙&曰 應於參考圖框中之'#绫 置使得邊緣擴散至不包括對 緣假影識別單元二、之位置之任何像素之區塊中時,邊 言,若邊緣心邊緣 識別為假邊緣位置。舉例而 得之、 當在運動補償期間自參考圖框取 ;=,角之水平像素座標小於左邊緣寬度時,邊緣 識別早兀68將區塊識別為假邊緣位置。 貫際邊緣校正輩分7 Λ > τ + 杈正貫際邊緣位置中之邊緣假影 (86)。在一些情形中, 正經識別之f際邊緣緣/正單元7G在像素域中校 ' 、,’置中之邊緣假影。舉例而言,為了 才父代入圖框中之實F i真έ套/六里^ 扣一% 只、,彖位置中之假影,實際邊緣校正 =可用來自參考圖框令之對應位置之像素值替換代人 之實際邊緣位置内之像素值之每-者。以此方式, :參相框之邊緣複製至代入圖框之邊緣中。在其他情形 貝際邊找正單几7G在麗縮域中校正實際邊緣位置中 之邊緣假影。舉例而言,實際邊緣校正單元7〇可藉由設定 队識別為貫際邊緣位置之區塊相關聯之運動向量等於零 及使用彼等運動向量執行運動補償來校正邊緣假影。7 假邊緣校正單元72校正假邊緣位置中之邊緣假影(88)。 為了在像素域中校正假邊緣位置,假邊緣校正單元η可使 140007.doc -44 - 201002082 用一或多個參考圖框之— 之像素之每一者之秩_1像素值計算假邊緣位置内 母者之替換像素值。舉例 元72可將假邊緣位 假邊緣杈正早 .^ ^ 像素之母—者之替換像辛傕訃曾 為參考圖框中之兩個像素之 、 、’、 ^ 位於與代入圖框之正缺替#之平均值’該兩個像素 圖財之邊緣。為了(例如心⑽+ W中且緊4參考 iFiit ft - - 1鈿域中校正假邊緣位置, 假遭緣技正羊兀72選擇
Mm— 預測拉式且使用選定圖框内 預邓杈式判疋區塊之像素值。 -¾ u 示了 H.264圖框内預測之外 或與H.264圖框内預測分 來校正假邊緣假影。 …用不同空間内插技術 =圖㈣圖框代入單元52校正沿經識別之邊緣之 〃"-行像素之邊緣假影之實例操作之流程圖。儘 官圖6A及圖6B中所今明夕眘加s 所次明之貫例展示沿單列及/或單行之邊 緣假影校正,但是可在多列及/或多行上執行該等技術。 可基於參考圖框中之邊緣之寬度判定列或行之數目。 最初’圖框代入單元52偵測用於圖框代入之參考圖框内 之邊緣(9〇)。圖框代入單元52判定邊緣是否沿參考圖框之 左側延伸’亦即’是否為左邊緣㈣。若參考圖框中之邊 :沿參考圖框之左側延伸,亦即,為左邊緣,則圖框代入 單兀52 D又定.楚數j = 1且選擇被代入圖框之區塊_(ι,』)(94、 96)。區塊MB(1,j)為位於第一行及第』列之區塊。因為」最 初經設定等於1,所以所選定第-區塊為被代入圖框之第 一行及第一列之區塊。 圖框代入單元52判定與區塊MB(i ,〗)相關聯之運動向量 140007.doc •45- 201002082 之X刀i (MVX)疋否等於零(98)。在一些情形中,可(例如) 經由内插或外插根據與一或多個參考圖框相關聯之運動向 量計算與區塊相關聯之運動向量。當圖框代入單 兀52判定與被代入圖框之區塊MB(1,j}相關聯之運動向量 之X分量不等於零時,圖框代入單元52判定與被代入圖框 之區塊MB(l,j)相關聯之運動向量之χ分量大於零(1〇〇)。若 圖框代人單元52判定與被代人圖框之區塊MB(l,j)相關聯 之運動向量之X分量大於零,則圖框代入單元52執行假邊 緣校正(1G2)。彳在像素域或壓縮域中執行假邊緣校正,如 本揭示案中詳細地描述。 在執行假邊緣校正之後或當與區塊MB(1J)相關聯之運 動向量之X分量小於零時,圖框代入單元52執行實際邊緣 才又正(104)。與假邊緣校正一樣,可在像素域或壓縮域中執 行實際邊緣校正’如本揭示案中詳細地描述。以此方式, 圖框代入#元52使用不㈣緣假影校正技術來校正不同類 型之邊緣假影。舉例而言,使用實際邊緣校正技術中之— 者來校正與實際邊緣位置相關聯之邊緣假影,且使用假邊 彖杈正技術中之一者來校正與假邊緣位置相關聯之邊緣 影。 、 在貫際邊緣校正之後或當與區塊相關聯之運動向量之X :量等於零時,圖框代入單元52判定與區塊MB(2,j)相關 聯,運動向量之X分量是否等於零(1 。區塊ΜΒ(2,』)為位 於第二行及第j列之區塊。換言之,區塊為在水平 方向上f鄰區塊MBd,j)之區塊。當與區塊MB(2,j)相關聯 J40007.doc -46- 201002082
之運動向量之X分量不等於零時,圖框代入單元52判定在 運動補償期間自參考圖框取得之區塊之左側之水平χ座標 (「區塊之X」)是否小於左邊緣之右側之X座標(「邊緣之 X」)(108)。若圖框代入單元52判定在運動補償期間自參 考圖框取得之區塊之左側之χ座標(「區塊之X」)小於左邊 緣之右側之X座標,則圖框代入單元52為區塊mb(2j)執行 假邊緣校正(110)。圖6八僅分析且校正一列之第一及第二 區塊(例% ’區塊及區塊猶⑽)中之邊緣假影。 然而’該等技術可分析且校正更多成列的區塊,例如,區 塊應(3,j·)、區塊MB(4,j)、……、區塊㈣⑹),其中c等 於圖框之行之數目。 當與區塊相關聯之運動向量之乂分量等於零時, 在「運動補償期間自參考圖框取得之區塊之左側之χ座標 (「區塊之X」)不,J、於左邊緣之右側之χ座標,或在區塊 MB(2,j)之假邊緣校正之後,圖框代入單元^判定變數』是 否士等於N,其中N為第一行之區塊之數目⑴2)。幻不等於 叫’圖框代入單元52將變數』加1〇14)且以上文所描述之 方式處理區塊卿,j)。圖框代入單元52繼續處理左行中 之[塊,直至j等於N,亦即,不再存在剩餘的要處理區 塊。 當博於N或在區塊(92)處判定邊緣不為左邊緣時,_ 代入單元52判定邊緣是否沿參考圖框之右側延伸,亦即, 是否為右邊緣⑴6)。若圖框代入單元52判定參考圖框中之 邊緣沿參考圖框之右侧延伸,亦即,為右邊緣,則圖框代 140007.doc -47- 201002082 入單元52設定變數j = l且選擇被代入圖框之區塊 MB(M,j)(118、120)。區塊MB(M,j)為位於第]VI行及第j列之 區塊。因為j最初經設定等於1,所以所選定的第一區塊為 代入圖框之最後一行及第一列之區塊。 圖框代入單元52判定與區塊MB(M,j)相關聯之運動向量 之X分篁(MVX)是否等於零(122)。在一些情形中,可(例如) 經由内插或外插根據與一或多個參考圖框相關聯之運動向 畺计异與區塊MB(M,j)相關聯之運動向量。當圖框代入單 元52判定與被代入圖框之區塊相關聯之運動向量 之X分量不等於零時,圖框代入單元52判定與被代入圖框 之區塊MB(M,j)相關聯之運動向量之χ分量小於零(124)。 若圖框代入單元52判定與被代入圖框之區塊μβ(μ⑴相關 :之運動向量之X分量小於零,㈣框代人單元52執行假 邊緣校正(126)=可在像素域或ι缩域中執行假邊緣校正, 如本揭示案中詳細地描述。 在,行假邊緣校正之後或當與區塊相關聯之驾 動向量之X分量大於零時,圖框代人單心執行實際邊續 = =28)。與假邊緣校正—樣’可在像素域或壓縮域中朝 仃K IV、邊緣;^正’如本揭示案中詳細地描述。以此方式, 早元52使用不同邊緣假影校正技術來校正不同類 舉例而言’使用實際邊緣校正技術中之- </、貫際邊緣位置相„之邊緣假影,且使 緣才父正技術中> _ j + 影。 來校正與假邊緣位置相關聯之邊緣假 140007.doc -48 - 201002082 在貫際邊緣校正之後或當與區塊相關聯之運動向量之x 分夏等於零時,圖框代入單元52判定與區塊MB(M-IJ)相 關聯之運動向量之x分量是否等於零(13 0)。區塊MB(M-l,j) 為位於倒數第二行及第j列之區塊。換言之,區塊MB(M_ Μ)為在負水平方向上緊鄰區塊MB(M,j)之區塊。當與區塊 MB (Μ-1 ,j)相關聯之運動向量之X分量不等於零時,圖框代 入單凡52判定在運動補償期間自參考圖框取得之區塊之右 f、 側之水平X座^ (「區塊之X」)是否大於右邊緣之左側之x 座心(k緣之X」)(132)。若圖框代入單元52判定在運動 補償期間自參考圖框取得之區塊之右側之水平χ座標(「區 塊之X」)大於右邊緣之左側之X座標(「邊緣之X」),則圖 杧代入單元5 2為區塊mb (Μ-1 ,j)執行假邊緣校正(13 4)。 當與區塊MB(M- 1,j)相關聯之運動向量之χ分量等於零 %在運動補償期間自參考圖框取得之區塊之右側之水平 父座軚(「區塊之χ」)不大於右邊緣之左側之X座標(「邊緣 C.J 之X」),或在假邊緣校正之後,圖框代入單元52判定變數 j是否等於Ν,其中Ν為第一行之區塊之數目(136)。當』不等 . 於^^時,圖框代入單元52將變數j加1(138)且循環回而以上 文所彳田述之方式處理下一區塊MB(M,j) ^圖框代入單元U 繼續處理最後(例如,右)行中之區塊,直至j等於N,亦 即’不再存在剩餘的要處理區塊。 參看圖6B,當j等於n或在區塊(116)處判定邊緣不為右 邊緣時,圖框代入單元Μ判定邊緣是否沿參考圖框之頂部 延伸,亦即,是否為頂部邊緣(140)。若圖框代入單元52判 140007.doc -49- 201002082 定參考圖框中之邊緣沿參考圖框之頂側延伸,亦即,為頂 部邊緣,則圖框代入單元52設定變數i=1且選擇被代入圖 框之區塊MB(i,i)(142 '抖4)。區塊MB(U)為位於第丨行及 第1歹j之區塊。因為丨最初經設定等於1,所以所選定的第 一區塊為代入圖框之第一行及第一列之區塊。 圖框代入單元52判定與區塊相關聯之運動向量 之y分量(Mvy)是否等於零(146)。在一些情形中,可(例如) :由:插或外插根據與一或多個參考圖框相關聯之運動向 量計算與區塊相關聯之運動向量。當圖框代入單 το 52判定與被代入圖框之區塊相關聯之運動向量 之y分量不等於零時,圖框代入單元52判定與被代入圖框 之區塊卿⑴相關聯之運動向量之y分量大於零⑽)。若 圖框代入^ 5 2判^與被代人圖框之區塊Μ B (i,!)相關聯 ,動向里之y刀里大於零,則圖框代入單元Μ執行假邊 ,彖&正(15〇)。可在像素域或麼縮域中執行假邊緣校正,如 本揭示案中詳細地描述。 在執仃假邊緣杈正之後或當與區塊mb“,”相關聯之運 動向量之y分量小於零時’圖框代人單元52執行實際邊緣 ^(152)。與假邊緣校正—樣,可在像素域或壓縮域中執 行貫際邊緣校正,如太姐_ &丄 如本揭不案中詳細地描述。以此方式, 圖框代人單元52使料同邊緣假影校正技術來校正不同類 i之邊緣假影。舉例而言,使用實際邊緣校正技術中之一 者來校正與實際邊緣位置相關聯之邊緣假影,且使用假邊 緣权正技術中之-者來校正與假邊緣位置相關聯之邊緣假 140007.doc -50- 201002082 影。
在實際邊緣校正之後或當與區塊相關聯之運動向量之y 分量等於零時’圖框代入單元52判定與區塊MB(i,2)相關 聯之運動向量之7分量是否等於零(154)。區塊MB(i,2)為位 於第1行及第二列之區塊。換言之,區塊MB(i,2)為在垂直 向下方向上緊鄰區塊MB(i,l)之區塊。當與區塊MB(i,2)相 關聯之運動向量之y分量不等於零時,圖框代入單元52判 疋在運動補償期間自參考圖框取得之區塊之頂部側之垂直 y座標(「區塊之γ」)是否小於頂部邊緣之底部側之y座標 (「邊緣之Y」)(1 56)。若圖框代入單元52判定在運動補償 期間自參考圖框取得之區塊之頂部側之垂直y座標(「區塊 之Y」)小於頂部邊緣之底部侧之y座標(「邊緣之γ」),則 圖框代入單元52為區塊MB(i,l)執行假邊緣校正(158)。 ϊ與區塊MB(i,2)相關聯之運動向量之y分量等於零時, 在運動補償期間自參考圖框取得之區塊之頂部側之垂直丫 座標(「區塊之Y」)不小於頂部邊緣之底部側之y座標 (「邊緣之Y」),或在假邊緣校正之後,圖框代入單元W 判定變數i是否等於Μ,其中Μ為第一列之區塊之數目 (160)。當i不等於Μ時,圖框代入單元52將變數丨加〖(ία) 且以上文所描述之方式處理區塊MB(U)。圖框代入單元 52繼續處理頂部列中之區塊,直至丨等於]^,亦即,不再存 在剩餘的要處理區塊。 當i等於Μ或在區塊(140)處判定邊緣不為頂部邊緣時, 圖框代入單元52判定邊緣是否沿參考圖框之底部延伸,亦 140007.doc •51 · 201002082 即,是否為底部邊緣(163)。若圖框代入單元52判定參考圖 框中之邊緣沿參考圖框之底部延伸,亦即,為底部邊緣, 則圖框代入單元52設定變數i=1且選擇代入圖框之區塊 MB(i,N)(164、165)。區塊MB(i,N)為位於第丨行及第N列之 區塊。因為i最初經設定等於!,所以所選定的第—區塊為 代入圖框之第一行及最後一列之區塊。 圖框代入單元52判定與區塊MB(i,N)相關聯之運動向量 之y分量(MVy)是否等於零(166)。在一些情形中,可(例如) ㈣=插或外插根據與-或多個參考圖框相關聯之運動向 量計算與區塊相關聯之運動向量。當圖框代入單 元52判定與被代入圖框之區塊MB(i,N)相關聯之運動向量 之y分量不等於零時,圖框代入單元52判定與被代入圖框 之區塊MB(i,N)相關聯之運動向量之y分量小於零(叫。若 圖框代二早兀52判定與代入圖框之區塊⑽(⑶)相關聯之 ,動向里之y力里小於零’ Μ圖框代入單元Μ執行假邊緣 〇7〇)。可在像素域或壓縮域中執行假邊緣校正,如本 揭示案中詳細地描述。 =執订假邊緣校正之後或當與區塊細⑽)相關聯之運 動向量之y分量大於零時’圖框代入單元52執行實際邊緣 又正⑽)。與假邊緣校正一樣,可在像素域或壓縮 打實際邊緣校正,如本揭示案中詳細地描述。以, 圖框代入單元52使用不同邊緣彳 … 型之邊緣假影。舉例而+ 正技術來校正不同類 一者來校正與實際邊缘:置/用實際邊緣校正技術中之 邊緣位置相關聯之邊緣假影,且使用假 I40007.doc •52- 201002082 邊緣板正技術中之一者來校正與假邊緣位置相關聯之邊緣 假影。 在實際邊緣校正之後或當與區塊相關聯之運動向量之y 刀里等於零時’圖框代入單元52判定與區塊MB(i,N-l)相
關聯之運動向量之y分量是否等於零(174)。區塊MBdN-D 為位於第i行及倒數第二列之區塊。換言之,區塊 1)為在負垂直向上方向上緊鄰區塊之區塊。當與
區塊ΜΒ(ι,Ν-1)相關聯之運動向量之y分量不等於零時,圖 框代入單元52判定在運動補償期間自參考圖框取得之區塊 之底部側之垂直y座標(「區塊之γ」)是否大於底部邊緣之 頂4側之y座標(「邊緣之γ」)(丨56)。若圖框代入單元Μ判 定在運動補償期間自參考圖框取得之區塊之底部側之垂直 Υ座標(「區塊之Υ」)大於底部邊緣之頂部側之y座標(「邊 緣之γ」),則圖框代入單元52為區塊MB(i,N)執行假邊緣 校正(178)。 當與區塊MB(i,N-l)相關聯之運動向量之y分量等於零 時’在運動補償期間自參考圖框取得之區塊之底部側之垂 直y座標(「區塊之γ」)大於底料緣之頂部側之乂座標 (「邊緣之γ」)’或在假邊緣校正之後,圖框代入單元^ 判定變數i是否等於M,其中河為第一列之區塊之數目 (180)。當i不等於心寺,圖框代入單元52將變數丨加叩叫 且以上文所描述之方式處理區塊MB(i,N)。圖框代入單元 52繼續處理底部列中之區塊,直至i等於Μ,亦即,不再 在剩餘的要處理區塊。 子 140007.doc -53- 201002082 圖7為說明圖框代入單元52在像素域中執行假邊緣替換 之實例操作之流程圖。如上文所描述,執行假邊緣假影校 正以校正與假邊緣位置(例如,對應於未存在於參考視訊 圖框内但歸因於運動補償内插而擴散至被代入圖框中之邊 緣的位置)相關聯之邊緣假影。 邊緣假影識別單元6 8最初識別被代入圖框之像素區塊内 之假邊緣位置(190)。如上文詳細地描述,邊緣假影識別單 兀68可使用邊緣之寬度及與區塊相關聯之運動向量之值來 識別假邊緣位置。在(例如)左邊緣之情況下,假邊緣位置 可包括自以開始且結束於一χ之區塊中之像素之 行,其中及X可藉由方程式定義: ⑴ (2) start—x=Left—B—Width+\ end—x=Left—B_width+\+mv 為左邊緣之邊緣寬度,且卿」為與像 其中 素之區塊相關聯之運動向量之乂分量。因而,區塊中之像 素之每一列包括在假邊緣位置内之χ 丨個像素。 假邊緣位置中之像素之總數目等於(♦伽0+i)〜—祕一伽, 其t V 為區塊之垂直尺寸。 假邊緣校正單元72用替換像素值替換假邊緣位置内之像 素之像素值中之每—者。在—個態樣中,假邊緣校正單元 72可藉由„又疋χ座標⑷等於以以?一尤且設定丫座標⑺等於一 來#換假邊緣位置内之像素值〇92)。假邊緣校正單元^判 定假邊緣位置内之像素之替換像素值^(以(194)。假邊 J40007.doc -54- 201002082 緣校正單元72可(例如)使用 處之像素之替換像素值: 以下方程式判定位於位置〇c,y) Ν^)Κπ〇+1,γ)+Ρ4<χ+2,γ))/2,⑺ 其中,為位於代入圖框内之位置 替換像幻直,— 為位於參考圖框中之位
叫)處之像素之像素值,且_心々)為位於 ,考圖框中之位置(e<,+2,y)處之像素之像素值。如上文 所描述’ 及⑽心心)為位於參考圖框 之與代人龍中待替換之像素相同之列中W鄰參考圖框 中之邊緣之像素之像素值。換言之,替換像素值經計算為 分別在參考圖框中之邊緣之後的第—像素及第二像素以 素值(Pref(eW_x+1,y)&Pref(eW—x+2,y))之平均值。假邊緣 校正單元72可使用其他技術判定位於位置㈣)處之像素之 替換像素值,該其他技術諸如由方程式(4)及(5)表示之技 術:
Psub(^5>;)=Pref(e^c/ JC+l,y) 一 — (4) psub〇,少)=(Ki*Pref(ew—州,y)+K2*Pref(ewj+2,州⑺ 其中’ K1及K2為係、數。換言之,方程式⑷表示將邊緣之 後的第一像素之像素值用於每一替換像素,且方程式表 示將像素值之加權和用於替換像素值。 假邊緣杈正單元72用替換像素值替換假邊緣位置内之選 定像素之像素值(196)。假邊緣校正單元72判定X是否等於 ⑽心x(198)。當X不等於⑼穴x(其指示當前列中存在需要被 140007.doc -55- 201002082 替換之像素值)時,假邊緣校正單元72將;c加l(200)且判定 沿該列之下一像素之替換像素值。 若等於(其指示假邊緣位置之列中不存在需要被 替換之剩餘像素值),則假邊緣校正單元”判定少是否等於 垂直維度中之區塊大小⑸)(2G2)。當y不等於垂 直、准度中之區塊大小其指示在至少一其他 仃中存在需要被替換之像素值)時,假邊緣校正單元Μ將7 加1(2〇4)且設定x等於。假邊緣校正單元72接 者判定沿下一列之像素之替換像素值。若少等於 v一(其指示不存在假邊緣位置之需要被替換之剩 餘像素值),則假邊緣校正單元72將經校正之代入圖框之 像素值儲存至輪出圖框缓衝器(208)。 圖8為說明圖框代入單元52在像素域中執行實際邊緣替 :之貫例操作之流程圖。如上文所描述,執行實際邊緣假 影校正以校正與實際邊緣位置(例如,對應於確實存在於 麥考視訊圖框内且亦應存在於被代入圖框 置)相關聯之邊緣㈣。 —邊緣假影識別單元68識別被代人圖框之像素之區塊内之 實際邊緣位置(21〇)。邊緣假影識別單元68可使用參考圖框 中之邊緣之寬度來識別實際邊緣。在(例如)參考圖框内之 左邊緣之情況下,邊緣假影校正可將被代入圖框中之區塊 之像素之最左6一 W山/^數目個行識別為實際邊緣位置。實 IV、邊、'彖替換單元7〇可設定變數χ=1且設定變數尸1,其中义 及少刀別為像素的在x方向及y方向中之位置座標(2丨2)。 140007.doc -56- 201002082 實際邊緣替換單元70設定實際邊緣位置内之像素之像素 值psub(x,少)等於參考圖框内之對應位置處之像素之像素值 pref(x,少)(214)。實際邊緣校正單元7〇判定乂是否等於邊緣寬 度(6一wf心;〇(2丨6)。當x不等於邊緣寬度心幻(其指示實 • &邊緣位置中存在需要被替換之像素值)時,實際邊緣校 正單元70將%加1(218)。實際邊緣校正單元7〇繼續設定實際 . 邊緣位置内之該列像素之像素值等於參考圖框内之對二二 ( ' 置處之像素之像素值,直至x等於邊緣寬度。 當X等於邊緣寬度⑽心幻時,實際邊緣校正單元7〇判 定少是否等於區塊之區塊大小(0/od—hze)(220)。若少不等於 區塊之區塊大小(woc女一 iz’ze)(其指示實際邊緣位置中存在 需要被替換之至少—剩餘像素列),則實際邊緣校正單元 7〇將少加1 (222)且設定x等於一(224)。實際邊緣校正單元7〇 接著判定沿下一列之像素之替換像素值。若少等於 (其指不實際邊緣位置中不存在需要被替換之剩 t/ 餘像素值),則實際邊緣替換單元70將像素值儲存於輸出 圖框緩衝器中(226)。 ® Μ說明圖框代人單元52在壓縮域中執行實際邊緣替 換之實例操作之流程圖。邊緣假影識別單元Μ最初識別代 入圖框内之實際邊緣位置(23〇)。在壓縮域中,實際邊緣位 置可為經識別為包括對應於存在於參考圖框内之邊緣之至 少一個像素之區塊。舉例而言,假定存在沿含有複數個 4X4區塊之圖框之左側之邊緣且邊緣具有七個像素之寬 邊緣假景> 彳貞測模組1 8將前兩行4x4區塊之區塊之每一 140007.doc •57- 201002082 者識別為實際邊緣位置。與像素域(其中僅區塊之像素之 ^7經判定為實際邊緣你罢 、 ”彖位置)不同’認為整個區塊為實 際邊緣位置,即使該區迪之德丰士 、 便Λ〔塊之像素巾之—些實際上残應於 >考圖框之邊緣。在上述實例中,即使第二行的—區塊 2包括對應於存在於參考圖框中之邊緣之三行像素,亦將 正個區塊判定為實際邊緣位置。 只際邊緣校正單元7G設定與實際邊緣假影之區塊相關聯 :運動向量等於零(232)。圖框代人單元52使用與區塊相關 %之運動向量產生經識別為實際邊緣位置之區塊(234)。因 為在假影校正期間將與區塊相關聯之運動向㈣定為零, 所以區塊為參考圖框之對應區塊之複本。 圖10為說明圖框代人單元52在壓縮域中執行假邊緣替換 之貫例操作之流程圖。邊緣假影識別單元68最初識別假邊 彖位置(240)。在壓縮域中,假邊緣位置可為經識別以包括 對應於存在於被代人圖框内(例如,歸因於運動補償内插)
但不存在於參考圖框巾夕;真I 勹El I Τ之邊緣之至少一個像素之區塊。不 將包括對應於參相框巾之實際邊緣之至少—些像素之區 塊分類為假邊緣位置,即使圖框包括假邊緣假影。此係因 為:將在實際邊緣假影校正期間(例如)藉由將區塊之運動 向量設定為等於零而校正區塊中之假邊緣假影。 IV、邊”彖杈正單元70為經識別為假邊緣位置之區塊選擇 圖框内預測模式(242)。圖框代入單心2使用選定圖框内預 測模式執行圖框内預測以產生經識別為假邊緣位置之區塊 ⑽)。為經識別為假邊緣位置之區塊選擇之圖框内預測模 140007.doc -58- 201002082 式可視邊緣之位置而定,例如,邊緣沿圖框之頂部、底 邛左側遇是右側。因為H.264中之圖框内預測需要存在 用於預測之因果性像素(例如,相鄰區塊之像素),所以可 使用不同圖框内預測模式校正不同邊緣位置。 舉例而言,圖框内預測可用於沿圖框之底部(亦即,南 部)或右側定位之邊緣,因為存在彼等4χ4區塊之因果性相 鄰者。然而,對於沿圖框之頂部(亦即,北部)及左側定位 之邊緣,4x4區塊因果性相鄰者為黑色邊緣,且自黑色邊 彖之預測將會使黑色區域擴散至4χ4區塊中。若假邊緣位 置沿圖框之底部或頂部,則可選擇圖框内4χ4垂直模式用 於校正。若假邊緣位置沿圖框之左側或右側,則可選擇圖 框内4x4水平模式用於校正。_,可選擇其他模式用於 校正。 圖11Α至圖lie為說明在壓縮域中之校正之各種階段之 後的代人圖框之圖。圖11Α說明包括在圖框代人期間(例 如,在運動補償期間)產生之邊緣假影之代入圖框。如圖 11Α所說明,代入圖框之兩個區塊包括在圖框内比在其他 位置處延伸得更遠之邊緣。 圖11Β說明在於壓縮域中執行實際邊緣校正之後的代入 圖框。如上文所描述,實際邊緣校正單元7〇可藉由設定與 經識別為實際邊緣位置之區塊相_之運動向量等於零而 校正實際邊緣位置。在於壓縮域中之實際邊緣校正期間, 自參考圖框複製代人圖框中之第—行區塊,使得沿代入圖 框中之第一行區塊之邊緣與參考圖框中之第一行區塊相 140007.doc -59· 201002082 同。然而,如圖11B中所說明,在第二行、第四及第五列 之區塊内仍剩餘假邊緣假影。 為了校正此等假邊緣假影,假邊緣校正單元72為該等區 塊選擇圖框内預測模式。在應用為該等區塊選擇之圖框内 預測模式之後,假邊緣假影經移除以獲得圖11 C中所說明 之代入圖框,其具有大體類似於參考圖框之邊緣之邊緣, 該代入圖框係自該蒼考圖框產生。 本文中所描述之技術可以硬體、軟體、韌體或其任一組 合來實施。描述為模組、單元或組件之任何特徵可一起實 施於積體邏輯裝置中或單獨作為離散但可交互操作之邏輯 裝置。在一些態樣中各種特徵可經實施為積體電路裝置, 諸如積體電路晶片或晶片組。若以軟體來實施,則可至少 部分地由包含當執行時使處理器執行上述方法中之一或多 者的指令之電腦可讀媒體來實現該等技術。 該電腦可讀媒體可形成電腦程式產品之部分,其可包括 包裝材料。電腦可讀媒體可包含電腦資料儲存媒體,諸如 隨機存取記憶體(RAM)、同步動態隨機存取記憶體 (SDRAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體 (NVRAM)、電可擦可程式化唯讀記憶體(EEPROM)、快閃 記憶體、磁性或光學資料儲存媒體及其類似物。替代性或 額外地,可至少部分地藉由電腦可讀通信媒體來實現該等 技術,該電腦可讀通信媒體以指令或資料結構之形式來載 運或傳達程式碼且可由電腦來存取、讀取及/或執行。 程式碼或指令可由一或多個處理器執行,諸如一或多個 140007.doc •60· 201002082 DSP、通用微處理器、ASI(:、 、 琢』私式化邂輯陣列fpga 或其他等效積體或離散邏輯電 囚此,本文中所使用之 術語「處理器」可指代上述結 僻4週於Λ施本文中所描述 之技術的任何其他結構中之任— 者另外,在一些態樣 ’本文所描述之功能性可提供於專用軟龍組或硬體模 組内。本揭示案亦預期包括用以實施本揭示案中描述之技 術的-或多者之電路之多種積體電路裝置中的任—者。此
種電路可提供於單個積體電路晶片中或提供於所謂的晶片 、且中之夕㈤、可父互操作之積體電路晶片中。該積體電路 裝置可用於各種應用中 命耸處 ^ ^^ τ °亥寻應用中之一些可包括在無線 通信裝置(諸如行動電話手機)中之用途。 已描述所揭示之技術之各種態樣。此等及其他態樣係在 以下申請專利範圍之範疇内。 【圖式簡單說明】 圖1為龙明杈正在視訊單元代入期間產生之邊緣假影之 貫例視訊編碼及解碼系統之方塊圖; 圖2Α為說明視訊解碼器中視訊單元之内插之技術之實例 之圖; 圖2 Β為說明視訊解碼器中視訊單元之外插之技術之實例 之圖; 圖3Α為說明包括邊緣之參考視訊圖框之圖; 圖3Β為說明包括邊緣及邊緣假影之代入視訊圖框之圖; 圖4為說明經組態以校正代入視訊單元内之邊緣假影之 視訊解碼器之實例之方塊圖; 140007.doc -61 - 201002082 之邊緣假影之 圖5為說明圖框代入单元校正代入圖框中 實例操作之流程圖; 圖6A及圖6B為說明圖框代入單元枋不 仅正沿經識別之邊緣 之-列及/或-行像素之邊緣假影之實例操作之流程圖; 一圖7為說明圖框代人單元在像素域中執行假邊緣替換之 實例操作之流程圖; 圖8為說明圖框代入單元在像素域中執行實際邊緣替換 之實例操作之流程圖; 圖9為說明圖框代入單元在壓縮域中執行實際邊緣替換 之實例操作之流程圖; —圖10為說明w框代人單元在壓㈣巾執行假邊緣替換之 實例操作之流程圖;及 圖11A至圖11C為說明在壓縮域中之校正之各種階段之 後的代入圖框之圖。 【主要元件符號說明】 10 視訊編碼及解碼系統 12 視訊編碼器 14 視訊解碼器 16 輸入視訊圖框 18 經編碼之視訊圖框 19 傳輸頻道/通信頻道/頻道 20 圖框跳過單元/視訊跳過單元/跳過單 22 圖框速率向上轉換(FRUC)單元 24 所接收之圖框/所接收之視訊圖框 140007.doc -62- 201002082 26 輸出視訊圖框 28 巨集區塊 30 巨集區塊 32 巨集區塊 3 1 巨集區塊 33 巨集區塊 35 巨集區塊 40 爹考視訊圖框/視訊圖框 42 代入圖框/視訊圖框 44 邊緣 46 邊緣 50 解碼單元 52 圖框代入單元 54 輸出圖框緩衝器 58 熵解碼單元 60 反量化單元 62 反變換單元 64 預測單元 66 加法器 68 邊緣假影識別單元 70 實際邊緣校正單元 72 假邊緣校正單元 73 邊緣假影校正單元 140007.doc -63 -

Claims (1)

  1. 201002082 七、申請專利範圍: 1. 一種方法,其包含: 分析一代入視訊單元以識別該代入視訊單元之包括邊 緣假影之位置;及 校正該代入視訊單元之該等經識別位置中之該等邊緣 假影。 2. 如請求項1之方法, 其中分析一代入視訊單元以識別該代入視訊單元之包 "括邊緣假影之位置包含: 識別該代入視訊單元内之包括第一邊緣假影之第一 位置,該等第一邊緣假影與一存在於一參考視訊單元 内且不存在於該代入視訊單元中之邊緣對應; 識別該代入視訊單元内之包括第二邊緣假影之第二 位置,該等第二邊緣假影與一存在於該代入視訊單元 内且不存在於該參考視訊單元内之邊緣對應; I 其中校正該等經識別位置中之該等邊緣假影包含: 使用一第一邊緣假影校正技術校正該代入視訊單元 之該等第一位置中之邊緣假影;及 使用一第二邊緣假影校正技術校正該代入視訊單元 之該等第二位置中之邊緣假影。 3_如請求項2之方法,其中校正該等第—位置及該等第二 位置中之邊緣假影包含在像素域中校正該等第一位置及 該等第二位置中之邊緣假影。 4.如請求項3之方法, 140007.doc 201002082 其中校正該等第一位置中之邊緣假影包含用大體類似 於存在於該麥考視訊單元内之該邊緣之像素值之該等像 素值替換該代入視訊單元之該等第一位置内之像素之像 素值,且 其中校正該等第二位置中之邊緣假影包含用經計算為 鄰近存在於该參考視訊單元中之該邊緣之一或多個像素 值之一平均值之像素值替換該等第二位置内之像素之像 素值。 5.如請求項4之方法,其中替換該代入視訊單元之該等第 位置内之像素之像素值包含以下各項中之一者:用該 芩考視訊單元中之一對應位置内之像素值之一複本替換 «玄代入視sft單元之該等第一位置内之像素之該等像素 值’或用預確定邊緣像素值替換該代入視訊單元之該等 第一位置内之像素之該等像素值。 6·如請求項2之方法,其中校正該等第一位置及該等第二 置中之邊緣假影包含在内插或外插該代入視訊單元之 像素值之前校正該等第一位置及該等第二位置中之邊緣 假影。 ' 7.如請求項6之方法, 其中枚正該等第一位置中之邊緣假影包含: 。又定與該等第一位置之各別區塊相關聯之運動向息 等於零,及 里 使用與該等各別區塊相關聯之該等運動向量針對該 备务位置之該等區塊執行圖框間預測,且 I40007.doc 201002082 其中校正該等第二位置中之邊緣假影包含: 為該代入圖框之該等第二位置之區塊選擇一圖框内 預測模式,及 使用S亥選定圖框内預測模式執行圖框内預測。 如請求項2之方法,其中識別該代入視訊單元内之該等 第一位置包含: 虽存在於該參考視訊單元内之該邊緣係沿該參考視訊 單7L之一左側或一右側時’將該代入圖框之W行像素識 別為該等第一位置;及 田存在於該參考視訊單元内之該邊緣係沿該參考視訊 單7L之一頂部或底部時,將該代入圖框之W列像素識別 為該寻第一位置, 其中W為存在於該參考視訊單元内之該邊緣之一寬 度。 9 _ 如請求項8之t、、土 ^ , ^ 之方法’其中識別該代入視訊單元内之該等 第二位置包含: 當MV兀楚 田 x專於零時’將該代入圖框之鄰近該W行像素 之MVx行像素識別為該等第二位置,其中MVX為該等各 別區塊之該等運 θ 連動向罝之一 X分量;及 田y+專於零時,將該代入圖框之鄰近該w列像素 之MVy列像素識別為該等第二位置,其中為該等各 別區塊之該等 ' 哥建動向罝之一 y分量。 10.如請求項2之f、t 方法,其中識別該代入視訊單元内之該等 第一位置包含: 140007.doc 201002082 計算L=上限(w,N),其中該上限函數輸出聊之一下 一最大整數,其中w為該參考圖框中之該邊緣之一寬 度’且N為沿一 X方向之一區塊大小; 當存在於該參考視訊單元内之該邊緣係沿該參考視訊 單元之一左側或一右側時,將該代入圖框之L行區塊識 別為該等第一位置;及 計算K=上限(W,M) ’其中該上限函數輸出W/M之一下 最大整數’其中W為該參考圖框中之該邊緣之該寬 度’且Μ為沿一 y方向之一區塊大小, 當存在於該參考視訊單元内之該邊緣係沿該參考視訊 單元之一頂部或底部時,將該代入圖框之κ列像素識別 為该等第一位置。 11·如請求項10之方法,其中識別該代入視訊單元内之該等 第一位置進一步包含: 當W為Ν之一倍數時,將鄰近該L行區塊之一行區塊識 別為弟一邊緣位置;及 當W為]VT之一倍數時,將鄰近該Κ列區塊之一列區塊識 別為第一邊緣位置。 12.如請求項1〇之方法,其中識別該代入視訊單元内之該等 第二位置包含: 基於該區塊之一X座標及該邊緣位置之一Χ座標將鄰近 s亥L行區塊之一行區塊之至少一部分識別為第二邊緣位 置;及 基於該區塊之一 y座標及該邊緣位置之一 y座標將鄰近 140007.doc 201002082 該κ列區塊之一列區塊之至少一部分識別為第二邊緣位 置。 1 3.如請求項2之方法, 其中该等第一位置包含實際邊緣位置,且 其中§亥等第二位置包含假邊緣位置。 14· ^咕求項1之方法,其中分析一代入視訊單元以識別該 代入視讯單元之包括邊緣假影之位置包含不識別該代入 視訊單元之包括該邊緣中之像素且不包括邊緣假影之位 置。 15·如睛求項丨之方法,其進一步包含使用運動補償内插及 運動補償外插中之一者來產生該代入視訊單元。 16.如請求項丨之方法,其中該代入視訊單元包含一代入視 δίΐ圖框 '一代入視訊片或一代入視訊區塊中之一者。 1 7. —種設備,其包含: 一邊緣假影識別單元,其分析一代入視訊單元以識別 該代入視訊單元之包括邊緣假影之位置;及 一邊緣假影校正單元’其校正該代入視訊單元之該等 經識別位置中之該等邊緣假影。 18.如請求項π之設備, 其中該邊緣假影識別單元識別該代入視訊單元内之包 括第一邊緣假影之第一位置,該等第一邊緣假影與一存 在於一參考視訊單元内且不存在於該代入視訊單元中之 邊緣對應;且識別該代入視訊單元内之包括第二邊緣假 影之第二位置,該等第二邊緣假影與一存在於該代入視 140007.doc 201002082 訊單元内且不存在於該參考視訊單元内之邊緣對應;且 其中該邊緣假影校正單元使用一第一邊緣假影校正技 術权正該代入視訊單元之該等第一位置中之邊緣假影, 且使用一第一邊緣假影校正技術校正該代入視訊單元之 S亥等第二位置中之邊緣假影。 1 9.如請求項丨8之設備,其中該邊緣假影校正單元在像素域 中校正該等第一位置及該等第二位置中之邊緣假影。 20.如請求項19之設備,其中該邊緣假影校正單元: 用大體類似於存在於該參考視訊單元内之該邊緣之像 素值之該等像素值替換該代入視訊單元之該等第一位置 内之像素之像素值,且 用經β十真為鄰近存在於該參考視訊單元中之該邊緣之 一或多個像素值之一平均值之像素值替換該等第二位置 内之像素之像素值。 21 ·如請求項20之設備’其中該邊緣假影校正單元藉由以下 方式來替換該代入視訊單元之該等第一位置内之像素之 像素值:用該參考視訊單元中之一對應位置内之像素值 之一複本替換該代入視訊單元之該等第一位置内之像素 之该等像素值;或用預確定邊緣像素值替換該代入視訊 單元之該等第一位置内之像素之該等像素值。 22.如請求項18之設備,其中該邊緣假影校正單元在内插或 外插該代入視訊單元之像素值之前校正該等第一位置及 該等第二位置中之邊緣假影。 23 ·如請求項22之設備,其中該邊緣假影校正單元: 140007.doc -6 - 201002082 设定與該等第一位置之各別區塊相關聯之運動向量等 於零,且 使用與該等各別區塊相關聯之該等運動向量針對該等 第一位置之區塊執行圖框間預測,且 為該代入圖框之該等第二位置之區塊選擇—圖框内預 測模式,且 使用該選定圖框内預測模式執行圖框内預測。
    24.如請求項1 8之設備,其中該邊緣假影識別單元: 當存在於該參考視訊單元内之該邊緣係沿該參考視訊 單元之一左側或一右側時,將該代入圖框之w行像素識 別為該等第一位置;且 。當存在於該參考視訊單元内之該邊緣係沿該參考視訊 早7L之-頂部或底部時,將該代人圓框之W列像素識別 為該等第一位置’其切為存在於該參考視訊單元内之 該邊緣之一寬度。 士 β求項24之设備,其中該邊緣假影識別單元: 當MVX不等於零時,將該代入圖框之鄰近該w行像素 之MVX行像素識別為該等第二位置,其中⑽為該等各 別區塊之該等運動向量之一 χ分量;且 田MVy不等於零時,將該代入圖框之鄰近該W列像素 之MVy列像素識別為該等第二位置,其中贿乂為該等各 別區塊之該等運動向量之一 y分量。 26·如請^項18之設備’其中該邊緣假影識別單元: 计异L=上限(W,N) ’其中該上限函數輸出W/n之—下 140007.doc 201002082 最大整數’其中w為該參考圖框中之該邊緣之一寬 度’且N為沿一 X方向之一區塊大小; 當存在於該參考視訊單元内之該邊緣係沿該參考視訊 單元之一左側或一右側時,將該代入圖框之L行區塊識 別為該等第一位置;且 計异K=上限(W,M),其中該上限函數輸出w/M之一下 一最大整數’其中W為該參考圖框中之該邊緣之該寬 度,且Μ為沿一 y方向之一區塊大小, §存在於該參考視訊單元内之該邊緣係沿該參考視訊 單元之一頂部或底部時,將該代入圖框之K列像素識別 為該等第一位置D 27·如請求項26之設備,其中該邊緣假影識別單元: 當W為N之一倍數時,將鄰近該L行區塊之一行區塊識 別為第一邊緣位置·,且 當W為Μ之一倍數時’將鄰近該κ列區塊之一列區塊識 別為第一邊緣位置。 28_如請求項26之設備,其中該邊緣假影識別單元: 基於該區塊之一 χ座標及該邊緣位置之—χ座標將鄰近 該L行區塊之一行區塊之至少一部分識別為第二邊緣位 置;及 基於該區塊之一 y座標及該邊緣位置之—y座標將鄰近 該K列區塊之一列區塊之至少一部分識別為第二邊緣位 置。 2 9.如請求項1 8之設備, 140007.doc 201002082 其中該等第一位置包含實際邊緣位置,且 其中該等第二位置包含假邊緣位置。 3 0.如請求項18之設備,其中該邊緣假影識別單元不識別該 代入視訊單元之包括該邊緣中之像素且不包括邊緣假影 之位置。 3 1 ·如請求項1 8之設備,其進一步包含使用運動補償内插及 運動補償外插中之一者來產生該代入視訊單元。 32.如請求項18之設備,其中該代入視訊單元包含一代入視 訊圖框、一代入視訊片或一代入視訊區塊中之一者。 3 3 _如請求項丨8之設備,其中該設備包含一無線通信裝置。 3 4.如請求項丨8之設備,其中該設備包含一積體電路。 35_ —種電腦可讀媒體,其包含當執行時使至少一個處理器 執行以下操作之指令: 分析一代入視訊單元以識別該代入視訊單元之包括邊 緣假影之位置;及 校正該代入視訊單元之該等經識別位置中之該等邊緣 假影。 36·如請求項35之電腦可讀媒體, 其中用以分析一代入視訊單元之指令包含用以執行以 下操作之指令: 識別該代入視訊單元内之包括第一邊緣假影之第一 位置,該等第一邊緣假影與一存在於一參考視訊單元 内且不存在於該代入視訊單元中之邊緣對應; 識別該代入視訊單元内之包括第二邊緣假影之第二 140007.doc 201002082 位置’ S亥#第二邊緣假影與一存在於該代入視訊單元 内且不存在於該參考視訊單元内之邊緣對應; 其中用以校正該等經識別位置中之該等邊緣假影的指 令包含用以執行以下操作之指令: 使用一第一邊緣假影校正技術校正該代入視訊單元 之該等第一位置中之邊緣假影;及 使用一第二邊緣假影校正技術校正該代入視訊單元 之該等第二位置中之邊緣假影。 37.如請求項36之電腦可讀媒體, 其中使該處理器校正該等第一位置中之邊緣假影之指 令包含使該處理器用大體類似於存在於該參考視訊單元 内之忒邊緣之像素值之該等像素值替換該代入視訊單元 之該等第一位置内之像素之像素值之指令,且 _-、中使5亥處理器校正該等第二位置中之邊緣假影之指 令包含使該處理器用經計算為鄰近存在於該參考視訊單 兀中之該邊緣之-或多個像素值之—平均值之像素值替 換该等第二位置内之像素之像素值之指令。 3 8.如請求項36之電腦可讀媒體, 其中使該處理器校正該等第一位置中之邊緣假影之指 令包含使該處理器執行以下操作之指令: 日 设定與該等第_位置之各別區塊相關聯之運 等於零,及 使用與該等各別區塊相關聯之該等運動向量針對該 等第一位置之區塊執行圖框間預測,且 140007.doc -10- 201002082 其中校正該等第二位置中之邊緣假影包含: 為該代入圖框之該等第二位置之區塊選擇一圖框内 預測模式,及 使用該選定圖框内預測模式執行圖框内預測。 39.如請求項36之電腦可讀媒體,其中使該處理器識別該代 入視訊單元内之該等第一位置之指令包含使該處理器執 行以下操作之指令: 當存在於該參考視訊單元内之該邊緣係沿該參考視訊 單元之一左側或一右側時,將該代入圖框之…行像素識 別為§亥寻第一位置;及 當存在於該參考視訊單元内之該邊緣係沿該參考視訊 單兀之一頂部或底部時,將該代入圖框之w列像素識別 為该寺弟-位置, 其中W為存在於該參考視訊單元内之該邊緣之一寬 度。 ^ 40·如請求項36之電腦可讀媒體,其中使該處理器識別該代 入視訊單元内之該等第二位置之指令包含使該處理器執 行以下操作之指令: 田MVx不等於零時’將該代入圖框之鄰近該w行像素 之MVX行像素識別為該等第二位置,其中MVx為該等各 別區塊之該等運動向量之一 χ分量;及 當MVy不等於零時,將該代入圖框之鄰近該w列像素 之MVy列像素識別為該等第二位置,其中MVy為該等各 別區塊之該等運動向量之一 y分量。 140007.doc 201002082 其中使該處理器識別該代
    行以下操作之指令: 41 ·如請求項3 6之電腦可讀媒體
    度’且N為沿一 X方向之一區塊大小.
    別為該等第一位置;及
    度’且Μ為沿一 y方向之一區塊大小, 當存在於該參考視訊單元内之該邊緣係沿該參考視訊 單元之一頂部或底部時,將該代入圖框之κ列像素識別 為該等第一位置。 42‘如请求項4丨之電腦可讀媒體,其中使該處理器識別該代 入視§Κ單元内之該等第一位置之指令進一步包含使該處 理器執行以下操作之指令: 當W為Ν之一倍數時,將鄰近該l行區塊之一行區塊識 別為苐一邊緣位置;及 當W為Μ之一倍數時,將鄰近該Κ列區塊之一列區塊識 別為弟一邊緣位置。 43.如請求項42之電腦可讀媒體’其中使該處理器識別該代 入視訊單元内之該等第二位置之指令包含使該處理器執 140007.doc -12- 201002082 行以下操作之指令: 基於該區塊之一 X座標及該邊緣位置之—χ座標將鄰近 該L行區塊之一行區塊之至少一部分識別為第二邊緣位 置;及 基於該區塊之一 y座標及該邊緣位置之—y座標將鄰近 該K列區塊之一列區塊之至少一部分識別為第二邊緣位 置。 44. 一種裝置,其包含: 分析構件,其分析一代入視訊單元以識別該代入視訊 單元之包括邊緣假影之位置;及 杈正構件,其校正該代入視訊單元之該等經識別位置 中之6亥荨邊緣假影。 4 5 ·如請求項4 4之裝置, 其中該分析構件識別該代入視訊單元内之包括第一邊 緣假衫之第一位置,該等第一邊緣假影與一存在於一參 考視訊單元内且不存在於該代入視訊單元中之邊緣對 應;且識別該代入視訊單元内之包括第二邊緣假影之第 二位置’該等第二邊緣假影與一存在於該代入視訊單元 内且不存在於該參考視訊單元内之邊緣對應;及 其中該校正構件使用一第一邊緣假影校正技術校正該 代入視訊單元之該等第一位置中之邊緣假影;且使用一 第一邊緣假影校正技術校正該代入視訊單元之該等第二 位置中之邊緣假影。 46.如請求項45之裝置,其中該校正構件: 140007.doc -13· 201002082 用大體類似於存在於該參考視訊單元内之該邊緣之像 素值之該等像素值替換該代入視訊單元之該等第—位复 内之像素之像素值,且 用經計算為鄰近存在於該參考視訊單元中之該邊緣支 一或多個像素值之一平均值之像素值替換該等第二位复 内之像素之像素值。 47·如請求項45之裝置,其中該校正構件: 设定與該等第一位置之各別區塊相關聯之運動向旦 於零,且 使用與該等各別區塊相關聯之該等運動向量針對該等 第一位置之區塊執行圖框間預測,且 為該代入圖框之該等第二位置之區塊選擇—圖框内預 測模式,且 、 使用該選定圖框内預測模式執行圖框内預測。 48.如請求項45之裝置,其中該分析構件: 當存在於該參考視訊單元内之該邊緣係沿該參考視訊 單元之—左側或一右側時,將該代入圖框之1W行像素識 別為該等第一位置;且 田存在於該參考視訊單元内之該邊緣係沿該參考視訊 單元之一頂部或底部k ’將該代入圖框之w列像素識別 為該等第一位置, 其中W為存在於該參考視訊單元内之該邊緣之/寬 度。 49.如請求項48之裝置,其中該分析構件: 140007.doc -14- 201002082 田MVX不等於零時,將該代入圖框之鄰近該貨行像素 之鮮X行像素識別為該等第二位置,其中Μνχ為該等各 別區塊之該等運動向量之一 X分量;及 田MVy不等於零時,將該代入圖框之鄰近該W列像素 之MVy列像素識別為該等第二位置,其中MVy為該等各 別區塊之該等運動向量之一 y分量。 5〇.如請求項判之装置,其中該分析構件: (\ 5十异L—上限(W,N),其中該上限函數輸出W/N之一下 最玉數其中W為該參考圖框中之該邊緣之一寬 度,且N為沿一 x方向之一區塊大小; 田存在於5亥苓考視訊單元内之該邊緣係沿該參考視訊 早凡之一左側或—右側時,將該代入圖框之L行區塊識 別為該等第一位置;且 叶异K=上限(w,M) ’其中該上限函數輸出W/M之一下 取大整數,其中w為該參考圖框中之該邊緣之一寬 y 度,且M為沿一y方向之一區塊大小, 虽存在於S亥芩考視訊單元内之該邊緣係沿該參考視訊 早7L之一頂部或底部時,將該代入圖框之尺列像素識別 為该等第一位置。 5 1.如請求項50之裝置,其中該識別構件: § \¥為N之一倍數時,將鄰近該L行區塊之一行區塊識 別為第一邊緣位置;及 當W為Μ之一倍數時,將鄰近該K列區塊之一列區塊識 別為第一邊緣位置。 140007.doc -15- 201002082 52 ,如請求項50之裝置,其中該識別構件·· 基於該區塊之η座標及該邊緣位置之1座標將鄰近 仏丁區塊之一行區塊之至少-部分識別為第二邊緣位 置;及 基於該區塊之一 y座標及該邊緣 < %证置之—y座標將鄰近 該K列區塊之一列區塊之至少— 丨刀識別為第二邊緣位 置。 I40007.doc -16-
TW098113545A 2008-04-23 2009-04-23 Boundary artifact correction within video units TW201002082A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US4738108P 2008-04-23 2008-04-23
US12/395,244 US8208563B2 (en) 2008-04-23 2009-02-27 Boundary artifact correction within video units

Publications (1)

Publication Number Publication Date
TW201002082A true TW201002082A (en) 2010-01-01

Family

ID=41215005

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098113545A TW201002082A (en) 2008-04-23 2009-04-23 Boundary artifact correction within video units

Country Status (7)

Country Link
US (1) US8208563B2 (zh)
EP (1) EP2292004B1 (zh)
JP (1) JP5123427B2 (zh)
KR (1) KR101197506B1 (zh)
CN (1) CN102017615B (zh)
TW (1) TW201002082A (zh)
WO (1) WO2009132145A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
KR101500324B1 (ko) * 2008-08-05 2015-03-10 삼성디스플레이 주식회사 표시 장치
JP5238523B2 (ja) * 2009-01-13 2013-07-17 株式会社日立国際電気 動画像符号化装置、動画像復号化装置、および、動画像復号化方法
JP2010258741A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
US9713751B2 (en) 2009-05-29 2017-07-25 Acushnet Company Wedge type golf club head
US8665367B2 (en) * 2010-01-29 2014-03-04 Sharp Laboratories Of America, Inc. Video resolution enhancement technique
US8648870B1 (en) * 2010-08-02 2014-02-11 Adobe Systems Incorporated Method and apparatus for performing frame buffer rendering of rich internet content on display devices
US9008180B2 (en) 2011-04-21 2015-04-14 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering
US10659724B2 (en) * 2011-08-24 2020-05-19 Ati Technologies Ulc Method and apparatus for providing dropped picture image processing
US10110893B2 (en) 2011-09-09 2018-10-23 Thomson Licensing Method and device for calculating distortion of a video being affected by compression artifacts and channel artifacts
EP2774360B1 (en) * 2011-11-04 2017-08-02 Huawei Technologies Co., Ltd. Differential pulse code modulation intra prediction for high efficiency video coding
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
USD773574S1 (en) 2015-02-12 2016-12-06 Acushnet Company Wedge golf club set
CA3039466A1 (en) * 2015-10-08 2017-04-13 Sharp Laboratories Of America, Inc. Systems and methods for reducing artifacts in temporal scalable layers of video
FI20165256L (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
US10354394B2 (en) 2016-09-16 2019-07-16 Dolby Laboratories Licensing Corporation Dynamic adjustment of frame rate conversion settings
DE102016221204A1 (de) * 2016-10-27 2018-05-03 Siemens Aktiengesellschaft Bestimmung mindestens eines genäherten Zwischendatensatzes für eine Echtzeitanwendung
KR101819193B1 (ko) * 2016-11-17 2018-01-16 (주)판도라티비 실시간 파일 포맷 변환 스트리밍 서비스 방법
USD829837S1 (en) 2017-03-01 2018-10-02 Acushnet Company Wedge golf club
WO2018194040A1 (ja) * 2017-04-17 2018-10-25 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、記録装置および記録方法
US10977809B2 (en) 2017-12-11 2021-04-13 Dolby Laboratories Licensing Corporation Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
CN111771377B (zh) * 2018-01-30 2024-09-20 松下电器(美国)知识产权公司 编码装置
US11140407B2 (en) * 2018-02-08 2021-10-05 Apple Inc. Frame boundary artifacts removal
US11146810B2 (en) * 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
CN113383548A (zh) 2019-02-03 2021-09-10 北京字节跳动网络技术有限公司 Mv精度和mv差编解码之间的相互作用
EP3909239A4 (en) * 2019-02-14 2022-04-20 Beijing Bytedance Network Technology Co., Ltd. SELECTIVE SIZE APPLICATION OF DECODER SIDE REFINING TOOLS
US20220148133A1 (en) * 2019-03-25 2022-05-12 Sony Interactive Entertainment Inc. Image display control device, transmitting device, image display control method, and program
WO2020219039A1 (en) * 2019-04-24 2020-10-29 Hewlett-Packard Development Company, L.P. Displays with pixels coupled by beam splitters

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5721822A (en) * 1995-07-21 1998-02-24 Intel Corporation Run-length encoding/decoding video signals using scan patterns explicitly encoded into bitstreams
US6480632B2 (en) * 1998-12-03 2002-11-12 Intel Corporation Method and apparatus to interpolate video frames
US6760378B1 (en) * 1999-06-30 2004-07-06 Realnetworks, Inc. System and method for generating video frames and correcting motion
EP1422928A3 (en) 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
JP2005056275A (ja) * 2003-08-06 2005-03-03 Nec Corp 携帯端末用文字入力装置、携帯端末用文字入力方法、携帯端末
US7881376B2 (en) * 2004-05-14 2011-02-01 Panasonic Corporation Motion compensation apparatus
US20060233253A1 (en) * 2005-03-10 2006-10-19 Qualcomm Incorporated Interpolated frame deblocking operation for frame rate up conversion applications
EP1950964A4 (en) * 2005-11-07 2012-05-16 Sharp Kk IMAGE DISPLAY DEVICE AND METHOD
JP4303748B2 (ja) * 2006-02-28 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
US9025673B2 (en) * 2006-04-05 2015-05-05 Qualcomm Incorporated Temporal quality metric for video coding
EP1843587A1 (en) * 2006-04-05 2007-10-10 STMicroelectronics S.r.l. Method for the frame-rate conversion of a digital video signal and related apparatus
US20080025390A1 (en) * 2006-07-25 2008-01-31 Fang Shi Adaptive video frame interpolation
JP5008431B2 (ja) * 2007-03-15 2012-08-22 キヤノン株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
KR101197506B1 (ko) 2012-11-09
CN102017615A (zh) 2011-04-13
US8208563B2 (en) 2012-06-26
JP2011519228A (ja) 2011-06-30
WO2009132145A1 (en) 2009-10-29
JP5123427B2 (ja) 2013-01-23
EP2292004B1 (en) 2018-09-05
KR20100137009A (ko) 2010-12-29
CN102017615B (zh) 2013-06-12
US20090268823A1 (en) 2009-10-29
EP2292004A1 (en) 2011-03-09

Similar Documents

Publication Publication Date Title
TW201002082A (en) Boundary artifact correction within video units
KR100964526B1 (ko) 전환 효과를 위한 멀티미디어 코딩 기술
CN103813174B (zh) 一种混合分辨率编解码方法和装置
JP5918328B2 (ja) 画像符号化方法及び画像復号方法
TW201010442A (en) Offsets at sub-pixel resolution
TW200830883A (en) Block information adjustment techniques to reduce artifacts in interpolated video frames
TW200426713A (en) Method and apparatus of adaptive de-interlacing of motion image
TW200920143A (en) Adaptive reference picture data generation for intra prediction
TW201108742A (en) Video decoding using temporally constrained spatial dependency
WO2005018239A1 (ja) 動画像符号化方法および動画像復号化方法
KR20080041745A (ko) 동화상 부호화 방법 및 동화상 복호화 방법
JP2008219876A (ja) 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置
WO2017005141A1 (zh) 参考图像编码和解码的方法、编码设备和解码设备
TW201204054A (en) Techniques for motion estimation
JP2012151576A (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP2007221697A (ja) 画像復号化装置及び画像復号化方法
JP4222274B2 (ja) 符号化モード選択装置及び符号化モード選択プログラム
US20180124376A1 (en) Video decoding device and image display device
WO2011122659A1 (ja) 符号化装置および復号装置
Vyas et al. Error concealment techniques using intra-modes and weighted interpolation in H. 264 decoder
Sugiyama et al. Related pre and post-processing for all-intra and inter-picture coding
JP5421739B2 (ja) 動画像符号化装置、動画像復号化装置、および、動画像符号化方法
Koduri Fast implementations of block motion estimation algorithms in video encoders
JPWO2008120330A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体