TW200939790A - Method and system for processing B pictures with missing or invalid forward reference pictures - Google Patents

Method and system for processing B pictures with missing or invalid forward reference pictures Download PDF

Info

Publication number
TW200939790A
TW200939790A TW097138923A TW97138923A TW200939790A TW 200939790 A TW200939790 A TW 200939790A TW 097138923 A TW097138923 A TW 097138923A TW 97138923 A TW97138923 A TW 97138923A TW 200939790 A TW200939790 A TW 200939790A
Authority
TW
Taiwan
Prior art keywords
image
sequence
state
video
picture
Prior art date
Application number
TW097138923A
Other languages
English (en)
Other versions
TWI493976B (zh
Inventor
Zhijie Yang
Xuemin Chen
Original Assignee
Broadcom Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Broadcom Corp filed Critical Broadcom Corp
Publication of TW200939790A publication Critical patent/TW200939790A/zh
Application granted granted Critical
Publication of TWI493976B publication Critical patent/TWI493976B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

200939790 ;·、發明說明: 【發明所屬之技術領域】 本發明涉及視㈣贿理,更具體地說,涉及—種對且有 缺失或無效前向參照_ B圖像進行處理的方法和系統。、 【先前技術】 ^有的各種_方式,包括細_P2,都會針對當前視頻 圖像生成能夠顯示出當前視_像與參照視頻圖像之間區別 的趟。AVS1.P2是由㈣音·編碼標準工雜建立的一種 視頻標準。該工作組由隸胁_資訊絲部的科學與技術司 於2002年6月授權成立。該工作組的主要角色就是負責建立 (或編輯)此類用於數字音視頻資料的壓縮、解碼、處理以及 表徵的通用技術標準。該標準可用于高精度數位廣播、高密度 錯射數位存齡質、鱗寬料舰軌以及因铜寬帶流ς 體。 、 在AVS1-P2標準中存在有三種基本的圖像格式:内⑴ 圖像、預測(Ρ)圖像以及雙向預測⑻圖像。這種分類方 式是早期鮮巾的I、Ρ以及Β圖像概念在魏性上的延續。ρ 圖像編碼是湘前向圖像作爲酬,而Β像圖的編碼方式則 是採用前向或後向或雙向預測。 與早期鮮相似,AVS1-P2同樣利用序列頭作爲諸如頻道 切換等特徵的隨機訪問點(RAP)。在序列頭之後,ρ圖像只 能參照位於該序列頭之後的圖像,而Β圖像卻可以參照位於 該序列頭之前的圖像。用於參照的視頻圖像可以是當前圖像的 200939790 前向視顯像和/或後向視麵像。細,如果驗麵 向圖像遭到損壞,那麽對讀__賴作縣法妨。 比較本發續將要結合_介紹㈣統,現有技街的盆 他局限性轉簡於本财術人縣說是顯而易^ 的0 【發明内容】
本發明提供了—種對具有缺失或無效前向參考圖像的B 圖像進行處_方法㈣統,結合封—_難行了充分的 展現和描述,並在權利要求中得到了更完整的閣述。 根據本發卿—财面,本發供了-種視頻信號處理 方法’所述方法包括: 、在接收到_視頻資料中的序列頭之後,判斷在所述塵縮 視頻貝料中的第—個〗圖像之後是否緊跟有—B圖像相鄰序 列;
、,根據所述判斷對所述B圖像相鄰序列進行解碼,其中, 所述解碼#作對_編輯觸和/或賴訪問點巾的—者或兩 者進行處理。 憂選也戶斤述方法進—步包括:將判斷爲緊跟所述第—個 1圖像^翻B圖像购序财的每個B圖像棄除。 ' 所述方法進—步包括:當所述B圖像相鄰序列 ^的每個B圖像所參照的前向參考圖像是無效的或者缺失 ^棄除所❹圖像相鄰相巾的每個B圖像。 優選地,所述方法進—步包括:當所述B圖像相鄰序列 5 200939790 中的每個B圖像所參照的前向參考圖像是無效的或者缺失 時,插補與所述B圖像相鄰序歹中的每個β圖像相對應的解 碼圖像。 優選地,當所述刖向參考圖像無效但可用時,所述插補操 作使用如下演算法進行: 、 ((m+1 解碼的前向參考圖像)+(n/(m+1))*(經 解碼的後向參考圖像), 其中,參數“m”是所述B圖像相鄰序列中B圖像的數 量,參數‘V,是所述B圖像的基於丨的索引。 優選地’當所述前向參考圖像缺失時,所述插補操作使用 如下演算法進行: (n/(m+1))* (經解碼的後向參考圖像), 日其中,參數“m”是所述b圖像相鄰序列中B圖像的數 畺,參數“η”是所述B圖像的基於i的索引。 根據本發個方面’本㈣提供了 —種麵信號處理 方法,所述方法包括: ▲在第一狀態中檢測到AVS1_P2格式的視頻編輯代碼或隨 機訪問指示後,從第一狀態轉換到第二狀態; 在第二狀態中檢測I圖像、P圖像、B圖像或視頻編輯代 碼其中之一後,轉換到出錯狀態; 1在第一狀態中檢測到AVS1-P2格式的視頻編輯代碼或隨 機訪問指示後隨即在第二狀態下檢測到序列頭後,轉換到 狀態; 200939790 卿ίΠ、中檢測到p圖像、B圖像、視頻編輯代碼或序 列頭其中之一後,轉換到出錯狀態; 在第三狀態中檢測到1圖像後,轉換到第四狀離. ί細狀態中檢肺圖像或PW像後.辦1狀態; =四中檢測到對前向參考圖像進行參照的Β圖像 後,轉換到第五狀態; ❿ ❹ 到第狀態中檢測到1圖像或Ρ圖像其中之—後,轉切換 鎌=五Γ議測到未參照前向參考圖像的β圖像後, 轉換到第四狀態。 此叙k地所述方法進-步包括:棄除在所述第四以及第五 狀態中檢測到的每個B圖像。 :丨優雜i所述方法進—步包括:棄除在所述第五狀態中檢 測到的參知、韵向參考圖像的B圖像。 優選地,所述方法進-步包括:當所述前向參考圖像益效 或缺失時’插補與所述第四或第五狀態中檢測到的 對應的解碼圖像。 優選地,當所述前向參考圖像無效但可用時 作使用如T演算紐行: _ ((m休ny㈣))%經解碼的前向參考圖像)+(1伽 解碼的後向參考圖像), 其中,參數“m”是所述B圖像相鄰序列中B圖像的 量,參數“η”是所述B圖像的基於丨的索引。 200939790 如下=_參考圖像缺失時’所述_操_ (n/(m+l))* (經解瑪的後向參考圖像), 其中,參數“m”是所述B圖像相鄰序列中 量’參數V是所述B圖像的基於丨的料。 、數 根據本發_-個方面,本發明提供了― 系統,所述系統包括: 用於判咖縮視頻資料中的第-個1 圖像之後疋否緊跟有一B圖像相鄰序列,並根據所述判斷對 所述B圖像相鄰序列進行解石馬,其中,所述解碼操作對 編輯代碼和/或隨機訪問點中的—者或兩者進行處理。 優選地’所述-個或多個電路將判_緊跟所述第一個I 圖像之後的B圖像相鄰序列中的每個β圖像棄除。 優選地,所述—個或多個電路用於當所述B圖像相鄰序 歹J中的每個Β ®像所參照的麵參相像是無效的或者缺失 時,棄除所述關像相鄰序列中的每個B圖像。 優選地,所述-個或多個電路用於當所述B圖像相鄰序 列十的每個B目像所參照的麵參相像a纽的或者缺失 時,插補與所述B圖像相鄰序列中的每個請象相對應的解 碼圖像。 優選地’所述-個或多個電路包括一個威多細於實現解 ^像的插補的處理器’其令,當所迷前命參考圖像無效但可 用時,所述插補操作使用如下演管法進/一. 200939790 ((m+l-n)/(m+l))*(經解碼的前向參考圖像)+(__))*(經 解碼的後向參考圖像), 其中’參數“m”是所述B圖像相鄰序列中B圖像的數 量,參數“η”是所述B圖像的基於丨的索引。 地所述一個或多個電路包括一個或多個用於實現 解碼圖像的插補的處理器,其中,當所述前向參考圖像缺失 時,所述插補操作使用如下演算法進行: ❹ ❹ (n/(m+l))* (經解碼的後向參考圖像), 其令,參數“m”是所述B圖像相鄰序列中B圖像的數 量’參數‘V’是所述B圖像的基於丨的索引。 根據本發_—個方面,—種視驗號處理方法包括:生 成- B圖像相鄰序列,使得當所述B圖像相鄰序列中生成的 某個B圖像指示爲沒有參照前向參考圖料,所述B圖像相 祕列中的在魏B _像之後的其他B _像也指示爲沒有表 照所述前向參相像,其中,所述B轉相鄰序列是緊隨序 列頭之後的第-個像後生成的。 八 、,據本發明的—個方面,一種視頻信號處理系統包括··一 圖^路肖於生成一B圖像相鄰序列,使得當所述b 财生成的某個B 81像細爲沒有參照前向參考 =^^^_相鄰序财的在·Β圖像錢 傻細;Tf文有參照所述前向參考圖像,其中,所述Β圖 本表日列是緊隨序列頭之後的第一個I圖像後生成的。 I明的各種優點、各個方面和創新特徵,以及其中所示 200939790 例的實施例的細節’將在以下的描述和附圖中進行詳細介紹。 【實施方式】 本發明的-些實_涉及對具有無I躲失前向參考圖 像(forward reference picture)的B圖像進行處理的方法和系 〇 統。本發明包括對相鄰序列的B圖像進行解碼,其t,所述B 圖像緊跟序列頭之後的第-個ί圖像出現。對所邮圖像進行 的解碼可處理視頻編輯代碼,例如,針對Avsl_p2格式的視 頻資料’和/或隨機訪問點。視頻編輯代碼可包括,例如,盘 緊隨B圖狀後妓财無_前够相财_資訊。、 賴訪_上的棚__職例如相顧始,此處前向 參考圖像尚未解碼。相應地,該前向參考圖像也有可能缺失。 〇 本發明的-些實施例可實現對跟隨序_的第—俯圖像 之後的相鄰B圖像序财的每個B圖像的棄除。其他實施例 可實現對所述相鄰B圖像序列中的每個B圖像的前向表考圖 像^缺失或無效進行觸。因此,若該B圖像表明其參昭 ^效或缺失的前向參相像’ _ B圖像被棄除。本發明 實施例可實現根據前向參考圖像和後向參考圖像 (baCkWardreferencepicture)對b 圖像進行插補 ^
於無效的前向參相像,用於對相鄰序财的兩個B (2/3州的第—個Β圖像進行插補的解碼圖像描述如下· )、、里解碼的前向參考圖像),,(經解碼的後 像)。相似地,對於益 义 ^ 圖像中的第-個,用於對相鄰序列B 弟-個B圖像進仃插補的解碼圖像描述如下·· 10 200939790 .(1/3)*(、轉碼簡向參考經解碼_ ^ .心如果經解前向參考圖像缺失,例如,發生隨機^ -^ ’第—個Β圖像被插補爲:⑽*(經解碼的後向參考圖°, 第二個=圖像被插補爲:(2/3)*(經解碼的後向參考圖像)。 、二V納可以得晰軸參照無猶向參相像㈣圖像 的插補爲:((m+l_n)/(m+1))*(經解碼的前向參考圖 像)+(n/(m+l)m解碼的後向參考圖像),對每個參照缺失的前 ❹ 向參相像的B ®像的插補爲:(n/(m+l))* (轉碼的後向參 照圖)。其中,參數“m,,表示3圖像相鄰序列㈣b圖像的 個數,參數‘V表示B圖像在該序列中的位置。例如,對於 第一個B圖像來說,n=1,第二個3圖像的㈣,依次類推。 —圖1是本發明-實施例中移動終端的部分結構框圖。圖中 不出移動終端100。如圖i所示,移動終端1〇〇包括圖像感洌 n no:圖像處理器112、處理器114以及記憶體ιΐ6。其中圖 像感測H 110可包括適當的用於腿各種彦員色光強度的電路 和/,邏輯器件,比如,紅色、綠色和藍色。所述接收到的光 強等級將被處理成視頻和/或靜態圖像輸出。例如,這些顏色 等級將被轉換到YUV色彩空間,産生的圖像資訊將會被傳送 到例如圖像處理器112進行進一步處理。 圖像處理i 112可包括賴進行視頻資訊纽的適當的 電路和/或邏輯器件。圖像處理器m還包括視頻編碼器⑽ 以及視頻解瑪器112b。其中’視頻編碼器ma可包括能夠進 打視頻資料壓縮的適當的邏器件、電路和/或代碼。視頻解 200939790 碼抑112b可包括能夠將視頻資料進行解壓 器件、電路和/或代碼。處理器114將會決定整個的邏輯 各部分的運賴。例如,處理㈣可=處移=⑽ 设立貧料寄存n用來實現將視㈣料通過直接記^存 移到讀、體116處。處理器還可通過傳送指令給圖 n〇來啓動圖像捕捉。記憶體116肖於存儲1測裔 處理並傳送的圖像資料。記憶魏還可用; ❹ 祕卿峨1("的實現其舰 =用_讀。例如’記憶體! 16還可存館語音通訊的對應 在運仃中’處理器114通過圖像感測器11〇啓動 ❹ =能,_請可將與捕捉到的圖像婦應的 專送到圖像處理器112。圖像處理器112中視頻柄器心 可將視頻資料進行_以便於將料存儲或傳送到料設 備。圖像處理器U2還可將傳送到移動終端應的視頻資料進 痛碼。所述解碼操作可通過視頻解碼器而實現,轉碼 3有可處理具有κ或缺失前向參考圖像的B圖像的處 理方法。對具有無效或缺失前向參相像的B圖像的處理過 程將會在圖域6中進行描述。記賴Μ㈣視頻資料將 會被處理器114進一步處理。 2a是結合本發明—實施例使用中的視頻圖像隨機訪問 的示思圖圖中不出可供解碼顯示的視頻資訊序列·,其中 的Ik機關點爲序觸训。由於包括娜脳、碰卿以及 12 200939790 j\y οι-rz 像來生鑛㈣树考圏 始點咖來實。够,— =^括_⑴圖像、雙向預測⑻圖像以及預測⑺
園俅匕3有用於圖像顯示的完整資訊。ρ圖像包含了 或Ρ參考圖像與當圖像之間的區別資訊。㈣伽 w 了在刖的I或Ρ參考·與當前"像之間的區別資訊, 也包含了之後的I或Ρ參考圖像與#前ρ圖像之間的區別資 訊。由於Ρ ®像或Β雜可能需要參照在其麵示的ρ 圖=或Β圖像,編碼的視頻文件可包含序列外的圖像,因此 當前圖像可參照已經解碼的後一圖像。 ❿ 如圖2a所示,包含有用於對壓縮視頻資料進行解碼操作 的相關資訊的序列頭210是視頻資訊2〇〇的起始點。該序列頭 210可包括’例如’解壓視頻圖像的寬度和高度資訊。緊跟序 列頭210的視頻圖像包括:j圖像212、b圖像214和216、P 圖像218以及B圖像220和222。圖中還示出了用於b圖像 214和216進行參照的來自前一視頻序列的參考圖像205。 由於一個圖像在顯示時需要參照與之相關的一個或多個 其之後的圖像,因而所採用的壓縮方法可壓縮後一圖像益將該 後一圖像放置在參照該後一圖像的P/B圖像之前的文件中。例 如’雖然該視頻資訊序列200中的圖像傳送按如下方式進行: I圖像212、B圖像214、B圖像216、P圖像218、B圖像220 13 200939790 和B圖像222 ’但這些圖片的顯示順序卻不一樣,比如:先是-B圖像214,然後B圖像216、ί圖像212、B圖像220、B圖. 像222以及Ρ圖像218。 , 在一些情況下’移動終端1〇〇中的用戶可能會要求從視頻 的一個隨機訪問點而非視頻文件的起始點開始顯示。例如,用 戶可能希望從視綱始的某賴偏移賴始觀看視頻。在這種 情況下’細顯示包含了對起始洲戶所選擇時_附近的_ 個序列頭的資料的處理,例如,從序列頭21〇開始。被選擇作 爲隨機訪問點的序列頭取決於設計。該序列頭可包括供視頻解 〇 碼器112b進行正確解壓操作的有用資訊。ρ圖像218可參照 視頻序列200 _序列頭21〇之後的的其他圖像。然而,b圖像 2M以及216可參照序列頭21〇之前的前一視頻序列中的參考 圖像205,也可參照後向參考圖像a〗。 因此’由於待賴的部分視頻需要參照參考圖像205,因 而B圖像214和216的解壓操作將無法正確進行。然而,由 於B圖像不用於ί圖像或B圖像的參照,纏後❹圖像214 和216巾的任何僞像都將只存在於Β圖像214和216中。 霉 圖沘是本發明-實施例中編輯視頻圖像的效果示意圖。 圖中示出待解壓顯示的視頻資訊25〇。例如,視頻資訊25〇可 包括第-序列頭260、Ϊ圖像262、B圖像辦和施、p圖像 268、B圖像270和272、視頻蝙輯代喝(VEC)別、第二序 列頭276、!圖像278以及B圖像咖和观。視頻資訊25〇 的解壓後的圖像將按如下順序進行顯示:先是B圖像说,缺 14 200939790 . 後是B圖像266、1圖像262、B圖像270、B圖像272、P圖 • 像268、B圖像280、B圖像2 82以及I圖像278。 ' 序列頭260以及2%、圖像262...272以及278..·282與圖 2a中所描述的對應部分相似。視頻編輯代碼274被諸如由中 國音視頻編碼標準工作組制定的AVS1_p2等標準所採用。可 選的視頻編輯代碼用於表明緊跟j圖像後的連續B圖像可能具 有無效或缺失的前向參考圖像,該視頻編輯代碼並非必要元 ❹ 件。例如’該視頻編輯代碼274將會指示出B圖像28〇以及 282未被正確解碼。如果包括圖像262 · 272在内的視頻文件 的一部分經過編輯使得其具有與後續視頻圖像不同的壓縮方 式或該部分__,上述航將會發生。@此,即使前向參 考圖像268已經被解碼並且已存入圖像緩存中①像圖彻以 及282的解碼操作都不會再依賴于前向參考圖像268進行。 AVS1-P2標準可允許Β圖像使用“無前向參照,,標誌。 β 該麟可斷言Β圖像是否不參照前向參相像。如果“無前 向芬照標諸未被斷言,則表明Β圖像可參照前向參考圖像。 ^此通過檢查該無前向參照,,標認是否被斷言,視頻解碼 二b將θ在柏參考圖像無效或缺失的情況下採取適當的 措施。所述措施將在圖3到圖6中進行描述。 圖3是本發明一實施例中對具有無效或缺失前向參考圖 的®像進行解碼的流糊。如騎示,絲從步驟⑽ 解二驟31。結束。在步驟3G。中,隨機訪問被指示給視頻 ° 2b《者"^測到視頻編輯代碼例如VEC274。該步驟 15 200939790 :同樣可以實現對1圖像和/或p圖像的解碼。在步驟302中, 此夠對具有無效或缺失前向參相像的 行 :=2b __的起始代二= 對應。如果Μ的起始代顯糊抑_ 如果隨後的起城錢相,例如,綱, 276,則下一步執行步驟3〇6。 歹1頭 Ο ^驟=錯_,便於在制__代碼時對 、曰、,丁處理。所述錯誤處理取決於設計。因此 中♦當針對相侧編姆_H4 誤處理操作。在步驟撕中,視頻解碼器112 :代=:;::^ 在步驟308巾,如果檢測到B圖像並且此時1 Ο 二,未被斷言,則下—步執行步驟·。如果、向二 被斷言’則將會對B圖像進行處理。所述對像 的處理操作將會在圖4到圖6中進行插述。否則 象 :^圖像和/或P圖像,則下—步將會執行步_,對= 二像和/或P圖像進行處理,與此同時等待 不或視頻編輯代碼的檢測。 ]點才曰 像的圖η4是本發明一實施例中對具有無效或缺失前向參考圖 、圖像進行顯示的-種方法的流程圖。如圖所示,流程 16 200939790 汗 1始於步驟伽,結束於步驟鄕,該流程可爲步驟細和/或 310 部分。在步觸_巾,判斷當前圖像是否爲B圖像, 如果疋則執行步驟4〇2 ’否則執行步驟3〇〇。在步驟4〇2中, 判斷該B圖像是否參照前向參考圖像,如果是,職行步踢 :’否則執行步驟406。在步驟404中,該B圖像將被棄除。
後執行步驟31〇。在步驟傷中,B圖像也會被棄除,隨後 執仃步驟308。因此’ $隨序列頭後的I圖像出現的B圖像相 鄰序列,例如,B圖像280和挪,將會被棄除。 然通過該方法可使用兩種獨立的狀態308和310,但是 由於不論Β圖像衫參照前向參相像都會被棄除,因此本 發明的其他實施例付採用單一狀態,包括狀態观和31〇。
圖5a是本發明—實施例帽具有無效或缺失前向參考圖 二的B圖像進棚示的另—種方法的流程圖。如圖^所示, 流程開始於步驟並且結束於倾谢,該流程可是步驟⑽ 的:部分。在步驟5〇〇中,判斷當前圖像是否爲b圖像,如 果疋則執行步驟5〇2,如果不是,則執行步驟·。在步驟 502中,判斷該B圖像是否參照前向參考圖像,如果是,則執 =步驟504,否則執行步驟3〇8。在步驟5〇4中·圖像將 ,棄除。由於步驟31〇中的B圖像可能參照了前向參考圖像, 為方法可卿些參照了無效或缺失前向參考圖像㈣圖像 選擇地棄除掉。例如,緊跟序列頭後的B圖像相鄰序列 B圖像⑽和282 ’如果參照了無效或缺失的前向參 像’則這兩個Β ϋ像將會被棄除。那些未參照前向參考 17 200939790 的B圖像,比如在步轉3〇8中進行處理的B圖像,將被 _ 細並進行顯示。 圖5b是本發明一實施例中對具有無效或缺失前向參考圖、 像的B ®像進行顯示的-種紐的編赠賴。如圖所示, 步驟51〇至524是爲B圖像生成非降(n〇n_d⑽她“無 前向參照,,標流程。斷言B圖像中的“無前向參照,,標 諸,則表日猶B圖像沒有參照前向參考圖像。例如,如果b 圖像280包含一個被斷言的“無前向參照”標誌,則對該b 圖像280的解碼操作無須參照p圖像2沾。相似地,如果b圖 ❹ 像280包含一個被去斷言的“無前向參照,,標誌,則對該b 圖像280的合適解碼操作需要參照p圖像268。採用這種方法 可有效減小肖除震顫,例如,在賴碼的視麵像進行顯示 日寸’由於對B圖像中“無前向參照”標諸的隨機設置會導致 震顫的産生。因此,如果B圖像相鄰序列中的某一 B圖像的 無前向參照”被斷言,則該序列中餘下B圖像的“無前向 參照”標誌也將被斷言。 〇 在步驟510中,生成視頻序列的序列頭。在步驟512中,
視頻編碼器112a使主“無前向參照,,標諸去斷言。該主“無 則向參照標誌的狀態還將被複製給每個B圖像頭文件的 “無前向參照”標誌。在步驟514中,如果將生成z圖像或p 圖像,則下一步執行步驟516,否則下一步執行步驟518。在 步驟516中,生成適合一個視頻序列的j圖像或p圖像。下一 步執行步驟514。在步驟518中,視頻編碼器n2a將判斷B 18 200939790 4 B ®像280 ^^參照前向參細_如p圖像施。 果疋,下一步執行步驟520,執行步驟切。 在步驟520中,視頻編碼器IHa將會判斷盆内 前向參照,,觀是否被斷言。如果是,下-步執行步驟522、、、 US,524。在步驟522中,關像頭文件中的“無前 σ,知標諸被設置爲斷言狀態。因此,一旦主 ❹ ❹ ^標諸被斷言,則無論Β圖像是否參照前二 :件^讀向參照”標都將被設置爲斷言狀 概是:=4: ’如果視頻編碼器咖接著將要生成的資 驟別相頭,則下-步執行步驟,否則下一步驟執行步 像2 6是本發[實施财對具有無效或缺失前向參考圖 步驟::二理該見:是步驟310的-部分。所述 述的視頻序列的處理淹程視频序列例如圖2a和❹所描 € = 4 _中’檢查用於對β圖像進行計⑽計數H是 =爲零。如果是,則第-㈣圖像將會 ^ 二=’第二個B圖像將會在步驟6〇”進行處理。: 會、古入Γ 一個無效前向參考圖像的第一個b圖像將 2皮f適的插補圖像所替換。所述插補操作取決於設計。步驟 B ___算法進行贿。如果使用 的則向參考圖像’則在對B圖像進行顯示的過程中將會看到 19 200939790 僞像,例如,在移動終端的顯示器(圓令未 二在步驟6G4中,對β _進行計數的計數器將會遞辞Γ 在步驟606尹,可能爲Β圖像的τ一圖像折曰 文件來判斷“無前向參照,,標誌是否被斷言。如果解析频 步執行步驟308,否則執行步驟6〇〇。 則下 ,在步驟_ t,參照了無效前向參考圖像的第 像被合適喻麵像所雜。在—θ 的計數器清零,下—錢行频3⑻。中㈣圖像計數 ❹ 在一些情況下,位於1圖像278之後的第-個Β圖傻28〇 和/或第二個Β圖傻289拥收、士人Α 口万圖像280 可按細f f 適的插__換。雖缺 可採用的細綠雜錄,但這聽= 碼的後向參相像12,以及經解娜 參考二 278相對應,可向參考圖像朽,與 哪 〇 ^視頻編輯代碼274表明前向參考圖像無效時目Z生:別 m^2:80和B1像圖282相對應的解碼圖像所進行^ B0=(2/3)*(P5?)+(1/3)*(I2,) Β1=(1/3)*(Ρ5’)+(2/3)*(Ι2,)。 當經解碼的前向參考圖像 時,用於生成分別與B〇圖像2用’例如,發生隨機訪問 碼圖所進行的加權操作如下: 1圖像撕相對應的解 B〇=(l/3) *(12,) 20 200939790 B1=(2/3)* (12,)。 因此,B圖像可插述 視頻相。所序舰人歧㈣當前 理器m崎行的。疋通過例如處理器…和/或圖像處 ^
:::^ 其t,袁數“m” m( U解碼的後向參考圖像)° 费:讀述6圖像相鄰序列中b圖像的數量,參 疋圖像序列中B圖像的位置。例如,對於圖处中 節,並且B 因此’通過對包含序列頭的視頻文件和/或包含視頻編輯 代碼的視敝件的適當處理,本發日騎多實施例仙圖像不
具有有效的前向參考圖像的情況τ不會在顯示視頻資訊過程 中生成僞像。 根據本發明的一個實施例’本發明的系統可包括圖像處理 器112,其中該圖像處理器112包含視頻編碼器112aw及視頻 解瑪器112b。視頻解碼器112b可對壓縮的視頻資料中相鄰B 圖像的序列進行解碼,例如序列頭276之後的第一 I圖像例如 I圖像278後緊跟的B圖像280和282。視頻解碼器112b可對 例如AVS1-P2格式的視頻資料内的視頻編輯代碼和/或隨機訪 問點進行處理。本發明的一些實施例中,視頻解碼器112乜將 21 200939790 棄除B圖像280和282的相鄰序列。 =發明的其他實施例中,視頻解碼議能夠判斷用 益:和282 _向參考圖像(例如p圖像2⑻是否 無效或缺失。該騎可通鄉“無飾細 =判斷來實現。當“無前向參照,,被斷言時,則說明= 圖像沒有前向參考圖像。該“無前向參照” 可以是通過例 如AVS1-P2鮮進行壓朗每_像的—部分。若b視頻解
碼器⑽將會棄㈣圖像相鄰相中的每個參照了無效或缺 失的前向參考圖像的B圖像。
本發明的-些實施例通過視頻編碼器心生成b圖像 280和282。本發明的一實施例中,在β圖像28〇的“無前向 參照”標誌、被斷言的情況下,視頻編碼器ma可將B圖像挪 的“無前向參照”標諸也被斷言。這種方法可減少在對壓縮圖 像進行解碼過程中僞像的產生。雖然B圖像和撕在此 作爲例子介紹,該演算法職剌于其他可生成不止兩個相鄰 B11像的視頻序列。因此,當緊跟序_之後的第―個j圖像 後生成的一 B圖像相鄰序列中的一個B圖像的“無前向參 照”標諸被斷言時,該序列中剩餘B圖像的“無前向參照” 標誌同樣被斷言。 在例如B圖像280通過其被斷言的“無前向參照,,標諸 表明該B圖像參照了前向參考圖像(例如p圖像施)的情況 下,B圖像280的解碼操作將無法正確進行,因爲視頻編輯代 碼274顯示出該P圖像268並不是B圖像280和282的有效 22 200939790 前向參考圖像π此,與其參照p圖像26δ或者 280和/或282,不如生成—個插補__|, 線性的或雜__。所输補婦可通像處理器 中的視頻編碼器112a和/或處理器114進行。 本發明的-些實施例中,_ 了如下例子中所描述的_ 280 ^ 282 0 , t
^考圖像可用但無效時’對B圖像28()的線性插補描述 爲.(2/3)%_碼的前向參考圖像)+(1/3)*(經解石馬的後向夫考 圖像)。類似地,對B圖像282的線性插補描述爲:(1/3心 解碼的前向參考圖像)+(2/3)%經解碼的後向參考圖像)。 —當所驗解前向參相像何料,修,發生隨機 訪問4 ’對B ®像280進行的線性插補爲:(1/3)*(經解碼的後 向 > 考圖像)對B圖像282進行的線性插補爲:(2/3)*(經解 碼的後向參考圖像)。因此,這種對B圖像和282的插補 刼作與淡入或淡出處理過程是相類似的。 、對每個參照無效的前向參考圖像的B圖像進行的線性插 補可歸納爲:((m+1順m+1))*(經解碼的前向參考圖 像Hn/(m+l))*(經解碼的後向參考圖像),並且對參照缺失的前 向> 考圖像的B圖雜行的雜插補可歸麟(咖+1))* (經 解碼的後向參相像)。其中,參數V,是所述B圖像相鄰 序列中B圖像的數量,參數“n,,是該序财B圖像的位置。 例如’對於圖2b中的B圖像和挪,參數m值爲2,並 且B圖像280的n=l,B圖像282的n=2。 23 200939790 解碼器⑽的衆多實施例可包括對獅的視頻通過例如視頻 此^ 丁解碼,該流程的描述見如圖3的流程圖。因 二笛/狀核步驟302的轉換。麵測到序列頭時, 二=二_換到第三狀態或步驟3Q6。當在第二 圖像、p圖像、㈣像或視頻編輯代碼 Τ㈢轉換到錯疾狀態或步驟3〇4。 ❹ 繼。ttT1晴’侧三狀'轉_四狀態或步驟 田苐二狀態中檢測到其他資料塊例如I圖像、P圖像、 B圖像、視頻編輯代碼或序列頭時,會轉換到錯 :到對前向,進行參照的B圖像時,會從第:: :到第,狀恶或步驟31G。當檢測到!圖像或p圖像時,會從 第四狀態轉換到第一狀態。當檢測到未參照前向參考圖像❹ 圖像時,會從第五狀態懸到第四狀態。當檢測到z圖像或p 圖像時’會從第五狀態換翻第一狀態。 一 ❹ …在本發明的實施例中,視頻解碼器112b可對第四及第五 狀態㈣B圖像進行棄除,此’該方法可棄除緊跟序列頭 之後第個I圖像後的一 Β圖像相鄰序列。本發明的其他實施 例中’視頻解碼器;!12b可對第五狀態中的Β圖像進行棄除。 7此’該方法可對緊跟序列頭之後第―個〗圖像後的β圖像相 鄰序列中參照了前向參考圖像的3圖像進行棄除。 本發明的其他實施例將會對與緊跟序列頭之後第—個I圖 像的- Β ®像相料觸械應轉侧像進储補操作。β 24 200939790 兩個B圖像’例如’B圖像28° 夂者懸 參考圖像’例如?圖像268,以及後向 _,與Β:Γ说。當解碼的前向參考圖像可姆 ⑽*(經解細_像通過以下演算法生成: 像)。類二==::3m解碼的後向參考圖 ''Φ-4: ώ' - η/ 相對應的插補圖像通過以下演算 ❹ ❹ “_ (轉娜前向參相像)臂(經解碼的後向 問時當St·前向參考圖像不可用時’例如,發生隨機訪 參考細1進行的線性插補爲:(1/3)*(經解碼的後向 : (2/3)*('^ 作圖像28G和282的插補操 補二母 1固參照無效的前向參考圖像的B圖像進行的線性插 納爲:((m+1-n)/(㈣))*(經解碼的前向參考 Ζ^η+υ)%經解碼的後向參考圖像),並且對參照缺失的前 s考圖像的Β圖像進行的線性插補可歸納爲(輯糾經 的後向參考圖像)。其中,參數‘V,是戶_圖像相鄰 =列中B圖像的數量’參數“n”是所述B圖像相鄰序列中的 圖像的位置。例如,對於圖2b中的β圖像28〇和嫩,夂 數m值爲2,並且B圖像的㈣,B圖像282的㈣。/ 本發明的_個實施例提供了一種機器可讀記憶體,盆上存 儲有電腦程式。雜敍少包含—段驗處·有缺失或益效 25 200939790 前向參照顏B圖像的代碼’所述至少 使得賴糊執行树請中所述的方法轉機减订 發明可應用於硬體、軟體、固件或其各種組合。 個電腦系統的集中模式下實現,或者在分 政式桓式下Λ現,在職分散式模式下,不同元件分佈 f的電齡統中。採用任何_于執行本發明介紹的方法的 電腦系統或者其他設備都是合適的。—種硬體、倾和固件的 典型組合是具錢難式的通職m當程式被載入和執
行…控騎述電齡統以使其執行本申獅述的方法。 本發明還可贿人顺難式產品内,所述程式包含 能夠實現本發财糾全部特徵,#其絲㈣腦純中時, 通,運行’可以實現本發明的方法。本文件中的電腦程式所指 的是.可以採用任何程式語言、代碼或符號編寫的一組指令的 任7運算式’該指令組使系統具有資訊處理能力,以直接實現 特疋功成’或在進行下述—麵賴步歡後實現特定功能:
a)轉換成其他語言、編碼或符號;b)以不_格式再現。然而, 本領域技術人員能夠理解的電腦程式的其他含義也被本發明 所包含。 ,一雖然本發明是通過幾個具體實施例進行說明的,本領域技 術人員應當明白,在不脫離本發明範圍的情況下,還可以對本 發明進行各種變換及等同替代。另外,針對特定情形或具體情 況’可以對本發明做各種修改,而不脫離本發明的範圍。因此, 本發月不局限於所公開的具體實施例,而應當包括落入本發明 26 200939790 • 權利要求範圍内的全部實施方式。 - 【圖式簡單說明】 . ® 1是本㈣—實施射鶴終端㈣分結構框圖; 一圖2a是結合本發明—實施例使_視麵像隨機訪 不意圖; 巧 圖2b是本發明一實施例中編輯視頻圖像的效果示意圖; 圖3是本發明一實施例中對具有無效或缺失前向麵圖 Ο 像的B圖像進行解碼的流程圖; 圖4是本發明一實施例令對具有無效或缺失前向參考 像的B圖像進行顯示的一種方法的流程圖; Θ 圖5a是本㈣-實施财對具有無效或缺失前向參考圖 像的B圖像進行顯示的另一種方法的流程圖; 圖5b是本發明一實施例中對具有無效或缺失前向參考圖 像的B圖像進行顯示的一種方法的編碼流程圖; 圖6是本發明一實施例中對具有無效或缺失前向參考圖 像的B圖像進行顯示的另 【主要元件符號說明】 一種方法的流程圖。 移動終端 100 圖像感測器 110 圖像處理器 112 視頻編碼器 112a 視頻解碼器 112b 處理器 114 記憶體 116 視頻資訊序列 200 參考圖像 205 序列頭 210 I圖像 212 B圖像 214、216 27 200939790 P圖像 218 B圖像 220、222 視頻資訊 250 第一序列頭 260 I圖像 262 B圖像 264、266 P圖像 268 B圖像 270 、 272 視頻編輯代碼(VEC) 274 第二序列頭 276 I圖像 278 B圖像 280 ' 282
28

Claims (1)

  1. 200939790 七、申請專利範圍: 1、一種視齡賴理綠,雜徵在於,所述方法包括: 在接收到壓縮視頻資料中的序列頭之 縮視頻資料中的第-俯圖像 啊所秘 序列; $之後疋否緊跟有一 B圖像相鄰 根據所述判斷對所述B圖像相鄰序列進行解碼,並中, ❹ ❹ 所述解碼操作對視頻編輯代碼和/或隨機訪問點中的一者 兩者進行處理。 2、 如申請專利範圍第I項所述的方法,其中,所述方法進_ + 包括:將判斷爲緊跟所述第_個j圖像之後的B圖像^ 列中的每個B圖像棄除。 β 3、 如申請專糖圍第1項所述的方法,其中,所述方法進—牛 包括:當所述Β圖像相鄰序列中的每個Β圖像所參照_ 向參考圖像是無效的或者缺失時,棄除· Β圖像相鄰序 中的每個Β圖像。 4、 如申請專利範圍第i項所述的方法,其中,所述方法進一步 包括.當所述B圖像相鄰相巾崎個B _所參照的前 向參考圖像是無效的或者缺失時,插補與所述B圖像相鄰序 列中的每個B圖像相對應的解碼圖像。 5、 —種視號處理方法,其在於,所述方法包括: 在第-狀悲中檢測到AVS1-P2格式的視頻編輯代竭戈 隨機訪問指减,從第-狀__第二狀態; 在第二狀,%、中制I圖像、p g[像、B圖像或視頻編輯 29 200939790 代碼其中之一後,轉制出錯狀態; 隨機狀態中檢測到从似2格式的視頻編輯代碼或 示籍在第:狀態下檢測物_,轉換到 序列圖像、B圖像、視頻編輯代瑪或 員其中之一後’轉換到出錯狀態; 在第三狀態中檢測到1圖像後,轉換到第四狀離. ◎ 態;在第四狀態中檢測到1圖像或P圖像後,轉_第-狀 在第四狀態中檢測_前向參考 像後,轉換到第五狀態; 運仃參知的B圖 在第五狀態中檢測則圖像或p 換到第一狀態丨 /、肀之—後,轉切 在第五狀態令檢測到未參照前向參 後,轉換到第四狀態。 像的B圖像 ❹ 卜一種視頻信號處理系統,其特徵在於,所 一個或多個電路’用於判斷在_視_料ζ括: I圖像之後是否緊跟有—Β圖像相 的弟-個 對所述Β圖像相鄰序列進行解媽,並 ^據所述判斷 頻編輯代碼和/或隨機訪問點中的 轉喝操作對視 ,如申請細_6物㈣㈣理。 電路將判斷爲緊跟所述第,圖像之制^:個或多個 中的每個Β圖像棄除。 圖像相鄰序列 30 7 200939790 :專細“項所述的系統,其中 魏用於當所述相中的固 前向參考圖蚁纽的或者缺失時,棄除所述相^序 列中的每個Bffi像。 篆相^序 9、一種視頻信號處理方法,其特徵在於,所述方法包括: 生成- B圖像相鄰序列’使得當所述B目像相鄰序列 中生成的雜B®像絲爲沒有參_向參相像時,所述 B圖像相鄰序列令的麵述B圖像之後的其他B圖像也指示 爲沒有參照所述前向參考圖像,其中,所述B圖像相鄰序列 是緊隨序列頭之後的第一個I圖像後生成的。 、一種視頻仏號處理系統,其特徵在於,所述系統包括: 一個或多個電路,用於生成一 B圖像相鄰序列,使得當 所述B圖像相鄰序列中生成的某個b圖像指示爲沒有參照 前向參考圖像時,所述B圖像相鄰序列中的在所述B圖像 之後的其他B圖像也指示爲沒有參照所述前向參考圖像,其 中’所述B圖像相鄰序列是緊隨序列頭之後的第一個I圖像 後生成的。 31
TW097138923A 2007-10-12 2008-10-09 視頻信號處理方法和系統 TWI493976B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/871,385 US8194741B2 (en) 2007-10-12 2007-10-12 Method and system for processing B pictures with missing or invalid forward reference pictures

Publications (2)

Publication Number Publication Date
TW200939790A true TW200939790A (en) 2009-09-16
TWI493976B TWI493976B (zh) 2015-07-21

Family

ID=40254492

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097138923A TWI493976B (zh) 2007-10-12 2008-10-09 視頻信號處理方法和系統

Country Status (6)

Country Link
US (3) US8194741B2 (zh)
EP (1) EP2048889A3 (zh)
KR (1) KR100969224B1 (zh)
CN (1) CN101409844B (zh)
HK (1) HK1131298A1 (zh)
TW (1) TWI493976B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8194741B2 (en) 2007-10-12 2012-06-05 Broadcom Corporation Method and system for processing B pictures with missing or invalid forward reference pictures
US9338474B2 (en) 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
CN103888781B (zh) * 2012-12-21 2017-04-12 宏碁股份有限公司 视频编修方法与视频编修装置
KR102191878B1 (ko) * 2014-07-04 2020-12-16 삼성전자주식회사 멀티미디어 시스템에서 미디어 패킷을 수신하는 방법 및 장치
US10805611B2 (en) * 2016-10-18 2020-10-13 Mediatek Inc. Method and apparatus of constrained sequence header

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08154247A (ja) * 1994-09-29 1996-06-11 Sanyo Electric Co Ltd 圧縮画像データ処理装置及び方法
JPH08149474A (ja) * 1994-11-17 1996-06-07 Hitachi Ltd 動画像復号化装置
JP2823809B2 (ja) * 1995-01-26 1998-11-11 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 画像復号化方法及び画像復号化装置
JPH11341435A (ja) * 1998-05-22 1999-12-10 Sony Corp 編集方法および編集装置
GB2364459B (en) * 2000-06-30 2004-03-31 Nokia Mobile Phones Ltd Video error resilience
KR100739133B1 (ko) * 2001-04-17 2007-07-13 엘지전자 주식회사 디지털 비디오 코딩시 b프레임 코딩 방법
US6816552B2 (en) * 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US7149247B2 (en) * 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
KR100537499B1 (ko) * 2002-07-26 2005-12-19 삼성전자주식회사 전송제어 파라미터 생성방법 및 프레임 특성에 따른선택적 자동 재전송 방법
US7933329B2 (en) * 2005-08-24 2011-04-26 Exfo Service Assurance Inc. System and method for monitoring video packets for quantifying video quality
US20070058730A1 (en) * 2005-09-09 2007-03-15 Microsoft Corporation Media stream error correction
US8194741B2 (en) * 2007-10-12 2012-06-05 Broadcom Corporation Method and system for processing B pictures with missing or invalid forward reference pictures

Also Published As

Publication number Publication date
HK1131298A1 (en) 2010-01-15
KR100969224B1 (ko) 2010-07-09
KR20090037838A (ko) 2009-04-16
CN101409844A (zh) 2009-04-15
EP2048889A3 (en) 2016-12-28
US20140112390A1 (en) 2014-04-24
US20090097559A1 (en) 2009-04-16
CN101409844B (zh) 2011-03-16
US8879630B2 (en) 2014-11-04
EP2048889A2 (en) 2009-04-15
US20120236947A1 (en) 2012-09-20
TWI493976B (zh) 2015-07-21
US8194741B2 (en) 2012-06-05
US8665954B2 (en) 2014-03-04

Similar Documents

Publication Publication Date Title
TW200939790A (en) Method and system for processing B pictures with missing or invalid forward reference pictures
TWI229560B (en) Method and apparatus of adaptive de-interlacing of motion image
TW303571B (zh)
US7460599B2 (en) Video decoding device and method, and program product therefor
US20070074117A1 (en) Multimedia coding techniques for transitional effects
US10362264B2 (en) Profile for frame rate conversion
JP2010529804A (ja) 2d映像メディア標準に基づいて3d映像ファイルを生成及び再生するためのシステム及び方法
JP5170708B2 (ja) 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置
US20180012618A1 (en) Image processing apparatus, image pickup device, image processing method, and program
CN106878290B (zh) 音视频的播放方法及装置
KR20090006014A (ko) 버전이 다른 avs1-p2 비트스트림을 시그널링하고디코딩하기 위한 방법 및 장치
KR101199166B1 (ko) 보간 프레임 생성 시스템
TW571588B (en) Modifying video signals by converting non-intra pictures
US8331757B2 (en) Time code processing apparatus, time code processing method, program, and video signal playback apparatus
TWI398167B (zh) 資訊處理設備,資訊處理方法,及資訊處理程式
JP6221820B2 (ja) 符号化装置、符号化方法および符号化プログラム
JP2008016100A (ja) 再生装置及び再生方法
TWI495299B (zh) 利用音視頻橋接管理節能網路的方法和系統
JP4284003B2 (ja) 映像信号出力装置
TW200939788A (en) Fast debugging tool for CRC insertion in MPEG-2 video decoder
TWI610560B (zh) 控制位元流解碼的方法及相關之位元流解碼電路
JPH08265639A (ja) 映像信号変換装置および再変換装置
JP4856008B2 (ja) 画像再符号化装置および画像再符号化方法
JPH11225332A (ja) 画像復号方法及び画像復号装置
JP2006074411A (ja) 動画像編集システム、装置及びモバイル機器