TW201127048A - Inverse telecine techniques - Google Patents

Inverse telecine techniques Download PDF

Info

Publication number
TW201127048A
TW201127048A TW099110439A TW99110439A TW201127048A TW 201127048 A TW201127048 A TW 201127048A TW 099110439 A TW099110439 A TW 099110439A TW 99110439 A TW99110439 A TW 99110439A TW 201127048 A TW201127048 A TW 201127048A
Authority
TW
Taiwan
Prior art keywords
video
frame
frames
movie
individual
Prior art date
Application number
TW099110439A
Other languages
English (en)
Inventor
Gokce Dane
Chia-Yuan Teng
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201127048A publication Critical patent/TW201127048A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Television Systems (AREA)

Description

201127048 六、發明說明: 【發明所屬之技術領域】 本發明係關於數位視訊編碼及解碼’且更特定而言,係 關於改變視訊序列之圖框率之電傳電影及反電傳電影技 術。 【先前技術】 器件内,包括數位 可將數位視訊能力併入至廣泛範圍的 電視、數位直播系,统 '無線廣播系統、個人數位助理 (PDA)冑上型或桌上型電腦、數位相$、數位記錄器 件、視訊遊戲ϋ件、視訊遊戲主機、蜂巢式或衛星無線電 電話及其類似物。數位視訊器件實施視訊壓縮技術,諸 如,在㈣PEG-2、MPEG_4 或 ITU_T H 264/MpEG 4 第 1〇部 分進階視訊寫碼(AVC)定義之標準中描述之技術,以便更 有效率地傳輸及接收數位視訊資訊。視訊壓縮技術可執行 基於區塊之空間預測及/或時間預測以減少或移除視訊序 列中所固有的冗餘。 電傳電影技術可用以改變視訊序列之圖框率。需要用電 傳電影技術(例如)使原先在膠片媒體上擷取之電影能夠藉 由4如電視、視況媒體播放器或電腦之標準視訊設備檢 視詳Q之,電傳電影技術可用以將習知視訊序列自每秒 24個圖框(其對於記錄於膠片媒體上之電影影片係常見的) 改變至每秒30個圖框(其對於由數位設備播放之數位視訊 係常見的)。 反電傳電影技術執行電傳f影技術之反㈣。@此,若 147500.doc 201127048 圖專電〜技術將視訊序列自每秒24個圖框轉換至每秒卿 〔則反電傳電影技術可將該視訊序列自每秒
轉換回至每秒24個 M 在一些情況下’可將電傳電影技 ;視i編碼過程之部分執行而將反電傳電影技術作 為視訊解碼過程之部分執行。 二凊况下,反電傳電影可為轉碼過程之部分。在此 :況下,可將反電傳電影實施為轉碼器之部分,或實施為 ^石馬器或解碼器之部分。在轉碼之情況下,電傳電影之内 谷可破轉換回至原始圖框率(諸如’每秒μ個圖框),且根 據不同編碼格式重新編碼。在此情況下,反電傳電影可在 轉碼過程前發生,且可實施於將資料發送至轉碼器之傳輸 益件或執行轉碼之接收器件中。 厂、、而’電傳電影及反電傳電影不限於視訊編碼或解碼情 形。可由於許多原因,獨立於任何基於空間或時間之視訊 編碼或解碼’使用電傳電影及反電傳電影技術。基本上, 無論何時當需要改變視訊序列之圖框速料,電傳電影可 提供達成此目標之有用方式。 【發明内容】 -般而言’本發明描述經執行以調整或轉換視訊序列之 圖框率的反電傳電f彡技術。所料之技術提供了識別用以 增加視訊序列之圖框率的電傳電影技術之有用方式。在識 別了使用之電傳電影技術後,可關於視訊圖框序列執行對 應的反電傳電影技術以便將圖框率減小回至(在電傳電影 前的)其原始形式。本發明亦提供可改良反電傳電影過程 147500.doc 201127048 的反電傳電影技術之許多有用細例如,藉由簡化反電 傳電影過程及藉由減少該過程期間之記憶體存取。 在一實例中’本發明提供-種方法,其包含:判定視訊 圖框序列中之個別視訊圖框為漸進式圖框或是交錯式圖 框;識別該視訊圖框序列中之漸進式圖框及交錯式圖框之 一型樣,基於該型樣識別一電傳電影技術;及基於該識別 之電傳電影技術關於該視訊圖框序列執行—反電傳電影技 術,其中該反電傳電影技術將每秒N個視訊圖框轉換至每 秒Μ個視訊圖框,其中河及^^為正整數且M小於n。 在另一實例中,本發明提供一種裝置,其包含一反電傳 電影單兀,該反電傳電影單元:判定視訊圖框序列中之個 別視訊圖框為漸進式圖框或是交錯式圖框;識別該視訊圖 框序列中之該等漸進式圖框及該等交錯式圖框之一型樣; 基於忒型樣識別一電傳電影技術;及基於該識別之電傳電 影技術關於§亥視訊圖框序列執行一反電傳電影技術,其中 s玄反電傳電影技術將每秒Ν個視訊圖框轉換至每秒Μ個視 訊圖框’其中Μ及Ν為正整數且μ小於Ν。 在另一實例中,本發明提供一種器件,其包含:用於判 定視訊圖框序列中之個別視訊圖框為漸進式圖框或是交錯 式圖框之構件;用於識別該視訊圖框序列中之該等漸進式 圖框及該等交錯式圖框之一型樣之構件;用於基於該型樣 識別一電傳電影技術之構件;及用於基於該識別之電傳電 影技術關於該視訊圖框序列執行一反電傳電影技術之構 件’其中該反電傳電影技術將每秒Ν個視訊圖框轉換至每 147500.doc 201127048 秒Μ個視訊圖框,其中M&N為正整數且河小於n。 本發明中描述之技術可實施於硬體、軟體、韌體或其任 何組σ中。右實施於軟體中,則該軟體可在處理器中執 行諸如,微處理器、特殊應用積體電路(ASIC)、場可程 式化閘陣列(FPGA)或數位信號處王里器(Dsp)。執行該等技 術之軟體可最初料於—電腦可讀媒體巾且被載人並在處 理器中執行。 因此,本發明亦設想一種電腦可讀媒體,其包含當由一 處理器執行時使該處理器進行以下操作之指令:判定視訊 圊框序列中之個別視訊圖框為漸進式圖框或是交錯式圖 框;識別該視㈣框序列中之料漸進式圖框及該等交錯 式圖框之型樣,基於⑦型樣識別—電傳電影技術;及基 於該識別之電傳電料術關於該視訊圖㈣列執行一反電 傳電影技術,#中該反電傳電影技術將每秒N個視訊圖框 轉換至每秒Μ個視訊圖框’纟令―為正整數且m小於
在隨附圖式及以下描述中閣明了本發明之-或多項自M 的細節。本發明中所描述之技術的其他特徵、目標及優, 將自該摇述及諸圖式及自申枝直 _八汉目甲„月專利軌圍變得顯而 【實施方式】 本發明描述用於積測雷值φ β & 彳貝判冤傳電影及執行反電傳電影之老 術。電傳電影為轉換視訊序列 圓框率的過程,且反電詞 電衫為將圖框率轉換回至原 7站圮丰之過程。電傳電影通篇 用以將以每秒24個圖框拍攝之爭Η 爾之〜片轉換至每秒3 0個圖相 147500.doc 201127048 (或每秒60個圖場)之視訊。電傳電影常由稱作3:2視訊格式 轉換(3:2 Pull-Down)之程序執行,但可使用其他類型之轉 換0 圖1為說明使用3:2視訊格式轉換之電傳電影技術之概念 圖。在此情況下,以每秒24個圖框記錄之影片經電傳電影 至每秒定義60個圖場的一組視訊圖場。每一圖場可包含_ 圖框之至少一部分。詳言之,頂部圖場A1包含圖框A之奇 數編號線,且底部圖場A2包含圖框A之偶數編號線。如所 說明,該等圖場交錯而定義每秒3〇個圖框的視訊圖框。詳 言之,圖場A1與A2交錯以定義類似於影片令之圖框A的圖 框。在交錯中,按交替方式自圖場A】及八2得出圖框A之每 隔一條線。圖場八丨與82交錯以定義為影片之圖框八與3之 父錯式組合的圖框,及圖場B1與C2交錯以定義為影片之 圖框B與C之交錯式組合的圖框。圖場幻與^交錯以定義 類似於影片之圖框c的圖框,及圖場1)1與〇2交錯以定義類 似於影片之圖框D的圖框。 反電傳電影為反轉電傳電f彡過程之過程,且概念性地說 月於圖2中。在3 :2視訊格式轉換中,反電傳電影涉及將每 秒30個圖框之視訊轉換回至每秒叫㈣框(見圖2)。歸因於 反電傳電影過程可提供之各種空間及時間視訊品質益處, 反電傳電影可為視訊後處理之必要部分。反f傳電影亦可 :轉辱益之部A。舉例而言’在解碼了視訊後可應用反 電傳電影,且可減小圖框率(亦#,轉換回至其原始值, 例如’每秒24個圖框)。在此情況下,稍後重新編碼視訊 147500.doc 201127048 資料。在此情況下,轉碼之反電傳電影可幫助減小總位元 率,其可對儲存或傳輸有益。 與本發明一致的反電傳電影演算法可分析一視訊序列之 圖框及圖場以判定重複的圖場,及因此識別特定視訊格式 轉換型樣。反電傳電影技術可使用四個圖場以便偵測視訊 格式轉換型樣及執行視訊格式轉換校正。類似技術可使用 甚至更多的圖場(例如,十個圖場)以用於電傳電影偵測。 然而,處理此等大量資料(例如,四個圖場或五個圖框)之 需要可導致高的電力消耗且對視訊解碼造成挑戰。 本發明亦提供可藉由選擇圖框或圖場之必要部分而減小 需要在反電傳電影期間處理的像素區之方法。描述之技術 可獨立於實際反電傳電影演算法,且可與任一類型之反電 傳電衫演算法(包括3 :2視訊格式轉換以及眾多其他類型之 電傳電和)起使用。描述之技術可涉及提取可能原本需 要自外部記憶體取得的像素資料之子集,且藉此減少記憶 體存取之數目,而不使反電傳電影演算法之效能降級。 再一次,電傳電影常指將影片轉換至視訊之過程。影片 才曰通吊為電影院生產之攝影材料。通常按每秒24個圖框記 彔p片:、,、:而,由美國國家電視系統委員會(NTSC)定義之 、見及,、他數位視廣播可為視訊^義每秒3 〇個圖框。因 此’為了在符合NTSC之電視上顯示影片内容’將影片轉 換至視訊。轉換過程被稱作電傳電影。在一些情況下, NTSC標準的習知電視系統可以每秒6〇個交錯之圖場(實際 上,每秒59,94個圖場)的速率操作,且為了在Μ%視訊信 147500.doc 201127048 號上準料呈現影片之運動,可能需要電傳電影將影片圖 框率自24fpS轉換至30fps(亦即,大致每秒6〇個圖場)。 將每-影片圖框簡單地轉移至每—視訊圖框上將導致影 片的播放比預射夬大致百分之24.9。電傳電影之更好的解 決方案為週期性地重複一些影片圖框(諸如,在所謂的 「3:2視訊格式轉換」之情況下)以防止當以每秒川個圖框 的視訊圖框率展示影片時影片的明顯加速。 3:2視訊格式轉換為將24邙8影片速率轉換至3〇 fps視訊 速率的一特定類型之過程。為了將電影速率轉換至丁乂速 率,3:2視訊格式轉換按重複出現的3:2型樣(其可見於圖^ 中)重複影片圖框。第一步驟為將一組四個圖框轉換為請 圖場。此將每秒24個圖框變換至每秒48個交錯之圖場。接 著,為了考慮到NTSC標準之較快速率(亦即,3〇 fps或每 秒60個圖場)’有必要重複某些圖場,此係在3:2視訊格式 轉換中藉由每隔一個圖框添加一附加圖場來進行。 可將第一影片圖框A分為一頂部圖場(A1)及一底部圖場 (A2)。頂部圖場A1包含奇數編號之線,及底部圖場μ包 含偶數編號之線。頂部圖場A1及底部圖場A2定義第一視 訊圖框,如圖1中所示。影片圖框B之部分被重複兩次且記 錄為第二輸出視訊圖框之底部圖場(B2)及第三輸出視訊圖 框之頂部圖場(B1)。亦可重複第三影片圖框c之不同圖場 二次,作為底部圖場C2、頂部圖場C1及另—底部圖場 C2,如圖1中所示。重複第四影片圖框D之圖場兩次,作 為底部圖場m及頂部圖場D2。第三輸出圖框為扪與以之 147500.doc 201127048 交錯型式,及第四輸出圖框為Cl與C2之交錯型式。第五 輸出圖框為D1與D2之交錯型式。藉由此過程,每4個輸入 影片圖框創造一附加視訊圖框。若重複此型樣六次,則24 個影片圖框變為30個視訊圖框。 其他視訊格式轉換型樣亦存在,且與本發明之教示一 致。舉例而言,2:3視訊格式轉換重複第—影片圖框兩次 及第二影片圖框三次。因此,2:3視訊格式轉換非常類似 於3 :2視訊格式轉換’除了其移位一圖框之外。 2:2視讯格式轉換為另一常見的視訊格式轉換型樣。舉 例而言,當將每秒24個圖框影片轉換至每秒定義48個圖場 之視訊時,可使用其。在2:2視訊格式轉換中每一影片 圖框經重複兩次,且變為每秒48個圖場。此方法導致加速 影片且使影片在略少的時間中播放。2:2視訊格式轉換之 較不常見之型式稱作「2:2:2:2:2:2:2:2:2:2:2:3」視訊格式 轉換。此方法對每1 2個圖框插入一重複之圖場,從而導致 在25個視讯圖場中散布12個影片圖框,且因此將24個影片 圖框轉換為50個視訊圖場。一些電影被按此 「2:2:2:2:2:2:2:2:2:2:2:3」方式電傳電影。除了 3:2 及 2:2 視 況格式轉換之外,亦存在諸如5:5、6:4及8:7的較不常見之 格調(cadence)’且其有時用於曰本動畫中。其他類型之視 訊格式轉換亦與本發明一致。 使用反電傳電影反轉或「復原」電傳電影過程以重新取 付原始内容’例如,在每秒24個圖框下。自交錯式視訊源 债測及移除3:2視訊格式轉換型樣以每秒重建構24個圖框 147500.doc 201127048 之反電傳電影技術稱作「反電傳t影」或「逆電傳電 影」。圖2中展示反電傳電影之後為電傳電影之說明。當在 咼品質非父錯式顯示器上顯示交錯之内容時,反電傳電影 可為必要的。此外,在許多其他情形下(諸如,在轉碼器 器件或另一器件中)’反電傳電影可能為需要的。 可以不同方式進行反電傳電影。在一些情況下,輸入的 經電傳電影之視訊被内嵌(ingest)有展示視訊圖框與原始影 片圖框之間的對應性之電傳電影資訊。在此等情況下,解 碼器(或播放器)器件不需要偵測視訊格式轉換型樣,而是 可基於此資訊(其通常以電傳電影追蹤(trace)文字檔案之形 式存在)播放視訊。 反電傳電影之另一方式為在先前不知曉為本文中描述之 技術之基礎的型樣之情況下偵測視訊格式轉換型樣且將其 反轉。有時’ 一旦偵測到3:2視訊格式轉換録,就可對 於視訊之其餘部分鎖定該3:2視訊格式轉換型#,且可基 於最初偵測到之型樣進行型樣之校正。然而,3:2視訊格 式轉換型樣未必貫穿整個視訊保持—致,且可對影片材料 執行編輯。#編㈣龍或更可能地插入視訊 材料(諸如’其間之廣告或新片段)時’可發生所謂的「不 良編輯」。良好的反電傳電影演算法應能夠在源中之3:2視 &格式轉換型樣改變時加以識別且適應性地對其校正。此 有時被稱作「不良編輯偵測」。 根據本發明之反電傳電影之益處可包括視覺品質改良, 或頻t及電力gp省’其將自以下描述而變得更顯而易 147500.doc 201127048 見。具體言之,反電傳電影可幫助消除電傳電影之内容中 的空間及時間假影《若在不去交錯之情況下在漸進式顯示 器中顯示電傳電影之内容,則尤其可在視訊序列中之移動 物件之邊界處出現梳狀假影(combing artifact)。然而,若 對電傳電影之内容去交錯,則可出現模糊。此外,除了空 間假影外,歸因於電傳電影,亦可發生諸如運動畫面顫動 (motion judder)之時間假影》運動晝面顫動有時被稱作電 傳電景> 急動,且在緩慢且穩定的相機移動期間可尤其明 顯。運動畫面顫動係歸因於以下事實:在3:2視訊格式轉 換過程期間每10個圖場中之2個圖場被重複。 此外,諸如使用時間資訊之演算法的一些去交錯演算法 使去父錯渡波偏向於參考(或先前)圖場以至於重複該參考 圖場,且此亦引起急動(jerkiness)。另一方面,在已應用 2·2·2:2:2:2:2:2:2:2:2:3視訊格式轉換之材料中可發生「間 歇性顫動」狀假景>。間歇性顫動與運動畫面顫動稍有不 同,且在視訊中一秒發生約二次。 「硬電傳電影」意謂在編碼前應用視訊格式轉換。與硬 電傳電影相反,「軟電傳電影」+在編碼前應用視訊格式 轉換,而將視訊作為24P處理(其中p代表漸進式)。軟電傳 電影用適當的視訊格式轉換旗標嵌入位元流,且可當在交 錯式顯7F器處顯示内容時執行視訊格式轉換。亦有必要提 及的是多數SD-DVD處於「硬電傳電影」模式,且因此, 對於漸進式及交錯式顯示器可能皆需要反電傳電影。在硬 電傳電影中,在視訊格式轉換後,視訊變為6〇/5〇 [(其中】 147500.doc 201127048 代表父錯式),且以與常規交錯之内容相同的方式作為 60/50 I内容儲存於視訊緩衝器中。將在視訊格式轉換後之 所得視訊圖框用作用於運動估計及補償之參考圖框。 在許多視訊序列中,將3 :2視訊格式轉換過程應用至每 秒24個圖框之影片源。可直接編碼所得的每秒60個圖場之 視讯,或者,可將廣告添加至視訊源,且可在編輯後編碼 所得的每秒60個圖場之視訊内容。在此情況下,在視訊播 放器解碼了每秒6〇個圖場之視訊内容後,可應用本發明之 反電傳電影及不良編輯偵測技術。因此,若偵測且校正了 反電傳電影,則顯示真實的漸進式每秒24個圖框之影片。 然而,若電傳電影未被偵測到或不存在(例如,在輸入純 父鉈之内谷而無電傳電影被施加至其之情況下),則 可&由渡波器應用去交錯,且輸出器件可顯示每秒3〇個圖 框的漸進式視訊。 「γ電影為基本的後處理特徵。反電傳電影亦可被稱 ^影片模式偵測技術」、「影片格調及不良編輯恢復」、 ::模式偵測」及「逆3:2視訊格式轉換」。在業界,廣 泛地接焚3 :2視訊格式轉換。 為說明可用以實施本發明之反電傳電影技術中的一 3之^二—例不性視訊編竭及解碼系統1G之方塊圖。在圖 然而使反f傳電影單元29位於視訊解碼器28後。 位置或器件中。舉例而言,早兀亦可用於許多其他 影單元# π、 f於廣播應用,可使反電傳電 讀於視訊編碼器前以節省廣播傳輸前之位元率。簡 U7500.doc •13. 201127048 言之’圖3僅為可實施本發明之反電傳電影技術中之—或 多者的系統之一實例。 如圖3中所示,系統1〇包括一源器件12,其經由通信頻 道1 5將經編碼之視訊傳輸至目的地器件丨6。源器件丨2及目 的地器件1 6可包含廣泛範圍的器件中之任何者。在一些情 況下,源器件12及目的地器件16包含無線通信器件諸 如’無線手機、所謂的蜂巢式或衛星無線電電話或可在通 信頻道15上傳達視訊資訊之任何無線器件,在該情況下, 通L頻道1 5為無線的。然而,關於反電傳電影偵測、與反 電傳電影相關聯之記憶體存取減少及電力節省的本發明之 技術未必限於無線應用或設置。該等技術亦可用於廣泛範 圍的其他設置及器件中,包括經由實體導線、光纖或其他 實體或無線媒體通信之器件。此外,編碼或解碼技術亦可 應用於未必與任一其他器件通信之獨立器件中。 在圖3之實例中,源器件12可包括一視訊源“、一電傳 電影單元20、一視訊編碼器22、一調變器/解調變器(數據 機)23及一傳輸器24。電傳電影單元2〇可被稱作「硬電傳 電影」。目的地器件16可包括一接收器25、一數據機%、 -視訊解碼器28、—反電傳電影單元29及一顯示器件3〇。 根據本發明’目的地器件16之反電傳電影單元Μ可經組態 ^〜用^如明之技術中的一或多者作為視訊解碼過程之部 儘雀亦可與視汛解碼無關地應用與本發明一致的反電 傳電影技術。 再-人,圖3之說明的系統丨〇僅為例示性的。本發明之各 147500.doc •14· 201127048 種技術可由支援反電傳電影之任一器件執行。目的地器件 16僅為系統10内的此器件之一實例,在該系統中源器件12 產生用於傳輸至目的地器件16的經寫碼之視訊資料。在一 些情況下,器件12、16可以大體上對稱的方式操作使得器 件12、16令之每一者包括視訊編碼及解碼組件。因此,系 統1〇可支援視訊器件12、16之間的單向或雙向視訊傳輸, 例如,用於視訊串流、視訊播放、視訊廣播或視訊電話。 源益件12之視訊源18可包括視訊擷取器件,諸如,視訊 相機、含有先則擷取之視訊的視訊存檔或來自視訊内容提 供者之視讯饋入。作為另一替代,視訊源丨8可產生基於電 腦圖形之資料作為源視訊,或實況視訊、保存之視訊與電 腦產生之視訊的組合。在一些情況下,若視訊源丨8為視訊 相機,則源裔件12及目的地器件16可形成所謂的相機電話 或視訊電話。在每一情況下,經擷取之、預擷取之或電腦 產生之視訊可由電傳電影單元2〇進行電傳電影,且由視訊 編碼器22編碼。經編碼之視訊資訊可接著由數據機23根據 通js心準(例如,諸如分碼多重存取(CDMA)或另一通信 ‘準)凋變,且經由傳輸器24及通信頻道丨5而傳輸至目的 地器件16。數據機23可包括各種混頻器、濾波器、放大器 或經设計用於信號調變之其他組件。傳輸器24可包括經設 計用於傳輸資料之電路,包括放大器、濾波器及一或多個 天線。 目的地器件16之接收器26在通信頻道15上接收資訊,且 數據機26解調變資訊。如同傳輸器24,接收器25可包括經 147500.doc 15 201127048 «又。十用於接收資料之電路,包括放大器、濾波器及一或多 個天線。在一些情況下,傳輸器24及/或接收器25可被併 入於匕括接收及傳輸電路兩者之單一收發器組件中。數據 幾可匕括各種•頻器、遽波器、放大器或經設計用於信 號解調邊之其他組件。在一些情況下,數據機U及%可包 括用於執行调變及解調變兩者之組件^視訊解碼器28執行 基於區塊之視訊解碼,例如,重建構由視訊編碼器Μ編碼 的經編碼之視訊區塊。反電傳電影單元29接著關於經解碼 之視訊執行反電傳電影。 可在視Λ解碼期間執行由目的地器件丨6執行之反電傳電 〜過私,儘官亦可在無基於區塊之視訊解碼之情況下執行 ^發明之態樣。詳言之,反電傳電影單元29可執行反電傳 宅〜技術(如本文中所描述)以將視訊序列之圖框率轉換回 至原始影片速率(例如,以「復原」自源器件口之電傳電 影單元20執行之電傳電影)。 更具體言之’反電傳電影單元29可判定視訊圖框序列中 之個別視訊圖框為漸進式圖框或是交錯式圖框,識別該視 訊圖框序列中之該等漸進式圖框及該等交錯式圖框之一型 樣、基於該型樣識別1傳電影技術,及基於該識別之電 傳電影技術關於該視訊圖摊床5lf # _椎序列執仃一反電傳電影技術。
在此情況下,反電傳雷影姑你Μ — Y 弘吁电影技術將每秒Ν個視訊圖框轉換至 每秒Μ個視訊圖框,且φ M s 丹中1^及^為正整數且Μ小於N。因 此,反電傳電影將圖框牽诂I门r t 丰減小回至與原始被記錄於膠片媒 體上時的視訊序列相關聯的原始影片速率。 147500.doc -16 * 201127048 視汛解碼器28可包括用於基於時間之解碼的運動估計及 運動補償組件。此外,視訊解碼器28可包括用於基於空間 解馬的空間估δ十及框内寫碼單元。在反電傳電影過程 後’顯示器件30對使用者顯示解碼之視訊資料,且可包含 各種各心的顯示器件中之任一者,諸如,陰極射線管 (CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體 (OLED)顯示器或另一類型之顯示器件。 囷3之M例中,通頻道丨5可包含任一無線或有線通 信媒體,諸如,射頻(RF)頻譜或一或多個實體傳輸線,或 ”’、線與有線媒體之任何組合。通信頻道丨5可形成基於封包 ,網路的部分,諸如,區域網路、廣域網路或全球網路 (諸如,網際網路)。通信頻道15通常表示用於將視訊資料 自源器件12傳輸至目的地器件16之任一合適的通信媒體或 :同的通信媒體之集合。通信頻道15可包括路由器、交換 2基地台或可用以促進自源器件12至目的地器件16之通 k的任一其他設備。 視訊編碼器22及視訊解碼器28可根據視訊壓縮標準操 立者如1TU_T H·264標準,其替代地描述為MPEG-4第1〇 :分:階視訊寫碼(AVC)。然而,本發明之技術不限於任 一特定視訊寫碼標準。儘管在圖1中未圖#,但在-些態 樣中’視訊編碼器22及視訊解碼器28各自可與音訊編碼器 解 '态’且可包括適當多工-解多工單元或其他硬 立及軟體’以處置在共同資料流或單獨資料流中的音訊及 ^兩者之若適用’則多工_解多工單元可符合加 147500.doc 201127048 H.223多工器協定或諸如使用者資料報協定(UDP)之其他協 定。 « 源器件1 2及目的地器件16之各種組件(包括目的地器件 16之反電傳電影單元29)可實施為一或多個微處理器、數 位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程 式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任 何組合。電傳電影單元20及反電傳電影單元29可分別被併 入於視訊編碼器22及視訊解碼器28内。再一次,本發明之 反電傳電影技術可實施為視訊解碼過程之部分,但亦可用 於其他設置及情形中。此外,在反電傳電影操作後,未必 品要顯不視訊資料。在其他貫例中,在反電傳電影後,可 重新編碼視訊資料(例如,在轉碼情形下),且新的經編碼 之視訊資料可經儲存用於未來播放,或可經傳輸用於廣播 應用。 視sfl序列通常包括一系列視訊圖框。視訊編碼器22對個 別視訊圖框内之視訊區塊操作以便編碼視訊資料。視訊區 塊可具有固定或變化的大小,且大小可根據所指定之寫碼 標準而不同。每一視訊圖框包括一系列片斷。每一片斷可 包括一系列巨集區塊’其可經配置為子區塊。作為一實 例’ ITU-T H.264標準支援各種區塊大小(諸如,對於亮度 分量,16乘16、8乘8或4乘4,及對於色度分量,8乘8)中 之框内預測,以及各種區塊大小(諸如,對於亮度分量, 16乘16、16乘8、8乘16、8乘8、8乘4、4乘8及4乘4,及對 於色度分量之對應的經縮放之大小)中之框間預測。視訊 147500.doc •18· 201127048 區塊可包括像素資料之區塊或變換係數之區塊(例如,在 諸如離散餘弦變換(DCT)或概念上類似的變換過程之變換 過程之後)。根據本發明之技術,視訊編碼器22及視訊解 碼器28在電傳電影域中操作(例如,在由單元2〇執行電傳 電影之後)。在另一情形下,可在反電傳電影單元”後應 用編碼器,且在此情況下,編碼器可在非電傳電影域中操 作。 ’、 較小的視訊區塊可提供較好的解析度,且可用於視訊圖 框之包括高細節等級的位置。一般而言,可將巨集區塊及 各種子區塊視作視訊區塊。此外,可將片斷視作一系列視 訊區塊,諸如,巨集區塊及/或子區塊。每一片斷可為視 訊圖框之一可獨立解碼之單元。或者,圖框自身可為可解 碼單元,或可將圖框之其他部分定義為可解碼單元。術語 「經寫碼之單元」指視訊圖框之任一可獨立解碼之單元, 諸如’整個,匡、圖框之一片斷或根據使用之寫碼技術定 義的另一可獨立解碼之單元。 為了編碼視訊區《,視訊編碼器22執行框内或框間預測 以產生預測區塊。視訊編碼器22自待編碼之原始視訊區塊 減去預測區塊以產生殘餘區塊。因此,殘餘區塊指示正被 寫碼之區塊與預測區塊之間的差。視訊編碼器22可對殘餘 區塊執行變換以產生變換係數之區塊。遵循基於框内或框 間之預測寫碼及變換技術,視訊編碼器22執行量化。量化 通常指係數經量化以可能地減少用以表示係數的資料量之 過程。在量化後’可根據熵寫碼方法(諸如,内容適應性 I47500.doc 201127048 可麦長度寫碼(CAVLC)或内容適應性二進位算術寫碼 (CABAC))執行熵寫碼。 在目的地器件16中,視訊解碼器28接收經編碼之視訊資 料,且根據熵寫碼方法(諸如,CAVLC或(:八]8八(:)熵解碼接 收之視sil資料以獲得量化之係數。視訊解碼器2 8應用反量 化(去量化)及逆變換功能來在像素域中重建構殘餘區塊。 視訊解碼器28亦基於包括在經編碼之視訊資料中的控制資 訊或語法資訊(例如,寫碼模式、運動向量、定義濾波器 係數之s吾法及其類似者)產生預測區塊。視訊解碼器28將 預測區塊與經重建構之殘餘區塊求和以產生用於顯示的經 重建構之視訊區塊。 根據本發明之技術,反電傳電影單元29可判定視訊圖框 序列中之個別視訊圖框為漸進式圖框或是交錯式圖框,識 別該視訊圖框序列中之該等漸進式圖框及該等交錯式圖框 之一型樣,基於該型樣識別一電傳電影技術及基於該識別 之電傳電影技術關於該視訊圖框序列執行一反電傳電影技 術。在此情況下,反電傳電影技術將每秒N個視訊圖框轉 換至每秒Μ個視訊圖框,其中M&N為正整數且]^小於n。 因此,反電傳電影將圖框率減小回至與原始被記錄於膠片 媒體上日ΐ的視訊序列相關聯的原始影片速率。 此外,反電傳電影單元29可充分利用(leverage)以下事 實:作為解碼過程之部分,視訊解碼器以已載入了某些視 甙;貝料。亦即,為了由視訊解碼器28進行之視訊解碼之目 的的資料之記憶體載入可用以減少相同的資料之不必要的 147500.doc -20- 201127048 重複記憶體載人(若此資料對於由反電傳電影單s29執行 之反電傳電影過程亦為需要的)。以此方式,可減少與反 電傳電影單元29相關聯的記憶體載人,從而節約了電 記憶體頻寬。 圖4為說明與本發明_致之反電傳電影技術之流程圖。 士圖4中所不’反電傳電影單^ 29判定視訊圖框序列中之 個別視訊圖框為漸進式圖框或是交錯式圖框㈠”。反電傳 電影早70 2 9接著識別該視訊圖框序列中之該等漸進式圖框 及該等交錯式圖框之_型樣(42),且基於該型樣識別—電 傳電影技術(43)。舉例而言,若反電傳電影單元29識別出 圖框之一重複型樣(例如,p】! p p圖框或p p i r p圖框之 重複型樣),則反電傳電影單元29可將爻2視訊格式轉換識 別為原始經執行以定義該等圖框之電傳電影技術。反電傳 電影早兀29可接著基於該識別之電傳電影技術關於該視訊 圖框序列執行一反電傳電影技術(44)。反電傳電影技術將 每秒Ν個視訊圖框轉換至每秒Μ個視訊圖框,其中ν為 正整數且Μ小於Ν。 對於3:2視§fi格式轉換,舉例而言,反電傳電影技術藉 由將每一個五個圖框(p、P、】、][、P)之型樣轉換成四個漸 進式圖框(P、P、p、P)之型樣或將每一個五個圖框(P、I、 I、P、P)之型樣轉換成四個漸進式圖框(P、P、P、P)之型 樣而將每秒3 0個視訊圖框轉換至每秒24個視訊圖框。在任 一情況下,當一型樣與3 :2視訊格式轉換電傳電影技術相 關聯時,識別該型樣包含識別由三個漸進式圖框及兩個交 147500.doc 21 201127048 錯式圖框㈣的五圖框式序列。對於mip,將存在兩個 漸進式圖㉟’接著為兩個交錯式圖框,接著為_個漸 ㈣,而對於ΡΠΡΡ,將存在_個漸進式圖框,接著為: 個乂錯式圖框,接者為S個漸進式圖框。在任—情況下, 執行反電傳電影技術可包含將五圖框式序列轉換至四圖框 气序歹J ,、中反電傳電影技術將每秒3 〇個視訊圖框轉換至 每秒24個視訊圖框。 在識別視訊圖框序列中之個別視訊圖框為漸進式圖框或 交錯式®框之過財,f傳電影單元29可僅處理與個別視 訊圖框相關聯的一資料子集。以下提供可定義此子集之方 式的額外細節。大體上,該子集可包含在個別圖框内、的像 素資料之區塊,其中該區塊經預定義以用於反電傳電影谓 測’且其中對於個別圖框中之每一者,自記憶體提取像素 貝料之區塊。該子集可包含在個別圖框内的像素資料之垂 直行,其中個別圖框内的像素資料之垂直行經預定義以用 於反電傳電影偵測,且其中對於個別圖框中之每一者,自 記憶體提取個別圖框内的像素資料之垂直行。 在一些情況下,為了反電傳電影之目的而處理的資料子 集可包含個別圖框内的像素資料之垂直行,其中個別圖框 内的像素資料之垂直行係基於是否已為了在預測性視訊寫 碼中使用而自記憶體提取資料而適應性定義的。在其他情 況下,可基於是否已為了在預測性視訊寫碼中使用而自記 憶體提取資料而適應性定義與任一給定圖框相關聯之子 集。舉例而言,如下文更詳細地概述,反電傳電影單元Μ 147500.doc •22* 201127048 =與各別圖框相關聯之像素映射以定義是否已 =:訊寫碼中使用而自記憶體提取資料,且基於該映 框之子集。為了進一步簡化處理,反電傳電 衫早兀29可產生與各別圖框相關聯之部分像素映射以定義 :否已為了在預測性視訊寫碼令使用而自 料’且基於該部分映射定義各別圖枢之子集, 身請^可用時在各別圖框之視訊寫碼期間^義“分映 2,…計資料定義是否已為了視訊寫碼而提取個別像 在:情況下,該映射可精準指出(p —㈣為了由解 占早8進行視訊解碼之目的而已儲存之有用資料,因此 消除了反電傳電影單㈣再次提取彼同樣的資料之需要。 存在許多針對反電傳電影過程提議之演算法。本發明之 要位元流中之資訊來識別所使用之電傳電影技 :之反電傳電影過程。此外,本發明之另一焦點為在反電 專^過程期間的記憶體頻寬減小。圖5為可對應於圖仏 影單元29或可對應於另-器件之-模組或單元的 模組51之方塊圖。反電傳電影模組”接收輸人 發生改變t之,在… 圖框率自輸入至輸出 至輸出發生減;!。冑傳電影中,圖框率通常自輸入 反電傳電影模組51可分析輸人圖框,執行電傳電影伯 ’、’且基於在偵測階段期間識別之型樣進行校正。可基於 用於識別視訊格式轉換型樣之輸入圖場或圖框的數目對電 傳電影仙演算法分類。在電傳電影伯測演算法中使用的 147500.doc -23- 201127048 圖場之數目通常為2,亦即,視訊圖框之頂部及底部圖 場。然而’演算法可在電傳電影偵測中使用4個圖場(亦 即,兩個不同圖框之頂部及底部圖場)。亦可定義其他數 目個圖場’例如,5個或5個以上的輸入圖場。 然而’此大量資料之處理可需要大量電力及資源。電傳 電影演算法可進行圖框的之字形掃描以減少待處理的像素 之量。此外’為了減少由反電傳電影模組5丨執行的操作之 數目,可由反電傳電影模組51執行「一旦電傳電影型樣經 鎖定就停用反電傳電影」之技術。在此情況下,—旦發現 電傳電影型樣,就鎖定該型樣,且因此,反電傳電影模組 5 1不需要繼續存取新的輸入圖框,此可減少處理電力及頻 寬。然而,此類型之方法不減少由反電傳電影模組5丨使用 之輸入像素資料,.而相反,其減少反電傳電影模組51操作 之次數。因此,此類型之技術可能遺漏可在不良編輯期間 發生的電傳電影型樣改變。 本發明之技術提議有效的演算法來識別為電傳電影偵測 提取之像素資料。本發明之技術之優勢可包括在反電傳電 影過程中使用的像素量之減少,此可減小記憶體頻寬,而 不使反電傳電影效能降級,此外,藉由減少來自記憶體的 資料訊務之量及處理循環,所描述之技術可幫助支援將反 電傳電影應用至較高視訊解析度(諸如,高清晰度應用)。 所描述之技術不要求在位元流中傳送任何資訊來識別電傳 電影,相反,純粹地在視訊之内容上偵測電傳電影。 對於其中電力消耗為關注之問題之器件(諸如,無線器 I47500.doc •24 - 201127048 件),—所描述之反電傳電影技術可幫助相對於使用類似的 電力寸量之其他技術對於電傳電影伯測處理較多的圖框,其 ’助捉住在插入廣告及場景剪輯(scene⑽)期間發生的 不良編輯。本發明之記憶體頻寬及電力節約態樣可獨立於 電傳電影偵測演算法’且可與需要存取一圖框之至少兩個 圖場(例如’偶數及奇數圖場)之其他電傳電㈣測演算法 厂起使用。在此情況下’可藉由僅提取像素資料之部分來 達成優勢’其中像素資料之該等部分係藉由壓縮域統計資 料適應性地判定,或藉由下文更料描述之垂直取樣方法 決定性地判定。圖像之移動部分通常為用於電傳電影偵測 之較好指示器。因& ’關於具有大量運動之所關注區域執 行反電傳電影可提供良好的電傳電影偵測效能,同時減小 吕己憶體頻寬。此外,本發明之技術可藉由跟蹤運動向量及 由運動向量識別之參考圖像而利用已在視訊解碼期間提取 至内部記憶體的可用像素資料。 反電傳電影技術之兩個主要態樣為「電傳電影债測」 (亦即,視訊格式轉換偵測)及「電傳電影校正^除了此等 之外,「不良編輯偵測」亦可為反電傳電影技術之部分。 圖6為包括-電傳電影侦測階段61、一不良編輯偵測階段 62及-電傳電影校正階段63的電傳電影偵測單元η之基本 方塊圖。 電傳電影彳貞測61之基本目標為發現交錯式視訊是否已經 歷3:2視訊格式轉換、2:2視訊格式轉換或另—視訊格式= 換過程。圖框之「狀態」指如圖7中展示的視訊圖框之次 147500.doc •25· 201127048 序,且該等狀態可帶有哪些影片圖框組成視訊圖框之資 訊。舉例而言,Statej意謂五個視訊圖框之群中的第二視 訊圖框由第一影片圖框之頂部圖場及第二影片圖框之底部 圖場構成。類似地,State—4意謂五個視訊圖框之群中的第 四視訊圖框由第三影片圖框之頂部及底部圖場構成。 · 不良編輯偵測62之目標可為判定最初識別之視訊格式轉 . 換型樣是否隨時間經過而遭到破壞。為了示範,遭破壞之 視訊格式轉換型樣說明於圖8中。若如由圖8中之箭頭展 不,型樣遭到破壞,則必須識別新的視訊格弍轉換型樣之 開始點,以及下一個視訊圖框之新狀態。與3:2視訊格式 轉換相關聯的遭破壞之型樣說明於圖8中。 電傳電影校正63之目標為藉由使用由電傳電影谓測提供 之狀態資訊將視訊圖框轉換成影片圖框,如圖9中展示。 一旦視訊圖框狀態由電傳電影須測階段61正確地識別,則 校正可為相對直接的過程。詳言之,如圖9中展示,可根 據狀態資tfl執行校正。舉例而言’若將視訊圖框識別為
State_l、State一4或State—5,則不必進行改變。若視訊圖 框處於State 一2’則丢棄該圖框以進行校正。若視訊圖框處 方、State一3,則藉由自前一視訊圖框提取底部圖場且丟棄當 前視訊圖框之底部圖場來對其校正。此校正說明於圖9 : 中。 . 可基於由電傳電影偵測演算法用於識別視訊格式轉換型 樣的圖場之數目對電傳電影偵測演算法分類。在電傳電影 債測演算法中使用的圖場之最小數目為2,例如,視訊圖 147500.doc -26- 201127048 框之頂部及底部圖場,儘管可使用更多的圖場。亦可基於 在偵測過程中使用之量度來對電傳電影偵測演算法分類。 舉例而言,下文列出之以下量度可用於電傳電影偵測: •絕對差之和(SAD)
•絕對SAD •像素區塊參數 •像素統計資料 •運動 一些電傳電影演算法之基礎為像素差異化 differencing),例如,使用SAD量度。可計算兩個圖框之 對應的圖場之間的SAD以識別一特定圖場是否重複。舉例 而言,參看圖9,SState_2下之視訊圖框具有與在以价」 下之視訊圖框相同的頂部圖場。藉由在此等兩個頂部圖場 之間執行SAD且定出SAD值之臨限值,有可能識別頂部圖 場是否重複。 像素區塊參數亦可用於電傳電影演算法參數可包括内 容資訊,諸如,特定像素區塊中之邊緣。在此量度量測内 容改變而非像素值改變之意義上,此量度與SAD不同。使 .用像素統δ十資料類似於區塊參數方法,其中藉由使用一組 像素之平均值及方差來在兩個圖場之間進行比較。 在電傳電影偵測中通常不強調不良編輯偵測。一些演算 法可採取不同的視訊格式轉換型樣,但此通常並非較佳 的。不同的電傳電影偵測演算法就其在偵測中使用之參考 圖場的數目及選擇及其使用之量度而言可不同。本發明之 147500.doc •27· 201127048 各種態樣(尤其記憶體頻寬減小態樣)可與各種各樣的反電 傳電影演算法一起使用。 在一類型之反電傳電影演算法中,可使用SAD量度以便 識別電傳電影偵測。在此情況下,計算兩個連續的圖框之 相同的同位圖場之間的SAD。若一圖場之SAD值大於一預 設定之臨限值’則亦計算相反圖場之SAD值。若該SAD值 與相反圖場之SAD值相當,則未偵測到電傳電影。另一方 面’若相反圖場之SAD值較小,則識別「〇ut_0f—phase(異 相)」。若在State_2及State_4期間連绩地偵測到 out_of_phase ’則可鎖定電傳電影型樣。注意,在此演算 法之背景下,out_of_phase指視訊圖框之頂部或底部圖場 末自則一視圖框之父錯式視訊圖框。在已經歷3 :2視訊 格式轉換4貞測的五個視訊圖框之群中,應j貞測到 〇ut_of一phase 兩次:⑴在 State一2 與 StateJ 之間,(Π)在 State_4與State一3之間。圖1〇說明用於反電傳電影之此異相 偵測。 在此類型之反電傳電影演算法中可使用總計2個圖框, 亦即,4個圖場。然而,可藉由僅使用一圖框中的像素之 一部分來計算SAD,如本文中更詳細地概述。可以之字形 方式掃描影像’且可僅使用該影像之小部分。可在8位元 架構中實現SAD實施。在鎖定了電傳電影型樣且偵測到 State_2接著為State一4且接著為State_2後,演算法可執行 電傳電影校正,且輪出逆電傳電影内容。只要電傳電影型 樣在State_2及State_4處失效就可中斷輸出。對於下列情 147500.doc • 28 · 201127048 況^安原樣(亦即,無校正或改變)輸出視訊圖框: •若未偵測到電傳電影, •若不存在足夠的電傳電影歷史, •若電傳電影型樣中斷。 本七月之各種5己憶體頻寬減小態樣(下文更詳細地敍述 其)可適用於此等例示性反電傳電影方法中之任何者。然 而’此時本發明將集中於實施「電傳電影偵測」及「電傳 電影校正」模組或單元的提議之反電傳電影技術。 在此情況下,電傳電影偵測可按兩個主要階段進行:電 傳電影成本計算及電傳電影型樣分析。第三階段(電傳電 影校正)亦可形成反電傳電影演算法之部分。_為說明 此等三個階段之基本流程圖。成本計算單元⑴藉由使用 來自圖框之奇數及偶數圖場之像素而執行分析。此分析之 結果判定視訊圖像為真實的漸進式圖像或是真實的交錯式 圖像。成本計算階段U1之輸出可由電傳電影型樣分析單 元112使用。電傳電影型樣分析可實施於硬體、韌體及/或 軟體中。電傳電影型樣分析單元丨12分析輸入型樣,且檢 查其是否匹配標準3:2視訊格式轉換型樣或視訊格式轉 換型樣。若其匹配,則可鎖定電傳電影型樣,且可計算每 —圖像之狀態資訊。狀態資訊規定電傳電影校正單元〗13 是否將進行像素提取(pixel fetch)以用於電傳電影校正。 電傳電影成本計算單元丨丨!可使用一圖像之2個圖場(亦 即,偶數及奇數圖場)。當與使用2個以上圖場之其他演算 法相比較時,此類型之電傳電影成本計算在當實施於資源 147500.doc -29· 201127048 文限環境中時滿足低記憶體頻寬要求方面具有優勢。 即使提議之演算法經設計以偵測3 :2及2:2視訊格式轉換 型樣’其亦可易於被調整且用以偵測其他視訊格式轉換型 樣。單元112之型樣分析階段可易於被修改以偵測其他視 訊格式轉換型樣(若必要)。 電傳電影成本計算單元111中之「成本」可指示「經偵 測為異相的行數」,其中「異相」意謂圖像中之偶數及奇 數圖場來自不同的時刻。異相資料指示交錯。成本計算演 算法之目標基本上在於識別圖像是交錯式的或是漸進式 的。圖1 2為說明電傳電影之交錯式圖框之概念圖其中奇 數圖場及偶數圖場識別來自不同圖框之像素資料。 圖13為說明可由電傳電影成本計算單元(諸如,圖^中 展示之電傳電衫成本計算單元丨丨1 )執行的過程之流程圖。 如圖12中展不,電傳電影成本計算單元111識別要提取之 線(130) ’且自當前圖框提取垂直線,例如,自記憶體(未 圖不)(131)。電傳電影成本計算單元i u計算連續像素差 (132) ’且定出像素差之臨限值(133)。電傳電影成本計算 早/0111接下來計算垂直線中的連續峰及谷之長度(134)。 對於計算之每一長度(135),電傳電影成本計算單元^ 判定該長度是否大於長度臨限值Len—TH(.丨36) ^若如此 (「是」136),則電傳電影成本計算單元iu使 phase—counter(異相計數器)遞增(1 37),且接著判定該線是 否結束⑴8)。電傳電影成本計算單元⑴可針對該線中之 每-像素重複此過程,每#給定長度大於長度臨限值時, J47500.doc •30· 201127048 使out_〇f—phase_C〇unter遞增。一旦該線結束,電傳電影成 本计算單元111就判定out_of一phase_c〇unter是否大於計數 臨限值count_TH(139)。若如此(「是」139),則電傳電影 成本计算單元111將Out一of—Phase旗標設定至1 (14〇) ^若否 (否」1 39),則電傳電影成本計算單元111判定是否所有 垂直線皆結束(141)。 若需要考慮更多的垂直線(「否」14則電傳電影成 本計算單元111針對此等線重複該過程。然而,若電傳電 影成本計算單元111判定〇ut—〇f—phase_c〇unter小於計數臨 限值C0Unt_TH(「否」139)且所有垂直線結束(「是」 141),則電傳電影成本計算單元U1將〇ut—〇f—phase旗標設 疋至0。在此實例中,Out—〇f_Phase旗標為〇意謂圖框為漸 進式的,而Out一of_Phase旗標為i意謂圖框為交錯式的。 圖13之流程圖中展示之演算法可逐行地掃描且處理像素 值。首先,提取垂直線(亦即,圖像之行)^接著,如下計 算該行中的連續像素之差: d{x>y)=p{x,y)-p{x,y+ 1)(等式 1) (等式 2) 接下來’藉由以下等式定出像素差之臨限值: 广
其中等式3中之若等於!則表示峰,且若其為」則表示 谷。 為了在峰-谷判定中避免雜訊之影響,電傳電影成本, 147500.doc -31- 201127048 算單元111可使用像素臨限值A J ^可如下解釋該演算法 所基於之直覺判斷。若圖像經交錯,則奇數及偶數圖場將 具有高的相互間之相關性及類似的像素值。當其經交錯 時’如圖12中展示’圖像行之垂直方向上的連續像素將具 有交替的像素值。垂直方向上的像素強度之差將看起來如 同銀齒型樣。若在偶數圖場與奇數圖場之間存在運動,則 鑛齒型樣將非常顯著’而其在靜止區域中將不太顯著。交 錯式測試序列的鑛齒型樣之一實例展示於圖丨4中1 45處。 詳言之’型樣145展示對應於圖像中之移動之顯著的峰及 谷。然而’在該圖之對應於背景區域的另一部分中不存在 顯著的峰及谷型樣’且此種峰及谷的缺乏說明於146處。 在判定了峰及谷後,可如下計算連續的峰及谷之長度: 對於:列數){若(丨吹勿-你少+々卜=2)/例种勿++ ;否則 length(y)=〇·,} (等式 4) 若連續的峰及谷之長度高於臨限值,則將該行 識別為out_of_phase,且使0ut_0f_phase計數器增加。基於 影像之解析度調整。 右(Jength(y)>(len_th))使_〇ut—of_phase_counter(t)遞增。(等式 5) 接著,作為最後步驟,可將偵測為out—〇f_phase的行之 數目與一臨限值比較。若偵測為〇ut-0f_phase的行之數目 大於伙,則可將整個圖像識別為out_〇f_phase,且用 一進位標籤「1」表示。若〇ut —〇f—phase行之數目小於臨限 值’則該圖像被識別為in_phase(同相)且由二進位標藏 「〇」表示。換言之: 147500.doc •32· 201127048 picture—label(t) =〇; (等式 6) 在一些實施中,該過程之早期終止可能在行層級中及在 圖像層級中發生。在行層級早期終止中,一旦連續峰及谷 之長度超過臨限值,演算法就可停止處理當前行且 移至下一行。在圖像層級早期終止中,一旦達到某一百分 比臨限值(例如,j/z),就可能無必要檢查隨後的 行。 電傳電影型樣分析單元112可分析連續圖像之 picture—label資訊,且識別輸入視訊是否具有3:2或是2:2視 訊格式轉換型樣。此外,電傳電影型樣分析單元n2可基 於視sfL格式轉換型樣之開始狀態而判定每一圖框之狀態資 訊。正確的3··2視訊格式轉換型樣及圖像標籤展示於圖15 中。詳言之,正確的3:2視訊格式轉換型樣可由以下位元 型樣表示: CPD_32=[〇ll〇00110〇〇ll〇〇〇ii〇〇〇ii〇 〇 〇n〇 〇...](等式 7) 自以上等式8可看出[〇 1 1 〇 〇]為在cpd_3 2中重複自身 的基本位元型樣。注意,該型樣可被移位且可自Cpd_32 之第2行或第3行開始。雖然等式7可表示最常見之型樣, 但不存在指定視訊格式轉換型樣之偏差值的標準。因此, 可能有必要考慮所有可能的偏差以正確地偵測視訊格式轉 換型樣。以下呈現具有偏差2的同一 3:2視訊格式轉換型樣 之一實例。 147500.doc -33- 201127048 CPD_32=[10001 10001 10001 10001 10 0 01 10 0 0:L.·](等式 8) 以數學方式,若滿足以下等式,則可發現正確的型樣: 若([picture_label(t-4) picture一label(t-3) picture_label(t-2) picture_label(t-l) picture—label(t)]=:
Pattern_ID(l) || Pattern_ID(2) || Pattern_ID(3) || Pattern_ID(4) || Pattern_ID(5)) set
Picture_ID = get_ID(Pattern_ID); (等式9) 其中i表示時間,丨I為OR運算,且以下給出具有不同偏差的
Pattern一ID。 l=Pattern_ID(l)=[0 110 0] 2=Pattern_ID(2)=[l 1 0 0 0] 3=Pattern_ID(3)=[l 0 0 0 1] (等式 10) 4=Pattern_ID(4)=[0 0 0 1 1] 5=Pattern_ID(5) = [0 0 110] 通常,該演算法可早在第五個圖框發現第一個3 :2視訊 格式轉換型樣。然而,如在圖1 5之三個實例中之每一者中 展示,若在6個型樣中(亦即,在第30個圖框後)發現四個基 本型樣,則可能需要鎖定3:2視訊格式轉換型樣。若早早 地鎖定型樣,則存在不正確的電傳電影偵測之危險,其又 可影響電傳電影校正,且最終導致不良視訊品質。 一旦鎖定了視訊格式轉換型樣,則可識別每一圖像之狀 態。可易於藉由如以下表1中展示之表查詢方法發現每一 圖像之狀態。 147500.doc •34· 201127048 表1判定圖像狀態 圖像ID 1 = ί〇 1 1 0 0] 2=fl 1 0 001 3 = ri 〇〇〇 11 4 = r〇 ο ο ι li 5 = Γ0 〇 1 1 〇l 圖像狀態 State 5 State 1 State 2 State 3 State 4 2:2(亦即,2:2:2:2:2:2:2:2:2:2:2:3)視訊格式轉換型樣偵 測程序可類似於3:2視訊格式轉換情況。差異在於2:2視訊 格式轉換具有特定的正確視訊格式轉換型樣(等式11中展 不)’且因為基本2:2型樣在長度上與3:2視訊格式轉換基本 型樣相比較大,所以鎖定時間較長。 CPD_22=[〇〇〇〇〇〇〇〇〇〇〇〇1 ! 1 1 1 l ι ! 1 1 1 1 1 0 〇〇〇〇〇〇〇〇〇 〇 〇 1 1 1 1 1 1 1 1 1 1 1 1 1...](等式 在不同實施中可易於修改諸如「檢查的型樣之數目」及 「正確視訊格式轉換型樣」之參數。 電傳電影校正單元113藉由使用由電傳電影偵測提供之 狀態資訊而將視訊圖框轉換成影片圖框,該電傳電影偵測 由電傳電影成本計算單元U1及電傳雹影型樣分析單元ιΐ2 執行。一旦視訊圖框狀態由電傳電影偵測過程正確地識 別’則電傳電影校正就是相對直接的過程。在提取圖樞用 於顯示時進行電傳電影校正。簡單地,在電傳電影校正期 間’可每五個圖框拋棄一圖框’且以此方式,可自每秒% 個圖框的視訊獲得每秒24個圖框。 電傳電影_可涉及儲存電傳電影型樣,同時維護圖像 狀態機(picture state machine)。電傳電影谓測模組或單元 可對電傳電影校正模組或單元通知圖像狀態資訊。狀離次 訊指示要為電傳電影校正執行的提取動作之類型。可= I47500.doc •35· 201127048 如表2中展示之每—狀態執行不同的電傳電影校正動作
表2電傳電影枋Π:由+ l A
電傳電影偵測可對顯示器(例如,圖3之顯示器件3〇)通 知正綠的緩衝器位置及正確的(⑶咖)動作(例如 提取或校正提取卜若圖像狀態為一 S— S她」,則無動作係必要的。換言之,其為漸進式圖框, 且將漸進式地提取其。若圖像處於_」下,則將盆抛 棄。若圖像處於狀態State_3下,則其意·像處於交錯式 格式下且需要藉由將圖像之當前底部圖場與前一圖像之底 部圖場交換來加以校正。此校正性提取說明於圖㈣,其 中將當前圖框161之奇數圖場與先前圖框162之偶數圖場组 合以形成編織圖框163。 電傳電影谓測模組可實施於視訊解碼器内。此為方便的 位置’因為®框巾由電傳電影㈣單元使料像素中之一 半以上可已在内部記憶體中,且在此情況下不需要自外部 記憶體提取。此實施在減少與記憶體提取相關聯之資料訊 務(亦即,減少記憶體頻寬之使用)方面提供優勢。一旦偵 測到電傳電影,則可將諸如「影片模式旗標」及「圖像狀 :、」之資Dil發送至電傳電影校正模組。在電傳電影校正 經校正之圖框可由像素處理管線處理’像素處理管線 可包括用於影像縮放、銳化及增強及可能的其他影像處理 147500,d〇e -36 - 201127048 之演算法。 本發明之技術之一實施展示於圖]7中,其為器件2〇〇之 組合方塊圖及流程圖。最初,器件2〇〇檢查輸入是否為交 在曰式格式(201)。右其為交錯式(「是」2〇1)且若電傳電影 偵測旗標為開啟(「是」202) ’則電傳電影偵測由電傳電影 偵測單元203執行,電傳電影偵測單元2〇3包括一電傳電影 成本計算單元2G4、-圖框層級電傳電影標籤計算單元2〇5 及一電傳電影型樣偵測單元206。若輸入視訊不處於交錯 式格式,則略過整個反電傳電影過程(偵測及校正兩者)。 若輸入處於交錯式格式且電傳電景彡㈣旗標為關閉,則略 過電傳電㈣測’基於由狀態機提供之狀態f訊執行電傳 電影校正。在DVD中可存在特殊情況(或缺陷),其中即使 内合原始經父錯,模式亦未被設定至交錯式。對於彼等情 況,可略過單元201。 在解碼之開始’電傳電影偵測旗標可自動地為開啟。然 而一發現且鎖定視訊格式轉換型樣,則可關閉旗標。 電傳電影伯測旗標可由標記為更新電傳電影偵測單元207 之電傳電衫更新」模組控制。此更新電傳電影僧測單元 207允。午實現按規則時間間隔之電傳電影摘測(即使視訊格 式轉換型樣可能被鎖定),且可幫助該演算法識別潛在 「不良編輯」。 田電傳電衫偵測旗標為開啟(「是」2叫時,該演算法 -第v驟可為執行「成本計算」。電傳電影成本計算單 一 出、、里傳遞至圖框層級電傳電影標籤計算單元 147500.doc -37- 201127048 205,在圖框層級電傳電影標籤計算單元2〇5中識別每一圖 像之狀態。每一圖像之狀態資訊由電傳電影型樣偵測單元 206(如本文中描述)用以判定視訊是否被電傳電影。若發現 視訊格式轉換型樣,則鎖定電傳電影且開啟「影片模式旗 標」。當影片模式旗標為開啟(「是」2〇8)時,器件2〇〇可計 算每一圖像之狀態。由於對於每一狀態存在不同的校正方 法,因此狀態資訊規定電傳電影校正單元2〇9如何執行校 正。
Frame-State計算單元21〇可計算每—圖像之狀態且輸 出Frame_State。若Frame—State為F3,則電傳電影校正單 兀209執行State_F3電傳電影校正2丨2,如以上對於狀態3描 述。若Frame一State為狀態i、4或5(「是」213),則將彼= 圖框輸出為漸進式圖框。若Frame_State為狀態2(「是」 214),則過程結束,且對於彼圖框不輸出任何内容亦 即,在反電傳電影校正過程中丟棄狀態2中之圖框。 若影片模式旗標為關閉,則去交錯由去交錯單元215應 用於圖框上。視實施平台而《,可將演算法之不同部分分 割到硬體或軟體中。 外如圖18中所示,可基於每個像純行電傳電影成本計 算。舉例而言’此過程可以逐行方式掃描且處理像素值。 21中之X:丨、X°、X,表示行中之連續像素,其中X。為當前 像素。當將LineLevel—te丨ecine.測旗標設定至"「是」 402)時,可使Row_c〇遞增(4〇3),且可執行以下步驟:」 1·取X。與x-i之差’且將差設定至D叫可將加法器4 147500.doc -38- 201127048 單元(negative unit)404用於此等運算) 2. 若〇丨£"1>丁11,則設定?1 = 1(409及4]:4);若〇丨£1<-丁11,則 設定 Pl=-1(408及 413),否則設定 ρι=〇(412)。 3. 取乂1與又0之差’且將差設定至Dif2(可將加法器407及負 單元406用於此等運算) 4. 若 Dif2> TH,則設定 P2 = l(411及 41 7);若 Dif2 <-TH,則 設定 P2=-l(410及 416),否則設定 P2 = 0(415) 5. 取P1與P2之差的絕對值,且將其設定至ADif(可將加法 器419及負單元418用於差異運算,且ABS單元420可執 行絕對值運算)。 6_若ADif=2,則增加彼行(亦即,第i行)之Len_count Π](「是」422 及 421);若 ADif矣 2,貝|J 設定 Len_count[i] = 0( Γ 否」422及 423) 7. 若 Len_count[i]2Th2,則設定 Line_.OOPhase[i]= 1,且設 定 LineLevelTelecineDetectionFlag=0(「是 j 425、424及 427) 8. 若Len_count[i]<Th2且若Row_count達到最大(亦即,行 中之所有像素皆經處理),則設定Line_OOPhase[i] = 0( Γ否」425、「是」426及428) 9. 若 Len_count[i]<Th2,但 Row_courit 尚未達到最大(亦 即,並非行中之所有像素皆經處理),則設定 Line_OOPhase[i] = l且繼續處理行中之下一個像素 (「否」425、「否」426及429) 現參看圖19,在處理了所有像素後’可(例如)經由軟體 147500.doc -39· 201127048 處理指定每—行為同相(亦即,展示漸進式特性)或是異相 (亦即’展示交錯式特性)的Line_00Phase[]。將
Llne—C〇Unt設定至對應的 Line_〇〇Phase[i]之總和(221)。若 為異相的行之數目大於ΤΉ3(「是」222),則將圖像標籤設 定至1(223)(指定其係交錯式),否則將其設定至0(224)(指 定其係漸進式)。 電傳電影型樣分析及偵測中的例示性演算法之綜述呈現 於圖20中。電傳電影型樣分析及偵測演算法可識別型樣 ID(231) ’更新圖場標籤(233),檢查電傳電影(TC)型樣 (232),及更新型樣ID(234)。 若發現了電傳電影型樣(「是」235),則該演算法將 FilmMode旗;^ 设疋至 1(236) ’ 將 TelecineDetection旗標設 疋至0(237),且設定當前frame—sUte(238)。若未發現電傳 電影型樣(「否」235),則該演算法將FiimM〇deB標設定 至 0(239),將TelecineDetection旗標設定至 1(240),且將當 前 frame_state設定至 F0(241)。 可將至圖2 0中展示的演算法之輸入僅視為每一圖像之 圖像標籤」。該演算法分析在時間窗内的圖像之標籤且 決定是否將視訊電傳電影。該演算法之輸出為由電傳電影 校正模組使用之「影片模式決策」及「圖框狀態」。圖2〇 之演算法之個別步驟可總結如下: 1. 基於當則圖像標籤及先别圖像標籤,識別當前圖像之型 樣ID 〇 2. 藉由使用判定之當前型樣ID及先前型樣⑴,檢查是否存 147500.doc -40- 201127048 在電傳電影型樣。 3.若發現電傳電影型樣, ,,Φ 將衫片模式旗標設定至1,且 =專電影_旗標設定為G。判U前圖像之狀態。(電 =貞測旗標=G意謂將不對連續的圖框執行電傳電影谓 ^成本計算及型樣分析]。將基於由狀態機提供之狀 也資訊執行連續圖框之校正)。 4.若未發現電傳電影型樣,則將影月模式旗標設定至〇, 且將電傳電影伯測旅彳φ M t s, h制旗‘叹疋至i。亦將圖像之當前狀態設 電傳電影偵測旗標=0意謂將對連續的圖框執行電 能^偵測[包括成本計算及型樣分析]。將圖像之當前狀 :一疋為0意謂將不對當前圖像執行校正。在此情況下, 電傳電影校正單元可漸進式地提取圖框)。 發現圖框之型樣11}的過程可簡單地涉及將5個圖框之圖 像標籤置於—陣列中、執行與五個預定範本之範本匹配, 及發現當前圖像之型樣ID。在3:2視訊格式轉換中,此處 有五個可能型樣選項’其在以下表3中給出’具有對應的 狀態。若自輸入視訊獲得之型樣不匹配五個可能型樣選項 中之任—者(若輸入未經電傳電影或演算法不能識別該型 樣,則其為可能的)’則可將一虛設型樣ID指派至圖像(見 147500.doc •41 - 201127048 表3型樣陣列及其對應的ID及圖像狀態 型樣ID 型樣陣列 圖像狀態 1 [〇 1 1 0 01 State 5 (F5) 2 Π 1 00 01 State 1 (FI) 3 [1 000 11 State 2 (F2) 4 [〇〇〇 1 η State 3 (F3) 5 『0 0 1 1 01 State 4 (F4) 如圖21中展示,用於定義圖框之型樣1〇的演算法可包括 在形成當前標籤陣列(46 1)之過程中設定五個不同陣列 (463、464、465、466及467)。可更新圖框標籤462,如在 步驟468、469、470及471處說明。接著基於在472、474、 476、478及480中列出之不同陣列而設定型樣ID(474、 475、477、479及48 1)。若此等陣列中無一者被識別,則 為10之型樣ID(482)可表示此事實。 亦可執行電傳電影檢查階段❶電傳電影型樣檢查為判定 是否存在電傳電影型樣之另一簡單步驟。至此階段之輸入 可為按以上概述之方式獲得的當前型樣ID。藉由使用當前 型樣ID以及來自先前圖框的儲存之型樣id來偵測電傳電影 型樣。在以下表4中給出正確的3 :2視訊格式轉換型樣及對 應的型樣ID。可發現3:2視訊格式轉換型樣,且若連續型 樣ID具有為1的差’則可將TC_Pattern_Flag設定至1(如圖 22中展示)。否則,可將TC_Pattern_Flag設定至〇,且對連 續圖像應用電傳電影偵測演算法。 147500.doc • 42· 201127048 表4 CPP-32 ο 1 1 ο ο ο 1 1 ο ο ο 1 1 ο 0 0 1 1 0 0 ο 1 1 ο ο ο , , 0 埤樣丨时10)_ 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 _ 1 1 1 1 -4 1 1 1 1 ·4 1 1 1 1 4 1 I 1 1 4 1 1 1 ,
Mods(PID-Dif)_ 11111 1111 1 1 ι ι , t ι ι ι ι i !,,, 圖22說明可藉由反電傳電影過程之電傳電影型樣檢查狀 態實施的電傳電影型樣檢查過程。可在步驟5〇 1、502、 5〇4、505、506及507處設定各種參數,且可在步驟507及 508中調整值,直至將k值減小至1,其中k為型樣ID陣列之 指數。接著可在步驟509、510、511中設定值,且若 Pat_ID_Diff等於1(「是」512)且k尚未減小至1(513及 「否」5 14) ’則對值進行調整。若k為一,則此時將電傳 電影型樣旗標設定至1(516)。若Pat_ID_Diff不等於 1(「否」512),則將電傳電影型樣旗標設定至1(515)。 一旦發現型樣ID ’判定圖像狀態就是如圖2 3中及上表3 中展示之簡單的表查詢程序。在此實例中,若型樣ID為1 (「是」261),則將圖框狀態設定至5(262)。若型樣10為2 (厂是」263),則將圖框狀態設定至1(264)。若型樣10為3 (「是」265) ’則將圖框狀態設定至2(266)。若型樣10為4 (「是」267) ’則將圖框狀態設定至3(268)。若型樣1〇為5 (「是」269),則將圖框狀態設定至4(270)。否則,將圖框 狀態設定至0(271)。 在電傳電影偵測演算法識別一視訊格式轉換型樣且鎖定 一狀態後,狀態機可維護連續圖像之狀態資訊。舉例而 147500.doc -43- 201127048 言,若在SUte_2期間鎖定了型樣,則下一個圖像之狀態變 為State」’接著State一4,接料他_5,接著3她—ρι,且 返回至State一2。圖24說明自狀態2(274)改變至狀態3(275) 改變至狀態4(276)改變至狀態5(277)改變至狀態1(273)且接 著重複此等改變之狀態機。以此方式,假定電傳電影過程 不改變(亦即’假;t不存在「不良編輯」),._旦發現—圖 框之狀態,則應知曉隨後圖框之隨後狀態。 電傳電影旗標更新過程展示於圖25中。使計數遞減 (281),且若計數為非零(「否」282),則可將電傳電影偵 測旗標設定至零(283)。若計數為零(「是」282),則可將 计數重设至30(284) ’且可將電傳電影偵測旗標設定至— (285)〇 在解碼之開始,電傳電影偵測旗標將自動地為開啟。— 旦發現且鎖定了視訊格式轉換型樣,則可關閉旗標。電傳 電影偵測旗標可由「電傳電影更新」模組控制。此「電傳 電影更新」模組允許實現按規則時間間隔之電傳電影偵測 (即使可能已鎖定一視訊格式轉換型樣)。可將更新「間 隔」a又疋至1秒,例如,3 〇個圖框。一旦鎖定了型樣,則 該過程可等待一秒(由圖25中之TC更新計數控制)以再次開 始檢查電傳電影’且將電傳電影偵測旗標設定為開啟。若 需要’可改變時間間隔。諸如1分鐘(丨8〇〇個圖框)或丨〇分鐘 (1 8000個圖框)之較長等待週期亦係可能的。此幫助該演算 法識別潛在「不良編輯」。若等待週期過長,則可能遺漏 不良編輯位置。若等待週期過短且不存在視訊之視訊格式 147500.doc • 44- 201127048 轉換型樣改變,則脾I丄 w將發生不必要的電力消耗。 按在圖26中說明夕士 a 之方式,可當提取圖框用於顯示時執 電傳電影校正。如上Μ、+. _ ^ ^ 丁 枚^ 上概述,電傳電影型樣可由狀態機維 3又電傳電影⑽及狀態判定後,視訊單元對顯示器通 知正確的緩衝11位置及行為(漸進式提取或校正提取)。再 一次’可將State」、state_3及她—5視為3:2視訊格式轉 換中的漸進式狀態。若圖像狀態為State」、State_3或 e_5則不必進行動作。換言之,狀態j、3或5中之圖 框可為將在顯示器處理器中漸進式提取的漸進式圖框。若 圖像處於State—2下’則諸拋棄,且不提取或顯示。換言 之,視訊單元不將該圖框傳遞至顯示器,且因此,顯示器 處理器將不自視訊緩衝器提取其。在3:2視訊格式轉換 中,此針對每5個圖框中之丨個圖框發生。若圖像處於 State_3下’則其意謂圖像處於交錯式格式下且需要藉由將 圖像之當前底部圖場與視訊序列中的前一圖像之底部圖場 父換來加以校正。在圖26中,將此表示為「校正」。在彼 視訊單元將時序間隔自1/3〇秒調整至1/24秒後,視訊單元 可藉由執行與高清晰度多媒體介面(HD]y[I)規格一致的 HDMI交握技術將此内容標記為24p。 圖27為說明電傳電影校正之综述且進一步展示一實施可 月t*性之流程圖。在此例示性實施中,在單元或模組3〇1中 執行步驟303、304及305,而在單元或模組3〇2中執行步驟 3〇6、307、308及309。正常地提取狀態〇、1、4及5下的圖 框(「是」303)。丟棄狀態2下的圖框(「是」3〇5)。將狀態 147500.doc •45· 201127048 3下的圖框(「是」304)傳遞至單元或模組3〇2,使得可與步 驟306、3 07、3 08及309—致地執行校正性去交錯提取。
Line—OOPhase儲存每一行之相位資訊。可傳遞此資訊以 識別整個圖框之相位資訊。TH1及TH2為由成本計算演算 法使用之臨限值,且其可被控制(亦即,基於視訊之解析 度來 s周整)。Frame_Level_Telecine_Detecti〇n_Flag控制著 是否執行成本計算。 根據本發明之另一態樣,當執行電傳電影偵測時,可能 非常需要評估圖框之一部分。藉由減少提取的像素之數 目,可達成記憶體頻寬及記憶體使用之減少。存在為了電 傳電影偵測之目的的圖框之部分提取之若干選項,其中之 一些說明於圖28中,在圖28中圖框之經提取之部分用陰影 展示。 •選項0 :整個圖框 •選項1 :圖框之左半邊(圖28之情況1) •選項2:圖框之右半邊(圖28之情況2) •選項3 ·頂部一半(圖2 8之情況3) •選項4:底部一半(圖28之情況4) •選項5 :中部(圖28之情況5)
•垂直取樣A 。選項6-2 :取樣因數=2(圖28之情況6_2) 〇選項6-4 :取樣因數=4(圖28之情況6_4) 〇選項6-8 :取樣因數=8(圖28之情況6_8) 〇選項6-16 :取樣因數=16(圖28之情況616) I47500.doc * 46 - 201127048
•垂直取樣B 〇選項7 .為了電傳電影情測,檢查16個行中之4個(圖 28之情況7) 就在執行反電傳4影演算法前預定了資料提取之類型而 言’為了電傳電影债測之目的的資料之部分提取之不同選 項可在本文中被稱作「決定性」提取。換言之以決定性 方式而不考慮任何位元流統計資料來決定待提取之資料。 然而,在另—模式下,待提取之資料可藉由位元流資訊適 應性地判定。 在一決定性方法中,自外部記憶體提取待用於電傳電影 债測的圖框之特定部分。再—次,圖28說明若干不同取樣 選項’其中之每一者可經定義且用於資料之決定性提取以 避免提取與圖框相關聯之所有資料的需要,但提供用於反 電傳電影之目的的圖框之足夠樣本。目標基本上為減少提 取的像素之數目’而不使電傳電影偵測之效能降級。可以 如同在圖2 8之i · 5之情況中的全域方式或藉由使用如6 _ 2之 情況中的垂直取樣來進行對提取的像素數目之減少。 歸因於幾乎所有電傳電影偵測使用垂直相關且水平取樣 將失去(loose)對於電傳電影偵測為必要之重 實,水平取樣並非較佳。,然而’水平取樣對於—些視訊格 式可有用’且本發明大體上設想水平取樣,儘管垂直取樣 似乎更適合於電傳電影偵測。包括圖28之情況7的一些情 況可允許在巨集區塊層級上取樣,其當將本發明之技術與 諸如H.264視訊解碼器的視訊處理器結合使用時可為有益 147500.doc -47- 201127048 的。 如所提及,適應性提取亦可為理想的,且可充分利用在 視訊解碼過程中使用之類似視訊資料的記憶體載入以便促 進基於此已可用的資料之電傳電影偵測。在此情況下,經 提取用於反電傳電影演算法的資料量可視視訊之運動向量 及巨集區塊模式統計資料以及GOP(圖像群組)結構而定。 圖29為說明「IBP」圖像群組(G〇p)結構之解碼及顯示次 序之概念圖。在此段落中,可互換地使用術語「圖像」與 「圖框」。IBP GOP結構包括B圖像、p圖像及丨圖像。基於 其他圖像交錯B圖像與〗圖像。詳言之,藉由先前及接下來 的P圖像雙向預測B圖像,而藉由使用先前p(或1}圖像預測 P圖像。I圖像經框内寫碼,意謂其不視任何其他圖像而 定,但係基於彼同一圖像内之資料而寫碼。在反電傳電影 中可月b而要同時處理當前圖像(亦即,當前偶數圖場)及 先前圖像(亦即,奇數圖場)以收集足夠的像素統計資料以 用於電傳電影偵測。然而,歸因於顯示與解碼次序之間的 差異(如圖29中所示)’必須仔細地使反電傳電影資料提取 與解碼次序同步。 圖30說明針對如在圖29中說明之IBp G〇p結構的iBp GOP結構之在反電傳電影資料提取與由解碼器進行之預測 解碼之間的例示性同步。舉例而言,當解碼來自B3之巨集 區塊時,B3的經重建構之巨集區塊像素可儲存於處理器核 心之内部記憶體令,且該處理器核心可執行解碼過程及反 電傳電影過程兩者。對於反電傳電影,可能需要自外部記 147500.doc •48· 201127048 憶體提取早3個圖像時被解碼之p2。然而,可檢查内 憶體(例如’内部快取記憶體)以查看共置Μ — ):;〗 巨集區塊是否已存在於快取記憶體中。若當前B3 MB巨集 品鬼使用共置之P2巨集區塊(或該巨集區塊之部分)作為用 於運動補償之參考,則其(或其部分)通f將處於快取記憶 而,若當刖B3巨集區塊不使用p2作為用於運動補 償,參考,則為了反電傳電影之目的可能需要自外部記憶 體^取P2巨集區塊。IBp G〇p結構與反電傳電影資料提取 非:相容。此係歸因於B圖像通常使用前一p圖像進行運動 補償之事實 '然而,在1BBP GOP結構中,P圖像之間的第 圖像(例如,圖3 1中之B5)不使用先前B圖像(B4)作為參 考’因此,通常將需要自外部記憶體提取此資料以便執行 電傳電影偵測。 圖31。兒明IBBP GOP結構之—典型的解碼次序。IBp G〇p 結=與反電傳電影資料提取非常相容。此係歸因於b圖像 通韦使用前- p圖像進行運動補償之事實。然而,在 G〇P結構中,p圖像之間的第圖像(例如,圖η中之B5) 不使用先刖Β圖像(Β4)作為參考’因此,通常將需要自外 邛6己憶體提取此資料以便執行電傳電影偵測。 因此’當使用IBBP GOP結構時,可能需要更複雜的過 程來使與解職反電傳電影相_之資料提取同步。此同 步之-實例示範於圖32中。對於此情况,反電傳電影過程 需要處理以下的圖場耦合:I〇_m、Β2_ρ3、β4·Β5、ρ6_Β7 及Β8-Ρ9。舉例而言’當處理Β2_ρ3圖場耦合時,應在以之 147500.doc •49· 201127048 解碼期間應用電傳電影偵測演算法,因為P3被較早地解 碼。可在解碼B5後執行下一個反電傳電影資料提取(例 如’ B4-B5圖場耦合)。比較IBP與IBBP結構,可看出,對 方;1BBP之資料提取不如對於!BP結構經常。在iBp g〇p 中母隔—個圖場提取反電傳電影資料’然而,在ibbp G〇P中,有時連續地(例如’在B 1之解碼期間且接著在B2 之解碼期間)且有時每二個圖場(例如,在B 5之解碼期間)提 取反電傳電影資料。雖然此等提取可能不影響反電傳電影 /臾异法效能,但若未按規則間隔執行反電傳電影資料提 取’則該等提取可能引起解碼期間的頻寬抖動。 本舍明提議適應性提取技術以便充分利用用於預測寫碼 之資料提取,且藉此避免為了反電傳電影之目的的重複資 料提取。提議之適應性提取演算法可分析位元流資訊以減 少用於像素提取之頻寬。論述用於適應性提取之至少兩個 不同方法。在第一方法中,可假設存取整個圖框的位元流 統計資料。在此情況下,可基於全域統計資料作出識別提 取那些像素之決策。在第二方法中,可假定存取部分統計 資料(並非整個圖框),且在此情況下,可基於此可用之資 訊作出關於要提取之像素的決策。 在一些情況下,可存在對整個圖框統計資料之完整存 取在此情況下,反電傳電影單元可檢查是否按mb AFF格 式編碼巨集區塊(其中MBAFF代表巨集區塊適應性圖框/圖 致)若知MB AFF格式編碼巨集區塊,則可能已為了預測 視解碼之目的將當前及先前圖場(亦即,圖框之偶數及 I47500.doc -50· 201127048 奇數圖場)儲存於記憶體中。在此情況下,反電傳電影單 元不需要提取與先前圖場相關聯之像素資料。然而,若未 按MBAFF格式編碼巨集區塊,則反電傳電影單元可能需要 提取此資料’例如,如在圖33及圖34中所說明。 如在圖33中展示,反電傳電影單元29可判定巨集區塊 (MB)是否處於MBAFF格式(361)。若如此(「是」361),則 反電傳電影單元29可基於運動統計資料選擇一待提取之像 素區(362)。若否(「否」361),則反電傳電影單元29可基 於圖像痛型、GOP結構、運動及巨集區塊之所使用的運動 向量參考圖框選擇一待提取之像素區。 如圖34 t所示,反電傳電影單元29可藉由將 block_ls_vaiid位元設定至零(372)來開始對區塊之處理 (3 71) °反電傳電影單元29可判定區塊是否經框間寫碼 (3 73)就框内寫碼之區塊是基於同一區塊内之資料而非來 自/、他區塊之資料而寫碼而言,框内寫碼之區塊的反電傳 電'V不會戈益於本發明的將來自預測寫碼之資料再使用於 反電傳電影的態樣。若區塊經框間寫碼(「是」373),則反 電專電〜單元29可計算參考圖像之顯示次序(3 74),且判定 參考圖像是否為緊接在前之圖場(375)。 右參考圖像為緊接在前之圖場(「是」375),則反電傳 電^影單元29可判定運動向量是否為零(376)。若如此 」376) ’則反電傳電影單元29可將bi〇ck_is_valid位 ""又至2。若參考圖像為緊接在前之圖場(「是」375), 運動向里不為零(「否」376)且運動向量小於乘以臨限值 147500.doc 201127048 (TH1)之block_size,則反電傳電影單元29可將block_ is一valid位元設定至1。可對圖框之每個區塊(或圖框之一子 集之每個區塊)重複此過程,直至達到最後一個區塊 (380)。在達到最後一個區塊(「是」380)後,反電傳電影 單元 29 可形成 block_validity_map(381)且基於 block— validity—map計算逐行區塊統計資料(382)。M〇ck— validity_map可基本上將區塊識別為具有位元〇、1或2。位 兀2意謂用於彼巨集區塊之資料已儲存於記憶體中,位元i 思s月用於彼巨集區塊之一些資料可能儲存於記憶體中,且 位元0意謂無用於彼巨集區塊之資料儲存於記憶體中。因 此,藉由形成block_validity_map,可將有用的資料行(例 如,block_vahd—bit主要等於2之行)用於反電傳電影之目 的。此等行可對應於已儲存於記憶體中之資料,且因此, 可避免此資料之記憶體提取。 換3之’反電傳電影單元29可處理所有區塊,且分析區 鬼先十資料以形成「b丨。ck一⑽⑻以」映射。重十於每一區 艽〇 .、2之間的值。較大值暗示可在内部記憶體中發 幫助減j、頻寬之較好區塊’亦即,來自先前圖場之整個 J塊,區塊之大部分。對於每—區塊,首先檢查區塊模 二。右:為框間模式且運動參考緊接在前之圖框且此外若 運動向量為零,則反電傳電影單元29可將區塊標籤設定為 久电得電影單元29 兩 了找運動向量之原因在於:對 電傳電影偵測,需要來自弈& 而要來自先别圖場的共置(collocate) 147500.doc -52- 201127048 塊。若運動向量不為零,但小於苹一 旦,呆l限值,則反電傳電 衫早兀29可將區塊標籤設定至i。 匕%诅1思谓將用於電傳 '“貞測之共置區塊的部分處於内部記憶體中,且僅必須 自外部提取其部分。區塊值0意謂先前圖場中的共置區塊 不可用’且必須全部加以提取。在處理了所有區塊後,反 電傳電影單元29可形成biGek_validhy_map 1映射之一實 例展示於圖35申。 洋吕之,圖35展示一實例區塊有效性映射385,其包含 叹疋至值0、1或2之一組有效位元。值2意謂用於一對應的 視訊區塊之所有資料已儲存於内部記憶體中,值丨意謂用 於對應的視訊區塊之資料中的一些已儲存於内部記憶體 中且值〇意謂無對應的視訊區塊已儲存於内部記憶體 中。如可自區塊有效性映射385看出,第六列及第十列全 為「2」,其意謂此等列中之每一視訊區塊將具有已儲存於 内部記憶體中之對應的視訊區塊。反電傳電影單元可在執 行電傳電影偵測之過程中偏好使用此等列,因為就為了預 測寫瑪之目的可能已將資料儲存於内部記憶體中而言,對 於此等列,可避免資料提取。 圖36為說明分析諸如圖35之區塊有效性映射385的有效 性映射之過程之流程圖。如所示,在開始映射(391)後,反 電傳電影單元29處理一行(392)。對於每一行,反電傳電影 單元29計數被指派有值〇、1及2的視訊區塊之數目。若— 輸入項為〇(「是」393),則使0一counter遞增(394)。若一輸 入項為1 (「是」395) ’則使l_counter遞增(396)。若一輸入 147500.doc •53- 201127048 項為2(「否」395),則使2—⑶仙…遞增(397)。對每一行重 複該過程(「是」394),直至已考慮所有行(「.是」394), 在此時’結束對該映射之考慮(399)。 圖37為說明對有效性映射之分析的流程圖。在此情況 下’反電傳電影單元29内之映射單元(未圖示)接收與 0_c〇imter、c〇unter及2—c〇unter相關聯之輸入。映射單 兀基於該等計數器對行排名。2_c〇unter之較高值導致較高 排名而〇~counter之較高值導致較低排名。反電傳電影單 兀29可判定N(4〇1),其中在此情況下,1^對應於待用於反 電傳電影的行之數目。基於該等排名,映射單元可接著自 有效性映射選取待用於反電傳電影的N個行。映射單元可 接著輸出與最理想的行數目相關聯之像素,且將此資料遞 送至内部記憶體,且由反電傳電影單元29使用(405)。就資 料已儲存於内部記憶體中(例如,指派有值2之區塊或指派 有值1的區塊之部分)而言,不需要重新提取此資料。 因此,根據圖36及圖37之技術,可收集block—vaUdity映 射之逐行統計資料。對於每一行,反電傳電影單元可計數 個別區塊標籤。對應於圖35之映射的標籤計數器之一實例 展示於以下表8中 表5 行1 行2 行10 行11 行12 0 一 counter=6 〇_c〇unter=l 〇_counter=〇 0 counter=8 l_counter=2 l_c〇unter=8 1 一 counter=0 l_countei=7 1 counter=l 2_counter=2 2 一 counter: 1 2 一counter=10 2_counter=3 2 counter: 1 147500.doc •54· 201127048 可基於標籤對該等行排名,且可盟 且了選擇自外部記憶體提取 的行之數目N。數目N可為預定值或可為可 一 定區塊處於MB AFF格式時,可在解 &正,田、、.° 在解&後於内部記憶體中發 現兩個圖場。然而’在此情況下, 奶南要基於運動統計資 料給出決策,以便減少為電傳電㈣測執行的處理量。此 情況可能未必減小頻寬,而是可能^ 、士、 疋了此仍減少由硬體用於分析 圖框的記憶體之量。亦可藉由減少待分析的圖框之部分來 達成記憶體減少。 為了決定在電傳電影❹j中使用圖框之哪些部分,反電 傳電影單元可應用-使料動統計f料及制誤差之簡單 演算法。可形成類似的bloek_validity運動映射,其中將標 籤2指派至具有高運動及預測誤差之區塊,將標籤⑽派: 較小運動區塊,且將0標籤指派至框内區塊。可接著應用 類似的基於排名之方法選擇要從外部記憶體提取的適;的 像素區塊。 圖38為說明有效性映射之另一形式之概念圖,其為部分 映射。然而’在此情況下’可分階段地消除作為電傳電影 僅測目的之不良候選行的行。如所示,可考慮所有行直至 影像高度之1/M,其中Μ為一整數。此時,可拋棄主要地 具有被指派值0或1而非2之區塊的行。因此,在 之-後,不處理第一、第七及第十二行,因為 候選者。可處理該等行之第一子集達影像高度之ι/ρ,其 中Ρ為一小於Μ之整數。此時,可消除更多的行。可處理 該等行之第二子集達影像高度之1/R,其中尺為—小於ρ之 147500.doc •55· 201127048 整數。此時,可消除更多的行。可處理該等行之第三子集 達影像高度之’其中Q為-小於R之整數。 概念性地說明於圖38中之處理技術可減少識別待用於反 電傳電影偵測之理想的行所需之處理量。再一次,理想的 行是具有最多的指派有值2之區塊的行,因為就資料可能 已為了預測寫碼之目的而证1.B -rr^ y ’〈曰的而被如取而言,此等區塊不需要記 憶體提取。如所示,第三、第六及第十行似乎十分適合於 具記憶體使用效率(mem〇ry卻士叫的反電傳電影制。 圖38之實例可僅利用—圖框之部分統計資料,例如,隨 著此等統計資料在視訊寫碼中變得可用。在此情況下,反 電傳電影單元可能僅能存取部分圖框統計資料,且可在正 發生區塊之解碼的㈣判定料提取決策。對於此情況, 反電傳電影單元可隨著區塊由解碼過程解碼而收集統計資 料。如圖38中所說明,最初,對於某數目個列,自先前圖 場提取所有共置之區塊,因為並不知曉哪些像素行將用於 反電傳電%。可將列數固U對應於影像高度之“ 1 /M。當解碼時,可計笞恧φ押 冲斤^塊輮織,且收集逐行統計資 科。在影像之下一部分(影像寬度之1/ρ)中,僅自外部記憶 體提取具有較高區塊標籤值(在階们中判定)之行。接著了 下-個階段僅提取有更高標籤之彼等行區塊。在每一階段 中’可減少待提取的區塊之數目。 總之,提議之技術可有^於促進反電傳電影偵測且減少 用於電傳電影㈣過程的視訊解碼器/處理器 憶體要求°基本上藉由決定性或藉由使用位元流特性^ I47500.doc -56- 201127048 性地識別先前圖場之已在記憶體中的像素區且選擇彼等像 素仃來執仃電傳電影偵測而執行頻寬減小。 本發明之技術可體現於各種各樣之器件或裝置中,包括 無線手機及積體電路(IC)siuc之集合(亦即,晶片集)。已 描述的任何組件、模組或單元經提供以強調功能態1且未 必要求由不同硬體單元等實現。 因此,本文中所描述之技術可實施於硬體、軟體、韌體 或其任何組合中。描述為模組或組件之任何特徵可—起^ 施於整合式邏輯器件令,或單獨實施為離散但互通 (interoperabie)的邏輯器件。若實施於軟體中則該 可至少部分地由包含指令之電腦可讀媒 時,該等指令執行上述方法中之一或多者。電腦;= 儲存媒體可形成電腦程式產品之部分,電腦程式產品可包 括包裝材料。電腦可讀媒體可包含諸如同步動態隨機存取 記憶體(SDRAM)之隨機存取記憶體(RAM)、唯讀記憶體 (ROM)、非揮發性隨機存取記憶體(NVram)、電可抹除可 程式唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資 料儲存媒體及其類似媒體。額外或替代性地,該等技術可 至少部分地由電腦可讀通信媒體來實現,肖電腦可讀通信 媒體以指令或資料結構之形式載運或傳達程式碼且可由電 腦存取、讀取及/或執行。 程式碼可由一或多個處理器執行,諸如一或多個數位传 號處理器(DSP)、通用微處理器、特殊應用積體電^ (ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離 147500.doc -57- 201127048 散邏輯電路。因此,如本文中所使用之術語「處理器」可 指前述結構或適合於實施本文中所描述之技術之任何其他 結構中的任一者。此外,在一些態樣中,本文中所描述之 功能性可提供於經組態以用於編碼及解碼之專用軟體模組 或硬體模組内,或被併入於組合之視訊編解碼器中。同 樣,該等技術可完全地實施於一或多個電路或邏輯元件 中。 已描述了本發明之各種態樣。此等及其他態樣處於以下 申請專利範圍之範疇内。 【圖式簡單說明】 圖1為說明電傳電影過程之概念圖,其中應用3:2視訊格 式轉換以自每秒24個圖框獲得每秒3〇個圖框; 圖2為說明電傳電影過程接著為反電傳電影過程之概念 圖; 圖3為說明可實施本發明之反電傳電影技術中之一或多 者的一例示性系統之方塊圖; 圖4為說明根據本發明之反電傳電影技術之流程圖; 圖5為反電傳電影模組之方塊圖; 圖6為說明反電傳電影單元之例示性組件之方塊圖· 圖7為說明影片圖框及電傳電影之視訊圖框之概念圖; 圖8為說明電傳電影型樣遭到破壞的圖框序列之概念 圖; 圖9為說明視訊圖框經反電傳電影之概念圖; 圖1 〇為說明根據3 · 2視讯格式轉換而電傳電影之五圓框 147500.doc •58- 201127048 式序列之概念圖; 圖11為說明反電傳電影過程之例示性階段之方塊圖; 圖12為交錯式視訊圖框之概念圖; 圖13為說明與本發明一致的識別異相視訊圖框之過程之 流程圖; 圖14為說明可在異相視訊圖框之識別中使用的特徵之概 念圖; 圖1 5為說明異相及同相視訊圖框之差異序列之概念圖, 其加有陰影以展示與電傳電影一致之型樣; 圖16為說明自當前圖框及先前圖框創造編織圖框之過程 之概念圖; 圖17為與本發明一致的可用以執行反電傳電影的一器件 之組件之另一方塊圖; 圖18為說明與本發明之一或多項態樣一致的設定電傳電 影偵測旗標之過程之流程圖; 圖19為說明與本發明之一或多項態樣一致的設定電傳電 影旗標標籤之過程之流程圖; 圖20為說明與本發明之一或多項態樣一致的識別圖框狀 態之過程之流程圖; 圖21為說明與本發明之一或多項態樣—致的用於定義圖 框之型樣ID之過程之流程圖; 圖2 2為說明與本發明之一或多項態樣一致的設定電傳電 影型樣旗標之過程之流程圖; 圖23為說明與本發明之一或多項態樣一致的判定圖框狀 147500.doc •59- 201127048 態之過程之流程圖; 圖24為說明與3:2視訊格式轉換之反電傳觉影偵測一致 的預期圖框狀態改變之狀態圖; 圖25為說明與本發明之一或多項態樣一致的設定電傳電 影偵測旗標之過程之流程圖; 圖26為說明關於五圖框式序列中之圖框二及圖框三發生 校正的五個圖框至四個圖框之轉換之概念圖; 圖27為說明電傳電影校正之綜述且進一步展示—實施可 能性之流程圖; 圖28為說明為了電傳電影偵測之目的的用於圖框之部分 提取之若干選項之概念圖; 圖29為說明「iBp」圖像群&(G〇p)結構之解碼及顯示次 序之概念圖; 圖30為說明用於如在圖3〇中說明之1]3? G〇p結構之IBp GOP結構的反電傳電影資料提取與由解碼器進行之預測解 碼之間的可能同步之概念圖; 圖31為說明「IBBP」G〇P結構之解碼及顯示次序之概念 圖; 圖32為說明用於如在圖34中說明之IBBP GOP結構之 IBBP GOP結構的反電傳電影資料提取與由解碼器進行之 預測解碼之間的可能同步之概念圖; 圖3 3為說明與本發明一致的可在反電傳電影中使用之決 定性提取技術之流程圖; 圖34為說明與本發明一致的用於創造適用於反電傳電影 147500.doc •60- 201127048 的區塊有效性映射之技術之流程圖; 圖3 5為與本發明一致的適用於反電傳電影的一例示性區 塊有效性映射之說明; 圖3 6為έ兒明與本發明一致的用於分析用於反電傳電奢的 區塊有效性映射之技術之流程圖; 圖3 7為用於基於自區塊有效性映射產生之統計資料排名 及選取用於反電傳電影的視訊圖框之行的技術之流程 圖;及 圖38為當統計資料變得可用時適應性地產生之一例示性 部分區塊有效性映射之說明。 【主要元件符號說明】 10 視δίΐ編碼及解碼系統 12 源器件 15 通信頻道 16 目的地器件 18 視訊源 20 電傳電影單元 22 視讯編碼器 23 s周變器/解調變器(數據機) 24 傳輸器 25 接收器 26 數據機 28 視§fl解碼器 29 反電傳電影單元 147500.doc "61 . 201127048 30 顯示器件 51 反電傳電影模組 61 電傳電影偵測階段 62 不良編輯偵測階段 63 電傳電影校正階段 111 電傳電影成本計算單元 112 電傳電影型樣分析單元 113 電傳電影校正單元 145 型樣 146 型樣 161 當前圖框 162 先前圖框 163 編織圖框 200 器件 203 電傳電影偵測單元 204 電傳電影成本計算單元 205 圖框層級電傳電影標籤計算單元 206 電傳電影型樣偵測單元 207 更新電傳電影偵測單元 209 電傳電影校正單元 210 Frame_State計算單元 215 去交錯單元 273 狀態1 274 狀態2 147500.doc -62- 201127048 275 狀態3 276 狀態4 . 277 狀態5 301 單元或模組 302 單元或模組 385 區塊有效性映射 404 負單元 405 加法器 406 負單元 407 加法器 418 負單元 419 加法器 420 ABS單元 147500.doc - 63 -

Claims (1)

  1. 201127048 七、申請專利範圍·· 1 · 一種方法,其包含: 判定一視訊圖框序列中之個別視訊圖框為漸進式圖框 或是交錯式圖框; 識別該視訊圖框序列中之該等漸進式圖框及該等交錯 ' 式圖框之一型樣; 基於該型樣識別一電傳電影技術;及 基於該識別之電傳電影技術關於該視訊圖框序列執行 一反電傳電影技術’其中該反電傳電影技術將每秒!^個 視訊圖框轉換至每秒Μ個視訊圖框,其中Μ及N為正整數 且Μ小於Ν。 2如請求項1之方法’其中該型樣與一 3:2視訊格式轉換電 傳電影技術相關聯’且其中識別該型樣包含識別由三個 漸進式圖框及兩個交錯式圖框按與該3:2視訊格式轉換相 關聯之一特定次序組成之五圖框式序列。 3. 如請求項2之方法,其中執行該反電傳電影技術包含: 將該等五圖框式序列轉換至四圖框式序列,其中該反電 傳電影技術將每秒3〇個視訊圖框轉換至每秒24個視訊圖 框。 4. 如明求項1之方法,其中識別該視訊圖框序列中之個別 視Λ圖框為漸進式圖框或是交錯式圖框包含:僅處理與 。亥荨個別視訊圖框相關聯的一資料+集。 5·如清求項4之方法’其中該子集包含在該等個別圖框内 的一像素資料區塊,其中該區塊經預定義以用於反電傳 147500.doc 201127048 電影偵測,且其中對於該等個別圖框中之每—者,自圮 憶體提取該像素資料區塊。 ° 6.如請求項4之方法,其中該子集包含在該等個別圖框内 的像素資料之垂直行’其中該等個別圖框内的像素資料 之該等垂直行經預定義以用於反電傳電影偵測,且其中 對於该等個別圖框中之每—者,自記憶體提取該等個別 圖框内的像素資料之該等垂直行。 7·如凊求項4之方法,其中該子集包含在該等個別圖框内 的像素資料之垂直行,其中該等個別圖框内的像素資料 之該等垂直行係基於是否已為了在預測性視訊寫碼中使 用而自記憶體提取資料而適應性地定義。 8·如。:求項4之方法,其中與任一給定圖框相關聯之該子 集係基於是否已為了在預測性視訊寫碼中❹而自記憶 體提取資料而適應性地定義。 9.如請求項8之方法,其進一步包含: 產生與一各別圖框相關聯之一像素映射,以定義是否 已為了在預測性視訊寫碼中使用而自記憶體提取資 料;及 基於該映射定義該各別圖框之該子集。 1 〇.如請求項8之方法,其進一步包含: β產生與-各別圖框相關聯之一部分像素映射,以定義 疋否已為了在預測性視訊寫碼中使用而自記憶體提 料;及 基於該部分映射定義該各別圖框之該子集,其中該部 147500.doc 201127048 分映射係在統計資料變得可用時該各別圖框之該預測性 視訊寫碼期間定義,其中該等統計資料定義是否已為了 3玄預測性視訊寫碼而提取個別像素。 π. 一種視訊處理裝置,其包含—反電傳電影單元,該反電 傳電影單元: 判定一視訊圖框序列中之個別視訊圖框為漸進式圖框 或是交錯式圖框; 識別該視訊圖框序列中之該等漸進式圖框及該等交錯 式圖框之一型樣; 基於該型樣識別一電傳電影技術;及 基於該識別之電傳電影技術關於該視訊圖框序列執行 一反電傳電影技術,其中該反電傳電影技術將每秒^^個 視訊圖框轉換至每秒Μ個視訊圖框,其中N為正整數 且Μ小於N。 12·如請求項11之裝置,其中該型樣與一3 :2視訊格式轉換電 傳電影技術相關聯,且其中該反電傳電影單元識別由三 個漸進式圖框及兩個交錯式圖框按與該3 :2視訊格式轉換 相關聯之一特定次序組成之五圖框式序列。 . I3·如請求項12之裝置,該反電傳電影單元執行該反電傳電 影技術以將該等五圖框式序列轉換至四圖框式序列,其 中該反電傳電影技術將每秒30個視訊圖框轉換至每秒24 個視訊圖框。 14.如請求項11之裝置,其中在識別該視訊圖框序列中之個 別視訊圖框為漸進式圖框或是交錯式圖框之過程中,該 147500.doc 201127048 反電傳電影單元僅處理與該等個別視訊圖框相關聯的一 資料子集。 15.如明求項14之裝置,其中該子集包含在該等個別圖框内 的-像素資料區塊’其中該區塊經預定義以用於反電傳 電影偵測,且其中對於該等個別圖框中之每一者,自記 憶體提取該像素資料區塊。 1 6.如明求項14之裝置,其中該子集包含在該等個別圖框内 的像素資料之垂直行,其中該等個別圖框内的像素資料 之該等垂直行經預定義以用於反電傳電影偵測,且其中 對於該等個別圖框中之每一者,自記憶體提取該等個別 圖框内的像素資料之該等垂直行。 17.如請求項14之裝置,其中該裝置進—步包含―執行預測 性視訊寫碼之視訊解碼器,其中該子集包含在該等個別 圖框内的像素資料之垂直行,其巾料㈣圖框内的像 素資料之该等垂直行係基於是否已為了在該預測性視訊 寫碼中使用而自記憶體提取資料而適應性地定義。 18_如請求項14之裝置,其中該裝置進一步包含一執行預測 性視訊寫碼之視訊解碼器,其中與任一給定圖框相關聯 之該子集係基於是否已為了在該預測性視訊寫碼中使用 而自記憶體提取資料而適應性地定義。 19.如請求項18之裝置,其中該裝置進一步包含—執行預測 性視讯寫碼之視訊解碼器,其中該反電傳電影單元: 產生與一各別圖框相關聯之一像素映射,以定義是否 已為了在6亥預測性視訊寫碼中使用而自記憶體提取資 147500.doc 201127048 料;及 基於该映射定義該各別圖框之該子集。 20. 21. 22. 23. 24. 如請求項18之裝置,其 Λ. ^ f 4裝置進步包含一執行預測 訊寫竭之視訊解碼器,其中該反電傳電影單元: 曰產生與-各別圖框相關聯之—部分像素映射,以定義 :否已為了在預測性視訊寫碼中使用而自記憶體提取資 料,及 八基於該部分映射定義該各別圖框之該子集,其中該部 分映射係在統計資料變得可用時該各別圖框之該預測性 視sfl寫碼期間定義,i ^ 』疋我具中邊丰統計貧料定義是否已為了 "亥預测性視訊寫碼而提取個別像素。 如。月求項11之裝置,其中該裝置包含一積體電路。 如請求項11之裝置,其中該裝置包含-微處理器。 长員11之裝置’其中該裝置包含一包括該反電傳電 影單元之無線通信器件。 一種器件,其包含: 用於判定一視訊圖框序列中之個別視訊圖框為漸進式 圖框或是交錯式圖框之構件; /於識㈣視訊_序財之該等漸進式圖框及該等 父錯式圖框之一型樣之構件; 用於基於該型樣識別一電傳電影技術之構件;及 用於基於该識別之電傳電影技術關於該視訊圖框序列 執行-反電傳電影技術之構件,其中該反電傳電影技術 將每秒N個視訊圖框轉換至每秒河個視訊圖框,其中厘及 147500.doc 201127048 25. 26. 27. 28. 29. 30. N為正整數且μ小於N。 如請求項24之器件,其中該型樣與— 3:2視訊格式轉換電 傳電影技術相關聯,且其中用於識別該型樣之構件包含 用於識別由三個漸進式圖框及兩個交錯式圖框按與該3:2 視訊格式轉換相關聯之m序組成之五圖框式序列 之構件。 如。月求項25之件,其中用於執行該反電傳電影技術之 構件包含:用於將該等五圖框式序列轉換至四圖框式序 列之構件,其中該反電傳電影技術將每秒3〇個視訊圖框 轉換至每秒24個視訊圖框。 如凊求項24之器件,其中用於識別該視訊圖框序列中之 個別視訊圖框為漸進式圖框或是交錯式圆框之構件包 含:用於僅處理與該等個別視訊圖框相關聯的一資料子 集之構件。 如明求項27之器件,其中該子集包含在該等個別圖框内 的像素資料區塊,其中該區塊經預定義以用於反電傳 電影偵測,且其中對於該等個別圖框中之每一者,自記 憶體提取該像素資料區塊。 々。月求項27之器件,其中該子集包含在該等個別圖框内 的像素資料之垂直行,其中該等個別圖框内的像素資料 之。玄等垂直行經預定義以用於反電傳電影偵測,且其中 對於4等個別圖樞中之每—者,自記憶體提取該等個別 圖框内的像素資料之該等垂直行。 如請求項27之器件,其中該子集包含在該等個別圖框内 147500.doc 201127048 的像素資料之垂直行,其中該等個別圖框内的像素資料 之該等垂直行係基於是否已為了在預測性視訊寫碼中使 用而自記憶體提取資料而適應性地定義。 31. 如請求項27之器件,其中與任—給定圖框相關聯之該子 集係基於是否已為了在預測性視訊寫碼中使用而自記憶 體提取資料而適應性地定義。 32. 如請求項31之器件,其進一步包含: 一像素映射以定義是 而自記憶體提取資料 用於產生與一各別圖框相關聯之一 否已為了在預測性視訊寫碼中使用而 之構件;及 用於基於該映射定義該各別圖框之該子集之構件 33.如請求項31之器件,其進一步包含: 部分像素映射以定 用而自記憶體提取 用於產生與一各別圖框相關聯之— 義疋否已為了在預測性視訊寫碼中使 資料之構件;及
    識別該視訊圖框序财之料漸進式圖框 圖框及該等交錯 147500.doc 201127048 式圖框之一型樣; 基於該型樣識別一電傳電影技術;及 基於該識別之電傳電影技術關於該視訊圖框序列執行 一反電傳電影技術,其中該反電傳電影技術將每秒N個 視訊圖框轉換至每秒Μ個視訊圖框,其中μ及N為正整數 且Μ小於Ν。 35. 如請求項34之電腦可讀媒體,其令該型樣與一 3:2視訊格 式轉換電傳電影技術相關聯,且其中該等指令使該處理 器識別由二個漸進式圖框及兩個交錯式圖框按與該3 :2視 訊格式轉換相關聯之一特定次序組成之五圖框式序列。 36. 如請求項35之電腦可讀媒體,其中該等指令使該處理器 將該等五圖框式序列轉換至四圖框式序列,其中該反電 傳電影技術將每秒30個視訊圖框轉換至每秒24個視訊圖 框。 37. 如請求項34之電腦可讀媒體,其中在識別該視訊圖框序 列中之個別視訊圖框為漸進式圖框或是交錯式圖框之過 程中’該等指令使該處理器僅處理與該等個別視訊圖框 相關聯的一資料子集。 38. 如請求項37之電腦可讀媒體,其中該子集包含在該等個 別圖框内的-像素資料區塊,其中該區塊經預定義以用 於反電傳電影偵測’且其中對於該等個別圖框中之每一 者’自記憶體提取該像素資料區塊。 39_如請求項37之電腦可讀媒體’其中該子集包含在該等個 別圖框内的像素資料之垂直行,其中該等個別圖框内的 147500.doc 201127048 像素資料之該等垂直行經預定義以用於反電傳電影偵 測且其中對於該等個別圖框中之每一者,自記憶體提 取該等個別圖框内的像素資料之該等垂直行。 40. 41. 42. 43. 如凊求項37之電腦可讀媒體,其中該子集包含在該等個 別圖框内的像素資料之垂直行,其中該等個別圖框内的 像素資料之該等垂直行係基於是否已為了在預測性視訊 寫碼中使用而自記憶體提取資料而適應性地定義。 如請求項37之電腦可讀媒體,其中與任一給定圖框相關 聯之Θ子集係基於是否已為了在預測性視訊寫碼中使用 而自記憶體提取資料而適應性地定義。 士明求項41之電腦可讀女某冑,其進一步包含使該處理器 進行下列操作之指令: 產生與一各別圖框相關聯之一像素映射以定義是否已 為了在預測性視訊寫碼中使用而自記憶體提取資料;及 基於该映射定義該各別圖框之該子集。 如請求項41之電腦可讀媒體,其進—步包含使該處理器 進行下列操作之指令·· 合别圆框相關聯 否已為了在預測性視訊寫碼中使用而自記憶體提取資 料;及 八基於該部分映射定義該各別圖框之該子集,其中該部 刀映射係在統計資料變得可用時該各別圖框之該預測性 視讯寫碼期間定義,其中該等統計資料定義是否已為了 s玄預測性視訊寫碼而提取個別像素, 147500.doc
TW099110439A 2009-04-02 2010-04-02 Inverse telecine techniques TW201127048A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/417,527 US20100254453A1 (en) 2009-04-02 2009-04-02 Inverse telecine techniques

Publications (1)

Publication Number Publication Date
TW201127048A true TW201127048A (en) 2011-08-01

Family

ID=42227724

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099110439A TW201127048A (en) 2009-04-02 2010-04-02 Inverse telecine techniques

Country Status (7)

Country Link
US (1) US20100254453A1 (zh)
EP (1) EP2415258A1 (zh)
JP (1) JP2012523178A (zh)
KR (1) KR101240119B1 (zh)
CN (1) CN102369728A (zh)
TW (1) TW201127048A (zh)
WO (1) WO2010115093A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100309372A1 (en) * 2009-06-08 2010-12-09 Sheng Zhong Method And System For Motion Compensated Video De-Interlacing
US20110134218A1 (en) * 2009-12-08 2011-06-09 Darren Neuman Method and system for utilizing mosaic mode to create 3d video
US8537901B2 (en) * 2010-12-23 2013-09-17 Stmicroelectronics Asia Pacific Pte Ltd. Apparatus and method for exotic cadence detection
EP2666289A1 (en) * 2011-01-21 2013-11-27 Thomson Licensing System and method for enhanced remote transcoding using content profiling
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
US8937683B2 (en) 2011-06-30 2015-01-20 Stmicroelectronics Asia Pacific Pte Ltd Apparatus and method for inverse telecine with local video de-interlacing
US9001223B2 (en) * 2011-09-28 2015-04-07 Advanced Micro Devices, Inc. Method and apparatus for applying camera shake compensation to video content
WO2013048521A1 (en) * 2011-10-01 2013-04-04 Intel Corporation Systems, methods and computer program products for integrated post-processing and pre-processing in video transcoding
US20130279882A1 (en) 2012-04-23 2013-10-24 Apple Inc. Coding of Video and Audio with Initialization Fragments
US20160360199A1 (en) * 2014-02-10 2016-12-08 Interdigital Patent Holdings, Inc. Inverse telecine filter
US10148894B2 (en) * 2014-07-02 2018-12-04 Sony Corporation Image processing device, image processing method, and program
US9386265B2 (en) * 2014-09-30 2016-07-05 Intel Corporation Content adaptive telecine and interlace reverser
CN111479083B (zh) * 2019-01-23 2021-06-25 瑞昱半导体股份有限公司 图像处理方法及图像处理系统
CN111369438B (zh) * 2020-02-28 2022-07-26 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US11722635B2 (en) 2021-06-22 2023-08-08 Samsung Electronics Co., Ltd. Processing device, electronic device, and method of outputting video

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0637889B1 (en) 1993-08-06 2001-01-17 Lg Electronics Inc. Device for converting the frame rate of an image
US5828786A (en) * 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
JP3063739B2 (ja) * 1998-08-03 2000-07-12 日本電信電話株式会社 逆テレシネ変換映像蓄積装置
JP2000232649A (ja) * 1998-12-10 2000-08-22 Fujitsu Ltd Mpegビデオ復号器及びmpegビデオ復号方法
DE69920055T2 (de) * 1999-02-26 2005-09-15 Stmicroelectronics Asia Pacific Pte Ltd. Verfahren und vorrichtung zur bestimmung von zeilensprung-/nichtzeilensprungbildern und erkennung von wiederholten halbbildern und szenenänderungen
KR100518580B1 (ko) * 2003-06-10 2005-10-04 삼성전자주식회사 인버스 텔레시네 변환장치 및 변환방법
US7587091B2 (en) * 2004-10-29 2009-09-08 Intel Corporation De-interlacing using decoder parameters
US7450180B2 (en) * 2004-12-29 2008-11-11 General Instrument Corporation Method for detecting interlaced material and field order
US7933328B2 (en) * 2005-02-02 2011-04-26 Broadcom Corporation Rate control for digital video compression processing
US7982805B2 (en) * 2005-09-26 2011-07-19 Intel Corporation Detecting video format information in a sequence of video pictures
US8879635B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US8027382B2 (en) 2006-06-27 2011-09-27 Apple Inc. Pulldown correction for progressive display of audiovisual recordings
EP1927957A1 (de) * 2006-11-29 2008-06-04 Sick Ag Vorrichtung und Verfahren zur Überwachung eines Überwachungsbereichs
US20090161766A1 (en) * 2007-12-21 2009-06-25 Novafora, Inc. System and Method for Processing Video Content Having Redundant Pixel Values

Also Published As

Publication number Publication date
KR101240119B1 (ko) 2013-03-18
KR20110133635A (ko) 2011-12-13
EP2415258A1 (en) 2012-02-08
WO2010115093A1 (en) 2010-10-07
CN102369728A (zh) 2012-03-07
US20100254453A1 (en) 2010-10-07
JP2012523178A (ja) 2012-09-27

Similar Documents

Publication Publication Date Title
TW201127048A (en) Inverse telecine techniques
CA2797569C (en) Method and device for video predictive encoding
KR101912059B1 (ko) 화상 부호화 장치 및 화상 복호 장치
KR102226563B1 (ko) 콘텐트 적응적 텔레시네 및 비월 반전기
TW200426713A (en) Method and apparatus of adaptive de-interlacing of motion image
JP4102197B2 (ja) ビデオデータを圧縮および解凍する方法
CN104144322A (zh) 移动终端上实现视频监控的方法、系统与视频处理服务器
CN102685475B (zh) 视频减帧率的隔行压缩显示方法及其系统
JP2006527518A (ja) ビデオ圧縮
CN101212684B (zh) 用于产生包括通过帧内预测编码的块的原始图像的缩小图像的方法及其图像装置
US8767831B2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
CN111182310A (zh) 视频处理方法、装置、计算机可读介质及电子设备
JP2011015262A (ja) 画像復号化装置
US20060067410A1 (en) Method for encoding and decoding video signals
CN102256124B (zh) 一种图像分层编码方法和装置
JP2008244667A (ja) 画像伝送装置
US20060072670A1 (en) Method for encoding and decoding video signals
JP4186769B2 (ja) Gop周期検出装置
TW200847790A (en) Image sequence streaming methods, transmitters and receivers utilizing the same
US20200195874A1 (en) Real Time Video
Bustamante et al. MIJ2K: Enhanced video transmission based on conditional replenishment of JPEG2000 tiles with motion compensation
JP2004104171A (ja) 映像方式変換方法及びその装置
JP2004032413A (ja) 補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラム、並びに、補正映像信号符号化装置及び補正映像信号復号装置
JP2007049520A (ja) 画像信号の高能率符号化装置
JP2008283342A (ja) 圧縮符号化画像のノイズ除去装置及びノイズ除去方法