TW200305146A - Editing of encoded A/V sequences - Google Patents
Editing of encoded A/V sequences Download PDFInfo
- Publication number
- TW200305146A TW200305146A TW092105903A TW92105903A TW200305146A TW 200305146 A TW200305146 A TW 200305146A TW 092105903 A TW092105903 A TW 092105903A TW 92105903 A TW92105903 A TW 92105903A TW 200305146 A TW200305146 A TW 200305146A
- Authority
- TW
- Taiwan
- Prior art keywords
- frame
- sequence
- encoded
- frames
- boxes
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 2
- 210000000003 hoof Anatomy 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000011257 shell material Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
200305146 玖、發明說明: 【發明所屬之技術領域】 本發明係關於聲音/影像(A/V)編碼資料框之編輯方法與 裝置,且更明確地關於根據MPEG_2標準編碼之聲音/资· 料框之編輯方法與裝置,但不t ^ 丨- 4以此為限。至少兩個聲音/影 像資料框序列被合併以形成第三合併序列,其係根據第^ 序列内延績到第一編輯點且包括該點的第一框序列之框及 第二序列内從第二編輯點開始且包括該點的第二框序列之 杞進行第與第一序列各被編碼以使某些框(在下文中稱鲁 為I框)被自我編碼而不以序列内的任何其他框為基準, 某些框(在下又中稱為\、P”框)分別以序列内前一個基準框 為基準編碼,且其餘的框(在下文中稱為、、B〃框)分別以序 列内丽一個基準框和後一個基準框為基準編碼,基準框是工 C或PC且框的參考編碼植基於表示被引用框内類似巨 區段之框内的移動向量。 【先前技術】 MPEG 疋種由國際標準組織(Internati〇nai standardizati〇n Organization ISO)的移動畫面專家組(Μ〇ν_ picture Experts · Group MPEG)建互之影像信號壓縮標準。mpeg是將許多有v 名的資料壓縮技術整合成單一系統的多階演算法。這些壓 技術G括和動補償預測編碼 predictive coding)、離散餘弦轉換(discrete cosine transform DCT )、自適應量化(adaptive叫抓化化⑽)、及可變長度編 碼(variable length c〇ding VLC)。MPEG的主要目的是移除一 200305146 般存在空間域(在影像框内)内以及暫存域(框到框之間)内的 冗餘,同時又可容許框間壓縮及交錯式聲音訊號。mpe(m 界定於刪IEC 11172内而MPEG_2界定於刪IEC 13818内。 口影像信號有兩種|本形式:交錯掃描信號與非交錯掃描信_ 唬。父錯掃描信號是電視系統内採用的技術,其中每個電、 視圖框包括稱為奇圖場和偶圖場的兩個圖場。每個圖場從 側到另一側且從頂邵到底部掃描整個畫面。但是一個圖 昜“如奇圖場)的水平掃描線位在另一個圖場(譬如偶圖場) 水平掃描線之間的一半位置處。交錯掃描信號一般使用於_ 廣播電視(“TV”)及高畫質電視(“HDTV”)内。非交錯掃描信 唬…叙使用於電腦内。MPEGd通訊協定主要使用於壓縮/ 解壓、杨非又錯影像信號,而MPEG_2通訊協定主要使用於壓 鈿/解壓縮交錯TV及HDTV信號以及諸如DVD上之電影等非 父錯信號。 在傳統視訊信號可根據任一種MPEG通訊協定被壓縮之 ㈤其須首先被數位化。數位化程序產生數位視訊資料,參 '二貝料具敝說明視訊影像内被稱為圖元(pel,pixel eiernent) 之特定位置處的視訊影像的強度與色彩。每個圖元關聯於 在以垂直行和水平列配置的座標陣列中之一座標。每個圖 元之座標被界定為一垂直行與一水平列的交錯點。在將各 ' &轉換成數位視訊資料框時,構成未數位化視訊框的 兩個文錯圖%之掃描線被交互數位化成單一數位資料矩陣 °數位视訊資料之交互數位化使來自奇圖場掃描線之圖元 在數位視訊資料框内有奇列座標。同樣地,數位視訊資料 200305146 <人互數位化使來自偶圖場掃描線之圖元在數位視訊資料 框内有偶列座標。
請參考圖1,MPEG-1與MPEG-2各將一般為相繼發生之圖 框的視訊輸入信號分割成序列或框群(gr〇ups 〇f frames GOF)10—也稱為圖像群(gr〇up 〇f pictures G〇p)。各 G〇F 内的框被編碼成特足的格式。被編碼的各個資料框被分割 成資料片段12,資料片段代表譬如16個影像線14。每個資 料片段12被分割成巨區段(macr〇bl〇ck)16,每個巨區段各代 表譬如為一 16x16圖元矩陣。每個巨區段16被分割成數個區 丰又(g如6個區段)’區段包括某些關於明視度資料的區段工8 和某些關於色度資料的區段2〇。MpEG_2通訊協定將明視度 貝料與色度資料分開編碼,然後將被編碼視訊資料合併成 一壓縮視訊流。明視度區段關聯於8χ8圖元矩陣21。每個明 視度區#又包括一個關聯於整個1 6x丨6圖元矩陣之8x8資料矩 陣,而以巨區段1 6表示。視訊資料在被編碼之後,接著根 據MPEG通訊協定被壓縮、緩衝處理、調變、且在最後傳送 到%碼器。MPEG通訊協定一般包括複數個層,每層有個別 的標頭資訊。一般而言,每個標頭包括起始碼、關於各個 層及加入標頭資訊之條款的資料。一種可能範例是各巨區 段有6個區段(稱為4:2:〇格式)。MpEG-2也提供其他可能格式 ’譬如每個巨區段有12個區段。 奴有二種不同的編碼格式可應用到視訊資料上。自我編 碼產生I區段,“I”區段係指一資料區段,其中編碼僅靠資 料巨區^又16所位在之視訊框内的資訊。交互編碼可產生‘‘ p,, 200305146 區段或“B”區段。“P”區段係指一資料區段,其中編碼係靠 根據岫一個視訊框内找到之資訊做預測(不論是“〗,,框或“p,, 框,在下文中統稱為“基準框”)。“B”區段是一資料區段,其 中編碼係靠根據最多兩個周園的視訊框一亦即前一個基準 框及/或後一個基準框之視訊資料一内之資料區段做預測。
理論上,兩個基準框(1框或P框)之間可有數個框被編碼為B
框。但是因為若有許多框介於兩個基準框之間(且因此使B 框 < 編碼大小增加),則與基準框的短暫差異會增加,所以
實際上使用MPEG編碼的方法是在基準框之間僅使用兩個B 框,每個B框根據相同的兩個周園的基準框編碼,如圖工中 編號10所示。為了消除框與框間的冗餘,視訊影像内移動 物件的位移根據P框和B框做估算,且被編碼成代表這種從 一框到另一框之移動的移動向量。丨框是其中所有區段都被
又互編碼的框。P框是其中區段被交互編碼為p區段的框。B 框是其中區段被父互編碼為B區段的框。若對一框的所有區 段都沒有T f匕的有&交互編碼〉去,則纟些區段可被交互編 碼為P區段或甚至為I區段。同樣地,p框的某些區段可被編 碼為I區段。不同框型間的相互關係也顯示於圖2中。圖2a 顯示P框220根據前一個基準框21〇(或為p框或為〖框)而定。 圖2B顯示B框250根據前一個基準框23〇和後一個基準框 而定。 隨著被數位編碼之A/V資料及能夠在此種資料上運作之 資料處理設備的日益普及,已經對A/v資料片段無接缝結合 產生需要,其中一個框序列末尾和次一框序列起始間的轉 200305146 換可由解碼器平順地處理。A/V資料序列的無接缝結合應用 有許多種’特別的本地使用法包括家庭電影的編輯及移除 錄製的廣播節目内容裡的商業廣告插斷和其他不連續。其 他的應用包括虛擬角色(電腦產生之影像)的視訊序列背景 - ;使用此種技術的一種範例是在MPEG編碼視訊序列前方演 · 出的動畫角色。 如針對MPEG所描述的範例般,交互框編碼可達成有效的 編碼,但當兩個或更多個A/v資料片段須以無接縫方式結合 以形成一合併資料片段時,這種方法就會造成問題。在卩或籲 Β框被納入合併序列但其所根據的框之一未被納入合併序
列時,特別會發生問題。WO 00/00981描述一 一種被編碼A/V
該技術於諸如個人電腦等傳統資料處理裝置上會相當耗時 且讓使用者不願編輯像是家庭視訊節目等資料。w 上會相當耗時 【發明内容】
爲達成本發明的此目的,且 具有編輯功能之資料處理裝置包 -10- 200305146 括用以接收第一與第二框序列之輸入端、辨識裝置、及重 編碼器,該辨識裝置用來辨識第一序列内延續到且包括第 一編輯點且相對於第一編輯點之後的基準框編碼之框,及 用來辨識第二序列内從第二編輯點開始且相對於第二編輯_ 點之前的基準框編碼之框;該重編碼器用來將被辨識的B刑· 框(下文中稱為“原始B框”)重編碼,其方法是對每個被辨_: 之B框’僅由原始B框㈣動向量推算被重編碼框的相關移 動向量。 本發月者了解到不像是傳統的A/V資料編輯那樣—有籲 原始被編碼框可用來做視訊編輯且其中被編碼資料可有某 程度的重複使用。明確地說,移動向量可重複使用,從而 避免了移動向量的全部重新計算,這些重新計算包括移動 推估,而#動推估在運算資源方面的成本甚高。 如申請專利範圍附屬項第2項中所述,若第一序列的兩個 (或更夕個)B框失去後續的基準框,則除了最後_個以外的 所有其他B框僅靠仍存在的前一個基準框被重編碼為單側b 框。以則一個基準框為基準之_的移動向量仍可使用。以 後續基準框為基準之移動向量則不再能使用。這將大體上. T致:大小的增加。若對合理數目個巨區段而言,移動向’ mi個基準框相關呈現(表示合理的匹配),則大小將辩 似於作的大小,P框也是僅以前_個框為基準而被編碼的 /。若個基準框沒有出現許多移動向量,則許多巨區段 眉被f我編碼。結果形成的大小將更類似於消的大小。平 句而Θ大小的增加會很和緩。因為對傳統MPEG編碼而言 -11 - 200305146 ,僅有少數框須被重編碼,所以結果的大小(及位元率)增加 一般大都會落在容許範圍内,因為根據MPEG2的可變位元 率編碼’經常會有足夠的空間容納位元率的暫時增加。 如申請專利範圍附屬項第3項中所述,第一序列最後一個· 被辨識的B框僅根據前一個基準框被重編碼為?框。以前一 · 個I框或P框為基準之現存移動向量被重複使用。 如申請專利範圍附屬項第4項中所述當做一種替代方案, 或如申請專利範圍附屬項第8項中所述,較佳的是,除了將 B框僅根據可一個基準框重編碼為單側B框之外,新產生之p _ 框(也)被使用做基準框。以後續基準框為基準使用之移動向 量可田做以P框為基準的移動向量之根據。這些移動向量可 致能有效的B框編碼。明確地說,若也可使用以前一基準框 為土準之#動向i中的甚高比帛,則B框的碼大小可非常接 近完全重編碼所可達到的大小。 如申請專利範圍附屬項第5項中所述,移動向量的方向維 =相同’但長度縮減以補償(在時間上)暫時較接近的新基準· 去^申請專利範園附屬項第6項中所述’長度根據新基準框暫 接近的比率而調整。當物件在框序列持續期間大體上以 恒定速率與方向移動時,這是—種很好的影像估算值。 ::請專利範園附屬項第7項中所述,沿著 動速率改:二件在相關框序列持績期間移 的匹配。 維持大致相同,則這樣可使能找尋—好 -12- 200305146 如申請專利範圍附屬項第9項中所述,在被取用的第二序 列框中,找到一新基準框,該框為P框或I框。若被找到的第 一基準框是P框,則此框被重編碼為I框。這確保在合併序列 的第二部分中會出現一適當的基準框,該框為原始I框或新 產生的I框。 如申請專利範圍附屬項第9項中所述,第二序列中其他被 辨識的B框現在根據發生的情況以新產生的丨框或原始τ框為 基準被重編碼為單側Β框。現存的移動向量可以未修改形式 被重複使用。 【實施方式】 圖3Α顯示根據MPEG-2編碼之框序列範例。雖然下文中將 針對此種編碼描述本發明,但熟諳本技術者會知道可將本 發明應用到其他Α/V編碼標準上。圖3Α也顯示各框之間的互 依性。由於Β框的向前依賴性,傳送圖3八中所示序列内之框 會使接收到的Β框僅在已經接收到(並解碼)後續基準框之後 才能被解碼。為了避免必須在解碼期間於序列内“跳躍”,框 的儲存或傳送財不是以W3A的顯示序列順序進行,而是 以圖3B巾所示㈣應傳輸㈣順序進行。在傳輸序列中, =框在依賴基準框的B框之前被傳送。這表示框 立 被接收的順序被解碼。請注意被解碼之向前基準框的 被延遲到依賴該基準框之B框已經被顯示之後。 — 根據本發明之資料處理裝置將第—序 —編輯點⑽)之框與第二序·第二編輯點(人;^ 框合併。如本發明所陳述者,第二序列(入序列)之框可二 -13- 200305146 第-序列框相同的序列中實際取得。譬如,編輯工作可實 際包括k表庭视訊信號中移除_個或更多個框。因為框在 編輯點上的依賴性,所以需要對某些框重編碼。根據本發 明,重編碼工作重複使用現存的移動向量。在重編碼期間 不,生新的移動估算,結果造就了快速的重編碼。結果, 從第序列中取得的框在重編碼期間不以第二序列框為基 準做預測’反之亦然。所以可使兩個片段間沒有編碼依賴 性。重編碼從而僅受限於片段本身。圖4與5顯示第-序列 的重編碼範例。圖6與7顯示第二序列的重編碼範例。被合 併序列僅是第一序列被重編碼片段與第二 段之鏈接。 y顯示重編碼第-序列,其中出點是框1。這表示延續 J匕括1的所有框均呈現在被編輯(合併)的序列内, :序:⑽示順序)跟在框〜之後的所有框都 列内。在該範例中,&依賴Wp8。根據本發明, 為= Ρ框’且被標示為PV如圖所示,P%僅以P5 為::做、.扁碼。原始b6框從?5做編碼輪 地重複使用。不需要計算額外的移動向量。明it. ,二:而要任何移動估算。因為匕將不呈現在合併序列中 Βό的移動向量不再能被使用。結果,〆 Β广青況更多的巨區段需要被編碼為自我編碼6巨 ::加1的大小(降低、_文率),但是沒有使 二二 估异〈芫全重編碼。圖4C顯示圖4Β之序列 3 、勺移動 列方式顯示。 一疋以傳輸序 -14- 200305146
圖5顯示重編碼第一序列,其中出點是框。在此範例中 ,框&與&都以I及!>8為基準做預測。未被納入處理。根 據本發明’在已經失去基準框的B框中,最後一個被重編碼 為P框。在此情況下,&被僅根據I重編碼為p*7框。重編碼 工作與圖4中對B6的描述相同。所有已經失去基準框的其他 B框(在此情況下僅為Βό)以剩餘的基準框(亦即前一個基準 框)為基準編碼被重編碼為單側Β框。如圖5Β中所示,= 重編碼為從Ρ5預測之單側框。〜的移動向量被重複使用 。Ρ8之Β6的移動向量無法再被使用。結果,和&的情況比較 起來,Β%中有更多巨區段須被編碼為自我編碼巨區段。 圖5D顯示一種較佳具體實例,其中移動向量被產生以從 重編碼框Ρ%制被重編碼框匕。在從&制原始框心中其 本身沒有移動向量出現。但是㈣預測的比之移動向量可為 此目的被重複使用。以圖5Α為例且假設為傳統a/v編碼—其 中框以固疋時間間隔定位在序列中,框〜與ρ8之間的時間為
框〜與Β7《間時間的兩倍。假設物件的移動在從&到h的時 間間隔期間大致怪定,目丨丨兮於舌A B 、 ' * *、又艾&疋則该移動向ϊ長度減半可對預測從 B7之移動向量提供—合理的預估值。較佳的是,除了 使用攸卩5預測B 6的移動向量之外也使用這些移動向量。在 此較後面的情況下,這使B%成為一普通的雙側魄。圖^之 範例f鑛EG·2的普通情況,其中兩個B框位於基準框之 間。热請本技術領域者可輕易地將之轉用到基準框之 兩個以上B框的情況。在此更普遍的情況下,移動向量長产 須被修正的因素為:(BW框間的框數目+1)/(原始B: -15- 200305146 與其後續基準框間的框數目+ υ。 在另一種較佳具體實例中,從Ρ%預測Β%之移動向量匹配 的正確度可藉著將從Ρ8預測Β6之原始移動向量長度改變— :於〇與!之間的因素而提高。較佳的是從〇·5(無論如何總是 疋速和動的好匹配值)開始在此區間内執行對分查尋。若移 動方向在相關時間間隔期間大致維持恆定,則:用該查詢 技術可為物件找到一好的匹配。 圖6顯示重編碼第二序列,其中入點為框以。這表焉 開始的所有框都呈現在被編輯(合併)序列内,但是在順序上 位於Ρ8<珂(依顯示次序)的所有框都不呈現在被合併序列 :°根據本發明’第一基準框位於入點的起始處,第一基 準框為1框或ρ框。若此框為1框’則其不被修改而被取用入 。併序列中。若該框是ρ框,則其被重編碼為J框—亦即所有 巨區段都被重編碼為自我編碼區段。在圖6之範例中,第一 基率框是以,所以h被重編碼為i*8。框%與b1G是已經依賴基 準框MB框。移動向量可被取用。結果,_bi。不必被^ 編碼。圖6B顯示以顯示順序排列的重編碼框結果。圖π顯 不以傳輸順序排列的相同序列。 f 7顯示重編碼第二序列的第二種範例,其中入點為框^ 從入點開始,第一基準框為框P8。也如對圖6所述者,p8 被重編碼為1 8。其次,第二序列的所有B框均被辨識為已經 土1r I 其為入點b6前方的I框或P框。在此範例中,匕 與%疋此種b框。被辨識的B框被重編碼為單側B框。以前一 個基準框為基準被移除。其餘後續基準框的依賴被維持。 -16- 200305146 在此範例中,其餘後續基準框P8被重編碼為框i*8。所以,b( 與Ν分別根據i%被重編碼為框b%與b%。 固颂示根據本發明之資料處理系統的方塊圖。資料處理 系,800可實施在個人電腦上。系統800有一輸入端81〇以接 收第一與第二序列A/v框。處理器83〇處理A/v框。特別是若 框係以類比格式提供,則可使用額外的A/V硬體860—譬如 為類比視訊信號取樣器的形式。Α/ν硬體86〇可為個人電腦 視汛t號卡的形式。若框尚未被以像是等適當數位 格式編碼,則處理器可先以所需格式重編碼該等框。初始 編碼或重編碼為所需格式一般對整個序列進行且不需要使 用者互動。因此該作業可在背景或無使用者參與的情況下 進行,而不像視訊信號編輯般一般需要使用者大量的互動 以正確地決定入點與出點。這使編輯期間的即時效能更重 要。序列儲存在諸如硬碟機或快速光學儲存子系統等背景 記憶體840内。雖然圖8顯示A/v資料流流過處理器83〇,但 實際上可使用諸如PCI與IDE/SCSI等適當的通訊系統將資 料流從輸入端810直接導引到儲存體84〇。為了編輯需要, 處理器需要有關要編輯哪些序列及入點和出點的資訊。較 佳的是,使用者經由諸如滑鼠與鍵盤等使用者介面以互動 方式提供此類資訊,而顯示器提供使用者有關可用資訊流 的資訊’且若需要的話也提供資訊流内框的正確位置。如 上文所述,使用者可藉移除或複製被選擇之場景而實際上 僅編輯一個諸如家庭視訊信號等資訊流。為了此描述的目 的,這被當作處理相同的A/V序列兩次--次當做入資訊流 200305146 (弟一歹丨J、_7- r> 、 另一乂當做出資訊流(第一序列P在根據本發 明芡系統中, ^ 啕個序列可獨立被處理,而合併(被編輯)序列 疋將兩個片政左去# 北、 ¥^ W而形成。一般而言,合併序列也儲存在 月景错存晋 、 ^ 内。其可經由輸出端820供應給外部。若需 ,的居,也可使用A/V 1/0硬體860進行格式轉換—譬如轉換 成適當的類比格式。 狭. 、上文所述’為了編輯需要,處理器830判斷第一與第二 序列需要被納入合併序列内的片段(第一序列内延續到且: 括出點的所有框和第二序列内從入點開始的所有框)。其次鲁 ^失去二基準框之一的6框被辨識。這些框藉著重複使用現 存的移動向量而被重編碼。如上文所述,根據本發明不需 多動估算。如上文所述,某些巨區段會需要被重編碼為 自我’扁碼巨區段。自我編碼(就像交互編碼一樣)為眾所週知 =、叫本技術領域者能執行那些作業。重編碼可使用特別 ^版只她。但較佳的是使用處理器83〇在適當程式控制下實 施重編碼。該程式也可儲存在背景儲存體84G内,JL在運^ :月間被載入到堵如隨機存取記憶體等前景記憶體㈣内。相♦ 同的王記憶體850也可被使用以暫時儲存已被重編碼之序 列(的-部分)。如上文中較佳具體實例的描述,該系統也可 運作以重估移動向量的長度。精於本技術領域者熟諳執行 車=佳對分查尋及檢查巨區段最佳匹配的方法。加入移動向 =最佳長度估算宜由處理器830在適當程式控制下執行。若 需要的話,也可使用額外的硬體。 4 >王意上述具體實例是對本發明的舉例說明而非限制,且 -18- 200305146 =本技術领域者能夠設計許多種替代性具體實例而不障 离附申請專利範圍的範轉。在申請專利範園内,任何位 万、括號内的參考標_不被視為限制本發明。、、包含〃與、'包 括等子眼不排除申請專利範圍所列元件或步驟之外的元 件或步驟的存在。本發明可藉包含許多獨特元件的硬體實 施,也可藉經適當編程的電腦實施。在列舉數個裝置的系 :申料利範圍中,這些裝置中的數個可由一個相同的硬 =元件κ她。電腦程式產品可儲存/配置在諸如光學儲存體 等週當的媒體上,但也可以其他形式配置,像是經由網際 網路或無線通訊系統等配置。 【圖式簡單說明】 本發明的這些與其他相態參考上文所述具體實例清楚地 闡明。以下是諸圖式的簡述,諸圖式中: 圖1顯示以前技術MPEG-2編碼; 圖2頭示MPEG-2的框交互編碼,其中該圖包含子圖2八及 2B ; 圖3顯示一顯示序列及相關的框轉換序列,其中該圖包各 子圖3A及3B ; 圖4顯示第一序列延續到且包含出點(第一編輯點)之框的 重編碼,其中該圖包含子圖4A、4B及4C ; 圖5顯示不同出點下第一序列的重編碼,其中該圖包含子 圖 5A、5B、5C及 5D ; 圖6顯示第二序列從入點(第二編輯點)開始且包括入點之 框的重編碼,其中該圖包含子圖6A、6B及6C ; -19- 200305146 圖7顯示不同入點下第二序列的重編碼,其中該圖包含子 圖7A、7B及7C ;以及 圖8顯示根據本發明之資料處理裝置的方塊圖。 【圖式代表符號說明】 800 處理裝置 810 輸入端 820 輸出端 830 處理器
840 背景記憶體 850 前景記憶體 860 額外的音訊/視訊硬體 10 框群 12 資料片段 14 影像線 16 巨區段
18 明視度資料區段 20 色度資料區段 21 圖元 220 P 框 210 前一個基準框 250 B 框 240 後一個基準框 -20-
Claims (1)
- 200305146 拾、申請專利範圍: 1 · 一種用來編輯至少兩個音訊/視訊資料框序列以形成第 三合併序列之資料處理裝置(800),其中該第三合併序列 係根據第一序列中延續到且包括第一編輯點之第一框 序列,並根據第二序列内從第二編輯點開始,且包括該 編輯點之第二框序列形成的,其中第一與第二序列各被 編碼以使某數目個框(下文中稱為“匡)被自我編碼而不 以序列中任何其他框為基準,某數目個框(下文中稱為p 框)各以序列中前一個基準框為基準編碼,而其餘的框 (下文中稱為B框)各以序列中前一個基準框和後一個基 準框為基準編碼,基準框為Z框或p框,且框的參考基準 馬係根據被當作基準之框内表示類似巨區段之框内 的移動向量; 該裝置包括: 輸入端(810),用來接收第一與第二框序列; ^辨識裝置(830),用來辨識第一序列内延續到且包括 弟編輯點,且相對於第一編輯點之後的一基準框編碼 2 ’並用來辨識第:序列内從第二編輯點開始且相對 万;罘二編輯點之前的一基準框編碼之框;及 、重編碼器(830),用來將被辨識的各B型框(下文中悉 $原始B框)重編碼為對應的重編碼框,其方法是對每^ 碼^ B框僅從原始6框之移動向量推算出對應重凝 碼框之移動向量。其中該重編碼 如申睛專利範圍第1項之資料處理裝置 200305146 器被配置以將第-序列内,被辨識3框中排列順序不是 在最後一個的被辨識B框,僅以前—個基準框為基準= 編碼為單側B框。 3.如申請專利範圍第i項之資料處理裝置,其中該重編碼器 被配置以將第一序列内,被辨識3框中排列順序在最後一 個的被辨識B框,以前一個為Ϊ框或p框且在排列順序上最 接近的框為基準重編碼為p框(下文中稱為p*框)。 4·如申請專利範圍第3項之資料處理裝置,其中該重編碼 器被配置以將第一序列内’被辨識B框中排列順序不是 在最後—個的被辨識B框,,框為基準重編碼為B框 (下又中稱為B*框),其中B*框相料p*框之移動向量, 係從對應原始B框相對於不是合併序列—部分之基準框 的移動向量推算出。 5·如令請專利範圍第4項之資料處理裝置,其中B*框移動 向量之方向與對應原始B框之各個對應移動向量的方向 目问、’且框移動向量之長度正比於對應原始B框之各 固對應移動向量的長度。 6· Γ請專利範圍第5項之資料處理裝置,其中該正比率- =(B*框與P,間的框數目,(原始B框與其後續基準. 框間的框數目+ υ。 土卞 2請專利範圍第5項之資料處理裝置,其中該裝置包 β、正比率估算器’該正比率估算器估算正比率的方法 介於’之間的因素反覆縮放原始Β框之個別對 ”動向量的長度,直到對應巨區段之匹配找到符合預 7 200305146 定標準。 8·如_請專利範圍第4項之資料處理裝置,其中該重編碼器 被配置以將第一序列内,被辨識蹄中排列順序不是在最 後一個的被辨識B框,也以前一個基準框為基準重編碼。 9.:申請專利範圍第丨项之資料處理裝置,其中該重編碼 备被配置以從第二編輯點開始依序掃描第二序列找尋工 框或p框’·且若先檢測到-P框,則將被檢測到之P框重 編碼為1框(下文中稱為I*框)。 10't中請專利範圍第9項之資料處理裝置,其中該重編碼 被配置以將第一序列内,各被辨識的B框重編碼為單 側B框,其中若先檢測到p框則該單側B框根據^框重編 碼;若先檢測到!框則該單側B框根據】框重編碼。 1卜種編輯至少兩個音訊/視訊資料框序列以形成第三合 併序歹j之方法’其中②第三合併序列係根據第—序列中 延續到且包括第一編輯點之第一框序列,並根據第二序 列内從第二編輯點開始’且包括該編輯點之第二框序列 形成的,其中第一與第二序列各被編碼以使某數目個框 (下文中稱為!框)被自我編碼而不以序列中任何其他框. 為基準,某數目個框(下文中稱為p框)各以序列中前一個. 基準框為基準編碼,而其餘的框(下文中稱為B框)各以序 列中前一個基準框和後一個基準框為基準編碼,基準框 為I框或P框,且框的參考基準編碼係根據被當作基準之 框内表示類似巨區段之框内的移動向量; 該方法包括: 200305146 接收第一與第二框序列; 辨識第-序列内延續到且包括第—編輯點且相對 於第-編輯點之後的一基準框編碼之框,並辨識第二序 列内從第二編輯點開始且相對於第二編輯點之前的一基 準框編碼之框;及 12. 、將被辨識的各B型框(下文中稱為原始3框)重編碼 為對應的重編碼框’其方法是對每個被辨識之B框僅從 ^始B框之移動向量推算出對應重編碼框之移動向量。 〜種i腦程式產品’該電腦程式產品用來使—處理器執_ 仃如申請專利範圍第11項之方法的步驟。-4-
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP02076108 | 2002-03-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW200305146A true TW200305146A (en) | 2003-10-16 |
Family
ID=28051800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW092105903A TW200305146A (en) | 2002-03-21 | 2003-03-18 | Editing of encoded A/V sequences |
Country Status (8)
Country | Link |
---|---|
US (1) | US20050141613A1 (zh) |
EP (1) | EP1490874A1 (zh) |
JP (1) | JP4310195B2 (zh) |
KR (1) | KR20040094441A (zh) |
CN (1) | CN100539670C (zh) |
AU (1) | AU2003206043A1 (zh) |
TW (1) | TW200305146A (zh) |
WO (1) | WO2003081594A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005088964A1 (ja) * | 2004-03-15 | 2005-09-22 | Sharp Kabushiki Kaisha | 録画再生編集装置 |
US8074248B2 (en) | 2005-07-26 | 2011-12-06 | Activevideo Networks, Inc. | System and method for providing video content associated with a source image to a television in a communication network |
EP3145200A1 (en) * | 2007-01-12 | 2017-03-22 | ActiveVideo Networks, Inc. | Mpeg objects and systems and methods for using mpeg objects |
US9826197B2 (en) * | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
JP5257319B2 (ja) * | 2009-10-09 | 2013-08-07 | 株式会社Jvcケンウッド | 画像符号化装置及び画像符号化方法 |
JP5866125B2 (ja) | 2010-10-14 | 2016-02-17 | アクティブビデオ ネットワークス, インコーポレイテッド | ケーブルテレビシステムを使用したビデオ装置間のデジタルビデオストリーミング |
EP2695388B1 (en) | 2011-04-07 | 2017-06-07 | ActiveVideo Networks, Inc. | Reduction of latency in video distribution networks using adaptive bit rates |
EP2724343B1 (en) * | 2011-06-21 | 2020-05-13 | Nokia Technologies Oy | Video remixing system |
EP2815582B1 (en) | 2012-01-09 | 2019-09-04 | ActiveVideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
US9123084B2 (en) | 2012-04-12 | 2015-09-01 | Activevideo Networks, Inc. | Graphical application integration with MPEG objects |
WO2014145921A1 (en) | 2013-03-15 | 2014-09-18 | Activevideo Networks, Inc. | A multiple-mode system and method for providing user selectable video content |
US9294785B2 (en) | 2013-06-06 | 2016-03-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
EP3005712A1 (en) | 2013-06-06 | 2016-04-13 | ActiveVideo Networks, Inc. | Overlay rendering of user interface onto source video |
US9219922B2 (en) | 2013-06-06 | 2015-12-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
US20150085915A1 (en) * | 2013-09-25 | 2015-03-26 | Jay C.-C. Kuo | Method and system for automatically encoding video with uniform throughput |
US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2353653B (en) * | 1999-08-26 | 2003-12-31 | Sony Uk Ltd | Signal processor |
-
2003
- 2003-02-17 AU AU2003206043A patent/AU2003206043A1/en not_active Abandoned
- 2003-02-17 KR KR10-2004-7014773A patent/KR20040094441A/ko not_active Application Discontinuation
- 2003-02-17 US US10/507,994 patent/US20050141613A1/en not_active Abandoned
- 2003-02-17 WO PCT/IB2003/000659 patent/WO2003081594A1/en active Application Filing
- 2003-02-17 CN CNB038065185A patent/CN100539670C/zh not_active Expired - Fee Related
- 2003-02-17 JP JP2003579224A patent/JP4310195B2/ja not_active Expired - Fee Related
- 2003-02-17 EP EP03702926A patent/EP1490874A1/en not_active Withdrawn
- 2003-03-18 TW TW092105903A patent/TW200305146A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
KR20040094441A (ko) | 2004-11-09 |
JP2005521311A (ja) | 2005-07-14 |
JP4310195B2 (ja) | 2009-08-05 |
AU2003206043A1 (en) | 2003-10-08 |
WO2003081594A1 (en) | 2003-10-02 |
EP1490874A1 (en) | 2004-12-29 |
US20050141613A1 (en) | 2005-06-30 |
CN100539670C (zh) | 2009-09-09 |
CN1643608A (zh) | 2005-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3244629B2 (ja) | シーン変化点検出方法 | |
TWI259724B (en) | Converter-assisted video encoder | |
TW200305146A (en) | Editing of encoded A/V sequences | |
US6757330B1 (en) | Efficient implementation of half-pixel motion prediction | |
KR20160003342A (ko) | Gpu 가속을 갖는 소프트웨어 비디오 트랜스코더 | |
JP2006129249A (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
KR100987911B1 (ko) | 디지털 비디오 부호화를 위한 가변 정확도 화상간 타이밍지정 방법 및 장치 | |
WO2002078354A2 (en) | Track for improved video compression | |
CN111901603A (zh) | 一种用于静态背景视频的编码方法及解码方法 | |
JP2006524460A (ja) | 符号化されたビデオデータのコンテンツ分析 | |
WO2006046550A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
US20240146963A1 (en) | Method and apparatus for talking face video compression | |
JP4898415B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
US7437007B1 (en) | Region-of-interest editing of a video stream in the compressed domain | |
TW571588B (en) | Modifying video signals by converting non-intra pictures | |
US20040179032A1 (en) | Method of intelligent video stream modification | |
KR102072576B1 (ko) | 데이터 인코딩 및 디코딩 장치와 방법 | |
JP4749508B2 (ja) | 画像復号方法 | |
US8335256B2 (en) | Motion compensation in video coding | |
JP5247210B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
US8233709B2 (en) | Color effects for compressed digital video | |
JP4667423B2 (ja) | 画像復号装置 | |
JPH08205076A (ja) | 動画像編集装置及び動画像編集方法 | |
US20060098739A1 (en) | Video frame encoder driven by repeat decisions | |
US20130215965A1 (en) | Video encoding and decoding using an epitome |