TW200818903A

TW200818903A - Adaptive video processing using sub-frame metadata

Info

Publication number: TW200818903A
Application number: TW096122597A
Authority: TW
Inventors: James D Bennett
Original assignee: Broadcom Corp
Priority date: 2006-06-23
Filing date: 2007-06-22
Publication date: 2008-04-16
Also published as: KR20070122180A; US20080007649A1; KR100906957B1; EP1871100A2; EP1871100A3; HK1115703A1

Description

200818903 九、發明說明：‘ ' 【發明所屬之技術領域】 • 本發9滕及視輯理設備，更频地說，涉及準備將要在 : 視頻播放器上顯示的視頻資訊。【先前技術】心片和其他視翻容通常使用35麵膠片以Μ··》的縱橫才攝在心片進入一級市場時，將對35mm膠片進行複製然馨後分發給各個電影院，從而將影片賣給觀衆。例如，電影院通常將影片投射在“大螢幕，，上以供付費觀衆觀看，這是通過使用冋机明光束透射35職膠片來實現的。一旦影片離開“大螢幕’便進人二級市場，通過麟包含則的影碟或影帶（例如VHS影帶、DVD、高清（hd) _DVD、藍光麵和其他錄製媒體）來將影片分發給個人觀衆。其他用於在二級市場象分發影片的方法’還包括通過互聯網下載和通過電視網路提供 • 商廣播。爲能通過二級市場分發，35随膠片上的内容將以每膠片幅爲單位轉換爲原始(raw)數孜視頻。要想達到耶的清晰度，每個膠片幀至少需要1920><1_圖元，對於一部兩小時長的影片，攻種原始數位視頻需要大約25GB存儲空間。爲避免這種存儲要求’通常使用編碼器來編碼和壓縮原始數位視頻，以此來顯著的降低存儲要求。編碼標準包括例如但不限於運動圖像專家組（MPEG) 4、MPEG士用於HD的增強型縱服2、 200818903 MPEG-4 AVC、H.261、η·263 *電影，和電視工程師學會 (SMPTE) VC_1。曰爲了能夠滿足在電話機、個人數位助理（pDA)和其他手持設備上顯tf則的要求，壓縮喊減頻純通冑通過互聯網下載、上傳或存翻手持設備上，織由手持設備對視頻資料進灯賴、_，卩侧林傾設_棚脑幕上，從而展示給用戶。_，這種手持設備的尺寸通f會限制其上的視頻顯示幕（螢幕）的尺寸。例如，手持設備上的小螢幕通常只有2夬寸（5.08cm)長（對角線）。相比之下，電視機的螢幕通常爲3G-6G英寸(762em—1524em)(對角線测量）或更大佘幕尺寸上的差異對觀衆所能感覺得到的圖像質量有著較大的影響。例如，常見的傳統PDA和高端電話機螢幕有著與人眼相同的寬高比。在小螢幕上，人眼往往無法察覺細小的細節，例如文本、面部特徵和遠處的物體。例如，在電影院中，對於包含位於遠處的演員和鐵路標記的全景晝面來說，觀衆可以輕易識別出演員的面部表情和閱讀標記上的文字。在HD電視機榮幕上，觀衆也有可能做到這一點。但是，在轉換到手持設備的小踅幕上日守，由於人眼的限制，將不再可能識別面部特徵和文字。無淪螢幕有多大，其清晰度不是受技術限制，就是受人眼 200818903 的限制。但是，在小螢幕上，這種限制更加明顯。例如，常見的傳統PDA和高端電話機螢幕的寬高比爲4 : 3，通常能夠顯示解析度爲320x240圖元的QVGA視頻。相比之下，HD電視機螢幕的寬高比通常爲16 : 9,通常能夠顯示解析度高達192〇 X1080圖元的視頻。在對扭）視頻進行轉換、以便使其適合在圖元上少很多的小螢幕上顯示的過程中，圖元資料將進行合併，視頻細節的損失會很多。將小螢幕圖元數增加至耶電視機的水平能夠避免上述轉換過程，但是，正如前面提到的那樣，受到人眼本身的限制，視頻的細節仍會損失。通常使用視頻編碼轉換和編輯系統將視頻從一種格式和清晰度轉換到另一種格式和清晰度，以便在特定的螢幕上進行重播。例如，輸入這種系統的可能是DVD視頻，而在轉換過程之後，輸㈣視頻將在qVGA螢幕上重_放。轉換過輕中還可使用交互編輯功能來生成編輯和轉換後的輸出視頻。爲了月b夠支援多種不同的螢幕尺寸、清晰度和編碼標準，需要生成多種輸出視頻流或文件。 /見頻通常是以“大·，’格式賴的，_格式在供電影 P完觀看時會收到良好的效果。因爲視頻隨後將進行編碼轉換，所以“大螢幕，，格式視頻可能不足以支援#換到小營幕尺寸。在廷種情況下，還沒有—種轉換過程能夠生成可供小榮幕顯示的合軌頻。騎本文物碰參考_，與本發明技術 200818903 -、目比’現有和傳統方法的局限性和缺：點對於本領域的技術人員來說將變得更加明顯。【發明内容】本务明涉及-魏置和操作方法，在關朗、呈體實施方式和拥要求巾進行了雜触述。、、，據本發明的—個方面，提供了—種視頻電路，其接收編 =貝’所逑編碼視頻代表視頻資料全賴序列，所述視頻電路包括：理列處理電路，用於對所述編碼視頻應用解碼和子幢處生成視頻資料子轉—糊和視織料子鮮二序對：Γ資料子㈣—序列在視頻資_序列中 _的£域不同於所逑視頻資料子鮮二序列；視：路將所述视㈣料子㈣—序列和所述、弟―相合併，生成視頻資料子娜三序 ’所述處理電路對所述視頻資所述處理電路按順序應用所所述處理電路同時應用所述在本發明所述的視頻電路中料子幀第三序列進行編碼。在本發明所述的視頻電路中述解碼和子ijj貞處理。刀在本發明所述的視頻電路中，解竭和子幀處理。路中，在實施所述子幀處理之前，顯示設備轉點剪裁所籽丨貞元資料。

權管理 200818903 料實===麵電獅，所伽路_元資在本發明所述的視頻電所述處理電路基於目標錄在本發^所柄視頻電路_，所述處理電路基於目標顯示 "又的特點㈣所述視頻資料子鮮三序列。、、 f本發明所述的視頻電路中，所述處理電路包括數位許可在本發日麟述的_電路巾，職處理電路包括計費管〇事根據本㈣的—個方面，提供了—種視頻祕，其接收表視頻轉全辭觸_，輯視齡統包括：〜處理雜，用於對所述_顧子贼理，生成視藏貝料子幢第-序列和視頻資料子幢第二序列；所述視頻資料子鮮—序列由至少第一參數定義，所述視頻資料刊第二序列由至少第二參數錢，所述至少第-參數和所述至少第二參數共同組航資料；所述處理電路接收所述元資料，以便進行所述子鴨處理；所述處理電路將所述_f料子㈣—序列和所述視頻資料子鮮二賴合併，生歧姆料子巾貞第三序 200818903 歹 ij ο ，在本I明所述的視頻系統中，所述處理電路通過通信鍵路接收所述元資料。在本發月所述的視頻系統中，所述處理電路從可移動存儲：设備中接收所述元資料。在本發明所述的視⑽、統巾，所述元資料包括元資料槽案所述兀貝料槽案包括至少一個視頻調整參數，該參數盘所述視頻資肝難-糊幅至少—部細_。肇在本發明所述的視頻系統中，發送所述視頻資料子幅第三序列以便在目標顯示幕上顯示。、在本發明所述的視⑽射，在執行所述子祕理之前，所述處理電路對所述元資料進行剪裁。本毛月所述的視頻系、統中，所述剪裁包括對所述視頻資料子鮮二序舰行織，以便在目標顯示幕上顯示。在本毛月所述的視頻系統中，所述目標顯示幕處於不同於 _ 所述視頻系統的另一位置。、根據本發明的一個方面，提供了一種進行視頻處理的方法’包括：接收代表視頻資料全幀序列的視頻資料；對所述視頻資料進行子悄處理，生成視頻資料子齡序列寿視頻資料子巾貞第二序列，所述視頻資料子幢第一 10 200818903 序列由至少第—參數定義，所述至少第二參數顧，所述至対—夾=4子_二序列由數共同組成元資料; ;數和所述至少第二參將所述視_料鮮第二序列合併，』相和所迷视頻資料子幢成頻貧料子幢第三序列。在本發明所述的方法中， ] 所述視頻資料子鴨第—序列、广」中的第一區域； μ ^視頻資料全幀序列所述視_料子贿二中的第二區域；子應所迷視頻資料全幢序列所述第一區域不同於所述第二區域。 ’. 頻資料進行解碼在本發明所述的方法中，還包括對所逑視 •之前所述==::中’騎述視物的解碼發生在對頻資料子幀第. 序==所崎法+，綱對所迷視 _理之前，基::二::’還包括在對所迷視頻資料進行子 IT裁。、頻顯示設備的特點對所述it資料進行在本發明所述的方法中，還包括基於目標賴示設備的特點 200818903 對所述視頻資料子幀第三序列進行剪裁在本發明所述的方法中，還包括對所述視頻資料、所述元資料和所述視頻資料子幀第三序列其中的至少一個應用數位許可權管理。在本發明所述的方法中，還包括對所述視頻資料、所述元資料和所述視頻資料子幀第三序列其中的至少一個應用計費管理操作。在本發明所述的方法中，還包括通過通信鏈路接收所述元資料。在本發明所述的方法中，還包括通過可移動存儲設備接收所述元資料。在本發明所述的方法中，所述元資料包括元資料檔案，所述元資料檔案包括至少一個視頻調整參數，該參數與所述視頻資料子幀第一序列中的至少一部分相關聯。在本發明所述的方法中，還包括將所述視頻資料子幀第三序列發往目標顯示幕進行顯示。通過下面參考附圖對本發明進行的具體描述，本發明的多個方面和優點將變得更加清晰。【實施方式】圖1是依據本發明一實施例的自適應視頻處理系統的結構示意圖。自適應視頻處理系統10包括解碼器22、編碼器24、元資料處理電路26、目標顯示幕剪裁電路28和管理電路30。 12 200818903 管理電路3G具雜視賴理操作、触許可騎理操作和計費操作有_魏。自適應_處理· ig可以是硬體、軟體或更體# m和結合。在各種實蝴巾，自舰魏處理電路10可岐顧題理H、專崎纽器、數健聽理器、應用專用積體電路或可用於執行倾指令並處理資料以便完成圖1-圖15中所述魏的其他數位邏輯。

、自適應視頻處理電路1G接收—個❹個輸人，生成一個或夕们輸出。通、纟’自適應視頻處理電路接收視頻資料11 王齡列、7L貝料15和目標顯示幕資訊2G。視頻資料U全幢序列可以7^碼;祕頻12絲始源視頻14。視頻資料全極序列可能是蛾頻攝像機或拍攝系統所拍攝，下文將參考圖3 圖進行4、冰述。可直接從這種攝像機巾接收視頻資料王幀序歹]也可彳己憶體例如伺服器中接收視頻資料11鲞幀序列。自適應視頻處理電路10可通過有線或無線連接直接從攝像機接收視頻資料n全巾貞序列，也可通過有線或無線連接從存儲汉備巾接收視頻資料11全齡列。這種有線或無線連接可由無線局域網（WLAN)、廣域網.（糊）、互聯網、局域網（LAN)、衛星網、魏_互組合或上述網路其中之—來提供。在收到視頻資料11全祕列之後，自舰視頻處理電路1〇可將視頻資料全幅序列·在記憶體中，或者需要時使 13 200818903 用臨時記憶體直接對視頻資料u全幅>列進行操作。自適應視頻處理電路ίο可能收到的第二輪入爲元資料元資料15包括相似顯示幕元資料16或目標顯示幕元資料 18 ,常，如下文將要參考圖2—圖9進行詳細描述的那樣，兀貝料是這樣-種魏，自祕視鱗理電路1()料資料來调整視頻資料全巾貞序列，生成輸出’以供在—個或多個目標視頻没備上進行顯示。使用元資料15來調整視頻資料^全齡 =的方式將具體參考圖6—圖15進行詳細描述。從相似顯示幕兀貧料16和目標顯示幕元㈣18的名稱中可以看出，自適應視頻處理電路10所接收的具體元資料將發往特定的目標顯丁幕或者U組目標顯不幕。例如’相似顯示幕元資料可包括用於_組相似顯示幕的特定資料。這翻似的顯示幕具有相同的螢幕解析度、相_縱觀和/或與組中其他顯示幕相同的其他特徵。目標顯示幕元資料18對應於目標視頻播放器的特定目標顯示幕。目標顯示幕元資料Μ專門^ 剪裁，用於調整視頻資料U全齡列，以便生成目標顯轉視頻。自適應視頻處理電路10可能收到的另—輪入是目掉軒幕資訊心目標顯示幕資⑽可包括目標視靖放器的目疗顯示幕的螢幕解、目標_播放器的目標顯示幕的祕比、目構視頻播放器的目標顯示幕將要接收的視頻資料的資訊 14 200818903 格式或目標視頻繼器的目標顯示幕專用的其他資訊 ==理電路料使用目標顯示幕資訊進—步處理視頻二 = 或凡貧料15，以便按照時視頻播放器的特定目才不”、、員不幕進行剪裁。

各種操作中，自軸_處理電路1Q生成兩種視頻 33，以及數位許可權管理（画）/計費信號38。第輸出包括編躲視頻12、原始源視頻14和剪裁後的兀貝枓32。編碼源視頻12僅流經自適應視頻處理電路⑺，構成伯輪出。同理’原始源視頻M僅流經自適應視頻處理電路1〇，構成一個輸出。然而，剪裁後的元資料32是由自適應; 視麟理1路1Q對相似顯示幕元資料16、目標顯示幕元資料 18和目標顯不幕資訊2〇中的一個或多個進行處理來生成的。剪裁後的顯示幕元資料32將由具有目標顯示幕的目標視頻· 備使用’明建按照目翻示幕進行剪裁的視頻。目標視麵放裔可使用祕後的猶料32，結合編碼源視頻12和原始源視頻14中的一個或多個，爲目標顯示設備創建顯示資訊。自適應視頻處理電路1()生成的第二種輪出是目標顯示幕視頻33 ’其中包括編碼目標顯示幕視頻％和/或目標顯示幕視頻36。廷些輸出34和36由自適應視頻處理電路1〇創建，以便在目標視_放H的目標顯示幕上進行顯示。編碼目標視頻貧料34和36中的每一個都是基於視頻輸入U、元資料B和 15 200818903 目標顯示幕資訊2G來創建的 _ 顯示幕視頻36的創建方式、白域示幕視頻34和目標 ^ 工疋自適應視頻處理電路10的星體 R11 处里私路10的這些具體操作將參考圖11 一圖15進行詳細描述。芩在自適應視頻處理電路10 頻處理⑨踗in Μ 们知作實例中，自適應视 y員处里甩路1〇接收編碼源隨後使用解伽對編碼二理電路1G __塌15 _目適應視頻處解碼糊，核目蝴來操作路職用編石馬器24創建編石馬目標顯示幕視頻％。編: 顯不幕視頻34是專門爲在目標顯上而听 .μ , a ^ ^ ’工”、貝不而生成的。因此，目私顯不幕元資料18和/ ^ 未編碼源視頻姻蚊目錢齡處理的需要對其進行裁減，生成目標_幕_對細目標顯示幕頻處 . 纖雜源視頻14。原始源視頻Μ 貧:全列。自適應視頻處理電路1〇應用元資料Μ和：目標顯π幕貧訊32來創建目標顯歲丨奈祝頻36。相比於钿奢a 碼目標顯示幕_ 34獅，自顧視編如0並^ 调整後的視頻進行編碼，以此來生成 ^ 在圖1自適應視頻處理電路ω的頻36 ° 挪作中，自適應 16 200818903 視頻處理電路1G _目似顯示幕元#料i6，以及目標顯示幕貧㈣。自適應視頻處理電路1G收到的相似顯示幕元資料16 亚不疋專Η爲目標視頻播放器的目標顯示幕生成的。因此，自適f見頻處理電路1G使用其元資料處理電路26，基於目標顯 =貧訊如來調整相似顯示_料^，生成剪裁後的元資料32 〇在圖1自適應視頻處理雷踗〗n从v 包路10的另-項操作中，使用目 2不幕剪裁電㈣來創建編碼目標顯示幕視頻34和目標顯曰見436之中的-個或多個。目標顯示幕剪裁電路28使用目才示顯示幕資訊20進一步嘲敕咨 “ 乃正貝枓幀，專門按照目標視頻楼放裔的目標顯示幕來剪裁輪出33。自適應視頻處理電路10的管理電路3〇執行視頻處理管理 #作’創建目標顯示幕視頻33或剪裁後的元資料％。自適應 ^處理電路10中的管理電路3〇中的數位許可權電路執行其 ^ 33 3^爲進站源視頻U和進站峨4 15，還爲輸出31 電路可f ^料綠。f理· 3G的數鱗可權管理 ^貞的^端飼服器或其他設備一起來確保對包含視頻資料負的源視頻的操作是經過授權的。當用戶通過自適應視頻處理電路ω執行操作時，管理带 =計_作脚㈣。例如，目標視頻設備的: 明未自適應視頻處理電路10從原始源視頻14中準備目標顯 17 200818903 示幕視頻36 〇管理電路3〇首先邦建目標顯示幕視頻36的原始源視頻Μ、^料:用來到不幕資訊。在通過執行触許可姆作;目= 訪問源視頻14之尨，其饰；疋用戶有桔作_戶進_ 么人自適應視頻處理電路10可由硬體、軟體或硬體和軟體的 =來實現。自適應視賴理電路1G可_人_

_、機頂金或其他設備上的軟體應用程絲實現。圖itJ 適應視頻處理電路10的其他/額外的操作將參考圖k圖u進行插述。 -圖2是依據本發明實施例的自適應視頻處理系統和子悄元資料生成系統多個實施例的結構示意圖。圖2中描述的架構包括自適應視頻處理（AVP)系統和子献㈣生成（smg) 系、4 °通g ’ SMG系統和AVP系統可分佈在通信架構中的一個、兩個或多於兩個的部件上。子幀兀貧料生成系統1⑽包括攝影機110和/或計算系統 14〇。將要參考圖3—圖9來詳細描述的攝像機n〇拍攝視頻賁料全幀原始序列。隨後，計算系統14〇和/或攝像機11()基於用戶輸入所指定的子幀生成元資料。這些基於用戶輸入所指定的子幀用於指示將使用全幀視頻資料代表的晝面中的哪些子部分來專門爲目標視頻播放器創建視頻。這些目標視頻播放 18 200818903 器可包括視頻播放H 144、146、148和150。

圖2中展示的AVG系統用於從視頻資料全幀序列和元資料中創建綱雜子巾貞相，其巾元資料是纟smg t统生成的。拍攝系統100的AVG祕和/或SMG系統可存儲在飼服。。：152、數位電腦142或視頻顯示播放器、148和/ 或150中。若元資料和源視頻存儲在圖2中的系統中，Αγρ 可在猶後執行。作聽擇，還可在攝像機11Q輯完源視頻，並且攝像機m的SMG、計算系統⑽和/或計算系統⑷的應用程式生成元元資料之後，立即執行AVP。通L系統154包括通信架構156和/或物理介質丨58中的個或:個。触架構⑼支援前文參考圖！描述的源視頻 1卜兀貝料15、目標顯示幕資訊2()、輸出3卜顯示幕視頻纪和DRM/叶費信號％的交換。如圖所示，通信架構1兄可包括互聯網和其歸_。韻聰，可將_f料和其他輸入輸出寫入物理雜158中，從而通過物理媒體158分發。可在視頻出租商店中將物理媒體158出租給用戶，用戶將其應用到物理媒體視頻播放器中。本發明將要詳述的自適應視頻處理操作使用元資料和复他輸入對_龍全_娜作，料目標簡龍，以便在視頻播放器144、146、148和/或⑽上顯示。絲爲播放器 144、146、148和150創建目標顯示幕視頻的視頻資料u、元 19 200818903 一貝料15和目標視頻顯示資貝汛20可從早個源或多個源處接收。例如，在伺服器152上存儲元杳极^ 貝枓15，而源視頻11存儲在不同的地方。作爲選擇，源_卜元資料15和目標顯示幕資㈣逛可-同存儲在伺服器152或另—單個設備上。本發明的自適應視頻處理操作可由計算系統142、攝像機 1^0、計算系統U0、播放器144、146、148和/或15〇和伺服 152中的個或多個來執行。正如將要參考圖1〇—圖η所

誶述的那樣，這些操作爲特定目標視頻播放器創建目標顯示幕視頻。圖3是依據本發明一實施例的視頻拍攝/子齡資料生成系統的結構示意圖。圖3中的視頻拍攝/子φ貞元資料生成系統 1〇〇包括攝像機110和SMG系統120。視麵像機11〇拍攝與晝面102有關的視頻資料的原始全幀序列。視頻攝像機21〇還可通過麥克風111a和nib來獲取音頻。視頻攝像機11〇可將視頻資料的全幢發在控制臺140或交由SMG系統120執行。視頻攝像機110或控制臺140的SMG系統120通過用戶輸入設備121或123從用戶處接收輸入。根據用戶的輸入，SMG 系統120在視頻顯示幕上顯示一個或多個子幅，該視頻顯示幕上同樣顯示視頻資料的全幀序列。根據從用戶輸入和其他資訊創建的子幀，SMG系統12〇創建元資料15。視頻拍攝/子幢元資料生成系統100的視頻資料輸出是一個或多個編碼源視頻 20 200818903 12或原始源視頻14。視頻拍攝/子愉元資料生成系統還輸出元資料15，該元資料可以是相似顯示幕元資料16和/或目標 • 顯不幕兀育料18。視頻拍攝/子幢元資料生成系、统1〇〇還可輪 • 出目標顯示幕資訊20。攝像機11〇拍攝的原始視頻幀序列爲晝面1〇2。晝面1〇2 可以是攝像機110拍攝的任一種晝面。例如，晝面1〇2可以是 -大幅風景，且晝面含有很多細節。此外，晝面搬還可以是鲁互相對話的演員的頭部照。另外，晝面102射以是狗追球的動作晝面。在拍攝原始視㈣的過程中，晝面搬醜型通常會隨時間發生變化。 , 在現有的視頻拍攝系統中，用戶操作攝像機11〇來拍攝晝面搬的原始視_，這些行了優化，以適應“大螢幕》格式。在本發明中，這些原始視頻頓隨後才會進行轉換，以使鲁 S ς由配有各自的視頻顯示幕的目標視頻播放器顯示出來。因爲子巾貞元麵生成系統12G會_間_不同_的晝面，對所拍攝的視親彳亍轉換財於在目標視頻毅器上觀看 ▲的子_方式也會隨時生。“錢幕，，格式並不總是錢很好的轉換爲小螢幕_上。因此，本發_子巾貞元資料錢系統120支援這樣一種細見麵拍攝方式，即在轉換到車乂小格式時，讀方式可以提供高質量的視頻子幅，以供顯示在目標視頻播放器的-個或多個視頻顯示幕上。 21 200818903 編碼源視頻12可使用基於_文余弦變換（DCT)的編碼/ 壓縮格式（例如MPEG-1、MPEG-2、用於HD的增強型 MPEG-2、MPEG-4AVC、H.261 和 mg)中的—種或幾種來，編碼，使用運動向量來從相鄰幢或場（fldd)構建基於幀或場：的預測，這是通過通常存在的幀間或場間的運動來實現的。例 · 如’在使用MPEG編碼標準時，原始視頻賴序列將被編碼爲由三種不同類型的幀組成的序列：“Γ幀、“B”幀和“p，，幀1幀疋幀内編碼的，P幀和“B”幀是幀間編碼的。_ 因此，“Γ幀是獨立的，也就是說它們在重建過程中無需參考其他幢，而“P”幀和“B”幀是相關的，也就是說，它們需要依靠其他幀來進行重建。具體來說，P幀是從上一〗幀或 P巾貞向W預测的’B帕是從上一/下一 j中貞或p幢向前預測和向後預測的。IPB幀序列將使用DCT進行壓縮，將“Γ，、“p，，或“Β”幀中通常設置爲8)圖元資料塊轉換到DCT 域，以便更容易進行量化。隨後對量化後的位元流應用遊程編 φ 螞和熵編碼，生成壓縮位元流，與原始的未壓縮視頻資料相比，壓縮位元流的比特率明顯降低。圖4疋示範性原始視頻幀和對應子幀的示意圖。如圖所不’視頻顯示幕_包含—個可視區域，其中顯示了代表圖3 旦面102的原始視頻巾貞序列。根據圖4所示的實施例，smg. 系統120還用於回應代表用戶輸人的其他信號，除子f貞4〇2以 22 200818903 外，在視頻顯示幕400上還顯示與原始視頻幀序列相關聯的其他子幀404和406。這些子幀402中的每一個都具有與多個目

標視頻顯示幕其中之一相對應的縱横比和尺寸。此外，SMG 系統120生成與每一個子幀402、404和406相關的元資料15。子幢元資料生成系統12〇所生成的與子幀402、404和406相關的兀資料15使得對應的目標視頻顯示幕在其視頻顯示幕上生成對應的顯示晝面。在圖4所示的實施例中，SMG系統12〇包括單個視頻顯示幕400，每個子幀4〇2、4〇4和4〇6正是通過該顯不幕顯示來的。在另—實施例巾，視贼理系統生成的夕個子幀中的每一個將獨立地顯示在對應的目標視頻播放器上。. 在圖4所示的實施例中，在子齡中至少有兩個子幢彻和406與原始視頻餅列中的單個幢相對應。因此，例如，在特定的目標視頻播放器中，子幢4〇4和4〇6以及其中包含的相關視頻貝轉會在不同的時間顯示在單個目標視頻播放器 =在圖4所示的實施辦，目標視賴放騎顯示視頻的第一部分展示的是刊4〇4中包含的狗追球的晝面，而目標視頻播放器所顯示視頻的第二部分展示岐旬傲中描述的反彈球的晝面。因此，在本實施例中，目標視頻躲器中在時間上相鄰的_棚是憐_始視_相生成的。此外，在圖4所示的實施例中，在子鴨組中至少有兩個子 23 200818903 幀包含空間位置隨原始視頻幀序列變化的物體。在這種幀中，顯示狗的子幀404的空間位置會隨與顯示反彈球的子懷406有關的原始視頻f貞序列變化。此外，在圖4所示的實施例中，在子幀組中的兩個子幀可對應於原始視頻幀序列中的至少兩個 ' 不同的幀。在該實施例中，子幀404和406會對應顯示在視頻顯示幕400上的原始視頻幀序列中的不同幀。在該實施例中，在第一時間段，選擇子幀404以便在一段時間内顯示狗的圖像。此外，在該實施例中，子幀4〇6對應不同的時間段，用於 ⑩ 顯示反彈球。在該實施例中，子幀組4〇4和4〇6中的至少一部分對應由原始視頻幀序列所描述晝面的一個子畫面。所描述的序列可在整個顯示幕4〇〇上顯示，也可在子幢搬中顯示。圖5疋提供包含用於創建子幀的視頻編輯工具的圖形用戶介面(GUI)的視頻處理系統—實施例的結構示意圖。視頻處理顯不幕502上顯不的是當前巾貞5()4及其子巾貞獨。子幢鄕包括由用戶指定的感興趣區域内的視頻資料。一旦指定了子幢 # 娜，用戶便可使用通過则爾提供給用戶的一種或多種視頻編輯工具來編輯子㈣6。例如，如圖$所示，通過點擊或 =擇⑽5〇8中的一種編輯工具，用戶可對子巾貞撕應用滤光戈、色彩修正、疊加或其他編輯工具。此外·遞還可使 + ，以便觀看和比較原始子帧序列和子幀戽列。 24 200818903 圖6是示範性原始視頻t貞和對應子rjj貞的示意圖。在圖$ 中，第一晝面602由原始視頻幀606的第一序列604描述，第二晝面608由原始視頻幀606的第二序列61〇描述。因此，每個晝面602和608包含原始視頻幀606的各自序列604和610, 通過順序的顯示原始視頻幀606的各序列604和610中的每個原始視頻巾貞606來觀看。但疋’要想在小視頻顯不幕上顯不每個晝面602和608，而又不會降低觀衆所能感覺得到的視頻質量，每個晝面602和 608可分割爲分開顯示的子晝面。例如，如圖$所示，在第一晝面602中，存在兩個子晝面612和614,在第二晝面608科，存在一個子晝面616。如同每個晝面602和608可以通過順序顯示原始視頻幀606的各自序列604和610來觀看一樣，每個子晝面612、614和616也可通過顯示各自的子賴618 (618遞、 618b和618c)序列來觀看。例如，來看原始視頻幀第一序列604中的第一幀6〇6a，用戶可指定兩個子幀618a和618b，每一個子幀包含代表不同子晝面612和614的視頻資料。假設子晝面612和614連續貫牙於原始視頻幀的606第一序列604之中，用戶可進一步在原始視頻幀606的第一序列604中隨後的每個原始視頻幀606a 中爲母個子晝面612和614分別指定兩個子巾貞618a和618b。這樣便得到子幀618a第一序列620,其中包含的每個子幀618a 25 200818903 都包含代表子畫面612的視頻内容；還可得到子幢618b第二序列630 ’其中包含的每個子巾貞618b都包含代表子書面614 的視頻内容。子幀618a和618b的各序列620和630可順序顯，示。例如，按順序交叉顯示對應於第一子晝面612的每個子幀、 618a和對應於第二子畫面614序列30的每個子幀618b。通過這種方式’衫片仍此保持晝面602的邏輯流，並且能讓觀衆看到晝面602的細微細節。同理，來看原始視頻幀606第二序列61〇中的第一幢 _ 606b，用戶可指定對應子晝面616的子幀61&。再次假設子旦面616連縯貝牙於原始視頻悄606第二序列，用戶可進步在原始視麵606第二序列610中的後續每個原始視頻幀 6〇6中扎疋包含子晝面616的子幢618c。這樣便得到子巾貞6i8c 序列640 ’其中的每個子悄618c都包含代表子晝面616的視頻内容。圖7疋子幀序列的示範性子幀元資料的對應表。圖7中展 _ :的子鴨元資料150中包含的是順序排列的元資料·，用於、、厂、子鴨的順序（也京尤是顯示順序）。例如，順序排列的元資料·可_子晝面序列和各子晝面的子鴨序列。使用圖7中 =的例子’順序排列的元資料7〇〇可分成子f貞元資料150的夕個組72〇 ’其中每個組mo對應特定的子畫面。 !在第個組720中，順序排列的元資料700開始於 26 200818903 子幀第一序列（例如序列620)中的第一子幀（例如子幀 618a) ’其後是第一序列620中的各其他子幀。在圖7中，第 —序列中的第一子幀被標記爲原始視頻幀A的子幀A，第一序列中的最後一個子幀被標記爲原始視頻幀F的子幀F。在第一序列620的最後一個子幀之後’順序排列的元資料7〇〇延續到第二個組720 ’其開始於子幀第二序列（例如序列63〇 )中的第一子幀（例如子幀618b)，結束於第二序列63〇的最後一個子幀。在圖7中，第二序列中的第一子幀被標記爲原始視頻幀A的刊G，第二序列中的最後一個子幢被標記爲原始視頻幢F的子幢L。最後-個組72〇帛始於子楨第三序列（例如序列640)的第ϋ貞（例如子·18〇，結束於第三序列_ 中的最後-個子楨。在圖7中，第三序列中的第—子舰標記爲原始視頻巾貞G的子丨貞M，第三序列中的最後—個子·歡記爲原始視頻幀I的子幢P。每個組72〇 t包含的是該組72〇中每一個單獨子賴的子悄元資料。例如第-個組72〇包括刊貞第一序列㈣持個子幢的子鴨元貝料150。在—個示範性實施例巾，子巾貞元資料可組成其中包含—定數量的條目，的元資料文字健。元資料文字檑案中的每個條目包括該特定子_子巾貞元資料 ⑽因此’元資料文字槽案中的每個條目⑽包含標識與該兀貝料相關&的特定子巾貞的子丨貞識別字，並引用原始視頻悄序 27 200818903 列中的一個幀。編輯資訊包括但不限於，搖攝方向(pan directi〇n)和搖攝率 (panmte)、縮放率、對比度調整、亮度調整、濾光鏡參數和視 · 頻效果參數。具體來說，與子幀相關聯，存在幾種類型可以應 · 用的編輯資訊，它們與下列内容有關：a)視覺調整，例如亮 ‘ 度、濾光、視頻效果、對比度和色彩調整；b)運動資訊，例如搖攝、加速、速率、子幀在原始幀序列上的移動方向；e) 尺寸調整資訊，例如子幘在原始幀序列上的縮放（包括放大、肇縮小和縮放比例），d)與原始視頻資料落入子幀中的那些部分相關聯、合併或被其疊加的任何類咖補充媒介（例如疊加的文本或圖形或補充的音頻）。圖8是包含子幀編輯資訊的示範性子幀元資料的對應表。子幀元資料包括元資料報頭8〇2。元資料報頭8〇2包括元資料(MD)參數、數位許可權管理(DRM)參數和計費管理參數。疋資料參數包括與該元資料有關的資訊，如創建日期、過 _ 期曰期、創建者標識、目標視頻設備義(categ〇iy/categ〇ries)、目標視頻設備類別(class/ classes)、源視頻資訊和通常與所有元貝料有關的其他資訊。元資料報頭8〇2中的數位許可權管理部分包括用於判斷子幀元資料是否可用以及將該子幀元資料可用到何種程度的資訊。元資料報頭8〇2中的計費管理參數包括在凡資料開始使用時用於啓動計費操作的資訊。 28 200818903

子幀元資料包含在子幀文字檔案的條目8〇4中。每個子幀的子憤70㈣150包括子t貞常規資訊_，例如分配給該子悄的子幢識別字（SFID)、與從巾提取除該子義原始視頻幢相關馬P的貝矾（OF ID、OF計數、播放偏移量）、子鴨位置和尺寸（SF位置、SF尺寸）以及將要顯補子㈣鮮幕的縱橫比（SF比）。此外，如圖8所示’特定子幢的子贿訊謝可包括用於編輯該子幢的編輯資訊8〇6。圖8中所示的編輯資訊的例子包括搖攝方向和搖攝率、縮放比例、色彩調整、濾年鏡蒼數、對圖像或购相的補絲及其他視頻效果和相關圖9是依據本發明—實施例的視頻處理電路的示意圖。視頻處理電路_支援前面參相1-圖8描述的本發明SMG f AVP純。視頻處理電路·包括處理電路9ω和本緣憶體930 ’二者共同存儲和執行軟體指令並處理資料。處理電路910可以是微處麵、數位信號處理H、制翻積體電路或能夠用於處理資料和執行軟麵作的其他_的電路。本地記憶體㈣是隨機訪_'體、唯讀記憶體、硬碟驅動器、光碟機和/或能夠存儲資、/ ϋ車人體私式的其他記憶體中的一種或多種。 ^ 入視頻處理電路_觀括顯示幕介面920、-個或多侧戶”面917個或多個輪出介面980和視頻攝像機/攝像機介 29 200818903

面"〇。在執行SMG系統時，視頻處理電路9〇〇包括攝像機和/或視頻攝像機介面。視頻處理電路_接收視頻資料全鴨序列。若視頻處理電路__包含視麵像機，則由視頻攝像機拍攝視頻資料全鴨序列。視頻資料全齡列作爲原始視_ 出存儲在本地記憶體⑽中。顯示幕介面連接到一個或夕们"貞示幕’這些顯示幕由視頻處理電路_直接服務。用戶 f入介面917連接到一個或多個用戶輪入設備’例如鍵盤、滑鼠或其他用戶輸人設備。通信介面_可連接到資料網路、 DVD刻纟織或可將㈣發往視頻處理電路_和從視頻處理電路900中讀取資訊的其他通信鏈路。本地記憶體930存儲有可由處理電路91〇執行的作業系統 94〇同理’本地讀體93〇存館有用於實現功能和/或 AVP功能95〇的軟體指令。當處理電路_執行聰和域

AVP軟難令㈣後，㈣處理電_就可執行$觸功能和/或AVP功能的操作。視頻處理電路_還可在子㈣· l5G生成過程令或者生成完成之後對其進行存儲。當視頻處理電路·執行驗系，時’視頻處理電路創建元資料15，並將其作爲子幢 π貝料15〇存儲在本地記憶體中。視頻處理電路_執行辦系統，視頻處理電路9〇〇可通過通信介面98〇接收子情 15，以便_於處理_過通信介面__的源:頻 30 200818903 11。視頻處理電路900還在本地記十可實現編碼軸輸操作_的路_執行⑽和/或柳純的方式=處理電 10-圖15進行介紹。 m圖8以及圖二Γ、3、4和9,在―項具體操作過程中，處理电路_在編碼視頻14上應_碼和子難理操作成視頻資料子巾貞第—序列和

子幢第-序列在視Γ 相。視頻資料 =子_:相。此外，處理電路_將視頻資料子巾貞第— =列和視頻資料子幘第二序列合併，生成視頻資料子賴第三序泰處理電路91G可對視頻資料子巾貞第三序列進行編碼。處理电路910可順次和/或同時應用解碼和子幢處理操作。處理電丨路可根據子悄元資料15來實施子幢處理。處理電路⑽可基於目標顯示設備的_來剪裁子紅資料，織實施子巾貞^ 理。處理電路910可基於目標觸設備的特點來剪裁視頻資料子幀第三序列。根據另一項操作，處理電路91〇對視頻應用子幀處理操作’生成視頻資料子幀第一序列和視頻資料子幀第二序列。視頻貧料子幀第一序列由至少第一參數來定義，視頻資料子幀第二序列由至少第二參數來定義。所述至少第一參數和至少第二 31 細貞處生成视爛二序列合併，標顯示幕知料鮮三相將發往目資料進行_ =理之前，處理魏_可先對元行修改财域賴料鮮三序列進以便在目標顯示幕上顯示。及摔健本㈣-細_自糖爾理電路結構

，展示了自適應處理電路麵的一種具 =;:式。自適應處理電路_。包括解碼器臓、元資料二二ΓΓ Τ料剪裁電路1〇06和管理電路1008。自適二12 I* 〇〇通可包括目標顯示幕剪裁電路1010和編碼器 Μ。1應處理電路咖接收原始源視頻16、、編碼源視頻目、峨不幕对料16和/或目標顯示幕資訊20。 ^鱗理電路麵的解端驗触編碼馳頻⑷

t進行解竭’生成原始視頻。作爲選擇，自適應處理電路接、…源視頻16將作爲原始視頻直接提供給自適應處理電〇〇0。凡資料剪裁電路_接收相似顯示幕元資料16，管理電路接收目翻示幕資訊20。. 次;'、/、操作過程中，元資料處理電路10〇4對原始視頻和元貝订才呆作，生成輸出發往目標顯示幕剪裁電路1010。一；斗9裁兒路1〇〇6接收相似顯示幕元資料W，基於從管理 32 200818903 電路誦_的介面細，生成剪錢的理路1008接收目標顯示幕 &理电 @ 、，生成輸出’發往元資料剪裁 i裁帝路moT職、元_理電路觸4和目標顯示幕一 ^ 的一個或多個。元資料處理電路1004基於從兀一貝料剪裁電路1006

賴後的元資料32處理原始視 ’、_出將進—步由目標顯示幕剪裁電路1010 灯男，生成目標顯示幕視頻36。目標顯示幕視頻36可由編碼器觀編碼’生成編碼目標顯示幕視頻34。㈣中自適應處理電路1〇〇〇的每個部件都可基於其收到 ^任思或所有輸人來執行操作。例如，解碼$ i()()2 管理電路麵收到的資訊剪裁其操作，對編碼源視頻14進行編碼二這-操作可基於目標顯示幕資訊2G來進行。此外，元貧料賴電路祕可基於從管理電路麵收到的資訊，祕相似顯示幕元· 16，生成剪裁後的元資料32。元資料剪裁電路1〇06從管理電路麵收到的資訊是基於目標顯示幕資訊 2〇的。相似顯示幕元資料16可對應具有相似特性的—組或一類目標顯示幕。但是’自適應處理電路麵生成對應特定目標顯示幕喊裁後的元資料32。因此，元㈣剪裁電路= 基於目標顯示幕資訊20和由管理電路麵生成的相關資訊來修改相似顯示幕元資料丨6，生成剪裁後的元龍％。、° 元資料處理電路腦可基於相似顯示幕元資料10來修改 200818903 肩始視頻’生成顯示幕美於酋_ & 綦視頻。作麟擇，4料處理電路_ 土〜裁麵元轉32處理細練資料處理電路1004 仁疋兀此，目標顯示輕裁了Γ用物柄顯示幕視頻。因的其他資訊(基於二：=理:路_提供給他頻，生成目俨顯-莫、、一、。）峨顯示幕視員>生^痛4視頻％。目標顯示树裁電路咖的男裁還表現在編石馬器1〇12 丁中。而2生成的編碼目標顯示幕視頻34 圖11是依據本發明的自適應視頻處理電路第一且體 ;r=圖。在本實施例中’_ _ ιΓ^Γ頻_ °蝴處職路_接收未編瑪靜或原始源· 14。基於目編躲幕元#料18，元資 3Γ _處理絲_14蝴未編碼視頻_，、 —絲娜_。元資料處理電路聰射從目標顯裁電路1112 _人。目標顯示幕元_ 接收她幕元顏16和目編轉魏20。基於相 =員示幕对㈣和目獅示幕資㈣，目標顯示幕元資料賴電路1112生成細㈣元資料32。，元資料處理承路_使用目標顯示幕元資料18和/或剪裁後的元資料幻: 處理其輪入視頻，生成輸出。對於目標視頻播放器的目標顯示幕而言，元資料處理電路 34 200818903 示幕剪裁1 糾處理可縫林分。因此，補充目標顯殘-路_#收元資料處理電路1106的輪出，基於目 ,1、不!魏20進—步處理輸入視頻，生成目標顯示幕視頻 ^目I顯不幕視頻36是專門按照目標視頻播放器的昨顯示幕進行剪裁的。編碼器111G也從補充目標顯示幕剪_路

接收輪出，對輸出進行編碼，生成編碼目標顯示幕視頻 34。^碼目標顯示幕視頻別是遵循目標視頻播放器可接收的視頻貝料的格式進行編碼的。目標視頻播放器接收編瑪目標視頻34 ’基於補視頻34在其㈣幕上顯示視頻晝面。圖12是依據本發明的自適應視頻處理電路第二具體實施^ 例的功能框圖。與圖时的結構相比，集成的解碼處理電路1202概編·、視頻12、縣源視頻14、目標顯示」幕兀貧料18 ’並從目標顯示幕域料剪裁電路咖接收剪_ 後的元資料32。目標顯示幕元資料剪裁電路丨纖基於相似顯示幕元資料16和目標顯示幕資訊2〇生成剪裁後的元資料必集成的解碼和元資料處理電路1202對其輸入進行處理，生成作爲触的顯示幕漏。在任意、咖，雜縣的解碼和元資料處理電路12〇2的所有輸入並不同時出現。例如，若出現編碼源視頻12，則集成的解瑪和元資料處理電路丨2⑽對碥碼源視頻12進行解碼，然後使用目標顯示幕元資料18和/或剪裁後的元資料32對未編碼源視頻進行處理，生成視頻輪 35 200818903 出。富然’當集成的解石馬和_次視頻Μ時，其無需在執r 料處理電路咖接收原始源 Η進行解碼。 T7L_處理操作之_原始源視頻罘取的肝碼和元資料虛剪裁電路1204接收。補奋構1202的輪出將由補充目標幕資訊％。補充目：：剪裁電— 對其從集成的解碼和元:#料處理^基於目標·幕資訊2〇行處理，生成目標顯示幕視电1202收到的視頻資料進布^見須36。作爲遲据、+ 電路簡生成輪出並發往編· im=，補充目標剪裁行編碼，生成編翻標_ 貞惜暮人的資料進編碼目標顯轉_34都是專門應祕視頻36和定目標顯示幕的。 μ、U見頻播放器的特圖13是依據本發明的自適應視頻處卜例的功能_。在圖13所示的結構中體貧施裁和元資料處理電路請2接_ 、:目標剪 Μ、目標顯示幕元資料18、相似顯示幕元心幕貝訊2〇。基於其所接收的有效且存在的 ^^ _裁和元資料處理電路⑽執‘ Γ元貧料細谢㈣咖，蝴_充2操兔路1綱的視频資料和域剪裁後的元資㈣。’裁補充目標剪裁電路13()4接收集成_、目標剪裁和元 36 200818903 資料處理電物2，，以輸入資料，補充、丁綦貝訊2〇。基於其 π裁電路1304生成目標顯示幕視頻36和 /或發在編碼ϋ 13Q6 _ ^ ^ n〇4i. 輪出。、、扁碼态1306從補充目標剪裁電。赌輸人資料’生成編碼目標顯示幕視頻34。 :疋依據本㈣的自適應視峨理電路第四具體實施 i=E圖:在圖14所示的實施例中，生成的編碼源視頻 2 ”碼③1術進行解碼，生成未編碼視頻應。集成的目標賴和_處理電路剛接收未編碼視頻·、原始源視頻14、目標顯示幕对㈣、相似顯示幕域料16和目 ^員示幕魏20。聽雜人及建的操健式，集成的自才示勇裁和元資料處理雷跋技电路1404生成輪出並發往補充目標剪裁電路1406,同時還會生成剪裁後的元資料％。補充目標剪裁電路_触集賴目標麵和元資料處理電路1404的輸出，並將其作爲自己的輸入，同時還接收目標顯示幕魏2〇。作爲其_，猶目麟裁電路觸生成目標顯示幕視頻36 ’並將其發往編碼ϋ剛。編碼器i顿對其輸入進行辆，生成編碼目標齡幕視頻％。目標顯示幕視頻36和編碼目標顯轉視頻％是專fm 觸擇的包含目標視頻顯示幕的目標視頻播放器的。圖11-圖14中的每個結構都可由圖1〇中的自適應視頻處理電路誦來實現。料，圖1G中自__處理電路 200818903 14 _種實闕還可通過此円自適應視頻處理功能的一個或多個設傷來完成。因二Η中的各種操作可由—個、兩個或兩個以上的理料/設絲魏。將這些·處_作分佈設置在一個、ΛΓ或多個處理部件/設備上時所採用的方式可基於處丈率貝源位置、貧料位置、用戶位置、服務提供商位置或其他資源位置來選擇。

圖15是依據本發明一實施例的視頻處理過程的流程圖。根據本發明，視頻處理電路的操作觸開始於接收視頻資料 (步驟151〇)。當接收的視頻資料爲編碼格式時，視頻處理電路對視頻雜進行解碼（_512)。視爾理電路隨後接收元資料（步驟⑸4)。該元資料可以是本文所描普通元資料、相侃資料或剪裁後的域料。當收到的是相似元資料或普通元資料時，圖15中的操作包括基於目標顯示幕資訊對元資料進行剪裁（步驟1516)。步驟1516是可選的。隨後’圖I5中的操作包括基於元資料對視頻資料進行子齡理（步驟1518 )。隨後的操作包括基於目標顯示幕資訊％韵裁在步驟1518生成的視頻資料子幀輸出序列（步驟Μ%)。步驟1520的操作生成剪裁後的視頻資料子巾貞輸出序列。隨後，可選的，該視頻倾子賴&相將進行編碼（步驟 1522)。最後，視頻資料子幀序列將輸出到記憶體中存儲、通 38 200818903 或者輸出到其他過網路輪㈣目標設備或相其他方式輸出位置（步驟1524)。 ^圖15中展♦個_施例，峨收代表視頻資料全財列的視接收資料推r w 、、頻處理系統隨後對視頻貞:邊理’生成視_料子师-序列和視頻資料子 ==列。視織料子序列由至少第-參數來定義，

數知=1細二相由至対二參數來定義，該至少第—參口〆弟一减共同組成元資料。通過將視頻資料子序列和視織料刊貞第二序列合併，視親理纽生頻資料子幀第三序列。交生成視在本實施财，視㈣料子—相可對舰頻資料全齡列中的第-_，視織料子鮮二序列可對應視頻資料全鴨序列中的第二區域，其中第—區域不同於第二區域。$ ，，本領域一般技術人員知悉，此處使用的術語“通訊連接，包括無線和有線’直接連接和通過其他的元件、元件、電路或模組的間接連接。本領域一般技術人員也知悉，推斷連接(inferred.coupHng，例如，一個元件被推斷連接到另一個元件)包括與“通訊連接”—樣的方式在兩個元件中的有線和無線，直接與間接連接。以上借助於說明指定的功能和關係的方法步驟對本發明進行了描述。爲了描述的方便，這些功能組成模組和方法步驟 39 200818903 的界限和順序在此處被專門定義。_，只要給定的功能和關係能夠適當地實現，界限和轉_化是允制。任何上述變化的界限麵序應被視爲在翻要雜護的範圍内。以上避借助概明某些重要魏的功賴崎本發明進行了财、。爲了描述的方便，這些功能組成模組的界限在此處被專Η定義。當這些重要的魏被適#地實現時，變化其界限是允許的。類似地’流程圖模組也在此處被專門定義來說明某些重要的功能，爲廣泛應用，流程圖模組的界限和順序可以被另外定義’只要倾實現這麵要魏。上述魏模組U呈圖功能模_界限及順序的變化健被視爲在侧要求保護範圍内。本領域技術人員也知悉此處所述的功能模組，和其他的說明性模組、模組和元件，可以如示例或由分立元件、特殊功能的積體電路、帶有適當軟體的處理H及類似的裝置組合而成。此外，雖然描述細節的目的是清楚和明白上述實施例，本發明並不限於這些實施例。任何本領域技術人員知悉的、對這些特徵和實施例進行各種改變或等效替換而得的技術方案，都屬於本發明的保護範圍。【圖式簡單說明】圖1是依據本發明一實施例的自適應視頻處理系統的結構示意圖；圖2是依據本發明實施例的自適應視頻處理系統和子幀 200818903 元資料生成系統多偭實施例的結構示意圖；圖3是依據本發明一實施例的視頻拍攝/子幀元資料生成系統的結構示意圖；圖4疋不範性原始視頻巾貞和對應子幢的示意圖· 圖5是提供包含用於創建子幀的視頻編辑工具的圖形用戶介面的視頻處理系統一實施例的結構示意圖；

圖6是示範性原始視頻幀和對應子幀的示意圖；圖7是子幀序列的示範性子幀元資料的對應表· 圖8是包含子幀編輯資訊的示範性子幀元資料的對應表· 圖9疋依據本發明一實施例的視頻處理電路的示立固圖10是依據本發明一實施例的自適應視頻處理電路結’盖及操作的示意圖；理電路第—具體實施圖11是依據本發明的自適應視頻處例的功能框圖；圖12是依據本發明的自適應視頻處理電路篦— 吩乐一具體實施例的功能框圖；圖13是依據本發明的自適應視頻處理電路第三具體每γ 例的功能框圖；圖14是依據本發明的自適應視頻處理電路第四具體實施例的功能框圖；圖b疋依據本發明一實施例的視頻處理過程的流程圖。【主要元件符號說明】 41 200818903 自適應視頻處理系統10 視頻資料11 編碼源視頻12 原始源視頻14 元資料15 相似顯示幕元資料16 目標顯示幕元資料18 目標顯示幕資訊20 解碼器22 編瑪器24 元資料處理電路26 目標顯示幕剪裁電路28 管理電路30 視頻輸出31 元資料32 目標顯示幕視頻33 編碼目標顯示幕視頻34 目標顯示幕視頻36 數位許可權管理（DRM) /計費信號38 子幀元資料生成系統100 晝面102 攝影機110 麥克風111a、111b SMG系統120 用戶輸入設備121、123 計算系統140 數位電腦142 視頻播放器144、146、148、150 伺服器152 通信系統154 通信架構156 物理介質158 視頻顯示器400 子幀 402、404、406 視頻處理顯示器502 當前幀504 子幀506 GUI 508 第一晝面602 第一序列604 42 200818903 原始視頻幀606 第二序列610 子幀 618a、618b、618c 第二序列630 順序排列的元資料700 組720 條目804 視頻處理電路900 . 用戶介面917 本地記憶體930 SMG和/或AVP軟體指令950 視頻攝像機/攝像機介面990 自適應處理電路1000 元資料處理電路1004 管理電路1008 編碼器1012 未編碼視頻1104 第二晝面608 子晝面 612、614、616 第一序列620 子幀元數據150 條目710 元資料報頭802 子幀常規資訊806 處理電路910 顯示幕介面920 作業系統940 輸出介面980 編碼器和/或解碼器操作960 解碼器1002 元資料剪裁電路1006 目標顯示幕剪裁電路1010 解碼器1102 元資料處理電路1106 補充目標顯示幕剪裁電路1108 編碼器1110 目標顯示幕元資料剪裁電路1112 集成的解碼和元資料處理電路1202 補充目標剪裁電路1204 43 200818903 編碼器1206 目標顯示幕元資料剪裁電路1208 集成的解碼、目標剪裁和元資料處理電路1302 補充目標剪裁電路1304 編碼器1306 解碼器1402 集成的目標與裁和元貧料處理電路1404 補充目標剪裁電路1406 編碼器1408

44

Claims

200818903 -、申請專利範圍： 1 種視頻電路，其接收編碼料全幢_甘4士馬麵，所述編碼麵代表視頻資科王悄序列’其特徵在於，所述視頻電路包括： a 處理電路，用於對所诚飨废、a μ η、、 &㈣視頻應用解碼和子顯：生成視頻資料子幀第一序列和、处. j和視頻1料子_二序列· 所述視頻資料子幀第一序的區域不觸㈣㈣對應所述處理電路將所述視頻資料子鴨第資料:貞第t續併，生成_輪鮮三糊，如申凊專利範圍第1項所述㈣Μ、規心路’其中，所述處理電路對所述視頻資料子幅第三序列進行編碼。电、如申請專利範圍第1項所述的視頻 β广— 路其中，所述處理電路知順序應用所述解碼和子幀處理。电、如申請專利範圍第1項所述的視頻贫 ,々Α 士产路其中，所述處理電路同日守應用所述解碼和子!Jj貞處理。、如申請專利範圍第丨項所述的視頻電路，其中，所述處理恭路基於子幀元資料實施所述子幀處理。兒、如申請專利範圍第5項所述的視頻電路，其中，在實施所述子巾貞處理之前’所聽理電路基於目標顯賴備的特點所述子幀元資料。、-種視頻系統，其接收代表視頻資料全幢序列的視頻，其特徵在於，所述視頻系統包括·· ' 45 200818903 料子^^路用於對所述視頻應用子幢處理，生成視頻資，、幀弟-序列和視頻資料子幢第二序列；戶=視頻資料子縣—序列由至少第—參數定義，所述迟至少第一参數共同組成元資料；所述處理電路接收所述元資料，以便進行所述子祕理；資料Z理電路將所述視嶋侧—序列和所述視頻、’、、弟—序列合併，生成視頻資料子鮮三序列。路如項觸_聽，射，所述處理電路通過通信鏈路接收所述元資料。 9、—種進行視頻處理的方法，其特徵在於，包括：接收代表視料全財觸視頻資料；對所述視頻資料進行子φ貞步貞處理，生成視頻資料子幀第一第二相’所述視鮮料子鮮一序列 _ 義’所述視頻資料子幢第二序列由至少第 —荟數定義，所述至少第一夾成元資料；_和所述至少第二參數共同組職請刊第-相挪賴㈣料轉二序列合併，生成視頻資料子轉三序列。 ι〇、如申請專利翻第9項所獅方法，其令，所述視頻資料烟-序列野應所述視頻資料全財列 46 200818903 中的第一區域；所述視頻資料子幀第二序列對應所述視頻資料全幀序列中的第二區域；所述第一區域不同於所述第二區域。 47