TWI556639B - 用於將互動特徵加入視頻之技術 - Google Patents
用於將互動特徵加入視頻之技術 Download PDFInfo
- Publication number
- TWI556639B TWI556639B TW103103164A TW103103164A TWI556639B TW I556639 B TWI556639 B TW I556639B TW 103103164 A TW103103164 A TW 103103164A TW 103103164 A TW103103164 A TW 103103164A TW I556639 B TWI556639 B TW I556639B
- Authority
- TW
- Taiwan
- Prior art keywords
- frame
- video
- subjects
- scene
- bodies
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
Description
本發明係有關於用於將互動特徵加入視頻之技術。
靜像及視頻如何即時描繪一事件的能力各有其優缺點。兩者也具有與媒體互動經界定的限制。典型地係與創作者連結但對觀眾而言為被動。舉例言之,在創出一視頻之後,如創作者原先所預期者,使用者典型地只被動地導航(例如播放、倒轉、前轉、及停止)通過該視頻的各圖框,而該使用者無機會與該視頻互動。類似限制也同等適用於靜像。就此方面而言,視頻及靜像不邀請使用者輸入。
依據本發明之一實施例,係特地提出一種方法包含:根據一個別群組之像素,將一視頻的各個圖框截段成為其語義組分,以識別在各個圖框場景內部的一或多個主體,其中該視頻係為媒體的一部分;接收在一給定圖框場景內部的一或多個主體之一選擇;從該視頻的逐一圖框追蹤該等一或多個主體以識別包含在各個圖框中之該等一或
多個主體的該個別群組之像素;及對該等媒體進行阿爾發摳圖(alpha-matting)以從逐一圖框隔離該等一或多個選定主體。
100a-c‧‧‧方法
102‧‧‧截段
104‧‧‧選擇
106‧‧‧追蹤
108‧‧‧阿爾發摳圖
210、220‧‧‧影像/圖框
212、222‧‧‧前景
214、224、314‧‧‧人、男性
215、225、217、219‧‧‧形狀、截段外形
216、226、316‧‧‧瀑布
217‧‧‧孔
218、228、318‧‧‧天空
230‧‧‧場景
250‧‧‧手
310、320‧‧‧截圖
311‧‧‧指令
321‧‧‧繼續鈕
323‧‧‧儲存鈕
325‧‧‧分享鈕
328‧‧‧雲
400‧‧‧使用者的電腦系統
402‧‧‧平台
404、508‧‧‧天線
405‧‧‧晶片組
410‧‧‧處理器
414‧‧‧儲存裝置
415‧‧‧圖形次系統
416‧‧‧應用程式
418‧‧‧無線電
430‧‧‧內容服務裝置
440‧‧‧內容傳遞裝置
450‧‧‧導航控制器
460‧‧‧網路
500‧‧‧裝置
502‧‧‧殼體
506‧‧‧輸入/輸出(I/O)裝置
512‧‧‧導航特性件
圖1a-c顯示三種方法示例說明依據本文揭示之一或多個實施例用於將互動特徵加入視頻之技術。
圖2a-g’顯示依據若干實施例示例說明圖1a-c之技術的影像實施例。
圖3a-b顯示截圖示例說明依據一或多個實施例,用以與包括如此處描述的含互動特徵的媒體互動的使用者介面之一實施例。
圖4示例說明依據一或多個實施例可進行如此處描述的用於將互動特徵加入視頻之技術的一系統。
圖5示例說明其中可具體實施圖4之系統的一小形狀因數裝置。
此處揭示用於將互動特徵加入視頻之技術以使得使用者能夠使用動像及靜像的動態摻混而創作新媒體。該互動技術可包括許可一使用者改變在一給定視訊框中的一或多個主體的起始時間,或只製作動畫/播放一給定圖框場景的一部分。該等技術可包括將一視頻的各個圖框截段以識別在各個圖框中的一或多個主體,選擇(或接收選擇在該給定圖框場景內部的一或多個主體,從逐一圖框追蹤該
選定主體,及阿爾發摳圖(alpha-matting)以只播放/製作動畫該選定主體。於某些情況下,使用像素深度資訊(例如使用一深度對映圖)可能改良及/或提升截段、選擇、及/或追蹤。鑑於本文揭示無數變異將更為彰顯。
大致綜論
如先前解釋,靜像及視頻具有經界定的極限,該等圖像與創作者契合,但對觀眾/觀看者而言為被動的。目前,觀看一視訊通常只涉及一次播放、倒轉、前轉、暫停、及停止全部的視覺內容。目前,並無簡單而直覺的技術可供與視訊互動以便一次只播放視頻場景的一部分,或改變該視訊的部分時間/位置,使得產生新視覺媒體,於該處該場景的一部分係與該場景的其它部分脫序。
如此及依據本文揭示之一或多個實施例,揭示用於將互動特徵加入視頻之技術。如此處指稱,視訊一詞包括一串列至少兩張靜像/圖像,諸如電影或使用例如叢訊模式拍攝的一相片集合。單一圖框整體將於此處稱作為「場景」,而在該圖框的該場景內部關注物體或關注區(諸如人、動物、各種物項、背景或背景區段等)將於此處稱作為「主體」。由此處描述的技術所得的互動特徵包括能夠從一視頻產生下列新媒體:1)一新靜像具有該視頻的一或多個主體係在與該場景的其餘部分不同的時間瞬間(或來自不同圖框);2)一新視頻假影有一或多個主體脫序;及3)一新視覺媒體假影於該處一或多個主體在播放中,但該圖框場景的其餘部分維持靜態(類似動畫圖片)。如此,於一或多個實施
例中,互動特徵涉及在一顯示場景中產生動像與靜像的動態摻混。容後詳述,該新穎媒體可以動態形式(於該處進一步可能互動)或靜態形式(例如於該處不再可能互動)被儲存及/或分享。
於若干實施例中,此處描述的用於加入互動特徵之技術可涉及至少下列:截段、選擇、追蹤、及阿爾發摳圖(alpha-matting)。如鑑於本文揭示將瞭解,可更動各項功能的順序。截段可包括將一視頻的各個圖框截段成為其語義組分,使用例如未加看管的圖形切割法或其它合宜方法,根據個別一群像素,識別在各個圖框場景內部的一或多個主體。於某些情況下,截段可為全自動;但於其它情況下,截段可為半自動或可手動進行。選擇可包括點選(例如以滑鼠輸入為例)或觸摸/輕敲(例如以觸摸敏感輸入為例)在一視頻的所呈現之一圖框中的一或多個主體。於若干實施例中,截段、選擇、及/或追蹤可使用針對該視頻的各個圖框之像素深度資訊(例如一深度對映圖)改良。於若干此等實施例中,深度資訊可使用立體相機或陣列相機生成,容後詳述。注意於若干實施例中,選擇可在截段之前,如此可有助於精製及/或改良截段過程。
追蹤可包括從該視頻的逐一圖框追蹤選定主體,以識別在各個圖框中包含該(等)選定主體的個別像素群組。阿爾發摳圖可使用多種方法進行。其中一個此種範例方法包括形成一透明摳圖匹配來自該給定圖框場景的一或多個被選定主體的形狀,以許可經由藉該透明摳圖所形成的一
或多孔播放該視頻,其中於該給定場景中的一或多孔的形狀係針對該視頻的各個圖框更新以匹配在該被播放的圖框中之一或多個被選定主體的形狀。另一個方法實施例包括環繞各個圖框內的該等一或多個被選定主體形成一透明物體,以允許藉複製在該欲播放圖框內的一或多個被選定主體至該給定圖框場景頂上而播放該視頻。鑑於本文揭示其它合宜阿爾發摳圖方法將更為彰顯。
如先前描述,使用此處描述的技術加至該視頻的互動特徵可用以產生新的視覺媒體假影,於該處播放一或多個主體,但該圖框場景的其餘部分維持靜態。就一給定圖框場景只有一部分達成製作動畫而留下其餘該給定圖框場景不變及靜態方面而言,本新媒體型別之實施例係類似動畫圖像。但使用此處描述的技術加至該視頻的互動特徵提供優於習知動畫圖像產生方法之多項效果。首先,此處描述的互動特徵允許對場景做動態改變,而動畫圖像為非互動式不可變的視頻回路。第二,此處描述的互動特徵可使用全自動或半自動技術加入,而動畫圖像的產生主要為手動處理。第三,動畫圖像運用不精確的邊界,結果導致非期望的視覺假影,該等視覺假影可使用此處描述的截段、追蹤、及阿爾發摳圖技術加以防止或消除。如鑑於本文揭示將瞭解優於習知動畫圖像產生方法的其它優點。
依據若干實施例,所揭示技術的使用例如可藉視覺檢驗/評估媒體包括此處描述的互動特徵檢測(例如只播放視頻的一部分)。此處揭示的技術之使用也可根據所產生
的視覺媒體檢測。舉例言之,只有視頻的一部分製作動畫的影像或主體開始脫序的視頻可使用此處描述的用於將互動特徵加入視頻之技術產生。如鑑於本文揭示將瞭解無數變異及組態。
方法及應用實施例
圖1a-c分別地顯示方法100a-c,示例說明依據本文揭示之一或多個實施例用於將互動特徵加入視頻之技術。圖2a-g’顯示影像實施例其示例說明依據若干實施例圖1a-c之技術。如先前描述,此處討論的技術主要在於下述脈絡,將互動特徵加至具有多個圖框之一視頻,但該等技術並非必然受此所限。舉例言之,示例說明方法100a-c之技術可用以添加互動特徵至一組靜像,或添加至包括一串列至少兩個靜像/圖框的其它視覺媒體,如鑑於本文揭示將瞭解。方法100a-c全部包括截段102、選擇104、追蹤106、及阿爾發摳圖108,其各自容後詳述。
圖2a示例說明依據一個具體實施例一個人214站在瀑布216前方之一影像/圖框210。如圖可知,於本圖框實施例中該男性214正在揮手。前景212及天空218也顯示於圖框210。圖2b示例說明已經進行截段102以識別該男性214之後的一影像實施例。截段102可包括將一視頻的圖框截段成為其語義組分,以識別在各個圖框內部的一或多個主體。截段102可使用任何已經之截段方法進行,諸如圖形劃分法、叢集法、臨界值法、以壓縮為基礎之方法、以直方圖為基礎之方法、邊緣檢測、區域生長法、分裂與合併法、以偏
微分方程(PDE)為基礎之方法,分水嶺法、或如鑑於本文揭示將瞭解的任何其它合宜方法。於一個具體實施例中,截段102係使用未加看管的圖形切割法進行。取決於組態及使用的方法,截段102可為全自動、半自動、或手動。
於若干實施例中,一或多個主體可根據其個別的像素群截段。舉例言之,圖2b以形狀215勾勒出揹個背包及揮手的男性214(於圖框210)的輪廓之像素,及以形狀219勾勒出表示天空218的輪廓之像素。注意只有男性214及天空218的主體被含括為已經藉截段法102之實施例識別,諸如未加看管的(自動)圖形切割法。於圖框210內部的其它主體可包括瀑布區段216、前景212、或任何其它合宜關注物體或區。如先前描述,取決於所使用的截段102方法,該等一或多個主體可經自動、半自動、或手動識別。
於若干實施例中,截段102可使用針對一視頻的圖框之深度資訊改良或提升。深度資料例如可使用圖框之深度對映圖提供或生成。於若干情況下,各個像素可包括RGB-D資料,於該處RGB係有關各個像素的顏色(紅、綠、藍色模型)及D係有關各個像素的深度資訊。深度資訊可藉特定裝置拍攝此處描述的技術中使用的視頻加以收集。此等裝置可包括各種立體相機、陣列相機、亮野相機、或其它深度感測放大器或深度感測技術。於特定實施例中,紅外線投影機及單色互補金氧半導體(CMOS)感測放大器(諸如用於微軟(Microsoft®)凱涅(Kinect®))可用以拍攝三維視頻資料,即便於低光線條件下亦復如此。於若干實施例中,
可對既有視頻估計深度資訊。舉例言之,於某些情況下,既有視頻的移動資訊可用以估計深度資訊。於有些情況下,得自單像視頻的接續圖框之空間資訊及時間資訊可用以估計深度資訊。取決於組態及使用的方法,深度對映圖估計可使用全自動、半自動、或手動技術生成。
圖2c顯示依據一實施例,於一視訊框中的一主體之一選擇104實施例。更明確言之,顯示使用手250選擇圖框210中的男性214。選擇104可包括選擇在一給定圖框中之一或多個主體。藉此方式,方法100a-c可經組配以例如從一使用者接收選擇104。選擇104可使用多種輸入裝置進行,諸如使用滑鼠或軌跡墊在期望的主體上點選,使用觸摸敏感裝置(例如使用適當位置輕敲在具有觸控螢幕的裝置上)接觸期望的主體,或藉任何其它合宜方法,諸如由人打手勢或由人發出聲音或說出字眼。圖2d顯示該男性214經選擇後圖框210的一實施例。如圖可知,由於圖2c的選擇結果,該男性214已經強調。注意於本實施例中,男性形狀215已經由截段102處理識別。但於其它實施例中,截段102可能不進行直到已經進行選擇104為止,容後詳述。於若干實施例中,像素深度資訊可用以自動選擇主體(例如自動地選擇在一給定圖框場景中之前景及背景)或加強選擇(例如加強使用者選擇分享該相同的或相似的深度之一組像素)。
圖2e-f顯示依據一實施例,在第一圖框210與第二圖框220間追蹤106之一實施例。追蹤106可包括從該視頻的逐一圖框追蹤選定主體。於本具體實施例中,第一圖框
210及第二圖框220為來自一視頻的一串列圖框。如先前描述,圖2e顯示第一圖框210包括男性214及其截段外形215。圖2f顯示第二圖框220,具有元件符號係相對應於第一圖框210中的元件符號(例如第一圖框以218表示天空,第二圖框以228表示天空等)。於本具體實施例中,第二圖框220包括與第一圖框210相同的男性224,但其手部位置已經移動,原因在於如圖可知男性214、224在揮手。截段外形225顯示在男性224揮手中其左手已經改變位置後,表示該男性的新一組像素的結果。追蹤106可包括從逐一圖框追蹤選定主體以識別在各個圖框中的正確像素集合。舉例言之,在已經進行截段102之後,被識別為像素群215、225的該男性214、224可從第一圖框210追蹤至第二圖框。於若干實施例中,像素深度資訊可用以加強追蹤(例如運用此種深度資訊以提高逐一圖框識別主體的效果)。
如圖1a-c可知,截段102可在選擇104之前或之後進行。於一方法100a實施例中,進行截段102,接著一或多個主體的選擇104,接著追蹤106選定主體。於此一實施例中,在選擇104之前進行截段102可縮短選擇104與媒體回放間的延遲。於另一方法100b實施例中,進行一或多個主體的選擇104,接著截段102,及然後追蹤106。於此一實施例中,選擇104資訊(例如選擇座標)可添加作為截段102處理的精製(例如添加選擇座標至未加看管的圖形切割演算法)。於另一方法100c實施例中,進行截段102,接著追蹤106,接著一或多個主體的選擇104。於此一實施例中,在選擇104
之前進行截段102及追蹤106可縮短選擇104與媒體回放間的延遲。於一方法100a-c實施例中,在截段102、選擇104、及追蹤106已經完成後進行阿爾發摳圖108;但如鑑於本文揭示將瞭解並非必要如此。於其它具體實施例中,該方法可包括在進行追蹤106及阿爾發摳圖108之前的多個截段102及選擇104處理。舉例言之,於此一實施例中,該方法可包括自動截段處理、使用者選擇、及然後,根據該選擇輸入之再度截段。此種順序實施例可重複直到該使用者獲得期望的保真程度為止。
圖2g-g’顯示依據若干實施例阿爾發摳圖108圖框210之實施例。阿爾發摳圖108可包括從逐一圖框隔離主體至只對選定主體製作動畫。舉例言之,阿爾發摳圖108可包括:1)形成透明摳圖匹配在該給定圖框場景中的選定主體之形狀,以許可經由該透明摳圖所產生的一孔而播放該視頻,於該處於該給定場景的孔洞形狀係針對各個視頻的圖框更新以匹配在該播放圖框中的該選定主體的形狀;或2)環繞在各個圖框中該選定主體形成一透明摳圖,以藉複製在該圖框中該選定主體在該給定圖框場景頂上播放而允許播放該視頻。換言之,於一阿爾發摳圖108處理實施例中,在一視頻的一初始/給定圖框中切割表示該選定主體之形狀的一或多孔,及初始圖框(含孔)被堆疊在視頻的各個接續圖框頂上以通過該等孔播放視頻,於該處於該初始圖框之孔係以逐一圖框為基礎更新以匹配在目前正在播放的圖框中之該選定主體之形狀。於另一個阿爾發摳圖108處理實施
例中,該初始/給定圖框再度作為起點,但於本方法實施例中,該等一或多個選定主體係與各個接續圖框隔開(例如藉切除、去除、或讓各個接續該圖框的其餘場景變透明),及然後,來自該目前正在播放的圖框中之該選定主體根據逐一圖框基礎複製至該初始圖框頂上以播放該視頻。
圖2g顯示針對原先圖框210(例如進行選擇104的該圖框)使用阿爾發摳圖108方法所產生的影像之實施例。如圖可知,匹配該男性214形狀(此乃先前唯一選定主體)的一孔217係從原先圖框210切出。然後通過孔217播放該視頻,在隨後的各框,原先圖框210經復置,及在原先圖框產生一新孔匹配該目前圖框的該選定主體(本例為男性214)。然後有新孔切出匹配目前圖框的該原先影像可疊置在該目前圖框上方以播出該圖框。針對各個接續圖框可繼續孔切出-疊置處理(原先資料此項資訊已經追蹤106)以播放該視頻。
圖2g’另外顯示針對原先圖框210使用另一種阿爾發摳圖108方法所產生的一影像實施例。於本替代阿爾發摳圖108方法中,環繞該男性224的場景230從接續圖框220切出(圖框220勾勒外形用於示例說明目的)。然後於切除環繞該男性224形狀的場景230之後,複製剩餘影像至該原先圖框210上可播放該視頻。藉此方式,當播放該視頻時,只有選定主體(例如本例為男性224)被複製至該原先圖框頂上以製作該選定主體之動畫。切除環繞主體的場景-複製至原先圖框頂上可針對各個接續圖框繼續(原先資料此項資訊已經追蹤106)以播放該視頻。注意雖然於此等阿爾發摳圖
108處理實施例中只使用一個主體(男性214、224),但也可使用多個主體。舉例言之,若天空218係選用作為製作動畫的額外主體,則於圖2g中天空218將也被切除;但於圖2g’中天空228將也被顯示。也須注意於若干實施例中,切除選定一或多個主體(或環繞該選定一或多個主體之場景)可構成設定該選定一或多個主體(或環繞該選定一或多個主體之場景)為透明。
媒體產生實施例
依據一或多個實施例,加至該視頻的互動特徵(使用此處描述的技術)可用以產生無數媒體型別。該媒體可包括:1)一新靜像具有該視頻的一或多個主體係在與該場景的其餘部分不同的時間瞬間(或來自不同圖框);2)一新視頻假影有一或多個主體開始脫序;及3)一新視覺媒體假影於該處一或多個主體在播放中,但該圖框場景的其餘部分維持靜態(類似動畫圖片)。此等三個實施例,容後詳述,係提供用於示例說明目的而絕非意圖限制本文揭示。
使用此處描述的技術運用添加至視頻的互動特徵可做出的新媒體之第一實施例包括產生一新靜像具有該視頻的一或多個主體係在與該場景的其餘部分不同的時間瞬間(或來自不同圖框)。此點可藉下述方式達成,選擇一給定圖框中之一或多個主體以製作動畫或播放該等主體,同時於該給定圖框中之其餘場景維持不變。於若干實施例中,該等互動特徵允許在一給定圖框中之一或多個主體被製作動畫/播放及然後停在一不同圖框。於若干此等實施例中,
該等互動特徵然後允許一使用者製作動畫/播放及然後停在不同的一或多個主體,使得至少兩個主體可在相對於其餘給定圖框場景的不同圖框位置。因此,於此等實施例中,在單一靜像中可表示三個不同視頻時間/圖框位置。
使用此處描述的技術運用添加至視頻的互動特徵可做出的新媒體之第二實施例包括產生一新視頻假影有一或多個主體開始脫序。此點之達成方式係藉選擇在一給定圖框中的一或多個主體欲接受製作動畫或播放,及然後使得該場景的其餘部分被播放。於若干實施例中,該等互動特徵允許在一給定圖框中之一或多個主體被製作動畫/播放及然後停在一不同圖框。於若干此等實施例中,該等互動特徵然後允許一使用者製作動畫/播放及然後停在不同的一或多個主體,使得至少兩個主體可在相對於其餘給定圖框場景的不同圖框位置。因此,於此等實施例中,然後該使用者能夠播放整個媒體於該處二或多個主體相對於彼此為脫序,及二或多個主體相對於該圖框的其餘部分為脫序。
使用此處描述的技術運用添加至視頻的互動特徵可做出的新媒體之第三實施例包括一新視覺媒體假影於該處一或多個主體在播放中,但該圖框場景的其餘部分維持靜態。此點可藉下述方式達成,藉選定一給定圖框中的一或多個主體製作動畫或播放,而在該給定圖框中的其餘場景維持不變。於若干實施例中,互動特徵許可在一給定圖框中的一或多個主體製作動畫/播放,及然後應需停止。
於若干此等實施例中,互動特徵許可一使用者製作動畫/播放不同的一或多個主體,也應需停止。因此於此等實施例中,然後該使用者能夠播放該媒體,於該處二或多個主體相對於彼此為脫序,及二或多個主體相對於該圖框的其餘部分為脫序,但原先圖框的其餘部分維持不變及靜態。
第三實施例新媒體就下列方面而言係類似動畫圖像,只在一給定圖框場景的一部分達成製作動畫,而留下其餘該給定圖框場景不變及靜態。但使用此處描述的技術加添互動特徵至視頻提供優於習知動畫圖像產生方法的多項優點。第一,此處描述的互動特徵允許對場景做動態改變,而動畫圖像為非互動式不可改變的視頻回路。第二,此處描述的互動特徵允許使用全自動或半自動技術加添,而動畫圖像的產生主要是手動處理。第三,動畫圖像運用不精確的邊界,結果導致非期望的視覺假影,該等視覺假影可使用此處描述的截段、追蹤、及阿爾發摳圖技術加以防止或消除。如鑑於本文揭示將瞭解優於習知動畫圖像產生方法的其它優點。
圖3a-b顯示截圖示例說明依據一或多個實施例,用以與包括如此處描述的含互動特徵的媒體互動的使用者介面之一實施例。如圖3a可知,使用者被呈示以視頻的第一截圖310,其係類似如此處討論的圖框210。例如仍然顯示先前討論的三個主體亦即男性314、瀑布316及天空318。男性314顯示有點虛線外廓,瀑布316顯示有長虛線外廓,及天空318顯示有短虛線外廓。於本具體實施例中,三個主
體314、316、及318已經經過截段、選擇、追蹤、及阿爾發摳圖,許可一使用者選擇其中之一或多者,相對於第一截圖310中顯示的該圖框之其餘部分進行該被選定主體的播放/製作動畫。指令311係含括於本實施例UI以通知該使用者「選擇你想要播放/製作動畫的主體」,至「按住不放以選擇多個主體」,及至「再度選擇一被製作動畫主體以停止」。本實施例UI及相對應指令僅係用於示例說明目的而非意圖限制本文揭示。
圖3b顯示相對於兩個主體周圍場景,在選擇男性314及天空318以播放/製作動畫之後所產生的新媒體。如於第二截圖320可知,男性314的製作動畫已使得他朝向所顯示的新位置揮手,及天空的製作動畫已使得出現一片雲328。為了容易討論,第二截圖320中顯示的場景全體已經停止,達成方式可藉製作動畫中個別地選擇主體314及318執行,或透過若干其它合宜指令執行(例如使用全部停止鈕或按壓空格鍵)。但該等主體可由一使用者每次一個製作動畫及停止,使得主體可比其它主體及該場景的其餘部分脫序地移動及/或停止。設有一繼續鈕321以允許該使用者繼續播放/製作動畫該等先前擇定的主體。於某些情況下,互動特徵可經組配以在繼續製作動畫之前,許可一使用者選擇主體中之一或多者以停止、播放及/或復置該(等)主體。可含括多項特徵以通知該使用者有關哪些主體可供選擇,哪些主體目前被選用於播放/製作動畫,哪些主體目前被選用於停止/不製作動畫,哪些主體為脫序(例如使用圖框指示器以
顯示該主體目前正從哪個圖框播放),或如本文各處描述的輔助該使用者運用互動特徵的其它資訊。
於若干實施例中,如本文各項描述,使用互動特徵加添至視頻所創出的新媒體可以動態或靜態格式儲存及/或分享(輸出、寄出電子郵件、上傳等)。動態分享可包括以媒體或隨後觀看者的接收者可與該媒體進一步互動(例如藉改變一或多個主體的起始序列)之方式,分享該特定媒體型別,而與其是否為所創出的靜像、視頻假影、或動畫圖像狀假影獨立無關。靜態分享可包括當媒體創出時分享之。舉例言之,於一視頻中表示與天然出現者不同的時間瞬間之一靜像可分享為聯合圖像專家小組(JPEG)檔案或可攜式網路圖像(PNG)檔案,只列舉兩個常見格式。於創出一視頻於該處部分視頻為脫序之情況實施例中,新媒體可分享為動畫專家群(MPEG)檔案或影音交插(AVI)檔案,只列舉兩個常見格式。於創出一新視覺媒體假影於該處只有部分圖框經製作動畫/播放之情況實施例中,該新媒體可分享為圖像交換格式(GIF)檔案,只列舉一個常見格式。於圖3b顯示之實施例中,藉選擇個別鈕323、325,該新媒體可儲存為動態檔案或靜態檔案,或可以動態或靜態檔案分享(輸出、寄出電子郵件、上傳等)。
系統實施例
圖4示例說明依據一或多個實施例,可進行如此處描述的用於將互動特徵加入視頻之技術的系統400之一實施例。於若干實施例中,系統400可為媒體系統,但系統
400非僅限於本脈絡。舉例言之,系統400可結合入個人電腦(PC)、膝上型電腦、超膝上型電腦、平板、觸控板、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理器(PDA)、小區式電話、小區式電話/PDA的組合、電視、智慧型裝置(例如智慧型電話、智慧型平板或智慧型電視)、行動網際網路裝置(MID)、傳訊裝置、資料通訊裝置、機上盒、遊戲機臺、或能夠執行圖形渲染操作的其它此等運算環境。
於若干實施例中,系統400包含耦接至一顯示器420的一平台402。平台402可接收來自一內容裝置諸如內容服務裝置430或內容傳遞裝置440或其它類似的內容來源之內容。包括一或多個導航特性件的導航控制器450可用以與例如平台402及/或顯示器420互動。此等組件各自容後詳述。
於若干實施例中,平台402可包括晶片組405、處理器410、記憶體412、天線403、儲存裝置414、圖形次系統415、應用程式416及/或無線電418的任一項組合。晶片組405可提供處理器410、記憶體412、儲存裝置414、圖形次系統415、應用程式416及/或無線電418間之交互通訊。舉例言之,晶片組405可包括能夠提供與儲存裝置414交互通訊的一儲存裝置配接器(圖中未描繪)。
處理器410可具現為複雜指令集電腦(CISC)或精簡指令集電腦(RISC)處理器、x86指令集可相容性處理器、多核心處理器、或任何其它微處理器或中央處理單元(CPU)。於若干實施例中,處理器410可為雙核心處理器、雙核心行
動處理器等。記憶體412可具現為依電性記憶體裝置,諸如但非僅限於隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)、或靜態RAM(SRAM)。儲存裝置414可具現為非依電性儲存裝置,諸如但非僅限於磁碟機、光碟機、磁帶機、內部儲存裝置、附接儲存裝置、快閃記憶體、電池後備同步DRAM(同步DRAM)、及/或網路可存取儲存裝置。於若干實施例中,儲存裝置414可包括例如當包括多個硬碟機時增加有價值的數位媒體之儲存效能的保護技術。
圖形次系統415可執行影像諸如靜像或視訊用於顯示時的處理。圖形次系統415例如可為圖形處理單元(GPU)或視覺處理單元(VPU)。類比或數位介面可用以通訊式耦合圖形次系統415與顯示器420。舉例言之,該介面可為高畫質多媒體介面、顯示埠、無線HDMI、及/或無線HD順服技術。圖形次系統415可整合入處理器410或晶片組405。於若干實施例中,圖形次系統415可為通訊式耦接至晶片組405的孤立裝置。如此處各式描述的用於將互動特徵加入視頻之技術可在多個硬體架構中具現。舉例言之,截段102、選擇104、追蹤106、及阿爾發摳圖108可全部由單一模組(例如CPU)執行或接收,而於其它情況下,此等處理可在分開模組進行(例如截段102係在雲端進行,選擇104係接收自觸控螢幕輸入,及追蹤106及阿爾發摳圖108係在該使用者的電腦本地執行,或如鑑於本文揭示將瞭解的若干其它變化)。於若干實施例中,用於將互動特徵加入視頻之技術可藉設計用於此種目的的離散式處理器具現,或藉能夠存取與執
行具體實施該等技術的軟體之一或多個通用處理器(含多核心處理器)具現。此外,於若干實施例中,截段102、選擇104、追蹤106、及阿爾發摳圖108可儲存於一或多個模組包括例如,記憶體412、儲存裝置414、及/或應用程式416。於一個此種情況之實施例中,該等技術係編碼於包含於應用程式416的影像處理應用程式,其中該應用程式係在處理器410上可執行。注意影像處理應用程式可直接地且本地地載入一使用者的電腦系統400。另外,該影像處理應用程式可透過網路(例如區域網路及網際網路)諸如網路460服務一使用者的電腦系統400及一遠端伺服器經組配以主持一服務,該伺服器具體實施或以其它方式採用此處提供的影像處理應用程式。於若干此等實施例中,該影像處理應用程式的某個部分可在該伺服器上執行,而其它部分可透過處理器410藉由服務該使用者的電腦系統400的一瀏覽器的可執行模組執行,如鑑於本文揭示將更為彰顯。
無線電418可包括可運用多種無線通訊技術的能夠發射與接收信號的一或多個無線電。此等技術可涉及通過一或多個無線網路(例如含括於網路460)的通訊。無線網路之實施例包括(但非僅限於)無線區域網路(WLAN)、無線個人區域網路(WPAN)、無線都會區域網路(WMAN)、小區式網路、及衛星網路。於通過此等網路的通訊中,無線電418可根據一或多個適用標準的任何版本操作。
於若干實施例中,顯示器420可包括任何電視型監視器或顯示器。顯示器420可包括例如液晶顯示器(LCD)
螢幕、電泳顯示器(EPD)或液體紙顯示器、平板顯示器、觸控螢幕顯示器、電視狀裝置及/或電視機。顯示器420可為數位及/或類比。於若干實施例中,顯示器420可為全像或三維顯示器。又,顯示器420可為能接收視覺投影的透明表面。此等投影可傳遞各型資訊、影像、及/或物體。舉例言之,此等投影可為行動增強實境(MAR)應用程式的一視覺疊加。在一或多個軟體應用程式416的控制之下,平台402可在顯示器420上顯示使用者介面422。
於若干實施例中,內容服務裝置430可由任何國家的、國際的及/或獨立的服務主持(例如一或多個遠端伺服器經組配以提供內容諸如視頻、靜像、及/或具有此處提供的功能之影像處理應用程式),及如此例如透過網際網路及/或其它網路460可存取至平台402。內容服務裝置430可耦接至平台402及/或顯示器420。平台402及/或內容服務裝置430可耦接至網路460以通訊(例如發送及/或接收)媒體資訊至及自網路460。內容傳遞裝置440也可耦接至平台402及/或顯示器420。於若干實施例中,內容服務裝置430可包括有線電視盒、個人電腦、網路、電話、能夠傳遞數位資訊及/或內容的網際網路作動裝置或設施、及透過網路460或直接地能夠在內容提供者與平台402及/或顯示器420間單向地及/或雙向地通訊內容的任何其它類似裝置。須瞭解該內容可透過網路460單向地或雙向地在系統400的組件中之任一者與一內容提供者間通訊。內容之實施例可包括任何媒體資訊,包括例如視訊、音樂、圖像、文字、醫療及遊
戲內容等資訊。
內容服務裝置430可接收內容,諸如有線電視節目包括媒體資訊、數位資訊、及/或其它線上內容(例如視頻、靜像序列等)。內容提供者之實施例可包括任何有線電視或衛星電視或無線電或網際網路內容提供者。於一個此種具體實施例中,如此處提供的一影像處理應用程式或服務係透過由網路460可存取的網際網路內容提供者而可接取至該使用者的電腦系統400。如先前解釋,此種服務可根據接收自所謂客端(使用者的電腦系統400)的輸入(例如選擇104及任何其它從事該服務的輸入)而提供在伺服器端的影像處理應用程式之執行。另外,該服務可提供具體實施整個影像處理應用程式之可執行碼給客端電腦系統400。例如,該服務可服務有一合宜使用者介面及碼嵌置於其中的一或多個網頁給在電腦系統400上跑的一瀏覽器應用程式且經組配以有效地結合該處理器410執行該碼。該瀏覽器例如可含括於應用程式416。於又其它實施例中,部分影像應用程式可在伺服器端執行,而其它部分可在客端執行。無數此等賓主組態將更為彰顯。所提出的實施例絕非表示限制依據本文揭示的具現之範圍。於若干實施例中,平台402可從具有一或多個導航特性件的導航控制器450接收信號。導航控制器450的導航特性件例如可用以與使用者介面422互動。於若干實施例中,導航控制器450可為指標裝置,可為電腦硬體組件(尤其人機介面裝置)其許可一使用者將空間(例如連續的且多維)資料輸入一電腦。許多系統諸如圖形使用者
介面(GUI)、及電視機及監視器許可該使用者使用實體手勢控制與提供資料給該電腦或電視。
導航控制器450的導航特性件之移動可藉顯示在一顯示器(例如顯示器420)上的一指標、游標、對焦圈、其它視覺指標而再現在該顯示器上。舉例言之,在軟體應用程式416的控制之下,位在導航控制器450上的導航特性件可對映至例如顯示在使用者介面422上的虛擬導航特性件。於多個實施例中,導航控制器450可非為分開組件,反而可整合入平台402及/或顯示器420。但實施例非限於此處顯示的或描述的元件或脈絡。
於若干實施例中,驅動器(圖中未顯示)可包括下述技術,以許可使用者在軟體啟動之後,例如當被作動時,藉觸摸一按鈕而即刻地開關平台402,例如電視。程式邏輯可允許平台402串流化內容至媒體配接器或其它內容服務裝置430或內容傳遞裝置440,即便當該平台被「關閉」時亦復如此。此外,例如,晶片組405可包括5.1環繞音效及/或高傳真7.1環繞音效的硬體及/或軟體支援。驅動器可包括集積式圖形平台的圖形驅動器。於多個實施例中,該圖形驅動器可包含一周邊組件互聯(PCI)快速圖形卡。
於各個實施例中,顯示於系統400內的組件中之任一或多者可予整合。舉例言之,平台402與內容服務裝置430可整合,或平台402與內容傳遞裝置440可整合,或平台402與內容服務裝置430、內容傳遞裝置440可整合。於多個實施例中,平台402及顯示器420可為整合單元。例如,顯
示器420與內容服務裝置430可整合,或顯示器420與內容傳遞裝置440可整合。但此等範例並非意圖限制本文揭示。
於多個實施例中,系統400可具現為無線系統、有線系統、或兩者的組合。當具現為無線系統時,系統400可包括適用以透過一無線分享媒體而通訊的組件及介面,諸如一或多個天線404、發射器、接收器、收發器、放大器、濾波器、控制邏輯等。無線分享媒體之一實施例可包括無線頻譜部分,諸如RF頻譜等。當具現為有線系統時,系統400可包括適用以透過一有線通訊媒體而通訊的組件及介面,諸如輸入/輸出(I/O)配接器、連結I/O配接器與相對應有線通訊媒體的實體連接器、網路介面控制器(NIC)、碟片控制器、視訊控制器、音訊控制器等。有線通訊媒體之實施例可包括導線、纜線、金屬引線、印刷電路板(PCB)、背板、交換架構、半導體材料、雙絞線、同軸纜線、光纖等。
平台402可建立一或多個邏輯通道或實體通道以通訊資訊。該資訊可包括媒體資訊及控制資訊。媒體資訊可指表示對一使用者有意義的內容之任何資料。內容的實施例可包括例如來自於語音對話、視訊會議、串流化視訊、電子郵件或文字訊息、語音信箱訊息、文數符號、圖形、影像、視頻、文字等的資料。控制資訊可指表示對自動化系統有意義的指令、指示或控制字元的任何資料。舉例言之,控制資訊可用以安排媒體資訊通過一系統的路徑,或指示一節點以預定方式(例如使用此處描述的用於視頻的該等互動特徵)處理該媒體資訊。但實施例並非限於圖4中
顯示的或描述的元件或脈絡。
如前文描述,系統400可以多種實體樣式或形狀因數具體實施。圖5示例說明其中可具體實施系統400的小形狀因數裝置500的具現。例如於多個實施例中,裝置500可具體實施為具有無線能力的一行動運算裝置。一行動運算裝置例如可指具有處理系統及行動電源或電源供應器諸如一或多個電池的任何裝置。
如先前描述,行動運算裝置之實施例可包括個人電腦(PC)、膝上型電腦、超膝上型電腦、平板電腦、觸控墊、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理器(PDA)、小區式電話、小區式電話/PDA組合、電視、智慧型裝置(例如智慧型手機、智慧型平板或智慧型電視)、行動網際網路裝置(MID)、傳訊裝置、資料通訊裝置等。
行動運算裝置之實施例也可包括配置以由個人穿戴的電腦,諸如手腕電腦、手指電腦、戒指電腦、眼鏡電腦、皮帶夾電腦、臂帶電腦、鞋電腦、衣著電腦、及其它可穿戴電腦。於若干實施例中,例如行動運算裝置可具現為能夠執行電腦應用程式以及語音通訊及/或資料通訊的智慧型電話。雖然若干實施例係以具現為智慧型電話的行動運算裝置舉例描述,但須瞭解其它實施例也可使用其它無線行動運算裝置具現。實施例並非僅限於本脈絡。
如圖5顯示,裝置500可包括一殼體502、一顯示器504、一輸入/輸出(I/O)裝置506、及一天線508。裝置500也可包括導航特性件512。顯示器504可包括適用於行動運
算裝置顯示資訊的任何適當顯示器單元。I/O裝置506可包括將資訊登入一行動運算裝置的任何合宜I/O裝置。I/O裝置506之實施例可包括文數鍵盤、數字小鍵盤、觸控墊、輸入鍵、按鈕、開關、翹板開關、麥克風、揚聲器、語音辨識裝置及軟體等。資訊也可藉麥克風載入裝置500。此種資訊可藉一語音辨識裝置數位化。實施例並非僅限於本脈絡。
多個實施例可使用多種硬體元件、軟體元件、或兩者的組合具現。硬體元件之實施例可包括處理器、微處理器、電路、電路元件(例如電晶體、電阻器、電容器、電感器等)、積體電路、特定應用積體電路(ASIC)、可規劃邏輯裝置(PLD)、數位信號處理器(DSP)、可現場程式規劃閘陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片組等。軟體之實施例可包括軟體組件、程式規劃、應用程式、電腦程式、應用程式規劃、系統程式、機器程式、作業系統軟體、中介軟體、韌體、軟體模組、常式、次常式、函式、方法、程序、軟體介面、應用程式規劃介面(API)、指令集、計算碼、電腦碼、碼節段、電腦碼節段、字碼、數值、符碼或其任一項組合。決定一實施例是否使用硬體元件及/或軟體元件具現可根據任何數目的因素而改變,諸如期望的運算速率、功率位準、耐熱性、處理週期預算、輸入資料率、輸出資料率、記憶體資源、資料匯流排速度、及如針對給定具現期望的其它設計或效能限制。
若干實施例例如可使用機器可讀取或電腦可讀
取媒體或物體體現,該等媒體或物體可儲存指令或指令集,若由機器或處理器執行時可使得機器執行依據本文揭示之一實施例之方法及/或操作。此種機器例如可包括任何適當處理平台、計算平台、計算裝置、處理裝置、計算系統、處理系統、電腦、處理器等,且可使用硬體及軟體之任一種適當組合而體現。機器可讀取媒體或物體或電腦程式產品例如可包括任何適當型別的非過渡記憶體單元、記憶體裝置、記憶體物體、記憶體媒體、儲存裝置、儲存物體、儲存媒體及/或儲存單元,例如記憶體、活動式或非活動式媒體、可抹除或非可抹除媒體、可寫式或可覆寫式媒體、數位或類比媒體、硬碟、軟碟、光碟-唯讀記憶體(CD-ROM)、可錄式光碟(CD-R)、光碟可覆寫式(CD-RW)、光碟、磁性媒體、磁光媒體、活動式記憶卡或碟、各型數位影音碟(DVD)、卡帶、卡匣等。指令可包括使用任何適當的高階、低階、物體取向、視覺、編譯及/或解譯程式規劃語言體現之任何型別的可執行碼。若干實施例可在結合有如此處各式揭示的用於將互動特徵加入視頻之技術的功能之一電腦程式產品內具現,及此種電腦程式產品可包括一或多個機器可讀取媒體。
除非另行明白陳述否則須瞭解術語諸如「處理」、「運算」、「計算」、「決定」等係指電腦或電腦系統或類似的電子運算裝置之動作及/或處理,其係將該電腦系統的暫存器及/或記憶體內部呈現為實體量(例如電子)的資料操弄及/或變換成為以類似方式表示為實體量的該電腦系統的
記憶體、暫存器或其它此等資訊儲存裝置、傳輸裝置或顯示器內部的其它資料。實施例並非限於此一脈絡。
進一步具體實施例
下列實施例係有關於進一步實施例,從其中做出無數排列置換及組態將更為彰顯。
實施例1為一種方法包含:根據一個別群組之像素,將一視頻的各個圖框截段成為其語義組分,以識別在各個圖框場景內部的一或多個主體,其中該視頻係為媒體的一部分;接收在一給定圖框場景內部的一或多個主體之一選擇;從該視頻的逐一圖框追蹤該等一或多個主體以識別包含在各個圖框中之該等一或多個主體的該個別群組之像素;及對該等媒體進行阿爾發摳圖以從逐一圖框隔離該等一或多個選定主體。
實施例2包括實施例1之主旨,其中對該等媒體進行阿爾發摳圖包含:形成匹配來自該給定圖框場景的該等一或多個選定主體之該形狀的一透明摳圖以通過藉該透明摳圖所形成的一或多個孔播放該視頻,其中於該給定場景中之該等一或多個孔的形狀係針對該視頻的各個圖框更新以匹配於該經播放圖框中之該等一或多個選定主體之該形狀;或形成環繞於各個圖框中之該等一或多個選定主體的一透明摳圖以藉將該圖框中之該等一或多個選定主體複製至該給定圖框場景頂上而許可播放該視頻。
實施例3包括實施例1或2之主旨,其中截段該視頻的各個圖框係使用一未加看管的圖形切割法進行。
實施例4包括先前實施例中任一者之主旨,其係進一步包含像素深度資訊以改良截段而識別於各個圖框中之一或多個主體。
實施例5包括實施例4之主旨,其係進一步包含使用一立體相機或陣列相機產生該像素深度資訊。
實施例6包括先前實施例中任一者之主旨,其係進一步包含接收來自一使用者的該等一或多個主體之該選擇。
實施例7包括實施例6之主旨,其係進一步包含接收來自在該給定圖框中之該等一或多個主體上執行的一點選或輕敲輸入的該使用者選擇。
實施例8包括實施例1-7中任一者之主旨,其係進一步包含在截段各個圖框之前,接收該等一或多個主體之該選擇,其中只有該等經選定的一或多個主體係經截段。
實施例9包括實施例1-7中任一者之主旨,其係進一步包含在接收該等被追蹤主體中之一或多者的一選擇之前,追蹤該等一或多個主體。
實施例10包括實施例1-9中任一者之主旨,其係進一步包含生成一靜態影像,其中該等一或多個選定主體係來自與該給定圖框不同的圖框。
實施例11包括實施例1-9中任一者之主旨,其係進一步包含生成一視頻,其中該等一或多個選定主體的開始係相對於該給定圖框脫序。
實施例12包括實施例1-9中任一者之主旨,其係
進一步包含生成一視覺媒體,其中只有該等一或多個選定主體係正在播放中,而該給定圖框的其餘部分係為靜態。
實施例13包括實施例1-9中任一者之主旨,其係進一步包含生成一視覺媒體,其中在該視頻之一特定圖框中之一或多個主體可經選擇以相對於該特定圖框之該其餘部分,將該等選定的一或多個主體製作動畫。
實施例14為經組配以執行先前實施例中任一者的方法之一行動計算系統。
實施例15為一種計算裝置包含:一處理器;藉該處理器可存取的記憶體;及儲存於該記憶體上且可藉該處理器執行的一應用程式,該應用程式係經組配以:根據一個別群組之像素,將一視頻的各個圖框截段成為其語義組分,以識別在各個圖框場景內部的一或多個主體,其中該視頻係為媒體的一部分;接收在一給定圖框場景內部的一或多個主體之一選擇;從該視頻的逐一圖框追蹤該等一或多個主體以識別包含在各個圖框中之該等一或多個主體的該個別群組之像素;及對該等媒體進行阿爾發摳圖以從逐一圖框隔離該等一或多個選定主體。
實施例16包括實施例15之主旨,其中對該等媒體進行阿爾發摳圖包含:形成匹配來自該給定圖框場景的該等一或多個選定主體之該形狀的一透明摳圖以通過藉該透明摳圖所形成的一或多個孔播放該視頻,其中於該給定場景中之該等一或多個孔的形狀係針對該視頻的各個圖框更新以匹配於該經播放圖框中之該等一或多個選定主體之該
形狀;或形成環繞於各個圖框中之該等一或多個選定主體的一透明摳圖以藉將該圖框中之該等一或多個選定主體複製至該給定圖框場景頂上而許可播放該視頻。
實施例17包括實施例15或16中任一者之主旨,其係進一步包含操作式耦接至該處理器的一顯示器及操作式耦接至該處理器的至少一個輸入裝置,其中一使用者可使用該至少一個輸入裝置以選擇在一給定圖框場景內部的該等一或多個主體。
實施例18包括實施例15或16中任一者之主旨,其係進一步包含操作式耦接至該處理器的一觸控螢幕顯示器,其中該觸控螢幕係經組配以接收來自使用者輸入的該等一或多個主體之該選擇。
實施例19為一種以指令編碼的至少一個電腦程式產品,該等指令當藉一或多個處理器執行時,造成用於將互動特徵加入視頻之一處理被執行,該處理係包含:根據一個別群組之像素,將一視頻的各個圖框截段成為其語義組分,以識別在各個圖框場景內部的一或多個主體,其中該視頻係為媒體的一部分;接收在一給定圖框場景內部的一或多個主體之一選擇;從該視頻的逐一圖框追蹤該等一或多個主體以識別包含在各個圖框中之該等一或多個主體的該個別群組之像素;及對該等媒體進行阿爾發摳圖以從逐一圖框隔離該等一或多個選定主體。
實施例20包括實施例19之主旨,其中對該等媒體進行阿爾發摳圖包含:形成匹配來自該給定圖框場景的該
等一或多個選定主體之該形狀的一透明摳圖以通過藉該透明摳圖所形成的一或多個孔播放該視頻,其中於該給定場景中之該等一或多個孔的形狀係針對該視頻的各個圖框更新以匹配於該經播放圖框中之該等一或多個選定主體之該形狀;或形成環繞於各個圖框中之該等一或多個選定主體的一透明摳圖以藉將該圖框中之該等一或多個選定主體複製至該給定圖框場景頂上而許可播放該視頻。
實施例21包括實施例19或20中任一者之主旨,其中截段該視頻的各個圖框係使用一未加看管的圖形切割法進行。
實施例22包括實施例19-21中任一者之主旨,其係進一步包含像素深度資訊以改良截段而識別於各個圖框中之一或多個主體。
實施例23包括實施例22之主旨,其係進一步包含使用一立體相機或陣列相機產生該像素深度資訊。
實施例24包括實施例19-23中任一者之主旨,其係進一步包含接收來自一使用者的該等一或多個主體之該選擇。
實施例25包括實施例24之主旨,其係進一步包含接收來自在該給定圖框中之該等一或多個主體上執行的一點選或輕敲輸入的該使用者選擇。
實施例26包括實施例19-25中任一者之主旨,其係進一步包含在截段各個圖框之前,接收該等一或多個主體之該選擇,其中只有該等經選定的一或多個主體係經截
段。
實施例27包括實施例19-25中任一者之主旨,其係進一步包含在接收該等被追蹤主體中之一或多者的一選擇之前,追蹤該等一或多個主體。
實施例28包括實施例19-27中任一者之主旨,其係進一步包含生成一靜態影像,其中該等一或多個選定主體係來自與該給定圖框不同的圖框。
實施例29包括實施例19-27中任一者之主旨,其係進一步包含生成一視頻,其中該等一或多個選定主體的開始係相對於該給定圖框脫序。
實施例30包括實施例19-27中任一者之主旨,其係進一步包含生成一視覺媒體,其中只有該等一或多個選定主體係正在播放中,而該給定圖框的其餘部分係為靜態。
實施例31包括實施例19-27中任一者之主旨,其係進一步包含生成一視覺媒體,其中在該視頻之一特定圖框中之一或多個主體可經選擇以相對於該特定圖框之該其餘部分,將該等選定的一或多個主體製作動畫。
實施例32為經組配以執行實施例18-31中任一者的至少一個電腦程式產品的一行動計算系統。
已經呈示前文具體實施例之詳細說明部分以供示例說明及描述。絕非意圖為排它性或限制本文揭示於所揭示的精準形式。鑑於本文揭示可能做出許多修改及變化。意圖本文揭示之範圍並非受本詳細說明部分所限,反而係
由隨附之申請專利範圍各項所限。請求本案優先申請權的未來提出申請的專利申請案可以不同方式請求所揭示主旨之專利,及大致上包括此處不同揭示的或否則驗證的一或多項限制的任一個集合。
100a‧‧‧方法
102‧‧‧截段
104‧‧‧選擇
106‧‧‧追蹤
108‧‧‧阿爾發摳圖
Claims (25)
- 一種方法,該方法包含:根據一個別群組之像素,將一視頻的各個圖框截段成為其語義組分,以識別在各個圖框場景內的一或多個主體,其中該視頻為媒體的一部分;接收在一給定圖框場景內的一或多個主體之一選擇;從該視頻的逐一圖框追蹤該等一或多個主體以識別包含在各個圖框中之該等一或多個主體的該個別群組之像素;及對該等媒體進行阿爾發摳圖(alpha-matting)以從逐一圖框隔離該等一或多個選定主體。
- 如請求項1之方法,其中阿爾發摳圖該媒體包含:形成與來自該給定圖框場景的該等一或多個選定主體之該形狀匹配的一透明摳圖以通過藉該透明摳圖所形成的一或多個孔播放該視頻,其中於該給定場景中之該等一或多個孔的形狀係針對該視頻的各個圖框更新以匹配於該經播放圖框中之該等一或多個選定主體之該形狀;或形成環繞於各個圖框中之該等一或多個選定主體的一透明摳圖以藉將該圖框中之該等一或多個選定主體複製至該給定圖框場景頂上而許可播放該視頻。
- 如請求項1之方法,其中截段該視頻的各個圖框係使用 一未加看管的圖形切割法進行。
- 如請求項1之方法,其係進一步包含像素深度資訊以改良截段而識別於各個圖框中之一或多個主體。
- 如請求項4之方法,其進一步包含使用一立體相機或陣列相機產生該像素深度資訊。
- 如請求項1之方法,其進一步包含接收來自一使用者的該等一或多個主體之該選擇。
- 如請求項6之方法,其進一步包含接收來自在該給定圖框中之該等一或多個主體上執行的一點選或輕敲輸入的該使用者選擇。
- 如請求項1之方法,其進一步包含在截段各個圖框之前,接收該等一或多個主體之該選擇,其中只有該等經選定的一或多個主體係經截段。
- 如請求項1之方法,其進一步包含在接收該等被追蹤主體中之一或多者的一選擇之前,追蹤該等一或多個主體。
- 如請求項1至9中任一項之方法,其進一步包含生成一靜態影像,其中該等一或多個選定主體係來自與該給定圖框不同的圖框。
- 如請求項1至9中任一項之方法,其進一步包含生成一視頻,其中該等一或多個選定主體的開始係相對於該給定圖框脫序。
- 如請求項1至9中任一項之方法,其進一步包含生成一視覺媒體,其中只有該等一或多個選定主體係正在播放中, 而該給定圖框的其餘部分係為靜態。
- 如請求項1至9中任一項之方法,其進一步包含生成一視覺媒體,其中在該視頻之一特定圖框中之一或多個主體可經選擇以相對於該特定圖框之該其餘部分,將該等選定的一或多個主體製作動畫。
- 一種計算裝置,其包含:一處理器;藉該處理器可存取的記憶體;及儲存於該記憶體上且可藉該處理器執行的一應用程式,該應用程式係經組配以:根據一個別群組之像素,將一視頻的各個圖框截段成為其語義組分,以識別在各個圖框場景內部的一或多個主體,其中該視頻係為媒體的一部分;接收在一給定圖框場景內部的一或多個主體之一選擇;從該視頻的逐一圖框追蹤該等一或多個主體以識別包含在各個圖框中之該等一或多個主體的該個別群組之像素;及阿爾發摳圖該媒體以從逐一圖框隔離該等一或多個選定主體。
- 如請求項14之裝置,其中阿爾發摳圖該媒體係包含:形成與來自該給定圖框場景的該等一或多個選定主體之該形狀匹配的一透明摳圖以通過藉該透明摳圖所形成的一或多個孔播放該視頻,其中於該給定場景中 之該等一或多個孔的形狀係針對該視頻的各個圖框更新以匹配於該經播放圖框中之該等一或多個選定主體之該形狀;或形成環繞於各個圖框中之該等一或多個選定主體的一透明摳圖以藉將該圖框中之該等一或多個選定主體複製至該給定圖框場景頂上而許可播放該視頻。
- 如請求項14或15之裝置,其進一步包含操作式耦接至該處理器的一顯示器及操作式耦接至該處理器的至少一個輸入裝置,其中一使用者可使用該至少一個輸入裝置以選擇在一給定圖框場景內部的該等一或多個主體。
- 如請求項14或15之裝置,其進一步包含操作式耦接至該處理器的一觸控螢幕顯示器,其中該觸控螢幕係經組配以接收來自使用者輸入的該等一或多個主體之該選擇。
- 一種以指令編碼的至少一個電腦程式產品,該等指令當藉一或多個處理器執行時,造成用於將互動特徵加入視頻之一處理被執行,該處理包含:根據一個別群組之像素,將一視頻的各個圖框截段成為其語義組分,以識別在各個圖框場景內部的一或多個主體,其中該視頻係為媒體的一部分;接收在一給定圖框場景內部的一或多個主體之一選擇;從該視頻的逐一圖框追蹤該等一或多個主體以識別包含在各個圖框中之該等一或多個主體的該個別群 組之像素;及阿爾發摳圖該媒體以從逐一圖框隔離該等一或多個選定主體。
- 如請求項18之至少一個電腦程式產品,其中阿爾發摳圖該媒體係包含:形成與來自該給定圖框場景的該等一或多個選定主體之該形狀匹配的一透明摳圖以通過藉該透明摳圖所形成的一或多個孔播放該視頻,其中於該給定場景中之該等一或多個孔的形狀係針對該視頻的各個圖框更新以匹配於該經播放圖框中之該等一或多個選定主體之該形狀;或形成環繞於各個圖框中之該等一或多個選定主體的一透明摳圖以藉將該圖框中之該等一或多個選定主體複製至該給定圖框場景頂上而許可播放該視頻。
- 如請求項18之至少一個電腦程式產品,其進一步包含接收來自一使用者的該等一或多個主體之該選擇。
- 如請求項18之至少一個電腦程式產品,其進一步包含在接收該等被追蹤主體中之一或多者的一選擇之前,追蹤該等一或多個主體。
- 如請求項18至21中任一項之至少一個電腦程式產品,其進一步包含生成一靜態影像,其中該等一或多個選定主體係來自與該給定圖框不同的圖框。
- 如請求項18至21中任一項之至少一個電腦程式產品,其進一步包含生成一視頻,其中該等一或多個選定主體的 開始係相對於該給定圖框脫序。
- 如請求項18至21中任一項之至少一個電腦程式產品,其進一步包含生成一視覺媒體,其中只有該等一或多個選定主體係正在播放中,而該給定圖框的其餘部分係為靜態。
- 如請求項18至21中任一項之至少一個電腦程式產品,其進一步包含生成一視覺媒體,其中在該視頻之一特定圖框中之一或多個主體可經選擇以相對於該特定圖框之該其餘部分,將該等選定的一或多個主體製作動書。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361766827P | 2013-02-20 | 2013-02-20 | |
US14/106,136 US9330718B2 (en) | 2013-02-20 | 2013-12-13 | Techniques for adding interactive features to videos |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201438463A TW201438463A (zh) | 2014-10-01 |
TWI556639B true TWI556639B (zh) | 2016-11-01 |
Family
ID=51351236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103103164A TWI556639B (zh) | 2013-02-20 | 2014-01-28 | 用於將互動特徵加入視頻之技術 |
Country Status (2)
Country | Link |
---|---|
US (2) | US9330718B2 (zh) |
TW (1) | TWI556639B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9330718B2 (en) | 2013-02-20 | 2016-05-03 | Intel Corporation | Techniques for adding interactive features to videos |
US9959903B2 (en) | 2014-10-23 | 2018-05-01 | Qnap Systems, Inc. | Video playback method |
US10701282B2 (en) | 2015-06-24 | 2020-06-30 | Intel Corporation | View interpolation for visual storytelling |
US9799373B2 (en) | 2015-11-05 | 2017-10-24 | Yahoo Holdings, Inc. | Computerized system and method for automatically extracting GIFs from videos |
US20170285916A1 (en) * | 2016-03-30 | 2017-10-05 | Yan Xu | Camera effects for photo story generation |
US10091435B2 (en) * | 2016-06-07 | 2018-10-02 | Disney Enterprises, Inc. | Video segmentation from an uncalibrated camera array |
US20180025749A1 (en) | 2016-07-22 | 2018-01-25 | Microsoft Technology Licensing, Llc | Automatic generation of semantic-based cinemagraphs |
US10262208B2 (en) * | 2016-09-23 | 2019-04-16 | Microsoft Technology Licensing, Llc | Automatic selection of cinemagraphs |
US20200137321A1 (en) * | 2017-06-28 | 2020-04-30 | Sourcico Ltd. | Pulsating Image |
US10904607B2 (en) | 2017-07-10 | 2021-01-26 | Dolby Laboratories Licensing Corporation | Video content controller and associated method |
CN110163861A (zh) * | 2018-07-11 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
KR20210007276A (ko) * | 2019-07-10 | 2021-01-20 | 삼성전자주식회사 | 영상 생성 장치 및 방법 |
US11240488B2 (en) * | 2019-09-24 | 2022-02-01 | Facebook Technologies, Llc | Volumetric display including liquid crystal-based lenses |
CN111223108A (zh) * | 2019-12-31 | 2020-06-02 | 上海影卓信息科技有限公司 | 基于背景幕抠图和融合的方法和系统 |
CN111935547A (zh) * | 2020-08-18 | 2020-11-13 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种可追踪的加密直播方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080304762A1 (en) * | 2007-06-06 | 2008-12-11 | Canon Kabushiki Kaisha | Image processing apparatus and method |
US7692664B2 (en) * | 2005-07-15 | 2010-04-06 | Yissum Research Development Co. | Closed form method and system for matting a foreground object in an image having a background |
US20100254598A1 (en) * | 2009-04-03 | 2010-10-07 | Qingxiong Yang | Image matting |
US20110161515A1 (en) * | 2009-12-31 | 2011-06-30 | Vivotek Inc. | Multimedia stream recording method and program product and device for implementing the same |
US20120023456A1 (en) * | 2010-07-21 | 2012-01-26 | Microsoft Corporation | Interactive image matting |
US8149701B2 (en) * | 2003-02-05 | 2012-04-03 | Silver Screen Tele-Reality, Inc. | System, method, and computer readable medium for creating a video clip |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7599555B2 (en) * | 2005-03-29 | 2009-10-06 | Mitsubishi Electric Research Laboratories, Inc. | System and method for image matting |
US7609888B2 (en) | 2005-07-01 | 2009-10-27 | Microsoft Corporation | Separating a video object from a background of a video sequence |
US7636128B2 (en) * | 2005-07-15 | 2009-12-22 | Microsoft Corporation | Poisson matting for images |
US7408591B2 (en) | 2005-07-29 | 2008-08-05 | Mitsubishi Electric Research Laboratories, Inc. | System and method for defocus difference matting |
US7420590B2 (en) * | 2005-09-29 | 2008-09-02 | Mitsubishi Electric Research Laboratories, Inc. | Video matting using camera arrays |
IES20060564A2 (en) * | 2006-05-03 | 2006-11-01 | Fotonation Vision Ltd | Improved foreground / background separation |
CN101430711B (zh) | 2008-11-17 | 2010-09-15 | 中国科学技术大学 | 对视频数据进行管理的方法和装置 |
KR101670282B1 (ko) | 2009-02-10 | 2016-10-28 | 톰슨 라이센싱 | 전경-배경 제약 조건 전파를 기초로 하는 비디오 매팅 |
US8391594B1 (en) * | 2009-05-28 | 2013-03-05 | Adobe Systems Incorporated | Method and apparatus for generating variable-width border masks |
CA2771018C (en) * | 2009-08-14 | 2017-06-13 | Genesis Group Inc. | Real-time image and video matting |
US8379972B1 (en) * | 2009-12-01 | 2013-02-19 | Adobe Systems Incorporated | Color decontamination for image compositing |
US20110211749A1 (en) * | 2010-02-28 | 2011-09-01 | Kar Han Tan | System And Method For Processing Video Using Depth Sensor Information |
US8406519B1 (en) * | 2010-03-10 | 2013-03-26 | Hewlett-Packard Development Company, L.P. | Compositing head regions into target images |
US9330500B2 (en) * | 2011-12-08 | 2016-05-03 | The Board Of Trustees Of The University Of Illinois | Inserting objects into content |
US8792718B2 (en) * | 2012-06-29 | 2014-07-29 | Adobe Systems Incorporated | Temporal matte filter for video matting |
US8897562B2 (en) * | 2012-06-29 | 2014-11-25 | Adobe Systems Incorporated | Adaptive trimap propagation for video matting |
US9064318B2 (en) * | 2012-10-25 | 2015-06-23 | Adobe Systems Incorporated | Image matting and alpha value techniques |
US9330718B2 (en) | 2013-02-20 | 2016-05-03 | Intel Corporation | Techniques for adding interactive features to videos |
-
2013
- 2013-12-13 US US14/106,136 patent/US9330718B2/en active Active
-
2014
- 2014-01-28 TW TW103103164A patent/TWI556639B/zh not_active IP Right Cessation
-
2016
- 2016-04-29 US US15/142,475 patent/US9922681B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8149701B2 (en) * | 2003-02-05 | 2012-04-03 | Silver Screen Tele-Reality, Inc. | System, method, and computer readable medium for creating a video clip |
US7692664B2 (en) * | 2005-07-15 | 2010-04-06 | Yissum Research Development Co. | Closed form method and system for matting a foreground object in an image having a background |
US20080304762A1 (en) * | 2007-06-06 | 2008-12-11 | Canon Kabushiki Kaisha | Image processing apparatus and method |
US20100254598A1 (en) * | 2009-04-03 | 2010-10-07 | Qingxiong Yang | Image matting |
US20110161515A1 (en) * | 2009-12-31 | 2011-06-30 | Vivotek Inc. | Multimedia stream recording method and program product and device for implementing the same |
US20120023456A1 (en) * | 2010-07-21 | 2012-01-26 | Microsoft Corporation | Interactive image matting |
Also Published As
Publication number | Publication date |
---|---|
US20140233915A1 (en) | 2014-08-21 |
TW201438463A (zh) | 2014-10-01 |
US20160247536A1 (en) | 2016-08-25 |
US9922681B2 (en) | 2018-03-20 |
US9330718B2 (en) | 2016-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI556639B (zh) | 用於將互動特徵加入視頻之技術 | |
WO2021031920A1 (zh) | 封面图像确定方法、装置及设备 | |
US20160198097A1 (en) | System and method for inserting objects into an image or sequence of images | |
US10956113B2 (en) | Facilitation of concurrent consumption of media content by multiple users using superimposed animation | |
US11875023B2 (en) | Method and apparatus for operating user interface, electronic device, and storage medium | |
JP5847924B2 (ja) | 拡張現実表現のための二次元画像取込み | |
CN112561920A (zh) | 用于在视频中进行密集语义分割的深度学习 | |
US20170285922A1 (en) | Systems and methods for creation and sharing of selectively animated digital photos | |
CN103997687B (zh) | 用于向视频增加交互特征的方法及装置 | |
US10242710B2 (en) | Automatic cinemagraph | |
CN113228625A (zh) | 支持复合视频流的视频会议 | |
US20190311548A1 (en) | Apparatus for sharing objects of interest and associated methods | |
US20130300750A1 (en) | Method, apparatus and computer program product for generating animated images | |
US10783713B2 (en) | Transmutation of virtual entity sketch using extracted features and relationships of real and virtual objects in mixed reality scene | |
US20240089531A1 (en) | Selecting ads for a video within a messaging system | |
WO2022072664A1 (en) | Ad breakpoints in video within messaging system | |
WO2023197780A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
WO2022218042A1 (zh) | 视频处理方法、装置、视频播放器、电子设备及可读介质 | |
Langlotz et al. | AR record&replay: situated compositing of video content in mobile augmented reality | |
Bhutta et al. | The next problems to solve in augmented reality | |
CN114598823A (zh) | 特效视频生成方法、装置、电子设备及存储介质 | |
US20170031583A1 (en) | Adaptive user interface | |
WO2022105097A1 (zh) | 视频流处理方法及装置、电子设备、存储介质及计算机程序 | |
Das et al. | Augmented world: real time gesture based image processing tool with intel realsense™ technology | |
CN113873319A (zh) | 视频处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |