TW200541330A

TW200541330A - Method and system for real-time interactive video

Info

Publication number: TW200541330A
Application number: TW093115864A
Authority: TW
Inventors: Chuan-Hung Wang
Original assignee: Imagetech Co Ltd
Priority date: 2004-06-02
Filing date: 2004-06-02
Publication date: 2005-12-16
Also published as: US20050204287A1; TWI255141B

Description

200541330 五、發明說明（1) 一、【發明所屬技術領域】本發明係有關於動態影音製作的方法與系統，是關於一種即時互動式動態影音製作的方法與系統。網路視訊及照相手機等影像裝置的平電腦與消費性電子產品的结合=是一然而目前影音多媒體的應用，多限於 3常在，相片❼拍攝儲存及檔案管 iC像合成功能。至於動態 :音屯2影、轉檔與播放為主流，有 :，而缺之對多媒體内容的加遊戲：ΐ戲軟體雖嘗試整合使用者之計^® &運動模式理解層有重大的限制，也因此遊戲的内此外，電視内容常可看見軟體硬體成本與專業知識過高，寻效’因其製作時所需的業領域。再者，演員必須與=因士為一個門檻很高的專員是一大考驗，且後製作卜軋對’寅，憑空想像，對於演 F工亦不容易。三、【發明内容】鑒於上述之發明背景t，一、又製作數位内容過於複

先前技術】於數位相機、普及化，家用抵擔的趨勢。像為主，其重載基本的影像備的應用則以網路進行即時或改造。另外作於互動式的遊戲腳本的設有所限制。由價化及股無法靜態圖理，搭影音設時搭配值創作肢體動次，在容變化

200541330 五、發明說明（2) 雜’於此提供一種即時互動影音的方法與系統，提供一輕鬆自然的人機介面，讓一般使用者創作平價而豐富的數位内容。再者’使用互動特效執（Interactive Effect Track )之概心在原有的影片中，如：影音執（v i d e o t r a c k )、音執（audio track)之外，即時增添特效之元素； =一般影片特效不同之處，在於本發明所規劃之特效乃即產生且其套用對象並非事先擇定，而會伴隨互動而有不同的變化。人=在提供—種即時互動影音的方法與系統，包面之顯示裝置、現場人員、具有至少-處理 ΐ婢式之計算機器及一攝影裝置。，中程式提且鱼转；Ϊ i 指令描述。攝影裝置接收現場人員影像人員影像與特效指令：=出& :媒體素材及：合現场细4之輸出，並即時顯示於畫面。四、【實施方式】時，^ # Μ示意®詳細描述如T，在詳述本發明實施例作月:Ρ ::種即時互動影音的方法與系統會不依-般比例作局部放大以利說明’然不應以此作為有限定的認知。種即％互動影音的方法與系統，包含：具有畫面之

Η 第6頁顯示裝置、及攝影裝置效指令描述描述整合播素材可包含動0 具有至少一。其中計算。而當攝影放時，媒體一虛擬人物處理器、記機器中的程裝置在接收素材能即時，並即時與憶體及程式式提供：媒現场影像且顯示於晝面晝面中的現之計算機器體素材及特與特效指令中’而媒體場影像互參照第一圖，在一實施例中，提供一具有處理器及圮，體之機器，如：個人電腦、數位機上盒（set_top b⑻

或遊戲機平台（game console)甚至手機等，此處為一電 =機100。一顯示裝置（displayer)，如：陰極射線管螢幕、液晶顯示螢幕或電漿螢幕等，I 顯示螢幕101;以及一攝影裝置（capture devlce)，在曰曰，貫施=中為網路攝影機（web_cam) 102。這裏要說明的 =此Η施例中，電腦主機丨〇〇、液晶顯示螢幕丨〇!及網路、影機1 0 2以有線方式或無線方式相互連接。當然，在此 f不受限，主機與顯示器結合，如筆記型電腦或平板電月匈’再配上攝影裝置也可應用於此實施例。接著’一現場貫況錄影（1 i v e r e c o r d i n g )如第一圖中’網路攝影機102對著一現場人員104 ( i ive pers〇rl ):網路攝影機擷取現場人員i 〇4的影像並顯示於液晶 =貝不螢幕101的畫面1〇3中。在畫面1〇3中顯示出現場人員影像105 ’且現場人員影像105為即時顯示出之仍立於網路

第7頁 200541330

攝影機102前（入籍、沾日π 預選模式令，甚：）的現劳人貝104。於-實施例中’在-動。、這^說ΐ 了虛擬人物106與現場人員影像105互而成a ^ π人。的疋，現場人員10 4是即時顯現於畫面10 3 :=二Vf像105。於此之即時(real tlme)係指現、作與現場人員影像10 5同步。再者，現場人員104所在的場景菸旁枚，仏，y丹者，現％人 -V -Tf X -¾ a ，、及虛M人物106與現場人員影像105互動定二ί設定，而由使用者透過選單或類似介面擇預k杈式可為程式撰寫好之應用程式，體，如電腦主機100中之記憶體。詳細說明如下存於己匕多閱第二圖所示為一實施例中之檔案架構示意圖。預先選擇之模式由主體内容與特效描述檔案所組成，在一實施例中，可先擬定媒體素材201(media c〇ntent)與腳本以產，多媒體影音内容，例如流行音樂、懷念老歌或經典樂曲等。再者，設計一套相對應的預設互動效果之特效指^ 描述202 (Effect Track Script)，包含時間參數、相對^ 間參數、特效種類、特效套用對象等基本資訊，並以特= 語言描述，存成一指令（Script)檔案。其中使用者可依2 別、年齡等因素設計不一樣的主題（theme)而搭配不同效果的特效。即同一主體内容而言，可搭載多項特效指令>，舉例來說，播放流行音樂時，相對應的特效描述可^二一虛擬人物’其播放時資料整合之方式，首先使用者下體素材201與特效指令描述2 02。接著，擷取現場人員^某 20 3搭配影像裝置即時擷取影片，如第一圖中擁取現胃場^# 200541330_________ 五、發明說明（5) 員影像1 0 5後，與特效指令描述2 〇 2串流整合’最後合成動態影音2 0 4將串流後之即時掘取景^片及特效指令描述2 〇 2與媒體素材2 0 1合成，如此便顯現現場人員融入虛擬世界之中的效果。如第三A至三B圖戶斤不為一貫際掏取現場人貝與虛擬世界結合即時播放的承意圖’顯示裝置擷取一畫面，其係從攝影裝置（未顯示）攝影一現場人員（1 ive Pers〇n )並即時（real-time )顯示於顯示裝置之晝面40 0，其中存在一現場人員影像401 (live Person image) 0當執行本實施例之可讀程式時，預先選擇之模式可產生一虛擬像，如：人像、神像、卡通人物、妖魔鬼怪等，例如產生一虛擬人物4 0 2。

此時，虛擬人物4 〇 2會與現場人員影像4 0 1互動，並即時顯示於晝面400，如第三B圖所示，虛擬人物402可以有許多動作與特效，而現場人員影像40 1也可左右移動進行小幅度的運動。如實施例中，虛擬人物4 0 2的動作為爬上現場人員影像4 01之肩膀，並親吻現場人員影像4 〇1之臉頰。此時回應虛擬人物4〇2的動作，現場人員影像4〇1便產生臉紅效果5 〇 1，與心花怒放效果5 〇 2。另一例子是，虛擬人物4 0 2也了對現场人員影像4 〇 1施行魔法，此時回應虛擬人物4 0 2的動作，現場人員影像4 0 1頭上長一對耳朵5 〇 3，且當現場人員影像4〇1的頭部有小幅度的擺動時，耳朵5〇3

第9頁 200541330

叩吕對現場人員身模式，半身模面，全身模式在此要說明的是，難以兼得的兩項的不同作適當的大頭貼時，以臉模式以全域動作域運動之追縱與見琢人員影像可分為半身模式盥有頭及肩部位顯示於書 i:中；身體部分佔約全身十分之七：目栏，太ί卩時性與準確性产ί ^ ^之貫施例中可依照應用型部特徵偵測與正確老、衫夕綷且灸奴/· 兩王要考置。動之間易參數估算為主。

組態之辨識為互身杈式時則以〜巧立動杈組的重心。虛擬像與現場人員徵追蹤及姿勢分析與辨〜ι巾万法，如特徵識等公k , 了1狄1貝/則、析虛擬像與現場人員的動

200541330

五、發明說明（7) 作。特徵偵測點）與高階特對特徵的匹配 (Explicit ) 一對一對應關匹配法則以參後晝格中特徵特徵點匹配（分析、隱性法 optical flow 測與定位。 =依應用目標的性質，分別考慮低階（特徵徵（臉部特徵如眼睛、嘴巴）之擷取。而針方式尚有隱性（I mp 1 i c i t )與顯性法則之分。顯性特徵匹配法尋求特徵之間的係（one to one corresp〇ndence);隱性數或轉換（transformation)等方式代表前之間的關係。女口：顯性法則及低階特徵：肢體追蹤）、顯性法則及高階特徵可二則及低階特徵可為密集光流分析⑶印“、月 )以及隱性法則及高階特徵可為臉部器官偵特，偵測中，使用下列方法，作有效率且精偵測與裔官定&。初始偵測，一實施例中，以灰旦臉水平邊緣之密度強弱初估眼睛與嘴的可能位置：像中所示為水平邊緣密度計算之初步選定連續圖 ^四圖即為所選定之眼睛與嘴的可能位置。立次，^區域選區觸1中，利用器官相對位置與比例關係做進選。最後，再利用眼球搜尋做位置確認。在一/師也可將膚色作為輔助判斷依據。器官一者二列中， ,# ^ . 心丨儿 μ ^例φ ， ° ^ 、目毛及耳朵等，採用比例關係做位置估計臉的外框則以橢圓方程式表示。在—實施例中，^、。而人操作模式下，可透過膚色模型搭配髮特徵偵測器°為全身 (Hair-Like Feature Detector)作快速偵測，主於人體

女勢分析與辨識（Gesture Analysis and Recognition)，靜止狀態下物件組態判別之一實施例中，是可使用形狀比對（Shape M a t c h i n g) ’其相關技術’如s h a p e C ο n t e X t，而演算法也可為Elastic Matching演算法，並配合多重解析度之概念’以容忍小幅度的變形（Deformation)以及遮蔽 (Occlusion)效應。關於連續動作之分析與辨識之一實施例中，利用階層式光流追蹤的方式（Pyramidal Optical Flow)，先計算出人體的移動方向與速率，在使用時間序列法之一實施例中，可為Hidden Markov Model(HMM)或

Recurrent Neural Network(RNN)等，以分析該動作所代表的意義。

第12頁 200541330

麥閱第五圖，具為本發明軟體運作流程圖之一满例。首先觸發應用程式701，偵測硬體751，警: 731 ’終止應用程式704 ’及問題訊息732為程式切。：硬體需未之步驟。當偵測硬體751發現問題時則產生警=訊息 UV反之則產生問題訊息732。警告訊息731為提醒使用 f在硬體偵測時所需之硬體設備未安裝或無法運作，例 9 頭未安裝或攝影鏡頭安裝不完全等訊息。問題 =心732為k示使用者先離開鏡頭，以便接下來的取景步 ^旦接下來為前置處理，收集背景資料706存入内部儲存 =資料707中，接著產生問題訊息？33，其目的為重新邀二使用者進入鏡頭。例如，一歡迎畫面邀請使用者進入鐃頭且其影像出現於顯示畫面。辨< 7 0 9在此可辨認臉及整個肢體。追縱動作71 〇在此可偵測臉及整個肢體動作。另外媒體資料7 6丨，宜可包含延伸檔案類型如AVI或MPEG格式。在一實施例中了媒體資，可為壓縮播案，如：DLL檔。接著載入媒^ =體資料解碼713。辨認709、追蹤動作71〇以及内部儲 ^月景資料707與接下來的步驟配合便可產生動態合成影一合成攝影機影像及媒體資料71 4及動作再追蹤71 5後，顯不合成媒體資料71 6。動作再追蹤71 5為再一次偵測背景

第13頁 200541330 五、發明說明（10) 及影像之改變。接著判斷是否載入特效752，丨，則進入 ^驟Ϊ入嵌^特效718。載入嵌入特效718，在-實施例體資mir等:級可:二Effect”。接著，是否鍺存合成媒 _斗疋則儲存合成媒體資料720。時間是否姓走 754。是，則進入再處理儲存合成媒體資料722， ^ 例中，可為】PEG檔案格式，或可為⑶⑴#級。最後、/ 不再處理儲存合成媒體資料723及終止應用程式724。

這裏要說明的是，合成攝影機影像及媒體資料71 4經動作再，蹤71 5後，便可顯示合成媒體資料716顯示於畫面上。接著載入嵌入特效718，經儲存合成媒體資料72〇後，便進入迴圈至合成攝影機影像及媒體資料7丨4，如此便產生即時之效果。對照第三A及第三6圖，虛擬人物4〇2經動作再追蹤715後便可知道現場人員影像4〇1之肩膀及臉頰位置。而當特效臉紅效果501經儲存合成媒體資料72〇及動作再追縱715後，便可即時見到如第三b圖之臉紅效果5〇1。且在這之中因動作再追蹤715，不論臉頰移動至何處，臉紅效果5 0 1都會產生在正確的位置上。以上所述僅說明本發明一軟體運作流程圖之一實施例。而本發明更可透過個人電腦（pc 〇r lapt〇p )、數位機上盒（set-top box)或遊戲機平台（game c〇ns〇ie)甚至手機等上執行。而在應用上，兩使用者更可互相對玩。兩使用者可透過網路，如inter net或intranet連結，並為

第14頁 200541330 五、發明說明（11) 對方或已方選擇虛擬人物’在其中一端下指令，遙控另一端的虛擬人物’並做出各種不同的視覺特效，結果可顯示在對方及自己的顯示器上。根據上述，本發明之一實施例中，兼顧應用軟體的互動性與合成效果的逼真度，將特效模組與互動模組的設計一併考量’並結合成一個封包（p a c k a g e )，如此可於媒體内容編排時就先行處理完畢，使系統資源得以充分利用於互動時的逼真呈現。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍中。％

第15頁 200541330 圖式簡單說明第一圖為根據本發明之一實施例之架構示意圖。第二圖所示為一實施例中之檔案架構示意圖。第三A至三B圖所示為一實際擷取現場人員與虛擬世界結合即時播放的不意圖。第四圖顯示一符合本發明之一實施例應用水平邊緣密度計算之初步選定連續圖。第五圖顯示本發明軟體運作流程圖之一實施例圖式元件符號： 100 電腦主機 101 液晶顯示螢幕 102 網路攝影機 103 晝面 104 現場人員 105 現場人員影像 106 虛擬人物 201 媒體素材 202 特效指令描述 203 擷取現場人員影像 204 動態合成影音 400 晝面 401 現場人員影像 402 虛擬人物 500 晝面

第16頁 200541330 第17頁圖式簡單說明 501 臉紅效果 502 心化怒放效果 503 一對耳朵 601 候選區域 701 觸發應用程式 751 偵測硬體 731 警告訊息 704 終止應用程式 732 問題訊息 706 收集背景資料 707 3 部儲存背景 733 問題訊息 709 辨認 710 追蹤動作 711 載入媒體資料 761 媒體資料 713 媒體資料解碼 714 合成攝影機影 715 動作再追蹤 716 顯示合成媒體 752 是否載入特效 718 載入嵌入特效 753 是否儲存合成 720 儲存合成媒體

200541330 圖式簡單說明 754 時間是否結束 722 再處理儲存合成媒體資料 723 顯示再處理儲存合成媒體資料 724 終止應用程式 ι··ι 第18頁

Claims

200541330 六、申請專利範圍 1. 一種即時互動影音的方法，包含：提供一畫面（frame); 即時（r e a 1 t i m e )接收一影像（v i d e 〇 )顯示於該晝面；產生一物件並顯示於該晝面；及進行互動於該物件與該影像之間。 2. 如申請專利範圍第1項所述之即時互動影音的方法，其中接收該影像之方法為使用一網路攝影機（web cam )接收面對該網路攝影機的影像。 3. 如申請專利範圍第1項所述之即時互動影音的方法，其中該產生步驟更包含一預選模式以產生對應之物件。 4. 如申請專利範圍第1項所述之即時互動影音的方法，其中該進行互動步驟包含辨認該影像的位置。 5. 如申請專利範圍第1項所述之即時互動影音的方法，其中該進行互動步驟包含追蹤該影像的一變動。 6. 如申請專利範圍第1項所述之即時互動影音的方法，其中該進行互動步驟包含產生一特效描述於該影像上。 7. 如申請專利範圍第6項所述之即時互動影音的方法，其

第19頁 200541330 六、申請專利範圍中该特效描述係選一、以描述語言描述的特效相々集。 8 ·如申請專利範圍第丨中該物件係選自一媒麟j所述之即時互動影音的方法素材（media content)。 ’ 其 9·如申請專利範圍τ5 中該提供步驟包含二員：述之即時互動影音的方法攝像裝置與該晝面有===在於-攝像裳置前且; 10.如申清專利範jfi楚1 s ^

直中產4 +骅七人圍苐項所述之即時互動影音的大、八乂 s該影像依循該影像之一特徵追蹤决 1甘1 •士如申°月專利範圍第1項所述之即時互動影音的* ，、中產生步驟包含對該影像依循一姿勢分析與辨識方法

追蹤該資料改變之部分；提供一媒體素材；合成（synthesizing)該媒體素材及該資料；及

1 2. —種儲存裝置，儲存可由媒體處理裝置判讀〃程式，#中該媒體處理裝置根據該複數個设數個包含：研仃的步驟輸入一資料，其中該資料包含一背景資像； 7久即時影辨認該資料； 200541330 ____一 ― ___ 六、申請專利範圍 ^^^' ' -----— 顯示合成該媒體素材及該資料。 13·如申請專利範圍第1 2項所述之儲存裝置，儲存可由體處理裝置判讀之複數個程式，其中提供一媒體素材步驟更包含：少鄉載入该媒體素材；及解碼該媒體素材。 14·如申請專利範圍第丨2項所述之儲存裝置，儲存可由媒體處理展置判讀之複數個程式’其中合成（s y n t h e s i z i n g )遠媒體素材及該資料步驟更包含：再追蹤該資料改變之部分。 15·如申睛專利範圍第1 2項所述之儲存裝置，儲存可由媒體處理裝置判讀之複數個程式，其中更包含：載入特效；再處理合成該媒體素材、該資料及特效；及顯示合成該媒體素材、該資料及特效。 2 ·如申清專利範圍第1 5項所述之儲存裝置，儲存可由媒 :處理名置判讀之複數個程式，其中步驟載入特效更包含嵌入特效於該背景資料。 1 7 · —種即時互動影音的系統，包含：

200541330_ 六、申請專利範圍一顯示裝置，具有一晝面；一計算機器具有至少一處理器、一記憶體及複數個可讀程式，其中該複數個可讀程式具有一媒體素材及一特效指令描述；及一攝影裝置接收一影像，經該特效指令描述處理並與該媒體素材合成，即時顯示該媒體素材與該影像的互動於該晝面。 18. 如申請專利範圍第1 7項所述之即時互動影音的系統，其中該顯示裝置為一液晶螢幕。 19. 如申請專利範圍第1 7項所述之即時互動影音的系統，其中該計算機器為一電腦。

第22頁