TWI632523B - 產生視訊之系統及方法 - Google Patents

產生視訊之系統及方法 Download PDF

Info

Publication number
TWI632523B
TWI632523B TW102115704A TW102115704A TWI632523B TW I632523 B TWI632523 B TW I632523B TW 102115704 A TW102115704 A TW 102115704A TW 102115704 A TW102115704 A TW 102115704A TW I632523 B TWI632523 B TW I632523B
Authority
TW
Taiwan
Prior art keywords
server
image
computing device
data
output image
Prior art date
Application number
TW102115704A
Other languages
English (en)
Other versions
TW201403540A (zh
Inventor
西蒙 盧斯
高塔姆 泰杜爾卡
Original Assignee
澳洲聯邦科學暨工業研究組織
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2012902108A external-priority patent/AU2012902108A0/en
Application filed by 澳洲聯邦科學暨工業研究組織 filed Critical 澳洲聯邦科學暨工業研究組織
Publication of TW201403540A publication Critical patent/TW201403540A/zh
Application granted granted Critical
Publication of TWI632523B publication Critical patent/TWI632523B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Studio Devices (AREA)

Abstract

一種能在處理能力有限的裝置上使頭像動畫的產生影像之方法，此方法包括：在一個第一計算裝置處接收一個第一影像；在該第一計算裝置的一個數據介面處將該第一影像傳送到一個伺服器；在該數據介面處接收從該伺服器來的對應該第一影像一觀點的形狀數據；及利用該第一計算裝置的一個處理器至少依據該形狀數據及頭像數據產生一個主要輸出影像。

Description

產生視訊之系統及方法
本發明是關於影像處理，尤其是(雖非完全是)為一視訊序列產生影像。
隨著數位攝影機在多種裝置上普遍，使用者生成內容(UGC)變得越來越受歡迎。使用者自己可錄下視訊，並在不改變下簡單地上傳或發送視訊，或是在上傳前修改或編輯視訊。
先前技術的影像處理軟體允許使用者應用濾鏡在照片上而得到特殊效果，其例子包括使影像褪色或漏光以模仿老舊攝影機，或加上濾鏡強化特殊色彩。
這種先前技術的影像處理軟體的一項問題是濾鏡依內容而互為獨立。過濾後的影像起初顯得個人化，同一個濾鏡應用在數個影像可讓影像實際上看起來比原來的樣子更像彼此。
個人化的先前技術的影像產生軟體亦允許使用者將其臉部(或另一位使用者的臉部)加入到一視訊序列，然後視訊至少表面上看起來對使用者像是客製化。
這種先前技術的影像產生軟體的一項問題是使用者的輸入受到限制，造成表情有限。
此領域的另一方面是手動視訊及影像編輯與產生系統，例如用於電腦產生影片動畫。這種軟體允許使用者產生任何型式的視訊或影像，但其一般為複雜且耗時，因此不適合日常用者。
【發明目的】
本發明的一些實施例的一項目的是為消費者提供優於上述習用技術的改良和優點，及/或克服和減少習用技術的一或多個上述缺點， 及/或提供一項有用的商業選擇。
依據一項觀點，本發明為一種產生影像之方法，包括：在一個第一計算裝置處接收一個第一影像；在該第一計算裝置的一個數據介面處將該第一影像傳送到一個伺服器；在該數據介面處接收從該伺服器來的對應該第一影像一觀點的形狀數據；及利用該第一計算裝置的一個處理器至少依據該形狀數據及頭像數據產生一個主要輸出影像。
較佳地，該形狀數據包含該影像描繪的一位使用者的臉部的一個3D模型。可選擇的是形狀數據包含該影像描繪的數個使用者的臉部的3D模型。產生該主要輸出影像接著包含將該形狀數據應用在該頭像數據。
或者，該形狀數據包含主動外觀模型(AAM)參數，且產生該主要輸出影像包含將該主動外觀模型(AAM)參數應用在該頭像數據。
較佳地，產生該主要輸出影像更包含將一映射功能依據該頭像數據應用在該形狀數據。
較佳地，該方法更包括：在該數據界面處接收一個與該頭像數據有關的判讀器。
較佳地，該方法更包括將該判讀器傳送到該伺服器，其中該伺服器依據與該判讀器相關的伺服器頭像數據以及該形狀參數產生一個伺服器輸出影像。
或者，該方法更包括將該頭像數據傳送到該伺服器，其中該伺服器頭像數據包含被傳送的頭像數據。
依據某些實施例，該伺服器輸出影像與該主要輸出影像相同。或者，該伺服器依據一個與該第一計算裝置用來產生該主要輸出影像的運算法不同的運算法來產生該伺服器輸出影像。
較佳地，該方法更包括：在該數據界面處將一項請求傳送到該伺服器，以將該伺服器輸出影像 傳送到一個第二計算裝置的使用者，其中該請求包括使用者的詳細聯絡資料；及利用該使用者詳細聯絡資料將該伺服器輸出影像從該伺服器傳送到該第二計算裝置的使用者。
較佳地，該方法更包括：在該數據界面處將一項請求傳送到該伺服器，以將該主要輸出影像分享給一個第二計算裝置的使用者，其中該請求包括使用者的詳細聯絡資料和一選擇的頭像；及利用該使用者詳細聯絡資料，將該形狀參數和該選擇的頭像從該伺服器傳送到該第二計算裝置的使用者，以供該第二計算裝置產生該主要輸出影像。
較佳地，傳送該選擇的頭像包含傳送一個與該選擇的頭像有關的判讀器。
較佳地，產生該主要輸出影像包含修改該第一影像。
較佳地，該方法更包括：在該數據界面處將一項請求傳送到該伺服器，以將該伺服器輸出影像上傳到一個社群媒體網站或一視訊分享網站，其中該請求包括該社群媒體網站或該視訊分享網站的詳細資料和一選擇的頭像；及利用該社群媒體網站或該視訊分享網站的詳細資料，將該伺服器輸出影像從該伺服器傳送到該社群媒體網站或該視訊分享網站。
依據某些實施例，該第一影像有編碼。
較佳地，該第一影像包含一視訊序列的一影像。
較佳地，該方法更包括：在該第一計算裝置處接收一個第二影像，其中該第一影像和該第二影像包含一視訊序列的影像；在該數據界面處將該第二影像傳送到一伺服器；在該數據界面處接收對應該第二影像的一觀點的另一形狀數據；及利用該處理器至少依據該另一形狀數據和該頭像數據產生一個第二主要輸出影像。
較佳地，該方法更包括：在該第一計算裝置處接收一個第二影像，其中該第一影像和該第二影像包含一視訊序列的影像；在該數據界面處將該第二影像傳送到一伺服器；在該數據界面處接收對應該第二影像的一觀點的另一形狀數據；及利用該處理器至少依據該另一形狀數據和第二頭像數據產生一個第二主要輸出影像。
較佳地，該第二頭像數據包含該頭像數據。
較佳地，該第一影像是在接收該第二影像之前傳送到該伺服器。
較佳地，該方法更包括：在該第一計算裝置處接收音訊數據；在該數據界面處將該音訊數據傳送到該伺服器；在該數據界面處接收與該音訊數據相關的音訊參數；及利用該第一計算裝置的一個處理器至少依據該音訊參數和該頭像數據產生輸出音訊。
較佳地，產生該輸出音訊包含將一過濾器應用在該音訊數據上。
較佳地，該頭像數據包括一頭像影像。
依據第二項觀點，本發明為一種產生影像之系統，包括：一個第一計算裝置，包括；一個數據界面；一個耦合至該數據界面的處理器；及一個耦合至該處理器的記憶體，該記憶體包括可由該處理器執行以進行下列動作之指令：接收一個第一影像；在該數據界面處將該第一影像傳送到一個伺服器；在該數據界面處接收對應該第一影像的一觀點的形狀數據；及至少依據該形狀數據和頭像數據產生一個輸出影像。
較佳地，該系統更包括一個耦合至該處理器的一台顯示螢幕，其中該記憶體更包括使該輸出影像出現在該顯示螢幕的指令。
較佳地，該系統更包括一支耦合至該處理器的攝影機，其中該記憶體更包括接收從該攝影機來的該第一影像之指令。
依據第三項觀點，本發明為一種產生及傳送影像之系統，包括：一個個人計算裝置，包括；一個數據界面；一個耦合至該數據界面的處理器；及一個耦合至該處理器的記憶體，該記憶體包括可由該處理器執行以進行下列動作之指令：接收一個影像；在該數據界面處將該影像傳送到一個伺服器；在該數據界面處接收對應該影像的一觀點的形狀數據；及至少依據該形狀數據和頭像數據產生一個輸出影像；及該伺服器包括：一個伺服器數據界面；一個耦合至該伺服器數據界面的伺服器處理器；及一個耦合至該伺服器處理器的伺服器記憶體，該伺服器記憶體包括可由該伺服器處理器執行以進行下列動作之指令：接收該影像；由該伺服器處理器產生依據該影像一觀點的形狀數據；在該伺服器數據界面處將該形狀數據傳送到該第一計算裝置；至少依據該形狀數據和頭像數據，在該伺服器處理器處產生一個伺服器輸出影像；及在該伺服器數據界面處將該伺服器輸出影像傳送到一個第二計算裝置。
較佳地，該系統更包括多個個人計算裝置，其中依據由該多個個人計算裝置來的影像有關的形狀數據來產生該伺服器輸出影像。
100‧‧‧系統
105‧‧‧第一計算裝置
110‧‧‧伺服器
115‧‧‧數據通信網路
120‧‧‧攝影機
125‧‧‧顯示螢幕
130‧‧‧麥克風
205‧‧‧使用者
300‧‧‧形狀數據
305‧‧‧3D點
400‧‧‧螢幕截圖
405‧‧‧頭像輸出影像
410‧‧‧頭像選擇鍵
415‧‧‧播放鍵
420‧‧‧前進快轉鍵
425‧‧‧後退快轉鍵
500‧‧‧系統
505‧‧‧第一計算裝置
510‧‧‧伺服器
515‧‧‧第二計算裝置
600‧‧‧訊息序列圖
605‧‧‧步驟
610‧‧‧步驟
615‧‧‧步驟
620‧‧‧步驟
625‧‧‧步驟
630‧‧‧步驟
635‧‧‧步驟
700‧‧‧方法
705‧‧‧步驟
710‧‧‧步驟
715‧‧‧步驟
720‧‧‧步驟
725‧‧‧步驟
730‧‧‧步驟
735‧‧‧步驟
740‧‧‧步驟
800‧‧‧計算裝置
802‧‧‧中央處理器
804‧‧‧系統記憶體
806‧‧‧系統匯流排
808‧‧‧硬碟介面
810‧‧‧可移除式記憶體介面
812‧‧‧硬碟機
814‧‧‧可移除式記憶體驅動器
816‧‧‧數位多用途光碟
818‧‧‧通用序列匯流排介面
820‧‧‧IEEE 1394介面
822‧‧‧網路介面
824‧‧‧區域網路
826‧‧‧串列埠介面
為了幫助了解本發明且讓熟悉此技人士能付諸實施，將以例子方式參照所附圖式說明本發明的較佳實施例。
圖1為依據本發明一實施例的產生影像之系統。
圖2為依據本發明一實施例的一使用者與圖1中系統的一第一計算裝置的互動圖。
圖3-1為依據本發明一實施例的圖1中系統的形狀數據前視圖。
圖3-2為圖3-1中形狀數據側視圖。
圖4為依據本發明一實施例的圖1中系統的頭像選擇螢幕之螢幕截圖。
圖5為依據本發明一實施例的產生影像之系統。
圖6為依據本發明一實施例在一第一計算裝置和一伺服器之間通信的訊息流動圖。
圖7為依據本發明一實施例的產生影像之方法。
圖8為依據本發明一實施例的計算裝置。
熟悉此技人士將能了解從圖中所示元件佈置所做的些微變化將不減損本發明所揭示實施例之正常功能。
本發明的實施例包括產生影像及視訊之系統及方法，本發明的元件是以簡潔外形示於圖中，其僅示出了解本發明實施例的必須特定細節，但對於熟悉此技人士在閱讀本說明之後為顯而易知的過度細節則不贅述。
在專利說明書中，諸如“第一”，“第二”，“左”，“右”，“前”，“後”，“頂”，“底”等等形容詞，僅用於界定一元件或方法步驟而與另一元件或方法步驟有所區隔，不必然是上述形容詞所述的特定相對位置或順序。諸如“包含”或“包括”等字眼並非用來限定元件或方法步驟的一組封閉性組合，反之，這些字眼僅用於界定包括在本發明特定實施例中的一組最少的元件或方法步驟之組合。
本說明書中對任何先前技術的論述不是(也不應做為)先前技述構成一般普通知識之確認或任何形式之建議。
依據一項觀點，本發明為一種產生影像之方法，包括：在一個第一計算裝置處接收一個第一影像；在該第一計算裝置的一個數據介面處將該第一影像傳送到一個伺服器；在該數據介面處接收從該伺服器來的對應該第一影像一觀點的形狀數據；及利用該第一計算裝置的一個處理器至少依據該形狀數據及頭像數據產生一個主要輸出影像。
本發明某些實施例的優點包括讓使用者能在處理能力有限的裝置上使頭像動畫，動畫可在低延遲下進行，而且頭像可有大變化。之後，動畫頭像造成的影像或視訊可傳送給頻寬效率良好的另一位使用者、社群媒體或視訊分享網站。
以下所述實施例為產生影像之方法，如熟練收件人能立即了解者，影像可包含視訊序列的影像。另外，實施例可輕易地延伸以支持視訊之產生，不需將每一個影像當成一個獨立影像來處理。舉例言之，時序資訊可與一視訊序列中的每一個影像相關，而可應用做為任何輸出視訊序列的時序資訊。
“頭像”一詞係用來描述動作或表情能夠移轉的任何影像型式及/或音訊數據。頭像可基於藝術人物(例如卡通人物)或包含真人影像。另外，頭像可基於非人類角色，例如動物或想像生物(例如外星人)或包括具有臉部或疊置有其他身體部分的無生命或想像創作。
圖1為依據本發明一實施例的產生影像之系統。
系統100包括一個第一計算裝置105和一個伺服器110，第一計算裝置105和伺服器110經由一數據通信網路115耦合在一起。
第一計算裝置105包括一支攝影機120、一台顯示螢幕125、和一支麥克風130，所有元件均耦合至一個處理器(圖未示)，而處理器則耦合至一數據介面(圖未示)。第一計算裝置更包括一個耦合至處理器的記憶體(圖未示)，記憶體包括可被處理器執行來執行本發明之方法的指令，如下文進一步所述。
第一計算裝置105可為低端設備，例如行動電話、個人數位 助理(PDA)、平板電腦、或其他類似裝置。伺服器可為例如精緻計算裝置，且可有利地能做為數個第一計算裝置105。
第一計算裝置105將一影像或視訊傳送到伺服器110，伺服器110處理影像或視訊，並將形狀參數回傳到第一計算裝置105。之後，第一計算裝置105依據形狀參數將一頭像模型動畫。
頭像模型動畫特別適合低端設備(例如行動電話)的圖形處理單元(GPUs)動畫可包括將一位使用者的臉部表情移轉到一頭像臉部表情，或移轉身體結構或動作，其可包括例如將一頭像動畫來包括一位使用者的表情，讓頭像跳舞或以特殊方式移動，或產生例如手語之特定動作。
頭像模型可位於第一計算裝置105、伺服器110、或部分在伺服器110且部分在第一計算裝置105。類似於此，頭像模型可在第一計算裝置105和伺服器110之間傳送。
圖2為依據本發明一實施例的一使用者205與一第一計算裝置105的互動圖。
攝影機120擷取使用者205的多個影像，多個影像的第一影像被擷取之後被傳送到伺服器110而立即處理，亦即不待第二個影像之擷取或視訊完全被記錄。
若網路很慢或無網路，被第一計算裝置105擷取的影像可被儲存並在有網路可得時或夠快時傳送到伺服器110。
依據本發明替代實施例(圖未示)，影像被傳送到第一計算裝置105或包含一下載視訊序列。如熟練收件人能立即了解者，影像不一定是要由第一計算裝置105所擷取。
伺服器110產生對應第一影像一觀點的形狀數據，影像觀點可為使用者臉部、身體結構、或任何其他適合觀點。若為使用者臉部，形狀數據可包含從影像取得使用者臉部的3D模型。或者，形狀數據可包括主動外觀模型(Active Appearance Model,AAM)參數。另外，形狀參數可包括攝影機相對位置。
伺服器110將形狀數據傳送到第一計算裝置105，接著第一計算裝置105至少依據形狀數據和頭像數據產生一輸出影像。
頭像數據可為例如包含一個依據形狀數據轉換的頭像影像。
輸出影像包括將3D模型、主動外觀模型(AAM)、或其他形狀數據應用在頭像數據，且可包括將一映射功能依據頭像數據應用在形狀數據。另外，輸出影像可依據多個源-頭像映射功能來產生，如2012年3月21日提申之國際專利公開案PCT/AU2012/000295名稱為“用於臉部表情移轉之方法及系統”中所述者。伺服器110可依據影像、頭像數據、及訓練數據來產生源-頭像映射功能。之後，源-頭像映射功能可被傳送到第一計算裝置105而為之使用。
圖3-1為依據本發明一實施例的形狀數據300前視圖，而圖3-2為圖3-1中形狀數據300側視圖。
形狀數據包含對應一使用者臉部特徵的多個3D點305，這些特徵可包括眼睛、嘴、眉毛、顎形狀、或任何其他特徵。
圖4為依據本發明一實施例的頭像選擇螢幕之螢幕截圖400。第一計算裝置105和伺服器110可包括對應多個頭像的頭像數據，頭像選擇螢幕可用來選擇多個頭像中的一個頭像。
頭像選擇螢幕包括一頭像輸出影像405及多個頭像選擇鍵410，利用頭像選擇鍵410來選擇頭像即可依據所選的頭像更新輸出影像405。
頭像選擇螢幕更包括經由一播放鍵415、一快速前進鍵420、和一快速反轉鍵425控制的媒體控制功能。播放鍵415、快速前進鍵420、和快速反轉鍵425可用來控制一視訊序列的播放。依據本發明某些實施例，頭像可在播放時利用頭像選擇鍵410來改變。
此種情況下，一輸入視訊序列可包含多個影像，包括一第一影像和一第二影像，其由第一計算裝置105接收。
如上所討論者，第一影像被第一計算裝置105傳送到伺服器110，伺服器110將對應第一影像一觀點的形狀數據傳送到第一計算裝置105，接著第一計算裝置105依據形狀數據和第一個選擇的頭像之頭像數據產生一主要輸出影像。
接著，第二影像被第一計算裝置105傳送到伺服器110，伺 服器110將對應第二影像一觀點的另一形狀數據傳送到第一計算裝置105，接著第一計算裝置105依據另一形狀數據以及第二個選擇的頭像數據(若有新選頭像)或第一次選擇的頭像數據來產生另一主要輸出影像。
由是，主要輸出影像和另一主要輸出影像形成一輸出視訊序列，包括選擇的頭像，且其可例如在頭像選擇螢幕上播放。
圖5為依據本發明一實施例的產生影像之系統500。
系統500包括一第一計算裝置505、一伺服器510、及一第二計算裝置515。第一計算裝置505和伺服器510類似於圖1中的第一計算裝置105和伺服器110。
第一計算裝置505接收例如從第一計算裝置505的攝影機120來的一影像，且將影像傳送到伺服器510，如上所述。接著伺服器510產生形狀參數並將形狀參數傳送到第一計算裝置505。
接著第一計算裝置505的使用者可依據不同的頭像數據產生一輸出影像，並選擇一個頭像，如上文參照圖4所述。
選擇頭像後，使用者可接著選擇將輸出視訊傳給另一位使用者。此種情況下，一訊息(包括第二位使用者的詳細資料及/或第二計算裝置515和選擇的頭像)從第一計算裝置505被傳送到伺服器510。
各頭像可與一獨特的判讀器關聯，此種情況下，第一計算裝置505僅需將獨特判讀器傳送到伺服器510。
依據某些實施例，伺服器510接著依據與判讀器相關的伺服器頭像數據以及形狀參數產生一伺服器輸出影像。
伺服器頭像數據可與第一計算裝置505的頭像數據相同，或可包括對應伺服器510可取得之任何額外處理能力的額外細節。類似於此，伺服器510可應用一個與第一計算裝置505用來產生主要輸出影像的運算法不同的運算法，以便產生更精確或更寫實的伺服器輸出影像。
接著伺服器510將伺服器輸出影像傳送到第二計算裝置515。
依據其他實施例，伺服器510將選擇的頭像(例如判別選擇的頭像的一判讀器)連同形狀參數傳送到第二計算裝置515，第二計算裝置 515接著依據形狀參數和選擇的頭像做出輸出影像。
依據另外實施例，伺服器510將伺服器輸出影像上傳到社群網站，檔案、影像或視訊分享網站，或其他網站。
產生輸出影像可包含產生一個獨立輸出影像，或包括修改第一影像。此外，第一影像可編碼，且任何後續影像可以不同於第一影像的方式編碼。
依據一替代實施例(圖未示)，伺服器輸出影像及/或主要輸出影像是依據從數個影像來的形狀數據來產生。因此，輸出影像可結合從數個影像來的觀點，諸如數個使用者的表情。類似於此，從數個影像來的形狀數據可包含與數個使用者相關的數據，諸如數個使用者的臉部表情。
圖6為依據本發明一實施例在一第一計算裝置105,505和一伺服器110,510之間通信的訊息序列圖600。
在步驟605中，一第一影像在第一計算裝置105,505處被接收，第一影像可為從一攝影機或任何其他來源。
在步驟610中，第一影像被傳送到伺服器110,510進行處理。
在步驟615中，第二影像被傳送到伺服器110,510進行處理，無需等待第一影像之處理。如此允許視訊接近即時處理，因為僅增加單一往返時間延遲，而非累積性延遲或對應視訊序列長度的延遲。
在步驟620中，第一影像被伺服器110,510處理；且在步驟625中，形狀參數從伺服器110,510處傳送到第一計算裝置105,505。接著在步驟630中，第一計算裝置105,505產生並顯示輸出影像。
在步驟635中，第二影像被伺服器110,510處理。
圖7為依據本發明一實施例的產生影像之方法700。
在步驟705中，一第一影像被第一計算裝置接收，第一影像可為直接從一攝影機或任何其他來源接收。
在步驟710中，第一影像被傳送到一伺服器。
在步驟715中，一第二影像被第一計算裝置接收；在步驟720中，第二影像被傳送到伺服器。
在步驟725中，與第一影像有關的形狀數據從伺服器傳送到第一計算裝置；在步驟730中，第一計算裝置依據形狀數據和頭像數據產生一第一主要輸出影像。
在步驟735中，與第二影像有關的形狀數據從伺服器傳送到第一計算裝置；在步驟740中，第一計算裝置依據第二影像的形狀數據和頭像數據產生一第一主要輸出影像。
步驟725和730可在步驟715和720之前進行，然而，有利者為將影像在被第一計算裝置接收時就傳送到伺服器，以減少系統整體延遲。
依據本發明的某些實施例，本方法更包括接收及處理音訊處據，例如演講。有利者為音訊數據是被麥克風130擷取，且可包括時序資訊，以便精確地使音訊數據與影像或視訊數據同步。
音訊數據在數據界面處被傳送到伺服器以進行處理，其方式類似於上文所述者。接著伺服器110,510處理音訊以產生與音訊相關的音訊參數，音訊參數被傳送到第一計算裝置105,505，輸出音訊則依據音訊參數和頭像數據被產生。
音訊參數可包含用來過濾音訊參數之過濾器參數。
圖8為依據本發明一實施例的計算裝置800概示圖。第一及第二計算裝置105,505,515及伺服器110,510可與計算裝置800相同或相似。類似於此，圖7中的方法700可使用計算裝置800來施行。
計算裝置800包括一個中央處理器802、一個系統記憶體804、及一個系統匯流排806，系統匯流排806耦合不同系統組件，包括將系統記憶體804耦合至中央處理器802。系統匯流排805可為任何匯流排構造型式，包括記憶體滙流排或記憶體控制器、周邊匯流排、以及使用各種匯流排架構的區域匯流排。系統記憶體804的結構為熟悉此技人士所熟知，且可包括一個儲存在唯讀記憶體(ROM)中的基本輸入輸出系統(BIOS)及一或多個程式模組，例如儲存在隨機存取記憶體(RAM)中的運算系統、應用程式及程式數據。
計算裝置800亦可包括各種介面單元和驅動器來進行數據 讀取和寫入，數據可包括例如攝影機和顯示螢幕之間的位移，如上所討論者。
特別言之，計算裝置800包括分別將一硬碟機812和一可移除式記憶體驅動器814耦合至系統匯流排806的一硬碟介面808和一可移除式記憶體介面810。可移除式記憶體驅動器814包括磁碟機和光碟機。驅動器和其相關的電腦可讀取媒介，例如數位多用途光碟(DVD)816，為用於計算系統800的電腦可讀取指令、數據結構、程式模組和其他數據提供非揮發性儲存。圖中示出單一硬碟機812和單一可移除式記憶體驅動器814僅供說明之用，請了解計算裝置800可包括數個類似驅動器。另外，計算裝置800可包括與其他電腦可讀取媒介型式相接的驅動器。
計算裝置800可包括其他介面來將裝置連接到系統匯流排806，圖8顯示的是通用序列匯流排(USB)介面818，其可用來將一裝置耦合到系統匯流排806，舉例言之，一IEEE 1394介面820可用來將額外的裝置耦合至計算裝置800。額外裝置的例子包括用來接收影像或視訊的攝影機或記錄音訊的麥克風。
計算裝置800可在網路環境下運作，使用邏輯連結到一或多個遠方電腦或其他裝置，諸如伺服器、路由器、網路個人電腦、點(peer)裝置或其他共用網路節點、無線電話或無線個人數位助理。計算裝置800包括一個將系統匯流排806耦合至區域網路(LAN)824的網路介面822，網路環境在辦公室、企業型電腦網路和家用電腦系統很普遍。
計算裝置亦可上去諸如網際網路的寬域網路(WAN)，例如經由連接到串列埠介面826的數據機單元或經由區域網路(LAN)824。
影像及/或視訊的傳送可利用區域網路(LAN)824、寬域網路(WAN)或其組合。
請了解所示和所述的網路連結僅為說明用，亦可使用其他在電腦間建立連結的通信線路，任何各種已知的協定，諸如傳輸控制協定/互聯網協定(TCP/IP)、訊框中繼(Frame Relay)、乙太網路(Ethernet)、檔案傳輸協定(FTP)、超文字傳輸通訊協定(HTTP)等等均可，而計算裝置800可在客戶/伺服器架構下允許使用者從例如網路伺服器取得數據。
計算裝置800的運作可由各種不同程式模組控制，程式模組的例子為執行特定工作或實施特定抽象數據型別的程序、程式、物件、組件、及數據結構。本發明亦可以其他多電腦系統架構實施，包括手持裝置、多處理器系統、微處理器為基礎或可程式化的消費電子產品、網路個人電腦、迷你型電腦、大型電腦、個人數位助理等等。另外，本發明亦可利用經由通信網路連結的遠端處理裝置在分佈式計算環境中工作。在分佈式計算環境中，程式模組可位於近端和遠端記憶裝置中。
簡言之，本發明某些實施例的優點包括讓使用者能使頭像在處理能力有限的裝置上動起來，動畫可在低延遲下進行，而且頭像可有大變化。之後，動作頭像造成的影像或視訊可傳送給頻寬效率良好的另一位使用者。
本發明不同實施例的上述說明是提供給熟悉相關技術領域人士而做的說明，其並非要用來限縮或限制本發明為單一揭示實施例。如上所述，在上述教導之下，對於熟悉此技人士而言明顯地可有許多替代及變化。因此，在已特別討論的一些替代實施例之餘，其他實施例對於熟悉此技人士而言是相當明顯的或可輕易發展出來。因此，本專利說明書涵蓋本發明已討論者的所有替代、修改及變化，以及其他落於上述本發明的精神和範圍的其他實施例。

Claims (16)

  1. 一種產生影像之方法，包括：在一個第一計算裝置處接收一個第一影像；在該第一計算裝置的一個數據介面處將該第一影像傳送到一個伺服器；在該數據介面處接收從該伺服器來的對應該第一影像一觀點的形狀數據；及利用該第一計算裝置的一個處理器至少依據該形狀數據及對應複數個頭像中選取的一頭像之所選取的頭像數據產生一個主要輸出影像，該選取的頭像數據在該第一計算裝置及該伺服器上；儲存複數個獨特判讀器，每一個獨特判讀器與可使用於該第一計算裝置上的該複數個頭像獨特地相關；在該第一計算裝置上產生該主要輸出圖像之後；在該第一計算裝置之該數據界面處進一步接收與所選取的頭像數據相關的該複數個獨特判讀器中選取的一獨特判讀器；在該第一計算裝置之該數據界面處僅傳送與該複數個頭像中選取的該頭像相關的該獨特判讀器至該伺服器；利用該伺服器依據與獨特判讀器相關的伺服器頭像數據及形狀數據產生一伺服器輸出影像；及進一步使用該伺服器僅傳送該伺服器輸出影像至一個第二計算裝置。
  2. 根據申請專利範圍第1項所述之方法，其中該形狀數據包含該影像描繪的一位使用者的臉部的一個3D模型，且其中產生該主要輸出影像包含將該3D模型應用在該選取的頭像數據。
  3. 根據申請專利範圍第1項所述之方法，其中該形狀數據包含主動外觀模型(AAM)參數，且其中產生該主要輸出影像包含將該主動外觀模型(AAM)參數應用在該選取的頭像數據。
  4. 根據申請專利範圍第1-3項中任一項所述之方法，其中產生該主要輸出影像更包含將一映射功能依據該頭像數據應用在該選取的形狀數據。
  5. 根據申請專利範圍第1~3項中任一項所述之方法，其中該伺服器輸出影像與該主要輸出影像相同。
  6. 根據申請專利範圍第1~3項中任一項所述之方法，其中利用該伺服器來產生該伺服器輸出影像是依據一個與該第一計算裝置用來產生該主要輸出影像的運算法不同的運算法來進行。
  7. 根據申請專利範圍第1~3項中任一項所述之方法，更包括：在該第一計算裝置之該數據界面處將一項請求傳送到該伺服器，以將該伺服器輸出影像傳送到一個第二計算裝置的使用者，其中該請求包括使用者的詳細聯絡資料；及利用該使用者詳細聯絡資料將該伺服器輸出影像從該伺服器傳送到該第二計算裝置的使用者。
  8. 根據申請專利範圍第1~3項中任一項所述之方法，更包括：在該數據界面處將一項請求傳送到該伺服器，以將該主要輸出影像分享給該第二計算裝置的使用者，其中該請求包括使用者的詳細聯絡資料和一選擇的頭像；及利用該使用者詳細聯絡資料，將該形狀參數和該選擇的頭像從該伺服器傳送到該第二計算裝置的使用者，以供該第二計算裝置產生該主要輸出影像。
  9. 根據申請專利範圍第8項所述之方法，其中傳送該選擇的頭像包含傳送一個與該選擇的頭像有關的判讀器。
  10. 根據申請專利範圍第1項所述之方法，其中產生該主要輸出影像包含修改該第一影像。
  11. 根據申請專利範圍第1項所述之方法，更包括：在該第一計算裝置之該數據界面處將一項請求傳送到該伺服器，以將該伺服器輸出影像上傳到一個社群媒體網站或一視訊分享網站，其中該請求包括該社群媒體網站或該視訊分享網站的詳細資料和一選擇的頭像；及利用該社群媒體網站或該視訊分享網站的詳細資料，將該伺服器輸出影像從該伺服器傳送到該社群媒體網站或該視訊分享網站。
  12. 根據申請專利範圍第1項所述之方法，其中該第一影像包含一視訊序列的一影像。
  13. 根據申請專利範圍第1項所述之方法，更包括：在該第一計算裝置處之該數據界面處接收一個第二影像，其中該第一影像和該第二影像包含一視訊序列的影像；及在該第一計算裝置之該數據界面處將該第二影像傳送到一伺服器；在該第一計算裝置之該數據界面處接收對應該第二影像的一觀點的另一形狀數據；利用該第一計算裝置之該處理器至少依據該另一形狀數據和該頭像數據產生一個第二主要輸出影像。
  14. 根據申請專利範圍第13項所述之方法，其中傳送該第一影像至該伺服器是在接收該第二影像之前進行。
  15. 根據申請專利範圍第1~3項中任一項所述之方法，更包括由該伺服器上傳該伺服器輸出影像至一社群媒體網站。
  16. 一種產生影像之系統，包括：一個第一計算裝置，包括；一個數據界面；一個耦合至該數據界面的處理器；及一個耦合至該處理器的記憶體，該記憶體包括指令，該指令可由該處理器執行以進行下列動作：接收一個第一影像；在該數據界面處將該第一影像傳送到一個伺服器；在該數據界面處接收對應該第一影像的一觀點的形狀數據；及至少依據該形狀數據和選取的頭像數據產生對應複數個頭像中所選取的一頭像的一個輸出影像，該選取的頭像數據在該第一計算裝置及該伺服器上；儲存複數個獨特判讀器，每一個獨特判讀器與可使用於該第一計算裝置上的該複數個頭像獨特地相關；在該第一計算裝置上產生該輸出圖像之後；在該第一計算裝置之該數據界面處接收與所選取的頭像數據相關的該 複數個獨特判讀器中選取的一獨特判讀器；及在該數據界面處僅傳送與該複數個頭像中選取的該頭像相關的該獨特判讀器至該伺服器；及該伺服器包括：一個伺服器數據界面；一個耦合至該伺服器數據界面的伺服器處理器；及一個耦合至該伺服器處理器的伺服器記憶體，該伺服器記憶體包括指令，該指令可由該伺服器處理器執行以進行下列動作：接收該第一影像；接收該獨特判讀器；及依據與該獨特判讀器相關的伺服器頭像數據及該形狀數據產生一伺服器輸出圖像，及僅傳送該伺服器輸出影像至一個第二計算裝置以供使用。
TW102115704A 2012-05-22 2013-05-02 產生視訊之系統及方法 TWI632523B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??2012902108 2012-05-22
AU2012902108A AU2012902108A0 (en) 2012-05-22 System and method for generating a video

Publications (2)

Publication Number Publication Date
TW201403540A TW201403540A (zh) 2014-01-16
TWI632523B true TWI632523B (zh) 2018-08-11

Family

ID=48607009

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102115704A TWI632523B (zh) 2012-05-22 2013-05-02 產生視訊之系統及方法

Country Status (7)

Country Link
US (1) US9406162B2 (zh)
EP (1) EP2667358A3 (zh)
JP (1) JP6392497B2 (zh)
KR (1) KR101996973B1 (zh)
CN (1) CN103428446B (zh)
TW (1) TWI632523B (zh)
WO (1) WO2013173864A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394481B (zh) * 2014-09-30 2016-09-21 腾讯科技（深圳）有限公司 视频播放方法及装置
TW201629907A (zh) * 2015-02-13 2016-08-16 啟雲科技股份有限公司 三維頭像產生系統及其裝置、產生方法
US9996940B1 (en) * 2017-10-25 2018-06-12 Connectivity Labs Inc. Expression transfer across telecommunications networks
KR102663906B1 (ko) 2019-01-14 2024-05-09 삼성전자주식회사 아바타를 생성하기 위한 전자 장치 및 그에 관한 방법
CN110298906B (zh) * 2019-06-28 2023-08-11 北京百度网讯科技有限公司 用于生成信息的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003073322A1 (en) * 2002-02-28 2003-09-04 Virtualmedia Co., Ltd. Apparatus and method for generating character images using mobile machine
US20080306951A1 (en) * 2004-11-09 2008-12-11 Benjamin Rodefer Method and System of Retrieving Avatar Data Unique to a User
US20110246562A1 (en) * 2010-04-01 2011-10-06 Catholic University Industry Academic Cooperation Foundation visual communication method in a microblog
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288686A (ja) * 2001-03-23 2002-10-04 Minolta Co Ltd メッセージ送信システム、メッセージ送信方法、画像データ生成システム、およびコンピュータプログラム
JP3593067B2 (ja) * 2001-07-04 2004-11-24 沖電気工業株式会社 画像コミュニケーション機能付き情報端末装置および画像配信システム
WO2003007332A1 (en) * 2001-07-13 2003-01-23 Mel Lighting Ltd. Gas discharge lamp
JP4376525B2 (ja) * 2003-02-17 2009-12-02 株式会社メガチップス 多地点通信システム
US7484176B2 (en) * 2003-03-03 2009-01-27 Aol Llc, A Delaware Limited Liability Company Reactive avatars
JP2005277989A (ja) * 2004-03-26 2005-10-06 Oki Electric Ind Co Ltd 通信端末装置およびその画像提供方法
JP4424111B2 (ja) * 2004-07-30 2010-03-03 沖電気工業株式会社 モデル作成装置およびデータ配信システム
US20080151786A1 (en) * 2006-12-21 2008-06-26 Motorola, Inc. Method and apparatus for hybrid audio-visual communication
US8504926B2 (en) * 2007-01-17 2013-08-06 Lupus Labs Ug Model based avatars for virtual presence
US8243118B2 (en) * 2007-01-23 2012-08-14 Euclid Discoveries, Llc Systems and methods for providing personal video services
US20090241039A1 (en) * 2008-03-19 2009-09-24 Leonardo William Estevez System and method for avatar viewing
US8745152B2 (en) * 2008-11-06 2014-06-03 Disney Enterprises, Inc. System and method for server-side avatar pre-rendering

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003073322A1 (en) * 2002-02-28 2003-09-04 Virtualmedia Co., Ltd. Apparatus and method for generating character images using mobile machine
US20080306951A1 (en) * 2004-11-09 2008-12-11 Benjamin Rodefer Method and System of Retrieving Avatar Data Unique to a User
US20110246562A1 (en) * 2010-04-01 2011-10-06 Catholic University Industry Academic Cooperation Foundation visual communication method in a microblog
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions

Also Published As

Publication number Publication date
WO2013173864A1 (en) 2013-11-28
TW201403540A (zh) 2014-01-16
JP2013243646A (ja) 2013-12-05
KR101996973B1 (ko) 2019-07-05
US9406162B2 (en) 2016-08-02
EP2667358A3 (en) 2017-04-05
CN103428446A (zh) 2013-12-04
CN103428446B (zh) 2016-12-28
JP6392497B2 (ja) 2018-09-19
KR20130130625A (ko) 2013-12-02
US20130314405A1 (en) 2013-11-28
EP2667358A2 (en) 2013-11-27

Similar Documents

Publication Publication Date Title
US11303850B2 (en) Communication using interactive avatars
TWI632523B (zh) 產生視訊之系統及方法
US9936165B2 (en) System and method for avatar creation and synchronization
KR102099135B1 (ko) 가상현실 컨텐츠 제작 시스템 및 제작 방법
US11717760B2 (en) Chat application using a gaming engine
US20230130535A1 (en) User Representations in Artificial Reality
US20220068010A1 (en) Augmented reality methods and systems
KR102674943B1 (ko) 하이브리드 스트리밍
JP7564378B2 (ja) ニューラルネットワークを使用したビデオからのロバストな顔面アニメーション
CN111899319B (zh) 动画对象的表情生成方法和装置、存储介质及电子设备
US20230164298A1 (en) Generating and modifying video calling and extended-reality environment applications
CN111530086A (zh) 一种生成游戏角色的表情的方法和装置
CN111530088A (zh) 一种生成游戏角色的实时表情图片的方法和装置
KR20190071241A (ko) 가상 소개팅 서비스 제공 방법 및 시스템
JP7364702B2 (ja) テクスチャ操作を使用するアニメーション化された顔
CN117539349A (zh) 一种基于区块链技术的元宇宙体验交互系统及方法
WO2021208330A1 (zh) 一种生成游戏角色的表情的方法和装置
TW202420232A (zh) 虛擬內容的分散式產生
Burnett Projecting minds
KR20230160534A (ko) 메타버스 환경 기반 전시 플랫폼 서비스 제공 방법, 장치 및 시스템
Sengupta Was this motion captured?
Griesser Architecture of the focus 3D telemodeling tool
Tan Y., Zeng, Z., Rascoe, R. Challenges and Opportunities of Virtual Reality Painting Animation in Mainland China: A Case Study of Dark Tide

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees