TW201733345A - 使用互動化身的通訊技術（二） - Google Patents

使用互動化身的通訊技術（二） Download PDF

Info

Publication number
TW201733345A
TW201733345A TW106103271A TW106103271A TW201733345A TW 201733345 A TW201733345 A TW 201733345A TW 106103271 A TW106103271 A TW 106103271A TW 106103271 A TW106103271 A TW 106103271A TW 201733345 A TW201733345 A TW 201733345A
Authority
TW
Taiwan
Prior art keywords
computing device
avatar
user
information
animation
Prior art date
Application number
TW106103271A
Other languages
English (en)
Other versions
TWI637637B (zh
Inventor
童曉芬
李文龍
杜楊洲
胡威
張益明
Original Assignee
英特爾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾公司 filed Critical 英特爾公司
Publication of TW201733345A publication Critical patent/TW201733345A/zh
Application granted granted Critical
Publication of TWI637637B publication Critical patent/TWI637637B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本揭露一般描述一種視訊通訊系統，其以動畫化身替換參與使用者之實際活動影像。一種方法可包括選擇一化身；起始通訊；偵測一使用者輸入；識別該使用者輸入；基於該使用者輸入識別一動畫命令；產生化身參數；及傳輸該動畫命令及該等化身參數中之至少一者。

Description

使用互動化身的通訊技術(二) 發明領域
以下揭示案係有關於視訊通訊，且更特定言之，係有關於使用互動化身的視訊通訊。
發明背景
行動裝置中可利用的功能性種類之增加使得使用者產生對除單純的呼叫之外經由視訊進行通訊的渴望。例如，使用者可起始「視訊呼叫」、「視訊會議」等等，其中裝置中之攝影機及麥克風捕獲使用者之音訊及視訊，該音訊及視訊實時傳輸至一或多個其他接收者，諸如其他行動裝置、桌上型電腦、視訊會議系統等等。視訊之通訊可涉及實質量之資料的傳輸(例如，取決於攝影機之技術、用來處理經擷取影像資料之特定視訊編碼解碼器，等等)。考慮到現存2G/3G無線技術之帶寬限制及新興4G無線技術之仍有限的帶寬，許多裝置使用者進行的並行視訊呼叫可超出在現存無線通訊基礎架構中可利用的帶寬，從而可負面地影響視訊呼叫之品質。
依據本發明之一實施例，係特地提出一種系統，其包含：一使用者輸入裝置，其組配來擷取一使用者輸入；一通訊模組，其組配來傳輸及接收資訊；以及一或多個儲存媒體，該儲存媒體上單獨地或組合地儲存有指令，當藉由一或多個處理器執行該等指令時導致包含以下之操作：選擇一化身；起始通訊；偵測一使用者輸入；識別該使用者輸入；基於該使用者輸入識別一動畫命令；產生化身參數；以及傳輸該動畫命令及該等化身參數中之至少一者。
100‧‧‧裝置至裝置系統/系統
102、112、102’‧‧‧裝置/遠程裝置
104、114、104’/114’‧‧‧攝影機
106、116、106’、116’‧‧‧麥克風
107、117‧‧‧揚聲器
108、118‧‧‧觸摸感應顯示器/顯示器
108’、118’‧‧‧顯示器
110、120‧‧‧化身
112’‧‧‧裝置/遠程裝置
122‧‧‧網路
124、124’‧‧‧伺服器
126‧‧‧系統
128‧‧‧虛擬空間
200‧‧‧攝影機、音訊及觸控螢幕框架模組
202‧‧‧面部偵測及追蹤模組/面部偵測/追蹤模組/臉部偵測模組
204‧‧‧特徵提取模組
206‧‧‧音訊轉換模組
208‧‧‧觸摸偵測模組
210‧‧‧手勢偵測模組
212‧‧‧化身選擇模組
214‧‧‧化身控制模組
216‧‧‧系統
218‧‧‧回饋化身
220‧‧‧通訊模組
222‧‧‧處理器
300、304‧‧‧WiFi連接
302‧‧‧網際網路
306‧‧‧企業AP
308‧‧‧閘道
310‧‧‧防火牆
312‧‧‧媒體及信號路徑
314‧‧‧家AP
400‧‧‧流程圖
402~428‧‧‧操作
所請求標的之各種實施例的特徵及優點將以下隨詳細說明之進行並於參閱圖式之後而變得明顯，圖示中相同數字指定相同部分，且其中：圖1A例示根據本揭示案之各種實施例的示例裝置至裝置系統；圖1B例示根據本揭示案之各種實施例的示例虛擬空間系統；圖2例示根據本揭示案之各種實施例的示例裝置；圖3例示根據本揭示案之至少一實施例的示例系統實行方案；以及圖4為根據本揭示案之至少一實施例的示例操作的流程圖。
雖然以下詳細說明係參考說明性實施例來進行，但是熟習此項技術者將明白該等實施例之許多替代例、修改形式及變化形式。
較佳實施例之詳細說明
通常，本揭示案描述使用互動化身來視訊通訊的系統及方法。與活動影像相對，使用化身大體上減少將要傳輸之資料量，且因此化身通訊需要較少的帶寬。互動化身係組配來藉由基於使用者輸入改變所選化身之顯示而增強使用者體驗。此外，使用者語音可獲擷取及轉換來產生化身語音。化身語音可隨後與使用者語音有關，但可遮掩使用者之身份。音訊轉換可包括例如音調偏移及/或時間延長。
在一實施例中，啟動耦接至攝影機、麥克風及揚聲器之裝置中的應用程式。該應用程式可組配來允許使用者選擇用於顯示於遠程裝置上、虛擬空間中等等之化身。裝置可隨後組配來起始與至少一其他裝置、虛擬空間等等的通訊。例如，通訊可經由2G、3G、4G蜂巢式連接來建立。或者或另外，通訊可經由網際網路，經由WiFi連接來建立。通訊建立之後，攝影機可組配來開始擷取影像及/或離物體的距離，且麥克風可組配來開始擷取聲音，例如使用者語音，且將使用者語音轉化成使用者語音信號。
隨後可判定是否偵測到使用者輸入。使用者輸入可藉由使用者輸入設備擷取。使用者輸入包括藉由觸摸感應顯示器所擷取之觸摸事件及藉由攝影機所擷取的手勢，該攝影機例如組配來擷取離物體之距離的深度攝影機，及/或web攝影機。因此，使用者輸入裝置包括觸摸感應顯示 器及/或攝影機。若偵測到使用者輸入，則可識別使用者輸入。對於觸摸事件，使用者輸入識別符可與觸摸類型及一或多個觸摸位置有關。對於手勢(例如張開手)而言，使用者輸入識別符可與手勢識別符有關。動畫命令可隨後基於使用者輸入來識別。動畫命令相應於與使用者輸入相關聯的所要響應，例如響應於所顯示化身之外觀上的單次輕觸而改變所顯示化身外觀的顏色。
隨後可產生化身參數。化身參數可基於面部偵測、頭部移動及/或動畫命令來產生。化身參數可因此包括基於例如面部偵測及頭部移動的被動組件，及基於動畫命令的互動組件。化身參數可用於使化身於至少一其他裝置上、於虛擬空間內等等成動畫。在一實施例中，化身參數可基於面部偵測、頭部移動及動畫命令來產生。在該實施例中，所得動畫包括基於面部偵測及頭部移動的被動動畫，其藉由基於動畫命令的互動動畫來修改。因此，化身動畫可包括基於例如面部偵測及頭部移動的被動動畫，及基於使用者輸入的互動動畫。
可隨後傳輸動畫命令及化身參數中之至少一者。在一實施例中，接收遠程動畫命令及遠程化身參數中之至少一者。該遠程動畫命令可使裝置基於遠程動畫命令來判定化身參數以便使所顯示化身成動畫。遠程化身參數可使裝置基於所接收之遠程化身參數來使所顯示化身成動畫。
音訊通訊可伴隨化身動畫。通訊建立之後，麥克 風可組配來擷取音訊輸入(聲音)，例如使用者語音，且將所擷取的聲音轉化成相應音訊信號(例如使用者語音信號)。在一實施例中，使用者語音信號可轉換成化身語音信號，其可隨後獲編碼及傳輸。所接收之化身語音信號可隨後藉由揚聲器轉化回聲音(例如化身語音)。化身語音可因此基於使用者語音且可保存內容但可改變與所擷取語音相關聯之頻譜資料。例如，轉換包括但不限於音調偏移時間延長及/或轉化回放率。
使用者輸入裝置(例如觸摸感應顯示器及/或攝影機)可組配來擷取使用者輸入，該等使用者輸入係組配來基於至少一其他裝置上之使用者輸入來使化身成動畫。使用者驅動之動畫(基於動畫命令)可另外為基於面部表情及/或頭部移動之動畫。動畫命令可包括但不限於化身顯示之定位改變、面部特徵扭曲、改變特徵來傳達情緒等等。動畫命令可因此修改與基於面部偵測/追蹤之動畫類似的化身動畫及/或除基於面部偵測/追蹤之動畫之外修改化身動畫。動畫命令可產生時間有限之動畫且可基於來自遠程使用者的輸入而使所得動畫例示於本地使用者之所顯示化身上。
因此，有限帶寬視訊通訊系統可使用化身來實行。音訊可加以轉換且視訊可基於所偵測之使用者輸入及所識別之動畫命令而成動畫，從而利用化身通訊來增強使用者體驗。此外，可使用化身保存匿名性，包括如本文所述之音訊轉換。
圖1A例示與本揭示案之各種實施例一致的裝置至裝置系統100。系統100可通常包括經由網路122通訊之裝置102及112。裝置102至少包括攝影機104、麥克風106、揚聲器107及觸摸感應顯示器108。裝置112至少包括攝影機114、麥克風116、揚聲器117及觸摸感應顯示器118。網路122至少包括伺服器124。
裝置102及112可包括能夠有線通訊及/或無線通訊之各種硬體平台。例如，裝置102及112可包括但不限於視訊會議系統、桌上型電腦、膝上型電腦、平板電腦、智慧型電話(例如，iPhones®、基於Android的電話、Blackberries®、基於Symbian®的電話、基於Palm®的電話等等)、蜂巢式手機等等。攝影機104及114包括用於擷取代表包括一或多個人的環境的數位影像之任何裝置，且可具有足夠解析度以用於如本文所述之外觀分析及/或手勢識別。例如，攝影機104及114可包括靜物攝影機(例如，組配來擷取靜止照片之攝影機)或視訊攝影機(例如，組配來擷取由多個訊框組成之移動影像的攝影機)。攝影機104及114可組配來使用可見光譜中的光或利用電磁譜中不限於紅外光譜、紫外光譜等等之其他部分的光來操作。在一實施例中，攝影機104及114可組配來偵測深度，亦即，攝影機離物體及/或該物體上之點的距離。攝影機104及114可分別併入裝置102及112中，或可為組配來與經由有線通訊或無線通訊而與裝置102及112通訊的獨立裝置。攝影機104及114之特定實例可包括有線(例如，通用串列匯 流排(USB)、乙太網路、火線等等)或無線(例如，WiFi、藍牙等等)web攝影機，如其可與電腦、視訊監視器等等相關聯；深度攝影機；行動裝置攝影機(例如，手機或智慧型電話攝影機，其例如整合至先前論述之示例裝置中)；整合式膝上型電腦攝影機；整合式平板電腦攝影機(例如，iPad®、Galaxy Tab®及類似攝影機)等等。
裝置102及112可進一步包含麥克風106及116及揚聲器107及117。麥克風106及116包括任何裝置，其組配來感測(亦即，擷取)聲音且將感測之聲音轉化成相應音訊信號。麥克風106及116可分別整合於裝置102及112內部，或可經由有線通訊或無線通訊與該等裝置交互作用，諸如上文關於攝影機104及114之實例中所述。揚聲器107及117包括任何裝置，其組配來將音訊信號轉化成相應聲音。揚聲器107及117可分別整合於裝置102及112內部，或可經由有線通訊或無線通訊與該等裝置交互作用，諸如上文關於攝影機104及114之實例中所述。觸摸感應顯示器108及118包括任何裝置，該等裝置係組配來顯示文字、靜止影像、移動影像(例如視訊)、使用者介面、圖形等等且係組配來感測諸如輕觸、重擊等等之觸摸事件。觸摸事件可包括觸摸類型及觸摸位置。觸摸感應顯示器108及118可分別整合於裝置102及112內部，或可經由有線通訊或無線通訊與該等裝置交互作用，諸如上文關於攝影機104及114之實例中所述。在一實施例中，顯示器108及118係組配來分別顯示化身110及120。如本文所 提及，化身係定義為使用者於二維(2D)或三維(3D)中的圖形表示。化身不必類似於使用者之面容，且因此雖然化身可為逼真的表示，但該等化身還可以採取圖畫、卡通、草圖等等的形式。在系統100中，裝置102可顯示表示裝置112之使用者(例如遠程使用者)的化身110，且同樣地，裝置112可顯示表示裝置102之使用者的化身120。以此方式，使用者可看見其他使用者之表示，而不必交換涉及使用活動影像的裝置至裝置通訊的大量資訊。此外，化身可基於使用者輸入而成動畫。以此方式，使用者可與本地及/或遠程化身之顯示器交互作用，進而增強使用者體驗。所得動畫可提供相比於可能僅使用面部偵測及追蹤時更大範圍的動畫。此外，使用者可主動選擇該等動畫。
如本文所提及，化身音訊(亦即聲音)係定義為經轉換之使用者音訊(聲音)。例如，聲音輸入可包括使用者之嗓音，亦即，使用者語音，且相應化身音訊可包括經轉換之使用者語音。化身音訊可與使用者音訊有關。例如，化身語音可相應於音調偏移、時間延長及/或使用者語音之其他轉換。化身語音可類似於人類語音或可相應於卡通人物等等。在系統100中，裝置102可發出表示裝置112之遠程使用者的化身音訊，且類似地，裝置112可發出表示藉由裝置102擷取之音訊的化身音訊(例如，裝置102之本地使用者的語音)。以此方式，使用者可聽到可經轉換的其他使用者之嗓音的表示。
網路122可包括各種第二代(2G)、第三代(3G)、 第四代(4G)基於蜂巢式的資料通訊技術、Wi-Fi無線資料通訊技術等等。網路122包括至少一伺服器124，該伺服器組配來在使用此等技術時建立並保持通訊連接。例如，伺服器124可組配來支援網際網路有關的通訊協定，如對話啟動協定(SIP)，其用於建立、修改及終止兩方(單播)及多方(多播)對話；互動連接性建立協定(ICE)，其用於呈現允許協定建立於位元串流連接之頂端的框架；網路存取轉換器(NAT)對話穿越實用機制協定(STUN)，其允許經由NAT操作之應用程式，以便發現其他NAT之存在；IP位址及埠，其經分配用於應用程式之使用者資料報協定(UDP)連接以便連接至遠程主機；使用中繼穿越NAT(TURN)，其允許NAT或防火牆背後之元件經由傳輸控制協定(TCP)或UDP連接來接收資料，等等。
圖1B例示與本揭示案之各種實施例一致的虛擬空間系統126。系統126可使用裝置102、裝置112及伺服器124。裝置102、裝置112及伺服器124可繼續以與圖1A中所例示相似的方式來通訊，但可在虛擬空間128中發生使用者交互作用替代以裝置至裝置格式發生使用者交互作用。如本文所提及，虛擬空間可定義為實體位置之數位模擬。例如，虛擬空間128可類似於戶外位置，如同城市、道路、人行道、田野、森林、島嶼等等，或戶內位置，如同辦公室、房屋、學校、商場、商店等等。由化身表示之使用者可與現實世界中一樣看起來與虛擬空間128交互作用。虛擬空間128可存在於與網際網路耦接之一或多個伺 服器上，且可藉由第三方保持。虛擬空間之實例包括虛擬辦公室、虛擬會議室、如同Second Life®之虛擬世界、如同World of Warcraft®之大規模多人線上角色扮演遊戲(MMORPG)、如同The Sims Online®之大規模多人線上真實生活遊戲(MMORLG)等等。在系統126，虛擬空間128可含有多個對應於不同使用者之化身。替代所顯示化身，顯示器108及118可顯示包封(例如較小)型式之虛擬空間(VS)128。例如，顯示器108可顯示對應於裝置102之使用者的化身在虛擬空間128所「看見」內容的透視圖。類似地，顯示器118可顯示對應於裝置112之使用者的化身在虛擬空間128所「看見」內容的透視圖。化身可能在虛擬空間128看見的內容之實例包括但不限於虛擬結構(例如建築物)、虛擬車輛、虛擬物體、虛擬動物、其他化身等等。
圖2例示根據本揭示案之各種實施例的示例裝置102。雖然僅描述裝置102，但是裝置112(例如遠程裝置)可包括組配來提供相同或類似功能之資源。如先前所論述，裝置102展示為包括攝影機104、麥克風106、揚聲器107及觸摸感應顯示器108。攝影機104、麥克風106及觸摸感應顯示器108可對攝影機、音訊及觸控螢幕框架模組200提供輸入，且攝影機、音訊及觸控螢幕框架模組200可提供對揚聲器107之輸出(例如音訊信號)。攝影機、音訊及觸控螢幕框架模組200可包括慣用的、專屬的、已知的及/或以後開發的音訊及視訊處理碼(或指令集)，該音訊及視訊處理碼通常經明確界定且可操作來至少控制攝影機 104、麥克風106、揚聲器107及觸摸感應顯示器108。例如，攝影機、音訊及觸控螢幕框架模組200可使攝影機104、麥克風106、揚聲器107及觸摸感應顯示器108記錄影像、離物體之距離、聲音及/或觸摸，可處理影像、聲音、音訊信號及/或觸摸，可使影像及/或聲音獲複製，可對揚聲器107提供音訊信號，等等。攝影機、音訊及觸控螢幕框架模組200可取決於裝置102，且更尤其取決於裝置102中運作之作業系統(OS)而變化。示例作業系統包括iOS®、Android®、Blackberry® OS、Symbian®、Palm® OS，等等。揚聲器107可接收來自攝影機、音訊及觸控螢幕框架模組200之音訊資訊，且可組配來複製本地聲音(例如，以便提供使用者嗓音之音訊回饋，該音訊回饋經轉換或未經轉換)及遠程聲音(例如，於虛擬位置中參與電話、視訊呼叫或進行交互作用的另一方或多方之聲音(經轉換或未經轉換))。
面部偵測及追蹤模組202可組配來識別及追蹤藉由攝影機104提供的影像內的頭部、臉部及/或面部區。例如，面部偵測模組204可包括慣用的、專屬的、已知的及/或以後開發的臉部偵測碼(或指令集)、硬體及/或韌體，其通常經明確界定且可操作來接收標準格式影像(例如但不限於RGB彩色影像)且至少在某種程度上識別影像中的臉部。面部偵測及追蹤模組202亦可組配來經由一系列影像(例如處於每秒24個訊框下的視訊訊框)追蹤所偵測之臉部且基於所偵測之臉部判定頭部位置。可藉由面部偵測/追蹤模組202使用的已知追蹤系統可包括粒子濾波、平均變 動、卡爾曼濾波等等，其中每一者皆可利用邊緣分析、平方和方差分析、特徵點分析、直方圖分析、膚色分析等等。
特徵提取模組204可組配來辨識藉由臉部偵測模組202偵測之臉部中的特徵(例如，面部指標(諸如眼睛、眉毛、鼻、嘴等等)之位置及/或形狀)。在一實施例中，化身動畫可直接地基於所感測之面部動作(例如面部特徵之改變)無需進行面部表情識別。化身臉部上之相應特徵點可遵循或模仿真實人的臉部的移動，此稱為「表情仿製」或「表演驅動的面部動畫」。特徵提取模組204可包括慣用的、專屬的、已知的及/或以後開發的面部特性辨識碼(或指令集)，其通常經明確界定且可操作來接收來自攝影機104之標準格式影像(例如但不限於RGB彩色影像)且至少在某程度上提取影像中的一或多個面部特性。此等已知面部特徵系統包括但不限於Colorado State University的CSU臉部識別評價系統。
特徵提取模組204亦可組配來辨識與所偵測之特徵相關聯的表情(例如，識別先前偵測的臉部是否高興、悲哀、微笑、皺眉頭、驚訝、興奮等等))。因此，特徵提取模組204可進一步包括慣用的、專屬的、已知的及/或以後開發的面部表情偵測及/或標識碼(或指令集)，其通常經明確界定且可操作來偵測及/或識別臉部中的表情。例如，特徵提取模組204可判定面部特徵(例如眼睛、嘴、頰、牙齒等等)之大小及/或位置，且可將此等面部特徵與面部特徵資料庫比較，該面部特徵資料庫包括具有相應面部特徵類別 (例如、微笑、皺眉頭、興奮、悲哀等等)的多個樣本面部特徵。
音訊轉換模組206係組配來將使用者之嗓音轉換成化身嗓音，亦即，經轉換的使用者之嗓音。轉換包括調整節奏(例如延長時間)、音調(例如音調偏移)及回放率。例如，音訊轉換模組206可包括慣用的、專屬的、已知的及/或以後開發的音訊轉換碼(或指令集)，其通常經明確界定且可操作來接收表示使用者之嗓音的嗓音資料，且將該等嗓音資料轉化成經轉換的嗓音資料。嗓音資料可與基於藉由麥克風106擷取且藉由攝影機、音訊及觸控螢幕框架模組200處理的聲音的音訊信號有關。此類已知嗓音轉換系統包括但不限於聲控開啟式資源音訊處理庫，其係組配來調整音訊串流或音訊檔案之節奏、音調及回放率。
音訊轉換模組206可包括多個預定義嗓音風格，其相應於與轉換使用者之嗓音相關聯的轉換參數。例如，轉換參數可組配來以不同音調及/或節奏保持人聽到的經轉換嗓音輸出。對人類女性或如兒童的嗓音而言，音調可偏移至高頻率；對人類男性的嗓音而言，音調可偏移至較低頻率，可向上或向下調整節奏以便增大或減小語音之速度，等等。在另一實例中，該等轉換參數可組配來產生相應於如動物的嗓音(例如貓)及/或卡通人物類嗓音的經轉換嗓音輸出。此可藉由調整使用者語音之音調、其他頻率分量及/或取樣參數來達成。
使用者可於起始通訊之前選擇所要音訊轉換輸 出，及/或可在通訊期間選擇所要音訊轉換。音訊轉換模組206可組配來提供響應於來自使用者之請求的樣本音訊轉換輸出。在一實施例中，音訊轉換模組206可包括允許使用者選擇音訊轉換參數來產生客製音訊轉換輸出的設施。該設施可組配來基於使用者之嗓音輸入提供樣本經轉換音訊輸出。使用者可隨後調整音訊轉換參數(例如，嘗試錯誤法)直至達成適合的轉換輸出。與對使用者之適合輸出相關聯的音訊轉換參數可隨後儲存及/或利用來進行化身通訊，如本文所述。
觸摸偵測模組208係組配來接收來自攝影機、音訊及觸控螢幕框架模組200之觸摸資料且基於所接收之觸摸資料識別觸摸事件。觸摸事件識別符可包括觸摸類型及/或觸摸位置。觸摸類型可包括單一輕觸、雙重輕觸、輕觸及保持、輕觸及移動、按壓及延展、重擊等等。觸摸位置可包括觸摸開始位置、觸摸結束位置及/或中間移動觸摸位置等等。觸摸位置可相應於觸摸感應顯示器108之坐標。觸摸偵測模組208可包括慣用的、專屬的、已知的及/或以後開發的觸摸偵測碼(或指令集)，其通常經明確界定且可操作來接收觸摸資料且識別觸摸事件。
手勢偵測模組210係組配來接收來自攝影機、音訊及觸控螢幕框架模組200的深度及/或影像資料，基於所接收之深度及/或影像資料辨識相應手勢，且基於所辨識之手勢判定手勢識別符。深度相應於攝影機至物體之距離。手勢識別符與所辨識之手勢有關。手勢偵測模組210可包 括慣用的、專屬的、已知的及/或以後開發的手勢偵測碼(或指令集)，其通常經明確界定且可操作來基於所接收之深度及/或影像資料識別手勢。
例如，手勢偵測模組210可包括預定義手勢之資料庫。該預定義手勢可包括至少一些相對普通、相對簡單的手勢，包括張開手、合緊手(亦即，握拳)、揮手、用手做圓周運動、手自右至左移動、手自左至右移動等等。因此，手勢可包括靜態非移動的手手勢、活動移動的手手勢及/或其組合。在一實施例中，手勢偵測模組210可包括訓練設施，其組配來允許使用者改變預定義手勢及/或訓練新手勢。客製手勢及/或新手勢可隨後與手勢識別符相關聯，且該手勢識別符可與動畫命令相關聯，如本文所述。例如，使用者可選擇動畫命令以與來自動畫命令之預定義清單中的手勢相關聯。
因此，動畫命令與對使用者輸入之所要響應有關。動畫命令可與例如觸摸事件識別符及/或手勢識別符之所識別使用者輸入相關聯。以此方式，使用者可與所顯示化身交互作用及/或可設定手勢以便修改所顯示化身之動畫。
化身選擇模組212係組配來允許裝置102之使用者選擇用於在遠程裝置上顯示之化身。化身選擇模組212可包括慣用的、專屬的、已知的及/或以後開發的使用者介面構建碼(或指令集)，其通常經明確界定且可操作來向使用者呈現不同化身，以便該使用者可選擇該等化身之一。在 一實施例中，一或多個化身可預定義於裝置102中。預定義化身允許所有裝置具有相同化身，且在交互作用期間僅化身之選擇(例如預定義化身之識別)需要與遠程裝置或虛擬空間通訊，從而減少需要交換的資訊之量。化身係於建立通訊之前選擇，但亦可在主動通訊過程中加以改變。因此，可能於通訊期間任何點處發送或接收化身選擇，且接收裝置可能根據所接收之化身選擇來改變所顯示化身。
化身控制模組214係組配來接收基於裝置102之使用者輸入的使用者輸入識別符。使用者輸入識別符可包括藉由觸摸偵測模組208基於觸摸事件資料所判定之觸摸事件識別符或藉由手勢偵測模組210所判定之手勢識別符。觸摸事件資料包括觸摸類型及/或觸摸位置。觸摸位置可相應於與觸摸感應顯示器108相關聯的坐標。觸摸位置可對映至所顯示化身上之一或多個點，例如對映至一特徵，例如鼻尖、嘴、唇、耳朵、眼睛等等。所顯示化身上之點可與化身動畫之所要響應(亦即動畫命令)有關。
化身控制模組214係組配來基於使用者輸入識別符(亦即所識別之使用者輸入)判定動畫命令。動畫命令係組配來識別所要化身動畫。例如，所要動畫包括改變所顯示化身之臉部的顏色，改變所顯示化身之一特徵的大小(例如使鼻更大)、使眼色、眨眼、微笑，移除一特徵(例如耳朵)等等。因此，化身控制模組214係組配來接收使用者輸入識別符且基於該使用者輸入識別符判定動畫命令。
化身控制模組214係組配來基於動畫命令實行 化身動畫。在一實施例中，對例如裝置112之遠程裝置上顯示的互動動畫而言，可傳輸動畫命令且遠程化身控制模組可隨後實行該動畫。在另一實施例中，該等化身參數可經傳輸組配用於化身動畫之立即實行方案。
基於動畫命令的所實行之互動動畫可具有有限持續時間，在該有限持續時間之後，該化身動畫可回到基於例如如本文所述之面部偵測及追蹤的被動動畫。影響特徵之大小的所實行之互動動畫可組配來逐漸改變大小且逐漸回到初始大小。另外或替代地，影響特徵之大小的動畫可組配來具有一效果梯度。換言之，大小改變的相對量值可取決於相對於例如關鍵頂點之位置。所顯示化身上更接近關鍵頂點之點可經歷比所顯示化身上相對更遠的點更大的改變。
因此，化身控制模組214可接收基於使用者輸入的使用者輸入識別符，可基於該使用者輸入識別符判定動畫命令且可基於該動畫命令實行動畫。基於動畫命令之互動動畫可為時間受限於一時間週期(持續時間)的及/或可包括效果梯度。動畫可在該時間週期之後回到基於面部偵測及追蹤的被動化身動畫。
化身控制模組214係組配來產生用於使化身成動畫之參數。如本文所提及，動畫可定義為改變影像/模型之外觀。動畫包括基於例如面部表情及/或頭部移動的被動動畫及基於使用者輸入的互動動畫。單一動畫(可包括被動動畫及互動動畫)可改變二維靜止影像之外觀，或多個動畫 可依次存在以模擬影像之運動(例如轉頭、點頭、眨眼、交談、皺眉頭、微笑、大笑、使眼色、眨眼等等)。用於三維模型之動畫的實例包括使三維線框模型變形、應用紋理對映及重新計算用於正常顯現之模型頂點。所偵測之臉部及/或所提取之面部特徵之位置的改變可轉化成使化身之特徵類似於使用者臉部之特徵的參數。在一實施例中，所偵測之臉部的一般表情可轉化成使化身顯示相同表情的一或多個參數。化身之表情亦可予以誇示以強調該表情。當化身參數可通常應用於所有預定義化身時，對所選擇之化身的認識可並非必需。然而，在一實施例中，化身參數可對所選擇之化身為特定的，且因此可在選擇另一化身之情況下加以改變。例如，人類化身可需要與動物化身、卡通化身等等不同的參數設置(例如，可改變不同化身特徵)來演示如高興、悲哀、生氣、驚訝等等之情緒。
化身控制模組214可包括慣用的、專屬的、已知的及/或以後開發的圖形處理碼(或指令集)，其通常經明確界定且可操作來使藉由化身選擇模組212基於面部偵測及追蹤模組202所偵測的臉部/頭部位置、特徵提取模組204所偵測的面部特徵及/或觸摸偵測模組208及/或手勢偵測模組210所判定的使用者輸入識別符而選擇的化身成動畫。對基於面部特徵之動畫方法而言，二維化身動畫可例如用影像翹曲或影像漸變來完成，而三維化身動畫可用自由形式變形(FFD)或藉由利用頭部三維模型中定義之動畫結構來完成。Oddcast為可用於二維化身動畫之軟體資源的 一實例，而FaceGen為可用於三維化身動畫之軟體資源的一實例。
例如，對包括拉長三維化身顯示之鼻部的互動動畫而言，可定義(例如選擇)與鼻尖有關的關鍵頂點v k 。相關聯三維運動向量d k (dx、dy、dz)及效果半徑R可定義用於關鍵頂點v k 。效果半徑R內之其他頂點可在互動動畫中改變(亦即移動)，而效果半徑R外部之頂點可保持不因互動動畫而改變。互動動畫可具有相關聯之持續時間，即動畫時間T，其可延伸達多個訊框。暫時效果參數ηt可基於時間t及動畫時間T來定義，如：
效果半徑R內相對更接近v k 之頂點可比相對更遠離關鍵頂點v k 之頂點相對更大地改變。一頂點v i 之空間效果參數η i 可定義為：
而頂點v i 在時間t的運動向量則可定義為。互動動畫化身之新坐標則為，其中相應於頂點v i 之坐標，其基於面部偵測及追蹤，亦即，被動動畫。
因此，可對包括修改互動動畫之被動動畫的所顯示化身實行動畫。互動動畫可受限於總體持續時間，且該動畫之效果的量值可在該持續時間內變化。互動動畫可組 配來僅影響化身的一部分，且該等效果可對較接近關鍵頂點之點而言較大。互動動畫完成之後，動畫可基於如本文所述的面部偵測及追蹤來繼續。
此外，在系統100中，化身控制模組214可接收遠程化身選擇及可用於顯示相應於遠程裝置處之使用者的化身並使其成動畫的遠程化身參數。動畫可包括被動動畫以及互動動畫。化身控制模組可使顯示模組216於顯示器108上顯示化身110。顯示模組216可包括慣用的、專屬的、已知的及/或以後開發的圖形處理碼(或指令集)，其通常經明確界定且可操作來根據示例裝置至裝置實施例在顯示器108上顯示化身且使其呈動畫。例如，化身控制模組214可接收遠程化身選擇且可使該遠程化身選擇解譯以相應於預定化身。顯示模組216可隨後在顯示器108上顯示化身110。此外，化身控制模組214中所接收的遠程化身參數可獲解譯，且可將命令提供至顯示器模組216以使化身110成動畫。在一實施例中，兩個以上的使用者可參與視訊呼叫。當兩個以上的使用者在視訊呼叫中交互作用時，顯示器108可分割或分段以允許一個以上的相應於遠程使用者之化身將同時顯示或者，在系統126中，化身控制模組214可接收資訊，該資訊使顯示器模組216顯示相應於裝置102之使用者的化身在虛擬空間128中(例如，自該化身之虛擬透視角度)「看見」的內容。例如，顯示器108可顯示虛擬空間128中表示的建築物、物體、動物，其他化身，等等。
在一實施例中，化身控制模組214可組配來使顯 示器模組216顯示「回饋」化身218。回饋化身218表示所選擇化身如何呈現在遠程裝置上、在虛擬位置中等等。詳言之，回饋化身218呈現為藉由使用者選擇之化身且可使用藉由化身控制模組214產生的相同參數來成動畫。以此方式，使用者可確認遠程使用者在其交互作用期間看見之內容。回饋化身218亦可用來顯示藉由裝置112之遠程使用者輸入所引起的互動動畫。因此，本地使用者可與其回饋化身(例如化身218及裝置102之使用者)交互作用，以使其相關聯化身之互動動畫顯示至裝置112上的遠程使用者。本地使用者可類似地與遠程使用者之所顯示化身(例如化身110)交互作用，從而使遠程使用者之回饋化身的互動動畫顯示於裝置112上。
通訊模組220係組配來傳輸及接收資訊以用於選擇化身、顯示化身、使化身成動畫、顯示虛擬位置透視圖等等。通訊模組220可包括慣用的、專屬的、已知的及/或以後開發的通訊處理碼(或指令集)，其通常經明確界定且可操作來傳輸化身選擇、化身參數、動畫命令、互動化身參數及接收遠程化身選擇、遠程化身參數、遠程動畫命令及遠程互動化身參數。通訊模組220亦可傳輸及接收相應於基於化身之交互作用的音訊資訊。通訊模組220可經由網路122傳輸及接收以上資訊，如先前所述。
處理器222係組配來執行與裝置102及其中所包括模組的一或多者相關聯之操作。
圖3例示根據至少一實施例之示例系統實行方 案。裝置102'係組配來經由WiFi連接300來無線地通訊(例如在工作時)，伺服器124'係組配來經由網際網路302協商裝置102'與112'之間的連接，且裝置112'係組配來經由另一WiFi連接304來無線地通訊(例如在家時)。在一實施例中，基於裝置至裝置化身之視訊呼叫應用程式在裝置102'中啟動。在化身選擇之後，應用程式可允許選擇至少一遠程裝置(例如裝置112')。應用程式可隨後使裝置102'起始與裝置112'之通訊。通訊可以裝置102'經由企業存取點(AP)306傳輸連接建立請求至裝置112'來起始。企業AP 306可為可用於商業設置之AP，且因此可支援比家AP 314高的資料通量及更多的並行無線客戶端。企業AP 306可接收來自裝置102'之無線信號，且可經由各種商用網路，經由閘道308進行對連接建立請求的傳輸。連接建立請求可隨後通過防火牆310，該防火牆可組配來控制流入及流出WiFi網路300之資訊。
裝置102'之連接建立請求可隨後藉由伺服器124'處理。伺服器124'可組配來登記IP位址、鑑別目的地位址及NAT穿越，以便連接建立請求可導向網際網路302上的正確目的地。例如，伺服器124'可自接收自裝置102的連接建立請求中的資訊來解析所欲之目的地(例如遠程裝置112')，且可將信號安排路由傳遞穿過正確NAT、埠及因此到達目的地IP位址。此等操作可僅必須在連接建立期間執行，此取決於網路組態。在一些情況下，可在視訊呼叫期間重複操作以便向NAT提供通知來保持連接有效。媒 體及信號路徑312可在已建立連接之後將視訊(例如化身選擇及/或化身參數)及音訊資訊指導攜帶至家AP 314。裝置112'可隨後接收連接建立請求且可組配來判定是否接受該請求。判定是否接受該請求可包括例如向查詢關於是否接收來自裝置102'之連接請求的裝置112'之使用者呈現視覺敘事。裝置112'之使用者接收該連接(例如，接收該視訊呼叫)，即可建立該連接。攝影機104'及114'可組配來隨後開始分別擷取裝置102'及112'之各自使用者的影像，以用於是藉由各使用者選擇之化身成動畫。麥克風106'及116'可組配來隨後開始擷取來自各使用者之音訊。當在裝置102'及112'之間開始資訊交換時，顯示器108'及118'可顯示相應於裝置102'及112'之使用者的化身且使該等化身成動畫。
圖4例示與本揭示案之一實施例一致的示範性操作的流程圖400。該等操作可例如藉由裝置102及/或112執行。詳言之，流程圖400描繪組配來實行化身動畫(包括被動動畫及/或互動動畫)及/或音訊轉換以用於裝置之間經由網路的通訊的操作。假定面部偵測及追蹤、特徵提取及被動化身動畫如本文所述加以實行及操作。
化身模型可在操作402選擇。化身模型可包括視訊化身選擇及音訊轉換選擇。可顯示多個視訊化身模型，使用者可自該等視訊化身模型選擇一所要化身。在一實施例中，選擇視訊化身模型可包括相關聯音訊轉換。例如，如貓的化身可與如貓的音訊轉換相關聯。在另一實施例中，音訊轉換可獨立於該視訊化身選擇來選擇。
包括音訊轉換之化身模型可在啟動通訊之前選擇，但亦可在活動通訊的過程中加以改變。因此，可能於通訊期間任何點處發送或接收化身選擇及/或改變音訊轉換選擇，且接收裝置可能根據所接收之化身選擇來改變所顯示化身。
化身通訊可在操作404啟動。例如，使用者可運行組配來使用如本文所述化身傳達音訊及視訊之應用程式。操作404可包括組配通訊及建立連接。通訊組態包括識別參與視訊呼叫之至少一遠程裝置或虛擬空間。例如，使用者可自儲存於應用程式內、儲存於與另一系統相關聯的裝置內(例如智慧型電話、手機等等中的聯絡人清單)、遠程儲存於諸如網際網路(例如，如Facebook、LinkedIn、Yahoo、Google+、MSN等等的社交媒體網站)上的的遠程使用者/裝置之清單中進行選擇。或者，使用者可選擇在如Second Life的虛擬空間中進行線上操作。
在操作406，裝置中之攝影機可隨後開始擷取影像及/或深度，且裝置中之麥克風可開始擷取聲音。影像可為靜止影像或活動影像(例如，依次擷取的多個影像)。深度可與影像一起擷取或可獨立地擷取。深度相應於攝影機之視場中攝影機至物體(及物體上之點)的距離。可在操作408判定是否偵測到使用者輸入。使用者輸入包括藉由影像及/或深度攝影機擷取的手勢及在觸摸感應顯示器上偵測到之觸摸輸入。若偵測到使用者輸入，則可在操作410識別使用者輸入。使用者輸入識別符包括觸摸識別符或手勢識別 符。觸摸識別符可基於對觸摸感應顯示器的觸摸來判定且可包括觸摸類型及觸摸位置。手勢識別符可基於所擷取影像及/或深度資料來判定且可包括辨識手勢。
可在操作412識別動畫命令。動畫命令可組配來使顯示於遠程裝置上的使用者之所選擇化身成動畫，或使亦顯示於遠程使用者之裝置上的遠程使用者之回饋化身成動畫。動畫命令相應於與使用者輸入相關聯的所要響應。例如，觸摸所顯示化身的臉部(使用者輸入)可產生所顯示化身的臉部之顏色改變(藉由動畫命令識別的所要響應)。動畫命令可基於所識別之使用者輸入來識別。例如，各使用者輸入可與具有使用者輸入識別符及動畫命令之資料庫中的動畫命令有關(例如與之相關聯)。
操作414包括產生化身參數。化身參數包括被動組件且可包括互動組件。若未偵測到使用者輸入，則化身參數可包括被動組件。若偵測到使用者輸入，則化身參數是否可包括互動組件取決於動畫命令並因此取決於使用者輸入。對於相應於組配來使使用者之所選擇化身成動畫的動畫命令之使用者輸入而言，動畫命令可與僅包括被動組件之化身參數一起傳輸或可在傳輸之前應用於化身參數，以便所傳輸之化身參數包括被動組件及互動組件。對於相應於組配來使顯示於遠程使用者之裝置上的遠程使用者之回饋化身成動畫的動畫命令之輸入而言，可僅傳輸動畫命令。
操作416包括轉換及編碼所擷取音訊。所擷取音 訊可轉化成音訊信號(例如使用者語音信號)。使用者語音信號可根據操作402之化身選擇的音訊轉換部分來轉換。經轉換之使用者語音信號相應於化身語音信號。化身語音信號可使用已知用於經由網路傳輸至遠程裝置及/或虛擬空間的技術來編碼。可在操作418處傳輸經轉換及編碼之音訊。操作418可進一步包括傳輸動畫命令及化身參數中之至少一者。傳輸動畫命令係組配來允許遠程裝置藉由根據動畫命令修改化身參數而使本地所顯示化身成動畫。已在傳輸之前根據動畫命令修改的經傳輸化身參數可直接用來使顯示於遠程裝置上的化身成動畫。換言之，由動畫命令表示的對化身參數之修改可在本地執行或遠程執行。
操作420包括接收可為經轉換音訊之遠程編碼音訊。操作420進一步包括接收遠程動畫命令及遠程化身參數中之至少一者。遠程動畫命令可用來修改相應於遠程使用者之所顯示化身或本地使用者之所顯示回饋化身的化身參數。動畫命令及化身參數係組配來產生基於使用者輸入加以修改的化身動畫。在操作422處，所接收之音訊可獲解碼及播放，且在操作424處，化身可獲顯示及成動畫。
所顯示化身之動畫可基於所偵測及識別之使用者輸入，如本文所述。在裝置至裝置通訊(例如系統100)之示例中，遠程化身選擇或遠程化身參數中至少一者可接收自遠程裝置。相應於遠程使用者之化身可隨後基於所接收之遠程化身選擇來顯示，且可基於所接收之遠程化身參數而成動畫。在虛擬位置交互作用(例如系統126)之示例 中，可接收允許裝置顯示相應於裝置使用者之化身所看見的內容的資訊。
可在操作426處判定通訊是否完成。若通訊完成，即可在操作428處結束程式流。若通訊未完成，程式流即可繼續進行至操作406，擷取影像、深度及/或音訊。
雖然圖4例示根據一實施例之各種操作，但是要理解的是，並非圖4中描繪的所有操作皆為其他實施例所必需。事實上，本文完全涵蓋的是，本揭示案之其他實施例、圖4中描繪之操作及/或本文描述之其他操作均可以一方式組合，該組合方式並未明確展示於隨附圖式之任何圖式中，但仍完全與本揭示案一致。因此，針對並未確切展示於一圖式中的特徵及/或操作的請求項被視為屬於本揭示案之範疇及內容。
如本文中任何實施例所使用，「應用程式(app)」一詞可以代碼或指令體現，該等代碼或指令可在諸如主機處理器的可規劃電路或其他可規劃電路上執行。
如本文中任何實施例所使用，「模組」一詞可代表app、軟體、韌體及/或電路，其組配來執行上述操作中之任何操作。軟體可體現為套裝軟體、記錄於至少一非暫時性電腦可讀儲存媒體上之代碼、指令、指令集及/或資料。韌體可體現為硬編碼(例如非依電性)於記憶體裝置中的代碼、指令或指令集及/或資料。
如本文中任何實施例所使用，「電路」可包含例如單獨的或呈任何組合的硬連線電路；可規劃電路，諸如 包含一或多個單獨指令處理核心之電腦處理器；狀態機電路及/或儲存藉由可規劃電路執行之指令的韌體。模組可共同地或單獨地體現為形成大型系統之部分的電路，例如積體電路(IC)、系統單晶片(SoC)、桌上型電腦、膝上型電腦、平板電腦、伺服器、智慧型電話等等。
如此所描述之任何操作可實行於包括一或多個儲存媒體之系統中，該等儲存媒體上儲存有單獨的或呈組合的指令，在藉由一或多個處理器執行該等指令時，該等指令執行該等方法。在此，處理器可包括例如伺服器CPU、行動裝置CPU及/或其他可規劃電路。此外，本文描述之操作意欲可跨越多個實體裝置來分散，該等實體裝置諸如處在一個以上不同實體位置處的處理結構。儲存媒體可包括任何類型的有形媒體，例如，任何類型之碟片，包括硬碟、軟碟片、光碟、光碟片-唯讀記憶體(CD-ROM)、可重寫光碟片(CD-RW)及磁光碟；半導體裝置，諸如唯讀記憶體(ROM)、隨機存取記憶體(RAM)(諸如動態及靜態RAM)、可抹除可規劃唯讀記憶體(EPROM)、電氣可抹除可規劃唯讀記憶體(EEPROM)、快閃記憶體、固態碟片(SSD)、磁性或光學卡；或者適合於儲存電子指令的任何類型之媒體。其他實施例可實行為藉由可規劃控制裝置執行之軟體模組。儲存媒體可為非暫時性的。
因此，本揭示案提供一種用於使化身交互地成動畫以替代活動影像來進行視訊通訊的方法及系統。與活動影像之發送相比，化身之使用減少要交換的資訊之量。該 系統及方法進一步組配來藉由例如音調偏移及/或使所擷取音訊信號時間延長而將使用者語音轉換成化身語音。化身之互動動畫可基於所偵測之使用者輸入，包括觸摸及手勢。互動動畫係組配來修改基於面部偵測及追蹤判定之動畫。
根據一態樣，提供一種系統。該系統可包括：使用者輸入裝置，其組配來擷取使用者輸入；通訊模組，其組配來傳輸及接收資訊；以及一或多個儲存媒體。此外，該一或多個儲存媒體上儲存有單獨的或呈組合的指令，在藉由一或多個處理器執行該等指令時產生以下操作，包含：選擇化身；起始通訊；偵測使用者輸入；識別使用者輸入；基於使用者輸入識別動畫命令；產生化身參數；以及傳輸動畫命令及化身參數中之至少一者。
另一示例系統包括前述組件且進一步包括：麥克風，其組配來擷取聲音且將所擷取之聲音轉化成相應音訊信號；以及指令，當藉由一或多個處理器執行該等指令時產生以下額外操作：擷取使用者語音且將使用者語音轉化成相應使用者語音信號；將使用者語音信號轉換成化身語音信號；以及傳輸化身語音信號。
另一示例系統包括前述組件且進一步包括：攝影機，其組配來擷取影像；以及指令，當藉由一或多個處理器執行該等指令時產生以下額外操作：擷取影像；偵測影像中的臉部；自臉部提取特徵；以及將特徵轉化成化身參數。
另一示例系統包括前述組件且進一步包括：顯示器；以及指令，當藉由一或多個處理器執行該等指令時產生以下額外操作：顯示至少一化身；接收遠程動畫命令及遠程化身參數中之至少一者；以及基於遠程動畫命令及遠程化身參數中之至少一者使一所顯示化身成動畫。
另一示例系統包括前述組件且進一步包括：揚聲器，其組配來將音訊信號轉換成聲音；以及指令，當藉由一或多個處理器執行該等指令時產生以下額外操作：接收遠程化身語音信號；以及將遠程化身語音信號轉化成化身語音。
另一示例系統包括前述組件，且該使用者輸入裝置為組配來擷取距離之攝影機且該使用者輸入為手勢。
另一示例系統包括前述組件，且該使用者輸入裝置為觸摸感應顯示器且該使用者輸入為觸摸事件。
另一示例系統包括前述組件，且該轉換包含音調偏移及時間延長中之至少一者。
根據另一態樣，提供一種方法。該方法可包括選擇化身；起始通訊；偵測使用者輸入；識別使用者輸入；基於使用者輸入識別動畫命令；基於動畫命令產生化身參數；及傳輸動畫命令及化身參數中之至少一者。
另一示例方法包括前述操作且進一步包括：擷取使用者語音且將使用者語音轉化成相應使用者語音信號；將使用者語音信號轉換成化身語音信號；以及傳輸化身語音信號。
另一示例方法包括前述操作且進一步包括：擷取影像；偵測影像中的臉部；自臉部提取特徵；以及將特徵轉化成化身參數。
另一示例方法包括前述操作且進一步包括：顯示至少一化身；接收遠程動畫命令及遠程化身參數中之至少一者；以及基於遠程動畫命令及遠程化身參數中之至少一者使一所顯示化身成動畫。
另一示例方法包括前述操作且進一步包括：接收遠程化身語音信號；以及將遠程化身語音信號轉化成化身語音。
另一示例方法包括前述操作且該使用者輸入為手勢。
另一示例方法包括前述操作且該使用者輸入為觸摸事件。
另一示例方法包括前述操作且該轉換包含音調偏移及時間延長中之至少一者。根據另一態樣，提供一種系統。該系統可包括一或多個儲存媒體，該一或多個儲存媒體上儲存有單獨的或呈組合的指令，在藉由一或多個處理器執行該等指令時產生以下操作，包括選擇化身；起始通訊；偵測使用者輸入；識別使用者輸入；基於使用者輸入識別動畫命令；產生化身參數；以及傳輸動畫命令及化身參數中之至少一者。
另一示例系統包括指令，當藉由一或多個處理器執行該等指令時產生前述操作，並且亦包括：擷取使用者語音且將使用者語音轉化成相應使用者語音信號；將使用 者語音信號轉換成化身語音信號；以及傳輸化身語音信號。
另一示例系統包括指令，當藉由一或多個處理器執行該等指令時產生前述操作，並且亦包括：擷取影像；偵測影像中的臉部；自臉部提取特徵；以及將特徵轉化成化身參數。
另一示例系統包括指令，當藉由一或多個處理器執行該等指令時產生前述操作，並且亦包括：顯示至少一化身；接收遠程動畫命令及遠程化身參數中之至少一者；以及基於遠程動畫命令及遠程化身參數中之至少一者使一所顯示化身成動畫。
另一示例系統包括指令，當藉由一或多個處理器執行該等指令時產生前述操作，並且亦包括：接收遠程化身語音信號；以及將遠程化身語音信號轉化成化身語音。
另一示例系統包括指令，當藉由一或多個處理器執行該等指令時產生前述操作，並且該使用者輸入為手勢。
另一示例系統包括指令，當藉由一或多個處理器執行該等指令時產生前述操作，並且該使用者輸入為觸摸事件。
另一示例系統包括指令，當藉由一或多個處理器執行該等指令時產生前述操作，並且該轉換包含音調偏移及時間延長中之至少一者。
本文已使用之用詞及表述係用作描述之用詞且並非限制，且在使用此等用詞及表述時，不欲排除所展示及所描述的特徵之任何等效物(或其部分)，且應認識到，在 申請專利範圍之範疇內，可能存在各種修改。因此，申請專利範圍意欲涵蓋所有此類等效物。
100‧‧‧裝置至裝置系統/系統
102、112‧‧‧裝置/遠程裝置
104、114‧‧‧攝影機
106、116‧‧‧麥克風
107、117‧‧‧揚聲器
108、118‧‧‧觸摸感應顯示器/顯示器
110、120‧‧‧化身
122‧‧‧網路
124‧‧‧伺服器

Claims (31)

  1. 一種具有指令儲存在上的一或多個非暫時性電腦可讀儲存裝置的集合，該等指令在受一第一計算裝置的至少一處理器執行時，致使進行包含下列者的操作：致能一第一化身的選擇；識別出該第一計算裝置之一使用者的一或多個面部特徵；產生會被傳輸至一第二計算裝置的資訊，以使得被選擇的該第一化身在該第二計算裝置的一顯示器上出現動畫；其中，該資訊係以被識別出的該第一計算裝置的該使用者的該一或多個面部特徵為基礎；以及基於一使用者輸入命令而致能被選擇的該第一化身的動畫；其中，該使用者輸入命令為獨立於該一或多個面部特徵，且該使用者輸入命令是由一使用者輸入裝置在受到該第一計算裝置的該使用者控制時所產生。
  2. 如請求項1之一或多個非暫時性電腦可讀儲存裝置的集合，其中，該一或多個面部特徵是從該第一計算裝置的該使用者之一或多個視訊影像所識別出。
  3. 如請求項1之一或多個非暫時性電腦可讀儲存裝置的集合，其中，該等指令在受到該第一計算裝置的該至少一處理器執行時，致使進行包含下列者的額外操作：處理會被傳輸到該第二計算裝置的該第一計算裝置之使用者的音訊資訊。
  4. 如請求項1之一或多個非暫時性電腦可讀儲存裝置的集合，其中，該等指令在受到該第一計算裝置的該至少一處理器執行時，致使進行包含下列者的額外操作：致能一第二化身的選擇；產生會被傳輸至該第二計算裝置的第二資訊，以使得被選擇的該第二化身在該第二計算裝置的該顯示器上出現動畫；其中，該第二資訊係以被識別出的該第一計算裝置之該使用者的該一或多個面部特徵為基礎；以及致使被選擇的該第二化身顯示於該第一計算裝置上而使得該第一計算裝置的該使用者能夠觀察在該第二計算裝置上之被選擇的該第二化身的一外觀。
  5. 如請求項1之一或多個非暫時性電腦可讀儲存裝置的集合，其中，該等指令在受到該第一計算裝置的該至少一處理器執行時，致使進行包含下列者的額外操作：將該第一計算裝置之該使用者的聲學資訊轉換為目標聲學資訊，該目標聲學資訊會被傳輸至該第二計算裝置；其中，該轉換為使用一或多個嗓音效果以扭曲該第一計算裝置之該使用者的該聲學資訊。
  6. 如請求項5之一或多個非暫時性電腦可讀儲存裝置的集合，其中，該一或多個嗓音效果包含一音調平移嗓音效果。
  7. 如請求項1之一或多個非暫時性電腦可讀儲存裝置的集合，其中，該等指令在受到該第一計算裝置的該至少一 處理器執行時，致使進行包含下列者的額外操作：致使被選擇的該第一化身顯示於該第一計算裝置上而使得該第一計算裝置的該使用者能夠觀察在該第二計算裝置上之被選擇的該第一化身的一外觀。
  8. 一第一計算裝置，包含：可儲存指令與資料的記憶體電路；可顯示一化身的一顯示裝置；可處理一或多個指令以進行包含下列操作的處理器電路：致能一第一化身的選擇；識別出該第一計算裝置之一使用者的一或多個面部特徵；產生會被傳輸至一第二計算裝置的資訊，以使得被選擇的該第一化身在該第一計算裝置的一顯示器上出現動畫；其中，該資訊係以被識別出的該第一計算裝置的該使用者的該一或多個面部特徵為基礎；並且基於一使用者輸入命令而致能被選擇的該第一化身的動畫；其中，該使用者輸入命令為不同於一或多個面部特徵，且該使用者命令是由一使用者輸入裝置在受到該第一計算裝置的該使用者控制時所產生。
  9. 如請求項8的第一計算裝置，進一步包含：可擷取一或多個視訊影像的一視訊攝錄裝置，其中，該一或多個面部特徵是從該第一計算裝置之該使用者的一或多個視訊影像所識別出。
  10. 如請求項8的第一計算裝置，進一步包含一音訊擷取裝置，該音訊擷取裝置可擷取會被傳輸至該第二計算裝置的該第一計算裝置之使用者的音訊資訊。
  11. 如請求項8的第一計算裝置，其中，可處理一或多個指令的處理器可進行包含下列者的額外操作：致能一第二化身的選擇；產生會被傳輸至該第二計算裝置的第二資訊，以使得被選擇的該第二化身在該第一計算裝置的該顯示器上出現動畫；其中，該第二資訊係以被識別出的該第一計算裝置的該使用者的該一或多個面部特徵為基礎；並且致使被選擇的該第二化身顯示於該第一計算裝置上而使得該第一計算裝置的該使用者能夠觀察在該第一計算裝置上之被選擇的該第二化身的一外觀。
  12. 如請求項8的第一計算裝置，其中，可處理一或多個指令的處理器可進行包含下列者的額外操作：轉換該第一計算裝置之該使用者的聲學資訊為會被傳輸至該第二計算裝置的目標聲學資訊；其中，該轉換為使用一或多個嗓音效果以扭曲該第一計算裝置之該使用者的該聲學資訊。
  13. 如請求項12的第一計算裝置，其中，該一或多個嗓音效果包含一音調平移嗓音效果。
  14. 如請求項8的第一計算裝置，其中，可處理一或多個指令的處理器可進行包含下列者的額外操作： 致使被選擇的該第一化身顯示於該第一計算裝置上而使得該第一計算裝置的該使用者能夠觀察在該第一計算裝置上之被選擇的該第一化身的一外觀。
  15. 一種方法，該方法包含下列步驟：藉由一第一計算裝置而致能一第一化身的選擇；藉由該第一計算裝置而識別出該第一計算裝置之一使用者的一或多個面部特徵；藉由該第一計算裝置而產生會被傳輸至一第二計算裝置的資訊，以使得被選擇的該第一化身在該第二計算裝置的一顯示器上出現動畫；其中，該資訊係以被識別出的該第一計算裝置的該使用者的該一或多個面部特徵為基礎；並且藉由該第一計算裝置基於一使用者輸入命令而致能被選擇的該第一化身的動畫；其中，該使用者輸入命令為不同於該一或多個面部特徵，且該使用者輸入命令是由一使用者輸入裝置在受到該第一計算裝置的該使用者控制時所產生。
  16. 如請求項第15項的方法，其中，該一或多個面部特徵是從該第一計算裝置的該使用者之一或多個視訊影像所識別出。
  17. 如請求項第15項的方法，進一步包含下列步驟：藉由該第一計算裝置而處理會被傳輸到該第二計算裝置的該第一計算裝置之使用者的音訊資訊。
  18. 如請求項第15項的方法，進一步包含下列步驟： 藉由該第一計算裝置而致能一第二化身的選擇；藉由該第一計算裝置而產生會被傳輸至該第二計算裝置的第二資訊，以使得被選擇的該第二化身在該第二計算裝置的該顯示器上出現動畫；其中，該第二資訊係以被識別出的該第一計算裝置之該使用者的該一或多個面部特徵為基礎；並且藉由該第一計算裝置而致使被選擇的該第二化身顯示於該第一計算裝置上，而使得該第一計算裝置的該使用者能夠觀察在該第二計算裝置上之被選擇的該第二化身的一外觀。
  19. 如請求項第15項的方法，進一步包含下列步驟：藉由該第一計算裝置而轉換該第一計算裝置之該使用者的聲學資訊為會被傳輸至該第二計算裝置的目標聲學資訊；其中，該轉換為使用一或多個嗓音效果以扭曲該第一計算裝置之該使用者的該聲學資訊。
  20. 如請求項第19項的方法，其中，該一或多個嗓音效果包含一音調平移嗓音效果。
  21. 如請求項第15項的方法，進一步包含下列步驟：藉由該第一計算裝置而致使被選擇的該第一化身顯示於該第一計算裝置上，而使得該第一計算裝置的該使用者能夠觀察在該第二計算裝置上之被選擇的該第一化身的一外觀。
  22. 一第一計算裝置，包含：一化身選擇模組，其可致能一第一化身的選擇； 一特徵提取模組，其可識別出該第一計算裝置之一使用者的一或多個面部特徵；以及一化身控制模組，其可進行下列動作：產生會被傳輸至一第二計算裝置的資訊，以使得被選擇的該第一化身在該第一計算裝置的一顯示器上出現動畫；其中，該資訊係以被識別出的該第一計算裝置之該使用者的該一或多個面部特徵為基礎；並且基於一使用者輸入命令而致能被選擇的該第一化身的動畫；其中，該使用者輸入命令為不同於該一或多個面部特徵，且該使用者輸入命令是由一使用者輸入裝置在受到該第一計算裝置的該使用者控制時所產生。
  23. 如請求項22的第一計算裝置，進一步包含一面部偵測與追蹤模組，該面部偵測與追蹤模組可偵測與追蹤該第一計算裝置之該使用者的一面部。
  24. 如請求項22的第一計算裝置，進一步包含一音訊擷取模組，該音訊擷取模組可擷取會被傳輸至該第二計算裝置的該第一計算裝置之使用者的音訊資訊。
  25. 如請求項22的第一計算裝置，其中，該化身選擇模組可進一步致能一第二化身的選擇。
  26. 如請求項25的第一計算裝置，其中，該化身選擇模組可進一步產生會被傳輸至該第二計算裝置的第二資訊，以使得被選擇的該第二化身在該第一計算裝置的該 顯示器上出現動畫；其中，該第二資訊係以被識別出的該第一計算裝置之該使用者的該一或多個面部特徵為基礎。
  27. 如請求項26的第一計算裝置，進一步包含一顯示模組，該顯示模組可使被選擇的該第二化身顯示於該第一計算裝置上，而使得該第一計算裝置的該使用者能夠觀察在該第一計算裝置上之被選擇的該第二化身的一外觀。
  28. 如請求項22的第一計算裝置，進一步包含一音訊轉換模組，該音訊轉換模組可轉換該第一計算裝置之該使用者的聲學資訊為會被傳輸至該第二計算裝置的目標聲學資訊；其中，該轉換為使用一或多個嗓音效果以扭曲該第一計算裝置之該使用者的該聲學資訊。
  29. 如請求項28的第一計算裝置，其中，該一或多個嗓音效果包含一音調平移嗓音效果。
  30. 如請求項22的第一計算裝置，進一步包含一顯示模組，該顯示模組可使被選擇的該第一化身顯示於該第一計算裝置上，而使得該第一計算裝置的該使用者能夠觀察在該第一計算裝置上之被選擇的該第一化身的一外觀。
  31. 如請求項22的第一計算裝置，進一步包含一視訊擷取裝置，該視訊擷取裝置可擷取該第一計算裝置的該使用者的一或多個視訊影像；其中，該一或多個面部特徵是從該計算裝置的該使用者之一或多個視訊影像所識別出。
TW106103271A 2012-04-09 2013-04-08 使用互動化身的通訊技術（二） TWI637637B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/000458 WO2013152453A1 (en) 2012-04-09 2012-04-09 Communication using interactive avatars

Publications (2)

Publication Number Publication Date
TW201733345A true TW201733345A (zh) 2017-09-16
TWI637637B TWI637637B (zh) 2018-10-01

Family

ID=49326981

Family Applications (2)

Application Number Title Priority Date Filing Date
TW106103271A TWI637637B (zh) 2012-04-09 2013-04-08 使用互動化身的通訊技術（二）
TW106103276A TWI646844B (zh) 2012-04-09 2013-04-08 使用互動化身的通訊技術（三）

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW106103276A TWI646844B (zh) 2012-04-09 2013-04-08 使用互動化身的通訊技術（三）

Country Status (4)

Country Link
US (8) US9386268B2 (zh)
CN (2) CN107257403A (zh)
TW (2) TWI637637B (zh)
WO (1) WO2013152453A1 (zh)

Families Citing this family (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930310B2 (en) 2009-09-09 2018-03-27 Apple Inc. Audio alteration techniques
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US9357174B2 (en) 2012-04-09 2016-05-31 Intel Corporation System and method for avatar management and selection
CN107257403A (zh) 2012-04-09 2017-10-17 英特尔公司 使用交互化身的通信
US10410180B2 (en) * 2012-11-19 2019-09-10 Oath Inc. System and method for touch-based communications
WO2014189486A1 (en) 2013-05-20 2014-11-27 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
CN104184760B (zh) * 2013-05-22 2018-08-07 阿里巴巴集团控股有限公司 通讯过程中的信息交互方法、客户端及服务器
US9177410B2 (en) * 2013-08-09 2015-11-03 Ayla Mandel System and method for creating avatars or animated sequences using human body features extracted from a still image
US10567865B2 (en) 2013-10-16 2020-02-18 Voyetra Turtle Beach, Inc. Electronic headset accessory
CN104735389B (zh) * 2013-12-23 2018-08-31 联想(北京)有限公司 信息处理方法和信息处理设备
US9779593B2 (en) 2014-08-15 2017-10-03 Elwha Llc Systems and methods for positioning a user of a hands-free intercommunication system
US20160118036A1 (en) 2014-10-23 2016-04-28 Elwha Llc Systems and methods for positioning a user of a hands-free intercommunication system
US20150334346A1 (en) * 2014-05-16 2015-11-19 Elwha Llc Systems and methods for automatically connecting a user of a hands-free intercommunication system
US9407738B2 (en) * 2014-04-14 2016-08-02 Bose Corporation Providing isolation from distractions
US9672416B2 (en) 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
US9918176B2 (en) * 2014-05-13 2018-03-13 Lenovo (Singapore) Pte. Ltd. Audio system tuning
CN105396289A (zh) * 2014-09-15 2016-03-16 掌赢信息科技（上海）有限公司 实时游戏和多媒体会话过程中实现特效的方法及装置
EP3198560A4 (en) * 2014-09-24 2018-05-09 Intel Corporation User gesture driven avatar apparatus and method
JP2016118991A (ja) * 2014-12-22 2016-06-30 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US9830728B2 (en) 2014-12-23 2017-11-28 Intel Corporation Augmented facial animation
US20170039750A1 (en) * 2015-03-27 2017-02-09 Intel Corporation Avatar facial expression and/or speech driven animations
WO2016161553A1 (en) * 2015-04-07 2016-10-13 Intel Corporation Avatar generation and animations
US10176619B2 (en) 2015-07-30 2019-01-08 Intel Corporation Emotion augmented avatar animation
CN105159687B (zh) * 2015-09-29 2018-04-17 腾讯科技（深圳）有限公司 一种信息处理方法、终端及计算机存储介质
WO2017101094A1 (en) 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
US10607386B2 (en) 2016-06-12 2020-03-31 Apple Inc. Customized avatars and associated framework
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
CN106101858A (zh) * 2016-06-27 2016-11-09 乐视控股（北京）有限公司 一种视频生成方法及装置
CN107846565B (zh) * 2016-09-19 2019-10-18 北京字节跳动网络技术有限公司 视频通话中的互动方法及其系统
WO2018057272A1 (en) 2016-09-23 2018-03-29 Apple Inc. Avatar creation and editing
DK179978B1 (en) 2016-09-23 2019-11-27 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
US10587565B2 (en) * 2017-02-10 2020-03-10 International Business Machines Corporation Automatic response system based on body language
US9990926B1 (en) 2017-03-13 2018-06-05 Intel Corporation Passive enrollment method for speaker identification systems
CN110520901B (zh) * 2017-05-16 2021-01-05 苹果公司 表情符号录制和发送
DK179867B1 (en) 2017-05-16 2019-08-06 Apple Inc. RECORDING AND SENDING EMOJI
KR102435337B1 (ko) 2017-05-16 2022-08-22 애플 인크. 이모지 레코딩 및 전송
US10861210B2 (en) 2017-05-16 2020-12-08 Apple Inc. Techniques for providing audio and video effects
CN110490093B (zh) * 2017-05-16 2020-10-16 苹果公司 表情符号录制和发送
US10845956B2 (en) * 2017-05-31 2020-11-24 Snap Inc. Methods and systems for voice driven dynamic menus
US11869150B1 (en) 2017-06-01 2024-01-09 Apple Inc. Avatar modeling and generation
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
GB201710840D0 (en) * 2017-07-05 2017-08-16 Jones Maria Francisca Virtual meeting participant response indication method and system
US10818061B2 (en) * 2017-07-28 2020-10-27 Baobab Studios Inc. Systems and methods for real-time complex character animations and interactivity
US20190172240A1 (en) * 2017-12-06 2019-06-06 Sony Interactive Entertainment Inc. Facial animation for social virtual reality (vr)
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK179992B1 (en) 2018-05-07 2020-01-14 Apple Inc. DISPLAY OF USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
JP7073238B2 (ja) * 2018-05-07 2022-05-23 アップル インコーポレイテッド クリエイティブカメラ
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DE102018207518A1 (de) * 2018-05-15 2019-11-21 Siemens Aktiengesellschaft Verfahren und System zum Animieren eines 3D-Avatars
CN108830917B (zh) * 2018-05-29 2023-04-18 努比亚技术有限公司 一种信息生成方法、终端及计算机可读存储介质
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、系统及智能终端
EP3821323A4 (en) 2018-07-10 2022-03-02 Microsoft Technology Licensing, LLC AUTOMATIC GENERATION OF MOVEMENTS OF AN AVATAR
CN112512649B (zh) * 2018-07-11 2024-05-24 苹果公司 用于提供音频和视频效果的技术
CN109147017A (zh) * 2018-08-28 2019-01-04 百度在线网络技术（北京）有限公司 动态图像生成方法、装置、设备及存储介质
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
KR20200034039A (ko) * 2018-09-14 2020-03-31 엘지전자 주식회사 로봇 및 그 동작 방법
US10706347B2 (en) 2018-09-17 2020-07-07 Intel Corporation Apparatus and methods for generating context-aware artificial intelligence characters
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11727724B1 (en) 2018-09-27 2023-08-15 Apple Inc. Emotion detection
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
DE102018220275A1 (de) * 2018-11-26 2020-05-28 Volkswagen Aktiengesellschaft Verfahren zur Durchführung einer Videokonferenz, Vorrichtung zur Verwendung bei dem Verfahren sowie dessen Umsetzung im Fahrzeug
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
CN109841225B (zh) * 2019-01-28 2021-04-30 北京易捷胜科技有限公司 声音替换方法、电子设备和存储介质
JP2022534840A (ja) 2019-03-20 2022-08-04 エル タマメ コリー，モヒデン 世界中のすべての教育システムを相互接続するためのインタラクティブなプラットフォーム
US20220124140A1 (en) * 2019-04-01 2022-04-21 Sumitomo Electric Industries, Ltd. Communication assistance system, communication assistance method, and image control program
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
US11289067B2 (en) * 2019-06-25 2022-03-29 International Business Machines Corporation Voice generation based on characteristics of an avatar
US11628374B2 (en) * 2019-07-11 2023-04-18 Disney Enterprises, Inc. Virtual puppeteering using a portable device
US11830182B1 (en) * 2019-08-20 2023-11-28 Apple Inc. Machine learning-based blood flow tracking
CN110806865B (zh) * 2019-11-08 2023-06-20 百度在线网络技术（北京）有限公司 动画生成方法、装置、设备及计算机可读存储介质
US11967018B2 (en) 2019-12-20 2024-04-23 Apple Inc. Inferred shading
TWI829944B (zh) * 2020-02-27 2024-01-21 未來市股份有限公司 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法
US11335121B2 (en) * 2020-03-31 2022-05-17 Snap Inc. Global configuration interface for default self-images
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
AU2021290132C1 (en) 2020-06-08 2024-04-18 Apple Inc. Presenting avatars in three-dimensional environments
US11475652B2 (en) 2020-06-30 2022-10-18 Samsung Electronics Co., Ltd. Automatic representation toggling based on depth camera field of view
US12026901B2 (en) 2020-07-01 2024-07-02 Samsung Electronics Co., Ltd. Efficient encoding of depth data across devices
US11502861B2 (en) * 2020-08-17 2022-11-15 T-Mobile Usa, Inc. Simulated auditory space for online meetings
US11438551B2 (en) * 2020-09-15 2022-09-06 At&T Intellectual Property I, L.P. Virtual audience using low bitrate avatars and laughter detection
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11960792B2 (en) * 2020-10-14 2024-04-16 Sumitomo Electric Industries, Ltd. Communication assistance program, communication assistance method, communication assistance system, terminal device, and non-verbal expression program
US11457178B2 (en) 2020-10-20 2022-09-27 Katmai Tech Inc. Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof
US11076128B1 (en) * 2020-10-20 2021-07-27 Katmai Tech Holdings LLC Determining video stream quality based on relative position in a virtual space, and applications thereof
US10952006B1 (en) 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US11095857B1 (en) 2020-10-20 2021-08-17 Katmai Tech Holdings LLC Presenter mode in a three-dimensional virtual conference space, and applications thereof
US11070768B1 (en) 2020-10-20 2021-07-20 Katmai Tech Holdings LLC Volume areas in a three-dimensional virtual conference space, and applications thereof
US10979672B1 (en) 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
CN112363658B (zh) * 2020-10-27 2022-08-12 维沃移动通信有限公司 视频通话的互动方法和装置
CN113099159A (zh) * 2021-03-26 2021-07-09 上海电气集团股份有限公司 一种远程会议的控制方法及装置
GB2606173B (en) * 2021-04-28 2024-08-28 Sony Interactive Entertainment Europe Ltd Computer-implemented method for controlling a virtual avatar
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11184362B1 (en) 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof
US11743430B2 (en) 2021-05-06 2023-08-29 Katmai Tech Inc. Providing awareness of who can hear audio in a virtual conference, and applications thereof
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11765320B2 (en) 2021-08-11 2023-09-19 Google Llc Avatar animation in virtual conferencing
US20240096033A1 (en) * 2021-10-11 2024-03-21 Meta Platforms Technologies, Llc Technology for creating, replicating and/or controlling avatars in extended reality
US11651108B1 (en) 2022-07-20 2023-05-16 Katmai Tech Inc. Time access control in virtual environment application
US11928774B2 (en) 2022-07-20 2024-03-12 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
US11876630B1 (en) 2022-07-20 2024-01-16 Katmai Tech Inc. Architecture to control zones
US12009938B2 (en) 2022-07-20 2024-06-11 Katmai Tech Inc. Access control in zones
US12022235B2 (en) 2022-07-20 2024-06-25 Katmai Tech Inc. Using zones in a three-dimensional virtual environment for limiting audio and video
US11741664B1 (en) 2022-07-21 2023-08-29 Katmai Tech Inc. Resituating virtual cameras and avatars in a virtual environment
US11700354B1 (en) 2022-07-21 2023-07-11 Katmai Tech Inc. Resituating avatars in a virtual environment
US11711494B1 (en) 2022-07-28 2023-07-25 Katmai Tech Inc. Automatic instancing for efficient rendering of three-dimensional virtual environment
US11704864B1 (en) 2022-07-28 2023-07-18 Katmai Tech Inc. Static rendering for a combination of background and foreground objects
US11682164B1 (en) 2022-07-28 2023-06-20 Katmai Tech Inc. Sampling shadow maps at an offset
US11562531B1 (en) 2022-07-28 2023-01-24 Katmai Tech Inc. Cascading shadow maps in areas of a three-dimensional environment
US11593989B1 (en) 2022-07-28 2023-02-28 Katmai Tech Inc. Efficient shadows for alpha-mapped models
US11776203B1 (en) 2022-07-28 2023-10-03 Katmai Tech Inc. Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars
US11956571B2 (en) 2022-07-28 2024-04-09 Katmai Tech Inc. Scene freezing and unfreezing
US11748939B1 (en) 2022-09-13 2023-09-05 Katmai Tech Inc. Selecting a point to navigate video avatars in a three-dimensional environment

Family Cites Families (203)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4149930A (en) 1975-01-22 1979-04-17 Fulgurltwerke Seelze Und Eichriede In Luthe Bel Hannover Adolf Oesterheld Method and apparatus for making asbestos-cement boards
CN1009333B (zh) 1986-10-08 1990-08-29 大庆石油管理局油田建设设计研究院 原油消泡剂及其制备方法
US6477239B1 (en) 1995-08-30 2002-11-05 Hitachi, Ltd. Sign language telephone device
US5880731A (en) 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
JP3863216B2 (ja) 1996-05-22 2006-12-27 富士通株式会社 感情表現装置
US7076118B1 (en) * 1997-12-05 2006-07-11 Sharp Laboratories Of America, Inc. Document classification system
US6169789B1 (en) 1996-12-16 2001-01-02 Sanjay K. Rao Intelligent keyboard system
JP3771989B2 (ja) 1997-03-24 2006-05-10 オリンパス株式会社 画像音声通信システムおよびテレビ電話送受信方法
US5953700A (en) 1997-06-11 1999-09-14 International Business Machines Corporation Portable acoustic interface for remote access to automatic speech/speaker recognition server
US6307576B1 (en) 1997-10-02 2001-10-23 Maury Rosenfeld Method for automatically animating lip synchronization and facial expression of animated characters
BR9909611B1 (pt) 1998-04-13 2012-08-07 mÉtodo e aparelho para detectar caracterÍsticas faciais em uma sequÊncia de quadros de imagem compreendendo uma imagem de um rosto.
US7606936B2 (en) 1998-05-29 2009-10-20 Research In Motion Limited System and method for redirecting data to a wireless device over a plurality of communication paths
US6072496A (en) 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
US7003501B2 (en) 2000-02-11 2006-02-21 Maurice Ostroff Method for preventing fraudulent use of credit cards and credit card information, and for preventing unauthorized access to restricted physical and virtual sites
US7716133B1 (en) 2000-03-10 2010-05-11 Ncr Corporation Self service terminal
US6545682B1 (en) 2000-05-24 2003-04-08 There, Inc. Method and apparatus for creating and customizing avatars using genetic paradigm
AU2001281335A1 (en) 2000-07-24 2002-02-05 Vidiator Enterprises, Inc. Method and system for generating an avatar animation transform using a neutral face image
US7870599B2 (en) 2000-09-05 2011-01-11 Netlabs.Com, Inc. Multichannel device utilizing a centralized out-of-band authentication system (COBAS)
US8812319B2 (en) 2001-01-31 2014-08-19 Ibiometrics, Inc. Dynamic pass phrase security system (DPSS)
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
JP2002283261A (ja) 2001-03-27 2002-10-03 Sony Corp ロボット装置及びその制御方法、並びに記憶媒体
DE10129662A1 (de) * 2001-06-20 2003-01-09 Philips Corp Intellectual Pty Kommunikationssystem mit Systemkomponenten zur Feststellung der Urheberschaft eines Kommunikationsbeitrages
JP2003046109A (ja) 2001-08-01 2003-02-14 Kazumi Sonomoto 集光性のある凸レンズを付帯し、充電効率を高めるソーラー充電法
JP2003244425A (ja) 2001-12-04 2003-08-29 Fuji Photo Film Co Ltd 伝送画像の修飾パターンの登録方法および装置ならびに再生方法および装置
US7196733B2 (en) 2002-01-28 2007-03-27 Canon Kabushiki Kaisha Apparatus for receiving broadcast data, method for displaying broadcast program, and computer program
US20040128350A1 (en) * 2002-03-25 2004-07-01 Lou Topfl Methods and systems for real-time virtual conferencing
AU2003217528A1 (en) 2002-03-26 2003-10-08 So-Woon Kim System and method for 3-dimension simulation of glasses
CN1313979C (zh) 2002-05-03 2007-05-02 三星电子株式会社 产生三维漫画的装置和方法
US7779076B2 (en) 2002-05-31 2010-08-17 Aol Inc. Instant messaging personalization
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7386799B1 (en) 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
WO2004054216A1 (en) 2002-12-12 2004-06-24 Koninklijke Philips Electronics N.V. Avatar database for mobile video communications
US7106358B2 (en) 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
US7484176B2 (en) 2003-03-03 2009-01-27 Aol Llc, A Delaware Limited Liability Company Reactive avatars
JP2004289254A (ja) 2003-03-19 2004-10-14 Matsushita Electric Ind Co Ltd テレビ電話端末
GB0311208D0 (en) 2003-05-15 2003-06-18 British Telecomm Feature based caricaturing
JP2005018305A (ja) 2003-06-25 2005-01-20 Oki Electric Ind Co Ltd 画像配信システムおよび画像コミュニケーション機能付情報処理装置
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
KR100983745B1 (ko) 2003-09-27 2010-09-24 엘지전자 주식회사 이동 통신 단말기의 아바타 생성 서비스 방법
JP2005173772A (ja) 2003-12-09 2005-06-30 Oki Electric Ind Co Ltd 画像通信システムおよび画像生成方法
US7752270B2 (en) 2004-01-21 2010-07-06 At&T Mobility Ii Llc Linking sounds and emoticons
US7447211B1 (en) 2004-03-23 2008-11-04 Avaya Inc. Method and apparatus of establishing a communication channel using protected network resources
US7940932B2 (en) 2004-04-08 2011-05-10 Texas Instruments Incorporated Methods, apparatus, and systems for securing SIM (subscriber identity module) personalization and other data on a first processor and secure communication of the SIM data to a second processor
US7176956B2 (en) 2004-05-26 2007-02-13 Motorola, Inc. Video enhancement of an avatar
JP4172793B2 (ja) 2004-06-08 2008-10-29 株式会社東芝 ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置
US7804997B2 (en) 2004-06-10 2010-09-28 Technest Holdings, Inc. Method and system for a three dimensional facial recognition system
TWM290286U (en) 2004-11-22 2006-05-01 Wavetronex Inc Storage and applied devices based on images obtained from object tracking and recognition technology
US8488023B2 (en) 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
KR101141643B1 (ko) 2005-03-07 2012-05-04 엘지전자 주식회사 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
US7564476B1 (en) 2005-05-13 2009-07-21 Avaya Inc. Prevent video calls based on appearance
US20060294465A1 (en) 2005-06-22 2006-12-28 Comverse, Inc. Method and system for creating and distributing mobile avatars
US8963926B2 (en) 2006-07-11 2015-02-24 Pandoodle Corporation User customized animated video and method for making the same
US7587079B2 (en) 2005-07-21 2009-09-08 Xerox Corporation Check printing auditing systems and methods
EP1768387B1 (en) 2005-09-22 2014-11-05 Samsung Electronics Co., Ltd. Image capturing apparatus with image compensation and method therefor
JP2007220004A (ja) 2006-02-20 2007-08-30 Funai Electric Co Ltd テレビおよび認証装置
CN101035242A (zh) * 2006-03-07 2007-09-12 南京Lg新港显示有限公司 利用化身的向导方法及其装置
CN201000895Y (zh) 2006-12-22 2008-01-02 张耀明 主动风冷聚光太阳能电池组件
US7969461B2 (en) 2006-03-30 2011-06-28 Polycom, Inc. System and method for exchanging connection information for videoconferencing units using instant messaging
US20070230794A1 (en) * 2006-04-04 2007-10-04 Logitech Europe S.A. Real-time automatic facial feature replacement
US20070295382A1 (en) 2006-06-23 2007-12-27 Eugene Oak Solar super structure with cooling system
CN101098241A (zh) 2006-06-26 2008-01-02 腾讯科技（深圳）有限公司 虚拟形象实现方法及其系统
US8726195B2 (en) * 2006-09-05 2014-05-13 Aol Inc. Enabling an IM user to navigate a virtual world
CN100416612C (zh) 2006-09-14 2008-09-03 浙江大学 基于视频流的三维动态人脸表情建模方法
US20080136814A1 (en) 2006-09-17 2008-06-12 Chang Woo Chu System and method for generating 3-d facial model and animation using one video camera
CN100527170C (zh) 2006-09-20 2009-08-12 清华大学 一种复杂表情仿真系统及其实现方法
US8079905B2 (en) 2006-11-06 2011-12-20 Igt Remote wager gaming system using a video game console
CN1972274A (zh) 2006-11-07 2007-05-30 搜图科技（南京）有限公司 基于互联网和移动应用的人脸图像变化处理系统及方法
US20080214168A1 (en) 2006-12-21 2008-09-04 Ubiquity Holdings Cell phone with Personalization of avatar
US8199152B2 (en) 2007-01-16 2012-06-12 Lucasfilm Entertainment Company Ltd. Combining multiple session content for animation libraries
US8243118B2 (en) 2007-01-23 2012-08-14 Euclid Discoveries, Llc Systems and methods for providing personal video services
CN101669328A (zh) 2007-02-09 2010-03-10 达丽星网络有限公司 用于电信网络中的多媒体内容适配的方法和装置
JP5219184B2 (ja) 2007-04-24 2013-06-26 任天堂株式会社 トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法
FR2917931A1 (fr) 2007-06-22 2008-12-26 France Telecom Procede et systeme de mise en relation entre des personnes dans un systeme de telecommunications.
US8111281B2 (en) * 2007-06-29 2012-02-07 Sony Ericsson Mobile Communications Ab Methods and terminals that control avatars during videoconferencing and other communications
GB2450757A (en) 2007-07-06 2009-01-07 Sony Comp Entertainment Europe Avatar customisation, transmission and reception
CN101110937A (zh) 2007-08-07 2008-01-23 宇龙计算机通信科技(深圳)有限公司 一种可视电话通话过程中的信息发送方法及系统
US20090055484A1 (en) * 2007-08-20 2009-02-26 Thanh Vuong System and method for representation of electronic mail users using avatars
US8390628B2 (en) 2007-09-11 2013-03-05 Sony Computer Entertainment America Llc Facial animation using motion capture data
CN101378237A (zh) 2007-10-16 2009-03-04 吴宣瑚 一种太阳能光伏发电装置
US20090128579A1 (en) 2007-11-20 2009-05-21 Yiling Xie Method of producing test-wearing face image for optical products
FR2924864B1 (fr) 2007-12-11 2010-08-20 Photowatt Internat Module photovoltaique avec un echangeur thermique
US9191497B2 (en) 2007-12-13 2015-11-17 Google Technology Holdings LLC Method and apparatus for implementing avatar modifications in another user's avatar
CN101472158A (zh) 2007-12-27 2009-07-01 上海银晨智能识别科技有限公司 基于人脸检测的网络摄像装置及图像形成方法
CN101217511A (zh) 2008-01-03 2008-07-09 腾讯科技（深圳）有限公司 个人形象管理系统和管理方法
CN101499128B (zh) 2008-01-30 2011-06-29 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
JP2009199417A (ja) 2008-02-22 2009-09-03 Denso Corp 顔追跡装置及び顔追跡方法
KR101335346B1 (ko) 2008-02-27 2013-12-05 소니 컴퓨터 엔터테인먼트 유럽 리미티드 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
US8340452B2 (en) 2008-03-17 2012-12-25 Xerox Corporation Automatic generation of a photo guide
US8832552B2 (en) 2008-04-03 2014-09-09 Nokia Corporation Automated selection of avatar characteristics for groups
US8374422B2 (en) 2008-04-14 2013-02-12 Xid Technologies Pte Ltd. Face expressions identification
TW200945074A (en) 2008-04-22 2009-11-01 Ein Si & S Co Ltd Method and system for providing content (3)
US7953255B2 (en) * 2008-05-01 2011-05-31 At&T Intellectual Property I, L.P. Avatars in social interactive television
EP2293855A1 (en) * 2008-06-02 2011-03-16 Nike International Ltd. System and method for creating an avatar
CN201226500Y (zh) 2008-06-03 2009-04-22 王勤文 太阳能发电模块
US20090315893A1 (en) 2008-06-18 2009-12-24 Microsoft Corporation User avatar available across computing applications and devices
USH2253H1 (en) 2008-06-26 2011-05-03 Pixar Multiple personality articulation for animated characters
CN101354795A (zh) 2008-08-28 2009-01-28 北京中星微电子有限公司 基于视频的三维人脸动画驱动方法和系统
JP2010066853A (ja) * 2008-09-09 2010-03-25 Fujifilm Corp 画像処理装置、方法およびプログラム
US20100070858A1 (en) 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Interactive Media System and Method Using Context-Based Avatar Configuration
CN101677389A (zh) 2008-09-17 2010-03-24 深圳富泰宏精密工业有限公司 图片传输系统及方法
US8224652B2 (en) 2008-09-26 2012-07-17 Microsoft Corporation Speech and text driven HMM-based body animation synthesis
JP2012504834A (ja) * 2008-10-06 2012-02-23 ヴェルジェンス エンターテインメント エルエルシー 音楽的に相互作用する化身のためのシステム
WO2010074786A2 (en) 2008-12-04 2010-07-01 Total Immersion Software, Inc. System and methods for dynamically injecting expression information into an animated facial mesh
US8581838B2 (en) 2008-12-19 2013-11-12 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication
US8774498B2 (en) * 2009-01-28 2014-07-08 Xerox Corporation Modeling images as sets of weighted features
KR101558553B1 (ko) * 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
JP5208810B2 (ja) 2009-02-27 2013-06-12 株式会社東芝 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
KR101597286B1 (ko) * 2009-05-07 2016-02-25 삼성전자주식회사 아바타 영상 메시지를 생성하는 장치 및 방법
KR101671900B1 (ko) 2009-05-08 2016-11-03 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
US8260262B2 (en) 2009-06-22 2012-09-04 Mourad Ben Ayed Systems for three factor authentication challenge
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US20110025689A1 (en) 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
EP2309307B1 (en) 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
US9134816B2 (en) 2009-11-11 2015-09-15 Erik Dahlkvist Method for using virtual facial and bodily expressions
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8874090B2 (en) * 2010-04-07 2014-10-28 Apple Inc. Remote control operations in a video conference
US8819244B2 (en) 2010-04-07 2014-08-26 Apple Inc. Apparatus and method for establishing and utilizing backup communication channels
WO2011129907A1 (en) 2010-04-13 2011-10-20 Sony Computer Entertainment America Llc Calibration of portable devices in a shared virtual space
CN101826217A (zh) 2010-05-07 2010-09-08 上海交通大学 人脸动画快速生成方法
US8692830B2 (en) 2010-06-01 2014-04-08 Apple Inc. Automatic avatar creation
US8694899B2 (en) * 2010-06-01 2014-04-08 Apple Inc. Avatars reflecting user states
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions
CN102087750A (zh) 2010-06-13 2011-06-08 湖南宏梦信息科技有限公司 一种动漫特效的制作方法
US8452721B2 (en) 2010-06-15 2013-05-28 Nvidia Corporation Region of interest tracking for fluid simulation
JP5460499B2 (ja) 2010-07-12 2014-04-02 日本放送協会 画像処理装置およびコンピュータプログラム
CN101924924A (zh) 2010-07-28 2010-12-22 厦门雅迅网络股份有限公司 一种无线远程视频监控的自适应传输方法及传输系统
US20120058747A1 (en) 2010-09-08 2012-03-08 James Yiannios Method For Communicating and Displaying Interactive Avatar
US8638364B2 (en) 2010-09-23 2014-01-28 Sony Computer Entertainment Inc. User interface system and method using thermal imaging
US8830226B2 (en) 2010-09-28 2014-09-09 Apple Inc. Systems, methods, and computer-readable media for integrating a three-dimensional asset with a three-dimensional model
US9519396B2 (en) 2010-09-28 2016-12-13 Apple Inc. Systems, methods, and computer-readable media for placing an asset on a three-dimensional model
US20120130717A1 (en) 2010-11-19 2012-05-24 Microsoft Corporation Real-time Animation for an Expressive Avatar
KR20120059994A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
US9734637B2 (en) 2010-12-06 2017-08-15 Microsoft Technology Licensing, Llc Semantic rigging of avatars
CN102158816A (zh) 2010-12-10 2011-08-17 上海合合信息科技发展有限公司 建立通话时将设定图像在对方电子设备上显示的方法
US8665307B2 (en) 2011-02-11 2014-03-04 Tangome, Inc. Augmenting a video conference
US20140043329A1 (en) 2011-03-21 2014-02-13 Peng Wang Method of augmented makeover with 3d face modeling and landmark alignment
CN102176197A (zh) 2011-03-23 2011-09-07 上海那里网络科技有限公司 一种使用虚拟化身和实时影像进行实时互动的方法
DE102011015730A1 (de) 2011-03-31 2012-10-04 Land Rheinland-Pfalz, vertreten durch das Landeskriminalamt Rheinland-Pfalz Phantombilddatenbank (3D)
CN102157007A (zh) 2011-04-11 2011-08-17 北京中星微电子有限公司 一种表演驱动的制作人脸动画的方法和装置
US9330483B2 (en) 2011-04-11 2016-05-03 Intel Corporation Avatar facial expression techniques
CN102214288B (zh) * 2011-06-15 2013-03-06 清华大学 基于化身的隐私保护方法
US20130004028A1 (en) 2011-06-28 2013-01-03 Jones Michael J Method for Filtering Using Block-Gabor Filters for Determining Descriptors for Images
KR101819535B1 (ko) 2011-06-30 2018-01-17 삼성전자주식회사 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치
JP6039915B2 (ja) 2011-07-08 2016-12-07 株式会社ドワンゴ ステージ演出システム、演出制御サブシステム、ステージ演出システムの動作方法、演出制御サブシステムの動作方法、およびプログラム
US20130019154A1 (en) 2011-07-11 2013-01-17 Collegenet, Inc. Systems and methods for collecting multimedia form responses
CN102254336B (zh) 2011-07-14 2013-01-16 清华大学 人脸视频合成方法及装置
CN103890781B (zh) 2011-08-25 2017-11-21 康奈尔大学 用于机器视觉的视网膜编码器
CN102271241A (zh) 2011-09-02 2011-12-07 北京邮电大学 一种基于面部表情/动作识别的图像通信方法及系统
US20130109302A1 (en) * 2011-10-31 2013-05-02 Royce A. Levien Multi-modality communication with conversion offloading
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
WO2013074153A1 (en) 2011-11-17 2013-05-23 University Of Southern California Generating three dimensional models from range sensor data
US10013787B2 (en) 2011-12-12 2018-07-03 Faceshift Ag Method for facial animation
US8854397B2 (en) 2011-12-13 2014-10-07 Facebook, Inc. Photo selection for mobile devices
EP2795936B1 (en) 2011-12-20 2019-06-26 Intel Corporation User-to-user communication enhancement with augmented reality
CN106961621A (zh) 2011-12-29 2017-07-18 英特尔公司 使用化身的通信
US9008633B2 (en) 2012-02-17 2015-04-14 Apple Inc. Methods to determine availability of user based on mobile phone status
US20130219166A1 (en) 2012-02-20 2013-08-22 Motorola Mobility, Inc. Hardware based identity manager
US8661549B2 (en) 2012-03-02 2014-02-25 Apple Inc. Method and apparatus for obfuscating program source codes
US9747495B2 (en) 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
JP5790568B2 (ja) 2012-03-28 2015-10-07 株式会社デンソー メッセージ装飾入力システム
WO2013152455A1 (en) 2012-04-09 2013-10-17 Intel Corporation System and method for avatar generation, rendering and animation
CN107257403A (zh) 2012-04-09 2017-10-17 英特尔公司 使用交互化身的通信
US9357174B2 (en) 2012-04-09 2016-05-31 Intel Corporation System and method for avatar management and selection
US20130286161A1 (en) 2012-04-25 2013-10-31 Futurewei Technologies, Inc. Three-dimensional face recognition for mobile devices
US8848068B2 (en) 2012-05-08 2014-09-30 Oulun Yliopisto Automated recognition algorithm for detecting facial expressions
US9111134B1 (en) 2012-05-22 2015-08-18 Image Metrics Limited Building systems for tracking facial features across individuals and groups
US9104908B1 (en) 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
US9425974B2 (en) 2012-08-15 2016-08-23 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
WO2014036708A1 (en) 2012-09-06 2014-03-13 Intel Corporation System and method for avatar creation and synchronization
US9314692B2 (en) 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
US9124386B2 (en) 2012-09-28 2015-09-01 Saurabh Dadu System, device, and method for securing voice authentication and end-to-end speech interaction
US10319249B2 (en) 2012-11-21 2019-06-11 Laureate Education, Inc. Facial expression recognition in educational learning systems
US20140153832A1 (en) 2012-12-04 2014-06-05 Vivek Kwatra Facial expression editing in images based on collections of images
CN103873642A (zh) 2012-12-10 2014-06-18 北京三星通信技术研究有限公司 记载通话记录的方法及设备
US9466142B2 (en) 2012-12-17 2016-10-11 Intel Corporation Facial movement based avatar animation
US8970656B2 (en) 2012-12-20 2015-03-03 Verizon Patent And Licensing Inc. Static and dynamic video calling avatars
CN103093490B (zh) 2013-02-02 2015-08-26 浙江大学 基于单个视频摄像机的实时人脸动画方法
US9886622B2 (en) 2013-03-14 2018-02-06 Intel Corporation Adaptive facial expression calibration
WO2014169346A1 (en) 2013-04-19 2014-10-23 Commonwealth Scientific And Industrial Research Organisation System and method of tracking an object
US9589357B2 (en) 2013-06-04 2017-03-07 Intel Corporation Avatar-based video encoding
US9378576B2 (en) 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
CN110634175B (zh) 2013-08-02 2023-05-16 索美智能有限公司 神经行为动画系统
GB201315142D0 (en) 2013-08-23 2013-10-09 Ucl Business Plc Audio-Visual Dialogue System and Method
US9317954B2 (en) 2013-09-23 2016-04-19 Lucasfilm Entertainment Company Ltd. Real-time performance capture with on-the-fly correctives
CN103593650B (zh) 2013-10-28 2017-01-25 浙江大学 一种基于表情识别系统生成艺术图像的方法
US9489760B2 (en) 2013-11-14 2016-11-08 Intel Corporation Mechanism for facilitating dynamic simulation of avatars corresponding to changing user performances as detected at computing devices
US9300901B2 (en) 2013-12-04 2016-03-29 Disney Enterprises, Inc. Augmenting physical appearance using illumination
CN103942822B (zh) 2014-04-11 2017-02-01 浙江大学 一种基于单视频摄像机的面部特征点跟踪和人脸动画方法
US9672416B2 (en) 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
US9576175B2 (en) 2014-05-16 2017-02-21 Verizon Patent And Licensing Inc. Generating emoticons based on an image of a face
US9277180B2 (en) 2014-06-30 2016-03-01 International Business Machines Corporation Dynamic facial feature substitution for video conferencing
US9911220B2 (en) 2014-07-28 2018-03-06 Adobe Systes Incorporated Automatically determining correspondences between three-dimensional models
US9799133B2 (en) 2014-12-23 2017-10-24 Intel Corporation Facial gesture driven animation of non-facial features
EP3241187A4 (en) 2014-12-23 2018-11-21 Intel Corporation Sketch selection for rendering 3d model avatar
US9830728B2 (en) 2014-12-23 2017-11-28 Intel Corporation Augmented facial animation
US9576190B2 (en) 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing
US10386996B2 (en) 2015-06-11 2019-08-20 Microsoft Technology Licensing, Llc Communicating emotional information via avatar animation
US10176619B2 (en) 2015-07-30 2019-01-08 Intel Corporation Emotion augmented avatar animation
US20170118145A1 (en) 2015-10-21 2017-04-27 Futurefly Ltd. Method of using emoji to control and enrich 3d chat environments
US10489957B2 (en) 2015-11-06 2019-11-26 Mursion, Inc. Control system for virtual characters
WO2017101094A1 (en) 2015-12-18 2017-06-22 Intel Corporation Avatar animation system

Also Published As

Publication number Publication date
US9386268B2 (en) 2016-07-05
US20210105438A1 (en) 2021-04-08
US20170111614A1 (en) 2017-04-20
US20240031534A1 (en) 2024-01-25
US20170039751A1 (en) 2017-02-09
US20140152758A1 (en) 2014-06-05
TWI646844B (zh) 2019-01-01
US20190320144A1 (en) 2019-10-17
CN104170318B (zh) 2018-06-01
CN107257403A (zh) 2017-10-17
CN104170318A (zh) 2014-11-26
US20220232190A1 (en) 2022-07-21
WO2013152453A1 (en) 2013-10-17
TWI637637B (zh) 2018-10-01
US11595617B2 (en) 2023-02-28
TW201733346A (zh) 2017-09-16
US20230283748A1 (en) 2023-09-07
US11303850B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
US11595617B2 (en) Communication using interactive avatars
TWI656505B (zh) 頭像管理和選擇的系統及方法
TWI642306B (zh) 用於化身的產生、渲染以及動畫化之系統與方法
US9398262B2 (en) Communication using avatar
US9936165B2 (en) System and method for avatar creation and synchronization
TWI583198B (zh) 使用互動化身的通訊技術
TWI682669B (zh) 使用互動化身的通訊技術（五）
TW202107250A (zh) 使用互動化身的通訊技術（七）