TWI434227B - 動畫產生系統及方法 - Google Patents

動畫產生系統及方法 Download PDF

Info

Publication number
TWI434227B
TWI434227B TW099110520A TW99110520A TWI434227B TW I434227 B TWI434227 B TW I434227B TW 099110520 A TW099110520 A TW 099110520A TW 99110520 A TW99110520 A TW 99110520A TW I434227 B TWI434227 B TW I434227B
Authority
TW
Taiwan
Prior art keywords
virtual
bone
skeleton
animation
unit
Prior art date
Application number
TW099110520A
Other languages
English (en)
Other versions
TW201123077A (en
Inventor
Tzung Han Lin
Chih Jen Teng
Fu Jen Hsiao
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Publication of TW201123077A publication Critical patent/TW201123077A/zh
Application granted granted Critical
Publication of TWI434227B publication Critical patent/TWI434227B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Description

動畫產生系統及方法
本發明係關於動畫產生之系統與方法,更係關於動畫中虛擬角色之產生與操控之系統與方法。
目前,由於網路普及的關係,許多網路應用及線上遊戲之使用者或會員人數皆大為增加,使得全球遊戲業的產值高達350億美金之譜。
虛擬角色(Avatar),過去指一真實人物在一般網路中一維(1D)形式之名稱(username)或二維(2D)形式之圖像。然而,時至今日,虛擬角色多指真實人物在電腦遊戲中三維(3D)形式之模型。傳統上,建構三維虛擬角色包含多個步驟,例如擷取二維影像、建構三維網格以及建立骨架系統等等,皆須耗費大量人工及時間,使得一般使用者無法輕易地建立專屬個人的三維虛擬模型。除了建構虛擬角色頗為不便外,習知技術在控制虛擬角色上之便利性及互動性同樣未盡理想。
因此,若存在一種能夠簡單產生客製化虛擬角色並予以操控的整合性系統或方法,將使網路應用及線上遊戲更富樂趣。
本發明提供一種能夠快速、有效建構並操控三維虛擬角色之系統及方法。
本發明提供一種動畫產生系統。該動畫產生系統包含:一虛擬角色產生模組,用以於一虛擬空間中產生一虛擬角色,其中該虛擬角色具有一骨架及依附於該骨架之一體表,該骨架具有複數個可動節點,該等可動節點可被操控而該體表隨其相對運動;以及一虛擬角色操控模組,用以操控該虛擬角色之該等可動節點,包含:一定位用標記物,用以可讓使用者移動(此處及其後之移動包含標記物之平移與方位轉動,意即以六個自由度模式運動)於一真實空間中而處於至少一第一真實位置;至少一控制用標記物,用以被使用者移動於該真實空間中而處於至少一第二真實位置;一視訊擷取單元,用以擷取該真實空間之影像,亦可被使用者移動而改變觀看位置;一運算單元,耦接該視訊擷取單元,用以從該真實空間之影像中辨識出該第一真實位置及該第二真實位置,並將該第一真實位置轉換成該虛擬角色在該虛擬空間之一虛擬定位位置,以及將該第二真實位置轉換成該虛擬角色之一可動節點在該虛擬空間之該虛擬目標位置,其中該虛擬目標位置與該虛擬定位位置之相對運動使得該虛擬角色之該可動節點在該虛擬空間中產生一連續動作。
本發明另提供一種動畫產生方法,用以產生一虛擬角色於一虛擬空間中,其中該虛擬角色具有一骨架及依附於該骨架之一體表,該骨架及該體表具有複數個可動節點;以及用以操控該虛擬角色之該等可動節點。該動畫產生方法包含:移動一定位用標記物而使其處於一真實空間中至少一第一真實位置;移動至少一控制用標記物而使其處於該真實空間中至少一第二真實位置;擷取該真實空間之影像;從該真實空間之影像中辨識出該第一真實位置及該第二真實位置;將該第一真實位置轉換成該虛擬角色在該虛擬空間中之一虛擬定位位置;以及將該第二真實位置轉換成該虛擬角色之一可動節點在該虛擬空間中之該虛擬目標位置,其中該第二虛擬位置與該第一虛擬位置之相對運動使得該虛擬角色在該虛擬空間中產生動作。
本發明所產生之虛擬角色可被進一步匯入各種線上遊戲或其他網路應用。此外,藉由本發明提供之系統與方法,虛擬角色在操控上之互動性亦可獲得提升。
下文為介紹本發明之最佳實施例。各實施例用以說明本發明之原理,但非用以限制本發明。本發明之範圍當以後附之權利要求項為準。
第1圖為本發明一實施例之動畫產生系統示意圖。該動畫產生系統包含一虛擬角色產生模組110、一虛擬角色操控模組120以及一顯示單元130。該虛擬角色產生模組110係用以於一虛擬空間中產生一虛擬的虛擬角色,其中該虛擬角色具有一骨架及依附於該骨架之一體表,而該虛擬空間及虛擬角色可而顯示於該顯示單元130。為便於說明本發明,下文實施例中之虛擬角色皆以人為例,其具有人的形像,並包含頭、軀幹及四肢。該虛擬角色之骨架上具有複數個可動節點,而該等可動節點可被操控而該體表隨其相對運動,舉例而言,大腿骨(股骨,femur)上之一點可相對小腿骨(脛骨,tibia)上之另一點運動,但依附大腿骨之體表之一點則相對整根大腿骨為靜止。該虛擬角色操控模組120係用以操控該虛擬角色之該等可動節點,使得該虛擬角色在該虛擬空間中產生動作,進而在一連續的時間中產生一連續動畫。虛擬角色產生模組110、虛擬角色操控模組120及顯示單元130之功能與結構將於分別於後文詳述。
第2圖為本發明一實施例之動畫產生系統詳細示意圖。如第2圖所示,本發明之虛擬角色產生模組110包含一讀取單元111、一分析單元112、一粗套疊單元113、一精套疊單元114、一封套範圍計算單元115、一網格點權重計算單元116以及一輸出單元117。該讀取單元係用以讀取關於該虛擬角色之體表的體表資料,並讀取關於一樣板骨架之骨架資料。其中,該體表資料係由複數個三角片與網格點組成,舉例而言,該虛擬角色之體表可由約2萬個三角片(triangle)所構成一三角網格(triangular mesh)(亦即本文所述體表),而各個三角片上之網格點又具備色彩及材質資料。該骨架資料包含該樣板骨架之各骨頭之辨識資料(例如名稱、編號)、幾何資料(例如形狀、尺寸)及各骨頭間彼此連動關係之資料(例如各骨頭之連接關係、各骨頭可活動之維度)。在一實施例中,該讀取單元111可耦接至一模型資料庫(圖未示)以讀取存於其中之體表資料及骨架資料。在另一較佳實施例中,該讀取單元111可另外耦接至一模型建構單元118。第4圖為本發明一實施例中利用模型建構單元118建構虛擬角色體表資料之示意圖。該模型建構單元118可透過複數台攝影機(第4圖以攝影機1~8為例)同步拍攝一真實模型(例如真實的人體)以擷取其影像資料,並透過如視殼演算法(visual hull algorithm)等影像技術建構出該真實人體所對應之三維虛擬模型(僅具體表資料但不含骨架資料),並將該虛擬模型提供給該讀取單元。為了便利本發明其他單元對擷取之影像進行後續處理,可要求被攝者面朝固定方向並擺出固定姿勢,舉例而言,要求被攝者面朝前方並以第4圖所示之老鷹姿態張開其雙臂及雙腳。透過模型建構單元118,針對個人客製化的數位虛擬角色可被輕易地建立及應用於動畫之中。
本發明之分析單元112係用以分析該虛擬角色之體表資料以取得該體表之複數個外表特徵(appearance feature)以及複數個軀幹特徵(trunk feature)。詳細地說,該等外表特徵為該等體表上之凸出點。第5圖為外表特徵示意圖。本發明之分析單元112首先對虛擬角色之體表資料進行分析以找出其體表之凸殼(convex hull),其即第5圖中包覆於該虛擬角色之多面體。第5圖中,外表特徵即為該凸殼上最為凸出之極點(以圓圈標示之),亦即圖中多面體之多個端點與腹、背部之數點(若該虛擬角色之體表資料係以三維影像技術取得,則其腹、背部之凸出點亦可能被找出)。在一理想情況下,被攝者如上述擺出老鷹姿態時,則其虛擬角色身上代表頭、雙手及雙腳的外表特徵可輕易地被分析單元112找出。然而,在一實際情況中,分析單元112可能先找出超出預期數目之外表特徵,再依各外表特徵彼此間之距離,逐步刪除不合理之外表特徵並控制該等外表特徵之數量在5~10個之間。找出外表特徵之後,分析單元112可進一步找出該虛擬角色之軀幹特徵。其中,軀幹特徵處於該虛擬角色體表利用收縮簡化後產生之中心軸。
本發明之粗套疊單元113係用以依據該等外表特徵調整該樣板骨架之尺寸以產生該虛擬角色之該骨架,並將該骨架套疊入該等外表特徵。在一較佳實施例中,本發明可利用反向運動學(Inverse Kinematics)自動調整該樣板骨架之尺寸;然而,在其他實施例中,使用者亦可手動調整該樣板骨架之尺寸。雖然樣板骨架並非直接自被攝者身上取得,但由於人體之骨架形狀大同小異,再經過粗套疊單元113調整樣板骨架中各骨頭之比例及尺寸後,可得到被拍攝者其虛擬角色專屬之骨架。調整尺寸之後,該專屬骨架被套入虛擬角色體表之外表特徵中,詳細的過程包含轉向程序及定位程序。在轉向程序中,虛擬角色之體表被轉向面朝虛擬空間中座標之正Z軸方向,並將外表特徵之頂端轉向虛擬空間中座標之正Y軸方向。在定位程序中,分別將骨架之各端點定位至各外表特徵之座標上,舉例而言:(1)將頭部端點(頭骨上之一頂點)定位至外表特徵中Y軸座標值最高者;(2)將左手端點(左手掌骨之一頂點)定位至外表特徵中X軸座標值最高者;(3)將右手端點(右手掌骨之一頂點)定位至外表特徵中X軸座標值最低者;(4)將左腳端點(左手腳骨之一頂點)定位至外表特徵中Y軸座標值為負而X軸座標值最高者;(5)將右腳端點(右手腳骨之一頂點)定位至外表特徵中Y軸座標值為負而X軸座標值最低者。
本發明之精套疊單元114係用以依據該等軀幹特徵將該骨架套疊至該體表內之軀幹特徵處。雖然前述粗套疊單元113已經將虛擬角色骨架中較重要之骨頭端點套至其體表,但可能仍有部分骨頭座落於體表之外。因此,精套疊單元114須對該骨架與體表進行更精確的套疊。精套疊單元114依據最接近該骨頭之軀幹特徵並利用反向運動學將座落於錯誤位置之骨頭予以套疊入正確位置當中。該精套疊單元114可對各骨頭實施上述程序,直到該虛擬角色骨架中所有骨頭皆完成上述套疊為止。
本發明之封套範圍計算單元115係用以依據該骨架之一骨頭附近之複數個網格點計算該骨頭之一封套範圍。第6A圖及第6B圖為依據本發明一實施例之一骨頭及其封套範圍剖面示意圖。一骨頭610具有一起端S及一終端E。在本實施例中,封套範圍620首先如第6A圖所示,分別在起端S及終端E上各別形成兩顆同心球狀。以起端S上之兩同心球為例,其封套範圍中之兩同心球皆以起端S為球心,在一搜索範圍內(以該端點S為球心、至多以虛擬角色身長之一半為半徑作球所構成之範圍),內層球體622以最遠離且方向朝離端點S之網格點(此處朝離指的是各網格點皆有之法向量,若此網格點之法向量朝離骨頭,則稱之;相反則是朝向骨頭)與該端點S之距離為球半徑RS I ,而外層球體624則以在該搜索範圍內最靠近且方向朝向端點S之網格點與該端點S之距離為球半徑RS O 。同理,終端E之兩同心球皆以終端E為球心,在一搜索範圍內(以該端點E為球心、至多以虛擬角色之身長的一半為半徑作球所構成之範圍),內層球體626以最遠離且方向朝離端點E之網格點與該端點E之距離為球半徑RE I ,而外層球體628則以在該搜索範圍內最靠近且方向朝向端點E之網格點與該端點E之距離為球半徑RE O 。此外,封套範圍620及其中兩組同心球622~628尚須滿足以下數個條件:(1)內層及外層球體之半徑皆不可超過骨架610之長度;(2)內層及外層球體之半徑皆不可以小於骨頭610之內徑;(3)內層球體之半徑不超過外層球體之半徑;(4)外層球體之半徑不小於內層球體之半徑;(5)相鄰骨頭之封套範圍儘量不重疊;(6)兩對稱肢(例如:左大腿骨與右大腿體之封套範圍)之封套範圍不可重疊。在該骨頭610之兩組同心球622~628形成之後,封套範圍計算單元115依據兩組同心球622~628之半徑以內差法計算兩端點S、E間之內層封套半徑RI 及外層封套半徑RO 。因此內外層分別在起端,終端,以及內差部分形成聯集之封閉空間,內外層共形成一雙層狀空間。之後,封套範圍計算單元115進一步將兩組同心球622~628超出骨頭長度部分之半球去除,形成最終之雙層桶狀封套範圍,如第6B圖所示。
本發明之網格點權重計算單元116係用以依據該封套範圍計算該體表資料之一網格點相對一骨頭之一權重,而該權重表示該骨頭在活動時該網格點受該骨頭影響的程度。網格點權重計算單元116依下列規則計算權重:(1)一網格點在一骨頭之封套範圍內層以內,則該網格點相對該骨頭之權重為1.0,表示該網格點在該骨頭活動時完全受該骨頭影響;(2)一網格點在一骨頭之封套範圍外層以外,則該網格點相對該骨頭之權重為0.0,表示該網格點在該骨頭活動時完全不受該骨頭影響;(3)一網格點在一骨頭之封套範圍內層與外層間,則該網格點相對該骨頭之權重隨著其與骨頭之距離遞減,可以下函式表示之:Weightvi bi (distbi )=Decay(distbi )。其中Weightvi bi 為網格點vi相對於骨頭bi之權值;distbi 為網格點vi與骨頭bi之距離;而Decay(x)為一數值由1至0之遞減函數;(4)一網格點如經前述3規則皆無包含於任一骨頭之封套範圍內,則以距離為依據設定最接近之骨頭對該網格點之權重為完全影響,如數值1.0;藉由上述方法,本發明之網格點權重計算單元116可對任一網格點建立一權重值表格以記錄該網格點對所有骨頭之權重值;(5)一網格點之權重表格之各數值需進行進行一正規化(Normalization)動作,此動作使得該表格中各數值總和為1.0。
經過本發明上述元件之運作,本發明之虛擬角色除了包含關於體表之資料(三角網格)、骨架之資料(骨頭識別資料、幾何位置、連接關係及可活動維度)外,更具備體表與骨架間關係之資料(骨架之封套範圍、以及網格點受骨架所影響之權值)。虛擬角色產生模組110之輸出單元117之後可將該虛擬角色輸出至該顯示單元130直接顯示,及如下段所述,進一步輸出至該運算單元124以進一步操控該虛擬角色。
本發明除了上述虛擬角色產生模組110之外,尚包含虛擬角色操控模組120。如第1圖所示,本發明之虛擬角色操控模組120包含一定位用標記物121、至少一控制用標記物122、至少一視訊擷取單元123及一運算單元124。
第7圖為本發明一實施例中利用虛擬角色操控模組操控虛擬角色以產生各種動作之示意圖。第7圖中之虛擬角色操控模組包括定位用標記物121、至少一控制用標記物122、視訊擷取單元123以及運算單元124;而受操控之虛擬角色顯示於顯示單元130上。該定位用標記物121及該控制用標記物122為具有可被辨識的形狀、尺寸、色彩之物體,甚至可為人體之一部分(例如分別將兩手指頭當作定位用標記物121及該控制用標記物122)。該定位用標記物121及該控制用標記物122可被使用者(圖未示)於一真實空間移動,而移動之方式不限於手動,亦可由機器驅動。在一實施例中,該定位用標記物121被使用者移動至一第一真實位置,舉例而言,座標(x0 ,y0 ,z0 );而該控制用標記物122則被使用者移動至一第二真實位置,舉例而言,座標(x1 ,y1 ,z1 )。
該視訊擷取單元123,例如攝影機,可用以對真實空間進行拍攝,以擷取該真實空間及真實空間中該定位用標記物121及該控制用標記物122之影像。攝影機的數量不僅限於一個,為了達成立體顯示或多視角顯示之效果,攝影機的數量亦可為複數(兩個及兩個以上),詳見後述。
本發明之運算單元124耦接該視訊擷取單元123,係用以從該視訊擷取單元123擷取之影像中辨識出該定位用標記物121之第一真實位置及該控制用標記物122之第二真實位置,然而該視訊擷取單元123之位置與方位可以是固定,也可以是隨時間改變而變換。為了使該視訊擷取單元123易於進行辨識,在一實施例中,本發明之定位用標記物121及控制用標記物122可為條碼(barcode)亦可為具有可被辨識的形狀、尺寸、色彩於其可視表面之物體。運算單元124可透過檢視兩條碼之形狀及大小,判斷兩標記物121、122與攝影機(視訊擷取單元123)間之相對距離及方位。開放套件如ARToolkit、ARtag等軟體亦可協助該運算單元124進行標記物之識別與空間座標之計算。此外,上述運算單元124可進一步將該定位用標記物121在真實空間中之第一真實位置轉換成該虛擬角色在該虛擬空間相對應之一虛擬定位位置,並且將該控制用標記物122在真實空間中之第二真實位置轉換成該虛擬角色身上一可動節點在該虛擬空間之該虛擬目標位置。可以理解的是,該虛擬目標位置與該虛擬定位位置之相對運動將使該虛擬角色在該虛擬空間中產生動作。在一實施例中,若欲控制虛擬角色整體在虛擬空間的位置,僅需移動該定位用標記物121;若欲以該控制用標記物122控制該虛擬角色之上臂動作,可將上述可動節點設定為上臂骨節點,而後移動該控制用標記物122。由於上臂體表與上臂骨具有連動關係,當在真實空間移動控制用標記物121而牽動虛擬角色之上臂骨時,皆會使整隻上臂(含上臂體表)活動。值得注意的是,由於本發明上述虛擬角色產生模組110(尤其是其中的網格點權重計算單元116)之作用,當虛擬角色之上臂受操控而活動時,上臂以外之體表,例如肩部及胸部,亦可能受到牽動。因此,透過實施本發明,動畫中虛擬角色在外觀的動態呈現上將更加自然。
本發明之顯示單元130耦接至該虛擬角色產生模組110及虛擬角色操控模組120,用以顯示該虛擬角色及其所處之虛擬空間。第3圖為本發明一實施例之立體顯示技術示意圖。在一實施例中,該顯示單元330為多視角顯示單元,其可為立體顯示器亦可是裸眼多視角顯示器,搭配具有複數(兩個或兩個以上)之攝影機之視訊擷取單元123並經過多視角動畫視訊合成單元125的處理以達成立體顯示及多視角顯示之功效。舉例而言,可採用視訊擷取單元123可具有兩攝影機,分別代表人的左眼視覺及右眼視覺。前述之多視角動畫視訊合成單元可採用「交錯式訊號合成方法」產生立體視訊,亦可採用「並排式訊號合成方法」產生立體視訊。交錯式訊號合成方式係擷取左攝影機取得之左視訊訊號的影像奇數行資料、擷取右攝影機取得之右視訊訊號的影像偶數行資料,並將上述訊號組合成交錯式影像資料;另一可能之運作為,擷取左攝影機取得之左視訊訊號的影像偶數行資料、擷取右攝影機取得之右視訊訊號的影像奇數行資料,並將上述訊號組合成另一種交錯式影像資料亦可。並排式訊號合成方法係將左視訊訊號的影像資料與右視訊訊號的影像資料並排繪製於同一影像資料中。透過上述之多視角動畫視訊合成單元,顯示單元130若使用立體顯示器或者裸眼多視角顯示器就可以將具有深度資訊的立體畫面呈現在使用者眼前。
前文已完整介紹本發明之動畫產生系統100。值得注意的是,前述虛擬角色產生模組110、虛擬角色操控模組120、顯示單元130、虛擬角色產生模組110中之讀取單元111、分析單元112、粗套疊單元113、精套疊單元114、115、網格點權重計算單元116、輸出單元117、模型建構單元118、虛擬角色操控模組120中之視訊擷取單元123以及運算單元124等僅為方便說明本發明之動畫產生系統100而分別敘述,其組合或部分組合皆可整合成單一電腦系統運作模式,亦可以透過分散於網路上之複數個電腦系統以分散架構的運作模式實施。
本發明另提供一種動畫產生方法。第8A圖及第8B圖為依照本發明一實施例之動畫產生方法示意圖。參照第1圖及相關說明,本發明之動畫產生方法係用以產生一虛擬角色於一虛擬空間中,該虛擬角色具有一骨架及依附於該骨架之一體表,該骨架具有複數個可動節點,動畫產生方法則用以操控該虛擬角色之該等可動節點。該動畫產生方法之各步驟可分別由前述之動畫產生裝置100之各模組及單元實施,包括:在步驟S811中,讀取關於該體表之體表資料,並讀取關於一樣板骨架之骨架資料,其中該體表資料為由複數個網格點組成之圖像資料,而該骨架資料包含該樣板骨架之各骨頭之幾何資料及彼此連動關係資料;在步驟S812中,分析該體表資料以取得該體表之複數個外表特徵以及複數個軀幹特徵,其中該等外表特徵可為該等體表上之凸出點,而該等軀幹特徵可為該體表內之中心軸;在步驟S813中,依據該等外表特徵調整該樣板骨架之尺寸以產生該虛擬角色之該骨架,並將該骨架套疊至該等外表特徵;在步驟S814中,依據該等軀幹特徵將該骨架套疊至該體表內;在步驟S815中,依據該骨架之一骨頭附近之複數個網格點計算該骨頭之一封套範圍;在步驟S816中,依據該封套範圍計算該體表資料之複數個網格點相對該骨頭之一權重,該權重表示該骨頭在活動時該等網格點受該骨頭影響的程度;在步驟S817中,輸出該虛擬角色至如第1圖之顯示單元130及運算單元124之一,其中該輸出之虛擬角色包含關於其體表、骨架及兩者間關係之資料。在本發明之步驟S811~S817之後,將產生一可被操控之虛擬角色。接著,本發明進一步對上述虛擬角色進行操控。在步驟S821中,移動一定位用標記物而使其處於一真實空間中至少一第一真實位置;在步驟S822中,移動一控制用標記物而使其處於該真實空間中至少一第二真實位置;在步驟S823中,擷取該真實空間之影像;在步驟S824中,從該真實空間之影像中辨識出該第一真實位置及該第二真實位置、將該第一真實位置轉換成該虛擬角色在該虛擬空間中之一虛擬定位位置,以及將該第二真實位置轉換成該虛擬角色之一可動節點在該虛擬空間中之該虛擬目標位置。其中該虛擬目標位置與該虛擬定位位置之相對運動使得該虛擬角色在該虛擬空間中產生一連續動作。在一實施例中,動畫產生方法亦包括:自一真實模型上擷取影像資料、以該影像資料建構一虛擬模型、以及提供該虛擬模型之體表資料以供讀取。上述建構該虛擬模型之方法包括使用視殼演算法(visual hull algorithm)。在一實施例中,可使用反向運動學(Inverse Kinematics)而將該骨架套疊入該等外表特徵及軀幹特徵上。在一實施例中,本發明在步驟S815中提供之封套範圍可為雙層圓桶狀,且該封套範圍之一端為兩個去除外側半球後之同心半球,封套範圍之形狀與建立方式請參照第4A、4B圖及其相關說明。此外,步驟S816中計算網格點權重之規則可參照前文關於網格點權重計算單元116之說明。本發明之動畫產生方法亦包括在一步驟中(圖未示)顯示該虛擬空間及該虛擬角色,此步驟可利用一多視角動畫視訊合成技術將從複數個攝影機擷取之複數個視訊合成複數個立體視訊,而該多視角動畫視訊合成技術為一交錯式訊號合成方法及一並排式訊號合成方法之一,如前文所述。在一較佳實施例中,本發明之動畫產生方法可依照第8A圖及第8B圖中之步驟順序,但在其他實施例中,本發明之步驟順序不必以此為限。舉例而言,步驟S821~S824皆可同步進行,並將虛擬角色操控之結果即時顯示於螢幕上。
本發明雖以較佳實施例揭露如上,然其並非用以限定本發明的範圍,任何熟習此項技藝者,在不脫離本發明之精神和範圍內,當可做些許的更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
110...虛擬角色產生模組
111...讀取單元
112...分析單元
113...粗套疊單元
114...精套疊單元
115...封套範圍計算單元
116...網格點權重計算單元
117...輸出單元
118...模型建構單元
120...虛擬角色操控模組
121...定位用標記物
122...控制用標記物
123...視訊擷取單元
124...運算單元
125...多視角動畫視訊合成單元
130...顯示單元
1~8...攝影機
330...顯示單元
610...骨頭
620...封套範圍
622...起端內層同心球
624...起端外層同心球
626...終端內層同心球
628...終端外層同心球
RI ...內層封套半徑
RO ...外層封套半徑
RS I ...起端內層球半徑
RS O ...起端外層球半徑
RE I ...終端內層球半徑
RE O ...終端外層球半徑
S...起點端點
E...終點端點
S811~S824...步驟
第1圖為本發明一實施例之動畫產生系統示意圖;
第2圖為本發明一實施例之動畫產生系統詳細示意圖;
第3圖為本發明一實施例之立體顯示技術示意圖;
第4圖為本發明一實施例中利用模型建構單元建構虛擬角色體表資料之示意圖;
第5圖為外表特徵示意圖;
第6A圖及第6B圖為依據本發明一實施例之一骨頭及其封套範圍剖面示意圖;
第7圖為本發明一實施例中利用虛擬角色操控模組操控虛擬角色以產生各種動作之示意圖;
第8A圖及第8B圖為依照本發明一實施例之動畫產生方法示意圖。
110...虛擬角色產生模組
120...虛擬角色操控模組
121...定位用標記物
122...控制用標記物
123...視訊擷取單元
124...運算單元
130...顯示單元

Claims (27)

  1. 一種動畫產生系統,包含:一虛擬角色產生模組,用以於一虛擬空間中產生一虛擬角色,其中該虛擬角色具有一骨架及依附於該骨架之一體表,該骨架具有複數個可動節點,該等可動節點可被操控而該體表亦隨其牽引而相對運動;以及一虛擬角色操控模組,用以操控該虛擬角色之該等可動節點,包含:一定位用標記物,用以被使用者移動於一真實空間中而處於至少一第一真實位置;至少一控制用標記物,用以被使用者移動於該真實空間中而處於至少一第二真實位置;一視訊擷取單元,用以擷取該真實空間之影像;一運算單元,耦接該視訊擷取單元,用以從該真實空間之影像中辨識出該第一真實位置及該第二真實位置,並將該第一真實位置轉換成該虛擬角色在該虛擬空間之一虛擬定位位置,以及將該第二真實位置轉換成該虛擬角色之一可動節點在該虛擬空間之一虛擬目標位置,其中該虛擬目標位置與該虛擬定位位置之相對運動使得該虛擬角色在該虛擬空間中產生一連續動作,以及將對應該視訊擷取單元之畫面繪為一背景,並依照對應該視訊擷取單元之該虛擬定位位置在對應該視訊擷取單元之畫面上繪出對應於該定位用標記物之一指定物件並疊加於該背景之上,以繪製一擴增實境動畫視訊。
  2. 如申請專利範圍第1項所述之動畫產生系統,該虛 擬角色產生模組更包含:一讀取單元,用以讀取關於該體表之體表資料,並讀取關於一樣板骨架之骨架資料,其中該體表資料由複數個網格點組成,而該骨架資料包含該樣板骨架之各骨頭之幾何資料及彼此連動關係資料;一分析單元,用以分析該體表資料以取得該體表之複數個外表特徵以及複數個軀幹特徵;一粗套疊單元,用以依據該等外表特徵調整該樣板骨架之尺寸以產生該虛擬角色之該骨架,並將該骨架套疊入該等外表特徵;一精套疊單元,用以依據該等軀幹特徵將該骨架套疊至該體表之軀幹特徵;一封套範圍計算單元,用以依據該骨架之一骨頭附近之複數個網格點計算該骨頭之一封套範圍;一網格點權重計算單元,用以依據該封套範圍計算該體表資料之一網格點相對一骨頭之一權重,該權重表示該骨頭在活動時該網格點受該骨頭影響的程度;一輸出單元,用以將該虛擬角色輸出至該運算單元,其中該輸出之虛擬角色包含關於其體表、骨架及兩者間關係之資料。
  3. 如申請專利範圍第1項所述之動畫產生系統,其中該定位用標記物及該控制用標記物可為條碼(barcode),亦可為具有可被辨識的形狀、尺寸、色彩於其可視表面之物體。
  4. 如申請專利範圍第1項所述之動畫產生系統,其中 該視訊擷取單元為一攝影機,亦可是複數個攝影機。
  5. 如申請專利範圍第1項所述之動畫產生系統,其中該運算單元繪製之擴增實境動畫視訊可輸出至一顯示單元,亦可儲存在一儲存單元。
  6. 如申請專利範圍第1項所述之動畫產生系統,其中該指定物件可為一動作,亦可是一虛擬3D模型。
  7. 如申請專利範圍第2項所述之動畫產生系統,其中該粗套疊單元及該精套疊單元利用反向運動學(Inverse Kinematics)對該骨架進行套疊。
  8. 如申請專利範圍第2項所述之動畫產生系統,其中該等外表特徵為該等體表上之凸出點,而該等軀幹特徵為該體表內之中心軸。
  9. 如申請專利範圍第2項所述之動畫產生系統,其中該封套範圍為雙層圓桶狀,該封套範圍之一端為兩個同心半球。
  10. 如申請專利範圍第2項所述之動畫產生系統,其中該網格點權重計算單元計算規則包含:(1)一網格點在一骨頭之封套範圍之內層以內,則該網格點相對該骨頭之權重為完全影響,如數值1.0,表示該網格點在該骨頭活動時完全受該骨頭影響;(2)一網格點在一骨頭之封套範圍之外層以外,則該網格點相對該骨頭之權重為完全不影響,如數值0.0,表示該網格點在該骨頭活動時完全不受該骨頭影響;以及(3)一網格點在一骨頭之封套範圍內層與外層間,則該網格點相對該骨頭之權重隨著其與骨頭之距離由1.0至0.0 遞減,表示該網格點在該骨頭活動時受與該骨頭距離為參數之部分程度影響;(4)一網格點如經前述三規則皆無包含於任何骨頭之封套範圍內,則以距離為依據設定最接近之骨頭對該網格點之權重為完全影響,如數值1.0;(5)一網格點受到全數骨架之影響之權重數值形成一權重表格,該網格點之該權重表格之各數值需進行進行一正規化動作,此動作使得表格中各數值總和為1.0。
  11. 如申請專利範圍第2項所述之動畫產生系統,更包括一顯示單元,耦接至該運算單元,用以顯示該虛擬空間及該虛擬角色。
  12. 如申請專利範圍第5項所述之動畫產生系統,其中該擴增實境動畫視訊為一2D影像串流,亦可是一多視角影像串流。
  13. 如申請專利範圍第5項所述之動畫產生系統,其中該顯示單元為一平面顯示器,亦可為一多視角顯示器,亦可為一裸眼多視角顯示器。
  14. 如申請專利範圍第11項所述之動畫產生系統,其中該顯示單元,可以為一平面顯示器,亦可為一多視角顯示器,亦可為一裸眼多視角顯示器。
  15. 如申請專利範圍第12項所述之動畫產生系統,其中該多視角影像串流,其合成方法可為一交錯式訊號合成方法,亦可是一並排式訊號合成方法。
  16. 一種動畫產生方法,用以產生一虛擬角色於一虛擬空間中,其中該虛擬角色具有一骨架及依附於該骨架之一 體表,該骨架及該體表具有複數個可動節點;以及用以操控該虛擬角色之該等可動節點;該動畫產生方法包含:移動一定位用標記物而使其處於一真實空間中至少一第一真實位置;移動至少一控制用標記物而使其處於該真實空間中至少一第二真實位置;擷取該真實空間之影像;從該真實空間之影像中辨識出該第一真實位置及該第二真實位置;將該第一真實位置轉換成該虛擬角色在該虛擬空間中之一虛擬定位位置;以及將該第二真實位置轉換成該虛擬角色之一可動節點在該虛擬空間中之一虛擬目標位置,其中該虛擬目標位置與該虛擬定位位置之相對運動使得該虛擬角色在該虛擬空間中產生一連續動作,將擷取之該真實空間之影像描繪成一背景,並在虛擬定位位置描繪一指定物件疊加於該背景之上,形成一擴增實境動畫。
  17. 如申請專利範圍第16項所述之動畫產生方法,更包括:讀取關於該體表之體表資料,並讀取關於一樣板骨架之骨架資料,其中該體表資料為由複數個網格點組成之圖像資料,而該骨架資料包含該樣板骨架之各骨頭之幾何資料及彼此連動關係資料;分析該體表資料以取得該體表之複數個外表特徵以 及複數個軀幹特徵;依據該等外表特徵調整該樣板骨架之尺寸以產生該虛擬角色之該骨架,並將該骨架套疊入該等外表特徵;依據該等軀幹特徵該骨架套疊至該體表之軀幹特徵;依據該骨架之一骨頭附近之複數個網格點計算該骨頭之一封套範圍;依據該封套範圍計算該體表資料之一網格點相對一骨頭之一權重,該權重表示該骨頭在活動時該網格點受該骨頭影響的程度;以及輸出該虛擬角色,其中該輸出之虛擬角色包含關於其體表、骨架及兩者間關係之資料。
  18. 如申請專利範圍第16項所述之動畫產生方法,其中該指定物件可為一動作,亦可是一虛擬3D模型。
  19. 如申請專利範圍第16項所述之動畫產生方法,其中該擴增實境動畫可以為一2D影像串流,亦可是一多視角影像串流。
  20. 如申請專利範圍第17項所述之動畫產生方法,更包括使用反向運動學(Inverse Kinematics)而將該骨架套疊入該等外表特徵及將該骨架套疊至該體表之軀幹特徵。
  21. 如申請專利範圍第17項所述之動畫產生方法,其中該等外表特徵為該等體表上之凸出點,而該等軀幹特徵為該體表內之中心軸。
  22. 如申請專利範圍第17項所述之動畫產生方法,其中該封套範圍為雙層圓桶狀,該封套範圍之兩端為兩個削去外側半球之同心半球。
  23. 如申請專利範圍第17項所述之動畫產生方法,其中該網格點權重計算單元計算規則包含:(1)一網格點在一骨頭之封套範圍之內層以內,則該網格點相對該骨頭之權重為完全影響,如1.0,表示該網格點在該骨頭活動時完全受該骨頭影響;(2)一網格點在一骨頭之封套範圍之外層以外,則該網格點相對該骨頭之權重為完全不影響,如0.0,表示該網格點在該骨頭活動時完全不受該骨頭影響;以及(3)一網格點在一骨頭之封套範圍內層與外層間,則該網格點相對該骨頭之權重隨著其與骨頭之距離由1.0至0.0遞減,表示該網格點在該骨頭活動時受與該骨頭距離為參數之部分程度影響;(4)一網格點如經前述三規則皆無包含於任何骨頭之封套範圍內,則以距離為依據設定最接近之骨頭對該網格點之權重為完全影響,如數值1.0;(5)一網格點受到全數骨架之影響之權重數值形成一權重表格,該網格點之該權重表格之各數值需進行進行一正規化動作,此動作使得表格中各數值總和為1.0。
  24. 如申請專利範圍第17項所述之動畫產生方法,更包括顯示該虛擬空間及該虛擬角色。
  25. 如申請專利範圍第19項所述之動畫產生方法,其中該多視角影像串流,其合成方法可為一交錯式訊號合成方法,亦可是一並排式訊號合成方法。
  26. 一種多視角動畫視訊產生系統,包含:至少一標記物,用以被使用者移動於一真實空間中而 處於至少一真實位置;至少二視訊擷取單元,用以擷取該真實空間之各影像串流,並將各對應視訊擷取單元之各影像串流傳送至運算單元;一運算單元,耦接該至少二視訊擷取單元,用以從該多真實空間之影像中辨識出對應各視訊擷取單元之至少二真實位置,並將對應各視訊擷取單元之至少二真實位置轉換成虛擬空間之對應各視訊擷取單元之至少二虛擬位置;一多視角動畫視訊合成單元,耦接於運算單元之後將對應各視訊擷取單元之畫面繪為一背景;並依照對應各視訊擷取單元之至少一虛擬位置在對應各視訊擷取單元之畫面上繪出對應於該標記物之虛擬模型疊加於該背景之上;以已知特徵之立體方式合成對應各視訊擷取單元之疊加虛擬物後之畫面,並將繪製出之動畫視訊傳送至該多視角顯示單元。
  27. 一種多視角動畫視訊產生方法,用以合成多視角視訊及繪製虛擬物至該多視角視訊;該視訊產生方法包含:放置一標記物而使其處於一真實空間中至少一真實位置;以至少二視訊擷取單位,擷取對應各視訊擷取單位之該多真實空間之影像串流;從該多真實空間之影像串流中辨識出對應各視訊擷取單位之該至少二真實位置;將該至少二真實位置轉換成在該虛擬空間中之至少二虛擬位置;以及 一多視角動畫視訊合成步驟,其中以各視訊擷取單元擷取之影像為背景,分別疊加以對應於各視訊擷取單元之虛擬位置之虛擬物於對應背景上形成對應各視訊擷取單元之最終視訊,並以已知特徵之多視角視訊合成方式合成對應各視訊擷取單元之影像為一多視角動畫視訊結果。
TW099110520A 2009-12-29 2010-04-06 動畫產生系統及方法 TWI434227B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US29084809P 2009-12-29 2009-12-29

Publications (2)

Publication Number Publication Date
TW201123077A TW201123077A (en) 2011-07-01
TWI434227B true TWI434227B (zh) 2014-04-11

Family

ID=44187023

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099110520A TWI434227B (zh) 2009-12-29 2010-04-06 動畫產生系統及方法

Country Status (2)

Country Link
US (1) US8462198B2 (zh)
TW (1) TWI434227B (zh)

Families Citing this family (181)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8982122B2 (en) 2008-11-24 2015-03-17 Mixamo, Inc. Real time concurrent design of shape, texture, and motion for 3D character animation
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
US8320619B2 (en) * 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
KR20110070056A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3d 아바타 생성 방법 및 그 장치
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
WO2013189058A1 (en) * 2012-06-21 2013-12-27 Microsoft Corporation Avatar construction using depth camera
US8797328B2 (en) * 2010-07-23 2014-08-05 Mixamo, Inc. Automatic generation of 3D character animation from 3D meshes
US8949717B2 (en) * 2010-10-18 2015-02-03 Yehonatan Rafael Maor Method of controlling avatars
US8922547B2 (en) * 2010-12-22 2014-12-30 Electronics And Telecommunications Research Institute 3D model shape transformation method and apparatus
JP2012181704A (ja) * 2011-03-01 2012-09-20 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
WO2013048482A1 (en) * 2011-09-30 2013-04-04 Intel Corporation Mechanism for facilitating enhanced viewing perspective of video images at computing devices
TWI544447B (zh) * 2011-11-29 2016-08-01 財團法人資訊工業策進會 擴增實境的方法及系統
US8803916B1 (en) * 2012-05-03 2014-08-12 Sprint Communications Company L.P. Methods and systems for an augmented reality service delivery platform
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
US8918087B1 (en) 2012-06-08 2014-12-23 Sprint Communications Company L.P. Methods and systems for accessing crowd sourced landscape images
US20140035924A1 (en) * 2012-08-01 2014-02-06 Apollo Group, Inc. Trend highlighting
TWI571827B (zh) * 2012-11-13 2017-02-21 財團法人資訊工業策進會 決定3d物件影像在3d環境影像中深度的電子裝置及其方法
US20140160122A1 (en) * 2012-12-10 2014-06-12 Microsoft Corporation Creating a virtual representation based on camera data
US9294757B1 (en) * 2013-03-15 2016-03-22 Google Inc. 3-dimensional videos of objects
EP2969078B1 (en) * 2013-03-15 2021-06-23 Sony Interactive Entertainment Inc. User-generated recordings of skeletal animations
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US9177410B2 (en) * 2013-08-09 2015-11-03 Ayla Mandel System and method for creating avatars or animated sequences using human body features extracted from a still image
US9928874B2 (en) 2014-02-05 2018-03-27 Snap Inc. Method for real-time video processing involving changing features of an object in the video
US9451051B1 (en) 2014-02-13 2016-09-20 Sprint Communications Company L.P. Method and procedure to improve delivery and performance of interactive augmented reality applications over a wireless network
US10033992B1 (en) 2014-09-09 2018-07-24 Google Llc Generating a 3D video of an event using crowd sourced data
US9607573B2 (en) * 2014-09-17 2017-03-28 International Business Machines Corporation Avatar motion modification
EP3029635B1 (en) * 2014-12-05 2019-11-13 Dassault Systèmes Computer-implemented method for designing an avatar with at least one garment
US10116901B2 (en) 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10855632B2 (en) 2016-07-19 2020-12-01 Snap Inc. Displaying customized electronic messaging graphics
WO2018033852A1 (en) * 2016-08-14 2018-02-22 Uvic Industry Partnerships Inc. Real-time hand modeling and tracking using sphere-mesh models
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
CN108734758B (zh) * 2017-04-25 2021-02-09 腾讯科技(深圳)有限公司 一种形象模型配置方法、装置和计算机存储介质
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
KR20220141927A (ko) 2017-04-27 2022-10-20 스냅 인코포레이티드 지도-기반 소셜 미디어 플랫폼들에 대한 위치 프라이버시 관리
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US10679428B1 (en) 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
CN111417988A (zh) * 2017-07-28 2020-07-14 北奥拜勃工作室有限公司 用于实时复杂角色动画和交互性的系统和方法
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
CN107562195A (zh) * 2017-08-17 2018-01-09 英华达(南京)科技有限公司 人机交互方法及系统
US10102659B1 (en) 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
US20190122146A1 (en) * 2017-10-23 2019-04-25 Artificial Intelligence Foundation, Inc. Dynamic and Intuitive Aggregation of a Training Dataset
US10586368B2 (en) 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
CN107845129A (zh) * 2017-11-07 2018-03-27 深圳狗尾草智能科技有限公司 三维重构方法及装置、增强现实的方法及装置
WO2019095051A1 (en) * 2017-11-14 2019-05-23 Ziva Dynamics Inc. Method and system for generating an animation-ready anatomy
CN108055390B (zh) * 2017-11-22 2021-11-02 厦门瞳景智能科技有限公司 基于手机屏幕颜色确定其客户端对应id的AR方法和系统
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
CN114915606A (zh) 2017-11-29 2022-08-16 斯纳普公司 电子消息传递应用中的组故事
CN111386553A (zh) 2017-11-29 2020-07-07 斯纳普公司 用于电子消息传递应用的图形渲染
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US10726603B1 (en) 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
KR20240027845A (ko) 2018-04-18 2024-03-04 스냅 인코포레이티드 증강 표현 시스템
US10198871B1 (en) 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10656797B1 (en) 2019-02-06 2020-05-19 Snap Inc. Global event-based avatar
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
US10674311B1 (en) 2019-03-28 2020-06-02 Snap Inc. Points of interest in a location sharing system
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
KR20220133249A (ko) 2020-01-30 2022-10-04 스냅 인코포레이티드 온 디맨드로 미디어 콘텐츠 아이템들을 생성하기 위한 시스템
CN113345057A (zh) * 2020-02-18 2021-09-03 京东方科技集团股份有限公司 动画形象的生成方法、设备及存储介质
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
CN111652983A (zh) * 2020-06-10 2020-09-11 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及设备
US11356392B2 (en) 2020-06-10 2022-06-07 Snap Inc. Messaging system including an external-resource dock and drawer
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11470025B2 (en) 2020-09-21 2022-10-11 Snap Inc. Chats with micro sound clips
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5889532A (en) 1996-08-02 1999-03-30 Avid Technology, Inc. Control solutions for the resolution plane of inverse kinematic chains
US6088042A (en) 1997-03-31 2000-07-11 Katrix, Inc. Interactive motion data animation system
US6191798B1 (en) 1997-03-31 2001-02-20 Katrix, Inc. Limb coordination system for interactive computer animation of articulated characters
US6057859A (en) 1997-03-31 2000-05-02 Katrix, Inc. Limb coordination system for interactive computer animation of articulated characters with blended motion data
CA2349600C (en) 1998-12-28 2005-02-08 Fujitsu Limited Three-dimensional skeleton data error absorbing apparatus
US6522332B1 (en) 2000-07-26 2003-02-18 Kaydara, Inc. Generating action data for the animation of characters
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
JP2002319036A (ja) 2001-02-13 2002-10-31 Sega Corp アニメーション生成プログラム
JP2003058907A (ja) 2001-08-09 2003-02-28 Univ Tokyo 木構造リンク系のポーズ及び動作を生成する方法
US7202869B2 (en) 2003-01-07 2007-04-10 Lucasfilm Entertainment Company Ltd. System and method of creating and animating a computer-generated image of a creature
US20110148858A1 (en) * 2008-08-29 2011-06-23 Zefeng Ni View synthesis with heuristic view merging
US8253746B2 (en) * 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions

Also Published As

Publication number Publication date
TW201123077A (en) 2011-07-01
US20110157306A1 (en) 2011-06-30
US8462198B2 (en) 2013-06-11

Similar Documents

Publication Publication Date Title
TWI434227B (zh) 動畫產生系統及方法
JP7001841B2 (ja) 画像処理方法及び装置、画像デバイス並びに記憶媒体
KR101424942B1 (ko) 이미지 프로세싱을 기반으로 한 3d 공간 차원용 시스템 및 방법
Achenbach et al. Fast generation of realistic virtual humans
TWI521469B (zh) Two - dimensional Roles Representation of Three - dimensional Action System and Method
WO2020054442A1 (ja) 関節位置の取得方法及び装置、動作の取得方法及び装置
CN108780586A (zh) 图像处理方法、显示设备和检查系统
WO2022205762A1 (zh) 三维人体重建方法、装置、设备及存储介质
JP2004537082A (ja) 仮想現実環境における実時間バーチャル・ビューポイント
CN109829976A (zh) 一种基于全息技术实时表演方法及其系统
JP5812665B2 (ja) 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
TW201238326A (en) Real-time interactive 3D entertainment device and 3D replication
CN113421328B (zh) 一种三维人体虚拟化重建方法及装置
Kurillo et al. A framework for collaborative real-time 3D teleimmersion in a geographically distributed environment
Vasudevan et al. A methodology for remote virtual interaction in teleimmersive environments
Anvari et al. 3D human body pose estimation in virtual reality: a survey
WO2018173205A1 (ja) 情報処理システム、その制御方法、及びプログラム
CN109872371A (zh) 一种基于改进Sift算法的单目视觉三维重建方法
JP2023156940A (ja) 画像処理装置、画像処理方法及びプログラム
JP2022027395A (ja) 姿勢推定学習システム、姿勢推定学習方法及び機械学習用データの作成プログラム
Magnenat-Thalmann et al. VIRTUAL MIRROR: A real-time motion capture application for virtual-try-on