TW200841736A - Systems and methods for providing personal video services - Google Patents

Systems and methods for providing personal video services Download PDF

Info

Publication number
TW200841736A
TW200841736A TW97100677A TW97100677A TW200841736A TW 200841736 A TW200841736 A TW 200841736A TW 97100677 A TW97100677 A TW 97100677A TW 97100677 A TW97100677 A TW 97100677A TW 200841736 A TW200841736 A TW 200841736A
Authority
TW
Taiwan
Prior art keywords
video
face
model
participant
video conferencing
Prior art date
Application number
TW97100677A
Other languages
English (en)
Inventor
Charles P Pace
Original Assignee
Euclid Discoveries Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Euclid Discoveries Llc filed Critical Euclid Discoveries Llc
Publication of TW200841736A publication Critical patent/TW200841736A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Telephonic Communication Services (AREA)
  • Processing Or Creating Images (AREA)

Description

200841736 九、發明說明： 【發明所屬之技術領域】 本發明係有關處理視訊的系統及方法，尤其是提供多 項視訊壓縮方式，藉以減少在視訊會議或視訊部落格應用 中儲存並傳送數位媒體所需要的位元數。 【先前技術】 隨者數位視訊在近年來的激增流行，對於視訊壓縮處 理的需求亦急遽上升。視訊壓縮可減少儲存並傳送數位媒 體所需要的位元數。視訊資料含有空間及時間的冗餘性， 亚且可藉由註記在一訊框之内（空間）和在多個訊框之間（時 間)的差異，以對這些空間及時間類似性進行編碼。執行壓 細的硬體或軟體稱為編解碼器（編碼器/解碼器，「」）。 編解碼器是-種能夠對_數位信號執行編碼處理及解碼處 理的裝置或軟體。隨著資料密集的數位視訊應用變得無所 不在’因此亦需能夠更有效率地進行信號編碼。從而，視 汛壓縮現已成為一種在儲存及通訊技術方面的中心元件。 編解碼器通常是運用於許多不同的技術面，像是視訊 會議、視訊部隸及其他的串流媒體應用項目，即如視訊 播客（podcast)。一般說來，視訊會議或視訊部落格系統可 提供即時性的音訊及視訊串流的數位壓縮。而視訊會議和 ㈣部落格的其中-項問題即在於許多參與者會受到外觀 感見的影響。不過’在螢幕上呈現一可接受外觀的負擔對 於僅為音訊之通訊而言則並非問題。 視訊會議及視訊部落袼的另 一問題是在於資訊壓縮可 6 200841736 能導致視訊品質降低。壓縮比是視訊會議方面最重要的因 素之-，原因在於壓縮比愈高，即可愈快速地傳送視訊會 嘬貢訊。不幸地，藉由傳統的視訊壓縮方式，壓縮比愈高， 視訊品質就愈低。通常，經壓縮之視訊串流會導致劣化的 影像及不佳的聲音品質。 -般說來，傳統的視訊壓縮方式會受到_ ♦、、、 --XvV jnj 題所影響，這些是以緩慢的資料通訊速度、魔大的儲存要 求以及惱人的感知效果之形式所展現。這些阻礙可 種需要能夠簡易且有效率地操縱視訊資料而又益 質的使用者造成嚴重問題，就人們對某些形式之視覺資: 具有先天敏感性而言，這確實會特別地重要。 、 在視訊壓縮裡，通當合去旦Μ & ^ 遇㊉曰考里的數項關鍵因素，JL包含· ;=質及位㈣、編碼及解碼演算法的計算複雜度： 敗貝；、'、漏失及錯决的強固性、以及延宏性。隨著在網際網 爲 且不僅是傳至電腦，而且亦 ^電广行動電話及其他手持式農置，故-種能夠大幅 破以咖題或是改善品質的技術可呈現一項顯著突 【發明内容】 之^提供用於處理視訊以建立優於現有業界的最新方法 “及：析優點的系統及方法。提供多項視訊 错以減少在視訊會議或視訊部落袼應用中儲存並傳送 數位媒體所需要的位元數。可建t 、、 u j建立—視訊會議參與者的寫 只化身（photorealistic avatar)表現。兮 / 备 ^矿見8亥化身表現可為基於描 7 200841736 繪該會議參與者之視訊串流的多個局部而定一物件式視 f壓縮^算法可利用—臉部偵測器，像S Vi〇Ua_I_s臉 Η貞測以偵測、追蹤及分類該會議參與者的臉部。可 根據㈣得之臉部’併同用於—般臉部之預定義物件模型 的°主5己’以建立對於結構、變形、外觀及照明的物件模型。 可利用這些物件握开】 杳 牛杈孓以建立一内隱（implicit)表現，並因此 產生該視訊會議參與者的寫實化身表現。 坆種描述可為該視訊會議參與者之臉部的一個栩栩如 勺（ifehke)版本。就以該使用者之外觀及表情而言可能 ^精確的。可騎經原始捕捉之純的其它部份，而且可 ，由車乂低&確性的方式描緣。可按每位獨特使用者執行一 化二f進仃一間M的校調期間。這可讓該系統能夠初始 化《縮演算法’並且建立該等物件模型。最好是，後續 的視訊會議會期不需要額外的校調作業。 痴，右是使用者要求一如傳統視訊描繪般忠實的視訊表 貝1亥系統可要求進行一額外校調週期以調整該等所儲 型，俾更佳地符合該使用者的外觀。㈣，該使用 "好利用一較佳物件模型，而非目前的物件模型。哕 較佳模型可為該使用者的苹 ^ 们杲種有利表現，例如一按該使用 模型：照及較整潔之外觀的校調期間。另一較佳物件 的既已對其臉部進行「光照調整」且「平滑化」 广兩者處理步驟，藉此獲致該主題的一「較高品 貝」表現。 可利用客戶端/伺服器的架構提供一視訊會議/部落格 8 200841736 系統。位於客戶端處之使用者可啟動一視訊會議會期，並 經由利用一攝影機及一頭戴耳機進行通訊。可產生出各個 使用者之臉部的寫實化身表現。所建立之寫實化身表現可 為一該視訊會議參與者之臉部的内隱表現。 【實施方式】 底下將說明本發明之具體實施例範例。 复勿件;1¾刑 f \ 像 在視訊信號資料裡，會將視訊訊框組合成一序列的影 該視訊的主題通常係一經投射於該攝影機之二維成影 ，面上的三維場景。在合成產生的視訊的情況下，利用— ^虛擬」攝影機以進行呈現：並且在動畫的情況下，該動 晝模擬器係執行管理此攝影機參考訊框的角色。各個訊框 或影像是由多個圖像元素（pe卜像素）所組成，該等像素代 表對於所取樣信號的成像感測器的響應。通常，所取樣信 =對應於—些經反射、折射或發射之能量（即如電磁、聲音 專等）’而透過該攝影機之元件在—個二維感測器陣列上所 取樣。:連續性㈣取樣係產生在_空間_時㈣料串流， 此者在每個訊框裡具有兩個 ..,,^ , 工間、准度，並且具有一對應於 ;^視訊序列内之次序的時間維度。此處理通常稱 馬 成像」處理程序。 成_ =明提供一種可藉此將視訊信號資料有效率地處理 3夕個有利的表現方式。本發明可有效率地處理許多 訊信號内經常出現的資料集合。可對該視訊 订刀析，亚且提供該資料的—或多個精簡表現，藉以有助 9 200841736 於其處理及編碼作業。各個新的、更精簡資料表現可供減 少對於許多應用項目的計算處理、傳輸頻寬及儲存要求， 這些包含，然不限於此：該視訊信號的編碼、壓縮、傳輸、 分析、儲存及顯示處理。可將該信號之雜訊及其他不欲的 部分識別為較低優先權I’因此進一步處理可為聚焦於分 析並表現該視訊信號的較高優先權部分。從而，該視訊信 號可相較於先前可能者而更為精簡地表現。㈣，精確 漏失可集中在該視訊信號裡感知上較不重要的部分。 即如於2006年1月20日所申請之美國專利申請案第 1 1/336,366號、以及於謂年"23日所中請，標題為 「用於處理影像資料的電腦方法與裝置」之美國專利申請 案第*號（律師案f虎4_.1009__)案所述，兹將該等專利 案依其整體教示而按參考方式併人本案，對視訊信號資料 進行分析並且識別出明顯成份。該空間_時間串流的分析可 顯露出通常為特定物件的明顯成份，像是臉部。該識別處 理程序可評核該等明顯成份的存在性與顯著性，並且選擇 該等合格的明顯成份之一或多個最顯著者。這並不限制在 目前所述的處理之後或同時對其他較不明顯成份所進行的 識別及處理。然後進-步分析前述明顯成份以識別出變動 及不變子成份。該不變子成份的識別作業是將該成份之部 份特點加以模型化的處理程序’藉此顯露出該模型的參數 化結果’而能夠將該成份合成至—所欲之精確程度。 在-具體實施例裡，可將PCA/小波編石馬技術又施用於一 經預處理的視訊信號以構成一所欲之壓縮視訊信號。該預 10 200841736 處理可按一能夠更有效率地施用該主要成份分析（PCA)/小 波編碼（壓縮）之方式來減少該視訊信號的複雜度。在共同 申請的於2006年1月20曰申請之美國專利申請案第 1 1/336,366號以及於2007年1月23日申請，標題為「用 於處理影像資料的電腦方法與裝置」之美國專利申請案第 *號（律師案號406〇1〇〇9_〇〇〇)案中即詳細地討論該pCA/小 波編碼處理。 圖1係一具體實作本發明原理之範例影像處理系統1 〇〇 的方塊圖。一來源視訊信號1〇1被輸入至一預處理器1〇2， 或疋被其所接收。該預處理器1 02利用頻寬消耗或其他標 準，像是臉部/主題偵測器，以決定在該來源視訊信號1〇1 之内的所欲成份（明顯物件）。尤其，該預處理器丨〇2可判 斷出，相對於在該視訊信號1〇1之内的其他局部，而在該 視汛信號中使用不成比例之頻寬的局部。一種用以作出此 判辦之分段器1 〇3的方法可如下述。 °亥分段為1 03可利用在像素的導數上之時間及/或空間 差以分析一在時間及/或空間上的影像梯度。為進行連貫監 、目的會追‘並注圮跨於該視訊信號之循序訊框上而 彼此相對應的視訊信號部分。可將與這些連貫信號成份相 關％之導數場域的有限差異加以積分，藉此產生在該視訊 L號中相對於其他局部而使用不成比例頻寬的所判斷出的 局。卩（亦即決定所欲成份）。在一較佳具體實施例裡，若發 現在-訊框中之-空間*連續性係對應於在—後續訊框内 的一空間不連續性，則會分析該影像梯度之突兀性或平滑 11 200841736 性以產生一唯一對應性（時間連貫性）。此外，亦按相同方 式運用4等對應性的集μ，藉以唯_地標定該等視訊訊框 之離f成份的時間連貫性之屬性。對於-突兀影像梯度， 可判斷存在有一邊緣。若存在有兩個此等定義空間不連續 I4生，邊緣’則存在有一角落。可將這些所識別出之空間不 連續性與該梯度流組合，而如此可跨於該視訊資料之訊框 而產生相對應像素間的移動向量。當一移動向量與一經識 別之空間不連續性相重合時，本發明之分段器1Q3即判斷 存在一所欲成份（明顯物件）。 其他的分段技術亦可適合於實作該分段器103。 ^現回到圖1，一旦該預處理器102 (分段器103)已決定 及7奴成份（明顯物件），或是自該來源視訊信號將該 者分段之後，-標準化器(η—)105減低該所決定之 所欲成份的複雜声。# Β — 旻雜度取好疋，該標準化器1〇5可自該所決 疋^所欲成份移除整體運動及姿態、整體結構、局部變形、 外觀及照明的—1松 i 二 7义…〖生。可為此目的而運用在本揭之相關專 利申。月案中敘述的標準化技術。這可在該標準化器⑻中 名又以建立物件模型Μ象是該所欲成份的結構模f 1 及外 觀模型108。 該結構物件模型1〇7可按數學方式表示如下： x，y = + (等式 1) 其中G為該明顯物件（經決定之所欲成份），並且SM() 為該物件的結構模型。 12 200841736 'y為在該物件σ上而隨時間所註記之片段狀線性正 規化網格（regularized mesh)的2D網袼頂點。 ’這表示該物件於視訊 旋轉及平移；而 △ t為在時間上於頂點上的變化 訊框之間的比例調整（或局部變形）、 Z為整體的移動。
從等式！的整體的剛性結構模型，可導算出該模型的 整體運動、姿態及局部導出的變开[可運用多項用以自運 動而估計-結構的已知技術，並且合併於運動估計以決定 對於該結構部份的候選結構（該視訊訊框在時間上的所欲成 份）。运可獲致定義該明顯物件在空間中的位置及指向，並 因此提供一結構模型1〇7及一運動模型Ul。 +該外觀模型108可表現在該明顯物件裡並未被該結構 杈型107及運動模型i"集合地模型化的特徵與特點。在 -具體實施例裡，該外觀模M 1〇8係一結構在時間上之變 化的線性分解，並且是藉由自該結構模型1〇7中移除整體 運動#局邓艾幵v所定義。本案申請人在各個視訊訊框處取 得物件外觀，並且利用該結構模型丨〇7而重新投射至一「標 準化安態」。言亥「標準化姿態」又將稱為一或多個「基本 的（cardmal)」姿態。該重新投射代表該物件之一標準化版 本’並可產生外觀上的任何變化。當該給定物件在視訊訊 框之間鉍轉或空間平移時，會將外觀定位於單一基本的姿 態内（亦即平均標準化表現）。該外觀模型1〇8亦負責處理 基本的安怨的基本的變形（即如眼睛張開/閉合、嘴部張 開/閉合等等）。如此，該外觀模型108 ΑΜ(σ)可按如基本 13 200841736 的姿態p。和在基本的姿態Pe内之基本的變形所表示 (等式2) 在該外觀模型1G8内的像素最好是根據其相對於攝与 機投射軸之距離和人射角度而加以偏移。此偏移決定 別像素對-模型之最終列式的貢獻之相對權值。因此，最 好^將此「取樣偏移」列入為所有模型處理上的因素。: 在N·間上（自該結構模型107)追蹤該候選結構可構成或提 供所有像素因來自姿態、運動及變形估計之牵連而致生的 運動預測結果。 士此外，對於外觀及照明模型化處理而言，影像處理的 知績性挑戰之一即是在變動光照條件下進行物件追蹤。在 衫像處理中，對比標準化是一按歸因於光照/照明變化，而 非歸因於其他因素，以將像素強度值之變化加以模型化的 處理程序。較佳具體實施例估計一明顯物件在照明條件下 的任意變化，而該視訊係於此條件下所捕捉到（亦即模型 化、入射於該物件上的照明）。這可藉由結合來自 「Lambertian反射線性子空間（LRLS)」之原理與光學流而 達成。根據該LRLS原理，當一物件為固定時—最好是 僅對於照明變化，反射影像的集合可由前九個球型諧波的 線性組合所近似；因此，該影像位在靠近一週遭「影像」 向量空間内的9D線性子空間。此外，可藉由下式以近似 一影像像素（x，y)的反射強度： 取Σ Z /办⑻， /=0,1,2y=-/, -/+1.../-1,/ 14 200841736 利用LRLS及光學流，可計算出期雙 Μ呈、、、口果，以判斷弁 照如何地與該物件進行互動。這歧期望姓里 ^結果可^限制能 夠解釋在該光學流場域内之變化的可能物件運春 “矛1]用 LRLS來描述該利用照明模型化之物件的外觀护， 守’仍有必 要讓一外觀模型能夠處置任何可能落於該照明模型預 外的外觀變化。 “之 該外觀模型108及該結構模型1〇7的其他數學表示、 為適用的，只要能夠從相對應之原始視訊信號大幅地= 所欲成份的複雜度而同時又能維持所欲成份的明顯性即 可。 Ρ 現回到圖i，然後由該分析器11G對該結構物件模型W 及該外觀物件模型108施以PCA/小波編碼。更廣義地，1 分析器110可運用一幾何資料分析以壓縮（編碼）對應於= 等所欲成份的視訊資料。可在圖2的影像處理系统中利用 該所產生之經壓縮（編瑪）視訊資料。尤其，可將這些物件 模型107、108儲存在圖2的編碼及解碼侧232、236。可 自該結構模型1〇7及該外觀模型1〇8產生—有限狀態機。 亦可按一傳統小波視訊編碼解碼方式以實作這些傳統的編 碼232及解碼236處理。 、 將在兩側232 1 236 i PCA施用編碼處理於該經標準 :的像素資料，這可在兩側232、236上建構出相同的基 礎向量集合。在一較佳具體實施例裡，於影像處理過程中 :將PCA/小波施用於該基礎函數上，藉以產生所欲的經壓 縮視訊資料。小波技術（DWT)係轉換整個影像及子影像， 15 200841736 並且線性分解該外觀模型1 08及該結構模型1 〇7，然後緻 雅地切截此經分解的模型，藉以符合所欲之門檻值目標（又 稱為EZT或SPIHT)。這可提供一種可調性視訊資料處理， 而異於因該視訊資料之「標準化」本質的先前技藝系統/方 法0
即如圖2所示’在該未經壓縮的視訊串流内對於該等 一或多個物件230、250的先前測得的物件實例分別藉一 傳統視訊壓縮方法232的個別實例而處理。此外，亦利用 傳統視訊壓縮232將獲自於該等物件23〇、25〇之分段的 非物件202加以壓縮。這些個別壓縮編碼232的結果係對 方；为別對應於各視訊串流之各者234的個別傳統編碼串 机在某一呤點處，可能是在傳輸之後，於該解碼器236 處將這些中間編碼串流234解壓縮（重建）為一標準化非物 件210及多個物件238、258的合成結果。這些經合成的 像=可被解標準化24〇為其解標準化的版本， ^空間上相對於彼此精確地定位該等像素，因而一組合處 理270可將物件及非物件像素合併為該完整 A从田 “口
係說明該視訊會議寫實化身 的步 1只…a度王乐既300所進行 格袁盘者=圖°此系、统3GG建立—視訊會議或視訊部落 自該視訊現。即如圖3所示，在步驟3°2， 視訊會議= 一或多個視訊訊框中债測到該等 > 者之一者的臉部。該臉部係利用該vi〇ia_ 16 200841736 Τ::測器(或任何其他臉部偵測器)所測得。 在步驟304,該系統3〇〇係 經校調。若並無現有校調資訊，則备在：：於先刖疋否既 進行校調。該校調資訊可包含有二306對該臉部 心為何處的”位置二 臉部指向(指明臉部中 外觀和照^
噹Hi生 犯0式—維可塑形模型及LRLS :#Γ ::構'變形、外觀和照明資訊以導算出這- ( ί 二=型可如於2_年1月20曰申請之美國專;; 6號、以及於胸年1月23日申請， IS二=Γ資料的電腦方法與裝置」之美國專 Γ 律師案號侧·_·_)案中所討論者， :二寺依其整體教示而按參考方式併入本案。亦可利用 的已知模型化技術以決定這些參數，像是三維可塑形 化、主動外觀模型等等。可利用這些近似結果 =臉部的姿態及結構1及W之各訊框的該昭明 件。-旦已分析出對於該個人之臉部的結構、變 觀和照明基礎（即如校調資訊），則在步驟308即可利用這 些明示模型以偵測、追蹤並模型化該個人的臉部。 k 刀在步驟310，可利用這些參數（即如結構、變形、外觀 ^妝明基礎）以初始化該内隱模型化。該内隱模型化相對於 獲自該明示模型化之資訊以建構其模型，並且提供該個人 之臉部的精簡編碼。可利用該等獲自於該明示模型化之參 數以作為一對於估計該内隱模型的基底事實。例如，可利 用該等明示模型化參數以建構有關於光照如何地與該臉邛 17 200841736 之、纟η構進行互動的期望結果，然後對該臉部取樣，而這些 限制項可對該内隱演算法提供一限制搜尋空間的手段。在 步驟3 12 ’利用該内隱模型對該個人的臉部進行偵測、追 5攸且刀㉙’並且產生一寫實化身表現。利用該内隱模型化 產生的況忙比起明示模型而言每個訊框可使用較少的編 碼處理，亚且需要較少的參數。該寫實化身表現係該會議 芩2者之臉部的合成表現（即如一代理化身）。該合成表現 心貝度之範圍可自該原始視訊捕捉中的參與者的忠實表 現，一直到由一先前校調期間所支援的表現。 該系統300執行週期性檢查，藉以確保其模型化確係 以實際近似結果為基礎。因此，在步驟314，該系統_ 檢，以確認其内隱物件模型化是適當地運作。若對某一時 間里而吕该再投射誤差為低的話，則該系統可判斷該内隱 物件模型^為運作令。而若該再投射誤差為低的並且有顯 者的運動量，則可能該内隱物件模型化正適當地運作中。 然若該再投射誤差為高的，則該系統300可判斷該内隱模 型化亚未最佳地運作。同樣地，若該系統_偵測到：不 地運作。 …糊该内隱模型化並未最佳 若經判斷該内隱模型並未作用，則在步 統3〇〇檢查以判斷是否傾測到一臉部。若可偵測^該系 則在步驟3°4’該系統3°°尋找對於該臉部的現有：部’ 訊’亚且據此進行。而若無法相到臉部 〇周貧 到步驟302,藉以利用該Vi〇Ia_J〇 亥系統前進 臉。㈠貞測器來侦测臉 18 200841736 部。 在另一較佳具體實施例裡，本發明利用該明示模型化 以重新建立内隱模型化。該明示模型化重新建立起該等為 了重新初始化該内隱模型所必要的模型參數。而若該明示 模型化並無法重新建立該參與者的模型化，則執行牵涉到 運行該臉部偵測器的完整重新建立作業。 應注意到該臉部偵測進程可利用内隱模型化以進行校 調作業。在此情況下’是利用該内隱模型以「校調」該明 :模型。然後，該明示模型開始進行其處理，而這也會接 著導引至該内隱模型的初始化作業。 此週期性檢查可讓該系統300能夠再確認如此實際上 是在將一真實物件（人類臉部）模型化，並且令該系統T300 週期性地重置其設定值。此配置可提供—種在該臉部摘測 器402、校調器404、明示模型化器4〇6與内隱模型化器*⑽ 之間的緊密搞接性。按此方式，即可週期性地利用來自該 明不杈型化器406的回饋以重新初始化該内隱模型化器 408。圖4中顯示一說明本系統之範例實作的方塊圖。 直Α化身偏妊 該寫實化身產生系統300可對會議參與者提供—偏好 主置，藉以令其視訊會議體驗更為愉快。例如，一會議來 與者可廷擇一偏好以要求其寫實化身表現總是直視著攝影 機使得該化身表現看似直視著其他的會議參與者。由= 所運用之核型化可供重新設定任何模型相對於一虛擬攝与 機的姿態，因此可補償對於非共置之攝影機及監視器為2 19 200841736 要的凝視調整。該合蟻炎纟 型。藉由選擇一致的二=擇一㈣ 更有效率的壓縮版本的視先甚至能夠提供 予員定義之背景或是一低::产:直旦該=:為-經 校調過程中，該會_1 =的^月景。在臉部偵測及 與者亦可在其寫實化身表現之内自 ::個人屬性相關聯的特性，像是移除皺紋、選擇髮型/ 效果、選擇穿著等等。 、详及型/ 藉由提供該會議參愈者官奋外包叙 扭也+ 我…考寫貝化身表現’該系 '统3〇〇可 一在傳統視訊會議系統中並非典型可獲㈣另— 王性。尤其，由於該寫實化身表 曰女 現係—合成表現’因此該 與者亚不需要擔心、其他的會議參與者知悉潛在機穷 =件像Γ?參與者在該視訊會議過程之中所觀看的機 :、者疋其他可能藉由觀看其中該視訊會議所記錄 斗寸疋％境而推導出的機密資訊。 議糸繞 ㈤A係σ兒明一利用一非同步或近似同步視訊會議伺 =騎❹、统’的範例之圖式。在此範例裡顯示一個 声2、、、罔路，其中具有該即時傳訊伺服器502以及兩台客 :端機器504、·。—坐在各機器5()4、5()6處的❹者 此2啟動—視訊會議會期，而透過使用一攝影機與一頭戴 2機進行通訊。各使用者臉部的寫實化身表現將會出現在 σ使用者的面前。此一描繪係欲在該使用者的外觀及表情 方面為精確無誤。而該原始捕捉的訊框的其它部份則將最 20 200841736 好是按一較低精確度所描絡。# 個唯一使用者執行…欠之：―間短的校調會期將會按每 初始化該壓縮渾曾法並且逮式而進行。這可讓該系統能夠 合期將可益Γ 、’建立物件模型。後續的視訊會議 := 無需進行額外的校調作業。各個使用者可按 乂換认序以播放」該非同步通1戽列,.々 者可根據使用者輸入、用 進行合期卞袢 、、j的活语或一些其他的線索以 r 錄。此外，此互動可供進行多項同時「交談」， 而無在全同步情境中可能會出現的「中斷」。 該非同步或半同步傳㈣統環境5⑽提供 :者能夠藉此而彼此互動的手段。此為重要的可用性要 素。該即時傳訊會期转點i, θ肩特點可讓使用者能夠「編輯」其本身 =見訊’並且在將其「發送」至另一側之前加以檢視。關 :在於存在有—控制特點並且減少頻寬。亦可利用該等編 耳及扰寸點以產生「較高」品質的視訊分段，而能夠稍 後為其他目的所運用(例如藉由關聯在該視訊裡的音素 =h_me)或音訊片語樣式’可藉由利用被縫連在一起的「先 刚」分段以提供一視訊會期而無須攝影機）。 、圖5B係說明一視訊會議/部落格系統54〇之範例的圖 式在此耗例裡，該等客戶端系統551連接於一應用程式 伺服器556，此者主置有圖3及4所參照的寫實化身產生 系統300。該應用程式伺服器556可在該物件模型檔案Μ* 中儲存有先前產生的物件（密度、結構、外觀、照明等等） 模型552。這些物件模型552係被建立，藉以產生該系統 54〇之使用者的寫實化身表現，即如前文圖3及4所述者。 21 200841736 ==表現可對該視訊部落格(vi〇gs) 558而送 主通寻各戶端電腦551。 環璟 位产^:明―其中本發明可實作的電腦網路或類似的數 ==Γ該(等)客戶…^ 挺"ί/、執行應用程3望望 完 + 、、、处理、儲存及輸入/輸出裝置。 。亥（寻）各戶端電腦/裝 其他計苜壯罢^ 通汛網路70而鏈結至 十，衣，匕含其他的客戶端裝置/處理50及伺服哭 電腦60。該通訊_ 7〇可為 及们服為 〇, . U ‘存取網路、一全碰網 路（例如網際網路）、一令世灭千w 王球、、、罔 以及目-佔田/ 界电驷集組、區域或廣域網路 目刖使用個別協定（Tcp/Ip、鸫 ^ 部分，以與另一者進行通訊。 子、之馬道裔的- 構亦可適用。 ^他的電子叙置/電腦網路架 二7::: 6的電腦系統中之電腦(例如客戶端處理器 的入有季續Γ電腦60)的内部結構圖式。各台電腦50、 用以在：准“"9,其中-匯流排係-組硬體線路， 用以在一電腦或處理系統的多個元件之間進行傳送資料 該匯流排79基本上為-共用管道，2傳达貝料。 的不同構件（例如處理器、磁碟 妾一電腦糸統 蜂、網路連接璋等等），可供於今等H衣置、輸入/輸出連接 接附於該系統匯流排79者為輸入之間進行資訊傳送。 以供將夂# 者為輸入7輸出⑽）農置介面82， 仏將口式輸入及輸出裝置（即如鍵盤、 …。 表機、°刺°八等等）連接至該等電腦50、6〇。心、印 可讓該電腦能夠連接至各種其他接 路=)1面86 、、两路（例如圖6的 22 200841736 網路70)的裝置。該記憶體9〇提供用以實作本發明具體實 施例（例如個人視訊服務）之電腦軟體指令92及資料94 = 揮發性儲存。該磁碟儲存裝置95係提供對於用以實作本 發明具體實施例之電腦軟體指令92及資料94的非揮發性 儲存。該中央處理單元84亦接附於該系統匯流排79，並 且供以執行電腦指令。 亚
# 在一具體實施例裡，該等處理器副程式92及資料料 係-電腦程式產品，其含有—電腦可讀取媒體（例如可移除 儲存媒體，像是一或多個DVD_R〇m、CD_R〇M、軟碟于 石等）’而可提供本發明系統之至少—部分軟體指令。' 電腦程式產品可為由任何適當軟體安裝程序所安裝，即如 Τ界所眾知者。在另-具體實施例裡，至少-部分的軟體 指令亦可為透過-電麗線、通訊及/或無線連接而下載。^ 其他具體實施例裡，本發明的程式係於一傳播媒體 二傳播信號上所具體實作的一電腦程式傳播信號產品(即如 電波、一紅外線波、-雷射光波、-音波、或者一 在像是網際網路之+姑、έ欠 王球，·周路或其他網路上所傳播的電波）。 荨載何媒體或信號可提供本發明的副程式/程< 9 少一部分軟體指令。 、至 2代性具體實施例裡，該所傳播信號係一 傳播媒體上的數位信號。例如，該所傳播信二 ° 王球網路（即如網際網路）、一電f1儿 路上所傳播的-數位化信號。在一)具體::路或其他網 播信號係在一時段上诱 -貝⑪列裡，5亥所傳 “又上透過该傳播媒體所傳送的一信號，像 23 200841736 是一軟體應用程式的指令而在—數毫秒、數秒、數分鐘或 更長之時段上於一網路上以封包來發送。在另一具體實施 例裡’該電腦程式產品的電腦可讀取媒體係—傳播媒體， 而》玄電月自系統可接收並讀取，像是藉由接收該傳播媒體並 識別出在該傳播媒體中所具體實作的被傳播的信號，即如 前文對於電腦程式傳播信號產品所敘述者。 一-：說來，該詞彙「載荷媒體」或暫態性載體係涵蓋 刖迷暫性域、傳播信號、傳播媒體、儲存媒體等等。 本發明雖既已特定地參照於其較佳具體實施例而顯干 及敘述，然熟諳本項技藝之人士將能瞭解確可於其内
口種在形式及細節上的戀化，而尤從IdL P的又化而不致•障離由後載申請專利 範圍中所涵蓋的本發明範圍。 例如，可按各種電腦架構以實作本發明。圖Ml L及7中所述電腦網路係為示範之目的，而非本發明的限 制。 本發明可採行一全硬體的且髀者 .尺士 ，、且只轭例、一全軟體的具 :…或一含有硬體及軟體構件兩者之具體實施例的开; 式。在-較佳具體實施例裡，本發明係按軟體所實作1 者含㈣體、常駐軟體、微程式碼等等，然不限於此。 此外，本發明可採行-可自提供程式碼之電腦可使用 ::腦可讀取媒體存取的電腦程式產品之形式，而供由一 ” 執仃純使用 '或供與其連接 何指令執行系統使用。為此說 一
Ail目的，一電腦可使 电腦可讀取媒體可為任何能夠含 一 储存、傳通、傳播或 24 200841736 二：供由該指令執行系統、設備或裝置使用或與 的各令執行系統、設備或裝置使用。 該媒體可為一带工 導…ru 光學、電磁、紅外線或半 :二:先(或者設備或裝置)或傳播媒體。-電腦可讀取媒 體的範例包含-半導體或固態記憶體、竿 腦軟碟、一 p、左撼六〜 秒陈电 ^祙存取記憶體（RAM)、唯讀記憶體 一硬固磁碟及_ φf '、。一二光碟的範例包含小型碟片-唯 口貝° j " ( R〇M)、小型碟片-讀/寫（CD-R/W)及DVD。 一適用於料及/或執行料碼的請處㈣統將包含 至少-處理器，此者係透過—系統匯流排而直接或間接地 接於§己憶體構养。贫楚 _ Μ寺^ 體構件可包含在該程式碼之 貫際執行過程中所運用的區域記憶體；以及快取記憶體， 此^可供以Bs時地儲存至少一些程式碼，藉此減少在執行 過耘中對大$儲存裝置擷取的次數。 〜輸入/輪出或1/0裝置（包含鍵盤、顯示器、指向裂置 等等乂、*限於此）可直接地或是經由中介性I/O控制器耦 接於該系統。 亦可將網路配接器耗接於該系統，藉以讓該資料處理 系統能夠透過中介性私有或公共網路而耗接於其他的資料 處理系統或遠端印表機或儲存裝置。數據機、I線數據機 及乙太網路卡僅為目前可用之網路配接器的其中數款。 【圖式簡單說明】 自前述之本發明示範性具體實施例的特定描述將能顯 知前揭說明’即如隨附圖式所述者，I中在全篇視圖裡類 25 200841736 似編號字元是指相同部份。該等圖式並不必然依比例所 繪’而是強調於說明本發明的具體實施例。 圖1係在本發明具體實施例中所運用之視訊壓縮（一般 為影像處理）系統的方塊圖。 圖2係說明在本發明具體實施例中所運用的混合式空 間標準化壓縮方法的方塊圖。 圖3係說明在一較佳具體實施例中用以建立一視訊會 議參與者之寫實化身表現的處理程序之流程圖。 圖4係說明一與產生寫實化身表現相關聯而運用之多 項系統元件的範例之方塊圖。 圖5A係說明一利用一即時傳訊伺服器之本發明視訊 會議系統的範例之概要圖。 圖5B係說明一本發明視訊會議/部落格系統之範例之 概要圖。 圖6係可實作本發明具體實施例之電腦網路或類似數 位處理環境的略圖說明。 圖7係圖6網路之電腦的内部結構的方塊圖。 【主要元件符號說明】 50 電腦 60 伺服器 70 網路 79 糸統匯流排 82 輸入/輸出（I/O)裝置介面 84 中央處理單元 26 200841736 86 網路介面 90 記憶體 92 副程式/ OS程式 94 資料 95 磁碟儲存裝置 100 影像處理系統 101 來源視訊信號 102 預處理器 103 分段器 105 標準化器 107 結構模型 108 外觀模型 110 分析器 111 運動模型 202 標準化非物件 210 標準化非物件合成 222 解標準化非物件 230 標準化物件 23 2 編碼側 234 傳送編碼串流 236 解碼側 238 標準化物件合成 240 解標準化 242 解標準化物件 27 200841736
250 標準化物件N
258 標準化物件合成N
262 解標準化物件N 270 組合非物件及物件 272 合成全訊框 300 寫實化身表現 402 臉部偵測器 404 校調器 406 明示模型化器 408 内隱模型化器 500 同步/近似同步視訊會議系統 502 伺服器節點 504 客戶端節點 506 客戶端節點 540 視訊會議/部落格系統 550 電腦網路（網際網路） 551 客戶端系統 552 物件模型 554 物件模型檔案 556 應用程式伺服器 558 視訊部落格 600 處理環境 28

Claims (1)

  1. 200841736 十、申請專利範圓： L-種視訊會議方法，該方法包含如下步驟: 之視訊會議參與者 债測在-視訊串流的局部中所描繪 的一人類臉部； 的 建立一或多個物件 臉部；以及 以极型化该視訊會議參與者 利用該等物株# _ 、，建立該視訊會議參與者的一寫實 化身表現。 W馬貝 1項所述之方法，其中該視訊會 Viola/Jones臉部偵測器演算法所 1項所述之方法，其中該等寫實 立而作為該視訊會議參與者之臉 2.如申請專利範圍第 議參與者的臉部係利用一 债測且追縱。 3.如申請專利範圍第 化身表現物件模型係被建 部的一内隱表現。 其中该視訊會 之一臉部的模擬 一 4·如申請專利範圍第3項所述之方法
    4 >與者之内隱表現係該視訊會議參與者 表現。 •如甲請專利範圍第3項 及ViC)la/;方法’其中該等價測 進-步包含如下:驟一臉部侦測演算法，其 :來自該視訊串流的兩個或以上的視訊訊框中識別出 至^ 一與該臉部相關聯之物件的相對應構件·，以及 模型編些相對應構件，藉以根據先前經校調且 拉W臉部來識別出該等相對應構件之間的關係。 29 200841736 ^ &如申請專利範圍第1項所述之方法，其中該等物件 里係匕3用於結構、變形、姿態、運動、照明及外觀的 物件模型。 7·一種視訊會議系統，其係包含： _ 一臉部偵測器，其係在一視訊串流裡偵測出一視訊會 議參與者的臉部； 一校調器，其係產生一校調該視訊會議參與者之臉部 的校調模型； 夕個物件模型，而結合該校調器及該臉部偵測器，該 等物件模型可根據該校調模型以模型化描繪該視訊會議參 與者之視訊串流的局部；以及 該視訊會議參與者的一寫實化身表現，該寫實化身係 自該臉部偵測器、該校調器及該等物件模型所產生。 8 · —用於視訊會議的系統，其係包含·· 一用以提供物件模型，藉以模型化在該視訊串流中描 繪一視訊會議之至少一參與者的局部之裝置； 一用以利用該等物件模型，俾建立該視訊會議參與者 的一寫實化身表現之裝置。 十一、圖式： 如次頁。 30
TW97100677A 2007-01-23 2008-01-08 Systems and methods for providing personal video services TW200841736A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US88197907P 2007-01-23 2007-01-23

Publications (1)

Publication Number Publication Date
TW200841736A true TW200841736A (en) 2008-10-16

Family

ID=39645040

Family Applications (1)

Application Number Title Priority Date Filing Date
TW97100677A TW200841736A (en) 2007-01-23 2008-01-08 Systems and methods for providing personal video services

Country Status (7)

Country Link
US (3) US8243118B2 (zh)
EP (1) EP2106664A2 (zh)
JP (1) JP2010517427A (zh)
CN (2) CN101622876B (zh)
CA (1) CA2676023C (zh)
TW (1) TW200841736A (zh)
WO (1) WO2008091485A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI461960B (zh) * 2009-11-16 2014-11-21 Broadcom Corp 一種通信方法和通信系統
TWI583198B (zh) * 2013-04-08 2017-05-11 英特爾公司 使用互動化身的通訊技術
US10600230B2 (en) 2018-08-10 2020-03-24 Sheng-Yen Lin Mesh rendering system, mesh rendering method and non-transitory computer readable medium
US11295502B2 (en) 2014-12-23 2022-04-05 Intel Corporation Augmented facial animation
US11303850B2 (en) 2012-04-09 2022-04-12 Intel Corporation Communication using interactive avatars
US11887231B2 (en) 2015-12-18 2024-01-30 Tahoe Research, Ltd. Avatar animation system

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
WO2010042486A1 (en) * 2008-10-07 2010-04-15 Euclid Discoveries, Llc Feature-based video compression
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
WO2008091484A2 (en) 2007-01-23 2008-07-31 Euclid Discoveries, Llc Object archival systems and methods
JP2010526455A (ja) * 2007-01-23 2010-07-29 ユークリッド・ディスカバリーズ・エルエルシー 画像データを処理するコンピュータ方法および装置
US8243118B2 (en) 2007-01-23 2012-08-14 Euclid Discoveries, Llc Systems and methods for providing personal video services
CN103475837B (zh) 2008-05-19 2017-06-23 日立麦克赛尔株式会社 记录再现装置及方法
KR101511193B1 (ko) 2009-02-27 2015-04-10 파운데이션 프로덕션, 엘엘씨 헤드셋 기반 원격통신 플랫폼
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
US8284157B2 (en) 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
USRE49044E1 (en) * 2010-06-01 2022-04-19 Apple Inc. Automatic avatar creation
EP2538388B1 (en) * 2011-06-20 2015-04-01 Alcatel Lucent Method and arrangement for image model construction
US9147268B2 (en) * 2011-06-28 2015-09-29 Siemens Aktiengesellschaft Subtraction of projection data in medical diagnostic imaging
US9088426B2 (en) 2011-12-13 2015-07-21 Google Inc. Processing media streams during a multi-user video conference
EP2798853A4 (en) * 2011-12-30 2015-07-15 Intel Corp INTERACTIVE MEDIA SYSTEMS
EP2615583B1 (en) * 2012-01-12 2016-04-20 Alcatel Lucent Method and arrangement for 3D model morphing
WO2013138531A1 (en) * 2012-03-14 2013-09-19 Google, Inc. Modifying an appearance of a participant during a video conference
CN103368929B (zh) * 2012-04-11 2016-03-16 腾讯科技（深圳）有限公司 一种视频聊天方法及系统
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
JP6392497B2 (ja) * 2012-05-22 2018-09-19 コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガニゼーション ビデオを生成するためのシステムおよび方法
TWI478078B (zh) * 2012-05-31 2015-03-21 Senao Networks Inc A motion detection device and a motion detection method
US9191619B2 (en) * 2012-08-01 2015-11-17 Google Inc. Using an avatar in a videoconferencing system
CN103841358B (zh) * 2012-11-23 2017-12-26 中兴通讯股份有限公司 低码流的视频会议系统及方法、发送端设备、接收端设备
KR101988279B1 (ko) 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
JP6287335B2 (ja) * 2014-02-28 2018-03-07 株式会社リコー 端末装置、情報処理システム、情報送信方法及びプログラム
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US9307200B2 (en) * 2014-04-10 2016-04-05 Cisco Technology, Inc. Use of face and motion detection for best view framing in video conference endpoint
CN105263040A (zh) * 2015-10-08 2016-01-20 安徽理工大学 一种节省手机流量观看球赛直播的方法
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10423821B2 (en) * 2017-10-25 2019-09-24 Microsoft Technology Licensing, Llc Automated profile image generation based on scheduled video conferences
US10904488B1 (en) 2020-02-20 2021-01-26 International Business Machines Corporation Generated realistic representation of video participants
US11095857B1 (en) * 2020-10-20 2021-08-17 Katmai Tech Holdings LLC Presenter mode in a three-dimensional virtual conference space, and applications thereof
US11937014B2 (en) * 2022-03-17 2024-03-19 Lenovo (Singapore) Pte. Ltd. Permitting devices to change settings related to outbound audio/video streamed from another device as part of video conference

Family Cites Families (164)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH082107B2 (ja) * 1990-03-02 1996-01-10 国際電信電話株式会社 動画像のハイブリッド符号化方法及びその装置
JP2606523B2 (ja) 1992-02-28 1997-05-07 日本ビクター株式会社 予測符号化装置及び復号化装置
US5592228A (en) 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
JP2534617B2 (ja) * 1993-07-23 1996-09-18 株式会社エイ・ティ・アール通信システム研究所 人物像の実時間認識合成方法
JPH07288789A (ja) * 1994-04-15 1995-10-31 Hitachi Ltd 知的符号化装置及び画像通信装置
US5710590A (en) * 1994-04-15 1998-01-20 Hitachi, Ltd. Image signal encoding and communicating apparatus using means for extracting particular portions of an object image
KR100235343B1 (ko) * 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
JP2739444B2 (ja) * 1995-03-01 1998-04-15 株式会社エイ・ティ・アール通信システム研究所 ３次元モデルによる動き生成装置
KR0171151B1 (ko) * 1995-03-20 1999-03-20 배순훈 곡률 계산 기법을 이용한 이미지 윤곽 근사화 장치
JP2727066B2 (ja) * 1995-03-20 1998-03-11 株式会社エイ・ティ・アール通信システム研究所 可塑性物体特徴検出装置
CN1158874C (zh) 1995-09-12 2004-07-21 皇家菲利浦电子有限公司 图像信号的混合波形和基于模型的编码和解码
US6026182A (en) * 1995-10-05 2000-02-15 Microsoft Corporation Feature segmentation
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US6037988A (en) 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
US6614847B1 (en) 1996-10-25 2003-09-02 Texas Instruments Incorporated Content-based video compression
US6088484A (en) 1996-11-08 2000-07-11 Hughes Electronics Corporation Downloading of personalization layers for symbolically compressed objects
US6044168A (en) 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US6047088A (en) 1996-12-16 2000-04-04 Sharp Laboratories Of America, Inc. 2D mesh geometry and motion vector compression
US5826165A (en) 1997-01-21 1998-10-20 Hughes Electronics Corporation Advertisement reconciliation system
US5991447A (en) 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
IL122194A0 (en) 1997-11-13 1998-06-15 Scidel Technologies Ltd Method and apparatus for personalized images inserted into a video stream
US6061400A (en) 1997-11-20 2000-05-09 Hitachi America Ltd. Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information
US6625316B1 (en) * 1998-06-01 2003-09-23 Canon Kabushiki Kaisha Image processing apparatus and method, and image processing system
JP3413720B2 (ja) 1998-06-26 2003-06-09 ソニー株式会社 画像符号化方法及び装置、並びに画像復号方法及び装置
US6711278B1 (en) * 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6256423B1 (en) 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
US7124065B2 (en) * 1998-10-26 2006-10-17 Speech Technology And Applied Research Corporation Determining a tangent space and filtering data onto a manifold
US6546117B1 (en) * 1999-06-10 2003-04-08 University Of Washington Video object segmentation using active contour modelling with global relaxation
KR20010108159A (ko) * 1999-01-29 2001-12-07 다니구찌 이찌로오, 기타오카 다카시 화상 특징 부호화 방법 및 화상 검색 방법
US6774917B1 (en) * 1999-03-11 2004-08-10 Fuji Xerox Co., Ltd. Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video
US6751354B2 (en) * 1999-03-11 2004-06-15 Fuji Xerox Co., Ltd Methods and apparatuses for video segmentation, classification, and retrieval using image class statistical models
GB9909362D0 (en) 1999-04-23 1999-06-16 Pace Micro Tech Plc Memory database system for encrypted progarmme material
US6307964B1 (en) * 1999-06-04 2001-10-23 Mitsubishi Electric Research Laboratories, Inc. Method for ordering image spaces to represent object shapes
US6870843B1 (en) * 1999-06-22 2005-03-22 World Multicast.Com, Inc. Self implementing multicast level escalation
US7352386B1 (en) * 1999-06-22 2008-04-01 Microsoft Corporation Method and apparatus for recovering a three-dimensional scene from two-dimensional images
KR100611999B1 (ko) 1999-08-27 2006-08-11 삼성전자주식회사 그리디 알고리듬을 이용한 객체 기반 콰드 트리 메쉬 움직임 보상방법
JP2001100731A (ja) 1999-09-28 2001-04-13 Toshiba Corp オブジェクト映像表示装置
US6792154B1 (en) * 1999-10-07 2004-09-14 World Multicast.com, Inc Video compression system and method using time
US6731813B1 (en) * 1999-10-07 2004-05-04 World Multicast.Com, Inc. Self adapting frame intervals
WO2001041451A1 (en) 1999-11-29 2001-06-07 Sony Corporation Video/audio signal processing method and video/audio signal processing apparatus
JP3694888B2 (ja) 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
US6738424B1 (en) * 1999-12-27 2004-05-18 Objectvideo, Inc. Scene model generation from video for use in video processing
US6574353B1 (en) * 2000-02-08 2003-06-03 University Of Washington Video object tracking using a hierarchy of deformable templates
US7054539B2 (en) 2000-02-09 2006-05-30 Canon Kabushiki Kaisha Image processing method and apparatus
WO2001063555A2 (en) * 2000-02-24 2001-08-30 Massachusetts Institute Of Technology Image deconvolution techniques for probe scanning apparatus
JP4443722B2 (ja) * 2000-04-25 2010-03-31 富士通株式会社 画像認識装置及び方法
US6731799B1 (en) * 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6795875B2 (en) 2000-07-31 2004-09-21 Microsoft Corporation Arbitrating and servicing polychronous data requests in direct memory access
US8005145B2 (en) 2000-08-11 2011-08-23 Nokia Corporation Method and apparatus for transferring video frame in telecommunication system
FR2814312B1 (fr) * 2000-09-07 2003-01-24 France Telecom Procede de segmentation d'une surface image video par objets elementaires
GB2367966B (en) * 2000-10-09 2003-01-15 Motorola Inc Method and apparatus for determining regions of interest in images and for image transmission
JP4310916B2 (ja) * 2000-11-08 2009-08-12 コニカミノルタホールディングス株式会社 映像表示装置
JP2002182961A (ja) 2000-12-13 2002-06-28 Nec Corp データベースの同期化システムとその同期化の方法
US20040135788A1 (en) * 2000-12-22 2004-07-15 Davidson Colin Bruce Image processing system
US20020085633A1 (en) * 2001-01-03 2002-07-04 Kim Hyun Mun Method of performing video encoding rate control
US7061483B2 (en) * 2001-02-08 2006-06-13 California Institute Of Technology Methods for computing barycentric coordinates generalized to irregular n-gons and applications of the same
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US7043058B2 (en) * 2001-04-20 2006-05-09 Avid Technology, Inc. Correcting motion vector maps for image processing
US20020164068A1 (en) * 2001-05-03 2002-11-07 Koninklijke Philips Electronics N.V. Model switching in a communication system
US6909745B1 (en) 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
US6496217B1 (en) 2001-06-12 2002-12-17 Koninklijke Philips Electronics N.V. Video communication system using model-based coding and prioritzation techniques
US7003039B2 (en) 2001-07-18 2006-02-21 Avideh Zakhor Dictionary generation method for video and image compression
US7173925B1 (en) 2001-07-18 2007-02-06 Cisco Technology, Inc. Method and system of control signaling for a wireless access network
US7457359B2 (en) 2001-09-26 2008-11-25 Mabey Danny L Systems, devices and methods for securely distributing highly-compressed multimedia content
GB2382289B (en) * 2001-09-28 2005-07-06 Canon Kk Method and apparatus for generating models of individuals
EP1309181A1 (en) 2001-11-06 2003-05-07 Thomson Licensing S.A. Device, method and system for multimedia content adaption
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US20030122966A1 (en) * 2001-12-06 2003-07-03 Digeo, Inc. System and method for meta data distribution to customize media content playback
US7673136B2 (en) * 2002-02-26 2010-03-02 Stewart Ian A Method for secure multicast repeating on the public Internet
JP2003253190A (ja) 2002-03-06 2003-09-10 Kansai Paint Co Ltd 缶内面用水性塗料組成物
US6950123B2 (en) * 2002-03-22 2005-09-27 Intel Corporation Method for simultaneous visual tracking of multiple bodies in a closed structured environment
US7136505B2 (en) * 2002-04-10 2006-11-14 National Instruments Corporation Generating a curve matching mapping operator by analyzing objects of interest and background information
US7203356B2 (en) * 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
KR100491530B1 (ko) 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US7505604B2 (en) 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
US8752197B2 (en) 2002-06-18 2014-06-10 International Business Machines Corporation Application independent system, method, and architecture for privacy protection, enhancement, control, and accountability in imaging service systems
AU2003280516A1 (en) * 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
JP3984191B2 (ja) 2002-07-08 2007-10-03 株式会社東芝 仮想化粧装置及びその方法
US7031499B2 (en) * 2002-07-22 2006-04-18 Mitsubishi Electric Research Laboratories, Inc. Object recognition system
US6925122B2 (en) * 2002-07-25 2005-08-02 National Research Council Method for video-based nose location tracking and hands-free computer input devices based thereon
US7305032B2 (en) 2002-08-02 2007-12-04 Kddi Corporation Image matching device and method for motion pictures
JP2004356747A (ja) 2003-05-27 2004-12-16 Kddi Corp 画像のマッチング方法および装置
US7120626B2 (en) * 2002-11-15 2006-10-10 Koninklijke Philips Electronics N.V. Content retrieval based on semantic association
KR100455294B1 (ko) 2002-12-06 2004-11-06 삼성전자주식회사 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치
AU2003303499A1 (en) 2002-12-26 2004-07-29 The Trustees Of Columbia University In The City Of New York Ordered data compression system and methods
US7003117B2 (en) 2003-02-05 2006-02-21 Voltage Security, Inc. Identity-based encryption system for secure data distribution
US7606305B1 (en) 2003-02-24 2009-10-20 Vixs Systems, Inc. Method and system for transcoding video data
FR2852773A1 (fr) 2003-03-20 2004-09-24 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
US7574406B2 (en) * 2003-03-31 2009-08-11 Satyam Computer Services Limited Of Mayfair Centre System and method maximizing video license utilization using billboard services
US7184073B2 (en) * 2003-04-11 2007-02-27 Satyam Computer Services Limited Of Mayfair Centre System and method for warning drivers based on road curvature
US7424164B2 (en) * 2003-04-21 2008-09-09 Hewlett-Packard Development Company, L.P. Processing a detected eye of an image to provide visual enhancement
US7956889B2 (en) * 2003-06-04 2011-06-07 Model Software Corporation Video surveillance system
US7415527B2 (en) * 2003-06-13 2008-08-19 Satyam Computer Services Limited Of Mayfair Centre System and method for piecewise streaming of video using a dedicated overlay network
WO2005005602A2 (en) 2003-06-13 2005-01-20 Paradigm Genetics, Inc. Methods for the identification of inhibitors of fumarate reductase and vacuolar protein sorting-associated protein as antibiotics
US7603022B2 (en) 2003-07-02 2009-10-13 Macrovision Corporation Networked personal video recording system
CA2475189C (en) 2003-07-17 2009-10-06 At&T Corp. Method and apparatus for window matching in delta compressors
US7383180B2 (en) 2003-07-18 2008-06-03 Microsoft Corporation Constant bitrate media encoding techniques
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
KR20050040712A (ko) 2003-10-28 2005-05-03 삼성전자주식회사 명령어 기반 그래픽 출력 가속 기능이 포함된 2차원그래픽 디코더, 그 그래픽 출력 가속 방법 및 영상 재생장치
AU2003304675A1 (en) * 2003-12-04 2005-06-24 Telefonaktiebolaget Lm Ericsson (Publ) Video application node
US7535515B2 (en) 2003-12-23 2009-05-19 Ravi Ananthapur Bacche Motion detection in video signals
US8175412B2 (en) 2004-02-17 2012-05-08 Yeda Research & Development Co. Ltd. Method and apparatus for matching portions of input images
US7447331B2 (en) 2004-02-24 2008-11-04 International Business Machines Corporation System and method for generating a viewable video index for low bandwidth applications
WO2006002299A2 (en) 2004-06-22 2006-01-05 Sarnoff Corporation Method and apparatus for recognizing 3-d objects
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US7457435B2 (en) * 2004-11-17 2008-11-25 Euclid Discoveries, Llc Apparatus and method for processing video data
US7457472B2 (en) * 2005-03-31 2008-11-25 Euclid Discoveries, Llc Apparatus and method for processing video data
WO2010042486A1 (en) 2008-10-07 2010-04-15 Euclid Discoveries, Llc Feature-based video compression
US7436981B2 (en) * 2005-01-28 2008-10-14 Euclid Discoveries, Llc Apparatus and method for processing video data
US7508990B2 (en) * 2004-07-30 2009-03-24 Euclid Discoveries, Llc Apparatus and method for processing video data
US7158680B2 (en) * 2004-07-30 2007-01-02 Euclid Discoveries, Llc Apparatus and method for processing video data
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US8724891B2 (en) 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
CN101061489B (zh) 2004-09-21 2011-09-07 欧几里得发现有限责任公司 用来处理视频数据的装置和方法
JP2008521347A (ja) 2004-11-17 2008-06-19 ユークリッド・ディスカバリーズ・エルエルシー ビデオデータを処理する装置および方法
US7623676B2 (en) 2004-12-21 2009-11-24 Sarnoff Corporation Method and apparatus for tracking objects over a wide area using a network of stereo sensors
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
WO2006083567A1 (en) 2005-01-28 2006-08-10 Euclid Discoveries, Llc Apparatus and method for processing video data
CA2590869C (en) 2005-03-31 2014-01-21 Euclid Discoveries, Llc Apparatus and method for processing video data
US20060274949A1 (en) 2005-06-02 2006-12-07 Eastman Kodak Company Using photographer identity to classify images
WO2007007257A1 (en) * 2005-07-13 2007-01-18 Koninklijke Philips Electronics N.V. Processing method and device with video temporal up-conversion
US7672306B2 (en) * 2005-07-18 2010-03-02 Stewart Ian A Method for secure reliable point to multi-point bi-directional communications
WO2007018688A1 (en) 2005-07-22 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
JP2007038873A (ja) 2005-08-03 2007-02-15 Nissan Motor Co Ltd 車両用スライドドア装置
US7689021B2 (en) 2005-08-30 2010-03-30 University Of Maryland, Baltimore Segmentation of regions in measurements of a body based on a deformable model
JP2009507412A (ja) 2005-09-01 2009-02-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ誤り耐性の符号化／復号に関する方法及び装置
JP4654864B2 (ja) 2005-09-30 2011-03-23 パナソニック株式会社 プラズマディスプレイパネルの製造方法
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
US20070153025A1 (en) 2005-12-29 2007-07-05 Mitchell Owen R Method, apparatus, and system for encoding and decoding a signal on a viewable portion of a video
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US7630522B2 (en) * 2006-03-08 2009-12-08 Microsoft Corporation Biometric measurement using interactive display systems
US20070248194A1 (en) 2006-04-19 2007-10-25 Wei Lu Method of detecting a predetermined sequence in an RF signal using a combination of correlation and FFT
WO2008091484A2 (en) 2007-01-23 2008-07-31 Euclid Discoveries, Llc Object archival systems and methods
CA2654513A1 (en) 2006-06-08 2007-12-21 Euclid Discoveries, Llc Apparatus and method for processing video data
US20080027917A1 (en) 2006-07-31 2008-01-31 Siemens Corporate Research, Inc. Scalable Semantic Image Search
EP2070327B1 (en) 2006-09-30 2019-03-13 InterDigital VC Holdings, Inc. Method and device for encoding and decoding color enhancement layer for video
US8948256B2 (en) 2006-10-13 2015-02-03 Thomson Licensing Reference picture list management syntax for multiple view video coding
US8044989B2 (en) * 2006-12-12 2011-10-25 General Instrument Corporation Mute function for video applications
EP2105029A2 (en) 2006-12-15 2009-09-30 Thomson Licensing Distortion estimation
JP2010526455A (ja) 2007-01-23 2010-07-29 ユークリッド・ディスカバリーズ・エルエルシー 画像データを処理するコンピュータ方法および装置
US8243118B2 (en) 2007-01-23 2012-08-14 Euclid Discoveries, Llc Systems and methods for providing personal video services
JP2008235383A (ja) 2007-03-19 2008-10-02 Fuji Electric Device Technology Co Ltd Ｍｏｓ型半導体装置およびその製造方法
KR101366242B1 (ko) 2007-03-29 2014-02-20 삼성전자주식회사 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치
US8036464B2 (en) * 2007-09-07 2011-10-11 Satyam Computer Services Limited System and method for automatic segmentation of ASR transcripts
US8065293B2 (en) 2007-10-24 2011-11-22 Microsoft Corporation Self-compacting pattern indexer: storing, indexing and accessing information in a graph-like data structure
US8091109B2 (en) 2007-12-18 2012-01-03 At&T Intellectual Property I, Lp Set-top box-based TV streaming and redirecting
JP4618328B2 (ja) 2008-05-14 2011-01-26 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
US8140550B2 (en) * 2008-08-20 2012-03-20 Satyam Computer Services Limited Of Mayfair Centre System and method for bounded analysis of multimedia using multiple correlations
US8086692B2 (en) * 2008-08-27 2011-12-27 Satyam Computer Services Limited System and method for efficient delivery in a multi-source, multi destination network
US8065302B2 (en) * 2008-08-27 2011-11-22 Satyam Computer Services Limited System and method for annotation aggregation
US8259794B2 (en) 2008-08-27 2012-09-04 Alexander Bronstein Method and system for encoding order and frame type selection optimization
US8090670B2 (en) * 2008-09-19 2012-01-03 Satyam Computer Services Limited System and method for remote usage modeling
US8392942B2 (en) 2008-10-02 2013-03-05 Sony Corporation Multi-coded content substitution
US8386318B2 (en) * 2008-12-30 2013-02-26 Satyam Computer Services Ltd. System and method for supporting peer interactions
US8774534B2 (en) 2009-04-08 2014-07-08 Watchitoo, Inc. System and method for image compression
US8068677B2 (en) * 2009-08-25 2011-11-29 Satyam Computer Services Limited System and method for hierarchical image processing
US8848802B2 (en) 2009-09-04 2014-09-30 Stmicroelectronics International N.V. System and method for object based parametric video coding
US20110087703A1 (en) * 2009-10-09 2011-04-14 Satyam Computer Services Limited Of Mayfair Center System and method for deep annotation and semantic indexing of videos
RU2542946C2 (ru) 2009-11-19 2015-02-27 Нокиа Корпорейшн Способ и устройство для отслеживания и распознавания объектов с использованием дескрипторов, инвариантных относительно вращения
US8290038B1 (en) 2009-11-30 2012-10-16 Google Inc. Video coding complexity estimation
WO2011156250A1 (en) 2010-06-07 2011-12-15 Thomson Licensing Learned transform and compressive sensing for video coding
US9338477B2 (en) 2010-09-10 2016-05-10 Thomson Licensing Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI461960B (zh) * 2009-11-16 2014-11-21 Broadcom Corp 一種通信方法和通信系統
US11303850B2 (en) 2012-04-09 2022-04-12 Intel Corporation Communication using interactive avatars
US11595617B2 (en) 2012-04-09 2023-02-28 Intel Corporation Communication using interactive avatars
TWI583198B (zh) * 2013-04-08 2017-05-11 英特爾公司 使用互動化身的通訊技術
US11295502B2 (en) 2014-12-23 2022-04-05 Intel Corporation Augmented facial animation
US11887231B2 (en) 2015-12-18 2024-01-30 Tahoe Research, Ltd. Avatar animation system
US10600230B2 (en) 2018-08-10 2020-03-24 Sheng-Yen Lin Mesh rendering system, mesh rendering method and non-transitory computer readable medium

Also Published As

Publication number Publication date
CN101622876A (zh) 2010-01-06
US20100073458A1 (en) 2010-03-25
CN101622876B (zh) 2012-05-30
WO2008091485A2 (en) 2008-07-31
US8842154B2 (en) 2014-09-23
CN102685441A (zh) 2012-09-19
CA2676023A1 (en) 2008-07-31
JP2010517427A (ja) 2010-05-20
CA2676023C (en) 2015-11-17
US8243118B2 (en) 2012-08-14
WO2008091485A3 (en) 2008-11-13
EP2106664A2 (en) 2009-10-07
US20150124045A1 (en) 2015-05-07
US20120281063A1 (en) 2012-11-08

Similar Documents

Publication Publication Date Title
TW200841736A (en) Systems and methods for providing personal video services
US11818506B2 (en) Circumstances based 3D representations of participants of virtual 3D communications
US11570404B2 (en) Predicting behavior changes of a participant of a 3D video conference
US11805157B2 (en) Sharing content during a virtual 3D video conference
US11765332B2 (en) Virtual 3D communications with participant viewpoint adjustment
US11790535B2 (en) Foreground and background segmentation related to a virtual three-dimensional (3D) video conference
US11870939B2 (en) Audio quality improvement related to a participant of a virtual three dimensional (3D) video conference
US12126937B2 (en) Method and system for virtual 3D communications having multiple participants per camera
Jin et al. HeadsetOff: Enabling Photorealistic Video Conferencing on Economical VR Headsets
WO2022238908A2 (en) Method and system for virtual 3d communications
Lavagetto VIDAS Workshop on Synthetic Natural Hybrid Coding