TW200526041A - Method and system for display of facial features on nonplanar surfaces - Google Patents

Description

200526041 九、發明說明： L考务明戶斤冬好々員3 本發明係有關於於不平坦表面顯示臉部形貌之方法與 系統。 5 【椅】 發明背景 視訊會議有希望大大地改變人們互動之方式。在昂貴 的空中旅行，昂貴的石油，恐怖主義和新的傳染疾病之年 代中，有一對於有效的視訊會議之大需求。有效的視訊會 ίο議必須企圖實現面對面會議之影響以建立一電訊會面。為 了使視汛會議更類似面對面互動，許多因素需要改進，其 包括··將非語言資訊傳播至所有參與者，在每個參與者間 偵測和父換凝視，維持眼睛接觸以及其他視覺和聽覺資訊。 目前的視訊會議和人類電腦互動技術通常由下列構 在的視訊會議不提供良好的深度感知 現。多個相機角度需要特殊玻璃或護目 15成·一本地相機記錄一參與者之前方影像並傳送該資訊至 遠端位置中之-平坦顯示器。使用一遠端相機記錄遠端參 與者之影像並將之顯示在一本地平坦顯示器上給本地參與 因為記錄影像之相機與顯示器不—致，所以參與者在 次居和I、的期間無法維持眼睛接觸。再者，難以判斷遠端 2〇使用者之凝視位置（即人員正在注視的地方）。這樣的非語言 貧訊提供人員興趣及參與，理解等程度之指示。最後，現 有有限的顧客吸引力。 办，以及三維影像呈 目鏡’其已證實為具 200526041 同樣地，在人類電腦互動情況中，一常見方法為投射 一平坦動晝影像至一平坦螢幕上。電腦圖形之凝視在互動 期間中與人類之訊息或位置不相關。顯示器為二維且較笨 重’因此在諸如機器人之行動平臺上之使用是困難且昂貴 5的。 、 土本心明提供對於上述和其他問題之一解決方案，且在 遠端會議期間透過寫實呈現和顯示器和凝視保存來提供一 更生動的通訊經驗。 【日月户3 】 10圖式簡單說明 以範例之方式而非限制之方式在附圖之圖式中說明本 發明，其中： 土第1圖為一不意圖，其顯示本發明之一實施例，為一單 、土而使用者，其之景》像係由多個外部相機所收集的； 15 第2圖為一示意圖，其顯示本發明之二實施例，其由二 使用者在不同位置上同時使用以供視訊會議之目的用； 、，第3八圖為_觀點圖，其根據本發明之—實施例顯示— 不平坦顯不之切裁，其使一相機大致置於一眼睛之後，以 傳达-影像至-遠端使用者，同時保存凝視資訊； 、， 曰為觀點圖，其顯示根據一實施例設計之一不 平一、、員示之切裁，且其使一相機大致置於每個眼睛之後， 以傳送衫像至一遠端使用者，同時保存凝視資訊； 第3C圖為一觀點圖，其顯示亦根據一實施例所設計之 不平:L·顯示之切裁，且其使一相機大致置於鼻樑之後， 200526041 以傳送一影像至一遠端使用者同時保存凝視； 第4A圖為一觀點圖，其顯示本發明之一實施例，其中 一單一軟性顯示器圍繞在一不平坦表面週圍，以及一其他 實施例，其中在一不平坦表面上砌了多個軟性顯示器； 5 第4B圖為一觀點圖，其顯示與一根據本發明之一實施 例之頭部形狀不平坦顯示器互動之一使用者，臉部形貌從 多個角度被投影至其上； 第4C圖為一觀點圖，其顯示本發明之一實施例，其利 用從一半透明不平坦顯示器内部之影像投射； 10 第5圖為根據本發明之一實施例之一操作之流程圖，其 顯示一遠端使用者之臉部形貌且傳送一本地使用者之影像 至遠端使用者；以及 第6圖為一用於一實施例中供執行本發明之裝置或方 法之系統之方塊圖。 15 發明概要 本發明之一觀點特徵為一種用於顯示臉部形貌之方 法。該顯示操作包括在一不平坦表面上產生具有臉部形貌 之一影像且將該影像定位在不平坦表面上以指示凝視方向 且增強與該臉部形貌相關之非語言通訊。 20 本發明之其他觀點包括一種用於顯示臉部形貌之裝 置。此裝置包括一不平坦表面，一影像產生裝置，其在該 不平坦表面上建立具有臉部形貌之一影像，以及一定位系 統，其在該不平坦表面上定位影像以指示凝視之方向且增 強與該臉部形貌相關之非語言通訊。 200526041 L實施方式3 詳細說明 第1圖說明一視訊系統，其使用根據一實施例之一不平 坦顯不器。系統1〇〇包括在_第一位置上之一本地使用者 5 110，在第一位置上之一或多個相機1〇6和1〇8，一在第一位 置上之麥克風112，以及在第二位置上，有臉部形貌顯示於 其上之一不平垣顯示器1〇2。 在此實施例中之不平坦顯示器102包括具有一影像產 生顯示器表面之一個三維頭部形狀。在一實施例中，該不 10平坦顯示器1〇2係由軟性面積節省投射顯示片形成的，其砌 來覆盍該不平垣頭形之表面。設計來恰覆蓋表面，該面積 節省片摺疊於該不平坦表面上且沿其邊緣相交而無交疊或 空隙。在這樣一個實施例中，一電腦或其他處理裝置定位 該影像以顯示於每個顯示片上，如此使得臉部形貌對於本 15 地使用者來說看起來是無縫的。 相機106和相機1〇8取得本地使用者11〇之二個對應視 訊影像，同時麥克風H2收集其語言。這些裝置然後傳送視 訊和音訊資訊以供分別播放於不平堅顯示器1〇2和喇叭 上。貫施合併影像，修正投射失真，且顯示在不平坦頭形 2〇 顯示器丨〇2上。當本地使用者110旋轉瑯頭時，顯示系統旋 轉在不平坦顯示器1 02上之影像。當本地使用者1 1 〇以其眼 睛看一方向或其他方向時，在影像104之眼睛部份中有對靡 的變化。以此方式，凝視之方向及情緒表示和非語言通訊 之其他指示對於觀察不平坦顯示器102之人員清楚地指示 200526041 出來。 第2圖說明由一本地使用者202和一遠端使用者210之 視訊會議之一實施例。此說明顯示一實施例，其收集觀點 影像來協助保存眼睛接觸，凝視資訊和本地使用者之其他 5 非語言暗示。此配置包括在本地使用者202之位置上之一頭 形不平坦顯示器204，在遠端使用者210之位置上之一頭形 不平坦顯示器206，以及大致嵌於出現在個別顯示器上之面 部影像之每個眼睛之位置上之相機。 在會議或其他互動期間，本地使用者202透過相機209 10 傳達給遠端使用者210。相機209之位置與在不平坦顯示器 204上之遠端使用者21〇之影像組合協助本地使用者2〇2與 遠端使用者210做眼睛接觸或移開眼睛。類似地，遠端使用 者210可更容易地藉由相機208之位置與本地使用者208在 如所說明般定位之不平坦顯示器204上之影像組合來控制 15與本地使用者202之眼睛接觸。由相機對208和209所收集之 觀點資訊大大地增加了本地使用者2〇2和遠端使用者208之 能力來遂清非語言資訊。例如，觀點資訊包含下列相關之 資訊：面部表情之對稱或不對稱，面部表情之元素相對於 凝視或眼睛接觸或其他在個人通訊期間所使用之面部表情 20 之許多不同之部份之位置。 可類似地將凝視資訊保留給遠端使用者21 〇，藉由將一 或多個相機置於不平坦顯示器204上之方式，大致位於遠端 使用者210之一影像之一或雙眼之位置上。 第3A，3B和3C提供根據不同實施例之用以保存凝視之 200526041 不同相機配置。在一實施例中，如第3A圖中所說明的，一 相機302大致位於影像之一眼睛會出現同時區域3〇4中沒有 相機出現對應於另一眼之區域中。在此配置中，相機3〇2從 一眼睛之一視點來收集影像，而區域3〇4從另一眼顯示凝視 5資訊於顯示表面上。來自區域3〇4中之單眼之凝視資訊保存 凝視之角度，同時相機302收集供在他處使用之凝視資訊。 在其他實現中，如第3B圖中所說明的，一半透明顯示 器308允許產生一遠端使用者之二眼31〇之影像之產生，同 時以一或多個本地相機306來收集視訊。在此配置中，從遠 10端使用者之雙眼保存更多凝視資訊，如顯示於不平坦顯示 器上。類似地，相機對306從本地使用者收集凝視和觀點資 訊以供由一遠端使用者使用一不平坦或平坦顯示器或一視 訊系統中之他處觀看。在不平坦顯示器上相機3〇6之位置更 靠近遠端使用者之眼睛310之位置，則保存更多的凝視和非 15 語言資訊。 在第3C圖中所說明之其他配置中，一相機312透過一大 致位於出現在一不平坦顯示器上之面部特徵之影像之鼻樑 上之孔314來收集一本地使用者之視訊。此實施例利用人們 無法辨別對鼻樑之凝視和對眼睛本身之凝視。相機312收集 2〇 來自本地使用者之凝視資訊，但未保存和先前所描述之其 他實施例一樣多的觀點資訊，因為相機並非直接位在任一 眼上。然而，眼睛316和眼睛318被顯示於本地使用者之不 平坦顯示器且看來反映了遠端使用者之凝視。因此，實施 例可更經濟地製造且仍操作來保存凝視。 10 200526041 第4A，4B和4C圖說明根據實施例用以在一不平坦表面 上產生面部影像之許多不同的可能性。第4A圖說明附在一 頭形不平坦表面404之一軟性顯示器402之使用。相同的區 域映射亦可用來從具有區域408a，408b，408c和408d之軟性 5 顯示器之部份建構一不平坦顯示器406。相等區域映射為一 種設計方法，其映射一變富表面至一平坦材料上，如此使 得區域相同且平坦的’軟性材料可涵蓋彎曲表面。在此例 中，區域408a為軟性顯示材料，其對應至遠端使用者之右 臉位置，區域408b對應至运端使用者之左臉部份，區域4〇8c 10 對應至返端使用者之中央面部區域，而區域對庳至遠 端使用者之前額區域。一涵蓋這些不同區域之軟性顯示材 料會描述凝視，面部表情，姿勢和許多其他非語言暗示。 第4B圖說明一實施例，其中多個投影器41〇,412和414 在一不平坦顯示表面416上建立一影像以提供給一本地使 15用者418。此實施例具有使用目前可得之技術之優點，且因 此可最容易地實現且以較低成本來加以實現。可使用一圓 柱表面或-人體模型頭部或其他類似人之三維頭部之表面 來實現不平坦表面416。 在不平坦顯示器416上使用投影器彻，412和似亦可 需要額外的處理和影像增強操作來正確地運作。影像處理 程序可處理遠錢用者之影像，以將面部保持在不平坦顯 不表面416之中心軸上。與不平坦顯示器416之中心轴相 比，面部職操作可用來識耻被錄影之輕使用者之中 心軸。可藉由-或多個取自遠端使用者之影像來對齊遠端 20 200526041 使用者之中心軸，直到軸位置與不平坦顯示表面416—致為 止。 其他實施例可處理和修正未正確地再生於不平坦八示 态416上之面部特徵。例如，由取遠端使用者之影像之相機 5所引入之物體或失真可造成面部特徵變得可能模糊且留下 陰影。在面部特徵或表情方面之統計資訊可用來再建立這 些區域或遺失而非顯示陰影或暗部區域。例如，辨識到在 臉頰或額頭上之一相對平坦區域可用來將這些區域令之區 域平渦化或近似且提供在所顯示影像中之連續性。此將提 1〇供足夠正確之面部特徵之再生來維持凝視且避免因為一些 像差所造成之錯亂。 其他影像處理觀點可解析遠端使用者之相對小的頭部 移動。在此情況中，面部辨識和眼睛追蹤程序亦可用來識 別遠端使用者之頭部相對於取影像之相機之旋轉位置。為 15 了維持凝視和與本地使用者418之眼睛接觸，取本地使用者 之影像之相機416將被改來反映遠端使用者之新的眼睛位 置。例如’實現可能收集和使用從一右或左相機416所取之 影像，視從遠端使用者之頭部旋轉之程度而定。藉由使用 矣。果之左影像’右影像或其之組合，遠端使用者可看到取 Μ自本地使用者之-不同的觀點，以及一新的和更正確的眼 睛接觸位置。 第4C圖說明根據-實施例用以在一半透明不平坦表面 上做内部投影之-系統。此系統包括一半透明不平坦㈣ 42〇，-光源422，以及-液晶光閱414以將_影像呈現給一 12 200526041 本地使用者426。光閥424將光源422做濾波且將結果之影像 投影至半透明之不平坦表面420上。此系統是有利的，因為 顯示源和半透明不平坦表面420為完備的且可攜式的。類似 其他先前描述過的系統，遠端使用者之投影影像包括面部 5 表情且保存凝視與本地使用者426之其他非語言暗示。 第5圖為根據一實施例之一流程圖，其說明牵涉到在收 集和顯示一使用者之面部特徵於一不平坦顯示器中之步 驟。初始地，一不平坦顯示裝置接收一遠端使用者之面部 特徵(502)之一或多個影像。如先前所描述的，一或多個相 10機可用來收集影像且然後將它們顯示在不平坦顯示裝置 上。例如，相機可大致位於與位於不平坦顯示器上之每個 眼睛，在不平坦顯示器上之一眼睛一致，或介於鼻樑上一 對眼睛之間。 遂端使用者所取之影像然後被置於不平坦表面上，其 15指不遠端使用者之凝視給一本地使用者。遠端使用者之面 部表情藉㈣㈣置於眼睛會出現在不平坦顯示器上之位 置上或罪近來保存凝視。又，從不同影像所收集之單視資 .fl協助傳送？視與其他非語言資訊給觀看不平坦顯示器之 本地使用者。如先前描述的，面部影像可被投影至具有幾 20個扠〜之不平坦顯示器上，以附至一不平坦表面之軟性 顯來顯不，或透過影像從一半透明不平坦表面内之内 部投影來顯示。 〃上述操作同時或平行，定位於不平坦顯示器上靠近 本也使用者之相機收集本地使用者之面部影像或表情(應） 13 200526041 之影像。多個影像可收集本地使用者之不同觀點以增強本 地使用者之凝視和其他非語言暗示之捕捉。視應用而定， 許多不同的影像處理程序可被應用至所收集的影像，以修 正頭部轉動，頭部偏斜和可能干擾凝視之保存和遠端與本 5地使用者間眼睛接觸之其他影像中的變化。一旦完成此處 理，本地使用者之影像被加以發送以供顯示於遠端使用者 之不平坦顯示器上，且重覆上述操作。在上述操作以一特 定順序提供之同時，應了解到上述操作可完全平地或以不 同順序來發生，以改進影像在不平坦顯示器上之性能與效 10 率。 第6圖為-使用於_實現中之系統_之方塊圖，其係 用以執行在此詳細說明之裝置或方法。系統6〇〇包括一記憶 體602以保留執行程式（一般來說隨機存取記憶體(ram)或 唯讀記憶體(ROM)，諸如一快wR〇M)，一能夠介面和驅動 顯示态或輸出裝置之呈現裳置介面604，一處理器606， 私式圮憶體608以保存驅動程式或其他常用之程式，一網 路通訊埠610以做資料通訊，一附屬儲存612，其具有一附 屬儲存控制器和輸入/輸出（1/0)埠和控制器614，其在一匯 4排616上操作地耦合在一起。系統6〇〇可在R〇M*例如使 2〇用現場可規劃閘陣列(FPGA)技術來再次規劃或其可藉由從 其他來源載入一程式來規劃（及再次規劃X例如從一軟碟， 一CD-ROM，或其他電腦）。又，系統6〇〇可使用訂製應用特 定積體電路(ASICs)來加以實現。 在一貫現中，記憶體602包括一不平坦影像收集元件 200526041 618，~不平坦 622，— ” ^疋件620，一不平坦影像處理器元件 不平坦碩部追蹤元件624和一執行時模組626，其管 理畜處理_或多個 ^ W在糸統600上之上述元件時所使用之系 統貧源。 5 如所說明的，产，仏 义些不同的模組出現在一單一電腦系統 中。然而，j： #者ia 以似 八只現亦可將這些元件散佈在一或多個不同 L X4納處理需求’容易銷售性’高可獲得性和其他 ‘十限制。類似地，在第G圖中所說明之元件，其看來為分 —'皮此刀離。一其他實施例可組合一或多個這些元件以 班么Γ1的率效，較低之成本或在一大型企業或小型操作 W兄中貫現實施例所需之任何其他設計限制。 不平坦影像收集元件618從一或多個與不平坦顯示器 相關之相機來收集本地使用者之影像。不平坦影像處理元 件620對所收集之影像執行一或多個影像處理操作，以改進 不平:L·頒示杰上之結果顯示。如先前描述的，這些影 理操作包括補償-遠端使用者之頭部之偏斜，考慮遠端使 用者之頭部之轉動，使受到像差或失真影響之面部影像之 區域平滑化，以及任何其他程序來料凝視和/或其他非語 言暗示之保存。 20 不平坦顯示元件622進一步處理影像並對根據在此所 提出之細節來設計之特定顯示器加以準偫。此不平坦顯示 元件622可修改影像來更好地與投影器，軟性顯示裝置，預 定在一不平坦顯示器内部之顯示器或任何其他許多不同的 實施例一起操作。 15 200526041 不平坦頭部追縱元件624包括—或多個操作，盆當收集 T發料斜追輯端錢者之料之位置。料平坦頭 使用者w/ 端使用者之眼睛以及遠端 使用者之兀整的面部特徵之操作。 在已描述範例和實施例之同時，它們不應作為限制本 =之任何觀點U此’本發明之實施例可實現於類 ::::，在數位電子電路中，或在電腦硬體中，初體， =之組合中。本發明之裳置可藉由使用類比電子， ==於一電腦程式產品且實現於一機器可讀取之儲 =中由-可規劃處理器執行來加以實現;且本發明之 二驟:由一可規劃處理器來加以執行，其執行指令之 功1 I在輸人㈣上操作並產生㈣來執行本發明之 此彳利地在-或多個電腦程式中實現本發明， 15 :::規劃系統上執行，其包括至少-可規劃办 於：*—續儲存系統，至少-輸人裝置，以及至少一 ==接收資料和指令且將資料和指令發送至其中。若 入/可以一高階程序或物件導向程式語言，或以组 語言來實現每個電腦程式，·且在任何情況中，語 為一編譯或解譯之語言。適 20 特殊用賴hr “ 包括例如-般和 或-隨機存取記憶體接收指令和資料。—般來說，一 :::=括一或多個大量儲存裝置，以錯存資料檔案，·這 碟、置包括磁碟，諸如内部硬碟和可移除的碟片， ·磁光 -，以及光㈣片。適於實現電腦程式指令和資料之儲 16 200526041 存裝置包括所有型式之非揮發性記憶體，其包括例如半導 體記憶體裝置，諸如EPROM， EEPR0M，以及快閃記憶體 裝置，遠如内部硬碟和可移除碟片之磁碟；磁光碟片·以 及CD-ROM碟片。任何前述可由八⑽供應或合併於其中。 5 纟已於此描述特定實施例以供說明之目的之同時，可 做許多不同的變化而不違反本發明之精神與範圍。例如， 許多顯示技術可商業獲得’且可用來實現所描述之本發 明。再者，欲呈現之影像之準備可以許多不同的方式來執 行。出現在不平坦表面上之影像可為由視訊攝影機捕捉到 10之-遠端使用者的那些’且然後由一電腦演算法或電腦硬 體處理和準備，或可由一電腦產生以供人類電腦互動之 用。因此’本發明並非受限於上述實現，而是由所附申請 專利範圍依照等效之全部範圍來加以定義。 I：圖式簡單說明3 15 第1圖為一示意圖，其顯示本發明之一實施例，為一單 一遠端使用者，其之影像係由多個外部相機所收集的； 第2圖為一示意圖，其顯示本發明之二實施例，其由二 使用者在不同位置上同時使用以供視訊會議之目的用； 第3A圖為一觀點圖’其根據本發明之一實施例顯示一 20 不平坦顯示之切裁，其使一相機大致置於一眼睛之後，以 傳送一影像至一遠端使用者，同時保存凝視資訊； 第3B圖為一觀點圖’其顯示根據一實施例設計之一不 平坦顯示之切裁，且其使一相機大致置於每個眼睛之後， 以傳送一影像至一遠端使用者，同時保存凝視資訊； 17 200526041 第3C圖為一觀點圖，其顯示亦根據一實施例所設計之 一不平坦顯示之切裁，且其使一相機大致置於鼻樑之後， 以傳送一影像至一遠端使用者同時保存凝視； 第4A圖為一觀點圖，其顯示本發明之一實施例，其中 一單一軟性顯示器圍繞在一不平坦表面週圍，以及一其他 實施例，其中在一不平坦表面上砌了多個軟性顯示器； 第4B圖為一觀點圖，其顯示與一根據本發明之一實施 例之頭部形狀不平坦顯示器互動之一使用者，臉部形貌從 多個角度被投影至其上； 10 15 第4C圖為一觀點圖，其顯示本發明之一實施例，其利 用從一半透明不平坦顯示器内部之影像投射； 第5圖為根據本發明之一實施例之一操作之流程圖，其 顯示一遠端使用者之臉部形貌且傳送一本地使用者之影像 至遠端使用者；以及 第6圖為一用於一實施例中供執行本發明之裝置或方 法之系統之方塊圖。 【主要元件符號說明】 100…系統 102···不平坦顯示器 110…本地使用者 106，108…相機 112···麥克風 202…本地使用者 210…遠端使用者 204…頭形不平坦顯示器 206…頭形不平坦顯示器 209…相機 302…相機 304…區域 306…相機 308···半透明區域 18 200526041 310…眼睛 312…相機 314…孔 316…眼睛 318…眼睛 402···軟性顯示器 404…頭形不平坦表面 406···不平坦顯示器 408…區域 410，412，414…投影器 416···不平坦顯示表面 418···本地使用者 420···半透明不平坦表面 422…光源 424…光閥 426···本地使用者 602…記憶體 604···不平坦顯示器介面 606…處理器 608···程式記憶體 610···網路通訊埠 612···附屬儲存 614···Ι/0 埠 616···匯流排 618···不平坦影像收集元件 620…不平坦影像處理元件 622···不平坦顯示元件 624…不平坦頭部追蹤元件 626···執行時模組 19

Claims (1)

1. 200526041 十、申請專利範圍： 1. 一種用以顯示面部特徵之裝置，其包含： 一不平坦表面； 一影像產生裝置，其建立具有面部特徵之一影像於 5 不平坦表面上；以及 一定位系統，其將影像定位於不平坦表面上以指示 凝視之方向並增強與面部特徵相關之非語言通訊。 2. 如申請專利範圍第1項之裝置，其中不平坦表面具有大 致為一頭部之形狀。 10 3.如申請專利範圍第2項之裝置，其中大致為頭部形狀之 不平坦表面係從一組頭部形狀中選擇出來的，其包括： 一球體，或一橢圓封閉表面。 4.如申請專利範圍第1項之裝置，其中影像產生裝置包含 一或多個投影裝置，其將光線從不平坦表面外部投影。 15 5.如申請專利範圍第1項之裝置，其中影像產生裝置包含 一或多個投影裝置，其從不平坦表面内部投影。 6. 如申請專利範圍第1項之裝置，其中影像產生裝置包含 一軟性顯示器，其大致與不平坦表面一致。 7. 如申請專利範圍第6項之裝置，其中影像產生裝置係使 20 用一軟性顯示技術實現的，其從下列之一組中選擇：一 軟性LCD顯示器，一軟性有機發光二極體顯示器，一軟 性無機光電顯示器，以及一軟性發光聚合物顯示器。 8. 如申請專利範圍第1項之裝置，其中與以影像收集裝置 所收集之面部特徵之移動連結，定位系統將影像中包含 20 200526041 之影像和眼睛從不平坦表面之一部份移至另一處。 9.如申請專利範圍第1項之裝置，其進一步包含一或多個 視訊收集裝置，以從大致在不平坦表面上或靠近處之一 觀點來收集面部特徵之視訊影像。 5 10.如申請專利範圍第1項之裝置，其進一步包含一喇0八以 從不平坦表面之觀點來發送語音和其他聲音。

   21