TWI246333B - Method and system for display of facial features on nonplanar surfaces - Google Patents

Description

1246333 九、發明說明： 【發明所屬之技術領域】 本發明係有關於於不平坦表面顯示臉部形貌之方法與 系統。 5 【先前技術】 發明背景 視訊會議有希望大大地改變人們互動之方式。在昂貴 的空中旅行，昂貴的石油，恐怖主義和新的傳染疾病之年 代中，有-對於有效的視訊會議之大需求。有交文的視訊會 10議必須企圖實現面對面會議之影響以建立一電訊會面。為 了使視訊會議更類似面對面互動，許多因素需要改進，其 包括·將非語言資訊傳播至所有參與者，在每個參與者間 偵測和父換凝視，維持眼睛接觸以及其他視覺和聽覺資訊。 目月的視汛會議和人類電腦互動技術通常由下列構 15成·一本地相機記錄一參與者之前方影像並傳送該資訊至 遠鈿位置中之一平坦顯示器。使用一遠端相機記錄遠端參 與者之影像並將之顯示在一本地平坦顯示器上給本地參與 者。因為記錄影像之相機與顯示器不一致，所以參與者在 說話和聽的期間無法維持眼睛接觸。再者，難以判斷遠端 2〇使用者之凝視位置（即人員正在注視的地方）。這樣的非語言 二貝汛提供人員興趣及參與，理解等程度之指示。隶後，現 在的視訊會議不提供良好的深度感知，以及三維影像呈 現。多個相機角度需要特殊玻璃或護目鏡，其已證實為具 有有限的顧客吸引力。 1246333 同樣地，在人類電腦互動情況中，一常見方法為投射 一平坦動畫影像至一平坦螢幕上。電腦圖形之凝視在互動 期間中與人類之訊息或位置不相關。顯示器為二維且較笨 重，因此在諸如機器人之行動平臺上之使用是困難且昂貴 5 的。 本發明提供對於上述和其他問題之一解決方案，且在 遠端會議期間透過寫實呈現和顯示器和凝視保存來提供一 更生動的通訊經驗。 【發明内容】 10 圖式簡單說明 以範例之方式而非限制之方式在附圖之圖式中說明本 發明，其中： 第1圖為一示意圖，其顯示本發明之一實施例，為一單 一遠端使用者，其之影像係由多個外部相機所收集的； 15 第2圖為一示意圖，其顯示本發明之二實施例，其由二 使用者在不同位置上同時使用以供視訊會議之目的用； 第3A圖為一觀點圖，其根據本發明之一實施例顯示一 不平坦顯示之切裁，其使一相機大致置於一眼睛之後，以 傳送一影像至一遠端使用者，同時保存凝視資訊； 20 第3B圖為一觀點圖，其顯示根據一實施例設計之一不 平坦顯示之切裁，且其使一相機大致置於每個眼睛之後， 以傳送一影像至一遠端使用者，同時保存凝視資訊； 第3C圖為一觀點圖，其顯示亦根據一實施例所設計之 一不平坦顯示之切裁，且其使一相機大致置於鼻樑之後， 1246333 以傳送一影像至一遠端使用者同時保存凝視； 第4A圖為一觀點圖，其顯示本發明之一實施例，其中 一單一軟性顯示器圍繞在一不平坦表面週圍，以及一其他 實施例，其中在一不平坦表面上砌了多個軟性顯示器； 5 第4B圖為一觀點圖，其顯示與一根據本發明之一實施 例之頭部形狀不平坦顯示器互動之一使用者，臉部形貌從 多個角度被投影至其上； 第4C圖為一觀點圖，其顯示本發明之一實施例，其利 用從一半透明不平坦顯示器内部之影像投射； 10 第5圖為根據本發明之一實施例之一操作之流程圖，其 顯示一遠端使用者之臉部形貌且傳送一本地使用者之影像 至遠端使用者；以及 第6圖為一用於一實施例中供執行本發明之裝置或方 法之系統之方塊圖。 15 發明概要 本發明之一觀點特徵為一種用於顯示臉部形貌之方 法。該顯示操作包括在一不平坦表面上產生具有臉部形貌 之一影像且將該影像定位在不平坦表面上以指示凝視方向 且增強與該臉部形貌相關之非語言通訊。 20 本發明之其他觀點包括一種用於顯示臉部形貌之裝 置。此裝置包括一不平坦表面，一影像產生裝置，其在該 不平坦表面上建立具有臉部形貌之一影像，以及一定位系 統，其在該不平坦表面上定位影像以指示凝視之方向且增 強與該臉部形貌相關之非語言通訊。 1246333 【貧施冷式】 詳細說明 第圖°兒明一視訊系統，其使用根據一實施例之一不平 頁丁态系統100包括在一第一位置上之一本地使用者 U〇，在第一仿罢u 置 罝上之一或多個相機106和108，一在第一位 豆 夕克風112，以及在第二位置上，有臉部形貌顯示於 上之一不平垣顯示器102。 10 15 甚在此實苑例中之不平坦顯示器1〇2包括具有一影像產 生顯不态表面之一個三維頭部形狀。在—實施例中，該不 平U；^1()2係由軟性面積節省投射顯示片形成的，其石切 來覆蓋該不平垣頭形之表面。設計來恰覆蓋表面，該面積 =省片摺疊於該不平坦表面上且沿其邊緣相交而無交疊或 空隙。在這樣—個實施例中，_電腦或其他處理裝置定位 該影像以顯示於备彳一 u 、母個ί、、貞不片上，如此使得臉部形貌對於本 地使用者來說看起來是無縫的。 #相機108取得本地使用者11〇之二個對應視 ㈤時麥克風112收集其語言。這钱置然後傳送視 訊和音訊ftfUX供分別播放於不平堅顯示器102和t八 上二f施合併影像，修正投射失真，且顯示在不平坦頭形 ”，貝Λ =、上田本地使用者11〇旋轉瑯頭時，顯示系統旋 轉在不平不器102上之影像。當本地使用者110以其眼 目月看方向或其他方向時，在影像1G4之眼睛部份中有對應 的k化。Ujt方^，凝視之方向及情緒表神非語言通訊 之其他‘不對於觀察不平坦顯示器102之人員清楚地指示 20 1246333 出來。 第2圖說明由一本地使用者202和一遠端使用者21〇之 視訊會議之一實施例。此說明顯示一實施例，其收集觀點 影像來協助保存眼睛接觸，凝視資訊和本地使用者之其他 5 非語言暗示。此配置包括在本地使用者202之位置上之一頭 形不平坦顯示器204，在遠端使用者210之位置上之一頭形 不平坦顯示器206，以及大致嵌於出現在個別顯示器上之面 部影像之每個眼睛之位置上之相機。 在會議或其他互動期間，本地使用者202透過相機2〇9 10 傳達給遠端使用者210。相機209之位置與在不平坦顯示器 204上之遠端使用者210之影像組合協助本地使用者2〇2與 遠端使用者210做眼睛接觸或移開眼睛。類似地，遠端使用 者210可更容易地藉由相機208之位置與本地使用者2〇8在 如所說明般定位之不平坦顯示器204上之影像組合來控制 15 與本地使用者202之眼睛接觸。由相機對208和209所收集之 觀點資訊大大地增加了本地使用者202和遠端使用者2〇8之 能力來認清非語言資訊。例如，觀點資訊包含下列相關之 資訊：面部表情之對稱或不對稱，面部表情之元素相對於 凝視或眼睛接觸或其他在個人通訊期間所使用之面部表情 2〇 之許多不同之部份之位置。 可類似地將凝視資訊保留給遠端使用者21〇，藉由將一 或多個相機置於不平坦顯示器204上之方式，大致位於遠端 使用者21〇之一影像之一或雙眼之位置上。 第3A，3B和3C提供根據不同實施例之用以保存凝視之 1246333 不同相機配置。在一實施例中，如第3A圖中所說明的，一 相機302大致位於影像之一眼睛會出現同時區域304中沒有 相機出現對應於另一眼之區域中。在此配置中，相機302從 一眼睛之一視點來收集影像，而區域304從另一眼顯示凝視 5 資訊於顯示表面上。來自區域304中之單眼之凝視資訊保存 凝視之角度，同時相機302收集供在他處使用之凝視資訊。 在其他實現中，如第3B圖中所說明的，一半透明顯示 器308允許產生一遠端使用者之二眼310之影像之產生，同 時以一或多個本地相機306來收集視訊。在此配置中，從遠 10 端使用者之雙眼保存更多凝視資訊，如顯示於不平坦顯示 器上。類似地，相機對306從本地使用者收集凝視和觀點資 訊以供由一遠端使用者使用一不平坦或平坦顯示器或一視 訊系統中之他處觀看。在不平坦顯示器上相機3〇6之位置更 靠近遠端使用者之眼睛310之位置，則保存更多的凝視和非 15 語言資訊。 在苐3C圖中所說明之其他配置中，一相機312透過一大 致位於出現在一不平坦顯示器上之面部特徵之影像之鼻樑 上之孔314來收集一本地使用者之視訊。此實施例利用人們 無法辨別對鼻樑之凝視和對眼睛本身之凝視。相機312收集 20來自本地使用者之凝視資訊，但未保存和先前所描述之其 他實施例一樣多的觀點資訊，因為相機並非直接位在任一 眼上。然而，眼睛316和眼睛318被顯示於本地使用者之不 平坦顯示器且看來反映了遠端使用者之凝視。因此，實施 例可更經濟地製造且仍操作來保存凝視。 10 1246333 第4A，4B和4C圖説明根據實施例用以在一不平坦表面 上產生面部影像之許多不同的可能性。第4A圖說明附在一 頭形不平坦表面404之一軟性顯示器402之使用。相同的區 域映射亦可用來從具有區域408a，408b，408c和408d之軟性 5 顯示器之部份建構一不平坦顯示器406。相等區域映射為一 種設計方法，其映射一變富表面至一平坦材料上，如此使 得區域相同且平坦的，軟性材料可涵蓋彎曲表面。在此例 中，區域408a為軟性顯示材料，其對應至遠端使用者之右 臉位置，區域408b對應至遠端使用者之左臉部份，區域4〇8c 10 對應至遠端使用者之中央面部區域，而區域408d對應至遠 端使用者之前額區域。一涵蓋這些不同區域之軟性顯示材 料會描述凝視，面部表情，姿勢和許多其他非語言暗示。 第4B圖說明一實施例，其中多個投影器41〇, 412和414 在一不平坦顯示表面416上建立一影像以提供給一本地使 15用者418。此實施例具有使用目前可得之技術之優點，且因 此可最容易地實現且以較低成本來加以實現。可使用一圓 柱表面或一人體模型頭部或其他類似人之三維頭部之表面 來貫現不平坦表面416。 在不平坦顯示器416上使用投影器41〇，412和414亦可 20需要額外的處理和影像增強操作來正確地運作。影像處理 程序可處理遠端使用者之影像，以將面部保持在不平坦顯 不表面416之中心軸上。與不平坦顯示器416之中心軸相 比，面部辨識操作可用來識別正被錄影之遠端使用者之中 “軸。可藉由一或多個取自退端使用者之影像來對齊遠端 1246333 使用者之中心輛 止0 直到軸位置與不平坦顯示表面416一致為 10 。”他實蝴可處理和紅未正確地再生於*平坦 器416上之面部μ外 ，， ’、 、破。例如，由取遠端使用者之影像之 所引入之物_失真可造成面部特徵變得 =?二_或表情方面之統計資訊可用來再： 品"逍1¾非顯不陰影或暗部區域。例如 臉頻或額社之—㈣平坦輯可絲料純域中之區 域平滿化歧似且提供在林像巾之_性。此將提 ί、足夠正確之面部特徵之再生來維持凝視且避免因為一些 像差所造成之錯亂。 15 其他影像處理觀點可解析遠端使用者之相對小的頭部 移動。在此情財，面部辨識和眼睛追蹤程序亦可用來識 別遠端個者之頭部相對於取影像之相機之旋轉位置。為 了維持凝視和與本地使用者418之眼睛接觸取本地使用者 20 之影像之相機416將被改來反映遠端使用者之新的眼睛位 置。例如’實現可能收集和㈣從—右或左相機416所取之 影像’視《端使用者之頭料轉之程度而定。藉由使用 結果之左影像，右影像或其之組合，遠端制者可看到取 自本地使用者之-不同的觀點，以及—新的和更正確的眼 睛接觸位置。 第4C圖說明根據-實施例用以在_半透明不平坦表面 上做内部投影m此线包括-半透料平班表面 420’ -光源422,以及-液晶光閥414以將—影像呈現給一 12 1246333 本地使用者426。光閥424將光源422做濾波且將結采之影像 投影至半透明之不平坦表面420上。此系統是有利的’因為 顯示源和半透明不平坦表面420為完備的且可攜式的。類似 其他先前描述過的系統，遠端使用者之投影影像包枯面部 5 表情且保存凝視與本地使用者426之其他非語言暗系° 第5圖為根據一實施例之一流程圖，其說明牽涉則在收 集和顯示一使用者之面部特徵於一不平坦顯示器中之步 驟。初始地，一不平坦顯示裝置接收一遠端使用者之面部 特徵(502)之一或多個影像。如先前所描述的，一或多個相 10 機可用來收集影像且然後將它們顯示在不平坦顯示裝置 上。例如，相機可大致位於與位於不平坦顯示器上之每個 眼睛，在不平坦顯示器上之一眼睛一致，或介於鼻樑上一 對眼睛之間。 遠端使用者所取之影像然後被置於不平坦表面上，其 15 指示遠端使用者之凝視給一本地使用者。遠端使用者之面 部表情藉由將眼睛置於眼睛會出現在不平坦顯示器上之位 置上或靠近來保存凝視。又，從不同影像所收集之犁視資 訊協助傳送凝視與其他非語言資訊給觀看不平坦顯示器之 本地使用者。如先前描述的，面部影像可被投影至具有幾 20 個投影器之不平坦顯示器上，以附至一不平坦表面之軟性 顯示器來顯示，或透過影像從一半透明不平坦表面内之内 部投影來顯示。 與上述操作同時或平行，定位於不平坦顯示器上靠近 本地使用者之相機收集本地使用者之面部影像或表情(5〇6) 13 Ϊ246333 之影像。多個影像可收集本地使用者之不同觀點以增強本 地使用者之凝視和其他非語言暗示之捕捉。視應用而定， 存多不同的影像處理程序可被應用至所收集的影像，以修 正頭部轉動’頭部偏斜和可能干擾凝視之保存和遠端與本 5地使用者間眼睛接觸之其他影像中的變化。一旦完成此處 理，本地使用者之影像被加以發送以供顯示於遠端使用者 之不平坦顯示器上，且重覆上述操作。在上述操作以一特 定顺序提供之同時，應了解到上述操作可完全平地或以不 同順序來發生’以改進影像在不平坦顯示器上之性能與效 10 率。 第6圖為一使用於一實現中之系統6〇〇之方塊圖，其係 用以執行在此詳細說明之裝置或方法。系統600包括一記憶 體602以保留執行程式（一般來說隨機存取記憶體(RA]V1)或 唯讀記憶體(ROM)，諸如一快閃ROM)，一能夠介面和驅動 15 一顯示器或輸出裝置之呈現裝置介面604，一處理器606， 一程式記憶體608以保存驅動程式或其他常用之程式，一網 路通訊埠610以做資料通訊，一附屬儲存612，其具有一附 屬儲存控制器和輸入/輸出（I/O)埠和控制器614，其在一匯 流排616上操作地搞合在一起。系統6〇〇可在R〇M中例如使 20用現場可規劃閘陣列(FPGA)技術來再次規劃或其可藉由從 其他來源載入一程式來規劃（及再次規劃）(例如從一軟碟， 一CD-ROM ,或其他電腦）。又，系統6〇〇可使用訂製應用特 定積體電路(ASICs)來加以實現。 在一實現中，記憶體602包括一不平坦影像收集元件 14 1246333 不平坦顯示元件㈣，-不平坦影像處理器元件 ，二不平坦頭部追縱元件624和—執行時—’其管 多:理―或多個在系統_上之上述元件時所使用之系 5 10 15 沒空+问的模組出現在一單一電腦系統 中。然而，其他售t ΙΒ 、見亦可將這些元件散佈在一戍多不同 電腦中以容納處理+七、^ θ ^ 处里而求，容易銷售性，高可獲得性其他 設計限制。類似妯 .^ 不 、也，在弟6圖中所說明之元件，1看來為分 離且彼此分離。一 > /、有木 i _ /、他貫轭例可組合一或多個這些元件以 7 + q的率放，較低之成本或在—大型企業或小型操作 料中實現實施例所需之转其他設計限制。 不平坦衫像收集元件618從一或多個與不平坦顯系器 相關之相機來收隼太 ” #本地使用者之影像。不平坦影像處该元 、，、：所-收集之影像執行—或多個影像處_作，以改進 不:坦顯不裔上之結果顯示。如先前描述的，這些影像處 2作包括補償_遠端使用者之頭部之偏斜，考慮遠端使 …之頭4之轉動，使受到像差或失真影響之面部影像之 區域平滑化，以及任何其他程序來增強凝視和/ 言暗示之保存。 外b 不平坦顯^件622進-步處理影像並龍據在此所 提出之細即來設計之特定顯示器加以準備。此不平坦顯示 元件622可修改影縣更好地與投影ϋ，軟性顯示裝置，預 定在一不平坦顯示⑼部之顯示ϋ或任何其他許多不同的 實施例一起操作。 门的 15 1246333 不平坦頭部追蹤元件624包括一或多個操作，其當收集 和發送影像時追蹤遠端使用者之頭部之位置。此不平坦頭 部追蹤元件624可實現追蹤一遠端使用者之眼睛以及遠端 使用者之完整的面部特徵之操作。 5 在已描述範例和實施例之同時，它們不應作為限制本 發明之任何觀點之用。因此，本發明之實施例可實現於類 比電路中，在數位電子電路中，或在電腦硬體中，軔體， 軟體或其之組合中。本發明之裝置可藉由使用類比電子， 或數位電子於一電腦程式產品且實現於一機器可讀取之儲 10 存裝置中由一可規劃處理器執行來加以實現；且本發明之 方法步驟可由一可規劃處理器來加以執行，其執行指令之 程式，藉由在輸入資料上操作並產生輸出來執行本發明之 功能。可有利地在一或多個電腦程式中實現本發明，其可 於一可規劃系統上執行，其包括至少一可規劃處理器，其 15 耦合來從一資料儲存系統，至少一輸入裝置，以及至少一 輸出裝置接收資料和指令且將資料和指令發送至其中。若 需要的話，可以一高階程序或物件導向程式語言，或以組 合或機器語言來實現每個電腦程式；且在任何情況中，語 言可為一編譯或解譯之語言。適當處理器包括例如一般和 20 特殊用途微處理器。一般來說，一處理器將從一唯讀記憶 體和/或一隨機存取記憶體接收指令和資料。一般來說，一 電腦將包括一或多個大量儲存裝置，以儲存資料檔案；這 樣的裝置包括磁碟，諸如内部硬碟和可移除的碟片；磁光 碟片；以及光學碟片。適於實現電腦程式指令和資料之儲 16 1246333 :裝置包括所有型式之非揮發性記憶體，其包括例如半導 體記憶體裝置，諸如EPROM，EEPROM，以及快閃記憶體 裝置；諸如内部硬碟和可移除碟片之磁碟；磁光碟片；以 及CD-ROM碟片。任何前述可由ASICs供應或合併於其中。 5 在已於此描述特定實施例以供說明之目的之同時，可 做許多不同的變化而不違反本發明之精神與範圍。例如， 許多顯示技術可商業獲得，且可用來實現所描述之本發 明。再者，欲呈現之影像之準備可以許多不同的方式來執 行。出現在不平坦表面上之影像可為由視訊攝影機捕捉到 10 之一遠端使用者的那些，且然後由一電腦演算法或電腦硬 體處理和準備，或可由一電腦產生以供人類電腦互動之 用。因此，本發明並非受限於上述實現，而是由所附申請 專利範圍依照等效之全部範圍來加以定義。 C圖式簡单說明3 15 第1圖為一示意圖，其顯示本發明之一實施例，為一單 一遠端使用者，其之影像係由多個外部相機所收集的； 第2圖為一示意圖，其顯示本發明之二實施例，其由二 使用者在不同位置上同時使用以供視訊會議之目的用； 第3A圖為一觀點圖，其根據本發明之一實施例顯示一 20 不平坦顯示之切裁，其使一相機大致置於一眼睛之後，以 傳送一影像至一遠端使用者，同時保存凝視資訊； 第3B圖為一觀點圖，其顯示根據一實施例設計之一不 平坦顯示之切裁，且其使一相機大致置於每個眼睛之後， 以傳送一影像至一遠端使用者，同時保存凝視資訊； 17 1246333 第3C圖為一觀點圖，其顯示亦根據一實施例所設計之 一不平坦顯示之切裁，且其使一相機大致置於鼻樑之後， 以傳送一影像至一遠端使用者同時保存凝視； 第4A圖為一觀點圖，其顯示本發明之一實施例，其中 5 一單一軟性顯示器圍繞在一不平坦表面週圍，以及一其他 實施例，其中在一不平坦表面上砌了多個軟性顯示器； 第4B圖為一觀點圖，其顯示與一根據本發明之一實施 例之頭部形狀不平坦顯示器互動之一使用者，臉部形貌從 多個角度被投影至其上； 10 第4C圖為一觀點圖，其顯示本發明之一實施例，其利 用從一半透明不平坦顯示器内部之影像投射； 第5圖為根據本發明之一實施例之一操作之流程圖，其 顯示一遠端使用者之臉部形貌且傳送一本地使用者之影像 至遠端使用者；以及 15 第6圖為一用於一實施例中供執行本發明之裝置或方 法之系統之方塊圖。 【主要元件符號說明】 100···系統 102···不平坦顯示器 110···本地使用者 106，108…相機 112···麥克風 202…本地使用者 210···遠端使用者 204…頭形不平坦顯示器 206…頭形不平坦顯示器 209···相機 302…相機 304···區域 306···相機 308···半透明區域 18 1246333 310…眼睛 312…相機 314···孔 316···眼睛 318…眼睛 402···軟性顯示器 404…頭形不平坦表面 406···不平坦顯示器 408…區域 410，412，414…投影器 416···不平坦顯示表面 418···本地使用者 420···半透明不平坦表面 422···光源 424···光閥 426…本地使用者 602…記憶體 604···不平坦顯示器介面 606…處理器 608···程式記憶體 610···網路通訊埠 612···附屬儲存 614…I/O埠 616···匯流排 618···不平坦影像收集元件 620…不平坦影像處理元件 622···不平坦顯示元件 624···不平坦頭部追蹤元件 626···執行時模組 19

Claims (1)

1246333 十、申請專利範圍： 1. 一種用以顯示面部特徵之裝置，其包含： 一不平坦表面； 一影像產生裝置，其建立具有面部特徵之一影像於 5 不平坦表面上；以及 一定位系統，其將影像定位於不平坦表面上以指示 凝視之方向並增強與面部特徵相關之非語言通訊。 2. 如申請專利範圍第1項之裝置，其中不平坦表面具有大 致為一頭部之形狀。 10 3.如申請專利範圍第2項之裝置，其中大致為頭部形狀之 不平坦表面係從一組頭部形狀中選擇出來的，其包括： 一球體，或一橢圓封閉表面。 4.如申請專利範圍第1項之裝置，其中影像產生裝置包含 一或多個投影裝置，其將光線從不平坦表面外部投影。 15 5.如申請專利範圍第1項之裝置，其中影像產生裝置包含 一或多個投影裝置，其從不平坦表面内部投影。 6. 如申請專利範圍第1項之裝置，其中影像產生裝置包含 一軟性顯示器，其大致與不平坦表面一致。 7. 如申請專利範圍第6項之裝置，其中影像產生裝置係使 20 用一軟性顯示技術實現的，其從下列之一組中選擇：一 軟性LCD顯示器，一軟性有機發光二極體顯示器，一軟 性無機光電顯示器，以及一軟性發光聚合物顯示器。 8. 如申請專利範圍第1項之裝置，其中與以影像收集裝置 所收集之面部特徵之移動連結，定位系統將影像中包含 20 1246333 之影像和眼睛從不平坦表面之一部份移至另一處。 9.如申請專利範圍第1項之裝置，其進一步包含一或多個 視訊收集裝置，以從大致在不平坦表面上或靠近處之一 觀點來收集面部特徵之視訊影像。 5 10.如申請專利範圍第1項之裝置，其進一步包含一制17八以 從不平坦表面之觀點來發送語音和其他聲音。 21