JP6754817B2

JP6754817B2 - データ融合を用いた顔表情生成の方法

Info

Publication number: JP6754817B2
Application number: JP2018226568A
Authority: JP
Inventors: 永明周; 峰森朱; 鼎傑林; 銓彰王
Original assignee: 未來市股▲ふん▼有限公司
Priority date: 2018-09-19
Filing date: 2018-12-03
Publication date: 2020-09-16
Anticipated expiration: 2038-12-03
Also published as: CN110929553A; JP2020047237A; EP3627381A1; US20200090392A1; TW202013242A

Description

本発明は仮想現実システムに関し、より詳細には仮想現実システムでデータ融合により顔の表情を生成する方法に関する。

多くの仮想現実（ＶＲ）システムは、ユーザにより持ち運ばれるヒューマンインターフェース装置から部屋規模のエリア内のユーザの動きを追跡することができる。ヒューマンインターフェース装置（例えば、ジョイスティック、コントローラ、タッチパッド等）は、ユーザがコンピューティング装置により実行されるソフトウェアシステム、例えば、ＶＲゲームと対話するために使用される。さらに、ユーザにより装着されたヘッドマウントディスプレイ（ＨＭＤ）は、ＶＲ体験のためにユーザに対してコンピューティング装置により生成された対話画像を表示するために使用される。

ユーザのＶＲ没入の意欲を高めるために、顔の表情（例えば、中立、幸せ、怒り、驚き、及び悲しみ）を用いたＶＲアバター（すなわち、仮想環境におけるユーザの代理）が、ソーシャルコミュニケーションに対してリアルタイムでユーザの気持ちを明らかにするために提案されている。しかしながら、ＶＲアバターの表情の、ＨＭＤユーザとの同期は限定される。これまでの研究は、顔の表情を認識するカメラにより収集された画像シーケンスから顔の特徴をしばしば抽出する。ＨＭＤを装着することの主な問題は、ユーザの顔の大部分が占有され、ユーザの筋肉の動きが制限されることであり、これは、ＶＲシステムにおいてカメラに基づく顔認識を困難にしている。

ゆえに、上記問題を解決するためのシステム情報送信及び獲得の方法を提供することが一目的である。

本発明は、仮想現実システムのコンピューティング装置のためのデータ融合による顔表情生成の方法を開示する。方法は、複数のデータソースからユーザの顔情報を取得するステップであり、複数のデータソースはリアルタイムデータ検出及びデータ事前構成を含む、ステップと、ユーザの顔幾何学モデルをシミュレートするために顔情報を顔表情パラメータにマッピングするステップと、顔表情パラメータに従って融合処理を実行して、重み付けを用いて顔表情パラメータに関連づけられた融合パラメータを生成するステップと、融合パラメータに従って仮想現実システム内のアバターの顔の表情を生成するステップと、を含む。

本発明は、データ融合を用いた顔表情生成のための仮想現実システムを開示する。仮想現実システムは、ソフトウェアシステムを実行して仮想現実画像を生成するコンピューティング装置と、コンピューティング装置に接続し、ユーザに対する仮想現実画像を表示するヘッドマウントディスプレイ（ＨＭＤ）と、コンピューティング装置に接続し、複数のデータソースからユーザの顔情報を収集する複数の追跡装置であり、複数のデータソースはリアルタイムデータ検出及びデータ事前構成を含む、複数の追跡装置と、を含み、コンピューティング装置は、プログラムを実行する処理手段と、処理手段に結合され、プログラムを記憶する記憶ユニットと、を含み、プログラムは、処理手段に、複数の追跡装置から顔情報を取得するステップと、ユーザの顔幾何学モデルをシミュレートするために顔情報を顔表情パラメータにマッピングするステップと、顔表情パラメータに従って融合処理を実行して、重み付けを用いて顔表情パラメータに関連づけられた融合パラメータを生成するステップと、融合パラメータに従って仮想現実システム内のアバターの顔の表情を生成するステップと、を実行するように命令する。

本発明の上記及び他の目的が、様々な図表及び図面に例示される好適な実施例の下記詳細な説明を読んだ当業者に疑いなく明らかになるであろう。

仮想現実システムの概略図である。本開示の実施例による仮想現実システムの仮想現実装置の概略図である。本開示の実施例によるフローチャートである。

図１を参照されたい。図１は、本開示の一実施例による仮想現実システムの概略図である。仮想現実（ＶＲ）システム（すなわち、ＨＴＣＶＩＶＥ）は、ユーザがＶＲ環境内で自由に移動し、探索することを可能にする。詳細には、ＶＲシステムは、ヘッドマウントディスプレイ（head-mounted display；ＨＭＤ）１００、コントローラ１０２Ａ及び１０２Ｂ、ライトハウス（lighthouses）１０４Ａ及び１０４Ｂ、並びにコンピューティング装置１０６（例えば、パーソナルコンピュータ）を含む。ライトハウス１０４Ａ及び１０４Ｂは、ＩＲ光を放出するために使用され、コントローラ１０２Ａ及び１０２Ｂは、コンピューティング装置１０６に対する制御信号を生成するために使用され、それにより、プレーヤは、コンピューティング装置により実行されるソフトウェアシステム、ＶＲゲームと対話することができ、ＨＭＤ１００は、プレーヤに対してコンピューティング装置１０６により生成された対話画像を表示するために使用される。ＶＲシステムの動作は当該分野において良く知られているものであり、ゆえにここでは省略される。

図２は、本開示の一実施例によるＶＲ装置の概略図である。ＶＲ装置２０は、図１のコンピューティング装置１０６でもよく、処理ユニット２００、例えばマイクロプロセッサ又は特定用途向け集積回路（ＡＳＩＣ）など、記憶ユニット２１０、及び通信インターフェースユニット２２０を含む。記憶ユニット２１０は、処理ユニット２００によるアクセスのためにプログラムコード２１４を記憶することができる任意のデータ記憶装置でもよい。記憶ユニット２１０の例は、これらに限られないが、加入者識別モジュール（subscriber identity module；ＳＩＭ）、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ‐ＲＯＭ、磁気テープ、ハードディスク、及び光学データ記憶装置を含む。通信インターフェースユニット２２０は、処理ユニット２００の処理結果に従った図１のＨＭＤ１００並びにコントローラ１０２Ａ及び１０２Ｂとの交換信号のために有線又は無線通信を適用される。

上述された問題を克服するために、本発明は、顔の表情の生成のために異なるデータソースを考慮に入れる。データリソースは、ＶＲシステムの追跡装置（図示されてない）により収集されるリアルタイムデータと、ＶＲシステムのコンピューティング装置１０６により生成される事前構成されたデータとを含む。追跡装置は、ユーザの顔の筋肉の活動を検出するためにユーザにより装着された（すなわち、ＨＭＤ１００内部に取り付けられた）センサ、及び／又はユーザの音声を記録するために部屋規模のエリアに展開されたセンサを含む。これらセンサは、超音波検出、電流／電圧センサ、赤外線センサ、及び眼球／虹彩／瞳検出、ひずみゲージ、カメラ及び音記録（すなわち、話すことと共にユーザの筋肉の動きを検出するために、ユーザの顔の下半分に向けられたカメラ）を限定なく含んでもよい。結果的に、本発明のＶＲシステムは、ユーザの感情の変化に対応する顔の表情の生成を可能にし、ユーザがＨＭＤ１００を装着している間、アバターの顔の表情をユーザの顔の表情と同期させる。

図３が参照され、本開示の実施例による処理３０のフローチャートが示される。処理３０は、顔表情生成のために図２のＶＲ装置２０で利用できる。処理３０は、記憶ユニット２１０に記憶されるプログラムコード２１４にコンパイルされてもよく、以下のステップを含み得る。

ステップ３００：複数のデータソースからユーザの顔情報を取得し、複数のデータソースは、リアルタイムデータ検出及びデータ事前構成を含む。

ステップ３１０：ユーザの顔幾何学モデルをシミュレートするために顔情報を顔表情パラメータにマッピングする。

ステップ３２０：顔表情パラメータに従って融合処理を実行して、重み付けを用いて顔表情パラメータに関連づけられた融合パラメータを生成する。

ステップ３３０：融合パラメータに従って仮想現実システム内のアバターの顔の表情を生成する。

処理３０によれば、ＶＲ装置２０（例えば、コンピューティング装置１０６）は、リアルタイムデータ及び所定データからＶＲ環境内のアバターの顔の表情を生成する。実施例において、リアルタイムデータは、ユーザの部分的又は全体的な顔の画像、ユーザの顔の特徴の動き（例えば、眉、目、鼻、及び口）、並びにユーザの話しの発話（例えば、音声のトーン及び話しの速度）から収集された生データを含む。一実施例において、所定データは、所定間隔内のまばたき若しくはうなずき、又はランダムに生成された顔の特徴を含む。

実施例において、複数のデータソースが、より信頼できる判断を提供するために一緒に協働する様々な独立した追跡装置／センサを適用される。多様なデータソース、例えば、話しの発話を用いて、ＶＲ装置２０は、検出された音声／トーンを発話解析のために適用し、それにより、アバターの口の形状がより的確に生成でき、話す内容が表示できる。ゆえに、異なるタイプのデータの組み合わせがアバターの顔のアニメーションを実際に向上させ、それにより、ユーザの感情がＶＲ環境内で他のプレーヤと対話するために示される。

さらに、複数のデータソースから顔の情報（例えば、リアルタイムデータ及び所定データ）を取得した後、ＶＲ装置２０は、ユーザの顔の特徴を図示するためにこれら生データを顔表情パラメータにマッピングする。要するに、顔表情パラメータは、ユーザの眉、しわ、目、口、歯、舌、鼻、まばたきの頻度、目の動きの方向、瞳のサイズ、及び頭部６次元情報、のうち少なくとも１つを含む顔の特徴の情報を示すために使用される。例えば、顔表情パラメータにより示される情報は以下を含む。
１．上歯可視 ‐ 上の歯の可視性の有無
２．下歯可視 ‐ 下の歯の可視性の有無
３．額ライン ‐ 額の上部におけるしわの有無
４．眉ライン ‐ 眉の上の領域におけるしわの有無
５．鼻ライン ‐ 鼻の上に広がる眉の間の領域におけるしわの有無
６．顎ライン ‐ 下唇のすぐ下の顎領域におけるしわ又はラインの有無
７．鼻唇ライン（Nasolabial lines） ‐ 鼻の両側における、上唇に対して下に広がる厚いラインの有無

代替的に、ユーザの話し、例えば、高い又は低いピッチ、ゆっくり話すこと又は速く話すことなどに関連づけられるいくつかの顔表情パラメータがある。すなわち、ＶＲ装置２０は、収集された音声情報を対応する顔表情パラメータにマッピングし、これは、口の形状のシミュレーションに有用であり得る。

上述された顔表情パラメータを用いて、ユーザの顔の特徴が描写できる。

より具体的には、顔表情パラメータは、幾何学パラメータ及びテクスチャパラメータを含む。幾何学パラメータは、顔幾何学モデル上の頂点の３Ｄ座標を示し、テクスチャパラメータは、感情モデルに対応するどの顔画像が顔幾何学モデル上のどの位置にペーストされるべきかを示す。

ＶＲ装置２０は、顔情報に従って顔表情認識動作をさらに実行してユーザの感情モデルを取得することができ、次いで、取得された感情モデルに従って顔情報を顔表情パラメータにマッピングすることに留意する。詳細には、感情モデルを決定する顔表情認識動作は、顔情報の距離解析を適用されるツリーに基づく分類方法、又は、データベースからの及び顔情報を用いた顔表情画像解析を適用される機械学習分類方法に基づく。

上述されたように、生データは、異なるタイプのセンサを用いて収集され、該センサは、あらゆる顔の特徴（例えば、鼻根のしわの存在、目の形状、口の歯、舌、及び鼻等）に対応する距離を測定することにより、ユーザの顔の幾何学変化を追跡することができる。測定された距離に従い、ＶＲ装置２０は、決定された感情モデルを用いて生データを顔表情パラメータにマッピングする。顔表情認識動作に適用される距離は、以下のパラメータを含み得る。
１．眉上昇距離 ‐ 上下まぶたの接合点と眉の下中央先端（lower central tip）との間の距離
２．上まぶたから眉の距離 ‐ 上まぶたと眉表面との間の距離
３．眉間距離 ‐ 双方の眉の下中央先端間の距離
４．上まぶた‐下まぶた距離 ‐ 上まぶたと下まぶたとの間の距離
５．上唇厚さ ‐ 上唇の厚さの尺度
６．下唇厚さ ‐ 下唇の厚さの尺度
７．口幅 ‐ 唇の角の先端間の距離
８．口の開き ‐ 上唇の下表面と下唇の上表面との間の距離

距離解析に基づき、ＶＲ装置２０は、ユーザの感情モデルを決定することができる。例えば、上まぶたから眉の距離が閾値より小さい場合、ＶＲ装置２０は、ユーザがショックを受けているか又は幸せであると決定することができる。さらに、口の開きが閾値より大きい場合、ＶＲ装置２０は、ユーザがショックを受けていると確認することができる。しかしながら、異なる又は衝突する感情モデル（ショック対幸せ）がＶＲ装置２０により決定されることがあり得る。

顔情報を顔表情パラメータにマッピングした後、ＶＲ装置２０は、顔表情パラメータに対して異なる重み付けを構成する融合処理を実行して、アバターのためのユーザの感情に対応する顔の表情を生成する。

融合処理は、上述された顔表情パラメータにより示される、例えば口、目、眉、及びしわの形状などの複数の顔領域を考慮して、前述された顔表情認識（すなわち、普遍的な感情：中立の表情に対する喜び、驚き、嫌悪、悲しみ、怒り、恐怖）を用いて実現される。要するに、融合処理は、顔表情解析（すなわち、感情決定）について、口及び目などの顔の特徴を別個の調査（study）とみなす。これらの顔の特徴間に感情／意図衝突がある場合、融合処理は、顔表情パラメータの新しい重み付けを決定して、アバターの顔の表情を再構成することができる。

感情／意図衝突は、笑っている上で目がまばたきしているなどの顔の特徴間で生じることがあり、あるいは顔表情認識において２つの反対の感情（幸せ対悲しみ）から結果として生じる。この状況において、ＶＲ装置２０はこのことに応じて、融合パラメータ（すなわち、より軽い又はより重い重み付けを用いた顔表情パラメータ）を生成して、アバターの適切な顔表情を再構成する。換言すると、決定された感情結果をより有力にするために、融合処理が使用されて、顔表情表示における疑いを低減し、あるいはさらには除去することができる。

融合処理の顔表情認識は、光学フロー又は幾何学に基づくアプローチ方法の支援でＶＲ装置に確立されたデータベースの感情モデルに従って実現されてもよいことに留意する。すなわち、ユーザの感情は、限定なく、顔の筋肉の活動からの光学フロー解析、又はモデルに基づくアプローチに基づいて決定されてもよい。このことは当該分野において良く知られているものであり、ゆえにここでは省略される。

示唆されたステップを含む処理の上述されたステップは、ハードウェア、ハードウェア装置とコンピュータ命令との組み合わせとして知られるファームウェア、及びハードウェア装置又は電子システム上で読取専用ソフトウェアとして存在するデータであり得る手段により実現されてもよい。ハードウェアの例には、マイクロ回路、マイクロチップ、又はシリコンチップとして知られるアナログ、デジタル、及び混合回路を含むことができる。電子システムの例には、システムオンチップ（ＳＯＣ）、システムインパッケージ（ＳｉＰ）、コンピュータオンモジュール（ＣＯＭ）、及びＶＲ装置２０を含むことができる。

結論として、本発明は、仮想環境においてリアルタイムのソーシャル対話のためにユーザの顔の表情を模倣して他のプレーヤのアバターと対話することに対処する。詳細には、リアルタイムデータ及び事前構成データを含む複数のデータリソースが、データ融合と共にアバターの顔表情を生成することに適用される。

当業者は、本発明の教示を保有する間、装置及び方法についての多数の修正及び変更がなされ得ることを容易に観察するであろう。したがって、上記開示は、別記の請求項の範囲及び境界によってのみ限定されるとみなされるべきである。

Claims

仮想現実システムのコンピューティング装置のためのデータ融合による顔表情生成の方法であって、
複数のデータソースからユーザの顔情報を取得するステップであり、前記複数のデータソースは、リアルタイムデータ検出と前記コンピューティング装置により生成される事前構成されたデータとを含み、前記事前構成されたデータは、ランダムに生成された顔の特徴と所定間隔内の予め定義された顔の特徴とのうち少なくとも１つを含む、ステップと、
前記ユーザの顔幾何学モデルをシミュレートするために前記顔情報を顔表情パラメータにマッピングするステップと、
前記顔表情パラメータに従って融合処理を実行して、重み付けを用いて前記顔表情パラメータに関連づけられた融合パラメータを生成するステップと、
前記融合パラメータに従って前記仮想現実システム内のアバターの顔の表情を生成するステップと、
を含む方法。
前記ユーザの顔幾何学モデルをシミュレートするために前記顔情報を顔表情パラメータにマッピングするステップは、
前記顔情報に従って顔表情認識動作を実行して、前記ユーザの感情モデルを取得するステップと、
前記取得された感情モデルに従って前記顔情報を前記顔表情パラメータにマッピングするステップと、
を含む、請求項１に記載の方法。
前記顔表情パラメータは、幾何学パラメータ及びテクスチャパラメータを含み、前記幾何学パラメータは、前記顔幾何学モデル上の頂点の３Ｄ座標を示し、前記テクスチャパラメータは、前記感情モデルに対応するどの顔画像が前記顔幾何学モデル上のどの位置にペーストされるべきかを示す、請求項２に記載の方法。
前記顔情報に従って顔表情認識動作を実行することは、
前記顔情報から抽出された距離を用いてツリーに基づく分類方法に基づいて前記ユーザの前記感情モデルを決定する前記顔表情認識動作を実行すること、又は、
データベース及び前記顔情報からの顔表情画像を用いて機械学習分類方法に基づいて前記ユーザの前記感情モデルを決定する前記顔表情認識動作を実行すること
を含む、請求項２に記載の方法。
前記データソースは、顔の筋肉の活動、話しの発話、及び部分的又は全体的な顔の画像を含む、請求項１に記載の方法。
前記顔表情パラメータは、前記ユーザの眉、しわ、目、口、歯、舌、鼻、まばたきの頻度、目の動きの方向、瞳のサイズ、及び頭部６次元情報、のうち少なくとも１つを含む顔の特徴の情報を示す、請求項１に記載の方法。
前記顔表情パラメータに従って融合処理を実行することは、
前記マッピングされた顔表情パラメータに基づいて感情衝突が生じるかどうかを決定することと、
前記感情衝突が生じたとき、前記顔表情パラメータのために構成された重み付けを用いて融合パラメータを生成することと、
を含む、請求項４に記載の方法。
データ融合を用いた顔表情生成のための仮想現実システムであって、
ソフトウェアシステムを実行して仮想現実画像を生成するコンピューティング装置と、
前記コンピューティング装置に接続し、ユーザに対する仮想現実画像を表示するヘッドマウントディスプレイ（ＨＭＤ）と、
前記コンピューティング装置に接続し、複数のデータソースから前記ユーザの顔情報を収集する複数の追跡装置であり、前記複数のデータソースは、リアルタイムデータ検出と前記コンピューティング装置により生成される事前構成されたデータとを含み、前記事前構成されたデータは、ランダムに生成された顔の特徴と所定間隔内の予め定義された顔の特徴とのうち少なくとも１つを含む、複数の追跡装置と、を含み、
前記コンピューティング装置は、
プログラムを実行する処理手段と、
前記処理手段に結合され、前記プログラムを記憶する記憶ユニットと、を含み、
前記プログラムは、前記処理手段に、
前記複数の追跡装置から顔情報を取得するステップと、
前記ユーザの顔幾何学モデルをシミュレートするために前記顔情報を顔表情パラメータにマッピングするステップと、
前記顔表情パラメータに従って融合処理を実行して、重み付けを用いて前記顔表情パラメータに関連づけられた融合パラメータを生成するステップと、
前記融合パラメータに従って前記仮想現実システム内のアバターの顔の表情を生成するステップと、
を実行するように命令する、仮想現実システム。
前記プログラムは、前記処理手段に、
前記顔情報に従って顔表情認識動作を実行して、前記ユーザの感情モデルを取得するステップと、
前記取得された感情モデルに従って前記顔情報を前記顔表情パラメータにマッピングするステップと、
を実行するようにさらに命令する、請求項８に記載の仮想現実システム。
前記顔表情パラメータは、幾何学パラメータ及びテクスチャパラメータを含み、前記幾何学パラメータは、前記顔幾何学モデル上の頂点の３Ｄ座標を示し、前記テクスチャパラメータは、前記感情モデルに対応するどの顔画像が前記顔幾何学モデル上のどの位置にペーストされるべきかを示す、請求項９に記載の仮想現実システム。
前記プログラムは、前記処理手段に、
前記顔情報から抽出された距離を用いてツリーに基づく分類方法に基づいて前記ユーザの前記感情モデルを決定する前記顔表情認識動作を実行するステップ、又は、
データベース及び前記顔情報からの顔表情画像を用いて機械学習分類方法に基づいて前記ユーザの前記感情モデルを決定する前記顔表情認識動作を実行するステップ
を実行するようにさらに命令する、請求項９に記載の仮想現実システム。
前記データソースは、顔の筋肉の活動、話しの発話、及び部分的又は全体的な顔の画像を含む、請求項８に記載の仮想現実システム。
前記顔表情パラメータは、前記ユーザの眉、しわ、目、口、歯、舌、鼻、まばたきの頻度、目の動きの方向、瞳のサイズ、及び頭部６次元情報、のうち少なくとも１つを含む顔の特徴の情報を示す、請求項８に記載の仮想現実システム。
前記プログラムは、前記処理手段に、
前記マッピングされた顔表情パラメータに基づいて感情衝突が生じるかどうかを決定するステップと、
前記感情衝突が生じたとき、前記顔表情パラメータのために構成された重み付けを用いて融合パラメータを生成するステップと、
を実行するようにさらに命令する、請求項１１に記載の仮想現実システム。