JP7483940B2 - 顔イメージ生成方法、装置、電子機器及び可読記憶媒体 - Google Patents

Description

（関連出願の相互参照）
本出願は、２０２０年５月９日に中国で提出された中国特許出願番号Ｎｏ．２０２０１０３８６６６１．８の優先権を主張しており、同出願の内容のすべては、参照によりここに組み込まれている。

本出願の実施例は、通信分野に関し、具体的には、顔イメージ生成方法、装置、電子機器及び可読記憶媒体に関する。

従来の拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）技術を利用してインタラクションを行うシーンにおいて、ユーザはＡＲデバイスを着用する必要があり、このＡＲデバイスがユーザの顔を隠すことによってユーザの顔が見えなくなり、互いの身分を見分けにくくなる。現在の処理方式として、予め録画された仮想イメージ及びユーザ動作に対するキャプチャによってユーザイメージの入れ替えを行うが、予め設定される仮想イメージは、相対的に固定されており、また、顔は、簡単な発話動作しか備えておらず、表情を出すことができないので、ユーザのＡＲインタラクション体験は、比較的に悪くなる。

本出願の実施例の目的は、従来のＡＲインタラクションシーンにおいて、ユーザの顔イメージを示すことができないため、ＡＲインタラクション体験が比較的に悪いという問題を解決することができる顔イメージ生成方法、装置、電子機器及び可読記憶媒体を提供することである。

上記技術問題を解決するために、本出願は、以下のように実現される。

第一の態様によれば、本出願の実施例は、電子機器に用いられる顔イメージ生成方法を提供する。前記方法は、
ＡＲデバイスを着用しているターゲットユーザの顔輪郭を取得することと、
前記顔輪郭に基づいて前記ターゲットユーザの、前記ターゲットユーザの顔向きと前記電子機器との間の角度を含む顔角度を決定することと、
ターゲット顔表情を取得することと、
前記ターゲット顔表情と前記顔角度に基づき、前記ターゲットユーザの顔イメージを生成することとを含む。

第二の態様によれば、本出願の実施例は、電子機器に用いられる顔イメージ生成装置を提供する。前記顔イメージ生成装置は、
ＡＲデバイスを着用しているターゲットユーザの顔輪郭を取得するための第一の取得モジュールと、
前記顔輪郭に基づいて前記ターゲットユーザの、前記ターゲットユーザの顔向きと前記電子機器との間の角度を含む顔角度を決定するための決定モジュールと、
ターゲット顔表情を取得するための第二の取得モジュールと、
前記ターゲット顔表情と前記顔角度に基づき、前記ターゲットユーザの顔イメージを生成するための生成モジュールとを含む。

第三の態様によれば、本出願の実施例は、電子機器を提供する。前記電子機器は、プロセッサと、メモリと、前記メモリに記憶され且つ前記プロセッサ上で運行できるプログラム又は命令とを含み、前記プログラム又は命令が前記プロセッサにより実行される時、第一の態様に記載の顔イメージ生成方法のステップを実現する。

第四の態様によれば、本出願の実施例は、可読記憶媒体を提供する。前記可読記憶媒体には、プログラム又は命令が記憶され、前記プログラム又は命令がプロセッサにより実行される時、第一の態様に記載の顔イメージ生成方法のステップを実現する。

第五の態様によれば、本出願の実施例は、チップを提供する。前記チップは、プロセッサと通信インターフェースとを含み、前記通信インターフェースは、前記プロセッサと結合され、前記プロセッサは、プログラム又は命令を運行し、第一の態様に記載の方法を実現するために用いられる。

第六の態様によれば、本出願の実施例は、コンピュータソフトウェア製品を提供する。前記コンピュータソフトウェア製品は、不揮発性の記憶媒体に記憶され、前記ソフトウェア製品は、少なくとも一つのプロセッサによって実行されて第一の態様に記載の顔イメージ生成方法のステップを実現するように構成される。

第七の態様によれば、本出願の実施例は、顔イメージ生成装置を提供する。前記顔イメージ生成装置は、第一の態様に記載の顔イメージ生成方法を実行するために用いられるように構成される。

本発明の実施例では、ＡＲデバイスを着用しているターゲットユーザの顔輪郭に基づき、このターゲットユーザの顔角度を決定し、ターゲットユーザの顔角度と取得されたターゲット顔表情に基づいてこのターゲットユーザの顔イメージを生成する。このようにＡＲインタラクションを行う場合、ユーザの顔イメージを示すことができ、且つ異なるターゲット顔表情に基づき、ユーザが異なる表情で表現し、ＡＲインタラクション体験を向上させることができる。

本出願の実施例による顔イメージ生成方法のフローチャートである。 本出願の実施例による応用シーン概略図のその一である。 本出願の実施例による応用シーン概略図のその二である。 本出願の実施例による顔イメージ生成装置の構造概略図である。 本出願の実施例による電子機器の構造概略図である。

以下は、本出願の実施例における図面を結び付けながら、本出願の実施例における技術案を明瞭且つ完全に記述する。明らかに、記述された実施例は、本発明の一部の実施例であり、すべての実施例ではない。本発明における実施例に基づき、当業者が創造的な労力を払わない前提で得られたすべての他の実施例は、いずれも本発明の保護範囲に属する。

本出願の明細書と特許請求の範囲における用語である「第一の」、「第二の」などは、類似している対象を区別するために用いられ、特定の順序又は前後手順を記述するためのものではない。理解すべきこととして、このように使用されるデータは、適切な場合に交換可能であり、それにより本出願の実施例は、ここで図示又は記述されたもの以外の順序で実施されることが可能である。なお、明細書及び請求項における「及び／又は」は、接続される対象のうちの少なくとも一つを表し、文字である「／」は、一般的には前後関連対象が「又は」の関係にあることを表す。

以下では、図面を結び付けながら、具体的な実施例及びその応用シーンによって本出願の実施例による顔イメージ生成方法を詳細に説明する。

本出願の実施例では、ＡＲインタラクションシーンは、ＡＲに基づく会議であってもよく、即ち参加者は、ＡＲデバイスを着用することで会議の討論とインタラクションを行い、又はＡＲインタラクションシーンは、リモートなロールプレイングゲーム、又は別の場所にいる子供に物語を話すなどのカジュアルなシーンであってもよい。

本出願の実施例では、電子機器に用いられる顔イメージ生成方法を提供する。

上記電子機器は、カメラを有する機器であり、カメラで取得した画像に基づき、ＡＲ技術を結びつけてＡＲインタラクションを行い、この電子機器は、ＡＲデバイス、例えばＡＲ眼鏡などであってもよく、この電子機器は、携帯電話、コンピュータなどであってもよく、本出願の実施例は、電子機器の具体的なタイプに対して限定しない。

図１を参照すると、この方法は、以下のステップを含む。

ステップ１０１：ＡＲデバイスを着用しているターゲットユーザの顔輪郭を取得する。

本出願の実施例では、ターゲットユーザとは、ＡＲインタラクションを行う対象であり、例えば、ＡＲ会議では、ターゲットユーザは、ＡＲデバイスを着用している発言者であってもよい。具体的には、ターゲットユーザの顔輪郭を取得する方式は、様々含んでもよく、例えば、カメラ付きのＡＲデバイスによって取得されてもよく、又はカメラ付きの携帯電話、コンピュータなどの機器によって取得されてもよく、又は一つのカメラを個別に設置することによってターゲットユーザの顔輪郭を録画してから、録画された画像を表示のための装置に伝送してもよい。

いくつかの実施の形態では、ＡＲデバイスを着用しているターゲットユーザの顔輪郭を取得することは、具体的に、
カメラによってターゲットユーザの顔イメージを取得し、カメラとターゲットユーザの顔との最近接点から、この最近接点に予め設定される距離を加えた被写界深度の範囲内に、複数回の異なる被写界深度の輪郭撮像を行ってから、得られた複数の輪郭画像を重ねてこのターゲットユーザの顔輪郭を得ることを含む。

本出願の実施例では、顔の最近接点とは、カメラによってターゲットユーザの顔イメージを取得する際に、ターゲットユーザの顔がカメラに最も近い点を指し、例えば、ターゲットユーザの顔がカメラに正対する場合、顔の最近接点は、ターゲットユーザの鼻先の位置に対応する。上記予め設定される距離は、ターゲットユーザのヘッド幅の距離に対応し、このヘッド幅の距離は、人の平均的なヘッド幅に基づいて設定されてもよい。

顔の最近接点から顔の最近接点にヘッド幅を加える被写界深度の範囲内で、複数の異なる被写界深度における輪郭画像をそれぞれ取得してから、異なる被写界深度における輪郭画像に基づいて重ねて合成し、このように相対的に正確なターゲットユーザの顔輪郭を得ることができ、この顔輪郭は、ターゲットユーザの顔形状、及び顔向き角度を表現することができる。

ステップ１０２：顔輪郭に基づいてターゲットユーザの顔角度を決定する。

本出願の実施例では、顔角度は、ターゲットユーザの顔向きと電子機器との間の角度を含む。顔角度は、ターゲットユーザの顔の電子機器に対する顔姿勢を反映するために用いられ、例えば、ターゲットユーザの顔輪郭に基づき、ターゲットユーザの顔向きが電子機器の正対方向に対して３０度上がったと決定した場合、このときのターゲットユーザの顔姿勢が３０度の仰向けであることを反映させることができる。さらに、より複雑な顔角度について、例えば、ターゲットユーザの顔が斜めに傾っている場合、ターゲットユーザの顔向きの電子機器に対する複数の方向（例えば水平と垂直方向）での偏向角度によって、従来の空間角度アルゴリズムに基づいてターゲットユーザの顔角度を計算することができる。

いくつかの実施の形態では、顔輪郭に基づいてターゲットユーザの顔角度を決定することは、具体的に、顔輪郭データベースで顔輪郭に対応する顔角度を照合することを含む。ここで、顔輪郭データベースには、複数の顔角度から予め録画されたターゲットユーザの顔輪郭が含まれる。

本出願の実施例では、複数の角度からターゲットユーザの顔輪郭を予め録画することができ、録画された顔輪郭に基づいて一つの顔輪郭データベースを生成し、この顔輪郭データベースにおいて異なる顔輪郭が異なる顔角度にそれぞれ対応し、このようにターゲットユーザの顔輪郭を取得した後、顔輪郭データベースにおいて対応する顔角度を直接照合することができる。

ステップ１０３：ターゲット顔表情を取得する。

本出願の実施例では、ターゲット顔表情とは、ターゲットユーザの顔イメージを生成するための顔表情を指し、このターゲット顔表情は、ターゲットユーザの表情であってもよく、他のユーザの表情であってもよく、ネットワークからいくつかのアニメイメージを取得する表情であってもよい。

ステップ１０４：ターゲット顔表情と顔角度に基づき、ターゲットユーザの顔イメージを生成する。

本出願の実施例では、選ばれたターゲット顔表情を決定された顔角度に応じてターゲットユーザの顔イメージを生成し、このように生成された顔イメージの角度とターゲットユーザの現在の顔角度との一致性を保つことができ、顔イメージをターゲットユーザの顔により近づけることができる。

本発明の実施例では、ＡＲデバイスを着用しているターゲットユーザの顔輪郭に基づき、このターゲットユーザの顔角度を決定し、ターゲットユーザの顔角度と取得されたターゲット顔表情に基づいてこのターゲットユーザの顔イメージを生成する。このようにＡＲインタラクションを行う場合、ユーザの顔イメージを示すことができ、且つ異なるターゲット顔表情に基づき、ユーザが異なる表情で表現できるようにし、ＡＲインタラクション体験を向上させることができる。

選択的に、いくつかの実施の形態では、上記ターゲット顔表情を取得することは、具体的に、ＡＲデバイスによって録画されたターゲットユーザの顔表情を取得することを含む。

本出願の実施例では、ターゲットユーザが着用しているＡＲデバイス自体が画像取得機能を有し、例えば、このＡＲデバイスがカメラ付きのＡＲ眼鏡である場合、ターゲットユーザが着用しているＡＲデバイスにより、ターゲットユーザの顔表情へのリアルタイムな記録走査を直接実行し、録画された顔表情をターゲット顔表情として、ターゲットユーザの顔イメージを生成するために用いられることができる。

選択的に、いくつかの実施の形態では、上述した、ターゲット顔表情を取得することは、具体的に、ターゲットユーザの入力情報を取得し、入力情報の文脈に基づき、顔表情データベースから文脈に対応する顔表情を照合することを含む。ここで、顔表情データベースには、複数の顔角度での様々な顔表情が含まれる。

本出願の実施例では、ターゲットユーザが着用しているＡＲデバイス自体が画像取得機能を有しない場合、ターゲットユーザの様々な角度での様々な表情、例えば、無表情、怒り、楽しさ、憂鬱、悲しさ、真面目、疑問などの表情を予め録画し、それに応じて表情ごとに対応するラベルを設定することができる。

ＡＲインタラクションを行う場合、ターゲットユーザの入力情報を取得し、この入力情報は、ターゲットユーザにより入力された文字であってもよく、ターゲットユーザにより入力されたボイスであってもよく、入力情報に基づいて文脈識別を行ってから、文脈に応じて顔表情データベースから対応するラベルを選び、対応する顔表情を照合してもよい。例えば、ターゲットユーザが「今日は楽しかった」と言った場合、文脈識別に基づき、このときの文脈は楽しいというラベルに該当するものとし、すると、顔表情データベースから楽しいラベル付きの顔表情を選ぶ。

理解できるように、顔表情データベースには、いくつかの他の対象の複数の顔角度での様々な顔表情、例えば猫、犬などの動物、スーパーマン、アイアンマンなどのキャラクターがさらに記憶されてもよく、このように、リモートなロールプレイングゲーム、又は別の場所にいる子供に物語を話すなどのカジュアルなシーンにおいて、ターゲットユーザの顔イメージをアニメイメージに入れ替えて、ＡＲインタラクション効果を向上させることができる。

さらに、本方法は、ターゲット顔表情と顔角度に基づき、ターゲットユーザの顔イメージを生成する前に、以下の少なくとも一つをさらに含む。

（１）ターゲットユーザの口の状態を取得し、ターゲットユーザの口の状態に基づいてターゲット顔表情の口の状態を調整する。

本出願の実施例では、ターゲットユーザの口の状態は、ターゲットユーザの口の動作、例えば口を開けること、口を閉じること、口をすぼめること、口を横に傾けることなどを反映するために用いられ、ターゲットユーザの口の状態によってターゲット顔表情の口の状態を調整し、ターゲット顔表情をターゲットユーザの微妙な表情動作を正確に同期させて示し、顔表情をより豊かにすることができる。

（２）ターゲットユーザの音声ピッチを取得し、音声ピッチに基づいてターゲット顔表情の表情幅を調整する。

本出願の実施例では、ターゲットユーザの音声ピッチは、ターゲットユーザの気分状態を反映させるために用いられ、さらにターゲット表情の幅を決定するために用いられてもよく、例えば、１－１０程度に分けて表情を無表情から楽しい表情までの１０の瞬間をそれぞれ対応して録画することができ、ターゲットユーザの音声ピッチが高ければ高いほど、使用される表情は、後ろにランクする。このように、音声ピッチによってターゲット顔表情の表情幅を調整することで、ターゲット顔表情をターゲットユーザの気分状態を正確に示し、顔表情をより豊かにすることができる。

選択的に、いくつかの実施の形態では、ＡＲデバイスを着用しているターゲットユーザは、複数人であり、且つ顔イメージ生成が必要となる。そうすると、これらのターゲットユーザは、予め設定されるジェスチャー動作によって顔イメージ生成機能にバインディングすることができ、例えばＡＲデバイスは、例えば、グー、チョキ、パーのような一組のジェスチャーをランダムに生成し、顔イメージ生成機能にバインディングする必要のある人は、このときに手を挙げて、指定された順でジェスチャーをして確認する。このように、ＡＲインタラクションプロセスにおける顔イメージ生成をより柔軟にすることができる。

選択的に、いくつかの実施の形態では、ターゲットユーザが他の事務をしばらく処理する必要があり、ＡＲ会議を行う他のユーザに影響を与えないように、ターゲットユーザは、自分の現在の顔イメージをロックすることによって、他の事務を処理する時に、顔イメージが変わって他人に影響を与えることを回避することができる。例えば、ＡＲ会議のシーンにおいて、そのうちの一人の参加者が他の事務をしばらく処理する必要がある場合、彼は、他の事務を処理する時に、顔イメージの変化により、当人が意見を発表していると他の参加者から誤解されないように自分の顔イメージをロックすることができる。

選択的に、いくつかの実施の形態では、本方法は、ターゲットユーザの第一の入力を受信することと、第一の入力に応答して、ターゲットユーザの顔イメージを予め設定される画像に入れ替えることとをさらに含む。この予め設定される画像は、アニメ表情画像と、ターゲットユーザの入力情報に対応する画像とのうちの少なくとも一つを含み、この入力情報に対応する画像は、アイコンの形式を採用してもよい。

本出願の実施例では、ターゲットユーザは、顔イメージを予め設定される画像に入れ替えることができ、例えば、図２ａを参照すると、顔イメージをアニメ表情画像、例えば絵文字（ｅｍｏｊｉ）、ネットワークではやっているスタンプなどに入れ替えることによって、大げさな表情効果を達成し、ＡＲ会議の面白さを向上させる。また例えば、図２ｂを参照すると、投票時に結果を顔イメージに入れ替え、即ち「チェックマーク」又は「フォーク」のアイコンを採用して顔イメージに入れ替える。

説明すべきこととして、本出願の実施例による顔イメージ生成方法において、実行本体は、顔イメージ生成装置、又はこの顔イメージ生成装置における顔イメージ生成方法のロードを実行するための制御モジュールであってもよい。本出願の実施例において、顔イメージ生成装置が顔イメージ生成方法のロードを実行することを例にして、本出願の実施例による顔イメージ生成を説明する。

図３を参照すると、本出願の実施例は、電子機器に用いられる顔イメージ生成装置３００を提供し、この顔イメージ生成装置３００は、
ＡＲデバイスを着用しているターゲットユーザの顔輪郭を取得するための第一の取得モジュール３０１と、
前記顔輪郭に基づいて前記ターゲットユーザの、前記ターゲットユーザの顔向きと前記電子機器との間の角度を含む顔角度を決定するための決定モジュール３０２と、
ターゲット顔表情を取得するための第二の取得モジュール３０３と、
前記ターゲット顔表情と前記顔角度に基づき、前記ターゲットユーザの顔イメージを生成するための生成モジュール３０４とを含む。

選択的に、前記第一の取得モジュール３０１は、
顔輪郭データベースで前記顔輪郭に対応する顔角度を照合するための第一の照合ユニットを含み、
ここで、前記顔輪郭データベースには、複数の顔角度から予め録画された前記ターゲットユーザの顔輪郭が含まれる。

選択的に、前記第二の取得モジュール３０３は、
前記ＡＲデバイスによって録画された前記ターゲットユーザの顔表情を取得するための第一の取得ユニットと、
前記ターゲットユーザの入力情報を取得するための第二の取得ユニットと、
前記入力情報の文脈に基づき、顔表情データベースから前記文脈に対応する顔表情を照合するための第二の照合ユニットとを含み、
ここで、前記顔表情データベースには、複数の顔角度での様々な顔表情が含まれる。

選択的に、前記装置３００は、
前記ターゲットユーザの口の状態を取得するための第三の取得モジュールと、
前記ターゲットユーザの口の状態に基づいて前記ターゲット顔表情の口の状態を調整するための第一の調整モジュールと、
前記ターゲットユーザの音声ピッチを取得するための第四の取得モジュールと、
前記音声ピッチに基づいて前記ターゲット顔表情の表情幅を調整するための第一の調整モジュールとをさらに含む。

選択的に、前記装置３００は、
前記ターゲットユーザの第一の入力を受信するための受信モジュールと、
前記第一の入力に応答して、前記ターゲットユーザの顔イメージを予め設定される画像に入れ替えるための入れ替えモジュールとをさらに含む。

前記予め設定される画像は、
アニメ表情画像と、
前記ターゲットユーザの入力情報に対応する画像とのうちの少なくとも一つを含む。

本発明の実施例では、ＡＲデバイスを着用しているターゲットユーザの顔輪郭に基づき、このターゲットユーザの顔角度を決定し、ターゲットユーザの顔角度と取得されたターゲット顔表情に基づいてこのターゲットユーザの顔イメージを生成する。このようにＡＲインタラクションを行う場合、ユーザの顔イメージを示すことができ、且つ異なるターゲット顔表情に基づき、ユーザが異なる表情で表現できるようにし、ＡＲインタラクション体験を向上させる。

本出願の実施例における顔イメージ生成装置は、装置であってもよく、端末における部品、集積回路、又はチップであってもよい。この装置は、移動電子機器であってもよく、非移動電子機器であってもよい。例示的には、移動電子機器は、携帯電話、タブレットパソコン、ノートパソコン、パームトップコンピュータ、車載電子機器、ウェアラブルデバイス、ウルトラモバイルパーソナルコンピュータ（ｕｌｔｒａ－ｍｏｂｉｌｅ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ、ＵＭＰＣ）、ネットブック又はパーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ、ＰＤＡ）などであってもよく、非移動電子機器は、サーバ、ネットワーク付属メモリ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ、ＮＡＳ）、パーソナルコンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ、ＰＣ）、テレビ（ｔｅｌｅｖｉｓｉｏｎ、ＴＶ）、預入支払機又はセルフサービス機などであってもよく、本出願の実施例において、具体的に限定されない。

本出願の実施例における顔イメージ生成装置は、オペレーティングシステムを有する装置であってもよい。このオペレーティングシステムは、アンドロイド（Ａｎｄｒｏｉｄ）オペレーティングシステムであってもよく、ｉｏｓオペレーティングシステムであってもよく、他の可能なオペレーティングシステムであってもよく、本出願の実施例において、具体的に限定されない。

本出願の実施例による顔イメージ生成装置は、図１から図２ｂの方法の実施例における顔イメージ生成装置によって実現される各プロセスを実現することができ、説明の繰り返しを回避するために、ここではこれ以上説明しない。

選択的に、本出願の実施例は、電子機器をさらに提供する。この電子機器は、プロセッサ４１０と、メモリ４０９と、メモリ４０９に記憶されており、且つ前記プロセッサ４１０上で運行できるプログラム又は命令とを含む。このプログラム又は命令がプロセッサ４１０により実行される時、上記顔イメージ生成実施例の各プロセスを実現し、且つ同じ技術的効果を達成することができる。説明の繰り返しを回避するために、ここではこれ以上説明しない。

注意すべきこととして、本出願の実施例における電子機器は、上記に記載の移動電子機器と非移動電子機器とを含む。

図４は、本出願の実施例を実現する電子機器のハードウェア構造概略図である。

この電子機器４００は、無線周波数ユニット４０１、ネットワークモジュール４０２、オーディオ出力ユニット４０３、入力ユニット４０４、センサ４０５、表示ユニット４０６、ユーザ入力ユニット４０７、インターフェースユニット４０８、メモリ４０９、及びプロセッサ４１０などの部材を含むが、それらに限らない。

当業者であれば理解できるように、電子機器４００は、各部材に給電する電源（例えば、電池）をさらに含んでもよく、電源は、電源管理システムによってプロセッサ４１０に論理的に接続することによって、電源管理システムによって充放電管理及び消費電力管理などの機能を実現することができる。図４に示す電子機器構造は、電子機器に対する限定を構成せず、電子機器は、図示された部材の数よりも多いか又は少ない部材、又はいくつかの部材の組み合わせ、又は異なる部材の配置を含んでもよく、ここではこれ以上説明しない。

ここで、入力ユニット４０４は、ＡＲデバイスを着用しているターゲットユーザの顔輪郭を取得するためのカメラであってもよい。

プロセッサ４１０は、前記顔輪郭に基づいて前記ターゲットユーザの、前記ターゲットユーザの顔向きと前記電子機器との間の角度を含む顔角度を決定するために用いられる。

入力ユニット４０４は、ターゲット顔表情を取得するためにさらに用いられる。

プロセッサ４１０は、前記ターゲット顔表情と前記顔角度に基づき、前記ターゲットユーザの顔イメージを生成するためにさらに用いられる。

本発明の実施例では、ＡＲデバイスを着用しているターゲットユーザの顔輪郭に基づき、このターゲットユーザの顔角度を決定し、ターゲットユーザの顔角度と取得されたターゲット顔表情に基づいてこのターゲットユーザの顔イメージを生成する。このようにＡＲインタラクションを行う場合、ユーザの顔イメージを示すことができ、且つ異なるターゲット顔表情に基づき、ユーザが異なる表情で表現できるようにし、ＡＲインタラクション体験を向上させる。

選択的に、プロセッサ４１０は、顔輪郭データベースで前記顔輪郭に対応する顔角度を照合するためにさらに用いられる。

ここで、前記顔輪郭データベースには、複数の顔角度から予め録画された前記ターゲットユーザの顔輪郭が含まれる。

選択的に、入力ユニット４０４は、前記ＡＲデバイスによって録画された前記ターゲットユーザの顔表情を取得し、又は、前記ターゲットユーザの入力情報を取得し、前記入力情報の文脈に基づき、顔表情データベースから前記文脈に対応する顔表情を照合するためにさらに用いられる。ここで、前記顔表情データベースには、複数の顔角度での様々な顔表情が含まれる。

選択的に、入力ユニット４０４は、前記ターゲットユーザの口の状態を取得し、前記ターゲットユーザの口の状態に基づいて前記ターゲット顔表情の口の状態を調整するためにさらに用いられ、
入力ユニット４０４は、前記ターゲットユーザの音声ピッチを取得し、前記音声ピッチに基づいて前記ターゲット顔表情の表情幅を調整するためにさらに用いられる。

選択的に、ユーザ入力ユニット４０７は、前記ターゲットユーザの第一の入力を受信するために用いられ、
プロセッサ４１０は、前記第一の入力に応答し、前記ターゲットユーザの顔イメージを予め設定される画像に入れ替えるためにさらに用いられ、前記予め設定される画像は、アニメ表情画像と、前記ターゲットユーザの入力情報に対応する画像とのうちの少なくとも一つを含む。

本出願の実施例は、可読記憶媒体をさらに提供する。前記可読記憶媒体には、プログラム又は命令が記憶されており、このプログラム又は命令がプロセッサにより実行される時、上記顔イメージ生成方法の実施例の各プロセスを実現し、且つ同じ技術的効果を達成することができる。説明の繰り返しを回避するために、ここではこれ以上説明しない。

ここで、前記プロセッサは、上記実施例に記載の電子機器におけるプロセッサである。前記可読記憶媒体は、コンピュータ可読記憶媒体、例えばコンピュータリードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどを含む。

本出願の実施例はまた、チップを提供する。前記チップは、プロセッサと通信インターフェースとを含み、前記通信インターフェースは、前記プロセッサと結合され、前記プロセッサは、プログラム又は命令を運行し、上記顔イメージ生成方法の実施例の各プロセスを実現するために用いられ、且つ同じ技術的効果を達成することができる。説明の繰り返しを回避するために、ここではこれ以上説明しない。

理解すべきこととして、本出願の実施例に言及されたチップは、システムレベルチップ、システムチップ、チップシステム又はシステムオンチップなどと呼ばれてもよい。

説明すべきこととして、本明細書では、用語である「包括」、「包含」又はその他の任意の変形は、非排他的な「含む」を意図的にカバーするものであり、それによって一連の要素を含むプロセス、方法、物品又は装置は、それらの要素を含むだけではなく、明確にリストアップされていない他の要素も含み、又はこのようなプロセス、方法、物品又は装置に固有の要素も含む。それ以上の制限がない場合に、「・・・を１つ含む」という文章で限定された要素について、この要素を含むプロセス、方法、物品又は装置には他の同じ要素も存在することが排除されるものではない。なお、指摘すべきこととして、本出願の実施の形態における方法と装置の範囲は、図示又は討論された順序で機能を実行することに限らず、関わる機能に基づいて基本的に同時である方式又は逆の順序で機能を実行することを含んでもよく、例えば記述されたものとは異なる手順で記述された方法を実行することができるとともに、様々なステップを追加、省略又は組み合わせることができる。また、いくつかの例を参照しての記述された特徴は、他の例で組み合わせられることができる。

当業者であれば認識できるように、本明細書に開示された実施例を結びつけて記述された様々な例のユニット及びアルゴリズムステップは、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせで実現されることができる。これらの機能は、ハードウェアそれともソフトウェア方式で実行されるかは、技術案の特定の応用と設計約束条件によるものである。当業者は、各特定の応用に対して異なる方法を使用して、記述された機能を実現することができるが、このような実現は、本開示の範囲を超えると考えられるべきではない。

当業者であればはっきりと分かるように、記述の利便性及び簡潔性のために、以上に記述されたシステム、装置とユニットの具体的な作動プロセスは、前記方法の実施例における対応するプロセスを参照してもよく、ここではこれ以上説明しない。

前記分離された部材として説明されるユニットは、物理的に分離されてもよく、又は物理的に分離されなくてもよく、ユニットとして示される部品は、物理的なユニットであってもよく、又は、物理的なユニットでなくてもよい。即ち、一つの場所に位置してもよく、又は複数のネットワークユニットに分布されてもよい。実際の必要に応じて、そのうちの一部又は全てのユニットを選択して、本実施例の方案の目的を実現することができる。

また、本開示の各実施例における各機能ユニットは、一つの処理ユニットに統合されてもよく、各ユニットが単独に物理的に存在してもよく、二つ又は二つ以上のユニットが一つのユニットに統合されてもよい。

以上の実施の形態の記述によって、当業者であればはっきりと分かるように、上記実施例の方法は、ソフトウェアと必要な汎用ハードウェアプラットフォームの形態によって実現されることができる。無論、ハードウェアによって実現されてもよいが、多くの場合、前者は、より好適な実施の形態である。このような理解を踏まえて、本出願の技術案は、実質には又は従来の技術に寄与した部分がソフトウェア製品の形式によって具現化されてもよい。このコンピュータソフトウェア製品は、一つの記憶媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、一台の端末（携帯電話、コンピュータ、サーバ、エアコン、又はネットワーク機器などであってもよい）に本出願の各実施例に記載の方法を実行させるための若干の命令を含む。

当業者であれば理解できるように、上記実施例の方法における全部又は一部のフローを実現することは、コンピュータプログラムによって関連ハードウェアを制御することによって完了されてもよい。前記プログラムは、コンピュータ可読記憶媒体に記憶されてもよい。このプログラムが実行される時、上記各方法の実施例のようなフローを含んでもよい。ここで、前記記憶媒体は、磁気ディスク、光ディスク、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）又はランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）などであってもよい。

理解できるように、本開示の実施例に記述されたこれらの実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はそれらの組み合わせで実現されてもよい。ハードウェアによる実現に対し、モジュール、ユニット、サブユニットは、一つ又は複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ、ＡＳＩＣ）、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、デジタルシグナルプロセッシングデバイス（ＤＳＰ Ｄｅｖｉｃｅ、ＤＳＰＤ）、プログラマブル論理デバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本開示に記載の機能を実行するための他の電子ユニット又はその組み合わせに実現されてもよい。

ソフトウェアの実現に対し、本開示の実施例に記載の機能を実行するモジュール（例えばプロセス、関数など）によって本開示の実施例に記載の技術を実現してもよい。ソフトウェアコードは、メモリに記憶され、プロセッサを介して実行されてもよい。メモリは、プロセッサ内又はプロセッサ外部で実現されてもよい。

以上は、図面を結び付けながら、本出願の実施例を記述したが、本出願は、上記の具体的な実施の形態に限らない。上記の具体的な実施の形態は、例示的なものに過ぎず、制限性のあるものではない。当業者は、本出願の示唆で、本出願の趣旨と請求項が保護する範囲から逸脱することなく、多くの形態が可能であり、これらはすべて本出願の保護範囲に属する。

Claims (12)

1. 電子機器に用いられる顔イメージ生成方法であって、
   拡張現実ＡＲデバイスを着用しているターゲットユーザの顔輪郭を取得することと、
   前記顔輪郭に基づいて前記ターゲットユーザの、前記ターゲットユーザの顔が向いている方向と前記電子機器の正対方向との間でなす角度である顔角度を決定することと、
   ターゲット顔表情を取得することと、
   前記ターゲット顔表情と前記顔角度に基づき、前記ターゲットユーザの顔イメージを生成することとを含む、顔イメージ生成方法。
2. 前記顔輪郭に基づいて前記ターゲットユーザの顔角度を決定することは、
   顔輪郭データベースで前記顔輪郭に対応する顔角度を照合することを含み、
   前記顔輪郭データベースには、複数の顔角度から予め録画された前記ターゲットユーザの顔輪郭が含まれる、請求項１に記載の顔イメージ生成方法。
3. ターゲット顔表情を取得することは、
   前記拡張現実ＡＲデバイスによって録画された前記ターゲットユーザの顔表情を取得すること、
   又は、
   前記ターゲットユーザの入力情報を取得し、前記入力情報の文脈に基づき、顔表情データベースから前記文脈に対応する顔表情を照合することを含み、
   前記顔表情データベースには、複数の顔角度での様々な顔表情が含まれる、請求項１に記載の顔イメージ生成方法。
4. 前記ターゲット顔表情と前記顔角度に基づき、前記ターゲットユーザの顔イメージを生成する前に、前記顔イメージ生成方法は、
   前記ターゲットユーザの口の状態を取得し、前記ターゲットユーザの口の状態に基づいて前記ターゲット顔表情の口の状態を調整することと、
   前記ターゲットユーザの音声ピッチを取得し、前記音声ピッチに基づいて前記ターゲット顔表情の表情幅を調整することとのうちの少なくとも一つをさらに含む、請求項１に記載の顔イメージ生成方法。
5. 前記ターゲットユーザの第一の入力を受信することと、
   前記第一の入力に応答して、前記ターゲットユーザの顔イメージを予め設定される画像に入れ替えることとをさらに含み、
   前記予め設定される画像は、
   アニメ表情画像と、
   前記ターゲットユーザの入力情報に対応する画像とのうちの少なくとも一つを含む、
   請求項１に記載の顔イメージ生成方法。
6. 電子機器に用いられる顔イメージ生成装置であって、
   拡張現実ＡＲデバイスを着用しているターゲットユーザの顔輪郭を取得するための第一の取得モジュールと、
   前記顔輪郭に基づいて前記ターゲットユーザの、前記ターゲットユーザの顔が向いている方向と前記電子機器の正対方向との間でなす角度である顔角度を決定するための決定モジュールと、
   ターゲット顔表情を取得するための第二の取得モジュールと、
   前記ターゲット顔表情と前記顔角度に基づき、前記ターゲットユーザの顔イメージを生成するための生成モジュールとを含む、顔イメージ生成装置。
7. 前記第一の取得モジュールは、
   顔輪郭データベースで前記顔輪郭に対応する顔角度を照合するための第一の照合ユニットを含み、
   前記顔輪郭データベースには、複数の顔角度から予め録画された前記ターゲットユーザの顔輪郭が含まれる、請求項６に記載の顔イメージ生成装置。
8. 前記第二の取得モジュールは、
   前記拡張現実ＡＲデバイスによって録画された前記ターゲットユーザの顔表情を取得するための第一の取得ユニットと、
   前記ターゲットユーザの入力情報を取得するための第二の取得ユニットと、
   前記入力情報の文脈に基づき、顔表情データベースから前記文脈に対応する顔表情を照合するための第二の照合ユニットとを含み、
   前記顔表情データベースには、複数の顔角度での様々な顔表情が含まれる、請求項６に記載の顔イメージ生成装置。
9. 前記ターゲットユーザの口の状態を取得するための第三の取得モジュールと、
   前記ターゲットユーザの口の状態に基づいて前記ターゲット顔表情の口の状態を調整するための第一の調整モジュールと、
   前記ターゲットユーザの音声ピッチを取得するための第四の取得モジュールと、
   前記音声ピッチに基づいて前記ターゲット顔表情の表情幅を調整するための第一の調整モジュールとをさらに含む、請求項６に記載の顔イメージ生成装置。
10. 前記ターゲットユーザの第一の入力を受信するための受信モジュールと、
    前記第一の入力に応答して、前記ターゲットユーザの顔イメージを予め設定される画像に入れ替えるための入れ替えモジュールとをさらに含み、
    前記予め設定される画像は、
    アニメ表情画像と、
    前記ターゲットユーザの入力情報に対応する画像とのうちの少なくとも一つを含む、請求項６に記載の顔イメージ生成装置。
11. 電子機器であって、プロセッサと、メモリと、前記メモリに記憶され且つ前記プロセッサ上で運行できるプログラム又は命令とを含み、前記プログラム又は命令が前記プロセッサにより実行される時、請求項１から５のいずれか１項に記載の顔イメージ生成方法のステップを実現する、電子機器。
12. プロセッサにより実行される時、請求項１から５のいずれか１項に記載の顔イメージ生成方法のステップを実現するプログラム又は命令が記憶された、可読記憶媒体。