JP2023514289A - ３次元顔モデルの構築方法、３次元顔モデルの構築装置、コンピュータ機器、及びコンピュータプログラム - Google Patents

Abstract

本願の実施例は、３次元顔モデルの構築方法、装置、機器、及び記憶媒体を開示し、人工知能のコンピュータビジョンの技術分野に属する。前記方法は、ターゲットオブジェクトの顔点群を取得するステップと、展開計算によって、顔点群における３次元データ点に対応する、ターゲットオブジェクトの顔テクスチャ画像における画素点座標を決定することにより、３次元データ点のインデックス情報を取得するステップと、顔テクスチャ画像における画素点に対して三角分割を行うことにより、三角分割情報を取得するステップと、三角分割情報、インデックス情報、及び顔点群に基づいて、初期３次元顔モデルを取得するステップと、初期３次元顔モデルにおける非クリティカル領域を決定するステップと、初期３次元顔モデルにおける非クリティカル領域に対して平滑化処理を行うことにより、平滑化された非クリティカル領域を取得するステップと、初期３次元顔モデルにおける非クリティカル領域を、平滑化された非クリティカル領域に置き換えることにより、ターゲットオブジェクトの３次元顔モデルを取得するステップと、を含む。本願の実施例によれば、３次元顔の再構築の効率を向上させる。

Description

本願は、２０２０年７月１６日に中国特許庁に提出された、出願番号が第２０２０１０６８５１８３０号であり、発明の名称が「３次元顔モデルの構築方法、装置、機器、及び記憶媒体」である、中国特許出願に基づく優先権を主張し、その全ての内容が、参照することにより本願に組み込まれている。

本願は、人工知能のコンピュータビジョンの技術分野に関し、特に、３次元顔モデルの構築技術に関する。

３次元（３Ｄ：３ Ｄｉｍｅｎｓｉｏｎｓ）顔の再構築は、１枚又は複数枚の２次元（２Ｄ：２ Ｄｉｍｅｎｓｉｏｎｓ）顔画像から顔の３Ｄモデル（ｍｅｓｈ）を再構築することを指す。

関連技術では、通常、以下のような方式によって３次元顔の再構築を行う。即ち、ターゲットオブジェクトの１枚又は複数枚の顔画像を取得し、顔画像から顔における各部位の点を取得し、該顔における各部位の点に基づいて３次元点群データを形成し、さらに、該３次元点群データに対してポアソン再構築を行うことにより、該ターゲットオブジェクトの３次元顔モデルを取得する。

しかしながら、上述したポアソン再構築に基づく３次元顔の再構築方法は、かかる時間が長く、効率が低い。

本願の実施例は、３次元顔の再構築の効率を向上させる３次元顔モデルの構築方法、装置、機器、及び記憶媒体を提供する。その構成は、以下の通りである。

一態様で、本願の実施例は、３次元顔モデルの構築方法を提供する。前記方法は、
ターゲットオブジェクトの顔点群を取得するステップと、
展開計算によって、前記顔点群における３次元データ点に対応する、前記ターゲットオブジェクトの顔テクスチャ画像における画素点座標を決定することにより、前記３次元データ点のインデックス情報を取得するステップと、
前記顔テクスチャ画像における画素点に対して三角分割を行うことにより、三角分割情報を取得するステップであって、前記三角分割情報は、前記画素点に対応する三角トポロジーを示すためのものである、ステップと、
前記三角分割情報、前記インデックス情報、及び前記顔点群に基づいて、初期３次元顔モデルを取得するステップと、
前記初期３次元顔モデルにおける非クリティカル領域を決定するステップであって、前記非クリティカル領域は、前記初期３次元顔モデルにおける非顔領域を指す、ステップと、
前記初期３次元顔モデルにおける非クリティカル領域に対して平滑化処理を行うことにより、平滑化された非クリティカル領域を取得するステップと、
前記初期３次元顔モデルにおける非クリティカル領域を、前記平滑化された非クリティカル領域に置き換えることにより、前記ターゲットオブジェクトの３次元顔モデルを取得するステップと、を含む。

他の態様で、本願の実施例は、３次元顔モデルの構築装置を提供する。前記装置は、
ターゲットオブジェクトの顔点群を取得する点群取得モジュールと、
展開計算によって、前記顔点群における３次元データ点に対応する、前記ターゲットオブジェクトの顔テクスチャ画像における画素点座標を決定することにより、前記３次元データ点のインデックス情報を取得するインデックス取得モジュールと、
前記顔テクスチャ画像における画素点に対して三角分割を行うことにより、三角分割情報を取得する三角分割モジュールであって、前記三角分割情報は、前記画素点に対応する三角トポロジーを示すためのものである、三角分割モジュールと、
前記三角分割情報、前記インデックス情報、及び前記顔点群に基づいて、初期３次元顔モデルを取得するモデル初期構築モジュールと、
前記初期３次元顔モデルにおける非クリティカル領域を決定する領域決定モジュールであって、前記非クリティカル領域は、前記初期３次元顔モデルにおける非顔領域を指す、領域決定モジュールと、
前記初期３次元顔モデルにおける非クリティカル領域に対して平滑化処理を行うことにより、平滑化された非クリティカル領域を取得する領域平滑化モジュールと、
前記初期３次元顔モデルにおける非クリティカル領域を、前記平滑化された非クリティカル領域に置き換えることにより、前記ターゲットオブジェクトの３次元顔モデルを取得する領域置き換えモジュールと、を含む。

他の態様で、本願の実施例は、プロセッサとメモリとを備えるコンピュータ機器を提供する。前記メモリには、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、前記プロセッサによりロードされて実行されると、上記の態様に記載の方法を実現させる。

別の態様で、本願の実施例は、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットを記憶したコンピュータ可読記憶媒体を提供する。前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、プロセッサによりロードされて実行されると、上記の態様に記載の方法を実現させる。

別の態様で、本願の実施例は、コンピュータ命令を含むコンピュータプログラム製品又はコンピュータプログラムを提供する。該コンピュータ命令は、コンピュータ可読記憶媒体に記憶される。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から該コンピュータ命令を読み取る。プロセッサは、該コンピュータ命令を実行すると、上記の態様に記載の方法を該コンピュータ機器に実行させる。

本願の実施例で提供される構成は、以下の有益な効果をもたらすことができる。即ち、
展開計算によって決定された、顔テクスチャ画像における画素点に対して三角分割を行うことにより、三角分割情報を取得し、次に、該三角分割情報に基づいて３次元顔モデルを取得する。本願の実施例では、三角分割に基づいて３次元顔モデルを構築するため、速度が速く、効率が高い。

また、初期３次元顔モデルを取得した後、該初期３次元顔モデルにおける非クリティカル領域に対して平滑化処理を行うことにより、平滑化処理後の非クリティカル領域で元の非クリティカル領域を置き換えて３次元顔モデルを取得する。該３次元顔モデルの効果が比較的良い。

本願で提供される３次元顔モデルの再構築フローのフレームワーク図である。 本願の一実施例で提供される３次元顔モデルの構築方法のフローチャートである。 本願の一実施例で提供される異なる観察視点での顔点群の模式図である。 本願の一実施例で提供される三角トポロジーの模式図である。 本願の一実施例で提供される初期３次元顔モデルの模式図である。 本願の一実施例で提供される３次元顔モデルの模式図である。 本願の他の実施例で提供される３次元顔モデルの構築方法のフローチャートである。 本願の一実施例で提供される顔点群の３次元座標における模式図である。 本願の一実施例で提供される顔テクスチャ画像における画素点の模式図である。 本願の一実施例で提供されるターゲット領域の模式図である。 本願の他の実施例で提供される三角トポロジーの模式図である。 本願の一実施例で提供される非クリティカル領域の模式図である。 本願の他の実施例で提供される３次元顔モデルの模式図である。 本願の一実施例で提供される３次元顔モデルの構築フローのブロック図である。 本願の一実施例で提供される顔画像の模式図である。 本願の一実施例で提供される領域テクスチャ画像の模式図である。 本願の一実施例で提供される顔テクスチャ画像の模式図である。 本願の一実施例で提供されるテクスチャ付きの３次元顔モデルの模式図である。 本願の一実施例で提供される３次元顔モデルの構築装置のブロック図である。 本願の一実施例で提供されるコンピュータ機器の構成の模式図である。

本願の実施例で提供される構成は、３次元顔の再構築の技術分野に関し、コンピュータビジョン技術を利用して、ターゲットオブジェクトの顔画像に対して分析処理を行い、ターゲットオブジェクトの３次元顔モデルを構築し、該ターゲットオブジェクトの顔テクスチャ画像を生成することができ、該顔テクスチャ画像によって上記３次元顔モデルをレンダリングして、テクスチャ付きの顔モデルを生成する。

図１を参照すると、それには、本願で提供される３次元顔モデルの再構築フローのフレームワーク図が示される。該フローから分かるように、入力データは、ターゲットオブジェクトの顔点群１１を含み、出力データは、該ターゲットオブジェクトの３次元顔モデル１２を含む。ターゲットオブジェクトの顔点群１１を取得した後、一方では、展開計算によって、顔点群１１における３次元データ点に対応する、ターゲットオブジェクトの顔テクスチャ画像１３における画素点座標を決定することにより、該３次元データ点のインデックス情報を取得し、他方では、顔テクスチャ画像１３における画素点に対して三角分割を行うことにより、三角分割情報を取得する。該三角分割情報は、該画素点に対応する三角トポロジー１４を示すためのものである。次に、上記インデックス情報及び三角分割情報に基づいて、初期３次元顔モデル１５を生成する。初期３次元顔モデル１５を取得した後、平滑化処理後の非クリティカル領域を取得するために、該初期３次元顔モデル１５における非クリティカル領域に対して平滑化処理を行う必要がる。最後に、初期３次元顔モデル１５における非クリティカル領域を上記平滑化処理後の非クリティカル領域に置き換えることにより、ターゲットオブジェクトの３次元顔モデル１２を取得する。

本願の実施例で提供される方法フローにおいて、各ステップの実行主体は、例えば、携帯電話、タブレットコンピュータ、マルチメディア再生デバイス、ウェアラブルデバイス、パーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの端末であってもよいし、サーバであってもよい。説明の便宜上、下記の方法の実施例では、各ステップの実行主体がコンピュータ機器である場合のみを例に紹介して説明する。上記コンピュータ機器は、計算能力及び記憶能力を備える任意の電子機器、例えば、上記で紹介した端末又はサーバであってもよい。

以下、いくつかの実施例を参照しながら、本願の構成を詳細に紹介して説明する。

図２を参照すると、それには、本願の一実施例で提供される３次元顔モデルの構築方法のフローチャートが示される。該方法は、以下のいくつかのステップを含んでもよい。

ステップ２０１では、ターゲットオブジェクトの顔点群を取得する。

ターゲットオブジェクトは、３次元顔モデルを構築するニーズがある任意のユーザを指す。ターゲットオブジェクトは、任意の人物であってもよい。該ターゲットオブジェクトは、実際の人間であってもよいし、ロボット、又は一定の空間体積を占める他の立体的な人物であってもよい。本願の実施例は、これを限定しない。

顔点群は、顔に対応する点群を指し、複数の３次元データ点を用いてターゲットオブジェクトの顔を記述する３次元データである。顔点群は、複数の３次元データ点を含む。３次元データ点は、３次元の立体空間における１つの点を指す。各３次元データ点それぞれは、３次元の立体空間において１つの（ｘ，ｙ，ｚ）の３次元座標で表すことができる。

可能な実現方式において、コンピュータ機器は、ターゲットオブジェクトの、カラー画像及び深度画像が含まれる画像ペアを少なくとも１つ収集し、次に、カラー画像及び深度画像に基づいてターゲットオブジェクトの顔点群を抽出する。ここで、顔点群における各３次元データ点のｘ座標及びｙ座標は、カラー画像によって決定することができ、３次元データ点のｚ座標は、深度画像によって決定することができる。

図３に示すように、それには、異なる観察視点での顔点群の模式図が示される。図３の（ａ）部分には、正面顔の姿勢での顔点群の模式図が示され、図３の（ｂ）部分及び図３の（ｃ）部分には、右横顔の姿勢での顔点群の模式図が示され、図３の（ｄ）部分には、顔を上げた右横顔の姿勢での顔点群の模式図が示され、図３の（ｅ）部分には、顔を上げた姿勢での顔点群の模式図が示される。

ステップ２０２では、展開計算によって、顔点群における３次元データ点に対応する、ターゲットオブジェクトの顔テクスチャ画像における画素点座標を決定することにより、３次元データ点のインデックス情報を取得する。

任意選択的に、該インデックス情報は、ｕｖインデックスと呼んでもよい。顔点群における各３次元データ点のｕｖインデックスは、該３次元データ点に対応する、顔テクスチャ画像における画素点座標（ｕ、ｖ）を指す。

ステップ２０３では、顔テクスチャ画像における画素点に対して三角分割を行うことにより、三角分割情報を取得する。

本願の実施例において、三角分割情報は、画素点に対応する三角トポロジーを示すためのものである。ターゲットオブジェクトの顔テクスチャ画像において、隣接する３つの画素点を結んで１つの三角トポロジー（又は、三角形パッチと呼ばれる）を形成することができる。

本願の実施例において、三角分割は、１組の画素点が与えられた場合、各画素点同士を三角形で相互に結ぶことにより、１枚の三角メッシュを形成することであり、画素点とその隣接する画素点との間のトポロジー関係を三角メッシュの形で反映することを本質とする。

可能な実現方式では、顔テクスチャ画像における画素点に対してＤｅｌａｕｎａｙ三角分割を行うことにより、三角分割情報を取得する。

図４に示すように、コンピュータ機器は、左側の顔テクスチャ画像４１を三角分割することにより、右側の三角トポロジー４２を取得し、該三角トポロジー４２に基づいて三角分割情報を決定することができる。

ステップ２０４では、三角分割情報、インデックス情報、及び顔点群に基づいて、初期３次元顔モデルを取得する。

三角分割情報に基づいて、各画素点それぞれに対応する三角トポロジーを決定することができ、インデックス情報に基づいて、顔テクスチャ画像における画素点に対応する、顔点群における３次元データ点を決定することができる。したがって、顔点群における各３次元データ点それぞれに対応する三角トポロジーを取得することができ、各３次元データ点それぞれに対応する三角トポロジーに基づいて、図５に示すような初期３次元顔モデルを取得することができる。図５の（ａ）部分には、正面顔の姿勢での初期３次元顔モデルが示され、図５の（ｂ）部分には、右横顔の姿勢での初期３次元顔モデルが示され、図５の（ｃ）部分には、顔を上げた姿勢での初期３次元顔モデルが示される。

図５に示すように、顎領域の重畳に起因して、初期３次元顔モデルにおける顎領域の効果が比較的悪くなるため、初期３次元顔モデルにおける顎領域を調整して最適化する必要がある。説明すべきものとして、顎領域は、非クリティカル領域に属する。

ステップ２０５では、初期３次元顔モデルにおける非クリティカル領域を決定する。

本願の実施例において、非クリティカル領域は、初期３次元顔モデルにおける非顔領域、即ち、非顔クリティカル３次元データ点で覆われる領域を指す。非顔クリティカル３次元データ点は、非顔クリティカル点に対応する３次元データ点を指す。顔クリティカル点は、眉、目、唇などの顔クリティカル部位におけるクリティカル点を含んでもよい。

コンピュータ機器は、初期３次元顔モデルにおける非クリティカル領域を決定した後、該非クリティカル領域を調整して最適化してもよい。

ステップ２０６では、初期３次元顔モデルにおける非クリティカル領域に対して平滑化処理を行うことにより、平滑化された非クリティカル領域を取得する。

可能な実現方式では、初期３次元顔モデルにおける非クリティカル領域をラプラスメッシュスムージングアルゴリズムに入力して平滑化処理を行うことにより、平滑化された非クリティカル領域を取得する。

ステップ２０７では、初期３次元顔モデルにおける非クリティカル領域を、平滑化された非クリティカル領域に置き換えることにより、ターゲットオブジェクトの３次元顔モデルを取得する。

ターゲットオブジェクトの３次元顔モデルは、顔点群に基づいて再構築された、ターゲットオブジェクトの顔の３次元モデルを指す。１つの３次元顔モデルは、点群及び三角トポロジーを含んでもよい。

図６に示すように、それには、顔点群に対して再構築を行って生成された、該ターゲットオブジェクトの３次元顔モデルの、異なる観察視点での模式図が示される。図６の（ａ）部分は、正面顔の角度での３次元顔モデルの模式図であり、図６の（ｂ）部分、図６の（ｃ）部分、及び図６の（ｄ）部分は、左横顔の姿勢での３次元顔モデルの模式図であり、図６の（ｅ）部分は、顔を上げた角度での３次元顔モデルの模式図である。

以上をまとめると、本願の実施例で提供される構成では、展開計算によって決定された、顔テクスチャ画像における画素点に対して三角分割を行うことにより、三角分割情報を取得し、次に、該三角分割情報に基づいて３次元顔モデルを取得する。本願の実施例では、三角分割に基づいて３次元顔モデルを構築するため、速度が速く、効率が高い。また、初期３次元顔モデルを取得した後、該初期３次元顔モデルにおける非クリティカル領域に対して平滑化処理を行うことにより、平滑化処理後の非クリティカル領域で初期３次元顔モデルにおける非クリティカル領域を置き換えて、ターゲットオブジェクトの３次元顔モデルを取得する。該３次元顔モデルの効果が比較的良い。

図７を参照すると、それには、本願の他の実施例で提供される３次元顔モデルの構築方法のフローチャートが示される。この方法は、以下のいくつかのステップを含んでもよい。

ステップ７０１では、ターゲットオブジェクトの顔点群を取得する。

ステップ７０１に関する紹介・説明について、前述した実施例を参照すればよいが、ここでは、これ以上の説明を省略する。

ステップ７０２では、顔点群に対して格子ダウンサンプリングを行うことにより、ダウンサンプリング後の顔点群を取得する。

本願の実施例では、ダウンサンプリング後の顔点群における頸部領域及び非頸部領域のそれぞれに対応する格子密度が異なる。頸部領域が非クリティカル領域であるため、頸部領域に対して大幅なダウンサンプリングを行うことができ、例えば、頸部領域に対応する格子密度を低減して大幅なダウンサンプリングを実現することができる。

可能な実現方式において、ステップ７０２は、以下のいくつかのサブステップを含む。

ステップ７０２ａでは、３次元空間において、第１格子密度で頸部領域を分割することにより、頸部領域に対応する複数の格子を取得し、第２格子密度で非頸部領域を分割することにより、非頸部領域に対応する複数の格子を取得する。

可能な実現方式では、第１格子密度が第２格子密度よりも低い。これにより、頸部領域に対する大幅なダウンサンプリングを実現する。

ステップ７０２ｂでは、顔点群を３次元空間における複数の格子内に融合する。

ステップ７０２ｃでは、各格子内に含まれる、顔点群における３次元データ点の３次元座標に対して、同じ座標次元で平均値を取ることにより、ダウンサンプリング後の顔点群を取得する。

例えば、１つの格子内には、３次元データ点１、３次元データ点２、及び３次元データ点３という３つの３次元データ点が含まれる。３次元データ点１の３次元座標は、（ｘ１，ｙ１，ｚ１）であり、３次元データ点２の３次元座標は、（ｘ２，ｙ２，ｚ２）であり、３次元データ点３の３次元座標は、（ｘ３，ｙ３，ｚ３）である場合、該格子は、ダウンサンプリングされた後に１つの３次元データ点を含み、該３次元データ点の３次元座標は、（（ｘ１＋ｘ２＋ｘ３）／３，（ｙ１＋ｙ２＋ｙ３）／３，（ｚ１＋ｚ２＋ｚ３）／３）である。説明すべきものとして、３次元空間内の各格子のダウンサンプリング処理方式は、これと類似し、ここでは、これ以上の説明を省略する。

顔点群に対してダウンサンプリングを行うことにより、顔点群を比較的均一に分布させることができる。また、まず、顔点群に対して格子ダウンサンプリングを行ってから、ダウンサンプリング後の顔点群に基づいて後続の処理フローを行うことにより、コンピュータ機器の処理オーバーヘッドを低減することができる。

ステップ７０３では、展開計算によって、ダウンサンプリング後の顔点群における３次元データ点に対応する、ターゲットオブジェクトの顔テクスチャ画像における画素点座標を決定することにより、３次元データ点のインデックス情報を取得する。

可能な実現方式において、ステップ７０３は、以下のいくつかのサブステップを含む。説明すべきものとして、下記ステップにおける顔点群は、ダウンサンプリング後の顔点群であってもよいし、ダウンサンプリング処理が行われない顔点群であってもよい。即ち、ステップ７０２で顔点群に対してダウンサンプリング処理を行った場合、後続のステップにおける顔点群は、ダウンサンプリング後の顔点群であるべきであり、逆に、ステップ７０２を実行せず、顔点群に対してダウンサンプリング処理を行っていない場合、後続のステップにおける顔点群は、ダウンサンプリングが行われない顔点群であるべきである。

ステップ７０３ａでは、顔点群における３次元データ点の、３次元座標系における３次元座標を取得する。

構築された３次元座標系で、顔点群における３次元データ点の、３次元座標系における３次元座標を取得することができる。該３次元座標は、（ｘ，ｙ，ｚ）と表すことができる。

任意選択的に、上記３次元座標を取得する前に、まず、３次元座標系を構築する。３次元座標系は、ｘ、ｙ、ｚ軸を含んでもよく、且つ２つずつ互いに垂直である。任意選択的に、ｘ軸は、水平方向の座標軸であり、例えば、左目から右目への方向であってもよい。ｙ軸は、鉛直方向の座標軸であり、例えば、眉間から口への方向であってもよい。ｚ軸は、深さ方向の座標軸であり、例えば、後頭部から鼻先への方向であってもよい。図８に示すように、図８の（ａ）部分には、左から右へ見るときに観察された顔点群の模式図が示され、該図８の（ａ）部分からｚ軸方向及びｙ軸方向が明らかに見える。図８の（ｂ）部分には、頭頂から見下ろすときに観察された顔点群の模式図が示され、該平面図の視点からｘ軸方向及びｚ軸方向が明らかに見える。

ステップ７０３ｂでは、３次元データ点の３次元座標に基づいて、円柱展開計算によって、３次元データ点に対応する、顔テクスチャ画像における画素点座標を決定することにより、インデックス情報を取得する。

本願の実施例では、顔点群を円柱とすることができ、円柱の頂面から底面への方向は、即ち、頭頂から見下ろす方向である。円柱展開によって、各３次元データ点（ｘ，ｙ，ｚ）に対応する、顔テクスチャ画像における画素点座標（ｕ，ｖ）を算出することができる。任意選択的に、該計算式は、以下のようにしてもよい。

ｖ＝（ｙ－ｙ_ｍｉｎ）／（ｙ_ｍａｘ－ｙ_ｍｉｎ）
ｕ＝ａｔａｎ（ｚ／ｘ）

ここで、ｖは、展開縦座標を表し、ｕは、展開横座標を表し、ｙｍａｘ及びｙｍｉｎは、それぞれ、顔点群に含まれる３次元データ点のｙ軸における最大値及び最小値を表し、ａｔａｎ（）関数は、逆正接関数を表す。

説明すべきものとして、象限ごとにｕを処理することにより、顔点群の位置との対応づけを実現する。

上記の式によって、顔点群に対して円柱展開を行うことにより平面２次元のｕｖインデックスを取得することができる。図９に示すように、それには、本願の一実施例で提供される顔テクスチャ画像９１における画素点の模式図が示される。

可能な実現方式では、円柱展開計算によって画素点座標を決定することに加えて、球展開計算によって画素点座標を決定してもよい。この場合、ｖ＝ａｔａｎ（ｚ／ｙ）、ｕ＝ａｔａｎ（ｚ／ｘ）である。又は、立体展開計算によって画素点座標を決定してもよい。この場合、ｕ＝（ｘ－ｘ_ｍｉｎ）／（ｘ_ｍａｘ－ｘ_ｍｉｎ）、ｖ＝（ｙ－ｙ_ｍｉｎ）／（ｙ_ｍａｘ－ｙ_ｍｉｎ）である。本願は、ここで展開計算に用いられる計算方法を何ら限定しない。

ステップ７０４では、顔テクスチャ画像における画素点に対して三角分割を行うことにより、三角分割情報を取得する。

本願の実施例において、三角分割情報は、画素点に対応する三角トポロジーを示すためのものである。

ステップ７０５では、三角分割情報、インデックス情報、及び顔点群に基づいて、初期３次元顔モデルを取得する。

ステップ７０６では、顔テクスチャ画像における非顔クリティカル画素点を決定する。

可能な実現方式において、ステップ７０６は、以下のいくつかのサブステップを含む。

ステップ７０６ａでは、顔テクスチャ画像におけるクリティカル領域に対応する凸包を決定する。

本願の実施例において、クリティカル領域は、顔テクスチャ画像における顔クリティカル画素点で覆われる領域を指す。顔クリティカル画素点は、顔クリティカル点に対応する画素点を指し、凸包は、上記顔クリティカル画素点をぴったり囲む領域を指す。

ステップ７０６ｂでは、膨張閾値に基づいて凸包を拡大することにより、ターゲット領域を取得する。

任意選択的に、膨張閾値は、解像度に基づいて設定される。図１０に示すように、それには、本願の一実施例で提供されるターゲット領域の模式図が示される。膨張閾値に基づいて凸包１０１を拡大することにより、ターゲット領域１０２を取得する。

ステップ７０６ｃでは、顔テクスチャ画像におけるターゲット領域以外の領域における画素点を非顔クリティカル画素点として決定する。

ターゲット領域以外の領域に含まれる画素点は、顔部から遠い頸部点と見なすことができ、顔部から遠い頸部点は、即ち、非顔クリティカル画素点である。図１０に示すような領域１０３に含まれる画素点は、非顔クリティカル画素点と見なすことができる。

凸包を拡大してターゲット領域を取得し、該ターゲット領域に基づいて非顔クリティカル画素点を決定することにより、後続の平滑化処理をより精確にし、且つ平滑化された非クリティカル領域と初期３次元顔モデルとの融合をより自然にすることができる。

ステップ７０７では、非顔クリティカル画素点、三角分割情報、及びインデックス情報に基づいて、非顔クリティカル３次元データ点と、非顔クリティカル３次元データ点に対応する三角トポロジーを決定する。

非顔クリティカル画素点及び三角分割情報に基づいて、非顔クリティカル画素点に対応する三角トポロジーを決定することができる。図１１に示すように、斜線の領域１１０は、即ち、非顔クリティカル画素点に対応する三角トポロジーである。

インデックス情報には、顔テクスチャ画像における画素点と、顔点群における３次元データ点との対応関係が反映されるため、非顔クリティカル画素点及びインデックス情報に基づいて、非顔クリティカル３次元データ点を決定することができる。非顔クリティカル３次元データ点及び三角分割情報に基づいて、非顔クリティカル３次元データ点に対応する三角トポロジーを決定することができる。

ステップ７０８では、非顔クリティカル３次元データ点に対応する三角トポロジーで形成された領域を非クリティカル領域として決定する。

図１２に示すように、図１２における濃色の領域１２０は、非クリティカル領域を表し、図１２の（ａ）部分には、正面顔の姿勢での非クリティカル領域の模式図が示され、図１２の（ｂ）部分には、横顔の姿勢での非クリティカル領域の模式図が示される。

ステップ７０９では、初期３次元顔モデルにおける非クリティカル領域に対して平滑化処理を行うことにより、平滑化された非クリティカル領域を取得する。

ステップ７１０では、初期３次元顔モデルにおける非クリティカル領域を、平滑化された非クリティカル領域に置き換えることにより、ターゲットオブジェクトの３次元顔モデルを取得する。

初期３次元顔モデルにおける非クリティカル領域を、平滑化された非クリティカル領域に置き換えることにより、顎領域の重畳が解消され、最終的に、図１３に示すような３次元顔モデルの模式図が取得される。図１３の（ａ）部分には、正面顔の姿勢での３次元顔モデルの模式図が示され、図１３の（ｂ）部分には、右横顔の姿勢での３次元顔モデルの模式図が示される。

図１４を参照すると、それには、本願の一実施例で提供される３次元顔モデルの構築フローのブロック図が示される。該３次元顔モデルの構築フローのブロック図は、格子ダウンサンプリングモジュール１４０１と、円柱展開モジュール１４０２と、三角分割モジュール１４０３と、領域別平滑化モジュール１４０４と、を含む。格子ダウンサンプリングモジュール１４０１は、顔点群に対して格子ダウンサンプリングを行うことにより、ダウンサンプリング後の顔点群を取得する。円柱展開モジュール１４０２は、ダウンサンプリング後の顔点群に対して円柱展開計算を行うことにより、インデックス情報を決定する。三角分割モジュール１４０３は、顔テクスチャ画像における画素点に対して三角分割を行うことにより、三角分割情報を取得し、該三角分割情報、インデックス情報、及び顔点群に基づいて、初期３次元顔モデルを取得する。領域別平滑化モジュール１４０４は、初期３次元顔モデルにおける非クリティカル領域に対して平滑化処理を行うことにより、ターゲットオブジェクトの３次元顔モデルを取得する。

可能な実現方式において、上記３次元顔モデルの構築フローのブロック図は、テクスチャ抽出モジュール１４０５をさらに含む。テクスチャ抽出ブロック図１４０５は、ターゲットオブジェクトの顔テクスチャ画像を生成する。ターゲットオブジェクトの顔テクスチャ画像を生成する具体的なフローについては、以下の実施例を参照すればよく、ここでは、これ以上の説明を省略する。

以上をまとめると、本願の実施例で提供される構成では、顔点群に対して格子ダウンサンプリングを行うことにより、顔点群の分布を比較的均一にさせ、一定の平滑化効果を奏することができる。また、まず、顔点群に対してダウンサンプリングを行うことにより、後続のコンピュータ機器がダウンサンプリング後の顔点群を処理するときに、コンピュータ機器の処理オーバーヘッドを低減することができる。

模式的な実施例において、本願の実施例は、以下の方式によって、ターゲットオブジェクトの顔テクスチャ画像を生成する。

第１に、ターゲットオブジェクトのｎ種類（ｎは、正の整数）の頭部姿勢に対応するｎ個の顔画像を取得する。

ターゲットオブジェクトの顔画像は、該ターゲットオブジェクトの顔が含まれるＲＧＢ画像（又は、カラー画像と呼ばれる）を指す。該ＲＧＢ画像は、カメラでターゲットオブジェクトを撮影したものであってもよい。ＲＧＢ画像の各画素値は、赤（Ｒ：Ｒｅｄ）、緑（Ｇ：Ｇｒｅｅｎ）、青（Ｂ：Ｂｌｕｅ）という３つのチャネルの色成分で表される。任意選択的に、撮影によってターゲットオブジェクトのＲＧＢ画像を取得するときに、各ＲＧＢ画像それぞれに対応する深度画像をさらに取得してもよい。深度画像は、カメラから、ターゲットオブジェクトが位置するシーンにおける各点までの距離値を画素値とする画像を指す。深度画像は、距離画像とも呼ばれる。深度画像には、物体の見える表面の幾何学的形状が反映される。深度画像は、グレースケール画像に類似するが、深度画像の各画素値がカメラから物体までの実際の距離である点が異なる。ターゲットオブジェクトのＲＧＢ画像及び深度画像は、位置合わせされたものであってもよく、両者の画像点の間に１対１の対応関係がある。

ターゲットオブジェクトのＲＧＢ画像及び深度画像は、３Ｄカメラで撮影された２枚の画像であってもよい。通常の２ＤカメラではＲＧＢ画像しか撮影できないのに対し、３Ｄカメラでは、ＲＧＢ画像に加えて、深度画像も撮影できる。ここで、３Ｄカメラは、ＲＧＢ画像を撮影するカラーカメラと、深度情報を収集して深度画像を生成する深度センサとを含んでもよい。

上記ｎ個の顔画像は、ｎ種類の頭部姿勢でのターゲットオブジェクトの顔画像であってもよい。

一例において、ｎの値は、１である。例えば、正面顔の姿勢でのターゲットオブジェクトの顔画像を取得する。

他の例において、３Ｄ顔再構築の正確性を向上させるために、ｎの値は、１より大きい。例えば、上記ｎ種類の頭部姿勢は、正面顔の姿勢、右横顔の姿勢、左横顔の姿勢、及び顔を上げた姿勢を含む。

コンピュータ機器がどの頭部姿勢でのターゲットオブジェクトの顔画像を取得するかは、予め設定することができる。例示的に、図１５に示すように、右横顔の姿勢、正面顔の姿勢、左横顔の姿勢、及び顔を上げた姿勢という４種類の頭部姿勢でのターゲットオブジェクトの顔画像を取得する。

任意選択的に、ターゲットオブジェクトの顔画像を収集するためのカメラの位置が固定され、ターゲットオブジェクトが頭部を回転させ、カメラがターゲットオブジェクトの複数の顔画像を収集する。例えば、ターゲットオブジェクトが頭部を回転させる全過程の画像は、いずれもカメラによって収集されて保存される。効率の配慮から、多くのデータが重複するため、収集された全ての画像のいずれに対しても計算を行う必要がない。ターゲットオブジェクトが頭部を回転させる全過程で数百枚の顔画像が収集され、この数百枚の顔画像のいずれに対しても計算を行うと、計算リソースを浪費する。したがって、後続の計算のために、この数百枚の顔画像の中からいくつかの代表的な顔画像を選別すればよい。

可能な実現方式では、ターゲットオブジェクトの複数の候補顔画像を取得し、該複数の候補顔画像の中から品質が合格するターゲット画像を選別し、ターゲット画像の中からｎ種類の頭部姿勢での顔画像を選択する。ここで、品質が合格しない（例えば、瞬き、動きボケなど）顔画像が除去され、品質が合格するターゲット画像が残され、次に、品質が合格するこれらのターゲット画像の中から、頭部姿勢に応じてｎ個の顔画像が選択される。

第２に、３次元データ点と、顔画像における画素点との間のマッピング関係を取得する。

顔画像がｎ個含まれる場合、顔点群における３次元データ点と、各顔画像それぞれにおける画素点との間のマッピング関係を取得し、即ち、ｎ組のマッピング関係を取得する必要がある。

任意選択的に、以下の方式によってマッピング関係を取得する。即ち、ｎ個の顔画像のうちのｉ番目の顔画像に対し、透視投影を用いて３次元データ点をｉ番目の顔画像に投影することにより、３次元データ点に対応する、ｉ番目の顔画像における画素点座標を第ｉ組のマッピング関係として取得する。ここで、上記マッピング関係は、ｎ組含み、ｎ組のマッピング関係のうちの第ｉ組のマッピング関係は、ｉ番目の顔画像に対応するものであり、ｉは、ｎ以下の正の整数である。

各顔画像それぞれに対応する頭部姿勢が既知であるため、該頭部姿勢に応じて、顔点群に対して回転、平行移動などの処理を行ってから、カメラのパラメータに基づいて、該頭部姿勢に対応する顔画像に透視投影することができる。

第３に、ｎ個の顔画像のそれぞれから、頭部姿勢に対応する画像領域を取得することにより、ｎ個の有効領域を取得する。

顔画像の数ｎが１よりも大きい場合、ｎ組のマッピング関係が生成されるため、各組それぞれのマッピング関係と、インデックス情報とを組み合わせることにより、１枚のターゲットオブジェクトの顔テクスチャ画像を生成することができる。最終的に１枚の融合後の顔テクスチャ画像を生成するために、この複数枚の顔テクスチャ画像に対して多視点融合を行う必要がある。

任意選択的に、このステップは、以下のいくつかのサブステップを含む。

１、ｎ個の顔画像のうちのｉ番目の顔画像に対し、ｉ番目の顔画像から顔クリティカル点を検出する。

顔クリティカル点は、眉、目、唇、顔の輪郭などの顔クリティカル部位におけるクリティカル点を含む。

２、顔クリティカル点の位置と、予め定義された規則とに基づいて、ｉ番目の顔画像における有効領域を取得する。

ｉ番目の顔画像における有効領域は、該ｉ番目の顔画像に対応する頭部姿勢に応じて決定された領域であって、融合によって最終的な顔テクスチャ画像を生成するための領域を指す。

ｉ番目の顔画像における有効領域を決定する場合を例にすると、該ｉ番目の顔画像から顔クリティカル点を検出した後、鼻先点を中心として円を描く。該円の大きさは、全ての顔クリティカル点のうち、鼻先点からの距離が最大となる顔クリティカル点によって決定され、つまり、該円は、鼻先点を中心として、検出された全ての顔クリティカル点を含む最小円である。次に、該円形領域から、現在の頭部姿勢で完全に見える顔部位を含む１つの領域を有効領域として選択する。例示的に、該ｉ番目の顔画像が正面顔の姿勢での顔画像である場合、該円に含まれる領域を有効領域として直接に決定してもよい。該ｉ番目の顔画像が左横顔の姿勢での顔画像である場合、左目尻、左口角、及び顎の中心位置という３つのクリティカル点を通る１つの線を生成し、該線が上記円と交差して形成された、左横顔を含む領域を有効領域とする。該ｉ番目の顔画像が右横顔の姿勢での顔画像である場合、右目尻、右口角、及び顎の中心位置という３つのクリティカル点を通る１つの線を生成し、該線が上記円と交差して形成された、右横顔を含む領域を有効領域とする。該ｉ番目の顔画像が、顔を上げた姿勢での顔画像である場合、左口角、右口角、左頬の輪郭点、右頬の輪郭点、及び上記の円で囲まれた、顎部分が含まれる領域を有効領域とする。

第４に、ｎ個の有効領域のうちのｉ番目（ｉは、ｎ以下の正の整数）の有効領域に対し、マッピング関係に基づいて、ｉ番目の有効領域における画素点に対応するターゲット３次元データ点を取得する。

第５に、インデックス情報に基づいて、ターゲット３次元データ点に対応する、ｉ番目の有効領域における領域テクスチャ画像におけるターゲット画素点を取得する。

第６に、ターゲット画素点をレンダリングして、ｉ番目の有効領域に対応する領域テクスチャ画像を生成し、ターゲット画素点の画素値は、ｉ番目の有効領域内の画素点の画素値に基づいて決定されたものである。

図１６に示すように、図１６の（ａ）部分には、正面顔の姿勢での顔画像における有効領域に対応する領域テクスチャ画像が示され、図１６の（ｂ）部分には、左横顔の姿勢での顔画像における有効領域に対応する領域テクスチャ画像が示され、図１６の（ｃ）部分には、右横顔の姿勢での顔画像における有効領域に対応する領域テクスチャ画像が示され、図１６の（ｄ）部分には、顔を上げた姿勢での顔画像における有効領域に対応する領域テクスチャ画像が示される。

第７に、ｎ個の領域テクスチャ画像を画像融合して、ターゲットオブジェクトの顔テクスチャ画像を生成する。

ｎ個の有効領域のそれぞれに対応する領域テクスチャ画像を生成した後、ｎ個の有効領域の繋ぎ合わせにより完全な顔が形成されるため、上記ｎ個の領域テクスチャ画像を繋ぎ合わせて、ターゲットオブジェクトの顔テクスチャ画像を生成してもよい。

各頭部姿勢での照明条件が異なる可能性があるため、各顔画像同士の色に一定の差が存在し、例えば、正面顔が明らかに白っぽくなる。この場合、ｎ個の領域テクスチャ画像を直接に繋ぎ合わせてターゲットオブジェクトの顔テクスチャ画像を生成すると、繋ぎ目に明らかな境界線が現れる。より滑らかな効果を取得するために、以下のステップによってｎ個の領域テクスチャ画像を画像融合してもよい。

１、ｎ個の領域テクスチャ画像の平均色を算出する。

任意選択的に、このステップは、以下のいくつかのサブステップを含む。

１．１、ｎ個の領域テクスチャ画像のうちのｉ番目（ｉは、ｎ以下の正の整数）の領域テクスチャ画像に対し、ｉ番目の領域テクスチャ画像の有効領域からサンプリングして、少なくとも１つの画素点の画素値を取得し、ｉ番目の領域テクスチャ画像の画素値の平均値を算出する。

１．２、ｎ個の領域テクスチャ画像の画素値の平均値に基づいて、ｎ個の領域テクスチャ画像の平均色を算出する。

２、ｎ個の領域テクスチャ画像の色を平均色に変換することにより、ｎ個の変換後の領域テクスチャ画像を取得する。

３、ｎ個の変換後の領域テクスチャ画像を繋ぎ合わせて、顔テクスチャ画像を生成する。

平均色を取得した後、各領域テクスチャ画像それぞれの色を平均色に変換することにより、ｎ個の変換後の領域テクスチャ画像を取得し、次に、ｎ個の変換後の領域テクスチャ画像を繋ぎ合わせて、顔テクスチャ画像を生成する。このようにすると、最終的に生成された顔テクスチャ画像における肌色をより滑らかで自然にすることができ、明らかな境界線が発生することはない。例示的に、図１７に示すように、それには、図１６の各領域テクスチャ画像を融合して生成されたターゲットオブジェクトの顔テクスチャ画像の模式図が示される。

コンピュータ機器は、ターゲットオブジェクトの顔テクスチャ画像を生成した後、該顔テクスチャ画像を用いて該ターゲットオブジェクトの３次元顔モデルをレンダリングして、ターゲットオブジェクトのテクスチャ付きの３次元顔モデルを生成することができる。該プロセスは、以下のステップを含んでもよい。

１、インデックス情報に基づいて、３次元データ点に対応する、顔テクスチャ画像における画素点の画素値を取得する。

２、３次元データ点の画素値に基づいて、３次元顔モデルをレンダリングして、テクスチャ付きの３次元顔モデルを生成する。

点群における各３次元データ点それぞれに対し、該３次元データ点に対応するｕｖインデックスに基づいて、該３次元データ点に対応する、ターゲットオブジェクトの顔テクスチャ画像における画素点の画素値を該３次元データ点の画素値として取得してもよい。また、３次元顔モデルにおける各三角パッチの画素値は、その三角パッチの３つの頂点の画素値の平均値で表すことができる。このようにすると、レンダリングによって、図１８に示すような該ターゲットオブジェクトのテクスチャ付きの３次元顔モデルを生成することができる。図１８の（ａ）部分には、正面顔の姿勢での３次元顔モデルの模式図が示され、図１８の（ｂ）部分及び図１８の（ｃ）部分には、右横顔の姿勢での３次元顔モデルの模式図が示され、図１８の（ｄ）部分には、左横顔の姿勢での３次元顔モデルの模式図が示され、図１８の（ｅ）部分には、顔を上げた姿勢での３次元顔モデルの模式図が示される。

１つの可能な応用シーンでは、ターゲットオブジェクトのテクスチャ付きの３次元顔モデルを生成した後、該３次元顔モデルを駆動して、異なる表情、例えば、口を開けたり、口を閉じたり、目を瞬いたりするような異なる顔動作の効果を作り出すことができる。

音声インタラクションシーンを例にすると、再生対象の音声メッセージを決定した後、該音声情報に対応する表情シーケンスを取得することができ、該表情シーケンスには、少なくとも１つの表情が含まれる。音声メッセージを再生する過程では、表情シーケンスに含まれる各表情の順序に応じて、ターゲットオブジェクトの各表情でのテクスチャ付きの３次元顔モデルを順次表示する。ここで、音声情報と表情シーケンスとの間のマッピング関係を予め記憶してもよく、再生対象の音声情報を決定した後、上記マッピング関係に基づいて、該音声情報に対応する表情シーケンスを見つけることができる。例えば、各発音と表情との間のマッピング関係を記憶してもよい。再生対象の音声情報を決定した後、該音声情報に対応する発音シーケンスを決定することができ、該発音シーケンスには、順に配列された少なくとも１つの発音が含まれる。各発音それぞれに対応する表情を取得すれば、該音声情報に対応する表情シーケンスを取得することができる。

上記の方式によれば、３次元顔の再構築で得られたモデルに基づいて音声インタラクションを行う構成が実現されるとともに、リアルタイムに再生される音声に応じて、マッチした表情をよりリアルに表示することができる。

以下は、本願の方法の実施例の実行に使用可能な本願の装置の実施例である。本願の装置の実施例に披露されていない詳細については、本願の方法の実施例を参照する。

図１９を参照すると、それには、本願の一実施例で提供される３次元顔モデルの構築装置のブロック図が示される。該装置は、上記の方法例を実現する機能を有する。前記機能は、ハードウェアによって実現されてもよいし、ハードウェアが相応のソフトウェアを実行することによって実現されてもよい。該装置１９００は、点群取得モジュール１９１０と、インデックス取得モジュール１９２０と、三角分割モジュール１９３０と、モデル初期構築モジュール１９４０と、領域決定モジュール１９５０と、領域平滑化モジュール１９６０と、領域置き換えモジュール１９７０と、を含んでもよい。

点群取得モジュール１９１０は、ターゲットオブジェクトの顔点群を取得し、
インデックス取得モジュール１９２０は、展開計算によって、前記顔点群における３次元データ点に対応する、前記ターゲットオブジェクトの顔テクスチャ画像における画素点座標を決定することにより、前記３次元データ点のインデックス情報を取得し、
三角分割モジュール１９３０は、前記顔テクスチャ画像における画素点に対して三角分割を行うことにより、三角分割情報を取得し、前記三角分割情報は、前記画素点に対応する三角トポロジーを示すためのものであり、
モデル初期構築モジュール１９４０は、前記三角分割情報、前記インデックス情報、及び前記顔点群に基づいて、初期３次元顔モデルを取得し、
領域決定モジュール１９５０は、前記初期３次元顔モデルにおける非クリティカル領域を決定し、前記非クリティカル領域は、前記初期３次元顔モデルにおける非顔領域を指し、
領域平滑化モジュール１９６０は、前記初期３次元顔モデルにおける非クリティカル領域に対して平滑化処理を行うことにより、平滑化された非クリティカル領域を取得し、
領域置き換えモジュール１９７０は、前記初期３次元顔モデルにおける非クリティカル領域を、前記平滑化された非クリティカル領域に置き換えることにより、前記ターゲットオブジェクトの３次元顔モデルを取得する。

模式的な実施例において、前記領域決定モジュール１９５０は、画素点決定ユニットと、トポロジー決定ユニットと、領域決定ユニットと、を含む（図示せず）。

画素点決定ユニットは、前記顔テクスチャ画像における非顔クリティカル画素点を決定し、

トポロジー決定ユニットは、前記非顔クリティカル画素点、前記三角分割情報、及び前記インデックス情報に基づいて、非顔クリティカル３次元データ点と、前記非顔クリティカル３次元データ点に対応する三角トポロジーとを決定し、
領域決定ユニットは、前記非顔クリティカル３次元データ点に対応する三角トポロジーで形成された領域を前記非クリティカル領域として決定する。

模式的な実施例において、前記画素点決定ユニットは、
前記顔テクスチャ画像におけるクリティカル領域に対応する凸包を決定し、前記クリティカル領域が、前記顔テクスチャ画像における顔クリティカル画素点で覆われる領域を指し、
膨張閾値に基づいて前記凸包を拡大することにより、ターゲット領域を取得し、
前記顔テクスチャ画像における前記ターゲット領域以外の領域における画素点を前記非顔クリティカル画素点として決定する。

模式的な実施例において、前記装置は、ダウンサンプリングモジュールをさらに含む（図示せず）。

ダウンサンプリングモジュールは、前記顔点群に対して格子ダウンサンプリングを行うことにより、ダウンサンプリング後の顔点群を取得し、前記ダウンサンプリング後の顔点群における頸部領域及び非頸部領域のそれぞれに対応する格子密度が異なる。

この場合、前記インデックス取得モジュール１９２０は、具体的には、展開計算によって、前記ダウンサンプリング後の顔点群における３次元データ点に対応する、前記ターゲットオブジェクトの顔テクスチャ画像における画素点座標を決定することにより、前記３次元データ点のインデックス情報を取得する。

模式的な実施例において、前記ダウンサンプリングモジュールは、
３次元空間において、第１格子密度で前記頸部領域を分割することにより、前記頸部領域に対応する複数の格子を取得し、第２格子密度で前記非頸部領域を分割することにより、前記非頸部領域に対応する複数の格子を取得し、
前記顔点群を前記３次元空間における複数の格子内に融合し、
各格子内に含まれる、前記顔点群における３次元データ点の３次元座標に対して、同じ座標次元で平均値を取ることにより、前記ダウンサンプリング後の顔点群を取得する。

模式的な実施例において、前記インデックス取得モジュール１９２０は、
前記顔点群における３次元データ点の、３次元座標系における３次元座標を取得し、
前記３次元データ点の３次元座標に基づいて、円柱展開計算によって、前記３次元データ点に対応する、前記顔テクスチャ画像における画素点座標を決定することにより、前記インデックス情報を取得する。

模式的な実施例において、前記装置は、画像取得モジュールと、マッピング取得モジュールと、領域取得モジュールと、データ点取得モジュールと、画素点取得モジュールと、画素点レンダリングモジュールと、画像融合モジュールと、をさらに含む（図示せず）。

画像取得モジュールは、前記ターゲットオブジェクトのｎ種類（前記ｎは、正の整数）の頭部姿勢に対応するｎ個の顔画像を取得し、
マッピング取得モジュールは、前記３次元データ点と、前記顔画像における画素点との間のマッピング関係を取得し、
領域取得モジュールは、前記ｎ個の顔画像のそれぞれから頭部姿勢に対応する画像領域を取得することにより、ｎ個の有効領域を取得し、
データ点取得モジュールは、前記ｎ個の有効領域のうちのｉ番目（前記ｉは、前記ｎ以下の正の整数）の有効領域に対し、前記マッピング関係に基づいて、前記ｉ番目の有効領域における画素点に対応するターゲット３次元データ点を取得し、
画素点取得モジュールは、前記インデックス情報に基づいて、前記ターゲット３次元データ点の、前記ｉ番目の有効領域に対応する領域テクスチャ画像におけるターゲット画素点を取得し、
画素点レンダリングモジュールは、前記ターゲット画素点をレンダリングして、前記ｉ番目の有効領域に対応する領域テクスチャ画像を生成し、前記ターゲット画素点の画素値は、前記ｉ番目の有効領域内の画素点の画素値に基づいて決定されたものであり、
画像融合モジュールは、前記ｎ個の領域テクスチャ画像を画像融合して、前記ターゲットオブジェクトの前記顔テクスチャ画像を生成する。

模式的な実施例において、前記領域取得モジュールは、
前記ｎ個の顔画像のうちのｉ番目の顔画像に対し、前記ｉ番目の顔画像から顔クリティカル点を検出し、
前記顔クリティカル点の位置と、予め定義された規則とに基づいて、前記ｉ番目の顔画像における有効領域を取得する。

模式的な実施例において、前記装置は、画素値取得モジュールと、モデルレンダリングモジュールと、をさらに含む（図示せず）。

画素値取得モジュールは、前記インデックス情報に基づいて、前記３次元データ点に対応する、前記顔テクスチャ画像における画素点の画素値を取得し、
モデルレンダリングモジュールは、前記３次元データ点の画素値に基づいて前記３次元顔モデルをレンダリングして、テクスチャ付きの３次元顔モデルを生成する。

図２０を参照すると、それには、本願の一実施例で提供されるコンピュータ機器２０００の構成の模式図が示される。該コンピュータ機器２０００は、上記の実施例で提供される３次元顔モデルの構築方法の実施に使用可能である。具体的には、
前記コンピュータ機器２０００は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２００１と、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２００２及び読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）２００３を含めたシステムメモリ２００４と、システムメモリ２００４及び中央処理装置２００１を接続するシステムバス２００５と、を含む。前記コンピュータ機器２０００は、コンピュータ内の各部品間の情報の伝送を支援する基本入出力システム（Ｉ／Ｏシステム：Ｉｎｐｕｔ／Ｏｕｔｐｕｔシステム）２００６と、オペレーティングシステム２０１３、アプリケーションプログラム２０１４、及び他のプログラムモジュール２０１５を記憶するための大容量記憶装置２００７と、をさらに含む。

前記基本入出力システム２００６は、情報を表示するためのディスプレイ２００８と、ユーザが情報を入力するためのマウスやキーボードのような入力機器２００９と、を含む。ここで、前記ディスプレイ２００８及び入力機器２００９の両方は、システムバス２００５に接続された入出力コントローラ２０１０を介して中央処理装置２００１に接続されている。前記基本入出力システム２００６は、キーボード、マウス、又は電子タッチペンなどの複数の他の機器からの入力を受け付けて処理するための入出力コントローラ２０１０を含んでもよい。同様に、入出力コントローラ２０１０は、ディスプレイ、プリンタ、又は他のタイプの出力機器への出力も提供する。

前記大容量記憶装置２００７は、システムバス２００５に接続された大容量記憶コントローラ（図示せず）を介して中央処理装置２００１に接続されている。前記大容量記憶装置２００７及びそれに関連するコンピュータ可読媒体は、コンピュータ機器２０００に対して不揮発性記憶を提供する。つまり、前記大容量記憶装置２００７は、ハードディスクやコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブのようなコンピュータ可読媒体（図示せず）を含んでもよい。

一般性を失うことなく、前記コンピュータ可読媒体は、コンピュータ記憶媒体と通信媒体とを含んでもよい。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどのような情報を記憶するための任意の方法又は技術によって実現される揮発性及び不揮発性、移動可能な及び移動不可な媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）又は他のソリッドステート記憶装置、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）又は他の光学的記憶装置、テープカートリッジ、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置を含む。もちろん、当業者であれば、前記コンピュータ記憶媒体がこれらに限定されないことが分かる。上記のシステムメモリ２００４及び大容量記憶装置２００７を総称してメモリと呼んでもよい。

本願の様々な実施例によれば、前記コンピュータ機器２０００は、インターネットなどのようなネットワークを介して、ネットワーク上のリモートコンピュータに接続されて実行されてもよい。即ち、コンピュータ機器２０００は、前記システムバス２００５に接続されたネットワークインタフェースユニット２０１１を介して、ネットワーク２０１２に接続されてもよく、言い換えれば、ネットワークインタフェースユニット２０１１を使用して、他のタイプのネットワーク又はリモートコンピュータシステム（図示せず）に接続されてもよい。

前記メモリは、１つ又は複数のプログラムをさらに含み、前記１つ又は複数のプログラムは、メモリに記憶され、１つ又は複数のプロセッサにより実行されるように構成される。上記１つ又は複数のプログラムには、上記コンピュータ機器側の３次元顔モデルの構築方法を実現するための命令が含まれる。

例示的な実施例では、プロセッサとメモリとを備える端末がさらに提供されている。前記メモリには、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶される。前記少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットは、１つ又は複数のプロセッサにより実行されると、上記３次元顔モデルの構築方法を実現させるように構成される。

例示的な実施例では、プロセッサとメモリとを備えるサーバがさらに提供されている。前記メモリには、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶される。前記少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットは、１つ又は複数のプロセッサにより実行されると、上記３次元顔モデルの構築方法を実現させるように構成される。

例示的な実施例では、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットを記憶したコンピュータ可読記憶媒体がさらに提供されている。前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、コンピュータ機器のプロセッサにより実行されると、上記３次元顔モデルの構築方法を実現させる。

例示的な実施例では、コンピュータ命令を含むコンピュータプログラム製品又はコンピュータプログラムがさらに提供されている。該コンピュータ命令は、コンピュータ可読記憶媒体に記憶される。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から該コンピュータ命令を読み取る。プロセッサは、該コンピュータ命令を実行すると、上記実施例、又は上記実施例の各種の任意選択的な実現方式で提供される３次元顔モデルの構築方法を該コンピュータ機器に実行させる。

1910 点群取得モジュール
1920 インデックス取得モジュール
1930 三角分割モジュール
1940 モデル初期構築モジュール
1950 領域決定モジュール
1960 領域平滑化モジュール
1970 領域置き換えモジュール
2001 中央処理装置
2002 ランダムアクセスメモリ
2003 読み出し専用メモリ
2004 システムメモリ
2005 システムバス
2007 大容量記憶装置
2008 ディスプレイ
2009 入力機器
2010 入出力コントローラ
2011 ネットワークインタフェースユニット
2012 ネットワーク
2013 オペレーティングシステム
2014 アプリケーションプログラム
2015 他のプログラムモジュール

本願の実施例において、三角分割情報は、画素点に対応する三角トポロジーを示すためのものである。ターゲットオブジェクトの顔テクスチャ画像において、隣接する３つの画素点を結んで１つの三角トポロジー（又は、三角形パッチ、三角形トポロジーと呼ばれる）を形成することができる。

可能な実現方式において、上記３次元顔モデルの構築フローのブロック図は、テクスチャ抽出モジュール１４０５をさらに含む。テクスチャ抽出モジュール１４０５は、ターゲットオブジェクトの顔テクスチャ画像を生成する。ターゲットオブジェクトの顔テクスチャ画像を生成する具体的なフローについては、以下の実施例を参照すればよく、ここでは、これ以上の説明を省略する。

音声インタラクションシーンを例にすると、再生対象の音声情報を決定した後、該音声情報に対応する表情シーケンスを取得することができ、該表情シーケンスには、少なくとも１つの表情が含まれる。音声情報を再生する過程では、表情シーケンスに含まれる各表情の順序に応じて、ターゲットオブジェクトの各表情でのテクスチャ付きの３次元顔モデルを順次表示する。ここで、音声情報と表情シーケンスとの間のマッピング関係を予め記憶してもよく、再生対象の音声情報を決定した後、上記マッピング関係に基づいて、該音声情報に対応する表情シーケンスを見つけることができる。例えば、各発音と表情との間のマッピング関係を記憶してもよい。再生対象の音声情報を決定した後、該音声情報に対応する発音シーケンスを決定することができ、該発音シーケンスには、順に配列された少なくとも１つの発音が含まれる。各発音それぞれに対応する表情を取得すれば、該音声情報に対応する表情シーケンスを取得することができる。

画像取得モジュールは、前記ターゲットオブジェクトのｎ種類（前記ｎは、正の整数）の頭部姿勢に対応するｎ個の顔画像を取得し、
マッピング取得モジュールは、前記３次元データ点と、前記顔画像における画素点との間のマッピング関係を取得し、
領域取得モジュールは、前記ｎ個の顔画像のそれぞれから頭部姿勢に対応する画像領域を取得することにより、ｎ個の有効領域を取得し、
データ点取得モジュールは、前記ｎ個の有効領域のうちのｉ番目（前記ｉは、前記ｎ以下の正の整数）の有効領域に対し、前記マッピング関係に基づいて、前記ｉ番目の有効領域における画素点に対応するターゲット３次元データ点を取得し、
画素点取得モジュールは、前記インデックス情報に基づいて、前記ターゲット３次元データ点の、前記ｉ番目の有効領域に対応する領域テクスチャ画像におけるターゲット画素点を取得し、
画素点レンダリングモジュールは、前記ターゲット画素点をレンダリングして、前記ｉ番目の有効領域に対応する領域テクスチャ画像を生成し、前記ターゲット画素点の画素値は、前記ｉ番目の有効領域内の画素点の画素値に基づいて決定されたものであり、
画像融合モジュールは、ｎ個の領域テクスチャ画像を画像融合して、前記ターゲットオブジェクトの前記顔テクスチャ画像を生成する。

Claims (13)

1. コンピュータ機器が実行する、３次元顔モデルの構築方法であって、
   ターゲットオブジェクトの顔点群を取得するステップと、
   展開計算によって、前記顔点群における３次元データ点に対応する、前記ターゲットオブジェクトの顔テクスチャ画像における画素点座標を決定することにより、前記３次元データ点のインデックス情報を取得するステップと、
   前記顔テクスチャ画像における画素点に対して三角分割を行うことにより、三角分割情報を取得するステップであって、前記三角分割情報は、前記画素点に対応する三角トポロジーを示すためのものである、ステップと、
   前記三角分割情報、前記インデックス情報、及び前記顔点群に基づいて、初期３次元顔モデルを取得するステップと、
   前記初期３次元顔モデルにおける非クリティカル領域を決定するステップであって、前記非クリティカル領域は、前記初期３次元顔モデルにおける非顔領域を指す、ステップと、
   前記初期３次元顔モデルにおける非クリティカル領域に対して平滑化処理を行うことにより、平滑化された非クリティカル領域を取得するステップと、
   前記初期３次元顔モデルにおける非クリティカル領域を、前記平滑化された非クリティカル領域に置き換えることにより、前記ターゲットオブジェクトの３次元顔モデルを取得するステップと、を含む、
   方法。
2. 前記初期３次元顔モデルにおける非クリティカル領域を決定する前記ステップは、
   前記顔テクスチャ画像における非顔クリティカル画素点を決定するステップと、
   前記非顔クリティカル画素点、前記三角分割情報、及び前記インデックス情報に基づいて、非顔クリティカル３次元データ点と、前記非顔クリティカル３次元データ点に対応する三角トポロジーとを決定するステップと、
   前記非顔クリティカル３次元データ点に対応する三角トポロジーで形成された領域を前記非クリティカル領域として決定するステップと、を含む、
   請求項１に記載の方法。
3. 前記顔テクスチャ画像における非顔クリティカル画素点を決定する前記ステップは、
   前記顔テクスチャ画像におけるクリティカル領域に対応する凸包を決定するステップであって、前記クリティカル領域は、前記顔テクスチャ画像における顔クリティカル画素点で覆われる領域を指す、ステップと、
   膨張閾値に基づいて前記凸包を拡大することにより、ターゲット領域を取得するステップと、
   前記顔テクスチャ画像における前記ターゲット領域以外の領域における画素点を前記非顔クリティカル画素点として決定するステップと、を含む、
   請求項２に記載の方法。
4. 展開計算によって、前記顔点群における３次元データ点に対応する、前記ターゲットオブジェクトの顔テクスチャ画像における画素点座標を決定することにより、前記３次元データ点のインデックス情報を取得する前記ステップの前に、
   前記顔点群に対して格子ダウンサンプリングを行うことにより、ダウンサンプリング後の顔点群を取得するステップであって、前記ダウンサンプリング後の顔点群における頸部領域及び非頸部領域のそれぞれに対応する格子密度が異なる、ステップをさらに含み、
   前記展開計算によって、前記顔点群における３次元データ点に対応する、前記ターゲットオブジェクトの顔テクスチャ画像における画素点座標を決定することにより、前記３次元データ点のインデックス情報を取得する前記ステップは、
   展開計算によって、前記ダウンサンプリング後の顔点群における３次元データ点に対応する、前記ターゲットオブジェクトの顔テクスチャ画像における画素点座標を決定することにより、前記３次元データ点のインデックス情報を取得するステップを含む、
   請求項１に記載の方法。
5. 前記顔点群に対して格子ダウンサンプリングを行うことにより、ダウンサンプリング後の顔点群を取得する前記ステップは、
   ３次元空間において、第１格子密度で前記頸部領域を分割することにより、前記頸部領域に対応する複数の格子を取得し、第２格子密度で前記非頸部領域を分割することにより、前記非頸部領域に対応する複数の格子を取得するステップと、
   前記顔点群を前記３次元空間における複数の格子内に融合するステップと、
   各格子内に含まれる、前記顔点群における３次元データ点の３次元座標に対して、同じ座標次元で平均値を取ることにより、前記ダウンサンプリング後の顔点群を取得するステップと、を含む、
   請求項４に記載の方法。
6. 展開計算によって、前記顔点群における３次元データ点に対応する、前記ターゲットオブジェクトの顔テクスチャ画像における画素点座標を決定することにより、前記３次元データ点のインデックス情報を取得する前記ステップは、
   前記顔点群における３次元データ点の、３次元座標系における３次元座標を取得するステップと、
   前記３次元データ点の３次元座標に基づいて、円柱展開計算によって、前記３次元データ点に対応する、前記顔テクスチャ画像における画素点座標を決定することにより、前記インデックス情報を取得するステップと、を含む、
   請求項１に記載の方法。
7. 前記ターゲットオブジェクトのｎ種類（前記ｎは、正の整数）の頭部姿勢に対応するｎ個の顔画像を取得するステップと、
   前記３次元データ点と、前記顔画像における画素点との間のマッピング関係を取得するステップと、
   前記ｎ個の顔画像のそれぞれから頭部姿勢に対応する画像領域を取得することにより、ｎ個の有効領域を取得するステップと、
   前記ｎ個の有効領域のうちのｉ番目（前記ｉは、前記ｎ以下の正の整数）の有効領域に対し、前記マッピング関係に基づいて、前記ｉ番目の有効領域における画素点に対応するターゲット３次元データ点を取得するステップと、
   前記インデックス情報に基づいて、前記ターゲット３次元データ点の、前記ｉ番目の有効領域に対応する領域テクスチャ画像におけるターゲット画素点を取得するステップと、
   前記ターゲット画素点をレンダリングして、前記ｉ番目の有効領域に対応する領域テクスチャ画像を生成するステップであって、前記ターゲット画素点の画素値は、前記ｉ番目の有効領域内の画素点の画素値に基づいて決定されたものである、ステップと、
   前記ｎ個の領域テクスチャ画像を画像融合して、前記ターゲットオブジェクトの前記顔テクスチャ画像を生成するステップと、をさらに含む、
   請求項１乃至６のいずれか１項に記載の方法。
8. 前記ｎ個の顔画像のそれぞれから頭部姿勢に対応する画像領域を取得することにより、ｎ個の有効領域を取得する前記ステップは、
   前記ｎ個の顔画像のうちのｉ番目の顔画像に対し、前記ｉ番目の顔画像から顔クリティカル点を検出するステップと、
   前記顔クリティカル点の位置と、予め定義された規則とに基づいて、前記ｉ番目の顔画像における有効領域を取得するステップと、を含む、
   請求項７に記載の方法。
9. 前記ｎ個の領域テクスチャ画像を画像融合して、前記ターゲットオブジェクトの前記顔テクスチャ画像を生成する前記ステップの後に、
   前記インデックス情報に基づいて、前記３次元データ点に対応する、前記顔テクスチャ画像における画素点の画素値を取得するステップと、
   前記３次元データ点の画素値に基づいて前記３次元顔モデルをレンダリングして、テクスチャ付きの３次元顔モデルを生成するステップと、をさらに含む、
   請求項７に記載の方法。
10. ３次元顔モデルの構築装置であって、
    ターゲットオブジェクトの顔点群を取得する点群取得モジュールと、
    展開計算によって、前記顔点群における３次元データ点に対応する、前記ターゲットオブジェクトの顔テクスチャ画像における画素点座標を決定することにより、前記３次元データ点のインデックス情報を取得するインデックス取得モジュールと、
    前記顔テクスチャ画像における画素点に対して三角分割を行うことにより、三角分割情報を取得する三角分割モジュールであって、前記三角分割情報は、前記画素点に対応する三角トポロジーを示すためのものである、三角分割モジュールと、
    前記三角分割情報、前記インデックス情報、及び前記顔点群に基づいて、初期３次元顔モデルを取得するモデル初期構築モジュールと、
    前記初期３次元顔モデルにおける非クリティカル領域を決定する領域決定モジュールであって、前記非クリティカル領域は、前記初期３次元顔モデルにおける非顔領域を指す、領域決定モジュールと、
    前記初期３次元顔モデルにおける非クリティカル領域に対して平滑化処理を行うことにより、平滑化された非クリティカル領域を取得する領域平滑化モジュールと、
    前記初期３次元顔モデルにおける非クリティカル領域を、前記平滑化された非クリティカル領域に置き換えることにより、前記ターゲットオブジェクトの３次元顔モデルを取得する領域置き換えモジュールと、を含む、
    装置。
11. プロセッサとメモリとを備えるコンピュータ機器であって、前記メモリには、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、前記プロセッサによりロードされて実行されると、請求項１乃至９のいずれか１項に記載の方法を実現させる、コンピュータ機器。
12. 少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットを記憶したコンピュータ可読記憶媒体であって、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、プロセッサによりロードされて実行されると、請求項１乃至９のいずれか１項に記載の方法を実現させる、記憶媒体。
13. 命令を含むコンピュータプログラム製品であって、前記命令がコンピュータ上で実行されると、請求項１乃至９のいずれか１項に記載の方法をコンピュータに実行させる、コンピュータプログラム製品。

Images