JP4954945B2 - 三次元形状推定装置及びコンピュータプログラム - Google Patents

Description

本発明は、人間の視覚情報処理の能力を計算機で実現するコンピュータビジョン（ＣＶ）と、顔画像追跡及び認識の技術分野に関し、特に、顔の三次元形状を推定する三次元形状推定装置及びコンピュータプログラムに関する。

従来、コンピュータビジョンにおいて、動画または静止画の集合に写った物体（被写体）の表面に複数の特徴点を見つけ、当該動画の各フレーム上または当該静止画の集合中の各静止画上に映っているそれらの各特徴点の二次元位置を推定し、その結果によりさらに物体の三次元形状（つまり、物体の表面上における各特徴点の三次元位置）を推定する問題がよく知られている。特に、対象が動画である場合、「Shape from motion」（動きより形状）または「Structure from motion」と呼ばれ、隣接した動画フレーム同士に同じ特徴点を見つけ（「correspondence problem」、対応点問題）、そしてその物体の三次元形状を推定する問題である。

ここで、対応点問題が解決済みであるとし、Ｋ枚の動画フレームまたは静止画ごとに、最大Ｊ個の特徴点の観測（位置）データが手動により、または、特徴点追跡システム等の他の装置により入力されたとする。このとき、ｋ枚目（０≦ｋ＜Ｋ）の画像における、ｊ番目（０≦ｊ＜Ｊ）の特徴点の観測データは、以下の要素ｘ^ｋ _ｊ、ｙ^ｋ _ｊからなる行列ｘ^ｋ _ｊにより示される。ここで、行列ｘ^ｋ _ｊの要素ｘ^ｋ _ｊ、要素ｙ^ｋ _ｊは、ｋ枚目の画像をｘ軸、ｙ軸からなる座標平面で表したときのｊ番目の特徴点のｘ座標値、ｙ座標値に相当する。

このデータは以下の式（２）により生成されたとする。

ここで行列ｍ_ｊ∈Ｒ^３は被写体の表面上のｊ番目の特徴点の三次元位置、行列Ｓ^ｋ∈Ｒ^２×３はｋ枚目の画像で示された被写体の向き（三次元位置からｋ枚目の画像への線形的変換）、行列ｕ^ｋ _ｊは観測ノイズであるとする（Ｒは、行列のランク（階数）を示し、列ベクトルの一次独立なものの最大個数を示す）。つまり、行列ｘ^ｋ _ｊで示されるｋ枚目の画像におけるｊ番目の特徴点の位置は、元の被写体における当該ｊ番目の特徴点の三次元位置を示す三次元形状モデルｍ_ｊに、ｋ枚目の画像が得られたときの被写体の向きを示す形状変換Ｓ^ｋを作用させて二次元座標値への線形的変換を行ない、その後、ｋ枚目の画像におけるｊ番目の特徴点についての二次元の観測ノイズｕ^ｋ _ｊを加えたものである。

すべての動画フレームまたは静止画に、すべての特徴点が見えている場合には問題が解決しやすくなる（非特許文献１参照）。式（２）について、ｋ（０≦ｋ＜Ｋ）を行に対して順に、かつ、ｊ（０≦ｊ＜Ｊ）を列に対して順に並べると以下が得られる。

ここで、Ｘ，Ｕ∈Ｒ^２Ｋ×Ｊ、Ｓ∈Ｒ^２Ｋ×３、Ｍ∈Ｒ^３×Ｊである。
非特許文献１及び非特許文献２によれば、式（３）に現れるＳＭのランクが３であることから、Ｘの特異値分解（Singular Value Decomposition, SVD）により求められる最大の３つの固有値がＳＭ＋Ｕの固有値であり、残りがＵだけの固有値である。そこで、該当する３つの固有ベクトルから、ＳＭの因数行列であるＳＦとＦ^−１Ｍ（Ｆ∈Ｒ^３×３）を推定する。
Tomasi, C., Kanade, T.，"Shape and Motion from Image Streams: a Factorization Method."，Carnegie-Mellon Univ. ，(CMU) CS-92-104，1992年 Tomasi, C., Kanade, T. ，"Shape and motion from image streams under orthography: a factorization method"，Int. Journal of Computer Vision，vol. 9, no. 2，1992年

非特許文献１、及び、２の技術では、特徴点データを示す行列の特異値分解により、(１)カメラに対する被写体の顔の向きと、(２)顔上の特徴点の三次元位置とを同時に推定する。しかし、被写体とカメラの相対的な向きが動画フレームまたは静止画によって異なると、見えている特徴点と遮蔽されている特徴点も動画フレームまたは静止画によって異なる。その場合には上記の問題が非常に非線形的となり、解決しにくくなる。
例えば、非特許文献１では、遮蔽されている特徴点がある場合、見えている特徴点が共通である一部の動画フレームまたは静止画から始めて上記の様に推定を行ない、その後、残りのフレームまたは静止画まで解を段階的に拡張していく。このような手法を用いた場合、推定の初期に使う一部のデータを選択する方法と、残りのデータに解を拡張する順を決める方法によって解が若干異なってしまう。そのため、よい解を得るには、さらに、後処理により結果を修正する必要がある。
このように、従来の技術では、全ての特徴点が全ての画像において見えていない場合にはよい解を得られず、また、よい解を得るためには修正のための計算がさらに必要となり、計算量が増大してしまうという問題があった。

本発明は、このような事情を考慮してなされたもので、その目的は、全ての画像に被写体の全ての特徴点が見えていない場合であっても、被写体の三次元モデルを頑健かつ精確に、また、簡易な計算処理により推定することができる三次元形状推定装置及びコンピュータプログラムを提供することある。

［１］ 本発明の一態様は、複数の画像各々における被写体上の各特徴点の位置を二次元座標値で表わした特徴点観測情報の入力を受け、観測情報記憶部に書き込む入力部と、前記各特徴点の推定された三次元位置を三次元座標値で表わした推定三次元形状モデルを、予め決められた所定のジェネリックモデルにおける各特徴点の三次元座標値により初期化して推定三次元形状モデル記憶部に書き込む初期化部と、前記観測情報記憶部から読み出した前記特徴点観測情報と、前記推定三次元形状モデル記憶部から読み出した前記推定三次元形状モデルとに基づき、形状変換行列の推定値を算出し、該算出された推定値により推定形状変換行列記憶部を更新する変換推定部と、前記観測情報記憶部から読み出した前記特徴点観測情報と、前記推定形状変換行列記憶部から読み出した前記形状変換行列の推定値とに基づき、推定三次元形状モデルを算出し、該算出された推定三次元形状モデルにより前記推定三次元形状モデル記憶部を更新する形状推定部と、前記変換推定部による前記推定形状変換行列記憶部の更新と、前記形状推定部による前記推定三次元形状モデル記憶部の更新とを交互に繰り返すよう制御する制御部と、を具備し、前記観測情報記憶部から読み出した前記特徴点観測情報、及び、前記推定三次元形状モデル記憶部から読み出した前記推定三次元形状モデルを画像別に分割する画像単位分割部と、前記画像単位分割部によって画像別に分割された前記特徴点観測情報及び前記推定三次元形状モデルに基づいて、画像ごとの形状変換部分行列の推定値を算出する画像別変換推定部と、前記画像別変換推定部によって算出された画像ごとの前記形状変換部分行列の推定値を統合して前記形状変換行列の推定値を得て、該得られた推定値により前記推定形状変換行列記憶部を更新する形状変換行列統合部と、を具備し、前記形状推定部は、前記観測情報記憶部から読み出した前記特徴点観測情報、及び、前記推定形状変換行列記憶部から読み出した前記形状変換行列の推定値を特徴点別に分割する特徴点単位分割部と、前記特徴点単位分割部によって特徴点別に分割された前記特徴点観測情報及び前記形状変換行列の推定値に基づいて、特徴点ごとの推定三次元形状モデルの部分行列を算出する特徴点別形状推定部と、前記特徴点別形状推定部によって算出された特徴点ごとの前記推定三次元形状モデルの部分行列を統合して前記推定三次元形状モデルを得て、該得られた推定三次元形状モデルにより前記推定三次元形状モデル記憶部を更新する三次元形状モデル統合部と、を具備する、ことを特徴とする。
上記によれば、三次元形状推定装置は、被写体の推定三次元形状モデルを所定のジェネリックモデルにおける各特徴点の三次元座標値により初期化した後、複数の各画像における各特徴点の二次元座標値と、直前に算出された推定三次元形状モデルとから、各画像における形状変換行列の推定値を算出し、複数の各画像における各特徴点の二次元座標値と、直前に算出された形状変換行列の推定値とから、推定三次元形状モデルを算出する、ことを繰り返して被写体の顔の三次元形状モデルを推定する。従って、被写体の顔の三次元モデルを頑健かつ精確に、また、少ない計算処理により推定することができる。
また、各画像別に形状変換部分行列の推定値を算出して形状変換行列の推定値を更新するとともに、各特徴点別に被写体の推定三次元形状モデルの部分行列を算出して推定三次元形状モデルを更新する。従って、被写体の三次元モデルを少ない計算処理により推定することができる。

［２］ また、本発明の一態様は、上述する三次元形状推定装置であって、前記画像単位分割部は、前記特徴点観測情報により前記各画像において遮蔽されている前記特徴点を特定し、画像別に分割した前記推定三次元形状モデルそれぞれについて、当該画像において遮蔽されている前記特徴点に対応する行列要素を０に置き換え、前記特徴点単位分割部は、前記特徴点観測情報により前記各画像において遮蔽されている前記特徴点を特定し、特徴点別に分割した前記形状変換行列の推定値それぞれについて、当該特徴点が遮蔽されている前記画像に対応する行列要素を０に置き換える、ことを特徴とする。
上記によれば、形状変換部分行列の推定に用いられる、画像別に分割した推定三次元形状モデルに対して、遮蔽されている特徴点の三次元座標の推定値を０に置き換え、推定三次元形状モデルの部分行列の推定に用いられる、特徴点別に分割した形状変換行列の推定値に対して、特徴点が遮蔽されている画像における向きの推定値を０に置き換える。従って、全ての画像に被写体の顔上の全ての特徴点が見えていない場合であっても、被写体の三次元モデルを頑健かつ精確に、また、少ない計算処理により推定することができる。

［３］ また、本発明の一態様は、上述する三次元形状推定装置であって、前記変換推定部は、前記画像別変換推定部により算出された画像ごとの形状変換部分行列の推定値を直交拘束する直交拘束部をさらに具備し、前記形状変換行列統合部は、前記直交拘束部によって直交拘束された後の前記推定値を統合して前記形状変換行列の推定値を得て、該得られた推定値により前記推定形状変換行列記憶部を更新する、ことを特徴とする。
これによれば、少ない繰り返し回数により、被写体の三次元モデルの解が収束する。

［４］ 本発明の一態様は、被写体の顔モデルを推定する三次元形状推定装置として用いられるコンピュータを、複数の画像各々における被写体上の各特徴点の位置を二次元座標値で表わした特徴点観測情報の入力を受け、観測情報記憶部に書き込む入力部、前記各特徴点の推定された三次元位置を三次元座標値で表わした推定三次元形状モデルを、予め決められた所定のジェネリックモデルにおける各特徴点の三次元座標値により初期化して推定三次元形状モデル記憶部に書き込む初期化部、前記観測情報記憶部から読み出した前記特徴点観測情報と、前記推定三次元形状モデル記憶部から読み出した前記推定三次元形状モデルとに基づき、形状変換行列の推定値を算出し、該算出された推定値により推定形状変換行列記憶部を更新する変換推定部、前記観測情報記憶部から読み出した前記特徴点観測情報と、前記推定形状変換行列記憶部から読み出した前記形状変換行列の推定値とに基づき、推定三次元形状モデルを算出し、該算出された推定三次元形状モデルにより前記推定三次元形状モデル記憶部を更新する形状推定部、前記変換推定部による前記推定形状変換行列記憶部の更新と、前記形状推定部による前記推定三次元形状モデル記憶部の更新とを交互に繰り返すよう制御する制御部、として機能させ、前記変換推定部を、前記観測情報記憶部から読み出した前記特徴点観測情報、及び、前記推定三次元形状モデル記憶部から読み出した前記推定三次元形状モデルを画像別に分割する画像単位分割部、前記画像単位分割部によって画像別に分割された前記特徴点観測情報及び前記推定三次元形状モデルに基づいて、画像ごとの形状変換部分行列の推定値を算出する画像別変換推定部、前記画像別変換推定部によって算出された画像ごとの前記形状変換部分行列の推定値を統合して前記形状変換行列の推定値を得て、該得られた推定値により前記推定形状変換行列記憶部を更新する形状変換行列統合部、として機能させ、前記形状推定部を、前記観測情報記憶部から読み出した前記特徴点観測情報、及び、前記推定形状変換行列記憶部から読み出した前記形状変換行列の推定値を特徴点別に分割する特徴点単位分割部、前記特徴点単位分割部によって特徴点別に分割された前記特徴点観測情報及び前記形状変換行列の推定値に基づいて、特徴点ごとの推定三次元形状モデルの部分行列を算出する特徴点別形状推定部、前記特徴点別形状推定部によって算出された特徴点ごとの前記推定三次元形状モデルの部分行列を統合して前記推定三次元形状モデルを得て、該得られた推定三次元形状モデルにより前記推定三次元形状モデル記憶部を更新する三次元形状モデル統合部、として機能させる、ことを特徴とするコンピュータプログラムである。

本発明によれば、動画フレームまたは静止画上の被写体の顔上の特徴点から三次元モデルを推定する場合に、推定対象が特徴点の位置関係に大きな変化がない顔の三次元モデルであることを利用し、まず三次元形状モデルの推定値を標準的なモデルによって初期化した後、形状変換（顔の向き）、三次元形状モデル、形状変換、…と交互に推定を行なう。これにより、頑健かつ精確に、また、計算量を抑えながら、被写体の三次元形状モデルを推定することができる。加えて、特徴点追跡システムにおける追跡エラーなどのノイズがあった場合でも、頑健かつ精確に三次元形状モデルを推定可能である。また、形状変換の推定にあたっては画像毎に分割して推定を行い、三次元形状モデルの推定にあたっては特徴点毎に分割して推定を行なうことにより、特徴点の計算量が少なくて済み、特徴点の可視・不可視に対しても、頑健かつ精確に、また、少ない繰り返し回数で解が収束する。

以下、本発明の一実施形態を、図面を参照して説明する。
三次元形状推定装置１は、人物不特定（ジェネリック）な三次元の顔モデルにより顔特徴点の三次元形状の推定値を初期化した後、（１）動画を構成する各フレームまたは複数の各静止画における人物の顔の向きの推定値の計算、（２）顔特徴点の三次元形状の推定値の計算、の２つの計算処理を交互に繰り返して修正していくことにより、顔の三次元形状を推定した結果を取得する。この三次元形状推定手順は、被写体、すなわち、三次元形状の推定対象が顔であり、被写体が異なっても特徴点の位置に極端な差がなく、また、同じ被写体についてはどの画像（顔の向き）でも三次元における特徴点間の位置関係がほぼ変化しないことを利用したものである。なお、以下、顔特徴点を単に「特徴点」とも記載する。

［１． 第１の実施形態］
本実施形態による三次元形状推定装置１は、動画を構成する各フレームまたは複数の各静止画全てにおいて被写体の顔上の全ての特徴点が見えているときの、当該被写体の顔の三次元モデルを推定する。

［１．１ 装置構成］
図１は、本発明の第１の実施形態による三次元形状推定装置１の内部機能を示すブロック図であり、本発明に関係する機能ブロックのみ抽出してある。同図に示す三次元形状推定装置１は、例えば、パーソナルコンピュータやワークステーションなどのコンピュータ装置により実現され、入力部２、記憶部３、初期化部４、変換推定部５、形状推定部６、制御部７、及び、出力部８を含む。

入力部２は、顔のジェネリックな三次元モデルにおける特徴点の三次元座標値のデータ、及び、被写体の特徴点観測データの入力を受ける。特徴点観測データは、動画を構成する各フレームまたは複数の各静止画における、複数の向きから撮像された被写体の顔上の各特徴点の二次元座標値を示す。入力部２は、例えば、キーボードなどにより、ユーザが入力したデータを受けることでもよく、三次元形状推定装置１に接続される他のコンピュータ装置からデータを受信することでもよく、コンピュータ読み取り可能な記録媒体からデータを読み出したりすることでもよい。

記憶部３は、観測情報記憶部３１、推定三次元形状モデル記憶部３２、推定形状変換行列記憶部３３を備える。観測情報記憶部３１は、特徴点観測データを記憶する。推定三次元形状モデル記憶部３２は、被写体の顔の三次元モデルの推定値を記憶する。推定形状変換行列記憶部３３は、形状変換の推定値、すなわち、カメラに対する顔の向きの推定値を記憶する。

初期化部４は、入力部２により入力された、顔のジェネリックな三次元モデルにおける特徴点の三次元座標値により、被写体の顔の三次元モデルの推定値を初期化する。変換推定部５は、現在の顔の三次元モデルの推定値を固定したときの形状変換の推定値を算出する。形状推定部６は、現在の形状変換の推定値を固定した場合の、被写体の顔の三次元モデルの推定値を算出する。制御部７は、変換推定部５及び形状推定部６を繰り返し動作させる。出力部８は、被写体の顔の三次元モデルの推定値をディスプレイに表示させたり、プリンタなどにより印刷させたりする。あるいは、三次元形状推定装置１に接続される他のコンピュータ装置に当該推定値のデータを送信したり、コンピュータ読み取り可能な記録媒体に該推定値のデータを書き込むことでもよい。

また、図２（ａ）は、顔のジェネリックな三次元モデルにおける特徴点を示し、図２（ｂ）は、図２（ａ）に示される三次元モデルにおける顔上のＪ個の各特徴点の三次元座標値のデータの例を示す。
図３（ａ）は、Ｋ枚のフレームまたは静止画に写っている被写体の顔上の特徴点を示し、図３（ｂ）は、図３（ａ）に示されるＫ枚の各フレームまたは静止画それぞれにおける被写体の顔上のＪ個の各特徴点の二次元座標値を示す特徴点観測データの例を示す。

［１．２ アルゴリズム］
次に、本実施形態の三次元形状推定装置１が実行するアルゴリズムを説明する。

（ａ）初期化；
まず、人物不特定（ジェネリック）な三次元の顔特徴点配置モデルであるＭ（０）により、被写体の顔上の特徴点の三次元位置を示す三次元形状モデルＭの推定値を初期化する。この、三次元形状モデルＭの推定値を推定三次元形状モデルＭ＾と表す（「＾」（ハット）は、推定値であることを示す）。なお、三次元をｘ軸、ｙ軸、ｚ軸で表し、ｊ番目の特徴点のｘ座標を座標ｘ_ｊ，ｙ座標を座標ｙ_ｊ，ｚ座標を座標ｚ_ｊとすると、三次元形状モデルＭは、以下の式（４）のような行列である。また、Ｍ（０）も三次元形状モデルＭと同様の行列であるが、各要素として、ジェネリックな三次元の顔特徴点配置モデルにおける各特徴点のｘ座標値，ｙ座標値，ｚ座標値が設定される。

（ｂ）変換形状の推定；
次に、現在の推定三次元形状モデルＭ＾が、正しい特徴点の三次元配置（モデル）であると仮定し、この推定三次元形状モデルＭ＾から、各入力画像における特徴点観測データＸへの変換を示す形状変換Ｓを推定する。

ここで、ｋ番目の画像におけるｊ番目の特徴点のｘ座標を座標ｘ^ｋ _ｊ，ｙ座標を座標ｙ^ｋ _ｊとすると、ｋ番目の画像における特徴点観測データを示す行列Ｘ_ｋは以下の式（５）で表され、全画像において計測された特徴点の位置を示す特徴点観測データＸは、行列Ｘ_０〜Ｘ_{（Ｋ−１）}を１行目から順に並べた行列となる。

また、形状変換Ｓは、拡大／縮小、回転、ｘ−ｙ平面への直交射影を示し、ｋ番目の画像における形状変換Ｓ_ｋは以下の式（６）で表され、全画像における形状変換Ｓは、各画像についての形状変換Ｓ_０〜Ｓ_{（Ｋ−１）}を１行目から順に並べた行列となる。

式（３）において、観測ノイズが無視できると考えた場合、Ｘ＝ＳＭとなる。このとき、再射影(reprojection)エラー‖Ｘ−Ｓ＾Ｍ＾‖^２が小さいほど、推定形状変換Ｓ＾，推定三次元形状モデルＭ＾がより正しい値に近いといえる。特徴点観測データＸ，推定三次元形状モデルＭ＾が与えられた場合、再射影エラー‖Ｘ−Ｓ＾Ｍ＾‖^２を最小とする推定形状変換Ｓ＾は、最小自乗法（ＬＳ；least squares）により、以下の式（７）により算出できる。

（ｃ）被写体の三次元モデルの推定；
次に、手順（ｂ）により推定した推定形状変換Ｓ＾が正しい変換であると仮定し、推定形状変換Ｓ＾により変換された三次元形状モデルの特徴点が、各入力画像における特徴点観測データＸに成るべく近づく様に、推定三次元形状モデルＭ＾自体を変形させる。特徴点観測データＸ，推定形状変換Ｓ＾が与えられた場合、再射影エラー‖Ｘ−Ｓ＾Ｍ＾‖^２を最小とする推定三次元形状モデルＭ＾は、最小自乗法により、以下の式で算出できる。

（ｄ）繰り返し処理；
手順（ｂ）に戻り、手順（ｂ）及び手順（ｃ）を繰り返す。つまり、推定形状変換Ｓ＾の１、２、…回目の推定値をＳ＾（１）、Ｓ＾（２）、…と表し、推定三次元形状モデルＭ＾の１、２、…回目の推定値をＭ＾（１）、Ｍ＾（２）、…と表すと、以下のような順で算出が行なわれる。

上記の繰り返しが終了したときの推定三次元形状モデルＭ＾を、被写体における特徴点の三次元位置を示す推定値とする。

［１．３ 三次元形状推定装置１の処理手順］
次に、上記のアルゴリズムを用いた三次元形状推定装置１の処理手順について説明する。図４は、三次元形状推定装置１の処理手順を示すフローチャートである。

（ステップＳ１１）三次元形状推定装置１の入力部２は、特徴点観測データ（図３（ｂ）参照）の入力を受け、観測情報記憶部３１に書き込む。具体的には、Ｋ枚の各フレームまたは各静止画に登場する人物の顔における複数（Ｊ個）の特徴点それぞれの二次元座標置が特徴点観測データＸとして入力される。これは、例えば、三次元形状推定装置１に接続される他のコンピュータ装置、例えば、顔特徴点追跡システムから入力を受けることでもよく、キーボードなどによりユーザが手入力した情報を受けることでもよい。

（ステップＳ１２）次に、人物不特定（ジェネリック）な顔特徴点配置モデルにより形状変換の推定値を初期化する。入力部２は、ジェネリックな顔の三次元モデルにおけるＪ個の特徴点それぞれの三次元位置のデータ、すなわち、三次元形状モデルＭ（０）（図２（ｂ）参照）のデータの入力を受ける。初期化部４は、入力された三次元形状モデルＭ（０）を、被写体の推定三次元形状モデルＭ＾の初期値として、推定三次元形状モデル記憶部３２に書き込む。

（ステップＳ１３）変換推定部５は、推定三次元形状モデル記憶部３２に記憶されている現在の推定三次元形状モデルＭ＾が、実際の特徴点の三次元配置（モデル）であると仮定し、この推定三次元形状モデルＭ＾から、各入力画像における特徴点観測データＸへの変換を示す形状変換Ｓを推定する。つまり、変換推定部５は、推定三次元形状モデル記憶部３２に記憶されている現在の推定三次元形状モデルＭ＾、及び、観測情報記憶部３１に記憶されている特徴点観測データＸの値を読み出して上記式（７）に代入し、推定形状変換Ｓ＾を算出する。変換推定部５は、この算出結果により、推定形状変換行列記憶部３３に保持している現在の推定形状変換Ｓ＾を更新する。

（ステップＳ１４）形状推定部６は、ステップＳ１３において推定した推定形状変換Ｓ＾が正しい変換であると仮定し、推定形状変換Ｓ＾により変換された三次元モデルの特徴点が、各入力画像における特徴点観測データＸになるべく近づく様に推定三次元形状モデルＭ＾自体を変形させる。つまり、形状推定部６は、推定形状変換行列記憶部３３に記憶されている現在の推定形状変換Ｓ＾、及び、観測情報記憶部３１に記憶されている特徴点観測データＸの値を読み出して上記式（８）に代入し、推定三次元形状モデルＭ＾を算出する。形状推定部６は、この算出結果により、推定三次元形状モデル記憶部３２に保持されている現在の推定三次元形状モデルＭ＾を更新する。

（ステップＳ１５）制御部７は、ステップＳ１３における変換推定部５による推定形状変換Ｓ＾の更新と、ステップＳ１４における形状推定部６による推定三次元形状モデルＭ＾の更新とを交互に繰り返すよう制御する。制御部７は、所定の終了条件に合致したと判断した場合、例えば、‖Ｘ−Ｓ＾Ｍ＾‖^２について、前回算出したときの値との差分を算出し、その差分が所定の閾値以下になった場合に繰り返し処理を終了する。出力部８は、繰り返し処理を終了したときに推定三次元形状モデル記憶部３２に記憶されている推定三次元形状モデルＭ＾を、被写体における特徴点の三次元位置の推定結果として出力する。

［２． 第２の実施形態］
本実施形態による三次元形状推定装置１ａは、動画を構成する各フレームまたは複数の各静止画において被写体の顔上の全ての特徴点が見えていない場合が含まれるときの、当該被写体の顔の三次元モデルを推定する。本実施視形態では、特徴点が動画のフレームまたは静止画によっては可視・不可視となっている場合に対応するために、問題を画像ごと、及び、特徴点ごとに分割する。つまり、（１）画像ごとに分割したそれぞれについて、動画を構成する各フレームまたは複数の各静止画における人物の顔の向きの推定値を計算、（２）特徴点毎に分割したそれぞれについて、顔特徴点の三次元形状の推定値を計算、の２つの計算処理を交互に繰り返して推定値を修正していく。これにより、問題を画像ごと、及び、特徴点ごとに分割しても、だんだんと安定した解に近づいていく。

［２．１ 装置構成］
図５は、本発明の第２の実施形態による三次元形状推定装置１ａの内部機能を示すブロック図であり、本発明に関係する機能ブロックのみ抽出してある。同図において、図１に示す第１の実施形態の三次元形状推定装置１と同じ構成には同じ符号を付し、その説明を省略する。

変換推定部５ａは、画像単位分割部５１、画像別変換推定部５２、直交拘束部５３及び形状変換行列統合部５４を備える。画像単位分割部５１は、三次元モデルにおける各特徴点の推定位置、及び、特徴点観測データを画像毎に分割する。画像別変換推定部５２は、画像別に形状変換の部分行列の推定値を算出する。直交拘束部５３は、推定された形状変換の部分行列に対して直交拘束を施す。形状変換行列統合部５４は、画像別に推定され、直交変換が施された形状変換の部分行列を統合する。

形状推定部６ａは、特徴点単位分割部６１、特徴点別形状推定部６２、及び、三次元形状モデル統合部６３を備える。特徴点単位分割部６１は、形状変換の推定値、及び、特徴点観測データを特徴点毎に分割する。特徴点別形状推定部６２は、特徴点別に、被写体の顔の三次元モデル推定値を算出する。三次元形状モデル統合部６３は、特徴点別に推定された三次元モデルの推定値を統合する。

［２．２ アルゴリズム］
次に、本実施形態の三次元形状推定装置１ａが実行するアルゴリズムを説明する。

（ａ）画像毎の変換形状の推定；
まず、画像毎に問題を分割して変換形状を推定する。そこで、ｋ（０≦ｋ＜Ｋ）枚目の入力動画フレームまたは静止画について、新しい画像別推定三次元形状モデルＭ＾^ｋを定義する。これは元の推定三次元形状モデルＭ＾に、ｋ枚目の画像で遮蔽されている特徴点をゼロに置き換えたものである。

一方、以下の式（１１）により、式（３）を水平方向、つまり、画像単位に分割することが出来る。ここで、画像別特徴点観測データＸ^ｋ、画像別形状変換Ｓ^Ｋ、画像別ノイズＵ^Ｋは、特徴点観測データＸ、形状変換Ｓ、ノイズＵを画像ｋの要素の行について抽出した行列である。

同様に、以下の式（１２）により、式（７）を画像単位に分割することができる。

式（１２）を用いて、最小自乗法により、各画像ｋについての画像別推定形状変換Ｓ＾^ｋが得られる。この段階で、推定した形状変換が直交となるよう拘束するために、式（１３）により、画像別推定形状変換Ｓ＾^ｋを直交化させたものに置き換える。これは、同じ被写体については顔の向きに関わらず、同じ被写体についてはどの画像（顔の向き）でも三次元における特徴点間の位置関係がほぼ変化しないため、形状変換が、拡大・縮小を行わず、上下方向の回転及び左右方向の回転の組み合わせのみを行うものと仮定できることによる。

なお、式（１３）における画像別推定直交化形状変換Ｑ＾^ｋが、直交化した画像別推定形状変換Ｓ＾^ｋである。画像別推定直交化形状変換Ｑ＾^ｋは、直交であるため、以下の式（１４）が成り立つ。

ここでは、Ｉ_２は２×２の単位行列である。また、画像別推定直交化形状変換Ｑ＾^Ｋの拡大縮小率は、画像別推定形状変換Ｓ＾^Ｋのものと等しいため、以下の式（１５）が成り立つ。

上記により推定された各画像ｋに対する画像別推定直交化形状変換Ｑ＾^ｋを行列の列方向に並べることにより、式（３）における形状変換Ｓに置き換えることが可能な推定直交化形状変換Ｑ＾を、以下の式（１６）により求める。なお、行列Ｖはノイズである。

（ｂ）特徴点毎の三次元モデルの推定；
次に、特徴点ごとに問題を分割して、三次元モデルを推定する。そこで、ｊ番目の特徴点について、新しい特徴点別推定直交化形状変換Ｑ＾_ｊを定義する。これは、以下の式（１７）のように、元の推定直交化形状変換Ｑ＾に、j番目の特徴点が遮蔽されている画像ｋのデータをゼロに置き換えたものである。

ここで、ｍ∈｛２ｋ，２ｋ＋１｝である。そして式（１６）を、以下の式（１８）を垂直方向、つまり、特徴点毎に分割することが出来る。ここで、特徴点別特徴点観測データＸ_ｊ、特徴点別推定三次元形状モデルＭ＾_ｊ、特徴点別ノイズＵ_ｊは、特徴点観測データＸ、推定三次元形状モデルＭ＾、ノイズＵを特徴点ｊの列の要素について抽出した行列である。

同様に式（８）を以下の式（１９）のように分割することが出来る。

式（１９）を用いて、最小自乗法により、各特徴点ｊについての特徴点別推定三次元形状モデルＭ＾_ｊが得られる。こうして得られた各特徴点ｊについて特徴点別推定三次元形状モデルＭ＾_ｊを行方向に並べることができる。すると式（１６）が以下の式（２０）のようになる。ここで行列Ｗもまたノイズである。

（ｃ）繰り返し処理；
手順（ａ）に戻り、手順（ａ）及び手順（ｂ）を繰り返し、繰り返しが終了したときの推定三次元形状モデルＭ＾を、被写体における特徴点の三次元位置を示す推定値とする。

［２．３ 三次元形状推定装置１ａの処理手順］
次に、上記のアルゴリズムを用いた三次元形状推定装置１ａの動作について説明する。図６は、三次元形状推定装置１ａの処理手順を示すフローチャートである。

（ステップＳ２１）上述した第１の実施形態におけるステップＳ１１と同様に、三次元形状推定装置１ａの入力部２は、特徴点観測データ（図３（ｂ）参照）の入力を受け、観測情報記憶部３１に書き込む。ただし、動画を構成する各フレームまたは複数の各静止画における複数の特徴点はすべて見えていない場合があり、見えていない特徴点については、例えば、データが入力されないか、あるいは、０等の特徴点が見えないことを示す情報が入力される。つまり、Ｋ枚の各フレームまたは各静止画に登場する人物の顔における複数（最大Ｊ個）の特徴点それぞれの二次元座標値が特徴点観測データＸとして入力される。

（ステップＳ２２）次に、入力部２は、ジェネリックな顔の三次元モデルにおけるＪ個の特徴点それぞれの三次元座標値のデータ、すなわち、三次元形状モデルＭ＾（０）のデータ（図２（ｂ）参照）の入力を受ける。初期化部４は、入力された三次元形状モデルＭ＾（０）を、被写体の推定三次元形状モデルＭ＾の初期値として、推定三次元形状モデル記憶部３２に書き込む。

（ステップＳ２３）変換推定部５ａの画像単位分割部５１は、推定三次元形状モデル記憶部３２に記憶されている推定三次元形状モデルＭ＾と、観測情報記憶部３１に記憶されている特徴点観測データＸを読み出す。そして、式（１０）を用いて、ｋ（０≦ｋ＜Ｋ）枚目の入力動画フレームまたは静止画それぞれについて、読み出した推定三次元形状モデルＭ＾から、ｋ枚目の画像で遮蔽されている特徴点をゼロに置き換えた新しい推定三次元形状モデルＭ＾^０〜Ｍ＾^{（Ｋ−１）}を生成する。どの画像において、どの特徴点が遮蔽されているかについては、特徴点観測データＸとしてデータが入力されなかったか、あるいは、入力された特徴点観測データＸに、特徴点が見えないことを示す情報が設定されていることから判断することができる。さらに、画像単位分割部５１は、特徴点観測データＸから、各画像ｋ（０≦ｋ＜Ｋ）についての行を抽出した特徴点観測データＸ^０〜Ｘ^{（Ｋ−１）}を生成する。

（ステップＳ２４）変換推定部５ａは、以下のステップＳ２４−１〜Ｓ２４−３により、各画像について推定した形状変換を算出する。

（ステップＳ２４−１）画像別変換推定部５２は、各画像ｋ（０≦ｋ＜Ｋ）について、ステップＳ２３において生成した画像別推定三次元形状モデルＭ＾^ｋと、画像別特徴点観測データＸ^ｋを用い、式（１２）に従って、最小自乗法より画像別推定形状変換Ｓ＾^ｋを算出する。
（ステップＳ２４−２）続いて、直交拘束部５３は、式（１３）に従って、ステップＳ２４−１により算出された画像別推定形状変換Ｓ＾^ｋを直交拘束し、画像別推定直交化形状変換Ｑ＾^ｋを算出する。

（ステップＳ２５）形状変換行列統合部５４は、ステップＳ２４−２により算出された各画像毎の画像別推定直交化形状変換Ｑ＾^０〜Ｑ＾^{（Ｋ−１）}を、行方向に順に並べて生成した行列により、推定形状変換行列記憶部３３に保持されている推定直交化形状変換Ｑ＾を更新する。

（ステップＳ２６）形状推定部６ａの特徴点単位分割部６１は、推定三次元形状モデル記憶部３２からステップＳ２５において更新された推定直交化形状変換Ｑ＾と、観測情報記憶部３１に記憶されている特徴点観測データＸを読み出す。そして、特徴点観測データＸを参照して、どの画像において、どの特徴点が遮蔽されているかを判断すると、式（１７）を用い、読み出した推定直交化形状変換Ｑ＾から、ｊ番目の特徴点が遮蔽している画像ｋのデータをゼロに置き換えた新しい特徴点別推定直交化形状変換Ｑ＾_０〜Ｑ＾_{（Ｊ−１）}を生成する。さらに、特徴点単位分割部６１は、特徴点観測データＸから、各特徴点ｊ（０≦ｊ＜Ｊ）について抽出した特徴点別特徴点観測データＸ_０〜Ｘ_{（Ｊ−１）}を生成する。

（ステップＳ２７）特徴点別形状推定部６２は、各特徴点ｊ（０≦ｊ＜Ｊ）について、ステップＳ２６において生成した特徴点別推定三次元形状モデルＭ＾_ｊと、特徴点別特徴点観測データＸ_ｊを用い、式（１９）に従って、最小自乗法より特徴点別推定三次元形状モデルＭ＾_ｊを算出する。

（ステップＳ２８）三次元形状モデル統合部６３は、ステップＳ２７により算出された特徴点別推定三次元形状モデルＭ＾_０〜Ｍ＾_{（Ｊ−１）}を、列方向に順に並べて生成した行列により、推定三次元形状モデル記憶部３２に保持されている推定三次元形状モデルＭ＾を更新する。

制御部７は、は、ステップＳ２３〜ステップＳ２８の処理を繰り返すよう制御する。そして、所定の終了条件に合致したと判断した場合、例えば、‖Ｘ−Ｑ＾Ｍ＾‖^２について、前回算出したときの値との差分を算出し、その差分が所定の閾値以下になった場合に繰り返し処理を終了する。出力部８は、繰り返し処理を終了したときに推定三次元形状モデル記憶部３２に記憶されている推定三次元形状モデルＭ＾を、被写体における特徴点の三次元位置の推定結果として出力する。

［３．効果］
上述した実施形態による三次元形状推定装置は、動画または静止画の集合から観測された二次元の特徴点データを示す行列の因数行列を推定することにより、(１)カメラに対する被写体の顔の向きと（変換形状）、(２)当該被写体の顔上の特徴点の三次元位置とを交互に推定する。
従来の技術では、特徴点データ行列の特異値分解（ＳＶＤ）により（１）と（２）を同時に推定していたが、一部の動画フレームまたは静止画に、一部の特徴点が遮蔽されている（観測データが無い）場合には、ＳＶＤをそのまま使えず、同一特徴点が可視であるデータの一部のみからＳＶＤを計算し、残りのデータまで段々解を拡張する必要があったため、画像を選択した順序によって結果が若干異なり、後処理にて修正する必要があった。
一方、本実施形態による三次元形状推定装置では、（１）と（２）を交互に繰り返して推定する。そして、計算を動画フレームまたは静止画ごとに分割して変換形状を、そして特徴点ごとに分割して被写体の顔上の特徴点の三次元位置を算出することにより、毎回すべての入力特徴点データを一括に使用することが出来、唯一の解に収束する。そのため、解を後処理で修正する必要が無い。また、実験の結果、ノイズがある場合でも、少ない繰り返し回数で解が収束することがわかった。

このように、本実施形態によれば、手入力された、または特徴点追跡システム等の他のシステムにより入力された、動画または静止画の集合に複数の顔の向きにより登場した人物の顔における複数の特徴点の二次元座標値のデータから、ノイズと特徴点の遮蔽に対して頑健かつ精確に、当該登場人物の顔上の特徴点の三次元形状モデルを推定することができる。また、変換の推定にあたっては画像毎に分割して推定を行い、三次元形状モデルの推定にあたっては特徴点毎に分割して推定を行なうため、計算処理が簡易であり、また、繰り返し回数が多くなくとも解が収束する。

［４．その他］
なお、上述の三次元形状推定装置１及び１ａは、内部にコンピュータシステムを有している。そして、三次元形状推定装置１の初期化部４、変換推定部５、形状推定部６、及び、制御部７、ならびに、三次元形状推定装置１の初期化部４、変換推定部５ａ、形状推定部６ａ、及び、制御部７の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

本発明の第一の実施形態による三次元形状推定装置のブロック図である。 顔のジェネリックな三次元モデルにおける特徴点と、特徴点の三次元座標値を示すデータの例を示す図である。 複数の画像に写っている被写体の顔上の特徴点と、特徴点観測データの例を示す図である。 図１に示す三次元形状推定装置の処理手順を示すフローチャートである。 本発明の第二の実施形態による三次元形状推定装置のブロック図である。 図５に示す三次元形状推定装置の処理手順を示すフローチャートである。

符号の説明

１，１ａ…三次元形状推定装置
２…入力部
３…記憶部
３１…観測情報記憶部
３２…推定三次元形状モデル記憶部
３３…推定形状変換行列記憶部
４…初期化部
５、５ａ…変換推定部
５１…画像単位分割部
５２…画像別変換推定部
５３…直交拘束部
５４…形状変換行列統合部
６、６ａ…形状推定部
６１…特徴点単位分割部
６２…特徴点別形状推定部
６３…三次元形状モデル統合部
７…制御部
８…出力部

Claims (4)

1. 複数の画像各々における被写体上の各特徴点の位置を二次元座標値で表わした特徴点観測情報の入力を受け、観測情報記憶部に書き込む入力部と、
   前記各特徴点の推定された三次元位置を三次元座標値で表わした推定三次元形状モデルを、予め決められた所定のジェネリックモデルにおける各特徴点の三次元座標値により初期化して推定三次元形状モデル記憶部に書き込む初期化部と、
   前記観測情報記憶部から読み出した前記特徴点観測情報と、前記推定三次元形状モデル記憶部から読み出した前記推定三次元形状モデルとに基づき、形状変換行列の推定値を算出し、該算出された推定値により推定形状変換行列記憶部を更新する変換推定部と、
   前記観測情報記憶部から読み出した前記特徴点観測情報と、前記推定形状変換行列記憶部から読み出した前記形状変換行列の推定値とに基づき、推定三次元形状モデルを算出し、該算出された推定三次元形状モデルにより前記推定三次元形状モデル記憶部を更新する形状推定部と、
   前記変換推定部による前記推定形状変換行列記憶部の更新と、前記形状推定部による前記推定三次元形状モデル記憶部の更新とを交互に繰り返すよう制御する制御部と、
   を具備し、
   前記変換推定部は、
   前記観測情報記憶部から読み出した前記特徴点観測情報、及び、前記推定三次元形状モデル記憶部から読み出した前記推定三次元形状モデルを画像別に分割する画像単位分割部と、
   前記画像単位分割部によって画像別に分割された前記特徴点観測情報及び前記推定三次元形状モデルに基づいて、画像ごとの形状変換部分行列の推定値を算出する画像別変換推定部と、
   前記画像別変換推定部によって算出された画像ごとの前記形状変換部分行列の推定値を統合して前記形状変換行列の推定値を得て、該得られた推定値により前記推定形状変換行列記憶部を更新する形状変換行列統合部と、
   を具備し、
   前記形状推定部は、
   前記観測情報記憶部から読み出した前記特徴点観測情報、及び、前記推定形状変換行列記憶部から読み出した前記形状変換行列の推定値を特徴点別に分割する特徴点単位分割部と、
   前記特徴点単位分割部によって特徴点別に分割された前記特徴点観測情報及び前記形状変換行列の推定値に基づいて、特徴点ごとの推定三次元形状モデルの部分行列を算出する特徴点別形状推定部と、
   前記特徴点別形状推定部によって算出された特徴点ごとの前記推定三次元形状モデルの部分行列を統合して前記推定三次元形状モデルを得て、該得られた推定三次元形状モデルにより前記推定三次元形状モデル記憶部を更新する三次元形状モデル統合部と、
   を具備する、
   ことを特徴とする三次元形状推定装置。
2. 前記画像単位分割部は、
   前記特徴点観測情報により前記各画像において遮蔽されている前記特徴点を特定し、画像別に分割した前記推定三次元形状モデルそれぞれについて、当該画像において遮蔽されている前記特徴点に対応する行列要素を０に置き換え、
   前記特徴点単位分割部は、
   前記特徴点観測情報により前記各画像において遮蔽されている前記特徴点を特定し、特徴点別に分割した前記形状変換行列の推定値それぞれについて、当該特徴点が遮蔽されている前記画像に対応する行列要素を０に置き換える、
   ことを特徴とする請求項１に記載の三次元形状推定装置。
3. 前記変換推定部は、前記画像別変換推定部により算出された画像ごとの形状変換部分行列の推定値を直交拘束する直交拘束部をさらに具備し、
   前記形状変換行列統合部は、前記直交拘束部によって直交拘束された後の前記推定値を統合して前記形状変換行列の推定値を得て、該得られた推定値により前記推定形状変換行列記憶部を更新する、
   ことを特徴とする請求項１または請求項２に記載の三次元形状推定装置。
4. 被写体の顔モデルを推定する三次元形状推定装置として用いられるコンピュータを、
   複数の画像各々における被写体上の各特徴点の位置を二次元座標値で表わした特徴点観測情報の入力を受け、観測情報記憶部に書き込む入力部、
   前記各特徴点の推定された三次元位置を三次元座標値で表わした推定三次元形状モデルを、予め決められた所定のジェネリックモデルにおける各特徴点の三次元座標値により初期化して推定三次元形状モデル記憶部に書き込む初期化部、
   前記観測情報記憶部から読み出した前記特徴点観測情報と、前記推定三次元形状モデル記憶部から読み出した前記推定三次元形状モデルとに基づき、形状変換行列の推定値を算出し、該算出された推定値により推定形状変換行列記憶部を更新する変換推定部、
   前記観測情報記憶部から読み出した前記特徴点観測情報と、前記推定形状変換行列記憶部から読み出した前記形状変換行列の推定値とに基づき、推定三次元形状モデルを算出し、該算出された推定三次元形状モデルにより前記推定三次元形状モデル記憶部を更新する形状推定部、
   前記変換推定部による前記推定形状変換行列記憶部の更新と、前記形状推定部による前記推定三次元形状モデル記憶部の更新とを交互に繰り返すよう制御する制御部、
   として機能させ、
   前記変換推定部を、
   前記観測情報記憶部から読み出した前記特徴点観測情報、及び、前記推定三次元形状モデル記憶部から読み出した前記推定三次元形状モデルを画像別に分割する画像単位分割部、
   前記画像単位分割部によって画像別に分割された前記特徴点観測情報及び前記推定三次元形状モデルに基づいて、画像ごとの形状変換部分行列の推定値を算出する画像別変換推定部、
   前記画像別変換推定部によって算出された画像ごとの前記形状変換部分行列の推定値を統合して前記形状変換行列の推定値を得て、該得られた推定値により前記推定形状変換行列記憶部を更新する形状変換行列統合部、
   として機能させ、
   前記形状推定部を、
   前記観測情報記憶部から読み出した前記特徴点観測情報、及び、前記推定形状変換行列記憶部から読み出した前記形状変換行列の推定値を特徴点別に分割する特徴点単位分割部、
   前記特徴点単位分割部によって特徴点別に分割された前記特徴点観測情報及び前記形状変換行列の推定値に基づいて、特徴点ごとの推定三次元形状モデルの部分行列を算出する特徴点別形状推定部、
   前記特徴点別形状推定部によって算出された特徴点ごとの前記推定三次元形状モデルの部分行列を統合して前記推定三次元形状モデルを得て、該得られた推定三次元形状モデルにより前記推定三次元形状モデル記憶部を更新する三次元形状モデル統合部、
   として機能させる、
   ことを特徴とするコンピュータプログラム。

Images