JP3414683B2 - 対象物の表面動き測定方法および装置、ならびに当該方法を実現するようコンピュータを動作させるためのプログラムを記憶したコンピュータ読取可能な記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は人物の表情を測定
する処理に関し、特に、ビデオカメラ等から得られた画
像中の人物の表情をリアルタイムで測定するための画像
認識の分野に関する。

【０００２】

【従来の技術】人間の間のコミュニケーション手段とし
て、人物の顔の表情というのは非常に重要である。同様
に、いわゆるマン−マシンインタフェースにおいても人
物の表情は非常に大きな意味を持つ。

【０００３】人物の表情は、人と人とが相対面して会話
するときには様々なレベルの情報を伝達する。伝達され
る情報は、その人の感情の状態、会話における立場を含
み、さらに発話中には、発声される言語音に関する音声
上の特徴などに関する豊富な情報を含む。

【０００４】従来、ビデオ画像から人物の表情を分析す
るための試みが様々になされて来たが、ほとんどは定量
的な評価を用いないものか、定量的な評価をしたとして
も予め定められた非常に限定された顔の特徴に関する限
定された定量的評価しか用いないものであった。もちろ
んそうした従来技術を用いても有用な結果を得ることは
できるが、従来技術によればフレームごとに煩雑な検査
をすることが必要であり、しかもたとえば人物の表情の
動的属性を符号化することを考えた場合、十分に正確に
表情の動きを測定することはできない。

【０００５】一方、人物の顔に直接張り付けたマーカを
追跡することで、人物の顔の各部位の三次元的位置を正
確に測定するための技術も存在している。しかしこうし
た技術は以下のような欠点を有する。

【０００６】（１） 測定のための機器が専用のもので
あって汎用性がなく、用途が限定されている。また、顔
に直接マーカを張り付けるという、被験者にとっては不
愉快な作業が必要なため、被験者の協力が不可欠であ
る。さらに、この方法は設備が完備した場所、たとえば
研究室内では使用できるが、一旦外部に出ればほとんど
不可能である。

【０００７】（２） 人物の顔にマーカを取り付けるこ
とが可能な位置の数が限定されるので、どの箇所にマー
カを取り付ければ最も効率良く正確な測定ができるかを
知る必要がある。しかし現在のところ、どこにマーカを
取り付けることが最適かについて知る方法はない。

【０００８】

【発明が解決しようとする課題】人物の表情を測定する
もう一つのアプローチは、人物の顔のビデオ画像から表
情を定量的に表す情報を得ることである。ビデオ撮影は
撮影機器さえあれば可能であり、人物の顔にマーカを付
す必要もないので、上記した従来技術にまつわる問題を
解消することが可能である。

【０００９】しかし、ビデオ画像を用いたアプローチで
は、撮影時に３次元情報を２次元情報に変換することに
よる画像の歪み、空間的解像度が低いこと、および照明
状態による効果が非線形的であること、など多くの問題
がある。また、こうした問題は人物の表情を測定する上
で重要なことではあるが、人物以外の対象物の表面の動
き、たとえば人物以外の動物の表情、物体の歪み、など
の定量的な測定においても重要であり、これらにおいて
も同様の問題の解決が望まれる。

【００１０】それゆえに本発明の目的は、ビデオ画像か
ら、信頼性高くかつリアルタイムで人物などの対象物の
表面の動きに関する定量的な情報を抽出することができ
る表面動き測定装置、そのための方法および当該方法を
コンピュータを用いて実現するためのプログラムを記録
した記録媒体を提供することである。

【００１１】この発明の他の目的は、ビデオ画像から、
信頼性高くかつリアルタイムで対象物の表面の各部位の
移動に関する定量的な情報を抽出することができる表面
動き測定装置、そのための方法および当該方法をコンピ
ュータを用いて実現するためのプログラムを記録した記
録媒体を提供することである。

【００１２】この発明のさらに他の目的は、ビデオ画像
から、対象物の表面のどの部位に関しても信頼性高くか
つリアルタイムでその移動に関する定量的な情報を抽出
することができる表面動き測定装置、そのための方法お
よび当該方法をコンピュータを用いて実現するためのプ
ログラムを記録した記録媒体を提供することである。

【００１３】

【課題を解決するための手段】請求項１に記載の発明に
かかる表面動き測定方法は、先行する第１の画像フレー
ムおよび第１の画像フレームより後の第２の画像フレー
ムを含む、対象物の画像フレームのシーケンスから、対
象物の表面の各部位の動きを測定するための表面動き測
定方法であって、相互の隣接関係が定められた複数個の
ノードを含むメッシュモデルによって第１の画像フレー
ムの画像内の対象物の表面の各部位の位置を表現するス
テップと、予め定められた複数通りの解像度で第１の画
像フレームの画像および第２の画像フレームの画像を各
々複数個のサブバンド画像に変換するステップと、メッ
シュモデルから、メッシュモデルのノード密度より低
く、かつ互いに異なるノード密度を有する複数個の粗メ
ッシュモデルを生成するステップと、複数個の粗メッシ
ュモデルは、それぞれ複数個のサブバンド画像と対応付
けられており、第１の画像フレームおよび第２の画像フ
レームの各々の複数個のサブバンド画像に対してそれぞ
れ複数個の粗メッシュモデルのうちの対応するものを重
ねたオーバレイ画像を得るステップと、第１の画像フレ
ームおよび第２の画像フレームの、それぞれ対応するサ
ブバンド画像から得られたオーバレイ画像のテクスチャ
マップのクロス相関を計算することにより、第２の画像
フレームのメッシュモデルの各ノードと、第１の画像フ
レームのメッシュモデルの各ノードとを対応付け、各ノ
ードの第１の画像フレームから第２の画像フレームの間
の相対的位置変化を算出するステップとを含む。

【００１４】請求項１に記載の発明によれば、サブバン
ド画像の異なるレベルごとに、対応する粗メッシュモデ
ルを用いて第２の画像フレームの各ノードと、第１の画
像フレームの各ノードとの対応関係が得られる。このと
き、サブバンド画像と粗メッシュモデルのノード密度が
対応しているために、顔の各部位について大きな動きは
最も低いノード密度の粗メッシュモデルで位置を算出で
き、より細かい動きについてはより高いノード密度の粗
メッシュモデルで位置を算出できる。その結果、動きの
大小にかかわらず画像フレームから対象物の表面部位の
動きを算出することができる表面動き測定方法を提供で
きる。

【００１５】請求項２に記載の発明にかかる表面動き測
定方法は、請求項１に記載の発明の構成に加えて、算出
するステップは、第１の画像フレームおよび第２の画像
フレームの、第１のサブバンド画像から得られたオーバ
レイ画像のテクスチャマップのクロス相関計算を行なう
ことにより、第２の画像フレームの第１のサブバンド画
像に対応する第１の粗メッシュモデルの各ノードと、第
１の画像フレームの第１のサブバンド画像に対応する第
１の粗メッシュモデルの各ノードとを対応付け、第１の
粗メッシュモデルの各ノードの第１の画像フレームから
第２の画像フレームの間の相対的位置変化を算出するス
テップと、第２の画像フレームの、第１の粗メッシュモ
デルよりも高いノード密度を有する第２の粗メッシュモ
デルに対して、第１の粗メッシュモデルの各ノードの位
置変化に応じた変形を行なうステップと、第２の粗メッ
シュモデルは、第１のサブバンド画像よりも高い空間周
波数を有する第２のサブバンド画像に対応するものであ
り、第１の画像フレームおよび第２の画像フレームの、
第２のサブバンド画像から得られたオーバレイ画像のテ
クスチャマップのクロス相関計算を行なうことにより、
第２の画像フレームの第１のサブバンド画像に対応する
第２の粗メッシュモデルの各ノードと、第１の画像フレ
ームの第２のサブバンド画像に対応する第２の粗メッシ
ュモデルの各ノードとを対応付け、第２の粗メッシュモ
デルの各ノードの第１の画像フレームから第２の画像フ
レームの間の相対的位置変化を算出するステップとを含
む。

【００１６】請求項２に記載の発明によれば、請求項１
に記載の発明の作用に加えて、低いノード密度の粗メッ
シュモデルを用いて得られた第２の画像フレームの画像
の各部位の動きにより、より高い密度の粗メッシュモデ
ルを用いた各部位の動きの算出時の初期の粗メッシュモ
デルの各ノードのおおまかな位置を推定し予め変形でき
る。そのため、この高い密度の粗メッシュモデルを用い
て行なうクロス相関における計算量が減少し、高速に各
部位の位置を算出することができる。

【００１７】請求項３に記載の発明にかかるコンピュー
タ読取可能な記録媒体は、先行する第１の画像フレーム
および第１の画像フレームより後の第２の画像フレーム
を含む、対象物の画像フレームのシーケンスから、対象
物の表面の各部位の動きを測定するための表面動き測定
方法を実現するようコンピュータを動作させるためのプ
ログラムを記憶した、コンピュータ読取可能な記録媒体
であって、表面動き測定方法は、相互の隣接関係が定め
られた複数個のノードを含むメッシュモデルによって第
１の画像フレームの画像内の対象物の表面の各部位の位
置を表現するステップと、予め定められた複数通りの解
像度で第１の画像フレームの画像および第２の画像フレ
ームの画像を各々複数個のサブバンド画像に変換するス
テップと、メッシュモデルから、メッシュモデルのノー
ド密度より低く、かつ互いに異なるノード密度を有する
複数個の粗メッシュモデルを生成するステップと、複数
個の粗メッシュモデルは、それぞれ複数個のサブバンド
画像と対応付けられており、第１の画像フレームおよび
第２の画像フレームの各々の複数個のサブバンド画像に
対してそれぞれ複数個の粗メッシュモデルのうちの対応
するものを重ねたオーバレイ画像を得るステップとを含
む。

【００１８】請求項３に記載の発明によれば、サブバン
ド画像の異なるレベルごとに、対応する粗メッシュモデ
ルを用いて第２の画像フレームの各ノードと、第１の画
像フレームの各ノードとの対応関係が得られる。このと
き、サブバンド画像と粗メッシュモデルのノード密度が
対応しているために、顔の各部位について大きな動きは
最も低いノード密度の粗メッシュモデルで位置を算出で
き、より細かい動きについてはより高いノード密度の粗
メッシュモデルで位置を算出できる。その結果、動きの
大小にかかわらず画像フレームから対象物の表面部位の
動きを算出することができるコンピュータ読取可能な記
録媒体を提供できる。

【００１９】請求項４に記載の発明にかかるコンピュー
タ読取可能な記録媒体は、請求項３に記載の発明の構成
に加えて、算出するステップは、第１の画像フレームお
よび第２の画像フレームの、第１のサブバンド画像から
得られたオーバレイ画像のテクスチャマップのクロス相
関計算を行なうことにより、第２の画像フレームの第１
のサブバンド画像に対応する第１の粗メッシュモデルの
各ノードと、第１の画像フレームの第１のサブバンド画
像に対応する第１の粗メッシュモデルの各ノードとを対
応付け、第１の粗メッシュモデルの各ノードの第１の画
像フレームから第２の画像フレームの間の相対的位置変
化を算出するステップと、第２の画像フレームの、第１
の粗メッシュモデルよりも高いノード密度を有する第２
の粗メッシュモデルに対して、第１の粗メッシュモデル
の各ノードの位置変化に応じた変形を行なうステップ
と、第２の粗メッシュモデルは、第１のサブバンド画像
よりも高い空間周波数を有する第２のサブバンド画像に
対応するものであり、第１の画像フレームおよび第２の
画像フレームの、第２のサブバンド画像から得られたオ
ーバレイ画像のテクスチャマップのクロス相関計算を行
なうことにより、第２の画像フレームの第１のサブバン
ド画像に対応する第２の粗メッシュモデルの各ノード
と、第１の画像フレームの第２のサブバンド画像に対応
する第２の粗メッシュモデルの各ノードとを対応付け、
第２の粗メッシュモデルの各ノードの第１の画像フレー
ムから第２の画像フレームの間の相対的位置変化を算出
するステップとを含む。

【００２０】請求項４に記載の発明によれば、請求項３
に記載の発明の作用に加えて、低いノード密度の粗メッ
シュモデルを用いて得られた第２の画像フレームの画像
の各部位の動きにより、より高い密度の粗メッシュモデ
ルを用いた各部位の動きの算出時の初期の粗メッシュモ
デルの各ノードのおおまかな位置を推定し予め変形でき
る。そのため、この高い密度の粗メッシュモデルを用い
て行なうクロス相関における計算量が減少し、高速に各
部位の位置を算出することができる。

【００２１】請求項５に記載の発明にかかる表面動き測
定装置は、先行する第１の画像フレームおよび第１の画
像フレームより後の第２の画像フレームを含む、対象物
の画像フレームのシーケンスから、対象物の表面の各部
位の動きを測定するための表面動き測定装置であって、
相互の隣接関係が定められた複数個のノードを含むメッ
シュモデルによって第１の画像フレームの画像内の対象
物の表面の各部位の位置を表現するための手段と、予め
定められた複数通りの解像度で第１の画像フレームの画
像および第２の画像フレームの画像を各々複数個のサブ
バンド画像に変換するための手段と、メッシュモデルか
ら、メッシュモデルのノード密度より低く、かつ互いに
異なるノード密度を有する複数個の粗メッシュモデルを
生成するための手段と、複数個の粗メッシュモデルは、
それぞれ複数個のサブバンド画像と対応付けられてお
り、第１の画像フレームおよび第２の画像フレームの各
々の複数個のサブバンド画像に対してそれぞれ複数個の
粗メッシュモデルのうちの対応するものを重ねたオーバ
レイ画像を得るための手段と、第１の画像フレームおよ
び第２の画像フレームの、それぞれ対応するサブバンド
画像から得られたオーバレイ画像のテクスチャマップの
クロス相関を計算することにより、第２の画像フレーム
のメッシュモデルの各ノードと、第１の画像フレームの
メッシュモデルの各ノードとを対応付け、各ノードの第
１の画像フレームから第２の画像フレームの間の相対的
位置変化を算出するための手段とを含む。

【００２２】請求項５に記載の発明によれば、サブバン
ド画像の異なるレベルごとに、対応する粗メッシュモデ
ルを用いて第２の画像フレームの各ノードと、第１の画
像フレームの各ノードとの対応関係が得られる。このと
き、サブバンド画像と粗メッシュモデルのノード密度が
対応しているために、顔の各部位について大きな動きは
最も低いノード密度の粗メッシュモデルで位置を算出で
き、より細かい動きについてはより高いノード密度の粗
メッシュモデルで位置を算出できる。その結果、動きの
大小にかかわらず画像フレームから対象物の表面部位の
動きを算出することができる表面動き測定装置を提供で
きる。

【００２３】請求項６に記載の発明にかかる表面動き測
定装置は、請求項５に記載の発明の構成に加えて、算出
するための手段は、第１の画像フレームおよび第２の画
像フレームの、第１のサブバンド画像から得られたオー
バレイ画像のテクスチャマップのクロス相関計算を行な
うことにより、第２の画像フレームの第１のサブバンド
画像に対応する第１の粗メッシュモデルの各ノードと、
第１の画像フレームの第１のサブバンド画像に対応する
第１の粗メッシュモデルの各ノードとを対応付け、第１
の粗メッシュモデルの各ノードの第１の画像フレームか
ら第２の画像フレームの間の相対的位置変化を算出する
ための手段と、第２の画像フレームの、第１の粗メッシ
ュモデルよりも高いノード密度を有する第２の粗メッシ
ュモデルに対して、第１の粗メッシュモデルの各ノード
の位置変化に応じた変形を行なうための手段と、第２の
粗メッシュモデルは、第１のサブバンド画像よりも高い
空間周波数を有する第２のサブバンド画像に対応するも
のであり、第１の画像フレームおよび第２の画像フレー
ムの、第２のサブバンド画像から得られたオーバレイ画
像のテクスチャマップのクロス相関計算を行なうことに
より、第２の画像フレームの第１のサブバンド画像に対
応する第２の粗メッシュモデルの各ノードと、第１の画
像フレームの第２のサブバンド画像に対応する第２の粗
メッシュモデルの各ノードとを対応付け、第２の粗メッ
シュモデルの各ノードの第１の画像フレームから第２の
画像フレームの間の相対的位置変化を算出するための手
段とを含む。

【００２４】請求項６に記載の発明によれば、請求項５
に記載の発明の作用に加えて、低いノード密度の粗メッ
シュモデルを用いて得られた第２の画像フレームの画像
の各部位の動きにより、より高い密度の粗メッシュモデ
ルを用いた各部位の動きの算出時の初期の粗メッシュモ
デルの各ノードのおおまかな位置を推定し予め変形でき
る。そのため、この高い密度の粗メッシュモデルを用い
て行なうクロス相関における計算量が減少し、高速に各
部位の位置を算出することができる。

【００２５】

【発明の実施の形態】以下、本発明の実施の形態１にか
かる表情測定装置について説明する。この表情測定装置
は、パーソナルコンピュータまたはワークステーション
等、コンピュータ上で実行されるソフトウェアにより実
現されるものであって、人物の顔のビデオ画像から、人
物の顔の各部の動き（表情）を測定するためのものであ
る。図１に、この表情測定装置の外観を示す。

【００２６】図１を参照してこのシステム２０は、ＣＤ
−ＲＯＭ（Compact Disc Read-OnlyMemory ）ドライブ
５０およびＦＤ（Flexible Disk ）ドライブ５２を備え
たコンピュータ本体４０と、コンピュータ本体４０に接
続された表示装置としてのディスプレイ４２と、同じく
コンピュータ本体４０に接続された入力装置としてのキ
ーボード４６およびマウス４８と、コンピュータ本体４
０に接続された、画像を取込むためのビデオカメラ３０
とを含む。この実施の形態の装置では、ビデオカメラ３
０としてはＣＣＤ（固体撮像素子）を含むビデオカメラ
を用い、ビデオカメラ３０の前の人物の表情を測定する
処理を行うものとする。

【００２７】図２に、このシステム２０の構成をブロッ
ク図形式で示す。図２に示されるようにこのシステム２
０を構成するコンピュータ本体４０は、ＣＤ−ＲＯＭド
ライブ５０およびＦＤドライブ５２に加えて、それぞれ
バス６６に接続されたＣＰＵ（Central Processing Uni
t ）５６と、ＲＯＭ（Read Only Memory) ５８と、RAM
（Random Access Memory）６０と、ハードディスク５４
と、ビデオカメラ３０からの画像を取込むための画像取
込装置６８とを含んでいる。ＣＤ−ＲＯＭドライブ５０
にはＣＤ−ＲＯＭ６２が装着される。ＦＤドライブ５２
にはＦＤ６４が装着される。

【００２８】既に述べたようにこの表情測定装置の主要
部は、コンピュータハードウェアと、ＣＰＵ５６により
実行されるソフトウェアとにより実現される。一般的に
こうしたソフトウェアはＣＤ−ＲＯＭ６２、ＦＤ６４等
の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ
５０またはＦＤドライブ５２等により記憶媒体から読取
られてハードディスク５４に一旦格納される。または、
当該装置がネットワークに接続されている場合には、ネ
ットワーク上のサーバから一旦ハードディスク５４に一
旦コピーされる。そうしてさらにハードディスク５４か
らＲＡＭ６０に読出されてＣＰＵ５６により実行され
る。なお、ネットワーク接続されている場合には、ハー
ドディスク５４に格納することなくＲＡＭ６０に直接ロ
ードして実行するようにしてもよい。

【００２９】図１および図２に示したコンピュータのハ
ードウェア自体およびその動作原理は一般的なものであ
る。したがって、本発明の最も本質的な部分はＦＤドラ
イブ５２、ＦＤ６４、ハードディスク５４等の記憶媒体
に記憶されたソフトウェアである。

【００３０】なお、最近の一般的傾向として、コンピュ
ータのオペレーティングシステムの一部として様々なプ
ログラムモジュールを用意しておき、アプリケーション
プログラムはこれらモジュールを所定の配列で必要な時
に呼び出して処理を進める方式が一般的である。そうし
た場合、当該表情測定装置を実現するためのソフトウェ
ア自体にはそうしたモジュールは含まれず、当該コンピ
ュータでオペレーティングシステムと協働してはじめて
表情測定装置が実現することになる。しかし、一般的な
プラットフォームを使用する限り、そうしたモジュール
を含ませたソフトウェアを流通させる必要はなく、それ
らモジュールを含まないソフトウェア自体およびそれら
ソフトウェアを記録した記録媒体（およびそれらソフト
ウェアがネットワーク上を流通する場合のデータ信号）
が実施の形態を構成すると考えることができる。

【００３１】上記したように、本願発明は実質的にはソ
フトウェア処理によって実現される。本実施の形態の装
置において人物の顔の動き（表情）を測定する処理を行
なうソフトウェアは以下のような制御構造を有する。

【００３２】図３を参照して、まずモーショントラッキ
ングのための種々の準備を実行する初期処理を行なう
（８０）。初期処理の内容に関しては図４を参照して後
述するが、特にここでは後の人物の顔の各部位の動きを
測定するための、人物の顔の基準画像が決定される。ま
たこの初期処理では、基準画像の顔領域にフィットす
る、メッシュが付与される楕円が決定される。初期処理
が完了した後、ビデオ画像の１フレームを取り込んでフ
レームごとの処理（モーショントラッキング）を行な
い、基準フレームに対する現フレームにおける人物の顔
の各部位を示す情報を出力する（８２）。続いてビデオ
画像の全フレームが終了したか否かを判定する（８
４）。フレームの入力がこれ以後なければ処理を終了
し、次のフレームがあれば再びステップ８２以下の処理
を繰返す。

【００３３】こうして、ステップ８２によって基準フレ
ームに対する現フレームの顔画像の各部位の動きを表す
情報が時系列的に得られる。入力されるフレームごとに
結果が得られるので、このシステムはリアルタイムにビ
デオ画像から人物の表情を測定する処理に適している。

【００３４】図４を参照して、図３のステップ８０で行
なわれる初期処理は以下の手順で実現される。まず、図
１に示すビデオカメラ３０からのビデオ画像の１フレー
ムが読込まれる（９０）。ここでは、予め撮影された画
像に対して処理を行なうものとし、ステップ９０ではこ
のうちの最初のいくつかのフレームが読込まれるものと
する。なお、ここで入力されるビデオ画像はどのような
フォーマットのものでもよく、またカラー画像でもグレ
ースケール画像でも同様の効果を得ることができる。

【００３５】ステップ９２では、これら読込まれたフレ
ームの中からどのフレームの画像を基準画像とするかが
決定される。このフレームの選択は、通常のコンピュー
タにおけるユーザインタラクションを用いてオペレータ
により行なわれる。ここで選択されたフレームを以下
「基準フレーム」と呼ぶ。基準フレームは、この後の分
析による顔の各部位の位置に対する基準となる。なお、
この実施の形態では基準フレームをオペレータが選択す
ることとしているが、何らかの基準を設けることによっ
て基準フレームを自動的に決定するようにしてもよい。

【００３６】次に、基準フレームの顔画像に対して、そ
の輪郭を決定する処理が行なわれる（９４）。本実施の
形態の装置では輪郭はオペレータによって、少なくとも
画像のうち４点を指定することによって決定される。５
点を指定した様子を図９に示す。図９において、指定さ
れた５点は周囲に黒い枠を付けた白抜きの「＋」印で表
されている。これら５点のうち２点は耳たぶ付近、他の
２点は画面の上端近く、最後の１点はあご先である。

【００３７】これらの点が指定されると、所定のアルゴ
リズムによってこれらの点に最もよくフィットする楕円
の中心が決定される（９６）。この処理にはDownhill s
implex minimization method（目標値との差を、制御対
象の属性（位置、大きさ、その他の属性一般）を決定す
るパラメータの関数として表し、このずれが最小となる
ようにパラメータを定める方法）を用いる。決定された
楕円の例を図１０に示す。

【００３８】この楕円は、その短軸の方向が両目の目尻
を結ぶ線の方向と一致するように整列される。このため
にステップ９８で目尻をマーキングする処理がオペレー
タにより行なわれる。このようにして楕円の両軸を決定
することにより、後述するメッシュモデルの方向が決定
される。またこのようにして顔領域を決定する場合、被
験者が変わっても一貫した結果を得ることができる。

【００３９】こうして初期の楕円の両軸を決定したの
ち、再度ステップ９６で行なった処理と類似の最適化法
によって楕円の角度、位置、大きさなどを最適化するた
めの微調整が行なわれる（１００）。この処理によっ
て、人物の顔領域とよく一致するようにその大きさと方
向とが決定された楕円が得られる。

【００４０】この段階でのアプローチには２つの主な特
徴がある。第１に、最終的に得られる楕円に対する、顔
の輪郭点のうちの特異的な点による影響が最低におさえ
られる。第２に、顔領域の一部が画面の外にはみ出して
いても、顔領域を正確に指定することができる。

【００４１】こうして顔領域にフィットする楕円が決定
されると、予め設定可能な一連の初期値と、基準画像の
顔領域から決定された楕円を特定するパラメータとを用
いて、３次元のメッシュモデルの初期値が計算される。
３次元メッシュモデルの例を図１１に示す。このメッシ
ュモデルは、３次元の回転楕円体の表面に分布するノー
ドの集合として定義される。各ノードは、楕円の表面上
に所定間隔でメッシュをなして配置されるものとする。
このメッシュモデルを顔画像に重畳して示したのが図１
２である。このメッシュモデルの各ノードの位置によっ
て、人物の顔の各部位の３次元位置が表される。

【００４２】この場合、最も留意すべきパラメータは、
各メッシュノードの間に平均していくつの画素を配置す
るか、ということである。この数によって、最終的に測
定される顔の各部位の位置の解像度が決定され、また後
述するウェーブレット変換によって分析が行なわれる空
間周波数の範囲が決定されるためである。

【００４３】以上によって、顔の各部位の動きを測定す
るための基本的準備は完了である。ただし、撮影に用い
られるビデオ画像の光学的パラメータ（焦点距離など）
によって画像には歪みが生じうるので、それらを補償す
るためにビデオカメラの射影幾何学的データを読込む
（１０２）。また、人物がその表情を変化させる際に
は、頭の動きを伴うのが通常である。頭が動くと、必然
的に顔領域も動くので、顔の各部位の動きを正確に測定
するためには頭の動きを測定し頭の動きによる顔領域の
動きを補償しなければならない。そのための頭の基準位
置をステップ１０４で読込む。なお頭の位置を測定する
ために、以下で説明する実施例では頭部にそのためのセ
ンサを装着している。しかしこの発明はそれには限定さ
れず、ビデオ画像から直接に頭部の動きを検出するよう
にしてもよい。

【００４４】さて、次に図３のステップ８２で行なわれ
る各フレームごとのモーショントラッキング処理につい
て説明する。このモーショントラッキング処理は、基本
的にはフレーム間の顔面の小部分の位置の変化をそれぞ
れ決定することにより１フレームずつ行なわれる。図５
を参照して、まず処理対象のフレーム（これを以下の説
明では「フレームｎ」とする。）を読込む（１１０）。

【００４５】ステップ１１２で、読込まれたフレームｎ
の画像を構成する全画素に対して、多重解像度の２次元
離散ウェーブレット変換（ＤＷＴ）を施す（１１２）。
この処理はちょうど、図１３に示されるようにローパス
フィルタとハイパスフィルタとの対からなる多階層の、
かつその特性が分析の目的にしたがって調整できるフィ
ルタバンクをフレームｎの画像を通していく処理に相当
する。この装置では、コンパクト台を持つスプラインウ
ェーブレットによる二重直交方式に対応するフィルタを
使用する。

【００４６】二次元ＤＷＴ方式は４つの出力を持つ。第
１は、信号の低周波数成分を含むいわゆる「近似」出力
であって、これは次に一レベル下のウェーブレット変換
に対する入力となっている。第２〜第４は、いわゆる
「詳細」または「サブバンド」出力であって、これらは
高周波数成分を含む。サブバンド出力は、対角方向、水
平方向、および垂直方向の３つである。もとの画像イメ
ージ（グレースケール）と、各レベルの近似およびサブ
バンド出力の関係を図１３に示す。サブバンド出力は、
各レベルにおけるハイパスフィルタの出力である。

【００４７】近似出力を得るためには、入力信号の画像
のマトリクスを、行方向および列方向の双方に関してロ
ーパスフィルタに通す。対角方向サブバンド出力を得る
ためには、同じプロセスをハイパスフィルタを用いて行
なう。垂直方向サブバンド出力を得るためには、入力信
号の画像のマトリクスを、行に沿ってハイパスフィルタ
に、列に沿ってローパスフィルタに、それぞれ通す。水
平方向サブバンド出力を得るためには、垂直方向サブバ
ンド出力のときのフィルタを入れ替える。本実施の形態
では、ＤＷＴの各レベルで３つのサブバンド出力のみを
用いる。

【００４８】再び図５を参照して、続いてフレームｎに
対するメッシュモデルをフレームｎ−１に対して得られ
たメッシュモデルから作成する（１１４）。次に、ステ
ップ１１４で得られたメッシュモデルと、前フレームに
対して最終的に得られたメッシュモデルとを、フレーム
ｎに対して得られた頭の動きを補正するようにして画像
平面に射影する（１１６）。さらにステップ１１８とス
テップ１２０とによって、ウェーブレット変換の各レベ
ルに対して図６に示す後述処理を繰返して行なう。

【００４９】ステップ１１８の処理をウェーブレット変
換の全レベルに対して行なうと、画像平面上でフレーム
ｎのどのノードがフレームｎ−１のどのノードに対応す
るかを表す情報が得られている。この情報から、フレー
ムｎにおいて、顔領域の各部位が基準フレームの対応す
る部位に対してどれくらい移動しているかを判定するこ
とができる。この情報は二次元であるから、これをもと
の顔領域に対応する３次元の値に逆射影する（１２
２）。これにより、フレームｎでの顔の各部位の３次元
的位置が確定する。

【００５０】続いて、次のフレームに対するステップ１
１６の処理で使用するため、こうして求められたフレー
ムｎのメッシュモデルを保存し、フレームｎのメッシュ
モデルの各ノードの位置データを出力して（１２６）こ
のフレームｎに対するモーショントラッキング処理を終
了する。

【００５１】次に、図６を参照して、図５のステップ１
１８で行なわれるウェーブレット変換の各レベルごとの
処理について説明する。まず、メッシュモデルのノード
数をウェーブレット変換のレベルにあわせて少なくする
（１３０）。このようにノードの密度が低くされたメッ
シュモデルをこの明細書では「粗メッシュモデル」と呼
ぶこととする。本実施の形態では各レベルで用いられる
ノードの密度は、レベルが１下がると１／２倍となるよ
うに選ばれている。処理はレベル１から始められる。な
お図１３に示すウェーブレット変換では、レベル５が最
も高いレベルであり、レベル数が小さくなるにしたがっ
てレベルは下がるものとする。レベルが上がるほど、ウ
ェーブレット変換後の画像の空間周波数は高い。ただし
以下の説明では簡略にするためレベルが３つの場合を想
定する。

【００５２】ここでの基本的考え方は以下のとおりであ
る。ノード密度の低い粗メッシュモデルを用いて、フレ
ームｎのウェーブレット変換後の画像の各ノードと、フ
レームｎ−１のウェーブレット変換後の画像の各ノード
との間の相関を計算することにより、２画像間での各ノ
ードの対応関係が分かる。ノード密度が低いので、この
処理により顔の各部位の比較的大きい動きが検出でき
る。ここでは、大きな動きは顔の大きい領域に影響を及
ぼすということを仮定している。

【００５３】次に、上記したように検出されたノード密
度の低い粗メッシュモデルの各ノードの動きに基づい
て、よりノード密度の高い粗メッシュモデルの各ノード
の概略の位置が判定できる。特に、ノード密度の低い粗
メッシュモデルには存在していないがノード密度の高い
粗メッシュモデルには存在しているノードについては、
ノード密度の低い粗メッシュモデルの各ノードの位置を
補間することにより、その位置が推定できる。こうして
得られたよりノード密度の高い粗メッシュモデルを、対
応するレベルのウェーブレット変換画像に重ねて再度フ
レームｎ−１の対応するレベルのウェーブレット変換画
像および粗メッシュモデルとのクロス相関を計算するこ
とにより、このレベルでの各ノードの前フレームｎ−１
からの動きが検出できる。

【００５４】こうした処理を最も高いレベルから最も低
いレベルまで順に行なうことにより、最終的に顔の各部
位の位置を細かい単位で検出することができる。

【００５５】この処理を実現するために、この「ウェー
ブレット変換の各レベルごとの処理」ではレベルの高い
ものから順にレベルを下げて処理を行なうようにし、か
つ、前のレベルで得られたメッシュ密度の低い粗メッシ
ュモデルを次のレベルのスタート時の粗メッシュモデル
の作成に使用するようにしている。

【００５６】再び図６を参照して、ステップ１３０で処
理対象のレベルに応じてメッシュノードの濃度を下げた
メッシュノードに対して次に述べる処理を行なう。

【００５７】ステップ１３２で、フレームｎの画像に対
するこのレベルのウェーブレット変換のサブバンド画像
にこの粗メッシュモデルを重ね、フレームｎ−１のサブ
バンド画像に対するこのレベルのウェーブレット変換画
像にフレームｎ−１の粗メッシュモデルを重ねてオーバ
レイ画像を得る。

【００５８】次に、ステップ１３４およびステップ１３
６によって、粗メッシュモデルに含まれる各ノードごと
に後述する処理を行なってノード間の対応関係を定め
る。

【００５９】全てのノードについて上記した処理をおこ
なって、フレームｎの各ノードの位置を定められた対応
関係にしたがって移動させることにより粗メッシュモデ
ルを変形させる（１３８）。

【００６０】こうして得られた変形後の粗メッシュモデ
ルについて、中間ノードの位置を補間によって計算し中
間ノードを挿入する（１４０）。こうして得られた粗メ
ッシュモデルが次のレベルでの処理に用いられる。これ
によりこの処理は終了する。

【００６１】図６のステップ１３４で各メッシュノード
ごとに行なわれる処理は図７のとおりである。

【００６２】まず、探索セグメントを決定する（１５
０）。動き検出は、二つの連続する画像の顔のテクスチ
ャマップを用いた２次元的相関計算により行なわれるの
で、そのために各メッシュノードの周辺の領域を適切に
規定することが必要である。この領域を探索セグメント
と呼ぶ。この実施の形態では、図８の上に示すように、
フレームｎのメッシュモデルのあるノード１７０に関連
する探索セグメント１６０は、ノード１７０に隣接する
４つのノード１７２、１７４、１７６および１７８によ
り囲まれるポリゴン１８０である。

【００６３】サブサンプリングしないＤＷＴによって、
画像の各画素に対してある離散値（画素値）が計算され
る。上記したポリゴン１８０内の全画素の画素値によっ
て、探索セグメント１６０のテクスチャマップが決定さ
れる。

【００６４】こうして決定された探索セグメントには、
次に隣接するフレーム内の対応する探索セグメントに対
して既に知られている変形にあわせるよう適合する処理
が施される（１５２）。すなわち、図８の上に示した探
索セグメント１６０が、隣接するフレームの対応する探
索セグメント１６２と同じように変形される。この場合
の適合処理は、各ポリゴン１８０を構成する要素１８２
を単位として行なわれる。

【００６５】この変形は、隣接するノードがそれぞれ異
なる動きをすることにより生ずると考えられる。この要
因としては二つ考えられる。第１は頭部の動きによるも
のである。頭部の動きは画像面と平行とはいえないこと
が多いので、各ノードの動きにずれが生じる。第２は前
のウェーブレットレベルにおける、より粗な粗メッシュ
モデルによるモーショントラッキングの結果補間された
ノード座標によって生じるものである。大きな変形は主
としてこの第２の要因によって生じるものと考えられ、
本発明においては口をあけたときなどの、大きな変形に
対処するためにステップ１４０で採用されたものであ
る。この変形（およびそれに伴う適合化処理）を考慮し
ないと、口をあけた場合の口の内部などには信頼のおけ
るテクスチャマップが存在しないために大きな誤差を生
じるおそれがある。

【００６６】続いて、ステップ１５４で各サブバンドご
とにフレームｎとフレームｎ−１との各ノードの探索セ
グメントに対応するテクスチャマップ間の相関計算が行
なわれ、全サブバンドについて合計される。この相関計
算によりノードの対応関係が得られ、その結果実際の顔
の各部位（ノード）の位置の測定が行なわれたことにな
る。より具体的には、上記したクロス相関の結果、フレ
ームｎのある探索セグメントとフレームｎ−１のある探
索セグメントとが対応付けられ、フレームｎのその探索
セグメントの中心ノードについてその移動量が決定され
る。これがそのノードの移動ベクトルとなる。

【００６７】なおここで、フレームｎ−１において得ら
れた（変形された）粗メッシュモデルをフレームｎの画
像に対して最初に適用することにより、顔の各部位の位
置はおおまかながら既に推定されていることに注意する
必要がある。すなわち、最も粗いレベルのウェーブレッ
ト変換によって頭部の動きによる影響が計算に入れら
れ、より密なレベルのウェーブレット変換では既にそれ
までに求められていた動きの影響が計算に入れられてい
る。

【００６８】たとえば、あご大きく開いたり閉じたりし
た結果、あご先全体が動いたとして、その動きは既に最
も粗いレベルでは考慮され位置合わせが済んでいること
になり、そのためたとえばあご先に近い下唇の一部の探
索の開始位置はあご先の動きにあわせてずらされること
になる。

【００６９】さらに、各部位の位置がほぼ予め推定でき
るだけでなく、探索セグメントの形状も予測でき、あわ
せてそのテクスチャマップがどのようなものとなってい
るかもほぼ予測が可能である。再度あごの大きな動きを
例にとると、ちょうど口角部分に存在する比較的小さな
探索セグメントの場合、そのテクスチャマップは非常に
大きな変化を被るであろう。上述したより粗いレベルで
のモーショントラッキングおよび適合処理の結果を用い
ることにより、この変化をほぼ予測することが可能とな
る。

【００７０】上述のように、探索セグメントの位置を推
定するために、隣接する２つのフレームのサブバンド画
像のテクスチャマップに対するクロス相関を用いてい
る。このとき、前述のとおり各探索セグメントのおおま
かな位置は判明しているので、フレームｎのある探索セ
グメントと、フレームｎ−１の全ての探索セグメントと
の相関を計算する必要はない。予め判明しているおおま
かな位置の周辺のみでよい。したがって密なレベルでの
相関計算の計算量が減少し、精度の高さと比較して高速
な判定を行なうことができる。計算による誤判定が生ず
るおそれも少なくなる。したがって、問題は、いかにし
てクロス相関の計算において、十分に精度高く、かつ計
算コストも低くなるような制約条件が課された動きベク
トルをどのようにして見い出すか、ということのみにな
る。

【００７１】この問題に対する一つの解決は、探索ノー
ド内の各画素の位置を、探索ノードの中心に存在するノ
ードを原点とした相対座標で表すことである。これによ
って、たとえば隣接するノードがこの中心ノードから離
れている場合には動きベクトルによって検出できる動き
の大きさは大きくなり、探索ノードが全体として圧縮さ
れて隣接ノードが中心ノードに近い場合には小さなシフ
ト量しか検出できないことになる。加えて、中心ノード
に対して一方で隣接するノードが中心ノードから大きく
離れ、他方で中心ノードに隣接するノードが中心ノード
からそれほど離れていない場合にも同じ議論が成り立
つ。

【００７２】この方法は、ビデオ画像の顔領域は連続性
を有しているという基本的性質を用いている。ほぼ同じ
間隔だけ間をおいたメッシュから分析を開始するので、
一旦大きな顔の動きにより大きく移動した部分も、やが
てほとんどもとの位置に戻ってくる可能性が高いという
ことを仮定することができる。またその逆も仮定でき
る。

【００７３】以上の処理によって、入力される一連のビ
デオ画像から、人物の顔の各部位の動きをリアルタイム
で計算することができる。図１４を用いて、再度上記し
た処理の全体的な流れを概観しておく。

【００７４】まずフレームｎ−１のメッシュモデル２０
０を、フレームｎ−１頭部の位置データなどを用いて画
像平面に射影する（２１０）。この射影２１０に対し、
最も粗いメッシュレベルの粗メッシュモデルを作成し
（２１２）、それを最も低いレベルのウェーブレット変
換のサブバンド画像に重ねてオーバレイ画像を得る（２
１４）。同様の処理を２番目に粗い粗メッシュモデル
（２２２）および２番目のレベルのウェーブレット変換
のサブバンド画像（２２４）、ならびに最も密な粗メッ
シュレベルのメッシュモデル（２３２）および３番目の
レベルのウェーブレット変換のサブバンド画像に重ねる
（２３４）。ここまではフレームｎ−１のデータを用い
て行える処理である。

【００７５】フレームｎに対しては、まずフレームｎ−
１のメッシュモデル２００を、フレームｎの頭部の位置
座標データなどを用いて座標平面に射影する（２４
０）。このメッシュモデル２４０から、最も粗い粗メッ
シュモデル（２４２）を作成し、それを最も空間周波数
の低いウェーブレット変換のサブバンド画像に重ねてオ
ーバレイ画像を得る（２４４）。このサブバンド画像２
４４とフレームｎ−１のサブバンド画像２１４とのテク
スチャマップを用い、各探索セグメントの間でクロス相
関をとる（２５０）ことにより、フレームｎの最も粗い
レベルでの各ノードの位置が推定される。

【００７６】次に、こうして推定された最も粗いレベル
でのノードの移動を考慮して変形されたメッシュモデル
２６０を作成し、このメッシュモデル２６０のノード密
度を粗メッシュモデル２４２の２倍まで落として粗メッ
シュモデル２６２を作成する。この粗メッシュモデルを
２番目のレベルのウェーブレット変換のサブバンド画像
と重ね（２６４）、さらにフレームｎ−１のサブバンド
画像２２４との間でテクスチャマップを用いたクロス相
関計算をする（２７０）ことで各探索セグメントのクロ
ス計算を行なう。これにより、フレームｎの２番目に粗
いレベルでの各ノードの位置が推定される。

【００７７】次に、こうして推定された２番目に粗いレ
ベルでのノードの移動を考慮して変形されたメッシュモ
デル２８０を作成し、このメッシュモデル２６０のノー
ド密度を粗メッシュモデル２６２の２倍まで落とした粗
メッシュモデル２８２を作成する。この説明ではこの粗
メッシュモデル２８２が最も高いノード密度を有する。
この粗メッシュモデルを最も密なレベルの（最も空間周
波数の高い）ウェーブレット変換のサブバンド画像と重
ね（２８４）、さらにフレームｎ−１のサブバンド画像
２３４との間でテクスチャマップを用いた相関計算をす
ることで各探索セグメントのクロス相関計算を行なう
（２９０）。これにより、フレームｎの最も密なレベル
での各ノードの位置が推定される。こうして得られた各
探索ノードの移動ベクトルを用いてもとのメッシュモデ
ル２４０を変形し（３００）、３次元に逆射影すること
によりフレームｎのメッシュモデルが得られる（３０
２）。

【００７８】なお、以上の実施の形態は人間の顔の各部
位の動きをビデオ画像から測定する機能を有するもので
ある。しかしこの発明はこれには限定されず、人間の顔
と同じように部分的に細かい動きを生ずるような物体、
動物などの表面の動きを測定する装置および方法一般に
適用することができる。

【００７９】また、上の説明ではフレームごとに上記し
た処理を行なうこととしたが、飛越し走査をする画像信
号の場合には、フィールドごとに上記した処理を行なう
ようにしてもよい。

【００８０】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【図面の簡単な説明】

【図１】 本発明の実施の形態１にかかるシステムの外
観図である。

【図２】 本発明の実施の形態１にかかるシステムのハ
ードウェア的構成を示すブロック図である。

【図３】 本発明の実施の形態１にかかるシステムで実
行される処理の全体のフローチャートである。

【図４】 本発明の実施の形態１にかかるシステムで実
行される初期処理のフローチャートである。

【図５】 本発明の実施の形態１にかかるシステムで実
行されるモーショントラッキング処理のフローチャート
である。

【図６】 図５に示されるウェーブレット変換の各レベ
ルごとの処理をさらに詳細に示すフローチャートであ
る。

【図７】 図６に示される各メッシュノードごとの処理
をさらに詳細に示すフローチャートである。

【図８】 探索セグメントの適合処理を説明するための
図である。

【図９】 初期処理において人物の目尻を指定する処理
を示す図である。

【図１０】 初期処理において、指定された人物の両目
尻から顔領域にフィットする楕円を推定し描いた状態を
示す図である。

【図１１】 人物の顔にフィットされる回転楕円体と回
転楕円体に付与されるメッシュとを三次元的に示す図で
ある。

【図１２】 人物の顔画像にメッシュが付与された回転
楕円体をフィットさせた状態を示す図である。

【図１３】 ウェーブレット変換の各レベルで得られる
情報を示す図である。

【図１４】 本願発明の実施の形態のシステムにおける
情報間の関係を示す図である。

【符号の説明】

２０ 表情測定装置、３０ カメラ、４０ コンピュー
タ本体、４２ モニタ、１６０，１６２ 探索領域、１
７０，１７２，１７４，１７６，１７８ ノード、２１
４，２２４，２３４，２４４，２６４，２８４ サブバ
ンド画像、２１２，２２２，２３２，２４２，２６２，
２８２ 粗メッシュモデル。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 倉立 尚明 京都府相楽郡精華町大字乾谷小字三平谷 ５番地 株式会社エイ・ティ・アール人 間情報通信研究所内 (56)参考文献 三次元運動学に基づく顔面アニメーシ ョン，情報処理学会研究報告，日本, 1997年10月17日，Ｖｏｌ．97 Ｎｏ. 98，ｐｐ．31−36 最適ポリゴン近似と連続変形法による ３次元物体モデル生成法，電子情報通信 学会論文誌，日本，1999年 ３月25日, Ｖｏｌ．Ｊ82−Ｄ−ＩＩ Ｎｏ．３，ｐ ｐ．458−467 「顔」の情報処理，電子情報通信学会 論文誌，日本，1997年 ８月25日，Ｖｏ ｌ．Ｊ80−Ｄ−ＩＩ Ｎｏ．８，ｐｐ. 2047−2065 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/20 H04N 7/133

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 先行する第１の画像フレームおよび前記
   第１の画像フレームより後の第２の画像フレームを含
   む、対象物の画像フレームのシーケンスから、前記対象
   物の表面の各部位の動きを測定するための表面動き測定
   方法であって、 相互の隣接関係が定められた複数個のノードを含むメッ
   シュモデルによって前記第１の画像フレームの画像内の
   前記対象物の表面の各部位の位置を表現するステップ
   と、 予め定められた複数通りの解像度で前記第１の画像フレ
   ームの画像および前記第２の画像フレームの画像を各々
   複数個のサブバンド画像に変換するステップと、 前記メッシュモデルから、前記メッシュモデルのノード
   密度より低く、かつ互いに異なるノード密度を有する複
   数個の粗メッシュモデルを生成するステップと、前記複
   数個の粗メッシュモデルは、それぞれ前記複数個のサブ
   バンド画像と対応付けられており、 前記第１の画像フレームおよび前記第２の画像フレーム
   の各々の前記複数個のサブバンド画像に対してそれぞれ
   前記複数個の粗メッシュモデルのうちの対応するものを
   重ねたオーバレイ画像を得るステップと、 前記第１の画像フレームおよび前記第２の画像フレーム
   の、それぞれ対応するサブバンド画像から得られた前記
   オーバレイ画像のテクスチャマップのクロス相関を計算
   することにより、前記第２の画像フレームの前記メッシ
   ュモデルの各ノードと、前記第１の画像フレームの前記
   メッシュモデルの各ノードとを対応付け、各ノードの前
   記第１の画像フレームから前記第２の画像フレームの間
   の相対的位置変化を算出するステップとを含む、表面動
   き測定方法。
2. 【請求項２】 前記算出するステップは、 前記第１の画像フレームおよび前記第２の画像フレーム
   の、第１のサブバンド画像から得られた前記オーバレイ
   画像のテクスチャマップのクロス相関計算を行なうこと
   により、前記第２の画像フレームの前記第１のサブバン
   ド画像に対応する第１の前記粗メッシュモデルの各ノー
   ドと、前記第１の画像フレームの前記第１のサブバンド
   画像に対応する前記第１の粗メッシュモデルの各ノード
   とを対応付け、前記第１の粗メッシュモデルの各ノード
   の前記第１の画像フレームから前記第２の画像フレーム
   の間の相対的位置変化を算出するステップと、 前記第２の画像フレームの、前記第１の粗メッシュモデ
   ルよりも高いノード密度を有する第２の粗メッシュモデ
   ルに対して、前記第１の粗メッシュモデルの各ノードの
   位置変化に応じた変形を行なうステップと、前記第２の
   粗メッシュモデルは、前記第１のサブバンド画像よりも
   高い空間周波数を有する第２のサブバンド画像に対応す
   るものであり、 前記第１の画像フレームおよび前記第２の画像フレーム
   の、前記第２のサブバンド画像から得られた前記オーバ
   レイ画像のテクスチャマップのクロス相関計算を行なう
   ことにより、前記第２の画像フレームの前記第１のサブ
   バンド画像に対応する前記第２の粗メッシュモデルの各
   ノードと、前記第１の画像フレームの前記第２のサブバ
   ンド画像に対応する前記第２の粗メッシュモデルの各ノ
   ードとを対応付け、前記第２の粗メッシュモデルの各ノ
   ードの前記第１の画像フレームから前記第２の画像フレ
   ームの間の相対的位置変化を算出するステップとを含
   む、請求項１に記載の表面動き測定方法。
3. 【請求項３】 先行する第１の画像フレームおよび前記
   第１の画像フレームより後の第２の画像フレームを含
   む、対象物の画像フレームのシーケンスから、前記対象
   物の表面の各部位の動きを測定するための表面動き測定
   方法を実現するようコンピュータを動作させるためのプ
   ログラムを記憶した、コンピュータ読取可能な記録媒体
   であって、 前記表面動き測定方法は、 相互の隣接関係が定められた複数個のノードを含むメッ
   シュモデルによって前記第１の画像フレームの画像内の
   前記対象物の表面の各部位の位置を表現するステップ
   と、 予め定められた複数通りの解像度で前記第１の画像フレ
   ームの画像および前記第２の画像フレームの画像を各々
   複数個のサブバンド画像に変換するステップと、 前記メッシュモデルから、前記メッシュモデルのノード
   密度より低く、かつ互いに異なるノード密度を有する複
   数個の粗メッシュモデルを生成するステップと、前記複
   数個の粗メッシュモデルは、それぞれ前記複数個のサブ
   バンド画像と対応付けられており、 前記第１の画像フレームおよび前記第２の画像フレーム
   の各々の前記複数個のサブバンド画像に対してそれぞれ
   前記複数個の粗メッシュモデルのうちの対応するものを
   重ねたオーバレイ画像を得るステップとを含む、コンピ
   ュータ読取可能な記録媒体。
4. 【請求項４】 前記算出するステップは、 前記第１の画像フレームおよび前記第２の画像フレーム
   の、第１のサブバンド画像から得られた前記オーバレイ
   画像のテクスチャマップのクロス相関計算を行なうこと
   により、前記第２の画像フレームの前記第１のサブバン
   ド画像に対応する第１の前記粗メッシュモデルの各ノー
   ドと、前記第１の画像フレームの前記第１のサブバンド
   画像に対応する前記第１の粗メッシュモデルの各ノード
   とを対応付け、前記第１の粗メッシュモデルの各ノード
   の前記第１の画像フレームから前記第２の画像フレーム
   の間の相対的位置変化を算出するステップと、 前記第２の画像フレームの、前記第１の粗メッシュモデ
   ルよりも高いノード密度を有する第２の粗メッシュモデ
   ルに対して、前記第１の粗メッシュモデルの各ノードの
   位置変化に応じた変形を行なうステップと、前記第２の
   粗メッシュモデルは、前記第１のサブバンド画像よりも
   高い空間周波数を有する第２のサブバンド画像に対応す
   るものであり、 前記第１の画像フレームおよび前記第２の画像フレーム
   の、前記第２のサブバンド画像から得られた前記オーバ
   レイ画像のテクスチャマップのクロス相関計算を行なう
   ことにより、前記第２の画像フレームの前記第１のサブ
   バンド画像に対応する前記第２の粗メッシュモデルの各
   ノードと、前記第１の画像フレームの前記第２のサブバ
   ンド画像に対応する前記第２の粗メッシュモデルの各ノ
   ードとを対応付け、前記第２の粗メッシュモデルの各ノ
   ードの前記第１の画像フレームから前記第２の画像フレ
   ームの間の相対的位置変化を算出するステップとを含
   む、請求項３に記載のコンピュータ読取可能な記録媒
   体。
5. 【請求項５】 先行する第１の画像フレームおよび前記
   第１の画像フレームより後の第２の画像フレームを含
   む、対象物の画像フレームのシーケンスから、前記対象
   物の表面の各部位の動きを測定するための表面動き測定
   装置であって、 相互の隣接関係が定められた複数個のノードを含むメッ
   シュモデルによって前記第１の画像フレームの画像内の
   前記対象物の表面の各部位の位置を表現するための手段
   と、 予め定められた複数通りの解像度で前記第１の画像フレ
   ームの画像および前記第２の画像フレームの画像を各々
   複数個のサブバンド画像に変換するための手段と、 前記メッシュモデルから、前記メッシュモデルのノード
   密度より低く、かつ互いに異なるノード密度を有する複
   数個の粗メッシュモデルを生成するための手段と、前記
   複数個の粗メッシュモデルは、それぞれ前記複数個のサ
   ブバンド画像と対応付けられており、 前記第１の画像フレームおよび前記第２の画像フレーム
   の各々の前記複数個のサブバンド画像に対してそれぞれ
   前記複数個の粗メッシュモデルのうちの対応するものを
   重ねたオーバレイ画像を得るための手段と、 前記第１の画像フレームおよび前記第２の画像フレーム
   の、それぞれ対応するサブバンド画像から得られた前記
   オーバレイ画像のテクスチャマップのクロス相関を計算
   することにより、前記第２の画像フレームの前記メッシ
   ュモデルの各ノードと、前記第１の画像フレームの前記
   メッシュモデルの各ノードとを対応付け、各ノードの前
   記第１の画像フレームから前記第２の画像フレームの間
   の相対的位置変化を算出するための手段とを含む、表面
   動き測定装置。
6. 【請求項６】 前記算出するための手段は、 前記第１の画像フレームおよび前記第２の画像フレーム
   の、第１のサブバンド画像から得られた前記オーバレイ
   画像のテクスチャマップのクロス相関計算を行なうこと
   により、前記第２の画像フレームの前記第１のサブバン
   ド画像に対応する第１の前記粗メッシュモデルの各ノー
   ドと、前記第１の画像フレームの前記第１のサブバンド
   画像に対応する前記第１の粗メッシュモデルの各ノード
   とを対応付け、前記第１の粗メッシュモデルの各ノード
   の前記第１の画像フレームから前記第２の画像フレーム
   の間の相対的位置変化を算出するための手段と、 前記第２の画像フレームの、前記第１の粗メッシュモデ
   ルよりも高いノード密度を有する第２の粗メッシュモデ
   ルに対して、前記第１の粗メッシュモデルの各ノードの
   位置変化に応じた変形を行なうための手段と、前記第２
   の粗メッシュモデルは、前記第１のサブバンド画像より
   も高い空間周波数を有する第２のサブバンド画像に対応
   するものであり、 前記第１の画像フレームおよび前記第２の画像フレーム
   の、前記第２のサブバンド画像から得られた前記オーバ
   レイ画像のテクスチャマップのクロス相関計算を行なう
   ことにより、前記第２の画像フレームの前記第１のサブ
   バンド画像に対応する前記第２の粗メッシュモデルの各
   ノードと、前記第１の画像フレームの前記第２のサブバ
   ンド画像に対応する前記第２の粗メッシュモデルの各ノ
   ードとを対応付け、前記第２の粗メッシュモデルの各ノ
   ードの前記第１の画像フレームから前記第２の画像フレ
   ームの間の相対的位置変化を算出するための手段とを含
   む、請求項５に記載の表面動き測定装置。