JP3416666B2 - 頭部姿勢計測装置およびｃｇキャラクタ制御装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】本発明は、人物を撮像した各フレーム画像
から人物の頭部領域を順次抽出し、抽出した頭部領域か
ら目、口の位置を検出し、該検出位置に基づいて頭部の
姿勢を計測する頭部姿勢計測装置に関するものである。
また、本発明は、テレビ電話などの人物映像を互いに通
信するシステムにおいて、本人の顔を送信する代わりに
ＣＧキャラクタを相手に送信し、カメラで撮影された顔
画像から頭部の３次元姿勢情報と両目および口の状態を
計測し、計測結果に基づいてＣＧキャラクタの動きを制
御する代理応答によるＣＧキャラクタ制御装置に関する
ものである。

【０００２】

【従来の技術】例えば、図２４は、Proceedings of AFG
R98（International Conference on Automatic Face an
d Gesture Recognition、pp.142-147）に示された従来
の３次元頭部姿勢計測装置を示すものであり、本装置
は、映像をキャプチャする映像キャプチャ装置、キャプ
チャした映像から顔の特徴点をテンプレートマッチング
で追跡するための画像処理装置、追跡した特徴点から頭
部回転パラメータを推定する３次元姿勢情報計測装置か
らなる。

【０００３】この従来の３次元頭部姿勢計測装置におい
ては、初期フレーム（計測開始時の最初の映像フレー
ム）において指定した顔の特徴点（両目や口位置等）を
画像処理装置を用いて追跡する。画像処理装置の特徴点
追跡手段では、特徴点の周りに大きさ固定のウィンドウ
を設定し、テンプレートマッチングの手法を用いて特徴
点の追跡を行う。このとき、設定した各特徴点間の位置
関係を保存しておき、テンプレートマッチングで求まっ
た特徴点の位置関係に矛盾が無いように、カルマンフィ
ルタを用いて調整する。次に、３次元姿勢情報計測装置
の頭部回転推定手段では、前記求められた特徴点の移動
量から、アフィン変換パラメータを求めることにより頭
部の姿勢を推定する。

【０００４】

【発明が解決しようとする課題】上記従来の３次元頭部
姿勢計測装置は、特殊なハードウェアを必要とするた
め、システム構築が容易に行えないという問題点があ
る。また、上記ハードウェアをソフトウェアに置き換え
た場合、リアルタイムに処理することが困難となる問題
もある。さらに、カルマンフィルタなどの計算量の大き
い処理をリアルタイムに行うためには多くの計算資源が
必要であり、家電製品などの計算資源の少ない装置を用
いる場合、リアルタイム処理が困難である問題もある。

【０００５】この発明は上記に鑑みてなされたもので、
少ない計算資源でも高速にかつロバストに頭部の３次元
姿勢情報を計測するとともに、その情報を利用してＣＧ
キャラクタの動作を制御することができる頭部姿勢計測
装置およびＣＧキャラクタ制御装置を得ることを目的と
する。

【０００６】

【課題を解決するための手段】上記目的を達成するため
この発明にかかる頭部姿勢計測装置は、人物を撮像した
各フレーム画像から人物の頭部領域を順次抽出し、抽出
した頭部領域から目、口の位置を検出し、該検出位置に
基づいて頭部の姿勢を計測する頭部姿勢計測装置におい
て、各フレーム画像から人物の頭部領域を抽出して、左
目、右目、口の位置を推定する部位位置追跡手段と、こ
の部位位置追跡手段による左目および右目の推定位置を
結ぶ両目ベクトルを求め、この両目ベクトルを用いて頭
部の撮像正面方向軸周りについての第１の回転角を求め
るとともに、前フレーム画像における左目、右目、口の
推定位置と、現フレーム画像における左目、右目、口の
推定位置とに基づき左目、右目、口の前フレーム画像お
よび現フレーム画像間での移動ベクトルを求め、該移動
ベクトルを用いて頭部の前記撮像正面方向に垂直な２つ
軸周りについての第２および第３の回転角を求める頭部
回転角演算手段とを備えたことを特徴とする。

【０００７】つぎの発明にかかる頭部姿勢計測装置は、
上記の発明において、前記頭部回転角演算手段は、前フ
レーム画像における左目、右目、口の推定位置と、現フ
レーム画像における左目、右目、口の推定位置とに基づ
き左目、右目、口の前フレーム画像および現フレーム画
像間での移動ベクトルを求め、該求めた左目、右目、口
の移動ベクトルに基づき前記第２および第３の回転角を
各移動ベクトル毎に各別に求め、これら各移動ベクトル
毎に求めた３組の第２および第３の回転角のうち、前フ
レームおよび現フレーム間での左目の移動量と右目の移
動量と口の移動量との合計が最も少ない組の第２および
第３の回転角を選択することを特徴とする。

【０００８】つぎの発明にかかる頭部姿勢計測装置は、
上記の発明において、前記頭部回転角演算手段は、人物
を正面から撮像したフレーム画像から人物の頭部領域を
抽出し、該抽出した頭部領域に対応する３次元の簡易Ｃ
Ｇ頭部モデルを作成し、該作成した簡易ＣＧ頭部モデル
に対し前記部位位置追跡手段によって推定した左目、右
目、口の位置に対応するマーキングを行う簡易ＣＧ頭部
モデル作成手段をさらに備え、前記頭部回転角演算手段
は、前フレーム画像における左目、右目、口の推定位置
と、現フレーム画像における左目、右目、口の推定位置
とに基づき左目、右目、口の前フレーム画像および現フ
レーム画像間での移動ベクトルを求め、該求めた左目、
右目、口の移動ベクトルに基づき前記第２および第３の
回転角を各移動ベクトル毎に各別に求め、前記簡易ＣＧ
頭部モデルを前記３組の第２および第３の回転角だけ夫
々回転させたときの前記左目マーキング、右目マーキン
グおよび口マーキングを所定の投影面に夫々投影し、該
投影面上での左目、右目および口の２次元位置と前記部
位位置追跡手段によって推定した左目、右目および口の
推定位置との間の各距離の合計を前記３組の回転角毎に
求め、これら３つの距離の合計のうちの最小値を選択
し、選択した最小値が所定の閾値より小さいときに、前
記推定した左目、右目および口の位置が適正な位置であ
るとして最小値に対応する組の第２および第３の回転角
を選択し、前記距離が所定の閾値より大きいときは、前
記部位位置追跡手段での推定処理を再実行させることを
特徴とする。

【０００９】つぎの発明にかかる頭部姿勢計測装置は、
上記の発明において、前記頭部回転角演算手段は、人物
を正面から撮像したフレーム画像から人物の頭部領域を
抽出し、該抽出した頭部領域に対応する３次元の簡易Ｃ
Ｇ頭部モデルを作成し、該作成した簡易ＣＧ頭部モデル
に対し前記部位位置追跡手段によって推定した左目、右
目、口の位置に対応するマーキングを行う簡易ＣＧ頭部
モデル作成手段をさらに備え、前記頭部回転角演算手段
は、前フレーム画像を用いて計測した撮像正面方向軸周
りについての第１の回転角に基づき、前フレームの左目
の推定位置と前フレームの右目の推定位置を結ぶ線が撮
像正面方向軸に直角な軸と平行になるように座標系を設
定し、該設定した座標系を用いて求めた左目、右目、口
についての前記移動ベクトルに基づき前記第２および第
３の回転角を各移動ベクトル毎に各別に求め、前記簡易
ＣＧ頭部モデルを前記３組の第２および第３の回転角だ
け夫々回転させたときの前記左目マーキング、右目マー
キングおよび口マーキングを所定の投影面に夫々投影
し、該投影面上での左目、右目および口の２次元位置と
前記部位位置追跡手段によって推定した左目、右目およ
び口の候補領域との間の各距離の合計を前記３組の回転
角毎に求め、これら３つの距離の合計のうちの最小値を
選択し、選択した距離が所定の閾値より大きいときは、
前記部位位置追跡手段での推定処理を再実行させ、選択
した距離が所定の閾値より小さいときは、前記推定した
左目、右目および口の位置が適正な位置であると判断す
るとともに、現フレーム画像を用いて計測した撮像正面
方向軸周りについての第１の回転角に基づき、現フレー
ムの左目の推定位置と現フレームの右目の推定位置を結
ぶ線が撮像正面方向軸に直角な軸と平行になるように座
標系を設定し、該設定した座標系を用いて求めた前記移
動ベクトルに基づき前記第２および第３の回転角を求め
ることを特徴とする。

【００１０】つぎの発明にかかる頭部姿勢計測装置は、
上記の発明において、前記簡易ＣＧ頭部モデル作成手段
は、抽出した頭部領域を両目が水平になるように撮像正
面方向軸周りに前記第１の回転角だけ回転させ、回転後
の頭部領域に外接する矩形を求め、この矩形の幅を短軸
とし、矩形の高さを長軸とする３次元の楕円体を前記簡
易ＣＧ頭部モデルとすることを特徴とする。

【００１１】つぎの発明にかかる頭部姿勢計測装置は、
上記の発明において、前記頭部回転角演算手段は、前記
簡易ＣＧ頭部モデルを前記３組の第２および第３の回転
角だけ夫々回転させる際の回転半径を、前記簡易ＣＧ頭
部モデル作成手段によって作成された簡易ＣＧ頭部モデ
ルの寸法および左目、右目および口の推定位置に基づき
各別に演算して使用することを特徴とする。

【００１２】つぎの発明にかかる頭部姿勢計測装置は、
上記の発明において、前記部位位置追跡手段は、前フレ
ーム画像に基づき求められた頭部の前記第１〜第３の回
転角を用いて前記簡易ＣＧ頭部モデルを回転させたとき
の簡易ＣＧ頭部モデルの左目マーキング、右目マーキン
グおよび口マーキングの所定の投影面への投影の有無に
応じて各部位の推定処理を行うものであり、投影される
と判定された部位についてのみ部位の位置を推定するた
めの処理を実行することを特徴とする。

【００１３】つぎの発明にかかる頭部姿勢計測装置は、
上記の発明において、前記部位位置追跡手段は、最初に
簡易ＣＧ頭部モデルを作成する際には、頭部領域の重心
に基づき鼻領域を推定し、推定した鼻領域の外接矩形の
上辺と、鼻領域の中心から延びる上辺と垂直な直線とに
よって当該フレーム画像を分割することにより、左目、
右目が存在する範囲を限定し、それらの範囲内に存在す
る左目、右目を検出し、前記鼻領域の外接矩形の下辺で
当該フレーム画像を分割することにより口領域が存在す
る範囲を限定し、その範囲に存在する口位置を検出する
ことを特徴とする。

【００１４】つぎの発明にかかる頭部姿勢計測装置は、
上記の発明において、前記部位位置追跡手段は、左目、
右目および口の周囲画像を各フレーム画像毎にテンプレ
ートとして格納し、前フレームで検出した位置に近く、
かつ前フレームに記憶したテンプレートと誤差が少ない
領域を左目、右目および口の候補領域として、現フレー
ム画像から選択することを特徴とする。

【００１５】つぎの発明にかかるＣＧキャラクタ制御装
置は、上記の発明における頭部姿勢計測装置によって推
定された各部位の位置および頭部についての前記第１〜
第３の回転角に基づいてＣＧキャラクタの動作を制御す
るキャラクタ制御手段を備えたことを特徴とする。

【００１６】つぎの発明にかかるＣＧキャラクタ制御装
置は、上記の発明において、開状態の左目、右目および
口の大きさと閉状態の左目、右目および口の大きさを求
め、これらの大きさ情報を記憶する部位初期状態記憶手
段を更に備え、前記キャラクタ制御手段は、現フレーム
画像から左目、右目および口領域の開閉状態を計測し、
この計測情報と前記初期状態記憶手段に記憶された開状
態の左目、右目および口の大きさ情報と閉状態の左目、
右目および口の大きさ情報とを用いて左目、右目および
口の開閉状態情報を生成し、生成した左目、右目および
口の開閉状態情報に基づき前記ＣＧキャラクタの左目、
右目および口の開閉状態を制御することを特徴とする。

【００１７】

【００１８】

【００１９】

【００２０】

【００２１】

【００２２】

【発明の実施の形態】以下に添付図面を参照して、この
発明にかかるＣＧキャラクタ制御装置の好適な実施の形
態を詳細に説明する。

【００２３】実施の形態１.以下、本発明の実施の形態
１を図１〜図２０を用いて説明する。図１は、実施の形
態１のＣＧ（コンピュータグラフィックス）キャラクタ
制御装置の概念的構成を示すものである。

【００２４】この図１に示すＣＧキャラクタ制御装置
は、例えばパーソナルコンピュータ、ワークステーショ
ンに実行させるプログラムの機能構成を示すものであ
る。この図１に示すＣＧキャラクタ制御装置は、人物の
頭部映像を撮像してこの撮像データをキャプチャするカ
メラなどの映像取込手段１と、人物の頭部および両目，
口の動きを追跡する表情追跡手段２と、制御対象として
の例えば３次元のＣＧキャラクタデータが記憶されるキ
ャラクタデータ記憶部２１と、表情追跡手段２により計
測した頭部の動きおよび両目，口の動きを用いて、キャ
ラクタデータ記憶部２１から読み出したＣＧキャラクタ
の動きを制御するキャラクタ制御手段２０とを備えてい
る。

【００２５】表情追跡手段２は、頭部の動きを追跡する
頭部追跡手段３と、抽出した頭部領域から両目および口
の候補となる領域を抽出する部位領域抽出手段６と、両
目,鼻および口の位置、両目および口を含むテンプレー
ト領域の抽出、両目および口の開閉の状態の検出などを
行うキャリブレーション手段７と、頭部，両目および口
の動きを計測するキャラクタ制御パラメータ計測手段８
とを有している。

【００２６】頭部追跡手段３は、映像から肌色領域を抽
出する肌色領域抽出手段４と、この抽出結果に基づいて
頭部領域を抽出する頭部領域抽出手段５を有している。

【００２７】キャリブレーション手段７は、頭部領域か
ら鼻の位置を検出する鼻位置検出手段９と、検出した鼻
位置から両目の位置を検出する両目位置検出手段１０
と、検出した鼻位置から口の位置を検出する口位置検出
手段１１と、両目部分を含む周囲画像と口部分を含む周
囲画像をテンプレートとして格納するテンプレート格納
手段１２と、両目と口の初期位置に基づいて３次元の簡
易頭部モデルを生成するＣＧモデル生成手段１３と、両
目および口の開閉の状態を記憶する初期状態記憶手段１
４とを備えている。

【００２８】キャラクタ制御パラメータ計測手段８は、
キャプチャした映像から両目の位置の候補を推定する両
目位置追跡手段１５と、キャプチャした映像から口の位
置の候補を推定する口位置追跡手段１６と、上記追跡結
果が正しいか否かを検証する追跡結果検証手段１７と、
上記追跡結果に基づいて頭部の姿勢を計測するとともに
両目および口の開閉状態を計測する制御パラメータ計測
手段１８と、上記処理で得られた現映像における両目お
よび口の周りの画像を新たなテンプレートとして更新登
録するテンプレート更新手段１９とを備えている。これ
らの構成要素により、キャラクタ制御パラメータ計測手
段８は、簡易ＣＧモデルを現フレーム画像にフィッティ
ングすることにより頭部姿勢を計測するとともに、現フ
レーム画像から左目、右目および口領域の開閉状態を計
測している。

【００２９】図２は、図１のＣＧキャラクタ制御装置の
動作の概要を示したフローチャートである。図２を用い
てＣＧキャラクタ制御装置の動作の概略を説明する。

【００３０】まず、映像取込手段１により、頭部映像を
キャプチャする（ステップＳ１００）。キャプチャされ
た映像は表情追跡手段２に送られる。まず、頭部追跡手
段３によってキャプチャ映像から頭部領域が抽出される
（ステップＳ１１０）。次に、部位領域抽出手段６によ
り両目、口の候補となる候補領域がキャプチャ映像から
抽出される（ステップＳ１２０）。

【００３１】つぎに、キャリブレーションが終了してい
るか否かが判断され（ステップＳ１３０）、キャリブレ
ーションが終了していないときは、キャリブレーション
手段７によって、ステップＳ１４０〜Ｓ１６０の処理が
実行されることで、両目および口の位置が検出されると
ともに、両目および口の周囲画像がテンプレートとして
取得される。すなわち、鼻位置検出手段９は、ステップ
Ｓ１２０で抽出された各部位の候補領域から鼻位置を検
出する（ステップＳ１４０）。つぎに、両目位置検出手
段１０および口位置検出手段１１は、経験則を用いて前
記求めた鼻位置から両目および口位置を夫々検出する
（ステップＳ１５０）。このとき、ＣＧキャラクタ制御
装置は、ユーザに対して、検出結果が正しいか否かの判
断を求め、ユーザから正しい判断結果が得られると、テ
ンプレート格納手段１２を用いて口および両目の位置を
含む部分から予め定められた大きさの周囲画像を夫々切
り出し、それを各部位（両目，口）のテンプレート画像
とする（ステップＳ１６０）。なお、上記処理を実行中
は、ユーザに対して「カメラに対して正面を向き、両目
を開け、口を閉じる」ように指示する。

【００３２】次に、キャリブレーション手段７のＣＧモ
デル生成手段１３は、前記抽出した頭部からこの頭部に
外接する外接矩形を求め、さらにこの外接矩形の長辺お
よび短辺を求めることで、この長辺長および短辺長を長
軸および短軸とする３次元の楕円体を生成する。さら
に、先に求めた両目および口の位置を楕円体にマーキン
グすることで、３次元の簡易ＣＧ頭部モデルを作成する
（ステップＳ１７０）。この簡易ＣＧ頭部モデルは、そ
の後の処理で、頭部の３次元回転角を求めるなどのため
に用いられる。

【００３３】次に、初期状態記憶手段１４は、ユーザに
対して「両目と口を開いた状態で静止する」ように指示
し、このときの両目（左目，右目）および口の大きさを
夫々求める。（ステップＳ１８０，Ｓ１９０）。同様
に、ユーザに対して「両目と口を閉じた状態で静止す
る」ように指示し、このときの両目および口の大きさを
夫々求める（ステップＳ２００，Ｓ２１０）。なお、上
記ステップＳ１８０〜Ｓ２１０において、頭部に対する
両目および口の大きさの比率を求めることで、両目およ
び口の大きさを頭部に対する相対値として算出するよう
にすれば、頭部の動きに関係なく、両目および口の開閉
度を正確に求めることができる。なお、この時点で求め
た開状態および閉状態における両目および口の大きさ
は、その後のステップＳ２４０で行われるキャラクタ制
御パラメータの１つである各部位の開閉状態パラメータ
ＳＰの導出処理の際に用いられる。

【００３４】以上により、キャプチャした映像を追跡処
理して、その追跡結果に基づきＣＧキャラクタを制御す
るための前処理が終了する。

【００３５】つぎに、映像取込手段１で所定のフレーム
レートで順次取り込まれる現フレームの映像に基くＣＧ
キャラクタの制御処理を実行する。この処理は、ユーザ
から追跡開始要求を受けることで、開始される。ユーザ
から追跡開始要求を受けた場合は、ステップＳ１００〜
Ｓ１３０を経由して、ステップＳ２２０〜Ｓ２６０の処
理をフレーム単位に繰り返し実行する。

【００３６】前記同様、頭部追跡手段３は、キャプチャ
した現フレームの映像から頭部領域を抽出する（ステッ
プＳ１００，Ｓ１１０）。次に、部位領域抽出手段６
は、現フレーム映像から両目、口の候補となる候補領域
を夫々抽出する（ステップＳ１２０）。

【００３７】つぎに、キャラクタ制御パラメータ計測手
段８の両目位置追跡手段１５は、前フレームの各目（左
目，右目）の検出位置と現フレームから抽出された各目
の候補領域との距離と、前フレームの各目についてのテ
ンプレートを用いたテンプレートマッチングとを用いて
各目の１〜複数の候補領域の中から各目の候補領域（位
置）を推定（選択）する。また、同様にして、口位置追
跡手段１６は、現フレームの映像中の口の位置を推定す
る（ステップＳ２２０）。

【００３８】次に、追跡結果検証手段１７は、前フレー
ムでの各部位（左目，右目，口）の検出位置と現フレー
ムでの各部位の上記推定位置から各部位の移動ベクトル
を夫々求め、該求めた移動ベクトルから頭部の回転角を
推定する。そして、先に作成した簡易ＣＧモデルを、前
記推定した回転角だけ回転させる。さらに、該回転角だ
け回転させた簡易ＣＧモデルにおける両目および口のマ
ーキング位置（ステップＳ１７０の処理で行われたマー
キング位置）を画像面（投影面）に投影（３次元から２
次元へ変換）し、該投影した各部の２次元位置と、先の
ステップＳ２２０の処理で求められた現フレームについ
ての各部の推定位置とが所定の閾値以下の誤差で一致す
るか否かを判定する（ステップＳ２３０）。もし、推定
結果が不良の場合、すなわち、上記各部位の位置の差が
所定の閾値以内に入らないときは、ステップＳ２２０で
の口、目位置の追跡処理をやり直す。そして、上記各部
位の位置の差が上記閾値以内に入る、現フレームについ
ての各部の推定位置を導出する。

【００３９】次に、制御パラメータ計測手段１８は、上
記導出された現フレームについての各部の推定位置に基
づき、３次元各軸回りの頭部回転角を求める。さらに、
現フレームにおける両目と口の大きさを測定し、これら
の測定値と、先のステップＳ１８０〜Ｓ２１０の処理手
順で求めた開状態および閉状態における両目および口の
大きさとを用いて、両目と口の開閉量を推定し、各部位
の開閉状態パラメータＳＰを導出する（ステップＳ２４
０）。

【００４０】さらに、テンプレート更新手段１９は、左
目、右目、口部分を夫々含む所定の大きさの周囲画像を
現フレームから切り取り、該切り取った３つの画像を左
目、右目、口部分のテンプレートとして取得する（ステ
ップＳ２５０）。そして、これら取得した現フレームに
ついてのテンプレートで、前フレームについてのテンプ
レートを更新する。

【００４１】最後に、キャラクタ制御手段２０が、以上
のようにして求めた頭部の姿勢情報（頭部回転角）と両
目，口の開閉情報（開閉状態パラメータＳＰ）を用いて
制御対象としての３次元のＣＧキャラクタの動きを制御
する（ステップＳ２６０）。

【００４２】つぎに、図１のＣＧキャラクタ制御装置の
各構成要素の動作をより詳細に説明する。 （ａ）頭部追跡手段３および部位領域抽出手段６での処
理 まず、図３〜図８を用いて頭部追跡手段３および部位領
域抽出手段６が行う図２のステップＳ１１０〜Ｓ１２０
の処理の詳細について説明する。図３は、頭部追跡手段
３と部位領域抽出手段６の動作を説明するためのフロー
チャートである。

【００４３】〔肌色領域抽出〕最初に、ユーザに対して
「カメラに対して正面を向き、両目を開け、口を閉じ
る」ように指示する。肌色領域抽出手段４は、図４に示
すように、映像取込手段１によって取り込まれた入力画
像から肌色領域を抽出し、マスク画像（肌色画素が１、
それ以外は０である画像）を生成する（ステップＳ３０
０）。図４（ａ）に示す入力画像２２から肌色画素を抽
出すると、図４（ｂ）に示すようなマスク画像２３が得
られる。

【００４４】ここで、肌色領域抽出は、肌色を他の色と
区別するために最適な色空間において、予めサンプリン
グした肌色の情報から上記色空間における肌色の範囲を
定め、各画素の色が定めた範囲に入っているか否かを判
定することにより行われる。

【００４５】実施の形態１では、輝度変化に比較的ロバ
ストな以下に示す色空間を用いることにする。なお、別
の色空間を用いて肌色抽出を行うようにしてもよい。

【００４６】Ｒ（レッド），Ｇ（グリーン），Ｂ（ブル
ー）を各画素の色の３原色の成分だとすると、次式によ
り色を正規化する。 Ｃ１＝arctan（Ｒ／max（Ｇ，Ｂ））……式（１） Ｃ２＝arctan（Ｇ／max（Ｒ，Ｂ））……式（２） Ｃ３＝arctan（Ｂ／max（Ｒ，Ｇ））……式（３）

【００４７】上記式で正規化した色をさらに次式で変換
する。 Ｃ１＝Ｃ２／Ｃ１ ……式（４） Ｃ２＝Ｃ３／Ｃ２ ……式（５）

【００４８】肌色領域抽出手段４では、式（４）および
式（５）でＲＧＢ空間からＣ１−Ｃ２空間に変換した色
が、次式（６），（７）で定義した肌色範囲に入ってい
るか否かを判断することにより入力画像から肌色領域を
抽出し、肌色画素が１でそれ以外の画素は０で構成され
るマスク画像を生成する。すなわち、下記式（６）およ
び（７）が成立した場合に肌色画素とする。ｔｈ１，ｔ
ｈ２，ｔｈ３およびｔｈ４は、夫々予め設定された閾値
である。

【００４９】 ｔｈ１＜Ｃ１＜ｔｈ２ ……式（６） ｔｈ３＜Ｃ２＜ｔｈ４ ……式（７）

【００５０】〔頭部領域抽出〕つぎに、頭部領域抽出手
段５は、肌色領域抽出手段４が抽出した肌色領域から次
のようにして頭部領域を抽出する。まず、頭部領域抽出
手段は、肌色領域の抽出結果得られるマスク画像２３中
の画素値１の画素（すなわち肌色の画素）に注目し、こ
れら注目画素について、例えば４連結によるラベリング
処理（連続した図形をグループ分けして番号付けする処
理）を行い、個々のブロック領域（塊）に分割する。そ
して、ラベリング処理の結果、得られるブロック領域の
中から大きさ（画素数）が最大となる領域を選択し、そ
れを頭部領域とする（ステップＳ３１０）。

【００５１】図５（ａ）に、このようにして選択された
頭部領域を含む画像２５を示す。この時点では、ハイラ
イトや影、両目、口、鼻などの暗い部分が抽出されてい
ないため、頭部領域には、図５（ａ）に示すように、背
景２５と同じ画素値０で構成される複数の小さな部位候
補領域やノイズ領域（これらを含めて小領域という）２
４が存在する。そこで、頭部領域抽出手段５は、つぎ
に、図５（ｂ）に示すように、頭部領域内の小領域２４
を画素値１に置換することで、これら小領域２４が除去
された新たな頭部領域を抽出する（ステップＳ３２
０）。

【００５２】ここで、ステップＳ３１０で選択した頭部
領域には、図６（ａ）に示すように、内側の小領域２４
と背景領域２５とが、同じ画素値０の連結部２６を介し
て繋がっている場合がある。このまま処理を続行する
と、後述する処理において、頭部領域内の小領域２４が
背景領域２５とみなされるため、本来頭部の一部分であ
る小領域２４が背景領域２５として削除されてしまう。
これを避けるため、以下の膨張収縮処理を用いて、図６
（ｂ）に示すように、連結部２６を画素値１の肌色画素
に置き換えるようにしている。

【００５３】膨張収縮処理は、図７に示すような膨張マ
スク２８および収縮マスク２９を設定し、以下の膨張処
理と収縮処理を繰り返し行うことにより前述の連結部２
６あるいは小領域２４などを埋めるものである。膨張処
理は、注目画素の近傍の画素値を膨張マスク２８で設定
した画素値に置き換えることにより領域を膨張させるも
のである。収縮処理は、注目画素の近傍画素の内、収縮
マスク２９で設定した０でない画素の画素値が収縮マス
ク２９の画素値と同値である場合に注目画素を残し、同
値で無い場合に注目画素の値を０とすることにより領域
を収縮するものである。

【００５４】頭部領域抽出手段５では、膨張収縮処理に
より連結部２６および小領域２４を肌色画素に置換する
ことで、連結部２６および小領域２４を肌色画素に塗り
つぶしたマスク画像に対して、画像の左上、右上、左
下、右下の順に、例えば４連結あるいは８連結処理によ
り画素値が０の画素を連結して背景領域を求め、該求め
た背景領域以外の画素を全て１とすることにより、図５
（ｂ）に示したように、小領域２４などのない頭部領域
を抽出する。

【００５５】つぎに、頭部領域抽出手段５では、ステッ
プＳ３２０で得られたマスク画像を、周知の距離変換処
理を用いて距離画像に変換し、距離値が最大となる画素
を頭部領域の重心とする（ステップＳ３３０）。

【００５６】距離変換処理とは、画像中のオブジェクト
の各画素値を、各画素位置から背景領域への最短距離に
置き換える変換処理である。距離の概念としては、最も
単純な市街地距離（４連結距離）とチェス盤距離（８連
結距離）がよく使われる。

【００５７】ここでは、市街地距離を用いたアルゴリズ
ムを説明する。Step1. まず、入力画像を二値化した各
画素データをｆ_i,jとし、Ｄ_i,jを初期化変化された多値
データとした場合、次のように初期化変換する。すなわ
ち、画素値が１の頭部領域内の画素は、多値データ∞
（実際には、１００などの大きな値）に置換し、画素値
が０の背景画素は、０に置換する。

【００５８】

【数１】

【００５９】Step2. 初期化した画像を左上から右下に
向かって走査し、次の規則で逐次Ｄ´_i,jを更新する。 Ｄ″_i,j＝min（Ｄ′_i,j，Ｄ″_i-1,j＋１，Ｄ″_i,j-1＋１）……式（９） Step3. 先のStep2で得られたＤ″_i,jに対して、右下か
ら左上に向かって走査し、次の規則で逐次Ｄ″_i,jを更
新する。 Ｄ_i,j＝min（Ｄ′_i,j，Ｄ″_i+1,j＋１，Ｄ″_i,j+1＋１）……式（１０） 上式（１０）によって得られたＤ_i,jが距離画像の各画
素データとなる。

【００６０】したがって、これら得られた距離画像か
ら、距離値が最大となる画素を求め、この画素を頭部領
域の重心とする。

【００６１】〔目、鼻、口の候補領域抽出〕つぎに、部
位領域抽出手段６は、頭部領域に含まれる画素のうち、
輝度値が所定の閾値以上の画素を除去して、両目や口、
鼻などの暗い部分を残すことで、両目、口、鼻の候補と
なる部位候補領域を抽出する（ステップＳ３４０）。例
えば、図８（ａ）に示す塗りつぶし後の頭部領域に対
し、輝度値が閾値以上の画素を除去すると、図８（ｂ）
に示すように、両目、口、鼻の候補領域が残されること
になる。

【００６２】（ｂ）キャリブレーション手段７での処理 つぎに、図９〜図１１を用いて、キャリブレーション手
段７の鼻位置検出手段９、両目位置検出手段１０、口位
置検出手段１１、テンプレート格納手段１２が行う図２
のステップＳ１４０〜Ｓ１６０の処理の詳細について説
明する。

【００６３】図９は、キャリブレーション手段７におけ
る鼻位置検出手段９、両目位置検出手段１０、口位置検
出手段１１、テンプレート格納手段１２の動作を説明す
るためのフローチャートである。

【００６４】〔鼻位置検出〕キャリブレーション手段７
の鼻位置検出手段９は、部位領域抽出手段６が抽出した
両目、口、鼻についての候補領域の中から、先のステッ
プＳ３３０で求めた頭部領域の重心に最も近い候補領域
を鼻領域とする（ステップＳ４００）。

【００６５】〔両目、口位置検出〕次に、ステップＳ４
００で求めた鼻領域に外接する外接矩形を求め、図１０
に示すように、外接矩形の主走査方向に延びる２本の水
平線３４を画像の縁まで延長してマスク画像から鼻存在
範囲３８を分割する。さらに、鼻領域の外接矩形の中心
座標を基準にして、上記２本の水平線３４のうちの上側
水平線に対し垂直な垂直線３５を上方側に延ばし、これ
ら２本の水平線３４および垂直線３５によってマスク画
像を４分割する。そして分割された左上領域３６を左目
存在範囲とし、右上領域３７を右目存在範囲、２本の水
平線で囲まれた領域を鼻存在範囲３８とし、下側領域３
９を口存在範囲とする（ステップＳ４１０）。

【００６６】つぎに、両目位置検出手段１０は、左目存
在範囲３６に含まれる複数の候補領域から鼻領域に最も
近い候補領域を抽出し、該抽出した候補領域を左目領域
とする。同様に、両目位置検出手段１０は、右目存在範
囲３７に含まれる複数の候補領域から鼻領域に最も近い
候補領域を抽出し、該抽出した候補領域を右目領域とす
る。さらに、口位置検出手段１１は、口存在範囲３９に
含まれる複数の候補領域から鼻領域に最も近い候補領域
を抽出し、該抽出した候補領域を口領域とする（ステッ
プＳ４２０）。

【００６７】〔両目、口のテンプレート作成〕つぎに、
テンプレート格納手段１２は、図１１に示すように、ス
テップＳ４２０で求めた左目領域を含む一定の大きさの
矩形状の周囲画像を切り取り、それを左目用のテンプレ
ート４１として格納する。同様に、右目領域を含む矩形
状の周囲画像を切り取り、それを右目用のテンプレート
４２として格納する。さらに、口領域を含む矩形状の周
囲画像を切り取り、それを口用のテンプレート４３とし
て格納保存する（ステップＳ４３０）。

【００６８】〔３次元簡易ＣＧモデル生成〕つぎに、図
１２〜図１５を用いて、キャリブレーション手段７のＣ
Ｇモデル生成手段１３が行う図２のステップＳ１７０の
処理の詳細について説明する。図１２は、キャリブレー
ション手段７におけるＣＧモデル生成手段１３の動作を
説明するためのフローチャートである。

【００６９】まず、ＣＧモデル生成手段１３は、図１３
に示すように、両目位置検出手段１０で検出した左目領
域、右目領域の中心を結ぶ両目ベクトル４５を求め、こ
の両目ベクトル４５を用いて頭部のＺ軸周りの回転角θ
を求める（ステップＳ５００）。この場合の、座標系
は、左目の中心を原点とし、画像の垂直方向をＹ軸、水
平方向をＸ軸として設定する。

【００７０】なお、図１４に示すように、その後生成す
る楕円体５０の中心を原点とし、楕円体５０の長軸方向
をＹ軸、短軸方向をＸ軸、Ｙ軸とＸ軸でできる平面に垂
直な方向をＺ軸方向（正面方向）と定め、初期状態では
頭部はＺ軸方向に向いていると仮定する。ここで、回転
角θを求めるのは、ユーザに対してカメラの正面を向い
て静止するように要求しても、頭部が多少Ｘ，Ｙ，Ｚ方
向に回転している（首を傾げている）場合があるためで
ある。

【００７１】回転角θは、次式で求めることができる。 θ＝arctan（（ｙ２−ｙ１）／（ｘ２−ｘ１））……式（１１） なお、（ｘ１，ｙ１）は左目の座標、（ｘ２，ｙ２）は
右目の座標とする。

【００７２】つぎに、ＣＧモデル生成手段１３は、求め
た回転角θを基に、両目ベクトル４５が水平になるよう
に頭部領域をＺ軸回りに回転させる（ステップＳ５１
０）。

【００７３】ここで、頭部領域内の各画素の回転前の座
標を（ｘｉ´，ｙｉ´)とし、回転後の座標を（ｘｉ，
ｙｉ)とすると、各画素の回転後の座標位置は次式で求
めることができる。

【００７４】

【数２】

【００７５】つぎに、ＣＧモデル生成手段１３は、式
（１２）で求めた回転後の頭部領域内の各画素の座標か
ら回転後の頭部領域に外接する矩形を求め、この外接矩
形の幅および高さを求める（ステップＳ５２０）。そし
て、ＣＧモデル生成手段１３は、頭部領域の幅が短軸と
なり、頭部領域の高さが長軸となるような３次元の楕円
体５０（図１４参照）を生成する（ステップＳ５３
０）。この３次元の楕円体５０が、３次元の簡易ＣＧ頭
部モデルとなる。

【００７６】ここでは、平行投影を仮定する。ＣＧモデ
ル生成手段１３は、キャプチャ画像面を投影面としたと
き、両目位置検出手段１０および口位置検出手段１１で
検出した投影面上の左目、右目、口の位置から、この投
影面に対して垂直な直線を伸ばしたときに楕円体５０の
表面と交わる位置（３次元）に、図１５に示すように、
左目用，右目用，口用のマーキング５１，５２，５３を
行う（ステップＳ５４０）。なお、マーキングする両
目、口位置の座標は、頭部領域の重心を原点（中心）と
した相対座標とする。

【００７７】このように、両目および口の位置を楕円体
にマーキングすることで、３次元の簡易ＣＧ頭部モデル
を作成する。この簡易ＣＧ頭部モデルは、その後の処理
で、頭部の３次元回転角を求めるなどのために用いられ
る。

【００７８】〔開および閉状態の目口の大きさ取得〕つ
ぎに、図１６を用いて、キャリブレーション手段７の初
期状態記憶手段１４が行う図２のステップＳ１８０〜Ｓ
２１０の処理の詳細について説明する。図１６は、キャ
リブレーション手段７の初期状態記憶手段１４の動作を
説明するためのフローチャートである。

【００７９】初期状態記憶手段１４は、まずユーザに対
して「カメラに向かって両目と口を開けて静止する」よ
うに要求し（ステップＳ６００）、頭部追跡手段３、部
位領域抽出手段６、両目位置検出手段１０および口位置
検出手段１１を前記と同様に動作させて、開状態にある
各目および口の位置を検出する（ステップＳ６１０）。
さらに、ＣＧモデル生成手段１３を前記同様に動作させ
て、両目ベクトル４５およびその回転角θを求め（ステ
ップＳ６２０）、その角度θに基づいて両目ベクトル４
５が水平になるように頭部領域を回転させる（ステップ
Ｓ６３０）。さらに、前記と同様にして、このときの両
目および口領域の外接矩形の高さ（Ｙ方向の長さ）と頭
部領域の外接矩形の高さとの比率（左目領域の高さと頭
部領域の高さとの比率、右目領域の高さと頭部領域の高
さとの比率、口領域の高さと頭部領域の高さとの比率）
をそれぞれ求め、これら開いた状態での各部位の比率
を、開状態での各部位の大きさを示す情報ｏｓとして夫
々記憶する（ステップＳ６４０）。

【００８０】同様に、ユーザに対して「カメラに向かっ
て両目と口を閉じて静止する」ように要求し（ステップ
Ｓ６５０）、ステップＳ６１０〜Ｓ６４０の処理を再度
繰り返すことにより、閉じた状態での各部位の比率を夫
々求め、これら求めた各部位の比率を閉状態での各部位
の大きさを示す情報ｃｓとして夫々記憶する。

【００８１】なお、この時点で求めた開状態および閉状
態での両目，口の大きさを示す情報ｏｓ，ｃｓは、その
後の追跡処理で行われるキャラクタ制御パラメータ（各
部位の開閉状態パラメータＳＰ）の導出処理（式（１
８）参照）の際に用いられる。

【００８２】以上により、キャプチャした映像を追跡処
理してその追跡結果に基づきＣＧキャラクタを制御する
追跡処理の前段階の処理である前処理が終了する。

【００８３】（ｃ）キャラクタ制御パラメータ計測手段
８での処理 つぎに、映像取込手段１で所定のフレームレートで順次
取り込まれる現フレームの映像に基くＣＧキャラクタの
制御処理（追跡処理）を実行する。これら一連の追跡処
理は、ユーザから追跡開始要求を受けることで、開始さ
れる。

【００８４】〔両目および口の候補領域特定〕つぎに、
図１７および図１８を用いて、キャラクタ制御パラメー
タ計測手段８における両目位置追跡手段１５および口位
置追跡手段１６が行う図２のステップＳ２２０の処理の
詳細について説明する。図１７は、キャラクタ制御パラ
メータ計測手段８の両目位置追跡手段１５および口位置
追跡手段１６の動作を説明するためのフローチャートで
ある。

【００８５】このキャラクタ制御パラメータ計測手段８
での追跡処理が行われる前に、図２を用いて説明したよ
うに、頭部追跡手段３により、キャプチャした現フレー
ムの映像から頭部領域が抽出され、さらに、部位領域抽
出手段６により、現フレーム映像から両目、口の候補と
なる領域が抽出される。ここで、前述した前処理では、
図１０に示した手法（領域分割および鼻位置に基づく両
目および口候補の特定）を用いて各部位についての１〜
複数の候補領域から各部位の候補領域を択一選択するよ
うにしたが、キャラクタ制御パラメータ計測手段８の両
目位置追跡手段１５および口位置追跡手段１６での処理
では、上記前処理での手法とは異なる手法を用いて各部
位の候補領域を特定するようにしている。

【００８６】まず、前フレームの取り込み画像によって
求められた頭部の姿勢情報を基に３次元の簡易モデルを
回転させてレンダリングしたとき、先の前処理のステッ
プＳ５４０でマーキングした各部位のマーカ（図１５参
照）が投影面に投影されるか、つまり、両目、口の中で
隠れて見えないものがあるか否かをチェックし（ステッ
プＳ７００）、隠れていない部位のみに対して以下の処
理を各部位について個々に行う（ステップＳ７１０）。

【００８７】つぎに、頭部追跡手段３および部位領域抽
出手段６によって求められた現フレームの各部位（両
目，口）についての１〜複数の候補領域に対して、図１
８に示すように、前フレームの両目および口の検出位置
を中心位置６０，６１，６２とした所定の大きさの探索
範囲６３，６４，６５を設定する（ステップＳ７２
０）。なお、前述したように、ステップＳ７００で隠れ
ていると判定された部位（左目、右目、口）について
は、上記探索範囲の設定は行わない。

【００８８】つぎに、設定された各探索範囲６３，６
４，６５内に入る候補領域をそれぞれの部位の候補領域
とみなし、各候補領域の中心座標と前フレームでの検出
位置６０，６１，６２との距離ｄをそれぞれの部位につ
いて求める（ステップＳ７３０）。なお、求めた距離
は、次式（１３）で正規化する。 ｎｄ＝ｄ／ｍｄ……式（１３） なおｎｄは距離ｄを正規化した距離、ｄは前フレームで
の検出位置（探索範囲の中心６０，６１，６２）と各候
補領域とのユークリッド距離、ｍｄは前フレームでの検
出位置と探索範囲の頂点（矩形の頂点）とのユークリッ
ド距離である。

【００８９】更に、各候補領域の中心座標を中心とする
予め定めた大きさの矩形の周囲画像を切り出し、該切り
出した各周囲画像と、記憶された前フレームにおける各
部位についてのテンプレートとの輝度の差分を求める
（ステップＳ７４０）。この場合は差分として、平均二
乗誤差ｅを求めるようにしている。なお、輝度値は
[０，１]に正規化されているとする。

【００９０】最後に、次式（１４）で示す評価関数に、
ステップＳ７３０で求めた距離ｎｄと、ステップＳ７４
０で求めた誤差を代入して評価値を求め、評価値が最小
となる領域を各部位の候補領域とする（ステップＳ７５
０）。 ｆ（ｎｄ，ｅ）＝ｗ１・ｎｄ＋ｗ２・ｅ……式（１４） ｗ１，ｗ２は重み係数である。

【００９１】すなわち、前フレームの各部位の検出位置
と現フレームでの各候補領域との距離と、テンプレート
を用いた前フレームの画像と現フレームの画像との一致
度とを考慮して、各部位の候補領域を特定するようにし
ている。具体的には、抽出した現フレーム領域から、前
フレームで検出した位置に近く、かつ前フレームに記憶
したテンプレートと誤差が少ない領域を左目、右目およ
び口の候補領域として選択している。

【００９２】〔追跡結果の検証およびキャラクタ制御パ
ラメータの計測〕つぎに、図１９および図２０を用い
て、キャラクタ制御パラメータ計測手段８における追跡
結果検証手段１７、制御パラメータ計測手段１８が行う
図２のステップＳ２３０，Ｓ２４０の処理の詳細につい
て説明する。図１９は、キャラクタ制御パラメータ計測
手段８の追跡結果検証手段１７、制御パラメータ計測手
段１８の動作を説明するためのフローチャートである。

【００９３】まず、追跡結果検証手段１７は、頭部領域
の重心を原点とし、前フレームで計測したＺ軸周りの回
転角を基に、図２０に示すローカル座標系５５を設定す
る（ステップＳ８００）。すなわち、前フレームで計測
したＺ軸周りの回転角θを基に、前フレームの左目の検
出位置と前フレームの右目の検出位置を結ぶ線がＸ軸と
平行になるようなローカル座標系を設定する。

【００９４】つぎに、設定した前記ローカル座標系にお
いて、前フレームで検出した各部位の位置と、先の図１
７のステップＳ７５０で求めた現フレームにおける各部
位の候補領域の中心座標との、Ｘ軸およびＹ軸方向への
移動量を次式にしたがって求める（ステップＳ８１
０）。 ｘ_ld＝ｘ_l,t―ｘ_l,t-1 ｙ_ld＝ｙ_l,t―ｙ_l,t-1 ｘ_rd＝ｘ_r,t―ｘ_r,t-1 ……式（１５） ｙ_rd＝ｙ_r,t―ｙ_r,t-1 ｘ_md＝ｘ_m,t―ｘ_m,t-1 ｙ_md＝ｙ_m,t―ｙ_m,t-1

【００９５】なお、ｘ_ldは左目のＸ方向の誤差（移動
量）、ｘ_l,tは左目の現フレームでの候補領域の中心Ｘ
座標、ｘ_l,t-1は左目の前フレームの検出位置のＸ座
標、ｙ_ldは左目のＹ方向の誤差（移動量）、ｙ_l,tは左
目の現フレームでの候補領域の中心Ｙ座標、ｙ_l,t-1は
左目の前フレームの検出位置のＹ座標、ｘ_rdは右目のＸ
方向の誤差（移動量）、ｘ_r,tは右目の候補領域の現フ
レームでの中心Ｘ座標、ｘ_{r ,t-1}は右目の前フレームの
検出位置のＸ座標、ｙ_rdは右目のＹ方向の誤差（移動
量）、ｙ_r,tは右目の現フレームでの候補領域の中心Ｙ
座標、ｙ_r,t-1は右目の前フレームの検出位置のＹ座
標、ｘ_mdは口のＸ方向の誤差（移動量）、ｘ_m,tは口の
現フレームでの候補領域の中心Ｘ座標、ｘ_m,t-1は口の
前フレームの検出位置のＸ座標、ｙ_mdは口のＹ方向の誤
差（移動量）、ｙ_m,tは口の現フレームでの候補領域の
中心Ｙ座標、ｙ_m,t-1は口の前フレームの検出位置のＹ
座標である。なお、図１７のステップＳ７００で隠れた
領域として判定された部位は対象外とする。

【００９６】つぎに、ステップＳ８１０で求めた各部位
についての前フレームでの検出位置から現フレームでの
検出位置への移動量（ｘ_ld ²＋ｙ_ld ²）^1/2、（ｘ_rd ²＋ｙ
_rd ²）^1/2、（ｘ_md ²＋ｙ_md ²）^1/2に基づいて、Ｘ軸およ
びＹ軸回りの頭部の回転角を推定する（ステップＳ８２
０）。この回転角の推定するためには、回転半径が必要
である。本ＣＧキャラクタ制御装置では、楕円体の簡易
ＣＧモデルを用いていることから、ＣＧモデル生成手段
１３で先の前処理のステップＳ５４０でマーキングした
左目、右目および口のマーカのＸ，Ｙ座標から左目、右
目および口の移動量に基づき頭部の回転角を夫々推定す
る際の回転半径を次式（１６）で夫々求めることができ
る。 ｒ_x＝ｂ（ｘ²−ａ²）^1/2 ｒ_y＝ａ（ｙ²−ｂ²）^1/2 ……式（１６）

【００９７】ｒ_xはＸ軸回りの回転半径、ｒ_yはＹ軸回り
の回転半径、ａは短軸／２、ｂは長軸／２、ｘ、ｙは各
部位（左目、右目、口）についてのマーキング時のＸＹ
座標である。すなわち、回転半径ｒ_x、ｒ_yについては、
左目についての回転半径ｒ_lx、ｒ_lyと、右目についての
回転半径ｒ_rx、ｒ_ryと、口についての回転半径ｒ_mx、ｒ
_myとが求められる。

【００９８】よって、各部位のＸ軸およびＹ軸方向の移
動量から各部位のＸ，Ｙ軸回りの回転角は次式で求める
ことができる（ステップＳ８２０）。 θｘ＝２arcsin（ｙ_d／２ｒ_x） θｙ＝２arcsin（ｘ_d／２ｒ_y） ……式（１７） θｘはＸ軸周りの回転角、θｙはＹ軸周りの回転角、ｘ
d、ｙdは各部位のＸおよびＹ方向の移動量である。

【００９９】すなわち、左目の移動量に基づくＸ，Ｙ軸
回りの推定回転角θｘｌ，θｙｌは、 θｘｌ＝２arcsin（ｙ_ld／２ｒ_lx） θｙｌ＝２arcsin（ｘ_ld／２ｒ_ly） となり、右目の移動量に基づくＸ，Ｙ軸回りの推定回転
角θｘｒ，θｙｒは、 θｘｒ＝２arcsin（ｙ_rd／２ｒ_rx） θｙｒ＝２arcsin（ｘ_rd／２ｒ_ry） となり、口の移動量に基づくＸ，Ｙ軸回りの推定回転角
θｘｍ，θｙｍは、 θｘｍ＝２arcsin（ｙ_md／２ｒ_mx） θｙｍ＝２arcsin（ｘ_md／２ｒ_my） となる。

【０１００】つぎに、ステップＳ８２０で求めた左目、
右目、口に関する各推定回転角を用いて個々に簡易ＣＧ
モデルを回転させて、投影面に投影したときの各部位に
ついてのマーカの位置と、先のステップＳ７５０で求め
た対応する各部位の候補領域の中心との距離の合計を求
める（ステップＳ８３０）。

【０１０１】すなわち、左目の移動量から求めた推定回
転角θｘｌ，θｙｌだけ簡易ＣＧモデルを回転させて投
影面に投影したときにおける左目マーカの位置、右目マ
ーカの位置および口マーカの位置を求め、該求めた左目
マーカの位置と先のステップＳ７５０で求めた左目の候
補領域の中心との距離と、右目マーカの位置と先のステ
ップＳ７５０で求めた右目の候補領域の中心との距離
と、口マーカの位置と先のステップＳ７５０で求めた口
の候補領域の中心との距離との合計Ｌｌを求める。

【０１０２】同様に、右目の移動量から求めた推定回転
角θｘｒ，θｙｒだけ簡易ＣＧモデルを回転させて投影
面に投影したときにおける左目マーカの位置、右目マー
カの位置および口マーカの位置を求め、該求めた左目マ
ーカの位置と先のステップＳ７５０で求めた左目の候補
領域の中心との距離と、右目マーカの位置と先のステッ
プＳ７５０で求めた右目の候補領域の中心との距離と、
口マーカの位置と先のステップＳ７５０で求めた口の候
補領域の中心との距離との合計Ｌｒを求める。

【０１０３】さらに、口の移動量から求めた推定回転角
θｘｍ、θｙｍだけ簡易ＣＧモデルを回転させて投影面
に投影したときにおける左目マーカの位置、右目マーカ
の位置および口マーカの位置を求め、該求めた左目マー
カの位置と先のステップＳ７５０で求めた左目の候補領
域の中心との距離と、右目マーカの位置と先のステップ
Ｓ７５０で求めた右目の候補領域の中心との距離と、口
マーカの位置と先のステップＳ７５０で求めた口の候補
領域の中心との距離との合計Ｌｍを求める。

【０１０４】さらに、上記で求められた、左目に関する
距離の合計Ｌｌと、右目に関する距離の合計Ｌｒと、口
に関する距離の合計Ｌｍを比較し、これらのうち最小と
なるものを選択する（ステップＳ８４０）。

【０１０５】そして、ステップＳ８４０で選択した最小
となる距離合計が、予め設定した所定の閾値より大きけ
れば（ステップＳ８５０）、両目位置追跡手段１５、口
位置追跡手段１６の追跡結果が矛盾しているとして、図
１７のステップＳ７００から両目位置追跡手段１５、口
位置追跡手段１６での処理をやり直す（ステップＳ８６
０）。

【０１０６】一方、ステップＳ８５０で選択した最小と
なる距離合計が閾値以下であれば（ステップＳ８５
０）、現フレームの映像に基づいてＸ軸、Ｙ軸、Ｚ軸回
りの頭部の回転角を求め直す。なぜならば、前述までの
処理では、前フレームにおけるＺ軸周りの回転を基準に
して頭部回転角を求めているためである。

【０１０７】ステップＳ８５０で選択した最小の距離合
計に対応するＸ軸、Ｙ軸周りの回転角と、前フレームに
おけるＺ軸周りの回転角を用いて簡易ＣＧモデルを回転
し、投影面に投影したときに各部位のマーカと重なる候
補領域が位置関係に矛盾の無い現フレームにおける各部
位の候補領域となる。したがって、この実施の形態１で
は、前述したステップＳ８００〜Ｓ８５０の処理を行
い、前記距離合計が閾値より大きいときは、図１７のス
テップＳ７００から両目位置追跡手段１５、口位置追跡
手段１６および追跡結果検証手段１７での処理をやり直
して、前記距離合計が閾値以下になるまで各部位の候補
位置を求め直すことで、各部位について、位置関係に矛
盾のない候補領域を特定するようにしている。そして、
このようにして求められた位置関係に矛盾のない各部位
の候補領域の位置に基づいて、続くステップＳ８７０〜
Ｓ９００での処理手順を行うことにより、現フレームに
ついての頭部回転角を導出するようにしている。

【０１０８】すなわち、まず、制御パラメータ計測手段
１８は、上記導出された現フレームにおける各部位の候
補領域を調べ、左目および右目の候補領域がいずれも隠
れていなければ、左目候補の中心座標と右目候補領域の
中心座標とを結ぶベクトルから、前述した手法で現フレ
ームのＺ軸周りの回転角Θｚを求める。もし、片方の目
が隠れているのであれば、他方の目の候補領域の中心座
標と口候補領域の中心座標を結ぶベクトルから現フレー
ムのＺ軸周りの回転角Θｚを求める（ステップＳ８７
０）。

【０１０９】そして、これ以降、先に説明したステップ
Ｓ８００〜Ｓ８２０と同様の処理を実行することで、現
フレームにおけるＸ軸およびＹ軸周りの回転角Θｘ，Θ
ｙを求める（ステップＳ８８０〜Ｓ９００）。

【０１１０】すなわち、ステップＳ８７０で求めた現フ
レームについてのＺ軸回りの回転角Θｚに基づき画像面
における頭部のローカル座標系を設定し（ステップＳ８
８０）、該設定したローカル座標系における左目、右目
および口についてのＸ軸およびＹ軸方向の移動量を夫々
求め（ステップＳ８９０）、さらにこれらの求めた左
目、右目および口についての移動量から頭部のＸ軸回り
およびＹ軸回りの回転角Θｘ，Θｙを求める（ステップ
Ｓ９００）。

【０１１１】このようにして求めた頭部のＸ軸，Ｙ軸，
Ｚ軸回りの回転角Θｘ，Θｙ，Θｚは、頭部姿勢情報と
して、キャラクタ制御手段２０に入力される。

【０１１２】つぎに、制御パラメータ計測手段１８は、
現フレームにおける左目領域、右目領域および口領域の
大きさｓを、先のステップＳ６１０〜Ｓ６４０で説明し
た手法と同様にして求め、さらに、ステップＳ６１０〜
Ｓ６４０での処理で求められた開状態および閉状態での
両目，口の大きさを示す情報ｏｓ，ｃｓを用い、次式
（１８）に従って現フレームの各部位の開閉状態パラメ
ータＳＰを求める（ステップＳ９１０）。 ＳＰ＝（ｓ−ｃｓ）／ｏｓ−ｃｓ ……式（１８） なお、sは現フレームでの各部位の大きさ、ｏｓは初期
状態記憶手段１４に記憶されている開状態での各部位の
大きさ、ｃｓは初期状態記憶手段１４に記憶されている
閉状態での各部位の大きさである。

【０１１３】このようにして求めた各部位の開閉状態パ
ラメータＳＰは、各部位の開閉状態情報として、キャラ
クタ制御手段２０に入力される。

【０１１４】最後に、テンプレート更新手段１９は、現
フレームにおける左目、右目、口部分の位置に基づき、
左目、右目、口部分を夫々含む所定の大きさの周囲画像
を現フレームから切り取り、該切り取った３つの画像を
左目、右目、口部分のテンプレートとして取得する。そ
して、これら取得した現フレームについてのテンプレー
トで、前フレームについてのテンプレートを更新する。

【０１１５】最後に、キャラクタ制御手段２０が、以上
のようにして求めた頭部の姿勢情報（頭部回転角）と両
目，口の開閉情報（開閉状態パラメータＳＰ）を用いて
制御対象としての３次元のＣＧキャラクタの動きを制御
する。

【０１１６】このような処理が、映像取込手段１によっ
て順次取り込まれる各フレーム単位に繰り返し実行され
る。

【０１１７】このようにこの実施の形態１においては、
全ての処理をソフトウェアで実現したので、従来の３次
元頭部姿勢計測装置のように特殊なハードウェアを必要
としない。また、頭部追跡手段３に頭部領域抽出手段５
を設け、この頭部領域抽出手段５によって肌色抽出の結
果から最大領域を選択して、最大領域内に発生している
複数の小さな部位候補領域やノイズ領域２４を肌色に置
き換える処理を行うようにしているので、肌色領域抽出
手段４だけでは捉えることが困難な頭部領域全体を正確
に抽出することができる。また、部位領域抽出手段６を
設け、この部位領域抽出手段６によって各部位の候補領
域を抽出するようにしているので、処理対象が限定さ
れ、処理の高速化が図れる。また、追跡結果検証手段１
７におけるテンプレートマッチング処理を、部位領域抽
出手段６で抽出した領域の中心を基準とした周囲画像と
の差分を求めることのみで行うようにしたので、従来の
テンプレートマッチング処理のようにマッチングウィン
ドウ内で１画素ずつ移動させながら差分を求める方式に
比べ非常に計算効率が高く、特に計算資源に乏しいハー
ドウェアを用いる場合でも処理時間の短縮が可能であ
る。

【０１１８】さらに、この実施の形態１においては、Ｃ
Ｇモデル生成手段１３、追跡結果検証手段１７、制御パ
ラメータ計測手段１８を設け、これらによって、画像処
理で得られた各部位の位置を用いて簡易ＣＧモデル（３
次元モデル）をフィッティングさせて頭部の３次元回転
角を推定するようにしているので、画像処理のみで３次
元的回転角を求めるためには複雑な計算を行う必要があ
った従来の問題を解決し、３次元的回転角計測のための
計算量を大幅に削減でき、特に計算資源に乏しいハード
ウェアを用いる場合でも処理時間の短縮が可能である。
また、３次元の簡易ＣＧモデルを用いることにより、処
理対象となる左目、右目、口のいずれかが隠れているか
否かが容易に判定可能で、かつ、処理対象の一部が隠れ
ていても頭部の３次元回転角を適切に求めることが可能
である。

【０１１９】なお、上記実施の形態１においては、左
目、右目および口に関する各推定頭部回転角を用いて個
々に簡易ＣＧモデルを回転させて、投影面に投影したと
きの各マーカの位置と、対応する候補領域の中心との距
離の合計を夫々求め、これらの合計のうちの最小となる
ものを選択して、該選択した値を閾値と比較することに
より、追跡結果の検証をおこなうようにしたが、左目、
右目および口の何れかに関する各推定頭部回転角を用い
て同様の処理を行うようにしてもよい。

【０１２０】実施の形態２．つぎに、この発明の実施の
形態２を図２１〜図２３を用いて説明する。図２１は、
実施の形態２のＣＧキャラクタ制御装置の概念的構成を
示すものである。

【０１２１】この図２１に示す実施の形態２のＣＧキャ
ラクタ制御装置においては、頭部追跡手段３に肌色領域
抽出パラメータ調整手段５７を追加し、この肌色領域抽
出パラメータ調整手段５７によって、ＣＧキャラクタ制
御装置が利用される照明条件下における肌色の範囲を自
動的に調整している。他の構成要素については、先の図
１に示すものと同じ機能を実行可能であり、重複する説
明は省略する。

【０１２２】図２２は、肌色領域抽出パラメータ調整手
段５７の動作を示すフローチャートであり、この図２２
に従って肌色領域抽出パラメータ調整手段５７の動作を
説明する。

【０１２３】まず、肌色領域抽出パラメータ調整手段５
７は、図２３に示すように、映像取込手段１がキャプチ
ャした映像に重ねて、矩形枠から成るウィンドウ５８を
表示し（ステップＳ１０１０）、ユーザに対して頬がウ
ィンドウ５８内に入るように顔を移動する旨を要求する
（ステップＳ１０２０）。ユーザは、表示された映像を
見ながら、頬がウィンドウ５８内に入るように顔を移動
し、キーを押すあるいはマウスをクリックするなどの合
図を本ＣＧキャラクタ制御装置に送る。この合図を受け
ると、肌色領域抽出パラメータ調整手段５７は、ウィン
ドウ５８内の画素値を、先の式（４）および式（５）を
用いて、肌色抽出色空間Ｃ１−Ｃ２の画素値に変換する
（ステップＳ１０３０）。そして、変換した結果から、
式（４）のＣ１の最大値と最小値と、式（５）のＣ２の
最大値と最小値をそれぞれ求め、それらを肌色抽出のた
めの閾値ｔｈ１、ｔｈ２、ｔｈ３、ｔｈ４として設定す
る（ステップＳ１０４０）。

【０１２４】このようにこの実施の形態２においては、
肌色領域抽出パラメータ調整手段５７によって肌色の範
囲をキャプチャした被写体本人の画像に応じて自動設定
するようにしているので、異なる照明条件あるいは各人
の肌色の違いに適応して肌色抽出を確実に行うことが可
能となる。

【０１２５】実施の形態３．実施の形態３においては、
図１あるいは図２１の両目位置追跡手段１５および口位
置追跡手段１６で行うテンプレートマッチング処理のマ
ッチング関数を二乗誤差ではなく、次式によって求める
ようにしている。

【０１２６】

【数３】

【０１２７】なお、ｖはテンプレート画素と対象画素と
の輝度の差、σは標準偏差である。式（１９）は、テン
プレートとの輝度の差を正規分布で近似したものであ
り、標準偏差は予めサンプリングした上記輝度差ｖから
求める。

【０１２８】なお、標準偏差σを多くのサンプリング結
果から求めることができるとすると、テンプレートマッ
チングの誤差の許容範囲を予め知ることができる。よっ
て両目位置追跡手段１５、口位置追跡手段１６における
マッチング精度が向上する効果がある。

【０１２９】

【発明の効果】以上説明したように、この発明によれ
ば、前フレーム画像における左目、右目、口の推定位置
と、現フレーム画像における左目、右目、口の推定位置
とに基づき各部位の前フレーム画像および現フレーム画
像間での移動ベクトルを求め、該移動ベクトルを用いて
頭部の回転角を求めるようにしているので、少ない計算
資源でも簡単、高速にかつロバストに頭部の３次元姿勢
を計測することができる。また、簡易ＣＧ頭部モデルを
用いて部位の推定結果を検証して頭部姿勢を計測してい
るので、頭部姿勢を効率がよくかつ高精度に検出するこ
とができる。また、３次元の簡易ＣＧ頭部モデルを用い
ることにより、処理対象となる左目、右目、口のいずれ
かが隠れているか否かが容易に判定可能で、かつ、処理
対象の一部が隠れていても頭部の３次元回転角を適切に
求めることが可能である。

【０１３０】

【０１３１】

【０１３２】

【０１３３】

【０１３４】

【０１３５】

【０１３６】

【図面の簡単な説明】

【図１】 この発明にかかるＣＧキャラクタ制御装置の
実施の形態１の構成を示す機能ブロック図である。

【図２】 実施の形態１のＣＧキャラクタ制御装置の全
体的概略動作を示すフローチャートである。

【図３】 肌色抽出および頭部抽出処理を示すフローチ
ャートである。

【図４】 入力画像から肌色画素を抽出した結果の一例
を示す図である。

【図５】 肌色領域抽出結果を基に抽出した頭部領域の
一例を示す図である。

【図６】 抽出した頭部領域に連結部が生じている場合
に、膨張縮退処理により裂け目を修正した結果の一例を
示す図である。

【図７】 膨張処理マスクおよび収縮処理マスクを示す
図である。

【図８】 抽出した頭部領域画素から輝度が閾値以上の
画素を除去し、両目、口、鼻領域の候補を抽出した結果
の一例を示す図である。

【図９】 鼻位置検出、両目位置検出、口位置検出およ
びテンプレート格納の動作を説明するためのフローチャ
ートである。

【図１０】 検出した鼻領域を基にマスク画像を分割し
た結果を示した図である。

【図１１】 検出した両目、口の周囲画像をテンプレー
トとして切出すときの範囲の一例を示した図である。

【図１２】 簡易ＣＧモデルを作成するための処理手順
を示すフローチャートである。

【図１３】 検出した両目位置から頭部のＺ軸周りの回
転角を求めるための両目ベクトルを示した図である。

【図１４】 生成した楕円体モデルとその座標系を説明
するための図である。

【図１５】 検出した両目位置、口位置に基づいて生成
した楕円体モデルにマーキングした結果を示した図であ
る。

【図１６】 開状態および閉状態での各部位の大きさを
測定する処理手順を示すフローチャートである。

【図１７】 現フレームでの各部位の候補領域を抽出す
るための処理手順を示すフローチャートである。

【図１８】 前フレームで検出した両目、口位置を中心
に設定した探索範囲を示した図である。

【図１９】 追跡結果検証および制御パラメータ計測の
処理手順を示すフローチャートである。

【図２０】 頭部のＸ軸、Ｙ軸周りの回転角を求めるた
めに設定した頭部領域のローカル座標系を示した図であ
る。

【図２１】 この発明にかかるＣＧキャラクタ制御装置
の実施の形態２の構成を示す機能ブロック図である。

【図２２】 実施の形態２の特徴的な処理手順を示すフ
ローチャートである。

【図２３】 肌色サンプリングのための表示画像を示す
図である。

【図２４】 従来技術を説明するための図である。

【符号の説明】

１ 映像取込手段、２ 表情追跡手段、３ 頭部追跡手
段、４ 肌色領域抽出手段、５ 頭部領域抽出手段、６
部位領域抽出手段、７ キャリブレーション手段、８
キャラクタ制御パラメータ計測手段、９ 鼻位置検出
手段、１０ 両目位置検出手段、１１ 口位置検出手
段、１２ テンプレート格納手段、１３モデル生成手
段、１４ 初期状態記憶手段、１５ 両目位置追跡手
段、１６ 口位置追跡手段、１７ 追跡結果検証手段、
１８ 制御パラメータ計測手段、１９テンプレート更新
手段、２０ キャラクタ制御手段、２１ キャラクタデ
ータ記憶部、２２ 入力画像、２３ マスク画像、２４
小領域（ノイズ領域）、２５ 背景領域、２６ 連結
部、２８ 膨張マスク、２９ 収縮マスク、３６ 左目
存在範囲、３７ 右目存在範囲、３８ 鼻存在範囲、３
９ 口存在範囲、４０楕円体、４１，４２，４３ テン
プレート、４５ 両目ベクトル、５０ 楕円体、５１，
５２，５３ マーキング、５７ 肌色領域抽出パラメー
タ調整手段、５８ ウィンドウ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｇ０６Ｔ 7/60 １５０ Ｇ０６Ｔ 7/60 １５０Ｂ (56)参考文献 特開2001−215605（ＪＰ，Ａ) 特開2001−101429（ＪＰ，Ａ) 特開2000−339468（ＪＰ，Ａ) 特開2000−331190（ＪＰ，Ａ) 特開2000−306106（ＪＰ，Ａ) 特開2000−132693（ＪＰ，Ａ) 特開2000−97676（ＪＰ，Ａ) 特開 平11−15947（ＪＰ，Ａ) 特開 平９−171560（ＪＰ，Ａ) 特開 平８−272973（ＪＰ，Ａ) 特開 平８−272948（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 15/70 G06T 1/00 340 G06T 7/00 100 G06T 7/00 300 G06T 7/20 300 G06T 7/60 150 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (11)

(57)【特許請求の範囲】
1. 【請求項１】 人物を撮像した各フレーム画像から人物
   の頭部領域を順次抽出し、抽出した頭部領域から目、口
   の位置を検出し、該検出位置に基づいて頭部の姿勢を計
   測する頭部姿勢計測装置において、 各フレーム画像から人物の頭部領域を抽出して、左目、
   右目、口の位置を推定する部位位置追跡手段と、 この部位位置追跡手段による左目および右目の推定位置
   を結ぶ両目ベクトルを求め、この両目ベクトルを用いて
   頭部の撮像正面方向軸周りについての第１の回転角を求
   めるとともに、前フレーム画像における左目、右目、口
   の推定位置と、現フレーム画像における左目、右目、口
   の推定位置とに基づき左目、右目、口の前フレーム画像
   および現フレーム画像間での移動ベクトルを求め、該移
   動ベクトルを用いて頭部の前記撮像正面方向に垂直な２
   つ軸周りについての第２および第３の回転角を求める頭
   部回転角演算手段と、 を備えたことを特徴とする頭部姿勢計測装置。
2. 【請求項２】 前記頭部回転角演算手段は、 前フレーム画像における左目、右目、口の推定位置と、
   現フレーム画像における左目、右目、口の推定位置とに
   基づき左目、右目、口の前フレーム画像および現フレー
   ム画像間での移動ベクトルを求め、該求めた左目、右
   目、口の移動ベクトルに基づき前記第２および第３の回
   転角を各移動ベクトル毎に各別に求め、これら各移動ベ
   クトル毎に求めた３組の第２および第３の回転角のう
   ち、前フレームおよび現フレーム間での左目の移動量と
   右目の移動量と口の移動量との合計が最も少ない組の第
   ２および第３の回転角を選択することを特徴とする請求
   項１に記載の頭部姿勢計測装置。
3. 【請求項３】 前記頭部回転角演算手段は、 人物を正面から撮像したフレーム画像から人物の頭部領
   域を抽出し、該抽出した頭部領域に対応する３次元の簡
   易ＣＧ頭部モデルを作成し、該作成した簡易ＣＧ頭部モ
   デルに対し前記部位位置追跡手段によって推定した左
   目、右目、口の位置に対応するマーキングを行う簡易Ｃ
   Ｇ頭部モデル作成手段をさらに備え、 前記頭部回転角演算手段は、 前フレーム画像における左目、右目、口の推定位置と、
   現フレーム画像における左目、右目、口の推定位置とに
   基づき左目、右目、口の前フレーム画像および現フレー
   ム画像間での移動ベクトルを求め、該求めた左目、右
   目、口の移動ベクトルに基づき前記第２および第３の回
   転角を各移動ベクトル毎に各別に求め、 前記簡易ＣＧ頭部モデルを前記３組の第２および第３の
   回転角だけ夫々回転させたときの前記左目マーキング、
   右目マーキングおよび口マーキングを所定の投影面に夫
   々投影し、該投影面上での左目、右目および口の２次元
   位置と前記部位位置追跡手段によって推定した左目、右
   目および口の推定位置との間の各距離の合計を前記３組
   の回転角毎に求め、これら３つの距離の合計のうちの最
   小値を選択し、選択した最小値が所定の閾値より小さい
   ときに、前記推定した左目、右目および口の位置が適正
   な位置であるとして最小値に対応する組の第２および第
   ３の回転角を選択し、前記距離が所定の閾値より大きい
   ときは、前記部位位置追跡手段での推定処理を再実行さ
   せることを特徴とする請求項１に記載の頭部姿勢計測装
   置。
4. 【請求項４】 前記頭部回転角演算手段は、 人物を正面から撮像したフレーム画像から人物の頭部領
   域を抽出し、該抽出した頭部領域に対応する３次元の簡
   易ＣＧ頭部モデルを作成し、該作成した簡易ＣＧ頭部モ
   デルに対し前記部位位置追跡手段によって推定した左
   目、右目、口の位置に対応するマーキングを行う簡易Ｃ
   Ｇ頭部モデル作成手段をさらに備え、 前記頭部回転角演算手段は、 前フレーム画像を用いて計測した撮像正面方向軸周りに
   ついての第１の回転角に基づき、前フレームの左目の推
   定位置と前フレームの右目の推定位置を結ぶ線が撮像正
   面方向軸に直角な軸と平行になるように座標系を設定
   し、該設定した座標系を用いて求めた左目、右目、口に
   ついての前記移動ベクトルに基づき前記第２および第３
   の回転角を各移動ベクトル毎に各別に求め、 前記簡易ＣＧ頭部モデルを前記３組の第２および第３の
   回転角だけ夫々回転させたときの前記左目マーキング、
   右目マーキングおよび口マーキングを所定の投影面に夫
   々投影し、該投影面上での左目、右目および口の２次元
   位置と前記部位 位置追跡手段によって推定した左目、右
   目および口の候補領域との間の各距離の合計を前記３組
   の回転角毎に求め、これら３つの距離の合計のうちの最
   小値を選択し、選択した距離が所定の閾値より大きいと
   きは、前記部位位置追跡手段での推定処理を再実行さ
   せ、選択した距離が所定の閾値より小さいときは、前記
   推定した左目、右目および口の位置が適正な位置である
   と判断するとともに、現フレーム画像を用いて計測した
   撮像正面方向軸周りについての第１の回転角に基づき、
   現フレームの左目の推定位置と現フレームの右目の推定
   位置を結ぶ線が撮像正面方向軸に直角な軸と平行になる
   ように座標系を設定し、該設定した座標系を用いて求め
   た前記移動ベクトルに基づき前記第２および第３の回転
   角を求めることを特徴とする請求項１に記載の頭部姿勢
   計測装置。
5. 【請求項５】 前記簡易ＣＧ頭部モデル作成手段は、抽
   出した頭部領域を両目が水平になるように撮像正面方向
   軸周りに前記第１の回転角だけ回転させ、回転後の頭部
   領域に外接する矩形を求め、この矩形の幅を短軸とし、
   矩形の高さを長軸とする３次元の楕円体を前記簡易ＣＧ
   頭部モデルとすることを特徴とする請求項３または４に
   記載の頭部姿勢計測装置。
6. 【請求項６】 前記頭部回転角演算手段は、 前記簡易ＣＧ頭部モデルを前記３組の第２および第３の
   回転角だけ夫々回転させる際の回転半径を、前記簡易Ｃ
   Ｇ頭部モデル作成手段によって作成された簡易ＣＧ頭部
   モデルの寸法および左目、右目および口の推定位置に基
   づき各別に演算して使用することを特徴とする請求項３
   〜５の何れかひとつに記載の頭部姿勢計測装置。
7. 【請求項７】 前記部位位置追跡手段は、前フレーム画
   像に基づき求められた頭部の前記第１〜第３の回転角を
   用いて前記簡易ＣＧ頭部モデルを回転させたときの簡易
   ＣＧ頭部モデルの左目マーキング、右目マーキングおよ
   び口マーキングの所定の投影面への投影の有無に応じて
   各部位の推定処理を行うものであり、投影されると判定
   された部位についてのみ部位の位置を推定するための処
   理を実行することを特徴とする請求項３〜６の何れかひ
   とつに記載の頭部姿勢計測装置。
8. 【請求項８】 前記部位位置追跡手段は、 最初に簡易ＣＧ頭部モデルを作成する際には、頭部領域
   の重心に基づき鼻領域を推定し、推定した鼻領域の外接
   矩形の上辺と、鼻領域の中心から延びる上辺と垂直な直
   線とによって当該フレーム画像を分割することにより、
   左目、右目が存在する範囲を限定し、それらの範囲内に
   存在する左目、右目を検出し、前記鼻領域の外接矩形の
   下辺で当該フレーム画像を分割することにより口領域が
   存在する範囲を限定し、その範囲に存在する口位置を検
   出することを特徴とする請求項３〜７の何れかひとつに
   記載の頭部姿勢計測装置。
9. 【請求項９】 前記部位位置追跡手段は、 左目、右目および口の周囲画像を各フレーム画像毎にテ
   ンプレートとして格納し、前フレームで検出した位置に
   近く、かつ前フレームに記憶したテンプレートと誤差が
   少ない領域を左目、右目および口の候補領域として、現
   フレーム画像から選択することを特徴とする請求項１、
   ３〜８の何れかひとつに記載の頭部姿勢計測装置。
10. 【請求項１０】 請求項１〜９に記載の頭部姿勢計測装
    置によって推定された各部位の位置および頭部について
    の前記第１〜第３の回転角に基づいてＣＧキャラクタの
    動作を制御するキャラクタ制御手段を備えたことを特徴
    とするＣＧキャラクタ制御装置。
11. 【請求項１１】 開状態の左目、右目および口の大きさ
    と閉状態の左目、右目および口の大きさを求め、これら
    の大きさ情報を記憶する部位初期状態記憶手段を更に備
    え、 前記キャラクタ制御手段は、現フレーム画像から左目、
    右目および口領域の開閉状態を計測し、この計測情報と
    前記初期状態記憶手段に記憶された開状態の左目、右目
    および口の大きさ情報と閉状態の左目、右目および口の
    大きさ情報とを用いて左目、右目および口の開閉状態情
    報を生成し、生成した左目、右目および口の開閉状態情
    報に基づき前記ＣＧキャラクタの左目、右目および口の
    開閉状態を制御することを特徴とする請求項１０に記載
    のＣＧキャラクタ制御装置。