JPH0738873A

JPH0738873A - 人物像の実時間認識合成方法

Info

Publication number: JPH0738873A
Application number: JP5182744A
Authority: JP
Inventors: Atsushi Otani; 淳大谷; Haruo Takemura; 治雄竹村; Taiichi Kitamura; 泰一北村; Fumio Kishino; 文郎岸野
Original assignee: ATR TSUSHIN SYST KENKYUSHO KK
Current assignee: ATR TSUSHIN SYST KENKYUSHO KK
Priority date: 1993-07-23
Filing date: 1993-07-23
Publication date: 1995-02-07
Anticipated expiration: 2011-09-18
Also published as: JP2534617B2

Abstract

(57)【要約】【目的】人物の動き検出部と人物モデルにおける動き
合成部を合体し、人物の動きを実時間で人物モデルにお
いて再現できるような人物像の実時間認識合成方法を提
供する。【構成】実空間１中の人物２の３次元モデルを３次元
モデル生成部２０で作成しておき、通信会議中における
人物の動きとして表情や頭部の回転や指の動きや体の回
転を実時間検出部３０で検出し、検出された動き情報に
基づいて、人物像を実時間生成部４０で生成し、受信側
の立体ディスプレイ５に仮想空間４４が人物像３を含む
仮想空間４として表示することにより、受信側の会議参
加者６と送信側の人物２とがあたかも１ヶ所にいるよう
な感覚で会議を行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は人物像の実時間認識合
成方法に関し、特に、送信側の人物モデルを３次元ワイ
ヤーフレームモデルにカラーテクスチャマッピングした
ものにより構成し、この人物モデルをコンピュータグラ
フィックス技術を用いて生成された仮想空間に配置し、
受信側の立体ディスプレイに人物の動きを再現して立体
表示し、互いに異なる複数の場所にいる複数の人々が、
あたかも一堂に介している感覚で会議を行なうことがで
きるような通信に適用される人物像の実時間認識合成方
法に関する。

【０００２】

【従来の技術】従来、人物の表情や動きの検出，認識方
法および人物モデルにおける動きの合成（再現）は別個
に研究される場合がほとんどであった。

【０００３】人物の表情や動きの検出は、人物を含むシ
ーンをテレビカメラにより画像として捉え、これを処理
することにより、表情認識や動きの認識を行なう試みが
行なわれてきたが、いずれの方法も処理精度に問題があ
り、さらに処理時間も実時間処理からかけ離れたもので
あった。

【０００４】

【発明が解決しようとする課題】一方、人物モデルにお
ける動きの合成に関しては、コンピュータグラフィック
スの分野で主に扱われていた。すなわち、通常、人物の
動きをビデオカメラなどで撮影し、その連続画像から何
フレームかのキーフレームを選択し、これに基づいて設
計者が人物モデルを適宜変形することにより動きを合成
し、キーフレームの間のフレームについては、適宜補間
を行なうことにより、滑らかな動きを合成していた。し
かし、このような手法を用いると、予め用意された限ら
れた動きしか合成することができない。さらに、人物の
動き検出部からの情報を用いて、人物モデルにおいて動
きを再現することは不可能であった。

【０００５】これに対して、エクゾスケルトン型の変位
検出デバイスを顔面に貼り付け、コンピュータグラフィ
ックスで生成された人物像において表情を再現する試み
も見られるが、大きな機器を装着する必要があり、使い
勝手に大きな問題点があった。

【０００６】それゆえに、この発明の主たる目的は、人
物の動き検出部と人物モデルにおける動き合成部を合体
し、さらに人物の動きを実時間で人物モデルにおいて再
現できるような人物像の実時間認識合成方法を提供する
ことである。

【０００７】

【課題を解決するための手段】この発明は送信側の人物
のモデルを３次元ワイヤーフレームモデルにカラーテク
スチャマッピングしたものにより構成し、この人物モデ
ルをコンピュータグラフィックス技術を用いて生成され
た仮想空間に配置し、受信側の立体ディスプレイに人物
の動きを再現して立体表示する通信方法において、送信
側の人物の顔の表情筋の上の皮膚表面にマーカを貼り付
け、この人物の顔画像を撮像してその画像中におけるマ
ーカを実時間で追跡するとともに、その人物の角膜に光
を照射したときの角膜反射像を撮像して視線と瞬きを検
出し、その人物の体，頭，指などの動き情報を実時間で
検出する。

【０００８】そして、３次元人物モデルにおいて、マー
カの追跡結果に基づいて顔に対応する部分のワイヤーフ
レームモデルを駆動し、視線および瞬きの検出結果に基
づいて、３次元人物モデルの眼球の黒目の位置および瞼
の開閉を行ない、検出した動き情報により３次元人物モ
デルの対応する各部分を駆動するように構成される。

【０００９】

【作用】この発明に係る人物像の実時間認識方法は、人
物の顔の表情筋にマーカを貼り付け、このマーカと角膜
反射像を実時間で追跡するとともに、体，頭，指などの
動きも実時間で検出し、３次元の人物モデルに実時間に
てテクスチャマッピングを行なうことにより、３次元の
人物モデルにおいて実時間で動きの再現を可能にする。

【００１０】

【実施例】図１はこの発明の一実施例の全体の構成を示
すブロック図である。この実施例では、実空間１中の人
物２の３次元モデルを生成するための人物像３次元モデ
ル生成部２０と、人物の動きを検出する実時間検出部３
０と、検出された動き情報で人物像を生成する実時間生
成部４０とを含む。人物像３次元モデル生成部２０は、
人体のパーツ２１ごとに、形状入力装置２２により３次
元ワイヤーフレームモデル２３を獲得し、映像入力装置
２４によってカラーテクスチャ２５を獲得する。ワイヤ
ーフレームモデル２３は人体の表面を三角形のパッチで
近似したものであり、カラーテクスチャは人体表面の色
彩情報である。

【００１１】通信会議中において、実時間検出部３０に
よって人物の動きが検出される。この人物の動き実時間
検出部３０は、顔の表情検出部３１と、頭部の回転移動
検出部３２と、指の動き検出部３３と、体の回転運動検
出部３４とを含み、それぞれ人体の部分の動き情報を検
出する。人物像生成部４０は、３次元ワイヤーフレーム
モデルの変形部４１によって、動き検出部３０で検出さ
れた人体の各部分の動き情報と人物像３次元モデル生成
部２０によって生成された３次元ワイヤーフレームモデ
ル２３とに基づいて、３次元ワイヤーフレームモデルを
変形し、人体の動きによる形状変化を再現する。そし
て、テクスチャマッピング部４２において、変形部４１
において変形されたワイヤーフレームモデルに含まれる
三角パッチにカラーテクスチャ２５を貼り付ける。この
ようにして、生成された３次元人物モデル３は仮想空間
３次元データ４３に基づいて、コンピュータグラフィッ
クス技術を用いて生成された仮想空間４４に配置され
る。受信側の立体ディスプレイ５に仮想空間４４が、人
物像３を含む仮想空間４として表示されることにより、
受信側の会議参加者６は送信側の人物２とあたかも一ヶ
所にいるような感覚で会議を行なうことができる。

【００１２】以下に、図１の各部分の構成について詳細
に説明する。図２は図１の人物像３次元モデル生成部２
０の動作原理を示す図である。人物２の人体は、パーツ
２１ａ（頭），２１ｂ（上体），２１ｃ（上腕），２１
ｄ（下腕），２１ｅ（手）に分割され、形状データとカ
ラーデータとが獲得される。図２では上半身のみを示し
ているが、下半身も同様にして行なわれる。形状データ
を獲得するためには、たとえばレーザレンジスキャナ２
６が用いられる。このようなレーザレンジスキャナとし
ては、ＣｙｂｅｒｗａｒｅＣｏｌｏｒ３ＤＤｉｇ
ｉｔｉｚｅｒなどが用いられる。レーザレンジスキャナ
２６は対象物の周囲を回転しながらレーザストライプ光
を対象物に照射し、対象物の表面のレーザストライプの
変形を観測することにより、３次元点データ集合を獲得
できる。同時に、対象物の表面の色彩情報（カラーテク
スチャ）も獲得できる。たとえば、パーツ２１ｃについ
て考えると、レーザレンジスキャナ２６により得られた
３次元データ集合に基づいて、３次元ワイヤーフレーム
モデル２３ｃと、そのカラーテクスチャ２５ｃが得られ
る。

【００１３】ただし、レーザレンジスキャナ２６は、上
腕２１ｃのように回転体に近いパーツには有効である
が、指を含む手などのように回転体とはいえないパーツ
については、テレビカメラ２７を利用し、カラーテクス
チャ２５ｅを得るとともに、３次元点データ２３ｅはマ
ニアル操作により取得する。

【００１４】上述のようにして、各人体パーツの３次元
ワイヤーフレームモデル２３とカラーテクスチャ２５と
が得られる。これらのパーツは、それぞれの間の関節の
動きを再現可能な形で接続される。

【００１５】一方、動き検出部３０においては、顔の表
情検出部３１では、後述のような画像処理を用いる。頭
部および体の回転移動検出部３２と３４とでは、たとえ
ばＰｏｌｈｅｍｕｓの磁気センサが使用される。この磁
気センサは３次元空間における座標軸方向の移動および
座標軸周りの回転の計６個の姿勢パラメータの実時間検
出が可能である。指の動き検出部３３では、たとえばＶ
ＰＬ社のデータグローブが使用される。このグローブ
は、指の曲がり具合を光ファイバにより実時間で検出す
ることができる。

【００１６】図３は顔の表情検出部３１の原理を説明す
るための図である。図３に示すように、顔５０の表情筋
の上の皮膚表面にカラーマーカ５１を貼り付け、これを
テレビカメラ５２で画像５５として捉え、画像５５中で
カラーマーカ５１の追跡を行なう。画像５５は２値化さ
れ、カラーマーカ５１に対応する部分のみを検出できる
ようにされる。カラーマーカ５１の追跡を安定化するた
め、顔５０を持つ人物は図３に示すようなヘルメット５
３を被る。ヘルメット５３には枠５４が固定されてい
て、これにテレビカメラ５２が固定される。このように
構成することにより、顔５０が向きを変えても、常に顔
５０に対して一定の位置から顔画像５５が得られる。な
お、カラーマーカ５１の追跡の高速化のため、顔画像５
５において、各カラーマーカ５１に対してウィンドウ５
６を設定し、このウィンドウ５６において、カラーマー
カ５１に対応すると考えられる画素の重心を求めてカラ
ーマーカ５１の位置とする。

【００１７】表情検出部３１では、皮膚表面の変形だけ
ではなく、視線の検出も行なう。すなわち、図３に示す
枠５４に設けられたテレビカメラ５２の横に、光源とし
ての電球５７を配置し、これを点灯したときに生じる電
球の角膜反射像５８をテレビカメラ５２で撮像する。そ
して、得られた画像５５において、カラーマーカ５１と
同様に追跡する。ここで、テレビカメラ５２とは別のカ
メラ５９を角膜反射像５８を検出するための専用として
設けることにより、検出の高精度化を狙うことも可能で
ある。これにより、視線の方向が検出されるとともに、
角膜反射像５８が観測されるか否かにより、瞬きの検出
も行なう。

【００１８】図１に示した人物像生成部４０では、変形
部４１において、検出部３０で検出された動き情報に基
づいて、人物像の３次元ワイヤーフレームモデル２３を
変形する。まず、顔の部分のワイヤーフレームモデルの
変形法について説明する。本来、顔５０は３次元構造を
持つのに対して、カラーマーカ５１の動きは、テレビカ
メラ５２によって獲得される画像５５中の２次元の動き
として検出されるため、３次元モデルを駆動するために
は、知識や拘束条件が必要である。ここでは、鼻のマー
カを不動の基準点とし、無表情時における各マーカとの
距離を求めておき、表情変化に伴い距離変化が生じたマ
ーカの動き情報に基づき、たとえば以下のようにして、
３次元モデル２３を駆動する。

【００１９】図４は下唇の下のマーカの動きが小さい場
合のワイヤーフレーム駆動法を示す図であり、図５は下
唇の下のマーカの動きが大きい場合のワイヤーフレーム
駆動法を示す図でり、図６は唇の両端のマーカが外側に
動く場合のワイヤーフレーム駆動法を示す図であり、図
７は唇の両端のマーカが内側に動く場合のワイヤーフレ
ーム駆動法を示す図である。

【００２０】まず、下唇のマーカの動きにより、下顎を
駆動する。なお、このマーカの動きが小さいときは、図
４に示すように、口を小さく開いたと判断し、この場合
顔の両側にある下顎と上顎の接続点を結ぶ直線を中心軸
とした円筒面上を下顎が動くという知見に従い、唇も含
めた下顎領域に対応する部分を駆動する。あるしきい値
を越えて動いたときは、図５に示すように、大きく口を
開いたと判断し、鉛直下向きに下顎領域を動かす。

【００２１】唇の両端（口角点）のマーカの動きによ
り、唇の形状を決定する。口角点が唇に対して外側（内
側）に動くことにより、唇を引いた（口を突き出した）
と判断する。口角点が外へ動いたときは、図６に示すよ
うに、唇の周りに対応するモデル部分が、口角点と耳と
で決定される面上を動くと仮定し、各頂点の３次元座標
を決定する。口角点が内へ動いた場合は、図７に示すよ
うに、予め得られているデータに基づき、唇を突き出す
ように口周囲の頂点の座標を決定する。

【００２２】鼻側溝および上唇のマーカは、上記の動き
の調整に用いられる。すなわち、唇の形状を変化させる
ために、鼻の周りも含めた広い範囲の頂点を駆動してい
るが、口角点のマーカの動きだけに従うと、これらの頂
点の動きが不自然なものとなるので、これを防ぐのが狙
いである。上頬点のマーカの動きが検出される場合は、
マーカ周囲の頂点を、実際に計測したデータに基づいて
駆動する。

【００２３】一方、表情検出部３１では、視線と瞬きの
検出を行なうが、変形部４１では人物像のワイヤーフレ
ームモデル２３における眼球の部分において、黒目の部
分の位置の決定および瞼の開閉を行なう。

【００２４】頭部の回転移動検出部３２と体の回転運動
検出部３４とによって、各部分の３次元位置および回転
が判別できるので、関節の間の部分に対応するワイヤー
フレームモデルに含まれる三角パッチの頂点の３次元座
標を計算することにより、３次元ワイヤーフレームモデ
ル２３上で動きが再現される。同様にして、指の動き検
出部３３により得られる情報により、指のモデルが適宜
変形される。

【００２５】このようにして、ワイヤーフレームモデル
２３が変形されるが、この変形された三角パッチに対し
て、実時間でカラーテクスチャをテクスチャマッピング
部４２で貼り付ける処理を行なう。初期状態の三角パッ
チに対応する形でカラーテクスチャが得られているの
で、人物の動きに伴なう三角パッチの変形に対応して、
適宜カラーテクスチャの間引きや補間が行なわれる。

【００２６】以上のようにして作成された３次元人物モ
デル２３が仮想空間データ４３を用いてコンピュータグ
ラフィックス技術により作成される仮想空間に配置され
る。

【００２７】図８はこの発明の動作を実現する実施例を
示す図であり、２つの場所にいる２人の会議参加者のた
めの実施例である。一方側のワークステーション６１
は、たとえばＩＲＩＳＷＳＣｒｉｍｓｏｎ，Ｒｅａ
ｌｉｔｙＥｎｇｉｎｅＳｉｌｉｃｏｎＧｒａｐｈ
ｉｃｓ製であり、高速なテクスチャマッピングが可能で
あり、他方側の人物８１の実時間３次元表示のために用
いられる。人物８１の３次元人物像は、立体視用３次元
スクリーン６４に表示される。３次元スクリーンの例と
して、左右目用の画像が交互に６０Ｈｚ程度の頻度で表
示されるものがあり、一方側の人物７１は、立体視用眼
鏡７２（スクリーン６４に同期して左右目用のシャッタ
が開閉される）を着用し、磁気センサ７３が設けられた
データグローブ７４を着用して、他方側の人物８１と協
調作業を行なう。

【００２８】一方、人物８１の表情検出は、他方側の２
台のワークステーション６２，６３のうちの１台６３
（たとえばＩＲＩＳＷＳ４Ｄ３４０／ＶＧＸ）を用
いて行なわれる。前述の図３に示したヘルメット５３に
取付けられたテレビカメラ５２から得られる画像情報を
分岐し、一方を青色のマーカ追跡のためにクロマキー６
７に入力して、青色部分とその他の色の部分に分離する
２値化を行ない、他方を角膜反射像検出のためにレベル
キー６８に入力して２値化を行ない、ワークステーショ
ン６３において追跡処理を行なう。

【００２９】他方側のもう一方のワークステーション６
２（たとえば、ＩＲＩＳＷＳ４Ｄ２４０／ＶＧＳ）
は、人物８１の装着するデータグローブ８５と磁気セン
サ８４からの情報処理に使用される。また、他方側も一
方側と同様の仮想空間がこのワークステーション６２に
よって構成され、立体視用３次元スクリーン６５に表示
されるが、テクスチャマッピングの能力の限界から、人
物８１の人物像表示は簡易なコンピュータグラフィック
ス像により行なわれることもある。

【００３０】他方側の２台のワークステーション６２と
６３とによって得られた人物８１の動き情報は、Ｅｔｈ
ｅｒｎｅｔ６４を介して一方側のワークステーション６
１に転送され、人物８１の３次元モデルが駆動される。
また、人物７１と８１とが音声によりコミュニケーショ
ンできるように、一方側にマイクロフォン９４とスピー
カ９３が配置され、他方側にもマイクロフォン９１とス
ピーカ９５と遅延装置９２とが用意される。遅延装置９
２は表情の検出と生成のための処理時間を考慮して、音
声に遅延をかけるためのものである。

【００３１】この図８に示した実施例の性能は以下のと
おりである。種々の状況でマーカ追跡および角膜反射像
追跡の実験を行なった結果、１１フレーム／秒程度の速
度で行なえることがわかった。人物の上半身像の３次元
モデル２３を約６７００点の頂点数（頭部は１４００
点）からなるワイヤーフレームモデルで構成した場合、
一方、動き生成については、まず動き検出系とは切り離
して実験を行なった結果、１１フレーム／秒程度の速度
で表示を行なうことができた。表情検出系と連動して生
成を行なった場合、仮想空間における人物以外のものが
ある場合には５〜６フレーム／秒，人物のみの場合に
は、６〜７フレーム／秒となった。

【００３２】

【発明の効果】以上のように、この発明によれば、顔の
表情筋にマーカを貼り付け、その顔の画像を撮像して実
時間でマーカを追跡し、体，頭，指などの動きを実時間
で検出するようにし、３次元の人物モデルに実時間でテ
クスチャマッピングが可能な装置を用いるようにしてい
るため、３次元の人物モデルにおいて、実時間で動きの
再現が可能となる。

【図面の簡単な説明】

【図１】この発明の一実施例の全体の構成を示すブロッ
ク図である。

【図２】３次元人物像を生成する原理を説明するための
図である。

【図３】表情検出部の原理を説明するための図である。

【図４】下唇の下のマーカの動きが小さい場合のワイヤ
ーフレーム駆動法を示す図である。

【図５】下唇の下のマーカの動きが大きい場合のワイヤ
ーフレーム駆動法を示す図である。

【図６】唇の両端のマーカが外側に動く場合のワイヤー
フレーム駆動法を示す図である。

【図７】唇の両端のマーカが内側に動く場合のワイヤー
フレーム駆動法を示す図である。

【図８】この発明の動作原理を実現する実施例を示す図
である。

【符号の説明】

１実空間２人物３３次元人物モデル４仮想空間５立体ディスプレイ６受信側の会議参加者２０人物像３次元モデル生成部２１人体パーツ２１ａ頭２１ｂ上体２１ｃ上腕２１ｄ下碗２１ｅ手２２形状入力装置２３３次元ワイヤーフレームモデル２４映像入力装置２５カラーテクスチャ２６レーザレンジスキャナ２７テレビカメラ３０人物の動き実時間検出部３１顔の表情検出部３２頭部の回転移動検出部３３指の動き検出部３４体の回転移動検出部４０人物像生成部４１３次元ワイヤーフレームモデル変形部４２カラーテクスチャマッピング部４３仮想空間３次元データ４４生成された仮想空間５０顔５１カラーマーカ５２テレビカメラ５３ヘルメット５４枠５５顔画像５６ウィンドウ５７電球５８角膜反射像５９テレビカメラ６１，６２，６３ワークステーション６４，６５立体視用３次元スクリーン６６Ｅｔｈｅｒｎｅｔ６７クロマキー６８レベルキー７４，８５データグローブ７３，８４磁気センサ９１，９４マイクロフォン９２遅延装置９３，９５スピーカ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所 // Ｇ０６Ｔ 15/00 9192−5ＬＧ０６Ｆ 15/72 ４５０Ａ (72)発明者竹村治雄京都府相楽郡精華町大字乾谷小字三平谷５番地株式会社エイ・ティ・アール通信システム研究所内 (72)発明者北村泰一京都府相楽郡精華町大字乾谷小字三平谷５番地株式会社エイ・ティ・アール通信システム研究所内 (72)発明者岸野文郎京都府相楽郡精華町大字乾谷小字三平谷５番地株式会社エイ・ティ・アール通信システム研究所内

Claims

【特許請求の範囲】

【請求項１】送信側の人物モデルを３次元ワイヤーフ
レームモデルにカラーテクスチャマッピングしたものに
より構成し、この人物モデルをコンピュータグラフィッ
クス技術を用いて生成された仮想空間に配置し、受信側
の立体ディスプレイに人物の動きを再現して立体表示す
る通信方法において、送信側の人物の顔の表情筋の上の皮膚表面にマーカを貼
り付け、この人物の顔画像を撮像してその画像中におけ
る前記マーカを実時間で追跡するとともに、該人物の角
膜に光を照射したときの角膜反射像を撮像して視線と瞬
きとを検出し、該人物の体，頭，指などの動き情報を実
時間で検出し、３次元人物モデルにおいて、前記マーカの追跡結果に基
づいて顔に対応する部分のワイヤーフレームモデルを駆
動し、前記視線および瞬きの検出結果に基づいて、前記
３次元人物モデルの眼球の黒目の位置および瞼の開閉を
行ない、前記検出した動き情報により前記３次元人物モ
デルの対応する各部分を駆動することを特徴とする、人
物像の実時間認識合成方法。