JPH0850660A - 像の実時間認識合成装置 - Google Patents

Abstract

(57)【要約】 【目的】 像の微妙な変化の再現が可能で、かつ処理情
報量が十分に少なく、実用に適した像の実時間認識合成
装置を提供する。 【構成】 予め送信側の人物像３を、３次元ワイヤーフ
レームモデルにカラーテクスチャマッピングした人物モ
デルデータとして受信側に保有し、送信側から送られる
動きパラメータ２１，２３と人物モデルデータ２７を合
成し、第１の画像データ３１とする手段と、送信側から
送られる動きパラメータ２３と画像データ２５と人物モ
デルデータ２９を調整した後合成し、第２の画像データ
３３とする手段と、第１の画像データ３１と第２の画像
データ３３とを合成し、第３の画像データ３５とする手
段により、合成された人物像５の実時間認識合成を行な
う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、人物などの像の動
作、姿勢などの実時間認識合成装置に関し、特に送信側
の像モデルを３次元ワイヤフレームモデルにカラーテク
スチャマッピングしたものにより構成し、この像モデル
を、コンピュータグラフィックス技術を用いて、生成さ
れた仮想空間に配置し、受信側の立体ディスプレイに、
像の動きを再現して立体表示する像の実時間認識合成装
置に関する。

【０００２】

【従来の技術】従来の像の実時間認識合成装置は、たと
えば１９９３年１月２５日発行、電子情報通信学会技術
研究報告ｐ．２３〜２８、「臨場感通信会議における３
次元画像の実時間表示」において開示されている。以下
その装置について説明する。

【０００３】図８は、従来の実時間認識合成装置の構成
図であり、図９は図８の表情検出器１０３の具体例であ
る。図中の矢印はデータの送られる方向を示している。

【０００４】実時間認識合成装置は、大きくは送信側の
システム１１と受信側のシステム１３とから構成されて
いる。送信側のシステム１１は、実空間１中の送信側の
人物３の体の動きを検出する体の動き検出器１０１と、
表情を検出する表情検出器１０３とから構成されてい
る。体の動き検出器１０１として、たとえばＶＰＬ社の
データグローブや、 Polhemus の磁気センサなどが使用
される。体の動き検出器１０１によって得られたデータ
は、体の動きパラメータ２１として受信側のシステム１
３中の画像合成部１１５へ送られる。

【０００５】また、表情検出器１０３は、図９に示すよ
うに顔２０９の表情筋の上の皮膚表面に、マーカー２０
３を止着しこれを頭部に固定したカメラ２０１により画
像２０５としてとらえる装置である。画像２０５中のマ
ーカー２０３の移動量はトラッキングされ、表情の動き
パラメータ２３として受信側システム１３中の画像合成
手段１１５へ送られる。

【０００６】一方、受信側システム１３には、予め送信
側の人物３をワイヤフレームモデルとカラーテクスチャ
によりモデル化した人物モデルデータベース１１１が用
意されている。３次元ワイヤフレームモデルは人体の表
面を三角形のパッチで近似したものであり、カラーテク
スチャは、人体表面の色彩情報である。

【０００７】画像合成部１１５において、人物モデルデ
ータベース１１１中の３次元ワイヤフレームモデルとカ
ラーテクスチャにより構成された人物モデルデータと、
送信されてきた体の動きパラメータ２１および表情の動
きパラメータ２３とが合成される。合成は、人物モデル
データの３次元ワイヤフレームモデルの各頂点座標を、
体の動きパラメータ２１と表情の動きパラメータ２３に
合わせ、移動させることにより行なわれる。

【０００８】合成された人物像５は、コンピュータグラ
フィックス技術を用いて生成された仮想空間７中に配置
される。受信側の立体ディスプレイ９には、人物像５を
含む仮想空間７が表示される。

【０００９】

【発明が解決しようとする課題】しかしながら、このよ
うな像の実時間認識合成装置では、像の動きをすべて動
きパラメータとして送信するため、像の微妙な変化を認
識、合成できないという問題があった。特に、人物の表
情などを送信するとき、コミュニケーションに重要な役
割を持つ、目のまわりの表情の微妙な変化を、顔に止着
したマーカーの変位の計測のみから認識、合成すること
は困難である。

【００１０】この問題を解決するために、エッジ検出な
どの画像処理技術を用いることが考えられる。それによ
り計測するデータを増やし、像の微妙な変化をある程度
認識、合成することが可能であるが、画像処理量が膨大
な量になるため、高価な画像処理装置を必要とし、また
処理情報量が増えることにより、処理速度が遅くなり、
実時間認識ができなくなることが考えられる。

【００１１】それゆえに、この発明の主たる目的は、像
の微妙な変化の再現が可能で、かつ通信データ量および
送信側の計測に必要な処理情報量および受信側の画像合
成に必要な処理情報量が十分に少なく、実用に適した像
の実時間認識合成装置を提供することである。

【００１２】

【課題を解決するための手段】前記目的を達成するた
め、本発明の像の実時間認識合成装置は、送信側の像モ
デルを、３次元ワイヤフレームモデルにカラーテクスチ
ャマッピングしたものにより像モデルデータとして構成
し、像モデルデータを、コンピュータグラフィックス技
術を用いて生成された仮想空間に配置し、受信側の立体
ディスプレイに、像の動きを再現して立体表示する、像
の実時間認識合成装置であって、像モデルデータを格納
する格納手段と、送信側の像モデルの動作などに基づ
く、動きパラメータを検出するパラメータ検出手段と、
送信側の像モデルの少なくとも一部を撮像して、画像デ
ータを検出する画像データ検出手段と、格納された像モ
デルデータと、検出された動きパラメータとを合成し
て、第１の画像データを生成する第１の合成手段と、検
出された画像データと、格納された像モデルデータのう
ち撮像された像モデルの部分に対応する部分像モデルデ
ータとを合成して第１の中間画像データを調整する第１
の調整手段と、検出された動きパラメータのうち、撮像
された像モデルの部分の外縁に近接する近接パラメータ
と、像モデルデータのうち少なくとも撮像された像モデ
ルの部分の周縁に対応する周縁像モデルデータとを合成
して第２の中間画像データを調整する第２の調整手段
と、調整された第１の中間画像データと第２の中間画像
データとを合成して第２の画像データを生成する第２の
合成手段と、生成された第１の画像データと、生成され
た第２の画像データとを合成して、第３の画像データを
生成する第３の合成手段と、生成された第３の画像デー
タに基づいて、送信側の像モデルの動きを再現する像再
現手段とを備えることを特徴としている。

【００１３】

【作用】この発明による像の実時間認識合成装置は、以
下の作用を持つ。

【００１４】まず送信側から送られる像の動きパラメー
タと、受信側に予め保存されている像モデルデータとが
合成され、第１の画像データとなる。特に微妙な像の再
現が必要な部分は撮像され、送信側から画像データとし
て別個に送信される。撮像された画像データと撮像され
た部分に対応する像モデルデータとが合成され第１の中
間画像データとなる。検出された動きパラメータのうち
撮像された部分の外縁に近接するパラメータと撮像され
た部分の周縁に対応する像モデルデータとが合成され第
２の中間画像データとなる。第１の中間画像データと第
２の中間画像データは合成され第２の画像データとな
る。そして第１の画像データと第２の画像データは合成
され、第３の画像データとなる。第３の画像データは受
信側のディスプレイに実時間で再現される。

【００１５】

【実施例】図１は、この発明の一実施例の実時間認識合
成装置を示す構成図、図２は、図１の表情検出器１０３
の具体例を示す図、図３は図１の人物モデルデータベー
ス１１１に含まれる人物の頭部のワイヤフレームモデル
を示した図、図４は図１のモデル変形調整部で行なわれ
る処理について説明するための図である。

【００１６】図１から図４を用いてこの発明の一実施例
の実時間認識合成装置の構成と動作について説明する。

【００１７】図１中の矢印は、データの送られる方向を
示している。実時間認識装置は、大きくは送信側システ
ム１１と受信側システム１３とから構成される。

【００１８】送信側のシステム１１は、実空間１中の送
信側の人物３の体の動きを検出する体の動き検出器１０
１と、表情を検出する表情検出器１０３とから構成され
ている。体の動き検出器１０１として、たとえばＶＰＬ
社のデータグローブや、Polhemusの磁気センサが使用さ
れる。体の動き検出器１０１により得られたデータは、
体の動きパラメータ２１として、受信側システム１３へ
送信される。

【００１９】表示検出器１０３は、図２に示すように、
頭部に固定されたカメラ２０１により表情を撮影する装
置である。カメラ２０１は、顔２０９および顔２０９の
表情筋の上の皮膚表面に止着されたマーカー２０３を撮
像する。撮像された画像データ２０５中で、マーカー２
０３の移動方向、移動距離はトラッキングされ、顔マー
カーの動きパラメータ２３として、受信側システム１３
へと送られ、特に複雑な変化をする目のまわりのデータ
は、画像データ２５として受信側システム１３へ送られ
る。

【００２０】受信側システム１３には、予め送信側の人
物３を３次元ワイヤフレームモデルとカラーテクスチャ
とによりモデル化した人物モデルデータベース１１１が
用意されている。

【００２１】３次元ワイヤフレームモデルは、人体の表
面を三角形のパッチで近似したものであり、カラーテク
スチャは人体表面の色彩情報である。

【００２２】体の動きパラメータ２１と顔マーカーの動
きパラメータ２３は、第１画像合成部１０５へ送られ、
そこで人物モデルデータベース１１１から取出された３
次元ワイヤフレームモデルおよびカラーテクスチャ２７
と合成される。合成は具体的には３次元ワイヤフレーム
モデルの頂点座標を体の動きパラメータ２１と顔マーカ
ーの動きパラメータ２３に合せて変形させることによっ
て行なわれる。これにより、人体の動きや顔マーカーの
動きによる形状変化が再現される。

【００２３】また画像データ２５と顔マーカーの動きパ
ラメータ２３と人物モデルデータベース１１１中の３次
元ワイヤフレームモデル２９とがモデル変形調整部１１
７へ送られる。モデル変形調整部１１７で行なわれる処
理を以下に説明する。

【００２４】人物モデルデータベース１１１中の３次元
ワイヤフレームモデル２９において、目の部分４５と目
のまわりの部分４６は、図３に示されるように他の部分
４７に比べノードの密度が高く、三角形のパッチが細か
くなるように設定されている。これは目の部分４５およ
び目のまわりの部分４６は特に微妙な変化の再現が必要
なためである。画像データ２５は目の部分４５と目のま
わりの部分４６に合成される。モデル変形調整部１１７
において、表情検出器から送信された顔マーカーの動き
パラメータ２３からの情報に基づいて目のまわりの部分
４６のワイヤフレームの頂点座標の移動が行なわれ、形
状変化が再現される。

【００２５】この形状変化はたとえば図４に示されるよ
うに顔に止着されたマーカー２０３ａ〜２０３ｄが矢印
２０４ａ〜２０４ｄのように動いたことに応じて、目の
まわりの部分４６中のワイヤフレームモデルの各々の頂
点座標の移動が計算により、矢印２１３ａ〜２１３ｄの
ように行なわれることによって表わされる。

【００２６】第２画像合成部１０７において、形状変化
が再現された目のまわりの部分のワイヤフレームモデル
５９と、目の部分４５と目のまわりの部分４６とに合成
された画像データ５７とが合成される。画像合成はたと
えばSilicon Graphics社のワークステーションＯＮＹＸ
により行なわれる。第１画像合成部１０５と第２画像合
成部１０７により得られた画像データ３１，３３は、各
々第３画像合成部１０９へ送られ合成される。合成され
た人物像５は、コンピュータグラフィックス技術を用い
て生成された仮想空間７中に配置される。受信側の立体
ディスプレイ９には、人物像５を含む仮想空間７が表示
される。

【００２７】また、第１画像合成部により合成された画
像の色調データ４１と第２画像合成部により合成された
画像の色調データ４３は各々色調検査部１１３に送られ
そこで比較される。その差が所定値より大きい場合、そ
の差の情報３９を、人物モデルデータベース１１１へフ
ィードバックし、その差が小さくなるように人物モデル
データベース１１１中のカラーテクスチャは補正され
る。

【００２８】会議システムなどでは、照明条件などはあ
まり頻繁には変化しないので、この補正処理は数秒〜数
分に１回でよい。画像データ２５は、１秒間に数枚〜数
十枚送られてくるため、画像データ２５を補正するより
も、人物モデルデータベース１１１中のカラーテクスチ
ャを補正した方が、処理情報量を減らす上で有利であ
る。

【００２９】なお、図５から図７は、図１の実施例にお
いて第１画像合成部１０５により合成された画像と、第
２画像合成部１０７により合成された画像の境界での色
調の変化を目立たなくさせるために行なう処理について
説明するための図である。

【００３０】図５において、人物モデルデータベース中
の人物モデルデータ２０７より取出された目のまわりの
３次元ワイヤフレームモデル２９と、顔マーカーの動き
パラメータ２３と、画像データ２５はモデル変形調整部
１１７へ送られる。前述したようにモデル変形調整部１
１７において、目のまわりの部分の３次元ワイヤフレー
ムモデルと顔マーカーの動きパラメータ２３が合成され
た第１の中間画像データ５９と、目の部分と目のまわり
の部分の３次元ワイヤフレームモデルと画像データ２５
が合成された第２の中間画像データ５７が生成される。
生成された中間画像データ５７、５９は第２画像合成部
１０７へと送られ合成され、第２の画像データ３３とな
る。一方、人物モデルデータ２０７より取出された目の
まわりを除く部分の３次元ワイヤフレームモデルおよび
カラーテクスチャ２７は、第１画像合成部１０５に送ら
れ、体の動きパラメータ２１および顔マーカーの動きパ
ラメータ２３と合成され、第１の画像データ３１とな
る。この第１の画像データ３１と第２の画像データ３３
が第３画像合成部１０９へ送られ、人物像５が合成され
る。

【００３１】このとき、第１の画像データと第２の画像
データの境界部を目立たなくさせるために、各々には色
調調整部分５０４に対応するデータが含まれている。色
調調整部分５０４は、図６に示されているように第１の
画像データ３１の領域と第２の画像データ３３の領域と
が重なる領域である。色調調整部分５０４は、図３の目
のまわりの部分４６と同じであっても、異なってもよ
い。

【００３２】図６において、第１の画像データ３１の色
調調整部分５０４との境界点Ａでの色調データ６００、
第２の画像データ３３の色調調整部分５０４との境界点
Ｂでの色調データ６０２が、図のような色調レベルであ
ったとすると、その色調調整部分５０４の領域では第１
の画像データ３１の色調データ６００は、色調調整部分
５０４の領域中を、第２の画像データ３３の領域側へ進
むごとに線形的に減少させていき、色調調整部分５０４
の領域の第２の画像データ３３の領域側の境界点Ｂの位
置で０にする。この線形的な色調データの減少を６０６
に示す。

【００３３】同様に第２の画像データ３３の色調データ
６０２は、色調調整部分５０４の領域中を、第１の画像
データ３１の領域側へ進むごとに、線形的に減少させて
いき、色調調整部分５０４の領域の第１の画像データ３
１の領域側の境界点Ａの位置で０にする。この線形的な
色調データの減少を６０８に示す。

【００３４】そして、色調調整部分５０４の領域での色
調データは、第１の画像データの色調データ６０６と第
２の画像データの色調データ６０８を足し合せたもの
を、色調調整部分５０４での色調データ６０４とする。
この処理により第１の画像データ３１と第２の画像デー
タ３３の境界を目立たなくすることができる。

【００３５】図７に示すように、色調は第１の画像デー
タ３１と第２の画像データ３３の中でも場所により色調
レベルが異なる場合がある。その場合、その部分毎に図
６で示される色調調整処理をすれば良い。

【００３６】なお、この実施例では画像データとして送
信する部位を、目の部分に設定したが、口など他の部分
でもよい。

【００３７】また、この実施例では人物像を例に挙げた
が、動物などでも実施が可能である。

【００３８】さらにこの実施例では、モデル変形調整部
で目のまわりの部分のワイヤフレームモデルの形状を変
化させたが、目の部分のワイヤフレームモデルの形状を
変化させるようにしてもよい。

【００３９】

【発明の効果】以上のようにこの発明によると、像の変
化の単純な部分は動きパラメータとして送信し、像の変
化の複雑な部分は画像データとして送信するため、送信
する情報量が少なく画像処理を高速で行なうことができ
る。また像の中で複雑な変化をする部分についての変化
を正確に再現することが可能である。

【図面の簡単な説明】

【図１】この発明の一実施例による実時間認識合成装置
の構成とデータの送られる方向を示した図である。

【図２】図１の表情検出器の具体例を説明するための図
である。

【図３】図１の人物モデルデータベースに含まれる人物
の頭部のワイヤフレームモデルを示した図である。

【図４】図１のモデル変形調整部で行なわれる処理につ
いて説明するための図である。

【図５】図１の受信側システムの画像合成方法を説明す
るための図である。

【図６】図１の第３画像合成部での第１の画像データ３
１と第２の画像データ３３の境界部での色調調整の処理
を説明するための図である。

【図７】図４の処理方法を用いて図３の画像合成を具体
的に示した図である。

【図８】従来の実時間認識合成装置の構成と、データの
送られる方向を示した図である。

【図９】図６の表情検出器の具体例を説明するための図
である。

【符号の説明】

３ 送信側の人物 ５ 合成された人物像 ７ 仮想空間 ９ ディスプレイ ２１ 体の動きパラメータ ２３ 顔マーカーの動きパラメータ ２５ 画像データ １１１ 人物モデルデータベース １１７ モデル変形調整部

フロントページの続き (72)発明者 田中 弘美 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール通信シ ステム研究所内 (72)発明者 北村 泰一 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール通信シ ステム研究所内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 送信側の像モデルを、３次元ワイヤフレ
   ームモデルにカラーテクスチャマッピングしたものによ
   り像モデルデータとして構成し、前記像モデルデータ
   を、コンピュータグラフィックス技術を用いて生成され
   た仮想空間に配置し、受信側の立体ディスプレイに、像
   の動きを再現して立体表示する、像の実時間認識合成装
   置であって、 前記像モデルデータを格納する格納手段と、 前記送信側の像モデルの動作などに基づく、動きパラメ
   ータを検出するパラメータ検出手段と、 前記送信側の像モデルの少なくとも一部を撮像して、画
   像データを検出する画像データ検出手段と、 前記格納された像モデルデータと、前記検出された動き
   パラメータとを合成して、第１の画像データを生成する
   第１の合成手段と、 前記検出された画像データと、前記格納された像モデル
   データのうち前記撮像された像モデルの部分に対応する
   部分像モデルデータとを合成して第１の中間画像データ
   を調整する第１の調整手段と、 前記検出された動きパラメータのうち、前記撮像された
   像モデルの部分の外縁に近接する近接パラメータと、前
   記像モデルデータのうち少なくとも前記撮像された像モ
   デルの部分の周縁に対応する周縁像モデルデータとを合
   成して第２の中間画像データを調整する第２の調整手段
   と、 前記調整された第１の中間画像データと第２の中間画像
   データとを合成して第２の画像データを生成する第２の
   合成手段と、 前記生成された第１の画像データと、前記生成された第
   ２の画像データとを合成して、第３の画像データを生成
   する第３の合成手段と、 前記生成された第３の画像データに基づいて、前記送信
   側の像モデルの動きを再現する像再現手段とを備えた、
   像の実時間認識合成装置。