JPH11219422A - 顔による個人同定通信方法 - Google Patents

Abstract

(57)【要約】 【課題】従来の顔構造に着目した顔の構造と動きの情報
を分けた画像圧縮方式による通信方法では、顔データの
盗撮による不正生成、および顔データの盗難によって、
他者になりすます不正利用に対して対応できなかた。 【解決手段】本発明によれば、リアルタイムに撮影され
た動画像より顔の構造情報とテクスチャ情報を計測する
手法と、動画像より各フレームの顔の動きのあった部位
を形状情報を含めてリアルタイムに計測する手法と、構
造情報とテクスチャ情報と、動きの情報とにより、顔を
再生表示する手法とを持つ、ネットワーク１０１に接続
された複数の通信装置３０２ａ，３０２ｂによる通信に
おいて、相互に該構造と該テクスチャ情報４０１ａを交
換し、リアルタイムに計測した動き情報のみを通信する
ことで計測処理負荷とネットワーク負荷を軽減するとと
もに、異なる人物による不正利用に対し動きのあった部
位の形状が異なる人物の形状に変形することにより、他
者の顔データの不正利用を認識することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】ネットワークに接続されたコ
ンピュータによるリアルタイム通信に関し、顔の構造情
報とテクスチャ情報と動き情報を分けて転送することで
ネットワーク負荷を軽減する技術における、顔による個
人同定通信技術に関する。

【０００２】

【従来の技術】本発明に関連する公知例として以下が挙
げられる。

【０００３】（１）相澤清晴他：構造モデルを用いた画
像の分析符号化方式、信学論、Vol.J72-B-I No.3 pp.20
0-207(1989.3) （２）辰野由美子他：全周計測距離データを用いた顔基
本6表情の解析と合成、テレビジョン学会誌、Vol.50,N
o.10,pp.1474-1481(1996) （３）中川雅通他：顔画像合成装置、特開平4-199474号
公報 （４）小山昌岐他：顔画像合成装置、特開平3-74777号
公報 （５）高沖英二：動画作成方法および動画作成装置、特
開平4-308974号公報 （６）堀井和哉：顔画像符号化方式、特開平4-308974号
公報 （７）鈴木紀子他：表情再現装置、特開平8-96162号公
報 文献（１）では、符号化対象に関する3次元構造情報を
知識として利用する画像の分析合成符号化の提案を行な
っている。この手法では、送信側と受信側で人物の顔画
像に関する3次元モデル知識を共有し、送信側では入力
画像の分析認識を行い、受信側では伝送された認識結果
に基づき知識を変形し画像合成を行なうことをにより再
生画像を得る。

【０００４】文献（２）では、全周計測レンジファイン
ダにより計測される頭部全周計測距離データを用いて、
顔面内の特徴点位置を計測し、基本6表情（怒り、嫌
悪、恐怖、喜び、悲しみ、驚き）の定量的解析を行い、
その解析結果を直接利用して3次元顔表情画像を合成す
る。

【０００５】公知例（３）は、3次元構造情報から顔の3
次元モデルを生成し、この3次元モデルに対して回転、
移動、変形を行なったものに対応表を元に顔画像を写像
することにより、顔画像を合成可能とする。

【０００６】公知例（４）は、入力した顔画像情報に含
まれない人間の本能的動作もしくは無意識動作に基づく
動きパラメータ及び表情パラメータを顔面画像情報に付
加することにより、顔画像の自然な表現を合成できるよ
うにする。

【０００７】公知例（５）は、コンピュータグラフィッ
クス等によるディジタル化した画像でーたによりアニメ
ーション化を行なう場合に、必要となるデータ量および
その処理量を大幅に減少するとともに、リアルタイムに
画像を変化させる。

【０００８】公知例（６）は、音声を認識し、音声に対
応する口形状を顔画像に合成表示できるようにする。

【０００９】公知例（７）は、人物の顔のワイヤーフレ
ームと１３種類の表情に応じたワイヤーフレーム頂点の
3次元動きベクトルと顔表面のマーカーの2次元動きベク
トルから3次元ベクトルへの変換マトリクスにより、ワ
イヤーフレームモデルの形状変化を再現する。

【００１０】

【発明が解決しようとする課題】人間は、従来、顔を介
して、個人を同定し、感情を含めた意思疎通を図ってい
るが、コンピュータとネットワークを利用した各種高度
な情報サービスにおいて、同様の個人同定方法とネット
ワーク負荷の小さい意思疎通方法が課題となっている。

【００１１】公知例で示したすべての例は、顔を再生す
るまたは、口の形状を再生するのみにとどまっており、
顔データの盗撮による不正生成、および顔データの盗難
によって、他者になりすます不正利用に対して、対応す
る方法を示しておらず、課題となっている。

【００１２】

【課題を解決するための手段】本発明の通信方法は、リ
アルタイムに撮影された動画像より顔の構造とテクスチ
ャを定量的に計測する手法と、動画像より各フレームの
顔の動きのあった部位を形状情報を含めてリアルタイム
に計測する手法と、構造情報とテクスチャ情報と、動き
情報とにより、顔を再生表示する手法とを備えている。

【００１３】さらに、通信開始時にリアルタイムに撮影
している動画像から顔の構造情報を生成し、転送する手
法を備えている。

【００１４】さらに、動画像のフレームごとに顔の基準
点を求め、動きがあった部位の基準点を原点とする座標
を求める手法を備えている。

【００１５】さらに、ワイヤーフレームで特徴点を結ん
だ三角パッチ形式により顔の構造情報を表現する手法を
備えている。

【００１６】さらに、ワイヤフレームの三角パッチに貼
り付けられたものを地図投影法の円筒図法により投影し
長方形に展開する手法を備えている。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。

【００１８】まず、本発明の装置構成を（１）節で説明
し、続いて本発明の装置動作の概要を（２）節で説明
し、以下（３）〜（６）節で各手段・機能の詳細につい
て説明する。

【００１９】（１）装置構成（図１） まず、顔による通信手段の装置構成を図1に示す。

【００２０】装置は、ネットワーク101に接続された複
数の通信端末102により構成されている。各通信端末102
は、3次元シーン入力部103とデータ処理演算部104、デ
ータ記憶部105、ネットワーク通信部106、画像表示部10
7、媒体Ｒ／Ｗ部108とから構成されている。

【００２１】（２）装置動作の概要（図２、３、４） 続いて、顔による対話的通信手段の装置動作の概要を図
２、３、４に示す。

【００２２】まず、顔データの作成動作の概要を図２に
示す。

【００２３】対象とする顔201を通信端末102に入力し、
通信端末により顔を分析し、顔の構造情報203と顔の動
きの情報204を作成する。このうち、顔の構造情報203を
媒体に記録する。この記憶する際に対象者201のＩＤと
対応づけしておく。

【００２４】続いて、作成した顔データをあらかじめ通
信を行なう人301a、301bとの間で202aと202bを交換して
おく（図３）。この交換の方法は、ネットワークを通じ
てでも構わないので、対話的な通信前に交換しても良
い。

【００２５】各交換したデータを各自の通信端末302a、
302bに202b、202aをそれぞれ記憶しておく。

【００２６】続いて、交換したそれぞれの顔データを使
った対話的な通信手段の動作概要を図４に示す。

【００２７】簡単のため、一方向のみの通信を考える。

【００２８】通信装置302aに撮影入力された対象者301a
の動画データと対象者301aの顔構造情報401aにより、顔
の動き情報402aを作成し、ネットワーク101を介して通
信装置302bまで転送する。

【００２９】顔の動き情報402aを受け取った通信装置30
2bは、あらかじめ入手済みの対応するＩＤの顔の構造情
報401aを用いて解析し、通信対象者301aの顔画像を再生
して表示する。

【００３０】（３）顔のデータを作成する手段（図５、
６） 人間の顔の構成に個人差は無く、上方が髪の毛に覆われ
た面に上から、左右に並んだ2つの眉、左右に並んだ2つ
の目、鼻、口があり、２つの目の外側にそれぞれ一つず
つの耳で構成されている。但し、その構成物の大きさや
形状、および、その配置に個人差がある。

【００３１】そこで、あらかじめ標準的な顔の３次元モ
デル（図５）を用意し、入力としては、各個人の顔を連
続的に様々な向きから撮影した動画とし、この３次元知
識を用いて各個人の顔データを計測する例を説明する。

【００３２】（イ）この場合の顔データ作成画像の特徴
点とその特徴点の３次元モデルの対応点により、動画像
の各フレームに写っている顔の向きを推定する。

【００３３】（ロ）動画像に写っている顔の外形を抽出
し、この外形部に合うように３次元モデルを変形する。

【００３４】（ハ）入力される動画画像の全てのフレー
ムに対し、（ロ）の処理を行ない、３次元モデルを変形
する。

【００３５】（ニ）さらに、全てのフレームに対し、外
形部の形状と変形した３次元モデルの形状とずれが無い
か検証する。

【００３６】以上のようにすれば、各個人の３次元モデ
ルを生成・計測できる。

【００３７】さらに、その表面に貼り付けるテクスチャ
として、各フレームの顔画像をつなぎ合わせ、図６のよ
うな地図で用いる円筒図法で投影し長方形に展開しテク
スチャを作成する。この方法は、既に各フレームの顔の
向きが分かっており、顔の３次元形状も分かっているた
め、３次元形状を各フレームの向きに合わせ、画像を貼
り付ける処理を各フレームで行なうことで、３次元モデ
ルにテクスチャを貼り付けることができる。３次元モデ
ルに貼りついたテクスチャを地図の円筒図法により投影
し長方形を展開することで、生成できる。

【００３８】（４）顔の動き・表情データの生成方法
（図７） 顔の動きには以下のようなものがある。

【００３９】（イ）首の筋肉による動き（顔の向き） （ロ）顔の中の筋肉による動き（表情） − 口の動き（発声、感情表現など）（頬、顎の動きも
含む） − 目の動き（瞬き、感情表現など）（眉の動きも含
む） これらの動きを計測する方法の例を図７に示す。この方
法を説明する。

【００４０】（ステップ710）まず、動画の各フレーム
中から、顔の特徴点711、712、713を抽出する。

【００４１】（ステップ720）（３）で作成した３次元
モデルの特徴点711、712、713、714に対応する対応点72
1、722、723から、顔の向きを推定する。

【００４２】（ステップ730）続いて、動画のフレーム
中の動いている顔の各構成要素731の位置（形状）を抽
出する。

【００４３】（ステップ740）３次元モデルの向きと各
構成要素の位置より、３次元モデル表面に貼り付いてい
るものとして、各構成要素の３次元座標を求める。

【００４４】以上のアルゴリズムにより、形状を含めた
動きの情報を抽出できる。

【００４５】（５）顔による通信方法 顔による通信方法をここでは説明する。

【００４６】（３）で作成した顔の３次元モデルを図３
のように、通信したい相手と交換する。この交換方法と
して、以下の２つ方法が考えられる。

【００４７】（イ）３次元モデルデータを記録した媒体
を交換し、このデータを自分の通信端末に入力してその
相手との通信に利用する方法。

【００４８】（ロ）通信する直前に、３次元モデルデー
タをネットワークを介して転送しておき、自分の通信端
末に入力してその相手との通信に利用する方法。

【００４９】（イ）は、容量の多い顔テクスチャデータ
をネットワークに介することなく転送できる特徴があ
る。また、 自分の顔データをネットワークに流さずに
通信できる。

【００５０】（ロ）は、相手との通信時に自分の顔テク
スチャデータを流すので、あらかじめ顔テクスチャデー
タを媒体で交換する必要がなく、簡単に通信できる特徴
がある。ただし、自分の顔テクスチャデータが直接、ネ
ットワークに流れるため、盗聴される恐れがある。

【００５１】それぞれの顔の転送元では、（４）で説明
したごとく、顔の動きを計測する。計測した動きの情報
をネットワークに介して転送先に送る。相手の顔の動き
の情報を受け取った転送先では、すでに入力済みの顔テ
クスチャデータと３次元モデルとに顔の動き情報に合わ
せて変形し、顔の動き、表情も含めて再生する。

【００５２】（６）顔の不正利用の認識 このような通信方法が一般化すると、人の顔に成りすま
し、不正利用される恐れがある。この不正利用には次の
ような物が考えられる。

【００５３】（イ）他人の顔データのＩＤを盗用し、こ
のＩＤの顔データを不正利用する（図８）。

【００５４】（ロ）ネットワークに流れる他人の顔デー
タを盗聴し、この顔データを交換して不正利用する（図
９）。

【００５５】（ハ）成りすます他人の顔を盗撮し、この
画像から顔データを作成・交換して不正利用する（図
９）。

【００５６】これらの不正利用に対応するために、顔情
報の運用を考える必要がある。

【００５７】そもそも、人を人前に曝して生活している
わけだから、（ハ）のように顔データを入手するのは簡
単である。このような不正利用を防ぐには以下のような
方法が考えられる。

【００５８】（イ）顔データの生成方法（アルゴリズ
ム）・及び、フォーマットを秘密にする。

【００５９】（ロ）撮影した動画から顔の動きと顔の形
状を完全に分離せずに転送し、この情報により顔画像を
再生する。

【００６０】このうち、（イ）は、暗号技術と同様で、
解読される恐れがある。

【００６１】ここでは、（ロ）を利用した通信方法を説
明する。

【００６２】撮影画像から動き・表情のみを抽出し転送
したのでは、他人の顔でも不自然無く動いてしまう。そ
こで、撮影画像から顔の動き・表情の計測時に、動きを
顔の基準点（原点）からの座標で表現する。このことに
より、動きのある部位の形状情報も転送されるため、他
人の顔で生成された情報では転送先で不自然になる。ま
た、動きを検出する箇所が増えるほど、形状が他人の顔
そのものになるため、不正通信であることが認識でき
る。

【００６３】不正利用者があらかじめ、盗撮した画像を
利用しても、対話的な通信のため、即時的に画像をつな
ぎ合わせて音声と合わせる必要があり、不可能に近いと
思われる。

【００６４】

【発明の効果】以上で詳細に説明した如く、本発明によ
れば、ネットワークに接続されたコンピュータにおける
相互通信において、あらかじめ顔の構造情報を交換して
おくことにより、顔の動き・表情情報のみを転送するこ
とで、ネットワーク負荷を軽減することができるととも
に他人のなりすましに対してその他人の形状に変形する
ことで不正利用を認識することができるという顕著な効
果を奏するものである。

【図面の簡単な説明】

【図１】本発明の装置構成の一例図である。

【図２】本発明の顔構造情報の生成の概略図である。

【図３】本発明の顔構造情報の交換手法の一例図であ
る。

【図４】本発明の顔による個人同定通信手法の概略図で
ある。

【図５】本発明の顔の構造情報の３次元モデル情報の一
例図である。

【図６】本発明の顔の構造情報のテクスチャ情報の一例
図である。

【図７】本発明の顔の動き情報分析アルゴリズムの一例
フロー図である。

【図８】本発明の顔構造情報ＩＤ盗聴による不正利用の
一例図である。

【図９】本発明の顔構造情報の盗聴、盗撮不正作成によ
る不正利用の一例図である。

【符号の説明】

101…ネットワーク、 102…通信端末、 103…3次
元シーン入力部、104…データ処理部、 105…データ記
憶部、 106…ネットワーク通信部、107…画像表示部、
108…媒体Ｒ／Ｗ部。

Claims (5)

【特許請求の範囲】
1. 【請求項１】リアルタイムに撮影された動画像より顔の
   構造情報とテクスチャ情報を計測する手法と、 該動画像より各フレームの顔の動きのあった部位を形状
   情報を含めてリアルタイムに計測する手法と、 該構造情報と該テクスチャ情報と、該動きの情報とによ
   り、顔を再生表示する手法とを持つ、ネットワークに接
   続された複数の通信装置による通信において、 相互に該構造と該テクスチャ情報を交換し、リアルタイ
   ムに計測した該動きの情報のみを通信することと、 異なる人物による不正利用に対し、動きのあった部位の
   形状が該異なる人物の形状に変形することを特徴とした
   顔による個人同定通信方法。
2. 【請求項２】請求項１の通信方法において、顔のテクス
   チャ情報のみを相互に交換し、 通信開始時にリアルタイムに撮影している動画より顔の
   構造情報を計測して転送する手法を持ち、 異なる人物によるテクスチャ情報の不正利用に対し該異
   なる人物の構造となることを特徴とした顔による個人同
   定通信方法。
3. 【請求項３】請求項１の通信方法における顔の動き情報
   の計測手法において、 動画像のフレームごとに顔の基準点を求め、動きがあっ
   た部位の該基準点を原点とする座標を求める方法を持
   ち、該動き情報を転送して再生することで、異なる人物
   による不正利用に対し動きのあった部位が該異なる人物
   の形状に変形することを特徴とした顔による個人同定通
   信方法。
4. 【請求項４】請求項１の顔の構造情報において、 ワイヤーフレームで特徴点を結んだ三角パッチ形式によ
   り顔の構造情報を表現する手法を持つことを特徴とする
   顔による個人同定通信方法。
5. 【請求項５】請求項１の顔のテクスチャ情報において、 請求項４のワイヤフレームの三角パッチに貼り付けられ
   たテクスチャを地図の円筒図法により投影し長方形に展
   開する手法を持ち、該テクスチャを表現することを特徴
   とする顔による個人同定通信方法。