JPH0475639A - 顔画像モデル生成装置 - Google Patents

顔画像モデル生成装置

Info

Publication number
JPH0475639A
JPH0475639A JP2192136A JP19213690A JPH0475639A JP H0475639 A JPH0475639 A JP H0475639A JP 2192136 A JP2192136 A JP 2192136A JP 19213690 A JP19213690 A JP 19213690A JP H0475639 A JPH0475639 A JP H0475639A
Authority
JP
Japan
Prior art keywords
face image
face
feature point
image
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2192136A
Other languages
English (en)
Other versions
JP2787612B2 (ja
Inventor
Yoshio Nagashima
永嶋 美雄
Takeshi Jo
剛 徐
Hiroshi Agawa
阿川 弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
A T R TSUSHIN SYST KENKYUSHO KK
Original Assignee
A T R TSUSHIN SYST KENKYUSHO KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by A T R TSUSHIN SYST KENKYUSHO KK filed Critical A T R TSUSHIN SYST KENKYUSHO KK
Priority to JP2192136A priority Critical patent/JP2787612B2/ja
Publication of JPH0475639A publication Critical patent/JPH0475639A/ja
Application granted granted Critical
Publication of JP2787612B2 publication Critical patent/JP2787612B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 [産業上の利用分野〕 この発明は、顔画像モデル生成装置に関し、特に、正面
および側面から見た人物の顔画像信号に基づいて、顔画
像モデルを生成する顔画像モデル生成装置に関する。
[従来の技術および発明が解決しようとする課題]顔画
像モデルを生成する方法として、従来から、モアレ法を
用いる方法が知られている。モアレ法を用いる方法では
、たとえば「顔画像の入力と生成に関する位置検討」と
題された論文(1989年電子情報通信学会春期全国大
会、5D−3−13)において記載されている。しかし
ながら、このモアレ法では、顔の形状を示すモアレ縞を
生成するのに、スリット光を照射するためのプロジェク
タや、プロジェクタとカメラの光軸を設定する光軸調整
装置などの特殊で大掛かりな設備が必要となる。また、
スリット光を照射したときに、顔面上のスリット光が容
易に識別できるように、顔面に顔料を塗ったり、また、
周囲の照明条件を厳密に調整しなければならないという
不都合があった。
この発明は、上記のような課題を解決するためになされ
たもので、顔画像モデルを生成するのに必要な設備およ
び準備が簡単化された顔画像モデル生成装置を提供する
ことを目的とする。
[課題を解決するための手段] この発明に係る顔画像モデル生成装置は、対象人物の顔
を正面から見たときの正面顔画像を撮像する第1の撮像
手段と、対象人物の顔を側面から見たときの側面顔画像
を撮像する第2の撮像手段と、正面顔画像信号および側
面顔画像信号に基づいて、対象人物の顔の特徴点を検出
する特徴点検出手段と、標準の人物の顔を構成するワイ
ヤフレームモデル信号を予め記憶する記憶手段と、特徴
点検出手段によって検出された特徴点データに応答して
、記憶手段に記憶されたワイヤフレームモデル信号に含
まれる標準の人物の顔の特徴点データを変更する特徴点
変更手段とを含む。
[作用コ この発明における顔画像モデル生成装置では、正面およ
び側面の2つの方向から見た対象人物の顔画像に基づい
て、特徴点検出手段により対象人物の顔の特徴点が検出
される。生成されるべき顔画像モデルは、特徴点検出手
段によって検出された特徴点データに応答して、標準の
人物の顔を構成するワイヤフレームモデル信号中の特徴
点データを変更することにより生成される。このように
、対象人物の顔を2つの方向から撮像する第1および第
2の撮像手段以外に、顔画像を撮像するのに必要な設備
または準備が必要とされないので、設備および準備の簡
単化が図れる。
[発明の実施例] 第1図は、この発明の一実施例を示す顔画像モデル生成
装置のブロック図である。第1図を参照して、この顔画
像モデル生成装置は、対象となる人物18の正面の顔画
像を撮像するビデオカメラ11と、側面の顔画像を撮像
するビデオカメラ12と、撮像された映像信号をディジ
タル信号に変換するA/D変換器2および3と、ディジ
タル変換された画像信号S1およびS2に基づいて顔画
像モデル生成のための演算処理を行なう演算処理部1と
を含む。演算処理部1は、正面の顔画像信号S1および
側面の顔画像信号S2に基づいて対象人物18の顔画像
の特徴点を抽出する特徴点検出部13と、標準となる人
物の顔画像のワイヤフレームモデルデータを予めストア
する標準モデル記憶部15と、特徴点検出部13によっ
て検出された特徴点データ信号S7に応答して、記憶部
15内にストアされている標準の人物の顔画像のワイヤ
フレームモデルデータを変更処理する変更処理部14と
、変更されたワイヤフレームモデルに濃淡情報を付与す
るテクスチャーマツピング部16とを含む。
動作において、ビデオカメラ11により対象人物18の
正面から見た顔画像が撮像され、他方、ビデオカメラ1
2により人物18の側面から見た顔画像が撮像される。
撮像された各顔画像信号は、A/D変換器2および3に
よりディジタル信号S1およびS2に変換された後、演
算処理部1に与えられる。正面の顔画像信号S1に基づ
いて、画面19が得られる。また、側面の顔画像信号S
2に基づいて画面20が得られる。画面19は、正面の
顔画像をx−y平面に投影した画像、一方、画像20は
、側面の顔画像をy−z平面に投影した画像として捕ら
えられる。すなわち、x、y。
2の座標軸が設定され、正面画像と側面画像での対応点
のy座標値が一致するようにされる。
特徴点検出部13は、A/D変換器2および3からの出
力信号S1およびS2に基づいて、顔画像の輪郭線およ
び眼2ロ、鼻の輪郭線を抽出し、抽出した輪郭線より、
予め定められた特徴点の3次元座標を計測する。特徴点
は、個人の顔形状特徴を表わし、かつ画像処理手法によ
り比較的容易に検出できるような点が選ばれる。
第2図は、第1図に示した特徴点検出部13のブロック
図である。特徴点検出部13において抽出される特徴点
の例として、第3A図および第3B図に示すような画像
内の21点が設定される。
第2図を参照して、この特徴点検出部は、信号S1に基
づいて正面画像の輪郭線を抽出する抽出部301と、信
号S2に基づいて側面画像の輪郭線を抽出する抽出部3
02と、正面画像の中心線の座標を決定する中心座標決
定部303と、側面画像の輪郭線の曲率を検出する曲率
検出部304と、検出された曲率に基づいて側面画像の
特徴点を抽出する特徴点抽出部305と、正面画像にお
いて小領域を設定する小領域設定部306と、側面画像
において小領域を設定する小領域設定部307と、設定
された各小領域において特徴点をそれぞれ抽出する特徴
点抽出部308および309と、抽出された特徴点の3
次元座標を決定する3次元座標決定部310とを含む。
動作において、正面輪郭線抽出部301および側面輪郭
線抽出部302は、正面画像および側面画像の輪郭線を
それぞれ抽出する。ここで顔画像の背景を白にすること
により、濃度ヒストグラム法によって容易に輪郭線を抽
出できる。抽出された輪郭線の例が第4A図および第4
B図に示される。
第2図に示した中心座標決定部303は、正面輪郭線抽
出部301の出力輪郭線より、中心線CLを規定する中
心座標値Xcを求める。この値XCは、特徴点aないし
iのX座標に相当する。
曲率検出部304は、側面輪郭線抽出部302の出力輪
郭線上の各点の曲率を検出する。特徴点抽出部305は
、曲率検出部304で検出された曲率値が予め定められ
たしきい値よりも大きい点を顔の特徴点の候補として抽
出する。なお、ここでは、顔側面輪郭線上の特徴点とし
て、第3A図に示すように、眉間、眼間、鼻上、鼻下、
上唇。
唇間、下唇、顎上および顎先の9つの特徴点aないしi
を定めた。特徴点の相互位置関係について、予めストア
されているデータと検出された特徴点候補のデータとを
対比することにより、正しい特徴点が決定され、そのy
、  z座標が求められる。
この値は、特徴点aないしiのy、  z座標に相当す
る。
小領域設定部306は、特徴点抽出部305で求められ
た特徴点aないしiのy座標と、中心座標決定部303
で求められた特徴点aないしiのX座標とを利用して、
正面画像の眼、鼻9口および顎部分をそれぞれ含む、小
領域を設定する。小領域設定部307は、特徴点抽出部
305で求められた特徴点aないしiのy、z座標を利
用して、側面画像の眼、鼻および口部分をそれぞれ含む
小領域を設定する。小領域の位置は、経験的に定められ
た値を用い、その−例が第5図に示される。
ここで小領域の大きさは、眼、鼻2口および顎の構成要
素が入るような大きさを、人物の顔面の計測データを基
にして予め定めておく。計測データとしては、たとえば
「人物頭部特徴点の3次元分布」と題された論文(19
87年電子情報通信学会部門別全国大会1−101)に
記載されたデータなどが利用できる。なお、入力画像の
大きさが変化したときには、たとえば特徴点d−f間の
距離に従って入力画像の大きさが比例的に変化される。
特徴点抽出部308は、各小領域ごとにエツジ検出処理
、2値化処理および細線化処理を行ない、第3B図に示
す特徴点jないしUのx、  y座標および顎部分の輪
郭線のx、  y座標を求める。特徴点抽出部309は
、各小領域ごとにエツジ検出処理、2値化処理および細
線化処理を行ない、第3A図に示す特徴点j、  k、
 m、  rおよびtの2座標を決定する。
3次元座標決定部310は、顔画像の対象性を仮定して
、特徴点抽出部309で求められた値を利用して、特徴
点o、  p、  q、  sおよびUの2座標を決定
する。また、正面画像と側面画像の処理では求めること
ができない座標は、人物の顔面の平均的な値を利用して
決定する。たとえば、特徴点りおよびnの2座標は、側
面画像では死角になるため求められないので、特徴点j
およびpからの平均的な距離が用いられる。平均的な値
とじては、たとえば「人物頭部特徴点の3次元分布」と
題された論文(1987年電子情報通信学会部門別全国
大会1−101)に記載されたデータなどが利用できる
。3次元座標決定部310で決定された第3A図および
第3B図の21の特徴点aないしUおよび顔輪郭線のx
、  y、  z座標は、第1図に示された変更処理部
14へ与えられる。
変更処理部14では、特徴点抽出部13で求められた輪
郭線と特徴点の3次元座標値に基づいて予め準備された
標準モデルの頂点を移動させる。
標準モデル記憶部15は、標準的な顔形状を表わすワイ
ヤフレームモデルの3次元データが記憶されている。変
更処理部14における変更処理は、まず、正面輪郭線に
対応する標準モデル上の頂点を移動させ、次に、特徴点
座標に対応する頂点を移動させる。特徴点以外の標準モ
デルの頂点は、求められた輪郭線および特徴点の移動量
に基づいて線形移動される。
テクスチャーマツピング部16では、変更処理部14で
変形されたワイヤフレームモデルに対して、ビデオカメ
ラ11および12によ撮像された画像を投影し、濃淡情
報を付与することにより、顔画像モデルを生成する。
生成された顔画像モデルは、D/A変換器4を介して表
示部17に与えられる。生成された顔画像モデルは、3
次元座標に基づいて生成されているので、様々な方向お
よび距離から見た顔画像を表示部17上に表示すること
ができる。
このように、第1図に示した構成を有する顔画像モデル
生成装置を用いると、2つのビデオカメラ11および1
2により撮像された画像に基づいて顔面上の特徴点が抽
出され、抽出された特徴点情報に基づいて標準のワイヤ
フレームモデルを変形することにより顔画像モデルを生
成することができる。この装置では、特殊な装置を準備
する必要がなく、さらに周囲の照明条件を厳格に調整す
る必要もないので、顔画像モデルの生成に必要な設備を
大幅に簡単化することができる。
[発明の効果コ 以上のように、この発明によれば、第1および第2の撮
像手段によって得られた対象人物の正面および側面の顔
画像信号に基づいて顔画像モデルが生成されるので、顔
画像モデルの生成に使われる画像データを得るのに必要
な設備および準備が簡単化された顔画像モデル生成装置
が得られた。
【図面の簡単な説明】
第1図は、この発明の一実施例を示す顔画像モデル生成
装置のブロック図である。第2図は、第1図に示した特
徴点検出部のブロック図である。 第3A図および第3B図は、第2図に示した特徴点検出
部において検出される特徴点の例を示す特徴点図である
。第4A図および第4B図は、第2図に示した輪郭線抽
出部において抽出される輪郭線の例を示す輪郭線図であ
る。第5図は、第2図に示した小領域設定部において設
定される小領域の位置を示す小領域位置図である。 図において、1は演算処理部、13は特徴点検出部、1
4は変更処理部、15は標準モデル記憶部、16はテク
スチャーマツピング部、301は正面輪郭線抽出部、3
02は側面輪郭線抽出部、303は中心座標決定部、3
04は曲率検出部、305は特徴点抽出部、306,3
07は小領域設定部、308,309は特徴点抽出部、
310は3次元座標決定部である。

Claims (3)

    【特許請求の範囲】
  1. (1)対象となった人物の顔画像モデルを生成する顔画
    像モデル生成装置であって、 前記人物の顔を正面から見たときの正面顔画像を撮像す
    る第1の撮像手段と、 前記人物の顔を側面から見たときの側面顔画像を撮像す
    る第2の撮像手段と、 正面顔画像信号および側面顔画像信号に基づいて、前記
    人物の顔の特徴点を検出する特徴点検出手段と、 標準の人物の顔を構成するワイヤフレームモデル信号を
    予め記憶する記憶手段とを含み、前記ワイヤフレームモ
    デル信号は、前記標準の人物の顔の特徴点データを含ん
    でおり、 前記特徴点検出手段によって検出された特徴点データに
    応答して、前記記憶手段に記憶された特徴点データを変
    更する特徴点変更手段を含む、顔画像モデル生成装置。
  2. (2)前記特徴点検出手段は、 正面顔画像信号に基づいて、前記正面顔画像の中心線の
    座標を検出する中心線検出手段と、側面顔画像信号に基
    づいて、前記側面顔画像の輪郭線の座標を検出する輪郭
    線検出手段と、前記輪郭線検出手段によって検出された
    輪郭線の曲率を検出する曲率検出手段とを含み、前記人
    物の顔の特徴点は、前記曲率検出手段によって検出され
    た曲率値に応答して決定され、前記人物の顔の特徴点の
    座標は、前記中心線検出手段によって検出された中心線
    の座標と、前記輪郭線検出手段によって検出された輪郭
    線の座標とによって規定される、請求項1に記載の顔画
    像モデル生成装置。
  3. (3)前記特徴点検出手段は、さらに、 前記対象人物の顔の特徴点の座標値に基づいて、前記対
    象人物の各眼、鼻、口および顎部分をそれぞれ示す複数
    の領域を前記正面顔画像および側面顔画像の中で決定す
    る領域決定手段と、前記領域決定手段によって決定され
    た各領域内において、前記対象人物の各眼、鼻、口およ
    び顎部分の形状の図形処理により特徴点を抽出する特徴
    点抽出手段とを含む、請求項2に記載の顔画像モデル生
    成装置。
JP2192136A 1990-07-19 1990-07-19 顔画像モデル生成装置 Expired - Fee Related JP2787612B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2192136A JP2787612B2 (ja) 1990-07-19 1990-07-19 顔画像モデル生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2192136A JP2787612B2 (ja) 1990-07-19 1990-07-19 顔画像モデル生成装置

Publications (2)

Publication Number Publication Date
JPH0475639A true JPH0475639A (ja) 1992-03-10
JP2787612B2 JP2787612B2 (ja) 1998-08-20

Family

ID=16286286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2192136A Expired - Fee Related JP2787612B2 (ja) 1990-07-19 1990-07-19 顔画像モデル生成装置

Country Status (1)

Country Link
JP (1) JP2787612B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219421A (ja) * 1998-01-30 1999-08-10 Toshiba Corp 画像認識装置及び画像認識装置方法
JP2008307568A (ja) * 2007-06-14 2008-12-25 Sintokogio Ltd 回収鋳型砂の冷却方法およびその装置
JP2012177954A (ja) * 2011-01-17 2012-09-13 One Face Co Ltd 三次元面フィギュア製作方法
JP6456461B1 (ja) * 2017-11-17 2019-01-23 株式会社アルム 鼻弁狭窄診断装置、および鼻弁狭窄診断システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4216824B2 (ja) 2005-03-07 2009-01-28 株式会社東芝 3次元モデル生成装置、3次元モデル生成方法および3次元モデル生成プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01114986A (ja) * 1987-10-29 1989-05-08 Nippon Genshiryoku Bougo Syst Kk 個人識別装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01114986A (ja) * 1987-10-29 1989-05-08 Nippon Genshiryoku Bougo Syst Kk 個人識別装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219421A (ja) * 1998-01-30 1999-08-10 Toshiba Corp 画像認識装置及び画像認識装置方法
JP2008307568A (ja) * 2007-06-14 2008-12-25 Sintokogio Ltd 回収鋳型砂の冷却方法およびその装置
JP2012177954A (ja) * 2011-01-17 2012-09-13 One Face Co Ltd 三次元面フィギュア製作方法
JP6456461B1 (ja) * 2017-11-17 2019-01-23 株式会社アルム 鼻弁狭窄診断装置、および鼻弁狭窄診断システム

Also Published As

Publication number Publication date
JP2787612B2 (ja) 1998-08-20

Similar Documents

Publication Publication Date Title
US7606392B2 (en) Capturing and processing facial motion data
US7825948B2 (en) 3D video conferencing
JP5632100B2 (ja) 表情出力装置及び表情出力方法
JP3512992B2 (ja) 画像処理装置および画像処理方法
JP5093053B2 (ja) 電子カメラ
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
JP2011254411A (ja) 映像投影システムおよび映像投影プログラム
US9558406B2 (en) Image processing apparatus including an object setting section, image processing method, and program using the same
D'Apuzzo Surface measurement and tracking of human body parts from multi station video sequences
CN115733936A (zh) 图像处理设备、图像处理方法和存储介质
JP5419757B2 (ja) 顔画像合成装置
JP4203279B2 (ja) 注目判定装置
CN110909571B (zh) 一种高精度面部识别空间定位方法
CN110059537A (zh) 一种基于Kinect传感器的三维人脸数据获取方法及装置
JP2787612B2 (ja) 顔画像モデル生成装置
JP5419773B2 (ja) 顔画像合成装置
JP5419777B2 (ja) 顔画像合成装置
CN116597488A (zh) 一种基于Kinect数据库的人脸识别方法
EP1410332B1 (en) Method for automatic tracking of a moving body
JPH0273471A (ja) 三次元形状推定方法
JPH0850660A (ja) 像の実時間認識合成装置
CN113805824B (zh) 电子装置以及在显示设备上显示图像的方法
JP2627487B2 (ja) 像の実時間認識合成装置
US12001746B2 (en) Electronic apparatus, and method for displaying image on display device
JPH04115372A (ja) 顔特徴点抽出装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080605

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090605

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees