JP2787612B2 - 顔画像モデル生成装置 - Google Patents

顔画像モデル生成装置

Info

Publication number
JP2787612B2
JP2787612B2 JP2192136A JP19213690A JP2787612B2 JP 2787612 B2 JP2787612 B2 JP 2787612B2 JP 2192136 A JP2192136 A JP 2192136A JP 19213690 A JP19213690 A JP 19213690A JP 2787612 B2 JP2787612 B2 JP 2787612B2
Authority
JP
Japan
Prior art keywords
face image
feature point
coordinates
unit
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2192136A
Other languages
English (en)
Other versions
JPH0475639A (ja
Inventor
美雄 永嶋
剛 徐
弘 阿川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Original Assignee
Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk filed Critical Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Priority to JP2192136A priority Critical patent/JP2787612B2/ja
Publication of JPH0475639A publication Critical patent/JPH0475639A/ja
Application granted granted Critical
Publication of JP2787612B2 publication Critical patent/JP2787612B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] この発明は、顔画像モデル生成装置に関し、特に、正
面および側面から見た人物の顔画像信号に基づいて、顔
画像モデルを生成する顔画像モデル生成装置に関する。
[従来の技術および発明が解決しようとする課題] 顔画像モデルを生成する方法として、従来から、モア
レ法を用いる方法が知られている。モアレ法を用いる方
法では、たとえば「顔画像の入力と生成に関する位置検
討」と題された論文(1989年電子情報通信学会春期全国
大会,SD−3−13)において記載されている。しかしな
がら、このモアレ法では、顔の形状を示すモアレ縞を生
成するのに、スリット光を照射するためのプロジェクタ
や、プロジェクタとカメラの光軸を設定する光軸調整装
置などの特殊で大掛かりな設備が必要となる。また、ス
リット光を照射したときに、顔面上のスリット光が容易
に識別できるように、顔面に顔料を塗ったり、また、周
囲の照明条件を厳密に調整しなければならないという不
都合があった。
この発明は、上記のような課題を解決するためになさ
れたもので、顔画像モデルを生成するのに必要な設備お
よび準備が簡単化された顔画像モデル生成装置を提供す
ることを目的とする。
[課題を解決するための手段] この発明は対象となった人物の顔画像モデルを生成す
る顔画像モデル生成装置であって、人物の顔を正面から
見たときの正面顔画像を撮像する第1の撮像手段と、人
物の顔を側面から見たときの側面顔画像を撮像する第2
の撮像手段と、第1の撮像手段から出力された正面顔画
像信号に基づいて正面顔画像の中心線の座標を検出する
中心線検出手段と、第2の撮像手段から出力された側面
顔画像信号に基づいて側面顔画像の輪郭線の座標を検出
する輪郭線検出手段と、検出された輪郭線の曲率を検出
する曲率検出手段と、標準の人物の顔の特徴点データを
含むワイヤフレームモデル信号を予め記憶する記憶手段
と、検出された曲率値に応じて人物の特徴点を検出し、
検出された中心線の座標と輪郭線の座標とによって特徴
点の座標を規定する特徴点検出手段と、検出された特徴
点データに応答して記憶手段に記憶された特徴点データ
を変更する特徴点変更手段を備えて構成される。
[作用] この発明における顔画像モデル生成装置は、正面およ
び側面の2つの方向から見た対象人物の顔画像を撮像
し、正面顔画像信号に基づいて正面顔画像の中心線の座
標を検出するとともに、側面顔画像信号に基づいて側面
顔画像の輪郭線の座標を検出し、この輪郭線からその曲
率を求め、その曲率値に応じてその人物の特徴点を検出
し、中心線の座標と輪郭線の座標とによって特徴点の座
標を規定し、検出した特徴点に応じて予め記憶されてい
る標準の人物の顔を構成するワイヤフレームモデル信号
中の特徴点データを変更するようにしたものである。
[発明の実施例] 第1図は、この発明の一実施例を示す顔画像モデル生
成装置のブロック図である。第1図を参照して、この顔
画像モデル生成装置は、対象となる人物18の正面の顔画
像を撮像するビデオカメラ11と、側面の顔画像を撮像す
るビデオカメラ12と、撮像された映像信号をディジタル
信号に変換するA/D変換器2および3と、ディジタル変
換された画像信号S1およびS2に基づいて顔画像モデル生
成のための演算処理を行なう演算処理部1とを含む。演
算処理部1は、正面の顔画像信号S1および側面の顔画像
信号S2に基づいて対象人物18の顔画面の特徴点を抽出す
る特徴点検出部13と、標準となる人物の顔画像のワイヤ
フレームモデルデータを予めストアする標準モデル記憶
部15と、特徴点検出部13によって検出された特徴点デー
タ信号S7に応答して、記憶部15内にストアされている標
準の人物の顔画像のワイヤフレームモデルデータを変更
処理する変更処理部14と、変更されたワイヤフレームモ
デルに濃淡情報を付与するテクスチャーマッピング部16
とを含む。
動作において、ビデオカメラ11により対象人物18の正
面から見た顔画像が撮像され、他方、ビデオカメラ12に
より人物18の側面から見た顔画像が撮像される。撮像さ
れた各顔画像信号は、A/D変換器2および3によりディ
ジタル信号S1およびS2に変換された後、演算処理部1に
与えられる。正面の顔画像信号S1に基づいて、画面19が
得られる。また、側面の顔画像信号S2に6基づいて画面
20が得られる。画面19は、正面の顔画像をx−y平面に
投影した画像、一方、画像20は、側面の顔画像をy−z
平面に投影した画像として捕らえられる。すなわち、x,
y,zの座標軸が設定され、正面画像と側面画像での対応
点のy座標値が一致するようにされる。
特徴点検出部13は、A/D変換器2および3からの出力
信号S1およびS2に基づいて、顔画像の輪郭線および眼,
口,鼻の輪郭線を抽出し、抽出した輪郭線より、予め定
められた特徴点の3次元座標を計測する。特徴点は、個
人の顔形状特徴を表わし、かつ画像処理手法により比較
的容易に検出できるような点が選ばれる。
第2図は、第1図に示した特徴点検出部13のブロック
図である。特徴点検出部13において抽出される特徴点の
例として、第3A図および第3B図に示すような画像内の21
点が設定される。第2図を参照して、この特徴点検出部
は、信号S1に基づいて正面画像の輪郭線を抽出する抽出
部301と、信号S2に基づいて側面画像の輪郭線を抽出す
る抽出部302と、正面画像の中心線の座標を決定する中
心座標決定部303と、側面画像の輪郭線の曲率を検出す
る曲率検出部304と、検出された曲率に基づいて側面画
像の特徴点を抽出する特徴点抽出部305と、正面画像に
おいて小領域を設定する小領域設定部306と、側面画像
において小領域を設定する小領域設定部307と、設定さ
れた各小領域において特徴点をそれぞれ抽出する特徴点
抽出部308および309と、抽出された特徴点の3次元座標
を決定する3次元座標決定部310とを含む。
動作において、正面輪郭線抽出部301および側面輪郭
線抽出部302は、正面画像および側面画像の輪郭線をそ
れぞれ抽出する。ここで顔画像の背景を白にすることに
より、濃度ヒストグラム法によって容易に輪郭線を抽出
できる。抽出された輪郭線の例が第4A図および第4B図に
示される。
第2図に示した中心座標決定部303は、正面輪郭線抽
出部301の出力輪郭線より、中心線CLを規定する中心座
標値Xcを求める。この値Xcは、特徴点aないしiのx座
標に相当する。
曲率検出部304は、側面輪郭線抽出部302の出力輪郭線
上の各点の曲率を検出する。特徴点抽出部305は、曲率
検出部304で検出された曲率値が予め定められたしきい
値よりも大きい点を顔の特徴点の候補として抽出する。
なお、ここでは、顔側面輪郭線上の特徴点として、第3A
図に示すように、眉間,眼間,鼻上,鼻下,上唇,唇
間,下唇,顎上および顎先の9つの特徴点aないしiを
定めた。特徴点の相互位置関係について、予めストアさ
れているデータと検出された特徴点候補のデータとを対
比することにより、正しい特徴点が決定され、そのy,z
座標が求められる。この値は、特徴点aないしiのy,z
座標に相当する。
小領域設定部306は、特徴点抽出部305で求められた特
徴点aないしiのy座標と、中心座標決定部303で求め
られた特徴点aないしiのx座標とを利用して、正面画
像の眼,鼻,口および顎部分をそれぞれ含む、小領域を
設定する。小領域設定部307は、特徴点抽出部305で求め
られた特徴点aないしiのy,z座標を利用して、側面画
像の眼,鼻および口部分をそれぞれ含む小領域を設定す
る。小領域の位置は、経験的に定められた値を用い、そ
の一例が第5図に示される。ここで小領域の大きさは、
眼,鼻,口および顎の構成要素が入るような大きさを、
人物の顔面の計測データを基にして予め定めておく。計
測データとしては、たとえば「人物頭部特徴点の3次元
分布」と題された論文(1987年電子情報通信学会部門別
全国大会1−101)に記載されたデータなどが利用でき
る。なお、入力画像の大きさが変化したときには、たと
えば特徴点d−f間の距離に従って入力画像の大きさが
比較的に変化される。
特徴点抽出部308は、各小領域ごとにエッジ検出処理,
2値化処理および細線化処理を行ない、第3b図に示す特
徴点jないしuのx,y座標および顎部分の輪郭線のx,y座
標を求める。特徴点抽出部309は、各小領域ごとにエッ
ジ検出処理,2値化処理および細線化処理を行ない、第3A
図に示す特徴点j,k,m,rおよびtのz座標を決定する。
3次元座標決定部310は、顔画像の対象性を仮定し
て、特徴点抽出部309で求められた値を利用して、特徴
点o,p,q,sおよびuのz座標を決定する。また、正面画
像と側面画像の処理では求めることができない座標は、
人物の顔面の平均的な値を利用して決定する。たとえ
ば、特徴点lおよびnのz座標は、側面画像では死角に
なるため求められないので、特徴点jおよびpからの平
均的な距離が用いられる。平均的な値としては、たとえ
ば「人物頭部特徴点の3次元分布」と題された論文(19
87年電子情報通信学会部門全国大会1−101)に記載さ
れたデータなどが利用できる。3次元座標決定部310で
決定された第3A図および第3B図の21の特徴点aないしu
および顔輪郭線のx,y,z座標は、第1図に示された変更
処理部14へ与えられる。
変更処理部14では、特徴点抽出部13で求められた輪郭
線と特徴点の3次元座標値に基づいて予め準備された標
準モデルの頂点を移動させる。標準モデル記憶部15は、
標準的な顔形状を表わすワイヤフレームモデルの3次元
データが記憶されている。変更処理部14における変更処
理は、まず、正面輪郭線に対応する標準モデル上の頂点
を移動させ、次に、特徴点座標に対応する頂点を移動さ
せる。特徴点以外の標準モデルの頂点は、求められた輪
郭線および特徴点の移動量に基づいて線形移動される。
テクスチャーマッピング部16では、変更処理部14で変
更されたワーヤフレームモデルに対して、ビデオカメラ
11および12によ撮像された画像を投影し、濃淡情報を付
与することにより、顔画像モデルを生成する。
生成された顔画像モデルは、D/A変換器4を介して表
示部17に与えられる。生成された顔画像モデルは、3次
元座標に基づいて生成されているので、様々な方向およ
び距離から見た顔画像を表示部17上に表示することがで
きる。
このように、第1図に示した構成を有する顔画像モデ
ル生成装置を用いると、2つのビデオカメラ11および12
により撮像された画像に基づいて顔面上の特徴点が抽出
され、抽出された特徴点情報に基づいて標準のワイヤフ
レームモデルを変形することにより顔画像モデルを生成
することができる。この装置では、特殊な装置を準備す
る必要がなく、さらに周囲の照明条件を厳格に調整する
必要もないので、顔画像モデルの生成に必要な設備を大
幅に簡単化することができる。
[発明の効果] 以上のように、この発明によれば、第1および第2の
撮像手段によって得られた対象人物の正面および側面の
顔面像信号に基づいて顔画像モデルが生成されるので、
顔画像モデルの生成に使われる画像データを得るのに必
要な設備および準備が簡単化された顔画像モデル生成装
置が得られた。
【図面の簡単な説明】
第1図は、この発明の一実施例を示す顔画像モデル生成
装置のブロック図である。第2図は、第1図に示した特
徴点検出部のブロック図である。第3A図および第3B図
は、第2図に示した特徴点検出部において検出される特
徴点の例を示す特徴点図である。第4A図および第4B図
は、第2図に示した輪郭線抽出部において抽出される輪
郭線の例を示す輪郭線図である。第5図は、第2図に示
した小領域設定部において設定される小領域の位置を示
す小領域位置図である。 図において、1は演算処理部、13は特徴点検出部、14は
変更処理部、15は標準モデル記憶部、16はテクスチャー
マッピング部、301は正面輪郭線抽出部、302は側面輪郭
線抽出部、303は中心座標決定部、304は曲率検出部、30
5は特徴点抽出部、306,307は小領域設定部、308,309は
特徴点抽出部、310は3次元座標決定部である。
フロントページの続き (72)発明者 阿川 弘 京都府相楽郡精華町大字乾谷小字三平谷 5番地 株式会社エイ・ティ・アール通 信システム研究所内 (56)参考文献 特開 平1−114986(JP,A) (58)調査した分野(Int.Cl.6,DB名) A61B 5/117

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】対象となった人物の顔画像モデルを生成す
    る顔画像モデル生成装置であって、 前記人物の顔を正面から見たときの正面顔画像を撮像す
    る第1の撮像手段と、 前記人物の顔を側面から見たときの側面顔画像を撮像す
    る第2の撮像手段と、 前記第1の撮像手段から出力された正面顔画像信号に基
    づいて、前記正面顔画像の中心線の座標を検出する中心
    線検出手段と、 前記第2の撮像手段から出力された側面顔画像信号に基
    づいて、前記側面顔画像の輪郭線の座標を検出する輪郭
    線検出手段と、 前記輪郭線検出手段によって検出された輪郭線の曲率を
    検出する曲率検出手段と、 標準の人物の顔の特徴点データを含むワイヤフレームモ
    デル信号を予め記憶する記憶手段と、 前記曲率検出手段によって検出された曲率値に応じて前
    記人物の特徴点を検出し、前記中心線検出手段によって
    検出された中心線の座標と前記輪郭線検出手段によって
    検出された輪郭線の座標とによって特徴点の座標を規定
    する特徴点検出手段と、 前記特徴点検出手段によって検出された特徴点データに
    応答して、前記記憶手段に記憶された特徴点データを変
    更する特徴点変更手段を備えた、顔画像モデル生成装
    置。
  2. 【請求項2】前記特徴点検出手段は、 前記対象人物の顔の特徴点の座標値に基づいて、前記対
    象人物の各眼,鼻,口および顎部分をそれぞれ示す複数
    の領域を前記正面顔画像および側面顔画像の中で決定す
    る領域決定手段と、 前記領域決定手段によって決定された各領域内におい
    て、前記対象人物の各眼,鼻,口および顎部分の形状の
    図形処理により特徴点を抽出する特徴点抽出手段とを含
    む、請求項1に記載の顔画像モデル生成装置。
JP2192136A 1990-07-19 1990-07-19 顔画像モデル生成装置 Expired - Fee Related JP2787612B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2192136A JP2787612B2 (ja) 1990-07-19 1990-07-19 顔画像モデル生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2192136A JP2787612B2 (ja) 1990-07-19 1990-07-19 顔画像モデル生成装置

Publications (2)

Publication Number Publication Date
JPH0475639A JPH0475639A (ja) 1992-03-10
JP2787612B2 true JP2787612B2 (ja) 1998-08-20

Family

ID=16286286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2192136A Expired - Fee Related JP2787612B2 (ja) 1990-07-19 1990-07-19 顔画像モデル生成装置

Country Status (1)

Country Link
JP (1) JP2787612B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7706602B2 (en) 2005-03-07 2010-04-27 Kabushiki Kaisha Toshiba Generating a three-dimensional model from a standard model and multiple two-dimensional images

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3688879B2 (ja) * 1998-01-30 2005-08-31 株式会社東芝 画像認識装置、画像認識方法及びその記録媒体
JP4844898B2 (ja) * 2007-06-14 2011-12-28 新東工業株式会社 回収鋳型砂の冷却方法
JP5079108B2 (ja) * 2011-01-17 2012-11-21 株式会社ワンフェイス 三次元面フィギュア製作方法
JP6456461B1 (ja) * 2017-11-17 2019-01-23 株式会社アルム 鼻弁狭窄診断装置、および鼻弁狭窄診断システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01114986A (ja) * 1987-10-29 1989-05-08 Nippon Genshiryoku Bougo Syst Kk 個人識別装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7706602B2 (en) 2005-03-07 2010-04-27 Kabushiki Kaisha Toshiba Generating a three-dimensional model from a standard model and multiple two-dimensional images

Also Published As

Publication number Publication date
JPH0475639A (ja) 1992-03-10

Similar Documents

Publication Publication Date Title
US7606392B2 (en) Capturing and processing facial motion data
Kale et al. Towards a view invariant gait recognition algorithm
US7860340B2 (en) Three-dimensional shape estimation system and image generation system
US7825948B2 (en) 3D video conferencing
JP2002157595A (ja) 物体照合方法,物体照合装置,およびそのプログラムを記録した記録媒体
JP2011254411A (ja) 映像投影システムおよび映像投影プログラム
US20020006282A1 (en) Image pickup apparatus and method, and recording medium
US9558406B2 (en) Image processing apparatus including an object setting section, image processing method, and program using the same
JP5419757B2 (ja) 顔画像合成装置
JP2787612B2 (ja) 顔画像モデル生成装置
CN110059537A (zh) 一种基于Kinect传感器的三维人脸数据获取方法及装置
JP3414683B2 (ja) 対象物の表面動き測定方法および装置、ならびに当該方法を実現するようコンピュータを動作させるためのプログラムを記憶したコンピュータ読取可能な記録媒体
JP5419773B2 (ja) 顔画像合成装置
JP5419777B2 (ja) 顔画像合成装置
CN116597488A (zh) 一种基于Kinect数据库的人脸识别方法
JPH0273471A (ja) 三次元形状推定方法
EP1410332B1 (en) Method for automatic tracking of a moving body
KR100474837B1 (ko) 3차원 얼굴 데이타의 정규화 및 특징점 추출 방법 및 장치
Proesmans et al. Getting facial features and gestures in 3D
KR101711307B1 (ko) 깊이정보 기반의 안면인식 휴대장치 또는 컴퓨터 기기 잠금해제시스템
Ohmura et al. Method of detecting face direction using image processing for human interface
KR100289703B1 (ko) 모델 기반 부호화 시스템에서의 얼굴 영상 정합 방법
CN117058329B (zh) 一种人脸快速三维建模方法及系统
CN113805824B (zh) 电子装置以及在显示设备上显示图像的方法
JPH11283040A (ja) 操作制御装置および動作解析プログラムを記録したコンピュ―タ読み取り可能な記録媒体

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080605

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090605

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees