JP4539519B2 - 立体モデル生成装置および立体モデル生成方法 - Google Patents
立体モデル生成装置および立体モデル生成方法 Download PDFInfo
- Publication number
- JP4539519B2 JP4539519B2 JP2005293380A JP2005293380A JP4539519B2 JP 4539519 B2 JP4539519 B2 JP 4539519B2 JP 2005293380 A JP2005293380 A JP 2005293380A JP 2005293380 A JP2005293380 A JP 2005293380A JP 4539519 B2 JP4539519 B2 JP 4539519B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- point
- dimensional
- model
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
図1は、本発明の実施形態に係る顔認証システム1の概要を示す概念図である。
図2は、顔認証システム1を示す構成図である。図2に示すように顔認証システム1は、コントローラ10と2台の画像撮影カメラ(以下、単に「カメラ」とも称する)CA1、CA2とを備えている。カメラCA1とカメラCA2とは、それぞれ異なる視点から被写体である認証対象者HMaの顔を撮影できるように配置されている。カメラCA1とカメラCA2とによって認証対象者HMaの顔画像が撮影されると、当該撮影により得られる認証対象者HMaの外観情報すなわち2枚の顔画像G1、G2がコントローラ10に通信線を介して送信される。なお、各カメラとコントローラ10との間での画像データの通信方式は有線方式に限定されず、無線方式であってもよい。
<動作概要>
以下では、上述したコントローラ10の顔認証動作についてより詳細に説明する。具体的には、上述したように、カメラCA1及びCA2で撮影した認証対象者HMaの顔画像と、予め登録された人物HMbの顔画像とに関する情報を用いて、認証対象者HMaが登録済み人物HMbと同一人物であるかを認証する場合(顔認証を行う場合)について説明する。ここでは、3次元情報として、カメラCA1、CA2による画像を利用して三角測量の原理によって計測された3次元形状情報を用い、2次元情報としてテクスチャ(輝度)情報を用いる場合を例示する。
まず、ステップSP1において、カメラCA1及びCA2によって撮影された所定の人物(認証対象者)HMaの顔画像が、通信線を介しコントローラ10に入力される。顔画像を撮影するカメラCA1及びカメラCA2は、それぞれ、2次元画像を撮影可能な一般的な撮影装置で構成される。また、当該各カメラCAiの位置姿勢等を示すカメラパラメータBi(i=1・・N)は既知であり、予めカメラパラメータ記憶部27(図5)に記憶されている。ここで、Nはカメラの台数を示している。本実施形態ではN=2の場合を例示しているが、N≧3としてもよい(3台以上のカメラを用いてもよい)。カメラパラメータBiについては後述する。
図6を参照して、ステップSP9以降の処理について説明する。
以下では、図6のステップSP5に示すモデルフィッティングについて詳しく説明する。
図11に示すステップST4、ST7におけるモデル変形の方法について説明する。ただし、図12に示す標準モデルにおいては、第1特徴点Gkが定義されており、標準モデルに設定される少数(標準モデルの頂点数より少数)の制御点TAの群に関する座標を変更することによりモデル形状を一意的に変形できるものとする。
認証対象者HMaから3次元計測された第1特徴点と標準モデル上の第1特徴点とに関する外部エネルギーe1については、対応する第1特徴点に関する二乗距離を用いて次の式(16)により計算される。
認証対象者HMaから3次元計測された第2特徴点と標準モデルの表面とに関する外部エネルギーe2については、図15に示すように第2特徴点Pkと、それを標準モデルの表面に投影した投影点Qkとに関する二乗距離を用いて次の式(17)により計算される。
モデル形状を保とうとする内部エネルギーe3については、図16に示すようにモデル変形に用いられる制御点TA間を繋ぐ仮想的なバネ(以下では単に「仮想バネ」ともいう)Vcを考え、この仮想バネVcの変形具合を考慮した次の式(18)により計算される。なお、図16に示すモデル上の点Qcは、制御点TAの移動によって移動される点である。
◎上記の実施形態においては、入力された顔(認証対象者の顔)が特定の登録者であるか否かを判定する場合について説明したが、これに限定されず、認証対象者が複数の登録者のうちの誰であるかを判定する顔識別に上記の思想を適用するようにしてもよい。例えば、登録されている複数の人物の各顔特徴量と認証対象者の顔特徴量との類似度を全て算出して、各比較対象者(登録者)と認証対象者との同一性をそれぞれ判定すればよい。また、特定数の人物に絞り込むことで足りる場合には、複数の比較対象者のうち、その同一性が高い順に特定数の比較対象者を選択するようにしてもよい。
10 コントローラ
G1〜G4 画像(撮影画像)
HMa 認証対象者
HMb 登録者
Q1〜Q23 第1特徴点
Qm 第2特徴点
T1〜T7 第2特徴点候補領域
Claims (10)
- 人物の顔を異なる視点から撮影して得られた複数の画像に基づき、前記人物の顔の3次元形状を表現した立体モデルを生成する立体モデル生成装置であって、
(a)前記人物の顔に表れる第1特徴点および第2特徴点それぞれに対応する第1特徴箇所と第2特徴箇所とに関する3次元位置情報が記述された人物の顔の標準モデルを記憶する記憶手段と、
(b)前記複数の画像に基づき、前記人物の顔における第1特徴点の3次元位置情報を取得する第1情報取得手段と、
(c)前記第1情報取得手段により取得された第1特徴点の3次元位置情報に基づき前記標準モデルを変形し、変形モデルを生成する第1変形手段と、
(d)前記変形モデルにおける前記第2特徴箇所に関する3次元位置情報に基づき、前記複数の画像における第2特徴点を特定し、前記複数の画像に基づき、前記人物の顔における前記第2特徴点の3次元位置情報を取得する第2情報取得手段と、
(e)前記第2情報取得手段により取得された第2特徴点の3次元位置情報に基づき前記変形モデルを更に変形し、前記立体モデルを生成する第2変形手段と、
を備えることを特徴とする立体モデル生成装置。 - 請求項1に記載の立体モデル生成装置において、
前記第1特徴点は、人物の顔部品において定められる点であり、
前記第2特徴点は、前記顔部品を除く顔の部分に定められる点であることを特徴とする立体モデル生成装置。 - 請求項2に記載の立体モデル生成装置において、
前記顔部品は、目、口、鼻および眉からなる群から選択される少なくとも1の部品を含むことを特徴とする立体モデル生成装置。 - 請求項1ないし請求項3のいずれかに記載の立体モデル生成装置において、
前記第1特徴点は、目の輪郭上の点、目尻の点、目頭の点および瞳の中心点からなる群から選択される少なくとも1の点を含むことを特徴とする立体モデル生成装置。 - 請求項1ないし請求項4のいずれかに記載の立体モデル生成装置において、
前記第1特徴点は、口の輪郭上の点、口の左端の点および口の右端の点からなる群から選択される少なくとも1の点を含むことを特徴とする立体モデル生成装置。 - 請求項1ないし請求項5のいずれかに記載の立体モデル生成装置において、
前記第1特徴点は、小鼻の輪郭上の点、鼻孔の輪郭上の点および鼻の下面上の点からなる群から選択される少なくとも1の点を含むことを特徴とする立体モデル生成装置。 - 請求項1ないし請求項6のいずれかに記載の立体モデル生成装置において、
前記第1特徴点は、眉の輪郭上の点、眉の左端の点および眉の右端の点からなる群から選択される少なくとも1の点を含むことを特徴とする立体モデル生成装置。 - 請求項1ないし請求項7のいずれかに記載の立体モデル生成装置において、
前記第2特徴箇所は、皺の検出が可能な顔の特定部分に関する箇所であることを特徴とする立体モデル生成装置。 - 請求項8に記載の立体モデル生成装置において、
前記顔の特定部分は、眉間の部分、鼻と口の両脇の部分、目の下の部分および鼻筋の両脇の部分からなる群から選択される少なくとも1の部分を含むことを特徴とする立体モデル生成装置。 - 人物の顔を異なる視点から撮影して得られた複数の画像に基づき、前記人物の顔の3次元形状を表現した立体モデルを生成する立体モデル生成方法であって、
(a)前記人物の顔に表れる第1特徴点および第2特徴点それぞれに対応する第1特徴箇所と第2特徴箇所とに関する3次元位置情報が記述された人物の顔の標準モデルを記憶する記憶工程と、
(b)前記複数の画像に基づき、前記人物の顔における第1特徴点の3次元位置情報を取得する第1情報取得工程と、
(c)前記第1情報取得工程において取得された第1特徴点の3次元位置情報に基づき前記標準モデルを変形し、変形モデルを生成する第1変形工程と、
(d) 前記変形モデルにおける前記第2特徴箇所に関する3次元位置情報に基づき、前記複数の画像における第2特徴点を特定し、前記複数の画像に基づき、前記人物の顔における前記第2特徴点の3次元位置情報を取得する第2情報取得工程と、
(e)前記第2情報取得工程において取得された第2特徴点の3次元位置情報に基づき前記変形モデルを更に変形し、前記立体モデルを生成する第2変形工程と、
を備えることを特徴とする立体モデル生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005293380A JP4539519B2 (ja) | 2005-10-06 | 2005-10-06 | 立体モデル生成装置および立体モデル生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005293380A JP4539519B2 (ja) | 2005-10-06 | 2005-10-06 | 立体モデル生成装置および立体モデル生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007102601A JP2007102601A (ja) | 2007-04-19 |
JP4539519B2 true JP4539519B2 (ja) | 2010-09-08 |
Family
ID=38029466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005293380A Active JP4539519B2 (ja) | 2005-10-06 | 2005-10-06 | 立体モデル生成装置および立体モデル生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4539519B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9858471B2 (en) | 2015-09-09 | 2018-01-02 | Kabushiki Kaisha Toshiba | Identification apparatus and authentication system |
EP4231239A3 (en) * | 2022-01-28 | 2023-11-08 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100138648A (ko) | 2009-06-25 | 2010-12-31 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
JP6204890B2 (ja) * | 2014-09-03 | 2017-09-27 | 東芝テック株式会社 | 情報処理装置及びプログラム |
JP6507046B2 (ja) | 2015-06-26 | 2019-04-24 | 株式会社東芝 | 立体物検知装置及び立体物認証装置 |
CN110826372B (zh) | 2018-08-10 | 2024-04-09 | 浙江宇视科技有限公司 | 人脸特征点检测方法及装置 |
CN111429394B (zh) * | 2019-01-08 | 2024-03-01 | 阿里巴巴集团控股有限公司 | 基于图像的检测方法、装置、电子设备和存储介质 |
CN115775323A (zh) * | 2021-09-07 | 2023-03-10 | 台达电子工业股份有限公司 | 影像处理方法及影像处理系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002015310A (ja) * | 2000-06-30 | 2002-01-18 | Minolta Co Ltd | 点群に面をフィッティングする方法およびモデリング装置 |
JP2005078646A (ja) * | 2003-08-29 | 2005-03-24 | Samsung Electronics Co Ltd | 映像に基づいたフォトリアリスティックな3次元の顔モデリング方法及び装置 |
JP2005242432A (ja) * | 2004-02-24 | 2005-09-08 | Nec Soft Ltd | 顔認証システム及びその処理方法及びそのプログラム |
-
2005
- 2005-10-06 JP JP2005293380A patent/JP4539519B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002015310A (ja) * | 2000-06-30 | 2002-01-18 | Minolta Co Ltd | 点群に面をフィッティングする方法およびモデリング装置 |
JP2005078646A (ja) * | 2003-08-29 | 2005-03-24 | Samsung Electronics Co Ltd | 映像に基づいたフォトリアリスティックな3次元の顔モデリング方法及び装置 |
JP2005242432A (ja) * | 2004-02-24 | 2005-09-08 | Nec Soft Ltd | 顔認証システム及びその処理方法及びそのプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9858471B2 (en) | 2015-09-09 | 2018-01-02 | Kabushiki Kaisha Toshiba | Identification apparatus and authentication system |
EP4231239A3 (en) * | 2022-01-28 | 2023-11-08 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2007102601A (ja) | 2007-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4645411B2 (ja) | 認証システム、登録システム及びプログラム | |
JP4696778B2 (ja) | 認証装置、認証方法及びプログラム | |
JP4752433B2 (ja) | モデリングシステム、モデリング方法およびプログラム | |
JP4653606B2 (ja) | 画像認識装置、方法およびプログラム | |
JP4539519B2 (ja) | 立体モデル生成装置および立体モデル生成方法 | |
US7876931B2 (en) | Face recognition system and method | |
JP4780198B2 (ja) | 認証システム及び認証方法 | |
JP4950787B2 (ja) | 画像処理装置及びその方法 | |
JP4539494B2 (ja) | 認証装置、認証方法及びプログラム | |
JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
US7512255B2 (en) | Multi-modal face recognition | |
JP2007058397A (ja) | 認証システム、登録システム及び証明用媒体 | |
US20150347833A1 (en) | Noncontact Biometrics with Small Footprint | |
JP4992289B2 (ja) | 認証システム、認証方法、及びプログラム | |
JP2002157595A (ja) | 物体照合方法,物体照合装置,およびそのプログラムを記録した記録媒体 | |
JP5018029B2 (ja) | 認証システム及び認証方法 | |
Tu et al. | Automatic face recognition from skeletal remains | |
CN111815768A (zh) | 三维人脸重建方法和装置 | |
JP4956983B2 (ja) | 認証システム、認証方法およびプログラム | |
Stylianou et al. | Image based 3d face reconstruction: a survey | |
JP4525523B2 (ja) | 認証システム、認証方法およびプログラム | |
JP2023006150A (ja) | 顔認証システム | |
JP4956967B2 (ja) | 認証システム、認証方法およびプログラム | |
Calvo et al. | 2d-3d mixed face recognition schemes | |
JP2004288222A (ja) | 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080424 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091222 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100601 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100614 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4539519 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |