JP4999731B2 - 顔画像処理装置 - Google Patents
顔画像処理装置 Download PDFInfo
- Publication number
- JP4999731B2 JP4999731B2 JP2008050794A JP2008050794A JP4999731B2 JP 4999731 B2 JP4999731 B2 JP 4999731B2 JP 2008050794 A JP2008050794 A JP 2008050794A JP 2008050794 A JP2008050794 A JP 2008050794A JP 4999731 B2 JP4999731 B2 JP 4999731B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- face image
- dimensional
- image
- shape model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 69
- 238000004364 calculation method Methods 0.000 claims description 32
- 210000004709 eyebrow Anatomy 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 2
- 241000276498 Pollachius virens Species 0.000 claims 1
- 238000000034 method Methods 0.000 description 26
- 238000000605 extraction Methods 0.000 description 18
- 238000009877 rendering Methods 0.000 description 17
- 238000005286 illumination Methods 0.000 description 14
- 230000008921 facial expression Effects 0.000 description 12
- 239000000284 extract Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004441 surface measurement Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 210000000216 zygoma Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
また本発明の他の目的は、対象者の2次元の顔画像から作成された3次元顔画像を用いて、照合の誤り率が低い顔認証装置を提供することにある。
さらに本発明は、2次元顔画像において眉毛などの肌でない領域を除いた肌部分に対応する各画素の輝度値と、陰影画像における対応画素の輝度値との差が小さいほど高くなる類似度を算出する類似度算出手段をさらに有し、顔形状モデル選択手段は、類似度が最も高い陰影画像に対応する3次元形状モデルを選択することが好ましい。
また本発明に係る顔認証装置は、対象者の2次元の顔画像から作成された3次元顔画像を用いて照合を行うことにより、照合の誤り率を低く抑制できるという効果を奏する。
本発明を適用した顔画像処理装置では、事前に様々な顔の3次元形状を表す3次元形状モデルを用意する。3次元形状モデルは、人物の顔の3次元形状を表すフレームモデルであって、ワイヤーフレームモデルあるいはサーフェイスモデル等が用いられる。そして係る顔画像処理装置は、対象者の顔画像を取得すると、その顔画像と各3次元形状モデルを位置合わせした上で合成し、対象者の3次元顔モデルを作成する。その際、顔画像処理装置は、対象者の顔を照明した照明光源の光源方向を推定して各3次元形状モデルに対応する顔の陰影画像を作成して対象者の2次元顔画像との類似度を評価することにより、対象者の顔形状と良好に一致する顔形状を持つ3次元形状モデルを選択して3次元顔モデルの作成を図る。この3次元顔モデルは、本発明の3次元顔画像であって、2次元画像として得られる対象者の顔画像を、対象者の顔形状に適合した3次元形状モデル上に合成することで、当該3次元顔モデルを任意の方向に回転させることで、対象者の顔の向きが変化した画像を出力可能とするものである。
このうち、顔特徴点抽出手段220、位置合わせ情報算出手段230、位置合わせ手段240、光源方向推定手段250、陰影画像作成手段260、類似度算出手段270、顔形状モデル選択手段280及び個人モデル作成手段290は、それぞれ、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、顔画像処理装置200の各部について詳細に説明する。
なお、位置合わせ情報算出手段230は、顔画像100について抽出された各顔特徴点を3次元空間内へ投影した後、3次元形状モデル上の3D顔特徴点との位置ずれ量が最小となるように3次元形状モデルに回転、拡大/縮小などの処理を行い、位置合わせ情報を算出してもよい。
まず、顔表面は、その表面により拡散される光の強度がその表面の法線とのなす角の余弦に比例する完全拡散面(ランバート面)であると仮定する。この場合、顔画像100上の位置(x,y)における輝度E(x,y)は、次式により、顔の3次元形状、光源の方向及び顔表面の反射率で決定されると考えられる。
なお、光源推定マスク領域は、例えば、顔画像100について抽出された顔特徴点に基づいて、目、口などの部位の一般的なサイズを考慮して、それらの部位が含まれるように、顔特徴点及びその近傍の画素に設定される。あるいは、光源推定マスク領域を以下のように設定してもよい。光源方向推定手段250は、顔画像100について抽出された顔特徴点のうち、鼻尖点を除く顔特徴点を結ぶ線分で囲まれ、かつ、内部に鼻尖点を含む閉領域を求める。なお、この閉領域から、顔画像100について抽出された顔特徴点及びその近傍画素を除いてもよい。次に、光源方向推定手段250は、その閉領域内の画素のRGB成分、HSV成分または輝度値成分の統計的分布を求めて肌色分布を定義する。そして光源方向推定手段250は、顔領域中でその肌色分布から外れるRGB成分などを持つ画素からなる領域を光源推定マスク領域とする。
顔の3次元形状モデルである向き調整済み形状モデルに、光源方向情報に示された光源方向から光を照射した場合、その顔形状モデルの任意の点(X,Y,Z)における光の反射強度、すなわち輝度E(X,Y,Z)は、次式によって表現できる。
陰影画像作成手段260は、(2)式に基づいて、向き調整済み形状モデル上の各点(X,Y,Z)における輝度を求める。そして、陰影画像作成手段260は、向き調整済み形状モデルの各点(X,Y,Z)を、2次元平面上の対応する点(x,y)に投影する。その後、陰影画像作成手段260は、輝度値を適切に調整して、投影された各点(x,y)の輝度がオーバーフローまたはアンダーフローしないようにグレースケール化し、陰影画像を得る。陰影画像作成手段260は、各向き調整済み形状モデルに対してそれぞれ求めた陰影画像を類似度算出手段270へ出力する。
個人モデル作成手段290は、作成した3次元顔モデルを、記憶手段205に記憶するか、あるいは、顔画像処理装置200を利用して、照合処理を行う顔認証装置などへ出力する。
最初に、顔画像処理装置200は、画像入力手段210を介して、2次元画像である対象者の顔画像100を取得する(ステップS210)。次に、顔特徴点抽出手段220は、取得された顔画像100から顔特徴点を抽出する(ステップS220)。
そして、記憶手段205に記憶された全ての3次元形状モデルに対して、顔画像100との類似度が算出されたか否かが判定される(ステップS275)。そして、顔画像100との類似度が未算出の3次元形状モデルが存在する場合、制御はステップS225に戻り、類似度が未算出の3次元形状モデルが記憶手段205から読み出される(ステップS225)。そしてステップS230〜S270の処理が繰り返される。
図3に、係る顔画像登録装置300の概略構成図を示す。顔画像登録装置300は、上記の顔画像処理装置200に対応する3次元顔モデル作成手段310と、変動顔画像作成手段320と、顔画像登録手段330と、レンダリング条件記憶手段340とを有する。ここで、レンダリング条件記憶手段340は、ROM、RAMなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。なお、レンダリング条件記憶手段340は、3次元顔モデル作成手段310(顔画像処理装置200)の記憶手段205と同一のハードウェアにより構成することもできる。また、変動顔画像作成手段320及び顔画像登録手段330は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。さらに、変動顔画像作成手段320及び顔画像登録手段330は、3次元顔モデル作成手段310(顔画像処理装置200)の各機能モジュールが実装されるマイクロプロセッサ上で動作するものであってもよい。
また、図4に、顔画像登録装置300による、参照顔画像作成処理の動作フローチャートを示す。以下、図3及び図4を参照しつつ、顔画像登録装置300の各部及び参照顔画像作成処理について説明する。
図5に、係る顔認証装置500の概略構成図を示す。顔認証装置500は、画像取得手段510と、上記の顔画像処理装置200に対応する3次元顔モデル作成手段520と、入力顔画像補正手段530と、顔画像照合手段540と、参照顔画像記憶手段550とを有する。ここで、参照顔画像記憶手段550は、ROM、RAMなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。なお、参照顔画像記憶手段550は、3次元顔モデル作成手段520(顔画像処理装置200)の記憶手段205と同一のハードウェアにより構成することもできる。また、入力顔画像補正手段530及び顔画像照合手段540は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。さらに、入力顔画像補正手段530及び顔画像照合手段540は、3次元顔モデル作成手段520(顔画像処理装置200)の各機能モジュールが実装されるマイクロプロセッサ上で動作するものであってもよい。
また、図6に、顔認証装置500による、認証処理の動作フローチャートを示す。以下、図5及び図6を参照しつつ、顔認証装置500の各部及び認証処理について説明する。
なお、画像取得手段510は、1枚の画像データから、1枚の顔画像のみを切り出してもよく、あるいは、1枚の画像データから、複数枚の顔画像を切り出してもよい。
認証結果は、顔認証装置500から出力され、例えば、認証に成功した場合にのみ出入口を開放するようなセキュリティシステムにおいて利用される。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
200 顔画像処理装置
205 記憶手段
210 画像入力手段
220 顔特徴点抽出手段
230 位置合わせ情報算出手段
240 位置合わせ手段(顔向き調整手段)
250 光源方向推定手段
260 陰影画像作成手段
270 類似度算出手段
280 顔形状モデル選択手段
290 個人モデル作成手段
300 顔画像登録装置
310 3次元顔モデル作成手段(顔画像処理装置)
320 変動顔画像作成手段
330 顔画像登録手段
340 レンダリング条件記憶手段
500 顔認証装置
510 画像取得手段
520 3次元顔モデル作成手段(顔画像処理装置)
530 入力顔画像補正手段
540 顔画像照合手段
550 参照顔画像記憶手段
Claims (6)
- 人物の顔を撮影した2次元顔画像から、当該人物の3次元顔画像を作成する顔画像処理装置であって、
人物の2次元顔画像を入力する画像入力手段と、
前記2次元顔画像から光源方向を推定する光源方向推定手段と、
顔の3次元形状モデルを予め複数記憶する記憶手段と、
前記2次元顔画像にあわせて前記3次元形状モデルの顔向きを調整する顔向き調整手段と、
前記顔向き調整された前記複数の3次元形状モデルのそれぞれに、前記光源方向を適用して陰影をつけ、当該各3次元形状モデルから前記顔向きの2次元の陰影画像を作成する陰影画像作成手段と、
前記陰影画像のうち、前記2次元顔画像に最も類似している陰影画像を抽出して当該陰影画像に対応する前記3次元形状モデルを選択する顔形状モデル選択手段と、
前記顔形状モデル選択手段により選択された前記3次元形状モデルと前記2次元顔画像を合成して、前記人物の顔に対応した3次元顔画像を作成する個人モデル作成手段と、
を有することを特徴とする顔画像処理装置。 - 前記光源方向推定手段は、前記2次元顔画像において眉毛などの肌でない領域を除いた肌部分から前記光源方向を推定する、請求項1に記載の顔画像処理装置。
- 前記2次元顔画像において眉毛などの肌でない領域を除いた肌部分に対応する各画素の輝度値と、前記陰影画像における対応画素の輝度値との差が小さいほど高くなる類似度を算出する類似度算出手段をさらに有し、
前記顔形状モデル選択手段は、前記類似度が最も高い前記陰影画像に対応する前記3次元形状モデルを選択する、請求項1または2に記載の顔画像処理装置。 - 前記2次元顔画像を縦方向に複数の領域に分割し、該分割された複数の領域のそれぞれについて、前記人物の2次元顔画像において肌部分に対応する各画素の輝度値と、前記陰影画像における対応画素の輝度値との差が小さいほど高くなる類似度を算出する類似度算出手段をさらに有し、
前記顔形状モデル選択手段は、前記分割された複数の領域のそれぞれについて、前記類似度が最も高い前記陰影画像に対応する前記3次元形状モデルから当該領域に対応する部分を選択し、
前記個人モデル作成手段は、前記顔形状モデル選択手段により選択された部分を組み合わせた組み合わせ3次元形状モデルを作成し、該組み合わせ3次元形状モデルと前記人物の2次元顔画像を合成して、前記3次元顔画像を作成する、請求項1または2に記載の顔画像処理装置。 - 前記個人モデル作成手段は、前記2次元顔画像を合成した3次元顔画像において顔の一部が欠落した欠落部分が含まれる場合、該欠落部分の周囲の画素の輝度情報または該欠落部分に対して顔の正中線を中心とした線対称の位置の画素の輝度情報を用いて、該欠落部分の画素の輝度情報を補間処理により求める、請求項1〜4の何れか一項に記載の顔画像処理装置。
- さらに、所定方向を向いた、少なくとも一人の登録者の参照顔画像を記憶する参照顔画像記憶手段と、
前記3次元顔画像の顔向きを3次元空間で回転させて、前記人物の顔が前記所定方向を向いた補正顔画像を作成する補正顔画像作成手段と、
前記補正顔画像と前記参照顔画像を照合し、前記人物を前記登録者として認証するか否かを決定する照合手段と、
を有する請求項1〜5の何れか一項に記載の顔画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008050794A JP4999731B2 (ja) | 2008-02-29 | 2008-02-29 | 顔画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008050794A JP4999731B2 (ja) | 2008-02-29 | 2008-02-29 | 顔画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009211151A JP2009211151A (ja) | 2009-09-17 |
JP4999731B2 true JP4999731B2 (ja) | 2012-08-15 |
Family
ID=41184282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008050794A Active JP4999731B2 (ja) | 2008-02-29 | 2008-02-29 | 顔画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4999731B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110053166A (ko) | 2009-11-13 | 2011-05-19 | 삼성전자주식회사 | 3d 오브젝트 렌더딩 방법 및 장치 |
JP5419757B2 (ja) * | 2010-03-09 | 2014-02-19 | セコム株式会社 | 顔画像合成装置 |
JP5419773B2 (ja) * | 2010-03-29 | 2014-02-19 | セコム株式会社 | 顔画像合成装置 |
JP5419777B2 (ja) * | 2010-03-30 | 2014-02-19 | セコム株式会社 | 顔画像合成装置 |
JP5639499B2 (ja) * | 2011-02-17 | 2014-12-10 | セコム株式会社 | 顔画像処理装置 |
JP5751865B2 (ja) * | 2011-03-03 | 2015-07-22 | セコム株式会社 | 顔画像処理装置 |
JP6044909B2 (ja) | 2012-12-27 | 2016-12-14 | パナソニックIpマネジメント株式会社 | 画像処理装置及び画像処理方法 |
JP6576083B2 (ja) * | 2015-04-15 | 2019-09-18 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN108960001B (zh) * | 2017-05-17 | 2021-12-24 | 富士通株式会社 | 训练用于人脸识别的图像处理装置的方法和装置 |
CN111696146B (zh) * | 2019-03-14 | 2023-04-11 | 上海科技大学 | 人脸模型重建方法、系统、图像处理系统及存储介质 |
CN110610127B (zh) * | 2019-08-01 | 2023-10-27 | 平安科技(深圳)有限公司 | 人脸识别方法、装置、存储介质及电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04256185A (ja) * | 1991-02-08 | 1992-09-10 | Nippon Telegr & Teleph Corp <Ntt> | 画像認識システムのサンプル画像収集方法 |
JP4219521B2 (ja) * | 2000-02-07 | 2009-02-04 | 富士フイルム株式会社 | マッチング方法および装置並びに記録媒体 |
US6853745B1 (en) * | 2000-11-03 | 2005-02-08 | Nec Laboratories America, Inc. | Lambertian reflectance and linear subspaces |
JP4611575B2 (ja) * | 2001-06-20 | 2011-01-12 | セコム株式会社 | 本人認証用の顔画像照合装置 |
-
2008
- 2008-02-29 JP JP2008050794A patent/JP4999731B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009211151A (ja) | 2009-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4999731B2 (ja) | 顔画像処理装置 | |
JP3575679B2 (ja) | 顔照合方法と該照合方法を格納した記録媒体と顔照合装置 | |
KR100682889B1 (ko) | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 | |
JP3639475B2 (ja) | 3次元モデル生成装置および3次元モデル生成方法ならびに3次元モデル生成プログラムを記録した記録媒体 | |
JP4723834B2 (ja) | 映像に基づいたフォトリアリスティックな3次元の顔モデリング方法及び装置 | |
WO2022095721A1 (zh) | 参数估算模型的训练方法、装置、设备和存储介质 | |
US9262671B2 (en) | Systems, methods, and software for detecting an object in an image | |
JP4950787B2 (ja) | 画像処理装置及びその方法 | |
JP2020526809A (ja) | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 | |
US8055011B2 (en) | Hair style simulation image creating method | |
US20120044335A1 (en) | Makeup simulation system, makeup simulation apparatus, makeup simulation method, and makeup simulation program | |
EP1223540A2 (en) | Method and apparatus for collating object | |
US20070127787A1 (en) | Face recognition system and method | |
JP5751865B2 (ja) | 顔画像処理装置 | |
BR112014029372B1 (pt) | Medição do corpo | |
EP3241151A1 (en) | An image face processing method and apparatus | |
JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
CN113436734A (zh) | 基于人脸结构定位的牙齿健康评估方法、设备和存储介质 | |
JP5419757B2 (ja) | 顔画像合成装置 | |
WO2023273247A1 (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
JP2009211148A (ja) | 顔画像処理装置 | |
JP4814666B2 (ja) | 顔解析システム | |
JP5639499B2 (ja) | 顔画像処理装置 | |
JP5419777B2 (ja) | 顔画像合成装置 | |
JP5419773B2 (ja) | 顔画像合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120417 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120515 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4999731 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |