JP6287827B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6287827B2 JP6287827B2 JP2014507341A JP2014507341A JP6287827B2 JP 6287827 B2 JP6287827 B2 JP 6287827B2 JP 2014507341 A JP2014507341 A JP 2014507341A JP 2014507341 A JP2014507341 A JP 2014507341A JP 6287827 B2 JP6287827 B2 JP 6287827B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- feature point
- shape model
- face shape
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 22
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 15
- 230000001815 facial effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000008921 facial expression Effects 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Description
例えば、特許文献1は、顔特徴点を検出して顔特徴点位置を出力する方法として、顔特徴点の位置に関する同時確率密度関数を用いることで各顔特徴点の探索領域を削減し、検出精度を高める方法を開示している。この方法では、まず、顔特徴点の位置に対して確率密度関数を顔領域に適用し、顔特徴点ごとに顔特徴点らしさを表す評価値の値に基づいて、顔特徴点ごとに複数の顔特徴点候補を求めている。
図1を参照しながら、本実施形態に係る情報処理装置である顔特徴点検出装置10の機能構成を説明する。図1は、顔特徴点検出装置10の機能構成を示す機能ブロック図である。
顔形状モデル選択手段109は、顔形状モデル記憶手段203が記憶する複数の統計的な顔形状モデルの情報から1つの顔形状モデルを選択する。
次に、顔特徴点検出装置10の処理の流れを、図2を参照しながら説明する。図2は、本実施形態に係る顔特徴点検出装置10の処理の流れを示すフローチャートである。
以下、本実施形態に係る顔特徴点検出装置10の動作の具体例を、図3乃至図6を参照しながら説明する。
また、顔特徴点の中で顔形状モデルから大きく外れた特徴点の影響に対して頑健にするため、適合度Jを、以下の数式により算出することもできる。
以上説明したように、本実施形態に係る顔特徴点検出装置10は、顔特徴点信頼度やロバスト推定に基づく顔形状モデルとの差異から計算される適合度を用いて、対象画像ごとに好適な顔特徴点識別器や顔形状モデルを選択することができる。そのため、顔画像撮影時の照明の変化や表情の変化、遮蔽等の要因によって、単一の識別器やモデルを用いた場合には顔特徴点検出に失敗する可能性の高い場合であっても、高精度に顔特徴点の位置を検出することが可能となる。
尚、前述の各実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
尚、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
顔画像の入力を受ける入力手段と、顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成する信頼度算出手段と、前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を求める候補位置算出手段と、統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、前記候補位置算出手段が算出した特徴点の前記候補位置とに基づいて、条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出する適合度算出手段とを備える情報処理装置。
前記適合度が閾値よりも高い特徴点の位置情報を出力する、付記1記載の情報処理装置。
前記適合度算出手段は、ロバスト推定の手法により、統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、前記候補位置算出手段が算出した特徴点の前記候補位置との差異を計算し、当該差異に基づき前記適合度を算出する、付記1又は付記2記載の情報処理装置。
顔画像の入力を受けるステップと、顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成するステップと、前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を求めるステップと、統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、特徴点の前記候補位置とに基づいて、条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出するステップとを備える情報処理方法。
情報処理装置に、顔画像の入力を受けるステップと、顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成するステップと、前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を求めるステップと、統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、特徴点の前記候補位置とに基づいて、条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出するステップとを実行させるためのプログラム。
Claims (5)
- 顔画像の入力を受ける入力手段と、
顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成する信頼度算出手段と、
前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を複数求める候補位置算出手段と、
統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、前記候補位置算出手段が算出した特徴点の複数の前記候補位置とに基づいて、複数の前記候補位置の中から条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出する適合度算出手段と
を備える情報処理装置。 - 前記適合度が閾値よりも高い特徴点の位置情報を出力する、
請求項1記載の情報処理装置。 - 前記適合度算出手段は、ロバスト推定の手法により、統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、前記候補位置算出手段が算出した特徴点の前記候補位置との差異を計算し、当該差異に基づき前記適合度を算出する、
請求項1又は請求項2記載の情報処理装置。 - 顔画像の入力を受けるステップと、
顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成するステップと、
前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を複数求めるステップと、
統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、特徴点の複数の前記候補位置とに基づいて、複数の前記候補位置 の中から条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出するステップと
を備える情報処理方法。 - 情報処理装置に、
顔画像の入力を受けるステップと、
顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成するステップと、
前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を複数求めるステップと、
統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、特徴点の複数の前記候補位置とに基づいて、複数の前記候補位置 の中から条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出するステップと
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014507341A JP6287827B2 (ja) | 2012-03-27 | 2012-12-28 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012072098 | 2012-03-27 | ||
JP2012072098 | 2012-03-27 | ||
PCT/JP2012/084132 WO2013145496A1 (ja) | 2012-03-27 | 2012-12-28 | 情報処理装置、情報処理方法、及びプログラム |
JP2014507341A JP6287827B2 (ja) | 2012-03-27 | 2012-12-28 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013145496A1 JPWO2013145496A1 (ja) | 2015-12-10 |
JP6287827B2 true JP6287827B2 (ja) | 2018-03-07 |
Family
ID=49258825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014507341A Active JP6287827B2 (ja) | 2012-03-27 | 2012-12-28 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9904843B2 (ja) |
JP (1) | JP6287827B2 (ja) |
WO (1) | WO2013145496A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101571241B1 (ko) * | 2014-04-23 | 2015-11-23 | 한국 한의학 연구원 | 안면 표현형 결정 장치 및 방법 |
CN105069426B (zh) * | 2015-07-31 | 2018-09-04 | 小米科技有限责任公司 | 相似图片判断方法以及装置 |
WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
US20220406094A1 (en) | 2019-10-30 | 2022-12-22 | Nec Corporation | Authentication apparatus, authentication method and recording medium |
WO2022024272A1 (ja) * | 2020-07-29 | 2022-02-03 | 日本電気株式会社 | 情報処理システム、データ蓄積装置、データ生成装置、情報処理方法、データ蓄積方法、データ生成方法及び記録媒体、並びに、データベース |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06348851A (ja) | 1993-04-12 | 1994-12-22 | Sony Corp | 対象物位置検出方法 |
WO2003027956A1 (fr) * | 2001-09-25 | 2003-04-03 | Matsushita Electric Industrial Co., Ltd. | Appareils d'estimation et d'assemblage de donnees |
JP2003308533A (ja) * | 2002-04-17 | 2003-10-31 | Mitsubishi Electric Corp | ドライバの顔画像処理装置 |
EP1599830A1 (en) * | 2003-03-06 | 2005-11-30 | Animetrics, Inc. | Generation of image databases for multifeatured objects |
JP4348202B2 (ja) * | 2004-01-21 | 2009-10-21 | 日本放送協会 | 顔画像認識装置及び顔画像認識プログラム |
DE602005012672D1 (de) * | 2005-02-21 | 2009-03-26 | Mitsubishi Electric Corp | Verfahren zum Detektieren von Gesichtsmerkmalen |
US7783135B2 (en) * | 2005-05-09 | 2010-08-24 | Like.Com | System and method for providing objectified image renderings using recognition information from images |
JP4951498B2 (ja) * | 2007-12-27 | 2012-06-13 | 日本電信電話株式会社 | 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体 |
JP2010073138A (ja) | 2008-09-22 | 2010-04-02 | Toshiba Corp | 特徴点検出装置、特徴点検出方法及び特徴点検出プログラム |
JP2010271955A (ja) | 2009-05-21 | 2010-12-02 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置 |
JP5451302B2 (ja) * | 2009-10-19 | 2014-03-26 | キヤノン株式会社 | 画像処理装置及び方法、プログラム及び記憶媒体 |
WO2011086889A1 (ja) * | 2010-01-12 | 2011-07-21 | 日本電気株式会社 | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム |
WO2011148596A1 (ja) * | 2010-05-26 | 2011-12-01 | 日本電気株式会社 | 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム |
US8811726B2 (en) * | 2011-06-02 | 2014-08-19 | Kriegman-Belhumeur Vision Technologies, Llc | Method and system for localizing parts of an object in an image for computer vision applications |
JP6071002B2 (ja) * | 2012-02-16 | 2017-02-01 | 日本電気株式会社 | 信頼度取得装置、信頼度取得方法および信頼度取得プログラム |
-
2012
- 2012-12-28 JP JP2014507341A patent/JP6287827B2/ja active Active
- 2012-12-28 US US14/389,164 patent/US9904843B2/en active Active
- 2012-12-28 WO PCT/JP2012/084132 patent/WO2013145496A1/ja active Application Filing
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
US11455864B2 (en) | 2018-07-25 | 2022-09-27 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
US12087130B2 (en) | 2018-07-25 | 2024-09-10 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
US12106630B2 (en) | 2018-07-25 | 2024-10-01 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Also Published As
Publication number | Publication date |
---|---|
JPWO2013145496A1 (ja) | 2015-12-10 |
WO2013145496A1 (ja) | 2013-10-03 |
US20150086121A1 (en) | 2015-03-26 |
US9904843B2 (en) | 2018-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6287827B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR101725651B1 (ko) | 식별 장치 및 식별 장치의 제어 방법 | |
JP5772821B2 (ja) | 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム | |
JP5554984B2 (ja) | パターン認識方法およびパターン認識装置 | |
EP2182469B1 (en) | System and method for sensing facial gesture | |
JP4991317B2 (ja) | 顔特徴点検出装置及びその方法 | |
US9633044B2 (en) | Apparatus and method for recognizing image, and method for generating morphable face images from original image | |
JP5424819B2 (ja) | 画像処理装置、画像処理方法 | |
JP6760318B2 (ja) | 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム | |
JP6325405B2 (ja) | 特徴点検出装置、方法及びプログラム | |
KR101612605B1 (ko) | 얼굴 특징점 추출 방법 및 이를 수행하는 장치 | |
CN107851192B (zh) | 用于检测人脸部分及人脸的设备和方法 | |
US9779286B2 (en) | Feature point location estimation device, feature point location estimation method, and feature point location estimation program | |
JP5787686B2 (ja) | 顔認識装置、及び顔認識方法 | |
KR100988326B1 (ko) | 사용자 맞춤형 표정 인식 방법 및 장치 | |
WO2020050413A1 (ja) | 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体 | |
KR101558547B1 (ko) | 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템 | |
JP2019192009A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JPWO2018078857A1 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
JPWO2013122009A1 (ja) | 信頼度取得装置、信頼度取得方法および信頼度取得プログラム | |
WO2022083479A1 (zh) | 采集人脸图像的方法、装置及电子设备 | |
JP4708835B2 (ja) | 顔検出装置、顔検出方法、及び顔検出プログラム | |
JP2012118927A (ja) | 画像処理プログラムおよび画像処理装置 | |
JP2011113464A (ja) | 属性識別装置、属性識別方法およびプログラム | |
US20220309704A1 (en) | Image processing apparatus, image processing method and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170309 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171107 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20171115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6287827 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |