JP5517858B2 - 画像処理装置、撮像装置、画像処理方法 - Google Patents
画像処理装置、撮像装置、画像処理方法 Download PDFInfo
- Publication number
- JP5517858B2 JP5517858B2 JP2010211395A JP2010211395A JP5517858B2 JP 5517858 B2 JP5517858 B2 JP 5517858B2 JP 2010211395 A JP2010211395 A JP 2010211395A JP 2010211395 A JP2010211395 A JP 2010211395A JP 5517858 B2 JP5517858 B2 JP 5517858B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- facial expression
- unit
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 184
- 238000003384 imaging method Methods 0.000 title claims description 49
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000001514 detection method Methods 0.000 claims description 268
- 230000008921 facial expression Effects 0.000 claims description 232
- 238000011156 evaluation Methods 0.000 claims 9
- 238000004590 computer program Methods 0.000 claims 1
- 230000000699 topical effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 149
- 230000008569 process Effects 0.000 description 105
- 239000013598 vector Substances 0.000 description 34
- 230000014509 gene expression Effects 0.000 description 29
- 210000002569 neuron Anatomy 0.000 description 25
- 238000010586 diagram Methods 0.000 description 20
- 230000010354 integration Effects 0.000 description 17
- 230000001815 facial effect Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 13
- 210000004709 eyebrow Anatomy 0.000 description 13
- 238000012549 training Methods 0.000 description 13
- 210000000887 face Anatomy 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 10
- 210000000554 iris Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 241000282412 Homo Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Description
入力された前記画像を一時的に保持する保持手段と、
前記画像から顔を検出する検出手段と、
前記検出手段により顔が検出された場合に当該顔の表情を判別する表情判別手段と、
判別された前記顔の表情が特定の表情である場合に、前記保持手段に保持された、当該特定の表情であると判別された顔が検出された画像を撮影画像として記録媒体に記録する撮影制御手段と
を備えることを特徴とする。
図1は本実施形態に係る画像処理装置の機能構成を示す図である。本実施形態に係る画像処理装置は、画像中から顔を検出し、その表情を判別するものであり、撮像部100、制御部101、顔検出部102、中間検出結果保持部103、表情判別部104、画像保持部105、表示部106、記録部107から成る。以下、各部について説明する。
本実施形態では、第1の実施形態における顔検出領域の検出処理(ステップS202)と表情判別処理(ステップS204)とを並列に行なう。これにより、全体の処理をより高速に行うことができる。
本実施形態に係る画像処理装置は、第1,2の実施形態における顔検出部102が行う顔領域検出処理と、表情判別部104が行う表情判別処理とを並列に行なうことにより、システム全体のパフォーマンスを向上させることを目的とする。
上記実施形態では顔の表情を判別する為の技術について説明したが、本実施形態では、その顔が誰のものであるかの判別、すなわち顔に対する個人の判別するための技術について説明する。
本実施形態に係る画像処理装置は、同じ1つの画像に対して上記実施形態で説明した顔領域検出処理、第1乃至3の実施形態で説明した表情判別処理、第4の実施形態で説明した個人判別処理を行う。
本実施形態では、第5の実施形態で説明した表情判別処理と個人判別処理とを、シーケンシャルに行う。これにより、より高精度に特定の個人の特定の表情を判別することができる。
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
Claims (8)
- 画像を入力する入力手段と、
入力された前記画像を一時的に保持する保持手段と、
前記画像から顔を検出する検出手段と、
前記検出手段により顔が検出された場合に当該顔の表情を判別する表情判別手段と、
判別された前記顔の表情が特定の表情である場合に、前記保持手段に保持された、当該特定の表情であると判別された顔が検出された画像を撮影画像として記録媒体に記録する撮影制御手段と
を備えることを特徴とする画像処理装置。 - 前記検出手段は、前記画像から局所特徴を検出し、該局所特徴に基づいて該画像から顔を検出し、
前記表情判別手段は、前記検出手段で検出された局所特徴に基づいて前記顔の表情を判別する
ことを特徴とする請求項1に記載の画像処理装置。 - 画像を入力する入力手段と、
入力された前記画像を一時的に保持する保持手段と、
前記画像から顔を検出する検出手段と、
前記検出手段により顔が検出された場合に当該顔の表情に係る評価値を求める評価手段と、
前記評価値に基づいて、前記保持手段に保持された、該評価値を求める対象となった顔が検出された画像を撮影画像として記録媒体に記録するか否かを制御する撮影制御手段と
を備えることを特徴とする画像処理装置。 - 請求項1乃至3に記載の画像処理装置と、
前記入力手段に入力される画像を撮像する撮像手段と
を備えることを特徴とする撮像装置。 - 画像処理装置が行う画像処理方法であって、
画像処理装置が有する入力手段が、画像を入力する入力工程と、
画像処理装置が有する保持手段が、入力された前記画像を一時的に保持する保持工程と、
画像処理装置が有する検出手段が、前記画像から顔を検出する検出工程と、
画像処理装置が有する表情判別手段が、前記検出工程で顔が検出された場合に当該顔の表情を判別する表情判別工程と、
画像処理装置が有する撮影制御手段が、判別された前記顔の表情が特定の表情である場合に、前記保持手段に保持された、当該特定の表情であると判別された顔が検出された画像を撮影画像として記録媒体に記録する撮影制御工程と
を備えることを特徴とする画像処理方法。 - 画像処理装置が行う画像処理方法であって、
画像処理装置が有する入力手段が、画像を入力する入力工程と、
画像処理装置が有する保持手段が、入力された前記画像を一時的に保持する保持工程と、
画像処理装置が有する検出手段が、前記画像から顔を検出する検出工程と、
画像処理装置が有する評価手段が、前記検出工程で顔が検出された場合に当該顔の表情に係る評価値を求める評価工程と、
画像処理装置が有する撮影制御手段が、前記評価値に基づいて、前記保持手段に保持された、該評価値を求める対象となった顔が検出された画像を撮影画像として記録媒体に記録するか否かを制御する撮影制御工程と
を備えることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至3の何れか1項に記載の画像処理装置が有する各手段として機能させる為のコンピュータプログラム。
- 請求項7に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010211395A JP5517858B2 (ja) | 2003-07-18 | 2010-09-21 | 画像処理装置、撮像装置、画像処理方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003199357 | 2003-07-18 | ||
JP2003199357 | 2003-07-18 | ||
JP2010211395A JP5517858B2 (ja) | 2003-07-18 | 2010-09-21 | 画像処理装置、撮像装置、画像処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004167588A Division JP4743823B2 (ja) | 2003-07-18 | 2004-06-04 | 画像処理装置、撮像装置、画像処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013103531A Division JP5629803B2 (ja) | 2003-07-18 | 2013-05-15 | 画像処理装置、撮像装置、画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011018362A JP2011018362A (ja) | 2011-01-27 |
JP5517858B2 true JP5517858B2 (ja) | 2014-06-11 |
Family
ID=37016208
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010211395A Expired - Fee Related JP5517858B2 (ja) | 2003-07-18 | 2010-09-21 | 画像処理装置、撮像装置、画像処理方法 |
JP2013103531A Expired - Fee Related JP5629803B2 (ja) | 2003-07-18 | 2013-05-15 | 画像処理装置、撮像装置、画像処理方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013103531A Expired - Fee Related JP5629803B2 (ja) | 2003-07-18 | 2013-05-15 | 画像処理装置、撮像装置、画像処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP5517858B2 (ja) |
CN (1) | CN1839410B (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4974788B2 (ja) * | 2007-06-29 | 2012-07-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
JP4479756B2 (ja) * | 2007-07-05 | 2010-06-09 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム |
JP4720810B2 (ja) * | 2007-09-28 | 2011-07-13 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
US8089548B2 (en) * | 2008-04-11 | 2012-01-03 | Panasonic Corporation | Image processing device, method, and storage medium |
JP5361524B2 (ja) * | 2009-05-11 | 2013-12-04 | キヤノン株式会社 | パターン認識システム及びパターン認識方法 |
CN103366782B (zh) * | 2012-04-06 | 2014-09-10 | 腾讯科技(深圳)有限公司 | 在虚拟形象上自动播放表情的方法和装置 |
JP5435067B2 (ja) * | 2012-04-25 | 2014-03-05 | カシオ計算機株式会社 | 通信システム、情報端末、通信方法及びプログラム |
CN103383774B (zh) * | 2012-05-04 | 2018-07-06 | 苏州比特速浪电子科技有限公司 | 图像处理方法及其设备 |
CN104244101A (zh) * | 2013-06-21 | 2014-12-24 | 三星电子(中国)研发中心 | 对多媒体内容进行评论的方法和设备 |
CN105917305B (zh) * | 2013-08-02 | 2020-06-26 | 埃莫蒂安特公司 | 基于图像情感内容的过滤和快门拍摄 |
TWI508001B (zh) * | 2013-10-30 | 2015-11-11 | Wistron Corp | 路人偵測方法、裝置與電腦程式產品 |
JP6203077B2 (ja) * | 2014-02-21 | 2017-09-27 | 株式会社東芝 | 学習装置、密度計測装置、学習方法、学習プログラム、及び密度計測システム |
WO2016111174A1 (ja) * | 2015-01-06 | 2016-07-14 | ソニー株式会社 | エフェクト生成装置およびエフェクト生成方法、並びにプログラム |
AU2016261487B2 (en) * | 2015-05-11 | 2020-11-05 | Magic Leap, Inc. | Devices, methods and systems for biometric user recognition utilizing neural networks |
US9600715B2 (en) * | 2015-06-26 | 2017-03-21 | Intel Corporation | Emotion detection system |
CN106919891B (zh) * | 2015-12-26 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种图像处理方法及装置 |
US10360441B2 (en) | 2015-11-25 | 2019-07-23 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus |
CN105812666A (zh) * | 2016-03-30 | 2016-07-27 | 上海斐讯数据通信技术有限公司 | 一种智能终端的拍摄方法及其智能终端 |
CN106023067A (zh) * | 2016-05-17 | 2016-10-12 | 珠海市魅族科技有限公司 | 一种图像处理方法及装置 |
CN107155063B (zh) * | 2017-06-19 | 2020-10-20 | 深圳市泰衡诺科技有限公司上海分公司 | 夜景拍摄控制方法、系统以及设备 |
CN109522902B (zh) * | 2017-09-18 | 2023-07-07 | 微软技术许可有限责任公司 | 空-时特征表示的提取 |
CN109849737A (zh) * | 2019-02-28 | 2019-06-07 | 北京机械设备研究所 | 一种动力电池多参数一致性的均衡控制方法 |
CN110365905B (zh) * | 2019-07-25 | 2021-08-31 | 北京迈格威科技有限公司 | 自动拍照方法及装置 |
CN110430397A (zh) * | 2019-07-31 | 2019-11-08 | 广州竞德信息技术有限公司 | 基于多模态的行为识别方法 |
CN110728215A (zh) * | 2019-09-26 | 2020-01-24 | 杭州艾芯智能科技有限公司 | 基于红外图像的人脸活体检测方法、装置 |
CN111050105A (zh) * | 2019-12-14 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 视频播放方法、装置、玩具机器人及可读存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5774591A (en) * | 1995-12-15 | 1998-06-30 | Xerox Corporation | Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images |
JP3515329B2 (ja) * | 1997-06-20 | 2004-04-05 | 三洋電機株式会社 | チップ状電子部品とその製造方法 |
JP2000306095A (ja) * | 1999-04-16 | 2000-11-02 | Fujitsu Ltd | 画像照合・検索システム |
JP2000347278A (ja) * | 1999-06-04 | 2000-12-15 | Fuji Photo Film Co Ltd | カメラ及び撮影方法 |
JP4227257B2 (ja) * | 1999-08-12 | 2009-02-18 | キヤノン株式会社 | カメラ |
JP4291963B2 (ja) * | 2000-04-13 | 2009-07-08 | 富士フイルム株式会社 | 画像処理方法 |
JP3992909B2 (ja) * | 2000-07-03 | 2007-10-17 | 富士フイルム株式会社 | 本人画像提供システム |
JP2003018587A (ja) * | 2001-06-29 | 2003-01-17 | Sharp Corp | ドアフォンシステム |
JP4364465B2 (ja) * | 2001-09-18 | 2009-11-18 | 株式会社リコー | 撮像装置 |
JP2003134384A (ja) * | 2001-10-23 | 2003-05-09 | Fuji Photo Film Co Ltd | カメラ |
JP2003187352A (ja) * | 2001-12-14 | 2003-07-04 | Nippon Signal Co Ltd:The | 特定人物検出システム |
US6879709B2 (en) * | 2002-01-17 | 2005-04-12 | International Business Machines Corporation | System and method for automatically detecting neutral expressionless faces in digital images |
JP4743823B2 (ja) * | 2003-07-18 | 2011-08-10 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法 |
-
2004
- 2004-07-16 CN CN200480024042.3A patent/CN1839410B/zh not_active Expired - Fee Related
-
2010
- 2010-09-21 JP JP2010211395A patent/JP5517858B2/ja not_active Expired - Fee Related
-
2013
- 2013-05-15 JP JP2013103531A patent/JP5629803B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013178816A (ja) | 2013-09-09 |
JP2011018362A (ja) | 2011-01-27 |
CN1839410B (zh) | 2015-05-20 |
JP5629803B2 (ja) | 2014-11-26 |
CN1839410A (zh) | 2006-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP4743823B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
EP1650711B1 (en) | Image processing device, imaging device, image processing method | |
KR102596897B1 (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
KR102147052B1 (ko) | 얼굴 영상 기반의 감정 인식 시스템 및 방법 | |
Dev et al. | Student attendance system using face recognition | |
JP6664163B2 (ja) | 画像識別方法、画像識別装置及びプログラム | |
JP5010905B2 (ja) | 顔認証装置 | |
JP5361530B2 (ja) | 画像認識装置、撮像装置及び画像認識方法 | |
TWI383325B (zh) | 臉部表情辨識 | |
Hatem et al. | A survey of feature base methods for human face detection | |
JP2006293644A (ja) | 情報処理装置、情報処理方法 | |
Colombo et al. | Gappy PCA classification for occlusion tolerant 3D face detection | |
JP2013218605A (ja) | 画像認識装置、画像認識方法及びプログラム | |
Jindal et al. | Sign Language Detection using Convolutional Neural Network (CNN) | |
Guha | A report on automatic face recognition: Traditional to modern deep learning techniques | |
JP4789526B2 (ja) | 画像処理装置、画像処理方法 | |
JP4061405B2 (ja) | 顔画像分類登録装置 | |
Chaudhry et al. | RECENT APPORACHES FOR FACEMASK FORGERY DETECTION | |
Mahmood | Face detection by image discriminating | |
CN112183422A (zh) | 一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质 | |
Seo et al. | Face Pose Estimation System by Combining Hybrid ICA-SVM Learning and 3D Modeling | |
Khan et al. | Facial features and Body parts Detection Methods: A Comprehensive Survey | |
Thomas | Face recognition from surveillance-quality video | |
Arun et al. | Real World Real-time Automatic Recognition of Facial Expressions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120810 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130515 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130524 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20130607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140401 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5517858 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |