JP4670521B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4670521B2 JP4670521B2 JP2005208889A JP2005208889A JP4670521B2 JP 4670521 B2 JP4670521 B2 JP 4670521B2 JP 2005208889 A JP2005208889 A JP 2005208889A JP 2005208889 A JP2005208889 A JP 2005208889A JP 4670521 B2 JP4670521 B2 JP 4670521B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- pattern
- illumination
- imaging
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、電子画像から人物の顔などの特定のパターンを認識する撮像装置に関する。 The present invention relates to an imaging apparatus that recognizes a specific pattern such as a human face from an electronic image.
電子カメラなどで撮影された電子画像から、人物の顔の輪郭形状や、目、鼻、口、耳などの各パーツの間隔、肌の色などの種々の情報を取得し、これらを所定のアルゴリズムを用いて分析することで、人間の顔を認識する技術が知られている。現在、実用に供されている顔認識のアルゴリズムとして、例えばFaceIt(登録商標)がある。 Various information such as the contour shape of a person's face, the distance between each part such as eyes, nose, mouth, ears, skin color, etc. is acquired from an electronic image taken with an electronic camera, etc. There is known a technique for recognizing a human face by analyzing using a computer. For example, FaceIt (registered trademark) is currently used as a face recognition algorithm in practical use.
また顔認識機能を持った撮像装置として、例えば特許文献1に記載されたものがある。これは、閃光発光を伴う撮影を行うことで、電子画像中の被写体人物の目に赤目などの変色を故意に生ぜしめ、その変色部分に基づいて画像中の顔の存在を認識するものである。 Moreover, as an imaging device having a face recognition function, for example, there is one described in Patent Document 1. This is a technique that intentionally causes discoloration such as red eyes in the subject person in an electronic image by photographing with flash emission, and recognizes the presence of a face in the image based on the discolored portion. .
しかしながら、1回の閃光撮影で必ず顔の存在が認識できるようになるとは限らず、特許文献1ではその点が考慮されていない。また特許文献1の方法は、顔認識に限定され、それ以外のパターン認識に用いることはできない。 However, it is not always possible to recognize the presence of a face by one flash photography, and Patent Document 1 does not consider this point. Moreover, the method of patent document 1 is limited to face recognition, and cannot be used for other pattern recognition.
本発明に係る撮像装置は、被写体を撮像して電気的画像データを生成する撮像手段と、画像データ中の特定のパターンを認識するパターン認識手段と、被写体を照明する照明手段と、照明手段で被写体を照明して撮像を行い、得られた画像データに対してパターン認識手段による認識動作を試みる認識動作手段とを有し、パターンの認識が不能の場合に、照明手段の照明特性を変化させつつ認識動作を繰り返し、照明手段の照明特性を変化させつつ繰り返し実行される認識動作によりパターンの認識が成功した場合には、パターンを認識した部分をフォーカスエリアとしてオートフォーカス処理し、パターンの認識が成功した後に実行される撮像手段による本撮像において取得された記録用画像に対し、その認識結果に基づく動作を行うことを特徴とする。
An imaging apparatus according to the present invention includes an imaging unit that images a subject to generate electrical image data, a pattern recognition unit that recognizes a specific pattern in the image data, an illumination unit that illuminates the subject, and an illumination unit. perform imaging by illuminating the object, and a recognition operation unit attempting recognition operation by the pattern recognition means for the obtained image data, in the case of inability to recognize the pattern, to change the illumination characteristics of the illumination means If the pattern is recognized successfully by the recognition operation that is repeatedly executed while changing the illumination characteristics of the illumination means, auto-focus processing is performed using the recognized part as the focus area. To perform an operation based on the recognition result for the recording image acquired in the main imaging by the imaging means executed after success And features.
本発明によれば、パターン認識が不能の場合に、照明手段の照明特性を変化させつつ認識動作を繰り返すようにしたので、1回の発光で顔認識が不可能な場合でも最終的に顔認識に成功する可能性を高めることができる。 According to the present invention, when the pattern recognition is impossible, the recognition operation is repeated while changing the illumination characteristics of the illumination means. Therefore, even if the face recognition is impossible with one light emission, the face recognition is finally performed. Can increase your chances of success.
図1および図2により本発明の一実施の形態を説明する。
図1は本実施形態におけるデジタルカメラの制御ブロック図である。不図示の撮影レンズを透過した被写体光束は、CCD等の撮像素子1の受光面に結像される。撮像素子1は、タイミングジェネレータ2によってその動作タイミングを制御され、結像された被写体像の光強度に応じた電気的画像信号を出力する。画像信号は、A/D変換器3によりデジタル信号に変換された後、画像処理回路4において種々の画像処理が施され、画像データが生成される。画像データは、必要に応じて圧縮され、記録回路5メモリカードなどの記録媒体に記録される。
An embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a control block diagram of the digital camera in the present embodiment. A subject light beam that has passed through a photographing lens (not shown) forms an image on a light receiving surface of an image sensor 1 such as a CCD. The image sensor 1 is controlled in its operation timing by the
上記タイミングジェネレータ2や画像処理回路4は、CPU6によって制御される。CPU6にはまた、顔認識演算部7,被写体照明用の閃光装置8,複数のスイッチから成る操作部9などがが接続されている。
The
顔認識演算部7は、背景技術で述べたような公知の手法を用いて画像から人物の顔を認識し、認識結果をCPU6に入力する。顔認識が成功すれば、画像中のいずれに顔が存在するかが判明するだけでなく、それが誰の顔かを自動的に判別することも可能となる。この顔認識結果に基づき、CPU6は種々の動作を行うことができる。例えば認識した顔を、カメラ内のデータベースに登録された複数人分の顔データと照合し、一致するものがあれば、その人物用に用意したフォルダに画像データを記録する。これによれば、画像記録媒体に複数人分のフォルダを予め用意しておくことで、撮った画像を自動的に個人別に振り分けることができる。
The face
また、集合写真などにおいて複数の顔が認識された場合には、個々の顔部分を切り出して個人別のフォルダに振り分けることもできる。さらに、画像中の顔認識部分をフォーカスエリアとしてAF処理を行うことで、自動的に顔にピントを合わせることもできる(顔認識AF)。
なお、顔認識およびその結果に基づく動作は、カメラで顔認識モードが設定されているときにのみなされる。
In addition, when a plurality of faces are recognized in a group photo or the like, individual face portions can be cut out and distributed to individual folders. Further, by performing AF processing with the face recognition portion in the image as the focus area, it is possible to automatically focus on the face (face recognition AF).
Note that the face recognition and the operation based on the result are performed only when the face recognition mode is set on the camera.
ところで、撮像時に人物の顔部分に影などがあると、顔認識演算部7による顔認識の成功率が低下したり、認識に時間がかかるなどの不都合がある。また、低輝度時の撮影などでは、ノイズなどの影響で顔認識が困難になることもある。そこで、被写体を照明して撮像を行い、これによって得られた画像信号を用いて顔認識を行うことが考えられるが、1回の発光で顔認識が成功するという保証はない。本実施形態では、このような場合に閃光装置8の照明特性を変更して再度の発光、撮像、顔認識動作を試みることで、顔認識の成功率を上げるようにした。以下、図2を参照して説明する。
By the way, if there is a shadow or the like on the face portion of a person at the time of imaging, there are inconveniences such that the success rate of face recognition by the face
図2は顔認識モード設定時の撮影制御を示すフローチャートである。
顔認識モード設定時にレリーズ操作がなされると、ステップS1で顔認識のための撮像を行い、画像データを得る。ステップS2では、その画像データに対して顔認識演算部7による顔認識を行い、ステップS3で顔認識が成功したか失敗したかを判定する。なお、この場合、特定パターンとして人物の顔としたが、撮影者が予め認識パターン(顔以外)を選択できるようにしてもよい。この認識パターンの選択によって認識速度および認識成功率を向上させることができる。
FIG. 2 is a flowchart showing shooting control when the face recognition mode is set.
If a release operation is performed when the face recognition mode is set, imaging for face recognition is performed in step S1 to obtain image data. In step S2, face recognition by the face
顔認識に成功したならば、ステップS11で本撮像を行い、記録媒体に記録すべき画像データを得る。ステップS12では、顔認識結果に基づく動作を行う。例えば得られた顔データをデータベースのデータと照合し、一致するものがあれば、その人物用に用意したフォルダに画像データを記録する。 If the face recognition is successful, main imaging is performed in step S11 to obtain image data to be recorded on the recording medium. In step S12, an operation based on the face recognition result is performed. For example, the obtained face data is collated with data in the database, and if there is a match, the image data is recorded in a folder prepared for the person.
一方、ステップS3で顔認識が不能と判定されると、ステップS4に進む。ここで、顔認識の失敗とは、画像中に顔が認識できないか、顔の存在は認識できるが、人物を特定できるだけのデータが得られない、あるいはある一定時間経過しても認識結果が出ない状態を指す。失敗の原因としては、被写界の輝度パターンが顔認識の容易度の閾値を下回っていることが考えられる。 On the other hand, if it is determined in step S3 that face recognition is impossible, the process proceeds to step S4. Here, face recognition failure means that the face cannot be recognized in the image or the presence of the face can be recognized, but data sufficient to identify the person cannot be obtained, or the recognition result is output even after a certain period of time. Refers to no state. A possible cause of the failure is that the luminance pattern of the object scene is below the threshold of face recognition ease.
そこで、ステップS4では閃光装置8を発光させ被写体を照明し、ステップS5で撮像を行う。ステップS6では、得られた画像データに対して再度顔認識を試み、ステップS7でその結果を判定する。顔認識に成功したら上記ステップS11に進み、失敗した場合には、ステップS8で最初の顔認識からの経過時間を判定する。所定時間に達していなければ、再度の顔認識を試みるべくステップS9に進む。ステップS9では、閃光装置8の照明特性を変更する。
Therefore, in step S4, the
ここで、閃光装置8の照明特性としては、例えば発光量がある。発光量が少な過ぎて顔認識に失敗したと考えられるので、次は発光量を増やすべくステップS9で例えば調光レベルの閾値の調整を行い、次いで上記ステップS4に戻る。また閃光撮像によって得た画像データに対してコントラスト処理や輪郭強調処理を施したり、さらには照明光の色特性や撮像素子の特性をも考慮して、画像データに階調補正や色補正を施すことで、顔認識の成功率をより高めることができる
Here, as an illumination characteristic of the
一方、ステップS8で所定時間が経過したと判断された場合には、顔認識を断念し、ステップS10で顔認識不能の旨の警告(例えば警告音または警告表示)を行い、ステップS11で本撮像を行う。なお時間ではなく、顔認識の回数が所定回数に達してなお認識不能の場合に顔認識を断念するようにしてもよい。 On the other hand, if it is determined in step S8 that the predetermined time has elapsed, the face recognition is abandoned, a warning indicating that the face cannot be recognized (for example, a warning sound or a warning display) is given in step S10, and the main imaging is performed in step S11. I do. Note that instead of time, face recognition may be abandoned when the number of face recognitions reaches a predetermined number and is still unrecognizable.
ここで、閃光装置8の照明特性は発光量に限定されず、発光角、発光方向なども含む。例えば集合写真などにおいては、閃光装置を発光させても画面の隅にまで光が回らず、隅に位置する人物の顔が認識されないことがある。このような場合には、閃光装置の発光角(配光角)を広げて再度照射することで、全員の顔認識を可能ならしめることができる。配光角の変更は、ズーム式の閃光装置であれば実現可能である。さらに、人物が画面中央にいない場合には、中央を照明しても顔を認識できない。この場合は照明方向(角度)を変えて照射すればよい。なお、予め顔認識領域を指定した場合には、その方向に向けて照明光が照射されるようにしてもよい。照明方向の変更は、発光部の向きが可変の閃光装置を用いることで実現可能である。撮像レンズのズーミングに合わせて発光角(配光角)をズーミングしてもよい。
Here, the illumination characteristics of the
このように、顔認識を可能ならしめるために閃光装置の発光量、発光角、発光方向を順にあるいは同時に変更しつつ発光、撮像および顔認識を繰り返すことが望ましく、これにより無発光あるいは1回の発光で顔認識が不可能な場合でも最終的に顔認識に成功する可能性を高めることができる。照明特性をどれだけ変更すればよいかは顔認識のアルゴリズムによって変わってくるので、予め実験によって適正量を求めることが望ましい。 As described above, in order to make face recognition possible, it is desirable to repeat light emission, imaging, and face recognition while sequentially or simultaneously changing the light emission amount, light emission angle, and light emission direction of the flash device. Even if face recognition is impossible due to light emission, the possibility of finally succeeding in face recognition can be increased. Since how much the illumination characteristic should be changed depends on the face recognition algorithm, it is desirable to obtain an appropriate amount by experiment in advance.
なお、本発明は個人認証システムにも利用できる。また人物の顔認識に限定されず、ペットや植物、その他の物体の特定のパターンを認識する場合においても広く利用可能である。なお照明光は、可視光に限定されず赤外光でもよく、パターン認識のアルゴリズムに適した種類の光を選択すればよい。さらに、パターン認識の結果に基づき、登録したパターンの特徴に合わせて閃光装置の発光量,発光角,発光方向を調整することによって、最適な画像を得ることができる。例えば、顔のしわ等を目立たなくすることができる。 The present invention can also be used for a personal authentication system. Further, the present invention is not limited to human face recognition, and can be widely used in the case of recognizing specific patterns of pets, plants, and other objects. The illumination light is not limited to visible light, but may be infrared light, and a type of light suitable for a pattern recognition algorithm may be selected. Furthermore, an optimal image can be obtained by adjusting the light emission amount, light emission angle, and light emission direction of the flash device according to the registered pattern characteristics based on the pattern recognition result. For example, wrinkles on the face can be made inconspicuous.
1 撮像素子
6 CPU
7 顔認識演算部
8 閃光装置
1 Image sensor 6 CPU
7 Face
Claims (4)
前記画像データ中の特定のパターンを認識するパターン認識手段と、
被写体を照明する照明手段と、
該照明手段で被写体を照明して撮像を行い、得られた画像データに対して前記パターン認識手段による認識動作を試みる認識動作手段とを有し、
前記パターンの認識が不能の場合に、前記照明手段の照明特性を変化させつつ前記認識動作を繰り返し、
前記照明手段の照明特性を変化させつつ繰り返し実行される認識動作により前記パターンの認識が成功した場合には、前記パターンを認識した部分をフォーカスエリアとしてオートフォーカス処理し、前記パターンの認識が成功した後に実行される前記撮像手段による本撮像において取得された記録用画像に対し、その認識結果に基づく動作を行うことを特徴とする撮像装置。 Imaging means for imaging a subject and generating electrical image data;
Pattern recognition means for recognizing a specific pattern in the image data;
Illumination means for illuminating the subject;
Recognizing the object with the illuminating means to perform imaging, and having a recognition operation means for trying the recognition operation by the pattern recognition means on the obtained image data,
In the case of non recognition of the pattern, repeat the recognition operation while changing the illumination characteristics of said illumination means,
When said recognition of the pattern by the recognition operation repeatedly executed while changing the illumination characteristics of the illumination means is successful, a moiety recognizing the pattern autofocus process as a focus area, the recognition of the pattern has been successfully An image pickup apparatus that performs an operation based on a recognition result with respect to a recording image acquired in the main image pickup by the image pickup means executed later.
前記認識結果に基づく動作は、前記本撮像において取得された画像を前記顔認識に基づいて特定された人物に関連付けて記録する動作であることを特徴とする請求項1〜3のいずれか1項に記載の撮像装置。 Recognition of the pattern by the serial recognition operation means is a face recognition to identify a person,
The operation based on the recognition result is an operation of recording an image acquired in the main imaging in association with a person specified based on the face recognition. The imaging device described in 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005208889A JP4670521B2 (en) | 2005-07-19 | 2005-07-19 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005208889A JP4670521B2 (en) | 2005-07-19 | 2005-07-19 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007026213A JP2007026213A (en) | 2007-02-01 |
JP4670521B2 true JP4670521B2 (en) | 2011-04-13 |
Family
ID=37786860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005208889A Expired - Fee Related JP4670521B2 (en) | 2005-07-19 | 2005-07-19 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4670521B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009021862A (en) * | 2007-07-12 | 2009-01-29 | Fujifilm Corp | Imaging apparatus, and imaging control method |
JP5493512B2 (en) * | 2009-07-02 | 2014-05-14 | パナソニック株式会社 | IMAGING DEVICE AND CELLULAR PHONE MOUNTING THE SAME |
JP5166570B2 (en) * | 2011-04-27 | 2013-03-21 | 株式会社東芝 | Electronic device and video processing method |
JP6371637B2 (en) * | 2014-08-21 | 2018-08-08 | 任天堂株式会社 | Information processing apparatus, information processing system, information processing program, and information processing method |
JP6745640B2 (en) * | 2016-04-28 | 2020-08-26 | 株式会社三共 | Amusement system |
JP6745639B2 (en) * | 2016-04-28 | 2020-08-26 | 株式会社三共 | Amusement device |
JP6216003B2 (en) * | 2016-06-14 | 2017-10-18 | 株式会社ユニバーサルエンターテインメント | Imaging system |
JP7214830B2 (en) * | 2019-03-01 | 2023-01-30 | 株式会社日立国際電気 | Image matching system |
JP7342746B2 (en) | 2020-03-12 | 2023-09-12 | 株式会社Jvcケンウッド | Video processing device, video processing method, and video processing program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11316836A (en) * | 1998-05-06 | 1999-11-16 | Omron Corp | Person identifying |
JP2003099763A (en) * | 2001-05-25 | 2003-04-04 | Toshiba Corp | Face image storage device, information management system, face image storing method, and information management method |
JP2004222118A (en) * | 2003-01-17 | 2004-08-05 | Omron Corp | Photographing equipment |
JP2005009865A (en) * | 2003-06-16 | 2005-01-13 | Seiko Epson Corp | Shape recognition device for optical member |
-
2005
- 2005-07-19 JP JP2005208889A patent/JP4670521B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11316836A (en) * | 1998-05-06 | 1999-11-16 | Omron Corp | Person identifying |
JP2003099763A (en) * | 2001-05-25 | 2003-04-04 | Toshiba Corp | Face image storage device, information management system, face image storing method, and information management method |
JP2004222118A (en) * | 2003-01-17 | 2004-08-05 | Omron Corp | Photographing equipment |
JP2005009865A (en) * | 2003-06-16 | 2005-01-13 | Seiko Epson Corp | Shape recognition device for optical member |
Also Published As
Publication number | Publication date |
---|---|
JP2007026213A (en) | 2007-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4670521B2 (en) | Imaging device | |
JP6081297B2 (en) | Subject detection and recognition under defocus conditions | |
US9147106B2 (en) | Digital camera system | |
JP4078334B2 (en) | Image processing apparatus and image processing method | |
JP4254873B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and computer program | |
US20090196466A1 (en) | Face Detection in Mid-Shot Digital Images | |
JP2010074735A (en) | Operation input apparatus, operation input method, and program | |
JP4732299B2 (en) | Method for detecting specific subject image and digital camera | |
JP2005092759A (en) | Image processing device and method, red-eye detection method, and program | |
JP4624947B2 (en) | Image trimming method, apparatus and program | |
KR102160137B1 (en) | Apparatus and Method for Recognizing Fake Face By Using Minutia Data Variation | |
JP2009015518A (en) | Eye image photographing device and authentication device | |
JP2008271310A (en) | Imaging device and control method thereof, program, and storage medium | |
JP2006130325A (en) | Personal identification device | |
JP4789526B2 (en) | Image processing apparatus and image processing method | |
JP2008219451A (en) | Imaging device and control method thereof | |
JP2008148161A (en) | Imaging apparatus, its control method, program, and storage medium | |
JP2006166077A (en) | Imaging device | |
JP2006174022A (en) | Image processing apparatus and method | |
JP2005327161A (en) | Iris authenticating apparatus | |
JP5153211B2 (en) | Imaging apparatus and control method thereof | |
JP2006323611A (en) | Image-photographing device and its control method, computer program, and storage medium | |
JP2021166352A (en) | Image processing apparatus and method, and imaging apparatus and control method of the same | |
JP2008217525A (en) | Image processor, image pickup device, and image processing method and computer program | |
JP2008160279A (en) | Imaging apparatus and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100823 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110103 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4670521 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140128 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140128 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |