JP4360369B2 - Electronic camera - Google Patents

Electronic camera Download PDF

Info

Publication number
JP4360369B2
JP4360369B2 JP2005341052A JP2005341052A JP4360369B2 JP 4360369 B2 JP4360369 B2 JP 4360369B2 JP 2005341052 A JP2005341052 A JP 2005341052A JP 2005341052 A JP2005341052 A JP 2005341052A JP 4360369 B2 JP4360369 B2 JP 4360369B2
Authority
JP
Japan
Prior art keywords
face recognition
face
recognition data
data
registered person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005341052A
Other languages
Japanese (ja)
Other versions
JP2007150602A (en
Inventor
弘剛 野崎
展宏 藤縄
晃 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2005341052A priority Critical patent/JP4360369B2/en
Priority to CN2011102312413A priority patent/CN102231801B/en
Priority to CN2006800438630A priority patent/CN101313565B/en
Priority to EP06833117A priority patent/EP1962497B1/en
Priority to PCT/JP2006/323295 priority patent/WO2007060980A1/en
Priority to US12/085,353 priority patent/US8488847B2/en
Publication of JP2007150602A publication Critical patent/JP2007150602A/en
Application granted granted Critical
Publication of JP4360369B2 publication Critical patent/JP4360369B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、人物の顔認識機能を備えた電子カメラに関する。   The present invention relates to an electronic camera having a human face recognition function.

従来から、人物の顔を撮影した撮影画像から人物の顔の特徴点を抽出し、認識する人物に関する顔認識データと上記の特徴点との一致度に基づいて顔認識を行う技術が開示されている(特許文献1参照)。かかる顔認識の技術では、予め電子カメラなどに顔認識データを登録する必要がある。特に顔認識の精度を向上させるためにはより多くの顔認識データが必要となるので、複数フレームの撮影画像から顔認識データを生成する必要がある。
特開平6−259534号公報
Conventionally, a technique has been disclosed in which feature points of a person's face are extracted from a photographed image of the person's face, and face recognition is performed based on the degree of coincidence between face recognition data related to the person to be recognized and the above feature points. (See Patent Document 1). Such face recognition technology requires that face recognition data be registered in advance in an electronic camera or the like. In particular, in order to improve the accuracy of face recognition, more face recognition data is required, so it is necessary to generate face recognition data from a plurality of frames of captured images.
JP-A-6-259534

ところで、撮影画面内で多数の顔が検出された場合や顔認識の判定に使用される顔認識データの総数が多い場合には、顔認識処理の演算量が非常に大きくなる。上記の場合には顔認識処理の演算時間が長くなるため、ユーザーの快適な撮影が妨げられるとともにシャッターチャンスを逃すおそれも高まる点でなお改善の余地があった。
本発明は上記従来技術の課題を解決するためのものであって、その目的は、顔認識処理の演算量を状況に応じて適切に調整できる電子カメラを提供することである。
By the way, when a large number of faces are detected in the shooting screen or when the total number of face recognition data used for the face recognition determination is large, the amount of calculation of the face recognition processing becomes very large. In the above case, since the calculation time of the face recognition process becomes long, there is still room for improvement in that the user's comfortable shooting is hindered and the possibility of missing a shutter chance increases.
The present invention is to solve the above-described problems of the prior art, and an object of the present invention is to provide an electronic camera that can appropriately adjust the calculation amount of face recognition processing according to the situation.

第1の発明に係る電子カメラは、撮像素子と、顔検出部と、記録部と、制御部と、顔認識部とを備える。撮像素子は、撮影光学系による被写体像を光電変換して画像信号を生成する。顔検出部は、画像信号に基づいて撮影画面の顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する。記録部は、登録人物の顔の特徴点に基づいて予め生成された顔認識データを記録する。制御部は、顔認識対象の登録人物に関する複数の顔認識データをまとめた顔認識データ群に含まれる前記顔認識データの数に基づいて、顔認識データの数に対応する評価値が顔認識部の処理能力で規定される閾値を下回るように、顔認識データ群から判定用顔認識データを選択する。顔認識部は、顔検出部の抽出した特徴点および判定用顔認識データに基づいて、撮影人物が顔認識対象の登録人物か否かを判定する。また、制御部は、顔認識対象の登録人物が複数の場合に、各登録人物に設定された優先順位に基づいて判定用顔認識データを重み付けして選択する。 An electronic camera according to a first invention includes an image sensor, a face detection unit, a recording unit, a control unit, and a face recognition unit. The imaging device generates an image signal by photoelectrically converting a subject image obtained by the photographing optical system. The face detection unit detects a face area of the shooting screen based on the image signal, and extracts a feature point of the photographed person's face from the face area. The recording unit records face recognition data generated in advance based on the facial feature points of the registered person. The control unit has an evaluation value corresponding to the number of face recognition data based on the number of face recognition data included in a face recognition data group in which a plurality of face recognition data related to a registered person as a face recognition target is collected. The face recognition data for determination is selected from the face recognition data group so as to be lower than the threshold value defined by the processing capability . The face recognition unit determines whether the photographed person is a registered person for face recognition based on the feature points extracted by the face detection unit and the determination face recognition data. In addition, when there are a plurality of registered persons to be face-recognized, the control unit weights and selects determination face recognition data based on the priority order set for each registered person.

第2の発明に係る電子カメラは、撮像素子と、顔検出部と、記録部と、制御部と、顔認識部とを備える。撮像素子は、撮影光学系による被写体像を光電変換して画像信号を生成する。顔検出部は、画像信号に基づいて撮影画面の顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する。記録部は、登録人物の顔の特徴点に基づいて予め生成された顔認識データを記録する。制御部は、顔認識対象の登録人物に関する複数の顔認識データをまとめた顔認識データ群に含まれる顔認識データの数に基づいて、顔認識データの数に対応する評価値が顔認識部の処理能力で規定される閾値を下回るように、顔認識データ群から判定用顔認識データを選択する。顔認識部は、顔検出部の抽出した特徴点および判定用顔認識データに基づいて、撮影人物が顔認識対象の登録人物か否かを判定する。また、制御部は、顔認識対象の登録人物が複数の場合に、顔認識データの記録数が多い登録人物を優先して判定用顔認識データを選択する。
第3の発明は、第1または第2の発明において、評価値は、顔認識データの数と、顔領域の数とに基づいて算出される値であることを特徴とする。
An electronic camera according to a second invention includes an imaging device, a face detection unit, a recording unit, a control unit, and a face recognition unit. The imaging device generates an image signal by photoelectrically converting a subject image obtained by the photographing optical system. The face detection unit detects a face area of the shooting screen based on the image signal, and extracts a feature point of the photographed person's face from the face area. The recording unit records face recognition data generated in advance based on the facial feature points of the registered person. The control unit has an evaluation value corresponding to the number of face recognition data based on the number of face recognition data included in the face recognition data group in which a plurality of face recognition data related to the registered person of the face recognition target is collected. The face recognition data for determination is selected from the face recognition data group so as to be lower than the threshold defined by the processing capability. The face recognition unit determines whether the photographed person is a registered person for face recognition based on the feature points extracted by the face detection unit and the determination face recognition data. In addition, when there are a plurality of registered persons to be face-recognized, the control unit preferentially selects the registered person with a large number of recorded face recognition data and selects the face recognition data for determination.
According to a third aspect, in the first or second aspect, the evaluation value is a value calculated based on the number of face recognition data and the number of face areas.

第4の発明は、第1から第のいずれかの発明において、制御部は、同一の登録人物に関して複数の顔認識データが記録されている場合に、取得時期が新しい顔認識データを優先して判定用顔認識データを選択することを特徴とする。 In a fourth aspect based on any one of the first to third aspects, the control unit prioritizes face recognition data having a new acquisition time when a plurality of face recognition data are recorded for the same registered person. And selecting judgment face recognition data.

の発明は、第1から第のいずれかの発明において、制御部は、同一の登録人物に関して取得時の撮影条件が異なる複数の顔認識データが記録されている場合に、取得時の撮影条件が現在の撮影条件に近似する顔認識データを優先して判定用顔認識データを選択することを特徴とする。
の発明は、第1から第のいずれかの発明において、制御部は、同一の登録人物に関して顔の向きが異なる複数の顔認識データが記録されている場合に、顔正面に対応する顔認識データを優先して判定用顔認識データを選択することを特徴とする。
According to a fifth invention, in any one of the first to fourth inventions, when the plurality of face recognition data having different shooting conditions at the time of acquisition are recorded for the same registered person, the control unit The determination face recognition data is selected by giving priority to face recognition data whose shooting conditions approximate the current shooting conditions.
According to a sixth aspect of the present invention, in any one of the first to fifth aspects, the control unit corresponds to the face front when a plurality of face recognition data having different face orientations are recorded for the same registered person. The determination face recognition data is selected with priority given to the face recognition data.

の発明は、第1から第のいずれかの発明において、記録部は、登録人物ごとの撮影回数を示す撮影回数データをさらに記録する。そして、制御部は、撮影回数データに基づいて、撮影回数が多い登録人物を優先して判定用顔認識データを選択することを特徴とする。
ここで、上記発明に関する構成を方法、記録媒体、コンピュータプログラムなどに変換して表現したものも本発明の具体的態様として有効である。
In a seventh aspect based on any one of the first to sixth aspects, the recording unit further records photographing number data indicating the number of photographings for each registered person. Then, the control unit selects the face recognition data for determination with priority on the registered person with a large number of photographing times based on the photographing number data.
Here, a representation of the configuration related to the present invention converted into a method, a recording medium, a computer program, and the like is also effective as a specific aspect of the present invention.

本発明の電子カメラでは、顔認識処理の演算量を状況に応じて適切に調整することができる。   In the electronic camera of the present invention, the amount of calculation of face recognition processing can be adjusted appropriately according to the situation.

図1は本実施形態の電子カメラの構成を示すブロック図である。
電子カメラは、撮影光学系11と、第1レンズ駆動部12と、揺動センサ部13と、像ぶれ補正レンズ14と、第2レンズ駆動部15と、撮像素子16と、アナログ信号処理部17と、A/D変換部18と、内蔵メモリ19と、画像処理部20と、カードI/F21と、入出力I/F22と、操作部材23および液晶モニタ24と、閃光発光部25と、CPU26と、顔登録メモリ27およびデータバス28とを有している。なお、内蔵メモリ19、画像処理部20、カードI/F21、入出力I/F22およびCPU26は、データバス28を介して接続されている。
FIG. 1 is a block diagram showing the configuration of the electronic camera of this embodiment.
The electronic camera includes a photographing optical system 11, a first lens driving unit 12, a swing sensor unit 13, an image blur correction lens 14, a second lens driving unit 15, an image sensor 16, and an analog signal processing unit 17. The A / D converter 18, the built-in memory 19, the image processor 20, the card I / F 21, the input / output I / F 22, the operation member 23 and the liquid crystal monitor 24, the flash light emitter 25, and the CPU 26. And a face registration memory 27 and a data bus 28. The internal memory 19, the image processing unit 20, the card I / F 21, the input / output I / F 22, and the CPU 26 are connected via a data bus 28.

撮影光学系11は、ズームレンズ11aと、合焦位置調節用のフォーカシングレンズ11bとを含む複数のレンズ群で構成されている。撮影光学系11を構成する各レンズは、第1レンズ駆動部12によって光軸方向に駆動調整される。
揺動センサ部13は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを備えている。揺動センサ部13は電子カメラの揺れを示すカメラ揺動データをCPU26に出力する。このカメラ揺動データは、像ぶれ補正レンズ14の移動量の演算に使用される。
The photographing optical system 11 includes a plurality of lens groups including a zoom lens 11a and a focusing lens 11b for adjusting a focus position. Each lens constituting the photographing optical system 11 is driven and adjusted in the optical axis direction by the first lens driving unit 12.
The swing sensor unit 13 includes a vertical angular velocity sensor that detects the pitch of the electronic camera and a horizontal angular velocity sensor that detects the roll of the electronic camera. The swing sensor unit 13 outputs camera swing data indicating the swing of the electronic camera to the CPU 26. This camera swing data is used to calculate the amount of movement of the image blur correction lens 14.

像ぶれ補正レンズ14は光軸直角方向に揺動可能に構成されている。第2レンズ駆動部15は、像ぶれ補正レンズ14を縦方向に揺動させる縦揺動手段と、像ぶれ補正レンズ14を横方向に揺動させる横揺動手段とで構成される。この第2レンズ駆動部15は、CPU26が演算した像ぶれ補正レンズ14の移動量に基づいて、像ぶれ補正レンズ14を揺動させてぶれ補正を実行する。   The image blur correction lens 14 is configured to be swingable in the direction perpendicular to the optical axis. The second lens driving unit 15 includes a vertical swing unit that swings the image blur correction lens 14 in the vertical direction and a horizontal swing unit that swings the image blur correction lens 14 in the horizontal direction. The second lens driving unit 15 swings the image blur correction lens 14 based on the movement amount of the image blur correction lens 14 calculated by the CPU 26 and executes blur correction.

撮像素子16は、撮影光学系11を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。この撮像素子16は、非レリーズ時(撮影待機時)にも所定間隔毎に被写体を露光し、間引き読み出しによるアナログ画像信号(スルー画像信号)を出力する。スルー画像信号は、後述のAF演算、AE演算および顔検出動作や、ファインダ用画像の生成などに使用される。   The image sensor 16 photoelectrically converts the light beam that has passed through the photographing optical system 11 to generate an analog image signal of the subject image. The image sensor 16 also exposes the subject at predetermined intervals even when the shutter is not released (during shooting standby), and outputs an analog image signal (through image signal) by thinning readout. The through image signal is used for AF calculation, AE calculation, face detection operation, and finder image generation, which will be described later.

アナログ信号処理部17は、相関二重サンプリングを行うCDS回路、アナログ画像信号の出力を増幅するゲイン回路、入力信号の波形を一定の電圧レベルにクランプするクランプ回路等で構成されている。A/D変換部18は撮像素子16のアナログ画像信号をデジタル画像信号に変換する。内蔵メモリ19は、画像処理部20での画像処理の前工程および後工程でデータを一時的に保存する。なお、内蔵メモリ19には後述の撮影画像データを記録可能な記録領域を設けることもできる。   The analog signal processing unit 17 includes a CDS circuit that performs correlated double sampling, a gain circuit that amplifies the output of the analog image signal, a clamp circuit that clamps the waveform of the input signal to a certain voltage level, and the like. The A / D converter 18 converts the analog image signal of the image sensor 16 into a digital image signal. The built-in memory 19 temporarily stores data in the pre-process and post-process of image processing in the image processing unit 20. The built-in memory 19 can be provided with a recording area in which captured image data described later can be recorded.

画像処理部20はデジタル画像信号に所定の画像処理を施す。この画像処理部20はレリーズ時の画像信号に基づいて撮影画像データを生成する。また、画像処理部20はスルー画像信号に基づいてスルー画像データを順次生成する。このスルー画像データの解像度は、撮影画像データの解像度よりも低く設定される。スルー画像データは、CPU26による顔認識処理に使用されるとともに、液晶モニタ24の表示画像(プレビュー画像)としても使用される。さらに、画像処理部20は撮影画像データの圧縮処理なども実行する。さらにまた、画像処理部20は、撮影画像の一部を切り出して解像度を変換する電子ズーム処理を行うことも可能である。   The image processing unit 20 performs predetermined image processing on the digital image signal. The image processing unit 20 generates captured image data based on the image signal at the time of release. Further, the image processing unit 20 sequentially generates through image data based on the through image signal. The resolution of the through image data is set lower than the resolution of the captured image data. The through image data is used for face recognition processing by the CPU 26 and also used as a display image (preview image) on the liquid crystal monitor 24. Furthermore, the image processing unit 20 also performs a process of compressing captured image data. Furthermore, the image processing unit 20 can also perform an electronic zoom process that cuts out a part of the captured image and converts the resolution.

また、画像処理部20は、CPU26の指示により各種表示(顔認識時の枠表示など)のビデオデータを生成し、上記のビデオデータをスルー画像データに重畳させて液晶モニタ24に出力する。これによって、プレビュー画像には上記の各種表示が合成される。
カードI/F21には、記録媒体29を接続するためのコネクタが形成されている。記録媒体29は公知の半導体メモリなどで構成される。そして、カードI/F21は、記録媒体29に対する撮影画像データの書き込み/読み込みを制御する。
In addition, the image processing unit 20 generates video data for various displays (such as a frame display during face recognition) according to instructions from the CPU 26, superimposes the video data on the through image data, and outputs the video data to the liquid crystal monitor 24. As a result, the various displays described above are combined with the preview image.
The card I / F 21 is formed with a connector for connecting the recording medium 29. The recording medium 29 is composed of a known semiconductor memory or the like. The card I / F 21 controls writing / reading of photographed image data with respect to the recording medium 29.

入出力I/F22には、操作部材23および液晶モニタ24が接続されている。操作部材23は入力釦やレリーズ釦などを備えている。操作部材23の入力釦は、例えば、電子カメラの撮影モード(通常撮影モード、再生モード、顔登録モード、顔認識撮影モード等)の切り換え入力などを受け付ける。また、操作部材23のレリーズ釦は、半押しによるAF動作の指示入力と、全押しによるレリーズ入力とを受け付ける。   An operation member 23 and a liquid crystal monitor 24 are connected to the input / output I / F 22. The operation member 23 includes an input button, a release button, and the like. The input button of the operation member 23 accepts, for example, a switching input of a photographing mode (normal photographing mode, reproduction mode, face registration mode, face recognition photographing mode, etc.) of the electronic camera. The release button of the operation member 23 accepts an AF operation instruction input by half pressing and a release input by full pressing.

一方、液晶モニタ24は主として電子カメラの背面部分に配置される。この液晶モニタ24には、撮影画像データの再生画像や電子カメラの各種設定を変更するための設定画面などが表示される。上記の設定画面には後述の顔認識データを編集するための編集画面が含まれる。また、撮影モードでの液晶モニタ24には上記のプレビュー画像を動画表示することが可能である。したがって、ユーザーは、液晶モニタ24のプレビュー画像を確認しつつ被写体のフレーミングを行うことができる。   On the other hand, the liquid crystal monitor 24 is mainly disposed on the back surface portion of the electronic camera. The liquid crystal monitor 24 displays a playback image of the captured image data, a setting screen for changing various settings of the electronic camera, and the like. The setting screen includes an editing screen for editing face recognition data described later. In addition, the preview image can be displayed as a moving image on the liquid crystal monitor 24 in the shooting mode. Therefore, the user can perform framing of the subject while confirming the preview image on the liquid crystal monitor 24.

さらに、入出力I/F22には外部接続端子が形成されている。そして、入出力I/F22は、外部接続端子を介して接続されたコンピュータなどとのデータ送受信をUSB(Universal Serial Bus)やIEEE1394などのシリアル通信規格に準拠して制御する。また、入出力I/F22の外部接続端子には、外部との無線通信を行うための拡張機器である通信ユニット30を接続することも可能である。   Furthermore, an external connection terminal is formed in the input / output I / F 22. The input / output I / F 22 controls data transmission / reception with a computer or the like connected via an external connection terminal in accordance with a serial communication standard such as USB (Universal Serial Bus) or IEEE1394. Further, it is possible to connect a communication unit 30 which is an expansion device for performing wireless communication with the outside to the external connection terminal of the input / output I / F 22.

閃光発光部25は、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光タイミングや光量を調整する発光制御回路などから構成されている。
CPU26は、不図示のROMに格納されたシーケンスプログラムに従って電子カメラの各部動作を制御する。例えば、CPU26はスルー画像信号に基づいて公知のコントラスト方式のAF(オートフォーカス)演算や、公知のAE(自動露出)演算などを実行する。また、CPU26は、上記のカメラ揺動データに基づいて像ぶれ補正レンズ14の移動量を演算する。
The flash light emitting unit 25 includes a xenon arc tube, a main capacitor for storing light emission energy, a reflector and a lens member for efficiently irradiating a subject with flash light, a light emission control circuit for adjusting light emission timing and light quantity, and the like. .
The CPU 26 controls the operation of each part of the electronic camera according to a sequence program stored in a ROM (not shown). For example, the CPU 26 executes a known contrast AF (autofocus) calculation or a known AE (automatic exposure) calculation based on the through image signal. Further, the CPU 26 calculates the movement amount of the image blur correction lens 14 based on the camera swing data.

さらに、CPU26は顔検出部31、顔認識部32として機能する。顔検出部31は、スルー画像データまたは撮影画像データから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部31は、特開2001−16573号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。   Further, the CPU 26 functions as a face detection unit 31 and a face recognition unit 32. The face detection unit 31 extracts feature points from through image data or captured image data, and detects a face area, a face size, and the like of the subject. For example, the face detection unit 31 extracts a face region by a feature point extraction process described in Japanese Patent Laid-Open No. 2001-16573. Examples of the feature points include eyebrow, eye, nose, and lip end points, face contour points, head vertices, and chin lower end points.

顔認識部32は、「顔登録モード」では、検出した顔の特徴点に基づいて顔認識データを生成する。例えば、顔認識部32は、検出した顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから登録人物の顔認識データを生成する。
また、顔認識部32は、「顔認識撮影モード」では、撮影画面内の人物の顔が顔認識データの登録人物の顔か否かを判定する顔認識処理を行う。具体的には、まず顔認識部32は検出された顔の特徴点に基づいて、撮影人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部32は、上記の演算結果と顔認識データとを比較して所定の登録人物の顔と撮影人物の顔との相似度を求める。そして、顔認識部32は上記の相似度が閾値を上回る場合に撮影人物が所定の登録人物に合致すると判定する。
In the “face registration mode”, the face recognition unit 32 generates face recognition data based on the detected feature points of the face. For example, the face recognizing unit 32 generates face recognition data of a registered person from the position of the detected feature point of the face, the size of the face part obtained from the feature point, the relative distance of each feature point, and the like.
Further, in the “face recognition shooting mode”, the face recognition unit 32 performs face recognition processing for determining whether or not a person's face in the shooting screen is a face of a registered person in the face recognition data. Specifically, the face recognition unit 32 first calculates the position of the feature point of the photographed person's face, the size of each face part, the relative distance of each feature point, and the like based on the detected feature points of the face. Next, the face recognition unit 32 compares the above calculation result with the face recognition data, and obtains the similarity between the face of the predetermined registered person and the face of the photographed person. Then, the face recognizing unit 32 determines that the photographed person matches a predetermined registered person when the similarity is greater than the threshold value.

なお、CPU26は、顔認識処理の結果に基づいて、撮影条件または画像処理の設定変更や、撮像素子16へのレリーズ指示などを実行することが可能である。
顔登録メモリ27には、CPU26の顔認識部32が生成した顔認識データが記録される。この顔登録メモリ27には登録人物ごとにグループフォルダが生成されている。グループフォルダには、各登録人物の顔認識データがそれぞれ記録されている。すなわち、顔登録メモリ27の顔認識データは、グループフォルダによって登録人物ごとにグループ化されている。例えば、グループフォルダには、同一の登録人物に関して顔の向き、眼鏡の有無および撮影条件などが異なる複数の顔認識データを記録することが可能である。そして、登録人物を指定することで、CPU26はグループフォルダ内の顔認識データを顔登録メモリ27から一括して読み出すことが可能となっている。
Note that the CPU 26 can execute a change in shooting conditions or image processing settings, a release instruction to the image sensor 16, and the like based on the result of the face recognition process.
In the face registration memory 27, face recognition data generated by the face recognition unit 32 of the CPU 26 is recorded. In the face registration memory 27, a group folder is generated for each registered person. In the group folder, face recognition data of each registered person is recorded. That is, the face recognition data in the face registration memory 27 is grouped for each registered person by the group folder. For example, in the group folder, a plurality of face recognition data with different face orientations, presence / absence of glasses, photographing conditions, and the like can be recorded for the same registered person. Then, by designating the registered person, the CPU 26 can collectively read the face recognition data in the group folder from the face registration memory 27.

また、顔登録メモリ27には、「登録人物の名称」および「顔認識時の処理設定」のデータが記録されている。上記の「登録人物の名称」および「顔認識時の処理設定」は、各登録人物のグループフォルダにそれぞれ対応付けされている。
ここで、「顔認識時の処理設定」には、登録人物が認識された場合に適用される電子カメラの各種制御の設定が記録されている。例えば、「顔認識時の処理設定」には、(1)撮影時の撮影条件の設定、(2)撮影画像データの画像処理の設定、(3)撮影画像データの記録先の設定、(4)撮影画像データの印刷指定の設定、(5)撮影画像データの送信設定、などが含まれる。
The face registration memory 27 stores data of “name of registered person” and “processing setting for face recognition”. The “registered person name” and “processing setting at the time of face recognition” are associated with the group folder of each registered person.
Here, in the “processing setting at the time of face recognition”, settings of various controls of the electronic camera that are applied when a registered person is recognized are recorded. For example, “processing setting for face recognition” includes (1) setting of shooting conditions at the time of shooting, (2) setting of image processing of shot image data, (3) setting of a recording destination of shot image data, (4 And (5) setting for transmission of photographed image data, and the like.

上記(1)の撮影条件の設定には、各登録人物を撮影するときの露出補正値や、被写界深度の設定(浅め、標準の選択)などが含まれる。また、登録人物の検出の際にCPU26が自動的に撮影を行う設定も可能である。上記(2)の画像処理の設定には、撮影画像データのソフトフォーカス処理の有無の設定、エッジ強調の抑制の設定などが含まれる。
上記(3)の記録先の設定では、撮影画像データの記録先となる記録媒体29内の記録フォルダのディレクトリパスを各登録人物ごとに指定できる。すなわち、CPU26は顔登録メモリ27のデータを参照し、各登録人物ごとに異なる記録フォルダに撮影画像データを記録することが可能となる。
The setting of the shooting condition in (1) includes an exposure correction value when shooting each registered person, setting of the depth of field (shallow, standard selection), and the like. It is also possible to set the CPU 26 to automatically take a picture when a registered person is detected. The image processing settings in (2) above include settings for presence / absence of soft focus processing of captured image data, settings for suppressing edge enhancement, and the like.
In the setting of the recording destination in (3) above, the directory path of the recording folder in the recording medium 29 that is the recording destination of the photographed image data can be designated for each registered person. That is, the CPU 26 can record the photographed image data in a different recording folder for each registered person by referring to the data in the face registration memory 27.

上記(4)の印刷指定の設定では、例えば、DPOF(Digital Print Order Format)などの規格による撮影画像データの印刷指定の有無を各登録人物ごとに指定できる。なお、上記(5)の送信設定では、登録人物の撮影時における撮影画像データの送信の要否と、送信先のアドレス情報(電子メールアドレス)とを指定できる。
また、顔登録メモリ27には、「顔登録画像」、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータが記録されている。上記の「顔登録画像」、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータは、グループフォルダ内の個々の顔認識データにそれぞれ対応付けされている。
In the print designation setting in (4) above, for example, it is possible to designate, for each registered person, whether or not to print photographed image data according to a standard such as DPOF (Digital Print Order Format). In the transmission setting in (5) above, it is possible to designate whether or not the captured image data needs to be transmitted when the registered person is photographed, and address information (e-mail address) of the transmission destination.
The face registration memory 27 stores data of “face registration image”, “face recognition data registration time”, and “shooting conditions at the time of face recognition data acquisition”. The above-mentioned “face registration image”, “face recognition data registration time”, and “imaging conditions when acquiring face recognition data” are associated with individual face recognition data in the group folder.

上記の「顔登録画像」は顔認識データ取得時の撮影画像データであって、所定の画素サイズにリサイズされている。そして、「顔登録画像」は上記の編集画面で液晶モニタ24に表示される。すなわち、「顔登録画像」は、登録人物または顔認識データの識別性、検索性を高めるインデックス画像として機能する。例えば、「顔登録画像」によって、ユーザーは誰のどのような画像(顔正面、横向きなど)から顔認識データが生成されたかを編集画面で確認することも可能となる。   The above “face registration image” is photographed image data at the time of face recognition data acquisition, and is resized to a predetermined pixel size. Then, the “face registration image” is displayed on the liquid crystal monitor 24 in the above editing screen. That is, the “face registration image” functions as an index image that enhances the identifiability and searchability of the registered person or face recognition data. For example, the “face registration image” allows the user to check on the editing screen which face recognition data has been generated from what kind of image (face front, landscape orientation, etc.).

「顔認識データの登録時期」は、その顔認識データの元となる顔登録画像データの撮影日時のデータである。また、「顔認識データの取得時の撮影条件」は、顔登録画像データの撮影条件のデータである。上記の撮影条件には、例えば、撮影光学系11の焦点距離のデータや、撮影時のホワイトバランスおよび露出条件や、撮影時のフラッシュ発光の有無などが含まれる。なお、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータは、CPU26が顔認識処理で使用する顔認識データを絞り込む場合の判定にも使用される。   “Registration time of face recognition data” is data of photographing date and time of face registration image data that is the basis of the face recognition data. Further, “shooting conditions when acquiring face recognition data” is data of shooting conditions of face registration image data. The above photographing conditions include, for example, focal length data of the photographing optical system 11, white balance and exposure conditions at the time of photographing, presence / absence of flash emission at the time of photographing, and the like. Note that the data of “registration time of face recognition data” and “shooting conditions when acquiring face recognition data” are also used for determination when the CPU 26 narrows down the face recognition data used in the face recognition processing.

また、顔登録メモリ27には、各登録人物ごとの撮影回数を示す撮影回数データも記録される。この撮影回数データの撮影回数は、CPU26が顔認識撮影モードでの顔認識の結果に応じてインクリメントする。なお、上記の撮影回数は、ユーザーが編集画面などで手動で入力するようにしてもよい。
以下、本実施形態の電子カメラの「顔認識撮影モード」の動作を説明する。
The face registration memory 27 also records shooting count data indicating the shooting count for each registered person. The number of times of photographing of the number of times of photographing data is incremented by the CPU 26 according to the result of face recognition in the face recognition photographing mode. Note that the number of times of shooting may be manually input by the user on an editing screen or the like.
The operation of the “face recognition shooting mode” of the electronic camera of this embodiment will be described below.

図2は本実施形態の「顔認識撮影モード」の動作を示す流れ図である。この「顔認識撮影モード」は、指定した登録人物が撮影画面に存在する場合に、電子カメラが所定の制御を行って撮影画像データを取得する撮影モードである。
ステップ101:まず、ユーザーは操作部材23により電子カメラの撮影モードを「顔認識撮影モード」に設定する。
FIG. 2 is a flowchart showing the operation of the “face recognition photographing mode” of the present embodiment. This “face recognition shooting mode” is a shooting mode in which, when a designated registered person exists on the shooting screen, the electronic camera performs predetermined control to acquire shot image data.
Step 101: First, the user sets the photographing mode of the electronic camera to the “face recognition photographing mode” using the operation member 23.

例えば、電子カメラが「通常撮影モード」や「ポートレート撮影モード」に設定された状態において、ユーザーはモード選択画面を呼び出す操作を行う。これにより、CPU26はモード選択画面(図3参照)を液晶モニタ24に表示する。そして、ユーザーは操作部材23でモード選択画面上の選択枠を操作し、CPU26に「顔認識撮影モード」の起動を指示する。これにより、CPU26は「顔認識撮影モード」の一連の動作を開始する。   For example, in a state where the electronic camera is set to “normal shooting mode” or “portrait shooting mode”, the user performs an operation for calling a mode selection screen. As a result, the CPU 26 displays a mode selection screen (see FIG. 3) on the liquid crystal monitor 24. Then, the user operates the selection frame on the mode selection screen with the operation member 23 and instructs the CPU 26 to activate the “face recognition photographing mode”. Thereby, the CPU 26 starts a series of operations in the “face recognition photographing mode”.

ステップ102:CPU26は、登録人物の選択画面(図4参照)を液晶モニタ24に表示する。そして、CPU26は、顔認識対象の登録人物(撮影時に顔認識を行う登録人物)の指定入力を受け付ける。なお、顔認識対象の登録人物を撮影前に予めユーザーがCPU26に指定入力しておくことも可能である。
ここで、「登録人物の選択画面」では、CPU26は1または2以上の登録人物の指定を受け付けることができる。例えば、CPU26は顔登録メモリ27の登録人物の全指定を受け付けることもできる。また、グループフォルダを所定のカテゴリ(例えば、家族、サークルなど)で予めリンクするとともに、ユーザーが選択画面でカテゴリを指定入力することで、CPU26にリンクされた登録人物の一括指定を入力することもできる。
Step 102: The CPU 26 displays a registration person selection screen (see FIG. 4) on the liquid crystal monitor 24. Then, the CPU 26 receives a designation input of a registered person to be face recognized (a registered person who performs face recognition at the time of shooting). It is also possible for the user to designate and input a registered person for face recognition into the CPU 26 in advance before photographing.
Here, in the “registered person selection screen”, the CPU 26 can accept designation of one or more registered persons. For example, the CPU 26 can accept all designations of registered persons in the face registration memory 27. In addition, the group folder may be linked in advance with a predetermined category (for example, family, circle, etc.), and the user may input a batch designation of registered persons linked to the CPU 26 by designating and inputting the category on the selection screen. it can.

ステップ103:CPU26は、撮像素子16を駆動させてスルー画像信号の取得を行う。撮像素子16は所定間隔毎に間引き読み出しでスルー画像信号を出力する。画像処理部20はスルー画像信号に基づいてスルー画像データを生成する。そして、液晶モニタ24にはスルー画像データに基づいてプレビュー画像が動画表示される。
ステップ104:一方、CPU26の顔検出部31は、スルー画像データに公知の顔検出処理を施して撮影画面内の顔領域を検出する。
Step 103: The CPU 26 drives the image sensor 16 to acquire a through image signal. The image sensor 16 outputs a through image signal by thinning readout at predetermined intervals. The image processing unit 20 generates through image data based on the through image signal. A preview image is displayed as a moving image on the liquid crystal monitor 24 based on the through image data.
Step 104: On the other hand, the face detection unit 31 of the CPU 26 performs a known face detection process on the through image data to detect a face area in the shooting screen.

ステップ105:CPU26はS104で撮影画面から顔検出されたか否かを判定する。顔検出された場合(YES側)にはS106に移行する。一方、顔検出されていない場合(NO側)にはS114に移行する。
ステップ106:CPU26は、検出した顔領域の位置を基準としてAF演算を実行する。なお、顔領域を複数検出した場合には、CPU26は、撮影画面の中央に位置する顔領域または最も至近側に位置する顔領域を優先してAF演算を実行する。
Step 105: The CPU 26 determines whether or not a face is detected from the shooting screen in S104. If a face is detected (YES side), the process proceeds to S106. On the other hand, when the face is not detected (NO side), the process proceeds to S114.
Step 106: The CPU 26 performs AF calculation with reference to the detected position of the face area. If a plurality of face areas are detected, the CPU 26 prioritizes the face area located at the center of the shooting screen or the face area located closest to the shooting screen, and executes the AF calculation.

ステップ107:CPU26は、顔認識対象の登録人物に関するすべての顔認識データの数(顔認識データ群に含まれる顔認識データの数)をカウントする。具体的には、顔登録メモリ27のうちで、顔認識対象の登録人物のグループフォルダに記録されている顔認識データがカウントの対象となる。
ステップ108:CPU26は、撮影画面内で検出された顔領域の数(S104)と、顔認識データ群に含まれる顔認識データの数(S107)とを乗じて、今回の顔認識処理の最大演算量を示す評価値を求める。上記の評価値は、今回検出された全ての顔領域に、顔認識データ群に含まれる顔認識データをすべて適用して顔認識処理を行なう場合の演算量に対応する。
Step 107: The CPU 26 counts the number of all face recognition data ( the number of face recognition data included in the face recognition data group ) related to the registered person as the face recognition target. Specifically, in the face registration memory 27, face recognition data recorded in the group folder of the registered person to be face recognition is counted.
Step 108: The CPU 26 multiplies the number of face areas detected in the photographing screen (S104) and the number of face recognition data included in the face recognition data group (S107), and performs the maximum calculation of the current face recognition process. An evaluation value indicating the quantity is obtained. The above evaluation value corresponds to the amount of calculation when performing face recognition processing by applying all the face recognition data included in the face recognition data group to all the face regions detected this time.

ステップ109:CPU26は、所定の閾値から評価値(S108)を減じた差の値を求める。上記の閾値は、顔認識部32が所定の制限時間内に実行できる顔認識処理の演算量に基づいて設定される。そのため、閾値の具体的な数値は顔認識部32の演算能力に応じて左右される。
ステップ110:CPU26は、差の値(S109)が負であるか否かを判定する。差の値が負である場合(YES側)にはS111に移行する。一方、差の値が0以上である場合(NO側)にはS112に移行する。なお、S110でNO側の場合には、顔認識部32は、顔認識データ群の顔認識データがすべて判定用顔認識データとなる。
Step 109: The CPU 26 obtains a difference value obtained by subtracting the evaluation value (S108) from a predetermined threshold value. The threshold value is set based on the amount of face recognition processing that can be executed by the face recognition unit 32 within a predetermined time limit. Therefore, the specific numerical value of the threshold depends on the calculation capability of the face recognition unit 32.
Step 110: The CPU 26 determines whether or not the difference value (S109) is negative. When the difference value is negative (YES side), the process proceeds to S111. On the other hand, when the difference value is 0 or more (NO side), the process proceeds to S112. In the case of NO in S110, the face recognition unit 32 uses all face recognition data in the face recognition data group as determination face recognition data.

ステップ111:この場合には、評価値(S108)が閾値を上回っており、顔認識データ群の顔認識データをすべて適用すると制限時間内に顔認識処理が完了しない可能性が高い。そのため、CPU26は、顔認識データ群のうちから今回の顔認識処理に適用する判定用顔認識データを絞り込む。
具体的には、まず、CPU26は、上記の差の値(S109)に基づいて判定用顔認識データの上限値を演算する。次に、CPU26は、以下の(1)および(2)のアルゴリズムによって、顔認識データ群のうちから判定用顔認識データを上限値未満となるように選択する。
Step 111: In this case, the evaluation value (S108) exceeds the threshold, and if all the face recognition data of the face recognition data group is applied, there is a high possibility that the face recognition process will not be completed within the time limit. Therefore, the CPU 26 narrows down determination face recognition data to be applied to the current face recognition process from the face recognition data group.
Specifically, first, the CPU 26 calculates the upper limit value of the determination face recognition data based on the difference value (S109). Next, the CPU 26 selects the face recognition data for determination from the face recognition data group so as to be less than the upper limit value by the following algorithms (1) and (2).

(1)顔認識対象の登録人物が複数人の場合には、CPU26は、各登録人物ごとの判定用顔認識データの分配数を上記の上限値に基づいて設定する。基本的には、CPU26は顔認識対象の登録人物について分配数をいずれも同じに設定する。
もっとも、CPU26は各登録人物に設定された優先順位に基づいて分配数の重み付けを行い、優先順位の高さに比例して判定用顔認識データの数が多くなるようにしてもよい。この場合には、優先順位の高い登録人物ほど多くの顔認識データに基づいて顔認識処理が行われるので、優先順位の高い登録人物については高い精度で顔認識を行うことができる。例えば、CPU26は、顔登録メモリ27の撮影回数データに基づいて、撮影回数がより多い登録人物の優先順位を高く設定することもできる。
(1) When there are a plurality of registered persons for face recognition, the CPU 26 sets the distribution number of the face recognition data for determination for each registered person based on the above upper limit value. Basically, the CPU 26 sets the same number of distributions for the registered persons for face recognition.
However, the CPU 26 may weight the number of distributions based on the priority order set for each registered person so that the number of face recognition data for determination increases in proportion to the priority level. In this case, a registered person with a higher priority is subjected to face recognition processing based on more face recognition data, so that a registered person with a higher priority can be recognized with high accuracy. For example, the CPU 26 can set a higher priority for a registered person with a higher number of shootings based on the shooting number data in the face registration memory 27.

また、CPU26は各グループフォルダの顔認識データの数をそれぞれ比較し、顔認識データの数が所定値以上の登録人物は分配数が高くなるように設定してもよい。顔認識データの登録数が多い登録人物ほど、ユーザーにとって優先的に撮影したい登録人物である可能性が高いからである。
(2)CPU26は、上記(1)で設定した分配数の範囲内で、顔認識対象の登録人物ごとにグループフォルダの顔認識データから判定用顔認識データを選択する。ここで、グループフォルダの顔認識データが分配数以下の場合には、CPU26はグループフォルダ内のすべての顔認識データを判定用顔認識データとして選択する。なお、この場合においてCPU26は余剰分の分配数を他の登録人物に再配分してもよい。
Further, the CPU 26 may compare the number of face recognition data of each group folder, and may set so that the number of distribution is higher for registered persons whose face recognition data number is a predetermined value or more. This is because a registered person with a larger number of registered face recognition data is more likely to be a registered person who wants to preferentially shoot for the user.
(2) The CPU 26 selects the face recognition data for determination from the face recognition data of the group folder for each registered person to be face recognized within the range of the distribution number set in (1) above. Here, when the face recognition data of the group folder is equal to or less than the distribution number, the CPU 26 selects all the face recognition data in the group folder as determination face recognition data. In this case, the CPU 26 may redistribute the surplus distribution number to other registered persons.

一方、グループフォルダの顔認識データが分配数を超える場合には、CPU26は以下のいずれかの基準(またはこれらの組み合わせ)で判定用顔認識データを選択する。
第1に、CPU26は、グループフォルダの「顔認識データの登録時期」のデータを参照し、登録時期が新しい順に判定用顔認識データを選択する。登録時期が古い顔認識データほど、今回の撮影における信頼性は低くなると考えられるからである。
On the other hand, when the face recognition data of the group folder exceeds the distribution number, the CPU 26 selects the face recognition data for determination based on any of the following criteria (or a combination thereof).
First, the CPU 26 refers to the data of “registration time of face recognition data” in the group folder, and selects the determination face recognition data in order of the new registration time. This is because it is considered that the face recognition data with the older registration time is less reliable in this shooting.

第2に、CPU26は、グループフォルダの「顔認識データの取得時の撮影条件」のデータを参照する。そして、CPU26は、複数の顔認識データのうちから、上記した取得時の撮影条件が現在の撮影条件に近似する顔認識データを優先して判定用顔認識データを選択する。今回の撮影条件と近い条件で取得された顔認識データの方が、より顔認識の精度向上に寄与するからである。   Second, the CPU 26 refers to the data of “shooting condition when acquiring face recognition data” in the group folder. Then, the CPU 26 selects the face recognition data for determination by giving priority to the face recognition data whose shooting condition at the time of acquisition approximates the current shooting condition from among the plurality of face recognition data. This is because the face recognition data acquired under the conditions close to the current photographing condition contributes to the improvement of face recognition accuracy.

例えば、撮影条件の各パラメータの変化量を点数化するテーブルを予め作成しておき、CPU26が顔認識データの撮影条件の点数を今回の撮影条件を基準として求める。そして、CPU26は上記の点数を比較して判定用顔認識データを選択する。これにより、撮影時に閃光発光を行う場合、CPU26はフラッシュ発光有りの顔認識データを優先して判定用顔認識データを選択する。一方、撮影時に閃光発光を行わない場合、CPU26はフラッシュ発光無しの顔認識データを優先して判定用顔認識データを選択する。同様に、CPU26は、露出条件やホワイトバランスの設定がより近い顔認識データを優先して判定用顔認識データを選択する。   For example, a table for scoring the amount of change in each parameter of the shooting conditions is created in advance, and the CPU 26 obtains the score of the shooting conditions of the face recognition data based on the current shooting conditions. Then, the CPU 26 compares the above scores and selects determination face recognition data. As a result, when flashing is performed at the time of shooting, the CPU 26 preferentially selects face recognition data with flash emission and selects face recognition data for determination. On the other hand, when the flash is not emitted at the time of shooting, the CPU 26 selects the face recognition data for determination with priority on the face recognition data without the flash emission. Similarly, the CPU 26 preferentially selects face recognition data for which exposure conditions and white balance settings are closer, and selects determination face recognition data.

第3に、CPU26は、グループフォルダの顔認識データのうちで顔正面に対応する顔認識データを優先して判定用顔認識データを選択する。通常は、顔を正面から撮影することが多いからである。ここで、顔認識データの顔向きの検出は以下のようにして行われる。例えば、顔認識データに予め顔の向きに関する識別情報を記録し、CPU26が上記識別情報を参照して顔の向きを判断してもよい。また、CPU26は顔認識データでの目、鼻、口等の特徴点の抽出状態から顔の向きを類推するようにしてもよい。   Thirdly, the CPU 26 selects the face recognition data for determination with priority given to the face recognition data corresponding to the front of the face among the face recognition data of the group folder. This is because usually the face is often photographed from the front. Here, the detection of the face orientation of the face recognition data is performed as follows. For example, identification information regarding the orientation of the face may be recorded in advance in the face recognition data, and the CPU 26 may determine the orientation of the face with reference to the identification information. Further, the CPU 26 may infer the orientation of the face from the extracted state of feature points such as eyes, nose and mouth in the face recognition data.

ステップ112:CPU26の顔認識部32は、検出した顔領域(S104)に対して判定用顔認識データによる顔認識処理を実行する。そして、顔認識部32は、認識対象の顔(S102)が含まれるか否かを判定する。認識対象の顔が含まれる場合(YES側)にはS113に移行する。一方、認識対象の顔が含まれない場合(NO側)にはS115に移行する。   Step 112: The face recognition unit 32 of the CPU 26 executes face recognition processing using the determination face recognition data for the detected face area (S104). Then, the face recognition unit 32 determines whether or not the recognition target face (S102) is included. If the face to be recognized is included (YES side), the process proceeds to S113. On the other hand, if the face to be recognized is not included (NO side), the process proceeds to S115.

ステップ113:CPU26は、検出された登録人物に対応する「顔認識時の処理設定」のデータに基づいて、電子カメラの撮影条件の設定や画像処理の設定などを変更する。その後、S115に移行する
ここで、認識対象の顔が撮影画面内に複数検出されている場合には、CPU26は所定のアルゴリズムで登録人物の優先順位を決定する。そして、CPU26は、優先順位が最も高い登録人物に対応する「顔認識時の処理設定」に基づいて電子カメラの各種設定を変更する。なお、「顔認識時の処理設定」で登録人物の自動撮影が設定されている場合には、CPU26はS116に移行して登録人物を自動的に撮影する。
Step 113: The CPU 26 changes the setting of the photographing condition of the electronic camera and the setting of the image processing based on the data of “processing setting at the time of face recognition” corresponding to the detected registered person. Thereafter, the process proceeds to S115. When a plurality of faces to be recognized are detected in the shooting screen, the CPU 26 determines the priority order of the registered person by a predetermined algorithm. Then, the CPU 26 changes various settings of the electronic camera based on the “processing setting for face recognition” corresponding to the registered person with the highest priority. If automatic shooting of a registered person is set in the “processing setting for face recognition”, the CPU 26 proceeds to S116 and automatically images the registered person.

ステップ114:一方、この場合には、CPU26はユーザーによるレリーズ釦の半押し操作に応じて、通常撮影時のアルゴリズムでAFエリアを選択してAF演算を実行する。
ステップ115:CPU26はレリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合(YES側)にはS116に移行する。一方、レリーズ釦に入力がない場合(NO側)にはCPU26はレリーズ釦の全押し操作を待機する。
Step 114: On the other hand, in this case, the CPU 26 selects the AF area by the algorithm at the time of normal shooting and executes the AF calculation in response to the half-press operation of the release button by the user.
Step 115: The CPU 26 determines whether or not the release button has been fully pressed. When the release button is fully pressed (YES side), the process proceeds to S116. On the other hand, when there is no input to the release button (NO side), the CPU 26 waits for a full pressing operation of the release button.

ステップ116:CPU26は撮像素子16を駆動させて被写体像を撮影する。その後、画像処理部20はレリーズ時の画像信号に基づいて撮影画像データを生成する。なお、顔認識対象の登録人物が撮影されている場合には、画像処理部20はS113で設定された画像処理を撮影画像データに施す。
ステップ117:CPU26は撮影画像データを記録媒体29に記録する。また、顔認識対象の登録人物が撮影されている場合、CPU26は顔登録メモリ27で指定されているディレクトリパスに基づいて、所定の記録フォルダに撮影画像データを分類して記録することもできる。
Step 116: The CPU 26 drives the image sensor 16 to take a subject image. Thereafter, the image processing unit 20 generates captured image data based on the image signal at the time of release. Note that when a registered person to be face-recognized is photographed, the image processing unit 20 performs the image processing set in S113 on the photographed image data.
Step 117: The CPU 26 records the photographed image data on the recording medium 29. Further, when a registered person as a face recognition target is photographed, the CPU 26 can also classify and record the photographed image data in a predetermined recording folder based on the directory path specified by the face registration memory 27.

さらに、CPU26は、S112の顔認識の結果に基づいて顔登録メモリ27の撮影回数データの撮影回数をインクリメントする。このとき、CPU26は認識された全ての登録人物の撮影回数をインクリメントしてもよく、優先順位に応じて選択された登録人物のみ撮影回数をインクリメントするようにしてもよい。以上で、「顔認識撮影モード」での一連の動作が終了する。   Further, the CPU 26 increments the number of times of photographing of the number of times of photographing in the face registration memory 27 based on the result of the face recognition in S112. At this time, the CPU 26 may increment the number of shootings of all recognized registered persons, or only the number of registered persons selected according to the priority order may be incremented. Thus, a series of operations in the “face recognition photographing mode” is completed.

以下、本実施形態の「顔認識撮影モード」の効果を説明する。上記の顔認識撮影モードでは、顔認識データに基づいて撮影人物の顔認識が行われる(S112)。そして、認識対象の顔が検出された場合には、撮影時の各種処理がその登録人物に対応する設定で行われる(S113、S116、S117)。そのため、登録人物の撮影時にユーザーの意図を反映させた処理を自動的に行うことができ、電子カメラを操作するユーザーの利便性が著しく向上する。   Hereinafter, the effect of the “face recognition photographing mode” of the present embodiment will be described. In the face recognition shooting mode, face recognition of the photographed person is performed based on the face recognition data (S112). When a face to be recognized is detected, various processes at the time of shooting are performed with settings corresponding to the registered person (S113, S116, S117). Therefore, the process reflecting the user's intention can be automatically performed when the registered person is photographed, and the convenience of the user who operates the electronic camera is remarkably improved.

また、上記の顔認識撮影モードでは、制限時間内に顔認識処理が完了しない可能性が高い場合には、所定のアルゴリズムで判定用顔認識データを絞り込む(S107〜S111)。そのため、顔認識処理の演算時間を制限時間内に収めることができ、ユーザーが快適に撮影を行うことができる。
(実施形態の補足事項)
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではなく、例えば以下のような形態であってもよい。
In the face recognition photographing mode, when there is a high possibility that the face recognition process will not be completed within the time limit, the determination face recognition data is narrowed down using a predetermined algorithm (S107 to S111). Therefore, the calculation time of the face recognition process can be kept within the time limit, and the user can take a picture comfortably.
(Supplementary items of the embodiment)
As mentioned above, although this invention has been demonstrated by said embodiment, the technical scope of this invention is not limited to the said embodiment, For example, the following forms may be sufficient.

(1)顔登録メモリの「顔認識データの登録時期」のデータは、元となる顔登録画像データが概ねいつ頃撮影されたかを示すものでも足りる。したがって、「顔認識データの登録時期」については撮影年、撮影月、撮影日のいずれかで記録を打ち切って、詳細な時刻などの記録を省略するようにしてもよい。
(2)「顔認識撮影モード」の顔認識処理(S112)では、顔認識部32は撮影光学系11の焦点距離のデータから演算したディストーションの度合いに応じて、顔認識データを補正するようにしてもよい。
(1) The “face registration data registration time” data in the face registration memory may be sufficient to indicate when the original face registration image data was captured. Accordingly, the “registration time of the face recognition data” may be terminated by recording at any of the shooting year, shooting month, and shooting date, and recording of detailed time and the like may be omitted.
(2) In the face recognition process (S112) in the “face recognition shooting mode”, the face recognition unit 32 corrects the face recognition data according to the degree of distortion calculated from the focal length data of the shooting optical system 11. May be.

(3)本発明の電子カメラは実施形態の電子カメラの構成と必ずしも一致する必要はない。例えば、内蔵メモリ19と顔登録メモリ27とが共通のメモリで構成されていてもよい。顔登録メモリ27がデータバス28を介してCPU26に接続されていてもよい。また、揺動センサ部13、像ぶれ補正レンズ14および第2レンズ駆動部15からなる光学的なぶれ補正機構が省略されていてもよい。さらに、電子カメラ内に通信ユニット30が内蔵されていてもよい。   (3) The electronic camera of the present invention does not necessarily match the configuration of the electronic camera of the embodiment. For example, the built-in memory 19 and the face registration memory 27 may be configured by a common memory. The face registration memory 27 may be connected to the CPU 26 via the data bus 28. Further, the optical blur correction mechanism including the swing sensor unit 13, the image blur correction lens 14, and the second lens driving unit 15 may be omitted. Furthermore, the communication unit 30 may be built in the electronic camera.

(4)CPU26は顔登録メモリ27内のデータを記録媒体29に記録して、顔登録メモリ27のバックアップを可能としてもよい。また、CPU26は、予め他の電子カメラで生成された顔認識データ等を記録媒体29から取得し、電子カメラ間で顔登録メモリ27のデータを共用できるようにしてもよい。
(5)上記実施形態では、顔認識データの数と顔領域の数とに基づいて顔認識データ群から判定用顔認識データを選択する。しかし、本発明では、検出された顔領域の数を考慮することなく、選択された登録人物に関する顔認識データの数のみに基づいて顔認識データ群から判定用顔認識データを取捨選択するようにしてもよい。
(4) The CPU 26 may record the data in the face registration memory 27 in the recording medium 29 so that the face registration memory 27 can be backed up. Further, the CPU 26 may acquire face recognition data or the like generated in advance by another electronic camera from the recording medium 29 so that the data in the face registration memory 27 can be shared between the electronic cameras.
(5) In the above embodiment, determination face recognition data is selected from the face recognition data group based on the number of face recognition data and the number of face regions. However, in the present invention, determination face recognition data is selected from the face recognition data group based only on the number of face recognition data related to the selected registered person without considering the number of detected face regions. May be.

本実施形態の電子カメラの構成を示すブロック図The block diagram which shows the structure of the electronic camera of this embodiment 本実施形態の「顔認識撮影モード」の動作を示す流れ図Flow chart showing the operation of the “face recognition shooting mode” of the present embodiment モード選択画面の一例を示す図Figure showing an example of the mode selection screen 登録人物の選択画面の一例を示す図The figure which shows an example of the selection screen of a registered person

符号の説明Explanation of symbols

11…撮影光学系、16…撮像素子、26…CPU、27…顔登録メモリ、31…顔検出部、32…顔認識部
DESCRIPTION OF SYMBOLS 11 ... Shooting optical system, 16 ... Imaging device, 26 ... CPU, 27 ... Face registration memory, 31 ... Face detection part, 32 ... Face recognition part

Claims (7)

撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、
前記画像信号に基づいて撮影画面の顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する顔検出部と、
登録人物の顔の特徴点に基づいて予め生成された顔認識データを記録する記録部と、
顔認識対象の登録人物に関する複数の前記顔認識データをまとめた顔認識データ群に含まれる前記顔認識データの数に基づいて、前記顔認識データの数に対応する評価値が前記顔認識部の処理能力で規定される閾値を下回るように、前記顔認識データ群から判定用顔認識データを選択する制御部と、
前記顔検出部の抽出した特徴点および前記判定用顔認識データに基づいて、前記撮影人物が顔認識対象の登録人物か否かを判定する顔認識部と、
を備え
前記制御部は、顔認識対象の登録人物が複数の場合に、各登録人物に設定された優先順位に基づいて前記判定用顔認識データを重み付けして選択することを特徴とする電子カメラ。
An image sensor that photoelectrically converts a subject image by a photographing optical system to generate an image signal;
A face detection unit that detects a face area of the shooting screen based on the image signal and extracts a feature point of the face of the photographed person from the face area part;
A recording unit that records face recognition data generated in advance based on feature points of a registered person's face;
An evaluation value corresponding to the number of face recognition data is based on the number of face recognition data included in a face recognition data group in which a plurality of face recognition data related to a registered person of face recognition is collected. A control unit that selects face recognition data for determination from the face recognition data group so as to fall below a threshold defined by the processing capability ;
A face recognition unit for determining whether the photographed person is a registered person for face recognition based on the feature points extracted by the face detection unit and the determination face recognition data;
Equipped with a,
The control unit weights and selects the determination face recognition data based on a priority set for each registered person when there are a plurality of registered persons for face recognition .
撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、
前記画像信号に基づいて撮影画面の顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する顔検出部と、
登録人物の顔の特徴点に基づいて予め生成された顔認識データを記録する記録部と、
顔認識対象の登録人物に関する複数の前記顔認識データをまとめた顔認識データ群に含まれる前記顔認識データの数に基づいて、前記顔認識データの数に対応する評価値が前記顔認識部の処理能力で規定される閾値を下回るように、前記顔認識データ群から判定用顔認識データを選択する制御部と、
前記顔検出部の抽出した特徴点および前記判定用顔認識データに基づいて、前記撮影人物が顔認識対象の登録人物か否かを判定する顔認識部と、
を備え、
前記制御部は、顔認識対象の登録人物が複数の場合に、前記顔認識データの記録数が多い登録人物を優先して前記判定用顔認識データを選択することを特徴とする電子カメラ。
An image sensor that photoelectrically converts a subject image by a photographing optical system to generate an image signal;
A face detection unit that detects a face area of the shooting screen based on the image signal and extracts a feature point of the face of the photographed person from the face area part;
A recording unit that records face recognition data generated in advance based on feature points of a registered person's face;
An evaluation value corresponding to the number of face recognition data is based on the number of the face recognition data included in a face recognition data group in which a plurality of the face recognition data related to a registered person as a face recognition target is collected. A control unit that selects face recognition data for determination from the face recognition data group so as to fall below a threshold defined by the processing capability;
A face recognition unit for determining whether the photographed person is a registered person for face recognition based on the feature points extracted by the face detection unit and the determination face recognition data;
With
The control unit selects the determination face recognition data by giving priority to a registered person with a large number of recorded face recognition data when there are a plurality of registered persons for face recognition .
前記評価値は、前記顔認識データの数と、前記顔領域の数とに基づいて算出される値であることを特徴とする請求項1または請求項2に記載の電子カメラ。  The electronic camera according to claim 1, wherein the evaluation value is a value calculated based on the number of the face recognition data and the number of the face regions. 前記制御部は、同一の登録人物に関して複数の前記顔認識データが記録されている場合に、取得時期が新しい顔認識データを優先して前記判定用顔認識データを選択することを特徴とする請求項1から請求項のいずれか1項に記載の電子カメラ。 The control unit, when a plurality of the face recognition data is recorded for the same registered person, selects the face recognition data for determination with priority on face recognition data having a new acquisition time. The electronic camera according to any one of claims 1 to 3 . 前記制御部は、同一の登録人物に関して取得時の撮影条件が異なる複数の前記顔認識データが記録されている場合に、前記取得時の撮影条件が現在の撮影条件に近似する顔認識データを優先して前記判定用顔認識データを選択することを特徴とする請求項1から請求項のいずれか1項に記載の電子カメラ。 In the case where a plurality of face recognition data having different shooting conditions at the time of acquisition are recorded for the same registered person, the control unit gives priority to face recognition data whose shooting conditions at the time of acquisition approximate to the current shooting conditions. electronic camera according to any one of claims 1 to 4, characterized by selecting said determination facial recognition data. 前記制御部は、同一の登録人物に関して顔の向きが異なる複数の前記顔認識データが記録されている場合に、顔正面に対応する顔認識データを優先して前記判定用顔認識データを選択することを特徴とする請求項1から請求項のいずれか1項に記載の電子カメラ。 The control unit selects the determination face recognition data by giving priority to the face recognition data corresponding to the front of the face when a plurality of the face recognition data having different face orientations are recorded for the same registered person. electronic camera according to any one of claims 1 to 5, characterized in that. 前記記録部は、前記登録人物ごとの撮影回数を示す撮影回数データをさらに記録し、
前記制御部は、前記撮影回数データに基づいて、前記撮影回数が多い登録人物を優先して前記判定用顔認識データを選択することを特徴とする請求項1から請求項のいずれか1項に記載の電子カメラ。
The recording unit further records shooting number data indicating the number of shootings for each registered person,
The control unit, on the basis of the number of times of photographing data, any one of claims 1 to 6 which in favor of the number of times of photographing are often registered person and selects the determination face recognizing data Electronic camera as described in.
JP2005341052A 2005-11-25 2005-11-25 Electronic camera Active JP4360369B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005341052A JP4360369B2 (en) 2005-11-25 2005-11-25 Electronic camera
CN2011102312413A CN102231801B (en) 2005-11-25 2006-11-22 Electronic camera and image processing device
CN2006800438630A CN101313565B (en) 2005-11-25 2006-11-22 Electronic camera and image processing device
EP06833117A EP1962497B1 (en) 2005-11-25 2006-11-22 Electronic camera and image processing device
PCT/JP2006/323295 WO2007060980A1 (en) 2005-11-25 2006-11-22 Electronic camera and image processing device
US12/085,353 US8488847B2 (en) 2005-11-25 2006-11-22 Electronic camera and image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005341052A JP4360369B2 (en) 2005-11-25 2005-11-25 Electronic camera

Publications (2)

Publication Number Publication Date
JP2007150602A JP2007150602A (en) 2007-06-14
JP4360369B2 true JP4360369B2 (en) 2009-11-11

Family

ID=38211496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005341052A Active JP4360369B2 (en) 2005-11-25 2005-11-25 Electronic camera

Country Status (1)

Country Link
JP (1) JP4360369B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4989243B2 (en) * 2007-02-05 2012-08-01 株式会社リコー Imaging device and subject detection method thereof
JP5428243B2 (en) * 2008-08-28 2014-02-26 株式会社ニコン Image processing apparatus, electronic camera, and image distribution program
US8339448B2 (en) 2009-01-26 2012-12-25 Panasonic Corporation Imaging apparatus
JP4893855B1 (en) * 2010-12-21 2012-03-07 オムロン株式会社 Image authentication apparatus, image processing system, image authentication apparatus control program, computer-readable recording medium, and image authentication method
JP5664559B2 (en) * 2012-01-06 2015-02-04 カシオ計算機株式会社 Imaging device and specific image detection program
KR102057581B1 (en) * 2013-04-16 2019-12-19 삼성전자 주식회사 Apparatus and method for automatically focusing an object in device having a camera
CN110032921B (en) * 2018-12-03 2023-03-24 创新先进技术有限公司 Adjusting device and method of face recognition equipment

Also Published As

Publication number Publication date
JP2007150602A (en) 2007-06-14

Similar Documents

Publication Publication Date Title
JP4315148B2 (en) Electronic camera
JP5087856B2 (en) Electronic camera
JP4432886B2 (en) Electronic camera
US8488847B2 (en) Electronic camera and image processing device
JP4553346B2 (en) Focus adjustment device and focus adjustment method
JP5098259B2 (en) camera
JP4577275B2 (en) Imaging apparatus, image recording method, and program
JP5070728B2 (en) camera
US8411159B2 (en) Method of detecting specific object region and digital camera
JP4360369B2 (en) Electronic camera
JP2007148691A (en) Image processor
US7796163B2 (en) System for and method of taking image based on objective body in a taken image
JP2007150604A (en) Electronic camera
JP4577445B2 (en) Imaging apparatus, image recording method, and program
JP2008017169A (en) Electronic camera
JP2007011200A (en) Imaging apparatus
JP2011048295A (en) Compound eye photographing device and method for detecting posture of the same
JP2005323015A (en) Digital camera
JP5423851B2 (en) Electronic camera
JP5093178B2 (en) Electronic camera
JP5257097B2 (en) Imaging device
JP5381578B2 (en) Electronic camera
JP5264516B2 (en) Imaging device, control method thereof, and program
JP2011250277A (en) Imaging apparatus
JP2010171842A (en) Imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090721

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090803

R150 Certificate of patent or registration of utility model

Ref document number: 4360369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150821

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150821

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250