JP6225463B2

JP6225463B2 - Imaging apparatus, imaging method, and recording medium

Info

Publication number: JP6225463B2
Application number: JP2013085193A
Authority: JP
Inventors: 野村　健一郎; 健一郎野村
Original assignee: Ricoh Imaging Co Ltd
Current assignee: Ricoh Imaging Co Ltd
Priority date: 2013-04-15
Filing date: 2013-04-15
Publication date: 2017-11-08
Anticipated expiration: 2033-04-15
Also published as: JP2014207618A

Description

本発明は、人の顔を撮影する際に良好な露出制御をすることができる撮像装置、撮像方法および記録媒体に関する。 The present invention relates to an imaging apparatus, an imaging method, and a recording medium that can perform favorable exposure control when photographing a human face.

従来、デジタルカメラ等の撮像装置において、被写体の画像を例えば１／３０秒毎の表示周期で撮像して電子ビューファインダにそのスルー画像を表示する構成が知られている。また、人の顔を撮影する際に良好な露出制御を行うことができるカメラとして特許文献１に開示されたものが知られている。このカメラでは、表示装置の表示周期に関わらず、ある一定のタイミングでそのときに存在する表示装置用の画像信号を用いて顔検出を実施し、メモリに顔情報が保存される。シャッタボタンが半押しされると、この時の最新の顔情報がメモリから読み出される。 2. Description of the Related Art Conventionally, in an imaging apparatus such as a digital camera, a configuration is known in which an image of a subject is captured at a display cycle of, for example, every 1/30 seconds and the through image is displayed on an electronic viewfinder. Further, a camera disclosed in Patent Document 1 is known as a camera that can perform good exposure control when photographing a human face. In this camera, face detection is performed using an image signal for a display device existing at a certain timing regardless of the display cycle of the display device, and the face information is stored in a memory. When the shutter button is half-pressed, the latest face information at this time is read from the memory.

一方、連写時に顔検出ができないときに顔の位置や大きさを推定するカメラとして特許文献２に開示されたものが知られている。このカメラでは、連写処理の前後で液晶モニタにスルー画像が表示され、このスルー画像において所定間隔で顔検出が繰り返し行われ、顔情報がメモリに記憶される。顔が検出されない場合に、メモリに記憶された直前の顔情報から顔の位置情報や顔の大きさが推定される。 On the other hand, a camera disclosed in Patent Document 2 is known as a camera that estimates the position and size of a face when face detection cannot be performed during continuous shooting. In this camera, a through image is displayed on the liquid crystal monitor before and after the continuous shooting process, face detection is repeatedly performed on the through image at a predetermined interval, and face information is stored in the memory. When the face is not detected, the face position information and the face size are estimated from the previous face information stored in the memory.

特開２００７−０７４３９４号公報JP 2007-074394 A 特開２００８−２６３４７８号公報JP 2008-263478 A

特許文献１のカメラでは、シャッタボタンが押下された時に、メモリに保存された最新の顔情報が用いられる。このようなカメラでは、直前の顔情報において本来顔が検出されるべきところ、顔検出結果が未検出だった場合、顔検出がない場合の通常の露出制御が行われ、適切な制御が行われない。また、特許文献２のカメラでは、連写時すなわち撮影時に関する露出制御において顔が未検出の際に顔情報が推定される。このように顔の位置や大きさを記憶してこれらの情報を基に顔の位置や大きさを推定する制御では、未検出結果が出た直後に演算を行う必要があり、スルー画像の表示周期と比較して時間がかかるという問題がある。 In the camera of Patent Document 1, the latest face information stored in the memory is used when the shutter button is pressed. In such a camera, the face should be detected in the previous face information, but if the face detection result is not detected, normal exposure control is performed when there is no face detection, and appropriate control is performed. Absent. Further, in the camera of Patent Document 2, face information is estimated when no face is detected in exposure control during continuous shooting, that is, during shooting. In such control that stores the position and size of the face and estimates the position and size of the face based on this information, it is necessary to perform computation immediately after the undetected result is obtained, and display the through image. There is a problem that it takes time in comparison with the period.

本発明は、スルー画像表示および撮影の際、顔検出率が低下した場合でも、簡易な構成で顔検出の有無を推定し、迅速かつ良好な露出制御ができる撮像装置、撮像方法および記録媒体を提供することを目的としている。 The present invention provides an imaging apparatus, an imaging method, and a recording medium capable of estimating the presence / absence of face detection with a simple configuration and performing quick and good exposure control even when a face detection rate decreases during through image display and shooting. It is intended to provide.

本発明に係る撮影装置は、被写体の画像を繰り返し検出し、検出した画像を表示するモニタリングを行う撮像装置であって、画像全体の輝度値を取得する第１輝度値取得手段と、繰り返し検出された画像毎に顔領域を検出する顔検出手段と、一定期間内において顔領域が検出されたことを示す顔検出結果を記憶する顔検出結果記憶手段と、顔検出結果を基に顔領域の輝度値を取得する第２輝度値取得手段と、モニタリング中に顔領域が検出された場合には、第１輝度値取得手段と第２輝度値取得手段により取得された輝度値と画像全体の輝度値の目標値を基に露出制御値を算出する露出制御値算出手段と、算出された露出制御値を常に記憶する顔検出露出制御値記憶手段と、モニタリング中に顔領域が検出されなかった場合には、一定期間内に所定数以上の画像において顔領域が検出されたときに、顔検出露出制御値記憶手段から取得した露出制御値を用いる露出制御手段と、を備えることを特徴としている。 An imaging device according to the present invention is an imaging device that repeatedly detects an image of a subject and performs monitoring for displaying the detected image, and is repeatedly detected with a first luminance value acquisition unit that acquires a luminance value of the entire image. Face detection means for detecting a face area for each image, face detection result storage means for storing a face detection result indicating that the face area has been detected within a certain period, and brightness of the face area based on the face detection result A second luminance value acquisition unit for acquiring a value, and when a face area is detected during monitoring, the luminance value acquired by the first luminance value acquisition unit and the second luminance value acquisition unit and the luminance value of the entire image Exposure control value calculation means for calculating an exposure control value based on the target value of the camera, face detection exposure control value storage means for always storing the calculated exposure control value, and when a face area is not detected during monitoring Within a certain period When the face area is detected in a predetermined number or more images, and comprising: an exposure control means using an exposure control value acquired from the face detection exposure control value storing means.

好ましくは、露出制御手段は、顔領域が検出されなかった場合には、前回の顔領域が検出された画像における顔領域の色情報と今回の画像における前回検出された顔領域と同じ領域の色情報との差が一定の範囲内であるかを判定し、一定範囲内であれば顔検出露出制御値記憶手段から取得した露出制御値を用いる。 Preferably, when the face area is not detected, the exposure control means color information of the face area in the image in which the previous face area is detected and the color of the same area as the previously detected face area in the current image. It is determined whether the difference from the information is within a certain range. If the difference is within the certain range, the exposure control value acquired from the face detection exposure control value storage means is used.

また、好ましくは、モニタリング以外の動作からモニタリングに戻った直後において、露出制御手段は、モニタリング中に顔領域が検出されなかった場合には、前回のモニタリングが終了する直前の一定期間内に所定数以上の画像において顔領域が検出されたときに、顔検出露出制御値記憶手段から取得した露出制御値を用いる。 Preferably, immediately after returning to monitoring from an operation other than monitoring, the exposure control means, if no face area is detected during monitoring, a predetermined number within a certain period immediately before the end of the previous monitoring. When a face area is detected in the above image, the exposure control value acquired from the face detection exposure control value storage means is used.

また、好ましくは、顔検出結果記憶手段は、所定の期間、顔検出結果を記憶し、顔検出露出制御値記憶手段は、所定の期間、露出制御値を記憶し、モニタリング以外の動作からモニタリングに戻った直後において、記憶された顔検出結果および露出制御値が存在する場合に、露出制御手段は、記憶された顔検出結果および露出制御値を用いる。 Preferably, the face detection result storage means stores the face detection result for a predetermined period, and the face detection exposure control value storage means stores the exposure control value for a predetermined period, and the operation is performed from operations other than monitoring. Immediately after returning, when the stored face detection result and exposure control value exist, the exposure control means uses the stored face detection result and exposure control value.

本発明に係る撮影方法は、被写体の画像を繰り返し検出し、検出した画像を表示するモニタリングを行う撮像方法であって、画像全体の輝度値を取得する第１輝度値取得方法と、繰り返し検出された画像毎に顔領域を検出する顔検出方法と、一定期間内において顔領域が検出されたことを示す顔検出結果を記憶する顔検出結果記憶方法と、顔検出結果を基に顔領域の輝度値を取得する第２輝度値取得方法と、モニタリング中に顔領域が検出された場合には、第１輝度値取得方法と第２輝度値取得方法により取得された輝度値と画像全体の輝度値の目標値を基に露出制御値を算出する露出制御値算出方法と、算出された露出制御値を常に記憶する顔検出露出制御値記憶方法と、モニタリング中に顔領域が検出されなかった場合には、一定期間内に所定数以上の画像において顔領域が検出されたときに、顔検出露出制御値記憶方法により取得された露出制御値を用いる露出制御方法と、を含む。 An imaging method according to the present invention is an imaging method for performing monitoring for repeatedly detecting an image of a subject and displaying the detected image, and a first luminance value acquisition method for acquiring a luminance value of the entire image and the detection method. A face detection method for detecting a face area for each image, a face detection result storage method for storing a face detection result indicating that the face area has been detected within a certain period, and a brightness of the face area based on the face detection result A second luminance value acquisition method for acquiring a value, and when a face area is detected during monitoring, the luminance value acquired by the first luminance value acquisition method and the second luminance value acquisition method and the luminance value of the entire image An exposure control value calculation method for calculating an exposure control value based on the target value of the face, a face detection exposure control value storage method for always storing the calculated exposure control value, and when a face area is not detected during monitoring Within a certain period When the face area is detected in a predetermined number or more images, including, an exposure control method of using the obtained exposure control value by the face detecting exposure control value storing method.

好ましくは、露出制御方法は、顔領域が検出されなかった場合には、前回の顔領域が検出された画像における顔領域の色情報と今回の画像における前回検出された顔領域と同じ領域の色情報との差が一定の範囲内であるかを判定し、一定範囲内であれば顔検出露出制御値記憶方法により取得した露出制御値を用いる。 Preferably, in the case where the face area is not detected, the exposure control method includes the color information of the face area in the image in which the previous face area is detected and the color of the same area as the previously detected face area in the current image. It is determined whether the difference from the information is within a certain range. If the difference is within the certain range, the exposure control value acquired by the face detection exposure control value storage method is used.

また好ましくは、モニタリング以外の動作からモニタリングに戻った直後には、一定期間は、前回のモニタリングが終了する直前の一定期間である。 Also preferably, immediately after returning to monitoring from an operation other than monitoring, the certain period is a certain period immediately before the end of the previous monitoring.

本発明に係る記録媒体は、被写体の画像を繰り返し検出し、検出した画像を表示するモニタリングを行う撮像装置に用いられ、自動露出制御演算処理を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、自動露出制御演算処理は、画像全体の輝度値を取得する第１輝度値取得処理と、繰り返し検出された画像毎に顔領域を検出する顔検出処理と、一定期間内において顔領域が検出されたことを示す顔検出結果を記憶する顔検出結果記憶処理と、顔検出結果を基に顔領域の輝度値を取得する第２輝度値取得処理と、モニタリング中に顔領域が検出された場合には、第１輝度値取得処理と第２輝度値取得処理により取得された輝度値と画像全体の輝度値の目標値を基に露出制御値を算出する露出制御値算出処理と、算出された露出制御値を常に記憶する顔検出露出制御値記憶処理と、モニタリング中に顔領域が検出されなかった場合には、一定期間内に所定数以上の画像において顔領域が検出されたときに、顔検出露出制御値記憶処理により取得された露出制御値を用いる露出制御処理と、を含む。 The recording medium according to the present invention is used in an imaging apparatus that repeatedly detects an image of a subject and performs monitoring for displaying the detected image, and is a computer-readable recording that records a program for executing automatic exposure control calculation processing. The automatic exposure control calculation process includes a first brightness value acquisition process for acquiring a brightness value of the entire image, a face detection process for detecting a face area for each repeatedly detected image, and a face within a predetermined period. A face detection result storing process for storing a face detection result indicating that the area has been detected, a second brightness value acquiring process for acquiring a brightness value of the face area based on the face detection result, and a face area being detected during monitoring If so, an exposure control value calculation process for calculating an exposure control value based on the brightness value acquired by the first brightness value acquisition process and the second brightness value acquisition process and the target value of the brightness value of the entire image The face detection exposure control value storing process that always stores the calculated exposure control value, and when no face area is detected during monitoring, the face area is detected in a predetermined number or more images within a certain period of time. And an exposure control process using the exposure control value acquired by the face detection exposure control value storage process.

本発明によれば、スルー画像表示および撮影の際、顔検出率が低下した場合でも、簡易な構成で顔検出の有無を推定し、迅速かつ良好な露出制御ができる撮像装置、撮像方法および記録媒体を得る。 According to the present invention, an imaging device, an imaging method, and a recording that can estimate the presence / absence of face detection with a simple configuration and perform quick and good exposure control even when the face detection rate is reduced during through image display and shooting. Get the medium.

本発明の第１または第２の実施形態を適用したデジタルカメラの外観図である。It is an external view of a digital camera to which the first or second embodiment of the present invention is applied. 第１または第２の実施形態に係るデジタルカメラのシステム構成図である。It is a system block diagram of the digital camera which concerns on 1st or 2nd embodiment. 図２のＣＰＵ内部の処理部を示す図である。It is a figure which shows the process part inside CPU of FIG. 第１または第２の実施形態に係るデジタルカメラのモニタリング動作と静止画撮影動作を示すフローチャートである。6 is a flowchart illustrating a monitoring operation and a still image shooting operation of the digital camera according to the first or second embodiment. 第１の実施形態に係るＡＥ演算を示すフローチャートである。It is a flowchart which shows AE calculation which concerns on 1st Embodiment. 第２の実施形態に係るＡＥ演算を示すフローチャートである。It is a flowchart which shows AE calculation which concerns on 2nd Embodiment.

以下、第１の実施形態を図面を参照して説明する。図１（ａ）、（ｂ）、（ｃ）は、それぞれデジタルカメラすなわち撮像装置の平面図、正面図、背面図である。デジタルカメラ１０の上面側には、レリーズボタン（シャッタボタン）１１、電源ボタン１３、撮影・再生切替ダイアル１５が設けられている。撮影・再生切替ダイアル１５表面には、再生モードアイコン１７、静止画撮影モードアイコン１９等のアイコンが表示され、各アイコンがダイアル指標２１の位置に合わせられることにより、撮影モードと再生モードが選択される。 Hereinafter, a first embodiment will be described with reference to the drawings. 1A, 1B, and 1C are a plan view, a front view, and a rear view of a digital camera, that is, an imaging apparatus, respectively. On the upper surface side of the digital camera 10, a release button (shutter button) 11, a power button 13, and a shooting / playback switching dial 15 are provided. Icons such as a playback mode icon 17 and a still image shooting mode icon 19 are displayed on the surface of the shooting / playback switching dial 15, and the shooting mode and the playback mode are selected by aligning each icon with the position of the dial index 21. The

デジタルカメラ１０の正面（前面）側には、ズーム／フォーカスレンズを有する鏡胴ユニット２５、ストロボ発光部２７、光学ファインダ２９が設けられている。デジタルカメラ１０の背面側には、液晶モニタ（ＬＣＤ）３１、光学ファインダ２９の接眼レンズ部３３、広角側ズーム（Ｗ）スイッチ３５、望遠側ズーム（Ｔ）スイッチ３７、メニュー（ＭＥＮＵ）ボタン３９、確定ボタン（ＯＫボタン）４１等が設けられている。また、図示しないが、デジタルカメラ１０の側面内部には、撮影した画像データを保存するためのメモリカードが収容されるメモリカード収容部が設けられている。 On the front (front) side of the digital camera 10, a lens barrel unit 25 having a zoom / focus lens, a strobe light emitting unit 27, and an optical viewfinder 29 are provided. On the back side of the digital camera 10, a liquid crystal monitor (LCD) 31, an eyepiece 33 of the optical viewfinder 29, a wide-angle zoom (W) switch 35, a telephoto zoom (T) switch 37, a menu (MENU) button 39, A confirmation button (OK button) 41 and the like are provided. Further, although not shown, a memory card accommodating portion for accommodating a memory card for storing captured image data is provided inside the side surface of the digital camera 10.

図２はデジタルカメラのシステム構成図である。デジタルカメラには、ＣＣＤ１００が設けられ、アナログフロントエンド部（ＡＦＥ部）２００に接続されている。ＡＦＥ部２００は信号処理部３００に接続され、信号処理部３００には、ＳＤＲＡＭ４００とＬＣＤディスプレイ４１０とＲＯＭ４２０と操作部４３０が接続され、また、メモリカード４４０が着脱可能に取付られる。ＣＣＤ１００の前にはズーム／フォーカスレンズ５１０とメカシャッタ５２０が設けられ、これらはモータドライバ５３０により駆動される。 FIG. 2 is a system configuration diagram of the digital camera. The digital camera is provided with a CCD 100 and connected to an analog front end unit (AFE unit) 200. The AFE unit 200 is connected to the signal processing unit 300. The SDRAM 400, the LCD display 410, the ROM 420, and the operation unit 430 are connected to the signal processing unit 300, and the memory card 440 is detachably attached. In front of the CCD 100, a zoom / focus lens 510 and a mechanical shutter 520 are provided, and these are driven by a motor driver 530.

鏡胴ユニット２５に設けられたズーム／フォーカスレンズ５１０を通過して光線が入射し、ＣＣＤ１００の受光面上に被写体像が結像する。ＣＣＤ１００には、ＣＣＤ１００を構成する複数の画素毎に色分解フィルタとしてのＲＧＢ原色フィルタが配けられる。ＣＣＤ１００はＲＧＢ三原色に対応した電気信号であるアナログＲＧＢ画像信号を出力する。ＡＦＥ部２００はＣＣＤ１００から出力される画像信号をデジタルデータに変換して出力する。信号処理部３００はＡＦＥ部２００から出力されるデジタルデータを処理する。ＳＤＲＡＭ４００は信号処理部３００から出力されるデータを一時的に保存する。ＬＣＤディスプレイ４１０は信号処理部３００から出力される画像データを表示する。メモリカード４４０は信号処理部３００から出力されるデータを保存する。ＲＯＭ４２０は露出制御等の制御プログラムを記憶する。 A light beam enters through the zoom / focus lens 510 provided in the lens barrel unit 25, and a subject image is formed on the light receiving surface of the CCD 100. The CCD 100 is provided with an RGB primary color filter as a color separation filter for each of a plurality of pixels constituting the CCD 100. The CCD 100 outputs an analog RGB image signal that is an electrical signal corresponding to the three primary colors of RGB. The AFE unit 200 converts the image signal output from the CCD 100 into digital data and outputs the digital data. The signal processing unit 300 processes digital data output from the AFE unit 200. The SDRAM 400 temporarily stores data output from the signal processing unit 300. The LCD display 410 displays the image data output from the signal processing unit 300. The memory card 440 stores data output from the signal processing unit 300. The ROM 420 stores a control program such as exposure control.

モータドライバ５３０は信号処理部３００のＣＰＵ（制御部）３２０からの駆動信号を入力してズーム／フォーカスレンズ５１０、メカシャッタ５２０等を駆動する。操作部４３０は、デジタルカメラ１０（図１参照）に設けられているレリーズボタン１１、電源ボタン１３、撮影・再生切替ダイアル１５、広角側ズームスイッチ３５、望遠側ズームスイッチ３７、メニューボタン３９、確定ボタン４１等である。操作部４３０を操作することにより動作指示信号が発生し、ＣＰＵ３２０に入力される。モータドライバ５３０は、ＣＰＵ３２０からの駆動信号により駆動制御される。 The motor driver 530 inputs a drive signal from a CPU (control unit) 320 of the signal processing unit 300 and drives the zoom / focus lens 510, the mechanical shutter 520, and the like. The operation unit 430 includes a release button 11, a power button 13, a photographing / playback switching dial 15, a wide-angle zoom switch 35, a telephoto zoom switch 37, a menu button 39, and a confirmation button provided on the digital camera 10 (see FIG. 1). Buttons 41 and the like. By operating the operation unit 430, an operation instruction signal is generated and input to the CPU 320. The motor driver 530 is driven and controlled by a drive signal from the CPU 320.

ＡＦＥ部２００は、ＴＧ（タイミング信号発生部）２０１とＣＤＳ（相関２重サンプリング部）２０３とＡＧＣ（アナログ利得制御部）２０５とＡ／Ｄ変換部２０７を備える。ＴＧ２０１はＣＣＤ１００の電子シャッタを駆動するタイミング信号を出力する。ＣＤＳ２０３はＣＣＤ１００から出力される電気信号であるアナログＲＧＢ画像信号のノイズを低減する。ＡＧＣ２０５はＣＤＳ２０３にてノイズが低減された画像信号の出力を調整する。Ａ／Ｄ変換部２０７はＡＧＣ２０５で出力が調整された画像信号をデジタル信号（ＲＡＷ−ＲＧＢデータ）に変換する。 The AFE unit 200 includes a TG (timing signal generation unit) 201, a CDS (correlated double sampling unit) 203, an AGC (analog gain control unit) 205, and an A / D conversion unit 207. The TG 201 outputs a timing signal for driving the electronic shutter of the CCD 100. The CDS 203 reduces noise in the analog RGB image signal that is an electrical signal output from the CCD 100. The AGC 205 adjusts the output of the image signal whose noise has been reduced by the CDS 203. The A / D conversion unit 207 converts the image signal whose output is adjusted by the AGC 205 into a digital signal (RAW-RGB data).

信号処理部３００は、ＣＣＤインターフェース（ＣＣＤＩ／Ｆ）３０１とメモリコントローラ３０３とＹＵＶ変換部３０５とリサイズ処理部３０７と表示出力制御部３０９とデータ圧縮部３１１とメディアインターフェース（メディアＩ／Ｆ）３１３とＣＰＵ３２０を備える。ＣＣＤＩ／Ｆ３０１はＡＦＥ部２００のＴＧ２０１へ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）を出力する。これらの同期信号に同期してＣＤＳ２０３、ＡＧＣ２０５、Ａ／Ｄ変換部２０７は各処理を行い、ＣＣＤＩ／Ｆ３０１にはＡ／Ｄ変換部２０７により出力されるＲＡＷ−ＲＧＢデータが入力される。メモリコントローラ３０３はＳＤＲＡＭ４００を制御する。 The signal processing unit 300 includes a CCD interface (CCD I / F) 301, a memory controller 303, a YUV conversion unit 305, a resize processing unit 307, a display output control unit 309, a data compression unit 311, a media interface (media I / F) 313, A CPU 320 is provided. The CCD I / F 301 outputs a screen horizontal synchronizing signal (HD) and a screen vertical synchronizing signal (VD) to the TG 201 of the AFE unit 200. The CDS 203, AGC 205, and A / D conversion unit 207 perform each process in synchronization with these synchronization signals, and RAW-RGB data output from the A / D conversion unit 207 is input to the CCD I / F 301. The memory controller 303 controls the SDRAM 400.

ＹＵＶ変換部３０５は入力されたＲＡＷ−ＲＧＢデータをＹＵＶ形式の画像データ（ＹＵＶデータ）に変換する。ＹＵＶデータは表示や記録が可能な画像データである。リサイズ処理部３０７は表示や記録が行われるときの設定された画像データのサイズに合わせて画像データのサイズを変更する。表示出力制御部３０９は画像データの表示出力を制御し、これを基にＬＣＤディスプレイ４１０やＴＶは画像データを表示する。データ圧縮部３１１は記録するデータ量を小さくするためにＹＵＶデータをＪＰＥＧ形式等の画像データに圧縮する。メディアＩ／Ｆ３１３はメモリカード４４０との間で画像データの書き込みまたは読み出しを行う。 The YUV converter 305 converts the input RAW-RGB data into YUV format image data (YUV data). YUV data is image data that can be displayed and recorded. The resizing processing unit 307 changes the size of the image data in accordance with the set size of the image data when display or recording is performed. The display output control unit 309 controls the display output of the image data, and based on this, the LCD display 410 and the TV display the image data. The data compression unit 311 compresses YUV data into image data such as JPEG format in order to reduce the amount of data to be recorded. The media I / F 313 writes / reads image data to / from the memory card 440.

撮影者が操作部４３０を操作することによって所定の動作指示信号がＣＰＵ３２０に入力される。ＣＰＵ３２０は、操作部４３０からの操作入力情報とＲＯＭ４２０に記憶された露出制御等の制御プログラムに基づき、デジタルカメラ全体のシステム制御を行う。ＳＤＲＡＭ４００は、ＲＡＷ−ＲＧＢ保存部４０１、ＹＵＶ保存部４０３、ＪＰＥＧ保存部４０５、ＯＳＤ（On-Screen Display）保存部４０７を備える。ＲＡＷ−ＲＧＢ保存部４０１はＣＣＤＩ／Ｆ３０１に入力されたＲＡＷ−ＲＧＢデータを保存する。ＹＵＶ保存部４０３はＹＵＶ変換部３０５により変換されたＹＵＶデータを保存する。さらに、ＪＰＥＧ保存部４０５はＪＰＥＧ形式等の圧縮画像データを保存する。 When the photographer operates the operation unit 430, a predetermined operation instruction signal is input to the CPU 320. The CPU 320 performs system control of the entire digital camera based on operation input information from the operation unit 430 and a control program such as exposure control stored in the ROM 420. The SDRAM 400 includes a RAW-RGB storage unit 401, a YUV storage unit 403, a JPEG storage unit 405, and an OSD (On-Screen Display) storage unit 407. A RAW-RGB storage unit 401 stores the RAW-RGB data input to the CCD I / F 301. A YUV storage unit 403 stores the YUV data converted by the YUV conversion unit 305. Further, the JPEG storage unit 405 stores compressed image data such as JPEG format.

図３は図２のＣＰＵ３２０内部の処理部を示す図である。ＣＰＵ３２０には、１フレーム分の画像データであるＲＡＷ−ＲＧＢデータが一定間隔（例えば１／３０秒）毎に、すなわち繰り返し入力される。全ブロックＹ値取得部３２１（第１輝度値取得手段）は、ＲＡＷ−ＲＧＢデータを、１６×１６（＝２５６）のブロックに等分割する。したがって例えば１画面（１フレーム）が約１０００万画素を有している場合、各分割ブロックは約３．９万画素を有する。本実施形態では、Ｒ成分、Ｇ成分、Ｂ成分の各画素数の比率は、Ｒ：Ｇ：Ｂ＝１：２：１であり、各分割ブロックはＲ画素＝約０．９７５万画素、Ｇ画素＝約１．９５万画素、Ｂ画素＝０．９７５万画素から構成される。全ブロックＹ値取得部３２１は画素毎のＲＡＷ−ＲＧＢデータに基づき、次に述べるように分割されたブロックのそれぞれについてＲＧＢ積算値を算出する。 FIG. 3 is a diagram showing a processing unit inside the CPU 320 of FIG. RAW-RGB data, which is image data for one frame, is repeatedly input to the CPU 320 at regular intervals (for example, 1/30 second), that is, repeatedly. The all-block Y value acquisition unit 321 (first luminance value acquisition unit) equally divides the RAW-RGB data into 16 × 16 (= 256) blocks. Therefore, for example, when one screen (one frame) has about 10 million pixels, each divided block has about 39 million pixels. In the present embodiment, the ratio of the number of pixels of the R component, the G component, and the B component is R: G: B = 1: 2: 1, and each divided block has R pixels = about 0.97550,000 pixels, G The pixel is composed of about 19.95 million pixels, and the B pixel = 0.975 million pixels. The all block Y value acquisition unit 321 calculates an RGB integrated value for each of the divided blocks based on the RAW-RGB data for each pixel as described below.

ＲＧＢ積算値は、分割ブロックのそれぞれについて、全画素におけるＲ成分、Ｇ成分、Ｂ成分毎にＲＡＷ−ＲＧＢデータが加算平均されることにより算出される。上記の例では、９７５０個のＲ成分のデータが加算平均されることによりＲ成分に関するＲＧＢ積算値が算出される。１９５００個のＧ成分のデータが加算平均されることによりＧ成分に関するＲＧＢ積算値が算出される。また、９７５０個のＢ成分のデータが加算平均されることによりＢ成分に関するＲＧＢ積算値が算出される。 The RGB integrated value is calculated by averaging the RAW-RGB data for each of the R component, G component, and B component in all pixels for each of the divided blocks. In the above example, 9750 R component data are added and averaged to calculate an RGB integrated value for the R component. The RGB integrated values for the G component are calculated by averaging the 19500 G component data. Further, 9750 B component data are added and averaged to calculate an RGB integrated value for the B component.

次に、全ブロックＹ値取得部３２１は、ブロック毎にＲ成分、Ｇ成分、Ｂ成分に関するＲＧＢ積算値を用いて式（１）によりブロック毎のＹ値（輝度値）を生成する。
輝度値＝Ｒ×０．２９９＋Ｇ×０．５８７＋Ｂ×０．１１４・・・（１）
ここで、Ｒ、Ｇ、Ｂは、それぞれＲ成分、Ｇ成分、Ｂ成分に関するブロック毎のＲＧＢ積算値である。このようにして、全ブロックＹ値取得部３２１は２５６個の各ブロックについての輝度値を演算により求める。 Next, the all-block Y-value acquisition unit 321 generates a Y value (luminance value) for each block using Equation (1) using the RGB integrated values for the R component, G component, and B component for each block.
Luminance value = R × 0.299 + G × 0.587 + B × 0.114 (1)
Here, R, G, and B are RGB integrated values for each block related to the R component, the G component, and the B component, respectively. In this way, the all-block Y value acquisition unit 321 calculates the luminance value for each of the 256 blocks by calculation.

顔検出部３２３（顔検出手段）は、ＳＤＲＡＭ４００に保存された画像データから公知の顔検出技術（例えば、ガボール・ウェーブレット変換＋グラフマッチング）を使用して、人物の顔を検出する。顔検出部３２３は一定間隔（例えば１／３０秒）毎に、すなわち繰り返し１フレーム分の画像データから顔領域を検出する。 The face detection unit 323 (face detection means) detects a human face from image data stored in the SDRAM 400 using a known face detection technique (for example, Gabor wavelet transform + graph matching). The face detection unit 323 detects a face area at regular intervals (for example, 1/30 seconds), that is, repeatedly from image data for one frame.

顔エリアＹ値取得部３２５（第２輝度値取得手段）は、顔領域が検出された際には、顔領域が含まれるブロックの輝度値を取得する。すなわち顔エリアＹ値取得部３２５は顔検出結果を基に顔領域の輝度値を取得する。さらに顔エリアＹ値取得部３２５は、現在のフレームに関して顔領域が検出された場合、全ブロックＹ値取得部３２１から取得した全ブロックの輝度値である全ブロックＹ値と顔領域が含まれるブロックの輝度値である顔エリアＹ値に関し、顔エリアＹ値に重みづけした加重平均することにより、そのフレームにおける被写体輝度データＹ値を算出する。 When the face area is detected, the face area Y value acquisition unit 325 (second luminance value acquisition unit) acquires the luminance value of the block including the face area. That is, the face area Y value acquisition unit 325 acquires the brightness value of the face area based on the face detection result. Furthermore, when a face area is detected for the current frame, the face area Y value acquisition unit 325 includes all block Y values that are the luminance values of all blocks acquired from the all block Y value acquisition unit 321 and a block including the face area. The subject luminance data Y value in the frame is calculated by performing weighted averaging of the face area Y value, which is the luminance value of the frame, by weighting the face area Y value.

露出制御値算出部３２７（露出制御値算出手段）は、ＲＯＭ４２０に予め保存されている目標輝度データＹ値と、被写体を測光した結果である被写体輝度データＹ値が一致した場合に、露出すなわち明るさが適正であると判断する。目標輝度データＹ値と被写体輝度データＹ値が一致しない場合には、露出制御値算出部３２７は、被写体輝度データＹ値が目標輝度データＹ値になるような露出制御値を算出する。 The exposure control value calculation unit 327 (exposure control value calculation means) performs exposure, that is, brightness when the target luminance data Y value stored in advance in the ROM 420 matches the subject luminance data Y value obtained by measuring the subject. Is determined to be appropriate. If the target luminance data Y value and the subject luminance data Y value do not match, the exposure control value calculation unit 327 calculates an exposure control value such that the subject luminance data Y value becomes the target luminance data Y value.

シャッタ・絞り・ゲイン制御部３２９（露出制御手段）は、顔領域が検出された場合には、露出制御値算出部３２７が算出した露出制御値に基づいて、露出条件、すなわち、ＣＣＤのシャッタスピード、絞り値（開口値）、ＣＣＤの感度（ゲイン値）、メカシャッタのシャッタスピードを設定する。シャッタ・絞り・ゲイン制御部３２９は、顔領域が検出されなかった場合には、一定期間（例えば現在までの過去２０フレーム）内に所定数（例えば５フレーム）以上の画像において顔領域が検出されたときに、前回の顔検出時の露出制御値を用いる。これに対し、全ブロックＹ値取得部３２１は、現在のフレームに関して顔領域が未検出であり、現在までの過去２０フレームの顔検出回数が所定数以下の場合、全ブロックＹ値を加算平均することにより被写体輝度データＹ値を算出する。 When a face area is detected, the shutter / aperture / gain control unit 329 (exposure control unit), based on the exposure control value calculated by the exposure control value calculation unit 327, exposes the exposure condition, that is, the shutter speed of the CCD. Aperture value (aperture value), CCD sensitivity (gain value), and mechanical shutter speed are set. When the face area is not detected, the shutter / aperture / gain control unit 329 detects the face area in a predetermined number (for example, 5 frames) or more of images within a certain period (for example, the past 20 frames up to the present). The exposure control value at the previous face detection is used. On the other hand, if the face area has not been detected for the current frame and the number of face detections in the past 20 frames up to the present is less than or equal to the predetermined number, the all block Y value acquisition unit 321 averages all the block Y values. Thus, the subject luminance data Y value is calculated.

ＣＰＵ３２０は上述した各動作をモニタリング中にフレーム毎（すなわち１／３０秒毎）に行う。ここでモニタリングは、レリーズボタン１１（図１参照）が半押しまたは全押しされておらず、電子ファインダとして機能する液晶モニタ３１（図１参照）に撮影画像または撮影動画等のスルー画像が表示されている状態である。モニタリング時には、ＣＣＤＩ／Ｆ３０１が画素数の間引き処理を行いながら、１／３０秒毎に１フレーム分の画像データが読み出される。すなわち、モニタリング中には被写体の画像が１／３０秒毎に検出され、検出された画像が表示される。このように画像が液晶モニタに表示されることにより、画像を撮影するための構図の確認等が可能となる。 The CPU 320 performs the above-described operations for each frame (that is, every 1/30 seconds) during monitoring. Here, in the monitoring, the release button 11 (see FIG. 1) is not half-pressed or fully pressed, and a through image such as a photographed image or a photographed moving image is displayed on the liquid crystal monitor 31 (see FIG. 1) functioning as an electronic viewfinder. It is in a state. At the time of monitoring, image data for one frame is read every 1/30 seconds while the CCD I / F 301 performs a thinning process for the number of pixels. That is, during monitoring, the image of the subject is detected every 1/30 seconds, and the detected image is displayed. By displaying the image on the liquid crystal monitor in this way, it is possible to confirm the composition for taking the image.

図４はデジタルカメラ１０のモニタリング中の静止画撮影の動作を示すフローチャートである。図１〜３を参照して説明する。本実施形態のデジタルカメラ１０は、静止画撮影モード時には、以下に説明するようなモニタリング中に静止画撮影を行う。まず、ステップ６０１において電源ボタン１３がＯＮされ、撮影・再生切替ダイアル１５により撮影モード（静止画撮影モード）が選択される。デジタルカメラ１０が起動されると、ＣＰＵ３２０はモータドライバ５３０に制御信号を出力し、これによりズーム／フォーカスレンズ５１０は所定位置に移動させられる。また、ＣＣＤ１００、ＡＦＥ部２００、信号処理部３００、ＳＤＲＡＭ４００、ＲＯＭ４２０および液晶モニタ３１等が起動する。 FIG. 4 is a flowchart showing still image shooting operation during monitoring by the digital camera 10. A description will be given with reference to FIGS. In the still image shooting mode, the digital camera 10 of the present embodiment performs still image shooting during monitoring as described below. First, in step 601, the power button 13 is turned on, and a shooting mode (still image shooting mode) is selected by the shooting / playback switching dial 15. When the digital camera 10 is activated, the CPU 320 outputs a control signal to the motor driver 530, whereby the zoom / focus lens 510 is moved to a predetermined position. In addition, the CCD 100, the AFE unit 200, the signal processing unit 300, the SDRAM 400, the ROM 420, the liquid crystal monitor 31, and the like are activated.

次にステップ６０２〜６０４に示されるモニタリングが行われる。ステップ６０２ではＡＥ（自動露出）演算が行われ、適正な露出制御値が決定される。この露出制御値に基づいて、露出条件が設定される。 Next, monitoring shown in steps 602 to 604 is performed. In step 602, AE (automatic exposure) calculation is performed to determine an appropriate exposure control value. An exposure condition is set based on the exposure control value.

ステップ６０３ではＡＷＢ（オートホワイトバランス）演算が行われ、各ブロックのＲＧＢ積算値に基づき被写体の光源の色に合わせたＡＷＢの制御値が決定される。ＳＤＲＡＭ４００から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶデータに変換され、ＳＤＲＡＭ４００にＹＵＶデータが一時的に保存される。ＹＵＶデータに変換される際、画像データのホワイトバランスはＡＷＢ演算により決定された制御値に調整される。ＡＥ演算とＡＷＢ演算は、モニタリング中には連続的に行われている。ステップ６０４においてＳＤＲＡＭ４００から読み出されたＹＵＶ信号は、液晶モニタ３１へ伝送され、スルー画像が表示される。 In step 603, AWB (auto white balance) calculation is performed, and an AWB control value that matches the color of the light source of the subject is determined based on the RGB integrated value of each block. The RAW-RGB data read from the SDRAM 400 is converted into YUV data, and the YUV data is temporarily stored in the SDRAM 400. When converted into YUV data, the white balance of the image data is adjusted to a control value determined by AWB calculation. The AE calculation and the AWB calculation are continuously performed during monitoring. In step 604, the YUV signal read from the SDRAM 400 is transmitted to the liquid crystal monitor 31, and a through image is displayed.

次にステップ６０５〜６１０に示される静止画撮影が行われる。ステップ６０５においてレリーズボタン１１が半押しされた場合、ステップ６０６においてＡＦ（自動合焦）動作が実行され、いわゆる山登り方式に従ってフォーカスレンズが合焦位置に移動し、被写体像が合焦する。 Next, still image shooting shown in steps 605 to 610 is performed. When the release button 11 is half-pressed in step 605, an AF (automatic focus) operation is executed in step 606, the focus lens is moved to the focus position according to a so-called hill climbing method, and the subject image is focused.

ステップ６０７においてレリーズボタン１１が全押しされた場合、ステップ６０８におけるＡＥ演算では、露光時にＣＰＵ３２０からモータドライバ５３０への露出条件に基づく駆動指令によりメカシャッタ５２０が開閉してＣＣＤ１００が露光されるとともに、ＣＣＤ１００からアナログＲＧＢ画像信号が出力される。そしてステップ６０９においてＡＷＢ演算が行われＲＡＷ−ＲＧＢデータがＹＵＶデータに変換されＳＤＲＡＭ４００に一時的に保存される。 When the release button 11 is fully pressed in step 607, in the AE calculation in step 608, the mechanical shutter 520 is opened and closed by the drive command based on the exposure condition from the CPU 320 to the motor driver 530 during exposure, and the CCD 100 is exposed. Output an analog RGB image signal. In step 609, AWB calculation is performed, and the RAW-RGB data is converted into YUV data and temporarily stored in the SDRAM 400.

その後、一時的に保存されたＹＵＶデータはＳＤＲＡＭ４００から読み出されて、記録画素数に対応するサイズに圧縮される。圧縮されたデータは、ＳＤＲＡＭ４００に一時的に保存された後、ステップ６１０においてメモリカード４４０に保存される。なお、レリーズボタン１１が半押しまたは全押しされない場合やメモリカード４４０への保存が完了した場合は、ステップ６０２へ戻りモニタリングが継続される。 Thereafter, the temporarily stored YUV data is read from the SDRAM 400 and compressed to a size corresponding to the number of recording pixels. The compressed data is temporarily stored in the SDRAM 400 and then stored in the memory card 440 in step 610. When the release button 11 is not half-pressed or fully pressed or when saving to the memory card 440 is completed, the process returns to step 602 and monitoring is continued.

図５はＡＥ演算を示すフローチャートである。このＡＥ演算は、図４のステップ６０２とステップ６０８の処理すなわちモニタリングおよび静止画撮影に共通である。ステップ７０１において全ブロックＹ値取得部３２１は全ブロックＹ値を取得する。ステップ７０２において顔検出部３２３が顔領域を検出した場合、ＣＰＵ３２０（顔検出結果記憶手段）は一定期間（例えば２０フレーム）内において顔領域が検出されたことを示す顔検出結果を記憶する。ステップ７０３において顔エリアＹ値取得部３２５は顔エリアＹ値を取得する。ステップ７０４において露出制御値算出部３２７は全ブロックＹ値と顔エリアＹ値から露出制御値を算出する。ステップ７０５においてＣＰＵ３２０（顔検出露出制御値記憶手段）は算出された露出制御値を常に記憶する。またステップ７０６において、ステップ７０４で算出された露出制御値を基にシャッタ・絞り・ゲイン制御部３２９は露出条件を設定する。 FIG. 5 is a flowchart showing the AE calculation. This AE calculation is common to the processing of step 602 and step 608 in FIG. 4, that is, monitoring and still image shooting. In step 701, the all block Y value acquisition unit 321 acquires all block Y values. When the face detection unit 323 detects a face area in step 702, the CPU 320 (face detection result storage means) stores a face detection result indicating that the face area has been detected within a certain period (for example, 20 frames). In step 703, the face area Y value acquisition unit 325 acquires the face area Y value. In step 704, the exposure control value calculation unit 327 calculates an exposure control value from all block Y values and face area Y values. In step 705, the CPU 320 (face detection exposure control value storage means) always stores the calculated exposure control value. In step 706, the shutter / aperture / gain control unit 329 sets an exposure condition based on the exposure control value calculated in step 704.

一方、ステップ７０２において顔領域が検出されない場合、ステップ７０７においてＣＰＵ３２０は記憶された現在までの過去２０フレームにおける顔検出回数がｎ（例えばｎ＝５）より大きいかどうかを判断する。顔検出回数が５より大きい場合、ステップ７０８においてシャッタ・絞り・ゲイン制御部３２９はＣＰＵ３２０により記憶された、前回顔領域が検出されたフレームに関する露出制御値を使用して、露出条件を設定する。顔検出回数が５以下の場合、ステップ７０９において露出制御値算出部３２７は全ブロックＹ値を基に露出制御値を算出する。算出された露出制御値を基にシャッタ・絞り・ゲイン制御部３２９は露出条件を設定する。 On the other hand, if no face area is detected in step 702, in step 707, the CPU 320 determines whether or not the number of face detections in the past 20 frames stored so far is greater than n (for example, n = 5). If the number of face detections is greater than 5, the shutter / aperture / gain control unit 329 sets the exposure condition using the exposure control value for the frame in which the previous face area was detected, which is stored by the CPU 320 in step 708. When the number of face detections is 5 or less, in step 709, the exposure control value calculation unit 327 calculates an exposure control value based on all block Y values. Based on the calculated exposure control value, the shutter / aperture / gain control unit 329 sets an exposure condition.

このように本実施形態では、人の顔を撮影する際、顔検出結果が未検出の場合には現在までの過去２０フレームの顔検出回数が５より大きいかどうかが判断されて、記憶された露出制御値が使用されるか、または全ブロックＹ値を基に露出制御値が算出される。すなわち、逆光等により現在までの過去２０フレームにおける顔検出回数が、例えば１、２回の場合には、顔検出されなかったものと推定され、全ブロックＹ値を基に露出制御値が算出される。また顔検出回数が、例えば６、７回の場合には、顔検出されたものと推定されて、記憶された露出制御値を基に露出制御が行われる。したがって、顔が逆光または低輝度の場合であっても、スルー画像表示および撮影の際、現在のフレームにおいて顔領域を検出することができないために露出制御が不安定になることが回避され、迅速かつ良好な露出制御が可能となる。 As described above, in the present embodiment, when a human face is photographed, if the face detection result is not detected, it is determined whether the number of face detections in the past 20 frames up to the present is greater than 5, and stored. The exposure control value is used, or the exposure control value is calculated based on the total block Y value. That is, when the number of face detections in the past 20 frames up to the present due to backlighting is 1, 2, for example, it is estimated that no face was detected, and the exposure control value is calculated based on all block Y values. The When the number of face detections is 6, 7 for example, it is estimated that a face has been detected, and exposure control is performed based on the stored exposure control value. Therefore, even when the face is backlit or low-luminance, exposure control is avoided from becoming unstable because the face area cannot be detected in the current frame during through image display and shooting. And good exposure control becomes possible.

図６は第２の実施形態に係るＡＥ演算を示すフローチャートである。なお、デジタルカメラの外観とシステム構成とモニタリング中の静止画撮影の動作は第１の実施形態と共通である。 FIG. 6 is a flowchart showing an AE calculation according to the second embodiment. The appearance of the digital camera, the system configuration, and the still image shooting operation during monitoring are the same as those in the first embodiment.

第２の実施形態における第１の実施形態との違いは、図６のＡＥ演算においてステップ８０１が追加されたことである。本実施形態では顔領域が検出されなかった場合にさらに色情報に基づき顔領域の有無についての判断が行われる。ステップ７０２において顔領域が検出されなかった場合には、ステップ７０７において記憶された現在までの過去２０フレームにおける顔検出回数がｎ（例えばｎ＝５）以下のとき、ステップ８０１において、前回の顔領域が検出されたフレームにおける、顔領域が含まれるブロックのＲＧＢ積算値（色情報）と、今回のフレームにおける前回検出された顔領域と同じ領域が含まれるブロックのＲＧＢ積算値との差が一定の範囲内であるかが判定される。これらの差が一定範囲内であれば、ステップ７０８において、前回顔領域が検出されたフレームに関する露出制御値が使用される。一方、これらの差が一定範囲よりも大きければ、ステップ７０９において全ブロックＹ値から露出制御値が算出される。 The difference of the second embodiment from the first embodiment is that step 801 is added in the AE calculation of FIG. In this embodiment, when a face area is not detected, the presence / absence of the face area is further determined based on the color information. If no face area is detected in step 702, when the number of face detections in the past 20 frames stored in step 707 is less than or equal to n (for example, n = 5), the previous face area is determined in step 801. The difference between the RGB integrated value (color information) of the block including the face area in the frame in which the image is detected and the RGB integrated value of the block including the same area as the previously detected face area in the current frame is constant. It is determined whether it is within the range. If these differences are within a certain range, in step 708, the exposure control value for the frame in which the previous face area was detected is used. On the other hand, if these differences are larger than a certain range, an exposure control value is calculated from all block Y values in step 709.

このように本実施形態では、一度顔領域が検出された後、逆光または低輝度により顔領域が検出されないフレームが続いた場合でも、前回顔領域が検出されたフレームにおける、顔領域が含まれるブロックのＲＧＢ積算値と、今回のフレームにおける前回検出された顔領域と同じ領域が含まれるブロックのＲＧＢ積算値との差が一定の範囲内であるかがさらに判定される。したがって第１の実施形態よりも、顔の撮影に適しており、かつ、安定した露出制御が可能となる。 As described above, in the present embodiment, after a face area is detected once, a block that includes the face area in the frame in which the face area was detected last time, even if a frame in which the face area is not detected due to backlight or low luminance continues. It is further determined whether or not the difference between the RGB integrated value and the RGB integrated value of the block including the same area as the previously detected face area in the current frame is within a certain range. Therefore, it is more suitable for face photography than the first embodiment, and stable exposure control is possible.

なお、デジタルカメラがメニュー画面表示動作や再生モード、すなわちモニタリング以外の動作からモニタリングに戻った直後には、図５、６のステップ７０７において、前回モニタリングが終了する直前の２０フレームの顔検出回数に基づいて露出制御値が決定される。これにより、モニタリングに戻った直後に顔検出部がまだ顔領域を検出できていない時でも顔検出の有無を推定し、迅速かつ良好な露出制御ができる。また、モニタリングが再開された直後の一定期間（例えば２０フレーム）には記憶された露出制御値が使用されてもよい。また、本実施形態は、上記のモニタリング以外の動作からモニタリングに戻った直後においてのみ適用され、これ以外では適用されなくてもよい。また、顔検出結果および露出制御値は、所定の期間のみ記憶されてもよい。この場合、デジタルカメラがモニタリング以外の動作からモニタリングに戻った直後において、記憶された顔検出結果および露出制御値が存在するときに、記憶された顔検出結果および露出制御値が用いられる。 Note that immediately after the digital camera returns to monitoring from the menu screen display operation or playback mode, that is, from an operation other than monitoring, in step 707 of FIGS. 5 and 6, the face detection count of 20 frames immediately before the end of the previous monitoring is reached. Based on this, an exposure control value is determined. Thereby, even when the face detection unit has not yet detected the face area immediately after returning to the monitoring, the presence / absence of the face detection can be estimated, and quick and good exposure control can be performed. The stored exposure control value may be used for a certain period (for example, 20 frames) immediately after the monitoring is resumed. Moreover, this embodiment is applied only immediately after returning to monitoring from operations other than the above monitoring, and may not be applied otherwise. Further, the face detection result and the exposure control value may be stored only for a predetermined period. In this case, the stored face detection result and exposure control value are used when the stored face detection result and exposure control value exist immediately after the digital camera returns to monitoring from an operation other than monitoring.

また、ステップ７０５（図５、６）において、常に最新の顔検出結果から算出された露出制御値のみが記憶されてもよい。また、顔検出結果は１フレーム内に少なくとも１つの顔が検出されたことを示す。この他の実施形態として、１フレーム内の顔領域が含まれるブロックの位置が一度記憶され、このブロック周辺の所定範囲ブロック内で顔領域の検出の有無が判定され、現在までの過去２０フレームの顔検出回数が判断されてもよい。また、検出された顔情報が登録され、登録された顔情報と一致する顔に関して顔領域の検出の有無が判定されてもよい。 In step 705 (FIGS. 5 and 6), only the exposure control value calculated from the latest face detection result may always be stored. The face detection result indicates that at least one face is detected in one frame. As another embodiment, the position of a block including a face area in one frame is stored once, and whether or not a face area is detected in a predetermined range block around this block is determined. The number of face detections may be determined. Further, the detected face information may be registered, and it may be determined whether or not a face area has been detected for a face that matches the registered face information.

また、ＹＵＶデータの「ＹＵＶ」は、輝度データ「Ｙ」と、色差（輝度データと青色「Ｂ」成分データの差分「Ｕ」と、輝度データと赤色「Ｒ」成分データの差分「Ｖ」）の情報で色を表現する形式である。また、ブロックの分割数は２５６個に限定されないが好ましくは４以上である。また、ブロックの分割は等分割であることは必要ではないが、好ましくは全ての分割ブロックが等面積かつ同形状に等分割される。また、１フレーム分の画像データであるＲＡＷ−ＲＧＢデータは、ＣＰＵ３２０に一定間隔（例えば１／３０秒）毎に入力されなくてもよい。また、顔領域は、１フレーム分の画像データから一定間隔（例えば１／３０秒）毎に検出されなくてもよい。 The YUV data “YUV” is the luminance data “Y” and the color difference (the difference “U” between the luminance data and the blue “B” component data and the difference “V” between the luminance data and the red “R” component data). It is a format that expresses color with information. Further, the number of divided blocks is not limited to 256, but is preferably 4 or more. Further, it is not necessary that the blocks are equally divided, but preferably all the divided blocks are equally divided into equal areas and the same shape. Also, RAW-RGB data, which is image data for one frame, may not be input to the CPU 320 at regular intervals (for example, 1/30 seconds). Further, the face area may not be detected at regular intervals (for example, 1/30 second) from the image data for one frame.

１０デジタルカメラ
１１レリーズボタン（シャッタボタン）
１３電源ボタン
１５撮影・再生切替ダイアル
１７再生モードアイコン
１９静止画撮影モードアイコン
２１ダイアル指標
２５鏡胴ユニット
２７ストロボ発光部
２９光学ファインダ
３１液晶モニタ（ＬＣＤ）
３３接眼レンズ部
３５広角側ズーム（Ｗ）スイッチ
３７望遠側ズーム（Ｔ）スイッチ
３９メニュー（ＭＥＮＵ）ボタン
４１確定ボタン（ＯＫボタン）
１００ＣＣＤ
２００アナログフロントエンド部（ＡＦＥ部）
２０１ＴＧ（タイミング信号発生部）
２０３ＣＤＳ（相関２重サンプリング部）
２０５ＡＧＣ（アナログ利得制御部）
２０７Ａ／Ｄ変換部
３００信号処理部
３０１ＣＣＤインターフェース（ＣＣＤＩ／Ｆ）
３０３メモリコントローラ
３０５ＹＵＶ変換部
３０７リサイズ処理部
３０９表示出力制御部
３１１データ圧縮部
３１３メディアインターフェース（メディアＩ／Ｆ）
３２０制御部（ＣＰＵ）
３２１全ブロックＹ値取得部
３２３顔検出部
３２５顔エリアＹ値取得部
３２７露出制御値算出部
３２９シャッタ・絞り・ゲイン制御部
４００ＳＤＲＡＭ
４０１ＲＡＷ−ＲＧＢ保存部
４０３ＹＵＶ保存部
４０５ＪＰＥＧ保存部
４０７ＯＳＤ（On-Screen Display）保存部
４１０ＬＣＤディスプレイ
４２０ＲＯＭ
４３０操作部
４４０メモリカード
５１０ズーム／フォーカスレンズ
５２０メカシャッタ
５３０モータドライバ

10 Digital camera 11 Release button (shutter button)
13 Power button 15 Shooting / playback switching dial 17 Playback mode icon 19 Still image shooting mode icon 21 Dial index 25 Lens barrel unit 27 Strobe light emitting unit 29 Optical viewfinder 31 LCD monitor (LCD)
33 Eyepiece 35 35 Wide-angle zoom (W) switch 37 Telephoto zoom (T) switch 39 Menu (MENU) button 41 Confirm button (OK button)
100 CCD
200 Analog front end (AFE part)
201 TG (timing signal generator)
203 CDS (correlated double sampling unit)
205 AGC (analog gain controller)
207 A / D converter 300 Signal processor 301 CCD interface (CCD I / F)
303 Memory Controller 305 YUV Conversion Unit 307 Resize Processing Unit 309 Display Output Control Unit 311 Data Compression Unit 313 Media Interface (Media I / F)
320 Control unit (CPU)
321 All block Y value acquisition unit 323 Face detection unit 325 Face area Y value acquisition unit 327 Exposure control value calculation unit 329 Shutter / aperture / gain control unit 400 SDRAM
401 RAW-RGB storage unit 403 YUV storage unit 405 JPEG storage unit 407 OSD (On-Screen Display) storage unit 410 LCD display 420 ROM
430 Operation unit 440 Memory card 510 Zoom / focus lens 520 Mechanical shutter 530 Motor driver

Claims

An imaging device that repeatedly detects an image of a subject and performs monitoring to display the detected image,
First luminance value acquisition means for acquiring a luminance value of the entire image;
Face detection means for detecting a face area for each of the repeatedly detected images;
Face detection result storage means for storing a face detection result indicating that the face area has been detected;
Second luminance value acquisition means for acquiring a luminance value of the face region based on the face detection result;
When the face area is detected during the monitoring, exposure control is performed based on the luminance value acquired by the first luminance value acquisition unit and the second luminance value acquisition unit and the target value of the luminance value of the entire image. Exposure control value calculating means for calculating a value;
Face detection exposure control value storage means for always storing the calculated exposure control value;
The exposure acquired from the face detection exposure control value storage means when the face area is not detected during the monitoring and when the face area is detected a predetermined number of times or more in a predetermined number of frames in the past. Use the control value
When the face area is not detected during the monitoring, and when the face area is not detected more than a predetermined number of times in the predetermined number of frames in the past, in the image in which the previous face area was detected It is determined whether the difference between the color information of the face area and the color information of the same area as the previously detected face area in the current image is within a certain range, and if within the certain range, the face detection exposure Exposure control means using the exposure control value acquired from the control value storage means;
An imaging apparatus comprising:

Immediately after returning to the monitoring from an operation other than the monitoring,
The exposure control means, when the face area is not detected during the monitoring, when the face area is detected a predetermined number of times or more in a predetermined number of frames in the past immediately before the end of the previous monitoring. The imaging apparatus according to claim 1, wherein the exposure control value acquired from the face detection exposure control value storage unit is used.

The face detection result storage means stores the face detection result for a predetermined period,
The face detection exposure control value storage means stores the exposure control value for the predetermined period,
Immediately after returning to the monitoring from an operation other than the monitoring, when the stored face detection result and the exposure control value exist,
The imaging apparatus according to claim 2, wherein the exposure control unit uses the stored face detection result and exposure control value.

An imaging method for repeatedly detecting an image of a subject and performing monitoring for displaying the detected image,
A first luminance value acquisition method for acquiring a luminance value of the entire image;
A face detection method for detecting a face area for each of the repeatedly detected images;
A face detection result storage method for storing a face detection result indicating that the face area has been detected;
A second luminance value acquisition method for acquiring a luminance value of the face region based on the face detection result;
When the face area is detected during the monitoring, exposure control is performed based on the luminance value acquired by the first luminance value acquisition method and the second luminance value acquisition method and the target value of the luminance value of the entire image. An exposure control value calculation method for calculating a value;
A face detection exposure control value storage method for always storing the calculated exposure control value;
When the face area is not detected during the monitoring, and when the face area is detected a predetermined number of times or more in a predetermined number of frames in the past, the face detection exposure control value obtained by the method is stored. Using the exposure control value,
In the former case Kikao area is not detected, and when the face area of a predetermined number of times or more is not detected in a past predetermined number of frames, the face area in the image where the face region of last time is detected The difference between the color information of the current area and the color information of the same area as the previously detected face area in the current image is within a certain range, and if within the certain range, the face detection exposure control value storage method An exposure control method using the exposure control value acquired by:
An imaging method comprising:

Oite immediately after returning to the monitoring from the operation other than the monitoring,
In the exposure control method, when the face area is not detected during the monitoring, the face area is detected a predetermined number of times or more in a predetermined number of frames in the past immediately before the end of the previous monitoring. the imaging method according to claim 4, characterized in Rukoto using the exposure control value acquired by the face detection exposure control value storing method.

A computer-readable recording medium in which a program for executing automatic exposure control calculation processing is used, which is used in an imaging device that repeatedly detects an image of a subject and performs monitoring to display the detected image,
The automatic exposure control calculation process is:
A first luminance value acquisition process for acquiring a luminance value of the entire image;
A face detection process for detecting a face area for each of the repeatedly detected images;
A face detection result storage process for storing a face detection result indicating that the face area has been detected;
A second luminance value acquisition process for acquiring a luminance value of the face area based on the face detection result;
When the face area is detected during the monitoring, exposure control is performed based on the brightness value acquired by the first brightness value acquisition process and the second brightness value acquisition process and the target value of the brightness value of the entire image. Exposure control value calculation processing for calculating a value;
A face detection exposure control value storage process for always storing the calculated exposure control value;
When the face area is not detected during the monitoring, and when the face area is detected a predetermined number of times or more in a predetermined number of frames in the past, the face detection exposure control value storage process obtains Using the exposure control value,
In the former case Kikao area is not detected, and when the face area of a predetermined number of times or more is not detected in a past predetermined number of frames, the face area in the image where the face region of last time is detected And whether the difference between the color information of the current area and the color information of the same area as the previously detected face area in the current image is within a certain range, and if within the certain range, the face detection exposure control value storage process Exposure control processing using the exposure control value acquired by
A recording medium comprising: