WO2007129438A1 - 電子カメラ - Google Patents

電子カメラ Download PDF

Info

Publication number
WO2007129438A1
WO2007129438A1 PCT/JP2007/000363 JP2007000363W WO2007129438A1 WO 2007129438 A1 WO2007129438 A1 WO 2007129438A1 JP 2007000363 W JP2007000363 W JP 2007000363W WO 2007129438 A1 WO2007129438 A1 WO 2007129438A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
unit
subject
image
face area
Prior art date
Application number
PCT/JP2007/000363
Other languages
English (en)
French (fr)
Inventor
Hirotake Nozaki
Akira Ohmura
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to US12/225,257 priority Critical patent/US8212894B2/en
Publication of WO2007129438A1 publication Critical patent/WO2007129438A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to an electronic camera having a function of detecting a face of a subject from a shooting screen.
  • Patent Document 1 Japanese Patent Laid-Open No. 6-2 5 9 5 3 4
  • Patent Document 2 Japanese Patent Laid-Open No. 2 0 0 4 _ 2 4 6 4 5 6
  • the present invention is to solve the above-mentioned problems of the prior art.
  • An object of the present invention is to provide an electronic camera capable of detecting a face of a subject when photographing a person and easily performing a process requested by a user based on the characteristics of the face of the subject.
  • An electronic camera includes an image sensor that captures a subject image, a face detection unit, an inference unit, and an image processing unit.
  • the face detection unit detects the face area in the shooting screen based on the output of the image sensor, and detects the face of the subject from the face area. Extract the collected amount.
  • the inference unit executes inference processing regarding either the age or sex of the subject based on the feature amount.
  • the image processing unit Based on the inference result of the inference unit, the image processing unit performs exposure correction, soft force correction, skin correction to adjust the skin color saturation, and human beings for the recording images taken by the image sensor. Execute at least one of the corrections shown.
  • An electronic camera includes an image sensor that captures a subject image, a face detection unit, an inference unit, and a control unit.
  • the face detection unit detects a face area in the shooting screen based on the output of the image sensor, and extracts a feature amount of the face of the subject from the face area.
  • the inference unit executes an inference process related to the age of the subject based on the feature amount. Based on the inference result of the inference unit, the control unit changes the shooting setting when the image sensor records a recording image.
  • control unit performs correction to shorten the exposure time when the age of the subject inferred by the inference unit is equal to or less than a threshold value.
  • the electronic camera further includes a stop portion that controls the amount of incident light from the object scene. Then, when the age of the object inferred by the inference unit is equal to or less than the threshold, the control unit performs correction to increase the depth of field by controlling the aperture unit.
  • the electronic camera further includes a photographing lens and a lens driving unit that adjusts a position in the optical axis direction of the photographing lens. Then, when the age of the subject inferred by the inference unit is less than the threshold, the control unit moves the photographing lens to a position suitable for close-up photography.
  • the electronic camera further includes a flash light emitting unit that irradiates the subject during photographing and a speaker that outputs sound to the outside. Then, when the age of the subject inferred by the inference unit is lower than the threshold, the control unit causes the flash light emitting unit to emit light and outputs sound from the speaker at the time of shooting.
  • the electronic camera further includes a flash light emitting unit that irradiates the subject during photographing and a speaker that outputs sound to the outside. Then, the control unit, when the subject inferred by the inference unit is below the threshold, In addition, the flash emission unit is prohibited from emitting light and the speaker output is turned off.
  • the electronic camera further includes a facial expression estimating unit that estimates the facial expression of the subject based on the output of the image sensor. Then, when the age of the subject inferred by the inference unit is equal to or less than the threshold, the control unit permits photographing of the subject when the facial expression is in a predetermined state.
  • the electronic camera further includes a first focus detection unit and a second focus detection unit.
  • the first focus detection unit calculates a focus evaluation value of the subject image based on the output of the image sensor, searches for a lens position where the focus evaluation value is a maximum value, and performs a focusing operation.
  • the second focus detection unit performs a focusing operation using a method different from that of the first focus detection unit. Then, when the age of the subject inferred by the inference unit is equal to or less than the threshold, the control unit performs a focusing operation by the second focus detection unit.
  • the control section switches to a shooting mode for performing continuous shooting of the recording image. Transition.
  • the electronic camera further includes a microphone for recording external sound. Then, when the age of the subject inferred by the inference unit is equal to or less than the threshold, the control unit shifts to a photographing mode in which recording is performed together with the recording image.
  • An electronic camera includes an imaging device that captures a subject image, a face detection unit, an inference unit, a memory, and an image processing unit.
  • the face detection unit detects a face area in the shooting screen based on the output of the imaging element, and extracts a feature amount of the face of the subject from the face area.
  • the inference unit executes an inference process regarding either the age or gender of the subject based on the feature amount.
  • the memory records auxiliary display data consisting of character images or character information.
  • the image processing unit Based on the inference result of the inference unit, performs image processing for synthesizing the incidental display on the recording image captured by the image sensor.
  • An electronic camera includes an image sensor that captures a subject image, a face detection unit, an inference unit, and a control unit.
  • the face detector is based on the output of the image sensor. And detecting the face area in the shooting screen and extracting the facial feature of the subject from the face area.
  • the inference unit executes an inference process related to the age of the subject based on the feature amount.
  • the control unit generates print data for printing the recording image captured by the image sensor based on the inference result of the inference unit.
  • An electronic camera is an image sensor that captures a subject image, a memory, a face detection unit, an inference unit, a first face recognition unit, and a second face recognition unit.
  • the memory records the correspondence between the registration data indicating the feature amount of the face to be recognized and the characteristic data on the gender, race, or age of the person to be recognized.
  • the face detection unit detects a face area in the shooting screen based on the output of the image sensor and extracts a feature amount of the face of the subject from the face area.
  • the inference unit executes an inference process regarding either the age or gender of the subject based on the feature amount.
  • the first face recognition unit determines whether or not the face area is a recognition target based on the feature amount data corresponding to the face area and the registered data.
  • the second face recognition unit determines whether or not the face area is a recognition target based on the inference result of the inference unit and the characteristic data.
  • An electronic camera includes an imaging device that captures a subject image, a memory, a face detection unit, a face recognition unit, a speaker that outputs sound to the outside, and a control unit.
  • the memory records the correspondence relationship between the registration data indicating the feature amount of the face to be recognized and the characteristic data relating to the birth place or language of the person to be recognized.
  • the face detection unit detects a face area in the shooting screen based on the output of the image sensor and extracts a feature amount of the face of the subject from the face area.
  • the face recognition unit determines whether or not the face area is a recognition target based on the feature value data corresponding to the face area and the registered data. Based on the recognition result of the face recognition unit, the control unit outputs a shout determined according to the characteristic data from the speaker during shooting.
  • An electronic camera is an imaging device that captures a subject image, a memory, a face detection unit, a face recognition unit, a timer that acquires a shooting date, an image processing unit, And a control unit.
  • the memory contains registered data indicating the facial features to be recognized. Record the correspondence between overnight and characteristic data on the birthplace or language of the person being recognized.
  • the face detection unit detects a face area in the shooting screen based on the output of the image sensor and extracts a feature amount of the face of the subject from the face area.
  • the face recognition unit determines whether or not the face area is a recognition target based on the feature amount data corresponding to the face area and the registered data.
  • the image processing unit executes image processing for synthesizing the shooting date display with the recording image shot by the imaging device.
  • the control unit changes the display order of the photographing frames based on the characteristic data.
  • An electronic camera includes an imaging device that captures a subject image, a memory, a face detection unit, a face recognition unit, and a control unit.
  • the memory records the correspondence between the registration data indicating the feature quantity of the face to be recognized and the characteristic data regarding the gender of the person to be recognized.
  • the face detection unit detects a face area in the shooting screen based on the output of the image sensor, and extracts a feature amount of the face of the subject from the face area.
  • the face recognition unit determines whether or not the face area is a recognition target based on the feature amount data corresponding to the face area and the registered data.
  • the control unit performs a correction that relaxes the criterion that the face area is a recognition target in the determination.
  • An electronic camera includes an imaging device that captures a subject image, a memory, a face detection unit, a face recognition unit, and a control unit.
  • the memory records the correspondence between the registration data indicating the feature quantity of the face to be recognized and the characteristic data regarding the gender of the person to be recognized.
  • the face detection unit detects a face area in the shooting screen based on the output of the image sensor, and extracts a feature amount of the face of the subject from the face area.
  • the face recognition unit determines whether or not the face area is a recognition target based on the feature amount data corresponding to the face area and the registered data.
  • the control unit performs correction to relax the criterion that the face area is a recognition target in the determination.
  • An electronic camera includes an imaging device that captures a subject image, a memory, a face detection unit, a face recognition unit, a timer that acquires a shooting date and time, and a control unit.
  • the memory records the correspondence between the registration data indicating the feature quantity of the face to be recognized and the characteristic data regarding the birthday of the person to be recognized.
  • the face detection unit detects a face area in the shooting screen based on the output of the image sensor and extracts a feature amount of the face of the subject from the face area.
  • the face recognition unit determines whether or not the face area is a recognition target based on the feature amount data corresponding to the face area and the registered data. Based on the recognition result of the face recognition unit, the control unit adds data related to the date and time calculated from the date of birth to the recording image data obtained by photographing the recognition target.
  • An electronic camera includes an imaging device that captures a subject image, a memory, a face detection unit, a face recognition unit, and an image processing unit.
  • the memory records incidental display data consisting of character images or character information, and the correspondence between the registration data indicating the facial feature quantity to be recognized and the characteristic data indicating the additional display corresponding to the recognition target Record.
  • the face detection unit detects the face area in the shooting screen based on the output of the image sensor, and extracts the feature amount of the face of the subject from the face area.
  • the face recognition unit determines whether or not the face area is a recognition target based on the feature amount data corresponding to the face area and the registration data. Based on the recognition result of the face recognition unit, the image processing unit executes image processing for synthesizing the auxiliary display indicated by the characteristic data with respect to the recording image captured by the image sensor.
  • the 21st invention is the 20th invention, wherein the characteristic data includes at least one of first data designating a type of ancillary display and second data designating a composite position of the ancillary display. . Then, the image processing unit changes at least one of the type of the incidental display and the combination position of the incidental display according to the recognition target based on the characteristic data.
  • An electronic camera includes an imaging device that captures a subject image, a memory, a face detection unit, a face recognition unit, an image processing unit, and a control unit.
  • the memory contains registered data indicating the facial features to be recognized, and characteristic data on at least one of the settings for displaying character information to be combined with the image when the person to be recognized is photographed and the character information combining position. Record the correspondence with.
  • Face detector Detects the face area in the shooting screen based on the output of the image sensor, and extracts the feature amount of the face of the subject from the face area.
  • the face recognition unit determines whether or not the face area is a recognition target based on the feature amount data corresponding to the face area and the registered data.
  • the image processing unit executes image processing for synthesizing character information with the recording image captured by the image sensor.
  • the control unit changes at least one of the display of the character information and the composition position based on the characteristic data.
  • the electronic camera of the present invention it is possible to detect the face of the subject at the time of photographing a person and easily perform processing requested by the user based on the characteristics of the face of the subject.
  • FIG. 1 is a block diagram showing a configuration of an electronic camera according to a first embodiment.
  • FIG. 2 is a flowchart for explaining an example of photographing operation of the electronic camera in the first embodiment.
  • FIG. 3 is a flowchart for explaining an example of photographing operation of the electronic camera in the second embodiment.
  • FIG. 1 is a block diagram showing the configuration of the electronic power mela of the first embodiment.
  • the electronic camera includes a photographing lens 1 1, a lens driving unit 1 2, an aperture 1 3, an aperture driving unit 1 4, an image sensor 1 5, an analog processing unit 1 6, and an AZD conversion unit 1. 7, timing generator (TG) 1 8, first memory 19, image processing unit 20, recording IF 2 1, display IF 2 2, monitor 2 3, operation unit 2 4, Communication unit 25, External IZF 2 6, Microphone 2 7 and Speaker 2 8, Flash emission unit 29, External light AF unit 30, CPU 3 1, Second memory 3 2, System bus 3 and 3.
  • the first memory 19, image processing unit 2 0, recording IF 2 1, display IF 2 2, communication unit 2 5, external IF 2 6, and CPU 3 1 are connected via the system bus 3 3. .
  • the taking lens 1 1 includes a zoom lens and a focus lens for adjusting the in-focus position. Are made up of a plurality of lens groups. Each lens constituting the photographic lens 11 1 is moved in the optical axis direction by the lens driving unit 12. The input / output of the lens drive unit 1 2 is connected to the CPU 31.
  • the aperture 1 3 adjusts the amount of incident light from the photographic lens 1 1.
  • the aperture amount of the aperture 1 3 is adjusted by the aperture drive unit 14.
  • the input / output of the aperture drive unit 14 is connected to C P U 31.
  • the image sensor 15 photoelectrically converts the light beam that has passed through the photographing lens 11 to generate an analog image signal of the subject image.
  • the image sensor 15 captures a recording image for recording during shooting, and outputs a through image by thinning out at predetermined intervals even during shooting standby.
  • the above-mentioned through-image data is used for various arithmetic processes by C P U 31 and display on the monitor 23.
  • the analog processing unit 16 is an analog front-end circuit that performs analog signal processing on the output of the image sensor 15.
  • This analog processing unit 16 has a CDS circuit and a gain circuit inside.
  • the CDS circuit of the analog processing unit 16 reduces the noise component of the output of the image sensor 15 by correlated double sampling.
  • the gain circuit of the analog processing unit 16 amplifies the gain of the input signal based on the instruction of C P U 31. In the above gain circuit, the imaging sensitivity corresponding to the ISO sensitivity can be adjusted.
  • the AZD conversion unit 17 performs AZD conversion on the analog image signal output from the analog processing unit 16.
  • the output of the AZD converter 17 is connected to the first memory 19.
  • the TG 18 supplies timing pulses to the image sensor 15, the analog processing unit 16, and the AZD conversion unit 17 based on instructions from the CPU 31.
  • the drive timing of the image sensor 15, the analog processing unit 16, and the AZD conversion unit 17 is controlled by the timing pulse of TG 18.
  • the first memory 19 is a buffer memory for temporarily recording image data in the pre-process and post-process of image processing described later.
  • the image processing unit 20 performs various kinds of image processing on the digital image signal at the time of shooting in the above shooting mode to generate a shot image.
  • the image processing unit 20 compresses the captured image data in the JP EG format. Furthermore, the image processing unit 20 generates a display image (view image) from the image signal of the re-through image in accordance with an instruction from the CPU 31 in the above-described shooting mode.
  • the image processing unit 20 executes a process of decompressing and restoring the compressed captured image data.
  • the image processing unit 20 can also perform image processing on captured image data in the editing mode. The specific contents of the image processing by the image processing unit 20 will be described later.
  • a connector for connecting the recording medium 34 is formed on the recording I ZF 21. Then, the recording I ZF 21 executes reading and writing of the photographed image data with respect to the recording medium 34 connected to the connector.
  • the recording medium 34 is composed of a hard disk or a memory card with a built-in semiconductor memory. In FIG. 1, a memory card is shown as an example of the recording medium 34.
  • Display I ZF 22 controls the display on monitor 23 based on the instruction from CPU 31.
  • the display I ZF 22 has a video terminal for outputting an image to the outside. Therefore, in the electronic camera of this embodiment, it is also possible to display a reproduced image on an external display device (such as a television) via the video terminal of the display I ZF 22.
  • the monitor 23 displays various images in accordance with instructions from the CPU 31 and the display I ZF 22.
  • the monitor 23 in this embodiment is a liquid crystal monitor.
  • the view image is displayed as a moving image during shooting standby in the shooting mode.
  • the monitor 23 displays various information required for shooting (for example, the number of frames that can be shot, the position of the focus detection area, the frame display of the face area detected by the face detection process described later, etc.) by the on-screen function. ) Can be superimposed on the view image.
  • the monitor 23 displays a playback image based on the captured image data, GU I ( Menu screens that can be input in Graphical User Interface format can also be displayed (note that view images and menu screens on the monitor 23 are not shown).
  • GU I Menu screens that can be input in Graphical User Interface format can also be displayed (note that view images and menu screens on the monitor 23 are not shown).
  • the operation unit 24 has a release button and an operation button.
  • the release button of the operation unit 24 receives an instruction input for starting an exposure operation from the user.
  • the operation button of the operation unit 24 accepts input from the above-described menu screen or the like, or an input to change the shooting mode of the electronic camera from the user.
  • the communication unit 25 controls communication with an external device in accordance with the specifications defined in the wireless LAN standard IEEEE802.11. For example, when transmitting captured image data to an external device, the communication unit 25 converts the captured image data into data that can be wirelessly communicated, and transmits the converted data to the external device.
  • the external I ZF 26 has a connection terminal of a serial communication standard such as USB (Universal Serial Bus).
  • the external I ZF 26 controls data transmission / reception with a computer or the like connected via the connection terminal in accordance with the communication standard.
  • the microphone 27 is provided to record the external sound of the electronic camera.
  • the speaker 28 is provided for outputting sound to the outside of the electronic camera at the time of shooting.
  • Microphone 27 and speaker 28 are connected to CPU 31.
  • the flash light emitting unit 29 is composed of, for example, a xenon arc tube, a main condenser for storing light emission energy, a reflector, a lens member, and a light emission control circuit for efficiently irradiating the subject with the flash light. Yes.
  • the external light A F unit 30 is a known passive focus detection device that performs focus detection using an optical system independent of the photographing lens 11.
  • the ambient light AF section 30 has a pair of distance measuring lenses 30a, mirrors 30b and 30c, and an image sensor 30d.
  • the subject light that has passed through the pair of distance measuring lenses 30a is reflected by the mirrors 30b and 30c and then detected as two images on the image sensor 30d.
  • the CPU 31 follows a sequence program stored in a ROM (not shown). In addition to controlling the operation of each part of the electronic camera, various calculations necessary for shooting and the like are executed (the details of which will be described later). In addition, this embodiment
  • the C P U 3 1 functions as an A F control unit 3 1 a, a face detection unit 3 1 b, a face recognition unit 3 1 c, an inference unit 3 1 d, and a timer 3 1 e for acquiring the shooting date and time.
  • the A F control unit 3 1 a executes a known A F calculation in the contrast detection method based on the through image data acquired from the image sensor 15. In addition, the A F control unit 3 1 a calculates a defocus amount based on the two-image interval detected from the image sensor of the external light A F unit 30, and performs A F based on the defocus amount. In the first embodiment, in the normal shooting mode, the AF control unit 3 1 a further performs AF of the contrast detection method after performing AF with the defocus amount of the external light AF unit 30. This improves the focusing accuracy.
  • the face detection unit 3 1 b extracts a feature point from the data of the through image or the captured image, and detects the face area, the size of the face, and the like of the subject. For example, the face detection unit 3 1 b extracts a face region by a feature point extraction process described in Japanese Patent Application Laid-Open No. 2000/2001/1993.
  • the feature points include eyebrow, eye, nose, lip end points, face contour points, head vertices, and chin lower end points.
  • the face recognition unit 3 1 c generates a face recognition data based on the feature points detected by the face detection unit 3 1 b. For example, the face recognition unit 3 1 c generates face recognition data of a registered person to be recognized from the position of the detected feature point of the face, the size of the face part obtained from the feature point, the relative distance of each feature point, etc. .
  • the face recognition unit 3 1 c performs a face recognition process for determining whether or not the face of the person in the shooting screen is the face of the person in the face recognition data. Specifically, the face recognition unit 3 1 c first determines the position of the face feature point of the photographed person, the size of each face part, the relative distance of each feature point, etc. based on the detected face feature points. Calculate. Next, the face recognition unit 3 1 c compares the above calculation result with the face recognition data, and obtains the similarity between the face of the person in the face recognition data and the face of the photographed person. Then, the face recognition unit 3 1 c determines that the photographed person matches the person of the face recognition data when the above similarity exceeds a threshold value.
  • the inference unit 3 1 d discriminates race, age, gender, and the like by arithmetic processing using feature points constituting the facial organ.
  • the method of the following document 1 can be applied, but not limited to this, a method of detecting the luminance distribution in the face image can be used.
  • the method disclosed in Reference 2 below can be used.
  • the feature values used in the above inference process are mainly derived from the detection area of the face image, but are not limited to this, and include the peripheral area of the face image and the feature value of the whole image or the-part of the image. Also good.
  • feature quantities it is possible to detect the average and variance of the color and brightness of the face image, intensity distribution, color difference and brightness difference with surrounding images The In addition, these feature quantities can be applied to a predetermined arithmetic expression to obtain secondary feature quantities necessary for inference.
  • the second memory 3 2 is connected to C P U 3 1.
  • the second memory 32 stores the face recognition data generated by the face recognition unit 3 1 c.
  • a group folder can be generated for each registered person (registered person), and face recognition data can be grouped for each registered person by the group folder. For example, in a group folder, a plurality of face recognition data with different face orientations and shooting conditions can be recorded for the same registered person.
  • characteristic data indicating the settings of the registered person, that is, the shooting settings can be recorded.
  • the above characteristic data includes: (1) Name of registered person, (2) Date of birth of registered person, (3) Gender of registered person, (4) Race of registered person, (5) Registration The language of the person's place of birth, (6) whether or not glasses are worn, (7) setting of incidental display on the photographed image, and (8) display of characters.
  • the registered person's telephone number, address, e-mail address, nickname, etc. may be recorded as characteristic data.
  • the setting of the incidental display in (7) above indicates whether or not the incidental display is combined with the photographed image.
  • This supplementary display includes cartoon characters, stamps such as letters and pictures, templates such as frames that decorate the periphery of the photographed image, and character information such as news about the photographer.
  • the setting of the auxiliary display includes the setting of the position where the auxiliary display is combined in the image.
  • the incidental display data is recorded in the second memory 32.
  • the CPU 31 may be able to add or update the incidental display data of the second memory 32 by, for example, downloading it from an external server via the communication unit 25.
  • the character display of (8) above is a setting item related to characters when characters are combined with the captured image (such as the display of the shooting ⁇ ⁇ or the character information of the accompanying display described above).
  • the settings include the font type, character size, character color, and character position to be combined in the image.
  • the second memory 32 records a voice over night used for a signal at the time of shooting. In this audio data, call data corresponding to multiple languages is recorded. In addition, for one language, there are multiple patterns of shout data in standard and dialects.
  • Step 1101 The CPU 31 drives the image sensor 15 to start obtaining a through image.
  • the image sensor 15 obtains an image signal of a through image by thinning out reading at predetermined intervals.
  • the image processing unit 20 sequentially generates view images based on through image data.
  • the view image is displayed as a moving image on the monitor 23 at the time of shooting standby. Therefore, the user can perform framing for determining the shooting composition based on the view image on the monitor 23.
  • Step 1 02 The face detection unit 31 b of the CPU 31 performs face detection processing on the live view image data to detect a face area in the shooting screen.
  • Step 1 03 The CPU 31 determines whether or not a face area has been detected in the face detection process of S 10 02. If a face area is detected (YES side), go to S 104. On the other hand, if the face area is not detected (NO side), the process proceeds to S 107.
  • Step 1 04 The inference unit 31 d of the CPU 31 executes an inference process for estimating the age and sex of the main subject with respect to the face area of S 10 02.
  • the CPU 31 sets a plurality of classes for each category of the subject's sex and age, and obtains the likelihood for each class.
  • C P U 31 then estimates the age and gender of the main subject based on the most likely class.
  • the CPU 31 determines whether the face area is the largest face area that is considered to be the closest side or the face area located at the center.
  • the inference process is executed with K as the main subject.
  • Step 1 05 The CPU 31 determines whether or not the main subject is a child from the age estimated in the inference process of S 104. Specifically, the CPU 31 determines that the main subject is a child when the estimated age of the main subject is equal to or less than a threshold value (for example, 6 to 10 years old or less). If the main subject is a child (YES side), go to S 1 08. On the other hand, if the main subject is not a child (NO side), the process proceeds to S 106.
  • a threshold value for example, 6 to 10 years old or less
  • Step 1 06 C P U 31 determines whether or not the main subject is a woman from the gender estimated in the inference process of S 104. If the main subject is a woman (Y ES side), go to S 1 09. On the other hand, if the main subject is a man (NO side), the process proceeds to S 107.
  • Step 1 07 In this case, the C P U 31 shoots the subject in the normal shooting mode.
  • the CPU 31 performs AF when the release button is pressed halfway, and also executes AE (automatic exposure calculation) to set shooting conditions. After that, the CPU 31 captures the subject in response to the release button being fully pressed, and the image processing unit 20 generates captured image data. Then, the C P U 31 records the captured image data in the recording medium 34 and proceeds to S 1 10.
  • S 1 0 2 it is preferable that the A F control unit 31 a of the C P U 31 executes A F with the detected face area as a focus detection area.
  • Step 1 08 In this case, the CPU 31 shifts to the first shooting mode suitable for child shooting and shoots the subject. In this first shooting mode, the CPU 3 1 performs shooting in the same flow as the normal shooting mode of S 107, but the CPU 3 1 controls any of the following (1) force, et al. (1 1) Is different in that
  • the C P U 31 performs correction to shorten the exposure time even in the normal shooting mode when setting the shooting conditions. By shortening the exposure time as described above, it is possible to suppress subject blur caused by the movement of the child.
  • the CPU 31 increases the imaging sensitivity as compared to the normal shooting mode, and decreases the aperture value to shorten the exposure time.
  • the CPU 31 can only correct either the imaging sensitivity or the aperture value. To shorten the exposure time.
  • the C P U 31 increases the depth of field by increasing the aperture value even in the normal shooting mode. In a scene where a child is photographed, the child may move and it may be difficult to adjust the focus. However, increasing the depth of field can reduce the possibility of shooting failure. Note that the above settings (1) and (2) can be switched between each other by the operation of the operation unit 24 by the user.
  • the CPU 31 moves the taking lens 11 to a position suitable for close-up photography. This is because, in particular, when shooting infants, close-ups are often performed with the camera close to a person.
  • the CPU 31 sets the flash light emitting unit 29 to emit light immediately before the start of exposure, and outputs sound from the speaker 28. This is to prevent the camera from failing by directing the child's attention to the electronic camera during shooting.
  • the CPU 31 prohibits the flash light emission unit 29 from emitting light during shooting and performs a setting to turn off the sound output of the speaker 28. For example, when taking a picture of a sleeping child, this is to prevent the child from waking up with the flash or sound of the picture taken.
  • the settings of (4) and (5) above can be switched between each other by the operation of the operation unit 24 by the user.
  • the A F control unit 31 a of the C P U 31 executes A F only with the outside light A F unit 30. That is, in the first shooting mode, C P U 31 can be prevented from performing AF in the contrast detection method that takes time until focusing. This reduces the risk of missing a photo opportunity because AF is performed quickly.
  • the CPU 31 estimates the facial expression of the main subject. Then, the CPU 31 can shoot only when the facial expression of the main subject is in a predetermined state (for example, a state where eyes are not closed or a state of smile). As a result, the user can obtain a captured image in which the facial expression of the main subject is desired, and the possibility of a shooting failure is reduced.
  • a predetermined state for example, a state where eyes are not closed or a state of smile.
  • the detection of the facial expression is performed by the following means.
  • CPU 31 prepares learning face images that are classified into classes such as ordinary facial expressions, face with closed eyes, face with open mouth, and smile.
  • the facial expression may be discriminated based on the evaluation value set for each class after identification by analysis.
  • standard patterns such as open eyes, closed eyes, open mouths, closed mouths, etc. are prepared in advance, and CPU 31 matches each pattern with the face area and estimates the facial expression from the combination of patterns. Also good.
  • the CPU 31 executes continuous shooting of a plurality of frames by pressing the release button once. As a result, the user can select the best image from a plurality of captured images, thereby reducing the possibility of shooting failure.
  • the CPU 31 performs recording with the microphone 27 during shooting. For example, the CPU 31 records before and after taking a photographed image, and records the recorded data in association with the photographed image data. As a result, it is possible to grasp the situation of the photographed scene by voice.
  • the CPU 31 instructs the image processing unit 20 to perform soft focus processing on the captured image. This makes it possible to obtain a preferable photographed image with softness while emphasizing the child of the main subject.
  • the soft focus processing of the image processing unit 20 is performed by the following means.
  • the image processing unit 20 generates a soft focus image by performing filter processing using a filter that exhibits a predetermined soft focus effect, a low-pass filter, or the like on the captured image.
  • the image processing unit 20 may generate a mask image from the captured image, and may generate a soft focus image by synthesizing the filtered image and the original image based on the mask image.
  • C PU 31 instructs the image processing unit 20 to perform an auxiliary display composition process. Then, the image processing unit 20 synthesizes a character such as a cartoon or news of the shooting date with the shot image. As a result, it is possible to provide the user with a highly entertaining captured image.
  • Step 1 09 In this case, the CPU 31 takes a second picture suitable for female photography. Switch to shadow mode and shoot the subject. In this second shooting mode, the CPU 3 1 performs shooting in the same flow as the normal shooting mode of S 107, but the CPU 3 1 executes one of the following controls (1) to (4) It is different in point.
  • the C PU 31 instructs the image processing unit 20 to perform exposure correction processing for correcting the exposure of the captured image to the over side. As a result, it is possible to obtain a preferable photographed image in which the skin of the main subject woman is expressed white.
  • the CPU 31 instructs the image processing unit 20 to perform soft force processing on the captured image.
  • the description of the soft focus process is the same as S 107 described above, and a duplicate description is omitted.
  • the CPU 31 instructs the image processing unit 20 to correct the saturation parameter of the captured image.
  • the image processing unit 20 performs correction that lowers the saturation of the skin color region to express the skin white.
  • the image processing unit 20 may reduce the dullness of the skin color by performing correction to increase the saturation of the skin color region.
  • the C P U 31 instructs the image processing unit 20 to perform correction to make the person in the captured image look slim. As a result, it is possible to obtain a preferable photographed image that the woman of the main subject can look thin.
  • the process of making the photographed person look slim is performed by the following means.
  • the image processing unit 20 adjusts the image size by trimming the image after slightly changing the aspect ratio of the photographed image to a vertically long image.
  • the image processing unit 20 may correct the contour of the face by image processing to make the wrinkles thinner as disclosed in Japanese Patent Application Publication No. 2004-264893.
  • Step 1 1 0 The CPU 31 determines whether or not generation of print setting data according to the DPOF (Digital Print Order Format) standard is set to ON. If the above setting is on (YES side), go to S 1 1 1 . On the other hand, when the above setting is off (NO side), the CPU 31 ends the shooting operation without generating the print setting data.
  • DPOF Digital Print Order Format
  • Step 1 1 1 C PU 31 determines whether or not the main subject is an elderly person from the age estimated by the inference process of S 104. Specifically, the CPU 31 determines that the main subject is an elderly person when the estimated age of the main subject is equal to or greater than a threshold (for example, 60 years or older). If the main subject is an elderly person (YES side), go to S 1 1 2. On the other hand, if the face area is not detected or the main subject is not an elderly person (NO side), the process proceeds to S 1 1 3.
  • a threshold for example, 60 years or older
  • Step 1 1 2 The CPU 31 changes the print size to a size larger than the normal size and generates print setting data. For example, if the standard print size is L, C P U 31 generates print setting data with a print size of 2 L. As a result, it is possible to print a photographed image that is easy to see for the elderly by the print setting data.
  • Step 1 1 3 The CPU 31 generates print setting data in the normal print size. For example, if the standard print size is L size, the CPU 31 generates print setting data with the print size set to L size. This is the end of the description of the shooting operation of the electronic camera of the first embodiment.
  • FIG. 3 is a flowchart for explaining an example of the photographing operation of the electronic camera in the second embodiment.
  • the inference function of the person's age and gender and the face recognition function are set to ON and the registered person is recognized.
  • Step 203 The CPU 31 determines whether or not a face area has been detected in the face detection process of S202. If a face area is detected (YES side), the process proceeds to S204. On the other hand, if the face area is not detected (NO side), the process proceeds to S208.
  • Step 204 The face recognition unit 3 1 c of the CPU 31 is based on the feature point data acquired in the face detection process of S 202 and the face recognition data in the second memory 32, and the above face area A face recognition process is performed to detect the face of the registered person to be recognized.
  • C P U 3 1 corrects the threshold value of the determination criterion for the face recognition process for each registered person based on the characteristic data in the second memory 32. For example, for a registered person whose gender of characteristic data is female, C P U 3 1 increases the possibility of judging a person in the face area as a registered person by correcting the threshold value of the criterion to be low. For women, the accuracy of face recognition may be low due to changes in makeup and hairstyles. In addition, for registered persons whose characteristic data indicates wearing glasses, C P U 31 increases the possibility of determining a person in the face area as a registered person by correcting the threshold value of the determination criterion to be low. This is because the accuracy of face recognition may be low for people who wear eyeglasses due to the presence or absence of eyeglasses or changes in eyeglasses.
  • Step 205 CPU 31 determines whether or not a registered person's face has been detected in the face recognition process of S 204. If a registered person's face is detected (Y ES side), the process proceeds to S206. On the other hand, if the face of the registered person has not been detected (NO side), the process proceeds to S208.
  • Step 206 The inference unit 3 1 d of C P U 3 1 performs inference processing for estimating the sex, race, and age of the subject for the face area recognized as a registered person in S204.
  • C P U 3 1 sets a plurality of classes for each category of the subject's gender, race, and age, and calculates the likelihood for each class.
  • C P U 3 1 estimates the sex, race, and age of the subject based on the most likely class.
  • Step 207 The CPU 31 determines whether or not the characteristic data in the second memory 32 matches the sex, race, and age estimated in S 206. For example, the CPU 31 calculates an evaluation value indicating the degree of coincidence between the estimation result of S 206 and the characteristic data for the sex, race, and age of the subject. And this evaluation value is the threshold value In the above case, it is determined that the face area in S204 matches the registered person. If the two match (YES side), the process proceeds to S209. On the other hand, if the two do not match (NO side), the process proceeds to S208.
  • Step 208 In this case, the C P U 31 shoots the subject in the normal shooting mode.
  • the CPU 31 performs A F in response to half-pressing of the release button, and executes A E to set shooting conditions. Thereafter, in response to the release button being fully pressed, the CPU 31 captures the subject, and the image processing unit 20 generates captured image data. Then, the CPU 31 records the captured image data in the recording medium 34.
  • the A F control unit 31 a of C PU 31 executes A F with the detected face area as a focus detection area.
  • Step 209 In this case, the C P U 31 shifts to the registration mode of the registered person and shoots the subject. In this registered person shooting mode, the CPU 31 shoots in almost the same flow as the normal shooting mode in S208, but the CPU 31 reads out the registered person's characteristic data detected in S204 from the second memory 32, and The difference is that one of the following controls (1) to (4) is executed based on the characteristic data.
  • the CPU 31 outputs a cry indicating a shooting signal from the speaker 28 during shooting.
  • the CPU 31 changes the above call based on the characteristic data of the registered person.
  • the CPU 31 selects audio data to be reproduced from the audio data in the second memory 32 based on the language of the registered person of the characteristic data. For example, when the language in the characteristic data indicates English, the CPU 31 reproduces the voice data of the English call. Further, when a plurality of dialects are set for one language, the CPU 31 may reproduce the voice data of the dialect corresponding to the place of birth based on the birth place of the registered person of the characteristic data. . As a result, it is possible to easily convey the shooting signal to the registered person as the main subject.
  • the CPU 31 instructs the image processing unit 20 to display the shooting date.
  • the image processing unit 20 combines the date acquired from the timer 31 e with a predetermined position of the captured image.
  • the CPU 31 changes the display order of the date based on the characteristic data of the registered person. For example, when the language of the registered person in the characteristic data is a Japanese language, the CPU 31 indicates the shooting date in the order of date. In addition, when the language of the registered person of the characteristic data is English, the CPU 31 indicates the shooting date in the order of day / month / year or month / day / year. As a result, it is possible to provide a captured image that is displayed in an easy-to-understand manner for the registered person as the main subject.
  • the CPU 31 adds the date and time calculated from the birthday to the photographed image based on the date of birth of the registered person. For example, the CPU 31 instructs the image processing unit 20 to perform image processing for synthesizing characters indicating the age (for example, 0x years old, X months after birth, etc.) into the photographed image. Alternatively, the CPU 31 may record the date and time data calculated from the birthday in the captured image data. Thereby, the growth of the registered person as the main subject can be easily grasped, and a photographed image suitable for album editing can be provided.
  • the CPU 31 instructs the image processing unit 20 to perform an auxiliary display composition process. Then, the image processing unit 20 synthesizes a character or the like designated for each registered person in the characteristic data with the captured image. Note that the image processing unit 20 can change the composite position of the accompanying display for each registered person based on the characteristic data. As a result, it is possible to provide a photographed image with high entertainment characteristics to the user.
  • the image processing unit 20 sets the font, color, size, and character font for each registered person based on the character display items of the characteristic data. Change the composition position. This is the end of the description of the shooting operation of the electronic camera of the second embodiment.
  • the face recognition process is executed based on the feature amount detected from the face area, and the race, age, gender and characteristic data estimated from the face area. And the validity of the face recognition result is checked. Therefore, the accuracy of the face recognition process can be further improved.
  • the threshold value of the determination criterion for face recognition processing is corrected for each registered person based on information such as the gender of characteristic data and the presence or absence of glasses. Therefore, the possibility that a registered person is not detected in the face recognition process can be reduced.
  • the processing of the registered person in the shooting mode in the second embodiment is merely an example.
  • the shooting conditions at the time of shooting, the setting of image processing, the setting of automatic image transmission by e-mail, etc. may be recorded in the second memory 32 as the characteristic data for each registered person.
  • the CPU 31 may automatically set shooting conditions and image processing based on the characteristic data during face recognition, and automatically send shot image data to a predetermined address after shooting. Also good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　電子カメラは、被写体像を撮影する撮像素子と、顔検出部と、推論部と、画像処理部とを備える。顔検出部は、撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、顔領域から被写体の顔の特徴量を抽出する。推論部は、特徴量に基づいて被写体の年齢、性別のいずれかに関する推論処理を実行する。画像処理部は、推論部の推論結果に基づいて、撮像素子で撮影された記録用画像に対して、露出補正、ソフトフォーカス補正、肌色の彩度を調整する美肌補正、人物を痩身にみせる補正のすくなくとも１つを実行する。

Description

明 細 書
電子カメラ
技術分野
[0001 ] 本発明は、 撮影画面内から被写体の顔を検出する機能を有する電子カメラ に関する。
背景技術
[0002] 従来から、 人物の顔を撮影した撮影画像から人物の顔の特徴点を抽出し、 認識する人物に関する顔認識データと上記の特徴点との一致度に基づいて顔 認識を行う技術が開示されている （特許文献 1参照） 。 また、 撮影画像から 人種、 年齢、 性別を推定して顔画像を補正する画像処理装置も開示されてい る （特許文献 2参照） 。
ところで、 近年では電子カメラの多機能化は益々進展しており、 それに伴つ て電子カメラの操作も煩雑になる傾向がある。 そのため、 人物撮影時におい てユーザーの意図する機能を簡単に使用できる電子カメラが要望されている 特許文献 1 ：特開平 6— 2 5 9 5 3 4号公報
特許文献 2：特開 2 0 0 4 _ 2 4 6 4 5 6号公報
発明の開示
発明が解決しょうとする課題
[0003] 本発明は上記従来技術の課題を解決するためのものである。 本発明の目的 は、 人物撮影時に被写体の顔を検出するとともに、 被写体の顔の特徴に基づ いてユーザーが要求する処理を簡単に行うことのできる電子カメラを提供す ることである。
課題を解決するための手段
[0004] 第 1の発明に係る電子カメラは、 被写体像を撮影する撮像素子と、 顔検出 部と、 推論部と、 画像処理部とを備える。 顔検出部は、 撮像素子の出力に基 づいて撮影画面内の顔領域を検出するとともに、 顔領域から被写体の顔の特 徴量を抽出する。 推論部は、 特徴量に基づいて被写体の年齢、 性別のいずれ かに関する推論処理を実行する。 画像処理部は、 推論部の推論結果に基づい て、 撮像素子で撮影された記録用画像に対して、 露出補正、 ソフ トフォー力 ス補正、 肌色の彩度を調整する美肌補正、 人物を痩身にみせる補正のすくな くとも 1つを実行する。
[0005] 第 2の発明に係る電子カメラは、 被写体像を撮影する撮像素子と、 顔検出 部と、 推論部と、 制御部とを備える。 顔検出部は、 撮像素子の出力に基づい て撮影画面内の顔領域を検出するとともに、 顔領域から被写体の顔の特徴量 を抽出する。 推論部は、 特徴量に基づいて被写体の年齢に関する推論処理を 実行する。 制御部は、 推論部の推論結果に基づいて、 撮像素子で記録用画像 を撮影するときの撮影設定を変更する。
[0006] 第 3の発明は、 第 2の発明において、 制御部は、 推論部の推論した被写体 の年齢が閾値以下の場合は、 露光時間を短くする補正を行う。
[0007] 第 4の発明は、 第 2の発明において、 被写界からの入射光量を制御する絞 リ部を電子カメラはさらに備える。 そして、 制御部は、 推論部の推論した被 写体の年齢が閾値以下の場合は、 絞り部を制御して被写界深度を深くする補 正を行う。
[0008] 第 5の発明は、 第 2の発明において、 撮影レンズと、 撮影レンズの光軸方 向位置を調整するレンズ駆動部とを電子カメラはさらに備える。 そして、 制 御部は、 推論部の推論した被写体の年齢が閾値以下の場合は、 撮影レンズを 近接撮影に適した位置に移動させる。
[0009] 第 6の発明は、 第 2の発明において、 撮影時に被写体を照射する閃光発光 部と、 外部に音を出力するスピーカーとを電子カメラはさらに備える。 そし て、 制御部は、 推論部の推論した被写体の年齢が閾値以下の場合は、 撮影時 に閃光発光部を発光させるとともにスピーカーから音声を出力する。
[0010] 第 7の発明は、 第 2の発明において、 撮影時に被写体を照射する閃光発光 部と、 外部に音を出力するスピーカーとを電子カメラはさらに備える。 そし て、 制御部は、 推論部の推論した被写体の年齢が閾値以下の場合は、 撮影時 に閃光発光部の発光を禁止するとともにスピーカーの出力をオフにする。
[001 1 ] 第 8の発明は、 第 2の発明において、 撮像素子の出力に基づいて被写体の 顔の表情を推定する表情推定部を電子カメラはさらに備える。 そして、 制御 部は、 推論部の推論した被写体の年齢が閾値以下の場合は、 表情が所定の状 態であるときに被写体の撮影を許可する。
[0012] 第 9の発明は、 第 2の発明において、 第 1焦点検出部と、 第 2焦点検出部 とを電子カメラはさらに備える。 第 1焦点検出部は、 撮像素子の出力に基づ いて被写体像の焦点評価値を算出し、 該焦点評価値が極大値となるレンズ位 置を探索して合焦動作を行う。 第 2焦点検出部は、 第 1焦点検出部と異なる 方式で合焦動作を行う。 そして、 制御部は、 推論部の推論した被写体の年齢 が閾値以下の場合は、 第 2焦点検出部による合焦動作を行う。
[0013] 第 1 0の発明は、 第 2の発明において、 制御部は、 推論部の推論した被写 体の年齢が閾値以下の場合は、 記録用画像の連写撮影を実行する撮影モード に移行する。
[0014] 第 1 1の発明は、 第 2の発明において、 外部の音声を録音するマイクを電 子カメラはさらに備える。 そして、 制御部は、 推論部の推論した被写体の年 齢が閾値以下の場合は、 記録用画像の撮影とともに録音を行う撮影モードに 移行する。
[0015] 第 1 2の発明に係る電子カメラは、 被写体像を撮影する撮像素子と、 顔検 出部と、 推論部と、 メモリと、 画像処理部とを備える。 顔検出部は、 撮像素 子の出力に基づいて撮影画面内の顔領域を検出するとともに、 顔領域から被 写体の顔の特徴量を抽出する。 推論部は、 特徴量に基づいて被写体の年齢、 性別のいずれかに関する推論処理を実行する。 メモリは、 キャラクタの画像 または文字情報からなる付帯表示のデータを記録する。 画像処理部は、 推論 部の推論結果に基づいて、 撮像素子で撮影された記録用画像に対して、 付帯 表示を合成する画像処理を実行する。
[0016] 第 1 3の発明に係る電子カメラは、 被写体像を撮影する撮像素子と、 顔検 出部と、 推論部と、 制御部とを備える。 顔検出部は、 撮像素子の出力に基づ いて撮影画面内の顔領域を検出するとともに、 顔領域から被写体の顔の特徴 量を抽出する。 推論部は、 特徴量に基づいて被写体の年齢に関する推論処理 を実行する。 制御部は、 推論部の推論結果に基づいて、 撮像素子で撮影され た記録用画像の印刷を行うための印刷データを生成する。
[001 7] 第 1 4の発明に係る電子カメラは、 被写体像を撮影する撮像素子と、 メモ リと、 顔検出部と、 推論部と、 第 1顔認識部と、 第 2顔認識部とを備える。 メモリは、 認識対象となる顔の特徴量を示す登録データと、 認識対象の人物 の性別、 人種、 年齢のいずれかに関する特性データとの対応関係を記録する 。 顔検出部は、 撮像素子の出力に基づいて撮影画面内の顔領域を検出すると ともに、 該顔領域から被写体の顔の特徴量を抽出する。 推論部は、 特徴量に 基づいて被写体の年齢、 性別のいずれかに関する推論処理を実行する。 第 1 顔認識部は、 顔領域に対応する特徴量のデータと登録データとに基づいて、 顔領域が認識対象であるか否かを判定する。 第 2顔認識部は、 推論部の推論 結果と特性データとに基づいて、 顔領域が認識対象であるか否かを判定する
[0018] 第 1 5の発明に係る電子カメラは、 被写体像を撮影する撮像素子と、 メモ リと、 顔検出部と、 顔認識部と、 外部に音を出力するスピーカーと、 制御部 とを備える。 メモリは、 認識対象となる顔の特徴量を示す登録データと、 認 識対象の人物の出身地または使用言語に関する特性データとの対応関係を記 録する。 顔検出部は、 撮像素子の出力に基づいて撮影画面内の顔領域を検出 するとともに、 該顔領域から被写体の顔の特徴量を抽出する。 顔認識部は、 顔領域に対応する特徴量のデータと登録データとに基づいて、 顔領域が認識 対象であるか否かを判定する。 制御部は、 顔認識部の認識結果に基づいて、 特性データに応じて決定されたかけ声を撮影時にスピーカーから出力させる
[0019] 第 1 6の発明に係る電子カメラは、 被写体像を撮影する撮像素子と、 メモ リと、 顔検出部と、 顔認識部と、 撮影日時を取得するタイマと、 画像処理部 と、 制御部とを備える。 メモリは、 認識対象となる顔の特徴量を示す登録デ 一夕と、 認識対象の人物の出身地または使用言語に関する特性データとの対 応関係を記録する。 顔検出部は、 撮像素子の出力に基づいて撮影画面内の顔 領域を検出するとともに、 該顔領域から被写体の顔の特徴量を抽出する。 顔 認識部は、 顔領域に対応する特徴量のデータと登録データとに基づいて、 顔 領域が認識対象であるか否かを判定する。 画像処理部は、 顔認識部の認識結 果に基づいて、 撮像素子で撮影された記録用画像に対して、 撮影日の表示を 合成する画像処理を実行する。 制御部は、 特性データに基づいて、 撮影曰の 表示順を変更する。
[0020] 第 1 7の発明に係る電子カメラは、 被写体像を撮影する撮像素子と、 メモ リと、 顔検出部と、 顔認識部と、 制御部とを備える。 メモリは、 認識対象と なる顔の特徴量を示す登録データと、 認識対象の人物の性別に関する特性デ 一夕との対応関係を記録する。 顔検出部は、 撮像素子の出力に基づいて撮影 画面内の顔領域を検出するとともに、 該顔領域から被写体の顔の特徴量を抽 出する。 顔認識部は、 顔領域に対応する特徴量のデータと登録データとに基 づいて、 顔領域が認識対象であるか否かを判定する。 制御部は、 特性データ の性別が女性を示す場合には、 判定において顔領域が認識対象であるとする 基準を緩和する補正を行う。
[0021 ] 第 1 8の発明に係る電子カメラは、 被写体像を撮影する撮像素子と、 メモ リと、 顔検出部と、 顔認識部と、 制御部とを備える。 メモリは、 認識対象と なる顔の特徴量を示す登録データと、 認識対象の人物の性別に関する特性デ 一夕との対応関係を記録する。 顔検出部は、 撮像素子の出力に基づいて撮影 画面内の顔領域を検出するとともに、 該顔領域から被写体の顔の特徴量を抽 出する。 顔認識部は、 顔領域に対応する特徴量のデータと登録データとに基 づいて、 顔領域が認識対象であるか否かを判定する。 制御部は、 特性データ が眼鏡を着用する人物を示す場合には、 判定において顔領域が認識対象であ るとする基準を緩和する補正を行う。
[0022] 第 1 9の発明に係る電子カメラは、 被写体像を撮影する撮像素子と、 メモ リと、 顔検出部と、 顔認識部と、 撮影日時を取得するタイマと、 制御部とを 備える。 メモリは、 認識対象となる顔の特徴量を示す登録データと、 認識対 象の人物の誕生日に関する特性データとの対応関係を記録する。 顔検出部は 、 撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、 該顔 領域から被写体の顔の特徴量を抽出する。 顔認識部は、 顔領域に対応する特 徵量のデータと登録データとに基づいて、 顔領域が認識対象であるか否かを 判定する。 制御部は、 顔認識部の認識結果に基づいて、 認識対象を撮影した 記録用画像のデータに対して、 誕生日から起算した日時に関するデータを付 加する。
[0023] 第 2 0の発明に係る電子カメラは、 被写体像を撮影する撮像素子と、 メモ リと、 顔検出部と、 顔認識部と、 画像処理部と、 を備える。 メモリは、 キヤ ラクタの画像または文字情報からなる付帯表示のデータを記録するとともに 、 認識対象となる顔の特徴量を示す登録データと、 認識対象に対応する付帯 表示を示す特性データとの対応関係を記録する。 顔検出部は、 撮像素子の出 力に基づいて撮影画面内の顔領域を検出するとともに、 顔領域から被写体の 顔の特徴量を抽出する。 顔認識部は、 顔領域に対応する特徴量のデータと登 録データとに基づいて、 顔領域が認識対象であるか否かを判定する。 画像処 理部は、 顔認識部の認識結果に基づいて、 撮像素子で撮影された記録用画像 に対して、 特性データの示す付帯表示を合成する画像処理を実行する。
[0024] 第 2 1の発明は、 第 2 0の発明において、 特性データは、 付帯表示の種類 を指定する第 1データおよび付帯表示の合成位置を指定する第 2データの少 なくとも一方を含む。 そして、 画像処理部は、 特性データに基づいて付帯表 示の種類および付帯表示の合成位置の少なくとも一方を認識対象に応じて変 更する。
[0025] 第 2 2の発明に係る電子カメラは、 被写体像を撮影する撮像素子と、 メモ リと、 顔検出部と、 顔認識部と、 画像処理部と、 制御部とを備える。 メモリ は、 認識対象となる顔の特徴量を示す登録データと、 認識対象の人物を撮影 したときに画像に合成される文字情報の表示の設定および文字情報の合成位 置の少なくとも一方に関する特性データとの対応関係を記録する。 顔検出部 は、 撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、 該 顔領域から被写体の顔の特徴量を抽出する。 顔認識部は、 顔領域に対応する 特徴量のデータと登録データとに基づいて、 顔領域が認識対象であるか否か を判定する。 画像処理部は、 顔認識部の認識結果に基づいて、 撮像素子で撮 影された記録用画像に対して、 文字情報を合成する画像処理を実行する。 制 御部は、 特性データに基づいて、 文字情報の表示および合成位置の少なくと も一方を変更する。
発明の効果
[0026] 本発明の電子カメラによれば、 人物撮影時に被写体の顔を検出するととも に、 被写体の顔の特徴に基づいてユーザーが要求する処理を簡単に行うこと ができる。
図面の簡単な説明
[0027] [図 1 ]第 1実施形態の電子カメラの構成を示すブロック図
[図 2]第 1実施形態における電子カメラの撮影動作の一例を説明する流れ図 [図 3]第 2実施形態における電子カメラの撮影動作の一例を説明する流れ図 発明を実施するための最良の形態
[0028] (第 1実施形態の説明）
図 1は第 1実施形態の電子力メラの構成を示すプロック図である。
[0029] 電子カメラは、 撮影レンズ 1 1 と、 レンズ駆動部 1 2と、 絞り 1 3と、 絞 り駆動部 1 4と、 撮像素子 1 5と、 アナログ処理部 1 6と、 A Z D変換部 1 7と、 タイミングジェネレータ （T G ) 1 8と、 第 1メモリ 1 9と、 画像処 理部 2 0と、 記録 I F 2 1 と、 表示 I F 2 2と、 モニタ 2 3と、 操作部 2 4と、 通信部 2 5と、 外部 I Z F 2 6と、 マイク 2 7およびスピーカー 2 8と、 閃光発光部 2 9と、 外光 A F部 3 0と、 C P U 3 1 と、 第 2メモリ 3 2と、 システムバス 3 3とを有している。 なお、 第 1メモリ 1 9、 画像処理 部 2 0、 記録 I F 2 1、 表示 I F 2 2、 通信部 2 5、 外部 I F 2 6お よび C P U 3 1はシステムバス 3 3を介して接続されている。
[0030] 撮影レンズ 1 1は、 ズームレンズと、 合焦位置調節用のフォーカスレンズ とを含む複数のレンズ群で構成されている。 撮影レンズ 1 1を構成する各々 のレンズは、 レンズ駆動部 1 2によって光軸方向に移動する。 なお、 レンズ 駆動部 1 2の入出力は CPU 31 と接続されている。
[0031] 絞り 1 3は、 撮影レンズ 1 1からの入射光量を調節する。 絞り 1 3の開口 量は、 絞り駆動部 1 4によって調整される。 なお、 絞り駆動部 1 4の入出力 は C P U 31 と接続されている。
[0032] 撮像素子 1 5は、 撮影レンズ 1 1を通過した光束を光電変換して被写体像 のアナログ画像信号を生成する。 被写体の撮影を行う撮影モードでは、 撮像 素子 1 5は、 撮影時に記録用の撮影画像を撮影するとともに、 撮影待機時に も所定間隔毎に間引き読み出しでスルー画像を出力する。 上記のスルー画像 のデータは、 C P U 31による各種の演算処理やモニタ 23での表示などに 使用される。
[0033] アナログ処理部 1 6は、 撮像素子 1 5の出力に対してアナログ信号処理を 施すアナログフロントエンド回路である。 このアナログ処理部 1 6は CDS 回路やゲイン回路を内部に有している。 アナログ処理部 1 6の CDS回路は 、 相関二重サンプリングによって撮像素子 1 5の出力のノイズ成分を低減す る。 アナログ処理部 1 6のゲイン回路は、 C P U 31の指示に基づいて入力 信号の利得を増幅する。 上記のゲイン回路では、 I SO感度に相当する撮像 感度の調整を行うことができる。
[0034] AZD変換部 1 7は、 アナログ処理部 1 6から出力されたアナログの画像 信号に AZD変換を行う。 この AZD変換部 1 7の出力は第 1メモリ 1 9に 接続されている。
[0035] TG 1 8は、 CPU 31の指示に基づいて、 撮像素子 1 5、 アナログ処理 部 1 6および AZD変換部 1 7に対してタイミングパルスを供給する。 撮像 素子 1 5、 アナログ処理部 1 6および AZD変換部 1 7の駆動タイミングは 、 T G 1 8のタイミングパルスによって制御される。
[0036] 第 1メモリ 1 9は、 後述の画像処理の前工程や後工程などで画像のデータ を一時的に記録するためのバッファメモリである。 [0037] 画像処理部 20は、 上記の撮影モードにおいて撮影時のデジタル画像信号 に各種の画像処理を施して撮影画像を生成する。 また、 画像処理部 20は撮 影画像のデータを J P EG形式で圧縮する。 さらに、 画像処理部 20は、 上 記の撮影モードにおいて、 C P U 31の指示によリスルー画像の画像信号か ら表示用画像 （ビュー画像） を生成する。
[0038] —方、 撮影画像の再生などを行う編集モードでは、 画像処理部 20は、 圧 縮された撮影画像のデータを伸長復元する処理を実行する。 また、 画像処理 部 20は、 上記の編集モードにおいて、 撮影画像のデータに画像処理を施す ことも可能である。 なお、 画像処理部 20による画像処理の具体的な内容は 後述する。
[0039] 記録 I ZF 21には記録媒体 34を接続するためのコネクタが形成されて いる。 そして、 記録 I ZF 21は、 コネクタに接続された記録媒体 34に対 して撮影画像データの書き込み 読み込みを実行する。 上記の記録媒体 34 は、 ハードディスクや半導体メモリを内蔵したメモリカードなどで構成され る。 なお、 図 1では記録媒体 34の一例としてメモリカードを図示する。
[0040] 表示 I ZF 22は、 CPU 31の指示に基づいてモニタ 23の表示を制御 する。 また、 表示 I ZF 22は、 外部に画像出力を行うための映像端子を有 している。 そのため、 本実施形態の電子カメラでは、 表示 I ZF 22の映像 端子を介して、 外部の表示装置 （テレビなど） に再生画像を表示させること も可能である。
[0041] モニタ 23は、 C P U 31および表示 I ZF 22の指示に応じて各種画像 を表示する。 本実施形態でのモニタ 23は液晶モニタで構成されている。 こ のモニタ 23には、 撮影モードでの撮影待機時にビュー画像が動画表示され る。 また、 モニタ 23は、 オンスクリーン機能によって、 撮影に必要となる 各種情報の表示 （例えば、 撮影可能なフレーム数、 焦点検出エリアの位置、 後述の顔検出処理で検出された顔領域の枠表示など） をビュー画像に重畳表 示させることもできる。
[0042] さらに、 モニタ 23には、 撮影画像のデータに基づく再生画像や、 GU I ( Graphical User Interface)形式の入力が可能なメニュー画面なども表示でき る （なお、 モニタ 23におけるビュー画像およびメニュー画面の図示は省略 する） 。
[0043] 操作部 24は、 レリーズ釦ゃ操作釦などを有している。 操作部 24のレリ 一ズ釦は露光動作開始の指示入力をユーザーから受け付ける。 操作部 24の 操作釦は、 上記のメニュー画面等での入力や、 電子カメラの撮影モードの切 り換え入力などをユーザーから受け付ける。
[0044] 通信部 25は、 無線 LANの標準規格 I EEE802. 1 1に規定された 仕様に準拠して、 外部装置との通信を制御する。 例えば、 撮影画像のデータ を外部装置に送信する場合、 通信部 25は撮影画像のデータを無線通信可能 なデータに変換するとともに、 変換後のデータを外部装置に送信する。
[0045] 外部 I ZF 26は、 USB (Universal Serial Bus) などのシリアル通信 規格の接続端子を有している。 そして、 外部 I ZF 26は、 接続端子を介し て接続されたコンピュータなどとのデータ送受信を上記の通信規格に準拠し て制御する。
[0046] マイク 27は、 電子カメラの外部音声を録音するために設けられている。
また、 スピーカー 28は、 撮影時などに電子カメラの外部に音声を出力する ために設けられている。 マイク 27およびスピーカー 28は CPU 31 と接 続されている。
[0047] 閃光発光部 29は、 例えば、 キセノン発光管、 発光のエネルギを蓄えるメ ィンコンデンサ、 閃光を被写体に効率良く照射するための反射傘やレンズ部 材、 発光制御回路などから構成されている。
[0048] 外光 A F部 30は、 撮影レンズ 1 1 とは独立した光学系により焦点検出を 行う公知のパッシブ型焦点検出装置である。 外光 A F部 30は一対の測距レ ンズ 30 aと、 ミラー 30 b， 30 cおよびイメージセンサ 30 dとを有す る。 一対の測距レンズ 30 aを通過した被写体光は、 ミラー 30 b， 30 c で反射された後にイメージセンサ 30 d上に 2つの像として検出される。
[0049] CPU 31は、 不図示の ROMに格納されたシーケンスプログラムに従つ て、 電子カメラの各部動作を制御するとともに、 撮影などに必要となる各種 演算を実行する （これらの内容については後述する） 。 また、 本実施形態の
C P U 3 1は、 A F制御部 3 1 a、 顔検出部 3 1 b、 顔認識部 3 1 c、 推論 部 3 1 d、 撮影日時を取得するためのタイマ 3 1 eとして機能する。
[0050] A F制御部 3 1 aは、 撮像素子 1 5から取得したスルー画像のデータに基 づいて、 コントラスト検出方式での公知の A F演算を実行する。 また、 A F 制御部 3 1 aは、 外光 A F部 3 0のイメージセンサから検出した 2像間隔に 基づいてデフォーカス量を演算するとともに、 このデフォーカス量に基づい て A Fを行う。 なお、 第 1実施形態では、 通常の撮影モードにおいて、 A F 制御部 3 1 aは、 外光 A F部 3 0のデフォーカス量で A Fを行った後に、 コ ントラスト検出方式の A Fをさらに実行することでピント合わせの精度を向 上させている。
[0051 ] 顔検出部 3 1 bは、 スルー画像または撮影画像のデータから特徴点を抽出 して被写体の顔領域、 顔の大きさ等を検出する。 例えば、 顔検出部 3 1 bは 、 特開 2 0 0 1 _ 1 6 5 7 3号公報などに記載された特徴点抽出処理によつ て顔領域を抽出する。 また、 上記の特徴点としては、 例えば、 眉、 目、 鼻、 唇の各端点、 顔の輪郭点、 頭頂点や顎の下端点などが挙げられる。
[0052] 顔認識部 3 1 cは、 顔検出部 3 1 bで検出した特徴点に基づいて顔認識デ 一夕を生成する。 例えば、 顔認識部 3 1 cは、 検出した顔の特徴点の位置、 特徴点から求まる顔パーツの大きさ、 各特徴点の相対距離などから認識対象 となる登録人物の顔認識データを生成する。
[0053] また、 顔認識部 3 1 cは、 撮影画面内の人物の顔が顔認識データの人物の 顔か否かを判定する顔認識処理を行う。 具体的には、 まず顔認識部 3 1 cは 検出された顔の特徴点に基づいて、 撮影人物の顔の特徴点の位置、 各顔パー ッの大きさ、 各特徴点の相対距離などを演算する。 次に顔認識部 3 1 cは、 上記の演算結果と顔認識データとを比較して、 顔認識データの人物の顔と撮 影人物の顔との相似度を求める。 そして、 顔認識部 3 1 cは上記の相似度が 閾値を上回る場合に撮影人物が顔認識データの人物に合致すると判定する。 [0054] 推論部 3 1 dは、 顔の器官を構成する特徴点を用いた演算処理により人種 、 年齢、 性別などを判別する。 人種の推定では、 たとえば、 下記の文献 1の 手法を適用できるが、 これに限らず、 顔画像内の輝度分布を検出する方法を 用いることができる。 また、 年齢や性別を推定するには、 たとえば、 下記の 文献 2に開示された方法を使用することができる。
[0055] <文献 1 >： グレゴリー シャナロビツチ （G r e g o r y S h a k h n a r o v i c h ) ， ポーノレ A ワイオラ (P a u l A. V i o l a) ， /く /くック モ/ヽダム (B a b a c k Mo g h a d d am) ； 「ァ ユニファイ ド ラーニング フレームワーク フォア リアルタイム フェイス ディテクショ ン ァン卜 クラシフィケーンヨン ( A U n i f i e d L e a r n i n g F r ame wo r k f o r R e a l T i me F a c e D e t e c t i o n a n d C l a s s i f i c a t i o n) 」 ； プロシーディングス ォブ ザ フィフス I E E E インターナショナル コンファレンス オン オートマティ ック フェイス アンド ジェスチャー レコヮニッシヨン （P r o c e e d i n g s o f t h e ι- ι f t h I t E E I n t e r n a t i o n a l C o n f e r e n c e o n A u t oma t i c F a c e a n d G e s t u r e a n d G e s t u r e R e c o g n i t i o n) ； (米国) ィンス ティチュート ォブ エレクトリカル アンド エレクトロニクス エンジニアズ ( I n s t i t u t e o f E l e c t r i c a l a n d t I e c t r o n i c s E n i n e e r s, 略称 I E E E) ; 2002年 5月
<文献 2> :細井聖， 瀧川えりな， 川出雅人； 「ガボールウェーブレット 変換とサポートベクタマシンによる性別■年代推定システム」 ；第 8回画像 センシングシンポジウム講演論文集；画像センシング技術研究会； 2002 年 7月
上記の推論処理に使用される特徴量は、 主として顔画像の検出領域から導 き出されるが、 これに限らず、 顔画像の周辺領域や、 画像全体または画像の —部の特徴量も含めてもよい。 特徴量としては、 顔画像の色彩や明度の平均 や分散、 強度分布、 周囲画像との色彩差や明度差などを検出することができ る。 また、 これらの特徴量を所定の演算式にあてはめて、 推論に必要な二次 的な特徴量を求めることもできる。
[0056] 第 2メモリ 3 2は C P U 3 1 と接続されている。 第 2メモリ 3 2には、 顔 認識部 3 1 cで生成された顔認識データが記録される。 この第 2メモリ 3 2 には登録した人物 （登録人物） ごとにグループフォルダを生成することがで き、 グループフォルダによって顔認識データを登録人物ごとにグループ化で きる。 例えば、 グループフォルダには、 同一の登録人物に関して、 顔の向き や撮影条件などが異なる複数の顔認識データを記録することができる。
[0057] また、 第 2メモリ 3 2の各々のグループフォルダには、 その登録人物の特 徵ゃ撮影時の設定を示す特性データを記録できる。
[0058] 上記の特性データとしては、 （1 ) 登録人物の名称、 （2 ) 登録人物の生 年月日、 （3 ) 登録人物の性別、 （4 ) 登録人物の人種、 （5 ) 登録人物の 出身地 言語、 （6 ) 眼鏡の着用の有無、 （7 ) 撮影画像への付帯表示の設 定、 （8 ) 文字の表示、 が含まれる。 また、 特性データとして、 登録人物の 電話番号、 住所、 メールアドレス、 ニックネームなどを記録できるようにし てもよい。
[0059] ここで、 上記 （7 ) の付帯表示の設定は、 撮影画像に付帯表示を合成する か否かを示している。 この付帯表示としては、 漫画のキャラクタや、 文字や 絵などのスタンプや、 撮影画像の周囲を飾るフレームなどのテンプレートゃ 、 撮影曰のニュースなどの文字情報などが含まれる。 また、 付帯表示の設定 には、 画像中で付帯表示を合成する位置の設定も含まれる。 なお、 付帯表示 のデータは第 2メモリ 3 2に記録されている。 なお、 C P U 3 1は、 第 2メ モリ 3 2の付帯表示のデータを、 例えば外部のサーバーから通信部 2 5を介 してダウンロードすることで追加、 更新できるようにしてもよい。
[0060] また、 上記 （8 ) の文字の表示は、 撮影画像に文字を合成する場合 （撮影 曰の表示や、 上記の付帯表示の文字情報など） の文字に関する設定項目であ る。 例えば、 撮影画像に合成する文字のフォントの種類、 文字のサイズ、 文 字の色や、 画像中で文字を合成する位置の設定が含まれる。 [0061] さらに、 第 2メモリ 32には、 撮影時の合図に使用されるかけ声の音声デ 一夕が記録されている。 この音声データは、 複数の言語に対応するかけ声の データがそれぞれ記録されている。 また、 1つの言語に対しても標準語と方 言とで複数パターンのかけ声のデータを有している。
[0062] 次に、 図 2の流れ図を参照しつつ、 第 1実施形態における電子カメラの撮 影動作の一例を説明する。 ここで、 以下の説明では、 人物の年齢および性別 の推論機能をオンに設定するとともに、 顔認識機能をオフに設定した場合を 説明する。
[0063] ステップ 1 01 ： CPU 31は、 撮像素子 1 5を駆動させてスルー画像の 取得を開始する。 撮像素子 1 5は所定間隔毎に間引き読み出しでスルー画像 の画像信号を取得する。 画像処理部 20はスルー画像のデータに基づいてビ ユー画像を逐次生成する。 そして、 撮影待機時のモニタ 23にはビュー画像 が動画表示される。 したがって、 ユーザーはモニタ 23のビュー画像によつ て、 撮影構図を決定するためのフレーミングを行うことができる。
[0064] ステップ 1 02 : CPU 31の顔検出部 31 bは、 スルー画像のデータに 顔検出処理を施して撮影画面内の顔領域を検出する。
[0065] ステップ 1 03 : CPU 31は、 S 1 02の顔検出処理で顔領域を検出し たか否かを判定する。 顔領域を検出した場合 （YES側） には S 1 04に移 行する。 一方、 顔領域を検出していない場合 （NO側） には S 1 07に移行 する。
[0066] ステップ 1 04 : CPU 31の推論部 31 dは、 S 1 02の顔領域に対し て主要被写体の年齢および性別を推定する推論処理を実行する。 一例として 、 CPU 31は、 被写体の性別、 年齢のそれぞれのカテゴリについて複数の クラスを設定して、 各クラス毎の尤度を求める。 そして、 C P U 31は最も 尤度の高いクラスに基づいて主要被写体の年齢および性別を推定する。
[0067] ここで、 S 1 02で複数の顔領域が検出されている場合、 C P U 31は顔 のサイズが最も大きくて至近側にあると考えられる顔領域または最も中央に 位置する顔領域のいずれかを主要被写体として推論処理を実行する。 [0068] ステップ 1 05 : C P U 31は、 S 1 04の推論処理で推定された年齢か ら主要被写体が子供であるか否かを判定する。 具体的には、 CPU 31は、 主要被写体の推定年齢が閾値以下 （例えば 6~1 0歳以下） の場合には主要 被写体が子供であると判定する。 主要被写体が子供の場合 （YES側） には S 1 08に移行する。 一方、 主要被写体が子供ではない場合 （NO側） には S 1 06に移行する。
[0069] ステップ 1 06 ： C P U 31は、 S 1 04の推論処理で推定された性別か ら主要被写体が女性であるか否かを判定する。 主要被写体が女性の場合 （Y ES側） には S 1 09に移行する。 一方、 主要被写体が男性の場合 （NO側 ) には S 1 07に移行する。
[0070] ステップ 1 07 ： この場合には、 C P U 31は通常の撮影モードで被写体 を撮影する。 通常の撮影モードでは、 レリーズ釦の半押しに応じて CPU 3 1は A Fを行うとともに、 AE (自動露出演算） を実行して撮影条件を設定 する。 その後、 レリーズ釦の全押しに応じて CPU 31は被写体を撮影し、 画像処理部 20が撮影画像のデータを生成する。 そして、 C P U 31は撮影 画像のデータを記録媒体 34に記録して S 1 1 0に移行する。 なお、 S 1 0 2で顔領域が検出されている場合には、 C P U 31の A F制御部 31 aは検 出した顔領域を焦点検出エリアとして A Fを実行するのが好ましい。
[0071] ステップ 1 08 ： この場合には、 CPU 31は子供の撮影に適した第 1撮 影モードに移行して被写体を撮影する。 この第 1撮影モードでは、 CPU 3 1は S 1 07の通常の撮影モードとほぼ同じ流れで撮影を行うが、 C P U 3 1が以下の （1 ) 力、ら （1 1 ) のいずれかの制御を実行する点で相違する。
[0072] ( 1 ) C P U 31は、 撮影条件の設定時において、 通常の撮影モードょり も露光時間を短くする補正を行う。 上記のように露光時間を短くすることで 、 子供の動きに起因する被写体ブレを抑制できる。
[0073] 例えば、 第 1撮影モードでは、 C P U 31は通常の撮影モードの場合より も撮像感度を高くするとともに、 絞り値を小さくして露光時間を短くする。 勿論、 C P U 31は撮像感度の補正と絞り値の補正とのいずれかの一方のみ を行って露光時間を短くしてもよい。
[0074] (2) C P U 31は、 撮影条件の設定時において、 通常の撮影モードょり も絞り値を大きくして被写界深度を深くする。 子供を撮影するシーンでは子 供が動いてピン卜が合わせづらくなることがあるが、 被写界深度を深くする ことで撮影失敗の可能性を低くできる。 なお、 上記の （1 ) と （2) との設 定は、 ユーザーが操作部 24の操作で相互に切り替えることができる。
[0075] (3) CPU 31は、 撮影レンズ 1 1を近接撮影に適した位置に移動させ る。 特に乳児を撮影するシーンでは、 カメラを人物に近づけて接写をする場 合が多いからである。
[0076] (4) CPU 31は、 露光開始直前に閃光発光部 29を発光させるととも に、 スピーカー 28から音声を出力する設定を行う。 撮影時に子供の注意を 電子カメラに向けて撮影失敗を防止するためである。
[0077] (5) CPU 31は、 撮影時に閃光発光部 29の発光を禁止するとともに 、 スピーカー 28の音声出力をオフにする設定を行う。 例えば、 就寝中の子 供を撮影する場合に、 撮影時のフラッシュや撮影音で子供を起こさないよう にするためである。 なお、 上記の （4) と （5) との設定は、 ユーザーが操 作部 24の操作で相互に切り替えることができる。
[0078] (6) C P U 31の A F制御部 31 aは、 外光 A F部 30のみで A Fを実 行する。 すなわち、 第 1撮影モードにおいて、 C P U 31は合焦までに時間 のかかるコントラスト検出方式での A Fを行わないようにできる。 これによ り、 A Fが迅速に行われるのでシャッターチャンスを逃すおそれが低下する
[0079] (7) CPU 31は、 主要被写体の顔領域の表情を推定する。 そして、 C PU 31は主要被写体の表情が所定の状態 （例えば、 目つぷリしていない状 態または笑顔の状態） である場合のみ撮影できるようにする。 これにより、 ユーザーは主要被写体の表情が所望の状態の撮影画像を得ることができ、 撮 影失敗の可能性が低減する。
[0080] ここで、 上記の顔の表情の検出は以下の手段によって行われる。 例えば、 特開 2004 _ 272933号公報のように、 普通の表情、 目をつぶった顔 、 口を開いた顔、 笑顔などのクラスに分類された学習用顔画像を予め用意し 、 CPU 31が正準判別分析による識別を行なった上で各クラスごとに設定 された評価値で顔の表情を判別してもよい。 あるいは、 開いた目、 閉じた目 、 開いた口、 閉じた口などの標準パターンを予め用意し、 CPU 31が各パ ターンと顔領域とのマッチングをとり、 パターンの組合せから表情を推定し てもよい。
[0081] (8) CPU 31は、 1回のレリーズ釦の全押しで複数フレームの連写撮 影を実行する。 これにより、 ユーザーは複数の撮影画像から最良の画像を選 択できるので撮影失敗の可能性が低下する。
[0082] (9) CPU 31は、 撮影時にマイク 27で録音を実行する。 例えば、 C PU 31は撮影画像の撮影に前後して録音を行い、 撮影画像のデータに録音 のデータを関連付けして記録する。 これにより、 撮影したシーンの状況を音 声によっても把握することが可能となる。
[0083] (1 0) CPU 31は、 画像処理部 20に対して撮影画像にソフトフォー カス処理を施す指示を行う。 これにより、 主要被写体の子供が強調されると ともに柔らかみのある好ましい撮影画像を得ることができる。
[0084] ここで、 画像処理部 20のソフトフォーカス処理は以下の手段で行われる 。 例えば、 画像処理部 20は、 所定のソフトフォーカス効果を示すフィルタ やローパスフィルタなどによるフィルタ処理を撮影画像に施してソフトフォ 一カス画像を生成する。 また、 画像処理部 20は、 撮影画像からマスク画像 を生成するとともに、 マスク画像に基づいてフィルタ処理後の画像と原画像 とを合成してソフトフォーカス画像を生成してもよい。
[0085] (1 1 ) C P U 31は、 画像処理部 20に対して付帯表示の合成処理を指 示する。 そして、 画像処理部 20は、 撮影画像に漫画などのキャラクタや撮 影日のニュースなどを合成する。 これにより、 エンタテイメント性の高い撮 影画像をユーザーに提供することができる。
[0086] ステップ 1 09 ： この場合には、 CPU 31は女性の撮影に適した第 2撮 影モードに移行して被写体を撮影する。 この第 2撮影モードでは、 CPU 3 1は S 1 07の通常の撮影モードとほぼ同じ流れで撮影を行うが、 C P U 3 1が以下の （1 ) から （4) のいずれかの制御を実行する点で相違する。
[0087] (1 ) C P U 31は、 画像処理部 20に対して撮影画像の露出をオーバー 側に補正する露出補正処理の指示を行う。 これにより、 主要被写体の女性の 肌が白く表現された好ましい撮影画像を得ることができる。
[0088] (2) CPU 31は、 画像処理部 20に対して撮影画像にソフトフォー力 ス処理を施す指示を行う。 これにより、 主要被写体の女性が強調されるとと もに柔らかみのある好ましい撮影画像を得ることができる。 また、 主要被写 体の女性のしわや肌荒れなどが目立ちにくい好ましい撮影画像を得ることが できる。 なお、 ソフトフォーカス処理の説明は、 上記の S 1 07と同様であ るので重複説明は省略する。
[0089] (3) CPU 31は、 画像処理部 20に対して撮影画像の彩度のパラメ一 タを補正する指示を行う。 例えば、 画像処理部 20は、 肌色の領域の彩度を 下げる補正を行って肌を白く表現する。 あるいは、 画像処理部 20は、 肌色 の領域の彩度を上げる補正を行って肌色のくすみなどを軽減するようにして もよい。
[0090] (4) C P U 31は、 画像処理部 20に対して撮影画像の人物を痩身にみ せる補正を実行する指示を行う。 これにより、 主要被写体の女性が痩せてみ える好ましい撮影画像を得ることができる。
[0091] ここで、 上記の撮影人物を痩身にみせる処理は以下の手段で行われる。 例 えば、 画像処理部 20は、 撮影画像の縦横比を若干縦長に変更した後、 画像 をトリミングして画像サイズを調整する。 あるいは、 画像処理部 20は、 特 開 2004— 264893号公報のように、 画像処理で顔の輪郭を補正して 頰を細くみせるようにしてもよい。
[0092] ステップ 1 1 0 ： C P U 31は、 D PO F (Digital Print Order Format ) 規格による印刷設定データの生成がオンに設定されているか否かを判定す る。 上記設定がオンとなっている場合 （YES側） には S 1 1 1に移行する 。 一方、 上記設定がオフとなっている場合 （NO側） には、 CPU 31は印 刷設定データを生成することなく撮影動作を終了する。
[0093] ステップ 1 1 1 ： C P U 31は、 S 1 04の推論処理で推定された年齢か ら主要被写体が高齢者であるか否かを判定する。 具体的には、 CPU 31は 、 主要被写体の推定年齢が閾値以上 （例えば 60歳以上） の場合には主要被 写体が高齢者であると判定する。 主要被写体が高齢者の場合 （YES側） に は S 1 1 2に移行する。 一方、 顔領域が検出されていない場合や主要被写体 が高齢者ではない場合 （NO側） には S 1 1 3に移行する。
[0094] ステップ 1 1 2 ： CPU 31は、 印刷のサイズを通常の場合よりも大きな サイズに変更して印刷設定データを生成する。 例えば、 標準の印刷のサイズ が L判である場合、 C P U 31は印刷のサイズを 2 L判にして印刷設定デー タを生成する。 これにより、 印刷設定データによって高齢者に見やすい撮影 画像をプリントァゥ卜することができる。
[0095] ステップ 1 1 3 ： CPU 31は、 通常の印刷のサイズで印刷設定データを 生成する。 例えば、 標準の印刷のサイズが L判である場合、 CPU 31は印 刷のサイズを L判にして印刷設定データを生成する。 以上で第 1実施形態の 電子カメラの撮影動作の説明を終了する。
[0096] (第 2実施形態の説明）
図 3は第 2実施形態における電子カメラの撮影動作の一例を説明する流れ 図である。 第 2実施形態では、 人物の年齢および性別の推論機能と顔認識機 能とをオンに設定して登録人物の認識を行う場合である。
[0097] ここで、 第 2実施形態の電子カメラの基本構成は第 1実施形態と共通であ るので重複説明は省略する。 また、 図 3の S 201、 S 202は第 1実施形 態の S 1 01、 S 1 02にそれぞれ対応するので重複説明を省略する。
[0098] ステップ 203 : CPU 31は、 S 202の顔検出処理で顔領域を検出し たか否かを判定する。 顔領域を検出した場合 （YES側） には S 204に移 行する。 一方、 顔領域を検出していない場合 （NO側） には S 208に移行 する。 [0099] ステップ 204 ： C P U 3 1の顔認識部 3 1 cは、 S 202の顔検出処理 で取得した特徴点のデータと、 第 2メモリ 32の顔認識データとに基づいて 、 上記の顔領域のうちから認識対象となる登録人物の顔を検出する顔認識処 理を実行する。
[0100] ここで、 S 204の顔認識処理では、 C P U 3 1は第 2メモリ 32の特性 データに基づいて顔認識処理の判定基準の閾値を登録人物ごとに補正する。 例えば、 特性データの性別が女性である登録人物については、 C P U 3 1は 判定基準の閾値を低く補正して顔領域の人物を登録人物として判断する可能 性を高くする。 女性の場合には、 化粧やヘアスタイルの変化などで顔認識の 正解率が低くなる可能性があるからである。 また、 特性データが眼鏡の着用 を示す登録人物については、 C P U 3 1は判定基準の閾値を低く補正して顔 領域の人物を登録人物として判断する可能性を高くする。 眼鏡を着用する人 物の場合には、 眼鏡の有無や眼鏡の変更などで顔認識の正解率が低くなる可 能性があるからである。
[0101] ステップ 205 ： C P U 3 1は、 S 204の顔認識処理で登録人物の顔を 検出したか否かを判定する。 登録人物の顔を検出した場合 （Y ES側） には S 206に移行する。 一方、 登録人物の顔を検出していない場合 （NO側） には S 208に移行する。
[0102] ステップ 206 ： C P U 3 1の推論部 3 1 dは、 S 204で登録人物と認 められた顔領域に対して被写体の性別、 人種、 年齢を推定する推論処理を実 行する。 一例として、 C P U 3 1は、 被写体の性別、 人種、 年齢のそれぞれ のカテゴリについて複数のクラスを設定して、 各クラス毎の尤度を求める。 そして、 C P U 3 1は最も尤度の高いクラスに基づいて被写体の性別、 人種 、 年齢を推定する。
[0103] ステップ 207 ： C P U 3 1は、 第 2メモリ 32の特性データと、 S 20 6で推定された性別、 人種、 年齢とが一致するか否かを判定する。 例えば、 C P U 3 1は、 被写体の性別、 人種、 年齢について、 S 206の推定結果と 特性データとの一致度を示す評価値を演算する。 そして、 この評価値が閾値 以上の場合には S 204の顔領域が登録人物に一致するものと判定する。 両 者が一致する場合 （YES側） には S 209に移行する。 一方、 両者が一致 しない場合 （NO側） には S 208に移行する。
[0104] ステップ 208 ： この場合には、 C P U 31は通常の撮影モードで被写体 を撮影する。 通常の撮影モードでは、 レリーズ釦の半押しに応じて CPU 3 1は A Fを行うとともに、 A Eを実行して撮影条件を設定する。 その後、 レ リ一ズ釦の全押しに応じて C P U 31は被写体を撮影し、 画像処理部 20が 撮影画像のデータを生成する。 そして、 C P U 31は撮影画像のデータを記 録媒体 34に記録する。 なお、 S 202で顔領域が検出されている場合には 、 C P U 31の A F制御部 31 aは検出した顔領域を焦点検出エリアとして A Fを実行するのが好ましい。
[0105] ステップ 209 ： この場合には、 C P U 31は登録人物の撮影モードに移 行して被写体を撮影する。 この登録人物の撮影モードでは、 C P U 31は S 208の通常の撮影モードとほぼ同じ流れで撮影を行うが、 C P U 31は S 204で検出した登録人物の特性データを第 2メモリ 32から読み出して、 その特性データに基づいて以下の （1 ) から （4) のいずれかの制御を実行 する点で相違する。
[0106] (1 ) CPU 31は撮影の合図を示すかけ声を撮影時にスピーカー 28か ら出力する。 ここで、 CPU 31は上記のかけ声を登録人物の特性データに 基づいて変化させる。 具体的には、 CPU 31は、 特性データの登録人物の 出身地 言語に基づいて第 2メモリ 32の音声データから再生する音声デー タを選択する。 例えば、 特性データにおける言語が英語を示す場合には、 C PU 31は英語のかけ声の音声データを再生する。 また、 1つの言語に複数 の方言が設定されている場合には、 CPU 31は特性データの登録人物の出 身地に基づいて出身地に対応する方言の音声データを再生するようにしても よい。 これにより、 主要被写体である登録人物に対して撮影の合図を分かり 易く伝達することができる。
[0107] (2) CPU 31は、 画像処理部 20に対して撮影日を表示する指示を行 う。 画像処理部 20は、 タイマ 31 eから取得した年月日を撮影画像の所定 の位置に合成する。 ここで、 CPU 31は、 登録人物の特性データに基づい て年月日の表示順を変化させる。 例えば、 特性データの登録人物の言語が曰 本語の場合には、 CPU 31は撮影曰を年月日の順に表記する。 また、 特性 データの登録人物の言語が英語の場合には、 CPU 31は撮影曰を日月年ま たは月日年の順に表記する。 これにより、 主要被写体である登録人物にとつ て曰時が分かり易く表示された撮影画像を提供できる。
[0108] (3) CPU 31は、 登録人物の生年月日に基づいて、 誕生日から起算し た日時を撮影画像に付加する。 例えば、 CPU 31は、 画像処理部 20に対 して、 年齢を示す文字 （例えば、 〇x歳、 生後 Xヶ月など） を撮影画像に合 成する画像処理を指示する。 あるいは、 CPU 31は撮影画像のデータに、 誕生日から起算した日時のデータを記録するようにしてもよい。 これにより 、 主要被写体である登録人物の成長が容易に把握でき、 アルバム編集などに 適した撮影画像を提供することができる。
[0109] (4) CPU 31は、 画像処理部 20に対して付帯表示の合成処理を指示 する。 そして、 画像処理部 20は、 特性データで登録人物ごとに指定されて いるキャラクタなどを撮影画像に合成する。 なお、 画像処理部 20は、 特性 データに基づいて、 付帯表示の合成位置を登録人物ごとに変更することもで きる。 これにより、 エンタテイメント性の高い撮影画像をユーザーに提供す ることができる。
[0110] なお、 S 209で撮影画像に撮影日などの文字を合成する場合、 画像処理 部 20は特性データの文字の表示の項目に基づいて、 登録人物ごとに文字の フォント、 色、 サイズ、 合成位置を変更する。 以上で、 第 2実施形態の電子 カメラの撮影動作の説明を終了する。
[0111] 上記第 2実施形態の電子力メラでは、 顔領域から検出された特徴量に基づ いて顔認識処理を実行するとともに、 顔領域から推定される人種、 年齢、 性 別と特性データとを照合して顔認識結果の妥当性をチェックする。 そのため 、 顔認識処理の精度を一層向上させることができる。 [01 12] また、 上記第 2実施形態では、 特性データの性別や眼鏡の有無などの情報 に基づいて、 顔認識処理の判定基準の閾値を登録人物ごとに補正する。 その ため、 顔認識処理において登録人物が検出されない可能性を低下させること ができる。
[01 13] (実施形態の補足事項）
( 1 ) 第 2実施形態では、 被写体の人種、 年齢、 性別などを推定する処理 を顔認識処理とともに実行する例を説明したが、 本発明では被写体の人種な どを推定する処理を省略するようにしてもよい。
[01 14] ( 2 ) 第 2実施形態における登録人物の撮影モードでの処理はあくまで一 例にすぎない。 例えば、 登録人物毎の特性データとして撮影時の撮影条件、 画像処理の設定、 電子メールによる自動の画像送信の設定などを第 2メモリ 3 2に記録してもよい。 そして、 C P U 3 1は、 顔認識時には特性データに 基づいて撮影条件や画像処理を自動的に設定してもよく、 また、 撮影後に所 定のァドレスに撮影画像のデータを自動送信するようにしてもよい。

Claims

請求の範囲
[1 ] 被写体像を撮影する撮像素子と、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、 前記顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記特徴量に基づいて被写体の年齢、 性別のいずれかに関する推論処理を 実行する推論部と、
前記推論部の推論結果に基づいて、 前記撮像素子で撮影された記録用画像 に対して、 露出補正、 ソフトフォーカス補正、 肌色の彩度を調整する美肌補 正、 人物を痩身にみせる補正のすくなくとも 1つを実行する画像処理部と、 を備えることを特徴とする電子カメラ。
[2] 被写体像を撮影する撮像素子と、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、 前記顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記特徴量に基づいて被写体の年齢に関する推論処理を実行する推論部と 前記推論部の推論結果に基づいて、 前記撮像素子で記録用画像を撮影する ときの撮影設定を変更する制御部と、
を備えることを特徴とする電子カメラ。
[3] 請求項 2に記載の電子力メラにおいて、
前記制御部は、 前記推論部の推論した被写体の年齢が閾値以下の場合は、 露光時間を短くする補正を行うことを特徴とする電子カメラ。
[4] 請求項 2に記載の電子力メラにおいて、
被写界からの入射光量を制御する絞リ部をさらに備え、
前記制御部は、 前記推論部の推論した被写体の年齢が閾値以下の場合は、 前記絞り部を制御して被写界深度を深くする補正を行うことを特徴とする電 子カメラ。
[5] 請求項 2に記載の電子力メラにおいて、
撮影レンズと、 前記撮影レンズの光軸方向位置を調整するレンズ駆動部とをさらに備え、 前記制御部は、 前記推論部の推論した被写体の年齢が閾値以下の場合は、 前記撮影レンズを近接撮影に適した位置に移動させることを特徴とする電子 カメラ。
[6] 請求項 2に記載の電子力メラにおいて、
撮影時に被写体を照射する閃光発光部と、
外部に音を出力するスピーカーとをさらに備え、
前記制御部は、 前記推論部の推論した被写体の年齢が閾値以下の場合は、 撮影時に前記閃光発光部を発光させるとともに前記スピーカーから音声を出 力することを特徴とする電子カメラ。
[7] 請求項 2に記載の電子力メラにおいて、
撮影時に被写体を照射する閃光発光部と、
外部に音を出力するスピーカーとをさらに備え、
前記制御部は、 前記推論部の推論した被写体の年齢が閾値以下の場合は、 撮影時に前記閃光発光部の発光を禁止するとともに前記スピーカーの出力を オフにすることを特徴とする電子カメラ。
[8] 請求項 2に記載の電子力メラにおいて、
前記撮像素子の出力に基づいて被写体の顔の表情を推定する表情推定部を さらに備え、
前記制御部は、 前記推論部の推論した被写体の年齢が閾値以下の場合は、 前記表情が所定の状態であるときに被写体の撮影を許可することを特徴とす る電子カメラ。
[9] 請求項 2に記載の電子力メラにおいて、
前記撮像素子の出力に基づいて前記被写体像の焦点評価値を算出し、 該焦 点評価値が極大値となるレンズ位置を探索して合焦動作を行う第 1焦点検出 部と、
前記第 1焦点検出部と異なる方式で合焦動作を行う第 2焦点検出部とをさ らに備え、 前記制御部は、 前記推論部の推論した被写体の年齢が閾値以下の場合は、 前記第 2焦点検出部による合焦動作を行うことを特徴とする電子カメラ。
[10] 請求項 2に記載の電子カメラにおいて、
前記制御部は、 前記推論部の推論した被写体の年齢が閾値以下の場合は、 前記記録用画像の連写撮影を実行する撮影モードに移行すること特徴とする 電子カメラ。
[1 1 ] 請求項 2に記載の電子力メラにおいて、
外部の音声を録音するマイクをさらに備え、
前記制御部は、 前記推論部の推論した被写体の年齢が閾値以下の場合は、 前記記録用画像の撮影とともに録音を行う撮影モードに移行すること特徴と する電子カメラ。
[1 2] 被写体像を撮影する撮像素子と、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、 前記顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記特徴量に基づいて被写体の年齢、 性別のいずれかに関する推論処理を 実行する推論部と、
キャラクタの画像または文字情報からなる付帯表示のデータを記録するメ 前記推論部の推論結果に基づいて、 前記撮像素子で撮影された記録用画像 に対して、 前記付帯表示を合成する画像処理を実行する画像処理部と、 を備えることを特徴とする電子カメラ。
[13] 被写体像を撮影する撮像素子と、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、 前記顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記特徴量に基づいて被写体の年齢に関する推論処理を実行する推論部と 前記推論部の推論結果に基づいて、 前記撮像素子で撮影された記録用画像 の印刷を行うための印刷データを生成する制御部と、 を備えることを特徴とする電子カメラ。
[14] 被写体像を撮影する撮像素子と、
認識対象となる顔の特徴量を示す登録データと、 前記認識対象の人物の性 另 |J、 人種、 年齢のいずれかに関する特性データとの対応関係を記録したメモ リと、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、 該顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記特徴量に基づいて被写体の年齢、 性別のいずれかに関する推論処理を 実行する推論部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて 、 前記顔領域が前記認識対象であるか否かを判定する第 1顔認識部と、 前記推論部の推論結果と前記特性データとに基づいて、 前記顔領域が前記 認識対象であるか否かを判定する第 2顔認識部と、
を備えることを特徴とする電子カメラ。
[15] 被写体像を撮影する撮像素子と、
認識対象となる顔の特徴量を示す登録データと、 前記認識対象の人物の出 身地または使用言語に関する特性データとの対応関係を記録したメモリと、 前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、 該顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて 、 前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
外部に音を出力するスピーカーと、
前記顔認識部の認識結果に基づいて、 前記特性データに応じて決定された かけ声を撮影時に前記スピーカーから出力させる制御部と、
を備えることを特徴とする電子カメラ。
[ 16] 被写体像を撮影する撮像素子と、
認識対象となる顔の特徴量を示す登録データと、 前記認識対象の人物の出 身地または使用言語に関する特性データとの対応関係を記録したメモリと、 前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、 該顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて 、 前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
撮影日時を取得するタイマと、
前記顔認識部の認識結果に基づいて、 前記撮像素子で撮影された記録用画 像に対して、 撮影日の表示を合成する画像処理を実行する画像処理部と、 前記特性データに基づいて、 前記撮影日の表示順を変更する制御部と、 を備えることを特徴とする電子カメラ。
[17] 被写体像を撮影する撮像素子と、
認識対象となる顔の特徴量を示す登録データと、 前記認識対象の人物の性 別に関する特性データとの対応関係を記録したメモリと、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、 該顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて 、 前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記特性データの性別が女性を示す場合には、 前記判定において前記顔領 域が前記認識対象であるとする基準を緩和する補正を行う制御部と、 を備えることを特徴とする電子カメラ。
[18] 被写体像を撮影する撮像素子と、
認識対象となる顔の特徴量を示す登録データと、 前記認識対象の人物の性 別に関する特性データとの対応関係を記録したメモリと、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、 該顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて 、 前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記特性データが眼鏡を着用する人物を示す場合には、 前記判定において 前記顔領域が前記認識対象であるとする基準を緩和する補正を行う制御部と を備えることを特徴とする電子カメラ。
[1 9] 被写体像を撮影する撮像素子と、
認識対象となる顔の特徴量を示す登録データと、 前記認識対象の人物の誕 生日に関する特性データとの対応関係を記録したメモリと、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、 該顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて 、 前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
撮影日時を取得するタイマと、
前記顔認識部の認識結果に基づいて、 前記認識対象を撮影した記録用画像 のデータに対して、 誕生日から起算した日時に関するデータを付加する制御 部と、
を備えることを特徴とする電子カメラ。
[20] 被写体像を撮影する撮像素子と、
キャラクタの画像または文字情報からなる付帯表示のデータを記録すると ともに、 認識対象となる顔の特徴量を示す登録データと、 前記認識対象に対 応する前記付帯表示を示す特性データとの対応関係を記録したメモリと、 前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、 前記顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて 、 前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記顔認識部の認識結果に基づいて、 前記撮像素子で撮影された記録用画 像に対して、 前記特性データの示す前記付帯表示を合成する画像処理を実行 する画像処理部と、
を備えることを特徴とする電子カメラ。
[21 ] 請求項 2 0に記載の電子カメラにおいて、
前記特性データは、 前記付帯表示の種類を指定する第 1データおよび前記 付帯表示の合成位置を指定する第 2データの少なくとも一方を含み、 前記画像処理部は、 前記特性データに基づいて前記付帯表示の種類および 前記付帯表示の合成位置の少なくとも一方を前記認識対象に応じて変更する ことを特徴とする電子カメラ。
被写体像を撮影する撮像素子と、
認識対象となる顔の特徴量を示す登録データと、 前記認識対象の人物を撮 影したときに画像に合成される文字情報の表示の設定および前記文字情報の 合成位置の少なくとも一方に関する特性データとの対応関係を記録したメモ リと、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、 該顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて 、 前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記顔認識部の認識結果に基づいて、 前記撮像素子で撮影された記録用画 像に対して、 前記文字情報を合成する画像処理を実行する画像処理部と、 前記特性データに基づいて、 前記文字情報の表示および合成位置の少なく とも一方を前記認識対象に応じて変更する制御部と、
を備えることを特徴とする電子カメラ。
PCT/JP2007/000363 2006-04-11 2007-04-03 電子カメラ WO2007129438A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/225,257 US8212894B2 (en) 2006-04-11 2007-04-03 Electronic camera having a face detecting function of a subject

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006109006A JP5239126B2 (ja) 2006-04-11 2006-04-11 電子カメラ
JP2006-109006 2006-04-11

Publications (1)

Publication Number Publication Date
WO2007129438A1 true WO2007129438A1 (ja) 2007-11-15

Family

ID=38667551

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/000363 WO2007129438A1 (ja) 2006-04-11 2007-04-03 電子カメラ

Country Status (3)

Country Link
US (1) US8212894B2 (ja)
JP (1) JP5239126B2 (ja)
WO (1) WO2007129438A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223523A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム
US20110032378A1 (en) * 2008-04-09 2011-02-10 Canon Kabushiki Kaisha Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
JP2013005002A (ja) * 2011-06-13 2013-01-07 Eastman Kodak Co 撮像装置
US8654209B2 (en) * 2008-07-09 2014-02-18 Samsung Electronics Co., Ltd. Photography control method and apparatus for prohibiting use of flash
WO2019061275A1 (zh) * 2017-09-29 2019-04-04 深圳传音通讯有限公司 基于肤色处理的拍摄方法和拍摄装置

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4459788B2 (ja) * 2004-11-16 2010-04-28 パナソニック株式会社 顔特徴照合装置、顔特徴照合方法、及びプログラム
US8369642B2 (en) * 2006-11-21 2013-02-05 Stmicroelectronics (Research & Development) Ltd Artifact removal from phase encoded images
JP4946913B2 (ja) * 2008-02-26 2012-06-06 株式会社ニコン 撮像装置および画像処理プログラム
JP5116514B2 (ja) * 2008-03-11 2013-01-09 キヤノン株式会社 撮像装置および表示制御方法
JP2009223527A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム
JP2009223524A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム
EP2110702B1 (en) * 2008-04-16 2012-03-14 STMicroelectronics (Research & Development) Limited Compact optical zoom with extended depth of field through wavefront coding using a phase mask
WO2010007865A1 (ja) * 2008-07-17 2010-01-21 日本電気株式会社 撮像装置、撮像方法及びプログラム
JP2010050948A (ja) * 2008-07-23 2010-03-04 Victor Co Of Japan Ltd 撮像装置
JP5195120B2 (ja) * 2008-07-25 2013-05-08 株式会社ニコン デジタルカメラ
JP2010056726A (ja) * 2008-08-27 2010-03-11 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP5051084B2 (ja) * 2008-09-29 2012-10-17 カシオ計算機株式会社 撮像装置、撮影方法及びプログラム
KR101189765B1 (ko) * 2008-12-23 2012-10-15 한국전자통신연구원 음성 및 영상에 기반한 성별-연령 판별방법 및 그 장치
JP5244580B2 (ja) 2008-12-25 2013-07-24 京セラドキュメントソリューションズ株式会社 電子機器
JP5402018B2 (ja) * 2009-01-23 2014-01-29 株式会社ニコン 表示装置及び撮像装置
JP5272797B2 (ja) * 2009-02-24 2013-08-28 株式会社ニコン デジタルカメラ
US20100259647A1 (en) * 2009-04-09 2010-10-14 Robert Gregory Gann Photographic effect for digital photographs
JP2011124819A (ja) * 2009-12-11 2011-06-23 Sanyo Electric Co Ltd 電子カメラ
JP2011130043A (ja) * 2009-12-16 2011-06-30 Sanyo Electric Co Ltd 電子カメラ
JP5110098B2 (ja) 2010-02-08 2012-12-26 カシオ計算機株式会社 表示処理装置、及び、プログラム
KR20120019703A (ko) * 2010-08-26 2012-03-07 삼성전자주식회사 디지털 촬영 장치의 제어 방법 및 디지털 촬영 장치
JP5564384B2 (ja) 2010-09-28 2014-07-30 任天堂株式会社 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法
JP5150698B2 (ja) 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
JP2012090150A (ja) * 2010-10-21 2012-05-10 Kyocera Corp 携帯通信端末、アップロード制御プログラムおよびアップロード制御方法
JP5218876B2 (ja) 2011-02-28 2013-06-26 ブラザー工業株式会社 印刷指示装置及び印刷指示システム
JP5772069B2 (ja) * 2011-03-04 2015-09-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2012124252A1 (ja) * 2011-03-14 2012-09-20 株式会社ニコン 電子機器、電子機器の制御方法およびプログラム
US20130057553A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Font Management
JP5979869B2 (ja) * 2011-12-22 2016-08-31 キヤノン株式会社 撮像装置、撮像方法及びプログラム
JP6040640B2 (ja) * 2012-08-29 2016-12-07 株式会社バッファロー 画像処理装置及びプログラム
CN103413270A (zh) * 2013-08-15 2013-11-27 北京小米科技有限责任公司 一种图像的处理方法、装置和终端设备
US9779527B2 (en) 2013-08-15 2017-10-03 Xiaomi Inc. Method, terminal device and storage medium for processing image
CN103533244A (zh) * 2013-10-21 2014-01-22 深圳市中兴移动通信有限公司 拍摄装置及其自动视效处理拍摄方法
JP2015104078A (ja) * 2013-11-27 2015-06-04 オリンパス株式会社 撮像装置、撮像システム、サーバ、撮像方法、及び撮像プログラム
CN103605975B (zh) * 2013-11-28 2018-10-19 小米科技有限责任公司 一种图像处理的方法、装置及终端设备
JP6351243B2 (ja) * 2013-11-28 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9639742B2 (en) * 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9460493B2 (en) 2014-06-14 2016-10-04 Microsoft Technology Licensing, Llc Automatic video quality enhancement with temporal smoothing and user override
US9373179B2 (en) 2014-06-23 2016-06-21 Microsoft Technology Licensing, Llc Saliency-preserving distinctive low-footprint photograph aging effect
JP2016092513A (ja) * 2014-10-31 2016-05-23 カシオ計算機株式会社 画像取得装置、ブレ軽減方法及びプログラム
CN104537630A (zh) * 2015-01-22 2015-04-22 厦门美图之家科技有限公司 一种基于年龄估计的图像美颜方法和装置
ES2590212B1 (es) * 2015-04-16 2017-08-29 Innovació Turística Balear, S.L (Innturba, S.L) Máquina expendedora de productos cosméticos y/o de protección solar
CN104966267B (zh) * 2015-07-02 2018-01-19 广东欧珀移动通信有限公司 一种美颜用户图像的方法及装置
CN105069007B (zh) * 2015-07-02 2018-01-19 广东欧珀移动通信有限公司 一种建立美颜数据库的方法及装置
JP6179569B2 (ja) 2015-08-20 2017-08-16 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US10671837B2 (en) 2015-09-08 2020-06-02 Nec Corporation Face recognition system, face recognition method, display control apparatus, display control method, and display control program
US9992407B2 (en) * 2015-10-01 2018-06-05 International Business Machines Corporation Image context based camera configuration
CN105357425B (zh) * 2015-11-20 2019-03-15 小米科技有限责任公司 图像拍摄方法及装置
KR102541829B1 (ko) 2016-01-27 2023-06-09 삼성전자주식회사 전자 장치 및 그 제어 방법
TW201737159A (zh) * 2016-04-01 2017-10-16 鴻海精密工業股份有限公司 基於臉部特徵之年齡識別方法
CN106131393A (zh) * 2016-06-15 2016-11-16 北京小米移动软件有限公司 拍照提示方法及装置
CN106200979A (zh) * 2016-07-20 2016-12-07 广东欧珀移动通信有限公司 控制方法及控制装置
JP6241533B2 (ja) * 2016-11-07 2017-12-06 株式会社バッファロー 画像処理装置及びプログラム
CN107172354B (zh) * 2017-06-21 2020-04-03 深圳市万普拉斯科技有限公司 视频处理方法、装置、电子设备及存储介质
CN107948506A (zh) * 2017-11-22 2018-04-20 珠海格力电器股份有限公司 一种图像处理方法、装置及电子设备
CN109002755B (zh) * 2018-06-04 2020-09-01 西北大学 基于人脸图像的年龄估计模型构建方法及估计方法
CN110796617B (zh) 2019-10-24 2022-09-02 北京小米智能科技有限公司 面部图像的增强方法及装置、电子设备
EP4113988A4 (en) * 2020-02-28 2023-06-21 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM AND IMAGE PROCESSING SYSTEM

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016573A (ja) * 1999-06-30 2001-01-19 Omron Corp 歩行者観測装置、およびその装置を用いた歩行者認識システム、扉開閉制御システムならびに建造物
JP2004222118A (ja) * 2003-01-17 2004-08-05 Omron Corp 撮影装置
JP2005049854A (ja) * 2003-07-15 2005-02-24 Omron Corp 対象決定装置及び撮像装置
JP2006012062A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像処理装置及びその方法、プログラム、撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259534A (ja) 1993-03-03 1994-09-16 Toshiba Corp 人物認証装置
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
JP2003296713A (ja) * 2002-04-04 2003-10-17 Mitsubishi Electric Corp 顔画像合成装置、顔画像合成方法およびその方法を実行するプログラムならびに顔画像合成装置を備えた通信用端末およびその通信用端末による通信方法
JP2003348603A (ja) * 2002-05-27 2003-12-05 Nikon Corp 電子カメラ
JP3855939B2 (ja) 2003-01-31 2006-12-13 ソニー株式会社 画像処理装置、画像処理方法及び撮影装置
JP4277534B2 (ja) * 2003-02-12 2009-06-10 オムロン株式会社 画像編集装置および画像編集方法
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
JP2005004664A (ja) * 2003-06-13 2005-01-06 Canon Inc データ処理装置
US7471846B2 (en) * 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
JP2005184246A (ja) * 2003-12-17 2005-07-07 Fuji Photo Film Co Ltd 撮像装置
JP4021873B2 (ja) 2004-06-03 2007-12-12 株式会社東芝 顔画像監視システム
JP2006023953A (ja) * 2004-07-07 2006-01-26 Fuji Photo Film Co Ltd 情報表示システム
US7522773B2 (en) * 2005-04-28 2009-04-21 Eastman Kodak Company Using time in recognizing persons in images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016573A (ja) * 1999-06-30 2001-01-19 Omron Corp 歩行者観測装置、およびその装置を用いた歩行者認識システム、扉開閉制御システムならびに建造物
JP2004222118A (ja) * 2003-01-17 2004-08-05 Omron Corp 撮影装置
JP2005049854A (ja) * 2003-07-15 2005-02-24 Omron Corp 対象決定装置及び撮像装置
JP2006012062A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像処理装置及びその方法、プログラム、撮像装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223523A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム
US20110032378A1 (en) * 2008-04-09 2011-02-10 Canon Kabushiki Kaisha Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
US8780221B2 (en) * 2008-04-09 2014-07-15 Canon Kabushiki Kaisha Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
US9147107B2 (en) 2008-04-09 2015-09-29 Canon Kabushiki Kaisha Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
US9258482B2 (en) 2008-04-09 2016-02-09 Canon Kabushiki Kaisha Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
US8654209B2 (en) * 2008-07-09 2014-02-18 Samsung Electronics Co., Ltd. Photography control method and apparatus for prohibiting use of flash
JP2013005002A (ja) * 2011-06-13 2013-01-07 Eastman Kodak Co 撮像装置
WO2019061275A1 (zh) * 2017-09-29 2019-04-04 深圳传音通讯有限公司 基于肤色处理的拍摄方法和拍摄装置

Also Published As

Publication number Publication date
US20090273667A1 (en) 2009-11-05
JP5239126B2 (ja) 2013-07-17
JP2007280291A (ja) 2007-10-25
US8212894B2 (en) 2012-07-03

Similar Documents

Publication Publication Date Title
JP5239126B2 (ja) 電子カメラ
US9485415B2 (en) Electronic camera and image processing apparatus
JP4254873B2 (ja) 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
KR101795601B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체
JP2007282119A (ja) 電子カメラおよび画像処理装置
US20090135269A1 (en) Electronic Camera and Image Processing Device
US8350918B2 (en) Image capturing apparatus and control method therefor
US8421901B2 (en) Display apparatus and imaging apparatus
US20110234838A1 (en) Image processor, electronic camera, and image processing program
JP2007281760A (ja) 電子カメラ
JP2005086516A (ja) 撮像装置、印刷装置、画像処理装置およびプログラム
US8085997B2 (en) Imaging apparatus and imaging method
JP2007282118A (ja) 電子カメラおよび画像処理装置
JP2007299297A (ja) 画像合成装置およびその制御方法
JP2010273280A (ja) 撮像装置
JP4983643B2 (ja) 撮像装置及び補正プログラム
JP2007281647A (ja) 電子カメラおよび画像処理装置
JP2019169985A (ja) 画像処理装置
JP2010226416A (ja) デジタルカメラ
JP5408288B2 (ja) 電子カメラ
JP2008219451A (ja) 撮像装置およびその制御方法
JP2010056883A (ja) 光学装置及び撮影装置
JP2010104061A (ja) 電子カメラおよび画像処理装置
JP2014096836A (ja) デジタルカメラ
US20100123793A1 (en) Imager for determining a main subject

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07737020

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12225257

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07737020

Country of ref document: EP

Kind code of ref document: A1