WO2021255970A1 - 撮像制御装置、撮像制御方法、プログラム - Google Patents

撮像制御装置、撮像制御方法、プログラム Download PDF

Info

Publication number
WO2021255970A1
WO2021255970A1 PCT/JP2021/000850 JP2021000850W WO2021255970A1 WO 2021255970 A1 WO2021255970 A1 WO 2021255970A1 JP 2021000850 W JP2021000850 W JP 2021000850W WO 2021255970 A1 WO2021255970 A1 WO 2021255970A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
region
area
interest
value
Prior art date
Application number
PCT/JP2021/000850
Other languages
English (en)
French (fr)
Inventor
祐介 三村
賢一郎 足立
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/923,067 priority Critical patent/US20230179869A1/en
Priority to JP2022532259A priority patent/JPWO2021255970A1/ja
Priority to CN202180041510.1A priority patent/CN115702383A/zh
Priority to EP21826559.3A priority patent/EP4174571A4/en
Publication of WO2021255970A1 publication Critical patent/WO2021255970A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls

Definitions

  • This technology is related to the imaging device and the setting for imaging.
  • the exposure control in the image pickup apparatus there is a face AE (Auto Exposure) technique that controls the exposure so that the face region of the subject has an appropriate brightness.
  • face AE Auto Exposure
  • the face AE is controlled on the premise that the face is detected, if the face is not detected due to the subject turning sideways or the like, proper exposure control may not be possible. was there.
  • this disclosure proposes a technique for improving the function of the exposure control of the image pickup device.
  • the imaging control device includes an exposure control unit that controls exposure based on information on the region of interest detected from the captured image by the region of interest detection unit, and the exposure control unit detects the region of interest from the captured image. If this is the case, exposure control is performed using the exposure target value of the attention area calculated based on the measurement value of the attention area obtained from the first light measurement area including at least the attention area of the input frame as the exposure control value, and the captured image is captured. If the area of interest is not detected from, exposure control is performed using the set area exposure target value calculated based on the set area metering value obtained from the preset second metering area in the input frame as the exposure control value.
  • the exposure compensation value is obtained based on the attention area exposure target value before the time when the attention area is lost.
  • the exposure is controlled by the exposure control value obtained by correcting the exposure target value in the set area with the exposure compensation value.
  • the region of interest referred to here means an region in the captured image in which an object defined as an object to be noted in advance exists. Examples of objects of interest in the area of interest are independent objects such as people, animals, plants, cars, trains, planes, furniture, and specific parts of the independent object, such as faces, hands, and numbers in cars. It also includes plates and the like.
  • Exposure control is performed by the exposure control value obtained by correcting the set area exposure target value by the exposure compensation value obtained based on the attention area exposure target value before the hour. Since the exposure control value obtained by correcting the set area exposure target value by the exposure compensation value based on the attention area exposure target value before the lost time is used as the exposure control value for the predetermined period after the loss, the entire composition is used within the predetermined period.
  • the brightness of the subject existing in the region of interest can be appropriately maintained even after the loss, and the brightness of the entire composition changes within the predetermined period.
  • the exposure compensation value indicates the relationship between the set area exposure target value before the attention area lost and the attention area exposure target value before the attention area lost. It can be configured as a value.
  • the set area exposure target value is corrected by the exposure target value so as to reproduce the relationship between the set area exposure target value and the attention area exposure target value before the attention area lost for a predetermined period after the attention area is lost. It becomes possible.
  • the exposure control unit has a specific numerical value possessed by the set area exposure target value and the set area exposure target value corrected by the exposure compensation value in the predetermined period.
  • the exposure obtained so as to have a target relationship equivalent to the specific numerical relationship between the set area exposure target value before the attention area lost and the attention area exposure target value before the attention area lost. It is possible to configure the exposure control according to the correction value.
  • the "specific numerical relationship” here means a specific numerical relationship among the numerical relationships of the two numerical values, and the “numerical relationship” is the difference between the two numerical values and the difference between the two numerical values. It means a numerical relationship such as a ratio.
  • a specific numerical relationship such as a difference or a ratio between the set area exposure target value and the set area exposure target value after correction by the exposure compensation value is established before the lost time. Exposure control is performed so that the specific numerical relationship between the set area exposure target value and the attention area exposure target value is equivalent (to reproduce the relationship).
  • the exposure compensation value is a difference value between the set area exposure target value before the attention area lost and the attention area exposure target value before the attention area lost. It is possible to have a certain configuration. As a result, in the predetermined period after the attention area is lost, the difference between the set area exposure target value and the set area exposure target value after correction by the exposure compensation value is the set area exposure target value and the attention area exposure target before the lost time. Exposure control is performed so that it is equal to the difference from the value.
  • the exposure control unit is used to calculate the exposure compensation value when the attention area is detected inside and outside the specific area in the captured image by the attention area detection unit.
  • the attention area exposure target value can be calculated based on at least one of the detected size, number, and position of the attention area. If the area size is small, the number of areas of interest detected outside the specific area is small, or the area of interest detected within the specific area is far away, the exposure target for the area of interest is If the value is taken into consideration when calculating the exposure compensation value, there is a risk that the brightness of the subject in the region of interest detected in the specific region cannot be adjusted to an appropriate brightness.
  • the exposure control unit when the size of the region of interest detected outside the specific region is larger than the reference size, the exposure control unit exposes the region of interest calculated for the region of interest.
  • the target value is used to calculate the exposure compensation value and the size of the region of interest detected outside the specific region is not larger than the reference size
  • the exposure target value of the region of interest calculated for the region of interest is used as the exposure. It is possible to use a configuration that is not used for calculating the correction value. As a result, if the size of the attention area detected outside the specific area is large and the attention area cannot be ignored in the correction of the set area exposure target value after the attention area is lost, the exposure target value of the attention area is exposed.
  • the exposure target value of the area of interest is used to calculate the exposure compensation value. It is possible not to use it.
  • the reference size can be configured to be the size of the region of interest detected in the specific region.
  • the exposure control unit refers to the attention region detected outside the specific region.
  • the calculated attention area exposure target value is used for calculating the exposure compensation value and the number of attention areas detected outside the specific area is not larger than the threshold value, the attention detected outside the specific area It is possible to configure the configuration so that the exposure target value of the region of interest calculated for the region is not used for the calculation of the exposure compensation value. As a result, if the number of attention areas detected outside the specific area is large and the attention area outside the specific area cannot be ignored in the correction of the set area exposure target value after the attention area is lost, the exposure target of the attention area is present.
  • the exposure target value of the area of interest is used. It is possible not to use it for calculating the exposure compensation value.
  • the exposure control unit has an attention region detected in the specific region and an attention region within a certain distance as the attention region detected outside the specific region.
  • the attention area exposure target value calculated for the attention area is used for calculating the exposure compensation value, and if there is no attention area within a certain distance from the detected attention area in the specific area, the specific area is specified. It is possible to configure the configuration in which the attention area exposure target value calculated for the attention area detected outside the area is not used for the calculation of the exposure compensation value.
  • the exposure target value of the attention area is used for calculating the exposure compensation value, and conversely, the exposure compensation value is used with the attention area in the specific area.
  • the exposure target value of the region of interest is used for calculating the exposure compensation value.
  • the exposure control unit can be configured to change the predetermined period based on the size of the attention region detected by the attention region detection unit. For example, when the size of the region of interest is small, the region other than the region of interest becomes dominant as a composition, and if a predetermined period, that is, the exposure control period using the exposure compensation value is long, the region other than the region of interest is exposed. There is a risk that the inappropriate period will be long. In other words, there is a risk that the unnatural exposure of the composition as a whole will continue for a long time. If the predetermined period is changed according to the size of the region of interest as described above, it is possible to shorten the predetermined period when the size of the region of interest is small, and the unnatural exposure state of the entire composition is long. It is possible to prevent it from continuing.
  • the exposure control unit can be configured to change the predetermined period based on the number of areas of interest detected by the area of interest detection unit. For example, when the number of areas of interest is small, the area other than the area of interest becomes dominant as a composition, and if a predetermined period, that is, the exposure control period using the exposure compensation value is long, the area other than the area of interest is exposed. There is a risk that the inappropriate period will be long, in other words, the unnatural exposure of the composition as a whole will continue for a long time. If the predetermined period is changed according to the number of areas of interest as described above, it is possible to shorten the predetermined period when the number of areas of interest is small, and the unnatural exposure state of the entire composition is long. It is possible to prevent it from continuing.
  • the exposure control unit can be configured to change the predetermined period based on the number of lost times of the region of interest within a certain period of time. For example, the fact that the number of lost times in a certain period of time in the attention area is large means that when the attention area is a human face area, the face is frequently turned backward or turned around, and the face is lost. It can be said that the region of interest is likely to be rediscovered soon afterwards. According to the above configuration, it is possible to shorten a predetermined period, that is, an exposure control period using an exposure compensation value, in response to such a high loss frequency.
  • the exposure control unit can be configured to change the predetermined period based on the user operation. This makes it possible to set the duration of exposure control using the exposure compensation value after the lost area of interest according to the user's preference.
  • the imaging control method is that when the imaging control device that controls the exposure based on the information of the region of interest detected from the captured image by the region of interest detection unit detects the region of interest from the captured image.
  • the exposure control is performed using the exposure target value of the attention area calculated based on the measurement value of the attention area obtained from the first measurement area including at least the region of interest in the input frame as the exposure control value, and the region of interest is detected from the captured image. If not, the exposure control is performed using the set area exposure target value calculated based on the set area metering value obtained from the second metering area predetermined in the input frame as the exposure control value, and the area of interest from the captured image.
  • the exposure compensation value is obtained based on the attention area exposure target value before the attention area loss, and the set area exposure target value is set.
  • This is an image pickup control method in which exposure control is performed by an exposure control value obtained by correcting with the exposure compensation value. Even with such an information processing method, the same operation as that of the information processing apparatus according to the present technology can be obtained.
  • the program related to this technology is a program that can be read by a computer device, and the region of interest is detected from the captured image as a function related to exposure control performed based on the information of the region of interest detected from the captured image by the region of interest detector. If this is the case, exposure control is performed using the exposure target value of the attention area calculated based on the measurement value of the attention area obtained from the first light measurement area including at least the attention area of the input frame as the exposure control value, and the captured image is captured. If the area of interest is not detected from, exposure control is performed using the set area exposure target value calculated based on the set area metering value obtained from the preset second metering area in the input frame as the exposure control value.
  • the exposure compensation value is obtained based on the attention area exposure target value before the time when the attention area is lost. It is a program that realizes the function of performing exposure control by the exposure control value obtained by correcting the set area exposure target value with the exposure compensation value, in the computer device. By such a program, the information processing apparatus according to the present technology described above is realized.
  • First Embodiment> (1-1. Configuration of image pickup device) (1-2. AE control when the attention area is lost) (1-3. Processing procedure) ⁇ 2.
  • Second embodiment> ⁇ 3.
  • Modification example> ⁇ 5.
  • FIG. 1 shows a plan view, a front view, a side view, and a rear view of the image pickup device 1 which is an embodiment of the image pickup control device according to the present technology.
  • the image pickup apparatus 1 is a so-called digital camera, and can perform both still image imaging and moving image imaging.
  • the lens portion 102 is arranged on the front side of the main body housing 100 constituting the camera main body. At the time of imaging, the shutter on the front side is opened to expose the lens for imaging.
  • a display panel 101 using a display device such as a liquid crystal display (LCD) or an organic EL (Electro-Luminescence) display is provided on the back side (user side) of the image pickup apparatus 1.
  • the display panel 101 is rotatably held by the shaft portion 101a so as to be a so-called vari-angle type display panel.
  • the display panel 101 shows a state in which the display surface is not exposed. The user can visually recognize the image at the time of imaging, the image at the time of reproduction, and various information on the display panel 101.
  • Various controls 110 are provided on the main body housing 100 of the image pickup apparatus 1.
  • various forms such as a key, a dial, and a combined operation of pressing / rotating are provided to realize various operation functions.
  • menu operation, playback operation, mode selection operation, focus operation, zoom operation, parameter selection operation such as shutter speed and F value can be performed.
  • some controls 110 including a shutter button 110S and a recording button 110R are arranged on the upper surface side of the main body housing 100.
  • the recording button 110R is a relatively large button, which is easy to operate.
  • the recording button 110R has substantially the same size as the shutter button and 110S.
  • the shutter button and 110S are the largest, and the recording button 110R is the second largest.
  • the reverse is also possible. Alternatively, it may be the same size.
  • the recording button 110R is a large-sized operator on the upper surface side, for example, when a video contributor places the image pickup device 1 on a desk or the like to perform image pickup, the operation becomes easy. ..
  • Custom buttons 110C1 and 110C2 are shown as one of the controls 110.
  • the custom buttons 110C1 and 110C2 are controls, which are also called assignable buttons, and are buttons to which a predetermined operation function is assigned in the initial state and to which a user can assign an arbitrary operation function.
  • the number of custom buttons is not limited to two, and may be one or three or more.
  • the image pickup device 1 includes, for example, a lens system 11, an image pickup element 12, a camera signal processing unit 13, a recording control unit 14, a display unit 15, a communication unit 16, an operation unit 17, a camera control unit 18, a memory unit 19, and a driver unit 22. It has a sensor unit 23 and a power supply unit 24.
  • the lens system 11 includes a lens such as a zoom lens and a focus lens, an aperture mechanism, and the like.
  • the lens system 11 guides the light (incident light) from the subject and condenses it on the image sensor unit 12.
  • the image sensor unit 12 includes, for example, an image sensor 12a (image sensor) such as a CMOS (Complementary Metal Oxide Semiconductor) type or a CCD (Charge Coupled Device) type.
  • the image sensor unit 12 executes, for example, CDS (Correlated Double Sampling) processing, AGC (Automatic Gain Control) processing, and the like on the electric signal obtained by photoelectric conversion of the light received by the image sensor 12a, and further performs A / D. (Analog / Digital) Performs conversion processing. Then, the image pickup signal as digital data is output to the camera signal processing unit 13 and the camera control unit 18 in the subsequent stage.
  • the camera signal processing unit 13 is configured as an image processing processor by, for example, a DSP (Digital Signal Processor) or the like.
  • the camera signal processing unit 13 performs various signal processing on the digital signal (image pickup image signal) from the image pickup element unit 12. For example, as a camera process, the camera signal processing unit 13 performs preprocessing, simultaneous processing, YC generation processing, resolution conversion processing, file formation processing, and the like.
  • a clamping process for clamping the black level of R, G, B to a predetermined level, a correction process between the color channels of R, G, B, etc. are performed on the captured image signal from the image sensor unit 12. conduct.
  • a color separation processing is performed so that the image data for each pixel has all the color components of R, G, and B.
  • demosaic processing is performed as color separation processing.
  • YC generation process a luminance (Y) signal and a color (C) signal are generated (separated) from the image data of R, G, and B.
  • the resolution conversion process the resolution conversion process is executed for the image data to which various signal processes have been performed.
  • the camera signal processing unit 13 includes information on processing parameters in the camera signal processing unit 13, various control parameters acquired from the camera control unit 18, and information indicating the operating state of the lens system 11 and the image pickup element unit 12. , Mode setting information, imaging environment information (date and time, location, etc.), identification information of the imaging device itself, attached lens information, pre-registered cameraman information (name, identification information), IPTC (International Press Telecommunications Council) metadata And so on.
  • IPTC metadata is metadata in a format formulated by a media company organization, and can describe various information such as "description / caption", “description writer”, “headline”, and "keyword".
  • the recording control unit 14 records and reproduces, for example, a recording medium using a non-volatile memory.
  • the recording control unit 14 performs a process of recording images and metadata such as moving image data and still image data on a recording medium, for example.
  • the actual form of the recording control unit 14 can be considered in various ways.
  • the recording control unit 14 may be configured as a flash memory built in the image pickup apparatus 1 and a write / read circuit thereof.
  • the recording control unit 14 may be in the form of a card recording / playback unit that performs recording / playback access to a recording medium that can be attached to / detached from the image pickup device 1, for example, a memory card (portable flash memory or the like).
  • the recording control unit 14 may be realized as an HDD (Hard Disk Drive) or the like as a form built in the image pickup apparatus 1.
  • HDD Hard Disk Drive
  • the display unit 15 is a display unit that displays various displays to the imager, and is, for example, a display such as a liquid crystal panel (LCD: Liquid Crystal Display) or an organic EL (Electro-Luminescence) display arranged in the housing of the image pickup device 1. It is said to be a display panel or viewfinder depending on the device.
  • the display unit 15 causes various displays to be executed on the display screen based on the instructions of the camera control unit 18. For example, the display unit 15 displays a reproduced image of image data read from a recording medium by the recording control unit 14.
  • the display unit 15 is supplied with image data of the captured image whose resolution has been converted for display by the camera signal processing unit 13, and the display unit 15 is based on the image data of the captured image in response to an instruction from the camera control unit 18. May be displayed. As a result, a so-called through image (subject monitoring image), which is an captured image during composition confirmation or video recording, is displayed. Further, the display unit 15 causes various operation menus, icons, messages, etc., that is, display as a GUI (Graphical User Interface) to be executed on the screen based on the instruction of the camera control unit 18.
  • GUI Graphic User Interface
  • the communication unit 16 comprehensively shows various communication devices and communication processing circuits mounted on the image pickup apparatus 1. Communication by the communication unit 16 includes communication via an external communication network (external network communication), local communication with a mobile terminal 9, and as an aspect of local communication, between compatible devices such as between another image pickup device 1 and the like. Various communication circuits and communication devices capable of performing master / slave communication are provided. As a result, the image pickup device 1 transmits / receives captured image data (still image file or moving image file), metadata, various parameters, etc. to, for example, an external information processing device, an image pickup device, a display device, a recording device, a playback device, or the like. ..
  • the communication unit 16 has a function of performing communication by, for example, a mobile communication network such as 4G or 5G, an Internet line, a home network, a LAN (Local Area Network), or Bluetooth (Bluetooth: Registered trademark), Wi-Fi (registered trademark) communication, NFC (Near Field Communication) and other short-range wireless communication functions, infrared communication functions, wired connection communication with other devices, etc. Part or all will be provided.
  • a mobile communication network such as 4G or 5G
  • an Internet line such as 4G or 5G
  • LAN Local Area Network
  • Bluetooth Bluetooth: Registered trademark
  • Wi-Fi registered trademark
  • NFC Near Field Communication
  • the operation unit 17 collectively shows input devices for the user to perform various operation inputs. Specifically, the operation unit 17 shows various controls (keys, dials, touch panels, touch pads, etc.) provided in the housing of the image pickup apparatus 1. The operation unit 17 detects the user's operation, and the signal corresponding to the input operation is sent to the camera control unit 18.
  • the camera control unit 18 is composed of a microcomputer (arithmetic processing unit) provided with a CPU (Central Processing Unit).
  • the memory unit 19 stores information and the like used for processing by the camera control unit 18.
  • a ROM Read Only Memory
  • RAM Random Access Memory
  • flash memory and the like are comprehensively shown.
  • the memory unit 19 may be a memory area built in the microcomputer chip as the camera control unit 18, or may be configured by a separate memory chip.
  • the camera control unit 18 controls the entire image pickup apparatus 1 by executing a program stored in the ROM of the memory unit 19, the flash memory, or the like.
  • the camera control unit 18 controls the shutter speed of the image pickup element unit 12, gives instructions for various signal processing in the camera signal processing unit 13, captures and records operations according to user operations, reproduces recorded image files, and lenses. It controls the operation of each necessary part such as the operation of the lens system 11 such as zoom, focus, and aperture adjustment in the lens barrel, the user interface operation, and the setting of the communication method and the transmission destination by the communication unit 16.
  • the camera control unit 18 performs exposure control based on the photometric value for the captured image.
  • the details of the exposure control as the embodiment will be described later.
  • the camera control unit 18 in this example performs a process of detecting a region of interest from the captured image, and the region of interest and the detection process thereof will be described later.
  • the RAM in the memory unit 19 is used for temporarily storing data, programs, and the like as a work area for various data processing of the CPU of the camera control unit 18.
  • the ROM and flash memory (nonvolatile memory) in the memory unit 19 include an OS (Operating System) for the CPU to control each unit, content files such as image files, application programs for various operations, and firmware. , Used to store various setting information, etc.
  • Various setting information includes communication setting information, exposure setting (shutter speed and F value) as setting information related to imaging operation, mode setting, white balance setting as setting information related to image processing, color setting, and image effect.
  • the driver unit 22 is provided with, for example, a motor driver for a zoom lens drive motor, a motor driver for a focus lens drive motor, a motor driver for a motor of an aperture mechanism, and the like. These motor drivers apply a drive current to the corresponding driver in response to an instruction from the camera control unit 18, to move the focus lens and the zoom lens, open and close the diaphragm blades of the diaphragm mechanism, and the like.
  • the sensor unit 23 comprehensively shows various sensors mounted on the image pickup apparatus.
  • the sensor unit 23 is equipped with, for example, an IMU (inertial measurement unit).
  • an angular velocity is detected by a three-axis angular velocity (gyro) sensor of pitch, yaw, and roll, and acceleration is detected by an acceleration sensor. be able to.
  • a position information sensor, an illuminance sensor, or the like may be mounted.
  • the sensor unit 23 includes a distance measuring sensor. The distance from the image pickup device 1 to the subject can be measured by the distance measuring sensor at the time of imaging, and the distance information can be added as metadata to the captured image.
  • the power supply unit 24 uses the battery 24a as a power source and outputs the power supply voltage Vcc required for each unit.
  • the on / off of the supply of the power supply voltage Vcc by the power supply unit 24, that is, the on / off of the power supply of the image pickup apparatus 1 is controlled by the camera control unit 18. Further, the capacity of the battery 24a, that is, the remaining battery level can be detected by the camera control unit 18.
  • the power supply unit 24 may be configured to be able to output a power supply voltage Vcc based on an external power supply, for example, by connecting an AC adapter or receiving a DC power supply voltage.
  • FIG. 3 is a functional block diagram showing a functional configuration related to exposure control as an embodiment of the camera control unit 18.
  • the camera control unit 18 has a region of interest detection unit F1 and an exposure control unit F2 as a functional configuration related to exposure control as an embodiment.
  • the attention region detection unit F1 detects the attention region from the image captured by the image pickup device unit 12.
  • the region of interest referred to here means an region in the captured image in which an object defined as an object to be noted in advance exists.
  • objects of interest in the area of interest include independent objects such as people, animals, plants, cars, trains, planes, furniture, traffic lights, and specific parts of independent objects, such as faces and hands in humans. It also includes license plates in cars.
  • a method for detecting the region of interest various methods can be considered. As an example, a method of detecting a region of interest by template matching using a template image of a target object can be mentioned.
  • the region of interest F1 detects the region of the human face as the region of interest.
  • image recognition AI artificial intelligence
  • CNN Convolutional Neural Network
  • the exposure control unit F2 performs exposure control based on the information of the region of interest detected from the captured image by the region of interest detection unit F1. Specifically, when the face region Af is detected from the captured image, the exposure control unit F2 in this example is based on the photometric value obtained from the first photometric region including at least the face region Af in the input frame. A "face exposure target value", which is an exposure target value of the face region Af, is calculated, and exposure control is performed using the face exposure target value as an exposure control value.
  • the first photometric region is the same region as the face region Af in this example.
  • the first metering region may include a region other than the face region Af, such as the background region of the face region Af in the input frame, and may be at least a region including the face region Af in the input frame.
  • the face exposure target value can be obtained based on the photometric value obtained from the face region Af and the photometric value obtained from the entire frame (entire composition). This makes it possible to prevent the entire composition from becoming too bright (or dark).
  • face AE function the function of performing exposure control using the face exposure target value as the exposure control value.
  • exposure target value and exposure control value the function of performing exposure control using the face exposure target value as the exposure control value.
  • the exposure control unit F2 sets the “set region exposure target value” based on the set region photometric value obtained from the second photometric region predetermined in the input frame. , And the exposure control is performed with the set area exposure target value as the exposure control value.
  • the above-mentioned second metering region is determined by the metering mode.
  • the metering modes include, for example, a multi-metering mode in which the inside of the frame is divided into multiple parts and the exposure is controlled by balancing the entire frame, and the metering is performed with an emphasis on the center of the frame to measure the brightness near the center.
  • a center-weighted metering mode that determines the exposure and a spot metering mode that controls the exposure based on the metering value of a specified part of the frame can be mentioned.
  • the second metering area is the entire area of the frame if the metering mode is the multi-metering mode or the center-weighted metering mode, and is a partial area specified above when the metering mode is the spot metering mode.
  • the metering mode is either a multi-metering mode or a center-weighted metering mode
  • the "second metering area" is the entire area of the frame.
  • the exposure control can be switched to exposure control for the entire composition. That is, it is possible to switch to exposure control using the "overall exposure target value", which is the exposure target value for the entire composition, as the exposure control value. Therefore, there is a problem that the face becomes dark when the face cannot be detected.
  • the method of fixing to the face exposure target value at the time of face detection is not adopted, but the exposure compensation value based on the face exposure target value (hereinafter referred to as “face exposure compensation value”) is calculated and the face is calculated.
  • the exposure control method of maintaining (keeping) the exposure compensation value for a predetermined period is adopted. Specifically, the exposure control unit F2 sets the face exposure target value before the face area lost during a predetermined period in which the face area Af is not detected continuously from the time when the face area Af is no longer detected from the captured image. Based on this, the face exposure compensation value is obtained, and the exposure control is performed by the exposure control value obtained by correcting the overall exposure target value with the face exposure compensation value.
  • the exposure control unit F2 obtains, as the above-mentioned face exposure compensation value, a value indicating the relationship between the overall exposure target value before the face area lost and the face exposure target value before the face area lost. Specifically, the exposure control unit F2 obtains the difference value between the total exposure target value before the face area lost and the face exposure target value before the face area lost as the face exposure compensation value.
  • the face exposure target value before the face area lost and the overall exposure target value before the face area lost are the face exposure target value and the overall exposure target calculated in the frame immediately before the frame in which the face area Af is lost, respectively. It is conceivable to use a value. Alternatively, it is also conceivable to use the average value of the exposure target values from the immediately preceding frame to the frame before a predetermined number of frames.
  • the face exposure target value before the face area lost and the overall exposure target value before the face area lost are the frame immediately before the frame in which the face area Af is lost, or the frame near the frame immediately before (near the past side). It may be based on the face exposure target value and the overall exposure target value obtained in the frame). In the following, the face exposure target value before the face area lost and the overall exposure target value before the face area lost are the face exposure target value and the overall exposure target value calculated in the frame immediately before the frame in which the face area Af is lost, respectively. Suppose there is.
  • the face exposure compensation value is obtained as "" face exposure target value before face area lost "-" overall exposure target value before face area lost "".
  • a correction is performed by adding the face exposure correction value to the overall exposure target value, and the exposure control is performed by the exposure control value obtained by the correction.
  • FIG. 5 and 6 are explanatory views on the operation of exposure control as the above-described embodiment. If there is no change in the brightness of the background of the face area Af by performing the above exposure control, face detection is detected (“D” in the figure) and non-detection (“D” in the figure) as shown in FIG. Even if L ") is repeated, the correction based on the face exposure compensation value is kept, so that the brightness of the face (side profile or the head if facing backward) can be kept at an appropriate brightness.
  • the total exposure target value is set as the face exposure compensation value (value indicating the relationship between the total exposure target value before the face area lost and the face exposure target value before the face area lost).
  • the change in brightness can be followed. Specifically, even if the entire composition becomes brighter and the overall exposure target value decreases after the face is lost as shown in FIG. 6A, the change can be followed. Further, even if the entire composition becomes dark after the face is lost and the overall exposure target value increases as shown in FIG. 6B, the change can be followed.
  • the exposure compensation based on the face exposure compensation value is canceled, and the exposure control is performed so that the brightness of the entire composition becomes appropriate.
  • FIG. 4 the transition from FIG. 4A to FIG. 4C schematically shows the action of the exposure control as the present embodiment by the appearance of the captured image.
  • the exposure control of the present embodiment when the face is lost, it is possible to realize an appropriate exposure control considering both the brightness of the face and the brightness of the entire composition, and the exposure control function. It can be improved.
  • FIGS. 7 and 8 (1-3. Processing procedure) With reference to the flowcharts of FIGS. 7 and 8, an example of a specific processing procedure for realizing the exposure control as the first embodiment described above will be described.
  • the camera control unit 18 executes the processes shown in FIGS. 7 and 8.
  • the camera control unit 18 repeatedly executes a series of processes shown in FIG. 7 for each frame of the captured image obtained by the image pickup element unit 12.
  • the camera control unit 18 calculates the overall exposure target value in step S101. That is, the total exposure target value is calculated based on the photometric value of the above-mentioned second photometric region (in this example, the entire region of the input frame) in the input frame.
  • step S102 following step S101 the camera control unit 18 performs face detection information acquisition processing. That is, the process of acquiring the information of the face region Af detected by the function as the region of interest detection unit F1 (at least the information of the position and the range (size) in the input frame) is performed.
  • step S103 following step S102 the camera control unit 18 executes the calculation process of the face exposure compensation value.
  • the calculation process of the face exposure compensation value is a process that can be applied even when a plurality of face areas Af are detected.
  • FIG. 8 is a flowchart of the face exposure compensation value calculation process executed in step S103.
  • the camera control unit 18 first sets the process target face identifier n to "1" in step S201.
  • the processing target face identifier n is a value for identifying the face area Af to be processed in the calculation processing of the face exposure correction value.
  • the camera control unit 18 manages the newly detected face area Af by the processing target face identifier n each time the face area Af is newly detected. Specifically, a new processing target face identifier n is attached and managed.
  • step S202 the camera control unit 18 determines whether or not the nth face (face area Af) is in the detected state.
  • step S202 if the nth face region Af is in the detection state, the camera control unit 18 proceeds to step S203, turns on the face AE permission flag, and performs the keep counter setting process in the following step S204.
  • the face AE permission flag is a state management flag for the detected face area Af. Specifically, for the target face area Af, from the detection until the predetermined period (keeping period) described with reference to FIG. 6 elapses. It becomes a flag to identify whether or not it is in the state between.
  • the process of setting the keep counter in step S204 is a process of setting a counter for determining a predetermined period as the keep period.
  • the value of the keep counter is decremented for each frame by the process of step S208 described later, and it is determined in step S207 whether or not it has reached "0", so that the progress of the keep period is determined.
  • the face AE permission flag is turned off in step S209 described later.
  • the camera control unit 18 sets a predetermined fixed value as the value of the keep counter. In this case, the keep period is a fixed period.
  • step S205 the camera control unit 18 calculates the nth face exposure target value (face exposure target value). Then, in the following step S206, the camera control unit 18 calculates the face exposure compensation value at the time of face detection. Specifically, in this example, "" face exposure target value of the current frame "-" overall exposure target value of the current frame “" is calculated as the face exposure correction value at the time of face detection. For confirmation, the "face exposure target value of the current frame” is the exposure target value calculated in step S205, and the “overall exposure target value of the current frame” is the exposure target calculated in step S101 of FIG. The value.
  • the face exposure correction value at the time of face detection is calculated based on the "face exposure target value of the current frame" and the "overall exposure target value of the current frame”. As will be described later, when a plurality of face regions Af are detected, the face exposure correction values calculated for them at the time of face detection are averaged and used for correction of the overall exposure target value (step of FIG. 7). See S104 and S105).
  • step S213 determines whether or not the process target face identifier n is equal to or greater than the maximum value N.
  • the maximum value N is the total number of face regions Af to which the face identifier n to be processed is attached.
  • step S213 if the processing target face identifier n is not equal to or greater than the maximum value N, the camera control unit 18 proceeds to step S214, increments the processing target face identifier n by 1, and returns to step S202.
  • step S207 determines whether or not the keep counter> 0, that is, whether or not the value of the keep counter is greater than 0. judge. If the keep counter> 0, the camera control unit 18 proceeds to step S208, decrements the value of the keep counter (for example, 1 decrement), and proceeds to step S210. In this case, the face AE permission flag of the nth face area Af continues to be ON. On the other hand, if the value of the keep counter is not larger than 0, the camera control unit 18 proceeds to step S209, turns off the face AE permission flag, and proceeds to step S210.
  • step S210 the camera control unit 18 determines whether or not the face AE permission flag is ON. This corresponds to determining whether or not the nth face region Af is before the elapse of the keep period after the loss. If the face AE permission flag is ON in step S210, the camera control unit 18 proceeds to step S211 to calculate the face exposure compensation value at the time of keeping. Specifically, in this example, "" face exposure target value before lost "-" overall exposure target value before lost “” is calculated as the face exposure correction value at the time of keeping. For confirmation, the "lost time” here means the lost time of the nth face region Af.
  • the camera control unit 18 proceeds to the above-mentioned step S213 in response to the execution of the calculation process in step S211.
  • step S210 if it is determined in step S210 that the face AE permission flag is not ON, the camera control unit 18 proceeds to step S212, sets "0" as the face exposure compensation value, and proceeds to step S213.
  • the face exposure target value is not used for correcting the overall exposure target value of the current frame. ..
  • the camera control unit 18 completes a series of processes shown in FIG. 8 in response to the determination in step S213 that the face identifier n to be processed is equal to or greater than the maximum value N.
  • face exposure compensation at the time of face detection is performed based on the "face exposure target value of the current frame” and the “overall exposure target value of the current frame”.
  • the value is calculated (S206), and for the face area Af within the predetermined period after the loss, the face exposure compensation at the time of keeping is based on the "face exposure target value before the lost time” and the "overall exposure target value before the lost time”.
  • the value is calculated (S211).
  • the camera control unit 18 calculates the average face exposure compensation value in step S104 in response to the execution of the face exposure compensation value calculation process in step S103. That is, the average value of the face exposure compensation values (including the time of detection and the time of keeping) calculated in step S103 is calculated.
  • the face exposure correction value calculated for the face area Af is used as the average face exposure correction value.
  • step S105 the camera control unit 18 performs a process of calculating an exposure control value by "" overall exposure target value "+" average face exposure compensation value "" as an exposure control value calculation process.
  • the camera control unit 18 completes a series of processes shown in FIG. 7 in response to executing the process of step 105.
  • the overall exposure target value of the current frame is corrected by the average value of the face exposure correction values at the time of detection obtained for all the face areas Af. Then, exposure control is performed with the corrected overall exposure target value as the exposure control value. Further, if all the face areas Af are within the keep period after the loss, the total exposure target value of the current frame is corrected by the average value of the face exposure correction values at the time of keeping obtained for all the face areas Af. , Exposure control is performed with the corrected overall exposure target value as the exposure control value.
  • the face exposure compensation value at the time of detection is calculated for the face area Af in the detected state, and the face within the post-lost keep period is calculated.
  • the face exposure compensation value at the time of keeping is calculated, and at the time of detection, the overall exposure target value of the current frame is corrected by the average value of the face exposure compensation value at the time of keeping, and the corrected overall exposure target value is calculated. Exposure control is performed using the exposure control value.
  • the face exposure correction value at the time of keeping that is, the "face exposure target before the lost time” is used for the face area Af within the post-lost keep period.
  • the overall exposure target value is still corrected based on the face exposure compensation value calculated based on the "value” and the "overall exposure target value before lost".
  • the second embodiment when a plurality of face regions Af are detected, the face exposure target value used for calculating the face exposure compensation value is based on at least one of the size, number, and position of the detected face region Af. It is to calculate.
  • the hardware configuration of the image pickup apparatus 1 is the same as that in the first embodiment, so duplicate explanations will be avoided. Further, in the following description, the same reference numerals will be given to the parts having the same parts as those already explained, and the description thereof will be omitted.
  • FIG. 9A illustrates a composition in which a relatively large face region Af located in the center of the frame of the captured image is located in the sun and a relatively small face region Af located near the end of the frame is located in the shade. is doing.
  • a relatively large face region Af located in the center of the frame of the captured image is located in the sun and a relatively small face region Af located near the end of the frame is located in the shade.
  • the face exposure target value of the face region Af near the frame edge is used for calculating the face exposure compensation value, the small face near the frame edge is dark, so that the face exposure compensation is performed. The value becomes large, and there is a risk of overexposure.
  • the area in the image where the main subject is estimated to be captured is defined as the specific area As, and for the face area Af outside the specific area As, the face exposure target value is the face exposure. It should not be used to calculate the correction value (see FIG. 9B).
  • the exposure compensation value can be calculated using only the exposure target value of the face area Af detected in the specific area As, that is, the subject area which is mainly composed of the composition, and appropriate exposure control is realized. be able to.
  • the specific region As is defined as a partial region of a rectangle including the center of the image in the region in the captured image. More specifically, the specific region As is set to a size in which the center coincides with the center of the image and the area ratio with respect to the entire captured image is at least 1/2.
  • the position and size of the specific area As are not limited to this.
  • the specific area As may be set at a position and size at which it is estimated that the main subject can be captured in composition, and is set at a position offset from the center of the captured image in at least one of the up, down, left, and right directions. It is also possible to do.
  • the area ratio to the entire captured image may be 1/2 or less.
  • the specific area As is not limited to a fixed position and size, and the position and size can be changed according to, for example, a user operation or the result of image analysis.
  • FIG. 10 is a flowchart showing a specific processing procedure example for realizing the exposure control as the second embodiment described above.
  • the process shown in FIG. 10 is repeatedly executed by the camera control unit 18 for each frame of the captured image, as in the process shown in FIG. 7.
  • the camera control unit 18 executes the process of step S102 following the process of step S101. Since these processes are the same as those described in FIG. 7, duplicate explanations are avoided.
  • the camera control unit 18 executes the process of step S301 in response to the acquisition of the face detection information in step S102.
  • step S301 the camera control unit 18 performs a process of setting a face in the specific area As as a face to be processed. That is, of the face regions Af detected in the captured image, only the face region Af located in the specific region As is set as the target face region Af in the calculation process of the face exposure correction value in step S103.
  • step S103 the camera control unit 18 proceeds to step S103 in response to the execution of the setting process in step S301. Since the processes from step S103 to step S105 are the same as those described with reference to FIG. 7, duplicate explanations are avoided.
  • the face exposure target value is not used for calculating the face exposure correction value during both the pre-lost and post-lost keep periods. can do. As a result, it is possible to prevent the brightness of the main subject from becoming inappropriate due to the brightness of the non-main subject detected outside the specific area As, and it is possible to realize appropriate exposure control. can.
  • the face exposure target value is unconditionally not used for calculating the face exposure correction value, but as illustrated in FIG. 11, Based on the size, number, and position of the face region Af detected outside the specific region As, it is also possible to determine whether or not the face exposure target value is used for calculating the face exposure correction value.
  • the camera control unit 18 determines the size of the face area Af detected outside the specific area As in the process of step S301 shown in FIG. 10 with the size of the face area Af detected in the specific area As. Based on the result, it is determined whether or not the face region Af detected outside the specific region As is to be processed.
  • the face area Af must be set as the processing target, and the size of the face area Af detected outside the specific area As must be larger.
  • the face area Af is not set as a processing target.
  • the size comparison of Af may be performed as a comparison with at least a certain reference size (reference size).
  • reference size may be a fixed size or a size that can be changed according to some conditions.
  • the face exposure target value of the face region Af detected outside the specific region As is set. It can also be used to calculate the face exposure compensation value.
  • the camera control unit 18 determines whether or not the number of face regions Af detected outside the specific region As is equal to or greater than a predetermined threshold value in the process of step S301 shown in FIG. 10, and the number is the threshold value. If it is the above, the face area Af detected outside the specific area As is set as the processing target, and if the number is not equal to or more than the threshold value, the face area Af detected outside the specific area As is not set as the processing target.
  • the camera control unit 18 calculates the distance between the face area Af detected outside the specific area As and the face area Af detected inside the specific area As in the process of step S301 shown in FIG. If the distance is within a certain distance, the face area Af detected outside the specific area As is set as the processing target, and if the distance is not within the certain distance, the face detected outside the specific area As is set. The area Af is not set as the processing target.
  • the face exposure target value is used for calculating the face exposure correction value for the face region Af that satisfies the condition of the number of detections in FIG. 11B and the size condition of FIG. 11A. It is conceivable to do. Alternatively, it is also conceivable to use the face exposure target value for calculating the face exposure compensation value for those satisfying the distance condition of FIG. 11C and the size condition of FIG. 11A.
  • the moving image skin-beautifying effect function performs the skin-beautifying effect processing performed at the time of capturing a still image in real time at the time of capturing a moving image.
  • the skin-beautifying effect processing means an image processing that imparts an effect of making the skin look beautiful on the face of the subject, and is, for example, at least one of brightness, contrast, color reproduction, white balance, and noise reduction. It is performed as an adjustment process or an adjustment process for all or a part of these combinations.
  • the noise reduction process is a process including, for example, a process of cutting high frequency components such as LPF (Low Pass Filter).
  • LPF Low Pass Filter
  • the face of the subject is detected, but since the detection processing of the face area Af has already been explained, duplicate explanation is avoided.
  • the skin-beautifying effect treatment is performed only on the face region Af (see FIGS. 12A to 12C).
  • the skin-beautifying effect can be performed by changing the strength of the effect according to the distance from the center of the face area Af, which is shown as the face detection area in the figure.
  • the skin-beautifying effect is said to be effective when applied to the cheek area near the center of the face. Further, if the reduction in resolution becomes large at a position far from the center of the face, the image may become unnatural. In particular, if the resolution is reduced at the hair or chin, the image tends to be unnatural. Therefore, it is conceivable that the strength of the skin-beautifying effect is reduced as the distance from the center of the face increases.
  • FIG. 13 is an explanatory diagram of a configuration example of the image pickup apparatus 1 for realizing the skin-beautifying effect processing in which the effect intensity is changed according to the distance from the center of the face as described above.
  • the structural difference from the image pickup apparatus 1 shown in FIG. 1 is that the camera control unit 18A is provided in place of the camera control unit 18, and the memory unit 19A is provided in place of the memory unit 19. Therefore, in FIG. 13, only the camera control unit 18A and the memory unit 19A are extracted and shown.
  • the size of the face region Af is not constant, and the size may change during moving image imaging. If the size of the face area Af is different, the area of the cheeks, etc. where the skin-beautifying effect treatment should be applied also changes. The correspondence with the strength of the skin-beautifying effect should be changed. Therefore, in this example, the reliability table 30 in which the reliability is determined according to the distance from the center of the face according to the size of the detected face region Af, and the correspondence between the reliability and the effect strength of the skin-beautifying effect treatment The effect strength table 31 for which the relationship is determined is used.
  • the reliability table 30 information indicating the correspondence between the distance (number of pixels) from the center of the face area Af and the reliability is stored for each size of the face area Af. Since the intensity of the skin-beautifying effect is weakened as the distance from the center of the face region Af increases, the reliability is set to decrease as the distance from the center of the face region Af increases. Further, in the effect intensity table 31, the effect intensity is determined so that the higher the reliability, the higher the effect intensity.
  • the reliability table 30 and the effect intensity table 31 are stored in the memory unit 19A, and the camera control unit 18A can refer to the information contents of the reliability table 30 and the effect intensity table 31.
  • the camera control unit 18A has a function as a skin-beautifying effect processing unit F3 together with the above-mentioned attention area detection unit F1.
  • the skin-beautifying effect processing unit F3 performs skin-beautifying effect processing on the face region Af detected by the attention region detection unit F1. Specifically, the skin-beautifying effect processing unit F3 obtains the effect intensity for each pixel based on the reliability table 30 and the effect intensity table 31 for the detected face region Af, and performs the skin-beautifying effect processing according to the obtained effect intensity.
  • FIG. 14 is a flowchart of processing executed by the camera control unit 18A as the skin-beautifying effect processing unit F3.
  • the camera control unit 18A repeatedly executes a series of processes shown in FIG. 14 for each frame of the captured image.
  • the camera control unit 18A determines whether or not the face region Af is detected from the captured image by the attention region detection unit F1 as the face detection determination process in step S401. If the face region Af is not detected, the camera control unit 18A ends the process shown in FIG.
  • the camera control unit 18A proceeds to step S402 and detects the face area size. That is, the size of the detected face region Af is detected.
  • step S403 following step S402, the camera control unit 18A acquires the reliability of each pixel according to the face area size based on the reliability table 30. That is, it corresponds to the size of the detected face area Af among the correspondence information stored in the reliability table 30 for each face size, that is, the information indicating the correspondence between the distance from the center of the face area Af and the reliability.
  • the reliability of each pixel of the face region Af is acquired by referring to the correspondence information.
  • step S404 following step S403 the camera control unit 18A acquires the effect intensity of each pixel based on the effect intensity table 31. That is, based on the reliability of each pixel acquired in step S403, the corresponding strengthening intensity is acquired for each pixel from the effect intensity table 31. Then, in step S405 following step S404, as the skin-beautifying effect treatment for the face region Af, the skin-beautifying effect treatment according to the effect intensity acquired in step S404 is applied to the face region Af.
  • the camera control unit 18A ends a series of processes shown in FIG. 14 in response to executing the process of step S405.
  • the skin-beautifying effect processing can be appropriately applied to the face area Af.
  • the skin-beautifying effect processing it is conceivable to apply a smoothing filter in the time direction by using the timing when the face region Af is lost or the timing when it is detected as a trigger.
  • the skin-beautifying effect treatment was performed on the frame in which the face region Af was detected as shown in FIG. 15A, and then the face region Af was not detected because the face turned sideways as shown in FIG. 15B.
  • the skin-beautifying effect treatment is applied so that the skin-beautifying effect gradually decreases in the time direction.
  • the skin-beautifying effect is gradually restored (the effect intensity is gradually increased) as shown as the transition from FIG. 15C to FIG. 15D.
  • the target of smoothing may be at least one of brightness, contrast, color reproduction, white balance, and noise reduction, or a combination of all or a part thereof.
  • FIG. 16 shows a timing chart for the smoothing process as described above.
  • the effect intensity of the skin-beautifying effect treatment is gradually increased.
  • the skin-beautifying effect treatment is performed on the position of the face region Af detected for each frame.
  • the effect intensity of the skin-beautifying effect treatment is gradually lowered while keeping the position of the target region of the skin-beautifying effect treatment at the position immediately before the loss.
  • the slope of the effect strength when gradually changing the effect strength in smoothing can be set arbitrarily. At this time, the slope of the effect intensity can be the same or different between the increasing side (smoothing from the face area Af detection frame) and the lowering side (smoothing from the lost frame of the face area Af). You can also do it.
  • 17A to 17D are explanatory views of the intensity of the skin-beautifying effect, and show an example in which the skin-beautifying effect is gradually strengthened in the order of FIG. 17A ⁇ FIG. 17B ⁇ FIG. 17C ⁇ FIG. 17D.
  • the face of the subject is still, and in the moving image, the face of the subject moves to some extent, so that the optimum intensity of the skin-beautifying effect is different.
  • the skin-beautifying effect tends to be difficult to be perceived unless the effect intensity is strengthened. Therefore, in the case of moving images, skin-beautifying effect processing with stronger effect intensity is performed than in the case of still images. ..
  • the setting of the intensity of the skin-beautifying effect in the video is “strong” and the skin-beautifying effect in the still image.
  • the intensity of the skin-beautifying effect in the moving image is set stronger than the intensity of the skin-beautifying effect in the still image.
  • the intensity of the skin-beautifying effect in the moving image is preferable to set the intensity of the skin-beautifying effect in the moving image to be stronger than the intensity of the skin-beautifying effect in the still image.
  • the skin-beautifying effect processing can be set not only on / off but also on the effect size according to the user's preference.
  • the skin-beautifying effect processing can also be controlled based on the imaging status information indicating the imaging status.
  • the imaging status information includes self-shooting determination information indicating whether or not self-shooting is performed.
  • examples of the control of the skin-beautifying effect processing here include control of switching ON and OFF of the skin-beautifying effect processing, and control of determining the strength of the skin-beautifying effect.
  • the skin-beautifying effect processing is turned on or the intensity of the skin-beautifying effect is increased.
  • “to increase the intensity of the skin-beautifying effect” means “to increase the intensity of the skin-beautifying effect to be higher than a predetermined value” or “to increase the intensity of the self-portrait” when it is determined that the self-portrait is not taken. The strength of the skin-beautifying effect is higher than when it is judged. "
  • the skin-beautifying effect processing is turned off or the intensity of the skin-beautifying effect is lowered.
  • “to lower the intensity of the skin-beautifying effect” means “to lower the intensity of the skin-beautifying effect to a predetermined value” or "to take a selfie when it is determined that the person is not taking a selfie”. The intensity of the skin-beautifying effect is lower than when it is judged. "
  • the self-shooting determination information the information from the following "Information Example 1" to “Information Example 8" is exemplified, but based on only one of the information from “Information Example 1" to "Information Example 8".
  • the skin-beautifying effect processing may be controlled, or the skin-beautifying effect processing may be controlled based on a plurality of self-shooting determination information.
  • “Information example 1” is image pickup device fixation determination information indicating whether or not the image pickup device 1 is fixed.
  • the image pickup device fixation determination information includes the following information. ⁇ 1> Tripod connection status information indicating whether or not the image pickup device is connected to a tripod If the tripod connection status information indicates that the image pickup device is connected to a tripod, the skin-beautifying effect processing is turned on or the skin-beautifying effect is selected. Increase the strength. When the tripod connection status information indicates that the image pickup device is connected to the tripod, the skin-beautifying effect processing is turned off or the intensity of the skin-beautifying effect is lowered.
  • Image change information indicating a change in the captured image
  • the skin-beautifying effect processing is turned on or the intensity of the skin-beautifying effect is increased.
  • the image change information indicates that the value indicating the change of the captured image is equal to or higher than a predetermined value
  • the skin-beautifying effect processing is turned off or the intensity of the skin-beautifying effect is lowered.
  • the change in the captured image is determined based on, for example, the correlation between the current frame and the past frame (for example, the frame one frame before in time). When the correlation is more than a certain value, it is determined that the change in the image is within the threshold value, and when the correlation is less than a certain value, it is determined that the change in the image is larger than the threshold value.
  • Posture information of the image pickup device indicating the posture of the image pickup device A change in the posture of the image pickup device 1 is detected by using a gyro sensor or the like.
  • the skin beautification effect processing is turned on or the intensity of the skin beautification effect is increased.
  • the skin-beautifying effect processing is turned off or the intensity of the skin-beautifying effect is lowered.
  • “Information example 2” is line-of-sight information indicating the line of sight of the subject.
  • the skin-beautifying effect processing is turned on or the intensity of the skin-beautifying effect is increased.
  • the skin-beautifying effect processing is turned off or the intensity of the skin-beautifying effect is lowered.
  • “Information example 3” is display unit direction information indicating the direction of the display panel 101 of the image pickup apparatus 1.
  • the type of the display panel 101 of the image pickup apparatus 1 includes the above-mentioned vari-angle type and the tilt type.
  • the display unit direction information indicates that the direction of the display panel 101 is the lens side of the image pickup device 1 (when the display panel 101 is horizontally opened)
  • the skin-beautifying effect processing is turned on or the intensity of the skin-beautifying effect is increased. .
  • the display unit direction information indicates that the direction of the display panel 101 is opposite to the lens of the image pickup device 1 (when the display panel 101 is in the normal position)
  • the skin-beautifying effect processing is turned off or the intensity of the skin-beautifying effect is turned off. To lower.
  • “Information example 4" is voice directivity information indicating the directivity of voice.
  • the directivity of the sound acquired by one or more microphones provided in the image pickup apparatus 1 can be used.
  • the voice directivity information indicates that the change in the directivity of the voice of the subject is not more than a predetermined value
  • the skin-beautifying effect processing is turned on or the intensity of the skin-beautifying effect is increased.
  • the voice directivity information indicates that the change in the directivity of the voice of the subject is more than a predetermined value
  • the skin-beautifying effect processing is turned off or the intensity of the skin-beautifying effect is lowered.
  • the sound source position direction information indicating the direction of the sound source position can also be used.
  • the skin-beautifying effect processing is turned on or the intensity of the skin-beautifying effect is increased.
  • the skin-beautifying effect processing is turned off or the intensity of the skin-beautifying effect is lowered.
  • “Information example 5" is face position information indicating the position of the face of the subject in the captured image. It is possible to detect the position of the face of the subject in the captured image and use the change in the position of the detected face in the captured image.
  • the skin-beautifying effect processing is turned on or the intensity of the skin-beautifying effect is increased.
  • the skin-beautifying effect processing is turned off or the intensity of the skin-beautifying effect is lowered.
  • “Information example 6” is face frame size information indicating the size of the face frame of the subject in the captured image.
  • the face frame size information indicates that the size of the face frame in the captured image is equal to or larger than a predetermined size
  • the skin-beautifying effect processing is turned on or the intensity of the skin-beautifying effect is increased.
  • the skin-beautifying effect processing is turned off or the intensity of the skin-beautifying effect is lowered.
  • “Information example 7” is focus target distance information indicating the distance between the focus target and the image pickup apparatus 1.
  • the distance between the image pickup device and the subject is often within a predetermined range corresponding to self-shooting.
  • the focus target distance information indicates that the distance between the focus target and the image pickup device is within a predetermined range
  • it is determined that the self-portrait is taken. For example, when it indicates that the distance in the predetermined range is A cm to B cm, it indicates that the distance outside the predetermined range is shorter than A cm or longer than B cm.
  • the distance in the predetermined range indicates a distance equal to or less than the predetermined distance, it indicates that the distance outside the predetermined range is longer than the predetermined distance.
  • the focus target distance information indicates that the distance to the subject to be focused is within a predetermined range, the skin-beautifying effect processing is turned on or the intensity of the skin-beautifying effect is increased.
  • the focus target distance information indicates that the distance to the subject to be focused is outside the predetermined range, the skin-beautifying effect processing is turned off or the intensity of the skin-beautifying effect is lowered.
  • “Information example 8" is person information indicating whether or not the subject is a specific person.
  • the person information indicates that the subject is a specific person when the face registered based on the registered face information registered in the image pickup apparatus 1 and the face of the subject match.
  • the person information indicates that the subject is a specific person (for example, the owner of the image pickup apparatus 1).
  • face information which is the face information of the person is generated from the information of the subject of the captured image in the past, and the face of the subject is a specific person from the face information. This includes the case of determining whether or not the face is.
  • the skin-beautifying effect processing is turned on or the intensity of the skin-beautifying effect is increased.
  • the skin-beautifying effect processing is turned off or the intensity of the skin-beautifying effect is lowered.
  • control of the skin-beautifying effect processing can also be performed based on the determination result of whether or not the image pickup device 1 is in the state of taking a picture (imaging in a state of being placed on a stationary object).
  • it can be determined by using the image pickup device fixation determination information in the above-mentioned "Information Example 1" whether or not it is in the stationary shooting state.
  • the camera shake correction function it may be determined based on whether or not the camera shake correction is performed.
  • the skin-beautifying effect processing is turned on or the intensity of the skin-beautifying effect is increased (because the image pickup device 1 does not move, afterimages are unlikely to occur).
  • the skin-beautifying effect processing is turned off or the intensity of the skin-beautifying effect is lowered (because the image pickup device 1 moves and an afterimage is likely to occur).
  • the embodiment is not limited to the specific examples described so far, and configurations as various modified examples can be adopted.
  • the face exposure compensation value is the ratio of the total exposure target value before the face area lost and the face exposure target value before the face area lost, for example, "" face exposure target value before the face area lost " ⁇ " face. It can be obtained as the value of "the total exposure target value before the area is lost".
  • the correction in the keep period may be performed by multiplying the overall exposure target value by the face exposure correction value as the ratio.
  • the face exposure compensation value may be a ratio rather than a difference between the total exposure target value before the face area lost and the face exposure target value before the face area lost.
  • the face exposure compensation value can be defined as follows conceptually. That is, the "specific numerical relationship" between the total exposure target value after the face area lost and the total exposure target value corrected by the exposure compensation value is the total exposure target value before the face area lost and the face area lost. It can be defined as being required to be equivalent to the "specific numerical relationship" of the previous face exposure target value.
  • the “specific numerical relationship” here means a specific numerical relationship among the numerical relationships of the two numerical values, and the “numerical relationship” is the difference between the two numerical values and the difference between the two numerical values. It means a numerical relationship such as a ratio.
  • the term “equivalent” as used herein is a concept that includes not only exact matching but also within a predetermined error range.
  • the keep period (predetermined period) for correction by the face exposure compensation value is fixed, but the keep period can also be a variable period.
  • the keep period can be variable according to the size of the face area Af.
  • the camera control unit 18 exposure control unit F2 changes the keep period based on the size of the face area Af detected by the attention area detection unit F1. For example, when the size of the face area Af is small, the area other than the face area Af becomes dominant as a composition, and if the keep period, that is, the exposure control period using the face exposure compensation value is long, the area other than the face area Af is used. There is a risk that the period of inadequate exposure of the area will be long.
  • the keep period can be made variable according to the number of face areas Af.
  • the camera control unit 18 exposure control unit F2 changes the keep period based on the number of face regions Af detected by the attention region detection unit F1. For example, when the number of face areas Af is small, the area other than the face area Af becomes dominant as a composition, and if a predetermined period, that is, the exposure control period using the face exposure compensation value is long, the area other than the face area Af is used. There is a risk that the period of inappropriate exposure of the area will be long, in other words, there is a risk that the unnatural exposure state of the entire composition will continue for a long time.
  • the keep period is changed according to the number of face areas Af as described above, it is possible to shorten the keep period when the number of face areas Af is small, and the composition as a whole is in an unnatural exposure state. It is possible to prevent the problem from continuing for a long time. Therefore, as the exposure control after the face region Af is lost, it is possible to realize an appropriate exposure control according to the number of detected face regions Af.
  • the keep period can be made variable according to the number of times the face area Af is lost within a certain period of time.
  • the camera control unit 18 changes the keep period based on the number of times the face region Af is lost within a certain period of time in the past. For example, if the face area Af is lost a large number of times within a certain period of time, it means that the face turns backward or looks back frequently, and the lost face area Af may be rediscovered immediately thereafter. Can be said to be high.
  • the keep period can be made variable according to the user operation. That is, in this case, the camera control unit 18 (exposure control unit F2) changes the keep period based on an input operation such as a menu operation by the user, for example. This makes it possible to set the duration of exposure control using the face exposure compensation value after the face region Af lost according to the user's preference. Therefore, it is possible to improve the function of exposure control.
  • the keep period can be changed according to, for example, the blur width and acceleration of the face within a certain period of time, or the scene in which the image is taken can be changed depending on whether it is indoors or outdoors, or the stability of the image pickup device 1 main body ( For example, it may be variable depending on whether it is handheld or fixed to a tripod.
  • the image pickup control device including the exposure control unit F2 includes the attention region detection unit F1.
  • the configuration is not limited to this, and a configuration that does not include the region of interest detection unit F1 can be adopted.
  • the program of the embodiment is a program for causing a computer device such as a CPU to execute the processing as the image pickup device 1.
  • the program of the embodiment is a program that can be read by a computer device, and realizes the following functions in the computer device as a function related to exposure control performed based on the information of the attention area detected from the captured image by the attention area detection unit. It is a program to let you. That is, when the region of interest is detected from the captured image, the exposure control value is the exposure target value of the region of interest calculated based on the photometric value of the region of interest obtained from the first photometric region including at least the region of interest in the input frame. If the area of interest is not detected from the captured image, the set area exposure target value calculated based on the set area metering value obtained from the second metering area predetermined in the input frame.
  • the exposure control is performed with It is a function to obtain an exposure compensation value based on the above, and perform exposure control by an exposure control value obtained by correcting the set area exposure target value with the exposure compensation value. That is, this program corresponds to, for example, a program that causes a computer device to execute the processes described in FIGS. 7, 8, 10, and the like.
  • Such a program can be stored in advance in a storage medium that can be read by a computer device, for example, a ROM, an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like. Alternatively, it can be temporarily or permanently stored (stored) in a removable storage medium such as a semiconductor memory, a memory card, an optical disk, a magneto-optical disk, or a magnetic disk. Further, such a removable storage medium can be provided as so-called package software. In addition to installing such a program from a removable storage medium on a personal computer or the like, it can also be downloaded from a download site to a required information processing device such as a smartphone via a network such as a LAN or the Internet.
  • a required information processing device such as a smartphone via a network such as a LAN or the Internet.
  • the image pickup control device as an embodiment is an exposure control unit (F2) that performs exposure control based on the information of the attention area detected from the captured image by the attention area detection unit (F1). : A camera control unit 18) is provided. Then, when the region of interest is detected from the captured image, the exposure control unit determines the exposure target of the region of interest calculated based on the photometric value of the region of interest obtained from the first photometric region including at least the region of interest in the input frame. When the exposure control is performed using the value as the exposure control value and the region of interest is not detected from the captured image, it is calculated based on the set area metering value obtained from the second metering area defined in advance in the input frame.
  • the exposure is controlled using the set area exposure target value as the exposure control value, and the attention area is not detected from the captured image.
  • the exposure compensation value is obtained based on the region exposure target value, and the exposure control is performed by the exposure control value obtained by correcting the set region exposure target value with the exposure compensation value.
  • Exposure control is performed by the exposure control value obtained by correcting the set area exposure target value by the exposure compensation value obtained based on the area exposure target value.
  • the exposure control value for the predetermined period after the loss the exposure control value obtained by correcting the set area exposure target value by the exposure compensation value based on the attention area exposure target value before the loss is used, so that the entire composition is composed within the predetermined period. If there is no change in the brightness of the subject, the brightness of the subject existing in the region of interest can be appropriately maintained even after the loss, and the brightness of the entire composition changes within the predetermined period. However, it is possible to prevent a situation in which the brightness change of the entire composition cannot be followed as in the case where the AE is locked at the exposure target value of the attention area before the lost time. Therefore, it is possible to maintain appropriate exposure control even when the region of interest is lost, and it is possible to improve the function of the exposure control of the image pickup apparatus.
  • the exposure compensation value is a value indicating the relationship between the set area exposure target value before the attention area lost and the attention area exposure target value before the attention area lost.
  • the exposure control unit pays attention to a specific numerical relationship between the set area exposure target value and the set area exposure target value after correction by the exposure compensation value in a predetermined period.
  • the exposure is controlled by the exposure compensation value obtained so as to be equivalent to the specific numerical relationship between the set area exposure target value before the area lost and the attention area exposure target value before the area lost.
  • a specific numerical relationship such as a difference or a ratio between the set area exposure target value and the set area exposure target value after correction by the exposure compensation value is established before the lost time.
  • Exposure control is performed so that the specific numerical relationship between the set area exposure target value and the attention area exposure target value is equivalent (to reproduce the relationship). Therefore, it is possible to maintain appropriate exposure control even when the region of interest is lost.
  • the exposure compensation value is a difference value between the set area exposure target value before the attention area lost and the attention area exposure target value before the attention area lost.
  • the difference between the set area exposure target value and the set area exposure target value after correction by the exposure compensation value is the set area exposure target value and the attention area exposure target before the lost time. Exposure control is performed so that it is equal to the difference from the value. Therefore, it is possible to maintain appropriate exposure control even when the region of interest is lost.
  • the exposure control unit uses the attention area exposure to calculate the exposure compensation value when the attention area is detected inside and outside the specific area in the captured image by the attention area detection unit.
  • the target value is calculated based on at least one of the detected size, number, and position of the region of interest (see FIGS. 9 to 11). If the area size is small, the number of areas of interest detected outside the specific area is small, or the area of interest detected within the specific area is far away, the exposure target for the area of interest is If the value is taken into consideration when calculating the exposure compensation value, there is a risk that the brightness of the subject in the region of interest detected in the specific region cannot be adjusted to an appropriate brightness. According to the above configuration, it is possible to prevent the exposure target value of the region of interest detected outside the specific region from being used in the calculation of the exposure compensation value in such a case, and when the region of interest is lost. It is also possible to maintain appropriate exposure control.
  • the exposure control unit calculates the attention region exposure target value for the attention region. Is used to calculate the exposure compensation value, and if the size of the region of interest detected outside the specific region is not larger than the reference size, the exposure target value of the region of interest calculated for the region of interest is used to calculate the exposure compensation value. It is not used for. As a result, if the size of the attention area detected outside the specific area is large and the attention area cannot be ignored in the correction of the set area exposure target value after the attention area is lost, the exposure target value of the attention area is exposed.
  • the exposure target value of the area of interest is used to calculate the exposure compensation value. It is possible not to use it. Therefore, as the exposure control after the lost area of interest, it is possible to realize an appropriate exposure control according to the size of the area of interest detected outside the specific area.
  • the reference size is the size of the region of interest detected in the specific region.
  • the exposure control unit calculates the attention region detected outside the specific region when the number of the attention regions detected outside the specific region is larger than the threshold value.
  • the exposure target value of the attention area is used to calculate the exposure compensation value and the number of attention areas detected outside the specific area is not larger than the threshold value, the attention area calculated for the attention area detected outside the specific area is calculated.
  • the exposure target value is not used to calculate the exposure compensation value.
  • the exposure target value of the area of interest is used. It is possible not to use it for calculating the exposure compensation value. Therefore, as the exposure control after the lost area of interest, it is possible to realize an appropriate exposure control according to the number of areas of interest detected outside the specific area.
  • the exposure control unit determines that the area of interest detected outside the specific area includes the area of interest detected within the specific area and the area of interest within a certain distance.
  • the attention area exposure target value calculated for the attention area is used for calculating the exposure compensation value, and if there is no attention area within a certain distance from the attention area detected in the specific area, it is detected outside the specific area.
  • the attention area exposure target value calculated for the attention area is not used for the calculation of the exposure compensation value.
  • the area of interest detected outside the specific area the area of interest that is close to the area of interest within the specific area, in other words, when the exposure target value of the area of interest is not used to calculate the exposure compensation value.
  • the exposure target value of the attention area is used for calculating the exposure compensation value, and conversely, the exposure compensation value is used with the attention area in the specific area.
  • the exposure compensation value is used with the attention area in the specific area.
  • the exposure control unit changes a predetermined period based on the size of the area of interest detected by the area of interest detection unit. For example, when the size of the region of interest is small, the region other than the region of interest becomes dominant as a composition, and if a predetermined period, that is, the exposure control period using the exposure compensation value is long, the region other than the region of interest is exposed. There is a risk that the inappropriate period will be long. In other words, there is a risk that the unnatural exposure of the composition as a whole will continue for a long time.
  • the predetermined period is changed according to the size of the region of interest as described above, it is possible to shorten the predetermined period when the size of the region of interest is small, and the unnatural exposure state of the entire composition is long. It is possible to prevent it from continuing. Therefore, as the exposure control after the lost area of interest, it is possible to realize an appropriate exposure control according to the size of the area of interest.
  • the exposure control unit changes a predetermined period based on the number of areas of interest detected by the area of interest detection unit. For example, when the number of areas of interest is small, the area other than the area of interest becomes dominant as a composition, and if a predetermined period, that is, the exposure control period using the exposure compensation value is long, the area other than the area of interest is exposed. There is a risk that the inappropriate period will be long, in other words, the unnatural exposure of the composition as a whole will continue for a long time. If the predetermined period is changed according to the number of areas of interest as described above, it is possible to shorten the predetermined period when the number of areas of interest is small, and the unnatural exposure state of the entire composition is long. It is possible to prevent it from continuing. Therefore, as the exposure control after the lost area of interest, it is possible to realize an appropriate exposure control according to the number of detected areas of interest.
  • the exposure control unit changes a predetermined period based on the number of lost times of the region of interest within a certain period of time. For example, the fact that the number of lost times in a certain period of time in the attention area is large means that when the attention area is a human face area, the face is frequently turned backward or turned around, and the face is lost. It can be said that the region of interest is likely to be rediscovered soon afterwards. According to the above configuration, it is possible to shorten a predetermined period, that is, an exposure control period using an exposure compensation value, in response to such a high loss frequency. Therefore, it is possible to prevent the exposure control using the exposure compensation value from continuing unnecessarily for a long time after the attention region is lost.
  • the exposure control unit changes a predetermined period based on a user operation. This makes it possible to set the duration of exposure control using the exposure compensation value after the lost area of interest according to the user's preference. Therefore, it is possible to improve the function of exposure control.
  • the image pickup control method as an embodiment is when the image pickup control device that performs exposure control based on the information of the attention area detected from the image capture image by the attention area detection unit detects the attention area from the image capture image. Performs exposure control using the attention area exposure target value calculated based on the attention area measurement value obtained from the first light measurement area including at least the attention area in the input frame as the exposure control value, and detects the attention area from the captured image. If this is not the case, exposure control is performed using the set area exposure target value calculated based on the set area metering value obtained from the preset second metering area in the input frame as the exposure control value, and the captured image is used.
  • the exposure compensation value is obtained based on the exposure target value of the area of interest before the time of loss of the area of interest, and the set area exposure target value is set.
  • This is an imaging control method in which exposure is controlled by an exposure control value obtained by correcting with an exposure compensation value. Even with such an image pickup control method, the same operations and effects as those of the image pickup control device as the above-described embodiment can be obtained.
  • the program as an embodiment is a program that can be read by a computer device, and is a function related to exposure control performed based on the information of the region of interest detected from the captured image by the region of interest detection unit, and is a region of interest from the captured image.
  • exposure control is performed using the exposure target value of the attention area calculated based on the measurement value of the attention area obtained from the first light measurement area including at least the region of interest in the input frame as the exposure control value.
  • the exposure is set to the exposure control value of the set region exposure target value calculated based on the set region photometric value obtained from the preset second photometric region in the input frame.
  • the exposure compensation value is obtained based on the exposure target value of the attention area before the time when the attention area is lost.
  • the present technology can also adopt the following configurations.
  • the exposure control unit When the region of interest is detected from the captured image, the exposure control value of the region of interest calculated based on the photometric value of the region of interest obtained from the first photometric region including at least the region of interest in the input frame is used as the exposure control value. Control the exposure and When the region of interest is not detected from the captured image, the exposure is set to the exposure control value of the set region exposure target value calculated based on the set region photometric value obtained from the second photometric region predetermined in the input frame.
  • the exposure compensation value is obtained based on the attention area exposure target value before the time when the attention area is lost, and the setting is made.
  • An image pickup control device that controls exposure by an exposure control value obtained by correcting a region exposure target value with the exposure compensation value.
  • the exposure compensation value is a value indicating the relationship between the set area exposure target value before the attention area lost and the attention area exposure target value before the attention area lost.
  • the exposure control unit has a specific numerical relationship between the set area exposure target value and the set area exposure target value after correction by the exposure compensation value in the predetermined period, and the exposure control unit has the same numerical relationship before the attention area lost.
  • the exposure is controlled by the exposure compensation value obtained so as to be equivalent to the specific numerical relationship between the set area exposure target value and the attention area exposure target value before the attention area is lost.
  • the imaging control device according to the description.
  • the exposure compensation value is the difference between the set area exposure target value before the attention area lost and the attention area exposure target value before the attention area lost.
  • the exposure control unit detects the attention region exposure target value used for calculating the exposure compensation value when the attention region is detected inside and outside the specific region in the captured image by the attention region detection unit.
  • the imaging control device according to any one of (1) to (4) above, which is calculated based on at least one of the size, number, and position of the region.
  • the exposure control unit uses the attention area exposure target value calculated for the attention area to calculate the exposure compensation value. If the size of the region of interest detected outside the specific region is not larger than the reference size, the exposure target value of the region of interest calculated for the region of interest is not used in the calculation of the exposure compensation value in (5).
  • the imaging control device according to the description.
  • the exposure control unit corrects the exposure of the area of interest calculated for the area of interest detected outside the specific area.
  • the attention region exposure target value calculated for the attention region detected outside the specific region is used as described above.
  • the exposure control unit When the exposure control unit has an attention region within a certain distance from the attention region detected in the specific region as the attention region detected outside the specific region, the attention region calculated for the attention region is calculated.
  • the exposure target value is used to calculate the exposure compensation value, and if there is no attention area within a certain distance from the attention area detected in the specific area, the attention area detected outside the specific area is calculated.
  • the imaging control device according to any one of (5) to (8) above, wherein the exposure target value in the region of interest is not used for calculating the exposure compensation value.
  • the image pickup control device according to any one of (1) to (9), wherein the exposure control unit changes the predetermined period based on the size of the attention area detected by the attention area detection unit.
  • the imaging control device changes the predetermined period based on the number of areas of interest detected by the area of interest detection unit.
  • the exposure control unit changes the predetermined period based on the number of lost times of the region of interest within a certain period of time.
  • the exposure control unit changes the predetermined period based on a user operation.
  • An imaging control device that controls exposure based on information on the region of interest detected from the captured image by the region of interest detector
  • the exposure control value of the region of interest calculated based on the photometric value of the region of interest obtained from the first photometric region including at least the region of interest in the input frame is used as the exposure control value. Control the exposure and When the region of interest is not detected from the captured image, the exposure is set to the exposure control value of the set region exposure target value calculated based on the set region photometric value obtained from the second photometric region predetermined in the input frame.
  • the exposure compensation value is obtained based on the attention area exposure target value before the time when the attention area is lost, and the setting is made.
  • An imaging control method in which exposure control is performed by an exposure control value obtained by correcting a region exposure target value with the exposure compensation value.
  • a program that can be read by a computer device As a function related to exposure control performed based on the information of the region of interest detected from the captured image by the region of interest detector.
  • the exposure control value of the region of interest calculated based on the photometric value of the region of interest obtained from the first photometric region including at least the region of interest in the input frame is used as the exposure control value.
  • the exposure is set to the exposure control value of the set region exposure target value calculated based on the set region photometric value obtained from the second photometric region predetermined in the input frame.
  • the exposure compensation value is obtained based on the attention area exposure target value before the time when the attention area is lost, and the setting is made.
  • Image sensor 11 Lens system 12 Image sensor 12a Image sensor 13 Camera signal processing unit 14 Recording control unit 15 Display unit 16 Communication unit 17 Operation unit 18, 18A Camera control unit 19, 19A Memory unit 22 Driver unit 23 Sensor unit 24 Power supply Part 24a Battery F1 Focus area detection part F2 Exposure control part Af Face area As Specific area

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

本技術に係る撮像装置は、注目領域検出部により撮像画像から検出された注目領域の情報に基づいて露出制御を行う露出制御部を備え、露出制御部は、撮像画像から注目領域が検出されている場合には、入力フレームのうち少なくとも注目領域を含む第一測光領域から得られる注目領域測光値に基づき算出された注目領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき算出された設定領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されなくなった注目領域ロスト時から継続して注目領域が検出されない所定期間は、注目領域ロスト時前の注目領域露出目標値に基づいて露出補正値を求め、設定領域露出目標値を露出補正値で補正して得られる露出制御値により露出制御を行うものである。

Description

撮像制御装置、撮像制御方法、プログラム
 本技術は撮像装置に関し、撮像のための設定に関する。
 撮像装置で撮像した画像についての露出制御など、各種の撮像に関する処理を行う技術が知られている。
特開2018-33013号公報
 ここで、撮像装置における露出制御としては、被写体の顔領域が適正な明るさとなるように露出制御を行う顔AE(Auto Exposure)の技術がある。
 しかしながら、顔AEについては、顔が検出されていることを前提とした制御であることから、被写体が横を向くなどして顔が検出されなくなると、適正な露出制御を行うことができなくなる虞があった。
 そこで本開示では、撮像装置の露出制御について機能向上を図る技術を提案する。
 本技術に係る撮像制御装置は、注目領域検出部により撮像画像から検出された注目領域の情報に基づいて露出制御を行う露出制御部を備え、前記露出制御部は、撮像画像から注目領域が検出されている場合には、入力フレームのうち少なくとも注目領域を含む第一測光領域から得られる注目領域測光値に基づき算出された注目領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき算出された設定領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されなくなった注目領域ロスト時から継続して注目領域が検出されない所定期間は、注目領域ロスト時前の前記注目領域露出目標値に基づいて露出補正値を求め、前記設定領域露出目標値を前記露出補正値で補正して得られる露出制御値により露出制御を行うものである。
 ここで言う注目領域とは、撮像画像内における予め注目すべき対象として定められた物体が存在している領域を意味するものである。注目領域で対象とする物体の例としては、人や動物、植物、車、電車、飛行機、家具などの独立した物体や、独立した物体中の特定部位、例えば人における顔や手、車におけるナンバープレート等も含むものとなる。上記構成によれば、例えば顔AE(Auto Exposure)のように注目領域が適正な明るさとなるように露出制御が行われる場合において、注目領域をロストした場合には、その後の所定期間において、ロスト時前の注目領域露出目標値に基づき求めた露出補正値により設定領域露出目標値を補正して得られる露出制御値によって露出制御が行われる。ロスト後所定期間の露出制御値として、ロスト時前の注目領域露出目標値に基づく露出補正値により設定領域露出目標値を補正して得た露出制御値を用いるので、該所定期間内に構図全体の明るさに変化がなければ、ロスト後においても、注目領域に存在していた被写体の明るさを適切に保持することが可能となると共に、該所定期間内に構図全体の明るさが変化しても、ロスト時前の注目領域露出目標値でAEロックした場合のように構図全体の明るさ変化に追従できなくなるといった事態が生じないように図ることが可能となる。
 上記した本技術に係る撮像制御装置においては、前記露出補正値は、前記注目領域ロスト時前の前記設定領域露出目標値と前記注目領域ロスト時前の前記注目領域露出目標値との関係を示す値である構成とすることが可能である。
 これにより、注目領域ロスト後の所定期間は、注目領域ロスト時前における設定領域露出目標値と注目領域露出目標値との関係を再現するように、設定領域露出目標値を露出目標値により補正することが可能となる。
 上記した本技術に係る撮像制御装置においては、前記露出制御部は、前記所定期間において、前記設定領域露出目標値と前記露出補正値による補正後の前記設定領域露出目標値とが有する特定の数値的関係を、前記注目領域ロスト時前の前記設定領域露出目標値と前記注目領域ロスト時前の前記注目領域露出目標値とが有する前記特定の数値的関係と同等とするように求めた前記露出補正値によって露出制御を行う構成とすることが可能である。
 ここで言う「特定の数値的関係」とは、二つの数値が有する数値的関係のうち特定の数値的関係を意味するものであり、「数値的関係」とは、二つの数値間の差分や比率等といった数値的な関係を意味するものである。上記構成によれば、注目領域ロスト後の所定期間において、設定領域露出目標値と露出補正値による補正後の設定領域露出目標値との差分又は比率といった特定の数値的関係が、ロスト時前における設定領域露出目標値と注目領域露出目標値とが有する特定の数値的関係と同等となるように(関係を再現するように)露出制御が行われる。
 上記した本技術に係る撮像制御装置においては、前記露出補正値は、前記注目領域ロスト時前の前記設定領域露出目標値と前記注目領域ロスト時前の前記注目領域露出目標値との差分値である構成とすることが可能である。
 これにより、注目領域ロスト後の所定期間においては、設定領域露出目標値と露出補正値による補正後の設定領域露出目標値との差が、ロスト時前における設定領域露出目標値と注目領域露出目標値との差と等しくなるように露出制御が行われる。
 上記した本技術に係る撮像制御装置においては、前記露出制御部は、前記注目領域検出部によって撮像画像における特定領域の内外にそれぞれ注目領域が検出された場合において、前記露出補正値の算出に用いる前記注目領域露出目標値を、検出された注目領域のサイズ、数、位置の少なくとも何れかに基づき算出する構成とすることが可能である。
 特定領域外に検出された注目領域として、領域サイズが小さかったり、その数が少なかったり、特定領域内に検出された注目領域からの距離が離れていたりする場合は、当該注目領域についての露出目標値を露出補正値の算出にあたり考慮してしまうと、特定領域内に検出されていた注目領域の被写体の明るさを適切な明るさにできなくなる虞がある。
 上記した本技術に係る撮像制御装置においては、前記露出制御部は、前記特定領域外に検出された注目領域のサイズが基準サイズよりも大きい場合には、当該注目領域について算出された注目領域露出目標値を前記露出補正値の算出に用い、前記特定領域外に検出された注目領域のサイズが基準サイズよりも大きくない場合には、当該注目領域について算出される注目領域露出目標値を前記露出補正値の算出に用いない構成とすることが可能である。
 これにより、特定領域外に検出された注目領域について、そのサイズが大きく、注目領域ロスト後の設定領域露出目標値の補正において当該注目領域を無視できない場合には当該注目領域の露出目標値を露出補正値の算出に用いるようにし、逆にサイズが小さく注目領域ロスト後の設定領域露出目標値の補正において当該注目領域を無視できる場合には当該注目領域の露出目標値を露出補正値の算出に用いないようにすることが可能となる。
 上記した本技術に係る撮像制御装置においては、前記基準サイズは、前記特定領域内に検出された注目領域のサイズである構成とすることが可能である。
 これにより、特定領域外に検出された注目領域の露出目標値を露出補正値の算出に用いるか否かの判定が、特定領域内/外に検出された注目領域の相対的なサイズ関係に基づき行われる。
 上記した本技術に係る撮像制御装置においては、前記露出制御部は、前記特定領域外に検出された注目領域の数が閾値よりも大きい場合には、前記特定領域外に検出された注目領域について算出された注目領域露出目標値を前記露出補正値の算出に用い、前記特定領域外に検出された注目領域の数が前記閾値よりも大きくない場合には、前記特定領域外に検出された注目領域について算出される注目領域露出目標値を前記露出補正値の算出に用いない構成とすることが可能である。
 これにより、特定領域外に検出された注目領域について、その数が多く、注目領域ロスト後の設定領域露出目標値の補正において特定領域外の注目領域を無視できない場合には当該注目領域の露出目標値を露出補正値の算出に用いるようにし、逆に数が少なく注目領域ロスト後の設定領域露出目標値の補正において特定領域外の注目領域を無視できる場合には当該注目領域の露出目標値を露出補正値の算出に用いないようにすることが可能となる。
 上記した本技術に係る撮像制御装置においては、前記露出制御部は、前記特定領域外に検出された注目領域として、前記特定領域内に検出された注目領域と一定距離内となる注目領域がある場合は、当該注目領域について算出された注目領域露出目標値を前記露出補正値の算出に用い、前記特定領域内に検出された注目領域と一定距離内となる注目領域がない場合は、前記特定領域外に検出された注目領域について算出される注目領域露出目標値を前記露出補正値の算出に用いない構成とすることが可能である。
 これにより、特定領域外に検出された注目領域について、特定領域内の注目領域との距離が近い注目領域、換言すれば、当該注目領域の露出目標値を露出補正値の算出に用いなかった場合に生じる特定領域内の注目領域との明るさの差が目立ち易い注目領域については、当該注目領域の露出目標値を露出補正値の算出に用いるようにし、逆に特定領域内の注目領域との距離が遠く、上記の明るさの差が目立ち難い注目領域については、当該注目領域の露出目標値を露出補正値の算出に用いないようにすることが可能となる。
 上記した本技術に係る撮像制御装置においては、前記露出制御部は、前記注目領域検出部により検出された注目領域のサイズに基づき前記所定期間を変化させる構成とすることが可能である。
 例えば、注目領域のサイズが小さい場合は、構図として注目領域以外の領域が支配的となり、仮に、所定期間、すなわち露出補正値を用いた露出制御期間が長いと、注目領域以外の領域の露出が適切でない期間が長くなる虞がある。換言すれば、構図全体として不自然な露出の状態が長く続いてしまう虞がある。上記のように注目領域のサイズに応じて所定期間を変化させるものとすれば、注目領域のサイズが小さい場合に所定期間を短くすることが可能となり、構図全体として不自然な露出の状態が長く継続してしまうことの防止を図ることが可能となる。
 上記した本技術に係る撮像制御装置においては、前記露出制御部は、前記注目領域検出部により検出された注目領域の数に基づき前記所定期間を変化させる構成とすることが可能である。
 例えば、注目領域の数が少ない場合は、構図として注目領域以外の領域が支配的となり、仮に、所定期間、すなわち露出補正値を用いた露出制御期間が長いと、注目領域以外の領域の露出が適切でない期間が長くなる虞がある、換言すれば、構図全体として不自然な露出の状態が長く続いてしまう虞がある。上記のように注目領域の数に応じて所定期間を変化させるものとすれば、注目領域の数が少ない場合に所定期間を短くすることが可能となり、構図全体として不自然な露出の状態が長く継続してしまうことの防止を図ることが可能となる。
 上記した本技術に係る撮像制御装置においては、前記露出制御部は、一定時間内における注目領域のロスト回数に基づき前記所定期間を変化させる構成とすることが可能である。
 例えば、注目領域の一定時間内におけるロスト回数が多いと言うことは、注目領域が人の顔領域である場合には、顔が後ろを向いたり振り返ったりする頻度が高いということになり、ロストした注目領域はその後直ぐに再検出される可能性が高いと言える。上記構成によれば、このようにロスト頻度が高い場合に対応して所定期間、すなわち露出補正値を用いた露出制御期間を短くすることが可能となる。
 上記した本技術に係る撮像制御装置においては、前記露出制御部は、ユーザ操作に基づき前記所定期間を変化させる構成とすることが可能である。
 これにより、注目領域ロスト後における露出補正値を用いた露出制御の継続時間をユーザの好みに合わせて設定可能となる。
 本技術に係る撮像制御方法は、注目領域検出部により撮像画像から検出された注目領域の情報に基づいて露出制御を行う撮像制御装置が、撮像画像から注目領域が検出されている場合には、入力フレームのうち少なくとも注目領域を含む第一測光領域から得られる注目領域測光値に基づき算出された注目領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき算出された設定領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されなくなった注目領域ロスト時から継続して注目領域が検出されない所定期間は、注目領域ロスト時前の前記注目領域露出目標値に基づいて露出補正値を求め、前記設定領域露出目標値を前記露出補正値で補正して得られる露出制御値により露出制御を行う撮像制御方法である。
 このような情報処理方法によっても、上記した本技術に係る情報処理装置と同様の作用が得られる。
 本技術に係るプログラムは、コンピュータ装置が読み取り可能なプログラムであって、注目領域検出部により撮像画像から検出された注目領域の情報に基づいて行う露出制御に関する機能として、撮像画像から注目領域が検出されている場合には、入力フレームのうち少なくとも注目領域を含む第一測光領域から得られる注目領域測光値に基づき算出された注目領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき算出された設定領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されなくなった注目領域ロスト時から継続して注目領域が検出されない所定期間は、注目領域ロスト時前の前記注目領域露出目標値に基づいて露出補正値を求め、前記設定領域露出目標値を前記露出補正値で補正して得られる露出制御値により露出制御を行う機能、を前記コンピュータ装置に実現させるプログラムである。
 このようなプログラムにより、上記した本技術に係る情報処理装置が実現される。
本技術の実施形態の撮像制御装置の平面図、正面図、側面図、背面図である。 実施形態の撮像制御装置の内部構成のブロック図である。 実施形態としての露出制御に係る機能構成を示した機能ブロック図である。 実施形態としての露出制御による作用を撮像画像の見た目により模式的に表す図である。 実施形態としての露出制御の作用についての説明図である。 同じく、実施形態としての露出制御の作用についての説明図である。 第一実施形態としての露出制御を実現するための具体的な処理手順の例を示したフローチャートである。 図7に示す顔露出補正値の算出処理のフローチャートである。 第二実施形態としての露出制御の説明図である。 第二実施形態としての露出制御を実現するための具体的な処理手順例を示したフローチャートである。 第二実施形態としての露出制御の別例についての説明図である。 実施形態における動画撮像時の美肌効果処理の流れを示した図である。 実施形態としての美肌効果処理を実現するための撮像装置の構成例の説明図である。 実施形態としての美肌効果処理を実現するための処理手順例を示したフローチャートである。 実施形態における美肌効果処理のスムージング処理についての説明図である。 実施形態におけるスムージング処理についてのタイミングチャートである。 美肌効果の強度の説明図である。
 以下、実施形態を次の順序で説明する。
<1.第一実施形態>
(1-1.撮像装置の構成)
(1-2.注目領域ロスト時のAE制御)
(1-3.処理手順)
<2.第二実施形態>
<3.動画美肌効果機能>
<4.変形例>
<5.プログラム>
<6.実施形態のまとめ>
<7.本技術>
<1.第一実施形態>
(1-1.撮像装置の構成)
 図1は、本技術に係る撮像制御装置の一実施形態である撮像装置1の平面図、正面図、側面図、背面図を示している。
 撮像装置1は、いわゆるデジタルカメラとされ、静止画撮像と動画撮像の両方を実行できるものとする。
 撮像装置1は、カメラ本体を構成する本体筐体100の前方側にレンズ部102が配置される。撮像時には前面側のシャッターが開かれ、撮像のためのレンズが露出する。
 撮像装置1の背面側(使用者側)には、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスによる表示パネル101が設けられる。
 この例では、表示パネル101は軸部101aで開閉及び回動可能に保持されており、いわゆるバリアングルタイプの表示パネルとされている。図では表示パネル101は表示面が表出されていない状態を示している。
 ユーザは表示パネル101により、撮像時の画像や再生時の画像、及び各種情報を視認することができる。
 撮像装置1の本体筐体100上には、各種の操作子110が設けられている。
 例えば操作子110としては、キー、ダイヤル、押圧/回転の複合操作子などの各種の形態のものが配備され、各種の操作機能を実現している。例えばメニュー操作、再生操作、モード選択操作、フォーカス操作、ズーム操作、シャッタースピードやF値等のパラメータの選択操作などが可能とされる。
 それぞれの操作子110に関しての詳述は避けるが、本実施形態の場合、本体筐体100の上面側には、シャッターボタン110S、録画ボタン110Rを含むいくつかの操作子110が配置される。
 この場合に、録画ボタン110Rが比較的大型のボタンとされ、操作がしやすいものとされる。例えば録画ボタン110Rは、シャッターボタンと110Sと略同等のサイズである。
 例えば本体筐体100の上面側に設けられる操作子110のうちで、シャッターボタンと110Sが最も大きく、録画ボタン110Rが2番目に大きい操作子とされる。この逆でもよい。或いは同サイズでもよい。
 いずれにしても録画ボタン110Rが上面側で大きなサイズの操作子とされることで、例えば動画投稿者が、撮像装置1を机上等に置いて撮像を行う場合に、操作が容易なものとなる。
 操作子110の一つとして、カスタムボタン110C1,110C2を示している。
 カスタムボタン110C1,110C2はアサイナブルボタンとも呼ばれる操作子で、初期状態で所定の操作機能が割り当てられているとともに、ユーザが任意の操作機能を割り当てることのできるボタンである。
 なお、カスタムボタンは二つに限らず、1個でもよいし、3以上設けられてもよい。
 撮像装置1の内部構成例を図2で説明する。
 撮像装置1は、例えばレンズ系11、撮像素子部12、カメラ信号処理部13、記録制御部14、表示部15、通信部16、操作部17、カメラ制御部18、メモリ部19、ドライバ部22、センサ部23、電源部24を有する。
  レンズ系11は、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系11により、被写体からの光(入射光)が導かれ撮像素子部12に集光される。
 撮像素子部12は、例えば、CMOS(Complementary Metal Oxide Semiconductor)型やCCD(Charge Coupled Device)型などのイメージセンサ12a(撮像素子)を有して構成される。
  この撮像素子部12では、イメージセンサ12aで受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部13やカメラ制御部18に出力する。
 カメラ信号処理部13は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。このカメラ信号処理部13は、撮像素子部12からのデジタル信号(撮像画像信号)に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部13は、前処理、同時化処理、YC生成処理、解像度変換処理、ファイル形成処理等を行う。
  前処理では、撮像素子部12からの撮像画像信号に対して、R,G,Bの黒レベルを所定のレベルにクランプするクランプ処理や、R,G,Bの色チャンネル間の補正処理等を行う。
  同時化処理では、各画素についての画像データが、R,G,B全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
  YC生成処理では、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する。
  解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
 ファイル形成処理では、例えば以上の各種処理が施された画像データについて、例えば記録用や通信用の圧縮符号化、フォーマティング、メタデータの生成や付加などを行って記録用や通信用のファイル生成を行う。
 例えば静止画ファイルとしてJPEG、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の形式の画像ファイルの生成を行う。またMPEG-4準拠の動画・音声の記録に用いられているMP4フォーマットなどとしての画像ファイルの生成を行うことも考えられる。
 なお、ロー(RAW)画像データとして画像ファイルを生成することも考えられる。
 カメラ信号処理部13は、メタデータについては、カメラ信号処理部13内の処理パラメータの情報や、カメラ制御部18から取得する各種制御パラメータ、レンズ系11や撮像素子部12の動作状態を示す情報、モード設定情報、撮像環境情報(日時や場所など)、撮像装置自体の識別情報、装着レンズの情報、あらかじめ登録されたカメラマンの情報(氏名、識別情報)、IPTC(International Press Telecommunications Council)メタデータなどを含むものとして生成する。
 なおIPTCメタデータは、メディア企業団体が策定したフォーマットによるメタデータであり、例えば「ディスクリプション/キャプション」「ディスクリプションライター」「ヘッドライン」「キーワード」など、多様な情報を記述可能とされる。
 記録制御部14は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部14は例えば記録媒体に対し動画データや静止画データ等の画像やメタデータを記録する処理を行う。
  記録制御部14の実際の形態は多様に考えられる。例えば記録制御部14は、撮像装置1に内蔵されるフラッシュメモリとその書込/読出回路として構成されてもよい。また記録制御部14は、撮像装置1に着脱できる記録媒体、例えばメモリカード(可搬型のフラッシュメモリ等)に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記録制御部14は、撮像装置1に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
 表示部15は撮像者に対して各種表示を行う表示部であり、例えば撮像装置1の筐体に配置される液晶パネル(LCD:Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
 表示部15は、カメラ制御部18の指示に基づいて表示画面上に各種表示を実行させる。
 例えば表示部15は、記録制御部14において記録媒体から読み出された画像データの再生画像を表示させる。
 また表示部15にはカメラ信号処理部13で表示用に解像度変換された撮像画像の画像データが供給され、表示部15はカメラ制御部18の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中や動画記録中などの撮像画像である、いわゆるスルー画(被写体のモニタリング画像)が表示される。
 また表示部15はカメラ制御部18の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
  通信部16は、撮像装置1に搭載される各種の通信デバイスや通信処理回路を包括的に示している。
 通信部16による通信としては、外部通信網を経由した通信(外部ネットワーク通信)、携帯端末9とのローカル通信、さらにローカル通信の一態様として別の撮像装置1との間等の対応機器間のマスター/スレーブ通信を行うことができる各種通信回路、通信デバイスが設けられている。
  これにより撮像装置1は例えば外部の情報処理装置、撮像装置、表示装置、記録装置、再生装置等に対して撮像画像データ(静止画ファイルや動画ファイル)やメタデータ、各種パラメータ等の送受信を行う。
 より具体的に、通信部16は、ネットワーク通信部として、例えば4G、5G等の移動体通信網、インターネット回線、ホームネットワーク、LAN(Local Area Network)等による通信を行う機能や、ブルートゥース(Bluetooth:登録商標)、Wi-Fi(登録商標)通信、NFC(Near Field Communication)等の近距離無線通信を行う機能、赤外線通信等を行う機能、他の機器との有線接続通信を行う機能、などの一部又は全部が備えられる。
 操作部17は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部17は撮像装置1の筐体に設けられた各種の操作子(キー、ダイヤル、タッチパネル、タッチパッド等)を示している。
 操作部17によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部18へ送られる。
  カメラ制御部18はCPU(Central Processing Unit)を備えたマイクロコンピュータ(演算処理装置)により構成される。
 メモリ部19は、カメラ制御部18が処理に用いる情報等を記憶する。図示するメモリ部19としては、例えばROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを包括的に示している。
 メモリ部19はカメラ制御部18としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
 カメラ制御部18はメモリ部19のROMやフラッシュメモリ等に記憶されたプログラムを実行することで、撮像装置1の全体を制御する。
  例えばカメラ制御部18は、撮像素子部12のシャッタースピードの制御、カメラ信号処理部13における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系11の動作、ユーザインタフェース動作、通信部16による通信方式や送信先の設定など、必要各部の動作を制御する。
 また、特に本実施形態においてカメラ制御部18は、撮像画像について測光値に基づく露出制御を行う。なお、実施形態としての露出制御の詳細については後に改めて説明する。
 また、本例におけるカメラ制御部18は、撮像画像から注目領域を検出する処理を行うが、この注目領域やその検出処理についても後に改めて説明する。
 メモリ部19におけるRAMは、カメラ制御部18のCPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
  メモリ部19におけるROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア、各種の設定情報等の記憶に用いられる。
 各種の設定情報としては、通信設定情報や、撮像動作に関する設定情報としての露出設定(シャッタースピードやF値)、モード設定や、画像処理に係る設定情報としてのホワイトバランス設定、色設定、画像エフェクトに関する設定や、操作性に係る設定情報としてのカスタムキー設定や表示設定などがある。
 ドライバ部22には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
 これらのモータドライバはカメラ制御部18からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
 センサ部23は、撮像装置に搭載される各種のセンサを包括的に示している。
 センサ部23としては例えばIMU(inertial measurement unit:慣性計測装置)が搭載されており、例えばピッチ、ヨー、ロールの3軸の角速度(ジャイロ)センサで角速度を検出し、加速度センサで加速度を検出することができる。
 またセンサ部23としては、例えば位置情報センサ、照度センサ等が搭載される場合もある。
 またセンサ部23としては、測距センサを備えていることが想定される。測距センサにより撮像時に撮像装置1から被写体までの距離を測定し、その距離情報を撮像した画像に対するメタデータとして付加することができる。
 センサ部23で検出される各種情報、例えば位置情報、距離情報、照度情報、IMUデータなどは、カメラ制御部18が管理する日時情報とともに、撮像画像に対してメタデータとして付加される。
 電源部24は、バッテリー24aを電源として、各部に必要な電源電圧Vccを出力する。電源部24による電源電圧Vccの供給のオン/オフ、つまり撮像装置1の電源のオン/オフはカメラ制御部18によって制御される。またバッテリー24aの容量、つまりバッテリー残量はカメラ制御部18が検知可能とされている。
 なお電源部24は、例えばACアダプターを接続することや、直流電源電圧の供給を受けることで、外部電源に基づいて電源電圧Vccを出力できるようにされていてもよい。
(1-2.注目領域ロスト時のAE制御)
 図3は、カメラ制御部18が有する実施形態としての露出制御に係る機能構成を示した機能ブロック図である。
 図示のようにカメラ制御部18は、実施形態としての露出制御に係る機能構成として、注目領域検出部F1と露出制御部F2とを有している。
 注目領域検出部F1は、撮像素子部12による撮像画像から注目領域を検出する。
 ここで言う注目領域とは、撮像画像内における予め注目すべき対象として定められた物体が存在している領域を意味するものである。注目領域で対象とする物体の例としては、人や動物、植物、車、電車、飛行機、家具、交通信号機などの独立した物体や、独立した物体中の特定部位、例えば人における顔や手、車におけるナンバープレート等も含むものとなる。
 注目領域の検出手法としては、種々の手法が考えられる。一例を挙げれば、対象とする物体のテンプレート画像を用いたテンプレートマッチングにより注目領域を検出する手法を挙げることができる。或いは、例えばCNN(Convolutional Neural Network)等による画像認識AI(人工知能)エンジンを用いて撮像画像から注目領域を検出するということも可能である。
 ここで、以下では一例として、注目領域検出部F1は、人の顔の領域を注目領域として検出するものとする。以下、人の顔の領域としての注目領域のことを「顔領域Af」と表記する。
 露出制御部F2は、注目領域検出部F1により撮像画像から検出された注目領域の情報に基づいて露出制御を行う。
 具体的に、本例における露出制御部F2は、撮像画像から顔領域Afが検出されている場合には、入力フレームのうち少なくとも顔領域Afを含む第一測光領域から得られる測光値に基づき、顔領域Afの露出目標値である「顔露出目標値」を算出し、該顔露出目標値を露出制御値とした露出制御を行う。
 ここで、上記の第一測光領域は、本例では顔領域Afと同じ領域であるとする。なお、第一測光領域は、入力フレームにおける顔領域Afの背景領域等、顔領域Af以外の領域を含んでもよく、少なくとも入力フレームのうち顔領域Afを含む領域とされればよい。例えば、顔露出目標値は、顔領域Afから得られる測光値と、フレーム全体(構図全体)から得られる測光値とに基づき求めることもできる。これにより、構図全体が明るく(又は暗く)なり過ぎてしまうことの防止を図ることができる。
 以下、上記のように顔領域Afが検出されている場合において、顔露出目標値を露出制御値として露出制御を行う機能のことを「顔AE機能」と表記する。
 なお、上記の露出目標値や露出制御値等、本明細書で扱う「露出」の値は、少なくともシャッタースピードと絞り値(F値)との組み合わせを示す値であるとする。
 なお、露出制御部F2は、撮像画像から顔領域Afが検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき「設定領域露出目標値」を算出し、該設定領域露出目標値を露出制御値とした露出制御を行う。
 ここで、上記の第二測光領域は、測光モードによって定まるものである。測光モードとしては、例えば、フレーム内を多分割して測光し、全体のバランスをとって露出を制御するマルチ測光モードと、フレーム中央部に重点をおいて測光し、中央部付近の明るさを基準として露出を定める中央重点測光モードと、フレーム内から指定された一部領域の測光値に基づいて露出制御を行うスポット測光モードとを挙げることができる。
 第二測光領域は、測光モードがマルチ測光モード、中央重点測光モードであれば、フレームの全体領域となり、測光モードがスポット測光モードである場合には上記指定された一部領域となる。
 以下の説明では、測光モードはマルチ測光モード、中央重点測光モードの何れかとされ、「第二測光領域」はフレームの全体領域であるものとする。
 ここで、一般的な顔AE機能では、例えば被写体としての人物が横を向く等して顔を検出できなくなった場合には、露出制御として、構図全体を対象とした露出制御に切り替えられる。すなわち、構図全体についての露出目標値である「全体露出目標値」を露出制御値とした露出制御に切り替えられる。このため、顔を検出できなくなった場合には、顔が暗くなってしまうという問題があった。
 このような問題への対策としては、顔を検出できなくなっても、一定期間は顔検出時の明るさに固定するということが考えられる。明るさを固定する手法としては、AEロックする手法もあるが、構図全体の明るさが大きく変化した場合に、明るさが追従できずに、露出オーバーまたはアンダーになってしまうという問題が生じる虞がある(図4A、図4Bを参照)。
 そこで、本実施形態では、顔検出時における顔露出目標値に固定するという手法は採らず、顔露出目標値に基づく露出補正値(以下「顔露出補正値」と表記する)を算出し、顔露出補正値を所定期間維持する(キープする)という露出制御手法を採る。
 具体的に、露出制御部F2は、撮像画像から顔領域Afが検出されなくなった顔領域ロスト時から継続して顔領域Afが検出されない所定期間は、顔領域ロスト時前の顔露出目標値に基づいて顔露出補正値を求め、全体露出目標値を顔露出補正値で補正して得られる露出制御値により露出制御を行う。
 本例において露出制御部F2は、上記の顔露出補正値として、顔領域ロスト時前の全体露出目標値と顔領域ロスト時前の顔露出目標値との関係を示す値を求める。具体的に、露出制御部F2は顔露出補正値として、顔領域ロスト時前の全体露出目標値と顔領域ロスト時前の顔露出目標値との差分値を求める。
 ここで、顔領域ロスト時前の顔露出目標値、顔領域ロスト時前の全体露出目標値としては、それぞれ、顔領域Afをロストしたフレームの直前フレームにおいて算出した顔露出目標値、全体露出目標値を用いることが考えられる。或いは、該直前フレームから所定フレーム数前のフレームまでの露出目標値の平均値を用いることも考えられる。
 顔領域ロスト時前の顔露出目標値、顔領域ロスト時前の全体露出目標値としては、顔領域Afをロストしたフレームの直前フレーム、或いは、該直前フレームの近傍となるフレーム(過去側に近傍となるフレーム)において求めた顔露出目標値、全体露出目標値に基づくものであればよい。
 以下では、顔領域ロスト時前の顔露出目標値、顔領域ロスト時前の全体露出目標値は、それぞれ顔領域Afをロストしたフレームの直前フレームにおいて算出した顔露出目標値、全体露出目標値であるとする。
 本例において、顔露出補正値は、『「顔領域ロスト時前の顔露出目標値」-「顔領域ロスト時前の全体露出目標値」』として求めるものとする。
 この場合、顔領域Afをロストしたタイミングから所定期間は、全体露出目標値に対し顔露出補正値を加算する補正を行い、該補正により得られる露出制御値により露出制御を行う。
 図5及び図6は、上記のような実施形態としての露出制御の作用についての説明図である。
 上記のような露出制御を行うことで、顔領域Afの背景の明るさに変化がなければ、図5に示すように、顔検出が検出(図中「D」)、非検出(図中「L」)を繰り返しても、顔露出補正値による補正がキープされるので、顔(横顔、或いは後ろを向いていれば頭部)の明るさを適正な明るさでキープすることができる。
 また、顔領域ロスト後の所定期間において、全体露出目標値を顔露出補正値(顔領域ロスト時前の全体露出目標値と顔領域ロスト時前の顔露出目標値との関係を示す値)で補正するという手法を採ることで、図6A及び図6Bに示すように、顔ロスト後に構図全体の明るさが変化しても、その明るさの変化に追従することができる。具体的には、図6Aのように顔ロスト後に構図全体が明るくなって全体露出目標値が低下する方向に変化しても、該変化に追従することができる。また、図6Bのように顔ロスト後に構図全体が暗くなって全体露出目標値が高まる方向に変化しても、該変化に追従することができる。
 顔ロスト時から所定期間のキープ後は、顔露出補正値による露出補正が解除されることで、構図全体の明るさが適正となるように露出制御が行われる。
 なお、先の図4では、図4Aから図4Cへの遷移により、本実施形態としての露出制御による作用を撮像画像の見た目により模式的に表している。
 上記のように本実施形態の露出制御によれば、顔をロストした場合において、顔の明るさと構図全体の明るさの双方を考慮した適正な露出制御を実現することができ、露出制御の機能向上を図ることができる。
(1-3.処理手順)
 図7及び図8のフローチャートを参照し、上記により説明した第一実施形態としての露出制御を実現するための具体的な処理手順の例を説明する。
 なお、これら図7及び図8に示す処理は、本例ではカメラ制御部18が実行する。カメラ制御部18は、図7に示す一連の処理を撮像素子部12で得られる撮像画像のフレームごとに繰り返し実行する。
 図7において、カメラ制御部18はステップS101で、全体露出目標値の算出を行う。すなわち、入力フレームにおける上述した第二測光領域(本例では入力フレームの全体領域)の測光値に基づいて、全体露出目標値を算出する。
 ステップS101に続くステップS102でカメラ制御部18は、顔検出情報の取得処理を行う。すなわち、注目領域検出部F1としての機能により検出した顔領域Afの情報(少なくとも入力フレーム内における位置及び範囲(サイズ)の情報)を取得する処理を行う。
 ステップS102に続くステップS103でカメラ制御部18は、顔露出補正値の算出処理を実行する。本例において、この顔露出補正値の算出処理は、顔領域Afが複数検出された場合にも対応可能な処理とされている。
 図8は、ステップS103で実行される顔露出補正値の算出処理のフローチャートである。
 図示のように顔露出補正値の算出処理において、カメラ制御部18は先ずステップS201で、処理対象顔識別子nを「1」にセットする。処理対象顔識別子nは、当該顔露出補正値の算出処理で処理対象とする顔領域Afを識別するための値である。
 ここで、図示による説明は省略するが、カメラ制御部18は、新たに顔領域Afが検出されるごとに、該新たに検出された顔領域Afを処理対象顔識別子nにより管理する。具体的には、新たな処理対象顔識別子nを付して管理する。
 ステップS201に続くステップS202でカメラ制御部18は、n番目の顔(顔領域Af)は検出状態か否かを判定する。ステップS202において、n番目の顔領域Afが検出状態であれば、カメラ制御部18はステップS203に進み、顔AE許可フラグをONとし、続くステップS204でキープカウンタの設定処理を行う。
 顔AE許可フラグは、検出された顔領域Afについての状態管理フラグであり、具体的には、対象とする顔領域Afについて、検出から図6で説明した所定期間(キープ期間)が経過するまでの間の状態にあるか否かを識別するためのフラグとなる。
 ステップS204のキープカウンタの設定処理は、キープ期間としての所定期間を定めるためのカウンタを設定する処理である。キープカウンタの値は、後述するステップS208の処理によりフレームごとにデクリメントされ、ステップS207で「0」に達したか否かが判定されることで、キープ期間の経過判定が行われる。キープ期間が経過した場合、後述するステップS209で顔AE許可フラグがOFFとされる。
 本例において、カメラ制御部18は、キープカウンタの値として予め定められた固定値を設定する。この場合、キープ期間は固定の期間とされる。
 ステップS204に続くステップS205でカメラ制御部18は、n番目の顔の露出目標値(顔露出目標値)を算出する。そして、続くステップS206でカメラ制御部18は、顔検出時の顔露出補正値を算出する。具体的に、本例では、『「現フレームの顔露出目標値」-「現フレームの全体露出目標値」』を顔検出時の顔露出補正値として算出する。確認のため述べておくと、「現フレームの顔露出目標値」は、ステップS205で算出した露出目標値であり、「現フレームの全体露出目標値」は図7のステップS101で算出した露出目標値である。
 このように検出中の顔領域Afについては、「現フレームの顔露出目標値」と「現フレームの全体露出目標値」とに基づき、顔検出時の顔露出補正値が算出される。後述するように、顔領域Afが複数検出されている場合には、それらについて算出された顔検出時の顔露出補正値が平均化され、全体露出目標値の補正に用いられる(図7のステップS104、S105参照)。
 ステップS206の算出処理を実行したことに応じ、カメラ制御部18はステップS213に処理を進めて、処理対象顔識別子nが最大値N以上であるか否かを判定する。ここで、最大値Nは、処理対象顔識別子nが付された顔領域Afの総数である。
 ステップS213において、処理対象顔識別子nが最大値N以上でなければ、カメラ制御部18はステップS214に進んで処理対象顔識別子nを1インクリメントし、ステップS202に戻る。
 ステップS202において、n番目の顔が検出状態でないと判定した場合、カメラ制御部18はステップS207に進み、キープカウンタ>0であるか否か、すなわちキープカウンタの値が0より大きいか否かを判定する。キープカウンタ>0であれば、カメラ制御部18はステップS208に進み、キープカウンタの値をデクリメント(例えば1デクリメント)し、ステップS210に処理を進める。この場合、n番目の顔領域Afの顔AE許可フラグはON状態を継続する。
 一方、キープカウンタの値が0より大きくなければ、カメラ制御部18はステップS209に進んで顔AE許可フラグをOFFとし、ステップS210に処理を進める。
 ステップS210でカメラ制御部18は、顔AE許可フラグがONであるか否かを判定する。これは、n番目の顔領域Afについて、ロスト後のキープ期間の経過前か否かを判定していることに相当する。
 ステップS210において、顔AE許可フラグがONであれば、カメラ制御部18はステップS211に進み、キープ時の顔露出補正値を算出する。具体的に本例では、『「ロスト時前の顔露出目標値」-「ロスト時前の全体露出目標値」』をキープ時の顔露出補正値として算出する。確認のため述べておくと、ここで言う「ロスト時」は、n番目の顔領域Afのロスト時を意味するものである。
 ステップS211の算出処理を実行したことに応じ、カメラ制御部18は前述したステップS213に処理を進める。
 一方、ステップS210において、顔AE許可フラグがONでないと判定した場合、カメラ制御部18はステップS212に進み、顔露出補正値として「0」を設定し、ステップS213に処理を進める。このように顔AE許可フラグがOFFとなった顔領域Af、すなわちキープ期間が経過した顔領域Afについては、その顔露出目標値が現フレームの全体露出目標値の補正に用いられないものとなる。
 カメラ制御部18は、ステップS213で処理対象顔識別子nが最大値N以上であると判定したことに応じ、図8に示す一連の処理を終える。
 上記のような図8の一連の処理により、検出中の顔領域Afについては、「現フレームの顔露出目標値」と「現フレームの全体露出目標値」とに基づき顔検出時の顔露出補正値が算出され(S206)、ロスト後所定期間内の顔領域Afについては、「ロスト時前の顔露出目標値」と「ロスト時前の全体露出目標値」とに基づきキープ時の顔露出補正値が算出される(S211)。
 説明を図7に戻す。
 図7において、カメラ制御部18は、ステップS103で顔露出補正値の算出処理を実行したことに応じ、ステップS104で平均顔露出補正値の算出を行う。すなわち、ステップS103で算出した顔露出補正値(検出時及びキープ時を含む)の平均値を算出する。なお、処理対象顔識別子nで管理される顔領域Afが一つのみの場合、ステップS104では、当該顔領域Afについて算出した顔露出補正値を平均顔露出補正値とする。
 そして、ステップS104に続くステップS105でカメラ制御部18は、露出制御値の算出処理として、『「全体露出目標値」+「平均顔露出補正値」』による露出制御値を算出する処理を行う。
 カメラ制御部18はステップ105の処理を実行したことに応じて図7に示す一連の処理を終える。
 上記した一連の処理により、全ての顔領域Afが検出状態であれば、該全ての顔領域Afについて求められた検出時の顔露出補正値の平均値により、現フレームの全体露出目標値が補正され、補正後の全体露出目標値を露出制御値とした露出制御が行われる。
 また、全ての顔領域Afがロスト後のキープ期間内であれば、該全ての顔領域Afについて求められたキープ時の顔露出補正値の平均値により、現フレームの全体露出目標値が補正され、補正後の全体露出目標値を露出制御値とした露出制御が行われる。
 さらに、検出状態とロスト後キープ期間内の顔領域Afが混在している場合には、検出状態の顔領域Afについては検出時の顔露出補正値が算出され、またロスト後キープ期間内の顔領域Afについてはキープ時の顔露出補正値が算出され、これら検出時、キープ時の顔露出補正値の平均値により、現フレームの全体露出目標値が補正され、補正後の全体露出目標値を露出制御値とした露出制御が行われる。
 なお、上記のように検出状態の顔領域Afが混在する場合であっても、ロスト後キープ期間内の顔領域Afについては、キープ時の顔露出補正値、すなわち「ロスト時前の顔露出目標値」と「ロスト時前の全体露出目標値」とに基づき算出された顔露出補正値に基づいて全体露出目標値が補正されることに変わりはない。
<2.第二実施形態>
 続いて、第二実施形態について説明する。第二実施形態は、複数の顔領域Afが検出された場合において、顔露出補正値の算出に用いる顔露出目標値を、検出された顔領域Afのサイズ、数、位置の少なくとも何れかに基づき算出するものである。
 なお、第二実施形態において、撮像装置1のハードウエア構成は第一実施形態の場合と同様となるため重複説明は避ける。
 また、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
 図9Aでは、撮像画像のフレーム中央部に位置する比較的大きめの顔領域Afが日向に位置し、フレーム端部付近に位置する比較的小さめの顔領域Afが日陰に位置している構図を例示している。一般的に、フレーム内に「人」などの同種の被写体が複数捉えられている場合において、図9Aの例のようにフレーム中央部に比較的大きめの被写体があり、フレーム端部付近に比較的小さめの被写体がある場合には、構図的に、フレーム中央部の被写体が主要な被写体であると言える。
 図9Aのケースの構図において、顔露出補正値の算出にフレーム端部付近の顔領域Afの顔露出目標値が用いられてしまうと、該フレーム端部付近の小顔は暗いため、顔露出補正値が大きくなってしまい、露出オーバーとなる虞がある。
 そこで、撮像画像について、画像内の領域のうち主要被写体が捉えられることが推定される領域を特定領域Asとして定め、特定領域As外にある顔領域Afについては、その顔露出目標値が顔露出補正値の算出に用いられないようにする(図9B参照)。これにより、特定領域As内に検出された顔領域Af、すなわち構図的に主要とされる被写体領域の露出目標値のみを用いて露出補正値を算出することができ、適切な露出制御を実現することができる。
 本例では、特定領域Asは、撮像画像内の領域のうち画像中心を含む矩形の一部領域として定めている。より具体的に、特定領域Asは、その中心が画像中心と一致し、撮像画像全体に対する面積比率が少なくとも1/2以上となるサイズに設定されている。
 なお、特定領域Asの位置やサイズについてはこれに限定されない。特定領域Asは、構図的に主要被写体が捉えられることが推定される位置やサイズに定めればよいものであり、撮像画像の中央から上下左右の少なくとも何れかの方向にオフセットされた位置に設定することも可能である。また、サイズについても撮像画像全体に対する面積比率が1/2以下であってもよい。さらに、特定領域Asとしては位置やサイズが固定の領域とすることに限らず、例えばユーザ操作や画像解析の結果等に応じて位置やサイズを可変とすることもできる。
 図10は、上記により説明した第二実施形態としての露出制御を実現するための具体的な処理手順例を示したフローチャートである。
 なお、図10に示す処理は、先の図7に示した処理と同様、カメラ制御部18が撮像画像のフレームごとに繰り返し実行する。
 先ず、カメラ制御部18はステップS101の処理に続けてステップS102の処理を実行する。これらの処理については図7で説明したものと同様となるため重複説明は避ける。
 この場合のカメラ制御部18は、ステップS102で顔検出情報を取得したことに応じ、ステップS301の処理を実行する。ステップS301でカメラ制御部18は、特定領域As内の顔を処理対象顔に設定する処理を行う。すなわち、撮像画像内に検出された顔領域Afのうち特定領域As内に位置する顔領域Afのみを、ステップS103による顔露出補正値の算出処理で対象とする顔領域Afとして設定する。
 この場合のカメラ制御部18は、ステップS301の設定処理を実行したことに応じ、ステップS103に処理を進める。ステップS103以降、ステップS105までの処理については図7で説明したものと同様となるため重複説明は避ける。
 上記のような処理により、特定領域As外に検出された顔領域Afについては、ロスト前、ロスト後キープ期間の双方において、その顔露出目標値が顔露出補正値の算出に用いられないようにすることができる。これにより、特定領域As外に検出された主要でない被写体の明るさに起因して主要被写体の明るさが適切でなくなってしまうことの防止を図ることができ、適切な露出制御を実現することができる。
 ここで、上記では特定領域As外に検出された顔領域Afについては、その顔露出目標値を無条件に顔露出補正値の算出に用いないものとしたが、図11に例示するように、特定領域As外に検出された顔領域Afのサイズや数、位置に基づき、その顔露出目標値を顔露出補正値の算出に用いるか否かを定めるようにすることもできる。
 具体的には、図11Aに例示するように、特定領域As外に検出された顔領域Afのサイズが特定領域As内に検出された顔領域Afのサイズよりも大きい場合には、該特定領域As外に検出された顔領域Afの顔露出目標値を顔露出補正値の算出に用いるようにする。
 この場合、カメラ制御部18は、図10に示したステップS301の処理において、特定領域As外に検出された顔領域Afについて、特定領域As内に検出された顔領域Afとのサイズの大小判定を行い、その結果に基づき該特定領域As外に検出された顔領域Afを処理対象とするか否かを定める。すなわち、特定領域As外に検出された顔領域Afのサイズの方が大きければ、該顔領域Afを処理対象に設定し、特定領域As外に検出された顔領域Afのサイズの方が大きくなければ、該顔領域Afを処理対象として設定しない。
 なお、上記では特定領域As外に検出された顔領域Afのサイズ比較として、特定領域As内に検出された顔領域Afとのサイズ比較を行う例を挙げたが、特定領域As外の顔領域Afのサイズ比較は、少なくとも或る基準となるサイズ(基準サイズ)との比較として行えばよい。例えば、基準サイズとしては、或る固定のサイズであってもよいし、何らかの条件に応じて可変とされるサイズとしてもよい。
 また、図11Bに例示するように、特定領域As外に検出された顔領域Afの数が一定数以上の場合には、それら特定領域As外に検出された顔領域Afの顔露出目標値を顔露出補正値の算出に用いるようにすることもできる。
 この場合、カメラ制御部18は、図10に示したステップS301の処理において、特定領域As外に検出された顔領域Afの数が所定の閾値以上か否かを判定し、該数が該閾値以上であれば特定領域As外に検出された顔領域Afを処理対象に設定し、該数が該閾値以上でなければ特定領域As外に検出された顔領域Afを処理対象として設定しない。
 また、図11Cに例示するように、特定領域As外に検出された顔領域Afについて、特定領域As内に検出された顔領域Afとの距離が一定距離以内である場合には、該特定領域As外に検出された顔領域Afの顔露出目標値を顔露出補正値の算出に用いるようにする。
 この場合、カメラ制御部18は、図10に示したステップS301の処理において、特定領域As外に検出された顔領域Afについて、特定領域As内に検出された顔領域Afとの距離を算出し、該距離が一定距離以内であれば、該特定領域As外に検出された顔領域Afを処理対象に設定し、該距離が該一定距離以内でなければ該特定領域As外に検出された顔領域Afを処理対象として設定しない。
 なお、図11A~図11Cで説明した処理については組み合わせが可能である。例えば、特定領域As外に検出された顔領域Afについて、図11Bの検出数の条件を満たし、且つ図11Aのサイズ条件を満たすものについて、顔露出目標値を顔露出補正値の算出に用いるようにすることが考えられる。或いは、図11Cの距離の条件と図11Aのサイズ条件とを満たすものについて顔露出目標値を顔露出補正値の算出に用いるようにすること等も考えられる。
<3.動画美肌効果機能>
 続いて、撮像装置1が有する動画美肌効果機能について説明する。
 動画美肌効果機能は、静止画撮像時に行っていた美肌効果処理を、動画撮像時においてリアルタイムで行うものである。
 ここで、美肌効果処理は、被写体の顔について、肌を美しく見せる効果を付与する画像処理を意味するものであり、例えば、明るさ、コントラスト、色再現、ホワイトバランス、ノイズリダクションの少なくとも何れかの調整処理、或いはこれらのうちの全て又は一部の組み合わせについての調整処理として行われるものである。
 ノイズリダクション処理は、例えば、LPF(Low Pass Filter)のように高周波成分をカットする処理を含む処理となる。
 以下の説明では一例として、美肌効果処理はノイズリダクション処理であるとする。
 美肌効果処理を行うにあたっては、被写体の顔検出を行うが、顔領域Afの検出処理については既に説明済みであるため重複説明は避ける。
 動画撮像時において、顔領域Afが検出された際に、顔領域Afのみを対象として美肌効果処理を施す(図12Aから図12Cを参照)。
 このとき、美肌効果は、図中に顔検出領域として示す、顔領域Afの中心からの距離に応じて効果の強さを変えるようにして行うことができる。美肌効果は、顔中心に近い頬の部分に与えることが効果的とされる。また、顔中心から遠い位置で解像感の低下が大きくなると不自然な画像となってしまう虞がある。特に、髪の毛や顎の部分で解像感が低下すると不自然な画像となり易い。そのため、顔中心からの距離が遠い位置ほど美肌効果の強度を低減させることが考えられる。
 図13は、上記のように顔中心からの距離に応じて効果強度を変化させる美肌効果処理を実現するための撮像装置1の構成例の説明図である。
 なお、図1に示した撮像装置1との構成上の相違点は、カメラ制御部18に代えてカメラ制御部18Aが、メモリ部19に代えてメモリ部19Aがそれぞれ設けられる点である。このため図13では、これらカメラ制御部18Aとメモリ部19Aのみを抽出して示している。
 ここで、顔領域Afのサイズは一定ではなく、動画撮像中においてはサイズが変化し得る。顔領域Afのサイズが異なれば、美肌効果処理を効かせるべき頬等の面積も変化するため、顔中心からどの程度距離が離れたら美肌効果をどの程度低下させるべきかといった顔中心からの距離と美肌効果の強度との対応関係を変化させるべきである。
 このため、本例では、検出された顔領域Afのサイズに応じて、顔中心からの距離に応じた信頼度を定めた信頼度テーブル30と、信頼度と美肌効果処理の効果強度との対応関係を定めた効果強度テーブル31とを用いる。信頼度テーブル30では、顔領域Afのサイズごとに、顔領域Afの中心からの距離(画素数)と信頼度との対応関係を示す情報が格納されている。顔領域Afの中心から距離が離れるに従って美肌効果の強度を弱めるため、信頼度としては、顔領域Afの中心から距離が離れるに従って低くなるように定められる。
 また、効果強度テーブル31において、効果強度は、信頼度が高いほど高くなるように定められる。
 信頼度テーブル30及び効果強度テーブル31はメモリ部19Aに格納され、カメラ制御部18Aがこれら信頼度テーブル30、効果強度テーブル31の情報内容を参照可能とされる。
 カメラ制御部18Aは、前述した注目領域検出部F1と共に、美肌効果処理部F3としての機能を有している。
 美肌効果処理部F3は、注目領域検出部F1で検出された顔領域Afを対象として、美肌効果処理を施す。具体的に、美肌効果処理部F3は、検出された顔領域Afについて、信頼度テーブル30と効果強度テーブル31とに基づき画素ごとの効果強度を求め、求めた効果強度に従って美肌効果処理を施す。
 図14は、カメラ制御部18Aが美肌効果処理部F3として実行する処理のフローチャートである。なお、カメラ制御部18Aは図14に示す一連の処理を撮像画像のフレームごとに繰り返し実行する。
 先ず、カメラ制御部18AはステップS401の顔検出判定処理として、注目領域検出部F1により撮像画像から顔領域Afが検出されたか否かを判定する。顔領域Afが検出されていなければ、カメラ制御部18Aは図14に示す処理を終える。
 顔領域Afが検出されていれば、カメラ制御部18AはステップS402に進み、顔領域サイズを検出する。すなわち、検出された顔領域Afのサイズを検出する。
 ステップS402に続くステップS403でカメラ制御部18Aは、信頼度テーブル30に基づき顔領域サイズに応じた各画素の信頼度を取得する。すなわち、信頼度テーブル30において顔サイズごとに格納された対応関係情報、すなわち、顔領域Afの中心からの距離と信頼度との対応関係を示す情報のうち、検出した顔領域Afのサイズに対応した対応関係情報を参照して、当該顔領域Afの各画素の信頼度を取得する。
 ステップS403に続くステップS404でカメラ制御部18Aは、効果強度テーブル31に基づき各画素の効果強度を取得する。すなわち、ステップS403で取得した各画素の信頼度を元に、効果強度テーブル31から対応する強化強度を画素ごとに取得する。
 そして、ステップS404に続くステップS405は、顔領域Afに対する美肌効果処理として、顔領域Afに対しステップS404で取得した効果強度に従った美肌効果処理を施す。
 カメラ制御部18AはステップS405の処理を実行したことに応じて図14に示す一連の処理を終える。
 上記のような処理により、動画撮像中において、顔領域Afのサイズが変化した場合にも顔領域Afに対し適切に美肌効果処理を施すことができる。
 ここで、美肌効果処理については、顔領域Afがロストされたタイミングや検出されたタイミングをトリガとして、時間方向にスムージングフィルターをかけることも考えられる。
 具体的には、図15Aに示すように顔領域Afが検出されているフレームでは美肌効果処理を施し、その後、図15Bのように顔が横を向く等して顔領域Afが検出されなくなったフレームでは、時間方向において美肌効果が徐々に低下していくように美肌効果処理を施す。さらに、図15Cのように再度顔が検出された以降は、図15Cから図15Dの遷移として示すように、美肌効果を徐々に回復していく(徐々に効果強度を高めていく)。
 このとき、スムージングの対象は、明るさ、コントラスト、色再現、ホワイトバランス、ノイズリダクションの少なくとも何れか、或いはこれらのうちの全て又は一部の組み合わせとすることもできる。
 図16は、上記のようなスムージング処理についてのタイミングチャートを示している。
 図示のように顔領域Afが検出されたフレーム以降の所定数のフレームにおいては、美肌効果処理の効果強度を徐々に高めていく。顔領域Afの検出中は、フレームごとに検出される顔領域Afの位置を対象として美肌効果処理を施す。
 また、顔領域Afをロストしたフレーム以降のフレームでは、美肌効果処理の対象領域の位置をロスト直前の位置でキープしたまま、美肌効果処理の効果強度を徐々に低下させていく。
 なお、スムージングにおいて効果強度を徐々に変化させる際の効果強度の傾きは任意に設定可能である。この際、効果強度の上げ側(顔領域Af検出フレームからのスムージング)と下げ側(顔領域Afのロストフレームからのスムージング)とで、効果強度の傾きは共通とすることもできるし異なるものとすることもできる。
 ところで、美肌効果については、静止画と動画とで最適となる効果強度が異なるため、それぞれ独立した効果強度による美肌効果処理を施すことも考えられる。
 図17Aから図17Dは、美肌効果の強度の説明図であり、図17A→図17B→図17C→図17Dの順で美肌効果を徐々に強めていった例を示している。
 静止画の場合には、被写体の顔は静止しており、動画では被写体の顔が多少なりとも動くため、最適となる美肌効果の強度が異なるものである。具体的には、動画の場合には効果強度をより強めなければ美肌効果が知覚され難くなる傾向となるため、動画の場合は、静止画の場合よりも効果強度を強くした美肌効果処理を施す。例えば、動画および静止画の美肌効果の強度の設定が「強」、「弱」、「OFF」の三つあった場合において、動画における美肌効果の強度の設定の「強」と静止画における美肌効果の強度の設定の「強」を比較した際に、動画における美肌効果の強度の方を静止画における美肌効果の強度よりも強く設定する。美肌効果の強度の設定の「弱」においても同様である。このように同じ設定の場合は、動画における美肌効果の強度の方が静止画における美肌効果の強度よりも強く設定するのが好ましい。
 また、美肌効果処理は、ON/OFFだけでなく、ユーザの好みに応じた効果量を設定可能とすることもできる。
 なお、美肌効果処理について、前述した顔AEについてのキープ制御を同様に適用することも考えられる。具体的には、明るさ、コントラスト、色再現、ホワイトバランス、ノイズリダクションの少なくとも何れか、或いはこれらのうちの全て又は一部の組み合わせについて、顔領域の適正値に基づき算出した補正値と、構図全体の適正値とに基づいた調整処理を行うものである。
 ここで、美肌効果処理については、撮像状況を示す撮像状況情報に基づいて制御することもできる。
 撮像状況情報としては、自撮りをしているか否かを示す自撮り判定情報が含まれる。
 また、ここでの美肌効果処理の制御としては、例えば、美肌効果処理のONとOFFの切り替え制御、または美肌効果の強度の決定制御を挙げることができる。
 ユーザが自撮りをしていると判定されるときは、美肌効果処理をONまたは美肌効果の強度を高くする。
 ここで、「美肌効果の強度を高くする」は、「美肌効果の強度を所定値より高くする」または「自撮りをしていると判定されるときの方が、自撮りをしていないと判定されるときよりも、美肌効果の強度を高くする」ことを示す。
 一方、ユーザが自撮りをしていないと判定されるときは、美肌効果処理をOFFまたは美肌効果の強度を低くする。
 ここで、「美肌効果の強度を低くする」は、「美肌効果の強度を所定値より低くする」または「自撮りをしていないと判定されるときの方が、自撮りをしていると判定されるときよりも、美肌効果の強度を低くする」ことを示す。
 自撮り判定情報としては、下記の「情報例1」から「情報例8」による情報が例示されるが、「情報例1」から「情報例8」の情報のうちいずれか1つのみに基づいて美肌効果処理の制御を行ってもよいし、複数の自撮り判定情報に基づいて美肌効果処理の制御を行ってもよい。
 「情報例1」は、撮像装置1が固定されているか否かを示す撮像装置固定判定情報である。
 撮像装置固定判定情報は、以下に示す情報を含む。
 <1>撮像装置が三脚に接続されているか否かを示す三脚接続状況情報
 三脚接続状況情報が、撮像装置が三脚に接続されていることを示す場合は、美肌効果処理をONまたは美肌効果の強度を高くする。
 三脚接続状況情報が、撮像装置が三脚に接続されていることを示す場合は、美肌効果処理をOFFまたは美肌効果の強度を低くする。
 <2>撮像画像の変化を示す画像変化情報
 画像変化情報が、撮像画像の変化を示す値が所定以下であることを示す場合は、美肌効果処理をONまたは美肌効果の強度を高くする。
 画像変化情報が、撮像画像の変化を示す値が所定以上であることを示す場合は、美肌効果処理をOFFまたは美肌効果の強度を低くする。
 ここで撮像画像の変化は、例えば、現フレームと過去のフレーム(例えば、時間的に1フレーム前のフレーム)との相関に基づいて判断される。相関が一定以上である場合には画像の変化が閾値以内であり、相関が一定未満である場合には画像の変化が閾値より大きいと判断される。
 <3>撮像装置の姿勢を示す撮像装置姿勢情報
 ジャイロセンサーなどを用いて、撮像装置1の姿勢の変化を検出する。
 撮像装置姿勢情報が、撮像装置1の姿勢の変化が所定以下であることを示す場合は、美肌効果処理をONまたは美肌効果の強度を高くする。
 撮像装置姿勢情報が、撮像装置の姿勢の変化が所定以下であることを示す場合は、美肌効果処理をOFFまたは美肌効果の強度を低くする。
 「情報例2」は、被写体の視線を示す視線情報である。
 視線情報が、被写体の視線の変化が所定以下であることを示す場合は、美肌効果処理をONまたは美肌効果の強度を高くする。
 視線情報が、被写体の視線の変化が所定以下であることを示す場合は、美肌効果処理をOFFまたは美肌効果の強度を低くする。
 「情報例3」は、撮像装置1の表示パネル101の向きを示す表示部方向情報である。
 撮像装置1の表示パネル101のタイプとしては、前述したバリアングルタイプと、チルトタイプとがある。
 表示部方向情報が、表示パネル101の方向が撮像装置1のレンズ側であることを示す場合(表示パネル101が横開きである場合)は、美肌効果処理をONまたは美肌効果の強度を高くする。
 表示部方向情報が、表示パネル101の方向が撮像装置1のレンズと反対側であることを示す場合(表示パネル101が通常の位置である場合)は、美肌効果処理をOFFまたは美肌効果の強度を低くする。
 「情報例4」は、音声の指向性を示す音声指向性情報である。
 撮像装置1に備えられている1または複数のマイクにより取得される音声の指向性を用いることができる。
 音声指向性情報が、被写体の音声の指向性の変化が所定以下であることを示す場合は、美肌効果処理をONまたは美肌効果の強度を高くする。
 音声指向性情報が、被写体の音声の指向性の変化が所定以上であることを示す場合は、美肌効果処理をOFFまたは美肌効果の強度を低くする。
 なお、音声に基づく情報としては、音源位置の方向を示す音源位置方向情報を用いることもできる。音源位置方向情報に基づき、音源の位置の変化量が所定量以下であると判定される場合には、美肌効果処理をONまたは美肌効果の強度を高くする。一方、音源位置方向情報に基づき音源の位置の変化量が所定量以上であると判定される場合には、美肌効果処理をOFFまたは美肌効果の強度を低くする。
 「情報例5」は、撮像画像内の被写体の顔の位置を示す顔位置情報である。
 撮像画像内の被写体の顔の位置を検出し、検出された顔の撮像画像内での位置の変化を用いることができる。
 顔位置情報が、被写体の顔の撮像画像内での位置変化が所定以下であることを示す場合は、美肌効果処理をONまたは美肌効果の強度を高くする。
 顔位置情報が、被写体の顔の撮像画像内での位置変化が所定以下であることを示す場合は、美肌効果処理をOFFまたは美肌効果の強度を低くする。
 「情報例6」は、撮像画像内の被写体の顔枠の大きさを示す顔枠大きさ情報である。
 顔枠大きさ情報が、顔枠の撮像画像内での大きさが所定以上であることを示す場合は、美肌効果処理をONまたは美肌効果の強度を高くする。
 顔枠大きさ情報が、顔枠の撮像画像内での大きさが所定以下であることを示す場合は、美肌効果処理をOFFまたは美肌効果の強度を低くする。
 「情報例7」は、フォーカス対象と撮像装置1との距離を示すフォーカス対象距離情報である。
 自撮りを行う際には撮像装置を手で持ったり、自撮り棒を用いたりする。そういったときには、撮像装置と被写体との距離が自撮りに対応する所定範囲の距離となることが多い。これを用いて、フォーカス対象距離情報が、フォーカス対象と撮像装置との距離が所定範囲の距離であることを示す場合には自撮りをしていると判定する。
 例えば、所定範囲の距離がA cm~B cmのことを示す場合には、所定範囲外の距離はA cmよりも短いまたはB cmよりも長い場合を示す。
 また、所定範囲の距離が所定の距離以下の距離を示す場合には、所定範囲外の距離は所定の距離よりも長い場合を示す。
 フォーカス対象距離情報が、フォーカス対象である被写体との距離が所定範囲の距離であることを示す場合は、美肌効果処理をONまたは美肌効果の強度を高くする。
 フォーカス対象距離情報が、フォーカス対象である被写体との距離が所定範囲外の距離であることを示す場合は、美肌効果処理をOFFまたは美肌効果の強度を低くする。
 「情報例8」は、被写体が特定の人物であるか否かを示す人物情報である。
 人物情報は、撮像装置1に登録されている登録顔情報に基づいて登録された顔と被写体の顔が一致する場合は被写体が特定の人物であることを示す。他にも、顔情報から自動で人物の顔を判定する場合は、人物情報は、被写体が特定の人物(例えば、撮像装置1の所有者)であることを示す。顔情報から自動で人物の顔を判断する場合とは、例えば過去における撮像画像の被写体の情報から人物の顔の情報である顔情報を生成して、その顔情報から被写体の顔が特定の人物の顔か否かを判定する場合が含まれる。
 人物情報が、特定の人物であることを示す場合には、美肌効果処理をONまたは美肌効果の強度を高くする。
 人物情報が、特定の人物でないことを示す場合には、美肌効果処理をOFFまたは美肌効果の強度を低くする。
 また、美肌効果処理の制御は、撮像装置1が置き撮り(静止物体に置かれた状態での撮像)の状態であるか否かの判定結果に基づき行うこともできる。ここで、置き撮りの状態であるか否かは、前述した「情報例1」における撮像装置固定判定情報を用いて判定することができる。また、手ぶれ補正機能を有する場合には、手ぶれ補正が行われているか否かにより判定することも考えられる。
 置き撮りの状態であると判定した場合には、美肌効果処理をONまたは美肌効果の強度を高くする(撮像装置1が動かないので残像が発生しにくいため)。一方、置き撮りの状態ではないと判定した場合は、美肌効果処理をOFFまたは美肌効果の強度を低くする(撮像装置1が動いて残像が発生しやすいため)。
<4.変形例>
 ここで、実施形態としてはこれまでに説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得るものである。
 例えば、上記では、顔露出補正値として、顔領域ロスト時前の全体露出目標値と顔領域ロスト時前の顔露出目標値との差分値を求めるものとしたが、顔露出補正値としては、これら全体露出目標値と顔露出目標値との差分値ではなく、比率として求めることもできる。すなわち、顔露出補正値は、顔領域ロスト時前の全体露出目標値と顔領域ロスト時前の顔露出目標値との比率、例えば『「顔領域ロスト時前の顔露出目標値」÷「顔領域ロスト時前の全体露出目標値」』の値として求めることができる。この場合、キープ期間(ロスト後の所定期間)における補正は、全体露出目標値に対して該比率としての顔露出補正値を乗じることで行えばよい。
 このように顔露出補正値は、顔領域ロスト時前の全体露出目標値と顔領域ロスト時前の顔露出目標値との差分ではなく比率であってもよい。この点を踏まえると、顔露出補正値は、概念的に捉えれば、次のようなものであると定義できる。
 すなわち、顔領域ロスト後における全体露出目標値と露出補正値による補正後の全体露出目標値とが有する「特定の数値的関係」を、顔領域ロスト時前の全体露出目標値と顔領域ロスト時前の顔露出目標値とが有する「特定の数値的関係」と同等とするように求められたものであると定義できる。
 ここで言う「特定の数値的関係」とは、二つの数値が有する数値的関係のうち特定の数値的関係を意味するものであり、「数値的関係」とは、二つの数値間の差分や比率等といった数値的な関係を意味するものである。
 また、ここで言う「同等(equivalent)」とは、厳密に一致すること以外にも、所定の誤差範囲内に収まることも含む概念である。
 また、これまでの説明では、顔露出補正値による補正を行うキープ期間(所定期間)が固定である前提としたが、キープ期間は可変の期間とすることもできる。
 例えば、キープ期間は、顔領域Afのサイズに応じて可変とすることができる。この場合、カメラ制御部18(露出制御部F2)は、注目領域検出部F1により検出された顔領域Afのサイズに基づき、キープ期間を変化させる。
 例えば、顔領域Afのサイズが小さい場合は、構図として顔領域Af以外の領域が支配的となり、仮に、キープ期間、すなわち顔露出補正値を用いた露出制御期間が長いと、顔領域Af以外の領域の露出が適切でない期間が長くなる虞がある。換言すれば、構図全体として不自然な露出の状態が長く続いてしまう虞がある。上記のように顔領域Afのサイズに応じてキープ期間を変化させるものとすれば、顔領域Afのサイズが小さい場合にキープ期間を短くすることが可能となり、構図全体として不自然な露出の状態が長く継続してしまうことの防止を図ることが可能となる。
 従って、顔領域Afロスト後の露出制御として、顔領域Afのサイズに応じた適切な露出制御を実現することができる。
 或いは、キープ期間は、顔領域Afの数に応じて可変とすることもできる。この場合、カメラ制御部18(露出制御部F2)は、注目領域検出部F1により検出された顔領域Afの数に基づきキープ期間を変化させる。
 例えば、顔領域Afの数が少ない場合は、構図として顔領域Af以外の領域が支配的となり、仮に、所定期間、すなわち顔露出補正値を用いた露出制御期間が長いと、顔領域Af以外の領域の露出が適切でない期間が長くなる虞がある、換言すれば、構図全体として不自然な露出の状態が長く続いてしまう虞がある。上記のように顔領域Afの数に応じてキープ期間を変化させるものとすれば、顔領域Afの数が少ない場合にキープ期間を短くすることが可能となり、構図全体として不自然な露出の状態が長く継続してしまうことの防止を図ることが可能となる。
 従って、顔領域Afロスト後の露出制御として、顔領域Afの検出数に応じた適切な露出制御を実現することができる。
 また、キープ期間は、顔領域Afの一定時間内のロスト回数に応じて可変とすることもできる。この場合、カメラ制御部18(露出制御部F2)は、過去一定時間内における顔領域Afのロスト回数に基づきキープ期間を変化させる。
 例えば、顔領域Afの一定時間内におけるロスト回数が多いと言うことは、顔が後ろを向いたり振り返ったりする頻度が高いということになり、ロストした顔領域Afはその後直ぐに再検出される可能性が高いと言える。上記構成によれば、このようにロスト頻度が高い場合に対応してキープ期間、すなわち顔露出補正値を用いた露出制御期間を短くすることが可能となる。
 従って、顔領域Afロスト後において、顔露出補正値を用いた露出制御が不必要に長く継続してしまうことの防止を図ることができる。
 さらに、キープ期間は、ユーザ操作に応じて可変とすることもできる。つまりこの場合、カメラ制御部18(露出制御部F2)は、例えばユーザによるメニュー操作等の入力操作に基づき、キープ期間を変化させる。
 これにより、顔領域Afロスト後における顔露出補正値を用いた露出制御の継続時間をユーザの好みに合わせて設定可能となる。
 従って、露出制御について機能向上を図ることができる。
 また、キープ期間は、例えば一定時間内の顔のぶれ幅、加速度に応じて可変としたり、撮像を行っているシーンが屋内/屋外の別に応じて可変としたり、撮像装置1本体の安定度(例えば、手持ちか三脚に固定か)に応じて可変としたりすることも考えられる。
 また、これまでの説明では、注目領域検出部F1が撮像装置1に備えられた構成を例示したが、本技術において、露出制御部F2を備える撮像制御装置としては、注目領域検出部F1を備える構成に限定されず、注目領域検出部F1を備えない構成を採ることもできる。
 また、これまでの説明では、注目領域の検出対象とするフレームと、露出目標値を得るための測光を行う対象のフレームとが一致している前提としたが、これらのフレームは異なるフレームであってもよく、少なくともタイミング的に同期したものであればよい。
 また、これまでの説明では、撮像素子12aによる撮像画像に基づき露出制御のための測光を行う例を挙げたが、撮像画像を得るセンサとは別に設けた測光用のセンサの出力に基づいて測光を行うこともできる。
<5.プログラム>
 以上、実施形態としての撮像制御装置(撮像装置1)を説明してきたが、実施形態のプログラムは、撮像装置1としての処理をCPU等のコンピュータ装置に実行させるプログラムである。
 実施形態のプログラムは、コンピュータ装置が読み取り可能なプログラムであって、注目領域検出部により撮像画像から検出された注目領域の情報に基づいて行う露出制御に関する機能として、以下の機能をコンピュータ装置に実現させるプログラムである。
 すなわち、撮像画像から注目領域が検出されている場合には、入力フレームのうち少なくとも注目領域を含む第一測光領域から得られる注目領域測光値に基づき算出された注目領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき算出された設定領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されなくなった注目領域ロスト時から継続して注目領域が検出されない所定期間は、注目領域ロスト時前の前記注目領域露出目標値に基づいて露出補正値を求め、前記設定領域露出目標値を前記露出補正値で補正して得られる露出制御値により露出制御を行う機能である。
 すなわち、このプログラムは、例えばコンピュータ装置に図7や図8、図10等で説明した処理を実行させるプログラムに相当する。
 このようなプログラムは、コンピュータ装置が読み取り可能な記憶媒体、例えばROMやHDD(Hard Disk Drive)、SSD(Solid State Drive)等に予め記憶しておくことができる。或いはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスク等のリムーバブル記憶媒体に、一時的又は永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
 また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネット等のネットワークを介してスマートフォン等の所要の情報処理装置にダウンロードすることもできる。
<6.実施形態のまとめ>
 上記のように実施形態としての撮像制御装置(撮像装置1)は、注目領域検出部(同F1)により撮像画像から検出された注目領域の情報に基づいて露出制御を行う露出制御部(同F2:カメラ制御部18)を備える。
 そして、露出制御部は、撮像画像から注目領域が検出されている場合には、入力フレームのうち少なくとも注目領域を含む第一測光領域から得られる注目領域測光値に基づき算出された注目領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき算出された設定領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されなくなった注目領域ロスト時から継続して注目領域が検出されない所定期間は、注目領域ロスト時前の注目領域露出目標値に基づいて露出補正値を求め、設定領域露出目標値を露出補正値で補正して得られる露出制御値により露出制御を行うものである。
 上記構成によれば、例えば顔AEのように注目領域が適正な明るさとなるように露出制御が行われる場合において、注目領域をロストした場合には、その後の所定期間において、ロスト時前の注目領域露出目標値に基づき求めた露出補正値により設定領域露出目標値を補正して得られる露出制御値によって露出制御が行われる。ロスト後所定期間の露出制御値として、ロスト時前の注目領域露出目標値に基づく露出補正値により設定領域露出目標値を補正して得た露出制御値を用いるので、該所定期間内に構図全体の明るさに変化がなければ、ロスト後においても、注目領域に存在していた被写体の明るさを適切に保持することが可能となると共に、該所定期間内に構図全体の明るさが変化しても、ロスト時前の注目領域露出目標値でAEロックした場合のように構図全体の明るさ変化に追従できなくなるといった事態が生じないように図ることが可能となる。
 従って、注目領域をロストした際にも適切な露出制御が維持されるように図ることができ、撮像装置の露出制御について機能向上を図ることができる。
 また、実施形態としての撮像制御装置においては、露出補正値は、注目領域ロスト時前の設定領域露出目標値と注目領域ロスト時前の注目領域露出目標値との関係を示す値である。
 これにより、注目領域ロスト後の所定期間は、注目領域ロスト時前における設定領域露出目標値と注目領域露出目標値との関係を再現するように、設定領域露出目標値を露出目標値により補正することが可能となる。
 従って、注目領域をロストした際にも適切な露出制御が維持されるように図ることができる。
 さらに、実施形態としての撮像制御装置においては、露出制御部は、所定期間において、設定領域露出目標値と露出補正値による補正後の設定領域露出目標値とが有する特定の数値的関係を、注目領域ロスト時前の設定領域露出目標値と注目領域ロスト時前の注目領域露出目標値とが有する特定の数値的関係と同等とするように求めた露出補正値によって露出制御を行っている。
 上記構成によれば、注目領域ロスト後の所定期間において、設定領域露出目標値と露出補正値による補正後の設定領域露出目標値との差分又は比率といった特定の数値的関係が、ロスト時前における設定領域露出目標値と注目領域露出目標値とが有する特定の数値的関係と同等となるように(関係を再現するように)露出制御が行われる。
 従って、注目領域をロストした際にも適切な露出制御が維持されるように図ることができる。
 さらにまた、実施形態としての撮像制御装置においては、露出補正値は、注目領域ロスト時前の設定領域露出目標値と注目領域ロスト時前の注目領域露出目標値との差分値である。
 これにより、注目領域ロスト後の所定期間においては、設定領域露出目標値と露出補正値による補正後の設定領域露出目標値との差が、ロスト時前における設定領域露出目標値と注目領域露出目標値との差と等しくなるように露出制御が行われる。
 従って、注目領域をロストした際にも適切な露出制御が維持されるように図ることができる。
 また、実施形態としての撮像制御装置においては、露出制御部は、注目領域検出部によって撮像画像における特定領域の内外にそれぞれ注目領域が検出された場合において、露出補正値の算出に用いる注目領域露出目標値を、検出された注目領域のサイズ、数、位置の少なくとも何れかに基づき算出している(図9から図11を参照)。
 特定領域外に検出された注目領域として、領域サイズが小さかったり、その数が少なかったり、特定領域内に検出された注目領域からの距離が離れていたりする場合は、当該注目領域についての露出目標値を露出補正値の算出にあたり考慮してしまうと、特定領域内に検出されていた注目領域の被写体の明るさを適切な明るさにできなくなる虞がある。
 上記構成によれば、そのような虞のあるケースにおいて特定領域外に検出された注目領域の露出目標値を露出補正値の算出に用いないようにすることが可能となり、注目領域をロストした際にも適切な露出制御が維持されるように図ることができる。
 さらに、実施形態としての撮像制御装置においては、露出制御部は、特定領域外に検出された注目領域のサイズが基準サイズよりも大きい場合には、当該注目領域について算出された注目領域露出目標値を露出補正値の算出に用い、特定領域外に検出された注目領域のサイズが基準サイズよりも大きくない場合には、当該注目領域について算出される注目領域露出目標値を前記露出補正値の算出に用いないものとしている。
 これにより、特定領域外に検出された注目領域について、そのサイズが大きく、注目領域ロスト後の設定領域露出目標値の補正において当該注目領域を無視できない場合には当該注目領域の露出目標値を露出補正値の算出に用いるようにし、逆にサイズが小さく注目領域ロスト後の設定領域露出目標値の補正において当該注目領域を無視できる場合には当該注目領域の露出目標値を露出補正値の算出に用いないようにすることが可能となる。
 従って、注目領域ロスト後の露出制御として、特定領域外に検出された注目領域のサイズに応じた適切な露出制御を実現することができる。
 さらにまた、実施形態としての撮像制御装置においては、基準サイズは、特定領域内に検出された注目領域のサイズである。
 これにより、特定領域外に検出された注目領域の露出目標値を露出補正値の算出に用いるか否かの判定が、特定領域内/外に検出された注目領域の相対的なサイズ関係に基づき行われる。
 従って、特定領域外に検出された注目領域サイズの方が大きいにも拘わらず該注目領域の露出目標値が露出補正値の算出に用いられない等といった不都合が生じることの防止を図ることが可能となり、特定領域内/外に検出された注目領域のサイズ関係に応じた適切な露出制御を実現することができる。
 また、実施形態としての撮像制御装置においては、露出制御部は、特定領域外に検出された注目領域の数が閾値よりも大きい場合には、特定領域外に検出された注目領域について算出された注目領域露出目標値を露出補正値の算出に用い、特定領域外に検出された注目領域の数が閾値よりも大きくない場合には、特定領域外に検出された注目領域について算出される注目領域露出目標値を露出補正値の算出に用いないものとしている。
 これにより、特定領域外に検出された注目領域について、その数が多く、注目領域ロスト後の設定領域露出目標値の補正において特定領域外の注目領域を無視できない場合には当該注目領域の露出目標値を露出補正値の算出に用いるようにし、逆に数が少なく注目領域ロスト後の設定領域露出目標値の補正において特定領域外の注目領域を無視できる場合には当該注目領域の露出目標値を露出補正値の算出に用いないようにすることが可能となる。
 従って、注目領域ロスト後の露出制御として、特定領域外に検出された注目領域の数に応じた適切な露出制御を実現することができる。
 さらに、実施形態としての撮像制御装置においては、露出制御部は、特定領域外に検出された注目領域として、特定領域内に検出された注目領域と一定距離内となる注目領域がある場合は、当該注目領域について算出された注目領域露出目標値を前記露出補正値の算出に用い、特定領域内に検出された注目領域と一定距離内となる注目領域がない場合は、特定領域外に検出された注目領域について算出される注目領域露出目標値を前記露出補正値の算出に用いないものとしている。
 これにより、特定領域外に検出された注目領域について、特定領域内の注目領域との距離が近い注目領域、換言すれば、当該注目領域の露出目標値を露出補正値の算出に用いなかった場合に生じる特定領域内の注目領域との明るさの差が目立ち易い注目領域については、当該注目領域の露出目標値を露出補正値の算出に用いるようにし、逆に特定領域内の注目領域との距離が遠く、上記の明るさの差が目立ち難い注目領域については、当該注目領域の露出目標値を露出補正値の算出に用いないようにすることが可能となる。
 従って、注目領域ロスト後の露出制御として、特定領域内/外に検出された注目領域の離間距離に応じた適切な露出制御を実現することができる。
 さらにまた、実施形態としての撮像制御装置においては、露出制御部は、注目領域検出部により検出された注目領域のサイズに基づき所定期間を変化させている。
 例えば、注目領域のサイズが小さい場合は、構図として注目領域以外の領域が支配的となり、仮に、所定期間、すなわち露出補正値を用いた露出制御期間が長いと、注目領域以外の領域の露出が適切でない期間が長くなる虞がある。換言すれば、構図全体として不自然な露出の状態が長く続いてしまう虞がある。上記のように注目領域のサイズに応じて所定期間を変化させるものとすれば、注目領域のサイズが小さい場合に所定期間を短くすることが可能となり、構図全体として不自然な露出の状態が長く継続してしまうことの防止を図ることが可能となる。
 従って、注目領域ロスト後の露出制御として、注目領域のサイズに応じた適切な露出制御を実現することができる。
 また、実施形態としての撮像制御装置においては、露出制御部は、注目領域検出部により検出された注目領域の数に基づき所定期間を変化させている。
 例えば、注目領域の数が少ない場合は、構図として注目領域以外の領域が支配的となり、仮に、所定期間、すなわち露出補正値を用いた露出制御期間が長いと、注目領域以外の領域の露出が適切でない期間が長くなる虞がある、換言すれば、構図全体として不自然な露出の状態が長く続いてしまう虞がある。上記のように注目領域の数に応じて所定期間を変化させるものとすれば、注目領域の数が少ない場合に所定期間を短くすることが可能となり、構図全体として不自然な露出の状態が長く継続してしまうことの防止を図ることが可能となる。
 従って、注目領域ロスト後の露出制御として、注目領域の検出数に応じた適切な露出制御を実現することができる。
 さらに、実施形態としての撮像制御装置においては、露出制御部は、一定時間内における注目領域のロスト回数に基づき所定期間を変化させている。
 例えば、注目領域の一定時間内におけるロスト回数が多いと言うことは、注目領域が人の顔領域である場合には、顔が後ろを向いたり振り返ったりする頻度が高いということになり、ロストした注目領域はその後直ぐに再検出される可能性が高いと言える。上記構成によれば、このようにロスト頻度が高い場合に対応して所定期間、すなわち露出補正値を用いた露出制御期間を短くすることが可能となる。
 従って、注目領域ロスト後において、露出補正値を用いた露出制御が不必要に長く継続してしまうことの防止を図ることができる。
 さらにまた、実施形態としての撮像制御装置においては、露出制御部は、ユーザ操作に基づき所定期間を変化させている。
 これにより、注目領域ロスト後における露出補正値を用いた露出制御の継続時間をユーザの好みに合わせて設定可能となる。
 従って、露出制御について機能向上を図ることができる。
 また、実施形態としての撮像制御方法は、注目領域検出部により撮像画像から検出された注目領域の情報に基づいて露出制御を行う撮像制御装置が、撮像画像から注目領域が検出されている場合には、入力フレームのうち少なくとも注目領域を含む第一測光領域から得られる注目領域測光値に基づき算出された注目領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき算出された設定領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されなくなった注目領域ロスト時から継続して注目領域が検出されない所定期間は、注目領域ロスト時前の注目領域露出目標値に基づいて露出補正値を求め、設定領域露出目標値を露出補正値で補正して得られる露出制御値により露出制御を行う撮像制御方法である。
 このような撮像制御方法によっても、上記した実施形態としての撮像制御装置と同様の作用及び効果を得ることができる。
 また、実施形態としてのプログラムは、コンピュータ装置が読み取り可能なプログラムであって、注目領域検出部により撮像画像から検出された注目領域の情報に基づいて行う露出制御に関する機能として、撮像画像から注目領域が検出されている場合には、入力フレームのうち少なくとも注目領域を含む第一測光領域から得られる注目領域測光値に基づき算出された注目領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき算出された設定領域露出目標値を露出制御値とした露出制御を行い、撮像画像から注目領域が検出されなくなった注目領域ロスト時から継続して注目領域が検出されない所定期間は、注目領域ロスト時前の注目領域露出目標値に基づいて露出補正値を求め、設定領域露出目標値を露出補正値で補正して得られる露出制御値により露出制御を行う機能、をコンピュータ装置に実現させるプログラムである。
 このようなプログラムにより、コンピュータ装置を上記した実施形態としての撮像制御装置として機能させることができる。
 なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<7.本技術>
 なお本技術は以下のような構成も採ることができる。
(1)
 注目領域検出部により撮像画像から検出された注目領域の情報に基づいて露出制御を行う露出制御部を備え、
 前記露出制御部は、
 撮像画像から注目領域が検出されている場合には、入力フレームのうち少なくとも注目領域を含む第一測光領域から得られる注目領域測光値に基づき算出された注目領域露出目標値を露出制御値とした露出制御を行い、
 撮像画像から注目領域が検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき算出された設定領域露出目標値を露出制御値とした露出制御を行い、
 撮像画像から注目領域が検出されなくなった注目領域ロスト時から継続して注目領域が検出されない所定期間は、注目領域ロスト時前の前記注目領域露出目標値に基づいて露出補正値を求め、前記設定領域露出目標値を前記露出補正値で補正して得られる露出制御値により露出制御を行う
 撮像制御装置。

(2)
 前記露出補正値は、前記注目領域ロスト時前の前記設定領域露出目標値と前記注目領域ロスト時前の前記注目領域露出目標値との関係を示す値である
 前記(1)に記載の撮像制御装置。
(3)
 前記露出制御部は、前記所定期間において、前記設定領域露出目標値と前記露出補正値による補正後の前記設定領域露出目標値とが有する特定の数値的関係を、前記注目領域ロスト時前の前記設定領域露出目標値と前記注目領域ロスト時前の前記注目領域露出目標値とが有する前記特定の数値的関係と同等とするように求めた前記露出補正値によって露出制御を行う
 前記(2)に記載の撮像制御装置。
(4)
 前記露出補正値は、前記注目領域ロスト時前の前記設定領域露出目標値と前記注目領域ロスト時前の前記注目領域露出目標値との差分値である
 前記(2)又は(3)に記載の撮像制御装置。
(5)
 前記露出制御部は、前記注目領域検出部によって撮像画像における特定領域の内外にそれぞれ注目領域が検出された場合において、前記露出補正値の算出に用いる前記注目領域露出目標値を、検出された注目領域のサイズ、数、位置の少なくとも何れかに基づき算出する
 前記(1)から(4)の何れかに記載の撮像制御装置。
(6)
 前記露出制御部は、前記特定領域外に検出された注目領域のサイズが基準サイズよりも大きい場合には、当該注目領域について算出された注目領域露出目標値を前記露出補正値の算出に用い、前記特定領域外に検出された注目領域のサイズが基準サイズよりも大きくない場合には、当該注目領域について算出される注目領域露出目標値を前記露出補正値の算出に用いない
 前記(5)に記載の撮像制御装置。
(7)
 前記基準サイズは、前記特定領域内に検出された注目領域のサイズである
 前記(6)に記載の撮像制御装置。
(8)
 前記露出制御部は、前記特定領域外に検出された注目領域の数が閾値よりも大きい場合には、前記特定領域外に検出された注目領域について算出された注目領域露出目標値を前記露出補正値の算出に用い、前記特定領域外に検出された注目領域の数が前記閾値よりも大きくない場合には、前記特定領域外に検出された注目領域について算出される注目領域露出目標値を前記露出補正値の算出に用いない
 前記(5)から(7)の何れかに記載の撮像制御装置。
(9)
 前記露出制御部は、前記特定領域外に検出された注目領域として、前記特定領域内に検出された注目領域と一定距離内となる注目領域がある場合は、当該注目領域について算出された注目領域露出目標値を前記露出補正値の算出に用い、前記特定領域内に検出された注目領域と一定距離内となる注目領域がない場合は、前記特定領域外に検出された注目領域について算出される注目領域露出目標値を前記露出補正値の算出に用いない
 前記(5)から(8)の何れかに記載の撮像制御装置。
(10)
 前記露出制御部は、前記注目領域検出部により検出された注目領域のサイズに基づき前記所定期間を変化させる
 前記(1)から(9)の何れかに記載の撮像制御装置。
(11)
 前記露出制御部は、前記注目領域検出部により検出された注目領域の数に基づき前記所定期間を変化させる
 前記(1)から(10)の何れかに記載の撮像制御装置。
(12)
 前記露出制御部は、一定時間内における注目領域のロスト回数に基づき前記所定期間を変化させる
 前記(1)から(11)の何れかに記載の撮像制御装置。
(13)
 前記露出制御部は、ユーザ操作に基づき前記所定期間を変化させる
 前記(1)から(12)の何れかに記載の撮像制御装置。
(14)
 注目領域検出部により撮像画像から検出された注目領域の情報に基づいて露出制御を行う撮像制御装置が、
 撮像画像から注目領域が検出されている場合には、入力フレームのうち少なくとも注目領域を含む第一測光領域から得られる注目領域測光値に基づき算出された注目領域露出目標値を露出制御値とした露出制御を行い、
 撮像画像から注目領域が検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき算出された設定領域露出目標値を露出制御値とした露出制御を行い、
 撮像画像から注目領域が検出されなくなった注目領域ロスト時から継続して注目領域が検出されない所定期間は、注目領域ロスト時前の前記注目領域露出目標値に基づいて露出補正値を求め、前記設定領域露出目標値を前記露出補正値で補正して得られる露出制御値により露出制御を行う
 撮像制御方法。
(15)
 コンピュータ装置が読み取り可能なプログラムであって、
 注目領域検出部により撮像画像から検出された注目領域の情報に基づいて行う露出制御に関する機能として、
 撮像画像から注目領域が検出されている場合には、入力フレームのうち少なくとも注目領域を含む第一測光領域から得られる注目領域測光値に基づき算出された注目領域露出目標値を露出制御値とした露出制御を行い、
 撮像画像から注目領域が検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき算出された設定領域露出目標値を露出制御値とした露出制御を行い、
 撮像画像から注目領域が検出されなくなった注目領域ロスト時から継続して注目領域が検出されない所定期間は、注目領域ロスト時前の前記注目領域露出目標値に基づいて露出補正値を求め、前記設定領域露出目標値を前記露出補正値で補正して得られる露出制御値により露出制御を行う機能、を前記コンピュータ装置に実現させる
 プログラム。
1 撮像装置
11 レンズ系
12 撮像素子部
12a 撮像素子
13 カメラ信号処理部
14 記録制御部
15 表示部
16 通信部
17 操作部
18,18A カメラ制御部
19,19A メモリ部
22 ドライバ部
23 センサ部
24 電源部
24a バッテリー
F1 注目領域検出部
F2 露出制御部
Af 顔領域
As 特定領域

Claims (15)

  1.  注目領域検出部により撮像画像から検出された注目領域の情報に基づいて露出制御を行う露出制御部を備え、
     前記露出制御部は、
     撮像画像から注目領域が検出されている場合には、入力フレームのうち少なくとも注目領域を含む第一測光領域から得られる注目領域測光値に基づき算出された注目領域露出目標値を露出制御値とした露出制御を行い、
     撮像画像から注目領域が検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき算出された設定領域露出目標値を露出制御値とした露出制御を行い、
     撮像画像から注目領域が検出されなくなった注目領域ロスト時から継続して注目領域が検出されない所定期間は、注目領域ロスト時前の前記注目領域露出目標値に基づいて露出補正値を求め、前記設定領域露出目標値を前記露出補正値で補正して得られる露出制御値により露出制御を行う
     撮像制御装置。
  2.  前記露出補正値は、前記注目領域ロスト時前の前記設定領域露出目標値と前記注目領域ロスト時前の前記注目領域露出目標値との関係を示す値である
     請求項1に記載の撮像制御装置。
  3.  前記露出制御部は、前記所定期間において、前記設定領域露出目標値と前記露出補正値による補正後の前記設定領域露出目標値とが有する特定の数値的関係を、前記注目領域ロスト時前の前記設定領域露出目標値と前記注目領域ロスト時前の前記注目領域露出目標値とが有する前記特定の数値的関係と同等とするように求めた前記露出補正値によって露出制御を行う
     請求項2に記載の撮像制御装置。
  4.  前記露出補正値は、前記注目領域ロスト時前の前記設定領域露出目標値と前記注目領域ロスト時前の前記注目領域露出目標値との差分値である
     請求項2に記載の撮像制御装置。
  5.  前記露出制御部は、前記注目領域検出部によって撮像画像における特定領域の内外にそれぞれ注目領域が検出された場合において、前記露出補正値の算出に用いる前記注目領域露出目標値を、検出された注目領域のサイズ、数、位置の少なくとも何れかに基づき算出する
     請求項1に記載の撮像制御装置。
  6.  前記露出制御部は、前記特定領域外に検出された注目領域のサイズが基準サイズよりも大きい場合には、当該注目領域について算出された注目領域露出目標値を前記露出補正値の算出に用い、前記特定領域外に検出された注目領域のサイズが基準サイズよりも大きくない場合には、当該注目領域について算出される注目領域露出目標値を前記露出補正値の算出に用いない
     請求項5に記載の撮像制御装置。
  7.  前記基準サイズは、前記特定領域内に検出された注目領域のサイズである
     請求項6に記載の撮像制御装置。
  8.  前記露出制御部は、前記特定領域外に検出された注目領域の数が閾値よりも大きい場合には、前記特定領域外に検出された注目領域について算出された注目領域露出目標値を前記露出補正値の算出に用い、前記特定領域外に検出された注目領域の数が前記閾値よりも大きくない場合には、前記特定領域外に検出された注目領域について算出される注目領域露出目標値を前記露出補正値の算出に用いない
     請求項5に記載の撮像制御装置。
  9.  前記露出制御部は、前記特定領域外に検出された注目領域として、前記特定領域内に検出された注目領域と一定距離内となる注目領域がある場合は、当該注目領域について算出された注目領域露出目標値を前記露出補正値の算出に用い、前記特定領域内に検出された注目領域と一定距離内となる注目領域がない場合は、前記特定領域外に検出された注目領域について算出される注目領域露出目標値を前記露出補正値の算出に用いない
     請求項5に記載の撮像制御装置。
  10.  前記露出制御部は、前記注目領域検出部により検出された注目領域のサイズに基づき前記所定期間を変化させる
     請求項1に記載の撮像制御装置。
  11.  前記露出制御部は、前記注目領域検出部により検出された注目領域の数に基づき前記所定期間を変化させる
     請求項1に記載の撮像制御装置。
  12.  前記露出制御部は、一定時間内における注目領域のロスト回数に基づき前記所定期間を変化させる
     請求項1に記載の撮像制御装置。
  13.  前記露出制御部は、ユーザ操作に基づき前記所定期間を変化させる
     請求項1に記載の撮像制御装置。
  14.  注目領域検出部により撮像画像から検出された注目領域の情報に基づいて露出制御を行う撮像制御装置が、
     撮像画像から注目領域が検出されている場合には、入力フレームのうち少なくとも注目領域を含む第一測光領域から得られる注目領域測光値に基づき算出された注目領域露出目標値を露出制御値とした露出制御を行い、
     撮像画像から注目領域が検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき算出された設定領域露出目標値を露出制御値とした露出制御を行い、
     撮像画像から注目領域が検出されなくなった注目領域ロスト時から継続して注目領域が検出されない所定期間は、注目領域ロスト時前の前記注目領域露出目標値に基づいて露出補正値を求め、前記設定領域露出目標値を前記露出補正値で補正して得られる露出制御値により露出制御を行う
     撮像制御方法。
  15.  コンピュータ装置が読み取り可能なプログラムであって、
     注目領域検出部により撮像画像から検出された注目領域の情報に基づいて行う露出制御に関する機能として、
     撮像画像から注目領域が検出されている場合には、入力フレームのうち少なくとも注目領域を含む第一測光領域から得られる注目領域測光値に基づき算出された注目領域露出目標値を露出制御値とした露出制御を行い、
     撮像画像から注目領域が検出されていない場合には、入力フレームにおいて予め定められている第二測光領域から得られる設定領域測光値に基づき算出された設定領域露出目標値を露出制御値とした露出制御を行い、
     撮像画像から注目領域が検出されなくなった注目領域ロスト時から継続して注目領域が検出されない所定期間は、注目領域ロスト時前の前記注目領域露出目標値に基づいて露出補正値を求め、前記設定領域露出目標値を前記露出補正値で補正して得られる露出制御値により露出制御を行う機能、を前記コンピュータ装置に実現させる
     プログラム。
PCT/JP2021/000850 2020-06-17 2021-01-13 撮像制御装置、撮像制御方法、プログラム WO2021255970A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/923,067 US20230179869A1 (en) 2020-06-17 2021-01-13 Imaging control apparatus, imaging control method, and program
JP2022532259A JPWO2021255970A1 (ja) 2020-06-17 2021-01-13
CN202180041510.1A CN115702383A (zh) 2020-06-17 2021-01-13 成像控制装置、成像控制方法和程序
EP21826559.3A EP4174571A4 (en) 2020-06-17 2021-01-13 IMAGING CONTROL APPARATUS, IMAGING CONTROL METHOD AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020104882 2020-06-17
JP2020-104882 2020-06-17

Publications (1)

Publication Number Publication Date
WO2021255970A1 true WO2021255970A1 (ja) 2021-12-23

Family

ID=79267750

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000850 WO2021255970A1 (ja) 2020-06-17 2021-01-13 撮像制御装置、撮像制御方法、プログラム

Country Status (5)

Country Link
US (1) US20230179869A1 (ja)
EP (1) EP4174571A4 (ja)
JP (1) JPWO2021255970A1 (ja)
CN (1) CN115702383A (ja)
WO (1) WO2021255970A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230015621A1 (en) * 2021-07-06 2023-01-19 Qualcomm Incorporated Autofocus (af) and auto exposure control (aec) coordination

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008035415A (ja) * 2006-07-31 2008-02-14 Canon Inc 撮像装置及びその制御方法
JP2008070562A (ja) * 2006-09-13 2008-03-27 Canon Inc 撮像装置および露出制御方法
JP2010093689A (ja) * 2008-10-10 2010-04-22 Panasonic Corp 撮像装置
JP2018033013A (ja) 2016-08-25 2018-03-01 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5543180B2 (ja) * 2009-01-07 2014-07-09 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US9402034B2 (en) * 2011-07-29 2016-07-26 Apple Inc. Adaptive auto exposure adjustment
JP5945444B2 (ja) * 2012-04-19 2016-07-05 オリンパス株式会社 撮影機器
JP6486109B2 (ja) * 2015-01-09 2019-03-20 キヤノン株式会社 露出制御装置、その制御方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008035415A (ja) * 2006-07-31 2008-02-14 Canon Inc 撮像装置及びその制御方法
JP2008070562A (ja) * 2006-09-13 2008-03-27 Canon Inc 撮像装置および露出制御方法
JP2010093689A (ja) * 2008-10-10 2010-04-22 Panasonic Corp 撮像装置
JP2018033013A (ja) 2016-08-25 2018-03-01 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4174571A4

Also Published As

Publication number Publication date
CN115702383A (zh) 2023-02-14
EP4174571A1 (en) 2023-05-03
EP4174571A4 (en) 2023-12-06
US20230179869A1 (en) 2023-06-08
JPWO2021255970A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
US9332194B2 (en) Imaging apparatus for obtaining a user-intended image when orientation of the imaging apparatus changes in applying a special effect that changes the image quality in a set direction
US9148561B2 (en) Image capturing apparatus, executable autoexposure bracketing and control method thereof
US9049363B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable storage medium
US8937677B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable medium
US8526685B2 (en) Method and apparatus for selectively supporting raw format in digital image processor
US10455154B2 (en) Image processing device, image processing method, and program including stable image estimation and main subject determination
US9723194B2 (en) Photographing apparatus providing image transmission based on communication status, method of controlling the same, and non-transitory computer-readable storage medium for executing the method
JP2013106284A (ja) 光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置
JP2018056702A (ja) 画像処理装置と画像処理方法およびプログラム
JP2015012567A (ja) 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置
US20110115927A1 (en) Digital photographing apparatus and method of controlling the same
US9491358B2 (en) Imaging device for performing image processing based on photographing direction
JP6192416B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
WO2019208155A1 (ja) 画像処理装置、方法、及びプログラム並びに撮像装置
JP6057705B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
WO2021255970A1 (ja) 撮像制御装置、撮像制御方法、プログラム
US20130063621A1 (en) Imaging device
JP2007306418A (ja) 撮像装置および撮像制御方法
WO2019064757A1 (ja) 撮像装置、撮像方法、およびプログラム
WO2020158509A1 (en) Image capturing apparatus, image capturing method, and carrier means
JP2012090041A (ja) 画像処理装置及び方法、並びにプログラム
JP2011130031A (ja) 撮像装置及びその制御方法
JP5777309B2 (ja) 撮像装置及びその制御方法、並びに画像処理装置及びその制御方法
JP4789776B2 (ja) 撮像装置及び撮像方法
JP2008005034A (ja) 撮影条件設定システム、撮影条件設定方法、撮影条件提供サーバおよび撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21826559

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022532259

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021826559

Country of ref document: EP

Effective date: 20230117