WO2024048082A1 - 撮像制御装置、および撮像装置 - Google Patents

撮像制御装置、および撮像装置 Download PDF

Info

Publication number
WO2024048082A1
WO2024048082A1 PCT/JP2023/025484 JP2023025484W WO2024048082A1 WO 2024048082 A1 WO2024048082 A1 WO 2024048082A1 JP 2023025484 W JP2023025484 W JP 2023025484W WO 2024048082 A1 WO2024048082 A1 WO 2024048082A1
Authority
WO
WIPO (PCT)
Prior art keywords
skin
imaging
unit
region
area
Prior art date
Application number
PCT/JP2023/025484
Other languages
English (en)
French (fr)
Inventor
祐介 三村
翔平 坂口
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024048082A1 publication Critical patent/WO2024048082A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Definitions

  • the present disclosure relates to an imaging control device and an imaging device.
  • the detection value will deviate greatly from the skin area, making it brighter than the original brightness, impairing the image quality of the skin area. For this reason, in the above technology, even if a profile is detected, the detected value is not used for face-priority AE, making it difficult to adjust the brightness of the skin of the profile.
  • An imaging control device includes a detection unit that detects a face area of a person in a captured image obtained by an imaging device as an area of interest, and a detection unit that extracts a skin area in the area of interest detected by the detection unit. and a control unit that performs imaging control on the imaging device based on information obtained from the skin area extracted by the extraction unit.
  • An imaging device includes an imaging unit, a detection unit that detects a face area of a person in a captured image obtained by the imaging unit as an attention area, and a skin skin in the attention area detected by the detection unit.
  • the image forming apparatus includes an extraction section that extracts a region, and a control section that performs imaging control based on information obtained from the skin region extracted by the extraction section.
  • An imaging control device or an imaging device detects a face area of a person in a captured image as an area of interest, and extracts a skin area in the detected area of interest. Imaging control is performed based on information obtained from the extracted skin area.
  • FIG. 1 is a block diagram schematically showing a configuration example of an imaging device according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram schematically showing a configuration example of a camera control section as an imaging control device according to an embodiment.
  • FIG. 3 is an explanatory diagram schematically showing an example of setting an attention area by the attention area detection unit.
  • FIG. 4 is an explanatory diagram schematically showing an example of the processing operation of the skin area extraction section.
  • FIG. 5 is an explanatory diagram schematically showing an example of the processing operation of the attention area brightness calculation unit.
  • FIG. 6 is an explanatory diagram schematically showing an example of transition of the mixing ratio of skin area detection values.
  • FIG. 7 is an explanatory diagram schematically showing an example of a reliability calculation method.
  • FIG. 8 is an explanatory diagram schematically showing an example of application to auto white balance by the imaging control device according to an embodiment.
  • FIG. 9 is an explanatory diagram schematically showing an example of application to noise reduction by the imaging control device according
  • Embodiments of the present disclosure will be described in detail below with reference to the drawings. Note that the explanation will be given in the following order. 1.
  • Embodiment 1.1 Overall configuration example and operation of imaging device (FIG. 1) 1.2 Configuration example and operation of imaging control device ( Figures 2 to 7) 1.3 Application example ( Figure 8, Figure 9) 1.4 Effect 2.
  • FIG. 1 Overall configuration example and operation of imaging device (FIG. 1) 1.2
  • FIG. 7 Configuration example and operation of imaging control device ( Figures 2 to 7)
  • Application example Figure 8, Figure 9)
  • Effect 2 Effect
  • FIG. 1 schematically shows a configuration example of an imaging device 1 according to an embodiment of the present disclosure.
  • the imaging device 1 includes, for example, a lens system 11, an image sensor section 12, a camera signal processing section 13, a recording control section 14, a display section 15, a communication section 16, an operation section 17, a camera control section 18, a memory section 19, and a driver section 22. , a sensor section 23, a power supply section 24, and a flash light emitting section 25.
  • the lens system 11 and the image sensor section 12 correspond to a specific example of the "imaging section" in the technology of the present disclosure.
  • the lens system 11 includes lenses such as a zoom lens and a focus lens, an aperture mechanism, and the like. This lens system 11 guides light (incident light) from the subject and focuses it on the image sensor section 12 .
  • the image sensor section 12 includes, for example, an image sensor 12a (image sensor) such as a CMOS (Complementary Metal Oxide Semiconductor) type or a CCD (Charge Coupled Device) type.
  • image sensor 12a image sensor
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the image sensor section 12 performs, for example, CDS (Correlated Double Sampling) processing and AGC (Automatic Gain Control) processing on the electrical signal obtained by photoelectrically converting the light received by the image sensor 12a, and further performs A/ Performs D (Analog/Digital) conversion processing. Then, the imaging signal as digital data is output to the camera signal processing section 13 and camera control section 18 at the subsequent stage.
  • the imaging signal may include signals of multiple color components.
  • the plurality of color components may include R (red), G (green), and B (blue).
  • the camera signal processing unit 13 is configured as an image processing processor using, for example, a DSP (Digital Signal Processor). This camera signal processing section 13 performs various signal processing on the digital signal (imaging signal) from the image sensor section 12. For example, as a camera process, the camera signal processing unit 13 performs preprocessing, synchronization processing, YC generation processing, resolution conversion processing, file formation processing, and the like. Further, the camera signal processing section 13 performs noise reduction processing under control from the camera control section 18.
  • DSP Digital Signal Processor
  • clamping processing for clamping the black levels of R, G, and B to predetermined levels and correction processing between the R, G, and B color channels are performed on the imaging signal from the imaging device section 12. . Furthermore, in the preprocessing, white balance is adjusted according to control from the camera control unit 18.
  • color separation processing is performed so that the image data for each pixel has all R, G, and B color components.
  • demosaic processing is performed as color separation processing.
  • a luminance (Y) signal and a color (C) signal are generated (separated) from R, G, and B image data.
  • the resolution conversion process is performed on image data that has been subjected to various types of signal processing.
  • the image data that has been subjected to the various processes described above is compressed and encoded for recording and communication purposes, formatting, and generation and addition of metadata are performed to generate files for recording and communication purposes. I do.
  • an image file in a format such as JPEG, TIFF (Tagged Image File Format), or GIF (Graphics Interchange Format) is generated as a still image file. It is also conceivable to generate image files in the MP4 format, which is used for recording video and audio in accordance with MPEG-4. Note that it is also possible to generate an image file as raw (RAW) image data.
  • JPEG Joint Photographic Experts Group
  • TIFF Tagged Image File Format
  • GIF Graphics Interchange Format
  • the camera signal processing section 13 includes information on processing parameters within the camera signal processing section 13, various control parameters acquired from the camera control section 18, and information indicating the operating states of the lens system 11 and the image sensor section 12. , mode setting information, imaging environment information (date and time, location, etc.), identification information of the imaging device 1 itself, information on the attached lens, information on pre-registered photographers (name, identification information), IPTC (International Press Telecommunications Council) meta Generate it as something that includes data etc.
  • IPTC metadata is metadata in a format established by a media company organization, and is capable of describing a variety of information such as "description/caption”, “description writer”, “headline”, and "keyword”.
  • the recording control unit 14 performs recording and reproduction on a recording medium such as a nonvolatile memory.
  • the recording control unit 14 performs a process of recording images such as moving image data and still image data and metadata onto a recording medium, for example.
  • the actual form of the recording control unit 14 can be considered in various ways.
  • the recording control unit 14 may be configured as a flash memory built into the imaging device 1 and its writing/reading circuit.
  • the recording control unit 14 may also be a card recording/reproducing unit that performs recording/reproducing access to a recording medium that can be attached to and detached from the imaging device 1, such as a memory card (portable flash memory, etc.).
  • the recording control unit 14 may also be implemented as a built-in form of an HDD (Hard Disk Drive) in the imaging device 1.
  • HDD Hard Disk Drive
  • the display unit 15 is a display unit that provides various displays to the imager, and includes, for example, a liquid crystal display (LCD) or an organic EL (electro-luminescence) display disposed on the housing of the imaging device 1. It is considered to be a display panel or viewfinder using a display device.
  • LCD liquid crystal display
  • organic EL electro-luminescence
  • the display unit 15 executes various displays on the display screen based on instructions from the camera control unit 18. For example, the display unit 15 causes the recording control unit 14 to display a reproduced image of the image data read from the recording medium. Further, the display section 15 is supplied with image data of the captured image whose resolution has been converted for display by the camera signal processing section 13, and the display section 15 is supplied with image data of the captured image whose resolution has been converted for display by the camera signal processing section 13. may be displayed. As a result, a so-called through image (monitoring image of the subject), which is an image captured while checking the composition or recording a video, is displayed. Further, the display unit 15 displays various operation menus, icons, messages, etc., ie, a GUI (Graphical User Interface) on the screen based on instructions from the camera control unit 18.
  • GUI Graphic User Interface
  • the communication unit 16 comprehensively represents various communication devices and communication processing circuits installed in the imaging device 1. Communication by the communication unit 16 includes communication via an external communication network (external network communication), local communication with a mobile terminal, and furthermore, as a form of local communication, master communication between compatible devices such as with another imaging device. Various communication circuits and communication devices capable of performing slave communication are provided.
  • the imaging device 1 can send captured image data (still image files and video files) and metadata to, for example, an external information processing device, an external imaging device, an external display device, an external recording device, an external playback device, etc. Sends and receives data and various parameters.
  • the communication unit 16 functions as a network communication unit, and has a function of performing communication using a mobile communication network such as 4G or 5G, an Internet line, a home network, a LAN (Local Area Network), etc. :Registered trademark), Wi-Fi (registered trademark) communication, functions that perform short-range wireless communication such as NFC (Near Field Communication), functions that perform infrared communication, etc., and functions that perform wired connection communication with other devices. , etc. may be provided in part or in whole.
  • a mobile communication network such as 4G or 5G, an Internet line, a home network, a LAN (Local Area Network), etc. :Registered trademark), Wi-Fi (registered trademark) communication, functions that perform short-
  • the operation unit 17 collectively represents input devices for the user to perform various operation inputs. Specifically, the operation unit 17 indicates various operators (keys, dials, touch panels, touch pads, etc.) provided on the casing of the imaging device 1. The operation unit 17 detects a user's operation, and a signal corresponding to the input operation is sent to the camera control unit 18.
  • the camera control unit 18 is composed of a microcomputer (arithmetic processing unit) equipped with a CPU (Central Processing Unit).
  • the memory unit 19 stores information and the like used by the camera control unit 18 for processing.
  • the illustrated memory section 19 comprehensively includes, for example, ROM (Read Only Memory), RAM (Random Access Memory), and flash memory.
  • the memory section 19 may be a memory area built into a microcomputer chip as the camera control section 18, or may be constituted by a separate memory chip.
  • the camera control unit 18 controls the entire imaging device 1 by executing programs stored in the ROM, flash memory, etc. of the memory unit 19. For example, the camera control unit 18 controls the shutter speed of the image sensor unit 12, instructs various signal processing in the camera signal processing unit 13, performs imaging operations and recording operations in response to user operations, and plays back recorded image files. Control. In addition, the camera control unit 18 controls operations of the lens system 11 such as zoom, focus, and aperture adjustment in the lens barrel, user interface operations, and operations of necessary parts such as communication method and destination settings by the communication unit 16. do.
  • the camera control unit 18 performs exposure control on the captured image based on the photometric value. Note that details of exposure control as an embodiment will be explained later. Furthermore, the camera control unit 18 in this example performs a process of detecting an area of interest from a captured image, and this area of interest and its detection process will also be explained later.
  • the RAM in the memory unit 19 is used to temporarily store data, programs, etc. as a work area when the CPU of the camera control unit 18 processes various data.
  • the ROM and flash memory (non-volatile memory) in the memory unit 19 contain an OS (Operating System) for the CPU to control each part, content files such as image files, application programs for various operations, and firmware. , used to store various setting information, etc.
  • Various types of setting information include communication setting information and exposure settings (shutter speed and F-number) as setting information regarding imaging operations.
  • Various setting information further includes mode settings, white balance settings, color settings, and image effect settings as setting information related to image processing, and custom key settings and display settings as setting information related to operability. be.
  • the driver section 22 is provided with, for example, a motor driver for a zoom lens drive motor, a motor driver for a focus lens drive motor, a motor driver for an aperture mechanism motor, and the like. These motor drivers apply drive current to the corresponding drivers in response to instructions from the camera control unit 18 to move the focus lens and zoom lens, open and close the aperture blades of the aperture mechanism, and so on.
  • the sensor section 23 comprehensively shows various sensors installed in the imaging device 1.
  • the sensor unit 23 is equipped with, for example, an IMU (inertial measurement unit), which detects angular velocity with a three-axis angular velocity (gyro) sensor of pitch, yaw, and roll, and detects acceleration with an acceleration sensor. be able to.
  • an IMU intial measurement unit
  • a position information sensor, an illuminance sensor, or the like may be installed.
  • the sensor section 23 includes a distance measuring sensor.
  • the distance sensor measures the distance from the imaging device 1 to the subject during image capture, and the distance information can be added as metadata to the captured image.
  • Various information detected by the sensor unit 23, such as position information, distance information, illuminance information, and IMU data, is added as metadata to the captured image along with date and time information managed by the camera control unit 18.
  • the power supply section 24 uses the battery 24a as a power source and outputs a power supply voltage Vcc necessary for each section.
  • the camera control unit 18 controls on/off of the supply of the power supply voltage Vcc by the power supply unit 24, that is, the on/off of the power supply of the imaging device 1. Further, the capacity of the battery 24a, that is, the remaining amount of the battery, can be detected by the camera control unit 18.
  • the power supply unit 24 may be configured to be able to output the power supply voltage Vcc based on an external power supply, for example, by connecting an AC adapter or receiving a supply of DC power supply voltage.
  • the flash light emitting unit 25 causes a xenon tube or an LED (Light Emitting Diode) light source to emit light such that the light emission amount is determined by the light emission amount calculation by the camera control unit 18. Thereby, even if the subject is dark, it can be photographed brightly.
  • a xenon tube or an LED (Light Emitting Diode) light source to emit light such that the light emission amount is determined by the light emission amount calculation by the camera control unit 18.
  • FIG. 2 schematically shows a configuration example of the camera control unit 18 as an imaging control device according to an embodiment.
  • the camera control unit 18 includes an attention area detection unit 201, a skin area extraction unit 202, an attention area brightness calculation unit 203, an entire screen area brightness calculation unit 204, an exposure control unit 205, and a flash light emission amount control unit. 206.
  • the attention area detection unit 201 is a detection unit that detects a face area of a person in the captured image 31 obtained by the imaging unit of the imaging device 1 as an attention area.
  • the skin area extraction unit 202 is an extraction unit that extracts a skin area in the attention area detected by the attention area detection unit 201.
  • the attention area brightness calculation unit 203 is a brightness calculation unit that calculates the brightness of the attention area as information obtained from the skin area based on the detected value of the brightness of the skin area extracted by the skin area extraction unit 202. It is.
  • the entire screen area brightness calculation unit 204 calculates the brightness of the entire area of the captured image 31 in parallel with the calculation process of the brightness of the attention area by the attention area brightness calculation unit 203.
  • the camera control unit 18 is a control unit that performs imaging control for the imaging device 1 based on information obtained from the skin area extracted by the skin area extraction unit 202.
  • the exposure control unit 205 is a control unit that performs exposure control in the imaging unit of the imaging device 1 as imaging control based on information on the brightness of the attention area calculated by the attention area brightness calculation unit 203.
  • information on the brightness of the entire area of the captured image 31 may also be taken into consideration to determine the final exposure.
  • the flash light emission amount control unit 206 controls the flash light emission amount in the flash light emitting unit 25 of the imaging device 1 as imaging control based on the information on the brightness of the attention area calculated by the attention area brightness calculation unit 203. This is the control unit that performs this.
  • FIG. 3 schematically shows an example of setting an attention area by the attention area detection unit 201.
  • the attention area detection unit 201 sets an attention area detection frame 33 for detecting an attention area in the captured image 31 based on the attention area detection reference data 32. Further, the attention area detection unit 201 sets a rectangular detection frame 34 inside the attention area detection frame 33.
  • the rectangular detection frame 34 is set, for example, at the center of the attention area detection frame 33.
  • FIG. 4 schematically shows an example of the processing operation of the skin area extraction unit 202.
  • the skin region extraction unit 202 generates a skin probability image 42 from the region of interest cutout image 41 based on skin region reference data 44 .
  • the skin area reference data 44 uses learning data learned in advance.
  • the skin area reference data 44 includes, for example, skin color learning data and skin position learning data.
  • the skin color learning data includes information on the closeness to the skin color space.
  • the skin position learning data includes probability information of positions where skin is likely to be located.
  • the learning data regarding the skin position may include learning data regarding the orientation of the face. This makes it easier to extract the skin area even in a profile, for example.
  • the skin probability image 42 is, for example, an image in which the color is closer to the skin color space or the brightness value of pixels in positions where skin is likely to be present is high, and the brightness value is low in areas where skin is not likely to be present.
  • the skin region extraction unit 202 generates a skin map image 43 by binarizing the skin probability image 42 using a threshold value of an arbitrary value.
  • the skin map image 43 for example, pixels with high brightness are considered as skin, and pixels with low brightness are considered as non-skin.
  • the skin region extraction unit 202 outputs skin map data 45 and reliability (reliability of the skin region) 46 based on the skin map image 43.
  • the skin map data 45 may be the same as the skin map image 43, or may be compressed according to a certain rule. An example of calculating the reliability 46 will be described later using FIG. 7.
  • FIG. 5 schematically shows an example of the processing operation of the attention area brightness calculation unit 203.
  • the attention area brightness calculation unit 203 includes a detection unit 50, a rectangular detection value/skin area detection value mixture calculation unit 53, and a brightness calculation unit 57.
  • the attention area brightness calculation unit 203 calculates the skin area based on the detected brightness value of the skin area (skin area detected value 52) and the detected brightness value within the rectangular detection frame 34 (rectangular detected value 51).
  • the brightness 56 of the region of interest is calculated as information obtained from.
  • the detection unit 50 sets the value detected within the rectangular detection frame 34 set within the attention area detection frame 33 as a rectangular detection value 51. Further, the detection unit 50 sets a value obtained by detecting the skin area extracted by the skin area extraction unit 202 as a skin area detection value 52.
  • the rectangular detection value/skin area detection value mixture calculation unit 53 mixes the rectangular detection value 51 and the skin area detection value 52 based on the reliability 46.
  • the brightness calculation unit 57 sets the mixed detection value as a rectangle/skin area mixed detection value 55 and calculates the brightness 56 of the region of interest according to this rectangle/skin area mixed detection value 55.
  • FIG. 6 schematically shows an example of transition of the mixing ratio of the skin area detection value 52.
  • the upper part shows an example of the temporal transition of the brightness 56 of the region of interest.
  • an example of the temporal transition of reliability level 46 is shown.
  • the lower row an example of temporal transition of the mixing ratio of the skin area detection value 52 is shown.
  • the reliability 46 is low, the mixing ratio of the skin area detection value 52 is also low, and the mixing ratio of the rectangular detection value 51 is high.
  • the rectangular detection value 51 is in a low state, and in order to brighten the region of interest, the exposure control unit 205 gradually controls the overall exposure to brighten it by exposure control.
  • the area of interest gradually becomes brighter.
  • the reliability 46 since the reliability 46 has increased, the mixing ratio of the rectangular detection value 51 and the mixing ratio of the skin area detection value 52 become approximately the same.
  • the reliability 46 As the brightness 56 of the region of interest becomes brighter, the reliability 46 further increases, and when a certain threshold is exceeded, the mixture ratio of the skin region detection value 52 becomes 100% (image 63).
  • the camera control unit 18 increases the mixing ratio of the rectangular detection value 51 in a situation where the region of interest is dark and it is difficult to extract the skin region, and in a situation where the brightness 56 of the region of interest is sufficiently bright, it is difficult to extract the skin region.
  • FIG. 7 schematically shows an example of a method for calculating the reliability 46.
  • the skin area extraction unit 202 determines the reliability based on, for example, information on the proximity of the skin to the color space, probability information on the position where skin is likely to be located, and information on the state at the time the attention area detection unit 201 detects the attention area. Calculate degree 46.
  • the information on the state at the time of detection of the attention area includes, for example, information on the size of the attention area, information on the moving speed of the attention area, and information on the brightness 56 of the attention area.
  • the skin region extraction unit 202 generates a skin probability image 42 and a skin map image 43 (FIG. 4).
  • the skin region extracting unit 202 generates a partial skin probability image 73 based on the skin probability image 42 and the skin map image 43.
  • the skin area extracting unit 202 integrates the skin probabilities of the skin area indicated by the skin area probability image 73 pixel by pixel as a skin area skin probability integrated value, and divides this by the number of skin area pixels to determine the skin color.
  • the reliability is set to 71.
  • Skin color reliability (skin area skin probability integrated value) / (skin area pixel count)
  • the skin area extraction unit 202 calculates the attention area reliability 72 based on the following calculation formula, separately from the skin color reliability 71.
  • Attention area reliability (size coefficient + illuminance coefficient + moving speed coefficient) / 3
  • each coefficient is as follows. Size coefficient: 0.0 (small attention area) to 1.0 (large attention area) Illuminance coefficient: 0.0 (dark area of interest) to 1.0 (bright area of interest) Movement speed coefficient: 0.0 (fast movement of the attention area) to 1.0 (slow movement of the attention area)
  • the camera control unit 18 (FIG. 1) performs white balance adjustment in the imaging device 1 as imaging control based on information on image signal values for each color component in the skin region extracted by the skin region extraction unit 202 (FIG. 2). It is also possible to set the gain for this purpose.
  • FIG. 8 shows an example of application to auto white balance by the imaging control device according to one embodiment.
  • the camera control section 18 may further include a color-specific detection section 82 and a color-specific gain setting section 84.
  • the skin area color-based detection value 83 can be obtained.
  • white balance adjustment that is more suitable for the skin becomes possible.
  • the camera control unit 18 (FIG. 1) performs noise reduction processing for the skin area on the imaging device 1 as image capture control based on information obtained from the skin area extracted by the skin area extraction unit 202 (FIG. 2). You may also make it happen.
  • FIG. 9 shows an example of application to noise reduction by the imaging control device according to one embodiment.
  • the camera signal processing section 13 may include a noise reduction processing section 92.
  • the camera control unit 18 outputs the region of interest cutout image 41 to the noise reduction processing unit 92.
  • the noise reduction processing unit 92 refers to the skin map image 43 output from the skin area extraction unit 202, and can apply noise reduction only to the skin portion (post-noise reduction image 95). By doing so, it is also possible to remove noise from the skin area without affecting areas other than the skin.
  • a face area of a person in the captured image 31 is detected as an area of interest, and a skin area in the detected area of interest is extracted.
  • Imaging control is performed based on information obtained from the extracted skin area. This makes it possible to improve the detection accuracy of the face area and perform appropriate imaging control.
  • the technology it becomes possible to extract the skin region within the region of interest and detect the skin region by excluding obstacles other than the skin region within the region of interest.
  • the brightness of the skin area and the amount of flash light irradiated onto the skin area can be made more appropriate than the general method of rectangular detection within the area of interest.
  • the brightness of the skin will be adjusted to the appropriate level and the image quality of the skin area will be improved. becomes possible.
  • the skin area information can be used for automatic white balance detection to appropriately control the color of the skin area. Further, by using information on the skin area, the technology according to one embodiment can be applied to local image processing such as applying noise reduction only to the skin area.
  • the present technology can also take the following configuration.
  • a face region of a person in a captured image is detected as a region of interest, and a skin region in the detected region of interest is extracted.
  • Imaging control is performed based on information obtained from the extracted skin area. This makes it possible to improve the detection accuracy of the face area and perform appropriate imaging control.
  • a detection unit that detects a face area of a person in a captured image obtained by the imaging device as a region of interest; an extraction unit that extracts a skin area in the region of interest detected by the detection unit;
  • An imaging control device comprising: a control unit that performs imaging control on the imaging device based on information obtained from the skin region extracted by the extraction unit.
  • (3) The imaging control device according to (2) above, wherein the control unit performs exposure control in the imaging device as the imaging control based on information on the brightness of the region of interest calculated by the brightness calculation unit.
  • the control unit controls the amount of flash light emitted by the imaging device as the imaging control based on information on the brightness of the region of interest calculated by the brightness calculation unit.
  • the imaging control device described.
  • the extraction unit extracts the skin area based on skin area reference data including skin color learning data and skin position learning data.
  • the extraction unit calculates reliability of the extracted skin region.
  • the extraction unit calculates the reliability based on information on proximity to a skin color space, probability information on a position where skin is likely to be located, and information on a state when the detection unit detects the region of interest.
  • the imaging control device according to (6) above.
  • the information on the state at the time of detection of the attention area includes information on the size of the attention area, information on the moving speed of the attention area, and information on the brightness of the attention area.
  • Imaging control device. (9) The detection unit sets a rectangular detection frame inside an attention area detection frame for detecting the attention area, The brightness calculation unit calculates the brightness of the region of interest as information obtained from the skin region based on the detected brightness value of the skin region and the detected brightness value within the rectangular detection frame.
  • the imaging control device according to any one of (2) to (4) above.
  • the extraction unit is configured to calculate reliability of the extracted skin region,
  • the brightness calculation unit calculates the brightness of the region of interest based on a value obtained by mixing the detected brightness value of the skin area and the detected brightness value within the rectangular detection frame based on the reliability.
  • the imaging control device according to (9) above.
  • the captured image includes a plurality of color components,
  • the control unit performs gain setting for white balance adjustment in the imaging device as the imaging control based on information on image signal values for each color component in the skin region extracted by the extraction unit.
  • the imaging control device according to any one of (10).
  • the control unit causes the imaging device to perform noise reduction processing on the skin area as the imaging control based on information obtained from the skin area extracted by the extraction unit.
  • the imaging control device according to any one of items 11) to 11).
  • an imaging unit an imaging unit; a detection unit that detects a face area of a person in the captured image obtained by the imaging unit as a region of interest; an extraction unit that extracts a skin area in the region of interest detected by the detection unit;
  • An imaging device comprising: a control section that performs imaging control based on information obtained from the skin region extracted by the extraction section.
  • the control unit performs exposure control in the imaging unit as the imaging control.
  • It further includes a flash light emitting section The imaging device according to (13) or (14), wherein the control unit controls the amount of flash light emitted by the flash light emitting unit as the imaging control.

Abstract

本開示の撮像制御装置は、撮像装置によって得られた撮像画像における人物の顔領域を注目領域として検出する検出部と、検出部によって検出された注目領域における肌領域を抽出する抽出部と、抽出部によって抽出された肌領域から得られる情報に基づいて、撮像装置に対する撮像制御を行う制御部とを備える。

Description

撮像制御装置、および撮像装置
　本開示は、撮像制御装置、および撮像装置に関する。
　矩形状の検波枠によって撮像画像における人物の顔領域を検出し、その顔領域の検出結果に基づいて露出制御を行う顔優先ＡＥ（Auto Exposure）の技術がある（特許文献１参照）。
特開２０１７－１６９２４０号公報
　上記技術では、例えば、検波枠内に髪やサングラス等の暗い遮蔽物があると検波値が肌領域と大きくずれ、本来の明るさよりも明るくしてしまい、肌部分の画質を損なってしまう。このような事情から、上記技術では、横顔を検出しても、検波値を顔優先ＡＥには利用しておらず、横顔の肌の明るさを適正にすることが困難である。
　顔領域の検出精度を高め、適正な撮像制御を行うことを可能にする撮像制御装置、および撮像装置を提供することが望ましい。
　本開示の一実施の形態に係る撮像制御装置は、撮像装置によって得られた撮像画像における人物の顔領域を注目領域として検出する検出部と、検出部によって検出された注目領域における肌領域を抽出する抽出部と、抽出部によって抽出された肌領域から得られる情報に基づいて、撮像装置に対する撮像制御を行う制御部とを備える。
　本開示の一実施の形態に係る撮像装置は、撮像部と、撮像部によって得られた撮像画像における人物の顔領域を注目領域として検出する検出部と、検出部によって検出された注目領域における肌領域を抽出する抽出部と、抽出部によって抽出された肌領域から得られる情報に基づいて撮像制御を行う制御部とを備える。
　本開示の一実施の形態に係る撮像制御装置、または撮像装置では、撮像画像における人物の顔領域を注目領域として検出し、検出された注目領域における肌領域を抽出する。抽出された肌領域から得られる情報に基づいて、撮像制御を行う。
図１は、本開示の一実施の形態に係る撮像装置の一構成例を概略的に示すブロック図である。 図２は、一実施の形態に係る撮像制御装置としてのカメラ制御部の一構成例を概略的に示すブロック図である。 図３は、注目領域検出部による注目領域の設定例を概略的に示す説明図である。 図４は、肌領域抽出部の処理動作の一例を概略的に示す説明図である。 図５は、注目領域明るさ算出部の処理動作の一例を概略的に示す説明図である。 図６は、肌領域検波値の混合割合の遷移の一例を概略的に示す説明図である。 図７は、信頼度の算出方法の一例を概略的に示す説明図である。 図８は、一実施の形態に係る撮像制御装置によるオートホワイトバランスへの応用例を概略的に示す説明図である。 図９は、一実施の形態に係る撮像制御装置によるノイズリダクションへの応用例を概略的に示す説明図である。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　１．一実施の形態
　　１．１　撮像装置の全体構成例および動作（図１）
　　１．２　撮像制御装置の構成例および動作（図２～図７）
　　１．３　応用例（図８、図９）
　　１．４　効果
　２．その他の実施の形態
 
＜１．一実施の形態＞
［１．１　撮像装置の全体構成例および動作］
　図１に、本開示の一実施の形態に係る撮像装置１の一構成例を概略的に示す。
　撮像装置１は、例えばレンズ系１１、撮像素子部１２、カメラ信号処理部１３、記録制御部１４、表示部１５、通信部１６、操作部１７、カメラ制御部１８、メモリ部１９、ドライバ部２２、センサ部２３、電源部２４、およびフラッシュ発光部２５を有する。
　レンズ系１１および撮像素子部１２は、本開示の技術における「撮像部」の一具体例に相当する。
　レンズ系１１は、ズームレンズ、およびフォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により、被写体からの光（入射光）が導かれ撮像素子部１２に集光される。
　撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１２ａ（撮像素子）を有して構成される。
　この撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ（Correlated Double Sampling）処理、およびＡＧＣ（Automatic Gain Control）処理などを実行し、さらにＡ／Ｄ（Analog/Digital）変換処理を行う。そして、デジタルデータとしての撮像信号を、後段のカメラ信号処理部１３やカメラ制御部１８に出力する。撮像信号は、複数の色成分の信号を含んでもよい。例えば、複数の色成分として、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）を含んでもよい。
　カメラ信号処理部１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このカメラ信号処理部１３は、撮像素子部１２からのデジタル信号（撮像信号）に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部１３は、前処理、同時化処理、ＹＣ生成処理、解像度変換処理、およびファイル形成処理等を行う。また、カメラ信号処理部１３は、カメラ制御部１８からの制御に従ってノイズリダクション処理を行う。
　前処理では、撮像素子部１２からの撮像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。また、前処理では、カメラ制御部１８からの制御に従ってホワイトバランスの調整を行う。
　同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
　ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
　解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
　ファイル形成処理では、例えば以上の各種処理が施された画像データについて、例えば記録用や通信用の圧縮符号化、フォーマティング、メタデータの生成や付加などを行って記録用や通信用のファイル生成を行う。
　例えば静止画ファイルとしてＪＰＥＧ、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式の画像ファイルの生成を行う。またＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルの生成を行うことも考えられる。なお、ロー（ＲＡＷ）画像データとして画像ファイルを生成することも考えられる。
　カメラ信号処理部１３は、メタデータについては、カメラ信号処理部１３内の処理パラメータの情報や、カメラ制御部１８から取得する各種制御パラメータ、レンズ系１１や撮像素子部１２の動作状態を示す情報、モード設定情報、撮像環境情報（日時や場所など）、撮像装置１自体の識別情報、装着レンズの情報、あらかじめ登録されたカメラマンの情報（氏名、識別情報）、ＩＰＴＣ（International Press Telecommunications Council）メタデータなどを含むものとして生成する。
　なおＩＰＴＣメタデータは、メディア企業団体が策定したフォーマットによるメタデータであり、例えば「ディスクリプション／キャプション」「ディスクリプションライター」「ヘッドライン」「キーワード」など、多様な情報を記述可能とされる。
　記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は、例えば記録媒体に対し動画データや静止画データ等の画像やメタデータを記録する処理を行う。
　記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよい。また記録制御部１４は、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記録制御部１４は、撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
　表示部１５は、撮像者に対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダとされる。
　表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。また表示部１５にはカメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中や動画記録中などの撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
　通信部１６は、撮像装置１に搭載される各種の通信デバイスや通信処理回路を包括的に示している。通信部１６による通信としては、外部通信網を経由した通信（外部ネットワーク通信）、携帯端末とのローカル通信、さらにローカル通信の一態様として別の撮像装置との間等の対応機器間のマスター／スレーブ通信を行うことができる各種通信回路、および通信デバイスが設けられている。
　これにより撮像装置１は例えば外部の情報処理装置、外部の撮像装置、外部の表示装置、外部の記録装置、および外部の再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）やメタデータ、および各種パラメータ等の送受信を行う。より具体的に、通信部１６は、ネットワーク通信部として、例えば４Ｇ、５Ｇ等の移動体通信網、インターネット回線、ホームネットワーク、およびＬＡＮ（Local Area Networｋ）等による通信を行う機能や、ブルートゥース（Bluetooth：登録商標）、Ｗｉ－Ｆｉ（登録商標）通信、およびＮＦＣ（Near Field Communication）等の近距離無線通信を行う機能、赤外線通信等を行う機能、および他の機器との有線接続通信を行う機能、などの一部又は全部が備えられる。
　操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、およびタッチパッド等）を示している。操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。
　カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
　メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、およびフラッシュメモリなどを包括的に示している。
　メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
　カメラ制御部１８は、メモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、撮像装置１の全体を制御する。例えばカメラ制御部１８は、撮像素子部１２のシャッタスピードの制御、カメラ信号処理部１３における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、および記録した画像ファイルの再生動作を制御する。また、カメラ制御部１８は、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作、および通信部１６による通信方式や送信先の設定など、必要各部の動作を制御する。
　また、特に一実施の形態においてカメラ制御部１８は、撮像画像について測光値に基づく露出制御を行う。なお、一実施の形態としての露出制御の詳細については後に改めて説明する。また、本例におけるカメラ制御部１８は、撮像画像から注目領域を検出する処理を行うが、この注目領域やその検出処理についても後に改めて説明する。
　メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア、各種の設定情報等の記憶に用いられる。各種の設定情報としては、通信設定情報や、撮像動作に関する設定情報としての露出設定（シャッタスピードやＦ値）などがある。各種の設定情報としては、さらに、モード設定や、画像処理に係る設定情報としてのホワイトバランス設定、色設定、画像エフェクトに関する設定や、操作性に係る設定情報としてのカスタムキー設定や表示設定などがある。
　ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
　センサ部２３は、撮像装置１に搭載される各種のセンサを包括的に示している。センサ部２３としては例えばＩＭＵ（inertial measurement unit：慣性計測装置）が搭載されており、例えばピッチ、ヨー、ロールの３軸の角速度（ジャイロ）センサで角速度を検出し、加速度センサで加速度を検出することができる。またセンサ部２３としては、例えば位置情報センサや、照度センサ等が搭載される場合もある。またセンサ部２３としては、測距センサを備えていることが想定される。測距センサにより撮像時に撮像装置１から被写体までの距離を測定し、その距離情報を撮像した画像に対するメタデータとして付加することができる。センサ部２３で検出される各種情報、例えば位置情報、距離情報、照度情報、およびＩＭＵデータなどは、カメラ制御部１８が管理する日時情報とともに、撮像画像に対してメタデータとして付加される。
　電源部２４は、バッテリ２４ａを電源として、各部に必要な電源電圧Ｖｃｃを出力する。電源部２４による電源電圧Ｖｃｃの供給のオン／オフ、つまり撮像装置１の電源のオン／オフはカメラ制御部１８によって制御される。またバッテリ２４ａの容量、つまりバッテリ残量はカメラ制御部１８が検知可能とされている。なお電源部２４は、例えばＡＣアダプターを接続することや、直流電源電圧の供給を受けることで、外部電源に基づいて電源電圧Ｖｃｃを出力できるようにされていてもよい。
　フラッシュ発光部２５は、カメラ制御部１８の発光量演算で求めた発光量となるようにキセノン管やＬＥＤ（Light Emitting Diode）光源を発光させる。これにより、被写体が暗くても明るく撮影することができる。
［１．２　撮像制御装置の構成例および動作］
（カメラ制御部１８の構成例および動作）
　図２に、一実施の形態に係る撮像制御装置としてのカメラ制御部１８の一構成例を概略的に示す。
　カメラ制御部１８は、注目領域検出部２０１と、肌領域抽出部２０２と、注目領域明るさ算出部２０３と、画面全体領域明るさ算出部２０４と、露出制御部２０５と、フラッシュ発光量制御部２０６とを有する。
　注目領域検出部２０１は、撮像装置１の撮像部によって得られた撮像画像３１における、人物の顔領域を注目領域として検出する検出部である。
　肌領域抽出部２０２は、注目領域検出部２０１によって検出された注目領域における肌領域を抽出する抽出部である。
　注目領域明るさ算出部２０３は、肌領域抽出部２０２によって抽出された肌領域の明るさの検波値に基づいて、肌領域から得られる情報として、注目領域の明るさを算出する明るさ算出部である。
　画面全体領域明るさ算出部２０４は、注目領域明るさ算出部２０３による注目領域の明るさの算出処理と並行して、撮像画像３１の全体領域の明るさを算出する。
　カメラ制御部１８は、肌領域抽出部２０２によって抽出された肌領域から得られる情報に基づいて、撮像装置１に対する撮像制御を行う制御部である。特に、露出制御部２０５は、注目領域明るさ算出部２０３によって算出された注目領域の明るさの情報に基づいて、撮像制御として、撮像装置１の撮像部における露出制御を行う制御部である。露出制御の際には、撮像画像３１の全体領域の明るさの情報も考慮して最終的な露出を決定するようにしてもよい。
　また、フラッシュ発光量制御部２０６は、注目領域明るさ算出部２０３によって算出された注目領域の明るさの情報に基づいて、撮像制御として、撮像装置１のフラッシュ発光部２５におけるフラッシュ発光量制御を行う制御部である。
（注目領域検出部２０１）
　図３に、注目領域検出部２０１による注目領域の設定例を概略的に示す。
　注目領域検出部２０１は、注目領域検出参考データ３２に基づいて、撮像画像３１に注目領域を検出するための注目領域検出枠３３を設定する。さらに、注目領域検出部２０１は、注目領域検出枠３３の内側に矩形検波枠３４を設定する。矩形検波枠３４は、例えば注目領域検出枠３３の中央部に設定する。
（肌領域抽出部２０２）
　図４に、肌領域抽出部２０２の処理動作の一例を概略的に示す。
　肌領域抽出部２０２は、注目領域切り出し画像４１から肌領域参照データ４４に基づいて、肌確率画像４２を生成する。肌領域参照データ４４は、事前に学習させた学習データを用いる。肌領域参照データ４４は例えば、肌色の学習データと肌位置の学習データとを含む。肌色の学習データには、肌の色空間との近さの情報が含まれる。肌位置の学習データには、肌がありそうな位置の確率情報が含まれる。また、肌位置の学習データには、顔の向きに関する学習データが含まれてもよい。これにより、例えば横顔であっても肌領域を抽出しやすくなる。肌確率画像４２は例えば、より肌の色空間に近い色や、肌がありそうな位置の画素の輝度値が高くなり、そうでない領域の輝度値が低くなる画像とする。
　肌領域抽出部２０２は、肌確率画像４２を任意の値の閾値で２値化することで、肌マップ画像４３を生成する。肌マップ画像４３は例えば、輝度が高い画素を肌、輝度が低い画素を肌以外とする。肌領域抽出部２０２は、肌マップ画像４３に基づいて、肌マップデータ４５と、信頼度（肌領域の信頼度）４６とを出力する。肌マップデータ４５は、肌マップ画像４３と同一、もしくは一定のルールに従って圧縮したものとしてもよい。信頼度４６の算出例は図７を用いて後述する。
（注目領域明るさ算出部２０３）
　図５に、注目領域明るさ算出部２０３の処理動作の一例を概略的に示す。
　注目領域明るさ算出部２０３は、検波部５０と、矩形検波値・肌領域検波値混合計算部５３と、明るさ演算部５７とを有する。
　注目領域明るさ算出部２０３は、肌領域の明るさの検波値（肌領域検波値５２）と、矩形検波枠３４内の明るさの検波値（矩形検波値５１）とに基づいて、肌領域から得られる情報として、注目領域の明るさ５６を算出する。
　検波部５０は、注目領域検出枠３３内に設定された矩形検波枠３４内を検波した値を、矩形検波値５１とする。また、検波部５０は、肌領域抽出部２０２で抽出された肌領域を検波した値を肌領域検波値５２とする。
　矩形検波値・肌領域検波値混合計算部５３は、矩形検波値５１と肌領域検波値５２とを信頼度４６に基づいて混合する。明るさ演算部５７は、混合された検波値を矩形・肌領域混合検波値５５とし、この矩形・肌領域混合検波値５５に従って注目領域の明るさ５６を算出する。
（肌領域検波値５２の混合割合の遷移）
　図６に、肌領域検波値５２の混合割合の遷移の一例を概略的に示す。図６において、上段には、注目領域の明るさ５６の時間的な遷移の一例を示す。中段には、信頼度４６の時間的な遷移の一例を示す。下段には、肌領域検波値５２の混合率の時間的な遷移の一例を示す。
　画像６１のように注目領域の明るさ５６が暗い場合は、信頼度４６が低く、肌領域検波値５２の混合率も低くなり矩形検波値５１の混合率が高くなる。この場合、矩形検波値５１が低い状態であり、注目領域を明るくするために、露出制御部２０５は、露出制御により徐々に全体的に露出を明るく制御する。
　すると画像６２のように徐々に注目領域が明るくなる。このとき、信頼度４６は上昇しているため、矩形検波値５１の混合率と肌領域検波値５２の混合率は同程度になる。注目領域の明るさ５６が明るくなってくると、信頼度４６はさらに上昇し、ある閾値を超えると肌領域検波値５２の混合率は１００％になる（画像６３）。
　このように、カメラ制御部１８では、注目領域が暗く、肌領域の抽出が困難な状況では、矩形検波値５１の混合率を増やして、注目領域の明るさ５６が十分に明るい状況では、肌領域検波値５２の混合率を増やす。これにより、肌が暗いときに肌領域が抽出しにくいという、肌領域抽出の欠点を補いつつ、肌領域に最適な露出制御が可能となる。同様にして、肌領域に最適なフラッシュ発光量制御が可能になる。
（信頼度４６の算出方法）
　図７に、信頼度４６の算出方法の一例を概略的に示す。
　肌領域抽出部２０２は例えば、肌の色空間との近さの情報、肌がありそうな位置の確率情報、および注目領域検出部２０１による注目領域の検出時の状態の情報に基づいて、信頼度４６を算出する。注目領域の検出時の状態の情報には例えば、注目領域の大きさの情報、注目領域の移動速度の情報、および注目領域の明るさ５６の情報が含まれる。
　肌領域抽出部２０２では、肌確率画像４２と肌マップ画像４３とが生成される（図４）。肌領域抽出部２０２は、肌確率画像４２と肌マップ画像４３とに基づいて、肌部分肌確率画像７３を生成する。
　肌領域抽出部２０２は、肌部分肌確率画像７３によって示される肌部分の肌確率を画素単位で積算したものを、肌部分肌確率積算値とし、これを肌部分画素数で割った値を肌色信頼度７１とする。
　肌色信頼度＝（肌部分肌確率積算値）／（肌部分画素数）
　また、肌領域抽出部２０２は、肌色信頼度７１とは別に、以下の計算式を元に注目領域信頼度７２を算出する。
　注目領域信頼度＝（大きさ係数＋照度係数＋移動速度係数）／３
　ここで、各係数の意味は以下のとおりである。
　大きさ係数：０．０（注目領域が小さい）～１．０（注目領域が大きい）
　照度係数：０．０（注目領域が暗い）～１．０（注目領域が明るい）
　移動速度係数：０．０（注目領域の動きが速い）～１．０（注目領域の動きが遅い）
　肌領域抽出部２０２は、肌色信頼度７１と注目領域信頼度７２とに基づいて、以下の算出式に従って、信頼度４６を算出する。
　信頼度＝（肌色信頼度＋注目領域信頼度）／２
［１．３　応用例］
（オートホワイトバランスへの応用例）
　カメラ制御部１８（図１）は、肌領域抽出部２０２（図２）によって抽出された肌領域における色成分ごとの画像信号値の情報に基づいて、撮像制御として、撮像装置１におけるホワイトバランス調整のためのゲイン設定を行うようにしてもよい。
　図８に、一実施の形態に係る撮像制御装置によるオートホワイトバランスへの応用例を示す。
　カメラ制御部１８は、色別検波部８２と、色別ゲイン設定部８４とを、さらに有してもよい。
　肌マップ画像４３を用いて、色別検波部８２において肌領域のみを検波することで、肌領域色別検波値８３を求めることができる。この肌領域色別検波値８３を用いて、色別ゲイン設定部８４にてホワイトバランス調整のためのゲインを設定することで、より肌に適したホワイトバランス調整が可能になる。
（ノイズリダクションへの応用例）
　カメラ制御部１８（図１）は、肌領域抽出部２０２（図２）によって抽出された肌領域から得られる情報に基づいて、撮像制御として、撮像装置１に対して肌領域に対するノイズリダクション処理を行わせるようにしてもよい。
　図９に、一実施の形態に係る撮像制御装置によるノイズリダクションへの応用例を示す。
　カメラ信号処理部１３（図１）は、ノイズリダクション処理部９２を有してもよい。カメラ制御部１８は、注目領域切り出し画像４１をノイズリダクション処理部９２に出力する。ノイズリダクション処理部９２は、肌領域抽出部２０２から出力された肌マップ画像４３を参照し、肌部分にのみノイズリダクションをかけることが可能になる（ノイズリダクション後画像９５）。そうすることで肌以外の領域に影響することなく肌部分のノイズを除去することも可能になる。
［１．４　効果］
　以上説明したように、一実施の形態に係る技術によれば、撮像画像３１における人物の顔領域を注目領域として検出し、検出された注目領域における肌領域を抽出する。抽出された肌領域から得られる情報に基づいて、撮像制御を行う。これにより、顔領域の検出精度を高め、適正な撮像制御を行うことが可能となる。
　一実施の形態に係る技術によれば、注目領域内の肌領域を抽出し、注目領域内の肌領域以外の遮蔽物を排除して肌領域の検波をすることが可能になる。これにより、注目領域内を矩形に検波する一般的な方式に比べて、肌領域の明るさや肌領域に照射されるフラッシュ発光量をより適正にすることができる。これにより、例えば検波枠内に髪やサングラス等の暗い遮蔽物がある場合や、顔の向きが横向きである場合等であっても、肌の明るさを適正にし、肌部分の画質を向上させることが可能となる。
　また、肌領域を抽出する際に信頼度４６を算出し、この信頼度４６を元に矩形検波値５１の採用割合を増やすことで、逆光で肌を抽出しにくいような、肌領域の抽出が難しいシーンにおいても注目領域の明るさ算出の精度を保つことが可能となる。これにより、顔に適した露出制御やフラッシュ発光量制御が可能となる。
　さらに、肌領域の情報を、オートホワイトバランスの検波に用いて、肌部分の色を適切に制御することもできる。また、肌領域の情報を用いることで、一実施の形態に係る技術を肌部分のみノイズリダクションを掛ける等の局所的な画像処理に応用することもできる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．その他の実施の形態＞
　本開示による技術は、上記一実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、本技術は以下のような構成を取ることもできる。
　以下の構成の本技術によれば、撮像画像における人物の顔領域を注目領域として検出し、検出された注目領域における肌領域を抽出する。抽出された肌領域から得られる情報に基づいて、撮像制御を行う。これにより、顔領域の検出精度を高め、適正な撮像制御を行うことが可能となる。
（１）
　撮像装置によって得られた撮像画像における人物の顔領域を注目領域として検出する検出部と、
　前記検出部によって検出された前記注目領域における肌領域を抽出する抽出部と、
　前記抽出部によって抽出された前記肌領域から得られる情報に基づいて、前記撮像装置に対する撮像制御を行う制御部と
　を備える
　撮像制御装置。
（２）
　前記抽出部によって抽出された前記肌領域の明るさの検波値に基づいて、前記肌領域から得られる情報として、前記注目領域の明るさを算出する明るさ算出部、をさらに備える
　上記（１）に記載の撮像制御装置。
（３）
　前記制御部は、前記明るさ算出部によって算出された前記注目領域の明るさの情報に基づいて、前記撮像制御として、前記撮像装置における露出制御を行う
　上記（２）に記載の撮像制御装置。
（４）
　前記制御部は、前記明るさ算出部によって算出された前記注目領域の明るさの情報に基づいて、前記撮像制御として、前記撮像装置におけるフラッシュ発光量制御を行う
　上記（２）または（３）に記載の撮像制御装置。
（５）
　前記抽出部は、肌色の学習データと肌位置の学習データとを含む肌領域参照データに基づいて前記肌領域を抽出する
　上記（１）ないし（４）のいずれか１つに記載の撮像制御装置。
（６）
　前記抽出部は、抽出した前記肌領域の信頼度を算出する
　上記（１）ないし（５）のいずれか１つに記載の撮像制御装置。
（７）
　前記抽出部は、肌の色空間との近さの情報、肌がありそうな位置の確率情報、および前記検出部による前記注目領域の検出時の状態の情報に基づいて、前記信頼度を算出する　上記（６）に記載の撮像制御装置。
（８）
　前記注目領域の検出時の状態の情報には、前記注目領域の大きさの情報、前記注目領域の移動速度の情報、および前記注目領域の明るさの情報が含まれる
　上記（７）に記載の撮像制御装置。
（９）
　前記検出部は、前記注目領域を検出するための注目領域検出枠の内側に矩形検波枠を設定し、
　前記明るさ算出部は、前記肌領域の明るさの検波値と、前記矩形検波枠内の明るさの検波値とに基づいて、前記肌領域から得られる情報として、前記注目領域の明るさを算出する
　上記（２）ないし（４）のいずれか１つに記載の撮像制御装置。
（１０）
　前記抽出部は、抽出した前記肌領域の信頼度を算出するようになされ、
　前記明るさ算出部は、前記肌領域の明るさの検波値と前記矩形検波枠内の明るさの検波値とを前記信頼度に基づいて混合した値に基づいて、前記注目領域の明るさを算出する
　上記（９）に記載の撮像制御装置。
（１１）
　前記撮像画像は、複数の色成分を含み、
　前記制御部は、前記抽出部によって抽出された前記肌領域における色成分ごとの画像信号値の情報に基づいて、前記撮像制御として、前記撮像装置におけるホワイトバランス調整のためのゲイン設定を行う
　上記（１）ないし（１０）のいずれか１つに記載の撮像制御装置。
（１２）
　前記制御部は、前記抽出部によって抽出された前記肌領域から得られる情報に基づいて、前記撮像制御として、前記撮像装置に対して前記肌領域に対するノイズリダクション処理を行わせる
　上記（１）ないし（１１）のいずれか１つに記載の撮像制御装置。
（１３）
　撮像部と、
　前記撮像部によって得られた撮像画像における人物の顔領域を注目領域として検出する検出部と、
　前記検出部によって検出された前記注目領域における肌領域を抽出する抽出部と、
　前記抽出部によって抽出された前記肌領域から得られる情報に基づいて撮像制御を行う制御部と
　を備える
　撮像装置。
（１４）
　前記制御部は、前記撮像制御として、前記撮像部における露出制御を行う
　上記（１３）に記載の撮像装置。
（１５）
　フラッシュ発光部、をさらに備え、
　前記制御部は、前記撮像制御として、前記フラッシュ発光部におけるフラッシュ発光量制御を行う
　上記（１３）または（１４）に記載の撮像装置。
　本出願は、日本国特許庁において２０２２年９月２日に出願された日本特許出願番号第２０２２－１４０３３８号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (15)

  1. 　撮像装置によって得られた撮像画像における人物の顔領域を注目領域として検出する検出部と、
    　前記検出部によって検出された前記注目領域における肌領域を抽出する抽出部と、
    　前記抽出部によって抽出された前記肌領域から得られる情報に基づいて、前記撮像装置に対する撮像制御を行う制御部と
    　を備える
    　撮像制御装置。
  2. 　前記抽出部によって抽出された前記肌領域の明るさの検波値に基づいて、前記肌領域から得られる情報として、前記注目領域の明るさを算出する明るさ算出部、をさらに備える
    　請求項１に記載の撮像制御装置。
  3. 　前記制御部は、前記明るさ算出部によって算出された前記注目領域の明るさの情報に基づいて、前記撮像制御として、前記撮像装置における露出制御を行う
    　請求項２に記載の撮像制御装置。
  4. 　前記制御部は、前記明るさ算出部によって算出された前記注目領域の明るさの情報に基づいて、前記撮像制御として、前記撮像装置におけるフラッシュ発光量制御を行う
    　請求項２に記載の撮像制御装置。
  5. 　前記抽出部は、肌色の学習データと肌位置の学習データとを含む肌領域参照データに基づいて前記肌領域を抽出する
    　請求項１に記載の撮像制御装置。
  6. 　前記抽出部は、抽出した前記肌領域の信頼度を算出する
    　請求項１に記載の撮像制御装置。
  7. 　前記抽出部は、肌の色空間との近さの情報、肌がありそうな位置の確率情報、および前記検出部による前記注目領域の検出時の状態の情報に基づいて、前記信頼度を算出する
    　請求項６に記載の撮像制御装置。
  8. 　前記注目領域の検出時の状態の情報には、前記注目領域の大きさの情報、前記注目領域の移動速度の情報、および前記注目領域の明るさの情報が含まれる
    　請求項７に記載の撮像制御装置。
  9. 　前記検出部は、前記注目領域を検出するための注目領域検出枠の内側に矩形検波枠を設定し、
    　前記明るさ算出部は、前記肌領域の明るさの検波値と、前記矩形検波枠内の明るさの検波値とに基づいて、前記肌領域から得られる情報として、前記注目領域の明るさを算出する
    　請求項２に記載の撮像制御装置。
  10. 　前記抽出部は、抽出した前記肌領域の信頼度を算出するようになされ、
    　前記明るさ算出部は、前記肌領域の明るさの検波値と前記矩形検波枠内の明るさの検波値とを前記信頼度に基づいて混合した値に基づいて、前記注目領域の明るさを算出する
    　請求項９に記載の撮像制御装置。
  11. 　前記撮像画像は、複数の色成分を含み、
    　前記制御部は、前記抽出部によって抽出された前記肌領域における色成分ごとの画像信号値の情報に基づいて、前記撮像制御として、前記撮像装置におけるホワイトバランス調整のためのゲイン設定を行う
    　請求項１に記載の撮像制御装置。
  12. 　前記制御部は、前記抽出部によって抽出された前記肌領域から得られる情報に基づいて、前記撮像制御として、前記撮像装置に対して前記肌領域に対するノイズリダクション処理を行わせる
    　請求項１に記載の撮像制御装置。
  13. 　撮像部と、
    　前記撮像部によって得られた撮像画像における人物の顔領域を注目領域として検出する検出部と、
    　前記検出部によって検出された前記注目領域における肌領域を抽出する抽出部と、
    　前記抽出部によって抽出された前記肌領域から得られる情報に基づいて撮像制御を行う制御部と
    　を備える
    　撮像装置。
  14. 　前記制御部は、前記撮像制御として、前記撮像部における露出制御を行う
    　請求項１３に記載の撮像装置。
  15. 　フラッシュ発光部、をさらに備え、
    　前記制御部は、前記撮像制御として、前記フラッシュ発光部におけるフラッシュ発光量制御を行う
    　請求項１３に記載の撮像装置。
PCT/JP2023/025484 2022-09-02 2023-07-10 撮像制御装置、および撮像装置 WO2024048082A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-140338 2022-09-02
JP2022140338 2022-09-02

Publications (1)

Publication Number Publication Date
WO2024048082A1 true WO2024048082A1 (ja) 2024-03-07

Family

ID=90099531

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/025484 WO2024048082A1 (ja) 2022-09-02 2023-07-10 撮像制御装置、および撮像装置

Country Status (1)

Country Link
WO (1) WO2024048082A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005094133A (ja) * 2003-09-12 2005-04-07 Fuji Photo Film Co Ltd 撮影装置
JP2005222304A (ja) * 2004-02-05 2005-08-18 Akita Prefecture パターン抽出装置
JP2005531189A (ja) * 2002-06-25 2005-10-13 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 画像のホワイトバランスを顔の色を基準信号として用いて行う方法及びシステム
JP2013179464A (ja) * 2012-02-28 2013-09-09 Nikon Corp 電子カメラ
JP2015075628A (ja) * 2013-10-09 2015-04-20 株式会社ニコン 発光制御装置及び撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005531189A (ja) * 2002-06-25 2005-10-13 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 画像のホワイトバランスを顔の色を基準信号として用いて行う方法及びシステム
JP2005094133A (ja) * 2003-09-12 2005-04-07 Fuji Photo Film Co Ltd 撮影装置
JP2005222304A (ja) * 2004-02-05 2005-08-18 Akita Prefecture パターン抽出装置
JP2013179464A (ja) * 2012-02-28 2013-09-09 Nikon Corp 電子カメラ
JP2015075628A (ja) * 2013-10-09 2015-04-20 株式会社ニコン 発光制御装置及び撮像装置

Similar Documents

Publication Publication Date Title
US10091421B2 (en) Imaging apparatus, imaging method, and program
US7706674B2 (en) Device and method for controlling flash
US8294805B2 (en) Image capturing apparatus capable of displaying live preview image
US9648245B2 (en) Low-light image capture method and image capture apparatus
CN101489051B (zh) 图像处理设备和图像处理方法以及摄像设备
US9251765B2 (en) Image processing device, image processing method, and program for generating composite image
US8582891B2 (en) Method and apparatus for guiding user with suitable composition, and digital photographing apparatus
JP5820120B2 (ja) 撮像装置およびその制御方法
TW201301883A (zh) 具有高動態範圍攝取能力之影像感測器
JP2007178576A (ja) 撮像装置及びそのプログラム
US20130120608A1 (en) Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus
US7339606B2 (en) Image capturing apparatus, main subject position determination method, and computer-readable medium storing program
KR20110055243A (ko) 디지털 촬영 장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
KR102072731B1 (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US20200204722A1 (en) Imaging apparatus, imaging method, and program
JP2007124292A (ja) 撮像装置、撮像方法および撮像プログラム
WO2024048082A1 (ja) 撮像制御装置、および撮像装置
JP2009065320A (ja) 撮像装置
JP4530742B2 (ja) モニタ制御装置
US20230179869A1 (en) Imaging control apparatus, imaging control method, and program
US8558910B2 (en) Method and apparatus for detecting red eyes
JP2005229292A (ja) 撮像装置及び撮像装置の制御方法
JP4948011B2 (ja) 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP2009049639A (ja) 撮影装置
JP4727526B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23859852

Country of ref document: EP

Kind code of ref document: A1