WO2023181630A1 - 画像処理装置、および撮像システム - Google Patents

画像処理装置、および撮像システム Download PDF

Info

Publication number
WO2023181630A1
WO2023181630A1 PCT/JP2023/002598 JP2023002598W WO2023181630A1 WO 2023181630 A1 WO2023181630 A1 WO 2023181630A1 JP 2023002598 W JP2023002598 W JP 2023002598W WO 2023181630 A1 WO2023181630 A1 WO 2023181630A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
exposure
images
desired subject
processing device
Prior art date
Application number
PCT/JP2023/002598
Other languages
English (en)
French (fr)
Inventor
雄一 鈴木
貫之 大石
誠司 黒田
吉隆 杉本
彰 横川
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023181630A1 publication Critical patent/WO2023181630A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Definitions

  • the present disclosure relates to an image processing device and an imaging system.
  • the image used for face authentication be a bright image with suppressed noise and image blur.
  • methods of photographing a dark subject with an electronic camera and obtaining a bright image include a method of amplifying the image signal and a method of lengthening the exposure time.
  • a technique for obtaining an image with suppressed image blur there is a technique for composing a plurality of images (see, for example, Patent Document 1).
  • noise components are also amplified.
  • the image becomes blurred if the subject moves. Therefore, it has been difficult to suppress both noise and image blur.
  • An image processing device includes a movement detector that detects the amount of change in a desired subject image in a plurality of continuously captured images and generates movement information of the desired subject image. , an image corrector that generates a plurality of corrected images in which changes in desired subject images between the plurality of captured images are corrected based on movement information generated by the movement detector; and an exposure processing section that generates an exposure image in a desired exposure state based on the corrected image.
  • An imaging system includes an imaging unit, and detects an amount of change in a desired subject image in a plurality of captured images continuously captured by the imaging unit, and obtains movement information of the desired subject image.
  • an image corrector that generates a plurality of corrected images in which changes in a desired subject image between the plurality of captured images are corrected based on the movement information generated by the movement detector; and an exposure processing section that generates an exposure image in a desired exposure state based on the plurality of corrected images generated by the device.
  • an exposed image with a desired exposure state is generated.
  • FIG. 1 is an explanatory diagram schematically showing the principle of a general image sensor.
  • FIG. 2 is an explanatory diagram schematically showing an example of the configuration and function of a general imaging circuit.
  • FIG. 3 is an explanatory diagram schematically showing an example of the optical structure of a general image sensor.
  • FIG. 4 is an explanatory diagram schematically showing an example of the focal length of an optical lens.
  • FIG. 5 is an explanatory diagram schematically showing an example of the focal length of a camera lens.
  • FIG. 6 is an explanatory diagram schematically showing an example of the depth of field when the camera lens is a small-diameter lens.
  • FIG. 7 is an explanatory diagram schematically showing an example of the depth of field when the camera lens is a large-diameter lens.
  • FIG. 1 is an explanatory diagram schematically showing the principle of a general image sensor.
  • FIG. 2 is an explanatory diagram schematically showing an example of the configuration and function of a general imaging circuit.
  • FIG. 8 is an explanatory diagram schematically showing an example of the depth of field when the camera lens is a wide-angle lens and the depth of field when the camera lens is a telephoto lens.
  • FIG. 9 is an explanatory diagram showing an example of the variation characteristics of the number of photons reaching the image sensor.
  • FIG. 10 is an explanatory diagram schematically showing an example of exposure control that prioritizes shutter speed.
  • FIG. 11 is an explanatory diagram schematically showing an example of a photographed image when exposure control is performed that prioritizes shutter speed.
  • FIG. 12 is an explanatory diagram schematically showing an example of exposure control that prioritizes gain.
  • FIG. 13 is an explanatory diagram schematically showing an example of a captured image when exposure control giving priority to gain is performed.
  • FIG. 14 is an explanatory diagram schematically showing an example of exposure control that balances shutter speed and gain.
  • FIG. 15 is an explanatory diagram schematically showing an example of the relationship between subject speed and exposure time.
  • FIG. 16 is an explanatory diagram showing the generation of quantum noise.
  • FIG. 17 is an explanatory diagram showing an overview of HDR as the number of representation bits.
  • FIG. 18 is an explanatory diagram showing an overview of HDR as image synthesis.
  • FIG. 19 is an explanatory diagram showing an example of an HDR image generated based on an image obtained by performing exposure control that prioritizes shutter speed.
  • FIG. 20 is an explanatory diagram showing an example of an HDR image generated based on an image obtained by performing exposure control that prioritizes gain.
  • FIG. 21 is an explanatory diagram showing an example of an image obtained by a technique according to an embodiment of the present disclosure.
  • FIG. 22 is an explanatory diagram showing an example of an image obtained by a technique according to an embodiment of the present disclosure.
  • FIG. 23 is a block diagram schematically showing a configuration example in which an image processing device and an imaging system according to an embodiment of the present disclosure are applied to a face authentication system.
  • FIG. 24 is a block diagram showing an overview of an image processing device and an imaging system according to an embodiment.
  • FIG. 25 is a block diagram schematically showing a detailed configuration example of an image processing device according to an embodiment.
  • FIG. 26 is an explanatory diagram schematically showing an example of a change in the angle of a subject.
  • FIG. 27 is a flowchart illustrating an example of a processing operation of an image processing apparatus according to an embodiment.
  • FIG. 28 is an explanatory diagram showing an overview of image integration calculation using the FIR method.
  • FIG. 29 is a timing chart showing an overview of image integration calculation using the FIR method.
  • FIG. 30 is an explanatory diagram showing an overview of image integration calculation using the IIR method.
  • FIG. 31 is a timing chart schematically showing an example of the output timing of image data when the exposure time is short due to exposure control according to the comparative example.
  • FIG. 32 is a timing chart schematically showing an example of the output timing of image data when the exposure time is long due to exposure control according to the comparative example.
  • FIG. 33 is a timing chart schematically showing an example of output timing of image data by exposure control according to an embodiment.
  • FIG. 1 schematically shows the principle of a general image sensor.
  • the principle of modern electronic cameras is O (Optic) E (Electric), in which an incident photon causes a disturbance to the electronic bonds in a semiconductor, creating a pair of negative charges (n-type carriers) and positive charges (p-type carriers). ) by conversion.
  • FIG. 2 schematically shows an example of the configuration and function of a general imaging circuit.
  • the imaging circuit was the main source of fluctuating noise, but now various noise suppression techniques have been devised.
  • the charges accumulated in each image sensor 101 are sequentially converted as current into a voltage signal by an IV amplifier (current/voltage conversion amplifier) 111.
  • the voltage signal is amplified by an AGC (Auto Gain Control) amplifier 112 according to a set gain, and converted into a digital signal by an A (analog)/D (digital) converter 113.
  • AGC Automatic Gain Control
  • FIG. 3 schematically shows an example of the optical structure of a general image sensor.
  • a color filter 121 As a general image sensor structure, for example, there is one in which a color filter 121, a microlens 122, an optical low-pass filter 123, and an infrared cut filter 124 are arranged with respect to the image sensor 101.
  • the image sensor 101 is, for example, a photodiode.
  • Typical camera lenses are designed to focus on visible light, and if infrared light gets mixed in, it will cause out of focus.
  • Infrared cut filter 124 is provided to exclude infrared light.
  • a subject whose resolution exceeds the pixel pitch causes moiré.
  • the optical low-pass filter 123 has the effect of slightly scattering light in order to suppress the occurrence of moiré.
  • the microlens 122 improves light reception efficiency and prevents incident light from each pixel from leaking to adjacent pixels.
  • the color filter 121 is, for example, a primary color filter that allows color image photography by passing only one of the three primary colors (red, green, blue) of light to one pixel.
  • FIG. 4 schematically shows an example of the focal length of the optical lens 130.
  • FIG. 5 schematically shows an example of the focal length of the camera lens 131.
  • the focal length of the camera lens 131 has a different meaning from the focal length of the optical lens 130.
  • FIG. 5 schematically shows the concept of focal length in the case of a wide-angle lens (with a small focal length) and a telephoto lens (with a small focal length).
  • the F value is the value obtained by dividing the focal length of the camera lens 131 by the effective diameter on the objective side.
  • the smaller the F number the brighter the lens (collects more light).
  • the wider the angle the smaller the focal length
  • the larger the aperture larger camera
  • Dark wide-angle lenses have small apertures and short overall lens lengths, so they are small and inexpensive.
  • a bright telephoto lens has a large aperture and a long overall lens length, so it is large and expensive.
  • FIG. 6 schematically shows an example of the depth of field when the camera lens 131 is a small diameter lens.
  • FIG. 7 schematically shows an example of the depth of field when the camera lens 131 is a large-diameter lens.
  • Depth of field indicates the degree of blur on the image plane when the distance of the subject is away from the in-focus position.
  • the depth of field is deep, even if the distance of the subject is slightly off from the in-focus position, it will not be blurred on the image plane.
  • the depth of field is shallow, even if the distance of the subject is just a little away from the in-focus position, it is likely to become blurred on the image plane.
  • the larger the aperture (brighter) the lens the shallower the depth of field (easier to blur).
  • a bright lens with a large aperture requires precise focus control and is not suitable for simultaneously photographing a distant subject and a nearby subject.
  • FIG. 8 schematically shows an example of the depth of field when the camera lens 131 is a wide-angle lens and the depth of field when it is a telephoto lens.
  • a lens with a deeper depth of field that is, a lens with a smaller aperture and a wider angle, is more advantageous.
  • Quantization noise in digital signal processing is used to express minute errors of less than one bit that occur when digitizing a continuous analog signal. It should be noted that the "quantum noise” to be solved by the technology according to one embodiment is caused by the quantum mechanical properties of photons and is a completely different concept.
  • a photon is what physics calls a ⁇ quantum'' that has both particle and wave properties.
  • “Wave” is interpreted to mean that the probability of the existence of a photon has wave properties. That is, the existence probability of a photon is subjected to wave refraction by a lens and reaches the image sensor 101 "stochastically". Therefore, the number of photons detected by the image sensor 101 fluctuates according to the probability distribution and is not constant.
  • the noise generated in the image signal due to this is quantum noise.
  • Light can be roughly divided into two parameters: color and brightness.
  • Color is determined by the energy of photons.
  • E is the energy of photon (J).
  • ⁇ 555 nm (yellow-green)
  • E 3.57918 ⁇ 19 (J).
  • Brightness is determined by the number of photons.
  • the number of photons is expressed as (light irradiation energy)/(photon energy).
  • the illumination intensity is 1 Lux
  • FIG. 9 shows an example of the variation characteristics of the number of photons reaching the image sensor 101.
  • Camera exposure control method Methods for photographing a dark subject as a bright image can be roughly divided into two types: shutter speed priority control and gain priority control.
  • FIG. 10 schematically shows an example of exposure control that prioritizes shutter speed (shutter speed priority control).
  • FIG. 11 schematically shows an example of a captured image when exposure control is performed that prioritizes shutter speed.
  • Shutter speed priority control is generally applied to photographing a moving subject.
  • the shutter speed priority control maintains (fixes) the exposure time (shutter speed) setting regardless of the illuminance, and adjusts the amplification factor (gain) of the signal by the AGC amplifier 112 according to the illuminance. In other words, the darker the subject, the brighter the image becomes by increasing the signal amplification factor.
  • shutter speed priority control is performed, as shown in FIG. 11, by increasing the signal amplification factor, not only the brightness of the image but also quantum noise is amplified.
  • FIG. 12 schematically shows an example of exposure control that gives priority to gain (gain priority control).
  • FIG. 13 schematically shows an example of a captured image when exposure control giving priority to gain is performed.
  • Gain priority control is generally applied to subjects with little movement. As shown in FIG. 12, gain priority control maintains (fixes) the amplification factor (gain) of the signal by the AGC amplifier 112 regardless of the illuminance, and changes the exposure time (shutter speed) according to the illuminance to create a dark image. This control brightens the image by accumulating photons by exposing the subject for a longer time.
  • gain priority control is performed, as shown in FIG. 13, although quantum noise is suppressed, blurring occurs in a moving subject.
  • FIG. 14 schematically shows an example of exposure control (balance control) that balances shutter speed and gain.
  • the exposure time (shutter speed) and the signal amplification factor (gain) by the AGC amplifier 112 are adjusted depending on the illuminance, as shown in FIG. AE (Auto Exposure) control is performed to alternately control the exposure conditions so that the exposure conditions are optimized.
  • AE Automatic Exposure control is performed to alternately control the exposure conditions so that the exposure conditions are optimized.
  • high-end cameras equipped with large-diameter lenses may also use an aperture mechanism to lower the F value or install an ND filter to attenuate the incident light.
  • FIG. 15 schematically shows an example of the relationship between subject speed and exposure time.
  • the allowable moving speed is 33.3 pixels/second or less, that is, horizontal It takes more than 1 minute to cross the angle of view.
  • FIG. 16 shows the generation of quantum noise.
  • an image processing device and an imaging system that can generate an image in a desired exposure state with suppressed noise and image blur after photographing.
  • an imaging system that can generate an image in a desired exposure state with suppressed noise and image blur after photographing.
  • FIG. 17 shows an overview of HDR as the number of representation bits.
  • FIG. 18 shows an overview of HDR as image synthesis.
  • HDR as an image synthesis method is a method to expand the dynamic range by compositing multiple pieces of image data that are continuously shot while switching the analog gain at high speed. For example, as shown in FIG. 18, a first analog signal obtained by an analog gain set so that bright parts are suppressed is converted into a first digital signal (for example, 10 bits) by the A/D converter 141. do. Furthermore, the first image is obtained by performing gamma correction and shading correction using an LUT (look-up table) 142. The first image may be a normal image (for example, 8 bits) whose dynamic range is not expanded.
  • the A/D converter 151 converts a second analog signal obtained with an analog gain set so that dark parts are emphasized into a second digital signal (for example, 10 bits). Furthermore, a second image is obtained by performing gamma correction and shading correction using an LUT (look-up table) 152. In the first image, bright parts are suppressed, so black collapse may occur in some parts. On the other hand, since the dark parts of the second image are emphasized, blown-out highlights may occur in some parts. By compositing the first image and the second image so as to remove the areas where crushed blacks and blown out highlights occur, an HDR image with an expanded dynamic range (for example, 10 bits) is created. can be obtained.
  • an HDR image with an expanded dynamic range for example, 10 bits
  • FIG. 19 shows an example of an HDR image generated based on an image obtained by performing exposure control that prioritizes shutter speed (shutter speed priority control).
  • FIG. 20 shows an example of an HDR image generated based on an image obtained by performing exposure control that prioritizes gain (gain priority control).
  • 19 and 20 show examples of an HDR image generated based on an image photographed using a large-diameter lens and an HDR image generated based on an image photographed using a small-diameter lens. shows.
  • FIG. 21 shows an example of an image obtained by a technique according to an embodiment of the present disclosure.
  • FIG. 21 shows an example of an exposure image generated based on an image photographed using a large-diameter lens and an exposure image generated based on an image photographed using a small-diameter lens.
  • an exposure image generated based on an image photographed using a large aperture lens and an exposure image generated based on an image photographed using a small aperture lens are optimized in both the image and the image. Note that, for example, in an exposure image generated based on an image photographed using a small-diameter lens, image blur occurs only in the background of the subject.
  • Optical image stabilization technology is also available as a technology for suppressing image blur when taking pictures with a camera handheld.
  • a camera is equipped with an acceleration sensor and a gyro sensor.
  • the camera lens is also equipped with an optical actuator that changes the optical path of the image.
  • changes in the posture of the camera are measured using an acceleration sensor and a gyro sensor.
  • the optical actuator is driven in a direction that cancels out the measured attitude change amount.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2004-357040 discloses a technology that detects the motion vector of the feature point that moves the least among a plurality of consecutively shot images, aligns the positions of each image, and synthesizes the image. is proposed.
  • the technology described in Patent Document 1 is a technology that applies the exposure conditions measured during the object observation stage by pressing the shutter halfway, for example, to the photographing stage by pressing the shutter fully, and optimizes the exposure conditions in the actual photographing stage. It's not like that. For this reason, the performance is insufficient for purposes such as photographing a face corresponding to walking movement in a dark place, particularly in the case of facial recognition, for example.
  • object tracking is a technique for long-exposure photography of a moving object.
  • a rail is set up parallel to the track, and a trolley carrying a camera is placed on the rail and run parallel to the track.
  • photographing dark celestial objects such as nebulae
  • photographing dark celestial objects such as nebulae
  • photographing dark celestial objects such as nebulae
  • photographing dark celestial objects such as nebulae
  • Such a method makes it possible to suppress image blur even when the subject moves.
  • devices that move the camera in accordance with the subject tend to be large-scale, and it is difficult to follow unpredictable movements such as human movements.
  • FIG. 22 shows an example of an image obtained by the technique according to an embodiment of the present disclosure.
  • the amount of change in a desired subject image in a plurality of captured images that are continuously captured with a standard exposure time is detected.
  • a desired subject image is cut out from the plurality of captured images, and a plurality of corrected images in which changes in the desired subject image are corrected are generated.
  • multiple corrected images are combined to generate a highly accurate exposure image with the desired exposure state.
  • FIG. 22 shows an image in which each cutout image F11, F12, and F13 is brightened.
  • the cutout images F11, F12, and F13 are brightened by signal processing without being superimposed, noise will occur.
  • the technology according to one embodiment is suitable for, for example, a face recognition system.
  • the technology according to one embodiment is also applicable to uses other than face recognition systems.
  • FIG. 23 schematically shows a configuration example in which an image processing device and an imaging system according to an embodiment of the present disclosure are applied to a face authentication system.
  • This system includes a camera device 1, an ISP (Image Signal Processor) 2, a DNN (Deep Neural Network) processor 3, a face authentication system 4, and a feature amount DB (database) 5.
  • the camera device 1 and the ISP 2 are communicably connected to each other by an interface such as an MIPI (Mobile Industry Processor Interface)-CSI (Camera Serial Interface) and an I 2 C interface.
  • MIPI Mobile Industry Processor Interface
  • CSI Cara Serial Interface
  • the captured image (RAW data) by the camera device 1 is output to the ISP 2 by, for example, MIPI-CSI.
  • the ISP 2 performs gamma correction, color conversion, etc. on the RAW data to generate image data, and outputs the image data to the DNN processor 3.
  • the DNN processor 3 detects a face area as a desired subject area in the image data and extracts a face image. Further, the DNN processor 3 generates a feature vector from the face image and outputs it to the face authentication system 4.
  • the DNN processor 3 is configured to include at least one of, for example, a GPU (Graphics Processing Unit), a CPU (Central Processing Unit), and a DSP (Digital Signal Processor).
  • the face authentication system 4 compares the received feature amount vector with registered data in the feature amount DB 5 and performs identity determination through face authentication.
  • the image processing device may be realized by the DNN processor 3, for example.
  • the imaging system may be realized by, for example, a camera device 1, an ISP 2, and a DNN processor 3.
  • the image processing technology by the image processing device and the imaging system detects a face region from image data and generates a face image, for example, as a pre-stage process for generating a feature vector in the DNN processor 3. It can be applied to extraction processing.
  • FIG. 24 shows an overview of an image processing device and an imaging system according to an embodiment.
  • FIG. 25 schematically shows a detailed configuration example of an image processing device according to an embodiment.
  • FIG. 26 schematically shows an example of a change in the angle of a subject.
  • FIG. 27 shows an example of the processing operation of the image processing device according to one embodiment.
  • the imaging system includes an imaging section 10, an image cutter 11, a movement detector 20, a deformation detector 30, an image corrector 40, an exposure processing section 50, and an image output device 60. , a photographed image memory M1, a reference data memory M2, and a calculated image memory M3.
  • the movement detector 20 includes a preprocessing section 21 and a change amount calculator 22.
  • the exposure processing section 50 includes an image calculator 51 and an exposure calculator 52. Note that the photographed image memory M1, the reference data memory M2, and the calculated image memory M3 may be configured as one memory as hardware.
  • the imaging unit 10 continuously photographs a desired subject (for example, a face).
  • the photographed image memory M1 stores a plurality of photographed images continuously photographed by the imaging section 10.
  • the image cutter 11 detects a desired subject image from each of the plurality of captured images stored in the captured image memory M1, cuts out an image corresponding to the desired subject image, and outputs the image as a plurality of first cut images. (Step S101 in FIG. 27).
  • the image segmenter 11 detects the appearance, disappearance, movement, size change, etc. of a desired subject image from each of the plurality of captured images stored in the captured image memory M1.
  • the image cutter 11 adds additional information indicating the coordinates of the cutout position, the image size, etc. to each of the plurality of first cutout images.
  • additional information such as the coordinates and the image size is used in the change amount calculator 22 of the movement detector 20, and is used to determine whether the faces belong to the same person and to calculate the amount of change.
  • the coordinates and image size of each of the plurality of first cut images are precisely corrected by calculating the amount of change, fed back to the image cutter 11, and used for predicting the detection position of a desired subject image in the future. .
  • the movement detector 20 detects the amount of change in the desired subject image in a plurality of captured images continuously captured by the imaging unit 10, and generates movement information of the desired subject image.
  • the movement detector 20 detects the amount of change in the desired subject image based on the plurality of first cut images cut out by the image cutter 11.
  • the preprocessing unit 21 preprocesses the first cutout image and sends the preprocessed image to the change amount calculator 22 (step S102 in FIG. 27).
  • the preprocessing unit 21 performs processing on the first cutout image that is suitable for calculating the amount of change as preprocessing. For example, as preprocessing, the preprocessing unit 21 performs singular point removal in which a pixel having a value that deviates significantly from the surrounding pixels is replaced with an average value of surrounding pixels. Further, the preprocessing unit 21 performs filter processing to remove noise components that cannot be removed by singular point removal using a spatial low-pass filter, for example. In addition, the preprocessing unit 21 performs other processing, for example, processing to remove image components that are likely to interfere with change amount calculation, as necessary.
  • the change amount calculator 22 determines whether or not this is the first change amount calculation (step S103 in FIG. 27). If it is determined that it is the first time (step S103; Y in FIG. 27), the change amount calculator 22 then stores the preprocessed image as reference data in the reference data memory M2 (step S105 in FIG. 27). If it is determined that it is not the first time (step S103 in FIG. 27; N), the change amount calculator 22 next compares the new preprocessed image with the reference data, and calculates the change in the new preprocessed image with respect to the reference data. Quantity calculation is performed (step S104 in FIG. 27).
  • the reference data memory M2 stores, as reference data, a reference image for detecting the amount of change in the amount of change calculator 22 of the movement detector 20.
  • the reference data may include additional information indicating the coordinates of the cutout position of the first cutout image that is the source of the reference image, the image size, and the like.
  • the change amount calculator 22 of the movement detector 20 detects the amount of change in the desired subject image with respect to the reference image.
  • the movement detector 20 calculates the movement trajectory of the desired subject image by interpolation based on the plurality of captured images stored in the captured image memory M1, and calculates the amount of change in the desired subject image based on the movement trajectory. It may also be detected.
  • the deformation detector 30 detects deformation of the desired subject image in the plurality of first cut-out images.
  • the movement detector 20 excludes, from among the plurality of first cut-out images, the first cut-out image in which the deformation of the desired subject image is detected by the deformation detector 30, from the detection target of the amount of change in the desired subject image. or treat it as a different subject. Examples of deformation include, when the desired subject is a face, blinking of the eyes, shaking of the head to the left and right, and the like.
  • the amount of change detected by the amount of change calculator 22 may include information on the position, size, and angle (Yaw/Pitch/Roll) of the desired subject image.
  • the reference data memory M2 may store reference data for different subjects.
  • the change amount calculator 22 may select optimal reference data from among a plurality of reference data based on information such as coordinates and size.
  • the reference data may be updated as appropriate in response to changes in conditions, such as the passage of time from the time of initial storage or changes in size.
  • the preprocessed image may be corrected.
  • Reference data for which a new preprocessed image to be compared does not come to the change amount calculator 22 for a certain period of time may be deleted from the reference data memory M2.
  • the image corrector 40 acquires a plurality of precise second cut-out images based on the movement information. Then, matching processing is performed on the plurality of acquired second cut-out images to generate a plurality of corrected images (step S106 in FIG. 27).
  • the image corrector 40 performs alignment processing on the plurality of second cut-out images based on the movement information generated by the movement detector 20, so that changes in the desired subject image between the plurality of captured images are corrected. Generate multiple corrected images.
  • the image corrector 40 cuts out a plurality of second cut-out images corresponding to a desired subject image in each of the plurality of captured images based on the movement information, and cuts out a plurality of second cut-out images corresponding to a desired subject image in each of the plurality of photographed images based on the movement information. By performing the correction, a plurality of corrected images are generated.
  • the image corrector 40 corrects changes in the desired subject image with respect to the reference image stored in the reference data memory M2.
  • the second cropped image may be obtained by re-cropping the image from the first cropped image, or by cutting out the image again from each of the plurality of captured images stored in the captured image memory M1. It may also be obtained by The image corrector 40 corrects changes in the desired subject image, such as changes in position and size. Further, the image corrector 40 performs correction (rotation correction) of an angular change of the subject 100, such as tilting the head as shown in FIG. 26, for example, as correction of a desired change in the subject image. Thereby, it is possible to match the position, size, etc. of a desired subject image in a plurality of consecutively photographed images.
  • the exposure processing section 50 accumulates and processes the plurality of corrected images and stores them as calculated data in the calculated image memory M3. Then, an image in an optimal exposure state is acquired as an exposure image from the calculation data (step S107 in FIG. 27).
  • the image output device 60 outputs the exposure image generated by the exposure processing section 50 to an external device (for example, the face authentication system 4 in FIG. 23) that requires a desired subject image.
  • the exposure processing unit 50 generates an exposure image in a desired exposure state based on the plurality of corrected images generated by the image corrector 40.
  • the image calculator 51 performs integral calculations on a plurality of corrected images.
  • the calculation image memory M3 stores calculation data generated by performing integral calculations by the image calculation unit 51.
  • the exposure calculator 52 controls the image calculator 51 and generates an exposure image with a desired exposure state.
  • the exposure calculator 52 generates an exposure image with a desired exposure state based on the calculation data stored in the calculation image memory M3.
  • the exposure calculator 52 may also control the imaging conditions in the imaging unit 10 that outputs a plurality of captured images.
  • the photographing conditions may be, for example, exposure conditions (aperture, exposure time, gain), frame rate, etc.
  • the image calculator 51 In the integral calculation by the image calculator 51, when the integration period is lengthened, an exposure image corresponding to a long exposure, that is, a low-speed shutter is obtained, and when the integration period is shortened, an exposure image corresponding to a short-time exposure, that is, a high-speed shutter is obtained.
  • the calculation data stored in the calculation image memory M3 is appropriately read out by the exposure calculation unit 52, normalized in brightness, for example, and outputted as an exposure image. This makes it possible to obtain a face image or the like with an exposure amount equivalent to a long-time exposure, even though a high-speed shutter is used during photography, through arithmetic control after photography.
  • the image calculator 51 may perform integral calculations using a combination of the FIR method and the IIR method, depending on the required exposure amount and image quality.
  • FIG. 28 shows an overview of image integration calculation using the FIR method.
  • the image calculator 51 stores a fixed number of a plurality of corrected images in the calculated image memory M3, and performs an averaging operation on the stored fixed number of corrected images to generate an exposure image.
  • FIG. 29 is a timing chart showing an overview of image integration calculation using the FIR method.
  • (A) shows VSYNC (vertical synchronization signal)
  • (B) shows an example of shutter timing according to a technique according to a comparative example
  • (C) shows an example of shutter timing according to a technique according to an embodiment.
  • an exposure image obtained by accumulating captured images of multiple frames can be obtained by performing long-time exposure of, for example, more than one frame.
  • the position of a desired subject image in a plurality of captured images captured within one frame period is detected, and the desired subject image is detected.
  • FIG. 30 shows an overview of image integration calculation using the IIR method.
  • a new input image is mixed with the accumulated average image at a predetermined ratio (for example, A%), and a long-term moving average image can be generated with a small amount of memory.
  • a predetermined ratio for example, A%
  • an average value image of a plurality of corrected images calculated by the image corrector 40 is stored in the calculated image memory M3, and the exposure is performed when the desired exposure state is reached.
  • the average value image is read out by the computing unit 52 as an exposure image.
  • the technology according to one embodiment may be combined with a facial parts detection technology to exclude an image at the moment of blinking from the exposure processing by the exposure processing unit 50.
  • the exposure processing unit 50 may select an image in a section in which the amount of change in the coordinates of the desired subject image is the least among a plurality of continuously shot images to perform the exposure processing.
  • the movement detector 20 may detect, as the desired subject image, the amount of change in each of the plurality of desired subject images in each of the plurality of captured images.
  • the image corrector 40 may generate a plurality of corrected images for each of the plurality of desired subject images.
  • the exposure processing unit 50 may generate an exposure image in a desired exposure state for each of a plurality of desired subject images.
  • the movement detector 20, the reference data memory M2, the image corrector 40, the image calculator 51, the calculated image memory M3, and the exposure calculator 52 can be provided in plural or can be operated in a time-sharing manner. Thereby, exposure images with optimal exposure conditions can be generated individually for each of a plurality of subjects within the same image.
  • a desired subject image is generate an exposure image with the exposure state. This makes it possible to generate an image in a desired exposure state with suppressed noise and image blur after photographing.
  • a desired subject image in a plurality of captured images taken with a high-speed shutter is detected and cut out, and the position and size of each desired subject image in the plurality of captured images are precisely determined.
  • the main cause of subject movement is walking motion, and although the face position and size within the field of view changes, the shape of the face changes significantly. Do not mean.
  • the technology according to one embodiment it is possible to obtain a high-quality image with little noise even when photographing a dark subject. Furthermore, after shooting, you can select the exposure method depending on the purpose.
  • FIG. 31 is a timing chart schematically showing an example of the output timing of image data when the exposure time is short due to exposure control according to the comparative example.
  • FIG. 32 is a timing chart schematically showing an example of the output timing of image data when the exposure time is long due to exposure control according to the comparative example.
  • FIG. 33 is a timing chart schematically showing an example of output timing of image data by exposure control according to an embodiment.
  • (A) shows an example of VSYNC (vertical synchronization signal)
  • (B) shows an example of exposure timing (shutter timing)
  • C shows an example of the output timing of image data.
  • the technology according to one embodiment is a technology that combines a plurality of image data (D1, D2, D3, . . . ) and performs subsequent exposure adjustment corresponding to long exposure.
  • the present technology can also take the following configuration.
  • an exposed image in a desired exposure state is obtained based on a plurality of corrected images that are corrected based on movement information of a desired subject image in a plurality of continuously shot images. generate. This makes it possible to generate an image in a desired exposure state with suppressed noise and image blur after photographing.
  • a movement detector that detects the amount of change in a desired subject image in a plurality of continuously captured images and generates movement information of the desired subject image
  • an image corrector that generates a plurality of corrected images in which changes in the desired subject image between the plurality of captured images are corrected based on the movement information generated by the movement detector
  • An exposure processing unit that generates an exposure image in a desired exposure state based on the plurality of corrected images generated by the image corrector.
  • (2) further comprising an image cutter that detects the desired subject image from each of the plurality of photographed images, cuts out an image corresponding to the desired subject image, and outputs the image as a plurality of first cut images;
  • the image processing device (1), wherein the movement detector detects the amount of change in the desired subject image based on the plurality of first cut images cut out by the image cutter.
  • the image cutter adds additional information indicating the coordinates of the cutout position and the image size to each of the plurality of first cutout images.
  • the image corrector cuts out a plurality of second cut images corresponding to the desired subject image in each of the plurality of captured images based on the movement information, and The image processing device according to any one of (1) to (3) above, wherein the plurality of corrected images are generated by performing correction based on the movement information.
  • (5) further comprising a reference data memory that stores reference data including a reference image for detecting the amount of change in the movement detector, The image processing device according to any one of (1) to (4), wherein the movement detector detects an amount of change in the desired subject image with respect to the reference image.
  • the image corrector corrects a change in the desired subject image with respect to the reference image.
  • the exposure processing section includes: an image calculator that performs an integral calculation on the plurality of corrected images;
  • the image processing device according to any one of (1) to (6), further comprising: an exposure calculator that controls the image calculator and generates the exposure image in the desired exposure state.
  • the image processing device according to (7) above, further comprising: an arithmetic image memory that stores arithmetic data generated by integral calculation by the image arithmetic unit.
  • the exposure calculator controls the shooting conditions in the imaging unit that outputs the plurality of shot images.
  • the image according to any one of (7) to (9) above.
  • Processing equipment (11) According to any one of (1) to (10) above, further comprising an image output device that outputs the exposure image generated by the exposure processing unit to an external device that requires the desired subject image. image processing device. (12)
  • the movement detector detects, as the desired subject image, the amount of change in each of the plurality of desired subject images in each of the plurality of captured images,
  • the image corrector generates the plurality of corrected images for each of the plurality of desired subject images,
  • the image processing device according to any one of (1) to (11), wherein the exposure processing section generates an exposure image in the desired exposure state for each of the plurality of desired subject images.
  • the movement detector calculates a movement trajectory of the desired subject image by interpolation based on the plurality of captured images stored in the captured image memory, and calculates a movement trajectory of the desired subject image based on the movement trajectory.
  • the image processing device according to any one of (1) to (12) above, which detects an amount of change in .
  • the movement detector further includes a deformation detector that detects deformation of the desired subject image in the plurality of first cut-out images, and the movement detector detects the deformation of the desired subject image in the plurality of first cut-out images.
  • the image processing device according to any one of (2) to (13) above, wherein the first cropped image in which a deformation of the subject image is detected is excluded from the detection target of the amount of change in the desired subject image.
  • the amount of change detected by the movement detector includes information on the position, size, and angle of the desired subject image.
  • the image corrector corrects changes in position, size, and angle as correction for changes in the desired subject image.
  • an imaging unit a movement detector that detects an amount of change in a desired subject image in a plurality of captured images continuously captured by the imaging unit, and generates movement information of the desired subject image; an image corrector that generates a plurality of corrected images in which changes in the desired subject image between the plurality of captured images are corrected based on the movement information generated by the movement detector; An exposure processing unit that generates an exposure image in a desired exposure state based on the plurality of corrected images generated by the image corrector.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Image Processing (AREA)

Abstract

本開示の画像処理装置は、連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、所望の被写体像の移動情報を生成する移動検出器と、移動検出器によって生成された移動情報に基づいて、複数の撮影画像間の所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、画像補正器によって生成された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部とを備える。

Description

画像処理装置、および撮像システム
　本開示は、画像処理装置、および撮像システムに関する。
　例えば、顔認証のために用いられる画像は、ノイズおよび像ぶれが抑制された明るい画像であることが望ましい。一方、電子カメラで暗い被写体を撮影して明るい画像を得る方法として、画像信号を増幅する方法と、露光時間を長くする方法とがある。また、像ぶれの抑制された画像を得る技術としては、複数の画像を合成する技術がある（例えば特許文献１参照）。
特開２００４－３５７０４０号公報
　画像信号を増幅する方法では、ノイズ成分も増幅されてしまう。一方、露光時間を長くする方法では、被写体が動くと像がぶれてしまう。このため、ノイズおよび像ぶれの両方を抑制することは困難であった。
　撮影後にノイズおよび像ぶれの抑制された所望の露光状態の画像を生成することが可能な画像処理装置、および撮像システムを提供することが望ましい。
　本開示の一実施の形態に係る画像処理装置は、連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、所望の被写体像の移動情報を生成する移動検出器と、移動検出器によって生成された移動情報に基づいて、複数の撮影画像間の所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、画像補正器によって生成された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部とを備える。
　本開示の一実施の形態に係る撮像システムは、撮像部と、撮像部によって連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、所望の被写体像の移動情報を生成する移動検出器と、移動検出器によって生成された移動情報に基づいて、複数の撮影画像間の所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、画像補正器によって生成された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部とを備える。
　本開示の一実施の形態に係る画像処理装置、または撮像システムでは、連続的に撮影された複数の撮影画像における所望の被写体像の移動情報に基づいて補正された複数の補正画像に基づいて、所望の露光状態の露光画像が生成される。
図１は、一般的な撮像素子の原理を概略的に示す説明図である。 図２は、一般的な撮像回路の構成と働きの一例を概略的に示す説明図である。 図３は、一般的な画像センサの光学的構造の一例を概略的に示す説明図である。 図４は、光学レンズの焦点距離の一例を概略的に示す説明図である。 図５は、カメラレンズの焦点距離の一例を概略的に示す説明図である。 図６は、カメラレンズが小口径レンズである場合の被写界深度の一例を概略的に示す説明図である。 図７は、カメラレンズが大口径レンズである場合の被写界深度の一例を概略的に示す説明図である。 図８は、カメラレンズが広角レンズである場合の被写界深度と望遠レンズである場合の被写界深度との一例を概略的に示す説明図である。 図９は、撮像素子に到達する光子数のばらつき特性の一例を示す説明図である。 図１０は、シャッタ速度を優先する露光制御の一例を概略的に示す説明図である。 図１１は、シャッタ速度を優先する露光制御を行った場合の撮影画像の一例を概略的に示す説明図である。 図１２は、ゲインを優先する露光制御の一例を概略的に示す説明図である。 図１３は、ゲインを優先する露光制御を行った場合の撮影画像の一例を概略的に示す説明図である。 図１４は、シャッタ速度とゲインとのバランスを取った露光制御の一例を概略的に示す説明図である。 図１５は、被写体速度と露光時間との関係の一例を概略的に示す説明図である。 図１６は、量子ノイズの発生について示す説明図である。 図１７は、表現ビット数としてのＨＤＲの概要を示す説明図である。 図１８は、画像合成としてのＨＤＲの概要を示す説明図である。 図１９は、シャッタ速度を優先する露光制御をすることにより得られた画像に基づいて生成されたＨＤＲ画像の一例を示す説明図である。 図２０は、ゲインを優先する露光制御をすることにより得られた画像に基づいて生成されたＨＤＲ画像の一例を示す説明図である。 図２１は、本開示の一実施の形態に係る技術により得られる画像の一例を示す説明図である。 図２２は、本開示の一実施の形態に係る技術により得られる画像の一例を示す説明図である。 図２３は、本開示の一実施の形態に係る画像処理装置、および撮像システムを顔認証システムに適用した構成例を概略的に示すブロック図である。 図２４は、一実施の形態に係る画像処理装置、および撮像システムの概要を示すブロック図である。 図２５は、一実施の形態に係る画像処理装置の詳細な構成例を概略的に示すブロック図である。 図２６は、被写体の角度変化の一例を概略的に示す説明図である。 図２７は、一実施の形態に係る画像処理装置の処理動作の一例を示すフローチャートである。 図２８は、ＦＩＲ方式による画像の積分演算の概要を示す説明図である。 図２９は、ＦＩＲ方式による画像の積分演算の概要を示すタイミングチャートである。 図３０は、ＩＩＲ方式による画像の積分演算の概要を示す説明図である。 図３１は、比較例に係る露光制御による露光時間が短い場合の画像データの出力タイミングの一例を概略的に示すタイミングチャートである。 図３２は、比較例に係る露光制御による露光時間が長い場合の画像データの出力タイミングの一例を概略的に示すタイミングチャートである。 図３３は、一実施の形態に係る露光制御による画像データの出力タイミングの一例を概略的に示すタイミングチャートである。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　１．一実施の形態
　　１．１　デジタル画像撮影の原理
　　１．２　課題および比較例
　　１．３　構成および動作
　　１．４　変形例
　　１．５　効果
　２．その他の実施の形態
 
＜１．一実施の形態＞
［１．１　デジタル画像撮影の原理］
　一実施の形態に係る技術について説明する前に、比較例に係る一般的なデジタル画像撮影の原理を説明する。
（撮像素子の原理）
　図１に、一般的な撮像素子の原理を概略的に示す。
　現代の電子カメラの原理は、入射した光子により半導体の電子結合に外乱が生じ、負電荷（ｎ型キャリア）と正電荷（ｐ型キャリア）とのペアが生成されるＯ（Ｏｐｔｉｃ）Ｅ（Ｅｌｅｃｔｒｉｃ）変換による。電子カメラの画像センサは、縦横に整然と並んだ多数の撮像素子１０１（受光素子）を備える。各撮像素子１０１では入射した光子によって、光子の数に応じた電荷ペアが生成される。生じた正電荷と負電荷はそれぞれ反対極性の電極に引き寄せられ、光の強度（＝光子数）に応じた電荷量が各撮像素子１０１に蓄積される。かつては各画素の撮像素子１０１の感度にばらつきがあり、固定ノイズの原因になっていた。現在は感度ばらつき精度改善のほか、後段の撮像回路で補正が行われる等、固定ノイズ抑制の工夫がされている。画像センサが高解像度であるほど、撮像素子１０１としてのフォトダイオードの面積が小さくなり、１画素あたりの受光量が減少する。
（撮像回路の構成と働き）
　図２に、一般的な撮像回路の構成と働きの一例を概略的に示す。かつては撮像回路が変動ノイズの主な混入箇所であったが、現在では様々なノイズ抑制の工夫がなされている。
　図２に示したように、各撮像素子１０１に蓄積された電荷は、順次電流としてＩ－Ｖアンプ（電流／電圧変換増幅器）１１１により電圧信号に変換される。電圧信号はＡＧＣ（Auto Gain Control）アンプ１１２により設定ゲインに従って増幅され、Ａ（アナログ）／Ｄ（デジタル）コンバータ１１３によりデジタル信号に変換される。
（画像センサの光学的構造と特性）
　図３に、一般的な画像センサの光学的構造の一例を概略的に示す。
　一般的な画像センサの構造として、例えば、撮像素子１０１に対して、カラーフィルタ１２１と、マイクロレンズ１２２と、光学ローパスフィルタ１２３と、赤外カットフィルタ１２４とが配置されたものがある。撮像素子１０１は例えばフォトダイオードである。
　一般的なカメラレンズは可視光を想定して焦点設計されており、赤外光が混入するとピンボケの原因になる。赤外カットフィルタ１２４は、赤外光を排除するために設けられる。画素ピッチを超える解像度の被写体はモワレの発生原因となる。光学ローパスフィルタ１２３は、モワレの発生を抑制するため、光をわずかに散乱させる作用を有する。マイクロレンズ１２２は、受光効率を改善するとともに、各画素の入射光が隣接画素に漏れるのを防止する。カラーフィルタ１２１は、例えば、１つの画素に対して例えば光の３原色（赤、緑、青）のいずれか１色の光のみを通すことにより、カラー画像撮影を可能にする原色フィルタである。なお、かつて撮像素子１０１の感度が低かった頃は、カラーフィルタ１２１として補色フィルタを用い、２色の光を通過させ、演算で色再現していた。カラーフィルタ１２１を通過できない光は捨てられ、撮影に利用できる光は測定照度より少なくなる。
（カメラレンズの光学特性）
・焦点距離
　図４に、光学レンズ１３０の焦点距離の一例を概略的に示す。図５に、カメラレンズ１３１の焦点距離の一例を概略的に示す。
　カメラレンズ１３１の焦点距離は、光学レンズ１３０の焦点距離とは意味が異なる。図４に示したように、光学レンズ１３０の焦点距離（＝ピント）は、レンズ中心と平行光が入射した場合の像面上の結像点との間の距離となる。カメラレンズ１３１の焦点距離は、レンズ中心と画像センサ（＝像面）との間の距離を、３５ｍｍフィルムカメラに換算した値であり、撮影画角の定義として使用される。図５には、広角レンズ（焦点距離が小さい）の場合と望遠レンズ（焦点距離が小さい）の場合の焦点距離の概念を模式的に示す。
・Ｆ値
　Ｆ値は、カメラレンズ１３１の焦点距離を対物側の有効径で割った値である。Ｆ値が小さいほど、明るい（光を多く集める）レンズである。広角である（焦点距離が小さい）ほど、Ｆ値は小さい（明るい）。また、口径が大きい（大型カメラ）ほど、Ｆ値は小さい（明るい）。暗い広角のレンズは口径が小さくレンズ全長が短いので、小型で安価である。明るい望遠レンズは口径が大きくレンズ全長が長いので、大型で高価である。
・被写界深度
　図６に、カメラレンズ１３１が小口径レンズである場合の被写界深度の一例を概略的に示す。図７に、カメラレンズ１３１が大口径レンズである場合の被写界深度の一例を概略的に示す。
　被写界深度は、被写体の距離が合焦点位置から外れている場合の像面上でのボケ具合を示す。被写界深度が深い場合、被写体の距離が合焦点位置から多少外れていても、像面上ではボケにくい。被写界深度が浅い場合、被写体の距離が合焦点位置から少し離れるだけで、像面上ではボケやすい。図６に示したように、口径が小さい（＝暗い）レンズほど、被写界深度は深い（ボケにくい）。図７に示したように、口径が大きい（＝明るい）レンズほど、被写界深度は浅い（ボケやすい）。大口径の明るいレンズは精密なフォーカス制御が必要であり、遠くの被写体と近くの被写体とを同時撮影するには不向きである。
　図８に、カメラレンズ１３１が広角レンズである場合の被写界深度と望遠レンズである場合の被写界深度との一例を概略的に示す。
　広角レンズ（短焦点レンズ）ほど、被写界深度は深い（ボケにくい）。望遠レンズ（長焦点レンズ）ほど、被写界深度は浅い（ボケやすい）。遠い被写体と近い被写体とを同時撮影したい場合、被写界深度が深いレンズ、すなわち口径が小さく、広角のレンズほど有利になる。
（量子化ノイズと量子ノイズの違い）
　デジタル信号処理における「量子化ノイズ」という用語は、連続量であるアナログ信号をデジタル化する際に発生する、１ビット未満の微小誤差を表現するのに使われる。一実施の形態に係る技術で解決すべき「量子ノイズ」は、光子の量子力学的性質に起因するものであり、全く別の概念であることに注意する必要がある。光子は、粒子としての性質と波動としての性質を併せ持つ、物理学で言うところの「量子」である。「波動」というのは光子の存在確率が波の性質を持つと解釈されている。すなわち、光子の存在確率はレンズにより波動的屈折を受け、撮像素子１０１に「確率的」に到達する。従って、撮像素子１０１で検知される光子の個数は、確率分布に従ってゆらぎが生じ、一定ではない。これにより画像信号に発生するノイズが量子ノイズである。
（光の量子力学的性質）
　光には、大きく分けて、色と明るさという２つのパラメータがある。
　色は、光子のエネルギーにより決まる。光子のエネルギーは振動数に比例し、Ｅ＝ｈ・νで表される。ｈはプランク定数＝６．６２６０７０１５－３４（Ｊ・ｓ）、νは光の振動数＝（光の速度／波長）、Ｅは光子のエネルギー（Ｊ）である。光の波長λ＝５５５ｎｍ（黄緑）のとき、Ｅ＝３．５７９１８－１９（Ｊ）になる。
　明るさは、光子の数により決まる。光子の数は、（光の照射エネルギー）／（光子のエネルギー）で表される。照度が１Ｌｕｘのとき、１ｍ２あたりの光の照射エネルギーは、０．００１４６（Ｊ／ｓ）になる（λ＝５５５ｎｍのとき）。これは、１ｍ２の面積に１秒間で４．０７９１４＋１５個の光子が到達することを意味する。
（照度と光子数のばらつき特性（ポアソン分布））
　図９に、撮像素子１０１に到達する光子数のばらつき特性の一例を示す。
　完全にランダムな事象が少数回発生するとき、事象の発生確率はポアソン分布に従い、事象の頻度が大きくなると正規分布に近似されることが知られている。標準カメラの画素サイズ（１．１２μｍ）に換算すると、画像センサ上で１Ｌｕｘのとき、１画素あたりの光子数は５，１１７個／秒、３０ｍｓでは１５３個に相当し、８ｂｉｔ＝２５６階調を下回る。これは１Ｌｕｘ下で最大輝度の場合であり、画像を表現する階調によっては１画素あたり数１０～数個の光子しか到達せず、ポアソン分布の適用範囲になる。図９には、光子数λ＝１０，５０，１００の光子が１画素に到達する確率分布を示す。光子数λが小さいほど分散が大きくなる。すなわち、暗い被写体ほど光子が１画素に到達する確率が低くなり、ノイズが大きくなる。
（カメラの露光制御方法）
　暗い被写体を明るい画像として撮影する方法は、シャッタ速度優先制御とゲイン優先制御との２種類に大別される。
・シャッタ速度優先制御
　図１０に、シャッタ速度を優先する露光制御（シャッタ速度優先制御）の一例を概略的に示す。図１１に、シャッタ速度を優先する露光制御を行った場合の撮影画像の一例を概略的に示す。
　シャッタ速度優先制御は、一般に、動いている被写体の撮影に適用される。シャッタ速度優先制御は、図１０に示したように、照度にかかわらず露光時間（シャッタ速度）の設定を維持（固定）したまま、照度に応じてＡＧＣアンプ１１２による信号の増幅率（ゲイン）を変えて暗い被写体ほど信号の増幅率を上げることにより画像を明るくする制御である。シャッタ速度優先制御をした場合、図１１に示したように、信号増幅率を上げることで画像の輝度とともに、量子ノイズも増幅される。
・ゲイン優先制御
　図１２に、ゲインを優先する露光制御（ゲイン優先制御）の一例を概略的に示す。図１３に、ゲインを優先する露光制御を行った場合の撮影画像の一例を概略的に示す。
　ゲイン優先制御は、一般に、動きの少ない被写体に適用される。ゲイン優先制御は、図１２に示したように、照度にかかわらずＡＧＣアンプ１１２による信号の増幅率（ゲイン）を維持（固定）したまま、照度に応じて露光時間（シャッタ速度）を変えて暗い被写体ほど長時間露光することで光子を蓄積することにより画像を明るくする制御である。ゲイン優先制御をした場合、図１３に示したように、量子ノイズが抑制される反面、動きのある被写体にぶれが生じる。
・バランス制御
　図１４に、シャッタ速度とゲインとのバランスを取った露光制御（バランス制御）の一例を概略的に示す。
　例えば、明るい被写体、あるいは明るい（Ｆ値の大きい）レンズによる撮影では、図１４に示したように、照度に応じて露光時間（シャッタ速度）とＡＧＣアンプ１１２による信号の増幅率（ゲイン）とを交互に制御し、露光条件が最適になるよう制御するＡＥ（Auto Exposure）制御が行われる。なお、大口径レンズを装備する高級カメラでは、さらに絞り機構でＦ値を下げたり、ＮＤフィルタを装着して入射光を減衰させることもある。しかし、小口径レンズで暗い被写体を撮影する場合、このような余裕はない。
（被写体速度と露光時間の関係）
　図１５に、被写体速度と露光時間との関係の一例を概略的に示す。
　図１５に示したように、移動する被写体１００を撮影する場合、像ぶれが発生しないようにするためには、露光時間を小さくする必要がある。例えば、水平解像度２０４８画素の画像センサを露光時間３０ｍｓ（動画撮影の最大値）で撮影するとき、像ぶれを１画素に抑えるためは、許される移動速度は３３．３画素／秒以下、すなわち水平画角を横切る時間は１分以上になる。
（照度および露光時間と量子ノイズ）
　図１６に、量子ノイズの発生について示す。
　動きのある被写体の撮影で露光時間が制限されている場合、低照度環境下ではＡＧＣアンプ１１２による信号の増幅率（ゲイン）を上げてＡ／Ｄコンバータ１１３への入力信号のレベルを確保する必要がある。画像センサの受光面で数Ｌｕｘ以下の低照度では、８ｂｉｔ＝２５６階調を満たせるだけの光子数が集まらず、光子の確率波に起因する量子ノイズが発生する。
［１．２　課題および比較例］
　一般に、写真撮影においては撮影前に適切な露光時間を予測して設定している。銀塩写真の時代に比べ、現代の電子カメラでは即時に撮影結果を確認して撮影し直すことができるようになり、さらには測光から露光設定までを自動で行うＡＥ制御も普及している。しかし、上述したように、低照度下での撮影においてはノイズと像ぶれという相反する課題をともに解決することができず、目的に応じた露光条件の設定を行うことは困難であった。
　そこで、撮影後にノイズおよび像ぶれの抑制された所望の露光状態の画像を生成することが可能な画像処理装置、および撮像システムを提供することが望ましい。例えば物体認証、特に顔認証の用途において、露光条件を撮影後に設定することを可能とし、露光制御の設定を劇的に改善することが可能な技術が望まれている。
（ＨＤＲとの違い）
　後述する一実施の形態に係る技術と、比較例としてのＨＤＲ（High Dynamic Range）の技術との違いについて説明する。
・表現ビット数としてのＨＤＲ
　図１７に、表現ビット数としてのＨＤＲの概要を示す。
　古くから、デジタル画像は各画素の明るさが８ｂｉｔ＝２５６階調で表現されてきた。画像機器の性能向上に従って多階調表現が可能になり、より高い画質を求める声に応えるため、１０ｂｉｔ＝１０２４階調、１２ｂｉｔ＝４０９６階調など、画像のダイナミックレンジ拡張仕様が登場している（ダイナミックレンジ＝最小信号から最大信号までの表現域）。しかし、図１７に示したように、そもそも光子の数が階調数に満たなければ性能を発揮することは困難である。
・画像合成としてのＨＤＲ
　図１８に、画像合成としてのＨＤＲの概要を示す。
　画像合成としてのＨＤＲは、アナログゲインを高速で切り替えて連続撮影した、複数枚の画像データを合成し、ダイナミックレンジを拡大する方法である。例えば、図１８に示したように、明るい部分が抑制されるように設定されたアナログゲインによって得られた第１のアナログ信号をＡ／Ｄコンバータ１４１によって第１のデジタル信号（例えば１０ｂｉｔ）に変換する。さらにＬＵＴ（ルックアップテーブル）１４２によってガンマ補正やシェーディング補正することによって第１の画像が得られる。第１の画像はダイナミックレンジを拡大していないノーマル画像（例えば８ｂｉｔ）としてもよい。
　一方、暗い部分が強調されるように設定されたアナログゲインによって得られた第２のアナログ信号をＡ／Ｄコンバータ１５１によって第２のデジタル信号（例えば１０ｂｉｔ）に変換する。さらにＬＵＴ（ルックアップテーブル）１５２によってガンマ補正やシェーディング補正することによって第２の画像が得られる。第１の画像は明るい部分が抑制されているので、部分的に黒潰れが発生する場合がある。一方、第２の画像は暗い部分が強調されているので、部分的に白飛びが発生する場合がある。黒潰れが発生している部分と白飛びが発生している部分とを除くように第１の画像と第２の画像とを合成することで、ダイナミックレンジの拡大されたＨＤＲ画像（例えば１０ｂｉｔ）を得ることができる。
（画像合成としてのＨＤＲ画像の例）
　図１９に、シャッタ速度を優先する露光制御（シャッタ速度優先制御）をすることにより得られた画像に基づいて生成されたＨＤＲ画像の一例を示す。図２０に、ゲインを優先する露光制御（ゲイン優先制御）をすることにより得られた画像に基づいて生成されたＨＤＲ画像の一例を示す。図１９およびに図２０には、大口径レンズを用いて撮影された画像に基づいて生成されたＨＤＲ画像と、小口径レンズを用いて撮影された画像に基づいて生成されたＨＤＲ画像との例を示す。
　画像合成によって得られたＨＤＲ画像は、暗い部分が光量不足の場合は信号を増幅すると量子ノイズが目立つ。また、連続撮影の間に被写体が動いてしまうと、合成ミスが発生することがある。例えば、図１９に示したように、特に、小口径レンズを用いてシャッタ速度優先制御により撮影された画像に基づいて生成されたＨＤＲ画像では、ゲインを上げることにより、被写体像の量子ノイズも強調されてしまう。また、例えば、図２０に示したように、特に、小口径レンズを用いてゲイン優先制御により撮影された画像に基づいて生成されたＨＤＲ画像では、長時間露光により、被写体像にぶれが発生してしまう。
（一実施の形態に係る技術により生成される露光画像の例）
　図２１に、本開示の一実施の形態に係る技術により得られる画像の一例を示す。図２１には、大口径レンズを用いて撮影された画像に基づいて生成された露光画像と、小口径レンズを用いて撮影された画像に基づいて生成された露光画像との例を示す。
　一実施の形態に係る技術を適用した場合、例えば、大口径レンズを用いて撮影された画像に基づいて生成された露光画像と小口径レンズを用いて撮影された画像に基づいて生成された露光画像との双方において、被写体の露光状態が最適化される。なお、例えば、小口径レンズを用いて撮影された画像に基づいて生成された露光画像では、被写体の背景にのみ、像ぶれが発生する。
（光学手振れ補正）
　また、カメラを手持ちで撮影する場合の像ぶれを抑制する技術として、光学手振れ補正技術がある。例えば、カメラに加速度センサおよびジャイロセンサを搭載する。また、カメラのレンズに撮影光路を変化させる光学アクチュエータを搭載する。そして、加速度センサおよびジャイロセンサにより、カメラの姿勢変化を測定する。測定した姿勢変化量を打ち消す方向に、光学アクチュエータを駆動する。これにより、カメラの姿勢変化に起因する像ぶれについては、抑制することが可能である。しかし、被写体の運動に起因する像ぶれについては、抑制は困難であった。
　それに対し、特許文献１（特開２００４－３５７０４０号公報）では、連続撮影した複数枚の画像の中で、最も移動しない特徴点の動きベクトルを検出し、各画像の位置を合わせて合成する技術が提案されている。しかしながら、特許文献１に記載の技術は、例えばシャッタ半押しによる被写体観察段階において測定した露光条件を、シャッタ全押しによる撮影段階において適用する技術であり、実際の撮影段階における露光条件を最適化するようなものではない。このため、特に、例えば顔認証をする場合において、暗所での歩行運動に対応した顔撮影をする等の目的には性能不足である。
（被写体追跡）
　例えば、移動する被写体を長時間露光撮影する技術として、被写体追跡がある。例えば、陸上競技選手の撮影において、トラックと並行にレールを設置し、カメラを搭載した台車をレールに載せて並走させる方法などがある。あるいは、星雲など暗い天体を撮影する際、カメラをモータ駆動赤道儀に搭載し、天体の日周運動に追尾させる方法などがある。このような方法により、被写体が移動する場合においても像ぶれの抑制が可能になる。しかし、カメラを被写体に合わせて移動させる装置は大掛かりになりがちであり、また人の動作など予測できない動きに追従することは困難である。
［１．３　構成および動作］
（概要）
　図２２に、本開示の一実施の形態に係る技術により得られる画像の一例を示す。
　一実施の形態に係る技術では、例えば、標準の露光時間で連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出する。次に、複数の撮影画像から所望の被写体像を切り出し、所望の被写体像の変化が補正された複数の補正画像を生成する。そして、複数の補正画像を合成し、所望の露光状態の高精度の露光画像を生成する
　例えば顔認証を行う場合、図２２に示したように、シャッタ速度を上げて背景も含めて所望の被写体（例えば認証対象の顔）を撮影すると、個々のフレームＦ１，Ｆ２，Ｆ３は暗く、そのままでは顔認証に不向きである。また、フレームＦ１，Ｆ２，Ｆ３ごとに所望の被写体の位置が変化すると、そのままでは各フレームＦ１，Ｆ２，Ｆ３を重ね合わせることは困難である。しかし、多くの場合、所望の被写体部分（例えば顔部分）のみに注目すればフレームＦ１，Ｆ２，Ｆ３ごとの差異は少ない。よって、所望の被写体部分の画像を切り出し、その切出画像Ｆ１１，Ｆ１２，Ｆ１３を重ね合わせることで、顔認証に適した明るさの画像を得ることができる。なお、図２２には参考として、各切出画像Ｆ１１，Ｆ１２，Ｆ１３を明るくした画像を示す。例えば、各切出画像Ｆ１１，Ｆ１２，Ｆ１３を重ね合わせることなく、信号処理で明るくした場合、ノイズが発生する。
（適用例）
　一実施の形態に係る技術は、例えば顔認証システムに好適である。ただし、一実施の形態に係る技術は、顔認証システム以外の用途にも適用可能である。
　図２３に、本開示の一実施の形態に係る画像処理装置、および撮像システムを顔認証システムに適用した構成例を概略的に示す。
　このシステムは、カメラデバイス１と、ＩＳＰ（Image Signal Processor）２と、ＤＮＮ（Deep Neural Network）プロセッサ３と、顔認証システム４と、特徴量ＤＢ（データベース）５とを備える。カメラデバイス１とＩＳＰ２は、例えばＭＩＰＩ（Mobile Industry Processor Interface）－ＣＳＩ（Camera Serial Interface）およびＩ２Ｃインタフェース等のインタフェースによって互いに通信可能に接続されている。
　カメラデバイス１による撮影画像（ＲＡＷデータ）は、例えばＭＩＰＩ－ＣＳＩによりＩＳＰ２に出力される。
　ＩＳＰ２は、ＲＡＷデータにガンマ補正、色変換等を施して画像データを生成し、その画像データをＤＮＮプロセッサ３に出力する。
　ＤＮＮプロセッサ３は画像データの中の所望の被写体領域として顔領域を検出して顔画像を抽出する。また、ＤＮＮプロセッサ３は、顔画像から特徴量ベクトルを生成し、顔認証システム４に出力する。ＤＮＮプロセッサ３は、例えばＧＰＵ（Graphics Processing Unit）、ＣＰＵ（Central Processing Unit）、およびＤＳＰ（Digital Signal Processor）等のうち、少なくとも１つ含んで構成される。
　顔認証システム４は、受信した特徴量ベクトルを特徴量ＤＢ５の登録データと照合し、顔認証による本人判定を行う。
　一実施の形態に係る画像処理装置は、例えばＤＮＮプロセッサ３によって実現され得る。一実施の形態に係る撮像システムは、例えばカメラデバイス１と、ＩＳＰ２と、ＤＮＮプロセッサ３とによって実現され得る。一実施の形態に係る画像処理装置、および撮像システムによる画像処理の技術は、例えばＤＮＮプロセッサ３内における特徴量ベクトルを生成する前段階の処理として、画像データから顔領域を検出して顔画像を抽出する処理に適用され得る。
（具体的な構成例および動作例）
　図２４に、一実施の形態に係る画像処理装置、および撮像システムの概要を示す。図２５に、一実施の形態に係る画像処理装置の詳細な構成例を概略的に示す。図２６に、被写体の角度変化の一例を概略的に示す。図２７に、一実施の形態に係る画像処理装置の処理動作の一例を示す。
　一実施の形態に係る撮像システムは、撮像部１０と、画像切出器１１と、移動検出器２０と、変形検出器３０と、画像補正器４０と、露光処理部５０と、画像出力器６０と、撮影画像メモリＭ１と、基準データメモリＭ２と、演算画像メモリＭ３とを備えている。移動検出器２０は、前処理部２１と、変化量計算器２２とを有している。露光処理部５０は、画像演算器５１と、露光演算器５２とを有している。なお、撮影画像メモリＭ１、基準データメモリＭ２、および演算画像メモリＭ３は、ハードウェアとしては１つのメモリで構成されてもよい。
　以下、図２７に示した処理動作の流れに従って、一実施の形態に係る画像処理装置、および撮像システムの具体的な構成例および動作例を説明する。
　撮像部１０は、所望の被写体（例えば顔）を連続的に撮影する。撮影画像メモリＭ１は、撮像部１０によって連続的に撮影された複数の撮影画像を記憶する。画像切出器１１は、撮影画像メモリＭ１に記憶された複数の撮影画像のそれぞれから所望の被写体像を検出して所望の被写体像に相当する画像を切り出し、複数の第１切出画像として出力する（図２７のステップＳ１０１）。
　画像切出器１１は、撮影画像メモリＭ１に記憶された複数の撮影画像のそれぞれから所望の被写体像の出現、消失、移動、サイズ変化等を検出する。画像切出器１１は、複数の第１切出画像のそれぞれに、切り出し位置の座標、および画像サイズ等を示す付加情報を付加する。このとき、画像切出器１１は、同一の撮影画像内に所望の被写体として例えば複数の顔が検出された場合は、それぞれの顔について第１切出画像を生成する。座標、および画像サイズ等の付加情報は、移動検出器２０の変化量計算器２２において使用され、同一人物の顔か否かの判断や変化量計算で用いられる。複数の第１切出画像のそれぞれの座標、および画像サイズは、変化量計算によって精密に補正され、画像切出器１１にフィードバックされ、未来の所望の被写体像の検出位置の予測等に用いられる。
　移動検出器２０は、撮像部１０によって連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、所望の被写体像の移動情報を生成する。移動検出器２０では、画像切出器１１によって切り出された複数の第１切出画像に基づいて、所望の被写体像の変化量を検出する。
　移動検出器２０では、まず、前処理部２１において第１切出画像に前処理を施した前処理画像を変化量計算器２２に送る（図２７のステップＳ１０２）。前処理部２１は、前処理として、変化量計算に適した加工を第１切出画像に施す処理を行う。前処理部２１は、例えば、前処理として、周囲から大きく外れた値を持つ画素を周囲画素の平均値で置き換える特異点除去を行う。また、前処理部２１は、例えば、特異点除去で取り切れないノイズ成分を空間ローパスフィルタにより除去するフィルタ処理を行う。また、前処理部２１は、その他の処理として、例えば、変化量計算の障害になりそうな画像成分を必要に応じ除去する処理を行う。
　次に、移動検出器２０では、変化量計算器２２において、初回の変化量計算であるか否かを判断する（図２７のステップＳ１０３）。初回であると判断した場合（図２７のステップＳ１０３；Ｙ）、変化量計算器２２は、次に、前処理画像を基準データとして、基準データメモリＭ２に保存する（図２７のステップＳ１０５）。初回ではないと判断した場合（図２７のステップＳ１０３；Ｎ）、変化量計算器２２は、次に、あらたな前処理画像と基準データとを照合し、あらたな前処理画像の基準データに対する変化量計算を実施する（図２７のステップＳ１０４）。
　基準データメモリＭ２は、基準データとして、移動検出器２０の変化量計算器２２において変化量を検出するための基準画像を記憶する。基準データには、基準画像の元となる第１切出画像の切り出し位置の座標、および画像サイズ等を示す付加情報が含まれてもよい。移動検出器２０の変化量計算器２２は、基準画像に対する所望の被写体像の変化量を検出する。移動検出器２０は、撮影画像メモリＭ１に記憶された複数の撮影画像に基づいて、所望の被写体像の移動軌跡を補間演算により算出し、移動軌跡に基づいて、所望の被写体像の変化量を検出するようにしてもよい。
　変形検出器３０は、複数の第１切出画像における所望の被写体像の変形を検出する。移動検出器２０は、複数の第１切出画像のうち、変形検出器３０によって所望の被写体像の変形が検出された第１切出画像を、所望の被写体像の変化量の検出対象から除外したり、別の被写体として扱うようにしてもよい。変形の例としては、所望の被写体が顔である場合、例えば、まばたきや左右への首振り等がある。
　変化量計算器２２において検出される変化量は、所望の被写体像の位置、サイズ、および角度（Ｙａｗ／Ｐｉｔｃｈ／Ｒｏｌｌ）の情報を含んでもよい。基準データメモリＭ２は、異なる被写体ごとの基準データを記憶してもよい。変化量計算器２２は、複数の基準データのうち、座標やサイズ等の情報に基づいて最適な基準データを選択するようにしてもよい。基準データは、初回保存時からの時間経過やサイズの変化等、条件変化に応じて適宜更新するようにしてもよい。変化量計算の結果、基準データに対して前処理画像の座標およびサイズ等に誤差が認められた場合は前処理画像の補正を行うようにしてもよい。照合すべきあらたな前処理画像が一定時間、変化量計算器２２に来なくなった基準データは、基準データメモリＭ２から削除するようにしてもよい。
　次に、画像補正器４０は、移動情報を元に精密な複数の第２切出画像を取得する。そして、取得した複数の第２切出画像に整合処理を実施し、複数の補正画像を生成する（図２７のステップＳ１０６）。
　画像補正器４０は、移動検出器２０によって生成された移動情報に基づいて複数の第２切出画像の整合処理を行うことで、複数の撮影画像間の所望の被写体像の変化が補正された複数の補正画像を生成する。画像補正器４０は、移動情報に基づいて、複数の撮影画像のそれぞれにおける所望の被写体像に相当する複数の第２切出画像を切り出し、複数の第２切出画像に対して移動情報に基づく補正を行うことにより、複数の補正画像を生成する。画像補正器４０は、基準データメモリＭ２に記憶された基準画像に対する所望の被写体像の変化を補正する。第２切出画像は、第１切出画像から画像の再切り出しを行うことにより取得してもよいし、撮影画像メモリＭ１に記憶された複数の撮影画像のそれぞれから、あらためて画像の切り出しを行うことにより取得してもよい。画像補正器４０は、所望の被写体像の変化の補正として、例えば、位置、およびサイズの変化の補正を行う。また、画像補正器４０は、所望の被写体像の変化の補正として、例えば図２６に示したような首をかしげる等の被写体１００の角度変化の補正（回転補正）を行う。これにより、連続的に撮影された複数の撮影画像中の所望の被写体像の位置およびサイズ等を合致させることができる。
　次に、露光処理部５０は、複数の補正画像を蓄積処理し、演算データとして演算画像メモリＭ３に保存する。そして、演算データから最適な露光状態の画像を露光画像として取得する（図２７のステップＳ１０７）。画像出力器６０は、露光処理部５０によって生成された露光画像を、所望の被写体像が必要とされる外部装置（例えば図２３の顔認証システム４）に出力する。
　露光処理部５０は、画像補正器４０によって生成された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する。画像演算器５１は、複数の補正画像に対して積分演算を行う。演算画像メモリＭ３は、画像演算器５１によって積分演算することによって生成された演算データを記憶する。
　露光演算器５２は、画像演算器５１を制御し、所望の露光状態となる露光画像を生成する。露光演算器５２は、演算画像メモリＭ３に記憶された演算データに基づいて、所望の露光状態となる露光画像を生成する。露光演算器５２は、画像演算器５１の制御に加え、複数の撮影画像の出力を行う撮像部１０における撮影条件の制御を行うようにしてもよい。撮影条件は、例えば、露光条件（絞り、露光時間、ゲイン）やフレームレート等であってもよい。
　画像演算器５１による積分演算において、積分期間を長くすると長時間露光すなわち低速シャッタ、積分期間を短くすると短時間露光すなわち高速シャッタに相当する露光画像が得られる。演算画像メモリＭ３に記憶された演算データは、露光演算器５２によって適宜、読み出され、例えば輝度の正規化がなされて、露光画像として出力される。これにより、撮影時は高速シャッタでありながら、撮影後の演算制御により、長時間露光と同等の露光量による顔画像等を得ることが可能となる。
　なお、積分演算の代表的な手法として、デジタルフィルタでよく使われるＦＩＲ（Finite Impulse Response）方式とＩＩＲ（Infinite Impulse Response）方式がある。画像演算器５１は、必要とされる露光量および画質に応じて、ＦＩＲ方式とＩＩＲ方式とを組み合わせた積分演算を行うようにしてもよい。
　図２８に、ＦＩＲ方式による画像の積分演算の概要を示す。
　ＦＩＲ方式を用いる場合、画像演算器５１は複数の補正画像を一定枚数、演算画像メモリＭ３に保存し、保存された一定枚数の補正画像に対して平均化演算を行って露光画像を生成する。
　図２９は、ＦＩＲ方式による画像の積分演算の概要を示すタイミングチャートである。図２９において（Ａ）はＶＳＹＮＣ（垂直同期信号）、（Ｂ）は比較例に係る技術によるシャッタタイミング、（Ｃ）は一実施の形態に係る技術によるシャッタタイミングの一例を示す。
　比較例に係る技術では、図２９の（Ｂ）に示したように、例えば１フレームを超える長時間露光をすることで複数フレームの撮影画像を蓄積した露光画像が得られる。一実施の形態に係る技術では、図２９の（Ｃ）に示したように、例えば１フレーム期間内で撮影された複数の撮影画像内の所望の被写体像の位置が検出され、所望の被写体像を含む複数の画像の整合処理および蓄積処理を行うことで、長時間露光に相当する露光画像が得られる。
　図３０に、ＩＩＲ方式による画像の積分演算の概要を示す。
　ＩＩＲ方式では、蓄積された平均値画像に対し、あらたな入力画像を所定の割合（例えばＡ％）を決めて混ぜていく方式であり、少ないメモリ量で長時間の移動平均画像を生成できる。一実施の形態に係る技術においてＩＩＲ方式を適用する場合、画像補正器４０によって演算された複数の補正画像の平均値画像が演算画像メモリＭ３に保存され、所望の露光状態になった段階で露光演算器５２によって平均値画像が露光画像として読み出される。
［１．４　変形例］
　一実施の形態に係る技術を例えば顔パーツ検出技術と組み合わせ、まばたきした瞬間の画像を露光処理部５０による露光処理から排除するようにしてもよい。また、露光処理部５０において、連続的に撮影された複数の撮影画像における、所望の被写体像の座標の変化量が最も少ない区間の画像を選択して露光処理をするようにしてもよい。
　一実施の形態に係る技術において、移動検出器２０は、所望の被写体像として、複数の撮影画像のそれぞれにおける複数の所望の被写体像のそれぞれの変化量を検出するようにしてもよい。この場合、画像補正器４０は、複数の所望の被写体像のそれぞれについて、複数の補正画像を生成するようにしてもよい。露光処理部５０は、複数の所望の被写体像のそれぞれについて、所望の露光状態の露光画像を生成するようにしてもよい。移動検出器２０、基準データメモリＭ２、画像補正器４０、画像演算器５１、演算画像メモリＭ３、露光演算器５２は複数装備、もしくは時分割で動作させることも可能である。これにより、同一画像内の複数の被写体のそれぞれについて個別に最適な露光状態の露光画像を生成できる。
［１．５　効果］
　以上説明したように、一実施の形態に係る技術によれば、連続的に撮影された複数の撮影画像における所望の被写体像の移動情報に基づいて補正された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する。これにより、撮影後にノイズおよび像ぶれの抑制された所望の露光状態の画像を生成することが可能となる。
　比較的高速で移動する被写体の撮影において、カメラ画角内における被写体像の位置およびサイズが変化したとしても、被写体像の形状は急激に変化しない。従って、一実施の形態に係る技術によれば、高速シャッタで撮影された複数の撮影画像における所望の被写体像を検出して切り出し、複数の撮影画像における各所望の被写体像の位置およびサイズを精密に合わせて重畳することにより、長時間露光と同等の像を得ることができる。特に、一実施の形態に係る技術の主たる適用分野である顔認証において、被写体移動の主要因は歩行運動であり、画角内の顔位置およびサイズは変化するが、顔の形状が大きく変化するわけではない。従って、高速シャッタで連続撮影された各撮影画像の光量が不足し、ノイズが多い場合であっても、各撮影画像から切り出された顔画像の位置とサイズとを合わせて重畳することにより、ノイズの少ない顔画像を得ることができる。一方、背景については顔の移動に伴って変化するため、重畳により像ぶれが生じる。これは、顔認証アルゴリズムに対し、背景の影響が軽減される方向に働くため、むしろ有利になる。
　一実施の形態に係る技術によれば、暗い被写体であってもノイズの少ない高品質の画像を得ることが撮影できる。また、撮影を実行した後で目的に応じて露光方法を選択できる。
　図３１は、比較例に係る露光制御による露光時間が短い場合の画像データの出力タイミングの一例を概略的に示すタイミングチャートである。図３２は、比較例に係る露光制御による露光時間が長い場合の画像データの出力タイミングの一例を概略的に示すタイミングチャートである。図３３は、一実施の形態に係る露光制御による画像データの出力タイミングの一例を概略的に示すタイミングチャートである。図３１～図３３において（Ａ）はＶＳＹＮＣ（垂直同期信号）、（Ｂ）は露光タイミング（シャッタタイミング）、（Ｃ）は画像データの出力タイミングの一例を示す。
　比較例に係る露光制御では、露光時間が短い場合（露光時間が１フレーム期間内）、図３１に示したように、連続的に撮影された各画像データ（Ｄ１，Ｄ２，Ｄ３…）は、撮影時（露光時）のフレームタイミングの次のフレームタイミングで送出される。露光時間が長い場合（露光時間が１フレーム期間を超える場合）、図３２に示したように、連続的に撮影された各画像データ（Ｄ１，Ｄ２，Ｄ３…）は、露光終了後のフレームタイミングで送出される。このため、露光時間が１フレーム期間を超える場合、フレームレートは低下する。これに対し、一実施の形態に係る技術は、複数の画像データ（Ｄ１，Ｄ２，Ｄ３…）を合成して事後的に長時間露光に相当する露光調整を行う技術である。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．その他の実施の形態＞
　本開示による技術は、上記一実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、本技術は以下のような構成を取ることもできる。
　以下の構成の本技術によれば、連続的に撮影された複数の撮影画像における所望の被写体像の移動情報に基づいて補正された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する。これにより、撮影後にノイズおよび像ぶれの抑制された所望の露光状態の画像を生成することが可能となる。
（１）
　連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、前記所望の被写体像の移動情報を生成する移動検出器と、
　前記移動検出器によって生成された前記移動情報に基づいて、前記複数の撮影画像間の前記所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、
　前記画像補正器によって生成された前記複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部と
　を備える
　画像処理装置。
（２）
　前記複数の撮影画像のそれぞれから前記所望の被写体像を検出して前記所望の被写体像に相当する画像を切り出し、複数の第１切出画像として出力する画像切出器、をさらに備え、
　前記移動検出器は、前記画像切出器によって切り出された前記複数の第１切出画像に基づいて、前記所望の被写体像の変化量を検出する
　上記（１）に記載の画像処理装置。
（３）
　前記画像切出器は、前記複数の第１切出画像のそれぞれに、切り出し位置の座標、および画像サイズを示す付加情報を付加する
　上記（２）に記載の画像処理装置。
（４）
　前記画像補正器は、前記移動情報に基づいて、前記複数の撮影画像のそれぞれにおける前記所望の被写体像に相当する複数の第２切出画像を切り出し、前記複数の第２切出画像に対して前記移動情報に基づく補正を行うことにより、前記複数の補正画像を生成する
　上記（１）ないし（３）のいずれか１つに記載の画像処理装置。
（５）
　前記移動検出器において前記変化量を検出するための基準画像を含む基準データを記憶する基準データメモリ、をさらに備え、
　前記移動検出器は、前記基準画像に対する前記所望の被写体像の変化量を検出する
　上記（１）ないし（４）のいずれか１つに記載の画像処理装置。
（６）
　前記画像補正器は、前記基準画像に対する前記所望の被写体像の変化を補正する
　上記（５）に記載の画像処理装置。
（７）
　前記露光処理部は、
　前記複数の補正画像に対して積分演算を行う画像演算器と、
　前記画像演算器を制御し、前記所望の露光状態となる前記露光画像を生成する露光演算器と
　を有する
　上記（１）ないし（６）のいずれか１つに記載の画像処理装置。
（８）
　前記画像演算器によって積分演算することによって生成された演算データを記憶する演算画像メモリ、をさらに備える
　上記（７）に記載の画像処理装置。
（９）
　前記露光演算器は、前記演算画像メモリに記憶された前記演算データに基づいて、前記所望の露光状態となる前記露光画像を生成する
　上記（８）に記載の画像処理装置。
（１０）
　前記露光演算器は、前記画像演算器の制御に加え、前記複数の撮影画像の出力を行う撮像部における撮影条件の制御を行う
　上記（７）ないし（９）のいずれか１つに記載の画像処理装置。
（１１）
　前記露光処理部によって生成された前記露光画像を、前記所望の被写体像が必要とされる外部装置に出力する画像出力器、をさらに備える
　上記（１）ないし（１０）のいずれか１つに記載の画像処理装置。
（１２）
　前記移動検出器は、前記所望の被写体像として、前記複数の撮影画像のそれぞれにおける複数の所望の被写体像のそれぞれの変化量を検出し、
　前記画像補正器は、前記複数の所望の被写体像のそれぞれについて、前記複数の補正画像を生成し、
　前記露光処理部は、前記複数の所望の被写体像のそれぞれについて、前記所望の露光状態の露光画像を生成する
　上記（１）ないし（１１）のいずれか１つに記載の画像処理装置。
（１３）
　前記複数の撮影画像を記憶する撮影画像メモリを、をさらに備え、
　前記移動検出器は、前記撮影画像メモリに記憶された前記複数の撮影画像に基づいて、前記所望の被写体像の移動軌跡を補間演算により算出し、前記移動軌跡に基づいて、前記所望の被写体像の変化量を検出する
　上記（１）ないし（１２）のいずれか１つに記載の画像処理装置。
（１４）
　前記複数の第１切出画像における前記所望の被写体像の変形を検出する変形検出器、をさらに備え
　前記移動検出器は、前記複数の第１切出画像のうち、前記変形検出器によって前記所望の被写体像の変形が検出された第１切出画像を、前記所望の被写体像の変化量の検出対象から除外する
　上記（２）ないし（１３）のいずれか１つに記載の画像処理装置。
（１５）
　前記移動検出器において検出される前記変化量は、前記所望の被写体像の位置、サイズ、および角度の情報を含む
　上記（１）ないし（１４）のいずれか１つに記載の画像処理装置。
（１６）
　前記画像補正器は、前記所望の被写体像の変化の補正として、位置、サイズ、および角度の変化の補正を行う
　上記（１５）に記載の画像処理装置。
（１７）
　撮像部と、
　前記撮像部によって連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、前記所望の被写体像の移動情報を生成する移動検出器と、
　前記移動検出器によって生成された前記移動情報に基づいて、前記複数の撮影画像間の前記所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、
　前記画像補正器によって生成された前記複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部と
　を備える
　撮像システム。
　本出願は、日本国特許庁において２０２２年３月２３日に出願された日本特許出願番号第２０２２－４６２３２号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (17)

  1. 　連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、前記所望の被写体像の移動情報を生成する移動検出器と、
    　前記移動検出器によって生成された前記移動情報に基づいて、前記複数の撮影画像間の前記所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、
    　前記画像補正器によって生成された前記複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部と
    　を備える
    　画像処理装置。
  2. 　前記複数の撮影画像のそれぞれから前記所望の被写体像を検出して前記所望の被写体像に相当する画像を切り出し、複数の第１切出画像として出力する画像切出器、をさらに備え、
    　前記移動検出器は、前記画像切出器によって切り出された前記複数の第１切出画像に基づいて、前記所望の被写体像の変化量を検出する
    　請求項１に記載の画像処理装置。
  3. 　前記画像切出器は、前記複数の第１切出画像のそれぞれに、切り出し位置の座標、および画像サイズを示す付加情報を付加する
    　請求項２に記載の画像処理装置。
  4. 　前記画像補正器は、前記移動情報に基づいて、前記複数の撮影画像のそれぞれにおける前記所望の被写体像に相当する複数の第２切出画像を切り出し、前記複数の第２切出画像に対して前記移動情報に基づく補正を行うことにより、前記複数の補正画像を生成する
    　請求項１に記載の画像処理装置。
  5. 　前記移動検出器において前記変化量を検出するための基準画像を含む基準データを記憶する基準データメモリ、をさらに備え、
    　前記移動検出器は、前記基準画像に対する前記所望の被写体像の変化量を検出する
    　請求項１に記載の画像処理装置。
  6. 　前記画像補正器は、前記基準画像に対する前記所望の被写体像の変化を補正する
    　請求項５に記載の画像処理装置。
  7. 　前記露光処理部は、
    　前記複数の補正画像に対して積分演算を行う画像演算器と、
    　前記画像演算器を制御し、前記所望の露光状態となる前記露光画像を生成する露光演算器と
    　を有する
    　請求項１に記載の画像処理装置。
  8. 　前記画像演算器によって積分演算することによって生成された演算データを記憶する演算画像メモリ、をさらに備える
    　請求項７に記載の画像処理装置。
  9. 　前記露光演算器は、前記演算画像メモリに記憶された前記演算データに基づいて、前記所望の露光状態となる前記露光画像を生成する
    　請求項８に記載の画像処理装置。
  10. 　前記露光演算器は、前記画像演算器の制御に加え、前記複数の撮影画像の出力を行う撮像部における撮影条件の制御を行う
    　請求項７に記載の画像処理装置。
  11. 　前記露光処理部によって生成された前記露光画像を、前記所望の被写体像が必要とされる外部装置に出力する画像出力器、をさらに備える
    　請求項１に記載の画像処理装置。
  12. 　前記移動検出器は、前記所望の被写体像として、前記複数の撮影画像のそれぞれにおける複数の所望の被写体像のそれぞれの変化量を検出し、
    　前記画像補正器は、前記複数の所望の被写体像のそれぞれについて、前記複数の補正画像を生成し、
    　前記露光処理部は、前記複数の所望の被写体像のそれぞれについて、前記所望の露光状態の露光画像を生成する
    　請求項１に記載の画像処理装置。
  13. 　前記複数の撮影画像を記憶する撮影画像メモリを、をさらに備え、
    　前記移動検出器は、前記撮影画像メモリに記憶された前記複数の撮影画像に基づいて、前記所望の被写体像の移動軌跡を補間演算により算出し、前記移動軌跡に基づいて、所望の被写体像の変化量を検出する
    　請求項１に記載の画像処理装置。
  14. 　前記複数の第１切出画像における前記所望の被写体像の変形を検出する変形検出器、をさらに備え
    　前記移動検出器は、前記複数の第１切出画像のうち、前記変形検出器によって前記所望の被写体像の変形が検出された第１切出画像を、前記所望の被写体像の変化量の検出対象から除外する
    　請求項２に記載の画像処理装置。
  15. 　前記移動検出器において検出される前記変化量は、前記所望の被写体像の位置、サイズ、および角度の情報を含む
    　請求項１に記載の画像処理装置。
  16. 　前記画像補正器は、前記所望の被写体像の変化の補正として、位置、サイズ、および角度の変化の補正を行う
    　請求項１５に記載の画像処理装置。
  17. 　撮像部と、
    　前記撮像部によって連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、前記所望の被写体像の移動情報を生成する移動検出器と、
    　前記移動検出器によって生成された前記移動情報に基づいて、前記複数の撮影画像間の前記所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、
    　前記画像補正器によって生成された前記複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部と
    　を備える
    　撮像システム。
PCT/JP2023/002598 2022-03-23 2023-01-27 画像処理装置、および撮像システム WO2023181630A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022046232A JP2023140411A (ja) 2022-03-23 2022-03-23 画像処理装置、および撮像システム
JP2022-046232 2022-03-23

Publications (1)

Publication Number Publication Date
WO2023181630A1 true WO2023181630A1 (ja) 2023-09-28

Family

ID=88101048

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/002598 WO2023181630A1 (ja) 2022-03-23 2023-01-27 画像処理装置、および撮像システム

Country Status (2)

Country Link
JP (1) JP2023140411A (ja)
WO (1) WO2023181630A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074031A (ja) * 2005-09-02 2007-03-22 Canon Inc 撮像装置、及び、画像処理装置及び方法
JP2010136058A (ja) * 2008-12-04 2010-06-17 Nikon Corp 電子カメラおよび画像処理プログラム
JP2017041736A (ja) * 2015-08-19 2017-02-23 オリンパス株式会社 撮像装置、撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074031A (ja) * 2005-09-02 2007-03-22 Canon Inc 撮像装置、及び、画像処理装置及び方法
JP2010136058A (ja) * 2008-12-04 2010-06-17 Nikon Corp 電子カメラおよび画像処理プログラム
JP2017041736A (ja) * 2015-08-19 2017-02-23 オリンパス株式会社 撮像装置、撮像方法

Also Published As

Publication number Publication date
JP2023140411A (ja) 2023-10-05

Similar Documents

Publication Publication Date Title
US11704775B2 (en) Bright spot removal using a neural network
US10194091B2 (en) Image capturing apparatus, control method therefor, program, and recording medium
EP3162048B1 (en) Exposure metering based on background pixels
JP2007097195A (ja) 画像取り込み装置で画像を取り込む際の動きによるブレを制限するために最大露光時間を判定する方法、画像取り込み装置を用いて画像を取り込む方法、および画像取り込み装置で画像を取り込む際の動きによるブレを制限するための最大露光時間を判定する装置
WO2011099239A1 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP6769434B2 (ja) 表示制御装置、表示制御方法および表示制御プログラム
CN104702854B (zh) 图像数据的聚合高动态范围的成像系统及相关方法
WO2019047620A1 (zh) 一种成像装置及成像方法
EP3266195A1 (en) Image processing apparatus, image pickup apparatus, image processing method, program, and storage medium
US9191573B2 (en) Image capturing apparatus for determining an exposure condition by calculating aphotmetric value for each object region and method of controlling the same
CN111093064B (zh) 图像处理
WO2023181630A1 (ja) 画像処理装置、および撮像システム
JP2018201156A (ja) 画像処理装置および画像処理方法
JP4523629B2 (ja) 撮像装置
US20190297285A1 (en) Imaging control device, imaging apparatus, and imaging control method
JP2020067503A (ja) 撮像装置、監視システム、撮像装置の制御方法およびプログラム
JP2007189298A (ja) 画像処理装置、画像処理方法および撮像装置
JP2015080157A (ja) 画像処理装置、画像処理方法及びプログラム
JP2011135379A (ja) 撮像装置、撮像方法及びプログラム
JP6006506B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP2017085337A (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2020084894A1 (ja) マルチカメラシステム、制御値算出方法及び制御装置
JP2020171050A (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
JP2017068513A (ja) 画像処理装置及びその方法、プログラム、記憶媒体
JP6554009B2 (ja) 画像処理装置、その制御方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23774229

Country of ref document: EP

Kind code of ref document: A1