WO2016167137A1 - 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム - Google Patents

撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム Download PDF

Info

Publication number
WO2016167137A1
WO2016167137A1 PCT/JP2016/060894 JP2016060894W WO2016167137A1 WO 2016167137 A1 WO2016167137 A1 WO 2016167137A1 JP 2016060894 W JP2016060894 W JP 2016060894W WO 2016167137 A1 WO2016167137 A1 WO 2016167137A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
output image
image
shooting
value
Prior art date
Application number
PCT/JP2016/060894
Other languages
English (en)
French (fr)
Inventor
小泉　誠
田中　寛之
純 大野
大典 川又
昌勝 藤本
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/560,227 priority Critical patent/US10412309B2/en
Priority to JP2017512261A priority patent/JP6627866B2/ja
Priority to EP16779928.7A priority patent/EP3285478B1/en
Priority to CN201680017849.7A priority patent/CN107431758B/zh
Publication of WO2016167137A1 publication Critical patent/WO2016167137A1/ja
Priority to US16/525,402 priority patent/US10999520B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Definitions

  • the present technology relates to an imaging device, an imaging method, a signal processing device, a signal processing method, and a program, and in particular, for example, an imaging device, an imaging method, and a signal processing capable of reliably imaging a flashing imaging object.
  • the present invention relates to an apparatus, a signal processing method, and a program.
  • the fact that the traffic lights and road signs are turned off means that the in-vehicle camera is used as a drive recorder, for example, in the evidence capability of the captured image when an accident occurs. It will cause trouble.
  • a signal or a road sign is displayed in an unlit state.
  • a photographed image photographed with an in-vehicle camera is used for, for example, automatic driving of a car, This may cause troubles in operation control such as stoppage.
  • the exposure of the flashing light source may be reduced due to overexposure under high-illumination shooting conditions such as outdoors in fine weather. .
  • one shot image is randomly selected as an output image from a plurality of shot images obtained by a plurality of shots at a frame rate higher than the frame rate of the output image
  • the blinking is turned off.
  • a captured image showing a light source may be selected as an output image.
  • the present technology has been made in view of such a situation, and makes it possible to reliably photograph a blinking photographing object.
  • the imaging device or the program according to the present technology is configured to divide a flashing cycle in which a shooting unit that performs shooting at a predetermined shooting timing and a shooting target to be shot in the shooting unit blink into a plurality of N equally.
  • the imaging method of the present technology is such that an exposure time of at least one imaging is performed at a timing that divides a blinking cycle in which an imaging object to be imaged at an imaging unit that performs imaging at a predetermined imaging timing blinks into a plurality of N equal parts.
  • the imaging method includes controlling the imaging timing so that the imaging is performed N times with an exposure time in which at least a part of the lighting period in which the imaging target is lit is overlapped.
  • the blinking cycle in which the photographing target to be photographed by the photographing unit that performs photographing at a predetermined photographing timing blinks is divided into a plurality of N equally.
  • the photographing timing is controlled so that the photographing is performed N times with an exposure time in which at least a part of the lighting period in which the photographing object is lit overlaps with the exposure time of at least one photographing.
  • the signal processing device or the program according to the present technology is provided at least once with a timing of dividing the blinking cycle in which a photographing target to be photographed by a photographing unit that performs photographing at a predetermined photographing timing blinks into a plurality of N equal parts.
  • At least one exposure is performed at a timing at which the blinking cycle in which a subject to be photographed blinks at a predetermined photographing timing is divided into a plurality of N equal parts. It is obtained by the N times of photographing performed by controlling the photographing timing so that N times of photographing is performed at an exposure time in which at least a part of a lighting period in which the photographing target is lit overlaps with time.
  • This is a signal processing method including processing N photographed images to generate an output image of one frame.
  • the signal processing device, the signal processing method, and the program according to the present technology provide a timing at which a blinking cycle in which a photographing target to be photographed by a photographing unit that performs photographing at a predetermined photographing timing blinks is divided into a plurality of N.
  • the exposure timing is controlled so that N times of shootings are performed with an exposure time in which at least a part of the lighting period in which the shooting target is lit overlaps with the exposure time of at least one shooting.
  • N captured images obtained by the N capturing operations are processed to generate an output image of one frame.
  • imaging device and the signal processing device may be independent devices, or may be internal blocks constituting one device.
  • the program can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • 12 is a flowchart for describing a first example of generation processing for generating one output image from N photographed images. 12 is a flowchart for explaining a second example of generation processing for generating one output image from N photographed images. It is a figure which shows typically the example of the output image image
  • 14 is a flowchart for explaining a third example of generation processing for generating one output image from N photographed images. It is a figure which shows the example of the pixel value of two picked-up images from which a pixel value changes gently, and the output image produced
  • FIG. 16 is a flowchart for explaining a seventh example of generation processing for generating one output image from N photographed images. It is a figure explaining the 8th example of the production
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a camera unit as a photographing apparatus to which the present technology is applied.
  • the camera unit can capture both still images and moving images.
  • the camera unit includes an optical system 1, an image sensor 2, a memory 3, a signal processing unit 4, an output unit 5, and a timing control unit 6.
  • the optical system 1 has, for example, a zoom lens, a focus lens, a diaphragm, and the like (not shown), and makes external light incident on the image sensor 2 to form an image.
  • the image sensor 2 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor that receives incident light from the optical system 1 and performs photoelectric conversion to obtain a captured image corresponding to the incident light from the optical system 1 ( Image data).
  • CMOS Complementary Metal Oxide Semiconductor
  • the image sensor 2 functions as an imaging unit that performs imaging at an imaging timing specified by the timing control unit 6, and is a plurality of N times during a frame rate period of an output image output by the output unit 5 described later. Shooting is performed, and N captured images obtained by the N shootings are sequentially output.
  • the memory 3 sequentially stores N photographed images sequentially output by the image sensor 2 and supplies the N photographed images to the signal processing unit 4 at the same time.
  • the signal processing unit 4 processes N photographed images from the memory 3 and generates an output image of one frame (sheet). Further, the signal processing unit 4 performs processing such as noise removal and WB (white balance) adjustment on the output image, and supplies the output image to the output unit 5.
  • processing such as noise removal and WB (white balance) adjustment on the output image, and supplies the output image to the output unit 5.
  • the signal processing unit 4 detects (detects) the brightness of the N photographed images from the memory 3, and performs timing control with the exposure time at which the brightness of the photographed image becomes appropriate brightness as the appropriate exposure time. Supply to part 6.
  • the output unit 5 outputs an output image from the signal processing unit 4.
  • the output unit 5 has a display (not shown) made of, for example, liquid crystal, and displays an output image from the signal processing unit 4 as a so-called through image.
  • the output unit 5 includes a driver (not shown) for driving a recording medium such as a semiconductor memory, a magnetic disk, or an optical disk, and records an output image from the signal processing unit 4 on the recording medium.
  • a driver for driving a recording medium such as a semiconductor memory, a magnetic disk, or an optical disk, and records an output image from the signal processing unit 4 on the recording medium.
  • the timing control unit 6 controls the shooting timing of the image sensor 2.
  • the timing control unit 6 controls the shooting timing of the image sensor 2 so that shooting is performed at a timing that divides a blinking cycle of a shooting target to be shot by the image sensor 2 into a plurality of N equal parts. .
  • the timing control unit 6 performs shooting with an exposure time in which at least a part of the lighting period in which the shooting target is lit overlaps with the exposure time of at least one of the N shootings.
  • the imaging timing of the image sensor 2 is controlled.
  • the timing control unit 6 performs shooting with the appropriate exposure time supplied from the signal processing unit 4 when the appropriate exposure time supplied from the signal processing unit 4 is longer than a lower limit exposure time SHT_MIN described later. In addition, the photographing timing of the image sensor 2 is controlled.
  • the timing control unit 6 corresponds to the image sensor 2 within the exposure time longer than the lower limit exposure time SHT_MIN.
  • the photographing timing of the image sensor 2 is controlled so that photographing is performed with the minimum exposure time that can be performed.
  • the image sensor 2 captures and outputs N captured images according to the control of the timing control unit 6.
  • N shot images output from the image sensor 2 are supplied to the memory 3 and stored therein.
  • the signal processing unit 4 processes the N captured images stored in the memory 3 to generate an output image of one frame. Further, the signal processing unit 4 performs necessary signal processing such as WB adjustment on the output image and supplies the output image to the output unit 5.
  • the output unit 5 outputs an output image from the signal processing unit 4.
  • the camera unit of FIG. 1 can be applied to any electronic device equipped with a photographing function such as a digital camera, an in-vehicle camera mounted on an automobile, a surveillance camera installed on a highway, or the like.
  • examples of the shooting mode of the camera unit in FIG. 1 include a normal mode, a high-speed mode, and a new high-speed mode.
  • one shooting is performed during the frame rate period of the output image, and a shot image obtained as a result of the shooting is output as an output image.
  • multiple shootings are performed during the frame rate of the output image, and one of the multiple shooting images obtained as a result of the multiple shootings is randomly output as the output image. Selected.
  • the shooting target is lit at the exposure time of at least one shooting at the timing of dividing the blinking cycle of the shooting target to be shot by the image sensor 2 into N equal parts. Shooting is performed N times with an exposure time that overlaps at least part of the lighting period.
  • FIG. 2 is a diagram for explaining an example of shooting of a shooting target when the shooting target to be shot blinks.
  • FIG. 2 shows an example of an output image obtained by photographing an LED traffic light as a subject to blink in the normal mode.
  • the output image obtained by the camera unit may cause troubles in driving control such as stopping the vehicle when the output image obtained by the camera unit is used for automatic driving of the vehicle, for example.
  • FIG. 3 is a diagram for explaining shooting in the normal mode with an exposure time exceeding the light extinction period during which the traffic light is extinguished.
  • the horizontal axis represents time
  • the vertical axis represents the light emission (amount) of the LEDs constituting the traffic light.
  • a power supply with a frequency of 100 Hz which is a full-wave rectification of an AC power supply with a frequency of 50 Hz, is used as the power supply of a traffic light as a subject to flash.
  • the traffic light flashes at a cycle (flashing cycle) of 10 ms (milliseconds) corresponding to 100 Hz.
  • the lighting duty (Duty) ratio for turning on the traffic light is, for example, 60% in the 10 ms blinking cycle of the traffic light.
  • the camera unit when the camera unit is used with the F value of the optical system 1 fixed, such as an in-vehicle camera, etc., if shooting is always performed with an exposure time longer than the extinguishing period, it will be outdoors in fine weather. Under photographing conditions with high illuminance, overexposure may occur and the visibility of the flashing light source may be reduced.
  • the signal reflected in the photographed image is saturated with an exposure time of 1 ms (the photographed image output by the image sensor 2).
  • the pixel value becomes the maximum level (saturation level) of the possible values).
  • FIG. 4 is a diagram for explaining shooting in the high-speed mode.
  • the horizontal axis represents time
  • the vertical axis represents the light emission of the LEDs constituting the traffic light.
  • FIG. 4 as in FIG. 3, a power supply with a frequency of 100 Hz is used as the power supply of the traffic light as a subject to flash, and the flashing cycle is 10 ms. Further, in FIG. 4, as in FIG. 3, the lighting duty ratio is 60%, and the 6 ms period of the 10 ms blinking period of the traffic light is the remaining 4 ms during the lighting period during which the traffic light is lit. This period is the extinguishing period when the traffic light is extinguished.
  • one photographed image is randomly selected as an output image from the three photographed images S0, S1, and S2 obtained by photographing three times.
  • the shot image showing the unlit traffic light is selected as the output image.
  • the output image output from the camera unit When the output image output from the camera unit is used for the control of automatic driving of a vehicle that runs at high speed, it is required that the traffic light reflected in the output image is always lit. Therefore, it is not desirable that it is probable that a captured image showing a traffic light that is turned off is selected as an output image.
  • any of the traffic lights shown in the three captured images S0 to S2 can be turned off.
  • FIG. 5 is a diagram for explaining shooting in the new high-speed mode.
  • the horizontal axis represents time
  • the vertical axis represents light emission of the LEDs constituting the traffic light.
  • the cycle of the power supply after full-wave rectification, and hence the blinking cycle of the traffic light as the subject to be blinked is Tb [seconds].
  • the lighting duty ratio of the traffic light is Db [%].
  • the lighting period of the traffic light is represented by Tb ⁇ Db / 100
  • the extinguishing period is represented by Tb ⁇ (1-Db / 100).
  • the exposure time of at least one shooting is performed at the timing of dividing the flashing cycle Tb in which a shooting target such as a traffic light to be shot by the image sensor 2 blinks into N equal parts.
  • N times of shootings are performed during an exposure time in which at least a part of the lighting period Tb ⁇ Db / 100 during which the traffic light is lit overlaps.
  • the leading time of the blinking period Tb of the traffic light is set to 0.
  • the exposure (shooting) start times of the three shot images S0, S1, and S2 obtained by three shots are represented by 0, Tb / 3, and 2Tb / 3, respectively.
  • the exposure (shooting) end times of the three shot images S0, S1, and S2 are represented by 0 + Tc, Tb / 3 + Tc, and 2Tb / 3 + Tc, respectively.
  • the exposure time Tc for at least one shooting overlaps at least part of the lighting period Tb ⁇ Db / 100 is expressed as SHT_MIN [seconds]
  • the time exceeding the lower limit exposure time SHT_MIN is adopted as the exposure time Tc in the new high-speed mode.
  • any (positive) value that the camera unit can take as the exposure time can be adopted as the exposure time Tc in the new high-speed mode.
  • the lower limit exposure time SHT_MIN is 0.
  • the exposure time Tc can be reduced to the limit of the camera unit.
  • the exposure time Tc it is possible to set a time exceeding the lower limit exposure time SHT_MIN 1.33... And longer than the minimum exposure time that can be handled by the camera unit.
  • the traffic light lights up at least once during the exposure time Tc at the time of dividing the flashing cycle Tb of the N images captured in the new high-speed mode, i.
  • the exposure time Tc of at least one shot image is obtained for N shot images obtained by performing N shots with an exposure time Tc where at least part of the lighting period Tb ⁇ Db / 100 overlaps. However, it overlaps at least part of the lighting period Tb ⁇ Db / 100.
  • At least one of the N shot images shot in the new high-speed mode always shows a lit traffic light.
  • any time exceeding the lower limit exposure time SHT_MIN can be set as the exposure time Tc, so that the subject in the captured image will not be saturated or too dark. Shooting can be performed with appropriate and appropriate exposure.
  • the exposure start time and the exposure end time of N shot images obtained by N shooting Is expressed as follows, with the exposure time exceeding the lower limit exposure time SHT_MIN as Tc.
  • n 1 (exposure start time, exposure end time) of the first captured image is (0, 0 + Tc)
  • FIG. 6 is a flowchart for explaining an example of start-up processing performed when the camera unit is started in the new high-speed mode.
  • step S11 the timing control unit 6 sets a blinking period Tb [second] and a lighting duty ratio Db [%] of a subject to be photographed by the camera unit, and the process proceeds to step S12.
  • the blinking cycle Tb and the lighting duty ratio Db [%] for example, a default value, a value according to a user operation, or the like can be set.
  • the blinking cycle Tb [second] and the lighting duty ratio Db [%] can be set according to the country or region.
  • step S12 the timing control unit 6 performs at least one shooting when performing N-time shooting at the lighting cycle Tb (N shootings at a timing at which the blinking cycle Tb is equally divided into N).
  • N shootings at a timing at which the blinking cycle Tb is equally divided into N As described with reference to FIG. 5, the lower limit exposure time SHT_MIN for the above-described exposure time Tc to overlap with the lighting period Tb ⁇ Db / 100 to be photographed is obtained.
  • the number N of times of photographing can be set in advance, set according to the user's operation, or the like.
  • step S12 the process proceeds from step S12 to step S13, and the timing control unit 6 sets the timing for dividing the blinking cycle Tb of the imaging target into N equal parts in the new high-speed mode, and the start timing (exposure start) of N times of equal interval photography.
  • Time) SHT_STA0, SHT_STA1,..., SHT_STA # N-1 are obtained, and the start-up process is terminated.
  • FIG. 7 is a flowchart for explaining an example of processing for each frame performed for each frame of the output image in the new high-speed mode.
  • step S21 the timing control unit 6 sets the time exceeding the lower limit exposure time SHT_MIN obtained in the start-up process of FIG. 6 as the designated exposure time Tc, and designates the image sensor 2 as the exposure time for shooting.
  • the process proceeds to step S22 by designating the exposure time Tc.
  • step S22 the timing control unit 6 performs exposure for the designated exposure time Tc using the start timings SHT_STA0, SHT_STA1,..., SHT_STA # N-1 obtained in the start-up process of FIG.
  • the imaging timing of the image sensor 2 is controlled so as to perform N-time equidistant imaging.
  • step S22 the image sensor 2 performs N equidistant photographing at the designated exposure time Tc, and N photographed images obtained as a result are sent to the signal processing unit 4 via the memory 3. Supplied.
  • step S23 the signal processing unit 4 detects (detects) the brightness of N photographed images supplied via the memory 3, and the process proceeds to step S24.
  • step S24 the signal processing unit 4 determines whether or not the current designated exposure time Tc is an appropriate exposure time (appropriate exposure time) based on the result of detecting the brightness of the N photographed images in step S23. Determine.
  • step S24 If it is determined in step S24 that the current designated exposure time Tc is an appropriate exposure time, that is, if N shot images are not too bright or too dark as a whole, the process is performed. The process proceeds to step S25.
  • step S25 the signal processing unit 4 supplies the current exposure time to the timing control unit 6 as the designated exposure time Tc.
  • the timing control unit 6 designates the designated exposure time Tc from the signal processing unit 4 as the exposure time for the image sensor 2.
  • step S24 determines whether the current designated exposure time Tc is an appropriate exposure time, that is, if N shot images are too bright or too dark as a whole. If it is determined in step S24 that the current designated exposure time Tc is not an appropriate exposure time, that is, if N shot images are too bright or too dark as a whole, the process proceeds to step S24. Proceed to S26.
  • step S26 the signal processing unit 4 obtains an appropriate exposure time based on the result of detecting the brightness of the N photographed images in step S23, and supplies it to the timing control unit 6. If the appropriate exposure time from the signal processing unit 4 exceeds the lower limit exposure time SHT_MIN, the timing control unit 6 designates the appropriate exposure time as the designated exposure time Tc in the image sensor 2.
  • the timing control unit 6 determines that the image sensor 2 is within the exposure time longer than the lower limit exposure time SHT_MIN.
  • the minimum exposure time that can be handled is designated to the image sensor 2 as the designated exposure time Tc.
  • step S25 or S26 After the process of step S25 or S26, the process returns to step S22.
  • step S22 N-time equidistant shooting is performed at the designated exposure time Tc specified in step S25 or S26, and the same process is repeated thereafter. .
  • FIG. 8 is a flowchart for explaining a first example of a generation process for generating one (frame) output image from N photographed images.
  • the signal processing unit 4 performs a generation process of processing N shot images obtained by N shootings and generating one output image.
  • FIG. 8 shows a first example of generation processing performed by the signal processing unit 4.
  • step S41 the signal processing unit 4 of the output image (to be generated from now) has not yet been selected as the pixel of interest in the raster scan order, for example.
  • One pixel in front is selected as a pixel of interest, and the process proceeds to step S42.
  • step S42 the signal processing unit 4 sets the maximum value max among the pixel values of the corresponding pixels (pixels at the same position as the target pixel) corresponding to the target pixel of each of the N captured images, as the pixel of the target pixel. As a value, the process proceeds to step S43.
  • step S43 the signal processing unit 4 determines whether or not all the pixels of the output image have been selected as the target pixel.
  • step S43 If it is determined in step S43 that all the pixels of the output image have not yet been selected as the target pixel, the process returns to step S41, and the same process is repeated thereafter.
  • step S43 If it is determined in step S43 that all the pixels of the output image have been selected as the target pixel, the generation process for generating one output image ends.
  • the corresponding pixel with the pixel value of the maximum value max shows the object to be lit, and as described above, the corresponding pixel of the N photographed images
  • the maximum value max among the values as the pixel value of the output image it is possible to generate an output image in which a shooting target that is lit is shown.
  • FIG. 9 is a flowchart for explaining a second example of generation processing for generating one (frame) output image from N photographed images.
  • step S51 the signal processing unit 4 selects one pixel of the output image as a target pixel, similarly to step S41 in FIG. 8, and the process proceeds to step S52.
  • step S52 the signal processing unit 4 obtains the average value ave of the corresponding pixel values corresponding to the target pixel of each of the N captured images as the pixel value of the target pixel, and the process proceeds to step S53.
  • the average value ave of the pixel values of the corresponding pixels of the N photographed images a simple average or a weighted average of the pixel values of the corresponding pixels can be employed. In the weighted average, for example, a large weight can be given to the maximum value max among the pixel values of the corresponding pixels of N photographed images.
  • step S53 the signal processing unit 4 determines whether or not all the pixels of the output image have been selected as the target pixel.
  • step S53 If it is determined in step S53 that all the pixels of the output image have not been selected as the target pixel, the process returns to step S51, and the same process is repeated thereafter.
  • step S53 If it is determined in step S53 that all the pixels of the output image have been selected as the target pixel, the generation process for generating one output image ends.
  • At least one of the shot images shows the shooting target that is lit. Therefore, as described above, when the average value ave of the pixel values of the corresponding pixels of the N photographed images is obtained as the pixel value of the output image, an output image in which a lit subject to be photographed is generated. be able to.
  • FIG. 10, FIG. 11, and FIG. 12 are diagrams schematically showing an example of an output image taken with a commercially available in-vehicle camera, an output image taken in the normal mode, and an output image taken in the new high-speed mode. .
  • FIGS. 10 to 12 show output images of different frames.
  • FIGS. 10 to 12 shows an output image when a photographed image taken with a commercially available in-vehicle camera is directly used as an output image.
  • FIGS. 10 to 12B show the output image when the captured image taken in the normal mode is used as the output image as it is.
  • FIG. 10 to FIG. 12C show the output images when the average value ave of the corresponding pixels of the three captured images taken in the new high-speed mode is used as the pixel value of the output image.
  • D in FIGS. 10 to 12 shows an output image when the maximum value max among the pixel values of the corresponding pixels of the three captured images captured in the new high-speed mode is the pixel value of the output image. Yes.
  • blue (left end) is lit in any of an output image taken with a commercially available in-vehicle camera, an output image taken in the normal mode, and an output image taken in the new high-speed mode.
  • a traffic light is reflected.
  • the traffic signal reflected in the output image captured in the new high-speed mode is lit, but the output image captured by a commercially available in-vehicle camera and the output image captured in the normal mode. All of the traffic lights reflected in are turned off.
  • the output image having the maximum value max (of the pixel values of the corresponding pixels of the three photographed images) as the pixel value, It was confirmed that the visibility of the traffic light was better than the output image with the average value ave as the pixel value.
  • FIG. 13 is a diagram for explaining a first application example of the new high-speed mode.
  • the timing control unit 6 controls the shooting timing of the image sensor 2 to fix the blinking cycle Tb of the shooting target to one cycle in each frame of the output image. It is possible to perform N-time equidistant shooting for Tb.
  • the timing control unit 6 controls the photographing timing of the image sensor 2 to perform N-time equidistant photographing for different blinking periods Tb for each one or a plurality of frames of the output image. Can be done.
  • FIG. 13 shows an example in which N-time equidistant imaging is performed for different blinking periods Tb for each frame of the output image in the new high-speed mode.
  • 14 and 15 are diagrams illustrating a second application example of the new high-speed mode.
  • FIG. 14 shows a state in which a subject to be blinked whose blinking cycle is Tb is photographed at three equal intervals in the new high-speed mode.
  • the timing (photographing start timing) for capturing the three captured images S0 to S2 is uniquely determined by the blinking cycle Tb.
  • FIG. 15 shows a state in which N equidistant shootings with different blinking periods Tb having a specific relationship are simultaneously performed in one frame of the output image.
  • the blinking cycle Tb_A of a certain shooting target is a cycle that is a power of two of the flashing cycle Tb_B of another shooting target (second shooting target)
  • N By performing imaging at equal intervals, it is possible to perform N imaging at equal intervals for both the blinking cycles Tb_A and Tb_B in one frame of the output image.
  • three different blinking periods Tb1, Tb2, and Tb3 are illustrated as 2ms corresponding to 500Hz, 4ms corresponding to 250Hz, and 8ms corresponding to 125Hz, respectively. Yes.
  • the timing at which one of the three captured images S0 (500), S1 (500), and S2 (500) is captured coincides.
  • the timing at which one of the three captured images S0 (250), S1 (250), and S2 (250) is captured coincides.
  • Tb is (are M 0 or an integer) 2 M times the flashing cycle Tb a flashing cycle 2 M ⁇ Tb of the camera module , 2 0 ⁇ Tb, 2 1 ⁇ by performing even interval shooting for the maximum blinking cycle 2 M ′ ⁇ Tb (M ′ is an integer greater than or equal to 0) that can be performed N times at regular intervals.
  • M ′ is an integer greater than or equal to 0
  • equidistant shooting for M ′ blinking periods can be performed simultaneously in one frame of the output image.
  • FIG. 16 is a diagram for explaining the application of the generation processing for generating the output image performed by the signal processing unit 4 to flicker countermeasures.
  • FIG. 16 schematically shows a flashing light emission amount of a photographing target and a temporal change in luminance of an output image obtained by photographing the photographing target in the normal mode and the new high speed mode.
  • one captured image is captured during one frame period of the output image, and the captured image is output as the output image. Therefore, the brightness of the output image obtained in the normal mode changes according to the flashing amount of the photographing target. This change in luminance is observed as flicker.
  • N shot images are taken at regular intervals during the period of one frame of the output image.
  • the maximum value max or the average value ave among the pixel values of the corresponding pixels of the N photographed images is obtained as the pixel value of the output image.
  • the change in luminance is gentler than that in the output image obtained in the normal mode.
  • the output image generation processing performed by the signal processing unit 4 can be used to reduce flicker.
  • the new high-speed mode it is possible to measure the blinking cycle Tb of the object to be photographed and perform N-time equidistant photographing for the measured blinking cycle Tb.
  • the frame for shooting in the new high-speed mode and the frame for shooting in the normal mode can be switched for each frame or every plurality of frames. In this case, the visibility of the output image can be improved.
  • the camera unit can be changed seamlessly between the new high-speed mode and the normal mode.
  • a method of seamlessly changing between the new high-speed mode and the normal mode for example, there is a method of gradually increasing or decreasing the number N of equidistant imaging in the new high-speed mode.
  • the new high-speed mode can be applied to all of the pixels (not shown) constituting the image sensor 2 or can be applied to only a part of the pixels.
  • the new high-speed mode can be applied to the central pixel among the pixels constituting the image sensor 2, and the normal mode can be applied to the peripheral pixel.
  • LED traffic lights, road signs, and other objects that blink at a certain frequency (cycle) can be used as the object to be photographed.
  • FIG. 17 is a diagram illustrating an example of an output image in which a false color is generated.
  • an output image having an average value ave that is, an output image having an average value ave of pixel values of corresponding pixels of N photographed images as a pixel value
  • a false color may be generated in the motion blur portion of the moving object.
  • the signal processing unit 4 adjusts the output image of the average value ave to the WB.
  • WB gain is applied, a false color is generated in the motion blur portion of the moving object shown in the output image of the average value ave.
  • R (Red), G (Green), and B (Blue) as pixel values of a captured image are now (R, G, B), WB gain is (Gr, Gg, Gb), and WB
  • the pixel values after the gain is applied are represented as (R ′, G ′, B ′), respectively.
  • the pixel values (R ', G', B ') after the WB gain is applied are expressed by the following formula.
  • MIN (A, B) represents the smaller of A and B.
  • the pixel value (R, G, B) of the captured image is (0, 0, 0) as black
  • the pixel value (R, G, B) (0, 0, 0)
  • the pixel values (R ′, G ′, B ′) obtained by applying the WB gain (Gr, Gg, Gb) remain (0, 0, 0).
  • the pixel value (R, G, B) of the corresponding pixel of a captured image is (MM, MM, MM), and the pixel value (R, G, B) of the corresponding pixel of another captured image is ( In the case of 0, 0, 0), the average value ave that is the pixel value of the target pixel of the output image is (MM / 2, MM / 2, MM / 2).
  • pixel values (R ', G', B 'obtained by multiplying the pixel value (MM / 2, MM / 2, MM / 2) of the target pixel of the output image by the WB gain (Gr, Gg, Gb) ) Becomes (Gr, Gg, Gb) ⁇ MM / 2.
  • FIG. 17 shows an example of an output image in which the average value ave of the pixel values of the corresponding pixels of the three photographed images is a pixel value.
  • a purple false color is displayed in the hatched portion. It has occurred.
  • a white car moving from right to left is shown as a moving object. Furthermore, the pixel value (R, G, B) of the first corresponding pixel of the three photographed images is (0, 0, 0) as black, but the second corresponding pixel
  • the pixel values (R, G, B) are (MM, MM, MM) as saturated white.
  • the pixel value has three values of R, G, and B.
  • the image sensor 2 is an image sensor such as a Bayer array, and the pixel values are R, G, and B.
  • the pixel values are R, G, and B.
  • a false color is generated.
  • the corresponding pixel in the saturated state has the WB collapsed before the WB gain is applied, and the pixel value of the corresponding pixel in the saturated state in which such WB is collapsed and the WB are not collapsed (not saturated) )
  • the WB of the average value ave obtained by the average changes.
  • the change in the WB of the average value ave is the cause of the false color.
  • N captured images are used instead of the average value ave using the pixel value of the corresponding pixel.
  • FIG. 18 is a flowchart illustrating a third example of a generation process for generating one (frame) output image from N photographed images.
  • FIG. 18 adopts the average value ave as the pixel value of the output image when the corresponding pixel is not saturated, and sets the maximum value max as the pixel value of the output image when the corresponding pixel is saturated. It is a flowchart explaining the example of the production
  • step S61 the signal processing unit 4 selects one pixel of the output image as a target pixel, similarly to step S41 in FIG. 8, and the process proceeds to step S62.
  • step S62 the signal processing unit 4 obtains the maximum value max and the average value ave among the pixel values of the corresponding pixels corresponding to the target pixel of each of the N photographed images, and the process proceeds to step S63.
  • step S63 the signal processing unit 4 determines whether there is a saturated pixel in a saturated state among the corresponding pixels of the N photographed images.
  • step S63 If it is determined in step S63 that there is no saturated pixel among the corresponding pixels of the N photographed images, that is, the corresponding pixel having the maximum value max among the corresponding pixels of the N photographed images is saturated. If not, the process proceeds to step S64.
  • step S64 the signal processing unit 4 selects the average value ave obtained in step S62 as the pixel value of the target pixel, and the process proceeds to step S66.
  • step S63 if it is determined that there is a saturated pixel among the corresponding pixels of the N photographed images, that is, the corresponding pixel having the maximum value max among the corresponding pixels of the N photographed images is saturated. If yes, the process proceeds to step S65.
  • step S65 the signal processing unit 4 selects the maximum value max (pixel value of the saturated pixel) obtained in step S62 as the pixel value of the target pixel, and the process proceeds to step S66.
  • step S66 the signal processing unit 4 determines whether or not all the pixels of the output image have been selected as the target pixel.
  • step S66 If it is determined in step S66 that all the pixels of the output image have not been selected as the target pixel, the process returns to step S61, and the same process is repeated thereafter.
  • step S66 If it is determined in step S66 that all the pixels of the output image have been selected as the target pixel, the generation process for generating one output image ends.
  • the maximum value max of the pixel values of the corresponding pixels of the N captured images is saturated, the maximum value max is obtained as the pixel value of the target pixel of the output image, and N images are captured.
  • the average value ave of the pixel values of the corresponding pixels of the N photographed images is obtained as the pixel value of the target pixel of the output image, which will be described with reference to FIG. Such false color can be prevented from occurring in the output image.
  • the average value ave or the maximum value max of the corresponding pixel of the captured image is used as the pixel value of the output image. Is selected.
  • a step may suddenly occur in the output image where the pixel value changes gently.
  • FIG. 19 is a diagram illustrating an example of a change in pixel value between two captured images in which pixel values change gently and an output image generated using the two captured images.
  • the horizontal axis represents the pixel position (for example, the horizontal position), and the vertical axis represents the pixel values of the captured image and the output image.
  • the pixel values of the two captured images gradually increase like a ramp signal from the left to the right, and reach the saturation level (saturated state) of the pixel values. Yes.
  • the pixel values of the two shot images are out of phase. That is, the pixel value of one of the two captured images is a pixel value obtained by shifting the pixel value of the other captured image in the horizontal direction.
  • the average value ave of the pixel values of the two photographed images also moves from the left to the right position. , Rise gently.
  • the pixel value of one of the two photographed images reaches the saturation level first, the pixel value of the saturation level is obtained as the pixel value of the output image.
  • the average value ave of the pixel values of the two captured images is obtained as the pixel value of the output image from left to right.
  • the saturation level is obtained as the pixel value of the output image from the pixel position of the pixel value that has reached the saturation level.
  • FIG. 20 is a diagram showing an example of the blend ratio a1 for blending the maximum value max and the average value ave.
  • blend ratio a1 for example, a value corresponding to the maximum value max among the pixel values of the corresponding pixels of N photographed images can be employed.
  • FIG. 21 is a flowchart for explaining a fourth example of generation processing for generating one (frame) output image from N photographed images.
  • FIG. 21 is a flowchart illustrating an example of a generation process for obtaining a blend value obtained by blending the maximum value max and the average value ave as the pixel value of the output image according to the blend rate a1.
  • the signal processing unit 4 performs the same processes as steps S61 and S62 of FIG. 18 in steps S71 and S72, respectively.
  • the target pixel of the output image is selected, and the maximum value max and the average value ave among the pixel values of the corresponding pixels corresponding to the target pixel are obtained, and the process proceeds from step S72 to step S73. .
  • step S73 as described with reference to FIG. 20, the signal processing unit 4 obtains a value corresponding to the maximum value max as the blend rate a1, and the process proceeds to step S74.
  • the pixel value of the pixel is obtained, and the process proceeds to step S75.
  • step S75 the signal processing unit 4 determines whether or not all the pixels of the output image have been selected as the target pixel.
  • step S75 If it is determined in step S75 that all the pixels of the output image have not yet been selected as the target pixel, the process returns to step S71, and the same process is repeated thereafter.
  • step S75 If it is determined in step S75 that all the pixels of the output image have been selected as the target pixel, the generation process for generating one output image ends.
  • the value corresponding to the maximum value max is obtained as the blend rate a1
  • the blend value bld1 obtained by blending the maximum value max and the average value ave is obtained as the pixel value of the target pixel according to the blend rate a1.
  • a value obtained by weighting the average value ave is obtained as the pixel value of the target pixel.
  • a value weighted to the maximum value max is obtained as the pixel value of the target pixel.
  • the blend rate a1 is set to 1, and when the maximum value max is less than the saturation level, the blend rate a1 is set to 0, thereby generating the generation of FIG.
  • the process is equivalent to the generation process of FIG.
  • FIG. 22 is a diagram illustrating an example of the output image generated by the generation process of FIG. 9 (the output image of the average value ave) and the output image generated by the generation process of FIG. 18 or FIG.
  • the output image generated by the generation process of FIG. 9 (the output image of the average value ave) is also referred to as an output image without a color countermeasure function, and the output image generated by the generation process of FIG. It is also called an output image with function.
  • a false color may occur as shown by hatching in the figure, but in the output image with the color countermeasure function, the generation of the false color can be suppressed. .
  • the photographed image is an image having RAW data of only one of R, G, and B as pixel values, and in such a photographed image, three pixels Pr, Pg, Let Pb have R, G, and B as pixel values, respectively.
  • the pixel values (R, G, B) of the three pixels Pr, Pg, Pb of the first photographic image out of the two photographic images are (2000, 4000, 2000) and two It is assumed that the pixel values (R, G, B) of the three pixels Pr, Pg, and Pb of the captured image of the eye are (0, 0, 0).
  • the WB gain (Gr, Gg, Gb) is (2, 1, 2).
  • the saturation level is 4000.
  • the pixel value G of the pixel Pg of the first photographed image is 4000 and is saturated.
  • the three pixels Pr, Pg, and Pb of the output image are white or black.
  • the output image may be colored green with high sensitivity (low WB gain).
  • the average value ave or the maximum value max of the corresponding pixels of the photographed image which is the pixel value of the output image, is selected only in accordance with the corresponding pixels of the photographed image.
  • the pixel values (R, G, B) of the three pixels Pr, Pg, Pb in the output image are (1000, 4000, 1000).
  • the green color that does not appear in the photographed image that occurs in the output image as described above can be obtained, for example, by applying LPF (Low Pass Filter) to the photographed image when a pixel P in the photographed image is a corresponding pixel. It can be suppressed by performing the generation process using the pixel value of the pixel P after LPF.
  • LPF Low Pass Filter
  • the pixel value of the pixel P after the LPF reflects the pixel value of the pixel P around the pixel P in addition to the pixel value of the pixel P before the LPF.
  • the average value ave or the maximum value max of the corresponding pixels of the photographed image, which becomes the pixel value of the output image in FIG. 18, is selected, or in FIG.
  • the blend ratio a1 it is possible to suppress the occurrence of green coloring that is not present in the captured image in the output image.
  • the pixel value used when applying the LPF to the pixel P includes the pixel values of the three colors R, G, and B of the pixels around the pixel P including the pixel P. Even by using only the pixel values of the pixel P and several pixels adjacent to the pixel P in the horizontal direction, the green color that does not appear in the captured image and that occurs in the output image can be sufficiently suppressed.
  • FIG. 23 is a diagram for explaining the motion blur that occurs in the output image.
  • FIG. 23A shows an example of a photographed image photographed in the new high speed mode.
  • the moving subject reflected in the captured image is moving, that is, for example, when the camera unit is mounted on a moving body such as an automobile as an in-vehicle camera, the moving subject reflected in the captured image has motion blur. Arise.
  • FIG. 23B shows an example of a photographed image photographed in the new high speed mode.
  • the movement of a subject in the opposite direction of the curve is faster than that of a subject in the horizontal curve direction of the captured image.
  • the motion blur occurs more in the portion in the direction opposite to the curve direction than in the portion in the horizontal curve direction of the captured image.
  • the motion blur increases as the speed of the automobile increases.
  • the subject shown in one shot image appears in a shifted position in the other shot images. If the average value ave of the pixel values of the image is the pixel value of the output image, the output image still has a greater degree of motion blur.
  • an output image having the pixel value as it is as the pixel value of the output image is an image with the smallest degree of motion blur.
  • the output image can be obtained by blending the maximum value max and the pixel value of any one of the N photographed images.
  • a turning angle of the steering wheel of the automobile can be employed as the direction of the curve and the degree of bending (a physical quantity representing the degree of bending) when the automobile is running on the curve.
  • FIG. 24 is a diagram illustrating an example of the blend rate a2 when a value corresponding to the amount of movement of the subject shown in the output image (or the captured image) is obtained as the blend rate a2.
  • the signal processing unit 4 uses, for example, one of the N captured images as the amount of movement of the target pixel.
  • the movement of the corresponding pixel is obtained by block matching or feature point matching.
  • the signal processing unit 4 obtains a blend ratio a2 having a larger value as the magnitude (absolute value) of the movement amount is larger according to the movement amount of the target pixel.
  • the signal processing unit 4 selects one photographed image as a generation image used for generating an output image from among the N photographed images, for example, according to a user operation or the like.
  • FIG. 25 illustrates a case where the average value ave (or the maximum value max) and the pixel value of the corresponding pixel of the generation image are blended according to the position of the target pixel of the output image (the position of the corresponding pixel of the captured image).
  • FIG. 5 is a diagram showing an example of a blend rate a2 used for the blend.
  • the signal processing unit 4 determines that the horizontal position of the target pixel from the horizontal center of the output image depends on the position of the target pixel. The farther the blending ratio a2 is, the larger the value is obtained.
  • the signal processing unit 4 selects one photographed image as a generation image used for generating an output image from N photographed images in accordance with a user operation or the like.
  • the blend rate a2 can be obtained in accordance with the amount of movement and the position of the pixel of interest, or in accordance with the speed of the vehicle on which the camera unit is mounted, the turning angle of the steering wheel, and the like.
  • the blend rate a2 is determined based on only one item of the amount of movement of the pixel of interest, the position of the pixel of interest, the speed of the automobile on which the camera unit is mounted, and the turning angle of the steering wheel.
  • the blend ratio a2 depends on two or more items of the amount of movement of the pixel of interest, the position of the pixel of interest, the speed of the vehicle on which the camera unit is mounted, and the turning angle of the steering wheel. It can be determined as a function of the item.
  • FIG. 26 is a flowchart for explaining a fifth example of generation processing for generating one (frame) output image from N photographed images.
  • FIG. 26 shows the blend value obtained by blending the average value ave (or the maximum value max) and the pixel value of the image for generation according to the blend rate a2 according to the movement amount and position of the target pixel. It is a flowchart explaining the example of the production
  • the signal processing unit 4 selects one of the N captured images as a generation image in step S81, and the process proceeds to step 82.
  • step S81 for example, one of the N photographed images can be selected as a generation image in accordance with a user operation.
  • the number of photographed images set in advance in the camera unit can be selected as the generation image.
  • step S82 the signal processing unit 4 selects a target pixel of the output image, similarly to step S41 of FIG. 8, and the process proceeds to step S83.
  • step S83 the signal processing unit 4 obtains the average value ave (or the maximum value max) of the pixel values of the corresponding pixels corresponding to the target pixel, similarly to step S52 of FIG. 9 (or step S42 of FIG. 8). Processing proceeds to step 84.
  • step S84 the signal processing unit 4 obtains the amount of movement of the target pixel, and the process proceeds to step S85.
  • step S85 the signal processing unit 4 obtains (sets) the blend rate a2 according to the amount of movement and the position of the target pixel, and the process proceeds to step S86.
  • step S85 for example, as described with reference to FIG. 24, the signal processing unit 4 obtains the blend rate a2 ′ corresponding to the amount of movement of the target pixel, and as described with reference to FIG.
  • the blend rate a2 '' according to the position is obtained, and the average value and the multiplication value of the blend rate a 'according to the amount of motion and the blend rate a2' 'according to the position are determined based on the amount of motion and the position of the target pixel. It can be obtained as a blend rate a2 according to the above.
  • the blend value bld obtained as a result is obtained as the pixel value of the target pixel, and the process proceeds to step S87.
  • step S87 the signal processing unit 4 determines whether or not all the pixels of the output image have been selected as the target pixel.
  • step S87 When it is determined in step S87 that all the pixels of the output image have not been selected as the target pixel, the process returns to step S82, and the same process is repeated thereafter.
  • step S87 when it is determined in step S87 that all the pixels of the output image have been selected as the target pixel, the generation process for generating one output image ends.
  • FIG. 27 is a diagram illustrating an example of the output image generated by the generation process of FIG. 9 (the output image of the average value ave) and the output image generated by the generation process of FIG.
  • the output image generated by the generation process of FIG. 9 (the output image of the average value ave) is also referred to as an output image without the motion blur countermeasure function, and the output image generated by the generation process of FIG. It is also called an output image.
  • FIG. 27 shows an example of an image at the peripheral portion (edge) in the horizontal direction of the output image without the motion blur countermeasure function and the output image with the motion blur countermeasure function.
  • a large amount of motion blur occurs in the periphery of the output image without the motion blur prevention function, but the degree of motion blur is suppressed in the periphery of the output image with the motion blur countermeasure function. Can be confirmed.
  • the blend rate a1 described with reference to FIG. 20 or the like is also referred to as a blending ratio a1 for countermeasure against coloring
  • the blend rate a2 described with reference to FIGS. 24 and 25 or the like is also referred to as a blend ratio a2 for preventing motion blur.
  • FIG. 28 is a block diagram illustrating a configuration example of a generation apparatus that performs a sixth example of generation processing for generating one (frame) output image from N photographed images.
  • FIG. 28 shows the blend value obtained by blending the average value ave, the maximum value max, and the pixel value of the image for generation according to the blending ratio for color countermeasure a1 and the blend ratio for motion blur a2.
  • FIG. 3 is a block diagram illustrating a configuration example of a generation device that performs a generation process for obtaining a pixel value of an output image.
  • the generation apparatus includes an average value image generation unit 51, a maximum value image generation unit 52, a generation image selection unit 53, a (coloring countermeasure) blend rate setting unit 54, and a (motion blur countermeasure) blend rate setting unit. 55 and blend portions 56, 57 and 58.
  • the maximum value image generation unit 52 for example, three captured images (pixel values thereof) S0, S1, S2 as N captured images. Are supplied from the memory 3 (FIG. 1).
  • the maximum image to be obtained is obtained and supplied to the blend rate setting unit 54 and the blend unit 56.
  • MAX (S0, S1, S2) represents the maximum value among S0, S1, and S2.
  • the generation image selection unit 53 selects one of the three captured images supplied thereto as a generation image and supplies it to the blend rate setting unit 55 and the blend unit 57.
  • the blend rate setting unit 54 sets the blending ratio a1 for coloring countermeasures of each pixel of the output image according to the maximum value max that is the pixel value of the maximum value image supplied from the maximum value image generating unit 52, for example, FIG. And are supplied to the blending units 56 and 58.
  • the blend rate setting unit 55 uses the generation image from the generation image selection unit 53 to determine the motion amount of each pixel of the output image. Then, the blend rate setting unit 55 sets the motion blur countermeasure blend rate a2 of each pixel of the output image according to, for example, the amount of motion of each pixel of the output image and the position of each pixel. Obtained as described above and supplied to the blending unit 57.
  • the blend ratio setting unit 55 for example, according to only one item of the amount of movement of the pixel of the output image, the position, the speed of the automobile on which the camera unit is mounted, and the turning angle of the steering wheel.
  • the blend ratio a2 for motion blur countermeasure can be obtained.
  • the blend rate setting unit 55 moves according to two or more items of, for example, the amount of movement of the pixel of the output image, the position, the speed of the vehicle on which the camera unit is mounted, and the turning angle of the steering wheel.
  • the blending ratio a2 for preventing blurring can be obtained.
  • the blending of the blend unit 56 suppresses the generation of the false color described with reference to FIG.
  • the blending unit 57 also includes the pixel value side of each pixel of the generation image supplied from the generation image selection unit 53 and the pixel value bld1 of the pixel at the same position of the first blend image supplied from the blending unit 56.
  • the maximum value max2 MAX (bld1, side) is obtained as a pixel value and supplied to the blend unit 58.
  • MAX (bld1, side) represents the maximum value among bld1 and side.
  • the motion blur described in FIG. 23 is suppressed by the blending of the blending unit 57.
  • a color that does not originally exist is generated in the blending unit 57 in the pixel having the blending value bld2 obtained by blending the pixel value bld1 of the first blend image and the pixel value side of the generation image. This can be suppressed.
  • the blend unit 58 only the blend rate a1 of pixels in which the blend rate a2 used for blending in the previous blend unit 57 is not 0 or 1 can be validated.
  • the blending unit 58 performs blending of the pixel value bld2 of the second blend image and the pixel value max2 of the max2 image only for the pixels for which the blend rate a1 is effective.
  • the blend rate a1 With 0
  • the pixel value bld2 of the second blend image can be used as it is as the pixel value of the output image.
  • 29 and 30 are diagrams schematically showing examples of an output image taken with a commercially available in-vehicle camera, an output image taken in the normal mode, and an output image taken in the new high-speed mode.
  • FIG. 29 and FIG. 30 show output images obtained in different shooting situations.
  • FIG. 29 shows an output image obtained by shooting during the daytime with a high illuminance, for example
  • FIG. 30 shows an output image obtained by shooting at the nighttime when the illuminance is low, for example. .
  • FIG. 29 and FIG. 30A show an output image (hereinafter also referred to as a commercially available camera output image) when a photographed image taken with a commercially available in-vehicle camera is used as an output image as it is.
  • 29 and 30B show an output image (hereinafter also referred to as a normal mode output image) when a captured image taken in the normal mode is used as an output image as it is.
  • a normal mode output image an output image
  • the output image (average value ave of the average value ave) when the average value ave of the corresponding pixels of the three captured images taken in the new high-speed mode is used as the pixel value of the output image.
  • Output image when the average value ave of the corresponding pixels of the three captured images taken in the new high-speed mode is used as the pixel value of the output image.
  • 29 and 30D show the output image (maximum value) when the maximum value max among the pixel values of the corresponding pixels of the three captured images captured in the new high-speed mode is used as the pixel value of the output image. max output image).
  • FIG. 31 shows an example of evaluation of visibility of commercially available camera output images, normal mode output images, average value ave output images, and maximum value max output images obtained during daytime and nighttime shooting.
  • Visibility evaluation is based on commercially available camera output images, normal mode output images, average value ave output images, and maximum value max outputs obtained during daytime and nighttime (Night) shooting. The test was carried out on LED traffic lights (Signal) and road signs (Traffic Sign) as subjects to be captured in the image.
  • the blinking frequency (frequency) is 100 Hz and the lighting duty ratio (duty) is 70%.
  • the blinking frequency is 250 Hz, and the lighting duty ratio is 50% or 20%.
  • the visibility is good in the order of ⁇ , ⁇ , ⁇ , ⁇ .
  • the output image of the maximum value max is better in visibility than the output image of the average value ave depending on the shooting situation such as daytime or nighttime, or conversely, the output image of the average value ave It can be confirmed that the visibility may be better than the output image having the maximum value max.
  • the output image can be obtained by blending the average value ave and the maximum value max according to the shooting situation.
  • FIG. 32 is a flowchart for explaining a seventh example of generation processing for generating one (frame) output image from N photographed images.
  • FIG. 32 illustrates an example of a generation process for obtaining a blend value obtained by blending the average value ave and the maximum value max as the pixel value of the output image in accordance with the blend rate a1 ′ according to the shooting situation. It is a flowchart.
  • step S91 the signal processing unit 4 obtains (sets) the blend rate a1 ′ according to the shooting situation, and the process proceeds to step S92.
  • step S92 the signal processing unit 4 selects one pixel of the output image as a pixel of interest as in step S41 of FIG. 8, and the process proceeds to step S93.
  • step S93 the signal processing unit 4 obtains the maximum value max and the average value ave among the pixel values of the corresponding pixels corresponding to the target pixel of each of the N photographed images, and the process proceeds to step S94.
  • step S95 the signal processing unit 4 determines whether or not all the pixels of the output image have been selected as the target pixel.
  • step S95 If it is determined in step S95 that all the pixels of the output image have not been selected as the target pixel, the process returns to step S92, and the same process is repeated thereafter.
  • step S95 If it is determined in step S95 that all the pixels of the output image have been selected as the target pixel, the generation process for generating one output image ends.
  • an output image with good visibility can be obtained by determining the blend rate a1 ′ according to the shooting situation and blending the maximum value max and the average value ave according to the blend rate a1 ′. .
  • FIG. 33 is a diagram for explaining an eighth example of generation processing for generating one (frame) output image from N photographed images.
  • the average value ave is the pixel value of the output image.
  • a large amount of motion blur occurs in the periphery of the.
  • the average value ave and the maximum value max are blended according to the blending ratio a1 ′ corresponding to the shooting situation, the average value ave and the maximum value max are shown in FIG.
  • the blend value bld1 ′ obtained as a result of the blending with is adopted as the pixel value of the central portion in the horizontal direction of the output image, and the generation image which is one photographed image selected from the N photographed images Can be used as the pixel value of the peripheral portion in the horizontal direction of the output image.
  • pixel values of one or more captured images of any N captured images are combined in addition to the captured image in which the flashing target is shown. When the is saturated, false color can be prevented from occurring.
  • the camera unit is mounted on a moving body such as an automobile, and the camera unit is fixed like a surveillance camera on a highway in addition to the case where the camera unit itself moves. Even in such a case, it is possible to suppress the motion blur of the moving subject that appears in the output image (captured image).
  • FIG. 34 is a diagram showing a usage example in which the camera unit of FIG. 1 is used.
  • the camera unit described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays as follows.
  • Devices for taking images for viewing such as digital cameras and mobile devices with camera functions
  • Devices used for traffic such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc.
  • Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures ⁇ Endoscopes, equipment that performs blood vessel photography by receiving infrared light, etc.
  • Equipment used for medical and health care ⁇ Security equipment such as security surveillance cameras and personal authentication cameras ⁇ Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports-Equipment used for sports such as action cameras and wearable cameras for sports applications-Used for agriculture such as cameras for monitoring the condition of fields and crops apparatus
  • the series of processes of the signal processing unit 4 and the timing control unit 6 in FIG. 1 can be performed by hardware or software.
  • a program constituting the software is installed in a microcomputer or the like.
  • FIG. 35 is a block diagram illustrating a configuration example of an embodiment of a computer in which a program for executing the above-described series of processes is installed.
  • the program can be recorded in advance in a hard disk 105 or a ROM 103 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 111.
  • a removable recording medium 111 can be provided as so-called package software.
  • examples of the removable recording medium 111 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be installed on the computer from the removable recording medium 111 as described above, or can be downloaded to the computer via the communication network or the broadcast network and installed on the built-in hard disk 105. That is, the program is transferred from a download site to a computer wirelessly via a digital satellite broadcasting artificial satellite, or wired to a computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the computer includes a CPU (Central Processing Unit) 102, and an input / output interface 110 is connected to the CPU 102 via the bus 101.
  • CPU Central Processing Unit
  • the CPU 102 executes a program stored in a ROM (Read Only Memory) 103 accordingly. .
  • the CPU 102 loads a program stored in the hard disk 105 into a RAM (Random Access Memory) 104 and executes it.
  • the CPU 102 performs processing according to the flowchart described above or processing performed by the configuration of the block diagram described above. Then, the CPU 102 outputs the processing result as necessary, for example, via the input / output interface 110, from the output unit 106, transmitted from the communication unit 108, and further recorded in the hard disk 105.
  • the input unit 107 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 106 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can take the following structures.
  • a shooting unit that performs shooting at a predetermined shooting timing; At least a lighting period in which the imaging target is lit during an exposure time of at least one imaging at a timing at which the flashing cycle in which the imaging target to be captured in the imaging unit flashes is divided into a plurality of N equally.
  • An imaging apparatus comprising: a control unit that controls the imaging timing such that N times of imaging are performed with partially overlapping exposure times.
  • the blinking cycle of the object to be photographed is Tb [second]
  • the lighting duty ratio at which the object to be photographed is lit in the blinking period is Db [%]
  • the exposure time of at least one photographing overlaps at least part of the lighting period.
  • SHT_MIN Tb / N-TbDb / 100.
  • the imaging device When the blinking cycle of the first shooting target is a power of 2 times the blinking cycle of the second shooting target, The imaging device according to ⁇ 1> or ⁇ 2>, wherein the control unit controls the imaging timing with respect to a blinking cycle of the first imaging object.
  • the imaging apparatus according to any one of ⁇ 1> to ⁇ 4>, further including a processing unit that processes N captured images obtained by the N imaging operations and generates an output image of one frame.
  • the processing unit obtains, as a pixel value of the output image, a maximum value among pixel values of corresponding pixels that are pixels of the N photographed images corresponding to the pixels of the output image.
  • Shooting device When the blinking cycle of the first shooting target is a power of 2 times the blinking cycle of the second shooting target, The imaging device according to ⁇ 1> or ⁇ 2>, wherein the control unit controls the imaging timing with respect to a blinking cycle of the first imaging object.
  • the imaging apparatus according to any one of ⁇ 1> to ⁇ 4>,
  • the processor is The value corresponding to the maximum value among the pixel values of the corresponding pixels that are the pixels of the N photographed images corresponding to the pixels of the output image is the maximum value and the corresponding pixels of the N photographed images. Find the blend ratio with the average value of the pixel values,
  • the processor is A value corresponding to the amount of motion of the pixel of the output image, The maximum value of the pixel values of the corresponding pixels that are the pixels of the N photographed images corresponding to the pixels of the output image, or the average value of the pixel values of the corresponding pixels, Obtained as a blend ratio for blending the pixel value of the corresponding pixel of the generation image that is a predetermined one of the N photographed images,
  • the photographing apparatus according to ⁇ 5> wherein a blend value obtained by blending the maximum value or the average value and a pixel value of a corresponding pixel of the generation image is obtained as a pixel value of the output image according to the blend ratio.
  • the processor is Depending on the pixel position of the output image, The maximum value of the pixel values of the corresponding pixels that are the pixels of the N photographed images corresponding to the pixels of the output image, or the average value of the pixel values of the corresponding pixels, A blending ratio for blending a pixel value of a corresponding pixel of a generation image that is a predetermined one of the N photographed images, and The photographing apparatus according to ⁇ 5>, wherein a blend value obtained by blending the maximum value or the average value and a pixel value of a corresponding pixel of the generation image is obtained as a pixel value of the output image according to the blend ratio. .
  • the processor is According to one or more of the speed of the moving body, the turning angle of the handle of the moving body, and the position of the pixel of the output image, The maximum value of the pixel values of the corresponding pixels that are the pixels of the N photographed images corresponding to the pixels of the output image, or the average value of the pixel values of the corresponding pixels, A blending ratio for blending a pixel value of a corresponding pixel of a generation image that is a predetermined one of the N photographed images, and The photographing apparatus according to ⁇ 5>, wherein a blend value obtained by blending the maximum value or the average value and a pixel value of a corresponding pixel of the generation image is obtained as a pixel value of the output image according to the blend ratio.
  • the processor is The maximum value of the pixel values of the corresponding pixels that are the pixels of the N photographed images, corresponding to the pixels of the output image, Depending on one or more of the speed of the moving body, the turning angle of the handle of the moving body, and the position of the pixel of the output image, the maximum value, the average value of the pixel values of the corresponding pixels, and The photographing apparatus according to ⁇ 5>, wherein a blend value obtained by blending pixel values of corresponding pixels of a generation image that is a predetermined one of the N photographed images is obtained as a pixel value of the output image. .
  • the processor is Depending on the shooting situation, The maximum value of the pixel values of the corresponding pixels that are the pixels of the N photographed images, corresponding to the pixels of the output image, Find the blend ratio to blend the average value of the corresponding pixels with The photographing apparatus according to ⁇ 5>, wherein a blend value obtained by blending the maximum value and the average value is obtained as a pixel value of the output image according to the blend ratio.
  • the processor is Depending on the pixel position of the output image, The blend value, Alternatively, the imaging device according to ⁇ 14>, wherein a pixel value of a corresponding pixel of a generation image that is a predetermined one of the N captured images is obtained as a pixel value of the output image.
  • the shooting target is lit at the exposure time of at least one shooting at a timing that divides the blinking cycle of the shooting target to be shot at a shooting unit that performs shooting at a predetermined shooting timing into a plurality of N equal intervals.
  • An imaging method comprising: controlling the imaging timing so that N times of imaging is performed with an exposure time that overlaps at least a part of the lighting period.
  • the shooting target is lit at the exposure time of at least one shooting at a timing that divides the blinking cycle of the shooting target to be shot at a shooting unit that performs shooting at a predetermined shooting timing into a plurality of N equal intervals.
  • the shooting target is lit at the exposure time of at least one shooting at a timing that divides the blinking cycle of the shooting target to be shot at a shooting unit that performs shooting at a predetermined shooting timing into a plurality of N equal intervals.
  • a signal processing device including a processing unit that generates an output image of one frame.
  • the shooting target is lit at the exposure time of at least one shooting at a timing that divides the blinking cycle of the shooting target to be shot at a shooting unit that performs shooting at a predetermined shooting timing into a plurality of N equal intervals.
  • the shooting target is lit at the exposure time of at least one shooting at a timing that divides the blinking cycle of the shooting target to be shot at a shooting unit that performs shooting at a predetermined shooting timing into a plurality of N equal intervals.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)

Abstract

本技術は、点滅する撮影対象を、確実に撮影することができるようにする撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラムに関する。 所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、撮影部の撮影タイミングが制御される。本技術は、例えば、画像を撮影するカメラユニット等に適用することができる。

Description

撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム
　本技術は、撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラムに関し、特に、例えば、点滅する撮影対象を確実に撮影することができるようにする撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラムに関する。
　近年、信号機や、電子的な道路標識の光源が、白熱電球等からLED(Light Emitting Diode)に置き換わりつつある。
　LEDは、白熱電球に比較して、明滅の応答速度が高速であるため、例えば、自動車等に搭載される車載カメラ等で、LEDの信号機や道路標識を撮影すると、フリッカが発生し、信号機や道路標識が消灯した状態で撮影される。
　車載カメラで撮影される撮影画像において、信号機や道路標識が消灯した状態で映ることは、車載カメラが、例えば、ドライブレコーダとして利用されている場合に、事故発生時において、撮影画像の証拠能力に支障をきたす原因になる。
　また、車載カメラで撮影される撮影画像において、信号機や道路標識が消灯した状態で映ることは、車載カメラで撮影される撮影画像が、例えば、自動車の自動運転に利用されている場合に、自動車の停止等の運転制御に支障をきたす原因になる。
　そこで、信号機等の、点滅する点滅光源を有する物体を、撮影対象とする場合には、点滅光源が消灯している消灯期間を上回る露光時間で撮影する方法が提案されている（例えば、特許文献１を参照）。
　また、車載カメラが撮影を行って出力する出力画像のフレームレートを上回るフレームレートで、出力画像のフレームレートの期間に、複数回の撮影を行い、その複数の撮影により得られる複数の撮影画像の中から１枚の撮影画像を、出力画像として、ランダムに選択する方法が提案されている（例えば、特許文献２を参照）。
特開2007-161189号公報 特開2009-278496号公報
　点滅光源が消灯している消灯期間を上回る露光時間で撮影する場合には、晴天時の屋外等の照度の高い撮影状況下において、露光過多になり、点滅光源の視認性が低下することがある。
　また、出力画像のフレームレートを上回るフレームレートでの複数の撮影により得られる複数の撮影画像の中から１枚の撮影画像を、出力画像として、ランダムに選択する場合には、消灯している点滅光源が映っている撮影画像が、出力画像として選択されることがある。
　本技術は、このような状況に鑑みてなされたものであり、点滅する撮影対象を確実に撮影することができるようにするものである。
　本技術の撮影装置、又は、プログラムは、所定の撮影タイミングで撮影を行う撮影部と、前記撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部とを備える撮影装置、又は、そのような撮影装置が備える制御部として、コンピュータを機能させるためのプログラムである。
　本技術の撮影方法は、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御することを含む撮影方法である。
　以上のような撮影装置、撮影方法、及び、プログラムにおいては、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングが制御される。
　本技術の信号処理装置、又は、プログラムは、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御することで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部を備える信号処理装置、又は、そのような信号処理装置として、コンピュータを機能させるためのプログラムである。
　本技術の信号処理方法は、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御することで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成することを含む信号処理方法である。
　本技術の信号処理装置、信号処理方法、及び、プログラムは、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御することで行われる前記N回の撮影により得られるN枚の撮影画像が処理され、１フレームの出力画像が生成される。
　なお、撮影装置や信号処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本技術によれば、点滅する撮影対象を確実に撮影することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した撮影装置としてのカメラユニットの一実施の形態の構成例を示すブロック図である。 撮影を行おうとする撮影対象が点滅する場合の、その撮影対象の撮影の例を説明する図である。 信号機が消灯している消灯期間を上回る露光時間での通常モードでの撮影を説明する図である。 高速モードでの撮影を説明する図である。 新高速モードでの撮影を説明する図である。 新高速モードにおいて、カメラユニットの立ち上げ時に行われる立ち上げ処理の例を説明するフローチャートである。 新高速モードにおいて、出力画像のフレームごとに行われるフレームごとの処理の例を説明するフローチャートである。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第１の例を説明するフローチャートである。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第２の例を説明するフローチャートである。 市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。 市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。 市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。 新高速モードの第１の応用例を説明する図である。 新高速モードの第２の応用例を説明する図である。 新高速モードの第２の応用例を説明する図である。 信号処理部４が行う出力画像を生成する生成処理の、フリッカの対策への応用を説明する図である。 偽色が発生した出力画像の例を示す図である。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第３の例を説明するフローチャートである。 画素値がなだらかに変化する２枚の撮影画像と、その２枚の撮影画像を用いて生成される出力画像との画素値の例を示す図である。 最大値maxと平均値aveとをブレンドするブレンド率a1の例を示す図である。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第４の例を説明するフローチャートである。 生成処理で生成された出力画像の例を示す図である。 出力画像に生じる動きぶれを説明する図である。 出力画像（又は撮影画像）に映る被写体の動き量に対応する値をブレンド率a2として求める場合の、そのブレンド率a2の例を示す図である。 出力画像の注目画素の位置に応じて、平均値aveと、生成用画像の対応画素の画素値とをブレンドする場合の、そのブレンドに用いるブレンド率a2の例を示す図である。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第５の例を説明するフローチャートである。 生成処理で生成された出力画像の例を示す図である。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第６の例を行う生成装置の構成例を示すブロック図である。 市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。 市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。 日中、及び、夜間の撮影で得られた市販カメラ出力画像、通常モード出力画像、平均値aveの出力画像、及び、最大値maxの出力画像の視認性の評価の例を示す図である。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第７の例を説明するフローチャートである。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第８の例を説明する図である。 カメラユニットを使用する使用例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用したカメラユニットの一実施の形態＞
　図１は、本技術を適用した撮影装置としてのカメラユニットの一実施の形態の構成例を示すブロック図である。
　なお、カメラユニットは、静止画、及び、動画のいずれも撮像することができる。
　図１において、カメラユニットは、光学系１、イメージセンサ２、メモリ３、信号処理部４、出力部５、及び、タイミング制御部６を有する。
　光学系１は、例えば、図示せぬズームレンズや、フォーカスレンズ、絞り等を有し、外部からの光を、イメージセンサ２に入射させて結像させる。
　イメージセンサ２は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、光学系１からの入射光を受光し、光電変換を行うことにより、光学系１からの入射光に対応する撮影画像（の画像データ）を撮影する。
　すなわち、イメージセンサ２は、タイミング制御部６から指定される撮影タイミングで撮影を行う撮影部として機能し、後述する出力部５が出力する出力画像のフレームレートの期間に、複数であるN回の撮影を行い、そのN回の撮影により得られるN枚の撮影画像を、順次出力する。
　メモリ３は、イメージセンサ２が順次出力するN枚の撮影画像を順次記憶し、そのN枚の撮影画像を、同時に、信号処理部４に供給する。
　信号処理部４は、メモリ３からのN枚の撮影画像を処理し、１フレーム（枚）の出力画像を生成する。さらに、信号処理部４は、出力画像に対して、例えば、ノイズの除去や、WB（ホワイトバランス）の調整等の処理を行い、出力部５に供給する。
　また、信号処理部４は、メモリ３からのN枚の撮影画像の明るさを検出（検波）し、撮影画像の明るさが適正な明るさになる露光時間を、適正露光時間として、タイミング制御部６に供給する。
　出力部５は、信号処理部４からの出力画像を出力する。
　すなわち、出力部５は、例えば、液晶等で構成されるディスプレイ（図示せず）を有し、信号処理部４からの出力画像を、いわゆるスルー画として表示する。
　また、出力部５は、例えば、半導体メモリや、磁気ディスク、光ディスク等の記録媒体を駆動するドライバ（図示せず）を有し、信号処理部４からの出力画像を記録媒体に記録する。
　タイミング制御部６は、イメージセンサ２の撮影タイミングを制御する。
　すなわち、タイミング制御部６は、イメージセンサ２で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
　さらに、タイミング制御部６は、N回の撮影のうちの、少なくとも１回の撮影の露光時間に、撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
　なお、タイミング制御部６は、信号処理部４から供給される適正露光時間が、後述する下限露光時間SHT_MINより長い場合には、その信号処理部４から供給される適正露光時間で撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
　また、タイミング制御部６は、信号処理部４から供給される適正露光時間が、下限露光時間SHT_MIN以下である場合には、下限露光時間SHT_MINより大きい露光時間の中で、イメージセンサ２が対応することができる最小の露光時間で撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
　以上のように構成されるディジタルカメラでは、イメージセンサ２が、タイミング制御部６の制御に従い、N枚の撮影画像を撮影して出力する。
　イメージセンサ２が出力するN枚の撮影画像は、メモリ３に供給されて記憶される。信号処理部４は、メモリ３に記憶されたN枚の撮影画像を処理して、１フレームの出力画像を生成する。さらに、信号処理部４は、出力画像に、WBの調整等の必要な信号処理を施し、出力部５に供給する。出力部５では、信号処理部４からの出力画像が出力される。
　図１のカメラユニットは、例えば、ディジタルカメラや、自動車等に搭載される車載カメラ、高速道路等に設置される監視カメラ等の撮影機能が搭載される任意の電子機器に適用することができる。
　ここで、図１のカメラユニットの撮影モードとしては、例えば、通常モードや、高速モード、新高速モードがある。
　通常モードでは、出力画像のフレームレートの期間に、１回の撮影が行われ、その撮影の結果得られる撮影画像が、出力画像として出力される。
　高速モードでは、出力画像のフレームレートの期間に、複数回の撮影が行われ、その複数回の撮影の結果得られる複数枚の撮影画像のうちの１枚の撮影画像が、出力画像として、ランダムに選択される。
　新高速モードでは、上述のように、イメージセンサ２で撮影を行おうとする撮影対象が点滅する点滅周期を、N等分するタイミングで、少なくとも１回の撮影の露光時間に、撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影が行われる。
　＜点滅する撮影対象の撮影の例＞
　図２は、撮影を行おうとする撮影対象が点滅する場合の、その撮影対象の撮影の例を説明する図である。
　すなわち、図２は、点滅する撮影対象としてのLEDの信号機を、通常モードで撮影することにより得られる出力画像の例を示している。
　図２では、青になっている信号機が、撮影対象として撮影されている。
　図２において、第１フレーム(Frame1)、及び、第２フレームの出力画像では、青（左端）が点灯している信号機が映っているが、第３フレーム、及び、第４フレームの出力画像では、消灯している状態の信号機が映っている。
　以上のように、信号機が消灯した状態で映ることは、カメラユニットが、例えば、ドライブレコーダに利用されている場合に、出力画像の証拠能力に支障をきたす原因になる。
　また、信号機が消灯した状態で映ることは、カメラユニットで得られる出力画像が、例えば、自動車の自動運転に利用されている場合に、自動車の停止等の運転制御に支障をきたす原因になる。
　＜信号機が消灯している消灯期間を上回る露光時間での、通常モードでの撮影＞
　図３は、信号機が消灯している消灯期間を上回る露光時間での、通常モードでの撮影を説明する図である。
　図３において、横軸は時間を表し、縦軸は信号機を構成するLEDの発光（量）を表す。
　図３では、点滅する撮影対象としての信号機の電源として、例えば、周波数が50Hzの交流電源を全波整流した、周波数が100Hzの電源が用いられている。
　そのため、信号機は、100Hzに対応する10ms（ミリ秒）の周期（点滅周期）で点滅する。
　図３では、信号機の10msの点滅周期において、信号機が点灯する点灯デューティ(Duty)比が、例えば、60%になっている。
　したがって、信号機の10msの点滅周期のうちの、6ms(=100ms×60%/100)の期間が、信号機が点灯する点灯期間であり、残りの4msの期間が、信号機が消灯する消灯期間である。
　通常モードにおいて、消灯期間内でのみ撮影が行われると、その撮影により得られる撮影画像、ひいては、出力画像には、図２に示したように、信号機が消灯した状態で映る。
　以上のように、通常モードにおいて、信号機が消灯した状態で映ることを防止する方法としては、信号機が消灯している消灯期間を上回る露光時間で撮影する方法がある。
　図３では、消灯時間が4msであるので、通常モードにおいて、消灯期間である4msを上回る露光時間で撮影を行うことにより、露光時間の少なくとも一部が、点灯期間に重なるので、必ず、点灯した状態の信号機を撮影することができる。
　しかしながら、カメラユニットが、車載カメラ等のように、光学系１のF値を固定して使用される場合には、常時、消灯期間を上回る露光時間で撮影を行うと、晴天時の屋外等の照度の高い撮影状況下において、露光過多になり、点滅光源の視認性が低下することがある。
　例えば、あるイメージセンサでは、F値が2.0のレンズを用いた場合に、1msの露光時間で、撮影画像（出力画像）に映る信号機が飽和した状態になる（イメージセンサ２が出力する撮影画像の画素値が、とり得る値の最大レベル（飽和レベル）になる）。
　＜高速モードでの撮影＞
　図４は、高速モードでの撮影を説明する図である。
　図４では、図３と同様に、横軸は時間を表し、縦軸は信号機を構成するLEDの発光を表す。
　また、図４では、図３と同様に、点滅する撮影対象としての信号機の電源として、周波数が100Hzの電源が用いられており、点滅周期が、10msになっている。さらに、図４では、図３と同様に、点灯デューティ比が、60%になっており、信号機の10msの点滅周期のうちの、6msの期間が、信号機が点灯する点灯期間に、残りの4msの期間が、信号機が消灯する消灯期間に、それぞれなっている。
　図４では、高速モードの撮影として、出力画像のフレームレート（例えば、30Hzや60Hz等）を上回るフレームレートで、出力画像のフレームレートの期間に、複数回としての、例えば、３回の撮影が行われている。
　そして、３回の撮影により得られる３枚の撮影画像S0，S1，S2の中から１枚の撮影画像が、出力画像として、ランダムに選択される。
　しかしながら、３枚の撮影画像S0ないしS2の中から、１枚の撮影画像を、出力画像として、ランダムに選択する場合には、消灯している信号機が映っている撮影画像が、出力画像として選択されることが、確率的にあり得る。
　カメラユニットから出力される出力画像を、高速走行する自動車の自動運転の制御に用いる場合には、出力画像に映る信号機が、必ず点灯していることが要求される。したがって、消灯している信号機が映っている撮影画像が、出力画像として選択されることが、確率的にあり得ることは、望ましくない。
　また、高速モードでは、3枚の撮影画像S0ないしS2に映る信号機が、いずれも消灯していることがあり得る。
　＜新高速モードでの撮影＞
　図５は、新高速モードでの撮影を説明する図である。
　図５では、図３と同様に、横軸は時間を表し、縦軸は信号機を構成するLEDの発光を表す。
　図５では、全波整流後の電源の周期、ひいては、点滅する撮影対象としての信号機の点滅周期が、Tb[秒]になっている。また、信号機の点灯デューティ比は、Db[%]になっている。
　この場合、信号機の点灯期間は、Tb×Db/100で表され、消灯期間は、Tb×(1-Db/100)で表される。
　新高速モードでは、図１で説明したように、イメージセンサ２で撮影を行おうとする信号機等の撮影対象が点滅する点滅周期Tbを、N等分するタイミングで、少なくとも１回の撮影の露光時間に、信号機が点灯している点灯期間Tb×Db/100の少なくとも一部が重複する露光時間で、N回の撮影が行われる。
　いま、N回の撮影として、例えば、3回の撮影を行うこととすると、新高速モードでは、点滅周期Tbを3等分するタイミングで、3回の撮影が行われる。
　ここで、3回の撮影のうちの、少なくとも１回の撮影の露光時間に、信号機が点灯している点灯期間Tb×Db/100の少なくとも一部が重複する露光時間を、Tcと表すとともに、信号機の点滅周期Tbの先頭の時刻を0とする。
　この場合、3回の撮影により得られる３枚の撮影画像S0，S1，S2の露光（撮影）開始時刻は、それぞれ、0，Tb/3，2Tb/3で、それぞれ表される。
　また、３枚の撮影画像S0，S1，S2の露光（撮影）終了時刻は、それぞれ、0+Tc，Tb/3+Tc，2Tb/3+Tcで、それぞれ表される。
　ここで、新高速モードにおいて、少なくとも１回の撮影の露光時間Tcが点灯期間Tb×Db/100の少なくとも一部に重複するための下限露光時間を、SHT_MIN[秒]と表すこととすると、下限露光時間SHT_MINは、式SHT_MIN=Tb/N-TbDb/100で表される。
　Nが3である場合、下限露光時間SHT_MINは、式SHT_MIN=Tb/3-TbDb/100で表される。
　新高速モードの露光時間Tcとしては、下限露光時間SHT_MINを超える時間が採用される。
　なお、式SHT_MIN=Tb/N-TbDb/100で求められるSHT_MINが負の値である場合には、下限露光時間SHT_MINとしては、0が採用される。
　下限露光時間SHT_MINが0である場合には、新高速モードの露光時間Tcとしては、カメラユニットが露光時間としてとり得る任意の（正の）値を採用することができる。
　例えば、点灯時間Tbが10msであり、点灯デューティ比が60%である場合、式SHT_MIN=Tb/3-TbDb/100=10ms/3-10ms×60%/100は、負の値になるので、下限露光時間SHT_MINは、0になる。
　したがって、露光時間Tcは、カメラユニットの限界まで小さくすることができる。
　また、例えば、点灯時間Tbが10msであり、点灯デューティ比が20%である場合、式SHT_MIN=Tb/3-TbDb/100=10ms/3-10ms×20%/100は、1.33...になる。
　したがって、露光時間Tcとしては、下限露光時間SHT_MINである1.33...を超える時間であって、カメラユニットが対応することができる最小の露光時間以上の時間を設定することができる。
　新高速モードで撮影されるN枚の撮影画像、すなわち、撮影対象としての信号機が点滅する点滅周期Tbを、N等分するタイミングで、少なくとも１回の撮影の露光時間Tcに、信号機が点灯している点灯期間Tb×Db/100の少なくとも一部が重複する露光時間Tcで、N回の撮影が行われることにより得られるN枚の撮影画像については、少なくとも1枚の撮影画像の露光時間Tcが、点灯期間Tb×Db/100の少なくとも一部に重複する。
　したがって、新高速モードで撮影されるN枚の撮影画像のうちの、少なくとも1枚の撮影画像には、点灯している信号機が、必ず映っている。
　その結果、新高速モードによれば、点滅する信号機等の撮影対象を確実に撮影することができる。
　さらに、新高速モードでは、下限露光時間SHT_MINを超える時間であれば、任意の時間を、露光時間Tcとして設定することができるので、撮影画像に映る被写体が飽和したり、暗すぎるようにならないような適正な露光で、撮影を行うことができる。
　ここで、新高速モードにおいて、N枚の撮影を行う場合、点滅周期Tbの先頭の時刻を0とすると、N枚の撮影により得られるN枚の撮影画像の露光開始時刻と、露光終了時刻とは、下限露光時間SHT_MINを超える露光時間を、Tcとして、以下のように表される。
　すなわち、撮影画像の露光開始時刻と、露光終了時刻とのセットを、(露光開始時刻，露光終了時刻)と表すこととすると、
　n=1枚目の撮影画像の(露光開始時刻，露光終了時刻)は、(0，0+Tc)、
　n=2枚目の撮影画像の(露光開始時刻，露光終了時刻)は、(Tb/N，Tb/N+Tc)、
　n=3枚目の撮影画像の(露光開始時刻，露光終了時刻)は、(2Tb/N，2Tb/N+Tc)、
　...
　n=k枚目の撮影画像の(露光開始時刻，露光終了時刻)は、((k-1)×Tb/N，(k-1)×Tb/N+Tc)、
　...
　n=N枚目の撮影画像の(露光開始時刻，露光終了時刻)は、((N-1)×Tb/N，(N-1)×Tb/N+Tc)
　で表される。
　＜新高速モードの処理＞
　図６は、新高速モードにおいて、カメラユニットの立ち上げ時に行われる立ち上げ処理の例を説明するフローチャートである。
　ステップＳ１１において、タイミング制御部６は、カメラユニットで撮影しようとする撮影対象の点滅周期Tb[秒]と、点灯デューティ比Db[%]とを設定し、処理は、ステップＳ１２に進む。
　ここで、点滅周期Tbや点灯デューティ比Db[%]は、例えば、デフォルトの値や、ユーザの操作に応じた値等を設定することができる。撮影対象が信号機等である場合には、国や地域等に応じて、点滅周期Tb[秒]と、点灯デューティ比Db[%]とを設定することができる。
　ステップＳ１２では、タイミング制御部６は、点灯周期Tbにおいて、N回の等間隔撮影（点滅周期Tbを、N等分するタイミングでのN回の撮影）を行ったときに、少なくとも1回の撮影の露光時間Tcが、撮影対象の点灯期間Tb×Db/100と重複するための下限露光時間SHT_MINを、図５で説明したように求める。
　なお、撮影の回数Nは、例えば、あらかじめ設定しておくことや、ユーザの操作に応じて設定すること等ができる。
　その後、処理は、ステップＳ１２からステップＳ１３に進み、タイミング制御部６は、新高速モードにおいて、撮影対象の点滅周期TbをN等分するタイミングを、N回の等間隔撮影の開始タイミング（露光開始時刻）SHT_STA0，SHT_STA1，...，SHT_STA#N-1として求め、立ち上げ処理を終了する。
　図７は、新高速モードにおいて、出力画像のフレームごとに行われるフレームごとの処理の例を説明するフローチャートである。
　ステップＳ２１において、タイミング制御部６は、図６の立ち上げ処理で求められた下限露光時間SHT_MINを超える時間を、指定露光時間Tcとして設定し、イメージセンサ２に、撮影を行う露光時間として、指定露光時間Tcを指定して、処理は、ステップＳ２２に進む。
　ステップＳ２２では、タイミング制御部６は、図６の立ち上げ処理で求められた開始タイミングSHT_STA0，SHT_STA1，...，SHT_STA#N-1それぞれを露光開始時刻として、指定露光時間Tcだけ露光を行う、N回の等間隔撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
　これにより、ステップＳ２２では、イメージセンサ２において、指定露光時間TcでのN回の等間隔撮影が行われ、その結果得られるN枚の撮影画像が、メモリ３を介して、信号処理部４に供給される。
　イメージセンサ２から、メモリ３を介して、信号処理部４に、N枚の撮影画像が供給されると、処理は、ステップＳ２２からステップＳ２３に進む。
　ステップＳ２３では、信号処理部４は、メモリ３を介して供給されるN枚の撮影画像の明るさを検出（検波）し、処理は、ステップＳ２４に進む。
　ステップＳ２４では、信号処理部４は、ステップＳ２３でのN枚の撮影画像の明るさの検出の結果に基づき、現在の指定露光時間Tcが、適正な露光時間（適正露光時間）であるかどうかを判定する。
　ステップＳ２４において、現在の指定露光時間Tcが、適正露光時間であると判定された場合、すなわち、N枚の撮影画像が、全体として、明るすぎることもなく、暗すぎることもない場合、処理は、ステップＳ２５に進む。
　ステップＳ２５では、信号処理部４は、指定露光時間Tcとして、現在の露光時間を、タイミング制御部６に供給する。タイミング制御部６は、イメージセンサ２に対し、露光時間として、信号処理部４からの指定露光時間Tcを指定する。
　一方、ステップＳ２４において、現在の指定露光時間Tcが、適正露光時間でないと判定された場合、すなわち、N枚の撮影画像が、全体として、明るすぎるか、又は、暗すぎる場合、処理は、ステップＳ２６に進む。
　ステップＳ２６では、信号処理部４は、ステップＳ２３でのN枚の撮影画像の明るさの検出の結果に基づき、適正露光時間を求め、タイミング制御部６に供給する。タイミング制御部６は、信号処理部４からの適正露光時間が、下限露光時間SHT_MINを超える時間であれば、その適正露光時間を、指定露光時間Tcとして、イメージセンサ２に指定する。
　ここで、信号処理部４からの適正露光時間が、下限露光時間SHT_MINを超えない時間である場合には、タイミング制御部６は、下限露光時間SHT_MINより大きい露光時間の中で、イメージセンサ２が対応することができる最小の露光時間を、指定露光時間Tcとして、イメージセンサ２に指定する。
　ステップＳ２５又はＳ２６の処理後は、ステップＳ２２に戻り、ステップＳ２２では、ステップＳ２５又はＳ２６で指定された指定露光時間TcでのN回の等間隔撮影が行われ、以下、同様の処理が繰り返される。
　＜出力画像の生成処理＞
　図８は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第１の例を説明するフローチャートである。
　信号処理部４は、N回の撮影で得られるN枚の撮影画像を処理し、１枚の出力画像を生成する生成処理を行う。
　図８は、信号処理部４が行う生成処理の第１の例を示している。
　生成処理の第１の例では、ステップＳ４１において、信号処理部４は、（これから生成しようとする）出力画像の、例えば、ラスタスキャン順で、まだ、注目画素に選択していない、順番が最も手前の１つの画素を、注目画素に選択し、処理は、ステップＳ４２に進む。
　ステップＳ４２では、信号処理部４は、N枚の撮影画像それぞれの、注目画素に対応する対応画素（注目画素と同一位置にある画素）の画素値のうちの最大値maxを、注目画素の画素値として求め、処理は、ステップＳ４３に進む。
　ステップＳ４３では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
　ステップＳ４３において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ４１に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ４３において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
　N枚の撮影画像の対応画素のうちの、画素値が最大値maxの対応画素には、点灯している撮影対象が映っており、上述のように、N枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の画素値として求める場合には、点灯している撮影対象が映っている出力画像を生成することができる。
　なお、図８のように、N枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の画素値として求める場合には、出力画像において、撮影画像にフリッカとして現れる、短周期の輝度の揺れを低減することができる。
　図９は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第２の例を説明するフローチャートである。
　生成処理の第２の例では、ステップＳ５１において、信号処理部４は、図８のステップＳ４１と同様に、出力画像の１つの画素を、注目画素に選択し、処理は、ステップＳ５２に進む。
　ステップＳ５２では、信号処理部４は、N枚の撮影画像それぞれの、注目画素に対応する対応画素の画素値の平均値aveを、注目画素の画素値として求め、処理は、ステップＳ５３に進む。ここで、N枚の撮影画像の対応画素の画素値の平均値aveとしては、対応画素の画素値の単純平均や、重み付け平均を採用することができる。重み付け平均では、例えば、N枚の撮影画像の対応画素の画素値のうちの最大値maxに、大きな重みを付すことができる。
　ステップＳ５３では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
　ステップＳ５３において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ５１に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ５３において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
　新高速モードで撮影されるN枚の撮影画像については、少なくとも、そのうちの１枚の撮影画像に、点灯している撮影対象が映っている。したがって、上述のように、N枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の画素値として求める場合には、点灯している撮影対象が映っている出力画像を生成することができる。
　なお、図９のように、N枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の画素値として求める場合には、ランダムノイズを低減した出力画像を得ることができる。
　＜出力画像の例＞
　図１０、図１１、及び、図１２は、市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。
　すなわち、図１０ないし図１２は、異なるフレームの出力画像を示している。
　また、図１０ないし図１２のＡは、市販の車載カメラで撮影した撮影画像を、そのまま出力画像とした場合の、その出力画像を示している。
　図１０ないし図１２のＢは、通常モードで撮影した撮影画像を、そのまま出力画像とした場合の、その出力画像を示している。
　図１０ないし図１２のＣは、新高速モードで撮影した３枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の画素値とした場合の、その出力画像を示している。
　図１０ないし図１２のＤは、新高速モードで撮影した３枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の画素値とした場合の、その出力画像を示している。
　図１０に示したフレームでは、市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像のいずれにも、青（左端）が点灯した状態の信号機が映っている。
　しかしながら、図１１及び図１２に示したフレームでは、新高速モードで撮影した出力画像に映る信号機は点灯しているが、市販の車載カメラで撮影した出力画像、及び、通常モードで撮影した出力画像に映る信号機は、いずれも、消灯している。
　なお、本件発明者によれば、日中に信号機を撮影した場合には、（３枚の撮影画像の対応画素の画素値のうちの）最大値maxを画素値とした出力画像の方が、平均値aveを画素値とした出力画像よりも、信号機の視認性が良いことが確認された。
　＜新高速モードの応用例＞
　図１３は、新高速モードの第１の応用例を説明する図である。
　新高速モードでは、タイミング制御部６は、イメージセンサ２の撮影タイミングを制御することにより、出力画像の各フレームにおいて、撮影対象の点滅周期Tbを、１つの周期に固定し、その１つの点滅周期Tbを対象として、N回の等間隔撮影を行わせることができる。
　また、新高速モードでは、タイミング制御部６は、イメージセンサ２の撮影タイミングを制御することにより、出力画像の１又は複数フレームごとに、異なる点滅周期Tbを対象として、N回の等間隔撮影を行わせることができる。
　図１３は、新高速モードにおいて、出力画像の１フレームごとに、異なる点滅周期Tbを対象として、N回の等間隔撮影を行う例を示している。
　図１３では、等間隔撮影の回数Nを３回として、出力画像の第１フレームにおいて、点滅周期Tb=1/100秒を、第２フレームにおいて、点滅周期Tb=1/200秒を、第３フレームにおいて、点滅周期Tb=1/400秒を、それぞれ対象として、等間隔撮影が行われている。
　そして、出力画像の第４フレーム以降では、点滅周期Tbを、1/100秒、1/200秒、及び、1/400秒とする等間隔撮影が順次繰り返し行われる。
　３回の等間隔撮影では、点滅周期Tb=1/100秒の場合には、３枚の撮影画像は、10/3ms（約3.3ms）間隔で撮影される。また、点滅周期Tb=1/200秒の場合には、３枚の撮影画像は、5/3ms（約1.67ms）間隔で撮影され、点滅周期Tb=1/400秒の場合には、３枚の撮影画像は、2.5/3ms（約0.8ms）間隔で撮影される。
　以上のように、出力画像の１フレームごとに、異なる点滅周期Tbを対象として、N回の等間隔撮影を行う場合には、異なる点滅周期Tbで点滅する、異なる撮影対象を、点灯した状態で撮影することができる。
　図１４及び図１５は、新高速モードの第２の応用例を説明する図である。
　図１４は、新高速モードにおいて、点滅周期がTbで点滅する撮影対象を、３回の等間隔撮影で撮影する様子を示している。
　図１４では、点滅周期Tbを３等分するタイミングで、３回の撮影が行われ、３枚の撮影画像S0，S1，S2が得られている。
　３枚の撮影画像S0ないしS2を撮影するタイミング（撮影の開始タイミング）は、点滅周期Tbによって一意に決まる。
　そのため、異なる点滅周期Tbを対象として、N回の等間隔撮影を行う場合には、基本的に、図１３で説明したように、出力画像の１又は複数フレームごとに、異なる点滅周期Tbを対象として、N回の等間隔撮影を行う必要がある。
　但し、異なる点滅周期Tbが、特定の関係にある場合には、出力画像の１フレームにおいて、異なる点滅周期Tbを対象とするN回の等間隔撮影を、同時に行うことができる。
　図１５は、出力画像の１フレームにおいて、特定の関係にある、異なる点滅周期Tbを対象とするN回の等間隔撮影を、同時に行う様子を示している。
　ある撮影対象（第１の撮影対象）の点滅周期Tb_Aが、他の撮影対象（第２の撮影対象）の点滅周期Tb_Bの2のべき乗倍の周期である場合、点滅周期Tb_Aを対象として、N回の等間隔撮影を行うことにより、出力画像の１フレームにおいて、点滅周期Tb_A及びTb_Bの両方を対象とするN回の等間隔撮影を行うことができる。
　すなわち、図１５では、３つの異なる点滅周期Tb1，Tb2，Tb3として、500Hzに対応する周期である2ms、250Hzに対応する周期である4ms、125Hzに対応する周期である8msが、それぞれ図示されている。
　また、図１５では、等間隔撮影の回数Nを３回として、点滅周期Tb1=2ms(500Hz)を対象とする３回の等間隔撮影で得られる３枚の撮影画像が、S0(500)，S1(500)，S2(500)で、それぞれ示されている。
　同様に、図１５では、点滅周期Tb2=4ms(250Hz)を対象とする３回の等間隔撮影で得られる３枚の撮影画像が、S0(250)，S1(250)，S2(250)で、それぞれ示され、点滅周期Tb3=8ms(125Hz)を対象とする３回の等間隔撮影で得られる３枚の撮影画像が、S0(125)，S1(125)，S2(125)で、それぞれ示されている。
　点滅周期Tb3=8msは、点滅周期Tb1=2ms、及び、Tb2=4msいずれに対しても、2のべき乗倍の周期になっている。
　この場合、点滅周期Tb3=8msを対象として、３枚の撮影画像S0(125)，S1(125)，S2(125)のうちのいずれかが撮影されるタイミングは、点滅周期Tb1=2msを対象として、３枚の撮影画像S0(500)，S1(500)，S2(500)のうちのいずれかが撮影されるタイミングと一致する。
　すなわち、図１５に示すように、点滅周期Tb3=8msの１周期は、点滅周期Tb1=2msの４周期に対応し、点滅周期Tb3=8msの１周期目の１枚目の撮影画像S0(125)が撮影されるタイミングは、点滅周期Tb1=2msの１周期目の１枚目の撮影画像S0(500)が撮影されるタイミングに一致する。さらに、点滅周期Tb3=8msの１周期目の２枚目の撮影画像S1(125)が撮影されるタイミングは、点滅周期Tb1=2msの２周期目の２枚目の撮影画像S1(500)が撮影されるタイミングに一致する。また、点滅周期Tb3=8msの１周期目の３枚目の撮影画像S2(125)が撮影されるタイミングは、点滅周期Tb1=2msの３周期目の３枚目の撮影画像S2(500)が撮影されるタイミングに一致する。
　したがって、点滅周期Tb3=8msを対象として、３枚の撮影画像S0(125)，S1(125)，S2(125)を撮影する場合には、その３枚の撮影画像S0(125)，S1(125)，S2(125)は、点滅周期Tb1=2msを対象とする３枚の撮影画像S0(500)，S1(500)，S2(500)として、それぞれ使用することができる。
　同様に、点滅周期Tb3=8msを対象として、３枚の撮影画像S0(125)，S1(125)，S2(125)のうちのいずれかが撮影されるタイミングは、点滅周期Tb2=4msを対象として、３枚の撮影画像S0(250)，S1(250)，S2(250)のうちのいずれかが撮影されるタイミングと一致する。
　すなわち、図１５に示すように、点滅周期Tb3=8msの１周期は、点滅周期Tb2=4msの２周期に対応し、点滅周期Tb3=8msの１周期目の１枚目の撮影画像S0(125)が撮影されるタイミングは、点滅周期Tb2=4msの１周期目の１枚目の撮影画像S0(250)が撮影されるタイミングに一致する。さらに、点滅周期Tb3=8msの１周期目の２枚目の撮影画像S1(125)が撮影されるタイミングは、点滅周期Tb2=4msの１周期目の３枚目の撮影画像S2(250)が撮影されるタイミングに一致する。また、点滅周期Tb3=8msの１周期目の３枚目の撮影画像S2(125)が撮影されるタイミングは、点滅周期Tb2=4msの２周期目の２枚目の撮影画像S1(250)が撮影されるタイミングに一致する。
　したがって、点滅周期Tb3=8msを対象として、３枚の撮影画像S0(125)，S1(125)，S2(125)を撮影する場合には、その３枚の撮影画像S0(125)，S1(125)，S2(125)は、点滅周期Tb2=4msを対象とする３枚の撮影画像S0(250)，S2(250)，S1(250)として、それぞれ使用することができる。
　以上から、ある点滅周期Tbを対象とする等間隔撮影を行う場合には、その点滅周期Tbの2M倍（Mは0以上の整数）の点滅周期2M×Tbであって、カメラモジュールが、N回の等間隔撮影を行うことができる最大の点滅周期2M'×Tbを対象に（M'は0以上の整数）、等間隔撮影を行うことにより、20×Tb，21×Tb，22×Tb，...，2M'×Tbの、M'個の点滅周期を対象とする等間隔撮影を、出力画像の１フレームにおいて同時に行うことができる。
　＜生成処理の、フリッカの対策への応用＞
　図１６は、信号処理部４が行う出力画像を生成する生成処理の、フリッカの対策への応用を説明する図である。
　すなわち、図１６は、点滅する撮影対象の発光量、並びに、その撮影対象を、通常モード及び新高速モードで撮影することにより得られる出力画像の輝度の時間変化を模式的に表している。
　通常モードでは、出力画像の１フレームの期間に、１枚の撮影画像が撮影され、その撮影画像が出力画像として出力される。したがって、通常モードで得られる出力画像の輝度は、点滅する撮影対象の発光量に従って変化する。この輝度の変化が、フリッカとして観察される。
　一方、新高速モードでは、出力画像の１フレームの期間に、N枚の撮影画像が等間隔撮影される。そして、生成処理において、N枚の撮影画像の対応画素の画素値のうちの最大値max、又は、平均値aveが、出力画像の画素値として求められる。
　N枚の撮影画像の対応画素の画素値のうちの最大値max、又は、平均値aveを画素値とする出力画像を、それぞれ、最大値maxの出力画像、又は、平均値aveの出力画像ともいうこととすると、最大値maxの出力画像や、平均値aveの出力画像では、図１５に示すように、通常モードで得られる出力画像よりも、輝度の変化が緩やかになる。
　すなわち、最大値maxの出力画像や、平均値aveの出力画像では、フリッカ（短周期の輝度の揺れ）が低減される。したがって、信号処理部４が行う出力画像の生成処理は、フリッカの低減に利用することができる。
　図１６では、最大値maxの出力画像と、平均値aveの出力画像とを比較した場合、最大値maxの出力画像の方が、フリッカがより低減されることを確認することができる。
　なお、新高速モードでは、撮影対象の点滅周期Tbを測定し、その測定した点滅周期Tbを対象として、N回の等間隔撮影を行うことができる。
　また、カメラユニットでは、新高速モードで撮影を行うフレームと、通常モードで撮影を行うフレームとを、１フレームや複数フレームごとに入れ替えることができる。この場合、出力画像の視認性を向上させることができる。
　さらに、カメラユニットでは、新高速モードと通常モードとの変更をシームレスに行うことができる。新高速モードと通常モードとの変更をシームレスに行う方法としては、例えば、新高速モードにおいて、等間隔撮影を行う回数Nを、徐々に増加又は減少させていく方法がある。
　また、新高速モードは、イメージセンサ２を構成する図示せぬ画素のうちの全部に適用することもできるし、一部の画素にだけ適用することもできる。例えば、イメージセンサ２を構成する画素のうちの中央部の画素については、新高速モードを適用し、周辺部の画素については、通常モードを適用することができる。
　さらに、新高速モードにおいて、撮影対象としては、LEDの信号機や道路標識、その他の、一定の周波数（周期）で点滅する物体を採用することができる。
　＜出力画像の生成処理の他の例＞
　図１７は、偽色が発生した出力画像の例を示す図である。
　出力画像の生成処理において、平均値aveの出力画像、すなわち、N枚の撮影画像の対応画素の画素値の平均値aveを画素値とする出力画像を生成する場合には、その出力画像に、動体（動く物体）が映っているときに、その動体の動きぶれの部分に、偽色が発生することがある。
　すなわち、平均値aveの出力画像の生成に用いられるN枚の撮影画像の対応画素のいずれかが飽和している場合、信号処理部４において、平均値aveの出力画像に、WBの調整のためのWBゲインがかけられると、その平均値aveの出力画像に映る動体の動きぶれの部分に、偽色が発生する。
　例えば、いま、撮影画像の画素値としてのR(Red)，G(Green)，B(Blue)の値を(R, G, B)と、WBゲインを(Gr, Gg, Gb)と、WBゲインがかけられた後の画素値を(R', G', B')と、それぞれ表すこととする。
　WBゲインがかけられた後の画素値(R', G', B')は、次式で表される。
　R'=MIN(MM, R×Gr)
　G'=MIN(MM, G×Gg)
　B'=MIN(MM, B×Gb)
　ここで、MIN(A, B)は、A及びBのうちの小さい方を表す。
　撮影画像の画素値(R, G, B)が飽和している場合、すなわち、画素値(R, G, B)が、飽和状態の白としての(MM, MM, MM)である場合（MMは、画素値がとり得る最大値）、その画素値(R, G, B)=(MM, MM, MM)に、WBゲイン(Gr, Gg, Gb)をかけて得られる画素値(R', G', B')は、(MM, MM, MM)のままになる。
　一方、撮影画像の画素値(R, G, B)が、黒としての(0, 0, 0)である場合、その画素値(R, G, B)=(0, 0, 0)に、WBゲイン(Gr, Gg, Gb)をかけて得られる画素値(R', G', B')は、(0, 0, 0)のままになる。
　したがって、ある撮影画像の対応画素の画素値(R, G, B)が、(MM, MM, MM)であり、他の撮影画像の対応画素の画素値(R, G, B)が、(0, 0, 0)である場合に、出力画像の注目画素の画素値である平均値aveは、(MM/2, MM/2, MM/2)になる。
　さらに、出力画像の注目画素の画素値(MM/2, MM/2, MM/2)に、WBゲイン(Gr, Gg, Gb)をかけて得られる画素値(R', G', B')は、(Gr, Gg, Gb)×MM/2になる。
　したがって、例えば、WBゲイン(Gr, Gg, Gb)に、式Gg＜Gr≒Gb（但し、Gg＜2）で表される関係があるとすると、飽和状態の白としての画素値(R, G, B)=(MM, MM, MM)と、黒としての画素値(R, G, B)=(0, 0, 0)との平均値ave(=(MM/2, MM/2, MM/2))に、WBゲイン(Gr, Gg, Gb)をかけて得られる画素値(R', G', B')=(Gr×MM/2,Gg×MM/2,Gb×MM/2)は、撮影画像に存在しない紫になる。
　すなわち、平均値aveの出力画像に、紫の偽色が発生する。
　図１７は、３枚の撮影画像の対応画素の画素値の平均値aveを画素値とする出力画像の例を示しており、図中、斜線を付してある部分に、紫の偽色が発生している。
　すなわち、３枚の撮影画像には、動体として、右から左方向に移動している白い自動車が映っている。さらに、３枚の撮影画像のうちの１枚目の対応画素の画素値(R, G, B)は、黒としての(0, 0, 0)になっているが、２枚目の対応画素の画素値(R, G, B)は、飽和状態の白としての(MM, MM, MM)になっている。
　以上のような対応画素の画素値を単純に平均し、その結果得られる平均値aveに、WBゲインをかけると、図１７に斜線を付して示すように、偽色が発生する。
　なお、ここでは、画素値が、R，G，Bの３値を有することとしたが、イメージセンサ２が、例えば、ベイヤ配列等のイメージセンサであり、画素値が、R，G，Bのうちのいずれか１色だけのRAWデータである場合も、同様に、偽色が発生する。
　飽和状態の対応画素は、WBゲインをかける前の段階で、WBが崩れており、そのようなWBが崩れている飽和状態の対応画素の画素値と、WBが崩れていない（飽和状態ではない）対応画素の画素値との平均をとると、その平均により得られる平均値aveのWBは変化する。
　このように、平均値aveのWBが変化することが、偽色が発生する原因である。
　以上のような偽色を抑制する方法としては、例えば、生成処理において、対応画素が飽和状態である場合に、その対応画素の画素値を用いた平均値aveに代えて、N枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の（注目画素）の画素値として採用する方法がある。
　図１８は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第３の例を説明するフローチャートである。
　すなわち、図１８は、対応画素が飽和状態でない場合に、平均値aveを、出力画像の画素値として採用し、対応画素が飽和状態である場合に、最大値maxを、出力画像の画素値として採用する生成処理の例を説明するフローチャートである。
　生成処理の第３の例では、ステップＳ６１において、信号処理部４は、図８のステップＳ４１と同様に、出力画像の１つの画素を、注目画素に選択し、処理は、ステップＳ６２に進む。
　ステップＳ６２では、信号処理部４は、N枚の撮影画像それぞれの、注目画素に対応する対応画素の画素値のうちの最大値maxと平均値aveとを求め、処理は、ステップＳ６３に進む。
　ステップＳ６３では、信号処理部４は、N枚の撮影画像の対応画素の中に、飽和状態になっている飽和画素があるかどうかを判定する。
　ステップＳ６３において、N枚の撮影画像の対応画素の中に、飽和画素がないと判定された場合、すなわち、N枚の撮影画像の対応画素のうちの最大値maxの対応画素が、飽和していない場合、処理は、ステップＳ６４に進む。
　ステップＳ６４では、信号処理部４は、ステップＳ６２で求めた平均値aveを、注目画素の画素値として選択し、処理は、ステップＳ６６に進む。
　また、ステップＳ６３において、N枚の撮影画像の対応画素の中に、飽和画素があると判定された場合、すなわち、N枚の撮影画像の対応画素のうちの最大値maxの対応画素が、飽和している場合、処理は、ステップＳ６５に進む。
　ステップＳ６５では、信号処理部４は、ステップＳ６２で求めた最大値max（飽和画素の画素値）を、注目画素の画素値として選択し、処理は、ステップＳ６６に進む。
　ステップＳ６６では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
　ステップＳ６６において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ６１に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ６６において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
　以上のように、N枚の撮影画像の対応画素の画素値のうちの最大値maxが飽和しているとき、その最大値maxを、出力画像の注目画素の画素値として求め、N枚の撮影画像の対応画素の画素値のいずれも飽和していないとき、N枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の注目画素の画素値として求めることにより、図１７で説明したような偽色が、出力画像に生じることを抑制することができる。
　ところで、図１８の生成処理の第３の例では、撮影画像の対応画素が飽和画素であるかどうかによって、出力画像の画素値として、撮影画像の対応画素の平均値ave、又は、最大値maxが選択される。
　この場合、出力画像において、画素値が、なだらかに変化している部分に、段差が、突然生じることがある。
　図１９は、画素値がなだらかに変化する２枚の撮影画像と、その２枚の撮影画像を用いて生成される出力画像との画素値の変化の例を示す図である。
　なお、図１９において、横軸は画素の位置（例えば、水平方向の位置）を表し、縦軸は、撮影画像及び出力画像の画素値を表す。
　図１９に示すように、２枚の撮影画像の画素値は、左から右の位置に向かって、ランプ信号のように、なだらかに上昇し、画素値の飽和レベル（飽和状態）に到達している。
　但し、２枚の撮影画像の画素値は、位相がずれている。すなわち、２枚の撮影画像のうちの一方の撮影画像の画素値は、他方の撮影画像の画素値を、水平方向にシフトした画素値になっている。
　この場合、生成処理の第３の例（図１８）では、２枚の撮影画像の対応画素の画素値のうちのいずれかが、飽和レベルに到達するまでは、その２枚の撮影画像の対応画素の画素値の平均値aveが、出力画像の画素値として求められる。
　２枚の撮影画像の画素値は、左から右の位置に向かって、なだらかに上昇しているので、その２枚の撮影画像の画素値の平均値aveも、左から右の位置に向かって、なだらかに上昇する。
　２枚の撮影画像の画素値は、位相がずれた状態で、左から右の位置に向かって、なだらかに上昇するので、その２枚の撮影画像のうちの一方の画素値が、先に、飽和レベルに到達する。
　２枚の撮影画像のうちの一方の画素値が、先に、飽和レベルに到達すると、その飽和レベルの画素値が、出力画像の画素値として求められる。
　したがって、出力画像の水平方向の画素については、左から右に向かって、２枚の撮影画像の画素値の平均値aveが、出力画像の画素値として求められるが、２枚の撮影画像のうちの一方の画素値が飽和レベルになると、その飽和レベルになった画素値の画素の位置からは、飽和レベルが、出力画像の画素値として求められる。
　その結果、飽和レベルになった画素の位置において、出力画像の画素値が、突然、飽和レベルに上昇し、段差が生じる。そして、この段差によって、出力画像の画質が劣化する。
　以上のような画素値の段差が生じることによる出力画像の画質の劣化を防止する方法としては、例えば、生成処理において、所定のブレンド率a1に従って(0=<a1<=1)、最大値maxと平均値aveとをブレンドし、そのブレンドにより得られるブレンド値を、出力画像の画素値として求める方法がある。
　図２０は、最大値maxと平均値aveとをブレンドするブレンド率a1の例を示す図である。
　ブレンド率a1としては、例えば、N枚の撮影画像の対応画素の画素値のうちの最大値maxに対応する値を採用することができる。
　図２０では、最大値maxが、最大値maxの閾値SAT_TH以下である場合には、値SAT_OFS(>=0)が、ブレンド率a1として採用される。
　また、図２０では、最大値maxが、閾値SAT_THより大である場合には、最大値maxに比例する値SAT_SLOPE(>SAT_OFS)が、ブレンド率a1として採用される。
　そして、最大値maxに比例する値SAT_SLOPEが、ブレンド率a1の閾値SAT_LIMIT（但し、SAT_OFS<SAT_LIMIT=<1）以上である場合には、閾値SAT_LIMITが、ブレンド率a1として採用される。
　図２１は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第４の例を説明するフローチャートである。
　すなわち、図２１は、ブレンド率a1に従って、最大値maxと平均値aveとをブレンドすることにより得られるブレンド値を、出力画像の画素値として求める生成処理の例を説明するフローチャートである。
　生成処理の第４の例では、信号処理部４は、ステップＳ７１及びＳ７２において、図１８のステップＳ６１及びＳ６２とそれぞれ同様の処理を行う。これにより、出力画像の注目画素が選択されるとともに、その注目画素に対応する対応画素の画素値のうちの最大値maxと平均値aveとが求められ、処理は、ステップＳ７２からステップＳ７３に進む。
　ステップＳ７３では、信号処理部４は、図２０で説明したように、最大値maxに応じた値を、ブレンド率a1として求め、処理は、ステップＳ７４に進む。
　ステップＳ７４では、信号処理部４は、例えば、最大値maxと平均値aveとを、式bld1=max×a1+ave×(1-a1)に従ってブレンドし、その結果得られるブレンド値bld1を、注目画素の画素値として求め、処理は、ステップＳ７５に進む。
　ステップＳ７５では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
　ステップＳ７５において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ７１に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ７５において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
　以上のように、最大値maxに応じた値を、ブレンド率a1として求め、そのブレンド率a1に従って、最大値maxと平均値aveとをブレンドしたブレンド値bld1を、注目画素の画素値として求めることにより、最大値maxが小さい場合には、平均値aveに重みをおいた値が、注目画素の画素値として求められる。また、最大値maxが大きくなるにつれて、最大値maxに重みをおいた値が、注目画素の画素値として求められる。
　その結果、図１７で説明したような、偽色が出力画像に生じることを抑制することができるとともに、図１９で説明したような、画素値の段差が生じることによる出力画像の画質の劣化を防止することができる。
　なお、最大値maxが、飽和レベルである場合に、ブレンド率a1を1とするとともに、最大値maxが、飽和レベル未満である場合に、ブレンド率a1を0とすることにより、図２１の生成処理は、図１８の生成処理と等価になる。
　図２２は、図９の生成処理で生成された出力画像（平均値aveの出力画像）と、図１８又は図２１の生成処理で生成された出力画像との例を示す図である。
　図９の生成処理で生成された出力画像（平均値aveの出力画像）を、色付き対策機能なしの出力画像ともいうとともに、図１８又は図２１の生成処理で生成された出力画像を、色付き対策機能ありの出力画像ともいうこととする。
　色付き対策機能なしの出力画像では、図中、斜線を付して示すように、偽色が発生することがあるが、色付き対策機能ありの出力画像では、偽色の発生を抑制することができる。
　ここで、撮影画像が、画素値として、R，G，Bのうちのいずれか１色だけのRAWデータを有する画像であり、そのような撮影画像において、互いに近接する３つの画素Pr，Pg，Pbが、画素値として、R，G，Bを、それぞれ有することとする。
　いま、例えば、２枚の撮影画像のうちの１枚目の撮影画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)が、(2000, 4000, 2000)で、２枚目の撮影画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)が、(0, 0, 0)であるとする。また、例えば、WBゲイン(Gr, Gg, Gb)が、(2, 1, 2)であるとする。
　なお、飽和レベルは、4000であることとする。１枚目の撮影画像の画素Pgの画素値Gは4000であり、飽和している。
　１枚目の撮影画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)=(2000, 4000, 2000)に、WBゲイン(Gr, Gg, Gb)=(2, 1, 2)をかけた結果(R', G', B')は、(4000, 4000, 4000)で、白（飽和状態）になる。
　２枚目の撮影画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)=(0, 0, 0)に、WBゲイン(Gr, Gg, Gb)=(2, 1, 2)をかけた結果(R', G', B')は、(0, 0, 0)で、黒になる。
　したがって、出力画像の３つの画素Pr，Pg，Pbは、白、又は、黒になることが望ましい。
　しかしながら、撮影画像の対応画素だけに応じて、出力画像の画素値となる、撮影画像の対応画素の平均値ave、又は、最大値maxを選択する場合（図１８）や、ブレンド率a1を求める場合（図２１）には、出力画像に、感度の高い（WBゲインが低い）緑の色付きが生じることがある。
　すなわち、いま、説明を簡単にするため、撮影画像の対応画素だけに応じて、出力画像の画素値となる、撮影画像の対応画素の平均値ave、又は、最大値maxを選択することとする。
　画素Prについては、１枚目の撮影画像の画素値R=2000も、２枚目の撮影画像の画素値R=0も飽和していないので、出力画像の画素値としては、画素値R=2000と画素値R=0との平均値ave=1000が選択される。
　同様に、画素Pbについては、１枚目の撮影画像の画素値B=2000も、２枚目の撮影画像の画素値B=0も飽和していないので、出力画像の画素値としては、画素値B=2000と画素値B=0との平均値ave=1000が選択される。
　一方、画素Pgについては、１枚目の撮影画像の画素値G=4000、及び、２枚目の撮影画像の画素値G=0のうちの、１枚目の撮影画像の画素値G=4000が飽和しているので、出力画像の画素値としては、その飽和している画素値G=4000が選択される。
　したがって、出力画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)は、(1000, 4000, 1000)になる。
　そして、この出力画像の画素値(R, G, B)=(1000, 4000, 1000)に、WBゲイン(Gr, Gg, Gb)=(2, 1, 2)をかけた結果(R', G', B')は、飽和レベル以上の値が飽和レベルである4000にクリップされることにより、(2000, 4000, 2000)で、緑になる。
　以上のような、出力画像に生じる、撮影画像にない緑の色付きは、例えば、撮影画像のある画素Pが、対応画素である場合に、撮影画像にLPF(Low Pass Filter)をかけることにより得られる、LPF後の画素Pの画素値を用いて、生成処理を行うことで抑制することができる。
　すなわち、LPF後の画素Pの画素値には、LPF前の画素Pの画素値の他、その画素Pの周辺の画素の画素値が反映されている。
　かかるLPF後の画素Pの画素値に応じて、図１８において、出力画像の画素値となる、撮影画像の対応画素の平均値ave、又は、最大値maxを選択すること、あるいは、図２１において、ブレンド率a1を求めることにより、出力画像に、撮影画像にない緑の色付きが生じることを抑制することができる。
　なお、画素PにLPFをかけるときに用いる画素値には、その画素Pを含む、画素Pの周辺の画素のR，G，Bの３色の画素値が含まれていることが望ましいが、画素Pと、その画素Pの水平方向に隣接する数個の画素との画素値を用いるだけでも、出力画像に生じる、撮影画像にない緑の色付きを、十分に抑制することができる。
　図２３は、出力画像に生じる動きぶれを説明する図である。
　図２３のＡは、新高速モードで撮影される撮影画像の例を示している。
　撮影画像に映る被写体が動いている場合、すなわち、例えば、カメラユニットが、車載カメラとして、自動車等の移動体に搭載されている場合、撮影画像に映る、動いている被写体には、動きぶれが生じる。
　例えば、自動車が直進している場合には、撮影画像の水平方向の中央部に映る被写体よりも、水平方向の周辺部（端部）に映る被写体の方の動きが速いため、図２３のＡに示すように、撮影画像の水平方向の中央部よりも周辺部において、大きな動きぶれが生じる。
　図２３のＢは、新高速モードで撮影される撮影画像の例を示している。
　例えば、自動車がカーブを走行している場合には、撮影画像の水平方向のカーブの方向にある被写体よりも、カーブの方向の反対方向にある被写体の方の動きが速いため、図２３のＢに示すように、撮影画像の水平方向のカーブの方向の部分よりも、カーブの方向と反対方向の部分において、大きな動きぶれが生じる。
　その他、撮影画像において、動きぶれは、例えば、自動車の速度が速いほど、大きくなる。
　N枚の撮影画像に動きぶれが生じている場合、そのような動きぶれが生じているN枚の撮影画像の画素値の平均値aveを、出力画像の画素値とすると、出力画像には、より程度の大きい動きぶれが生じる。
　また、N枚の撮影画像に動きぶれが生じている場合には、ある撮影画像に映っている被写体は、他の撮影画像において、ずれた位置に映っているため、そのようなN枚の撮影画像の画素値の平均値aveを、出力画像の画素値とすると、出力画像には、やはり、より程度の大きい動きぶれが生じる。
　一方、N枚の撮影画像に動きぶれが生じている場合に、そのN枚の撮影画像を用いて得られる出力画像の中では、N枚の撮影画像のうちの、ある１枚の撮影画像の画素値を、そのまま出力画像の画素値とした出力画像が、動きぶれの程度が最も小さい画像になる。
　そこで、出力画像に生じる動きぶれを抑制するために、出力画像の生成処理では、出力画像（ひいては、撮影画像）に映る被写体の動き量や、注目画素の位置、カメラユニットが搭載されている自動車の速度や、自動車がカーブを走行しているときの、そのカーブの方向や曲がり具合等に応じたブレンド率a2を求め(0=<a2<=1)、そのブレンド率a2に従って、平均値ave又は最大値maxと、N枚の撮影画像のうちの、任意の１枚の撮影画像の画素値とをブレンドすることにより、出力画像を求めることができる。
　なお、自動車がカーブを走行しているときの、そのカーブの方向や曲がり具合（を表す物理量）としては、例えば、自動車のハンドルの切れ角を採用することができる。
　図２４は、出力画像（又は撮影画像）に映る被写体の動き量に対応する値をブレンド率a2として求める場合の、そのブレンド率a2の例を示す図である。
　出力画像に映る被写体の動き量に対応する値をブレンド率a2として求める場合には、信号処理部４は、注目画素の動き量として、例えば、N枚の撮影画像のうちの１枚の撮影画像の対応画素の動きを、ブロックマッチングや特徴点マッチング等によって求める。
　さらに、信号処理部４は、図２４に示すように、注目画素の動き量に応じて、その動き量の大きさ（絶対値）が大であるほど、大きな値のブレンド率a2を求める。
　また、信号処理部４は、N枚の撮影画像の中から、例えば、ユーザの操作等に応じて、１枚の撮影画像を、出力画像の生成に用いる生成用画像として選択する。
　そして、信号処理部４は、N枚の撮影画像の対応画素の画素値の平均値ave（又は最大値max）と、生成用画像の対応画素の画素値sideとを、式bld=side×a2+ave×(1-a2)に従ってブレンドし、その結果得られるブレンド値bldを、出力画像の注目画素の画素値として求める。
　図２５は、出力画像の注目画素の位置（撮影画像の対応画素の位置）に応じて、平均値ave（又は最大値max）と、生成用画像の対応画素の画素値とをブレンドする場合の、そのブレンドに用いるブレンド率a2の例を示す図である。
　出力画像の注目画素の位置に応じてブレンドを行う場合には、信号処理部４は、注目画素の位置に応じて、その注目画素の水平方向の位置が、出力画像の水平方向の中央部から遠いほど、大きな値のブレンド率a2を求める。
　また、信号処理部４は、N枚の撮影画像の中から、ユーザの操作等に応じて、１枚の撮影画像を、出力画像の生成に用いる生成用画像として選択する。
　そして、信号処理部４は、N枚の撮影画像の対応画素の画素値の平均値ave（又は最大値max）と、生成用画像の対応画素の画素値sideとを、式bld=side×a2+ave×(1-a2)に従ってブレンドし、その結果得られるブレンド値bldを、出力画像の注目画素の画素値として求める。
　ブレンド率a2は、上述のように、注目画素の動き量や位置に応じて求める他、カメラユニットが搭載されている自動車の速度や、ハンドルの切れ角等に応じて求めることができる。
　すなわち、ブレンド率a2は、注目画素の動き量、注目画素の位置、カメラユニットが搭載されている自動車の速度、及び、ハンドルの切れ角のうちの１の項目だけに応じて、その１の項目の関数として求めることができる。
　また、ブレンド率a2は、注目画素の動き量、注目画素の位置、カメラユニットが搭載されている自動車の速度、及び、ハンドルの切れ角のうちの２以上の項目に応じて、その２以上の項目の関数として求めることができる。
　図２６は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第５の例を説明するフローチャートである。
　すなわち、図２６は、注目画素の動き量及び位置に応じたブレンド率a2に従って、平均値ave（又は最大値max）と、生成用画像の画素値とをブレンドすることにより得られるブレンド値を、出力画像の画素値として求める生成処理の例を説明するフローチャートである。
　生成処理の第５の例では、信号処理部４は、ステップＳ８１において、N枚の撮影画像のうちの１枚の撮影画像を、生成用画像として選択し、処理は、ステップ８２に進む。
　ここで、ステップＳ８１では、例えば、ユーザの操作に応じて、N枚の撮影画像のうちの１枚の撮影画像を、生成用画像に選択することができる。また、ステップＳ８１では、例えば、N枚の撮影画像のうちの、カメラユニットにあらかじめ設定された枚数目の撮影画像を、生成用画像に選択することができる。
　ステップＳ８２では、信号処理部４は、図８のステップＳ４１と同様に、出力画像の注目画素を選択し、処理は、ステップＳ８３に進む。
　ステップＳ８３では、信号処理部４は、図９のステップＳ５２（又は図８のステップＳ４２）と同様に、注目画素に対応する対応画素の画素値の平均値ave（又は最大値max）を求め、処理は、ステップ８４に進む。
　ステップＳ８４では、信号処理部４は、注目画素の動き量を求め、処理は、ステップＳ８５に進む。
　ステップＳ８５では、信号処理部４は、注目画素の動き量と位置とに応じて、ブレンド率a2を求め（設定し）、処理は、ステップＳ８６に進む。
　ここで、ステップＳ８５では、信号処理部４は、例えば、図２４で説明したように、注目画素の動き量に応じたブレンド率a2'を求めるとともに、図２５で説明したように、注目画素の位置に応じたブレンド率a2''を求め、その動き量に応じたブレンド率a'と、位置に応じたブレンド率a2''との平均値や乗算値等を、注目画素の動き量と位置とに応じたブレンド率a2として求めることができる。
　ステップＳ８６では、信号処理部４は、例えば、平均値ave（又は最大値max）と、生成用画像の対応画素の画素値sideとを、式bld=side×a2+ave×(1-a2)に従ってブレンドし、その結果得られるブレンド値bldを、注目画素の画素値として求め、処理は、ステップＳ８７に進む。
　ステップＳ８７では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
　ステップＳ８７において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ８２に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ８７において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
　図２７は、図９の生成処理で生成された出力画像（平均値aveの出力画像）と、図２６の生成処理で生成された出力画像との例を示す図である。
　図９の生成処理で生成された出力画像（平均値aveの出力画像）を、動きぶれ対策機能なしの出力画像ともいうとともに、図２６の生成処理で生成された出力画像を、動きぶれ対策機能ありの出力画像ともいうこととする。
　図２７は、動きぶれ対策機能なしの出力画像、及び、動きぶれ対策機能ありの出力画像それぞれの水平方向の周辺部（端部）の画像の例を示している。動きぶれ対策機能なしの出力画像の周辺部では、程度の大きな動きぶれが発生しているが、動きぶれ対策機能ありの出力画像の周辺部では、その動きぶれの程度が抑制されていることを確認することができる。
　ここで、以下では、図２０等で説明したブレンド率a1を、色付き対策用ブレンド率a1ともいい、図２４及び図２５等で説明したブレンド率a2を、動きぶれ対策用ブレンド率a2ともいう。
　図２８は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第６の例を行う生成装置の構成例を示すブロック図である。
　すなわち、図２８は、色付き対策用ブレンド率a1、及び、動きぶれ対策用ブレンド率a2に従って、平均値ave、最大値max、及び、生成用画像の画素値をブレンドすることにより得られるブレンド値を、出力画像の画素値として求める生成処理を行う生成装置の構成例を示すブロック図である。
　図２８の生成装置は、信号処理部４に内蔵される。
　図２８において、生成装置は、平均値画像生成部５１、最大値画像生成部５２、生成用画像選択部５３、（色付き対策用）ブレンド率設定部５４、（動きぶれ対策用）ブレンド率設定部５５、並びに、ブレンド部５６，５７、及び、５８を有する。
　平均値画像生成部５１、最大値画像生成部５２、及び、生成用画像選択部５３には、N枚の撮影画像としての、例えば、３枚の撮影画像（の画素値）S0，S1，S2が、メモリ３（図１）から供給される。
　平均値画像生成部５１は、そこに供給される３枚の撮影画像の同一位置の画素の画素値S0，S1，S2の平均値ave=(S0+S1+S2)/3を画素値とする平均値画像を求め、ブレンド部５６に供給する。
　最大値画像生成部５２は、そこに供給される３枚の撮影画像の同一位置の画素の画素値S0，S1，S2のうちの最大値max=MAX(S0, S1, S2)を画素値とする最大値画像を求め、ブレンド率設定部５４、及び、ブレンド部５６に供給する。ここで、MAX(S0, S1, S2)は、S0, S1, S2の中の最大値を表す。
　生成用画像選択部５３は、そこに供給される３枚の撮影画像のうちの１枚の撮影画像を、生成用画像として選択し、ブレンド率設定部５５、及び、ブレンド部５７に供給する。
　ブレンド率設定部５４は、最大値画像生成部５２から供給される最大値画像の画素値である最大値maxに応じて、出力画像の各画素の色付き対策用ブレンド率a1を、例えば、図２０で説明したようにして求め、ブレンド部５６及び５８に供給する。
　ブレンド率設定部５５は、生成用画像選択部５３からの生成用画像を用いて、出力画像の各画素の動き量を求める。そして、ブレンド率設定部５５は、例えば、出力画像の各画素の動き量、及び、各画素の位置に応じて、出力画像の各画素の動きぶれ対策用ブレンド率a2を、図２４ないし図２６で説明したようにして求め、ブレンド部５７に供給する。
　なお、ブレンド率設定部５５では、その他、例えば、出力画像の画素の動き量、位置、カメラユニットが搭載されている自動車の速度、及び、ハンドルの切れ角のうちの１の項目だけに応じて、動きぶれ対策用ブレンド率a2を求めることができる。
　また、ブレンド率設定部５５では、例えば、出力画像の画素の動き量、位置、カメラユニットが搭載されている自動車の速度、及び、ハンドルの切れ角のうちの２以上の項目に応じて、動きぶれ対策用ブレンド率a2を求めることができる。
　ブレンド部５６は、平均値画像生成部５１から供給される平均値画像の各画素の画素値である平均値aveと、最大値画像生成部５２から供給される最大値画像の各画素の画素値である最大値maxとを、ブレンド率設定部５４からのブレンド率a1を用いて、式bld1=max×a1+ave×(1-a1)に従ってブレンドする。そして、ブレンド部５６は、ブレンドの結果得られるブレンド値bld1を画素値とする第１ブレンド画像(bld1)を、ブレンド部５７に供給する。
　ブレンド部５６のブレンドにより、図１７で説明した偽色の発生が抑制される。
　ブレンド部５７は、生成用画像選択部５３から供給される生成用画像の各画素の画素値sideと、ブレンド部５６から供給される第１ブレンド画像の各画素の画素値bld1とを、ブレンド率設定部５５からのブレンド率a2を用いて、式bld2=side×a2+bld1×(1-a2)に従ってブレンドする。そして、ブレンド部５７は、ブレンドの結果得られるブレンド値bld2を画素値とする第２ブレンド画像(bld2)を、ブレンド部５８に供給する。
　また、ブレンド部５７は、生成用画像選択部５３から供給される生成用画像の各画素の画素値sideと、ブレンド部５６から供給される第１ブレンド画像の、同一位置の画素の画素値bld1とのうちの最大値max2=MAX(bld1, side)を画素値とするmax2画像を求め、ブレンド部５８に供給する。ここで、MAX(bld1, side)は、bld1, sideの中の最大値を表す。
　ブレンド部５７のブレンドにより、図２３で説明した動きぶれが抑制される。
　ブレンド部５８は、ブレンド部５７から供給される第２ブレンド画像の各画素の画素値bld2と、同じく、ブレンド部５７から供給されるmax2画像の、同一位置の画素の画素値max2とを、ブレンド率設定部５４からのブレンド率a1を用いて、式bld3=max2×a1+bld2×(1-a1)に従ってブレンドする。そして、ブレンド部５８は、ブレンドの結果得られるブレンド値bld3を画素値とする画像を、出力画像として出力する。
　ブレンド部５８のブレンドにより、ブレンド部５７において、第１ブレンド画像の画素値bld1と、生成用画像の画素値sideとをブレンドしたブレンド値bld2を画素値とする画素に、本来存在しない色が生じることを抑制することができる。
　なお、ブレンド部５８では、前段のブレンド部５７でのブレンドに用いられるブレンド率a2が0又は1ではない画素のブレンド率a1だけを有効にすることができる。
　この場合、ブレンド部５８では、ブレンド率a1が有効な画素についてだけ、第２ブレンド画像の画素値bld2とmax2画像の画素値max2とのブレンドを行い、他の画素については、例えば、ブレンド率a1=0として、第２ブレンド画像の画素値bld2を、そのまま出力画像の画素値とすることができる。
　図２９及び図３０は、市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。
　すなわち、図２９及び図３０は、異なる撮影状況で得られた出力画像を示している。
　図２９は、照度が大の、例えば、日中の撮影で得られた出力画像を示しており、図３０は、照度が小の、例えば、夜間の撮影で得られた出力画像を示している。
　また、図２９及び図３０のＡは、市販の車載カメラで撮影した撮影画像を、そのまま出力画像とした場合の、その出力画像（以下、市販カメラ出力画像ともいう）を示している。
　図２９及び図３０のＢは、通常モードで撮影した撮影画像を、そのまま出力画像とした場合の、その出力画像（以下、通常モード出力画像ともいう）を示している。
　図２９及び図３０のＣは、新高速モードで撮影した３枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の画素値とした場合の、その出力画像（平均値aveの出力画像）を示している。
　図２９及び図３０のＤは、新高速モードで撮影した３枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の画素値とした場合の、その出力画像（最大値maxの出力画像）を示している。
　図２９及び図３０によれば、新高速モードで得られる出力画像において、道路標識が見えるように映っていることを確認することができる。
　図３１は、日中、及び、夜間の撮影で得られた市販カメラ出力画像、通常モード出力画像、平均値aveの出力画像、及び、最大値maxの出力画像の視認性の評価の例を示す図である。
　視認性の評価は、日中(Day)、及び、夜間(Night)のそれぞれの撮影で得られた市販カメラ出力画像、通常モード出力画像、平均値aveの出力画像、及び、最大値maxの出力画像に映る撮影対象としてのLEDの信号機(Signal)、及び、道路標識(Traffic Sign)を対象に行った。
　なお、信号機については、点滅周波数(frequency)は、100Hzであり、点灯デューティ比(duty)は、70%である。また、道路標識については、点滅周波数は、250Hzであり、点灯デューティ比は、50%又は20%である。
　図３１においては、×、△、〇、◎の順で、視認性が良いことを表す。
　図３１によれば、日中や夜間等の撮影状況によって、最大値maxの出力画像の方が、平均値aveの出力画像よりも視認性が良い場合や、逆に、平均値aveの出力画像の方が、最大値maxの出力画像よりも視認性が良い場合があることを確認することができる。
　そこで、出力画像の視認性を向上させるために、出力画像の生成処理では、撮影状況に応じて、平均値aveと最大値maxとをブレンドすることにより、出力画像を求めることができる。
　図３２は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第７の例を説明するフローチャートである。
　すなわち、図３２は、撮影状況に応じたブレンド率a1'に従って、平均値aveと最大値maxとをブレンドすることにより得られるブレンド値を、出力画像の画素値として求める生成処理の例を説明するフローチャートである。
　生成処理の第７の例では、ステップＳ９１において、信号処理部４は、撮影状況に応じて、ブレンド率a1'を求め（設定し）、処理は、ステップＳ９２に進む。
　ここで、ステップＳ９１では、信号処理部４は、例えば、撮影画像の撮影時の照度が大であるほど、大きな値のブレンド率a1'を設定する(0=<a1'=<1)。
　ステップＳ９２では、信号処理部４は、図８のステップＳ４１と同様に、出力画像の１つの画素を、注目画素に選択し、処理は、ステップＳ９３に進む。
　ステップＳ９３では、信号処理部４は、N枚の撮影画像それぞれの、注目画素に対応する対応画素の画素値のうちの最大値maxと平均値aveとを求め、処理は、ステップＳ９４に進む。
　ステップＳ９４では、信号処理部４は、例えば、最大値maxと平均値aveとを、式bld1'=max×a1'+ave×(1-a1')に従ってブレンドし、その結果得られるブレンド値bld1'を、注目画素の画素値として求め、処理は、ステップＳ９５に進む。
　ステップＳ９５では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
　ステップＳ９５において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ９２に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ９５において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
　以上のように、撮影状況に応じて、ブレンド率a1'を求め、そのブレンド率a1'に従って、最大値maxと平均値aveとをブレンドすることにより、視認性の良い出力画像を得ることができる。
　図３３は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第８の例を説明する図である。
　図２３で説明したように、例えば、カメラユニットが、車載カメラとして、自動車等の移動体に搭載されている場合には、平均値aveを、出力画像の画素値とすると、出力画像の水平方向の周辺部には、大きい動きぶれが生じる。
　さらに、図２３で説明したように、N枚の撮影画像に動きぶれが生じている場合に、そのN枚の撮影画像を用いて得られる出力画像の中では、N枚の撮影画像のうちの、ある１枚の撮影画像の画素値を、そのまま出力画像の画素値とした出力画像が、動きぶれの程度が最も小さい画像になる。
　そこで、図３２で説明したように、撮影状況に応じたブレンド率a1'に従って、平均値aveと最大値maxとをブレンドする場合には、図３３に示すように、平均値aveと最大値maxとのブレンドの結果得られるブレンド値bld1'を、出力画像の水平方向の中心部分の画素値として採用するとともに、N枚の撮影画像の中から選択された１枚の撮影画像である生成用画像の画素値sideを、出力画像の水平方向の周辺部の画素値として採用することができる。
　この場合、視認性が良く、動きぶれを抑制した出力画像を得ることができる。
　なお、信号処理部４の生成処理によれば、点滅する撮影対象が映った撮影画像に限らず、任意のN枚の撮影画像を合成する場合において、そのうちの１枚以上の撮影画像の画素値が飽和しているときに、偽色が生じることを防止することができる。
　さらに、信号処理部４の信号処理によれば、自動車等の移動体にカメラユニットが搭載され、カメラユニット自体が移動する場合の他、カメラユニットが、高速道路の監視カメラのように固定されている場合であっても、出力画像（撮影画像）に映る、動く被写体の動きぶれを抑制することができる。
　＜カメラユニットの使用例＞
　図３４は、図１のカメラユニットを使用する使用例を示す図である。
　上述したカメラユニットは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　＜本技術を適用したコンピュータの説明＞
　図１の信号処理部４やタイミング制御部６の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータ等にインストールされる。
　図３５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下のような構成をとることができる。
　＜１＞
　所定の撮影タイミングで撮影を行う撮影部と、
　前記撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部と
　を備える撮影装置。
　＜２＞
　前記撮影対象の点滅周期をTb[秒]と、前記撮影対象が点滅周期に点灯する点灯デューティ比をDb[%]と、少なくとも１回の撮影の露光時間が前記点灯期間の少なくとも一部に重複するための下限露光時間を、SHT_MIN[秒]と、それぞれ表すとき、
　前記制御部は、式SHT_MIN=Tb/N-TbDb/100に従って求められる下限露光時間SHT_MINを超える露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
　＜１＞に記載の撮影装置。
　＜３＞
　前記制御部は、１又は複数フレームごとに、異なる点滅周期を対象として、前記撮影タイミングを制御する
　＜１＞又は＜２＞に記載の撮影装置。
　＜４＞
　第１の撮影対象の点滅周期が、第２の撮影対象の点滅周期の2のべき乗倍の周期であるとき、
　前記制御部は、前記第１の撮影対象の点滅周期を対象として、前記撮影タイミングを制御する
　＜１＞又は＜２＞に記載の撮影装置。
　＜５＞
　前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部をさらに備える
　＜１＞ないし＜４＞のいずれかに記載の撮影装置。
　＜６＞
　前記処理部は、前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値を、前記出力画像の画素値として求める
　＜５＞に記載の撮影装置。
　＜７＞
　前記処理部は、前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値の平均値を、前記出力画像の画素値として求める
　＜５＞に記載の撮影装置。
　＜８＞
　前記処理部は、
　前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値が飽和しているとき、前記最大値を、前記出力画像の画素値として求め、
　前記N枚の撮影画像の対応画素の画素値のいずれも飽和していないとき、前記N枚の撮影画像の対応画素の画素値の平均値を、前記出力画像の画素値として求める
　＜５＞に記載の撮影装置。
　＜９＞
　前記処理部は、
　前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値に対応する値を、前記最大値と、前記N枚の撮影画像の対応画素の画素値の平均値とをブレンドするブレンド率として求め、
　前記ブレンド率に従って、前記最大値と前記平均値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
　＜５＞に記載の撮影装置。
　＜１０＞
　前記処理部は、
　前記出力画像の画素の動き量に対応する値を、
　　前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
　　前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
　をブレンドするブレンド率として求め、
　前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
　＜５＞に記載の撮影装置。
　＜１１＞
　前記処理部は、
　前記出力画像の画素の位置に応じて、
　　前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
　　前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
　をブレンドするブレンド率を求め、
　前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
　＜５＞に記載の撮影装置。
　＜１２＞
　前記撮影装置が、移動体に搭載されているとき、
　前記処理部は、
　前記移動体の速度、前記移動体のハンドルの切れ角、及び、前記出力画像の画素の位置のうちの1以上に応じて、
　　前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
　　前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
　をブレンドするブレンド率を求め、
　前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
　＜５＞に記載の撮影装置。
　＜１３＞
　前記撮影装置が、移動体に搭載されているとき、
　前記処理部は、
　　前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値と、
　　前記移動体の速度、前記移動体のハンドルの切れ角、及び、前記出力画像の画素の位置のうちの1以上と
　に応じて、前記最大値、前記対応画素の画素値の平均値、及び、前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値をブレンドしたブレンド値を、前記出力画像の画素値として求める
　＜５＞に記載の撮影装置。
　＜１４＞
　前記処理部は、
　撮影状況に応じて、
　　前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値と、
　　前記対応画素の画素値の平均値と
　をブレンドするブレンド率を求め、
　前記ブレンド率に従って、前記最大値と前記平均値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
　＜５＞に記載の撮影装置。
　＜１５＞
　前記処理部は、
　前記出力画像の画素の位置に応じて、
　　前記ブレンド値、
　　又は、前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値
　を、前記出力画像の画素値として求める
　＜１４＞に記載の撮影装置。
　＜１６＞
　所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
　ことを含む撮影方法。
　＜１７＞
　所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部
　として、コンピュータを機能させるためのプログラム。
　＜１８＞
　　所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
　ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部
　を備える信号処理装置。
　＜１９＞
　　所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
　ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する
　ことを含む信号処理方法。
　＜２０＞
　　所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
　ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部
　として、コンピュータを機能させるためのプログラム。
　１　光学系，　２　イメージセンサ，　３　メモリ，　４　信号処理部，　５　出力部，　６　タイミング制御部，　５１　平均値画像生成部，　５２　最大値画像生成部，　５３　生成用画像選択部，　５４，５５　ブレンド率設定部，　５６ないし５８　ブレンド部，　１０１　バス，　１０２　CPU，　１０３　ROM，　１０４　RAM，　１０５　ハードディスク，　１０６　出力部，　１０７　入力部，　１０８　通信部，　１０９　ドライブ，　１１０　入出力インタフェース，　１１１　リムーバブル記録媒体

Claims (20)

  1. 　所定の撮影タイミングで撮影を行う撮影部と、
    　前記撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部と
    　を備える撮影装置。
  2. 　前記撮影対象の点滅周期をTb[秒]と、前記撮影対象が点滅周期に点灯する点灯デューティ比をDb[%]と、少なくとも１回の撮影の露光時間が前記点灯期間の少なくとも一部に重複するための下限露光時間を、SHT_MIN[秒]と、それぞれ表すとき、
    　前記制御部は、式SHT_MIN=Tb/N-TbDb/100に従って求められる下限露光時間SHT_MINを超える露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
    　請求項１に記載の撮影装置。
  3. 　前記制御部は、１又は複数フレームごとに、異なる点滅周期を対象として、前記撮影タイミングを制御する
    　請求項１に記載の撮影装置。
  4. 　第１の撮影対象の点滅周期が、第２の撮影対象の点滅周期の2のべき乗倍の周期であるとき、
    　前記制御部は、前記第１の撮影対象の点滅周期を対象として、前記撮影タイミングを制御する
    　請求項１に記載の撮影装置。
  5. 　前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部をさらに備える
    　請求項１に記載の撮影装置。
  6. 　前記処理部は、前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値を、前記出力画像の画素値として求める
    　請求項５に記載の撮影装置。
  7. 　前記処理部は、前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値の平均値を、前記出力画像の画素値として求める
    　請求項５に記載の撮影装置。
  8. 　前記処理部は、
    　前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値が飽和しているとき、前記最大値を、前記出力画像の画素値として求め、
    　前記N枚の撮影画像の対応画素の画素値のいずれも飽和していないとき、前記N枚の撮影画像の対応画素の画素値の平均値を、前記出力画像の画素値として求める
    　請求項５に記載の撮影装置。
  9. 　前記処理部は、
    　前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値に対応する値を、前記最大値と、前記N枚の撮影画像の対応画素の画素値の平均値とをブレンドするブレンド率として求め、
    　前記ブレンド率に従って、前記最大値と前記平均値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
    　請求項５に記載の撮影装置。
  10. 　前記処理部は、
    　前記出力画像の画素の動き量に対応する値を、
    　　前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
    　　前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
    　をブレンドするブレンド率として求め、
    　前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
    　請求項５に記載の撮影装置。
  11. 　前記処理部は、
    　前記出力画像の画素の位置に応じて、
    　　前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
    　　前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
    　をブレンドするブレンド率を求め、
    　前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
    　請求項５に記載の撮影装置。
  12. 　前記撮影装置が、移動体に搭載されているとき、
    　前記処理部は、
    　前記移動体の速度、前記移動体のハンドルの切れ角、及び、前記出力画像の画素の位置のうちの1以上に応じて、
    　　前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
    　　前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
    　をブレンドするブレンド率を求め、
    　前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
    　請求項５に記載の撮影装置。
  13. 　前記撮影装置が、移動体に搭載されているとき、
    　前記処理部は、
    　　前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値と、
    　　前記移動体の速度、前記移動体のハンドルの切れ角、及び、前記出力画像の画素の位置のうちの1以上と
    　に応じて、前記最大値、前記対応画素の画素値の平均値、及び、前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値をブレンドしたブレンド値を、前記出力画像の画素値として求める
    　請求項５に記載の撮影装置。
  14. 　前記処理部は、
    　撮影状況に応じて、
    　　前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値と、
    　　前記対応画素の画素値の平均値と
    　をブレンドするブレンド率を求め、
    　前記ブレンド率に従って、前記最大値と前記平均値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
    　請求項５に記載の撮影装置。
  15. 　前記処理部は、
    　前記出力画像の画素の位置に応じて、
    　　前記ブレンド値、
    　　又は、前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値
    　を、前記出力画像の画素値として求める
    　請求項１４に記載の撮影装置。
  16. 　所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
    　ことを含む撮影方法。
  17. 　所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部
    　として、コンピュータを機能させるためのプログラム。
  18. 　　所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
    　ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部
    　を備える信号処理装置。
  19. 　　所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
    　ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する
    　ことを含む信号処理方法。
  20. 　　所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
    　ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部
    　として、コンピュータを機能させるためのプログラム。
PCT/JP2016/060894 2015-04-13 2016-04-01 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム WO2016167137A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/560,227 US10412309B2 (en) 2015-04-13 2016-04-01 Image capture device, method of image capture, signal processing device, method of signal processing, and program
JP2017512261A JP6627866B2 (ja) 2015-04-13 2016-04-01 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム
EP16779928.7A EP3285478B1 (en) 2015-04-13 2016-04-01 Image-capturing device, image-capturing method, signal processing device, signal processing method, and program
CN201680017849.7A CN107431758B (zh) 2015-04-13 2016-04-01 成像装置、成像方法、信号处理装置、信号处理方法和记录介质
US16/525,402 US10999520B2 (en) 2015-04-13 2019-07-29 Image capture device, method of image capture, signal processing device, method of signal processing, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-081607 2015-04-13
JP2015081607 2015-04-13

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/560,227 A-371-Of-International US10412309B2 (en) 2015-04-13 2016-04-01 Image capture device, method of image capture, signal processing device, method of signal processing, and program
US16/525,402 Continuation US10999520B2 (en) 2015-04-13 2019-07-29 Image capture device, method of image capture, signal processing device, method of signal processing, and program

Publications (1)

Publication Number Publication Date
WO2016167137A1 true WO2016167137A1 (ja) 2016-10-20

Family

ID=57127242

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/060894 WO2016167137A1 (ja) 2015-04-13 2016-04-01 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム

Country Status (5)

Country Link
US (2) US10412309B2 (ja)
EP (1) EP3285478B1 (ja)
JP (1) JP6627866B2 (ja)
CN (1) CN107431758B (ja)
WO (1) WO2016167137A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019068239A (ja) * 2017-09-29 2019-04-25 株式会社ジェイテクト 設備管理システム
EP3675479A4 (en) * 2017-08-21 2020-07-15 Sony Semiconductor Solutions Corporation IMAGING DEVICE AND APPARATUS
WO2020188669A1 (ja) * 2019-03-15 2020-09-24 株式会社ニコン 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
JP2021505080A (ja) * 2017-11-30 2021-02-15 ビーエイイー・システムズ・イメージング・ソリューションズ・インコーポレイテッド 動画のためのｌｅｄフリッカ軽減

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016167137A1 (ja) 2015-04-13 2016-10-20 ソニー株式会社 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム
JP2021022057A (ja) * 2019-07-25 2021-02-18 ファナック株式会社 設置支援装置、設置支援システム及び設置支援プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007161189A (ja) * 2005-12-16 2007-06-28 Auto Network Gijutsu Kenkyusho:Kk 車載カメラ及びドライブレコーダ
JP2009017293A (ja) * 2007-07-05 2009-01-22 Panasonic Corp 撮像装置
JP2009278496A (ja) * 2008-05-16 2009-11-26 Victor Co Of Japan Ltd 撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920175B2 (en) * 2005-01-13 2011-04-05 Canon Kabushiki Kaisha Electronic still camera performing composition of images and image capturing method therefor
JP5419390B2 (ja) * 2008-06-13 2014-02-19 富士通テン株式会社 ドライブレコーダ及びシステム
US8384800B2 (en) * 2009-11-23 2013-02-26 Samsung Electronics Co., Ltd. Methods of acquiring images
JP2011234318A (ja) * 2010-04-30 2011-11-17 Yamaha Corp 撮像装置
JP5397714B1 (ja) * 2012-08-01 2014-01-22 株式会社ジェイエイアイコーポレーション 監視用カメラ装置
CN104268508A (zh) * 2014-09-15 2015-01-07 济南大学 便携式色盲色弱人员交通信号灯辨别方法
WO2016167137A1 (ja) 2015-04-13 2016-10-20 ソニー株式会社 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007161189A (ja) * 2005-12-16 2007-06-28 Auto Network Gijutsu Kenkyusho:Kk 車載カメラ及びドライブレコーダ
JP2009017293A (ja) * 2007-07-05 2009-01-22 Panasonic Corp 撮像装置
JP2009278496A (ja) * 2008-05-16 2009-11-26 Victor Co Of Japan Ltd 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3285478A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3675479A4 (en) * 2017-08-21 2020-07-15 Sony Semiconductor Solutions Corporation IMAGING DEVICE AND APPARATUS
JP2019068239A (ja) * 2017-09-29 2019-04-25 株式会社ジェイテクト 設備管理システム
JP2021505080A (ja) * 2017-11-30 2021-02-15 ビーエイイー・システムズ・イメージング・ソリューションズ・インコーポレイテッド 動画のためのｌｅｄフリッカ軽減
JP7069315B2 (ja) 2017-11-30 2022-05-17 ビーエイイー・システムズ・イメージング・ソリューションズ・インコーポレイテッド 動画のためのｌｅｄフリッカ軽減
WO2020188669A1 (ja) * 2019-03-15 2020-09-24 株式会社ニコン 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
WO2020188875A1 (ja) * 2019-03-15 2020-09-24 株式会社ニコン 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム

Also Published As

Publication number Publication date
US20180084175A1 (en) 2018-03-22
EP3285478B1 (en) 2021-10-06
US20200029005A1 (en) 2020-01-23
US10999520B2 (en) 2021-05-04
EP3285478A4 (en) 2019-02-13
CN107431758A (zh) 2017-12-01
JP6627866B2 (ja) 2020-01-08
US10412309B2 (en) 2019-09-10
JPWO2016167137A1 (ja) 2018-02-08
EP3285478A1 (en) 2018-02-21
CN107431758B (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
JP6627866B2 (ja) 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム
US8743238B2 (en) Image processing apparatus, imaging apparatus, image processing method, and white balance adjustment method
US10194074B2 (en) Imaging system, warning generation device and method, imaging device and method, and program
JP5257695B2 (ja) 監視装置
CN109496187A (zh) 用于处理视频数据以通过动态曝光控制来检测和消除闪变光源的系统和方法
CN101292518A (zh) 防止视频电子设备中的闪烁效应
JP2019036907A (ja) 撮像装置及び機器
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
JP2009017474A (ja) 画像処理装置および画像処理方法
US9615031B2 (en) Imaging device and scene determination method
JP2014110621A (ja) 評価値算出装置および評価値算出方法
JP2017063245A (ja) 撮像装置
CN114979503A (zh) 摄像设备、闪烁检测方法和非暂时性计算机可读存储介质
JP5712821B2 (ja) 撮影表示制御システム
CN111263035B (zh) 拍摄高动态范围图像的系统、方法与照相机
US20180176445A1 (en) Imaging device and imaging method
CN112140877A (zh) 车载抬头显示装置的显示效果控制方法、装置及车辆
KR101601324B1 (ko) 차량용 카메라 시스템의 영상 획득 방법
US10829042B2 (en) Imaging apparatus with image sensor for detecting light in an atmospheric peak and vehicle having same
JP6266022B2 (ja) 画像処理装置、警報装置、および画像処理方法
JP2013009041A (ja) 車両用撮影表示制御システム
JP4677924B2 (ja) 撮影システム、動画像処理方法および動画像処理装置
JP2017175199A (ja) 車室内用カメラの目標範囲の設定方法および車室内用カメラ
JP2014179686A (ja) 撮像装置、その制御方法、および制御プログラム
JP6338062B2 (ja) 画像処理装置および撮像装置並びに画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16779928

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017512261

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15560227

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2016779928

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE