WO2017212955A1 - 撮像制御装置および方法、並びに車両 - Google Patents

撮像制御装置および方法、並びに車両 Download PDF

Info

Publication number
WO2017212955A1
WO2017212955A1 PCT/JP2017/019829 JP2017019829W WO2017212955A1 WO 2017212955 A1 WO2017212955 A1 WO 2017212955A1 JP 2017019829 W JP2017019829 W JP 2017019829W WO 2017212955 A1 WO2017212955 A1 WO 2017212955A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
signal
exposure
short accumulation
accumulation signal
Prior art date
Application number
PCT/JP2017/019829
Other languages
English (en)
French (fr)
Inventor
大典 川又
田中　寛之
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17810134.1A priority Critical patent/EP3471397B1/en
Priority to US16/303,189 priority patent/US10791287B2/en
Publication of WO2017212955A1 publication Critical patent/WO2017212955A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present technology relates to an imaging control device and method, and a vehicle, and more particularly, to an imaging control device and method that can efficiently analyze an image, and a vehicle.
  • Patent Document 1 In order to support driving of a vehicle, it is also known to capture and recognize white lines on the road, road signs, etc. with a video camera, and present the information to the driver of the vehicle if necessary (for example, Patent Document 1).
  • One aspect of the present technology provides a control unit that associates the short accumulation signal of the preceding frame with the short accumulation signal of the subsequent frame, and the signal of the subsequent frame using the short accumulation signal of the preceding frame.
  • An imaging control device including a processing unit for processing.
  • Embodiment (1) Configuration Example of Imaging Control Device (FIG. 1) (2) Frame sequence ( Figure 2) (3) Exposure control processing (FIG. 3) (4) Tone conversion processing (FIGS. 4 to 8) (5) Frame sequence to be compared (FIGS. 9 to 11) (6) Image sensor exposure timing (FIGS. 12 to 15) (7) Reflection of exposure control (FIGS. 16 to 19) 2. Application examples (FIGS. 20 and 21) 3. Other
  • the image sensor 21 controls the exposure time of the built-in pixels, and generates a long accumulation signal generated by setting a long accumulation exposure with a long exposure time and a short accumulation exposure having a short exposure time. It has a function of outputting a short accumulation signal. That is, the image sensor 21 can electronically change the exposure setting for each pixel. Further, the signal processing unit 31 executes WDR (Wide Dynamic Range) processing and gradation conversion processing.
  • WDR Wide Dynamic Range
  • step S59 the selection unit 52 determines whether to end the frame sequence process. If the end of the frame sequence process has not been instructed yet, the process returns to step S51, and the subsequent processes are repeated.
  • the exposure conditions for the first frames F41 and F51 cannot be set independently.
  • the first frames F41 and F51 are substantially invalid (that is, the original process cannot be executed).
  • four types of recognition processes that is, a first recognition process, a second recognition process, a third recognition process, and a fourth recognition process can be performed.
  • only three types of recognition processes can be executed. That is, the second recognition process cannot be executed.
  • FIG. 12 is a timing chart illustrating the timing of exposure control according to an embodiment of the present technology.
  • the timing chart of FIG. 12 shows an example in the case of using the image sensor 21 that realizes the WDR function without overlapping the readout timing of pixel signals.
  • the image sensor 21 has a function of outputting data of three frames having different accumulation times for each line of each frame, and can improve the image quality at low illumination.
  • FIG. 12 shows the case of two exposures, that is, the number of images obtained by exposure in one frame is two.
  • the exposure of the first line starts immediately after time t17 when the exposure of the first line of the long accumulation signal 102L ends, and ends at time t18.
  • the exposure of each line of the short accumulation signal 102S is sequentially performed immediately after the exposure of each line of the long accumulation signal 102L is completed.
  • the exposure of the last line of the short accumulation signal 102S ends at time t21.
  • the line 102Sh represents the exposure start timing of each line of the short accumulation signal 102S
  • the line 102Se represents the exposure end timing of each line. Further, since reading is performed immediately after the exposure is completed, the line 102Se also represents the timing of reading.
  • the short accumulation signal 102S is shown below the long accumulation signal 102L.
  • the line 102Sh of the short accumulation signal 102S is adjacent to the long accumulation signal 102L (that is, the line 102Sh of the short accumulation signal 102S is Should be placed in contact with the line 102Le).
  • the exposure time of the short accumulation signal 102S (time from time t17 to time t18) is sufficiently shorter than the exposure time of the long accumulation signal 102L (time from time t13 to time t17).
  • the exposure of the first line is started at time t19 between the vertical synchronization signal XVS2 and the vertical synchronization signal XVS3 for the long accumulation signal 103L of the frame ATR of the ATR processing next to the normal processing frame NML2. Then, the exposure ends at time t23 between the vertical synchronization signal XVS3 and the vertical synchronization signal XVS4. Thereafter, the exposure of the second and subsequent lines is sequentially performed, and the exposure of the last line starts at time t25 and ends at time t26. Therefore, the line 103Lh represents the exposure start timing of each line, and the line 103Le represents the exposure end timing. Further, since reading is performed immediately after the exposure is finished, the line 103Le also represents the timing of reading.
  • the exposure of the first line starts immediately after time t23 when the exposure of the first line of the long accumulation signal 103L ends, and ends at time t24.
  • the exposure of each line of the short accumulation signal 103S is sequentially performed immediately after the exposure of each line of the long accumulation signal 103L is completed.
  • the exposure of the last line of the short accumulation signal 103S ends at time t27.
  • the line 103Sh represents the exposure start timing of each line of the short accumulation signal 103S
  • the line 103Se represents the exposure end timing of each line. Further, since reading is performed immediately after the exposure is completed, the line 103Se also represents the timing of reading.
  • the exposure condition of the short accumulation signal 102S of the normal processing frame NML2 can be set differently from the exposure condition of the short accumulation signal 103S of the ATR processing frame ATR, but in this example, the same setting is used. That is, the time from time t17 to time t18, which is the exposure time of the short accumulation signal 102S, is the same as the time from time t23 to time t24, which is the exposure time of the short accumulation signal 103S.
  • the ATR detection data is updated at time t22 immediately after time t21 when the exposure of the last line of the short accumulation signal 102S is completed. That is, the detection data is updated from the detection data 21 to the detection data 22 at time t22.
  • the exposure is not performed.
  • reading is not performed or is not used even if read.
  • FIG. 13 is a timing chart for explaining the timing of exposure control according to an embodiment of the present technology.
  • This example shows a timing chart in the case where the image sensor 21 is of a type in which pixel signals of pixels of a plurality of frames are read simultaneously. Since this timing is the same as in the case of FIG. 12, the description thereof is omitted. In this method, as in the example of FIG. 12, it is possible to start exposure of the next frame while reading a signal of one frame.
  • FIG. 14 is a timing chart illustrating the timing of exposure control according to an embodiment of the present technology. 14, as in the example of FIG. 12, one long accumulation signal and two short accumulation signals are read in each frame by the image sensor 21 that realizes the WDR function without overlapping the readout timing of the pixel signals. An example of the case is shown. That is, this example shows a timing chart of three-sheet exposure.
  • the first line exposure starts immediately after the time t89 when the first line exposure of the first short accumulation signal 132S1 ends. Start and end at time t90.
  • the exposure of each line of the second short accumulation signal 132S2 is sequentially started immediately after the exposure of each line of the first short accumulation signal 132S1 is completed. Then, the exposure of the last line of the second short accumulation signal 132S2 ends at time t94.
  • the line 132S2h represents the exposure start timing of each line of the second short accumulation signal 132S2
  • the line 132S2e represents the exposure end timing of each line. Further, since reading is performed immediately after the exposure is completed, the line 132S2e also represents the timing of reading.
  • the exposure time (time from time t89 to time t90) of the second short accumulation signal 132S2 is shorter than the exposure time (time from time t88 to time t89) of the first short accumulation signal 132S1.
  • the ATR detection data is updated at time t95 immediately after time t94 when the exposure of the last line of the short accumulation signal 132S2 is completed. That is, the detection data is updated from the detection data 31 to the detection data 32 at time t95.
  • the exposure is not performed. .
  • reading is not performed or is not used even if read.
  • FIG. 15 is a timing chart illustrating the timing of exposure control according to an embodiment of the present technology. This example shows a timing chart in the case where the image sensor 21 has a light-receiving portion of a high-sensitivity pixel and a light-receiving portion of a low-sensitivity pixel for each pixel.
  • the timing chart in FIG. 15 is basically the same as the timing chart in FIG. However, the exposure timing of the short accumulation signal is different. That is, the exposure of the first line of the short accumulation signal 142S of the normal processing frame NML2 is performed from time t125 to time t126 between the vertical synchronization signal XVS31 and the vertical synchronization signal XVS32. The exposure of the last line is performed from time t128 to time t129 between the vertical synchronization signal XVS32 and the vertical synchronization signal XVS33. That is, the time at which the exposure of the last line of the short accumulation signal 142S ends is the same time t129 as the time at which the exposure of the last line of the long accumulation signal 142L ends. That is, in the case of this example, when the exposure of the long accumulation signal 142L has not been completed yet, the exposure of the short accumulation signal 142S is executed simultaneously in parallel so that some timings overlap.
  • the exposure of the first line of the short accumulation signal 143S of the ATR frame ATR is performed from time t131 between the vertical synchronization signal XVS32 and the vertical synchronization signal XVS33 to time t132 between the vertical synchronization signal XVS33 and the vertical synchronization signal XVS34. Is called.
  • the exposure of the last line is performed from time t134 to time t135 between the vertical synchronization signal XVS33 and the vertical synchronization signal XVS34. That is, the time when the last line exposure of the long accumulation signal 143L ends is the same time t135 as the time when the last line exposure of the short accumulation signal 143S ends.
  • the exposure conditions of the long accumulation signal 142L and the short accumulation signal 142S of the normal processing frame NML2 can be set differently from the exposure conditions of the long accumulation signal 143L and the short accumulation signal 143S of the ATR processing frame ATR.
  • the exposure condition of the short accumulation signal 142S of the normal processing frame NML2 is set to be the same as the exposure condition of the short accumulation signal 143S of the frame ATR of ATR processing.
  • FIG. 16 is a timing chart for explaining the timing of reflection of exposure control according to an embodiment of the present technology.
  • the short accumulation signal of the preceding frame can be used for the exposure control of the subsequent frame.
  • FIG. 16 shows a timing chart in this case.
  • WDR exposure is not performed and normal exposure is performed.
  • the long accumulation exposure is performed in the frame F101, the signal subjected to the long accumulation exposure is read out in the next frame F102, and the detection is performed based on the read out long accumulation signal in the next frame F103. Is performed (long accumulation detection is performed).
  • the short accumulation exposure is performed in the frame F102 in which the long accumulation signal is read, and the short accumulation signal is read in the frame F103 in which the next long accumulation detection is performed. Further, in the next frame F104, detection is performed based on the read short accumulation signal (short accumulation detection is performed).
  • the result of the long accumulation detection of the frame F103 and the short accumulation detection of the frame F104 is transmitted at the timing of the vertical synchronization signal XVS55 between the frames F104 and F105, and is reflected in the next cycle. In this way, it is possible to reflect the exposure information three frames before by effectively utilizing the short accumulation signal. That is, the image of the succeeding frame F105 is controlled based on the exposure information of the short accumulation exposure performed in the preceding frame F102 three frames before.
  • FIG. 17 is a block diagram illustrating a configuration of a signal processing unit according to an embodiment of the present technology. That is, FIG. 17 illustrates a configuration example of the signal processing unit 31 that executes the processing of FIG.
  • the signal processing unit 31 includes a HIST detection unit 201, a HIST detection unit 202, and a CPU (Central Processing Unit) 203.
  • the long accumulation signal output from the image sensor 21 is supplied to a subsequent chip 221 provided outside the signal processing unit 31 and is also supplied to the HIST detection unit 201.
  • the short accumulation signal output from the image sensor 21 is supplied to the HIST detection unit 202.
  • the post-stage chip 221 includes the recognition block 13 shown in FIG. 1, for example.
  • the HIST detector 202 detects the input short accumulation signal. That is, the same detection processing as that of the HIST detection unit 53 in FIG. 4 is performed on the short accumulation signal. This short accumulation detection is processing performed in frames F104 and F108 in FIG. The detection result is read by a register and supplied to the CPU 203.
  • the CPU 203 controls the exposure conditions of long accumulation and short accumulation of the image sensor 21 based on the detection result of one or both of the HIST detection unit 201 and the HIST detection unit 202. Since the short accumulation signal has a shorter exposure time, a wider dynamic range is detected. Therefore, when the dynamic range fluctuates, it is possible to feed back one frame earlier to the exposure control of the long accumulation signal.
  • the histogram is generated using the short accumulation signal or the long accumulation signal.
  • a signal whose dynamic range is expanded with a composite gain obtained by appropriately combining the long accumulation signal and the short accumulation signal will be described with reference to FIG.
  • FIG. 19 is a block diagram illustrating a configuration of a signal processing unit according to an embodiment of the present technology.
  • the basic configuration of the signal processing unit 31 in FIG. 19 is the same as that in FIG. 4, but in this example, the WDR combined signal from the combining unit 51 is sent to the HIST detection unit 53 instead of the short accumulation signal. Have been supplied.
  • the synthesizing unit 51 synthesizes the normal processing frame NML long accumulation signal and the short accumulation signal from the image sensor 21 to generate a WDR synthesis signal, and supplies it to the HIST detection unit 53.
  • the HIST detector 53 generates a gradation conversion curve. This gradation conversion curve is used later for ATR processing of the frame ATR.
  • the selection unit 52 selects only the long accumulation signal output from the image sensor 21 and outputs it to the ATR unit 54.
  • the ATR unit 54 outputs the input long accumulation signal as it is to the subsequent recognition unit 41. Note that the exposure of the short accumulation signal corresponds to the exposure of the short accumulation signal of the frame ATR, but the exposure of the long accumulation signal is set to be appropriate for the recognition processing target.
  • the histogram of the low luminance part can be complemented.
  • many gradations are assigned to the low-luminance portion, and the long accumulation signal has a higher resolution due to the low luminance. Therefore, it is possible to optimize gradation assignment by the long accumulation signal.
  • FIGS. 4 and 17 to 19 show the case where two sheets are combined as an example, three sheets can be combined.
  • HIST detection is used as detection, but photometric detection such as AE (Auto-Exposure) can also be used.
  • AE Auto-Exposure
  • the present technology does not include such a frame memory. It can also be applied to cases. Of course, the present technology can be applied even when a frame memory is provided.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as an apparatus mounted on any type of vehicle such as an automobile, an electric vehicle, a hybrid electric vehicle, and a motorcycle.
  • FIG. 20 is a block diagram illustrating an example of a schematic configuration of a vehicle control system 2000 to which the technology according to the present disclosure can be applied.
  • the vehicle control system 2000 includes a plurality of electronic control units connected via a communication network 2010.
  • the vehicle control system 2000 includes a drive system control unit 2100, a body system control unit 2200, a battery control unit 2300, a vehicle exterior information detection device 2400, a vehicle interior information detection device 2500, and an integrated control unit 2600.
  • the communication network 2010 that connects these multiple control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for performing communication with other control units via the communication network 2010, and wired or wireless communication with devices or sensors inside and outside the vehicle. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 2610 As the functional configuration of the integrated control unit 2600, a microcomputer 2610, a general-purpose communication I / F 2620, a dedicated communication I / F 2630, a positioning unit 2640, a beacon receiving unit 2650, an in-vehicle device I / F 2660, an audio image output unit 2670, An in-vehicle network I / F 2680 and a storage unit 2690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 2100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 2100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 2100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 2110 is connected to the drive system control unit 2100.
  • the vehicle state detection unit 2110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotation of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 2100 performs arithmetic processing using a signal input from the vehicle state detection unit 2110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 2200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 2200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 2200 can be input with radio waves transmitted from a portable device that substitutes for a key or signals of various switches.
  • the body system control unit 2200 receives the input of these radio waves or signals, and controls the vehicle door lock device, power window device, lamp, and the like.
  • the battery control unit 2300 controls the secondary battery 2310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 2300 from a battery device including the secondary battery 2310. The battery control unit 2300 performs arithmetic processing using these signals, and controls the temperature adjustment control of the secondary battery 2310 or the cooling device provided in the battery device.
  • the vehicle outside information detection device 2400 detects information outside the vehicle on which the vehicle control system 2000 is mounted.
  • the image pickup unit 2410 and the vehicle outside information detection unit 2420 is connected to the vehicle outside information detection device 2400.
  • the imaging unit 2410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 2420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle on which the vehicle control system 2000 is mounted. A surrounding information detection sensor is included.
  • FIG. 21 shows an example of installation positions of the imaging unit 2410 and the vehicle outside information detection unit 2420.
  • the imaging units 2910, 2912, 2914, 2916, and 2918 are provided at, for example, at least one position among a front nose, a side mirror, a rear bumper, a back door, and an upper portion of a windshield in the vehicle interior of the vehicle 2900.
  • An imaging unit 2910 provided in the front nose and an imaging unit 2918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 2900.
  • the imaging units 2912 and 2914 provided in the side mirror mainly acquire an image on the side of the vehicle 2900.
  • An imaging unit 2916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 2900.
  • An imaging unit 2918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 21 shows an example of shooting ranges of the respective imaging units 2910, 2912, 2914, and 2916.
  • the imaging range a indicates the imaging range of the imaging unit 2910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 2912 and 2914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging unit 2916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 2910, 2912, 2914, and 2916, an overhead image when the vehicle 2900 is viewed from above is obtained.
  • the in-vehicle information detection device 2500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 2510, and determines whether the driver is asleep. May be.
  • the in-vehicle information detection device 2500 may perform a process such as a noise canceling process on the collected audio signal.
  • the dedicated communication I / F 2630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F 2630 may implement a standard protocol such as WAVE (Wireless Access in Vehicle Environment) or DSRC (Dedicated Short Range Communications) which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. .
  • the dedicated communication I / F 2630 is typically a V2X concept that includes one or more of vehicle-to-vehicle communication, vehicle-to-infrastructure communication, and vehicle-to-pedestrian communication. Perform communication.
  • the positioning unit 2640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 2640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 2650 receives, for example, radio waves or electromagnetic waves transmitted from radio stations installed on the road, and acquires information such as the current position, traffic jams, closed roads, or required time. Note that the function of the beacon receiving unit 2650 may be included in the dedicated communication I / F 2630 described above.
  • the in-vehicle device I / F 2660 is a communication interface that mediates connections between the microcomputer 2610 and various devices existing in the vehicle.
  • the in-vehicle device I / F 2660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 2660 may establish a wired connection via a connection terminal (and a cable if necessary).
  • the in-vehicle device I / F 2660 exchanges a control signal or a data signal with, for example, a mobile device or wearable device that a passenger has, or an information device that is carried in or attached to the vehicle.
  • the in-vehicle network I / F 2680 is an interface that mediates communication between the microcomputer 2610 and the communication network 2010.
  • the in-vehicle network I / F 2680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 2010.
  • the microcomputer 2610 of the integrated control unit 2600 is connected via at least one of a general-purpose communication I / F 2620, a dedicated communication I / F 2630, a positioning unit 2640, a beacon receiving unit 2650, an in-vehicle device I / F 2660, and an in-vehicle network I / F 2680.
  • the vehicle control system 2000 is controlled according to various programs.
  • the microcomputer 2610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 2100. Also good.
  • the microcomputer 2610 may perform cooperative control for the purpose of avoiding or reducing the collision of a vehicle, following traveling based on the inter-vehicle distance, traveling at a vehicle speed, automatic driving, and the like.
  • the microcomputer 2610 is information acquired via at least one of the general-purpose communication I / F 2620, the dedicated communication I / F 2630, the positioning unit 2640, the beacon receiving unit 2650, the in-vehicle device I / F 2660, and the in-vehicle network I / F 2680. Based on the above, local map information including peripheral information on the current position of the vehicle may be created. Further, the microcomputer 2610 may generate a warning signal by predicting a danger such as collision of a vehicle, approach of a pedestrian or the like or approach to a closed road based on the acquired information. The warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the sound image output unit 2670 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or outside the vehicle.
  • an audio speaker 2710, a display unit 2720, and an instrument panel 2730 are illustrated as output devices.
  • the display unit 2720 may include at least one of an on-board display and a head-up display, for example.
  • the display unit 2720 may have an AR (Augmented Reality) display function.
  • the output device may be another device such as a headphone, a projector, or a lamp other than these devices.
  • the display device can display the results obtained by various processes performed by the microcomputer 2610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 2010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 2000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units.
  • the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 2010. .
  • the imaging control unit 22 and the recognition block 13 according to the present embodiment described with reference to FIG. 1 can be applied to the integrated control unit 2600 of the application example illustrated in FIG. .
  • At least a part of the components of the imaging control unit 22 and the recognition block 13 described with reference to FIG. 1 are modules for the integrated control unit 2600 shown in FIG. Circuit module). Or the imaging control part 22 and the recognition block 13 which are demonstrated using FIG. 1 may be implement
  • a computer program for realizing the functions of the imaging control unit 22 and the recognition block 13 described with reference to FIG. 1 can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can be configured as follows. (1) A control unit that associates the short accumulation signal of the preceding frame with the short accumulation signal of the subsequent frame; And a processing unit that processes the signal of the succeeding frame using the short accumulation signal of the preceding frame. (2) The control unit associates the short accumulation exposure for generating the short accumulation signal of the preceding frame with the short accumulation exposure for generating the short accumulation signal of the subsequent frame, The imaging control device according to (1), wherein the processing unit performs gradation conversion on a composite signal of the short accumulation signal and the long accumulation signal of the subsequent frame using the short accumulation signal of the preceding frame. (3) The imaging control apparatus according to (1) or (2), wherein the preceding frame and the subsequent frame constitute an N frame sequence.
  • the imaging control apparatus further including: a recognition unit that recognizes a recognition target from the tone-converted signal.
  • a recognition unit that recognizes a recognition target from the tone-converted signal.
  • An imaging unit that outputs a short accumulation signal and a long accumulation signal of the photographed image;
  • a control unit that associates the short accumulation signal of the preceding frame with the short accumulation signal of the subsequent frame;
  • a processing unit that processes the signal of the subsequent frame using the short accumulation signal of the preceding frame;
  • a vehicle comprising: a recognition unit that recognizes a recognition target from the processed signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、画像を効率的に分析できるようにする撮像制御装置および方法、並びに車両に関する。 撮影した画像の短蓄信号と長蓄信号のうち、先行フレームの短蓄信号が、後行フレームの短蓄信号と対応される。先行フレームの短蓄信号を利用して、後行フレームの信号が処理される。本技術は、例えばＮフレームシーケンスの各フレームにおいて、車両の運転を支援するのに必要な対象物、例えば車両が走行するに際しての障害物、案内物、その他の対象物を認識する処理等、各種の処理を行い、車両の運転を支援する装置において撮像を制御する場合に適用することができる。

Description

撮像制御装置および方法、並びに車両
　本技術は、撮像制御装置および方法、並びに車両に関し、特に画像を効率的に分析することができるようにした撮像制御装置および方法、並びに車両に関する。
　運転者が車両を安全に運転できるようにするために、さまざまな提案がなされている。例えば、レーダで車両の前方をスキャンし、車両や障害物が検知されたとき、運転者に警告を発したり、自動的にブレーキがかかるように制御することが提案されている。また前方を走行する車両との距離が適切になるように、走行速度を自動的に制御することも提案されている。
　さらに車両の運転を支援するために道路上の白線、道路標識等をビデオカメラで撮影、認識し、必要に応じて車両の運転者にその情報を提示することも知られている（例えば特許文献１）。
特開２０１３－２３９１４３号公報
　ところで運転支援には、迅速な対応が求められる。対応する時間が長くなると、その時間内に車両が走行する距離も長くなり、支援が間に合わなくなるからである。そのため、例えば車両の周囲を撮影し、その画像を分析することで、障害物等の有無を検知する場合にも、画像を効率的に分析できるようにすることが望まれる。
　本技術はこのような状況に鑑みてなされたものであり、画像を効率的に分析できるようにするものである。
　本技術の一側面は、先行フレームの短蓄信号を、後行フレームの前記短蓄信号と対応させる制御部と、前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理する処理部とを備える撮像制御装置である。
　前記制御部は、前記先行フレームの前記短蓄信号を生成するための短蓄露光を、前記後行フレームの前記短蓄信号を生成するための前記短蓄露光と対応させ、前記処理部は、前記先行フレームの前記短蓄信号を利用して、前記後行フレームの前記短蓄信号と長蓄信号の合成信号を階調変換することができる。
　前記先行フレームと前記後行フレームは、Ｎフレームシーケンスを構成することができる。
　前記先行フレームの前記短蓄信号をヒストグラム検波して、階調変換カーブを生成する検波部をさらに備え、前記処理部は、前記階調変換カーブに基づいて階調変換を行うことができる。
　前記検波部は、前記先行フレームの前記短蓄信号と前記長蓄信号を合成した合成信号をヒストグラム検波することができる。
　前記制御部は、前記先行フレームの前記短蓄信号に基づいて、前記後行フレームの露光を制御することができる。
　階調変換された信号から認識対象を認識する認識部をさらに備えることができる。
　本技術の一側面は、先行フレームの短蓄信号を、後行フレームの前記短蓄信号と対応させるステップと、前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理するステップとを含む撮像制御方法である。
　本技術の一側面は、撮影した画像の短蓄信号と長蓄信号を出力する撮影部と、先行フレームの前記短蓄信号を、後行フレームの前記短蓄信号と対応させる制御部と、前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理する処理部と、処理された信号から認識対象を認識する認識部とを備える車両である。
　本技術の一側面においては、先行フレームの短蓄信号が、後行フレームの短蓄信号と対応され、先行フレームの短蓄信号を利用して、後行フレームの信号が処理される。
　以上のように、本技術の一側面によれば、画像を効率的に分析することができる。なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また付加的な効果があってもよい。
本技術の一実施の形態の撮像制御装置の構成を示すブロック図である。 本技術の一実施の形態の認識処理を説明する図である。 本技術の一実施の形態の露光制御処理を説明するフローチャートである。 本技術の一実施の形態の信号処理部の構成を示すブロック図である。 本技術の一実施の形態の階調変換処理を説明するフローチャートである。 本技術の一実施の形態の階調変換カーブの生成処理を説明する図である。 本技術の一実施の形態のヒストグラムの範囲を説明する図である。 本技術の一実施の形態の階調変換カーブを説明する図である。 本技術と比較する認識処理を説明する図である。 本技術と比較する認識処理を説明する図である。 本技術と比較する信号処理部の構成を示すブロック図である。 本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。 本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。 本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。 本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。 本技術の一実施の形態の露光情報の反映のタイミングを説明するタイミングチャートである。 本技術の一実施の形態の信号処理部の構成を示すブロック図である。 本技術の一実施の形態の信号処理部の構成を示すブロック図である。 本技術の一実施の形態の信号処理部の構成を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。なお、説明は以下の順序で行う。
　１．　実施の形態
（１）　撮像制御装置の構成例（図１）
（２）　フレームシーケンス（図２）
（３）　露光制御処理（図３）
（４）　階調変換処理（図４～図８）
（５）　比較するフレームシーケンス（図９乃至図１１）
（６）　イメージセンサの露光タイミング（図１２～図１５）
（７）　露光制御の反映（図１６～図１９）
　２．応用例（図２０、図２１）
　３．その他
＜１．実施の形態＞
（１）　撮像制御装置の構成例
　図１は、本技術の一実施の形態の撮像制御装置の構成を示すブロック図である。撮像制御装置１は、光学系１１、撮像ブロック１２、認識ブロック１３、および出力部１４により構成されている。なおこれらは、図１においては一体的に構成された状態が示されているが、その一部は別体として設けることもできる。
　撮像ブロック１２は、イメージセンサ２１および撮像制御部２２により構成されている。撮像制御部２２は、信号処理部３１およびタイミング制御部３２により構成されている。認識ブロック１３は、認識部４１により構成されている。なお、イメージセンサ２１は、必要に応じて撮像ブロック１２の外部に配置することもできる。
　光学系１１はズームレンズ、フォーカスレンズ、絞り等を有し、被写体、すなわち認識対象からの光を集光し、イメージセンサ２１に入射させ、結像させる。イメージセンサ２１はCMOS（Complementary Metal Oxide Semiconductor）イメージセンサ、CCD(Charge-Coupled Device)イメージセンサなどにより構成される。イメージセンサ２１は、光学系１１からの入射光を受光し、光電変換を行うことで、光学系１１からの入射光に対応する被写体（認識対象）の画像を撮像する。すなわち、イメージセンサ２１は、タイミング制御部３２から指定される撮影タイミングで撮影を行い、対応する撮影信号を出力する。
　そして、イメージセンサ２１は、内蔵する画素の露光時間を制御し、露光時間が長い長蓄露光とすることで生成される長蓄信号と、露光時間が短い短蓄露光とすることで生成される短蓄信号とを出力する機能を有している。すなわち、イメージセンサ２１は、画素毎に電子的に露出設定を変えることができる。さらに信号処理部３１は、WDR（Wide Dynamic Range）処理と階調変換処理を実行する。
　信号処理部３１は、出力画像に対して、例えばノイズの除去、WB（ホワイトバランス）の調整などの処理を行う。また、信号処理部３１は、撮影画像の明るさを検波し、撮影画像の明るさが適正になる露光時間を適正露光時間として、タイミング制御部３２に出力する。
　タイミング制御部３２は、イメージセンサ２１の撮影タイミングを制御する。本実施の形態においては、Ｎフレームシーケンスで撮影が行われるように、タイミング制御部３２はイメージセンサ２１を制御する。詳細は図２を参照して後述するが、Ｎフレームを１フレームシーケンスとする撮影が行われる。Ｎの値は任意であるが、以下では、Ｎ＝４の場合を例として説明する。
　認識部４１は、フレームシーケンスを構成する各フレーム毎の画像を分析し、処理対象の認識処理を行う。いまの場合、４フレームシーケンスとされるので、第１のフレームにおいて第１の対象物に対する認識処理が実行され、以下同様に、第２乃至第４のフレームのそれぞれにおいて、第２乃至第４の対象物に対する認識処理が実行される。この認識処理は、車両の運転を支援するのに必要な対象物を認識する処理である。例えば車両が走行するに際しての障害物、案内物、その他の対象物を、フレームシーケンスを構成するフレームの数だけ（従って、いまの場合４種類の対象物を）認識することができる。
　出力部１４は、例えばモニタ、スピーカ等を有し、認識結果に基づく必要な情報を使用者（運転者）に提示する。
　撮像制御装置１は、例えば自動車等の車両に搭載される。
（２）　フレームシーケンス
　図２は、本技術の一実施の形態の認識処理を説明する図である。この図は、各フレームシーケンスの各フレームにおける認識処理を、模式的に表している。
　図２に示されるように、本実施の形態においては、Ｎフレームシーケンス（図２の場合、Ｎ＝４）で画像を周期的に取得し、各フレームの画像を分析することで所定の認識処理が実行される。図２の実施の形態の場合、１フレームシーケンスの時間的長さがＴ秒（例えば１秒以下の任意の時間）とされ、このフレームシーケンスがＴ秒毎に繰り返される。図２には、フレームシーケンス＃１とフレームシーケンス＃２が示されている。
　フレームシーケンス＃１においては、第１のフレームＦ１が第１の認識フレーム、第２のフレームＦ２が第２の認識フレーム、第３のフレームＦ３が第３の認識フレーム、第４のフレームＦ４が第４の認識フレームとされている。
　同様に、フレームシーケンス＃２においては、第１のフレームＦ１１が第１の認識フレーム、第２のフレームＦ１２が第２の認識フレーム、第３のフレームＦ１３が第３の認識フレーム、第４のフレームＦ１４が第４の認識フレームとされている。
　なお、図２において、第１のフレームには、その特徴を表すタイトルとして、WDRの文字が付されている。WDRは、Wide Dynamic Rangeを表し、このフレームにおいては長蓄と短蓄の２枚露光が行われる。第４のフレームには、その特徴を表すタイトルとして、NMLとHISTの文字が付されている。NMLは、Normalを表し、このフレームにおいては、ノーマル露光、すなわち長蓄のみの１枚露光が行われる。また、HISTはHistogramを表し、このフレームにおいてはHIST処理が行われる。
　イメージセンサ２１から出力された映像信号は、信号処理部３１でノイズ除去処理、WB処理等が行われた後、認識部４１に入力される。認識部４１は各フレームシーケンスの第１のフレームの映像信号に基づいて第１の認識処理を実行する。
　第１の認識処理の場合、信号処理部３１において、ダイナミックレンジをワイドダイナミックレンジ(WDR)にする処理が実行される。すなわち、通常のダイナミックレンジでは、極端な明暗差のある映像や、逆光の状態にある映像などからは、各部の対象を正確に認識することができない。そこで、ダイナミックレンジを広げることで、極端な明暗差のある映像や、逆光の状態にある映像などからでも、各部の対象を正確に認識できるようにする。
　さらに、この第１のフレームでは、信号処理部３１においてATR(Adaptive Tone Reproduction)処理が実行される。この第１のフレームでの処理を実現するため、その直前のフレームシーケンスの第４のフレームの短蓄露光を、第１のフレームの短蓄露光と合わせる処理が実行される。そして第４のフレームで、短蓄信号からヒストグラムが生成され、それに基づいて階調変換カーブが生成される。第１のフレームでは、この階調変換カーブに基づいて階調変換処理が実行される。
　第４のフレームの短蓄露光は、第１のフレームの短蓄露光と合わせられるため（第１のフレームの第１の処理に利用できるようにするため）、第４のフレームの第４の認識処理として、独自に短蓄露光を必要とする認識処理を割り当てることができない。つまり、第４のフレームの第４の認識処理には、短蓄露光を必要としない認識処理が割り当てられる。そこで第４のフレームは、長蓄のみの１枚露光が行われる（短蓄露光が利用されない）ノーマル露光のフレームとされる。
　認識部４１において、第１のフレームの次の第２のフレームでは、その映像信号に基づいて第２の認識処理が実行され、第３のフレームでは、その映像信号に基づいて第３の認識処理が実行される。そして第４のフレームではその映像信号に基づいて第４の認識処理が実行される。認識結果は、必要に応じて出力部１４に供給され、使用者に提示される。
　図２の実施の形態においては、フレームシーケンスを構成するフレームの数を４としたが、認識対象の数に応じてその数を増減することができる。
（３）　露光制御処理
　次に、図３を参照して、露光制御処理について説明する。図３は、本技術の一実施の形態の露光制御処理を説明するフローチャートである。
　ステップＳ１１において信号処理部３１は、イメージセンサ２１から入力される映像信号の現在のフレームが、ATR処理するフレームの直前のフレームであるかを判定する。図２を参照して説明したように、ATR処理するフレームは第１のフレーム（フレームＦ１，Ｆ１１）であるから、その直前のフレームは第４のフレーム（フレームＦ４，Ｆ１４）である。すなわち現在のフレームが第４のフレームであるかが判定される。また、上述したように、この第４のフレームはノーマル露光のフレームである必要がある。
　現在のフレームが第４のフレームではないと判定された場合、現在のフレームは、第１、第２、または第３のフレームである。この場合、ステップＳ１２において信号処理部３１は、対応する認識処理に必要な露光条件を設定する。例えば、信号処理部３１はタイミング制御部３２を制御し、対応する認識処理に必要な露光時間を設定させる。つまり、現在のフレームが第１のフレームである場合、その長蓄露光と短蓄露光の露光時間が、第１の認識処理に必要な露光時間に設定される。もちろん、露光条件としては、露光時間以外に、ゲイン、絞り、レンズ等を調整するようにすることもできるが、以下においては、主に露光時間として説明する。
　同様に、現在のフレームが第２のフレームである場合、その長蓄露光と短蓄露光の露光時間が、第２の認識処理に必要な露光時間に設定される。現在のフレームが第３のフレームである場合、その長蓄露光と短蓄露光の露光時間が、第３の認識処理に必要な露光時間に設定される。なお、短蓄信号が利用されない場合には、その露光時間の制御は省略することができる。
　一方、ステップＳ１１で、現在のフレームがATR処理するフレームの直前のフレームである、すなわち、第４のフレームであると判定された場合、処理はステップＳ１３に進む。ステップＳ１３において、信号処理部３１は、現在のフレームの短蓄を、ATR処理するフレームの短蓄に対応させる処理を実行する。つまり、第４のフレームの短蓄の露光時間を、ATR処理するフレームの短蓄の露光時間に合わせる処理が実行される。具体的には、信号処理部３１はタイミング制御部３２を制御し、第４のフレームの短蓄の露光時間を、第１のフレームの短蓄の露光時間に合わせる設定をさせる。これにより、第４のフレームの短蓄の露光時間が、第１のフレームの短蓄の露光時間と一致することになる。第４のフレームの長蓄の露光時間は、第４の認識処理に必要な時間に設定される。
　第４の認識処理においては短蓄信号は利用されていない。従って第４のフレームの短蓄露光を第１のフレームの短蓄露光に対応させても、第４の認識処理は実行することができる。すなわち、本実施の形態においては、ATR処理する直前のフレームには、その短蓄信号を利用しない認識処理が配置される。
　ステップＳ１２，Ｓ１３の処理の後、ステップＳ１４において、信号処理部３１はフレームシーケンス処理を終了するかを判定する。まだフレームシーケンス処理の終了が指示されていない場合、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。フレームシーケンス処理を終了すると判定された場合、露光制御処理は終了される。
（４）　階調変換処理
　上述したように信号処理部３１は、WDR処理と階調変換処理を実行する。このため信号処理部３１は図４に示される構成を有する。図４は、本技術の一実施の形態の信号処理部の構成を示すブロック図である。
　図４の実施の形態においては、信号処理部３１は合成部５１、選択部５２、HIST検波部５３およびATR部５４を有している。合成部５１は、イメージセンサ２１が出力する長蓄信号と短蓄信号を合成してWDR合成信号を出力する。選択部５２は、イメージセンサ２１が出力する長蓄信号と短蓄信号、または合成部５１が出力する合成信号のいずれかを選択するようにフレーム毎に切り替えられる。選択された信号（選択後信号）はATR部５４に出力される。
　HIST検波部５３は、イメージセンサ２１が出力する短蓄信号をHIST検波し、階調変換カーブを生成し、ATR部５４に出力する。ATR部５４は、HIST検波部５３により生成された階調変換カーブに基づいて、選択部５２から供給されたWDR合成信号を階調変換し、認識部４１に出力する。
　次に図５のフローチャートを参照して、図４の信号処理部３１が実行する階調変換処理について説明する。図５は、本技術の一実施の形態の階調変換処理を説明するフローチャートである。
　ステップＳ５１においてHIST検波部５３は、現在のフレームが、ATR処理するフレームの直前のフレームであるかを判定する。図２に示されるように、ATR処理するフレームである第１のフレーム（フレームＦ１，Ｆ１１）の直前のフレームは第４のフレーム（フレームＦ４,Ｆ１４）であるから、現在のフレームが第４のフレームであるかが判定される。換言すれば、現在のフレームが、ATR処理するフレームの短蓄露光と同じ露光条件が設定された短蓄露光の短蓄信号を有するフレーム（フレームＦ４，Ｆ１４）であるかが判定される。すなわち、図３のステップＳ１３の処理により、第４のフレームの短蓄の露光時間は、第１のフレームの短蓄の露光時間と一致するように設定されている。
　ステップＳ５１において現在のフレームがATR処理するフレームの直前のフレームであると判定された場合、つまり現在のフレームが第４のフレーム（フレームＦ４，Ｆ１４）であると判定された場合、ステップＳ５２の処理が実行される。ステップＳ５２においてHIST検波部５３は短蓄信号を取得する。そしてHIST検波部５３は、ヒストグラムを生成する。
　ステップＳ５３においてHIST検波部５３は、累積ヒストグラムを生成する。ステップＳ５４においてHIST検波部５３は累積ヒストグラムに基づいて、階調変換カーブを生成する。この階調変換カーブは次の第１のフレームの処理（後述するステップＳ５７の処理）で利用される。
　ステップＳ５４の処理の後、ステップＳ５８において、選択部５２は認識処理に対応する選択をする。いまの場合、現在のフレームは第４のフレーム（フレームＦ４，Ｆ１４）なので、長蓄信号または短蓄信号が選択され、ATR部５４をスルーして、認識部４１に供給される。そして認識部４１により第４の認識処理が実行される。
　ステップＳ５８の処理の後、ステップＳ５９において選択部５２は、フレームシーケンス処理を終了するかを判定する。まだフレームシーケンス処理の終了が指示されていない場合、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。
　ここでステップＳ５２乃至ステップＳ５４の処理について、図６と図７を参照して説明する。図６は、本技術の一実施の形態の階調変換カーブの生成処理を説明する図である。図６のＡは、ステップＳ５２で取得された短蓄信号から生成されたヒストグラムを表している。図６のＡにおいて横軸は画素値を表し、縦軸は画素数を表している。
　図６のＢは、ステップＳ５３で生成される累積ヒストグラムを表している。図６のＡに示される画素数を、順次隣の画素値の画素数に累積する処理が繰り返されて、図６のＢの累積ヒストグラムが生成される。さらにステップＳ５４で累積ヒストグラムに基づいて生成されるのが、図６のＣに示される階調変換カーブの元になるカーブである。このカーブを８ビットで表される画素値で表現するように変換することで、後述する図８に示される階調変換カーブが生成される。
　図７は、本技術の一実施の形態のヒストグラムの範囲を説明する図である。図７のＡは、短蓄信号に基づき生成されるヒストグラムを表しており、図７のＢは、長蓄信号に基づき生成されるヒストグラムを表している。図７のＡと図７のＢにおいて横軸は画素値を表し、縦軸は画素数を表している。２つの図を比較して明らかなように、図７のＡの横軸は短蓄画素値×露光比ゲインで表されるので、短蓄信号の画素値の範囲ＲＳの方が、長蓄信号の画素値の範囲ＲＬより広くなる。そこで、短蓄信号に基づいて有効な階調変換カーブを生成することができる。
　図５のフローチャートの説明に戻って、ステップＳ５１において、現在のフレームがATR処理するフレームの直前のフレーム（つまり第４のフレーム）ではないと判定された場合、ステップＳ５５の処理が実行される。すなわち現在のフレームが第１、第２または第３のフレームである場合、ステップＳ５５において選択部５２は、現在のフレームが、ATR処理するフレームであるかを判定する。つまり現在のフレームが第１のフレーム（フレームＦ１，Ｆ１１）であるかが判定される。
　現在のフレームがATR処理するフレームであると判定された場合、処理はステップＳ５６に進む。すなわち現在のフレームが第１のフレーム（フレームＦ１，Ｆ１１）である場合、ステップＳ５６において、選択部５２は合成信号を選択する。つまり、合成部５１により長蓄信号と短蓄信号を合成したWDR合成信号がATR部５４に供給される。
　ステップＳ５７においてATR部５３は、階調変換カーブを利用して階調を変換する。すなわち直前のフレーム（フレームＦ４，Ｆ１４）のステップＳ５４の処理において階調変換カーブが生成されている。ATR部５４はこの階調変換カーブを利用して、選択部５２により選択されたWDR合成信号の階調を変換する処理を実行する。
　図８は、本技術の一実施の形態の階調変換カーブを説明する図である。図８において横軸は変換前の画素値を表し、縦軸は変換後の画素値を表している。図８に示されるように、階調変換カーブは、図中黒丸印で表されるコントロールポイントの隣接する２個を順次直線で結んだ折れ線グラフとなる。選択部５２により選択された信号の変換前の画素値（横軸の値）は、階調変換カーブと交叉する点に対応する変換後の値（縦軸の値）に変換される。
　階調変換された信号は認識部４１に供給され、対応する認識処理が実行される。いまの場合、第１のフレーム（フレームＦ１，Ｆ１１）であるから、第１の認識処理が実行される。
　ステップＳ５７の処理の後、ステップＳ５９において選択部５２は、フレームシーケンス処理を終了するかを判定する。まだフレームシーケンス処理の終了が指示されていない場合、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。
　ステップＳ５５において、現在のフレームがATR処理する第１のフレームではない、すなわち第２のフレーム（フレームＦ２，Ｆ１２）または第３のフレーム（フレームＦ３，Ｆ１３）であると判定された場合、ステップＳ５８の処理が実行される。選択部５２はステップＳ５８において、認識処理に対応する選択をする。例えば、現在のフレームが第２のフレーム（フレームＦ２，Ｆ１２）である場合、長蓄信号または短蓄信号のうち、第２の認識処理に必要な信号が選択される。現在のフレームが第３のフレーム（フレームＦ３，Ｆ１３）である場合、長蓄信号または短蓄信号のうち、第３の認識処理に必要な信号が選択される。
　この場合、ATR部５４は特に処理をせず、選択された信号を認識部４１に供給する。認識部４１は対応する認識処理を実行する。すなわち現在のフレームが第２のフレーム（フレームＦ２，Ｆ１２）である場合、第２の認識処理が実行される。現在のフレームが第３のフレーム（フレームＦ３，Ｆ１３）である場合、第３の認識処理が実行される。
　ステップＳ５８の処理の後、ステップＳ５９において選択部５２は、フレームシーケンス処理を終了するかを判定する。まだフレームシーケンス処理の終了が指示されていない場合、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。
　ステップＳ５９において、フレームシーケンス処理の終了が指示されたと判定された場合、処理は終了される。
　以上のように、この実施の形態においては、Ｎフレームシーケンスのうちの時間的に前の先行フレームの短蓄信号を生成するための短蓄露光が、先行フレームより時間的に後の後行フレームの短蓄信号を生成するための短蓄露光と対応される。その結果、Ｎ個（図２の実施の形態においてはＮ＝４）の全てのフレームを効率的に、無駄なく認識処理に利用することができる。また、短蓄露光を対応させるフレームを、直前のフレームとしたので、迅速な認識処理が可能となる。
（５）　比較するフレームシーケンス
　ここで図９乃至図１１を参照して、異なるフレームシーケンス処理について説明する。図９は、本技術と比較する認識処理を説明する図である。図９の例では、フレームシーケンス＃１が４個のフレームＦ４１乃至フレームＦ４４で構成されている。そのうち、第２のフレームＦ４２においてWDR処理とATR処理に基づく第１の認識処理、第３のフレームＦ４３において第３の認識処理、そして第４のフレームＦ４４において第４の認識処理が実行される。同様に、フレームシーケンス＃２が４個のフレームＦ５１乃至フレームＦ５４で構成されている。そのうち、第２のフレームＦ５２においてWDR処理とATR処理に基づく第１の認識処理、第３のフレームＦ５３において第３の認識処理、そして第４のフレームＦ５４において第４の認識処理が実行される。
　そしてATR処理のためには、第２のフレームＦ４２，Ｆ５２の直前の第１のフレームＦ４１，Ｆ５１の露光条件を、第２のフレームＦ４２，Ｆ５２と同じ露光条件に設定する必要がある。第１のフレームＦ４１，Ｆ５１において独自の処理が実行できるようにするには、第１のフレームＦ４１，Ｆ５１の露光条件を独自に設定できるようにする必要がある。
　しかし図９の例では、第１のフレームＦ４１，Ｆ５１の露光条件を独自に設定することができない。その結果、第１のフレームＦ４１，Ｆ５１が、実質的に無効の（すなわち独自の処理が実行できない）フレームになっている。その結果、図２のフレームシーケンス処理では第１の認識処理、第２の認識処理、第３の認識処理、および第４の認識処理の４種類の認識処理が実行できている。これに対して、図９のフレームシーケンスの処理では、３種類の認識処理しか実行できない。つまり第２の認識処理が実行できないことになる。
　さらに図１０のようなフレームシーケンス処理も考えられる。図１０は、本技術と比較する認識処理を説明する図である。この例においては、フレームシーケンス＃１とフレームシーケンス＃２のいずれにおいても、４種類の認識処理が実行される。すなわち、フレームシーケンス＃１の第１のフレームＦ７１乃至第４のフレームＦ７４において、それぞれATRの第１の認識処理、第２の認識処理、第３の認識処理、または第４の認識処理の４種類の認識処理が実行される。同様に、フレームシーケンス＃２の第１のフレームＦ８１乃至第４のフレームＦ８４において、それぞれATRの第１の認識処理、第２の認識処理、第３の認識処理、または第４の認識処理の４種類の認識処理が実行される。
　同じ認識処理では同じ露光条件が設定される。従って、フレームシーケンス＃１の第１のフレームＦ７１の露光条件は、フレームシーケンス＃２の第１のフレームＦ８１の露光条件と同じとなる。そこで、フレームシーケンス＃２の第１のフレームＦ８１においては、フレームシーケンス＃１の第１のフレームＦ７１の情報を利用してATR処理が実行可能となる。しかしこのようにすると、１フレームシーケンス前（すなわちＴ秒前）の情報を利用してATR処理が実行されるため、迅速な処理ができず、このシステムを高速で走行する車両に適用することが困難となる。つまり、図２に示されるように、直前のフレーム（すなわちＴ／４秒前のフレーム）を利用した方が、迅速な処理が可能になる。
　図４に示す信号処理部３１と同様に、図９と図１０の例を処理する信号処理部４３１の構成は、図１１に示されるようになる。図１１は、本技術と比較する信号処理部の構成を示すブロック図である。図１１におけるイメージセンサ４２１、信号処理部４３１、合成部４５１、選択部４５２、HIST検波部４５３、ATR部４５４は、それぞれ図４のイメージセンサ２１、信号処理部３１、合成部５１、選択部５２、HIST検波部５３、ATR部５４に対応し、それらと同様の機能を有する。
　図４の信号処理部３１においては、HIST検波部５３は短蓄信号をHIST検波する。これに対して、図１１の信号処理部４３１においては、HIST検波部４５３は、選択部４５２によりフレーム毎に選択された選択後信号（すなわち、長蓄信号、短蓄信号またはWDR合成信号）をHIST検波する。
（６）　イメージセンサの露光タイミング
　以上においては、模式的なタイミングチャートに基づいてフレームシーケンス処理について説明した。次に、イメージセンサ２１として、画素を１行（ライン）毎に順次読み出すことができるイメージセンサを用いた場合のタイミングチャートについて説明する。
　図１２は、本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。図１２のタイミングチャートは、画素信号の読み出しタイミングをオーバーラップさせずにWDR機能を実現するイメージセンサ２１を使用した場合の例を示している。このイメージセンサ２１は、蓄積時間の異なる３フレームのデータを、各フレームのライン毎に出力する機能を有しており、低照度時の画質を改善することができる。なお、図１２は、２枚露光の場合、すなわち、１フレームにおける露光により得られる画像の枚数は２枚である場合を示している。
　この例では、２つのノーマル処理のフレーム（NML1,NML2）（すなわち１枚露光のフレーム）の次にATR処理のフレームATRが続いている。図１２においてtx（xは数字）は時刻を表し、XVSは垂直同期信号を表している。このことは他の図においても同様である。
　ノーマル処理のフレームNML2の長蓄信号１０２Lに関して、垂直同期信号XVS1と垂直同期信号XVS2の間の時刻t13において第１番目のラインの露光が開始され、その露光は、垂直同期信号XVS2と垂直同期信号XVS3の間の時刻t17で終了する。以下、第２番目以降のラインの露光が順次行われ、最後のラインの露光が時刻t16で開始され、時刻t20で終了する。従って、線１０２Lｈは各ラインの露光開始のタイミングを表し、線１０２Lｅは露光終了のタイミングを表している。また、露光が終了すると直ちに読み出しが行われるので、線１０２Lｅは読み出しのタイミングも表している。
　長蓄信号１０２Lに対応する短蓄信号１０２Sに関して、最初のラインの露光が、長蓄信号１０２Lの第１ラインの露光が終了した時刻t17の直後から開始され、時刻t18に終了する。以下同様に、長蓄信号１０２Lの各ラインの露光が終了した直後から短蓄信号１０２Sの各ラインの露光が順次行われる。そして短蓄信号１０２Sの最後のラインの露光は、時刻t21で終了する。この場合も、線１０２Shは、短蓄信号１０２Sの各ラインの露光開始のタイミングを表しており、線１０２Seは各ラインの露光終了のタイミングを表している。また、露光が終了すると直ちに読み出しが行われるので、線１０２Sｅは読み出しのタイミングも表している。
　なお、便宜上、短蓄信号１０２Sは、長蓄信号１０２Lの下に図示されているが、正確には、長蓄信号１０２Lの横に（すなわち、短蓄信号１０２Sの線１０２Shが長蓄信号１０２Lの線１０２Leと接するように）配置されるべきである。このことは、他の信号についても同様である。また、短蓄信号１０２Sの露光時間（時刻t17から時刻t18までの時間）は、長蓄信号１０２Lの露光時間（時刻t13から時刻t17までの時間）より十分短い。
　ノーマル処理のフレームNML2の次のATR処理のフレームATRの長蓄信号１０３Lに関して、垂直同期信号XVS2と垂直同期信号XVS3の間の時刻t19において第１番目のラインの露光が開始される。そしてその露光は、垂直同期信号XVS3と垂直同期信号XVS4の間の時刻t23で終了する。以下、第２番目以降のラインの露光が順次行われ、最後のラインの露光が時刻t25で開始され、時刻t26で終了する。従って、線１０３Lｈは各ラインの露光開始のタイミングを表し、線１０３Lｅは露光終了のタイミングを表している。また、露光が終了すると直ちに読み出しが行われるので、線１０３Lｅは読み出しのタイミングも表している。
　長蓄信号１０３Lに対応する短蓄信号１０３Sに関して、最初のラインの露光が、長蓄信号１０３Lの第１ラインの露光が終了した時刻t23の直後から開始され、時刻t24に終了する。以下同様に、長蓄信号１０３Lの各ラインの露光が終了した直後から短蓄信号１０３Sの各ラインの露光が順次行われる。そして短蓄信号１０３Sの最後のラインの露光は、時刻t27で終了する。この場合も、線１０３Shは、短蓄信号１０３Sの各ラインの露光開始のタイミングを表しており、線１０３Seは各ラインの露光終了のタイミングを表している。また、露光が終了すると直ちに読み出しが行われるので、線１０３Sｅは読み出しのタイミングも表している。
　ノーマル処理のフレームNML2の短蓄信号１０２Sの露光条件は、ATR処理のフレームATRの短蓄信号１０３Sの露光条件と異なる設定が可能であるが、この例では同じ設定とされている。つまり、短蓄信号１０２Sの露光時間である時刻t17から時刻t18までの時間は、短蓄信号１０３Sの露光時間である時刻t23から時刻t24までの時間と同じである。ATR検波データの更新は、短蓄信号１０２Sの最後のラインの露光が終了した時刻t21のすぐ後の時刻t22とされている。すなわち検波データは、時刻t22において検波データ２１から検波データ２２に更新される。
　なおこの例では、ノーマル処理のフレームNML1の長蓄信号１０１Lに続くタイミングの短蓄信号１０１Sは、使用されていないのでその露光が行われない。または読み出しが行われないか、読み出されても使用されない。
　図１３は、本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。この例は、イメージセンサ２１が、複数のフレームの画素の画素信号が同時に読み出される方式のものである場合のタイミングチャートを表している。このタイミングは、図１２の場合と同様であるのでその説明は省略する。この方式では、図１２の例の場合と同様に、１フレームの信号の読み出し中に、次のフレームの露光を開始することが可能である。
　図１４は、本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。この図１４は、図１２の例と同様に、画素信号の読み出しタイミングをオーバーラップさせずにWDR機能を実現するイメージセンサ２１により、各フレームにおいて１つの長蓄信号と２つの短蓄信号を読み出す場合の例を示している。すなわちこの例は、３枚露光のタイミングチャートを表している。
　長蓄信号と第１の短蓄信号の露光タイミングは、図１２の２枚露光の場合と同様であるので、その説明は省略し、第２の短蓄信号のタイミングについてのみ説明を追加する。
　ノーマル処理のフレームNML1の信号は、長蓄信号１３１L、第１の短蓄信号１３１S1、第２の短蓄信号１３１S2であり、ノーマル処理のフレームNML2の信号は、長蓄信号１３２L、第１の短蓄信号１３２S1、第２の短蓄信号１３２S2である。ATR処理のフレームATRの信号は、長蓄信号１３３L、第１の短蓄信号１３３S1、第２の短蓄信号１３３S2である。
　ノーマル処理のフレームNML2の長蓄信号１３２Lに対応する第２の短蓄信号１３２S2に関して、最初のラインの露光が、第１の短蓄信号１３２S1の最初のラインの露光が終了した時刻t89の直後から開始され、時刻t90に終了する。以下同様に、第１の短蓄信号１３２S1の各ラインの露光が終了した直後から第２の短蓄信号１３２S2の各ラインの露光が順次開始される。そして第２の短蓄信号１３２S2の最後のラインの露光は、時刻t94で終了する。この場合も、線１３２S2hは、第２の短蓄信号１３２S2の各ラインの露光開始のタイミングを表しており、線１３２S2eは各ラインの露光終了のタイミングを表している。また、露光が終了すると直ちに読み出しが行われるので、線１３２S2ｅは読み出しのタイミングも表している。
　なお、便宜上、第２の短蓄信号１３２S2は、第１の短蓄信号１３２S1の下に図示されているが、正確には、第１の短蓄信号１３２S1の横に（すなわち、第２の短蓄信号１３２S2の線１３２S2hが第１の短蓄信号１３２S1の線１３２S1eと接するように）配置されるべきである。このことは、他の信号についても同様である。
　ATR処理のフレームATRの長蓄信号１３３Lに対応する第２の短蓄信号１３３S2に関して、最初のラインの露光が、第１の短蓄信号１３３S1の最初のラインの露光が終了した時刻t97の直後から開始され、時刻t98に終了する。以下同様に、第１の短蓄信号１３３S1の各ラインの露光が終了した直後から第２の短蓄信号１３３S2の各ラインの露光が順次開始される。そして第２の短蓄信号１３３S2の最後のラインの露光は、時刻t102で終了する。この場合も、線１３３S2hは、第２の短蓄信号１３３S2の各ラインの露光開始のタイミングを表しており、線１３３S2eは各ラインの露光終了のタイミングを表している。また、露光が終了すると直ちに読み出しが行われるので、線１３３S2ｅは読み出しのタイミングも表している。
　ノーマル処理のフレームNML2の長蓄信号１３２L、第１の短蓄信号１３２S1，第２の短蓄信号１３２S2の露光条件は、ATR処理のフレームATRの長蓄信号１３３L、第１の短蓄信号１３３S1，第２の短蓄信号１３３S2の露光条件と異なる設定が可能である。しかし、この例では、ノーマル処理のフレームNML2の第１の短蓄信号１３２S1の露光条件が、ATR処理のフレームATRの第１の短蓄信号１３３S1の露光条件と同じとされている。同様に、第２の短蓄信号１３２S2の露光条件は、ATR処理のフレームATRの第２の短蓄信号１３３S2の露光条件と同じとされている。なお、この例では、第２の短蓄信号１３２S2の露光時間（時刻t89から時刻t90までの時間）は、第１の短蓄信号１３２S1の露光時間（時刻t88から時刻t89までの時間）より短い。ATR検波データの更新は、短蓄信号１３２S2の最後のラインの露光が終了した時刻t94のすぐ後の時刻t95とされている。すなわち検波データは、時刻t95において検波データ３１から検波データ３２に更新される。
　またこの例では、ノーマル処理のフレームNML1の長蓄信号１３１Lに続くタイミングの第２の短蓄信号１３１S2は、第１の短蓄信号１３１S1と同様に使用されていないので、その露光が行われない。または読み出しが行われないか、読み出されても使用されない。
　図１５は、本技術の一実施の形態の露光制御のタイミングを説明するタイミングチャートである。この例は、イメージセンサ２１が１つの画素につき、高感度画素の受光部と、低感度画素の受光部とを有している場合のタイミングチャートを表している。
　この図１５のタイミングチャートは、基本的に図１２のタイミングチャートと同様である。ただ短蓄信号の露光タイミングが異なっている。すなわち、ノーマル処理のフレームNML2の短蓄信号１４２Sの最初のラインの露光は、垂直同期信号XVS31と垂直同期信号XVS32の間の時刻t125から時刻t126まで行われる。最後のラインの露光は、垂直同期信号XVS32と垂直同期信号XVS33の間の時刻t128から時刻t129まで行われる。すなわち、短蓄信号１４２Sの最後のラインの露光が終了する時刻が、長蓄信号１４２Lの最後のラインの露光が終了する時刻と同じ時刻t129となる。つまりこの例の場合、長蓄信号１４２Lの露光がまだ終了していないとき、一部のタイミングが重なるように、同時に並行して短蓄信号１４２Sの露光が実行される。
　ATR処理のフレームATRの短蓄信号１４３Sの最初のラインの露光は、垂直同期信号XVS32と垂直同期信号XVS33の間の時刻t131から、垂直同期信号XVS33と垂直同期信号XVS34の間の時刻t132まで行われる。最後のラインの露光は、垂直同期信号XVS33と垂直同期信号XVS34の間の時刻t134から時刻t135まで行われる。すなわち、長蓄信号１４３Lの最後のラインの露光が終了する時刻が、短蓄信号１４３Sの最後のラインの露光が終了する時刻と同じ時刻t135となる。
　ノーマル処理のフレームNML2の長蓄信号１４２L、短蓄信号１４２Sの露光条件は、ATR処理のフレームATRの長蓄信号１４３L、短蓄信号１４３Sの露光条件と異なる設定が可能である。しかし、この例では、ノーマル処理のフレームNML2の短蓄信号１４２Sの露光条件は、ATR処理のフレームATRの短蓄信号１４３Sの露光条件と同じに設定されている。
　なおこの例では、ノーマル処理のフレームNML1の長蓄信号１４１Lに続くタイミングの短蓄信号１４１Sは使用されていないのでその露光が行われない。または読み出しが行われないか、読み出されても使用されない。
　また、イメージセンサ２１が、画素毎に電子的に露出設定を変えることができる構成の他のイメージセンサである場合にも、そのタイミングチャートは、図１５と同様になる。
（７）　露光制御の反映
　図１６は、本技術の一実施の形態の露光制御の反映のタイミングを説明するタイミングチャートである。先行フレームの短蓄信号を、後行フレームの露光制御に用いることができる。図１６は、この場合のタイミングチャートを表している。
　図１６の実施の形態においては、WDR露光は行われず、ノーマル露光が行われる。この例では、フレームＦ１０１で、長蓄露光が行われ、次のフレームＦ１０２で、長蓄露光された信号が読み出され、さらに次のフレームＦ１０３で、読み出された長蓄信号に基づいて検波が行われる（長蓄検波が行われる）。
　長蓄信号の読み出しが行われているフレームＦ１０２で、短蓄露光が行われ、次の長蓄検波が行われているフレームＦ１０３で短蓄信号の読み出しが行われる。そしてさらにその次のフレームＦ１０４で、読み出された短蓄信号に基づいて検波が行われる（短蓄検波が行われる）。
　以上のフレームＦ１０１乃至フレームＦ１０４と同様の処理が、続くフレームＦ１０５乃至フレームＦ１０８のサイクルにおいても行われる。
　フレームＦ１０３の長蓄検波とフレームＦ１０４の短蓄検波の結果は、フレームＦ１０４とフレームＦ１０５の間の垂直同期信号XVS55のタイミングで送信され、次のサイクルに反映される。このように、短蓄信号を有効に活用して、３フレーム前の露光情報を反映させることができる。つまり後行のフレームＦ１０５の画像が、３フレーム前の先行のフレームＦ１０２で行われた短蓄露光の露光情報に基づいて制御される。
　この実施の形態の場合、３フレーム前の短蓄信号の検波データを使用して、露光制御が行われるので、明暗変化に迅速に追従することが可能となる。
　図１７は、本技術の一実施の形態の信号処理部の構成を示すブロック図である。すなわち、図１７は、図１６の処理を実行する信号処理部３１の構成例を表している。
　この例においては、信号処理部３１は、HIST検波部２０１とHIST検波部２０２、およびCPU(Central Processing Unit)２０３により構成されている。イメージセンサ２１が出力する長蓄信号は、信号処理部３１の外部に設けられた後段チップ２２１に供給されるとともに、HIST検波部２０１に供給されている。イメージセンサ２１が出力する短蓄信号はHIST検波部２０２に供給されている。なお、後段チップ２２１は、例えば図１の認識ブロック１３を有する。
　HIST検波部２０１は入力される長蓄信号を検波する。すなわち、図４のHIST検波部５３と同様の検波処理が、長蓄信号に関して行われる。この長蓄検波は、図１６のフレームＦ１０３、Ｆ１０７で行われる処理である。検波結果はレジスタで読み出され、CPU２０３に供給される。
　HIST検波部２０２は入力される短蓄信号を検波する。すなわち、図４のHIST検波部５３と同様の検波処理が、短蓄信号に関して行われる。この短蓄検波は、図１６のフレームＦ１０４、Ｆ１０８で行われる処理である。検波結果はレジスタで読み出され、CPU２０３に供給される。
　CPU２０３は、HIST検波部２０１とHIST検波部２０２の一方または両方の検波の結果に基づいて、イメージセンサ２１の長蓄と短蓄の露光条件を制御する。短蓄信号の方が、露光時間が短くなるため、よりダイナミックレンジが広い範囲を検波する。従って、ダイナミックレンジが変動した場合、長蓄信号の露光制御に１フレーム早くフィードバックすることが可能となる。
　図１８は、本技術の一実施の形態の信号処理部の構成を示すブロック図である。図１８も、図１６の処理を実行する信号処理部３１の構成例を表している。この例においては、図１７におけるCPU２０３が省略され、HIST検波部２０１とHIST検波部２０２の出力が、外部の後段チップ２２１に供給されている。そして、後段チップ２２１が、図１７のCPU２０３に代わって、イメージセンサ２１の露光条件を外部から制御する。
　以上においては、短蓄信号または長蓄信号を用いてヒストグラムを生成するようにしたが、長蓄信号と短蓄信号を適切に合成した合成ゲインでダイナミックレンジを拡張した信号を用いることもできる。以下、この場合の例を、図１９を参照して説明する。
　図１９は、本技術の一実施の形態の信号処理部の構成を示すブロック図である。図１９の信号処理部３１の基本的構成は、図４の場合と同様であるが、この例においては、HIST検波部５３に、短蓄信号に代えて、合成部５１からのWDR合成信号が供給されている。合成部５１は、イメージセンサ２１からのノーマル処理のフレームNMLの長蓄信号と短蓄信号を合成して、WDR合成信号を生成し、HIST検波部５３に供給する。HIST検波部５３は階調変換カーブを生成する。この階調変換カーブは後でフレームATRのATR処理に利用される。
　選択部５２は、イメージセンサ２１が出力する長蓄信号だけを選択し、ATR部５４に出力する。ATR部５４は、入力された長蓄信号をそのまま後段の認識部４１に出力する。なお、短蓄信号の露光は、フレームATRの短蓄信号の露光と対応されているが、長蓄信号の露光は、認識処理対象に対して適正になるように設定されている。
　この例においては、HIST検波に長蓄信号も使用されるので、低輝度部分のヒストグラムを補完することができる。通常、低輝度部分に階調を多く割り当てることが多く、長蓄信号は、低輝度により高い解像度を有している。従って、長蓄信号により階調の割り当てを最適化することができる。
　なお、図４、図１７乃至図１９においては、２枚合成の場合を例として示したが、３枚合成を行うことも可能である。
　なお、以上においては、検波としてHIST検波を用いるようにしたが、AE（Auto Exposure）等の測光検波を用いることもできる。
　１枚の画像を保存するフレームメモリが設けられている場合、保存された画像に対して検波と階調変換を同時に行うことができるが、本技術は、このようなフレームメモリが設けられていない場合にも適用が可能である。もちろん、フレームメモリが設けられている場合であっても、本技術は適用することができる。
　＜２．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。
　図２０は、本開示に係る技術が適用され得る車両制御システム２０００の概略的な構成の一例を示すブロック図である。車両制御システム２０００は、通信ネットワーク２０１０を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム２０００は、駆動系制御ユニット２１００、ボディ系制御ユニット２２００、バッテリ制御ユニット２３００、車外情報検出装置２４００、車内情報検出装置２５００、及び統合制御ユニット２６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク２０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２０では、統合制御ユニット２６００の機能構成として、マイクロコンピュータ２６１０、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０、音声画像出力部２６７０、車載ネットワークＩ／Ｆ２６８０及び記憶部２６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット２１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット２１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット２１００には、車両状態検出部２１１０が接続される。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット２２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット２２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット２２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット２３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池２３１０を制御する。例えば、バッテリ制御ユニット２３００には、二次電池２３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット２３００は、これらの信号を用いて演算処理を行い、二次電池２３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出装置２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出装置２４００には、撮像部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続される。撮像部２４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム２０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２１は、撮像部２４１０及び車外情報検出部２４２０の設置位置の例を示す。撮像部２９１０，２９１２，２９１４，２９１６，２９１８は、例えば、車両２９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を取得する。サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２１には、それぞれの撮像部２９１０，２９１２，２９１４，２９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部２９１２，２９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部２９１６の撮像範囲を示す。例えば、撮像部２９１０，２９１２，２９１４，２９１６で撮像された画像データが重ね合わせられることにより、車両２９００を上方から見た俯瞰画像が得られる。
　車両２９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０は、例えば超音波センサ又はレーダ装置であってよい。車両２９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２６，２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０～２９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２０に戻って説明を続ける。車外情報検出装置２４００は、撮像部２４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出装置２４００は、接続されている車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出装置２４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出装置２４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出装置２４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出装置２４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出装置２４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出装置２４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部２４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出装置２４００は、異なる撮像部２４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出装置２５００は、車内の情報を検出する。車内情報検出装置２５００には、例えば、運転者の状態を検出する運転者状態検出部２５１０が接続される。運転者状態検出部２５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出装置２５００は、運転者状態検出部２５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出装置２５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット２６００は、各種プログラムにしたがって車両制御システム２０００内の動作全般を制御する。統合制御ユニット２６００には、入力部２８００が接続されている。入力部２８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部２８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部２６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＡＭ（Random　Access　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＯＭ（Read　Only　Memory）を含んでいてもよい。また、記憶部２６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ２６２０は、外部環境２７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ２６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ２６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ２６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ２６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、又はＤＳＲＣ（Dedicated　Short　Range　Communications）といった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ２６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部２６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部２６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部２６５０の機能は、上述した専用通信Ｉ／Ｆ２６３０に含まれてもよい。
　車内機器Ｉ／Ｆ２６６０は、マイクロコンピュータ２６１０と車内に存在する様々な機器との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ２６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して有線接続を確立してもよい。車内機器Ｉ／Ｆ２６６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ２６８０は、マイクロコンピュータ２６１０と通信ネットワーク２０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット２６００のマイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム２０００を制御する。例えば、マイクロコンピュータ２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ２６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部２６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ２７１０、表示部２７２０及びインストルメントパネル２７３０が例示されている。表示部２７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部２７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ２６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２０に示した例において、通信ネットワーク２０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム２０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク２０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク２０１０を介して相互に検出情報を送受信してもよい。
　以上説明した車両制御システム２０００において、図１を用いて説明した本実施の形態に係る撮像制御部２２と認識ブロック１３は、図２０に示した応用例の統合制御ユニット２６００に適用することができる。
　また、図１を用いて説明した撮像制御部２２と認識ブロック１３の少なくとも一部の構成要素は、図２０に示した統合制御ユニット２６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１を用いて説明したる撮像制御部２２と認識ブロック１３が、図２０に示した車両制御システム２０００の複数の制御ユニットによって実現されてもよい。
　なお、図１を用いて説明した撮像制御部２２と認識ブロック１３の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜３．その他＞
　本技術は、以下のような構成もとることができる。
（１）
　先行フレームの短蓄信号を、後行フレームの前記短蓄信号と対応させる制御部と、
　前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理する処理部と
　を備える撮像制御装置。
（２）
　前記制御部は、前記先行フレームの前記短蓄信号を生成するための短蓄露光を、前記後行フレームの前記短蓄信号を生成するための前記短蓄露光と対応させ、
　前記処理部は、前記先行フレームの前記短蓄信号を利用して、前記後行フレームの前記短蓄信号と長蓄信号の合成信号を階調変換する
　前記（１）に記載の撮像制御装置。
（３）
　前記先行フレームと前記後行フレームは、Ｎフレームシーケンスを構成する
　前記（１）または（２）に記載の撮像制御装置。
（４）
　前記先行フレームの前記短蓄信号をヒストグラム検波して、階調変換カーブを生成する検波部をさらに備え、
　前記処理部は、前記階調変換カーブに基づいて階調変換を行う
　前記（１）乃至（３）のいずれかに記載の撮像制御装置。
（５）
　前記検波部は、前記先行フレームの前記短蓄信号と前記長蓄信号を合成した合成信号をヒストグラム検波する
　前記（１）乃至（４）のいずれかに記載の撮像制御装置。
（６）
　前記制御部は、前記先行フレームの前記短蓄信号に基づいて、前記後行フレームの露光を制御する
　前記（１）乃至（５）のいずれかに記載の撮像制御装置。
（７）
　階調変換された信号から認識対象を認識する認識部をさらに備える
　前記（１）乃至（６）のいずれかに記載の撮像制御装置。
（８）
　先行フレームの短蓄信号を、後行フレームの前記短蓄信号と対応させるステップと、
　前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理するステップと
　を含む撮像制御方法。
（９）
　撮影した画像の短蓄信号と長蓄信号を出力する撮影部と、
　先行フレームの前記短蓄信号を、後行フレームの前記短蓄信号と対応させる制御部と、
　前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理する処理部と、
　処理された信号から認識対象を認識する認識部と
　を備える車両。
１１　光学系，　１２　撮像ブロック，　１３　認識ブロック，　２１　イメージセンサ，　３１　信号処理部，　３２　タイミング制御部，　４１　認識部，　５１　合成部，　５２　選択部，　５３　HIST検波部，　５４　ATR部

Claims (9)

  1. 　先行フレームの短蓄信号を、後行フレームの前記短蓄信号と対応させる制御部と、
    　前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理する処理部と
    　を備える撮像制御装置。
  2. 　前記制御部は、前記先行フレームの前記短蓄信号を生成するための短蓄露光を、前記後行フレームの前記短蓄信号を生成するための前記短蓄露光と対応させ、
    　前記処理部は、前記先行フレームの前記短蓄信号を利用して、前記後行フレームの前記短蓄信号と長蓄信号の合成信号を階調変換する
    　請求項１に記載の撮像制御装置。
  3. 　前記先行フレームと前記後行フレームは、Ｎフレームシーケンスを構成する
    　請求項２に記載の撮像制御装置。
  4. 　前記先行フレームの前記短蓄信号をヒストグラム検波して、階調変換カーブを生成する検波部をさらに備え、
    　前記処理部は、前記階調変換カーブに基づいて階調変換を行う
    　請求項３に記載の撮像制御装置。
  5. 　前記検波部は、前記先行フレームの前記短蓄信号と前記長蓄信号を合成した合成信号をヒストグラム検波する
    　請求項４に記載の撮像制御装置。
  6. 　前記制御部は、前記先行フレームの前記短蓄信号に基づいて、前記後行フレームの露光を制御する
    　請求項１に記載の撮像制御装置。
  7. 　階調変換された信号から認識対象を認識する認識部をさらに備える
    　請求項４に記載の撮像制御装置。
  8. 　先行フレームの短蓄信号を、後行フレームの前記短蓄信号と対応させるステップと、
    　前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理するステップと
    　を含む撮像制御方法。
  9. 　撮影した画像の短蓄信号と長蓄信号を出力する撮影部と、
    　先行フレームの前記短蓄信号を、後行フレームの前記短蓄信号と対応させる制御部と、
    　前記先行フレームの前記短蓄信号を利用して、前記後行フレームの信号を処理する処理部と、
    　処理された信号から認識対象を認識する認識部と
    　を備える車両。
PCT/JP2017/019829 2016-06-09 2017-05-29 撮像制御装置および方法、並びに車両 WO2017212955A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17810134.1A EP3471397B1 (en) 2016-06-09 2017-05-29 Image capture control device and method, and vehicle
US16/303,189 US10791287B2 (en) 2016-06-09 2017-05-29 Imaging control apparatus and method, and vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-114976 2016-06-09
JP2016114976A JP2017220843A (ja) 2016-06-09 2016-06-09 撮像制御装置および方法、並びに車両

Publications (1)

Publication Number Publication Date
WO2017212955A1 true WO2017212955A1 (ja) 2017-12-14

Family

ID=60578244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/019829 WO2017212955A1 (ja) 2016-06-09 2017-05-29 撮像制御装置および方法、並びに車両

Country Status (4)

Country Link
US (1) US10791287B2 (ja)
EP (1) EP3471397B1 (ja)
JP (1) JP2017220843A (ja)
WO (1) WO2017212955A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018457A (ja) * 2001-06-29 2003-01-17 Toshiba Corp 撮像装置及び映像信号処理方法
JP2015142201A (ja) * 2014-01-28 2015-08-03 株式会社富士通ゼネラル 撮像装置
JP2016053849A (ja) * 2014-09-03 2016-04-14 ソニー株式会社 画像処理装置および画像処理方法、並びに固体撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051604B1 (ko) * 2003-01-09 2011-07-22 소니 주식회사 화상 처리 장치 및 방법
US8441535B2 (en) * 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
US8358351B2 (en) * 2009-06-05 2013-01-22 Apple Inc. Automatic tone mapping for cameras
JP5432799B2 (ja) * 2010-03-30 2014-03-05 オリンパスイメージング株式会社 撮像装置、撮像システム、撮像方法
US8314847B2 (en) * 2010-05-25 2012-11-20 Apple Inc. Automatic tone mapping curve generation based on dynamically stretched image histogram distribution
JP2012029029A (ja) * 2010-07-23 2012-02-09 Seiko Epson Corp 画像処理装置、画像処理方法及び撮像装置
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
JP5762756B2 (ja) * 2011-01-20 2015-08-12 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP6343200B2 (ja) * 2014-07-31 2018-06-13 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
JP6014094B2 (ja) * 2014-09-25 2016-10-25 富士フイルム株式会社 撮影装置および方法
JP6390512B2 (ja) * 2015-05-21 2018-09-19 株式会社デンソー 車載カメラ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018457A (ja) * 2001-06-29 2003-01-17 Toshiba Corp 撮像装置及び映像信号処理方法
JP2015142201A (ja) * 2014-01-28 2015-08-03 株式会社富士通ゼネラル 撮像装置
JP2016053849A (ja) * 2014-09-03 2016-04-14 ソニー株式会社 画像処理装置および画像処理方法、並びに固体撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3471397A4 *

Also Published As

Publication number Publication date
US10791287B2 (en) 2020-09-29
JP2017220843A (ja) 2017-12-14
EP3471397B1 (en) 2021-10-06
EP3471397A1 (en) 2019-04-17
US20190306444A1 (en) 2019-10-03
EP3471397A4 (en) 2019-04-24

Similar Documents

Publication Publication Date Title
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2018163725A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
EP4227157B1 (en) Information processing apparatus, information processing method, photographing apparatus, lighting apparatus, and mobile body
US10704957B2 (en) Imaging device and imaging method
JP2017220051A (ja) 画像処理装置、画像処理方法、および車両
JP2018019387A (ja) 信号処理装置、撮影装置、及び、信号処理方法
WO2018034209A1 (ja) 撮像装置と撮像方法
WO2017217177A1 (ja) 画像処理装置、および撮像装置、ならびに画像処理システム
JP2018207453A (ja) 制御装置、撮像装置、制御方法、プログラム及び撮像システム
US11585898B2 (en) Signal processing device, signal processing method, and program
WO2020153182A1 (ja) 光検出装置及び光検出装置の駆動方法、並びに、測距装置
WO2021256483A1 (ja) 制御装置、投影システム、制御方法及びプログラム
WO2017212955A1 (ja) 撮像制御装置および方法、並びに車両
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2018012317A1 (ja) 信号処理装置、撮影装置、及び、信号処理方法
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2018034027A1 (ja) 固体撮像素子、信号処理装置、および、固体撮像素子の制御方法
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2024195323A1 (ja) 発光装置、及び測距システム
WO2018135208A1 (ja) 撮像装置と撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17810134

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017810134

Country of ref document: EP

Effective date: 20190109