WO2011099049A1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
WO2011099049A1
WO2011099049A1 PCT/JP2010/000773 JP2010000773W WO2011099049A1 WO 2011099049 A1 WO2011099049 A1 WO 2011099049A1 JP 2010000773 W JP2010000773 W JP 2010000773W WO 2011099049 A1 WO2011099049 A1 WO 2011099049A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
sun
vehicle
ecu
predicted
Prior art date
Application number
PCT/JP2010/000773
Other languages
English (en)
French (fr)
Inventor
永田暁彦
Original Assignee
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ自動車株式会社 filed Critical トヨタ自動車株式会社
Priority to PCT/JP2010/000773 priority Critical patent/WO2011099049A1/ja
Publication of WO2011099049A1 publication Critical patent/WO2011099049A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Definitions

  • the present invention relates to an imaging system, and more particularly to an imaging system that is mounted on a moving body and captures an image around the moving body.
  • an imaging device that captures an image around a vehicle has been developed to detect a white line, a preceding vehicle, a pedestrian, and the like.
  • various devices have been devised for the purpose of capturing a clear image with little noise in order to accurately detect a white line, a preceding vehicle, and a pedestrian in the image.
  • Patent Document 1 An example of the imaging apparatus as described above is disclosed in Patent Document 1.
  • the in-vehicle image processing apparatus disclosed in Patent Document 1 alternately arranges filters having different light transmittances so as to correspond to the respective pixels, and captures a plurality of images that have passed through the respective filters.
  • the in-vehicle image processing apparatus based on the result of image recognition performed on each image, so-called “whiteout” that occurs due to overexposure of the image sensor, or so-called “blackout” that occurs due to underexposure of the image sensor. Processing to avoid occurrence of “etc.” is performed.
  • the image processing apparatus disclosed in Patent Document 1 it is necessary to prepare a member dedicated to the apparatus, such as a filter in which two types of filter portions having different transmittances are alternately arranged. That is, there is a problem that the manufacturing cost becomes high.
  • the image processing apparatus disclosed in Patent Document 1 needs to recognize and process a plurality of images before obtaining a clear image from which whiteout or the like has been removed. It may take a long time.
  • the present invention has been made in view of the above problems, and an object thereof is to provide an imaging system capable of capturing a clear image with a simple configuration.
  • a first aspect of the present invention is an imaging system mounted on a moving body, the imaging means for capturing an image around the moving body, and the solar radiation to the imaging means by changing the traveling direction of the moving body.
  • a solar radiation change predicting means for predicting whether or not the direction changes; and a setting value correcting means for correcting the imaging setting value of the imaging means when the solar radiation change predicting means is predicted to change the solar radiation direction with respect to the imaging means.
  • This is an imaging system.
  • the sun when it is predicted that the solar radiation direction with respect to the imaging unit changes due to the change of the traveling direction of the moving body, the sun is included in the imaging range of the imaging unit after the change of the traveling direction Further comprising a solar imaging prediction means for predicting whether or not there is a high possibility that the solar radiation direction is likely to change, and the set value correction means is predicted to have a high possibility that the solar radiation direction with respect to the imaging means will change, and When it is predicted that there is a high possibility that the imaging range of the imaging unit includes the sun, the imaging setting value of the imaging unit is corrected so that an image is captured darker than the current time.
  • the traveling direction predicting unit that predicts the traveling direction of the moving body after the change as the predicted traveling direction
  • a solar position calculation means for calculating the azimuth of the sun relative to the moving body
  • the solar imaging prediction means predicts whether or not the sun is likely to be included in the imaging range of the imaging means. The prediction is made according to the traveling direction and the direction of the sun.
  • the moving body is a vehicle
  • the imaging system includes a map acquisition unit that acquires map information around a road on which the vehicle is traveling, and an operation state of the direction indicator of the vehicle
  • the indicator operation detecting means for detecting the vehicle
  • the speed detecting means for detecting the traveling speed of the vehicle
  • the turning angle detecting means for detecting the turning angle of the vehicle. Whether or not the traveling direction of the moving body is likely to change is predicted based on at least one of map information, an operation state of the direction indicator, a traveling speed, and a turning angle.
  • the imaging system includes: a traveling path determination unit that determines whether or not a curved road exists at a destination of the vehicle based on map information; and a vehicle direction indicator.
  • a steering angle determination unit that determines whether or not the angle is equal to or less than an angle threshold
  • the solar radiation change prediction unit determines that a curved road exists at the destination of the vehicle, and the vehicle direction indicator operates.
  • a sixth aspect further includes storage means for storing in advance the angle of view of the imaging means and the value of the visual diameter of the sun, and the solar imaging prediction means Whether or not there is a high possibility that the imaging range of the means includes the sun is predicted based on the predicted traveling direction, the direction of the sun, the angle of view of the imaging means, and the visual diameter of the sun.
  • the solar imaging prediction means is configured such that the solar visual diameter is R, the sun orientation is ⁇ , the horizontal viewing angle of the imaging means is ⁇ , and the predicted traveling direction is ⁇ .
  • the formula (A) it is predicted that the sun is likely to be included in the imaging range of the imaging unit.
  • the eighth aspect further includes a solar altitude calculating means for calculating the altitude of the sun with reference to the moving body, and the storage means has an angle ⁇ (provided that the optical axis of the imaging means and the horizontal plane form)
  • the value of ⁇ is assumed to be a positive value when the upward direction is indicated with respect to the horizontal plane, and a negative value when the downward direction is indicated).
  • the angle of view in the vertical direction of the means is ⁇ and the angle formed by the optical axis of the image pickup means and the horizontal plane is ⁇
  • the sun is in the image pickup range of the image pickup means when the expressions (A) and (B) are satisfied. It is predicted that the possibility of being included is high.
  • a ninth aspect further includes solar imaging determination means for determining whether or not the sun is included in the imaging range of the imaging means at the present time in the second aspect, and the set value correction means is determined by the solar imaging prediction means. It is predicted that there is a low possibility that the imaging range of the imaging unit includes the sun after the moving direction of the moving object is changed, and it is determined by the solar imaging determination unit that the imaging range of the imaging unit currently includes the sun. In this case, the imaging setting value of the imaging unit is corrected so that the image is captured brighter than the current time.
  • a pre-correction set value storage means for storing and holding the pre-correction imaging setting value, and the setting value correction means includes the sun in the imaging range of the imaging means after the moving direction of the moving object is changed by the solar imaging prediction means.
  • the imaging setting value of the imaging unit is set to the imaging setting value before correction. It is characterized by returning.
  • the image pickup unit includes an image pickup device, picks up an image by exposing the image pickup device, the image pickup setting value is an exposure time of the image pickup device, and the setting value correction unit Is characterized by correcting the exposure time.
  • the imaging setting values such as the exposure time are set in advance. It can be corrected. Therefore, it is possible to prevent whiteout or blackout from occurring in an image picked up by the image pickup means, for example, immediately after the moving body bends a curve. Further, the above-described overexposure and underexposure can be prevented by a simple process of changing the imaging setting value without preparing a special optical filter or the like.
  • the imaging setting value can be corrected in advance so that the captured image becomes dark when it is predicted that the sun is likely to be captured by the imaging unit. Therefore, for example, when the sun is imaged by the imaging unit immediately after the moving body bends the curve, it is possible to prevent overexposure in the captured image. That is, the imaging setting value can be corrected to an appropriate value at an appropriate timing.
  • the prediction can be accurately performed by predicting whether or not the sun is included in the imaging range of the imaging means based on the predicted traveling direction and the direction of the sun.
  • the timing at which the traveling azimuth of the vehicle is changed is determined based on various information related to the traveling of the vehicle, such as the traveling speed of the vehicle, the turning angle, and the operating state of the direction indicator. It can be determined accurately and easily.
  • the fifth aspect it is possible to easily determine the timing at which the traveling direction of the vehicle is changed by a simple process of comparing the magnitude with respect to the threshold value.
  • whether or not the sun is included in the imaging range of the imaging unit by considering not only the predicted traveling direction and the azimuth of the sun but also the angle of view of the imaging unit and the visual diameter of the sun. Can be determined more accurately.
  • the eighth aspect it is possible to more accurately determine whether or not the sun is included in the imaging range of the imaging means by considering not only the direction of the sun but also the altitude of the sun.
  • the imaging setting value can be corrected in advance so that the captured image becomes bright when it is predicted that the sun will not be imaged by the imaging means. Therefore, for example, when the sun is no longer picked up by the image pickup means immediately after the moving body bends the curve, it is possible to prevent blackout from occurring in the picked-up image. That is, the imaging setting value can be corrected to an appropriate value at an appropriate timing.
  • the imaging setting value when it is predicted that the sun currently being imaged by the imaging means is not captured in the image, the imaging setting value is returned to the value before correction. Therefore, for example, when the sun is no longer picked up by the image pickup means immediately after the moving body bends the curve, it is possible to prevent blackout from occurring in the picked-up image. That is, the imaging setting value can be corrected to an appropriate value at an appropriate timing.
  • an image can be captured dark or bright by a simple process of correcting the exposure time setting.
  • FIG. 1 is an example of a block diagram illustrating a configuration of the imaging system 1.
  • FIG. 2 is a perspective plan view of the vehicle 100 showing the turning angle ⁇ .
  • FIG. 3 is an example of a flowchart showing the processing of the ECU 20.
  • FIG. 4 is an example of the solar imaging prediction process.
  • FIG. 5 is a diagram illustrating the sun azimuth ⁇ and the horizontal imaging range of the imaging device 11.
  • FIG. 6 is a diagram illustrating the solar altitude ⁇ and the imaging range in the vertical direction of the imaging device 11.
  • FIG. 1 is an example of a block diagram illustrating the configuration of the imaging system 1.
  • the imaging system 1 includes an imaging device 11, a navigation device 12, a turning angle sensor 13, a direction indicator 14, a timing device 15, a speed sensor 16, and an ECU 20.
  • the imaging system 1 is mounted on the vehicle 100 and images the front of the vehicle 100 (see FIGS. 5 and 6).
  • the imaging device 11 is typically a camera device including a lens, a shutter member, a diaphragm member, an imaging element, and the like.
  • the image sensor is an image sensor such as a CCD (Charge-Coupled Device) sensor or a CMOS (Complementary Metal-Oxide Semiconductor) sensor.
  • the imaging device 11 captures an image when receiving a trigger signal.
  • the trigger signal is transmitted from the ECU 20 or another computer mounted on the vehicle 100 to the imaging device 11.
  • a method in which the imaging device 11 captures an image will be described.
  • the imaging device 11 receives light from the subject with a lens.
  • the light incident on the lens is collected by the lens and passes through the aperture of the aperture member.
  • the light transmitted through the diaphragm member is irradiated to the image sensor only when the shutter member is in the open state.
  • the shutter member is normally closed, and when the imaging device 11 receives a trigger signal, the shutter member is opened for a set exposure time.
  • the imaging element generates an image signal indicating a captured image by photoelectrically converting the received light beam.
  • the imaging device 11 outputs the image signal to the ECU 20 or another computer (not shown) mounted on the vehicle 100.
  • an image captured by the imaging device 11 is referred to as a captured image.
  • whiteout a phenomenon in which a subject is buried in white noise in a captured image due to overexposure of the imaging element.
  • blackout A phenomenon in which a subject is buried in black noise in a captured image due to insufficient exposure of the image sensor is referred to as “blackout”.
  • the navigation device 12 is a device that acquires the vehicle position information of the vehicle 100 and map information around the vehicle 100.
  • the navigation device 12 acquires the vehicle position information using, for example, GPS (Global Positioning System).
  • the own vehicle position information includes latitude ⁇ and longitude ⁇ at which the vehicle 100 is located.
  • the map information includes information on road shapes and lanes around the vehicle 100.
  • the navigation device 12 may store map information in the storage device of the navigation device 12 in advance, or may receive the map information from a device such as an external server.
  • the navigation device 12 outputs the acquired vehicle position information and map information to the ECU 20.
  • the turning angle sensor 13 is a device that detects the turning angle ⁇ of the vehicle 100. More specifically, as shown in FIG. 2, the turning angle ⁇ is an angle formed by an axis J extending in the front-rear direction of the vehicle body of the vehicle 100 and an axis K indicating the traveling direction of the steered wheels of the vehicle 100. .
  • FIG. 2 is a perspective plan view of the vehicle 100 showing the turning angle ⁇ . The value of the steering angle ⁇ is assumed to increase as the axis K is tilted to the right with respect to the axis J.
  • the turning angle sensor 13 outputs the detected turning angle ⁇ of the vehicle 100 to the ECU 20. Note that the turning angle sensor 13 may detect the turning angle ⁇ using any conventionally known method.
  • the direction indicator 14 is a device that receives an input operation of the driver of the vehicle 100 and displays to the outside whether the vehicle 100 is scheduled to travel in the left or right direction according to the input operation.
  • the direction indicator 14 receives an input operation of the driver and outputs an indicator operation signal indicating that the display operation is being performed to the ECU 20 while the display operation is being performed. It is assumed that the indicator operation signal includes indication direction information indicating whether the direction indicator 14 is performing display in which direction to the left or right.
  • Time measuring device 15 is a device that measures current date and time information.
  • the date / time information includes the current month MO, date DA, and time T.
  • the date / time information is the date / time information on the standard time meridian of the region or country in which the vehicle 100 is currently located.
  • the time measuring device 15 outputs the measured current date and time information to the ECU 20.
  • the speed sensor 16 is a sensor device that detects the current traveling speed V of the vehicle 100.
  • the speed sensor 16 outputs the detected traveling speed V value to the ECU 20.
  • the speed sensor 16 may detect the traveling speed V using any conventionally known method.
  • the ECU 20 is typically an electronic control device including an information processing device such as a CPU (Central Processing Unit), a storage device such as a memory, an interface circuit, and the like.
  • an information processing device such as a CPU (Central Processing Unit)
  • a storage device such as a memory, an interface circuit, and the like.
  • FIG. 3 is an example of a flowchart showing details of processing executed by the ECU 20 according to the first embodiment.
  • ECU20 starts the process of FIG. 3, when the IG power supply of the vehicle 100 is set to an ON state.
  • the ECU 20 first executes the process of step S1.
  • step S ⁇ b> 1 the ECU 20 determines whether or not a curved road exists at the destination of the vehicle 100. Specifically, the ECU 20 acquires map information around the vehicle 100 from the navigation device, and determines whether or not a curved road exists at the destination of the vehicle 100 based on the map information.
  • a curved road means a road where the traveling direction of the vehicle 100 may change greatly depending on the driver's operation, such as an intersection or a branch point. Note that the ECU 20 may determine whether or not a curved road exists at the destination by using any conventionally known method. If the ECU 20 determines that a curved road exists at the destination of the vehicle 100, the ECU 20 advances the process to step S2. On the other hand, when ECU 20 determines that there is no curved road in the travel destination of vehicle 100, the process proceeds to step S6.
  • step S2 the ECU 20 determines whether or not an indicator operation signal is received from the direction indicator 14. If it is determined that the indicator operation signal is received, the ECU 20 advances the process to step S3. On the other hand, if the ECU 20 determines that the indicator operation signal has not been received, the ECU 20 advances the process to step S15.
  • step S3 the ECU 20 determines whether or not the traveling speed V is equal to or less than the speed threshold value Vth.
  • the speed threshold Vth is an arbitrary constant value stored in advance in the storage device of the ECU 20.
  • the ECU 20 receives data indicating the traveling speed V from the speed sensor 16, and compares the magnitudes of the traveling speed V and the speed threshold value Vth. If the ECU 20 determines that the traveling speed V is equal to or less than the speed threshold Vth, the ECU 20 advances the process to step S4. On the other hand, if the ECU 20 determines that the traveling speed V is greater than the speed threshold Vth, the process proceeds to step S15.
  • step S4 the ECU 20 determines whether or not the absolute value of the turning angle ⁇ is equal to or less than the turning angle threshold value ⁇ th.
  • the turning angle threshold value ⁇ th is an arbitrary constant value stored in advance in the storage device of the ECU 20.
  • the ECU 20 receives data indicating the turning angle ⁇ from the turning angle sensor 13 and compares the absolute value of the turning angle ⁇ and the magnitude of the turning angle threshold value ⁇ th. If the ECU 20 determines that the absolute value of the turning angle ⁇ is equal to or less than the turning angle threshold ⁇ th, the ECU 20 advances the process to step S5. On the other hand, when the ECU 20 determines that the absolute value of the turning angle ⁇ is larger than the turning angle threshold value ⁇ th, the process proceeds to step S15.
  • step S1 to step S4 whether or not the traveling direction of the vehicle 100 greatly changes due to the vehicle 100 making a right or left turn on the destination curved road, Predicted based on the traveling speed V and the turning angle ⁇ .
  • the direction indicator 14 operates, the vehicle travels at a relatively low speed, and the absolute value of the turning angle is relatively large, it is considered that the vehicle 100 is likely to turn left or right.
  • the processing it is possible to predict with high accuracy whether or not the traveling direction of the vehicle 100 changes greatly.
  • the ECU 20 is not limited to the above processing, and whether or not the traveling direction of the vehicle 100 changes greatly based on at least one of the operation status of the direction indicator 14, the traveling speed V, and the turning angle ⁇ . You can predict.
  • the ECU 20 can predict whether or not the solar radiation direction with respect to the imaging device 11 changes due to the change of the traveling direction of the vehicle 100 by a simple processing.
  • step S5 the ECU 20 calculates the predicted traveling direction ⁇ based on the instruction direction information and the turning angle ⁇ .
  • the predicted traveling direction ⁇ is the traveling direction of the future vehicle 100 after the vehicle 100 makes a right or left turn on the curved road. Note that the predicted traveling direction ⁇ is represented by an angle formed by an axis indicating the south and a vector indicating the future traveling direction of the vehicle 100 (see FIG. 5 described later).
  • the ECU 20 includes information indicating the leftward progress of the vehicle 100 in the indicated direction information, and the steering angle ⁇ is a negative value (that is, the steering wheel of the vehicle 100 is turned to the left). ), The extension direction of the road on which the vehicle 100 travels after a left turn is calculated as the predicted traveling direction ⁇ .
  • the ECU 20 includes information indicating the rightward progress of the vehicle 100 in the indicated direction information and the steering angle ⁇ is a positive value (that is, the steering wheel of the vehicle 100 is turned to the right).
  • the extension direction of the road that travels after the vehicle 100 turns right is calculated as the predicted traveling direction ⁇ .
  • the ECU 20 may calculate the predicted traveling direction ⁇ based on one of the instruction direction information and the turning angle ⁇ and the map information. Further, the ECU 20 may predict the predicted traveling direction ⁇ using any conventionally known method. When the ECU 20 completes the process of step S5, the process proceeds to step S8.
  • step S6 the ECU 20 determines whether or not a curved road exists at the destination of the vehicle 100. Specifically, the ECU 20 acquires map information around the vehicle 100 from the navigation device, and determines whether there is a curved road at the destination of the vehicle 100 based on the map information.
  • a curved road is a curved or meandering road without a branch, and means a road whose traveling direction changes greatly only when the vehicle travels along the road. If ECU 20 determines that a curved road exists at the destination of vehicle 100, the process proceeds to step S7. On the other hand, if the ECU 20 determines that there is no curved road in the travel destination of the vehicle 100, the process proceeds to step S15.
  • step S6 is a process of predicting whether or not the direction of solar radiation with respect to the imaging device 11 changes as the traveling direction of the vehicle 100 changes, as in the process of steps S1 to S4.
  • step S7 the ECU 20 calculates the predicted traveling direction ⁇ based on the road shape. Specifically, the ECU 20 extracts the road shape of the travel destination of the vehicle 100 from the map information acquired in step S6, and calculates the predicted travel direction ⁇ based on the road shape. The ECU 20 may predict the predicted traveling direction ⁇ using any conventionally known method. When the ECU 20 completes the process of step S7, the process proceeds to step S8.
  • step S8 the ECU 20 executes solar imaging prediction processing.
  • the sun imaging prediction process is a subroutine process for determining whether or not the sun is included in the imaging range of the imaging device 11 when the traveling direction of the vehicle 100 changes to the predicted traveling direction ⁇ .
  • FIG. 4 is an example of a flowchart showing details of the solar imaging prediction process.
  • step S81 the ECU 20 calculates the sun direction ⁇ .
  • the sun direction ⁇ is the direction in which the sun is located with reference to the vehicle 100.
  • the sun azimuth ⁇ is represented by an angle formed by an axis that indicates the south and a vector that indicates the presence azimuth of the sun with reference to the vehicle 100.
  • FIG. 5 is a diagram illustrating the solar azimuth and the horizontal imaging range of the imaging device 11.
  • the ECU 20 calculates the sun azimuth ⁇ based on the current date and time and the current position of the vehicle 100 will be specifically described.
  • the solar altitude ⁇ is an altitude at which the sun is located with reference to the vehicle 100. As shown in FIG. 6, the solar altitude ⁇ is represented by an angle formed by a horizontal plane and a vector indicating the presence direction of the sun with reference to the vehicle 100.
  • FIG. 6 is a diagram illustrating the solar altitude ⁇ and the imaging range in the vertical direction of the imaging device 11. ECU20 calculates solar altitude (alpha) based on each parameter and Formula (5) calculated in the said process.
  • ⁇ arcsin ⁇ sin ( ⁇ ) * sin ( ⁇ ) + cos ( ⁇ ) * cos ( ⁇ ) * cos (h) ⁇ ... (5)
  • step S81 the ECU 20 calculates the sun azimuth ⁇ based on each parameter and expression (6) calculated in the above processing.
  • ⁇ arctan [cos ( ⁇ ) * cos ( ⁇ ) * sin (h) / ⁇ sin ( ⁇ ) * sin ( ⁇ ) ⁇ sin ( ⁇ ) ⁇ ] (6)
  • step S82 the process proceeds to step S82.
  • the above-described method for calculating the solar altitude ⁇ and the sun azimuth ⁇ is an example, and the ECU 20 may calculate the sun azimuth ⁇ using any conventionally known method, not limited to the above method.
  • the imaging system 1 is a structure further provided with the sensor which detects the solar azimuth
  • ECU20 may calculate the solar azimuth
  • step S ⁇ b> 82 the ECU 20 predicts whether or not the sun 200 is included in the horizontal imaging range of the imaging device 11. Specifically, it is determined whether or not Expression (7) is satisfied.
  • ⁇ represents the horizontal field angle of the imaging device 11
  • R represents the sun's viewing diameter.
  • the horizontal angle of view ⁇ and the viewing diameter R are stored in advance in the storage device of the ECU 20.
  • ⁇ / 2 ⁇ R / 2 ⁇ ⁇ + ⁇ / 2 + R / 2 (7) More specifically, in FIG. 5, when the sun 200 is included in an angle region indicated by hatching, it is determined that Expression (7) is satisfied.
  • the ECU 20 determines that the expression (7) is satisfied, the ECU 20 predicts that the sun is included in the horizontal imaging range of the imaging device 11, and advances the process to step S83. On the other hand, if the ECU 20 determines that Expression (7) is not satisfied, the ECU 20 predicts that the sun is not included in the horizontal imaging range of the imaging device 11, and advances the process to step S85.
  • step S83 the ECU 20 predicts whether or not the sun is included in the imaging range in the vertical direction of the imaging device 11. Specifically, it is determined whether or not Expression (8) is satisfied.
  • ⁇ represents the angle of view of the imaging device 11 in the vertical direction.
  • ⁇ represents the mounting angle of the imaging device 11.
  • the value of the attachment angle ⁇ is a positive value when the upward direction is indicated with respect to the horizontal plane, and a negative value when the downward direction is indicated.
  • the vertical angle of view ⁇ and the mounting angle ⁇ are stored in advance in the storage device of the ECU 20.
  • ECU20 may acquire the value of attachment angle (gamma) from the said apparatus.
  • ⁇ ⁇ + ⁇ / 2 + R / 2 (8) More specifically, in FIG. 6, when the sun 200 is included in an angle region indicated by hatching, it is determined that the equation (8) is satisfied. If the ECU 20 determines that Expression (8) is satisfied, the ECU 20 predicts that the sun is included in the imaging range in the vertical direction of the imaging device 11, and advances the process to step S84. On the other hand, if the ECU 20 determines that Expression (8) is not satisfied, the ECU 20 predicts that the sun is not included in the imaging range in the vertical direction of the imaging device 11, and advances the process to step S85.
  • step S84 the ECU 20 sets the imaging prediction flag to ON.
  • the imaging prediction flag is flag data indicating that the sun is predicted to be included in the imaging range of the imaging device 11 when the flag is on.
  • step S85 the ECU 20 sets the imaging prediction flag to OFF.
  • the process proceeds to step S9 of FIG.
  • step S1 to step S8 when the ECU 20 predicts that the solar radiation direction with respect to the imaging device 11 changes as the traveling direction of the vehicle 100 changes, the sun 200 is within the imaging range of the imaging device 11. Predict whether it is likely to be included.
  • step S9 the ECU 20 determines whether or not the imaging prediction flag is on. If it is determined that the imaging prediction flag is on, the ECU 20 advances the process to step S10. On the other hand, if the ECU 20 determines that the imaging prediction flag is OFF, the process proceeds to step S13.
  • step S10 the ECU 20 determines whether or not the sun is currently being imaged. For example, the ECU 20 determines whether the current sun is being imaged based on the current traveling direction ⁇ of the vehicle 100 and the sun direction ⁇ . More specifically, the ECU 20 determines that the sun is being imaged by the imaging device 11 when Expression (9) is satisfied.
  • the traveling direction ⁇ is detected by the navigation device 12.
  • the ECU 20 acquires the value of the traveling direction ⁇ from the navigation device 12. ⁇ / 2 ⁇ R / 2 ⁇ ⁇ + ⁇ / 2 + R / 2 (9) Further, the ECU 20 may determine whether or not the sun is currently being imaged by processing the captured image. Specifically, the ECU 20 acquires an image captured by the previous imaging device 11.
  • ECU20 determines whether the sun is imaged in the said captured image by processing a captured image. Note that the above determination method is an example, and the ECU 20 may determine whether or not the sun is captured in the captured image using any conventionally known method. If the ECU 20 determines that the sun is currently being imaged, the process proceeds to step S15. On the other hand, if the ECU 20 determines that the sun is not currently being imaged, the process proceeds to step S11.
  • step S11 the ECU 20 stores the current exposure time ST.
  • step S11 the ECU 20 completes the process of step S11, the process proceeds to step S12.
  • step S12 the ECU 20 corrects the exposure time ST to be short.
  • the ECU 20 corrects the value of the exposure time ST to a value shorter than the current time by multiplying the current exposure time ST by a predetermined correction coefficient of 1 or less.
  • the ECU 20 outputs the corrected exposure time ST value to the imaging device 11 to update the setting of the exposure time ST.
  • the ECU 20 may correct the exposure time ST using any conventionally known method as long as the value of the exposure time ST can be corrected to be shorter than the current time.
  • the ECU 20 may store the corrected exposure time ST value as a constant in a storage device in advance and set the value by reading the value from the storage device.
  • step S13 the ECU 20 determines whether or not the sun is currently being imaged in the same manner as in step S10. If the ECU 20 determines that the sun is currently being imaged, the process proceeds to step S14. On the other hand, if the ECU 20 determines that the sun is not currently being imaged, the process proceeds to step S15.
  • step S14 the ECU 20 returns the exposure time ST to the value before correction. Specifically, the ECU 20 reads the value of the exposure time ST stored in advance in the process of step S11, and sets the value of the exposure time ST to the read value. When the ECU 20 completes the process of step S14, the process proceeds to step S15.
  • the ECU 20 determines the exposure time value at a timing at which the solar radiation direction with respect to the imaging device 11 is predicted to change, that is, at a timing at which whiteout and blackout are likely to occur. Can be changed appropriately.
  • the ECU 20 sets the exposure time short so that the captured image becomes dark. According to such processing, even if the imaging device 11 suddenly receives direct light from the sun 200 immediately after the vehicle 100 turns a curve, for example, even if the subject suddenly becomes brighter, The ECU 20 can prevent whiteout from occurring in the image captured by the imaging device 11.
  • the ECU 20 sets the exposure time. Return to the value before correction. According to such a process, for example, even if the imaging device 11 does not capture the sun 200 immediately after the vehicle 100 bends a curve (that is, even if the subject suddenly becomes dark), the captured image is blacked out. Can be prevented from occurring.
  • the ECU 20 continues to capture the imaging device 11 even after the sun 200 has already been captured by the imaging device 11 and the traveling direction of the vehicle 100 has been changed. If it is predicted that the sun 200 will be imaged, the exposure time is maintained at the corrected value. Further, the ECU 20 predicts that the sun 200 has not already been picked up by the image pickup device 11 at the present time and that the sun 200 is not picked up by the image pickup device 11 even after the traveling direction of the vehicle 100 is changed. The exposure time is maintained at the current value. According to such processing, correction of exposure time at unnecessary timing can be prevented, and occurrence of overexposure and underexposure in a captured image can be avoided.
  • step S15 the ECU 20 acquires a captured image. Specifically, the ECU 20 outputs a trigger signal to the imaging device. Then, the ECU 20 receives captured image data from the imaging device 11. When the ECU 20 completes the process of step S15, the process proceeds to step S16.
  • step S16 the ECU 20 determines whether or not the IG power source is set to an off state.
  • the ECU 20 determines that the IG power supply is set to the off state, the ECU 20 ends the process of the flowchart of FIG. On the other hand, if the ECU 20 determines that the IG power supply is on, it returns the process to step S1 and repeats the processes of the above steps.
  • the imaging system 1 it is possible to prevent occurrence of overexposure and underexposure in a captured image and to capture a clear captured image. Further, the imaging system 1 can be configured by diverting a hardware device mounted on a general vehicle. Therefore, according to the imaging system 1, it is possible to easily obtain a captured image without overexposure and underexposure without manufacturing and assembling a special optical filter or the like.
  • the ECU 20 may be a setting value that can change the brightness of the captured image.
  • the brightness of the captured image may be adjusted by changing any set value other than the exposure time.
  • the ECU 20 may adjust the brightness of the captured image by correcting the aperture value of the imaging device 11 instead of the exposure time.
  • the aperture value is a value indicating the degree of opening of the aperture of the aperture member. The larger the aperture value, the darker the captured image, and the smaller the aperture value, the brighter the captured image. Therefore, when correcting the aperture value instead of the exposure time, the ECU 20 performs a process of correcting the aperture value to a value larger than the current time in the process of step S12.
  • the ECU 20 may adjust the brightness of the captured image by correcting the gain value of the imaging device 11 instead of the exposure time.
  • the gain value is a numerical value that is multiplied by the image signal generated by the image sensor. The smaller the gain value, the darker the captured image, and the larger the gain value, the brighter the captured image. Therefore, when correcting the gain value instead of the exposure time, the ECU 20 performs a process of correcting the gain value to a value larger than the current time in the process of step S12. Note that the ECU 20 may change the parameters of the exposure time, the aperture value, and the gain value at the same time.
  • the ECU 20 may perform the above prediction without considering the angle of view of the imaging device 11 and the visual diameter of the sun 200.
  • the ECU 20 may perform a process of determining that the sun 200 is included in the horizontal imaging range of the imaging device 11 when the sun azimuth ⁇ satisfies the equation (10) in step S82.
  • the ECU 20 may perform a process of determining that the sun 200 is included in the imaging range in the vertical direction of the imaging device 11 when the solar altitude ⁇ satisfies the equation (11).
  • P and Q are predetermined constants. ⁇ P ⁇ ⁇ + P (10) ⁇ ⁇ + Q (11) According to such processing, the above prediction can be performed with a relatively small amount of calculation.
  • the ECU 20 executes the process of returning the exposure time ST to the value before correction in step S14.
  • the ECU 20 corrects the exposure time ST longer than the current time in step S14.
  • Processing may be executed. Specifically, in step S14, the ECU 20 may multiply the exposure time ST by one or more correction coefficients. Such processing can also prevent the occurrence of blackout in the captured image. Further, when such processing is performed, the ECU 20 does not need to store the exposure time ST before correction in advance, so that the processing in step S11 can be omitted.
  • the ECU 20 may acquire in advance weather information of an area where the vehicle 100 is currently traveling, and determine in advance whether or not to execute the process of FIG. 2 based on the weather information. .
  • the ECU 20 may execute the process of FIG. 2 only when the information that the area where the vehicle 100 is currently traveling is clear is acquired.
  • the imaging system 1 can be mounted on any other moving body.
  • the imaging system 1 may be configured not to include the direction indicator 14. In such a case, the ECU 20 may omit the process in step S2.
  • the imaging system according to the present invention is useful as an imaging system capable of capturing a clear image with a simple configuration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

　簡単な構成で鮮明な画像を撮像可能な撮像システムを提供する。　移動体に搭載される撮像システムであって、移動体の周囲の画像を撮像する撮像手段と、移動体の進行方位が変化することによって撮像手段に対する日射方向が変化するか否かを予測する日射変化予測手段と、日射変化予測手段によって撮像手段に対する日射方向が変化すると予測された場合、撮像手段の撮像設定値を補正する設定値補正手段とを備えることを特徴とする、撮像システムである。

Description

撮像システム
　本発明は、撮像システムに関し、より特定的には、移動体に搭載され、当該移動体の周囲の画像を撮像する撮像システムに関する。
　従来、白線や先行車、および歩行者などを検出するために車両の周囲の画像を撮像する撮像装置が開発されている。このような撮像装置においては、画像中の白線や先行車、および歩行者を正確に検出するために、ノイズの少ない鮮明な画像を撮像することを目的として種々の工夫が凝らされている。
　上記のような撮像装置の一例が、特許文献１に開示されている。特許文献１に開示される車載用画像処理装置は、異なる光透過率を有するフィルタを各画素に対応するよう交互に配置し、各フィルタを透過した複数の画像を撮像する。そして、車載用画像処理装置は、当該画像各々について実行した画像認識の結果に基づいて、撮像素子の露光過剰により発生する所謂“白とび”や、撮像素子の露光不足により発生する所謂“黒つぶれ”等の発生を回避する処理を行う。
　なお、上記のような白とびや黒つぶれは車両周囲の明るさが急激に変化した場合に発生する可能性が高い。そのため、上記のような白とび等を回避するための処理は、車両がトンネルの出入り口付近を走行する際などに実行される。
特開２００９－４４４５１号公報
　しかしながら、車両がトンネルから出るタイミング以外にも、上記のような白とびが発生し易くなる状況がある。例えば、車両が右左折等することによって撮像装置に対する日射方向が変化し、太陽光が直接的に撮像装置のレンズに入射した際などにも、上記のような白とびは発生し易い。
　また、上記特許文献１に開示される画像処理装置では、透過率の異なる２種のフィルタ部分が交互に配置されたフィルタなど、当該装置専用の部材を用意する必要がある。すなわち、製造コストが高くなる問題があった。また、上記特許文献１に開示される画像処理装置は、白とび等を除去した鮮明な画像を得るまでに複数の画像を認識処理する必要があるため、当該鮮明な画像を取得するまでに比較的長い時間を要する場合があった。
　本発明は、上記の課題を鑑みて成されたものであり、簡単な構成で鮮明な画像を撮像可能な撮像システムを提供することを目的とする。
　上記の課題を解決するため、本発明は以下の構成を採用した。すなわち、本発明の第１の局面は、移動体に搭載される撮像システムであって、移動体の周囲の画像を撮像する撮像手段と、移動体の進行方位が変化することによって撮像手段に対する日射方向が変化するか否かを予測する日射変化予測手段と、日射変化予測手段によって撮像手段に対する日射方向が変化すると予測された場合、撮像手段の撮像設定値を補正する設定値補正手段とを備えることを特徴とする、撮像システムである。
　第２の局面は、第１の局面において、移動体の進行方位が変化することによって撮像手段に対する日射方向が変化すると予測された場合、当該進行方位の変化後に撮像手段の撮像範囲に太陽が含まれる可能性が高いか否かを予測する太陽撮像予測手段をさらに備え、設定値補正手段は、撮像手段に対する日射方向が変化する可能性が高いと予測され、尚且つ、当該進行方位の変化後に撮像手段の撮像範囲に太陽が含まれる可能性が高いと予測された場合、撮像手段の撮像設定値を画像が現時点に比べて暗く撮像されるように補正することを特徴とする。
　第３の局面は、第２の局面において、日射変化予測手段によって撮像手段に対する日射方向が変化すると予測された場合、当該変化後の移動体の進行方位を予想進行方位として予想する進行方位予想手段と、移動体を基準として太陽の位置する方位を算出する太陽位置算出手段とをさらに備え、太陽撮像予測手段は、撮像手段の撮像範囲に太陽が含まれる可能性が高いか否かを、予想進行方位、および太陽の方位に応じて予測することを特徴とする。
　第４の局面は、第３の局面において、移動体は車両であり、撮像システムは、車両が走行している道路周辺の地図情報を取得する地図取得手段と、車両の方向指示器の動作状態を検出する指示器動作検出手段と、車両の走行速度を検出する速度検出手段と、および車両の転舵角を検出する転舵角検出手段との少なくとも何れかを備え、日射変化予測手段は、移動体の進行方位が変化する可能性が高いか否かを地図情報、方向指示器の動作状態、走行速度、および転舵角の少なくとも何れかに基づいて予測することを特徴とする。
　第５の局面は、第４の局面において、撮像システムは、車両の進行先に曲折路が存在しているか否かを地図情報に基づいて判定する進行経路判定手段と、車両の方向指示器が動作しているか否か判定する指示器動作判定手段と、車両の走行速度が予め定められた速度閾値以下であるか否か判定する速度判定手段と、車両の転舵角が予め定められた舵角閾値以下であるか否か判定する舵角判定手段とをさらに備え、日射変化予測手段は、車両の進行先に曲折路が存在していると判定され、且つ、車両の方向指示器が動作していると判定され、且つ、車両の速度が予め定められた速度閾値以下であると判定され、且つ、車両の転舵角が予め定められた舵角閾値以下であると判定された場合に、移動体の進行方位が変化する可能性が高いと予測することを特徴とする。
　第６の局面は、第３および第５の局面の何れか１つにおいて、撮像手段の画角、および太陽の視直径の値を予め記憶する記憶手段をさらに備え、太陽撮像予測手段は、撮像手段の撮像範囲に太陽が含まれる可能性が高いか否かを、予想進行方位、太陽の方位、および撮像手段の画角、太陽の視直径に基づいて予測することを特徴とする。
　第７の局面は、第６の局面において、太陽撮像予測手段は、太陽の視直径をＲ、太陽の方位をψ、撮像手段の水平方向の画角をω、予想進行方位をεとした場合に、式（Ａ）が満たされた場合に撮像手段の撮像範囲に太陽が含まれる可能性が高いと予測することを特徴とする。
　　ε－ω／２－Ｒ／２＜ψ＜ε＋ω／２＋Ｒ／２　　　…（Ａ）
　第８の局面は、第７の局面において、移動体を基準として太陽の高度を算出する太陽高度算出手段をさらに備え、記憶手段は、撮像手段の光軸と水平面とが成す角度γ（ただし、γの値は水平面を基準として上方向を示す場合に正の値、下方向示す場合に負の値となるものとする）をさらに記憶し、太陽撮像予測手段は、太陽の高度をα、撮像手段の垂直方向の画角をβ、撮像手段の光軸と水平面とが成す角度をγ、とした場合、式（Ａ）および式（Ｂ）が満たされた場合に撮像手段の撮像範囲に太陽が含まれる可能性が高いと予測することを特徴とする。
　　α＜γ＋β／２＋Ｒ／２　　　…（Ｂ）
　第９の局面は、第２の局面において、現時点において撮像手段の撮像範囲に太陽が含まれているか否かを判定する太陽撮像判定手段をさらに備え、設定値補正手段は、太陽撮像予測手段によって移動体の進行方位の変化後に撮像手段の撮像範囲に太陽が含まれる可能性が低いと予測され、且つ、太陽撮像判定手段によって現時点において撮像手段の撮像範囲に太陽が含まれていると判定された場合、撮像手段の撮像設定値を画像が現時点に比べて明るく撮像されるように補正することを特徴とする。
　第１０の局面は、第２の局面において、現時点において撮像手段の撮像範囲に太陽が含まれているか否かを判定する太陽撮像判定手段と、設定値補正手段が撮像設定値を補正する際、当該補正前の撮像設定値を記憶保持する補正前設定値記憶手段とをさらに備え、設定値補正手段は、太陽撮像予測手段によって移動体の進行方位の変化後に撮像手段の撮像範囲に太陽が含まれる可能性が低いと予測され、且つ、太陽撮像判定手段によって現時点において撮像手段の撮像範囲に太陽が含まれていると判定された場合、撮像手段の撮像設定値を補正前の撮像設定値に戻すことを特徴とする。
　第１１の局面は、第１の局面において、撮像手段は撮像素子を備え、当該撮像素子を露光させることによって画像を撮像し、撮像設定値は、撮像素子の露光時間であり、設定値補正手段は、露光時間を補正することを特徴とする。
　第１の局面によれば、撮像手段に対する日射方向が変化すると予想された場合、すなわち、白とびや黒つぶれが発生する可能性が高いと予測された場合、露光時間等の撮像設定値を予め補正しておくことができる。したがって、移動体がカーブを曲がった直後など、当該撮像手段によって撮像される画像に白飛びや黒つぶれが発生することを防ぐことができる。また、特別な光学フィルタ等を用意することなく、撮像設定値を変更するという簡単な処理で上記白とびや黒つぶれを防ぐことができる。
　第２の局面によれば、撮像手段によって太陽が撮像される可能性が高いと予測された場合に撮像画像が暗くなるよう撮像設定値を予め補正しておくことができる。したがって、例えば移動体がカーブを曲がった直後に撮像手段によって太陽が撮像された場合などに、撮像画像に白とびが発生することを防ぐことができる。すなわち、適切なタイミングで撮像設定値を適切な値に補正することができる。
　第３の局面によれば、撮像手段の撮像範囲内に太陽が含まれるか否かを予想進行方位、および太陽の方位に基づいて予測することによって、当該予測を正確に行うことができる。
　第４および第５の局面によれば、車両の進行方位が変更されるタイミングを、車両の走行速度、転舵角、および方向指示器の動作状態などの、車両の走行に関する各種情報に基づいて正確且つ容易に判定することができる。
　特に、第５の局面によれば、閾値に対する大小を比較する簡単な処理で車両の進行方位が変更されるタイミングを容易に判定することができる。
　第６から８の局面によれば、予想進行方位および太陽の方位だけでなく撮像手段の画角、および太陽の視直径を考慮することによって、撮像手段の撮像範囲内に太陽が含まれるか否かをより正確に判定することができる。
　特に、第８の局面によれば、太陽の方位だけでなく太陽の高度を考慮することによって、撮像手段の撮像範囲内に太陽が含まれるか否かをより正確に判定することができる。
　第９の局面によれば、撮像手段によって太陽が撮像されなくなると予測された場合に撮像画像が明るくなるように予め撮像設定値を補正しておくことができる。したがって、例えば移動体がカーブを曲がった直後に撮像手段によって太陽が撮像されなくなった場合などに、撮像画像に黒つぶれが発生することを防ぐことができる。すなわち、適切なタイミングで撮像設定値を適切な値に補正することができる。
　第１０の局面によれば、現時点において撮像手段によって撮像されている太陽が、画像中に撮像されなくなると予測された場合、撮像設定値が補正前の値に戻される。したがって、例えば移動体がカーブを曲がった直後に撮像手段によって太陽が撮像されなくなった場合などに、撮像画像に黒つぶれが発生することを防ぐことができる。すなわち、適切なタイミングで撮像設定値を適切な値に補正することができる。
　第１１の局面によれば、露光時間の設定を補正するという簡単な処理によって、画像が暗くまたは明るく撮像されるようにすることができる。
図１は、撮像システム１の構成を示すブロック図の一例である。 図２は、転舵角θを示す車両１００の透視平面図である。 図３は、ＥＣＵ２０の処理を示すフローチャートの一例である。 図４は、太陽撮像予測処理の一例である。 図５は、太陽方位ψおよび撮像装置１１の水平方向の撮像範囲を示す図である。 図６は、太陽高度αおよび撮像装置１１の垂直方向の撮像範囲を示す図である。
　以下、本発明の実施形態に係る撮像システム１について説明する。先ず、図１を参照して撮像システム１の構成について説明する。なお、図１は、撮像システム１の構成を示すブロック図の一例である。図１に示すように。撮像システム１は、撮像装置１１、ナビゲーション装置１２、転舵角センサ１３、方向指示器１４、計時装置１５、速度センサ１６、ＥＣＵ２０を備える。なお、撮像システム１は、車両１００に搭載され、当該車両１００の前方を撮像する（図５、図６参照）。
　撮像装置１１は、典型的には、レンズ、シャッタ部材、絞り部材、撮像素子等を備えたカメラ装置である。撮像素子は、例えば、ＣＣＤ(Charge Coupled Device )センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサである。撮像装置１１は、トリガ信号を受信した場合などに、画像を撮像する。なお、トリガ信号は、ＥＣＵ２０や、車両１００に搭載された他のコンピュータから撮像装置１１へ送信されるものとする。以下、撮像装置１１が画像を撮像する方法について説明する。
　撮像装置１１は、先ず、被写体からの光線をレンズで受光する。レンズに入射した光線は、当該レンズによって集光され、絞り部材の開口部を通過する。絞り部材を透過した光は、シャッタ部材が開放状態である場合にのみ撮像素子に照射される。シャッタ部材は、通常時は閉状態とされ、撮像装置１１がトリガ信号を受信した際には、設定された露光時間だけ開放状態とされる。撮像素子は、受光した光線を光電変換することによって撮像画像を示す画像信号を生成する。撮像画像を示す画像信号が生成されると、撮像装置１１は、当該画像信号を、ＥＣＵ２０や車両１００に搭載された他のコンピュータ等（図示せず）へ出力する。なお、以下では撮像装置１１が撮像した画像を撮像画像と呼称する。また、撮像素子の露光過剰により、撮像画像において被写体が白色ノイズに埋没する現象を“白とび”と呼称する。また、撮像素子の露光不足により、撮像画像において被写体が黒色ノイズに埋没する現象を“黒つぶれ”と呼称する。
　ナビゲーション装置１２は、車両１００の自車位置情報、および車両１００周囲の地図情報を取得する装置である。ナビゲーション装置１２は、例えば、ＧＰＳ（Global Positioning System）等を用いて自車位置情報を取得する。自車位置情報には、車両１００が位置する緯度φおよび経度λが含まれる。また、地図情報には、車両１００周囲の道路形状や車線の情報が含まれる。なお、ナビゲーション装置１２は、地図情報を予めナビゲーション装置１２の記憶装置に記憶していても良いし、外部のサーバー等の装置から当該地図情報を受信しても構わない。ナビゲーション装置１２は、取得した自車位置情報および地図情報をＥＣＵ２０へ出力する。
　転舵角センサ１３は、車両１００の転舵角θを検出する装置である。より具体的には、転舵角θは、図２に示すように、車両１００の車体の前後方向へ延びる軸線Ｊと、車両１００の操舵輪の進行方向を示す軸線Ｋとが成す角度である。なお、図２は、転舵角θを示す車両１００の透視平面図である。舵角θの値は、軸線Ｊを基準として、軸線Ｋが右へ傾くほど大きな値となるものとする。転舵角センサ１３は、検出した車両１００の転舵角θをＥＣＵ２０へ出力する。なお、転舵角センサ１３は、従来周知の任意の手法を用いて転舵角θを検出して構わない。
　方向指示器１４は、車両１００のドライバーの入力操作を受け付け、当該入力操作に応じて車両１００が左右何れの方向へ進行する予定であるかを外部へ表示する装置である。方向指示器１４は、ドライバーの入力操作を受け付け上記の表示動作を行っている間、当該表示動作を行っていることを示す指示器動作信号をＥＣＵ２０へ出力する。なお、指示器動作信号には、方向指示器１４が左右何れの方向へ進行する表示を行っているかを示す指示方向情報が含まれているものとする。
　計時装置１５は、現在の日時情報を計測する装置である。日時情報には、現在の、月ＭＯ、日ＤＡ、および時刻Ｔが含まれる。なお、上記の日時情報は、車両１００が現在位置する地域または国の標準時子午線における日時情報とする。計時装置１５は、計測した現在の日時情報をＥＣＵ２０へ出力する。
　速度センサ１６は、現時点の車両１００の走行速度Ｖを検出するセンサ装置である。速度センサ１６は、検出した走行速度Ｖの値をＥＣＵ２０へ出力する。なお、速度センサ１６は、従来周知の任意の手法を用いて走行速度Ｖを検出して構わない。
　ＥＣＵ２０は、典型的には、ＣＰＵ（Central Processing Unit：中央処理装置）などの情報処理装置、メモリなどの記憶装置、およびインターフェース回路などを備える電子制御装置である。
　次いで、図３を参照して、ＥＣＵ２０が実行する処理について説明する。図３は、第１の実施形態に係るＥＣＵ２０が実行する処理の詳細を示すフローチャートの一例である。ＥＣＵ２０は、車両１００のＩＧ電源がオン状態に設定された場合に図３の処理を開始する。ＥＣＵ２０は、図３のフローチャートの処理を開始すると、先ず、ステップＳ１の処理を実行する。
　ステップＳ１において、ＥＣＵ２０は、車両１００の進行先に曲折路が存在するか否か判定する。具体的には、ＥＣＵ２０は、ナビゲーション装置から車両１００周囲の地図情報を取得し、車両１００の進行先に曲折路が存在するか否かを当該地図情報に基づいて判定する。曲折路は、交差点や分岐点等、ドライバーの操作次第で車両１００の進行方位が大きく変化する可能性のある道路を意味する。なお、ＥＣＵ２０は、進行先に曲折路が存在するか否かを従来周知の任意の手法を用いて判定して良い。ＥＣＵ２０は、車両１００の進行先に曲折路が存在すると判定した場合、処理をステップＳ２へ進める。一方、ＥＣＵ２０は、車両１００の進行先に曲折路が存在しないと判定した場合、処理をステップＳ６へ進める。
　ステップＳ２において、ＥＣＵ２０は、方向指示器１４から指示器動作信号を受信しているか否か判定する。ＥＣＵ２０は、指示器動作信号を受信していると判定した場合、処理をステップＳ３へ進める。一方、ＥＣＵ２０は、指示器動作信号を受信していないと判定した場合、処理をステップＳ１５へ進める。
　ステップＳ３において、ＥＣＵ２０は、走行速度Ｖが速度閾値Ｖｔｈ以下であるか否か判定する。速度閾値Ｖｔｈは、ＥＣＵ２０の記憶装置に予め記憶された任意の定数値である。ＥＣＵ２０は、速度センサ１６から走行速度Ｖを示すデータを受信し、当該走行速度Ｖおよび速度閾値Ｖｔｈの値の大きさを比較する。そして、ＥＣＵ２０は、走行速度Ｖが速度閾値Ｖｔｈ以下であるであると判定した場合、処理をステップＳ４へ進める。一方、ＥＣＵ２０は、走行速度Ｖが速度閾値Ｖｔｈより大きいと判定した場合、処理をステップＳ１５へ進める。
　ステップＳ４において、ＥＣＵ２０は、転舵角θの絶対値が転舵角閾値θｔｈ以下か否か判定する。転舵角閾値θｔｈは、ＥＣＵ２０の記憶装置に予め記憶された任意の定数値である。ＥＣＵ２０は、転舵角センサ１３から転舵角θを示すデータを受信し、転舵角θの絶対値および転舵角閾値θｔｈの値の大きさを比較する。ＥＣＵ２０は、転舵角θの絶対値が転舵角閾値θｔｈ以下であると判定した場合、処理をステップＳ５へ進める。一方、ＥＣＵ２０は、転舵角θの絶対値が転舵角閾値θｔｈより大きいと判定した場合、処理をステップＳ１５へ進める。
　上述ステップＳ１からステップＳ４の処理によれば、車両１００が進行先の曲折路において右左折等を行うことによって車両１００の進行方位が大きく変化するか否かが、方向指示器１４の動作状況、走行速度Ｖ、および転舵角θに基づいて予測される。方向指示器１４が動作し、且つ車両が比較的低速で走行し、且つ転舵角の絶対値が比較的大きい場合、車両１００が右左折する可能性が高いと考えられるため、上述のような処理によれば車両１００の進行方位が大きく変化するか否かを高い精度で予測することができる。なお、ＥＣＵ２０は、上記処理に限らず、方向指示器１４の動作状況、走行速度Ｖ、および転舵角θの少なくと何れか１つに基づいて車両１００の進行方位が大きく変化するか否かを予測して構わない。
　車両１００の進行方位が大きく変化する場合、撮像装置１１に対する日射方向が変化すると考えられる。すなわち、上述ステップＳ１からステップＳ４の処理によれば、ＥＣＵ２０は、車両１００の進行方位が変化することによって撮像装置１１に対する日射方向が変化するか否かを簡単な処理で予測することができる。
　ステップＳ５において、ＥＣＵ２０は、指示方向情報および転舵角θに基づいて予想進行方位εを算出する。予想進行方位εは、車両１００が上記曲折路を右左折するなどした後の未来の車両１００の進行方位である。なお、予想進行方位εは、南方を示す軸線と、車両１００の未来の進行方位を示すベクトルとが成す角度により表される（後述図５参照）。
　例えば、上述地図情報において車両１００の前方に交差点が存在する場合を想定する。ＥＣＵ２０は、指示方向情報に車両１００の左方向への進行を示す情報が含まれており、且つ転舵角θが負の値である場合（すなわち、車両１００のハンドルが左にきられている場合）、車両１００が左折後に走行する道路の延設方向を予想進行方位εとして算出する。また、ＥＣＵ２０は、指示方向情報に車両１００の右方向への進行を示す情報が含まれており、且つ転舵角θが正の値である場合（すなわち、車両１００のハンドルが右にきられている場合）、車両１００の右折後に走行する道路の延設方向を予想進行方位εとして算出する。なお、ＥＣＵ２０は、指示方向情報および転舵角θの何れか一方および上記地図情報に基づいて予想進行方位εを算出しても構わない。また、ＥＣＵ２０は、予想進行方位εを従来周知の任意の手法を用いて予測しても構わない。ＥＣＵ２０は、ステップＳ５の処理を完了すると、処理をステップＳ８へ進める。
　ステップＳ６において、ＥＣＵ２０は、車両１００の進行先に湾曲路が存在するか否か判定する。具体的には、ＥＣＵ２０は、ナビゲーション装置から車両１００周囲の地図情報を取得し、車両１００の進行先に湾曲路が存在するか否かを当該地図情報に基づいて判定する。湾曲路は、分岐の無い湾曲または蛇行した道路であって、車両が道なりに進行するだけで進行方位が大きく変化する道路を意味する。ＥＣＵ２０は、車両１００の進行先に湾曲路が存在すると判定した場合、処理をステップＳ７へ進める。一方、ＥＣＵ２０は、車両１００の進行先に湾曲路が存在しないと判定した場合、処理をステップＳ１５へ進める。
　上記ステップＳ６の処理は、上記ステップＳ１からステップＳ４の処理と同様に、車両１００の進行方位が変化することによって撮像装置１１に対する日射方向が変化するか否かを予測する処理である。
　ステップＳ７において、ＥＣＵ２０は、道路形状に基づいて予想進行方位εを算出する。具体的には、ＥＣＵ２０は、ステップＳ６において取得した地図情報から車両１００の進行先の道路形状を抽出し、当該道路形状に基づいて予想進行方位εを算出する。なお、ＥＣＵ２０は、予想進行方位εを従来周知の任意の手法を用いて予測して良い。ＥＣＵ２０は、ステップＳ７の処理を完了すると、処理をステップＳ８へ進める。
　ステップＳ８において、ＥＣＵ２０は、太陽撮像予測処理を実行する。太陽撮像予測処理は、車両１００の進行方位が予想進行方位εへ変化した場合に撮像装置１１の撮像範囲内に太陽が含まれるか否かを判定するサブルーチン処理である。以下、図４を参照して太陽撮像予測処理の詳細について説明する。なお、図４は太陽撮像予測処理の詳細を示すフローチャートの一例である。ＥＣＵ２０は、図４のフローチャートの処理を開始すると、先ず、ステップＳ８１の処理を実行する。
　ステップＳ８１において、ＥＣＵ２０は、太陽方位ψを算出する。太陽方位ψは、車両１００を基準とした太陽の位置する方位である。太陽方位ψは、図５に示すように、南方を示す軸線と、車両１００を基準として太陽の存在方位を示すベクトルとが成す角度により表される。なお、図５は太陽方位および撮像装置１１の水平方向の撮像範囲を示す図である。以下、ＥＣＵ２０が、現在の日時、および車両１００の現在位置に基づいて太陽方位ψを算出する方法について具体的に説明する。
　先ず、ＥＣＵ２０は、計時装置１５から取得した月ＭＯおよび日ＤＡに基づいて、元日から現在までの通し日数ｄｎを算出する。そして、式（１）に基づいて、係数μを算出する。
　　μ＝２＊π＊（ｄｎ－1）／365　　　…（１）
次いで、ＥＣＵ２０は、係数μおよび式（２）に基づいて太陽赤緯δを算出する。
　　δ＝0.006918－0.399912＊cos(μ)＋0.070257＊sin(μ)
　　　　－0.006758＊cos(2＊μ)＋0.000907＊sin(2＊μ)
　　　　－0.002697＊cos(3＊μ)＋0.001480＊sin(3＊μ)　　…（２）
次いで、ＥＣＵ２０は、係数μおよび式（３）に基づいて均時差Ｅｑを算出する。
　　Ｅｑ=0.000075＋0.001868＊cos(μ)－0.032077＊sin(μ)
　　　　　－0.014615＊cos(2＊μ)－0.040849＊sin(2＊μ)　　…（３）
次いで、ＥＣＵ２０は、車両１００が存在する地域の時刻Ｔ、標準時子午線の経度ｄφ、および式（４）に基づいて太陽の時角ｈを算出する。なお、ＥＣＵ２０は、標準時子午線の経度ｄφを記憶装置に予め記憶していても良いし、ナビゲーション装置１２から取得しても構わない。また、ＥＣＵ２０は、計時装置１５から時刻Ｔを取得する。上述の通り、式（４）における時刻Ｔは、車両１００が現在位置する地域または国の現在時刻を示す。
　　h=(T-12)＊π/12＋（φ－ｄφ）＋Ｅｑ　　　…（４）
　次いで、ＥＣＵ２０は、太陽高度αを算出する。太陽高度αは、車両１００を基準とした太陽の位置する高度である。太陽高度αは、図６に示すように、水平面と、車両１００を基準として太陽の存在方位を示すベクトルとが成す角度により表される。なお、図６は、太陽高度αおよび撮像装置１１の垂直方向の撮像範囲を示す図である。ＥＣＵ２０は、上記処理において算出した各パラメータおよび式（５）に基づいて太陽高度αを算出する。
　　α=arcsin{sin(φ)＊sin(δ)+cos(φ)＊cos(δ)＊cos(h)}
　　　　　　　　　　　　　　　　　　　　　　　　　　　　…（５）
　次いで、ＥＣＵ２０は、太陽方位ψを、上記処理において算出した各パラメータおよび式（６）に基づいて算出する。
　　ψ=arctan[cos(φ)＊cos(δ)＊sin(h)／{sin(φ)＊sin(α)－sin(δ)}]
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　…（６）
ＥＣＵ２０は、ステップＳ８１の処理を完了すると、処理をステップＳ８２へ進める。
　なお、上記の太陽高度αおよび太陽方位ψの算出方法は一例であり、ＥＣＵ２０は上記手法に限らず従来周知の任意の手法を用いて太陽方位ψを算出して良い。また、撮像システム１が太陽方位ψを検出するセンサをさらに備える構成である場合、ＥＣＵ２０は当該センサの検出結果を取得することによって太陽方位ψを算出しても構わない。
　ステップＳ８２において、ＥＣＵ２０は、撮像装置１１の水平方向の撮像範囲内に太陽２００が含まれるか否か予測する。具体的には、式（７）が満たされるか否か判定する。なお、式（６）において、ωは撮像装置１１の水平方向の画角を示し、Ｒは太陽の視直径を示す。水平画角ωおよび視直径Ｒは、予めＥＣＵ２０の記憶装置に記憶されているものとする。
　　ε－ω／２－Ｒ／２＜ψ＜ε＋ω／２＋Ｒ／２　　　…（７）
より詳細には、図５において、太陽２００が斜線ハッチングで示される角度領域内に含まれる場合、式（７）が満たされると判定される。ＥＣＵ２０は、式（７）が満たされていると判定した場合、撮像装置１１の水平方向の撮像範囲内に太陽が含まれると予測し、処理をステップＳ８３へ進める。一方、ＥＣＵ２０は、式（７）が満たされていないと判定した場合、撮像装置１１の水平方向の撮像範囲内に太陽が含まれないと予測し、処理をステップＳ８５へ進める。
　ステップＳ８３において、ＥＣＵ２０は、撮像装置１１の垂直方向の撮像範囲内に太陽が含まれるか否か予測する。具体的には、式（８）が満たされるか否か判定する。なお、式（８）において、βは撮像装置１１の垂直方向の画角を示す。また、式（８）において、γは撮像装置１１の取り付け角度を示す。ただし、図６に示すように、取り付け角度γの値はγの値は水平面を基準として上方向を示す場合に正の値、下方向示す場合に負の値となるものとする。また、垂直画角βおよび取り付け角度γは、予めＥＣＵ２０の記憶装置に記憶されているものとする。なお、取り付け角度γを変更させる装置が撮像装置１１に搭載されている場合、ＥＣＵ２０は、取り付け角度γの値を当該装置から取得しても構わない。
　　α＜γ＋β／２＋Ｒ／２　　　…（８）
より詳細には、図６において、太陽２００が斜線ハッチングで示される角度領域内に含まれる場合、式（８）が満たされると判定される。ＥＣＵ２０は、式（８）が満たされていると判定した場合、撮像装置１１の垂直方向の撮像範囲内に太陽が含まれると予測し、処理をステップＳ８４へ進める。一方、ＥＣＵ２０は、式（８）が満たされていないと判定した場合、撮像装置１１の垂直方向の撮像範囲内に太陽が含まれないと予測し、処理をステップＳ８５へ進める。
　ステップＳ８４において、ＥＣＵ２０は、撮像予測フラグをオンに設定する。撮像予測フラグは、当該フラグがオン状態である場合に太陽が撮像装置１１の撮像範囲に含まれると予測されたことを示すフラグデータである。ＥＣＵ２０は、ステップＳ８４の処理を完了すると、処理を図３のステップＳ９へ進める。
　ステップＳ８５において、ＥＣＵ２０は、撮像予測フラグをオフに設定する。ＥＣＵ２０は、ステップＳ８５の処理を完了すると、処理を図３のステップＳ９へ進める。
　上記ステップＳ１からステップＳ８の処理によれば、ＥＣＵ２０は、車両１００の進行方位が変化することによって撮像装置１１に対する日射方向が変化すると予測した場合に、撮像装置１１の撮像範囲内に太陽２００が含まれる可能性が高いか否か予測する。
　ステップＳ９において、ＥＣＵ２０は、撮像予測フラグがオンか否か判定する。ＥＣＵ２０は、撮像予測フラグがオンであると判定した場合、処理をステップＳ１０へ進める。一方、ＥＣＵ２０は、撮像予測フラグがオフであると判定した場合、処理をステップＳ１３へ進める。
　ステップＳ１０において、ＥＣＵ２０は、現在太陽を撮像しているか否か判定する。例えば、ＥＣＵ２０は、現在の車両１００の進行方位τ、および太陽方位ψに基づいて現在太陽を撮像しているか否か判定する。より具体的には、ＥＣＵ２０は、式（９）が満たされている場合、撮像装置１１によって太陽が撮像されていると判定する。なお、進行方位τは、ナビゲーション装置１２により検出される。そして、ＥＣＵ２０は、ナビゲーション装置１２から進行方位τの値を取得するものとする。
　　τ－ω／２－Ｒ／２＜ψ＜τ＋ω／２＋Ｒ／２　　　…（９）
また、ＥＣＵ２０は、撮像画像を処理することによって、現在太陽を撮像しているか否かを判定しても構わない。具体的には、ＥＣＵ２０は、前回撮像装置１１によって撮像された画像を取得する。そして、ＥＣＵ２０は、撮像画像を処理することによって、当該撮像画像中に太陽が撮像されているか否かを判定する。なお、上記の判定方法は一例であり、ＥＣＵ２０は、従来周知の任意の手法を用いて撮像画像中に太陽が撮像されているか否かを判定しても構わない。ＥＣＵ２０は、現在太陽を撮像していると判定した場合、処理をステップＳ１５へ進める。一方、ＥＣＵ２０は、現在太陽を撮像していないと判定した場合、処理をステップＳ１１へ進める。
　ステップＳ１１において、ＥＣＵ２０は、現在の露光時間ＳＴを記憶する。ＥＣＵ２０は、ステップＳ１１の処理を完了すると、処理をステップＳ１２へ進める。
　ステップＳ１２において、ＥＣＵ２０は、露光時間ＳＴを短く補正する。例えば、ＥＣＵ２０は、現在の露光時間ＳＴに予め定められた１以下の補正係数を乗算することによって当該露光時間ＳＴの値を現時点より短い値に補正する。そして、ＥＣＵ２０は、補正後の露光時間ＳＴの値を撮像装置１１へ出力して露光時間ＳＴの設定を更新する。なお、ＥＣＵ２０は、露光時間ＳＴの値を現時点より短く補正可能であれば、従来周知の任意の手法を用いて露光時間ＳＴを補正しても構わない。例えば、ＥＣＵ２０は、補正後の露光時間ＳＴの値を予め定数として記憶装置に記憶し、当該値を記憶装置から読み出すことによって設定しても良い。ＥＣＵ２０は、ステップＳ１２の処理を完了すると、処理をステップＳ１５へ進める。
　ステップＳ１３において、ＥＣＵ２０は、上述ステップＳ１０と同様にして現在太陽を撮像しているか否か判定する。ＥＣＵ２０は、現在太陽を撮像していると判定した場合、処理をステップＳ１４へ進める。一方、ＥＣＵ２０は、現在太陽を撮像していないと判定した場合、処理をステップＳ１５へ進める。
　ステップＳ１４において、ＥＣＵ２０は、露光時間ＳＴを補正前の値に戻す。具体的には、ＥＣＵ２０は、予めステップＳ１１の処理で記憶していた露光時間ＳＴの値を読み出し、露光時間ＳＴの値を当該読み出した値に設定する。ＥＣＵ２０は、ステップＳ１４の処理を完了すると、処理をステップＳ１５へ進める。
　上記ステップＳ９からステップＳ１４の処理によれば、ＥＣＵ２０は、撮像装置１１に対する日射方向が変化すると予測されたタイミング、すなわち、白とびおよび黒つぶれが発生し易いと予測されたタイミングで露光時間の値を適切に変更することができる。
　具体的には、ＥＣＵ２０は、撮像装置１１の撮像範囲内に太陽２００が含まれる可能性が高いと予測した場合、撮像画像が暗くなるよう露光時間を短く設定する。このような処理によれば、例えば車両１００がカーブを曲がった直後などに急に太陽２００からの直射光を撮像装置１１が受けたとしても（すなわち、急に被写体が明るくなったとしても）、ＥＣＵ２０は、撮像装置１１により撮像される画像に白飛びが発生することを防ぐことができる。
　また、ＥＣＵ２０は、現時点で撮像装置１１によって既に太陽２００が撮像されており、且つ車両１００の進行方位が変更された後に撮像装置１１によって太陽２００が撮像されなくなると予測された場合、露光時間を補正前の値に戻す。このような処理によれば、例えば車両１００がカーブを曲がった直後に撮像装置１１によって太陽２００が撮像されなくなったとしても（すなわち、急に被写体が暗くなったとしても）、撮像画像に黒つぶれが発生することを防ぐことができる。
　また、上記ステップＳ９からステップＳ１４の処理によれば、ＥＣＵ２０は、現時点で撮像装置１１によって既に太陽２００が撮像されており、且つ車両１００の進行方位が変更された後も継続して撮像装置１１によって太陽２００が撮像されると予測された場合、露光時間を補正後の値に維持する。また、ＥＣＵ２０は、現時点で撮像装置１１によって既に太陽２００が撮像されておらず、且つ車両１００の進行方位が変更された後も継続して撮像装置１１によって太陽２００が撮像されないと予測された場合、露光時間を現在の値に維持する。このような処理によれば、不要なタイミングでの露光時間の補正を防止し、撮像画像における白とびおよび黒つぶれの発生を回避することができる。
　ステップＳ１５において、ＥＣＵ２０は、撮像画像を取得する。具体的には、ＥＣＵ２０は、トリガ信号を撮像装置へ出力する。そして、ＥＣＵ２０は、撮像装置１１から撮像画像のデータを受信する。ＥＣＵ２０は、ステップＳ１５の処理を完了すると、処理をステップＳ１６へ進める。
　ステップＳ１６において、ＥＣＵ２０は、ＩＧ電源がオフ状態に設定されたか否か判定する。ＥＣＵ２０は、ＩＧ電源がオフ状態に設定されたと判定した場合、図３のフローチャートの処理を終了する。一方、ＥＣＵ２０は、ＩＧ電源がオン状態であると判定した場合、処理をステップＳ１へ戻し、上述各ステップの処理を繰り返し実行する。
　以上に示した通り、本実施形態に係る撮像システム１によれば、撮像画像における白とびや黒つぶれの発生を防止し、鮮明な撮像画像を撮像することができる。また、撮像システム１は、一般的な車両に搭載されているハードウェアデバイスを流用して構成することが可能である。したがって撮像システム１によれば、特別な光学フィルタ等を製造および組み付けすることなく、容易に白とびや黒つぶれのない撮像画像を取得できる。
　なお、上記実施形態では、ＥＣＵ２０が撮像装置１１の露光時間を補正することによって撮像画像の明るさを調整する例について説明したが、ＥＣＵ２０は、撮像画像の明るさを変更可能な設定値であれば、露光時間以外の任意の設定値を変更して撮像画像の明るさを調整しても構わない。
　例えば、ＥＣＵ２０は、露光時間の代わりに、撮像装置１１の絞り値を補正することによって撮像画像の明るさを調整しても構わない。絞り値は、絞り部材の開口部の開き具合を示す値である。絞り値が大きいほど、撮像画像は暗くなり、絞り値が小さい程、撮像画像は明るくなる。したがって、露光時間の代わりに絞り値を補正する場合、ＥＣＵ２０は、ステップＳ１２の処理において、絞り値を現時点より大きな値に補正する処理を行う。
　また、ＥＣＵ２０は、露光時間の代わりに、撮像装置１１のゲイン値を補正することによって撮像画像の明るさを調整しても構わない。ゲイン値は、上記撮像素子が生成する画像信号に乗算される数値である。ゲイン値が小さいほど、撮像画像は暗くなり、ゲイン値が大きい程、撮像画像は明るくなる。したがって、露光時間の代わりにゲイン値を補正する場合、ＥＣＵ２０は、ステップＳ１２の処理において、ゲイン値を現時点より大きな値に補正する処理を行う。なお、ＥＣＵ２０は、露光時間、絞り値、ゲイン値の各パラメータを同時に変更しても構わない。
　また、上記実施形態においては、ＥＣＵ２０が撮像装置１１の撮像範囲内に太陽２００が含まれるか否か予測する際に撮像装置１１の画角および太陽２００の視直径を考慮する例について説明したが（ステップＳ８２、ステップＳ８３）、ＥＣＵ２０は、撮像装置１１の画角および太陽２００の視直径を考慮することなく上記の予測を行っても構わない。例えば、ＥＣＵ２０は、ステップＳ８２において、太陽方位ψが式（１０）を満たす場合に撮像装置１１の水平方向の撮像範囲内に太陽２００が含まれると判定する処理を行っても良い。また、ＥＣＵ２０は、ステップＳ８３において、太陽高度αが式（１１）を満たす場合に撮像装置１１の垂直方向の撮像範囲内に太陽２００が含まれると判定する処理を行っても良い。なお、ＰおよびＱは予め定められた任意の定数である。
　　ε－Ｐ＜ψ＜ε＋Ｐ　　　…（１０）
　　α＜γ＋Ｑ　　　…（１１）
このような処理によれば、比較的少ない計算量で上記の予測を行うことができる。
　また、上記実施形態において、ＥＣＵ２０がステップＳ１４において露光時間ＳＴを補正前の値に戻す処理を実行する例について説明したが、ＥＣＵ２０は、当該ステップＳ１４において露光時間ＳＴを現時点に比べて長く補正する処理を実行しても構わない。具体的には、ステップＳ１４において、ＥＣＵ２０は、１以上の補正係数を露光時間ＳＴに乗算しても良い。このような処理によっても、撮像画像における黒つぶれの発生を予防することができる。また、このような処理を行う場合、ＥＣＵ２０は補正前の露光時間ＳＴを予め記憶する必要がないため、ステップＳ１１の処理を省略することができる。
　また、上記実施形態において、ＥＣＵ２０は、現在車両１００が走行している地域の天候情報を取得し、当該天候情報に基づいて上述図２の処理を実行するか否か予め判定しても構わない。例えば、ＥＣＵ２０は、現在車両１００が走行している地域が晴天であるとの情報を取得している場合にのみ、図２の処理を実行しても構わない。
　また、上記実施形態では、撮像システム１が車両１００に搭載される例について説明したが、撮像システム１は他のあらゆる移動体に搭載可能である。なお、移動体に方向指示器１４が備えられていない場合には、撮像システム１も方向指示器１４を備えない構成としても良い。また、このような場合、ＥＣＵ２０は上述ステップＳ２の処理を省略しても構わない。
　本発明に係る撮像システムは、簡単な構成で鮮明な画像を撮像可能な撮像システムなどとして有用である。
　１　　　撮像システム
　１１　　撮像装置
　１２　　ナビゲーション装置
　１３　　転舵角センサ
　１４　　方向指示器
　１５　　計時装置
　１６　　速度センサ
　２０　　ＥＣＵ
　１００　車両
　２００　太陽

Claims (11)

  1. 　移動体に搭載される撮像システムであって、
    　前記移動体の周囲の画像を撮像する撮像手段と、
    　前記移動体の進行方位が変化することによって前記撮像手段に対する日射方向が変化するか否かを予測する日射変化予測手段と、
    　前記日射変化予測手段によって前記撮像手段に対する日射方向が変化すると予測された場合、前記撮像手段の撮像設定値を補正する設定値補正手段とを備えることを特徴とする、撮像システム。
  2. 　前記移動体の進行方位が変化することによって前記撮像手段に対する日射方向が変化すると予測された場合、当該進行方位の変化後に前記撮像手段の撮像範囲に太陽が含まれる可能性が高いか否かを予測する太陽撮像予測手段をさらに備え、
    　前記設定値補正手段は、前記撮像手段に対する日射方向が変化する可能性が高いと予測され、尚且つ、当該進行方位の変化後に前記撮像手段の撮像範囲に太陽が含まれる可能性が高いと予測された場合、前記撮像手段の撮像設定値を前記画像が現時点に比べて暗く撮像されるように補正することを特徴とすることを特徴とする、請求項１に記載の撮像システム。
  3. 　前記日射変化予測手段によって前記撮像手段に対する日射方向が変化すると予測された場合、当該変化後の前記移動体の進行方位を予想進行方位として予想する進行方位予想手段と、
    　前記移動体を基準として太陽の位置する方位を算出する太陽位置算出手段とをさらに備え、
    　太陽撮像予測手段は、前記撮像手段の撮像範囲に太陽が含まれる可能性が高いか否かを、前記予想進行方位、および前記太陽の方位に応じて予測することを特徴とする、請求項２に記載の撮像システム。
  4. 　前記移動体は車両であり、
    　前記撮像システムは、
    　　前記車両が走行している道路周辺の地図情報を取得する地図取得手段と、
    　　前記車両の方向指示器の動作状態を検出する指示器動作検出手段と、
    　　前記車両の走行速度を検出する速度検出手段と、
    　　および前記車両の転舵角を検出する転舵角検出手段との少なくとも何れかを備え、
    　前記日射変化予測手段は、前記移動体の進行方位が変化する可能性が高いか否かを前記地図情報、前記方向指示器の動作状態、前記走行速度、および前記転舵角の少なくとも何れかに基づいて予測することを特徴とする、請求項３に記載の撮像システム。
  5. 　前記撮像システムは、
    　　前記車両の進行先に曲折路が存在しているか否かを前記地図情報に基づいて判定する進行経路判定手段と、
    　　前記車両の方向指示器が動作しているか否か判定する指示器動作判定手段と、
    　　前記車両の走行速度が予め定められた速度閾値以下であるか否か判定する速度判定手段と、
    　　前記車両の転舵角が予め定められた舵角閾値以下であるか否か判定する舵角判定手段とをさらに備え、
    　前記日射変化予測手段は、前記車両の進行先に曲折路が存在していると判定され、且つ、前記車両の方向指示器が動作していると判定され、且つ、前記車両の速度が予め定められた速度閾値以下であると判定され、且つ、前記車両の転舵角が予め定められた舵角閾値以下であると判定された場合に、前記移動体の進行方位が変化する可能性が高いと予測することを特徴とする、請求項４に記載の撮像システム。
  6. 　前記撮像手段の画角、および太陽の視直径の値を予め記憶する記憶手段をさらに備え、
    　太陽撮像予測手段は、前記撮像手段の撮像範囲に太陽が含まれる可能性が高いか否かを、前記予想進行方位、前記太陽の方位、および前記撮像手段の画角、前記太陽の視直径に基づいて予測することを特徴とする、請求項３および５の何れか１つに記載の撮像システム。
  7. 　前記太陽撮像予測手段は、前記太陽の視直径をＲ、前記太陽の方位をψ、前記撮像手段の水平方向の画角をω、前記予想進行方位をεとした場合に、式（Ａ）が満たされた場合に前記撮像手段の撮像範囲に太陽が含まれる可能性が高いと予測することを特徴とする、請求項６に記載の撮像システム。
    　　ε－ω／２－Ｒ／２＜ψ＜ε＋ω／２＋Ｒ／２　　　…（Ａ）
  8. 　前記移動体を基準として太陽の高度を算出する太陽高度算出手段をさらに備え、
    　前記記憶手段は、前記前記撮像手段の光軸と水平面とが成す角度γ（ただし、γの値は水平面を基準として上方向を示す場合に正の値、下方向示す場合に負の値となるものとする）をさらに記憶し、
    　前記太陽撮像予測手段は、前記太陽の高度をα、前記撮像手段の垂直方向の画角をβ、前記撮像手段の光軸と水平面とが成す角度をγ、とした場合、前記式（Ａ）および式（Ｂ）が満たされた場合に前記撮像手段の撮像範囲に太陽が含まれる可能性が高いと予測することを特徴とする、請求項７に記載の撮像システム。
    　　α＜γ＋β／２＋Ｒ／２　　　…（Ｂ）
  9. 　現時点において前記撮像手段の撮像範囲に太陽が含まれているか否かを判定する太陽撮像判定手段をさらに備え、
    　前記設定値補正手段は、前記太陽撮像予測手段によって前記移動体の進行方位の変化後に前記撮像手段の撮像範囲に太陽が含まれる可能性が低いと予測され、且つ、前記太陽撮像判定手段によって現時点において前記撮像手段の撮像範囲に太陽が含まれていると判定された場合、前記撮像手段の撮像設定値を前記画像が現時点に比べて明るく撮像されるように補正することを特徴とする、請求項２に記載の撮像システム。
  10. 　現時点において前記撮像手段の撮像範囲に太陽が含まれているか否かを判定する太陽撮像判定手段と、
    　前記設定値補正手段が前記撮像設定値を補正する際、当該補正前の撮像設定値を記憶保持する補正前設定値記憶手段とをさらに備え、
    　前記設定値補正手段は、前記太陽撮像予測手段によって前記移動体の進行方位の変化後に前記撮像手段の撮像範囲に太陽が含まれる可能性が低いと予測され、且つ、前記太陽撮像判定手段によって現時点において前記撮像手段の撮像範囲に太陽が含まれていると判定された場合、前記撮像手段の撮像設定値を前記補正前の撮像設定値に戻す、請求項２に記載の撮像システム。
  11. 　前記撮像手段は撮像素子を備え、当該撮像素子を露光させることによって前記画像を撮像し、
    　前記撮像設定値は、前記撮像素子の露光時間であり、
    　前記設定値補正手段は、前記露光時間を補正する、請求項１に記載の撮像システム。
PCT/JP2010/000773 2010-02-09 2010-02-09 撮像システム WO2011099049A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/000773 WO2011099049A1 (ja) 2010-02-09 2010-02-09 撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/000773 WO2011099049A1 (ja) 2010-02-09 2010-02-09 撮像システム

Publications (1)

Publication Number Publication Date
WO2011099049A1 true WO2011099049A1 (ja) 2011-08-18

Family

ID=44367363

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/000773 WO2011099049A1 (ja) 2010-02-09 2010-02-09 撮像システム

Country Status (1)

Country Link
WO (1) WO2011099049A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017207340A (ja) * 2016-05-17 2017-11-24 株式会社デンソー 走行計画作成装置及びセンタ
WO2019116784A1 (ja) * 2017-12-12 2019-06-20 ソニー株式会社 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
WO2021124579A1 (ja) * 2019-12-20 2021-06-24 株式会社センシンロボティクス 飛行体の撮像方法及び情報処理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04198710A (ja) * 1990-11-28 1992-07-20 Matsushita Electric Ind Co Ltd 太陽追尾センサ
JP2002362129A (ja) * 2001-02-02 2002-12-18 Denso Corp 車両の日射検出装置及びそれを用いた車両用空調装置
JP2005073296A (ja) * 2004-10-27 2005-03-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
JP2006222844A (ja) * 2005-02-14 2006-08-24 Fujitsu Ten Ltd 車載画像情報出力装置及び車載画像情報出力装置の制御方法
JP2006295676A (ja) * 2005-04-13 2006-10-26 Sanyo Electric Co Ltd 移動体用撮像装置
JP2009017474A (ja) * 2007-07-09 2009-01-22 Fujitsu Ten Ltd 画像処理装置および画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04198710A (ja) * 1990-11-28 1992-07-20 Matsushita Electric Ind Co Ltd 太陽追尾センサ
JP2002362129A (ja) * 2001-02-02 2002-12-18 Denso Corp 車両の日射検出装置及びそれを用いた車両用空調装置
JP2005073296A (ja) * 2004-10-27 2005-03-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
JP2006222844A (ja) * 2005-02-14 2006-08-24 Fujitsu Ten Ltd 車載画像情報出力装置及び車載画像情報出力装置の制御方法
JP2006295676A (ja) * 2005-04-13 2006-10-26 Sanyo Electric Co Ltd 移動体用撮像装置
JP2009017474A (ja) * 2007-07-09 2009-01-22 Fujitsu Ten Ltd 画像処理装置および画像処理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017207340A (ja) * 2016-05-17 2017-11-24 株式会社デンソー 走行計画作成装置及びセンタ
WO2019116784A1 (ja) * 2017-12-12 2019-06-20 ソニー株式会社 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
CN111448529A (zh) * 2017-12-12 2020-07-24 索尼公司 信息处理装置、移动物体、控制系统、信息处理方法以及程序
JPWO2019116784A1 (ja) * 2017-12-12 2020-12-17 ソニー株式会社 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
EP3726329A4 (en) * 2017-12-12 2021-01-27 Sony Corporation INFORMATION PROCESSING DEVICE, MOBILE BODY, CONTROL SYSTEM, INFORMATION PROCESSING PROCESS AND PROGRAM
JP7200946B2 (ja) 2017-12-12 2023-01-10 ソニーグループ株式会社 情報処理装置、制御システム、情報処理方法及びプログラム
US11698642B2 (en) 2017-12-12 2023-07-11 Sony Corporation Information processing apparatus, mobile object, control system, and information processing method
WO2021124579A1 (ja) * 2019-12-20 2021-06-24 株式会社センシンロボティクス 飛行体の撮像方法及び情報処理装置
JPWO2021124579A1 (ja) * 2019-12-20 2021-12-23 株式会社センシンロボティクス 飛行体の撮像方法及び情報処理装置

Similar Documents

Publication Publication Date Title
US10739783B2 (en) Image processing method for autonomous driving and apparatus thereof
US8212860B2 (en) Digital camera having an image mover
KR100930119B1 (ko) 상흔들림 보정기능을 구비한 카메라
US9215375B2 (en) Photographing apparatus, image display apparatus, and display control method of image display apparatus
JP4586534B2 (ja) 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
US10511793B2 (en) Techniques for correcting fixed pattern noise in shutterless FIR cameras
CN103227905B (zh) 车载摄像机用曝光控制装置
CN111489288B (zh) 一种图像的拼接方法和装置
US20150098617A1 (en) Method and Apparatus for Establishing a North Reference for Inertial Measurement Units using Scene Correlation
JP2010239479A (ja) 撮像部制御装置、撮像部制御方法および撮像部制御プログラム
US20190005625A1 (en) Techniques for scene-based nonuniformity correction in shutterless fir cameras
WO2011099049A1 (ja) 撮像システム
JP6699567B2 (ja) 撮像装置
JP5800288B2 (ja) 車両用画像処理装置
US20080291274A1 (en) Method for Operating at Least One Camera
JP2009239501A (ja) 撮影システムおよび撮影方法
CN102246506B (zh) 摄像装置以及摄像方法
JP2007502588A (ja) カメラ用露光量制御方法および装置
JP2008199525A (ja) 車両用撮影装置
JP7122394B2 (ja) 撮像部制御装置
JP2018125706A (ja) 撮像装置
JP2019165344A (ja) ぶれ補正装置及びぶれ補正方法
JP2009121847A (ja) 車両制御装置
JP2015080155A (ja) カメラシステムおよびカメラ
JP2007166142A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10845655

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10845655

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP