WO2018074076A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2018074076A1
WO2018074076A1 PCT/JP2017/031232 JP2017031232W WO2018074076A1 WO 2018074076 A1 WO2018074076 A1 WO 2018074076A1 JP 2017031232 W JP2017031232 W JP 2017031232W WO 2018074076 A1 WO2018074076 A1 WO 2018074076A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
windshield
vehicle
captured
Prior art date
Application number
PCT/JP2017/031232
Other languages
English (en)
French (fr)
Inventor
翔 鷹野
Original Assignee
アスモ 株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アスモ 株式会社 filed Critical アスモ 株式会社
Publication of WO2018074076A1 publication Critical patent/WO2018074076A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the present invention relates to an imaging apparatus.
  • a front windshield of a vehicle is imaged from the vehicle interior by a camera including a lens and an image sensor, and raindrops or the like are formed on the outer surface of the front windshield based on the captured image.
  • an imaging device raindrop detection device
  • raindrops attached to the outer surface of the front windshield are the imaging target, the distance between the object images from the imaging target to the imaging surface on which the image of the imaging target is formed on the imaging device is short, and the image The distance between the lenses (the distance from the lens rear principal point to the imaging surface) is long.
  • an imaging apparatus that actively captures the periphery of a vehicle with a similar camera and actively assists the driver based on the captured image (such as detecting obstacles during traveling and avoiding collisions) Driving assistance devices) have also been proposed (see, for example, Patent Document 2).
  • an imaging device since a distant view in front of the vehicle, another vehicle or an obstacle existing around the vehicle is an imaging target, the distance between the imaging objects to the imaging surface is long, and The distance (distance from the lens rear principal point to the imaging surface) is short.
  • Patent Document 3 describes a technique for imaging a distant imaging object and a nearby imaging object with a single imaging device.
  • incident light that has entered the case through the case is branched by a half mirror, and one of the branched incident light is collected on the first imaging surface via the first lens.
  • the other incident light is condensed on the second imaging surface through a second lens having a different focal length from that of the first lens.
  • JP 2001-147278 A Japanese Patent Laying-Open No. 2015-19462 Japanese Patent Laid-Open No. 4-300748
  • the distance between the first lens and the first imaging surface (the inter-image distance from the rear principal point of the first lens to the first imaging surface), and The distance between the second lens and the second imaging surface (inter-image distance from the rear principal point of the second lens to the second imaging surface) is ensured by a predetermined distance depending on the imaging object to be focused.
  • a predetermined distance depending on the imaging object to be focused.
  • the first and second lenses are arranged between the first and second imaging surfaces and the half mirror, respectively, there is a problem that the apparatus is enlarged to ensure the predetermined distance. was there.
  • An object of the present invention is to provide an imaging apparatus that can suppress an increase in size of the apparatus.
  • the imaging apparatus includes a lens, a beam splitter, a first imaging unit, and a second imaging unit.
  • the beam splitter is disposed on an optical path of light transmitted through the lens.
  • the first imaging unit has a first imaging surface.
  • the first imaging surface is located at a position where the transmitted light that has passed through the beam splitter forms an image.
  • the second imaging unit has a second imaging surface. The second imaging surface is located at a position where the reflected light reflected by the beam splitter forms an image.
  • FIG. 4 is a schematic diagram of the imaging apparatus in FIG. 3.
  • FIG. 4 is a block diagram illustrating a schematic configuration of the imaging apparatus in FIG. 3.
  • 5 is a flowchart of processing performed by the image processing apparatus according to the first embodiment.
  • the schematic diagram of the distant image which the 1st image sensor in 1st Embodiment imaged.
  • the schematic diagram of the distant image which the 1st image sensor in 1st Embodiment imaged.
  • FIG. 6 is a schematic diagram of a neighborhood image captured by a second image sensor according to the first embodiment.
  • FIG. 3 is a schematic diagram of a distant image formed by the image processing apparatus according to the first embodiment.
  • 10 is a flowchart of processing performed by the image processing apparatus according to the second embodiment.
  • the schematic diagram of the imaging device of another form The schematic diagram of the imaging device of another form, and a front windshield.
  • the vehicle 10 is provided with a front windshield 12 (hereinafter referred to as a windshield 12) that extends obliquely downward from the vehicle front side end of the roof panel 11 toward the vehicle front side. ing.
  • the vehicle 10 is provided with an imaging device 20 that captures an image for assisting the driver of the vehicle 10 and an image for detecting foreign matter attached to the outer surface 12a of the windshield 12. Yes.
  • a foreign material adhering to the outer surface 12a of the windshield 12 a raindrop, snow, dust, an insect, dirt, etc. are mentioned.
  • the imaging device 20 includes a housing 21, a lens 22 held by the housing 21, a half mirror 23 as a beam splitter housed in the housing 21, and a housing 21 includes a first image sensor 24 serving as a first imaging unit and a second image sensor 25 serving as a second imaging unit.
  • the casing 21 is fixed to the inner surface 12 b of the windshield 12. Specifically, the casing 21 is fixed to the substantially upper center portion of the windshield 12 in the vehicle width direction at the upper end portion of the windshield 12.
  • the lens 22 is disposed so as to be able to receive incident light L ⁇ b> 1 incident on the inside of the casing 21 through an opening 21 a provided in front of the casing 21.
  • the half mirror 23 is disposed on the optical path of the incident light L1 transmitted through the lens 22, and divides the incident light L1 incident on the half mirror 23 into two.
  • the half mirror 23 is disposed on the rear side of the vehicle 10 with respect to the lens 22 and divides the incident light L1 into transmitted light L2 and reflected light L3 at a ratio of 1: 1.
  • the half mirror 23 is, for example, a cubic prism type, and is disposed such that the incident surface 23a on which the incident light L1 is incident is parallel to the main surface 22a of the lens 22. Further, the half mirror 23 is arranged so that the reflection surface 23 b is inclined by 45 ° with respect to the main surface 22 a of the lens 22 when viewed from the vehicle width direction (perpendicular to the paper surface in FIG. 3).
  • the first image sensor 24 and the second image sensor 25 are, for example, CMOS image sensors.
  • Each of the first and second image sensors 24 and 25 sequentially captures an image, for example, images 30 frames per second.
  • the first image sensor 24 is disposed on the optical path of the transmitted light L2 transmitted through the half mirror 23, and has a first imaging surface 24a that receives the transmitted light L2.
  • the first image sensor 24 is arranged so that the first imaging surface 24a is located at a position where the transmitted light L2 forms an image.
  • the first image sensor 24 is around the vehicle 10 (such as the front of the vehicle 10). ) Is arranged on the rear side of the vehicle 10 with respect to the half mirror 23 so as to form an image on the first imaging surface 24a.
  • the first image sensor 24 is arranged so that the first imaging surface 24 a is parallel to the main surface 22 a of the lens 22. Then, the first image sensor 24 captures an image formed on the first imaging surface 24a (that is, an image capturing the periphery of the vehicle 10 from the inside of the vehicle 10 through the windshield 12).
  • the second image sensor 25 is disposed on the optical path of the reflected light L3 reflected by the half mirror 23, and has a second imaging surface 25a that receives the reflected light L3.
  • the second image sensor 25 is disposed so that the second imaging surface 25a is positioned at the position where the reflected light L3 forms an image.
  • the second image sensor 25 is located in front of the casing 21 (see FIG. 2).
  • the windshield 12 is disposed on the lower side of the vehicle 10 with respect to the half mirror 23 so as to form an image on the second imaging surface 25a.
  • the second image sensor 25 is arranged so that the plane including the second imaging surface 25 a is perpendicular to the plane including the main surface 22 a of the lens 22.
  • the second image sensor 25 captures an image formed on the second imaging surface 25a (that is, an image of a part of the windshield 12 as viewed from the inside of the vehicle 10).
  • the first image sensor 24 is provided so as to focus on a range X1 around the vehicle 10 (the front side of the vehicle 10), and the second image sensor 25 includes a housing. 21 is provided so as to be in focus in a range X2 including the windshield 12 on the front side. That is, the imaging target imaged by the second image sensor 25 is located closer to the lens 22 than the imaging target imaged by the first image sensor 24. Therefore, the inter-image distance of the second image sensor 25 (distance between the main surface 22a and the second imaging surface 25a via the half mirror 23) is the inter-image distance (main surface of the first image sensor 24). 22a and the first imaging surface 24a).
  • the imaging device 20 includes an image processing device 26 that performs image processing of images captured by the first and second image sensors 24 and 25.
  • the image processing device 26 includes a well-known microcomputer having a CPU for performing various controls and a storage device 26a.
  • the storage device 26a includes, for example, a ROM that stores a program for executing processing performed by the CPU, parameters, and the like, and a RAM as a work area that temporarily stores data generated during the processing.
  • the storage device 26a stores an image captured by the first image sensor 24 and an image captured by the second image sensor 25.
  • the imaging device 20 also includes a foreign matter determination unit 31 that determines the presence or absence of foreign matter attached to the outer surface 12a of the windshield 12 based on image data output from the image processing device 26, and the presence or absence of foreign matter by the foreign matter determination unit 31. And a wiper control unit 32 that controls the wiper motor M based on the determination. A wiper W that is driven by the wiper motor M and wipes the outer surface 12a of the windshield 12 is connected to the wiper motor M.
  • the imaging device 20 includes a driving assistance control unit 33 for performing driving assistance to the driver (detecting an obstacle or the like during traveling to avoid a collision) based on the image data output from the image processing device 26.
  • the driving support control unit 33 controls the engine ECU (not shown) that controls the engine of the vehicle 10, the brake ECU that controls the brake, the speaker, and the like based on the image data output from the image processing device 26. Is output.
  • the image processing device 26 acquires an image obtained by capturing the periphery of the vehicle 10 from the inside of the vehicle 10 through the windshield 12 from the first image sensor 24 in step S ⁇ b> 101.
  • the process proceeds to S102.
  • the image acquired from the first image sensor 24 is, for example, an image F1 as shown in FIG. 7 when no foreign matter or the like is attached to the outer surface 12a of the windshield 12.
  • the image acquired from the first image sensor 24 is, for example, an image F2 as shown in FIG.
  • the first image sensor 24 captures an image in which the periphery of the vehicle 10 is in focus, the outline of the foreign matter 41 (for example, raindrops) is blurred in the image F2.
  • the foreign object detection process performed by the image processing apparatus 26 will be described assuming that the foreign object 41 is attached to the outer surface 12a of the windshield 12.
  • step S ⁇ b> 102 the image processing device 26 performs a differentiation operation (edge strength calculation) on each pixel of the image acquired from the first image sensor 24. Then, the image processing device 26 extracts an edge in the image (a portion where the brightness changes sharply) based on the calculation result, and proceeds to step S105.
  • the edge extraction is performed by determining whether or not the result of the differential operation exceeds a threshold value stored in advance in the storage device 26a.
  • the image processing apparatus 26 acquires an image obtained by capturing the windshield 12 from the inside of the vehicle 10 from the second image sensor 25 in step S103, and proceeds to step S104. .
  • the image processing device 26 acquires an image captured by the second image sensor 25 at the same time as the time when the image acquired from the first image sensor 24 is captured in step S101.
  • the image acquired from the second image sensor 25 is, for example, an image F3 as shown in FIG. Since the second image sensor 25 captures an image in which the windshield 12 in front of the housing 21 is in focus, the image around the vehicle 10 in the background of the foreign object 41 is blurred in the image F3. It will be a thing.
  • step S ⁇ b> 104 the image processing device 26 performs a differentiation operation (edge strength calculation) on each pixel of the image acquired from the second image sensor 25, and extracts an edge in the image based on the calculation result.
  • the process proceeds to step S105. Note that edge extraction is performed in the same manner as in step S102.
  • step S ⁇ b> 105 the image processing device 26 performs processing for extracting the edge in step S ⁇ b> 102, and for performing the edge extraction process in step S ⁇ b> 104.
  • contours that exist in both of the two images are extracted. More specifically, in the image F2 (see FIG. 8) acquired from the first image sensor 24 in the step S101, the outline of the scenery around the vehicle 10 (the outline of the roadway and the vehicle positioned ahead) is clear. However, the outline of the foreign matter 41 attached to the outer surface 12a of the windshield 12 is blurred. On the other hand, in the image F3 (see FIG.
  • the outline of the scenery around the vehicle 10 is blurred, but attached to the outer surface 12a of the windshield 12.
  • the outline of the foreign object 41 is clear.
  • the image F3 acquired from the second image sensor 25 in step S103 may include a landscape outline around the vehicle 10.
  • a part of the contour 42 of the traffic light is reflected in the image F3.
  • the outline of the scenery around the vehicle 10 should be clear only in the image F2 acquired from the first image sensor 24 in step S101. Therefore, a contour (for example, contour 42) included in (imaged in) both the image subjected to the edge extraction process in step S102 and the image subjected to the edge extraction process in step S104 is the foreign object 41.
  • step S105 the image processing device 26 compares the image that has undergone the edge extraction process in step S102 with the image that has undergone the edge extraction process in step S104. Then, based on the comparison result, the image processing device 26 extracts a contour that may not be included in the image subjected to the edge extraction processing in step S104, that is, a contour that exists in both of the two images. Then, the process proceeds to step S106.
  • step S106 the image processing apparatus 26 erases the contour extracted in step S105 (for example, the contour 42) from the image subjected to the edge extraction processing in step S104, and proceeds to step S107. Note that only the outline of the foreign object 41 remains in the image obtained by performing this step S106.
  • step S107 the image processing apparatus 26 connects the contours of the foreign matter 41a that is not circular (the contour is not closed) out of the contours of the foreign matter 41 included in the image obtained in step S106 to make the circular shape.
  • a connection process is performed and it transfers to step S108.
  • step S108 the image processing apparatus 26 fills the inside of the outline of the foreign object 41 in the image subjected to the connection process in step S107, and proceeds to step S109.
  • step S109 the image processing device 26 assumes that the portion painted in step S108 is a range where foreign matter exists in the image. As a result, the position where the foreign object 41 exists (the range occupied by the foreign object 41) is detected on the outer surface 12a of the windshield 12 within the range imaged by the second image sensor 25. Then, the image processing device 26 outputs the image data including the position information of the foreign matter 41 to the foreign matter determination unit 31 (see FIG. 5) and ends the processing.
  • the foreign matter determination unit 31 is based on the image data including the positional information of the foreign matter 41 output by the image processing device 26 (that is, the position of the foreign matter attached to the outer surface 12 a by the image processing device 26. Based on the detection result, the presence / absence of foreign matter attached to the outer surface 12a of the windshield 12 and the amount of foreign matter are determined. Then, the determination result is output to the wiper control unit 32.
  • the wiper control unit 32 controls the drive of the wiper motor M based on the determination of the presence or absence of foreign matter by the foreign matter determination unit 31. More specifically, when a foreign matter determination unit 31 determines that a foreign matter exists on the outer surface 12a when a lever switch (not shown) provided in the vehicle 10 is operated to the auto position, based on the determination result.
  • the wiper control unit 32 drives the wiper motor M. For example, the wiper control unit 32 drives the wiper motor M in a mode (low speed mode, high speed mode, intermittent mode, etc.) corresponding to the amount of foreign matter determined by the foreign matter determination unit 31. Then, the wiper motor M drives the wiper W, and the wiper W wipes the outer surface 12a of the windshield 12 to automatically remove foreign matters such as raindrops on the outer surface 12a.
  • the image processing device 26 detects the image captured by the first image sensor 24 when the foreign matter 41 is attached to the outer surface 12a of the windshield 12, and the image before the foreign matter 41 is attached to the outer surface 12a.
  • An image around the vehicle 10 is formed by removing the influence of the foreign matter 41 (such as blur caused by raindrops) from the image captured by the first image sensor 24.
  • the portion that is the range where the foreign matter exists in the image in step S109 of the foreign matter detection process (see FIG. 6) is the image F2 acquired from the first image sensor 24 (see FIG. 8).
  • the image processing device 26 acquires the image data including the position information of the foreign matter 41 obtained by performing step S109 (that is, the detection result of the position of the foreign matter attached to the outer surface 12a) and the first image sensor 24. Based on the image F2, the position of the foreign object 41 in the image F2, that is, the foreign object presence range A1 is recognized. Then, the image processing device 26 captures an image F1 captured by the first image sensor 24 before the foreign matter 41 adheres to the outer surface 12a of the windshield 12 (for example, immediately before) in the foreign matter existence range A1 in the image F2 (FIG. 7). An image F4 (see FIG. 10) is formed by joining (replacing) images of portions corresponding to the foreign substance existence range A1 in (see).
  • the image processing device 26 outputs the image data of the formed image F4 to the driving support control unit 33.
  • the image processing apparatus 26 determines that the image acquired from the first image sensor 24 (or the edge extraction process in step S102) when the foreign object presence range A1 does not exist in the image acquired from the first image sensor 24.
  • the image data of the image that has been performed is output to the driving support control unit 33.
  • the driving support control unit 33 detects an obstacle close to the vehicle 10 based on the image data output from the image processing device 26 (determines whether there is an obstacle).
  • the driving support control unit 33 sends a control signal for decelerating or stopping the vehicle 10 to the engine ECU and the brake ECU. Or output a control signal for outputting a warning sound for alerting the driver to the speaker.
  • the incident light L1 transmitted through the lens 22 reaches each of the first and second image sensors 24 and 25 via the half mirror 23, the distance between the lens 22 and the first imaging surface 24a, and the same What is necessary is just to ensure the distance between the lens 22 and the 2nd image pick-up surface 25a according to the imaging target to focus on, respectively. That is, the distance between the lens 22 and the first imaging surface 24a (the inter-image distance from the main surface 22a (rear principal point) of the lens 22 to the first imaging surface 24a) is focused on the periphery of the vehicle 10. (The image around the vehicle 10 is formed on the first imaging surface 24a).
  • the distance between the lens 22 and the second imaging surface 25a is focused on the windshield 12. (The image of the windshield 12 is formed on the second imaging surface 25a).
  • the size of the apparatus can be suppressed as compared with a conventional imaging apparatus that includes lenses corresponding to two imaging units according to an imaging target to be focused. Moreover, since one lens can be used (it is not necessary to provide two lenses having different focal lengths), this can also suppress an increase in the size of the apparatus and reduce manufacturing costs. it can.
  • the first image sensor 24 captures an image in which the periphery of the vehicle 10 is in focus and the foreign matter attached to the outer surface 12a of the windshield 12 is not in focus (foreign matter is blurred).
  • the second image sensor 25 captures an image in which the windshield 12 is in focus and the vehicle 10 is out of focus (the periphery of the vehicle 10 is blurred).
  • the image captured by the second image sensor 25 may be partially focused around the vehicle 10. Therefore, the second image sensor 25 detects the position of the foreign matter attached to the outer surface 12a by comparing the image captured by the first image sensor 24 with the image captured by the second image sensor 25.
  • the captured image it is possible to suppress erroneous detection of a part that is partially focused on the periphery of the vehicle 10 as a foreign object.
  • the foreign matter (foreign matter position) attached to the outer surface 12a of the windshield 12 can be detected with high accuracy. And since it is suppressed that an obstacle around the vehicle 10 is erroneously detected as a foreign object, malfunction of the wiper control unit 32 can be suppressed.
  • the image processing device 26 compares the images captured by the first and second image sensors 24 and 25 to determine the position of the foreign matter adhering to the outer surface 12a of the windshield 12 on the outer surface 12a. To detect. Therefore, it is possible to recognize the foreign object presence range A1, which is a range in which a foreign object image exists in an image around the vehicle 10 captured by the first image sensor 24.
  • the image processing device 26 converts an image of a portion corresponding to the foreign substance presence range A1 in the image captured by the first image sensor 24 before the foreign substance adheres to the outer surface 12a to an image including the foreign substance presence range A1. It connects with the said foreign material presence range A1.
  • the image processing device 26 can form an image of the periphery of the vehicle 10 in which the influence of foreign matters (such as blur due to water droplets) is reduced.
  • the driving assistance control part 33 detects the obstruction which adjoins the vehicle 10 based on the said image from which the influence of the foreign material adhering to the outer surface 12a of the windshield 12 was reduced, the misdetection of an obstruction is carried out. Reduced.
  • the foreign matter determination unit 31 determines the presence or absence of foreign matter attached to the outer surface 12a of the windshield 12 based on the detection result of the image processing device 26 in which erroneous detection of foreign matter is suppressed. Therefore, the foreign matter determination unit 31 can determine the presence or absence of foreign matter attached to the outer surface 12a of the windshield 12 with high accuracy. Since the wiper control unit 32 controls driving of the wiper motor M based on the determination result of the foreign matter determining unit 31, the wiper motor M can be driven and controlled with high accuracy according to the state of the outer surface 12a of the windshield 12. it can. As a result, the outer surface 12a of the windshield 12 can be favorably wiped by the wiper W driven by the wiper motor M.
  • the image processing device 26 compares the image around the vehicle 10 captured by the first image sensor 24 with the image of the windshield 12 captured by the second image sensor 25, and based on the comparison result.
  • the position of the foreign matter attached to the outer surface 12a is detected. Therefore, the position of the foreign substance in the image captured by the second image sensor 25 can be detected with high accuracy.
  • the image processing device 26 can recognize the position of the foreign matter in the image captured by the first image sensor 24 with high accuracy.
  • the driving support control unit 33 detects an obstacle close to the vehicle 10 based on an image captured by the first image sensor 24 and the position of the foreign object is recognized with high accuracy.
  • the image processing device 26 compares the image around the vehicle 10 captured by the first image sensor 24 with the image of the windshield 12 captured by the second image sensor 25, thereby In addition to water droplets attached to the outer surface 12a, the position (existing range) of dust, insects, dirt, etc. attached to the outer surface 12a can be detected. Therefore, the image processing device 26 can recognize the positions of dust, insects, dirt, and the like in the image captured by the first image sensor 24 based on the detection result. Therefore, even when dust, insects, dirt, or the like is attached to the outer surface 12a of the windshield 12 within the range imaged by the second image sensor 25, the driving support control unit 33 performs the dust, It is possible to suppress erroneous detection of insects, dirt, and the like as obstacles close to the vehicle 10.
  • the image processing device 26 compares the image around the vehicle 10 captured by the first image sensor 24 with the image of the windshield 12 captured by the second image sensor 25, and the outer surface of the windshield 12. The position of the foreign matter attached to 12a is detected, and the position of the foreign matter in the image around the vehicle 10 captured by the first image sensor 24 is recognized.
  • the image processing device 26 erroneously detects the position of the foreign matter due to the influence of the foreign matter attached to the outer surface 12a of the windshield 12, and the driving support control unit 33 causes the vehicle 10 to False detection of nearby obstacles can be reduced.
  • the image processing device 26 acquires an image obtained by capturing the periphery of the vehicle 10 from the inside of the vehicle 10 through the windshield 12 from the first image sensor 24 in step S201.
  • the process proceeds to S202.
  • An image F11 illustrated in FIG. 12 is an example of an image (second image) acquired from the first image sensor 24 when a foreign matter is attached to the outer surface 12a of the windshield 12. Since the first image sensor 24 captures an image in which the periphery of the vehicle 10 is in focus, the outline of the foreign object 41 is blurred in the image F11.
  • control processing performed by the image processing apparatus 26 will be described assuming that the foreign matter 41 is attached to the outer surface 12a of the windshield 12.
  • the image processing apparatus 26 forms a reference image F12 for performing mask processing on the area of the foreign matter 41 detected from the image F11 acquired in step S201.
  • the image processing device 26 recognizes a range where foreign matter exists in the image F11 by the foreign matter detection processing (steps S101 to S109) of the first embodiment.
  • the image acquired by the image processing device 26 in step S101 corresponds to the image F11 acquired from the first image sensor 24 in step S201, and the image acquired by the image processing device 26 in step S103 is This is an image captured by the second image sensor 25 at the same time as when the image F11 was captured.
  • the image processing device 26 acquires the image data including the position information of the foreign matter 41 obtained in step S109 (that is, the detection result of the position of the foreign matter attached to the outer surface 12a), and the first image sensor in step S201. 24, the position of the foreign object 41 in the image F11, that is, the foreign object presence range A1 is recognized. Then, the image processing device 26 forms a reference image F12 for extracting an image of a portion corresponding to the foreign substance presence range A1 from another image.
  • the reference image F12 is an image in which the foreign substance existence range A1 and a portion that is not the foreign substance existence range A1 are clarified.
  • step S203 the image processing apparatus 26 captures an image captured by the first image sensor 24 one hour before the time when the image F11 acquired in step S201 is captured.
  • F13 first image
  • “one hour before” is a time that is set in advance before the time when the image F11 acquired in step S201 is captured by the first image sensor 24.
  • the image one hour before is the image one frame before the image F11 acquired in step S201.
  • step S204 the image processing apparatus 26 captures an image captured by the first image sensor 24 two hours before the time when the image F11 acquired in step S201 is captured.
  • F14 (first image) is read from the storage device 26a.
  • “two hours ago” is a time that is a time before “one time ago” in step S203, and is a preset time.
  • the image two hours ago is an image one hour earlier than “one hour ago” in step S203, and is an image two frames before the image F11 acquired in step S201.
  • step S ⁇ b> 205 the image processing device 26 determines that the image F ⁇ b> 13 one hour before acquired in step S ⁇ b> 203 and the image two hours before acquired in step S ⁇ b> 204.
  • the optical flow is calculated from F14, and the process proceeds to step S206.
  • the image processing apparatus 26 sets, for example, a point that can be recognized as the same part as a feature point in the images F13 and F14 that are captured at different times, and uses the movement of the feature point as a flow vector for a plurality of the images. It calculates for every group classified into. Such a flow vector is calculated in all regions of the images F13 and F14.
  • a specific known method such as a matching method or a gradient method can be used as a specific method for calculating the optical flow, but is not particularly limited.
  • step S206 the image processing device 26 forms a predicted image F15 at the time when the image F11 acquired in step S201 is captured based on the optical flow calculated in step S205. Then, the process proceeds to step S207.
  • step S207 the image processing apparatus 26 applies a portion corresponding to the foreign object existence range A1 in the image F11 acquired from the first image sensor 24 in step S201 to the step S206.
  • An image F16 is formed by replacing the image of the portion corresponding to the foreign substance presence range A1 in the formed predicted image F15.
  • the image processing device 26 performs mask processing on the predicted image F15 (see FIG. 16) formed in step S206 using the reference image F12 (see FIG. 13) formed in step S202. Thereby, the image of the part corresponding to the foreign substance presence range A1 is extracted in the prediction image F15.
  • the image processing device 26 replaces the image extracted from the predicted image F15 with a portion corresponding to the foreign substance existence range A1 in the image F11 (see FIG. 12) acquired from the first image sensor 24 in the step S201 ( A joined image F16 (see FIG. 17) is formed. Then, the image processing device 26 outputs the image data of the formed image F16 to the driving support control unit 33 and ends the processing.
  • the driving support control unit 33 detects an obstacle close to the vehicle 10 based on the image data output from the image processing device 26 (similar to the obstacle) as in the first embodiment. Judgment is made)
  • the driving support control unit 33 sends a control signal for decelerating or stopping the vehicle 10 to the engine ECU and the brake ECU. Or output a control signal for outputting a warning sound for alerting the driver to the speaker.
  • the determination of the presence / absence of foreign matter adhered to the outer surface 12a of the windshield 12 by the foreign matter determination unit 31 and the drive control of the wiper motor M by the wiper control unit 32 are performed in the same manner as in the above embodiment.
  • the image processing device 26 compares the images captured by the first and second image sensors 24 and 25 to determine the position of the foreign matter adhering to the outer surface 12a of the windshield 12 on the outer surface 12a. To detect. Therefore, it is possible to recognize the foreign object presence range A1, which is a range in which a foreign object image exists in an image around the vehicle 10 captured by the first image sensor 24.
  • the image processing device 26 predicts the foreign object existence range A1 in the image F11 captured by the first image sensor 24 from the plurality of images F13 and F14 captured by the first image sensor 24 before the image F11.
  • An image F16 is formed by joining the images of the portions corresponding to the foreign substance presence range A1 in the predicted image F15. Therefore, the image processing device 26 can form an image around the vehicle 10 in which the influence of foreign matters (such as blur due to water droplets) is reduced. For example, an obstacle that moves relative to the vehicle 10 may overlap the foreign matter 41 attached to the outer surface 12a of the windshield 12 in the image F11 acquired from the first image sensor 24 in step S201. .
  • a predicted image F15 is formed from a plurality of images F13 and F14 captured by the first image sensor 24 before the image F11, and a portion corresponding to the foreign substance existence range A1 in the predicted image F15 is image F11.
  • the image F ⁇ b> 16 connected to the obstacle, there is a possibility that an obstacle that overlaps the foreign substance existence range A ⁇ b> 1 in the image F ⁇ b> 11 can be recognized.
  • the part other than the part replaced in the image F16 part of the foreign object presence range A1
  • the actual new information around the vehicle 10 is included.
  • the driving support control unit 33 determines that the vehicle 10 Since the obstacle close to the vehicle is detected, erroneous detection of the obstacle by the driving support control unit 33 is reduced.
  • the wiper motor M is driven and controlled based on the determination of the presence or absence of foreign matter by the foreign matter determination unit 31, but the determination result may be used for other purposes.
  • the imaging device 20 does not necessarily include the foreign matter determination unit 31 and the wiper control unit 32.
  • the image captured by the first image sensor 24 is used for driving assistance to the driver, but may be used for other purposes. Further, the imaging device 20 does not necessarily include the driving support control unit 33.
  • the driving support control unit 33 performs the first image before the foreign matter adheres to the outer surface 12a of the windshield 12 in the foreign matter existence range A1 in the image captured by the first image sensor 24.
  • An obstacle close to the vehicle 10 is detected based on an image obtained by joining the images captured by the sensor 24.
  • the driving support control unit 33 is an image acquired from the first image sensor 24 and not subjected to a joining process regardless of the presence or absence of foreign matter on the outer surface 12a of the windshield 12 (or step).
  • An obstacle close to the vehicle 10 may be detected based on the image obtained by performing the edge extraction process in S102.
  • the driving support control unit 33 detects the obstacle close to the vehicle 10 based on the image captured by the first image sensor 24 and the position of the foreign object is recognized, whereby the first The effect similar to (5) of 1 embodiment is acquired.
  • the image processing device 26 does not have to form the joined image.
  • the image processing device 26 forms the predicted image F15 at the time when the image F11 is captured from the two images F13 and F14 captured by the first image sensor 24.
  • the image processing device 26 forms a predicted image at the time when the image F11 is captured from three or more images captured at different times by the first image sensor 24 before the time when the image F11 is captured. It may be.
  • the image processing device 26 captures the image of the foreign object presence range A1 in the image captured by the first image sensor 24 with the first image sensor 24 before the time when the image is captured.
  • An image is formed by connecting portions corresponding to the foreign substance existence range A1 in the predicted image predicted from the plurality of images, and image data is output.
  • the driving support control unit 33 detects an obstacle close to the vehicle 10 based on the image data output from the image processing device 26.
  • the driving support control unit 33 is an image acquired from the first image sensor 24 and not subjected to a joining process regardless of the presence or absence of foreign matter on the outer surface 12a of the windshield 12 (or step).
  • An obstacle close to the vehicle 10 may be detected based on the image obtained by performing the edge extraction process in S102.
  • the driving support control unit 33 detects the obstacle close to the vehicle 10 based on the image captured by the first image sensor 24 and the position of the foreign object is recognized, whereby the first The effect similar to (5) of 1 embodiment is acquired.
  • the image processing device 26 does not have to form the joined image.
  • the image processing apparatus 26 uses the first image sensor to detect the position of the foreign matter on the outer surface 12a of the windshield 12 within the range imaged by the second image sensor 25 with high accuracy.
  • the position of the foreign matter in the image captured at 24 can be recognized with high accuracy. Therefore, the driving support control unit 33 or the image processing device 26 can correct the image used for driving support according to the position of the foreign object in the image captured by the first image sensor 24. .
  • the driving support control unit 33 can change the control signal so as to change the content of driving support in accordance with the proportion of foreign matter in the image captured by the first image sensor 24.
  • the driving support control unit 33 outputs a warning sound to stop driving support when the ratio of foreign matter in the image captured by the first image sensor 24 is large (when the ratio is above a certain level).
  • a control signal can be output to the speaker.
  • the image processing device 26 compares the image captured by the first image sensor 24 with the image captured by the second image sensor 25, and the outside of the windshield 12 is based on the comparison result. The position of the foreign matter adhering to the surface 12a on the outer surface 12a is detected. However, the image processing device 26 may detect the position of the foreign matter attached to the outer surface 12a of the windshield 12 on the outer surface 12a using only the image captured by the second image sensor 25. .
  • the first image sensor 24 is arranged so that an image around the vehicle 10 is formed on the first imaging surface 24a, and the second image sensor 25 is the windshield 12. Are arranged so as to form an image on the second imaging surface 25a.
  • the first image sensor 24 is arranged so that the image of the windshield 12 is formed on the first imaging surface 24a, and the second image sensor 25 is arranged so that the image around the vehicle 10 is the second imaging. You may arrange
  • the first image sensor 24 is disposed such that the first imaging surface 24a is parallel to the main surface 22a of the lens 22, and the second image sensor 25 is the second imaging surface.
  • the plane including 25 a is arranged so as to be perpendicular to the plane including the main surface 22 a of the lens 22.
  • the first and second image sensors 24 and 25 are arranged so as to be able to receive the transmitted light L2 and the reflected light L3 on the first and second imaging surfaces 24a and 25a, respectively, the arrangement thereof.
  • the aspect is not limited to that of the above embodiment.
  • the first image sensor 24 is arranged so that the image of the windshield 12 is formed on the first imaging surface 24 a, and the second image sensor 25 is arranged around the vehicle 10. Are arranged so as to form an image on the second imaging surface 25a.
  • the plane P1 including the first imaging surface 24a of the first image sensor 24, the plane P2 including the main surface 22a of the lens 22, and the plane P3 including the outer surface 12a of the windshield 12 are on a straight line S1.
  • the first image sensor 24 and the lens 22 are arranged so as to cross each other.
  • FIG. 19 is a schematic view of the vehicle 10 viewed from the vehicle width direction.
  • the planes P1, P2, and P3 are illustrated as straight lines because they are orthogonal to the paper surface, and the straight line S1 is illustrated as a point because it extends in the direction perpendicular to the paper surface. ing.
  • the focus (focus) of the image captured by the first image sensor 24 can be adjusted to the range X3 along the outer surface 12a of the windshield 12 by the principle of Scheinproof. Therefore, for example, even if the lens 22 is disposed at a position not facing the windshield 12 (that is, the lens 22 is disposed at a position where the main surface 22a is not parallel to the windshield 12), the outer surface 12a of the windshield 12 is disposed. It is possible to capture an image that is in focus and the background is not in focus (the background is blurred). Therefore, based on the image captured by the first image sensor 24, information (such as the adhesion state of foreign matter) of the outer surface 12a of the windshield 12 can be obtained with high definition.
  • the outer surface 12a of the windshield 12 is actually curved and not a flat surface, for example, a plane closest to the curved surface is defined as a plane P3, and the first image sensor 24 has a plane P3.
  • the inclinations of the first imaging surface 24a and the main surface 22a of the lens 22 are set. That is, the plane P3 including the outer surface 12a of the windshield 12 may be a plane that can adjust the focus to a range along the outer surface 12a of the windshield 12 according to the Scheinproof principle.
  • the first image sensor 24 is arranged so that an image around the vehicle 10 is formed on the first imaging surface 24a, and the second image sensor 25 is a windshield. Twelve images are arranged on the second imaging surface 25a.
  • the first image sensor 24 is arranged so that the first imaging surface 24 a is parallel to the main surface 22 a of the lens 22.
  • a virtual second image sensor 35 (indicated by a two-dot chain line in FIG. 12) virtually disposed at a position symmetrical to the second image sensor 25 with respect to the plane P4 including the reflection surface 23b of the half mirror 23.
  • the second imaging surface 25a (shown) is assumed to be a virtual imaging surface 35b.
  • FIG. 20 is a schematic view of the vehicle 10 as viewed from the vehicle width direction.
  • the planes P5, P2, and P3 are shown as straight lines because they are orthogonal to the paper surface, and the straight line S2 is shown as a point because they extend in the direction perpendicular to the paper surface. ing.
  • the focus (focus) of the image picked up by the second image sensor 25 can be adjusted to the range X3 along the outer surface 12a of the windshield 12 by the Scheinproof principle. Therefore, for example, even if the lens 22 is disposed at a position that does not face the windshield 12, an image in which the outer surface 12a of the windshield 12 is in focus and the background is not in focus (the background is blurred) is captured. can do. Therefore, the information on the outer surface 12a of the windshield 12 can be obtained with high definition based on the image captured by the second image sensor 25.
  • the outer surface 12a of the windshield 12 is actually curved and not flat, as in the example shown in FIG. 19.
  • the plane closest to the curved surface is flat.
  • the inclination of the second imaging surface 25a (virtual imaging surface 35b) of the second image sensor 25 and the main surface 22a of the lens 22 is set with respect to the plane P3.
  • the imaging device 20 of each of the above embodiments serves as a beam splitter that divides (branches) light transmitted through the lens 22, and a half mirror 23 that divides light transmitted through the lens 22 (that is, incident light L1) into 1: 1. It has.
  • the division ratio of the incident light L1 by the beam splitter provided in the imaging device 20 is not limited to this.
  • the beam splitter divides the incident light L1 so that the first image sensor 24 that captures the periphery of the vehicle 10 receives more light than the second image sensor 25 that captures the windshield 12. You may do. In this way, more light can be distributed to the first image sensor 24 that captures an image with a large amount of information. Therefore, the driving support control unit 33 that detects an obstacle close to the vehicle 10 based on an image captured by the first image sensor 24 can further reduce the erroneous detection of the obstacle.
  • At least one on the optical path of light that passes through the lens 22 (including light that is incident on the lens 22 and reaches the first imaging surface 24a or the second imaging surface 25a and is branched by the half mirror 23)
  • the filter include a polarizing filter, a circular polarizing filter, a neutral density filter, an infrared cut filter, and a visible light cut filter.
  • an infrared cut filter 51 is provided on the optical path of the transmitted light L2 that has passed through the half mirror 23, and a neutral density filter 52 is provided on the optical path of the reflected light L3 reflected by the half mirror 23.
  • the infrared cut filter 51 is disposed between the half mirror 23 and the first imaging surface 24a
  • the neutral density filter 52 is disposed between the half mirror 23 and the second imaging surface 25a.
  • the infrared cut filter 51 is disposed between the first imaging surface 24 a of the first image sensor 24 that images the periphery of the vehicle 10 through the windshield 12 and the half mirror 23, the first image sensor.
  • the image captured at 24 is an image close to the color seen by human eyes.
  • the driving support control unit 33 is less likely to detect the obstacle erroneously.
  • the neutral density filter 52 is disposed between the second imaging surface 25 a of the second image sensor 25 that images the windshield 12 and the half mirror 23, an external image is captured in the image captured by the second image sensor 25. It can reduce that the outline of the foreign material adhering to the surface 12a is not lost by strong disturbance light such as a headlight or a streetlight of an oncoming vehicle.
  • filters can be arranged on the optical path of the transmitted light L2 and on the optical path of the reflected light L3, respectively, a filter suitable for each of the first and second image sensors 24 and 25 is arranged. Can be easily done.
  • a filter is provided between the lens 22 and the half mirror 23 on the optical path of the incident light L1.
  • a polarizing filter may be provided between the lens 22 and the incident surface 23a of the half mirror 23. If it does in this way, it can control that reflected light reflected on a road surface or a vehicle body is received by the 1st and 2nd imaging surfaces 24a and 25a.
  • the image processing device 26 and the driving support control unit 33 it is possible to prevent the image processing device 26 and the driving support control unit 33 from misidentifying the positions of the brake lamps and headlights of the surrounding vehicles.
  • the image captured by the second image sensor 25 it is possible to prevent the outline of the foreign matter attached to the outer surface 12a from appearing in disturbance light.
  • the imaging device 20 may include a beam splitter (for example, a polarization beam splitter) having the function of the filter.
  • a beam splitter for example, a polarization beam splitter
  • the light received by the first and second image sensors 24 and 25 is light obtained by dividing the incident light L1 transmitted through the lens 22 by the half mirror 23. Therefore, the amount of light received by each of the first and second image sensors 24 and 25 is smaller than that of the incident light L1 that passes through the lens 22. Therefore, the images captured by the first and second image sensors 24 and 25 may become dark.
  • each of the first and second image sensors 24 and 25 captures an image by using a bright lens or improving the sensitivity of the first and second image sensors 24 and 25 (imaging devices). The brightness of the image can be improved.
  • the brightness adjustment unit may adjust the shutter speed in each of the first and second image sensors 24 and 25, for example.
  • the brightness adjustment unit may be provided in the image processing device 26 and may perform gain control of an image captured by each of the first and second image sensors 24 and 25.
  • the half mirror 23 is disposed such that the reflection surface 23b is inclined by 45 ° with respect to the main surface 22a of the lens 22 when viewed from the vehicle width direction.
  • the arrangement of the half mirror 23 is not limited to this as long as the first and second image sensors 24 and 25 can receive the transmitted light L2 and the reflected light L3, respectively.
  • the half mirror 23 is a cubic prism type, but is not limited thereto, and a planar type may be used.
  • the first image sensor 24 is arranged on the rear side of the vehicle 10 with respect to the half mirror 23
  • the second image sensor 25 is on the lower side of the vehicle 10 with respect to the half mirror 23. Has been placed.
  • the arrangement positions of the first and second image sensors 24 and 25 with respect to the half mirror 23 are not limited to this.
  • the second image sensor 25 may be arranged on one side in the vehicle width direction with respect to the half mirror 23.
  • the second image sensor 25 is arranged on the left side with respect to the half mirror 23.
  • the half mirror 23 is arranged so that the transmitted light L2 is received by the first image sensor 24 and the reflected light L3 is received by the second image sensor 25.
  • the imaging device 20 (housing 21) can be thinned in the vertical direction of the vehicle 10. As a result, it is possible to suppress the view of the passenger of the vehicle 10 from being narrowed by the imaging device 20.
  • the first and second image sensors 24 and 25 are both CMOS image sensors, but are not limited to this, and may be other image sensors (CCD image sensors or the like).
  • the housing 21 that holds the lens 22 and accommodates the half mirror 23, the first image sensor 24, and the second image sensor 25 is fixed to the inner surface 12 b of the windshield 12.
  • the arrangement position of the housing 21 in the vehicle 10 is not limited to this, and may be a position where the imaging device 20 can image the periphery of the vehicle 10 and the windshield 12.
  • the casing 21 is preferably fixed at a position that does not interfere with the driver's field of view.
  • the casing 21 may be fixed to the roof panel 11.
  • the casing 21 is fixed to the roof panel 11 so as to be positioned on the vehicle front side of a rearview mirror (not shown), for example, and is positioned at the center in the vehicle width direction.
  • the imaging device 20 is used for capturing an image around the vehicle 10 and an image of the windshield 12.
  • the present invention is not limited to this, and the subject distance (from the lens to the imaging target) is used. It may be used for the purpose of imaging two imaging objects having different distances.
  • the imaging device 20 may be used for capturing an image of the periphery of the vehicle 10 (the rear side of the vehicle 10) and an image of a rear windshield provided as a windshield provided behind the vehicle 10. .

Abstract

撮像装置は、レンズと、ビームスプリッタと、第１の撮像部と、第２の撮像部とを含む。ビームスプリッタは、レンズを透過した光の光路上に配置されている。第１の撮像部は第１の撮像面を有する。第１の撮像面はビームスプリッタを透過した透過光が結像する位置に位置する。第２の撮像部は第２の撮像面を有する。第２の撮像面はビームスプリッタで反射された反射光が結像する位置に位置する。

Description

撮像装置
　本発明は、撮像装置に関するものである。
　従来、例えば特許文献１に記載されているように、レンズ及び撮像素子を備えたカメラにより車室内から車両のフロントウインドシールドを撮像し、撮像した画像に基づいてフロントウインドシールドの外表面に雨滴等の水滴が付着していることを検出する撮像装置（雨滴検出装置）がある。このような撮像装置では、フロントウインドシールドの外表面に付着した雨滴が撮像対象であるため、撮像対象から撮像素子において撮像対象の像が結像する撮像面までの物像間距離が短く、像間距離（レンズ後側主点から撮像面までの距離）が長い。
　また、近年、同様のカメラにより車両の周辺を撮像し、撮像した画像に基づいて運転者への運転支援（走行時に障害物等を検出し衝突を回避する等）を積極的に行う撮像装置（運転支援装置）も提案されている（例えば特許文献２参照）。このような撮像装置では、車両の前方の遠景や、車両の周辺に存在する別の車両や障害物等が撮像対象となるため、撮像対象から撮像面までの物像間距離が長く、像間距離（レンズ後側主点から撮像面までの距離）が短い。
　そして、特許文献３には、遠方の撮像対象と近傍の撮像対象とを単一の撮像装置で撮像する技術が記載されている。特許文献２に記載された撮像装置は、ケースの開口から同ケース内に入射した入射光をハーフミラーで分岐し、分岐された一方の入射光を第１レンズを介して第１撮像面に集光し、他方の入射光を第１レンズとは焦点距離の異なる第２レンズを介して第２撮像面に集光するように構成されている。
特開２００１－１４７２７８号公報 特開２０１５－１９４９６２号公報 特開平４－３００７４８号公報
　ところで、特許文献３に記載された撮像装置においては、第１レンズと第１撮像面との間の距離（第１レンズの後側主点から第１撮像面までの像間距離）、並びに、第２レンズと第２撮像面との間の距離（第２レンズの後側主点から第２撮像面までの像間距離）は、ピントを合わせたい撮像対象に応じてそれぞれ所定の距離だけ確保する必要がある。しかしながら、第１及び第２撮像面とハーフミラーとの間に第１及び第２レンズがそれぞれ配置された構成であるため、上記所定の距離を確保するために装置が大型化されてしまうという問題があった。
　本発明の目的は、装置の大型化を抑制することができる撮像装置を提供することにある。
　上記目的を達成するため、撮像装置は、レンズと、ビームスプリッタと、第１の撮像部と、第２の撮像部とを含む。前記ビームスプリッタは、前記レンズを透過した光の光路上に配置されている。前記第１の撮像部は第１の撮像面を有する。前記第１の撮像面は前記ビームスプリッタを透過した透過光が結像する位置に位置する。前記第２の撮像部は第２の撮像面を有する。前記第２の撮像面は前記ビームスプリッタで反射された反射光が結像する位置に位置する。
第１及び第２実施形態の撮像装置を備えた車両の平面図。 フロントウインドシールドに固定された図１の撮像装置を模式的に示す断面図。 図２の撮像装置及びフロントウインドシールドの模式図。 図３の撮像装置の模式図。 図３の撮像装置の概略構成を示すブロック図。 第１実施形態における画像処理装置が行う処理のフローチャート。 第１実施形態における第１のイメージセンサが撮像した遠方画像の模式図。 第１実施形態における第１のイメージセンサが撮像した遠方画像の模式図。 第１実施形態における第２のイメージセンサが撮像した近傍画像の模式図。 第１実施形態における画像処理装置が形成した遠方画像の模式図。 第２実施形態における画像処理装置が行う処理のフローチャート。 第２実施形態における第１のイメージセンサが撮像した遠方画像の模式図。 第２実施形態における画像処理装置が形成した基準画像の模式図。 第２実施形態における第１のイメージセンサが撮像した遠方画像の模式図。 第２実施形態における第１のイメージセンサが撮像した遠方画像の模式図。 第２実施形態における画像処理装置が形成した予測画像の模式図。 第２実施形態における画像処理装置が形成した遠方画像の模式図。 別の形態の撮像装置の模式図。 別の形態の撮像装置及びフロントウインドシールドの模式図。 別の形態の撮像装置及びフロントウインドシールドの模式図。 別の形態の撮像装置を備えた車両の平面図。 別の形態における撮像装置を備えた車両の模式断面図。
　＜第１実施形態＞
　以下、撮像装置の第１実施形態について説明する。
　図１に示すように、車両１０には、ルーフパネル１１の車両前方側端部から車両前方側に向かって斜め下方に延びるようにフロントウインドシールド１２（以下、ウインドシールド１２とする）が設けられている。また、車両１０には、車両１０の運転者の運転支援を行うための画像と、ウインドシールド１２の外表面１２ａに付着した異物を検出するための画像とを撮像する撮像装置２０が設けられている。なお、ウインドシールド１２の外表面１２ａに付着する異物としては、雨滴、雪、塵埃、虫、汚れ等が挙げられる。
　図２に示すように、撮像装置２０は、筐体２１と、筐体２１にて保持されたレンズ２２と、筐体２１の内部に収容されたビームスプリッタとしてのハーフミラー２３と、同じく筐体２１の内部に収容された第１の撮像部としての第１のイメージセンサ２４及び第２の撮像部としての第２のイメージセンサ２５とを備えている。
　図１及び図２に示すように、筐体２１は、ウインドシールド１２の内表面１２ｂに固定されている。詳しくは、筐体２１は、ウインドシールド１２の上端部において、同ウインドシールド１２の車幅方向の略中央部に固定されている。
　図２に示すように、レンズ２２は、筐体２１の前方に設けられた開口部２１ａから同筐体２１の内側に入射する入射光Ｌ１を受光可能に配置されている。
　図３に示すように、ハーフミラー２３は、レンズ２２を透過した入射光Ｌ１の光路上に配置されており、該ハーフミラー２３に入射した入射光Ｌ１を２つに分割する。ハーフミラー２３は、レンズ２２に対して車両１０の後方側に配置されており、入射光Ｌ１を１：１の割合で透過光Ｌ２と反射光Ｌ３とに分割する。そして、ハーフミラー２３を透過した透過光Ｌ２は、車両１０の後方側に進み、同ハーフミラー２３の反射面２３ｂで反射された反射光Ｌ３は、車両１０の下方側に進むようになっている。なお、ハーフミラー２３は、例えば、立方体状をなすプリズム型のものであり、入射光Ｌ１が入射する入射面２３ａがレンズ２２の主面２２ａと平行をなすように配置されている。また、ハーフミラー２３は、車幅方向（図３において紙面垂直方向）から見て、その反射面２３ｂがレンズ２２の主面２２ａに対して４５°傾斜するように配置されている。
　図３及び図４に示すように、第１のイメージセンサ２４及び第２のイメージセンサ２５は、例えば、ＣＭＯＳイメージセンサである。これら第１及び第２のイメージセンサ２４，２５は、それぞれ順次画像を撮像するものであり、例えば、１秒間に３０フレームの画像を撮像する。
　第１のイメージセンサ２４は、ハーフミラー２３を透過した透過光Ｌ２の光路上に配置されており、透過光Ｌ２を受光する第１の撮像面２４ａを有する。そして、第１のイメージセンサ２４は、透過光Ｌ２が結像する位置に第１の撮像面２４ａが位置するように配置されており、本実施形態では、車両１０の周辺（車両１０の前方等）の像が第１の撮像面２４ａに結像するように、ハーフミラー２３に対して車両１０の後方側に配置されている。また、第１のイメージセンサ２４は、第１の撮像面２４ａがレンズ２２の主面２２ａと平行をなすように配置されている。そして、第１のイメージセンサ２４は、第１の撮像面２４ａに結像した画像（即ち、車両１０の内部からウインドシールド１２越しに車両１０の周辺を撮像した画像）を撮像する。
　第２のイメージセンサ２５は、ハーフミラー２３で反射された反射光Ｌ３の光路上に配置されており、反射光Ｌ３を受光する第２の撮像面２５ａを有する。そして、第２のイメージセンサ２５は、反射光Ｌ３が結像する位置に第２の撮像面２５ａが位置するように配置されており、本実施形態では、筐体２１（図２参照）の前方のウインドシールド１２の像が第２の撮像面２５ａに結像するように、ハーフミラー２３に対して車両１０の下方側に配置されている。また、第２のイメージセンサ２５は、第２の撮像面２５ａを含む平面がレンズ２２の主面２２ａを含む平面に対して直角をなすように配置されている。そして、第２のイメージセンサ２５は、第２の撮像面２５ａに結像した画像（即ち、車両１０の内部から見たウインドシールド１２の一部分の画像）を撮像する。
　なお、図３に示すように、第１のイメージセンサ２４は、車両１０の周辺（車両１０の前方側）の範囲Ｘ１にピントが合うように設けられ、第２のイメージセンサ２５は、筐体２１の前方側のウインドシールド１２を含む範囲Ｘ２にピントが合うように設けられている。即ち、第２のイメージセンサ２５が撮像する撮像対象は、第１のイメージセンサ２４が撮像する撮像対象よりもレンズ２２に近い位置に位置する。そのため、第２のイメージセンサ２５の像間距離（ハーフミラー２３を介した主面２２ａと第２の撮像面２５ａとの間の距離）は、第１のイメージセンサ２４の像間距離（主面２２ａと第１の撮像面２４ａとの間の距離）よりも長い。
　また、図５に示すように、撮像装置２０は、第１及び第２のイメージセンサ２４，２５が撮像した画像の画像処理を行う画像処理装置２６を備えている。画像処理装置２６は、各種制御を行うＣＰＵと記憶装置２６ａとを有する周知のマイクロコンピュータで構成されている。記憶装置２６ａは、例えば、ＣＰＵで行う処理を実行するプログラムやパラメータ等を格納するＲＯＭ及びその処理過程で生成されるデータを一時格納する作業領域としてのＲＡＭにて構成されている。記憶装置２６ａには、第１のイメージセンサ２４が撮像した画像、及び第２のイメージセンサ２５が撮像した画像が記憶される。
　また、撮像装置２０は、画像処理装置２６が出力する画像データに基づいてウインドシールド１２の外表面１２ａに付着した異物の有無を判定する異物判定部３１と、異物判定部３１による異物の有無の判定に基づいてワイパモータＭを駆動制御するワイパ制御部３２とを備えている。ワイパモータＭには、同ワイパモータＭによって駆動されウインドシールド１２の外表面１２ａを払拭するワイパＷが連結されている。
　また、撮像装置２０は、画像処理装置２６が出力する画像データに基づいて運転者への運転支援（走行時に障害物等を検出し衝突を回避する等）を行うための運転支援制御部３３を備えている。運転支援制御部３３は、画像処理装置２６が出力する画像データに基づいて、車両１０のエンジンを制御するエンジンＥＣＵ（図示略）、ブレーキを制御するブレーキＥＣＵ、スピーカ等を制御するための制御信号を出力する。
　次に、画像処理装置２６が行う異物検出の処理について説明する。
　図６乃至図８に示すように、画像処理装置２６は、ステップＳ１０１において、車両１０の内部からウインドシールド１２越しに車両１０の周辺を撮像した画像を第１のイメージセンサ２４から取得し、ステップＳ１０２に移行する。第１のイメージセンサ２４から取得した画像は、ウインドシールド１２の外表面１２ａに異物等が付着していない場合には、例えば、図７に示すような画像Ｆ１である。一方、ウインドシールド１２の外表面１２ａに異物が付着している場合には、第１のイメージセンサ２４から取得した画像は、例えば、図８に示すような画像Ｆ２となる。第１のイメージセンサ２４は、車両１０の周辺にピントがあった画像を撮像するものであるため、画像Ｆ２においては、異物４１（例えば雨滴）の輪郭はぼけたものとなる。なお、以下、ウインドシールド１２の外表面１２ａに異物４１が付着しているものとして、画像処理装置２６が行う異物検出の処理の説明をする。
　ステップＳ１０２において、画像処理装置２６は、第１のイメージセンサ２４から取得した画像の各画素に関する微分演算（エッジ強度の演算）を行う。そして、画像処理装置２６は、その演算結果に基づいて、画像中のエッジ（明るさが鋭敏に変化している箇所）を抽出してステップＳ１０５に移行する。なお、本実施形態では、エッジの抽出は、微分演算の結果が、記憶装置２６ａに予め記憶された閾値を超えるか否かを判定することにより行う。
　また、図６及び図９に示すように、画像処理装置２６は、ステップＳ１０３において、車両１０の内部からウインドシールド１２を撮像した画像を第２のイメージセンサ２５から取得し、ステップＳ１０４に移行する。画像処理装置２６は、前記ステップＳ１０１において第１のイメージセンサ２４から取得した画像が撮像された時刻と同時刻に第２のイメージセンサ２５で撮像された画像を取得する。第２のイメージセンサ２５から取得した画像は、例えば、図９に示すような画像Ｆ３である。第２のイメージセンサ２５は、筐体２１の前方のウインドシールド１２にピントが合った画像を撮像するものであるため、画像Ｆ３においては、異物４１の背景の車両１０の周辺の画像はぼけたものとなる。
　ステップＳ１０４において、画像処理装置２６は、第２のイメージセンサ２５から取得した画像の各画素に関する微分演算（エッジ強度の演算）を行い、その演算結果に基づいて、画像中のエッジを抽出してステップＳ１０５に移行する。なお、エッジの抽出は前記ステップＳ１０２と同様に行われる。
　図６、図８及び図９に示すように、ステップＳ１０５において、画像処理装置２６は、前記ステップＳ１０２においてエッジの抽出処理を行った画像と、前記ステップＳ１０４においてエッジの抽出処理を行った画像とを比較し、２つの画像の両方ともに存在する輪郭を抽出する。詳述すると、前記ステップＳ１０１において第１のイメージセンサ２４から取得した画像Ｆ２（図８参照）では、車両１０の周辺の景色の輪郭（車道や、前方に位置する車両等の輪郭）は鮮明となるが、ウインドシールド１２の外表面１２ａに付着した異物４１の輪郭はぼけてしまう。その一方で、前記ステップＳ１０３において第２のイメージセンサ２５から取得した画像Ｆ３（図９参照）では、車両１０の周辺の景色の輪郭はぼけているが、ウインドシールド１２の外表面１２ａに付着した異物４１の輪郭は鮮明となる。しかしながら、ステップＳ１０３において第２のイメージセンサ２５から取得した画像Ｆ３には、車両１０の周辺の景色の輪郭が写り込んでいることがある。例えば、画像Ｆ３には、信号機の一部の輪郭４２が写り込んでいる。車両１０の周辺の景色の輪郭は、ステップＳ１０１において第１のイメージセンサ２４から取得した画像Ｆ２においてのみ鮮明であるべきである。そこで、ステップＳ１０２においてエッジの抽出処理を行った画像と、ステップＳ１０４においてエッジの抽出処理を行った画像との両方の画像に含まれる（写っている）輪郭（例えば、輪郭４２）は、異物４１の輪郭ではないと判断することができる。従って、ステップＳ１０５では、画像処理装置２６は、前記ステップＳ１０２においてエッジの抽出処理を行った画像と、前記ステップＳ１０４においてエッジの抽出処理を行った画像とを比較する。そして、画像処理装置２６は、その比較結果に基づいて、ステップＳ１０４においてエッジの抽出処理を行った画像には含まれていなくてもよい輪郭、即ち、２つの画像の両方ともに存在する輪郭を抽出して、ステップＳ１０６に移行する。
　ステップＳ１０６において、画像処理装置２６は、前記ステップＳ１０５において抽出した輪郭（例えば、輪郭４２）を、前記ステップＳ１０４においてエッジの抽出処理を行った画像から消去して、ステップＳ１０７に移行する。なお、本ステップＳ１０６を行って得られる画像には、異物４１の輪郭のみが残ることになる。
　ステップＳ１０７において、画像処理装置２６は、前記ステップＳ１０６で得られた画像に含まれる異物４１の輪郭のうち、環状になっていない（輪郭が閉じていない）異物４１ａの輪郭を繋いで環状にする連結処理を行って、ステップＳ１０８に移行する。
　ステップＳ１０８において、画像処理装置２６は、前記ステップＳ１０７において連結処理を行った画像中の異物４１の輪郭の内側を塗りつぶして、ステップＳ１０９に移行する。
　ステップＳ１０９において、画像処理装置２６は、前記ステップＳ１０８において塗りつぶした部分を、画像において異物が存在する範囲であるとする。これにより、第２のイメージセンサ２５で撮像される範囲内のウインドシールド１２の外表面１２ａ上で、各異物４１が存在する位置（異物４１が占める範囲）が検出される。そして、画像処理装置２６は、異物４１の位置情報を含む画像データを異物判定部３１（図５参照）に出力して処理を終了する。
　図５に示すように、異物判定部３１は、画像処理装置２６が出力した異物４１の位置情報を含む画像データに基づいて（即ち、画像処理装置２６による外表面１２ａに付着した異物の位置の検出結果に基づいて）、ウインドシールド１２の外表面１２ａに付着した異物の有無や、異物の量を判定する。そして、その判定結果をワイパ制御部３２に出力する。
　ワイパ制御部３２は、異物判定部３１による異物の有無の判定に基づいてワイパモータＭを駆動制御する。詳述すると、車両１０の室内に設けられたレバースイッチ（図示略）がオート位置に操作されている場合に、異物判定部３１が外表面１２ａに異物が存在すると判定すると、その判定結果に基づいてワイパ制御部３２はワイパモータＭを駆動させる。例えば、ワイパ制御部３２は、異物判定部３１にて判定された異物の量に応じたモード（低速モード、高速モード、間欠モード等）でワイパモータＭを駆動させる。すると、ワイパモータＭによってワイパＷが駆動され、同ワイパＷによってウインドシールド１２の外表面１２ａが払拭されて自動的に外表面１２ａ上の雨滴等の異物が除去される。
　また、画像処理装置２６は、ウインドシールド１２の外表面１２ａに異物４１が付着している場合に第１のイメージセンサ２４で撮像した画像と、同異物４１が外表面１２ａに付着する前に第１のイメージセンサ２４で撮像した画像とから、異物４１の影響（雨滴によるぼけ等）を除去した車両１０の周辺の画像を形成する。詳述すると、上記した異物検出のための処理（図６参照）のステップＳ１０９で画像において異物が存在する範囲であるとした部分は、第１のイメージセンサ２４から取得した画像Ｆ２（図８参照）においては異物４１の像が存在する異物存在範囲Ａ１に該当する。そこで、画像処理装置２６は、ステップＳ１０９を行って得られた異物４１の位置情報を含む画像データ（即ち外表面１２ａに付着した異物の位置の検出結果）と、第１のイメージセンサ２４から取得した画像Ｆ２とに基づいて、当該画像Ｆ２における異物４１の位置、即ち異物存在範囲Ａ１を認識する。そして、画像処理装置２６は、画像Ｆ２における異物存在範囲Ａ１に、ウインドシールド１２の外表面１２ａに異物４１が付着する前（例えば直前）に第１のイメージセンサ２４で撮像した画像Ｆ１（図７参照）における異物存在範囲Ａ１に対応する部分の画像を繋ぎ合わせた（置き換えた）画像Ｆ４（図１０参照）を形成する。図１０に示す画像Ｆ４では、二点鎖線で囲まれた異物存在範囲Ａ１の内側の部分が、図７に示す画像Ｆ１の対応する部分に置き換えられている。そして、画像処理装置２６は、形成した画像Ｆ４の画像データを運転支援制御部３３に出力する。なお、画像処理装置２６は、第１のイメージセンサ２４から取得した画像に異物存在範囲Ａ１が存在しない場合には、第１のイメージセンサ２４から取得した画像（もしくは、ステップＳ１０２においてエッジの抽出処理を行った画像）の画像データを運転支援制御部３３に出力する。
　図５に示すように、運転支援制御部３３は、画像処理装置２６が出力した画像データに基づいて、車両１０に近接する障害物を検出する（障害物の有無を判定する）。そして、運転支援制御部３３は、画像処理装置２６が出力した画像データに基づいて車両１０に近接する障害物を検出すると、車両１０を減速もしくは停止させるための制御信号をエンジンＥＣＵやブレーキＥＣＵに出力したり、運転者に注意を促すための警告音を出すための制御信号をスピーカに出力したりする。
　次に、本実施形態の作用について説明する。
　レンズ２２を透過した入射光Ｌ１がハーフミラー２３を介して第１及び第２のイメージセンサ２４，２５の各々に至るため、レンズ２２と第１の撮像面２４ａとの間の距離、並びに、同レンズ２２と第２の撮像面２５ａとの間の距離を、ピントを合わせたい撮像対象に応じてそれぞれ確保すればよい。即ち、レンズ２２と第１の撮像面２４ａとの間の距離（レンズ２２の主面２２ａ（後ろ側主点）から第１の撮像面２４ａまでの像間距離）は、車両１０の周辺にピントが合うように（第１の撮像面２４ａに車両１０の周辺の像が結像するように）確保すればよい。そして、同レンズ２２と第２の撮像面２５ａとの間の距離（レンズ２２の主面２２ａ（後ろ側主点）から第２の撮像面２４ａまでの像間距離）は、ウインドシールド１２にピントが合うように（第２の撮像面２５ａにウインドシールド１２の像が結像するように）確保すればよい。
　次に、本実施形態の有利な効果を記載する。
　（１）ピントを合わせたい撮像対象に応じて２つの撮像部に応じたレンズをそれぞれ備える従来の撮像装置に比べて、装置の大型化を抑制することができる。また、レンズを１つにすることができる（焦点距離の異なる２つのレンズを備えなくてもよい）ため、これによっても装置の大型化を抑制することができるとともに、製造コストを低減することができる。
　（２）第１のイメージセンサ２４は、車両１０の周辺にピントが合い且つウインドシールド１２の外表面１２ａに付着した異物にはピントが合っていない（異物がぼけた）画像を撮像する。その一方で、第２のイメージセンサ２５は、ウインドシールド１２にピントが合い且つ車両１０の周辺にはピントが合っていない（車両１０の周辺がぼけた）画像を撮像する。しかしながら、第２のイメージセンサ２５が撮像する画像は、部分的に車両１０の周辺にピントが合ってしまうことがある。従って、第１のイメージセンサ２４が撮像した画像と第２のイメージセンサ２５が撮像した画像とを比較して外表面１２ａに付着した異物の位置を検出することにより、第２のイメージセンサ２５で撮像した画像において部分的に車両１０の周辺にピントが合ってしまった部分を異物であると誤検出することを抑制することができる。その結果、ウインドシールド１２の外表面１２ａに付着した異物（異物の位置）を高精度に検出することができる。そして、車両１０の周辺の障害物等を異物であると誤検出することが抑制されるため、ワイパ制御部３２の誤作動を抑制することができる。
　（３）ウインドシールド１２の外表面１２ａに異物が付着していると、ウインドシールド１２越しに車両１０の周辺を撮像する第１のイメージセンサ２４が撮像した画像では、車両１０の周辺の画像において異物と重なる部分が不鮮明になったり、異物に隠れて写らなかったりする虞がある。本実施形態では、画像処理装置２６は、第１及び第２のイメージセンサ２４，２５で撮像した画像を比較して、ウインドシールド１２の外表面１２ａに付着した異物の同外表面１２ａにおける位置を検出する。そのため、第１のイメージセンサ２４で撮像した車両１０の周辺の画像における異物の像が存在する範囲である異物存在範囲Ａ１を認識することができる。そして、画像処理装置２６は、外表面１２ａに当該異物が付着する前に第１のイメージセンサ２４で撮像した画像における異物存在範囲Ａ１に対応する部分の画像を、異物存在範囲Ａ１を含む画像の当該異物存在範囲Ａ１に繋ぎ合わせる。これにより、画像処理装置２６は、異物の影響（水滴によるぼけ等）が軽減された車両１０の周辺の画像を形成することができる。そして、ウインドシールド１２の外表面１２ａに付着した異物の影響が軽減された当該画像に基づいて、運転支援制御部３３は、車両１０に近接する障害物を検出するため、障害物の誤検出が低減される。
　（４）異物判定部３１は、異物の誤検出が抑制された画像処理装置２６の検出結果に基づいて、ウインドシールド１２の外表面１２ａに付着した異物の有無を判定する。従って、異物判定部３１は、ウインドシールド１２の外表面１２ａに付着した異物の有無を高精度に判定することができる。そして、この異物判定部３１の判定結果に基づいて、ワイパ制御部３２がワイパモータＭを駆動制御するため、ウインドシールド１２の外表面１２ａの状態に応じて高精度にワイパモータＭを駆動制御することができる。その結果、ワイパモータＭによって駆動されるワイパＷによって、ウインドシールド１２の外表面１２ａを良好に払拭することができる。
　（５）画像処理装置２６は、第１のイメージセンサ２４が撮像した車両１０の周辺の画像と第２のイメージセンサ２５が撮像したウインドシールド１２の画像とを比較し、その比較結果に基づいて外表面１２ａに付着した異物の位置を検出する。そのため、第２のイメージセンサ２５が撮像した画像における異物の位置を高精度に検出することができる。更に、その検出結果に基づいて、画像処理装置２６は、第１のイメージセンサ２４が撮像した画像における異物の位置を高精度に認識することができる。そして、運転支援制御部３３は、第１のイメージセンサ２４が撮像した画像であって異物の位置が高精度に認識された画像に基づいて車両１０に近接する障害物を検出する。そのため、第１のイメージセンサ２４で撮像した画像がウインドシールド１２の外表面１２ａに付着した異物の影響を受けている場合であっても、当該異物の影響により車両１０に近接する障害物を運転支援制御部３３が誤検出することが抑制される。
　（６）画像処理装置２６は、第１のイメージセンサ２４が撮像した車両１０の周辺の画像と第２のイメージセンサ２５が撮像したウインドシールド１２の画像とを比較することにより、ウインドシールド１２の外表面１２ａに付着した水滴だけでなく、外表面１２ａに付着した塵埃、虫、汚れ等の位置（存在する範囲）も検出することができる。従って、画像処理装置２６は、その検出結果に基づいて、第１のイメージセンサ２４が撮像した画像における塵埃、虫、汚れ等の位置を認識することができる。よって、第２のイメージセンサ２５で撮像される範囲内のウインドシールド１２の外表面１２ａに塵埃、虫、汚れ等が付着している場合であっても、運転支援制御部３３が、当該塵埃、虫、汚れ等を車両１０に近接する障害物として誤検出することを抑制することができる。
　（７）ウインドシールド１２の外表面１２ａに異物が付着している場合には、対向車のヘッドライトや先行車のテールランプ等の光が当該異物によって屈折されたり反射されたりすることがある。すると、第１のイメージセンサ２４が撮像した画像がその影響を受けて、本来暗くなるべきところが明るくなったり、逆に本来明るくなるべきところが暗くなったりすることがある。しかし、画像処理装置２６は、第１のイメージセンサ２４が撮像した車両１０の周辺の画像と第２のイメージセンサ２５が撮像したウインドシールド１２の画像とを比較して、ウインドシールド１２の外表面１２ａに付着した異物の位置を検出し、第１のイメージセンサ２４が撮像した車両１０の周辺の画像における異物の位置を認識する。従って、夜間の降雨時等であっても、ウインドシールド１２の外表面１２ａに付着した異物の影響によって、画像処理装置２６が異物の位置を誤検出したり、運転支援制御部３３が車両１０に近接する障害物を誤検出したりすることを低減できる。
　＜第２実施形態＞
　以下、撮像装置２０の第２実施形態における制御処理について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成や対応する構成に同一の符号を付してその説明を省略する。
　図１１及び図１２に示すように、画像処理装置２６は、ステップＳ２０１において、車両１０の内部からウインドシールド１２越しに車両１０の周辺を撮像した画像を第１のイメージセンサ２４から取得し、ステップＳ２０２に移行する。図１２に示す画像Ｆ１１は、ウインドシールド１２の外表面１２ａに異物が付着している場合に、第１のイメージセンサ２４から取得した画像（第２の画像）の一例である。第１のイメージセンサ２４は、車両１０の周辺にピントがあった画像を撮像するものであるため、画像Ｆ１１においては、異物４１の輪郭はぼけたものとなる。なお、以下、ウインドシールド１２の外表面１２ａに異物４１が付着しているものとして、画像処理装置２６が行う制御処理を説明する。
　図１１及び図１３に示すように、ステップＳ２０２において、画像処理装置２６は、前記ステップＳ２０１で取得した画像Ｆ１１から検出された異物４１の領域についてマスク処理を行うための基準画像Ｆ１２を形成する。画像処理装置２６は、上記第１実施形態の異物検出の処理（ステップＳ１０１～Ｓ１０９）により、画像Ｆ１１において異物が存在する範囲を認識する。なお、本実施形態では、ステップＳ１０１で画像処理装置２６が取得する画像は、ステップＳ２０１において第１のイメージセンサ２４から取得した画像Ｆ１１に該当し、ステップＳ１０３で画像処理装置２６が取得する画像は、同画像Ｆ１１が撮像された時刻と同時刻に第２のイメージセンサ２５で撮像された画像である。そして、画像処理装置２６は、ステップＳ１０９を行って得られた異物４１の位置情報を含む画像データ（即ち外表面１２ａに付着した異物の位置の検出結果）と、ステップＳ２０１で第１のイメージセンサ２４から取得した画像Ｆ１１とに基づいて、当該画像Ｆ１１における異物４１の位置、即ち異物存在範囲Ａ１を認識する。そして、画像処理装置２６は、別の画像から異物存在範囲Ａ１に該当する部分の画像を抽出するための基準画像Ｆ１２を形成する。因みに、基準画像Ｆ１２は、異物存在範囲Ａ１と異物存在範囲Ａ１でない部分とを明確にした画像である。
　また、図１１及び図１４に示すように、ステップＳ２０３において、画像処理装置２６は、ステップＳ２０１で取得した画像Ｆ１１が撮像された時刻から１時刻前に第１のイメージセンサ２４で撮像された画像Ｆ１３（第１の画像）を記憶装置２６ａから読み出す。なお、「１時刻前」とは、ステップＳ２０１で取得した画像Ｆ１１が第１のイメージセンサ２４で撮像された時刻よりも前の時刻であって、予め設定された時刻である。例えば、１時刻前の画像は、ステップＳ２０１で取得した画像Ｆ１１の１フレーム前の画像である。なお、本実施形態では、画像Ｆ１３が撮像されたときには、ウインドシールド１２の外表面１２ａに異物は付着していなかったものとする。
　また、図１１及び図１５に示すように、ステップＳ２０４において、画像処理装置２６は、ステップＳ２０１で取得した画像Ｆ１１が撮像された時刻から２時刻前に第１のイメージセンサ２４で撮像された画像Ｆ１４（第１の画像）を記憶装置２６ａから読み出す。なお、「２時刻前」とは、前記ステップＳ２０３における「１時刻前」よりも前の時刻であって、予め設定された時刻である。例えば、２時刻前の画像は、ステップＳ２０３における「１時刻前」よりも更に１時刻前の画像であり、ステップＳ２０１で取得した画像Ｆ１１の２フレーム前の画像である。なお、本実施形態では、画像Ｆ１４が撮像されたときには、ウインドシールド１２の外表面１２ａに異物は付着していなかったものとする。
　次いで、図１１、図１４及び図１５に示すように、ステップＳ２０５において、画像処理装置２６は、前記ステップＳ２０３で取得した１時刻前の画像Ｆ１３と、前記ステップＳ２０４で取得した２時刻前の画像Ｆ１４とから、オプティカルフローを算出し、ステップＳ２０６に移行する。画像処理装置２６は、異なる時刻に撮像された画像Ｆ１３と画像Ｆ１４とにおいて、例えば、同一の部位として認識可能な点を特徴点として設定し、この特徴点の移動をフローベクトルとして当該画像を複数に分類した群ごとに算出する。このようなフローベクトルを画像Ｆ１３，Ｆ１４の全領域において算出する。なお、オプティカルフローの具体的な算出方法は、マッチング法や勾配法などの代表的な公知の手法を用いることができるが、特に限定しない。
　図１１及び図１６に示すように、ステップＳ２０６において、画像処理装置２６は、ステップＳ２０５で算出したオプティカルフローに基づいて、前記ステップＳ２０１で取得した画像Ｆ１１が撮像された時刻における予測画像Ｆ１５を形成し、ステップＳ２０７に移行する。
　図１１及び図１７に示すように、ステップＳ２０７において、画像処理装置２６は、前記ステップＳ２０１で第１のイメージセンサ２４から取得した画像Ｆ１１における異物存在範囲Ａ１に該当する部分に、前記ステップＳ２０６で形成した予測画像Ｆ１５における異物存在範囲Ａ１に対応する部分の画像を置換した画像Ｆ１６を形成する。画像処理装置２６は、前記ステップＳ２０２において形成した基準画像Ｆ１２（図１３参照）を用いて、前記ステップＳ２０６において形成した予測画像Ｆ１５（図１６参照）にマスク処理を施す。これにより、予測画像Ｆ１５において異物存在範囲Ａ１に対応する部分の画像が抽出される。そして、画像処理装置２６は、前記ステップＳ２０１において第１のイメージセンサ２４から取得した画像Ｆ１１（図１２参照）における異物存在範囲Ａ１に対応する部分に、予測画像Ｆ１５から抽出した画像を置き換えた（繋ぎ合わせた）画像Ｆ１６（図１７参照）を形成する。そして、画像処理装置２６は、形成した画像Ｆ１６の画像データを運転支援制御部３３に出力して処理を終了する。
　図５に示すように、運転支援制御部３３は、上記第１実施形態と同様に、画像処理装置２６が出力した画像データに基づいて、車両１０に近接する障害物を検出する（障害物の有無を判定する）。そして、運転支援制御部３３は、画像処理装置２６が出力した画像データに基づいて車両１０に近接する障害物を検出すると、車両１０を減速もしくは停止させるための制御信号をエンジンＥＣＵやブレーキＥＣＵに出力したり、運転者に注意を促すための警告音を出すための制御信号をスピーカに出力したりする。
　また、異物判定部３１によるウインドシールド１２の外表面１２ａに付着した異物の有無の判定、及びワイパ制御部３２によるワイパモータＭの駆動制御についても、上記実施形態と同様に行われる。
　上記した本実施形態においても上記第１実施形態と同様の作用を得ることができる。また、本実施形態によれば、上記第１実施形態の（１），（２），（４）～（７）の効果に加えて、以下の効果を奏することができる。
　（８）ウインドシールド１２の外表面１２ａに異物が付着していると、ウインドシールド１２越しに車両１０の周辺を撮像する第１のイメージセンサ２４が撮像した画像では、車両１０の周辺の画像において異物と重なる部分が不鮮明になったり、異物に隠れて写らなかったりする虞がある。本実施形態では、画像処理装置２６は、第１及び第２のイメージセンサ２４，２５で撮像した画像を比較して、ウインドシールド１２の外表面１２ａに付着した異物の同外表面１２ａにおける位置を検出する。そのため、第１のイメージセンサ２４で撮像した車両１０の周辺の画像における異物の像が存在する範囲である異物存在範囲Ａ１を認識することができる。そして、画像処理装置２６は、第１のイメージセンサ２４で撮像した画像Ｆ１１における異物存在範囲Ａ１に、画像Ｆ１１よりも前に第１のイメージセンサ２４で撮像した複数の画像Ｆ１３，Ｆ１４から予測した予測画像Ｆ１５における異物存在範囲Ａ１に対応する部分の画像を繋ぎ合わせた画像Ｆ１６を形成する。そのため、画像処理装置２６は、異物の影響（水滴によるぼけ等）が軽減された車両１０の周辺の画像を形成することができる。例えば、車両１０に対して相対的に移動する障害物が、ステップＳ２０１で第１のイメージセンサ２４から取得した画像Ｆ１１においてウインドシールド１２の外表面１２ａに付着した異物４１と重なってしまうことがある。このような場合でも、画像Ｆ１１よりも前に第１のイメージセンサ２４で撮像した複数の画像Ｆ１３，Ｆ１４から予測画像Ｆ１５を形成し同予測画像Ｆ１５における異物存在範囲Ａ１に対応する部分を画像Ｆ１１に繋ぎ合わせた画像Ｆ１６を形成することで、画像Ｆ１１において異物存在範囲Ａ１に重なった障害物を認識できる可能性がある。また、画像Ｆ１１における異物存在範囲Ａ１に、予測画像Ｆ１５における異物存在範囲Ａ１に対応する部分の画像を繋ぎ合わせるため、画像Ｆ１６において置き換えられた部分（異物存在範囲Ａ１の部分）以外の部分は、車両１０の周辺の実際の新しい情報を含むものとなる。そして、画像処理装置２６で形成されたこのような画像であって、ウインドシールド１２の外表面１２ａに付着した異物の影響が軽減された当該画像に基づいて、運転支援制御部３３は、車両１０に近接する障害物を検出するため、運転支援制御部３３による障害物の誤検出が低減される。
　なお、上記各実施形態は、以下のように変更してもよい。
　・上記各実施形態では、異物判定部３１による異物の有無の判定に基づいてワイパモータＭを駆動制御するとしたが、判定の結果を他の用途に用いるようにしてもよい。また、撮像装置２０は、必ずしも異物判定部３１及びワイパ制御部３２を備えなくてもよい。
　・上記各実施形態では、第１のイメージセンサ２４が撮像した画像を、運転者への運転支援のために用いているが、他の用途に用いるようにしてもよい。また、撮像装置２０は、必ずしも運転支援制御部３３を備えなくてもよい。
　・上記第１実施形態では、運転支援制御部３３は、第１のイメージセンサ２４で撮像した画像における異物存在範囲Ａ１に、ウインドシールド１２の外表面１２ａに異物が付着する前に第１のイメージセンサ２４で撮像した画像を繋ぎ合わせた画像に基づいて、車両１０に近接する障害物を検出する。しかしながら、運転支援制御部３３は、ウインドシールド１２の外表面１２ａ上の異物の有無にかかわらず、第１のイメージセンサ２４から取得した画像であって繋ぎ合わせる加工を施していない画像（もしくは、ステップＳ１０２においてエッジの抽出処理を行った画像）に基づいて、車両１０に近接する障害物を検出してもよい。この場合においても、第１のイメージセンサ２４が撮像した画像であって異物の位置が認識された画像に基づいて運転支援制御部３３が車両１０に近接する障害物を検出することにより、上記第１実施形態の（５）と同様の効果が得られる。なお、この場合、画像処理装置２６は、上記繋ぎ合わせた画像を形成しなくてもよい。
　・上記第２実施形態では、画像処理装置２６は、第１のイメージセンサ２４で撮像した２つの画像Ｆ１３，Ｆ１４から、画像Ｆ１１を撮像した時刻の予測画像Ｆ１５を形成する。しかしながら、画像処理装置２６は、画像Ｆ１１を撮像した時刻よりも前に第１のイメージセンサ２４で異なる時刻に撮像した３つ以上の画像から、画像Ｆ１１を撮像した時刻の予測画像を形成するものであってもよい。
　・上記第２実施形態では、画像処理装置２６は、第１のイメージセンサ２４で撮像した画像における異物存在範囲Ａ１に、当該画像が撮像された時刻よりも前に第１のイメージセンサ２４で撮像した複数の画像から予測した予測画像における異物存在範囲Ａ１に対応する部分を繋ぎ合わせた画像を形成し、画像データを出力する。そして、運転支援制御部３３は、画像処理装置２６が出力した画像データに基づいて、車両１０に近接する障害物を検出する。しかしながら、運転支援制御部３３は、ウインドシールド１２の外表面１２ａ上の異物の有無にかかわらず、第１のイメージセンサ２４から取得した画像であって繋ぎ合わせる加工を施していない画像（もしくは、ステップＳ１０２においてエッジの抽出処理を行った画像）に基づいて、車両１０に近接する障害物を検出してもよい。この場合においても、第１のイメージセンサ２４が撮像した画像であって異物の位置が認識された画像に基づいて運転支援制御部３３が車両１０に近接する障害物を検出することにより、上記第１実施形態の（５）と同様の効果が得られる。なお、この場合、画像処理装置２６は、上記繋ぎ合わせた画像を形成しなくてもよい。
　・上記各実施形態の画像処理装置２６は、第２のイメージセンサ２５で撮像される範囲内のウインドシールド１２の外表面１２ａ上の異物の位置を高精度に検出するため、第１のイメージセンサ２４で撮像した画像における異物の位置を高精度に認識できる。従って、運転支援制御部３３もしくは画像処理装置２６は、第１のイメージセンサ２４で撮像した画像における異物の位置に応じて、運転支援を行うために使用する当該画像を修正することが可能である。また、運転支援制御部３３は、第１のイメージセンサ２４で撮像した画像における異物の占める割合に応じて、運転支援の内容を変更するべく制御信号を変更することが可能である。また、運転支援制御部３３は、第１のイメージセンサ２４で撮像した画像における異物の占める割合が多い場合（一定以上となる場合）には、運転支援を停止する旨の警告音を出すための制御信号をスピーカに出力することが可能である。
　・上記各実施形態では、画像処理装置２６は、第１のイメージセンサ２４が撮像した画像と第２のイメージセンサ２５が撮像した画像とを比較し、その比較結果に基づいてウインドシールド１２の外表面１２ａに付着した異物の同外表面１２ａにおける位置を検出する。しかしながら、画像処理装置２６は、第２のイメージセンサ２５が撮像した画像のみを用いて、ウインドシールド１２の外表面１２ａに付着した異物の同外表面１２ａにおける位置を検出するものであってもよい。
　・上記各実施形態では、第１のイメージセンサ２４は、車両１０の周辺の像が第１の撮像面２４ａに結像するように配置されており、第２のイメージセンサ２５は、ウインドシールド１２の像が第２の撮像面２５ａに結像するように配置されている。しかしながら、第１のイメージセンサ２４を、ウインドシールド１２の像が第１の撮像面２４ａに結像するように配置し、第２のイメージセンサ２５を、車両１０の周辺の像が第２の撮像面２５ａに結像するように配置してもよい。
　・上記各実施形態では、第１のイメージセンサ２４は、第１の撮像面２４ａがレンズ２２の主面２２ａと平行をなすように配置され、第２のイメージセンサ２５は、第２の撮像面２５ａを含む平面がレンズ２２の主面２２ａを含む平面に対して直角をなすように配置されている。しかしながら、第１及び第２のイメージセンサ２４，２５は、第１及び第２の撮像面２４ａ，２５ａにて透過光Ｌ２及び反射光Ｌ３をそれぞれ受光できるように配置されるのであれば、その配置態様は上記実施形態のものに限らない。
　例えば、図１９に示す例では、第１のイメージセンサ２４は、ウインドシールド１２の像が第１の撮像面２４ａに結像するように配置され、第２のイメージセンサ２５は、車両１０の周辺の像が第２の撮像面２５ａに結像するように配置されている。そして、第１のイメージセンサ２４の第１の撮像面２４ａを含む平面Ｐ１と、レンズ２２の主面２２ａを含む平面Ｐ２と、ウインドシールド１２の外表面１２ａを含む平面Ｐ３とが一直線Ｓ１上で交わるように、第１のイメージセンサ２４及びレンズ２２が配置されている。なお、図１９は、車両１０を車幅方向から見た模式図であり、平面Ｐ１，Ｐ２，Ｐ３は紙面と直交するため直線で図示し、一直線Ｓ１は紙面垂直方向に延びるため点で図示している。
　このようにすると、シャインプルーフの原理によって、第１のイメージセンサ２４で撮像する画像のピント（焦点）をウインドシールド１２の外表面１２ａに沿った範囲Ｘ３に合わせることができる。そのため、例えば、ウインドシールド１２と正対しない位置にレンズ２２を配置（即ち、主面２２ａがウインドシールド１２と平行をなさない位置にレンズ２２を配置）しても、ウインドシールド１２の外表面１２ａにピントが合い且つ背景にはピントが合っていない（背景がぼけた）画像を撮像することができる。従って、第１のイメージセンサ２４で撮像した画像に基づいて、ウインドシールド１２の外表面１２ａの情報（異物の付着状態等）を高精細に得ることができる。
　なお、ウインドシールド１２の外表面１２ａは、実際は湾曲しており平面ではないため、例えば、その湾曲した面に最も近い平面を平面Ｐ３として、この平面Ｐ３に対して、第１のイメージセンサ２４の第１の撮像面２４ａ及びレンズ２２の主面２２ａの傾きが設定される。即ち、ウインドシールド１２の外表面１２ａを含む平面Ｐ３は、シャインプルーフの原理によって、ピントをウインドシールド１２の外表面１２ａに沿った範囲に合わせることができる平面であればよい。
　また例えば、図２０に示す例では、第１のイメージセンサ２４は、車両１０の周辺の像が第１の撮像面２４ａに結像するように配置され、第２のイメージセンサ２５は、ウインドシールド１２の像が第２の撮像面２５ａに結像するように配置されている。また、第１のイメージセンサ２４は、第１の撮像面２４ａがレンズ２２の主面２２ａと平行をなすように配置されている。ここで、ハーフミラー２３の反射面２３ｂを含む平面Ｐ４に関して第２のイメージセンサ２５と面対称となる位置に仮想的に配置された仮想の第２のイメージセンサ３５（図１２では二点鎖線で図示している）の第２の撮像面２５ａを仮想撮像面３５ｂとする。即ち、実存の第２のイメージセンサ２５と仮想の第２のイメージセンサ３５とが平面Ｐ４に関して面対称となる状態を想定し、仮想の第２のイメージセンサ３５の第２の撮像面２５ａを仮想撮像面３５ｂとする。そして、仮想撮像面３５ｂを含む平面Ｐ５と、レンズ２２の主面２２ａを含む平面Ｐ２と、ウインドシールド１２の外表面１２ａを含む平面Ｐ３とが一直線Ｓ２上で交わるように、第２のイメージセンサ２５及びレンズ２２が配置されている。なお、図２０は、車両１０を車幅方向から見た模式図であり、平面Ｐ５，Ｐ２，Ｐ３は紙面と直交するため直線で図示し、一直線Ｓ２は紙面垂直方向に延びるため点で図示している。
　このようにすると、シャインプルーフの原理によって、第２のイメージセンサ２５で撮像する画像のピント（焦点）をウインドシールド１２の外表面１２ａに沿った範囲Ｘ３に合わせることができる。そのため、例えば、ウインドシールド１２と正対しない位置にレンズ２２を配置しても、ウインドシールド１２の外表面１２ａにピントが合い且つ背景にはピントが合っていない（背景がぼけた）画像を撮像することができる。従って、第２のイメージセンサ２５で撮像した画像に基づいて、ウインドシールド１２の外表面１２ａの情報を高精細に得ることができる。
　なお、図２０に示す例についても図１９に示した例と同様に、ウインドシールド１２の外表面１２ａは、実際は湾曲しており平面ではないため、例えば、その湾曲した面に最も近い平面を平面Ｐ３として、この平面Ｐ３に対して、第２のイメージセンサ２５の第２の撮像面２５ａ（仮想撮像面３５ｂ）及びレンズ２２の主面２２ａの傾きが設定される。
　・上記各実施形態の撮像装置２０は、レンズ２２を透過した光を分割する（分岐する）ビームスプリッタとして、レンズ２２を透過した光（即ち入射光Ｌ１）を１：１に分割するハーフミラー２３を備えている。しかしながら、撮像装置２０に備えられるビームスプリッタによる入射光Ｌ１の分割比はこれに限らない。例えば、ビームスプリッタは、ウインドシールド１２を撮像する第２のイメージセンサ２５よりも車両１０の周辺を撮像する第１のイメージセンサ２４の方が受光する光量が多くなるように、入射光Ｌ１を分割するものであってもよい。このようにすると、情報量の多い画像を撮像する第１のイメージセンサ２４の方に、より多くの光を分配することができる。従って、車両１０に近接する障害物を第１のイメージセンサ２４が撮像した画像に基づいて検出する運転支援制御部３３が、障害物を誤検出することをより低減することができる。
　・レンズ２２を透過する光（レンズ２２に入射して第１の撮像面２４ａ若しくは第２の撮像面２５ａに至る光であり、ハーフミラー２３により分岐された光を含む）の光路上の少なくとも１箇所にフィルタを設けてもよい。フィルタは、例えば、偏光フィルタ、円偏光フィルタ、減光フィルタ、赤外線カットフィルタ、可視光カットフィルタ等である。
　図１８に示す例では、ハーフミラー２３を透過した透過光Ｌ２の光路上に赤外線カットフィルタ５１が設けられ、ハーフミラー２３で反射された反射光Ｌ３の光路上に減光フィルタ５２が設けられている。赤外線カットフィルタ５１は、ハーフミラー２３と第１の撮像面２４ａとの間に配置され、減光フィルタ５２は、ハーフミラー２３と第２の撮像面２５ａとの間に配置されている。このように、ウインドシールド１２越しに車両１０の周辺を撮像する第１のイメージセンサ２４の第１の撮像面２４ａとハーフミラー２３との間に赤外線カットフィルタ５１を配置すると、第１のイメージセンサ２４で撮像される画像が、人間の目で見た色彩に近い画像となる。従って、第１のイメージセンサ２４が撮像した画像に基づいて車両１０に近接する障害物を検出することにより、運転支援制御部３３は、障害物を誤検知し難くなる。また、ウインドシールド１２を撮像する第２のイメージセンサ２５の第２の撮像面２５ａとハーフミラー２３との間に減光フィルタ５２を配置すると、第２のイメージセンサ２５が撮像する画像において、外表面１２ａに付着した異物の輪郭が、対向車のヘッドライトや街灯等の強い外乱光に紛れて現れなくなることを低減できる。また、透過光Ｌ２の光路上と、反射光Ｌ３の光路上とにそれぞれフィルタを配置することができるため、第１及び第２のイメージセンサ２４，２５の各々に適したフィルタをそれぞれ配置することが容易にできる。
　また、第１のイメージセンサ２４と第２のイメージセンサ２５との両方に共通のフィルタを配置したい場合には、入射光Ｌ１の光路上で、レンズ２２とハーフミラー２３との間にフィルタを設けることで、フィルタの数を減少させることができる。例えば、レンズ２２とハーフミラー２３の入射面２３ａとの間に、偏光フィルタを設けてもよい。このようにすると、路面や車両ボディで反射した反射光が第１及び第２の撮像面２４ａ，２５ａで受光されることを抑制できる。そして、第１のイメージセンサ２４で撮像した画像において、周辺の車両のブレーキランプやヘッドライトの位置を画像処理装置２６や運転支援制御部３３が誤認することを抑制できる。また、第２のイメージセンサ２５で撮像した画像において、外表面１２ａに付着した異物の輪郭が外乱光に紛れて現れなくなることを抑制できる。
　また、ハーフミラー２３に代えて、上記フィルタの機能を備えたビームスプリッタ（例えば、偏光ビームスプリッタ）を撮像装置２０に備えてもよい。
　・上記各実施形態では、第１及び第２のイメージセンサ２４，２５が受光する光は、レンズ２２を透過した入射光Ｌ１をハーフミラー２３で分割した光である。そのため、第１及び第２のイメージセンサ２４，２５の各々が受光する光は、レンズ２２を透過する入射光Ｌ１よりも光量が少ない。従って、第１及び第２のイメージセンサ２４，２５の各々が撮像する画像が暗くなる虞がある。しかしながら、明るいレンズを使用したり、第１及び第２のイメージセンサ２４，２５（撮像素子）の感度を向上させたりすることで、第１及び第２のイメージセンサ２４，２５の各々が撮像する画像の明るさを改善することができる。また、撮像装置２０に明るさ調整部を設けることで、第１及び第２のイメージセンサ２４，２５の各々が撮像する画像の明るさを改善することができる。明るさ調整部は、例えば、第１及び第２のイメージセンサ２４，２５の各々におけるシャッタスピードを調整するものであってもよい。また例えば、明るさ調整部は、画像処理装置２６に設けられ、第１及び第２のイメージセンサ２４，２５の各々で撮像した画像のゲインコントロールを行うものであってもよい。
　・上記各実施形態では、ハーフミラー２３は、車幅方向から見て、レンズ２２の主面２２ａに対して反射面２３ｂが４５°傾斜するように配置されている。しかしながら、ハーフミラー２３は、第１及び第２のイメージセンサ２４，２５にて透過光Ｌ２及び反射光Ｌ３をそれぞれ受光可能であれば、その配置態様はこれに限らない。
　・上記各実施形態では、ハーフミラー２３は、立方体状をなすプリズム型のものを用いたが、これに限らず、平面型のもの等を用いてもよい。
　・上記各実施形態では、第１のイメージセンサ２４は、ハーフミラー２３に対して車両１０の後方側に配置され、第２のイメージセンサ２５は、ハーフミラー２３に対して車両１０の下方側に配置されている。しかしながら、ハーフミラー２３に対する第１及び第２のイメージセンサ２４，２５の配置位置は、これに限らない。
　例えば、図２１に示すように、第２のイメージセンサ２５を、ハーフミラー２３に対して車幅方向の一方側に配置してもよい。図２１に示す例では、第２のイメージセンサ２５は、ハーフミラー２３に対して左側に配置されている。なお、この場合、ハーフミラー２３は、透過光Ｌ２が第１のイメージセンサ２４で受光され且つ反射光Ｌ３が第２のイメージセンサ２５で受光されるように配置される。このようにすると、撮像装置２０（筐体２１）を車両１０の上下方向に薄型化することができる。その結果、撮像装置２０によって車両１０の搭乗者の視界が狭まることを抑制することができる。
　・上記各実施形態では、第１及び第２のイメージセンサ２４，２５は、何れもＣＭＯＳイメージセンサであるが、これに限らず、他の撮像素子（ＣＣＤイメージセンサ等）であってもよい。
　・上記各実施形態では、レンズ２２を保持し、ハーフミラー２３、第１のイメージセンサ２４及び第２のイメージセンサ２５を収容した筐体２１は、ウインドシールド１２の内表面１２ｂに固定されている。しかしながら、車両１０内における筐体２１の配置位置は、これに限らず、撮像装置２０にて車両１０の周辺とウインドシールド１２とを撮像可能な位置であればよい。但し、筐体２１は、運転者の視界の邪魔にならない位置に固定されることが好ましい。
　例えば、図２２に示すように、筐体２１は、ルーフパネル１１に固定されてもよい。この例では、筐体２１は、例えば、図示しないバックミラー（リアビューミラー）の車両前方側に位置するようにルーフパネル１１に固定され、車幅方向の中央に位置する。
　・上記各実施形態では、撮像装置２０は、車両１０の周辺の画像と、ウインドシールド１２の画像とを撮像する用途に用いられているが、これに限らず、被写体距離（レンズから撮像対象までの距離）が異なる２つの撮像対象を撮像する用途に用いられればよい。例えば、撮像装置２０は、車両１０の周辺（車両１０の後方側）の画像と、車両１０の後方に設けられたウインドシールドとしてのリヤウインドシールドの画像とを撮像する用途に用いられてもよい。

Claims (9)

  1. 　レンズと、
    　前記レンズを透過した光の光路上に配置されたビームスプリッタと、
    　第１の撮像面を有する第１の撮像部であって、前記第１の撮像面は前記ビームスプリッタを透過した透過光が結像する位置に位置する、前記第１の撮像部と、
    　第２の撮像面を有する第２の撮像部であって、前記第２の撮像面は前記ビームスプリッタで反射された反射光が結像する位置に位置する、前記第２の撮像部と、
    を備える撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記第１の撮像部及び前記第２の撮像部の一方は、車両のウインドシールド越しに前記車両の周辺を撮像し、
    　前記第１の撮像部及び前記第２の撮像部の他方は、前記ウインドシールドを撮像し、
    　前記ビームスプリッタは、前記撮像部の他方よりも前記撮像部の一方の方が受光する光量が多くなるように、前記ビームスプリッタに入射した入射光を分割する撮像装置。
  3. 　請求項１又は請求項２に記載の撮像装置において、
    　前記第１の撮像部は、車両のウインドシールドを撮像し、
    　前記第１の撮像面を含む平面と、前記レンズの主面を含む平面と、前記ウインドシールドの外表面を含む平面とが一直線上で交わる撮像装置。
  4. 　請求項１又は請求項２に記載の撮像装置において、
    　前記第２の撮像部は、車両のウインドシールドを撮像し、
    　前記ビームスプリッタの反射面を含む平面に関して前記第２の撮像部と面対称となる位置に仮想的に配置された仮想の第２の撮像部の第２の撮像面を仮想撮像面とすると、
    　前記仮想撮像面を含む平面と、前記レンズの主面を含む平面と、前記ウインドシールドの外表面を含む平面とが一直線上で交わる撮像装置。
  5. 　請求項１乃至請求項４の何れか１項に記載の撮像装置において、
    　画像処理装置をさらに備え、
    　前記第１の撮像部及び前記第２の撮像部の一方は、車両のウインドシールド越しに前記車両の周辺を撮像し、
    　前記第１の撮像部及び前記第２の撮像部の他方は、前記ウインドシールドを撮像し、
    　前記画像処理装置は、前記第１の撮像部で撮像した画像と前記第２の撮像部で撮像した画像とを比較し、比較結果に基づいて前記ウインドシールドの外表面に付着した異物の前記外表面における位置を検出する撮像装置。
  6. 　請求項５に記載の撮像装置において、
    　前記画像処理装置は、前記撮像部の一方で異なる時刻に撮像した複数の第１の画像に基づいてオプティカルフローを算出し、
    　前記画像処理装置は、算出した前記オプティカルフローに基づいて、前記第１の画像よりも後に前記撮像部の一方で撮像した第２の画像が撮像された時刻の予測画像を形成し、
    　前記画像処理装置は、前記第２の画像における前記異物の像が存在する異物存在範囲に、前記予測画像における前記異物存在範囲に対応する部分の画像を繋ぎ合わせて、画像を形成する撮像装置。
  7. 　請求項５に記載の撮像装置において、
    　前記画像処理装置は、前記撮像部の一方で撮像した画像における前記異物の像が存在する異物存在範囲に、前記外表面に当該異物が付着する前に前記撮像部の一方で撮像した画像における前記異物存在範囲に対応する部分の画像を繋ぎ合わせて、画像を形成する撮像装置。
  8. 　請求項５乃至請求項７の何れか１項に記載の撮像装置において、
    　異物判定部とワイパ制御部とをさらに備え、
    　前記異物判定部は、前記画像処理装置による前記外表面に付着した異物の位置の検出結果に基づいて前記外表面に付着した異物の有無を判定し、
    　前記ワイパ制御部は、前記異物判定部による異物の有無の判定に基づいてワイパモータを駆動制御する、撮像装置。
  9. 　請求項５乃至請求項８の何れか１項に記載の撮像装置において、
    　運転支援制御部をさらに備え、
    　前記画像処理装置は、検出した前記外表面における前記異物の位置と、前記撮像部の一方が撮像した画像とに基づいて、当該撮像部の一方が撮像した画像における前記異物の位置を認識し、
    　前記運転支援制御部は、前記異物の位置が認識された前記画像に基づいて前記車両に近接する障害物を検出する撮像装置。
PCT/JP2017/031232 2016-10-19 2017-08-30 撮像装置 WO2018074076A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016205434A JP6750449B2 (ja) 2016-10-19 2016-10-19 撮像装置
JP2016-205434 2016-10-19

Publications (1)

Publication Number Publication Date
WO2018074076A1 true WO2018074076A1 (ja) 2018-04-26

Family

ID=62018323

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031232 WO2018074076A1 (ja) 2016-10-19 2017-08-30 撮像装置

Country Status (2)

Country Link
JP (1) JP6750449B2 (ja)
WO (1) WO2018074076A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017942A (ja) * 2018-07-24 2020-01-30 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ 車両周囲の状況をアーチファクトを低減して提示するための方法およびシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04300748A (ja) * 1991-03-28 1992-10-23 Daihatsu Motor Co Ltd 画像処理方法
JP2001136434A (ja) * 1999-11-09 2001-05-18 Ricoh Co Ltd 撮像装置
WO2013088861A1 (ja) * 2011-12-16 2013-06-20 オリンパスメディカルシステムズ株式会社 深度拡大装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04300748A (ja) * 1991-03-28 1992-10-23 Daihatsu Motor Co Ltd 画像処理方法
JP2001136434A (ja) * 1999-11-09 2001-05-18 Ricoh Co Ltd 撮像装置
WO2013088861A1 (ja) * 2011-12-16 2013-06-20 オリンパスメディカルシステムズ株式会社 深度拡大装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017942A (ja) * 2018-07-24 2020-01-30 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ 車両周囲の状況をアーチファクトを低減して提示するための方法およびシステム
JP7429100B2 (ja) 2018-07-24 2024-02-07 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両周囲の状況をアーチファクトを低減して提示するための方法およびシステム

Also Published As

Publication number Publication date
JP6750449B2 (ja) 2020-09-02
JP2018067805A (ja) 2018-04-26

Similar Documents

Publication Publication Date Title
JP6519355B2 (ja) カメラ装置及び車載システム
JP6772113B2 (ja) 付着物検出装置、および、それを備えた車両システム
JP4326999B2 (ja) 画像処理システム
JP5846485B2 (ja) 付着物検出装置及び付着物検出方法
JP5022609B2 (ja) 撮像環境認識装置
JP5233583B2 (ja) 車載用監視装置
JP6120395B2 (ja) 車載装置
JP6468482B2 (ja) 撮像装置、物体検出装置及び移動体機器制御システム
JP5680573B2 (ja) 車両の走行環境認識装置
JP5014306B2 (ja) 支援システムのための光学モジュール
JP6163207B2 (ja) 車載装置
KR100936558B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
JP4496964B2 (ja) 車両用トンネル検出装置および車両用ライト制御装置
JP4327024B2 (ja) 画像処理システム
JP5819400B2 (ja) 天候による視界制限の検出により車両の走行の際運転者を支援する方法及び装置
JP5995140B2 (ja) 撮像装置及びこれを備えた車両システム並びに画像処理方法
US10933798B2 (en) Vehicle lighting control system with fog detection
JP5917697B2 (ja) 車両のフロントガラス上の雨滴を検出するための方法およびカメラアセンブリ
JP2002197470A (ja) 車線検出装置
JP5267101B2 (ja) 車両用対象物検出装置
JP4807733B2 (ja) 車外環境認識装置
JP5543938B2 (ja) 車外監視装置
WO2018074076A1 (ja) 撮像装置
JP2006107000A (ja) 画像異常判定方法及び画像異常判定装置
US20230386224A1 (en) Stop line recognition device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17862337

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17862337

Country of ref document: EP

Kind code of ref document: A1