WO2019026785A1 - 付着物検出装置、および、それを備えた車両システム - Google Patents

付着物検出装置、および、それを備えた車両システム Download PDF

Info

Publication number
WO2019026785A1
WO2019026785A1 PCT/JP2018/028229 JP2018028229W WO2019026785A1 WO 2019026785 A1 WO2019026785 A1 WO 2019026785A1 JP 2018028229 W JP2018028229 W JP 2018028229W WO 2019026785 A1 WO2019026785 A1 WO 2019026785A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
outline
attached matter
attached
lens
Prior art date
Application number
PCT/JP2018/028229
Other languages
English (en)
French (fr)
Inventor
浩平 萬代
健人 緒方
福田　大輔
修造 金子
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to CN201880050218.4A priority Critical patent/CN110999273B/zh
Priority to US16/635,663 priority patent/US11142124B2/en
Priority to EP18840762.1A priority patent/EP3664431B1/en
Publication of WO2019026785A1 publication Critical patent/WO2019026785A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an attached matter detection device and a vehicle system including the same, for example, an attached matter detection device for detecting an attached matter attached to a lens or the like of a camera installed in a moving object such as a vehicle, and
  • the present invention relates to a vehicle system provided with a deposit detection device.
  • a vehicle system equipped with a function for detecting an object or a sign around the vehicle using a captured image captured by a camera installed in the vehicle (hereinafter, may be referred to as in-vehicle camera).
  • ambient sensing a function for detecting an object or a sign around the vehicle using a captured image captured by a camera installed in the vehicle
  • in-vehicle camera a captured image captured by a camera installed in the vehicle
  • obstacles other vehicles or pedestrians
  • lens deposits If deposits such as water droplets, mud, or dust (hereinafter sometimes referred to as lens deposits) adhere to the lens of the in-vehicle camera, the deposits appear on the captured image captured by the in-vehicle camera, and the lens The scenery behind the deposit is hidden. As a result, in the vehicle system as described above, an obstacle hidden behind the lens attachment is not detected.
  • Patent Document 1 detects an image area having no time change during traveling of a vehicle as an area in which a lens attachment is reflected, and when the size of the detected area exceeds a threshold, ambient sensing using an on-vehicle camera A vehicle system for stopping the vehicle is disclosed.
  • This method is a lens attached matter detection method utilizing the fact that the lens attached matter continues to be reflected and does not change in the area where the lens attached matter appears while the landscape flows when the vehicle travels.
  • Patent Document 2 discloses a method using edge features and brightness.
  • this method after the captured image captured by the on-vehicle camera is divided into a plurality of areas (blocks), first, a block having an edge strength within the range (weak edge) is extracted, and then further surrounding (adjacent blocks) Next, extract blocks with many bright blocks.
  • the blurred contour of the lens deposit is extracted as a weak edge, and the area of the lens deposit which is darkened by shielding external light is detected.
  • the lens deposit is a thin water droplet
  • its contour is unclear and detection of the contour becomes difficult.
  • an unclear contour of the water droplet is to be detected, even a scene unrelated to the lens attachment is detected as the lens attachment.
  • the present invention has been made in view of the above circumstances, and is capable of detecting an attached substance such as water droplets, mud, dust and the like attached to a lens or the like of an on-vehicle camera, including those whose outline is unclear.
  • An object of the present invention is to provide an apparatus and a vehicle system provided with the apparatus.
  • an attached matter detection device for detecting an attached matter shown in a captured image captured by an imaging device installed in a moving object, which includes the captured image An outline extraction unit for extracting an area of the outline of the attached matter as an outline area; an inner extraction unit for extracting an area inside the outline of the attached matter from the photographed image as an inner area;
  • any shape or brightness matching is detected as a deposit outline area, and the inner area is compared with the inside of the deposit outline, and any shape or brightness match Detecting as a deposit detection area from any of the deposit outline area and the deposit inner area, the deposit area comprising either the outline of the deposit and the inner side of the outline; kimono Characterized in that it comprises the exit area determination unit.
  • the vehicle system according to the present invention is based on the attached matter detection device, the imaging device mounted on a vehicle and photographing the periphery of the vehicle, and the attached matter detection area detected by the attached matter detection area determination unit. And an ambient sensing unit that detects an object and / or a sign in a captured image captured by the imaging device.
  • the present invention is highly accurate, including attached matter such as water droplets, mud, dust, etc. attached to the lens etc. of the imaging device, including attached objects appearing in a photographed image captured by the imaging device, whose outline is unclear Can be detected.
  • the vehicle system recognizes the adhered matter if the adhered matter detection area is superimposed on the photographed image and displayed on a display or the like in the vehicle interior. Can be clearly indicated to the driver.
  • the surrounding sensing using the captured image if the area of the attached matter in the captured image of the imaging device is masked, it is possible to suppress the defect of the surrounding sensing caused by the attached matter.
  • FIG. 1 is a schematic view showing a vehicle equipped with a vehicle system provided with a deposit detection device according to a first embodiment.
  • FIG. 1 is a block diagram showing a configuration of a vehicle system provided with an attached matter detection device according to a first embodiment.
  • It is a schematic flowchart which shows the flow of the deposit
  • FIG. It is a schematic flowchart which shows the flow of processing area setting processing.
  • FIG. 6 is a block diagram showing a configuration of a vehicle system provided with the attached matter detection device according to a second embodiment. It is a schematic flowchart which shows the flow of the deposit
  • FIG. 6 is a block diagram showing a configuration of a vehicle system provided with the attached matter detection device according to a second embodiment. It is a schematic flowchart which shows the flow of the deposit
  • FIG. 1 is a top view of a vehicle 100 equipped with a vehicle system 1000 provided with a deposit detection device according to the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of the vehicle system 1000 shown in FIG.
  • a camera 200 as an imaging device is installed on the front of the vehicle 100.
  • the camera 200 includes a lens 210 for imaging a scene in front of the vehicle body, and an imaging device 220 for converting the imaging of the lens 210 into an electric signal, and outputs the scene in front of the camera 200 as a photographed image Do.
  • the captured image captured by the camera 200 is transferred to the processing device 300 loaded on the vehicle 100 via a cable or the like and processed.
  • the processing apparatus 300 is an adhesion detection unit that executes a function (hereinafter, referred to as “adherence detection”) of detecting a lens adhesion such as water droplets, mud, or dust adhering to the lens 210 of the camera 200 from a captured image of the camera 200.
  • adherence detection a function of detecting a lens adhesion such as water droplets, mud, or dust adhering to the lens 210 of the camera 200 from a captured image of the camera 200.
  • the processing device 300 also includes a surrounding sensing unit 340 that executes an application (hereinafter, referred to as “surrounding sensing”) that detects an obstacle, a sign, and the like in front of the vehicle 100 from a captured image of the camera 200.
  • an application hereinafter, referred to as “surrounding sensing”
  • Various known applications can be used for this. For example, one that detects a parking frame line in a parking lot, an application that detects a pedestrian crossing the front of the vehicle 100, and the like are known.
  • the surrounding sensing unit 340 is not an essential component of the present embodiment, and may be the vehicle system 1000 without the surrounding sensing unit 340.
  • the processing device 300 includes an automatic vehicle travel control unit 350 that causes the vehicle 100 to automatically travel based on the detection result of the surrounding sensing unit 340. For example, in a scene where the vehicle 100 is parked, the vehicle 100 is made to travel toward any of the parking spaces detected around the vehicle 100. Also, when an obstacle is detected in the traveling direction of the vehicle 100, the vehicle 100 is stopped.
  • the vehicle automatic travel control unit 350 is not a component essential to the present embodiment, and may be the vehicle system 1000 not having the vehicle automatic control travel control unit 350.
  • the processing device 300 is communicably connected to the sound generation device 401, the display 402, the indicator light 403, and the cleaning device 404 installed in the camera 200, which are installed in the room (vehicle interior) of the vehicle 100.
  • the operation is performed based on the information of the lens adhering matter detected by the adhering matter detection unit 320. For example, when the lens 210 is heavily soiled with lens deposits, the user of the vehicle 100 is instructed to clean the lens 210 using the sound generation device 401, the display 402, and the indicator light 403. Also, the cleaning device 404 is operated to clean the lens 210 automatically.
  • various known methods can be used for the cleaning device 404.
  • the sound generation device 401, the display 402, the indicator light 403, and the cleaning device 404 are not essential components, and any of them may be missing or all of them may be missing. Also, they may be in other forms. For example, instead of the voice generation device 401, the seat belt of the driver's seat may be vibrated.
  • the camera 200 is installed on the front of the vehicle body of the vehicle 100 to capture the front of the vehicle 100, but the present embodiment is not limited to this.
  • it may be a camera installed on the back of the vehicle body to capture the back of the vehicle 100, or a camera installed on the side of the vehicle body to capture the side of the vehicle 100 or diagonally forward of the vehicle 100
  • It may be a camera which is installed indoors and shoots the outside of the vehicle 100.
  • the camera 200 may be one or a plurality of cameras.
  • the attached matter detected on the lens 210 of the camera 200 is detected by the attached matter detection performed by (the attached matter detection unit 320 of) the processing apparatus 300.
  • the attached matter detection unit 320 of the processing apparatus 300 Is not limited to the lens 210.
  • An object attached to a transparent surface fixed to the vehicle 100 or the camera 200 in front of the imaging element 220 of the camera 200 is a detection target.
  • the camera 200 is installed in the vehicle compartment of the vehicle 100, not only the lens 210 of the camera 200 but also the attached matter attached to the windshield of the vehicle 100 in front of the camera 200 Attachments that appear in the image are also detected.
  • the processing apparatus 300 is separated from the camera 200 and connected by a cable or the like, but the present embodiment is not limited to this.
  • the processing device 300 and the camera 200 may be connected by wireless communication.
  • the processing device 300 may be incorporated in the camera 200.
  • the processing device 300 is loaded on the vehicle 100, but may be installed outside the vehicle 100. In that case, the processing device 300 is connected to the camera 200, the voice generation device 401, the display 402, the indicator light 403, and the cleaning device 404 loaded on the vehicle 100 via a network via wireless communication.
  • the information on the lens deposit on the lens 210 is notified to the passenger in the passenger compartment of the vehicle 100, but the present embodiment is not limited to this.
  • the sound generation device 401, the display 402, and the indicator light 403 may be installed outside the vehicle 100 and notified to the outside of the vehicle 100. This can be realized, for example, by connecting a portable terminal provided with the functions of the audio generation device 401, the display 402, and the indicator light 403 to the processing device 300 via a wireless communication network.
  • the vehicle system 1000 is mounted on the vehicle 100, and as shown in FIG. 2, the camera 200, the vehicle information acquisition unit 310, the attached matter detection unit 320, and the output information generation unit 330. And a voice sensing device 401, a display 402, an indicator light 403, and a cleaning device 404.
  • the camera 200 captures the front of the vehicle 100 and generates a captured image.
  • the present embodiment is not limited to this.
  • the rear or side of the vehicle 100 may be photographed to generate a photographed image.
  • the surrounding sensing unit 340 of the processing device 300 detects an object, a sign, and the like in front of the vehicle 100 from a captured image of the camera 200.
  • the vehicle system 1000 may detect an object, a sign, or the like in front of the vehicle 100 using an external recognition device other than the camera 200 such as a sonar.
  • the automatic vehicle travel control unit 350 controls various actuators (engine, accelerator, brake, shift, steering, etc.) of the vehicle 100 based on the detection result of the surrounding sensing unit 340 to cause the vehicle 100 to automatically travel.
  • Vehicle information acquisition unit 310 acquires vehicle information (such as vehicle speed) from vehicle system 1000 in which vehicle information measured by a sensor provided in vehicle 100 is aggregated.
  • vehicle information may be obtained directly from the above sensors.
  • this process part can also be abbreviate
  • the attached matter detection unit 320 includes a contour extraction unit 321, an inner extraction unit 322, an attached matter detection area determination unit 323, and a lens state determination unit 324, and the vehicle information acquired by the vehicle information acquisition unit 310.
  • the captured image of the camera 200 is processed based on (vehicle speed etc.).
  • the contour extraction unit 321 extracts a region (a contour region) having a feature of the contour of the lens attachment from the captured image of the camera 200.
  • the inner extraction unit 322 extracts an area (inner area) having an inner (outlined) feature of the lens attachment from the captured image of the camera 200.
  • the attached substance detection area determination unit 323 detects an area (adhered substance detection area) in which the lens attached substance is reflected based on the contour area and the inner area.
  • the lens state determination unit 324 determines the degree of contamination of the lens 210 of the camera 200 based on the attached matter detection area.
  • the attached matter detection processing by the attached matter detection unit 320 will be described in detail later.
  • the output information generation unit 330 generates information based on the adhesion detection area detected by the adhesion detection area determination unit 323 of the adhesion detection unit 320 or the lens state determined by the lens state determination unit 324, and the surrounding sensing unit 340. And it outputs to the vehicle automatic travel control unit 350, the sound generation device 401, the display 402, the indicator light 403, and the cleaning device 404 respectively.
  • the output information generation unit 330 adds the lens 210 detected by the attached matter detection unit 320 to each of the surrounding sensing unit 340, the automatic vehicle travel control unit 350, the sound generation device 401, the display 402, the indicator light 403, and the cleaning device 404. A signal based on the kimono detection area and the degree of contamination is generated and input.
  • a signal to stop the surrounding sensing is input to the surrounding sensing unit 340, and an instruction to stop the vehicle 100 is input to the automatic vehicle travel control unit 350.
  • the passenger of the vehicle 100 is notified of the color of the indicator light 403 or the like.
  • an instruction to clean the lens 210 is input to the cleaning device 404.
  • the operation of the output information generation unit 330 of the present embodiment is not limited to the above content.
  • a frame 6200 surrounding the foreign substance detection region 6100 detected by the foreign substance detection unit 320 is displayed. You may highlight it.
  • the image captured by the camera 200 is subjected to coordinate conversion to display an image 7000 (viewing image) obtained by looking down the vehicle 100 and its surroundings from the sky on the display 402, as shown in FIG.
  • a frame 7200 surrounding the detection area 7100 may be displayed so as to be superimposed on the overhead image 7000.
  • the photographed image 6000 of the camera 200 is divided into a plurality of areas (divided areas), the area of the attached matter detection area 6100 is determined for each divided area, and the area of the attached matter detection area 6100
  • the divided area where the value of the threshold is equal to or greater than the threshold may be highlighted and displayed on the display 402.
  • the photographed image 6000 of the camera 200 is divided into three divided areas 6301, 6302, and 6303 in the horizontal direction, and the divided area having a large area of the deposit detection area 6100 (a divided area on the right in FIG. 11) ) 6303 is highlighted by a solid line.
  • the processing apparatus 300 includes a plurality of different deposit detection units 320 according to the type of lens deposit, the division area is changed according to the type of the lens deposit, or the area of the deposit detection area 6100 is determined.
  • the threshold value (determination threshold value) used for may be changed.
  • the output information generation unit 330 generates a mask image that excludes an area that should not be used by the surrounding sensing unit 340 based on the adhesion detection area detected by the adhesion detection area determination unit 323 of the adhesion detection unit 320.
  • the mask region generation unit 331 may be provided.
  • the mask area generation unit 331 generates a mask image 8001 as shown in FIG. 12 in which the deposit detection area 6100 in the photographed image 6000 of FIG. 8 is masked as it is.
  • the mask image may be generated so as to mask the attached matter detection area continuously detected for a predetermined time or more so as not to mask the area which is instantaneously detected as the attached matter erroneously.
  • generates is not limited to this example.
  • a mask image 8002 as shown in FIG. 13 may be generated which masks the inside of the frame 6200 surrounding the attached matter detection area 6100 as shown in FIG.
  • a mask image 8003 may be generated as shown in FIG. Note that the range of the divided area 6303 or the determination threshold may be changed according to the surrounding sensing capability of the surrounding sensing unit 340. For example, for surrounding sensing that normally functions even if the area less than 20 pixels is missing, it is conceivable to set the area of the divided area or the determination threshold to 20 pixels or more.
  • the mask image generated by the mask area generation unit 331 is transferred to the surrounding sensing unit 340 and the automatic vehicle travel control unit 350.
  • the surrounding sensing unit 340 excludes an area having a lens attachment from the captured image of the camera 200 using this mask image, and uses it for surrounding sensing. This enables ambient sensing that is not affected by lens deposits. However, since the object, the sign, and the like in the area masked by the mask image are not detected, the surrounding sensing unit 340 may output the area masked by the mask image as an unknown area.
  • the automatic vehicle travel control unit 350 recognizes an area excluded by the mask image as an unknown area in the surrounding sensing unit 340 using the captured image of the camera 200, and assumes that there is an obstacle or a moving object there. Control the vehicle. For example, the automatic vehicle travel control unit 350 performs vehicle control not to advance the vehicle 100 in the unknown region.
  • the attached object detection processing in the attached object detection unit 320 mainly includes vehicle information acquisition processing (step S310) and vehicle speed determination processing as preprocessing of the attached object detection processing.
  • Step S311) processing area setting process (step S320), contour extraction process (step S321), inner extraction process (step S322), extraction determination process (step S328), attached matter detection area determination process (step S328) Step S323), storage initialization process (step S329), and lens state determination process (step S324), and these processes are periodically and continuously executed.
  • the vehicle information acquisition process (step S310) and the vehicle speed determination process (step S311) are executed by the vehicle information acquisition unit 310 of the processing device 300.
  • the traveling speed (vehicle speed) of the vehicle 100 measured by the speed sensor provided in the vehicle 100 is acquired from the vehicle system 1000.
  • the subsequent vehicle speed determination process (step S311) it is determined whether the vehicle speed is equal to or higher than a predetermined speed (e.g., 10 km / h or higher). If the vehicle speed is equal to or higher than the predetermined speed (Yes), the process proceeds to the next processing area setting process (step S320).
  • a predetermined speed e.g. 10 km / h or higher
  • step S329 and subsequent steps, step S329) To the lens state determination process (step S324).
  • step S329 and subsequent steps, step S329) To the lens state determination process (step S324).
  • step S324 when the vehicle speed decreases, the background that changes as the vehicle 100 travels is excluded from the deposit detection area in the process of detecting the deposit on the lens 210 (process from step S320 to step S329). Processing does not function effectively, and false detection increases.
  • step S320 to S329 the vehicle information acquisition unit 310 and the vehicle information acquisition process (Step S310)
  • the vehicle speed determination process (step S311) may be omitted.
  • the threshold of the vehicle speed (vehicle speed determination threshold) used for the determination may not be a fixed value.
  • the determination threshold may be changed depending on whether or not the detection process (the process from step S320 to the process of step S329) of the lens 210 is skipped in the adherend detection process performed in the previous time. For example, when the detection process of the deposit on the lens 210 is skipped, it is conceivable to reduce the determination threshold to facilitate the execution of the deposit detection process.
  • the vehicle speed is used for the branch determination of the processing in the vehicle speed determination processing (step S311), but the present embodiment is not limited to this.
  • vehicle information such as the state of the shift lever of the vehicle 100 and the direction of the wheels may be used as the determination criterion.
  • multiple pieces of vehicle information may be combined and used as a determination reference.
  • the detection processing of the deposit on the lens 210 may be performed only when the wheel is facing forward and the vehicle speed is 10 km / h or more.
  • processing area setting process The processing area setting process (step S320) is performed before the attached matter detection unit 320 performs various processes. Details of the processing area setting process (step S320) will be described with reference to the flowchart of FIG.
  • step S3201 world coordinates corresponding to each pixel of a captured image of the camera 200 are acquired.
  • the world coordinates to be acquired are the distance from the vehicle 100 and the direction.
  • an area in which a lens deposit may appear in the photographed image of the camera 200 (a lens deposit appearance area) is acquired (step S3202).
  • a lens deposit appearance area For example, the area excluding the area covered with the camera hood and to which the lens attachment does not adhere is set.
  • the present embodiment is not limited to this.
  • the lens attachment may be attached, such as an area where the vehicle body of the vehicle 100, that is, the vehicle body of the host vehicle, is present, there is an area where the scene is not reflected even without the lens attachment.
  • An image area excluding this area may be acquired as a lens attached matter appearance area.
  • the attached matter detection unit 320 acquires a region (lens attached matter detectable region) in which the lens attached matter can be detected (step S3203). For example, there is a region where the detection performance of attached matter detection is degraded, such as an end of a captured image where the entire shape of the lens attached matter can not be acquired or a distant area where the change with traveling of the vehicle 100 is small. An image area excluding these areas is acquired as a lens attached matter detectable area.
  • the area (lens attachment inhibition area) in which the ambient sensing of the ambient sensing unit 340 using the captured image of the camera 200 may be inhibited by the lens attachment is acquired (step S3204).
  • the function may be inhibited by the lens attachment overlapping the road surface which is the detection range, and therefore the area where the road surface appears is acquired as the lens attachment inhibition region.
  • the world coordinates obtained in step S3201 can be used in each of steps S3202 to 3204. For example, in step S3202, an area in which the vehicle body appears based on world coordinates is excluded, or in step S3203, an area distant from the vehicle 100 for which the accuracy of detection of attached matter is reduced is removed.
  • step S3205 the areas obtained in steps S3202 to 3204 are integrated to generate a process area for the attached matter detection process.
  • the contour extraction process (step S 321) is executed by the contour extraction unit 321 of the attached matter detection unit 320, and extracts a region (outline region) having a feature of the contour of the lens attached matter.
  • An embodiment of the contour extraction process (step S321) will be described with reference to the flowchart of FIG.
  • the photographed image of the camera 200 is reduced (step S3211). This process is performed to reduce the processing load later, and this process may be omitted in the present embodiment.
  • an edge image is generated from the reduced captured image (step S3212).
  • various known methods can be used to generate an edge image. For example, a method of applying a Sobel filter or a Laplacian filter to a photographed image is known.
  • an edge region having an edge strength in a specific range corresponding to the contour of the lens attachment is extracted (step S3213). For example, a region with medium intensity (blurred edge region) is extracted.
  • a blur appearing around the lens attachment and a shadow appearing on the contour of the thick lens attachment are extracted because the distance from the camera 200 is short and the camera 200 is not focused.
  • the edge strength to be extracted is not limited.
  • a moderate-intensity edge may appear in the scene reflected in the water droplet, and by including the edge intensity in the extraction range, the reflection of the water droplet may also be detected. it can.
  • water droplets or water marks are detected as lens deposits at night, they glow white with the light of a street light and produce strong edges in their contours, so at night (in other words, when the ambient illuminance is low)
  • Edge strengths extracted as blurred edge regions may include strong edges.
  • step S3214 each time the contour extraction process (step S321) is executed, the blurred edge area extracted by the blurred edge area extraction process (step S3213) is accumulated (step S3214).
  • step S 3215 if the accumulation frequency is equal to or more than the threshold (contour accumulation determination threshold), the contour area extraction process (step S 3216) is executed, and the accumulation frequency is less than the contour accumulation determination threshold Then, the contour extraction process (step S321) is ended.
  • the outline area extraction process (step S3216) a blurred edge area that appears with a frequency equal to or higher than the outline accumulation determination threshold is extracted as an outline area, and the outline extraction process (step S321) is ended.
  • the contour accumulation determination threshold value in the accumulation number determination process (step S 3215) may not be a fixed value.
  • the contour accumulation determination threshold may be increased in a bright scene with many noises. Note that if there is little noise in the blurred edge area extracted in step S3213, the series of accumulation processing (step S3214) and the number-of-accumulations determination processing (step S3215) may be omitted.
  • the contour of the lens attachment (contour area) is extracted by these series of processing.
  • the above-described example is an example of a method of extracting the contour of the lens attachment, and the present embodiment is not limited to this. Another example is shown below.
  • the medium-intensity edge is extracted as the feature of the contour of the lens attachment, but another feature may be used.
  • steps S3212, S3213 described above may be replaced with a process for extracting the unique shape.
  • the outline region of the water droplet can be extracted by performing a circle extraction process on the photographed image.
  • the outline of the lens attachment is emphasized, so circle extraction processing is performed on this edge image and the blurred edge area, and the outline of the water droplet is generated.
  • the region extraction accuracy may be improved.
  • a well-known system can be used for circle extraction. For example, circle extraction processing using Hough transform is known.
  • a series of accumulation processing (step S3214) and accumulation number determination processing (step S3215) for removing noise can be omitted.
  • step S3214 since the accumulation process (step S3214) and the accumulation number determination process (step S3215) also have the effect of suppressing erroneous detection in the above-described circle extraction, the above-mentioned accumulation process or the like is executed when erroneous detection is large. Is good.
  • step S3214 may be replaced with a known method for reducing noise. For example, if a closing process is performed on the image from which the blurred edge area has been extracted in step S3213, it is possible to delete isolated noise having no area adjacent thereto.
  • the contour of the lens attachment is characterized in that the variation in luminance (luminance distribution) is small and the frequency is low. Therefore, as another form of the edge image generation process (step S3212), the luminance dispersion or frequency is extracted for each area having a plurality of pixels, and in the blurred edge area extraction process (step S3213), the luminance dispersion or frequency is within a predetermined range. An inner area may be extracted as a blurred edge area.
  • the range of luminance dispersion or frequency to be extracted is set in accordance with the blur or shadow of the outline of the lens attachment. This process is replaced with an edge image generation process (step S3212) and a blurred edge area extraction process (step S3213).
  • contour of the lens attachment has a feature in which color and luminance change monotonously toward the outside of the contour
  • a region may be extracted. For example, if a photographed image is scanned in the horizontal direction and a region in which the luminance monotonously increases or decreases with a constant change amount over a certain length, a vertical outline can be extracted.
  • the length to be extracted and the amount of change are set in accordance with the width of the contour of the lens attachment and the amount of change in luminance thereof. This process is replaced with an edge image generation process (step S3212) and a blurred edge area extraction process (step S3213).
  • contour extraction processing 6 it is also possible to extract the contour (blurred edge region) of the lens attachment by combining a plurality of the above-described processes for extracting features having different contours of the lens attachment.
  • step S322 The next inside extraction process (step S322) is executed by the inside extraction unit 322 of the deposit detection unit 320, and extracts a region (inner region) having an inner feature of the contour of the lens deposit.
  • An embodiment of the inside extraction process (step S322) will be described with reference to the flowchart of FIG.
  • the photographed image of the camera 200 is reduced (step S3221).
  • This process is performed to reduce the processing load later, and this process may be omitted in the present embodiment. Further, this process may be omitted by using an image generated by the photographed image reduction process (step S3221) of the outline extraction process (step S321).
  • an edge image is generated from the reduced captured image (step S3222).
  • various known methods can be used to generate an edge image. For example, a method of applying a Sobel filter or a Laplacian filter to a photographed image is known. Note that this process may be omitted by using the edge image generated by the edge image generation process (step S3222) of the outline extraction process (step S321).
  • this step S3222 may generate an edge image in which fine edges appearing on the road surface are emphasized so as to emphasize the difference between the area of the lens attachment and the area not the lens. For example, since fine edge information is lost by the photographed image reduction process (step S3221), the fine edge can be emphasized by omitting this process.
  • a region having an edge intensity corresponding to the inside of the contour of the lens attachment is extracted (step S3223). For example, an area having little edge strength (small edge area) (in other words, an edge area weaker than the outline area extracted in the outline extraction processing (step S 321) or an area having no edge strength) is extracted.
  • small edge area an edge area weaker than the outline area extracted in the outline extraction processing (step S 321) or an area having no edge strength
  • the edge strength extracted in this step S3223 is set in accordance with the weak edge strength inside the contour of the lens attachment.
  • the edge strength to be extracted is not limited.
  • a moderate-intensity edge may appear in the scene reflected in the water droplet, and by including the edge intensity in the extraction range, the reflection of the water droplet may also be detected. it can.
  • step S3224 every time the inside extraction process (step S322) is executed, the small edge area extracted by the small edge area extraction process (step S3223) is accumulated (step S3224).
  • step S3225 if the accumulation frequency is greater than or equal to the threshold (inner accumulation determination threshold), the inner area extraction process (step S3226) is executed and the accumulation frequency is less than the inner accumulation determination threshold For example, the inside extraction process (step S322) is ended.
  • the inner area extraction process (step S3226) the small edge area appearing with a frequency equal to or higher than the inner accumulation determination threshold is extracted as an inner area, and the inner extraction process (step S322) is ended.
  • the inner accumulation determination threshold in the accumulation number determination process (step S3225) may not be a fixed value.
  • the inner accumulation determination threshold may be increased in a bright scene with many noises. If noise is small in the small edge area extracted in step S3223, the series of accumulation processing (step S3224) and the number-of-accumulations determination processing (step S3225) may be omitted.
  • the inside (inner area) of the contour of the lens attachment is extracted.
  • the above-described example is an example of a method for extracting the inside of the contour of the lens attachment, and the present embodiment is not limited to this. Another example is shown below.
  • the lens deposit is a water droplet or a water drop mark
  • these light up white with the light of a street light at night it may be a process of extracting a high luminance region at night.
  • the range of the brightness extracted here is set according to the water droplet and the water drop mark which are brightened by the light of the street light at night. This process is replaced with an edge image generation process (step S3222) and a small edge area extraction process (step S3223).
  • step S3222 There is also a method of acquiring in advance a pattern shape inside the contour of the lens attachment and extracting a small edge area inside the contour of the lens attachment by matching (pattern matching) with the acquired pattern shape.
  • This process is replaced with an edge image generation process (step S3222) and a small edge area extraction process (step S3223).
  • the method of using the pattern of this example is not limited to this.
  • a pattern of the edge of the lens attachment contour may be used. In that case, a pattern can be extracted from the edge image generated in the edge image generation processing (step S3222).
  • steps S3222 and S3223 may be replaced with a process for extracting the unique shape.
  • the water droplet can be extracted by performing a circle extraction process on the captured image. This process is replaced with an edge image generation process (step S3222) and a small edge area extraction process (step S3223).
  • circle extraction processing may be performed on the edge image generated in step S3222 or the small edge area extracted in step S3223.
  • a well-known system can be used for circle extraction. For example, there is a method using matching processing with a circular shape or Hough transform.
  • the outline of the circular area can be extracted by using the Hough transform.
  • a series of accumulation processing for eliminating noise and accumulation number determination processing (step S3225) Can be omitted.
  • the accumulation process (step S3224) and the accumulation number determination process (step S3225) also have an effect of suppressing erroneous detection in the above-described circle extraction, the above-mentioned accumulation process and the like are executed when erroneous detection is large. That's good.
  • the series of accumulation processing (step S3224) and the number-of-accumulations determination processing (step S3225) may be replaced by a known method for reducing noise. For example, when the closing process is performed on the image from which the small edge area is extracted in step S3223, isolated noise having no area adjacent thereto is deleted. Further, if noise is small in the small edge area extracted in step S3223, the series of accumulation processing (step S3214) and accumulation number determination processing (step S3215) may be omitted.
  • the area inside the contour of the lens deposit is characterized in that the luminance dispersion is small and the frequency is low. Therefore, in the edge image generation processing (step S3222), the luminance dispersion or frequency is extracted for each area having a plurality of pixels, and in the small edge area extraction processing (step S3223), the luminance dispersion or frequency is equal to or less than the threshold. It may be extracted as a small edge area.
  • the luminance dispersion or frequency threshold to be extracted is set in accordance with the inner feature of the lens attachment contour.
  • the inside (small edge region) of the lens attachment contour can be extracted by combining a plurality of the above-described processes for extracting different features inside the lens attachment contour.
  • each process of the above-mentioned outline extraction process (step S321) and an inside extraction process (step S322) is unordered.
  • the next extraction determination process (S328) is executed by the attached matter detection area determination unit 323 of the attached matter detection unit 320, and the outline extraction unit 321 (the outline extraction process (step S321)) and the inside extraction unit 322 (the inside extraction It is determined whether the process (step S322) has respectively extracted the outline area and the inner area. If the outline area and the inner area are extracted, the subsequent attached matter detection area determination process (step S323) and the accumulation initialization process (step S329) are executed, and if the outline area and the inner area are not extracted, The process skips these processes (steps S323 and S329) and proceeds to the lens state determination process (step S324).
  • the attached matter detection area determination process (step S323) is executed by the attached matter detection area determination unit 323 of the attached matter detection unit 320, and each time the contour extraction unit 321 and the inner extraction unit 322 extract the contour area and the inner area. It is determined whether the contour area and the inner area are inside the contour and outline of the lens deposit, and the area of the lens deposit attached to the lens 210 (adhesion detection area) is detected.
  • step S323 An embodiment of the attached matter detection area determination process (step S323) will be described with reference to the flowchart of FIG.
  • step S321 the contour regions extracted in the above-described contour extraction processing (step S321) are grouped (connected) by connecting them (step S3231).
  • a known grouping process can be used, and for example, an image labeling process may be used.
  • step S3231 shape determination processing of contour area
  • step S3232 shape determination processing of contour area
  • the feature of the shape varies depending on the type of lens attachment, it is a universal feature that there is a certain width or an upper limit of the area. Therefore, it may be determined whether the width or area of the grouped contour area is within a predetermined range.
  • the circle determination may be performed on the grouped contour region.
  • a well-known method can be used for circle determination. For example, by using a circle extraction process based on Hough transformation, it can be determined whether or not a circular shape can be extracted within the processing range.
  • the entire outline of the lens attached matter does not appear in the edge image.
  • an edge image is generated using a Sobel filter that extracts horizontal edges, only the vertically long portion of the contour of the lens attachment is extracted in the edge image. Therefore, the above-mentioned circle determination does not function effectively even for a round water droplet.
  • a known method can be used for this linear approximation, and for example, linear extraction by the least squares method or Hough transform can be used.
  • region falls, you may use this rectangle occupancy rate etc. as a value according to an inclination angle for the straight line with a slope.
  • the variance of the luminance value is obtained for each of the grouped contour areas, and it is determined whether the variance is within a predetermined range.
  • the present embodiment is not limited to this.
  • frequency components may be obtained for each of the grouped contour regions, and it may be determined whether the average of the frequency components is within a predetermined range.
  • the contour of the lens attachment has a feature that the color and the luminance change monotonously toward the outside of the contour, such a region (gradation region) may be extracted.
  • the captured image may be scanned in the lateral direction to extract a region where the luminance monotonously increases or decreases by a fixed amount over a fixed length.
  • the fixed length and the amount of change are set in accordance with the width of the contour of the lens attachment and the amount of change in luminance thereof.
  • step S3234 it is determined whether or not the group of contour areas whose shape and brightness are determined is adjacent to the inside of the lens attachment. Usually, not only the contour but also the inner side appears on the lens attachment, so it is determined that the contour region where the inner side of the lens attachment is not adjacent is not the lens attachment, and such contour region is excluded. As the inner side of the lens attachment, a small edge area or the like extracted by the inner extraction portion 322 can be used.
  • the size of the corresponding lens attachment may be small, and the inner region may not be extracted. Therefore, when the contour is small, a weak inner region of the feature which is not extracted by the inner extraction process (step S322) may be used.
  • the weak inner area of this feature is generated, for example, by another small edge extraction process in which the range of edge strengths extracted by the inner extraction process (step S322) in the small edge area extraction process (step S3223) is expanded to a higher intensity. it can.
  • the contour of the lens attachment is detected from the contour region extracted in the contour extraction processing (step S321).
  • steps S3232 to S3234 are in random order, and it is not necessary to execute all of them. Further, two or more determination processes may be combined and determined in combination.
  • step S322 the inner regions extracted in the above-mentioned inner extraction process (step S322) are grouped (connected) by connecting (step S3235).
  • a known grouping process can be used, and for example, an image labeling process may be used.
  • step S3235 shape determination processing of the inner area
  • step S3236 shape determination processing of the inner area
  • the feature of the shape is different depending on the type of lens attachment, but it is a universal feature that there is a certain width and there are lower and upper limits of the area. Therefore, it may be determined whether the width or area of the grouped inner region is within a predetermined range.
  • the lens attachment is easily lumped. Therefore, the vertical width and the horizontal width of the lens attachment tend to be equal to each other, and the occupancy ratio (rectangle occupancy ratio) to the circumscribed rectangle tends to be close to the value of the circle (0.785). Therefore, it may be determined whether the aspect ratio or circumscribed rectangle occupancy of the grouped inner area is within a predetermined range.
  • the circle determination may be performed on the grouped inner region.
  • a well-known method can be used for circle determination. For example, if the contour of the inner region is extracted by contour tracking processing or the like, the degree of circularity can be obtained from the relationship between the length of the contour and the area of the inner region, and it can be determined whether the degree of circularity is equal to or greater than a threshold.
  • the water droplet may be elliptical, the ellipticity of the region may be obtained to correct the decrease in circularity due to the ovalization.
  • Hough transform known as a circle determination method may be used. By performing circle extraction processing by Hough transform on the contour extracted by the contour tracking processing or the like, it can be determined whether the inner region is circular or not. In addition, if this method is used, the missing part of the partially missing inner region can be complemented.
  • the variance of the brightness value is determined for each grouped inner area, and it is determined whether the variance is within a predetermined range.
  • the present embodiment is not limited to this.
  • frequency components may be obtained for each of the grouped inner regions, and it may be determined whether the average of the frequency components is within a predetermined range.
  • the inside of the lens attachment is difficult to transmit external light, has no color, and has a low luminance.
  • the gray system color ratio or the average brightness may be acquired for each grouped inner region, and the gray system color having a high ratio or a low average brightness may be extracted.
  • step S3238 it is determined whether or not this is adjacent to the contour of the lens attachment. Since the lens deposit usually has a contour, it is determined that the inner region where the lens deposit contour is not adjacent (that is, the feature of the deposit contour is not outside) is not a lens deposit. , Exclude such inner areas.
  • the blurred edge area extracted by the outline extraction unit 321 can be used as the outline of the lens attachment.
  • the lens deposit is a thin water droplet
  • the outline of the water droplet can hardly be seen by the background being projected on the water droplet. Therefore, weak outline areas of features which are not extracted in the outline extraction process (step S321) (in other words, outline areas whose features are weaker than outline areas extracted by the outline extraction unit 321) may be included in the blurred edge area.
  • the weak outline region of the feature can be generated, for example, by another blurred edge extraction process in which the range of the edge intensity extracted by the outline extraction process (step S321) in the blurred edge extraction process (step S3213) is extended to a weaker intensity. .
  • the inside (adherent inner area) of the lens attached contour is detected from the inner area extracted in the inner extraction process (step S322).
  • steps S3236 to S3238 are in random order, and it is not necessary to execute all of them. Further, two or more determination processes may be combined and determined in combination.
  • step S3239 the deposit outline area and the area extracted as the deposit inner area in the above process are overlapped and extracted as an deposit detection area.
  • the deposit outline area and the deposit inner area may be combined to determine the deposit detection area. For example, if only the area where the deposit outline area and the deposit inside area are detected adjacent to each other (in other words, the deposit outline area and the deposit inside area adjacent to each other) is detected as the deposit detection area, Only clear lens deposits with contours can be detected.
  • the lens deposit when only one of the deposit contour area and the deposit inner area is detected, the lens deposit can not be detected. In this case, if both the deposit contour area and the deposit inner area are detected as a deposit detection area, a lens deposit having a weak contour such as a thin water droplet, a small lens deposit having almost no inner side, etc. Various lens deposits can be detected.
  • the attached substance outline area and the attached substance inner area which are frequently detected with reference to the attached substance outline area and the attached substance inner area or the attached substance detection area detected in the past.
  • the deposit detection area may be used as the final output.
  • the contour area and the inner area are treated independently, and the deposit outline area and the deposit inner area are detected from each of them. However, after combining the outline area and the inner area, their shapes and luminances are combined. Of course, it may be determined. In this case, although different features can not be used for determination on the contour and the inside thereof, the amount of determination processing based on shape and luminance can be reduced and processing load can be reduced.
  • Step S329 the blurred edge area and the number of accumulations accumulated in the accumulation process (step S3214) of the contour extraction process (step S321) are initialized. Similarly, the small edge area accumulated in the accumulation process (step S3224) of the inside extraction process (step S322) and the number of times of accumulation are initialized. Thereby, when the attached matter detection area detection process is executed next, the outline area and the inner area are again extracted in the outline extraction process (step S321) and the inner extraction process (step S322).
  • step S329) only the old accumulation data may be deleted from the accumulated blurred edge area and small edge area.
  • the attached object detection area determination process (step S323) and the accumulation initialization process (only for the extracted one of the outline area and the inner area) Step S329) may be performed.
  • the next lens state determination process (step S324) is executed by the lens state determination unit 324 of the attached matter detection unit 320, and based on the attached matter detection area detected in the attached matter detection area determination process (step S323), The degree of contamination of the lens 210 is determined.
  • the lens 210 is heavily contaminated by determining whether this value exceeds the threshold value.
  • the contribution rate to the degree of contamination of the extraneous substance detection area is determined by the size and position of the extraneous substance detection area, the accuracy of the extraneous substance detection area determination processing (step S323) according to the position, the vehicle speed, or the detection duration time. It may be changed accordingly.
  • the contribution rate to the contamination state with respect to the attached matter detection region at the center of the captured image when the vehicle speed decreases For example, it is effective to reduce the size of the index that represents the degree of contamination of the lens 210.
  • the detection performance of the surrounding sensing unit 340 does not deteriorate unless the size of the lens deposit exceeds a predetermined area, the area of each of the grouped deposit detection areas exceeds a predetermined area The contribution to the degree of contamination may be increased only for.
  • the contribution rate to the degree of contamination may be changed according to the image position of the attached matter detection area.
  • the contribution rate to the degree of contamination may be changed according to the type of the lens attachment detected.
  • the type of the lens attachment includes not only the contour or the inside but also the type of the lens attachment itself, such as water drops, mud, cloudy or the like.
  • the type of lens attachment can be detected by optimizing detection parameters and processing for various lens attachments in the attachment detection process by the attachment detection unit 320. For example, when the lens deposit is thin and cloudy, the background can be seen through the cloud, so that it is conceivable to reduce the degree of contribution to the degree of contamination.
  • the accumulation process is performed.
  • the area may be abraded by (Step S3224), and the shape of the abraded area may be close to the inner feature of the lens deposit.
  • the blurred edge area extracted by the blurred edge area extracting process (step S3213) in the outline extracting process (step S321) includes a wide area which is not the outline of the lens attachment, the area is determined by the accumulation process (step S3214). The shape of the abraded and abraded area may be close to the features of the lens deposit contour.
  • the extraneous substance detection area determination process may erroneously detect such an area without excluding it. Therefore, the small edge area extracted in the small edge area extraction process (step S3223) of the inside extraction process (step S322) or the blurred edge area extracted in the blurred edge area extraction process (step S3213) of the contour extraction process (step S321) Alternatively, the attached matter detection area determination process (step S323) may be performed before accumulation. However, in that case, since the processing load increases, a simple process can be used for this. For example, a contour area or an inner area whose area is greatly reduced by the accumulation process (steps S3214 and S3224) may be excluded in advance.
  • the second embodiment has the same configuration as that of the first embodiment except that the attached matter detection area tracking unit 325 is added to the attached matter detection unit 320. Therefore, while explaining the structure of the deposit
  • the lens deposit detection unit 320 tracks the deposit detection area tracking the area of the lens deposit detected by the deposit detection area determination unit 323 (adhesion detection area).
  • a unit 325 is provided.
  • the attached substance detection area tracking unit 325 executes the attached substance detection area tracking processing (step S555) illustrated in FIG.
  • the attached matter detection area detected in the attached matter detection area determination process (step S323) is tracked.
  • a known tracking process can be used for this tracking process. For example, pattern matching may be performed on an area including the vicinity of the extraneous substance detection area. The image used for this pattern matching may be a photographed image or an edge image thereof.
  • the tracking area is the detection area of the lens adhesion (adhesion detection area), thereby suppressing interruption of detection due to disturbance or the like. can do.
  • the attached substance detection area (including the attached substance outline area and the attached substance inner area) detected once in the past or the attached substance detection area which is continuously detected stably includes the area.
  • the contour extraction unit 321, the inner extraction unit 322, and the attached matter detection area determination unit 323 perform an outline extraction process (step S321), an inner extraction process (step S322), and an attached matter detection area determination process (step S323).
  • the interruption of detection due to a disturbance or the like may be suppressed by relaxing the extraction conditions (the extraction range of the edge strength, the accumulation time, and the like).
  • the contour area extracted by the contour extraction processing is treated as the inside area in the inside of the deposit that has been detected once or continuously and stably.
  • the deposit contour area may be treated as a deposit inner area. In this way, it is possible to suppress temporal interruption of the inner area or the deposit inner area.
  • the inner area extracted by the inner extraction process is set as the outline area. It may be handled, or the deposit inside area may be treated as a deposit outline area.
  • the present invention is not limited to the above-described embodiment, but includes various modifications.
  • the above-described embodiment is described in detail to explain the present invention in an easy-to-understand manner, and is not necessarily limited to one having all the described configurations.
  • part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the configurations, functions, processing units, processing means, etc. described above may be realized by hardware, for example, by designing part or all of them with an integrated circuit. Further, each configuration, function, etc. described above may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as a program, a table, and a file for realizing each function can be placed in a memory, a hard disk, a storage device such as a solid state drive (SSD), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD solid state drive
  • control lines and information lines indicate what is considered to be necessary for the description, and not all control lines and information lines in the product are necessarily shown. In practice, almost all configurations may be considered to be mutually connected.

Abstract

撮像装置のレンズ等に付着した水滴、泥、ゴミなどの付着物をその輪郭の不明瞭なものも含めて検出することのできる付着物検出装置、および、それを備えた車両システムを提供する。動体に設置された撮像装置２００が撮影する撮影画像に映る付着物を検出する付着物検出装置３２０であって、前記撮影画像から付着物の輪郭の領域を輪郭領域として抽出する輪郭抽出部３２１と、前記撮影画像から付着物の輪郭の内側の領域を内側領域として抽出する内側抽出部３２２と、前記輪郭領域と付着物の輪郭とを比較して、形状及び輝度のいずれかが適合するものを付着物輪郭領域として検出し、前記内側領域と付着物の輪郭の内側とを比較して、形状及び輝度のいずれかが適合するものを付着物内側領域として検出し、前記付着物輪郭領域及び前記付着物内側領域のいずれかから付着物の輪郭及び輪郭の内側のいずれかから成るレンズ付着物の領域を付着物検出領域として検出する付着物検出領域判定部３２３と、を備える。

Description

付着物検出装置、および、それを備えた車両システム
　本発明は、付着物検出装置、および、それを備えた車両システムに係り、例えば、車両等の動体に設置されたカメラのレンズ等に付着した付着物を検出する付着物検出装置、および、その付着物検出装置を備えた車両システムに関する。
　車両に設置したカメラ（以下、車載カメラと称することがある）が撮影する撮影画像を用いて車両周辺の物体や標識を検出する機能（以下、周囲センシングと称する）を搭載した車両システムがある。例えば、車両背面に設置された車載カメラが撮影する撮影画像から車両後方に存在する他の車両や歩行者（以下、「障害物」と総称することがある）を検出し、音や表示灯などを介して運転者に注意を促す車両システムである。
　車載カメラのレンズに水滴や泥、ゴミなどの付着物（以下、レンズ付着物と称することがある）が付着していると、車載カメラが撮影する撮影画像にそのレンズ付着物が映り込み、レンズ付着物の背後にある景色が隠されてしまう。その結果、前記のような車両システムにおいては、レンズ付着物の背後に隠された障害物が検出されなくなってしまう。
　そこで、撮影画像からレンズ付着物を検出する方式が考案されている。例えば、特許文献１には、車両走行中に時間変化のない画像領域をレンズ付着物が映り込む領域として検出し、検出された領域の大きさが閾値を超えると、車載カメラを用いた周囲センシングを停止させる車両システムが開示されている。この方式は、車両走行時には景色が流れるのに対し、レンズ付着物の映る領域にはレンズ付着物が映り続けて変化しないことを利用したレンズ付着物検出方式である。
　ただし、車両の進行方向に一様な景色（例えば、路面、ガードレール、歩道など）が映る画像領域も車両の移動に伴わずに時間変化が生じない。そのため、特許文献１に記載のレンズ付着物検出方式では、このような景色もレンズ付着物として誤検出してしまう可能性がある。
　このような課題に対してレンズ付着物の検出精度を向上させる手法として、特許文献２には、エッジ特徴と明るさを利用する方式が開示されている。この方式では、車載カメラが撮影する撮影画像を複数の領域（ブロック）に分割した上で、まずエッジ強度が範囲内（弱エッジ）のブロックを抽出し、続いてその周囲（隣接するブロックのさらに隣り）に明るいブロックの多いブロックを抽出する。この処理により、レンズ付着物のぼけた輪郭を弱エッジとして抽出し、さらに外光を遮蔽して暗くなるレンズ付着物の領域を検出する。
特開２０１２－３８０４８号公報 特開２０１４－３０１８８号公報
　しかしながら、特許文献２に記載のレンズ付着物検出方式では、レンズ付着物のぼけた輪郭（弱エッジ）が検出されるが、その輪郭の内側は検出されない。大きなレンズ付着物ほど、輪郭よりその内側の比率が大きくなるため、上記特許文献２に記載のレンズ付着物検出方式では、大きなレンズ付着物に対する検出性能が低下してしまう。その結果、大きなレンズ付着物が付着した場合に、車載カメラの撮影画像を用いた周囲センシングを停止できない可能性がある。
　また、レンズ付着物が厚みのない水滴である場合、その輪郭は不明瞭で、輪郭の検出が困難になる。それに対し、水滴の不明瞭な輪郭を検出対象とすると、レンズ付着物と無関係の景色までもがレンズ付着物として検出されてしまう。
　本発明は、上記事情に鑑みてなされたもので、車載カメラのレンズ等に付着した水滴、泥、ゴミなどの付着物をその輪郭が不明瞭なものも含めて検出することのできる付着物検出装置、および、それを備えた車両システムを提供することを目的とする。
　上述した課題を解決するために、本発明に係る付着物検出装置は、動体に設置された撮像装置が撮影する撮影画像に映る付着物を検出する付着物検出装置であって、前記撮影画像から付着物の輪郭の領域を輪郭領域として抽出する輪郭抽出部と、前記撮影画像から付着物の輪郭の内側の領域を内側領域として抽出する内側抽出部と、前記輪郭領域と付着物の輪郭とを比較して、形状及び輝度のいずれかが適合するものを付着物輪郭領域として検出し、前記内側領域と付着物の輪郭の内側とを比較して、形状及び輝度のいずれかが適合するものを付着物内側領域として検出し、前記付着物輪郭領域及び前記付着物内側領域のいずれかから、付着物の輪郭及び輪郭の内側のいずれかから成る付着物の領域を付着物検出領域として検出する付着物検出領域判定部と、を備えることを特徴とする。
　また、本発明に係る車両システムは、前記付着物検出装置と、車両に搭載されて前記車両周辺を撮影する前記撮像装置と、前記付着物検出領域判定部が検出した前記付着物検出領域に基づいて動作を変更する、前記撮像装置が撮影する撮影画像に対して物体及び／又は標識を検知する周囲センシング部と、を備えることを特徴とする。
　本発明によれば、撮像装置のレンズ等に付着した水滴、泥、ゴミなどの付着物であって撮像装置が撮影する撮影画像に映る付着物をその輪郭が不明瞭なものも含めて高精度に検出することができる。
　また、撮像装置の撮影画像における付着物の領域を検出できるため、その付着物検出領域をその撮影画像に重ねて車室内のディスプレイ等に表示すれば、車両システムが付着物を認識していることを運転者に明示することができる。
　また、撮影画像を用いた周囲センシングにおいて、撮像装置の撮影画像における付着物の領域をマスクすれば、付着物に起因する周囲センシングの不良を抑えることもできる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
実施形態１に係る付着物検出装置を備えた車両システムを搭載した車両を示す概略図である。 実施形態１に係る付着物検出装置を備えた車両システムの構成を示すブロック図である。 実施形態１における付着物検出装置による付着物検出処理の流れを示す概略フローチャートである。 処理領域設定処理の流れを示す概略フローチャートである。 輪郭抽出処理の流れを示す概略フローチャートである。 内側抽出処理の流れを示す概略フローチャートである。 付着物検出領域判定処理の流れを示す概略フローチャートである。 レンズ付着物のあるカメラで撮影される撮影画像の例である。 付着物検出領域がハイライトされた撮影画像の例である。 付着物検出領域がハイライトされた俯瞰画像の例である。 付着物検出領域の多い領域がハイライトされた撮影画像の例である。 付着物検出領域をマスクするマスク画像の例である。 付着物検出領域を囲う枠の内側をマスクするマスク画像の例である。 付着物検出領域の多い分割領域をマスクするマスク画像の例である。 実施形態２に係る付着物検出装置を備えた車両システムの構成を示すブロック図である。 実施形態２における付着物検出装置による付着物検出処理の流れを示す概略フローチャートである。
　以下、本発明に係る付着物検出装置、および、その付着物検出装置を備えた車両システムの実施形態について、図面を参照して説明する。
＜実施形態１＞
［車両システムの装置構成］
　図１は、実施形態１に係る付着物検出装置を備えた車両システム１０００を搭載した車両１００を上から見下ろした図である。また、図２は、図１に示す車両システム１０００の構成を示すブロック図である。
　図示実施形態の車両システム１０００では、車両１００の車体前面に撮像装置としてのカメラ２００が設置されている。このカメラ２００は、車体前方の景色を結像するレンズ２１０と、レンズ２１０の結像を電気信号に変換する撮像素子２２０と、を備えて構成され、カメラ２００の前方の景色を撮影画像として出力する。カメラ２００が撮影する撮影画像は、車両１００に積載されている処理装置３００にケーブル等を介して転送され、処理される。
　処理装置３００は、カメラ２００の撮影画像からカメラ２００のレンズ２１０に付着した水滴や泥、ゴミといったレンズ付着物を検出する機能（以下、「付着物検出」と称する）を実行する付着物検出部（付着物検出装置）３２０を備える。
　また、処理装置３００は、カメラ２００の撮影画像から車両１００前方の障害物や標識等を検知するアプリケーション（以下、「周囲センシング」と称する）を実行する周囲センシング部３４０を備える。これには、公知の様々なアプリケーションを用いることができる。例えば、駐車場において駐車枠線を検出するものや、車両１００前方を横切る歩行者を検出するアプリケーション等が知られている。ただし、周囲センシング部３４０は、本実施形態に必要不可欠な構成要素ではなく、周囲センシング部３４０をもたない車両システム１０００であってもよい。
　さらに、処理装置３００は、周囲センシング部３４０の検出結果に基づいて車両１００を自動的に走行させる車両自動走行制御部３５０を備える。例えば、車両１００を駐車する場面では、車両１００の周辺に検出された駐車枠のいずれかに向かって車両１００を走行させる。また、車両１００の進行方向に障害物が検知されれば、車両１００を停車させる。ただし、車両自動走行制御部３５０は、本実施形態に必要不可欠な構成要素ではなく、車両自動制御走行制御部３５０をもたない車両システム１０００であってもよい。
　また、処理装置３００は、車両１００の室内（車室内）に設置された音声発生装置４０１、ディスプレイ４０２、表示灯４０３や、カメラ２００に設置された洗浄装置４０４に通信可能に接続され、これらを付着物検出部３２０が検出したレンズ付着物の情報に基づいて動作させる。例えば、レンズ２１０がレンズ付着物で酷く汚れている場合には、音声発生装置４０１やディスプレイ４０２、表示灯４０３を用いて車両１００の搭乗者にレンズ２１０の清掃を指示する。また、洗浄装置４０４を動作させて自動でレンズ２１０を清掃する。洗浄装置４０４には、公知の様々な方式が利用できる。例えば、カメラ２００に取り付けたワイパー装置でレンズ２１０表面に付着したレンズ付着物を拭い取る方式や、レンズ２１０に水や風などを当ててレンズ２１０に付着したレンズ付着物を取り除く方式などがある。ただし、本実施形態において、音声発生装置４０１、ディスプレイ４０２、表示灯４０３、洗浄装置４０４は必要不可欠な構成要素ではなく、いずれかが欠けていてもよいし、全てが無くてもよい。また、それらは、他の形態であってもよい。例えば、音声発生装置４０１の代わりに、運転席のシートベルトを振動させてもよい。
　なお、本実施形態では、カメラ２００が車両１００の車体前面に設置されて車両１００前方を撮影するが、本実施形態はこれに限定されない。例えば、車体背面に設置されて車両１００後方を撮影するカメラであってもよいし、車体側面に設置されて車両１００側方や車両１００斜め前方などを撮影するカメラであってもよいし、車室内に設置されて車両１００の外側を撮影するカメラであってもよい。また、カメラ２００は、１台であってもよいし、複数台であってもよい。
　また、本実施形態では、処理装置３００（の付着物検出部３２０）が実行する付着物検出によってカメラ２００のレンズ２１０に付着した付着物を検出するが、本実施形態は、付着物の付着先をレンズ２１０に限定するものでない。カメラ２００の撮像素子２２０の前方にあって、車両１００ないしはカメラ２００に固定された透明な面に付着する付着物を検出対象とする。例えば、カメラ２００が車両１００の車室内に設置される場合、カメラ２００のレンズ２１０だけでなく、カメラ２００の前方にある車両１００のフロントガラスに付着した付着物であってカメラ２００の撮影画像に映る付着物も検出対象とする。
　また、本実施形態では、処理装置３００が、カメラ２００と分離され、ケーブル等で接続されているが、本実施形態はこれに限定されない。例えば、処理装置３００とカメラ２００とが無線通信で接続されてもよい。また、処理装置３００がカメラ２００に内蔵されていてもよい。
　また、本実施形態では、処理装置３００は、車両１００に積載されているが、車両１００の外部に設置してもよい。その場合、処理装置３００は、車両１００に積載されているカメラ２００、音声発生装置４０１、ディスプレイ４０２、表示灯４０３、洗浄装置４０４とは無線通信を介したネットワークで接続される。
　また、本実施形態では、レンズ２１０のレンズ付着物の情報を車両１００の車室内の搭乗者に通知するが、本実施形態はこれに限定されない。音声発生装置４０１、ディスプレイ４０２、表示灯４０３を車両１００の外部に設置し、車両１００の外部に通知してもよい。これは、例えば、音声発生装置４０１やディスプレイ４０２、表示灯４０３の機能を設けた携帯型端末を、無線通信ネットワークを介して処理装置３００に接続することで実現できる。
［車両システムの機能構成］
　図２を用いて、実施形態１に係る車両システム１０００の構成とその機能をより詳しく説明する。
　本実施形態１に係る車両システム１０００は、前述したように、車両１００に搭載され、図２に示すように、カメラ２００と、車両情報取得部３１０と付着物検出部３２０と出力情報生成部３３０と周囲センシング部３４０と車両自動走行制御部３５０とを備えた処理装置３００と、音声発生装置４０１と、ディスプレイ４０２と、表示灯４０３と、洗浄装置４０４と、を備える。
　カメラ２００は、車両１００の前方を撮影して撮影画像を生成する。ただし、本実施形態はこれに限定されない。先述した通り、車両１００の後方や側方を撮影して撮影画像を生成してもよい。
　処理装置３００の周囲センシング部３４０は、車両１００の前方にある物体や標識等をカメラ２００の撮影画像から検知する。なお、ソナーなどカメラ２００以外の外界認識装置を併用して車両１００の前方にある物体や標識等を検知する車両システム１０００であってもよい。
　車両自動走行制御部３５０は、周囲センシング部３４０の検出結果に基づいて車両１００の各種アクチュエータ（エンジン、アクセル、ブレーキ、シフト、ステアリング等）を制御して当該車両１００を自動的に走行させる。
　車両情報取得部３１０は、車両１００に設けられたセンサで測定された車両情報が集約される車両システム１０００から車両情報（車速など）を取得する。ただし、本実施形態はこれに限定されない。前記のセンサから車両情報を直接取得してもよい。また、付着物検出部３２０の処理に車両情報を用いない場合には、この処理部を省略することもできる。
　付着物検出部３２０は、輪郭抽出部３２１と、内側抽出部３２２と、付着物検出領域判定部３２３と、レンズ状態判定部３２４と、から構成され、車両情報取得部３１０によって取得される車両情報（車速など）に基づいてカメラ２００の撮影画像を処理する。ここで、輪郭抽出部３２１は、カメラ２００の撮影画像からレンズ付着物の輪郭の特徴をもつ領域（輪郭領域）を抽出する。内側抽出部３２２は、カメラ２００の撮影画像からレンズ付着物の（輪郭の）内側の特徴をもつ領域（内側領域）を抽出する。付着物検出領域判定部３２３は、輪郭領域および内側領域に基づいてレンズ付着物の映る領域（付着物検出領域）を検出する。レンズ状態判定部３２４は、付着物検出領域に基づいてカメラ２００のレンズ２１０の汚れ具合を判定する。なお、この付着物検出部３２０による付着物検出処理については、後で詳述する。
　出力情報生成部３３０は、付着物検出部３２０の付着物検出領域判定部３２３が検出した付着物検出領域ないしはレンズ状態判定部３２４が判定したレンズ状態に基づいた情報を生成し、周囲センシング部３４０および車両自動走行制御部３５０、音声発生装置４０１、ディスプレイ４０２、表示灯４０３、洗浄装置４０４のそれぞれに出力する。
｛出力情報生成部３３０の処理｝
　前記出力情報生成部３３０の処理について、より詳しく説明する。
　出力情報生成部３３０は、周囲センシング部３４０、車両自動走行制御部３５０、音声発生装置４０１、ディスプレイ４０２、表示灯４０３、洗浄装置４０４のそれぞれに、付着物検出部３２０が検出したレンズ２１０の付着物検出領域や汚れ具合に基づく信号を生成して入力する。
　例えば、レンズ２１０の汚れ具合が酷い場合、周囲センシング部３４０に周囲センシングを停止させる信号を入力し、車両自動走行制御部３５０に車両１００を停車させる命令を入力する。また、レンズ２１０が酷く汚れていることや周囲センシング部３４０による周囲センシングを停止すること、車両１００を停車することを、音声発生装置４０１から発する音声や、ディスプレイ４０２に表示される文字やアイコン、表示灯４０３の色等で、車両１００の搭乗者に通知する。また、洗浄装置４０４にレンズ２１０を清掃させる命令を入力する。
　なお、本実施形態の出力情報生成部３３０の動作は、上記内容に限定されない。
　例えば、ディスプレイ４０２に、図８に示すようなカメラ２００の撮影画像６０００を表示する場合に、図９に示すように、付着物検出部３２０が検出した付着物検出領域６１００を囲う枠６２００を表示してハイライトしてもよい。また、カメラ２００の撮影画像を座標変換して車両１００とその周辺を上空から見下ろした画像（俯瞰画像）７０００をディスプレイ４０２に表示する場合、図１０に示すように、俯瞰画像７０００上の付着物検出領域７１００を囲う枠７２００を俯瞰画像７０００に重ねて表示してもよい。このような処理により、車両システム１０００がレンズ２１０の付着物を認識していることを車両１００の搭乗者に明示できる。なお、瞬間的に誤って付着物として検出した領域をハイライトしないために、一定以上の時間継続して検出された付着物検出領域をハイライトするようにしてもよい。
　また、図１１に示すように、カメラ２００の撮影画像６０００を複数の領域（分割領域）に分割して、分割領域ごとに付着物検出領域６１００の面積を判定し、付着物検出領域６１００の面積が閾値以上となる分割領域をハイライトして、ディスプレイ４０２に表示してもよい。図１１に示す例では、カメラ２００の撮影画像６０００が横方向で３つの分割領域６３０１、６３０２、６３０３に分割され、付着物検出領域６１００の面積が大きい分割領域（図１１中、右側の分割領域）６３０３が実線でハイライトされている。なお、処理装置３００がレンズ付着物の種類に応じて複数の異なる付着物検出部３２０を備える場合、レンズ付着物の種類に応じて分割領域を変更したり、付着物検出領域６１００の面積の判定に用いる閾値（判定閾値）を変更したりしてもよい。
　また、出力情報生成部３３０は、付着物検出部３２０の付着物検出領域判定部３２３が検出した付着物検出領域に基づいて、周囲センシング部３４０に利用すべきでない領域を除外するマスク画像を生成するマスク領域生成部３３１を備えてもよい。例えば、マスク領域生成部３３１は、図８の撮影画像６０００における付着物検出領域６１００をそのままマスクする図１２のようなマスク画像８００１を生成する。なお、瞬間的に誤って付着物として検出した領域をマスクしないように、一定以上の時間継続して検出された付着物検出領域をマスクするようにマスク画像を生成してもよい。また、本実施形態のマスク領域生成部３３１が生成するマスク画像は、この例に限定されない。上記以外にも、図９のような付着物検出領域６１００を囲う枠６２００の内側をマスクする図１３のようなマスク画像８００２を生成してもよいし、図１１のような付着物検出領域６１００の多い分割領域６３０３全体をマスクする図１４のようなマスク画像８００３を生成してもよい。なお、周囲センシング部３４０の周囲センシング能力に応じて、分割領域６３０３の範囲や判定閾値を変更してもよい。例えば、20画素未満の領域が欠損しても正常に機能する周囲センシングに対しては、分割領域の面積や判定閾値を20画素以上とすることが考えられる。
　マスク領域生成部３３１が生成したマスク画像は、周囲センシング部３４０や車両自動走行制御部３５０に転送される。周囲センシング部３４０は、このマスク画像でカメラ２００の撮像画像からレンズ付着物のある領域を除外し、周囲センシングに用いる。これにより、レンズ付着物に影響されない周囲センシングが可能となる。ただし、マスク画像でマスクされた領域にある物体や標識等は検知されないため、周囲センシング部３４０は、マスク画像でマスクされた領域を不明領域として出力してもよい。また、車両自動走行制御部３５０は、マスク画像で除外される領域をカメラ２００の撮影画像を用いた周囲センシング部３４０における不明領域と認識して、そこに障害物や移動体があると仮定して車両を制御する。例えば、車両自動走行制御部３５０は、不明領域には車両１００を進行させないといった車両制御を行う。
｛付着物検出部３２０の付着物検出処理｝
　以下、図３～７のフローチャートを用いて、実施形態１に係る付着物検出部（付着物検出装置）３２０における付着物検出処理について詳細に説明する。
　図３のフローチャートに示すように、実施形態１に係る付着物検出部３２０における付着物検出処理は、主に、付着物検出処理の前処理としての車両情報取得処理（ステップＳ３１０）および車速判定処理（ステップＳ３１１）と、処理領域設定処理（ステップＳ３２０）と、輪郭抽出処理（ステップＳ３２１）と、内側抽出処理（ステップＳ３２２）と、抽出判定処理（ステップＳ３２８）と、付着物検出領域判定処理（ステップＳ３２３）と、蓄積初期化処理（ステップＳ３２９）と、レンズ状態判定処理（ステップＳ３２４）と、から成り、これらの処理を周期的に連続して実行する。
（車両情報取得処理および車速判定処理）
　車両情報取得処理（ステップＳ３１０）および車速判定処理（ステップＳ３１１）は、処理装置３００の車両情報取得部３１０により実行される。車両情報取得処理（ステップＳ３１０）では、車両１００に設けられた速度センサによって測定される車両１００の走行速度（車速）を車両システム１０００から取得する。つづく車速判定処理（ステップＳ３１１）では、その車速が所定速度以上（例えば10km/h以上）であるか否かを判定する。車速が所定速度以上の場合（Yes）は、次の処理領域設定処理（ステップＳ３２０）に進み、所定速度未満の場合（No）は、レンズ２１０の付着物の検出処理（ステップＳ３２０以降、ステップＳ３２９までの処理）をスキップしてレンズ状態判定処理（ステップＳ３２４）に進む。このスキップ処理は、車速が低下した場合、レンズ２１０の付着物を検出する処理（ステップＳ３２０以降、ステップＳ３２９までの処理）において、車両１００の走行に伴って変化する背景を付着物検出領域から除外する処理が有効に機能せず、誤検出が増加するためである。ただし、レンズ２１０の付着物を検出する処理（ステップＳ３２０以降、ステップＳ３２９までの処理）の性能が高く、車速低下時における誤検出が少ない場合には、車両情報取得部３１０、および車両情報取得処理（ステップＳ３１０）、車速判定処理（ステップＳ３１１）を省略してもよい。
　なお、前記の車速判定処理（ステップＳ３１１）において、判定に用いる車速の閾値（車速判定閾値）は固定値でなくてもよい。例えば、前回に実行した付着物検出処理において、レンズ２１０の付着物の検出処理（ステップＳ３２０以降、ステップＳ３２９までの処理）をスキップしたか否かによって、判定閾値を変更してもよい。例えば、レンズ２１０の付着物の検出処理をスキップした場合には、判定閾値を小さくして、付着物検出処理を実行しやすくすることが考えられる。
　また、本実施形態では、車速判定処理（ステップＳ３１１）において、車速を処理の分岐判定に用いているが、本実施形態はこれに限定されない。例えば、車両１００のシフトレバーの状態や車輪の向きなどの他の車両情報を判定基準に用いてもよい。また、複数の車両情報を複合して判定基準に用いてもよい。例えば、車輪が前を向いていて、且つ車速が10km/h以上の場合にのみ、レンズ２１０の付着物の検出処理を実行するようにしてもよい。
（処理領域設定処理）
　処理領域設定処理（ステップＳ３２０）は、付着物検出部３２０において種々の処理を行う前に実行される。処理領域設定処理（ステップＳ３２０）の詳細を図４のフローチャートを用いて説明する。
　まず、カメラ２００の撮影画像の各画素に対応する世界座標を取得する（ステップＳ３２０１）。ここで、撮影画像に映る被写体は全て高さのない平面と仮定し、取得する世界座標は車両１００からの距離と方向とする。
　次に、カメラ２００の撮影画像においてレンズ付着物が現れる可能性のある領域（レンズ付着物出現領域）を取得する（ステップＳ３２０２）。例えば、カメラフードで覆われてレンズ付着物が付着しない領域を除いた領域とする。ただし、本実施形態はこれに限定されない。車両１００、すなわち自車の車体が映る領域のように、レンズ付着物が付着する可能性はあるものの、レンズ付着物がなくとも景色の映らない領域がある。この領域を除く画像領域を、レンズ付着物出現領域として取得してもよい。
　続いて、付着物検出部３２０がレンズ付着物を検出可能な領域（レンズ付着物検出可能領域）を取得する（ステップＳ３２０３）。例えば、レンズ付着物の全体形状を取得できない撮影画像の端や、車両１００の走行に伴う変化の小さい遠方の領域など、付着物検知の検知性能が低下する領域がある。これらの領域を除いた画像領域を、レンズ付着物検出可能領域として取得する。
　次に、カメラ２００の撮影画像を用いた周囲センシング部３４０の周囲センシングがレンズ付着物によって阻害されうる領域（レンズ付着物阻害領域）を取得する（ステップＳ３２０４）。例えば、周囲センシング部３４０が駐車枠検出を行う場合、その検出範囲である路面に重なるレンズ付着物によって機能が阻害されうるため、路面の映る領域を、レンズ付着物阻害領域として取得する。
　なお、ステップＳ３２０２～３２０４のそれぞれにおいてステップＳ３２０１で取得した世界座標を用いることができる。例えば、ステップＳ３２０２において世界座標を元に車体が映る領域を除いたり、ステップＳ３２０３において付着物検出の精度が低下する車両１００から一定距離以上離れた遠方の領域を除いたりする。
　そして、ステップＳ３２０２～３２０４で取得した各領域を統合して、付着物検出処理のための処理領域を生成する（ステップＳ３２０５）。
（輪郭抽出処理）
　輪郭抽出処理（ステップＳ３２１）は、付着物検出部３２０の輪郭抽出部３２１により実行され、レンズ付着物の輪郭の特徴をもつ領域（輪郭領域）を抽出する。この輪郭抽出処理（ステップＳ３２１）の実施形態を図５のフローチャートを用いて説明する。
　まず、カメラ２００の撮影画像を縮小する（ステップＳ３２１１）。この処理は、後の処理負荷を軽減するために行われるものであり、本実施形態においてはこの処理を省略してもよい。
　次に、縮小した撮影画像からエッジ画像を生成する（ステップＳ３２１２）。ここでエッジ画像の生成には、公知の様々な手法を用いることができる。例えば、撮影画像にソーベルフィルタやラプラシアンフィルタをかける方式などが知られている。
　続いて、ステップＳ３２１２で生成したエッジ画像から、レンズ付着物の輪郭に相当する特定範囲のエッジ強度をもつエッジ領域を抽出する（ステップＳ３２１３）。例えば、エッジ強度が中強度の領域（ぼけエッジ領域）を抽出する。この処理により、カメラ２００からの距離が短く、カメラ２００の焦点が合わないことでレンズ付着物の周囲に現れるぼけや、厚みのあるレンズ付着物の輪郭に現れる影が抽出される。
　なお、本実施形態は抽出するエッジ強度を限定しない。例えば、レンズ付着物が水滴の場合、水滴に映り込む景色にも中強度のエッジが現れることがあり、そのエッジ強度を抽出する範囲に含めることで、水滴の映り込みも併せて検出することができる。また、レンズ付着物として夜間に水滴や水滴痕を検出する場合、これらは街灯の光で白く輝き、その輪郭に強いエッジを生じるため、夜間（言い換えれば、周囲の照度が低いとき）には、ぼけエッジ領域として抽出するエッジ強度に強エッジを含めてもよい。
　次に、輪郭抽出処理（ステップＳ３２１）が実行される度、ぼけエッジ領域抽出処理（ステップＳ３２１３）が抽出したぼけエッジ領域を蓄積する（ステップＳ３２１４）。
　そして、次の蓄積回数判定処理（ステップＳ３２１５）で、蓄積回数が閾値（輪郭蓄積判定閾値）以上であれば輪郭領域抽出処理（ステップＳ３２１６）を実行し、蓄積回数が輪郭蓄積判定閾値未満であれば輪郭抽出処理（ステップＳ３２１）を終了する。輪郭領域抽出処理（ステップＳ３２１６）では、輪郭蓄積判定閾値以上の頻度で出現したぼけエッジ領域を輪郭領域として抽出し、輪郭抽出処理（ステップＳ３２１）を終了する。この処理により、出現頻度の低いぼけエッジ領域をノイズとして除去することができる。ここで、蓄積回数判定処理（ステップＳ３２１５）における輪郭蓄積判定閾値は固定値でなくともよい。例えば、カメラ２００の照度センサや撮影画像の明るさに基づいて、ノイズの多い明るい場面では輪郭蓄積判定閾値を上げてもよい。なお、ステップＳ３２１３で抽出されるぼけエッジ領域にノイズが少なければ、一連の蓄積処理（ステップＳ３２１４）および蓄積回数判定処理（ステップＳ３２１５）を省略してもよい。
　これらの一連の処理によって、レンズ付着物の輪郭（輪郭領域）が抽出される。
　ただし、上記の例はレンズ付着物の輪郭を抽出する手法の一例であって、本実施形態はこれに限定されない。以下に他の例を示す。
（輪郭抽出処理の別形態１）
　輪郭抽出処理（ステップＳ３２１）では、レンズ付着物の輪郭の特徴として中強度エッジを抽出したが、他の特徴を用いてもよい。例えば、レンズ付着物が特異な形状をもつ場合、上述したステップＳ３２１２、Ｓ３２１３をその特異な形状を抽出する処理に置き換えてもよい。例えば、水滴のように輪郭が円形になるレンズ付着物を検出する場合、撮影画像に円抽出処理を施すことで、水滴の輪郭領域を抽出できる。また、ステップＳ３２１２が生成するエッジ画像や、ステップＳ３２１３が抽出するぼけエッジ領域は、レンズ付着物の輪郭が強調されているため、このエッジ画像やぼけエッジ領域に円抽出処理を施し、水滴の輪郭領域の抽出精度を向上させてもよい。ここで、円抽出には、公知の方式を用いることができる。例えば、ハフ変換を用いた円抽出処理が知られている。なお、この方式を用いれば、ノイズを含むぼけエッジ領域から水滴の輪郭を抽出できるため、ノイズを除去する一連の蓄積処理（ステップＳ３２１４）および蓄積回数判定処理（ステップＳ３２１５）を省略できる。ただし、蓄積処理（ステップＳ３２１４）および蓄積回数判定処理（ステップＳ３２１５）は、上述の円抽出における誤検出を抑える効果もあるため、誤検出が多い場合には、前記の蓄積処理等を実行するのがよい。
（輪郭抽出処理の別形態２）
　また、一連の蓄積処理（ステップＳ３２１４）および蓄積回数判定処理（ステップＳ３２１５）は、ノイズを低減する公知の手法に置き換えてもよい。例えば、ステップＳ３２１３でぼけエッジ領域を抽出した画像にクロージング処理を施せば、隣接に領域のない孤立したノイズを削除することができる。
（輪郭抽出処理の別形態３）
　また、レンズ付着物の輪郭は輝度のばらつき（輝度分散）が小さく、また、周波数が低いという特徴がある。そこで、エッジ画像生成処理（ステップＳ３２１２）の別形態として、複数の画素をもつ領域ごとに輝度分散ないしは周波数を抽出し、ぼけエッジ領域抽出処理（ステップＳ３２１３）では、輝度分散ないしは周波数が所定の範囲内となる領域をぼけエッジ領域として抽出してもよい。ここで、抽出する輝度分散ないしは周波数の範囲は、レンズ付着物の輪郭のぼけや影に合わせて設定される。この処理を、エッジ画像生成処理（ステップＳ３２１２）およびぼけエッジ領域抽出処理（ステップＳ３２１３）に置き換える。
（輪郭抽出処理の別形態４）
　また、レンズ付着物の輪郭には、色や輝度が輪郭の外側に向かって単調に変化する特徴があるので、このような領域（グラデーション領域）を抽出してもよい。例えば、撮影画像を横方向に走査して、輝度が一定の長さに亘って一定の変化量で単調に増加ないしは減少する領域を抽出すれば、縦向きの輪郭を抽出できる。ここで、抽出する長さと変化量は、レンズ付着物の輪郭の幅とその輝度変化量に合わせて設定される。この処理を、エッジ画像生成処理（ステップＳ３２１２）およびぼけエッジ領域抽出処理（ステップＳ３２１３）に置き換える。
（輪郭抽出処理の別形態５）
　また、レンズ付着物のぼけた輪郭は、背景が透過するが、その輝度は元の背景の輝度と異なる。レンズ付着物が暗い場合、透過した背景の輝度は暗くなり、レンズ付着物が明るい場合、透過した背景の輝度は明るくなる。そこで、車両１００の移動によって撮影画像上の位置が変化した物体（路面など）を抽出し、車両１００の移動の前後で輝度が常に暗く、または明るく変化する領域を抽出してもよい。この処理を、エッジ画像生成処理（ステップＳ３２１２）およびぼけエッジ領域抽出処理（ステップＳ３２１３）に置き換える。
（輪郭抽出処理の別形態６）
　また、レンズ付着物の輪郭の異なる特徴を抽出する上述の処理を複数組み合わせてレンズ付着物の輪郭（ぼけエッジ領域）を抽出することもできる。
（内側抽出処理）
　次の内側抽出処理（ステップＳ３２２）は、付着物検出部３２０の内側抽出部３２２により実行され、レンズ付着物の輪郭の内側の特徴をもつ領域（内側領域）を抽出する。この内側抽出処理（ステップＳ３２２）の実施形態を図６のフローチャートを用いて説明する。
　まず、カメラ２００の撮影画像を縮小する（ステップＳ３２２１）。この処理は、後の処理負荷を軽減するために行われるものであり、本実施形態においてはこの処理は省略してもよい。また、輪郭抽出処理（ステップＳ３２１）の撮影画像縮小処理（ステップＳ３２２１）が生成する画像を利用することで、この処理を省略してもよい。
　次に、縮小した撮影画像からエッジ画像を生成する（ステップＳ３２２２）。ここでエッジ画像の生成には、公知の様々な手法を用いることができる。例えば、撮影画像にソーベルフィルタやラプラシアンフィルタをかける方式などが知られている。なお、輪郭抽出処理（ステップＳ３２１）のエッジ画像生成処理（ステップＳ３２２２）が生成するエッジ画像を利用することで、この処理を省略してもよい。
　なお、このステップＳ３２２２は、レンズ付着物の領域とレンズ付着物でない領域との違いを強調するように、路面に現れるような細かいエッジを強調したエッジ画像を生成してもよい。例えば、撮影画像縮小処理（ステップＳ３２２１）によって細かいエッジの情報が失われるため、この処理を省略することで、細かいエッジを強調することができる。
　続いて、ステップＳ３２２２で生成したエッジ画像から、レンズ付着物の輪郭の内側に相当するエッジ強度をもつ領域を抽出する（ステップＳ３２２３）。例えば、エッジ強度がほとんどない領域（小エッジ領域）（言い換えれば、輪郭抽出処理（ステップＳ３２１）で抽出した輪郭領域よりも弱いエッジ領域、あるいは、エッジ強度の無い領域）を抽出する。この処理により、カメラ２００からの距離が短く、カメラ２００の焦点が合わないこともあってエッジのほとんど現れないレンズ付着物を抽出できる。このステップＳ３２２３で抽出するエッジ強度は、レンズ付着物の輪郭の内側の弱いエッジ強度に合わせて設定される。
　なお、本実施形態は抽出するエッジ強度を限定しない。例えば、レンズ付着物が水滴の場合、水滴に映り込む景色にも中強度のエッジが現れることがあり、そのエッジ強度を抽出する範囲に含めることで、水滴の映り込みも併せて検出することができる。
　次に、内側抽出処理（ステップＳ３２２）が実行される度、小エッジ領域抽出処理（ステップＳ３２２３）によって抽出される小エッジ領域を蓄積する（ステップＳ３２２４）。
　そして、次の蓄積回数判定処理（ステップＳ３２２５）で、蓄積回数が閾値（内側蓄積判定閾値）以上であれば内側領域抽出処理（ステップＳ３２２６）を実行し、蓄積回数が内側蓄積判定閾値未満であれば内側抽出処理（ステップＳ３２２）を終了する。内側領域抽出処理（ステップＳ３２２６）では、内側蓄積判定閾値以上の頻度で出現した小エッジ領域を内側領域として抽出し、内側抽出処理（ステップＳ３２２）を終了する。この処理により、出現頻度の低い小エッジ領域をノイズとして除去することができる。ここで、蓄積回数判定処理（ステップＳ３２２５）における内側蓄積判定閾値は固定値でなくともよい。例えば、カメラ２００の照度センサや撮影画像の明るさに基づいて、ノイズの多い明るい場面では内側蓄積判定閾値を上げてもよい。なお、ステップＳ３２２３で抽出される小エッジ領域にノイズが少なければ、一連の蓄積処理（ステップＳ３２２４）および蓄積回数判定処理（ステップＳ３２２５）を省略してもよい。
　これらの一連の処理によって、レンズ付着物の輪郭の内側（内側領域）が抽出される。
　ただし、上記の例はレンズ付着物の輪郭の内側を抽出する手法の一例であって、本実施形態はこれに限定されない。以下に他の例を示す。
（内側抽出処理の別形態１）
　泥などのレンズ付着物は外光を遮るため、輪郭の内側の輝度が低い。そこで、輝度の低い領域をレンズ付着物の輪郭の内側（小エッジ領域）として抽出する。この処理を、エッジ画像生成処理（ステップＳ３２２２）および小エッジ領域抽出処理（ステップＳ３２２３）に置き換える。
（内側抽出処理の別形態２）
　また、レンズ付着物が水滴や水滴痕の場合、これらは夜間に街灯の光で白く輝くため、夜間には輝度の高い領域を抽出する処理としてもよい。ここで抽出する輝度の範囲は、夜間に街灯の光で輝く水滴や水滴痕に合わせて設定する。この処理を、エッジ画像生成処理（ステップＳ３２２２）および小エッジ領域抽出処理（ステップＳ３２２３）に置き換える。
（内側抽出処理の別形態３）
　また、カメラ２００で撮影したカラーの撮影画像においてレンズ付着物の輪郭の内側はグレー系統であることが多い。そこで、グレー系統の領域をレンズ付着物の輪郭の内側（小エッジ領域）として抽出する。この処理を、エッジ画像生成処理（ステップＳ３２２２）および小エッジ領域抽出処理（ステップＳ３２２３）に置き換える。
（内側抽出処理の別形態４）
　また、レンズ付着物の輪郭の内側のパターン形状を予め取得し、取得したパターン形状とのマッチング（パターンマッチング）によってレンズ付着物の輪郭の内側の小エッジ領域を抽出する方法もある。この処理を、エッジ画像生成処理（ステップＳ３２２２）および小エッジ領域抽出処理（ステップＳ３２２３）に置き換える。なお、本例のパターンを用いる方法はこれに限定されない。例えば、レンズ付着物の輪郭のエッジのパターンを用いてもよい。その場合、エッジ画像生成処理（ステップＳ３２２２）で生成したエッジ画像からパターンを抽出することができる。
（内側抽出処理の別形態５）
　また、レンズ付着物が特異な形状をもつ場合、ステップＳ３２２２、Ｓ３２２３をその特異な形状を抽出する処理に置き換えてもよい。例えば、水滴のように形状が円形になるレンズ付着物を検出する場合、撮影画像に円抽出処理を施すことで、水滴を抽出することができる。この処理を、エッジ画像生成処理（ステップＳ３２２２）および小エッジ領域抽出処理（ステップＳ３２２３）に置き換える。なお、ステップＳ３２２２で生成されるエッジ画像や、ステップＳ３２２３で抽出される小エッジ領域に円抽出処理を施してもよい。円抽出には、公知の方式を用いることができる。例えば、円形状とのマッチング処理や、ハフ変換を用いる方法がある。ハフ変換を用いる場合は、小エッジ領域の輪郭をエッジ抽出処理で抽出した後、ハフ変換を用いれば、円領域の輪郭を抽出できる。これらの方式を使用すれば、ノイズを含む小エッジ領域から水滴の輪郭の内側（小エッジ領域）を抽出できるため、ノイズを除去する一連の蓄積処理（ステップＳ３２２４）および蓄積回数判定処理（ステップＳ３２２５）を省略できる。ただし、この蓄積処理（ステップＳ３２２４）および蓄積回数判定処理（ステップＳ３２２５）は、上述の円抽出における誤検出を抑える効果もあるため、誤検出が多い場合には、前記の蓄積処理等を実行するのがよい。
（内側抽出処理の別形態６）
　また、一連の蓄積処理（ステップＳ３２２４）および蓄積回数判定処理（ステップＳ３２２５）は、ノイズを低減する公知の手法に置き換えてもよい。例えば、ステップＳ３２２３で小エッジ領域を抽出した画像にクロージング処理を実行すれば、隣接に領域のない孤立したノイズが削除される。また、ステップＳ３２２３で抽出される小エッジ領域にノイズが少なければ、一連の蓄積処理（ステップＳ３２１４）および蓄積回数判定処理（ステップＳ３２１５）を省略してもよい。
（内側抽出処理の別形態７）
　また、レンズ付着物の輪郭の内側の領域は輝度分散が小さく、また、周波数が低いという特徴がある。そこで、エッジ画像生成処理（ステップＳ３２２２）では、複数の画素をもつ領域ごとに輝度分散ないしは周波数を抽出し、小エッジ領域抽出処理（ステップＳ３２２３）では、輝度分散ないしは周波数が閾値以下となる領域を小エッジ領域として抽出してもよい。ここで、抽出する輝度分散ないしは周波数の閾値は、レンズ付着物の輪郭の内側の特徴に合わせて設定される。
（内側抽出処理の別形態８）
　また、レンズ付着物の輪郭の内側は、背景が透過しないものが多い。そこで、車両１００の移動によって撮影画像上の位置が変化した物体（路面など）を抽出し、車両１００の移動の前後で輝度が常に一定値にまたは一定量だけ変化する領域を抽出してもよい。これらの処理を、エッジ画像生成処理（ステップＳ３２２２）および小エッジ領域抽出処理（ステップＳ３２２３）に置き換える。
（内側抽出処理の別形態９）
　また、レンズ付着物の輪郭の内側の異なる特徴を抽出する上述の処理を複数組み合わせてレンズ付着物の輪郭の内側（小エッジ領域）を抽出することもできる。
　なお、前述の輪郭抽出処理（ステップＳ３２１）および内側抽出処理（ステップＳ３２２）の各処理は、順不同である。
（抽出判定処理）
　次の抽出判定処理（Ｓ３２８）は、付着物検出部３２０の付着物検出領域判定部３２３により実行され、輪郭抽出部３２１（の輪郭抽出処理（ステップＳ３２１））と内側抽出部３２２（の内側抽出処理（ステップＳ３２２））とがそれぞれ輪郭領域と内側領域を抽出したか否かを判定する。輪郭領域と内側領域が抽出されている場合に、続く付着物検出領域判定処理（ステップＳ３２３）と蓄積初期化処理（ステップＳ３２９）を実行し、輪郭領域と内側領域が抽出されていない場合には、これらの処理（ステップＳ３２３、Ｓ３２９）をスキップしてレンズ状態判定処理（ステップＳ３２４）に進む。
（付着物検出領域判定処理）
　付着物検出領域判定処理（ステップＳ３２３）は、付着物検出部３２０の付着物検出領域判定部３２３により実行され、輪郭抽出部３２１と内側抽出部３２２がそれぞれ輪郭領域と内側領域を抽出する度に、輪郭領域及び内側領域がレンズ付着物の輪郭及び輪郭の内側か否かを判定し、レンズ２１０に付着したレンズ付着物の領域（付着物検出領域）を検出する。
　この付着物検出領域判定処理（ステップＳ３２３）の実施形態を図７のフローチャートを用いて説明する。
（輪郭領域のグループ化処理）
　まず、前述の輪郭抽出処理（ステップＳ３２１）で抽出した輪郭領域を連接するもの同士でグループ化（グルーピング）する（ステップＳ３２３１）。このグルーピングには、公知のグルーピング処理を用いることができ、例えば、画像のラベリング処理を用いればよい。
（輪郭領域の形状判定処理）
　次に、ステップＳ３２３１でグルーピングした輪郭領域ごとに、その形状の特徴がレンズ付着物の輪郭の形状の特徴に合致する（適合する）か否かを比較・判定する（ステップＳ３２３２）。
　形状の特徴はレンズ付着物の種類によって異なるが、一定の幅があることや、面積の上限があることが普遍的な特徴である。そのため、グルーピングした輪郭領域の幅や面積が所定の範囲内にあるか否かを判定すればよい。
　また、水滴のように円いレンズ付着物の場合には、グルーピングした輪郭領域に対して円判定を行ってもよい。円判定には、公知の手法を用いることができる。例えば、ハフ変換による円抽出処理を用いることで、処理範囲内に円形状のものが抽出できるか否かを判定できる。
　ただし、輪郭抽出処理（ステップＳ３２１）のエッジ画像生成処理（ステップＳ３２１２）におけるエッジ画像の生成手法によっては、エッジ画像にレンズ付着物の輪郭の全容が現れない。例えば、横方向のエッジを抽出するソーベルフィルタを用いてエッジ画像を生成した場合、エッジ画像には、レンズ付着物の輪郭の縦長の部分だけが抽出される。そのため、円い水滴に対しても先述の円判定が有効に機能しない。この場合、グルーピングした輪郭領域の長さや傾きが所定の範囲内にあるか否かを判定するようにしてもよい。領域の傾きは、例えば直線近似により求めることができる。この直線近似には、公知の手法を用いることができ、例えば、最小二乗法やハフ変換による直線抽出が利用できる。また、傾斜のある直線は、領域を囲む矩形に対する面積比率（矩形占有率）が低下するため、傾斜角に準ずる値として、この矩形占有率などを用いてもよい。
（輪郭領域の輝度判定処理）
　次に、形状判定された輪郭領域のグループに対して、その輝度がレンズ付着物の輪郭の輝度の特徴を備える（適合する）か否かを比較・判定する（ステップＳ３２３３）。
　レンズ付着物の輪郭には淡い輝度が広がっているため、例えば、グルーピングした輪郭領域ごとに輝度値の分散を求め、分散が所定の範囲内にあるか否かを判定する。ただし、本実施形態はこれに限定されない。上記以外にも、グルーピングした輪郭領域ごとに周波数成分を求め、周波数成分の平均が所定の範囲内にあるか否かを判定してもよい。
　また、レンズ付着物の輪郭には、色や輝度が輪郭の外側に向かって単調に変化するという特徴があるので、このような領域（グラデーション領域）を抽出してもよい。例えば、撮影画像を横方向に走査して、輝度が一定の長さに亘って一定の変化量で単調に増加ないしは減少する領域を抽出すればよい。ここで、一定の長さと変化量は、レンズ付着物の輪郭の幅とその輝度変化量に合わせて設定される。
（輪郭領域の内側判定処理）
　次に、形状および輝度が判定された輪郭領域のグループに対して、これがレンズ付着物の内側に隣接するか否かを判定する（ステップＳ３２３４）。通常、レンズ付着物には輪郭だけでなく内側も現れるため、レンズ付着物の内側が隣接しない輪郭領域はレンズ付着物ではないものと判定されるので、そのような輪郭領域を除外する。このレンズ付着物の内側としては、内側抽出部３２２が抽出した小エッジ領域などを利用できる。
　ただし、グループ化された輪郭が小さい場合、対応するレンズ付着物の大きさも小さく、その内側領域が抽出されていない場合がある。そこで、輪郭が小さい場合は、内側抽出処理（ステップＳ３２２）が抽出しない特徴の弱い内側領域を用いてもよい。この特徴の弱い内側領域は、例えば、内側抽出処理（ステップＳ３２２）が小エッジ領域抽出処理（ステップＳ３２２３）で抽出するエッジ強度の範囲をより強い強度にまで広げた別の小エッジ抽出処理によって生成できる。
　これらの処理によって、輪郭抽出処理（ステップＳ３２１）で抽出した輪郭領域からレンズ付着物の輪郭（付着物輪郭領域）を検出する。このようにレンズ付着物の輪郭のみを抽出することで、輪郭の割合が大きい小粒なレンズ付着物なども効果的に検出できる。
　なお、ステップＳ３２３２～Ｓ３２３４に用いられる種々の判定処理は互いに順不同であり、また、全てを実行する必要もない。また、２つ以上の判定処理を併せて、複合的に判定してもよい。
（内側領域のグループ化処理）
　次に、前述の内側抽出処理（ステップＳ３２２）で抽出した内側領域を連接するもの同士でグループ化（グルーピング）する（ステップＳ３２３５）。このグルーピングには、公知のグルーピング処理を用いることができ、例えば、画像のラベリング処理を用いればよい。
（内側領域の形状判定処理）
　次に、ステップＳ３２３５でグルーピングした内側領域ごとに、その形状がレンズ付着物の輪郭の内側の形状に適した特徴を備える（適合する）か否かを比較・判定する（ステップＳ３２３６）。
　形状の特徴はレンズ付着物の種類によって異なるが、一定の幅があることや、面積の下限および上限があることが普遍的な特徴である。そのため、グルーピングした内側領域の幅や面積が所定の範囲内にあるか否かを判定すればよい。
　また、この他にも、レンズ付着物は塊になりやすいという特徴がある。そのため、レンズ付着物の縦幅と横幅が同程度になりやすく、また、外接矩形に対する占有比（矩形占有率）は円の値（0.785）付近になりやすい。そこで、グルーピングした内側領域の縦横比や外接矩形占有率が所定の範囲内にあるか否かを判定してもよい。
　また、水滴のように円いレンズ付着物の場合には、グルーピングした内側領域に対して円判定を行ってもよい。円判定には、公知の手法を用いることができる。例えば、輪郭追跡処理などで内側領域の輪郭を抽出すれば、輪郭の長さと内側領域の面積の関係から円形度を求めることができ、円形度が閾値以上か否かを判定することができる。ここで、水滴は楕円になることもあるため、領域の楕円度を求めて楕円化による円形度の低下を補正してもよい。また、円判定の手法として知られるハフ変換を用いてもよい。輪郭追跡処理などで抽出された輪郭に対してハフ変換による円抽出処理を行うことで、内側領域が円形状か否かを判定できる。なお、この手法を用いれば、部分的に欠けた内側領域の欠損箇所を補完できる。
（内側領域の輝度判定処理）
　次に、形状判定された内側領域のグループに対して、その輝度がレンズ付着物の輪郭の内側の輝度の特徴を備える（適合する）か否かを比較・判定する（ステップＳ３２３７）。
　レンズ付着物の輪郭の内側には似たような輝度が広がるため、例えば、グルーピングした内側領域ごとに輝度値の分散を求め、分散が所定の範囲内にあるか否かを判定する。ただし、本実施形態はこれに限定されない。上記以外にも、グルーピングした内側領域ごとに周波数成分を求め、周波数成分の平均が所定の範囲内にあるか否かを判定してもよい。
　また、レンズ付着物の内側は外光が透過しにくく、色がなく、輝度が低いという特徴がある。例えば、グルーピングした内側領域ごとにグレー系統色の割合や平均輝度を取得し、グレー系統色の割合が高いものや平均輝度が低いものを抽出してもよい。
（内側領域の輪郭判定処理）
　次に、形状および輝度が判定された内側領域のグループに対して、これがレンズ付着物の輪郭に隣接するか否かを判定する（ステップＳ３２３８）。通常、レンズ付着物には輪郭が現れるため、レンズ付着物の輪郭が隣接しない（すなわち、付着物の輪郭の特徴を外側にもたない）内側領域はレンズ付着物ではないものと判定されるので、そのような内側領域を除外する。このレンズ付着物の輪郭としては、輪郭抽出部３２１が抽出したぼけエッジ領域を利用できる。
　ただし、レンズ付着物が厚みのない水滴の場合、水滴に背景が投影されることで、その水滴の輪郭がほとんど見えない。そこで、輪郭抽出処理（ステップＳ３２１）で抽出しない特徴の弱い輪郭領域（言い換えれば、輪郭抽出部３２１が抽出する輪郭領域よりも特徴の弱い輪郭領域）をぼけエッジ領域に含めてもよい。この特徴の弱い輪郭領域は、例えば、輪郭抽出処理（ステップＳ３２１）がぼけエッジ抽出処理（ステップＳ３２１３）で抽出するエッジ強度の範囲をより弱い強度にまで広げた別のぼけエッジ抽出処理によって生成できる。
　これらの処理によって、内側抽出処理（ステップＳ３２２）で抽出した内側領域からレンズ付着物の輪郭の内側（付着物内側領域）を検出する。このようにレンズ付着物の内側のみを抽出することで、輪郭の弱いレンズ付着物なども効果的に検出できる。
　なお、ステップＳ３２３６～Ｓ３２３８に用いられる種々の判定処理は互いに順不同であり、また、全てを実行する必要もない。また、２つ以上の判定処理を併せて、複合的に判定してもよい。
（付着物検出領域抽出処理）
　最後に、上述の処理（ステップＳ３２３１～Ｓ３２３８）で付着物輪郭領域、付着物内側領域として抽出された領域を重ねて付着物検出領域として抽出する（ステップＳ３２３９）。
　ここで、付着物輪郭領域と付着物内側領域を複合して付着物検出領域を決定してもよい。例えば、付着物輪郭領域と付着物内側領域とが隣り合って検出される領域のみを（言い換えれば、互いに隣接する付着物輪郭領域と付着物内側領域とを）付着物検出領域として検出すれば、輪郭のある明瞭なレンズ付着物のみを検出することができる。
　ただし、上記実施形態では、付着物輪郭領域と付着物内側領域のいずれか一方のみが検出される場合に、レンズ付着物を検出できなくなってしまう。その場合、付着物輪郭領域と付着物内側領域とを共に付着物検出領域として検出すれば、厚みのない水滴のように輪郭の弱いレンズ付着物や、内側がほとんどない小粒なレンズ付着物などの様々なレンズ付着物を検出できる。
　また、付着物検出領域判定処理（ステップＳ３２３）において、過去に検出した付着物輪郭領域および付着物内側領域、ないしは付着物検出領域を参照し、検出頻度の高い付着物輪郭領域および付着物内側領域、ないしは付着物検出領域のみを最終出力としてもよい。
　なお、本実施形態では、輪郭領域と内側領域とを独立に扱い、それぞれから付着物輪郭領域と付着物内側領域とを検出したが、輪郭領域と内側領域とを合成してからその形状や輝度を判定してもよいことは勿論である。その場合、輪郭とその内側とで異なる特徴を判定に用いることができなくなるが、形状や輝度による判定処理の量を減らし、処理負荷を軽減することができる。
（蓄積初期化処理）
　次の蓄積初期化処理（ステップＳ３２９）では、輪郭抽出処理（ステップＳ３２１）の蓄積処理（ステップＳ３２１４）によって蓄積されているぼけエッジ領域と蓄積回数を初期化する。また、同様に、内側抽出処理（ステップＳ３２２）の蓄積処理（ステップＳ３２２４）によって蓄積されている小エッジ領域と蓄積回数を初期化する。これにより、次に付着物検出領域検出処理が実行された際に、輪郭抽出処理（ステップＳ３２１）と内側抽出処理（ステップＳ３２２）とでそれぞれ輪郭領域と内側領域とを改めて抽出し直す。
　なお、この蓄積初期化処理（ステップＳ３２９）は、蓄積されたぼけエッジ領域及び小エッジ領域の内、古い蓄積データのみを削除するようにしてもよい。
　また、輪郭領域と内側領域の抽出されるタイミングが異なる場合、輪郭領域と内側領域の内、抽出された一方の領域に対してのみ付着物検出領域判定処理（ステップＳ３２３）および蓄積初期化処理（ステップＳ３２９）を行うようにしてもよい。
（レンズ状態判定処理）
　次のレンズ状態判定処理（ステップＳ３２４）は、付着物検出部３２０のレンズ状態判定部３２４により実行され、付着物検出領域判定処理（ステップＳ３２３）で検出した付着物検出領域に基づいてカメラ２００のレンズ２１０の汚れ具合を判定する。
　例えば、付着物検出領域判定処理（ステップＳ３２３）で検出した付着物検出領域の総面積を汚れ具合として、この値が閾値を超えるか否かを判定することで、レンズ２１０がひどく汚れたか否かを検知する。ここで、付着物検出領域の汚れ具合への寄与率を、付着物検出領域の大きさや位置、位置に応じた付着物検出領域判定処理（ステップＳ３２３）の精度、車速、または検出持続時間などに応じて変更してもよい。例えば、車速低下時に撮像画像の中央で汚れ付着検出処理の誤検出が増えることがわかっていれば、車速低下時に、撮影画像の中央の付着物検出領域に対して汚れ具合への寄与率（言い換えれば、レンズ２１０の汚れ具合を表す指標の大きさ）を下げることが有効である。また、レンズ付着物の大きさが所定の面積を超えない限りにおいて周囲センシング部３４０の検知性能が劣化しない場合、グルーピングされた付着物検出領域の１つ１つの面積が所定の面積を超えたものに対してのみ、汚れ具合への寄与率を上げてもよい。また、周囲センシング部３４０において、周囲センシング結果の重要度がその付着物検出領域の画像位置によって変わる場合、付着物検出領域の画像位置に応じて汚れ具合への寄与率を変更してもよい。
　また、検出されたレンズ付着物の種類に応じて汚れ具合への寄与率を変更してもよい。レンズ付着物の種類とは、輪郭か内側かのみならず、水滴か、泥か、曇りか、など、レンズ付着物の種類そのものを含む。レンズ付着物の種類は、付着物検出部３２０による付着物検出処理において、検出のパラメータや処理を各種レンズ付着物に最適化することで検出できる。例えば、レンズ付着物が薄い曇りの場合、背景が曇りを透過して視認できるため、汚れ具合への寄与度を下げることが考えられる。
［実施形態１の効果］
　以上、本実施形態１では、レンズ付着物の輪郭と内側のそれぞれを検出することで、カメラ２００のレンズ２１０等に付着した水滴、泥、ゴミなどの付着物であってカメラ２００が撮影する撮影画像に映る付着物（の付着領域）をその輪郭が不明瞭なものも含めて高精度に検出することができる。
　ところで、本実施形態では、内側抽出処理（ステップＳ３２２）の小エッジ領域抽出処理（ステップＳ３２２３）によって抽出される小エッジ領域にレンズ付着物の輪郭の内側ではない広い領域が含まれる場合、蓄積処理（ステップＳ３２２４）によって領域が削られ、削られた領域の形状がレンズ付着物の内側の特徴に近くなることがある。同様に、輪郭抽出処理（ステップＳ３２１）のぼけエッジ領域抽出処理（ステップＳ３２１３）によって抽出されるぼけエッジ領域にレンズ付着物の輪郭でない広い領域が含まれる場合、蓄積処理（ステップＳ３２１４）によって領域が削られ、削られた領域の形状がレンズ付着物の輪郭の特徴に近くなることがある。その結果、付着物検出領域判定処理（ステップＳ３２３）がこのような領域を除外せず、誤検出する可能性がある。そこで、内側抽出処理（ステップＳ３２２）の小エッジ領域抽出処理（ステップＳ３２２３）で抽出する小エッジ領域や、輪郭抽出処理（ステップＳ３２１）のぼけエッジ領域抽出処理（ステップＳ３２１３）で抽出するぼけエッジ領域に対しても、蓄積前に付着物検出領域判定処理（ステップＳ３２３）を実行してもよい。ただし、その場合、処理負荷が増大するため、これには簡素な処理を用いることができる。例えば、蓄積処理（ステップＳ３２１４、Ｓ３２２４）によって面積が大きく縮小する輪郭領域ないしは内側領域を予め除外すればよい。
＜実施形態２＞
　次に、図１５、１６を用いて、実施形態２に係る付着物検出部（付着物検出装置）３２０における付着物検出処理について説明する。本実施形態２は、付着物検出部３２０に付着物検出領域追跡部３２５を追加したこと以外は、上記実施形態１と同様の構成を有している。そのため、図１５を使用して実施形態２の付着物検出部３２０の構成を説明するとともに、図１６を用いて実施形態２に係る付着物検出部３２０における付着物検出処理について説明するが、上記実施形態１と同じ構成および処理については、同一の符号を付してその詳細な説明を省略し、以下では相違点のみについて詳細に説明する。
　実施形態２に係るレンズ付着物検出部３２０は、図１５で示すように、付着物検出領域判定部３２３で検出されたレンズ付着物の領域（付着物検出領域）を追跡する付着物検出領域追跡部３２５を備える。
　また、この付着物検出領域追跡部３２５は、付着物検出部３２０による付着物検出処理において、図１６で示す付着物検出領域追跡処理（ステップＳ５５５）を実行する。
　図１６で示す付着物検出領域追跡処理（ステップＳ５５５）では、付着物検出領域判定処理（ステップＳ３２３）で検出された付着物検出領域を追跡する。この追跡処理には、公知の追跡処理を用いることができる。例えば、付着物検出領域の近傍を含む領域に対してパターンマッチングを行えばよい。このパターンマッチングに用いる画像は、撮影画像でもよいし、そのエッジ画像でもよい。追跡できた領域は、その前段の付着物検出領域判定処理（ステップＳ３２３）の結果に依らず、レンズ付着物の検出領域（付着物検出領域）とすることで、外乱等による検出の途切れを抑制することができる。
　なお、過去に１度検出された付着物検出領域（付着物輪郭領域、付着物内側領域を含む）ないしは連続して安定的に検出されている付着物検出領域に対しては、当該領域を含む画像領域に対し、輪郭抽出部３２１や内側抽出部３２２、付着物検出領域判定部３２３が、輪郭抽出処理（ステップＳ３２１）や内側抽出処理（ステップＳ３２２）、付着物検出領域判定処理（ステップＳ３２３）の抽出条件（エッジ強度の抽出範囲や蓄積時間など）を緩和することで、外乱等による検知の途切れを抑制してもよい。
　また、レンズ付着物が水滴の場合、外光の変化でレンズ付着物の内側に輪郭の成分が現れる場合がある。そこで、前述の付着物内側領域の検出処理では、過去に１度検出されたないしは連続して安定的に検出されている付着物内側領域において、輪郭抽出処理で抽出する輪郭領域を内側領域として扱ってもよい。また、同様に、付着物輪郭領域を付着物内側領域として扱ってもよい。これにより、内側領域ないし付着物内側領域の時間的な途切れを抑制することができる。同様に、前述の付着物輪郭領域の検出処理では、過去に１度検出されたないしは連続して安定的に検出されている付着物輪郭領域において、内側抽出処理で抽出する内側領域を輪郭領域として扱ってもよいし、付着物内側領域を付着物輪郭領域として扱ってもよい。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１００　車両
２００　カメラ（撮像装置）
２１０　レンズ
２２０　撮像素子
３００　処理装置
３１０　車両情報取得部
３２０　付着物検出部（付着物検出装置）
３２１　輪郭抽出部
３２２　内側抽出部
３２３　付着物検出領域判定部
３２４　レンズ状態判定部
３２５　付着物検出領域追跡部
３３０　出力情報生成部
３３１　マスク領域生成部
３４０　周囲センシング部
３５０　車両自動走行制御部
４０１　音声発生装置
４０２　ディスプレイ
４０３　表示灯
４０４　洗浄装置
１０００　車両システム

Claims (12)

  1. 　動体に設置された撮像装置が撮影する撮影画像に映る付着物を検出する付着物検出装置であって、
    　前記撮影画像から付着物の輪郭の領域を輪郭領域として抽出する輪郭抽出部と、
    　前記撮影画像から付着物の輪郭の内側の領域を内側領域として抽出する内側抽出部と、
    　前記輪郭領域と付着物の輪郭とを比較して、形状及び輝度のいずれかが適合するものを付着物輪郭領域として検出し、前記内側領域と付着物の輪郭の内側とを比較して、形状及び輝度のいずれかが適合するものを付着物内側領域として検出し、前記付着物輪郭領域及び前記付着物内側領域のいずれかから、付着物の輪郭及び輪郭の内側のいずれかから成る付着物の領域を付着物検出領域として検出する付着物検出領域判定部と、を備えることを特徴とする付着物検出装置。
  2. 　前記輪郭抽出部が、前記撮影画像から特定範囲のエッジ強度をもつエッジ領域を輪郭領域として抽出し、前記内側抽出部が、前記撮影画像から前記輪郭領域よりも弱いエッジ領域及びエッジ強度の無い領域のいずれかを内側領域として抽出することを特徴とする請求項１に記載の付着物検出装置。
  3. 　前記付着物検出領域に基づいて前記撮像装置のレンズの汚れ具合を判定するレンズ状態判定部をさらに備えることを特徴とする請求項１に記載の付着物検出装置。
  4. 　前記レンズ状態判定部が、前記付着物検出領域の位置に応じて、前記レンズの汚れ具合を表す指標の大きさを変更することを特徴とする請求項３に記載の付着物検出装置。
  5. 　前記付着物検出領域判定部が、前記内側領域のうち、付着物の輪郭を外側にもたないものを前記付着物内側領域から除外することを特徴とする請求項１に記載の付着物検出装置。
  6. 　前記付着物検出領域判定部が、前記輪郭抽出部が前記輪郭領域を抽出する抽出条件よりも抽出条件を緩和した場合に得られる弱い輪郭領域を外側にもつ前記内側領域を前記付着物内側領域から除外しないことを特徴とする請求項５に記載の付着物検出装置。
  7. 　前記付着物検出領域判定部が、前記付着物輪郭領域と前記付着物内側領域とを共に前記付着物検出領域として検出することを特徴とする請求項１に記載の付着物検出装置。
  8. 　前記付着物検出領域判定部が、互いに隣接する前記付着物輪郭領域と前記付着物内側領域とを前記付着物検出領域として検出することを特徴とする請求項１に記載の付着物検出装置。
  9. 　前記付着物検出領域を追跡する付着物検出領域追跡部をさらに備えることを特徴とする請求項１に記載の付着物検出装置。
  10. 　前記付着物検出領域判定部が過去に検出した前記付着物内側領域において、前記輪郭領域及び前記付着物輪郭領域のいずれかを前記内側領域及び前記付着物内側領域のいずれかとして扱うことを特徴とする請求項９に記載の付着物検出装置。
  11. 　前記付着物検出領域判定部が過去に検出した前記付着物輪郭領域及び前記付着物内側領域のいずれか、又は前記付着物検出領域を参照して、当該領域を含む画像領域に対し、前記輪郭抽出部及び前記内側抽出部のいずれかが、前記輪郭領域及び前記内側領域のいずれかの抽出条件を緩和することを特徴とする請求項９に記載の付着物検出装置。
  12. 　請求項１～１１のいずれか一項に記載の付着物検出装置と、
    　車両に搭載されて前記車両の周辺を撮影する前記撮像装置と、
    　前記付着物検出領域判定部が検出した前記付着物検出領域に基づいて動作を変更する、前記撮像装置が撮影する撮影画像に対して物体及び／又は標識を検知する周囲センシング部と、を備えることを特徴とする車両システム。
PCT/JP2018/028229 2017-08-02 2018-07-27 付着物検出装置、および、それを備えた車両システム WO2019026785A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880050218.4A CN110999273B (zh) 2017-08-02 2018-07-27 附着物检测装置和具有其的车辆系统
US16/635,663 US11142124B2 (en) 2017-08-02 2018-07-27 Adhered-substance detecting apparatus and vehicle system equipped with the same
EP18840762.1A EP3664431B1 (en) 2017-08-02 2018-07-27 Attached object detection device, and vehicle system provided with same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-150190 2017-08-02
JP2017150190A JP6772113B2 (ja) 2017-08-02 2017-08-02 付着物検出装置、および、それを備えた車両システム

Publications (1)

Publication Number Publication Date
WO2019026785A1 true WO2019026785A1 (ja) 2019-02-07

Family

ID=65233949

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028229 WO2019026785A1 (ja) 2017-08-02 2018-07-27 付着物検出装置、および、それを備えた車両システム

Country Status (5)

Country Link
US (1) US11142124B2 (ja)
EP (1) EP3664431B1 (ja)
JP (1) JP6772113B2 (ja)
CN (1) CN110999273B (ja)
WO (1) WO2019026785A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110855871A (zh) * 2019-12-06 2020-02-28 盐城市何达城市开发建设有限公司 一种物业管理用监控摄像头
US11328428B2 (en) 2019-12-18 2022-05-10 Clarion Co., Ltd. Technologies for detection of occlusions on a camera

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243480B2 (ja) * 2019-06-25 2023-03-22 株式会社デンソー 車載センサ洗浄装置
CN112150534A (zh) * 2019-06-28 2020-12-29 深圳市商汤科技有限公司 图像采集设备遮挡状态检测方法、装置、设备和存储介质
JP7243546B2 (ja) 2019-09-20 2023-03-22 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7156225B2 (ja) * 2019-09-20 2022-10-19 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7200893B2 (ja) * 2019-09-20 2023-01-10 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7188336B2 (ja) * 2019-09-20 2022-12-13 株式会社デンソーテン 付着物検出装置、および付着物検出方法
JP7272226B2 (ja) 2019-10-07 2023-05-12 株式会社デンソー 雨滴認識装置、車両制御装置、学習方法および学習済みモデル
JP7463159B2 (ja) 2020-03-26 2024-04-08 株式会社デンソーテン 液滴検出装置
JP7319597B2 (ja) * 2020-09-23 2023-08-02 トヨタ自動車株式会社 車両運転支援装置
WO2022158262A1 (ja) * 2021-01-22 2022-07-28 株式会社小糸製作所 センサシステム、車両の制御方法および車両
CN112581473B (zh) * 2021-02-22 2021-05-18 常州微亿智造科技有限公司 一种基于实现表面缺陷检测灰度图像定位算法的方法
US11954894B2 (en) * 2021-04-08 2024-04-09 Rivian Ip Holdings, Llc Systems and methods for determining camera blockage
WO2023067704A1 (ja) * 2021-10-19 2023-04-27 三菱電機ビルソリューションズ株式会社 画像解析システム
US11798151B1 (en) * 2022-04-25 2023-10-24 Rivian Ip Holdings, Llc Systems and methods for determining image capture degradation of a camera sensor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006262242A (ja) * 2005-03-18 2006-09-28 Secom Co Ltd 画像信号処理装置
JP2012038048A (ja) 2010-08-06 2012-02-23 Alpine Electronics Inc 車両用障害物検出装置
JP2014026049A (ja) * 2012-07-25 2014-02-06 Sony Corp クリーニング装置とクリーニング方法および撮像装置
JP2014030188A (ja) 2012-07-03 2014-02-13 Clarion Co Ltd レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
WO2016017340A1 (ja) * 2014-07-31 2016-02-04 クラリオン株式会社 周囲環境認識装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4654208B2 (ja) * 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
JP2011078047A (ja) * 2009-10-02 2011-04-14 Sanyo Electric Co Ltd 撮像装置
CN102111532B (zh) * 2010-05-27 2013-03-27 周渝斌 相机镜头遮挡检测系统及方法
JP2012141691A (ja) * 2010-12-28 2012-07-26 Fujitsu Ten Ltd 映像処理装置
JP6120395B2 (ja) * 2012-07-03 2017-04-26 クラリオン株式会社 車載装置
JP5883732B2 (ja) * 2012-07-03 2016-03-15 クラリオン株式会社 環境認識装置
CN104395156B (zh) * 2012-07-03 2017-02-22 歌乐株式会社 车辆周围监视装置
WO2014007294A1 (ja) * 2012-07-03 2014-01-09 クラリオン株式会社 車載装置
US9288381B2 (en) * 2012-07-27 2016-03-15 Clarion Co., Ltd. In-vehicle image recognizer
BR112015001804B1 (pt) * 2012-07-27 2021-11-16 Nissan Motor Co., Ltd Dispositivo de detecção de gotícula de água e dispositivo de detecção de objeto tridimensional.
JP6055224B2 (ja) * 2012-07-27 2016-12-27 クラリオン株式会社 レンズ洗浄装置
DE102013019138A1 (de) * 2013-11-12 2015-05-13 Application Solutions (Electronics and Vision) Ltd. Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
JP6174975B2 (ja) * 2013-11-14 2017-08-02 クラリオン株式会社 周囲環境認識装置
JP6246014B2 (ja) * 2014-02-18 2017-12-13 クラリオン株式会社 外界認識システム、車両、及びカメラの汚れ検出方法
CN104143185B (zh) * 2014-06-25 2017-05-31 东软集团股份有限公司 一种污点区域检测方法
JP6832105B2 (ja) * 2016-09-23 2021-02-24 株式会社デンソーテン 水滴検出装置、水滴検出方法および水滴検出プログラム
US10552706B2 (en) * 2016-10-24 2020-02-04 Fujitsu Ten Limited Attachable matter detection apparatus and attachable matter detection method
JP6936070B2 (ja) * 2017-08-01 2021-09-15 トヨタ自動車株式会社 周辺監視装置
JP2019029897A (ja) * 2017-08-01 2019-02-21 パナソニックＩｐマネジメント株式会社 画像監視装置、画像監視方法および画像監視プログラム
US11708054B2 (en) * 2017-12-12 2023-07-25 Denso Corporation Vehicle cleaning system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006262242A (ja) * 2005-03-18 2006-09-28 Secom Co Ltd 画像信号処理装置
JP2012038048A (ja) 2010-08-06 2012-02-23 Alpine Electronics Inc 車両用障害物検出装置
JP2014030188A (ja) 2012-07-03 2014-02-13 Clarion Co Ltd レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
JP2014026049A (ja) * 2012-07-25 2014-02-06 Sony Corp クリーニング装置とクリーニング方法および撮像装置
WO2016017340A1 (ja) * 2014-07-31 2016-02-04 クラリオン株式会社 周囲環境認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3664431A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110855871A (zh) * 2019-12-06 2020-02-28 盐城市何达城市开发建设有限公司 一种物业管理用监控摄像头
US11328428B2 (en) 2019-12-18 2022-05-10 Clarion Co., Ltd. Technologies for detection of occlusions on a camera

Also Published As

Publication number Publication date
JP6772113B2 (ja) 2020-10-21
CN110999273A (zh) 2020-04-10
CN110999273B (zh) 2021-08-10
US11142124B2 (en) 2021-10-12
US20210122294A1 (en) 2021-04-29
JP2019029940A (ja) 2019-02-21
EP3664431A1 (en) 2020-06-10
EP3664431B1 (en) 2023-02-22
EP3664431A4 (en) 2021-05-05

Similar Documents

Publication Publication Date Title
JP6772113B2 (ja) 付着物検出装置、および、それを備えた車両システム
JP6117634B2 (ja) レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
JP6120395B2 (ja) 車載装置
JP6126094B2 (ja) 車載用画像認識装置
TWI607901B (zh) 影像修補系統及其方法
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
WO2017014023A1 (ja) 車載環境認識装置
EP2381416A1 (en) Image restoration method in computer vision system
JP5995140B2 (ja) 撮像装置及びこれを備えた車両システム並びに画像処理方法
CN111860120B (zh) 车载相机自动遮挡检测方法和装置
JP2008168811A (ja) 車線認識装置、車両、車線認識方法、及び車線認識プログラム
JP2000285245A (ja) 移動体の衝突防止装置、衝突防止方法、および記録媒体
JP2015148887A (ja) 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム
KR101134857B1 (ko) 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치
JP4826355B2 (ja) 車両周囲表示装置
JP2015061163A (ja) 遮蔽検知装置
JP2013025568A (ja) 接近障害物検出装置及びプログラム
US20220014674A1 (en) Imaging system and image processing apparatus
JPH11231069A (ja) 降雨雪状況の評価方法およびその装置
JP2023052713A (ja) 撮像装置、撮像システム及び撮像方法
JP6362945B2 (ja) 車載画像処理装置
JP3735468B2 (ja) 移動体認識装置
US20230122293A1 (en) Occluded oncoming vehicles detection systems and methods
JP4871941B2 (ja) 車両周辺監視装置
CN117094900A (zh) 车辆及控制车辆的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18840762

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018840762

Country of ref document: EP

Effective date: 20200302