WO2021075404A1 - 車載の異常検出装置 - Google Patents

車載の異常検出装置 Download PDF

Info

Publication number
WO2021075404A1
WO2021075404A1 PCT/JP2020/038502 JP2020038502W WO2021075404A1 WO 2021075404 A1 WO2021075404 A1 WO 2021075404A1 JP 2020038502 W JP2020038502 W JP 2020038502W WO 2021075404 A1 WO2021075404 A1 WO 2021075404A1
Authority
WO
WIPO (PCT)
Prior art keywords
correlation value
image
abnormality
optical sensor
camera
Prior art date
Application number
PCT/JP2020/038502
Other languages
English (en)
French (fr)
Inventor
青木　豊
啓子 秋山
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN202080072428.0A priority Critical patent/CN114585944A/zh
Publication of WO2021075404A1 publication Critical patent/WO2021075404A1/ja
Priority to US17/659,386 priority patent/US11908119B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the present disclosure relates to a technique for detecting an abnormality in either an optical sensor or a camera used for detecting an object around a vehicle.
  • an object is based on the time from irradiating a beam light from a light emitting portion of an optical sensor to receiving the reflected light reflected by the object by a plurality of light receiving elements of the light receiving unit.
  • Techniques for measuring the distance to are described.
  • the light receiving unit outputs a distance image based on the distance measured for each pixel. Further, the light receiving unit outputs a first brightness image based on the light intensity of the received reflected light.
  • Patent Document 1 describes a technique for acquiring a second brightness image according to the brightness of the surface of an object for each pixel of the captured image captured by the camera.
  • the brightness of each pixel of the first brightness image is corrected based on the distance of each pixel, and the corrected pixel of the first brightness image and the pixel of the second brightness image are combined.
  • the pixels of the corresponding distance image are detected as error pixels.
  • Patent Document 1 The technique described in Patent Document 1 is based on the premise that the camera is normal and there is no abnormality in the second brightness image taken by the camera. However, as a result of detailed examination by the inventor, the following problems have been found.
  • One aspect of the present disclosure is that it is desirable to provide a technique for detecting an abnormality regardless of whether the optical sensor or the camera used for detecting an object around the vehicle is abnormal.
  • the vehicle-mounted abnormality detection device is an abnormality detection device that detects that an abnormality has occurred in either an optical sensor or a camera used for detecting an object around the vehicle. Therefore, it is provided with a correlation value calculation unit and an abnormality determination unit.
  • the correlation value calculation unit is a reflection intensity image that the light sensor irradiates light around the vehicle and receives and detects the reflected light that is reflected, and the light sensor emits light around the vehicle when the light sensor does not irradiate the light.
  • the correlation value between at least one of the background light image to be detected by receiving light and the image taken by the camera around the vehicle is calculated.
  • the abnormality determination unit determines that either the optical sensor or the camera is abnormal when the correlation value calculated by the correlation value calculation unit is out of the predetermined range.
  • the abnormality can be detected regardless of whether the optical sensor or the camera is abnormal.
  • the block diagram which shows the structure of the abnormality detection apparatus of 1st Embodiment The schematic diagram which shows the light emitting part.
  • the schematic diagram which shows the light receiving part The schematic diagram which shows the reflection intensity image or the background light image and the photographed image divided into small areas.
  • the schematic diagram which shows the abnormal small area The schematic diagram which shows the light receiving part which increased the resolution.
  • a flowchart showing an abnormality detection process The block diagram which shows the light emitting part of 2nd Embodiment.
  • the vehicle-mounted abnormality detection system 2 shown in FIG. 1 includes a camera 10, a SPAD-LiDAR 20, and an abnormality detection device 40.
  • the SPAD-LiDAR 20 includes a light emitting unit 22, a light receiving unit 24, a distance image detecting unit 26, a reflection intensity image detecting unit 28, and a background light image detecting unit 30.
  • SPAD is an abbreviation for Single Photon Avalanche Diode
  • LiDAR is an abbreviation for Light Detection and Range.
  • the abnormality detection device 40 includes a correlation value calculation unit 42, an abnormality determination unit 44, and a resolution adjustment unit 46.
  • the abnormality detection device 40 detects that an abnormality has occurred in either the camera 10 or the SPAD-LiDAR 20 used by an object detection device (not shown) to detect an object around the vehicle.
  • SPAD-LiDAR is also simply referred to as LiDAR.
  • the light emitting unit 22 of the LiDAR 20 is horizontal at a constant frame rate by, for example, a drive unit (not shown) using a voice coil or the like, with a predetermined region in front of the vehicle as an arbitrary direction around the vehicle as a detection region. It intermittently irradiates a pulsed laser beam while scanning in the direction.
  • the light emitting unit 22 includes an LD unit 100 having four LD 102 to 108.
  • the four LDs 102 to 108 of the LD unit 100 scan and irradiate a predetermined region in front of the vehicle with a laser beam long in the vertical direction in the horizontal direction.
  • LD is an abbreviation for Laser Diode.
  • the light receiving unit 24 includes reflected light in which the laser light emitted by the light emitting unit 22 is reflected by an object, light from a light source such as sunlight or illumination, and background light in which the light from the light source is reflected by an object. To receive light.
  • the light receiving unit 24 includes a plurality of pixels 202 two-dimensionally arranged on the light receiving surface 200.
  • Each pixel includes a plurality of light receiving elements 210.
  • one pixel 202 is composed of 48 light receiving elements 210 in a 6 ⁇ 8 arrangement.
  • the light receiving element 210 outputs a light receiving signal having a current value corresponding to the light receiving intensity.
  • the light receiving element 210 uses a SPAD that operates in Geiger mode as an avalanche photodiode.
  • a SPAD that operates in Geiger mode
  • an avalanche photodiode or photodiode other than SPAD may be used.
  • the distance image detection unit 26 of the LiDAR 20 detects the distance to the object for each pixel 202 based on the time from when the light emitting unit 22 irradiates the laser light to when the light receiving unit 24 receives the reflected light, and detects the distance to the object in front of the vehicle.
  • a distance image is detected as an entire image of a predetermined area of.
  • the reflection intensity image detection unit 28 detects the intensity at which the light receiving unit 24 receives the reflected light of the laser light emitted by the light emitting unit 22 for each pixel 202, and detects the reflection intensity image as the entire image of a predetermined region in front of the vehicle. ..
  • the background light image detection unit 30 detects the intensity of the background light received by the light receiving unit 24 for each pixel 202 while the light emitting unit 22 does not irradiate the laser light, and the background light image as an entire image of a predetermined region in front of the vehicle. Is detected.
  • the intensity of the reflected light and the intensity of the background light are represented by the brightness on a grace scale.
  • the reflection intensity image 300 detected by the reflection intensity image detection unit 28 and the background light image 310 detected by the background light image detection unit 30 are divided into small areas 302 and 312, respectively. Then, the captured image 320 captured by the camera 10 is divided into small regions 322 corresponding to the small regions 302 and 312.
  • the number of divisions for dividing the image into the horizontal direction and the vertical direction is an arbitrary number of 1 or more, and is appropriately set. When the number of divisions is 1, it means that no division is performed.
  • the small areas 302, 312, and 222 are divided into areas where the reflection intensity image 300, the background light image 312, and the captured image 320 overlap.
  • the correlation value calculation unit 42 of the abnormality detection device 40 captures at least one of the reflection intensity image 300 detected by the reflection intensity image detection unit 28 and the background light image 310 detected by the background light image detection unit 30, and the camera 10. Correlation values are calculated by a correlation function for the small areas 302, 312, and 222 corresponding to the captured image 320.
  • the correlation values in the subregions 302, 312, and 222 are represented by, for example, the sum of the correlation values of each pixel.
  • the abnormality determination unit 44 compares the correlation value of the small areas 302, 312, and 222 calculated by the correlation value calculation unit 42 with the predetermined range, and if the correlation value is out of the predetermined range, which of the camera 10 and the LiDAR 20 is used. It is determined that the camera is abnormal.
  • the cause of the abnormality between the camera 10 and the LiDAR 20 is, for example, a failure between the camera 10 main body and the LiDAR 20 main body, dust or dirt adhering to the detection unit between the camera 10 and the LiDAR 20, or a pixel defect between the camera 10 and the LiDAR 20. And so on.
  • the abnormality determination unit 44 determines a predetermined range to be compared with the correlation value as follows.
  • the abnormality determination unit 44 stores, for example, the correlation value data calculated by the correlation value calculation unit 42 so far, and calculates the standard deviation ⁇ of the correlation value. Then, the abnormality determination unit 44 determines the absolute value of the correlation value within 5 ⁇ as a predetermined range.
  • the abnormality determination unit 44 determines that either the camera 10 or the LiDAR 20 is abnormal
  • the abnormality determination unit 44 operates the cleaning device when the cleaning device is installed in the lens of the camera 10 and the light transmitting unit of the LiDAR 20. .. If the dirt is removed by operating the cleaning device and the correlation value is within a predetermined range, it can be determined that the cause of the abnormality is dirt. If the correlation value deviates from the predetermined range even when the cleaning device is operated, it can be determined that the cause of the abnormality is other than dirt.
  • the abnormality determination unit 44 checks the time history of the brightness of each pixel of the captured image 320 and at least one pixel of the reflection intensity image 300 and the background light image 310 in a small area where the correlation value is out of the predetermined range. To do. The abnormality determination unit 44 determines that, of both the devices of the camera 10 and the LiDAR 20, the device whose brightness does not change in the time history is abnormal.
  • the abnormality determination unit 44 checks the time history in which the captured image 320 and at least one of the reflection intensity image 300 and the background light image 310 are edge-processed in a small area where the correlation value is out of the predetermined range. Of the devices of both the camera 10 and the LiDAR 20, the abnormality determination unit 44 determines that the device having the number of edges continuously equal to or greater than a predetermined value in the time history is abnormal.
  • the object detection device detects an object around the vehicle by using the normal device of the camera 10 and the LiDAR 20 without using the abnormal device. ..
  • both devices when one of the devices of the camera 10 and the LiDAR 20 is abnormal for a specific small area and both devices are normal for the other small area, the device is normal for the small area where the abnormality occurs. And for other small areas, both devices may be used to detect the object.
  • the correlation value is out of the predetermined range in all the small areas, it is considered that there is an abnormality in the power path for supplying power to the camera 10 and the LiDAR 20, or the light emission of the entire light emitting unit 22 of the LiDAR 20 is defective. Also in this case, by storing the diagnostic code indicating the abnormality in the flash memory or the like, it is possible to identify the abnormal portion of the object detection device and replace the abnormal portion.
  • the abnormality determination unit 44 corresponds to all the small regions in the range in which the laser beam is irradiated from any of the four LD 102 to 108 of the LD unit 100 when the correlation value is always out of the predetermined range. It is determined that LD102 to 108 have poor light emission. Also in this case, by storing the diagnostic code indicating the abnormality in the flash memory or the like, it is possible to identify the abnormal portion of the object detection device and replace the abnormal portion.
  • the resolution adjusting unit 46 determines that the reflection intensity image 300 and the background light image of the small region determined to be abnormal are abnormal. Instruct LiDAR 20 to increase the resolution with 310.
  • the resolution of the reflection intensity image 300 and the background light image 310 detected by the LiDAR 20 is lower than the resolution of the captured image 320 captured by the camera 10. Therefore, by increasing the resolution of the reflection intensity image 300 of the small region and the background light image 310 determined to be abnormal, the resolution of the reflection intensity image 300 of the small region and the background light image 310 can be brought closer to the captured image 320. Can be done.
  • the resolution adjustment unit 46 Instructs the LiDAR 20 to scan only the horizontal detection areas corresponding to the shaded small areas 302 and 312 again at the same frame rate as when scanning a predetermined area in front of the vehicle.
  • the resolution of the small areas 302 and 312 determined to be abnormal becomes higher because the detection area becomes narrower.
  • the laser beam When increasing the resolution of the reflection intensity image 300, the laser beam is emitted from the light emitting unit 22, and the light receiving unit 24 receives the reflected light of the laser beam to scan a small area.
  • the resolution of the background light image 310 When the resolution of the background light image 310 is increased, the laser beam is not emitted from the light emitting unit 22, and the light receiving unit 24 receives the background light to scan a small area.
  • the correlation value calculation unit 42 calculates the correlation value again. Then, when the correlation value recalculated by the correlation value calculation unit 42 is out of the predetermined range, the abnormality determination unit 44 determines that either the camera 10 or the LiDAR 20 is abnormal.
  • the resolution adjusting unit 46 scans the scanning angle interval of the horizontal detection area corresponding to the shaded small areas 302 and 312 in FIG. 5 when scanning a predetermined area in front of the vehicle.
  • the LiDAR 20 is instructed to scan the predetermined area again by making it smaller than the angular interval and making the scanning angular interval of the horizontal detection area corresponding to the other small areas 302 and 312 larger than usual.
  • the scanning angle interval becomes smaller, the resolution of the shaded small areas 302 and 312 determined to be abnormal becomes higher. Even if the scanning angle interval is changed, it is desirable to set the scanning angle interval so that the number of scans for a predetermined area in front of the vehicle is the same.
  • the resolution adjusting unit 46 instructs LiDAR 20 to reduce the number of SPADs assigned to each pixel and scan again in a small area determined to be abnormal. As the number of SPADs per pixel decreases, the number of pixels in the small area determined to be abnormal increases, so that the resolution increases.
  • one pixel 202 is composed of 6 ⁇ 8 SPAD210 on the light receiving surface 200 of the light receiving unit 24, one pixel 204 is composed of 3 ⁇ 8 SPAD210.
  • the horizontal resolution may be increased by reducing the number of horizontal SPADs.
  • the abnormality detection process executed by the abnormality detection device 40 will be described with reference to the flowchart of FIG. 7.
  • the abnormality detection process shown in the flowchart of FIG. 7 is executed once every few cycles of the object detection process or once when the start switch of the vehicle is turned on.
  • the correlation value calculation unit 42 determines whether or not the brightness around the vehicle is equal to or higher than a predetermined value.
  • a light receiving sensor when a light receiving sensor is provided, it may be determined whether or not the brightness around the vehicle is equal to or higher than a predetermined value by comparing the detected value of the light receiving sensor with the predetermined value.
  • whether or not the vehicle is equipped with a light receiving sensor whether or not the brightness around the vehicle is equal to or higher than a predetermined value is based on whether the reflection intensity image is bright or dark and the background light image is bright or dark. May be determined.
  • Whether the reflection intensity image is bright or dark is determined based on whether or not the average value of the reflected light received by the light receiving unit 24 for each pixel is equal to or higher than a predetermined value.
  • whether the background light image is bright or dark is determined based on whether or not the average value of the background light received by the light receiving unit 24 for each pixel is equal to or higher than a predetermined value.
  • the predetermined values used when determining whether the reflection intensity image and the background light image are bright or dark may be the same or different.
  • the reflection intensity image is bright and the background light image is dark
  • the brightness around the vehicle is less than a predetermined value, and it is determined that the surroundings of the vehicle are dark.
  • both the reflection intensity image and the background light image are bright, it is determined that the brightness around the vehicle is equal to or higher than a predetermined value and the surroundings of the vehicle are bright.
  • the LiDAR 20 fails. Is determined.
  • the correlation value calculation unit 42 in S402 uses the background as an image for calculating the correlation value with the captured image captured by the camera 10.
  • the optical image is acquired from LiDAR20. This is because if the ambient brightness of the vehicle is equal to or higher than a predetermined brightness, it can be determined that the intensity of the background light is sufficiently high and the intensity of each pixel of the background light image is also sufficiently high.
  • the correlation value calculation unit 42 calculates the correlation value with the captured image captured by the camera 10 in S404.
  • the reflection intensity image is acquired from LiDAR20. This is because if the ambient brightness of the vehicle is less than the predetermined brightness, the intensity of the background light is small and the intensity of each pixel of the background light image is also small, so that the intensity of the reflection intensity image is smaller than the intensity of the background light image. This is because it can be judged that is larger.
  • the correlation value calculation unit 42 determines the correlation value between one of the background light image or the reflection intensity image acquired in S402 or S404 and the captured image captured by the camera 10 by a correlation function for each divided small area. calculate.
  • the abnormality determination unit 44 determines whether or not the correlation value calculated in this small area is within a predetermined range. When the larger the correlation value is, the stronger the correlation is, whether or not it is within the predetermined range is determined by whether or not the correlation value is equal to or greater than the predetermined value. When the smaller the correlation value is, the stronger the correlation is, whether or not it is within the predetermined range is determined by whether or not the correlation value is equal to or less than the predetermined value.
  • the abnormality determination unit 44 in S410 determines whether or not the determination of S408 has been executed for all the small areas. To do.
  • the resolution adjusting unit 46 sets the resolution of the background light image or the reflection intensity image adopted in S402 or S404 in a small area where the correlation value is out of the predetermined range, for example, the above-mentioned resolution improving methods (1) to (1). Instruct LiDAR20 to raise it based on 3).
  • the correlation value calculation unit 42 calculates the correlation value between the background light image or the reflection intensity image having a high resolution and the image captured by the camera 10 in a small area.
  • the abnormality determination unit 44 determines whether or not the correlation value recalculated in this small area is within a predetermined range. When the determination in S416 is Yes, that is, when the recalculated correlation value is within the predetermined range, the abnormality determination unit 44 determines that there is no abnormality in the camera 10 and the LiDAR 20, and shifts the process to S410.
  • the abnormality determination unit 44 determines in S418 that either the camera 10 or the LiDAR 20 is abnormal. In this case, the object detection process using the camera 10 and the LiDAR 20 is stopped.
  • the LiDAR 20 corresponds to the optical sensor.
  • the LD unit 110 of the light emitting unit 22 of the second embodiment shown in FIG. 8 includes a spare second LD unit 130 in addition to the normally used first LD unit 120. Different from.
  • the basic configuration of the other second embodiment is the same as that of the first embodiment shown in FIG.
  • the same reference numerals as those in the first embodiment indicate the same configurations, and the preceding description will be referred to.
  • the light emitting unit 22 of the second embodiment usually irradiates laser light from the four LD 122 to 128 of the first LD unit 120, and from LD 132 to 138 of the second LD unit 130. Do not irradiate laser light.
  • LDs 122 to 128 and 132 to 138 used are shown in white, and LDs 122 to 128 and 132 to 138 not used are shown by diagonal lines.
  • the abnormality determination unit 44 determines that the correlation value is always out of the predetermined range for all the small regions of the range in which the laser beam is irradiated from the LD 122 among the four LD 122 to 128 of the first LD unit 120. It is determined that the corresponding LD 122 has poor light emission.
  • the abnormality determination unit 44 instructs the light emitting unit 22 to irradiate the laser beam from the LD 132 of the second LD unit 130 adjacent to the abnormal LD 122 instead of the corresponding abnormal LD 122.
  • an image for calculating the correlation value with the captured image taken by the camera 10 is selected from the reflection intensity image or the background light image based on the brightness of the surroundings of the vehicle.
  • the abnormality may be determined by calculating the correlation value between both the reflection intensity image and the background light image and the captured image. In this case, if the correlation value between at least one of the reflection intensity image and the background light image and the captured image is within a predetermined range, it is determined that the camera 10 and the LiDAR 20 are normal.
  • the abnormality determination is executed based on the correlation value between the captured image and one of the reflection intensity image or the background light image calculated for each small area obtained by dividing the entire image.
  • the correlation value between the reflection intensity image or the background light image, or both the reflection intensity image and the background light image, and the captured image is calculated to determine the abnormality. May be executed.
  • the correlation value with the captured image is calculated after increasing the resolution of either the reflection intensity image or the background light image or both the reflection intensity image and the background light image for the entire image. You may.
  • the light emitting unit 22 of the LiDAR 20 which is an optical sensor, intermittently irradiates a predetermined region in front of the vehicle, which is the traveling direction, with a pulsed laser beam while scanning in the horizontal direction.
  • the light receiving unit 24 received the reflected light reflected by the object.
  • a high-power laser beam may be irradiated to a predetermined region in front of the vehicle in the traveling direction, and the reflected light may be received by the two-dimensional light receiving element array.
  • the two-dimensional light receiving element array As a result, an object existing in a predetermined region in front of the vehicle in the traveling direction is detected by one irradiation from the light emitting unit.
  • the resolution adjusting unit 46 is assigned, for example, the number of SPADs per pixel. Instruct the optical sensor to reduce the amount of light and irradiate the light again. As the number of SPADs per pixel decreases, the number of pixels corresponding to a predetermined area in front increases, so that the resolution becomes higher.
  • the light emitting unit 22 of the LiDAR 20 which is an optical sensor, horizontally scans and irradiates a predetermined region in front of the vehicle, which is the traveling direction of the vehicle, with a long laser beam in the vertical direction.
  • the laser beam may be irradiated by scanning in both the horizontal direction and the vertical direction.
  • the anomaly detection device 40 and methods thereof described in the present disclosure are provided by configuring a processor and memory programmed to perform one or more functions embodied by a computer program. It may be realized by a dedicated computer. Alternatively, the anomaly detection device 40 and its method described in the present disclosure may be implemented by a dedicated computer provided by configuring the processor with one or more dedicated hardware logic circuits. Alternatively, the anomaly detection device 40 and its method described in the present disclosure comprises a processor and memory programmed to perform one or more functions and a processor composed of one or more hardware logic circuits. It may be realized by one or more dedicated computers configured by a combination. The computer program may also be stored on a computer-readable non-transitional tangible recording medium as an instruction executed by the computer. The method for realizing the functions of each part included in the abnormality detection device 40 does not necessarily include software, and all the functions may be realized by using one or a plurality of hardware.
  • a plurality of functions possessed by one component in the above embodiment may be realized by a plurality of components, or one function possessed by one component may be realized by a plurality of components. .. Further, a plurality of functions possessed by the plurality of components may be realized by one component, or one function realized by the plurality of components may be realized by one component. Further, a part of the configuration of the above embodiment may be omitted. In addition, at least a part of the configuration of the above embodiment may be added or replaced with the configuration of the other above embodiment.
  • a system having the abnormality detection device 40 as a component, a program for operating a computer as the abnormality detection device 40, a semiconductor memory in which this program is recorded, and the like are non-transitional.
  • the present disclosure can also be realized in various forms such as a substantive recording medium and an abnormality detection method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両の周囲の物体を検出するために使用される光センサとカメラとのどちらかに異常が発生していることを検出する車載の異常検出装置は、相関値算出部と異常判定部とを備える。Ｓ４００～Ｓ４０６、Ｓ４１４で前記相関値算出部は、前記光センサが前記車両の周囲に光を照射して反射する反射光を受光して検出する反射強度画像と、前記光センサが光を照射しないときに前記光センサが前記車両の周囲の光を受光して検出する背景光画像との少なくとも一方と、前記カメラが撮影する前記車両の周囲の撮影画像との相関値を算出する。Ｓ４０８、Ｓ４１６、Ｓ４１８で前記異常判定部は、前記相関値算出部が算出する前記相関値が所定範囲から外れている場合、前記光センサと前記カメラとのどちらかが異常であると判定する。

Description

車載の異常検出装置 関連出願の相互参照
　本国際出願は、２０１９年１０月１６日に日本国特許庁に出願された日本国特許出願第２０１９－１８９６３４号と２０２０年９月３０日に日本国特許庁に出願された日本国特許出願第２０２０－１６６００５号とに基づく優先権を主張するものであり、日本国特許出願第２０１９－１８９６３４号と日本国特許出願第２０２０－１６６００５号との全内容を本国際出願に参照により援用する。
　本開示は、車両の周囲の物体を検出するために使用される光センサとカメラとのどちらかに異常が発生していることを検出する技術に関する。
　車両の周囲の物体を検出するために使用される光センサとカメラとのどちらかに異常が発生していることを検出する技術が知られている。例えば、下記の特許文献１には、光センサの発光部からビーム光を照射してから対象物で反射する反射光を受光部の複数の受光素子で受光するまでの時間に基づいて、対象物までの距離を測定する技術が記載されている。受光部は、画素毎に測定した距離に基づき、距離画像を出力する。さらに、受光部は、受光した反射光の光強度に基づいて第１明度画像を出力する。
　また、特許文献１には、カメラが撮影する撮影画像の各画素について、対象物の表面の明度に応じた第２明度画像を取得する技術が記載されている。
　そして、特許文献１に記載された技術では、第１明度画像の各画素の明度を各画素の距離に基づいて補正し、補正された第１明度画像の画素と第２明度画像の画素との明度差が閾値以上の場合、対応する距離画像の画素を誤差画素として検出している。
特開２０１４－０７０９３６号公報
　特許文献１に記載されている技術では、カメラは正常であり、カメラが撮影する第２明度画像に異常がないことを前提にしている。しかしながら、発明者の詳細な検討の結果、以下の課題が見出された。
　すなわち、カメラが正常であることを前提にしているので、カメラが異常の場合、異常を検出できない。
　本開示の１つの局面は、車両の周囲の物体を検出するために使用される光センサとカメラとのどちらが異常であっても異常を検出する技術を提供することが望ましい。
　本開示の１つの態様による車載の異常検出装置は、車両の周囲の物体を検出するために使用される光センサとカメラとのどちらかに異常が発生していることを検出する異常検出装置であって、相関値算出部と、異常判定部と、を備えている。
　相関値算出部は、光センサが車両の周囲に光を照射して反射する反射光を受光して検出する反射強度画像と、光センサが光を照射しないときに光センサが車両の周囲の光を受光して検出する背景光画像との少なくとも一方と、カメラが撮影する車両の周囲の撮影画像との相関値を算出する。
　異常判定部は、相関値算出部が算出する相関値が所定範囲から外れている場合、光センサとカメラとのどちらかが異常であると判定する。
　このような構成によれば、光センサとカメラとのどちらが異常であっても、異常を検出できる。
第１実施形態の異常検出装置の構成を示すブロック図。 発光部を示す模式図。 受光部を示す模式図。 小領域に分割された反射強度画像または背景光画像と撮影画像とを示す模式図。 異常な小領域を示す模式図。 解像度を高くした受光部を示す模式図。 異常検出処理を示すフローチャート。 第２実施形態の発光部を示すブロック図。
　以下、図を参照しながら、本開示の実施形態を説明する。
　［１．第１実施形態］
　［１－１．構成］
　図１に示す車載の異常検出システム２は、カメラ１０と、ＳＰＡＤ－ＬｉＤＡＲ２０と、異常検出装置４０と、を備える。ＳＰＡＤ－ＬｉＤＡＲ２０は、発光部２２と、受光部２４と、距離画像検出部２６と、反射強度画像検出部２８と、背景光画像検出部３０と、を備える。ＳＰＡＤは、Single Photon Avalanche Diodeの略であり、ＬｉＤＡＲは、Light Detection and Rangeの略である。
　異常検出装置４０は、相関値算出部４２と、異常判定部４４と、解像度調整部４６と、を備える。異常検出装置４０は、図示しない物体検出装置が車両の周囲の物体を検出するために使用するカメラ１０とＳＰＡＤ－ＬｉＤＡＲ２０とのどちらかに異常が発生していることを検出する。以下、ＳＰＡＤ－ＬｉＤＡＲを単にＬｉＤＡＲとも言う。
　ＬｉＤＡＲ２０の発光部２２は、例えば、車両の周囲の任意の方向として車両の進行方向である前方の所定領域を検出領域として、ボイスコイル等を使用する図示しない駆動部により、一定のフレームレートで水平方向に走査しつつ間欠的にパルス状のレーザ光を照射する。
　図２に示すように、発光部２２は、４個のＬＤ１０２～１０８を有するＬＤ部１００を備える。ＬＤ部１００の４個のＬＤ１０２～１０８により、垂直方向に長いレーザ光が車両前方の所定領域に対して、水平方向に走査されて照射される。ＬＤは、Laser Diodeの略である。
　受光部２４は、発光部２２が照射したレーザ光が物体で反射される反射光と、太陽光または照明等の光源の光、ならびに光源の光が物体で反射される反射光である背景光とを受光する。
　図３に示すように、受光部２４は、２次元的に配列された複数の画素２０２を受光面２００に備えている。各画素は、複数の受光素子２１０を備えている。図３では、１個の画素２０２は、６×８の配列による４８個の受光素子２１０で構成されている。受光素子２１０は、受光強度に応じた電流値を有する受光信号を出力する。
　受光素子２１０には、アバランシェフォトダイオードとして、ガイガーモードで動作するＳＰＡＤが使用されている。受光素子２１０として、例えば、ＳＰＡＤ以外のアバランシェフォトダイオードまたはフォトダイオード等を用いてもよい。
　ＬｉＤＡＲ２０の距離画像検出部２６は、発光部２２がレーザ光を照射してから受光部２４が反射光を受光するまでの時間に基づいて、物体までの距離を画素２０２毎に検出し、車両前方の所定領域の全体画像として距離画像を検出する。
　反射強度画像検出部２８は、発光部２２が照射するレーザ光の反射光を受光部２４が画素２０２毎に受光する強度を検出し、車両前方の所定領域の全体画像として反射強度画像を検出する。
　背景光画像検出部３０は、発光部２２がレーザ光を照射しない間に、受光部２４が画素２０２毎に受光する背景光の強度を検出し、車両前方の所定領域の全体画像として背景光画像を検出する。尚、本実施形態では、反射光の強度と背景光の強度とは、輝度によりグレーススケールで表される。
　図４に示すように、反射強度画像検出部２８が検出する反射強度画像３００と、背景光画像検出部３０が検出する背景光画像３１０とは、それぞれ小領域３０２、３１２に分割される。そして、カメラ１０が撮影する撮影画像３２０は、小領域３０２、３１２に対応する小領域３２２に分割される。画像を水平方向と垂直方向とに分割する分割数は、１以上の任意の数であり、適宜設定される。分割数が１の場合は分割しないことを意味する。
　尚、小領域３０２、３１２、３２２は、反射強度画像３００と背景光画像３１２と撮影画像３２０との重複する領域において分割される。
　異常検出装置４０の相関値算出部４２は、反射強度画像検出部２８が検出する反射強度画像３００と背景光画像検出部３０が検出する背景光画像３１０との少なくとも一方と、カメラ１０が撮影する撮影画像３２０との対応する小領域３０２、３１２、３２２について、相関関数により相関値を算出する。小領域３０２、３１２、３２２における相関値は、例えば各画素の相関値の合計で表される。
　異常判定部４４は、相関値算出部４２が算出する小領域３０２、３１２、３２２の相関値と所定範囲とを比較し、相関値が所定範囲から外れている場合、カメラ１０とＬｉＤＡＲ２０とのどちらかが異常であると判定する。カメラ１０とＬｉＤＡＲ２０との異常の原因として、例えば、カメラ１０本体とＬｉＤＡＲ２０本体との故障、またはカメラ１０とＬｉＤＡＲ２０との検出部への塵または汚れの付着、またはカメラ１０とＬｉＤＡＲ２０との画素不良、などが考えられる。
　異常判定部４４は、相関値と比較される所定範囲を次のようにして決定する。異常判定部４４は、例えば、これまで相関値算出部４２が算出してきた相関値のデータを記憶しておき、相関値の標準偏差σを算出する。そして、異常判定部４４は、相関値の絶対値に対して、５σ以内を所定範囲として決定する。
　また、異常判定部４４は、カメラ１０とＬｉＤＡＲ２０とのどちらかが異常であると判定すると、カメラ１０のレンズとＬｉＤＡＲ２０の光透過部とにクリーニング装置が設置されている場合、クリーニング装置を作動させる。クリーニング装置を作動させることにより、汚れが除去されて相関値が所定範囲内になれば、異常原因は汚れであると判断できる。クリーニング装置を作動させても相関値が所定範囲から外れる場合、異常原因は汚れ以外であると判断できる。
　またカメラ１０とＬｉＤＡＲ２０とのどちらが異常かを、次のように判定してもよい。
　異常判定部４４は、相関値が所定範囲から外れている小領域において、撮影画像３２０の各画素、ならびに反射強度画像３００と背景光画像３１０との少なくとも一方の各画素について輝度の時間履歴をチェックする。異常判定部４４は、カメラ１０とＬｉＤＡＲ２０との両方の装置のうち、時間履歴において輝度が変化しない装置を異常であると判定する。
　また、異常判定部４４は、相関値が所定範囲から外れている小領域において、撮影画像３２０、ならびに反射強度画像３００と背景光画像３１０との少なくとも一方をエッジ処理した時間履歴をチェックする。異常判定部４４は、カメラ１０とＬｉＤＡＲ２０との両方の装置のうち、時間履歴においてエッジ数が継続して所定値以上の装置を異常であると判定する。
　カメラ１０とＬｉＤＡＲ２０とのうち異常な装置が特定されると、物体検出装置は、カメラ１０とＬｉＤＡＲ２０とのうち異常な装置を使用せず正常な装置を使用して車両の周囲の物体を検出する。
　また、特定の小領域について、カメラ１０とＬｉＤＡＲ２０とのうちどちらかの装置が異常で、他の小領域については両方の装置が正常の場合、異常が発生している小領域については正常な装置を使用し、他の小領域については両方の装置を使用して物体を検出してもよい。
　特定の小領域に異常が発生した装置については、異常を示すダイアグコードをフラッシュメモリ等に記憶しておくことにより、物体検出装置の異常箇所を特定して異常箇所の交換等を行うことができる。
　また、全ての小領域において相関値が所定範囲から外れている場合、カメラ１０とＬｉＤＡＲ２０とに電力を供給する電力経路に異常があるか、ＬｉＤＡＲ２０の発光部２２全体の発光不良と考えられる。この場合も、異常を示すダイアグコードをフラッシュメモリ等に記憶しておくことにより、物体検出装置の異常箇所を特定して異常箇所の交換等を行うことができる。
　また、異常判定部４４は、ＬＤ部１００の４個のＬＤ１０２～１０８のいずれかからレーザ光が照射される範囲の全ての小領域について、相関値が常に所定範囲から外れている場合、該当するＬＤ１０２～１０８が発光不良であると判定する。この場合も、異常を示すダイアグコードをフラッシュメモリ等に記憶しておくことにより、物体検出装置の異常箇所を特定して異常箇所の交換等を行うことができる。
　解像度調整部４６は、相関値が所定範囲から外れているのでカメラ１０とＬｉＤＡＲ２０とのどちらかが異常であると判定されると、異常と判定された小領域の反射強度画像３００と背景光画像３１０との解像度を高くするようにＬｉＤＡＲ２０に指示する。
　通常、ＬｉＤＡＲ２０が検出する反射強度画像３００と背景光画像３１０との解像度は、カメラ１０が撮影する撮影画像３２０の解像度よりも低い。そこで、異常と判定された小領域の反射強度画像３００と背景光画像３１０との解像度を高くすることにより、小領域の反射強度画像３００と背景光画像３１０との解像度を撮影画像３２０に近づけることができる。
　以下、異常と判定された小領域の反射強度画像３００と背景光画像３１０との解像度を高くする解像度向上方式（１）～（３）について説明する。
　（１）検出領域の縮小
　例えば、図５に示すように、反射強度画像３００と背景光画像３１０とにおいて斜線の小領域３０２、３１２の相関値が所定範囲から外れている場合、解像度調整部４６は、斜線の小領域３０２、３１２に対応する水平方向の検出領域だけを、車両前方の所定領域を走査するときと同じフレームレートで再度走査するようにＬｉＤＡＲ２０に指示する。
　フレームレートが同じであれば、検出領域が狭くなることにより、異常と判定された小領域３０２、３１２の解像度は高くなる。
　反射強度画像３００の解像度を高くする場合、発光部２２からレーザ光が照射され、レーザ光の反射光を受光部２４が受光することにより小領域が走査される。背景光画像３１０の解像度を高くする場合、発光部２２からレーザ光は照射されず、受光部２４が背景光を受光することにより小領域が走査される。
　解像度調整部４６の指示により解像度が高くなった小領域については、相関値算出部４２により再度相関値が算出される。そして、相関値算出部４２により再度算出される相関値が所定範囲から外れている場合、異常判定部４４は、カメラ１０とＬｉＤＡＲ２０とのどちらかが異常であると判定する。
　（２）走査角度の調整
　解像度調整部４６は、図５において斜線の小領域３０２、３１２に対応する水平方向の検出領域の走査角度間隔を、車両前方の所定領域を走査するときの通常の走査角度間隔よりも小さくし、他の小領域３０２、３１２に対応する水平方向の検出領域の走査角度間隔を通常よりも大きくして、再度所定領域を走査するようにＬｉＤＡＲ２０に指示する。
　走査角度間隔が小さくなることにより、異常と判定された斜線の小領域３０２、３１２の解像度は高くなる。尚、走査角度間隔を変更しても、車両前方の所定領域に対する走査回数が同じになるように走査角度間隔を設定することが望ましい。
　（３）１画素当たりのＳＰＡＤ数の減少
　解像度調整部４６は、異常と判定された小領域において、１画素当たりに割り当てられているＳＰＡＤ数を減少して再度走査するようにＬｉＤＡＲ２０に指示する。１画素当たりのＳＰＡＤ数が減少することにより、異常と判定された小領域の画素数が増加するので、解像度が高くなる。
　例えば、図６に示すように、受光部２４の受光面２００において、６×８のＳＰＡＤ２１０で１個の画素２０２が構成されている場合、３×８のＳＰＡＤ２１０で１個の画素２０４を構成することにより、図６において縦方向、つまり垂直方向の解像度が高くなる。水平方向のＳＰＡＤ数を減少することにより、水平方向の解像度を高くしてもよい。
　［１－２．処理］
　次に、異常検出装置４０が実行する異常検出処理について、図７のフローチャートを用いて説明する。図７のフローチャートが示す異常検出処理は、物体検出処理の数サイクルに１度、あるいは車両のスタートスイッチがオンになったときに１度、実行される。
　図７のＳ４００において相関値算出部４２は、車両の周囲の明るさが所定値以上であるか否かを判定する。
　例えば、受光センサを備えている場合、車両の周囲の明るさが所定値以上であるか否かを、受光センサの検出値と所定値とを比較して判定してもよい。
　あるいは、受光センサを備えているか否かに拘わらず、車両の周囲の明るさが所定値以上であるか否かを、反射強度画像が明るいか暗いか、ならびに背景光画像が明るいか暗いかに基づいて判定してもよい。
　反射強度画像が明るいか暗いかは、受光部２４が画素毎に受光する反射光の平均値が所定値以上であるか否かに基づいて決定される。同様に、背景光画像が明るいか暗いかは、受光部２４が画素毎に受光する背景光の平均値が所定値以上であるか否かに基づいて決定される。反射強度画像と背景光画像とのそれぞれが明るいか暗いかを判定するときに使用される所定値は、同じでもよいし異なっていてもよい。
　反射強度画像が明るく、背景光画像が暗い場合、車両の周囲の明るさは所定値未満であり、車両の周囲は暗いと判定される。反射強度画像と背景光画像との両方が明るい場合、車両の周囲の明るさは所定値以上であり、車両の周囲は明るいと判定される。
　また、反射強度画像と背景光画像との両方が暗い場合、後段で求められるカメラ１０の撮影画像と、反射強度画像または背景光画像との相関値が所定範囲を外れていれば、ＬｉＤＡＲ２０の故障と判定される。
　Ｓ４００の判定がＹｅｓである、つまり、車両の周囲の明るさが所定値以上である場合、Ｓ４０２において相関値算出部４２は、カメラ１０が撮影する撮影画像との相関値を算出する画像として背景光画像をＬｉＤＡＲ２０から取得する。これは、車両の周囲の明るさが所定の明るさ以上であれば、背景光の強度が十分に大きく、背景光画像の各画素の強度も充分に大きいと判断できるからである。
　Ｓ４００の判定がＮｏである、つまり、車両の周囲の明るさが所定の明るさ未満である場合、Ｓ４０４において相関値算出部４２は、カメラ１０が撮影する撮影画像との相関値を算出する画像として反射強度画像をＬｉＤＡＲ２０から取得する。これは、車両の周囲の明るさが所定の明るさ未満であれば、背景光の強度が小さく、背景光画像の各画素の強度も小さいので、背景光画像の強度よりも反射強度画像の強度の方が大きいと判断できるからである。
　Ｓ４０６において相関値算出部４２は、Ｓ４０２またはＳ４０４で取得された背景光画像または反射強度画像の一方と、カメラ１０が撮影する撮影画像との相関値を、分割された小領域毎に相関関数により算出する。
　Ｓ４０８において異常判定部４４は、今回の小領域において算出された相関値が所定範囲内か否かを判定する。相関値が大きい方が相関が強い場合は、所定範囲内か否かは相関値が所定値以上であるか否かによって判定される。相関値が小さい方が相関が強い場合は、所定範囲内か否かは相関値が所定値以下であるか否かによって判定される。
　Ｓ４０８の判定がＮｏである、つまり今回の小領域において算出された相関値が所定範囲から外れている場合、処理はＳ４１２に移行する。
　Ｓ４０８の判定がＹｅｓである、つまり今回の小領域において算出された相関値が所定範囲内の場合、Ｓ４１０において異常判定部４４は、全ての小領域についてＳ４０８の判定が実行されたか否かを判定する。
　Ｓ４１０の判定がＮｏである、つまりＳ４０８の判定が実行されていない小領域が存在する場合、処理はＳ４０６に移行する。Ｓ４１０の判定がＹｅｓである、つまり全ての小領域についてＳ４０８の判定が実行された場合、カメラ１０とＬｉＤＡＲ２０とのどちらも異常は発生しておらず正常であると判断され、本処理は終了する。
　Ｓ４１２において解像度調整部４６は、相関値が所定範囲から外れている小領域について、Ｓ４０２またはＳ４０４で採用された背景光画像または反射強度画像の解像度を、例えば前述した解像度向上方式（１）～（３）に基づいて高くするようにＬｉＤＡＲ２０に指示する。
　Ｓ４１４において相関値算出部４２は、小領域において、解像度が高くなった背景光画像または反射強度画像とカメラ１０による撮影画像との相関値を算出する。
　Ｓ４１６において異常判定部４４は、今回の小領域において再度算出された相関値が、所定範囲内か否かを判定する。Ｓ４１６の判定がＹｅｓである、つまり再度算出された相関値が所定範囲内の場合、異常判定部４４は、カメラ１０とＬｉＤＡＲ２０とに異常はないと判断し、処理をＳ４１０に移行する。
　Ｓ４１６の判定がＮｏである、つまり再度算出された相関値が所定範囲から外れている場合、Ｓ４１８において異常判定部４４は、カメラ１０とＬｉＤＡＲ２０とのどちらかが異常であると確定する。この場合、カメラ１０とＬｉＤＡＲ２０とを使用した物体検出処理は中止される。
　［１－３．効果］
　以上説明した上記第１実施形態によれば、以下の効果を得ることができる。
　（１ａ）ＬｉＤＡＲ２０が検出する反射強度画像または背景光画像の一方とカメラ１０が撮影する撮影画像との相関値を算出することにより、ＬｉＤＡＲ２０とカメラ１０とのどちらが異常であっても異常を検出できる。
　（１ｂ）小領域において算出された反射強度画像または背景光画像の一方と撮影画像との相関値により仮異常と判定されると、仮異常と判定された小領域において、反射強度画像または背景光画像のうち撮影画像と相関値を算出する方の画像の解像度を高めて再度画像が検出される。これにより、解像度が高くなった反射強度画像または背景光画像の一方を使用して、撮影画像との相関値を高精度に算出できるので、異常判定を高精度に実行できる。
　（１ｃ）仮異常と判定された小領域だけを検出領域とする場合、画像全体ではなく、仮異常と判定された小領域についてだけ、ＬｉＤＡＲ２０に指示して反射強度画像または背景光画像のうち撮影画像と相関値を算出する方の画像の解像度を高めて再度画像が検出される。そして、画像全体ではなく、仮異常と判定された小領域について、反射強度画像または背景光画像のうち解像度が高くなった画像と撮影画像との相関値が算出される。これにより、異常判定に要する処理負荷を低減できる。
　（１ｄ）車両の周囲の明るさに基づいて、反射強度画像または背景光画像のうち、カメラ１０が撮影する撮影画像との相関値を算出する画像を選択するので、反射強度画像と背景光画像との両方と撮影画像との相関値を算出して異常判定する場合に比べ、異常判定の処理負荷を低減できる。
　上記実施形態では、ＬｉＤＡＲ２０が光センサに対応する。
　［２．第２実施形態］
　［２－１．第１実施形態との相違点］
　図８に示す第２実施形態の発光部２２のＬＤ部１１０は、通常使用される第１のＬＤ部１２０に加え、予備の第２のＬＤ部１３０を備えている点で、第１実施形態と異なる。他の第２実施形態の基本的な構成は図１に示す第１実施形態と同様である。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
　［２－２．処理］
　図８に示すように、第２実施形態の発光部２２は、通常、第１のＬＤ部１２０の４個のＬＤ１２２～１２８からレーザ光を照射し、第２のＬＤ部１３０のＬＤ１３２～１３８からレーザ光を照射しない。図８では、使用するＬＤ１２２～１２８、１３２～１３８を白、使用しないＬＤ１２２～１２８、１３２～１３８を斜線で示している。
　異常判定部４４は、第１のＬＤ部１２０の４個のＬＤ１２２～１２８のうち、例えばＬＤ１２２からレーザ光が照射される範囲の全ての小領域について相関値が常に所定範囲から外れている場合、該当するＬＤ１２２が発光不良であると判定する。
　この場合、異常判定部４４は、該当する異常なＬＤ１２２に代えて、異常なＬＤ１２２と隣り合う第２のＬＤ部１３０のＬＤ１３２からレーザ光を照射するように、発光部２２に指示する。
　［２－３．効果］
　第２実施形態では、第１実施形態の効果に加え、以下の効果を得ることができる。
　（２ａ）第１のＬＤ部１２０の４個のＬＤ１２２～１２８のうち、例えばＬＤ１２２に発光不良が発生すると、異常なＬＤ１２２に代えて隣り合う第２のＬＤ部１３０のＬＤ１３２からレーザ光を照射するので、物体検出装置による物体検出を正常に継続できる。
　［３．他の実施形態］
　以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
　（３ａ）上記実施形態では、車両の周囲の明るさに基づいて、反射強度画像または背景光画像のうち、カメラ１０が撮影する撮影画像との相関値を算出する画像が選択された。これに対し、車両の周囲の明るさに拘わらず、反射強度画像と背景光画像との両方と撮影画像との相関値を算出して異常判定してもよい。この場合、反射強度画像と背景光画像とのうち少なくとも一方の画像と撮影画像との相関値が所定範囲内であれば、カメラ１０とＬｉＤＡＲ２０とは正常であると判定される。
　（３ｂ）上記実施形態では、全体画像を分割した小領域毎に算出される反射強度画像または背景光画像の一方と撮影画像との相関値に基づいて、異常判定が実行された。これに対し、全体画像を分割せず、反射強度画像または背景光画像の一方、あるいは反射強度画像と背景光画像との両方と、撮影画像との全体画像同士の相関値を算出して異常判定を実行してもよい。
　この場合、異常判定を実行する前に、全体画像について、反射強度画像または背景光画像の一方、あるいは反射強度画像と背景光画像との両方の解像度を高めてから撮影画像との相関値を算出してもよい。
　（３ｃ）上記実施形態では、光センサであるＬｉＤＡＲ２０の発光部２２は、車両の進行方向である前方の所定領域に対して、水平方向に走査しつつ間欠的にパルス状のレーザ光を照射して、受光部２４が物体で反射される反射光を受光した。
　これに対し、車両の進行方向である前方の所定領域に対して高出力のレーザ光を照射し、２次元受光素子アレイで反射光を受光してもよい。これにより、発光部からの１回の照射で、車両の進行方向である前方の所定領域に存在する物体が検出される。
　この場合、反射強度画像または背景光画像の一方と撮影画像との相関値が所定範囲を外れていると判定されると、解像度調整部４６は、例えば、１画素当たりに割り当てられているＳＰＡＤ数を減少して再度光を照射するように光センサに指示する。１画素当たりのＳＰＡＤ数が減少することにより、前方の所定領域に対応する画素数が増加するので、解像度が高くなる。
　（３ｄ）上記実施形態では、光センサであるＬｉＤＡＲ２０の発光部２２は、車両の進行方向である前方の所定領域に対して、垂直方向に長いレーザ光を水平方向に走査して照射した。これに対し、光センサ２０の発光部２２の構成によっては、水平方向と垂直方向との両方向に走査してレーザ光を照射してもよい。
　（３ｅ）本開示に記載の異常検出装置４０およびその手法は、コンピュータプログラムにより具体化された１つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の異常検出装置４０およびその手法は、１つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の異常検出装置４０およびその手法は、１つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと１つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。異常検出装置４０に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、１つあるいは複数のハードウェアを用いて実現されてもよい。
　（３ｆ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加または置換してもよい。
　（３ｇ）上述した異常検出装置４０の他、当該異常検出装置４０を構成要素とするシステム、当該異常検出装置４０としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実体的記録媒体、異常検出方法など、種々の形態で本開示を実現することもできる。

Claims (8)

  1. 　車両の周囲の物体を検出するために使用される光センサ（２０）とカメラ（１０）とのどちらかに異常が発生していることを検出する車載の異常検出装置（４０）であって、
    　前記光センサが前記車両の周囲に光を照射して反射する反射光を受光して検出する反射強度画像（３００）と、前記光センサが光を照射しないときに前記光センサが前記車両の周囲の光を受光して検出する背景光画像（３１０）との少なくとも一方と、前記カメラが撮影する前記車両の周囲の撮影画像（３２０）との相関値を算出するように構成された相関値算出部（４２、Ｓ４００～Ｓ４０６、Ｓ４１４）と、
    　前記相関値算出部が算出する前記相関値が所定範囲から外れている場合、前記光センサと前記カメラとのどちらかが異常であると判定するように構成された異常判定部（４４、Ｓ４０８、Ｓ４１６、Ｓ４１８）と、
    　を備える異常検出装置。
  2. 　請求項１に記載の異常検出装置であって、
    　前記光センサの受光部（２４）の受光素子（２１０）としてＳＰＡＤが使用されている、
    　異常検出装置。
  3. 　請求項１または２に記載の異常検出装置であって、
    　前記異常判定部（Ｓ４０８）は、前記相関値が前記所定範囲から外れている場合、前記光センサまたは前記カメラのどちらかが仮異常であると判定するように構成されており、
    　前記異常判定部が前記光センサと前記カメラとのどちらかが仮異常であると判定すると、前記光センサに指示して前記反射強度画像および前記背景光画像の解像度を高くするように構成された解像度調整部（４６、Ｓ４１２）をさらに備え、
    　前記相関値算出部（Ｓ４１４）は、前記解像度調整部により前記解像度が高くなった前記反射強度画像と前記背景光画像との少なくとも一方と前記撮影画像との前記相関値を再度算出するように構成されており、
    　前記異常判定部（Ｓ４１６、Ｓ４１８）は、前記相関値算出部が再度算出した前記相関値が前記所定範囲から外れている場合、前記光センサと前記カメラとのどちらかが異常であると確定するように構成されている、
    　異常検出装置。
  4. 　請求項３に記載の異常検出装置であって、
    　前記異常判定部が前記光センサと前記カメラとのどちらかが仮異常であると判定すると、前記解像度調整部は、前記光センサに検出領域を狭くするように指示することにより前記解像度を高くするように構成されている、
    　異常検出装置。
  5. 　請求項３に記載の異常検出装置であって、
    　前記異常判定部が前記光センサと前記カメラとのどちらかが仮異常であると判定すると、前記解像度調整部は、前記相関値が前記所定範囲から外れている検出領域の前記解像度を高くし、他の検出領域の前記解像度を低くするように前記光センサに指示するように構成されている、
    　異常検出装置。
  6. 　請求項２を引用する請求項３に記載の異常検出装置であって、
    　前記異常判定部が前記光センサと前記カメラとのどちらかが仮異常であると判定すると、前記解像度調整部は、前記光センサに１画素（２０２、２０４）当たりのＳＰＡＤ数を少なくするように指示することにより前記解像度を高くするように構成されている、
    　異常検出装置。
  7. 　請求項１から６のいずれか１項に記載の異常検出装置であって、
    　前記相関値算出部は、前記相関値を算出する前記反射強度画像と前記背景光画像との少なくとも一方と前記撮影画像とを複数の小領域（３０２、３１２、３２２）に分割し、前記反射強度画像と前記背景光画像との少なくとも一方と前記撮影画像との対応する前記小領域の前記相関値を算出するように構成されており、
    　前記異常判定部は、前記相関値算出部が算出する前記小領域の前記相関値が前記所定範囲から外れている場合、前記光センサと前記カメラとのどちらかが異常であると判定するように構成されている、
    　異常検出装置。
  8. 　請求項１から７のいずれか１項に記載の異常検出装置であって、
    　前記相関値算出部（Ｓ４００～Ｓ４０４）は、前記車両の周囲の明るさが所定値以上の場合、前記背景光画像と前記撮影画像との前記相関値を算出し、前記車両の周囲の明るさが所定値未満の場合、前記反射強度画像と前記撮影画像との前記相関値を算出するように構成されている、
    　異常検出装置。
PCT/JP2020/038502 2019-10-16 2020-10-12 車載の異常検出装置 WO2021075404A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080072428.0A CN114585944A (zh) 2019-10-16 2020-10-12 车载的异常检测装置
US17/659,386 US11908119B2 (en) 2019-10-16 2022-04-15 Abnormality detection device for vehicle

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019189634 2019-10-16
JP2019-189634 2019-10-16
JP2020-166005 2020-09-30
JP2020166005A JP7420038B2 (ja) 2019-10-16 2020-09-30 車載の異常検出装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/659,386 Continuation US11908119B2 (en) 2019-10-16 2022-04-15 Abnormality detection device for vehicle

Publications (1)

Publication Number Publication Date
WO2021075404A1 true WO2021075404A1 (ja) 2021-04-22

Family

ID=75487879

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038502 WO2021075404A1 (ja) 2019-10-16 2020-10-12 車載の異常検出装置

Country Status (4)

Country Link
US (1) US11908119B2 (ja)
JP (1) JP7420038B2 (ja)
CN (1) CN114585944A (ja)
WO (1) WO2021075404A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249838A1 (ja) * 2021-05-26 2022-12-01 株式会社デンソー センサ制御装置、センサ制御方法、センサ制御プログラム
WO2023054078A1 (ja) * 2021-09-29 2023-04-06 株式会社小糸製作所 車両用センサ装置
WO2023100598A1 (ja) * 2021-12-02 2023-06-08 株式会社デンソー 異常判定装置、異常判定方法、及び異常判定プログラム
JP7505530B2 (ja) 2021-12-02 2024-06-25 株式会社デンソー 異常判定装置、異常判定方法、及び異常判定プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7276304B2 (ja) * 2020-10-29 2023-05-18 トヨタ自動車株式会社 物体検出装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH112519A (ja) * 1996-07-17 1999-01-06 Fuji Electric Co Ltd 距離測定装置
US20170180637A1 (en) * 2015-12-18 2017-06-22 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
CN207328393U (zh) * 2017-07-05 2018-05-08 宁波恒帅微电机有限公司 车用光学传感器主动清洁装置
JP2018205305A (ja) * 2017-06-01 2018-12-27 群創光電股▲ふん▼有限公司Ｉｎｎｏｌｕｘ Ｃｏｒｐｏｒａｔｉｏｎ 光検出装置およびその操作方法
US20190012808A1 (en) * 2017-07-06 2019-01-10 GM Global Technology Operations LLC Calibration verification methods for autonomous vehicle operations

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116892A (ja) 1995-10-20 1997-05-02 Fujitsu General Ltd 映像監視装置
JP2014070936A (ja) 2012-09-28 2014-04-21 Dainippon Screen Mfg Co Ltd 誤差画素検出装置、誤差画素検出方法、および誤差画素検出プログラム
JP2016099821A (ja) 2014-11-21 2016-05-30 住友電気工業株式会社 監視装置、監視システム及び監視方法
US9537956B1 (en) 2015-12-11 2017-01-03 Uber Technologies, Inc. System for acquiring time-synchronized sensor data
CN110268283B (zh) 2016-11-16 2023-09-01 应诺维思科技有限公司 激光雷达系统和方法
CN107219533B (zh) * 2017-08-04 2019-02-05 清华大学 激光雷达点云与图像融合式探测系统
DE112018006021T5 (de) * 2017-12-26 2020-09-17 Robert Bosch Gmbh Einzelchip-rgb-d-kamera
JP2019145952A (ja) 2018-02-19 2019-08-29 パナソニックＩｐマネジメント株式会社 車両およびカメラシステム
WO2019186742A1 (ja) 2018-03-28 2019-10-03 日本電気株式会社 監視制御装置、監視システム、監視制御方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US11320520B2 (en) * 2018-11-07 2022-05-03 Baidu Usa Llc Lidar peak detection using time-to-digital converter and multi-pixel photon counter for autonomous driving vehicles
US11874403B2 (en) * 2019-05-17 2024-01-16 Infineon Technologies Ag Reflectance sensing with time-of-flight cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH112519A (ja) * 1996-07-17 1999-01-06 Fuji Electric Co Ltd 距離測定装置
US20170180637A1 (en) * 2015-12-18 2017-06-22 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
JP2018205305A (ja) * 2017-06-01 2018-12-27 群創光電股▲ふん▼有限公司Ｉｎｎｏｌｕｘ Ｃｏｒｐｏｒａｔｉｏｎ 光検出装置およびその操作方法
CN207328393U (zh) * 2017-07-05 2018-05-08 宁波恒帅微电机有限公司 车用光学传感器主动清洁装置
US20190012808A1 (en) * 2017-07-06 2019-01-10 GM Global Technology Operations LLC Calibration verification methods for autonomous vehicle operations

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249838A1 (ja) * 2021-05-26 2022-12-01 株式会社デンソー センサ制御装置、センサ制御方法、センサ制御プログラム
WO2023054078A1 (ja) * 2021-09-29 2023-04-06 株式会社小糸製作所 車両用センサ装置
WO2023100598A1 (ja) * 2021-12-02 2023-06-08 株式会社デンソー 異常判定装置、異常判定方法、及び異常判定プログラム
JP7505530B2 (ja) 2021-12-02 2024-06-25 株式会社デンソー 異常判定装置、異常判定方法、及び異常判定プログラム

Also Published As

Publication number Publication date
JP7420038B2 (ja) 2024-01-23
US20220237765A1 (en) 2022-07-28
US11908119B2 (en) 2024-02-20
CN114585944A (zh) 2022-06-03
JP2021063800A (ja) 2021-04-22

Similar Documents

Publication Publication Date Title
WO2021075404A1 (ja) 車載の異常検出装置
US11686843B2 (en) Method and apparatus for optically measuring distance
CN111742241B (zh) 光测距装置
US9519841B2 (en) Attached matter detector and vehicle equipment control apparatus
US10565704B2 (en) Inspection method and inspection system
EP2065678B1 (en) Distance measurement system and distance measurement method
US7502100B2 (en) Three-dimensional position measurement method and apparatus used for three-dimensional position measurement
JP7180398B2 (ja) 光測距装置およびその制御方法
US11662443B2 (en) Method and apparatus for determining malfunction, and sensor system
JP6813541B2 (ja) 光学系異常を検出する測距装置
JP7095640B2 (ja) 物体検出装置
JP2006349694A (ja) 物体検知装置および方法
JP2019144184A (ja) 光学的測距装置およびその方法
JP7115390B2 (ja) 測距装置
US20200236338A1 (en) Sensor system
JP2023101522A (ja) 撮像装置、情報処理装置、撮像方法、およびプログラム
WO2015145599A1 (ja) 映像投影装置
US20230152462A1 (en) Lidar sensor, in particular a vertical flash lidar sensor
US10091404B2 (en) Illumination apparatus, imaging system, and illumination method
JP2015215200A (ja) 情報処理装置、測定方法及びプログラム
JP2019138666A (ja) 測距装置
US20230291880A1 (en) Image processing apparatus
US20230243937A1 (en) Optical detection device, optical distance measurement device, and non-transitory computer readable medium
WO2023106129A1 (ja) 情報処理装置及び情報処理方法
WO2021172070A1 (ja) 光学式検出装置および光学式検出装置における光軸ずれ判定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20877838

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20877838

Country of ref document: EP

Kind code of ref document: A1