WO2023218761A1 - 異常診断装置 - Google Patents

異常診断装置 Download PDF

Info

Publication number
WO2023218761A1
WO2023218761A1 PCT/JP2023/010814 JP2023010814W WO2023218761A1 WO 2023218761 A1 WO2023218761 A1 WO 2023218761A1 JP 2023010814 W JP2023010814 W JP 2023010814W WO 2023218761 A1 WO2023218761 A1 WO 2023218761A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
reliability
abnormality
diagnosis device
abnormality diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/010814
Other languages
English (en)
French (fr)
Inventor
洸 二宮
耕太 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to DE112023000900.7T priority Critical patent/DE112023000900T5/de
Priority to US18/855,451 priority patent/US20250342688A1/en
Publication of WO2023218761A1 publication Critical patent/WO2023218761A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an abnormality diagnosing device that appropriately diagnoses an abnormal area occurring in a sensor installed on a moving body.
  • Patent Document 1 describes that "it is detected whether or not the object tracking process is in an abnormal state.” For example, when a pedestrian is being tracked in FIG. 13(a), the abnormality score map shown in FIG. 13(b) is updated, with the area where the tracking could be performed as normal and the area where the tracking could not be performed as abnormal.
  • FIG. 13(c) and 13(d) show the scenes to be solved.
  • the value of the abnormality score map of the detected area is updated to be normal as shown in FIG. 13(d).
  • the present invention has been made in view of the above-mentioned circumstances, and an object of the present invention is to provide an abnormality diagnosis device that can determine an abnormal region occurring in a sensor in a short time.
  • one aspect of the abnormality diagnosis device includes a sensor section in which a plurality of cameras are arranged so that their fields of view overlap, and an object detection section that detects an object from sensor information of the sensor section. and an object reliability determination unit that determines the reliability of the object based on detection results in a common imaging area where the plurality of cameras share a field of view, and a field of view of only a single camera among the plurality of cameras.
  • a single abnormal image area determining unit that determines an abnormal image area in the monocular area using a tracking result of the object within the monocular area, the single abnormal image area determining unit determining an abnormal image area in the monocular area.
  • the abnormality score of the abnormality score map given to the target is changed according to the reliability of the target.
  • another aspect of the abnormality diagnosis device includes a sensor unit in which a plurality of sensors are arranged so that observation areas overlap, an object detection unit that detects an object from sensor information of the sensor unit, and a target detection unit that detects an object from sensor information of the sensor unit; an object reliability determination unit that determines the reliability of the target based on detection results in a common sensing area that shares an observation area among a plurality of sensors; an individual abnormal area determining unit that determines an abnormal area in the individual sensing area using a tracking result of the object within the sensing area, the individual abnormal area determining unit assigning an abnormal area to the abnormal area.
  • the abnormality score of the abnormality score map is changed according to the reliability of the target.
  • an abnormal area occurring in a sensor can be determined in a short time.
  • 1 is a block diagram showing an example of the overall configuration of an abnormality diagnosis device according to a first embodiment of the present invention.
  • 1A and 1B show configuration examples of a sensor unit 100 according to a first embodiment of the present invention, in which (a) is an example, and (b) is an overhead view of another example.
  • An example of the operation of the object detection unit 200 according to the first embodiment of the present invention is shown, in which (a) is a template (another vehicle), (b) is a template (pedestrian), and (c) is an explanatory diagram of a driving scene.
  • FIG. 3 is a processing flow diagram of the common normal region calculation unit 300 according to the first embodiment of the present invention.
  • FIG. 4 is a processing flow diagram of the object reliability determination unit 400 according to the first embodiment of the present invention.
  • An example of the operation of the single abnormal image region determination unit 500 according to the first embodiment of the present invention is shown, in which (a) is an explanatory diagram of object detection information and (b) is an explanatory diagram of an abnormality score map for (a).
  • FIG. 4 is a processing flow diagram of the single abnormal image region determination unit 500 according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of the overall configuration of an abnormality diagnosis device according to a second embodiment of the present invention.
  • FIG. 3 is an overhead view showing a configuration example of a sensor section 1100 according to a second embodiment of the present invention.
  • FIG. 7 is a processing flow diagram of the object reliability determination unit 1400 according to the second embodiment of the present invention. This is a diagram explaining the problem.
  • (a) is the object detection information (pedestrian, dirt)
  • (b) is the abnormality score map for (a) (pedestrian, dirt)
  • (c) is the object detection information (stain is )
  • (d) is an explanatory diagram of the abnormality score map (with stains) for (c).
  • Example 1 In Example 1, multiple sensors installed on a moving body to observe the surrounding environment are composed of cameras, and the normal/abnormal judgment of the common imaging area of multiple sensors (cameras) is performed by matching the same pixels. This is an example.
  • FIG. 1 shows an overall configuration diagram of an abnormality diagnosis device according to Embodiment 1 of the present invention.
  • the abnormality diagnosis device 1 of this embodiment is used by being mounted on a vehicle, for example, and includes a sensor section 100, an object detection section 200, a common normal area calculation section 300, an object reliability determination section 400, and an individual abnormal image area. It includes a determination section 500 and a display/alarm/control section 600.
  • the sensor unit 100 is composed of a plurality of imaging devices (cameras). The multiple cameras are arranged so that their fields of view overlap.
  • FIG. 1 shows an example in which the sensor unit 100 includes three cameras: a left front camera 110, a right front camera 120, and a side camera 130.
  • the three cameras can take images with two cameras, the left front camera 110 and the right front camera 120 (the two cameras, the left front camera 110 and the right front camera 120)
  • a common imaging area sharing a field of view
  • a monocular area that can only be imaged by one (single) camera of the side camera 130 (consisting of only the field of view of one (single) camera of the side camera 130). arranged to exist.
  • a camera system may be used in which two cameras, a side camera 140 and a side camera 150, are installed so that their fields of view overlap.
  • the sensor unit 100 outputs image information of the surrounding environment as sensor information to the object detection unit 200 and the common normal area calculation unit 300.
  • the object detection unit 200 detects an object to be used for estimating an abnormal area from image information as sensor information acquired by the sensor unit 100.
  • Targets include other vehicles, motorcycles, pedestrians, and physical features such as signs and billboards.
  • a detection method there is a method that uses template images of vehicles and pedestrians, as shown in FIGS. 3(a) and 3(b). As shown in FIG. 3C, the template image is scanned with respect to the image acquired by the sensor unit 100 while the vehicle is running, and similar regions are detected as targets. Furthermore, the method is not limited to such a method using template matching, and an arbitrary algorithm may be used to detect the target.
  • the object detection unit 200 When the object detection unit 200 is able to detect an object from the image acquired by the sensor unit 100, it outputs the position and feature amount of the object in the image to the object reliability determination unit 400.
  • the feature amount include HOG (Histograms of Oriented Gradients) feature amount, which is a histogram of the brightness gradient direction of the detected target area, but the feature amount may be calculated using any other algorithm.
  • the object detection section 200 also outputs these information to the object reliability determination section 400. Also good.
  • the object reliability determination unit 400 analyzes the detection results of the object in multiple frames and analyzes the detection results in time series. You can also output it to
  • distinctive areas in the image may be included in the target.
  • the common normal area calculation unit 300 calculates what is attached to the lens (dirt, raindrops, cloudiness, icing, etc.) in a common imaging area where the front left camera 110 and the front right camera 120 have overlapping fields of view (share the field of view). , check for lens abnormalities (cracks, scratches, distortions, etc.) and determine whether the common imaging area is normal or abnormal.
  • the common normal region calculation unit 300 outputs the determined result to the object reliability determination unit 400 or the display/alarm/control unit 600.
  • the common normal area calculation unit 300 determines whether the common imaging area is normal or abnormal by searching for the same pixel in images captured by two cameras having a common imaging area. As shown in FIGS. 4(a) and 4(b), when neither the left front camera 110 nor the right front camera 120 has an abnormal state such as deposits on the lenses or lens abnormalities (in other words, the left front camera 110 4A and 4B are normal), the same pixel is calculated in the shaded area in FIGS. 4A and 4B. On the other hand, as shown in FIGS. 5A and 5B, if an abnormality occurs in one of the images (here, the right image, which is the image obtained by the right front camera 120), The same pixel is calculated in the shaded area in b).
  • the common normal area calculation unit 300 stores the area where these same pixels are calculated as a common normal area. That is, the common normal area calculation unit 300 calculates the same pixels that are matched between the cameras that share the field of view (left front camera 110 and right front camera 120) as a common normal area.
  • FIG. 6 shows an example of a camera configuration in which the left front camera 110 and the right front camera 120 have a common imaging area, similar processing can be executed with any camera having a common imaging area.
  • steps S301 and S302 images captured by the left front camera 110 and right front camera 120 having a common imaging area are acquired.
  • optical characteristics such as lens distortion are corrected for the acquired image.
  • step S304 a local region of the image (left image) captured by the left front camera 110 is cut out as a template. Furthermore, in step S305, an area similar to the cut out template is searched for in the image (right image) captured by the right front camera 120. If a similar region exists in the right image (matching is achieved) in step S306, a normal label is assigned to the corresponding pixel in step S307. In step S306, if there is no similar region in the right image (matching cannot be achieved), an abnormal label is given to the corresponding pixel in step S308. By performing this processing on the entire image, a common normal region is determined.
  • the search for the same pixel is not limited to such a template matching method, and any algorithm may be used to search for the same pixel.
  • the object reliability determination section 400 receives the results of the object detection section 200 and the common normal region calculation section 300, and assigns a reliability to each object detected by the object detection section 200.
  • the object reliability determination section 400 outputs the result of assigning the reliability to each object to the single abnormal image region determination section 500.
  • FIG. 7 shows an example using the left front camera 110
  • the present invention is not limited to this, and similar processing can be executed with any camera having common normal area information.
  • step S401 object information (detection information) of the left front camera 110 detected by the object detection unit 200 is acquired.
  • step S402 the common normal area information of the left front camera 110 calculated by the common normal area calculation unit 300 is acquired.
  • step S403 for the object detected by the object detection unit 200, the detected position is included in the common normal area (in other words, a normal label is given to the area of the object detected by the object detection unit 200).
  • the first reliability level is assigned to the target in step S404.
  • step S403 the detected position of the object detected by the object detection unit 200 is not included in the common normal area (in other words, a normal label is not assigned to the area of the object detected by the object detection unit 200).
  • step S405 the second reliability level is assigned to the target. That is, the object reliability determination unit 400 assigns a first reliability to objects detected in the common normal region (step S404), and assigns a second reliability to objects detected outside the common normal region. (Step S405). In other words, the object reliability determination unit 400 assigns different reliability to objects detected in the common normal region and objects detected outside the common normal region.
  • the first reliability and the second reliability are calculated including information on past detection results. You may do so.
  • the single abnormal image area determining unit 500 determines an abnormal image area in a monocular area based on the reliability of each object calculated by the object reliability determining unit 400, and outputs the result to the display/alarm/control unit 600. do.
  • FIGS. 8(a) and 8(b) show an outline of the processing of the single abnormal image region determination unit 500.
  • the side camera 130 is explained as an example in FIGS. 8A and 8B, similar processing is possible for other monocular areas.
  • Object 1 in FIG. 8A shows a pedestrian who has been detected by the left front camera 110 (image acquired by) and then moved to an image acquired by side camera 130 (monocular area). Assume that the left front camera 110 is normal, and that the object 1 is given a first reliability level.
  • Object 2 in FIG. 8(a) shows a pedestrian detected for the first time by the side camera 130 (image acquired by), and since it is detected outside the common normal area, it is assigned the second reliability level. It is assumed that there is
  • FIG. 8(b) shows an abnormality score map, in which abnormality scores corresponding to the side camera 130 are stored.
  • the abnormality score takes a value from 0 to 1, and the closer it gets to 0, the more normal it is, and the closer it gets to 1, it can be defined as abnormal, but the normal/abnormal state may be stored using any other numerical value.
  • the anomaly score map is updated with the detection information of target 1 and target 2, and when detected, it is updated to approach 0 (normal), and when detection is no longer possible, it is updated to approach 1 (abnormal). Updated.
  • the update amount of the abnormality score of the abnormality score map at that time is changed according to the reliability of the object, and the abnormality score of the abnormality score map is updated more greatly for the object with higher reliability.
  • the processing flow of the single abnormal image region determination unit 500 is shown in FIG.
  • step S501 the appearance position of the object detected by the object detection unit 200 is predicted.
  • the predicted appearance position may be set around the position at the previous time, or if the moving direction of the target has been calculated, the predicted appearance position may be determined from that information, or if the amount of movement of the own vehicle is known. may use that information.
  • the target it is determined whether the target has appeared at the predicted position based on the feature amount of the target. Furthermore, in S503 and S506, the reliability given to the tracked object is confirmed. If the target appears at the predicted position in S502 and the first reliability level is assigned to the target in S503, the anomaly score of the anomaly score map is decreased by the first update amount in step S504, and the target appears in the predicted position in S503. If the second reliability level is assigned to , the abnormality score of the abnormality score map is decreased by the second update amount in step S505.
  • the abnormality score of the abnormality score map is increased by the first update amount in step S507, and the abnormality score of the abnormality score map is increased by the first update amount in step S506
  • the second reliability level is assigned to the target in step S508
  • the abnormality score of the abnormality score map is increased by the second update amount. That is, the single abnormal image area determination unit 500 reduces the abnormality score of the abnormality score map of the detection location (by the first update amount or the second update amount) when the target is detected (tracked) in the monocular area. (steps S504, S505).
  • the single abnormal image region determination unit 500 increases the abnormality score of the abnormality score map of the lost location (by the first update amount or the second update amount). (Raise) (Steps S507, S508).
  • the camera cannot image the object behind it, so it may not be possible to detect the object at the predicted position. In that case, in order to prevent the value of the anomaly score map from being erroneously increased, overlapping objects are detected from the positional relationship between the objects, and for objects that are determined to be hidden behind, processing that is not used to update the anomaly score map is included. It's okay. If the distance and three-dimensional coordinates of the objects are known, such information may also be used to determine whether the objects overlap.
  • the first update amount is larger than the second update amount.
  • a predetermined value is set in advance so that the
  • the normal/abnormal area is determined in step S509.
  • a predetermined threshold is set for the abnormality score of the updated abnormality score map, and an area below the predetermined threshold is determined to be a normal area, and an area above the predetermined threshold is determined to be an abnormal area.
  • the abnormality score map is updated for areas that have been determined to be normal or abnormal, and when it exceeds a predetermined threshold, it is determined that an abnormality has occurred in the normal area (such as dirt adhering while driving). Alternatively, when the value falls below a predetermined threshold value, it may be determined that the abnormal area has been restored (dirt came off during driving, dirt came off due to cleaning operation, etc.).
  • the display/alarm/control unit 600 acquires information on the normal area or abnormal area calculated by the common normal area calculation unit 300 or the individual abnormal image area determination unit 500, and displays or warns the driver and/or displays the abnormality. Perform control to resolve the condition.
  • the display/alarm/control unit 600 When the display/alarm/control unit 600 receives information that the camera's imaging area is normal, it displays to the driver that the mounted camera is normal. Furthermore, when camera information is used in automatic driving, a driving support system, etc., a display indicating that the system is operating normally may be displayed.
  • the display/alarm/control unit 600 when it receives information that an abnormal state has occurred within the imaging area of the camera, it displays to the driver that the mounted camera is abnormal. Furthermore, when camera information is used in automatic driving, a driving support system, etc., the operation of the system may be stopped and information indicating that the system is not operating may be displayed to the driver. In addition, automatic driving and driving support systems may be degenerated in stages, for example, stopping on the road shoulder using only cameras with no abnormalities, or stopping on the road shoulder using only the normal imaging area. , etc. are possible.
  • the display/alarm/control unit 600 may display a request to the driver to check the status of the camera where the abnormality has occurred.
  • the display/alarm/control unit 600 may also output a command to the camera in which the abnormality has occurred to perform an operation to eliminate the abnormality, such as operating the wiper or spraying windshield washer fluid or compressed air.
  • the abnormality diagnosis device 1 of the first embodiment includes a sensor section 100 in which a plurality of cameras (which observe the surrounding environment) are arranged so that their fields of view overlap, and sensor information of the sensor section 100.
  • an object detection unit 200 that detects an object from (image information);
  • an object reliability determination unit 400 that determines the reliability of the object based on detection results in a common imaging area where the plurality of cameras share a field of view;
  • a single abnormal image area determination unit 500 that determines an abnormal image area in the monocular area using a tracking result of the object within the monocular area that is configured by only the field of view of a single camera in a plurality of cameras;
  • the single abnormal image region determination unit 500 changes the abnormality score of the abnormality score map given to the abnormal image region according to the reliability of the object.
  • the device further includes a common normal area calculation unit 300 that determines the state (normal/abnormal) of the common imaging area based on the detection result in the common imaging area, and the object reliability determination unit 400 The reliability of the object is determined based on the state (normal/abnormal).
  • reliability is assigned to the target according to the detection result of the common imaging area, and the update amount of the abnormality score map of the monocular area is changed according to the reliability of the target, so that the sensor (camera) It is possible to determine the abnormal area that has occurred in a short time without misjudgment.
  • Example 2 multiple sensors installed on a moving body to observe the surrounding environment are not limited to cameras, but also determine whether the common sensing area of multiple sensors (including millimeter wave radar, LiDAR, etc. other than cameras) is normal/abnormal. This is an embodiment in which the determination is made based on the type and positional relationship of the object.
  • multiple sensors installed on a moving body to observe the surrounding environment are not limited to cameras, but also determine whether the common sensing area of multiple sensors (including millimeter wave radar, LiDAR, etc. other than cameras) is normal/abnormal. This is an embodiment in which the determination is made based on the type and positional relationship of the object.
  • FIG. 10 shows an overall configuration diagram of an abnormality diagnosis device according to Example 2 of the present invention.
  • the abnormality diagnosis device 2 of this embodiment is used by being mounted on a vehicle, for example, and includes a sensor section 1100, an object detection section 1200, an object reliability determination section 1400, an individual abnormality region determination section 1500, a display/alarm/ A control section 1600 is provided.
  • the sensor section 1100 is composed of multiple sensors.
  • the plurality of sensors are arranged so that their observation areas (also referred to as sensing areas) overlap.
  • the sensor unit 1100 includes two sensors, a sensor 1110 and a sensor 1120, as an example.
  • the two sensors include a configuration of a front camera 1160 and a LiDAR 1170, for example, and a common sensing area that can be sensed by the two sensors (the two sensors share an observation area). If there is an individual sensing area that can only be sensed by one (single) sensor (consisting of the observation area of one (single) sensor), a different configuration may be used, and another type of sensor such as sonar or millimeter wave radar may be used. Sensors may be combined.
  • the sensor unit 1100 outputs sensing information (detection information) obtained by sensing the surrounding environment to the object detection unit 1200 as sensor information.
  • the target detection unit 1200 detects a target to be used for estimating the abnormal area from detection information as sensor information acquired by the sensor unit 1100.
  • Targets include other vehicles, motorcycles, pedestrians, and physical features such as signs and billboards.
  • any algorithm suitable for each sensor is selected and used.
  • the object reliability determination section 1400 receives the results of the object detection section 1200 and assigns a reliability to each object detected by the object detection section 1200.
  • the object reliability determination section 1400 outputs the result of assigning the reliability to each object to the individual abnormal region determination section 1500.
  • FIG. 12 shows an example using the front camera 1160 and the LiDAR 1170, the present invention is not limited to this, and similar processing can be executed with any sensor having common sensing area information.
  • step S1401 target information (detection information) of the front camera 1160 detected by the target detection unit 1200 is acquired.
  • step S1403 matching is performed to see if the same target exists among the targets (detection information) detected by the LiDAR 1170. Whether the objects are the same is determined from information such as the position, type, and movement direction of the object information (detection information).
  • step S1403 if the same object exists among the objects detected by the LiDAR 1170, the first reliability is given to the detected object in step S1404. If the same object does not exist among the objects detected by the LiDAR 1170 in step S1403, the second reliability level is assigned to the detection object in step S1405. That is, the object reliability determination unit 1400 assigns a first reliability to the object that can be observed (as the same object) with two sensors that share the observation area (step S1404), and A second degree of reliability is given to the object that could only be observed by a single sensor (step S1405).
  • the individual abnormal area determination unit 1500 determines an abnormal area in the individual sensing area based on the reliability of each object calculated by the object reliability determination unit 1400, and outputs the result to the display/alarm/control unit 1600. . Similar to FIG. 9, the processing flow of the single abnormal area determination unit 1500 is to reduce the abnormality score of the abnormality score map when the object can be detected at the predicted position, depending on the reliability of the object being tracked, If the target cannot be detected at the predicted position, the abnormality score of the abnormality score map is increased. That is, the single abnormal area determination unit 1500 reduces the abnormal score of the abnormal score map of the detected location (by the first update amount or the second update amount) when the target is detected (tracked) in the single sensing area. lower). In addition, when the target is lost (unable to be tracked) in the single sensing area, the single abnormal area determination unit 1500 increases the abnormal score of the abnormal score map of the lost location (by the first update amount or the second update amount). (increase).
  • a predetermined threshold is set for the anomaly score of the updated anomaly score map, and the area below the predetermined threshold is defined as a normal area. The area exceeding the threshold is determined to be an abnormal area.
  • the abnormality score map is updated for areas that have been determined to be normal or abnormal, and when it exceeds a predetermined threshold, it is determined that an abnormality has occurred in the normal area (such as dirt adhering while driving). Alternatively, when the value falls below a predetermined threshold value, it may be determined that the abnormal area has been restored (dirt came off during driving, dirt came off due to cleaning operation, etc.).
  • the display/alarm/control unit 1600 acquires information on the normal area or abnormal area calculated by the individual abnormal area determination unit 1500, and performs display and warning to the driver and/or control to eliminate the abnormal state. .
  • the abnormality diagnosis device 2 of the second embodiment includes a sensor unit 1100 in which a plurality of sensors (which observe the surrounding environment) are arranged so that their observation areas overlap, and a sensor of the sensor unit 1100.
  • an object detection unit 1200 that detects an object from information (detection information); and an object reliability determination unit 1400 that determines the reliability of the object based on detection results in a common sensing area in which the plurality of sensors share an observation area.
  • a single abnormal area determination unit 1500 that determines an abnormal area in the single sensing area by using a tracking result of the object within the single sensing area that is composed of only the observation area of a single sensor among the plurality of sensors;
  • the individual abnormal area determining unit 1500 changes the abnormal score of the abnormal score map given to the abnormal area according to the reliability of the target.
  • sensor by assigning reliability to a target according to the detection result of a common sensing region and changing the amount of update of the abnormality score map of an individual sensing region according to the reliability of the target, sensor (camera) , LiDAR, millimeter wave radar, etc.) can be determined in a short time without misjudgment.
  • each of the above-mentioned configurations, functions, processing units, processing means, etc. may be partially or entirely realized by hardware, for example, by designing an integrated circuit.
  • each of the above configurations, functions, etc. may be realized by software by a processor interpreting and executing a program for realizing each function.
  • Information such as programs, tables, files, etc. that realize each function can be stored in a memory, a storage device such as a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD.
  • control lines and information lines are shown that are considered necessary for explanation, and not all control lines and information lines are necessarily shown in the product. In reality, almost all components may be considered to be interconnected.
  • Abnormality diagnosis device (Example 1) 100 Sensor unit 200 Target detection unit 300 Common normal area calculation unit 400 Target reliability determination unit 500 Single abnormal image area determination unit 600 Display/alarm/control unit 2 Abnormality diagnosis device (Example 2) 1100 Sensor unit 1200 Object detection unit 1400 Object reliability determination unit 1500 Individual abnormality area determination unit 1600 Display/alarm/control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

センサに生じた異常領域を短時間で確定することができる異常診断装置を提供する。共通撮像領域における検知結果に基づいて対象の信頼度を判定する対象信頼度判定部４００と、単眼領域内での対象の追跡結果を利用して単眼領域における異常画像領域を判定する単独異常画像領域判定部５００と、を備え、単独異常画像領域判定部５００は、異常画像領域に対して付与する異常スコアマップの異常スコアを、対象の信頼度に応じて変更する。

Description

異常診断装置
　本発明は、移動体に設置されたセンサに生じる異常領域を適切に診断する異常診断装置に関する。
　近年、自動運転や運転支援技術などでは、移動体に設置されたセンサ情報から適切に周辺環境を認識することが求められる。移動体に搭載されたセンサに汚れやレンズの傷などの異常領域が出現した場合、周辺環境を誤って認識する可能性があることから、異常領域を早期に検知する必要がある。
　従来では、対象物体が追跡できなくなった領域を異常領域とする手法があり、特許文献１では「物体の追跡処理が異常状態であるか否かを検知する」という記載がある。例えば図１３（ａ）で歩行者を追跡している場合、追跡できた領域を正常、追跡できなかった領域を異常として図１３（ｂ）に示す異常スコアマップを更新する。
特開２００７－２７２４３６号公報
　しかし、特許文献１に開示されるような従来技術では、汚れやレンズの傷などを対象物体として誤検知した場合に適切に異常領域を推定できない。図１３（ｃ）、（ｄ）に課題となるシーンを示す。図１３（ｃ）のように汚れを対象だと誤検知した場合、図１３（ｄ）のように検知した領域の異常スコアマップの値が正常であると更新される。このような誤検知対策として、複数時刻の検知結果から異常領域を判定することが考えられるが、異常領域の確定に時間がかかる。
　本発明は、上記事情に鑑みてなされたものであり、センサに生じた異常領域を短時間で確定することができる異常診断装置を提供することを目的とする。
　上記課題を解決するため、本発明に係る異常診断装置の一態様は、複数のカメラが視野を重複するように配置されたセンサ部と、前記センサ部のセンサ情報から対象を検知する対象検知部と、前記複数のカメラにおいて視野を共有する共通撮像領域における検知結果に基づいて前記対象の信頼度を判定する対象信頼度判定部と、前記複数のカメラにおいて単一のカメラの視野のみで構成される単眼領域内での前記対象の追跡結果を利用して前記単眼領域における異常画像領域を判定する単独異常画像領域判定部と、を備え、前記単独異常画像領域判定部は、前記異常画像領域に対して付与する異常スコアマップの異常スコアを、前記対象の信頼度に応じて変更する。
　また、本発明に係る異常診断装置の他の態様は、複数のセンサが観測領域を重複するように配置されたセンサ部と、前記センサ部のセンサ情報から対象を検知する対象検知部と、前記複数のセンサにおいて観測領域を共有する共通センシング領域における検知結果に基づいて前記対象の信頼度を判定する対象信頼度判定部と、前記複数のセンサにおいて単独のセンサの観測領域のみで構成される単独センシング領域内での前記対象の追跡結果を利用して前記単独センシング領域における異常領域を判定する単独異常領域判定部と、を備え、前記単独異常領域判定部は、前記異常領域に対して付与する異常スコアマップの異常スコアを、前記対象の信頼度に応じて変更する。
　本発明によれば、センサに生じた異常領域を短時間で確定することができる。
　上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。
本発明の実施例１に係る異常診断装置の全体構成例を示すブロック図。 本発明の実施例１に係るセンサ部１００の構成例を示し、（ａ）はその一例、（ｂ）はその他例の俯瞰図。 本発明の実施例１に係る対象検知部２００の動作例を示し、（ａ）はテンプレート（他車両）、（ｂ）はテンプレート（歩行者）、（ｃ）は走行シーンの説明図。 本発明の実施例１に係る共通正常領域算出部３００の共通正常領域の例を示し、（ａ）は左前方カメラ１１０の取得画像、（ｂ）は右前方カメラ１２０の取得画像の説明図（両画像とも正常）。 本発明の実施例１に係る共通正常領域算出部３００の共通正常領域の例を示し、（ａ）は左前方カメラ１１０の取得画像、（ｂ）は右前方カメラ１２０の取得画像の説明図（右画像が異常）。 本発明の実施例１に係る共通正常領域算出部３００の処理フロー図。 本発明の実施例１に係る対象信頼度判定部４００の処理フロー図。 本発明の実施例１に係る単独異常画像領域判定部５００の動作例を示し、（ａ）は対象検知情報、（ｂ）は（ａ）に対する異常スコアマップの説明図。 本発明の実施例１に係る単独異常画像領域判定部５００の処理フロー図。 本発明の実施例２に係る異常診断装置の全体構成例を示すブロック図。 本発明の実施例２に係るセンサ部１１００の構成例を示す俯瞰図。 本発明の実施例２に係る対象信頼度判定部１４００の処理フロー図。 課題説明図であり、（ａ）は対象検知情報（歩行者、汚れあり）、（ｂ）は（ａ）に対する異常スコアマップ（歩行者、汚れあり）、（ｃ）は対象検知情報（汚れあり）、（ｄ）は（ｃ）に対する異常スコアマップ（汚れあり）の説明図。
　以下、本発明の実施例を図面を用いて説明する。なお、各図において同じ機能または構成を有する部分には同じ符号を付して繰り返し説明は省略する場合がある。
［実施例１］
　実施例１は、移動体に設置されて周辺環境を観測する複数のセンサがカメラから構成されており、複数のセンサ（カメラ）の共通撮像領域の正常/異常判定を、同一画素のマッチングで実施する実施例である。
　図１に、本発明の実施例１に係る異常診断装置の全体構成図を示す。
　本実施例の異常診断装置１は、例えば車両に搭載されて利用されるものであり、センサ部１００、対象検知部２００、共通正常領域算出部３００、対象信頼度判定部４００、単独異常画像領域判定部５００、表示/警報/制御部６００を備えている。
　センサ部１００は、複数台の撮像装置（カメラ）から構成される。複数台のカメラは、視野を重複するように配置されている。図１では、センサ部１００は、左前方カメラ１１０、右前方カメラ１２０、サイドカメラ１３０の３台のカメラから構成される例を示している。３台のカメラは、図２（ａ）に示すように、左前方カメラ１１０と右前方カメラ１２０の２台のカメラで撮像可能な（左前方カメラ１１０と右前方カメラ１２０の２台のカメラが視野を共有する）共通撮像領域と、サイドカメラ１３０の１台（単一）のカメラでしか撮像できない（サイドカメラ１３０の１台（単一）のカメラの視野のみで構成される）単眼領域が存在するように配置されている。
　以降では、図２（ａ）に示すカメラシステムを例に説明しているが、共通撮像領域と単眼領域がどちらも存在するカメラシステムであれば別の構成を使用しても良い。例えば図２（ｂ）のように、サイドカメラ１４０とサイドカメラ１５０の２台のカメラが視野を重複するように設置されたカメラシステムを用いても良い。
　センサ部１００は、センサ情報として周辺環境を撮像した画像情報を対象検知部２００および共通正常領域算出部３００に出力する。
　対象検知部２００は、センサ部１００で取得したセンサ情報としての画像情報から異常領域の推定に使用する対象を検知する。対象としては、他車両や二輪車、歩行者、標識、看板などの地物が含まれる。
　検知方法としては、図３（ａ）、（ｂ）に示すように車両や歩行者のテンプレート画像を利用する手法がある。図３（ｃ）のように走行中にセンサ部１００で取得した画像に対してテンプレート画像を走査し、類似する領域を対象として検知する。また、このようなテンプレートマッチングによる手法に限定されず、任意のアルゴリズムによって対象を検知しても良い。
　対象検知部２００は、センサ部１００で取得した画像から対象が検知できた場合、その画像中における対象の位置、特徴量を対象信頼度判定部４００に出力する。特徴量としては、検知した対象領域の輝度勾配方向をヒストグラム化したHOG(Histograms of Oriented Gradients)特徴量が挙げられるが、その他の任意のアルゴリズムで特徴量を算出しても良い。
　また、対象検知部２００は、画像中での移動方向、対象までの距離、３次元空間での移動速度が算出できる場合には、これらの情報も合わせて対象信頼度判定部４００に出力しても良い。また、対象検知部２００は、単一時刻の検知では誤った検知結果を出力する可能性もあるため、複数フレームで対象の検知結果を解析した時系列での検知結果を対象信頼度判定部４００に出力しても良い。
　また、エッジやコーナーなどの画像中の特徴ある領域を対象に含めても良い。
　共通正常領域算出部３００は、左前方カメラ１１０と右前方カメラ１２０の視野が重複する（視野を共有する）共通撮像領域において、レンズへの付着物（汚れ、雨滴、白濁、着氷など）や、レンズ異常（ひび割れ、傷、ゆがみなど）の有無を確認し、共通撮像領域の正常/異常を判定する。共通正常領域算出部３００は、判定した結果を、対象信頼度判定部４００、もしくは表示/警報/制御部６００に出力する。
　共通正常領域算出部３００は、共通撮像領域を持つ２台のカメラで撮像された画像に対し、同一画素を探索することで共通撮像領域の正常/異常を判定する。図４（ａ）、（ｂ）で示すように、左前方カメラ１１０と右前方カメラ１２０がともにレンズへの付着物やレンズ異常といった異常状態が発生していない場合（換言すると、左前方カメラ１１０の取得画像と右前方カメラ１２０の取得画像の両画像とも正常である場合）、図４（ａ）、（ｂ）の斜線で示す領域で同一画素が算出される。一方、図５（ａ）、（ｂ）で示すように、片方の画像（ここでは右前方カメラ１２０の取得画像である右画像）に異常が発生している場合、図５（ａ）、（ｂ）中の斜線で示す領域で同一画素が算出される。共通正常領域算出部３００は、これらの同一画素が算出された領域を、共通正常領域として保存する。すなわち、共通正常領域算出部３００は、視野を共有するカメラ間（左前方カメラ１１０と右前方カメラ１２０）においてマッチングが取れた同一画素を共通正常領域として算出する。
　共通正常領域算出部３００の処理フローを、図６に示す。図６では、左前方カメラ１１０と右前方カメラ１２０が共通撮像領域を持つカメラ構成での例を示しているが、共通撮像領域を持つカメラであれば同様の処理を実行可能である。
　ステップＳ３０１とステップＳ３０２で、共通撮像領域を持つ左前方カメラ１１０と右前方カメラ１２０で撮像した画像を取得する。
　前記取得した画像に対し、ステップＳ３０３の幾何補正では、レンズ歪みなどの光学特性を補正する。
　幾何補正した画像に対し、同一画素を探索する。ステップＳ３０４では、左前方カメラ１１０で撮像した画像（左画像）の局所領域をテンプレートとして切り出す。さらにステップＳ３０５において、切り出したテンプレートと類似する領域を右前方カメラ１２０で撮像した画像（右画像）中から探索する。ステップＳ３０６において、右画像中に類似領域が存在した（マッチングが取れた）場合は、ステップＳ３０７において、該当画素に正常ラベルが付与される。ステップＳ３０６において、右画像中に類似領域が存在しない（マッチングが取れない）場合は、ステップＳ３０８において、該当画素に異常ラベルが付与される。この処理を画像全体で行うことで、共通正常領域を確定する。
　同一画素の探索はこのようなテンプレートマッチングによる手法に限定されず、任意のアルゴリズムによって同一画素を探索しても良い。
　対象信頼度判定部４００は、対象検知部２００と共通正常領域算出部３００の結果を受け取り、対象検知部２００で検知した各対象に対して信頼度を付与する。対象信頼度判定部４００は、対象ごとの信頼度を付与した結果を、単独異常画像領域判定部５００に出力する。
　対象信頼度判定部４００の処理フローを、図７に示す。図７では、左前方カメラ１１０での例を示しているが、これに限定されず、共通正常領域情報を持つカメラであれば同様の処理を実行可能である。
　まず、ステップＳ４０１で、対象検知部２００で検知した左前方カメラ１１０の対象情報（検知情報）を取得する。
　さらに、ステップＳ４０２において、共通正常領域算出部３００で算出した左前方カメラ１１０の共通正常領域情報を取得する。
　ステップＳ４０３において、対象検知部２００で検知した対象に対し、検知した位置が共通正常領域に含まれている（言い換えると、対象検知部２００で検知した対象の領域に正常ラベルが付与されている）場合には、ステップＳ４０４において、対象に対して第１信頼度が付与される。ステップＳ４０３において、対象検知部２００で検知した対象に対し、検知した位置が共通正常領域に含まれていない（言い換えると、対象検知部２００で検知した対象の領域に正常ラベルが付与されていない）場合には、ステップＳ４０５において、対象に対して第２信頼度が付与される。すなわち、対象信頼度判定部４００は、共通正常領域で検知した対象に対して第１信頼度を付与し（ステップＳ４０４）、共通正常領域外で検知した対象に対して第２信頼度を付与する（ステップＳ４０５）。さらに言い換えると、対象信頼度判定部４００は、共通正常領域で検知した対象と共通正常領域外で検知した対象に対して異なる信頼度を付与する。
　共通正常領域で検知した対象はそれ以外の領域で検知した対象より高い信頼度を設定したいため、第１信頼度が第２信頼度より大きく（高く）なるような所定の値を事前に設定する。また、対象検知部２００から複数フレームで対象の検知結果を解析した時系列での検知結果を取得できる場合には、過去の検知結果の情報も含めて第１信頼度と第２信頼度を算出しても良い。
　単独異常画像領域判定部５００は、対象信頼度判定部４００で算出した対象ごとの信頼度を基に、単眼領域での異常画像領域を判定し、その結果を表示/警報/制御部６００に出力する。
　図８（ａ）、（ｂ）に、単独異常画像領域判定部５００の処理概要を示す。図８（ａ）、（ｂ）ではサイドカメラ１３０を例に説明しているが、その他の単眼領域でも同様の処理が可能である。図８（ａ）の対象１は、左前方カメラ１１０（で取得した画像）で検知された後、サイドカメラ１３０で取得した画像（単眼領域）に移動してきた歩行者を示す。左前方カメラ１１０が正常だった場合を仮定し、対象１には第１信頼度が付与されているものとする。図８（ａ）の対象２は、サイドカメラ１３０（で取得した画像）ではじめて検知された歩行者を示しており、共通正常領域外で検知されているため、第２信頼度が付与されているものとする。
　図８（ｂ）は異常スコアマップを示しており、サイドカメラ１３０に対応した異常スコアを保存している。異常スコアは0～1の値をとり、0に近づくほど正常、1に近づくほど異常として定義できるが、その他の任意の数値で正常/異常の状態を保存しても良い。異常スコアマップは、対象１と対象２の検知情報によって更新され、検知された場合には0（正常）に近づくように更新され、検知ができなくなった場合には1（異常）に近づくように更新される。その時の異常スコアマップの異常スコアの更新量は対象の信頼度に応じて変更され、信頼度が高い対象ほどより大きく異常スコアマップの異常スコアが更新されるように処理される。
　単独異常画像領域判定部５００の処理フローを、図９に示す。
　まず、ステップＳ５０１で、対象検知部２００において検知された対象の出現位置を予測する。前時刻の位置周囲を出現予測位置としても良いし、対象の移動方向が算出されている場合にはその情報から出現予測位置を決めても良いし、自車の移動量が分かっている場合にはその情報を使用しても良い。
　Ｓ５０２において、予測した位置において対象が出現したかどうかを対象の特徴量を基に判定する。また、Ｓ５０３およびＳ５０６において、追跡した対象に付与されている信頼度を確認する。Ｓ５０２において予測位置に対象が出現し、かつＳ５０３において対象に第１信頼度が付与されている場合には、ステップＳ５０４によって、異常スコアマップの異常スコアを第１更新量だけ減少させ、Ｓ５０３において対象に第２信頼度が付与されている場合には、ステップＳ５０５によって、異常スコアマップの異常スコアを第２更新量だけ減少させる。Ｓ５０２において予測した位置に対象が出現せず、かつＳ５０６において対象に第１信頼度が付与されている場合には、ステップＳ５０７によって、異常スコアマップの異常スコアを第１更新量だけ増加させ、Ｓ５０６において対象に第２信頼度が付与されている場合には、ステップＳ５０８によって、異常スコアマップの異常スコアを第２更新量だけ増加させる。すなわち、単独異常画像領域判定部５００は、対象を単眼領域で検知した（追跡できた）場合に検知箇所の異常スコアマップの異常スコアを（第１更新量または第２更新量だけ）減少させる（下げる）（ステップＳ５０４、Ｓ５０５）。また、単独異常画像領域判定部５００は、対象を単眼領域でロストした（追跡できなかった）場合にロスト箇所の異常スコアマップの異常スコアを（第１更新量または第２更新量だけ）増加させる（上げる）（ステップＳ５０７、Ｓ５０８）。
　対象同士が重なり合った場合、後方の対象はカメラから撮像できなくなるため、予測位置に対象を検知できなくなる場合がある。その場合、誤って異常スコアマップの値を増加させないために、対象同士の位置関係から対象の重なりを検知し、後方に隠れたと判定された対象は、異常スコアマップの更新に使用しない処理を含めても良い。対象の距離や３次元座標が分かっている場合には、それらの情報も使用して対象同士の重なりを判定しても良い。
　第２信頼度が付与されている対象の場合よりも第１信頼度が付与されている対象の場合に異常スコアマップの異常スコアを大きく更新したいため、第２更新量よりも第１更新量のほうが大きくなるように事前に所定の値を設定する。
　全ての対象情報を使用して異常スコアマップの異常スコアを更新した後、ステップＳ５０９により、正常/異常領域を確定する。更新後の異常スコアマップの異常スコアに対して所定の閾値を設定し、所定の閾値を下回った領域を正常領域、所定の閾値を上回った領域を異常領域と判定する。
　また、正常領域や異常領域として確定した領域に対しても異常スコアマップの更新を実施し、所定の閾値を上回る時は正常領域に異常が発生した（走行中に汚れが付着するなど）と判定し、もしくは所定の閾値を下回った時は異常領域が復旧した（走行中に汚れが落ちた、洗浄動作により汚れが落ちたなど）と判定しても良い。
　表示/警報/制御部６００は、共通正常領域算出部３００、または単独異常画像領域判定部５００で算出した正常領域、または異常領域の情報を取得し、ドライバーへの表示や警報、および/または異常状態を解消するための制御を行う。
　表示/警報/制御部６００がカメラの撮像領域が正常であるという情報を受け取った場合には、ドライバーに対して搭載しているカメラが正常であるという表示を行う。また、自動運転や運転支援システムなどでカメラ情報を使用している場合には、システムが正常動作しているという表示をしても良い。
　一方、表示/警報/制御部６００がカメラの撮像領域内に異常状態が発生しているという情報を受け取った場合には、ドライバーに対して搭載しているカメラが異常であるという表示を行う。また、自動運転や運転支援システムなどでカメラ情報を使用している場合には、システムの動作を中止し、システムが動作していないという情報をドライバーに表示しても良い。また、自動運転や運転支援システムを段階的に縮退させても良く、例えば、異常が発生していないカメラのみを使用して路肩に停車させる、撮像領域の正常領域のみを使って路肩に停車させる、などが考えられる。
　また、表示/警報/制御部６００は、異常が発生したカメラの状態を確認するようドライバーに要求する表示をしても良い。また、表示/警報/制御部６００は、異常が発生したカメラに対し、ワイパーの作動、ウインドウォッシャー液や圧縮空気の噴射などの異常を解消する動作を実行するよう指令を出力しても良い。
　以上で説明したように、本実施例１の異常診断装置１は、（周囲環境を観測する）複数のカメラが視野を重複するように配置されたセンサ部１００と、前記センサ部１００のセンサ情報（画像情報）から対象を検知する対象検知部２００と、前記複数のカメラにおいて視野を共有する共通撮像領域における検知結果に基づいて前記対象の信頼度を判定する対象信頼度判定部４００と、前記複数のカメラにおいて単一のカメラの視野のみで構成される単眼領域内での前記対象の追跡結果を利用して前記単眼領域における異常画像領域を判定する単独異常画像領域判定部５００と、を備え、前記単独異常画像領域判定部５００は、前記異常画像領域に対して付与する異常スコアマップの異常スコアを、前記対象の信頼度に応じて変更する。
　また、前記共通撮像領域における検知結果に基づいて前記共通撮像領域の状態（正常/異常）を判定する共通正常領域算出部３００をさらに備え、前記対象信頼度判定部４００は、前記共通撮像領域の状態（正常/異常）に基づいて前記対象の信頼度を判定する。
　本実施例によれば、共通撮像領域の検知結果に応じて対象に信頼度を付与し、対象の信頼度に応じて単眼領域の異常スコアマップの更新量を変更することで、センサ（カメラ）に生じた異常領域を誤判定なく短時間で確定することができる。
［実施例２］
　実施例２は、移動体に設置されて周辺環境を観測する複数のセンサがカメラに限定せず、複数のセンサ（カメラ以外のミリ波レーダやLiDARなども含む）の共通センシング領域の正常/異常判定を、対象の種別や位置関係から実施する実施例である。
　図１０に、本発明の実施例２に係る異常診断装置の全体構成図を示す。
　本実施例の異常診断装置２は、例えば車両に搭載されて利用されるものであり、センサ部１１００、対象検知部１２００、対象信頼度判定部１４００、単独異常領域判定部１５００、表示/警報/制御部１６００を備えている。
　センサ部１１００は、複数台のセンサから構成される。複数台のセンサは、観測領域（センシング領域とも呼ぶ）を重複するように配置されている。図１０では、センサ部１１００は、センサ１１１０とセンサ１１２０の２台のセンサを例にしている。２台のセンサは、図１１に示すように、前方カメラ１１６０とLiDAR１１７０の構成が例に挙げられるが、２台のセンサでセンシング可能な（２台のセンサが観測領域を共有する）共通センシング領域と、１台（単独）のセンサでしかセンシングできない（１台（単独）のセンサの観測領域のみで構成される）単独センシング領域が存在すれば別の構成でも良く、ソナーやミリ波レーダといった別種のセンサを組み合わせても良い。
　センサ部１１００は、センサ情報として周辺環境をセンシングしたセンシング情報（検知情報）を対象検知部１２００に出力する。
　対象検知部１２００は、センサ部１１００で取得したセンサ情報としての検知情報から異常領域の推定に使用する対象を検知する。対象としては、他車両や二輪車、歩行者、標識、看板などの地物が含まれる。
　検知方法としては、各センサに適した任意のアルゴリズムを選択して使用する。
　対象信頼度判定部１４００は、対象検知部１２００の結果を受け取り、対象検知部１２００で検知した各対象に対して信頼度を付与する。対象信頼度判定部１４００は、対象ごとの信頼度を付与した結果を、単独異常領域判定部１５００に出力する。
　対象信頼度判定部１４００の処理フローを、図１２に示す。図１２では、前方カメラ１１６０とLiDAR１１７０での例を示しているが、これに限定されず、共通センシング領域情報を持つセンサであれば同様の処理を実行可能である。
　まず、ステップＳ１４０１で、対象検知部１２００で検知した前方カメラ１１６０の対象情報（検知情報）を取得する。
　取得した全ての検知対象に対して、ステップＳ１４０３において、LiDAR１１７０が検知した対象（検知情報）の中に同一対象が存在するかマッチングを行う。同一対象かは、対象情報（検知情報）の位置、種別、移動方向などの情報から判定される。
　ステップＳ１４０３において、LiDAR１１７０が検知した対象の中に同一対象が存在する場合は、ステップＳ１４０４で、検知対象に第１信頼度が付与される。ステップＳ１４０３において、LiDAR１１７０が検知した対象の中に同一対象が存在しない場合は、ステップＳ１４０５で、検知対象に第２信頼度が付与される。すなわち、対象信頼度判定部１４００は、観測領域を共有する２台のセンサで（同一対象として）観測できた対象に対して第１信頼度を付与し（ステップＳ１４０４）、観測領域を共有する２台のセンサにおいて単独のセンサでしか観測できなかった対象に対して第２信頼度を付与する（ステップＳ１４０５）。
　単独異常領域判定部１５００は、対象信頼度判定部１４００で算出した対象ごとの信頼度を基に、単独センシング領域での異常領域を判定し、その結果を表示/警報/制御部１６００に出力する。単独異常領域判定部１５００の処理フローは、図９と同様に、追跡している対象の信頼度に応じて、予測位置に対象を検知できた場合には異常スコアマップの異常スコアを減少させ、予測位置に対象を検知できなかった場合には異常スコアマップの異常スコアを増加させる。すなわち、単独異常領域判定部１５００は、対象を単独センシング領域で検知した（追跡できた）場合に検知箇所の異常スコアマップの異常スコアを（第１更新量または第２更新量だけ）減少させる（下げる）。また、単独異常領域判定部１５００は、対象を単独センシング領域でロストした（追跡できなかった）場合にロスト箇所の異常スコアマップの異常スコアを（第１更新量または第２更新量だけ）増加させる（上げる）。
　全ての対象情報を使用して異常スコアマップの異常スコアを更新した後、更新後の異常スコアマップの異常スコアに対して所定の閾値を設定し、所定の閾値を下回った領域を正常領域、所定の閾値を上回った領域を異常領域と判定する。
　また、正常領域や異常領域として確定した領域に対しても異常スコアマップの更新を実施し、所定の閾値を上回る時は正常領域に異常が発生した（走行中に汚れが付着するなど）と判定し、もしくは所定の閾値を下回った時は異常領域が復旧した（走行中に汚れが落ちた、洗浄動作により汚れが落ちたなど）と判定しても良い。
　表示/警報/制御部１６００は、単独異常領域判定部１５００で算出した正常領域、または異常領域の情報を取得し、ドライバーへの表示や警報、および/または異常状態を解消するための制御を行う。
　以上で説明したように、本実施例２の異常診断装置２は、（周囲環境を観測する）複数のセンサが観測領域を重複するように配置されたセンサ部１１００と、前記センサ部１１００のセンサ情報（検知情報）から対象を検知する対象検知部１２００と、前記複数のセンサにおいて観測領域を共有する共通センシング領域における検知結果に基づいて前記対象の信頼度を判定する対象信頼度判定部１４００と、前記複数のセンサにおいて単独のセンサの観測領域のみで構成される単独センシング領域内での前記対象の追跡結果を利用して前記単独センシング領域における異常領域を判定する単独異常領域判定部１５００と、を備え、前記単独異常領域判定部１５００は、前記異常領域に対して付与する異常スコアマップの異常スコアを、前記対象の信頼度に応じて変更する。
　本実施例によれば、共通センシング領域の検知結果に応じて対象に信頼度を付与し、対象の信頼度に応じて単独センシング領域の異常スコアマップの更新量を変更することで、センサ（カメラ、LiDAR、ミリ波レーダなど）に生じた異常領域を誤判定なく短時間で確定することができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１　　　異常診断装置（実施例１）
１００　センサ部
２００　対象検知部
３００　共通正常領域算出部
４００　対象信頼度判定部
５００　単独異常画像領域判定部
６００　表示/警報/制御部
２　　　異常診断装置（実施例２）
１１００　センサ部
１２００　対象検知部
１４００　対象信頼度判定部
１５００　単独異常領域判定部
１６００　表示/警報/制御部

Claims (15)

  1. 　複数のカメラが視野を重複するように配置されたセンサ部と、
    　前記センサ部のセンサ情報から対象を検知する対象検知部と、
    　前記複数のカメラにおいて視野を共有する共通撮像領域における検知結果に基づいて前記対象の信頼度を判定する対象信頼度判定部と、
    　前記複数のカメラにおいて単一のカメラの視野のみで構成される単眼領域内での前記対象の追跡結果を利用して前記単眼領域における異常画像領域を判定する単独異常画像領域判定部と、を備え、
    　前記単独異常画像領域判定部は、前記異常画像領域に対して付与する異常スコアマップの異常スコアを、前記対象の信頼度に応じて変更することを特徴とした異常診断装置。
  2. 　請求項１に記載の異常診断装置において、
    　前記共通撮像領域における検知結果に基づいて前記共通撮像領域の状態を判定する共通正常領域算出部をさらに備え、
    　前記対象信頼度判定部は、前記共通撮像領域の状態に基づいて前記対象の信頼度を判定することを特徴とした異常診断装置。
  3. 　請求項２に記載の異常診断装置において、
    　前記共通正常領域算出部は、視野を共有するカメラ間においてマッチングが取れた同一画素を共通正常領域として算出することを特徴とした異常診断装置。
  4. 　請求項３に記載の異常診断装置において、
    　前記対象信頼度判定部は、前記共通正常領域で検知した対象に対して第１信頼度を付与し、前記共通正常領域外で検知した対象に対して前記第１信頼度とは異なる第２信頼度を付与することを特徴とした異常診断装置。
  5. 　請求項４に記載の異常診断装置において、
    　前記対象信頼度判定部は、前記第１信頼度を、前記第２信頼度より高い値に設定することを特徴とした異常診断装置。
  6. 　請求項１に記載の異常診断装置において、
    　前記単独異常画像領域判定部は、前記対象を前記単眼領域で検知した場合に検知箇所の異常スコアマップの異常スコアを下げることを特徴とした異常診断装置。
  7. 　請求項１に記載の異常診断装置において、
    　前記単独異常画像領域判定部は、前記対象を前記単眼領域でロストした場合にロスト箇所の異常スコアマップの異常スコアを上げることを特徴とした異常診断装置。
  8. 　請求項１に記載の異常診断装置において、
    　前記単独異常画像領域判定部は、前記異常スコアマップの値が所定の閾値を上回った領域を異常領域として確定する、もしくは前記異常スコアマップの値が所定の閾値を下回った領域を正常領域として確定することを特徴とした異常診断装置。
  9. 　請求項１に記載の異常診断装置において、
    　前記単独異常画像領域判定部は、前記信頼度が高い対象ほど異常スコアマップの異常スコアをより大きく更新することを特徴とした異常診断装置。
  10. 　複数のセンサが観測領域を重複するように配置されたセンサ部と、
    　前記センサ部のセンサ情報から対象を検知する対象検知部と、
    　前記複数のセンサにおいて観測領域を共有する共通センシング領域における検知結果に基づいて前記対象の信頼度を判定する対象信頼度判定部と、
    　前記複数のセンサにおいて単独のセンサの観測領域のみで構成される単独センシング領域内での前記対象の追跡結果を利用して前記単独センシング領域における異常領域を判定する単独異常領域判定部と、を備え、
    　前記単独異常領域判定部は、前記異常領域に対して付与する異常スコアマップの異常スコアを、前記対象の信頼度に応じて変更することを特徴とした異常診断装置。
  11. 　請求項１０に記載の異常診断装置において、
    　前記対象信頼度判定部は、観測領域を共有する複数のセンサで観測できた対象に対して第１信頼度を付与し、観測領域を共有する複数のセンサにおいて単独のセンサでしか観測できなかった対象に対して前記第１信頼度とは異なる第２信頼度を付与することを特徴とした異常診断装置。
  12. 　請求項１１に記載の異常診断装置において、
    　前記対象信頼度判定部は、前記第１信頼度を、前記第２信頼度より高い値に設定することを特徴とした異常診断装置。
  13. 　請求項１０に記載の異常診断装置において、
    　前記単独異常領域判定部は、前記対象を前記単独センシング領域で検知した場合に検知箇所の異常スコアマップの異常スコアを下げることを特徴とした異常診断装置。
  14. 　請求項１０に記載の異常診断装置において、
    　前記単独異常領域判定部は、前記対象を前記単独センシング領域でロストした場合にロスト箇所の異常スコアマップの異常スコアを上げることを特徴とした異常診断装置。
  15. 　請求項１０に記載の異常診断装置において、
    　前記単独異常領域判定部は、前記異常スコアマップの値が所定の閾値を上回った領域を異常領域として確定する、もしくは前記異常スコアマップの値が所定の閾値を下回った領域を正常領域として確定することを特徴とした異常診断装置。
PCT/JP2023/010814 2022-05-09 2023-03-20 異常診断装置 Ceased WO2023218761A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112023000900.7T DE112023000900T5 (de) 2022-05-09 2023-03-20 Abnormalitätsdiagnosevorrichtung
US18/855,451 US20250342688A1 (en) 2022-05-09 2023-03-20 Abnormality diagnosis device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-076822 2022-05-09
JP2022076822A JP7723638B2 (ja) 2022-05-09 2022-05-09 異常診断装置

Publications (1)

Publication Number Publication Date
WO2023218761A1 true WO2023218761A1 (ja) 2023-11-16

Family

ID=88730013

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/010814 Ceased WO2023218761A1 (ja) 2022-05-09 2023-03-20 異常診断装置

Country Status (4)

Country Link
US (1) US20250342688A1 (ja)
JP (1) JP7723638B2 (ja)
DE (1) DE112023000900T5 (ja)
WO (1) WO2023218761A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7675945B2 (ja) * 2022-12-02 2025-05-13 三菱電機株式会社 探索支援装置、探索支援システム、探索支援方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015002553A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 情報処理システムおよびその制御方法
JP2018179911A (ja) * 2017-04-20 2018-11-15 株式会社デンソー 測距装置及び距離情報取得方法
JP2020050119A (ja) * 2018-09-27 2020-04-02 アイシン精機株式会社 付着物検出装置
JP2021149687A (ja) * 2020-03-19 2021-09-27 セコム株式会社 物体認識装置、物体認識方法及び物体認識プログラム
JP2022064388A (ja) * 2020-10-14 2022-04-26 日立Astemo株式会社 物体認識装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4769943B2 (ja) 2006-03-30 2011-09-07 国立大学法人電気通信大学 物体追跡装置、異常状態検知装置及び物体追跡方法
JP4654208B2 (ja) 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
JP2014009975A (ja) * 2012-06-28 2014-01-20 Hitachi Automotive Systems Ltd ステレオカメラ
JP6011935B2 (ja) 2012-12-10 2016-10-25 アルパイン株式会社 車載カメラシステムおよびカメラレンズ異常検知方法
JP2016033729A (ja) * 2014-07-31 2016-03-10 クラリオン株式会社 周囲環境認識装置
US11367175B2 (en) 2018-03-22 2022-06-21 Hitachi Astemo, Ltd. In-vehicle stereo camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015002553A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 情報処理システムおよびその制御方法
JP2018179911A (ja) * 2017-04-20 2018-11-15 株式会社デンソー 測距装置及び距離情報取得方法
JP2020050119A (ja) * 2018-09-27 2020-04-02 アイシン精機株式会社 付着物検出装置
JP2021149687A (ja) * 2020-03-19 2021-09-27 セコム株式会社 物体認識装置、物体認識方法及び物体認識プログラム
JP2022064388A (ja) * 2020-10-14 2022-04-26 日立Astemo株式会社 物体認識装置

Also Published As

Publication number Publication date
JP2023166065A (ja) 2023-11-21
JP7723638B2 (ja) 2025-08-14
US20250342688A1 (en) 2025-11-06
DE112023000900T5 (de) 2024-11-28

Similar Documents

Publication Publication Date Title
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
CN107038723B (zh) 棒状像素估计方法和系统
JP7675339B2 (ja) 物体追跡装置
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
JP7033649B2 (ja) 車載ステレオカメラ
CN113253254A (zh) 用于多个对象跟踪的成像和雷达融合
US20110228981A1 (en) Method and system for processing image data
WO2015125590A1 (ja) 外界認識システム、車両、及びカメラの汚れ検出方法
JPWO2010140578A1 (ja) 画像処理装置、画像処理方法、及び画像処理用プログラム
WO2014033936A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11069049B2 (en) Division line detection device and division line detection method
US20180352214A1 (en) Device for Securing a Travel Envelope
CN109766867A (zh) 车辆运行状态确定方法、装置、计算机设备和存储介质
JP7723638B2 (ja) 異常診断装置
US11400861B2 (en) Camera monitoring system
US20200162642A1 (en) Imaging abnormality diagnosis device and vehicle
JPH11345392A (ja) 障害物検出装置及び障害物検出方法
JP6429101B2 (ja) 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体
US9183448B2 (en) Approaching-object detector, approaching object detecting method, and recording medium storing its program
US12536668B2 (en) Vehicle and method of controlling the same
WO2017077261A1 (en) A monocular camera cognitive imaging system for a vehicle
CN114730453B (zh) 一种用于检测车辆的停止状态的方法及地面车辆
JP2019174899A (ja) 物体検出装置および車両
CN107914639A (zh) 使用外反射镜的车道显示装置及车道显示方法
JP7379268B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23803244

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18855451

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112023000900

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23803244

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18855451

Country of ref document: US