WO2022181502A1 - 自動運転システム、自動運転方法、及び自動運転プログラム - Google Patents

自動運転システム、自動運転方法、及び自動運転プログラム Download PDF

Info

Publication number
WO2022181502A1
WO2022181502A1 PCT/JP2022/006780 JP2022006780W WO2022181502A1 WO 2022181502 A1 WO2022181502 A1 WO 2022181502A1 JP 2022006780 W JP2022006780 W JP 2022006780W WO 2022181502 A1 WO2022181502 A1 WO 2022181502A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
distribution
recognition
unit
recognized
Prior art date
Application number
PCT/JP2022/006780
Other languages
English (en)
French (fr)
Inventor
秀明 三澤
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2022181502A1 publication Critical patent/WO2022181502A1/ja
Priority to US18/455,489 priority Critical patent/US20230401870A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Definitions

  • the present disclosure relates to an automated driving system, an automated driving method, and an automated driving program.
  • the autonomous driving system acquires image data of a predetermined area including the autonomous vehicle from a camera installed on the side of the road on which the autonomous vehicle is traveling. Obstacles such as pedestrians, parked vehicles, etc. are recognized.
  • Patent Document 1 describes a driving support control device that suppresses erroneous recognition of a vehicle to be controlled as an obstacle based on image data obtained from a camera installed on the road surface during automatic driving.
  • This driving support control device includes at least one camera arranged outside the controlled vehicle, which acquires image information by imaging a predetermined area including the controlled vehicle capable of autonomous driving, and an image acquired by the camera.
  • a driving support unit that supports autonomous driving of the controlled vehicle within a predetermined area, a position grasping unit that grasps the position of the controlled vehicle based on the image information acquired by the camera, and a position grasping unit a control target vehicle area exclusion unit that excludes at least the control target vehicle area from the image information acquired by the camera based on the position of the control target vehicle grasped by.
  • the driving support unit supports automatic driving of the control target vehicle while recognizing obstacles within a predetermined region from which the control target vehicle region is excluded by the control target vehicle region exclusion unit.
  • the present disclosure provides an automatic driving system, an automatic driving method, and an automatic driving program that can suppress erroneous recognition of obstacles based on image data of an imaging device installed at a specific location in the external environment of an automatic driving vehicle. intended to
  • An automatic driving system is an image obtained by photographing a predetermined area including a road on which the automatic driving vehicle travels with an imaging device installed at a specific location in the external environment of the automatic driving vehicle.
  • a recognition unit for recognizing obstacles based on data
  • a creation unit for creating a feature quantity distribution representing a distribution of feature quantities relating to obstacles recognized in the past by the recognition unit
  • features created by the creation unit a determination unit that compares the quantity distribution with the feature amount of the obstacle recognized as the evaluation target, and determines erroneous recognition of the obstacle recognized as the evaluation target.
  • An automatic driving method is an image obtained by photographing a predetermined area including a road on which the automatic driving vehicle travels with an imaging device installed at a specific location in the external environment of the automatic driving vehicle. Based on the data, obstacles are recognized, a feature quantity distribution representing the distribution of feature quantities relating to obstacles recognized in the past is created, and the created feature quantity distribution and the obstacle recognized as an object to be evaluated are evaluated. erroneous recognition of the obstacle recognized as the evaluation target is determined.
  • An automatic driving program is obtained by photographing a predetermined area including a road on which the automatic driving vehicle travels with a photographing device installed at a specific location in the external environment of the automatic driving vehicle.
  • a recognition unit for recognizing obstacles based on the obtained image data
  • a creation unit for creating a feature quantity distribution representing the distribution of feature quantities relating to obstacles recognized in the past by the recognition unit; It functions as a judging section that compares the feature quantity distribution thus obtained with the feature quantity of the obstacle recognized as the evaluation target, and determines erroneous recognition of the obstacle recognized as the evaluation target.
  • the disclosed technology has the effect of suppressing erroneous recognition of obstacles based on image data from a camera installed at a specific location in the external environment of an autonomous vehicle.
  • FIG. 1 is a block diagram showing an example of functional configurations of an infrastructure camera and an automatic driving control device according to a first embodiment;
  • FIG. It is a figure where it uses for description of the residence time distribution creation process which concerns on embodiment.
  • FIG. 1 is a block diagram showing an example of functional configurations of an infrastructure camera and an automatic driving control device according to a first embodiment;
  • FIG. It is a figure where it uses for description of the residence time distribution creation process which concerns on embodiment.
  • FIG. 7 is a diagram for explaining erroneous recognition determination processing according to the first embodiment; It is a figure where it uses for description of the feature-value distribution preparation phase, abnormality detection phase, and data collection and learning phase which concern on 1st Embodiment. It is a flow chart which shows an example of a flow of feature-value distribution creation processing by an automatic operation program concerning a 1st embodiment. It is a flow chart which shows an example of the flow of abnormality detection processing and data collection and learning processing by an automatic driving program concerning a 1st embodiment. It is a block diagram showing an example of functional composition of an infrastructure camera concerning a 2nd embodiment, an automatic operation control device, and an in-vehicle device. FIG.
  • FIG. 10 is a diagram for explaining erroneous recognition determination processing according to the second embodiment; It is a flow chart which shows an example of a flow of feature-value distribution creation processing by an automatic driving program concerning a 2nd embodiment. It is a flowchart which shows an example of the flow of the abnormality detection process by the automatic driving program which concerns on 2nd Embodiment, and a vehicle notification process.
  • FIG. 11 is a block diagram showing an example of functional configurations of an infrastructure camera and an automatic driving control device according to a third embodiment; It is a block diagram showing an example of functional composition of an infrastructure camera, an automatic driving control device, and an in-vehicle device concerning a 4th embodiment.
  • FIG. 1 is a diagram showing an example of the configuration of an automatic driving system 100 according to the first embodiment.
  • an automatic driving system 100 includes an in-vehicle device 10 mounted on an automatic driving vehicle, an automatic driving control device 20 provided in an automatic driving support center, and an automatic driving vehicle external and a camera (hereinafter referred to as an “infrastructure camera”) 30 installed at a specific location in the environment.
  • the specific place here includes, for example, public places such as roads.
  • the infrastructure camera 30 may be installed using facilities such as utility poles and streetlights around the road.
  • the automatic driving control device 20 provides remote support to automatically driving vehicles within the area managed by the automatic driving support center.
  • a private passenger car is exemplified as an automatic driving vehicle, but the present invention may be applied to other vehicles such as trucks, buses, and taxis.
  • the automatic driving vehicle includes a manned vehicle to control the vehicle or take over the control of the vehicle in an emergency.
  • vehicles in which part of the steering of the vehicle is automatically performed are also included.
  • the in-vehicle device 10 and the automatic driving control device 20 are communicably connected via a network N.
  • the network N the Internet, WAN (Wide Area Network), etc. are applied.
  • the infrastructure camera 30 and the automatic driving control device 20 are connected via a network N so as to be able to communicate with each other.
  • the infrastructure camera 30 and the in-vehicle device 10 of the automatically driven vehicle traveling around the infrastructure camera 30 are connected via a network N so as to be communicable.
  • a self-driving vehicle is a vehicle that can drive automatically under certain conditions without the driver's operation. If an event such as parking on the road, traffic congestion, construction work, etc. occurs while the vehicle is running, the autonomous vehicle will overtake or wait.
  • An automatic driving vehicle is supported by an automatic driving support center depending on the situation, such as when an abnormality occurs.
  • the in-vehicle device 10 has a function of generating a travel plan including a travel route to the destination based on destination information such as an address or latitude and longitude, and a function of controlling automatic driving of the own vehicle.
  • the in-vehicle device 10 includes a CPU (Central Processing Unit) 11 , a memory 12 , a display section 13 , a storage section 14 , a sensor group 15 , a camera 16 and a communication section 17 .
  • a CPU Central Processing Unit
  • the CPU 11 is an example of a processor.
  • the processor here refers to a processor in a broad sense, and includes a general-purpose processor (eg, CPU) and a dedicated processor (eg, GPU: Graphics Processing Unit, ASIC: Application Specific Integrated Circuit, FPGA: Field Programmable Gate Array , programmable logic devices, etc.).
  • the memory 12 is composed of ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • the display unit 13 for example, a liquid crystal display (LCD), an organic EL (Electro Luminescence) display, or the like is used.
  • the display unit 13 may integrally have a touch panel.
  • a HDD Hard Disk Drive
  • an SSD Solid State Drive
  • a flash memory or the like is used for the storage unit 14.
  • the storage unit 14 stores a control program (not shown) for controlling automatic operation.
  • the sensor group 15 is composed of various sensors for grasping the surrounding conditions of the own vehicle.
  • the sensor group 15 includes a millimeter wave radar that transmits search waves to a predetermined range outside the vehicle, and a LIDAR (Light Detection and Ranging/Laser Imaging Detection and Ranging) that scans at least a predetermined range in front of the vehicle.
  • the sensor group 15 may also include a GNSS (Global Navigation Satellite System) receiver mounted on the vehicle. This GNSS receiver acquires information such as the current position and current time of the host vehicle.
  • GNSS Global Navigation Satellite System
  • the camera 16 photographs a predetermined range in a predetermined direction of the own vehicle. Specifically, the cameras 16 are provided all around the own vehicle and photograph the entire surrounding area of the own vehicle. One camera 16 may be used, but a plurality of cameras 16 may be provided at a plurality of locations in order to obtain more information.
  • the communication unit 17 is a communication interface for connecting to a network N such as the Internet and WAN and communicating with the automatic operation control device 20.
  • the in-vehicle device 10 is connected to a traveling device (not shown) necessary for automatic driving, and automatic driving is performed by controlling this traveling device.
  • the traveling device includes, for example, an electric power steering, an electronically controlled brake, an electronically controlled throttle, and the like.
  • the in-vehicle device 10 performs automatic driving by controlling the driving, steering, and braking of the own vehicle so that the own vehicle automatically operates according to the travel plan of the own vehicle.
  • the automatic driving method itself There are various known methods for the automatic driving method itself, and the present embodiment is not particularly limited.
  • the infrastructure camera 30 is an example of a photographing device.
  • the infrastructure camera 30 is provided, for example, on the side of the road on which the autonomous vehicle travels, and functions as a camera that monitors a predetermined area including the road on which the autonomous vehicle travels.
  • the infrastructure camera 30 includes a CPU 31 , a memory 32 , a communication section 33 , a storage section 34 , a sensor group 35 and a camera 36 .
  • the CPU 31 is an example of a processor.
  • the processor here refers to a processor in a broad sense, including general-purpose processors and dedicated processors, as described above.
  • the memory 32 is composed of ROM, RAM and the like.
  • the communication unit 33 is a communication interface for connecting to a network N such as the Internet or WAN and communicating with the automatic operation control device 20.
  • the storage unit 34 for example, an HDD, SSD, flash memory, etc. are used.
  • a control program (not shown) for controlling the operation of the infrastructure camera 30 is stored in the storage unit 34 .
  • the sensor group 35 is composed of various sensors for grasping the situation around the infrastructure camera 30.
  • the sensor group 35 includes, for example, a LIDAR or the like that scans at least a predetermined range in front of the camera.
  • the camera 36 is a camera that acquires time-series image data (moving image data) by photographing a predetermined area including the road on which the autonomous vehicle travels.
  • One camera 36 may be provided, or a plurality of cameras may be provided.
  • the automatic driving control device 20 monitors the vehicle state of the automatically driving vehicle by periodically communicating with the in-vehicle device 10 of the automatically driving vehicle. In addition, the automatic driving control device 20 monitors the state of obstacles by communicating with the infrastructure camera 30 periodically.
  • General-purpose computer devices such as a server computer and a personal computer (PC: Personal Computer), are applied to the automatic operation control apparatus 20 as an example.
  • the automatic operation control device 20 includes a CPU 21 , a memory 22 , an operation section 23 , a display section 24 , a storage section 25 and a communication section 26 .
  • the CPU 21 is an example of a processor.
  • the processor here refers to a processor in a broad sense, including general-purpose processors and dedicated processors, as described above.
  • the memory 22 is composed of ROM, RAM and the like.
  • the operation unit 23 is configured as an interface for receiving operation input to the automatic operation control device 20.
  • a liquid crystal display (LCD), an organic EL display, or the like is used for the display unit 24 .
  • the display unit 24 may integrally have a touch panel.
  • the storage unit 25 stores an automatic driving program 25A according to this embodiment.
  • the automatic operation program 25A may be pre-installed in the automatic operation control device 20, for example.
  • the automatic operation program 25A may be stored in a non-volatile non-transitory recording medium or distributed via the network N and installed in the automatic operation control device 20 as appropriate.
  • Examples of non-volatile, non-transitional recording media include CD-ROM (Compact Disc Read Only Memory), magneto-optical disc, HDD, DVD-ROM (Digital Versatile Disc Read Only Memory), flash memory, memory card, etc. is assumed.
  • the communication unit 26 is a communication interface for connecting to a network N such as the Internet, WAN, etc., and communicating with each of the in-vehicle device 10 and the infrastructure camera 30 .
  • the CPU 31 of the infrastructure camera 30 functions as each part shown in FIG. 2 by writing the control program stored in the storage part 34 into the RAM and executing it.
  • the CPU 21 of the automatic driving control device 20 functions as each part shown in FIG. 2 by writing the automatic driving program 25A stored in the storage part 25 into the RAM and executing it.
  • FIG. 2 is a block diagram showing an example of functional configurations of the infrastructure camera 30 and the automatic driving control device 20 according to the first embodiment.
  • the infrastructure camera 30 is provided with a recognition unit, and the obstacle feature value distribution extracted by batch processing every predetermined period is used as the evaluation target.
  • the CPU 31 of the infrastructure camera 30 functions as an operation control section 31A, a recognition section 31B, a data transmission section 31C, and a data reception section 31D.
  • the operation control unit 31A controls the operation of each of the sensor group 35 and the camera 36.
  • the operation control unit 31A stores time-series sensor data acquired from the sensor group 35 in the storage unit 34 and stores time-series image data obtained by photographing with the camera 36 in the storage unit 34 .
  • the recognition unit 31B recognizes obstacles from time-series image data obtained by photographing with the camera 36, or from image data and sensor data.
  • the image data is obtained by photographing a predetermined area including the road on which the automatic driving vehicle travels.
  • Obstacles are, for example, parked vehicles, pedestrians, and the like.
  • a recognition model obtained by machine learning for example, is used for obstacle recognition.
  • a recognition model is stored in the storage unit 34 .
  • Machine learning methods are not particularly limited, but include, for example, neural networks, random forests, support vector machines, and the like.
  • the recognition unit 31B accumulates the obstacle recognition results in the storage unit 34 .
  • the obstacle recognition result includes, for example, recognition ID (Identification), time, position information, type, tracking duration, obstacle direction, obstacle speed, obstacle coordinates within the grid, and the like.
  • the type indicates the type of obstacle, such as a parked vehicle or pedestrian.
  • the tracking continuation time represents the time from when the infrastructure camera 30 recognizes an obstacle in the grid until the recognition is interrupted, that is, the residence time of the obstacle.
  • known technologies such as geohash, nodes, and the like are used.
  • the data transmission unit 31C controls transmission of the obstacle recognition result by the recognition unit 31B to the automatic driving control device 20 via the communication unit 33. Further, the data transmission unit 31C performs control to transmit, via the communication unit 33, the result of recognition of the obstacle by the recognition unit 31B to the automatically driving vehicle traveling around the obstacle.
  • the data reception unit 31D performs control to receive the recognition model re-learned by the automatic driving control device 20 via the communication unit 33.
  • the CPU 21 of the automatic driving control device 20 includes a recognition result collection unit 21A, a feature amount distribution creation unit 21B, an erroneous recognition determination unit 21C, a detailed data collection unit 21D, an operator presentation It functions as a unit 21E, a recognition model learning unit 21F, and a recognition model distribution unit 21G.
  • the recognition result collection unit 21A periodically collects obstacle recognition results from the infrastructure camera 30, and accumulates the collected recognition results in a data model accumulation database (hereinafter referred to as "data model accumulation DB") 25B.
  • data model accumulation DB 25B is stored in the storage unit 25 as an example, but may be stored in an external storage device.
  • the feature quantity distribution creation unit 21B creates a feature quantity distribution representing the distribution of feature quantities relating to obstacles recognized in the past.
  • the feature quantity distribution includes, for example, a residence time distribution that represents the distribution of the residence time of the obstacle, a moving speed distribution that represents the distribution of the speed at which the obstacle moves, and a moving distance distribution that represents the distribution of the distance that the obstacle has moved. and at least one of The movement distance of the obstacle is calculated from the grid coordinates of the obstacle included in the recognition result.
  • the feature quantity distribution may be at least one of the distribution of the coordinates of the obstacle, the distribution of the direction, and the distribution of the cause of abnormality (label) input by the operator for the determination result of misrecognition.
  • the feature quantity distribution creating unit 21B is an example of a creating unit.
  • FIG. 3 is a diagram for explaining the residence time distribution creation process according to this embodiment.
  • the infrastructure camera 30 continuously or periodically captures a predetermined area including a road 41 on which an autonomous vehicle travels, acquires time-series image data, and detects obstacles from the acquired image data. 40 (a pedestrian in the example of FIG. 3).
  • the recognition result collection unit 21A periodically collects the residence time of obstacles from the infrastructure camera 30 as described above. Then, the recognition result collection unit 21A accumulates the collected stay times in the data model accumulation DB 25B so that the type and stay time can be specified for each place (place ID) divided by the grid.
  • the feature quantity distribution creation unit 21B aggregates the stay times for each type for each place (place ID) separated by a grid, and calculates the stay times for each type. Calculate the representative value.
  • place ID For the grid, for example, geohash is used as described above.
  • FIG. 3 shows the distribution of residence times for each type of obstacle (here, pedestrians and parked vehicles) for each location ID.
  • the horizontal axis is time t
  • the vertical axis is the number of obstacles (frequency f)
  • the number of obstacles that occur in each time period is shown as a histogram. Note that when creating a histogram, the number of bins and the width are determined for each grid instead of being uniform regardless of the grid.
  • the method of determining the number of bins and the width may be determined using, for example, the Sturges formula, or may be determined from the distribution of data accumulated for each grid.
  • the feature quantity distribution generator 21B calculates the representative value xd based on the dwell time represented as the tracking duration time within the grid.
  • the representative value when creating the distribution the moving speed of the obstacles and the moving distance of the obstacles may be aggregated in the same manner and the respective representative values may be calculated.
  • An array of representative values obtained in this manner is expressed as a feature vector x as shown below.
  • T indicates a transposed matrix.
  • x (x 1 , x 2 , x 3 , . . . , x d ) T
  • the erroneous recognition determination section 21C is an example of a determination section. Note that the number of obstacles per unit time may be used as an index of misrecognition. In other words, if there are many obstacles that would normally not occur at that location, it may be determined as erroneous recognition.
  • FIG. 4 is a diagram for explaining the erroneous recognition determination process according to the first embodiment.
  • the erroneous recognition determination unit 21C generates a feature vector of representative values of feature amount distributions (dwell time distribution, moving speed distribution, and moving distance distribution) created for each grid from past recognition results, and a feature vector created from the recognition result of the evaluation target.
  • the similarity is calculated by comparing the feature vector of the representative value of the quantity distribution.
  • the recognition results to be evaluated may be extracted by batch processing at the end of the day, for example.
  • the recognition results to be evaluated may be batch-processed periodically every N hours (unit time).
  • Euclidean distance shown in FIG. 4 is used as an example of a method of calculating the degree of similarity. In this case, the shorter the Euclidean distance, the higher the similarity.
  • the degree of similarity between a set of past recognition results and the recognition result to be evaluated is calculated, and erroneous recognition of obstacles is determined. For example, an average distance of similarities created in advance between sets without anomalies (without erroneous recognition) is set as a threshold, and those exceeding the threshold are determined as erroneous recognitions (abnormalities).
  • the method for calculating the degree of similarity is not limited to the above Euclidean distance.
  • the k nearest neighbor method MMD (Maximum Mean Discrepancy), KL distance, etc. may be used for comparison.
  • the k-nearest neighbor method has the characteristic that it can be evaluated appropriately even if the distribution of data is complicated.
  • MMD has features such as being able to consider arbitrary distribution shapes and being easy to calculate.
  • the detailed data collection unit 21D collects image data and sensor data from the infrastructure camera 30 as detailed data when the erroneous recognition determination unit 21C determines that an obstacle has been erroneously recognized. Specifically, since the infra-camera 30, the place, and the time when it is determined to be erroneously recognized can be specified, the corresponding infra-camera 30 is instructed to upload the detailed data in the related grid. This eliminates the need to collect detailed data for all times, and enables selective collection of only detailed data for the relevant time.
  • the operator presentation unit 21E presents the image data when the erroneous recognition is determined to the operator. Accepts input of judgment results including Sensor data may be presented to the operator in addition to image data.
  • the operator presenting unit 21E accumulates the determination result including the presence or absence of abnormality and the cause input by the operator as a label (correct label) in the data model accumulation DB 25B in association with the recognition result. Recognition results, detailed data, labels, etc. are registered as negative examples to be learned in the data model accumulation DB 25B so that they can be easily used for learning of the recognition model at the later stage.
  • the recognition model learning unit 21F re-learns the obstacle recognition model using learning data including recognition results, detailed data, and labels accumulated in the data model accumulation DB 25B. It should be noted that recognition models similar to the recognition models stored in the storage unit 34 of the infrastructure camera 30 are stored in the data/model accumulation DB 25B.
  • the recognition model learning unit 21F is an example of a learning unit.
  • the recognition model distribution unit 21G distributes the recognition model re-learned by the recognition model learning unit 21F to the infrastructure camera 30 via the communication unit 26.
  • the infrastructure camera 30 updates the recognition model stored in the storage unit 34 with the distributed recognition model after re-learning.
  • FIG. 5 is a diagram for explaining the feature quantity distribution creation phase, the anomaly detection phase, and the data collection/learning phase according to the first embodiment.
  • the obstacle recognition result includes, for example, the recognition ID, time, position information, type, tracking duration, direction of the obstacle, speed of the obstacle, coordinates of the obstacle within the grid, and the like. .
  • the CPU 21 of the automatic driving control device 20 collects the past recognition results collected from the infrastructure camera 30 so that the type and residence time can be specified for each place separated by a grid. Accumulate in the data model accumulation DB 25B.
  • the CPU 21 of the automatic operation control device 20 creates a residence time distribution for each location, as an example, based on the past recognition results accumulated in the data model accumulation DB 25B.
  • the representative value of the residence time is calculated for each type of obstacle for each location divided by the grid, and the calculated representative value is accumulated in the data model accumulation DB 25B as the usual distribution of the location.
  • the CPU 21 of the automatic operation control device 20 performs periodic batch processing per unit time such as one day, for example, from the infrastructure camera 30 for each grid (location) per unit time Collect obstacle recognition results.
  • the CPU 21 of the automatic driving control device 20 accumulates obstacle recognition results per unit time collected from the infrastructure camera 30 in the data model accumulation DB 25B as evaluation target recognition results.
  • the CPU 21 of the automatic operation control device 20 creates a residence time distribution for each location, as an example, based on the evaluation target recognition results accumulated in the data model accumulation DB 25B. Then, the CPU 21 compares the generated residence time distribution based on the recognition result of the evaluation target with the residence time distribution based on the past recognition result generated in (S3), and determines whether the obstacle recognized as the evaluation target is erroneously recognized. judge.
  • the CPU 21 of the automatic driving control device 20 collects detailed data (image data and sensor data) uploaded from the infrastructure camera 30.
  • the CPU 21 of the automatic driving control device 20 associates the detailed data (image data and sensor data) collected from the infrastructure camera 30 with the recognition result of the evaluation target, and creates a data model. Accumulate in the accumulation DB 25B.
  • the CPU 21 of the automatic operation control device 20 presents the recognition result and detailed data of the evaluation target to the operator, and the operator inputs the determination result including the presence or absence of abnormality and the cause. accept.
  • the CPU 21 of the automatic driving control device 20 associates the determination result including the presence or absence of an abnormality and the factor received from the operator as a label with the recognition result and detailed data to be evaluated. and accumulates in the data model accumulation DB 25B.
  • the CPU 21 of the automatic driving control device 20 recognizes obstacles using learning data including recognition results, detailed data, and labels accumulated in the data model accumulation DB 25B. Retrain the model.
  • the CPU 21 of the automatic driving control device 20 distributes the recognition model re-learned in (S12) to the infrastructure camera 30.
  • the infrastructure camera 30 updates the recognition model stored in the storage unit 34 based on the delivered recognition model after re-learning.
  • FIG. 6 the operation of the automatic driving control device 20 according to the first embodiment will be described with reference to FIGS. 6 and 7.
  • FIG. 6 is a flowchart showing an example of the flow of feature quantity distribution creation processing by the automatic driving program 25A according to the first embodiment.
  • the automatic operation control device 20 is instructed to execute the feature quantity distribution creation process
  • the automatic operation program 25A is started and the following steps are executed.
  • step S101 of FIG. 6 the CPU 21 periodically collects the recognition results of obstacles recognized in the past from the infrastructure camera 30.
  • the obstacle recognition result includes, for example, the recognition ID, time, position information, type, tracking duration, direction of the obstacle, speed of the obstacle, coordinates of the obstacle within the grid, and the like. .
  • step S102 the CPU 21 accumulates the previously recognized obstacle recognition results periodically collected in step S101 in the data model accumulation DB 25B.
  • step S103 the CPU 21 creates a feature amount distribution of past recognition results based on the past recognition results accumulated in the data model accumulation DB 25B in step S102. Specifically, as an example, as shown in FIG. 3 described above, the residence time for each type is totaled for each location (place ID) partitioned by a grid, and a residence time distribution for each type is created.
  • step S104 the CPU 21 statistically analyzes the feature quantity distribution created in step S103, and calculates the representative value of the feature quantity distribution for each type. Specifically, as described above, the residence time distribution is statistically analyzed, and the representative value of the residence time distribution for each type is calculated. As this representative value, for example, an average, maximum value, minimum value, variance, or the like is used.
  • step S105 the CPU 21 accumulates the representative value of the feature amount distribution (for example, residence time distribution) for each type in step S104 in the data model accumulation DB 25B, and terminates the feature amount distribution creation processing by the automatic driving program 25A. do.
  • the representative value of the feature amount distribution for example, residence time distribution
  • FIG. 7 is a flowchart showing an example of the flow of abnormality detection processing and data collection/learning processing by the automatic driving program 25A according to the first embodiment.
  • the automatic operation control device 20 is instructed to execute the abnormality detection process and the data collection/learning process
  • the automatic operation program 25A is started and the following steps are executed.
  • step S111 of FIG. 7 the CPU 21 collects recognition results of obstacles recognized as evaluation targets from the infra-camera 30 .
  • step S112 the CPU 21 accumulates the recognition results of obstacles recognized as evaluation targets collected in step S111 in the data model accumulation DB 25B.
  • step S113 the CPU 21 creates a feature amount distribution of the recognition result of the evaluation object based on the recognition result of the evaluation object accumulated in the data model accumulation DB 25B in step S112.
  • step S114 the CPU 21 compares the representative value of the feature quantity distribution for each type accumulated in the data model accumulation DB 25B in step S105 of FIG. 6 with the representative value of the feature quantity distribution to be evaluated created in step S113. , as an example, the similarity is calculated as shown in FIG.
  • step S115 the CPU 21 determines whether or not the obstacle recognized as the evaluation target is erroneously recognized, as shown in FIG. 4 above, based on the degree of similarity calculated in step S116. If it is determined to be an erroneous recognition (in the case of affirmative determination), the process proceeds to step S116, and if it is determined that it is not an erroneous recognition (in the case of a negative determination), the abnormality detection processing and data collection/learning processing by the automatic operation program 25A are performed. finish.
  • step S116 the CPU 21 collects image data and sensor data from the infra-camera 30 when it is determined to be an erroneous recognition as detailed data, associates the collected detailed data with the recognition result, and accumulates them in the data model accumulation DB 25B. do.
  • step S117 the CPU 21 presents the operator with the recognition results and detailed data accumulated in the data model accumulation DB 25B in step S116, and accepts input of determination results including the presence or absence of anomalies and factors from the operator.
  • step S118 the CPU 21 stores the determination result (input result) received from the operator in step S117 as a label, and the data set including the recognition result, detailed data, and label as learning data in the data model accumulation DB 25B. do.
  • step S119 the CPU 21 re-learns the obstacle recognition model using the learning data accumulated in the data model accumulation DB 25B in step S118.
  • step S120 the CPU 21 distributes the recognition model re-learned in step S119 to the infrastructure camera 30, and terminates the abnormality detection processing and data collection/learning processing by the automatic driving program 25A.
  • the infrastructure camera 30 updates the recognition model stored in the storage unit 34 based on the delivered recognition model after re-learning.
  • the determination result is fed back to the recognition model. Therefore, erroneous recognition of obstacles is suppressed.
  • FIG. 8 is a block diagram showing an example of functional configurations of the infrastructure camera 30, the automatic driving control device 20A, and the in-vehicle device 10 according to the second embodiment.
  • An automatic driving system 100A is configured by the infrastructure camera 30, the automatic driving control device 20A, and the in-vehicle device 10.
  • FIG. 1 is a block diagram showing an example of functional configurations of the infrastructure camera 30, the automatic driving control device 20A, and the in-vehicle device 10 according to the second embodiment.
  • An automatic driving system 100A is configured by the infrastructure camera 30, the automatic driving control device 20A, and the in-vehicle device 10.
  • the infra-camera 30 is provided with a recognition unit, and obstacle feature values extracted in real time are used as evaluation targets.
  • the CPU 31 of the infrastructure camera 30 functions as each part shown in FIG. 8 by writing the control program stored in the storage part 34 into the RAM and executing it.
  • the CPU 21 of the automatic driving control device 20A functions as each part shown in FIG. 8 by writing the automatic driving program 25A stored in the storage part 25 into the RAM and executing it.
  • the CPU 11 of the in-vehicle device 10 writes the control program stored in the storage unit 14 into the RAM and executes it, thereby functioning as each unit shown in FIG.
  • the CPU 31 of the infrastructure camera 30 functions as an operation control section 31A, a recognition section 31B, a data transmission section 31C, and a data reception section 31D.
  • the infrastructure camera 30 according to the present embodiment has the same components as those of the infrastructure camera 30 described in the first embodiment, and thus repeated description thereof will be omitted.
  • the CPU 21 of the automatic driving control device 20A includes a recognition result collection unit 21A, a feature amount distribution creation unit 21B, an erroneous recognition determination unit 21H, a detailed data collection unit 21D, an operator presentation unit 21E, and a recognition model learning unit. 21F, a recognition model distribution unit 21G, and a vehicle notification unit 21J.
  • the same components as the components of the automatic operation control device 20 described in the first embodiment are given the same reference numerals, and the repeated description is omitted. do.
  • the false recognition determination unit 21H uses at least one of the residence time distribution, the movement speed distribution, and the movement distance distribution created by the feature quantity distribution creation unit 21B, and the residence time, the movement speed, and the obstacle recognized as the evaluation target. At least one of the moving distances is compared to determine erroneous recognition of the obstacle recognized as the evaluation target. This comparison is performed based on at least one of a threshold obtained from the residence time distribution, a threshold obtained from the movement speed distribution, and a threshold obtained from the movement distance distribution. For the threshold here, for example, each average value of the residence time distribution, the moving speed distribution, and the moving distance distribution is used.
  • FIG. 9 is a diagram for explaining the erroneous recognition determination process according to the second embodiment.
  • the distribution of residence time for each type of obstacle is shown for each grid-divided location.
  • the horizontal axis is time t
  • the vertical axis is the number of obstacles
  • the number of obstacles that occur in each time period is shown as a histogram.
  • the erroneous recognition determination unit 21H preliminarily extracts the threshold Th from the residence time distribution created for each grid from past recognition results. As described above, the average value of the residence time distribution is used for the threshold Th.
  • the erroneous recognition determination unit 21H compares the extracted threshold Th with the dwell time obtained from the recognition result of the evaluation object, and determines that it is abnormal (erroneous recognition) when the dwell time exceeds the threshold. In this embodiment, when the residence time of the obstacle to be evaluated is acquired, false recognition is determined in real time.
  • the vehicle notification unit 21J transmits the obstacle information to which a flag for excluding the obstacle recognition result is given to an automatic vehicle traveling around the obstacle. Notify the driving vehicle.
  • the vehicle notification unit 21J is an example of a notification unit.
  • the operator presentation unit 21E presents the image data and the sensor data when the erroneous recognition is determined to the operator.
  • An input of determination results including the presence or absence of an abnormality and factors may be accepted.
  • the vehicle notification unit 21J receives an input indicating that there is an abnormality from the operator, the vehicle notification unit 21J sends the obstacle information with a flag for excluding the obstacle recognition result to the automatically driving vehicle traveling around the obstacle. Notice.
  • the automated driving vehicle is notified to exclude the obstacle from the recognition results.
  • a unique recognition ID is assigned to each obstacle, and the same recognition ID is assigned during tracking. Therefore, by notifying the automatically driving vehicle of the flag containing the recognition ID, the automatically driving vehicle can remove the recognition result of the corresponding obstacle.
  • the CPU 11 of the in-vehicle device 10 functions as a data receiving section 11A and a recognition section 11B.
  • the data receiving unit 11A controls the reception of obstacle information with a flag for excluding obstacle recognition results notified from the vehicle notification unit 21J.
  • the recognition unit 11B recognizes obstacles based on image data captured by the camera 16 of its own device, and recognizes obstacles based on the obstacle recognition results obtained from the infrastructure camera 30. perform recognition. That is, the recognition unit 11B recognizes an obstacle by combining the recognition result using the obstacle recognition function of its own device and the recognition result acquired from the infra-camera 30 .
  • the recognition unit 11B shares the recognition ID included in the recognition result acquired from the infrastructure camera 30 with the automatic driving control device 20A. Therefore, when the obstacle information with the flag for excluding the recognition result of the obstacle is received, the recognition unit 11B specifies the recognition result of the obstacle to be excluded by the recognition ID included in the flag. can do.
  • FIG. 10 the operation of the automatic operation control device 20A according to the second embodiment will be described with reference to FIGS. 10 and 11.
  • FIG. 10 the operation of the automatic operation control device 20A according to the second embodiment will be described with reference to FIGS. 10 and 11.
  • FIG. 10 is a flowchart showing an example of the flow of feature quantity distribution creation processing by the automatic driving program 25A according to the second embodiment.
  • the automatic operation control device 20A is instructed to execute the feature quantity distribution creation process
  • the automatic operation program 25A is started and the following steps are executed.
  • step S121 of FIG. 10 the CPU 21 periodically collects the recognition results of obstacles recognized in the past from the infrastructure camera 30.
  • the obstacle recognition result includes, for example, the recognition ID, time, position information, type, tracking duration, direction of the obstacle, speed of the obstacle, coordinates of the obstacle within the grid, and the like. .
  • step S122 the CPU 21 accumulates the previously recognized obstacle recognition results periodically collected in step S121 in the data model accumulation DB 25B.
  • step S123 the CPU 21 creates a feature quantity distribution of past recognition results based on the past recognition results accumulated in the data model accumulation DB 25B in step S122. Specifically, as an example, as shown in FIG. 9 described above, the residence time for each type is totaled for each grid-divided location, and a residence time distribution for each type is created.
  • the CPU 21 extracts a threshold value from the feature quantity distribution created at step S123.
  • this threshold value for example, the average value of the feature amount is used.
  • step S125 the CPU 21 accumulates the threshold value of the feature amount distribution (for example, residence time distribution) for each type in step S124 in the data model accumulation DB 25B, and terminates the feature amount distribution creation processing by the automatic driving program 25A. .
  • the threshold value of the feature amount distribution for example, residence time distribution
  • FIG. 11 is a flowchart showing an example of the flow of abnormality detection processing and vehicle notification processing by the automatic driving program 25A according to the second embodiment.
  • the automatic driving control device 20A is instructed to execute the abnormality detection process and the vehicle notification process
  • the automatic driving program 25A is started and the following steps are executed.
  • step S131 of FIG. 11 the CPU 21 acquires from the infrastructure camera 30 the recognition result of the obstacle recognized as the evaluation target.
  • step S132 the CPU 21 acquires a feature amount (for example, dwell time) from the recognition result of the obstacle recognized as an evaluation target acquired in step S131.
  • a feature amount for example, dwell time
  • step S133 the CPU 21 reads the threshold value corresponding to the feature amount (eg, residence time) acquired in step S132 from the data model accumulation DB 25B.
  • the feature amount eg, residence time
  • step S134 the CPU 21 determines whether or not the feature amount (for example, residence time) is greater than a threshold, as shown in FIG. 9 above. If it is determined that the feature amount is greater than the threshold value, that is, if it is determined to be an erroneous recognition (in the case of affirmative determination), the process proceeds to step S135. When it is determined that it is not recognized (in the case of a negative determination), the abnormality detection processing and vehicle notification processing by the automatic driving program 25A are terminated.
  • the feature amount for example, residence time
  • step S135 the CPU 21 collects the image data and sensor data from the infra-camera 30 when it is determined to be an erroneous recognition as detailed data, associates the collected detailed data with the recognition result, and accumulates them in the data model accumulation DB 25B. do.
  • step S136 the CPU 21 presents the operator with the recognition results and detailed data accumulated in the data model accumulation DB 25B in step S135, and accepts input from the operator of determination results including the presence or absence of an abnormality and factors.
  • step S137 the CPU 21 determines whether or not the determination result (input result) received from the operator in step S136 is abnormal. If the determination result (input result) indicates that there is an abnormality (in the case of affirmative determination), the process proceeds to step S138, and if the determination result (input result) indicates that there is no abnormality (in the case of a negative determination), the automatic operation program 25A Abnormality detection processing and vehicle notification processing are terminated.
  • step S138 the CPU 21 adds a flag (exclusion flag) to the obstacle information to exclude the recognition result of the obstacle determined to be abnormal in step S137.
  • step S139 the CPU 21 notifies, in real time, the obstacle information to which the exclusion flag has been added in step S138 to the automatic driving vehicle traveling around the relevant obstacle, and the abnormality detection processing by the automatic driving program 25A and the vehicle End notification processing.
  • the autonomous vehicle Upon receiving the obstacle information notification, the autonomous vehicle removes the corresponding obstacle recognition result based on the flag included in the obstacle information.
  • a recognition unit is provided in the automatic driving control device, and a feature amount distribution of obstacles extracted by batch processing every predetermined period is used as an evaluation target.
  • FIG. 12 is a block diagram showing an example of functional configurations of an infrastructure camera 30A and an automatic driving control device 20B according to the third embodiment.
  • An automatic driving system 100B is configured by the infrastructure camera 30A and the automatic driving control device 20B.
  • a recognition unit is provided in the automatic driving control device 20B, and the obstacle feature quantity distribution extracted by batch processing every predetermined period is used as the evaluation target.
  • the CPU 31 of the infrastructure camera 30A writes the control program stored in the storage section 34 into the RAM and executes it, thereby functioning as each section shown in FIG. Further, the CPU 21 of the automatic driving control device 20B according to this embodiment functions as each part shown in FIG. 12 by writing the automatic driving program 25A stored in the storage part 25 into the RAM and executing it.
  • the CPU 31 of the infrastructure camera 30A functions as an operation control section 31A and a data transmission section 31C.
  • the infrastructure camera 30A according to the present embodiment has the same components as some of the components of the infrastructure camera 30A described in the first embodiment, and thus repeated description thereof will be omitted.
  • the CPU 21 of the automatic driving control device 20B includes a data collection unit 21K, a recognition unit 21L, a feature quantity distribution creation unit 21B, an erroneous recognition determination unit 21C, an operator presentation unit 21E, and a recognition model learning unit 21F. Function.
  • the same components as the components of the automatic operation control device 20 described in the first embodiment are given the same reference numerals, and the repeated description is omitted. do.
  • the data collection unit 21K collects image data and sensor data from the infrastructure camera 30, and accumulates the collected image data and sensor data in the data model accumulation DB 25B.
  • the recognition unit 21L recognizes obstacles using recognition models stored in the data model accumulation DB 25B based on the image data collected by the data collection unit 21K or the image data and sensor data.
  • the recognition unit 21L accumulates the recognition result obtained by recognizing the obstacle in the data model accumulation DB 25B in association with the image data and the sensor data.
  • the obstacle recognition result includes, for example, the recognition ID, time, position information, type, tracking duration, direction of the obstacle, speed of the obstacle, coordinates of the obstacle in the grid, and the like. included.
  • the recognition unit 21L is provided in the automatic driving control device 20B, so the obstacle recognition processing is performed by the automatic driving control device 20B instead of the infrastructure camera 30A.
  • the recognition model is updated not by the infrastructure camera 30A but by the automatic driving control device 20B.
  • the determination result is fed back to the recognition model. Therefore, erroneous recognition of obstacles is suppressed.
  • FIG. 13 is a block diagram showing an example of functional configurations of an infrastructure camera 30A, an automatic driving control device 20C, and an in-vehicle device 10 according to the fourth embodiment.
  • An automatic driving system 100C is configured by the infrastructure camera 30A, the automatic driving control device 20C, and the in-vehicle device 10.
  • FIG. 13 is a block diagram showing an example of functional configurations of an infrastructure camera 30A, an automatic driving control device 20C, and an in-vehicle device 10 according to the fourth embodiment.
  • An automatic driving system 100C is configured by the infrastructure camera 30A, the automatic driving control device 20C, and the in-vehicle device 10.
  • a recognition unit is provided in the automatic driving control device 20C, and obstacle feature values extracted in real time are used as evaluation targets.
  • the CPU 31 of the infrastructure camera 30A functions as each part shown in FIG. 13 by writing the control program stored in the storage part 34 into the RAM and executing it.
  • the CPU 21 of the automatic operation control device 20C functions as each unit shown in FIG. 13 by writing the automatic operation program 25A stored in the storage unit 25 into the RAM and executing it.
  • the CPU 11 of the in-vehicle device 10 writes the control program stored in the storage unit 14 into the RAM and executes it, thereby functioning as each unit shown in FIG. 13 .
  • the CPU 31 of the infrastructure camera 30A functions as an operation control section 31A and a data transmission section 31C.
  • the infrastructure camera 30A according to the present embodiment has some of the same components as those of the infrastructure camera 30 described in the second embodiment, and thus repeated description thereof will be omitted.
  • the CPU 21 of the automatic driving control device 20C includes a data collection unit 21K, a recognition unit 21L, a feature amount distribution creation unit 21B, an erroneous recognition determination unit 21H, an operator presentation unit 21E, a recognition model learning unit 21F, and It functions as the vehicle notification unit 21J.
  • the same components as those of the automatic operation control device 20A described in the second embodiment are denoted by the same reference numerals, and repeated description thereof is omitted. do.
  • the data collection unit 21K collects image data and sensor data from the infrastructure camera 30, and accumulates the collected image data and sensor data in the data model accumulation DB 25B, as in the example of FIG. 12 described above.
  • the recognition unit 21L uses the recognition model stored in the data model accumulation DB 25B based on the image data collected by the data collection unit 21K, or the image data and sensor data, as in the example of FIG. 12 described above. to recognize obstacles.
  • the recognition unit 21L accumulates the recognition result obtained by recognizing the obstacle in the data model accumulation DB 25B in association with the image data and the sensor data.
  • the obstacle recognition result includes, for example, the recognition ID, time, position information, type, tracking duration, direction of the obstacle, speed of the obstacle, coordinates of the obstacle in the grid, and the like. included.
  • the recognition unit 21L is provided in the automatic driving control device 20C, so the obstacle recognition processing is performed by the automatic driving control device 20C instead of the infrastructure camera 30A.
  • the recognition model is updated not by the infrastructure camera 30A but by the automatic driving control device 20C.
  • the determination result is immediately fed back to the automatically driving vehicle. For this reason, it is possible to prevent the travel of the automatically driving vehicle from being hindered due to erroneous recognition of obstacles.
  • (Appendix 2) the computer, A recognition unit that recognizes obstacles based on image data obtained by photographing a predetermined area including a road on which the autonomous vehicle travels with an imaging device installed at a specific location in the external environment of the autonomous vehicle, a creation unit that creates a feature quantity distribution that represents the distribution of feature quantities related to obstacles recognized in the past by the recognition unit; A determination unit that compares the feature quantity distribution created by the creating unit with the feature quantity of the obstacle recognized as the evaluation target, and determines erroneous recognition of the obstacle recognized as the evaluation target; A non-transitional recording medium that stores an automatic driving program to function as
  • the automatic driving system has been exemplified and explained.
  • the embodiment may be in the form of a program for causing a computer to execute the function of each part provided in the automatic driving system.
  • Embodiments may be in the form of a computer-readable non-transitional recording medium storing these programs.
  • the configuration of the automated driving system described in the above embodiment is an example, and may be changed according to the situation within a range that does not deviate from the gist.
  • Embodiments may be implemented by, for example, a hardware configuration or a combination of hardware and software configurations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

自動運転システム（１００）は、自動運転車両の外部環境における特定の場所に設置されたインフラカメラ（３０）によって自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識する認識部（３１Ｂ）と、過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成する特徴量分布作成部（２１Ｂ）と、作成された特徴量分布と、評価対象として認識された障害物の特徴量とを比較し、評価対象として認識された障害物の誤認識を判定する誤認識判定部（２１Ｃ）と、を備える。

Description

自動運転システム、自動運転方法、及び自動運転プログラム 関連出願の相互参照
　本出願は、２０２１年２月２５日に出願された日本出願番号２０２１－０２９２６３号に基づくもので、ここにその記載内容を援用する。
　本開示は、自動運転システム、自動運転方法、及び自動運転プログラムに関する。
　自動運転システムでは、自動運転車両が走行する路面側に設置されたカメラから、自動運転車両を含む所定領域を撮影した画像データを取得し、取得した画像データに基づいて、自動運転走行中に、歩行者、駐車車両等の障害物を認識することが行われる。
　例えば、特許文献１には、自動運転走行する際に、路面側に設置されたカメラから得られた画像データに基づいて、制御対象車両を障害物として誤認識することを抑制する走行支援制御装置が記載されている。この走行支援制御装置は、自動運転走行が可能な制御対象車両を含む所定領域を撮像して画像情報を取得する、制御対象車両以外に配置された少なくとも１つのカメラと、カメラにより取得された画像情報に基づき、所定領域内での制御対象車両の自動運転走行を支援する走行支援部と、カメラにより取得された画像情報に基づき、制御対象車両の位置を把握する位置把握部と、位置把握部により把握された制御対象車両の位置に基づき、カメラにより取得された画像情報から少なくとも制御対象車両領域を除外する制御対象車両領域除外部と、を備える。この走行支援部は、制御対象車両領域除外部により制御対象車両領域が除外された所定領域内での障害物を認識しながら制御対象車両の自動運転走行の支援を行う。
特開２０１６－５７６７７号公報
　ところで、上記特許文献１に記載の技術では、障害物の認識精度が低下してくると、障害物の誤認識（つまり、実際には障害物ではないのに障害物として誤って認識してしまう。）が発生する場合がある。障害物の誤認識が発生すると、自動運転車両は、例えば、障害物の手前で停止する、障害物を回避する、等の行動をとらなくてはならず、走行に支障が出る。
　本開示は、自動運転車両の外部環境における特定の場所に設置された撮影装置の画像データに基づく障害物の誤認識を抑制することができる自動運転システム、自動運転方法、及び自動運転プログラムを提供することを目的とする。
　本開示の第１態様に係る自動運転システムは、自動運転車両の外部環境における特定の場所に設置された撮影装置によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識する認識部と、前記認識部により過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成する作成部と、前記作成部により作成された特徴量分布と、評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する判定部と、を備えている。
　本開示の第２態様に係る自動運転方法は、自動運転車両の外部環境における特定の場所に設置された撮影装置によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識し、過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成し、前記作成された特徴量分布と、評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する。
　本開示の第３態様に係る自動運転プログラムは、コンピュータを、自動運転車両の外部環境における特定の場所に設置された撮影装置によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識する認識部、前記認識部により過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成する作成部、及び、前記作成部により作成された特徴量分布と、評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する判定部、として機能させる。
　開示の技術によれば、自動運転車両の外部環境における特定の場所に設置された撮影装置の画像データに基づく障害物の誤認識を抑制することができる、という効果を有する。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、下記の通りである。
第１の実施形態に係る自動運転システムの構成の一例を示す図である。 第１の実施形態に係るインフラカメラ及び自動運転制御装置の機能的な構成の一例を示すブロック図である。 実施形態に係る滞留時間分布作成処理の説明に供する図である。 第１の実施形態に係る誤認識判定処理の説明に供する図である。 第１の実施形態に係る特徴量分布作成フェーズ、異常検出フェーズ、及びデータ収集・学習フェーズの説明に供する図である。 第１の実施形態に係る自動運転プログラムによる特徴量分布作成処理の流れの一例を示すフローチャートである。 第１の実施形態に係る自動運転プログラムによる異常検出処理及びデータ収集・学習処理の流れの一例を示すフローチャートである。 第２の実施形態に係るインフラカメラ、自動運転制御装置、及び車載装置の機能的な構成の一例を示すブロック図である。 第２の実施形態に係る誤認識判定処理の説明に供する図である。 第２の実施形態に係る自動運転プログラムによる特徴量分布作成処理の流れの一例を示すフローチャートである。 第２の実施形態に係る自動運転プログラムによる異常検出処理及び車両通知処理の流れの一例を示すフローチャートである。 第３の実施形態に係るインフラカメラ及び自動運転制御装置の機能的な構成の一例を示すブロック図である。 第４の実施形態に係るインフラカメラ、自動運転制御装置、及び車載装置の機能的な構成の一例を示すブロック図である。
　以下、図面を参照して、本開示の技術を実施するための形態の一例について詳細に説明する。
[第１の実施形態]
　図１は、第１の実施形態に係る自動運転システム１００の構成の一例を示す図である。
　図１に示すように、本実施形態に係る自動運転システム１００は、自動運転車両に搭載された車載装置１０と、自動運転支援センタに設けられた自動運転制御装置２０と、自動運転車両の外部環境における特定の場所に設置されたカメラ（以下、「インフラカメラ」という。）３０と、を備えている。ここでいう特定の場所は、例えば、道路等の公共の場所を含む。インフラカメラ３０は、道路の周辺にある電柱、街灯等の設備を利用して設置されてもよい。
　自動運転制御装置２０は、自動運転支援センタによる管理対象領域内の自動運転車両に対して遠隔支援を行う。なお、本実施形態では、自動運転車両として自家用の乗用車を例示して説明するが、例えば、トラック、バス、タクシー等の他の車両に適用してもよい。また、自動運転車両は、車両の制御や非常時に車両の制御を代替するために乗車する有人の場合も含む。さらに、車両の操舵の一部が自動で行われる車両も含む。
　車載装置１０及び自動運転制御装置２０は、ネットワークＮを介して通信可能に接続されている。ネットワークＮには、一例として、インターネット、ＷＡＮ（Wide Area Network）等が適用される。また、インフラカメラ３０及び自動運転制御装置２０は、ネットワークＮを介して通信可能に接続されている。また、インフラカメラ３０及びインフラカメラ３０の周辺を走行する自動運転車両の車載装置１０は、ネットワークＮを介して通信可能に接続される。
　自動運転車両は、所定の条件下において運転者の操作によらず自動走行が可能な車両である。自動運転車両は、走行中に路上駐車、渋滞、工事等の何らかの事象が発生すると、追い越し又は待機という動作を行う。自動運転車両は、異常発生時等のように状況に応じて自動運転支援センタによって走行支援が行われる。
　車載装置１０は、住所又は緯度経度等の目的地の情報に基づいて、目的地までの走行ルートを含む走行計画を生成する機能、及び、自車両の自動運転を制御する機能を備えている。車載装置１０は、ＣＰＵ（Central Processing Unit）１１と、メモリ１２と、表示部１３と、記憶部１４と、センサ群１５と、カメラ１６と、通信部１７と、を備えている。
　ＣＰＵ１１は、プロセッサの一例である。ここでいうプロセッサとは、広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ）や、専用のプロセッサ（例えば、ＧＰＵ： Graphics Processing Unit、ＡＳＩＣ： Application Specific Integrated Circuit、ＦＰＧＡ： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。メモリ１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成されている。
　表示部１３には、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）ディスプレイ等が用いられる。表示部１３は、タッチパネルを一体的に有していてもよい。
　記憶部１４には、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等が用いられる。記憶部１４には、自動運転の制御を行うための制御プログラム（図示省略）が記憶されている。
　センサ群１５は、自車両の周囲の状況を把握するための各種のセンサにより構成されている。センサ群１５は、車両外部の所定範囲に探査波を送信するミリ波レーダと、少なくとも車両前方の所定範囲をスキャンするＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）と、を含んでいる。また、センサ群１５には、自車両に搭載されるＧＮＳＳ（Global Navigation Satellite System）受信機が含まれていてもよい。このＧＮＳＳ受信機により、自車両の現在位置及び現在時刻等の情報が取得される。
　カメラ１６は、自車両の所定方向の所定範囲を撮影する。具体的に、カメラ１６は、自車両の全周囲に設けられており、自車両の全周囲領域を撮影する。カメラ１６は、１台でもよいが、より多くの情報を得るために複数個所に複数台設けられていてもよい。
　通信部１７は、インターネット、ＷＡＮ等のネットワークＮに接続し、自動運転制御装置２０と通信を行うための通信インターフェースである。
　なお、車載装置１０は、自動運転に必要な走行装置（図示省略）と接続されており、この走行装置を制御することで自動運転を行う。この走行装置には、一例として、電動パワーステアリング、電子制御ブレーキ、電子制御スロットル等が含まれる。
　車載装置１０は、自車両の走行計画に従って自動運転するように自車両の駆動、操舵、及び制動を制御することで自動運転を行う。なお、自動運転の方法自体には、様々な公知の方法が存在し、本実施形態では特に限定されるものではない。
　また、インフラカメラ３０は、撮影装置の一例である。インフラカメラ３０は、例えば、自動運転車両が走行する道路側に設けられており、自動運転車両が走行する道路を含む所定領域を監視するカメラとして機能する。インフラカメラ３０は、ＣＰＵ３１と、メモリ３２と、通信部３３と、記憶部３４と、センサ群３５と、カメラ３６と、を備えている。
　ＣＰＵ３１は、プロセッサの一例である。ここでいうプロセッサとは、上述したように、広義的なプロセッサを指し、汎用的なプロセッサや、専用のプロセッサを含むものである。メモリ３２は、ＲＯＭ、ＲＡＭ等により構成されている。
　通信部３３は、インターネット、ＷＡＮ等のネットワークＮに接続し、自動運転制御装置２０と通信を行うための通信インターフェースである。
　記憶部３４には、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等が用いられる。記憶部３４には、インフラカメラ３０の動作の制御を行うための制御プログラム（図示省略）が記憶されている。
　センサ群３５は、インフラカメラ３０の周囲の状況を把握するための各種のセンサにより構成されている。センサ群３５は、例えば、少なくともカメラ前方の所定範囲をスキャンするＬＩＤＡＲ等を含んでいる。
　カメラ３６は、自動運転車両が走行する道路を含む所定領域を撮影して時系列の画像データ（動画像データ）を取得するカメラである。カメラ３６は、１台でもよいし、複数台設けられていてもよい。
　一方、自動運転制御装置２０は、自動運転車両の車載装置１０と定期的に通信することにより自動運転車両の車両状態を監視する。また、自動運転制御装置２０は、インフラカメラ３０と定期的に通信することにより障害物の状態を監視する。自動運転制御装置２０には、一例として、サーバコンピュータ、パーソナルコンピュータ（ＰＣ：Personal Computer）等の汎用的なコンピュータ装置が適用される。自動運転制御装置２０は、ＣＰＵ２１と、メモリ２２と、操作部２３と、表示部２４と、記憶部２５と、通信部２６と、を備えている。
　ＣＰＵ２１は、プロセッサの一例である。ここでいうプロセッサとは、上述したように、広義的なプロセッサを指し、汎用的なプロセッサや、専用のプロセッサを含むものである。メモリ２２は、ＲＯＭ、ＲＡＭ等により構成されている。
　操作部２３は、自動運転制御装置２０への操作入力を受け付けるためのインターフェースとして構成されている。表示部２４には、例えば、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ等が用いられる。表示部２４は、タッチパネルを一体的に有していてもよい。
　記憶部２５には、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等が用いられる。記憶部２５には、本実施形態に係る自動運転プログラム２５Ａが記憶されている。自動運転プログラム２５Ａは、例えば、自動運転制御装置２０に予めインストールされていてもよい。自動運転プログラム２５Ａは、不揮発性の非遷移的（non-transitory）記録媒体に記憶して、又はネットワークＮを介して配布して、自動運転制御装置２０に適宜インストールすることで実現してもよい。なお、不揮発性の非遷移的記録媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が想定される。
　通信部２６は、インターネット、ＷＡＮ等のネットワークＮに接続し、車載装置１０及びインフラカメラ３０の各々と通信を行うための通信インターフェースである。
　ところで、上述したように、障害物の認識精度が低下してくると、障害物の誤認識が発生し、自動運転車両の走行に支障が出る場合がある。
　このため、本実施形態に係るインフラカメラ３０のＣＰＵ３１は、記憶部３４に記憶されている制御プログラムをＲＡＭに書き込んで実行することにより、図２に示す各部として機能する。また、本実施形態に係る自動運転制御装置２０のＣＰＵ２１は、記憶部２５に記憶されている自動運転プログラム２５ＡをＲＡＭに書き込んで実行することにより、図２に示す各部として機能する。
　図２は、第１の実施形態に係るインフラカメラ３０及び自動運転制御装置２０の機能的な構成の一例を示すブロック図である。
　本実施形態では、インフラカメラ３０に認識部が設けられ、評価対象として、所定期間毎にバッチ処理で抽出される障害物の特徴量分布が用いられる。
　図２に示すように、本実施形態に係るインフラカメラ３０のＣＰＵ３１は、動作制御部３１Ａ、認識部３１Ｂ、データ送信部３１Ｃ、及びデータ受信部３１Ｄとして機能する。
　動作制御部３１Ａは、センサ群３５及びカメラ３６の各々の動作を制御する。動作制御部３１Ａは、センサ群３５から取得された時系列のセンサデータを記憶部３４に蓄積し、カメラ３６によって撮影して得られた時系列の画像データを記憶部３４に蓄積する。
　認識部３１Ｂは、カメラ３６によって撮影して得られた時系列の画像データ、又は、画像データ及びセンサデータから、障害物を認識する。なお、画像データは、上述したように、自動運転車両が走行する道路を含む所定領域を撮影して得られたものである。障害物とは、例えば、駐車車両、歩行者等である。障害物の認識には、例えば、機械学習により得られた認識モデルが用いられる。認識モデルは記憶部３４に格納されている。機械学習の手法は、特に限定されるものではないが、例えば、ニューラルネットワーク、ランダムフォレスト、サポートベクタマシン等が挙げられる。認識部３１Ｂは、障害物の認識結果を記憶部３４に蓄積する。障害物の認識結果には、例えば、認識ＩＤ（Identification）、時刻、位置情報、種別、トラッキング継続時間、障害物の方向、障害物の速度、障害物のグリッド内の座標等が含まれる。種別は、障害物の種別を表し、例えば、駐車車両、歩行者等として表される。トラッキング継続時間は、グリッド内でインフラカメラ３０が障害物を認識してから認識が途切れるまでの時間、つまり、障害物の滞留時間を表す。なお、グリッドには、例えば、公知の技術であるジオハッシュ（geohash）、ノード等が用いられる。
　データ送信部３１Ｃは、認識部３１Ｂによる障害物の認識結果を自動運転制御装置２０に通信部３３を介して送信する制御を行う。また、データ送信部３１Ｃは、認識部３１Ｂによる障害物の認識結果を、当該障害物の周辺を走行する自動運転車両に通信部３３を介して送信する制御を行う。
　データ受信部３１Ｄは、自動運転制御装置２０によって再学習された認識モデルを、通信部３３を介して受信する制御を行う。
　また、図２に示すように、本実施形態に係る自動運転制御装置２０のＣＰＵ２１は、認識結果収集部２１Ａ、特徴量分布作成部２１Ｂ、誤認識判定部２１Ｃ、詳細データ収集部２１Ｄ、オペレータ提示部２１Ｅ、認識モデル学習部２１Ｆ、及び認識モデル配信部２１Ｇとして機能する。
　認識結果収集部２１Ａは、インフラカメラ３０から障害物の認識結果を定期的に収集し、収集した認識結果をデータ・モデル蓄積データベース（以下、「データ・モデル蓄積ＤＢ」という。）２５Ｂに蓄積する。なお、このデータ・モデル蓄積ＤＢ２５Ｂは、一例として、記憶部２５に記憶されているが、外部の記憶装置に記憶されていてもよい。
　特徴量分布作成部２１Ｂは、データ・モデル蓄積ＤＢ２５Ｂに蓄積された認識結果に基づいて、過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成する。特徴量分布は、例えば、障害物が滞留した時間の分布を表す滞留時間分布、障害物が移動した速度の分布を表す移動速度分布、及び、障害物が移動した距離の分布を表す移動距離分布の少なくとも１つとされる。なお、障害物の移動距離は、認識結果に含まれる、障害物のグリッド内の座標から算出される。また、特徴量分布は、障害物の座標の分布、方向の分布、及び、誤認識の判定結果に対してオペレータが入力した異常の要因（ラベル）の分布の少なくとも１つであってもよい。特徴量分布作成部２１Ｂは、作成部の一例である。
　ここで、図３を参照して、特徴量分布の一例である滞留時間分布を作成する場合について具体的に説明する。
　図３は、本実施形態に係る滞留時間分布作成処理の説明に供する図である。
　図３に示すように、インフラカメラ３０は、自動運転車両が走行する道路４１を含む所定領域を連続的あるいは定期的に撮影して時系列の画像データを取得し、取得した画像データから障害物４０（図３の例では歩行者）を認識する。
　認識結果収集部２１Ａは、上述したように、インフラカメラ３０から障害物の滞留時間を定期的に収集する。そして、認識結果収集部２１Ａは、収集した滞留時間をグリッドで区切られた場所（場所ＩＤ）毎に種別と滞留時間を特定可能なようにデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。
　特徴量分布作成部２１Ｂは、データ・モデル蓄積ＤＢ２５Ｂに蓄積された滞留時間に基づいて、グリッドで区切られた場所（場所ＩＤ）毎に種別毎の滞留時間を集計し、種別毎の滞留時間の代表値を算出する。グリッドには、上述したように、例えば、ジオハッシュが用いられる。図３の例では、場所ＩＤの各々について障害物の種別（ここでは歩行者、駐車車両）毎の滞留時間の分布を示している。横軸は時間ｔ、縦軸は障害物の数（頻度ｆ）であり、時間帯毎に発生する障害物の数がヒストグラムとして示されている。なお、ヒストグラムを作成する場合、ｂｉｎ数、幅は、グリッドに依らず一律ではなく、グリッド毎に決定される。ｂｉｎ数、幅を決定する方法は、例えば、スタージェスの公式を用いて決定してもよいし、グリッド毎に蓄積したデータの分布から決定してもよい。
　滞留時間の代表値には、一例として、平均、最大値、最小値、分散等が用いられる。特徴量分布作成部２１Ｂは、グリッド内でトラッキング継続時間として表される滞留時間に基づいて代表値ｘｄを算出する。分布作成時の代表値としては、障害物の移動速度、障害物の移動距離を同様に集計して、それぞれの代表値を算出してもよい。このようにして得られた代表値を並べたものを、下記に示すように、特徴ベクトルｘとして表現する。但し、Ｔは転置行列を示す。
　ｘ＝（ｘ１、ｘ２、ｘ３、・・・、ｘｄ）Ｔ
　誤認識判定部２１Ｃは、特徴量分布作成部２１Ｂにより作成された特徴量分布と、評価対象として認識された障害物の特徴量分布とを比較し、評価対象として認識された障害物の誤認識を判定する。なお、特徴量分布を作成する場合に、特定の期間、例えば、過去１ヶ月間の分布との比較とすると１サンプルとなるが、１週間単位で１ヶ月分、すなわち５週（＝５サンプル）、あるいは、日単位で１週間分、すなわち７日（＝７サンプル）として作成してもよい。具体的に、誤認識判定部２１Ｃは、特徴量分布作成部２１Ｂにより作成された滞留時間分布、移動速度分布、及び移動距離分布の少なくとも１つと、評価対象として認識された障害物の滞留時間分布、移動速度分布、及び移動距離分布の少なくとも１つとを比較し、評価対象として認識された障害物の誤認識を判定する。この比較は、滞留時間分布の統計分析から得られる代表値、移動速度分布の統計分析から得られる代表値、及び、移動距離分布の統計分析から得られる代表値の少なくとも１つを基準として実行される。誤認識判定部２１Ｃは、判定部の一例である。なお、単位時間あたりの障害物の数を誤認識の指標としてもよい。つまり、その場所では通常起こりえない数の障害物が発生している場合に、誤認識と判定してもよい。
　ここで、図４を参照して、複数の特徴量の一例として滞留時間、移動速度、及び移動距離を用いて障害物の誤認識を判定する場合について説明する。
　図４は、第１の実施形態に係る誤認識判定処理の説明に供する図である。
　誤認識判定部２１Ｃは、過去の認識結果からグリッド別に作成した特徴量分布（滞留時間分布、移動速度分布、及び移動距離分布）の代表値の特徴ベクトルと、評価対象の認識結果から作成した特徴量分布の代表値の特徴ベクトルとを比較し、類似度を算出する。評価対象の認識結果は、例えば、１日の終わりにバッチ処理して抽出すればよい。評価対象の認識結果は、Ｎ時間（単位時間）毎に定期的にバッチ処理を実行してもよい。類似度を算出する方法としては、一例として、図４に示すユークリッド距離が用いられる。この場合、ユークリッド距離が短いほど、類似度が高くなる。過去の認識結果の集合と、評価対象の認識結果との間の類似度を算出し、障害物の誤認識を判定する。例えば、予め異常のない（誤認識のない）集合間で作成した類似度の平均距離を閾値として設定し、それを超えたものを誤認識（異常）と判定する。
　なお、類似度を算出する方法は、上記ユークリッド距離に限定されるものではない。例えば、ｋ近傍法、ＭＭＤ（Maximum Mean Discrepancy）、ＫＬ距離等を用いて比較してもよい。例えば、ｋ近傍法は、データの分布が複雑でも適切に評価できる等の特徴がある。ＭＭＤは、他の分布間距離尺度と比べ、任意の分布形状を考慮できる、計算が容易である等の特徴がある。なお、ＭＭＤを用いる場合、代表値を算出することなく、認識ＩＤ別の滞留時間、移動速度、移動距離などの変数を特徴ベクトル（＝１サンプル）として用いて比較することができる。
　詳細データ収集部２１Ｄは、誤認識判定部２１Ｃにより障害物が誤認識と判定された場合、インフラカメラ３０から画像データ及びセンサデータを詳細データとして収集する。具体的には、誤認識と判定されたときのインフラカメラ３０、場所、時刻が特定できるため、該当するインフラカメラ３０に対して、関連するグリッド内の詳細データをアップロードするように指示を出す。これにより全ての時刻の詳細データを収集する必要がなく、該当する時刻の詳細データのみを選択的に収集することができる。
　オペレータ提示部２１Ｅは、誤認識判定部２１Ｃにより障害物が誤認識と判定された場合に、オペレータに対して、誤認識と判定されたときの画像データを提示し、オペレータから異常の有無及び要因を含む判定結果の入力を受け付ける。なお、オペレータに対して、画像データに加えてセンサデータを提示してもよい。オペレータ提示部２１Ｅは、オペレータから入力された異常の有無及び要因を含む判定結果をラベル（正解ラベル）として認識結果に対応付けてデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。データ・モデル蓄積ＤＢ２５Ｂには、後段の認識モデルの学習に利用し易いように、認識結果、詳細データ、及びラベル等を学習すべき負例として登録しておく。
　認識モデル学習部２１Ｆは、データ・モデル蓄積ＤＢ２５Ｂに蓄積された認識結果、詳細データ、及びラベルを含む学習用データを用いて、障害物の認識モデルを再学習する。なお、データ・モデル蓄積ＤＢ２５Ｂには、インフラカメラ３０の記憶部３４に記憶されている認識モデルと同様の認識モデルが格納されている。認識モデル学習部２１Ｆは、学習部の一例である。
　認識モデル配信部２１Ｇは、認識モデル学習部２１Ｆにより再学習された認識モデルを、通信部２６を介してインフラカメラ３０に配信する。インフラカメラ３０は、配信された再学習後の認識モデルにより、記憶部３４に記憶されている認識モデルを更新する。
　図５は、第１の実施形態に係る特徴量分布作成フェーズ、異常検出フェーズ、及びデータ収集・学習フェーズの説明に供する図である。
　図５に示す特徴量分布作成フェーズの（Ｓ１）では、自動運転制御装置２０のＣＰＵ２１が、インフラカメラ３０から障害物の認識結果を収集する。障害物の認識結果には、上述したように、例えば、認識ＩＤ、時刻、位置情報、種別、トラッキング継続時間、障害物の方向、障害物の速度、障害物のグリッド内の座標等が含まれる。
　特徴量分布作成フェーズの（Ｓ２）では、自動運転制御装置２０のＣＰＵ２１が、インフラカメラ３０から収集した過去の認識結果を、グリッドで区切られた場所毎に種別及び滞留時間を特定可能なようにデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。
　特徴量分布作成フェーズの（Ｓ３）では、自動運転制御装置２０のＣＰＵ２１が、データ・モデル蓄積ＤＢ２５Ｂに蓄積された過去の認識結果に基づいて、一例として、場所毎に滞留時間分布を作成する。このとき、グリッドで区切られた各場所について、障害物の種別毎に滞留時間の代表値を算出し、算出した代表値をその場所のいつもの分布としてデータ・モデル蓄積ＤＢ２５Ｂに蓄積しておく。
　異常検出フェーズの（Ｓ４）では、自動運転制御装置２０のＣＰＵ２１が、例えば、１日等の単位時間毎の定期的なバッチ処理により、インフラカメラ３０から、グリッド（場所）毎に単位時間あたりの障害物の認識結果を収集する。
　異常検出フェーズの（Ｓ５）では、自動運転制御装置２０のＣＰＵ２１が、インフラカメラ３０から収集した単位時間あたりの障害物の認識結果を評価対象の認識結果として、データ・モデル蓄積ＤＢ２５Ｂに蓄積する。
　異常検出フェーズの（Ｓ６）では、自動運転制御装置２０のＣＰＵ２１が、データ・モデル蓄積ＤＢ２５Ｂに蓄積した評価対象の認識結果に基づいて、一例として、場所毎に滞留時間分布を作成する。そして、ＣＰＵ２１は、作成した評価対象の認識結果に基づく滞留時間分布と、（Ｓ３）で作成した過去の認識結果に基づく滞留時間分布とを比較し、評価対象として認識された障害物の誤認識を判定する。
　異常検出フェーズの（Ｓ７）では、自動運転制御装置２０のＣＰＵ２１が、（Ｓ６）で障害物が誤認識と判定した場合、インフラカメラ３０に対して、場所及び時刻を特定し、関連するグリッド内の詳細データ（画像データ及びセンサデータ）をアップロードするように指示を出す。
　データ収集・学習フェーズの（Ｓ８）では、自動運転制御装置２０のＣＰＵ２１が、インフラカメラ３０からアップロードされた詳細データ（画像データ及びセンサデータ）を収集する。
　データ収集・学習フェーズの（Ｓ９）では、自動運転制御装置２０のＣＰＵ２１が、インフラカメラ３０から収集した詳細データ（画像データ及びセンサデータ）を、評価対象の認識結果に対応付けて、データ・モデル蓄積ＤＢ２５Ｂに蓄積する。
　データ収集・学習フェーズの（Ｓ１０）では、自動運転制御装置２０のＣＰＵ２１が、オペレータに対して評価対象の認識結果及び詳細データを提示し、オペレータから異常の有無及び要因を含む判定結果の入力を受け付ける。
　データ収集・学習フェーズの（Ｓ１１）では、自動運転制御装置２０のＣＰＵ２１が、オペレータから入力を受け付けた異常の有無及び要因を含む判定結果をラベルとして、評価対象の認識結果及び詳細データに対応付けて、データ・モデル蓄積ＤＢ２５Ｂに蓄積する。
　データ収集・学習フェーズの（Ｓ１２）では、自動運転制御装置２０のＣＰＵ２１が、データ・モデル蓄積ＤＢ２５Ｂに蓄積された認識結果、詳細データ、及びラベルを含む学習用データを用いて、障害物の認識モデルを再学習する。
　データ収集・学習フェーズの（Ｓ１３）では、自動運転制御装置２０のＣＰＵ２１が、（Ｓ１２）で再学習した認識モデルをインフラカメラ３０に配信する。インフラカメラ３０は、配信された再学習後の認識モデルに基づいて、記憶部３４に記憶されている認識モデルを更新する。
　次に、図６及び図７を参照して、第１の実施形態に係る自動運転制御装置２０の作用を説明する。
　図６は、第１の実施形態に係る自動運転プログラム２５Ａによる特徴量分布作成処理の流れの一例を示すフローチャートである。
　まず、自動運転制御装置２０に対して特徴量分布作成処理の実行が指示されると、自動運転プログラム２５Ａが起動され、以下の各ステップを実行する。
　図６のステップＳ１０１では、ＣＰＵ２１が、インフラカメラ３０から、過去に認識された障害物の認識結果を定期的に収集する。障害物の認識結果には、上述したように、例えば、認識ＩＤ、時刻、位置情報、種別、トラッキング継続時間、障害物の方向、障害物の速度、障害物のグリッド内の座標等が含まれる。
　ステップＳ１０２では、ＣＰＵ２１が、ステップＳ１０１で定期的に収集した、過去に認識された障害物の認識結果を、データ・モデル蓄積ＤＢ２５Ｂに蓄積する。
　ステップＳ１０３では、ＣＰＵ２１が、ステップＳ１０２でデータ・モデル蓄積ＤＢ２５Ｂに蓄積された過去の認識結果に基づいて、過去の認識結果の特徴量分布を作成する。具体的には、一例として、上述の図３に示すように、グリッドで区切られた場所（場所ＩＤ）毎に種別毎の滞留時間を集計し、種別毎の滞留時間分布を作成する。
　ステップＳ１０４では、ＣＰＵ２１が、ステップＳ１０３で作成した特徴量分布を統計分析し、種別毎の特徴量分布の代表値を算出する。具体的には、上述したように、滞留時間分布を統計分析し、種別毎の滞留時間分布の代表値を算出する。この代表値としては、例えば、平均、最大値、最小値、分散等が用いられる。
　ステップＳ１０５では、ＣＰＵ２１が、ステップＳ１０４で種別毎の特徴量分布（例えば、滞留時間分布）の代表値を、データ・モデル蓄積ＤＢ２５Ｂに蓄積し、本自動運転プログラム２５Ａによる特徴量分布作成処理を終了する。
　図７は、第１の実施形態に係る自動運転プログラム２５Ａによる異常検出処理及びデータ収集・学習処理の流れの一例を示すフローチャートである。
　まず、自動運転制御装置２０に対して異常検出処理及びデータ収集・学習処理の実行が指示されると、自動運転プログラム２５Ａが起動され、以下の各ステップを実行する。
　図７のステップＳ１１１では、ＣＰＵ２１が、インフラカメラ３０から、評価対象として認識された障害物の認識結果を収集する。
　ステップＳ１１２では、ＣＰＵ２１が、ステップＳ１１１で収集した、評価対象として認識された障害物の認識結果を、データ・モデル蓄積ＤＢ２５Ｂに蓄積する。
　ステップＳ１１３では、ＣＰＵ２１が、ステップＳ１１２でデータ・モデル蓄積ＤＢ２５Ｂに蓄積された評価対象の認識結果に基づいて、評価対象の認識結果の特徴量分布を作成する。
　ステップＳ１１４では、ＣＰＵ２１が、図６のステップＳ１０５でデータ・モデル蓄積ＤＢ２５Ｂに蓄積した種別毎の特徴量分布の代表値と、ステップＳ１１３で作成した評価対象の特徴量分布の代表値とを比較し、一例として、上述の図４に示すように、類似度を算出する。
　ステップＳ１１５では、ＣＰＵ２１が、ステップＳ１１６で算出した類似度に基づいて、一例として、上述の図４に示すように、評価対象として認識された障害物が誤認識であるか否かを判定する。誤認識と判定した場合（肯定判定の場合）、ステップＳ１１６に移行し、誤認識ではないと判定した場合（否定判定の場合）、本自動運転プログラム２５Ａによる異常検出処理及びデータ収集・学習処理を終了する。
　ステップＳ１１６では、ＣＰＵ２１が、インフラカメラ３０から、誤認識と判定されたときの画像データ及びセンサデータを詳細データとして収集し、収集した詳細データを認識結果に対応付けてデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。
　ステップＳ１１７では、ＣＰＵ２１が、ステップＳ１１６でデータ・モデル蓄積ＤＢ２５Ｂに蓄積した認識結果及び詳細データをオペレータに提示し、オペレータから異常の有無及び要因を含む判定結果の入力を受け付ける。
　ステップＳ１１８では、ＣＰＵ２１が、ステップＳ１１７でオペレータから入力を受け付けた判定結果（入力結果）をラベルとして、認識結果、詳細データ、及びラベルを含むデータセットを学習用データとしてデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。
　ステップＳ１１９では、ＣＰＵ２１が、ステップＳ１１８でデータ・モデル蓄積ＤＢ２５Ｂに蓄積した学習用データを用いて、障害物の認識モデルを再学習する。
　ステップＳ１２０では、ＣＰＵ２１が、ステップＳ１１９で再学習した認識モデルを、インフラカメラ３０に配信し、本自動運転プログラム２５Ａによる異常検出処理及びデータ収集・学習処理を終了する。インフラカメラ３０は、配信された再学習後の認識モデルに基づいて、記憶部３４に記憶されている認識モデルを更新する。
　このように本実施形態によれば、インフラカメラで認識された障害物が誤認識と判定された場合に、判定結果が認識モデルにフィードバックされる。このため、障害物の誤認識が抑制される。
[第２の実施形態]
　上記第１の実施形態では、インフラカメラに認識部が設けられ、評価対象として、所定期間毎にバッチ処理で抽出される障害物の特徴量分布を用いる形態について説明した。第２の実施形態では、インフラカメラに認識部が設けられ、評価対象として、リアルタイムで抽出される障害物の特徴量を用いる形態について説明する。
　図８は、第２の実施形態に係るインフラカメラ３０、自動運転制御装置２０Ａ、及び車載装置１０の機能的な構成の一例を示すブロック図である。これらインフラカメラ３０、自動運転制御装置２０Ａ、及び車載装置１０により自動運転システム１００Ａが構成される。
　本実施形態では、インフラカメラ３０に認識部が設けられ、評価対象として、リアルタイムで抽出される障害物の特徴量が用いられる。
　本実施形態に係るインフラカメラ３０のＣＰＵ３１は、記憶部３４に記憶されている制御プログラムをＲＡＭに書き込んで実行することにより、図８に示す各部として機能する。また、本実施形態に係る自動運転制御装置２０ＡのＣＰＵ２１は、記憶部２５に記憶されている自動運転プログラム２５ＡをＲＡＭに書き込んで実行することにより、図８に示す各部として機能する。また、本実施形態に係る車載装置１０のＣＰＵ１１は、記憶部１４に記憶されている制御プログラムをＲＡＭに書き込んで実行することにより、図８に示す各部として機能する。
　図８に示すように、本実施形態に係るインフラカメラ３０のＣＰＵ３１は、動作制御部３１Ａ、認識部３１Ｂ、データ送信部３１Ｃ、及びデータ受信部３１Ｄとして機能する。なお、本実施形態に係るインフラカメラ３０では、上記第１の実施形態で説明したインフラカメラ３０が有する構成要素と同じ構成要素を有しているため、その繰り返しの説明は省略する。
　また、本実施形態に係る自動運転制御装置２０ＡのＣＰＵ２１は、認識結果収集部２１Ａ、特徴量分布作成部２１Ｂ、誤認識判定部２１Ｈ、詳細データ収集部２１Ｄ、オペレータ提示部２１Ｅ、認識モデル学習部２１Ｆ、認識モデル配信部２１Ｇ、及び車両通知部２１Ｊとして機能する。なお、本実施形態に係る自動運転制御装置２０Ａでは、上記第１の実施形態で説明した自動運転制御装置２０が有する構成要素と同じ構成要素には同じ符号を付し、その繰り返しの説明は省略する。
　誤認識判定部２１Ｈは、特徴量分布作成部２１Ｂにより作成された滞留時間分布、移動速度分布、及び移動距離分布の少なくとも１つと、評価対象として認識された障害物の滞留時間、移動速度、及び移動距離の少なくとも１つとを比較し、評価対象として認識された障害物の誤認識を判定する。この比較は、滞留時間分布から得られる閾値、移動速度分布から得られる閾値、及び、移動距離分布から得られる閾値の少なくとも１つを基準として実行される。ここでいう閾値には、例えば、滞留時間分布、移動速度分布、及び移動距離分布の各々の平均値が用いられる。
　ここで、図９を参照して、特徴量の一例として滞留時間を用いて障害物の誤認識を判定する場合について説明する。
　図９は、第２の実施形態に係る誤認識判定処理の説明に供する図である。
　図９の例では、上述の図３の例と同様に、グリッドで区切られた場所の各々について障害物の種別（ここでは駐車車両）毎の滞留時間の分布を示している。横軸は時間ｔ、縦軸は障害物の数であり、時間帯毎に発生する障害物の数がヒストグラムとして示されている。
　誤認識判定部２１Ｈは、過去の認識結果からグリッド別に作成した滞留時間分布から閾値Ｔｈを予め抽出しておく。閾値Ｔｈには、上述したように、滞留時間分布の平均値が用いられる。誤認識判定部２１Ｈは、抽出した閾値Ｔｈと、評価対象の認識結果から得られた滞留時間とを比較し、滞留時間が閾値を超えた場合に異常（誤認識）と判定する。本実施形態では、評価対象とされる障害物の滞留時間が取得されると、リアルタイムで誤認識が判定される。
　車両通知部２１Ｊは、誤認識判定部２１Ｈにより障害物が誤認識と判定された場合に、障害物の認識結果を除外するフラグが付与された障害物情報を、障害物の周辺を走行する自動運転車両に通知する。車両通知部２１Ｊは、通知部の一例である。
　また、オペレータ提示部２１Ｅは、誤認識判定部２１Ｈにより障害物が誤認識と判定された場合に、オペレータに対して、誤認識と判定されたときの画像データ及びセンサデータを提示し、オペレータから異常の有無及び要因を含む判定結果の入力を受け付けようにしてもよい。この場合、車両通知部２１Ｊは、オペレータから異常有りの入力を受け付けた場合に、障害物の認識結果を除外するフラグが付与された障害物情報を、障害物の周辺を走行する自動運転車両に通知する。つまり、オペレータが異常と判定した場合には当該障害物を認識結果から除外するように自動運転車両に通知する。具体的に、障害物には固有の認識ＩＤが割り振られており、トラッキング中は同じ認識ＩＤが割り振られる。このため、認識ＩＤを含むフラグを自動運転車両に通知することで、自動運転車両では該当する障害物の認識結果を除去することができる。
　また、本実施形態に係る車載装置１０のＣＰＵ１１は、データ受信部１１Ａ及び認識部１１Ｂとして機能する。
　データ受信部１１Ａは、車両通知部２１Ｊから通知された、障害物の認識結果を除外するフラグが付与された障害物情報を受信する制御を行う。
　認識部１１Ｂは、自装置のカメラ１６によって撮影して得られた画像データに基づいて、障害物の認識を行うと共に、インフラカメラ３０から取得される障害物の認識結果に基づいて、障害物の認識を行う。つまり、認識部１１Ｂは、自装置の障害物認識機能を用いた認識結果と、インフラカメラ３０から取得される認識結果とを組み合わせて、障害物の認識を行う。認識部１１Ｂは、インフラカメラ３０から取得される認識結果に含まれる認識ＩＤを、自動運転制御装置２０Ａとの間で共有する。このため、認識部１１Ｂは、障害物の認識結果を除外するフラグが付与された障害物情報が受信された場合に、当該フラグに含まれる認識ＩＤによって、除外すべき障害物の認識結果を特定することができる。
　次に、図１０及び図１１を参照して、第２の実施形態に係る自動運転制御装置２０Ａの作用を説明する。
　図１０は、第２の実施形態に係る自動運転プログラム２５Ａによる特徴量分布作成処理の流れの一例を示すフローチャートである。
　まず、自動運転制御装置２０Ａに対して特徴量分布作成処理の実行が指示されると、自動運転プログラム２５Ａが起動され、以下の各ステップを実行する。
　図１０のステップＳ１２１では、ＣＰＵ２１が、インフラカメラ３０から、過去に認識された障害物の認識結果を定期的に収集する。障害物の認識結果には、上述したように、例えば、認識ＩＤ、時刻、位置情報、種別、トラッキング継続時間、障害物の方向、障害物の速度、障害物のグリッド内の座標等が含まれる。
　ステップＳ１２２では、ＣＰＵ２１が、ステップＳ１２１で定期的に収集した、過去に認識された障害物の認識結果を、データ・モデル蓄積ＤＢ２５Ｂに蓄積する。
　ステップＳ１２３では、ＣＰＵ２１が、ステップＳ１２２でデータ・モデル蓄積ＤＢ２５Ｂに蓄積された過去の認識結果に基づいて、過去の認識結果の特徴量分布を作成する。具体的には、一例として、上述の図９に示すように、グリッドで区切られた場所毎に種別毎の滞留時間を集計し、種別毎の滞留時間分布を作成する。
　ステップＳ１２４では、ＣＰＵ２１が、ステップＳ１２３で作成した特徴量分布から閾値を抽出する。この閾値としては、例えば、特徴量の平均値が用いられる。
　ステップＳ１２５では、ＣＰＵ２１が、ステップＳ１２４で種別毎の特徴量分布（例えば、滞留時間分布）の閾値を、データ・モデル蓄積ＤＢ２５Ｂに蓄積し、本自動運転プログラム２５Ａによる特徴量分布作成処理を終了する。
　図１１は、第２の実施形態に係る自動運転プログラム２５Ａによる異常検出処理及び車両通知処理の流れの一例を示すフローチャートである。
　まず、自動運転制御装置２０Ａに対して異常検出処理及び車両通知処理の実行が指示されると、自動運転プログラム２５Ａが起動され、以下の各ステップを実行する。
　図１１のステップＳ１３１では、ＣＰＵ２１が、インフラカメラ３０から、評価対象として認識された障害物の認識結果を取得する。
　ステップＳ１３２では、ＣＰＵ２１が、ステップＳ１３１で取得した、評価対象として認識された障害物の認識結果から特徴量（例えば、滞留時間）を取得する。
　ステップＳ１３３では、ＣＰＵ２１が、ステップＳ１３２で取得した特徴量（例えば、滞留時間）に対応する閾値を、データ・モデル蓄積ＤＢ２５Ｂから読み出す。
　ステップＳ１３４では、ＣＰＵ２１が、一例として、上述の図９に示すように、特徴量（例えば、滞留時間）が閾値よりも大きいか否かを判定する。特徴量が閾値よりも大きいと判定した場合、つまり、誤認識であると判定した場合（肯定判定の場合）、ステップＳ１３５に移行し、特徴量が閾値以下であると判定した場合、つまり、誤認識ではないと判定した場合（否定判定の場合）、本自動運転プログラム２５Ａによる異常検出処理及び車両通知処理を終了する。
　ステップＳ１３５では、ＣＰＵ２１が、インフラカメラ３０から、誤認識と判定されたときの画像データ及びセンサデータを詳細データとして収集し、収集した詳細データを認識結果に対応付けてデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。
　ステップＳ１３６では、ＣＰＵ２１が、ステップＳ１３５でデータ・モデル蓄積ＤＢ２５Ｂに蓄積した認識結果及び詳細データをオペレータに提示し、オペレータから異常の有無及び要因を含む判定結果の入力を受け付ける。
　ステップＳ１３７では、ＣＰＵ２１が、ステップＳ１３６でオペレータから入力を受け付けた判定結果（入力結果）が異常有りであるか否かを判定する。判定結果（入力結果）が異常有りである場合（肯定判定の場合）、ステップＳ１３８に移行し、判定結果（入力結果）が異常無しである場合（否定判定の場合）、本自動運転プログラム２５Ａによる異常検出処理及び車両通知処理を終了する。
　ステップＳ１３８では、ＣＰＵ２１が、ステップＳ１３７で異常有りと判定された障害物の認識結果を除外するフラグ（除外フラグ）を障害物情報に付与する。
　ステップＳ１３９では、ＣＰＵ２１が、ステップＳ１３８で除外フラグが付与された障害物情報を、該当する障害部の周辺を走行する自動運転車両にリアルタイムで通知し、本自動運転プログラム２５Ａによる異常検出処理及び車両通知処理を終了する。障害物情報の通知を受けた自動運転車両は、障害物情報に含まれるフラグに基づいて、該当する障害物の認識結果を除去する。
　このように本実施形態によれば、インフラカメラで認識された障害物が誤認識と判定された場合に、判定結果が即座に自動運転車両にフィードバックされる。このため、障害物の誤認識によって自動運転車両の走行が妨害されることが抑制される。
[第３の実施形態]
　第３の実施形態では、自動運転制御装置に認識部が設けられ、評価対象として、所定期間毎にバッチ処理で抽出される障害物の特徴量分布を用いる形態について説明する。
　図１２は、第３の実施形態に係るインフラカメラ３０Ａ及び自動運転制御装置２０Ｂの機能的な構成の一例を示すブロック図である。これらインフラカメラ３０Ａ及び自動運転制御装置２０Ｂにより自動運転システム１００Ｂが構成される。
　本実施形態では、自動運転制御装置２０Ｂに認識部が設けられ、評価対象として、所定期間毎にバッチ処理で抽出される障害物の特徴量分布が用いられる。
　本実施形態に係るインフラカメラ３０ＡのＣＰＵ３１は、記憶部３４に記憶されている制御プログラムをＲＡＭに書き込んで実行することにより、図１２に示す各部として機能する。また、本実施形態に係る自動運転制御装置２０ＢのＣＰＵ２１は、記憶部２５に記憶されている自動運転プログラム２５ＡをＲＡＭに書き込んで実行することにより、図１２に示す各部として機能する。
　図１２に示すように、本実施形態に係るインフラカメラ３０ＡのＣＰＵ３１は、動作制御部３１Ａ及びデータ送信部３１Ｃとして機能する。なお、本実施形態に係るインフラカメラ３０Ａでは、上記第１の実施形態で説明したインフラカメラ３０Ａが有する構成要素の一部と同じ構成要素を有しているため、その繰り返しの説明は省略する。
　また、本実施形態に係る自動運転制御装置２０ＢのＣＰＵ２１は、データ収集部２１Ｋ、認識部２１Ｌ、特徴量分布作成部２１Ｂ、誤認識判定部２１Ｃ、オペレータ提示部２１Ｅ、及び認識モデル学習部２１Ｆとして機能する。なお、本実施形態に係る自動運転制御装置２０Ｂでは、上記第１の実施形態で説明した自動運転制御装置２０が有する構成要素と同じ構成要素には同じ符号を付し、その繰り返しの説明は省略する。
　データ収集部２１Ｋは、インフラカメラ３０から画像データ及びセンサデータを収集し、収集した画像データ及びセンサデータをデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。
　認識部２１Ｌは、データ収集部２１Ｋにより収集された画像データ、又は、画像データ及びセンサデータに基づいて、データ・モデル蓄積ＤＢ２５Ｂに格納された認識モデルを用いて、障害物を認識する。認識部２１Ｌは、障害物を認識して得られた認識結果を、画像データ及びセンサデータに対応付けてデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。なお、障害物の認識結果には、上述したように、例えば、認識ＩＤ、時刻、位置情報、種別、トラッキング継続時間、障害物の方向、障害物の速度、障害物のグリッド内の座標等が含まれる。
　本実施形態では、自動運転制御装置２０Ｂに認識部２１Ｌが設けられているため、障害物の認識処理はインフラカメラ３０Ａではなく、自動運転制御装置２０Ｂによって実行される。そして、認識モデルの更新は、インフラカメラ３０Ａではなく、自動運転制御装置２０Ｂにおいて実行される。
　このように本実施形態によれば、センタの自動運転制御装置で認識された障害物が誤認識と判定された場合に、判定結果が認識モデルにフィードバックされる。このため、障害物の誤認識が抑制される。
[第４の実施形態]
　第４の実施形態では、自動運転制御装置に認識部が設けられ、評価対象として、リアルタイムで抽出される障害物の特徴量を用いる形態について説明する。
　図１３は、第４の実施形態に係るインフラカメラ３０Ａ、自動運転制御装置２０Ｃ、及び車載装置１０の機能的な構成の一例を示すブロック図である。これらインフラカメラ３０Ａ、自動運転制御装置２０Ｃ、及び車載装置１０により自動運転システム１００Ｃが構成される。
　本実施形態では、自動運転制御装置２０Ｃに認識部が設けられ、評価対象として、リアルタイムで抽出される障害物の特徴量が用いられる。
　本実施形態に係るインフラカメラ３０ＡのＣＰＵ３１は、記憶部３４に記憶されている制御プログラムをＲＡＭに書き込んで実行することにより、図１３に示す各部として機能する。また、本実施形態に係る自動運転制御装置２０ＣのＣＰＵ２１は、記憶部２５に記憶されている自動運転プログラム２５ＡをＲＡＭに書き込んで実行することにより、図１３に示す各部として機能する。また、本実施形態に係る車載装置１０のＣＰＵ１１は、記憶部１４に記憶されている制御プログラムをＲＡＭに書き込んで実行することにより、図１３に示す各部として機能する。
　図１３に示すように、本実施形態に係るインフラカメラ３０ＡのＣＰＵ３１は、動作制御部３１Ａ及びデータ送信部３１Ｃとして機能する。なお、本実施形態に係るインフラカメラ３０Ａでは、上記第２の実施形態で説明したインフラカメラ３０が有する構成要素の一部と同じ構成要素を有しているため、その繰り返しの説明は省略する。
　また、本実施形態に係る自動運転制御装置２０ＣのＣＰＵ２１は、データ収集部２１Ｋ、認識部２１Ｌ、特徴量分布作成部２１Ｂ、誤認識判定部２１Ｈ、オペレータ提示部２１Ｅ、認識モデル学習部２１Ｆ、及び車両通知部２１Ｊとして機能する。なお、本実施形態に係る自動運転制御装置２０Ｃでは、上記第２の実施形態で説明した自動運転制御装置２０Ａが有する構成要素と同じ構成要素には同じ符号を付し、その繰り返しの説明は省略する。
　データ収集部２１Ｋは、上述の図１２の例と同様に、インフラカメラ３０から画像データ及びセンサデータを収集し、収集した画像データ及びセンサデータをデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。
　認識部２１Ｌは、上述の図１２の例と同様に、データ収集部２１Ｋにより収集された画像データ、又は、画像データ及びセンサデータに基づいて、データ・モデル蓄積ＤＢ２５Ｂに格納された認識モデルを用いて、障害物を認識する。認識部２１Ｌは、障害物を認識して得られた認識結果を、画像データ及びセンサデータに対応付けてデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。なお、障害物の認識結果には、上述したように、例えば、認識ＩＤ、時刻、位置情報、種別、トラッキング継続時間、障害物の方向、障害物の速度、障害物のグリッド内の座標等が含まれる。
　本実施形態では、自動運転制御装置２０Ｃに認識部２１Ｌが設けられているため、障害物の認識処理はインフラカメラ３０Ａではなく、自動運転制御装置２０Ｃによって実行される。そして、認識モデルの更新は、インフラカメラ３０Ａではなく、自動運転制御装置２０Ｃにおいて実行される。
　このように本実施形態によれば、センタの自動運転制御装置で認識された障害物が誤認識と判定された場合に、判定結果が即座に自動運転車両にフィードバックされる。このため、障害物の誤認識によって自動運転車両の走行が妨害されることが抑制される。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　メモリと、
　少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　自動運転車両の外部環境における特定の場所に設置された撮影装置によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識し、
　過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成し、
　前記作成された特徴量分布と、評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する
　ように構成されている自動運転システム。
　（付記項２）
　コンピュータを、
　自動運転車両の外部環境における特定の場所に設置された撮影装置によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識する認識部、
　前記認識部により過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成する作成部、及び、
　前記作成部により作成された特徴量分布と、評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する判定部、
　として機能させるための自動運転プログラムを記憶した非遷移的記録媒体。
　以上、実施形態に係る自動運転システムを例示して説明した。実施形態は、自動運転システムが備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、これらのプログラムを記憶したコンピュータが読み取り可能な非遷移的記録媒体の形態としてもよい。
　その他、上記実施形態で説明した自動運転システムの構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
　また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
　また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
　本開示は、実施形態に準拠して記述されたが、本開示は当該実施形態や構成に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (9)

  1. 　自動運転車両の外部環境における特定の場所に設置された撮影装置（３０、３０Ａ）によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識する認識部（３１Ｂ、２１Ｌ）と、
    　前記認識部により過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成する作成部（２１Ｂ）と、
    　前記作成部により作成された特徴量分布と、評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する判定部（２１Ｃ、２１Ｈ）と、
    　を備えた自動運転システム（１００、１００Ａ、１００Ｂ、１００Ｃ）。
  2. 　前記作成部は、前記特徴量分布として、障害物が滞留した時間の分布を表す滞留時間分布、障害物が移動した速度の分布を表す移動速度分布、及び、障害物が移動した距離の分布を表す移動距離分布の少なくとも１つを作成し、
    　前記判定部は、前記作成部により作成された滞留時間分布、移動速度分布、及び移動距離分布の少なくとも１つと、前記評価対象として認識された障害物の滞留時間、移動速度、及び移動距離の少なくとも１つとを比較し、前記評価対象として認識された障害物の誤認識を判定する
    　請求項１に記載の自動運転システム。
  3. 　前記判定部（２１Ｃ）は、前記比較を、前記滞留時間分布の統計分析から得られる代表値、前記移動速度分布の統計分析から得られる代表値、及び、前記移動距離分布の統計分析から得られる代表値の少なくとも１つを基準として実行する
    　請求項２に記載の自動運転システム。
  4. 　前記判定部（２１Ｈ）は、前記比較を、前記滞留時間分布から得られる閾値、前記移動速度分布から得られる閾値、及び、前記移動距離分布から得られる閾値の少なくとも１つを基準として実行する
    　請求項２に記載の自動運転システム。
  5. 　前記判定部により前記障害物が誤認識と判定された場合に、前記障害物の認識結果を除外するフラグが付与された障害物情報を、前記障害物の周辺を走行する自動運転車両に通知する通知部（２１Ｊ）を更に備えた
    　請求項４に記載の自動運転システム。
  6. 　前記判定部により前記障害物が誤認識と判定された場合に、オペレータに対して、誤認識と判定されたときの画像データを提示し、前記オペレータから異常の有無の入力を受け付ける提示部（２１Ｅ）を更に備え、
    　前記通知部は、前記オペレータから異常有りの入力を受け付けた場合に、前記障害物の認識結果を除外するフラグが付与された前記障害物情報を、前記障害物の周辺を走行する自動運転車両に通知する
    　請求項５に記載の自動運転システム。
  7. 　前記判定部により前記障害物が誤認識と判定された場合に、誤認識の判定結果に対して、オペレータが入力した異常の有無及び要因を含む判定結果をラベルとして、障害物の認識モデルを学習する学習部（２１Ｆ）を更に備えた
    　請求項１～請求項６の何れか１項に記載の自動運転システム。
  8. 　自動運転車両の外部環境における特定の場所に設置された撮影装置によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識し、
    　過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成し、
    　前記作成された特徴量分布と、評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する、
    　自動運転方法。
  9. 　コンピュータを、
    　自動運転車両の外部環境における特定の場所に設置された撮影装置（３０、３０Ａ）によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識する認識部（３１Ｂ、２１Ｌ）、
    　前記認識部により過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成する作成部（２１Ｂ）、及び、
    　前記作成部により作成された特徴量分布と、評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する判定部（２１Ｃ、２１Ｈ）、
    　として機能させるための自動運転プログラム（２５Ａ）。
PCT/JP2022/006780 2021-02-25 2022-02-18 自動運転システム、自動運転方法、及び自動運転プログラム WO2022181502A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/455,489 US20230401870A1 (en) 2021-02-25 2023-08-24 Autonomous driving system, autonomous driving method, and autonomous driving program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-029263 2021-02-25
JP2021029263A JP7380614B2 (ja) 2021-02-25 2021-02-25 自動運転システム、自動運転方法、及び自動運転プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/455,489 Continuation US20230401870A1 (en) 2021-02-25 2023-08-24 Autonomous driving system, autonomous driving method, and autonomous driving program

Publications (1)

Publication Number Publication Date
WO2022181502A1 true WO2022181502A1 (ja) 2022-09-01

Family

ID=83048977

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006780 WO2022181502A1 (ja) 2021-02-25 2022-02-18 自動運転システム、自動運転方法、及び自動運転プログラム

Country Status (3)

Country Link
US (1) US20230401870A1 (ja)
JP (1) JP7380614B2 (ja)
WO (1) WO2022181502A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030776A (ja) * 2001-07-17 2003-01-31 Japan Radio Co Ltd 物体検知システムおよびその方法
JP2008026985A (ja) * 2006-07-18 2008-02-07 Toyota Motor Corp 車載用歩行者検出装置
JP2019021201A (ja) * 2017-07-20 2019-02-07 株式会社デンソー 学習サーバ及び支援システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030776A (ja) * 2001-07-17 2003-01-31 Japan Radio Co Ltd 物体検知システムおよびその方法
JP2008026985A (ja) * 2006-07-18 2008-02-07 Toyota Motor Corp 車載用歩行者検出装置
JP2019021201A (ja) * 2017-07-20 2019-02-07 株式会社デンソー 学習サーバ及び支援システム

Also Published As

Publication number Publication date
US20230401870A1 (en) 2023-12-14
JP7380614B2 (ja) 2023-11-15
JP2022130209A (ja) 2022-09-06

Similar Documents

Publication Publication Date Title
EP3602220B1 (en) Dynamic sensor selection for self-driving vehicles
CN110809790B (zh) 车辆用信息存储方法、车辆的行驶控制方法、以及车辆用信息存储装置
US11769318B2 (en) Systems and methods for intelligent selection of data for building a machine learning model
EP2984642B1 (en) Mapping active and inactive construction zones for autonomous driving
JP5288423B2 (ja) データ配信システム、及びデータ配信方法
US20220188695A1 (en) Autonomous vehicle system for intelligent on-board selection of data for training a remote machine learning model
CN110807412B (zh) 一种车辆激光定位的方法、车载设备和存储介质
JP7380616B2 (ja) 自動運転制御装置、自動運転制御方法、及び自動運転制御プログラム
US11577732B2 (en) Methods and systems for tracking a mover's lane over time
CN111731296A (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
US20230260254A1 (en) Information processing device, information processing method, and program
WO2022108744A1 (en) On-board feedback system for autonomous vehicles
WO2022181502A1 (ja) 自動運転システム、自動運転方法、及び自動運転プログラム
CN117416344A (zh) 自主驾驶系统中校车的状态估计
WO2022072414A1 (en) Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area
US20240265298A1 (en) Conflict analysis between occupancy grids and semantic segmentation maps
US12103560B2 (en) Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area
CN117831269A (zh) 区域监视系统及区域监视方法
CN117854268A (zh) 区域监视系统及区域监视方法
CN117416343A (zh) 自动驾驶系统中对校车的活跃状态估计与响应
JP2024013451A (ja) 車両用検出装置
JP2024062325A (ja) 情報処理装置及びプログラム
CN117854269A (zh) 区域监视系统及区域监视方法
CN118262298A (zh) 存在于道路上的对象的分类

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759538

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22759538

Country of ref document: EP

Kind code of ref document: A1