WO2023210491A1 - 車両制御システム及び車両データ収集方法 - Google Patents

車両制御システム及び車両データ収集方法 Download PDF

Info

Publication number
WO2023210491A1
WO2023210491A1 PCT/JP2023/015754 JP2023015754W WO2023210491A1 WO 2023210491 A1 WO2023210491 A1 WO 2023210491A1 JP 2023015754 W JP2023015754 W JP 2023015754W WO 2023210491 A1 WO2023210491 A1 WO 2023210491A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
data
mismatch
miss
section
Prior art date
Application number
PCT/JP2023/015754
Other languages
English (en)
French (fr)
Inventor
のぞみ 笠原
裕 植松
巧 上薗
忠信 鳥羽
健一 新保
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2023210491A1 publication Critical patent/WO2023210491A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/40—Transportation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/40—Information sensed or collected by the things relating to personal data, e.g. biometric data, records or preferences
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control

Definitions

  • the present invention relates to a vehicle control system and a vehicle data collection method.
  • Patent Document 1 states, ⁇
  • the recording device includes an acquisition section, a setting section, and a sorting section.
  • the acquisition section acquires biometric information of the driver of the vehicle.
  • the setting section The degree of importance of the travel information of the vehicle is set based on the biological information acquired by the acquisition section.
  • the selection section selects the travel information to be left in the storage section based on the degree of importance set by the setting section. (See summary).
  • the information that should be acquired from the vehicle as training data for autonomous driving AI is driving information when there is a discrepancy in the recognition and judgment of driving situations between humans and AI. If there is no difference between humans and AI, the AI is already able to recognize and make judgments similar to humans, and there is no need for new training.
  • Patent Document 1 records driving information when the driver senses danger, so it was not possible to determine whether there was a difference in perception or judgment between humans and AI. As a result, there is a possibility that the collected information may include information that is unnecessary as training data. In addition, the difference in recognition and judgment between humans and AI is expected to decrease as the level of automated driving increases, so when driving information is acquired using the method described in Patent Document 1, especially in a highly automated driving environment, information that does not require training may be The ratio could have been higher.
  • the present invention solves the problems of the prior art described above and provides a vehicle control system and a vehicle data collection method that make it possible to efficiently collect data effective for training AI that is responsible for recognition of self-driving cars. It is something to do.
  • the present invention includes a vehicle control system that includes a vehicle control determination section that creates a control signal for controlling the vehicle using data acquired from a sensor mounted on the vehicle, and a vehicle control determination section that A near-miss detection unit that detects near-misses felt by passengers based on biological changes of passengers riding in the vehicle or vehicle control signals and outputs near-miss detection signals, and data obtained from sensors installed on the vehicle.
  • a determination mismatch detects a mismatch between the control signal created by the vehicle control determination section and the near-miss detection signal at the timing when this near-miss was detected from the control signal created by the vehicle control determination section and the near-miss detection signal detected by the near-miss detection section.
  • a detection unit, and a data storage unit that stores data acquired from a sensor attached to a vehicle and a control signal created by a vehicle control determination unit corresponding to the timing at which a mismatch is detected by the determination mismatch detection unit. .
  • the present invention provides vehicle data that collects vehicle data in a vehicle control system that includes a vehicle control determination section, a near-miss detection section, a determination mismatch detection section, and a data storage section.
  • the collection method uses data acquired from sensors installed on the vehicle to create control signals to control the vehicle in the vehicle control determination section, and monitors biological changes of the occupants of the vehicle while driving the vehicle.
  • a near-miss detection unit detects a near-miss event felt by a passenger from a vehicle control signal, and combines data obtained from a sensor attached to the vehicle, the control signal created by a vehicle control determination unit, and a near-miss detection signal detected by the near-miss detection unit.
  • the mismatch detection section detects a mismatch between the control signal and the near miss detection signal at the timing when the near miss is detected.
  • the created control signal is stored in the data storage section.
  • the present invention makes it possible to efficiently collect data that is effective for training AI that is responsible for recognizing self-driving cars. Furthermore, the safety of vehicle control systems will be improved by utilizing the collected data to improve AI functionality. Problems, configurations, and effects other than those described above will be made clear by the following description of the embodiments.
  • FIG. 1 is a block diagram showing a schematic configuration of a vehicle control system according to a first embodiment of the present invention.
  • FIG. FIG. 2 is a block diagram showing the configuration of a biological change detection section according to Example 1 of the present invention.
  • FIG. 3 is a flow diagram showing the flow of processing in the vehicle control system according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of a vehicle control system according to a modification of the first embodiment of the present invention.
  • FIG. 7 is a front view of a display screen of a data output unit in a vehicle control system according to a modification of Example 1 of the present invention.
  • FIG. 3 is a block diagram showing a schematic configuration when data is transmitted to a cloud and processed from a vehicle control system according to a second embodiment of the present invention.
  • FIG. 7 is a block diagram showing the flow of data when driving data transmitted from the vehicle control system according to the second embodiment of the present invention is managed, learning data is created, and update data is transmitted.
  • FIG. 2 is a block diagram showing the internal configuration of a cloud that receives information from a vehicle control system according to a second embodiment of the present invention.
  • FIG. 7 is a flow diagram showing the flow of processing in the cloud that receives information from the vehicle control system according to the second embodiment of the present invention.
  • FIG. 2 is a flow diagram showing the flow of processing in the vehicle control system according to Example 2 of the present invention.
  • FIG. 3 is a block diagram showing a configuration in a case where a vehicle control system according to a second embodiment of the present invention is realized by a retrofitted device.
  • FIG. 3 is a block diagram showing a schematic configuration of a vehicle control system according to a third embodiment of the present invention.
  • FIG. 7 is a block diagram showing a configuration when a biological change detection unit is implemented as a bus in Example 3 of the present invention.
  • FIG. 4 is a block diagram showing a schematic configuration of a vehicle control system in Example 4 of the present invention.
  • FIG. 3 is a block diagram showing a schematic configuration of a vehicle control system according to a fifth embodiment of the present invention.
  • FIG. 7 is a block diagram showing an example in which a vehicle control system according to a sixth embodiment of the present invention is applied to trucks traveling in a platoon.
  • the present invention detects near-misses (feeling danger to passengers riding in the vehicle) from changes in biological information or changes in vehicle control, and the vehicle control system controls the vehicle to respond to the near-miss at the timing when the cause of the near-miss occurs. If the signal cannot be detected, it is determined that there is a mismatch between the rider and the vehicle control system, and when a mismatch occurs, the vehicle control signal and driving data are recorded, and learning data is created to improve the accuracy of the vehicle control system. It is designed to improve the
  • FIG. 1 is a configuration diagram of this embodiment
  • FIG. 2 is a configuration example of a biological change detection section when this embodiment is implemented in a passenger car
  • FIG. 3 is a processing flow diagram of data storage in this embodiment.
  • the vehicle control system 1 includes a sensor group 2, a vehicle control determination section 3, a buffer section 5, a vehicle control detection section 6, a biological change detection section 7, a near-miss detection section 8, a determination mismatch detection section 9, and a delay It includes a time setting section 10, an information acquisition section 11, and a data storage section 12.
  • Sensor group 2 is a sensor for collecting information necessary for vehicle control, and includes GNSS (Global Navigation Satellite System) such as GPS (Global Positioning System), LiDAR (Light Detection And Ranging), radar, camera, etc.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • LiDAR Light Detection And Ranging
  • radar camera
  • the sensing results of each sensor become input data to the vehicle control determination section 3 and the buffer section 5.
  • the vehicle control determination unit 3 executes a program in a processor installed in an ECU (Electronic Control Unit) or a gateway that performs processes such as recognition of internal and external conditions of the vehicle, control, and communication. It judges the situation, performs a determination process by calculating the control amount of the vehicle, and transmits control data (vehicle control value) to the vehicle drive section 4 and the buffer section 5, which is a memory.
  • Control data includes information used to determine vehicle control, such as how much the brake or accelerator is pressed, object recognition results, distance to the object, etc., and responses such as emergency avoidance by the vehicle (such as alerts and warnings to the driver). , emergency braking, etc.) is necessary.
  • the vehicle control determination section 3 is configured to include trained AI (artificial intelligence).
  • the vehicle drive section 4 is comprised of a brake, an accelerator, a steering, etc., and drives the vehicle based on the control data output from the vehicle control determination section 3.
  • the buffer section 5 temporarily stores information from the sensor group 2 and the vehicle control determination section 3.
  • the data is linked to time, and the information (input) of the sensor group 2 referred to by the vehicle control determination unit 3 and the control data (output) derived as a result by the vehicle control determination unit 3 are combined when driving. Record as data.
  • the vehicle control detecting section 6 executes a process in a processor as a program to detect that the vehicle is controlled in a manner significantly different from normal, and converts this detected signal into a vehicle control detection signal. Output as . For example, by using time-series analysis of brake, accelerator, and steering operations, it is possible to detect unusual actions (sudden braking, sudden steering, etc.).
  • the biological change detection unit 7 acquires biological information of a vehicle occupant as a program in a processor, and detects when the acquired biological information changes significantly from normal biological information. Then, a process to detect this change is executed and outputted as a biological change detection signal.
  • Passengers include the driver of the vehicle, people in the passenger seat or rear seat, or passengers in the case of a bus.
  • biological information includes heartbeat, blood pressure, facial expressions, etc., and by using time series analysis, it is possible to detect that the person is acting differently than usual.
  • detection can be done by learning human facial expressions in advance and installing a camera to capture and analyze the facial expressions of passengers.
  • the near-miss detection unit 8 detects a vehicle control detection signal from the vehicle control detection unit 6 and/or a biological change detection signal from the biological change detection unit 7 as a program in the processor. Then, a process is executed to determine that the passenger has detected danger, that is, a near-miss has occurred, and a near-miss detection signal is output.
  • the near miss detection unit 8 may detect near misses in a wide range based on either the vehicle control detection signal or the biological change detection signal, and may output a near miss detection signal.
  • the determination mismatch detection section 9 is programmed in a processor to detect a near miss detection signal from the control data stored in the buffer section 5 when a near miss detection signal is detected from the near miss detection section 8. Reference is made to control data (judgment results when a near-miss factor occurs) at a time that is set in the delay time setting section 10 with respect to the detected timing, and at a time before and after that time (for example, several seconds).
  • the information acquisition unit 11 receives a data acquisition trigger signal from the determination mismatch detection unit 9 as a program in the processor, similar to the vehicle control determination unit 3, and extracts reference data at the reference data time from among the data stored in the buffer unit 5.
  • the corresponding control data and input data are stored in the data storage unit 12.
  • the data stored in the data storage unit 12, which is this memory, may be data corresponding only to the reference data time, or may be data corresponding to a time width within a predetermined range from the reference data time.
  • each component of this embodiment may be realized by being incorporated into the central gateway of the vehicle as described above, or may be realized by being incorporated into an ECU (Electronic Control Unit). Further, the functions of each component of this embodiment may be realized by a device added later.
  • the memory used for the data storage section 12 and the like may be a volatile memory or a nonvolatile memory. The same applies to subsequent examples.
  • a passenger 130 rides in the vehicle 13.
  • the biological information of the passenger 130 is acquired from the biological change detection unit 7 realized by a smartphone 7-11, a smart watch 7-12, a camera 7-13, a seat 7-14 with a heart rate measurement function, and the like.
  • the acquired information is transmitted to the near-miss detection unit 8 by means of wireless communication, wired communication, or the like.
  • the operation when the near-miss detection signal is detected by the near-miss detection section 8 is as described with reference to FIG.
  • the vehicle control determination unit 3 processes the input data from each sensor using trained AI (artificial intelligence) to determine the vehicle situation and create vehicle control data.
  • the control data created in the vehicle control determination section 3 is sent to the vehicle drive section 4 to control the vehicle (S303) and is stored in the buffer section 5 (S304).
  • the signal output from the vehicle control detection section 6 is used to control the vehicle at the near-miss detection section 8.
  • the biological change detecting section 7 outputs the biological information.
  • the near-miss detection unit 8 receives the signal as a biological change detection signal (S306), determines that there has been a near-miss from the vehicle control detection signal and biological change detection signal received by the near-miss detection unit 8, and outputs a near-miss detection signal. (S307). Further, in S307, a near miss may be detected when either one of S305 and S306 is detected.
  • the judgment mismatch detection unit 9 receives the near-miss detection signal output from the near-miss detection unit 8 and selects time information from the signals stored in the buffer unit 5 in S304 that is earlier than the time when the near-miss detection signal was received.
  • the sensor data from the sensor group 2 and the control data from the vehicle control determination section 3 are extracted before and after a time that is a predetermined delay time stored in the delay time setting section 10, which is a memory for storing the delay time. In the extracted sensor data and control data, if the vehicle control determination unit 3 is unable to detect any danger (the vehicle control determination unit 3 does not alert the driver or output a warning signal, or outputs a warning signal to the vehicle drive unit 4).
  • FIG. 4 shows the configuration of a vehicle control system 1-1 according to a modification of the first embodiment. Components that are the same as those of the vehicle control system 1 according to the first embodiment are given the same part numbers.
  • the vehicle control system 1-1 includes a data output unit that is executed as a program in a processor, similar to the information acquisition unit 11, between an information acquisition unit 11 and a data storage unit 12. 14 is provided to output the information acquired by the information acquisition unit 11 to the data output unit 14 so that data to be stored in the data storage unit 12 can be selected.
  • FIG. 5 there is a display section 141 that displays the information acquired by the information acquisition section 11 on the screen, a save button 142 that selects to save the displayed data, and a button that selects deletion.
  • This embodiment differs from the first embodiment in that a data output section 14 equipped with a delete button 143 is added.
  • FIG. 6 is a block diagram showing the configuration of this embodiment
  • FIG. 7 is a block diagram showing the data flow of this embodiment
  • FIG. 8 is a block diagram showing the internal configuration of the cloud in this embodiment
  • FIG. 9 is a block diagram showing the internal configuration of the cloud in this embodiment.
  • FIG. 10 is a flowchart showing the flow of processing in the cloud in the embodiment.
  • FIG. 10 is a flowchart showing the flow of processing in the vehicle control system.
  • the vehicle 13 is equipped with the vehicle control system 1 having the configuration and functions described in the first embodiment, and is ridden by a passenger 130 (see FIG. 2). Although shown in a simplified manner in FIG. 6, the configuration and operation of the vehicle control system 1 are as described in the first embodiment. Each component is also executed as a program in the processor installed in the ECU or the gateway, as shown in the first embodiment.
  • the transmitting unit 15 transmits the driving data at the time of detection of the determination mismatch, which is stored in the data storage unit 12 of the vehicle control system 1, as a program in the processor, to the information collecting unit 16 (cloud server, etc.).
  • the information collection unit 16 is executed as a program on a server computer such as a cloud system, and is configured to collect driving data at the time of detection of a judgment mismatch, which is transmitted from the transmission unit 15 and stored in the data storage unit 12, and the driving data at the timing of detection of a judgment mismatch. Collect and organize surrounding information 17.
  • the purpose of collecting the surrounding information 17 is that there is a possibility that the cause of a judgment mismatch between humans (near-miss detection signal) and AI (control data) may exist other than driving data. Even if the judgment mismatch detection unit 9 determines that there is a judgment mismatch between humans and AI, there is a possibility that there is actually no judgment mismatch. Processing is performed to remove data that was not determined by AI as a mismatch. Details of this process will be described later using FIG. 9.
  • data in which a judgment mismatch between humans and AI is confirmed is transmitted to the learning data generation unit 18. Since the data storage unit 12 of the vehicle control system 1 includes time information and vehicle position information at the time of mismatch in judgment between the passenger 130 and the vehicle control system 1, surrounding information 17 at the time and position can be obtained using the Internet, etc. It is possible to obtain and store it.
  • the surrounding information 17 includes weather, temperature, traffic conditions, and the like.
  • the learning data generation section 18 is executed as a program on a server computer such as a cloud system, and is equipped with a defect database (defect DB) 19, which stores information about actual defects among the information collected and organized by the information collection section 16. Store things.
  • the defect database 19 similarly collects information from other vehicles 21, and can integrate the defect information.
  • the learning data generation unit 18 uses the information in the defect database 19, the learning data generation unit 18 creates learning data 20 for training the AI stored in the vehicle control determination unit 3.
  • the created learning data 20 is provided to the system design department 22.
  • the system design department 22 utilizes the learning data 20 received from the learning data generation section 18 to train the AI stored in the vehicle control determination section 3 of the vehicle control system 1 to create update data.
  • the created update data is distributed to each vehicle using OTA or the like and stored in the vehicle control determination unit 3.
  • AI is trained by utilizing data regarding judgment mismatch between humans and AI collected by the vehicle control system 1, and updated data is distributed to update the AI stored in the vehicle control judgment unit 3.
  • the transmitter 15 is arranged outside the vehicle control system 1; however, the transmitter 15 can be incorporated inside the vehicle control system 1 to control the vehicle control system 1. It may be a single unit.
  • the service players include an individual vehicle purchaser 23, a vehicle providing service provider 24, a vehicle user 25 who receives the vehicle providing service from the vehicle providing service provider 24, a vehicle operating company 26, a data management department 27, and a system design department. 28 (corresponding to the system design department 22 in FIG. 6) appears.
  • the information provided by each player is indicated by arrows, and the value that each player receives from this service is indicated.
  • the personal vehicle purchaser 23 and the vehicle operating company 26 provide driving data to the data management department 27 .
  • the vehicle providing service provider 24 obtains driving data from the vehicle used by the vehicle user 25 and provides it to the data management department 27 .
  • the data management department 27 aggregates, analyzes and processes the driving data provided by each player, and creates learning data 20.
  • the created learning data 20 is provided to the system design department 28.
  • the system design department 28 uses the provided learning data 20 to create update data for the vehicle control system 1 installed in each vehicle.
  • the created update data is provided to the individual vehicle purchaser 23, the vehicle providing service provider 24, and the vehicle operating company 26 using means such as OTA.
  • the personal vehicle purchaser 23 can enjoy the value of improved safety for the vehicle he or she owns. Further, the vehicle providing service provider 24 and the vehicle operating company 26 can enjoy the value of not only improving the safety of the vehicle but also improving the operating rate of the vehicles they own by reducing the number of malfunctions occurring in the vehicle. In addition to improved vehicle safety, vehicle users 25 can receive vehicle-provided services with improved quality, with fewer malfunctions occurring in the vehicle.
  • the system design department 28 can improve market competitiveness by improving the product using the learning data 20. In addition, by providing updated data, it is possible to provide safe vehicles and improve customer reliability.
  • the information collecting unit 16 includes a receiving unit 161 that receives information transmitted from the transmitting unit 15 described in FIG. 165, a surrounding environment information acquisition section 166, a storage frequency specification section 167, and a transmission section 168, which are connected by a data line 169.
  • the receiving unit 161 receives the driving data transmitted from the transmitting unit 15 and stored in the data storage unit 12 of the vehicle control system 1 when the determination mismatch detection unit 9 detects a mismatch, and acquires the driving data.
  • the information is stored in the section 162 (S901).
  • the mismatch checking unit 163 checks whether there is actually a mismatch between the human and AI judgments with respect to the driving data stored in the driving data acquisition unit 162 (S902).
  • a mismatch feature amount extraction section 165 extracts human and This is done automatically using techniques such as extracting common features when AI mismatches are detected.
  • mismatch detection exclusion conditions that are preset in the mismatch detection exclusion condition storage unit 164 is when the camera's RAW data or recognition results do not contain any objects such as vehicles, humans, or animals that are likely to cause a near-miss. For example, it is assumed that there was no near-miss.
  • Examples of the feature extracted by the mismatch feature extraction unit 165 include the time at the time of mismatch, the recognized object, and the weather.
  • S902 If it is determined in S902 that there is a mismatch (YES in S902), surrounding environment information such as weather, temperature, and traffic conditions corresponding to the time when the mismatch between humans and AI is detected is collected (S903).
  • step S904 may be omitted if the accuracy of the mismatch check unit 163 in S902 is high, and the process may proceed directly from S903 to S905.
  • learning data 20 is created based on data regarding mismatches stored in the defect database 19.
  • the vehicle type 1101 contains information about the type of vehicle in which the near miss was detected
  • the mismatch occurrence date and time 1102 contains information on the date and time when the near miss data mismatch occurred
  • the vehicle control information 1103 contains information detected by the near miss detection unit 8.
  • the surrounding information 1104 includes information such as the recognition results of near misses, vehicle control values output from the vehicle control determination unit 3, and vehicle status determination results obtained from an ECU (not shown), etc., including weather, temperature, traffic conditions, etc. via the Internet.
  • the information 1105 regarding the presence or absence of a mismatch determined by the mismatch checking unit 163 is stored in association with each other.
  • the driving data received from the vehicle in S901 includes a mixture of small amounts of data such as location information and time information, and large amounts of data such as camera RAW data, and it depends on the frequency of data reception.
  • communication between the vehicle 13 and the information gathering section 16 may be strained. Therefore, normally only data with a small amount of data is received, and if the possibility of a true mismatch increases in S902 or S904, the remaining data with a large amount can be added to obtain more detailed information.
  • the request may be made to the vehicle side.
  • S902 If it is determined in S902 that there is no mismatch (NO in S902), it is determined whether additional data is necessary (S906), and if it is determined that additional data is necessary (YES in S906), the data storage unit 12 Additional data is acquired from among the data stored in (S907), and the process returns to S902 to determine whether there is a mismatch.
  • FIG. 10 the flow of processing of each component of the vehicle control system 1 in this embodiment will be shown using FIG. 10.
  • the processing from S1001 to S1009 is the same as the processing from S301 to S309 in the processing flow explained using FIG. 3 in the first embodiment, so the explanation will be omitted.
  • the vehicle control determination unit 3 receives the update data (S1014), and uses this update data to perform vehicle control determination in S1002.
  • the vehicle control determination unit 3 receives the update data (S1014), and uses this update data to perform vehicle control determination in S1002.
  • the storage frequency used for the determination in S1010 uses the storage frequency data stored in the storage frequency designation section 167 of the information collection section 16, but it is set as the number of times the data is saved in accordance with the mismatch occurrence situation. It's okay. For example, if it is found as a result of data processing in the information collection unit 16 that there are few mismatch detections for the vehicle type, the storage frequency is set low (eg, once every 10 times). Further, the storage frequency data stored in the storage frequency designation section 167 may be updateable by OTA or the like.
  • the hardware installed in the vehicle 120 to detect a near-miss mismatch in connection with this embodiment includes a driving support system 1210, a telematics data collection device 1201, a near-miss detection device 1202, and a telematics control system 1203.
  • the data acquired with this configuration is transmitted to the cloud server 1220 via wireless or the like.
  • a telematics data collection device 1201 a near-miss detection device 1202, and a telematics control system 1203 are retrofitted devices 1200.
  • the telematics data collection device 1201 is a device that can collect information about the vehicle, and there are devices that can collect information directly from CAN and devices that can collect information from OBD port. Good too.
  • the near-miss detection device 1202 collects biometric information from smart watches, smartphones, etc., and sends data when a mismatch is detected with the telematics data collection device 1201 from the telematics control system 1203 to the cloud server 1220 using wireless or the like. Send. With such a configuration, it becomes possible to collect information at the time of near-miss detection from existing vehicles.
  • data regarding judgment mismatches between humans and vehicle control detected in individual vehicles is collected and learned in the cloud, and the learned data is sent to each vehicle and sent to the vehicle control determination unit.
  • the reliability of the vehicle control determination section can be improved, and it becomes possible to further reduce the mismatch in determination between humans and vehicle control.
  • FIG. 13 is a configuration diagram of the vehicle control system 101 according to this embodiment.
  • the same components as those of the vehicle control system 1 described in Example 1 are given the same reference numerals, and differences will be mainly explained. Points not particularly explained are the same as in the first embodiment.
  • the biological change detection section 7 of the first embodiment is replaced with a plurality of biological change detection sections 7-1, ...7-n, and furthermore, a plurality of biological change detection sections 7-1, ...7-n.
  • a biological change aggregating unit 35 is provided to receive information from n, and when biological change aggregating unit 35 detects a biological change in a plurality or a majority of the plurality of biological change detecting units 7-1, ...7-n, It was configured to output a biological change detection signal to the near-miss detection section 8.
  • the biological change aggregation unit 35 is executed as a program in a processor installed in an ECU or a gateway.
  • a near-miss detection signal is detected only when a biological change is detected by more than one of the plurality of biological change detection units 7-1, ...7-n.
  • FIG. 14 shows an example of facial expression detection on the bus 131.
  • a camera 7-21 that reads facial expressions 7-24 of passengers 130 is installed in a bus 131 as a biological change detection unit 7.
  • the results of detecting the facial expressions 7-24 of the passenger 130 by the camera 7-21 are aggregated by a biological change aggregating unit 35 that executes a process of aggregating the detection results as a program in a so-called computer system equipped with a processor.
  • a biological change detection signal is output to the information collection unit 16 comprised of a cloud.
  • a device such as a smartphone 7-22 or a smart watch 7-23 owned by the passenger 130 may be used as the biological change detection unit 7.
  • mismatch can be detected even in a vehicle without a driver, such as a self-driving bus.
  • This embodiment is characterized in that a predetermined delay time width setting section 36 and an estimating section 37 are provided in place of the delay time setting section 10 of the vehicle control system 1 described in the first embodiment.
  • the predetermined delay time width setting unit 36 implements a program according to the first embodiment that sets a certain width to the predetermined delay time used when the judgment mismatch detection unit 9 refers to the buffer unit 5 after the near-miss detection unit 8 outputs the near-miss detection signal. As shown in , it is executed by a processor installed in an ECU or gateway.
  • the estimation unit 37 uses a program in the processor installed in the ECU or the gateway to calculate the control data in the buffer unit 5 within a predetermined delay time width after the near-miss detection unit 8 outputs the near-miss detection signal.
  • a time series analysis is performed on the data, and the timing (data time) at which the control data output from the vehicle control determination unit 3 changes significantly compared to other data is estimated and outputted to the determination mismatch detection unit 9 as a reference data time. do.
  • Embodiment 5 will describe the operation when the vehicle control system 102 described in Embodiment 4 is provided with a delay adjustment section that calibrates the delay time set by the predetermined delay time width setting section 36.
  • FIG. 16 is a configuration diagram of the vehicle control system 103 in this embodiment.
  • the same components as in the fourth embodiment are given the same reference numerals, and differences will be mainly explained. Points not particularly described are the same as the fourth embodiment.
  • the vehicle control system 103 differs from the vehicle control system 103 described in the fourth embodiment in that a delay adjustment section 38 is provided.
  • the estimation unit 37 estimates the reaction speed of the biological information provider based on the timing of the near-miss detection signal output from the near-miss detection unit 8 and the estimated timing, and sends the response speed to the delay adjustment unit 38. Output.
  • the delay adjusting section 38 feeds back the adjusted delay time to the predetermined delay time width setting section 36 based on the estimated reaction speed as a program in a processor installed in the ECU or the gateway.
  • the predetermined delay time width setting unit 36 changes the value of the delay time width based on the adjusted delay time.
  • Embodiment 6 an operation will be described when a truck equipped with any of the vehicle control systems 1, 101, 102, or 103 described in Embodiments 1 to 5 travels in a platoon.
  • FIG. 17 is a configuration diagram when the trucks 39a, 39b, and 39c according to this embodiment are traveling in a platoon.
  • This embodiment shows a case where the leading truck 39a is equipped with a rear camera 40b, the center truck 39b is equipped with a front camera 40a, and the rear truck 39c is not equipped with a camera. Further, surrounding manned vehicles 41a, 41b, and 41c exist in the vicinity, and a surveillance camera 42 is installed.
  • the trucks 39a, 39b, and 39c travel in platoon. Platooning is when a plurality of trucks drive while being controlled by vehicle-to-vehicle communication.
  • the trucks 39a, 39b, and 39c may or may not have people on board, but in this embodiment, the description will be made assuming that the leading truck a is manned and the center truck 39b and the rear truck 39c are unmanned.
  • the vehicle control system 1 can operate as described in the first embodiment.
  • the center truck 39b and the tail truck 39c are unmanned, and the biological change detection unit 7 in the vehicle control system 1 cannot acquire biological change information, so the biological information of the surrounding manned vehicles 41a, 41b, and 41c is used instead.
  • Another method is to detect a near miss when a passenger in the manned lead truck 39a notices the dangerous condition of the unmanned center truck 39b or rear truck 39c driving behind by looking at the rearview mirror, etc., and the biometric information changes. It may also be used as a detection signal.
  • the near-miss detection signal may be detected using the front camera 40a provided in the central truck 39b. Specifically, even though the recognition result of the rear camera 40b of the leading truck 39a detects danger, the image recognition result of the front camera 40a of the center truck 39b does not detect danger. If there is a difference in the recognition results of the captured camera images, it may be detected as a near-miss detection signal. In addition, as for the method of calculating the difference between the recognition results of similar camera images, an image of the surveillance camera 42 that photographs the area around the road on which the truck 39 travels may be used.
  • the near-miss detection signal corresponding to each vehicle can be detected, so the near-miss detection signal can be synchronized with the near-miss occurrence timing.
  • Predetermined delay time width setting unit 37 For Estimation unit 38... Delay adjustment unit 39a... Leading truck 39b... Center truck 39c... Trailing truck 40a... Front camera 40b... Rear camera 41... Surrounding manned vehicles 42...Surveillance camera 161... Receiving unit 162... Driving data acquisition unit 163... Mismatch checking unit 164... Mismatch detection exclusion condition storage unit 165... Mismatch feature extraction unit 166... Surrounding environment information acquisition unit 167... Save frequency specification unit 168... Transmitting unit 1200... Retrofit device 1201... Telematics data collection device 1202... Near-miss detection device 1203... Telematics control system 1210... Driving support system 1220... Cloud server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Operations Research (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Traffic Control Systems (AREA)

Abstract

自動運転車の認知を担うＡＩのトレーニングに有効なデータの効率的な収集を可能にする。車両制御システムを、車両に装着したセンサから取得したデータを用いて車両を制御する制御信号を作成する車両制御判定部と、車両に乗車している乗車者の生体変化又は車両の制御信号の少なくとも何れか一方から乗車者が感じるヒヤリハットを検出し、ヒヤリハット検出信号を出力するヒヤリハット検出部と、センサから取得したデータと車両制御判定部で作成した制御信号とヒヤリハット検出部で検出したヒヤリハット検出信号とからこのヒヤリハットを検出したタイミングにおける制御信号とヒヤリハット検出信号とのミスマッチを検出する判定ミスマッチ検出部と、この判定ミスマッチ検出部でミスマッチを検出したタイミングに対応する車両に装着したセンサから取得したデータと車両制御判定部で作成した制御信号とを記憶するデータ保存部とを備えて構成した。

Description

車両制御システム及び車両データ収集方法
　本発明は、車両制御システム及び車両データ収集方法に関する。
　近年、自動運転車の事故を未然に防ぐため、車両から走行データを収集し、自動運転ＡＩ（Artificial Intelligence）のトレーニングデータとして活用する取り組みが行われている。トレーニングされたＡＩをＯＴＡ(Over The Air)で配信することで、車両制御システムを常に最新の状態にアップデートすることが可能となる。
　走行データの収集方式として、特許文献１には、「記録装置において取得部と、設定部と、選別部とを備える。取得部は、車両の運転者の生体情報を取得する。設定部は、前記取得部によって取得された前記生体情報に基づき、前記車両の走行情報の重要度を設定する。選別部は、前記設定部によって設定された前記重要度に基づいて記憶部に残す前記走行情報を選別する。」と記載されている（要約参照）。
特開２０１８－１９５１９３号公報
　自動運転ＡＩのトレーニングデータとして車両から取得すべき情報は、人間とＡＩで走行状況の認知・判断にずれがある場合の走行情報である。人間とＡＩでずれがない場合は、既にＡＩが人間と同様の認知、判断ができており、必ずしも新たにトレーニングする必要はない。
　しかしながら、特許文献1の手法では、運転者が危険を感じた場合に、走行情報を記録するため、人間とＡＩに認知・判断ずれがあったかどうかを判断できなかった。その結果、収集する情報にトレーニングデータとして不要な情報を含む可能性があった。また、人間とＡＩの認知・判断ずれは自動運転レベルが上がるにつれ、少なくなることが見込まれるため、特に高度自動運転環境において特許文献1の手法で走行情報を取得した場合、トレーニング不要な情報の比率は高くなる可能性があった。
　本発明は、上記した従来技術の課題を解決して、自動運転車の認知を担うＡＩのトレーニングに有効なデータを効率的に収集することを可能にする車両制御システム及び車両データ収集方法を提供するものである。
　上記した課題を解決するために、本発明では、車両制御システムを、車両に装着したセンサから取得したデータを用いて車両を制御する制御信号を作成する車両制御判定部と、車両を運転しているときの車両に乗車している乗車者の生体変化、または車両の制御信号から乗車者が感じるヒヤリハットを検出し、ヒヤリハット検出信号を出力するヒヤリハット検出部と、車両に装着したセンサから取得したデータと車両制御判定部で作成した制御信号とヒヤリハット検出部で検出したヒヤリハット検出信号とからこのヒヤリハットを検出したタイミングにおける車両制御判定部で作成した制御信号とヒヤリハット検出信号とのミスマッチを検出する判定ミスマッチ検出部と、この判定ミスマッチ検出部でミスマッチを検出したタイミングに対応する車両に装着したセンサから取得したデータと車両制御判定部で作成した制御信号とを記憶するデータ保存部とを備えて構成した。
　また、上記した課題を解決するために、本発明では、車両制御判定部と、ヒヤリハット検出部と、判定ミスマッチ検出部と、データ保存部とを備えた車両制御システムにおいて車両データを収集する車両データ収集方法を、車両に装着したセンサから取得したデータを用いて車両制御判定部で車両を制御する制御信号を作成し、車両を運転しているときの車両に乗車している乗車者の生体変化または車両の制御信号からヒヤリハット検出部で乗車者が感じるヒヤリハットを検出し、車両に装着したセンサから取得したデータと車両制御判定部で作成した前記制御信号とヒヤリハット検出部で検出したヒヤリハット検出信号とから判定ミスマッチ検出部でヒヤリハットを検出したタイミングにおける制御信号とヒヤリハット検出信号とのミスマッチを検出し、ミスマッチ検出部でミスマッチを検出したタイミングに対応する車両に装着したセンサから取得したデータと制御部で作成した制御信号とをデータ保存部に記憶するようにした。
　本発明により、自動運転車の認知を担うＡＩのトレーニングに有効なデータを効率的に収集可能とする。さらに、収集したデータを活用してＡＩの機能を向上させることで車両制御システムの安全性を向上させる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の実施例1に係る車両制御システムの概略の構成を示すブロック図である。 本発明に実施例1に係る、生体変化検出部の構成を示すブロック図である。 本発明の実施例1に係る車両制御システムにおける処理の流れを示すフロー図である。 本発明の実施例1の変形例に係る車両制御システムの概略の構成を示すブロック図である。 本発明の実施例1の変形例に係る車両制御システムにおけるデータ出力部の表示画面の正面図である。 本発明の実施例２に係る車両制御システムからクラウドにデータを送信して処理する場合の概略の構成を示すブロック図である。 本発明の実施例２に係る車両制御システムから発信される走行データを管理して学習データを作成し更新データを送信する場合のデータの流れを示すブロック図である。 本発明の実施例２に係る車両制御システムからの情報を受けるクラウドの内部構成を示すブロック図である。 本発明の実施例２に係る車両制御システムからの情報を受けたクラウドにおける処理の流れを示すフロー図である。 本発明の実施例２に係る車両制御システムにおける処理の流れを示すフロー図である。 本発明の実施例２に係る学習データ生成部で作成される学習用データの一例を示す表である。 本発明の実施例２における車両制御システムを後付けデバイスで実現する場合の構成を示すブロック図である。 本発明の実施例３における車両制御システムの概略の構成を示すブロック図である。 本発明の実施例３において生体変化検出部をバスで実現する場合の構成を示すブロック図である。 本発明の実施例４における車両制御システムの概略の構成を示すブロック図である。 本発明の実施例５における車両制御システムの概略の構成を示すブロック図である。 本発明の実施例６における車両制御システムを隊列で走行するトラックに適用した例を示すブロック図である。
　本発明は生体情報の変化または車両制御の変化からヒヤリハット(車両に乗車している乗車者が危険を感じたこと)を検出し、ヒヤリハット要因発生のタイミングで車両制御システムがヒヤリハットに対応する車両制御信号を検出できていない場合を乗車者と車両制御システムの判定ミスマッチと判定し、判定ミスマッチが発生した場合に車両制御信号と走行データを記録するとともに、学習データを作成して車両制御システムの精度を向上させるようにしたものである。
　以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
　本実施例では、本発明の判定ミスマッチの検出タイミングで走行データを保存する車両制御システムについて説明する。図１は本実施形態の構成図であり、図２は本実施形態を乗用車で実現する場合の生体変化検出部の構成例、図３は本実施例におけるデータ保存の処理フロー図である。
　まず図１について説明する。本実施例に係る車両制御システム1は、センサ群２と、車両制御判定部３、バッファ部５、車両制御検出部６、生体変化検出部７、ヒヤリハット検出部８、判定ミスマッチ検出部９、遅延時間設定部１０、情報取得部１１、データ保存部１２を備えている。
　センサ群２は車両制御に必要な情報を収集するためのセンサであり、GPS(Global Positioning System)等のGNSS(Global Navigation Satellite System)やLiDAR(Light Detection And Ranging)、 レーダー、カメラなどを含む。各センサのセンシング結果（カメラのRAW(生)データを含む）は車両制御判定部３、およびバッファ部５の入力データとなる。
　車両制御判定部３は、センサ群２からの入力データを基に、車両内外の状態認識や制御、通信等の処理を行うＥＣＵ（Electronic Control Unit）やゲートウエイ内部に搭載するプロセッサにおいてプログラムとして、車両の状況を判断して車両の制御量を演算により決定処理を実行し、車両駆動部４およびメモリであるバッファ部５に制御データ（車両制御値）を送信する。制御データとは、ブレーキやアクセルの踏み込む量などに加え、物体の認知結果、物体との距離など車両制御の判定に利用した情報、車両に緊急回避などの対応（運転者への注意喚起や警告、緊急ブレーキ等）が必要か否かという判断の結果などを含む。ここで、車両制御判定部３は、学習済みのＡＩ（人工知能）を備えて構成されている。
　車両駆動部４はブレーキ、アクセル、ステアリングなどで構成され、車両制御判定部３から出力された制御データに基づいて車両を駆動する。
　バッファ部５はセンサ群２および車両制御判定部３からの情報を一時的に保存する。記録の際、データは時間に紐づけられ、車両制御判定部３が参照したセンサ群２の情報（入力）と、その結果車両制御判定部３により導出された制御データ(出力）を合わせて走行データとして記録する。
　車両制御検出部６は、前記車両制御判定部３と同様にプロセッサにおいてプログラムとして、車両が通常とは大きく異なって制御されたことを検出する処理を実行し、この検出した信号を車両制御検出信号として出力する。例えば、ブレーキやアクセル、ステアリング等の操作を対象に、時系列分析を利用することで通常とは異なる動作であったこと（急ブレーキ、 急ハンドルなど）が検出可能である。
　生体変化検出部７は、前記車両制御判定部３と同様にプロセッサにおいてプログラムとして、車両の乗車者の生体情報を取得し、この取得した生体情報が通常の生体情報とは大きく異なって変化した場合にこの変化を検出する処理を実行し、生体変化検出信号として出力する。乗車者には、車両の運転者、助手席や後部座席の人、もしくはバスなどの場合は乗客などが含まれる。例えば生体情報には、心拍や血圧、表情等が含まれ、時系列分析を利用することで通常とは異なる動作であったことが検出可能である。表情の場合、人間の表情をあらかじめ学習させ、カメラを設置して乗車者の表情を取得、分析することで検出が可能である。
　ヒヤリハット検出部８は、前記車両制御判定部３と同様にプロセッサにおいてプログラムとして、車両制御検出部６からの車両制御検出信号、または/かつ生体変化検出部７からの生体変化検出信号を検出した場合に、乗車者が危険を検出した、つまりヒヤリハットがあったと判断する処理を実行し、ヒヤリハット検出信号を出力する。なお、ヒヤリハット検出部８は、車両制御検出信号または生体変化検出信号の一方に基づいて、広い範囲のヒヤリハットを検出し、ヒヤリハット検出信号を出力してもよい。
　判定ミスマッチ検出部９は、前記車両制御判定部３と同様にプロセッサにおいてプログラムとして、ヒヤリハット検出部８からのヒヤリハット検出信号を検出した場合、バッファ部５に記憶された制御データから、ヒヤリハット検出信号を検出したタイミングに対して遅延時間設定部１０に設定された時間分遡った時刻とその前後の時間(例えば数秒間)における制御データ(ヒヤリハット要因発生時の判定結果)を参照する。
　判定ミスマッチ検出部９においてヒヤリハットを検出したタイミングからバッファ部５に記憶された所定の時間遡った時刻とその前後における制御データを参照した結果、車両制御判定部３が危険を検知できていなかった場合(車両制御判定部３から運転者への注意喚起や警告信号の出力や、車両駆動部４への緊急ブレーキ等の制御データの出力等の対応をしていなかった場合)、人間と車両制御システムの判定ミスマッチと判断し、情報取得部１１にデータ取得トリガ信号とバッファ部５内で参照したデータの紐づけ時刻（参照データ時刻）の情報を出力する。
　情報取得部１１は、前記車両制御判定部３と同様にプロセッサにおいてプログラムとして、判定ミスマッチ検出部９からのデータ取得トリガ信号を受けて、バッファ部５に記憶されたデータの中から参照データ時刻に対応する制御データと入力データをデータ保存部１２への保存処理を実行する。このメモリであるデータ保存部１２に保存するデータは、参照データ時刻のみに対応するデータでもよいし、参照データ時刻から所定の範囲の時間幅に対応するデータでもよい。
　本実施例の各構成要素の機能は、前記したように車両のセントラルゲートウェイに組みこんで実現してもよいし、ＥＣＵ（Electronic Control Unit）に組み込んで実現してもよい。また、本実施例の各構成要素の機能は後付けするデバイスによって実現してもよい。前記データ保存部１２等に用いているメモリは揮発性メモリでも不揮発性メモリでも良い。以降の実施例においても同様である。
　次に図２を用いて本実施例を乗用車で実現する場合について説明する。車両１３には乗車者１３０が乗車する。乗車者１３０の生体情報は、スマートフォン７－１１やスマートウォッチ７－１２、カメラ７－１３、心拍測定機能付きの座席７－１４などによって実現される生体変化検出部７から取得される。取得した情報は無線通信、もしくは有線通信などの手段によりヒヤリハット検出部８に送信される。ヒヤリハット検出部８でヒヤリハット検出信号が検出された場合の動作については図１で説明した通りである。
　本実施例に係る車両制御システム1におけるデータ処理の流れを、図３を用いて説明する。
　まず、車両１３を運転中にセンサ群２で検出した各センサからのデータを取得し（Ｓ３０１）、この取得したデータを車両制御判定部３に入力して車両の状況を判断して車両の制御データを作成する（Ｓ３０２）と共に、バッファ部５に記憶する。
　車両制御判定部３では、Ｓ３０２において、入力した各センサからのデータを学習済みのＡＩ（人工知能）を用いて処理することにより車両の状況を判断して、車両の制御データを作成する。車両制御判定部３において作成した制御データは、車両駆動部４に送られて車両を制御する（Ｓ３０３）と共に、バッファ部５に記憶される（Ｓ３０４）。
　一方、車両１３を運転中に車両が通常とは大きく異なって制御されたことを車両制御検出部６で検出した場合に、車両制御検出部６から出力された信号をヒヤリハット検出部８で車両制御検出信号として受信し（Ｓ３０５）、生体変化検出部７で検出される車両１３の乗車者１３０の生体情報が通常の生体情報とは大きく異なって変化した場合に、生体変化検出部７から出力された信号をヒヤリハット検出部８で生体変化検出信号として受信し（Ｓ３０６）、ヒヤリハット検出部８で受信した車両制御検出信号と生体変化検出信号とからヒヤリハットがあったと判断し、ヒヤリハット検出信号を出力する（Ｓ３０７）。また、Ｓ３０７において、Ｓ３０５、Ｓ３０６のいずれか一方を検出した場合にヒヤリハット検出としてもよい。
　次に、判定ミスマッチ検出部９において、ヒヤリハット検出部８から出力されたヒヤリハット検出信号を受けて、Ｓ３０４でバッファ部５に記憶された信号の中から、ヒヤリハット検出信号を受信した時刻よりも時刻情報を保存するメモリである遅延時間設定部１０に記憶された所定遅延時間だけ遡った時刻とその前後におけるセンサ群２からのセンサデータと車両制御判定部３からの制御データとを抽出する。この抽出したセンサデータと制御データにおいて、車両制御判定部３が危険を検知できていなかった場合(車両制御判定部３から運転者への注意喚起や警告信号の出力や、車両駆動部４への緊急ブレーキ等の制御データの出力等の対応をしていなかった場合)、人間と車両制御システムの判定ミスマッチとして検出し(S３０８)、情報取得部１１でこの検出した判定ミスマッチ検出時の走行データを収集する（Ｓ３０９）。次に、この収集した判定ミスマッチ検出時の走行データをデータ保存部１２に保存する（Ｓ３１０）。
　本実施例によれば、人間と車両制御システムの判定ミスマッチがあった場合のみ走行データを取得することにより、自動運転車の認知を担うＡＩのトレーニングに有効なデータを効率的に収集可能とする。
［変形例］
　実施例1の変形例に係る車両制御システム1－１の構成を図４に示す。実施例1に係る車両制御システム1と同じ構成部分については、同じ部品番号を付してある。
　本変形例に係る車両制御システム1－1は、図４に示すように、情報取得部１１とデータ保存部１２との間に前記情報取得部１１と同様にプロセッサにおいてプログラムとして実行するデータ出力部１４を設けて、情報取得部１１で取得した情報をデータ出力部１４に出力してデータ保存部１２に保存するデータを選択できるようにした点が実施例1と異なる。
　すなわち、本変形例においては、図５に示すような、情報取得部１１で取得した情報を画面上に表示する表示部１４１と、表示されたデータの保存を選択する保存ボタン１４２と消去を選択する消去ボタン１４３を備えたデータ出力部１４を追加した点が実施例1と異なる。
　本変形例によれば、実施例1で述べた効果に加えて、情報取得部１１で取得した情報をデータ出力部１４に表示させてデータ保存部１２に保存するデータを選択することにより、ヒヤリハット以外の要因でヒヤリハット信号が検出された場合のデータを削除することができる。すなわち、データ保存部１２に保存するデータの量を削減し、保存する情報の精度（保存されるデータがヒヤリハット発生時のデータである確率）も向上させることができる。
　本発明に係る第２の実施例では、実施例１で説明した車両制御システム１を活用した車両データ収集および収集データの活用方法について説明する。図６は本実施例の構成を示すブロック図であり、図７は本実施例のデータの流れを示すブロック図、図８は本実施例におけるクラウドの内部構成を示すブロック図、図９は本実施例におけるクラウドにおける処理の流れを示すフロー図、図１０は車両制御システムにおける処理の流れを示すフロー図を示す。
　まず、図６を用いて本実施例に係る車両制御システム１を活用した車両データ収集システム全体の構成について説明する。
　車両１３には、実施例１で説明した構成と機能を有する車両制御システム１が搭載されており、乗車者１３０（図２参照）が乗車する。図６においては簡略化して示しているが、車両制御システム１の構成とその動作は実施例１で説明したとおりである。各構成要素においても実施例１で示したようにＥＣＵやゲートウエイに搭載するプロセッサにおいてプログラムとして実行する。
　送信部１５は、同様にプロセッサにおいてプログラムとして、車両制御システム１のデータ保存部１２に保存されている判定ミスマッチ検出時の走行データを情報収集部１６（クラウドサーバーなど）に送信する。
　情報収集部１６は、クラウドシステム等のサーバコンピュータにおいてプログラムとして実行するもので、送信部１５から送信されるデータ保存部１２に保存された判定ミスマッチ検出時の走行データ、および判定ミスマッチ検出タイミングでの周辺情報１７を収集、整理する。周辺情報１７を収集する目的は、人間（ヒヤリハット検出信号）とＡＩ（制御データ）の判定ミスマッチの発生要因が、走行データ以外に存在する可能性があるためである。判定ミスマッチ検出部９で人間とＡＩの判定ミスマッチがあったと判定した場合でも、実際には判定ミスマッチではない可能性もあるため、情報収集部１６ではデータ保存部１２から受信したデータから、人間とＡＩの判定ミスマッチではなかったデータを取り除く処理を行う。この処理の詳細については図９を用いて後述する。
　前記処理により、人間とＡＩの判定ミスマッチが確認されたデータは、学習データ生成部１８に送信する。車両制御システム１のデータ保存部１２には、乗車者１３０と車両制御システム１の判定ミスマッチ時の時刻情報や車両位置情報が含まれるため、当該時刻、位置での周辺情報１７をインターネット等を利用して入手、保存することが可能である。周辺情報１７には、天気や気温、交通状況などが含まれる。
　学習データ生成部１８は、クラウドシステム等のサーバコンピュータにおいてプログラムとして実行するもので、不具合データベース（不具合ＤＢ）１９を備え、前記情報収集部１６で収集、整理された情報のうち実際に不具合があったものを格納する。不具合データベース１９は、他の車両２１からも同様に情報を収集しており、不具合情報を統合することが可能である。不具合データベース１９の情報を利用し、学習データ生成部１８は車両制御判定部３に格納されているＡＩをトレーニングするための学習用データ２０を作成する。作成された学習用データ２０は、システム設計部門２２へ提供される。
　システム設計部門２２は、学習データ生成部１８から受領した学習用データ２０を活用し、車両制御システム１の車両制御判定部３に格納されているＡＩをトレーニングし、更新データを作成する。作成された更新データは、ＯＴＡ等を活用して各車両に配信されて車両制御判定部３に格納される。
　本実施例によれば、車両制御システム１で収集した人間とＡＩの判定ミスマッチに関するデータを活用してＡＩをトレーニングし、更新データを配信して車両制御判定部３に格納されているＡＩを更新することで、車両制御システム１の安全性と信頼性を向上させることができる。
　なお、図6に示した構成では、送信部１５は、車両制御システム１の外部に配置された構成となっているが、送信部１５を車両制御システム１の内部に組み込んで車両制御システム１を構成する１つのユニットとしてもよい。
　次に図７を用いて本発明を活用したサービスの概要について説明する。ここでは、サービスのプレイヤーとして個人車両購入者２３、車両提供サービス業者２４、車両提供サービス業者２４の車両提供サービスを受ける、車両利用者２５、車両運用事業者２６、データ管理部門２７、システム設計部門２８（図６のシステム設計部門２２に相当）が登場する。図７では、各プレイヤーの提供する情報を矢印で記載し、本サービスにより各プレイヤーが享受する価値を記載している。
　まず、情報の流れから説明する。個人車両購入者２３および車両運用事業者２６は、データ管理部門２７に対して走行データを提供する。車両提供サービス業者２４は、車両利用者２５が利用した車両から走行データを入手し、データ管理部門２７に提供する。データ管理部門２７は、各プレイヤーから提供された走行データを集約、分析、加工し、学習用データ２０を作成する。作成した学習用データ２０はシステム設計部門２８に提供される。システム設計部門２８は、提供された学習用データ２０を利用し、各車両に搭載される車両制御システム１の更新データを作成する。作成した更新データは、ＯＴＡなどの手段を用いて個人車両購入者２３、車両提供サービス業者２４、車両運用事業者２６に提供される。
　次に、サービスによって各プレイヤーが享受する価値について説明する。システム設計部門２８から更新データを受け取ることにより、個人車両購入者２３は、所有する車両の安全性向上の価値を享受することができる。また、車両提供サービス業者２４および車両運用事業者２６は、車両の安全性向上に加え、車両で発生する不具合事象の減少により所有する車両の稼働率向上という価値も享受することができる。車両利用者２５は車両の安全性向上に加え、車両で発生する不具合事象が減少し、品質の向上した車両提供サービスを受けることができる。システム設計部門２８は学習用データ２０を活用して製品を改良することによって、市場競争力を向上させることができる。また更新データの提供により、安全な車両の提供が可能となり、顧客からの信頼性も向上させることができる。
　次に、情報収集を行う情報収集部１６の構成について、図８を用いて説明する。情報収集部１６は、図６で説明した送信部１５から送信された情報を受信する受信部１６１、走行データ取得部１６２、ミスマッチチェック部１６３、ミスマッチ検出除外条件記憶部１６４、ミスマッチ特徴量抽出部１６５、周辺環境情報取得部１６６、保存頻度指定部１６７、送信部１６８を備え、それらの間がデータ線１６９で繋がれている。
　このような構成を有するクラウド側でのデータ整理フローについて、図９を用いて説明する。　
　まず、送信部１５から送信された、車両制御システム１のデータ保存部１２に保存されている、判定ミスマッチ検出部９がミスマッチを検出した際の走行データを受信部１６１で受信して走行データ取得部１６２に格納する（Ｓ９０１）。
　次に、走行データ取得部１６２に格納した走行データに対して、ミスマッチチェック部１６３において、人間とＡＩの判定ミスマッチが実際にあったか否かをチェックす（Ｓ９０２）。
　このミスマッチチェック部１６３では、ミスマッチ検出除外条件記憶部１６４に予め設定されているミスマッチ検出除外条件、もしくは学習データ生成部１８の不具合データベース１９に集約された情報からミスマッチ特徴量抽出部１６５で人間とＡＩのミスマッチ検出時に共通する特徴量を抽出する、などの手法を用いて自動的に行う。
　ミスマッチ検出除外条件記憶部１６４に予め設定されているミスマッチ検出除外条件の例としては、カメラのRAWデータや、認知結果にヒヤリハット要因となりやすい車両や人間、動物などのオブジェクトが何も映っていない場合に、ヒヤリハットはなかったものとする、などがある。
　ミスマッチ特徴量抽出部１６５で抽出する特徴量の例として、ミスマッチ時の時刻や、認識しているオブジェクト、天候などがある。
　Ｓ９０２でミスマッチ有と判定した場合（Ｓ９０２でYESの場合）は、人間とＡＩの判定ミスマッチ検出時刻に対応する天気や気温、交通状況などの周辺環境情報を収集する（Ｓ９０３）。
　次に、Ｓ９０２でミスマッチ有と判定した情報を不具合データベース１９格納する前に、人間によってミスマッチ有無の最終確認を行い（Ｓ９０４）、ミスマッチが有ると判定した場合（Ｓ９０４でYESの場合）には、そのデータを不具合データベース１９に格納して（Ｓ９０５）終了する。このＳ９０４ステップは、Ｓ９０２におけるミスマッチチェック部１６３の精度が高い場合などには省略して、Ｓ９０３から直接Ｓ９０５に進んでもよい。
　学習データ生成部１８においては、不具合データベース１９に格納されたミスマッチに関するデータに基づいて、学習用データ２０が作成される。
　学習用データ２０の一例として、図１１に示す表形式で表した学習用データ１１００の例を示す。学習用データ１１００には、車種１１０１にはヒヤリハットを検出した車両の種類に関する情報、ミスマッチ発生日時１１０２にはヒヤリハットデータのミスマッチが発生した日時の情報、車両制御情報１１０３にはヒヤリハット検出部８で検出したヒヤリハットの認知結果、車両制御判定部３から出力された車両制御値、図示していないＥＣＵなどから得られる車両状況判断結果など、周辺情報１１０４には天気や気温、交通状況などのインターネットを介して得られる周辺の情報、ミスマッチチェック部１６３で判定したミスマッチの有無に関する情報１１０５が互いに関連付けられて記憶されている。
　ここで、Ｓ９０１で車両から受信する走行データには、位置情報や時刻情報などのデータ量の小さいものと、カメラのRAWデータなどのデータ量の大きいものが混在しており、データの受信頻度次第では、車両１３と情報収集部１６との間での通信を圧迫する恐れがある。そのため、通常はデータ量の小さいものだけを受信し、Ｓ９０２やＳ９０４で本当のミスマッチである可能性が高まった場合には、より詳細な情報取得のため、残りのデータ量の大きいものを追加で車両側に要求するようにしてもよい。
　Ｓ９０２でミスマッチが無いと判定した場合（Ｓ９０２でNOの場合）は、追加データの要否を判断し（Ｓ９０６）、追加データが必要と判断した場合（Ｓ９０６でYESの場合）、データ保存部１２に保存されているデータの中から追加データを取得し（Ｓ９０７）、再度Ｓ９０２に進んでミスマッチ有無の判定を行う。
　一方、追加データは必要なしと判断した場合（Ｓ９０６でNOの場合）、Ｓ９０１で取得したデータを消去して（Ｓ９１０）終了する。
　また、Ｓ９０４においてミスマッチが無いと判定した場合（Ｓ９０４でNOの場合）には、追加データの要否を判断し（Ｓ９０８）、追加データが必要と判断した場合（Ｓ９０８でYESの場合）、データ保存部１２に保存されているデータの中から追加データを取得し（Ｓ９０９）、再度Ｓ９０４に進んでミスマッチ有無の判定を行う。
　一方、追加データは必要なしと判断した場合（Ｓ９０８でNOの場合）、Ｓ９０１で取得したデータを消去して（Ｓ９１０）終了する。
　次に、図１０を用いて本実施例における車両制御システム１の各構成要素の処理の流れを示す。Ｓ１００１からＳ１００９までの処理は、実施例1で図３を用いて説明した処理フローのＳ３０１～Ｓ３０９までの処理と同じであるので、説明を省略する。
　図１０のＳ１００９において収集された情報について、データ保存部１２に保存する頻度が予め設定された頻度に達しているかを判定し（Ｓ１０１０）、まだ設定された頻度に達していない（Ｓ１０１０でNO）と判定された場合には、Ｓ１００９において収集された情報をデータ保存部１２に保存し（Ｓ１０１１）、この保存したデータを情報収集部１６に送信する（Ｓ１０１２）。
　また、図６に示したシステム設計部門２２に更新データが有る場合には、車両制御判定部３で更新データを受信し（Ｓ１０１４）、この更新データを用いてＳ１００２において車両制御判定を行う。このように更新データを取得して車両制御判定を行うことにより、ヒヤリハットの判定の精度を高く維持して、判定の信頼性を高く維持することができる。
　Ｓ１０１２でデータをクラウドで構成される情報収集部１６に送信する際、バッファ部５に保存していた走行データに加え、車両の種類、走行距離、利用年数などの基本的な車両情報を一緒に送信してもよい。
　また、Ｓ１０１０での判定に用いる保存する頻度は、情報収集部１６の保存頻度指定部１６７に記憶された保存頻度のデータを用いるが、ミスマッチ発生状況に合わせたデータの保存回数として設定するようにしてもよい。例えば、情報収集部１６でのデータ処理の結果、当該車種でのミスマッチ検出が少ないことが判明した場合、保存頻度を低く設定する（１０回に１回保存する等）。また、保存頻度指定部１６７に記憶される保存頻度のデータは、ＯＴＡなどにより更新可能としてもよい。
　一方、Ｓ１０１０において設定された頻度に達している（YES）と判定された場合には、Ｓ１００９において収集された情報を廃棄(消去)して（Ｓ１０１３）、処理を終了する。
　次に図１２を用いて、本発明を車両１２０に後付けデバイスで実現する場合のハードウェア構成について説明する。本実施例に関連してヒヤリハットのミスマッチを検出するために車両１２０に装着されるハードウェアは、運転支援システム１２１０、テレマティクスデータ収集デバイス１２０１、ヒヤリハット検出デバイス１２０２、テレマティクスコントロールシステム１２０３で構成される。
　本構成で取得されたデータは無線などを通じてクラウドサーバー１２２０に送信される。このうち、テレマティクスデータ収集デバイス１２０１、およびヒヤリハット検出デバイス１２０２、及びテレマティクスコントロールシステム１２０３が後付けのデバイス１２００である。テレマティクスデータ収集デバイス１２０１は、車両に関する情報を収集可能なデバイスであり、ＣＡＮから直接情報が収集可能なものや、ＯＢＤポートから情報収集可能なものなどがあるが、いずれの方式のものを用いてもよい。
　ヒヤリハット検出デバイス１２０２は、スマートウォッチやスマートフォン等から生体情報を収集し、テレマティクスデータ収集デバイス１２０１との間でミスマッチが検出された場合のデータをテレマティクスコントロールシステム１２０３から無線等を用いてクラウドサーバー１２２０に送信する。このような構成とすることで、既存の車両からヒヤリハット検出時の情報を収集することが可能となる。
　本実施例によれば、個々の車両で検出された人間と車両制御との判断ミスマッチに関するデータをクラウドで収集して学習し、その学習したデータを個々の車両に送付して車両制御判定部に反映させることにより、車両制御判定部の信頼性を向上させることができ、人間と車両制御との判断ミスマッチをより少なくすることが可能になる。
　本発明の第３の実施例として、車両制御システムにおいて、複数の生体情報を利用してミスマッチを検出する場合について説明する。図１３は本実施例に係る車両制御システム１０１の構成図である。以下の説明では、実施例１で説明した車両制御システム１と同じ構成要素には同じ符号を付してあり、相違点を主に説明する。特に説明しない点については、実施例１の場合と同じである。
　本実施例では、実施例１の生体変化検出部７に替えて、複数の生体変化検出部７－1、 …７－nで構成し、更に複数の生体変化検出部７－1、 …７－nからの情報を受ける生体変化集約部３５を設け、生体変化集約部３５が複数の生体変化検出部７－１、 …７－nのうちの複数又は過半数で生体変化が検出された場合に、生体変化検出信号をヒヤリハット検出部８に出力するように構成した。なお生体変化集約部３５は、実施例１で示したようにＥＣＵやゲートウエイに搭載するプロセッサにおいてプログラムとして実行する。
　このような構成とすることにより、本実施例によれば、複数の生体変化検出部７－1、 …７－nのうちの複数で生体変化を検出した場合に限って生体変化検出信号をヒヤリハット検出部８に出力することで、単一の生体情報を利用する場合よりもミスマッチ検出タイミングがヒヤリハットである確率を高めることができる。
　図１４にバス１３１での表情検出の例を示す。本実施形態の具体例として、バス１３１に生体変化検出部７として乗車者１３０の表情７－２４を読み取るカメラ７－２１を設置する。カメラ７－２１で乗車者１３０の表情７－２４を検出した結果を、プロセッサを搭載するいわゆるコンピュータシステムにおいてプログラムとして前記検出結果を集約する処理を実行する生体変化集約部３５で集約し、一定数以上の乗車者１３０が危険を感じていると推定される場合にクラウドで構成される情報収集部１６に生体変化検出信号を出力する。また、カメラ７－２１からだけでなく、乗車者１３０の所有するスマートフォン７－２２やスマートウォッチ７－２３といったデバイスを生体変化検出部７として利用してもよい。本実施例のように、自動運転バスのような運転者の存在しない車両であっても、ミスマッチの検出が可能である。
　本発明の実施例４として、実施例1で説明した車両制御システム１の遅延時間設定部１０に替えて、図１５に示すように、所定遅延時間に幅を設けることが可能に所定遅延時間幅設定部３６を設けた車両制御システム１０２について説明する。
　以下の説明では、実施例１で説明した車両制御システム１と同じ構成要素には同じ符号を付してあり、相違点を主に説明する。特に説明しない点については、実施例１の場合と同じである。
　本実施形態では、実施例１で説明した車両制御システム１の遅延時間設定部１０に替えて、所定遅延時間幅設定部３６と、推定部３７を設たことを特徴とする。所定遅延時間幅設定部３６は、ヒヤリハット検出部８がヒヤリハット検出信号を出力後、判定ミスマッチ検出部９がバッファ部５を参照する際に用いる所定遅延時間に一定の幅を設けるプログラムを実施例１で示したようにＥＣＵやゲートウエイに搭載するプロセッサにおいて実行するものである。
　推定部３７は、実施例１で示したようにＥＣＵやゲートウエイに搭載するプロセッサにおいてプログラムとして、ヒヤリハット検出部８がヒヤリハット検出信号を出力後、所定遅延時間幅内で、バッファ部５内の制御データについて時系列分析を行い、車両制御判定部３から出力された制御データが他と比較して大きく変化するタイミング（データ時刻）を推定処理を実行し、 判定ミスマッチ検出部９に参照データ時刻として出力する。
　本実施例によれば、ヒヤリハット検出後、固定遅延時間遡る場合と比較して、一定範囲内からタイミングを探索することで、より確実にヒヤリハット発生タイミングに同期する走行データを保存可能とする。
　実施例５では、実施例４で説明した車両制御システム１０２において、所定遅延時間幅設定部３６で設定する遅延時間をキャリブレーションする遅延調整部を設ける場合の動作ついて説明する。
　図１６は本実施例における車両制御システム１０３の構成図である。以下の説明では、第４の実施の形態と同じ構成要素には同じ符号を付してあり、相違点を主に説明する。特に説明しない点については、第４の実施の形態と同じである。
　本実施例に係る車両制御システム１０３では、実施例４で説明した車両制御システム１０３に加え、遅延調整部３８を設けた点が異なる。推定部３７は、実施例４で説明した動作に加え、ヒヤリハット検出部８の出力するヒヤリハット検出信号のタイミングと、推定したタイミングから、生体情報提供者の反応速度を推定し、遅延調整部３８に出力する。遅延調整部３８は、実施例１で示したようにＥＣＵやゲートウエイに搭載するプロセッサにおいてプログラムとして、推定した反応速度に基づき、調整遅延時間を所定遅延時間幅設定部３６へのフィードバックを実行する。所定遅延時間幅設定部３６は、調整遅延時間に基づき、遅延時間幅の値を変更する。
　本実施例によれば、生体反応時間を推定し、所定遅延時間幅にフィードバックすることで、保存回数を重ねるごとにより確実にヒヤリハット発生タイミングに同期する走行データを保存可能とする
　実施例６では、実施例1から５で説明した車両制御システム１又は１０１、または１０２または１０３の何れかを搭載したトラックが隊列走行を行う場合の動作について説明する。
　図１７は本実施例に係るトラック３９a、３９b、３９cが隊列走行している場合の構成図である。本実施形態は先頭トラック３９ａが後方カメラ４０ｂを備え、中央トラック３９ｂが前方カメラ４０ａを備え、後尾トラック３９ｃにはカメラを装備していない場合を示している。また周辺には、周辺有人車両４１a、４１ｂ、４１ｃが存在し、監視カメラ４２が設置されている。
　このような状況でトラック３９a、３９b、３９cは隊列走行を行う。隊列走行とは、複数のトラックが、車－車間通信によって制御されて走行することである。トラック３９a、３９b、３９cには、人間が乗っている場合と、乗っていない場合があるが、本実施形態では先頭トラックａは有人、中央トラック３９ｂおよび後尾トラック３９ｃは無人として説明する。
　まず、先頭トラック３９ａは、有人であるため、車両制御システム１は実施例１で説明したような動作が可能である。一方、中央トラック３９ｂおよび後尾トラック３９ｃは無人であり、車両制御システム１における生体変化検出部７で生体変化情報を取得できないため、代わりに周辺有人車両４１a、４１ｂ、４１ｃの生体情報を利用する。
　具体的には、トラック３９a、３９b、３９cの隣のレーンを走行している周辺有人車両４１a、４１ｂ、４１ｃの乗車者が、無人である中央トラック３９ｂもしくは後尾トラック３９ｃの危険な状況に気が付き、生体変化があったという情報を車－車間通信でヒヤリハット検出信号として受け取る、などの手法がある。
　車－車間通信で周辺有人車両４１からのヒヤリハット検出信号を受け取ったとき、無人の中央トラック３９ｂまたは後尾トラック３９ｃが危険を検知できていなかった場合、データを保存する。
　また、別の手法として、有人である先頭トラック３９ａの乗車者が、バックミラー等で後ろを走行する無人の中央トラック３９ｂや後尾トラック３９ｃの危険な状態に気が付き、生体情報が変化した場合をヒヤリハット検出信号としてもよい。
　さらに、中央トラック３９ｂが備える前方カメラ４０aを利用してヒヤリハット検出信号を検出してもよい。具体的には、先頭トラック３９aの後方カメラ４０ｂの認知結果は危険を検出しているにもかかわらず、中央トラック３９ｂの前方カメラ４０ａの画像認知結果は危険を検出していない、など同じ位置を撮影するカメラ画像の認知結果に差がある場合にヒヤリハット検出信号として検出してもよい。加えて、同様のカメラ画像の認知結果の差分をとる手法について、トラック３９が走行する道路周辺を撮影する監視カメラ４２の画像を利用してもよい。
　本実施例によれば、隊列走行を行う複数の車両において複数の車両を無人運転する場合であっても、それぞれの車両に対応するヒヤリハット検出信号を検出することができるので、ヒヤリハット発生タイミングに同期する走行データを保存可能とする
　以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は前記実施例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　１、１－１、１０１、１０２、１０３…車両制御システム　　２…センサ群　　３…車両制御判定部　４…車両駆動部　　５…バッファ部　　６…車両制御検出部　　７…生体変化検出部　　８…ヒヤリハット検出部　　９…判定ミスマッチ検出部　　１０…遅延時間設定部　　１１…情報取得部　　１２…データ保存部　　１３、１２０…車両　　１４…データ出力部　　１５…送信部　　１６…情報収集部　　１７…周辺情報　　１８…学習データ生成部　　１９…不具合データベース　　２０…学習用データ　　２２、２８…システム設計部門　　２３…個人車両購入者　　２４…車両提供サービス業者　　２５…車両利用者　　２６…車両運用事業者　　２７…データ管理部門　　３５…生体変化集約部　　３６…所定遅延時間幅設定部　　３７…推定部　　３８…遅延調整部　　３９ａ…先頭トラック　　３９ｂ …中央トラック　　３９ｃ …後尾トラック　　４０ａ …前方カメラ　　４０ｂ…後方カメラ　　４１…周辺有人車両　　４２…監視カメラ　　１６１…受信部　　１６２…走行データ取得部　　１６３…ミスマッチチェック部　　１６４…ミスマッチ検出除外条件記憶部　　１６５…ミスマッチ特徴量抽出部　　１６６…周辺環境情報取得部　　１６７…保存頻度指定部　　１６８…送信部　　１２００…後付けのデバイス　　１２０１…テレマティクスデータ収集デバイス　　１２０２…ヒヤリハット検出デバイス　　１２０３…テレマティクスコントロールシステム　　１２１０…運転支援システム　　１２２０…クラウドサーバー。

Claims (11)

  1. 　車両に装着したセンサから取得したデータを用いて前記車両を制御する制御信号を作成する車両制御判定部と、
    　前記車両を運転しているときの前記車両に乗車している乗車者の生体変化、または前記車両の制御信号の少なくとも何れか一方から前記乗車者が感じるヒヤリハットを検出し、ヒヤリハット検出信号を出力するヒヤリハット検出部と、
    　前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号と前記ヒヤリハット検出部で検出した前記ヒヤリハット検出信号とから前記ヒヤリハットを検出したタイミングにおける前記制御信号と前記ヒヤリハットとのミスマッチを検出する判定ミスマッチ検出部と、
    　前記判定ミスマッチ検出部で前記ミスマッチを検出した前記タイミングに対応する前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号とを記憶するデータ保存部と
    を備えることを特徴とする車両制御システム。
  2. 　請求項1記載の車両制御システムであって、
    　遅延時間設定部を更に備え、
    　前記判定ミスマッチ検出部は、前記ヒヤリハット検出部で前記ヒヤリハットを検出したときに、前記遅延時間設定部で設定された時間遡った時刻の前後を含む時間において前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号とを用いて前記制御信号と前記ヒヤリハットを検出した前記タイミングとの前記ミスマッチを検出することを特徴とする車両制御システム。
  3. 　請求項1又は２に記載の車両制御システムであって、
    　前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号とを記憶するバッファ部と、前記バッファ部に記憶した前記データと前記制御信号のうち前記判定ミスマッチ検出部で前記ミスマッチを検出した前記タイミングに対応する前記データと前記制御信号を前記バッファ部から取得する情報取得部とを更に備え、前記情報取得部で取得した、前記ミスマッチを検出した前記タイミングに対応する前記データと前記制御信号を前記データ保存部に記憶することを特徴とする車両制御システム。
  4. 　請求項1又は２に記載の車両制御システムであって、
    　前記データ保存部に保存した前記ミスマッチに関する情報を外部へ送信する送信部を更に備えることを特徴とする車両制御システム。
  5. 　請求項1又は２に記載の車両制御システムであって、
    　前記車両制御判定部は、外部で作成された学習データを受信して、前記受信した前記学習データを用いて前記制御信号を作成することを特徴とする車両制御システム。
  6. 　請求項1又は２に記載の車両制御システムであって、
    　前記ヒヤリハット検出部と前記判定ミスマッチ検出部と前記データ保存部とは、前記車両に対して後付けデバイスで構成されていることを特徴とする車両制御システム。
  7. 　車両制御判定部と、ヒヤリハット検出部と、ミスマッチ検出部と、データ保存部とを備えた車両制御システムにおいて車両データを収集する方法であって、
    　車両に装着したセンサから取得したデータを用いて前記車両制御判定部で前記車両を制御する制御信号を作成し、
    　前記車両を運転しているときの前記車両に乗車している乗車者の生体変化又は前記車両の制御信号の少なくとも何れか一方から前記ヒヤリハット検出部で前記乗車者が感じるヒヤリハットを検出し、
    　前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号と前記ヒヤリハット検出部で検出した前記ヒヤリハットとから前記ミスマッチ検出部で前記ヒヤリハットを検出したタイミングにおける前記制御信号と前記ヒヤリハットとのミスマッチを検出し、
    　前記ミスマッチ検出部で前記ミスマッチを検出した前記タイミングに対応する前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号とを前記データ保存部に記憶する
    ことを特徴とする車両データ収集方法。
  8. 　請求項７記載の車両データ収集方法であって、
    　前記車両制御システムは遅延時間設定部を更に備え、
    　前記ミスマッチ検出部で前記ヒヤリハット検出部で前記ヒヤリハットを検出したときに、前記遅延時間設定部で設定された時間遡った時刻における前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号とを用いて前記制御信号と前記ヒヤリハットを検出した前記タイミングとの前記ミスマッチを検出することを特徴とする車両データ収集方法。
  9. 　請求項７又は８に記載の車両データ収集方法であって、
    　前記車両制御システムはバッファ部と情報取得部とを更に備え、
    　前記バッファ部で前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号とを記憶し、前記情報取得部で前記バッファ部に記憶した前記データと前記制御信号のうち前記ミスマッチ検出部で検出した前記ミスマッチに対応する前記データと前記制御信号を前記バッファ部から取得し、前記情報取得部で取得した前記ミスマッチを検出した前記タイミングに対応する前記データと前記制御信号とを前記データ保存部に記憶することを特徴とする車両データ収集方法。
  10. 　請求項７又は８に記載の車両データ収集方法であって、
    　前記車両制御システムは送信部を更に備え、
    　前記データ保存部に保存した前記ミスマッチに関する情報を前記送信部から外部へ送信することを特徴とする車両データ収集方法。
  11. 　請求項７又は８に記載の車両データ収集方法であって、
    　前記車両制御判定部は外部で作成された学習データを受信し、前記受信した前記学習データを用いて前記制御信号を作成することを特徴とする車両データ収集方法。
PCT/JP2023/015754 2022-04-28 2023-04-20 車両制御システム及び車両データ収集方法 WO2023210491A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022074745A JP2023163683A (ja) 2022-04-28 2022-04-28 車両制御システム及び車両データ収集方法
JP2022-074745 2022-04-28

Publications (1)

Publication Number Publication Date
WO2023210491A1 true WO2023210491A1 (ja) 2023-11-02

Family

ID=88518689

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/015754 WO2023210491A1 (ja) 2022-04-28 2023-04-20 車両制御システム及び車両データ収集方法

Country Status (2)

Country Link
JP (1) JP2023163683A (ja)
WO (1) WO2023210491A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014146289A (ja) * 2013-01-30 2014-08-14 Denso Corp 車両用情報収集装置、車両用の情報収集方法、情報蓄積方法、及び情報集積システム
JP2019139333A (ja) * 2018-02-06 2019-08-22 セルスター工業株式会社 ドライブレコーダー、潜在事故記録装置
JP2019200603A (ja) * 2018-05-16 2019-11-21 株式会社堀場製作所 車両状況解析方法、車両状況解析システム、車両状況解析装置及びドライブレコーダ
JP2021136001A (ja) * 2020-02-26 2021-09-13 株式会社Subaru 運転支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014146289A (ja) * 2013-01-30 2014-08-14 Denso Corp 車両用情報収集装置、車両用の情報収集方法、情報蓄積方法、及び情報集積システム
JP2019139333A (ja) * 2018-02-06 2019-08-22 セルスター工業株式会社 ドライブレコーダー、潜在事故記録装置
JP2019200603A (ja) * 2018-05-16 2019-11-21 株式会社堀場製作所 車両状況解析方法、車両状況解析システム、車両状況解析装置及びドライブレコーダ
JP2021136001A (ja) * 2020-02-26 2021-09-13 株式会社Subaru 運転支援装置

Also Published As

Publication number Publication date
JP2023163683A (ja) 2023-11-10

Similar Documents

Publication Publication Date Title
US20230219580A1 (en) Driver and vehicle monitoring feedback system for an autonomous vehicle
US10155445B2 (en) Direct observation event triggering of drowsiness
US9676395B2 (en) Incapacitated driving detection and prevention
TWI654106B (zh) 利用數位錄影方式以記錄行車資訊與產生汽車履歷之方法
CN106157614B (zh) 汽车事故责任确定方法及系统
JP7092116B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN103890730B (zh) 用于传感器驱动的车辆遥测应用和服务的开发和部署的计算平台
JP6972629B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2017168883A1 (ja) 情報処理装置、情報処理方法、プログラム、およびシステム
CN112041910A (zh) 信息处理装置、移动设备、方法和程序
CN107521485A (zh) 基于车辆制动的驾驶行为分析
CN103723096B (zh) 带有无线通信功能的驾驶辅助系统
CN112424848A (zh) 警告装置、驾驶倾向分析装置、驾驶倾向分析方法以及程序
US11214263B2 (en) Management assistance system
JP5282612B2 (ja) 情報処理装置及び方法、プログラム、並びに情報処理システム
KR20200113202A (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
WO2012077234A1 (ja) 車両用情報収集システム
TW201741898A (zh) 利用雲端行車記錄資料之保險或車業管理之系統與方法
WO2023210491A1 (ja) 車両制御システム及び車両データ収集方法
AU2021105935A4 (en) System for determining physiological condition of driver in autonomous driving and alarming the driver using machine learning model
US11491993B2 (en) Information processing system, program, and control method
JP6906574B2 (ja) 車載装置及び車両管理システム
US20240029483A1 (en) Post-work-shift driver to vehicle event association for controlling vehicle functions based on monitored driver performance
JP7434079B2 (ja) 行程管理システム、到着予定時刻監視方法、プログラム
JP2022020742A (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23796233

Country of ref document: EP

Kind code of ref document: A1